O Data Mesh, ou malha de dados, é um novo modelo em questão de arquitetura de dados que vem ajudando as organizações a lidar com certos pontos problemáticos associados à grande escala dos dados que são analisados atualmente.

Introduzido por Zhamak Dehghani, diretora de tecnologias emergentes da Thoughtworks América do Norte, o Data Mesh vem sendo recentemente um dos assuntos mais discutidos no quesito de plataforma e arquiteturas de dados. Isso porque o Data Mesh usa uma abordagem derivada do design orientado por domínio e a introduz no mundo dos dados. Essa abordagem já vinha sendo discutida na indústria de software, e assim impulsionou a mudar de soluções monolíticas para arquiteturas baseadas em microsserviços, e de equipes de TI centralizadas para equipes de domínio locais, isso porque o Data Mesh é uma arquitetura de dados altamente descentralizada.

O Data Mesh busca mudar a visão tradicional do ambiente Big Data, que trabalha com a ideia de centralizar os dados em um mesmo local para alcançar seu potencial analítico.

Partindo do princípio de que os dados não precisam estar armazenados e serem gerenciados de forma central para entregar seu valor real, o Data Mesh vem afirmar que o Big Data pode alimentar a inovação apenas e somente quando é distribuído entre os proprietários dos dados de domínio, que então fornecem os dados como um produto.

Para este aspecto surge assim, um novo modelo de governança de TI, que deve ser implantado com auxílio da automação, garantindo a interoperabilidade necessária.

A democratização dos dados é a premissa principal sobre a qual se baseia o conceito do Data Mesh e não pode ser alcançada sem descentralização e priorização da experiência dos consumidores de dados.

O Data Mesh oferece a promessa de permitir estatísticas em escalas, fornecendo acesso mais rápido a conjuntos de domínios distribuídos em rápido crescimento. Este aspecto é especialmente verdadeiro em áreas de distribuição ao consumidor, como estatísticas, aprendizado de máquina ou programação orientada a dados e desenvolvimento de aplicativos.

Figura 01: Princípios do Data Mesh.

Fonte: www.datanami.com/2022/01/21/data-meshes-set-to-spread-in-2022/

Problemas com malha de dados que precisam ser corrigidos

Os obstáculos à criação de dados comuns foram identificados como um contratempo ao desejo das organizações de usar os dados disponíveis para obter benefícios tangíveis na transformação de processos e processos de negócios. A verdadeira luta é transformar muitos dados em ideias possíveis.

O Data Mesh aborda essa preocupação corrigindo os seguintes espaços abertos na maneira tradicional de gerenciar Big Data:

As plataformas monolíticas não conseguem acompanhar o crescimento: as plataformas de dados monolíticas, como warehouses e lakes, geralmente não possuem as várias fontes de dados e estruturas específicas do local necessárias para gerar dados críticos a partir de blocos de dados crescentes, resultando em informações de domínio importantes perdidas nesses fóruns centrais. Isso prejudica a capacidade dos engenheiros de dados de fazer correlações lógicas entre diferentes pontos de dados para fazer análises precisas que representam fatos operacionais;

Os pipelines de dados criam gargalos: Como de costume, os pipelines de dados criam problemas devido à separação dos processos de entrada, modificação e entrega de dados. Diferentes departamentos que trabalham com diferentes conjuntos de dados operam sem colaboração. Fragmentos de dados são transferidos de um grupo para outro sem integração e transformação significativa.

Os profissionais de dados servem a propósitos diferentes: engenheiros de dados profissionais, proprietários de aplicativos e consumidores geralmente acabam trabalhando de maneiras diferentes à medida que trabalham com idéias completamente distintas. Este é geralmente solo fértil para a produção oposta. O principal motivo dessa ineficiência é a falta de conhecimento analítico para estabelecer relacionamentos com as bases do negócio.

Quais benefícios o Data Mesh traz?

Certos benefícios de uma organização que adota esse novo conceito de arquitetura incluem:

Agilidade e escalabilidade

Há melhorias significativas no tempo de entrega das soluções e agilidade no domínio do negócio. O Data Mesh ajuda também a reduzir as pendências de TI, tudo devido à operação da área de dados descentralizada e da infraestrutura de dados fornecida como serviço. Essas vantagens também são resultados de equipes de projeto ágeis trabalhando de forma independente, com foco em produtos de dados relevantes.

Governança central forte

O Data Mesh impulsiona o controle, permitindo que você controle a conformidade e o armazenamento. Com um número crescente de fontes e variedade de dados, a distribuição de funções em formato de domínio e a aplicação de diretrizes de gerenciamento global promovem a entrega de dados de qualidade e facilitam o acesso aos dados.

Grupos de domínio multifuncionais

Comparado aos métodos tradicionais de criação de dados que promovem o sectarismo, o Data Mesh propõe uma solução gerenciada por profissionais e proprietários de domínios. Isso é alcançado por informações de domínio adicionais, equipes de negócios e de TI próximas e equipes visuais rápidas.

Entrega rápida de dados

A configuração da infraestrutura de dados (por exemplo: processamento de dados, armazenamento de dados, monitoramento, gerenciamento de identidade etc.) geralmente é um obstáculo ao gerenciamento de dados. O Data Mesh fornece essas soluções de forma centralizada e com simplicidade nas solicitações de acesso para tornar mais ágil o processo de entrega dos dados

Para adotar com sucesso as estruturas de malha de dados, as organizações precisam redesenhar suas plataformas de dados, redefinir as funções dos proprietários de domínio de dados e atualizar layouts para fazer o novo sistema funcionar.

Referências:

[1] What is a Data Mesh — and How Not to Mesh it Up. Disponível em:

https://www.montecarlodata.com/blog-what-is-a-data-mesh-and-how-not-to-mesh-it-up/ (Acesso: 09 de abril de 2022).

[2] Arquitetura de data mesh com AWS Lake Formation e AWS Glue. Disponível em:

https://aws.amazon.com/pt/blogs/aws-brasil/arquitetura-de-data-mesh-com-aws-lake-formation-e-aws-glue/. (Acesso: 09 de abril de 2022).

[3] Datamesh architecture. Disponível em: /https://www.datamesh-architecture.com/ (Acesso: 10 de abril de 2022).

[4] Data Mesh: conheça essa nova arquitetura de dados que é tendência. Disponível em: https://binarionet.com.br/data-mesh-conheca-essa-nova-arquitetura-de-dados-que-e-tendencia/ (Acesso: 10 de abril de 2022).

[5] Malhas de dados devem se espalhar em 2022.Disponível em: https://www.datanami.com/2022/01/21/data-meshes-set-to-spread-in-2022/. (Acesso: 10 de abril de 2022).