A transição de um armazém de dados tradicional para um Data Mesh pode parecer uma crise de identidade para muitas organizações. De acordo com informações do Towards Data Science, essa mudança é impulsionada pela introdução de contratos de dados padronizados, que se tornam essenciais para a integridade do Data Mesh.
O que muda com o Data Mesh?
O Data Mesh não elimina o armazém de dados, mas transforma a rede de dados. Em vez de um sistema centralizado, ele promove produtos de dados pequenos e conectados, cada um pertencente a um domínio específico. Os contratos de dados, inspirados em contratos de API da engenharia de software, definem explicitamente o acordo entre produtores e consumidores de dados.
Como os contratos de dados estabilizam o Data Mesh?
Os contratos de dados, popularizados entre 2021 e 2023, são fundamentais para a interoperabilidade no Data Mesh. Eles permitem que ferramentas de qualidade de dados, plataformas de metadados e pipelines CI/CD consumam a mesma definição de contrato, promovendo um vocabulário comum entre produtores e consumidores.
Qual é o papel dos contratos de dados em um exemplo prático?
No exemplo do PlayNest, uma loja de brinquedos online, os contratos de dados governam a interação entre os departamentos de Experiência do Cliente e Marketing. Esses contratos garantem que os produtos de dados sejam reutilizáveis e que a integridade dos dados seja mantida.
Por que um padrão aberto é crucial?
Um padrão aberto, como o Bitol Open Data Contract Standard, é vital para evitar a fragmentação e garantir que os contratos possam ser versionados, validados automaticamente e testados em pipelines. Isso transforma contratos de documentos estáticos em acordos executáveis.
“Um Data Mesh sem contratos é simplesmente um caos descentralizado.”
Fonte original: Towards Data Science.
