Governança de dados é o termo prático que separa um data lake funcional de um data swamp. 

Todo data lake começa com boas intenções: centralizar dados de múltiplas fontes, criar uma base para analytics e machine learning, reduzir custos de armazenamento. Porém no passo que o projeto avança, os dados entram, é preciso de apenas alguns meses para que ninguém mais saiba exatamente o que está armazenado, quem tem acesso a quê, ou se os dados que estão sendo usados nas análises ainda são confiáveis. 

Esse é o data swamp, e na realidade ele não acontece por falta de tecnologia, o problema é a falta de governança. 

Se você já sabe o que é data lake e está avaliando como implementar ou organizar o que já tem, este guia mostra como a governança de dados funciona na prática, o que causa o data swamp e as 6 etapas para estruturar uma arquitetura de dados que escala sem virar um lago de problemas. 

O que é governança de dados e por que é inegociável no data lake 

Governança de dados nada mais é que o conjunto de políticas, processos e responsabilidades que definem como os dados são coletados, armazenados, acessados, usados e descartados em uma organização. 

Em um banco de dados relacional tradicional, a governança está parcialmente embutida na estrutura: o schema define o que pode entrar, as permissões controlam quem acessa, e as tabelas são organizadas por quem criou o banco, ou seja, nesse caso o sistema força um nível mínimo de ordem. 

No data lake, isso não acontece, aqui o schema on read dá flexibilidade total na entrada dos dados e qualquer coisa pode entrar, em qualquer formato, de qualquer fonte. Isso é uma vantagem quando há governança, porém sem ela, é uma porta aberta para o caos. 

Por isso, governança de dados não é um complemento opcional ao data lake, na prática é o que determina se o investimento vai gerar valor ou apenas acumular dados que ninguém usa (nunca). 

Os quatro pilares da governança de dados em um data lake são:

Catalogação  

É de extrema importância saber o que está armazenado, de onde veio e o que significa cada conjunto de dados. 

Qualidade 

É preciso garantir que os dados são precisos, completos e atualizados o suficiente para os casos de uso definidos. 

Acesso 

Definir quem pode ler, modificar e excluir cada conjunto de dados, com controles técnicos que fazem essas políticas valerem. 

Linhagem 

Rastrear de onde cada dado veio, por quais transformações passou e onde está sendo usado, isso na verdade é essencial para auditoria e para entender o impacto de mudanças na pipeline. 

O que é data lake, como ele funciona e qual a diferença para o data warehouse: tudo o que você precisa entender antes de estruturar sua pipeline.

O que causa o data swamp e como identificar se você já está nele 

Data swamp é o estado em que um data lake chega quando a governança de dados falha. O nome é literal: o lago vira um pântano de dados desorganizados, sem catalogação, sem qualidade garantida e sem utilidade prática. 

Ele não acontece de uma vez, ele se instala gradualmente, à medida que o volume de dados cresce mais rápido do que os processos de governança conseguem acompanhar. 

As causas mais comuns do data swamp 

O data swamp tem causas previsíveis e elas aparecem em empresas de tamanhos e setores diferentes, mas sempre com o mesmo padrão: decisões técnicas tomadas sem processos de governança que as sustentem e é fato: identificar cada causa ajuda a saber onde agir primeiro. 

Ingestão sem catalogação  

São os dados que entram no lake sem documentação sobre o que são, de onde vieram e para que servem. Em semanas, o repositório tem centenas de arquivos que ninguém sabe descrever. 

Ausência de dono dos dados  

Cada conjunto de dados precisa de um responsável que garanta sua atualização e qualidade.  

Schema on read levado ao extremo  

A flexibilidade do data lake acaba virando uma certa desculpa para não definir nenhum padrão, então cada equipe ingere dados do jeito que quer, com nomes e formatos diferentes, tornando a integração impossível. 

Dados desatualizados acumulando  

Os pipelines que param de funcionar continuam com os dados antigos no lake, e sem monitoramento, as análises são feitas em cima de dados que não representam mais a realidade. 

Sinais de que seu data lake está virando data swamp 

Você sabe que o data swamp chegou quando: os cientistas de dados passam mais tempo procurando dados do que analisando, os relatórios gerados por equipes diferentes apresentam números contraditórios para a mesma métrica, ninguém consegue responder de onde vem um dado específico que está sendo usado em produção e os usuários de negócio pararam de confiar nos dados do lake e voltaram para as planilhas. 

Sua empresa está estruturando um data lake e quer garantir que a governança vai junto desde o início? 

Entenda como o Business Intelligence se conecta com governança de dados corporativos.

Arquitetura de dados: as zonas que todo data lake bem estruturado precisa ter 

Um bom data lake precisa ter uma boa arquitetura de dados, ela organiza o dados em zonas com propósitos diferentes, níveis de acesso diferentes e padrões de qualidade diferentes. 

Essa organização por zonas é o que permite que o data lake seja ao mesmo tempo flexível na entrada e confiável na saída.

Raw zone (entrada) 

A raw zone, também chamada de landing zone, é onde os dados chegam no formato original, até esse momento nenhuma transformação é feita, então os dados ficam exatamente como foram gerados pela fonte. 

Essa zona serve como backup imutável e como ponto de reprocessamento quando algo dá errado nas etapas seguintes, o acesso à raw zone é restrito: apenas engenheiros de dados com necessidade específica devem conseguir ler dados diretamente daqui.

Curated zone (qualificação) 

Na curated zone, os dados passam por processos de limpeza, validação e padronização. Ou seja, nesse momento é onde as duplicatas são removidas, os tipos de dados são padronizados, os valores ausentes são tratados e os dados recebem documentação mínima: o que são, de onde vieram e quando foram processados. 

Essa é a zona que alimenta a maioria das análises, a partir dessa etapa os dados têm qualidade garantida e são confiáveis para uso analítico. 

Consumption zone (de uso) 

A consumption zone contém dados modelados para casos de uso específicos: relatórios, dashboards, modelos de machine learning, feeds de dados para sistemas externos. Cada conjunto de dados aqui tem um propósito definido e um responsável identificado. 

Essa é a zona mais acessível para usuários de negócio e analistas, e também a que precisa de maior governança de acesso, porque contém dados processados com alto valor analítico. 

Saiba mais sobre como a análise preditiva usa dados bem governados para gerar modelos confiáveis.

As 6 etapas para implementar governança de dados no data lake 

A governança de dados não precisa ser implementada de uma vez, na realidade a abordagem mais eficaz é incremental: começar com os dados mais críticos e expandir à medida que os processos amadurecem. 

Defina os donos dos dados 

Antes de qualquer processo técnico, cada conjunto de dados precisa de um responsável. O dono dos dados é a pessoa ou equipe que garante a qualidade, a atualização e a documentação daquele dado. 

Quando um dado não tem dono especifíco ele acaba envelhecendo e perde a qualidade, e eventualmente vira um ruído no data swamp. 

Implemente um catálogo de dados 

O catálogo de dados é o inventário do data lake, ele registra o que está armazenado, de onde veio, o que significa, quem é o responsável, qual é a frequência de atualização e por quais transformações o dado passou. 

Ferramentas como Apache Atlas, AWS Glue Data Catalog, Azure Purview e Alation são exemplos de soluções de catalogação, na prática o importante não é a ferramenta, é o processo de manter o catálogo atualizado a cada ingestão. 

Defina padrões de ingestão 

Estabeleça convenções que todos precisam seguir ao adicionar dados ao lake: nomenclatura de arquivos e pastas, formatos aceitos por tipo de dado, metadados mínimos obrigatórios e processo de aprovação para novas fontes de dados. 

Esses padrões parecem burocracia no início, porém a longo prazo, são o que permite encontrar e usar dados sem precisar de um engenheiro de dados para intermediar cada consulta. 

Implemente controles de acesso 

Nem todos precisam acessar todos os dados existentes lá, por isso é de extrema importância definir políticas de acesso por zona, por conjunto de dados e por perfil de usuário.  

Os dados sensíveis, como informações pessoais protegidas pela LGPD, precisam de controles adicionais: criptografia, mascaramento e logs de acesso auditáveis. 

Monitore a qualidade dos dados continuamente 

Qualidade de dados não é um estado que se alcança uma vez, é um processo contínuo de monitoramento e correção. É importante definir métricas de qualidade para os dados mais críticos: completude, precisão, atualidade e consistência. 

Pipelines com falha, fontes que param de enviar dados e transformações que geram valores inesperados precisam gerar alertas antes de impactar as análises em produção. 

Documente a linhagem dos dados 

Linhagem de dados é o rastreamento de onde cada dado veio, por quais processos passou e onde está sendo usado, ela é essencial para três situações: quando uma análise gera um resultado suspeito e você precisa rastrear a origem; quando uma fonte de dados muda e você precisa entender o impacto; e quando uma auditoria exige comprovar como um dado chegou ao relatório. 

Os dados de TI e telecom da sua empresa precisam de governança que entenda o setor. Fale com quem já resolveu isso para operadoras e empresas de tecnologia.

Qualidade de dados: como garantir que o que está no lake é confiável 

É uma das dimensões mais críticas da governança e, ao mesmo tempo, uma das mais negligenciadas nas implementações de data lake. 

Dado de baixa qualidade não é neutro, na realidade ele é ativamente prejudicial: análises feitas em cima de dados incorretos geram conclusões erradas, que levam a decisões ruins e como vocês sabem: o custo de uma decisão estratégica baseada em dado corrompido é muito maior do que o custo de implementar processos de qualidade. 

As cinco dimensões da qualidade de dados que toda governança precisa endereçar são: 

Completude 

O dado tem todos os campos necessários preenchidos? Registros com campos críticos ausentes precisam ser identificados e tratados antes de chegar à curated zone. 

Precisão 

O dado representa corretamente a realidade que deveria representar? Um endereço incorreto, um valor negativo onde deveria ser positivo ou uma data impossível são exemplos de problemas de precisão. 

Consistência 

O mesmo dado aparece de formas diferentes em fontes distintas? Um cliente com nomes ligeiramente diferentes em dois sistemas, ou um produto com SKUs inconsistentes, geram problemas de integração que crescem com o volume. 

Atualidade  

O dado ainda reflete a realidade atual? Dados desatualizados são especialmente problemáticos em análises operacionais onde a tomada de decisão depende de informações recentes. 

Unicidade 

Existem duplicatas? Registros duplicados inflam métricas e distorcem análises agregadas. 

Como dados de TI e telecom se encaixam na arquitetura de dados 

Para empresas com operações de TI e telecom, o data lake tem um papel concreto: centralizar dados que hoje estão fragmentados em sistemas diferentes e sem integração. 

Faturas de telecom processadas pelo TEM chegam como dados estruturados, com valores por linha, por departamento e por operadora. Os logs de dispositivos gerados pelo MDM chegam como dados semiestruturados, com registros de apps instalados, consumo de dados e localização e os registros de contratos, históricos de auditoria e relatórios de contestação chegam em múltiplos formatos. 

Quando a empresa não possui um data lake com governança estruturada, esses dados ficam em silos, e aí a bagunça fica parecida com isso: O gestor de TI vê os dados de dispositivos, o financeiro vê as faturas de telecom, e ninguém consegue cruzar as duas visões para responder perguntas como: quais departamentos têm o maior consumo de dados por dispositivo, e esse consumo está alinhado com o que foi contratado? 

Com um data lake bem governado, essas perguntas têm resposta e a governança é o que garante que as respostas são confiáveis.

Perguntas frequentes sobre governança de dados e data lake 

Como dados de TEM e MDM se integram a um data lake?  

Dados de TEM chegam como registros estruturados de faturas, consumo por linha e contratos e os dados de MDM chegam como logs semiestruturados de dispositivos, apps e localização. Com a governança adequada, esses dados podem ser cruzados com outras fontes corporativas para análises que nenhum sistema isolado consegue fazer. 

Veja como a Enghouse Navita estrutura essa integração para empresas de TI e telecom.

Continue lendo: 📌 Data lake: o que é, como funciona e diferença do data warehouse 📌 Business Intelligence: guia completo 📌 Análise preditiva: o que é e como implementar