Por que projetos de IA travam nos dados e o que a fundação exige
Projetos de IA travam quando o dado não está disponível ou não é confiável. A fundação exige pipelines repetíveis, data warehouse com BI e donos definidos.
Pelo time da Snowfox AI
Projetos de IA travam nos dados porque o dado de que o modelo precisa não está disponível quando é necessário ou não tem a confiança de quem agiria com base no resultado. Fundação de dados é o conjunto mínimo de pipelines, armazenamento, definições e regras que torna os dados disponíveis e confiáveis em todas as etapas, do sistema de origem até a decisão. Ela não precisa estar completa antes do primeiro modelo. Precisa ser suficiente para um caso de uso.
Por que projetos de IA travam nos dados?
O modelo costuma ser a menor parte do trabalho. A sequência comum é esta: a equipe recebe uma extração pontual, constrói um protótipo promissor e depois descobre que a extração não pode ser agendada, que os números não batem com o relatório do financeiro ou que um campo essencial é digitado à mão.
As causas se repetem:
- Os dados estão em vários sistemas que não compartilham identificadores.
- As extrações são manuais, então nada consegue rodar todos os dias.
- Cada área define o mesmo indicador de um jeito.
- O histórico é sobrescrito em vez de preservado.
- Ninguém sabe quem é o dono do dado nem se ele pode ser usado para essa finalidade.
Isso vale para qualquer tipo de IA. Um assistente construído com RAG (retrieval-augmented generation, em que um modelo de linguagem responde usando documentos recuperados do conteúdo da própria empresa) vai responder com segurança a partir de documentos desatualizados se ninguém mantiver a base.
O que significa “disponível e confiável em todas as etapas”?
Disponível quer dizer que o dado chega onde é necessário, na frequência necessária, sem depender de alguém para movê-lo. Confiável quer dizer que a mesma pergunta tem a mesma resposta onde quer que seja feita e que, quando um número está errado, alguém consegue rastrear o motivo.
Alguns termos. ETL (extract, transform, load) são os jobs que extraem dados dos sistemas de origem, transformam e carregam no armazenamento. Pipeline é o encadeamento desses jobs. Data warehouse é um banco de dados central organizado para análise, e data mart é uma versão menor, focada em um assunto. BI (business intelligence) é a camada de relatórios e dashboards.
| Etapa | O que dá errado | O que verificar |
|---|---|---|
| Sistemas de origem | Campos preenchidos à mão ou alterados sem aviso | Quem é dono de cada fonte e como as mudanças são comunicadas |
| Ingestão | Exportações manuais, jobs que falham em silêncio | Se toda carga é agendada e monitorada |
| Transformação | Regras de negócio escondidas em scripts que só uma pessoa entende | Se as regras estão documentadas e testadas |
| Armazenamento | Várias versões concorrentes da verdade | Se cada indicador tem um único lugar acordado |
| Consumo | Dashboards que ninguém abre, modelos alimentados por um caminho paralelo | Se relatórios e modelos leem das mesmas tabelas |
Onde os pipelines e o ETL viram gargalo?
Em quatro pontos.
- Falta de orquestração. Orquestração é a ferramenta que executa os jobs na ordem certa, repete os que falharam e dispara alertas. Sem ela, um job que falha quebra o que vem depois, e ninguém percebe até um relatório sair errado.
- Recargas completas. Reprocessar tudo a cada execução, quando só os registros novos mudaram, deixa o pipeline lento e caro.
- Lógica duplicada. A mesma regra é implementada em três scripts, e as versões divergem com o tempo.
- Ausência de testes de dados. Nada confere contagem de linhas, valores ausentes ou duplicidades antes de o dado ser usado.
O que não fazer: começar reescrevendo tudo em uma plataforma nova. Primeiro diagnostique os pipelines existentes e corrija os gargalos que custam desempenho e confiabilidade.
Por que construir data warehouse e BI antes de um modelo?
Porque relatório é o teste mais barato de confiança nos dados. Se a liderança olha um dashboard de receita e não acredita nele, não vai acreditar em uma previsão construída sobre as mesmas tabelas.
Além disso, o relatório tem valor por si só, antes de existir qualquer modelo, e as tabelas que alimentam os dashboards são as mesmas com as quais um modelo vai aprender.
O que não fazer: construir dashboards que ninguém pediu.
O que a governança acrescenta?
Governança de dados define quem é dono de cada conjunto de dados e de cada definição, quem pode acessar, por quanto tempo o dado é mantido e como os dados pessoais são protegidos. Para IA, ela precisa responder a mais uma pergunta: este dado pode ser usado para esta finalidade?
O mínimo viável: um dono para cada conjunto de dados crítico, uma definição por escrito para cada indicador-chave, regras de acesso e regras de retenção e privacidade que a empresa consiga defender.
O que não fazer: montar um comitê de governança antes de haver dados para governar.
Como isso funciona na prática?
O case de pipeline de dados para mídia da Snowfox é um bom exemplo porque a versão publicada não descreve modelo nenhum.
Um grande portal de mídia precisava de uma fundação de dados escalável e econômica, capaz de combinar vários sistemas e sustentar análises de receita e de comportamento da audiência em tempo hábil. O case publicado informa que o portal recebia mais de 50 milhões de visualizações de página por mês.
A abordagem foi um data mart que alimenta visões no Power BI por meio de jobs de ETL em Python orquestrados com AWS Step Functions. O case publicado informa que, em três meses, a liderança passou a ter visibilidade em mais de 50 visões analíticas, com custo de infraestrutura mantido baixo.
Vale notar quatro pontos:
- O escopo foi definido por perguntas de negócio (receita e comportamento da audiência), não pela ambição de centralizar todos os dados.
- A camada de armazenamento é um data mart, não um data warehouse corporativo.
- Os componentes eram simples: jobs em Python, um orquestrador gerenciado e uma ferramenta de BI.
- O resultado chegou à liderança, e esse é o teste que importa.
É sobre uma fundação assim que um primeiro modelo se apoiaria.
Quanto de fundação é suficiente antes do primeiro modelo?
O suficiente para um caso de uso, em seis pontos:
- Os dados de que o caso de uso precisa são carregados por um pipeline agendado e monitorado, não à mão.
- Há histórico suficiente no nível de detalhe adequado, e ele é preservado, não sobrescrito.
- As entidades principais, como cliente, produto ou loja, têm identificadores consistentes entre as fontes envolvidas.
- O indicador-alvo tem uma única definição acordada, e a área de negócio aceita os números em um relatório.
- Alguém é dono dos dados, e está claro que eles podem ser usados para essa finalidade.
- Existe um caminho para a saída do modelo chegar a quem age com base nela.
Se esses pontos valem para um caso de uso, comece. Se não valem, o primeiro projeto é de dados, e esse é um resultado legítimo.
Há dois erros opostos: esperar uma plataforma corporativa de dados completa antes de começar, ou pular a fundação e torcer para o modelo compensar. Um modelo não corrige dados em que não dá para confiar. Ele repete os mesmos erros mais rápido.
Por onde começar
- A engenharia de dados cobre diagnóstico de pipelines e ETL, data warehouses e BI.
- A estratégia de dados conecta as prioridades do negócio à arquitetura e à governança.
- Para alto volume ou processamento em tempo real, veja a consultoria em big data.
- Leia o case de pipeline de dados para mídia.
- Se você não sabe onde estão as lacunas, o AI Readiness Assessment avalia dados junto com outras quatro dimensões. Ou conte qual é o problema.