Inteligência de Mercado com 28 Milhões de CNPJs
Como dados públicos da Receita Federal foram transformados em uma estrutura de Engenharia de Dados, Analytics e Business Intelligence para analisar o cenário empresarial brasileiro.
Um projeto de dados completo — do dado bruto à informação
Este projeto demonstra na prática como grandes volumes de dados públicos podem ser extraídos, tratados, otimizados, modelados e transformados em ferramentas estratégicas de tomada de decisão.
Como transformar milhões de registros públicos em informação útil?
Os dados públicos da Receita Federal possuem informações valiosas sobre o dinamismo econômico das empresas brasileiras. Mas, antes de analisar esses dados, é necessário extrair, tratar, organizar e estruturar essa colossal massa de registros brutos.
Desafio de Volume & Fragmentação
Mais de 15 GB de arquivos brutos comprimidos, dispersos em dezenas de tabelas não indexadas, impossíveis de abrir em planilhas convencionais como o Excel.
Tipagem e Higienização
Textos com formatos inconsistentes, códigos sem zeros à esquerda, ausência de padronização temporal e codificação de caracteres que exigem tratamento estrito.
Custo Computacional & Latência
Carregar dezenas de gigabytes diretamente em ferramentas de BI causa lentidão extrema ou travamento. O segredo está em otimizar a camada de armazenamento antes da análise.
Por trás do dashboard existe uma engenharia de dados
Para transformar os dados brutos em informação analisável, foi necessário construir uma etapa de processamento robusta, capaz de lidar com milhões de registros e grandes volumes de arquivos.
* Redução drástica de volume obtida através de tipagem adequada de dados (integers, booleans, dates) e compressão colunar nativa do formato Apache Parquet, sem qualquer descarte de registros.
Pipeline de Engenharia & Fluxo Contínuo
Receita Federal
Dados abertos
Dados Brutos
15+ GB em CSV/TXT
Extração
Ingestão no KNIME
Tratamento
Limpeza & tipagem
Otimização
Formato Parquet
Modelagem
Star Schema
Analytics
Fórmulas DAX
Power BI
Exploração visual
O visitante compreende visualmente que o dashboard é a entrega final de uma esteira robusta de processamento.
Como os dados foram preparados
Conheça os três pilares que sustentaram a ingestão massiva e tornaram viável a análise em tempo real de milhões de CNPJs.
Engenharia e Ingestão com KNIME
Arquivos públicos da Receita Federal referentes ao período de 2020 a 2025 foram extraídos e particionados através de fluxos automatizados no KNIME Analytics Platform.
Mais de 15 GB de arquivos brutos foram descompactados, padronizados e preparados em paralelo para alimentar a cadeia de modelagem.
Redução Estruturada: 15+ GB → <1 GB
Os dados foram convertidos para o formato colunar Apache Parquet com compressão Snappy, associado a tipagem estrita de dados (substituição de strings por códigos numéricos inteiros e campos booleanos).
Quanto tempo uma empresa permaneceu ativa?
A partir das datas de abertura e encerramento (baixa cadastral), foram desenvolvidas regras de negócio para calcular com precisão o período de atividade das empresas.
Isso permite identificar a curva de sobrevivência de empresas por setor (CNAE), estado e regime tributário (Simples Nacional, MEI e Demais).
Pipeline Real de Ingestão e Cruzamento de Dados no KNIME
Visualização dos nós de ETL: descompressão, junção relacional entre tabelas de estabelecimentos e empresas, filtros temporais (2020 a 2025) e exportação em alta velocidade para arquivos colunares Parquet.
Do dado tratado ao modelo analítico
Depois do tratamento, os dados foram estruturados em um modelo analítico otimizado (Star Schema) para permitir diferentes perspectivas de análise com respostas instantâneas no Power BI.
Setor, Divisão, Seção Econômica e Código de Atividade
UF, Município, Região e Códigos IBGE
28 Milhões de linhas: Datas de abertura/baixa, porte, regime tributário, situação cadastral e cálculo de tempo ativo.
Ano, Mês, Trimestre, Período de 2020 a 2025
Taxas de abertura líquida, permanência ativa e volumetria acumulada
O que os dados podem nos ajudar a entender?
Em vez de filtros técnicos genéricos, transformamos os dados em respostas estratégicas para quem precisa tomar decisões:
📈 Dinâmica de Crescimento
Como evoluiu a abertura de empresas entre 2020 e 2025?
Permite acompanhar o impacto pós-pandemia, identificar acelerações sazonais e medir a taxa líquida de expansão de novas empresas no país.
🗺️ Distribuição Geográfica
Quais estados e municípios concentram maior volume de novos negócios?
Mapeamento de polos emergentes além do eixo Rio-São Paulo, identificando concentrações de capitais e cidades polo no interior.
🏢 Atividades Econômicas (CNAE)
Quais setores apresentam maior presença no período analisado?
Visualização clara de participação de serviços, comércio varejista, indústria e construção civil, permitindo benchmarking setorial.
⏱️ Sobrevivência & Atividade
Por quanto tempo determinadas empresas permaneceram ativas?
Regras de cálculo cruzando abertura e encerramento para descobrir a taxa de mortalidade e média de vida útil em cada ramo de negócio.
👥 Perfil & Porte Societário
Como diferentes características das empresas se distribuem no cenário analisado?
Separação analítica entre MEI (Microempreendedor Individual), Microempresas (ME), Empresas de Pequeno Porte (EPP) e Demais, revelando a composição estrutural da economia real brasileira.
Da matéria-prima à informação
O valor não está na quantidade de megabytes acumulados, mas na capacidade de transformar registros desorganizados em inteligência de negócios.
- •Arquivos brutos dispersos e fragmentados em tabelas públicas.
- •Volume excessivo (15+ GB) que trava ferramentas comuns.
- •Milhões de registros isolados sem relacionamentos de negócio.
- •Dados sem tipagem adequada e caracteres não estruturados.
- •Informações difíceis de explorar por tomadores de decisão.
- •Arquivos estáticos sem nenhuma visão gerencial.
- ✔Dados tratados, limpos e totalmente validados.
- ✔Estrutura otimizada (< 1 GB) com formato colunar Parquet.
- ✔Modelo analítico Star Schema pronto para cruzamentos ágeis.
- ✔Dimensões relacionadas (CNAE, Geografia e Calendário).
- ✔Indicadores e métricas de sobrevivência calculados em DAX.
- ✔Dashboard interativo com navegação instantânea.
Tecnologias utilizadas
Cada tecnologia cumpre um papel exato na jornada de engenharia, armazenamento e visualização:
ETL & Processamento
Extração, transformação e pipelines automatizados
Armazenamento Colunar
Compressão de alta performance e leitura rápida
Analytics & BI
Visualização interativa e exploração dinâmica
Indicadores & Regras
Métricas de ciclo de vida e inteligência temporal
Modelagem Analítica
Tabela fato central com dimensões otimizadas
Receita Federal
Base governamental aberta do ecossistema empresarial
Dados organizados permitem enxergar o que os dados brutos escondem
Um arquivo de dados pode conter milhões de registros. Mas volume, sozinho, não significa informação. O valor aparece quando esses dados são tratados, estruturados, relacionados e apresentados de forma que possam responder perguntas de gestão.
O resultado: um ambiente de análise interativa
Depois de todo o processo de engenharia e modelagem, os dados foram disponibilizados em um dashboard interativo para exploração dos indicadores e diferentes dimensões do cenário empresarial brasileiro.
Dica de Visualização no Celular:
Para uma melhor experiência no celular, utilize o modo paisagem (horizontal) e ative a tela cheia.
Esse é o tipo de transformação que acreditamos
Transformação Digital não começa necessariamente pela tecnologia.
Começa entendendo o negócio, seus processos e suas informações.
A tecnologia entra para organizar, conectar, analisar e permitir que o negócio evolua com solidez.
Sua empresa também gera dados. Mas eles estão organizados?
A TD Experience desenvolve soluções de Engenharia de Dados, Analytics e Business Intelligence para transformar dados de ERPs, CRMs, planilhas e sistemas internos em informação confiável para gestão e tomada de decisão.