O InfoDados transforma a base pública de CNPJ da Receita Federal em um produto de prospecção: o usuário segmenta empresas por atividade (CNAE), UF, município e situação cadastral, vê uma prévia na tela e baixa a lista em CSV ou XLSX. Por trás da tela simples há ~73,8 milhões de estabelecimentos e algumas decisões de engenharia que valem ser contadas.
O desafio: uma base grande e um usuário impaciente
A Receita publica a base em arquivos CSV enormes, atualizados todo mês. Para o usuário, a expectativa é de uma tela que responde em segundos. Para o time, o desafio é ingerir, tratar e servir esses dados sem que uma coisa atrapalhe a outra.
ClickHouse para consulta, Postgres para o produto
O banco relacional do aplicativo (usuários, planos, assinaturas, pedidos) é um Postgres. Os dados de empresas ficam em um ClickHouse, um banco colunar feito para agregações sobre centenas de milhões de linhas. A tabela de estabelecimentos tem cerca de 73,8 milhões de linhas, e contagens por município e CNAE respondem rápido porque o ClickHouse lê só as colunas necessárias.
Um exemplo concreto de ajuste fino: consultar o CNPJ raiz de uma empresa muito grande (com milhares de filiais) levava de 3 a 4 segundos. Criamos uma projection ordenada pela raiz do CNPJ na tabela de estabelecimentos, e a mesma consulta passou a levar entre 0,3 e 0,5 segundo. A mudança é reversível (basta remover a projection), o que a torna segura para aplicar em produção.
Dois motores sobre os mesmos filtros
O InfoDados tem duas necessidades diferentes:
- Prévia interativa: o usuário mexe nos filtros e quer ver a contagem na hora. Isso roda em PHP, direto no ClickHouse.
- Extração em lote: gerar um arquivo com milhões de linhas, com colunas tratadas, não cabe numa requisição web. Isso roda em Python com PySpark, orquestrado pelo Prefect.
O ponto delicado é manter os dois motores coerentes: um filtro precisa significar exatamente a mesma coisa nos dois. Por isso as chaves dos filtros são um contrato de dados entre a aplicação e a extração. Uma chave desconhecida derruba a extração de propósito, em vez de gerar um arquivo errado em silêncio.
Carga mensal e dados tratados
A cada mês, um pipeline orquestrado pelo Prefect baixa os arquivos novos, trata os dados e carrega no ClickHouse. Os nomes das tabelas e colunas do ClickHouse e do Postgres seguem o inglês, e os cabeçalhos das planilhas entregues ao cliente continuam em português, porque são o que o cliente vê e usa.
Cobrança sem brechas
A assinatura é cobrada pelo Asaas (Pix, boleto ou cartão). O webhook de confirmação de pagamento:
- Só aceita chamadas com um token no cabeçalho, e recusa tudo se o token não estiver configurado (fail-closed);
- É idempotente: cada evento é gravado na mesma transação que libera o plano, então reentregas não duplicam nada;
- Responde 200 com um aviso para referências desconhecidas, para o Asaas não ficar reenviando.
Chamadas de leitura à API do gateway têm nova tentativa automática, mas chamadas que criam cobrança nunca são repetidas, para não cobrar duas vezes.
Pequenos cuidados que fazem diferença
- A fila de tarefas usa o driver de banco de dados, de propósito: o Redis compartilhado não tem persistência em disco, e um trabalho perdido seria uma extração paga que nunca chega.
- Cache e sessão ficam no Redis, o que, junto de outros ajustes, levou o teste de carga de 28 para 63 requisições por segundo. Veja os detalhes em nosso artigo de desempenho.
- O CNPJ ficou alfanumérico em julho de 2026 e o sistema foi preparado para isso: leia como.
Resultado
Uma plataforma que serve segmentação sobre toda a base de empresas do país, com extração em lote, cobrança automatizada e dados atualizados todo mês, mantida por um time pequeno. Quer ver funcionando? Acesse o InfoDados ou veja todos os sistemas.