O InfoDados transforma a base pública de CNPJ da Receita Federal em um produto de prospecção: o usuário segmenta empresas por atividade (CNAE), UF, município e situação cadastral, vê uma prévia na tela e baixa a lista em CSV ou XLSX. Por trás da tela simples há ~73,8 milhões de estabelecimentos e algumas decisões de engenharia que valem ser contadas.

O desafio: uma base grande e um usuário impaciente

A Receita publica a base em arquivos CSV enormes, atualizados todo mês. Para o usuário, a expectativa é de uma tela que responde em segundos. Para o time, o desafio é ingerir, tratar e servir esses dados sem que uma coisa atrapalhe a outra.

ClickHouse para consulta, Postgres para o produto

O banco relacional do aplicativo (usuários, planos, assinaturas, pedidos) é um Postgres. Os dados de empresas ficam em um ClickHouse, um banco colunar feito para agregações sobre centenas de milhões de linhas. A tabela de estabelecimentos tem cerca de 73,8 milhões de linhas, e contagens por município e CNAE respondem rápido porque o ClickHouse lê só as colunas necessárias.

Um exemplo concreto de ajuste fino: consultar o CNPJ raiz de uma empresa muito grande (com milhares de filiais) levava de 3 a 4 segundos. Criamos uma projection ordenada pela raiz do CNPJ na tabela de estabelecimentos, e a mesma consulta passou a levar entre 0,3 e 0,5 segundo. A mudança é reversível (basta remover a projection), o que a torna segura para aplicar em produção.

Dois motores sobre os mesmos filtros

O InfoDados tem duas necessidades diferentes:

  • Prévia interativa: o usuário mexe nos filtros e quer ver a contagem na hora. Isso roda em PHP, direto no ClickHouse.
  • Extração em lote: gerar um arquivo com milhões de linhas, com colunas tratadas, não cabe numa requisição web. Isso roda em Python com PySpark, orquestrado pelo Prefect.

O ponto delicado é manter os dois motores coerentes: um filtro precisa significar exatamente a mesma coisa nos dois. Por isso as chaves dos filtros são um contrato de dados entre a aplicação e a extração. Uma chave desconhecida derruba a extração de propósito, em vez de gerar um arquivo errado em silêncio.

Carga mensal e dados tratados

A cada mês, um pipeline orquestrado pelo Prefect baixa os arquivos novos, trata os dados e carrega no ClickHouse. Os nomes das tabelas e colunas do ClickHouse e do Postgres seguem o inglês, e os cabeçalhos das planilhas entregues ao cliente continuam em português, porque são o que o cliente vê e usa.

Cobrança sem brechas

A assinatura é cobrada pelo Asaas (Pix, boleto ou cartão). O webhook de confirmação de pagamento:

  1. Só aceita chamadas com um token no cabeçalho, e recusa tudo se o token não estiver configurado (fail-closed);
  2. É idempotente: cada evento é gravado na mesma transação que libera o plano, então reentregas não duplicam nada;
  3. Responde 200 com um aviso para referências desconhecidas, para o Asaas não ficar reenviando.

Chamadas de leitura à API do gateway têm nova tentativa automática, mas chamadas que criam cobrança nunca são repetidas, para não cobrar duas vezes.

Pequenos cuidados que fazem diferença

  • A fila de tarefas usa o driver de banco de dados, de propósito: o Redis compartilhado não tem persistência em disco, e um trabalho perdido seria uma extração paga que nunca chega.
  • Cache e sessão ficam no Redis, o que, junto de outros ajustes, levou o teste de carga de 28 para 63 requisições por segundo. Veja os detalhes em nosso artigo de desempenho.
  • O CNPJ ficou alfanumérico em julho de 2026 e o sistema foi preparado para isso: leia como.

Resultado

Uma plataforma que serve segmentação sobre toda a base de empresas do país, com extração em lote, cobrança automatizada e dados atualizados todo mês, mantida por um time pequeno. Quer ver funcionando? Acesse o InfoDados ou veja todos os sistemas.