Coleta de dados públicos: fontes, métodos, LGPD e o que faz o dado valer como prova
Coleta de dados públicos é obter, de forma repetível, uma informação que um órgão oficial já publica (cadastro de empresa, certidão, processo, sanção) e guardá-la junto com a prova de onde veio e de quando foi lida. Sem essa prova, o que se tem é uma cópia; com ela, é evidência.
O dado em si raramente é o problema. Ele está lá, gratuito, em algum portal. O trabalho é saber qual portal, passar por ele sem burlar nada, entender a resposta e perceber quando ela envelheceu. Este guia percorre isso de ponta a ponta, inclusive a parte em que automatizar não compensa.
O que conta como dado público
01 · Dado aberto
Arquivo para download, publicado em lote. A base do CNPJ da Receita é o exemplo mais usado.
02 · Consulta pública
Um formulário no portal que responde a uma pergunta por vez, quase sempre com captcha. É onde mora a maior parte do que uma empresa precisa verificar.
03 · Documento emitido
A certidão que o portal gera na hora, com número e código de validação. É o único dos três que vale como prova para terceiros.
E o que não é público, por mais que esteja num sistema do governo: dado protegido por sigilo fiscal ou bancário, processo em segredo de justiça, qualquer coisa atrás do login do próprio titular. Coleta que passa por esses lugares deixa de ser coleta de dado público, com ou sem robô.
Quer saber qual órgão responde a cada pergunta sobre uma empresa? O guia de busca de dados públicos organiza isso pergunta por pergunta.
As quatro formas de coletar
| Método | Atualidade | Prova de origem | Custo de manter | Serve para |
|---|---|---|---|---|
| Arquivo de dados abertosBase do CNPJ publicada pela Receita no portal de dados abertos | Defasada: sai na periodicidade do órgão | Não há documento; o arquivo é a fonte | Baixo: o formato muda pouco | Análise em massa, enriquecimento de cadastro |
| API oficialAPI do Portal da Transparência | A do próprio serviço | Resposta do órgão, sem documento assinado | Baixo, mas poucas fontes oferecem | Integração estável onde ela existe |
| Robô no portal do órgãoEmissão da CND na PGFN, CNDT no TST, processo no tribunal | Leitura no instante do pedido | PDF emitido pela fonte, com código de validação | Alto: portal muda, captcha muda | Certidão, verificação pontual, evidência para auditoria |
| Base licenciada (bureau)Cadastros consolidados vendidos por assinatura | A da última carga do fornecedor | Depende do fornecedor; em geral nenhuma da fonte | Nenhum do seu lado | Varredura de milhões de registros, triagem, score |
Arquivo de dados abertos
Base do CNPJ publicada pela Receita no portal de dados abertos
- Atualidade:
- Defasada: sai na periodicidade do órgão
- Prova:
- Não há documento; o arquivo é a fonte
- Manter:
- Baixo: o formato muda pouco
- Serve para:
- Análise em massa, enriquecimento de cadastro
API oficial
API do Portal da Transparência
- Atualidade:
- A do próprio serviço
- Prova:
- Resposta do órgão, sem documento assinado
- Manter:
- Baixo, mas poucas fontes oferecem
- Serve para:
- Integração estável onde ela existe
Robô no portal do órgão
Emissão da CND na PGFN, CNDT no TST, processo no tribunal
- Atualidade:
- Leitura no instante do pedido
- Prova:
- PDF emitido pela fonte, com código de validação
- Manter:
- Alto: portal muda, captcha muda
- Serve para:
- Certidão, verificação pontual, evidência para auditoria
Base licenciada (bureau)
Cadastros consolidados vendidos por assinatura
- Atualidade:
- A da última carga do fornecedor
- Prova:
- Depende do fornecedor; em geral nenhuma da fonte
- Manter:
- Nenhum do seu lado
- Serve para:
- Varredura de milhões de registros, triagem, score
A maior parte dos projetos combina duas linhas: dados abertos ou base licenciada para ter o cadastro inteiro à mão, e robô no portal para o momento em que a decisão precisa de documento. Quem tenta resolver tudo com uma só costuma pagar caro na linha errada. A diferença entre as duas últimas está detalhada em sob demanda ou base licenciada.
O que faz um dado coletado valer
Mas o detalhe que mais separa uma coleta confiável de uma perigosa é outro: os estados do resultado.
- Encontrado01
- A fonte respondeu e há registro: processo, débito, sanção. Vem com o que a fonte informou.
- Nada consta02
- A fonte respondeu e disse, com essas palavras, que não há registro. Só isso é resultado negativo.
- Não respondeu03
- Portal fora do ar, captcha que não passou, tempo esgotado. Não é "nada consta" e não pode virar.
- Pendente04
- A fonte aceitou o pedido e entrega depois, por protocolo. O resultado ainda não existe.
Boa parte da automação que existe por aí tem só dois: achou ou não achou. Quando o captcha falha, o robô não acha nada, e "não achou" vira "nada consta". É assim que um fornecedor com débito passa numa homologação com o selo de regular.
Pendente merece atenção à parte. Algumas fontes devolvem um protocolo e entregam o documento horas ou dias depois; tratar isso como falha gera cobrança repetida e alarme falso. O artigo sobre coleta assíncrona mostra como lidar.
Onde entra a inteligência artificial
O desenho que funciona separa os papéis:
- 01
O robô consulta.
Vai ao portal, lê a resposta e guarda o resultado com origem e hora. É determinístico: ou traz o que estava lá, ou avisa que não conseguiu.
- 02
A IA interpreta.
Resume uma certidão positiva, classifica um processo, redige o parecer. Trabalha só sobre o que foi coletado.
- 03
O sistema confere.
Todo número que aparece no texto final é comparado com o que o robô coletou. Divergência bloqueia.
Esse é também o caminho mais rápido para um projeto de IA sair do protótipo: a coleta não toca em dado sigiloso da empresa, então roda enquanto o resto ainda está em discussão.
LGPD e dado público
A pergunta que resolve
Verificar a regularidade de um fornecedor com a certidão que o próprio órgão publica para isso está dentro da finalidade. Montar um perfil comercial a partir de processos judiciais, não. A pergunta que resolve a maioria dos casos é simples: o órgão publicou isso para que alguém fizesse exatamente o que você vai fazer?
Pelo CNPJ
Coleta feita a partir do CNPJ, sobre a empresa, reduz muito o risco, porque a maior parte do que se consulta é dado da pessoa jurídica. O tratamento completo, com base legal e o papel de controlador e operador, está no artigo dado público é dado pessoal?.
Fazer, contratar ou comprar
01
Manutenção.
Portal público muda de layout sem aviso. Cada fonte é um robô, e cada robô quebra no seu próprio calendário.
02
Captcha e bloqueio.
Passar respeitando o ritmo do portal exige fila, janela e política de nova tentativa, não só código.
03
Os estados do resultado.
Distinguir "nada consta" de "não respondeu" em cada fonte é o trabalho que mais demora e o que mais importa.
Para uma ou duas fontes estáveis, fazer em casa costuma compensar. Para dezenas de órgãos, a conta muda. Quem paga quando o portal muda está em o portal mudou de layout, e a comparação de tempo e erro entre fazer à mão e por robô, em consulta manual vs. RPA.
Quando não automatizar
- Poucas consultas por mês, sempre diferentes. O portal resolve, e o tempo de especificar o robô não volta.
- Você precisa varrer milhões de registros sem documento nem evidência. Base licenciada ou dado aberto atendem melhor e custam menos.
- A fonte exige login da própria empresa (certificado digital, e-CAC). Automatizável, mas com autorização formal e outro nível de cuidado.
- O processo que vai usar o dado ainda não existe. Automatizar antes de decidir o que fazer com o resultado só produz planilha.
Como começar
- 1
Quais CNPJs, e quantos por mês?
- 2
Quais informações ou documentos, de quais órgãos?
- 3
Com que frequência a mesma empresa precisa ser relida?
- 4
Você precisa do PDF oficial, do dado estruturado ou dos dois?
- 5
Onde o resultado tem de chegar: pasta, planilha, ERP, API?
Com isso em mãos, dá para dizer em minutos se a fonte está coberta e se a conta fecha. O catálogo de coletas mostra as 825+ consultas já mapeadas em 108 órgãos, e o passo a passo de uma implantação está em como funciona uma coleta automatizada.
Dúvidas frequentes
Fale direto com quem constrói o robô. A gente olha a fonte, o volume e o destino antes de qualquer proposta.
Falar com quem faz a coletaFontes e método
Este guia é escrito por quem opera a coleta todos os dias: os estados do resultado, as validades e os exemplos saem da operação da Hath Data e do catálogo público de consultas. Textos legais citados:
A coleta é feita em fonte pública oficial: a Hath Data não é a fonte e não certifica o conteúdo publicado pelo órgão. O serviço é prestado sob contrato, o cliente é o controlador dos dados e declara a finalidade; a Hath atua como operadora. Nomes de órgãos são citados apenas para identificar a fonte, sem vínculo ou endosso. Veja os termos de uso e a política de privacidade.
