Hath DataHathData

Uma chamada de API no lugar do scraper que o seu time ia manter

API de dados públicos sob demanda: em vez de manter um scraper próprio, você chama a API e o robô faz a coleta no portal do órgão no momento do pedido, devolvendo o dado estruturado e o PDF oficial. A manutenção do robô é nossa.

Falar sobre api de dados públicos contato@hathdata.com

O problema

Construir o primeiro scraper é fácil, e é por isso que o projeto começa. O que quebra o roadmap é o segundo ano: o portal troca de layout sem aviso, aparece um captcha novo, a sessão passa a exigir cookie que só navegador real cria, o órgão responde 200 com uma página de erro dentro. Nada disso estava na estimativa.

Aí a conta muda de lugar. Você não contratou um squad de dados para manter proxy, fila de retry e parser de HTML de tribunal, mas é isso que dois desenvolvedores passam a fazer, e o produto de verdade para de andar.

E existe o custo que só aparece em auditoria: scraper caseiro raramente registra a hora da leitura, a evidência do que a fonte devolveu e a diferença entre nada consta e não consegui ler. Quando alguém questiona o dado, não há o que mostrar.

Como funciona

  1. 1

    Você chama a API com o CNPJ e o documento que quer.

  2. 2

    Boa parte das fontes públicas é assíncrona: aceita o pedido e entrega depois. Por isso o contrato é protocolo agora, resultado por webhook (ou polling) quando a fonte responde, em vez de segurar a sua thread esperando um portal.

  3. 3

    O retorno é JSON estruturado e, onde a fonte emite, o PDF oficial com o código de validação do órgão.

  4. 4

    Cada resposta carrega o instante da leitura e o estado real da fonte. Indisponibilidade volta como indisponibilidade, nunca convertida em resultado negativo.

  5. 5

    Portal mudou? O ajuste é do nosso lado, dentro do mesmo contrato de API. Você não versiona parser de HTML de tribunal.

  6. 6

    Lote e agendamento usam o mesmo contrato: o que muda é quem dispara a chamada.

Os documentos (61)

As coletas judiciais, no mesmo contrato

Tribunal é onde o scraper caseiro mais quebra: formulário próprio, captcha próprio e um jeito diferente de dizer nada consta em cada estado.

e mais 46 no catálogo completo.

Não vendemos o código do robô nem licença de ferramenta de scraping: o que se contrata é a entrega do dado. Não há dump nem base para download em massa: a coleta é sob demanda, uma consulta por vez, e é isso que permite carimbar a hora da leitura. Consulta de pessoa física está fora, e fonte que exige credencial sua só é acessada com autorização formal e em seu nome.

Dúvidas frequentes

O que é uma API de dados públicos?

É um endpoint que entrega em JSON o que hoje só existe dentro de um portal de órgão público. Por baixo não há base licenciada: cada consulta de dados públicos vira uma chamada, e a chamada dispara uma coleta ao vivo na fonte oficial, com a hora da leitura carimbada na resposta. É a diferença entre consumir dado público por integração e mandar alguém abrir o site do órgão na mão.

Isso é web scraping?

O mecanismo é o mesmo do web scraping, também chamado de raspagem ou extração de dados públicos: automação navegando no site público, como um usuário faria. A diferença está no que vem em volta: a fonte é oficial, a coleta acontece sob demanda em vez de varrer o site inteiro, o acesso respeita o ritmo do portal e cada resposta guarda a evidência do que a fonte devolveu. E a manutenção, que é o custo real do scraping, é nossa.

Qual a diferença entre coleta sob demanda e comprar uma base de dados pronta?

Base licenciada entrega um retrato de quando ela foi montada, e a idade do dado quase nunca aparece na tela. A coleta sob demanda vai ao órgão no instante da pergunta e devolve o que está publicado agora, com a hora da leitura. Uma responde mais rápido e em massa; a outra responde certo no dia da decisão. Para crédito, habilitação e homologação, é a segunda que se sustenta quando alguém questiona.

A API é síncrona?

Só onde a fonte é. Como várias fontes públicas devolvem protocolo e entregam depois, o contrato padrão é assíncrono: você recebe o protocolo na hora e o resultado por webhook. Fingir sincronismo em cima de fonte assíncrona apenas transfere o timeout para o seu lado.

Em que formato vem o retorno?

JSON com os campos estruturados por documento e, quando a fonte emite, o PDF original em anexo. O conteúdo bruto devolvido pela fonte também pode ser entregue, para quando a sua auditoria exige o original e não a interpretação.

Tem limite de requisições?

Tem, e o limite é o do órgão, não o nosso. A fila é dimensionada para não derrubar a fonte nem provocar bloqueio: atropelar portal público é a forma mais rápida de perder o acesso para todo mundo, inclusive para quem consulta na mão.

Como fica a LGPD numa coleta de dados públicos?

Os dados são públicos e oficiais, mas continuam sendo dados: a coleta é finalística, só do que a consulta pede, com base legal documentada, controle de acesso e registro de quem consultou o quê. Dado público não é dado livre, e sim dado com base legal diferente.

Dá para testar antes de integrar?

Dá, e é o caminho normal: escolha um documento e um punhado de CNPJs reais seus, rode e compare com o que o time faz na mão hoje. Se a conta não fechar, ela não fecha, e a gente diz.

Quer isso rodando na sua operação?

Conte quantos CNPJs você acompanha hoje e como o time faz isso agora. A partir daí dá para dizer se a automação se paga. E, quando não se paga, a gente diz também.

Falar com a gente

Para entender o mecanismo

Outras frentes

Habilitação em licitação · Homologação de fornecedores · Análise cadastral e de risco PJ · Coleta em lote e agendada · Monitoramento processual · Certidões para escritório contábil · Due diligence de terceiros · catálogo completo

A coleta é feita em fonte pública oficial: a Hath Data não é a fonte e não certifica o conteúdo publicado pelo órgão. O serviço é prestado sob contrato, o cliente é o controlador dos dados e declara a finalidade; a Hath atua como operadora. Nomes de órgãos são citados apenas para identificar a fonte, sem vínculo ou endosso. Veja os termos de uso e a política de privacidade.