← Voltar
03 Produção Eficiência Fiscal 2023 / 2025 Desenvolvedor Fullstack

Pipeline de scraping fiscal em escala

Captura de NF-e, NFS-e e NFC-e em escala: desktop Electron/Java + pipeline PHP/Python com filas, SOAP e milhares de documentos/mês.

Contexto

Cada nota fiscal no Brasil tem um caminho próprio: a NF-e é nacional, em um único portal; a NFS-e é municipal, com um portal por cidade, cada um com regras e formatos diferentes. Na Eficiência Fiscal, automatizei a captura de NF-e, NFS-e e NFC-e diretamente da nuvem para o computador do cliente: milhares de documentos por mês.

Arquitetura

Duas frentes: desktop e servidor. Aplicações em Electron e Java fazem download de documentos fiscais e raspagem de certidões. No servidor, pipeline em PHP e Python orquestrado por filas: retry, idempotência e observabilidade ponta a ponta.

Execução

Construí a suíte de testes da plataforma do zero. Antes disso o time não tinha padrão de qualidade definido.

Os portais alteram layout sem aviso. Retry absorvia falhas de rede; idempotência evitava duplicação de documentos na base.

Resultado

1.000.000+ documentos fiscais no acumulado. O pipeline aguenta mudança de layout nos portais com pouca intervenção manual.

Stack

LaravelPHPPythonElectronJavaNode.jsSOAPPostgreSQLAWSDocker ScrapingFilas