Cotacoes CEASA Scraper

Coleta cotacoes publicas de CEASAs brasileiras, preserva os arquivos brutos e consolida os registros em um banco SQLite normalizado.

Inicio rapido

Requisitos: Docker e Docker Compose.

cp .env.example .env
docker compose build
docker compose run --rm tudo

Comandos principais:

Comando	Operacao
docker compose run --rm baixar	Baixa raws de todas as fontes
docker compose run --rm salvar	Reprocessa raws ativos e salva no SQLite
docker compose run --rm tudo	Baixa, processa os raws da coleta e salva
docker compose run --rm complementar-prohort	Complementa o banco com PROHORT
docker compose run --rm sincronizar-supabase	Adiciona novos registros ao Supabase
docker compose run --rm substituir-supabase	Substitui completamente o Supabase

Documentacao

A documentacao detalhada fica na Wiki do repositorio:

• Home da Wiki
• Comandos de Operacao
• Ambiente e Configuracao
• Fluxo do Crawler
• Pacotes e Backups
• Fontes e Limitacoes
• Modelo de Dados
• Supabase
• Pendencias e Roadmap
• Decisoes Tecnicas

Crawler atual

O crawler roda pelo GitHub Actions. Quando configurado, o OneDrive guarda o backup completo com raws, cache, relatorios e SQLite. A release fixa latest-data publica apenas o banco pronto para consumo em cotacoes.sqlite.xz.

Links uteis:

• Actions
• Release latest-data
• Pacotes e Backups

Licenca

Este projeto esta sob a licenca GPL-3.0.