Do FTP do DATASUS ao seu prompt SQL.

Os microdados públicos de saúde brasileiros são publicados pelo Ministério da Saúde em um servidor FTP público e anônimo: ftp.datasus.gov.br. Cada subsistema (SIHSUS = internações hospitalares, SIM = mortalidade) mantém seus arquivos mensais ou anuais em um diretório fixo. O pipeline não faz scraping — ele lista o diretório, seleciona arquivos que casam com um padrão, e baixa apenas os que estão dentro do intervalo de datas pedido pelo usuário.

Os nomes de arquivo codificam UF e período. SIHSUS usa RDUFYYMM.dbc — por exemplo, RDSP2401.dbc significa São Paulo, janeiro/2024. SIM é anual e bifurcado por revisão da CID: DOSP2023.dbc é CID-10 (1996+, raiz de 8 caracteres); DORSP80.dbc é CID-9 (1979–1995, raiz de 7 caracteres). O parser distingue pelo comprimento da raiz, não pelo prefixo — verificar "começa com DOR" silenciosamente descartaria todos os óbitos CID-10 de RJ, RN, RO, RR e RS.

DBC é uma compressão proprietária do DATASUS sobre o veterano formato de tabela DBF. Historicamente era preciso usar ferramentas Windows-only (TabWin) para descomprimir. O pipeline usa a biblioteca Python pura datasus_dbc, então toda a cadeia roda em qualquer plataforma.

Cada DBF é transmitido para uma conexão DuckDB em memória nova como tabela de staging. Duas colunas são adicionadas aqui: source_file (auditoria) e uf (extraída do nome do arquivo). Colunas string têm caracteres invisíveis (tabs, quebras de linha, NULs) removidos e são trimadas.

Linhas brutas de DBF frequentemente têm whitespace e caracteres de controle que parecem normais em um editor de texto, mas quebram joins e checagens de unicidade.

Toda coluna numérica e de data passa por TRY_CAST para que uma única linha malformada não aborte a importação inteira — valores inválidos viram NULL e um aviso é registrado. Colunas inteiras incluem idade, dias de permanência, contagens. Colunas float incluem campos monetários como VAL_TOT.

Datas em arquivos do DATASUS não são consistentes. O parser tenta cinco formatos em ordem: YYYYMMDD, DDMMYYYY, DMMYYYY (formato de 7 dígitos exclusivo do SIM, onde o dia não tem zero à esquerda), YYYY-MM-DD, e por último uma conversão genérica.

Cada subsistema codifica sexo diferentemente. O pipeline colapsa ambos em um código comum M/F/I (indeterminado) para que consultas cross-subsistema não precisem tratar cada tabela como caso especial.

RACACOR carrega as mesmas cinco categorias do IBGE em ambos os subsistemas, mas com códigos numéricos diferentes. O pipeline mapeia para o rótulo legível em português.

O SIM armazena cadeias de códigos CID-10 para cada linha do atestado de óbito (linhaa, linhab, linhac, linhad, causabas, linhaii) como strings delimitadas por asterisco. O pipeline parseia em arrays VARCHAR[] tipados, para que o SQL possa usar UNNEST e operadores de array diretamente.

O SIM empacota a unidade e o valor da idade em um único campo de 3 dígitos, onde o primeiro dígito é a unidade (1=minutos, 2=horas, 3=meses, 4=anos, 5=>100 anos). O pipeline decodifica em idade_valor (número) e idade_unidade (texto).

Ambos os subsistemas armazenam um código IBGE de 7 dígitos para o município (munic_res no SIHSUS, codmunres no SIM), mas sem o nome legível da cidade. O pipeline faz LEFT JOIN com uma tabela de referência IBGE embutida para adicionar o nome da cidade, o estado (já conhecido) e a macrorregião.

A tabela transformada é gravada em {data_dir}/datasus_db/{subsystem}/uf={UF}/{filename}.parquet usando particionamento Hive. Particionar por UF significa que uma consulta filtrando por um único estado lê apenas os arquivos daquele estado. Compressão ZSTD mantém o footprint em disco pequeno sem prejudicar a velocidade de leitura.

Os arquivos Parquet são expostos como uma única tabela virtual por subsistema (sihsus, sim). A view faz um glob com partition pruning (read_parquet('datasus_db/sihsus/uf=*/**.parquet')), então as varreduras automaticamente eliminam partições quando a cláusula WHERE filtra por UF ou por ano.

Na página de Consulta você pode escrever qualquer SQL que quiser sobre os dados limpos, enriquecidos e particionados. O botão # ao lado de cada coluna gera com um clique uma consulta GROUP BY que inclui a % population de cada valor — visualizar distribuições sem precisar digitar.