Obtenção e Preparação dos Dados da Frota Veicular Brasileira

1. Acesso à Fonte Pública e Organização Inicial

O primeiro passo do nosso estudo prático é a coleta dos dados brutos. Caso ainda não tenha acessado, a base oficial de dados abertos do Registro Nacional de Veículos Automotores (RENAVAM) está disponibilizada pelo Ministério dos Transportes no portal oficial:

🌐 https://dados.transportes.gov.br/dataset/registro-nacional-de-veiculos-automotores-renavam

Apesar da falta de rótulos claros no portal, os arquivos estão ordenados cronologicamente. Para resolver essa limitação e facilitar o fluxo de trabalho de quem está estudando o tema, estruturei e mapeei as fontes em uma planilha dedicada no GitHub:

📊 Mapeamento de Fontes: datasources_renavam.xlsx

Nota: A planilha atual contém uma amostra representativa e estruturada dos registros. Contribuições com novos mapeamentos via Pull Request são super bem-vindas!

2. Ingestão e Compactação de Arquivos

Após realizar o download das bases, o desafio seguinte está na descompactação e no gerenciamento do armazenamento local:

• Inconsistência de Formatos de Compressão: Parte dos arquivos históricos foi disponibilizada em formato .zip, enquanto outra parcela utiliza o formato proprietário .rar.
• Automação de Pipeline: Para rotinas automatizadas em Python (scripts de extração em lote), essa oscilação exige o uso de múltiplas bibliotecas de descompressão (como zipfile e rarfile / unrar).

3. Incompatibilidade e Formatos de Bancos Legados

A segunda grande dificuldade reside na variedade de formatos de banco de dados e arquivos de texto utilizados ao longo dos anos pelo órgão governamental:

Em ambiente de desenvolvimento com macOS, por exemplo, a manipulação direta de bases .mdb / .accdb requer contornos técnicos. Por isso, a abordagem envolveu mover os arquivos para uma máquina Windows com Microsoft Access para inspeção visual rápida, antes de prosseguir com os scripts de migração automática em Python.

Figura 1: Visão geral da estrutura de diretórios, destacando a variação de tamanhos e a mescla de formatos (.rar, .zip, .mdb, .txt).

Note o volume massivo das bases de dados. Esse processo de ingestão para múltiplos bancos relacionais (SQL) e não-relacionais (MongoDB) exige planejamento do espaço em disco e bastante paciência no processamento em lote.

4. Evolução da Estrutura dos Dados e Desafios de ETL

A comparação visual e estrutural entre dados históricos (ex: 2013) e dados recentes (ex: 2026) evidencia por que a sanitização e o processo de ETL (Extract, Transform, Load) são cruciais:

Figura 2: Estrutura antiga em Microsoft Access (7QuantidadeVeiculosPorUFMunicipio_Marca_Modelo.mdb). Agrupamento básico e menor detalhamento por município.

Figura 3: Estrutura recente em arquivo texto (I_Frota_por_UF_Municipio_Marca_e_Modelo_Ano_Janeiro_2026.TXT). Detalhamento granular expandido.

Pontos Críticos Identificados no Pipeline:

• Falta de Granularidade em Dados Antigos: Os arquivos mais antigos não detalham com precisão a quantidade exata de veículos por município, enquanto os arquivos mais recentes trazem essa métrica discriminada.
• Divergência de Nomenclatura do Schema: O nome das colunas varia drasticamente conforme a época de publicação da base de dados.
• Concatenação e Codificação de Marca/Modelo: A marca e o modelo do veículo frequentemente surgem concatenados ou representados por códigos numéricos não intuitivos em uma única coluna.