Feature/refactor etl interface | Refatoração do Pipeline ETL e Estabilização da Suíte de Testes #11
Conversation
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
…s estruturado e valores de retorno.
…ova estrutura de retorno.
…ajustes menores).
Realizada revisão inicial da suíte de testes para garantir a validade e consistência após refatorações no core do módulo. - `tests/test_file_input.py`: Refatorado para remover testes duplicados, simplificar o fixture `mock_pipeline` com `MagicMock` e ajustar asserções para refletir os retornos consistentes do `etl_pipeline`. - `tests/core/test_downloader.py`: Validado e confirmado sua estabilidade. Todos os testes existentes foram executados e passaram com sucesso, indicando que o módulo `Downloader` e seus testes permanecem funcionais e relevantes. - Outros arquivos de teste (`tests/core/test_database.py`, `tests/core/test_processor.py`, `tests/test_config.py`, `tests/test_pipeline.py`): Incluídos no stage para refletir a revisão geral da suíte de testes, embora modificações diretas significativas não tenham sido aplicadas a todos eles nesta etapa. Esta etapa visa preparar a base de testes para futuras modificações, garantindo que apenas testes válidos e funcionais estejam presentes.
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
Refatoração do Pipeline ETL e Estabilização da Suíte de Testes
Descrição
Esta Pull Request consolida uma série de melhorias e refatorações significativas no pipeline ETL do AutoSINAPI, visando maior modularidade, robustez e facilidade de manutenção. Além disso, foram realizadas atualizações importantes na suíte de testes e nas configurações de ambiente.
Mudanças Principais
✨ Novas Funcionalidades (feat)
run_etl: Permite a configuração do modo de operação via variável de ambiente e expõe a funçãorun_etlpara maior flexibilidade na execução do pipeline.tests/test_file_input.pypara remover duplicações e simplificar fixtures, e validação da estabilidade detests/core/test_downloader.py.🔄 Refatorações (refactor)
pre_processador.pyfoi refatorado para se tornar um módulo importável, melhorando a organização do código.🐛 Correções (fix)
📝 Documentação (docs)
docs/DataModel.mdfoi atualizada para refletir as mudanças no modelo de dados decorrentes da refatoração do pipeline ETL.🧹 Tarefas de Manutenção (chore)
Breaking Changes
run_etlChecklist
Próximos Passos
Referências