Machine Learning Aplicado em Séries Temporais em um Sistema de Integração de Dados

Resumo

O processo de integração de dados é um método para extrair dados de diversas fontes, efetuar as devidas transformações, limpezas, normalizações e inserir os dados em tabelas. Esses dados são usados para processos decisórios pelos usuários em diversas áreas do conhecimento. Com o aumento da demanda por informações nos últimos anos, novas soluções estão sendo oferecidas a fim de tornar esse processo mais eficaz. No entanto, há escassez de processos que avaliem rotinas de processamento e as informações contidas nos logs dos processos de integração de dados. Nesse contexto, esse trabalho visa avaliar os dados contidos nas séries temporais desses processos aplicando a tarefa de agrupamento utilizando os algoritmos EM e K-means, que visa agrupar dados de acordo com seu grau de semelhança. Pretende-se com essa abordagem avaliar a eficácia das classes preexistes do processo de integração de dados, propor a criação de novas classes, além de apoiar especialistas no planejamento e dimensionamento de fluxos de processamento.