Aplicação de Técnicas de Otimização de Hiperparâmetros em Modelos de Machine Learning na Tarefa de Classificar Bons e Maus Clientes

Título: Aplicação de Técnicas de Otimização de Hiperparâmetros em Modelos de Machine Learning na Tarefa de Classificar Bons e Maus Clientes

Autores: Armando Pereira Pontes Júnior, Roberta Andrade de A. Fagundes

Resumo: A indústria financeira necessita de soluções rápidas, de menor custo e mais assertivas na classificação de risco de crédito. Métodos de machine learning estão cada vez mais sendo incorporados para executar essa tarefa. Além disso, técnicas de otimização de hiperparâmetros podem melhorar o desempenho de classificadores. Neste trabalho foram aplicadas duas importantes técnicas de otimização com cinco classificadores distintos, são eles: Decision Tree (DT), Random Forest (RF), MultiLayer Perceptron (MLP), eXtreme Gradient Boost (XGBoost) e Light Gradient Boost Machine (LGBM). Para medir o desempenho dos classificadores foram utilizadas as seguintes métricas: Accuracy, Precison, Recall e F1-Score. Os modelos foram treinados e testados com informações de duas bases de dados. Inicialmente foram utilizadas as configurações padrões dos hiperparâmetros, e, posteriormente, foram aplicadas as otimizações bayesiana e por Particle Swarm Optimization (PSO) para alcançar melhores resultados. A otimização bayesiana apresentou melhorias nas métricas de todos os modelos, com destaque para o Recall, chegando a uma assertividade de 91,4% no classificador MLP. Porém, a otimização por PSO não apresentou melhoria no desempenho

Palavras-chave: credit scoring, machine learning, Bayesian optimization, PSO

Páginas: 8

Código DOI: 10.21528/CBIC2023-141

Artigo em pdf: CBIC_2023_paper141.pdf

Arquivo BibTeX: CBIC_2023_141.bib