Skip navigation
Use este identificador para citar ou linkar para este item: http://repositorio.unb.br/handle/10482/48885
Arquivos associados a este item:
Arquivo Descrição TamanhoFormato 
RicardoTorresBispoReis_DISSERT.pdf18,64 MBAdobe PDFVisualizar/Abrir
Título: Quantile-based Recalibration of Artificial Neural Networks
Autor(es): Reis, Ricardo Torres Bispo
Orientador(es): Rodrigues, Guilherme Souza
Assunto: Calibração
Intervalo de confiança
Quantificação de incerteza
Data de publicação: 15-Jul-2024
Referência: REIS, Ricardo Torres Bispo. Quantile-based Recalibration of Artificial Neural Networks. 2023. 64 f., il. Dissertação (Mestrado em Estatística) - Universidade de Brasília, Brasília, 2023.
Resumo: Redes neurais artificiais são ferramentas poderosas, amplamente utilizadas atualmente para previsão e modelagem de dados. Embora venham se tornando cada vez mais poderosas, mel horias recentes vêm impactando negativamente sua calibração em prol de maior capacidade de previsão, tornando sua real confiança difícil de avaliar (Guo et al., 2017) – ou seja, a acurácia de suas previsões não corresponde à sua estimativa de confiança. Para ilustrar, considere um evento que ocorre 90% das vezes em um experimento aleatório infinito. Uma previsão para tal evento, realizada por um modelo bem calibrado, deveria então cair dentro de um intervalo de 90% de credibilidade cerca de 90% das vezes. Para mitigar este problema, propomos um método de pós-processamento baseado em quan tis para recalibração de redes neurais. O método explora a informação contida nas probabili dades acumuladas, pi = Fˆi(yi|xi), onde xi e yi representam, respectivamente, o i-ésiamo vetor de variáveis explicativas e a i-ésiama variável dependente de um conjunto de recalibração. Fˆi denota a distribuição preditiva acumulada da rede neural. Por meio do método proposto, é possível obter amostras de Monte Carlo da distribuição preditiva recalibrada.
Abstract: Artificial neural networks (ANN) are powerful tools for prediction and data modeling. Al though they are becoming ever more powerful, modern improvements have compromised their calibration in favor of enhanced prediction accuracy, thus making their true confidence harder to assess. To address this problem, we propose a new post-processing quantile-based method of recalibration for ANN. To illustrate the method’s mechanics we present two toy examples. In both, recalibration reduced the Mean Squared Error over the original uncalibrated models and provided a better representation of the data generative model. To further investigate the effects of the proposed recalibration procedure, we also present a simulation study comparing various parameter configurations – the recalibration successfully improved performance over the base models in all scenarios under consideration. At last, we apply the proposed method to a problem of diamond price prediction, where it was also able to improve the overall model performance.
Unidade Acadêmica: Instituto de Ciências Exatas (IE)
Departamento de Estatística (IE EST)
Informações adicionais: Dissertação (mestrado) — Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Estatística, 2023.
Programa de pós-graduação: Programa de Pós-Graduação em Estatística
Aparece nas coleções:Teses, dissertações e produtos pós-doutorado

Mostrar registro completo do item Visualizar estatísticas



Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.