Uma análise probabilística do desempenho de sistemas ASR para rádios e tvs brasileiras

Abstract

Com o uso de tecnologias baseadas em redes neurais artificiais, os sistemas de Reconhecimento Automático de Fala (do inglês, Automatic Speech Recognition – ASR) para o Português Brasileiro (PB) têm apresentado importantes avanços nos últimos anos. Muitos dos trabalhos que alcançaram resultados no estado da arte utilizaram modelos de pontaa-ponta de código aberto, como o Wav2vec 2.0 e o Whisper. Dentre outras alternativas, estão as ferramentas comerciais, também avaliadas em nosso trabalho. Foram incluídas no estudo as APIs do Google e da Microsoft para a transcrição da fala em texto e também o sistema da VoiceInteraction, chamado Audimus. Nós analisamos o desempenho relativo dessas ferramentas – utilizando como métrica o Word Error Rate (WER) – sobre a transcrição de áudios gravados de rádios e canais de TV. Um modelo linear generalizado (do inglês, Generalized Linear Model – GLM) foi criado para descrever de forma estocástica, para cada método em questão, o relacionamento entre as propriedades dos áudios utilizados no experimento (exemplo, formato do arquivo e duração do áudio) e a acurácia da transcrição. Dentre outros usos, essa estratégia permite a análise local da performance de cada método, sendo possível estimar o desempenho esperado para cada áudio. Assim, é possível identificar não apenas a ferramenta com melhor performance global, mas também diagnosticar em quais tipos de áudio cada método teria o melhor desempenho. Essa abordagem possibilita a construção de sistemas ASR otimizados a partir do uso composto de diversos transcritores. Os dados gerados e o código utilizado para construção do modelo estocástico neste experimento estão publicamente disponíveis.