Análise de quantização para codificação de redes neurais sem retreino

Abstract

O aprendizado de máquinas e o aprendizado profundo são utilizados para a resolução de diversos problemas, em diferentes áreas de atuação. Esse fato impulsiona o desenvolvimento de redes neurais, além de estimular o crescimento do tamanho destas. Este estudo propõe um método para reduzir o tamanho de redes neurais sem retreiná-las, relacionando a entropia dos pesos dos modelos e a acurácia dos modelos. Parte deste estudo foi dedicado à distribuição dos pesos, procurando semelhanças entre elas e as distribuições conhecidas. Com intuito de reduzir o tamanho da rede foi realizada a compressão do modelo por meio de vários tipos de quantização. Ao final deste estudo, indica-se que é possível diminuir o tamanho da rede em 8 vezes, com um prejuízo não maior que 0,8% para as métricas de acurácia, além de mostrar que quantização com deadzone possui um bom resultado para as redes testadas. E assim, a quantização e a codificação recomendadas podem ser incorporadas a um formato de distribuição de redes neurais.