Adaptive context modeling and hyperparameter selection in neural-based data compression

Abstract

A compressão de dados baseada em redes neurais ainda não atingiu todo o seu potencial. A modelagem de contexto para codificação aritmética geralmente é feita por meio de contagem de frequência e tabelas de consulta (LUTs, do inglês, “look-up tables”). Esses modelos geralmente são atualizados continuamente à medida que novas amostras são vistas. Todos os modelos de contexto baseados em redes neurais que foram propostos até o momento fazem uso de pré-treinamento. Nós propomos um método de modelagem de contexto baseado em redes neurais para codificação aritmética em que as redes neurais são treinadas dinamicamente. O modelo começa essencialmente como uma distribuição uniforme, e gradualmente se aproxima da verdadeira distribuição de probabilidade dos dados, em vez da distribuição dos dados de treinamento. O método tem melhor desempenho do que a simples contagem de frequências, e permite o aumento do tamanho do contexto para níveis não possíveis com métodos baseados em LUT. Existem métodos caixa-preta de otimização de hiperparâmetros multiobjetivo (MOHPO, do inglês, “multi-objective hyperparameter optimization”) que podem ser usados na compressão de dados baseada em redes neurais. Porém, em compressão de dados, a complexidade do compressor é geralmente tão importante, ou mais, do que seu desempenho de compressão. Propomos um método de otimização de hiperparâmetros multiobjetivo que constrói naturalmente o conjunto de soluções ótimas, ou o casco convexo inferior, em ordem crescente de complexidade. Isso permite que o algoritmo seja interrompido ao se atingir o desempenho de compressão desejado, ou o valor de complexidade máximo aceitável. Comparamos este algoritmo com métodos do estado-da-arte presentes em uma popular plataforma de MOHPO, com o método proposto apresentando resultados competitivos.