Um framework para processamento paralelo de algoritmos de aumento de resolução de vídeos

Abstract

O aumento dimensional de sinais visuais consiste na alteração do tamanho de uma imagem ou de um vídeo para dimensões espaciais maiores, utilizando técnicas de processa- mento digital de sinais. Geralmente, esse aumento é feito com a utilização de técnicas de interpolação. Contudo, essas técnicas de interpolação produzem distorções nas imagens au- mentadas. Tais distorções ocorrem porque a imagem aumentada possui apenas as amostras da imagem original, de dimensões menores, que são insu cientes para reconstrução exata do sinal, o que gera efeitos de aliasing. Assim sendo, as técnicas de interpolação apenas estimam os coe cientes não-amostrados do sinal, o que muitas vezes produz resultados insatisfatórios para muitas aplicações, necessitando de outras técnicas para reconstituir os coe cientes não-amostrados com maior precisão. Para melhorar a aproximação de uma imagem estimada com relação à imagem origi- nal, existem técnicas que reconstroem os coe cientes não-amostrados. Essas técnicas são chamadas de super-resolução. Elas consistem em aumentar a resolução utilizando, geral- mente, informações de outras imagens em baixa ou alta-resolução para estimar a informação faltante na imagem que se deseja ampliar. Super-resolução é um processo computacionalmente intenso, onde a complexidade dos algoritmos são, geralmente, de ordem exponencial no tempo em função do bloco ou do fa- tor de ampliação. Portanto, quando essas técnicas são aplicadas para vídeos, é necessário que o algoritmo seja extremamente rápido. O problema é que os algoritmos mais com- putacionalmente e cientes, nem sempre são aqueles que produzem os melhores resultados visuais. Sendo assim, este trabalho propõe um framework para melhorar o desempenho de diversos algoritmos de super-resolução através de estratégias de processamento seletivo e paralelo. Para isso, nesta dissertação são examinadas as propriedades dos resultados produzidos pelos algoritmos de super-resolução e os resultados produzidos utilizando-se técnicas de interpolação. Com essas propriedades, é encontrado um critério para classi car as regiões em que os resultados produzidos sejam visualmente equivalentes, não importando o método utilizado para ampliação. Nessas regiões de equivalência utiliza-se um algoritmo de interpolação, que é muito mais veloz do que os computacionalmente complexos de super-resolução. Assim, consegue-se reduzir o tempo de processamento sem prejudicar a qualidade visual do vídeo ampliado. Além dessa abordagem, este trabalho também propõe uma estratégia de divisão de dados entre diferentes tarefas para que a operação de aumento de resolução seja realizada de forma paralela. Um resultado interessante do modelo proposto é que ele desacopla a abstração de distribuição de carga da função de aumento dimensional. Em outras palavras, diferentes métodos de super-resolução podem explorar os recursos do framework sem que para isso seus algoritmos precisem ser modi cados para obtenção do paralelismo. Isso torna o framework portável, escalável e reusável por diferentes métodos de super-resolução. ______________________________________________________________________________ ABSTRACT

The magni cation of visual signals consists of changing the size of an image or a video to larger spatial dimensions, using digital signal processing techniques. Usually, this mag- ni cation is done using numerical interpolation methods. However, these interpolation methods tend to produce some distortions in the increased images. Such distortions oc- cours because the interpolated image is reconstructed using only the original image samples, which are insu cients for the accurate signal reconstruction, generating aliasing e ects. These interpolation techniques only approximate the non-sampled signal coe cients, pro- ducing unsatisfactory results for many applications. Thus, for these applications, others techniques to estimate the non-sampled coe cients are needed. To improve the estimation accuracy of an image with respect to the original, the super- resolution techniques are used to reconstruct the non-sampled coe cients. Generally, these super-resolution techniques enhance the increased image using information of other images to estimate the missing information. Super-resolution is a computationally intensive process, where the algorithms com- plexity are, generally, exponential in time as function of the block size or magni cation factor. Therefore, when these techniques are applied for videos, it is required that the super-resolution algorithm be extremely fast. However, more computationally e cient algorithms are not always those that produce the best visual results. Therefore, this work proposes a framework to improve the performance of various super- resolution algorithms using selective processing and parallel processing strategies. Thus, this dissertation examines the properties of the results produced by the super-resolution algorithms and the results produced by using interpolation techniques. From these proper- ties, is achieved a criterion to classify regions wherein the results produced are equivalent (using both super-resolution or interpolation). In these regions of equivalence, the in- terpolation algorithms are used to increase the dimensions. In the anothers regions, the super-resolution algorithms are used. As interpolation algorithms are faster than the com- putationally complex super-resolution algorithms, the idea is decrease the processing time without a ecting the visual quality of ampli ed video. Besides this approach, this paper also proposes a strategy to divide the data among various processes to perform the super-resolution operation in parallel. An interesting re- sult of the proposed model is the decoupling of the super-resolution algorithm and the parallel processing strategy. In other words, di erent super-resolution algorithms can ex- plore the features of the proposed framework without algorithmic modi cations to achieve the parallelism. Thus, the framework is portable, scalable and can be reusable by di erent super-resolution methods.