Super-resolução utilizando quadros chave em sequências de vídeo de resolução mista

Abstract

É desejável gerar imagens que possuam alta-resolução espacial. Uma altaresolução espacial pode contribuir para uma melhor classificação e/ou segmentação de regiões ou uma melhor análise em imagens multi-espectrais; e também pode gerar uma imagem mais agradável em sistemas de alta-definição. A resolução de uma imagem depende da resolução do dispositivo de aquisição. Super-resolução é o nome das técnicas que aumentam a resolução espacial de um sistema de imageamento. Então, uma imagem super-resolvida pode alcançar resolução mais alta comparada ao que o dispositivo pode gerar. Neste trabalho é apresentada uma técnica de super-resolução em um esquema de resolução mista. Alguns quadros, chamados quadro chave, estão disponíveis em resolução normal enquanto os outros quadros estão em resolução reduzida e precisam então ser super-resolvidos para alcançarem resolução normal. No esquema proposto, a informação disponível provinda dos quadros chave é processada para super-resolver os quadros não-chave que foram previamente sub-amostrados. Diferentemente de outras arquiteturas de super-resolução, no esquema proposto é assumido que o sistema de aquisição pode alcançar a resolução desejada porém por limitações do sistema de armazenamento ou transmissão é melhor que somente alguns quadros sejam transmitidos em resolução normal. Tais limitações podem incluir restrições de banda ou redução de complexidade na codificação. A redução da complexidade no processo de codificação é importante em dispositivos móveis com limitações de energia e processamento tais como telefones celulares e câmeras digitais. _________________________________________________________________________________ ABSTRACT

It is desirable to generate an image that has a high spatial resolution. A high spatial resolution can contribute to a better classification and/or segmentation of regions or a better analysis in multi-spectral images; and it can also generate a more pleasant view in high definition systems. The resolution of an image depends on the resolution of the acquisition device. Super-resolution is the name of the techniques that enhance the spatial resolution of an imaging system. Therefore, a super-resolved image could achieve a higher resolution than the acquisition device can generate. In this work it is presented a super-resolution technique in a mixed resolution framework. Some frames, called key frames, are available at regular resolution while the middle frames are at low-resolution and thus they need to be super-resolved to the regular resolution. In the proposed scheme, the available information from the key frames is processed to superresolve the non-key frames which were previously down-sampled. Different from other super-resolution architectures, in the proposed framework it is assumed that the acquisition device can achieve the desirable resolution, but due to storage or transmission system limitations it is better if only some frames are transmitted at regular resolution. Such limitations can include bandwidht restriction or encoding complexity reduction. The reduction of encoding complexity is important in power contrained portable devices, such as popular mobile phones and digital cameras.