Síntese e codificação de vistas virtuais para sistemas de ponto de vista livre

Abstract

Nos últimos anos, houve uma crescente tendência de desenvolvimento de novas tecnologias que possibilitaram novas formas de interação entre usuário e conteúdo. Sistemas de ponto de vista livre, que são sistemas que possibilitam ao usuário determinar qual ponto de vista da cena será exibido, se tornam cada vez mais próximos de serem concretizados. Este trabalho tem como objetivo investigar este tipo de sistema. Primeiro, é criado um sintetizador de vistas que, com a informação de diferentes câmeras de uma cena, gera uma nova imagem referente a um novo ponto de vista o qual não foi capturado por nenhuma câmera. Desta forma, possibilita a criação de sistemas de ponto de vista livre. Alguns métodos para suavização de contornos e interpolação de pixels para a melhora da qualidade da imagem gerada pela síntese de vista foram propostos. Dependendo de qual lado a síntese de vista for realizada (codi cador ou decodi cador), diferentes dados são transmitidos no sistema. Se houver um canal de retorno, pode ser melhor sintetizar os novos pontos de vista no lado do codi cador, sendo este cenário adequado caso o decodi cador possua baixa complexidade computacional ou o canal de transmissão tenha restrição de banda. Sem o canal de retorno, a síntese deve ser realizada no decodi cador e todas as vistas capturadas devem ser transmitidas. É investigado a arquitetura do sistema para cada alternativa e seu custo-benefício. _______________________________________________________________________________________ ABSTRACT

In recent years, a trend to develop new technologies to enable human-content interaction arose. Free viewpoint television (FTV) enables the user to interactively control the viewpoint of the scene being displayed and is now becoming a viable technology. This work investigates this type of system. First, a view synthesizer is created that generates an image that corresponds to a viewpoint of the scene which was not captured by any camera, using the video captured by the existing cameras. With that is possible to create a FTV system. Some methods were proposed for edge smoothing and pixel interpolation to improve the overall image quality in view synthesis. Depending on which side of the system view synthesis is carried (encoder or decoder) different data should be transmitted to the receiver. Where a feedback channel is available it is perhaps better to synthesize new views at the encoder size and this is suited to low-complexity decoders and to channels with reduced bandwidth. Without a feedback channel, views are synthesized at the decoder and all the captured views are sent to the decoder side. We investigated the system architecture for each alternative and investigated their cost-effectiveness.