Saliency-driven dynamic point cloud coding using projections onto images

Abstract

As regiões de interesse (ROI) têm sido utilizadas na codicação tradicional de imagens e vídeos para melhorar a qualidade do quadro em certas regiões, como rostos, em detrimento de outras áreas. No entanto, a ROI na compressão de nuvens de pontos não foi amplamente abordada, as- sim como a criação de mapas de saliência. Ambos os pontos são abordados neste trabalho. É difícil

identicar diretamente atributos como rostos em nuvens de pontos esparsas e foi desenvolvido um

método alternativo para o fazer. São utilizadas projeções ortográcas em planos 2D que são sub- metidas a algoritmos de visão computacional bem conhecidos. Uma vez identicada uma região de

interesse, os seus pixels são retroprojetados nos voxels correspondentes. Ao repetir as projeções ao longo de muitas vistas, a informação de múltiplas projeções é agregada para formar um conjunto de voxels que se acredita conter a ROI ou serem os com maior valor de saliência. Como método não supervisionado, foi concebido um algoritmo para procurar as melhores vistas para projeções,

utilizando informação de consistência temporal que é herdada de um quadro para outro. Foram utilizados algoritmos de detecção facial, tais como Viola-Jones, para determinar a ROI 2D e foram também utilizados algoritmos de criação de mapas de saliências bem estabelecidos para imagens bidimensionais. A m de utilizar a ROI para compressão, foi desenvolvida uma estratégia de codi- cação baseada num critério de distorção modicada que pode ser aplicado a muitos codicadores

e é naturalmente aplicável ao codicador que utiliza a transformação hierárquica por região adap- tável (RAHT). Na sua essência, os bits (e a qualidade) são deslocados para a ROI a partir de áreas

não-ROI, assumindo que as partes não-ROI são visualmente menos importantes e têm valores de

saliência inferiores. Os resultados revelam uma grande melhoria subjetiva global ao melhorar con- sideravelmente o ROI à custa de uma pequena degradação das regiões de menor saliência.