3D point-cloud quality assessment using color and geometry texture descriptors

Abstract

Desde meados do século 20 o uso de formatos digitais para conteúdo visual permitiu uma grande evolução sobre como a sociedade se comunica. A Internet e os sistemas de transmissão digital introduzidos na década de 90 para o público em geral permitiu uma expansão incrível do consumo de conteúdo multimídia pela população, ao mesmo tempo que as redes de telecomunicações e os provedores foram levados ao limite para lidar com a crescente demanda de conteúdo multimídia. Sistemas de imagem eletrônicos mais antigos, principalmente sistemas de transmissão de TV, foram projetados após uma longa análise subjetiva de qualidade para a definição de parâmetros como número de linhas do vídeo. No entanto serviços com conteúdo visual digital mais recentes precisam de maneiras rápidas e acessíveis de avaliar a qualidade percebida por seres humanos dos sistemas multimídia em constante evolução. Para atender à necessidade de avaliação automática da qualidade, nas últimas décadas,

muitos modelos de qualidade visual baseados em algoritmos que funcionam em computa- dores digitais foram propostos. Tipos diferentes de métricas para acessar a qualidade de

imagens estáticas e vídeo foram desenvolvidas e fornecem boa correlação com a percep- ção de qualidade por humanos. Enquanto as métricas atuais são muito avançadas para

imagens digitais 2D, um novo conjunto de mídias imersivas está surgindo, com diferentes estruturas de dados, para as quais os métodos 2D não são aplicáveis e precisam de novas métricas de avaliação de qualidade. Os novos formatos de mídia visual imersiva fornecem uma representação visual 3D de

objetos e cenas reais. Neste novo formato visual, objetos podem ser capturados, compri- midos, transmitidos e visualizados em tempo real, não mais como uma imagem 2D, mas

como conteúdo visual 3D, permitindo a livre seleção do ponto de vista por um consumidor de tal mídia. Um dos formatos mais populares para mídia imersiva é o Point Cloud (PC), que é composto por pontos com 3 coordenadas geométricas e informações de cores e, às vezes, outras informações como refletância e transparência. Neste trabalho é apresentada uma pesquisa sobre avaliação da qualidade de Point

Clouds 3D com base em estatísticas de texturas de cor e geometria inovadoras. Consi- derando que distorções em ambos os atributos de cor e geometria do conteúdo visual 3D

viii

afetam a qualidade visual percebida, é proposto neste trabalho usar ambos descritores de textura baseados em cor e geometria para PC para se obter a degradação visual através de suas estatísticas. O modelo proposto para avaliação da qualidade é um método de referência completa, o que significa que usa informações do PC de referência e da versão degradada do PC para obter uma estimativa de qualidade. Este trabalho apresenta 4 novos descritores de texturas para PC, 3 deles baseados em cores, enquanto 1 é baseado em geometria. Um novo método de voxelização é também proposto, que converte pontos em voxels (elementos de volume) e melhora o desempenho dos descritores de textura baseados em cores. O desempenho da proposta de avaliação da qualidade de PC está entre os melhores métodos do estado da arte para avaliação da qualidade de PC, sendo flexível e extensível para se adaptar a diferentes tipos de distorções.