Visual attention and perception models for assessing quality in 2D and 3D stereoscopic video

La medida de calidad de video sigue siendo necesaria para definir los criterios que caracterizan una senal que cumpla los requisitos de visionado impuestos por el usuario. Las nuevas tecnologias, como el video 3D estereoscopico o formatos mas alla de la alta definicion, imponen nuevos criterios que deben ser analizadas para obtener la mayor satisfaccion posible del usuario. Entre los problemas detectados durante el desarrollo de esta tesis doctoral se han determinado fenomenos que afectan a distintas fases de la cadena de produccion audiovisual y tipo de contenido variado. En primer lugar, el proceso de generacion de contenidos debe encontrarse controlado mediante parametros que eviten que se produzca el disconfort visual y, consecuentemente, fatiga visual, especialmente en lo relativo a contenidos de 3D estereoscopico, tanto de animacion como de accion real. Por otro lado, la medida de calidad relativa a la fase de compresion de video emplea metricas que en ocasiones no se encuentran adaptadas a la percepcion del usuario. El empleo de modelos psicovisuales y diagramas de atencion visual permitirian ponderar las areas de la imagen de manera que se preste mayor importancia a los pixeles que el usuario enfocara con mayor probabilidad. Estos dos bloques se relacionan a traves de la definicion del termino saliencia. Saliencia es la capacidad del sistema visual para caracterizar una imagen visualizada ponderando las areas que mas atractivas resultan al ojo humano. La saliencia en generacion de contenidos estereoscopicos se refiere principalmente a la profundidad simulada mediante la ilusion optica, medida en terminos de distancia del objeto virtual al ojo humano. Sin embargo, en video bidimensional, la saliencia no se basa en la profundidad, sino en otros elementos adicionales, como el movimiento, el nivel de detalle, la posicion de los pixeles o la aparicion de caras, que seran los factores basicos que compondran el modelo de atencion visual desarrollado. Con el objetivo de detectar las caracteristicas de una secuencia de video estereoscopico que, con mayor probabilidad, pueden generar disconfort visual, se consulto la extensa literatura relativa a este tema y se realizaron unas pruebas subjetivas preliminares con usuarios. De esta forma, se llego a la conclusion de que se producia disconfort en los casos en que se producia un cambio abrupto en la distribucion de profundidades simuladas de la imagen, aparte de otras degradaciones como la denominada “violacion de ventana”. A traves de nuevas pruebas subjetivas centradas en analizar estos efectos con diferentes distribuciones de profundidades, se trataron de concretar los parametros que definian esta imagen. Los resultados de las pruebas demuestran que los cambios abruptos en imagenes se producen en entornos con movimientos y disparidades negativas elevadas que producen interferencias en los procesos de acomodacion y vergencia del ojo humano, asi como una necesidad en el aumento de los tiempos de enfoque del cristalino. En la mejora de las metricas de calidad a traves de modelos que se adaptan al sistema visual humano, se realizaron tambien pruebas subjetivas que ayudaron a determinar la importancia de cada uno de los factores a la hora de enmascarar una determinada degradacion. Los resultados demuestran una ligera mejora en los resultados obtenidos al aplicar mascaras de ponderacion y atencion visual, los cuales aproximan los parametros de calidad objetiva a la respuesta del ojo humano. ABSTRACT Video quality assessment is still a necessary tool for defining the criteria to characterize a signal with the viewing requirements imposed by the final user. New technologies, such as 3D stereoscopic video and formats of HD and beyond HD oblige to develop new analysis of video features for obtaining the highest user’s satisfaction. Among the problems detected during the process of this doctoral thesis, it has been determined that some phenomena affect to different phases in the audiovisual production chain, apart from the type of content. On first instance, the generation of contents process should be enough controlled through parameters that avoid the occurrence of visual discomfort in observer’s eye, and consequently, visual fatigue. It is especially necessary controlling sequences of stereoscopic 3D, with both animation and live-action contents. On the other hand, video quality assessment, related to compression processes, should be improved because some objective metrics are adapted to user’s perception. The use of psychovisual models and visual attention diagrams allow the weighting of image regions of interest, giving more importance to the areas which the user will focus most probably. These two work fields are related together through the definition of the term saliency. Saliency is the capacity of human visual system for characterizing an image, highlighting the areas which result more attractive to the human eye. Saliency in generation of 3DTV contents refers mainly to the simulated depth of the optic illusion, i.e. the distance from the virtual object to the human eye. On the other hand, saliency is not based on virtual depth, but on other features, such as motion, level of detail, position of pixels in the frame or face detection, which are the basic features that are part of the developed visual attention model, as demonstrated with tests. Extensive literature involving visual comfort assessment was looked up, and the development of new preliminary subjective assessment with users was performed, in order to detect the features that increase the probability of discomfort to occur. With this methodology, the conclusions drawn confirmed that one common source of visual discomfort was when an abrupt change of disparity happened in video transitions, apart from other degradations, such as window violation. New quality assessment was performed to quantify the distribution of disparities over different sequences. The results confirmed that abrupt changes in negative parallax environment produce accommodation-vergence mismatches derived from the increasing time for human crystalline to focus the virtual objects. On the other side, for developing metrics that adapt to human visual system, additional subjective tests were developed to determine the importance of each factor, which masks a concrete distortion. Results demonstrated slight improvement after applying visual attention to objective metrics. This process of weighing pixels approximates the quality results to human eye’s response.