Multi-textured 3D humanoid reconstruction through passive and active automatic techniques = Reconstrucción de humanoides 3D multi-texturados mediante técnicas pasivas y activas automáticas

The proliferation of video games and other applications of computer graphics in everyday life demands a much easier way to create animatable virtual human characters. Traditionally, this has been the job of highly skilled artists and animators that painstakingly model, rig and animate their avatars, and usually have to tune them for each application and transmission/rendering platform. The emergence of virtual/mixed reality environments also calls for practical and costeffective ways to produce custom models of actual people. The purpose of the present dissertation is bringing 3D human scanning closer to the average user. For this, two different techniques are presented, one passive and one active. The first one is a fully automatic system for generating statically multi-textured avatars of real people captured with several standard cameras. Our system uses a state-of-the-art shape from silhouette technique to retrieve the shape of subject. However, to deal with the lack of detail that is common in the facial region for these kind of techniques, which do not handle concavities correctly, our system proposes an approach to improve the quality of this region. This face enhancement technique uses a generic facial model which is transformed according to the specific facial features of the subject. Moreover, this system features a novel technique for generating view-independent texture atlases computed from the original images. This static multi-texturing system yields a seamless texture atlas calculated by combining the color information from several photos. We suppress the color seams due to image misalignments and irregular lighting conditions that multi-texturing approaches typically suffer from, while minimizing the blurring effect introduced by color blending techniques. The second technique features a system to retrieve a fully animatable 3D model of a human using a commercial depth sensor. Differently to other approaches in the current state of the art, our system does not require the user to be completely still through the scanning process, and neither the depth sensor is moved around the subject to cover all its surface. Instead, the depth sensor remains static and the skeleton tracking information is used to compensate the user’s movements during the scanning stage. RESUMEN La popularizacion de videojuegos y otras aplicaciones de los graficos por ordenador en el dia a dia requiere una manera mas sencilla de crear modelos virtuales humanos animables. Tradicionalmente, estos modelos han sido creados por artistas profesionales que cuidadosamente los modelan y animan, y que tienen que adaptar especificamente para cada aplicacion y plataforma de transmision o visualizacion. La aparicion de los entornos de realidad virtual/mixta aumenta incluso mas la demanda de tecnicas practicas y baratas para producir modelos 3D representando personas reales. El objetivo de esta tesis es acercar el escaneo de humanos en 3D al usuario medio. Para ello, se presentan dos tecnicas diferentes, una pasiva y una activa. La primera es un sistema automatico para generar avatares multi-texturizados de personas reales mediante una serie de camaras comunes. Nuestro sistema usa tecnicas del estado del arte basadas en shape from silhouette para extraer la forma del sujeto a escanear. Sin embargo, este tipo de tecnicas no gestiona las concavidades correctamente, por lo que nuestro sistema propone una manera de incrementar la calidad en una region del modelo que se ve especialmente afectada: la cara. Esta tecnica de mejora facial usa un modelo 3D generico de una cara y lo modifica segun los rasgos faciales especificos del sujeto. Ademas, el sistema incluye una novedosa tecnica para generar un atlas de textura a partir de las imagenes capturadas. Este sistema de multi-texturizacion consigue un atlas de textura sin transiciones abruptas de color gracias a su manera de mezclar la informacion de color de varias imagenes sobre cada triangulo. Todas las costuras y discontinuidades de color debidas a las condiciones de iluminacion irregulares son eliminadas, minimizando el efecto de desenfoque de la interpolacion que normalmente introducen este tipo de metodos. La segunda tecnica presenta un sistema para conseguir un modelo humano 3D completamente animable utilizando un sensor de profundidad. A diferencia de otros metodos del estado de arte, nuestro sistema no requiere que el usuario este completamente quieto durante el proceso de escaneado, ni mover el sensor alrededor del sujeto para cubrir toda su superficie. Por el contrario, el sensor se mantiene estatico y el esqueleto virtual de la persona, que se va siguiendo durante el proceso, se utiliza para compensar sus movimientos durante el escaneado.