Source: https://3dcollective.es/et_pb_layout/fotogrametria/
Timestamp: 2018-10-22 09:29:41+00:00

Document:
FOTOGRAMETRIA - 3DCollective
Hace aproximadamente 3 años empece a experimentar con fotogrametría, desde entonces he estado perfeccionando un sistema de captura fiable y consistente que cumpliera con mis objetivos, probando diferentes técnicas y software, para crear mi primera LIBRERÍA DE MODELOS 3D ESCANEADOS que puedes encontrar en la TIENDA de esta web. Durante este tiempo muchas personas me han preguntado por los detalles del proceso. En esta guía encontraras la información necesaria para experimentar con esta interesante técnica por tu cuenta.
También se usa con mucha frecuencia en video juegos para escanear “assets” como rocas, plantas, terrenos, superficies, etc. lo que permite a los artistas crear un entorno virtual mucho mas realista. Un ejemplo notable de esta tecnología fue el juego “Star Wars: Battlefront” donde muchos de los ecosistemas del juego estaban construidos casi en exclusiva con modelos escaneados mediante fotogrametría.
Ademas, la fotogrametría se usa desde hace muchos años en topografía y para el estudio geográfico. En la actualidad, el uso de drones ha permitido hacer estas técnicas accesibles a la mayoría.
Otro ejemplo notable del uso de esta tecnología es el trabajo de Sebastian Zapata en Friendly Shade que a llevado el escaneo de superficies al siguiente nivel.
Como esta tecnología usa fotografías y software de reconocimiento de patrones para reconstruir la geometria, si nuestro objeto o superficie no tiene detalles o tiene patrones demasiado uniformes, el software no va a poder establecer la perspectiva y por lo tanto la reconstrucción de nuestro modelo va a ser complicada. Un ejemplo seria un objeto de un metal pulido o una tela con un patron muy uniforme. Una posible solución a este problema es usar pegatinas sobre nuestro modelo o pintarlo con lacas anti-reflejo o pinturas neutras para poder escanear la superficie, pero al hacerlo, afectamos el escaneo de la textura. Por esta razón es importante planificar antes de realizar cualquier escaneo.
-Obtenemos la geometria y la textura
CÁMARA DE FOTOS: Para lograr el mejor equilibrio entre tiempo invertido y detalles capturados optamos por una cámara de alta resolución como la Canon 5DS R de 50Mp que, al no tener filtro de paso bajo, nos proporciona mas nitidez. Recordemos que cuanta mas resolución y nitidez mas preciso va a ser el resultado del escaneo, otra alternativa interesante podría ser la Sony A7 r2 de 42Mp. Estas cámara son caras y ofrecen excelentes resultados, pero se puede sutilizar cualquier cámara para hacer fotogrametría.
OTROS: Tambien es importante contar con una plataforma giratoria que nos permita estandarizar los grados que rotaremos antes de cada disparo (existen opciones automáticas), cinta métrica para tomar medidas y garantizar consistencia si movemos la cámara, gaffer tape, etc.
ISO: Generalmente la mas baja posible permitida por la cámara (ISO 100 en nuestro caso) para evitar el ruido, ya que el ruido puede confundir al software durante el proceso de escaneo.
F-Number: Generalmente intentaremos usar un diafragma lo mas cerrado posible para aumentar la profundidad de campo y evitar así perdida de nitidez por desenfoque. Valores entre f8 y f22.
Iluminación y fondo: Es importante usar fuentes de luz grandes situadas de forma frontal para eliminar sombras indeseadas en nuestro modelo. Si se trata de objetos brillantes esféricos (como frutas) es preferible usar un fondo negro y evitar luces laterales para neutralizar al maximo los especulares. Para objetos menos brillantes como rocas, etc podemos usar un chroma que nos facilitara la tarea de crear las mascaras posteriormente, pero a titulo personal prefiero usar un fondo neutro para evitar contaminación y especulares. Otra alternativa seria usar polarización cruzada con un “ring Flash” o 2 luces situadas a 45º respecto a la cámara.
Encuadre: Cada pixel de nuestra fotografía es información util que el programa de fotogrametría puede usar para añadir detalle, de manera que trataremos siempre de llenar el encuadre con nuestro modelo para desperdiciar la mínima cantidad de pixels posibles. Si se trata de objetos muy pequeños, necesitaremos una lente macro para poder acercarnos mas y poder enfocar.
Exposición: Para aprovechar al maximo la información contenida en el negativo digital hay que intentar “derechear” el histograma (exponer para las altas luces) sin sobre-exponer partes importantes del modelo.
Formato de archivo: Este es un aspecto muy importante de la captura de fotografías para fotogrametría. Yo recomiendo usar el formato RAW de nuestra cámara para obtener imágenes de 14-16bpc que nos permitirán posteriormente obtener la información lineal para nuestro albedo. Si buscamos un albedo lo mas correcto posible necesitaremos crear una versión lineal de nuestro archivo RAW usando por ejemplo DCRAW. Si el resultado es demasiado “labado” podemos hacer dos versiones de nuestras fotografías: Una version lineal para proyectar las texturas de albedo al completar el proceso y una version mas contrastada para facilitar la tarea del software de fotogrametria.
Si el proceso de captura de fotografías se hizo en condiciones de iluminación controlada y de forma metódica, este paso no requiere mayor complicación, si las fotografías se hicieron a mano alzada o con luz natural, es posible que sea necesario identificar las imágenes problemáticas y eliminarlas para que no dañen el calculo.
Una vez cargadas nuestras imágenes en photoscan, el siguiente paso es alinearlas para que el software pueda calcular la posición desde la que fueron tomadas. Al terminar deberíamos tener una nube de puntos de baja resolución y una estimación de la posición de nuestras cámaras como se muestra en la siguiente imagen. Esta fase es ideal para identificar posibles problemas en nuestras fotos. SI vemos que una de nuestras cámaras esta mal alineada podemos eliminarla para evitar problemas y si vemos que nuestra nube de puntos contiene muchos puntos “residuales” podemos eliminarlos para agilizar el proceso posterior.
La siguiente fase del proceso es extremadamente lenta y puede llegar a tardar días de calculo, por lo que se hace especialmente importante asegurarse que todo esta correctamente alineado. Una forma de evitar que el software tenga que calcular zonas innecesarias para optimizar los tiempos es usar mascaras para eliminar de la ecuación el fondo. Esto podemos hacerlo de forma manual, mediante rotoscopia, con diferencia o con Chroma Key en software como After Effect y cargar nuestra mascara con “_MASK” para que photoscan la reconozca automáticamente. Tambien existe la posibilidad de usar la geometria de baja resolución calculada previamente como mascara.
Vamos por buen camino!. Con esto ya tenemos un modelo 3D de alta resolución que representa de forma muy fiel nuestro objeto original, pero aun nos queda mucho trabajo por delante. Ahora es necesario proyectar las fotografías sobre esta geometria, por suerte este es un proceso muy rápido porque fotoscan ya tiene calculada la posición de cada cámara y simplemente tiene que proyectar las imágenes y generar una textura. En este punto es donde podemos cambiar nuestras imágenes contrastadas por nuestras texturas lineales obtenidas con DCRAW para garantizar un albedo correcto.
Una vez terminado el proceso tendremos nuestro modelo 3D y nuestras texturas lineales aplicadas sobre unas coordenadas de mapeado automáticas creadas por Photoscan. La cosa va tomando forma, pero este modelo aun no esta listo para ser usado en producción, estamos hablando de un modelo con millones de polígonos y coordenadas de mapeado automáticas difíciles de gestionar, ademas, el software de fotogrametria no suele ser capaz de representar correctamente superficies completamente pulidas por lo que se suele hacer necesario un trabajo posterior para corregir el modelo en Zbrush. En la parte 2 de esta guía podrás descubrir como transformar este modelo de alta resolución en un modelo mas manejable y como trasladar la información de altura y el albedo a unas nuevas coordenadas de mapeado creadas manualmente
El primer paso para optimizar nuestro modelo para su uso es reducir considerablemente su cantidad de polígonos manteniendo su estructura y silueta. Esta tarea puede hacerse de muchas formas, en este video explico como hacerlo de forma manual en 3D Studio MAX. Una de las opciones mas interesantes para esta parte de nuestro flujo de trabajo es ZBrush que tiene varias herramientas automáticas como ZRemesher que pueden ahorrarnos mucho trabajo y nos ofrecen excelentes resultados para objetos orgánicos. Una alternativa gratuita automática para este proceso es Instant Meshes
Ya estamos un paso mas cerca de nuestro resultado final, pero de momento, nuestro nuevo modelo de baja resolución no cuenta con coordenadas de mapeado ni texturas. Para poder transferir los detalles de nuestro modelo original y el albedo a nuestro modelo de baja resolución, necesitamos unas nuevas coordenadas de mapeado. Este trabajo podemos hacerlo directamente en ZBrush con la herramienta UV Master o en otra aplicación como 3D Studio MAX o UV Layout. En este video se explica de forma detallada el proceso de creacion de coordenadas de mapeado en 3D Studio MAX.
Ya tenemos nuestro modelo de alta resolución con textura y nuestro modelo de baja resolución con nuevas coordenadas de mapeado. El siguiente paso en el proceso consiste en usar la información de nuestro modelo de alta resolución para crear nuevos mapas para el modelo optimizado. Esta tarea puede realizarse con multiples aplicaciones como xNormal, el propio ZBrush, etc. En nuestro caso hemos preferido usar Substance Designer por si facilidad de uso, sus excelentes resultados y la posibilidad de automatizar el proceso en multiples modelos a la vez.
Local Normal: Mapa de normales local que peude ser de utilidad para hacer delighting manual si es necesario.
Finalmente, con el modelo 3D de baja resolución y las texturas generadas en Substance Designer tenemos todo lo necesario para completar el proceso y crear nuestros materiales PBR. Para garantizar los mejores resultados recomiendo tomar fotografías del modelo real en condiciones de iluminación fáciles de reproducir para usarlas como referencia.

References: resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución