[en] Human vision is restricted to the visual-optical spectrum. Machine vision is not. Cameras sensitive to diverse infrared spectral bands can improve the capacities of autonomous systems and provide a comprehensive view. Relevant scene content can be made visible, particularly in situations when sensors of other modalities, such as a visual-optical camera, require a source of illumination. As a result, increasing the level of automation not only avoids human errors but also reduces machine-induced errors. Furthermore, multi-spectral sensor systems with infrared imagery as one modality are a rich source of information and can conceivably increase the robustness of many autonomous systems. Robotics, automobiles, biometrics, security, surveillance, and the military are some examples of fields that can profit from the use of infrared imagery in their respective applications. Although multimodal spectral sensors have come a long way, there are still several bottlenecks that prevent us from combining their output information and using them as comprehensive images. The primary issue with infrared imaging is the lack of potential benefits due to their cost influence on sensor resolution, which grows exponentially with greater resolution. Due to the more costly sensor technology required for their development, their resolutions are substantially lower than those of regular digital cameras. This thesis aims to improve beyond-visible-spectrum machine vision by integrating multi-modal spectral sensors. The emphasis is on transforming the produced images to enhance their resolution to match expected human perception, bring the color representation close to human understanding of natural color, and improve machine vision application performance. This research focuses mainly on two tasks, image Colorization and Image Super resolution for both single- and cross-domain problems. We first start with an extensive review of the state of the art in both tasks, point out the shortcomings of existing approaches, and then present our solutions to address their limitations. Our solutions demonstrate that low-cost channel information (i.e., visible image) can be used to improve expensive channel information (i.e., infrared image), resulting in images of higher quality and closer to human perception at a lower cost than a high-cost infrared camera.

[es] La visión humana está restringida al espectro visual-óptico. La visión artificial no lo es. Las cámaras sensibles a diversas bandas espectrales de infrarrojos pueden mejorar las capacidades de los sistemas autónomos y proporcionar una visión integral. El contenido relevante de la escena se puede hacer visible, particularmente en situaciones en las que los sensores de otras modalidades, como una cámara visual-óptica, requieren una fuente de iluminación. Como resultado, aumentar el nivel de automatización no solo evita los errores humanos, sino que también reduce los errores inducidos por las máquinas. Además, los sistemas de sensores multiespectrales con imágenes infrarrojas como una modalidad son una rica fuente de información y posiblemente pueden aumentar la solidez de muchos sistemas autónomos. La robótica, los automóviles, la biometría, la seguridad, la vigilancia y el ejército son algunos ejemplos de campos que pueden beneficiarse del uso de imágenes infrarrojas en sus respectivas aplicaciones. Aunque los sensores espectrales multimodales han recorrido un largo camino, todavía hay varios cuellos de botella que nos impiden combinar su información de salida y utilizarlos como imágenes completas. El problema principal con las imágenes infrarrojas es la falta de beneficios potenciales debido a la influencia de su costo en la resolución del sensor, que crece exponencialmente con una mayor resolución. Debido a la tecnología de sensor más costosa requerida para su desarrollo, sus resoluciones son sustancialmente más bajas que las de las cámaras digitales normales. Esta tesis tiene como objetivo mejorar la visión artificial más allá del espectro visible mediante la integración de sensores espectrales multimodales. El énfasis está en transformar las imágenes producidas para mejorar su resolución para que coincida con la percepción humana esperada, acercar la representación del color a la comprensión humana del color natural y mejorar el rendimiento de la aplicación de visión artificial. Esta investigación se centra principalmente en dos tareas, la colorización de imágenes y la superresolución de imágenes, tanto para problemas de un solo dominio como de dominio cruzado. Primero comenzamos con una revisión extensa del estado del arte en ambas tareas, señalamos las deficiencias de los enfoques existentes y luego presentamos nuestras soluciones para abordar sus limitaciones. Nuestras soluciones demuestran que la información de canal de bajo costo (es decir, la imagen visible) se puede utilizar para mejorar la información de canal costosa (es decir, la imagen infrarroja), lo que da como resultado imágenes de mayor calidad y más cercanas a la percepción humana a un costo menor que una imagen de alto costo cámara infrarroja.