[ca] La visió humana està restringida a l'espectre visual-òptic. La visió artificial no ho és. Les càmeres sensibles a diverses bandes espectrals d'infrarojos poden millorar les capacitats dels sistemes autònoms i proporcionar una visió completa. El contingut rellevant de l'escena es pot fer visible, especialment en situacions en què els sensors d'altres modalitats, com ara una càmera visual-òptica, requereixen una font d'il·luminació. Com a resultat, augmentar el nivell d'automatització no només evita errors humans sinó que també redueix els errors induïts per la màquina. A més, els sistemes de sensors multiespectrals amb imatges infrarojes com una modalitat són una font rica d'informació i poden augmentar la robustesa de molts sistemes autònoms. La robòtica, els automòbils, la biometria, la seguretat, la vigilància i l'exèrcit són alguns exemples de camps que poden beneficiar-se de l'ús d'imatges infrarojes en les seves respectives aplicacions. Tot i que els sensors espectrals multimodals han recorregut un llarg camí, encara hi ha diversos colls d'ampolla que ens impedeixen combinar la seva informació de sortida i utilitzar-los com a imatges completes. El problema principal amb la imatge infraroja és la manca de beneficis potencials a causa de la seva influència en el cost en la resolució del sensor, que creix exponencialment amb una resolució més gran. A causa de la tecnologia de sensors més costosa necessària per al seu desenvolupament, les seves resolucions són substancialment inferiors a les de les càmeres digitals normals. Aquesta tesi té com a objectiu millorar la visió artificial de l'espectre més enllà del visible mitjançant la integració de sensors espectrals multimodals. L'èmfasi està en transformar les imatges produïdes per millorar-ne la resolució perquè coincideixi amb la percepció humana esperada, apropar la representació del color a la comprensió humana del color natural i millorar el rendiment de l'aplicació de visió artificial. Aquesta investigació se centra principalment en dues tasques, la coloració d'imatges i la superresolució d'imatges, tant per a problemes d'un sol domini com per a problemes entre dominis. Primer comencem amb una revisió extensa de l'estat de l'art en ambdues tasques, assenyalem les deficiències dels enfocaments existents i després presentem les nostres solucions per abordar les seves limitacions. Les nostres solucions demostren que la informació del canal de baix cost (és a dir, la imatge visible) es pot utilitzar per millorar la informació del canal cara (és a dir, la imatge infraroja), donant lloc a imatges de major qualitat i més properes a la percepció humana a un cost més baix que un cost elevat càmera infraroja.

[en] Human vision is restricted to the visual-optical spectrum. Machine vision is not. Cameras sensitive to diverse infrared spectral bands can improve the capacities of autonomous systems and provide a comprehensive view. Relevant scene content can be made visible, particularly in situations when sensors of other modalities, such as a visual-optical camera, require a source of illumination. As a result, increasing the level of automation not only avoids human errors but also reduces machine-induced errors. Furthermore, multi-spectral sensor systems with infrared imagery as one modality are a rich source of information and can conceivably increase the robustness of many autonomous systems. Robotics, automobiles, biometrics, security, surveillance, and the military are some examples of fields that can profit from the use of infrared imagery in their respective applications. Although multimodal spectral sensors have come a long way, there are still several bottlenecks that prevent us from combining their output information and using them as comprehensive images. The primary issue with infrared imaging is the lack of potential benefits due to their cost influence on sensor resolution, which grows exponentially with greater resolution. Due to the more costly sensor technology required for their development, their resolutions are substantially lower than those of regular digital cameras. This thesis aims to improve beyond-visible-spectrum machine vision by integrating multi-modal spectral sensors. The emphasis is on transforming the produced images to enhance their resolution to match expected human perception, bring the color representation close to human understanding of natural color, and improve machine vision application performance. This research focuses mainly on two tasks, image Colorization and Image Super resolution for both single- and cross-domain problems. We first start with an extensive review of the state of the art in both tasks, point out the shortcomings of existing approaches, and then present our solutions to address their limitations. Our solutions demonstrate that low-cost channel information (i.e., visible image) can be used to improve expensive channel information (i.e., infrared image), resulting in images of higher quality and closer to human perception at a lower cost than a high-cost infrared camera.