[en] Single image super-resolution (SISR) is an important task in image processing, which aims to enhance the resolution of imaging systems. Recently, SISR has witnessed great strides with the rapid development of deep learning. The benefits of deep learning-based methods mainly come from its two key factors, i.e., depth and skip connections (residual or dense). The first one provides a powerful capability to represent and establish a more complex LR-HR mapping while offering hierarchical features. The second factor can efficiently alleviate the gradient vanishing/exploding problems caused by simply stacking more layers to deepen networks. However, as the depth of networks increases, deep learning SR methods are faced with the challenge of computational complexity in practice. Moreover, most deep learning-based SR methods not only rarely leverage the hierarchical features from the original low-resolution (LR) images but also do not pay enough attention to the limited high-frequency information in the LR images, thereby achieving relatively low performance. Aside from the aforementioned problems, another desired ability is to upsample images to arbitrary scales using a single model. Current deep learning-based SRmethods train a dedicated model for each target resolution, losing generality and increasing memory requirements. Concretely, we propose different deep learning-based SISR algorithms to deal with the previously mentioned issues: (i)We introduce a lightweight feature extractor that enforces efficient reuse of information through a novel recursive structure of skip and dense connections. (ii)We also introduce a novel procedure for using attention mechanisms together with residual blocks, following two independent but parallel computational paths in order to make efficient use of features in early layers. (iii)We introduce a directional variance attention mechanism, specifically optimized for SR, to enhance features in different channels and spatial regions. (iv)We present a novel frequency-based enhancement block that efficiently decomposes features into low- and high-frequency and assigns more computation to high-frequency ones, thus helping the network generates more discriminative representations by explicitly recovering finer details. (v)We propose an overscaling module (OSM) that generates overscaled maps from which HR images can be accurately recovered at arbitrary scales. (vi)We introduce a novel multi-scale loss function for SISR, that allows the simultaneous training of all scale factors using a single model. Finally, we demonstrate that the proposals generated by our approaches achieve considerably better performance than previous SISR state-of-the-art methods.

[es] La superresolución de imagen única (SISR) es una tarea importante en el procesamiento de imágenes, cuyo objetivo es mejorar la resolución de los sistemas de imágenes. Recientemente, SISR ha sido testigo de grandes avances con el rápido desarrollo del aprendizaje profundo. Los beneficios de los métodos basados en el aprendizaje profundo provienen principalmente de sus dos factores clave, es decir, de la profundidad de la red y de poder saltar conexiones (residuales o densas) entre neuronas. El primero proporciona una poderosa capacidad para representar y establecer un mapeo de baja resolucion a alta resolución más complejo, al tiempo que permite trabajar con características jerárquicas. El segundo factor puede aliviar de manera eficiente el problema de la desaparición/explosión del gradiente, problemas causados simplemente por tener en cuenta redes con muchas capas de profundidad. Sin embargo, a medida que se aumenta la profundidad de las redes aplicadas a problemas SISR, estos métodos se enfrentan a la práctica con el desafío de la complejidad computacional. Además, los métodos de SISR basados en redes neuronales más profundos rara vez aprovechan las características jerárquicas de las imágenes originales de baja resolución, y tampoco prestan suficiente atención a la (aunque limitada) información de alta frecuencia que esxite en dichas imágenes, logrando así un bajo rendimiento. Aparte de los problemas antes mencionados, otra limitación de los métodos SISR es poder aumentar la muestra de imágenes a escalas arbitrarias, a partir de un solo modelo. Así, en la actualidad los métodos basados en aprendizaje profundo entrenan un modelo dedicado para cada resolución objetivo, perdiendo generalidad y aumentando los requisitos de memoria. En esta Tesis, proponemos diferentes métodos SISR basados en aprendizaje profundo que permiten hacer frente a los problemas mencionados anteriormente, en concreto: (i) presentamos un nuevo extractor de funciones muy eficiente que permite una reutilización efectiva de información a través de una nueva propuesta de estructura recursiva de salto y conexiones densas. (ii) También presentamos un procedimiento nuevo para usar los mecanismos de atención junto con los bloques residuales, siguiendo dos caminos computacionales independientes pero paralelos para hacer un uso eficiente de las características en las primeras capas. (iii) Introducimos un mecanismo direccional de atención de varianza, específicamente optimizado para SISR, para mejorar las características en los diferentes canales y en distintas regiones espaciales. (iv) Presentamos una nueva mejora basada en bloques de frecuencia que descomponen eficientemente las características en baja y alta frecuencias, y asigna más cómputo a los de alta frecuencia, ayudando así a la red a generar representaciones más discriminativas al ser capaces de recuperar explícitamente detalles más finos. (v) Proponemos un nuevo módulo de sobreescala (OSM) que genera mapas sobre-escalados a partir de escalas arbitrarias. (vi) Presentamos un nueva función de pérdida multiescala para SISR, que permite el entrenamiento simultáneo de todos los factores de escala a la vez usando un solo modelo. Y finalmente, (vii) demostramos que las propuestas generadas por nuestros enfoques permiten lograr un rendimiento considerablemente mejor que el estado del arte actual en SISR, con unas exigencias de computación más bajas.