[en] Fine-grained recognition, i.e. identifying similar subcategories of the same superclass, is central to human activity. Recognizing a friend, finding bacteria in microscopic imagery, or discovering a new kind of galaxy, are just but few examples. However, fine-grained image recognition is still a challenging computer vision task since the differences between two images of the same category can overwhelm the differences between two images of different fine-grained categories. In this regime, where the difference between two categories resides on subtle input changes, excessively invariant CNNs discard those details that help to discriminate between categories and focus on more obvious changes, yielding poor classification performance. On the other hand, CNNs with too much capacity tend to memorize instance-specific details, thus causing overfitting. In this thesis,motivated by the potential impact of automatic fine-grained image recognition, we tackle the previous challenges and demonstrate that proper alignment of the inputs, multiple levels of attention, regularization, and explicitmodeling of the output space, results inmore accurate fine-grained recognitionmodels, that generalize better, and are more robust to intra-class variation. Concretely, we study the different stages of the neural network pipeline: input pre-processing, attention to regions, feature activations, and the label space. In each stage, we address different issues that hinder the recognition performance on various fine-grained tasks, and devise solutions in each chapter: i)We deal with the sensitivity to input alignment on fine-grained human facial motion such as pain. ii) We introduce an attention mechanism to allow CNNs to choose and process in detail the most discriminate regions of the image. iii)We further extend attention mechanisms to act on the network activations, thus allowing them to correct their predictions by looking back at certain regions, at different levels of abstraction. iv) We propose a regularization loss to prevent high-capacity neural networks to memorize instance details by means of almost-identical feature detectors. v)We finally study the advantages of explicitly modeling the output space within the error-correcting framework. As a result, in this thesis we demonstrate that attention and regularization seem promising directions to overcome the problems of fine-grained image recognition, as well as proper treatment of the input and the output space.

[es] Reconocer e identificar diferentes subcategorías en nuestro entorno es una actividad crucial en nuestras vidas. Reconocer un amigo, encontrar cierta bacteria en imágenes de microscopio, o descubrir un nuevo tipo de galaxia son solo algunos ejemplos. Sin embargo, el reconocimiento de subcategorías en imágenes aún es una tarea ardua en el campo de la visión por computador, ya que las diferencias entre dos imágenes de la misma subcategoría eclipsan los detalles que distinguen dos subcategorías diferentes. En este tipo de problema, en que la distinción entre categorías radica en diferencias sutiles, las redes neuronales más insensibles a perturbaciones se centran en los cambios más obvios y tienden a errar, ya que ignoran aquellos detalles que permiten desambiguar entre diferentes categorías. Por otro lado, los modelos con demasiada capacidad tienden a memorizar detalles únicos de imágenes concretas, por lo que fallan al generalizar con nuevas imágenes nunca vistas. En esta tesis doctoral, motivados por el impacto potencial del reconocimiento automático de subcategorías, abordamos los desafíos presentados y demostramos que es posible obtenermodelos generales y robustos. Concretamente, estudiamos las diferentes fases de los algoritmos de reconocimiento de imágenes: preproceso de los datos, atención a diferentes regiones, actividad de las neuronas y el espacio de categorías. En cada fase, abordamos diferentes problemas que merman la precisión de los modelos al clasificar diferentes tipos de datos, y proponemos diferentes soluciones en cada capítulo: i) Primero abordamos el problema de la sensibilidad al alineamiento de las imágenes en el reconocimiento de expresiones faciales, como el dolor. ii) A continuación, proponemos un mecanismo de atención que permite a las redes neuronales centrarse y procesar en detalle las partes más informativas de las imágenes. iii) Extendemos losmecanismos de atenciónmás allá de los píxeles, permitiendo las redes atender su propia actividad neuronal para corregir las predicciones finales. iv)Después proponemos una nueva función de coste para regularizar las conexiones de las capas de neuronas, incentivando el aprendizaje de patrones distintos y, por lo tanto, previniendo la memorización de detalles únicos en objetos. v) Finalmente, estudiamos las ventajas de modelar explícitamente el espacio de categorías usando la teoría de códigos correctores de errores. Como resultado, en esta tesis demostramos que los mecanismos de atención y regularización pueden ser la clave para solucionar los problemas del reconocimiento de subcategorías, así como una buena modelización del espacio de entrada y salida de losmodelos.