[en] Until recently, most computer vision models remained illiterate, largely ignoring the semantically rich and explicit information contained as scene text. Recent progress in scene text detection and recognition has recently allowed exploring its role in a diverse set of open computer vision problems, e.g. image classification, image-text retrieval, image captioning, and visual question answering to name a few. The explicit semantic of scene text closely requires specific modeling similar to language. However, scene text is a particular signal that has to be interpreted according to a comprehensive perspective that encapsulates all the visual cues in an image. Incorporating this information is a straightforward task for humans, but if we are unfamiliar with a language or scripture, achieving a complete world understanding is impossible (e.a. visiting a foreign country with a different alphabet). Despite the importance of scene text, modeling it requires considering the several ways in which scene text interacts with an image, processing and fusing an additional modality. In this thesis, we mainly focus on two tasks, scene text-based fine-grained image classification, and cross-modal retrieval. In both studied tasks we identify existing limitations in current approaches and propose plausible solutions. Concretely, in each chapter: i) We define a compact way to embed scene text that generalizes to unseen words at training time while performing in real-time. ii) We incorporate the previously learned scene text embedding to create an image-level descriptor that overcomes optical character recognition (OCR) errors which is well-suited to the fine-grained image classification task. iii) We design a region-level reasoning network that learns the interaction through semantics among salient visual regions and scene text instances. iv) We employ scene text information in image-text matching and introduce the Scene Text Aware Cross-Modal retrieval stacmr task. We gather a dataset that incorporates scene text and design a model suited for the newly studied modality. v) We identify the drawbacks of current retrieval metrics in cross-modal retrieval. An image captioning metric is proposed as a way of better evaluating semantics in retrieved results. Ample experimentation shows that incorporating such semantics into a model yields better semantic results while requiring significantly fewer data to converge.

[es] Hasta hace poco, la mayoría de los modelos de visión por computadora seguían siendo analfabetos, ignorando en gran medida la información explícita y semánticamente rica contenida como texto de escena. El progreso reciente en la detección y el reconocimiento de texto de escena ha permitido recientemente explorar su papel en un conjunto diverso de problemas abiertos de visión por computadora, ej. clasificación de imágenes, recuperación de texto de imágenes, subtítulos de imágenes y respuesta visual a preguntas, por nombrar algunos. La semántica explícita del texto de la escena requiere un modelado específico similar al lenguaje. Sin embargo, el texto de la escena es una señal particular que debe interpretarse de acuerdo con una perspectiva integral que encapsule todas las señales visuales en una imagen. Incorporar esta información es una tarea sencilla para los humanos, pero si no estamos familiarizados con un idioma o escritura, es imposible lograr una comprensión completa del mundo (por ejemplo, visitar un país extranjero con un alfabeto diferente). A pesar de la importancia del texto de la escena, modelarlo requiere considerar las diversas formas en que el texto de la escena interactúa con una imagen, procesando y fusionando una modalidad adicional. En esta tesis, nos centramos principalmente en dos tareas, la clasificación de imágenes de granularidad fina basada en texto de escena y la recuperación multimodal. En ambas tareas estudiadas identificamos las limitaciones existentes en los enfoques actuales y proponemos soluciones plausibles. Concretamente, en cada capítulo: i) Definimos una forma compacta de representar texto de escena que se generaliza a palabras no vistas en el entrenamiento, mientras su inferencia es realizada a tiempo real. ii) Incorporamos la representación de texto de escena previamente aprendida para crear un descriptor de nivel de imagen que supera los errores de reconocimiento óptico de caracteres (OCR) que se adapta bien a la tarea de clasificación de imágenes de grano fino. iii) Diseñamos una red de razonamiento a nivel de región que aprende la interacción a través de la semántica entre regiones visuales sobresalientes e instancias de texto de escena. iv) Empleamos información de texto de escena en la coincidencia de imagen y texto e introducimos la tarea de recuperación Cross-Modal consciente de texto de escena stacmr. Recopilamos un conjunto de datos que incorpora el texto de la escena y diseñamos un modelo adecuado para la modalidad recién estudiada. v) Identificamos los inconvenientes de las métricas de recuperación actuales en la recuperación multimodal. Se propone una métrica de subtítulos de imágenes como una forma de evaluar mejor la semántica en los resultados recuperados. Una amplia experimentación muestra que la incorporación de dicha semántica en un modelo produce mejores resultados semánticos y requiere una cantidad significativamente menor de datos para converger.