[ca] Fins fa poc, la majoria dels models de visió per computador seguien sent analfabets, ignorant en gran mesura la informació explícita i semànticament rica continguda com a text d'escena. El progrés recent en la detecció i reconeixement de text d'escena ha permès recentment explorar el seu paper en un conjunt divers de problemes oberts de visió per computador, p. classificació d'imatges, recuperació de text d'imatges, subtítols d'imatges i resposta visual a preguntes, per nomenar-ne alguns. La semàntica explícita del text de l'escena requereix un modelatge específic similar al llenguatge. Tot i això, el text de l'escena és un senyal particular que s'ha d'interpretar d'acord amb una perspectiva integral que encapsuli tots els senyals visuals en una imatge. Incorporar aquesta informació és una tasca senzilla per als humans, però si no estem familiaritzats amb un idioma o escriptura, és impossible assolir una comprensió completa del món (per exemple, visitar un país estranger amb un alfabet diferent). Tot i la importància del text de l'escena, modelar-lo requereix considerar les diverses formes en què el text de l'escena interactua amb una imatge, processant i fusionant una modalitat addicional. En aquesta tesi ens centrem principalment en dues tasques, la classificació d'imatges de granularitat fina basada en text d'escena i la recuperació multimodal. En totes dues tasques estudiades identifiquem les limitacions existents als enfocaments actuals i proposem solucions plausibles. Concretament, a cada capítol: i) Definim una forma compacta de respresentar text d'escena que es generalitza a paraules invisibles en temps d'entrenament mentre es realitza en temps real. ii) Incorporem la representació de text d'escena prèviament apresa per crear un descriptor de nivell d'imatge que supera els errors de reconeixement òptic de caràcters (OCR) que s'adapten bé a la tasca de classificació d'imatges de gra fi. iii) Dissenyem una xarxa de raonament a nivell de regió que aprèn la interacció a través de la semàntica entre regions visuals excel·lents i instàncies de text d'escena. iv) Fem servir informació de text d'escena a la coincidència d'imatge i text i introduïm la tasca stacmr de recuperació Cross-Modal conscient de text d'escena. Recopilem un conjunt de dades que incorpora el text de l'escena i dissenyem un model adequat per a la modalitat estudiada recentment. v) Identifiquem els inconvenients de les mètriques de recuperació actuals a la recuperació multimodal. Es proposa una mètrica de subtítols d'imatges com una forma d'avaluar millor la semàntica en els resultats recuperats. Una àmplia experimentació mostra que la incorporació de la dita semàntica en un model produeix millors resultats semàntics i requereix una quantitat significativament menor de dades per convergir.

[es] Hasta hace poco, la mayoría de los modelos de visión por computadora seguían siendo analfabetos, ignorando en gran medida la información explícita y semánticamente rica contenida como texto de escena. El progreso reciente en la detección y el reconocimiento de texto de escena ha permitido recientemente explorar su papel en un conjunto diverso de problemas abiertos de visión por computadora, ej. clasificación de imágenes, recuperación de texto de imágenes, subtítulos de imágenes y respuesta visual a preguntas, por nombrar algunos. La semántica explícita del texto de la escena requiere un modelado específico similar al lenguaje. Sin embargo, el texto de la escena es una señal particular que debe interpretarse de acuerdo con una perspectiva integral que encapsule todas las señales visuales en una imagen. Incorporar esta información es una tarea sencilla para los humanos, pero si no estamos familiarizados con un idioma o escritura, es imposible lograr una comprensión completa del mundo (por ejemplo, visitar un país extranjero con un alfabeto diferente). A pesar de la importancia del texto de la escena, modelarlo requiere considerar las diversas formas en que el texto de la escena interactúa con una imagen, procesando y fusionando una modalidad adicional. En esta tesis, nos centramos principalmente en dos tareas, la clasificación de imágenes de granularidad fina basada en texto de escena y la recuperación multimodal. En ambas tareas estudiadas identificamos las limitaciones existentes en los enfoques actuales y proponemos soluciones plausibles. Concretamente, en cada capítulo: i) Definimos una forma compacta de representar texto de escena que se generaliza a palabras no vistas en el entrenamiento, mientras su inferencia es realizada a tiempo real. ii) Incorporamos la representación de texto de escena previamente aprendida para crear un descriptor de nivel de imagen que supera los errores de reconocimiento óptico de caracteres (OCR) que se adapta bien a la tarea de clasificación de imágenes de grano fino. iii) Diseñamos una red de razonamiento a nivel de región que aprende la interacción a través de la semántica entre regiones visuales sobresalientes e instancias de texto de escena. iv) Empleamos información de texto de escena en la coincidencia de imagen y texto e introducimos la tarea de recuperación Cross-Modal consciente de texto de escena stacmr. Recopilamos un conjunto de datos que incorpora el texto de la escena y diseñamos un modelo adecuado para la modalidad recién estudiada. v) Identificamos los inconvenientes de las métricas de recuperación actuales en la recuperación multimodal. Se propone una métrica de subtítulos de imágenes como una forma de evaluar mejor la semántica en los resultados recuperados. Una amplia experimentación muestra que la incorporación de dicha semántica en un modelo produce mejores resultados semánticos y requiere una cantidad significativamente menor de datos para converger.