[en] Visual Question Answering (VQA) is the task where given an image and a natural language question, the objective is to generate a natural language answer. At the intersection between computer vision and natural language processing, this task can be seen as a measure of image understanding capabilities, as it requires to reason about objects, actions, colors, positions, the relations between the different elements as well as commonsense reasoning, world knowledge, arithmetic skills and natural language understanding. However, even though the text present in the images conveys important semantically rich information that is explicit and not available in any other form, most VQA methods remained illiterate, largely ignoring the text despite its potential significance. In this thesis, we set out on a journey to bring reading capabilities to computer vision models applied to the VQA task, creating new datasets and methods that can read, reason and integrate the text with other visual cues in natural scene images and documents. In Chapter 3, we address the combination of scene text with visual information to fully understand all the nuances of natural scene images. To achieve this objective, we define a new sub-task of VQA that requires reading the text in the image, and highlight the limitations of the current methods. In addition, we propose a new architecture that integrates both modalities and jointly reasons about textual and visual features. In Chapter 5, we shift the domain of VQA with reading capabilities and apply it on scanned industry document images, providing a high-level end-purpose perspective to Document Understanding, which has been primarily focused on digitizing the document's contents and extracting key values without considering the ultimate purpose of the extracted information. For this, we create a dataset which requires methods to reason about the unique and challenging elements of documents, such as text, images, tables, graphs and complex layouts, to provide accurate answers in natural language. However, we observed that explicit visual features provide a slight contribution in the overall performance, since the main information is usually conveyed within the text and its position. In consequence, in Chapter 6, we propose VQA on infographic images, seeking for document images with more visually rich elements that require to fully exploit visual information in order to answer the questions. We show the performance gap of different methods when used over industry scanned and infographic images, and propose a new method that integrates the visual features in early stages, which allows the transformer architecture to exploit the visual features during the self-attention operation. Instead, in Chapter 7, we apply VQA on a big collection of single-page documents, where the methods must find which documents are relevant to answer the question, and provide the answer itself. Finally, in Chapter 8, mimicking real-world application problems where systems must process documents with multiple pages, we address the multipage document visual question answering task. We demonstrate the limitations of existing methods, including models specifically designed to process long sequences. To overcome these limitations, we propose a hierarchical architecture that can process long documents, answer questions, and provide the index of the page where the information to answer the question is located as an explainability measure.

[es] Visual Question Answering (VQA) es la tarea en la que dada una imagen y una pregunta en lenguaje natural, el objetivo es generar una respuesta en lenguaje natural. En la intersección entre la visión por computador y el procesamiento del lenguaje natural, esta tarea puede verse como una medida de las capacidades de comprensión de las imágenes, ya que requiere razonar sobre objetos, acciones, colores, posiciones, las relaciones entre los diferentes elementos, así como utilizar el sentido común, conocimientos globales, habilidades aritméticas y comprensión del lenguaje natural. Sin embargo, aunque el texto presente en las imágenes contiene información semánticamente importante que es explícita y no disponible en ninguna otra forma, la mayoría de los métodos de VQA son analfabetos, ignorando en gran parte el texto de las imágenes a pesar de su potencial importancia. En esta tesis, iniciamos un viaje para conseguir aportar capacidades de lectura a los modelos de visión por computador aplicados a la tarea VQA, creando nuevos conjuntos de datos y métodos que puedan leer, razonar e integrar el texto con otros indicios visuales en imágenes de escenas naturales y documentos. En el Capítulo 3, dirigimos el problema de cómo combinar el texto en escenas naturales con la información visual para entender completamente todos los matices de las imágenes. Para ello, definimos una nueva subtarea de VQA que requiere leer el texto de la imagen, destacando las limitaciones de los métodos actuales y, en consecuencia, proponemos una nueva arquitectura que puede razonar sobre ambas modalidades. En el Capítulo 5, cambiamos el dominio de VQA con capacidades de lectura y lo aplicamos en imágenes de documentos escaneados, proporcionando una perspectiva final de alto nivel en el campo dedicado a la inteligencia sobre documentos, el cual se ha centrado principalmente en digitalizar el contenido de estos documentos y extraer valores clave sin tener en cuenta la finalidad para la que se extraía dicha información. Para ello, creamos un conjunto de datos que requiere que los métodos razonen sobre los elementos únicos que pueden encontrarse en documentos como texto, tablas, figuras o gráficos dispuestos en complejos diseños, para conseguir proporcionar respuestas precisas en lenguaje natural. Sin embargo, observamos que las características visuales explícitas aportan una ligera contribución al rendimiento total, puesto que la información se encuentra principalmente en el mismo texto y en su posición. Por ello, en el Capítulo 6, proponemos aplicar VQA sobre imágenes infográficas, buscando imágenes de documentos con elementos visualmente más ricos que requieran explotar al máximo la información visual para responder a las preguntas. En este capítulo mostramos la diferencia de rendimiento de diferentes métodos cuando se utilizan sobre imágenes de documentos escaneados o sobre imágenes infográficas, y proponemos un nuevo método que integra las características visuales en las primeras etapas, que permite que la arquitectura del modelo explote las características visuales durante la operación de autoatención. En cambio, en el Capítulo 7, aplicamos VQA a una gran colección de documentos de una sola página, donde los métodos deben encontrar qué documentos son relevantes para responder a la pregunta y proporcionar la respuesta en sí. Por último, en el Capítulo 8, imitando los escenarios reales donde los sistemas deben procesar documentos con varias páginas, proponemos utilizar documentos multipágina para VQA mostrando las limitaciones de los métodos ya existentes. Además, proponemos una arquitectura jerárquica que puede procesar documentos largos, responder a las preguntas planteadas y proporcionar el índice de la página donde se encuentra la información para responder a la pregunta como medida de explicabilidad.