[ca] En aquesta tesi s'aborda el problema de la comprensió de text automàtic en condicions sense restriccions. En particular, abordem les tasques de detecció, el seguiment, i el reconeixement de text multi-idioma amb orientació arbitrària en imatges i vídeos d'escena natural. Per a això s'ha desenvolupat un conjunt de mètodes genèrics que es basen de la premissa bàsica que el text té sempre algunes característiques claus visuals que són independents de la llengua o escriptura en el qual està escrit. Les metodologies d'extracció de text en escena es basen generalment en la classificació de regions o regions individuals, utilitzant el coneixement a priori d'un script o llenguatge determinat. La percepció humana de text, per contra, es basa en l'organització perceptiva a través del qual el text apareix com un grup perceptualment rellevant d'objectes atòmics. En aquesta tesi, s'argumenta que el problema de l'extracció de text pot ser plantejat com a detecció de grups significatius de regions de la imatge. Ens ocupem del problema de la segmentació del text en escenes naturals des d'una perspectiva jeràrquica, fent ús explícit de l'estructura del text, enfocant directament la detecció d'agrupacions de regions que corresponen a elements de text dins d'una jerarquia produïda per un procés d'aglomeració per similitud sobre les regions individuals. Proposem una manera òptima per construir aquesta jerarquia de manera que s'estableix un espai de característiques dissenyat per produir hipòtesis de grup de text, i una regla de detenció que combina un classificador discriminatiu i una mesura probabilística de rellevancia dels grups amb base en l'organització perceptiva. Proposem un nou algoritme de propostes d'objecte que està dissenyat específicament per a detectar text, i el comparem amb altres mètodes genèrics en l'estat de la tècnica. Alhora, s'estudia en quina mesura els mètodes existents de propostes d'objectes genèrics poden ser útils per a la detecció de text d'escena. A continuació, presentem un algoritme híbrid per a la detecció i seguiment de text d'escena en el qual la noció de groups de regions també juga paper central. Un mòdul d'extracció de text escena basada en MSER ​​s'utilitza per detectar el text de forma asíncrona, mentre que paral·lelament els objectes de text detectates són seguits per propagació de MSER. La cooperació d'aquests dos mòduls va més enllà del seguiment per detecció en termes d'optimització de temps, i pot oferir processament de vídeo en temps real fins i tot en dispositius de baixos recursos. Finalment, ens centrem en el problema de la identificació de l'escriptura en imatges de text d'escena per tal de construir un sistema de lectura d'extrem a extrem en escenris multi-idioma. Afrontar aquest problema amb classificadors CNN no és una tasca senzilla, ja que aquests no tenen en compte una característica clau de les instàncies de text d'escena: la seva relació d'aspecte es extremadament variable. En lloc de canviar la mida d'imatges d'entrada a una mida fixa, com en l'ús típic dels classificadors CNN holístics, proposem un marc de classificació basat en caracteristiques locals amb la finalitat de preservar les parts discriminatives de la imatge que són característiques de la seva classe. Es descriu un nou mètode basat en l'ús de conjunts de xarxes unides per aprendre conjuntament representacions discriminatives de regions locals de la imatge i alhora la seva importància relativa en un esquema de classificació global. Els nostres experiments amb aquest procediment d'aprenentatge demostren la viabilitat d'identificació d'alfabet en imatges d'escena natural, aplanant el camí cap als sistemes de comprensió de text d'escena d'extrem a extrem en diversos idiomes.

[en] This thesis addresses the problem of automatic scene text understanding in unconstrained conditions. In particular, we tackle the tasks of multi-language and arbitrary-oriented text detection, tracking, and recognition in natural scene images and videos. For this we have developed a set of generic methods that build on top of the basic assumption that text has always some visual key characteristics that are independent of the language or script in which it is written. Scene text extraction methodologies are usually based in classification of individual regions or patches, using a priori knowledge for a given script or language. Human perception of text, on the other hand, is based on perceptual organisation through which text emerges as a perceptually significant group of atomic objects. In this thesis, we argue that the text extraction problem could be posed as the detection of meaningful groups of regions. We address the problem of text segmentation in natural scenes from a hierarchical perspective, making explicit use of text structure, aiming directly to the detection of region groupings corresponding to text within a hierarchy produced by an agglomerative similarity clustering process over individual regions. We propose an optimal way to construct such an hierarchy introducing a feature space designed to produce text group hypotheses with high recall and a novel stopping rule combining a discriminative classifier and a probabilistic measure of group meaningfulness based in perceptual organization. We propose a new Object Proposals algorithm that is specifically designed for text and compare it with other generic methods in the state of the art. At the same time we study to what extent the existing generic Object Proposals methods may be useful for scene text understanding. Then, we present a hybrid algorithm for detection and tracking of scene text where the notion of region grouppings plays also central role. A scene text extraction module based on Maximally Stable Extremal Regions (MSER) is used to detect text asynchronously, while in parallel detected text objects are tracked by MSER propagation. The cooperation of these two modules goes beyond the full-detection approaches in terms of time performance optimization, and yields real-time video processing at high frame rates even on low-resource devices. Finally, we focus on the problem of script identification in scene text images in order to build a multi-language end-to-end reading system. Facing this problem with state of the art CNN classifiers is not straightforward, as they fail to address a key characteristic of scene text instances: their extremely variable aspect ratio. Instead of resizing input images to a fixed size as in the typical use of holistic CNN classifiers, we propose a patch-based classification framework in order to preserve discriminative parts of the image that are characteristic of its class. We describe a novel method based on the use of ensembles of conjoined networks to jointly learn discriminative stroke-parts representations and their relative importance in a patch-based classification scheme. Our experiments with this learning procedure demonstrate the viability of script identification in natural scene images, paving the road towards true multi-lingual end-to-end scene text understanding.