Exploiting similarity hierarchies for multi-script scene text understanding

En aquesta tesi s'aborda el problema de la comprensio de text automatic en condicions sense restriccions. En particular, abordem les tasques de deteccio, el seguiment, i el reconeixement de text multi-idioma amb orientacio arbitraria en imatges i videos d'escena natural. Per a aixo s'ha desenvolupat un conjunt de metodes generics que es basen de la premissa basica que el text te sempre algunes caracteristiques claus visuals que son independents de la llengua o escriptura en el qual esta escrit. Les metodologies d'extraccio de text en escena es basen generalment en la classificacio de regions o regions individuals, utilitzant el coneixement a priori d'un script o llenguatge determinat. La percepcio humana de text, per contra, es basa en l'organitzacio perceptiva a traves del qual el text apareix com un grup perceptualment rellevant d'objectes atomics. En aquesta tesi, s'argumenta que el problema de l'extraccio de text pot ser plantejat com a deteccio de grups significatius de regions de la imatge. Ens ocupem del problema de la segmentacio del text en escenes naturals des d'una perspectiva jerarquica, fent us explicit de l'estructura del text, enfocant directament la deteccio d'agrupacions de regions que corresponen a elements de text dins d'una jerarquia produida per un proces d'aglomeracio per similitud sobre les regions individuals. Proposem una manera optima per construir aquesta jerarquia de manera que s'estableix un espai de caracteristiques dissenyat per produir hipotesis de grup de text, i una regla de detencio que combina un classificador discriminatiu i una mesura probabilistica de rellevancia dels grups amb base en l'organitzacio perceptiva. Proposem un nou algoritme de propostes d'objecte que esta dissenyat especificament per a detectar text, i el comparem amb altres metodes generics en l'estat de la tecnica. Alhora, s'estudia en quina mesura els metodes existents de propostes d'objectes generics poden ser utils per a la deteccio de text d'escena. A continuacio, presentem un algoritme hibrid per a la deteccio i seguiment de text d'escena en el qual la nocio de groups de regions tambe juga paper central. Un modul d'extraccio de text escena basada en MSER ​​s'utilitza per detectar el text de forma asincrona, mentre que paral·lelament els objectes de text detectates son seguits per propagacio de MSER. La cooperacio d'aquests dos moduls va mes enlla del seguiment per deteccio en termes d'optimitzacio de temps, i pot oferir processament de video en temps real fins i tot en dispositius de baixos recursos. Finalment, ens centrem en el problema de la identificacio de l'escriptura en imatges de text d'escena per tal de construir un sistema de lectura d'extrem a extrem en escenris multi-idioma. Afrontar aquest problema amb classificadors CNN no es una tasca senzilla, ja que aquests no tenen en compte una caracteristica clau de les instancies de text d'escena: la seva relacio d'aspecte es extremadament variable. En lloc de canviar la mida d'imatges d'entrada a una mida fixa, com en l'us tipic dels classificadors CNN holistics, proposem un marc de classificacio basat en caracteristiques locals amb la finalitat de preservar les parts discriminatives de la imatge que son caracteristiques de la seva classe. Es descriu un nou metode basat en l'us de conjunts de xarxes unides per aprendre conjuntament representacions discriminatives de regions locals de la imatge i alhora la seva importancia relativa en un esquema de classificacio global. Els nostres experiments amb aquest procediment d'aprenentatge demostren la viabilitat d'identificacio d'alfabet en imatges d'escena natural, aplanant el cami cap als sistemes de comprensio de text d'escena d'extrem a extrem en diversos idiomes.