[ca] La cerca d'objectes de text en imatges d'escena reals és un problema obert i una àrea de cerca molt activa la visió per computador. S'han proposat un gran nombre de mètodes basats en l'extensió dels mètodes des de l'anàlisi de documents o inspirat en mètodes de detecció d'objectes. No obstant això, el problema de la cerca d'objectes en imatges d'escena reals segueix sent un problema extremadament difícil a causa de la gran variabilitat en l'aparen¸ca dels objectes. Aquesta tesi es basa en els més recents troballes en la literatura de l'atenció visual, introduint un nou model computacional de visió guiada que apunta descriure la cerca de text en imatges d'escenes reals. En primer lloc es presenten els resultats més pertinents de la literatura científica en relació amb l'atenció visual, els moviments oculars i la cerca visual. Els més rellevants models d'atenció són discutits i integrats amb recents observacions sobre la funció dels anomenats 'top-down constraints' i l'emergent necessitat d'un model estratificat d'atenció en què la saliència no és l'únic factor guia d'atenció. L'atenció visual s'explica per la interacció de diversos factors moduladors, com ara objectes, valor, plans i saliència. S'introdueix la nostra formulació probabilística dels mecanismes d'atenció en es- cenes reals per a la tasca de cerca d'objectes. El model es basa en l'argument que el desplegament d'atenció depèn de dos processos diferents però interactuants: un procés d'atenció que assigna valor a les fonts d'informació i un procés motor que uneix flexiblement informació amb l'acció. En aquest marc, l'elecció d'on buscar la propera tasca és dependent i orientada a les classes d'objectes incrustats en imatges d'escenes reals. La dependència de la tasca es té en compte en explotar el valor i la recompensa de contemplar certes parts o proto-objectes de la imatge que proporcionen una esclarissada representació dels objectes en l'escena. A la secció experimental prova el model en condicions de laboratori, comparant les simulacions del model amb dades d'experiments de eye tracking. La comparació és qualitativa en termes de trajectòries d'exploració i quantitativa, en termes de similitud estadística de l'amplitud de moviments oculars. Els experiments s'han realitzat amb dades de eye tracking tant d'un conjunt de dades públic de rostre humans i text, tant amb un nou conjunt de dades de eye tracking i d'imatges urbanes amb text. L'última part d'aquesta tesi es dedica a estudiar en quina mesura el model proposat pot respondre del desplegament d'atenció en un entorn complex. S'ha utilitzat un dispositiu mòbil de eye tracking i una metodologia desenvolupada específicament per comparar les dades simulades amb les dades gravades de eye tracking. Tal configuració permet posar a prova el model en la tasca de cerca de text molt semblant a una cerca real, en la condició d'informació visual incompleta.

[en] Searching for text objects in real scene images is an open problem and a very ac- tive computer vision research area. A large number of methods have been proposed tackling the text search as extension of the ones from the document analysis field or inspired by general purpose object detection methods. However the general problem of object search in real scene images remains an extremely challenging problem due to the huge variability in object appearance. This thesis builds on top of the most recent findings in the visual attention literature presenting a novel computational model of eye guidance aiming to better describe text object search in real scene images. First are presented the relevant state-of-the-art results from the visual attention literature regarding eye movements and visual search. Relevant models of attention are discussed and integrated with recent observations on the role of top-down con- straints and the emerging need for a layered model of attention in which saliency is not the only factor guiding attention. Visual attention is then explained by the interaction of several modulating factors, such as objects, value, plans and saliency. Then we introduce our probabilistic formulation of attention deployment in real scene. The model is based on the rationale that oculomotor control depends on two interacting but distinct processes: an attentional process that assigns value to the sources of information and motor process that flexibly links information with action. In such framework, the choice of where to look next is task-dependent and oriented to classes of objects embedded within pictures of complex scenes. The dependence on task is taken into account by exploiting the value and the reward of gazing at certain image patches or proto-objects that provide a sparse representation of the scene objects. In the experimental section the model is tested in laboratory condition, compar- ing model simulations with data from eye tracking experiments. The comparison is qualitative in terms of observable scan paths and quantitative in terms of statisti- cal similarity of gaze shift amplitude. Experiments are performed using eye tracking data from both a publicly available dataset of face and text and from newly performed eye-tracking experiments on a dataset of street view pictures containing text. The last part of this thesis is dedicated to study the extent to which the proposed model can account for human eye movements in a low constrained setting. We used a mobile eye tracking device and an ad-hoc developed methodology to compare model simulated eye data with the human eye data from mobile eye tracking recordings. Such setting allow to test the model in an incomplete visual information condition, reproducing a close to real-life search task.