Focused structural document image retrieval in digital mailroom applications

Aquesta tesi doctoral presenta un marc de treball generic per a la cerca de documents digitals partint d'un document de mostra de referencia, on el criteri de similitud pot ser tant a nivell de pagina com a nivell de subparts d'interes. Combinem la tecnica d'indexacio estructural amb correspondencies entre parells de regions locals d'interes, on aquestes contenen informacio tant estructural com visual, i detallem la combinacio adient usada d'aquests dos tipus d'informacio per ser usada com a unic criteri de similitud a l'hora de fer la cerca. Donat que l'estructura d'un document esta lligada a les distancies entre els seus continguts, d'entrada presentem un detector eficient que anomenem Distance Transform based Maximally Stable Extremal Regions (DTMSER). El detector proposat es capas d'extreure eficientment l'estructura del document en forma de dendrograma (arbre jerarquic) de regions d'interes a diferents escales, les quals guarden una gran similitud amb els caracters, paraules i paragrafs. Els experiments realitzats proven que l'algorisme DTMSER supera els metodes de referencia, amb l'avantatge de requerir menys regions d'interes. A continuacio proposem un metode basat en parells de descriptors Bag‐of‐Words (BoW) que permet representar el dendrograma descrit anteriorment i resultat de l'algorisme DTMSER. El nostre metode consisteix en representar cada document en forma de llista de parelles de regions d'interes, on cada parella representa una aresta del dendograma i defineix una relacio d'inclusio entre ambdues regions. L'histograma de caracteristiques es generat a partir de les parelles de regions d'interes, de manera que el metode proposat reflecteix la inclusio de regions. Els experiments realitzats demostren que el nostre metode supera ampliament altres variants exteses de BoW com poden ver les convencionals o les espacio‐piramidals. Per tal d'englobar diferents situacions on es pot requerir una la cerca de documents digitals, proposem usar directament parelles de regions d'interes, les quals inclouen informacio tant estructural com visual. Amb aquest objectiu introduim en aquest camp tecniques d'indexacio estructural per millorar el temps de calcul de les similituds de parelles de regions. Apliquem la nostra proposta al cas de cerques de pagines senceres, on te mes pes la similitud estructural. Els experiments corresponents mostren que la nostra proposta supera la majoria de metodes BoW de referencia. La nostra proposta presenta un clar avantantge: podem fer cerques de subparts de documents. Apliquem el nostre metode en la cerca de subparts en dos casos: prioritzant la similitud estructural i mantenint estructura y aparenca similars . Els resultats obtinguts en els experiments son excel∙lents en tots dos casos. Donat que el nostre metode te el valor afegit de ser el primer marc de treball capas de realizar cerques de subparts, podem afirmar que es mereixedor de formar part de l'estat de l'art en el camp de cerques. Tambe proposem un metode de verificacio de linies per comprovar la consistencia espacial dels parells assignats de regions d'interes. Per reduir la carreca computacional de la nostra proposta definim una simplificacio practica en dos passos. Primer obtenim candidats a regions d'interes per posteriorment usar‐les per dividir les correspondencies entre regions en varis subgrups, i finalment realitzar la verificacio de linies en cada grup, i alhora es puleixen les regions d'interes. Els experiments demostren que, en comparacio amb el metode estandar (basat en RANSAC), la nostra proposta de verificacio de linies es mes exhaustiva i va acompanyada d'una lleugera disminucio de precisio, la qual cosa es preferible en determinats casos de cerca.