Information theory techniques for multimedia data classification and retrieval

We are in the information age where most data is stored in digital format. Thus, the management of digital documents and videos requires the development of efficient techniques for automatic analysis. Among them, capturing the similarity or dissimilarity between different document images or video frames are extremely important. In this thesis, we first analyze for several image resolutions the behavior of three different families of image-based similarity measures applied to invoice classification. In these three set of measures, the computation of the similarity between two images is based, respectively, on intensity differences, mutual information, and normalized compression distance. As the best results are obtained with mutual information-based measures, we proceed to investigate the application of three different Tsallis-based generalizations of mutual information for different entropic indexes. These three generalizations derive respectively from the Kullback-Leibler distance, the difference between entropy and conditional entropy, and the Jensen-Shannon divergence. In relation to digital video processing, we propose two different information-theoretic approaches based, respectively, on Tsallis mutual information and Jensen-Tsallis divergence to detect the abrupt shot boundaries of a video sequence and to select the most representative keyframe of each shot. Finally, Shannon entropy has been commonly used to quantify the image informativeness. The main drawback of this measure is that it does not take into account the spatial distribution of pixels. In this thesis, we analyze four information-theoretic measures that overcome this limitation. Three of them (entropy rate, excess entropy, and erasure entropy) consider the image as a stationary stochastic process, while the fourth (partitional information) is based on an information channel between image regions and histogram bins Ens trobem a l’era de la informacio on la majoria de les dades s’emmagatzemen en format digital. Per tant, la gestio de documents i videos digitals requereix el desenvolupament de tecniques eficients per a l’analisi automatic. Entre elles, la captura de la similitud o dissimilitud entre diferents imatges de documents o fotogrames de video es extremadament important. En aquesta tesi, analitzem, a diverses resolucions d’imatge, el comportament de tres families diferents de mesures basades en similitud d’imatges i aplicades a la classificacio de factures. En aquests tres conjunt de mesures, el calcul de la similitud entre dues imatges es basa, respectivament, en les diferencies d’intensitat, en la informacio mutua, i en la distancia de compressio normalitzada. Degut a que els millors resultats s’obtenen amb les mesures basades en la informacio mutua, es procedeix a investigar l’aplicacio de tres generalitzacions de la informacio mutua basades en Tsallis en diferents indexs entropics. Aquestes tres generalitzacions es deriven respectivament de la distancia de Kullback-Leibler, la diferencia entre l’entropia i entropia condicional, i la divergencia de Jensen-Shannon. En relacio al processament de video digital, proposem dos enfocaments diferents de teoria de la informacio basats respectivament en la informacio mutua de Tsallis i en la divergencia de Jensen-Tsallis, per detectar els limits d’un pla cinematografic en una sequencia de video i per seleccionar el fotograma clau mes representatiu de cada pla. Finalment, l’entropia de Shannon s’ha utilitzat habitualment per quantificar la informativitat d’una imatge. El principal inconvenient d’aquesta mesura es que no te en compte la distribucio espacial dels pixels. En aquesta tesi, s’analitzen quatre mesures de teoria de la informacio que superen aquesta limitacio. Tres d’elles (entropy rate, excess entropy i erasure entropy) consideren la imatge com un proces estocastic estacionari, mentre que la quarta (partitional information) es basa en un canal d’informacio entre les regions d’una imatge i els intervals de l’histograma