Annotation d'images via leur contexte spatio-temporel et les métadonnées du Web

En Recherche d'Information (RI), les documents sont classiquement indexes en fonction de leur contenu, qu'il soit textuel ou multimedia. Les moteurs de recherche s'appuyant sur ces index sont aujourd'hui des outils performants, repandus et indispensables. Ils visent a fournir des reponses pertinentes selon le besoin de l'utilisateur, sous forme de textes, images, sons, videos, etc. Nos travaux de these s'inscrivent dans le contexte des documents de type image. Plus precisement, nous nous sommes interesses aux systemes d'annotation automatique d'images qui permettent d'associer automatiquement des mots-cles a des images afin de pouvoir ensuite les rechercher par requete textuelle. Ce type d'annotation cherche a combler les lacunes des approches d'annotation manuelle et semi-automatique. Celles-ci ne sont plus envisageables dans le contexte actuel qui permet a chacun de prendre de nombreuses photos a faible cout (en lien avec la democratisation des appareils photo numeriques et l'integration de capteurs numeriques dans les telephones mobiles). Parmi les differents types de collections d'images existantes (par exemple, medicales, satellitaires) dans le cadre de cette these nous nous sommes interesses aux collections d'images de type paysage (c. -a-d. Des images qui illustrent des points d'interet touristiques) pour lesquelles nous avons identifie des defis, tels que l'identification des nouveaux descripteurs pour les decrire et de nouveaux modeles pour fusionner ces derniers, l'identification des sources d'information pertinentes et le passage a l'echelle. Nos contributions portent sur trois principaux volets. En premier lieu, nous nous sommes attaches a exploiter differents descripteurs qui peuvent influencer la description des images de type paysage : le descripteur de spatialisation (caracterise par la latitude et la longitude des images), le descripteur de temporalite (caracterise par la date et l'heure de la prise de vue) et le descripteur de thematique (caracterise par les tags issus des plate formes de partage d'images). Ensuite, nous avons propose des approches pour modeliser ces descripteurs au regard de statistiques de tags liees a leur frequence et rarete et sur des similarites spatiale et temporelle. Deuxiemement, nous avons propose un nouveau processus d'annotation d'images qui vise a identifier les mots-cles qui decrivent le mieux les images-requetes donnees en entree d'un systeme d'annotation par un utilisateur. Pour ce faire, pour chaque image-requete nous avons mis en œuvre des filtres spatial, temporel et spatio-temporel afin d'identifier les images similaires ainsi que leurs tags associes. Ensuite, nous avons federe les differents descripteurs dans un modele probabiliste afin de determiner les termes qui decrivent le mieux chaque image-requete. Enfin, le fait que les contributions presentees ci-dessus s'appuient uniquement sur des informations issues des plateformes de partage d'images (c. -a-d. Des informations subjectives) a suscite la question suivante : les informations issues du Web peuvent-elles fournir des termes objectifs pour enrichir les descriptions initiales des images. A cet effet, nous avons propose une approche basee sur les techniques d'expansion de requetes du domaine de la RI. Elle porte essentiellement sur l'etude de l'impact des differents algorithmes d'expansion, ainsi que sur l'agregation des resultats fournis par le meilleur algorithme et les resultats fournis par le processus d'annotation d'images. Vu qu'il n'existe pas de cadre d'evaluation standard d'annotation automatique d'images, plus particulierement adapte aux collections d'images de type paysage, nous avons propose des cadres d'evaluation appropries afin de valider nos contributions. En particulier, les differentes approches proposees sont evaluees au regard de la modelisation des descripteur de spatialisation, de temporalite et de thematique. De plus, nous avons valide le processus d'annotation d'images, et nous avons montre qu'il surpasse en qualite deux approches d'annotation d'images de la litterature. Nous avons compare egalement l'approche d'enrichissement avec le processus d'annotation d'image pour souligner son efficacite et l'apport des informations issues du Web. Ces experimentations ont necessite le prototypage du logiciel AnnoTaGT, qui offre aux utilisateurs un cadre technique pour l'annotation automatique d'images.