Modeling and learning dependencies with copulas in latent topic models. (Modélisation et apprentissage de dépendances á l'aide de copules dans les modéles probabilistes latents)

Ce travail de these a pour objectif de s’interesser a une classe de modeles hierarchiques bayesiens, appeles topic models, servant a modeliser de grands corpus de documents et ceci en particulier dans le cas ou ces documents arrivent sequentiellement. Pour cela, nous introduisons au Chapitre 3, trois nouveaux modeles prenant en compte les dependances entre les themes relatifs a chaque document pour deux documents successifs. Le premier modele s’avere etre une generalisation directe du modele LDA (Latent Dirichlet Allocation). On utilise une loi de Dirichlet pour prendre en compte l’influence sur un document des parametres relatifs aux themes sous jacents du document precedent. Le deuxieme modele utilise les copules, outil generique servant a modeliser les dependances entre variables aleatoires. La famille de copules utilisee est la famille des copules Archimediens et plus precisement la famille des copules de Franck qui verifient de bonnes proprietes (symetrie, associativite) et qui sont donc adaptes a la modelisation de variables echangeables. Enfin le dernier modele est une extension non parametrique du deuxieme. On integre cette fois ci lescopules dans la construction stick-breaking des Processus de Dirichlet Hierarchique (HDP). Nos experiences numeriques, realisees sur cinq collections standard, mettent en evidence les performances de notre approche, par rapport aux approches existantes dans la litterature comme les dynamic topic models, le temporal LDA et les Evolving Hierarchical Processes, et ceci a la fois sur le plan de la perplexite et en terme de performances lorsqu’on cherche a detecter des themes similaires dans des flux de documents. Notre approche, comparee aux autres, se revele etre capable de modeliser un plus grand nombre de situations allant d’une dependance forte entre les documents a une totale independance. Par ailleurs, l’hypothese d’echangeabilite sous jacente a tous les topics models du type du LDA amene souvent a estimer des themes differents pour des mots relevant pourtant du meme segment de phrase ce qui n’est pas coherent. Dans le Chapitre 4, nous introduisons le copulaLDA (copLDA), qui generalise le LDA en integrant la structure du texte dans le modele of the text et de relaxer l’hypothese d’independance conditionnelle. Pour cela, nous supposons que les groupes de mots dans un texte sont relies thematiquement entre eux. Nous modelisons cette dependance avec les copules. Nous montrons de maniereempirique l’efficacite du modele copLDA pour effectuer a la fois des tâches de natureintrinseque et extrinseque sur differents corpus accessibles publiquement. Pour completer le modele precedent (copLDA), le chapitre 5 presente un modele de type LDA qui genere des segments dont les themes sont coherents a l’interieur de chaque document en faisant de maniere simultanee la segmentation des documents et l’affectation des themes a chaque mot. La coherence entre les differents themes internes a chaque groupe de mots est assuree grâce aux copules qui relient les themes entre eux. De plus ce modele s’appuie tout a la fois sur des distributions specifiques pour les themes relies a chaque document et a chaque groupe de mots, ceci permettant de capturer les differents degres de granularite. Nous montrons que le modele propose generalise naturellement plusieurs modeles de type LDA qui ont ete introduits pour des tâches similaires. Par ailleurs nos experiences, effectuees sur six bases de donnees differentes mettent en evidence les performances de notre modele mesuree de differentes manieres : a l’aide de la perplexite, de la Pointwise Mutual Information Normalisee, qui capture la coherence entre les themes et la mesure Micro F1 measure utilisee en classification de texte.