On unsupervised learning in high dimension

Dans ce memoire de these, nous abordons deux themes, le clustering en haute dimension d'une part et l'estimation de densites de melange d'autre part. Le premier chapitre est une introduction au clustering. Nous y presentons differentes methodes repandues et nous nous concentrons sur un des principaux modeles de notre travail qui est le melange de Gaussiennes. Nous abordons aussi les problemes inherents a l'estimation en haute dimension et la difficulte d'estimer le nombre de clusters. Nous exposons brievement ici les notions abordees dans ce manuscrit. Considerons une loi melange de K Gaussiennes dans R^p. Une des approches courantes pour estimer les parametres du melange est d'utiliser l'estimateur du maximum de vraisemblance. Ce probleme n'etant pas convexe, on ne peut garantir la convergence des methodes classiques. Cependant, en exploitant la biconvexite de la log-vraisemblance negative, on peut utiliser la procedure iterative 'Expectation-Maximization' (EM). Malheureusement, cette methode n'est pas bien adaptee pour relever les defis poses par la grande dimension. Par ailleurs, cette methode requiert de connaitre le nombre de clusters. Le Chapitre 2 presente trois methodes que nous avons developpees pour tenter de resoudre les problemes decrits precedemment. Les travaux qui y sont exposes n'ont pas fait l'objet de recherches approfondies pour diverses raisons. La premiere methode, 'lasso graphique sur des melanges de Gaussiennes', consiste a estimer les matrices inverses des matrices de covariance dans l'hypothese ou celles-ci sont parcimonieuses. Nous adaptons la methode du lasso graphique de [Friedman et al., 2007] sur une composante dans le cas d'un melange et nous evaluons experimentalement cette methode. Les deux autres methodes abordent le probleme d'estimation du nombre de clusters dans le melange. La premiere est une estimation penalisee de la matrice des probabilites posterieures dont la composante (i,j) est la probabilite que la i-eme observation soit dans le j-eme cluster. Malheureusement, cette methode s'est averee trop couteuse en complexite. Enfin, la deuxieme methode consideree consiste a penaliser le vecteur de poids afin de le rendre parcimonieux. Cette methode montre des resultats prometteurs. Dans le Chapitre 3, nous etudions l'estimateur du maximum de vraisemblance d'une densite de n observations i.i. d. sous l’hypothese qu'elle est bien approximee par un melange de plusieurs densites donnees. Nous nous interessons aux performances de l'estimateur par rapport a la perte de Kullback-Leibler. Nous etablissons des bornes de risque sous la forme d'inegalites d'oracle exactes, que ce soit en probabilite ou en esperance. Nous demontrons a travers ces bornes que, dans le cas du probleme d’agregation convexe, l'estimateur du maximum de vraisemblance atteint la vitesse (log K)/n)^{1/2}, qui est optimale a un terme logarithmique pres, lorsque le nombre de composant est plus grand que n^{1/2}. Plus important, sous l’hypothese supplementaire que la matrice de Gram des composantes du dictionnaire satisfait la condition de compatibilite, les inegalites d'oracles obtenues donnent la vitesse optimale dans le scenario parcimonieux. En d'autres termes, si le vecteur de poids est (presque) D-parcimonieux, nous obtenons une vitesse (Dlog K)/n. En complement de ces inegalites d'oracle, nous introduisons la notion d’agregation (presque)-D-parcimonieuse et etablissons pour ce type d’agregation les bornes inferieures correspondantes. Enfin, dans le Chapitre 4, nous proposons un algorithme qui realise l'agregation en Kullback-Leibler de composantes d'un dictionnaire telle qu'etudiee dans le Chapitre 3. Nous comparons sa performance avec differentes methodes. Nous proposons ensuite une methode pour construire le dictionnaire de densites et l’etudions de maniere numerique. Cette these a ete effectue dans le cadre d’une convention CIFRE avec l’entreprise ARTEFACT.