Deep generative neural networks for novelty generation : a foundational framework, metrics and experiments. (Réseaux profonds génératifs pour la génération de nouveauté : fondations, métriques et expériences)

Des avancees significatives sur les reseaux de neurones profonds ont recemment permis le developpement de technologies importantes comme les voitures autonomes et les assistants personnels intelligents bases sur la commande vocale. La plupart des succes en apprentissage profond concernent la prediction, alors que les percees initiales viennent des modeles generatifs. Actuellement, meme s'il existe des outils puissants dans la litterature des modeles generatifs bases sur les reseaux profonds, ces techniques sont essentiellement utilisees pour la prediction ou pour generer des objets connus (i.e., des images de haute qualite qui appartiennent a des classes connues) : un objet genere qui est a priori inconnu est considere comme une erreur (Salimans et al., 2016) ou comme un objet fallacieux (Bengio et al., 2013b). En d'autres termes, quand la prediction est consideree comme le seul objectif possible, la nouveaute est vue comme une erreur - que les chercheurs ont essaye d'eliminer au maximum. Cette these defends le point de vue que, plutot que d'eliminer ces nouveautes, on devrait les etudier et etudier le potentiel generatif des reseaux neuronaux pour creer de la nouveaute utile - particulierement sachant l'importance economique et societale de la creation d'objets nouveaux dans les societes contemporaines. Cette these a pour objectif d'etudier la generation de la nouveaute et sa relation avec les modeles de connaissance produits par les reseaux neurones profonds generatifs. Notre premiere contribution est la demonstration de l'importance des representations et leur impact sur le type de nouveautes qui peuvent etre generees : une consequence cle est qu'un agent creatif a besoin de re-representer les objets connus et utiliser cette representation pour generer des objets nouveaux. Ensuite, on demontre que les fonctions objectives traditionnelles utilisees dans la theorie de l'apprentissage statistique, comme le maximum de vraisemblance, ne sont pas necessairement les plus adaptees pour etudier la generation de nouveaute. On propose plusieurs alternatives a un niveau conceptuel. Un deuxieme resultat cle est la confirmation que les modeles actuels - qui utilisent les fonctions objectives traditionnelles - peuvent en effet generer des objets inconnus. Cela montre que meme si les fonctions objectives comme le maximum de vraisemblance s'efforcent a eliminer la nouveaute, les implementations en pratique echouent a le faire. A travers une serie d'experimentations, on etudie le comportement de ces modeles ainsi que les objets qu'ils generent. En particulier, on propose une nouvelle tâche et des metriques pour la selection de bons modeles generatifs pour la generation de la nouveaute. Finalement, la these conclue avec une serie d'experimentations qui clarifie les caracteristiques des modeles qui generent de la nouveaute. Les experiences montrent que la sparsite, le niveaux du niveau de corruption et la restriction de la capacite des modeles tuent la nouveaute et que les modeles qui arrivent a reconnaitre des objets nouveaux arrivent generalement aussi a generer de la nouveaute.