Meta-Learning as a Markov Decision Process

L'apprentissage automatique (ML) a connu d'enormes succes ces dernieres annees et repose sur un nombre toujours croissant d'applications reelles. Cependant, la conception d'algorithmes prometteurs pour un probleme specifique necessite toujours un effort humain considerable. L'apprentissage automatique (AutoML) a pour objectif de sortir l'homme de la boucle. AutoML est generalement traite comme un probleme de selection d’algorithme / hyper-parametre. Les approches existantes incluent l’optimisation Bayesienne, les algorithmes evolutionnistes et l’apprentissage par renforcement. Parmi eux, auto-sklearn, qui integre des techniques de meta-learning a l'initialisation de la recherche, occupe toujours une place de choix dans les challenges AutoML. Cette observation a oriente mes recherches vers le domaine du meta-learning. Cette orientation m'a amene a developper un nouveau cadre base sur les processus de decision Markovien (MDP) et l'apprentissage par renforcement (RL). Apres une introduction generale (chapitre 1), mon travail de these commence par une analyse approfondie des resultats du Challenge AutoML (chapitre 2). Cette analyse a oriente mon travail vers le meta-learning, menant tout d’abord a proposer une formulation d’AutoML en tant que probleme de recommandation, puis a formuler une nouvelle conceptualisation du probleme en tant que MDP (chapitre 3). Dans le cadre du MDP, le probleme consiste a remplir de maniere aussi rapide et efficace que possible une matrice S de meta-learning, dans laquelle les lignes correspondent aux tâches et les colonnes aux algorithmes. Un element de matrice S (i, j) est la performance de l'algorithme j applique a la tâche i. La recherche efficace des meilleures valeurs dans S nous permet d’identifier rapidement les algorithmes les mieux adaptes a des tâches donnees. Dans le chapitre 4, nous examinons d’abord le cadre classique d’optimisation des hyper-parametres. Au chapitre 5, une premiere approche de meta-learning est introduite, qui combine des techniques d'apprentissage actif et de filtrage collaboratif pour predire les valeurs manquantes dans S. Nos dernieres recherches appliquent RL au probleme du MDP defini pour apprendre une politique efficace d’exploration de S. Nous appelons cette approche REVEAL et proposons une analogie avec une serie de jeux pour permettre de visualiser les strategies des agents pour reveler progressivement les informations. Cette ligne de recherche est developpee au chapitre 6. Les principaux resultats de mon projet de these sont : 1) Selection HP / modele : j'ai explore la methode Freeze-Thaw et optimise l'algorithme pour entrer dans le premier challenge AutoML, obtenant la 3eme place du tour final (chapitre 3). 2) ActivMetaL : j'ai concu un nouvel algorithme pour le meta-learning actif (ActivMetaL) et l'ai compare a d'autres methodes de base sur des donnees reelles et artificielles. Cette etude a demontre qu'ActiveMetaL est generalement capable de decouvrir le meilleur algorithme plus rapidement que les methodes de base. 3) REVEAL : j'ai developpe une nouvelle conceptualisation du meta-learning en tant que processus de decision Markovien et je l'ai integree dans le cadre plus general des jeux REVEAL. Avec un stagiaire en master, j'ai developpe des agents qui apprennent (avec l'apprentissage par renforcement) a predire le meilleur algorithme a essayer. Le travail presente dans ma these est de nature empirique. Plusieurs meta-donnees du monde reel ont ete utilisees dans cette recherche. Des meta-donnees artificielles et semi-artificielles sont egalement utilisees dans mon travail. Les resultats indiquent que RL est une approche viable de ce probleme, bien qu'il reste encore beaucoup a faire pour optimiser les algorithmes et les faire passer a l’echelle aux problemes de meta-apprentissage plus vastes.