Projet ANR-14-CE24-0010 – ExTra-Learn : Extraction et transfert de connaissances dans l'apprentissage par renforcement
Programme : Fondements du numérique (DS0705) 2014
Année de financement : 2014
Coordinateur du projet : Monsieur Alessandro Lazaric (Institut National de Recherche en Informatique et Automatique)
Partenaires : Laboratoire public
Montant : 251400.0 euros
Date de début : 2014
Durée : 54 mois
Résumé : Dans un futur proche, systèmes intelligents et autonomes seront de plus en plus omniprésents dans le cadre d'applications telles que la robotique autonome, les assistants personnels intelligents et la gestion de l'énergie dans les "smart grids". Bien que très diversifiées, ces applications nécessitent le développement de systèmes de prise de décision capables d'interagir et de gérer des environnements ouverts, incertains, et partiellement connus. Par conséquent, il faudra accroître l'autonomie des systèmes de TIC, qui devront apprendre en continu à partir de données, améliorer leurs performances au fil du temps, et s'adapter rapidement aux changements.
EXTRA-LEARN est motivé par l'observation que l'une des caractéristiques clés qui permet aux humains d'accomplir des tâches complexes est leur capacité de construire des connaissances à partir de l'expérience passée et de les transférer lors de l'apprentissage de nouvelles tâches. Nous croyons que l'intégration de la théorie du transfert d'apprentissage (TA) dans les algorithmes d'apprentissage par renforcement (AR) pourrait considérablement améliorer leur performance et leur permettre de résoudre des tâches complexes. L'AR formalise le problème d'apprentissage d'une politique de contrôle à partir de l'expérience acquise pendant l'interaction avec un environnement inconnu. A cause des limites pratiques des algorithmes actuels, la recherche s'est concentrée sur l'intégration de connaissances "a priori" dans le processus d'apprentissage. Bien que cela améliore la performance des algorithmes d'AR, cela réduit considérablement leur autonomie. Dans ce projet, nous poursuivons un changement de paradigme: de la conception d'algorithmes qui intègrent connaissance "a priori" au développement de méthodes capables de découvrir, de construire et de transférer des connaissances d'une manière entièrement automatique. Plus en détail, les trois éléments de l'AR qui pourraient bénéficier du TA sont:
(i) Les algorithmes d'AR ont besoin de découvrir l'environnement à travers une longue phase d'exploration, qui devient impraticable dans des environnements de grande taille. Le TA permettrait aux algorithmes de réduire considérablement l'exploration d'une nouvelle tâche en exploitant sa ressemblance avec les tâches résolues dans le passé.
(ii) Les algorithmes d'AR évaluent la qualité d'une politique en calculant sa fonction valeur. Quand le nombre d'états est trop grand, il est nécessaire d'introduire des mécanismes d'approximation. Bien que cela soit fait actuellement par un expert du domaine, nous proposons de définir des systèmes qui adaptent les modèles d'approximation en fonction des tâches rencontrées au fil du temps. Cela permettrait d'augmenter la précision et la stabilité des algorithmes de AR.
(iii) Pour faire face à des environnements complexes, des systèmes hiérarchiques ont été proposés, où les politiques sont organisées dans une hiérarchie de sous-tâches. Cela nécessite une définition précise de la hiérarchie, qui, si elle n'est pas correctement construite, peut réduire les performances d'apprentissage. L'objectif du TA est de construire automatiquement une hiérarchie des compétences qui puisse être réutilisée pour résoudre plusieurs tâches.
L'objectif du projet est de proposer des solutions de TA pour chacun de ces éléments. L'impact principal à court terme sera une avancée significative de l'état de l'art de l'AR, avec le développement d'une nouvelle génération d'algorithmes ayant de meilleures performances en pratique et une analyse théorique rigoureuse. À long terme, nous envisageons des systèmes de prise de décision où le TA utilise les données de nombreuses tâches pour construire une connaissance de haut niveau qui permette l'apprentissage dans des domaines complexes, avec un impact sur plusieurs domaines, de la robotique à la santé, de l'énergie aux transports.