Projet ANR-11-BSV4-0006 – LU2 : L’apprentissage sous incertitude: dynamique fonctionnelle du traitement de l’information dans les circuits fronto-striataux
Programme : Blanc - SVSE 4 - Neurosciences (Blanc SVSE 4)
Année de financement : 2011
Coordinateur du projet : Monsieur Emmanuel Procyk (INSTITUT NATIONAL DE LA SANTE ET DE LA RECHERCHE MEDICALE - DELEGATION REGIONALE RHONE-ALPES AUVERGNE)
Partenaires : Centre national de la recherche scientifique; Université de Bordeaux; Laboratoire de Neurosciences Cognitives; Institut national de la santé et de la recherche médicale; Centre national de la recherche scientifique; Université Pierre et Marie Curie
Montant : 640476.0 euros
Durée : 48 mois
Résumé : Principes computationnels et neuronaux pour adapter le comportement en condition d'incertitude: vers une définition des systèmes flexibles autonomes.Apprendre et agir en situation d'incertitude nécessitent avant tout d'évaluer cette incertitude et les issues de chaque action entreprise. Notre projet a pour objectif de définir les principes computationnels permettant d'adapter le comportement en condition d’incertitude et de préciser les mécanismes neuronaux mis en jeu chez des espèces caractérisées par leurs capacité de flexibilité, les rats et les primates.
Comprendre l'apprentissage sous incertitude pour le développement de modéles computationnels adaptatifs et mieux analyser les troubles pathologiques du comportementsApprendre et agir en situation d'incertitude nécessitent avant tout d'évaluer cette incertitude et les issues de chaque action entreprise. Comprendre ces mécanismes permettrait de fournir des solutions puissantes à tout problème nécessitant la construction d'artéfacts autonomes (robots) capables de gérer l'ambigüité des situations, mais aussi d'apporter des outils analytiques clairs pour mieux évaluer l'effet de pathologies mentales marquées par la production de comportements inadaptés, compulsifs, ou autodestructeurs.Les neurosciences montrent que des régions cérébrales déterminées du cortex préfrontal et du striatum, et leurs innervations dopaminergiques, jouent un rôle prépondérant. Selon les hypothèses actuelles les interactions entre ces régions et leur modulation permettent la flexibilité du comportement, et ceci de façon adaptée aux incertitudes générées par l'environnement. Des données préliminaires venant des partenaires de ce projet montrent que le cortex préfrontal médian et certaines parties du striatum représentent différents niveaux d'incertitude sur l'environnement. Ces structures pourraient ainsi intégrer des informations sur les statistiques des conséquences des choix pour optimiser les mécanismes d'apprentissage. Toutefois, la synergie entre les différentes régions, le rôle de la dopamine, et les principes fondamentaux qui régissent ces mécanismes restent inconnus.Nous proposons de résoudre ces questions par une étude interdisciplinaire des mécanismes d'apprentissage en incertitude.
Comportement, physiologie et neurosciences computationnelles pour caractériser l'apprentissage sous incertitudeNous avons regroupé des expertises dans le champ des théories du comportement et des fonctions cérébrales, et en neurosciences expérimentales. Le consortium ainsi formé est unique en Europe. Notre projet a pour objectif de définir les principes computationnels permettant d'adapter le comportement en condition d’incertitude et de préciser les mécanismes neuronaux mis en jeu. Les buts spécifiques sont: (1) de déterminer l'influence de l’incertitude sur l’apprentissage par des expériences comportementales sur deux modèles animaux (rat, et singe) en décodant les principes de l’apprentissage dans des situations manipulant le degré d’incertitude. (2) d'analyser la contribution respective et les interactions entre régions striatales et signaux dopaminergiques dans la gestion de l'incertitude, grâce à des enregistrements électrophysiologiques chez le singe et des manipulations pharmacologiques chez le rat.(3) de définir le rôle des signaux dopaminergiques dans le traitement de l’incertitude par le cortex préfrontal, grâce aux enregistrements simultanés du cortex cingulaire antérieur et des neurones du mésencéphale pendant l’apprentissage sous incertitude chez le singe, et grâce à l'analyse des effets d’inactivations pharmacologiques chez le rat. (4) de synthétiser les principes de fonctionnement des réseaux neuronaux qui contribuent à l’apprentissage sous incertitude, par le développement d'outils de modélisation théorique et de simulation neuronale.
Résumé de la soumission : La complexité des sociétés, la nécessité d'agir dans l'urgence, et le besoin de s'adapter aux progrès techniques continus, impliquent de prendre des décisions dont les conséquences sont incertaines. Apprendre et agir en situation d'incertitude nécessitent avant tout d'évaluer cette incertitude et les issues de chaque action entreprise. Différentes approches théoriques (machine learning, neuroeconomie) ont apporté des outils mathématiques importants pour comprendre les mécanismes de prise de décision sous incertitude. Toutefois, ces outils restent contraints et incapables de rendre compte des étonnantes capacités d'adaptation des animaux et a fortiori de l'espèce humaine. Pourtant, comprendre ces mécanismes permettrait de fournir des solutions puissantes à tout problème nécessitant la construction d'artéfacts autonomes (robots) capables de gérer l'ambigüité des situations. Cela permettrait aussi d'apporter des outils analytiques clairs pour mieux évaluer l'effet de pathologies mentales marquées par la production de comportements inadaptés (Schizophrénie), compulsifs (TOC), ou autodestructeurs (addictions).Les neurosciences montrent que des régions cérébrales déterminées du cortex préfrontal et du striatum, et leurs innervations dopaminergiques, jouent un rôle prépondérant. Selon les hypothèses actuelles, les interactions entre ces régions et leur modulation permettent la flexibilité du comportement, et ceci de façon adaptée aux incertitudes générées par l'environnement. Des données préliminaires venant des partenaires de ce projet montrent que le cortex préfrontal médian et certaines parties du striatum représentent différents niveaux d'incertitude sur l'environnement. Ces structures pourraient ainsi intégrer des informations sur les statistiques des conséquences des choix pour optimiser les mécanismes d'apprentissage. Toutefois, la synergie entre les différentes régions, le rôle de la dopamine, et les principes fondamentaux qui régissent ces mécanismes restent inconnus.Nous proposons de résoudre ces questions par une étude interdisciplinaire des mécanismes d'apprentissage sous incertitude. Nous avons regroupé des expertises dans le champ des théories du comportement et des fonctions cérébrales, et en neurosciences expérimentales. Le consortium ainsi formé est unique en Europe. Notre projet a pour objectif de définir les principes computationnels permettant d'adapter le comportement en condition d’incertitude et de préciser les mécanismes neuronaux mis en jeu. Les buts spécifiques sont: (1) de déterminer l'influence de l’incertitude sur l’apprentissage par des expériences comportementales sur deux modèles animaux (rat et singe) en décodant les principes de l’apprentissage dans des situations manipulant le degré d’incertitude. (2) d'analyser la contribution respective et les interactions entre régions striatales et signaux dopaminergiques dans la gestion de l'incertitude, grâce à des enregistrements électrophysiologiques chez le singe et des manipulations pharmacologiques chez le rat.(3) de définir le rôle des signaux dopaminergiques dans le traitement de l’incertitude par le cortex préfrontal, grâce aux enregistrements simultanés du cortex cingulaire antérieur et des neurones dopaminergiques pendant l’apprentissage sous incertitude chez le singe, et grâce à l'analyse des effets d’inactivations pharmacologiques chez le rat. (4) de synthétiser les principes de fonctionnement des réseaux neuronaux qui contribuent à l’apprentissage sous incertitude, par le développement d'outils de modélisation théorique et de simulation neuronale.Ces expériences permettront d'apporter des connaissances fondamentales sur la régulation du comportement et des outils applicables aussi bien aux nouvelles technologies qu'à la clinique humaine.
Résultats : Nos recherches ont permis de mettre au point un test comportemental adaptable à plusieurs espèces (rongeurs, primates) permettant d'analyser les capacités d'adaptation comportemental sous incertitude. L'incertitude est modifiée régulièrement afin de tester la régulation des stratégies d'exploration. Les données préliminaires montrent comment les stratégies d'utilisation des feedback positifs et négatifs obtenus pendant l'exploration sont modulées selon le niveau d'incertitude.
Les travaux du partenaire ISIR ont tout d'abord visé à étudier quels modèles computationnels d'apprentissage par renforcement rendent le mieux compte des signaux dopaminergiques en lien avec l'apprentissage rapportés dans la littérature, afin d'en déduire des prédictions précises pour les expériences du projet. Ces modèles ont de plus été appliqués à l'analyse des données comportementales enregistrées par les partenaires du projet : données chez le singe provenant de l'INSERM (Khamassi et al., en révision) ; données chez le rat provenant de l'INCIA.
Perspectives : Une question centrale des neurosciences concerne le substrat biologique de la prise de décision en environnement changeant. Notre projet vise au-delà des considérations actuelles sur l'apprentissage basé sur les erreurs à déterminer les bases neuronales de la prise de décision sous incertitude. Comprendre comment le cerveau résout l'incertitude pour faire des choix est aussi un problème fondamental pour les théories de la prise de décision économique (Neuroéconomie) et pour comprendre les réponses individuelles face au risque et à l'ambigüité.
Notre projet a, de plus, de fortes implications pour la clinique puisqu'il traite des bases neuronales de mécanismes cruciaux pour la flexibilité comportementale, dont les atteintes se retrouvent  dans les troubles compulsifs, dans l'addiction, ou les atteintes exécutives (Parkinson, schizophrénie).
Ce projet est à l'interface entre neurosciences cognitives et robotique. Il ouvre des prospectives importantes pour l'application des données fondamentales pour la production d'artéfacts robotiques doués de flexibilité et d'autonomie comportementale. Nos données auront un fort potentiel d'intégration dans le design d'agent robotiques autonomes.
Publications et brevets : Une partie de ces travaux a déjà donné lieu à publications : 	Coutureau E, Esclassan F, Di Scala G, Marchand AR (2012) The Role of the Rat Medial Prefrontal Cortex in Adapting to Changes in Instrumental Contingency. PLoS ONE 7(4): e33302. doi:10.1371/journal.pone.0033302 et un article de conférence ayant obtenu le best paper award à la conférence SAB 2012 (Bellot et al., 2012), un article de journal soumis (Lesaint et al.) et un article de journal en préparation (Bellot et al.). Un nouveau cadre computationnel a de plus été proposé pour distinguer les mécanismes d'apprentissage dopamine-dépendant mettant en jeu différentes boucles cortico-striatales (Khamassi & Humphries, 2012).