Reference number : 172-2023-2024-Q2-1008399, amendment number : , agreement type : G, recipient legal name : University of Waterloo, recipient country : CA, recipient province : ON, recipient city : Waterloo|Waterloo, recipient postal code : N2L 3G1, program name english : Collaborative Science, Technology and Innovation Program - Collaborative R&D Initiatives, program name french : Programme de collaboration en science, en technologie et en innovation - Initiatives de collaboration en R-D, program purpose english : Collaborate on multiparty research and development programs to catalyze transformative, high-risk, high-reward research with the potential for game-changing scientific discoveries and technological breakthroughs in priority areas., program purpose french : Collaborer à des programmes multipartites de recherche-développement dans le but de profiter de la synergie entre la recherche transformatrice à haut risque et à haut rendement et le potentiel de découvertes scientifiques et de percées technologiques révolutionnaires dans des secteurs d’intervention prioritaires., agreement title english : Biological Grounding of Continuous Reinforcement Learning via the Basal Ganglia, agreement title french : Fondement biologique de l’apprentissage par renforcement continu par les noyaux gris centraux, agreement number : 1008399, agreement value : 202070.0, agreement start date : 2023-09-01, agreement end date : 2025-09-01, description english : The aim of this project is to take an existing high-level abstract model of 
how reinforcement learning (RL) occurs, and ground it in detailed biology 
and molecular-level dynamics of the basal ganglia. That is, the project team
will show how these low-level molecular details combine with biological
structures (neurons and synapses in the basal ganglia) to produce overt 
behavior. Animals and humans can select actions that are continuous, e.g. 
how hard to turn a knob, or that are extended through time, e.g. reach and 
grasp trajectories. The basal ganglia in the mammalian brain is thought to 
be associated with this kind of action selection, acting as a control 
mechanism for initiating actions. Models of the basal ganglia, however, are 
generally based on reinforcement learning theory that treat both action 
spaces and time as inherently discrete. However, in recent work (funded 
under the NRC’s AI for Logistics program), a completely continuous theory 
has been developed. This theory, while compatible with the biology of the 
basal ganglia, is specified at a high level with abstract components and 
variables. This project proposes to connect this theory to the actual 
biological details of the basal ganglia at the level of biological connectivity, 
neurotransmitters, and other molecules. The primary focus will be on two 
areas: the biological realism of the inputs to the basal ganglia, including 
reward representations; and the biological realism of the continuous outputs 
from the basal ganglia, enabling selection in continuous action spaces. 
Given the resulting model, the team will then explore the effects of varying 
low-level molecular details (such as the concentrations of GABA, glutamate, 
cholesterol, etc.) on high-level behaviour such as navigating T-mazes and 
the Morris Water Maze., description french : L’objectif de ce projet consiste à utiliser un modèle abstrait de haut niveau de l’apprentissage par renforcement et à l’ancrer dans la biologie détaillée et la dynamique au niveau moléculaire des noyaux gris centraux ou basaux. En d’autres mots, l’équipe du projet montrera la façon dont ces détails moléculaires de bas niveau se combinent avec les structures biologiques (neurones et synapses dans les noyaux basaux) pour produire un comportement manifeste. Les animaux et les humains peuvent sélectionner des actions continues, comme la force utilisée pour tourner un bouton, ou des actions qui se prolongent dans le temps, comme suivre une trajectoire pour atteindre ou saisir un objet. On pense que les noyaux basaux du cerveau des mammifères sont associés à ce type de sélection d’actions, agissant comme un mécanisme de contrôle pour les mettre en branle. Les modèles de noyaux basaux, cependant, reposent généralement sur la théorie de l’apprentissage par renforcement qui traite à la fois les espaces d’action et le temps comme intrinsèquement discrets. Toutefois, des travaux récents (financés par le programme Défi « l’IA au service de la logistique » du CNRC) ont permis de mettre au point une théorie entièrement continue. Cette théorie, bien que compatible avec la biologie des noyaux basaux, est spécifiée à un niveau élevé avec des variables et composants abstraits. Ce projet propose donc de relier cette théorie aux détails biologiques réels des noyaux gris centraux au niveau de la connectivité biologique, des neurotransmetteurs et d’autres molécules. L’accent sera mis sur deux domaines : le réalisme biologique des entrées dans ces noyaux, y compris les représentations de la récompense, et le réalisme biologique des sorties continues des noyaux basaux, qui permet la sélection dans des espaces d’action continus. À partir du modèle obtenu, l’équipe étudiera les effets de la variation des détails moléculaires de bas niveau (tels que les concentrations de GABA, de glutamate, de cholestérol, etc.) sur le comportement de haut niveau, tel que la navigation dans les labyrinthes en T et le labyrinthe aquatique de Morris., expected results english : In the short term, anticipated outcomes will be strengthened collaborations across industry, academia, and government to support research excellence. In the medium term, anticipated outcomes will be the development of new and potentially disruptive technologies with collaborators. In the long term, find collaborative solutions to public policy challenges and create stronger innovation systems., expected results french : À court terme, les résultats prévus seront des collaborations renforcées entre l'industrie, le milieu universitaire et le gouvernement pour soutenir l'excellence en recherche. À moyen terme, les résultats attendus seront le développement de nouvelles technologies potentiellement perturbatrices avec des collaborateurs. À long terme, trouver des solutions collaboratives aux défis des politiques publiques et créer des systèmes d'innovation plus solides., additional information english : nan, additional information french : nan, owner organization : nrc-cnrc, owner organization title : National Research Council Canada | Conseil national de recherches Canada