# Apprentissage par renforcement sur des connaissances symboliques structurées : modéliser la résolution créative de problèmes

Chloé Mercier, Margarida Romero, Frédéric Alexandre, Thierry Viéville

## ► To cite this version:

Chloé Mercier, Margarida Romero, Frédéric Alexandre, Thierry Viéville. Apprentissage par renforcement sur des connaissances symboliques structurées: modéliser la résolution créative de problèmes. CJC-SCo 2022 - Colloque des jeunes chercheurs×sexts en sciences cognitives, Apr 2022, Paris, France. . hal-03678767

HAL Id: hal-03678767

https://inria.hal.science/hal-03678767

Submitted on 25 May 2022

HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d'enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Apprentissage par renforcement sur des connaissances symboliques structurées: modéliser la résolution créative de problèmes

Soutenu par l'Action Exploratoire Inria AIDE (Artificial Intelligence Devoted to Education)

Chloé Mercier¹ - Margarida Romero² - Frédéric Alexandre¹ - Thierry Viéville¹,²

² Laboratoire d'Innovation et Numérique pour l'Education (LINE), Université Côte d'Azur, Nice, France

## Contexte : Comment enseigner et évaluer les "compétences du 21ème siècle"?

<figure><img src="image_2.png" /></figure>

<figure><img src="image_3.png" /></figure>

**CreaCube:** une tâche de résolution de problème créative utilisant des objets modulaires robotiques.

* ➤ Espace-problème complexe et inconnu au début de la tâche

* ➤ Activation de connaissances préalables et découverte des affordances

* ➤ Inférences sur des représentations symbolique de l'espace-problème

* ➤ Paradigme d'apprentissage avec récompense finale

## Une représentation symbolique ancrée dans l'espace sensori-moteur...

Un graphe de connaissances symboliques permettant plusieurs niveaux d'abstraction ainsi qu'un ancrage au niveau des caractéristiques sensori-motrices, inspirée par (McClelland, 2003), (Gärdenfors, 2004), (Hommel, 2015) et (Olteteanu, 2020), entre autres.

Un point clé est que de tels concepts peuvent être aussi considérés comme des points dans un état abstrait de l'espace du problème.

Un concept peut hériter des qualités d'un autre concept (en pointillés, e.g., le Pingouin "est-un" Oiseau donc hérite des qualités d'un Oiseau) mais aussi y déroger (en rouge, e.g., un Pingouin peut nager mais pas voler)

<figure><img src="image_4.png" /></figure>

## Le(s) processus de résolution créative de problèmes

<figure><img src="image_5.png" /></figure>

## ... permettant la génération divergente de nouveaux concepts

<figure><img src="image_6.png" /></figure>

<figure><img src="image_7.png" /></figure>

## Symbolic state space specification

### Structure d'entrée

Une séquence d'événements sous forme de tuples hiérarchiques semi-ordonnés, tels que :

* ➤ l'agent peut potentiellement être hypermnésique

* ➤ chaque valeur a un "type" prédéfini

* ➤ les valeurs littérales sont prises parmi :

* o une énumération finie de valeurs qualitatives (e.g., des couleurs), ou

* o des valeurs quantitatives (i.e., encadrées par une précision finie).

### Comparing inputs

Cette structure de données arborescente est équipée d'un semi-ordre partiel compatible avec une semi-distance étendue.

* ➤ Deux valeurs peuvent être égales, indiscernables, comparables ou incomparables.

* ➤ Une distance d'édition permet de définir une espace métrisable :

* ➤ Il fournit un chemin de transformation d'un arbre (de données) à un autre

* ➤ Permettant ainsi d'interpoler deux arbres (de données) (géodésique)

Le coût minimal d'édition permettant de transformer une séquence en une autre, en ajoutant, supprimant ou modifiant des éléments

## Apprentissage par renforcement sur des données structurées

L'algorithme de Q-learning revisité :

<figure><img src="image_8.png" /></figure>

Le point technique clé est que l'algorithme nécessite d'interpoler les valeurs

$$Q(s, a_k) = \frac{\sum_{s_t, a_t} e^{-(d(s, s_t) + d(a_k, a_t))/\rho} (r_{t+1} + \gamma \max_a Q(s_{t+1}, a) - Q[s, a_t])}{\sum_{s_t, a_t} e^{-(d(s, s_t) + d(a_k, a_t))/\rho}}$$

grâce à la structure géodésique des données.

## Discussion

* ➤ Une approche originale, qu'il reste à implémenter et tester

* ➤ La résolution créative de problème est un processus complexe qui implique des mécanismes divergents et convergents

* ➤ Certains de ces mécanismes peuvent être formalisés en utilisant une telle approche symbolique, mais la régulation de ces processus (e.g. quelle stratégie appliquer à une étape donnée) nécessite plus d'approfondissement :

* o expérimenter la pertinence, en pratique, des distances d'édition

* o intégrer de tels mécanismes à une architecture cognitive.

* o intégrer de tels mécanismes à une architecture cognitive.

## Références

* ◆ Alexandre, F. Creativity explained by Computational Cognitive Neuroscience. 2020.

* ◆ Dietrich, A. & Haider, H. A Neurocognitive Framework for Human Creative Thought. 2017.

* ◆ Domenech, P., Koechlin, E. Executive control and decision-making in the prefrontal cortex. 2015.

* ◆ Gärdenfors, P. Conceptual Spaces as a Framework for Knowledge Representation. 2004.

* ◆ Ma, Z., Zhuang, Y., Weng, P., Li, D., Shao, K., Liu, W., Zhuo, H.H., Hao, J. Interpretable Reinforcement Learning With Neural Symbolic Logic. 2021.

* ◆ McClelland, J. L. & Rogers, T. T. The parallel distributed processing approach to semantic cognition. 2003.

* ◆ Mercier, C., Alexandre, F., Viéville, T. Reinforcement Symbolic Learning. 2021.

* ◆ Newell, A. & Simon, H. A. Human problem solving. 1972.

* ◆ Oltejeanu, A.-M. Cognition and the Creative Machine: Cognitive AI for Creative Problem Solving. 2020.

* ◆ Ouangraoua, A., Ferraro, P. A Constrained Edit Distance Algorithm Between Semi-ordered Trees. 2009.

* ◆ Romero, M., David, D. & Lille, B. CreaCube, a Playful Activity with Modular Robotics. 2019.

* ◆ Singh, S., Lewis, R.L., Barto, A.G., Sorg, J. Intrinsically Motivated Reinforcement Learning: An Evolutionary Perspective. 2010.

<figure><img src="image_9.png" /></figure>

Icon credits: Material, Easyskii via Elastik