<figure><img src="image_1.png" /></figure>

SUZANNE PINSON

Métaconnaissance et modèles cognitifs de jugement

Volume 3, n° 1-2 (2022), p. 95-112.

<http://roia.centre-mersenne.org/item?id=ROIA_2022__3_1-2_95_0>

© Association pour la diffusion de la recherche francophone en intelligence artificielle et les auteurs, 2022, certains droits réservés.

<figure><img src="image_2.png" /></figure>

Cet article est diffusé sous la licence

CREATIVE COMMONS ATTRIBUTION 4.0 INTERNATIONAL LICENSE.

http://creativecommons.org/licenses/by/4.0/
# Métaconnaissance et modèles cognitifs de jugement

Suzanne Pinsonª

ª LAMSADE Université Paris-Dauphine PSL 75775 Paris Cedex 16, France
E-mail: pinson@lamsade.dauphine.fr.

RÉSUMÉ. — Les thèmes de représentation et d'utilisation des connaissances et plus particulièrement ceux de connaissances déclaratives et de métaconnaissance ont constitué la base de nombreux travaux de recherche et de nombreuses thèses dirigées par Jacques Pitrat. Dans cet article, je relate mes interactions avec lui, et comment il m'a aidée à intégrer les modèles cognitifs de jugement et la méta-expertise dans un système à base de connaissances (SBC). Je présente ensuite mon travail de thèse qui a abouti à la création du système CREDEX, système de diagnostic et d'aide à la décision destiné aux analystes financiers dans leur démarche d'évaluation des entreprises demandant un prêt, en termes de forces et de faiblesses et de risque afférent. L'accent est mis sur la représentation de la connaissance experte sous-jacente, sur la formalisation des modèles de décision et sur la représentation des heuristiques de choix sous forme de métaconnaissances. Je montre enfin comment Jacques Pitrat m'a permis de généraliser ce travail et dans quels domaines ces travaux sont toujours d'actualité.

MORS-CLÉS. — Métaconnaissance, connaissances déclaratives, système à base de connaissances, SBC, règles de production, méta-règles, modèles cognitifs de jugement, modèles multi-attributs, évaluation d'entreprise, risque crédit, CREDEX.

## 1. INTRODUCTION

Les thèmes de représentation et d'utilisation des connaissances et plus particulièrement celui de métaconnaissance, chers à Jacques Pitrat, ont constitué la base de mes premiers travaux de recherche. Comme l'écrit Jacques Pitrat dans son livre Métaconnaissance [29] : « La métaconnaissance est précisément l'outil qui permet de travailler sur la connaissance et de réaliser des systèmes supérieurement intelligents. Des systèmes doués d'une intelligence supérieure doivent être capables de connaître le domaine dans lequel ils travaillent, mais aussi d'examiner ce qu'ils doivent faire, ce qu'ils peuvent faire, ce qu'ils savent, ce qu'ils sont en train de faire, ils opèrent à un niveau "méta", au-dessus du niveau du problème à traiter ; la connaissance devient pour eux objet d'étude ».

Dans la section suivante, j'explique comment les travaux de Jacques Pitrat sur la représentation des connaissances et la métaconnaissance ont inspiré mes premières
recherches et en particulier ma thèse(1). L'idée était de concevoir un système pour aider les analystes financiers des banques à évaluer les différents niveaux de risque attachés à l'octroi d'un prêt à des entreprises. Pour ce faire, il fallait étudier la santé de l'entreprise en termes de forces et de faiblesses, puis établir une mesure de risque et en comprendre la nature. Mais ce problème était plus général puisqu'il concernait tous les problèmes relatifs aux tâches de diagnostic et d'aide à la décision, quel que soit le domaine. Deux points importants devaient être pris en compte : la stratégie d'évaluation des analystes financiers, qui variait d'une entreprise à l'autre, d'un secteur économique à l'autre, et l'introduction de modèles cognitifs de jugement pour se rapprocher au plus près du raisonnement des évaluateurs. Ainsi est né le système CREDEX, intégrant deux types de connaissances : connaissance de surface basée sur l'expertise du domaine et connaissance basée sur les modèles, le tout piloté par une structure de contrôle au niveau « méta » modélisant la stratégie de raisonnement de l'expert.

Je présente ensuite l'état des recherches dans les années 80 ainsi que les caractéristiques du processus d'évaluation d'entités complexes, en l'occurrence le processus d'évaluation de la qualité des entreprises en termes de risque de défaillance et comment la stratégie des analystes devait être représentée sous forme de méta-expertise. Dans la section suivante, je détaille le système CREDEX qui en a résulté et son originalité. Finalement, dans la conclusion, je montre le lien entre les propositions scientifiques de l'époque, leur évolution et les développements actuels.

## 2. MA RENCONTRE AVEC JACQUES PITRAT ET L'IMPACT SUR MON PROJET DE RECHERCHE

### 2.1. LES PREMIÈRES ÉTAPES

J'avais découvert le domaine de l'Intelligence Artificielle au cours d'un séjour à l'université de Californie à Los Angeles (UCLA) au début des années 80 où j'avais eu l'occasion de participer au groupe de recherche de Robert Balzer et Lee Erman sur le système Hearsay-II [9]. J'avais été séduite par ce domaine de l'IA qui se situait à la croisée de l'informatique et des sciences cognitives. De retour en France, je suis donc allée voir Jacques Pitrat, pionnier de l'IA, et il m'a convaincue d'effectuer une thèse sous sa direction en Intelligence Artificielle. Alors que j'avais déjà un DEA et une thèse de 3ème cycle en traitement du signal et théorie de l'information de l'Université Paris VII, ainsi qu'un master of science de Northwestern University, il m'a néanmoins demandé de suivre son DEA d'Intelligence Artificielle. Je ne regrette pas ce parcours assez atypique qui m'a permis d'approfondir les concepts et algorithmes fondamentaux de l'IA.

Les années 80 ont vu le développement des systèmes à base de connaissances (SBC), notamment des systèmes à base de règles de production, dans lesquels l'expertise d'un domaine est représentée sous forme déclarative, plus précisément sous forme de parcelles de connaissances indépendantes, facilement compréhensibles par les experts et facilement modifiables. Les travaux de Jacques Pitrat, de Jean-Louis

<footnote>(1) Méta-modèle et heuristiques de jugement : le système CREDEX. Application à l'évaluation du risque crédit entreprise, Université Paris VI, décembre 1987.</footnote>
Laurière et de leur équipe de recherche à l'Université Paris VI ont largement contribué au développement de ces systèmes en France, tant au plan théorique qu'au plan expérimental dans différents domaines.

Étant enseignante en MIAGE(2) à l'Université Paris-Dauphine, je m'intéressais à la conception de systèmes d'aide à la décision dans le domaine de la gestion d'entreprises, notamment dans le domaine de l'autorisation de crédit avec évaluation du risque afférent. Ces systèmes conçus à partir de tableurs fournissaient des résultats bruts, numériques, trop simplistes et trop « boîte noire » pour satisfaire les gestionnaires. Ils permettaient de faire des simulations « what-if » à partir de prévisions stratégiques mais ne permettaient pas d'analyser le fonctionnement et les performances de l'entreprise, ni de donner des explications sur le diagnostic proposé.

Mes discussions avec Jacques Pitrat m'ont permis d'entrevoir l'apport potentiel des systèmes à base de règles dans la conception des systèmes d'aide à la décision en gestion, en y intégrant la connaissance des experts et la façon de raisonner de ces experts.

## 2.2. LES SYSTÈMES DE DIAGNOSTIC D'ENTREPRISE DANS LES ANNÉES 80

Au milieu des années 80, il existait trois types de systèmes de diagnostic d'entreprises en termes de risque de défaillance :

(1) les systèmes basés sur les méthodes multivariées (analyse discriminante, régression multiple, clustering), encore appelés systèmes de credit-scoring, qui établissaient une fonction discriminante à partir de certains ratios financiers, calculaient un score représentant le degré de risque, et classaient les entreprises dans le groupe des entreprises à risque élevé ou dans celui des entreprises à risque faible;

(2) les systèmes interactifs d'aide à la décision (SIAD) ou Decision Support Systems (DSS) qui intégraient modèles d'optimisation, tableurs et base de données permettant ainsi l'établissement de tableaux de bord, d'analyses de sensibilité ainsi que des simulations de différentes politiques managériales [34].

(3) les systèmes utilisant les connaissances déclaratives et le raisonnement. Les SBC, encore appelés « systèmes experts », ont été proposés dans des domaines très structurés (diagnostic médical pour MYCIN et TEIRESIAS, diagnostic pétrographique pour PROSPECTOR, identification des molécules en chimie organique pour DENDRAL et META-DENDRAL, etc.) [11].

Une combinaison des deux derniers types, les systèmes intégrant les SIAD et les systèmes experts, encore appelés Expert Support Systems [12], commençait à voir le jour dans le domaine de la gestion. Cependant leur développement limité était dû principalement au caractère éminemment subjectif de l'expertise de gestion, à la non prise en compte des variables de comportement des analystes (expérience des analystes, perception du secteur où évolue l'entreprise, connaissance de la politique en matière

<footnote>(2) Maîtrise d'Informatique Appliquée à la Gestion des Entreprises</footnote>
de prêt), ainsi qu’à la difficulté d’obtenir un consensus sur les heuristiques qui mènent à un « bon » jugement ou à une « bonne » prise de décision.

Quelques SBC de diagnostic financier existaient à cette époque ([2, 10, 16]) comportant une représentation rigide de la base de règles sous forme d’arbre de décision. L’entreprise était évaluée sur n caractéristiques (en général, les ratios financiers) en termes de m modalités (par exemple « satisfaisant », « moyen », « médiocre »). Le raisonnement se faisait alors sur mⁿ combinaisons entraînant l’explosion combinatoire de l’espace de recherche (par exemple, dans l’évaluation d’une entreprise, si n = 10, m = 3, mⁿ = 59 049). Nous avons résolu ce problème en n’évaluant pas toutes les combinaisons mais en évaluant chaque caractéristique indépendamment les unes des autres en termes de point forts et de points faibles et en agrégeant ces points forts et points faibles à l’aide de modèles de jugement présentés en section 3.2 et décrits en section 3.5.

Contrairement aux systèmes de *credit-scoring* et aux SIAD qui étaient considérés comme des systèmes « boîtes noires » ne permettant pas d’expliquer aux utilisateurs les résultats fournis, les systèmes de type 3, considérés comme des « boîtes de verre » avaient plusieurs avantages : grâce au raisonnement sur les règles métier, ils permettaient de fournir des explications sur la façon dont étaient calculés et déduits les résultats. De plus, les mises à jour, les modifications des règles métier, en constante évolution dans le domaine de la gestion, étaient facilitées par la représentation de l’expertise sous forme déclarative. Enfin, les très nombreuses données nécessaires au raisonnement n’avaient pas à être fournies dès le début du processus comme dans les modèles mathématiques mais pouvaient être fournies à la demande, si nécessaire au raisonnement. Ce nouveau paradigme, dans lequel Jacques Pitrat a joué un rôle moteur, m’a permis de développer le système d’évaluation CREDEX (CREDIT EXPERT).

## 2.3. LES CARACTÉRISTIQUES DU DOMAINE : LE PROCESSUS D’ÉVALUATION

Une première phase de mon travail de recherche a consisté en l’acquisition et la représentation de la connaissance experte. Le processus de décision et d’évaluation qui sous-tend l’autorisation de crédit aux entreprises a été explicitée avec l’aide des experts du domaine. Évaluer implique un raisonnement à plusieurs niveaux dès lors que l’entité à juger présente une structure complexe décomposée en sous-domaines (ou composantes) comme c’est le cas d’une entreprise. Le processus aboutit alors à des jugements sur chacune des composantes et donc à des évaluations partielles. L’évaluation finale émerge après avoir pris en compte toutes les interactions entre caractéristiques et entre composantes. Lorsque l’entité à évaluer est une entreprise, les composantes ou sous-domaines sont en général au nombre de quatre : fonction commerciale, fonction financière, fonction managériale, fonction production/exploitation, chacune induisant un niveau de risque. Le risque commercial englobe le risque produit-marché, le risque clientèle, le risque lié à l’activité de l’entreprise. Le risque produit-marché est à son tour évalué à un niveau plus détaillé, pour chaque produit, à partir du taux d’évolution du marché, de la contribution du produit à la marge, et dans certains cas, du cycle de vie. Le risque clientèle provient de l’examen des délais de règlement, du type de clientèle
et dans certains cas, des taux d'impayés. La composition de chacun des quatre types de risque est détaillée dans [28]. Nous allons voir que l'utilisation de connaissances déclaratives permet une grande souplesse dans l'acquisition des connaissances (section 3.2) : par exemple, la position du produit dans le cycle de vie ne sera demandée que si le produit ne contribue pas à la marge sur un marché porteur ; même traitement pour le taux d'impayés. Ces informations sont difficiles à obtenir et ne seront demandées par le système que si elles sont nécessaires au raisonnement.

Le problème est rendu plus complexe par le caractère non déterministe du processus d'évaluation. Lorsqu'il juge une entité, l'analyste accorde une importance différente à chacune des composantes, importance qui peut évoluer dynamiquement au fur et à mesure que sont établis les résultats partiels. L'importance relative de chacune de ces composantes induit un ordre de priorité dans le déroulement des phases de l'évaluation. Par exemple, la fonction production/exploitation doit être évaluée en priorité si le secteur d'activité de l'entreprise est le secteur industriel ; si le secteur d'activité est celui de la distribution, la fonction commerciale est importante et doit être évaluée d'abord. Le savoir-faire sur la stratégie de résolution à adopter diffère d'un problème à l'autre et d'un expert à l'autre (les PME ne sont pas évaluées de la même façon que les grosses entreprises) : l'importance des composantes ou les connaissances permettant de les déduire doivent être collectées et représentées explicitement. Suite à nos discussions sur ce processus complexe d'évaluation, Jacques Pitrat a immédiatement vu comment le concept de métaconnaissance permettrait de construire dynamiquement un modèle d'évaluation qui prendrait en compte la spécificité de chaque cas traité.

Dans les années 80, parallèlement au développement des SBC, et de façon in dépendante, se développaient en sciences sociales et en psychologie cognitive des modèles de prise de décision. J'ai eu la chance de pouvoir interagir avec des cher cheurs travaillant dans ces domaines qui m'ont convaincue de l'intérêt que pouvait représenter l'étude des heuristiques et des processus de jugement/décision caractéri sant les comportements humains. C'est cette littérature ([6], [7], [8], [15], [25]) et plus particulièrement celle portant sur les modèles compensatoires et non compensatoires (conjonctifs, disjonctifs, lexicographiques) que j'ai présentée à Jacques Pitrat. Il s'est tout de suite enthousiasmé pour ces modèles de jugement qui apparemment étaient nouveaux pour lui. Il m'a suggéré de les inclure dans mon système d'aide à l'évalua tion sous forme d'experts en jugement et de conceptualiser la stratégie de choix de ces modèles de jugement sous forme de méta-règles. Ces modèles avaient une résonance avec les travaux en psychologie cognitive et rationalité limitée d'Herbert Simon que Jacques Pitrat avait rencontré à plusieurs reprises [31, 32].

Ainsi est née l'idée d'une thèse qui allait intégrer les avancées de l'Intelligence Artificielle de l'époque et les recherches en psychologie cognitive au travers des modèles heuristiques de jugement. Comme nous l'avons dit précédemment, le système CREDEX a été appliqué à l'évaluation d'entreprise ou plus précisément à l'évaluation du risque afférent à l'octroi d'un prêt à une entreprise. Il avait pour objectif d'aider les analystes responsables des dossiers de prêts des banques à juger de la qualité des entreprises qui sollicitent un crédit. Il évalue le niveau de risque attaché au prêt
demandé et en explique la nature (grâce notamment à la trace du raisonnement et des règles déclenchées).

Bien qu'ayant approché le problème par le biais de l'analyse de crédit, notre objectif a été de développer un système général de diagnostic modélisant le processus d'évaluation d'entités complexes et structurées, quel que soit le domaine d'application (voir les citations montrant la généralité de CREDEX dans l'ouvrage « Métaconnaissance » [29, p. 216 et 233], et dans [30, p. 88]).

# 3. ARCHITECTURE ET MISE EN ŒUVRE DE CREDEX

## 3.1. CREDEX : UN SYSTÈME MULTI-EXPERT

Nous avons conçu un système d'évaluation multi-expert dont l'architecture est décrite dans la figure 3.1. CREDEX intègre sous forme de modules indépendants (appelés experts) à la fois les connaissances empiriques ou expérimentales du domaine (appelées connaissances de surface) et les connaissances cognitives de jugement (appelées connaissances profondes) [4]. Ces modules sont contrôlés à un niveau supérieur par le méta-expert qui joue le rôle de superviseur et qui représente la stratégie d'analyse des experts.

<figure><img src="image_3.png" /><figcaption>FIGURE 3.1. L'architecture de CREDEX</figcaption></figure>

## 3.2. LES EXPERTS DE CREDEX

Chacune des tâches de l'évaluation est réalisée par l'un des trois types d'experts suivants :

1. Les experts expérimentaux correspondant à chaque sous-domaine,

2. Les experts en jugement correspondant à chaque modèle de jugement,

3. Le méta-expert qui distribue le contrôle entre les différents experts et qui gère le processus de résolution de problème.

La structure de CREDEX s'apparente à un modèle de tableau noir (ou *blackboard*) [9], les experts de CREDEX s'apparentant aux sources de connaissances, modulaires
et indépendantes, du système de tableau noir. Chaque expert a sa propre base de
connaissance. Ils communiquent entre eux par l'intermédiaire d'une base de faits
commune ou tableau noir. Les experts expérimentaux y stockent l'information inférée,
les experts en jugement y puisent l'information pour apprécier la qualité du sous-
domaine lors de la phase d'agrégation puis pour apprécier la qualité globale lors de la
phase de synthèse, et le méta-expert y trouve la connaissance nécessaire à ses choix de
stratégie (voir section 3.4).

Les experts expérimentaux procèdent à l'évaluation des caractéristiques de chaque sous-domaine en termes de points forts et points faibles représentés de façon duale en risques élémentaires rᵢⱼ : un point fort correspond à un risque élémentaire faible dans l'évaluation de l'entreprise. Chaque expert expérimental possède sa propre base de règles et sa propre base de faits qui représentent l'expertise d'évaluation et de diagnostic du sous-domaine. La forme générale de ces règles est la suivante :

Est-un <tâche-expérimentale> = tâche-expérimentale
Etat <tâche-expérimentale> = actif
∩ <condition sur les caractéristiques>⁺
→
∩ <conclusions>⁺

La première prémisse définit le contexte d'application de la règle : la règle ap-
partient à la tâche expérimentale <tâche-expérimentale> (par exemple, cette prémisse
s'écrit EST-UN EVAL-CIAL = TACHE-EXPERIMENTALE pour les règles de la
fonction commerciale). Ce contexte est utilisé par la méta-règle DEMO1 pour placer
la tâche expérimentale dans l'agenda des tâches. La deuxième prémisse est le déclen-
cheur de la règle ; la règle sera déclenchée si la tâche expérimentale est active. Les
prémisses suivantes testent les caractéristiques du sous-domaine. Les conclusions sont
l'évaluation d'un risque élémentaire rᵢⱼ ou la mise en place de pondérations, ou des
demandes d'information complémentaire, ou la mémorisation des résultats de calcul,
ou la mise à vrai d'un prédicat de focalisation, ou des éléments de diagnostic qui seront
imprimés.

Par exemple, voici une règle de l'expert commercial qui évalue un point positif :
*Si l'expert j est un expert expérimental, et si l'expert j est actif, pour tout produit X tel*
*que X contribue à la marge et le chiffre d'affaires de X est en hausse et le produit X a*
*pour importance p alors comptabiliser un risque faible rᵢⱼ de poids p.*

À côté des règles expérimentales qui représentent la connaissance des analystes,
nous avons représenté des règles intermédiaires : 1) les règles de calcul des ratios
financiers pour chaque exercice comptable, 2) les règles spatiales et temporelles pour
évaluer les indicateurs financiers en termes de niveau (par rapport à un seuil) et d'évo-
lution (« en hausse », « en baisse », « stable »), permettant d'étudier l'amélioration ou
la dégradation de la situation de l'entreprise entre une période initiale et une période
finale données en paramètre du système, 3) les règles de pondération des caractéris-
tiques. En effet, ces pondérations sont soit données par l'analyste au démarrage du
système, soit calculées par les experts expérimentaux (voir section 3.3).
Lors de l'exécution du système, les inférences effectuées peuvent suggérer l'acquisition de données supplémentaires. Voici trois exemples : a) la compétence du successor n'est demandée que s'il y a un problème de succession, b) la position du produit dans son cycle de vie n'est requise que si la marge du produit est déficitaire malgré un marché porteur, c) la volonté des dirigeants de l'entreprise d'accepter des partenaires pour apport de fonds propres n'est mobilisée que si un effort financier doit être réalisé. Ce dernier point est représenté par la règle PARTENAIRE :

### Règle PARTENAIRE :

**Contexte :**

1) La règle est une règle de l'expert management

2) L'évaluation de la fonction management est une tâche expérimentale

**Déclencheur :**

3) la tâche management est active

**Conditions**

4) Un effort financier est nécessaire

**Conclusions**

Demander si les dirigeants de l'entreprise sont prêts à accepter des partenaires pour apport de fonds propres

Mémoriser la réponse dans le frame « dirigeant » de la base de faits de l'expert management

Comme nous l'avons dit en section 2.3, le fait que toutes les caractéristiques de l'entité à évaluer ne soient pas fournies dès le départ, mais seulement lorsque que nécessaire au raisonnement, permet d'améliorer l'efficacité du système et surtout facilite son utilisation par des utilisateurs novices qui, en général, n'ont pas à leur disposition ces informations.

**Les experts en jugements** effectuent une analyse plus en profondeur ; ils correspondent aux modèles cognitifs de jugement multi-attributs. Ils combinent les risques élémentaires rᵢⱼ et leur importance pᵢⱼ en un risque partiel RPⱼ à travers un ensemble de règles de décision générales compensatoires, lexicographiques, disjonctives ou conjonctives ([7], [8], [25]). Le choix du modèle de jugement approprié est à la charge du méta-expert (voir section 3.5).

**Le méta-expert** introduit une structure de contrôle au niveau supérieur, le niveau « méta ». Dans les années 80, alors que le concept de méta-expert avait été introduit par plusieurs chercheurs, très peu de systèmes l'avaient mis en œuvre ([4], [5], [19]). En général, les données de contrôle étaient intégrées à l'interpréteur, les rendant implicites et inaccessibles et donc ne permettant pas un raisonnement au niveau méta. Les travaux de Jacques Pitrat sur la métaconnaissance ([29], [30]) ont été un guide pour moi et m'ont permis de concevoir ce module.

Le méta-expert raisonne non plus sur les objets du domaine mais sur l'activation ou la désactivation des experts expérimentaux et de jugement (appelés tâches dans le processus de résolution de problème), modélisant ainsi la stratégie de raisonnement
des experts humains. Il établit le graphe orienté de précédence des tâches. Les experts expérimentaux sont activés par ordre d'importance $g_i$. Lorsque l'un des experts expérimentaux a terminé son travail d'évaluation, le méta-expert (appelé tâche stratégique) choisit l'un des experts en jugement en fonction du contexte, des facteurs environnementaux et des facteurs structurels. Le méta-expert possède plusieurs méta-règles :

– Méta-règle de gestion de l'agenda : la gestion des tâches est le principal travail du méta-expert. Il place dans l'agenda les tâches $ta_i$ en considérant leur priorité définie par leur poids $g_i$. La méta-règle DEMO1$^{(3)}$ est une règle « super-démon » qui a priorité absolue. Elle se présente ainsi :

> Dès qu'une tâche expérimentale est active, examiner d'abord les règles permettant d'exécuter cette tâche, ensuite la tâche stratégique de choix d'un modèle de jugement puis les règles qui vont juger la tâche, ensuite les règles permettant éventuellement de conclure, enfin la règle d'activation/désactivation.

– Méta-règle de mise en place du graphe des tâches : l'analyste possède son propre modèle d'utilisation de la connaissance qu'il exprime sous forme de pondération des tâches à exécuter et qui va être représenté par le méta-expert en graphe des tâches.

> Si $ta_i$ EST-UN tâche expérimentale et $ta_j$ EST-UN tâche expérimentale et SUIVANT (POIDS($ta_i$)) = POIDS ($ta_j$)) alors TACHE-SUIVANTE ($ta_i$, $ta_j$) : la tâche $ta_j$ est à réaliser après la tâche $ta_i$

– Méta-règle d'activation/désactivation des tâches : lorsque la tâche expérimentale active $ta_i$ a terminé son travail, elle est désactivée ainsi que la tâche de jugement $ta_k$ qui l'a évaluée, la tâche suivante $ta_j$ est activée en respectant le graphe de précédence et une nouvelle phase de l'évaluation commence.

Cette règle s'appuie sur les méta-relations mises en place par le méta-expert : par exemple : TACHE-SUIVANTE [$ta_i$, $ta_j$] est créée dynamiquement à partir des relations POIDS [$ta_j$, $g_j$] et SUIVANT [$g_i$, $g_j$].

La règle d'activation/désactivation est un « anti-démon » c'est-à-dire une règle qui ne doit être déclenchée que lorsqu'aucune autre règle de la tâche active n'est déclenchable. Elle a pour cela la priorité la plus faible dans la méta-règle de gestion de l'agenda.

– Méta-règles de focalisation du raisonnement : elles sont attachées à un contexte particulier. Si le contexte en question est activé, le système focalise alors son raisonnement sur ce contexte et déclenche les règles concernées. Ce mécanisme permet d'analyser en détail une situation particulière. Par exemple : Si la différence entre

<footnote>$^{(3)}$La terminologie « démon » et « anti-démon » fait référence à la représentation des connaissances sous forme de frames [23], processus de raisonnement disponible dans le moteur d'inférence SNARK (voir section 3.6).</footnote>
BFR(4) et le FR n'est pas couverte par le poste clients, faire une étude détaillée du BFR avant de conclure à un niveau de risque.

– *Méta-règle de choix d'un modèle de jugement* : la méta-tâche de choix des modèles de jugement représente le processus cognitif de l'expert en situation de prise de décision. Chaque expert en jugement modélise un processus d'évaluation multi-attribut complètement différent (voir section 3.5). Le méta-expert possède, dans sa base de faits, la connaissance lui permettant de choisir la stratégie de jugement la mieux adaptée au problème à juger. Il choisit en considérant les facteurs environnementaux (volume du prêt, données économiques, etc.) et les facteurs structurels (complexité de la tâche à juger, fiabilité des données, etc.). La tâche stratégique, de priorité 2, est placée dans l'agenda par la règle super-démon DEMO1 du méta-expert grâce à la méta-primitive EXAMINER (voir section 3.6). Elle apparaitra donc après la tâche expérimentale qui doit être jugée et qui est de priorité 1.

– *Méta-règle d'arrêt du raisonnement* : après l'évaluation d'un sous-domaine, le méta-expert peut décider d'un raccourci dans le raisonnement, permettant ainsi d'améliorer les performances du système et évitant d'acquérir des connaissances inutiles auprès de l'analyste, par exemple : *Si la qualité du sous-domaine le plus important est très mauvaise, conclure que la qualité de l'entité est très mauvaise et arrêter les inférences.* (5)

## 3.3. LE SYSTÈME DE PONDÉRATION DE CREDEX

### 3.3.1. Pondération des caractéristiques

Pour que le système soit complètement déclaratif, Jacques Pitrat m'a proposé de représenter les pondérations des caractéristiques de façon linguistique. Ce traitement qualitatif de l'incertain a simplifié le recueil de l'expertise, les analystes financiers étant plus à l'aise pour parler de l'importance des caractéristiques plutôt que de donner une évaluation numérique. Il est à remarquer que nous avions envisagé de représenter l'incertain en nous appuyant sur la théorie des ensembles flous de Zadeh [36] mais nous n'avons pas retenu cette approche car les experts étaient dans l'incapacité de définir des fonctions d'appartenance et des seuils.

À chaque caractéristique i est affecté un poids $p_{ij}$ représentant l'importance perçue des caractéristiques de l'entreprise dans l'évaluation de la qualité de la fonction j (sui-vant trois modalités : « important », « moyennement-important », « peu-important »). Les pondérations peuvent être des pondérations par défaut (par exemple, quelle que soit l'entreprise, le ratio d'endettement est important), des pondérations évaluées en début de raisonnement par l'expert expérimental (par exemple, l'importance du produit X dépend de son chiffre d'affaires). Pour représenter au mieux le raisonnement des analystes financiers, ces pondérations $p_{ij}$ peuvent varier dynamiquement au cours du processus d'évaluation, par exemple : « Si le besoin en fonds de roulement est analysé,

<footnote>(4) BFR : Besoins en Fonds de Roulement, FR : Fonds de Roulement</footnote>

<footnote>(5) Un exemple d'exécution de CREDEX peut être trouvé dans [28].</footnote>
il faut pondérer fortement les délais clients, délais fournisseurs et rotation des stocks »
ou encore « S'il existe un produit dominant qui réalise une grande partie du chiffre
d'affaires, ce produit est important ». À titre d'exemple, cette expertise est donnée par
la règle PRODUIT-IMPORTANT :

Règle : PRODUIT-IMPORTANT

Contexte

1) La règle est une règle de l'expert commercial

2) L'évaluation de la fonction commerciale est une tâche expérimentale

Déclencheur

3) La tâche commerciale est active

4) Pour tout produit appartenant à l'ensemble des produits commercialisés

Conditions

5) Le chiffre d'affaires réalisé par le produit est important

6) Il existe un produit dominant

Conclusions

Ce produit est important pour l'entreprise

Mémoriser la pondération de ce produit dans le frame « produit » de la base de faits de l'expert commercial

3.3.2. Pondération des sous-domaines

À chaque fonction de l'entreprise ou sous-domaine j est associé un poids g_j sur une
échelle linguistique en 7 points (de « très important » à « très peu important »). Les
g_j sont soit donnés interactivement par l'utilisateur, soit inférés par le méta-expert en
fonction du contexte. Dans le cas de l'entreprise, le contexte est la politique bancaire
B, le secteur d'activité S et l'objectif d'évaluation O :

$$
g_j = f(B, S, O)
$$

Par exemple si O est l'autorisation de crédit, la fonction commerciale est prépondérante. Si O est la prise de participation, la fonction management est primordiale. Cette expertise sera utilisée par le méta-expert pour piloter le processus d'évaluation en plaçant dans l'agenda les tâches par ordre de priorité.

Les pondérations g_j sont utilisées non seulement dans l'évaluation de l'entreprise et du risque de crédit afférent (voir section 3.4), mais aussi dans le pilotage du processus d'évaluation. En effet, le méta-expert utilise cette connaissance pour choisir l'ordre d'évaluation des sous-domaines, le plus important étant évalué en priorité.

3.4. PROCESSUS D’ÉVALUATION DU RISQUE

Dans CREDEX, le niveau de risque afférent à chaque prêt est déterminé à travers
un processus composé de plusieurs phases faisant intervenir les différents experts.

Dans la première phase, chaque fonction j de l'entreprise est évaluée par les experts
expérimentaux (voir section 3.2) en termes de points positifs et de points négatifs sur
une échelle linguistique en cinq points (de « très positif » à « très négatif »), soit, de façon duale, en termes d'éléments de risques $r_{ij}$ évalués de « très fort » à « très faible ».

Dans une deuxième phase, les risques élémentaires $r_{ij}$ ainsi que leur pondération $p_{ij}$ sont agrégés par les experts en jugement pour obtenir des évaluations partielles $RP_j$. Ces évaluations représentent la qualité du sous-domaine $j$, ou en termes de risque de crédit, le risque afférent au sous-domaine $j$, évalué sur une échelle en 5 points.

Dans une troisième phase, ces évaluations partielles $RP_j$ ainsi que leurs pondérations $g_j$ sont elles-mêmes agrégées par les experts en jugement pour obtenir une évaluation globale. Le processus peut être récursif et peut s'appeler autant de fois qu'il y a de niveaux dans la hiérarchie des sous-domaines (par exemple la fonction marketing peut être décomposée en sous-domaines tels que les produits et services, les circuits de distribution, la politique de prix, la politique de communication, qui seront, eux aussi, évalués en termes de points forts/faibles); ainsi les $r_{ij}$ pondérés par les $p_{ij}$ sont combinés de façon déclarative à travers les phases pour obtenir un risque global.

Le paradigme de base que nous avons choisi pour agréger les jugements est celui des modèles de jugement multi-attributs que nous présentons ci-dessous.

## 3.5. AGRÉGATION MULTI-ATTRIBUTS DES JUGEMENTS

Les experts en jugements rendent opérationnels les modèles multi-attributs de traitement de l'information le plus souvent proposés en psychologie cognitive et en théorie de la prise de décision ([6], [8], [15], [25]). Ces modèles de prise de décision étaient en phase avec la théorie de la rationalité limitée de Newell et Simon affirmant qu'un individu décide non pas en optimisant une utilité mais en choisissant une solution satisfaisante [24]. Dans le même courant de pensée, Kahneman, Slovic et Tversky [15] ont étudié comment les individus prennent réellement leurs décisions et remettent en cause les choix rationnels. Comme je l'ai dit en début d'article, Jacques Pitrat s'est enthousiasmé pour ces modèles de jugement car il a vu tout le potentiel qu'on pouvait en tirer, non seulement pour l'évaluation d'une entreprise mais aussi pour l'évaluation de toute entité, en particulier, l'évaluation des coups au jeu d'échecs [30].

À chaque niveau de l'évaluation, les experts en jugement agrègent les évaluations élémentaires $r_{ij}$ pondérées par $p_{ij}$, puis les évaluations partielles $RP_j$ pondérées par $g_j$. Chaque modèle implique un processus d'évaluation différent. Le modèle conjonctif suppose que, pour être acceptable, toutes les caractéristiques doivent avoir des scores supérieurs à un certain seuil. En terme d'évaluation de risque, tous les $r_{ij}$ doivent être inférieur à un certain seuil, par exemple « fort ». Le modèle disjonctif est appelé fonction maximum d'évaluation car l'entité est jugée sur son aspect le meilleur. En termes d'analyse de risque, un élément de risque $r_{ij}$ très-faible et important est suffisant pour conclure à la bonne qualité du sous-domaine. Dans le modèle compensatoire, les jugements positifs sur certaines caractéristiques compensent les jugements négatifs portés sur d'autres caractéristiques. L'ensemble des jugements ainsi que l'importance des caractéristiques sont amalgamés par une fonction additive ou multiplicative pour donner un score global. Le modèle lexicographique suppose que les attributs sont
examinés séquentiellement, les plus importants d'abord. Si une conclusion peut être tirée, l'évaluation s'arrête. Sinon, les attributs suivants, dans l'ordre d'importance sont examinés. Dans le cas de l'analyse du risque, les éléments de risque rᵢⱼ importants (pᵢⱼ = important) sont examinés d'abord pour déduire la qualité du sous-domaine. Si card {rᵢⱼ = faible} > card {rᵢⱼ = fort} alors conclure à un risque gⱼ faible pour le sous-domaine j. Si card {rᵢⱼ = faible} = card {rᵢⱼ = fort} alors on ne peut pas conclure, examiner les rᵢⱼ d'importance moyenne et appliquer les mêmes heuristiques. Si le système peut conclure, il arrête l'évaluation de la tâche et passe à la tâche suivante.

Quel expert en jugement activer ? En nous appuyant sur les recherches en psycho-
logie cognitive portant sur le comportement des décideurs dans le choix des modèles,
nous avons retenu deux types de facteurs : 1) des facteurs structurels propres à la tâche à
évaluer, c'est-à-dire la complexité de la tâche, la qualité de l'information possédée par
le système (fiabilité, données manquantes) 2) des facteurs environnementaux, c'est-à
dire l'enjeu du jugement, le degré de risque perçu, le volume du prêt, la concurrence du
marché. Ces méta-données sont formalisées dans la méta-tâche de choix des modèles
de jugement (ou méta-tâche stratégique). Lorsque cette méta-tâche est activée, elle
place dans l'agenda la stratégie de jugement la plus adaptée à la tâche à évaluer. Par
exemple, *Si la tâche à évaluer est complexe et le risque perçu est élevé et la politique
bancaire est très sélective alors activer l'expert en jugement conjonctif.*

Les avantages de cette approche déclarative et linguistique sont multiples :

(1) représentation de la façon de raisonner des experts et accessibilité de la connaissance qui n'est pas modélisée sous forme de formules probabilistes;

(2) traitement de l'information contradictoire ; par exemple si une caractéristique permet de conclure à un point faible alors qu'une autre conclut à un point fort, l'expert en jugement tranchera en utilisant ses règles sur l'importance des caractéristiques ;

(3) généralité du système; la pondération des sous-domaines permet d'évaluer tout type d'entreprise, quel que soit le secteur d'activité, et quel que soit l'objectif de l'évaluation (diagnostic, autorisation de crédit, prise de participation, défaillance, etc.);

(4) modification facile de la connaissance ; l'ajout d'une nouvelle caractéristique implique seulement l'évaluation d'un jugement élémentaire supplémentaire en termes de risque élémentaire rᵢⱼ qui sera agrégé tout naturellement par le modèle de jugement.

3.6. QUELQUES MOTS SUR L'IMPLÉMENTATION DE CREDEX

Le système CREDEX n'aurait pas vu le jour sans le concours de Jean-Louis Laurière qui avait développé un langage déclaratif de représentation des connaissances et un moteur d'inférence associé : le système SNARK [18]. Ce système présentait de nombreux avantages : un codage simple des règles dans un langage inspiré de la logique des prédicats du premier ordre (et même du second ordre, avec la possibilité d'utiliser des variables de prédicat), une représentation des objets, des relations, des
assertions sous forme de triplets <objet relation valeur>, « relation » et « valeur » pouvant être à leur tour des objets structurés, une performance remarquable fondée sur les principes de traitement de contraintes du système ALICE [17]. Ce cadre a permis une représentation aisée des bases de connaissances de chaque expert sous forme de réseaux sémantiques et de frames ([3], [23], [35]), permettant la définition d'objets particuliers (les instances) et d'objets génériques (les classes). L'héritage de propriétés, les valeurs par défaut, la transitivité étaient définies par des règles. Par exemple, le fait « frais financiers/chiffre d'affaires » de la base de faits de l'expert financier était représenté par le frame suivant, le lien EST-UN faisant référence à la classe d'appartenance :

<table><thead><tr><th>FF/CA</th><th>EST-UN</th><th>INDICATEUR</th></tr></thead><tbody><tr><td></td><td>VAL</td><td>est-un : VALEUR<br/>Valeur1 : &lt;nbre t1&gt;<br/>Valeur2 : &lt;nbre t2&gt;</td></tr><tr><td></td><td>EVOL</td><td>est-un : EVOLUTION<br/>Date-début : &lt;année&gt;<br/>Date-fin : &lt;année&gt;<br/>Valeur : &lt; en-hausse, stable, en-baisse&gt;</td></tr><tr><td></td><td>ACCROIS</td><td>est-un : ACCROISSEMENT<br/>Date-début : &lt;année&gt;<br/>Date-fin : &lt;année&gt;<br/>Valeur : &lt;%&gt;</td></tr><tr><td></td><td>POIDS</td><td>Valeur : Important</td></tr></tbody></table>

L'attribut POIDS qui a été ajouté (voir section 3.3.1) représente l'importance de l'objet dans le processus d'évaluation de qualité de la fonction. Certaines relations sont des faits initiaux de la base de faits, d'autres sont créés dynamiquement par l'expert au cours de son raisonnement et enrichissent la base de faits : il en est ainsi de la relation EVOLUTION et ACCROISSEMENT.

Une fonctionnalité importante et originale de SNARK était la possibilité de formuler des méta-règles utilisant des primitives portant sur les règles (telles que EXAMINER, ACTIVER, INHIBER). Cela permettait de gérer le contrôle de l'agenda des règles, et par là même de représenter de façon déclarative la stratégie de contrôle de l'expert. Ces méta-primitives activaient ou inhibaient des paquets de règles de production en fonction de priorités déterminées au cours du raisonnement ou données a priori. Un autre avantage de SNARK était la possibilité d'activer les règles par leur contenu (le prédicat de l'une des prémisses représentant le contexte) et non par leur nom. En effet, toutes les règles d'un expert (expérimental ou de jugement) sont sous forme de paquet de règles attachées à un contexte donné par la première prémisse (ou antécédent). Par exemple :
EXAMINER (R1)

PRIORITE (R1) 1

ANTECEDENT (R1) : EST-UN (X) = TACHE-EXPERIMENTALE

Les fonctionnalités de SNARK ont permis de mettre en œuvre la stratégie de contrôle de CREDEX qui représente le mieux la façon de raisonner des experts : dirigée par les données (*data-driven*) et dirigée par les buts (*goal-driven*). En effet, le raisonnement chainage avant de SNARK a permis de faire des déductions, à l'intérieur d'une tâche, à partir de toutes les données disponibles et la gestion de l'agenda des tâches par les méta-règles a permis de focaliser le raisonnement sur un but (évaluation d'une tâche). Ceci, couplé avec l'aspect interactif du système, permettait de guider l'analyste financier dans sa collecte d'information, en ne fournissant que les données nécessaires au raisonnement.

## 4. CONCLUSION

Les recherches de Jacques Pitrat sur la métaconnaissance et les discussions que j'ai eu la chance d'avoir avec lui m'ont permis de concevoir le système CREDEX qui fut l'un des premiers à intégrer méta-connaissance, connaissance du domaine et connaissances basée sur les modèles de jugement multi-attributs. Cette approche déclarative s'est avérée indispensable dans des domaines comme l'évaluation d'entreprise où le processus de raisonnement est un processus multi-expert combinant expertise pragmatique et expertise de jugement. La conception d'un méta-expert pour représenter la stratégie de l'analyste au niveau supérieur offrait l'avantage de fournir un système souple, adaptatif, facilement modifiable, facilement compréhensible par les utilisateurs finaux et qui, de plus, pouvait expliquer les résultats qu'il trouvait en indiquant le raisonnement qui y avait conduit.

Cette exigence d'explicabilité des systèmes d'IA est revenue sur le devant de la scène et constitue actuellement un domaine de recherche très actif : « l'eXplainable Artificial Intelligence » ou XAI ([14], [20]). Les utilisateurs finaux, les décisionnaires en particulier, doivent pouvoir comprendre autant que possible le fonctionnement des systèmes d'IA pour avoir un minimum de confiance dans cette technologie, en lien avec les domaines de recherche sur la confiance et l'éthique en IA. Bien que ce concept d'XAI ait vu le jour récemment avec le développement des algorithmes d'apprentissage par réseaux de neurones profonds, considérés comme des systèmes « boîtes noires » ([14], [21]), l'explicabilité était déjà mise en avant par les chercheurs du domaine de l'IA symbolique, et notamment Jacques Pitrat, pour justifier la représentation des connaissances et des métaconnaissances sous forme déclarative. Plusieurs thèses ont été soutenues sur ce thème, notamment [13] et [33]<fnref n="6" />.

Le système CREDEX a eu plusieurs avantages : tout d'abord, il a permis de réfléchir sur les processus cognitifs d'évaluation, représentés sous forme de méta-expertise, ce

<footnote n="6">⁶La thèse de Claudia Jimenez Dominguez a été encadrée par J. Pitrat, celle de Brigitte Safar par M.O. Cordier, elle-même ancienne doctorante de J. Pitrat.</footnote>
qui a amené Jacques Pitrat à utiliser les modèles de jugement dans ses programmes de jeux d'échecs pour évaluer la stratégie et le coup à jouer. Dans son ouvrage « Métaconnaissance » [29], il a souligné à plusieurs reprises l'importance de la métaconnaissance en citant CREDEX dans le chapitre « Importance d'une connaissance » (p. 216), notamment le système de pondération mis en place par les méta-règles, et dans le chapitre « Connaitre l'expertise qui commande son comportement » (p. 233) en reprenant les méta-règles qui choisissent un modèle de jugement en fonction du contexte.

Dans le domaine de la gestion, comme dans le cas de beaucoup de systèmes de diagnostic d'entreprise, un travail d'ingénierie a dû être réalisé pour intégrer ces systèmes dans les systèmes d'information des banques et organismes de crédit. Par exemple, le système ODM (Operational Decision Manager) d'IBM permettant de représenter les règles métier est basé sur ces principes, auxquels ont été ajoutées des interfaces graphiques. En connectant un tel système aux bases de données des entreprises clientes, la banque avait l'intention d'effectuer des simulations sur les risques d'octroi de crédit potentiel et, au vu des résultats obtenus, de solliciter des prêts à faible taux de risque.

Dans un autre domaine, la notion de multi-expertise m'a permis d'évoluer vers les systèmes multi-agents, systèmes plus sophistiqués dans lesquels les agents communiquent entre eux, ce qui n'est pas le cas dans CREDEX (la communication est centralisée au travers d'un tableau noir). Toutefois, dans des domaines pluridisciplinaires où l'argumentation entre experts est nécessaire, on pourrait imaginer de rendre les experts autonomes pour en faire des agents avec des communications explicites par actes de langage.

De façon générale, Jacques Pitrat a été le pionnier de l'IA symbolique en France, et surtout de l'utilisation de la métaconnaissance, courant qui se poursuit dans les recherches actuelles par l'introduction des méta-données dans la représentation des connaissances sous forme d'ontologies et de graphes conceptuels et dans le raisonnement sur ces méta-données. Le développement du Web sémantique a donné un essor considérable à ces domaines de recherche [1] ainsi qu'au domaine de l'ingénierie des connaissances où sont abordées les questions de gestion des connaissances, d'intégration sémantique des données et de recherche d'information. Pour un panorama complet, on peut se référer aux chapitres I.3 et I.20 de l'ouvrage de référence : « Réprésentation des connaissances et formalisation des raisonnements » [22], préfacé par Jacques Pitrat.

## BIBLIOGRAPHIE

[1] S. ABITBOUL, I. MANOLESCU, P. RIGAUX, M.-C. ROUSSET & P. SENELLART, *Web Data Management*, Cambridge University Press, 2012.

[2] G. BENCHIMOL, J.-C. POMEROL & P. LEVINE, *Les Systèmes Experts dans l'entreprise*, Hermès, Paris, 1986.

[3] R. J. BRACHMAN & H. J. LEVESQUE, *Readings in Knowledge Representation*, Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 1985.

[4] B. CHANDRASEKARAN, « Towards a Functional Architecture for Intelligence Based on Generic Information Processing Tasks », in *Proceedings IJCAI 87* (Milan), 1987, p. 1183-1192.
[5] R. DAVIS, «Meta-Rules : Reasoning About Control», *Artificial Intelligence* **15** (1980), n° 3, p. 179-222.

[6] R. M. DAWES, *Toward a general framework for Evaluation*, University of Michigan, 1964.

[7] H. J. EINHORN & J. HILLEL, « The Use of Nonlinear, Noncompensatory Models in Decision Making », *Psychological Bulletin* **73** (1970), n° 3, p. 221-230.

[8] H. J. EINHORN & R. M. HOGARTH, « Behavioral decision theory : Processes of judgment and choice », *Annual Review of Psychology* **32** (1981), p. 53-88.

[9] L. ERMAN, F. HAYES-ROTH, V. LESSER & D. R. REDDY, « The Hearsay-II Speech-Understanding System : Integrating Knowledge to Resolve Uncertainty », *ACM Computing Surveys* **12** (1980), n° 2, p. 213-253.

[10] C. ERNST (ED), *Management Expert Systems*, Addison-Wesley, Reading, Ma, 1988.

[11] F. HAYES-ROTH, D. A. WATERMAN & D. B. LENAT (éds.), *Building Expert Systems*, Addison-Wesley, Reading, Ma, 1983.

[12] C. W. HOLSAPPLE & A. B. WHINSTON, « Management Support Through Artificial Intelligence », *Human System Management* **5** (1985), n° 2, p. 163-171.

[13] C. JIMENEZ DOMINGUEZ, « Sur l'explication dans les systèmes à base de règles : le système PROSE », Thèse, Université Paris 6, 1990.

[14] Journée AFIA, *L'explicabilité des Systèmes d'IA*, Perspectives et Défis de l'IA, (PDIA'21), 8 Avril 2021, https://afia.asso.fr/pdia21/.

[15] D. KAHNEMAN, P. SLOVIC & A. TSVERSKY, *Judgment under uncertainty, Heuristics and Biases*, Cambridge University Press, 1982.

[16] L. KERSCHBERG & J. DICKINSON, « FINEX : An Expert Support System for Financial Analysis », in *Actes des 5ièmes Journée Internationales Les Systèmes Experts et leurs Applications* (Avignon), 1985, p. 919-942.

[17] J.-L. LAURIÈRE, « A language and a program for stating and solving combinatorial problems », *Artificial Intelligence* **10** (1978), n° 1, p. 29-127.

[18] —, *Intelligence artificielle. Tome 2 : Représentation des connaissances*, Eyrolles, Paris, 1988.

[19] D. B. LENAT, R. DAVIS, J. DOYLE, M. GENESERETH, I. GOLDSTEIN & H. SHROBE, « Reasoning about Reasoning », in *Building Expert Systems* (F. Hayes-Roth, D. A. Waterman & D. Lenat, éds.), Addison-Wesley, Cham, 1983, p. 219-239.

[20] M.-J. LESOT, « Explications de données et de classifiers : quelques méthodes et risques notables », Conférence Extraction et Gestion des Connaissances, (EGC 2021). Conférence invitée, https://www.youtube.com/watch?v=h0Hrt80HKeM, Janvier 2021.

[21] S. MALLAT, « Sciences des données et apprentissage en grande dimension », in *Leçon inaugurale*, La lettre du Collège de France, Collège de France, 11 janvier 2018, https://www.college-de-france.fr et Conférence « l'IA est-elle logique ou géométrique », Université Paris-Dauphine, Novembre 2018.

[22] P. MARQUIS, O. PAPINI & H. PRADE (COORD.), *Représentation des connaissances et formalisation des raisonnements*, vol. 1, Cépaduès-Editions, 2014.

[23] M. MINSKY, « A Framework for Representing Knowledge », in *The Psychology of Computer Vision* (P. Winston, éd.), Mc Graw-Hill, N.Y., 1975, p. 211-277.

[24] A. NEWELL & H. A. SIMON, *Human Problem Solving*, Prentice-Hall, Englewood Cliffs, N.J., 1972.

[25] R. NISBET & L. ROSS, *Human Inference Strategies and Shortcomings in Social Sciences*, Prentice-Hall, Englewood Cliffs, N.J., 1980.

[26] S. PINSON, « A Multiattribute Approach to Knowledge Representation for Loan Granting », in *Proceedings IJCAI-87* (Milan), 1987, p. 588-591.

[27] —, « Credit Risk Assessment and Meta-Judgment », *Theory and Decision* **27** (1989), p. 117-133.

[28] —, « Une Évaluation Multi-Expert du Risque Entreprise : le Système CREDEX », *Technique et Science Informatiques, T.S.I.* **7** (1989), n° 2, p. 127-143.

[29] J. PITRAT, *Métaconnaissance. Futur de l'intelligence artificielle*, Hermès, Paris, 1990.

[30] —, *De la Machine à l'Intelligence*, Hermès, Paris, 1995.

[31] —, « Herbert Simon, pionnier de l'Intelligence Artificielle », *Revue d'intelligence Artificielle* **16** (2002), p. 11-16.

[32] —, « Herbert Simon et le méta », *Revue d'intelligence Artificielle* **16** (2002), p. 87-89.
[33] B. SAFAR, «Le problème des explications négatives dans les systèmes experts : le système POURQUOI-PAS ? », Thèse, Université Paris 11, 1987.

[34] R. H. SPRAGUE & E. D. CARLSON, *Building Effective Decision Support Systems*, Prentice-Hall, Englewood Cliffs, N.J., 1982.

[35] J. M. WRIGHT, M. S. FOX & D. ADAM, SRL/1.5 Users Manual. Technical Report, Robotics Institute, Carnegie-Mellon University, 1984.

[36] L. A. ZADEH, « The concept of a linguistic variable and its application to approximate reasoning », *Information Sciences* 8 (1975), n° 3, p. 199-249.

**ABSTRACT.** — The research topics of representation and use of knowledge and more particularly those of declarative knowledge and meta-knowledge have formed the basis of many research works and many doctoral theses supervised by Jacques Pitrat. In this article, I relate my interactions with him and how he helped me integrate cognitive judgment models and meta-expertise into a knowledge-based system (KBS). I then present my doctoral thesis work which resulted in the creation of the CREDEX system, a diagnostic and decision support system intended for financial analysts in their approach to assessing companies requesting a loan, in terms of strengths and related weaknesses and risk. The emphasis is on the representation of underlying expert knowledge, on the formalization of multi-attribute decision models and on the representation of choice heuristics in the form of meta-knowledge. Finally, I show how Jacques Pitrat allowed me to generalize this work and in which areas this work is still relevant.

**KEYWORDS.** — meta-knowledge, declarative knowledge, knowledge-based system (KBS), production rules, meta-rules, cognitive models of judgement, multi-attribute models, enterprise evaluation, credit risk, CREDEX.