# Détection de biais et intégration de connaissances expertes pour l'explicabilité en Intelligence Artificielle

Matthieu Delahaye, Lina Fahed, Florent Castagnino, Philippe Lenca

► To cite this version:

Matthieu Delahaye, Lina Fahed, Florent Castagnino, Philippe Lenca. Détection de biais et intégration de connaissances expertes pour l'explicabilité en Intelligence Artificielle. Journée Société & IA @ Plate-Forme Intelligence Artificielle de l'AFIA (PFIA), Jul 2024, La Rochelle, France. hal-04659618

HAL Id: hal-04659618

https://hal.science/hal-04659618v1

Submitted on 23 Jul 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Détection de biais et intégration de connaissances expertes pour l'explicabilité en Intelligence Artificielle

Matthieu Delahaye¹, Lina Fahed¹, Florent Castagnino², Philippe Lenca¹

¹ IMT Atlantique, Lab-STICC, UMR CNRS 6285, F-29238 Brest, France

² IMT Atlantique, LEMNA, F-44307 Nantes, France

prénom.nom@imt-atlantique.fr

Le déploiement de modèles d'apprentissage automatique "boîtes noires", dans des secteurs sensibles notamment, a entraîné un fort besoin d'explicabilité adapté au niveau de compréhension des acteurs décideurs. Dans le secteur sensible de la sécurité urbaine, de nombreux modèles de pré-diction d'infractions (contraventions, délits, crimes) dans le temps et l'espace ont été proposés. En France, la plupart de ces modèles ne sont plus utilisés à cause, principalement, de l'absence d'informations complémentaires à l'intuition des policiers [2]. Dans l'objectif de comprendre les phénomènes liés à la sécurité urbaine et pour apporter des informations pertinentes aux policiers, nous souhaitons proposer un nouveau modèle d'Intelligence Artificielle eXplicable (XAI) [3] qui relève les deux défis suivants :

## Défi 1 : Détection de biais par l'explication

Le biais cognitif présent dans le jugement et la décision humaine est un phénomène naturel [1]. Sachant qu'un modèle d'apprentissage automatique, par définition, extrait des connaissances à partir de données qui sont, elles, souvent générées et collectées par l'humain, cela engendre la présence de biais dans le modèle. La littérature s'est principalement concentrée sur l'atténuation des biais algorithmiques, ce qui peut entraîner une incapacité de justification du résultat du modèle [1]. Or, dans un contexte d'aide à la décision à fort impact social, il est nécessaire de considérer les acteurs impliqués et leurs contextes sociaux tout au long de la modélisation afin de conserver un modèle fiable et non biaisé. Notre intérêt se porte plutôt sur les étapes préliminaires au traitement de biais : la détection et l'évaluation des biais. Pour détecter exhaustivement les biais du modèle, nous cherchons à expliquer son comportement. L'explication des modèles peut se faire aussi bien à l'échelle locale que globale [3]. Localement, générer des contre-factuels, par exemple, permet de modifier légèrement les instances de façon à changer la prédiction. Dans ce cas, la détection de biais peut se faire en analysant des cas précis. À l'échelle globale, l'explication est donnée à propos du comportement entier du modèle ce qui permet de détecter les biais de façon plus complète. Dans notre contexte, les techniques d'explication liées à ces deux échelles sont à explorer.

## Défi 2 : Généralisation par intégration de connaissances

Les modèles d'apprentissage automatique fondés exclusivement sur des données, parfois imparfaites, sont limités

en terme de généralisation [5]. Dans le but de préciser leur raisonnement, nous proposons d'intégrer des connaissances expertes durant l'apprentissage du modèle afin qu'il assimile le contexte et les contraintes extérieures n'étant pas explicitement dans les données [5]. Dans notre projet, les connaissances expertes sont le résultat d'entretiens réalisés auprès des professionnels de la sécurité, des criminologues et sociologues de la police. La pluralité d'acteurs limite les biais induits par la subjectivité de chaque expert. La piste envisagée est d'incorporer les connaissances dans la fonction de coût du modèle [5] qui se verra ajouter un nouveau terme pouvant être vu comme un terme de régularisation permettant, par exemple, de tempérer la stigmatisation. Afin de vérifier la fiabilité des explications, l'approche d'eXplocatory Interactive Learning (XIL) [4], qui fait intervenir un expert donnant un retour sur la conformité des explications fournies, sera considérée. L'intervention experte contribue à rendre le modèle plus réaliste et renforce la relation de confiance de la police envers l'outil.

## Références

[1] Salem Alelyani. Detection and evaluation of machine learning bias. *Applied Sciences*, 11 :6271, 07 2021.

[2] La Quadrature du Net. La police prédictive en France : contre l'opacité et les discriminations, la nécessité d'une interdiction. https://www.laquadrature.net/, Janvier 2024.

[3] R. Guidotti, A. Monreale, S. Ruggieri, F. Turini, F. Giannotti, and D. Pedreschi. A survey of methods for explaining black box models. *ACM Comput. Surv.*, 51(5) :1–42, 2018.

[4] P. Schramowski, W. Stammer, S. Teso, A. Brugger, F. Herbert, X. Shao, H.-G. Luigs, A.-K. Mahlein, and K. Kersting. Making deep neural networks right for the right scientific reasons by interacting with their explanations. *Nat Mach Intell*, 2(8) :476–486, 2020.

[5] L. von Rüden, S. Mayer, K. Beckh, B. Georgiev, S. Giesselbach, R. Heese, B. Kirsch, J. Pfrommer, A. Pick, R. Ramamurthy, et al. Informed machine learning - a taxonomy and survey of integrating prior knowledge into learning systems. *IEEE Trans. Knowl. Data Eng.*, 35(1) :614–633, 2023.