# Machine Learning et Modèles IRB : Avantages, Risques et Préconisations

Christophe Hurlin, Christophe Pérignon

<figure><img src="image_1.png" /></figure>

To cite this version:

Christophe Hurlin, Christophe Pérignon. Machine Learning et Modèles IRB : Avantages, Risques et Préconisations. Institut Louis Bachelier. 2023. halshs-04518248

HAL Id: halshs-04518248

https://shs.hal.science/halshs-04518248

Submitted on 26 Mar 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

Public Domain
<figure><img src="image_1.png" /></figure>

HAL
open science

# Machine Learning et Modèles IRB : Avantages, Risques et Préconisations

Christophe Hurlin, Christophe Pérignon

► To cite this version:

Christophe Hurlin, Christophe Pérignon. Machine Learning et Modèles IRB : Avantages, Risques et Préconisations. Institut Louis Bachelier. 2023. halshs-04518248

HAL Id: halshs-04518248

https://shs.hal.science/halshs-04518248v1

Submitted on 26 Mar 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

Public Domain
Machine Learning et Modèles IRB :
Avantages, Risques et Préconisations *

Christophe Hurlin†

Christophe Pérignon ‡

23 mars 2024

Résumé

L'objectif de cette étude est de proposer une réflexion théorique et pratique sur les enjeux de l'utilisation des méthodes d'apprentissage automatique (Machine Learning) dans le cadre spécifique des modèles de risque de crédit basés sur les notations internes (IRB), permettant le calcul des fonds propres réglementaires des banques. Si le ML est aujourd'hui encore peu utilisé dans le domaine réglementaire (IRB, IFRS9, stress tests), les récentes discussions initiées par l'Autorité Bancaire Européenne (EBA) laissent penser que cet usage pourrait se développer dans le futur. Bien que technique-ment complexe, ce sujet est crucial compte tenu des craintes pour la stabilité financière que soulèvent l'utilisation de modèles internes sophistiqués et opaques pour la gestion des fonds propres. A l'inverse, pour leurs défenseurs, ces modèles offrent la perspective de mieux mesurer le risque de crédit et d'ouvrir de nouvelles perspectives en termes d'inclusion financière. De cette étude, ressortent plusieurs conclusions et recommanda-tions concernant (i) les enjeux de concurrence bancaire internationale liés aux données utilisées par ces modèles, (ii) l'amélioration de la précision dans l'estimation des para-mètres de risque, (iii) la réduction des fonds propres réglementaires pour les banques, (iv) la nécessité de remettre en cause l'arbitrage entre performance et interprétabilité, et de développer dans ce contexte des modèles de ML nativement interprétables et (v) le défi de la gouvernance, des risques opérationnels et de la formation.

Mots clés : Machine Learning ; réglementation prudentielle bancaire ; modèles internes ; ca-pital réglementaire.

Classification JEL : G21, G29, C10, C38, C55.

<footnote>* Ce rapport a été réalisé le cadre de la collection Opinion et Débats de l'Institut Louis Bachelier (ILB) et financé par le Labex FCD (ANR-11-LABX-00019-016). Nous remercions Henri Fraisse, Olivier Gassner, et Guillaume Vuillemey pour leurs commentaires et suggestions. Nous remercions également l'Institut Uni-versitaire de France (IUF), la Chaire ACPR Régulation et Risque Systémique, et l'Agence Nationale de la Recherche (MLEforRisk ANR-21-CE26-0007) pour le soutien apporté à nos recherches.</footnote>

<footnote>†Université d'Orléans et Institut Universitaire de France, Rue de Blois, 45067 Orléans, France. E-mail : christophe.hurlin@univ-orleans.fr</footnote>

<footnote>‡HEC Paris, 1 Rue de la Libération, 78350 Jouy-en-Josas, France. E-mail : perignon@hec.fr</footnote>
Machine Learning et Modèles IRB :
Avantages, Risques et Préconisations *

Christophe Hurlin†

Christophe Pérignon ‡

23 mars 2024

Résumé

L'objectif de cette étude est de proposer une réflexion théorique et pratique sur les enjeux de l'utilisation des méthodes d'apprentissage automatique (Machine Learning) dans le cadre spécifique des modèles de risque de crédit basés sur les notations internes (IRB), permettant le calcul des fonds propres réglementaires des banques. Si le ML est aujourd'hui encore peu utilisé dans le domaine réglementaire (IRB, IFRS9, stress tests), les récentes discussions initiées par l'Autorité Bancaire Européenne (EBA) laissent penser que cet usage pourrait se développer dans le futur. Bien que technique-ment complexe, ce sujet est crucial compte tenu des craintes pour la stabilité financière que soulèvent l'utilisation de modèles internes sophistiqués et opaques pour la gestion des fonds propres. A l'inverse, pour leurs défenseurs, ces modèles offrent la perspective de mieux mesurer le risque de crédit et d'ouvrir de nouvelles perspectives en termes d'inclusion financière. De cette étude, ressortent plusieurs conclusions et recommanda-tions concernant (i) les enjeux de concurrence bancaire internationale liés aux données utilisées par ces modèles, (ii) l'amélioration de la précision dans l'estimation des para-mètres de risque, (iii) la réduction des fonds propres réglementaires pour les banques, (iv) la nécessité de remettre en cause l'arbitrage entre performance et interprétabilité, et de développer dans ce contexte des modèles de ML nativement interprétables et (v) le défi de la gouvernance, des risques opérationnels et de la formation.

Mots clés : Machine Learning ; réglementation prudentielle bancaire ; modèles internes ; ca-pital réglementaire.

Classification JEL : G21, G29, C10, C38, C55.

<footnote>*Ce rapport a été réalisé le cadre de la collection Opinion et Débats de l'Institut Louis Bachelier (ILB) et financé par le Labex FCD (ANR-11-LABX-00019-016). Nous remercions Henri Fraisse, Olivier Gassner, et Guillaume Vuillemey pour leurs commentaires et suggestions. Nous remercions également l'Institut Uni-versitaire de France (IUF), la Chaire ACPR Régulation et Risque Systémique, et l'Agence Nationale de la Recherche (MLEforRisk ANR-21-CE26-0007) pour le soutien apporté à nos recherches.</footnote>

<footnote>†Université d'Orléans et Institut Universitaire de France, Rue de Blois, 45067 Orléans, France. E-mail : christophe.hurlin@univ-orleans.fr</footnote>

<footnote>‡HEC Paris, 1 Rue de la Libération, 78350 Jouy-en-Josas, France. E-mail : perignon@hec.fr</footnote>
Table des matières

<table><tr><td>1 Introduction</td><td>3</td></tr><tr><td>2 Quels sont les usages possibles du ML dans le contexte IRB?</td><td>12</td></tr><tr><td>2.1 Définition du ML dans le contexte IRB</td><td>12</td></tr><tr><td>2.2 Les applications possibles du ML dans le contexte IRB</td><td>15</td></tr><tr><td>2.3 Le ML est-il utilisé dans le contexte IRB?</td><td>19</td></tr><tr><td>3 Quelles données pour les modèles de ML en IRB?</td><td>23</td></tr><tr><td>3.1 ML et « nouvelles » données</td><td>24</td></tr><tr><td>3.2 Des enjeux de concurrence bancaire</td><td>28</td></tr><tr><td>4 Quels sont les bénéfices attendus du ML pour la modélisation IRB?</td><td>29</td></tr><tr><td>4.1 Des gains potentiels en termes de précision et de productivité</td><td>30</td></tr><tr><td>4.2 Des gains potentiels en termes de capital réglementaire</td><td>36</td></tr><tr><td>5 Le défi de l'explicabilité / interprétabilité des modèles IRB</td><td>41</td></tr><tr><td>5.1 Quelle explicabilité / interprétabilité pour les modèles IRB?</td><td>42</td></tr><tr><td>5.2 Les méthodes d'interprétabilité et d'explicabilité ex-post</td><td>43</td></tr><tr><td>5.3 Existe-il un arbitrage interprétabilité / performance?</td><td>47</td></tr><tr><td>6 Les autres défis posés par le ML dans le contexte IRB</td><td>50</td></tr><tr><td>6.1 Le challenge de la gouvernance du ML dans le contexte IRB</td><td>50</td></tr><tr><td>6.2 Les risques opérationnels associés au ML</td><td>52</td></tr><tr><td>6.3 L'évaluation de l'équité et les biais systématiques</td><td>56</td></tr><tr><td>7 Conclusion</td><td>59</td></tr></table>
Table des matières

<table><tr><td>1 Introduction</td><td>3</td></tr><tr><td>2 Quels sont les usages possibles du ML dans le contexte IRB?</td><td>12</td></tr><tr><td>2.1 Définition du ML dans le contexte IRB</td><td>12</td></tr><tr><td>2.2 Les applications possibles du ML dans le contexte IRB</td><td>15</td></tr><tr><td>2.3 Le ML est-il utilisé dans le contexte IRB?</td><td>19</td></tr><tr><td>3 Quelles données pour les modèles de ML en IRB?</td><td>23</td></tr><tr><td>3.1 ML et « nouvelles » données</td><td>24</td></tr><tr><td>3.2 Des enjeux de concurrence bancaire</td><td>28</td></tr><tr><td>4 Quels sont les bénéfices attendus du ML pour la modélisation IRB?</td><td>29</td></tr><tr><td>4.1 Des gains potentiels en termes de précision et de productivité</td><td>30</td></tr><tr><td>4.2 Des gains potentiels en termes de capital réglementaire</td><td>36</td></tr><tr><td>5 Le défi de l'explicabilité / interprétabilité des modèles IRB</td><td>41</td></tr><tr><td>5.1 Quelle explicabilité / interprétabilité pour les modèles IRB?</td><td>42</td></tr><tr><td>5.2 Les méthodes d'interprétabilité et d'explicabilité ex-post</td><td>43</td></tr><tr><td>5.3 Existe-il un arbitrage interprétabilité / performance?</td><td>47</td></tr><tr><td>6 Les autres défis posés par le ML dans le contexte IRB</td><td>50</td></tr><tr><td>6.1 Le challenge de la gouvernance du ML dans le contexte IRB</td><td>50</td></tr><tr><td>6.2 Les risques opérationnels associés au ML</td><td>52</td></tr><tr><td>6.3 L'évaluation de l'équité et les biais systématiques</td><td>56</td></tr><tr><td>7 Conclusion</td><td>59</td></tr></table>
# 1 Introduction

En novembre 2021, l'Autorité Bancaire Européenne (EBA) publie un document de réflexion (EBA, 2021) portant sur l'usage des algorithmes d'apprentissage automatique (Machine Learning ou ML) dans le cadre des modèles de notation interne (Internal Rating Based ou IRB). Selon l'approche IRB de la réglementation prudentielle de Bâle, ces modèles internes sont utilisés par les banques afin de déterminer le montant des fonds propres réglementaires qu'elles doivent posséder pour couvrir leurs pertes de crédit non anticipées et garantir leur solvabilité financière. Pour l'EBA, l'objectif de cette consultation est double. <fnref n="1" /> Il s'agit d'une part de poser les bases d'une discussion sur le sujet avec les banques, et d'autre part de définir les attentes du régulateur concernant les modèles de ML les plus sophistiqués, et d'évaluer leur conformité aux règlements et directives CRR/CRD sur les exigences de fonds propres des banques. <fnref n="2" /> Si le sujet peut paraître technique, il est éminemment important pour les superviseurs bancaires, tant la crainte est grande de voir se reproduire les déconvenues de la crise de 2008 en autorisant les banques à utiliser des modèles très sophistiqués dans le domaine de la gestion du risque de crédit. Immédiatement après cette publication, sont apparus dans la presse spécialisée des dizaines de titres (cf. Figure 1) sur l'émergence du ML et de l'intelligence artificielle (IA) dans le calcul des fonds propres réglementaires des banques, avec l'idée que l'EBA aurait « ouvert la porte » à cet usage. Ces réactions furent parfois très tranchées, mettant en avant les dangers du ML dans ce contexte avec le spectre de modélisations mal maîtrisées au cœur même du dispositif réglementaire mis en place au milieu des années 2000, précisément pour limiter l'occurrence des crises bancaires et en limiter les effets (Allen, 2021). A l'inverse, pour leurs défenseurs, ces modèles offrent la perspective de mieux mesurer le risque de crédit et donc de permettre aux banques, soit de réduire leurs fonds propres tout en garantissant leur stabilité financière, soit de faciliter l'accès au crédit de segments de particuliers ou d'entreprises pour lesquels les risques sont surestimés par les modélisations traditionnelles. Gageons enfin que certains de ces avis

<footnote n="1">1. La consultation s'est achevée en février 2022 et l'EBA a recueilli 11 retours émanant principalement d'associations professionnelles bancaires, i.e., Asociación Española de Banca (AEB), Assilea- Associazione Italiana Leasing (ASSILEA), Association Européenne des Banques Coopératives (EACB), Groupement Européen des Caisses d'Epargne et des Banques de Détail (ESBG), Fédération Bancaire Française (FBF), et l'association de l'industrie bancaire allemande (GBIC).</footnote>

<footnote n="2">2. Les dispositions des accords de Bâle sont transposées dans le droit de l'Union européenne sous la forme d'un règlement (Capital Requirements Regulation ou CRR) et d'une directive (Capital Requirements Directive ou CRD). A ce jour, les dernières versions de ces textes sont les CRR3/CRD6 visant à transposer les réformes de Bâle III contenu dans l'accord du Comité de Bâle du 7 décembre 2017, portant sur le plancher en fonds propres, le risque de crédit, et le risque opérationnel, ainsi que l'accord de janvier 2019 portant sur le risque de marché.</footnote>
# 1 Introduction

En novembre 2021, l'Autorité Bancaire Européenne (EBA) publie un document de réflexion (EBA, 2021) portant sur l'usage des algorithmes d'apprentissage automatique (Machine Learning ou ML) dans le cadre des modèles de notation interne (Internal Rating Based ou IRB). Selon l'approche IRB de la réglementation prudentielle de Bâle, ces modèles internes sont utilisés par les banques afin de déterminer le montant des fonds propres réglementaires qu'elles doivent posséder pour couvrir leurs pertes de crédit non anticipées et garantir leur solvabilité financière. Pour l'EBA, l'objectif de cette consultation est double. <fnref n="1" /> Il s'agit d'une part de poser les bases d'une discussion sur le sujet avec les banques, et d'autre part de définir les attentes du régulateur concernant les modèles de ML les plus sophistiqués, et d'évaluer leur conformité aux règlements et directives CRR/CRD sur les exigences de fonds propres des banques. <fnref n="2" /> Si le sujet peut paraître technique, il est éminemment important pour les superviseurs bancaires, tant la crainte est grande de voir se reproduire les déconvenues de la crise de 2008 en autorisant les banques à utiliser des modèles très sophistiqués dans le domaine de la gestion du risque de crédit. Immédiatement après cette publication, sont apparus dans la presse spécialisée des dizaines de titres (cf. Figure 1) sur l'émergence du ML et de l'intelligence artificielle (IA) dans le calcul des fonds propres réglementaires des banques, avec l'idée que l'EBA aurait « ouvert la porte » à cet usage. Ces réactions furent parfois très tranchées, mettant en avant les dangers du ML dans ce contexte avec le spectre de modélisations mal maîtrisées au cœur même du dispositif réglementaire mis en place au milieu des années 2000, précisément pour limiter l'occurrence des crises bancaires et en limiter les effets (Allen, 2021). A l'inverse, pour leurs défenseurs, ces modèles offrent la perspective de mieux mesurer le risque de crédit et donc de permettre aux banques, soit de réduire leurs fonds propres tout en garantissant leur stabilité financière, soit de faciliter l'accès au crédit de segments de particuliers ou d'entreprises pour lesquels les risques sont surestimés par les modélisations traditionnelles. Gageons enfin que certains de ces avis

<footnote n="1">1. La consultation s'est achevée en février 2022 et l'EBA a recueilli 11 retours émanant principalement d'associations professionnelles bancaires, i.e., Asociación Española de Banca (AEB), Assilea- Associazione Italiana Leasing (ASSILEA), Association Européenne des Banques Coopératives (EACB), Groupement Européen des Caisses d'Epargne et des Banques de Détail (ESBG), Fédération Bancaire Française (FBF), et l'association de l'industrie bancaire allemande (GBIC).</footnote>

<footnote n="2">2. Les dispositions des accords de Bâle sont transposées dans le droit de l'Union européenne sous la forme d'un règlement (Capital Requirements Regulation ou CRR) et d'une directive (Capital Requirements Directive ou CRD). A ce jour, les dernières versions de ces textes sont les CRR3/CRD6 visant à transposer les réformes de Bâle III contenu dans l'accord du Comité de Bâle du 7 décembre 2017, portant sur le plancher en fonds propres, le risque de crédit, et le risque opérationnel, ainsi que l'accord de janvier 2019 portant sur le risque de marché.</footnote>
reflètent des intérêts financiers, la perspective d'un développement du ML dans le contexte IRB permettant potentiellement de générer de nouvelles perspectives de croissance pour les différents acteurs chargés de développer et de maintenir ces modèles, tant en interne qu'en externe (cabinets de conseil, prestataires de services informatiques, etc.).

Mais qu'en est-il réellement de l'usage du ML dans le contexte très spécifique des modèles IRB ? Quels sont les limites, les risques et les avantages que l'on peut attendre de l'appli- cation de ces techniques dans ce domaine ? Avant de répondre à ces questions, commençons par mettre en évidence deux paradoxes. Le premier est que, contrairement à ce qui a sou- vent été écrit, en 2021 l'EBA n'a pas « ouvert la porte » à l'utilisation du ML, puisque cette porte était déjà largement ouverte. En effet, dans les textes réglementaires CRD/- CRR qui régissent actuellement le développement et la gouvernance des modèles internes, rien n'empêche a priori l'utilisation de modèles issus d'algorithmes de ML pour l'estima- tion des paramètres de risque de crédit, que ce soit pour la probabilité de défaut (PD), la perte en cas de défaut (LGD), ou le facteur de conversion de crédit (CCF). Aucun article des CRR ne proscrit, par exemple, l'utilisation d'un réseau de neurones, d'une méthode de Bagging ou de Boosting, pour la modélisation des PD. Pourtant dans la pratique, force est de constater que peu de banques utilisent le ML dans le contexte IRB, et quand elles le font, ces techniques sont souvent cantonnées en amont (prétraitement des données et des variables) ou en aval (construction de modèles challengers pour la validation des modèles internes) de la phase centrale de différenciation et de calibration des risques. Cette obser- vation est d'autant plus surprenante que plusieurs rapports montrent que le ML est par ailleurs largement utilisé dans l'industrie bancaire (ACPR, 2018, 2020; EBA, 2020) que ce soit dans le cadre des activités marketing (connaissance des besoins des clients), des activités commerciales et de l'amélioration de la relation client (assistant bancaire, robot-conseiller, etc.), de la prévention de la fraude, de la lutte contre le blanchiment et le financement du terrorisme, de la gestion d'actifs, de la surveillance des risques de marchés, etc. Le ML est également largement utilisé dans la gestion du risque de crédit que ce soit dans le cadre des processus d'octroi et de tarification, dans le suivi des crédits, le recouvrement ou la restruc- turation (IIF, 2019, 2022). Paradoxalement, le ML reste très peu utilisé dans le domaine réglementaire pour le calcul des exigences en capital réglementaire (IRB), tout comme pour la construction des stress tests ou le provisionnement (IFRS 9).

Le second paradoxe est que le document de réflexion de l'EBA a été publié moins d'un mois
reflètent des intérêts financiers, la perspective d'un développement du ML dans le contexte IRB permettant potentiellement de générer de nouvelles perspectives de croissance pour les différents acteurs chargés de développer et de maintenir ces modèles, tant en interne qu'en externe (cabinets de conseil, prestataires de services informatiques, etc.).

Mais qu'en est-il réellement de l'usage du ML dans le contexte très spécifique des modèles IRB ? Quels sont les limites, les risques et les avantages que l'on peut attendre de l'appli- cation de ces techniques dans ce domaine ? Avant de répondre à ces questions, commençons par mettre en évidence deux paradoxes. Le premier est que, contrairement à ce qui a sou- vent été écrit, en 2021 l'EBA n'a pas « ouvert la porte » à l'utilisation du ML, puisque cette porte était déjà largement ouverte. En effet, dans les textes réglementaires CRD/- CRR qui régissent actuellement le développement et la gouvernance des modèles internes, rien n'empêche a priori l'utilisation de modèles issus d'algorithmes de ML pour l'estima- tion des paramètres de risque de crédit, que ce soit pour la probabilité de défaut (PD), la perte en cas de défaut (LGD), ou le facteur de conversion de crédit (CCF). Aucun article des CRR ne proscrit, par exemple, l'utilisation d'un réseau de neurones, d'une méthode de Bagging ou de Boosting, pour la modélisation des PD. Pourtant dans la pratique, force est de constater que peu de banques utilisent le ML dans le contexte IRB, et quand elles le font, ces techniques sont souvent cantonnées en amont (prétraitement des données et des variables) ou en aval (construction de modèles challengers pour la validation des modèles internes) de la phase centrale de différenciation et de calibration des risques. Cette obser- vation est d'autant plus surprenante que plusieurs rapports montrent que le ML est par ailleurs largement utilisé dans l'industrie bancaire (ACPR, 2018, 2020; EBA, 2020) que ce soit dans le cadre des activités marketing (connaissance des besoins des clients), des activités commerciales et de l'amélioration de la relation client (assistant bancaire, robot-conseiller, etc.), de la prévention de la fraude, de la lutte contre le blanchiment et le financement du terrorisme, de la gestion d'actifs, de la surveillance des risques de marchés, etc. Le ML est également largement utilisé dans la gestion du risque de crédit que ce soit dans le cadre des processus d'octroi et de tarification, dans le suivi des crédits, le recouvrement ou la restruc- turation (IIF, 2019, 2022). Paradoxalement, le ML reste très peu utilisé dans le domaine réglementaire pour le calcul des exigences en capital réglementaire (IRB), tout comme pour la construction des stress tests ou le provisionnement (IFRS 9).

Le second paradoxe est que le document de réflexion de l'EBA a été publié moins d'un mois
<figure><img src="image_2.png" /><figcaption>FIGURE 1 – Titres d’articles sur l’usage du ML dans le contexte IRB</figcaption></figure>

(a) Note : Copies d'écran reprenant les titres de différents articles réagissant au document de réflexion de l'EBA sur l'utilisation du ML dans le contexte IRB.

après la publication du paquet bancaire CCR3/CRD6 qui met en œuvre les réformes dites de Bâle III finalisé ou Bâle IV.<fnref n="3" /> Or, ce dernier avait précisément pour objectif de réduire le degré de liberté laissé aux modélisateurs dans le cadre des approches IRB. Le régulateur déplorait en effet une trop forte variabilité entre les banques, des exigences de fonds propres calculées selon les modèles internes. Pour réduire cette variabilité, le Comité de Bâle a adopté une série de réformes parachevant les accords de Bâle III, visant à introduire des mécanismes pour limiter le gain en fonds propres associé à l'utilisation de ces modèles.<fnref n="4" /> Ainsi, le CRR3 introduit par exemple (i) des planchers en capital (*output floor*) de telle sorte que le niveau de fonds propres calculé par les modèles internes ne soit pas inférieur à 72.5% des exigences calculées en approche standard, et (ii) des valeurs planchers (*input floor*) sur les paramètres prudentiels de PD, LGD et CCF qui entrent dans la formule réglementaire pour déterminer les exigences en fonds propres. A première vue, il peut dès lors paraître paradoxal que l'EBA engage une discussion avec les banques sur l'utilisation de techniques de ML, connues pour offrir des modélisations plus flexibles que les modélisations paramétriques usuelles. En effet, cette plus grande flexibilité dans les formes fonctionnelles des modèles pourrait tout à fait

<footnote n="3">3. Le document de réflexion de l'EBA sur l'utilisation du ML dans le contexte IRB a été publié en novembre 2021, tandis que le paquet bancaire CCR3/CRD6 a été publié en octobre 2021.</footnote>

<footnote n="4">4. La réforme CCR3/CRD6 vise également à restreindre l'utilisation des approches fondées sur les modèles internes, avec par exemple la suppression de l'approche basée sur des modèles internes (*Advanced Measurement Approach*) pour le risque opérationnel.</footnote>
<figure><img src="image_2.png" /><figcaption>FIGURE 1 – Titres d’articles sur l’usage du ML dans le contexte IRB</figcaption></figure>

(a) Note : Copies d'écran reprenant les titres de différents articles réagissant au document de réflexion de l'EBA sur l'utilisation du ML dans le contexte IRB.

après la publication du paquet bancaire CCR3/CRD6 qui met en œuvre les réformes dites de Bâle III finalisé ou Bâle IV.<fnref n="3" /> Or, ce dernier avait précisément pour objectif de réduire le degré de liberté laissé aux modélisateurs dans le cadre des approches IRB. Le régulateur déplorait en effet une trop forte variabilité entre les banques, des exigences de fonds propres calculées selon les modèles internes. Pour réduire cette variabilité, le Comité de Bâle a adopté une série de réformes parachevant les accords de Bâle III, visant à introduire des mécanismes pour limiter le gain en fonds propres associé à l'utilisation de ces modèles.<fnref n="4" /> Ainsi, le CRR3 introduit par exemple (i) des planchers en capital (*output floor*) de telle sorte que le niveau de fonds propres calculé par les modèles internes ne soit pas inférieur à 72.5% des exigences calculées en approche standard, et (ii) des valeurs planchers (*input floor*) sur les paramètres prudentiels de PD, LGD et CCF qui entrent dans la formule réglementaire pour déterminer les exigences en fonds propres. A première vue, il peut dès lors paraître paradoxal que l'EBA engage une discussion avec les banques sur l'utilisation de techniques de ML, connues pour offrir des modélisations plus flexibles que les modélisations paramétriques usuelles. En effet, cette plus grande flexibilité dans les formes fonctionnelles des modèles pourrait tout à fait

<footnote n="3">3. Le document de réflexion de l'EBA sur l'utilisation du ML dans le contexte IRB a été publié en novembre 2021, tandis que le paquet bancaire CCR3/CRD6 a été publié en octobre 2021.</footnote>

<footnote n="4">4. La réforme CCR3/CRD6 vise également à restreindre l'utilisation des approches fondées sur les modèles internes, avec par exemple la suppression de l'approche basée sur des modèles internes (*Advanced Measurement Approach*) pour le risque opérationnel.</footnote>
accentuer la variabilité des estimations des paramètres de risque, et in fine des exigences en
fonds propres réglementaires, ce qui serait contraire aux objectifs de l'EBA. Dit autrement,
comment interpréter les deux messages concomitants et potentiellement contradictoires du
superviseur européen prônant « moins » de degrés de liberté dans les modélisations internes,
mais qui dans le même temps laisserait la porte ouverte à « plus » de ML ?

L'objectif de cet article est de proposer une réflexion à la fois académique et pratique sur les enjeux de l'utilisation des méthodes de ML dans le cadre spécifique des modèles internes IRB. Avant toute chose, il convient de définir la notion même d'algorithme ou de modèle de ML, et de discuter de l'usage qu'il pourrait en être fait dans le cadre des modèles internes de risque.<fnref n="5" /> La définition du ML retenue par le régulateur renvoie à l'interprétabilité des modèles : est entendu comme modèle de ML, un modèle peu ou pas interprétable (EBA, 2021). La notion d'interprétabilité fait référence ici à la capacité d'un modèle à être compris par un être humain, c'est-à-dire la capacité à comprendre comment le modèle fonctionne et comment il prend ses décisions. Dans le cadre de la modélisation IRB, un modèle de ML peut être utilisé (i) pour différents paramètres de risque (PD, LGD ou CCF) et (ii) à différentes étapes de leur modélisation, i.e., dans le cadre de la préparation des données, du prétraitement des variables (*feature engineering*), de la sélection des variables retenues par le modèle, ou de la validation du modèle. Toutefois, c'est principalement lorsque les méthodes de ML sont utilisées en tant que modèle primaire de différenciation et de calibration des risques que se pose l'essentiel des enjeux que nous allons discuter par la suite.

Nos résultats et recommandations peuvent être résumés en trois points. Premièrement, la question de l'usage du ML dans le cadre spécifique IRB ne peut pas être dissociée de la question des données à partir desquelles ces algorithmes sont entraînés et utilisés. Dans son document de réflexion, l'EBA évoque l'utilisation de nouvelles données, y compris des données non structurées. Le caractère de nouveauté s'entend ici par opposition aux données usuelles des modèles de scoring bancaire portant sur les données socio-économiques et les historiques de paiement de l'emprunteur, ou les caractéristiques du contrat. Hors périmètre réglementaire, il a été montré que de « nouvelles » sources d'information pouvaient améliorer la différenciation des risques, que ce soit pour les emprunteurs individuels

<footnote n="5">5. Un algorithme de ML est une procédure qui permet d'apprendre à partir de données, tandis qu'un modèle de ML est le résultat de l'application de cet algorithme à un ensemble de données. L'algorithme décrit la manière dont les données sont traitées et transformées afin d'obtenir un modèle prédictif qui sera utilisé en production sur de nouvelles données.</footnote>
accentuer la variabilité des estimations des paramètres de risque, et in fine des exigences en
fonds propres réglementaires, ce qui serait contraire aux objectifs de l'EBA. Dit autrement,
comment interpréter les deux messages concomitants et potentiellement contradictoires du
superviseur européen prônant « moins » de degrés de liberté dans les modélisations internes,
mais qui dans le même temps laisserait la porte ouverte à « plus » de ML ?

L'objectif de cet article est de proposer une réflexion à la fois académique et pratique sur les enjeux de l'utilisation des méthodes de ML dans le cadre spécifique des modèles internes IRB. Avant toute chose, il convient de définir la notion même d'algorithme ou de modèle de ML, et de discuter de l'usage qu'il pourrait en être fait dans le cadre des modèles internes de risque.<fnref n="5" /> La définition du ML retenue par le régulateur renvoie à l'interprétabilité des modèles : est entendu comme modèle de ML, un modèle peu ou pas interprétable (EBA, 2021). La notion d'interprétabilité fait référence ici à la capacité d'un modèle à être compris par un être humain, c'est-à-dire la capacité à comprendre comment le modèle fonctionne et comment il prend ses décisions. Dans le cadre de la modélisation IRB, un modèle de ML peut être utilisé (i) pour différents paramètres de risque (PD, LGD ou CCF) et (ii) à différentes étapes de leur modélisation, i.e., dans le cadre de la préparation des données, du prétraitement des variables (*feature engineering*), de la sélection des variables retenues par le modèle, ou de la validation du modèle. Toutefois, c'est principalement lorsque les méthodes de ML sont utilisées en tant que modèle primaire de différenciation et de calibration des risques que se pose l'essentiel des enjeux que nous allons discuter par la suite.

Nos résultats et recommandations peuvent être résumés en trois points. Premièrement, la question de l'usage du ML dans le cadre spécifique IRB ne peut pas être dissociée de la question des données à partir desquelles ces algorithmes sont entraînés et utilisés. Dans son document de réflexion, l'EBA évoque l'utilisation de nouvelles données, y compris des données non structurées. Le caractère de nouveauté s'entend ici par opposition aux données usuelles des modèles de scoring bancaire portant sur les données socio-économiques et les historiques de paiement de l'emprunteur, ou les caractéristiques du contrat. Hors périmètre réglementaire, il a été montré que de « nouvelles » sources d'information pouvaient améliorer la différenciation des risques, que ce soit pour les emprunteurs individuels

<footnote n="5">5. Un algorithme de ML est une procédure qui permet d'apprendre à partir de données, tandis qu'un modèle de ML est le résultat de l'application de cet algorithme à un ensemble de données. L'algorithme décrit la manière dont les données sont traitées et transformées afin d'obtenir un modèle prédictif qui sera utilisé en production sur de nouvelles données.</footnote>
ou les entreprises, en particulier dans le cadre des processus d'octroi (Hurlin et Pérignon, 2019). La combinaison d'algorithmes de ML et de ces nouvelles données permet en effet de sélectionner de nouveaux prédicteurs du défaut et d'identifier des risques qui auraient été ignorés par les approches traditionnelles. L'usage de ces nouvelles données peut également améliorer l'inclusion financière en permettant, par exemple, de mieux évaluer les risques de sous-populations d'emprunteurs n'ayant pas ou peu d'historique de crédit, e.g., les jeunes emprunteurs ou les entreprises nouvellement créées. Cependant, la transposition de ces résultats, obtenus dans le cadre des procédures d'octroi, au contexte réglementé des modèles IRB, ne va pas de soi, et pose de nombreux problèmes de gouvernance et de mise en œuvre.
Un premier défi réside dans la collecte et la gestion des données requises pour entraîner ces modèles de ML, tout en respectant les contraintes imposées par les CRR. Par exemple, comment garantir de pouvoir disposer d'un historique sur 5 ans conformément aux CRR, alors que ces nouvelles données n'ont généralement pas de profondeur historique ? De plus, les modèles internes constituant le « cœur du réacteur » de l'activité bancaire, les banques sont fortement réticentes à mobiliser des données ou des scores produits par un prestataire externe dans le cadre de leurs modèles de PD, LGD ou CCF. Ainsi, ce débat sur l'usage de nouvelles sources de données couplées au ML, pourrait n'être que théorique, si la question de l'IA n'apparaissait pas comme une priorité stratégique pour les régulateurs bancaires.
L'objectif ici est de permettre aux banques de rester au plus près de la frontière technologique et de ne pas laisser un oligopole technologique se constituer au profit de nouveaux acteurs. La question de l'utilisation du ML dans le contexte IRB touche en effet des enjeux de concurrence bancaire internationale et de barrières à l'entrée pour les nouveaux acteurs que pourraient être les Fintechs ou les Bigtechs. Réguler l'utilisation du ML dans le cadre IRB est alors crucial si l'on souhaite éviter qu'un acteur puisse tirer avantage d'un accès privilégié à des données pour distordre la concurrence bancaire, soit de façon directe en offrant du crédit moins coûteux en fonds propres, soit au travers de l'organisation d'une plateforme de services bancaires (Clerc et al., 2020).

Notre deuxième résultat porte sur les potentiels bénéfices du ML à ensemble d'information inchangé, i.e., sans utilisation de nouvelles données. Que pouvons-nous attendre des modèles de ML dans le contexte IRB lorsque ces modèles sont utilisés en tant que modèles primaires ?
Pour la plupart des praticiens, il est admis que les modèles de ML fournissent des estimations/prévisions plus précises des paramètres de risque que les approches paramétriques
ou les entreprises, en particulier dans le cadre des processus d'octroi (Hurlin et Pérignon, 2019). La combinaison d'algorithmes de ML et de ces nouvelles données permet en effet de sélectionner de nouveaux prédicteurs du défaut et d'identifier des risques qui auraient été ignorés par les approches traditionnelles. L'usage de ces nouvelles données peut également améliorer l'inclusion financière en permettant, par exemple, de mieux évaluer les risques de sous-populations d'emprunteurs n'ayant pas ou peu d'historique de crédit, e.g., les jeunes emprunteurs ou les entreprises nouvellement créées. Cependant, la transposition de ces résultats, obtenus dans le cadre des procédures d'octroi, au contexte réglementé des modèles IRB, ne va pas de soi, et pose de nombreux problèmes de gouvernance et de mise en œuvre.
Un premier défi réside dans la collecte et la gestion des données requises pour entraîner ces modèles de ML, tout en respectant les contraintes imposées par les CRR. Par exemple, comment garantir de pouvoir disposer d'un historique sur 5 ans conformément aux CRR, alors que ces nouvelles données n'ont généralement pas de profondeur historique ? De plus, les modèles internes constituant le « cœur du réacteur » de l'activité bancaire, les banques sont fortement réticentes à mobiliser des données ou des scores produits par un prestataire externe dans le cadre de leurs modèles de PD, LGD ou CCF. Ainsi, ce débat sur l'usage de nouvelles sources de données couplées au ML, pourrait n'être que théorique, si la question de l'IA n'apparaissait pas comme une priorité stratégique pour les régulateurs bancaires.
L'objectif ici est de permettre aux banques de rester au plus près de la frontière technologique et de ne pas laisser un oligopole technologique se constituer au profit de nouveaux acteurs. La question de l'utilisation du ML dans le contexte IRB touche en effet des enjeux de concurrence bancaire internationale et de barrières à l'entrée pour les nouveaux acteurs que pourraient être les Fintechs ou les Bigtechs. Réguler l'utilisation du ML dans le cadre IRB est alors crucial si l'on souhaite éviter qu'un acteur puisse tirer avantage d'un accès privilégié à des données pour distordre la concurrence bancaire, soit de façon directe en offrant du crédit moins coûteux en fonds propres, soit au travers de l'organisation d'une plateforme de services bancaires (Clerc et al., 2020).

Notre deuxième résultat porte sur les potentiels bénéfices du ML à ensemble d'information inchangé, i.e., sans utilisation de nouvelles données. Que pouvons-nous attendre des modèles de ML dans le contexte IRB lorsque ces modèles sont utilisés en tant que modèles primaires ?
Pour la plupart des praticiens, il est admis que les modèles de ML fournissent des estimations/prévisions plus précises des paramètres de risque que les approches paramétriques
usuelles, e.g., la régression logistique.<fnref n="6" /> Pour autant, il convient d'être prudent quant à cette
conclusion. Concernant la modélisation de la PD, la littérature académique montre claire-
ment (i) que seules les méthodes d'ensemble (Bagging et Boosting notamment) permettent
d'améliorer significativement les estimations des paramètres de risque par rapport aux ap-
proches standards (Lessmann et al., 2015), et (ii) que ces gains prédictifs ont tendance à
plafonner très rapidement avec la complexité des modèles. Par exemple, des travaux récents
(Gunnarsson et al., 2021) montrent que dans le cadre du scoring bancaire, l'apprentissage
profond (Deep Learning) n'apporte pas de gain significatif en comparaison des méthodes
d'ensemble jusqu'à présent utilisées. Ce résultat s'explique par le fait que, contrairement à
d'autres applications (par exemple dans le domaine de la santé), l'évaluation de la solvabilité
d'un emprunteur est un problème relativement « simple » dans lequel les non-linéarités et
les interactions entre les facteurs explicatifs sont peu marquées. C'est pourquoi les banques
privilégient les méthodes d'ensemble qui tirent profit d'une réduction de la variance des es-
timations par un mécanisme d'agrégation de prédicteurs individuels (méthodes de Bagging,
e.g., les forêts aléatoires) ou selon une démarche itérative de surpondération des erreurs de
prévision (méthodes de Boosting, e.g., XGBoost). En ce qui concerne la modélisation de
la LGD, la littérature académique montre que le ML peut également améliorer la précision
des estimations (Loterman et al., 2012), à condition toutefois d'être utilisé dans le cadre de
modélisations emboîtées tenant compte des particularités de la distribution des pertes en
cas de défaut. Toutefois, les gains prédictifs issus du ML pour l'estimation de la LGD sont
généralement plus faibles que ceux obtenus pour la PD.

Si la grande flexibilité des modèles de ML leur permet potentiellement d'améliorer la dif-
férenciation des risques et de fournir des estimations plus précises des paramètres Bâlois,
rien ne dit que ces gains prédictifs se transformeront nécessairement en des gains en capi-
tal réglementaire pour les banques. Supposons que, suite à la substitution d'une régression
logistique par un modèle XGBoost en tant que modèle primaire de différenciation des PD,
on observe une amélioration de l'AUC ou de tout autre critère statistique d'évaluation du
modèle. Rien ne garantit en effet que cette amélioration se traduise par une baisse des PD
estimées pour l'ensemble, ou pour une partie, des crédits du portefeuille. L'amélioration de
la capacité prédictive du modèle ne signifie en rien que la régression logistique conduisait
à une surestimation des PD. De plus, on peut imaginer que les PD estimées diminuent

<footnote n="6">6. Au sens strict, les modèles sont utilisés pour fournir des prévisions des paramètres de risque Bâlois, mais la pratique veut que l'on parle plutôt d'estimation des paramètres de risque.</footnote>
usuelles, e.g., la régression logistique. <fnref n="6" /> Pour autant, il convient d'être prudent quant à cette
conclusion. Concernant la modélisation de la PD, la littérature académique montre claire-
ment (i) que seules les méthodes d'ensemble (Bagging et Boosting notamment) permettent
d'améliorer significativement les estimations des paramètres de risque par rapport aux ap-
proches standards (Lessmann et al., 2015), et (ii) que ces gains prédictifs ont tendance à
plafonner très rapidement avec la complexité des modèles. Par exemple, des travaux récents
(Gunnarsson et al., 2021) montrent que dans le cadre du scoring bancaire, l'apprentissage
profond (Deep Learning) n'apporte pas de gain significatif en comparaison des méthodes
d'ensemble jusqu'à présent utilisées. Ce résultat s'explique par le fait que, contrairement à
d'autres applications (par exemple dans le domaine de la santé), l'évaluation de la solvabilité
d'un emprunteur est un problème relativement « simple » dans lequel les non-linéarités et
les interactions entre les facteurs explicatifs sont peu marquées. C'est pourquoi les banques
privilégient les méthodes d'ensemble qui tirent profit d'une réduction de la variance des es-
timations par un mécanisme d'agrégation de prédicteurs individuels (méthodes de Bagging,
e.g., les forêts aléatoires) ou selon une démarche itérative de surpondération des erreurs de
prévision (méthodes de Boosting, e.g., XGBoost). En ce qui concerne la modélisation de
la LGD, la littérature académique montre que le ML peut également améliorer la précision
des estimations (Loterman et al., 2012), à condition toutefois d'être utilisé dans le cadre de
modélisations emboîtées tenant compte des particularités de la distribution des pertes en
cas de défaut. Toutefois, les gains prédictifs issus du ML pour l'estimation de la LGD sont
généralement plus faibles que ceux obtenus pour la PD.

Si la grande flexibilité des modèles de ML leur permet potentiellement d'améliorer la dif-
férenciation des risques et de fournir des estimations plus précises des paramètres Bâlois,
rien ne dit que ces gains prédictifs se transformeront nécessairement en des gains en capi-
tal réglementaire pour les banques. Supposons que, suite à la substitution d'une régression
logistique par un modèle XGBoost en tant que modèle primaire de différenciation des PD,
on observe une amélioration de l'AUC ou de tout autre critère statistique d'évaluation du
modèle. Rien ne garantit en effet que cette amélioration se traduise par une baisse des PD
estimées pour l'ensemble, ou pour une partie, des crédits du portefeuille. L'amélioration de
la capacité prédictive du modèle ne signifie en rien que la régression logistique conduisait
à une surestimation des PD. De plus, on peut imaginer que les PD estimées diminuent

<footnote n="6">6. Au sens strict, les modèles sont utilisés pour fournir des prévisions des paramètres de risque Bâlois, mais la pratique veut que l'on parle plutôt d'estimation des paramètres de risque.</footnote>
pour des crédits ayant de faibles expositions (Exposure At Default ou EAD) ou de faibles
LGD, et augmentent pour les autres. C'est pourquoi, une méthode de ML peut tout à fait
réduire l'AUC d'un modèle de PD ou le R² d'un modèle de LGD, sans pour autant né-
cessairement conduire à une diminution des niveaux d'actifs pondérés par le risque (Risk
Weighted Assets ou RWA). Cette divergence potentielle des critères d'évaluation statistique
et économique est illustrée dans le cas de la LGD par l'étude de Hurlin et al. (2018). Cette
étude montre que les classements de différents modèles alternatifs de LGD qui peuvent être
obtenus sur la base de critères statistiques (MSE, MAE, etc.) sont parfois très différents
de ceux obtenus à partir de fonctions de perte définies en termes de capital réglementaire.
De façon générale, la question des gains en fonds propres est donc beaucoup plus ouverte
que celle des gains en termes de précision d'estimation, car non seulement les approches
de ML doivent être comparées en termes de gain/pertes en capital réglementaire, mais de
plus ces modèles doivent également passer les tests de validation internes et les tests de
validation externes qu'imposent le régulateur. Or, c'est la question centrale qui pourrait
potentiellement convaincre les banques de changer leurs modèles internes pour adopter le
ML. Peu d'études académiques sont disponibles sur le sujet, mais nous montrons que les
premières évaluations empiriques (Alonso et Carbó, 2020; Fraisse et Laporte, 2022) tendent
à confirmer la perspective d'une réduction sensible des fonds propres que pourraient offrir
certains modèles de ML, tout en garantissant de satisfaire les tests de validation usuels.

La troisième recommandation porte sur la question de l'interprétabilité.<fnref n="7" /> Il est évident que
la principale raison de la non-utilisation des modèles de ML dans le contexte réglementaire,
tient à leur complexité qui entraîne des difficultés de compréhension et d'interprétation des
résultats. Cette difficulté pose la question centrale de l'exigence d'interprétabilité des mo-
dèles IRB que ce soit vis-à-vis de la gouvernance interne des banques ou du régulateur,
et de la conformité de ces modèles au regard des CRR. Les modèles de ML peuvent ai-
der à estimer les paramètres de risque avec plus de précision mais cette amélioration de
la précision se fait souvent au prix d'une plus grande complexité, puisque la relation entre
les variables d'entrée et de sortie du modèle est plus difficile à évaluer et à comprendre.
Le compromis entre pouvoir prédictif et complexité / interprétabilité est donc au cœur de
la décision de l'établissement d'utiliser ou non des modèles ML à des fins prudentielles.
Le défi consiste ici à articuler la relation entre les modèles de ML et le jugement humain

<footnote n="7">7. Dans la section 5.1, nous discuterons la différence entre les notions d'interprétabilité et d'explicabilité, mais à ce stade de l'exposé, nous n'évoquerons que la première.</footnote>
pour des crédits ayant de faibles expositions (Exposure At Default ou EAD) ou de faibles
LGD, et augmentent pour les autres. C'est pourquoi, une méthode de ML peut tout à fait
réduire l'AUC d'un modèle de PD ou le R² d'un modèle de LGD, sans pour autant né-
cessairement conduire à une diminution des niveaux d'actifs pondérés par le risque (Risk
Weighted Assets ou RWA). Cette divergence potentielle des critères d'évaluation statistique
et économique est illustrée dans le cas de la LGD par l'étude de Hurlin et al. (2018). Cette
étude montre que les classements de différents modèles alternatifs de LGD qui peuvent être
obtenus sur la base de critères statistiques (MSE, MAE, etc.) sont parfois très différents
de ceux obtenus à partir de fonctions de perte définies en termes de capital réglementaire.
De façon générale, la question des gains en fonds propres est donc beaucoup plus ouverte
que celle des gains en termes de précision d'estimation, car non seulement les approches
de ML doivent être comparées en termes de gain/pertes en capital réglementaire, mais de
plus ces modèles doivent également passer les tests de validation internes et les tests de
validation externes qu'imposent le régulateur. Or, c'est la question centrale qui pourrait
potentiellement convaincre les banques de changer leurs modèles internes pour adopter le
ML. Peu d'études académiques sont disponibles sur le sujet, mais nous montrons que les
premières évaluations empiriques (Alonso et Carbó, 2020; Fraisse et Laporte, 2022) tendent
à confirmer la perspective d'une réduction sensible des fonds propres que pourraient offrir
certains modèles de ML, tout en garantissant de satisfaire les tests de validation usuels.

La troisième recommandation porte sur la question de l'interprétabilité.<fnref n="7" /> Il est évident que
la principale raison de la non-utilisation des modèles de ML dans le contexte réglementaire,
tient à leur complexité qui entraîne des difficultés de compréhension et d'interprétation des
résultats. Cette difficulté pose la question centrale de l'exigence d'interprétabilité des mo-
dèles IRB que ce soit vis-à-vis de la gouvernance interne des banques ou du régulateur,
et de la conformité de ces modèles au regard des CRR. Les modèles de ML peuvent ai-
der à estimer les paramètres de risque avec plus de précision mais cette amélioration de
la précision se fait souvent au prix d'une plus grande complexité, puisque la relation entre
les variables d'entrée et de sortie du modèle est plus difficile à évaluer et à comprendre.
Le compromis entre pouvoir prédictif et complexité / interprétabilité est donc au cœur de
la décision de l'établissement d'utiliser ou non des modèles ML à des fins prudentielles.
Le défi consiste ici à articuler la relation entre les modèles de ML et le jugement humain

<footnote n="7">7. Dans la section 5.1, nous discuterons la différence entre les notions d'interprétabilité et d'explicabilité, mais à ce stade de l'exposé, nous n'évoquerons que la première.</footnote>
concernant la différenciation des risques. Cela pose clairement la question des exigences en matière d'interprétabilité du régulateur. Quelle interprétabilité, pour quels objectifs et quels interlocuteurs ? Ici deux visions s'opposent. La première consiste à utiliser des modèles de ML nativement non-interprétables, e.g., une forêt aléatoire ou un modèle XGBoost, et à mobiliser ex-post des techniques permettant d'interpréter et d'expliquer leurs prévisions. Ces méthodes peuvent être axées sur une explication globale du modèle (PDP, ICE, ACE, etc.) ou sur des explications individuelles construites à l'échelle de chaque crédit (LIME, SHAP, etc.).<fnref n="8" /> Ces explications peuvent être fondées sur une analyse graphique (PDP), une évaluation numérique (LIME), ou une approche théorique (SHAP). C'est cette démarche en deux temps, i.e, ML non-interprétable et méthode d'interprétabilité ex-post, qui est habituellement retenue par les banques et qui est discutée dans le document de réflexion de l'EBA. La difficulté de cette approche est qu'il n'existe pas de méthode universelle d'interprétabilité, chacune de ces méthodes renvoyant à une explication particulière du fonctionnement du modèle (Krishna et al., 2022). Dès lors, chaque explication prise individuellement peut ne pas répondre pleinement aux attentes d'un modélisateur, d'un valideur interne ou d'un superviseur (Bracke et al., 2019). Par ailleurs, ces différentes méthodes peuvent fournir des explications divergentes (Rudin, 2019) et/ou instables, par exemple, dans le cas de portefeuilles de crédits avec peu de défauts observés (Chen et al., 2022).

C'est pourquoi, nous recommandons une approche alternative qui consiste à mobiliser des approches de ML qui soient performantes, tout en étant nativement interprétables. Cette approche suppose de remettre en cause l'existence, par ailleurs largement admise dans l'industrie, d'un arbitrage entre performance prédictive et interprétabilité. Sur le plan théorique, des travaux récents fondés sur la notion d'espace de Rashomon (Semenova et al., 2022), montrent en effet que pour tout problème de classification ou de régression, il existe très probablement un modèle nativement interprétable tout aussi performant que le meilleur modèle de type boîte noire. Toutefois, même si ce résultat théorique est avéré, d'aucuns pourraient penser qu'il est toujours plus facile en pratique de mettre en œuvre un modèle de type boîte noire que de chercher un hypothétique modèle, à la fois performant et interprétable. Cependant, plusieurs exemples montrent que tel n'est pas le cas. Dumitrescu et al. (2022) proposent ainsi une approche hybride d'évaluation du crédit, dite PLTR (Penalised Logistic Tree Regression), qui vise à améliorer les performances prédictives du modèle de régression

<footnote n="8">8. Les acronymes et le principe de ces méthodes seront discutés dans la section 5.1.</footnote>
concernant la différenciation des risques. Cela pose clairement la question des exigences en matière d'interprétabilité du régulateur. Quelle interprétabilité, pour quels objectifs et quels interlocuteurs ? Ici deux visions s'opposent. La première consiste à utiliser des modèles de ML nativement non-interprétables, e.g., une forêt aléatoire ou un modèle XGBoost, et à mobiliser ex-post des techniques permettant d'interpréter et d'expliquer leurs prévisions. Ces méthodes peuvent être axées sur une explication globale du modèle (PDP, ICE, ACE, etc.) ou sur des explications individuelles construites à l'échelle de chaque crédit (LIME, SHAP, etc.).<fnref n="8" /> Ces explications peuvent être fondées sur une analyse graphique (PDP), une évaluation numérique (LIME), ou une approche théorique (SHAP). C'est cette démarche en deux temps, i.e, ML non-interprétable et méthode d'interprétabilité ex-post, qui est habituellement retenue par les banques et qui est discutée dans le document de réflexion de l'EBA. La difficulté de cette approche est qu'il n'existe pas de méthode universelle d'interprétabilité, chacune de ces méthodes renvoyant à une explication particulière du fonctionnement du modèle (Krishna et al., 2022). Dès lors, chaque explication prise individuellement peut ne pas répondre pleinement aux attentes d'un modélisateur, d'un valideur interne ou d'un superviseur (Bracke et al., 2019). Par ailleurs, ces différentes méthodes peuvent fournir des explications divergentes (Rudin, 2019) et/ou instables, par exemple, dans le cas de portefeuilles de crédits avec peu de défauts observés (Chen et al., 2022).

C'est pourquoi, nous recommandons une approche alternative qui consiste à mobiliser des approches de ML qui soient performantes, tout en étant nativement interprétables. Cette approche suppose de remettre en cause l'existence, par ailleurs largement admise dans l'industrie, d'un arbitrage entre performance prédictive et interprétabilité. Sur le plan théorique, des travaux récents fondés sur la notion d'espace de Rashomon (Semenova et al., 2022), montrent en effet que pour tout problème de classification ou de régression, il existe très probablement un modèle nativement interprétable tout aussi performant que le meilleur modèle de type boîte noire. Toutefois, même si ce résultat théorique est avéré, d'aucuns pourraient penser qu'il est toujours plus facile en pratique de mettre en œuvre un modèle de type boîte noire que de chercher un hypothétique modèle, à la fois performant et interprétable. Cependant, plusieurs exemples montrent que tel n'est pas le cas. Dumitrescu et al. (2022) proposent ainsi une approche hybride d'évaluation du crédit, dite PLTR (Penalised Logistic Tree Regression), qui vise à améliorer les performances prédictives du modèle de régression

<footnote n="8">8. Les acronymes et le principe de ces méthodes seront discutés dans la section 5.1.</footnote>
logistique par le biais d'une transformation préalable des variables explicatives fondée sur
des arbres de décision peu profonds. Ce modèle de régression logistique augmenté, tout en
étant parfaitement interprétable, permet d'obtenir des performances prédictives quasiment
équivalentes à une forêt aléatoire. Des travaux récents de Flachaire et al. (2022) proposent
une approche similaire, fondée cette fois-ci sur des modèles additifs généralisés couplés à une
procédure de sélection automatique des variables. Les résultats montrent que ces modèles
nativement interprétables, dits GAM(L)A, offrent des performances prédictives similaires
aux principaux modèles de type boîte noire utilisés par les banques. Dans le même esprit,
un modèle additif généralisé nativement interprétable, proposé par Chen et al. (2018), a
remporté le challenge du ML interprétable organisé par FICO (Fair Isaac Corporation),
le leader américain des scores de crédit, face à des propositions alternatives toutes fondées
sur des modèles non-interprétables. Cette démarche de ML nativement interprétable est ac-
tuellement utilisée par plusieurs banques américaines. <fnref n="9" /> Cette démarche pourrait clairement
constituer une voie de développement du ML dans le contexte IRB. Une des conséquences
de cette évolution vers un ML nativement interprétable, est qu'il convient dès lors de dépla-
cer la discussion sur l'interprétabilité des prévisions du modèle (approche classique du ML
interprétable) vers une discussion portant davantage sur l'interprétabilité de la performance
prédictive des modèles de ML (Hué et al., 2022).

Le simple fait qu’un régulateur adopte un point de vue prudemment positif sur le ML est
une étape très importante qui ouvre de nouveaux défis, au-delà de celui de l’interprétabilité.
Un de ces défis réside dans les risques opérationnels liés à la mise en œuvre des modèles de
ML, comme par exemple ceux liés à la fixation des hyperparamètres. On peut également
évoquer la question des biais de discrimination qui pourraient survenir dans ce type de mo-
dèles. Les modèles de scores de crédit ont ainsi été classifiés parmi les systèmes « à haut
risque » dans le cadre de la proposition européenne de règlement sur l’IA (EC, 2021), ou
Artificial Intelligence Act, et ils seront sans doute soumis à des exigences accrues en termes
de transparence, de supervision et de responsabilité pour les entreprises qui développent ou
utilisent ces systèmes. Dans ce cadre, la question de l’équité algorithmique concerne princi-
palement les processus d’octroi de crédit, mais les modèles internes étant nécessairement liés
aux modèles d’octroi, la question des biais systématiques des modèles IRB doit également

<footnote n="9">⁹. Dans une publication récente (Sudjianto et Zhang, 2021), Agus Sudjianto, directeur des risques pour les crédits aux entreprises de Wells Fargo, présente les principes de conception pour le développement de modèles de ML interprétables à haute performance, tels qu’ils sont mis en œuvre par sa banque dans le cadre des processus d’octroi et de suivi du risque de crédit.</footnote>
logistique par le biais d'une transformation préalable des variables explicatives fondée sur
des arbres de décision peu profonds. Ce modèle de régression logistique augmenté, tout en
étant parfaitement interprétable, permet d'obtenir des performances prédictives quasiment
équivalentes à une forêt aléatoire. Des travaux récents de Flachaire et al. (2022) proposent
une approche similaire, fondée cette fois-ci sur des modèles additifs généralisés couplés à une
procédure de sélection automatique des variables. Les résultats montrent que ces modèles
nativement interprétables, dits GAM(L)A, offrent des performances prédictives similaires
aux principaux modèles de type boîte noire utilisés par les banques. Dans le même esprit,
un modèle additif généralisé nativement interprétable, proposé par Chen et al. (2018), a
remporté le challenge du ML interprétable organisé par FICO (Fair Isaac Corporation),
le leader américain des scores de crédit, face à des propositions alternatives toutes fondées
sur des modèles non-interprétables. Cette démarche de ML nativement interprétable est ac-
tuellement utilisée par plusieurs banques américaines.<fnref n="9" /> Cette démarche pourrait clairement
constituer une voie de développement du ML dans le contexte IRB. Une des conséquences
de cette évolution vers un ML nativement interprétable, est qu'il convient dès lors de dépla-
cer la discussion sur l'interprétabilité des prévisions du modèle (approche classique du ML
interprétable) vers une discussion portant davantage sur l'interprétabilité de la performance
prédictive des modèles de ML (Hué et al., 2022).

Le simple fait qu’un régulateur adopte un point de vue prudemment positif sur le ML est
une étape très importante qui ouvre de nouveaux défis, au-delà de celui de l’interprétabilité.
Un de ces défis réside dans les risques opérationnels liés à la mise en œuvre des modèles de
ML, comme par exemple ceux liés à la fixation des hyperparamètres. On peut également
évoquer la question des biais de discrimination qui pourraient survenir dans ce type de mo-
dèles. Les modèles de scores de crédit ont ainsi été classifiés parmi les systèmes « à haut
risque » dans le cadre de la proposition européenne de règlement sur l’IA (EC, 2021), ou
Artificial Intelligence Act, et ils seront sans doute soumis à des exigences accrues en termes
de transparence, de supervision et de responsabilité pour les entreprises qui développent ou
utilisent ces systèmes. Dans ce cadre, la question de l’équité algorithmique concerne princi-
palement les processus d’octroi de crédit, mais les modèles internes étant nécessairement liés
aux modèles d’octroi, la question des biais systématiques des modèles IRB doit également

<footnote n="9">⁹ Dans une publication récente (Sudjianto et Zhang, 2021), Agus Sudjianto, directeur des risques pour les crédits aux entreprises de Wells Fargo, présente les principes de conception pour le développement de modèles de ML interprétables à haute performance, tels qu’ils sont mis en œuvre par sa banque dans le cadre des processus d’octroi et de suivi du risque de crédit.</footnote>
être abordée. Enfin, l'utilisation des algorithmes de ML soulève la question d'une gouvernance spécifique permettant d'évaluer l'ensemble des risques, de la phase de construction à la phase de mise en œuvre opérationnelle. Ainsi, le questionnement sur l'utilité du ML dans le contexte IRB s'inscrit dans le débat plus général sur l'IA de qualité, les liens entre performance et fiabilité, ou entre transparence et interprétabilité, l'équité et l'absence de parti pris, la responsabilité et sur le respect de la vie privée.

# 2 Quels sont les usages possibles du ML dans le contexte IRB ?

Dans cette section, nous définissons la notion de modèle de ML et nous discutons les usages qui pourraient être faits de ces outils dans le contexte IRB. Nous montrons que ces modèles ne sont actuellement que peu utilisés par les banques pour les aspects réglementaires (IRB, IFRS9, stress-tests réglementaires, etc.), alors même qu'ils sont très largement utilisés dans d'autres contextes non-réglementaires de l'analyse du risque de crédit (octroi, suivi des risques, etc.).

## 2.1 Définition du ML dans le contexte IRB

Le ML se définit de façon générale comme un domaine de l'informatique qui traite du développement de modèles dont les paramètres sont estimés automatiquement à partir de données, avec une intervention humaine limitée ou nulle (EBA, 2020). Le ML regroupe donc l'ensemble des algorithmes qui permettent d'apprendre en identifiant des relations entre des données et de produire des modèles prédictifs de manière autonome (ACPR, 2018). Selon ces définitions générales, adossées aux standards internationaux, la plupart des méthodes statistiques et des modèles économétriques utilisés par les banques relèvent du ML.<fnref n="10" /> Par exemple, la régression logistique peut être assimilée au ML, tout comme les arbres de classification ou de régression, qui a priori ne posent pas de problème en termes d'interprétabilité.

Toutefois, dans le contexte spécifique des modèles IRB, il est convenu de restreindre le terme de ML aux seuls modèles les plus complexes, qui sont les plus difficiles à interpréter et à utiliser à des fins de détermination du capital réglementaire. Ainsi, dans son document de réflexion, l'EBA limite la définition du ML « *aux modèles qui se caractérisent par un*

<footnote n="10">10. La norme ISO relative à la gouvernance des données définit le ML comme « un processus utilisant des algorithmes plutôt qu’un codage procédural qui permet d’apprendre à partir de données existantes afin de prédire les résultats futurs » (Standard on IT governance ISO/IEC 38505-1/2017).</footnote>
être abordée. Enfin, l'utilisation des algorithmes de ML soulève la question d'une gouvernance spécifique permettant d'évaluer l'ensemble des risques, de la phase de construction à la phase de mise en œuvre opérationnelle. Ainsi, le questionnement sur l'utilité du ML dans le contexte IRB s'inscrit dans le débat plus général sur l'IA de qualité, les liens entre performance et fiabilité, ou entre transparence et interprétabilité, l'équité et l'absence de parti pris, la responsabilité et sur le respect de la vie privée.

# 2 Quels sont les usages possibles du ML dans le contexte IRB ?

Dans cette section, nous définissons la notion de modèle de ML et nous discutons les usages qui pourraient être faits de ces outils dans le contexte IRB. Nous montrons que ces modèles ne sont actuellement que peu utilisés par les banques pour les aspects réglementaires (IRB, IFRS9, stress-tests réglementaires, etc.), alors même qu'ils sont très largement utilisés dans d'autres contextes non-réglementaires de l'analyse du risque de crédit (octroi, suivi des risques, etc.).

## 2.1 Définition du ML dans le contexte IRB

Le ML se définit de façon générale comme un domaine de l'informatique qui traite du développement de modèles dont les paramètres sont estimés automatiquement à partir de données, avec une intervention humaine limitée ou nulle (EBA, 2020). Le ML regroupe donc l'ensemble des algorithmes qui permettent d'apprendre en identifiant des relations entre des données et de produire des modèles prédictifs de manière autonome (ACPR, 2018). Selon ces définitions générales, adossées aux standards internationaux, la plupart des méthodes statistiques et des modèles économétriques utilisés par les banques relèvent du ML.<fnref n="10" /> Par exemple, la régression logistique peut être assimilée au ML, tout comme les arbres de classification ou de régression, qui a priori ne posent pas de problème en termes d'interprétabilité.

Toutefois, dans le contexte spécifique des modèles IRB, il est convenu de restreindre le terme de ML aux seuls modèles les plus complexes, qui sont les plus difficiles à interpréter et à utiliser à des fins de détermination du capital réglementaire. Ainsi, dans son document de réflexion, l'EBA limite la définition du ML « *aux modèles qui se caractérisent par un*

<footnote n="10">10. La norme ISO relative à la gouvernance des données définit le ML comme « un processus utilisant des algorithmes plutôt qu’un codage procédural qui permet d’apprendre à partir de données existantes afin de prédire les résultats futurs » (Standard on IT governance ISO/IEC 38505-1/2017).</footnote>
grand nombre de paramètres et qui, par conséquent, nécessitent un grand volume de données (potentiellement non structurées) pour leur estimation et qui sont capables de refléter des relations non linéaires entre les variables » (EBA, 2021). Cette définition recoupe l'ensemble des modèles non interprétables de type boîte noire, e.g., une méthode de Bagging de type forêt aléatoire ou un réseau de neurones multicouche, ainsi que les modèles qui seraient intrinsèquement interprétables, mais trop complexes pour être intelligibles.

La notion de complexité d'un modèle en ML n'est pas univoque et il existe une abondante littérature consacrée à sa mesure. La complexité peut être appréciée selon différentes approches théoriques telles que la théorie de Vapnik-Chervonenkis (Vapnik, 2013) ou de celle du rasoir d'Ockham. Mais si l'on se limite au cas simple d'un arbre de décision, il est reconnu que la complexité peut être mesurée par sa profondeur et le nombre de nœuds terminaux. Ainsi, comme l'illustre la Figure 2, un arbre de décision de faible profondeur ne relèverait pas de la définition du ML dans le contexte IRB au sens de l'EBA, tandis qu'au contraire un arbre très profond avec de nombreuses feuilles terminales relèverait du ML, puisqu'il nécessite l'estimation de nombreux paramètres et qu'il est difficilement compréhensible du fait de la complexité des règles de décision induites. Ainsi, c'est la complexité algorithmique et le manque d'interprétabilité qui définissent la notion de ML dans le contexte spécifique des modèles IRB.

<figure><img src="image_3.png" /><figcaption>FIGURE 2 – Illustration de la notion de complexité : le cas des arbres de décision</figcaption></figure>

De très nombreux algorithmes de ML répondent à ces définitions et il est difficile d'établir une liste exhaustive de ceux effectivement utilisés pour la modélisation du risque de crédit, ne serait-ce que dans les applications hors périmètre réglementaire. Par exemple, Lessmann et al. (2015) recensent pas moins de 41 algorithmes de classification différents utilisés pour
grand nombre de paramètres et qui, par conséquent, nécessitent un grand volume de données (potentiellement non structurées) pour leur estimation et qui sont capables de refléter des relations non linéaires entre les variables » (EBA, 2021). Cette définition recoupe l'ensemble des modèles non interprétables de type boîte noire, e.g., une méthode de Bagging de type forêt aléatoire ou un réseau de neurones multicouche, ainsi que les modèles qui seraient intrinsèquement interprétables, mais trop complexes pour être intelligibles.

La notion de complexité d'un modèle en ML n'est pas univoque et il existe une abondante littérature consacrée à sa mesure. La complexité peut être appréciée selon différentes approches théoriques telles que la théorie de Vapnik-Chervonenkis (Vapnik, 2013) ou de celle du rasoir d'Ockham. Mais si l'on se limite au cas simple d'un arbre de décision, il est reconnu que la complexité peut être mesurée par sa profondeur et le nombre de nœuds terminaux. Ainsi, comme l'illustre la Figure 2, un arbre de décision de faible profondeur ne relèverait pas de la définition du ML dans le contexte IRB au sens de l'EBA, tandis qu'au contraire un arbre très profond avec de nombreuses feuilles terminales relèverait du ML, puisqu'il nécessite l'estimation de nombreux paramètres et qu'il est difficilement compréhensible du fait de la complexité des règles de décision induites. Ainsi, c'est la complexité algorithmique et le manque d'interprétabilité qui définissent la notion de ML dans le contexte spécifique des modèles IRB.

<figure><img src="image_3.png" /><figcaption>FIGURE 2 – Illustration de la notion de complexité : le cas des arbres de décision</figcaption></figure>

De très nombreux algorithmes de ML répondent à ces définitions et il est difficile d'établir une liste exhaustive de ceux effectivement utilisés pour la modélisation du risque de crédit, ne serait-ce que dans les applications hors périmètre réglementaire. Par exemple, Lessmann et al. (2015) recensent pas moins de 41 algorithmes de classification différents utilisés pour
la modélisation de la PD, dans 48 articles académiques publiés entre 2003 et 2015. Dans une étude plus récente, Markov et al. (2022) analysent 110 articles publiés entre 2016 et 2020 pour identifier les algorithmes de ML, les critères d'évaluation, et les méthodes des prétraitement les plus couramment utilisés dans la littérature académique sur le scoring de crédit. Comme le montre la Figure 3, ils montrent que, hormis la régression logistique considérée dans la plupart des publications comme un benchmark, les méthodes de ML les plus utilisées sont les méthodes de Bagging, les machines à vecteurs de support (SVM), les réseaux de neurones (ANN) et les méthodes de Boosting. <fnref n="11" /> Dans le cas de la modélisation de la LGD, les algorithmes les plus utilisés sont les arbres de régression, les forêts aléatoires, les méthodes de Gradient Boosting, les ANN, et les SVR (Loterman et al., 2012; Yao et al., 2017; Hurlin et al., 2018).

<figure><img src="image_4.png" /><figcaption>FIGURE 3 – Les méthodes de ML les plus utilisées dans le scoring de crédit</figcaption></figure>

(a) Note : cette figure indique le nombre de fois où un algorithme de ML a été utilisé dans les 110 articles considérés dans l'étude de Markov et al. (2022), chaque article pouvant utiliser plusieurs algorithmes. Source : Markov et al. (2022).

Au-delà des seules études académiques, il n'existe pas de recension des méthodes de ML effectivement utilisées par les banques pour la modélisation du risque de crédit que ce soit dans un contexte non réglementaire (octroi) ou réglementaire (IRB, IFRS9). Sans prétendre

<footnote n="11">11. Une autre méta-analyse des méthodes de scoring de crédit, portant sur de 74 articles publiés entre 2010 et 2018, a été proposée par Dastile et al. (2020). Cette étude donne des résultats légèrement différents de ceux Markov et al. (2022), puisque les algorithmes les plus utilisés dans l'échantillon sont dans l'ordre, la régression logistique, les SVM, les ANN, les arbres de décision, le Boosting, les forêts aléatoires, puis les autres méthodes de Bagging (AdaBoost, etc.).</footnote>
la modélisation de la PD, dans 48 articles académiques publiés entre 2003 et 2015. Dans une étude plus récente, Markov et al. (2022) analysent 110 articles publiés entre 2016 et 2020 pour identifier les algorithmes de ML, les critères d'évaluation, et les méthodes des prétraitement les plus couramment utilisés dans la littérature académique sur le scoring de crédit. Comme le montre la Figure 3, ils montrent que, hormis la régression logistique considérée dans la plupart des publications comme un benchmark, les méthodes de ML les plus utilisées sont les méthodes de Bagging, les machines à vecteurs de support (SVM), les réseaux de neurones (ANN) et les méthodes de Boosting. <fnref n="11" /> Dans le cas de la modélisation de la LGD, les algorithmes les plus utilisés sont les arbres de régression, les forêts aléatoires, les méthodes de Gradient Boosting, les ANN, et les SVR (Loterman et al., 2012; Yao et al., 2017; Hurlin et al., 2018).

<figure><img src="image_4.png" /><figcaption>FIGURE 3 – Les méthodes de ML les plus utilisées dans le scoring de crédit</figcaption></figure>

(a) Note : cette figure indique le nombre de fois où un algorithme de ML a été utilisé dans les 110 articles considérés dans l'étude de Markov et al. (2022), chaque article pouvant utiliser plusieurs algorithmes. Source : Markov et al. (2022).

Au-delà des seules études académiques, il n'existe pas de recension des méthodes de ML effectivement utilisées par les banques pour la modélisation du risque de crédit que ce soit dans un contexte non réglementaire (octroi) ou réglementaire (IRB, IFRS9). Sans prétendre

<footnote n="11">11. Une autre méta-analyse des méthodes de scoring de crédit, portant sur de 74 articles publiés entre 2010 et 2018, a été proposée par Dastile et al. (2020). Cette étude donne des résultats légèrement différents de ceux Markov et al. (2022), puisque les algorithmes les plus utilisés dans l'échantillon sont dans l'ordre, la régression logistique, les SVM, les ANN, les arbres de décision, le Boosting, les forêts aléatoires, puis les autres méthodes de Bagging (AdaBoost, etc.).</footnote>
à l'exhaustivité, nous pouvons toutefois lister quelques algorithmes de ML utilisés par les banques à partir des réponses qu'ont apportées les principales fédérations bancaires européennes au document de réflexion de l'EBA (cf. Encadré 1).

## Encadré 1 : Les principaux algorithmes de ML utilisés dans le contexte IRB

A la suite de la publication de son document de réflexion sur l'usage du ML dans le contexte IRB (EBA, 2021), l'EBA a lancé une consultation publique sur le sujet. Une des questions posées portait sur la nature des méthodes de ML qui étaient actuellement utilisées, ou que les banques envisageaient d'utiliser, dans le contexte IRB. a En réponse à cette consultation, le comité du secteur bancaire allemand (GBIC) a mentionné l'utilisation de méthodes de clusterisation de type K-means, d'algorithmes de type ANN ou de forêt aléatoire pour la modélisation de la PD, de méthodes des plus proches voisins (k-NN) et de différents modèles de régression pour la LGD, et des arbres de régression pour le CCF. L'association bancaire espagnole (AEB) revient sur la difficulté qu'il y a de lister les algorithmes utilisés par les banques, mais évoque les forêts aléatoires et les méthodes de type *Gradient Boosting Trees* (GBT). L'association italienne des entreprises de leasing (Assilea) évoque l'utilisation de réseaux de neurones pour les modèles d'évaluation sur les risques immobiliers et de méthodes de *Gradient Boosting* pour les autres applications de crédit. Enfin, la fédération bancaire française (FBF) n'évoque succinctement que les seules forêts aléatoires, sans préciser le contexte d'application.

## 2.2 Les applications possibles du ML dans le contexte IRB

Dans le contexte IRB, les algorithmes de ML peuvent être mobilisés tant pour la modélisation de la PD, de la LGD ou du CCF. Si l'on se limite dans un premier temps aux seules applications concernant la PD, le ML peut être utilisé à différents stades de la modélisation, cette dernière pouvant être résumée en trois étapes. La première étape, dite de *différenciation des risques*, consiste à utiliser un modèle pour estimer un score continu exprimé en fonction de facteurs de risque, puis d'en déduire une échelle de risque discrète. Les crédits sont alors regroupés en classes homogènes de risque, garantissant l'homogénéité du risque de défaut à l'intérieur d'une classe et l'hétérogénéité de ce risque entre les classes. La deuxième étape, dite de *quantification des risques*, consiste à affecter à chaque classe de risque homogène, une probabilité de défaut. Généralement, ces probabilités sont estimées par

<footnote>a. La question 1.3. était libellée de la façon suivante : « Veuillez préciser le type de modèles et d'algorithmes de ML (par ex. forêt aléatoire, etc.) que vous utilisez actuellement ou que vous prévoyez d'utiliser dans le contexte de l'IRB ? », (EBA, 2021).</footnote>
à l'exhaustivité, nous pouvons toutefois lister quelques algorithmes de ML utilisés par les banques à partir des réponses qu'ont apportées les principales fédérations bancaires européennes au document de réflexion de l'EBA (cf. Encadré 1).

## Encadré 1 : Les principaux algorithmes de ML utilisés dans le contexte IRB

A la suite de la publication de son document de réflexion sur l'usage du ML dans le contexte IRB (EBA, 2021), l'EBA a lancé une consultation publique sur le sujet. Une des questions posées portait sur la nature des méthodes de ML qui étaient actuellement utilisées, ou que les banques envisageaient d'utiliser, dans le contexte IRB. a En réponse à cette consultation, le comité du secteur bancaire allemand (GBIC) a mentionné l'utilisation de méthodes de clusterisation de type K-means, d'algorithmes de type ANN ou de forêt aléatoire pour la modélisation de la PD, de méthodes des plus proches voisins (k-NN) et de différents modèles de régression pour la LGD, et des arbres de régression pour le CCF. L'association bancaire espagnole (AEB) revient sur la difficulté qu'il y a de lister les algorithmes utilisés par les banques, mais évoque les forêts aléatoires et les méthodes de type *Gradient Boosting Trees* (GBT). L'association italienne des entreprises de leasing (Assilea) évoque l'utilisation de réseaux de neurones pour les modèles d'évaluation sur les risques immobiliers et de méthodes de *Gradient Boosting* pour les autres applications de crédit. Enfin, la fédération bancaire française (FBF) n'évoque succinctement que les seules forêts aléatoires, sans préciser le contexte d'application.

## 2.2 Les applications possibles du ML dans le contexte IRB

Dans le contexte IRB, les algorithmes de ML peuvent être mobilisés tant pour la modélisation de la PD, de la LGD ou du CCF. Si l'on se limite dans un premier temps aux seules applications concernant la PD, le ML peut être utilisé à différents stades de la modélisation, cette dernière pouvant être résumée en trois étapes. La première étape, dite de *différenciation des risques*, consiste à utiliser un modèle pour estimer un score continu exprimé en fonction de facteurs de risque, puis d'en déduire une échelle de risque discrète. Les crédits sont alors regroupés en classes homogènes de risque, garantissant l'homogénéité du risque de défaut à l'intérieur d'une classe et l'hétérogénéité de ce risque entre les classes. La deuxième étape, dite de *quantification des risques*, consiste à affecter à chaque classe de risque homogène, une probabilité de défaut. Généralement, ces probabilités sont estimées par

<footnote>a. La question 1.3. était libellée de la façon suivante : « Veuillez préciser le type de modèles et d'algorithmes de ML (par ex. forêt aléatoire, etc.) que vous utilisez actuellement ou que vous prévoyez d'utiliser dans le contexte de l'IRB ? », (EBA, 2021).</footnote>
la fréquence empirique des défauts observée sur longue période au sein de chaque classe. Ce sont ces probabilités de défaut qui constituent les données clés pour le calcul des exigences de fonds propres. La troisième étape, dite de *validation*, vise à s'assurer de la cohérence et de la stabilité des prévisions de défaut issues du modèle interne. L'EBA distingue différentes applications possibles pour les modèles de ML dans ces différentes phases de la modélisation IRB, comme le résume la Figure 4.

<figure><img src="image_5.png" /><figcaption>FIGURE 4 – Exemples d'utilisations possibles du ML dans les phases de la modélisation IRB</figcaption></figure>

**La préparation des données.** Les algorithmes de ML peuvent être utilisés en amont de la modélisation, dans les phases de prétraitement des données et de feature engineering. Ces phases de traitement préalable à la modélisation ont pour objet d'augmenter la robustesse des modèles (e.g., traitement des valeurs manquantes et des valeurs aberrantes), de faciliter l'interprétation des résultats du modèle (e.g., discrétisation des variables continues), de supprimer les informations redondantes (suppression ou réduction des ensembles de variables fortement corrélées), de présélectionner les variables candidates à la modélisation (analyse des dépendances à la variable cible), et/ou d'augmenter les capacités prédictives des modèles (e.g., regroupement de classes ou optimisation de la construction des classes sur les variables explicatives du modèle). Il est reconnu que ces phases de prétraitement constituent une étape essentielle pour augmenter les capacités prédictives des modèles de scoring bancaire (Verdonck et al., 2021). Concernant la phase de feature engineering, les méthodes les plus couramment utilisées sont généralement des techniques statistiques de transformation des variables univariées (transformation de Box-Cox pour les variables continues, codage par
la fréquence empirique des défauts observée sur longue période au sein de chaque classe. Ce sont ces probabilités de défaut qui constituent les données clés pour le calcul des exigences de fonds propres. La troisième étape, dite de *validation*, vise à s'assurer de la cohérence et de la stabilité des prévisions de défaut issues du modèle interne. L'EBA distingue différentes applications possibles pour les modèles de ML dans ces différentes phases de la modélisation IRB, comme le résume la Figure 4.

<figure><img src="image_5.png" /><figcaption>FIGURE 4 – Exemples d'utilisations possibles du ML dans les phases de la modélisation IRB</figcaption></figure>

**La préparation des données.** Les algorithmes de ML peuvent être utilisés en amont de la modélisation, dans les phases de prétraitement des données et de feature engineering. Ces phases de traitement préalable à la modélisation ont pour objet d'augmenter la robustesse des modèles (e.g., traitement des valeurs manquantes et des valeurs aberrantes), de faciliter l'interprétation des résultats du modèle (e.g., discrétisation des variables continues), de supprimer les informations redondantes (suppression ou réduction des ensembles de variables fortement corrélées), de présélectionner les variables candidates à la modélisation (analyse des dépendances à la variable cible), et/ou d'augmenter les capacités prédictives des modèles (e.g., regroupement de classes ou optimisation de la construction des classes sur les variables explicatives du modèle). Il est reconnu que ces phases de prétraitement constituent une étape essentielle pour augmenter les capacités prédictives des modèles de scoring bancaire (Verdonck et al., 2021). Concernant la phase de feature engineering, les méthodes les plus couramment utilisées sont généralement des techniques statistiques de transformation des variables univariées (transformation de Box-Cox pour les variables continues, codage par
dummy, codage par percentile, transformation des variables catégorielles polytomiques en variables binaires, etc.) ou multivariées (analyse en composante principale, analyse discriminante linéaire, etc.). <fnref n="12" /> Mais de plus en plus de techniques de ML sont également mobilisées dans cette phase de prétraitement des données (Dastile et al., 2020). On peut citer ici par exemple les auto-encodeurs, i.e., un type de réseau neuronal à trois couches permettant de réduire la dimension de l'ensemble de représentation des données. On peut également mentionner les techniques de ML utilisées pour l'imputation des valeurs manquantes, comme les méthodes d'imputation itérative par réseau Bayésien (BNII), ou les méthodes de Bagging de type XGBoost et CatBoost (Markov et al., 2022). Dans de nombreuses banques, des arbres de régression ou de classification sont également utilisés pour discrétiser ou regrouper les variables explicatives des modèles internes (Dumitrescu et al., 2022).

**La sélection des variables.** Un des principaux atouts des algorithmes de ML résident dans leur capacité à sélectionner les variables explicatives pertinentes et leurs combinaisons dans un grand ensemble de données. C'est l'une des principales différences avec les approches économétriques classiques pour lesquelles la spécification du modèle repose sur un raisonnement économique préalable et des tests statistiques (Mullainathan et Spiess, 2017; Charpentier et al., 2018). A l'inverse, les algorithmes de ML permettent de construire automatiquement un modèle prédictif à partir des données, sans procédure d'inférence a priori, en sélectionnant et combinant les variables explicatives. A titre d'exemple, l'algorithme CART (Classification And Regression Tree) de Breiman et al. (1984) permet de construire un arbre de classification permettant de partitionner les individus de l'échantillon d'apprentissage en groupes d'individus homogènes du point de vue de la variable cible au sens d'une mesure d'impureté (entropie de Shannon, indice d'impureté de Gini, etc.). Pour ce faire, l'algorithme sélectionne automatiquement les prédicteurs et les seuils associés à chaque noeud de décision. Au final, c'est donc l'algorithme qui détermine, sans intervention humaine, quelles seront les variables qui seront incluses dans le modèle prédictif et qui estime les paramètres de seuil associés à chaque noeud. En cela, les algorithmes de ML s'apparentent aux méthodes de sélection automatique des variables explicatives (stepwise, backward, autometrics, etc.) qui existent pour les modèles économétriques. Mais les algorithmes de ML permettent de gérer un très grand nombre de variables et surtout, permettent également de créer automatiquement de nouvelles variables par transformation des variables initiales. De façon générale, l'utilisation

<footnote n="12">12. Voir Dastile et al. (2020) pour une recension des différentes méthodes de feature engineering utilisées dans la littérature académique consacrée aux modèles de score de crédit.</footnote>
dummy, codage par percentile, transformation des variables catégorielles polytomiques en variables binaires, etc.) ou multivariées (analyse en composante principale, analyse discriminante linéaire, etc.). <fnref n="12" /> Mais de plus en plus de techniques de ML sont également mobilisées dans cette phase de prétraitement des données (Dastile et al., 2020). On peut citer ici par exemple les auto-encodeurs, i.e., un type de réseau neuronal à trois couches permettant de réduire la dimension de l'ensemble de représentation des données. On peut également mentionner les techniques de ML utilisées pour l'imputation des valeurs manquantes, comme les méthodes d'imputation itérative par réseau Bayésien (BNII), ou les méthodes de Bagging de type XGBoost et CatBoost (Markov et al., 2022). Dans de nombreuses banques, des arbres de régression ou de classification sont également utilisés pour discrétiser ou regrouper les variables explicatives des modèles internes (Dumitrescu et al., 2022).

**La sélection des variables.** Un des principaux atouts des algorithmes de ML résident dans leur capacité à sélectionner les variables explicatives pertinentes et leurs combinaisons dans un grand ensemble de données. C'est l'une des principales différences avec les approches éco-nométriques classiques pour lesquelles la spécification du modèle repose sur un raisonnement économique préalable et des tests statistiques (Mullainathan et Spiess, 2017; Charpentier et al., 2018). A l'inverse, les algorithmes de ML permettent de construire automatiquement un modèle prédictif à partir des données, sans procédure d'inférence a priori, en sélectionnant et combinant les variables explicatives. A titre d'exemple, l'algorithme CART (Classification And Regression Tree) de Breiman et al. (1984) permet de construire un arbre de classification permettant de partitionner les individus de l'échantillon d'apprentissage en groupes d'individus homogènes du point de vue de la variable cible au sens d'une mesure d'impureté (entropie de Shannon, indice d'impureté de Gini, etc.). Pour ce faire, l'algorithme sélectionne automatiquement les prédicteurs et les seuils associés à chaque noeud de décision. Au final, c'est donc l'algorithme qui détermine, sans intervention humaine, quelles seront les variables qui seront incluses dans le modèle prédictif et qui estime les paramètres de seuil associés à chaque noeud. En cela, les algorithmes de ML s'apparentent aux méthodes de sélection automatique des variables explicatives (stepwise, backward, autometrics, etc.) qui existent pour les modèles économétriques. Mais les algorithmes de ML permettent de gérer un très grand nombre de variables et surtout, permettent également de créer automatiquement de nouvelles variables par transformation des variables initiales. De façon générale, l'utilisation

<footnote n="12">12. Voir Dastile et al. (2020) pour une recension des différentes méthodes de feature engineering utilisées dans la littérature académique consacrée aux modèles de score de crédit.</footnote>
du ML dans la phase de sélection des variables peut se faire de façon concomitante à la mo-
délisation (e.g., lorsqu’un algorithme de ML est utilisé pour la différenciation des risques) ou
dans une démarche de présélection de variables candidates visant à réduire la dimension du
problème de classification ou de régression. Dans ce dernier cas, la sélection se fait souvent
au travers de méthodes de régressions pénalisées, par exemple, de type Lasso (Tibshirani,
1996) ou Adaptative Lasso (Zou, 2006).

**La différenciation des risques.** L'EBA distingue clairement le degré d'attention qui doit être consacré aux méthodes de ML suivant les types d'applications qui en sont faits dans le contexte IRB. Il est évident qu'une moindre attention est requise lorsque les modèles ML sont utilisés en amont ou en aval de la différenciation des risques. Les enjeux les plus importants apparaissent lorsque le ML est employé en tant que modèle primaire pour (i) construire un score continu en fonction de facteurs de risque et/ou (ii) regrouper les crédits suivant ces scores afin d'identifier les classes de risque homogène sur lesquels seront calibrées les PD. C'est sur ce champ d'application crucial que constitue la différenciation des risques, que nous focaliserons la suite de notre analyse.

**La quantification des risques.** Les méthodes de ML ne sont généralement pas utilisées pour calibrer les paramètres de risque au sein des classes de risque, puisque cette calibration se fait sur la base de fréquences de défaut observées sur longue période pour le cas de la PD, ou de moyenne de long-terme des taux de perte pour la LGD. La quantification des risques ne nécessite donc généralement pas de modèle prédictif. Toutefois, l'EBA évoque ici des applications potentielles du ML qui pourrait être utilisé pour réaliser des mises à niveau ou des déclassements de note de PD sur la base, par exemple, de données textuelles préalablement traitées par des techniques de traitement automatique du langage (NLP).

**La validation de modèle.** Une des utilisations les plus courantes du ML dans le contexte IRB (avec la phase de préparation des données) consiste à l'utiliser dans la phase de validation du modèle de différenciation des risques. Concrètement, cela revient souvent à développer des modèles de ML dits « challengers », qui servent à évaluer les estimations des paramètres de risque, ou plus directement les RWA et les exigences en fonds propres réglementaires, fournies par les modèles internes en production. Puisque ces modèles challengers ne sont pas utilisés directement pour le calcul des exigences en fonds propres réglementaires, ils échappent aux contraintes imposées par les CRR. Il s'agit ainsi de l'application du ML la plus facile à mettre en œuvre dans le cadre IRB, notamment en termes de gouvernance
du ML dans la phase de sélection des variables peut se faire de façon concomitante à la mo-
délisation (e.g., lorsqu’un algorithme de ML est utilisé pour la différenciation des risques) ou
dans une démarche de présélection de variables candidates visant à réduire la dimension du
problème de classification ou de régression. Dans ce dernier cas, la sélection se fait souvent
au travers de méthodes de régressions pénalisées, par exemple, de type Lasso (Tibshirani,
1996) ou Adaptative Lasso (Zou, 2006).

**La différenciation des risques.** L'EBA distingue clairement le degré d'attention qui doit être consacré aux méthodes de ML suivant les types d'applications qui en sont faits dans le contexte IRB. Il est évident qu'une moindre attention est requise lorsque les modèles ML sont utilisés en amont ou en aval de la différenciation des risques. Les enjeux les plus importants apparaissent lorsque le ML est employé en tant que modèle primaire pour (i) construire un score continu en fonction de facteurs de risque et/ou (ii) regrouper les crédits suivant ces scores afin d'identifier les classes de risque homogène sur lesquels seront calibrées les PD. C'est sur ce champ d'application crucial que constitue la différenciation des risques, que nous focaliserons la suite de notre analyse.

**La quantification des risques.** Les méthodes de ML ne sont généralement pas utilisées pour calibrer les paramètres de risque au sein des classes de risque, puisque cette calibration se fait sur la base de fréquences de défaut observées sur longue période pour le cas de la PD, ou de moyenne de long-terme des taux de perte pour la LGD. La quantification des risques ne nécessite donc généralement pas de modèle prédictif. Toutefois, l'EBA évoque ici des applications potentielles du ML qui pourrait être utilisé pour réaliser des mises à niveau ou des déclassements de note de PD sur la base, par exemple, de données textuelles préalablement traitées par des techniques de traitement automatique du langage (NLP).

**La validation de modèle.** Une des utilisations les plus courantes du ML dans le contexte IRB (avec la phase de préparation des données) consiste à l'utiliser dans la phase de validation du modèle de différenciation des risques. Concrètement, cela revient souvent à développer des modèles de ML dits « challengers », qui servent à évaluer les estimations des paramètres de risque, ou plus directement les RWA et les exigences en fonds propres réglementaires, fournies par les modèles internes en production. Puisque ces modèles challengers ne sont pas utilisés directement pour le calcul des exigences en fonds propres réglementaires, ils échappent aux contraintes imposées par les CRR. Il s'agit ainsi de l'application du ML la plus facile à mettre en œuvre dans le cadre IRB, notamment en termes de gouvernance
## Encadré 2 : Les usages du ML dans les différentes phases de la modélisation IRB

Les usages potentiels du ML dans le contexte IRB reportés par les associations bancaires européennes sont assez variés. a L'association bancaire espagnole (AEB) mentionne qu'il existe des possibilités d'utiliser le ML dans la sélection des facteurs de risque, l'imputation des variables manquantes, la combinaison et la transformation des variables, le contrôle de la qualité des données, la construction de modèles challengeurs. La fédération bancaire française (FBF) indique que les modèles ML sont principalement utilisés pour la sélection des variables, la différenciation des risques et la construction de modèles challenger. L'association bancaire allemande (GBIC) distingue les utilisations du ML pour la modélisation de la PD (buckteting) de celles pour la LGD, où ces techniques sont principalement utilisées dans la phase de différenciation des risques. L'association évoque également l'imputation des valeurs manquantes et la détection d'anomalies dans les données, e.g., la détection de biais systématiques. L'association italienne des entreprises de leasing (ASSILEA) mentionne l'utilisation du ML dans le calcul des paramètres de LGD, au travers notamment de l'évaluation du collatéral.

On retrouve ces différents usages potentiels du ML dans les réponses faites par les principales associations professionnelles bancaires européennes à l'EBA (cf. Encadré 2), sans pour autant qu'il se dégage de norme en la matière. Cette absence de consensus sur les usages tient sans doute au fait que, pour la plupart des banques, l'usage du ML dans le contexte IRB reste encore à l'état de projet.

## 2.3 Le ML est-il utilisé dans le contexte IRB ?

La question est de savoir si les techniques de ML sont effectivement utilisées par les banques dans l'une ou l'autre des phases de la modélisation IRB. Malheureusement, il existe peu d'études à ce sujet. Toutefois, l'Institute of International Finance (IIF) a récemment mené deux enquêtes sur l'utilisation du ML dans l'industrie du risque de crédit (IIF, 2019, 2022), qui permettent de dresser un premier constat de ces usages.<fnref n="13" /> De ces deux études, il ressort

<footnote>a. La question 1.2 est libellée de la façon suivante : « Pouvez-vous préciser à quelles fins spécifiques les modèles ML sont utilisés ou envisagés ? Veuillez préciser à quel stade du processus d'estimation ils sont utilisés, c'est-à-dire préparation des données, différenciation des risques, quantification des risques, validation » (EBA, 2021).</footnote>

<footnote n="13">13. La première enquête (IIF, 2019) interroge les représentants de 60 banques internationales sur leur utilisation du ML pour l'analyse du risque de crédit entre 2018 et 2019. L'échantillon regroupe 10 banques américaines, 4 du Canada, 14 de la zone euro, 7 du reste de l'Europe, et 9 dont les sièges sont en Asie. La seconde enquête (IIF, 2022), menée sur un échantillon de 43 banques internationales entre janvier et septembre 2022, porte sur les usages du ML à la fois pour le risque de crédit et pour la lutte contre</footnote>
## Encadré 2 : Les usages du ML dans les différentes phases de la modélisation IRB

Les usages potentiels du ML dans le contexte IRB reportés par les associations bancaires européennes sont assez variés. a L'association bancaire espagnole (AEB) mentionne qu'il existe des possibilités d'utiliser le ML dans la sélection des facteurs de risque, l'imputation des variables manquantes, la combinaison et la transformation des variables, le contrôle de la qualité des données, la construction de modèles challengeurs. La fédération bancaire française (FBF) indique que les modèles ML sont principalement utilisés pour la sélection des variables, la différenciation des risques et la construction de modèles challenger. L'association bancaire allemande (GBIC) distingue les utilisations du ML pour la modélisation de la PD (buckteting) de celles pour la LGD, où ces techniques sont principalement utilisées dans la phase de différenciation des risques. L'association évoque également l'imputation des valeurs manquantes et la détection d'anomalies dans les données, e.g., la détection de biais systématiques. L'association italienne des entreprises de leasing (ASSILEA) mentionne l'utilisation du ML dans le calcul des paramètres de LGD, au travers notamment de l'évaluation du collatéral.

On retrouve ces différents usages potentiels du ML dans les réponses faites par les principales associations professionnelles bancaires européennes à l'EBA (cf. Encadré 2), sans pour autant qu'il se dégage de norme en la matière. Cette absence de consensus sur les usages tient sans doute au fait que, pour la plupart des banques, l'usage du ML dans le contexte IRB reste encore à l'état de projet.

## 2.3 Le ML est-il utilisé dans le contexte IRB ?

La question est de savoir si les techniques de ML sont effectivement utilisées par les banques dans l'une ou l'autre des phases de la modélisation IRB. Malheureusement, il existe peu d'études à ce sujet. Toutefois, l'Institute of International Finance (IIF) a récemment mené deux enquêtes sur l'utilisation du ML dans l'industrie du risque de crédit (IIF, 2019, 2022), qui permettent de dresser un premier constat de ces usages.<fnref n="13" /> De ces deux études, il ressort

<footnote>a. La question 1.2 est libellée de la façon suivante : « Pouvez-vous préciser à quelles fins spécifiques les modèles ML sont utilisés ou envisagés ? Veuillez préciser à quel stade du processus d'estimation ils sont utilisés, c'est-à-dire préparation des données, différenciation des risques, quantification des risques, validation » (EBA, 2021).</footnote>

<footnote n="13">13. La première enquête (IIF, 2019) interroge les représentants de 60 banques internationales sur leur utilisation du ML pour l'analyse du risque de crédit entre 2018 et 2019. L'échantillon regroupe 10 banques américaines, 4 du Canada, 14 de la zone euro, 7 du reste de l'Europe, et 9 dont les sièges sont en Asie. La seconde enquête (IIF, 2022), menée sur un échantillon de 43 banques internationales entre janvier et septembre 2022, porte sur les usages du ML à la fois pour le risque de crédit et pour la lutte contre</footnote>
un paradoxe apparent : le ML est aujourd'hui largement utilisé par les banques internationales dans la gestion de leur risque de crédit hors périmètre réglementaire (octroi, suivi des risques, recouvrement), mais le ML reste, au contraire, très peu utilisé dans le contexte réglementaire (IRB, IFRS9, stress tests).

**Utilisation du ML dans la gestion du risque de crédit.** L'enquête IIF (2022) montre en effet que 52% des banques de l'échantillon utilisent en *production* des modèles de ML pour la gestion du risque de crédit et que 25% des institutions expérimentent actuellement l'usage de ces techniques, comme le montre la Figure 5. Seules 9% des banques interrogées n'utilisent pas le ML et n'envisagent pas de le faire. Le taux de pénétration est encore plus fort dans la zone euro et aux États-Unis, puisque toutes les banques de l'échantillon utilisent actuellement en production des modèles de ce type pour la gestion du risque de crédit.

<figure><img src="image_6.png" /><figcaption>FIGURE 5 – Utilisation du ML pour la gestion du risque de crédit</figcaption></figure>

(a) Note : Dans l'enquête de l'IIF, la question posée était libellée de la façon suivante « Utilisez-vous des techniques de ML dans vos analyses liées au risque de crédit ? », Source : IIF (2022).

<footnote>le blanchiment des capitaux (AML). L'échantillon regroupe 8 banques de la zone euro, 7 d'autres pays d'Europe, 3 d'Amérique latine, 4 des États-Unis, 2 du Canada, 4 du Japon, 3 de Chine et 5 dont les sièges se situent au Moyen orient ou en Afrique.</footnote>
un paradoxe apparent : le ML est aujourd'hui largement utilisé par les banques internationales dans la gestion de leur risque de crédit hors périmètre réglementaire (octroi, suivi des risques, recouvrement), mais le ML reste, au contraire, très peu utilisé dans le contexte réglementaire (IRB, IFRS9, stress tests).

**Utilisation du ML dans la gestion du risque de crédit.** L'enquête IIF (2022) montre en effet que 52% des banques de l'échantillon utilisent en *production* des modèles de ML pour la gestion du risque de crédit et que 25% des institutions expérimentent actuellement l'usage de ces techniques, comme le montre la Figure 5. Seules 9% des banques interrogées n'utilisent pas le ML et n'envisagent pas de le faire. Le taux de pénétration est encore plus fort dans la zone euro et aux États-Unis, puisque toutes les banques de l'échantillon utilisent actuellement en production des modèles de ce type pour la gestion du risque de crédit.

<figure><img src="image_6.png" /><figcaption>FIGURE 5 – Utilisation du ML pour la gestion du risque de crédit</figcaption></figure>

(a) Note : Dans l'enquête de l'IIF, la question posée était libellée de la façon suivante « Utilisez-vous des techniques de ML dans vos analyses liées au risque de crédit ? », Source : IIF (2022).

<footnote>le blanchiment des capitaux (AML). L'échantillon regroupe 8 banques de la zone euro, 7 d'autres pays d'Europe, 3 d'Amérique latine, 4 des États-Unis, 2 du Canada, 4 du Japon, 3 de Chine et 5 dont les sièges se situent au Moyen orient ou en Afrique.</footnote>
Les enquêtes de l'IIF montrent également que la plupart des banques qui utilisent le ML
le font déjà depuis longtemps et dans plusieurs fonctions du processus de risque de crédit,
i.e., le nettoyage des données, la sélection des variables, l'exploration et la segmentation
des données, le développement de modèles et la validation des modèles. Enfin, le ML est
utilisé pour tous les types de portefeuilles comme le montre la Figure 6, même si c'est
principalement dans le cadre de l'activité de crédit aux particuliers (retail) que l'on trouve
le plus fort taux d'utilisation.

<figure><img src="image_7.png" /><figcaption>FIGURE 6 – Les types de portefeuilles concernés par l'usage du ML</figcaption></figure>

(a) Source : IIF (2019)

**Utilisation du ML dans le contexte IRB.** Alors que les banques utilisent largement
le ML pour la gestion du risque avec une expertise avérée, ces techniques restent encore
très peu utilisées dans le domaine IRB. Comme le montre la Figure 7, seulement 10% des
banques interrogées déclarent utiliser le ML en production, à un stade ou un autre de leur
modélisation IRB (IIF, 2019). Pire, l'utilisation du ML est même en recul, puisque ce taux
atteignait 15% en 2018. Si l'on ajoute les banques déclarant envisager d'utiliser le ML pour
le calcul des RWA, les taux passent respectivement à 15% en 2019 contre 23% en 2018. Ces
taux d'utilisation du ML sont à rapprocher de ceux déclarés par les banques en 2019 pour
leurs modèles d'octroi (75%), leurs modèles de suivi des risques (60%), et pour les modèles
de restructuration et de recouvrement (26%). Par ailleurs, pour ces trois types de modèles
non-réglementaires, on observe une tendance à l'augmentation de l'utilisation du ML par
les banques entre 2018 et 2019. Il est intéressant de noter que la faible utilisation du ML
pour les modèles internes IRB, se retrouve plus généralement dans toutes les applications
qui touchent aux aspects réglementaires, comme par exemple les stress tests (10% de taux
Les enquêtes de l'IIF montrent également que la plupart des banques qui utilisent le ML
le font déjà depuis longtemps et dans plusieurs fonctions du processus de risque de crédit,
i.e., le nettoyage des données, la sélection des variables, l'exploration et la segmentation
des données, le développement de modèles et la validation des modèles. Enfin, le ML est
utilisé pour tous les types de portefeuilles comme le montre la Figure 6, même si c'est
principalement dans le cadre de l'activité de crédit aux particuliers (retail) que l'on trouve
le plus fort taux d'utilisation.

<figure><img src="image_7.png" /><figcaption>FIGURE 6 – Les types de portefeuilles concernés par l'usage du ML</figcaption></figure>

(a) Source : IIF (2019)

**Utilisation du ML dans le contexte IRB.** Alors que les banques utilisent largement
le ML pour la gestion du risque avec une expertise avérée, ces techniques restent encore
très peu utilisées dans le domaine IRB. Comme le montre la Figure 7, seulement 10% des
banques interrogées déclarent utiliser le ML en production, à un stade ou un autre de leur
modélisation IRB (IIF, 2019). Pire, l'utilisation du ML est même en recul, puisque ce taux
atteignait 15% en 2018. Si l'on ajoute les banques déclarant envisager d'utiliser le ML pour
le calcul des RWA, les taux passent respectivement à 15% en 2019 contre 23% en 2018. Ces
taux d'utilisation du ML sont à rapprocher de ceux déclarés par les banques en 2019 pour
leurs modèles d'octroi (75%), leurs modèles de suivi des risques (60%), et pour les modèles
de restructuration et de recouvrement (26%). Par ailleurs, pour ces trois types de modèles
non-réglementaires, on observe une tendance à l'augmentation de l'utilisation du ML par
les banques entre 2018 et 2019. Il est intéressant de noter que la faible utilisation du ML
pour les modèles internes IRB, se retrouve plus généralement dans toutes les applications
qui touchent aux aspects réglementaires, comme par exemple les stress tests (10% de taux
d'utilisation effectif ou envisagé) ou le provisionnement (8% de taux d'utilisation effectif ou
envisagé).

<figure><img src="image_8.png" /><figcaption>FIGURE 7 – Les usages du ML dans la gestion du risque de crédit</figcaption></figure>

Il est évident que les banques ont aujourd'hui suffisamment de connaissances et d'expé-
rience pour développer des modèles de ML dans le contexte IRB, et plus généralement dans
toutes les applications réglementaires. Elles utilisent déjà largement cette technologie dans
d'autres domaines qui ne nécessitent pas l'approbation du régulateur (ACPR, 2018). Dès
lors, comme l'indiquent les réponses des associations professionnelles bancaires à la consul-
tation de l'EBA (cf. Encadré 3), c'est principalement la question de l'acceptabilité par le
régulateur de ces modèles, notamment en lien avec la question de l'interprétabilité, qui
semble limiter leur usage. Sachant que le développement des modèles IRB est un processus
qui demande beaucoup de temps et de ressources, les banques semblent attendre de disposer
de critères clairs sur le processus d'approbation de ces modèles en lien avec les exigences
réglementaires.
d'utilisation effectif ou envisagé) ou le provisionnement (8% de taux d'utilisation effectif ou
envisagé).

<figure><img src="image_8.png" /><figcaption>FIGURE 7 – Les usages du ML dans la gestion du risque de crédit</figcaption></figure>

Il est évident que les banques ont aujourd'hui suffisamment de connaissances et d'expé-
rience pour développer des modèles de ML dans le contexte IRB, et plus généralement dans
toutes les applications réglementaires. Elles utilisent déjà largement cette technologie dans
d'autres domaines qui ne nécessitent pas l'approbation du régulateur (ACPR, 2018). Dès
lors, comme l'indiquent les réponses des associations professionnelles bancaires à la consul-
tation de l'EBA (cf. Encadré 3), c'est principalement la question de l'acceptabilité par le
régulateur de ces modèles, notamment en lien avec la question de l'interprétabilité, qui
semble limiter leur usage. Sachant que le développement des modèles IRB est un processus
qui demande beaucoup de temps et de ressources, les banques semblent attendre de disposer
de critères clairs sur le processus d'approbation de ces modèles en lien avec les exigences
réglementaires.
Dans le cadre la consultation menée par l'EBA, plusieurs questions portaient sur l'utilisation effective des méthodes de ML dans le contexte IRB. a Les réponses apportées par les associations professionnelles bancaires européennes confirment les résultats des enquêtes de l'IIF. La fédération bancaire française (FBF) et l'association bancaire espagnole (AEB) confirment qu'à l'heure actuelle, leurs membres n'utilisent pas le ML dans la phase de différenciation des risques en IRB. Les raisons avancées tiennent principalement à l'incertitude quant à l'acceptabilité de la part du régulateur, ainsi qu'aux difficultés d'interprétation et de mise en œuvre de ces techniques. La FBF mentionne que le ML est toutefois utilisé par certaines banques pour l'estimation de la LGD, typiquement au travers de forêts aléatoires, et pour la validation des modèles. L'AEB mentionne également le fait que certaines entités financières ont présenté à l'autorité de surveillance des modèles de ML dans des applications d'IRB, et que ces applications sont actuellement en cours de validation. L'association bancaire alémande (GBIC) constate, elle aussi, que les modèles de ML sont très peu utilisés dans le contexte IRB. Pour elle, une des raisons tient au fait que les portefeuilles sont très homogènes et que le pouvoir prédictif de la probabilité de défaut basé sur des méthodes de régression usuelles (e.g., analyse discriminante, régression logistique) est déjà excellent.

## 3 Quelles données pour les modèles de ML en IRB ?

Par essence, le ML ne peut pas être dissocié des données sur lesquelles les modèles sont entraînés (échantillon d'apprentissage) et évalués (échantillon de test), puisque ce sont ces données à partir desquelles les algorithmes détermineront en fine, la forme fonctionnelle du modèle. Ainsi, lorsque l'on discute de l'apport du ML dans le cadre des modèles internes, il est important de dissocier ce qui relève des techniques de ML en tant que telles, de l'apport de « nouvelles » données qui pourraient être rendues exploitables par ces techniques. Dans son document de réflexion, l'EBA évoque ainsi l'utilisation de données non structurées. Dans cette section, nous discutons quelles pourraient être ces données, leur apport potentiel, ainsi que les enjeux en termes de gouvernance et de concurrence bancaire qui leur sont associés.

<footnote>a. Les intitulés des questions étaient les suivants : (1) Utilisez-vous actuellement ou prévoyez-vous d'utiliser des modèles de ML dans le contexte de l'IRB dans votre institution ?, (1.1) Pour l'estimation de quels paramètres votre établissement utilise-t-il actuellement ou prévoit-il d'utiliser des modèles ML, c'est-à-dire PD, LGD, ELBE, EAD, CCF ?</footnote>
Dans le cadre la consultation menée par l'EBA, plusieurs questions portaient sur l'utilisation effective des méthodes de ML dans le contexte IRB. a Les réponses apportées par les associations professionnelles bancaires européennes confirment les résultats des enquêtes de l'IIF. La fédération bancaire française (FBF) et l'association bancaire espagnole (AEB) confirment qu'à l'heure actuelle, leurs membres n'utilisent pas le ML dans la phase de différenciation des risques en IRB. Les raisons avancées tiennent principalement à l'incertitude quant à l'acceptabilité de la part du régulateur, ainsi qu'aux difficultés d'interprétation et de mise en œuvre de ces techniques. La FBF mentionne que le ML est toutefois utilisé par certaines banques pour l'estimation de la LGD, typiquement au travers de forêts aléatoires, et pour la validation des modèles. L'AEB mentionne également le fait que certaines entités financières ont présenté à l'autorité de surveillance des modèles de ML dans des applications d'IRB, et que ces applications sont actuellement en cours de validation. L'association bancaire allemande (GBIC) constate, elle aussi, que les modèles de ML sont très peu utilisés dans le contexte IRB. Pour elle, une des raisons tient au fait que les portefeuilles sont très homogènes et que le pouvoir prédictif de la probabilité de défaut basé sur des méthodes de régression usuelles (e.g., analyse discriminante, régression logistique) est déjà excellent.

## 3 Quelles données pour les modèles de ML en IRB ?

Par essence, le ML ne peut pas être dissocié des données sur lesquelles les modèles sont entraînés (échantillon d'apprentissage) et évalués (échantillon de test), puisque ce sont ces données à partir desquelles les algorithmes détermineront en fine, la forme fonctionnelle du modèle. Ainsi, lorsque l'on discute de l'apport du ML dans le cadre des modèles internes, il est important de dissocier ce qui relève des techniques de ML en tant que telles, de l'apport de « nouvelles » données qui pourraient être rendues exploitables par ces techniques. Dans son document de réflexion, l'EBA évoque ainsi l'utilisation de données non structurées. Dans cette section, nous discutons quelles pourraient être ces données, leur apport potentiel, ainsi que les enjeux en termes de gouvernance et de concurrence bancaire qui leur sont associés.

<footnote>a. Les intitulés des questions étaient les suivants : (1) Utilisez-vous actuellement ou prévoyez-vous d'utiliser des modèles de ML dans le contexte de l'IRB dans votre institution ?, (1.1) Pour l'estimation de quels paramètres votre établissement utilise-t-il actuellement ou prévoit-il d'utiliser des modèles ML, c'est-à-dire PD, LGD, ELBE, EAD, CCF ?</footnote>
## 3.1 ML et « nouvelles » données

L'idée selon laquelle le ML permettrait d'exploiter de nouvelles données améliorant la différenciation des risques n'est pas spécifique au contexte IRB, puisqu'on la retrouve de façon générale dans la réflexion sur le renouveau des modèles de scoring bancaire (Hurlin et Pérignon, 2019).<fnref n="14" /> Pour certains, la recherche sur le développement de nouvelles méthodes de ML visant à améliorer les modèles de scoring de crédit, est plus ou moins au point mort, et la seule façon d'améliorer ces modèles consiste à exploiter de nouvelles sources de données (Oskarsdottir et al., 2019). Mais quelles sont ces nouvelles sources de données ? Le caractère de nouveauté doit s'entendre ici par référence aux données traditionnelles d'un modèle de score portant typiquement sur la nature du crédit, les caractéristiques de l'emprunteur (âge, revenus, situation matrimoniale, etc) ou son historique bancaire. Ces nouvelles données sont d'origines très variées, mais elles proviennent généralement de l'open banking mis en œuvre dans le cadre de la Directive européenne sur les systèmes de paiement (DSP2), de la digitalisation de la relation clientèle, des réseaux sociaux, etc. Hurlin et Pérignon (2019) utilisent à ce propos le terme de « data-diversité » pour rendre compte de l'hétérogénéité de ces nouvelles sources d'information. Or, c'est justement cette hétérogénéité qui rend difficile l'appréciation générale de leur apport, que ce soit dans le contexte de l'octroi de crédit, ou dans le contexte réglementaire.

La question centrale est de savoir si ces nouvelles données permettent de capter des signaux faibles du défaut, et favorisent in fine l'accès au crédit d'individus ou d'entreprises jusque-là considérés comme trop risqués par les modèles traditionnels. Cette amélioration potentielle de l'inclusion financière passe de façon évidente par le processus d'octroi, mais elle pourrait également se faire via une réduction des exigences en fonds propres, autorisant une plus grande prise de risque de la part des établissements de crédit. Dans le cadre des modèles d'octroi de crédit, plusieurs études montrent que ces nouvelles données permettent en effet de révéler des signaux faibles qui améliorent sensiblement la qualité de l'évaluation de la solvabilité des emprunteurs. Citons ici quelques exemples. Berg et al. (2020) analysent le score de crédit d'une société de E-commerce qui utilise des données d'empreinte numérique laissée par les clients lors de leur achat en ligne telles que le type d'appareil utilisé, le système d'exploitation, le type d'adresse mail, l'heure de connexion, etc. Ils montrent que

<footnote n="14">14. Dans cette section nous limiterons notre analyse aux modèles de défaut, i.e., aux modèles de scoring bancaire.</footnote>
## 3.1 ML et « nouvelles » données

L'idée selon laquelle le ML permettrait d'exploiter de nouvelles données améliorant la différenciation des risques n'est pas spécifique au contexte IRB, puisqu'on la retrouve de façon générale dans la réflexion sur le renouveau des modèles de scoring bancaire (Hurlin et Pérignon, 2019).<fnref n="14" /> Pour certains, la recherche sur le développement de nouvelles méthodes de ML visant à améliorer les modèles de scoring de crédit, est plus ou moins au point mort, et la seule façon d'améliorer ces modèles consiste à exploiter de nouvelles sources de données (Oskarsdottir et al., 2019). Mais quelles sont ces nouvelles sources de données ? Le caractère de nouveauté doit s'entendre ici par référence aux données traditionnelles d'un modèle de score portant typiquement sur la nature du crédit, les caractéristiques de l'emprunteur (âge, revenus, situation matrimoniale, etc) ou son historique bancaire. Ces nouvelles données sont d'origines très variées, mais elles proviennent généralement de l'open banking mis en œuvre dans le cadre de la Directive européenne sur les systèmes de paiement (DSP2), de la digitalisation de la relation clientèle, des réseaux sociaux, etc. Hurlin et Pérignon (2019) utilisent à ce propos le terme de « data-diversité » pour rendre compte de l'hétérogénéité de ces nouvelles sources d'information. Or, c'est justement cette hétérogénéité qui rend difficile l'appréciation générale de leur apport, que ce soit dans le contexte de l'octroi de crédit, ou dans le contexte réglementaire.

La question centrale est de savoir si ces nouvelles données permettent de capter des signaux faibles du défaut, et favorisent in fine l'accès au crédit d'individus ou d'entreprises jusque-là considérés comme trop risqués par les modèles traditionnels. Cette amélioration potentielle de l'inclusion financière passe de façon évidente par le processus d'octroi, mais elle pourrait également se faire via une réduction des exigences en fonds propres, autorisant une plus grande prise de risque de la part des établissements de crédit. Dans le cadre des modèles d'octroi de crédit, plusieurs études montrent que ces nouvelles données permettent en effet de révéler des signaux faibles qui améliorent sensiblement la qualité de l'évaluation de la solvabilité des emprunteurs. Citons ici quelques exemples. Berg et al. (2020) analysent le score de crédit d'une société de E-commerce qui utilise des données d'empreinte numérique laissée par les clients lors de leur achat en ligne telles que le type d'appareil utilisé, le système d'exploitation, le type d'adresse mail, l'heure de connexion, etc. Ils montrent que

<footnote n="14">14. Dans cette section nous limiterons notre analyse aux modèles de défaut, i.e., aux modèles de scoring bancaire.</footnote>
ces informations permettent d'améliorer les performances du modèle de score en comparaison d'un modèle basé uniquement sur les données socio-économiques des clients.

Oskarsdottir et al. (2019) montrent, quant à eux, que les données de téléphonie mobile constituent une source d'information très riche pour évaluer les probabilités de défaut sur des crédits à la consommation, notamment pour les emprunteurs les plus fragiles. Les données de leur étude, fournies par une banque et un opérateur de télécommunications, comprennent les journaux d'appels des clients de la banque, ceux des personnes avec lesquelles ils sont en contact, l'historique bancaire et les données socio-démographiques de ces clients. L'étude couvre un an et demi d'historique bancaire pour plus de deux millions de clients de la banque et recense l'activité d'appels de près de 90 millions de numéros de téléphone uniques sur une période de cinq mois. Ces journaux d'appels sont utilisés pour construire des réseaux d'appels. De ces réseaux sont déduits des indicateurs statistiques (indicateurs de liens, mesures de type PageRank, etc.) qui sont ensuite utilisés comme variables explicatives pour améliorer la performance des modèles de prévision de la solvabilité des demandeurs de cartes de crédit. Les modèles de score sont de simples régressions logistiques, des arbres de classification ou des forêts aléatoires. Plutôt que de chercher un raffinement méthodologique dans les modèles de score, l'idée générale consiste ici à exploiter l'homophilie des réseaux de communications vis-à-vis de la caractéristique de défaut total ou partiel. Les résultats de l'étude montrent clairement que les modèles construits avec les caractéristiques qui représentent le comportement d'appel sont plus performants, à la fois en termes d'AUC et de profit, que les modèles basés uniquement sur les historiques bancaires et les données socio-démographiques. Sur la base des mesures d'importance (e.g., réduction moyenne de l'impureté dans les arbres de décision), les auteurs montrent que les caractéristiques de réseaux sont les variables plus importantes du modèle. Ce résultat montre que la façon dont les gens utilisent leur smartphone pourrait être utilisée comme seule source de données pour décider si un prêt doit leur être accordé ou non. Bien évidemment, une telle approche pose des problèmes éthiques puisqu'elle pourrait, par exemple, conduire à refuser un prêt à emprunteur sur la simple observation d'un lien préalable avec d'autres personnes ayant connu des incidents de paiement, sans que l'emprunteur en soit responsable. C'est pourquoi, les auteurs mentionnent que ce type d'information ne doit être utilisé uniquement que dans un cadre strictement positif afin d'améliorer l'accès au financement des individus dont le crédit aurait été potentiellement refusé sur la base d'informations traditionnelles, e.g., les
ces informations permettent d'améliorer les performances du modèle de score en comparaison d'un modèle basé uniquement sur les données socio-économiques des clients.

Oskarsdottir et al. (2019) montrent, quant à eux, que les données de téléphonie mobile constituent une source d'information très riche pour évaluer les probabilités de défaut sur des crédits à la consommation, notamment pour les emprunteurs les plus fragiles. Les données de leur étude, fournies par une banque et un opérateur de télécommunications, comprennent les journaux d'appels des clients de la banque, ceux des personnes avec lesquelles ils sont en contact, l'historique bancaire et les données socio-démographiques de ces clients. L'étude couvre un an et demi d'historique bancaire pour plus de deux millions de clients de la banque et recense l'activité d'appels de près de 90 millions de numéros de téléphone uniques sur une période de cinq mois. Ces journaux d'appels sont utilisés pour construire des réseaux d'appels. De ces réseaux sont déduits des indicateurs statistiques (indicateurs de liens, mesures de type PageRank, etc.) qui sont ensuite utilisés comme variables explicatives pour améliorer la performance des modèles de prévision de la solvabilité des demandeurs de cartes de crédit. Les modèles de score sont de simples régressions logistiques, des arbres de classification ou des forêts aléatoires. Plutôt que de chercher un raffinement méthodologique dans les modèles de score, l'idée générale consiste ici à exploiter l'homophilie des réseaux de communications vis-à-vis de la caractéristique de défaut total ou partiel. Les résultats de l'étude montrent clairement que les modèles construits avec les caractéristiques qui représentent le comportement d'appel sont plus performants, à la fois en termes d'AUC et de profit, que les modèles basés uniquement sur les historiques bancaires et les données socio-démographiques. Sur la base des mesures d'importance (e.g., réduction moyenne de l'impureté dans les arbres de décision), les auteurs montrent que les caractéristiques de réseaux sont les variables plus importantes du modèle. Ce résultat montre que la façon dont les gens utilisent leur smartphone pourrait être utilisée comme seule source de données pour décider si un prêt doit leur être accordé ou non. Bien évidemment, une telle approche pose des problèmes éthiques puisqu'elle pourrait, par exemple, conduire à refuser un prêt à emprunteur sur la simple observation d'un lien préalable avec d'autres personnes ayant connu des incidents de paiement, sans que l'emprunteur en soit responsable. C'est pourquoi, les auteurs mentionnent que ce type d'information ne doit être utilisé uniquement que dans un cadre strictement positif afin d'améliorer l'accès au financement des individus dont le crédit aurait été potentiellement refusé sur la base d'informations traditionnelles, e.g., les
jeunes emprunteurs sans historique bancaire. Enfin, une autre façon de montrer la qualité
de ces nouvelles sources d'information consiste à comparer les scores entre eux. Jagtiani et
Lemieux (2019) montrent ainsi que la corrélation entre les scores propriétaires de la pla-
teforme de crédit LendingClub et les scores FICO obtenus pour un échantillon de crédits
comparables est passée de 0,80 pour les prêts contractés en 2007 à moins de 0,35 pour les
prêts contractés en 2015.

Ces nouvelles données peuvent être collectées et traitées directement par les banques, mais elles peuvent l'être également par l'intermédiaire de Fintechs qui construisent et revendent des scores aux banques. Ces derniers étant ensuite utilisés comme input complémentaire dans leurs propres modèles de score. On peut citer ici l'exemple de la Fintech Big Data Scoring qui permet aux banques d'intégrer dans leurs modèles d'octroi des données de médias sociaux relatives à l'entreprise et/ou à son gérant. Ces scores sont parfois construits de façon à offrir aux banques de nouveaux outils pour développer l'inclusion financière. Par exemple, la Fintech Zest AI, fondée par d'anciens cadres de Google, propose la solution ZAML (Zest Automated Machine Learning) qui permet de construire un score à partir d'informations très disparates pour évaluer la solvabilité des jeunes clients ayant des antécédents de crédit très limités. L'utilisation de ces nouvelles sources de données et du ML permet alors d'augmenter les taux d'acceptation, tout en contrôlant les risques et en limitant également les éventuels biais de discrimination. <fnref n="15" />

Toutefois, la transposition de ces résultats obtenus dans le contexte de l'octroi, au contexte
réglementé des modèles IRB, ne va pas de soi, même si bien évidemment les deux types de
modèles sont liés. La principale raison tient aux contraintes réglementaires imposées par les
CRR sur les données mobilisées pour la modélisation IRB, qui supposent notamment d'en
garantir l'exactitude, l'exhaustivité et l'adéquation. Ces contraintes sont souvent incompa-
tibles avec la collecte, la transformation et l'utilisation des nouvelles sources de données.
Par exemple, les CRR imposent aux établissements de crédit d'estimer les PD par classe
de risque à partir des moyennes de long terme des taux de défaut à un an et d'utiliser une
période d'observation historique d'au moins cinq ans. De la même façon, les estimations
de la LGD doivent être fondées sur des données couvrant une période minimale de cinq

<footnote n="15">15. Que ces nouvelles données soient opérées directement par les banques ou par des prestataires, elles ne nécessitent pas toujours l'utilisation de techniques de ML, ce qui justifie la distinction entre nouvelles données (New Data) et méga-données (Big Data). Par exemple, Berg et al. (2020) résument les caractéristiques de l'empreinte digitale d'un client à une dizaine de variables seulement, qu'ils intègrent ensuite dans un modèle de régression logistique classique pour évaluer leur solvabilité.</footnote>
jeunes emprunteurs sans historique bancaire. Enfin, une autre façon de montrer la qualité
de ces nouvelles sources d'information consiste à comparer les scores entre eux. Jagtiani et
Lemieux (2019) montrent ainsi que la corrélation entre les scores propriétaires de la pla-
teforme de crédit LendingClub et les scores FICO obtenus pour un échantillon de crédits
comparables est passée de 0,80 pour les prêts contractés en 2007 à moins de 0,35 pour les
prêts contractés en 2015.

Ces nouvelles données peuvent être collectées et traitées directement par les banques, mais elles peuvent l'être également par l'intermédiaire de Fintechs qui construisent et revendent des scores aux banques. Ces derniers étant ensuite utilisés comme input complémentaire dans leurs propres modèles de score. On peut citer ici l'exemple de la Fintech Big Data Scoring qui permet aux banques d'intégrer dans leurs modèles d'octroi des données de médias sociaux relatives à l'entreprise et/ou à son gérant. Ces scores sont parfois construits de façon à offrir aux banques de nouveaux outils pour développer l'inclusion financière. Par exemple, la Fintech Zest AI, fondée par d'anciens cadres de Google, propose la solution ZAML (Zest Automated Machine Learning) qui permet de construire un score à partir d'informations très disparates pour évaluer la solvabilité des jeunes clients ayant des antécédents de crédit très limités. L'utilisation de ces nouvelles sources de données et du ML permet alors d'augmenter les taux d'acceptation, tout en contrôlant les risques et en limitant également les éventuels biais de discrimination. <fnref n="15" />

Toutefois, la transposition de ces résultats obtenus dans le contexte de l'octroi, au contexte
réglementé des modèles IRB, ne va pas de soi, même si bien évidemment les deux types de
modèles sont liés. La principale raison tient aux contraintes réglementaires imposées par les
CRR sur les données mobilisées pour la modélisation IRB, qui supposent notamment d'en
garantir l'exactitude, l'exhaustivité et l'adéquation. Ces contraintes sont souvent incompa-
tibles avec la collecte, la transformation et l'utilisation des nouvelles sources de données.
Par exemple, les CRR imposent aux établissements de crédit d'estimer les PD par classe
de risque à partir des moyennes de long terme des taux de défaut à un an et d'utiliser une
période d'observation historique d'au moins cinq ans. De la même façon, les estimations
de la LGD doivent être fondées sur des données couvrant une période minimale de cinq

<footnote n="15">15. Que ces nouvelles données soient opérées directement par les banques ou par des prestataires, elles ne nécessitent pas toujours l'utilisation de techniques de ML, ce qui justifie la distinction entre nouvelles données (New Data) et méga-données (Big Data). Par exemple, Berg et al. (2020) résument les caractéristiques de l'empreinte digitale d'un client à une dizaine de variables seulement, qu'ils intègrent ensuite dans un modèle de régression logistique classique pour évaluer leur solvabilité.</footnote>
ans. Or, pour de nombreuses données alternatives, de tels historiques ne sont tout simplement pas disponibles. Par ailleurs, en cas d'externalisation de la collecte et du traitement de ces données, comment garantir la qualité des traitements et la pérennité dans le temps des sources de données externes ? En cas d'utilisation d'un score alternatif produit par un tiers, la banque cliente devrait veiller à la conformité des nouvelles sources de données et des traitements réalisés par le prestataire, ce qui complexifierait d'autant l'évaluation de la conformité de ses modèles IRB. C'est sans doute pourquoi, dans les réponses à l'EBA, aucune association professionnelle bancaire européenne ne fait état d'une externalisation, voire d'un projet d'externalisation, par un de leurs membres de leur modélisation IRB.<fnref n="16" />

### Encadré 4 : Les « nouvelles » données utilisées par les banques dans le contexte IRB

Dans le cadre de la consultation lancée par l'EBA, une question portait sur l'utilisation de données alternatives non structurées dans la modélisation IRB.ª En réponse, l'association bancaire espagnole (AEB) insiste sur l'intérêt que peut représenter ce type de données, notamment pour exploiter les informations contenues dans des rapports financiers des entreprises, au travers de techniques de NLP et de ML. L'AEB avance que des contrôles suffisants peuvent être mis en place pour garantir que les données résultantes répondent aux exigences réglementaires de qualité et d'exhaustivité requises dans le contexte IRB. L'AEB souhaite voir se développer à l'échelle européenne des initiatives visant à certifier la qualité de ces données externes. A l'inverse, les associations bancaires françaises (FBF) et allemandes (GBIC) ne font état d'aucune initiative allant dans le sens de l'utilisation de ce type de données. De même, l'ESBG (*European Savings and Retail Banking Group*) ne mentionne une telle initiative, même si l'association insiste sur les perspectives que pourraient revêtir l'utilisation de ces données et encourage la recherche sur ce sujet.

Ainsi, les seules sources de nouvelles données qui semblent exploitables dans le contexte IRB sont, soit des données collectées dans le cadre des nouvelles réglementations environnementales, soit des données non structurées, le plus souvent des données textuelles, actuellement en possession des banques, mais qui ne sont pas encore intégrées dans les modèles internes.<fnref n="17" />

<footnote>a. La question 1.4 était libellée de la façon suivante : « Utilisez-vous ou prévoyez-vous d'utiliser des données non structurées pour ces modèles de ML ? Dans l'affirmative, veuillez préciser le type de données ou le type de sources de données que vous utilisez ou prévoyez d'utiliser. Comment garissez-vous une qualité de données adéquate ? », (EBA, 2021).</footnote>

<footnote n="16">16. La question posée par l'EBA était « Avez-vous externalisé ou envisagez-vous d'externaliser le développement et la mise en œuvre des modèles de ML et, dans l'affirmative, pour quelle phase de modélisation ? Quels sont les principaux défis auxquels vous êtes confrontés à cet égard ? ».</footnote>

<footnote n="17">17. Cette observation rejoint une des conclusions de l'étude de Guégan et Hassani (2018) qui tendait à promouvoir l'utilisation des données non structurées pour élargir l'ensemble d'information des modèles réglementaires.</footnote>
ans. Or, pour de nombreuses données alternatives, de tels historiques ne sont tout simplement pas disponibles. Par ailleurs, en cas d'externalisation de la collecte et du traitement de ces données, comment garantir la qualité des traitements et la pérennité dans le temps des sources de données externes ? En cas d'utilisation d'un score alternatif produit par un tiers, la banque cliente devrait veiller à la conformité des nouvelles sources de données et des traitements réalisés par le prestataire, ce qui complexifierait d'autant l'évaluation de la conformité de ses modèles IRB. C'est sans doute pourquoi, dans les réponses à l'EBA, aucune association professionnelle bancaire européenne ne fait état d'une externalisation, voire d'un projet d'externalisation, par un de leurs membres de leur modélisation IRB.<fnref n="16" />

### Encadré 4 : Les « nouvelles » données utilisées par les banques dans le contexte IRB

Dans le cadre de la consultation lancée par l'EBA, une question portait sur l'utilisation de données alternatives non structurées dans la modélisation IRB.ª En réponse, l'association bancaire espagnole (AEB) insiste sur l'intérêt que peut représenter ce type de données, notamment pour exploiter les informations contenues dans des rapports financiers des entreprises, au travers de techniques de NLP et de ML. L'AEB avance que des contrôles suffisants peuvent être mis en place pour garantir que les données résultantes répondent aux exigences réglementaires de qualité et d'exhaustivité requises dans le contexte IRB. L'AEB souhaite voir se développer à l'échelle européenne des initiatives visant à certifier la qualité de ces données externes. A l'inverse, les associations bancaires françaises (FBF) et allemandes (GBIC) ne font état d'aucune initiative allant dans le sens de l'utilisation de ce type de données. De même, l'ESBG (*European Savings and Retail Banking Group*) ne mentionne une telle initiative, même si l'association insiste sur les perspectives que pourraient revêtir l'utilisation de ces données et encourage la recherche sur ce sujet.

Ainsi, les seules sources de nouvelles données qui semblent exploitables dans le contexte IRB sont, soit des données collectées dans le cadre des nouvelles réglementations environnementales, soit des données non structurées, le plus souvent des données textuelles, actuellement en possession des banques, mais qui ne sont pas encore intégrées dans les modèles internes.<fnref n="17" />

<footnote>a. La question 1.4 était libellée de la façon suivante : « Utilisez-vous ou prévoyez-vous d'utiliser des données non structurées pour ces modèles de ML ? Dans l'affirmative, veuillez préciser le type de données ou le type de sources de données que vous utilisez ou prévoyez d'utiliser. Comment garissez-vous une qualité de données adéquate ? », (EBA, 2021).</footnote>

<footnote n="16">16. La question posée par l'EBA était « Avez-vous externalisé ou envisagez-vous d'externaliser le développement et la mise en œuvre des modèles de ML et, dans l'affirmative, pour quelle phase de modélisation ? Quels sont les principaux défis auxquels vous êtes confrontés à cet égard ? ».</footnote>

<footnote n="17">17. Cette observation rejoint une des conclusions de l'étude de Guégan et Hassani (2018) qui tendait à promouvoir l'utilisation des données non structurées pour élargir l'ensemble d'information des modèles réglementaires.</footnote>
On peut évoquer par exemple les données liées aux émissions de gaz à effet de serre, telles que les mesures scopes 1, 2 et 3, pour les crédits aux entreprises, ou les diagnostics de performance énergétique (DPE) pour les crédits immobiliers. Dans le cas des crédits aux entreprises, on peut également penser à l'exploitation par NLP des rapports extra-financiers, et ce d'autant plus que la réglementation européenne est en passe d'imposer un audit extra-financier à un grand nombre d'entreprises. Certaines associations bancaires professionnelles évoquent ces perspectives (cf. Encadré 4), mais sans pour autant que ces modèles soient effectivement mis en œuvre, voire en cours de développement.

## 3.2 Des enjeux de concurrence bancaire

Dès lors, si aucune banque n'utilise, ou n'envisage d'utiliser, ces nouvelles sources de données pour leurs modèles internes, comment comprendre que le régulateur s'intéresse à cette question ? Une explication possible tient aux enjeux de concurrence liés à l'exploitation de ces données par de nouveaux acteurs qui pourraient venir bouleverser, à terme, le marché du crédit. Un nouvel acteur pourrait-il profiter d'un avantage informationnel et distordre la concurrence bancaire, que ce soit au travers d'un processus d'octroi augmenté plus performant, ou grâce à des modèles internes permettant d'offrir du crédit moins coûteux en fonds propres, tout en respectant les exigences réglementaires ?

Les premiers acteurs auxquels l'on peut penser dans ce contexte sont les néobanques et les Fintechs qui opèrent directement ou indirectement du crédit. Dans leur vaste étude, Clerc et al. (2020) distinguent quatre générations de néobanques depuis l'apparition de ces entités à la fin des années 90. Cependant, hormis pour celles appartenant à la dernière génération et qui proposent des offres nativement mobiles (N26, Revolut, etc.), la plupart des néobanques en France dépendent directement du système bancaire traditionnel, soit suite à des rachats, soit parce que ce dernier les a directement créées. Par ailleurs, ces entreprises ne disposent généralement pas d'un accès privilégié à des données qui pourraient leur permettre de tirer un avantage informationnel bouleversant la concurrence bancaire. Ainsi, en France jusqu'à présent, les néobanques (y compris celles de dernière génération) n'ont pas radicalement chamboulé le marché du crédit et elles pâtissent encore d'une faible rentabilité.

La question de l'avantage informationnel se pose donc beaucoup plus dans la perspective de l'arrivée sur le marché du crédit des « Bigtechs », i.e., des géants de l'internet GAFAM (Google Amazon, Facebook (Meta), Apple, Microsoft) et BAXT (Baidu, Alibaba, Xiaomi et
On peut évoquer par exemple les données liées aux émissions de gaz à effet de serre, telles que les mesures scopes 1, 2 et 3, pour les crédits aux entreprises, ou les diagnostics de performance énergétique (DPE) pour les crédits immobiliers. Dans le cas des crédits aux entreprises, on peut également penser à l'exploitation par NLP des rapports extra-financiers, et ce d'autant plus que la réglementation européenne est en passe d'imposer un audit extra-financier à un grand nombre d'entreprises. Certaines associations bancaires professionnelles évoquent ces perspectives (cf. Encadré 4), mais sans pour autant que ces modèles soient effectivement mis en œuvre, voire en cours de développement.

## 3.2 Des enjeux de concurrence bancaire

Dès lors, si aucune banque n'utilise, ou n'envisage d'utiliser, ces nouvelles sources de données pour leurs modèles internes, comment comprendre que le régulateur s'intéresse à cette question ? Une explication possible tient aux enjeux de concurrence liés à l'exploitation de ces données par de nouveaux acteurs qui pourraient venir bouleverser, à terme, le marché du crédit. Un nouvel acteur pourrait-il profiter d'un avantage informationnel et distordre la concurrence bancaire, que ce soit au travers d'un processus d'octroi augmenté plus performant, ou grâce à des modèles internes permettant d'offrir du crédit moins coûteux en fonds propres, tout en respectant les exigences réglementaires ?

Les premiers acteurs auxquels l'on peut penser dans ce contexte sont les néobanques et les Fintechs qui opèrent directement ou indirectement du crédit. Dans leur vaste étude, Clerc et al. (2020) distinguent quatre générations de néobanques depuis l'apparition de ces entités à la fin des années 90. Cependant, hormis pour celles appartenant à la dernière génération et qui proposent des offres nativement mobiles (N26, Revolut, etc.), la plupart des néobanques en France dépendent directement du système bancaire traditionnel, soit suite à des rachats, soit parce que ce dernier les a directement créées. Par ailleurs, ces entreprises ne disposent généralement pas d'un accès privilégié à des données qui pourraient leur permettre de tirer un avantage informationnel bouleversant la concurrence bancaire. Ainsi, en France jusqu'à présent, les néobanques (y compris celles de dernière génération) n'ont pas radicalement chamboulé le marché du crédit et elles pâtissent encore d'une faible rentabilité.

La question de l'avantage informationnel se pose donc beaucoup plus dans la perspective de l'arrivée sur le marché du crédit des « Bigtechs », i.e., des géants de l'internet GAFAM (Google Amazon, Facebook (Meta), Apple, Microsoft) et BAXT (Baidu, Alibaba, Xiaomi et
Tencent). Comme le notent Clerc et al. (2020), la coopération entamée par les Bigtechs avec de nombreux acteurs financiers, leur capacité à mobiliser un ensemble très vaste de données sur leurs abonnés et leur recours au ML, conduisent à anticiper une emprise croissante de ces plateformes sur le secteur financier. Cette emprise peut passer par une offre de crédit développée en propre. On peut citer ici l'exemple d'Alibaba qui a été un pionnier sur ce marché avec son application de paiement Alipay, qui propose à ses utilisateurs des micro-crédits à la consommation depuis 2015. On peut également citer le cas de la carte de crédit Apple Card développée par Apple, lancée en 2019. Mais l'arrivée des Bigtechs pourrait également passer par le développement de plateformes s'analysant comme des marchés « bifaces » (Rochet et Tirole, 2003) et mettant en contact des consommateurs et des offreurs de services financiers. Dans ce schéma, la plateforme en situation de quasi-monopole, se rémunère en faisant payer des droits d'entrée aux deux parties du marché et en percevant des commissions sur toutes les transactions réalisées. En outre, la plateforme pourrait monétiser les informations dont elle dispose sur les consommateurs, en les revendant aux prestataires financiers afin que ces derniers puissent améliorer leurs processus d'octroi, de suivi des risques, voire leurs modèles internes réglementaires.

# 4 Quels sont les bénéfices attendus du ML pour la modélisation IRB ?

La principale idée qui sous-tend l'utilisation du ML dans le contexte IRB consiste à penser que ces techniques pourraient rendre le crédit moins « coûteux » en termes de capital réglementaire, tout en garantissant le même niveau de couverture aux banques face aux pertes non anticipées. Ceci serait rendu possible grâce à une meilleure anticipation du risque de solvabilité des emprunteurs. Cette idée repose sur deux présupposés. Premièrement, les modélisations internes de PD ou de LGD fondées sur une utilisation directe ou indirecte des techniques de ML permettraient d'obtenir des gains prédictifs par rapport aux approches classiques. Typiquement, le ML permettrait de mieux prévoir le défaut, au minimum pour certaines sous-populations du portefeuille de crédits, en captant des signaux faibles que ne captent pas les modèles standards. Deuxièmement, ces gains en précision se traduirait nécessairement par des gains en termes de capital réglementaire, tout en permettant de respecter les exigences du régulateur en matière de validation des modèles. Nous allons voir que si la première assertion peut être globalement validée sous certaines conditions, il n'en
Tencent). Comme le notent Clerc et al. (2020), la coopération entamée par les Bigtechs avec de nombreux acteurs financiers, leur capacité à mobiliser un ensemble très vaste de données sur leurs abonnés et leur recours au ML, conduisent à anticiper une emprise croissante de ces plateformes sur le secteur financier. Cette emprise peut passer par une offre de crédit développée en propre. On peut citer ici l'exemple d'Alibaba qui a été un pionnier sur ce marché avec son application de paiement Alipay, qui propose à ses utilisateurs des micro-crédits à la consommation depuis 2015. On peut également citer le cas de la carte de crédit Apple Card développée par Apple, lancée en 2019. Mais l'arrivée des Bigtechs pourrait également passer par le développement de plateformes s'analysant comme des marchés « bifaces » (Rochet et Tirole, 2003) et mettant en contact des consommateurs et des offreurs de services financiers. Dans ce schéma, la plateforme en situation de quasi-monopole, se rémunère en faisant payer des droits d'entrée aux deux parties du marché et en percevant des commissions sur toutes les transactions réalisées. En outre, la plateforme pourrait monétiser les informations dont elle dispose sur les consommateurs, en les revendant aux prestataires financiers afin que ces derniers puissent améliorer leurs processus d'octroi, de suivi des risques, voire leurs modèles internes réglementaires.

## 4 Quels sont les bénéfices attendus du ML pour la modélisation IRB ?

La principale idée qui sous-tend l'utilisation du ML dans le contexte IRB consiste à penser que ces techniques pourraient rendre le crédit moins « coûteux » en termes de capital réglementaire, tout en garantissant le même niveau de couverture aux banques face aux pertes non anticipées. Ceci serait rendu possible grâce à une meilleure anticipation du risque de solvabilité des emprunteurs. Cette idée repose sur deux présupposés. Premièrement, les modélisations internes de PD ou de LGD fondées sur une utilisation directe ou indirecte des techniques de ML permettraient d'obtenir des gains prédictifs par rapport aux approches classiques. Typiquement, le ML permettrait de mieux prévoir le défaut, au minimum pour certaines sous-populations du portefeuille de crédits, en captant des signaux faibles que ne captent pas les modèles standards. Deuxièmement, ces gains en précision se traduirait nécessairement par des gains en termes de capital réglementaire, tout en permettant de respecter les exigences du régulateur en matière de validation des modèles. Nous allons voir que si la première assertion peut être globalement validée sous certaines conditions, il n'en
va pas nécessairement de même pour la seconde. Dans la suite de l'analyse, nous raisonnons à ensemble d'information constant (sans nouvelles données) et nous nous focaliserons principalement sur l'adoption du ML en tant que modèle primaire de différenciation des risques.

## 4.1 Des gains potentiels en termes de précision et de productivité

Comme le montrent les résultats de l'enquête IIF (2019), lorsque l'on interroge les banques sur les bénéfices attendus du ML dans la gestion du risque de crédit (cf. Figure 8), les deux réponses qui arrivent en tête sont d'une part l'amélioration de la précision des estimations des paramètres de risque et la mise en perspective de nouveaux segments de risques, et d'autre part les gains de productivité dans le déploiement des modèles et le prétraitement des données.

<figure><img src="image_9.png" /><figcaption>FIGURE 8 – Quels sont les gains attendus du ML pour la gestion du risque de crédit ?</figcaption></figure>

(a) Source : IIF (2019)

**Une amélioration de la précision des estimations des paramètres de risque.** Les avantages du ML par rapport aux méthodes paramétriques classiques sont bien connus (Mullainathan et Spiess, 2017; Charpentier et al., 2018). Ces algorithmes ont la capacité de sélectionner de façon flexible la forme fonctionnelle du lien entre la variable cible (typiquement une variable binaire associée au défaut) et les caractéristiques disponibles dans la base d'apprentissage. En cela, le ML s'apparente à l'économétrie semi-paramétrique. La principale différence étant que les algorithmes de ML peuvent être appliqués en présence d'un
va pas nécessairement de même pour la seconde. Dans la suite de l'analyse, nous raisonnons à ensemble d'information constant (sans nouvelles données) et nous nous focaliserons principalement sur l'adoption du ML en tant que modèle primaire de différenciation des risques.

## 4.1 Des gains potentiels en termes de précision et de productivité

Comme le montrent les résultats de l'enquête IIF (2019), lorsque l'on interroge les banques sur les bénéfices attendus du ML dans la gestion du risque de crédit (cf. Figure 8), les deux réponses qui arrivent en tête sont d'une part l'amélioration de la précision des estimations des paramètres de risque et la mise en perspective de nouveaux segments de risques, et d'autre part les gains de productivité dans le déploiement des modèles et le prétraitement des données.

<figure><img src="image_9.png" /><figcaption>FIGURE 8 – Quels sont les gains attendus du ML pour la gestion du risque de crédit ?</figcaption></figure>

Une amélioration de la précision des estimations des paramètres de risque. Les avantages du ML par rapport aux méthodes paramétriques classiques sont bien connus (Mullainathan et Spiess, 2017; Charpentier et al., 2018). Ces algorithmes ont la capacité de sélectionner de façon flexible la forme fonctionnelle du lien entre la variable cible (typiquement une variable binaire associée au défaut) et les caractéristiques disponibles dans la base d'apprentissage. En cela, le ML s'apparente à l'économétrie semi-paramétrique. La principale différence étant que les algorithmes de ML peuvent être appliqués en présence d'un
grand nombre de prédicteurs. De même, comme nous l'avons mentionné, les algorithmes
de ML sélectionnent de façon autonome les variables qui entrent dans la spécification du
modèle et s'apparentent ainsi aux méthodes automatiques de sélection de variables et de
spécification des modèles économétriques. Enfin et surtout, ces algorithmes peuvent créer
de nouveaux prédicteurs en combinant et/ou en transformant les prédicteurs initiaux. Ainsi,
par exemple, un algorithme de SVM permet de projeter un problème de classification dans
un espace de plus grande dimension par le biais d'une fonction kernel. Cette transformation
kernel revient implicitement à créer de nouvelles variables explicatives par transformation
des variables initiales.<fnref n="18" />

Ces propriétés rendent les modèles de ML particulièrement efficaces pour détecter de façon
autonome des non-linéarités et des interactions entre les prédicteurs. La question est de
savoir si la prise en compte de ces non-linéarités et de ces interactions permet d'obtenir des
gains prédictifs. Afin de répondre à cette question, il convient de distinguer deux générations
d'algorithmes de ML utilisés dans le cadre du scoring de crédit. La première génération
correspond aux méthodes de classification supervisée dites « individuelles » qui visent à
partitionner l'espace des prédicteurs afin de prévoir l'événement. Les plus utilisées dans
le domaine du risque de crédit sont les arbres de classification, les SVM, et les ANN. La
seconde génération correspond aux méthodes d'ensemble qui utilisent une agrégation ou une
combinaison d'un grand nombre de méthodes individuelles d'apprentissage dans le but de
réduire la variance du modèle et d'éviter le surapprentissage.

Dans la littérature académique, le ML a très tôt été appliqué à la modélisation du risque
de crédit. Ainsi, l'algorithme CART (Classification and Regression Tree) a été utilisé pour
une application de scoring de crédit moins d'un an après la publication de l'article de
Breiman et al. (1984), par Makowski (1985), puis par Carter et Catlett (1987) et Srinivasan
et Kim (1987). De la même façon, les premières applications des réseaux de neurones dans
ce contexte datent du début des années 90 (Tam et Kiang, 1992; Altman et al., 1994). Mais
très rapidement, il est apparu que ces classifieurs individuels ne permettaient pas d'améliorer
significativement les performances prédictives de la régression logistique, comme le montre
la première synthèse de la littérature académique sur le scoring de crédit de Thomas (2000).

<footnote n="18">18. L'avantage de cette transformation est qu'il est plus facile d'identifier un hyperplan séparateur optimal dans un espace de représentation de plus grande dimension. La difficulté réside dans le fait qu'on ne sait pas définir explicitement les nouvelles variables transformées qui ont été introduites par l'algorithme dans le modèle en plus des variables initiales, d'où un problème d'interprétabilité.</footnote>
grand nombre de prédicteurs. De même, comme nous l'avons mentionné, les algorithmes
de ML sélectionnent de façon autonome les variables qui entrent dans la spécification du
modèle et s'apparentent ainsi aux méthodes automatiques de sélection de variables et de
spécification des modèles économétriques. Enfin et surtout, ces algorithmes peuvent créer
de nouveaux prédicteurs en combinant et/ou en transformant les prédicteurs initiaux. Ainsi,
par exemple, un algorithme de SVM permet de projeter un problème de classification dans
un espace de plus grande dimension par le biais d'une fonction kernel. Cette transformation
kernel revient implicitement à créer de nouvelles variables explicatives par transformation
des variables initiales.<fnref n="18" />

Ces propriétés rendent les modèles de ML particulièrement efficaces pour détecter de façon
autonome des non-linéarités et des interactions entre les prédicteurs. La question est de
savoir si la prise en compte de ces non-linéarités et de ces interactions permet d'obtenir des
gains prédictifs. Afin de répondre à cette question, il convient de distinguer deux générations
d'algorithmes de ML utilisés dans le cadre du scoring de crédit. La première génération
correspond aux méthodes de classification supervisée dites « individuelles » qui visent à
partitionner l'espace des prédicteurs afin de prévoir l'événement. Les plus utilisées dans
le domaine du risque de crédit sont les arbres de classification, les SVM, et les ANN. La
seconde génération correspond aux méthodes d'ensemble qui utilisent une agrégation ou une
combinaison d'un grand nombre de méthodes individuelles d'apprentissage dans le but de
réduire la variance du modèle et d'éviter le surapprentissage.

Dans la littérature académique, le ML a très tôt été appliqué à la modélisation du risque
de crédit. Ainsi, l'algorithme CART (Classification and Regression Tree) a été utilisé pour
une application de scoring de crédit moins d'un an après la publication de l'article de
Breiman et al. (1984), par Makowski (1985), puis par Carter et Catlett (1987) et Srinivasan
et Kim (1987). De la même façon, les premières applications des réseaux de neurones dans
ce contexte datent du début des années 90 (Tam et Kiang, 1992; Altman et al., 1994). Mais
très rapidement, il est apparu que ces classifieurs individuels ne permettaient pas d'améliorer
significativement les performances prédictives de la régression logistique, comme le montre
la première synthèse de la littérature académique sur le scoring de crédit de Thomas (2000).

<footnote n="18">18. L'avantage de cette transformation est qu'il est plus facile d'identifier un hyperplan séparateur optimal dans un espace de représentation de plus grande dimension. La difficulté réside dans le fait qu'on ne sait pas définir explicitement les nouvelles variables transformées qui ont été introduites par l'algorithme dans le modèle en plus des variables initiales, d'où un problème d'interprétabilité.</footnote>
Dans une étude comparative basée sur 17 algorithmes et 8 bases de données, Baesens et al. (2003) confirment que les SVM ou les ANN offrent de très bonnes performances prédictives. Cependant, pour la plupart des bases, les différences entre les AUC de la meilleure méthode de ML et celle de la régression logistique sont inférieures à 2%, ce qui est très faible. La principale conclusion que l'on peut tirer de ces études, est que le scoring de crédit est un champ d'application dans lequel il y a trop peu de non-linéarités dans les données pour que les gains de performances prédictives du ML soient significatifs. Ce sont sans doute ces premiers résultats qui expliquent la faible adoption des techniques de ML par les banques avant le début des années 2010 pour leurs modèles de risque de crédit.

Le changement intervient avec l'utilisation des premières méthodes d'ensemble qui vont permettre d'obtenir des gains prédictifs significatifs. Les méthodes d'ensemble les plus cou- ramment utilisées dans le domaine du risque de crédit sont le Bagging (contraction des termes *Bootstrap Aggregation*) et le Boosting, introduits respectivement par Breiman (1996) et Freund et Schapire (1997). Les méthodes de Bagging (e.g. Random Forests, Rotation Fo- rest) reposent sur des techniques d'échantillonnage par bootstrap et d'agrégation qui visent à améliorer la qualité prédictive de modèles à faible pouvoir de généralisation, comme les arbres de décisions.<fnref n="19" /> Sous certaines conditions, il est démontré théoriquement que la com- binaison de ces classificateurs individuels obtenus sur des échantillons ré-échantillonnés permet de réduire la variance du classifieur agrégé, et donc d'en améliorer la qualité prédictive sur un échantillon test. Les méthodes de Boosting (e.g., XGBoost, AdaBoost) reposent quant à elles sur une stratégie adaptative pour « booster » les performances prédictives d'un pré- dicteur faible.<fnref n="20" /> L'idée générale consiste à entraîner de façon itérative un modèle de sorte à réduire les erreurs de prévision obtenues à chaque étape. Certaines méthodes de Boosting, comme la méthode XGBoost (*Extreme Gradient Boosting*) développée par Chen et Gues- trin (2016), sont aujourd'hui très populaires dans les compétitions de classification (Kaggle, etc.).

<footnote n="19">19. Le Bagging consiste à entraîner un ensemble d'arbres de classification sur des sous-échantillons ré-échantillonnés par bootstrap, i.e., comportant des individus tirés au hasard parmi l'échantillon initial. La réduction de la variance obtenue est alors une fonction décroissante de la corrélation entre les arbres individuels entraînés sur ces échantillons ré-échantillonnés. La méthode des forêts aléatoires (Random Forest) a pour objectif de réduire encore plus cette corrélation en ré-échantillonnant à la fois les individus de la base d'apprentissage, mais aussi les variables candidates à la division binaire.</footnote>

<footnote n="20">20. Un classifieur AdaBoost est un méta-modèle qui ajuste un prédicteur faible, typiquement un arbre de faible profondeur, sur l'ensemble de données original, puis entraîne des copies supplémentaires de ce prédicteur sur le même ensemble de données, mais en surpondérant les instances mal classées de sorte que les classificateurs suivants se concentrent davantage sur ces erreurs de prévision.</footnote>
Dans une étude comparative basée sur 17 algorithmes et 8 bases de données, Baesens et al. (2003) confirment que les SVM ou les ANN offrent de très bonnes performances prédictives. Cependant, pour la plupart des bases, les différences entre les AUC de la meilleure méthode de ML et celle de la régression logistique sont inférieures à 2%, ce qui est très faible. La principale conclusion que l'on peut tirer de ces études, est que le scoring de crédit est un champ d'application dans lequel il y a trop peu de non-linéarités dans les données pour que les gains de performances prédictives du ML soient significatifs. Ce sont sans doute ces premiers résultats qui expliquent la faible adoption des techniques de ML par les banques avant le début des années 2010 pour leurs modèles de risque de crédit.

Le changement intervient avec l'utilisation des premières méthodes d'ensemble qui vont permettre d'obtenir des gains prédictifs significatifs. Les méthodes d'ensemble les plus cou- ramment utilisées dans le domaine du risque de crédit sont le Bagging (contraction des termes *Bootstrap Aggregation*) et le Boosting, introduits respectivement par Breiman (1996) et Freund et Schapire (1997). Les méthodes de Bagging (e.g. Random Forests, Rotation Fo- rest) reposent sur des techniques d'échantillonnage par bootstrap et d'agrégation qui visent à améliorer la qualité prédictive de modèles à faible pouvoir de généralisation, comme les arbres de décisions.<fnref n="19" /> Sous certaines conditions, il est démontré théoriquement que la com- binaison de ces classificateurs individuels obtenus sur des échantillons ré-échantillonnés permet de réduire la variance du classifieur agrégé, et donc d'en améliorer la qualité prédictive sur un échantillon test. Les méthodes de Boosting (e.g., XGBoost, AdaBoost) reposent quant à elles sur une stratégie adaptative pour « booster » les performances prédictives d'un pré- dicteur faible.<fnref n="20" /> L'idée générale consiste à entraîner de façon itérative un modèle de sorte à réduire les erreurs de prévision obtenues à chaque étape. Certaines méthodes de Boosting, comme la méthode XGBoost (*Extreme Gradient Boosting*) développée par Chen et Gues- trin (2016), sont aujourd'hui très populaires dans les compétitions de classification (Kaggle, etc.).

<footnote n="19">19. Le Bagging consiste à entraîner un ensemble d'arbres de classification sur des sous-échantillons ré-échantillonnés par bootstrap, i.e., comportant des individus tirés au hasard parmi l'échantillon initial. La réduction de la variance obtenue est alors une fonction décroissante de la corrélation entre les arbres individuels entraînés sur ces échantillons ré-échantillonnés. La méthode des forêts aléatoires (Random Forest) a pour objectif de réduire encore plus cette corrélation en ré-échantillonnant à la fois les individus de la base d'apprentissage, mais aussi les variables candidates à la division binaire.</footnote>

<footnote n="20">20. Un classifieur AdaBoost est un méta-modèle qui ajuste un prédicteur faible, typiquement un arbre de faible profondeur, sur l'ensemble de données original, puis entraîne des copies supplémentaires de ce prédicteur sur le même ensemble de données, mais en surpondérant les instances mal classées de sorte que les classificateurs suivants se concentrent davantage sur ces erreurs de prévision.</footnote>
Ces méthodes d'ensemble figurent parmi les techniques de ML les plus utilisées par les banques, notamment pour la modélisation de la PD. Plusieurs dizaines d'articles scientifiques et d'études comparatives montrent en effet que ces méthodes permettent de mieux identifier les risques de défaut en comparaison des modèles paramétriques usuels. L'étude comparative la plus complète sur la question est celle de Lessmann et al. (2015) qui évaluent 41 algorithmes de classification, dont de nombreux algorithmes avancés de ML, sur 8 bases de données de crédits aux particuliers, avec de nombreux critères d'évaluation statistiques et économiques. Ils montrent clairement que les méthodes d'ensemble prévoient le risque significativement mieux que la régression logistique. Les forêts aléatoires dominent ainsi systématiquement les classifieurs individuels, que ces derniers soient paramétriques (régression logistique) ou de type ML (réseaux de neurones, SVM, etc.). Toutefois, les auteurs montrent également que les gains de performance prédictive permis par le ML ont tendance à plafonner avec la complexité des modèles. Les raffinements méthodologiques des algorithmes de ML n'améliorent pas nécessairement les performances. Par exemple, les AUC obtenues avec des algorithmes de type Rotation Forests ne diffèrent pas de celles obtenues avec de simples forêts aléatoires.

On retrouve un résultat similaire chez Alonso et Carbó (2020) qui opposent les gains prédictifs du ML aux coûts supplémentaires engendrés en termes de supervision. Leur analyse de la littérature montre qu'au-delà des méthodes d'ensemble homogènes de type Bagging et Boosting, les évolutions méthodologiques de type apprentissage profond (Deep Learning), apprentissage par renforcement, ou méthodes d'ensemble hétérogènes, conduisent à des résultats mitigés et ne permettent pas d'améliorer significativement la prévision du défaut. Gunnarsson et al. (2021) montrent également que les algorithmes de Deep Learning ne semblent pas être des modèles appropriés pour le scoring de crédit.<fnref n="21" /> Leur étude comparative menée sur 10 bases de données, conclut que les méthodes de Deep Learning ne sont généralement pas les plus performantes, alors que leur mise en place est considérablement plus coûteuse en termes de temps de calcul que les méthodes d'ensemble. Dans leur étude, il ressort que la méthode XGBoost est la méthode la plus performante.

Il convient de noter que ces évaluations académiques des modèles de ML ne tiennent pas compte des prétraitements qui sont généralement appliqués par les banques dans le cas des

<footnote n="21">21. Les auteurs utilisent des algorithmes de type Deep Belief Network (DBN) et un réseau de neurones multicouche profond.</footnote>
Ces méthodes d'ensemble figurent parmi les techniques de ML les plus utilisées par les banques, notamment pour la modélisation de la PD. Plusieurs dizaines d'articles scientifiques et d'études comparatives montrent en effet que ces méthodes permettent de mieux identifier les risques de défaut en comparaison des modèles paramétriques usuels. L'étude comparative la plus complète sur la question est celle de Lessmann et al. (2015) qui évaluent 41 algorithmes de classification, dont de nombreux algorithmes avancés de ML, sur 8 bases de données de crédits aux particuliers, avec de nombreux critères d'évaluation statistiques et économiques. Ils montrent clairement que les méthodes d'ensemble prévoient le risque significativement mieux que la régression logistique. Les forêts aléatoires dominent ainsi systématiquement les classifieurs individuels, que ces derniers soient paramétriques (régression logistique) ou de type ML (réseaux de neurones, SVM, etc.). Toutefois, les auteurs montrent également que les gains de performance prédictive permis par le ML ont tendance à plafonner avec la complexité des modèles. Les raffinements méthodologiques des algorithmes de ML n'améliorent pas nécessairement les performances. Par exemple, les AUC obtenues avec des algorithmes de type Rotation Forests ne diffèrent pas de celles obtenues avec de simples forêts aléatoires.

On retrouve un résultat similaire chez Alonso et Carbó (2020) qui opposent les gains prédictifs du ML aux coûts supplémentaires engendrés en termes de supervision. Leur analyse de la littérature montre qu'au-delà des méthodes d'ensemble homogènes de type Bagging et Boosting, les évolutions méthodologiques de type apprentissage profond (Deep Learning), apprentissage par renforcement, ou méthodes d'ensemble hétérogènes, conduisent à des résultats mitigés et ne permettent pas d'améliorer significativement la prévision du défaut. Gunnarsson et al. (2021) montrent également que les algorithmes de Deep Learning ne semblent pas être des modèles appropriés pour le scoring de crédit.<fnref n="21" /> Leur étude comparative menée sur 10 bases de données, conclut que les méthodes de Deep Learning ne sont généralement pas les plus performantes, alors que leur mise en place est considérablement plus coûteuse en termes de temps de calcul que les méthodes d'ensemble. Dans leur étude, il ressort que la méthode XGBoost est la méthode la plus performante.

Il convient de noter que ces évaluations académiques des modèles de ML ne tiennent pas compte des prétraitements qui sont généralement appliqués par les banques dans le cas des

<footnote n="21">21. Les auteurs utilisent des algorithmes de type Deep Belief Network (DBN) et un réseau de neurones multicouche profond.</footnote>
modélisations paramétriques standards.<fnref n="22" /> En effet, la construction d'un modèle de PD dans
le contexte IRB repose généralement sur une chaîne de prétraitements des données et des
variables qui entrent dans la régression logistique, utilisée in fine pour la différenciation des
risques. Ainsi, par exemple les variables continues sont généralement discrétisées afin de
limiter les effets des valeurs extrêmes et de faciliter l'interprétation de la grille de score.
Les seuils de discrétisation sont parfois choisis de sorte à maximiser le pouvoir discriminant
du modèle. De la même façon, les modalités des variables catégorielles sont regroupées
pour aider le modèle à mieux identifier le risque de défaut dans le portefeuille. Enfin, la
présélection des variables du modèle est basée sur une suite de tests permettant d'identifier
les variables les plus liées à la cible (tests de Kruskall-Walis, tests du chi-deux, mesure du
V de Cramer, etc.) et de retirer les variables les plus corrélées entre elles. La sélection finale
parmi les variables candidates repose alors sur une méthode de sélection automatique (e.g.
stepwise) et sur une analyse fine des résultats prédictifs du modèle sur un échantillon test.
Or, dans la littérature académique, ces prétraitements ne sont généralement pas appliqués,
et la comparaison de la régression logistique aux méthodes de ML se fait sur la base de
données non transformées. Il y a donc un risque que les travaux académiques surestiment
les gains en termes de précision des techniques de ML, dès lors que ces travaux n'appliquent
pas ces différents prétraitements.

Une amélioration de la productivité. Un autre argument qui peut être avancé pour justifier l'utilisation du ML réside dans les gains de productivité que peuvent générer ces techniques (Grennepois et al., 2018), notamment dans la phase de prétraitement des données et des variables que nous venons de mentionner. Par exemple, il est reconnu que les performances prédictives des forêts aléatoires sont généralement robustes à la non-imputation des valeurs manquantes, à la présence de fortes corrélations entre certaines variables explicatives, au non-regroupement des modalités des variables discrètes, et à la non-discrétisation des variables continues. De la même façon, on observe que les méthodes de forêts aléatoires, de Boosting ou de réseaux de neurones sont plus robustes aux déséquilibres entre les classes, que les arbres de décision, l'analyse discriminante linéaire ou la régression logistique (Chen et al., 2022). Dès lors, l'utilisation de ces méthodes permet d'envisager de ne pas effectuer certains des prétraitements requis dans le cadre de la modélisation logistique. Si cet argu-

<footnote n="22">22. Une exception notable est celle de l'étude de Guégan et Hassani (2018) qui compare les résultats obtenus par des approches de ML aux estimations de PD produites par les modèles internes d'une banque, qui ont été validées par le régulateur.</footnote>
modélisations paramétriques standards.<fnref n="22" /> En effet, la construction d'un modèle de PD dans
le contexte IRB repose généralement sur une chaîne de prétraitements des données et des
variables qui entrent dans la régression logistique, utilisée in fine pour la différenciation des
risques. Ainsi, par exemple les variables continues sont généralement discrétisées afin de
limiter les effets des valeurs extrêmes et de faciliter l'interprétation de la grille de score.
Les seuils de discrétisation sont parfois choisis de sorte à maximiser le pouvoir discriminant
du modèle. De la même façon, les modalités des variables catégorielles sont regroupées
pour aider le modèle à mieux identifier le risque de défaut dans le portefeuille. Enfin, la
présélection des variables du modèle est basée sur une suite de tests permettant d'identifier
les variables les plus liées à la cible (tests de Kruskall-Wallis, tests du chi-deux, mesure du
V de Cramer, etc.) et de retirer les variables les plus corrélées entre elles. La sélection finale
parmi les variables candidates repose alors sur une méthode de sélection automatique (e.g.
stepwise) et sur une analyse fine des résultats prédictifs du modèle sur un échantillon test.
Or, dans la littérature académique, ces prétraitements ne sont généralement pas appliqués,
et la comparaison de la régression logistique aux méthodes de ML se fait sur la base de
données non transformées. Il y a donc un risque que les travaux académiques surestiment
les gains en termes de précision des techniques de ML, dès lors que ces travaux n'appliquent
pas ces différents prétraitements.

Une amélioration de la productivité. Un autre argument qui peut être avancé pour justifier l'utilisation du ML réside dans les gains de productivité que peuvent générer ces techniques (Grennepois et al., 2018), notamment dans la phase de prétraitement des données et des variables que nous venons de mentionner. Par exemple, il est reconnu que les performances prédictives des forêts aléatoires sont généralement robustes à la non-imputation des valeurs manquantes, à la présence de fortes corrélations entre certaines variables explicatives, au non-regroupement des modalités des variables discrètes, et à la non-discrétisation des variables continues. De la même façon, on observe que les méthodes de forêts aléatoires, de Boosting ou de réseaux de neurones sont plus robustes aux déséquilibres entre les classes, que les arbres de décision, l'analyse discriminante linéaire ou la régression logistique (Chen et al., 2022). Dès lors, l'utilisation de ces méthodes permet d'envisager de ne pas effectuer certains des prétraitements requis dans le cadre de la modélisation logistique. Si cet argu-

<footnote n="22">22. Une exception notable est celle de l'étude de Guégan et Hassani (2018) qui compare les résultats obtenus par des approches de ML aux estimations de PD produites par les modèles internes d'une banque, qui ont été validées par le régulateur.</footnote>
ment de gains de productivité est sans doute plus pertinent pour la modélisation des scores d'octroi ou des scores de suivi non réglementaires, du fait du grand nombre de modèles de ce type en production et de leur fréquence de révision, il n'est pas pour autant à exclure dans le contexte IRB. Mais au-delà des gains de productivité, l'utilisation du ML dans ce contexte peut être vue comme un moyen de réduire les éventuels biais de modélisation puisque, au final, ces algorithmes laissent parler les données brutes. Par définition, le recours au ML est un moyen de réduire le risque de modèle inhérent aux choix humains de modélisation.

**Autres utilisations en matière de risque.** Le ML peut également être utilisé pour la modélisation des autres paramètres de risque, i.e., la LGD, le CCF ou l'EAD. Toutefois, dans la littérature académique, on trouve encore peu d'applications pour le CCF ou la modélisation directe de l'EAD, l'essentiel des techniques utilisées restant des spécifications paramétriques de type modèles à réponse fractionnaire à la Papke et Wooldridge (1996) ou de type modèle à loi Gamma ajustée à zéro (ZAGA), comme par exemple dans l'étude de Tong et al. (2016). On trouve en revanche de nombreuses applications du ML pour la modélisation de la LGD. L'intérêt du ML réside ici dans sa flexibilité et sa capacité à capter le caractère multimodal de la distribution des pertes en cas de défaut. Mais cet apport est beaucoup plus limité que dans le cas de la PD, puisque les $R^2$ des modèles de LGD sont souvent très faibles, y compris pour les modèles de ML (Hurlin et al., 2018). C'est pourquoi les LGD sont rarement calibrées à partir de modèles prédictifs. Les banques utilisent généralement de simples techniques de segmentation permettant de regrouper les crédits en groupes homogènes, et leur affectent un taux de recouvrement moyen observé sur longue période.

L'étude comparative de Loterman et al. (2012) évalue 24 techniques de modélisation de LGD à partir de 6 bases de pertes en cas de défauts observés pour des crédits à la consommation. La plupart sont des techniques statistiques de base (tableau de contingence) ou des modélisations paramétriques (régression linéaire, modèle de survie, régression à réponse fractionnée, régression Bêta, modèle Tobit, etc.). Les seuls algorithmes de ML considérés sont des arbres de régression, des forêts aléatoires, des méthodes de Gradient Boosting, des ANN, et des SVR. Quel que soit le modèle considéré, les auteurs montrent qu'il est difficile d'identifier les facteurs de la perte en cas de défaut. Tous les modèles de LGD présentent une faible performance prédictive : la performance moyenne de prédiction des modèles sur les différentes bases, mesurée en termes de $R^2$, varie de 4% à 43%. Toutefois, il apparaît que
ment de gains de productivité est sans doute plus pertinent pour la modélisation des scores d'octroi ou des scores de suivi non réglementaires, du fait du grand nombre de modèles de ce type en production et de leur fréquence de révision, il n'est pas pour autant à exclure dans le contexte IRB. Mais au-delà des gains de productivité, l'utilisation du ML dans ce contexte peut être vue comme un moyen de réduire les éventuels biais de modélisation puisque, au final, ces algorithmes laissent parler les données brutes. Par définition, le recours au ML est un moyen de réduire le risque de modèle inhérent aux choix humains de modélisation.

**Autres utilisations en matière de risque.** Le ML peut également être utilisé pour la modélisation des autres paramètres de risque, i.e., la LGD, le CCF ou l'EAD. Toutefois, dans la littérature académique, on trouve encore peu d'applications pour le CCF ou la modélisation directe de l'EAD, l'essentiel des techniques utilisées restant des spécifications paramétriques de type modèles à réponse fractionnaire à la Papke et Wooldridge (1996) ou de type modèle à loi Gamma ajustée à zéro (ZAGA), comme par exemple dans l'étude de Tong et al. (2016). On trouve en revanche de nombreuses applications du ML pour la modélisation de la LGD. L'intérêt du ML réside ici dans sa flexibilité et sa capacité à capter le caractère multimodal de la distribution des pertes en cas de défaut. Mais cet apport est beaucoup plus limité que dans le cas de la PD, puisque les $R^2$ des modèles de LGD sont souvent très faibles, y compris pour les modèles de ML (Hurlin et al., 2018). C'est pourquoi les LGD sont rarement calibrées à partir de modèles prédictifs. Les banques utilisent généralement de simples techniques de segmentation permettant de regrouper les crédits en groupes homogènes, et leur affectent un taux de recouvrement moyen observé sur longue période.

L'étude comparative de Loterman et al. (2012) évalue 24 techniques de modélisation de LGD à partir de 6 bases de pertes en cas de défauts observés pour des crédits à la consommation. La plupart sont des techniques statistiques de base (tableau de contingence) ou des modélisations paramétriques (régression linéaire, modèle de survie, régression à réponse fractionnée, régression Bêta, modèle Tobit, etc.). Les seuls algorithmes de ML considérés sont des arbres de régression, des forêts aléatoires, des méthodes de Gradient Boosting, des ANN, et des SVR. Quel que soit le modèle considéré, les auteurs montrent qu'il est difficile d'identifier les facteurs de la perte en cas de défaut. Tous les modèles de LGD présentent une faible performance prédictive : la performance moyenne de prédiction des modèles sur les différentes bases, mesurée en termes de $R^2$, varie de 4% à 43%. Toutefois, il apparaît que
les modèles de ML, et en particulier les SVM et les ANN, sont légèrement plus performants que les techniques paramétriques traditionnelles. Plusieurs travaux montrent également que des approches en deux étapes combinant des méthodes de ML (arbres de décision et LS-SVM) et des méthodes paramétriques de classification et de régression, permettent de mieux capturer la dimension multimodale de la distribution des pertes (Bellotti et Crook, 2012; Yao et al., 2017).

## 4.2 Des gains potentiels en termes de capital réglementaire

Si l'on admet que l'usage du ML accroît la précision des estimations des paramètres de risque, encore faut-il que ces gains en précision se traduisent in fine par un allégement du capital réglementaire pour que les banques soient enclines à adopter ces techniques dans leurs modèles internes. Or, dans le cas de la modélisation de la PD, rien n'indique a priori que les gains prédictifs associés aux forêts aléatoires ou aux techniques de Gradient Boosting ne soient dus à une surestimation du risque de défaut par les approches paramétriques traditionnelles. Par ailleurs, si tant est que les méthodes de ML permettent des réductions de capital réglementaire, encore faut-il que ces modèles passent les tests de validation internes et les tests de validation des régulateurs. Sur le plan académique, on dispose encore de très peu de recul sur ces deux points. Seules quelques études ont été consacrées à l'évaluation économique des modèles de ML dans le contexte IRB, deux d'entre elles concernant les modèles de PD, et une portant sur les modèles de LGD.

**Modélisation de la PD.** L'étude la plus complète sur l'impact du ML sur les exigences en fonds propres réglementaires est celle de Fraisse et Laporte (2022). La démarche générale des auteurs consiste (i) à construire des pseudo modèles internes de PD fondés sur des algorithmes de ML usuels (forêt aléatoire, Boosting, régression Ridge, ANN), (ii) à vérifier que ces modèles seraient validés par un régulateur, puis (iii) à comparer les RWA déduits de ces modèles à ceux obtenus à partir des modèles usuels généralement mis en place dans les banques, ces derniers reposant essentiellement sur une combinaison de régression logistique et de jugements d'experts. Cette analyse mobilise des données granulaires qui portent sur 6 portefeuilles de crédits aux entreprises de grands groupes bancaires français, ces derniers représentant 80% des crédits distribués aux entreprises sur la période.<fnref n="23" /> Conformément à la

<footnote n="23">23. Les données proviennent de la centrale des risques (registre des crédits) et de la base FIBEN (Fichier Bancaire des Entreprises). Elles couvrent des crédits aux entreprises à l'exclusion des entreprises appartenant au secteur financier, au secteur immobilier, au secteur public et au secteur non lucratif. La base de données comporte des observations trimestrielles sur 229 657 entreprises de mars 2009 à juin 2015, soit au total</footnote>
les modèles de ML, et en particulier les SVM et les ANN, sont légèrement plus performants que les techniques paramétriques traditionnelles. Plusieurs travaux montrent également que des approches en deux étapes combinant des méthodes de ML (arbres de décision et LS-SVM) et des méthodes paramétriques de classification et de régression, permettent de mieux capturer la dimension multimodale de la distribution des pertes (Bellotti et Crook, 2012; Yao et al., 2017).

## 4.2 Des gains potentiels en termes de capital réglementaire

Si l'on admet que l'usage du ML accroît la précision des estimations des paramètres de risque, encore faut-il que ces gains en précision se traduisent in fine par un allégement du capital réglementaire pour que les banques soient enclines à adopter ces techniques dans leurs modèles internes. Or, dans le cas de la modélisation de la PD, rien n'indique a priori que les gains prédictifs associés aux forêts aléatoires ou aux techniques de Gradient Boosting ne soient dus à une surestimation du risque de défaut par les approches paramétriques traditionnelles. Par ailleurs, si tant est que les méthodes de ML permettent des réductions de capital réglementaire, encore faut-il que ces modèles passent les tests de validation internes et les tests de validation des régulateurs. Sur le plan académique, on dispose encore de très peu de recul sur ces deux points. Seules quelques études ont été consacrées à l'évaluation économique des modèles de ML dans le contexte IRB, deux d'entre elles concernant les modèles de PD, et une portant sur les modèles de LGD.

**Modélisation de la PD.** L'étude la plus complète sur l'impact du ML sur les exigences en fonds propres réglementaires est celle de Fraisse et Laporte (2022). La démarche générale des auteurs consiste (i) à construire des pseudo modèles internes de PD fondés sur des algorithmes de ML usuels (forêt aléatoire, Boosting, régression Ridge, ANN), (ii) à vérifier que ces modèles seraient validés par un régulateur, puis (iii) à comparer les RWA déduits de ces modèles à ceux obtenus à partir des modèles usuels généralement mis en place dans les banques, ces derniers reposant essentiellement sur une combinaison de régression logistique et de jugements d'experts. Cette analyse mobilise des données granulaires qui portent sur 6 portefeuilles de crédits aux entreprises de grands groupes bancaires français, ces derniers représentant 80% des crédits distribués aux entreprises sur la période.<fnref n="23" /> Conformément à la

<footnote n="23">23. Les données proviennent de la centrale des risques (registre des crédits) et de la base FIBEN (Fichier Bancaire des Entreprises). Elles couvrent des crédits aux entreprises à l'exclusion des entreprises appartenant au secteur financier, au secteur immobilier, au secteur public et au secteur non lucratif. La base de données comporte des observations trimestrielles sur 229 657 entreprises de mars 2009 à juin 2015, soit au total</footnote>
réglementation sur la validation des modèles internes, les auteurs considèrent des données trimestrielles historiques sur un horizon de 5 ans, de 2009 à 2014, pour construire les modèles internes, puis valident ces modèles sur les observations de l'année 2015.

Le grand avantage de l'étude de Fraisse et Laporte (2022) est qu'elle reproduit exactement la méthodologie IRB d'une banque. Dans une première étape, les auteurs construisent un score de risque continu exprimé en fonction d'une dizaine de facteurs de risque en utilisant soit une régression logistique, soit un algorithme de ML. Il est à noter que le ML n'intervient que dans cette phase de différenciation des risques. Dans une seconde étape, les entreprises sont regroupées en classes de risque homogène à partir du score de risque continu, transformé au préalable en une échelle de risque discrète, qui correspondrait à un système de notation. Enfin, dans une troisième étape, les auteurs affectent une probabilité de défaut à chaque classe de risque à partir d'un historique de défauts observés sur 1 an, puis calculent les exigences de fonds propres selon la formule Bâloise associée à l'approche IRB-F.<fnref n="24" />

La comparaison avec le modèle traditionnel utilisé par les banques est rendue possible par le fait que là encore, les auteurs cherchent à reproduire de façon fidèle toute la chaîne de prétraitements généralement mise en place par celles-ci avant d'appliquer la régression logistique comme modèle de différenciation des risques. Ces prétraitements incluent notamment l'élimination des variables présentant un trop grand nombre de valeurs manquantes, le contrôle des corrélations entre les variables, la discrétisation des variables continues, la création d'une classe associée aux valeurs manquantes, etc. La sélection des variables du modèle repose à la fois sur une approche quantitative et une approche qualitative (i.e., entretiens avec les agents de la Banque de France en charge de la notation des entreprises).<fnref n="25" />

La comparaison des modèles traditionnels et des modèles de ML se fait selon trois critères :

<footnote n="5">5 846 627 observations.</footnote>

<footnote n="24">24. Dans le cadre d'une approche IRB Foundation ou IRB-F, la banque est autorisée à développer son propre modèle interne pour estimer la PD, mais elle est tenue d'utiliser la LGD prescrite par le régulateur et d'autres paramètres requis pour calculer les RWA. A l'inverse, dans une approche IRB avancée ou IRB-A, la banque peut utiliser ses propres modèles internes pour l'ensemble des paramètres de risque, i.e., PD, LGD et CCF.</footnote>

<footnote n="25">25. L'analyse quantitative consiste à estimer un ensemble de régressions logistiques univariées sur l'indicateur de défaut incluant chaque variable discrétisée et des effets fixes de l'industrie, du statut judiciaire et de la taille. Les variables sont alors classées selon les mesures d'AUC obtenues dans ces régressions univariées et sont introduites dans le modèle final selon une procédure itérative en partant des variables associées aux mesures d'AUC les plus élevés. La sélection s'arrête lorsque l'ajout d'une nouvelle variable n'accroît pas de façon significative la performance prédictive du modèle. Cette méthode garantit la validité externe des conclusions de l'étude, qui sont ainsi obtenues dans un cadre méthodologique très proche des pratiques bancaires actuelles.</footnote>