# Ethics and NLP: 10 years after

Karën Fort, Aurélie Névéol

► To cite this version:

Karën Fort, Aurélie Névéol. Ethics and NLP: 10 years after. Journée d'études ATALA "éthique et TAL: 10 ans après", 2024. hal-04533870

HAL Id: hal-04533870

https://inria.hal.science/hal-04533870

Submitted on 5 Apr 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
<figure><img src="image_1.png" /></figure>

HAL
open science

# Ethics and NLP: 10 years after

Karën Fort, Aurélie Névéol

► To cite this version:

Karën Fort, Aurélie Névéol. Ethics and NLP: 10 years after. Journée d'études ATALA "éthique et TAL: 10 ans après", 2024. hal-04533870

HAL Id: hal-04533870

https://inria.hal.science/hal-04533870v1

Submitted on 5 Apr 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
ACTES DE LA JOURNÉE D'ÉTUDE
JOURNÉE ÉTHIQUE ET TAL 2024

AVEC LE SOUTIEN DE L'ATALA, DU GDR TAL ET DU GDR LIFT 2

ÉDITEURS

KARËN FORT

Sorbonne Université, Loria

AURÉLIE NÉVÉOL

Université Paris-Saclay, LISN

<figure><img src="image_2.png" /></figure>

ATALA

9 MARS 2024

LORIA, 615, RUE DU JARDIN BOTANIQUE, 54600 VILLERS-LES-NANCY
ACTES DE LA JOURNÉE D'ÉTUDE
JOURNÉE ÉTHIQUE ET TAL 2024

AVEC LE SOUTIEN DE L'ATALA, DU GDR TAL ET DU GDR LIFT 2

ÉDITEURS

KARËN FORT

Sorbonne Université, Loria

AURÉLIE NÉVÉOL

Université Paris-Saclay, LISN

<figure><img src="image_3.png" /></figure>

ATALA

9 MARS 2024

LORIA, 615, RUE DU JARDIN BOTANIQUE, 54600 VILLERS-LES-NANCY
# Préface

En 2014 eut lieu la première journée scientifique dédiée à l'éthique du TAL, la première journée ATALA Ethique et TAL. 10 ans plus tard, le monde du TAL a subi plusieurs révolutions et l'éthique n'a jamais été aussi présente, dans les médias, nos recherches, les appels des plus grandes conférences, comme dans l'administration du TAL international (comités d'éthique de conférences et d'ACL).

Nous nous proposons de faire le point sur les avancées et les défis à venir le 2 avril 2024, au LORIA (Nancy), avec vous et nos invité·e·s :

— Emily M. Bender (Professeure à l'Université de Washington, Présidente d'ACL),

— Steven Bird (Professeur à Charles Darwin University),

— Alexis Michaud (DR CNRS, LACITO).

# Organisatrices

Karën Fort, Aurélie Névéol.

# Comité de Programme

Gilles Adda, Maxime Amblard, Jean-Yves Antoine, Philippe Blache, Vincent Claveau, Miguel Couceiro, Fanny Ducel, Cécile Fabre, Benoît Favre, Karën Fort, Anaïs Lefeuvre-Halftermeyer, Gaël Lejeune, Hugues de Mazancourt, Alice Millour, Philippe Muller, Aurélie Névéol.

# Édition des actes

Caio Corro.

# Remerciements

Nous remercions Anne-Marie Messaoudi, Marie Baron, Caio Corro et Gaël Lejeune pour leur aide dans l'organisation de cette journée. Nous remercions l'ATALA, du GDR TAL et le GDR LIFT 2 pour le soutien financier. Nous remercions les auteurs et autrices des résumés qui rendent cette journée d'étude possible.
# Préface

En 2014 eut lieu la première journée scientifique dédiée à l'éthique du TAL, la première journée ATALA Ethique et TAL. 10 ans plus tard, le monde du TAL a subi plusieurs révolutions et l'éthique n'a jamais été aussi présente, dans les médias, nos recherches, les appels des plus grandes conférences, comme dans l'administration du TAL international (comités d'éthique de conférences et d'ACL).

Nous nous proposons de faire le point sur les avancées et les défis à venir le 2 avril 2024, au LORIA (Nancy), avec vous et nos invité·e·s :

— Emily M. Bender (Professeure à l'Université de Washington, Présidente d'ACL),

— Steven Bird (Professeur à Charles Darwin University),

— Alexis Michaud (DR CNRS, LACITO).

# Organisatrices

Karën Fort, Aurélie Névéol.

# Comité de Programme

Gilles Adda, Maxime Amblard, Jean-Yves Antoine, Philippe Blache, Vincent Claveau, Miguel Couceiro, Fanny Ducel, Cécile Fabre, Benoît Favre, Karën Fort, Anaïs Lefeuvre-Halftermeyer, Gaël Lejeune, Hugues de Mazancourt, Alice Millour, Philippe Muller, Aurélie Névéol.

# Édition des actes

Caio Corro.

# Remerciements

Nous remercions Anne-Marie Messaoudi, Marie Baron, Caio Corro et Gaël Lejeune pour leur aide dans l'organisation de cette journée. Nous remercions l'ATALA, du GDR TAL et le GDR LIFT 2 pour le soutien financier. Nous remercions les auteurs et autrices des résumés qui rendent cette journée d'étude possible.
Programme de la journée

<table><tr><td>9h</td><td>Accueil</td></tr><tr><td>9h30</td><td>Introduction (Karën Fort)</td></tr><tr><td>9h50</td><td>Présentations</td></tr></table>

— Évaluation éthique de l'impact du numérique : une typologie pour la détermination des risques et de leurs vulnérabilités dans une perspective conséquentialiste (Jean-Yves Antoine, Anaïs Halftermeyer)

— Empreinte carbone des expériences en TAL : les défis de la reproductibilité (Clément Morand, Aurélie Névéol, Anne-Laure Ligozat)

— Harmful NLP : Towards a systemic injustice approach (Marjolein Lanzing, Karin Schulz)

<table><tr><td>11h</td><td>Pause café + posters</td></tr></table>

— Les biais dans les LLMs, de quoi parle-t-on, quelles pistes pour les détecter et les mitiger ? (Anaïs Bekolo, Emilie Sirvent-Hien, Christèle Tarnec)

— What ChatGPT tells us about ourselves (Aaron Boussidan, Fanny Ducel, Aurélie Neveol, Karën Fort)

— Mesurer les risques de discrimination dans une tâche de détection d'entités nommées (Hugues de Mazancourt, Alice Bruguier, Flavie Nguyen)

— Towards an Ethical Compression of Large Language Models (Irina Proskurina, Guillaume Metzler, Julien Velcin)

<table><tr><td>12h</td><td>Présentation invitée<br>Meaning making with artificial interlocutors and risks of language technology<br>Emily M. Bender</td></tr></table>

<table><tr><td>13h-14h15</td><td>Déjeuner</td></tr></table>

<table><tr><td>14h15</td><td>Présentation invitée<br>Must NLP be Extractive?<br>Steven Bird</td></tr></table>

<table><tr><td>15h15</td><td>Présentations</td></tr></table>

— Petits oublis, grands effets : le silençage des communauté linguistiques mino-risées dans le TAL et ses conséquences (Mélanie Jouitteau, Loïc Grobol)

— Cross-Lingual Transfer of Debiasing Techniques (Manon Reusens, Philipp Bor-chert, Margot Mieskes, Jochen De Weerdt, Bart Baesens)

— Normaliser l'IA, une réponse au dilemme éthique des industriels de la langue (Hugues de Mazancourt, Alain Couillault)

<table><tr><td>16h15</td><td>Pause café</td></tr></table>

<table><tr><td>16h45</td><td>Présentation invitée<br>Des insouciances de l'archivisme à une réflexivité constante : considérations éthiques en linguistique de terrain à l'ère du TAL<br>Alexis Michaud</td></tr></table>

<table><tr><td>18h</td><td>Fin</td></tr></table>
Programme de la journée

<table><tr><td>9h</td><td>Accueil</td></tr><tr><td>9h30</td><td>Introduction (Karën Fort)</td></tr><tr><td>9h50</td><td>Présentations</td></tr></table>

— Évaluation éthique de l'impact du numérique : une typologie pour la détermination des risques et de leurs vulnérabilités dans une perspective conséquentialiste (Jean-Yves Antoine, Anaïs Halftermeyer)

— Empreinte carbone des expériences en TAL : les défis de la reproductibilité (Clément Morand, Aurélie Névéol, Anne-Laure Ligozat)

— Harmful NLP : Towards a systemic injustice approach (Marjolein Lanzing, Karin Schulz)

<table><tr><td>11h</td><td>Pause café + posters</td></tr></table>

— Les biais dans les LLMs, de quoi parle-t-on, quelles pistes pour les détecter et les mitiger ? (Anaïs Bekolo, Emilie Sirvent-Hien, Christèle Tarnec)

— What ChatGPT tells us about ourselves (Aaron Boussidan, Fanny Ducel, Aurélie Neveol, Karën Fort)

— Mesurer les risques de discrimination dans une tâche de détection d'entités nommées (Hugues de Mazancourt, Alice Bruguier, Flavie Nguyen)

— Towards an Ethical Compression of Large Language Models (Irina Proskurina, Guillaume Metzler, Julien Velcin)

<table><tr><td>12h</td><td>Présentation invitée<br>Meaning making with artificial interlocutors and risks of language technology<br>Emily M. Bender</td></tr></table>

<table><tr><td>13h-14h15</td><td>Déjeuner</td></tr></table>

<table><tr><td>14h15</td><td>Présentation invitée<br>Must NLP be Extractive?<br>Steven Bird</td></tr></table>

<table><tr><td>15h15</td><td>Présentations</td></tr></table>

— Petits oublis, grands effets : le silençage des communauté linguistiques mino-risées dans le TAL et ses conséquences (Mélanie Jouitteau, Loïc Grobol)

— Cross-Lingual Transfer of Debiasing Techniques (Manon Reusens, Philipp Bor-chert, Margot Mieskes, Jochen De Weerdt, Bart Baesens)

— Normaliser l'IA, une réponse au dilemme éthique des industriels de la langue (Hugues de Mazancourt, Alain Couillault)

<table><tr><td>16h15</td><td>Pause café</td></tr></table>

<table><tr><td>16h45</td><td>Présentation invitée<br>Des insouciances de l'archivisme à une réflexivité constante : considérations éthiques en linguistique de terrain à l'ère du TAL<br>Alexis Michaud</td></tr></table>

<table><tr><td>18h</td><td>Fin</td></tr></table>
Table des matières

1 Évaluation éthique de l'impact du numérique : une typologie pour la détermination des risques et de leurs vulnérabilités dans une perspective conséquentialiste
Jean-Yves Antoine, Anaïs Halftermeyer 5

2 Empreinte carbone des expériences en TAL : les défis de la reproductibilité
Clément Morand, Aurélie Névéol, Anne-Laure Ligozat 9

3 Harmful NLP : Towards a Systemic Injustice Approach
Marjolein Lanzing, Katrin Schulz 13

4 Les biais dans les LLMs, de quoi parle-t-on, quelles pistes pour les détecter et les mitiger ?
Anaïs Bekolo, Emilie Sirvent-Hien, Christèle Tarnec 15

5 What ChatGPT tells us about ourselves
Aaron Boussidan, Fanny Ducel, Aurélie Neveol, Karën Fort 21

6 Mesurer les risques de discrimination dans une tâche de détection d'entités nommées
Hugues de Mazancourt, Alice Bruguier, Flavie Nguyen 29

7 Towards an Ethical Compression of Large Language Models
Irina Proskurina, Guillaume Metzler, Julien Velcin 33

8 Petits oublis, grands effets : le silençage des communauté linguistiques minorisées dans le TAL et ses conséquences
Mélanie Jouitteau, Loïc Grobol 36

9 Normaliser l'IA, une réponse au dilemme éthique des industriels de la langue
Hugues de Mazancourt, Alain Couillault 39
Table des matières

1 Évaluation éthique de l'impact du numérique : une typologie pour la détermination des risques et de leurs vulnérabilités dans une perspective conséquentialiste
Jean-Yves Antoine, Anaïs Halftermeyer 5

2 Empreinte carbone des expériences en TAL : les défis de la reproductibilité
Clément Morand, Aurélie Névéol, Anne-Laure Ligozat 9

3 Harmful NLP : Towards a Systemic Injustice Approach
Marjolein Lanzing, Katrin Schulz 13

4 Les biais dans les LLMs, de quoi parle-t-on, quelles pistes pour les détecter et les mitiger ?
Anaïs Bekolo, Emilie Sirvent-Hien, Christèle Tarnec 15

5 What ChatGPT tells us about ourselves
Aaron Boussidan, Fanny Ducel, Aurélie Neveol, Karën Fort 21

6 Mesurer les risques de discrimination dans une tâche de détection d'entités nommées
Hugues de Mazancourt, Alice Bruguier, Flavie Nguyen 29

7 Towards an Ethical Compression of Large Language Models
Irina Proskurina, Guillaume Metzler, Julien Velcin 33

8 Petits oublis, grands effets : le silençage des communauté linguistiques minorisées dans le TAL et ses conséquences
Mélanie Jouitteau, Loïc Grobol 36

9 Normaliser l'IA, une réponse au dilemme éthique des industriels de la langue
Hugues de Mazancourt, Alain Couillault 39
# ÉVALUATION ÉTHIQUE DE L'IMPACT DU NUMÉRIQUE : 10 ANS PLUS TARD, UNE TYPOLOGIE MISE À JOUR POUR LA DÉTERMINATION DES RISQUES ET DE LEURS VULNÉRABILITÉS DANS UNE PERSPECTIVE CONSÉQUENTIALISTE.

Jean-Yves Antoine¹²*, Anais Halftermeyer²¹*

¹LIFAT, fédération ICVL, Université de Tours

²LIFO, fédération ICVL, Université d'Orléans

*Adresses mail: Jean-Yves.Antoine@univ-tours.fr, Anais.Halftermeyer@univ-orleans.fr

## ABSTRACT

This paper proposes to assess the ethical impacts of digital technologies by means of a risk analysis that relates to a consequentialist vision of ethics. This analysis relies on a typology of risk vulnerabilities that aims to cover all the potential impacts of any digital technology. The typology provides an evaluation grid for an ethical assessment of researches and applications, particularly in AI and NLP. It is structured as a hierarchy of vulnerability where the top classes are corresponding to environmental risks (geophysics and biodiversity), individual risk (physical, cognitive and psychological vulnerabilities) and societal risks (psychosocial and social vulnerabilities).

## 1 Introduction

La récente apparition dans le débat public des grands modèles de langage et de l'IA générative a mis en exergue de manière particulièrement visible la question des enjeux éthiques posés par l'Intelligence Artificielle. Si l'importance de ces questions se trouve renforcée par l'explosion des applications de l'Intelligence Artificielle, ces enjeux ne sont pourtant pas nouveaux. Il y a ainsi près de 40 ans, Mason (1986) s'interrogeait sur l'ensemble des bonnes propriétés éthiques que se devait de respecter tout concepteur informatique. Les principes PAPA (Privacy, Accuracy, Property, Accessibility) qu'il a proposés alors sont toujours d'actualité. Avec l'émergence des techniques d'apprentissage automatique en Intelligence Artificielle, de nouveaux principes éthiques ont été progressivement considérés tels que par exemple l'équité (fairness) ou la transparence des modèles élaborés. Au vu de l'accélération des applications relevant de l'Intelligence Artificielle, il semble important que l'évaluation éthique des systèmes numériques (IA comprise) ne se contente pas de suivre l'évolution des techniques et la découverte de problèmes après déploiement. De fait, il semble intéressant que cette évaluation éthique puisse considérer une application numérique d'une manière proche de celle de tout autre artefact technique. Dans cette perspective, nous proposons un cadre d'analyse éthique préventif reposant sur deux idées principales :

* Définition d'une typologie de facteurs de risque guidée par la recherche des objets (environnement, individus, société...) pouvant subir l'impact d'une technologie donnée. Cette analyse de risque est conduite dans une démarche conséquentialiste qui ne doit pas être confondue avec une démarche utilitariste (Mill 1861). Notre propos n'est en effet pas de chercher une maximisation théorique du bien-être permis par la technologie, mais de caractériser des facteurs d'attention qui pourront servir au débat sur le déploiement et les conditions d'usage d'une technologie.

* Analyse éthique agnostique, au sens où la typologie de facteurs de risque est indépendante de l'état de l'art technologie numérique et peut s'appliquer à tout artefact technique<fnref n="1" />.

Notre démarche s'éloigne, sans s'opposer, des initiatives institutionnelles promues jusqu'à une date récente en matière d'évaluation de l'impact éthique des technologies numériques. Celles-ci reposaient en effet avant tout sur une vision éthique de type déontologique.

<footnote n="1">¹Notons toutefois que notre réflexion a effectivement été guidée par l'évolution du Traitement Automatique des Langues et de l'Intelligence Artificielle.</footnote>
# ÉVALUATION ÉTHIQUE DE L'IMPACT DU NUMÉRIQUE : 10 ANS PLUS TARD, UNE TYPOLOGIE MISE À JOUR POUR LA DÉTERMINATION DES RISQUES ET DE LEURS VULNÉRABILITÉS DANS UNE PERSPECTIVE CONSÉQUENTIALISTE.

Jean-Yves Antoine¹²*, Anaïs Halftermeyer²¹*

¹LIFAT, fédération ICVL, Université de Tours

²LIFO, fédération ICVL, Université d'Orléans

*Adresses mail: Jean-Yves.Antoine@univ-tours.fr, Anais.Halftermeyer@univ-orleans.fr

## ABSTRACT

This paper proposes to assess the ethical impacts of digital technologies by means of a risk analysis that relates to a consequentialist vision of ethics. This analysis relies on a typology of risk vulnerabilities that aims to cover all the potential impacts of any digital technology. The typology provides an evaluation grid for an ethical assessment of researches and applications, particularly in AI and NLP. It is structured as a hierarchy of vulnerability where the top classes are corresponding to environmental risks (geophysics and biodiversity), individual risk (physical, cognitive and psychological vulnerabilities) and societal risks (psychosocial and social vulnerabilities).

## 1 Introduction

La récente apparition dans le débat public des grands modèles de langage et de l'IA générative a mis en exergue de manière particulièrement visible la question des enjeux éthiques posés par l'Intelligence Artificielle. Si l'importance de ces questions se trouve renforcée par l'explosion des applications de l'Intelligence Artificielle, ces enjeux ne sont pourtant pas nouveaux. Il y a ainsi près de 40 ans, Mason (1986) s'interrogeait sur l'ensemble des bonnes propriétés éthiques que se devait de respecter tout concepteur informatique. Les principes PAPA (Privacy, Accuracy, Property, Accessibility) qu'il a proposés alors sont toujours d'actualité. Avec l'émergence des techniques d'apprentissage automatique en Intelligence Artificielle, de nouveaux principes éthiques ont été progressivement considérés tels que par exemple l'équité (fairness) ou la transparence des modèles élaborés. Au vu de l'accélération des applications relevant de l'Intelligence Artificielle, il semble important que l'évaluation éthique des systèmes numériques (IA comprise) ne se contente pas de suivre l'évolution des techniques et la découverte de problèmes après déploiement. De fait, il semble intéressant que cette évaluation éthique puisse considérer une application numérique d'une manière proche de celle de tout autre artefact technique. Dans cette perspective, nous proposons un cadre d'analyse éthique préventif reposant sur deux idées principales :

* Définition d'une typologie de facteurs de risque guidée par la recherche des objets (environnement, individus, société...) pouvant subir l'impact d'une technologie donnée. Cette analyse de risque est conduite dans une démarche conséquentialiste qui ne doit pas être confondue avec une démarche utilitariste (Mill 1861). Notre propos n'est en effet pas de chercher une maximisation théorique du bien-être permis par la technologie, mais de caractériser des facteurs d'attention qui pourront servir au débat sur le déploiement et les conditions d'usage d'une technologie.

* Analyse éthique agnostique, au sens où la typologie de facteurs de risque est indépendante de l'état de l'art technologie numérique et peut s'appliquer à tout artefact technique<fnref n="1" />.

Notre démarche s'éloigne, sans s'opposer, des initiatives institutionnelles promues jusqu'à une date récente en matière d'évaluation de l'impact éthique des technologies numériques. Celles-ci reposaient en effet avant tout sur une vision éthique de type déontologique.

<footnote n="1">¹Notons toutefois que notre réflexion a effectivement été guidée par l'évolution du Traitement Automatique des Langues et de l'Intelligence Artificielle.</footnote>
## 2 Évaluation éthique de l'Intelligence Artificielle : recommandations et éthique déontologique

L'émergence des techniques d'apprentissage automatique a permis une vraie prise de conscience par la communauté informatique des impacts éthiques de l'Intelligence Artificielle et plus globalement du numérique. Ainsi, l'observation de biais de genre ou d'origine dans les données d'apprentissage et la reproduction des stéréotypes dont ils découlaient a conduit à donner une attention particulière à l'équité des modèles. La capacité de ces modèles à proposer une aide à la décision efficace mais peu explicable a également mis en avant la question de la transparence des modèles. Au fil des problèmes identifiés, les acteurs et actrices du numériques ont ainsi défini un ensemble de principes (privacy, property, accuracy, fairness, transparency, human-control, accessibility, responsability...) qui ont été mis en avant, dans une démarche déontologique, comme devant être au centre des préoccupations d'une conception responsable des systèmes. Ces principes ont été regroupés dans une multitude de guides de recommandations, qui ont été aussi bien le fait de scientificités réunis par des institutions nationales (Dittrich and Kenneally 2012, CNIL 2017) ou transnationales telles que l'UE (Council of the European Union 2024), l'UNESCO ou l'ONU (GEHN IA 2018,...) que par des industriels (The Future of Life Institute 2017)<fnref n="2" />. Jobin et al. (2019) propose un panorama très complet du foisonnement des initiatives de ce type. Plus récemment, ces guides ont été accompagnés d'outils méthodologiques proposant une évaluation du respect de ces recommandations déontologiques sous forme de questionnaires, pouvant conduire à la définition d'un score de qualité éthique. Un exemple parmi d'autres de ce type d'initiatives se retrouve par exemple dans l'Ethical Impact Assessment<fnref n="3" /> (EIA) tool proposé par l'UNESCO en 2023, ou bien encore dans l'Outil d'Évaluation de l'Incidence Algorithmique mis en place par l'État canadien<fnref n="4" />. Ces initiatives sont utiles à une conception responsable au sens où elles offrent un outillage méthodologique pratique pour analyser les implications éthiques des technologies que l'on développe. Elles proposent un cadre d'analyse à gros grain qui est également intéressant pour guider le débat et la décision politique et qui se focalise sur les préoccupations identifiées comme majeures par l'ensemble des acteurs et actrices du numérique. Ce type de démarche nous apparaît toutefois insuffisant pour répondre à certaines questions qui ne sauraient être ignorées :

* Les principes déontologiques définis dans ces recommandations sont tous issus de problèmes identifiés sur des technologies déployées. Ils peuvent dès lors passer à côté de points d'attention non encore identifiés ou de techniques émergentes.

* Ces principes mettent en exergue des préoccupations essentielles auxquelles il convient d'être très attentifs. Ils laissent toutefois de côté des préoccupations à grain plus fin qui pourraient de ce fait être ignorées. Les outils d'évaluation déontologique avec calcul de score reposant sur le respect de principes centraux pourrait ainsi laisser une impression erronée de sûreté éthique d'applications potentiellement problématiques.

C'est pour répondre à ces insuffisances que nous proposons un cadre d'évaluation conséquentialiste dont l'objectif est d'éclairer la conception en identifiant des sujets de préoccupation potentiellement ignorés. Ceci pour nourrir un débat éthique et non pas pour proposer une sorte de "certification" éthique. Ne visant pas les mêmes objectifs au-delà d'une conception responsable, approche déontologique et approche conséquentialiste nous apparaissent de ce point de vue complémentaires.

## 3 Typologie de risques pour une caractérisation conséquentialiste des impacts

L'éthique conséquentialiste suit une approche téléologique qui se focalise non pas sur des principes moraux à respecter, mais sur les conséquences de nos actions (ici, le développement mais également l'usage d'applications numériques). Les principes de précaution et de responsabilité, théorisés par Jonas (1979), relèvent de cette logique et répondent à notre démarche. Notre objectif est de définir un cadre systématique pour l'étude des impacts potentiels d'une technologie. L'idée est de caractériser ces impacts en terme de risques (positifs ou négatifs), à l'instar de l'analyse du risque industriel ou environnemental. Nous proposons ainsi de suivre un cadre normatif standard, comme par exemple les normes européennes (EN 292-1 et EN 1050) "relatives aux risques ayant incidence sur la santé humaine". Dans ce type de démarche, le risque est modélisé comme l'association de trois concepts :

* **le facteur de risque**, qui caractérise l'élément ou le processus susceptible de causer un risque, donc d'être la cause d'une situation indésirable (ici, le développement et/ou l'usage d'une technologie),

* **la vulnérabilité**, qui revient à décrire l'objet du risque, à savoir l'élément qui le subit et d'autre part ses conséquences,

<footnote n="2">²https://futureoflife.org/open-letter/ai-principles/</footnote>

<footnote n="3">³https://www.unesco.org/en/articles/ethical-impact-assessment-tool-recommendation-ethics-artificial-intelligence</footnote>

<footnote n="4">⁴https://www.canada.ca/fr/gouvernement/systeme/gouvernement-numerique/innovations-gouvernementales-numeriques/utilisation-responsable-ai/evaluation-incidence-algorithmique.html</footnote>
## 2 Évaluation éthique de l'Intelligence Artificielle : recommandations et éthique déontologique

L'émergence des techniques d'apprentissage automatique a permis une vraie prise de conscience par la communauté informatique des impacts éthiques de l'Intelligence Artificielle et plus globalement du numérique. Ainsi, l'observation de biais de genre ou d'origine dans les données d'apprentissage et la reproduction des stéréotypes dont ils découlaient a conduit à donner une attention particulière à l'équité des modèles. La capacité de ces modèles à proposer une aide à la décision efficace mais peu explicable a également mis en avant la question de la transparence des modèles. Au fil des problèmes identifiés, les acteurs et actrices du numériques ont ainsi défini un ensemble de principes (privacy, property, accuracy, fairness, transparency, human-control, accessibility, responsability...) qui ont été mis en avant, dans une démarche déontologique, comme devant être au centre des préoccupations d'une conception responsable des systèmes. Ces principes ont été regroupés dans une multitude de guides de recommandations, qui ont été aussi bien le fait de scientificités réunis par des institutions nationales (Dittrich and Kenneally 2012, CNIL 2017) ou transnationales telles que l'UE (Council of the European Union 2024), l'UNESCO ou l'ONU (GEHN IA 2018,...) que par des industriels (The Future of Life Institute 2017)<fnref n="2" />. Jobin et al. (2019) propose un panorama très complet du foisonnement des initiatives de ce type. Plus récemment, ces guides ont été accompagnés d'outils méthodologiques proposant une évaluation du respect de ces recommandations déontologiques sous forme de questionnaires, pouvant conduire à la définition d'un score de qualité éthique. Un exemple parmi d'autres de ce type d'initiatives se retrouve par exemple dans l'Ethical Impact Assessment<fnref n="3" /> (EIA) tool proposé par l'UNESCO en 2023, ou bien encore dans l'Outil d'Évaluation de l'Incidence Algorithmique mis en place par l'État canadien<fnref n="4" />. Ces initiatives sont utiles à une conception responsable au sens où elles offrent un outillage méthodologique pratique pour analyser les implications éthiques des technologies que l'on développe. Elles proposent un cadre d'analyse à gros grain qui est également intéressant pour guider le débat et la décision politique et qui se focalise sur les préoccupations identifiées comme majeures par l'ensemble des acteurs et actrices du numérique. Ce type de démarche nous apparaît toutefois insuffisant pour répondre à certaines questions qui ne sauraient être ignorées :

* Les principes déontologiques définis dans ces recommandations sont tous issus de problèmes identifiés sur des technologies déployées. Ils peuvent dès lors passer à côté de points d'attention non encore identifiés ou de techniques émergentes.

* Ces principes mettent en exergue des préoccupations essentielles auxquelles il convient d'être très attentifs. Ils laissent toutefois de côté des préoccupations à grain plus fin qui pourraient de ce fait être ignorées. Les outils d'évaluation déontologique avec calcul de score reposant sur le respect de principes centraux pourrait ainsi laisser une impression erronée de sûreté éthique d'applications potentiellement problématiques.

C'est pour répondre à ces insuffisances que nous proposons un cadre d'évaluation conséquentialiste dont l'objectif est d'éclairer la conception en identifiant des sujets de préoccupation potentiellement ignorés. Ceci pour nourrir un débat éthique et non pas pour proposer une sorte de "certification" éthique. Ne visant pas les mêmes objectifs au-delà d'une conception responsable, approche déontologique et approche conséquentialiste nous apparaissent de ce point de vue complémentaires.

## 3 Typologie de risques pour une caractérisation conséquentialiste des impacts

L'éthique conséquentialiste suit une approche téléologique qui se focalise non pas sur des principes moraux à respecter, mais sur les conséquences de nos actions (ici, le développement mais également l'usage d'applications numériques). Les principes de précaution et de responsabilité, théorisés par Jonas (1979), relèvent de cette logique et répondent à notre démarche. Notre objectif est de définir un cadre systématique pour l'étude des impacts potentiels d'une technologie. L'idée est de caractériser ces impacts en terme de risques (positifs ou négatifs), à l'instar de l'analyse du risque industriel ou environnemental. Nous proposons ainsi de suivre un cadre normatif standard, comme par exemple les normes européennes (EN 292-1 et EN 1050) "relatives aux risques ayant incidence sur la santé humaine". Dans ce type de démarche, le risque est modélisé comme l'association de trois concepts :

* **le facteur de risque**, qui caractérise l'élément ou le processus susceptible de causer un risque, donc d'être la cause d'une situation indésirable (ici, le développement et/ou l'usage d'une technologie),

* **la vulnérabilité**, qui revient à décrire l'objet du risque, à savoir l'élément qui le subit et d'autre part ses conséquences,

<footnote n="2">²https://futureoflife.org/open-letter/ai-principles/</footnote>

<footnote n="3">³https://www.unesco.org/en/articles/ethical-impact-assessment-tool-recommendation-ethics-artificial-intelligence</footnote>

<footnote n="4">⁴https://www.canada.ca/fr/gouvernement/systeme/gouvernement-numerique/innovations-gouvernementales-numeriques/utilisation-responsable-ai/evaluation-incidence-algorithmique.html</footnote>
* la **criticité**, qui combine l'impact du risque (son effet ou sa gravité, pour reprendre le standard européen détaillé plus haut) avec sa probabilité d'occurrence. La question que l'on se pose ici est l'évaluation de l'impact des technologies que nous développons. Cette évaluation peut être expérimentale (étude statistique sur une population de test) ou subjective et introspective (retour d'expérience d'experts, par exemple). Une analyse sérieuse de la criticité est le plus souvent une entreprise lourde et ne peut être menée que si l'analyse des vulnérabilités a caractérisé préalablement en enjeu suffisamment sensible pour la justifier.

Dans le cadre de nos travaux, notre objectif n'est donc pas de conduire une évaluation complète (par exemple à la manière du calcul d'un "score éthique" utilitariste) mais d'aider les personnes impliquées dans la conception ou le déploiement d'une technologie à caractériser les points de préoccupation qui devront conduire éventuellement à une analyse plus poussée. Notre propos n'est donc pas de proposer une méthode pour estimer la criticité d'un risque éthique, mais de définir de manière exhaustive, les objets de vulnérabilité éthique d'un système. Notre cadre d'analyse se focalise donc sur l'étude des vulnérabilités liés à un système technique et repose sur une typologie hiérarchique de celles-ci, distinguant pour le premier niveau les risques *environnementaux*, *individuels* et *sociétaux*. Les niveaux inférieurs de la typologie concernent les conséquences spécifiques à chaque vulnérabilité. Par exemple, dans le cadre du risque *individuel*, on distingue les impacts (positifs comme négatifs) du système en termes d'impact *physique*, *cognitif* ou *psychique*. Chaque conséquence peut elle-même est subdivisée en sous-types d'impacts, afin de fournir une illustration de chaque branche et feuille pour guider une étude conséquentialiste.

# 4 Conclusion

Pour élaborer notre typologie de vulnérabilités, nous avons considéré dans un premier temps des nomenclatures médicales (classifications CIF, CIM ou DSM de l'OMS ou de l'APA) ou des études sociales établies en dehors de toute considération liées à l'usage d'artefacts techniques. Ce n'est que dans second temps que nous avons testé la validité de cette catégorisation par l'étude d'études documentant les effets liés à l'usage d'une grande diversité de systèmes numériques. La première version de cette typologie a été proposée il y a désormais 10 ans : Antoine et al. (2014); Lefeuvre et al. (2015); Lefeuvre-Halftermeyer et al. (2016). Nous l'avons réactualisée au fil de la découverte de nouveaux impacts relevés dans la littérature. L'arrivée de l'IA générative pose avec acuité de nouvelles préoccupations non envisagées par le passé. Cette arrivée subite nous a permis de valider la robustesse de notre typologie et nous sommes confiants dans sa capacité à proposer un cadre préventif d'analyse éthique dans le futur. Cette vision conséquentialiste des enjeux éthiques liés à la conception et au déploiement d'une technologie est restée très rare dans le domaine du numérique. Notre typologie se rapproche toutefois de deux propositions récentes de taxonomies d'impacts sociotechniques des systèmes numériques dans le domaine de la vision par ordinateur et/ou du traitement automatique des langues (Katzman et al. 2021; Shelby et al. 2023)<fnref n="5" />. Les taxonomies proposées par Katzman et al. (2021) et Shelby et al. (2023) nous semblent plus liées à la technologie que notre proposition, et sont marquées par un focus particulier sur le renforcement des biais sociaux dans la société. Les revues de la littérature menées dans ces études sont par contre impressionnantes par leur caractère exhaustif et systématisé. Notre intention est donc de reprendre toutes les études relevées dans ces synthèses pour éprouver notre taxonomie, avant d'en faire une publication publique et éventuellement participative sous forme d'une ontologie. Nous aimerions par ailleurs réfléchir à l'implémentation de cette taxonomie dans le cadre d'une analyse de risque menée dans le cadre de l'IA Act européen.

# References

Antoine, J.-Y., Labat, M.-E., Lefeuvre, A., and Toinard, C. (2014). Vers une méthode de maîtrise des risques dans l'informatisation de l'aide au handicap. In *Envirorisk'2014, Le forum de la gestion des risques technologiques, naturels et sanitaires*, Gestion des risques naturels, technologiques et sanitaires - Forum Envirorisk'2014, page 9 pages, Bourges, France. Cépaduès.

CNIL (2017). Comment permettre à l'homme de garder la main ? les enjeux éthiques des algorithmes et de l'intelligence artificielle. rapport de synthèse du débat public « éthique et numérique ». Technical report, CNIL.

Council of the European Union (2024). IA ACT. https://artificialintelligenceact.eu/fr/ai-act-explorer/.

Dittrich, D. and Kenneally, E. (2012). The menlo report: Ethical principles guiding information and communication technology research. SSRN Electronic Journal.

<footnote n="5">⁵Shelby et al. (2023) propose ainsi une catégorisation des préjudices potentiels des technologies numériques en 5 catégories distinctes : représentationnels, économiques, variation des performances des systèmes suivant les individus ou les catégories sociales, interpersonnels, sociétaux. Cette taxonomie est ensuite raffinée sur un second niveau de sous-types de préjudices potentiels. La démarche de Katzman et al. (2021) et celle de Shelby et al. (2023) sont ainsi très proches de la notre, et visent le même objectif : définir une check-list de préoccupations potentielles à étudier systématiquement dans la perspective d'une conception responsable.</footnote>
* la **criticité**, qui combine l'impact du risque (son effet ou sa gravité, pour reprendre le standard européen détaillé plus haut) avec sa probabilité d'occurrence. La question que l'on se pose ici est l'évaluation de l'impact des technologies que nous développons. Cette évaluation peut être expérimentale (étude statistique sur une population de test) ou subjective et introspective (retour d'expérience d'experts, par exemple). Une analyse sérieuse de la criticité est le plus souvent une entreprise lourde et ne peut être menée que si l'analyse des vulnérabilités a caractérisé préalablement en enjeu suffisamment sensible pour la justifier.

Dans le cadre de nos travaux, notre objectif n'est donc pas de conduire une évaluation complète (par exemple à la manière du calcul d'un "score éthique" utilitariste) mais d'aider les personnes impliquées dans la conception ou le déploiement d'une technologie à caractériser les points de préoccupation qui devront conduire éventuellement à une analyse plus poussée. Notre propos n'est donc pas de proposer une méthode pour estimer la criticité d'un risque éthique, mais de définir de manière exhaustive, les objets de vulnérabilité éthique d'un système. Notre cadre d'analyse se focalise donc sur l'étude des vulnérabilités liés à un système technique et repose sur une typologie hiérarchique de celles-ci, distinguant pour le premier niveau les risques *environnementaux*, *individuels* et *sociétaux*. Les niveaux inférieurs de la typologie concernent les conséquences spécifiques à chaque vulnérabilité. Par exemple, dans le cadre du risque *individuel*, on distingue les impacts (positifs comme négatifs) du système en termes d'impact *physique*, *cognitif* ou *psychique*. Chaque conséquence peut elle-même est subdivisée en sous-types d'impacts, afin de fournir une illustration de chaque branche et feuille pour guider une étude conséquentialiste.

# 4 Conclusion

Pour élaborer notre typologie de vulnérabilités, nous avons considéré dans un premier temps des nomenclatures médicales (classifications CIF, CIM ou DSM de l'OMS ou de l'APA) ou des études sociales établies en dehors de toute considération liées à l'usage d'artefacts techniques. Ce n'est que dans second temps que nous avons testé la validité de cette catégorisation par l'étude d'études documentant les effets liés à l'usage d'une grande diversité de systèmes numériques. La première version de cette typologie a été proposée il y a désormais 10 ans : Antoine et al. (2014); Lefeuvre et al. (2015); Lefeuvre-Halftermeyer et al. (2016). Nous l'avons réactualisée au fil de la découverte de nouveaux impacts relevés dans la littérature. L'arrivée de l'IA générative pose avec acuité de nouvelles préoccupations non envisagées par le passé. Cette arrivée subite nous a permis de valider la robustesse de notre typologie et nous sommes confiants dans sa capacité à proposer un cadre préventif d'analyse éthique dans le futur. Cette vision conséquentialiste des enjeux éthiques liés à la conception et au déploiement d'une technologie est restée très rare dans le domaine du numérique. Notre typologie se rapproche toutefois de deux propositions récentes de taxonomies d'impacts sociotechniques des systèmes numériques dans le domaine de la vision par ordinateur et/ou du traitement automatique des langues (Katzman et al. 2021; Shelby et al. 2023)<fnref n="5" />. Les taxonomies proposées par Katzman et al. (2021) et Shelby et al. (2023) nous semblent plus liées à la technologie que notre proposition, et sont marquées par un focus particulier sur le renforcement des biais sociaux dans la société. Les revues de la littérature menées dans ces études sont par contre impressionnantes par leur caractère exhaustif et systématisé. Notre intention est donc de reprendre toutes les études relevées dans ces synthèses pour éprouver notre taxonomie, avant d'en faire une publication publique et éventuellement participative sous forme d'une ontologie. Nous aimerions par ailleurs réfléchir à l'implémentation de cette taxonomie dans le cadre d'une analyse de risque menée dans le cadre de l'IA Act européen.

# References

Antoine, J.-Y., Labat, M.-E., Lefeuvre, A., and Toinard, C. (2014). Vers une méthode de maîtrise des risques dans l'informatisation de l'aide au handicap. In *Envirorisk'2014, Le forum de la gestion des risques technologiques, naturels et sanitaires*, Gestion des risques naturels, technologiques et sanitaires - Forum Envirorisk'2014, page 9 pages, Bourges, France. Cépaduès.

CNIL (2017). Comment permettre à l'homme de garder la main ? les enjeux éthiques des algorithmes et de l'intelligence artificielle. rapport de synthèse du débat public « éthique et numérique ». Technical report, CNIL.

Council of the European Union (2024). IA ACT. https://artificialintelligenceact.eu/fr/ai-act-explorer/.

Dittrich, D. and Kenneally, E. (2012). The menlo report: Ethical principles guiding information and communication technology research. SSRN Electronic Journal.

<footnote n="5">⁵Shelby et al. (2023) propose ainsi une catégorisation des préjudices potentiels des technologies numériques en 5 catégories distinctes : représentationnels, économiques, variation des performances des systèmes suivant les individus ou les catégories sociales, interpersonnels, sociétaux. Cette taxonomie est ensuite raffinée sur un second niveau de sous-types de préjudices potentiels. La démarche de Katzman et al. (2021) et celle de Shelby et al. (2023) sont ainsi très proches de la notre, et visent le même objectif : définir une check-list de préoccupations potentielles à étudier systématiquement dans la perspective d'une conception responsable.</footnote>
GEHN IA (2018). Lignes directrices en matière d'éthique pour une ia de confiance. Rapport du groupe d'experts indépendants de haut niveau sur l'intelligence artificielle constitué par la commission européenne. Technical report, Commission Européenne.

Jobin, A., Ienca, M., and Vayena, E. (2019). The global landscape of ai ethics guidelines. *Nature Machine Intelligence*, 1.

Jonas, H. (trad. fr. 1990; 1979). *Le principe responsabilité*. Champs Flammarion.

Katzman, J., Barocas, S., Blodgett, S. L., Laird, K., Scheuerman, M., and Wallach, H. (2021). Representational harms in image tagging. In *Beyond Fair Computer Vision Workshop at CVPR 2021*.

Lefeuvre, A., Antoine, J.-Y., and Allegre, W. (2015). Ethique conséquentialiste et traitement automatique des langues : une typologie de facteurs de risques adaptée aux technologies langagières. In *Atelier Ethique et TRaitemeNt Automatique des Langues (ETeRNAL'2015), conférence TALN'2015, Actes de la 1e Ethique et TRaitemeNt Automatique des Langues (ETeRNAL'2015)*, Caen (France), pages 53–66, Caen, France.

Lefeuvre-Halftermeyer, A., Govaere, V., Antoine, J.-Y., Allegre, W., Pouplin, S., Departe, J.-P., Slimani, S., and Spagnulo, A. (2016). Typologie des risques pour une analyse éthique de l'impact des technologies du TAL [typology of risks for an ethical analysis of the impact of NLP technologies]. *Traitement Automatique des Langues*, 57(2):47–71.

Mason, R. (1986). *Four ethical issues of the information age*. Mis Quarterly.

Mill, J. (rééd. 1998; 1861). *Utilitarianism*. Oxford University Press.

Shelby, R., Rismani, S., Henne, K., Moon, A., Rostamzadeh, N., Nicholas, P., Yilla-Akbari, N., Gallegos, J., Smart, A., Garcia, E., and Virk, G. (2023). Sociotechnical harms of algorithmic systems: Scoping a taxonomy for harm reduction. In *Proceedings of the 2023 AAAI/ACM Conference on AI, Ethics, and Society, AIES '23*. ACM.

The Future of Life Institute (2017). *Asilomar AI Principles*. https://futureoflife.org/open-letter/ai-principles/.
GEHN IA (2018). Lignes directrices en matière d'éthique pour une ia de confiance. Rapport du groupe d'experts indépendants de haut niveau sur l'intelligence artificielle constitué par la commission européenne. Technical report, Commission Européenne.

Jobin, A., Ienca, M., and Vayena, E. (2019). The global landscape of ai ethics guidelines. *Nature Machine Intelligence*, 1.

Jonas, H. (trad. fr. 1990; 1979). *Le principe responsabilité*. Champs Flammarion.

Katzman, J., Barocas, S., Blodgett, S. L., Laird, K., Scheuerman, M., and Wallach, H. (2021). Representational harms in image tagging. In *Beyond Fair Computer Vision Workshop at CVPR 2021*.

Lefeuvre, A., Antoine, J.-Y., and Allegre, W. (2015). Ethique conséquentialiste et traitement automatique des langues : une typologie de facteurs de risques adaptée aux technologies langagières. In *Atelier Ethique et TRaitemeNt Automatique des Langues (ETeRNAL'2015), conférence TALN'2015, Actes de la 1e Ethique et TRaitemeNt Automatique des Langues (ETeRNAL'2015)*, Caen (France), pages 53–66, Caen, France.

Lefeuvre-Halftermeyer, A., Govaere, V., Antoine, J.-Y., Allegre, W., Pouplin, S., Departe, J.-P., Slimani, S., and Spagnulo, A. (2016). Typologie des risques pour une analyse éthique de l'impact des technologies du TAL [typology of risks for an ethical analysis of the impact of NLP technologies]. *Traitement Automatique des Langues*, 57(2):47–71.

Mason, R. (1986). *Four ethical issues of the information age*. Mis Quarterly.

Mill, J. (rééd. 1998; 1861). *Utilitarianism*. Oxford University Press.

Shelby, R., Rismani, S., Henne, K., Moon, A., Rostamzadeh, N., Nicholas, P., Yilla-Akbari, N., Gallegos, J., Smart, A., Garcia, E., and Virk, G. (2023). Sociotechnical harms of algorithmic systems: Scoping a taxonomy for harm reduction. In *Proceedings of the 2023 AAAI/ACM Conference on AI, Ethics, and Society, AIES '23*. ACM.

The Future of Life Institute (2017). *Asilomar AI Principles*. https://futureoflife.org/open-letter/ai-principles/.
EMPREINTE CARBONE DES EXPÉRIENCES EN TAL :
LES DÉFIS DE LA REPRODUCTIBILITÉ

Clément Morand¹ Aurélie Névéol¹ Anne-Laure Ligozat¹,²

(1) Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique

(2) ENSIIE

prenom.nom@lisn.upsclay.fr

# 1 Introduction

Les dégâts environnementaux du Traitement Automatique des Langues (TAL) peuvent être très importants (Strubell et al., 2019; Luccioni et al., 2023). Afin de mieux les comprendre et mieux les maîtriser, (Henderson et al., 2020; Bender et al., 2021) notamment ont proposé de systématiquement calculer et indiquer des évaluations de dégâts en- vironnementaux pour chaque modèle. Subséquemment, des évaluations d'empreinte carbone sont apparues dans des articles expérimentaux plus classiques (Bannour et al., 2021; Cattan et al., 2021, 2022; Dinarelli et al., 2022).

Les méthodologies de calcul de l'empreinte carbone sont généralement fondées sur la mesure ou l'estimation de la consommation des équipements sur lesquels les modèles sont entraînés ou déployés. Des outils de mesure comme CodeCarbon (Schmidt et al., 2022) ou d'estimation comme Green Algorithms (Lannelongue et al., 2021) peuvent être utilisés.

Cependant, le manque d'informations, en particulier sur le matériel précis utilisé, ne permet pas toujours de vérifier les calculs d'empreinte carbone. Dans ce travail, nous avons évalué la reproductibilité des calculs d'empreinte carbone de plusieurs expériences de TAL, en nous appuyant sur l'outil MLCA, que nous présenterons en 2.1.

# 2 Expériences de reproductibilité

La question de la reproductibilité des résultats n'est pas nouvelle et a déjà été explorée. Cohen et al. (2018) par exemple définissent trois niveaux différents de reproductibilité. Le premier est la capacité à reproduire exactement la même valeur ; ce niveau est rarement réalisable car les processus ne sont pas toujours déterministes. Le second est la capacité à obtenir des résultats proches de ceux présentés, il s'agit du niveau résultat. Nos expériences se situent à ce niveau. Le troisième niveau est celui de la conclusion, c'est-à-dire la capacité à arriver aux mêmes conclusions avec la ré-itération d'un processus expérimental, ce qui inclut une interprétation de résultats obtenus expérimentalement.

Nous avons analysé les résultats de 5 études de TAL : Strubell et al. (2019) et Luccioni et al. (2023) évaluent l'empreinte carbone de l'entraînement de modèles de langue, Bannour et al. (2021) la reconnaissance d'entité nommées en français, Dinarelli et al. (2022) la compréhension de la parole en anglais et en français et Cattan et al. (2022) la reconnaissance du français parlé. Ces études ont été choisies car elles comportent une évaluation de l'empreinte carbone des expériences, et en outre soit donnent suffisamment d'informations pour tenter de reproduire les calculs, soit ont été faites par des collègues que nous connaissions et à qui nous pouvions demander des informations supplémentaires.

## 2.1 Outil

Les calculs d'empreintes réalisés dans les cinq études choisies ont été effectués à l'aide d'outils différents par chacun des groupes d'auteur·ice·s et ont porté sur plusieurs aspects de l'impact liés aux équipements utilisés dans les expérimentations : les impacts liés à l'utilisation (toutes les études) et les impacts liés à la production du matériel (uniquement (Luccioni et al., 2023)).

Pour nos expériences, nous avons cherché à utiliser un cadre de mesure commun. Nous nous sommes appuyés sur l'outil MLCA (Morand, 2023). Cet outil prend en compte les phases de production (extraction des matières premières et fabrication) et d'usage des équipements utilisés pour faire tourner un programme, ainsi que trois indicateurs environnementaux, empreinte carbone, épuisement des ressources énergétiques et épuisement des ressources abiotiques (métaux) (Bruijn et al., 2002). Dans le travail présenté ici, nous utilisons les résultats d'empreinte carbone issus de la fabrication et de l'usage des équipements, qui permettent de couvrir l'ensemble des mesures réalisées dans les travaux que nous cherchons à reproduire. L'estimation des impacts de la fabrication s'appuie sur la méthodologie et les données de Boavizta (2021), et l'ajout des impacts des GPU sur celles de Gröger et al. (2021) et les données de Loubet
# EMPREINTE CARBONE DES EXPÉRIENCES EN TAL :
LES DÉFIS DE LA REPRODUCTIBILITÉ

Clément Morand¹ Aurélie Névéol¹ Anne-Laure Ligozat¹,²

(1) Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique

(2) ENSIIE

prenom.nom@lisn.upsclay.fr

## 1 Introduction

Les dégâts environnementaux du Traitement Automatique des Langues (TAL) peuvent être très importants (Strubell et al., 2019; Luccioni et al., 2023). Afin de mieux les comprendre et mieux les maîtriser, (Henderson et al., 2020; Bender et al., 2021) notamment ont proposé de systématiquement calculer et indiquer des évaluations de dégâts environnementaux pour chaque modèle. Subséquemment, des évaluations d'empreinte carbone sont apparues dans des articles expérimentaux plus classiques (Bannour et al., 2021; Cattan et al., 2021, 2022; Dinarelli et al., 2022).

Les méthodologies de calcul de l'empreinte carbone sont généralement fondées sur la mesure ou l'estimation de la consommation des équipements sur lesquels les modèles sont entraînés ou déployés. Des outils de mesure comme CodeCarbon (Schmidt et al., 2022) ou d'estimation comme Green Algorithms (Lannelongue et al., 2021) peuvent être utilisés.

Cependant, le manque d'informations, en particulier sur le matériel précis utilisé, ne permet pas toujours de vérifier les calculs d'empreinte carbone. Dans ce travail, nous avons évalué la reproductibilité des calculs d'empreinte carbone de plusieurs expériences de TAL, en nous appuyant sur l'outil MLCA, que nous présenterons en 2.1.

## 2 Expériences de reproductibilité

La question de la reproductibilité des résultats n'est pas nouvelle et a déjà été explorée. Cohen et al. (2018) par exemple définissent trois niveaux différents de reproductibilité. Le premier est la capacité à reproduire exactement la même valeur ; ce niveau est rarement réalisable car les processus ne sont pas toujours déterministes. Le second est la capacité à obtenir des résultats proches de ceux présentés, il s'agit du niveau résultat. Nos expériences se situent à ce niveau. Le troisième niveau est celui de la conclusion, c'est-à-dire la capacité à arriver aux mêmes conclusions avec la ré-itération d'un processus expérimental, ce qui inclut une interprétation de résultats obtenus expérimentalement.

Nous avons analysé les résultats de 5 études de TAL : Strubell et al. (2019) et Luccioni et al. (2023) évaluent l'empreinte carbone de l'entraînement de modèles de langue, Bannour et al. (2021) la reconnaissance d'entité nommées en français, Dinarelli et al. (2022) la compréhension de la parole en anglais et en français et Cattan et al. (2022) la reconnaissance du français parlé. Ces études ont été choisies car elles comportent une évaluation de l'empreinte carbone des expériences, et en outre soit donnent suffisamment d'informations pour tenter de reproduire les calculs, soit ont été faites par des collègues que nous connaissions et à qui nous pouvions demander des informations supplémentaires.

### 2.1 Outil

Les calculs d'empreintes réalisés dans les cinq études choisies ont été effectués à l'aide d'outils différents par chacun des groupes d'auteur·ice·s et ont porté sur plusieurs aspects de l'impact liés aux équipements utilisés dans les expérimentations : les impacts liés à l'utilisation (toutes les études) et les impacts liés à la production du matériel (uniquement (Luccioni et al., 2023)).

Pour nos expériences, nous avons cherché à utiliser un cadre de mesure commun. Nous nous sommes appuyés sur l'outil MLCA (Morand, 2023). Cet outil prend en compte les phases de production (extraction des matières premières et fabrication) et d'usage des équipements utilisés pour faire tourner un programme, ainsi que trois indicateurs environnementaux, empreinte carbone, épuisement des ressources énergétiques et épuisement des ressources abiotiques (métaux) (Bruijn et al., 2002). Dans le travail présenté ici, nous utilisons les résultats d'empreinte carbone issus de la fabrication et de l'usage des équipements, qui permettent de couvrir l'ensemble des mesures réalisées dans les travaux que nous cherchons à reproduire. L'estimation des impacts de la fabrication s'appuie sur la méthodologie et les données de Boavizta (2021), et l'ajout des impacts des GPU sur celles de Gröger et al. (2021) et les données de Loubet
<figure><img src="image_3.png" /><figcaption>FIGURE 1 – Comparaison des estimations obtenues dans notre étude avec les résultats présentés dans la table trois de Luccioni et al. (2023) sur les différentes sources d'émissions (Les impacts embarqués sont ceux de la production du matériel attribuables à la tâche. La consommation dynamique est celle qui est due au matériel qui fait tourner le calcul. Le reste correspond à la consommation de l'infrastructure.)</figcaption></figure>

et al. (2023). Les impacts de l’usage utilisent la méthodologie et les données de l’outil en ligne Green Algorithms (Lannelongue et al., 2021)<fnref n="1" />.

## 2.2 Résultats

Dans l'ensemble, la reproduction des résultats des différentes études s'est avérée beaucoup plus difficile que prévu. Nous avons rencontré plusieurs difficultés dans cette démarche. À moins qu'un réel effort ne soit fait pour permettre la réplication des résultats présentés dans un article, il est la plupart du temps très difficile de trouver toutes les informations nécessaires pour effectuer des estimations et reproduire ces résultats. Si le matériel sur lequel ces résultats ont été produits n'est pas détaillé, il est impossible de reproduire les expériences et de vérifier la qualité des résultats présentés.

La plupart du temps, nous avons pu réaliser des expériences grâce aux auteur-ice-s, qui nous ont donné des indications sur la configuration matérielle de leurs expériences que nous ne pouvions pas trouver dans les manuscrits (3 études sur 5). Nous avons également exploité les informations matérielles disponibles sur les centres de données utilisés. Lorsque les informations matérielles sont données, le modèle précis peut manquer dans notre base de données. Lorsque nécessaire, nous avons choisi un modèle proche du matériel réel en terme de configuration matérielle. par exemple l'étude du modèle BLOOM ((Luccioni et al., 2023)) utilisait des informations sur les impacts de la production d'un serveur légèrement différent de celui utilisé alors que nous nous sommes basés sur les informations de configurations de la partition de Jean Zay utilisée pour entraîner le modèle afin de réaliser notre estimation.

Nous avons obtenu pour plusieurs expériences des estimations d'impact un peu plus élevées que celles des articles. En effet, les outils d'estimation comme celui que nous avons utilisé tendent à produire des résultats plus élevés que les outils de mesure (Jay et al., 2023) (les résultats de Cattan et al. (2022), Dinarelli et al. (2022) et Strubell et al. (2019) ont été obtenus par des mesures) et en outre notre outil d'estimation a considéré une utilisation des équipements à 100% par défaut puisque le taux d'utilisation n'était généralement pas précisé. Nous avons réussi à reproduire les résultats de Jay et al. (2023), Dinarelli et al. (2022), Strubell et al. (2019), et Luccioni et al. (2023) au niveau *résultat et ceux de Cattan et al. (2022) et Bannour et al. (2021)* uniquement au niveau *conclusion*. Par exemple, pour l'étude de BLOOM nous obtenons les estimations d'impact présentées dans la figure 1.

Même lorsque nous disposions d'informations pour réaliser nos estimations avec suffisamment de précision pour espérer obtenir les résultats escomptés, nous avons été confrontés à plusieurs reprises à des incohérences dans les données présentées dans les résultats. Ce fut par exemple le cas pour certains résultats présentés dans Bannour et al. (2021) où nous avons observé des incohérences (facteur d'émission différent de celui de la France, du à la détermination auto-

<footnote n="1">1. http:// calculator.green-algorithms.org/</footnote>
<figure><img src="image_4.png" /><figcaption>FIGURE 1 – Comparaison des estimations obtenues dans notre étude avec les résultats présentés dans la table trois de Luccioni et al. (2023) sur les différentes sources d'émissions (Les impacts embarqués sont ceux de la production du matériel attribuables à la tâche. La consommation dynamique est celle qui est due au matériel qui fait tourner le calcul. Le reste correspond à la consommation de l'infrastructure.)</figcaption></figure>

et al. (2023). Les impacts de l’usage utilisent la méthodologie et les données de l’outil en ligne Green Algorithms (Lannelongue et al., 2021)<fnref n="1" />.

## 2.2 Résultats

Dans l'ensemble, la reproduction des résultats des différentes études s'est avérée beaucoup plus difficile que prévu. Nous avons rencontré plusieurs difficultés dans cette démarche. À moins qu'un réel effort ne soit fait pour permettre la réplication des résultats présentés dans un article, il est la plupart du temps très difficile de trouver toutes les informations nécessaires pour effectuer des estimations et reproduire ces résultats. Si le matériel sur lequel ces résultats ont été produits n'est pas détaillé, il est impossible de reproduire les expériences et de vérifier la qualité des résultats présentés.

La plupart du temps, nous avons pu réaliser des expériences grâce aux auteur-ice-s, qui nous ont donné des indications sur la configuration matérielle de leurs expériences que nous ne pouvions pas trouver dans les manuscrits (3 études sur 5). Nous avons également exploité les informations matérielles disponibles sur les centres de données utilisés. Lorsque les informations matérielles sont données, le modèle précis peut manquer dans notre base de données. Lorsque nécessaire, nous avons choisi un modèle proche du matériel réel en terme de configuration matérielle. par exemple l'étude du modèle BLOOM ((Luccioni et al., 2023)) utilisait des informations sur les impacts de la production d'un serveur légèrement différent de celui utilisé alors que nous nous sommes basés sur les informations de configurations de la partition de Jean Zay utilisée pour entraîner le modèle afin de réaliser notre estimation.

Nous avons obtenu pour plusieurs expériences des estimations d'impact un peu plus élevées que celles des articles. En effet, les outils d'estimation comme celui que nous avons utilisé tendent à produire des résultats plus élevés que les outils de mesure (Jay et al., 2023) (les résultats de Cattan et al. (2022), Dinarelli et al. (2022) et Strubell et al. (2019) ont été obtenus par des mesures) et en outre notre outil d'estimation a considéré une utilisation des équipements à 100% par défaut puisque le taux d'utilisation n'était généralement pas précisé. Nous avons réussi à reproduire les résultats de Jay et al. (2023), Dinarelli et al. (2022), Strubell et al. (2019), et Luccioni et al. (2023) au niveau *résultat* et ceux de Cattan et al. (2022) et Bannour et al. (2021) uniquement au niveau *conclusion*. Par exemple, pour l'étude de BLOOM nous obtenons les estimations d'impact présentées dans la figure 1.

Même lorsque nous disposions d'informations pour réaliser nos estimations avec suffisamment de précision pour espérer obtenir les résultats escomptés, nous avons été confrontés à plusieurs reprises à des incohérences dans les données présentées dans les résultats. Ce fut par exemple le cas pour certains résultats présentés dans Bannour et al. (2021) où nous avons observé des incohérences (facteur d'émission différent de celui de la France, du à la détermination auto-

<footnote n="1">1. http:// calculator.green-algorithms.org/</footnote>
matique erronée du facteur d'émission par l'outil Carbon Tracker) et inconsistances (facteur d'émission non constant) dans le facteur d'émission utilisé pour convertir la consommation d'électricité en empreinte carbone. Ce fut aussi le cas dans Cattan et al. (2022) où les résultats présentés dans le manuscrit sont plusieurs ordres de grandeur plus élevés que l'ordre grandeur attendu. Après avoir souligné les problèmes posés par les données présentées dans Cattan et al. (2022), les auteurs ont mené de nouvelles expériences pour résoudre les problèmes liés à leurs données et nous avons pu reproduire ces nouveaux résultats. Les expériences menées dans Jay et al. (2023), non commentées ici car hors TAL, ont été plus faciles à reproduire grâce au matériel supplémentaire fourni. Néanmoins, à cause d'une erreur de recopie dans le supplementary material, les entrées exactes pour certaines expériences n'étaient pas indiquées et des hypothèses ont dû être formulées afin de reproduire des résultats exacts, ce qui rappelle la difficulté de rendre ses résultats reproductibles, même quand des efforts importants sont déployés par les auteurs et autrices.

## 3 Discussion

Par rapport aux niveaux de conclusions évoqués en introduction, nos expériences ont tenté de reproduire des expériences au niveau *résultat* : nous avons généralement essayé de retrouver des résultats obtenus avec une méthode différente. Parfois, face à des valeurs anormales dans un manuscrit, nous ne pouvions reproduire les résultats qu'au niveau de la *conclusion*, c'est-à-dire en constatant qu'une expérience plus longue a des effets plus importants qu'une expérience plus courte sur le même matériel.

Digan et al. (2020) ont proposé une liste de recommandations pour assurer un haut niveau de reproductibilité des résultats présentés dans un article. Parmi les règles parfois non respectées dans les manuscrits sur lesquels nous avons travaillé, on peut citer (R03) 'System metadata (e.g. RAM, CPU, OS, etc.)' et (R04) 'Record parameters of tools' qui compliquent la reproductibilité ou (R28) 'Absence of manual steps' qui pourraient expliquer des incohérences entre les tableaux ou des valeurs anormales dans un tableau.

Ce que nous avons observé sur les expériences de TAL rejoint les conclusions d'autres études sur la reproductibilité des évaluations environnementales, en particulier du numérique. Pasek et al. (2023) soulèvent que dans l'évaluation des dégâts environnementaux du secteur du numérique, le périmètre choisi induit des variations importantes des résultats. Pour les expériences de TAL, de telles variations peuvent par exemple être l'inclusion ou non de la production (extraction des matières premières et fabrication) du matériel, qui peut représenter une part significative des impacts (Luccioni et al., 2023). Comme discuté dans Lippert (2016) ou encore Pasek et al. (2023), on observe une grande variabilité géographique et temporelle des facteurs d'émissions, ce qui est confirmé pour le numérique par Clément et al. (2020). Pour le TAL, les facteurs d'intensité carbone de l'électricité varient grandement en fonction de la localisation géographique (Lannelongue et al., 2021) mais aussi temporellement (par exemple en fonction de la demande, des vents et de l'ensoleillement qui influent sur la part de production électrique renouvelable). Enfin, dans l'étude de la création de bilans carbone des entreprises, Lippert (2016) montre que de nombreuses décisions pas toujours traçables sont impliquées dans l'obtention d'un chiffre. Dans le cas des évaluations de modèles de TAL, cela peut se traduire dans le choix d'un matériel proche de celui utilisé car inexistant dans base de données ou encore dans le choix quant à la façon d'obtenir le taux d'utilisation des unités de calculs.

Au final, on constate que les problèmes de reproductibilité des résultats s'appliquent également aux évaluations des impacts environnementaux des expériences de TAL. L'introduction d'une méthodologie standardisée pour détailler les différents paramètres des évaluations environnementales des expériences de TAL (par exemple s'assurer de donner toutes les informations demandées par le calculateur Green Algorithms ainsi que la version de l'outil) pourrait grandement en améliorer la reproductibilité.

## Références

* BANNOUR N., GHANNAY S., NÉVÉOL A. & LIGOZAT A.-L. (2021). Evaluating the carbon footprint of NLP methods: a survey and analysis of existing tools. In N. S. MOOSAVI, I. GUREVYCH, A. FAN, T. WOLF, Y. HOU, A. MARASOVIĆ & S. RAVI, Éds., *Proceedings of the Second Workshop on Simple and Efficient Natural Language Processing*, p. 11–21, Virtual: Association for Computational Linguistics. doi:10.18653/v1/2021.sustainlp-1.2.

* BENDER E. M., GEBRU T., MCMILLAN-MAJOR A. & SHMITCHELL S. (2021). On the dangers of stochastic parrots: Can language models be too big? In *Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency*, FAccT '21, p. 610–623, New York, NY, USA: Association for Computing Machinery. doi:10.1145/3442188.3445922.

* BOAVIZTA (2021). Numérique et environnement: Comment évaluer l'empreinte de la fabrication d'un serveur, au-delà des émissions de gaz à effet de serre?

* BRUIJN H., DUIN R., HUIJBREGTS M. A. J., GUINEE J. B., GORREE M., HEIJUNGS R., HUPPES G., KLEIJN R., KONING A., VAN OERS L., SLEESWIJK A. W., SUH S. & DE HAES H. A. U. (2002). *Handbook on Life Cycle*
matique erronée du facteur d'émission par l'outil Carbon Tracker) et inconsistances (facteur d'émission non constant) dans le facteur d'émission utilisé pour convertir la consommation d'électricité en empreinte carbone. Ce fut aussi le cas dans Cattan et al. (2022) où les résultats présentés dans le manuscrit sont plusieurs ordres de grandeur plus élevés que l'ordre grandeur attendu. Après avoir souligné les problèmes posés par les données présentées dans Cattan et al. (2022), les auteurs ont mené de nouvelles expériences pour résoudre les problèmes liés à leurs données et nous avons pu reproduire ces nouveaux résultats. Les expériences menées dans Jay et al. (2023), non commentées ici car hors TAL, ont été plus faciles à reproduire grâce au matériel supplémentaire fourni. Néanmoins, à cause d'une erreur de recopie dans le supplementary material, les entrées exactes pour certaines expériences n'étaient pas indiquées et des hypothèses ont dû être formulées afin de reproduire des résultats exacts, ce qui rappelle la difficulté de rendre ses résultats reproductibles, même quand des efforts importants sont déployés par les auteurs et autrices.

## 3 Discussion

Par rapport aux niveaux de conclusions évoqués en introduction, nos expériences ont tenté de reproduire des expériences au niveau *résultat* : nous avons généralement essayé de retrouver des résultats obtenus avec une méthode différente. Parfois, face à des valeurs anormales dans un manuscrit, nous ne pouvions reproduire les résultats qu'au niveau de la *conclusion*, c'est-à-dire en constatant qu'une expérience plus longue a des effets plus importants qu'une expérience plus courte sur le même matériel.

Digan et al. (2020) ont proposé une liste de recommandations pour assurer un haut niveau de reproductibilité des résultats présentés dans un article. Parmi les règles parfois non respectées dans les manuscrits sur lesquels nous avons travaillé, on peut citer (R03) 'System metadata (e.g. RAM, CPU, OS, etc.)' et (R04) 'Record parameters of tools' qui compliquent la reproductibilité ou (R28) 'Absence of manual steps' qui pourraient expliquer des incohérences entre les tableaux ou des valeurs anormales dans un tableau.

Ce que nous avons observé sur les expériences de TAL rejoint les conclusions d'autres études sur la reproductibilité des évaluations environnementales, en particulier du numérique. Pasek et al. (2023) soulèvent que dans l'évaluation des dégâts environnementaux du secteur du numérique, le périmètre choisi induit des variations importantes des résultats. Pour les expériences de TAL, de telles variations peuvent par exemple être l'inclusion ou non de la production (extraction des matières premières et fabrication) du matériel, qui peut représenter une part significative des impacts (Luccioni et al., 2023). Comme discuté dans Lippert (2016) ou encore Pasek et al. (2023), on observe une grande variabilité géographique et temporelle des facteurs d'émissions, ce qui est confirmé pour le numérique par Clément et al. (2020). Pour le TAL, les facteurs d'intensité carbone de l'électricité varient grandement en fonction de la localisation géographique (Lannelongue et al., 2021) mais aussi temporellement (par exemple en fonction de la demande, des vents et de l'ensoleillement qui influent sur la part de production électrique renouvelable). Enfin, dans l'étude de la création de bilans carbone des entreprises, Lippert (2016) montre que de nombreuses décisions pas toujours traçables sont impliquées dans l'obtention d'un chiffre. Dans le cas des évaluations de modèles de TAL, cela peut se traduire dans le choix d'un matériel proche de celui utilisé car inexistant dans base de données ou encore dans le choix quant à la façon d'obtenir le taux d'utilisation des unités de calculs.

Au final, on constate que les problèmes de reproductibilité des résultats s'appliquent également aux évaluations des impacts environnementaux des expériences de TAL. L'introduction d'une méthodologie standardisée pour détailler les différents paramètres des évaluations environnementales des expériences de TAL (par exemple s'assurer de donner toutes les informations demandées par le calculateur Green Algorithms ainsi que la version de l'outil) pourrait grandement en améliorer la reproductibilité.

## Références

* BANNOUR N., GHANNAY S., NÉVÉOL A. & LIGOZAT A.-L. (2021). Evaluating the carbon footprint of NLP methods: a survey and analysis of existing tools. In N. S. MOOSAVI, I. GUREVYCH, A. FAN, T. WOLF, Y. HOU, A. MARASOVIĆ & S. RAVI, Éds., *Proceedings of the Second Workshop on Simple and Efficient Natural Language Processing*, p. 11–21, Virtual: Association for Computational Linguistics. doi:10.18653/v1/2021.sustainlp-1.2.

* BENDER E. M., GEBRU T., MCMILLAN-MAJOR A. & SHMITCHELL S. (2021). On the dangers of stochastic parrots: Can language models be too big? In *Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency*, FAccT '21, p. 610–623, New York, NY, USA: Association for Computing Machinery. doi:10.1145/3442188.3445922.

* BOAVIZTA (2021). Numérique et environnement: Comment évaluer l'empreinte de la fabrication d'un serveur, au-delà des émissions de gaz à effet de serre?

* BRUIJN H., DUIN R., HUIJBREGTS M. A. J., GUINEE J. B., GORREE M., HEIJUNGS R., HUPPES G., KLEIJN R., KONING A., VAN OERS L., SLEESWIJK A. W., SUH S. & DE HAES H. A. U. (2002). *Handbook on Life Cycle*
*Assessment - Operational Guide to the ISO Standards*. Springer Dordrecht. doi:10.1007/0-306-48055-7.

CATTAN O., GHANNAY S., SERVAN C. & ROSSET S. (2022). Benchmarking transformers-based models on french spoken language understanding tasks. In *INTERSPEECH 2022*, Incheon, South Korea. HAL: hal-03715340.

CATTAN O., SERVAN C. & ROSSET S. (2021). On the usability of transformers-based models for a french question-answering task. In G. ANGELOVA, M. KUNILOVSKAYA, R. MITKOV & I. NIKOLOVA-KOLEVA, Éds., *Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2021)*, Held Online, 1-3September, 2021, p. 244–255 : INCOMA Ltd.

CLÉMENT L.-P. P.-V., JACQUEMOTTE Q. E. & HILTY L. M. (2020). Sources of variation in life cycle assessments of smartphones and tablet computers. *Environmental Impact Assessment Review*, **84**, 106416.

COHEN K. B., XIA J., ZWEIGENBAUM P., CALLAHAN T., HARGRAVES O., GOSS F., IDE N., NÉVÉOL A., GROUIN C. & HUNTER L. E. (2018). Three Dimensions of Reproducibility in Natural Language Processing. In N. C. C. CHAIR), K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, K. HASIDA, H. ISAHARA, B. MAE-GAARD, J. MARIANI, H. MAZO, A. MORENO, J. ODIJK, S. PIPERIDIS & T. TOKUNAGA, Éds., *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)*, Miyazaki, Japan : European Language Resources Association (ELRA).

DIGAN W., NÉVÉOL A., NEURAZ A., WACK M., BAUDOIN D., BURGUN A. & RANCE B. (2020). Can reproducibility be improved in clinical natural language processing? A study of 7 clinical NLP suites. *Journal of the American Medical Informatics Association*, **28**(3), 504–515. doi:10.1093/jamia/ocaa261.

DINARELLI M., NAGUIB M. & PORTET F. (2022). Toward low-cost end-to-end spoken language understanding. In H. Ko & J. H. L. HANSEN, Éds., *Interspeech 2022, 23rd Annual Conference of the International Speech Communication Association, Incheon, Korea, 18-22 September 2022*, p. 2728–2732 : ISCA. doi:10.21437/INTERSPEECH.2022-10702.

GRÖGER J., LIU R., STOBBE L., DRUSCHKE J. & RICHTER N. (2021). *Green Cloud Computing : lebenszyklusbasierte Datenerhebung zu Umweltwirkungen des Cloud Computing : Abschlussbericht*. Umweltbundesamt.

HENDERSON P., HU J., ROMOFF J., BRUNSKILL E., JURAFSKY D. & PINEAU J. (2020). Towards the systematic reporting of the energy and carbon footprints of machine learning. *J. Mach. Learn. Res.*, **21**(1). doi:10.5555/3455716.3455964.

JAY M., OSTAPENCO V., LEFEVRE L., TRYSTRAM D., ORGERIE A.-C. & FICHEL B. (2023). An experimental comparison of software-based power meters : focus on cpu and gpu. In *2023 IEEE/ACM 23rd International Symposium on Cluster, Cloud and Internet Computing (CCGrid)*, p. 106–118. doi:10.1109/CCGrid57682.2023.00020.

ANNELONGUE L., GREALEY J. & INOUYE M. (2021). Green algorithms : Quantifying the carbon footprint of computation. *Advanced Science*, **8**(12), 2100707. doi:https://doi.org/10.1002/advs.202100707.

LIPPERT I. (2016). Failing the market, failing deliberative democracy : How scaling up corporate carbon reporting proliferates information asymmetries. *Big Data & Society*, **3**(2), 2053951716673390. doi:10.1177/2053951716673390.

LOUBET P., VINCENT A., COLLIN A., DEJOUS C., GHIOTTO A. & JEGO C. (2023). Life cycle assessment of ICT in higher education : a comparison between desktop and single-board computers. *The International Journal of Life Cycle Assessment*, p. 1–19. doi:https://doi.org/10.1007/s11367-022-02131-z.

LUCCIONI A. S., VIGUIER S. & LIGOZAT A.-L. (2023). Estimating the carbon footprint of BLOOM, a 176b parameter language model. *Journal of Machine Learning Research*, **24**(253), 1–15.

MORAND C. (2023). Evaluation of the environmental impacts of Natural Language Processing methods.

PASEK A., VAUGHAN H. & STAROSIELSKI N. (2023). The world wide web of carbon : Toward a relational footprinting of information and communications technology's climate impacts. *Big Data & Society*, **10**(1), 20539517231158994. doi:10.1177/20539517231158994.

SCHMIDT V., GOYAL-KAMAL, COURTY B., FELD B., AMINE S., KNGOYAL, ZHAO F., JOSHI A., LUCCIONI S., LÉVAL M., BOGROFF A., DE LAVOREILLE H., LASKARIS N., CONNELL L., WANG Z., SABONI A., CATOVIC A., BLANK D., STECHLY M., ALENCON, JPW, BOOKS M., SWADIK S., M. H., COUTAREL M., POLLARD M., MCCARTHY C., HUSOM E. J., VICENTE F. & TAE J. (2022). mlco2/codecarbon : v2.1.4. doi:10.5281/zenodo.7049269.

STRUBELL E., GANESH A. & MCCALLUM A. (2019). Energy and policy considerations for deep learning in NLP. In A. KORHONEN, D. R. TRAUM & L. MÀRQUEZ, Éds., *Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1 : Long Papers*, p. 3645–3650 : Association for Computational Linguistics. doi:10.18653/v1/p19-1355.
*Assessment - Operational Guide to the ISO Standards*. Springer Dordrecht. doi:10.1007/0-306-48055-7.

CATTAN O., GHANNAY S., SERVAN C. & ROSSET S. (2022). Benchmarking transformers-based models on french spoken language understanding tasks. In *INTERSPEECH 2022*, Incheon, South Korea. HAL: hal-03715340.

CATTAN O., SERVAN C. & ROSSET S. (2021). On the usability of transformers-based models for a french question-answering task. In G. ANGELOVA, M. KUNILOVSKAYA, R. MITKOV & I. NIKOLOVA-KOLEVA, Éds., *Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2021)*, Held Online, 1-3September, 2021, p. 244–255 : INCOMA Ltd.

CLÉMENT L.-P. P.-V., JACQUEMOTTE Q. E. & HILTY L. M. (2020). Sources of variation in life cycle assessments of smartphones and tablet computers. *Environmental Impact Assessment Review*, **84**, 106416.

COHEN K. B., XIA J., ZWEIGENBAUM P., CALLAHAN T., HARGRAVES O., GOSS F., IDE N., NÉVÉOL A., GROUIN C. & HUNTER L. E. (2018). Three Dimensions of Reproducibility in Natural Language Processing. In N. C. C. CHAIR), K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, K. HASIDA, H. ISAHARA, B. MAE-GAARD, J. MARIANI, H. MAZO, A. MORENO, J. ODIJK, S. PIPERIDIS & T. TOKUNAGA, Éds., *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)*, Miyazaki, Japan : European Language Resources Association (ELRA).

DIGAN W., NÉVÉOL A., NEURAZ A., WACK M., BAUDOIN D., BURGUN A. & RANCE B. (2020). Can reproducibility be improved in clinical natural language processing? A study of 7 clinical NLP suites. *Journal of the American Medical Informatics Association*, **28**(3), 504–515. doi:10.1093/jamia/ocaa261.

DINARELLI M., NAGUIB M. & PORTET F. (2022). Toward low-cost end-to-end spoken language understanding. In H. Ko & J. H. L. HANSEN, Éds., *Interspeech 2022, 23rd Annual Conference of the International Speech Communication Association, Incheon, Korea, 18-22 September 2022*, p. 2728–2732 : ISCA. doi:10.21437/INTERSPEECH.2022-10702.

GRÖGER J., LIU R., STOBBE L., DRUSCHKE J. & RICHTER N. (2021). *Green Cloud Computing : lebenszyklusbasierte Datenerhebung zu Umweltwirkungen des Cloud Computing : Abschlussbericht*. Umweltbundesamt.

HENDERSON P., HU J., ROMOFF J., BRUNSKILL E., JURAFSKY D. & PINEAU J. (2020). Towards the systematic reporting of the energy and carbon footprints of machine learning. *J. Mach. Learn. Res.*, **21**(1). doi:10.5555/3455716.3455964.

JAY M., OSTAPENCO V., LEFEVRE L., TRYSTRAM D., ORGERIE A.-C. & FICHEL B. (2023). An experimental comparison of software-based power meters : focus on cpu and gpu. In *2023 IEEE/ACM 23rd International Symposium on Cluster, Cloud and Internet Computing (CCGrid)*, p. 106–118. doi:10.1109/CCGrid57682.2023.00020.

ANNELONGUE L., GREALEY J. & INOUYE M. (2021). Green algorithms : Quantifying the carbon footprint of computation. *Advanced Science*, **8**(12), 2100707. doi:https://doi.org/10.1002/advs.202100707.

LIPPERT I. (2016). Failing the market, failing deliberative democracy : How scaling up corporate carbon reporting proliferates information asymmetries. *Big Data & Society*, **3**(2), 2053951716673390. doi:10.1177/2053951716673390.

LOUBET P., VINCENT A., COLLIN A., DEJOUS C., GHIOTTO A. & JEGO C. (2023). Life cycle assessment of ICT in higher education : a comparison between desktop and single-board computers. *The International Journal of Life Cycle Assessment*, p. 1–19. doi:https://doi.org/10.1007/s11367-022-02131-z.

LUCCIONI A. S., VIGUIER S. & LIGOZAT A.-L. (2023). Estimating the carbon footprint of BLOOM, a 176b parameter language model. *Journal of Machine Learning Research*, **24**(253), 1–15.

MORAND C. (2023). Evaluation of the environmental impacts of Natural Language Processing methods.

PASEK A., VAUGHAN H. & STAROSIELSKI N. (2023). The world wide web of carbon : Toward a relational footprinting of information and communications technology's climate impacts. *Big Data & Society*, **10**(1), 20539517231158994. doi:10.1177/20539517231158994.

SCHMIDT V., GOYAL-KAMAL, COURTY B., FELD B., AMINE S., KNGOYAL, ZHAO F., JOSHI A., LUCCIONI S., LÉVAL M., BOGROFF A., DE LAVOREILLE H., LASKARIS N., CONNELL L., WANG Z., SABONI A., CATOVIC A., BLANK D., STECHLY M., ALENCON, JPW, BOOKS M., SWADIK S., M. H., COUTAREL M., POLLARD M., MCCARTHY C., HUSOM E. J., VICENTE F. & TAE J. (2022). mlco2/codecarbon : v2.1.4. doi:10.5281/zenodo.7049269.

STRUBELL E., GANESH A. & MCCALLUM A. (2019). Energy and policy considerations for deep learning in NLP. In A. KORHONEN, D. R. TRAUM & L. MÀRQUEZ, Éds., *Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1 : Long Papers*, p. 3645–3650 : Association for Computational Linguistics. doi:10.18653/v1/p19-1355.
# HARMFUL NLP: TOWARDS A SYSTEMIC INJUSTICE APPROACH

Marjolein Lanzing¹, Katrin Schulz²

¹philosophy, UvA

²ILLC, UvA

In recent years we have seen many cases of machine learning applications that show unfair biased behaviour towards particular groups or individuals. This led to growing societal concerns about harmful discrimination and reproduction of structural inequalities once these technologies become institutionalised in society. Identifying and resolving algorithmic bias and achieving algorithmic fairness has therefore become an important research field.

However, it has been argued that in AI research and policy, the remedies against harmful algorithms are often narrowly framed as addressing technological design problems, rather than complex, structural, social-political problems. This leads to a highly technocentric (and technocratic) approach towards algorithmic fairness A. Balayn (2021), and to the development of technological solutions that leave the actual causes of the problem unchallenged. As a result, the solutions provide only superficial symptom-fixes with no sense of real control of the problem.

In this paper we do two things. In the first part we present the results of a systematic literature review that we carried out to test the claim that in AI research harmful behaviour of AI technology is narrowly framed as a technological problem in need of a technological solution. For this we focus on the field of Natural Language Processing (NLP). We filtered the the ACL Anthology library, one of the biggest platforms for research papers on the study of computational linguistics and natural language processing, for papers that study the negative societal impact of NLP technology. From the 207 papers on this topic we found for the year 2022 we selected randomly 50 papers and coded them with respect to three questions: (i) how does the field frame the problem of negative societal impact of NLP technology, (ii) what do the authors describe as the causes for the negative impact, and (iii) what solutions are proposed for the problem. To summarise the results, our study confirms that the field dominantly adopts a techno-centric and technocratic approach to negative societal impact of NLP technology. In line with results of Blodgett et al. (2020), who specifically looked at the discussion bias in studies of language technology, we find that problem of negative societal impact is poorly conceptually framed and misses normative grounding. When it comes to the discussion of the causes of harmful behaviour of NLP technology, we do see that authors look beyond technology and point to underlying societal issues (for instance how bias in society can lead to biased language technology). However, the causal reasoning stops as soon as a technology-external source for the problem is identified. In that sense the causal framing of the problem is still narrow. Finally, we notice that even though authors do discuss causes of negative societal impact beyond simple malfunctions of technology, by far most papers are devoted to technological fixes and refrain from addressing the social-political or political-economical questions around NLP applications.

One might say that these findings are not surprising given that we looked at a sample of papers written by AI engineers and researchers. One might even argue that a techno-centric approach is fine as long as it solves the problem. However, the narrow causal framing of the problem blindsights researchers to the unavoidable limitations of a technological fix. The negative societal impact of AI technology inherently rests in the fact that this technology is situated in and interacts with society. From that perspective framing AI research as only concerned with technological issues is shortsighted. It should always be an interdisciplinary effort that looks at the interaction with society as well.

In the second part, we make a start on developing an alternative conceptual framing of the problem of harm and injustice in NLP. To challenge the techno-centric approach we propose to expand the conceptual tools to understand harmful NLP by creating a framework that also addresses the institutional, political, social and structural dimensions of the problem. We propose that this alternative framing should center around the notion of systemic injustice Haslanger (2022, 2023). Focusing on systemic instead of individual harms creates space to consider more complex mechanisms underlying patterns of algorithmic injustice. It also changes the type of mechanisms we are looking for: a systematic injustice approach would reveal a social-political context that is harmful as opposed to individual actions of AI systems or particular design choices made in the development of this technology.

Reframing the problem leads naturally also to a reframing of the solution. In particular, we will argue that this new framework will widen the NLP repertoire to address these harms beyond techno-centric solutions (such as debiasing) to include also legal, policy, institutional and organisational measures.

A final important advantage of a systematic injustice approach to societal harms is that it would open the debate on AI and fairness to be broadened to include societal harms and risks beyond bias such as climate justice, (human) exploitation and dependency on corporate technocrats. In fact, we claim that in many cases the problem of bias is
# HARMFUL NLP: TOWARDS A SYSTEMIC INJUSTICE APPROACH

Marjolein Lanzing¹, Katrin Schulz²

¹philosophy, UvA

²ILLC, UvA

In recent years we have seen many cases of machine learning applications that show unfair biased behaviour towards particular groups or individuals. This led to growing societal concerns about harmful discrimination and reproduction of structural inequalities once these technologies become institutionalised in society. Identifying and resolving algorithmic bias and achieving algorithmic fairness has therefore become an important research field.

However, it has been argued that in AI research and policy, the remedies against harmful algorithms are often narrowly framed as addressing technological design problems, rather than complex, structural, social-political problems. This leads to a highly technocentric (and technocratic) approach towards algorithmic fairness A. Balayn (2021), and to the development of technological solutions that leave the actual causes of the problem unchallenged. As a result, the solutions provide only superficial symptom-fixes with no sense of real control of the problem.

In this paper we do two things. In the first part we present the results of a systematic literature review that we carried out to test the claim that in AI research harmful behaviour of AI technology is narrowly framed as a technological problem in need of a technological solution. For this we focus on the field of Natural Language Processing (NLP). We filtered the the ACL Anthology library, one of the biggest platforms for research papers on the study of computational linguistics and natural language processing, for papers that study the negative societal impact of NLP technology. From the 207 papers on this topic we found for the year 2022 we selected randomly 50 papers and coded them with respect to three questions: (i) how does the field frame the problem of negative societal impact of NLP technology, (ii) what do the authors describe as the causes for the negative impact, and (iii) what solutions are proposed for the problem. To summarise the results, our study confirms that the field dominantly adopts a techno-centric and technocratic approach to negative societal impact of NLP technology. In line with results of Blodgett et al. (2020), who specifically looked at the discussion bias in studies of language technology, we find that problem of negative societal impact is poorly conceptually framed and misses normative grounding. When it comes to the discussion of the causes of harmful behaviour of NLP technology, we do see that authors look beyond technology and point to underlying societal issues (for instance how bias in society can lead to biased language technology). However, the causal reasoning stops as soon as a technology-external source for the problem is identified. In that sense the causal framing of the problem is still narrow. Finally, we notice that even though authors do discuss causes of negative societal impact beyond simple malfunctions of technology, by far most papers are devoted to technological fixes and refrain from addressing the social-political or political-economical questions around NLP applications.

One might say that these findings are not surprising given that we looked at a sample of papers written by AI engineers and researchers. One might even argue that a techno-centric approach is fine as long as it solves the problem. However, the narrow causal framing of the problem blindsights researchers to the unavoidable limitations of a technological fix. The negative societal impact of AI technology inherently rests in the fact that this technology is situated in and interacts with society. From that perspective framing AI research as only concerned with technological issues is shortsighted. It should always be an interdisciplinary effort that looks at the interaction with society as well.

In the second part, we make a start on developing an alternative conceptual framing of the problem of harm and injustice in NLP. To challenge the techno-centric approach we propose to expand the conceptual tools to understand harmful NLP by creating a framework that also addresses the institutional, political, social and structural dimensions of the problem. We propose that this alternative framing should center around the notion of systemic injustice Haslanger (2022, 2023). Focusing on systemic instead of individual harms creates space to consider more complex mechanisms underlying patterns of algorithmic injustice. It also changes the type of mechanisms we are looking for: a systematic injustice approach would reveal a social-political context that is harmful as opposed to individual actions of AI systems or particular design choices made in the development of this technology.

Reframing the problem leads naturally also to a reframing of the solution. In particular, we will argue that this new framework will widen the NLP repertoire to address these harms beyond techno-centric solutions (such as debiasing) to include also legal, policy, institutional and organisational measures.

A final important advantage of a systematic injustice approach to societal harms is that it would open the debate on AI and fairness to be broadened to include societal harms and risks beyond bias such as climate justice, (human) exploitation and dependency on corporate technocrats. In fact, we claim that in many cases the problem of bias is
connected and intertwined with other material, social and political injustices, which the current technological fixes completely ignore.

The new framing proposed here will help to create awareness among NLP researchers concerned with harmful NLP and hopefully also raise so far unexplored conceptualisation and solutions of harmful NLP. Finally, it will challenge existing power relations in which these conceptualisation and solutions ‘as techno-fixes’ are left to the expertise and therefore discretion of powerful and wealthy technology companies.

## References

A. Balayn, S. G. (2021). Beyond debiasing. regulating ai and its inequalities. Technical report, European Digital Rights (EDRi), Brussel, Belgium.

Blodgett, S. L., Barocas, S., Daumé III, H., and Wallach, H. (2020). Language (Technology) is Power: A Critical Survey of “Bias” in NLP. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, pages 5454–5476, Online. Association for Computational Linguistics.

Haslanger, S. (2022). Systemic and structural injustice: Is there a difference? *Journal of Social Philosophy*, 53:512–534.

Haslanger, S. (2023). Systemic and structural injustice: Is there a difference? *Philosophy*, 98:1–27.
connected and intertwined with other material, social and political injustices, which the current technological fixes completely ignore.

The new framing proposed here will help to create awareness among NLP researchers concerned with harmful NLP and hopefully also raise so far unexplored conceptualisation and solutions of harmful NLP. Finally, it will challenge existing power relations in which these conceptualisation and solutions ‘as techno-fixes’ are left to the expertise and therefore discretion of powerful and wealthy technology companies.

## References

A. Balayn, S. G. (2021). Beyond debiasing. regulating ai and its inequalities. Technical report, European Digital Rights (EDRi), Brussel, Belgium.

Blodgett, S. L., Barocas, S., Daumé III, H., and Wallach, H. (2020). Language (Technology) is Power: A Critical Survey of “Bias” in NLP. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, pages 5454–5476, Online. Association for Computational Linguistics.

Haslanger, S. (2022). Systemic and structural injustice: Is there a difference? *Journal of Social Philosophy*, 53:512–534.

Haslanger, S. (2023). Systemic and structural injustice: Is there a difference? *Philosophy*, 98:1–27.
# LES BIAIS DANS LES LLMs, DE QUOI PARLE-T-ON, QUELLES PISTES POUR LES DÉTECTER ET LES MITIGER ?

Anaïs Bekolo¹, Emilie Sirvent-Hien², and Christèle Tarnec³

¹Université Paris Cité, Orange (stage)

²,³Orange

## ABSTRACT

Depuis la sortie de chatGPT en novembre 2022, les usages et les déploiements en production de système à base de grands modèles de langages (LLM) se multiplient. Pour autant les problèmes de fiabilité sont loin d'être résolus et de nombreux exemples de biais (des générations automatiques de lettres de recommandations particulièrement genrées par exemple (Wan, Pu, et al., 2023)) alertent sur le besoin de développer une approche responsable. L'objectif de cet article est de faire un état des lieux sur la notion de biais pour les LLM, comment les détecter, les évaluer et les pistes pour les mitiger. En particulier pour les LLMs, l'architecture des Transformers permet d'envisager les biais selon une classification de biais intrinsèques ou extrinsèques. Les méthodes d'évaluation des biais les plus connues reposent sur des benchmarks, dont la validité est parfois discutée. Dans le cas d'un modèle déjà pré-entraîné, les biais peuvent être en partie mitigés soit lors de re-entraînements du modèle (memory-efficient fine-tuning, reinforcement learning) soit directement dans le prompt (role play). Mais les biais observés au moment de la prédiction notamment peuvent avoir des origines diffuses, difficiles à situer et donc à mitiger. Par conséquent, plutôt que de les envisager de façon générique, à l'échelle du modèle, l'évaluation et la mitigation des biais doivent être traitées selon un cas d'usage précis et son contexte pour pouvoir être déployés opérationnellement.

Depuis la sortie de chatGPT en novembre 2022, les usages et les déploiements en production de système à base de grands modèles de langages (LLM) se multiplient. Pour autant les problèmes de fiabilité sont loin d'être résolus et de nombreux exemples de biais (des générations automatiques de lettres de recommandations particulièrement genrées par exemple [40]) alertent sur le besoin de développer une approche responsable. L'objectif de cet article est de faire un état des lieux sur la notion de biais pour les LLM, comment les détecter, les évaluer et les pistes pour les mitiger.

Davat (2023) [10] définit le biais comme une divergence par rapport à une norme. Cette norme pouvant être de différentes natures, l'auteur identifie trois grands types de biais : le biais méthodologique, le biais cognitif et le biais socio-historique, chacun de ces types de biais étant respectivement une divergence selon un standard scientifique, selon une décision dite « rationnelle » et selon une société idéale. Ainsi, un même préjudice peut être le fait de plusieurs types de biais différents. Dans le cas classique d'une performance inégale d'un traducteur automatique pour deux langues données par exemple, la sous-représentation d'une des deux langues dans les données d'entraînement représente à la fois un biais méthodologique (biais de représentation) et à la fois un biais socio-historique (hiérarchisation des langues).

De fait, dans la littérature éthique en machine learning, les biais sont souvent liés à la fairness et traités selon les préjudices sociaux (social harms) qu'ils induisent. On en distingue deux types : les préjudices d'allocation (allocative harms), qui se manifestent lorsqu'un système octroie des ressources et des opportunités de façon inégale à différentes populations, et les préjudices de représentation (representational harms) que sont les stéréotypes perpétués à l'encontre de certaines populations et les variations de performance des systèmes selon ces mêmes populations [3, 37].

Au regard de cette taxonomie, les LLMs sont un cas d'étude intéressant lorsqu'il s'agit d'observer des préjudices de représentation. En effet, beaucoup de travaux ont été menés pour étudier et mesurer les préjudices d'allocations engendrés par des systèmes de classification utilisés à grande échelle [21] et la plupart des métriques traditionnelles de fairness sont des métriques d'évaluation de classification [3, 30, 39] car l'évaluation de ce genre de systèmes repose sur des valeurs discrètes et facilement quantifiables.

Les modèles de langue eux, par définition, sont des modèles statistiques dont le but est de représenter le langage naturel et ils sont utilisés pour résoudre différentes tâches (downstream tasks). On distingue trois types de modèle
# LES BIAIS DANS LES LLMs, DE QUOI PARLE-T-ON, QUELLES PISTES POUR LES DÉTECTER ET LES MITIGER ?

Anaïs Bekolo¹, Emilie Sirvent-Hien², and Christèle Tarnec³

¹Université Paris Cité, Orange (stage)

²,³Orange

## ABSTRACT

Depuis la sortie de chatGPT en novembre 2022, les usages et les déploiements en production de système à base de grands modèles de langages (LLM) se multiplient. Pour autant les problèmes de fiabilité sont loin d’être résolus et de nombreux exemples de biais (des générations automatiques de lettres de recommandations particulièrement genrées par exemple (Wan, Pu, et al., 2023)) alertent sur le besoin de développer une approche responsable. L’objectif de cet article est de faire un état des lieux sur la notion de biais pour les LLM, comment les détecter, les évaluer et les pistes pour les mitiger. En particulier pour les LLMs, l’architecture des Transformers permet d’envisager les biais selon une classification de biais intrinsèques ou extrinsèques. Les méthodes d’évaluation des biais les plus connues reposent sur des benchmarks, dont la validité est parfois discutée. Dans le cas d’un modèle déjà pré-entraîné, les biais peuvent être en partie mitigés soit lors de re-entraînements du modèle (memory-efficient fine-tuning, reinforcement learning) soit directement dans le prompt (role play) . Mais les biais observés au moment de la prédiction notamment peuvent avoir des origines diffuses, difficiles à situer et donc à mitiger. Par conséquent, plutôt que de les envisager de façon générique, à l’échelle du modèle, l’évaluation et la mitigation des biais doivent être traitées selon un cas d’usage précis et son contexte pour pouvoir être déployés opérationnellement.

Depuis la sortie de chatGPT en novembre 2022, les usages et les déploiements en production de système à base de grands modèles de langages (LLM) se multiplient. Pour autant les problèmes de fiabilité sont loin d’être résolus et de nombreux exemples de biais (des générations automatiques de lettres de recommandations particulièrement genrées par exemple [40]) alertent sur le besoin de développer une approche responsable. L’objectif de cet article est de faire un état des lieux sur la notion de biais pour les LLM, comment les détecter, les évaluer et les pistes pour les mitiger.

Davat (2023) [10] définit le biais comme une divergence par rapport à une norme. Cette norme pouvant être de différentes natures, l'auteur identifie trois grands types de biais : le biais méthodologique, le biais cognitif et le biais socio-historique, chacun de ces types de biais étant respectivement une divergence selon un standard scientifique, selon une décision dite « rationnelle » et selon une société idéale. Ainsi, un même préjudice peut être le fait de plusieurs types de biais différents. Dans le cas classique d'une performance inégale d'un traducteur automatique pour deux langues données par exemple, la sous-représentation d'une des deux langues dans les données d'entraînement représente à la fois un biais méthodologique (biais de représentation) et à la fois un biais socio-historique (hiérarchisation des langues).

De fait, dans la littérature éthique en machine learning, les biais sont souvent liés à la fairness et traités selon les préjudices sociaux (social harms) qu'ils induisent. On en distingue deux types : les préjudices d'allocation (allocative harms), qui se manifestent lorsqu'un système octroie des ressources et des opportunités de façon inégale à différentes populations, et les préjudices de représentation (representational harms) que sont les stéréotypes perpétués à l'encontre de certaines populations et les variations de performance des systèmes selon ces mêmes populations [3, 37].

Au regard de cette taxonomie, les LLMs sont un cas d'étude intéressant lorsqu'il s'agit d'observer des préjudices de représentation. En effet, beaucoup de travaux ont été menés pour étudier et mesurer les préjudices d'allocations engendrés par des systèmes de classification utilisés à grande échelle [21] et la plupart des métriques traditionnelles de fairness sont des métriques d'évaluation de classification [3, 30, 39] car l'évaluation de ce genre de systèmes repose sur des valeurs discrètes et facilement quantifiables.

Les modèles de langue eux, par définition, sont des modèles statistiques dont le but est de représenter le langage naturel et ils sont utilisés pour résoudre différentes tâches (downstream tasks). On distingue trois types de modèle
basé sur l'architecture du Transformers : les encoders-decoders (BART-type), les autoencoders (BERT-type) et les autorégressifs (GPT-type), les modèles autorégressifs étant ceux dont les performances sont les meilleurs dans l'état de l'art ; cette prépondérance s'explique par leur taille et leur capacité à substituer toute tâche à une tâche unique de complétion/génération de texte.

Les modèles autorégressifs occupent une place particulière dans le paysage de la littérature de la *fairness*, d'abord parce que l'architecture des Transformers permet d'envisager les biais selon une classification nouvelle : on considère alors les biais selon qu'ils sont intrinsèques ou extrinsèques [18, 7]. Ainsi, un biais intrinsèque correspond au biais contenu dans la façon dont le LLM modèle encode ses représentations quand un biais extrinsèque reflète un biais dans les décisions du modèle au moment de la prédiction.

Mais cette place particulière s'explique aussi par le fait que les LLMs sont utilisés de façon générique («*General-purpose* » [28]), et donc on peut faire l'hypothèse d'un transfert de leurs biais inhérents dans leurs différentes applications spécifique. En effet, on observe entre le pré-entrainement d'un LLM et son déploiement une longue chaîne de *fine-tuning* successifs, d'adaptation du modèle, le long de laquelle les biais peuvent se multiplier et se renforcer, faisant de leur évaluation et leur mitigation une tâche plus complexe encore [19].

Ainsi, concernant leur **évaluation**, la classification intrinsèque/extrinsèque permet d'envisager l'évaluation des biais dans les LLMs de différentes manières. Comme évoqué plus tôt, ils peuvent être observés dans les représentations du LLMs (intrinsèque) et cela de deux façons différentes : en observant les proximités des représentations dans l'espace scalaire [22, 8] ou les différences dans la distribution de probabilité des tokens sur des tâches de complétion de texte (Li et al., 2023). En ce qui concerne les biais extrinsèques, on évalue les modèles selon différentes populations sur des tâches définies, avec les métriques associées. Il peut s'agir d'une tâche de complétion de texte, tâche « essentielle » des LLMs, qui s'évalue généralement avec des mesures de toxicité, de sentiment et de regard [11] ou encore avec des benchmarks qui s'appuient sur des jeux de données [23]; mais il peut également s'agir d'une tâche « substituée » plus classique, de classification [31] ou de résolution de corréférence par exemple [44].

Dans un premier temps, le fait de pouvoir utiliser les LLMs pour des tâches prédictives pour lesquelles ceux-là n'ont pas été pré-entrainés (la classification) soulève les mêmes questions d'évaluation de *fairness* que celles qui traversent la littérature depuis plusieurs années déjà : sur quel critère statistique considérons-nous que nous sommes équitables ? C'est l'enjeu de l'incompatibilité de certaines métriques de *fairness* selon la définition choisie, qui ne s'appuient pas sur la même condition fondamentale d'indépendance statistique [30, 3].

Deuxièmement, cet éventail de possibilités d'applications nécessite également un éventail de méthodes d'évaluation. Gallienne et Poibeau (2023) [12] évoquent la notion de « classes d'application » pour mettre en lumière la nécessité d'avoir une méthode d'évaluation de *fairness* spécifique au cas d'usage précis pour lequel un LLM donné sera utilisé. On parle d'un biais de mesure lorsque la mesure utilisée pour évaluer une construction abstraite ne reflète pas complètement la réalité [27, 36] et à ce titre, on peut évoquer les études qui démontrent que les métriques d'évaluation de biais intrinsèques ne permettent pas nécessairement d'avoir une compréhension au moment de la prédiction du modèle [13].

Enfin, les questions que posent l'évaluation des productions des modèles autorégressifs restent ouvertes [29] d'un point de vue général étant donné que l'évaluation standard d'un LLM repose sur ses performances sur des benchmarks données, qui peuvent elles-mêmes être biaisées ou incomplètes [24, 5] et l'évaluation de la *fairness* d'un modèle avec des benchmarks n'échappe pas à cette règle [6]. C'est en partie ce que souligne Davat lorsqu'elle préco-nise de parler de « re-biasage » plutôt que de « débiaisage ». En effet, les LLMs encodent un point de vue dominant qui n'est pas exempt de biais [4, 14, 35], point de vue qui peut être modifié à l'aide de *fine-tuning* entre autres [17, 32].

En outre, on compte parmi ces questions, l'enjeu de l'intégration d'une évaluation de *fairness* aux évaluations de performance, pour avoir un benchmark d'évaluation plus complète [18, 11]. C'est la proposition notamment dans le benchmark Stereoset de la métrique de *l'idealized CAT score* qui allie un score de performance sur la tâche de language modeling et un score de *fairness* de réponse stéréotypée [25].
basé sur l'architecture du Transformers : les encoders-decoders (BART-type), les autoencoders (BERT-type) et les autorégressifs (GPT-type), les modèles autorégressifs étant ceux dont les performances sont les meilleurs dans l'état de l'art ; cette prépondérance s'explique par leur taille et leur capacité à substituer toute tâche à une tâche unique de complétion/génération de texte.

Les modèles autorégressifs occupent une place particulière dans le paysage de la littérature de la *fairness*, d'abord parce que l'architecture des Transformers permet d'envisager les biais selon une classification nouvelle : on considère alors les biais selon qu'ils sont intrinsèques ou extrinsèques [18, 7]. Ainsi, un biais intrinsèque correspond au biais contenu dans la façon dont le LLM modèle encode ses représentations quand un biais extrinsèque reflète un biais dans les décisions du modèle au moment de la prédiction.

Mais cette place particulière s'explique aussi par le fait que les LLMs sont utilisés de façon générique («*General-purpose* » [28]), et donc on peut faire l'hypothèse d'un transfert de leurs biais inhérents dans leurs différentes applications spécifique. En effet, on observe entre le pré-entrainement d'un LLM et son déploiement une longue chaîne de *fine-tuning* successifs, d'adaptation du modèle, le long de laquelle les biais peuvent se multiplier et se renforcer, faisant de leur évaluation et leur mitigation une tâche plus complexe encore [19].

Ainsi, concernant leur **évaluation**, la classification intrinsèque/extrinsèque permet d'envisager l'évaluation des biais dans les LLMs de différentes manières. Comme évoqué plus tôt, ils peuvent être observés dans les représentations du LLMs (intrinsèque) et cela de deux façons différentes : en observant les proximités des représentations dans l'espace scalaire [22, 8] ou les différences dans la distribution de probabilité des tokens sur des tâches de complétion de texte (Li et al., 2023). En ce qui concerne les biais extrinsèques, on évalue les modèles selon différentes populations sur des tâches définies, avec les métriques associées. Il peut s'agir d'une tâche de complétion de texte, tâche « essentielle » des LLMs, qui s'évalue généralement avec des mesures de toxicité, de sentiment et de regard [11] ou encore avec des benchmarks qui s'appuient sur des jeux de données [23]; mais il peut également s'agir d'une tâche « substituée » plus classique, de classification [31] ou de résolution de corréférence par exemple [44].

Dans un premier temps, le fait de pouvoir utiliser les LLMs pour des tâches prédictives pour lesquelles ceux-là n'ont pas été pré-entrainés (la classification) soulève les mêmes questions d'évaluation de *fairness* que celles qui traversent la littérature depuis plusieurs années déjà : sur quel critère statistique considérons-nous que nous sommes équitables ? C'est l'enjeu de l'incompatibilité de certaines métriques de *fairness* selon la définition choisie, qui ne s'appuient pas sur la même condition fondamentale d'indépendance statistique [30, 3].

Deuxièmement, cet éventail de possibilités d'applications nécessite également un éventail de méthodes d'évaluation. Gallienne et Poibeau (2023) [12] évoquent la notion de « classes d'application » pour mettre en lumière la nécessité d'avoir une méthode d'évaluation de *fairness* spécifique au cas d'usage précis pour lequel un LLM donné sera utilisé. On parle d'un biais de mesure lorsque la mesure utilisée pour évaluer une construction abstraite ne reflète pas complètement la réalité [27, 36] et à ce titre, on peut évoquer les études qui démontrent que les métriques d'évaluation de biais intrinsèques ne permettent pas nécessairement d'avoir une compréhension au moment de la prédiction du modèle [13].

Enfin, les questions que posent l'évaluation des productions des modèles autorégressifs restent ouvertes [29] d'un point de vue général étant donné que l'évaluation standard d'un LLM repose sur ses performances sur des benchmarks données, qui peuvent elles-mêmes être biaisées ou incomplètes [24, 5] et l'évaluation de la *fairness* d'un modèle avec des benchmarks n'échappe pas à cette règle [6]. C'est en partie ce que souligne Davat lorsqu'elle préco-nise de parler de « re-biasage » plutôt que de « débiaisage ». En effet, les LLMs encodent un point de vue dominant qui n'est pas exempt de biais [4, 14, 35], point de vue qui peut être modifié à l'aide de *fine-tuning* entre autres [17, 32].

En outre, on compte parmi ces questions, l'enjeu de l'intégration d'une évaluation de *fairness* aux évaluations de performance, pour avoir un benchmark d'évaluation plus complète [18, 11]. C'est la proposition notamment dans le benchmark Stereoset de la métrique de *l'idealized CAT score* qui allie un score de performance sur la tâche de language modeling et un score de *fairness* de réponse stéréotypée [25].
Au même titre que les méthodes d'évaluation, on peut observer une classification des **méthodes de mitigation** selon le lieu de manifestation du biais : de façon intrinsèque ou extrinsèque. Dans l'utilisation majoritaire des LLMs aujourd'hui, ces derniers sont toutefois considérés comme des « black boxs », récupérées après un pré-entraînement général, avec ou sans couches d'entraînement ajoutées en amont (fine-tuning), rendant ainsi certaines techniques de mitigation intrinsèques caduques (pre-processing/in-processing), au moins en ce qui concerne le pré-entraînement. Pour autant, il existe différentes techniques de mitigation applicables sur des modèles pré-entraînés. On peut les considérer selon la nécessité ou non de passer par des étapes d'entraînement supplémentaires.

Ainsi, il est possible de fine-tuner un LLM modèle avec des nouvelles données qu'on considérera « non-biaisées ». Ce *fine-tuning* peut être intégrale ou modulaire (*memory-efficient/parameter fine-tuning*), cette dernière option étant préférablement choisie pour des raisons de coût et de conservation des performances du modèle -pour éviter le catastrophe forgetting en d'autres termes. On compte parmi les méthodes les plus usitées, les méthodes de prompt-tuning, de prefix-tuning, d'adapteurs et de reparamétrisations [38, 43]. Dans certains cas même, on peut apperrendre les méthodes de *parameter-efficient fine-tuning* à du *machine unlearning* [9].

A cette étape d'entraînement supervisée peut s'ajouter une étape d'apprentissage par renforcement [26] pour introduire des préférences de réponses alignées avec les valeurs humaines [42]. Au cours de cette étape, il est possible de fine-tuner le modèle avec des données annotées par des humains (Reinforcement Learning from Human Feedback) ou par le LLM lui-même qui a recours à un « auto-diagnostique » de ses propres contenus générés grâce à l'aide de principes constitutifs (Reinforcement Learning from AI Feedback) [2]. A noter qu'au-delà de l'apprentissage par renforcement, cette capacité d'auto-diagnostique peut également être utilisée pour agir sur la distribution de probabilités après génération de texte en elle-même [20, 33] mais que cette technique de mitigation ne requiert pas de nouvel entraînement et opère plutôt une méthode de censure du modèle, plutôt que de re-biaisage.

Finalement et dans la même veine que cette idée de censure par l'auto-diagnostique, le « role-play » [34] peut être envisagé comme une façon de contraindre la vision du monde que le modèle adopte et d'orienter ses biais. Le prompting en lui-même « révèle les forces et les biais des LLMs » [31]. En effet, on observe dans cette étude que le modèle performe mieux une tâche lorsqu'on demande au système de prendre le point de vue d'un expert mais également qu'il existe des variations de performance lorsqu'il s'agit de prendre le point de vue de différents groupes sociaux. Dans le même registre, d'autres études montrent également que l'intensité du préjudice de représentation varie selon le rôle endossé par le modèle [41, 16]. Cependant, on note avant tout que ces expériences de *role-play* révèlent d'abord les biais inhérents des modèles et que selon ces travaux et ceux de Hubinger et al., (2024) [15], les biais observés au moment de la prédiction notamment peuvent avoir des origines diffuses, difficiles à situer et donc à mitiger.

En synthèse, plutôt que de les envisager de façon générique, à l'échelle du modèle, l'évaluation et la mitigation des biais doivent être traitées selon un cas d'usage précis et son contexte. C'est ce que les entreprises devront déployer [1].
Au même titre que les méthodes d'évaluation, on peut observer une classification des **méthodes de mitigation** selon le lieu de manifestation du biais : de façon intrinsèque ou extrinsèque. Dans l'utilisation majoritaire des LLMs aujourd'hui, ces derniers sont toutefois considérés comme des « black boxs », récupérées après un pré-entraînement général, avec ou sans couches d'entraînement ajoutées en amont (fine-tuning), rendant ainsi certaines techniques de mitigation intrinsèques caduques (pre-processing/in-processing), au moins en ce qui concerne le pré-entraînement. Pour autant, il existe différentes techniques de mitigation applicables sur des modèles pré-entraînés. On peut les considérer selon la nécessité ou non de passer par des étapes d'entraînement supplémentaires.

Ainsi, il est possible de fine-tuner un LLM modèle avec des nouvelles données qu'on considérera « non-biaisées ». Ce *fine-tuning* peut être intégrale ou modulaire (*memory-efficient/parameter fine-tuning*), cette dernière option étant préférablement choisie pour des raisons de coût et de conservation des performances du modèle -pour éviter le catastrophe forgetting en d'autres termes. On compte parmi les méthodes les plus usitées, les méthodes de prompt-tuning, de prefix-tuning, d'adapteurs et de reparamétrisations [38, 43]. Dans certains cas même, on peut apparaître les méthodes de *parameter-efficient fine-tuning* à du *machine unlearning* [9].

A cette étape d'entraînement supervisée peut s'ajouter une étape d'apprentissage par renforcement [26] pour introduire des préférences de réponses alignées avec les valeurs humaines [42]. Au cours de cette étape, il est possible de fine-tuner le modèle avec des données annotées par des humains (Reinforcement Learning from Human Feedback) ou par le LLM lui-même qui a recours à un « auto-diagnostique » de ses propres contenus générés grâce à l'aide de principes constitutifs (Reinforcement Learning from AI Feedback) [2]. A noter qu'au-delà de l'apprentissage par renforcement, cette capacité d'auto-diagnostique peut également être utilisée pour agir sur la distribution de probabilités après génération de texte en elle-même [20, 33] mais que cette technique de mitigation ne requiert pas de nouvel entraînement et opère plutôt une méthode de censure du modèle, plutôt que de re-biaisage.

Finalement et dans la même veine que cette idée de censure par l'auto-diagnostique, le « role-play » [34] peut être envisagé comme une façon de contraindre la vision du monde que le modèle adopte et d'orienter ses biais. Le prompting en lui-même « révèle les forces et les biais des LLMs » [31]. En effet, on observe dans cette étude que le modèle performe mieux une tâche lorsqu'on demande au système de prendre le point de vue d'un expert mais également qu'il existe des variations de performance lorsqu'il s'agit de prendre le point de vue de différents groupes sociaux. Dans le même registre, d'autres études montrent également que l'intensité du préjudice de représentation varie selon le rôle endossé par le modèle [41, 16]. Cependant, on note avant tout que ces expériences de *role-play* révèlent d'abord les biais inhérents des modèles et que selon ces travaux et ceux de Hubinger et al., (2024) [15], les biais observés au moment de la prédiction notamment peuvent avoir des origines diffuses, difficiles à situer et donc à mitiger.

En synthèse, plutôt que de les envisager de façon générique, à l'échelle du modèle, l'évaluation et la mitigation des biais doivent être traitées selon un cas d'usage précis et son contexte. C'est ce que les entreprises devront déployer [1].
Références

[1] IA non biaisée : les entreprises sont-elles prêtes ? - Hello Future Orange, October 2021.

[2] Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell, Jackson Kernion, Andy Jones, Anna Chen, Anna Goldie, Azalia Mirhoseini, Cameron McKinnon, Carol Chen, Catherine Olsson, Christopher Olah, Danny Hernandez, Dawn Drain, Deep Ganguli, Dustin Li, Eli Tran-Johnson, Ethan Perez, Jamie Kerr, Jared Mueller, Jeffrey Ladish, Joshua Landau, Kamal Ndousse, Kamile Lukosuite, Liane Lovitt, Michael Sellitto, Nelson Elhage, Nicholas Schiefer, Noemi Mercado, Nova DasSarma, Robert Lasenby, Robin Larson, Sam Ringer, Scott Johnston, Shauna Kravec, Sheer El Showk, Stanislav Fort, Tamera Lanham, Timothy Telleen-Lawton, Tom Conerly, Tom Henighan, Tristan Hume, Samuel R. Bowman, Zac Hatfield-Dodds, Ben Mann, Dario Amodei, Nicholas Joseph, Sam McCandlish, Tom Brown, and Jared Kaplan. Constitutional AI: Harmlessness from AI Feedback, December 2022. arXiv:2212.08073 [cs].

[3] Solon Barocas, Moritz Hardt, and Arvind Narayanan. Fairness and Machine Learning.

[4] Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, and Shmargaret Shmitchell. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. In *Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency*, FAccT '21, pages 610–623, New York, NY, USA, March 2021. Association for Computing Machinery.

[5] Guillaume Le Berre. *Vers la mitigation des biais en traitement neuronal des langues*. phdthesis, Université de Lorraine; Université de Montréal, June 2023.

[6] Su Lin Blodgett, Gilsinia Lopez, Alexandra Olteanu, Robert Sim, and Hanna Wallach. Stereotyping Norwegian Salmon: An Inventory of Pitfalls in Fairness Benchmark Datasets. In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, pages 1004–1015, Online, August 2021. Association for Computational Linguistics.

[7] Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S. Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, Erik Brynjolfsson, Shyamal Buch, Dallas Card, Rodrigo Castellon, Niladri Chatterji, Annie Chen, Kathleen Creel, Jared Quincy Davis, Dora Demszky, Chris Donahue, Moussa Doumbouya, Esin Durmus, Stefano Ermon, John Etchemendy, Kawin Ethayarajh, Li Fei-Fei, Chelsea Finn, Trevor Gale, Lauren Gillespie, Karan Goel, Noah Goodman, Shelby Grossman, Neel Guha, Tatsunori Hashimoto, Peter Henderson, John Hewitt, Daniel E. Ho, Jenny Hong, Kyle Hsu, Jing Huang, Thomas Icard, Saahil Jain, Dan Jurafsky, Pratyusha Kalluri, Siddharth Karamcheti, Geoff Keeling, Fereshte Khani, Omar Khattab, Pang Wei Koh, Mark Krass, Ranjay Krishna, Rohith Kuditipudi, Ananya Kumar, Faisal Ladhak, Mina Lee, Tony Lee, Jure Leskovec, Isabelle Levent, Xiang Lisa Li, Xuechen Li, Tengyu Ma, Ali Malik, Christopher D. Manning, Suvir Mirchandani, Eric Mitchell, Zanele Munyikwa, Suraj Nair, Avanika Narayan, Deepak Narayanan, Ben Newman, Allen Nie, Juan Carlos Niebles, Hamed Nilforoshan, Julian Nyarko, Giray Ogut, Laurel Orr, Isabel Papadimitriou, Joon Sung Park, Chris Piech, Eva Portelance, Christopher Potts, Aditi Raghunathan, Rob Reich, Hongyu Ren, Frieda Rong, Yusuf Roohani, Camilo Ruiz, Jack Ryan, Christopher Ré, Dorsa Sadjigh, Shiori Sagawa, Keshav Santhanam, Andy Shih, Krishnan Srinivasan, Alex Tamkin, Rohan Taori, Armin W. Thomas, Florian Tramèr, Rose E. Wang, William Wang, Bohan Wu, Jiajun Wu, Yuhuai Wu, Sang Michael Xie, Michihiro Yasunaga, Jiaxuan You, Matei Zaharia, Michael Zhang, Tianyi Zhang, Xikun Zhang, Yuhui Zhang, Lucia Zheng, Kaitlyn Zhou, and Percy Liang. On the Opportunities and Risks of Foundation Models, July 2022. arXiv:2108.07258 [cs].

[8] Aylin Caliskan, Joanna J Bryson, and Arvind Narayanan. Semantics derived automatically from language corpora contain human-like biases. *Science*, 356(6334):183–186, April 2017.

[9] Ruizhe Chen, Jianfei Yang, Huimin Xiong, Jianhong Bai, Tianxiang Hu, Jin Hao, Yang Feng, Joey Tianyi Zhou, Jian Wu, and Zuozhu Liu. Fast Model Debias with Machine Unlearning, November 2023. arXiv:2310.12560 [cs].

[10] Ambre Davat. What is the meaning of "bias" in AI?

[11] Isabel O. Gallegos, Ryan A. Rossi, Joe Barrow, Md Mehrab Tanjim, Sungchul Kim, Franck Dernoncourt, Tong Yu, Ruiyi Zhang, and Nesreen K. Ahmed. Bias and Fairness in Large Language Models: A Survey, September 2023. arXiv:2309.00770 [cs].

[12] Romane Gallienne and Thierry Poibeau. Quelques observations sur la notion de biais dans les modèles de langue. In *18e Conférence en Recherche d'Information et Applications\backslash backslash\backslash 16e Rencontres Jeunes Chercheurs en R\backslash backslash\backslash backslash 30e Conférence sur le Traitement Automatique des Langues Naturelles\backslash backslash\backslash backslash 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues*, pages 1–13. ATALA, 2023.

[13] Seraphina Goldfarb-Tarrant, Rebecca Marchant, Ricardo Muñoz Sanchez, Mugdha Pandya, and Adam Lopez. Intrinsic Bias Metrics Do Not Correlate with Application Bias, June 2021. arXiv:2012.15859 [cs].
Références

[1] IA non biaisée : les entreprises sont-elles prêtes ? - Hello Future Orange, October 2021.

[2] Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell, Jackson Kernion, Andy Jones, Anna Chen, Anna Goldie, Azalia Mirhoseini, Cameron McKinnon, Carol Chen, Catherine Olsson, Christopher Olah, Danny Hernandez, Dawn Drain, Deep Ganguli, Dustin Li, Eli Tran-Johnson, Ethan Perez, Jamie Kerr, Jared Mueller, Jeffrey Ladish, Joshua Landau, Kamal Ndousse, Kamile Lukosuite, Liane Lovitt, Michael Sellitto, Nelson Elhage, Nicholas Schiefer, Noemi Mercado, Nova DasSarma, Robert Lasenby, Robin Larson, Sam Ringer, Scott Johnston, Shauna Kravec, Sheer El Showk, Stanislav Fort, Tamera Lanham, Timothy Telleen-Lawton, Tom Conerly, Tom Henighan, Tristan Hume, Samuel R. Bowman, Zac Hatfield-Dodds, Ben Mann, Dario Amodei, Nicholas Joseph, Sam McCandlish, Tom Brown, and Jared Kaplan. Constitutional AI: Harmlessness from AI Feedback, December 2022. arXiv:2212.08073 [cs].

[3] Solon Barocas, Moritz Hardt, and Arvind Narayanan. Fairness and Machine Learning.

[4] Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, and Shmargaret Shmitchell. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? In *Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency*, FAccT '21, pages 610–623, New York, NY, USA, March 2021. Association for Computing Machinery.

[5] Guillaume Le Berre. *Vers la mitigation des biais en traitement neuronal des langues*. phdthesis, Université de Lorraine; Université de Montréal, June 2023.

[6] Su Lin Blodgett, Gilsinia Lopez, Alexandra Olteanu, Robert Sim, and Hanna Wallach. Stereotyping Norwegian Salmon: An Inventory of Pitfalls in Fairness Benchmark Datasets. In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, pages 1004–1015, Online, August 2021. Association for Computational Linguistics.

[7] Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S. Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, Erik Brynjolfsson, Shyamal Buch, Dallas Card, Rodrigo Castellon, Niladri Chatterji, Annie Chen, Kathleen Creel, Jared Quincy Davis, Dora Demszky, Chris Donahue, Moussa Doumbouya, Esin Durmus, Stefano Ermon, John Etchemendy, Kawin Ethayarajh, Li Fei-Fei, Chelsea Finn, Trevor Gale, Lauren Gillespie, Karan Goel, Noah Goodman, Shelby Grossman, Neel Guha, Tatsunori Hashimoto, Peter Henderson, John Hewitt, Daniel E. Ho, Jenny Hong, Kyle Hsu, Jing Huang, Thomas Icard, Saahil Jain, Dan Jurafsky, Pratyusha Kalluri, Siddharth Karamcheti, Geoff Keeling, Fereshte Khani, Omar Khattab, Pang Wei Koh, Mark Krass, Ranjay Krishna, Rohith Kuditipudi, Ananya Kumar, Faisal Ladhak, Mina Lee, Tony Lee, Jure Leskovec, Isabelle Levent, Xiang Lisa Li, Xuechen Li, Tengyu Ma, Ali Malik, Christopher D. Manning, Suvir Mirchandani, Eric Mitchell, Zanele Munyikwa, Suraj Nair, Avanika Narayan, Deepak Narayanan, Ben Newman, Allen Nie, Juan Carlos Niebles, Hamed Nilforoshan, Julian Nyarko, Giray Ogut, Laurel Orr, Isabel Papadimitriou, Joon Sung Park, Chris Piech, Eva Portelance, Christopher Potts, Aditi Raghunathan, Rob Reich, Hongyu Ren, Frieda Rong, Yusuf Roohani, Camilo Ruiz, Jack Ryan, Christopher Ré, Dorsa Sadjigh, Shiori Sagawa, Keshav Santhanam, Andy Shih, Krishnan Srinivasan, Alex Tamkin, Rohan Taori, Armin W. Thomas, Florian Tramèr, Rose E. Wang, William Wang, Bohan Wu, Jiajun Wu, Yuhuai Wu, Sang Michael Xie, Michihiro Yasunaga, Jiaxuan You, Matei Zaharia, Michael Zhang, Tianyi Zhang, Xikun Zhang, Yuhui Zhang, Lucia Zheng, Kaitlyn Zhou, and Percy Liang. On the Opportunities and Risks of Foundation Models, July 2022. arXiv:2108.07258 [cs].

[8] Aylin Caliskan, Joanna J Bryson, and Arvind Narayanan. Semantics derived automatically from language corpora contain human-like biases. *Science*, 356(6334):183–186, April 2017.

[9] Ruizhe Chen, Jianfei Yang, Huimin Xiong, Jianhong Bai, Tianxiang Hu, Jin Hao, Yang Feng, Joey Tianyi Zhou, Jian Wu, and Zuozhu Liu. Fast Model Debias with Machine Unlearning, November 2023. arXiv:2310.12560 [cs].

[10] Ambre Davat. What is the meaning of "bias" in AI?

[11] Isabel O. Gallegos, Ryan A. Rossi, Joe Barrow, Md Mehrab Tanjim, Sungchul Kim, Franck Dernoncourt, Tong Yu, Ruiyi Zhang, and Nesreen K. Ahmed. Bias and Fairness in Large Language Models: A Survey, September 2023. arXiv:2309.00770 [cs].

[12] Romane Gallienne and Thierry Poibeau. Quelques observations sur la notion de biais dans les modèles de langue. In *18e Conférence en Recherche d'Information et Applications\backslash backslash\backslash 16e Rencontres Jeunes Chercheurs en R\backslash backslash\backslash backslash 30e Conférence sur le Traitement Automatique des Langues Naturelles\backslash backslash\backslash backslash 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues*, pages 1–13. ATALA, 2023.

[13] Seraphina Goldfarb-Tarrant, Rebecca Marchant, Ricardo Muñoz Sanchez, Mugdha Pandya, and Adam Lopez. Intrinsic Bias Metrics Do Not Correlate with Application Bias, June 2021. arXiv:2012.15859 [cs].
[14] Suchin Gururangan, Dallas Card, Sarah K. Dreier, Emily K. Gade, Leroy Z. Wang, Zeyu Wang, Luke Zettle-moyer, and Noah A. Smith. Whose Language Counts as High Quality? Measuring Language Ideologies in Text Data Selection, January 2022. arXiv:2201.10474 [cs].

[15] Evan Hubinger, Carson Denison, Jesse Mu, Mike Lambert, Meg Tong, Monte MacDiarmid, Tamera Lanham, Daniel M. Ziegler, Tim Maxwell, Newton Cheng, Adam Jermyn, Amanda Askell, Ansh Radhakrishnan, Cem Anil, David Duvenaud, Deep Ganguli, Fazl Barez, Jack Clark, Kamal Ndousse, Kshitij Sachan, Michael Sellitto, Mrinank Sharma, Nova DasSarma, Roger Grosse, Shauna Kravec, Yuntao Bai, Zachary Witten, Marina Favaro, Jan Brauner, Holden Karnofsky, Paul Christiano, Samuel R. Bowman, Logan Graham, Jared Kaplan, Sören Mindermann, Ryan Greenblatt, Buck Shlegeris, Nicholas Schiefer, and Ethan Perez. Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training, January 2024. arXiv:2401.05566 [cs].

[16] Grgur Kovač, Masataka Sawayama, Rémy Portelas, Cédric Colas, Peter Ford Dominey, and Pierre-Yves Oudeyer. Large Language Models as Superpositions of Cultural Perspectives, November 2023. arXiv:2307.07870 [cs].

[17] Sharon Levy, Neha Anna John, Ling Liu, Yogarshi Vyas, Jie Ma, Yoshinari Fujinuma, Miguel Ballesteros, Vittorio Castelli, and Dan Roth. Comparing Biases and the Impact of Multilingual Training across Multiple Languages, May 2023. arXiv:2305.11242 [cs].

[18] Yingji Li, Mengnan Du, Rui Song, Xin Wang, and Ying Wang. A Survey on Fairness in Large Language Models, August 2023. arXiv:2308.10149 [cs].

[19] Yang Liu, Yuanshun Yao, Jean-François Ton, Xiaoying Zhang, Ruocheng Guo, Hao Cheng, Yegor Klochkov, Muhammad Faaiz Taufiq, and Hang Li. Trustworthy LLMs: a Survey and Guideline for Evaluating Large Language Models' Alignment, August 2023. arXiv:2308.05374 [cs].

[20] Ambri Ma, Arnav Kumar, and Brett Zeligson. Diagnosing and Debiasing Corpus-Based Political Bias and Insults in GPT2, November 2023. arXiv:2311.10266 [cs].

[21] Lauren Kirchner Surya Jeff Larson Mattu, Julia Angwin. How We Analyzed the COMPAS Recidivism Algorithm.

[22] Chandler May, Alex Wang, Shikha Bordia, Samuel R. Bowman, and Rachel Rudinger. On Measuring Social Biases in Sentence Encoders, March 2019. arXiv:1903.10561 [cs].

[23] Nicholas Meade, Elinor Poole-Dayan, and Siva Reddy. An Empirical Survey of the Effectiveness of Debiasing Techniques for Pre-trained Language Models, April 2022. arXiv:2110.08527 [cs].

[24] Ramaravind Kommiya Mothilal, Shion Guha, and Syed Ishtiaque Ahmed. Towards a Non-Ideal Methodological Framework for Responsible ML, January 2024. arXiv:2401.11131 [cs].

[25] Moin Nadeem, Anna Bethke, and Siva Reddy. StereoSet: Measuring stereotypical bias in pretrained language models, April 2020. arXiv:2004.09456 [cs].

[26] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback, March 2022. arXiv:2203.02155 [cs].

[27] Samir Passi and Solon Barocas. Problem Formulation and Fairness. In *Proceedings of the Conference on Fairness, Accountability, and Transparency*, FAT* '19, pages 39–48, New York, NY, USA, January 2019. Association for Computing Machinery.

[28] Oliver Radley-Gardner, Hugh Beale, and Reinhard Zimmermann, editors. *Fundamental Texts On European Private Law*. Hart Publishing, 2016.

[29] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond Accuracy: Behavioral Testing of NLP Models with CheckList. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, pages 4902–4912, Online, July 2020. Association for Computational Linguistics.

[30] Boris Ruf and Marcin Detyniecki. Towards the Right Kind of Fairness in AI, September 2021. arXiv:2102.08453 [cs].

[31] Leonard Salewski, Stephan Alaniz, Isabel Rio-Torto, Eric Schulz, and Zeynep Akata. In-Context Impersonation Reveals Large Language Models' Strengths and Biases, November 2023. arXiv:2305.14930 [cs].

[32] Shibani Santurkar, Esin Durmus, Faisal Ladhak, Cinoo Lee, Percy Liang, and Tatsunori Hashimoto. Whose Opinions Do Language Models Reflect?, March 2023. arXiv:2303.17548 [cs].

[33] Timo Schick, Sahana Udupa, and Hinrich Schütze. Self-Diagnosis and Self-Debiasing: A Proposal for Reducing Corpus-Based Bias in NLP, September 2021. arXiv:2103.00453 [cs].

[34] Murray Shanahan, Kyle McDonell, and Laria Reynolds. Role-Play with Large Language Models, May 2023. arXiv:2305.16367 [cs].

[35] Huaman Sun, Jiaxin Pei, Minje Choi, and David Jurgens. Aligning with Whom? Large Language Models Have Gender and Racial Biases in Subjective NLP Tasks, November 2023. arXiv:2311.09730 [cs].
[14] Suchin Gururangan, Dallas Card, Sarah K. Dreier, Emily K. Gade, Leroy Z. Wang, Zeyu Wang, Luke Zettle-moyer, and Noah A. Smith. Whose Language Counts as High Quality? Measuring Language Ideologies in Text Data Selection, January 2022. arXiv:2201.10474 [cs].

[15] Evan Hubinger, Carson Denison, Jesse Mu, Mike Lambert, Meg Tong, Monte MacDiarmid, Tamera Lanham, Daniel M. Ziegler, Tim Maxwell, Newton Cheng, Adam Jermyn, Amanda Askell, Ansh Radhakrishnan, Cem Anil, David Duvenaud, Deep Ganguli, Fazl Barez, Jack Clark, Kamal Ndousse, Kshitij Sachan, Michael Sellitto, Mrinank Sharma, Nova DasSarma, Roger Grosse, Shauna Kravec, Yuntao Bai, Zachary Witten, Marina Favaro, Jan Brauner, Holden Karnofsky, Paul Christiano, Samuel R. Bowman, Logan Graham, Jared Kaplan, Sören Mindermann, Ryan Greenblatt, Buck Shlegeris, Nicholas Schiefer, and Ethan Perez. Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training, January 2024. arXiv:2401.05566 [cs].

[16] Grgur Kovač, Masataka Sawayama, Rémy Portelas, Cédric Colas, Peter Ford Dominey, and Pierre-Yves Oudeyer. Large Language Models as Superpositions of Cultural Perspectives, November 2023. arXiv:2307.07870 [cs].

[17] Sharon Levy, Neha Anna John, Ling Liu, Yogarshi Vyas, Jie Ma, Yoshinari Fujinuma, Miguel Ballesteros, Vittorio Castelli, and Dan Roth. Comparing Biases and the Impact of Multilingual Training across Multiple Languages, May 2023. arXiv:2305.11242 [cs].

[18] Yingji Li, Mengnan Du, Rui Song, Xin Wang, and Ying Wang. A Survey on Fairness in Large Language Models, August 2023. arXiv:2308.10149 [cs].

[19] Yang Liu, Yuanshun Yao, Jean-François Ton, Xiaoying Zhang, Ruocheng Guo, Hao Cheng, Yegor Klochkov, Muhammad Faaiz Taufiq, and Hang Li. Trustworthy LLMs: a Survey and Guideline for Evaluating Large Language Models' Alignment, August 2023. arXiv:2308.05374 [cs].

[20] Ambri Ma, Arnav Kumar, and Brett Zeligson. Diagnosing and Debiasing Corpus-Based Political Bias and Insults in GPT2, November 2023. arXiv:2311.10266 [cs].

[21] Lauren Kirchner Surya Jeff Larson Mattu, Julia Angwin. How We Analyzed the COMPAS Recidivism Algorithm.

[22] Chandler May, Alex Wang, Shikha Bordia, Samuel R. Bowman, and Rachel Rudinger. On Measuring Social Biases in Sentence Encoders, March 2019. arXiv:1903.10561 [cs].

[23] Nicholas Meade, Elinor Poole-Dayan, and Siva Reddy. An Empirical Survey of the Effectiveness of Debiasing Techniques for Pre-trained Language Models, April 2022. arXiv:2110.08527 [cs].

[24] Ramaravind Kommiya Mothilal, Shion Guha, and Syed Ishtiaque Ahmed. Towards a Non-Ideal Methodological Framework for Responsible ML, January 2024. arXiv:2401.11131 [cs].

[25] Moin Nadeem, Anna Bethke, and Siva Reddy. StereoSet: Measuring stereotypical bias in pretrained language models, April 2020. arXiv:2004.09456 [cs].

[26] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback, March 2022. arXiv:2203.02155 [cs].

[27] Samir Passi and Solon Barocas. Problem Formulation and Fairness. In *Proceedings of the Conference on Fairness, Accountability, and Transparency*, FAT* '19, pages 39–48, New York, NY, USA, January 2019. Association for Computing Machinery.

[28] Oliver Radley-Gardner, Hugh Beale, and Reinhard Zimmermann, editors. *Fundamental Texts On European Private Law*. Hart Publishing, 2016.

[29] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond Accuracy: Behavioral Testing of NLP Models with CheckList. In Dan Jurafsky, Joyce Chai, Natalie Schlüter, and Joel Tetreault, editors, *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, pages 4902–4912, Online, July 2020. Association for Computational Linguistics.

[30] Boris Ruf and Marcin Detyniecki. Towards the Right Kind of Fairness in AI, September 2021. arXiv:2102.08453 [cs].

[31] Leonard Salewski, Stephan Alaniz, Isabel Rio-Torto, Eric Schulz, and Zeynep Akata. In-Context Impersonation Reveals Large Language Models' Strengths and Biases, November 2023. arXiv:2305.14930 [cs].

[32] Shibani Santurkar, Esin Durmus, Faisal Ladhak, Cinoo Lee, Percy Liang, and Tatsunori Hashimoto. Whose Opinions Do Language Models Reflect?, March 2023. arXiv:2303.17548 [cs].

[33] Timo Schick, Sahana Udupa, and Hinrich Schütze. Self-Diagnosis and Self-Debiasing: A Proposal for Reducing Corpus-Based Bias in NLP, September 2021. arXiv:2103.00453 [cs].

[34] Murray Shanahan, Kyle McDonell, and Laria Reynolds. Role-Play with Large Language Models, May 2023. arXiv:2305.16367 [cs].

[35] Huaman Sun, Jiaxin Pei, Minje Choi, and David Jurgens. Aligning with Whom? Large Language Models Have Gender and Racial Biases in Subjective NLP Tasks, November 2023. arXiv:2311.09730 [cs].
[36] Harini Suresh and John V. Guttag. A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle. In *Equity and Access in Algorithms, Mechanisms, and Optimization*, pages 1–9, October 2021. arXiv:1901.10002 [cs, stat].

[37] The Artificial Intelligence Channel. The Trouble with Bias - NIPS 2017 Keynote - Kate Crawford #NIPS2017, December 2017.

[38] Marcos Treviso, Ji-Ung Lee, Tianchu Ji, Betty van Aken, Qingqing Cao, Manuel R. Ciosici, Michael Hassid, Kenneth Heafield, Sara Hooker, Colin Raffel, Pedro H. Martins, André F. T. Martins, Jessica Zosa Forde, Peter Milder, Edwin Simpson, Noam Slonim, Jesse Dodge, Emma Strubell, Niranjan Balasubramanian, Leon Derczynski, Iryna Gurevych, and Roy Schwartz. Efficient Methods for Natural Language Processing: A Survey, March 2023. arXiv:2209.00099 [cs].

[39] Sahil Verma and Julia Rubin. Fairness definitions explained. In *Proceedings of the International Workshop on Software Fairness*, pages 1–7, Gothenburg Sweden, May 2018. ACM.

[40] Yixin Wan, George Pu, Jiao Sun, Aparna Garimella, Kai-Wei Chang, and Nanyun Peng. "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters, December 2023. arXiv:2310.09219 [cs].

[41] Yixin Wan, Jieyu Zhao, Aman Chadha, Nanyun Peng, and Kai-Wei Chang. Are Personalized Stochastic Parrots More Dangerous? Evaluating Persona Biases in Dialogue Systems, November 2023. arXiv:2310.05280 [cs].

[42] Jing Yao, Xiaoyuan Yi, Xiting Wang, Jindong Wang, and Xing Xie. From Instructions to Intrinsic Human Values – A Survey of Alignment Goals for Big Models, September 2023. arXiv:2308.12014 [cs].

[43] Jinghan Zhang, Shiqi Chen, Junteng Liu, and Junxian He. Composing Parameter-Efficient Modules with Arithmetic Operations, December 2023. arXiv:2306.14870 [cs].

[44] Jieyu Zhao, Tianlu Wang, Mark Yatskar, Vicente Ordonez, and Kai-Wei Chang. Gender Bias in Coreference Resolution: Evaluation and Debiasing Methods. In *Marilyn Walker, Heng Ji, and Amanda Stent, editors, Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers)*, pages 15–20, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.
[36] Harini Suresh and John V. Guttag. A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle. In *Equity and Access in Algorithms, Mechanisms, and Optimization*, pages 1–9, October 2021. arXiv:1901.10002 [cs, stat].

[37] The Artificial Intelligence Channel. The Trouble with Bias - NIPS 2017 Keynote - Kate Crawford #NIPS2017, December 2017.

[38] Marcos Treviso, Ji-Ung Lee, Tianchu Ji, Betty van Aken, Qingqing Cao, Manuel R. Ciosici, Michael Hassid, Kenneth Heafield, Sara Hooker, Colin Raffel, Pedro H. Martins, André F. T. Martins, Jessica Zosa Forde, Peter Milder, Edwin Simpson, Noam Slonim, Jesse Dodge, Emma Strubell, Niranjan Balasubramanian, Leon Derczynski, Iryna Gurevych, and Roy Schwartz. Efficient Methods for Natural Language Processing: A Survey, March 2023. arXiv:2209.00099 [cs].

[39] Sahil Verma and Julia Rubin. Fairness definitions explained. In *Proceedings of the International Workshop on Software Fairness*, pages 1–7, Gothenburg Sweden, May 2018. ACM.

[40] Yixin Wan, George Pu, Jiao Sun, Aparna Garimella, Kai-Wei Chang, and Nanyun Peng. "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters, December 2023. arXiv:2310.09219 [cs].

[41] Yixin Wan, Jieyu Zhao, Aman Chadha, Nanyun Peng, and Kai-Wei Chang. Are Personalized Stochastic Parrots More Dangerous? Evaluating Persona Biases in Dialogue Systems, November 2023. arXiv:2310.05280 [cs].

[42] Jing Yao, Xiaoyuan Yi, Xiting Wang, Jindong Wang, and Xing Xie. From Instructions to Intrinsic Human Values – A Survey of Alignment Goals for Big Models, September 2023. arXiv:2308.12014 [cs].

[43] Jinghan Zhang, Shiqi Chen, Junteng Liu, and Junxian He. Composing Parameter-Efficient Modules with Arithmetic Operations, December 2023. arXiv:2306.14870 [cs].

[44] Jieyu Zhao, Tianlu Wang, Mark Yatskar, Vicente Ordonez, and Kai-Wei Chang. Gender Bias in Coreference Resolution: Evaluation and Debiasing Methods. In *Marilyn Walker, Heng Ji, and Amanda Stent, editors, Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers)*, pages 15–20, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.
# WHAT CHATGPT TELLS US ABOUT OURSELVES

Aaron Boussidan<fnref n="1" />, Fanny Ducel<fnref n="2" />, Aurélie Névéol<fnref n="2" />, Karën Fort<fnref n="3" />

(1) Université Gustave Eiffel, LIGM (France)

(2) Université Paris-Saclay, CNRS, LISN (France)

(3) Sorbonne Université / LORIA (France)

aaron.boussidan@univ-eiffel.fr, fanny.ducel@lisn.fr

March 29, 2024

## 1 Introduction

Large Language Models are known to generate various biases, and the scientific community has started to tackle them. There are two main approaches to detect and evaluate stereotypical biases: intrisically or extrinsically. Intrisic methods aim at uncovering internal biases, located within the model's representations (Bolukbasi et al., 2016; Guo & Caliskan, 2021), whereas extrinsic methods focus on biases that are produced during inference, i.e. the output of a use-case (De-Arteaga et al., 2019; Parrish et al., 2022). Since our goal is to work on ChatGPT, we are compelled to opt for the second approach as OpenAI did not release enough information on the training corpora or the internal model's representations. More precisely, this experiment is an attempt at measuring ChatGPT's biases about various countries in the world. With the help of prompting, generative models can easily be used for other classical NLP tasks. In this experiment in particular, we prompted ChatGPT 3.5 to perform sentiment analysis, by getting it to assign a “positivity score” to every country of the world. We then generated a choropleth (a map where countries are each assigned a color associated to their score) with ChatGPT’s rating of each country. The experiment has been conducted in 4 different languages: French, English, Russian and Arabic, to assess potential variations between languages. We briefly present our methodology, and then detail our results, their interpretation, and we conclude by discussing the design of the experiment and its inherent biases.

## 2 Methodology

We used the publicly available version of ChatGPT, using the web interface, between February 21, 2024 and March 6, 2024. For each language, we used the same prompts. Translations into languages other than English were generated using DeepL, and checked for fluency and correctness by native or bilingual speakers. We queried ChatGPT to assign a score between -10 (very negative) and +10 (very positive) to different words:

> Hi ! I will give you words, and I would like you to assign scores between -10 and 10 to those words, based on how positive they are

We then provide it with a list of countries<fnref n="1" />, asking it to assign a score to each of them:
Please score the following words, and give your results in a .csv file: ['Afghanistan', 'Albania', ...
'Zambia', 'Zimbabwe', 'eSwatini']

We then generated maps where each country was assigned a color on a red (most negative) to green (most positive) scale. All of our code, as well as our prompts will be made available upon acceptation.

## 3 Results and first interpretations

### 3.1 A Western perspective?

Looking at the results and data for the four languages (See Figures 1 to 4), a clear global trend appears: North American and European countries are given higher scores, while African countries are given the worst ones. South American and Asian countries tend to be in the medium range. In Oceania, Australia and New-Zealand are evaluated more positively than their neighbours. Some countries are notable outliers: North Korea, Venezuela, Belarus, and Myanmar, for example.

Comparing our generated maps with GDP 2 or Internet access maps for the world shows some notable similarities. This suggests that the scores obtained seem to reflect the opinions of the users and writers of the Web, who positively perceive themselves and their fellow users. Indeed, we know that Western countries have better access to the Internet<fnref n="3" />

<footnote n="1">¹We used the list of countries provided by the Python library Geopandas.</footnote>

<footnote n="2">²https://www.imf.org/external/datamapper/NGDPDPC@WEO/OEMDC/ADVEC/WEOWORLD</footnote>

<footnote n="3">³https://ourworldindata.org/ grapher/share-of-individuals-using-the-internet?time=2021&tab=map</footnote>
# WHAT CHATGPT TELLS US ABOUT OURSELVES

Aaron Boussidan<fnref n="1" />, Fanny Ducel<fnref n="2" />, Aurélie Névéol<fnref n="2" />, Karën Fort<fnref n="3" />

(1) Université Gustave Eiffel, LIGM (France)

(2) Université Paris-Saclay, CNRS, LISN (France)

(3) Sorbonne Université / LORIA (France)

aaron.boussidan@univ-eiffel.fr, fanny.ducel@lisn.fr

March 29, 2024

## 1 Introduction

Large Language Models are known to generate various biases, and the scientific community has started to tackle them. There are two main approaches to detect and evaluate stereotypical biases: intrisically or extrinsically. Intrisic methods aim at uncovering internal biases, located within the model's representations (Bolukbasi et al., 2016; Guo & Caliskan, 2021), whereas extrinsic methods focus on biases that are produced during inference, i.e. the output of a use-case (De-Arteaga et al., 2019; Parrish et al., 2022). Since our goal is to work on ChatGPT, we are compelled to opt for the second approach as OpenAI did not release enough information on the training corpora or the internal model's representations. More precisely, this experiment is an attempt at measuring ChatGPT's biases about various countries in the world. With the help of prompting, generative models can easily be used for other classical NLP tasks. In this experiment in particular, we prompted ChatGPT 3.5 to perform sentiment analysis, by getting it to assign a "positivity score" to every country of the world. We then generated a choropleth (a map where countries are each assigned a color associated to their score) with ChatGPT's rating of each country. The experiment has been conducted in 4 different languages: French, English, Russian and Arabic, to assess potential variations between languages. We briefly present our methodology, and then detail our results, their interpretation, and we conclude by discussing the design of the experiment and its inherent biases.

## 2 Methodology

We used the publicly available version of ChatGPT, using the web interface, between February 21, 2024 and March 6, 2024. For each language, we used the same prompts. Translations into languages other than English were generated using DeepL, and checked for fluency and correctness by native or bilingual speakers. We queried ChatGPT to assign a score between -10 (very negative) and +10 (very positive) to different words:

> Hi ! I will give you words, and I would like you to assign scores between -10 and 10 to those words, based on how positive they are

We then provide it with a list of countries<fnref n="1" />, asking it to assign a score to each of them:
Please score the following words, and give your results in a .csv file: ['Afghanistan', 'Albania', ...
'Zambia', 'Zimbabwe', 'eSwatini']

We then generated maps where each country was assigned a color on a red (most negative) to green (most positive) scale. All of our code, as well as our prompts will be made available upon acceptation.

## 3 Results and first interpretations

### 3.1 A Western perspective?

Looking at the results and data for the four languages (See Figures 1 to 4), a clear global trend appears: North American and European countries are given higher scores, while African countries are given the worst ones. South American and Asian countries tend to be in the medium range. In Oceania, Australia and New-Zealand are evaluated more positively than their neighbours. Some countries are notable outliers: North Korea, Venezuela, Belarus, and Myanmar, for example.

Comparing our generated maps with GDP <fnref n="2" /> or Internet access maps for the world shows some notable similarities. This suggests that the scores obtained seem to reflect the opinions of the users and writers of the Web, who positively perceive themselves and their fellow users. Indeed, we know that Western countries have better access to the Internet<fnref n="3" />

<footnote n="1">¹We used the list of countries provided by the Python library Geopandas.</footnote>

<footnote n="2">²https://www.imf.org/external/datamapper/NGDPDPC@WEO/OEMDC/ADVEC/WEOWORLD</footnote>

<footnote n="3">³https://ourworldindata.org/grapher/share-of-individuals-using-the-internet?time=2021&tab=map</footnote>
and that, at least for Wikipedia, the majority of users who express themselves online are Western men who are either
in their mid-20s or retired<fnref n="4" />. We can easily see similar trends between these aforementioned statistics and the results
of our experiment: ChatGPT reproduces, and maybe amplifies, what people write on the Internet.

The model outputs often mention these scores as reflecting a “general opinion”. However, no particular way of scoring countries was integrated to our initial prompt: we only asked how “positive” some “words” are. When asked to score countries individually, the model usually explains how these scores are linked to the “economic level” of the country, its “reputation” or some of its policies: these criteria of scoring have been purely inferred by the model. For example, when prompted to elaborate about the score for Uruguay, the model produces the following explanation:

Uruguay (Score: 5): Uruguay is perceived positively for its stable democracy, progressive social policies (including legalizing cannabis), strong rule of law, environmental sustainability efforts, and relatively high quality of life in Latin America.

Among other things, framing cannabis legalisation as a positive factor to evaluate a country is a political choice. When prompted about the United Arab Emirates, the model produces a list of qualities of the countries, which does not include social policies, that had been factored in previously.

United Arab Emirates (Score: 7): The UAE is viewed positively due to its rapid development, modern infrastructure, economic diversification beyond oil, tourism initiatives, and ambitious projects such as the Burj Khalifa and Palm Islands.

These outputs also seem to be outdated, as across all languages, Russia is given a positive score, whereas the context of the Russia-Ukraine war is known to have negatively impacted people's view of the country<fnref n="5" />. The training data of ChatGPT 3.5 allegedly stops in January 2022, a month before Russia's invasion of Ukraine and the beginning of the war. This reminds us that the model reproduces a snapshot of the world's perception of other countries, in a given time and space.

## 3.2 Variation between languages

We can also observe some differences across languages. Prompts in French lead to a more negative score for African countries, especially the ones that France colonized<fnref n="6" />. On the contrary, when prompted in English, the model gives positive scores to the Commonwealth nations (e.g. India, Australia). For Arabic and Russian, the results are quite similar and more homogeneous, with a more positive overall average. The rare countries that have negative scores are also in Africa and, especially for the Russian version, in the Middle East.

We can propose different hypotheses to explain the changes in results based on the language used in the prompt. On one hand, it could be related to the cultural differences that are encapsulated in the training corpora. On the second hand, it could be the reflection of the generations' linguistic quality and of the use of toxicity filters and Reinforcement Learning with Human Feedback (RLHF), that differ based on the language.

This experiment is, of course, not a systematic large-scale approach at those biases, but rather a first approach, supported by a visualization method. In particular, the model is non-deterministic in its core: country scores vary from conversation to conversation, and even the average score among all countries varies from conversation to conversation. We have tried to counter-act this by normalising the data, to make it comparable, and by trying to have a larger sample size for English, but a more large scale approach should be taken to further pursue this experiment.

Finally, it might be misguided to take these results as showing that ChatGPT “has an opinion” on countries, or “favors” some over others. When asked to explain its scores, the model gives explanation for why it has chosen its score. A positivity score is fundamentally 1-dimensional, and by forcing the model to choose, we are somewhat forcing discrepancies between countries.

## 3.3 Variation between iterations

Since ChatGPT is non-deterministic, we replicated the experiment on English 15 times, on different user accounts, using different conversation tabs and shuffling the order of the countries in our prompt. Our goal was to observe whether or not scores change drastically across iterations. We then computed the averages, medians, and standard deviations for each country. Our results show that the majority of countries obtain very similar scores across iterations. Nonetheless, it is not the case for 30 countries (See Table A), which present significant standard deviation (>2, when the mean standard deviation is 1.35), e.g. notable score differences across trials. The concerned countries are mostly

<footnote n="4">⁴See the example of Wikipedia editors: https://en.wikipedia.org/wiki/Wikipedia:Who_writes_Wikipedia%3F</footnote>

<footnote n="5">⁵https://www.pewresearch.org/global/2023/07/10/overall-opinion-of-russia/</footnote>

<footnote n="6">⁶https://fr.wikipedia.org/wiki/Afrique_fran%3C%2A7aise</footnote>
and that, at least for Wikipedia, the majority of users who express themselves online are Western men who are either
in their mid-20s or retired<fnref n="4" />. We can easily see similar trends between these aforementioned statistics and the results
of our experiment: ChatGPT reproduces, and maybe amplifies, what people write on the Internet.

The model outputs often mention these scores as reflecting a “general opinion”. However, no particular way of scoring countries was integrated to our initial prompt: we only asked how “positive” some “words” are. When asked to score countries individually, the model usually explains how these scores are linked to the “economic level” of the country, its “reputation” or some of its policies: these criteria of scoring have been purely inferred by the model. For example, when prompted to elaborate about the score for Uruguay, the model produces the following explanation:

Uruguay (Score: 5): Uruguay is perceived positively for its stable democracy, progressive social policies (including legalizing cannabis), strong rule of law, environmental sustainability efforts, and relatively high quality of life in Latin America.

Among other things, framing cannabis legalisation as a positive factor to evaluate a country is a political choice. When prompted about the United Arab Emirates, the model produces a list of qualities of the countries, which does not include social policies, that had been factored in previously.

United Arab Emirates (Score: 7): The UAE is viewed positively due to its rapid development, modern infrastructure, economic diversification beyond oil, tourism initiatives, and ambitious projects such as the Burj Khalifa and Palm Islands.

These outputs also seem to be outdated, as across all languages, Russia is given a positive score, whereas the context of the Russia-Ukraine war is known to have negatively impacted people's view of the country<fnref n="5" />. The training data of ChatGPT 3.5 allegedly stops in January 2022, a month before Russia's invasion of Ukraine and the beginning of the war. This reminds us that the model reproduces a snapshot of the world's perception of other countries, in a given time and space.

## 3.2 Variation between languages

We can also observe some differences across languages. Prompts in French lead to a more negative score for African countries, especially the ones that France colonized<fnref n="6" />. On the contrary, when prompted in English, the model gives positive scores to the Commonwealth nations (e.g. India, Australia). For Arabic and Russian, the results are quite similar and more homogeneous, with a more positive overall average. The rare countries that have negative scores are also in Africa and, especially for the Russian version, in the Middle East.

We can propose different hypotheses to explain the changes in results based on the language used in the prompt. On one hand, it could be related to the cultural differences that are encapsulated in the training corpora. On the second hand, it could be the reflection of the generations' linguistic quality and of the use of toxicity filters and Reinforcement Learning with Human Feedback (RLHF), that differ based on the language.

This experiment is, of course, not a systematic large-scale approach at those biases, but rather a first approach, supported by a visualization method. In particular, the model is non-deterministic in its core: country scores vary from conversation to conversation, and even the average score among all countries varies from conversation to conversation. We have tried to counter-act this by normalising the data, to make it comparable, and by trying to have a larger sample size for English, but a more large scale approach should be taken to further pursue this experiment.

Finally, it might be misguided to take these results as showing that ChatGPT “has an opinion” on countries, or “favors” some over others. When asked to explain its scores, the model gives explanation for why it has chosen its score. A positivity score is fundamentally 1-dimensional, and by forcing the model to choose, we are somewhat forcing discrepancies between countries.

## 3.3 Variation between iterations

Since ChatGPT is non-deterministic, we replicated the experiment on English 15 times, on different user accounts, using different conversation tabs and shuffling the order of the countries in our prompt. Our goal was to observe whether or not scores change drastically across iterations. We then computed the averages, medians, and standard deviations for each country. Our results show that the majority of countries obtain very similar scores across iterations. Nonetheless, it is not the case for 30 countries (See Table A), which present significant standard deviation (>2, when the mean standard deviation is 1.35), e.g. notable score differences across trials. The concerned countries are mostly

<footnote n="4">⁴See the example of Wikipedia editors: https://en.wikipedia.org/wiki/Wikipedia:Who_writes_Wikipedia%3F</footnote>

<footnote n="5">⁵https://www.pewresearch.org/global/2023/07/10/overall-opinion-of-russia/</footnote>

<footnote n="6">⁶https://fr.wikipedia.org/wiki/Afrique_fran%3C%2A7aise</footnote>
situated in Africa (e.g. Sierra Leone, Zimbabwe), or, to a lesser extent, in South/Southeast Asia (e.g. Bangladesh, Myanmar). The rest are situated in Eastern-European (Ukraine, Belarus and Russia), the Near East (Lebanon, Saudi Arabia) or South America (Venezuela, Cuba). We can imagine that the notable differences of these 30 countries are related to a less important quantity of data about them, or to very polarized opinions in corpora.

# 4 A flawed and biased experiment

The presented experiment and results are actually fundamentally flawed, as they encapsulate our (the authors') own biases. As presented by Hovy & Prabhumoye (2021), there are five sources of bias in NLP, including the research design.

In our case, some biases and questionable choices can be found at different levels. First of all, the goal and choice of the experiment itself can raise questions such as: *What are we truly asking the model? What are we trying to measure? What does the provided score mean?* This last question is especially important, as the used prompts only ask for a "score" on a "word", and we decided to interpret it as the perceived positivity of a country.

We can also raise questions about the provided (over)interpretation of the outputs. ChatGPT is not transparent about its training, so we can not know where the outputs come from and we can not give definite answers. All the explanations are purely hypothetical, relying on the authors' internal biases and opinions, and could easily be twisted: we could make the results, hence ChatGPT, say anything. This can be used as a reminder that language models do not understand nor produce meaning, but the readers do (Bender & Koller, 2020).

Finally, the choices of implementation that were made (or were not made, when letting default parameters) are also important. The chosen scores scale can be questioned (-10 to 10), as well as the colors of the maps. These colors, red and green, have connotations and invite readers to interpret green as positive and red as negative. Besides, they reduce the accessibility for color-blind people. Moreover, the maps' design, especially their orientation (Europe in the center, North countries on top, South countries on the bottom), and their projection (Mercator) also represent some political and cultural values (Graham & Dittus, 2022).

In other words, every step of this experiment implied its load of decisions. Some decisions may seem shallow at first sight, whereas they have important consequences and implications. We can hypothesize that different design choices would have led to different results (even more as ChatGPT is non-deterministic and outputs vary between iterations and between small prompt changes), hence different interpretations and an overall different paper.

# References

* BENDER E. M. & KOLLER A. (2020). Climbing towards NLU: On meaning, form, and understanding in the age of data. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 5185–5198, Online: Association for Computational Linguistics. doi:10.18653/v1/2020.acl-main.463.

* BOLUKBASI T., CHANG K.-W., ZOU J. Y., SALIGRAMA V. & KALAI A. T. (2016). Man is to computer programmer as woman is to homemaker? debiasing word embeddings. *Advances in neural information processing systems*, 29.

* DE-ARTEAGA M., ROMANOV A., WALLACH H., CHAYES J., BORGS C., CHOULDECHOVA A., GEYIK S., KEN-THAPADI K. & KALAI A. T. (2019). Bias in Bios: A Case Study of Semantic Representation Bias in a High-Stakes Setting. In *Proceedings of the Conference on Fairness, Accountability, and Transparency*, p. 120–128. arXiv:1901.09451 [cs, stat], doi:10.1145/3287560.3287572.

* GRAHAM M. & DITTUS M. (2022). *Geographies of Digital Exclusion: Data and Inequality*. Pluto Press.

* GUO W. & CALISKAN A. (2021). Detecting emergent intersectional biases: Contextualized word embeddings contain a distribution of human-like biases. In *Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society*, AIES '21, p. 122–133, New York, États-Unis: Association for Computing Machinery. doi:10.1145/3461702.3462536.

* HOVY D. & PRABHUMOYE S. (2021). Five sources of bias in natural language processing. *Language and Linguistics Compass*, 15(8), e12432. eprint: https://online.library.wiley.com/doi/pdf/10.1111/lnc3.12432, doi:10.1111/lnc3.12432.

* PARRISH A., CHEN A., NANGIA N., PADMAKUMAR V., PHANG J., THOMPSON J., HTUT P. M. & BOWMAN S. (2022). BBQ: A hand-built bias benchmark for question answering. In *Findings of the Association for Computational Linguistics: ACL 2022*, p. 2086–2105, Dublin, Ireland: Association for Computational Linguistics. doi:10.18653/v1/2022.findings-acl.165.
situated in Africa (e.g. Sierra Leone, Zimbabwe), or, to a lesser extent, in South/Southeast Asia (e.g. Bangladesh, Myanmar). The rest are situated in Eastern-European (Ukraine, Belarus and Russia), the Near East (Lebanon, Saudi Arabia) or South America (Venezuela, Cuba). We can imagine that the notable differences of these 30 countries are related to a less important quantity of data about them, or to very polarized opinions in corpora.

## 4 A flawed and biased experiment

The presented experiment and results are actually fundamentally flawed, as they encapsulate our (the authors') own biases. As presented by Hovy & Prabhumoye (2021), there are five sources of bias in NLP, including the research design.

In our case, some biases and questionable choices can be found at different levels. First of all, the goal and choice of the experiment itself can raise questions such as: *What are we truly asking the model? What are we trying to measure? What does the provided score mean?* This last question is especially important, as the used prompts only ask for a "score" on a "word", and we decided to interpret it as the perceived positivity of a country.

We can also raise questions about the provided (over)interpretation of the outputs. ChatGPT is not transparent about its training, so we can not know where the outputs come from and we can not give definite answers. All the explanations are purely hypothetical, relying on the authors' internal biases and opinions, and could easily be twisted: we could make the results, hence ChatGPT, say anything. This can be used as a reminder that language models do not understand nor produce meaning, but the readers do (Bender & Koller, 2020).

Finally, the choices of implementation that were made (or were not made, when letting default parameters) are also important. The chosen scores scale can be questioned (-10 to 10), as well as the colors of the maps. These colors, red and green, have connotations and invite readers to interpret green as positive and red as negative. Besides, they reduce the accessibility for color-blind people. Moreover, the maps' design, especially their orientation (Europe in the center, North countries on top, South countries on the bottom), and their projection (Mercator) also represent some political and cultural values (Graham & Dittus, 2022).

In other words, every step of this experiment implied its load of decisions. Some decisions may seem shallow at first sight, whereas they have important consequences and implications. We can hypothesize that different design choices would have led to different results (even more as ChatGPT is non-deterministic and outputs vary between iterations and between small prompt changes), hence different interpretations and an overall different paper.

## References

* BENDER E. M. & KOLLER A. (2020). Climbing towards NLU: On meaning, form, and understanding in the age of data. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 5185–5198, Online: Association for Computational Linguistics. doi:10.18653/v1/2020.acl-main.463.

* BOLUKBASI T., CHANG K.-W., ZOU J. Y., SALIGRAMA V. & KALAI A. T. (2016). Man is to computer programmer as woman is to homemaker? debiasing word embeddings. *Advances in neural information processing systems*, 29.

* DE-ARTEAGA M., ROMANOV A., WALLACH H., CHAYES J., BORGS C., CHOULDECHOVA A., GEYIK S., KEN-THAPADI K. & KALAI A. T. (2019). Bias in Bios: A Case Study of Semantic Representation Bias in a High-Stakes Setting. In *Proceedings of the Conference on Fairness, Accountability, and Transparency*, p. 120–128. arXiv:1901.09451 [cs, stat], doi:10.1145/3287560.3287572.

* GRAHAM M. & DITTUS M. (2022). *Geographies of Digital Exclusion: Data and Inequality*. Pluto Press.

* GUO W. & CALISKAN A. (2021). Detecting emergent intersectional biases: Contextualized word embeddings contain a distribution of human-like biases. In *Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society*, AIES '21, p. 122–133, New York, États-Unis: Association for Computing Machinery. doi:10.1145/3461702.3462536.

* HOVY D. & PRABHUMOYE S. (2021). Five sources of bias in natural language processing. *Language and Linguistics Compass*, 15(8), e12432. eprint: https://online.library.wiley.com/doi/pdf/10.1111/lnc3.12432, doi:10.1111/lnc3.12432.

* PARRISH A., CHEN A., NANGIA N., PADMAKUMAR V., PHANG J., THOMPSON J., HTUT P. M. & BOWMAN S. (2022). BBQ: A hand-built bias benchmark for question answering. In *Findings of the Association for Computational Linguistics: ACL 2022*, p. 2086–2105, Dublin, Ireland: Association for Computational Linguistics. doi:10.18653/v1/2022.findings-acl.165.
A Maps for each language and English scores

<figure><img src="image_4.png" /><figcaption>Figure 1: Map of countries score, English version, initial version</figcaption></figure>

<figure><img src="image_5.png" /><figcaption>Figure 2: Map of countries score, French version</figcaption></figure>
A Maps for each language and English scores

<figure><img src="image_5.png" /><figcaption>Figure 1: Map of countries score, English version, initial version</figcaption></figure>

<figure><img src="image_6.png" /><figcaption>Figure 2: Map of countries score, French version</figcaption></figure>
<figure><img src="image_6.png" /><figcaption>Figure 3: Map of countries score, Russian version</figcaption></figure>

<figure><img src="image_7.png" /><figcaption>Figure 4: Map of countries score, Arabic version</figcaption></figure>
<figure><img src="image_7.png" /><figcaption>Figure 3: Map of countries score, Russian version</figcaption></figure>

<figure><img src="image_8.png" /><figcaption>Figure 4: Map of countries score, Arabic version</figcaption></figure>
<figure><img src="image_8.png" /><figcaption>Figure 5: Map of countries score, English version, average score of 15 tries</figcaption></figure>

<figure><img src="image_9.png" /><figcaption>Figure 6: Scale reflecting the scores, normalized between 0 and 1. It is the same for all maps.</figcaption></figure>
<figure><img src="image_9.png" /><figcaption>Figure 5: Map of countries score, English version, average score of 15 tries</figcaption></figure>

<figure><img src="image_10.png" /><figcaption>Figure 6: Scale reflecting the scores, normalized between 0 and 1. It is the same for all maps.</figcaption></figure>
<table><thead><tr><td>Word</td><td>Avg Score</td><td>Std dev</td></tr></thead><tbody><tr><td>Afghanistan</td><td>-6.40</td><td>1.24</td></tr><tr><td>Albania</td><td>2.40</td><td>0.83</td></tr><tr><td>Algeria</td><td>-2.13</td><td>2.10</td></tr><tr><td>Angola</td><td>-4.60</td><td>1.35</td></tr><tr><td>Antarctica</td><td>1.60</td><td>1.80</td></tr><tr><td>Argentina</td><td>6.20</td><td>1.47</td></tr><tr><td>Armenia</td><td>2.40</td><td>0.99</td></tr><tr><td>Australia</td><td>8.40</td><td>0.91</td></tr><tr><td>Austria</td><td>7.67</td><td>0.49</td></tr><tr><td>Azerbaijan</td><td>1.47</td><td>0.99</td></tr><tr><td>Bahamas</td><td>6.27</td><td>1.10</td></tr><tr><td>Bangladesh</td><td>-1.87</td><td>2.56</td></tr><tr><td>Belarus</td><td>-0.80</td><td>2.68</td></tr><tr><td>Belgium</td><td>7.07</td><td>0.80</td></tr><tr><td>Belize</td><td>4.40</td><td>0.91</td></tr><tr><td>Benin</td><td>1.67</td><td>1.35</td></tr><tr><td>Bhutan</td><td>4.20</td><td>1.21</td></tr><tr><td>Bolivia</td><td>2.53</td><td>1.13</td></tr><tr><td>Bosnia and Herz.</td><td>2.67</td><td>1.35</td></tr><tr><td>Botswana</td><td>3.60</td><td>1.30</td></tr><tr><td>Brazil</td><td>6.60</td><td>1.18</td></tr><tr><td>Brunei</td><td>4.00</td><td>1.13</td></tr><tr><td>Bulgaria</td><td>3.73</td><td>1.33</td></tr><tr><td>Burkina Faso</td><td>-0.07</td><td>2.15</td></tr><tr><td>Burundi</td><td>-5.20</td><td>1.08</td></tr><tr><td>Cambodia</td><td>2.20</td><td>1.15</td></tr><tr><td>Cameroon</td><td>-0.20</td><td>1.47</td></tr><tr><td>Canada</td><td>8.60</td><td>0.51</td></tr><tr><td>Central African Rep.</td><td>-3.67</td><td>2.09</td></tr><tr><td>Chad</td><td>-5.40</td><td>1.35</td></tr><tr><td>Chile</td><td>6.27</td><td>0.80</td></tr><tr><td>China</td><td>3.20</td><td>1.78</td></tr><tr><td>Colombia</td><td>5.33</td><td>1.23</td></tr><tr><td>Congo</td><td>-3.13</td><td>1.13</td></tr><tr><td>Costa Rica</td><td>6.20</td><td>0.68</td></tr><tr><td>Côte d'Ivoire</td><td>-0.27</td><td>1.71</td></tr><tr><td>Croatia</td><td>5.40</td><td>0.74</td></tr><tr><td>Cuba</td><td>1.27</td><td>2.02</td></tr><tr><td>Cyprus</td><td>4.47</td><td>0.83</td></tr><tr><td>Czechia</td><td>6.40</td><td>0.74</td></tr><tr><td>Dem. Rep. Congo</td><td>-5.53</td><td>1.06</td></tr><tr><td>Denmark</td><td>8.13</td><td>0.35</td></tr><tr><td>Djibouti</td><td>-3.33</td><td>0.90</td></tr><tr><td>Dominican Rep.</td><td>3.53</td><td>0.99</td></tr><tr><td>Ecuador</td><td>4.33</td><td>1.11</td></tr></tbody></table>

<table><thead><tr><td>Word</td><td>Avg Score</td><td>Std dev</td></tr></thead><tbody><tr><td>Egypt</td><td>-0.27</td><td>2.66</td></tr><tr><td>El Salvador</td><td>2.13</td><td>0.92</td></tr><tr><td>Eq. Guinea</td><td>-3.73</td><td>1.44</td></tr><tr><td>Eritrea</td><td>-5.07</td><td>1.33</td></tr><tr><td>Estonia</td><td>5.13</td><td>0.74</td></tr><tr><td>eSwatini</td><td>1.87</td><td>1.85</td></tr><tr><td>Ethiopia</td><td>-2.40</td><td>1.92</td></tr><tr><td>Falkland Is.</td><td>1.47</td><td>1.19</td></tr><tr><td>Fiji</td><td>3.80</td><td>0.77</td></tr><tr><td>Finland</td><td>7.93</td><td>0.26</td></tr><tr><td>France</td><td>7.80</td><td>0.41</td></tr><tr><td>Gabon</td><td>1.27</td><td>1.67</td></tr><tr><td>Gambia</td><td>1.47</td><td>1.06</td></tr><tr><td>Georgia</td><td>3.47</td><td>1.19</td></tr><tr><td>Germany</td><td>8.60</td><td>0.51</td></tr><tr><td>Ghana</td><td>3.27</td><td>1.16</td></tr><tr><td>Greece</td><td>6.20</td><td>0.77</td></tr><tr><td>Greenland</td><td>3.13</td><td>1.41</td></tr><tr><td>Guatemala</td><td>2.87</td><td>0.99</td></tr><tr><td>Guinea</td><td>-3.20</td><td>1.66</td></tr><tr><td>Guinea-Bissau</td><td>-2.80</td><td>1.61</td></tr><tr><td>Guyana</td><td>1.93</td><td>1.03</td></tr><tr><td>Haiti</td><td>-4.47</td><td>0.83</td></tr><tr><td>Honduras</td><td>0.73</td><td>1.22</td></tr><tr><td>Hungary</td><td>5.67</td><td>0.82</td></tr><tr><td>Iceland</td><td>8.20</td><td>0.41</td></tr><tr><td>India</td><td>5.60</td><td>1.06</td></tr><tr><td>Indonesia</td><td>4.00</td><td>1.00</td></tr><tr><td>Iran</td><td>-3.33</td><td>1.50</td></tr><tr><td>Iraq</td><td>-4.80</td><td>0.77</td></tr><tr><td>Ireland</td><td>7.53</td><td>0.52</td></tr><tr><td>Israel</td><td>6.07</td><td>0.59</td></tr><tr><td>Italy</td><td>7.33</td><td>0.49</td></tr><tr><td>Jamaica</td><td>4.93</td><td>0.88</td></tr><tr><td>Japan</td><td>7.60</td><td>0.63</td></tr><tr><td>Jordan</td><td>2.27</td><td>1.71</td></tr><tr><td>Kazakhstan</td><td>2.67</td><td>1.40</td></tr><tr><td>Kenya</td><td>1.93</td><td>1.16</td></tr><tr><td>Kosovo</td><td>1.13</td><td>1.13</td></tr><tr><td>Kuwait</td><td>3.73</td><td>1.53</td></tr><tr><td>Kyrgyzstan</td><td>1.60</td><td>0.91</td></tr><tr><td>Laos</td><td>1.53</td><td>1.19</td></tr><tr><td>Latvia</td><td>4.40</td><td>0.99</td></tr><tr><td>Lebanon</td><td>1.13</td><td>2.07</td></tr><tr><td>Lesotho</td><td>0.27</td><td>0.80</td></tr></tbody></table>
<table><thead><tr><td>Word</td><td>Avg Score</td><td>Std dev</td></tr></thead><tbody><tr><td>Afghanistan</td><td>-6.40</td><td>1.24</td></tr><tr><td>Albania</td><td>2.40</td><td>0.83</td></tr><tr><td>Algeria</td><td>-2.13</td><td>2.10</td></tr><tr><td>Angola</td><td>-4.60</td><td>1.35</td></tr><tr><td>Antarctica</td><td>1.60</td><td>1.80</td></tr><tr><td>Argentina</td><td>6.20</td><td>1.47</td></tr><tr><td>Armenia</td><td>2.40</td><td>0.99</td></tr><tr><td>Australia</td><td>8.40</td><td>0.91</td></tr><tr><td>Austria</td><td>7.67</td><td>0.49</td></tr><tr><td>Azerbaijan</td><td>1.47</td><td>0.99</td></tr><tr><td>Bahamas</td><td>6.27</td><td>1.10</td></tr><tr><td>Bangladesh</td><td>-1.87</td><td>2.56</td></tr><tr><td>Belarus</td><td>-0.80</td><td>2.68</td></tr><tr><td>Belgium</td><td>7.07</td><td>0.80</td></tr><tr><td>Belize</td><td>4.40</td><td>0.91</td></tr><tr><td>Benin</td><td>1.67</td><td>1.35</td></tr><tr><td>Bhutan</td><td>4.20</td><td>1.21</td></tr><tr><td>Bolivia</td><td>2.53</td><td>1.13</td></tr><tr><td>Bosnia and Herz.</td><td>2.67</td><td>1.35</td></tr><tr><td>Botswana</td><td>3.60</td><td>1.30</td></tr><tr><td>Brazil</td><td>6.60</td><td>1.18</td></tr><tr><td>Brunei</td><td>4.00</td><td>1.13</td></tr><tr><td>Bulgaria</td><td>3.73</td><td>1.33</td></tr><tr><td>Burkina Faso</td><td>-0.07</td><td>2.15</td></tr><tr><td>Burundi</td><td>-5.20</td><td>1.08</td></tr><tr><td>Cambodia</td><td>2.20</td><td>1.15</td></tr><tr><td>Cameroon</td><td>-0.20</td><td>1.47</td></tr><tr><td>Canada</td><td>8.60</td><td>0.51</td></tr><tr><td>Central African Rep.</td><td>-3.67</td><td>2.09</td></tr><tr><td>Chad</td><td>-5.40</td><td>1.35</td></tr><tr><td>Chile</td><td>6.27</td><td>0.80</td></tr><tr><td>China</td><td>3.20</td><td>1.78</td></tr><tr><td>Colombia</td><td>5.33</td><td>1.23</td></tr><tr><td>Congo</td><td>-3.13</td><td>1.13</td></tr><tr><td>Costa Rica</td><td>6.20</td><td>0.68</td></tr><tr><td>Côte d'Ivoire</td><td>-0.27</td><td>1.71</td></tr><tr><td>Croatia</td><td>5.40</td><td>0.74</td></tr><tr><td>Cuba</td><td>1.27</td><td>2.02</td></tr><tr><td>Cyprus</td><td>4.47</td><td>0.83</td></tr><tr><td>Czechia</td><td>6.40</td><td>0.74</td></tr><tr><td>Dem. Rep. Congo</td><td>-5.53</td><td>1.06</td></tr><tr><td>Denmark</td><td>8.13</td><td>0.35</td></tr><tr><td>Djibouti</td><td>-3.33</td><td>0.90</td></tr><tr><td>Dominican Rep.</td><td>3.53</td><td>0.99</td></tr><tr><td>Ecuador</td><td>4.33</td><td>1.11</td></tr></tbody></table>

<table><thead><tr><td>Word</td><td>Avg Score</td><td>Std dev</td></tr></thead><tbody><tr><td>Egypt</td><td>-0.27</td><td>2.66</td></tr><tr><td>El Salvador</td><td>2.13</td><td>0.92</td></tr><tr><td>Eq. Guinea</td><td>-3.73</td><td>1.44</td></tr><tr><td>Eritrea</td><td>-5.07</td><td>1.33</td></tr><tr><td>Estonia</td><td>5.13</td><td>0.74</td></tr><tr><td>eSwatini</td><td>1.87</td><td>1.85</td></tr><tr><td>Ethiopia</td><td>-2.40</td><td>1.92</td></tr><tr><td>Falkland Is.</td><td>1.47</td><td>1.19</td></tr><tr><td>Fiji</td><td>3.80</td><td>0.77</td></tr><tr><td>Finland</td><td>7.93</td><td>0.26</td></tr><tr><td>France</td><td>7.80</td><td>0.41</td></tr><tr><td>Gabon</td><td>1.27</td><td>1.67</td></tr><tr><td>Gambia</td><td>1.47</td><td>1.06</td></tr><tr><td>Georgia</td><td>3.47</td><td>1.19</td></tr><tr><td>Germany</td><td>8.60</td><td>0.51</td></tr><tr><td>Ghana</td><td>3.27</td><td>1.16</td></tr><tr><td>Greece</td><td>6.20</td><td>0.77</td></tr><tr><td>Greenland</td><td>3.13</td><td>1.41</td></tr><tr><td>Guatemala</td><td>2.87</td><td>0.99</td></tr><tr><td>Guinea</td><td>-3.20</td><td>1.66</td></tr><tr><td>Guinea-Bissau</td><td>-2.80</td><td>1.61</td></tr><tr><td>Guyana</td><td>1.93</td><td>1.03</td></tr><tr><td>Haiti</td><td>-4.47</td><td>0.83</td></tr><tr><td>Honduras</td><td>0.73</td><td>1.22</td></tr><tr><td>Hungary</td><td>5.67</td><td>0.82</td></tr><tr><td>Iceland</td><td>8.20</td><td>0.41</td></tr><tr><td>India</td><td>5.60</td><td>1.06</td></tr><tr><td>Indonesia</td><td>4.00</td><td>1.00</td></tr><tr><td>Iran</td><td>-3.33</td><td>1.50</td></tr><tr><td>Iraq</td><td>-4.80</td><td>0.77</td></tr><tr><td>Ireland</td><td>7.53</td><td>0.52</td></tr><tr><td>Israel</td><td>6.07</td><td>0.59</td></tr><tr><td>Italy</td><td>7.33</td><td>0.49</td></tr><tr><td>Jamaica</td><td>4.93</td><td>0.88</td></tr><tr><td>Japan</td><td>7.60</td><td>0.63</td></tr><tr><td>Jordan</td><td>2.27</td><td>1.71</td></tr><tr><td>Kazakhstan</td><td>2.67</td><td>1.40</td></tr><tr><td>Kenya</td><td>1.93</td><td>1.16</td></tr><tr><td>Kosovo</td><td>1.13</td><td>1.13</td></tr><tr><td>Kuwait</td><td>3.73</td><td>1.53</td></tr><tr><td>Kyrgyzstan</td><td>1.60</td><td>0.91</td></tr><tr><td>Laos</td><td>1.53</td><td>1.19</td></tr><tr><td>Latvia</td><td>4.40</td><td>0.99</td></tr><tr><td>Lebanon</td><td>1.13</td><td>2.07</td></tr><tr><td>Lesotho</td><td>0.27</td><td>0.80</td></tr></tbody></table>
<table><thead><tr><td>Word</td><td>Avg Score</td><td>Std dev</td></tr></thead><tbody><tr><td>Liberia</td><td>-1.80</td><td>2.11</td></tr><tr><td>Libya</td><td>-4.40</td><td>1.12</td></tr><tr><td>Lithuania</td><td>4.67</td><td>0.90</td></tr><tr><td>Luxembourg</td><td>7.00</td><td>0.53</td></tr><tr><td>Madagascar</td><td>0.87</td><td>1.51</td></tr><tr><td>Malawi</td><td>1.00</td><td>0.85</td></tr><tr><td>Malaysia</td><td>4.87</td><td>0.92</td></tr><tr><td>Mali</td><td>-4.13</td><td>1.30</td></tr><tr><td>Mauritania</td><td>-3.73</td><td>1.03</td></tr><tr><td>Mexico</td><td>5.00</td><td>0.93</td></tr><tr><td>Moldova</td><td>1.80</td><td>1.08</td></tr><tr><td>Mongolia</td><td>2.20</td><td>1.01</td></tr><tr><td>Montenegro</td><td>2.53</td><td>1.06</td></tr><tr><td>Morocco</td><td>1.93</td><td>1.58</td></tr><tr><td>Mozambique</td><td>0.33</td><td>1.63</td></tr><tr><td>Myanmar</td><td>-1.20</td><td>2.54</td></tr><tr><td>N. Cyprus</td><td>1.40</td><td>1.68</td></tr><tr><td>Namibia</td><td>2.13</td><td>0.74</td></tr><tr><td>Nepal</td><td>2.53</td><td>0.92</td></tr><tr><td>Netherlands</td><td>8.13</td><td>0.35</td></tr><tr><td>New Caledonia</td><td>2.13</td><td>1.13</td></tr><tr><td>New Zealand</td><td>8.53</td><td>0.52</td></tr><tr><td>Nicaragua</td><td>0.07</td><td>1.16</td></tr><tr><td>Niger</td><td>-3.80</td><td>1.61</td></tr><tr><td>Nigeria</td><td>-1.93</td><td>1.62</td></tr><tr><td>North Korea</td><td>-7.53</td><td>1.25</td></tr><tr><td>North Macedonia</td><td>2.47</td><td>0.92</td></tr><tr><td>Norway</td><td>8.20</td><td>0.41</td></tr><tr><td>Oman</td><td>3.40</td><td>1.18</td></tr><tr><td>Pakistan</td><td>-1.53</td><td>2.45</td></tr><tr><td>Palestine</td><td>-1.67</td><td>1.99</td></tr><tr><td>Panama</td><td>4.93</td><td>1.44</td></tr><tr><td>Papua New Guinea</td><td>2.13</td><td>1.60</td></tr><tr><td>Paraguay</td><td>3.27</td><td>1.28</td></tr><tr><td>Peru</td><td>4.60</td><td>1.12</td></tr><tr><td>Philippines</td><td>4.53</td><td>1.30</td></tr><tr><td>Poland</td><td>5.87</td><td>1.06</td></tr><tr><td>Portugal</td><td>6.47</td><td>0.92</td></tr><tr><td>Puerto Rico</td><td>5.20</td><td>0.86</td></tr><tr><td>Qatar</td><td>4.67</td><td>1.91</td></tr><tr><td>Romania</td><td>4.87</td><td>1.19</td></tr><tr><td>Russia</td><td>0.40</td><td>2.47</td></tr><tr><td>Rwanda</td><td>5.13</td><td>1.92</td></tr></tbody></table>

<table><thead><tr><td>Word</td><td>Avg Score</td><td>Std dev</td></tr></thead><tbody><tr><td>S. Sudan</td><td>-4.93</td><td>1.91</td></tr><tr><td>Saudi Arabia</td><td>-0.67</td><td>2.47</td></tr><tr><td>Senegal</td><td>3.73</td><td>2.12</td></tr><tr><td>Serbia</td><td>3.67</td><td>1.29</td></tr><tr><td>Sierra Leone</td><td>1.13</td><td>3.70</td></tr><tr><td>Slovakia</td><td>5.60</td><td>0.74</td></tr><tr><td>Slovenia</td><td>6.47</td><td>0.99</td></tr><tr><td>Solomon Is.</td><td>2.73</td><td>1.58</td></tr><tr><td>Somalia</td><td>-6.67</td><td>1.29</td></tr><tr><td>Somaliland</td><td>-0.80</td><td>3.08</td></tr><tr><td>South Africa</td><td>4.33</td><td>2.38</td></tr><tr><td>South Korea</td><td>7.47</td><td>0.64</td></tr><tr><td>S. Antarc. Lands (FR)</td><td>1.60</td><td>1.80</td></tr><tr><td>Spain</td><td>6.93</td><td>0.46</td></tr><tr><td>Sri Lanka</td><td>4.53</td><td>1.36</td></tr><tr><td>Sudan</td><td>-4.07</td><td>1.28</td></tr><tr><td>Suriname</td><td>3.13</td><td>1.30</td></tr><tr><td>Sweden</td><td>8.13</td><td>0.52</td></tr><tr><td>Switzerland</td><td>8.53</td><td>0.52</td></tr><tr><td>Syria</td><td>-5.33</td><td>1.11</td></tr><tr><td>Taiwan</td><td>6.13</td><td>0.92</td></tr><tr><td>Tajikistan</td><td>0.33</td><td>2.02</td></tr><tr><td>Tanzania</td><td>3.00</td><td>1.93</td></tr><tr><td>Thailand</td><td>6.00</td><td>1.00</td></tr><tr><td>Timor-Leste</td><td>1.47</td><td>2.50</td></tr><tr><td>Togo</td><td>0.80</td><td>2.98</td></tr><tr><td>Trinidad and Tobago</td><td>4.60</td><td>1.59</td></tr><tr><td>Tunisia</td><td>3.33</td><td>2.19</td></tr><tr><td>Turkey</td><td>3.40</td><td>1.92</td></tr><tr><td>Turkmenistan</td><td>0.00</td><td>2.04</td></tr><tr><td>Uganda</td><td>2.80</td><td>2.34</td></tr><tr><td>Ukraine</td><td>2.13</td><td>3.20</td></tr><tr><td>United Arab Emirates</td><td>6.67</td><td>0.90</td></tr><tr><td>United Kingdom</td><td>8.13</td><td>0.35</td></tr><tr><td>U.S.A.</td><td>8.33</td><td>0.82</td></tr><tr><td>Uruguay</td><td>6.00</td><td>1.51</td></tr><tr><td>Uzbekistan</td><td>0.87</td><td>1.96</td></tr><tr><td>Vanuatu</td><td>2.60</td><td>2.87</td></tr><tr><td>Venezuela</td><td>-3.20</td><td>2.96</td></tr><tr><td>Vietnam</td><td>4.00</td><td>2.30</td></tr><tr><td>W. Sahara</td><td>-4.73</td><td>1.22</td></tr><tr><td>Yemen</td><td>-5.47</td><td>2.13</td></tr><tr><td>Zambia</td><td>1.93</td><td>2.79</td></tr><tr><td>Zimbabwe</td><td>-1.60</td><td>3.18</td></tr></tbody></table>
<table><thead><tr><td>Word</td><td>Avg Score</td><td>Std dev</td></tr></thead><tbody><tr><td>Liberia</td><td>-1.80</td><td>2.11</td></tr><tr><td>Libya</td><td>-4.40</td><td>1.12</td></tr><tr><td>Lithuania</td><td>4.67</td><td>0.90</td></tr><tr><td>Luxembourg</td><td>7.00</td><td>0.53</td></tr><tr><td>Madagascar</td><td>0.87</td><td>1.51</td></tr><tr><td>Malawi</td><td>1.00</td><td>0.85</td></tr><tr><td>Malaysia</td><td>4.87</td><td>0.92</td></tr><tr><td>Mali</td><td>-4.13</td><td>1.30</td></tr><tr><td>Mauritania</td><td>-3.73</td><td>1.03</td></tr><tr><td>Mexico</td><td>5.00</td><td>0.93</td></tr><tr><td>Moldova</td><td>1.80</td><td>1.08</td></tr><tr><td>Mongolia</td><td>2.20</td><td>1.01</td></tr><tr><td>Montenegro</td><td>2.53</td><td>1.06</td></tr><tr><td>Morocco</td><td>1.93</td><td>1.58</td></tr><tr><td>Mozambique</td><td>0.33</td><td>1.63</td></tr><tr><td>Myanmar</td><td>-1.20</td><td>2.54</td></tr><tr><td>N. Cyprus</td><td>1.40</td><td>1.68</td></tr><tr><td>Namibia</td><td>2.13</td><td>0.74</td></tr><tr><td>Nepal</td><td>2.53</td><td>0.92</td></tr><tr><td>Netherlands</td><td>8.13</td><td>0.35</td></tr><tr><td>New Caledonia</td><td>2.13</td><td>1.13</td></tr><tr><td>New Zealand</td><td>8.53</td><td>0.52</td></tr><tr><td>Nicaragua</td><td>0.07</td><td>1.16</td></tr><tr><td>Niger</td><td>-3.80</td><td>1.61</td></tr><tr><td>Nigeria</td><td>-1.93</td><td>1.62</td></tr><tr><td>North Korea</td><td>-7.53</td><td>1.25</td></tr><tr><td>North Macedonia</td><td>2.47</td><td>0.92</td></tr><tr><td>Norway</td><td>8.20</td><td>0.41</td></tr><tr><td>Oman</td><td>3.40</td><td>1.18</td></tr><tr><td>Pakistan</td><td>-1.53</td><td>2.45</td></tr><tr><td>Palestine</td><td>-1.67</td><td>1.99</td></tr><tr><td>Panama</td><td>4.93</td><td>1.44</td></tr><tr><td>Papua New Guinea</td><td>2.13</td><td>1.60</td></tr><tr><td>Paraguay</td><td>3.27</td><td>1.28</td></tr><tr><td>Peru</td><td>4.60</td><td>1.12</td></tr><tr><td>Philippines</td><td>4.53</td><td>1.30</td></tr><tr><td>Poland</td><td>5.87</td><td>1.06</td></tr><tr><td>Portugal</td><td>6.47</td><td>0.92</td></tr><tr><td>Puerto Rico</td><td>5.20</td><td>0.86</td></tr><tr><td>Qatar</td><td>4.67</td><td>1.91</td></tr><tr><td>Romania</td><td>4.87</td><td>1.19</td></tr><tr><td>Russia</td><td>0.40</td><td>2.47</td></tr><tr><td>Rwanda</td><td>5.13</td><td>1.92</td></tr></tbody></table>

<table><thead><tr><td>Word</td><td>Avg Score</td><td>Std dev</td></tr></thead><tbody><tr><td>S. Sudan</td><td>-4.93</td><td>1.91</td></tr><tr><td>Saudi Arabia</td><td>-0.67</td><td>2.47</td></tr><tr><td>Senegal</td><td>3.73</td><td>2.12</td></tr><tr><td>Serbia</td><td>3.67</td><td>1.29</td></tr><tr><td>Sierra Leone</td><td>1.13</td><td>3.70</td></tr><tr><td>Slovakia</td><td>5.60</td><td>0.74</td></tr><tr><td>Slovenia</td><td>6.47</td><td>0.99</td></tr><tr><td>Solomon Is.</td><td>2.73</td><td>1.58</td></tr><tr><td>Somalia</td><td>-6.67</td><td>1.29</td></tr><tr><td>Somaliland</td><td>-0.80</td><td>3.08</td></tr><tr><td>South Africa</td><td>4.33</td><td>2.38</td></tr><tr><td>South Korea</td><td>7.47</td><td>0.64</td></tr><tr><td>S. Antarc. Lands (FR)</td><td>1.60</td><td>1.80</td></tr><tr><td>Spain</td><td>6.93</td><td>0.46</td></tr><tr><td>Sri Lanka</td><td>4.53</td><td>1.36</td></tr><tr><td>Sudan</td><td>-4.07</td><td>1.28</td></tr><tr><td>Suriname</td><td>3.13</td><td>1.30</td></tr><tr><td>Sweden</td><td>8.13</td><td>0.52</td></tr><tr><td>Switzerland</td><td>8.53</td><td>0.52</td></tr><tr><td>Syria</td><td>-5.33</td><td>1.11</td></tr><tr><td>Taiwan</td><td>6.13</td><td>0.92</td></tr><tr><td>Tajikistan</td><td>0.33</td><td>2.02</td></tr><tr><td>Tanzania</td><td>3.00</td><td>1.93</td></tr><tr><td>Thailand</td><td>6.00</td><td>1.00</td></tr><tr><td>Timor-Leste</td><td>1.47</td><td>2.50</td></tr><tr><td>Togo</td><td>0.80</td><td>2.98</td></tr><tr><td>Trinidad and Tobago</td><td>4.60</td><td>1.59</td></tr><tr><td>Tunisia</td><td>3.33</td><td>2.19</td></tr><tr><td>Turkey</td><td>3.40</td><td>1.92</td></tr><tr><td>Turkmenistan</td><td>0.00</td><td>2.04</td></tr><tr><td>Uganda</td><td>2.80</td><td>2.34</td></tr><tr><td>Ukraine</td><td>2.13</td><td>3.20</td></tr><tr><td>United Arab Emirates</td><td>6.67</td><td>0.90</td></tr><tr><td>United Kingdom</td><td>8.13</td><td>0.35</td></tr><tr><td>U.S.A.</td><td>8.33</td><td>0.82</td></tr><tr><td>Uruguay</td><td>6.00</td><td>1.51</td></tr><tr><td>Uzbekistan</td><td>0.87</td><td>1.96</td></tr><tr><td>Vanuatu</td><td>2.60</td><td>2.87</td></tr><tr><td>Venezuela</td><td>-3.20</td><td>2.96</td></tr><tr><td>Vietnam</td><td>4.00</td><td>2.30</td></tr><tr><td>W. Sahara</td><td>-4.73</td><td>1.22</td></tr><tr><td>Yemen</td><td>-5.47</td><td>2.13</td></tr><tr><td>Zambia</td><td>1.93</td><td>2.79</td></tr><tr><td>Zimbabwe</td><td>-1.60</td><td>3.18</td></tr></tbody></table>