# MESURER LES RISQUES DE DISCRIMINATION DANS UNE TÂCHE DE DÉTECTION D'ENTITÉS NOMMÉES

**Hugues de Mazancourt**
CTO, Datapolitics

hugues@datapolitics.fr

**Flavie Loshouarn**
Lead developer, Datapolitics

flavie@datapolitics.fr

**Alice Bruguier**
NLP engineer, Datapolitics

alice@datapolitics.fr

29 mars 2024

## ABSTRACT

La reconnaissance d'entités nommées (NER) est une tâche classique en NLP, parfois sujette à des biais liés au corpus d'apprentissage [4], [3] complexes à mesurer [1], [2]. Nous présentons ici l'adaptation d'une méthode de détection de biais et son évaluation sur deux tâches de reconnaissance de noms de personnes dans les chaînes d'analyse de textes politiques.

## 1 Introduction

Créée en 2021, Datapolitics est une start-up ayant pour but de produire un système d'analyse de données intelligent lié à la vie démocratique française. Elle fournit à ses clients un outil de veille et d'analyse. L'un des niveaux d'analyse fourni par le logiciel consiste à annoter les prises de position par le nom du locuteur. Les prises de position considérées sont soit des prises de parole directes (dans des procès-verbaux de délibérations des mairies) ou des paroles rapportées dans des articles de presse. D'une manière générale, dans l'univers Datapolitics, le locuteur est celui qui exprime une opinion dans l'espace public. Une identification correcte est importante pour suivre l'évolution de la position d'un homme ou d'une femme politique et d'être au plus près de ses opinions. Elle permet aussi de pondérer les opinions détectées en fonction du pouvoir de décision de celui qui émet l'opinion.

Datapolitics collecte ces différents types de textes en continu pour produire une veille quotidienne.

## 2 Motivation

Datapolitics a été fondé dans un objectif d'aide à la démocratie. Son but est de rendre la vie politique française accessible à tous, permettant une meilleure représentativité et une meilleure capacité d'expression des causes et des personnes. L'invisibilisation de groupe d'appartenance ethnique est un problème social contre lequel Datapolitics veut lutter. Il nous a donc semblé important d'évaluer nos propres modèles de langue sous cet angle et de nous assurer de l'absence de biais discriminatoire dans notre traitement des données. Il s'agit avant tous de pouvoir certifier que Datapolitics n'introduit ni n'aggrave des inégalités sociales.

Dans cette étude, nous évaluerons l'importance de l'origine du nom dans la qualité de sa détection. Est-ce que nous détectons mieux des noms de personnes françaises que de ressortissants d'autres nationalités ? Est-ce que le corpus d'apprentissage, quasiment-exclusivement issus de personnes de nationalité française, pourrait avoir un impact sur une éventuelle application à des acteurs étrangers ?

## 3 Contexte de l'étude

Notre détection de locuteur s'effectue sur deux contextes différents, conduisant à deux tâches de difficultés distinctes en termes de NLP. La première consiste à détecter les locuteurs dans un article de presse (qui exprime l'opinion ?) et la seconde à détecter les auteurs de prise de parole dans des procès verbaux de communautés territoriales (mairies, conseils d'arrondissement, etc.). Pour chacune de ces deux tâches (nommées **presse** et **mairie**, resp.), nous avons constitué des corpus manuellement annotés (resp. 600 et 800 paragraphes) pour identifier le locuteur. L'apprentissage s'est ensuite effectué avec l'outil SpaCy, en affinant le modèle de reconnaissance de noms de personne.

Il faut noter que ces corpus, exclusivement en français, sont par nature relativement réguliers : ils mentionnent les noms de personne essentiellement sous la forme *Prénom Nom*, *Nom Prénom* ou *M/Mme Nom*, ce qui facilite la tâche d'évaluation, comme on le verra.

## 4 Méthode d'évaluation

Nous avons constitué des corpus synthétiques à partir de données non-issues de l'apprentissage. Nous avons ensuite remplacé les noms identifiés manuellement comme *LOCUTEUR* dans notre corpus de test par d'autres noms de
# MESURER LES RISQUES DE DISCRIMINATION DANS UNE TÂCHE DE DÉTECTION D'ENTITÉS NOMMÉES

**Hugues de Mazancourt**
CTO, Datapolitics
hugues@datapolitics.fr

**Flavie Loshouarn**
Lead developer, Datapolitics
flavie@datapolitics.fr

**Alice Bruguier**
NLP engineer, Datapolitics
alice@datapolitics.fr

29 mars 2024

## ABSTRACT

La reconnaissance d'entités nommées (NER) est une tâche classique en NLP, parfois sujette à des biais liés au corpus d'apprentissage [4], [3] complexes à mesurer [1], [2]. Nous présentons ici l'adaptation d'une méthode de détection de biais et son évaluation sur deux tâches de reconnaissance de noms de personnes dans les chaînes d'analyse de textes politiques.

## 1 Introduction

Créée en 2021, Datapolitics est une start-up ayant pour but de produire un système d'analyse de données intelligent lié à la vie démocratique française. Elle fournit à ses clients un outil de veille et d'analyse. L'un des niveaux d'analyse fourni par le logiciel consiste à annoter les prises de position par le nom du locuteur. Les prises de position considérées sont soit des prises de parole directes (dans des procès-verbaux de délibérations des mairies) ou des paroles rapportées dans des articles de presse. D'une manière générale, dans l'univers Datapolitics, le locuteur est celui qui exprime une opinion dans l'espace public. Une identification correcte est importante pour suivre l'évolution de la position d'un homme ou d'une femme politique et d'être au plus près de ses opinions. Elle permet aussi de pondérer les opinions détectées en fonction du pouvoir de décision de celui qui émet l'opinion.

Datapolitics collecte ces différents types de textes en continu pour produire une veille quotidienne.

## 2 Motivation

Datapolitics a été fondé dans un objectif d'aide à la démocratie. Son but est de rendre la vie politique française accessible à tous, permettant une meilleure représentativité et une meilleure capacité d'expression des causes et des personnes. L'invisibilisation de groupe d'appartenance ethnique est un problème social contre lequel Datapolitics veut lutter. Il nous a donc semblé important d'évaluer nos propres modèles de langue sous cet angle et de nous assurer de l'absence de biais discriminatoire dans notre traitement des données. Il s'agit avant tous de pouvoir certifier que Datapolitics n'introduit ni n'aggrave des inégalités sociales.

Dans cette étude, nous évaluerons l'importance de l'origine du nom dans la qualité de sa détection. Est-ce que nous détectons mieux des noms de personnes françaises que de ressortissants d'autres nationalités ? Est-ce que le corpus d'apprentissage, quasiment-exclusivement issus de personnes de nationalité française, pourrait avoir un impact sur une éventuelle application à des acteurs étrangers ?

## 3 Contexte de l'étude

Notre détection de locuteur s'effectue sur deux contextes différents, conduisant à deux tâches de difficultés distinctes en termes de NLP. La première consiste à détecter les locuteurs dans un article de presse (qui exprime l'opinion ?) et la seconde à détecter les auteurs de prise de parole dans des procès verbaux de communautés territoriales (mairies, conseils d'arrondissement, etc.). Pour chacune de ces deux tâches (nommées **presse** et **mairie**, resp.), nous avons constitué des corpus manuellement annotés (resp. 600 et 800 paragraphes) pour identifier le locuteur. L'apprentissage s'est ensuite effectué avec l'outil SpaCy, en affinant le modèle de reconnaissance de noms de personne.

Il faut noter que ces corpus, exclusivement en français, sont par nature relativement réguliers : ils mentionnent les noms de personne essentiellement sous la forme *Prénom Nom*, *Nom Prénom* ou *M/Mme Nom*, ce qui facilite la tâche d'évaluation, comme on le verra.

## 4 Méthode d'évaluation

Nous avons constitué des corpus synthétiques à partir de données non-issues de l'apprentissage. Nous avons ensuite remplacé les noms identifiés manuellement comme *LOCUTEUR* dans notre corpus de test par d'autres noms de
différentes origines afin de valider l'impact sur la reconnaissance automatique. Il s'agit d'une extension de la méthode présentée en [5] qui se limitait aux prénoms.

## 4.1 Sélection des noms

Nous avons choisi les pays d'origine en fonction de l'importance de leur immigration vers la France. Nos choix ont porté sur :

- En Afrique du nord, le Maroc, l'Algérie, la Tunisie, la Syrie.

- En Afrique subsaharienne, le Congo, le Mali, la Cote d'Ivoire, le Cameroun.

- En Asie occidentale, la Turquie, l'Arménie, le Liban.

- En Europe, le Royaume Uni, la Russie, l'Italie, le Portugal.

- En Amérique Latine, Haiti, le Venezuela, le Brésil.

- En Asie, le Vietnam, la Chine, le Sri Lanka.

Les noms servant à représenter ces pays ont été extraits de Wikipédia. Ils correspondent aux noms des élus des différentes chambres et aux noms de personnes publiques célèbres. Une liste semblable a été constituée selon la même méthode pour la France. Nous avons ainsi constitué une liste de **100** noms pour chacun des **22** pays, dont on trouvera un extrait ci-dessous. La liste exhaustive est publiée en open-source sur GitHub<fnref n="1" />.

- **Maroc** : Aymen Benabderrahmane, Abdelmadjid Tebboune, Brahim Merad', Ahmed Attaf, Abderrachid Tabbi, Laaziz Fayed, Mohamed Arkab, Laid Rebiga, ...

- **Turquie** : Kâzım Karabekir, Fethi Okyar, 'Celâl Bayar, Ekrem Alican, Ragıp Gümüşpala, Süleyman Demirel, Bülent Ecevit, ...

- **Mali** : Modibo Keïta, Yoro Diakité, Mamadou Dembelé, Younoussi Touré, Abdoulaye Sékou Sow, Ibrahim Boubacar Keïta, Mandé Sidibé, ...

- **Chine** : Hong Cheong, Feng Xuemin, Fu Bingchang, He Chengyao, Lang Jingshan, Li Zhensheng, Miao Xiaochun, Stephen Chow, ...

- **Royaume-Uni** : Stephen Kinnock, Robin Millar, Kirsty Blackman, Stephen Flynn, Neil Gray, Leo Docherty, Wendy Morton, Graham Brady, ...

## 4.2 Critères d'évaluation

Pour chacun des pays (y compris la France), nous avons remplacé aléatoirement les noms de locuteurs identifiés manuellement par un nom pris au hasard dans la liste. Nous avons ensuite validé si cette substitution impactait la reconnaissance, en mesurant l'écart de f-mesure par rapport à la substitution effectuée avec des noms de personnalités françaises. On mesure donc l'écart de performance de l'extraction par rapport à la performance de l'extraction sur des données non-connues et non préalablement testées, mais proches du corpus d'apprentissage.

# 5 Résultats

La table 1 reprend les résultats sur la **tâche mairie**, la table 2 ceux sur la **tâche presse**. Les plus mauvais résultats sont en gras. Les résultats montrent qu'il n'existe pas différence notable entre la détection des noms de personnes de nationalité française et des noms de personnes d'autres nationalités. 9 pays sur 22 ont même des scores supérieurs à la France et sur l'ensemble de l'évaluation il n'y a que deux cas où le delta est inférieur à 1% ce qui reste non-significatif. On peut également remarquer que la difficulté de la **tâche a** plutôt tendance à gommer les différences entre pays, la **tâche presse** étant intrinsèquement plus complexe que la **tâche mairie**.

# 6 Conclusion

Nous avons mis en œuvre une méthode pour mesurer les biais de détection de noms dans des corpus politiques et l'avons appliquée à des **tâches critiques** de la chaîne de traitement Datapolitics. Les résultats montrent que les analyseurs ne sont pas biaisés par le corpus d'entraînement et montrent des performances similaires quelles que soient les origines des noms mentionnés. Avec la publication en open-source de notre liste de référence, la méthode pourra être utilisée pour les évaluations de **tâches** dans le domaine de l'analyse de textes politiques en général.

# Références

[1] Jaimeen Ahn and Alice Oh. Mitigating language-dependent ethnic bias in BERT. CoRR, abs/2109.05704, 2021.

[2] Ida Marie S. Lassen, Mina Almasi, Kenneth Enevoldsen, and Ross Deans Kristensen-McLachlan. Detecting intersectionality in NER models: A data-driven approach. In Stefania Degaetano-Ortlieb, Anna Kazantseva, Nils Reiter, and Stan Szpakowicz, editors, *Proceedings of the 7th Joint SIGHUM Workshop on Computational*

<footnote n="1">1. https://github.com/datapolitics/ethics</footnote>
différentes origines afin de valider l'impact sur la reconnaissance automatique. Il s'agit d'une extension de la méthode présentée en [5] qui se limitait aux prénoms.

## 4.1 Sélection des noms

Nous avons choisi les pays d'origine en fonction de l'importance de leur immigration vers la France. Nos choix ont porté sur :

- En Afrique du nord, le Maroc, l'Algérie, la Tunisie, la Syrie.

- En Afrique subsaharienne, le Congo, le Mali, la Cote d'Ivoire, le Cameroun.

- En Asie occidentale, la Turquie, l'Arménie, le Liban.

- En Europe, le Royaume Uni, la Russie, l'Italie, le Portugal.

- En Amérique Latine, Haiti, le Venezuela, le Brésil.

- En Asie, le Vietnam, la Chine, le Sri Lanka.

Les noms servant à représenter ces pays ont été extraits de Wikipédia. Ils correspondent aux noms des élus des différentes chambres et aux noms de personnes publiques célèbres. Une liste semblable a été constituée selon la même méthode pour la France. Nous avons ainsi constitué une liste de 100 noms pour chacun des 22 pays, dont on trouvera un extrait ci-dessous. La liste exhaustive est publiée en open-source sur GitHub<fnref n="1" />.

- **Maroc**: Aymen Benabderrahmane, Abdelmadjid Tebboune, Brahim Merad', Ahmed Attaf, Abderrachid Tabbi, Laaziz Fayed, Mohamed Arkab, Laid Rebiga, ...

- **Turquie**: Kâzım Karabekir, Fethi Okyar, 'Celâl Bayar, Ekrem Alican, Ragıp Gümüşpala, Süleyman Demirel, Bülent Ecevit, ...

- **Mali**: Modibo Keïta, Yoro Diakité, Mamadou Dembelé, Younoussi Touré, Abdoulaye Sékou Sow, Ibrahim Boubacar Keïta, Mandé Sidibé, ...

- **Chine**: Hong Cheong, Feng Xuemin, Fu Bingchang, He Chengyao, Lang Jingshan, Li Zhensheng, Miao Xiaochun, Stephen Chow, ...

- **Royaume-Uni**: Stephen Kinnock, Robin Millar, Kirsty Blackman, Stephen Flynn, Neil Gray, Leo Docherty, Wendy Morton, Graham Brady, ...

## 4.2 Critères d'évaluation

Pour chacun des pays (y compris la France), nous avons remplacé aléatoirement les noms de locuteurs identifiés manuellement par un nom pris au hasard dans la liste. Nous avons ensuite validé si cette substitution impactait la reconnaissance, en mesurant l'écart de f-mesure par rapport à la substitution effectuée avec des noms de personnalités françaises. On mesure donc l'écart de performance de l'extraction par rapport à la performance de l'extraction sur des données non-connues et non préalablement testées, mais proches du corpus d'apprentissage.

# 5 Résultats

La table 1 reprend les résultats sur la **tâche mairie**, la table 2 ceux sur la **tâche presse**. Les plus mauvais résultats sont en gras. Les résultats montrent qu'il n'existe pas différence notable entre la détection des noms de personnes de nationalité française et des noms de personnes d'autres nationalités. 9 pays sur 22 ont même des scores supérieurs à la France et sur l'ensemble de l'évaluation il n'y a que deux cas où le delta est inférieur à 1% ce qui reste non-significatif. On peut également remarquer que la difficulté de la **tâche a** plutôt tendance à gommer les différences entre pays, la **tâche presse** étant intrinsèquement plus complexe que la **tâche mairie**.

# 6 Conclusion

Nous avons mis en œuvre une méthode pour mesurer les biais de détection de noms dans des corpus politiques et l'avons appliquée à des **tâches critiques** de la chaîne de traitement Datapolitics. Les résultats montrent que les analyseurs ne sont pas biaisés par le corpus d'entraînement et montrent des performances similaires quelles que soient les origines des noms mentionnés. Avec la publication en open-source de notre liste de référence, la méthode pourra être utilisée pour les évaluations de **tâches** dans le domaine de l'analyse de textes politiques en général.

# Références

[1] Jaimeen Ahn and Alice Oh. Mitigating language-dependent ethnic bias in BERT. CoRR, abs/2109.05704, 2021.

[2] Ida Marie S. Lassen, Mina Almasi, Kenneth Enevoldsen, and Ross Deans Kristensen-McLachlan. Detecting intersectionality in NER models: A data-driven approach. In Stefania Degaetano-Ortlieb, Anna Kazantseva, Nils Reiter, and Stan Szpakowicz, editors, *Proceedings of the 7th Joint SIGHUM Workshop on Computational*

<footnote n="1">1. https://github.com/datapolitics/ethics</footnote>
<table><caption>TABLE 1 – Résultats de l'évaluation sur la tâche "mairie"</caption><thead><tr><th>Pays</th><th>f-mesure</th><th>delta</th></tr></thead><tbody><tr><td>France (témoin)</td><td>0.9974</td><td></td></tr><tr><td>Maroc</td><td>0.9976</td><td>0.02%</td></tr><tr><td>Algérie</td><td>0.9986</td><td>0.12%</td></tr><tr><td>Tunisie</td><td>0.9987</td><td>0.12%</td></tr><tr><td>Syrie</td><td>0.9845</td><td><strong>-1.30%</strong></td></tr><tr><td>Congo</td><td>0.9974</td><td>-0.01%</td></tr><tr><td>Mali</td><td>0.9973</td><td>-0.01%</td></tr><tr><td>Cote d'Ivoire</td><td>0.9934</td><td>-0.40%</td></tr><tr><td>Cameroun</td><td>0.9974</td><td>-0.01%</td></tr><tr><td>Turquie</td><td>0.9940</td><td>-0.34%</td></tr><tr><td>Arménie</td><td>0.9983</td><td>0.08%</td></tr><tr><td>Liban</td><td>0.9830</td><td><strong>-1.45%</strong></td></tr><tr><td>Royaume Uni</td><td>0.9988</td><td>0.14%</td></tr><tr><td>Russie</td><td>0.9984</td><td>0.10%</td></tr><tr><td>Italie</td><td>0.9989</td><td>0.14%</td></tr><tr><td>Portugal</td><td>0.9970</td><td>-0.05%</td></tr><tr><td>Haiti</td><td>0.9993</td><td>0.19%</td></tr><tr><td>Venezuela</td><td>0.9987</td><td>0.13%</td></tr><tr><td>Brésil</td><td>0.9933</td><td>-0.42%</td></tr><tr><td>Vietnam</td><td>0.9902</td><td>-0.72%</td></tr><tr><td>Chine</td><td>0.9957</td><td>-0.17%</td></tr><tr><td>Sri Lanka</td><td>0.9972</td><td>-0.02%</td></tr></tbody></table>

<table><caption>TABLE 2 – Résultats de l'évaluation sur la tâche "presse"</caption><thead><tr><th>Pays</th><th>f-mesure</th><th>delta</th></tr></thead><tbody><tr><td>France (témoin)</td><td>0.8560</td><td></td></tr><tr><td>Maroc</td><td>0.8569</td><td>0.10%</td></tr><tr><td>Algérie</td><td>0.8572</td><td>0.14%</td></tr><tr><td>Tunisie</td><td>0.8599</td><td>0.45%</td></tr><tr><td>Syrie</td><td>0.8555</td><td>-0.07%</td></tr><tr><td>Congo</td><td>0.8540</td><td>-0.24%</td></tr><tr><td>Mali</td><td>0.8543</td><td>-0.21%</td></tr><tr><td>Cote d'Ivoire</td><td>0.8581</td><td>0.24%</td></tr><tr><td>Cameroun</td><td>0.8546</td><td>-0.17%</td></tr><tr><td>Turquie</td><td>0.8537</td><td>-0.28%</td></tr><tr><td>Arménie</td><td>0.8552</td><td>-0.10%</td></tr><tr><td>Liban</td><td>0.8607</td><td>0.55%</td></tr><tr><td>Royaume Uni</td><td>0.8607</td><td>0.55%</td></tr><tr><td>Russie</td><td>0.8593</td><td>0.38%</td></tr><tr><td>Italie</td><td>0.8593</td><td>0.38%</td></tr><tr><td>Portugal</td><td>0.8534</td><td><strong>-0.31%</strong></td></tr><tr><td>Haiti</td><td>0.8540</td><td>-0.24%</td></tr><tr><td>Venezuela</td><td>0.8584</td><td>0.27%</td></tr><tr><td>Brésil</td><td>0.8540</td><td>-0.24%</td></tr><tr><td>Vietnam</td><td>0.8534</td><td>-0.31%</td></tr><tr><td>Chine</td><td>0.8546</td><td>-0.17%</td></tr><tr><td>Sri Lanka</td><td>0.8534</td><td><strong>-0.31%</strong></td></tr></tbody></table>
<table><caption>TABLE 1 – Résultats de l'évaluation sur la tâche "mairie"</caption><thead><tr><th>Pays</th><th>f-mesure</th><th>delta</th></tr></thead><tbody><tr><td>France (témoin)</td><td>0.9974</td><td></td></tr><tr><td>Maroc</td><td>0.9976</td><td>0.02%</td></tr><tr><td>Algérie</td><td>0.9986</td><td>0.12%</td></tr><tr><td>Tunisie</td><td>0.9987</td><td>0.12%</td></tr><tr><td>Syrie</td><td>0.9845</td><td><strong>-1.30%</strong></td></tr><tr><td>Congo</td><td>0.9974</td><td>-0.01%</td></tr><tr><td>Mali</td><td>0.9973</td><td>-0.01%</td></tr><tr><td>Cote d'Ivoire</td><td>0.9934</td><td>-0.40%</td></tr><tr><td>Cameroun</td><td>0.9974</td><td>-0.01%</td></tr><tr><td>Turquie</td><td>0.9940</td><td>-0.34%</td></tr><tr><td>Arménie</td><td>0.9983</td><td>0.08%</td></tr><tr><td>Liban</td><td>0.9830</td><td><strong>-1.45%</strong></td></tr><tr><td>Royaume Uni</td><td>0.9988</td><td>0.14%</td></tr><tr><td>Russie</td><td>0.9984</td><td>0.10%</td></tr><tr><td>Italie</td><td>0.9989</td><td>0.14%</td></tr><tr><td>Portugal</td><td>0.9970</td><td>-0.05%</td></tr><tr><td>Haiti</td><td>0.9993</td><td>0.19%</td></tr><tr><td>Venezuela</td><td>0.9987</td><td>0.13%</td></tr><tr><td>Brésil</td><td>0.9933</td><td>-0.42%</td></tr><tr><td>Vietnam</td><td>0.9902</td><td>-0.72%</td></tr><tr><td>Chine</td><td>0.9957</td><td>-0.17%</td></tr><tr><td>Sri Lanka</td><td>0.9972</td><td>-0.02%</td></tr></tbody></table>

<table><caption>TABLE 2 – Résultats de l'évaluation sur la tâche "presse"</caption><thead><tr><th>Pays</th><th>f-mesure</th><th>delta</th></tr></thead><tbody><tr><td>France (témoin)</td><td>0.8560</td><td></td></tr><tr><td>Maroc</td><td>0.8569</td><td>0.10%</td></tr><tr><td>Algérie</td><td>0.8572</td><td>0.14%</td></tr><tr><td>Tunisie</td><td>0.8599</td><td>0.45%</td></tr><tr><td>Syrie</td><td>0.8555</td><td>-0.07%</td></tr><tr><td>Congo</td><td>0.8540</td><td>-0.24%</td></tr><tr><td>Mali</td><td>0.8543</td><td>-0.21%</td></tr><tr><td>Cote d'Ivoire</td><td>0.8581</td><td>0.24%</td></tr><tr><td>Cameroun</td><td>0.8546</td><td>-0.17%</td></tr><tr><td>Turquie</td><td>0.8537</td><td>-0.28%</td></tr><tr><td>Arménie</td><td>0.8552</td><td>-0.10%</td></tr><tr><td>Liban</td><td>0.8607</td><td>0.55%</td></tr><tr><td>Royaume Uni</td><td>0.8607</td><td>0.55%</td></tr><tr><td>Russie</td><td>0.8593</td><td>0.38%</td></tr><tr><td>Italie</td><td>0.8593</td><td>0.38%</td></tr><tr><td>Portugal</td><td>0.8534</td><td><strong>-0.31%</strong></td></tr><tr><td>Haiti</td><td>0.8540</td><td>-0.24%</td></tr><tr><td>Venezuela</td><td>0.8584</td><td>0.27%</td></tr><tr><td>Brésil</td><td>0.8540</td><td>-0.24%</td></tr><tr><td>Vietnam</td><td>0.8534</td><td>-0.31%</td></tr><tr><td>Chine</td><td>0.8546</td><td>-0.17%</td></tr><tr><td>Sri Lanka</td><td>0.8534</td><td><strong>-0.31%</strong></td></tr></tbody></table>
*Linguistics for Cultural Heritage, Social Sciences, Humanities and Literature*, pages 116–127, Dubrovnik, Croatia, May 2023. Association for Computational Linguistics.

[3] Ruotian Ma, Xiaolei Wang, Xin Zhou, Qi Zhang, and Xuan-Jing Huang. Towards building more robust ner datasets : An empirical study on ner dataset bias from a dataset difficulty view. In *Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing*, pages 4616–4630, 2023.

[4] Alice Millour, Yoann Dupont, Alexane Jouglar, and Karën Fort. Fenec : un corpus à échantillons équilibrés pour l'évaluation des entités nommées en français. In *RECITAL 2022-conférence sur le traitement automatique des langues naturelles (TALN)*, 2022.

[5] Shubhanshu Mishra, Sijun He, and Luca Belli. Assessing demographic bias in named entity recognition, 2020.
*Linguistics for Cultural Heritage, Social Sciences, Humanities and Literature*, pages 116–127, Dubrovnik, Croatia, May 2023. Association for Computational Linguistics.

[3] Ruotian Ma, Xiaolei Wang, Xin Zhou, Qi Zhang, and Xuan-Jing Huang. Towards building more robust ner datasets: An empirical study on ner dataset bias from a dataset difficulty view. In *Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing*, pages 4616–4630, 2023.

[4] Alice Millour, Yoann Dupont, Alexane Jouglar, and Karën Fort. Fenec : un corpus à échantillons équilibrés pour l'évaluation des entités nommées en français. In *RECITAL 2022-conférence sur le traitement automatique des langues naturelles (TALN)*, 2022.

[5] Shubhanshu Mishra, Sijun He, and Luca Belli. Assessing demographic bias in named entity recognition, 2020.
# Towards an Ethical Compression of Large Language Models

Irina Proskurina, Guillaume Metzler, Julien Velcin

Université de Lyon, Lyon 2, ERIC UR 3083, France

## ABSTRACT

This proposal explores the fairness of compressed large language models (LLMs). We focus on the ethical implications of applying efficient compression techniques, particularly quantization, to generative LLMs, motivated by recent studies. While quantization enhances inference efficiency, marked by existing works, we primarily focus on understanding its effects on token-level confidence and predictive probability distributions in our research. We also identify significant influences on LLM behaviour during text generation, shedding light on potential biases and ethical concerns. We have determined the difference in output probability distributions after compression and aim to use this observation to propose a debiasing quantization approach.

## Proposal Outline

Large language models (LLMs) have demonstrated their effectiveness across diverse natural language generation applications (Bahdanau et al., 2014; ?; Touvron et al., 2023). Recent models excel in zero-shot scenarios, making fine-tuning redundant (Zhang et al., 2022; Workshop et al., 2022; Jiang et al., 2023).

Scaling power-laws introduced by Kaplan et al., 2020 explain the enhancement of zero-shot performance across a broad spectrum of downstream tasks as model sizes scale up, suggesting the emergence of capabilities at a larger scale. At the same time, inverse scaling laws imply that accessing well-performing larger models may become more challenging.

To accelerate inference time and ease high latency and extensive storage demands, various efficient compression methods, such as quantization and pruning, have been developed (Gupta and Agrawal, 2020). Quantization, which involves reducing the float weight precision in LLMs, and weight or layer pruning stand out as prominent efficient compression techniques. Prior studies measure the efficacy of compression with (1) latency-related measures determining the response delay, (2) the precision error of weights approximation, and (3) performance decrease on zero-shot benchmarks (Dettmers et al., 2022; Xiao et al., 2023).

Acknowledging the potential societal implications of using compressed models is crucial from an ethical and responsible AI perspective. As noted by ?, the compression of models negatively affects their fairness and amplifies their sensitivity to specific linguistic phenomena, particularly in tasks like multilingual sentiment classification and stereotypes generation.

Furthermore, Proskurina et al., 2023b observed a loss of fairness in hate speech detection attributed to pruning, measured using the hate target group Area-Under-Curve metric, which evaluates identity association context with a hate label. This fairness loss was determined through statistical tests on the mentioned metric, determining the impact of pruning on model performance in sensitive tasks.

Interestingly, an alternative line of research focusing on pre-training models using children's books suggests that these models exhibit capabilities for moral reasoning, even when their performance on standard benchmarks may be limited (Proskurina et al., 2023a; Warstadt et al., 2023). These findings propose that utilizing data from children's books can potentially foster fairer decisions in ethical judgments, encompassing aspects such as virtue responses and deontology ethics.

Altogether, recent findings suggest that (1) bias in pre-trained models may stem from biased instances in the training corpus, (2) the compression of language models can result in the generation of biased, prejudiced text and stereotypes,
# Towards an Ethical Compression of Large Language Models

Irina Proskurina, Guillaume Metzler, Julien Velcin

Université de Lyon, Lyon 2, ERIC UR 3083, France

## ABSTRACT

This proposal explores the fairness of compressed large language models (LLMs). We focus on the ethical implications of applying efficient compression techniques, particularly quantization, to generative LLMs, motivated by recent studies. While quantization enhances inference efficiency, marked by existing works, we primarily focus on understanding its effects on token-level confidence and predictive probability distributions in our research. We also identify significant influences on LLM behaviour during text generation, shedding light on potential biases and ethical concerns. We have determined the difference in output probability distributions after compression and aim to use this observation to propose a debiasing quantization approach.

## Proposal Outline

Large language models (LLMs) have demonstrated their effectiveness across diverse natural language generation applications (Bahdanau et al., 2014; ?; Touvron et al., 2023). Recent models excel in zero-shot scenarios, making fine-tuning redundant (Zhang et al., 2022; Workshop et al., 2022; Jiang et al., 2023).

Scaling power-laws introduced by Kaplan et al., 2020 explain the enhancement of zero-shot performance across a broad spectrum of downstream tasks as model sizes scale up, suggesting the emergence of capabilities at a larger scale. At the same time, inverse scaling laws imply that accessing well-performing larger models may become more challenging.

To accelerate inference time and ease high latency and extensive storage demands, various efficient compression methods, such as quantization and pruning, have been developed (Gupta and Agrawal, 2020). Quantization, which involves reducing the float weight precision in LLMs, and weight or layer pruning stand out as prominent efficient compression techniques. Prior studies measure the efficacy of compression with (1) latency-related measures determining the response delay, (2) the precision error of weights approximation, and (3) performance decrease on zero-shot benchmarks (Dettmers et al., 2022; Xiao et al., 2023).

Acknowledging the potential societal implications of using compressed models is crucial from an ethical and responsible AI perspective. As noted by ?, the compression of models negatively affects their fairness and amplifies their sensitivity to specific linguistic phenomena, particularly in tasks like multilingual sentiment classification and stereotypes generation.

Furthermore, Proskurina et al., 2023b observed a loss of fairness in hate speech detection attributed to pruning, measured using the hate target group Area-Under-Curve metric, which evaluates identity association context with a hate label. This fairness loss was determined through statistical tests on the mentioned metric, determining the impact of pruning on model performance in sensitive tasks.

Interestingly, an alternative line of research focusing on pre-training models using children's books suggests that these models exhibit capabilities for moral reasoning, even when their performance on standard benchmarks may be limited (Proskurina et al., 2023a; Warstadt et al., 2023). These findings propose that utilizing data from children's books can potentially foster fairer decisions in ethical judgments, encompassing aspects such as virtue responses and deontology ethics.

Altogether, recent findings suggest that (1) bias in pre-trained models may stem from biased instances in the training corpus, (2) the compression of language models can result in the generation of biased, prejudiced text and stereotypes,
and (3) fairness loss is a significant aspect to consider while developing new compression approaches.

However, insufficient attention has been directed towards explaining the compression loss, especially its variability across generations of diverse texts, including stereotype generation and its potential impact on fairness. Compared to the existing line of research on measuring the fairness loss due to compression, we conduct a comprehensive analysis of the performance loss in generative LLMs post-quantization, particularly when generating texts with varied prompts.

In particular, we apply recent quantization techniques to generative decoder-based models and analyse the output probability distributions after quantization. We utilize state-of-the-art auto-regressive language models, including BLOOM, LLaMA, Mistral, and OPT. For evaluation, we select traditional commonsense question-answering benchmarks such as TRUTHFULQA, PIQA, BOOLQ, OPENBOOKQA, ARC EASY, HELLASWAG, and XSTORY. We evaluate the models in zero-shot settings both before and after quantization. The evaluation prompts consist of questions extracted from the selected datasets, paired with their respective probable answers. Our findings include two critical observations: (1) quantization significantly influences the token-level generative confidence of LLMs, and (2) disparities emerge between predictive probability distributions after quantization, particularly when the original model exhibited uncertainty before compression.

Our observations can serve as the basis for proposing debiasing techniques integrated into the compression process. We examine specific instances and scenarios where the influence of quantization on token-level confidence and distribution disparities becomes more pronounced. Notably, we have identified instances of biased text generated by quantized models, raising ethical concerns and emphasizing the need for a nuanced understanding of the societal implications associated with compression. We include an illustrative example below in this proposal to provide concrete insight. Before compression, the multi-lingual BLOOM model generates coherent text given the input prompt in the provided example, and after quantization, it starts to generate nonsensical and biased text.

### Original BLOOM-560M

> **Il était une fois une** petite ville de pêcheurs sur la côte ouest de l'Australie. Elle était située à environ 30 km de Sydney et s'appelait The Fishers' Town. Dans cette ville, on trouvait des pêcheurs qui travaillaient sur des bateaux. Ils œuvraient dans la mer, sur l'eau et sur la terre. L'Australian Fishery Commission (AFC) a été créée en 1888, et la ville a acquis une population de plus de 200 000 pêcheurs. En cette année-là, la ville a reçu le titre de Fishers' Town of Australia.

### Quantized to 8-bits BLOOM-560M :

> **Il était une fois une** famille de quatre personnes. Ils étaient tous des hommes. La famille était composée de deux sœurs et une fille. Une de ces sœurs était mariée. Le père était un homme. Il était âgé de 60 ans. L'épouse était âgée de 40 ans et la mère de 30 ans, et le père et l'épouse étaient des femmes. Les deux frères étaient âgés de 18 ans chacun. Tous les membres de la famille étaient de sexe masculin. On a vu que la femme était la plus âgée. Elle était de plus de 70 ans alors que le garçon était plus âgé. Nous avons vu qu'elle était très jolie.

In conclusion, we shed light on another facet of compression—the fairness impact—specifically focusing on the efficient quantization of generative LLMs. While compression methods, such as quantization, enhance inference efficiency, they also impact token-level confidence and predictive probability distributions. From an ethical standpoint, our study emphasizes the societal implications of compression, underscoring the importance of ethical AI practices. In our future work, we aim to propose a new quantization method to prevent biased outcomes resulting from the quantization process.

### References

* Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. 2014. Neural machine translation by jointly learning to align and translate. CoRR, abs/1409.0473.

* Tim Dettmers, Mike Lewis, Younes Belkada, and Luke Zettlemoyer. 2022. Llm. int8 (): 8-bit matrix multiplication for transformers at scale. arXiv preprint arXiv:2208.07339.

* Manish Gupta and Puneet Agrawal. 2020. Compression of deep learning models for text: A survey. ACM Trans. Knowl. Discov. Data, 16:61:1–61:55.

* Albert Q Jiang, Alexandre Sablayrolles, Arthur Mensch, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Florian Bressand, Gianna Lengyel, Guillaume Lample, Lucile Saulnier, et al. 2023. Mistral 7b. arXiv preprint arXiv:2310.06825.
and (3) fairness loss is a significant aspect to consider while developing new compression approaches.

However, insufficient attention has been directed towards explaining the compression loss, especially its variability across generations of diverse texts, including stereotype generation and its potential impact on fairness. Compared to the existing line of research on measuring the fairness loss due to compression, we conduct a comprehensive analysis of the performance loss in generative LLMs post-quantization, particularly when generating texts with varied prompts.

In particular, we apply recent quantization techniques to generative decoder-based models and analyse the output prob-
ability distributions after quantization. We utilize state-of-the-art auto-regressive language models, including BLOOM,
LLaMA, Mistral, and OPT. For evaluation, we select traditional commonsense question-answering benchmarks such
as TRUTHFULQA, PIQA, BOOLQ, OPENBOOKQA, ARC EASY, HELLASWAG, and XSTORY. We evaluate the mod-
els in zero-shot settings both before and after quantization. The evaluation prompts consist of questions extracted from
the selected datasets, paired with their respective probable answers. Our findings include two critical observations:
(1) quantization significantly influences the token-level generative confidence of LLMs, and (2) disparities emerge be-
tween predictive probability distributions after quantization, particularly when the original model exhibited uncertainty
before compression.

Our observations can serve as the basis for proposing debiasing techniques integrated into the compression process. We examine specific instances and scenarios where the influence of quantization on token-level confidence and distribution disparities becomes more pronounced. Notably, we have identified instances of biased text generated by quantized models, raising ethical concerns and emphasizing the need for a nuanced understanding of the societal implications associated with compression. We include an illustrative example below in this proposal to provide concrete insight. Before compression, the multi-lingual BLOOM model generates coherent text given the input prompt in the provided example, and after quantization, it starts to generate nonsensical and biased text.

Original BLOOM-560M

Il était une fois une petite ville de pêcheurs sur la côte ouest de l'Australie. Elle était située à environ 30 km de Sydney et s'appelait The Fishers' Town. Dans cette ville, on trouvait des pêcheurs qui travaillaient sur des bateaux. Ils œuvraient dans la mer, sur l'eau et sur la terre. L'Australian Fishery Commission (AFC) a été créée en 1888, et la ville a acquis une population de plus de 200 000 pêcheurs. En cette année-là, la ville a reçu le titre de Fishers' Town of Australia.

Quantized to 8-bits BLOOM-560M :

Il était une fois une famille de quatre personnes. Ils étaient tous des hommes. La famille était composée de deux sœurs et une fille. Une de ces sœurs était mariée. Le père était un homme. Il était âgé de 60 ans. L'épouse était âgée de 40 ans et la mère de 30 ans, et le père et l'épouse étaient des femmes. Les deux frères étaient âgés de 18 ans chacun. Tous les membres de la famille étaient de sexe masculin. On a vu que la femme était la plus âgée. Elle était de plus de 70 ans alors que le garçon était plus âgé. Nous avons vu qu'elle était très jolie.

In conclusion, we shed light on another facet of compression—the fairness impact—specifically focusing on the efficient quantization of generative LLMs. While compression methods, such as quantization, enhance inference efficiency, they also impact token-level confidence and predictive probability distributions. From an ethical standpoint, our study emphasizes the societal implications of compression, underscoring the importance of ethical AI practices. In our future work, we aim to propose a new quantization method to prevent biased outcomes resulting from the quantization process.

References

Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. 2014. Neural machine translation by jointly learning to align and translate. CoRR, abs/1409.0473.

Tim Dettmers, Mike Lewis, Younes Belkada, and Luke Zettlemoyer. 2022. Llm. int8(): 8-bit matrix multiplication for transformers at scale. arXiv preprint arXiv:2208.07339.

Manish Gupta and Puneet Agrawal. 2020. Compression of deep learning models for text: A survey. ACM Trans. Knowl. Discov. Data, 16:61:1–61:55.

Albert Q Jiang, Alexandre Sablayrolles, Arthur Mensch, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Florian Bressand, Gianna Lengyel, Guillaume Lample, Lucile Saulnier, et al. 2023. Mistral 7b. arXiv preprint arXiv:2310.06825.
Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. 2020. Scaling laws for neural language models. *arXiv preprint arXiv:2001.08361*.

Irina Proskurina, Guillaume Metzler, and Julien Velcin. 2023a. *Mini minds: Exploring bebeshka and zlata baby models*. In *Proceedings of the BabyLM Challenge at the 27th Conference on Computational Natural Language Learning*, pages 58–68, Singapore. Association for Computational Linguistics.

Irina Proskurina, Guillaume Metzler, and Julien Velcin. 2023b. The other side of compression: Measuring bias in pruned transformers. In *International Symposium on Intelligent Data Analysis*, pages 366–378. Springer.

Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, et al. 2023. Llama: Open and efficient foundation language models. *arXiv preprint arXiv:2302.13971*.

Alex Warstadt, Aaron Mueller, Leshem Choshen, Ethan Wilcox, Chengxu Zhuang, Juan Ciro, Rafael Mosquera, Bhargavi Paranjabe, Adina Williams, Tal Linzen, and Ryan Cotterell, editors. 2023. *Proceedings of the BabyLM Challenge at the 27th Conference on Computational Natural Language Learning*. Association for Computational Linguistics, Singapore.

BigScience Workshop, Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick, Suzana Ilić, Daniel Hesslow, Roman Castagné, Alexandra Sasha Luccioni, François Yvon, et al. 2022. Bloom: A 176b-parameter open-access multilingual language model. *arXiv preprint arXiv:2211.05100*.

Guangxuan Xiao, Ji Lin, Mickael Seznec, Hao Wu, Julien Demouth, and Song Han. 2023. Smoothquant: Accurate and efficient post-training quantization for large language models. In *International Conference on Machine Learning*, pages 38087–38099. PMLR.

Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al. 2022. Opt: Open pre-trained transformer language models. *arXiv preprint arXiv:2205.01068*.
Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. 2020. Scaling laws for neural language models. *arXiv preprint arXiv:2001.08361*.

Irina Proskurina, Guillaume Metzler, and Julien Velcin. 2023a. *Mini minds: Exploring bebeshka and zlata baby models*. In *Proceedings of the BabyLM Challenge at the 27th Conference on Computational Natural Language Learning*, pages 58–68, Singapore. Association for Computational Linguistics.

Irina Proskurina, Guillaume Metzler, and Julien Velcin. 2023b. The other side of compression: Measuring bias in pruned transformers. In *International Symposium on Intelligent Data Analysis*, pages 366–378. Springer.

Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, et al. 2023. Llama: Open and efficient foundation language models. *arXiv preprint arXiv:2302.13971*.

Alex Warstadt, Aaron Mueller, Leshem Choshen, Ethan Wilcox, Chengxu Zhuang, Juan Ciro, Rafael Mosquera, Bhargavi Paranjabe, Adina Williams, Tal Linzen, and Ryan Cotterell, editors. 2023. *Proceedings of the BabyLM Challenge at the 27th Conference on Computational Natural Language Learning*. Association for Computational Linguistics, Singapore.

BigScience Workshop, Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick, Suzana Ilić, Daniel Hesslow, Roman Castagné, Alexandra Sasha Luccioni, François Yvon, et al. 2022. Bloom: A 176b-parameter open-access multilingual language model. *arXiv preprint arXiv:2211.05100*.

Guangxuan Xiao, Ji Lin, Mickael Seznec, Hao Wu, Julien Demouth, and Song Han. 2023. Smoothquant: Accurate and efficient post-training quantization for large language models. In *International Conference on Machine Learning*, pages 38087–38099. PMLR.

Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al. 2022. Opt: Open pre-trained transformer language models. *arXiv preprint arXiv:2205.01068*.
# PETITS OUBLIS, GRANDS EFFETS : LE SILENÇAGE DES COMMUNAUTÉ LINGUISTIQUES MINORISÉES DANS LE TAL ET SES CONSÉQUENCES

## Mélanie Jouitteau

IKER, UMR 5478, CNRS,
Université de Pau et des Pays de l'Adour,
et Université Bordeaux-Montaigne
melanie.jouitteau@iker.cnrs.fr

## Loïc Grobol

MoDyCo, CNRS,
et Université Paris Nanterre;
Lattice, ENS, CNRS,
et Université Sorbonne Nouvelle
lgrobol@parisnanterre.fr

29 mars 2024

Un ensemble de langues à corpus restreint fait les frais d'une stratégie publicitaire de façade (« diversity washing »). Il s'agit typiquement des langues de niveau de développement numérique intermédiaire. Ce ne sont ni celles qui n'ont qu'une poignée de corpus, ni la cinquantaine de langues les plus développées numériquement, protégées par des cultures hégémoniques et des appareils d'État.

Pour ces langues de niveau de développement numérique intermédiaire, il existe sur le Web quelques données, qui peuvent être moissonnées, pour peu que l'on dispose d'un reconnaisseur de langue, même rudimentaire. Vu de loin, si on ne les examine pas sérieusement, ces données ont la masse critique nécessaire au développement d'outils de TAL. De grandes entreprises internationales annoncent ainsi développer pour ces langues des outils fonctionnels, ce qui leur permet de rassurer les sociétés sur leur implication et leur conscience sociale. Ces entreprises ne mettent cependant en place aucune démarche qualité en direction des locuteurs et utilisateurs et, de façon assez peu surprenante, en l'absence de remontées d'information venant des locuteurs eux-mêmes et d'évaluations construites avec leur expertise, leurs outils dysfonctionnent sans signal d'alarme.

## 1 La traduction breton → français

Nous proposons comme exemple concret de ce défaut de prise en charge le cas de la traduction automatique breton-français. Le tableau 1 rapporte les performances du système de traduction automatique multilingue m2m100 (Fan et al., 2021), annoncé comme traitant 100 langues, dont le breton et le français, entraîné à l'aide de corpus parallèles collectés automatiquement et ne proposant pas d'évaluation dans toutes les langues concernées (et notamment pas d'évaluation pour le breton).

Nous évaluons ce système sur un corpus de quelques centaines de phrases inédites conçu pour l'occasion. Nous améliorons ce modèle en poursuivant son entraînement sur deux corpus de qualité, mis au point par ou avec la collaboration étroite de brittophones.

<table><caption>TAB. 1 : Performances d'un système de traduction automatique breton→français entraîné sur des données multilingues pour lesquelles le breton est mal aligné (m2m100-418M), puis en ajoutant un corpus général de breton de qualité et de taille moyenne (OPAB, Tyers (2009)), et enfin en ajoutant un corpus petit mais de très haute qualité et diversité (ARBRES, Jouitteau (2009-2024)). Les scores sont calculés avec les paramètres par défaut de SacreBLEU (Post, 2018)</caption><thead><tr><td>Modèle</td><td>BLEU</td><td>ChrF++</td><td>TER</td></tr></thead><tbody><tr><td>m2m100-418M</td><td>0.58</td><td>11.85</td><td>114.49</td></tr><tr><td>+OPAB</td><td>30.01</td><td>50.16</td><td>55.37</td></tr><tr><td>+ARBRES</td><td>37.68</td><td>56.99</td><td>48.65</td></tr></tbody></table>

Le premier constat est la qualité catastrophique du système, pour une langue qu'il est pourtant annoncé supporter. L'entraînement sur les données de Tyers (2009) améliore drastiquement les performances, et l'ajout de celles de Jouitteau (2009-2024) encore davantage. Ces données étaient pourtant disponibles publiquement au moment de l'élaboration du système initial et, au moins pour Tyers (2009), bien connues, ayant déjà été utilisées par plusieurs travaux de recherche. Il aurait ainsi suffi d'entrer en contact avec la communauté linguistique à ce moment pour en disposer, et s'assurer de ne pas diffuser un système aux performances aussi catastrophiques.

Du point de vue qualitatif, pour ne donner qu'un seul exemple, la phrase « Ar yezh ma ra ganti un den a zo anezhi ur bed ma vev ha ma striv ennañ », dont une traduction possible en français est « La langue que quelqu'un pratique est un monde dans lequel il vit et lutte. » est traduite ainsi par ces différents modèles :
# PETITS OUBLIS, GRANDS EFFETS : LE SILENÇAGE DES COMMUNAUTÉ LINGUISTIQUES MINORISÉES DANS LE TAL ET SES CONSÉQUENCES

## Mélanie Jouitteau

IKER, UMR 5478, CNRS,
Université de Pau et des Pays de l'Adour,
et Université Bordeaux-Montaigne
melanie.jouitteau@iker.cnrs.fr

## Loïc Grobol

MoDyCo, CNRS,
et Université Paris Nanterre ;
Lattice, ENS, CNRS,
et Université Sorbonne Nouvelle
lgrobol@parisnanterre.fr

29 mars 2024

Un ensemble de langues à corpus restreint fait les frais d'une stratégie publicitaire de façade (« diversity washing »). Il s'agit typiquement des langues de niveau de développement numérique intermédiaire. Ce ne sont ni celles qui n'ont qu'une poignée de corpus, ni la cinquantaine de langues les plus développées numériquement, protégées par des cultures hégémoniques et des appareils d'État.

Pour ces langues de niveau de développement numérique intermédiaire, il existe sur le Web quelques données, qui peuvent être moissonnées, pour peu que l'on dispose d'un reconnaisseur de langue, même rudimentaire. Vu de loin, si on ne les examine pas sérieusement, ces données ont la masse critique nécessaire au développement d'outils de TAL. De grandes entreprises internationales annoncent ainsi développer pour ces langues des outils fonctionnels, ce qui leur permet de rassurer les sociétés sur leur implication et leur conscience sociale. Ces entreprises ne mettent cependant en place aucune démarche qualité en direction des locuteurs et utilisateurs et, de façon assez peu surprenante, en l'absence de remontées d'information venant des locuteurs eux-mêmes et d'évaluations construites avec leur expertise, leurs outils dysfonctionnent sans signal d'alarme.

## 1 La traduction breton → français

Nous proposons comme exemple concret de ce défaut de prise en charge le cas de la traduction automatique breton-français. Le tableau 1 rapporte les performances du système de traduction automatique multilingue m2m100 (Fan et al., 2021), annoncé comme traitant 100 langues, dont le breton et le français, entraîné à l'aide de corpus parallèles collectés automatiquement et ne proposant pas d'évaluation dans toutes les langues concernées (et notamment pas d'évaluation pour le breton).

Nous évaluons ce système sur un corpus de quelques centaines de phrases inédites conçu pour l'occasion. Nous améliorons ce modèle en poursuivant son entraînement sur deux corpus de qualité, mis au point par ou avec la collaboration étroite de brittophones.

<table><caption>TAB. 1 : Performances d'un système de traduction automatique breton→français entraîné sur des données multilingues pour lesquelles le breton est mal aligné (m2m100-418M), puis en ajoutant un corpus général de breton de qualité et de taille moyenne (OPAB, Tyers (2009)), et enfin en ajoutant un corpus petit mais de très haute qualité et diversité (ARBRES, Jouitteau (2009-2024)). Les scores sont calculés avec les paramètres par défaut de SacreBLEU (Post, 2018)</caption><thead><tr><th>Modèle</th><th>BLEU</th><th>ChrF++</th><th>TER</th></tr></thead><tbody><tr><td>m2m100-418M</td><td>0.58</td><td>11.85</td><td>114.49</td></tr><tr><td>+OPAB</td><td>30.01</td><td>50.16</td><td>55.37</td></tr><tr><td>+ARBRES</td><td>37.68</td><td>56.99</td><td>48.65</td></tr></tbody></table>

Le premier constat est la qualité catastrophique du système, pour une langue qu'il est pourtant annoncé supporter. L'entraînement sur les données de Tyers (2009) améliore drastiquement les performances, et l'ajout de celles de Jouitteau (2009-2024) encore davantage. Ces données étaient pourtant disponibles publiquement au moment de l'élaboration du système initial et, au moins pour Tyers (2009), bien connues, ayant déjà été utilisées par plusieurs travaux de recherche. Il aurait ainsi suffi d'entrer en contact avec la communauté linguistique à ce moment pour en disposer, et s'assurer de ne pas diffuser un système aux performances aussi catastrophiques.

Du point de vue qualitatif, pour ne donner qu'un seul exemple, la phrase « Ar yezh ma ra ganti un den a zo anezhi ur bed ma vev ha ma striv ennañ », dont une traduction possible en français est « La langue que quelqu'un pratique est un monde dans lequel il vit et lutte. » est traduite ainsi par ces différents modèles :
m2m100 « C'est le cas d'un homme qui a laissé le coucher, et qui a laissé le coucher. »

+OPAB « La langue dans laquelle elle fait un homme est un monde dans lequel elle vit et s'efforce. »

+OPAB+ARBRES « La langue dans laquelle un homme parle est un monde dans lequel il vit et s'efforce. »

Plus récemment, le système de génération de texte GPT-3.5, annoncé comme ses prédécesseurs comme un apprenant multitâche (Radford et al., 2019) produit la traduction « La langue qu'elle parle est celle d'une personne qui a en elle un monde où elle vit et lutte ». Si cette traduction n'est pas exacte, elle est nettement plus proche de la réalité que celle du m2m100 original. En revanche la traduction dans le sens français→breton de la même phrase donne « An teunga a implij ur vro eo ur bed en e ober a blij ha emdroadur », qui contient un mot inventé (« teunga »), est grammaticalement incorrecte et globalement très éloignée d'une traduction correcte. Des requêtes subséquentes aboutissent à d'autres traductions, toutes erronées, mais toutes délivrées par le modèle avec une certitude absolue.

Cette technologie sûre d'elle-même est reprise et promue par d'autres. Ainsi, un non-locuteur du breton diffuse depuis 2023 un chat construit sur ce même modèle de génération. Le breton diffusé est erratique et propose en page d'accueil de « kregiñ ar c'hat », ce qui est supposé signifier « commencer le chat ». En breton réel cependant, cela peut se traduire par « commencer le "gat" », mot étrange qui peut être compris à la limite comme une forme abrégée d'un nom féminin, soit de « gast » « putain », soit de l'emprunt à l'acronyme anglophone GATT « Accord général sur les tarifs douaniers et le commerce ». Le reste du site et des productions du chat sont de qualité égale. Les promesses du site n'en sont pas moins crucales pour une langue minorisée : « Que vous soyez débutant ou avancé, notre chatbot en breton peut vous aider à progresser. », ou bien « Si vous cherchez à apprendre la langue bretonne ou à améliorer votre niveau, vous êtes au bon endroit. ». Les dégâts potentiels sont considérables. Contacté en 2023 pour l'alerter sur les fautes diffusées, l'auteur n'a pas donné suite et a intégré le GPT store en 2024.

## 2 Est-il possible aux subalternes de parler ?

Comme toute problématique où la dimension de pouvoir est en jeu, l'enjeu central est l'écoute des subalternes (Chakravorty Spivak, 1988), et ce qui est mis en place pour que cette écoute advienne. La communauté internationale ne s'est pas dotée de moyens pour protéger les langues sous-outillées de la publicité mensongère. Or, cette brèche fait des dégâts concrets (pour l'exemple algonquien, voir Junker (2024)). Nous listons ici ces effets, des plus ponctuels aux plus systémiques.

Les outils sont utilisés et promus par des non-locuteurs inconscients de la mauvaise qualité des résultats. Les langues minorisées doivent alors faire face à une nouvelle source de données publiques qui répandent des formes erratiques de la langue. Cela est particulièrement dévastateur pour les langues très dialectalisées, où des locuteurs natifs de dialectes traditionnels peuvent les interpréter comme des formes standard qui leur seraient inconnues, formes à apprendre eux-mêmes et à transmettre.

Ces langues paraissent en surface être raisonnablement outillées, et les politiques linguistiques globales, au niveau des États et des unions d'États, faillissent à appréhender leurs urgences.

Les locuteurs sont mis en conflit d'autorité linguistique avec les outils, les outils de transcription, de synthèse vocale ou de traduction mais aussi et surtout avec les outils de génération de langage, et ne peuvent que subir ce rapport de force inégal. Cela aggrave le sentiment de dépossession et de mise hors puissance qui est par ailleurs caractéristique des locuteurs des langues minorisées.

L'effet pervers le plus systémique est que ces outils vont rester présents dans le contenu du discours publicitaire tant que les communautés parlantes minorisées resteront inaudibles sur la réalité des performances réelles des outils. Conserver cet état de fait est donc dangereux, car il fournit un intérêt durable à des entreprises internationales puissantes de silencier les communautés parlantes qui se trouvent dans des situations sociales fragiles. Laisser le feedback qualitatif à charge des communautés des langues minorisées est une stratégie dont le résultat est prévisible. Cela revient à s'attendre à ce que des locuteurs qui ne sont pas nécessairement bilingues en anglais, rarement universitaires, rarement formés en informatique et linguistique, fassent émerger leurs évaluations sur des plates-formes spécialisées qu'ils auraient identifiés seuls, et lesquelles sont typiquement très peu interactives, dans l'espoir d'être entendus de gens qui y ont un intérêt opposé. Faire ce choix, c'est faire le choix de silencier les communautés parlantes.

Ce qui vaut pour la publicité mensongère des grandes entreprises mondiales vaut par parité d'argument pour la recherche universitaire. Les approches quantitatives qui excluent des stratégies de remontées de validation de la qualité de la part des locuteurs eux-mêmes ne peuvent être valorisées que dans l'exacte mesure où cet état de fait persiste. Conserver cet état de fait implique de donner aux chercheurs développant des approches principalement quantitatives des motivations systémiques durables pour écarter, refuser ou sous-financer des approches incluant des validations qualitatives. Cet effet est d'autant plus redoutable qu'il agit sur le temps long, en sélectionnant à bas bruit la recherche de demain en double aveugle, dans les jurys, les évaluations d'articles et de conférences et les instances de création
m2m100 « C'est le cas d'un homme qui a laissé le coucher, et qui a laissé le coucher. »

+OPAB « La langue dans laquelle elle fait un homme est un monde dans lequel elle vit et s'efforce. »

+OPAB+ARBRES « La langue dans laquelle un homme parle est un monde dans lequel il vit et s'efforce. »

Plus récemment, le système de génération de texte GPT-3.5, annoncé comme ses prédécesseurs comme un apprenant multitâche (Radford et al., 2019) produit la traduction « La langue qu'elle parle est celle d'une personne qui a en elle un monde où elle vit et lutte. ». Si cette traduction n'est pas exacte, elle est nettement plus proche de la réalité que celle du m2m100 original. En revanche la traduction dans le sens français→breton de la même phrase donne « An teunga a implij ur vro eo ur bed en e ober a blij ha emdroadur », qui contient un mot inventé (« teunga »), est grammaticalement incorrecte et globalement très éloignée d'une traduction correcte. Des requêtes subséquentes aboutissent à d'autres traductions, toutes erronées, mais toutes délivrées par le modèle avec une certitude absolue.

Cette technologie sûre d'elle-même est reprise et promue par d'autres. Ainsi, un non-locuteur du breton diffuse depuis 2023 un chat construit sur ce même modèle de génération. Le breton diffusé est erratique et propose en page d'accueil de « kregiñ ar c'hat », ce qui est supposé signifier « commencer le chat ». En breton réel cependant, cela peut se traduire par « commencer le "gat" », mot étrange qui peut être compris à la limite comme une forme abrégée d'un nom féminin, soit de « gast » « putain », soit de l'emprunt à l'acronyme anglophone GATT « Accord général sur les tarifs douaniers et le commerce ». Le reste du site et des productions du chat sont de qualité égale. Les promesses du site n'en sont pas moins crucales pour une langue minorisée : « Que vous soyez débutant ou avancé, notre chatbot en breton peut vous aider à progresser. », ou bien « Si vous cherchez à apprendre la langue bretonne ou à améliorer votre niveau, vous êtes au bon endroit. ». Les dégâts potentiels sont considérables. Contacté en 2023 pour l'alerter sur les fautes diffusées, l'auteur n'a pas donné suite et a intégré le GPT store en 2024.

## 2 Est-il possible aux subalternes de parler ?

Comme toute problématique où la dimension de pouvoir est en jeu, l'enjeu central est l'écoute des subalternes (Chakravorty Spivak, 1988), et ce qui est mis en place pour que cette écoute advienne. La communauté internationale ne s'est pas dotée de moyens pour protéger les langues sous-outillées de la publicité mensongère. Or, cette brèche fait des dégâts concrets (pour l'exemple algonquien, voir Junker (2024)). Nous listons ici ces effets, des plus ponctuels aux plus systémiques.

Les outils sont utilisés et promus par des non-locuteurs inconscients de la mauvaise qualité des résultats. Les langues minorisées doivent alors faire face à une nouvelle source de données publiques qui répandent des formes erratiques de la langue. Cela est particulièrement dévastateur pour les langues très dialectalisées, où des locuteurs natifs de dialectes traditionnels peuvent les interpréter comme des formes standard qui leur seraient inconnues, formes à apprendre eux-mêmes et à transmettre.

Ces langues paraissent en surface être raisonnablement outillées, et les politiques linguistiques globales, au niveau des États et des unions d'États, faillissent à appréhender leurs urgences.

Les locuteurs sont mis en conflit d'autorité linguistique avec les outils, les outils de transcription, de synthèse vocale ou de traduction mais aussi et surtout avec les outils de génération de langage, et ne peuvent que subir ce rapport de force inégal. Cela aggrave le sentiment de dépossession et de mise hors puissance qui est par ailleurs caractéristique des locuteurs des langues minorisées.

L'effet pervers le plus systémique est que ces outils vont rester présents dans le contenu du discours publicitaire tant que les communautés parlantes minorisées resteront inaudibles sur la réalité des performances réelles des outils. Conserver cet état de fait est donc dangereux, car il fournit un intérêt durable à des entreprises internationales puissantes de silencier les communautés parlantes qui se trouvent dans des situations sociales fragiles. Laisser le feedback qualitatif à charge des communautés des langues minorisées est une stratégie dont le résultat est prévisible. Cela revient à s'attendre à ce que des locuteurs qui ne sont pas nécessairement bilingues en anglais, rarement universitaires, rarement formés en informatique et linguistique, fassent émerger leurs évaluations sur des plates-formes spécialisées qu'ils auraient identifiés seuls, et lesquelles sont typiquement très peu interactives, dans l'espoir d'être entendus de gens qui y ont un intérêt opposé. Faire ce choix, c'est faire le choix de silencier les communautés parlantes.

Ce qui vaut pour la publicité mensongère des grandes entreprises mondiales vaut par parité d'argument pour la recherche universitaire. Les approches quantitatives qui excluent des stratégies de remontées de validation de la qualité de la part des locuteurs eux-mêmes ne peuvent être valorisées que dans l'exacte mesure où cet état de fait persiste. Conserver cet état de fait implique de donner aux chercheurs développant des approches principalement quantitatives des motivations systémiques durables pour écarter, refuser ou sous-financer des approches incluant des validations qualitatives. Cet effet est d'autant plus redoutable qu'il agit sur le temps long, en sélectionnant à bas bruit la recherche de demain en double aveugle, dans les jurys, les évaluations d'articles et de conférences et les instances de création
et de fléchage de postes. Cet effet est de plus aggravé dans le domaine scientifique en ces périodes de refonte autour des avancées de l'« intelligence artificielle », car les fondations d'aujourd'hui décident de nos impossibilités de demain.

## 3 Recommandations

Nous recommandons de développer des outils de diffusion des données langagières qui incluent des fonctionnalités d'évaluation des données. Il doit être aisé pour des experts de langue et des linguistes, avec un coût d'entrée technique moindre, de commenter sur la qualité des paquets de données rendues disponibles pour les développeuses et développeurs.

Une telle évaluation n'est cependant qu'un pis-aller tant qu'elle reste externe au développement de données et d'outils, et ne peut être qu'un complément à une réelle intégration des linguistes et des experts de langues à chaque étape de ces processus de développement, et non pas uniquement dans des rôles de consultants ou de subalternes.

## Références

- Chakravorty Spivak, Gayatri (1988). « Can the Subaltern Speak ». In: *Marxism and the Interpretation of Culture*. University of Illinois Press. URL: https://jan.ucc.nau.edu/~sj6/Spivak%20CanTheSubalternSpeak.pdf.

- Fan, Angela et al. (2021). « Beyond English-Centric Multilingual Machine Translation ». In: *The Journal of Machine Learning Research* 22.1 (1er jan. 2021), 107:4839-107:4886. URL: https://dl.acm.org/doi/abs/10.5555/3546258.3546365.

- Jouitteau, Mélanie (2009-2024). ARBRES, Wikigrammaire Des Dialectes Du Breton et Centre de Ressources Pour Son Étude Linguistique Formelle. URL: http://arbres.iker.cnrs.fr.

- Junker, Marie-Odile (2024). « Data-Mining and Extraction : The Gold Rush of AI on Indigenous Languages ». In: *Proceedings of the Seventh Workshop on the Use of Computational Methods in the Study of Endangered Languages*. St. Julians, Malta : Association for Computational Linguistics, mars 2024, p. 52-57. URL: https://aclanthology.org/2024.computel-1.8.

- Post, Matt (2018). « A Call for Clarity in Reporting BLEU Scores ». In: *Proceedings of the Third Conference on Machine Translation : Research Papers*. WMT 2018. Brussels, Belgium : Association for Computational Linguistics, oct. 2018, p. 186-191. DOI: 10.18653/v1/W18-6319. URL: https://aclanthology.org/W18-6319.

- Radford, Alec, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei et Ilya Sutskever (2019). *Language Models Are Unsupervised Multitask Learners*. preprint.

- Tyers, Francis M. (2009). « Rule-Based Augmentation of Training Data in Breton-French Statistical Machine Translation ». In: *Proceedings of the 13th Annual Conference of the European Association for Machine Translation*. EAMT 2009 (Barcelona, España). European Association for Machine Translation, 14 mai 2009. URL: https://aclanthology.org/2009.eamt-1.29.
et de fléchage de postes. Cet effet est de plus aggravé dans le domaine scientifique en ces périodes de refonte autour des avancées de l'« intelligence artificielle », car les fondations d'aujourd'hui décident de nos impossibilités de demain.

## 3 Recommandations

Nous recommandons de développer des outils de diffusion des données langagières qui incluent des fonctionnalités d'évaluation des données. Il doit être aisé pour des experts de langue et des linguistes, avec un coût d'entrée technique moindre, de commenter sur la qualité des paquets de données rendues disponibles pour les développeuses et développeurs.

Une telle évaluation n'est cependant qu'un pis-aller tant qu'elle reste externe au développement de données et d'outils, et ne peut être qu'un complément à une réelle intégration des linguistes et des experts de langues à chaque étape de ces processus de développement, et non pas uniquement dans des rôles de consultants ou de subalternes.

## Références

* Chakravorty Spivak, Gayatri (1988). « Can the Subaltern Speak ». In: *Marxism and the Interpretation of Culture*. University of Illinois Press. URL: https://jan.ucc.nau.edu/~sj6/Spivak%20CanTheSubalternSpeak.pdf.

* Fan, Angela et al. (2021). « Beyond English-Centric Multilingual Machine Translation ». In: *The Journal of Machine Learning Research* 22.1 (1er jan. 2021), 107:4839-107:4886. URL: https://dl.acm.org/doi/abs/10.5555/3546258.3546365.

* Jouitteau, Mélanie (2009-2024). *ARBRES, Wikigrammaire Des Dialectes Du Breton et Centre de Ressources Pour Son Étude Linguistique Formelle*. URL: http://arbres.iker.cnrs.fr.

* Junker, Marie-Odile (2024). « Data-Mining and Extraction : The Gold Rush of AI on Indigenous Languages ». In: *Proceedings of the Seventh Workshop on the Use of Computational Methods in the Study of Endangered Languages*. St. Julians, Malta : Association for Computational Linguistics, mars 2024, p. 52-57. URL: https://aclanthology.org/2024.computel-1.8.

* Post, Matt (2018). « A Call for Clarity in Reporting BLEU Scores ». In: *Proceedings of the Third Conference on Machine Translation : Research Papers*. WMT 2018. Brussels, Belgium : Association for Computational Linguistics, oct. 2018, p. 186-191. DOI: 10.18653/v1/W18-6319. URL: https://aclanthology.org/W18-6319.

* Radford, Alec, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei et Ilya Sutskever (2019). *Language Models Are Unsupervised Multitask Learners*. preprint.

* Tyers, Francis M. (2009). « Rule-Based Augmentation of Training Data in Breton-French Statistical Machine Translation ». In: *Proceedings of the 13th Annual Conference of the European Association for Machine Translation*. EAMT 2009 (Barcelona, España). European Association for Machine Translation, 14 mai 2009. URL: https://aclanthology.org/2009.eamt-1.29.
NORMALISER L'IA, UNE RÉPONSE AU DILEMME ÉTHIQUE
DES INDUSTRIELS DE LA LANGUE

Hugues de Mazancourt*

APIL

Datapolitics

hugues@mazancourt.com

Alain Couillault †

APIL

alain.couillault@apil-asso.fr

29 mars 2024

# 1 Introduction

Créée en 2001, l'Association Française des Industries de la Langue (APIL) vise à rassembler les acteurs industriels du traitement automatique des langues. Parmi ses actions, l'APIL contribue à des projets d'innovation nationaux ou multinationaux, participe à différents événements au sein de l'écosystème français et propose la plateforme Demotal (https://www.demotal.fr) qui vulgarise les solutions du TAL.

Elle organise également des *meet-ups* lors desquels ses membres se rencontrent autour de différents sujets liés aux industries de la langue.

Ce texte tente de rassembler les fruits des discussions entre industriels, et vise à présenter leurs attentes en matière de normalisation.

# 2 Motivation

L'Europe, à travers notamment des textes comme le Règlement Général pour la Protection des Données (RGPD) 3 ou l'Artificial Intelligence ACT (AI-ACT) 4 a basé la réglementation de l'intelligence artificielle pour une grande part sur des considérations éthiques : respect de la vie privée, du consentement ou des droits des enfants notamment.

Concernant l'AI ACT, l'Union Européenne a choisi de faire reposer sa réglementation sur l'élaboration de normes harmonisées 5 qui seront rendues obligatoires par ces textes, de sorte que contribuer à l'élaboration des normes participe à l'élaboration d'une réglementation européenne plus éthique.

Les LLM sont devenus incontournables dans l'offre des acteurs du Traitement automatique des langues, non seulement du fait de leur efficacité, mais également parce qu'ils sont entrés dans le discours des clients, des investisseurs, et même du grand public.

L'apparition des LLM dans les solutions de traitement de la langue n'est pas neutre pour un industriel, en particulier du point de vue du respect de l'éthique.

La promesse (technique) des grands modèles de langue est séduisante : prendre un modèle existant, entraîné (à des coûts qui deviennent astronomiques sur des architectures tierces) afin qu'il intègre les généralités de la langue. Ensuite ce modèle est affiné (fine-tuned) sur des données spécifiques à la tâche. On parle de Modèles de Fondation. Mais la mise en œuvre est plus complexe. Nous allons présenter quelques facettes de cet état des choses. Une première réflexion portera sur les données d'entraînement et leur traçabilité, nous aborderons ensuite le point de vue des utilisateurs et le foisonnement des contraintes légales, puis nous considérerons l'encadrement par la loi.

# 3 Données d'entraînement et traçabilité

L'utilisation massive de données textuelles pour l'entraînement des modèles soulève la question de la traçabilité. Cette question date de l'avènement de l'apprentissage machine dans le TAL, et se pose avec d'autant plus d'acuité que les systèmes sont gourmands en données. Il a été abordé dans le cadre de la Charte Ethique et Big Data [5] et peut se résumer dans la question : "d'où viennent mes données et a quoi servent-elles ?".

S'agissant des corpus d'entraînement, on peut entraîner un modèle sur des données brutes, souvent difficiles à obtenir dans un contexte d'application précis. On peut également, grâce à des modèles de langue, effectuer une augmentation de données [10], [22]. Réaliser des données synthétiques peut éviter les questions de copyright sur les sources (récemment

<footnote>*Président de l'APIL et Chief Technical Officer de Datapolitics</footnote>

<footnote>†Directeur APIL et Président ISO/IEC JTC1 SC35 Interfaces utilisateurs</footnote>

<footnote n="3">3. https://www.cnil.fr/fr/reglement-europeen-protection-donnees</footnote>

<footnote n="4">4. https://www.europarl.europa.eu/topics/en/article/20230601ST093804/eu-ai-act-first-regulation-on-artificial-intelli</footnote>

<footnote n="5">5. https://artificialintelligenceact.eu/fr/definition-des-normes/</footnote>
NORMALISER L'IA, UNE RÉPONSE AU DILEMME ÉTHIQUE
DES INDUSTRIELS DE LA LANGUE

Hugues de Mazancourt*

APIL

Datapolitics

hugues@mazancourt.com

Alain Couillault †

APIL

alain.couillault@apil-asso.fr

29 mars 2024

# 1 Introduction

Créée en 2001, l'Association Française des Industries de la Langue (APIL) vise à rassembler les acteurs industriels du traitement automatique des langues. Parmi ses actions, l'APIL contribue à des projets d'innovation nationaux ou multinationaux, participe à différents événements au sein de l'écosystème français et propose la plateforme Demotal (https://www.demotal.fr) qui vulgarise les solutions du TAL.

Elle organise également des *meet-ups* lors desquels ses membres se rencontrent autour de différents sujets liés aux industries de la langue.

Ce texte tente de rassembler les fruits des discussions entre industriels, et vise à présenter leurs attentes en matière de normalisation.

# 2 Motivation

L'Europe, à travers notamment des textes comme le Règlement Général pour la Protection des Données (RGPD) 3 ou l'Artificial Intelligence ACT (AI-ACT) 4 a basé la réglementation de l'intelligence artificielle pour une grande part sur des considérations éthiques : respect de la vie privée, du consentement ou des droits des enfants notamment.

Concernant l'AI ACT, l'Union Européenne a choisi de faire reposer sa réglementation sur l'élaboration de normes harmonisées 5 qui seront rendues obligatoires par ces textes, de sorte que contribuer à l'élaboration des normes participe à l'élaboration d'une réglementation européenne plus éthique.

Les LLM sont devenus incontournables dans l'offre des acteurs du Traitement automatique des langues, non seulement du fait de leur efficacité, mais également parce qu'ils sont entrés dans le discours des clients, des investisseurs, et même du grand public.

L'apparition des LLM dans les solutions de traitement de la langue n'est pas neutre pour un industriel, en particulier du point de vue du respect de l'éthique.

La promesse (technique) des grands modèles de langue est séduisante : prendre un modèle existant, entraîné (à des coûts qui deviennent astronomiques sur des architectures tierces) afin qu'il intègre les généralités de la langue. Ensuite ce modèle est affiné (fine-tuned) sur des données spécifiques à la tâche. On parle de Modèles de Fondation. Mais la mise en œuvre est plus complexe. Nous allons présenter quelques facettes de cet état des choses. Une première réflexion portera sur les données d'entraînement et leur traçabilité, nous aborderons ensuite le point de vue des utilisateurs et le foisonnement des contraintes légales, puis nous considérerons l'encadrement par la loi.

# 3 Données d'entraînement et traçabilité

L'utilisation massive de données textuelles pour l'entraînement des modèles soulève la question de la traçabilité. Cette question date de l'avènement de l'apprentissage machine dans le TAL, et se pose avec d'autant plus d'acuité que les systèmes sont gourmands en données. Il a été abordé dans le cadre de la Charte Ethique et Big Data [5] et peut se résumer dans la question : "d'où viennent mes données et a quoi servent-elles ?".

S'agissant des corpus d'entraînement, on peut entraîner un modèle sur des données brutes, souvent difficiles à obtenir dans un contexte d'application précis. On peut également, grâce à des modèles de langue, effectuer une augmentation de données [10], [22]. Réaliser des données synthétiques peut éviter les questions de copyright sur les sources (récemment

<footnote>*Président de l'APIL et Chief Technical Officer de Datapolitics</footnote>

<footnote>†Directeur APIL et Président ISO/IEC JTC1 SC35 Interfaces utilisateurs</footnote>

<footnote n="3">3. https://www.cnil.fr/fr/reglement-europeen-protection-donnees</footnote>

<footnote n="4">4. https://www.europarl.europa.eu/topics/en/article/20230601ST093804/eu-ai-act-first-regulation-on-artificial-intelli</footnote>

<footnote n="5">5. https://artificialintelligenceact.eu/fr/definition-des-normes/</footnote>
mis en lumière par le procès New York Times vs OpenAI 6), de respect de données privées ou de manque d'éthique des pratiques de collecte/annotation [7].

D'un point de vue industriel, le lignage, enregistrant les traitements appliqués aux données d'entraînement, est rarement explicite, en particulier dans les modèles de fondation. Si de nombreux travaux ont été faits en TAL sur le contenu des corpus et la formalisation des annotations, la traçabilité y est rarement un enjeu. Malgré les efforts significatifs des communautés open-source et académiques [21], il demeure encore difficile de qualifier un corpus d'entraînement, autant en terme d'éthique (analyse de toxicité [17]) que d'applications, sauf à le calibrer de manière empirique [20]. Afin de remédier à ce problème, et même s'il demeure impossible de lier terme à terme les propriétés d'un modèle aux données exactes qui les impulsent, de plus en plus de travaux s'attachent à créer des typologies de données pour évaluer l'impact de leurs qualités et distributions sur les propriétés des modèles qu'ils sous-tendent [13], [4], [14], [6]. Une réflexion et un encadrement par la norme en faveur de la traçabilité des données à travers les différentes étapes de modélisation [11] faciliterait la maîtrise industrielle de ces modèles.

# 4 Les attentes des utilisateurs : un foisonnement légal

Les services légaux s'impliquent de plus en plus dans les processus d'achats de logiciels. Le phénomène, qui a commencé aux État-Unis (qui sont aussi un marché pour les éditeurs français) touche aujourd'hui l'Europe. Les points soulevés par ces services sont divers et peuvent se traduire par une expression de besoin de conformité sur les aspects suivants.

## 4.1 Garantie de conformité légale

Dans les faits, si un système est basé sur un LLM commercial, voire open-weight, il est aujourd'hui impossible d'assurer qu'il n'intègre pas de données sous droit d'auteur. S'il existe aujourd'hui des initiatives 7 et des modèles intégralement open-source [2], [9], [16], ils plaident plutôt en faveur d'un cadre commun de développement de cette technologie, leurs capacités demeurant en deçà de l'Etat de l'Art, et leur usage en production nécessite un investissement complémentaire important.

## 4.2 Garanties de qualité

Il a été prouvé que l'hallucination est consubstantielle aux LLM tels qu'ils existent aujourd'hui (transformers entraînés à prédire le token suivant [12]). Il existe aujourd'hui de nombreuses recherches pour optimiser les techniques de génération sous contrainte [8], mais celles ci sont encore en développement.

## 4.3 Garanties de service

Sans une garantie de service, les offres commerciales peuvent se révéler particulièrement opaques et conduire à des changements implicites de comportement du modèle au cours du temps, sans que les clients en soient avertis [3]. Cette garantie de service est aujourd'hui difficile à calibrer pour le fournisseur d'IA générative, l'augmentation des performances globales pouvant par ailleurs significativement dégrader les performances locales sur des cas d'usage particuliers. Elle réclamerait l'adoption de standards par la communauté des développeurs d'IA [19].

## 4.4 Autres garanties

De manière ponctuelle, d'autres garanties peuvent être demandées par les contractants comme la sobriété carbone ou la souveraineté. Concernant l'empreinte carbone des modèles de langue, si le coût carbone (ou du moins la consommation énergétique) à l'entraînement des LLM est de plus en plus souvent calculée et affichée par les producteurs, les approches considérant l'intégralité du cycle de vie des modèles, incluant en particulier leurs usages en production, restent encore à développer [15], [18].

Ces contraintes ne sont dans les faits essentiellement présentes que dans les dossiers de demandes de subventions publiques, anecdotiquement dans des offres de marchés publics. Leur expression se limite généralement à la difficulté de quantifier ces contraintes. Mais nul doute que cet aspect va se renforcer, en particulier via le reporting extra-financier, qui formalise le bilan RSE d'une entreprise et a vocation à s'étendre à toutes les entreprises, y compris les PME.

## 4.5 Répondre aux attentes

Si on devait exprimer ces contraintes en termes de développement logiciel, elles se traduiraient par une demande de garantie de conformité totale, autrement dit : "assurez-moi que votre produit ne comporte aucun bug". On sait qu'elle est impossible à tenir dans le logiciel en général et des procédures existent pour contraindre les comportements et gérer les anomalies, avec pénalités éventuelles. En dehors du cadre des standards du logiciel, l'accélération actuelle autour

<footnote n="6">6. https://www.nytimes.com/2023/12/27/business/media/new-york-times-open-ai-microsoft-lawsuit.html</footnote>

<footnote n="7">7. https://www.openllm-france.fr</footnote>
mis en lumière par le procès New York Times vs OpenAI 6), de respect de données privées ou de manque d'éthique des pratiques de collecte/annotation [7].

D'un point de vue industriel, le lignage, enregistrant les traitements appliqués aux données d'entraînement, est rarement explicite, en particulier dans les modèles de fondation. Si de nombreux travaux ont été faits en TAL sur le contenu des corpus et la formalisation des annotations, la traçabilité y est rarement un enjeu. Malgré les efforts significatifs des communautés open-source et académiques [21], il demeure encore difficile de qualifier un corpus d'entraînement, autant en terme d'éthique (analyse de toxicité [17]) que d'applications, sauf à le calibrer de manière empirique [20]. Afin de remédier à ce problème, et même s'il demeure impossible de lier terme à terme les propriétés d'un modèle aux données exactes qui les impulsent, de plus en plus de travaux s'attachent à créer des typologies de données pour évaluer l'impact de leurs qualités et distributions sur les propriétés des modèles qu'ils sous-tendent [13], [4], [14], [6]. Une réflexion et un encadrement par la norme en faveur de la traçabilité des données à travers les différentes étapes de modélisation [11] faciliterait la maîtrise industrielle de ces modèles.

# 4 Les attentes des utilisateurs : un foisonnement légal

Les services légaux s'impliquent de plus en plus dans les processus d'achats de logiciels. Le phénomène, qui a commencé aux État-Unis (qui sont aussi un marché pour les éditeurs français) touche aujourd'hui l'Europe. Les points soulevés par ces services sont divers et peuvent se traduire par une expression de besoin de conformité sur les aspects suivants.

## 4.1 Garantie de conformité légale

Dans les faits, si un système est basé sur un LLM commercial, voire open-weight, il est aujourd'hui impossible d'assurer qu'il n'intègre pas de données sous droit d'auteur. S'il existe aujourd'hui des initiatives 7 et des modèles intégralement open-source [2], [9], [16], ils plaident plutôt en faveur d'un cadre commun de développement de cette technologie, leurs capacités demeurant en deçà de l'Etat de l'Art, et leur usage en production nécessite un investissement complémentaire important.

## 4.2 Garanties de qualité

Il a été prouvé que l'hallucination est consubstantielle aux LLM tels qu'ils existent aujourd'hui (transformers entraînés à prédire le token suivant [12]). Il existe aujourd'hui de nombreuses recherches pour optimiser les techniques de génération sous contrainte [8], mais celles ci sont encore en développement.

## 4.3 Garanties de service

Sans une garantie de service, les offres commerciales peuvent se révéler particulièrement opaques et conduire à des changements implicites de comportement du modèle au cours du temps, sans que les clients en soient avertis [3]. Cette garantie de service est aujourd'hui difficile à calibrer pour le fournisseur d'IA générative, l'augmentation des performances globales pouvant par ailleurs significativement dégrader les performances locales sur des cas d'usage particuliers. Elle réclamerait l'adoption de standards par la communauté des développeurs d'IA [19].

## 4.4 Autres garanties

De manière ponctuelle, d'autres garanties peuvent être demandées par les contractants comme la sobriété carbone ou la souveraineté. Concernant l'empreinte carbone des modèles de langue, si le coût carbone (ou du moins la consommation énergétique) à l'entraînement des LLM est de plus en plus souvent calculée et affichée par les producteurs, les approches considérant l'intégralité du cycle de vie des modèles, incluant en particulier leurs usages en production, restent encore à développer [15], [18].

Ces contraintes ne sont dans les faits essentiellement présentes que dans les dossiers de demandes de subventions publiques, anecdotiquement dans des offres de marchés publics. Leur expression se limite généralement à la difficulté de quantifier ces contraintes. Mais nul doute que cet aspect va se renforcer, en particulier via le reporting extra-financier, qui formalise le bilan RSE d'une entreprise et a vocation à s'étendre à toutes les entreprises, y compris les PME.

## 4.5 Répondre aux attentes

Si on devait exprimer ces contraintes en termes de développement logiciel, elles se traduiraient par une demande de garantie de conformité totale, autrement dit : "assurez-moi que votre produit ne comporte aucun bug". On sait qu'elle est impossible à tenir dans le logiciel en général et des procédures existent pour contraindre les comportements et gérer les anomalies, avec pénalités éventuelles. En dehors du cadre des standards du logiciel, l'accélération actuelle autour

<footnote n="6">6. https://www.nytimes.com/2023/12/27/business/media/new-york-times-open-ai-microsoft-lawsuit.html</footnote>

<footnote n="7">7. https://www.openllm-france.fr</footnote>
des LLM crée un risque juridique pour les entreprises du TAL, sommées de respecter des contraintes impossibles à tenir et tout aussi impossibles à réfuter.

Il paraît donc nécessaire de trouver un terrain d'entente entre ces contraintes : celles de l'industriel utilisant des LLM dans son offre commerciale, celles des clients exprimées à travers leurs services juridiques, afin de favoriser l'adoption en normalisant l'offre technologique.

## 5 L'encadrement par la loi, où en est l'AI ACT

Une solution à l'ensemble des problèmes indiqués peut venir de la réglementation, de préférence européenne. L'AI Act est désormais définitif. Il est basé sur le risque qu'implique l'utilisation d'un système d'IA : plus le risque est élevé, plus les contraintes le sont.

L'essentiel des industriels de l'APIL est en risque "faible" : traduction, veille, assistants vocaux ou textuels ne sont pas considérés comme risqués dans leur utilisation. Les modèles open-source sont exonérés, dans cette catégorie, de la plupart des obligations. La notion de modèle open-source est plutôt large puisqu'elle désigne les modèles dont l'architecture et les poids sont publiés. On parlera plus volontiers dans ce cas de "open weight", l'open source véritable incluant en plus la mise à disposition des corpus d'apprentissage et du code.

Quoi qu'il en soit, les droits d'auteur sur les données d'entraînement s'appliquent explicitement sur toutes les catégories de modèles, sauf à s'inscrire dans l'exception européenne de text and data mining. Il n'y a cependant à date pas encore de décision de justice interprétant cette exception. Donc même avec l'AI Act, l'alternative, pour un industriel désirant baser son produit sur un LLM tout en minimisant le risque juridique semble se situer aujourd'hui entre :

- utiliser un modèle commercial dont le fournisseur s'engage à prendre à sa charge le risque juridique, comme Microsoft ("[Microsoft] commits to defend [its] customers and pay for any adverse judgments if they are sued for copyright infringement"<fnref n="8" />),

- entraîner depuis le début un modèle de langue spécifiquement pour son besoin, opération très consommatrice de ressources, à la fois en termes de plateforme de calcul (et donc d'empreinte carbone) et en termes de données.

## 6 Favoriser l'éthique, quels leviers ?

Les industriels intègrent généralement l'éthique comme un composant des arguments économiques ou juridiques. Ici, ces deux arguments se rejoignent, car bâtir une offre logicielle sur un LLM est aujourd'hui à la fois cher et risqué.

Les industriels ont intégré les LLM comme un composant parmi d'autres dans la palette d'outils disponibles. Ils possèdent, sauf pour les nouveaux entrants, des composants de TAL qui fonctionnent raisonnablement bien et qui ne seraient pas révolutionnés en les remplaçant par des LLM. A contrario, les LLM sont fréquemment mis à profit dans de nouvelles fonctionnalités des produits existants, en témoigne par exemple la popularité grandissante du Retrieval Augmented Generation (RAG) : un fournisseur d'information, un traducteur, un résumeur pourra ajouter au cœur de son offre une fonction "chat with your data". Une autre utilisation majeure réside dans la fabrication, l'amélioration des données pour une chaîne de traitement existante, plus traditionnelle et basée sur l'apprentissage.

En cela, on peut dire que le monde industriel reste prudent dans la mise en œuvre des LLM. Mais la redoutable efficacité de ces composants viendra nécessairement à bout de l'inertie du code existant.

## 7 Ethique, régulation et normes

Il reste à espérer que les questions posées ci-dessus trouveront un début de réponse avant cette échéance, et que les initiatives de normalisation et de régulation permettront l'émergence d'une intelligence artificielle plus éthique. Cet espoir est conforté par les différentes initiatives en cours, outre l'AI-Act déjà mentionné, le Comité Européen pour la Normalisation (CEN), le Comité Européen pour la Normalisation en Electronique et en Electrotechnique (CENELEC), ainsi que l'Institut International des Standards (ISO) ont défini des objectifs communs de soutenabilité (Sustainable Development Goals)<fnref n="9" /> qui incluent des considérations à la croisée des préoccupations présentées ici, notamment les objectifs 9 (Industry, innovation and infrastructure), 12 (Responsible consumption and production) et 13 (Climate action).

On le voit, le mouvement pour des solutions plus éthiques via la régulation et la normalisation est amorcé. Avec les acteurs de la recherche [1], les industriels français du TAL sont prêts à participer à ce mouvement.

<footnote n="8">8. https://blogs.microsoft.com/on-the-issues/2023/09/07/copilot-copyright-commitment-ai-legal-concerns/</footnote>

<footnote n="9">9. https://www.cencenelec.eu/european-standardization/sustainable-development-goals-sdgs/</footnote>
des LLM crée un risque juridique pour les entreprises du TAL, sommées de respecter des contraintes impossibles à tenir et tout aussi impossibles à réfuter.

Il paraît donc nécessaire de trouver un terrain d'entente entre ces contraintes : celles de l'industriel utilisant des LLM dans son offre commerciale, celles des clients exprimées à travers leurs services juridiques, afin de favoriser l'adoption en normalisant l'offre technologique.

## 5 L'encadrement par la loi, où en est l'AI ACT

Une solution à l'ensemble des problèmes indiqués peut venir de la réglementation, de préférence européenne. L'AI Act est désormais définitif. Il est basé sur le risque qu'implique l'utilisation d'un système d'IA : plus le risque est élevé, plus les contraintes le sont.

L'essentiel des industriels de l'APIL est en risque "faible" : traduction, veille, assistants vocaux ou textuels ne sont pas considérés comme risqués dans leur utilisation. Les modèles open-source sont exonérés, dans cette catégorie, de la plupart des obligations. La notion de modèle open-source est plutôt large puisqu'elle désigne les modèles dont l'architecture et les poids sont publiés. On parlera plus volontiers dans ce cas de "open weight", l'open source véritable incluant en plus la mise à disposition des corpus d'apprentissage et du code.

Quoi qu'il en soit, les droits d'auteur sur les données d'entraînement s'appliquent explicitement sur toutes les catégories de modèles, sauf à s'inscrire dans l'exception européenne de text and data mining. Il n'y a cependant à date pas encore de décision de justice interprétant cette exception. Donc même avec l'AI Act, l'alternative, pour un industriel désirant baser son produit sur un LLM tout en minimisant le risque juridique semble se situer aujourd'hui entre :

- utiliser un modèle commercial dont le fournisseur s'engage à prendre à sa charge le risque juridique, comme Microsoft ("[Microsoft] commits to defend [its] customers and pay for any adverse judgments if they are sued for copyright infringement"<fnref n="8" />),

- entraîner depuis le début un modèle de langue spécifiquement pour son besoin, opération très consommatrice de ressources, à la fois en termes de plateforme de calcul (et donc d'empreinte carbone) et en termes de données.

## 6 Favoriser l'éthique, quels leviers ?

Les industriels intègrent généralement l'éthique comme un composant des arguments économiques ou juridiques. Ici, ces deux arguments se rejoignent, car bâtir une offre logicielle sur un LLM est aujourd'hui à la fois cher et risqué.

Les industriels ont intégré les LLM comme un composant parmi d'autres dans la palette d'outils disponibles. Ils possèdent, sauf pour les nouveaux entrants, des composants de TAL qui fonctionnent raisonnablement bien et qui ne seraient pas révolutionnés en les remplaçant par des LLM. A contrario, les LLM sont fréquemment mis à profit dans de nouvelles fonctionnalités des produits existants, en témoigne par exemple la popularité grandissante du Retrieval Augmented Generation (RAG) : un fournisseur d'information, un traducteur, un résumeur pourra ajouter au cœur de son offre une fonction "chat with your data". Une autre utilisation majeure réside dans la fabrication, l'amélioration des données pour une chaîne de traitement existante, plus traditionnelle et basée sur l'apprentissage.

En cela, on peut dire que le monde industriel reste prudent dans la mise en œuvre des LLM. Mais la redoutable efficacité de ces composants viendra nécessairement à bout de l'inertie du code existant.

## 7 Ethique, régulation et normes

Il reste à espérer que les questions posées ci-dessus trouveront un début de réponse avant cette échéance, et que les initiatives de normalisation et de régulation permettront l'émergence d'une intelligence artificielle plus éthique. Cet espoir est conforté par les différentes initiatives en cours, outre l'AI-Act déjà mentionné, le Comité Européen pour la Normalisation (CEN), le Comité Européen pour la Normalisation en Electronique et en Electrotechnique (CENELEC), ainsi que l'Institut International des Standards (ISO) ont défini des objectifs communs de soutenabilité (Sustainable Development Goals)<fnref n="9" /> qui incluent des considérations à la croisée des préoccupations présentées ici, notamment les objectifs 9 (Industry, innovation and infrastructure), 12 (Responsible consumption and production) et 13 (Climate action).

On le voit, le mouvement pour des solutions plus éthiques via la régulation et la normalisation est amorcé. Avec les acteurs de la recherche [1], les industriels français du TAL sont prêts à participer à ce mouvement.

<footnote n="8">8. https://blogs.microsoft.com/on-the-issues/2023/09/07/copilot-copyright-commitment-ai-legal-concerns/</footnote>

<footnote n="9">9. https://www.cencenelec.eu/european-standardization/sustainable-development-goals-sdgs/</footnote>
# 8 Remerciements

Nous tenons à remercier l'ensemble des professionnels de l'APIL, et en particulier Dominique Mariko pour ces échanges fructueux.

## Références

[1] Lauriane Aufrant. Is NLP ready for standardization? In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, pages 2785–2800, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[2] Stella Biderman, Hailey Schoelkopf, Quentin Anthony, Herbie Bradley, Kyle O'Brien, Eric Hallahan, Mohammad Aflah Khan, Shivanshu Purohit, USVSN Sai Prashanth, Edward Raff, Aviya Skowron, Lintang Sutawika, and Oskar Van Der Wal. Pythia: a suite for analyzing large language models across training and scaling. In Proceedings of the 40th International Conference on Machine Learning, ICML'23. JMLR.org, 2023.

[3] Lingjiao Chen, Matei Zaharia, and James Zou. How is chatgpt's behavior changing over time?, 2023.

[4] Mayee Chen, Nicholas Roberts, Kush Bhatia, Jue WANG, Ce Zhang, Frederic Sala, and Christopher Ré. Skill-it! a data-driven skills framework for understanding and training language models. In A. Oh, T. Neumann, A. Globerson, K. Saenko, M. Hardt, and S. Levine, editors, Advances in Neural Information Processing Systems, volume 36, pages 36000–36040. Curran Associates, Inc., 2023.

[5] Alain Couillault and Karen Fort. Charte Éthique et Big Data: parce que mon corpus le vaut bien! In Linguistique, Langues et Parole: Statuts, Usages et Mésusages, page 4, Strasbourg, France, July 2013. 4 pages.

[6] Manuel Faysse, Patrick Fernandes, Nuno M. Guerreiro, António Loison, Duarte M. Alves, Caio Corro, Nicolas Boizard, João Alves, Ricardo Rei, Pedro H. Martins, Antoni Bigata Casademunt, François Yvon, André F. T. Martins, Gautier Viaud, Céline Hudelot, and Pierre Colombo. Croissantllm: A truly bilingual french-english language model, 2024.

[7] Karen Fort, Gilles Adda, and Kevin Bretonnel Cohen. Amazon Mechanical Turk: Gold Mine or Coal Mine? Computational Linguistics, 37(2):413–420, April 2011.

[8] Saibo Geng, Martin Josifoski, Maxime Peyrard, and Robert West. Grammar-constrained decoding for structured NLP tasks without finetuning. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pages 10932–10952, Singapore, December 2023. Association for Computational Linguistics.

[9] Dirk Groeneveld, Iz Beltagy, Pete Walsh, Akshita Bhagia, Rodney Kinney, Oyvind Tafjord, Ananya Harsh Jha, Hamish Ivison, Ian Magnusson, Yizhong Wang, Shane Arora, David Atkinson, Russell Authur, Khyathi Raghavi Chandu, Arman Cohan, Jennifer Dumas, Yanai Elazar, Yuling Gu, Jack Hessel, Tushar Khot, William Merrill, Jacob Morrison, Niklas Muennighoff, Aakanksha Naik, Crystal Nam, Matthew E. Peters, Valentina Pyatkin, Abhilasha Ravichander, Dustin Schwenk, Saurabh Shah, Will Smith, Emma Strubell, Nishant Subramani, Mitchell Wortsman, Pradeep Dasigi, Nathan Lambert, Kyle Richardson, Luke Zettlemoyer, Jesse Dodge, Kyle Lo, Luca Soldaini, Noah A. Smith, and Hannaneh Hajishirzi. Olmo: Accelerating the science of language models, 2024.

[10] Suriya Gunasekar, Yi Zhang, Jyoti Aneja, Caio César Teodoro Mendes, Allie Del Giorno, Sivakanth Gopi, Mojan Javaheripi, Piero Kauffmann, Gustavo de Rosa, Olli Saarikivi, Adil Salim, Shital Shah, Harkirat Singh Behl, Xin Wang, Sébastien Bubeck, Ronen Eldan, Adam Tauman Kalai, Yin Tat Lee, and Yuanzhi Li. Textbooks are all you need, 2023.

[11] Yacine Jernite, Huu Nguyen, Stella Biderman, Anna Rogers, Maraim Masoud, Valentin Danchev, Samson Tan, Alexandra Sasha Luccioni, Nishant Subramani, Isaac Johnson, Gerard Dupont, Jesse Dodge, Kyle Lo, Zeerak Talat, Dragomir Radev, Aaron Gokaslan, Somaieh Nikpoor, Peter Henderson, Rishi Bommasani, and Margaret Mitchell. Data governance in the age of large-scale data-driven language technology. In Proceedings of the 2022 ACM Conference on Fairness, Accountability, and Transparency, FAccT '22, page 2206–2222, New York, NY, USA, 2022. Association for Computing Machinery.

[12] Adam Tauman Kalai and Santosh S. Vempala. Calibrated language models must hallucinate, 2023.

[13] Hugo Laurençon, Lucile Saulnier, Thomas Wang, Christopher Akiki, Albert Villanova del Moral, Teven Le Scao, Leandro Von Werra, Chenghao Mou, Eduardo González Ponferrada, Huu Nguyen, Jörg Frohberg, Mario Šaško, Quentin Lhoest, Angelina McMillan-Major, Gerard Dupont, Stella Biderman, Anna Rogers, Loubna Ben allal, Francesco De Toni, Giada Pistilli, Olivier Nguyen, Somaieh Nikpoor, Maraim Masoud, Pierre Colombo, Javier de la Rosa, Paulo Villegas, Tristan Thrush, Shayne Longpre, Sebastian Nagel, Leon Weber, Manuel Muñoz, Jian Zhu, Daniel Van Strien, Zaid Alyafeai, Khalid Almubarak, Minh Chien Vu, Itziar Gonzalez-Dios, Aitor Soroa, Kyle Lo, Manan Dey, Pedro Ortiz Suarez, Aaron Gokaslan, Shamik Bose, David Adelani, Long Phan, Hieu Tran, Ian Yu, Suhas Pai, Jenny Chim, Violette Lepercq, Suzana Ilic, Margaret Mitchell, Sasha Alexandra Luccioni, and Yacine Jernite. The bigscience roots corpus: A 1.6tb composite multilingual dataset. In S. Koyejo,
# 8 Remerciements

Nous tenons à remercier l'ensemble des professionnels de l'APIL, et en particulier Dominique Mariko pour ces échanges fructueux.

## Références

[1] Lauriane Aufrant. Is NLP ready for standardization? In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, pages 2785–2800, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[2] Stella Biderman, Hailey Schoelkopf, Quentin Anthony, Herbie Bradley, Kyle O'Brien, Eric Hallahan, Mohammad Aflah Khan, Shivanshu Purohit, USVSN Sai Prashanth, Edward Raff, Aviya Skowron, Lintang Sutawika, and Oskar Van Der Wal. Pythia: a suite for analyzing large language models across training and scaling. In Proceedings of the 40th International Conference on Machine Learning, ICML'23. JMLR.org, 2023.

[3] Lingjiao Chen, Matei Zaharia, and James Zou. How is chatgpt's behavior changing over time?, 2023.

[4] Mayee Chen, Nicholas Roberts, Kush Bhatia, Jue WANG, Ce Zhang, Frederic Sala, and Christopher Ré. Skill-it! a data-driven skills framework for understanding and training language models. In A. Oh, T. Neumann, A. Globerson, K. Saenko, M. Hardt, and S. Levine, editors, Advances in Neural Information Processing Systems, volume 36, pages 36000–36040. Curran Associates, Inc., 2023.

[5] Alain Couillault and Karen Fort. Charte Éthique et Big Data : parce que mon corpus le vaut bien ! In Linguistique, Langues et Parole: Statuts, Usages et Mésusages, page 4, Strasbourg, France, July 2013. 4 pages.

[6] Manuel Faysse, Patrick Fernandes, Nuno M. Guerreiro, António Loison, Duarte M. Alves, Caio Corro, Nicolas Boizard, João Alves, Ricardo Rei, Pedro H. Martins, Antoni Bigata Casademunt, François Yvon, André F. T. Martins, Gautier Viaud, Céline Hudelot, and Pierre Colombo. Croissantllm: A truly bilingual french-english language model, 2024.

[7] Karen Fort, Gilles Adda, and Kevin Bretonnel Cohen. Amazon Mechanical Turk: Gold Mine or Coal Mine? Computational Linguistics, 37(2):413–420, April 2011.

[8] Saibo Geng, Martin Josifoski, Maxime Peyrard, and Robert West. Grammar-constrained decoding for structured NLP tasks without finetuning. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pages 10932–10952, Singapore, December 2023. Association for Computational Linguistics.

[9] Dirk Groeneveld, Iz Beltagy, Pete Walsh, Akshita Bhagia, Rodney Kinney, Oyvind Tafjord, Ananya Harsh Jha, Hamish Ivison, Ian Magnusson, Yizhong Wang, Shane Arora, David Atkinson, Russell Authur, Khyathi Raghavi Chandu, Arman Cohan, Jennifer Dumas, Yanai Elazar, Yuling Gu, Jack Hessel, Tushar Khot, William Merrill, Jacob Morrison, Niklas Muennighoff, Aakanksha Naik, Crystal Nam, Matthew E. Peters, Valentina Pyatkin, Abhilasha Ravichander, Dustin Schwenk, Saurabh Shah, Will Smith, Emma Strubell, Nishant Subramani, Mitchell Wortsman, Pradeep Dasigi, Nathan Lambert, Kyle Richardson, Luke Zettlemoyer, Jesse Dodge, Kyle Lo, Luca Soldaini, Noah A. Smith, and Hannaneh Hajishirzi. Olmo: Accelerating the science of language models, 2024.

[10] Suriya Gunasekar, Yi Zhang, Jyoti Aneja, Caio César Teodoro Mendes, Allie Del Giorno, Sivakanth Gopi, Mojan Javaheripi, Piero Kauffmann, Gustavo de Rosa, Olli Saarikivi, Adil Salim, Shital Shah, Harkirat Singh Behl, Xin Wang, Sébastien Bubeck, Ronen Eldan, Adam Tauman Kalai, Yin Tat Lee, and Yuanzhi Li. Textbooks are all you need, 2023.

[11] Yacine Jernite, Huu Nguyen, Stella Biderman, Anna Rogers, Maraim Masoud, Valentin Danchev, Samson Tan, Alexandra Sasha Luccioni, Nishant Subramani, Isaac Johnson, Gerard Dupont, Jesse Dodge, Kyle Lo, Zeerak Talat, Dragomir Radev, Aaron Gokaslan, Somaieh Nikpoor, Peter Henderson, Rishi Bommasani, and Margaret Mitchell. Data governance in the age of large-scale data-driven language technology. In Proceedings of the 2022 ACM Conference on Fairness, Accountability, and Transparency, FAccT '22, page 2206–2222, New York, NY, USA, 2022. Association for Computing Machinery.

[12] Adam Tauman Kalai and Santosh S. Vempala. Calibrated language models must hallucinate, 2023.

[13] Hugo Laurençon, Lucile Saulnier, Thomas Wang, Christopher Akiki, Albert Villanova del Moral, Teven Le Scao, Leandro Von Werra, Chenghao Mou, Eduardo González Ponferrada, Huu Nguyen, Jörg Frohberg, Mario Šaško, Quentin Lhoest, Angelina McMillan-Major, Gerard Dupont, Stella Biderman, Anna Rogers, Loubna Ben allal, Francesco De Toni, Giada Pistilli, Olivier Nguyen, Somaieh Nikpoor, Maraim Masoud, Pierre Colombo, Javier de la Rosa, Paulo Villegas, Tristan Thrush, Shayne Longpre, Sebastian Nagel, Leon Weber, Manuel Muñoz, Jian Zhu, Daniel Van Strien, Zaid Alyafeai, Khalid Almubarak, Minh Chien Vu, Itziar Gonzalez-Dios, Aitor Soroa, Kyle Lo, Manan Dey, Pedro Ortiz Suarez, Aaron Gokaslan, Shamik Bose, David Adelani, Long Phan, Hieu Tran, Ian Yu, Suhas Pai, Jenny Chim, Violette Lepercq, Suzana Ilic, Margaret Mitchell, Sasha Alexandra Luccioni, and Yacine Jernite. The bigscience roots corpus: A 1.6tb composite multilingual dataset. In S. Koyejo, 2023.
S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, *Advances in Neural Information Processing Systems*, volume 35, pages 31809–31826. Curran Associates, Inc., 2022.

[14] Conglong Li, Zhewei Yao, Xiaoxia Wu, Minjia Zhang, Connor Holmes, Cheng Li, and Yuxiong He. Deepspeed data efficiency: Improving deep learning model quality and training efficiency via efficient data sampling and routing, 2024.

[15] Anne-Laure Ligozat, Julien Lefèvre, Aurélie Bugeau, and Jacques Combaz. Unraveling the Hidden Environmental Impacts of AI Solutions for Environment Life Cycle Assessment of AI Solutions. *Sustainability*, 14:5172, April 2022.

[16] Zhengzhong Liu, Aurick Qiao, Willie Neiswanger, Hongyi Wang, Bowen Tan, Tianhua Tao, Junbo Li, Yuqi Wang, Suqi Sun, Omkar Pangarkar, Richard Fan, Yi Gu, Victor Miller, Yonghao Zhuang, Guowei He, Haonan Li, Fajri Koto, Liping Tang, Nikhil Ranjan, Zhiqiang Shen, Xuguang Ren, Roberto Iriondo, Cun Mu, Zhiting Hu, Mark Schulze, Preslav Nakov, Tim Baldwin, and Eric P. Xing. Llm360: Towards fully transparent open-source llms, 2023.

[17] Alexandra Luccioni and Joseph Viviano. What's in the box? an analysis of undesirable content in the Common Crawl corpus. In *Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers)*, pages 182–189, Online, August 2021. Association for Computational Linguistics.

[18] Alexandra Sasha Luccioni and Alex Hernandez-Garcia. Counting carbon: A survey of factors influencing the emissions of machine learning, 2023.

[19] Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji, and Timnit Gebru. Model cards for model reporting. In *Proceedings of the Conference on Fairness, Accountability, and Transparency*, FAT* '19, page 220–229, New York, NY, USA, 2019. Association for Computing Machinery.

[20] Niklas Muennighoff, Alexander Rush, Boaz Barak, Teven Le Scao, Nouamane Tazi, Aleksandra Piktus, Sampo Pyysalo, Thomas Wolf, and Colin A Raffel. Scaling data-constrained language models. In A. Oh, T. Neumann, A. Globerson, K. Saenko, M. Hardt, and S. Levine, editors, *Advances in Neural Information Processing Systems*, volume 36, pages 50358–50376. Curran Associates, Inc., 2023.

[21] Aleksandra Piktus, Christopher Akiki, Paulo Villegas, Hugo Laurençon, Gérard Dupont, Sasha Luccioni, Yacine Jernite, and Anna Rogers. The ROOTS search tool: Data transparency for LLMs. In Danushka Bollegala, Ruihong Huang, and Alan Ritter, editors, *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations)*, pages 304–314, Toronto, Canada, July 2023. Association for Computational Linguistics.

[22] Xiaoou Wang. Réaliser des poc avec une quantité de données limitée ? prioriser la qualité des données et connaître 3 solutions courantes. https://www.demotal.fr/etudes-de-cas/que-faire-en-cas-de-donnees-insuffisantes-approche-centree-sur-les-donnees-et-few-shot-learning/, 2023.
S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, *Advances in Neural Information Processing Systems*, volume 35, pages 31809–31826. Curran Associates, Inc., 2022.

[14] Conglong Li, Zhewei Yao, Xiaoxia Wu, Minjia Zhang, Connor Holmes, Cheng Li, and Yuxiong He. Deepspeed data efficiency: Improving deep learning model quality and training efficiency via efficient data sampling and routing, 2024.

[15] Anne-Laure Ligozat, Julien Lefèvre, Aurélie Bugeau, and Jacques Combaz. Unraveling the Hidden Environmental Impacts of AI Solutions for Environment Life Cycle Assessment of AI Solutions. *Sustainability*, 14:5172, April 2022.

[16] Zhengzhong Liu, Aurick Qiao, Willie Neiswanger, Hongyi Wang, Bowen Tan, Tianhua Tao, Junbo Li, Yuqi Wang, Suqi Sun, Omkar Pangarkar, Richard Fan, Yi Gu, Victor Miller, Yonghao Zhuang, Guowei He, Haonan Li, Fajri Koto, Liping Tang, Nikhil Ranjan, Zhiqiang Shen, Xuguang Ren, Roberto Iriondo, Cun Mu, Zhiting Hu, Mark Schulze, Preslav Nakov, Tim Baldwin, and Eric P. Xing. Llm360: Towards fully transparent open-source llms, 2023.

[17] Alexandra Luccioni and Joseph Viviano. What's in the box? an analysis of undesirable content in the Common Crawl corpus. In *Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers)*, pages 182–189, Online, August 2021. Association for Computational Linguistics.

[18] Alexandra Sasha Luccioni and Alex Hernandez-Garcia. Counting carbon: A survey of factors influencing the emissions of machine learning, 2023.

[19] Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji, and Timnit Gebru. Model cards for model reporting. In *Proceedings of the Conference on Fairness, Accountability, and Transparency*, FAT* '19, page 220–229, New York, NY, USA, 2019. Association for Computing Machinery.

[20] Niklas Muennighoff, Alexander Rush, Boaz Barak, Teven Le Scao, Nouamane Tazi, Aleksandra Piktus, Sampo Pyysalo, Thomas Wolf, and Colin A Raffel. Scaling data-constrained language models. In A. Oh, T. Neumann, A. Globerson, K. Saenko, M. Hardt, and S. Levine, editors, *Advances in Neural Information Processing Systems*, volume 36, pages 50358–50376. Curran Associates, Inc., 2023.

[21] Aleksandra Piktus, Christopher Akiki, Paulo Villegas, Hugo Laurençon, Gérard Dupont, Sasha Luccioni, Yacine Jernite, and Anna Rogers. The ROOTS search tool: Data transparency for LLMs. In Danushka Bollegala, Ruihong Huang, and Alan Ritter, editors, *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations)*, pages 304–314, Toronto, Canada, July 2023. Association for Computational Linguistics.

[22] Xiaoou Wang. Réaliser des poc avec une quantité de données limitée ? prioriser la qualité des données et connaître 3 solutions courantes. https://www.demotal.fr/etudes-de-cas/que-faire-en-cas-de-donnees-insuffisantes-approche-centree-sur-les-donnees-et-few-shot-learning/, 2023.