améliore significativement les performances du modèle. Huang et al. (2023) comparent ChatGPT aux annotateurs humains, révélant que ChatGPT peut détecter efficacement les tweets haineux avec une précision de 80%. Les désaccords restants sont généralement sujets à débat, mais les résultats montrent que les évaluations humaines tendent à soutenir les classifications de ChatGPT. L'étude montre aussi que ChatGPT produit des explications en langage naturel comparables à celles des humains en termes d'informativité et de clarté.

# 3 Un modèle dédié à l'identification des mots complexes

## 3.1 Données

Nous avons utilisé le jeu de données "CompLex 2.0" (Shardlow et al., 2022) lors des phases d'entraînement et de test. Le corpus comprend des évaluations humaines de la complexité lexicale pour un ensemble de textes anglais, utilisant une échelle de Likert à 5 points, provenant de sources telles que Wikipedia, des livres éducatifs et des articles de journaux, couvrant divers sujets. Les textes ont été annotés par des évaluateurs humains qui ont évalué la complexité lexicale du mot cible dans son contexte (phrase) à l'aide de l'échelle de Likert. Chaque instance a été annotée plusieurs fois, et la moyenne de ces annotations a été prise comme score pour chaque instance de données. Ce score est normalisé en une valeur continue entre 0 et 1. La taille des données d'entraînement est de 7662 et de 917 pour le test.

## 3.2 Modèle

Dans notre étude, nous avons développé un modèle de réseau neuronal pour prédire la complexité des mots en utilisant des plongements lexicaux des mots basés sur des transformers (encodeur) et des caractéristiques telles que la fréquence du mot cible et les mots qui composent la phrase. Pour affiner les prédicitions, nous avons intégré la loi de Zipf via la bibliothèque wordfreq (Speer, 2022), exploitant la fréquence d'occurrence des mots dans plus de 40 langues. Nous avons défini plusieurs caractéristiques d'entrée : F1 (le score Zipf de la fréquence des mots), F2 (le score Zipf moyen dans une phrase), F3 (la différence entre le score Zipf du mot cible et le score moyen), F4 (le nombre de mots avec un score Zipf supérieur au mot cible) et F5 (une valeur binaire indiquant si le mot cible est considéré comme rare avec un score inférieur ou égal 3). Ces caractéristiques sont combinées à des couches cachées pour capter la non-linéarité des données.

La formule de prédiction de complexité s'exprime comme suit dans notre modèle :

$$ \hat{y} = f(W_h \cdot \sigma(W_e \cdot E + W_f \cdot F + b_e) + b_h) $$

où :

- E représente les plongements lexicaux des mots basés sur des transformers,

- F est le vecteur des caractéristiques d'entrée $[F_1, F_2, F_3, F_4, F_5]$,

- $W_e$ et $W_f$ sont les poids appliqués respectivement aux plongements lexicaux et aux caractéristiques d'entrée.

- $b_e$ et $b_h$ sont les biais pour les couches d'entrée et cachées, respectivement.

- $\sigma$ est une fonction d'activation non-linéaire (ReLU), appliquée à la combinaison linéaire des plongements lexicaux et des caractéristiques d'entrée.
<figure><img src="image_202.png" /><figcaption>FIGURE 1 – L’architecture globale pour prédire les scores de complexité</figcaption></figure>

— $W_h$ sont les poids de la couche cachée.

— $f$ est la fonction linéaire d'activation de la couche de sortie.

— $\hat{y}$ correspond à la valeur de prédiction (valeur réelle entre 0 et 1).

## 3.3 Évaluation

Comme le montre la figure 1, en combinant les différentes caractéristiques, nous avons utilisé le modèle pour faire des prédictions sur la complexité des mots. Nous avons mené nos expériences pour quatre modèles de plongements de mots : bert-base, DeBERTa-base-v3, ainsi que leurs versions large et multilingues. Pour évaluer les résultats, nous utilisons les mêmes métriques de corrélation que celles utilisées dans Shardlow et al. (2021) : Pearson, Spearman et le score $R^2$. Nous avons conservé les mêmes hyperparamètres pour chaque entraînement, incluant un taux d'apprentissage de 5e-5, une taille de lot de 4 et une longueur de séquence maximale de 300. Le tableau 1 montre les résultats de notre approche en utilisant les modèles de langue cités. Nous incluons également le meilleur score obtenu lors de la tâche partagée SemEval-2021 (Shardlow et al., 2021). Le modèle de base fournie par les organisateurs de la tâche est reproduite en utilisant la log-fréquence du Google Web1T (Evert, 2010) et la régression linéaire. Nous constatons une amélioration significative des performances en utilisant le modèle de langue DeBERTa-large-v3, atteignant un score $R^2$ de **0.65**, supérieur aux performances obtenus dans la compétition de SemEval 2021. Il est à noter que la comparaison n'est pas totalement juste par rapport aux systèmes de SemEval 2021 puisque nous avons utilisé des modèles de langue plus récents (DeBERTa).

Afin de comprendre l'impact des modèles de langue pré-entraînés et des caractéristiques de fréquence dans chacun des modèles, nous avons mené une étude d'ablation pour mesurer l'importance de chaque composant. La figure 2 est une représentation graphique qui montre la performance des modèles pour prédire la complexité lexicale. Chaque colonne représente un modèle différent, avec différentes couleurs pour distinguer les types de modèles. La barre bleue représente un modèle
<table><caption>TABLE 1 – Résultats avec différents modèles de langues</caption><thead><tr><th>Modèles</th><th>Pearson</th><th>Spearman</th><th>R<sup>2</sup></th></tr></thead><tbody><tr><td>Deberta-v3-large</td><td><strong>0,81</strong></td><td><strong>0,74</strong></td><td><strong>0,65</strong></td></tr><tr><td>Deberta-v3-base</td><td>0,79</td><td>0,74</td><td>0,62</td></tr><tr><td>Le score le plus élevé dans SemEval 2021 (Bani Yaseen et al., 2021)</td><td>0,78</td><td>-</td><td>0,61</td></tr><tr><td>mDeberta-v3-base</td><td>0,75</td><td>0,70</td><td>0,57</td></tr><tr><td>bert-base-cased</td><td>0,74</td><td>0,70</td><td>0,55</td></tr><tr><td>bert-base-multilingue</td><td>0,67</td><td>0,64</td><td>0,45</td></tr><tr><td>Baseline de fréquence fournie par (Shardlow et al., 2021)</td><td>0,52</td><td>-</td><td>0,27</td></tr></tbody></table>

qui utilise uniquement les caractéristiques de fréquence, la barre rouge représente un modèle basé uniquement sur des modèles de langue, tandis que la verte utilise à la fois les caractéristiques de fréquence et les modèles de langue. Les scores de corrélation de Pearson sont utilisés pour évaluer la performance des modèles en comparant leurs prédicitions aux données de référence. Les résultats indiquent qu’ajouter des caractéristiques de fréquence aux modèles de langue améliore légèrement la prédiction de la complexité lexicale. En d’autres termes, les modèles qui utilisent à la fois des caractéristiques de fréquence et des modèles de langue sont meilleurs pour prédire la complexité lexicale que les modèles qui utilisent seulement l’un ou l’autre. On notera que notre modèle basé uniquement sur les caractéristiques de fréquence obtient de meilleurs résultats que la baseline dans le tableau 1 avec un score de corrélation de Pearson de 0,61.

<figure><img src="image_203.png" /><figcaption>FIGURE 2 – Comparaison des valeurs de corrélation de Pearson pour les différents modèles.</figcaption></figure>
qui produit de manière stable la sortie désirée. Le paramètre de température a été fixé à 0 pour éviter de favoriser la créativité pouvant entraîner des effets indésirables (Peng et al., 2023).

Pour rendre la sortie pleinement comparable avec nos données de référence et notre approche décrite dans la section 1, la liste des instances est triée selon leurs scores de référence et leurs scores prédits. Pour l'évaluation, nous utilisons le *Tau de Kendall* (également connu sous le nom de *coefficient de corrélation de rang de Kendall*), qui est une mesure statistique utilisée pour quantifier la similarité entre deux classements. Il évalue la correspondance ou l'accord entre les classements du même ensemble d'éléments dans deux listes différentes. Le Tau de Kendall est fréquemment utilisé lorsqu'on travaille avec des données ordinales, où le classement ou l'ordre des éléments est pertinent. Nous employerons cette métrique lors de la comparaison avec ChatGPT.

Nous divisons notre évaluation en deux expériences. Dans la première expérience, pour chaque mot cible, nous trions la liste des instances où le mot apparaît, l'objectif de cette expérience est d'évaluer la capacité de ChatGPT à prédire la complexité d'un même mot dans différents contextes. Dans la deuxième expérience, nous trions des listes d'instances choisies au hasard en variant la taille de l'échantillon, l'objectif cherche à déterminer si ChatGPT est capable de distinguer les niveaux de difficulté lorsque des mots différents sont utilisés dans des contextes variés.

### 4.1.1 Tri des contextes par mot cible

Dans la première expérience, pour chaque mot cible, la liste des instances où le mot apparaît est triée. Sur 917 instances, nous ne conservons que celles dont le mot-cible est le mot-cible d'au moins deux instances, réduisant l'ensemble à 685 instances. Les mots-cibles avec un seul contexte sont exclus pour éviter un biais dans la comparaison, car elles entraîneraient un taux de correspondance de 100%.

L'évaluation pour chaque mot cible de notre modèle et de ChatGPT repose sur le calcul du tau de Kendall, qui compare les classements obtenus à partir de notre modèle ou de ChatGPT avec ceux basés sur des annotations humaines. Le score global d'un système est dérivé de la moyenne des scores de tau de Kendall pour l'ensemble des mots cibles du jeu de données. Cette méthode révèle que, même sans entraînement spécifique sur le jeu de données, ChatGPT montre des performances supérieures à notre approche (cf. Table 2). Notons néanmoins que les performances de ChatGPT et de notre approche ont tendance à se rapprocher quand le nombre d'instances par mot-cible augmente.

<table><caption>TABLE 2 – Résultats des scores basés sur les classements.</caption><thead><tr><td>Modèles</td><td>Score de Tau de Kendall</td></tr></thead><tbody><tr><td>ChatGPT</td><td><strong>0.61</strong></td></tr><tr><td>Notre approche</td><td>0.52</td></tr></tbody></table>

### 4.1.2 Tri des instances échantillonnées

Dans cette partie, nous évaluons le classement des instances échantillonnées aléatoirement dans le jeu de données de test. Cela signifie que les listes considérées peuvent inclure des contextes avec divers mots cibles. L'idée est d'évaluer la capacité des différents systèmes à gérer la complexité des mots en général, indépendamment d'un mot cible donné. Dans notre expérience, nous varions la taille de l'échantillon pour évaluer son impact sur les performances de classement. Nous allons réaliser les
expériences pour 5 tailles d'échantillon (n=4, 5, 8, 10, 20). Pour chaque taille d'échantillon, nous effectuons 10 tirages aléatoires séparés pour obtenir des mesures plus robustes et améliorer notre évaluation. Nous calculons la moyenne et l'écart type de ces dix tirages pour obtenir une estimation plus précise.

<table><caption>TABLE 3 – Moyennes et écarts-types pour différentes tailles d'échantillons (100% aléatoire)</caption><thead><tr><th rowspan="2">n</th><th colspan="2">Moyenne</th><th colspan="2">Écart Type</th></tr><tr><th>ChatGPT</th><th>Notre modèle</th><th>ChatGPT</th><th>Notre modèle</th></tr></thead><tbody><tr><td>4</td><td>0.145</td><td><strong>0.491</strong></td><td>0.566</td><td>0.391</td></tr><tr><td>5</td><td>0.011</td><td><strong>0.152</strong></td><td>0.391</td><td>0.288</td></tr><tr><td>8</td><td>0.062</td><td><strong>0.376</strong></td><td>0.275</td><td>0.281</td></tr><tr><td>10</td><td>-0.078</td><td><strong>0.153</strong></td><td>0.236</td><td>0.324</td></tr><tr><td>20</td><td>-0.079</td><td><strong>0.415</strong></td><td>0.065</td><td>0.095</td></tr></tbody></table>

La Table 3 montre que notre modèle obtient systématiquement de meilleures performances par rapport à ChatGPT quelle que soit la taille de l'échantillon *n*. Par exemple, avec *n* = 20, notre modèle atteint un score de Kendall moyen de 0,415, tandis que ChatGPT obtient -0,079, ce qui indique une différence significative. De plus, à mesure que la taille de l'échantillon augmente, l'écart-type diminue principalement en raison de la réduction de la variabilité résultant d'un plus grand nombre d'instances, ce qui rend la moyenne une estimation plus précise de la tendance centrale.

**Pourquoi cette tâche semble-t-elle être difficile pour ChatGPT?** L'une des hypothèses que nous voulons vérifier est que ChatGPT pourrait avoir des difficultés à distinguer les degrés de complexité lorsqu'ils sont proches. Pour tester cette hypothèse, nous continuerons à échantillonner aléatoirement des exemples, mais 50% des exemples auront un niveau de complexité facile (degré <0,25), et les 50% restants auront un niveau de complexité difficile (degré > 0,5). Cela créera une distinction claire entre les exemples en fonction de leur complexité.

<table><caption>TABLE 4 – Moyennes et écarts-types pour différentes tailles d'échantillons (aléatoire mais 50% contextes facile, 50% très difficile)</caption><thead><tr><th rowspan="2">n</th><th colspan="2">Moyenne</th><th colspan="2">Écart Type</th></tr><tr><th>ChatGPT</th><th>Notre modèle</th><th>ChatGPT</th><th>Notre modèle</th></tr></thead><tbody><tr><td>4</td><td><strong>0.655</strong></td><td>0.425</td><td>0.261</td><td>0.321</td></tr><tr><td>5</td><td><strong>0.6</strong></td><td>0.567</td><td>0.249</td><td>0.3</td></tr><tr><td>8</td><td><strong>0.483</strong></td><td>0.412</td><td>0.154</td><td>0.142</td></tr><tr><td>10</td><td><strong>0.504</strong></td><td>0.429</td><td>0.116</td><td>0.099</td></tr><tr><td>20</td><td><strong>0.495</strong></td><td>0.432</td><td>0.077</td><td>0.091</td></tr></tbody></table>

La Table 4 et la figure 3 montrent que les scores sont meilleurs avec ChatGPT dans ce scénario. ChatGPT se comporte de manière plus satisfaisante lorsque l'écart entre les niveaux de complexité des contextes est plus élevé, ce qui indique qu'il peut plus facilement différencier entre les contextes ayant des niveaux de complexité clairement distincts. Les valeurs d'écart-type deviennent également plus petites lorsqu'on les compare avec les résultats de la Table 3, ce qui indique que l'échantillon est plus représentatif et que les valeurs sont plus proches de la moyenne par rapport à lorsque les données sont échantillonnées de manière aléatoire à 100%.
<figure><img src="image_204.png" /><figcaption>FIGURE 3 – Scores moyens en fonction de la taille de l'échantillon.</figcaption></figure>

# 5 Conclusion

Dans cet article, nous avons proposé une méthode pour prédire la complexité lexicale. Cette méthode repose sur l'utilisation de modèles de langue pré-entraînés et de caractéristiques de fréquence. Nous avons montré que ChatGPT a une certaine capacité à comparer et classer des instances ayant le même mot-cible en fonction de leur complexité lexicale, notamment lorsque le nombre d'instances est limité. Dans de tels cas, il obtient de meilleures performances que notre modèle. Cependant, cette tâche devient plus difficile pour ChatGPT à mesure que le nombre d'instances comparées augmente, en particulier lors de l'introduction de différents mots-cibles dans des contextes variés. En effet, ChatGPT rencontre des difficultés lorsque la complexité entre les instances est très similaire. Dans de telles situations, il semble préférable d'utiliser un modèle spécifiquement entraîné pour cette tâche. De plus, un tel modèle peut produire un degré de complexité plus précis.

Pour les prochaines étapes de recherche, nous envisageons d'explorer davantage le potentiel du modèle dans des environnements multilingues. Cette exploration impliquera l'utilisation de méthodes d'apprentissage par transfert pour étendre la capacité de notre approche à prédire la complexité lexicale dans différentes langues. Nous envisageons également d'explorer l'utilisation d'autres modèles open source, en plus de ChatGPT, pour des questions de reproductibilité. Par ailleurs, nous prévoyons également d'explorer des techniques d'annotation et d'augmentation des données pour améliorer les performances de prédiction de la complexité lexicale. L'annotation supplémentaire des données pourrait aider à mieux capturer les nuances de la complexité lexicale dans différents contextes, tout en aidant à accroître la diversité des exemples disponibles pour l'entraînement du modèle, améliorant ainsi sa capacité à généraliser à de nouveaux contextes.

# Références

ALFTER D. (2021). *Exploring natural language processing for single-word and multi-word lexical complexity from a second language learner perspective*.

AMIN M. M., CAMBRIA E. & SCHULLER B. W. (2023). Will affective computing emerge from foundation models and general ai? a first evaluation on chatgpt. *arXiv preprint arXiv:2303.03186*.
BANI YASEEN T., ISMAIL Q., AL-OMARI S., AL-SOBH E. & ABDULLAH M. (2021). JUST-BLUE at SemEval-2021 task 1 : Predicting lexical complexity using BERT and RoBERTa pre-trained language models. In *Proceedings of the 15th International Workshop on Semantic Evaluation (SemEval-2021)*, p. 661–666, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.semeval-1.85.

BENAMARA F., HATOUT N., MULLER P. & OZDOWSKA S., Éds. (2007). *Actes de TALN 2007 (Traitement automatique des langues naturelles)*, Toulouse. ATALA, IRIT.

CHEN L., ZAHARIA M. & ZOU J. (2023). How is chatgpt's behavior changing over time? *arXiv preprint arXiv :2307.09009*.

DAI H., LIU Z., LIAO W., HUANG X., CAO Y., WU Z., ZHAO L., XU S., LIU W., LIU N., LI S., ZHU D., CAI H., SUN L., LI Q., SHEN D., LIU T. & LI X. (2023). Auggpt : Leveraging chatgpt for text data augmentation.

DEUTSCH T., JASBI M. & SHIEBER S. (2020). Linguistic features for readability assessment. *arXiv preprint arXiv :2006.00377*.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). Bert : Pre-training of deep bidirectional transformers for language understanding.

DIAS G., Éd. (2015). *Actes de TALN 2015 (Traitement automatique des langues naturelles)*, Caen. ATALA, HULTECH.

EVERT S. (2010). Google web 1t 5-grams made easy (but not for the computer). In *Proceedings of the NAACL HLT 2010 Sixth Web as Corpus Workshop*, p. 32–40.

GOODING S. & KOCHMAR E. (2019). Complex word identification as a sequence labelling task. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 1148–1153, Florence, Italy : Association for Computational Linguistics. DOI : 10.18653/v1/P19-1109.

HE P., GAO J. & CHEN W. (2023). Debertav3 : Improving deberta using electra-style pre-training with gradient-disentangled embedding sharing.

HUANG F., KWAK H. & AN J. (2023). Is ChatGPT better than human annotators? potential and limitations of ChatGPT in explaining implicit hate speech. In *Companion Proceedings of the ACM Web Conference 2023* : ACM. DOI : 10.1145/3543873.3587368.

KUZMAN T., LJUBEŠIĆ N. & MOZETIČ I. (2023). Chatgpt : beginning of an end of manual annotation ? use case of automatic genre identification. *arXiv preprint arXiv :2303.03953*.

LAIGNELET M. & RIOULT F. (2009). Repérer automatiquement les segments obsolescents à l'aide d'indices sémantiques et discursifs. In A. NAZARENKO & T. POIBEAU, Éds., *Actes de TALN 2009 (Traitement automatique des langues naturelles)*, Senlis : ATALA LIPN.

LANGLAIS P. & PATRY A. (2007). Enrichissement d'un lexique bilingue par analogie. In (Benamara et al., 2007), p. 101–110.

LEE B. W., JANG Y. S. & LEE J. H.-J. (2021). Pushing on text readability assessment : A transformer meets handcrafted linguistic features. *arXiv preprint arXiv :2109.12258*.

LIU Y., HAN T., MA S., ZHANG J., YANG Y., TIAN J., HE H., LI A., HE M., LIU Z. et al. (2023). Summary of chatgpt-related research and perspective towards the future of large language models. *Meta-Radiology*, p. 100017.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). Roberta : A robustly optimized bert pretraining approach.

PAETZOLD G. & SPECIA L. (2016). SemEval 2016 task 11 : Complex word identification. In *Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval-2016)*, p. 560–569, San Diego, California : Association for Computational Linguistics. DOI : 10.18653/v1/S16-1085.
PAN C., SONG B., WANG S. & LUO Z. (2021). DeepBlueAI at SemEval-2021 task 1: Lexical complexity prediction with a deep ensemble approach. In *Proceedings of the 15th International Workshop on Semantic Evaluation (SemEval-2021)*, p. 578–584, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2021.semeval-1.72.

PENG K., DING L., ZHONG Q., SHEN L., LIU X., ZHANG M., OUYANG Y. & TAO D. (2023). Towards making the most of chatgpt for machine translation. *arXiv preprint arXiv:2303.13780*.

RAY P. P. (2023). Chatgpt: A comprehensive review on background, applications, key challenges, bias, ethics, limitations and future scope. *Internet of Things and Cyber-Physical Systems*.

SERETAN V. & WEHRLI E. (2007). Collocation translation based on sentence alignment and parsing. In (Benamara et al., 2007), p. 401–410.

SHARDLOW M. (2013). A comparison of techniques to automatically identify complex words. In *51st Annual Meeting of the Association for Computational Linguistics Proceedings of the Student Research Workshop*, p. 103–109, Sofia, Bulgaria: Association for Computational Linguistics.

SHARDLOW M., COOPER M. & ZAMPIERI M. (2020). CompLex — a new corpus for lexical complexity prediction from Likert Scale data. In *Proceedings of the 1st Workshop on Tools and Resources to Empower People with REAding Difficulties (READI)*, p. 57–62, Marseille, France: European Language Resources Association.

SHARDLOW M., EVANS R., PAETZOLD G. H. & ZAMPIERI M. (2021). SemEval-2021 task 1: Lexical complexity prediction. In *Proceedings of the 15th International Workshop on Semantic Evaluation (SemEval-2021)*, p. 1–16, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2021.semeval-1.1.

SHARDLOW M., EVANS R. & ZAMPIERI M. (2022). Predicting lexical complexity in english texts: the complex 2.0 dataset. *Language Resources and Evaluation, 56*(4), 1153–1194. DOI: 10.1007/s10579-022-09588-2.

SPEER R. (2022). rspeer/wordfreq: v3.0. DOI: 10.5281/zenodo.7199437.

WILKENS R., ALFTER D., WANG X., PINTARD A., TACK A., YANCEY K. P. & FRANÇOIS T. (2022). FABRA: French aggregator-based readability assessment toolkit. In N. CALZOLARI, F. BÉCHET, P. BLACHE, K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, H. ISAHARA, B. MAEGAARD, J. MARIANI, H. MAZO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 1217–1233, Marseille, France: European Language Resources Association.

WILKENS R., WATRIN P., CARDON R., PINTARD A., GRIBOMONT I. & FRANÇOIS T. (2024). Exploring hybrid approaches to readability: experiments on the complementarity between linguistic features and transformers. In Y. GRAHAM & M. PURVER, Éds., *Findings of the Association for Computational Linguistics: EACL 2024*, p. 2316–2331, St. Julian’s, Malta: Association for Computational Linguistics.

YIMAM S. M., BIEMANN C., MALMASI S., PAETZOLD G., SPECIA L., ŠTAJNER S., TACK A. & ZAMPIERI M. (2018). A report on the complex word identification shared task 2018. In *Proceedings of the Thirteenth Workshop on Innovative Use of NLP for Building Educational Applications*, p. 66–78, New Orleans, Louisiana: Association for Computational Linguistics. DOI: 10.18653/v1/W18-0507.

ZAMPIERI M., TAN L. & VAN GENABITH J. (2016). MacSaar at SemEval-2016 task 11: Zipfian and character features for ComplexWord identification. In *Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval-2016)*, p. 1001–1005, San Diego, California: Association for Computational Linguistics. DOI: 10.18653/v1/S16-1155.
ZHANG B., DING D. & JING L. (2022). How would stance detection techniques evolve after the launch of chatgpt? *arXiv preprint arXiv :2212.14548*.
# Quel workflow pour les sciences du texte ?

Antoine Widlöcher

Normandie Univ, UNICAEN, ENSICAEN, CNRS, GREYC, 14000 Caen, France

antoine.widlocher@unicaen.fr

## RÉSUMÉ

Le triomphe des approches adossées à des méthodes d'apprentissage, dans de nombreuses branches de notre discipline, tend à occulter une part importante des domaines d'investigation pourtant intimement liée au traitement automatique des langues. Nous proposerons, pour commencer, de faire un pas dans la direction opposée, en faveur de ce que nous nommerons ici les *sciences du texte*, en les distinguant de l'ingénierie de la langue, dont l'omniprésence explique largement cette occultation. Nous voudrions ensuite contribuer à mettre en évidence la méthode propre à cette branche des savoirs, méthode commune pouvant permettre de faire sortir de l'isolement des travaux hétérogènes liés par un même rapport au texte. Nous voudrions enfin nous concentrer sur la phase de ce *workflow* qui demeure actuellement la plus difficile, celle de l'expérimentation sur corpus, et proposer un cadre pour la mise en place d'environnements d'expérimentation appropriés.

## ABSTRACT

### What workflow for text science ?

The triumphal success of approaches based on machine-learning methods, in many branches of our discipline, tends to marginalise a large part of the fields of research which are nevertheless intimately linked to natural language processing. First of all, we propose to take a step in the opposite direction, in favour of what we call here *text sciences*, distinguishing them from human language technologies, whose omnipresence largely explains this marginalisation. Then we would like to contribute to highlight the specific method of these approaches, which share a common relationship with the text. Finally, we would like to focus on the phase of their *workflow* that currently remains the most difficult, that of corpus-based experimentation, and to propose a framework for setting up appropriate environments for experimentation.

**MOTS-CLÉS** : Sciences du texte, environnement d'expérimentation, expérimentation sur corpus.

**KEYWORDS:** Text science, experimental environnement, corpus-based experimentation.

# 1 Sciences et ingénierie du texte

Une part très importante des travaux de notre communauté se porte désormais naturellement vers les approches adossées à des méthodes d'apprentissage, dont les succès fulgurants ne sont pas contestables. Que cette tendance forte ait d'ores et déjà transformé en profondeur notre discipline ne doit pas nous dispenser de méditer d'une part à la nature et à la portée de ces succès et d'autre part à la zone d'occultation qui résulte de cette forte mise en lumière. Pour tirer au clair la portée de ces succès incontestables, il nous semble important d'en souligner l'horizon applicatif. Qu'il s'agisse de classification de documents, de traduction, d'extraction d'information ou de résumé, pour citer

<figure><img src="image_205.png" /></figure>
quelques exemples bien documentés des *applications* du TAL, la tentation d'y voir le texte comme un
obstacle à surmonter, ne doit pas être minimisée. Le texte n'y est pas alors regardé comme une fin,
mais comme un moyen d'atteindre certains objectifs applicatifs, la pertinence d'une approche étant
alors potentiellement mesurée à l'aune d'un critère étranger au texte lui-même et à sa compréhension.

D'autres travaux, au contraire, s'appuyant aussi sur une machinerie computationnelle, visent l'étude
du texte lui-même, la mise en lumière de ses lois. Là où les précédents, qui relèvent selon nous pour
cette raison de l'*ingénierie du texte*, visent quelque chose derrière le texte, au moyen du texte, ces
derniers, de l'ordre de la *science du texte*, visent le texte lui-même et sa compréhension. Si cette ligne
de démarcation au sein des « disciplines du texte » évoque celle qu'identifie (Rastier, 2001) entre *arts
et sciences* du texte, elle renvoie davantage ici à une différence de visée entre les différents paradigmes
d'étude, au sein des approches scientifiques. Non sans rappeler aussi de vieilles querelles entre TAL
et linguistique computationnelle, cette cartographie disciplinaire doit être précisée. On pourrait dire
que les approches visant le texte lui-même et celles qui sont guidées par des impératifs applicatifs
ont le TAL en commun. Celui-ci renvoie à un ensemble de méthodes de traitement des données
textuelles utilisable dans une perspective ou dans l'autre. Ainsi, la linguistique computationnelle
ne s'oppose pas au TAL mais le précise, par sa visée spécifique, son absence d'autres objets que le
texte lui-même et sa compréhension. Mais elle n'épuise pas le concept des sciences du texte, dont
relèvent tout autant, par exemple, des études littéraires ou philologiques et de nombreux chantiers
ouverts à l'interface des humanités numériques, là où les sciences humaines rencontrent le besoin
d'explorer computationnellement le texte, pour le comprendre. Pour ces disciplines, l'identification
d'un phénomène textuel ne suffit pas ; il faut encore comprendre comment et pourquoi il se produit.
Cette dimension intrinsèquement explicative y va de pair avec l'omniprésence de l'interprète humain.

Faire entendre la voix des sciences du texte, dans un contexte disciplinaire où l'omniprésence des impératifs de l'ingénierie du texte ne cesse d'en fragiliser l'existence, est-ce à dire pour autant qu'une hétérogénéité radicale devrait interdire toute communication entre ces disciplines ? Évidemment non. D'une part parce qu'une communauté de moyens (de formalisation, de calcul...) rend évidemment possible des avancées communes. D'autre part parce que la science du texte pourra toujours en droit éclairer son ingénierie, comme l'ont souvent montré les approches linguistiquement informées du TAL, qui n'ont certes pas actuellement le vent en poupe... Enfin, car les moyens puissants élaborés pour son ingénierie peuvent constituer aussi des moyens d'observation utiles à la science du texte, pourvu que sa visée explicative soit bien entendue, ce à quoi les nombreux travaux actuels consacrés à l'explicabilité dans les méthodes d'apprentissage pourraient évidemment contribuer. Reste que les travaux relevant de la science du texte, travaux visant exclusivement le texte et sa compréhension, doivent pouvoir exister. Leur marginalisation relative actuelle impose de repenser leurs spécificités et leur fond théorique commun, ne serait-ce que pour mettre en évidence leur omniprésence dans notre communauté et pour mettre en lumière les moyens dont ils doivent disposer pour s'y épanouir.

## 2 Quel workflow pour les sciences du texte ?

Par *sciences du texte*, nous désignons le complexe théorique et expérimental qui vise l'étude et la compréhension du texte et de ses lois, à différentes échelles (du caractère au corpus) et dans différentes perspectives (de la forme à l'interprétation). Leur scientificité repose sur les éléments suivants :

1. Leur **démarche expérimentale** s'appuie sur l'articulation entre des phases inductives et hypothético-déductives menées par confrontation aux données de l'expérience, c'est-à-dire aux données d'un **corpus**.
2. L'exigence de validation sur corpus suppose la capacité à identifier les données de l'expérience dont l'étude est menée, c'est-à-dire la capacité à **constituer des observables** dont le modèle sera modèle, dont la théorie sera théorie...

3. L'ensemble de leur démarche doit satisfaire, dans chacune de ses phases, aux **exigences de reproductibilité**. Cela suppose qu'un degré de formalisation suffisant soit atteint dans l'énoncé des modèles, des hypothèses et des paramètres d'expérimentation, pour que la communauté puisse vérifier que, dans les mêmes conditions, les mêmes causes conduisent aux mêmes effets et identifier, le cas échéant, erreurs et biais dans l'interprétation des résultats, conformément à l'**impératif de réfutabilité** qui prolonge naturellement celui de reproductibilité.

De ces contraintes épistémologiques résulte un schéma de workflow dans lequel s'inscriront naturellement les travaux en sciences du texte. La figure 1 donne sa forme essentielle.

<figure><img src="image_206.png" /><figcaption>FIGURE 1 – Forme générale du workflow des sciences du texte</figcaption></figure>

Nous distinguons ici deux grandes phases au sein de ce workflow. Les phases ① à ④ correspondent à la constitution des observables, c'est-à-dire à la constitution d'un corpus de référence au sein duquel des occurrences du phénomène textuel ciblé ont été identifiées. Les phases ⑤ à ⑨ visent l'établissement d'un modèle du phénomène ciblé.

## 2.1 La constitution des observables

Les phases ① à ④ sont très largement balisées, même si certains problèmes restent évidemment ouverts et si un défaut de systématicité est encore nettement observable à l'échelle de notre communauté. Des facteurs de blocage en résultent qui doivent être mis en évidence. La question de la constitution de corpus et celle de leur représentativité fait l'objet d'une littérature relativement abondante, dont la revue *Corpus* est par exemple le reflet dans la communauté francophone, depuis ses premiers numéros (Mellet, 2002). Un point important concerne aussi la diffusion des corpus. Sur ce point, on peut s'étonner que, si un assez net consensus se dégage concernant l'utilisation de schémas éprouvés de représentation des corpus textuels, et cela depuis fort longtemps, notamment autour de la TEI<fnref n="1" /> (Ide & Véronis, 1995; Burnard et al., 2006), le disponibilité de corpus de référence selon ce standard de fait demeure assez sporadique dans nos disciplines, alors que les sciences humaines et les disciplines littéraires, soucieuses d'établissement de données finement ciselées, se sont pour leur part nettement approprié les technologies associées. Si l'inscription dans la nébuleuse XML est acquise, l'absence de systématicité dans le recours à un vocabulaire commun est pourtant un évident facteur de ralentissement.

<footnote n="1">1. https://tei-c.org/</footnote>
La méthodologie d'ensemble selon laquelle peuvent être menées les campagnes d'élaboration de ressources enrichies, annotées, fait l'objet d'une littérature très utile (Fort, 2016). L'importance de la multi-annotation ② a été largement soulignée pour garantir la fiabilité des données produites, en particulier sur les objets textuels peu étudiés ou difficiles à interpréter, et, au moins depuis (Artstein & Poesio, 2008), les moyens de mesurer l'émergence d'un consensus entre annotateurs ③, condition sine qua non pour la constitution de données de référence ④, sont étudiés en tant que tels. Différents environnements logiciels dédiés à l'annotation ont été proposées, parmi lesquels on peut notamment citer (Stenetorp et al., 2012), (Widlöcher & Mathet, 2012) et plus récemment (Klie et al., 2018). À mi-chemin entre l'annotation et l'exploration de corpus telle qu'elle sera définie ci-dessous, on peut également mentionner les travaux de (Landragin et al., 2012), qui combinent ces deux phases.

Bien entendu, la diversité et l'hétérogénéité des phénomènes susceptibles d'être étudiés et annotés retardent l'élaboration de modèles communs de représentation des données enrichies, mais aussi, inévitablement, la mise en place de méthodes communes pour la comparaisons de structures annotées, préalable pourtant nécessaire à la mesure d'accord sur des données multi-annotées, dont l'absence bloque l'émergence de données de référence. De fait, si les moyens ne manquent pas pour la prise en charge de tâches d'annotation relevant de la pure catégorisation d'items textuels déjà identifiés, les propositions sont dramatiquement moins nombreuses pour des tâches imposant de surcroît le positionnement des objets dans le *continuum* textuel. Et si des propositions voient le jour, quoique très sporadiquement, pour la prise en charge des tâches dites d'*unitizing* (de repérage d'unités dans le texte), c'est-à-dire pour leur annotation puis pour la comparaison des productions de plusieurs annotateurs, le travail sur des structures plus complexes, notamment relationnelles (par exemple en syntaxe, rhétorique ou argumentation), impose souvent le recours à des méthodes *ad hoc*, élaborées pour chaque objet, en rendant fatalement difficile la confrontation des modèles et des théories.

## 2.2 Absence d'un cadre commun pour l'expérimentation sur corpus

Sur la seule question de la constitution des observables, un immense travail reste donc encore à accomplir, pour définir objets et méthodes communs. Nous voudrions toutefois nous concentrer sur les phases suivantes du workflow, celles de l'expérimentation sur corpus (⑤ à ⑨). Car si chacun, dans sa discipline, avance évidemment sur ce terrain, nous ne voyons pas cependant émerger un cadre commun qui permettrait, à l'échelle de la communauté, la reproduction simple des expériences menées ici ou là, la confrontation des approches, le partage des résultats. Que l'absence d'un tel cadre commun soit dommageable, tout le monde en conviendra. Nous voudrions savoir à quelles conditions son émergence pourrait être rendue possible et, inversement, quels éléments font blocage.

La question pourtant n'est pas neuve. Sans remonter aux origines de notre discipline – car en réalité les conditions que nous mentionnons sont presque imposées par la démarche scientifique elle-même – on retiendra notamment qu'il y a quinze ans déjà, (Enjalbert et al., 2008), dans le prolongement de journées ATALA consacrées aux « architectures logicielles pour articuler les traitements sur corpus » (en 2005), notre communauté francophone se posait frontalement la question de la mise en place d'environnements d'expérimentation sur corpus, de la reproductibilité des expériences, du partage des ressources, de l'interopérabilité entre les systèmes... Et depuis lors au moins, différentes solutions méthodologiques et logicielles ont été proposées pour répondre à ces exigences. Nous voudrions ici proposer quelques repères dans cette nébuleuse, en cherchant surtout à identifier les paradigmes concurrents et les lignes de démarcation principales entre les différentes options envisagées, pour mieux saisir les raisons pour lesquelles principes et solutions communs tardent à émerger.
Pour nous orienter dans cette nébuleuse 2, il peut être utile de commencer par distinguer deux traditions restées jusqu'ici assez étanches l'une à l'autre, répondant à deux manières d'envisager les données textuelles. Nous proposons de formuler l'esprit de cette démarcation en nous appuyant sur la distinction souvent faite, notamment dans le champ des humanités numériques, entre *distant reading* (Moretti, 2013) et *close reading*, pour désigner l'hétérogénéité entre des approches considérant les données textuelles, souvent assez massives, d'une certaine hauteur et souvent au moyen de méthodes statistiques, et des approches restant davantage au contact des énoncés et des occurrences en contexte.

Relèvent clairement du premier paradigme les propositions faites dans le champs de l'analyse statistique des données textuelles (Lebart et al., 1998) et notamment, surtout au niveau francophone, les travaux de la tradition lexicométrique issue de (Lafon, 1984), dont sont inspirés des environnements intégrés très complets d'exploration de corpus tels que la plate-forme TXM (Heiden, 2010).

Visant davantage l'exploration du corpus en restant au contact des énoncés, en pilotant généralement la recherche d'occurrences des phénomènes visés par l'expression de règles établies dans des formalismes dédiés à des niveaux d'analyse variés (échelles lexicale, syntagmatique, discursive...), d'autres environnements intégrés d'expérimentation sur corpus ont vu le jour, parmi lesquels ont peut citer notamment Gate (Cunningham et al., 2002, 2011, 2013), Nooj (Silberztein, 2016), Unitex (Paumier et al., 2021) et LinguaStream (Widlöcher & Bilhaut, 2008). L'enthousiasme suscité par ces environnements intégrés, puissants mais difficiles à prendre en main, semble avoir connu un certain infléchissement. Si Gate, Nooj et Unitex sont toujours maintenus et jouissent d'une communauté active (ce n'est pas le cas de LinguaStream), on a néanmoins le sentiment que la communication scientifique associée à ces plate-formes a sensiblement diminué ces dernières années, au-delà de cercles assez spécifiques, signe peut-être d'un relatif déphasage par rapport aux attentes de notre communauté. On ne voit pas, du moins, émerger un consensus large en faveur d'un environnement commun d'expérimentation en TAL qui reposerait sur ce principe.

On a vu au contraire se multiplier les approches *par librairie* visant, plutôt que l'élaboration d'un environnement intégré, l'exploitation depuis un langage d'interfaçage ou d'intégration tel que Python notamment, très apprécié pour le prototypage rapide et dans de nombreuses sciences expérimentales. À des outils dédiés à la langue comme NLTK (Bird et al., 2009), régulièrement utilisé pour la recherche et l'enseignement, en vertu notamment de la pluralité des paradigmes d'analyse qu'il permet d'exploiter et le contrôle qu'il donne sur l'expression de règles dans différents formalismes, il convient d'ajouter d'une part des outils comme spaCy 3, certes dédiés à la matière textuelle, mais visant davantage la mise en production d'applications que l'expérimentation sur corpus, et d'autre part des outils dédiés à la science des données et à l'apprentissage machine, tel Scikit-learn (Pedregosa et al., 2011), qui intègrent des éléments permettant de traiter des données textuelles, dont les spécificités sont d'ailleurs souvent écartées assez rapidement, au profit de représentations tabulaires et vectorielles évidemment plus en phase avec les méthodes courantes en apprentissage.

## 2.3 Quel cadre pour l'expérimentation sur corpus ?

La partie expérimentale de nos disciplines offre donc encore souvent le spectacle d'une collection d'approches difficiles à unifier dans un mouvement commun, où chaque travail avance son propre

<footnote n="2">2. Nous laissons de côté, dans ce rapide survol, des infrastructures d'assez bas niveau, comme notamment le framework UIMA (https://uima.apache.org/), et les questions importantes qu'elles posent en termes d'interopérabilité, pour nous concentrer en priorité sur les environnements plus immédiatement dédiés à l'analyse des textes.</footnote>

<footnote n="3">3. https://spacy.io</footnote>
formalisme, sa propre représentation du texte, des règles d'analyse... Conscient que toute tentative d'avancer à rebours de cette tendance naturellement entropique nous fait prendre le risque d'une fausse solution de plus, et donc finalement d'une augmentation du désordre, nous voudrions néanmoins envisager quelques pistes pour essayer d'y remédier. Nous les présenterons sous la forme d'une série de principes, non sans avoir d'abord souligné que nous maintenons largement les recommandations faites par (Widlöcher & Bilhaut, 2008), recommandations que nous complétons et que nous proposons d'amender, parfois en les radicalisant, parfois en relaxant certaines contraintes difficiles à satisfaire sans entrer en contradiction avec d'autres principes d'importance égale ou supérieure.

**P1 - Hétéronomie fondamentale du chercheur** De façon peut-être un peu provocante, nous voudrions aborder cette énumération des principes par des considérations de nature presque sociologique concernant certains *habitus* de notre communauté des sciences du texte. Nous pensons ici plus précisément à la tradition relativement forte de l'autonomie radicale du chercheur, par laquelle nos disciplines s'inscrivent d'ailleurs dans le prolongement des sciences humaines et de l'esprit, où l'autorité du savant suppose souvent la solitude. Nous entendons par là l'ambition (et souvent d'ailleurs la capacité admirable) du chercheur à maîtriser individuellement l'ensemble des phases du processus de construction intellectuelle, conceptuelle et expérimentale qu'implique l'étude des objets qu'il s'est fixés<fnref n="4" />. Or, pour admirable qu'elle soit, cette parfaite autonomie n'en demeure pas moins tout à fait exceptionnelle en pratique, et le risque est grand dès lors que cette ambition devienne contre-productive si l'on n'en mesure pas la limite. Si nous évoquons ce tropisme, c'est qu'il ne nous semble pas étranger à l'échec relatif des grands systèmes intégrés, qui reposent en partie sur l'hypothèse, trompeuse selon nous, que chacun pourra, en autonomie, mener ses expérimentations sur corpus. Nous voudrions promouvoir au contraire l'idée d'une hétéronomie fondamentale du chercheur, et prendre la juste mesure de la nécessité qui en résulte de clarifier les moyens d'une collaboration féconde entre les différents corps de métiers impliqués dans les sciences du texte. Être linguiste, statisticien ou algorithmicien, ce n'est résolument pas la même chose (dans une large majorité des cas), et, plutôt que de viser l'objectif illusoire d'une autonomie parfaite, nous devons plutôt nous interroger sur les moyens de rendre fertile la collaboration (cf. P4 P5).

**P2 - Données textuelles de référence, données d'entrée et données de sortie** Que le partage des données importe davantage que celui des outils, c'est là un fait qui a été maintes fois souligné. Quelles conséquences pratiques devons-nous en tirer ? D'abord, la nécessité de prendre au sérieux le mode de représentation faisant consensus pour la représentation des corpus textuels. De ce point de vue, il est clair que les technologies XML, tombées en désuétude chez les informaticiens, demeurent incontournables pour la représentation des données semi-structurées dont les corpus textuels sont la parfaite illustration. Il en résulte non seulement la nécessité de mettre en place des environnements logiciels capables de consommer de telles données en entrée (ce qui est souvent admis), mais aussi la nécessité de produire en sortie des données répondant à cette norme, notamment pour que les données textuelles enrichies issues de l'analyse demeurent compatibles avec les outils d'observation et les chaînes éditoriales définies pour la diffusion et la valorisation des données initiales. S'il n'est pas mécaniquement nécessaire que les processus d'analyse opèrent en conséquence à chaque étape sur des représentations XML des données, potentiellement coûteuses, il est en revanche nécessaire que toutes les représentations intermédiaires fassent systématiquement référence aux structures initiales, pour qu'à chaque instant, et surtout en fin de traitement, elle puissent y être projetées ou rapportées.

**P3 - Complémentarité des altitudes d'observation** Par *altitude* d'observation, nous renvoyons ici à la distinction évoquée ci-dessus entre *close* et *distant reading*. Si de nombreux chercheurs appré-

<footnote n="4">4. Ce dont l'usage des productions scientifiques à signature unique est le reflet éloquent.</footnote>
hendent alternativement les données avec des méthodes distantes (statistiques, lexicométriques...) et des méthodes plus directement focalisées sur le repérage d'occurrences en contexte, il faut bien néan-
moins reconnaître que l'adoption de ces différents points de vue relève de traditions, de méthodologies
et conséquemment d'outils assez hétérogènes. S'il est raisonnable de supposer la complémentarité de
ces altitudes d'observation, les premières étant notamment indispensables dans les phases inductives
et de vérifications des hypothèses à petite échelle (celle du corpus ou du sous-corpus), quand les
secondes interviennent dans les phases de modélisation de structures potentiellement complexes et
dans le repérage d'occurrences à grande échelle (en contexte, à l'échelle de la phrase ou du discours),
il est alors nécessaire de disposer de moyens efficaces de circulation entre ces niveaux. Cela im-
pose d'abord que les descriptions d'objets analysés en contexte puissent être aisément collectées
et synthétisées dans des représentations manipulables par les outils d'observations de plus haute
altitude. Inversement, cela suppose que des éléments observés à haute altitude (des fréquences, des
régularités, des attirances...) puissent être facilement reformulés en configurations observables *in situ*.
On ne saurait trop insister sur l'importance du *retour au texte* pour les sciences du texte. Elle
impose en particulier la disponibilité d'outils de visualisation adaptés aux modes conventionnels de
représentation des données (cf. P2), pour que les objets soient observés dans leur contexte initial.

**P4 - Abstraction progressive des formes de surface et variabilité des perspectives** Avoir le texte pour matière n'implique pas que chaque étape et chaque niveau d'analyse doive reposer exclusivement sur sa forme initiale. Au contraire, pour les traitements computationnels, comme pour les travaux réalisés sans traitement mécanique, il est clair que certains niveaux d'analyse doivent pouvoir s'appuyer sur les résultats obtenus à d'autres niveaux, certains ordres classiques conduisant même d'ailleurs à des pipelines parfois figés à l'excès dont l'enchaînement [ Tokenisation > POS Tagging > Analyse syntaxique > Analyse du discours ] donne une bonne illustration. S'il nous semble important de garantir au contraire une assez grande liberté dans les enchaînements d'analyse à mettre en place (cf. infra), reste qu'une analyse d'un niveau quelconque doit pouvoir s'appuyer sur les sorties d'un niveau d'analyse préalable, et qu'une analyse subséquente devra pouvoir, à son tour, s'appuyer sur ses propres sorties. Il en résulte que chaque niveau d'analyse doit pouvoir exploiter, non seulement la matière textuelle initiale et ses formes de surface, mais surtout les représentations antérieurement calculées, cette forme d'indirection conduisant en pratique à une abstraction progressive des formes de surface. Chaque niveau d'analyse, humain ou computationnel, produit des annotations, souvent obtenues par abstraction depuis des annotations déjà produites, sur lesquelles les analyses subséquentes devront à leur tour pouvoir s'appuyer. Ces annotations doivent combiner la localisation dans le texte des phénomènes identifiés, en référence à la représentation initiale (cf. P2), et une représentation symbolique de leur interprétation, une caractérisation utilisable par les traitements subséquents. Cela n'implique pas que chaque niveau d'analyse doive tenir compte de toutes les représentations préalablement calculées. Au contraire, chacun devra pouvoir spécifier la perspective qui est la sienne, c'est-à-dire la manière dont il se rapporte au texte, en explicitant les abstractions sur lesquelles il s'appuie. Les avantages qui peuvent en résulter, en terme d'expressivité de chaque modèle d'analyse et en termes d'efficacité sur un plan combinatoire, sont potentiellement colossaux. La confrontation des points de vue (entre le linguiste, l'informaticien...) est toutefois évidemment nécessaire à l'exploitation de ces bénéfices (cf. P1).

**P5 - Complémentarité des formalismes et modèles d'analyse** L'étude d'objets textuels variés a naturellement conduit à l'émergence de multiples formalismes et modèles d'analyse, dont la pouvoir expressif et l'efficacité ont été établis pour les objets pour lesquels ils ont été pensés. Viser la mise en place d'un cadre expérimental commun, ce n'est évidemment pas proposer en la matière un réductionnisme total supposant l'omnipotence d'un formalisme particulier. Il est au contraire
nécessaire de faire jouer la complémentarité des formalismes et modèles d'analyse. Nous défendons du reste l'idée que, même si un formalisme et un modèle d'analyse ont généralement été élaborés pour l'étude d'objets particuliers, leur exploitation à d'autres niveaux peut s'avérer d'autant plus féconde que la variabilité des perspectives sur le texte donne une grande liberté dans sa lecture (cf. P4). L'exploitation des automates et expressions régulières sur des séquences quelconques, au-delà du niveau des chaînes de caractères pour lesquelles les modèles initiaux ont été pensés, illustre bien l'extension possible d'un domaine d'application. Pour que cette extension demeure possible, il est nécessaire que chaque formalisme et modèle d'analyse retenu ne soit pas inféodé à une certaine représentation du texte qu'il consomme, mais puisse au contraire opérer depuis une perspective quelconque sur le texte. Reste que l'identification d'un modèle approprié, en termes d'expressivité et d'efficacité, pour un problème textuel donné, demeure un problème complexe, imposant la collaboration entre les différents corps de métier (cf. P1).

## P6 - Représentation unifiée des annotations, des extractions et des représentations synthétiques

Dire qu'un formalisme et un modèle d'analyse quelconques doivent pouvoir opérer depuis une perspective quelconque à une échelle quelconque (cf. P5), c'est dire aussi que des enchaînements d'analyse doivent pouvoir être réalisés dans un ordre quelconque, que nous ne pouvons pas nous référer à des ordres classiques pour fixer les entrées/sorties de tel ou tel composant. Cela impose au contraire que les entrées/sorties de chaque niveau d'analyse soient encodées dans un modèle unifié, pouvant être produit et consommé à n'importe quel moment du processus d'analyse. En réponse au principe d'abstraction progressive et de variabilité des perspectives (cf. P4), chaque moment de l'analyse dédié au repérage d'occurrences en *close reading* (cf. P3) portera donc sur les annotations produites en amont, qui localisent dans les données initiales (cf. P2) et caractérisent les objets déjà reconnus, et produira de nouvelles annotations utilisables en aval, les unes et les autres étant représentées de manière homogène. Les extractions et représentations synthétiques élaborées en *distant reading* (cf. P3), elles aussi représentées de manière unifiée, s'appuieront elles aussi sur les annotations disponibles en amont (pour une perspective donnée) et les représentations synthétiques déjà établies, et seront elles-mêmes réutilisables en aval.

## P7 - Déclarativité ciblée
Les bonnes propriétés de la déclarativité pour la formalisation, l'étude et la capitalisation des règles d'analyse sont bien connues et nous la préconisons sans réserve pour l'ensemble des formalismes dédiés à la description des règles d'analyse (cf. P5). Le fait que l'approche déclarative masque intentionnellement les appareils procéduraux sous-jacents, pour l'application des règles, impose néanmoins clairement une concertation entre les corps de métier (cf. P1), ne serait-ce que pour que les conséquences algorithmiques restent sous contrôle. Au-delà de ce paramétrage des analyseurs, pour lequel la déclarativité doit être privilégiée, l'articulation de l'ensemble des traitements, dans des processus de type *pipeline* ou plus itératifs, pourra au contraire tirer bénéfice de l'adoption d'un paradigme plus impératif. En effet, pour le pilotage de la lecture des données d'entrée, pour la configuration des sorties, pour la gestion de flots d'exécution non strictement séquentiels, on tirera avantage du passage par un langage de programmation pour l'articulation des différentes phases d'analyse. Le recours à un langage d'intégration aura aussi l'avantage de simplifier l'utilisation combinée de librairies variées, pourvu que le langage retenu y donne effectivement accès.

## P8 - Traces expérimentales
La satisfaction des contraintes liées à la progression expérimentale, à la reproductibilité et à la réfutabilité impose évidemment pour commencer la disponibilité des données d'entrée et de sortie, qui doivent en conséquence être représentées dans des formats ouverts et documentés. La consultation des sorties, évidemment indispensable à l'évaluation du traitement mis en place, doit être soutenue par des outils de visualisation appropriés n'imposant idéalement ni l'installation d'un quelconque environnement logiciel complexe, ni la réitération de l'ensemble des
calculs ayant permis leur production. La mise en évidence du paramétrage du processus d'analyse
bénéficiera d'abord du respect de l'exigence de déclarativité (cf. P7). Si l'articulation des différents
traitements est pour sa part prise en charge programmatiquement, une API parfaitement claire devra
être proposée. Toute expérimentation entreprise dans ce cadre devra pouvoir en conséquence produire
une trace du cheminement suivi par le chercheur, trace où seront présentés de manière articulée les
données d'entrée, les paramètres d'enchaînement, les paramètres d'analyse et les sorties, ainsi que,
bien entendu, la justification des choix et l'interprétation des résultats.

3 Implémentation des ces principes dans la librairie Skhólion

Nous avons fait le choix ici de nous concentrer sur la présentation des principes qui nous semblent
devoir être suivis pour la pratique expérimentale des sciences du texte. Pour rendre l'énoncé de ces
principes plus concret et les illustrer, nous voudrions évoquer succinctement leur mise en œuvre au
sein de la librairie Python Skhólion 5 que nous élaborons actuellement. Quelques illustrations de cette
mise en œuvre sont données en annexes de cet article.

Dans l'esprit du principe P1, cette librairie vise à permettre la construction collective de dispositifs
expérimentaux pour les sciences du texte. Elle doit permettre la collaboration efficace entre les
différents acteurs de ces sciences et notamment entre le développeur et le spécialiste du texte, plutôt
que de laisser à ce dernier le soin d'exploiter solitairement un environnement intégré puissant mais
difficile à contrôler. En particulier, le principe selon lequel il plus aisé de vérifier la conformité d'un
code donné à un problème posé, que d'élaborer *ex nihilo* la méthode de résolution, doit ici s'appliquer.

Conformément au principe P2, Skhólion opère sur des données textuelles d'entrée semi-structurées XML 6, auxquelles toutes les représentations produites feront référence 7, soit par la combinaison d'une expression XPath et de l'indication de la position de l'objet visé dans le nœud ciblé par l'expression, soit par référence à d'autres objets ainsi positionnés. En sortie, des données annotées sont produites par enrichissement des représentations initiales. En cours de traitement, des représentations variées sont utilisables, mais il est systématiquement possible de connaître l'ancrage des objets manipulés dans les données de référence.

La complémentarité des altitudes d'observation évoquée en P3 est assumée, d'une part par la disponi-
bilité de modèles d'analyse pour l'identification d'occurrences de phénomènes décrits dans différents
formalismes, et d'autre part par la représentation des données, sans perte de leur ancrage, dans des
structures adaptées à l'analyse de données. Nous nous appuyons notamment sur des DataFrames de
la librairie Pandas (McKinney, 2010), qui permettent un accès direct aux outils puissants de cette
librairie et des librairies sous-jacentes (en particulier NumPy (Harris et al., 2020)), tout en permettant
un pont vers les méthodes alimentées par des représentations tabulaires et vectorielles.

L'abstraction progressive des formes de surface du principe P4 passe d'abord par la représentation
des structures présentes dans les données initiales (notamment les structures typo-dispositionnelles).
Toute unité porteuse de texte peut être segmentée en phrases, tokenisée et POS-taggée (un pont avec le
Treetagger (Schmid, 1994) est assuré par défaut). L'ensemble des objets résultant peut être parcouru
de différentes manières et utilisé pour produire des annotations, dont chacune, positionnée par rapport
aux données de référence ou par rapport à des objets ainsi positionnés, est dotée d'une représentation

<footnote n="5">5. https://www.skholion.org</footnote>

<footnote n="6">6. La librairie lxml (https://lxml.de) est largement utilisée.</footnote>

<footnote n="7">7. La structuration initiale peut-être minimale, limitée par exemple à une décomposition en sections et paragraphes.</footnote>
symbolique, sous la forme d'une structure de traits récursive. Les annotations produites pourront
être exploitées par des analyseurs de plus haut niveau, qui pourront s'exprimer sur le texte qu'elles
couvrent ou sur les représentations symboliques qu'elles portent, conformément à P6.

Conformément à P7, la manipulation du corpus, l'articulation des traitements et le paramétrage des sorties sont assurés de manière impérative, en Python, via l'API de Skhólion. En plus des analyseurs pouvant être directement écrits en Python, sur la base de cette API, pour le parcours des données et annotations disponibles, les modèles d'analyse proposés dans l'esprit de P5, P6 et P7, encore en petit nombre pour le moment, permettent : 1) de construire une annotation correspondant à une structure présente dans les données d'entrée ; 2) de positionner librement une annotation dans le continuum textuel de toute unité disponible ; 3) de produire une annotation sur la base d'expressions régulières classiques sur la séquence de caractères de toute unité textuelle disponible et 4) d'utiliser la puissance des expressions régulières sur une séquence d'annotations produites en amont, en exprimant des contraintes sur les structures de traits associées, pour générer de nouvelles annotations. Ce premier ensemble a évidemment vocation à être étendu, conformément à P5, l'API de Skhólion devant simplifier l'intégration d'autres moyens d'analyse.

La démarche expérimentale est soutenue, dans l'esprit de P8, par l'utilisation systématique de formats ouverts pour la représentation des données, XML pour la représentation des données semi-structurées à dominante textuelle, JSON pour les autres données. En sortie de tout traitement, et notamment pour garantir un retour au texte conforme à P3, des représentations exploitant systématiquement les technologies du web (HTML, CSS, SVG et JavaScript) sont produites, qui peuvent être aisément consultées dans un navigateur, capitalisées et diffusées, sans aucune autre dépendance logicielle. Des visualisations sont proposées à l'échelle d'un texte ou à l'échelle du corpus, et des extractions d'objets ou de passages choisis sont aussi possibles. S'il est évidemment envisageable de travailler avec Skhólion dans un environnement de développement traditionnel, nous veillons à ce que l'utilisation de l'ensemble des outils proposés soit possible dans des Notebooks Jupyter (Kluyver et al., 2016) et dans des environnements comme Jupyterlab, y compris pour la visualisation des résultats. De tels environnements, qui constituent le cadre privilégié d'utilisation de Skhólion, permettent de produire une trace du cheminement expérimental facile à capitaliser et à partager.

4 Conclusion

L'enthousiasme suscité dans notre communauté par les méthodes d'apprentissage et les LLM illustre
parfaitement les potentialités et les risques où cet article trouve sa source. Car si la richesse des faits
de langue que ces méthodes permettent de capturer justifie pleinement l'intérêt qu'on leur accorde,
elles montrent aussi que bien des applications sont rendues possibles, qui ne mettent pas en pleine
lumière les phénomènes linguistiques sous-jacents qu'elles exploitent. À travers ce plaidoyer pour les
sciences du texte, nous voulions d'abord insister sur la nécessité de maintenir, au-delà de la réponse à
des impératifs applicatifs (qui font souvent du texte un moyen), l'exigence de compréhension fine
des phénomènes de langue (qui prend le texte pour fin). Les outils puissants auxquels l'ingénierie du
texte a donné naissance peuvent aussi bien entendu contribuer à sa compréhension, pourvu que leur
utilisation s'intègre dans un cadre expérimental dont cette compréhension est l'objectif clair. C'est ce
cadre expérimental dont nous espérons pouvoir contribuer modestement à dessiner les contours, par
la mise en lumière de principes pouvant guider sa mise en place et leur illustration dans une librairie
naissante dédiée à l'expérimentation sur corpus, Skhólion.
Références

ARTSTEIN R. & POESIO M. (2008). Inter-Coder Agreement for Computational Linguistics. *Computational Linguistics*, **34**(4), 555–596. DOI: http://dx.doi.org/10.1162/coli.07-034-R2.

BIRD S., KLEIN E. & LOPER E. (2009). *Natural language processing with Python: analyzing text with the natural language toolkit*. O'Reilly.

BURNARD L., O'KEEFE K. O. & UNSWORTH J., Éds. (2006). *Electronic Textual Editing*. Modern Language Association.

CUNNINGHAM H., MAYNARD D., BONTCHEVA K. & TABLAN V. (2002). GATE: A Framework and Graphical Development Environment for Robust NLP Tools and Applications. In *Proceedings of the 40th Anniversary Meeting of the Association for Computational Linguistics (ACL'02)*.

CUNNINGHAM H., MAYNARD D., BONTCHEVA K., TABLAN V., ASWANI N., ROBERTS I., GORRELL G., FUNK A., ROBERTS A., DAMLJANOVIC D., HEITZ T., GREENWOOD M. A., SAGGION H., PETRAK J., LI Y. & PETERS W. (2011). *Text Processing with GATE* (Version 6).

CUNNINGHAM H., TABLAN V., ROBERTS A. & BONTCHEVA K. (2013). Getting More Out of Bio-medical Documents with GATE's Full Lifecycle Open Source Text Analytics. *PLoS Computational Biology*, **9**(2), e1002854. DOI: 10.1371/journal.pcbi.1002854.

ENJALBERT P., BONTCHEVA K. & HABERT B., Éds. (2008). *Plate-formes pour le traitement automatique des langues*. Volume 49(2) de Revue TAL. France : ATALA (Association pour le Traitement Automatique des Langues).

FORT K. (2016). *Collaborative Annotation for Reliable Natural Language Processing: Technical and Sociological Aspects*. Wiley.

HARRIS C. R., MILLMAN K. J., WALT S. J. V. D., GOMMERS R., VIRTANEN P., COURNA-PEAU D., WIESER E., TAYLOR J., BERG S., SMITH N. J., KERN R., PICUS M., HOYER S., KERKWIJK M. H. V., BRETT M., HALDANE A., RÍO J. F. D., WIEBE M., PETERSON P., GÉRARD-MARCHANT P., SHEPPARD K., REDDY T., WECKESSER W., ABBASI H., GOHLKE C. & OLIPHANT T. E. (2020). Array programming with NumPy. *Nature*, **585**(7825), 357–362. Publisher: Springer Science and Business Media LLC, DOI: 10.1038/s41586-020-2649-2.

HEIDEN S. (2010). The TXM Platform: Building Open-Source Textual Analysis Software Compatible with the TEI Encoding Scheme. In R. OTOGURO, K. ISHIKAWA, H. UMEMOTO, K. YOSHIMOTO & Y. HARADA, Éds., *Proceedings of the 24th Pacific Asia Conference on Language, Information and Computation*, p. 389–398, Sendai, Japon : Institute for Digital Enhancement of Cognitive Development, Waseda University.

IDE N. & VÉRONIS J., Éds. (1995). *Text Encoding Initiative: Background and Context*. Text, Speech and Language Technology. Dordrecht : Kluwer.

KLIE J.-C., BUGERT M., BOULLOSA B., CASTILHO R. E. D. & GUREVYCH I. (2018). The INCEPITION Platform: Machine-Assisted and Knowledge-Oriented Interactive Annotation. In *Proceedings of the 27th International Conference on Computational Linguistics: System Demonstrations*, p. 5–9 : Association for Computational Linguistics.

KLUYVER T., RAGAN-KELLEY B., PÉREZ F., GRANGER B., BUSSONNIER M., FREDERIC J., KELLEY K., HAMRICK J., GROUT J., CORLAY S., IVANOV P., AVILA D., ABDALLA S. & WILLING C. (2016). Jupyter Notebooks – a publishing format for reproducible computational workflows. In F. LOIZIDES & B. SCHMIDT, Éds., *Positioning and Power in Academic Publishing: Players, Agents and Agendas*, p. 87 – 90 : IOS Press.
LAFON P. (1984). *Dépouillements et statistiques en lexicométrie*. Volume 24 de Travaux de linguistique quantitative. Genève : Paris : Slatkine ; Champion.

LANDRAGIN F., POIBEAU T. & VICTORRI B. (2012). ANALEC : a New Tool for the Dynamic Annotation of Textual Data. In *Proceedings of Language Resources and Evaluation (LREC 2012)*, p. 357–362, Istanbul, Turkey.

LEBART L., SALEM A. & BERRY L. (1998). *Exploring Textual Data*. Text, speech, and language technology. Kluwer Academic.

MCKINNEY W. (2010). Data Structures for Statistical Computing in Python. p. 56–61, Austin, Texas. DOI: 10.25080/Majora-92bf1922-00a.

MELLET S. (2002). Corpus et recherches linguistiques : Introduction. *Corpus*, (1). DOI: 10.4000/corpus.7.

MORETTI F. (2013). *Distant reading*. London ; New York : Verso.

PAUMIER S., GUENTHNER F., LAPORTE E., MALCHOK F., MARSCHNER C., MARTINEAU C., MARTÍNEZ C., MAUREL D., NAGEL S., NEME A., PETIT M., STIEHLER J. & VOLLANT G. (2021). UNITEX 3.3 Manuel d'utilisation.

PEDREGOSA F., VAROQUAUX G., GRAMFORT A., MICHEL V., THIRION B., GRISEL O., BLONDEL M., PRETTENHOFER P., WEISS R., DUBOURG V., VANDERPLAS J., PASSOS A., COURNAPEAU D., BRUCHER M., PERROT M. & DUCHESNAY E. (2011). Scikit-learn : Machine Learning in Python. *Journal of Machine Learning Research*, **12**, 2825–2830.

RASTIER F. (2001). *Arts et sciences du texte*. Formes sémiotiques. Paris : Presses universitaires de France, 1re édition.

SCHMID H. (1994). Probabilistic Part-of-Speech Tagging Using Decision Trees. In *Proceedings of the Conference on New Methods in Language Processing*, Manchester, UK.

SILBERZTEIN M. (2016). *Formalizing natural languages : the NooJ approach*. Collection Science cognitive et management des connaissances. London Hoboken : ISTE John Wiley and Sons.

STENETORP P., PYYSALO S., TOPIĆ G., OHTA T., ANANIADOU S. & TSUJII J. (2012). BRAT : a Web-based Tool for NLP-Assisted Text Annotation. In F. SEGOND, Éd., *Proceedings of the Demonstrations at the 13th Conference of the European Chapter of the Association for Computational Linguistics*, p. 102–107, Avignon, France : Association for Computational Linguistics.

WIDLÖCHER A. & BILHAUT F. (2008). Articulation des traitements en TAL. Principes méthodologiques et mise en œuvre dans la plate-forme LinguaStream. *Revue TAL (Traitement Automatique des Langues)*, **49**(2), 73–101. Place : France Publisher : ATALA (Association pour le Traitement Automatique des Langues).

WIDLÖCHER A. & MATHET Y. (2012). The Glozz Platform : a Corpus Annotation and Mining Tool. In C. CONCOLATO & P. SCHMITZ, Éds., *ACM Symposium on Document Engineering (DocEng’12)*, p. 171–180, Paris, France : ACM.
Annexes - Quelques illustrations du cadre proposé par Skhólion

Les exemples fournis ci-après ont pour unique objectif de donner une idée des informations accessibles
depuis l'API et de la relative simplicité de mise en œuvre des traitements et des outils de visualisation
proposés. Les algorithmes présentés ne sont pas toujours optimaux mais permettent d'illustrer en
particulier l'exploitation des niveaux de segmentation et la possiblité de s'appuyer sur les annotations
antérieurement produites.

<figure><img src="image_207.png" /></figure>

<figure><img src="image_208.png" /><figcaption>FIGURE 2 – Visualisation simple d’un item de corpus dans un navigateur web</figcaption></figure>
<figure><img src="image_209.png" /></figure>

<figure><img src="image_210.png" /><figcaption>FIGURE 3 – Annotation par expressions régulières au niveau caractère, puis visualisation des annotations et des structures de traits associées</figcaption></figure>
<figure><img src="image_211.png" /></figure>

<figure><img src="image_212.png" /><figcaption>FIGURE 4 – Application d’expressions régulières au contenu textuel des phrases d’un corpus composé de plusieurs textes</figcaption></figure>
<figure><img src="image_213.png" /></figure>

<figure><img src="image_214.png" /><figcaption>FIGURE 5 – Annotation de tokens POS-taggés, puis application de motifs REGEXOA (REGEX On Annotations) pour l'annotation d'une séquence d'annotations de plus bas niveau</figcaption></figure>
<figure><img src="image_215.png" /><figcaption>FIGURE 6 – Annotation de phrases et visualisation du texte annoté dans JupyterLab</figcaption></figure>
<figure><img src="image_216.png" /><figcaption>FIGURE 7 – Extraction d'une annotation et visualisation dans son contexte</figcaption></figure>

<figure><img src="image_217.png" /><figcaption>FIGURE 8 – Extraction d'une annotation et visualisation dans son contexte, en intégrant les descriptions des autres objets présents dans ce contexte</figcaption></figure>
<figure><img src="image_218.png" /><figcaption>FIGURE 9 – Extraction d’une sélection d’annotations</figcaption></figure>

<figure><img src="image_219.png" /><figcaption>FIGURE 10 – Récupération d'un TokenFrame et manipulation du DataFrame Pandas sous-jacent</figcaption></figure>
<figure><img src="image_220.png" /><figcaption>FIGURE 11 – Exemples de manipulation d'un DataFrame avec Pandas</figcaption></figure>

<caption>649</caption>
# Repérage et caractérisation automatique des émotions dans des textes : traiter aussi leurs modes d'expression indirects

Aline Étienne¹

Delphine Battistelli¹

Gwénolé Lecorvé²

(1) Univ. Paris-Nanterre, CNRS, MoDyCo - Nanterre, France

(2) Orange - Lannion, France

acm.etienne@gmail.com, del.battistelli@gmail.com, gwenole.lecorve@orange.com

## RÉSUMÉ

Cet article présente un modèle capable de prédire (A) si une phrase contient l'expression d'une émotion, (B) selon quel(s) mode(s) cette émotion est exprimée, (C) si elle est basique ou complexe, et (D) quelle est sa catégorie exacte. Notre principale contribution est d'intégrer le fait qu'une émotion puisse s'exprimer selon différents modes : depuis un mode direct, essentiellement lexicalisé, jusqu'à un mode plus indirect, où des émotions vont être seulement suggérées, mode dont les approches en TAL ne tiennent généralement pas compte. Nos expériences sur des textes en français pour les enfants mènent à des résultats tout à fait acceptables en comparaison de ce sur quoi des annotateurs humains experts en psycholinguistique s'accordent et à des résultats meilleurs que ceux produits par GPT-3.5 via du *prompting*. Ceci offre une perspective intéressante de prise en compte des émotions comme facteur d'analyse automatique de la complexité dans les textes, cadre plus général de nos travaux.

## ABSTRACT

**Spotting and characterization emotions in texts : also addressing indirect modes of expression.**

This paper presents a model able to predict whether a sentence expresses an emotion, (B) the mode(s) in which it is expressed, (C) whether it is basic or complex, and (D) its emotional category. One of our major contributions is to integrate the fact that an emotion can be expressed in different modes : from a direct mode, essentially lexicalized, to a more indirect mode, where emotions will only be suggested, a mode that NLP approaches generally don't take into account. Experiments on French texts intended for children show acceptable results compared to the human annotators' agreement, and the lower results obtained by a large language model without fine-tuning. They offer an interesting perspective on how to take emotions into account as a factor in the automatic analysis of complexity in texts, which is the more general framework of our work.

**MOTS-CLÉS** : Émotions, mode d'expression, complexité, étiquetage multi-tâches.

**KEYWORDS:** Emotions, expression mode, complexity, multi-task labeling.

## 1 Introduction

En traitement automatique des langues (TAL), la tâche de repérage des émotions est assez souvent abordée à propos de textes produits dans un cadre d'interactions ou conversations (par ex. (Poria et al., 2019)), orales comme écrites (chats, forums, tweets) avec des jeux de données souvent multimodaux (par ex. (Busso et al., 2008; Poria et al., 2018; Chen et al., 2018). La visée est généralement de pouvoir

<figure><img src="image_221.png" /></figure>

<footnote>Le modèle et les données sont disponibles sur https://huggingface.co/TextToKids.</footnote>
identifier les émotions ressenties par les locuteurs en situation dialogique. L'analyse des émotions dans des textes autres que de type conversationnel, comme par exemple des textes journalistiques et encyclopédiques ou encore des romans est un domaine moins développé en TAL. Elle relève de fait d'un autre type de visée qui n'est plus celui de caractériser l'état émotionnel du locuteur mais plutôt des personnages qui composent ces textes. Comme le soulignent certains travaux en psycholinguistique, les émotions sont dédiées dans ces types de textes - de manière plus ou moins contrôlée par le scripteur - à capter l'attention du lecteur. Elles permettent en outre de créer du lien entre les situations décrites et donc sont un facteur clé dans la compréhension (par ex. pour les enfants dans Davidson et al., 2001). Encore faut il que ces émotions elles-mêmes soient identifiées et comprises. Là se joue une question qui devient alors celle d'envisager les émotions comme un facteur de complexité, au moins relative pour reprendre la terminologie de Ehret et al. (2023), c'est-à-dire qui tient compte de la difficulté perçue par les locuteurs en termes d'apprentissage ou de compréhension de la langue. Un texte sera ainsi d'autant plus complexe qu'il contient d'émotions considérées comme complexes par un type de locuteur donné. Dans le cas d'enfants par exemple, on sait que certaines catégories émotionnelles ne sont pas accessibles avant un certain âge et que leur mode d'expression (direct vs. indirect ou implicite) joue également un rôle dans l'accessibilité à leur signification.

De ces réflexions sur la question des émotions comme facteur de complexité, nous avons choisi d'orienter nos travaux vers une meilleure prise en compte de la diversité des modes d'expression des émotions. Nous présentons un modèle qui introduit ainsi la notion de mode d'expression en plus des informations habituelles sur les catégories émotionnelles (par ex., joie, peur, etc.). En pratique, le modèle classe les émotions dans les textes à travers quatre tâches : (A) prédire si une phrase contient ou non une émotion ; (B) si oui, comment elle est exprimée (le *mode*); (C) s'il s'agit d'une catégorie d'émotion basique ou complexe ; et (D) dans quelle catégorie émotionnelle elle se situe. Le modèle est construit à partir du modèle CamemBERT (Martin et al., 2020) et de données dérivées d'un schéma d'annotation psycho-linguistiquement motivé comprenant différents types de sources. L'évaluation montre que le modèle proposé surpasse des approches fondées sur des resources expertes, des architectures non neuronales (SVM et XGBoost), et de l'inférence en-contexte (in-context learning d'un grand modèle de langue (GPT-3.5)). De plus, l'évaluation humaine menée en complément montre que les erreurs de prédiction faites par le modèle proposé se situent généralement dans les mêmes proportions que celles faites par les humains.

Dans la suite, la section 2 dresse une panorama de la littérature dédiée à l'identification des émotions dans les textes, notamment en TAL. Les sections 3, 4 et 5 détaillent respectivement les tâches traitées, les données associées, puis le modèle proposé. La section 6 rapporte enfin les expériences et résultats.

# 2 Cadre d'analyse des émotions et travaux connexes

Cette section fournit un bref aperçu du cadre d'analyse des émotions dans lequel nous nous situons et qui justifie le choix du schéma et des données (annotées avec ce schéma). Elle positionne également notre travail parmi les études en TAL sur l'identification automatique des émotions.

## 2.1 L'analyse des émotions en tant que facteur de complexité d'un texte

En psycho-linguistique, le rôle-clé des émotions des personnages sur la compréhension des textes est un sujet bien documenté (par ex. Dijkstra et al., 1995; Dyer, 1983). Parmi les travaux récents,
deux facteurs d'influence ont été mis en évidence dans la compréhension des émotions par les enfants, et donc des textes eux-mêmes : le *type d'émotion* exprimé, basique ou complexe – les émotions complexes (par ex. la fierté, la honte) étant plus difficiles à saisir car elles nécessitent une connaissance des normes sociales – (Davidson, 2006; Blanc & Quenette, 2017); ainsi que *la manière dont les émotions sont exprimées* (Creissen & Blanc, 2017)), directement *via* une étiquette émotionnelle, indirectement à travers la mention d'un comportement émotionnel, ou à travers la description d'une situation émotionnelle, cette dernière étant la plus difficile à comprendre. Bien sûr, la notion de catégorie émotionnelle est également abordée en psycho-linguistique, et il a été montré que certaines catégories prennent plus de temps à être maîtrisées par les enfants (par ex. Baron-Cohen et al., 2010).

Du côté du TAL, plusieurs travaux (voir par ex. Bostan & Klinger, 2018; Acheampong et al., 2020; Öhman, 2020) soulignent la grande hétérogénéité des schémas d'annotation des émotions – et des corpus annotés –, mettant ainsi clairement en évidence la difficulté de modéliser les émotions et *in fine* de les analyser. Cette hétérogénéité concerne tous les aspects de ces travaux : depuis les notions (par ex. le nombre et les types de catégories émotionnelles) et le type de données étudiées (journaux, tweets...) jusqu'aux procédures d'annotation (*crowdsourcing*, annotation par des experts) et méthodes d'évaluation mises en œuvre (par ex. avec ou sans accord entre annotateurs). Bien que certains travaux s'efforcent de prendre en compte des ensembles plus larges de notions et d'indices linguistiques pour analyser les émotions (par ex. Casel et al., 2021; Kim & Klinger, 2019), le concept le plus couramment utilisé reste la notion de *catégorie émotionnelle*, souvent abordée à travers une liste d'émotions de base introduite soit par Ekman (1992) (colère, dégoût, peur, joie, tristesse et surprise) ou Plutchik (1980) (catégories d'Ekman, anticipation et confiance), avec un accent sur une manière d'exprimer les émotions : le lexique émotionnel. Comme souligné dans (Klinger, 2023) et dans (Troiano et al., 2023), quelques approches très récentes en TAL visent cependant à acquérir une compréhension plus profonde des unités textuelles qui soutiennent l'évocation d'émotions en dehors des termes lexicaux directement émotionnels (par ex. «heureux», «colère»). Ces approches s'inspirent alors de modèles psychologiques et/ou linguistiques des émotions. Nous adoptons ici la même approche car nous visons à la fois les modes d'expression directs et indirects des émotions dans les textes. Comme Troiano et al. (2023), nous cherchons à évaluer à quel point les modèles computationnels peuvent capter des émotions exprimées indirectement (par ex., via la description de situations qui sont associées à des émotions eu égard à des normes sociales et à des conventions). Plus précisément, notre travail fait le choix du cadre proposé par Etienne et al. (2022). Ce cadre repose sur un schéma d'annotation détaillé des émotions et propose un corpus annoté manuellement dont la taille est compatible avec les expériences d'apprentissage automatique. À notre connaissance, c'est le seul travail qui correspond à l'objectif explicite d'analyser les émotions dans les textes en traitant à la fois les modes d'expression directs et indirects.

## 2.2 Identification automatique des émotions

En TAL, l'analyse des émotions dans les textes est généralement traitée comme une tâche de classification. L'hétérogénéité précédemment évoquée des schémas d'annotation et des corpus annotés se reflète alors dans la diversité des classes prédites, de la granularité des éléments à classifier et des méthodes pour développer et évaluer les classificateurs. La manière dont les résultats sont présentés varie donc également d'un article à l'autre, ce qui rend la comparaison des performances plus difficile.

L'accent est souvent mis sur la classification en émotions de base (Strapparava & Mihalcea, 2007; Mohammad, 2012; Abdaoui et al., 2017; Demszky et al., 2020; Öhman et al., 2020; Bianchi et al.,
2021), bien que certains travaux utilisent un mélange d'émotions de base et complexes (Balahur et al., 2012; Fraisse & Paroubek, 2015; Abdaoui et al., 2017; Mohammad et al., 2018; Liu et al., 2019; Demszky et al., 2020). De plus, il existe une longue histoire de construction et d'utilisation de lexiques émotionnels et la diversité des marqueurs linguistiques des émotions n'est pas systématiquement prise en compte, bien qu'elle soit mentionnée dans plusieurs travaux (Alm et al., 2005; Mohammad, 2012; Kim & Klinger, 2018; Demszky et al., 2020)). Certains travaux étudient malgré tout d'autres moyens d'expression. par ex., Kim & Klinger (2019) analysent les expressions non verbales des émotions par les personnages dans un corpus de fanfictions (par ex. les regards, les gestes). Balahur et al. (2012) visent à détecter les émotions indirectes. Ces travaux ont pour limite de ne se focaliser à chaque fois que sur un seul mode d'expression, laissant ainsi de côté les complémentarités entre modes. Pour leur part, sur la base du modèle de processus de composants émotionnels de Scherer (2005), Casel et al. (2021) ont annoté puis prédit plusieurs composantes des émotions, tels que les symptômes physiologiques et les expressions motrices des émotions, ou l'évaluation cognitive des événements. Bien que (Casel et al., 2021) traitent d'un ensemble plus large d'indices, ceux-ci ne sont pas rigoureusement motivés linguistiquement. Par conséquent, en s'appuyant sur (Etienne et al., 2022), la véritable originalité de notre travail réside dans la prise en compte de différents modes d'expression des émotions.

Historiquement, les modèles *Support Vector Machine* (SVM) ont été largement utilisés pour classer des phrases (Aman & Szpakowicz, 2007; Mohammad, 2012)) ou des textes (Abdaoui et al., 2017; Balahur et al., 2012; Fraisse & Paroubek, 2015; Mohammad, 2012) selon la catégorie émotionnelle qu'ils expriment. Jusqu'à l'avènement des plongements, les entrées étaient principalement symboliques : sacs de mots ou n-grammes, caractéristiques basées sur des ressources émotionnelles telles que WordNetAffect (Aman & Szpakowicz, 2007; Balahur et al., 2012; Strapparava & Mihalcea, 2007) ou lexiques émotionnels (Strapparava & Mihalcea, 2007; Abdaoui et al., 2017; Kim & Klinger, 2018). Aujourd'hui, les réseaux neuronaux (Kim & Klinger, 2018) et les architectures Transformer (Liu et al., 2019; Demszky et al., 2020; Öhman et al., 2020; Bianchi et al., 2021) dominent évidemment l'état de l'art. En ce qui concerne le français, aucun modèle basé sur l'architecture Transformer n'a encore été proposé à notre connaissance.

## 3 Tâches

Construit dans la perspective globale de permettre l'analyse des émotions en tant que facteur de complexité, notre travail tient ainsi compte de deux éléments clé pour aborder la complexité d'une émotion : sa catégorie et son mode d'expression. L'objectif est de proposer un modèle Transformer pour 4 tâches de classification (notés A, B, C et D) au niveau de la *phrase*, par opposition au niveau du texte (cela peut, par exemple, permettre d'étudier comment la présence d'émotions évolue le long d'un texte). Les phrases peuvent contenir plusieurs émotions et les classifications sont donc multi-étiquettes. Toutes les tâches sont appises ensemble, menant à un modèle unique.

**Tâche A : Présence d'émotion** La première tâche vise à prédire la présence d'informations émotionnelles dans une phrase donnée (prédiction binaire).

**Tâche B : Mode d'expression** Le mode d'expression se concentre sur les moyens linguistiques utilisés pour transmettre la présence d'une émotion dans un texte. Suivant Etienne et al. (2022), 4 modes sont considérés : les **émotions désignées** directement indiquées par un terme du lexique émotionnel (par ex. *heureux*, *effrayé*); les **émotions comportementales** qui s'appuient sur la
<table><caption>TABLE 1 – Exemples de phrases en contexte et étiquettes de référence pour les tâches A, B, C et D.</caption><thead><tr><th colspan="14">Phrase à classifier (+phrases voisines)</th></tr><tr><th></th><th></th><th>émot.</th><th>comport.</th><th>désignée</th><th>montrée</th><th>suggérée</th><th>basique</th><th>complexe</th><th>admiration</th><th>autre</th><th>colère</th><th>culpabilité</th><th>dégoût</th><th>embarras</th><th>fierté</th><th>jalousie</th><th>joie</th><th>peur</th><th>surprise</th><th>tristesse</th></tr></thead><tbody><tr><td>(1) ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron. Mais ça ne s'est pas très bien passé.</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>(2) Les extraterrestres ont une autre grande qualité : ils sont mystérieux, viennent d'un monde inconnu et donc, ils font peur ! Or, la peur est une émotion très puissante, qu'on ressent dans notre corps. Quand on regarde des films effrayants, on peut éprouver un certain plaisir parce qu'on domine notre peur.</td><td>✓</td><td>✓</td><td></td><td></td><td></td><td></td><td>✓</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td>✓</td><td></td><td></td><td></td></tr><tr><td>(3) Le jour du marché, le paysan vendit très bien son blé et sa paille, tandis que les diables ne tirèrent pas un liard de leurs tas de chaume. – Tu m'as trompé, cria le diable. Mais l'an prochain, il n'en sera pas de même.</td><td>✓</td><td>✓</td><td></td><td></td><td></td><td>✓</td><td>✓</td><td></td><td></td><td>✓</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>(4) Cet été, Nolita a pour la première fois depuis longtemps dû manger une merguez, parce qu'il n'y avait rien d'autre. « Ça m'a écœurée, et j'ai culpabilisé, raconte-t-elle. Je me suis forcée. »</td><td>✓</td><td></td><td>✓</td><td></td><td></td><td></td><td>✓</td><td>✓</td><td></td><td></td><td>✓</td><td>✓</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>(5) Aux JO de Rome, l'événement historique a lieu lors du marathon : l'Ethiopien Abebe Bikila est le premier sportif venu d'Afrique noire à devenir champion olympique. Surtout, il réussit l'exploit de gagner... pieds nus ! Il avait en effet pris l'habitude, chez lui en Ethiopie, de courir ainsi.</td><td>✓</td><td></td><td></td><td></td><td>✓</td><td>✓</td><td>✓</td><td>✓</td><td></td><td></td><td></td><td></td><td></td><td>✓</td><td>✓</td><td></td><td>✓</td><td></td><td></td></tr></tbody></table>

description d'un comportement émotionnel, telles que des manifestations physiologiques (par ex. *pleurer*, *sourire*) ou d'autres comportements (par ex. *gifler quelqu'un*); les **émotions montrées** qui sont exprimées par des caractéristiques linguistiques de surface très hétérogènes des énoncés qui reflètent principalement l'état émotionnel du scripteur (par ex. interjections, phrases courtes); les **émotions suggérées** qui émanent de la description d'une situation généralement associée à un sentiment émotionnel d'après les normes sociales et conventions (par ex. *voir un bon ami après une longue période* suggère la joie).

**Tâche C : Type d'émotion** La tâche C vise à prédire la présence de types d'émotions basique et complexe (2 prédictions binaires simultanées). À notre connaissance, cette notion n'a encore jamais été étudiée en tant que telle dans l'analyse automatique des émotions (bien que les catégories émotionnelles basiques et complexes aient été utilisées en TAL (cf. section 2.2)). Cela est probablement dû au fait que le type d'une émotion exprimée est directement lié à sa catégorie émotionnelle. Cependant, le type d'émotion est en lui-même un marqueur de complexité, comme nous l'avons vu.

**Tâche D : Catégorie émotionnelle** Conformément à Etienne et al. (2022), la tâche D est conçue pour étiqueter 11+1 catégories émotionnelles, à savoir les 6 émotions de base d'Ekman (*colère*, *dégoût*, *peur*, *joie*, *tristesse* et *surprise*) et 5 émotions complexes (*admiration*, *embarras*, *culpabilité*, *jalousie* et *fierté*). Une dernière catégorie, nommée *autre*, est utilisée pour capturer les marqueurs qui expriment toute autre émotion (par ex. *haine*, *mépris*, *amour*, *etc.*).

## 4 Données

Notre corpus est dérivé de celui fourni dans (Etienne et al., 2022). Il se compose de 1 594 textes en français (28K phrases, 515K mots) destinés aux enfants de 6 à 14 ans, répartis en 3 types : très principalement des textes journalistiques (91 % des phrases), des articles encyclopédiques (9 %) et des romans (1 %). Originellement, le corpus est accompagné d'annotations d'experts délimitant des unités émotionnelles (segments) dans les textes. Chaque unité est décrite par son mode d'expression et sa catégorie émotionnelle. Nous avons fusionné ces annotations depuis le niveau des segments vers le niveau de la phrase. Ainsi, une phrase donnée peut couvrir plusieurs unités émotionnelles. La présence d'émotions et les types d'émotions ont été dérivés des étiquettes de mode d'expression et
<table><thead><tr><th rowspan="2">Tâche</th><th rowspan="2">Étiquettes</th><th colspan="3">Prop. phr. (%)</th></tr><tr><th>entr.</th><th>dév.</th><th>test</th></tr></thead><tbody><tr><td rowspan="2">(A) Prés. émotion</td><td>émotion</td><td>20,2</td><td>15,8</td><td>17,6</td></tr><tr><td>comport.</td><td>4,6</td><td>3,6</td><td>4,3</td></tr><tr><td rowspan="4">(B) Mode d'expression</td><td>désigné</td><td>5,3</td><td>5,2</td><td>5,7</td></tr><tr><td>montré</td><td>3,6</td><td>2,3</td><td>3,5</td></tr><tr><td>suggéré</td><td>7,1</td><td>5,8</td><td>6,3</td></tr><tr><td>basique</td><td>15,4</td><td>12,6</td><td>13,9</td></tr><tr><td rowspan="7">(C) Type d'émotion</td><td>complexe</td><td>2,0</td><td>2,1</td><td>2,3</td></tr><tr><td>admiration</td><td>0,6</td><td>1,1</td><td>1,0</td></tr><tr><td>autre</td><td>5,0</td><td>3,2</td><td>3,7</td></tr><tr><td>colère</td><td>4,6</td><td>3,2</td><td>3,4</td></tr><tr><td>culpabilité</td><td>0,1</td><td>0,0</td><td>0,1</td></tr><tr><td>dégoût</td><td>0,2</td><td>0,3</td><td>0,2</td></tr><tr><td>embarras</td><td>0,6</td><td>0,6</td><td>0,6</td></tr><tr><td rowspan="7">(D) Catégorie émotionnelle</td><td>fierté</td><td>0,7</td><td>0,4</td><td>0,9</td></tr><tr><td>jalousie</td><td>0,0</td><td>0,0</td><td>0,0</td></tr><tr><td>joie</td><td>3,2</td><td>2,3</td><td>3,6</td></tr><tr><td>peur</td><td>3,8</td><td>3,3</td><td>3,8</td></tr><tr><td>surprise</td><td>3,0</td><td>3,1</td><td>2,5</td></tr><tr><td>tristesse</td><td>2,5</td><td>2,0</td><td>2,5</td></tr></tbody></table>

<table><caption>TABLE 3 – Performances des modèles (moyennes sur 3 exécutions, tous les écarts-types sont inférieurs à 0,02).</caption><thead><tr><th>Tâche</th><th>Modèle</th><th>Macro R</th><th>Macro P</th><th>Macro F1</th></tr></thead><tbody><tr><td rowspan="4">(A) Présence d'une émotion</td><td>SVM</td><td>0,481</td><td>0,659</td><td>0,556</td></tr><tr><td>XGBoost</td><td>0,223</td><td>0,700</td><td>0,338</td></tr><tr><td>GPT-3.5</td><td>0,622</td><td>0,443</td><td>0,518</td></tr><tr><td>notre modèle</td><td><strong>0,764</strong></td><td><strong>0,741</strong></td><td><strong>0,752</strong></td></tr><tr><td rowspan="4">(B) Mode d'expression</td><td>SVM</td><td>0,267</td><td>0,721</td><td>0,368</td></tr><tr><td>XGBoost</td><td>0,218</td><td><strong>0,730</strong></td><td>0,314</td></tr><tr><td>GPT-3.5</td><td>0,513</td><td>0,101</td><td>0,152</td></tr><tr><td>notre modèle</td><td><strong>0,626</strong></td><td>0,665</td><td><strong>0,645</strong></td></tr><tr><td rowspan="4">(C) Type d'émotion</td><td>SVM</td><td>0,211</td><td>0,343</td><td><strong>0,261</strong></td></tr><tr><td>XGBoost</td><td>0,120</td><td><strong>0,659</strong></td><td>0,200</td></tr><tr><td>GPT-3.5</td><td><strong>0,756</strong></td><td>0,123</td><td>0,199</td></tr><tr><td>notre modèle</td><td>0,557</td><td>0,662</td><td><strong>0,601</strong></td></tr><tr><td rowspan="4">(D) Catégorie émotionnelle</td><td>SVM</td><td>0,125</td><td>0,487</td><td>0,186</td></tr><tr><td>XGBoost</td><td>0,192</td><td><strong>0,565</strong></td><td>0,272</td></tr><tr><td>GPT-3.5</td><td><strong>0,697</strong></td><td>0,109</td><td>0,174</td></tr><tr><td>notre modèle</td><td>0,397</td><td>0,463</td><td><strong>0,420</strong></td></tr></tbody></table>

<caption>TABLE 2 – Répartition des étiquettes</caption>

de catégorie émotionnelle. Au final, chaque phrase est associée à un vecteur de 19 booléens. Des exemples de phrases en contexte sont fournis dans le tableau 1.

Les données sont divisées en ensembles d'entraînement, de développement et de test (70/10/20% des phrases, respectivement), tel que toutes les phrases d'un texte se trouvent dans le même sous-ensemble, ceci afin d'éviter un biais d'entraînement sur les particularités des textes (par ex., le nom d'un personnage). Le tableau 2 présente la proportion des étiquettes au sein du corpus. Globalement, les proportions sont comparable d'un sous-ensemble à un autre. Plusieurs déséquilibres apparaissent au sein des tâches. (A) Seulement 15-20% des phrases sont émotionnelles. (B) Les modes d'expression sont assez uniformément répartis, 'désigné' étant le moins fréquent (3% des phrases) et suggéré le plus courant (6%). Les sommes des pourcentages de chaque mode sont supérieures aux pourcentages de l'étiquette *émotionnelle* car une phrase peut certaines émotions sont véhiculés par plusieurs modes et une phrase peut aussi contenir plusieurs unités émotionnelles dont les modes respectifs diffèrent. (C) Les étiquettes des types d'émotions sont très déséquilibrées, avec une nette dominance des émotions basiques. La catégorie émotionnelle 'autre' (tâche D) n'est associée à aucun type d'émotion, d'où le fait que la somme des pourcentages basique et complexe est inférieure à celle des phrases émotionnelles. (D) Les étiquettes des catégories émotionnelles sont déséquilibrées, avec des pourcentages toujours en dessous de 5% des phrases. Les catégories colère, peur, joie, tristesse, surprise et autre sont dominantes, alors que d'autres sont très rares (dégoût, culpabilité et jalousie).

## 5 Modèle proposé

Le modèle proposé résulte d'un affinage (fine-tuning) de la version de base du modèle pré-entraîné CamemBERT (Martin et al., 2020). Il s'agit d'un modèle de type encodeur (BERT) de 110 millions de paramètres et 12 couches BERT. Il a été pré-entraîné sur 138 Go de textes français (Suárez et al., 2019). Bien que des modèles de langue plus récents et plus grands (génératifs) comme Llama2 ou Mistral conduiraient probablement à de meilleurs résultats, le choix d'un modèle de taille raisonnable
est motivé par deux raisons. Premièrement, notre objectif est de montrer que, contrairement à plusieurs autres tâches en TAL, la caractérisation fine des émotions dans les textes ne peut pas être réalisée en sollicitant des modèles de langage génériques (c.-à-d. non spécialisés) de grande taille *via* de l'apprentissage en-contexte (c.-à-d. sans affinage). Ensuite, notre travail vise une solution légère, de sorte que la caractérisation des émotions puisse être intégrée comme un processeur pour l'analyse de la complexité des textes dans une collection massive de textes d'un moteur de recherche public. Ainsi, même si l'affinage de modèles plus grands fait partie de nos perspectives, l'article ne l'aborde pas.

Nous affinons le modèle CamemBERT en remplaçant sa dernière couche de prédiction de jetons par une couche de classification binaire de la taille du nombre d'étiquettes, avec l'entropie croisée binaire comme fonction de perte. L'affinage porte sur tous les poids du modèle, c.-à-d. qu'aucune couche n'est gelée. Suite à des travaux de prototypage sur l'ensemble de développement, le modèle final n'est pas directement appris à partir de CamemBERT. Un premier affinage est conduit sur la seule tâche A pendant 3 époques (couche de classification de taille 1), puis le modèle final est affiné sur toutes les tâches en partant de ce modèle intermédiaire pendant 6 époques supplémentaires (la couche de classification finale est remplacée par une couche vierge de taille 19). L'optimiseur est Adam avec un taux d'apprentissage de $10^{-5}$ (sans décroissance) et des lots de 8 exemples.

D'autres expérimentations (non rapportés dans cet article) ont été conduites sur l'ensemble de développement, par exemple sur le choix d'une fenêtre ou non autour des phrases, la pondération des classes ou non, ou encore le choix d'un premier affinage uniquement sur la tâche A ou non. Au final, les résultats présentés sont ceux de la meilleure stratégie obtenues sur l'ensemble de développement en moyenne les résultats sur 3 exécution de l'apprentissage avec des initialisation aléatoire différentes. Notamment, une pondération entre classes est adoptée afin que ne favorise pas trop les classes majoritaires. Le facteur de pondération maximal est borné à 50 pour, à l'inverse, ne pas donner non plus trop d'importance aux classes très rares. Enfin, le modèle prend en entrée un triplet de phrases où la phrase cible à étiqueter est entourée de sa phrase précédente et suivante sous la forme avant : `{précédente}
actuelle : {cible}
après : {suivante}
`. Pour plus de détails, le lecteur est invité à consulter (Etienne, 2023).

# 6 Évaluations automatique et humaine

## 6.1 Comparaison avec d'autres modèles

Le modèle proposé est comparé à trois autres types de modèles. Des modèles SVM ont été entraînés car c'est une approche historique dans le domaine. Deux types de descripteurs d'entrée ont été utilisés : (i) des sac-de-jetons où les jetons proviennent du tokeniseur de CamemBERT, restreints à ceux de l'ensemble d'entraînement, résultant en des vecteurs d'entrée de dimension 18 437 ; (ii) des plongements de phrases de taille 768 obtenus avec SentenceTransformer (Reimers & Gurevych, 2019) et CamemBERT<fnref n="1" />. Des modèles XGBoost ont été entraînés car c'est une technique plus récente, légère et compétitive pour de nombreuses tâches de classification, en particulier avec des données déséquilibrées (Chen & Guestrin, 2016). Les descripteurs d'entrée sont les mêmes que pour les SVM. Notre approche est comparée à GPT-3.5 (Ouyang et al., 2022). Pour un échantillon d'entrée donné, GPT-3.5 est sollicité de manière incrémentale pour l'annoter avec des étiquettes binaires (oui/non). Consécutivement pour chaque tâche et étiquette, une description en langage naturel de ce qui est

<footnote n="1">1. https://huggingface.co/dangvantuan/sentence-camembert-base</footnote>
<table><caption>TABLE 4 – Éléments de comparaison avec des travaux proches.</caption><thead><tr><th>Réf.</th><th>Lg.</th><th>Étiquettes</th><th>Modèle</th><th>Lexique</th><th>Granularité</th><th>Macro-F1 du meill modèle</th></tr></thead><tbody><tr><td>notre modèle</td><td>Fra</td><td>colère, dég., joie, peur, surpr., trist.</td><td>Transformer</td><td>aucun</td><td>triplets de phr.</td><td>0,52</td></tr><tr><td>(Öhman et al., 2020)</td><td>Ang</td><td>idem + conf., anticipation</td><td>Transformer</td><td>aucun</td><td>phr.</td><td>0,54</td></tr><tr><td>(Kim and Klinger, 2018)</td><td>Fra</td><td>idem + conf., anticipation</td><td>symb.</td><td>NRC</td><td>triplets de phr.</td><td>0,31</td></tr><tr><td>(Fraisse, Paroubek, 2015)</td><td>Fra</td><td>colère, peur, tristesse</td><td>MLP</td><td>aucun</td><td>triplets de phr.</td><td>0,31</td></tr><tr><td></td><td></td><td></td><td>SVM</td><td>perso.</td><td>paragr.</td><td>0,31</td></tr></tbody></table>

<table><caption>TABLE 5 – Éléments de comparaison avec des outils disponibles pour le français.</caption><thead><tr><th>Tâche</th><th>Étiquette</th><th>Approche</th><th>Macro-F1</th></tr></thead><tbody><tr><td rowspan="3">(A) Présence d'une émotion</td><td rowspan="3">émotionnelle</td><td>notre modèle</td><td><strong>0.752</strong></td></tr><tr><td>TextBlob</td><td>0.299</td></tr><tr><td>Emotaix</td><td>0.445</td></tr><tr><td rowspan="6">(B) Mode d'expression</td><td rowspan="3">comport.</td><td>notre modèle</td><td><strong>0.626</strong></td></tr><tr><td>Emotaix</td><td>0.041</td></tr><tr><td>notre modèle</td><td><strong>0.807</strong></td></tr><tr><td rowspan="2">désignée</td><td>Emotaix</td><td>0.559</td></tr><tr><td>notre modèle</td><td><strong>0.466</strong></td></tr><tr><td rowspan="2">(D) Catégories émot. (mode désigné seul.)</td><td>toutes</td><td>Emotaix</td><td>0.425</td></tr><tr><td>positive</td><td>notre modèle</td><td><strong>0.575</strong></td></tr><tr><td rowspan="2">Polarité émotionnelle</td><td>positive</td><td>TextBlob</td><td>0.163</td></tr><tr><td>négative</td><td>notre modèle</td><td><strong>0.678</strong></td></tr><tr><td></td><td></td><td>TextBlob</td><td>0.168</td></tr></tbody></table>

attendu est fournie au modèle avant de demander de répondre, accompagnée d'exemples issus de l'ensemble d'entraînement pour chaque étiquette. Différentes amorces ont été testées (cf. détails dans l'annexe A). Celle retenue reporte de 2 à 4 exemples positifs par étiquette. Contrairement à SVM, XGBoost et notre modèle, cette approche n'est pas économe mais elle se passe d'entraînement.

Le tableau 3 résume les performances sur l'ensemble de test des meilleurs modèles pour chaque tâche – pour SVM et XGBoost, les descripteurs sac-de-jetons; pour GPT-3.5, les amorces sans exemples négatifs – et les compare à notre modèle. Les modèles sont évalués à travers les scores de rappel (R), de précision (P) et de score F1. Dans l'ensemble, il apparaît que notre modèle proposé surpasse significativement les SVM, XGBoost et GPT-3.5 en termes de scores F1 pour toutes les tâches, avec des valeurs qui sont presque le double du modèle le mieux classé pour les tâches B, C et D. Il semble surtout que tous les autres modèles tendent à favoriser soit le rappel (GPT-3.5) soit la précision (SVM, XGBoost), tandis que notre modèle est équilibré. Enfin, les faibles résultats de GPT-3.5 montrent que la tâche est difficile et nécessite un affinage.

## 6.2 Comparaison avec les travaux connexes

À défaut de travaux véritablement similaires aux nôtres, cette section rapporte des résultats complémentaires pour donner une meilleure intuition de la performance de notre modèle.

**Travaux comparables les plus proches** Le tableau 4 résume les performances des trois travaux les plus proches que nous avons pu trouver dans la littérature. Ils ont été choisis parce qu'ils prédisent tous des étiquettes sur une granularité proche de celui de la phrase. (Öhman et al., 2020) permet une comparaison avec un autre modèle Transformer; (Fraisse & Paroubek, 2015) avec un autre travail en français; et (Kim & Klinger, 2018) avec un méthode qui travaille au niveau des marqueurs linguistiques (par opposition au niveau phrastique ou textuel). Tous se concentrent uniquement sur les catégories émotionnelles. Les résultats montrent que notre modèle est compétitif.

**Implémentations fondées sur des ressources existantes** Deux ressources disponibles en français sont intéressantes pour l'identification des émotions : TextBlob (https://textblob.readthedocs.io/), une bibliothèque d'analyse des sentiments qui intègre un lexique français où
les termes sont associés à un poids négatif et positif reflétant leur polarité ; Emotaix (Piolat & Bannour, 2009), un autre lexique comprenant des associations (i) de termes avec des catégories émotionnelles pour le seul mode désigné, et (ii) d'autres termes avec le mode comportemental (mais cette fois sans information sur la catégorie émotionnelle). Plusieurs tâches gérées par notre modèle ont été répliquées *via* TextBlob et Emotaix. Pour tenir compte des différences entre ces ressources et notre modèle proposé, la tâche B a été limitée aux seuls modes comportemental et désigné et la tâche D au mode désigné. De plus, notre modèle a été testé sur une tâche de prédiction de la polarité émotionnelle sur notre ensemble de test puisque TextBlob est conçu pour cet usage. Pour prédire la polarité *via* notre modèle, les catégories ont été prédites et empiriquement projetés vers la polarité positive ou négative (par ex., *colère* est *négative*, *joie* est *positive*). Comme le montre le tableau 5, notre modèle se comporte nettement mieux que TextBlob et Emotaix, y compris dans la tâche de polarité émotionnelle pour laquelle il n'a pas été spécifiquement conçu. La seule tâche pour laquelle la concurrence demeurre est la prédiction des catégories lorsque le mode est désigné, ce qui est la situation la plus facile par rapport à la prise en compte de tous les modes.

## 6.3 Résultats par étiquette

Le tableau 6 présente les résultats de notre classifieur sur toutes les étiquettes de toutes les tâches. Des observations supplémentaires peuvent être faites comme suit. En ce qui concerne les modes d'expression (B), les émotions désignées sont très bien reconnues (F1 > 0,8), contrairement aux émotions suggérées (F1 < 0,5). Cela n'est pas surprenant car les émotions désignées sont les plus faciles à identifier pour un annotateur humains, tandis que les émotions suggérées ont la part d'interprétation la plus grande. La performance pour les types d'émotions (C) semble pour sa part liée aux résultats sur les catégories émotionnelles, puisque l'étiquette *basique* est, conformément à l'intuition, mieux reconnue que l'étiquette *complexe*. Enfin, concernant les catégories émotionnelles (D), trois d'entre elles ne sont jamais prédites (*culpabilité*, *dégoût* et *jalousie*). Ce sont les étiquettes les plus rares de l'ensemble d'entraînement, probablement trop pour que le modèle apprenne à les prédire. De fait, les catégories émotionnelles les mieux prédites sont les émotions de base, plus fréquentes, à savoir les étiquettes *surprise*, *peur* et *colère* (cf. tableau 2). Cependant, alors que *surprise* est l'étiquette la mieux prédite de la tâche D, ce n'est pas la plus représentée dans l'ensemble d'entraînement. Au contraire, *tristesse* n'est pas bien reconnue, même si c'est l'une des catégories émotionnelles les plus fréquentes. De nos analyses complémentaires, cela semblerait s'expliquer par des interactions parfois fortes entre les notions de mode d'expression et de catégorie émotionnelle. Par exemple, la catégorie *surprise*, qui est principalement *montrée* dans le corpus, est en moyenne 14 fois mieux reconnue lorsqu'elle est exprimée par ce mode par rapport aux autres modes. De même, la *colère*, principalement *comportementale* dans le corpus, est 4 fois mieux prédite dans ce mode.

## 6.4 Évaluation humaine

Étant donné la difficulté des tâches considérées, il est opportun de recouper l'évaluation automatique avec une analyse humaine, notamment pour donner une intuition de ce que représentent les erreurs de prédiction observées. Une expérience de validation perceptive a ainsi été menée avec trois experts en complexité textuelle et en émotions. Chacun d'eux a été informé des tâches et des définitions des étiquette en psycho-linguistique et en linguistique. Ils ont ensuite été chacun confrontés à 150 phrases de l'ensemble de test et à leurs étiquettes de catégorie émotionnelle et de mode d'expression. Ces
<table><thead><tr><th>Tâche</th><th>MacroR</th><th>MacroP</th><th>MacroF1</th><th>Étiquettes</th><th>R</th><th>P</th><th>F1</th></tr></thead><tbody><tr><td>(A) Présence d'une émotion</td><td>0,764</td><td>0,741</td><td>0,752</td><td>émotion</td><td>0,764</td><td>0,741</td><td>0,752</td></tr><tr><td rowspan="4">(B) Mode d'expression</td><td rowspan="4">0,626</td><td rowspan="4">0,665</td><td rowspan="4">0,645</td><td>comportem.</td><td>0,601</td><td>0,653</td><td>0,626</td></tr><tr><td>désigné</td><td>0,811</td><td>0,803</td><td>0,807</td></tr><tr><td>montré</td><td>0,667</td><td>0,726</td><td>0,695</td></tr><tr><td>suggéré</td><td>0,426</td><td>0,479</td><td>0,451</td></tr><tr><td rowspan="10">(C) Type d'émotion</td><td rowspan="10">0,557</td><td rowspan="10">0,662</td><td rowspan="10">0,601</td><td>basique</td><td>0,705</td><td>0,733</td><td>0,719</td></tr><tr><td>complexe</td><td>0,409</td><td>0,591</td><td>0,484</td></tr><tr><td>admiration</td><td>0,281</td><td>0,457</td><td>0,348</td></tr><tr><td>autre</td><td>0,745</td><td>0,592</td><td>0,660</td></tr><tr><td>colère</td><td>0,670</td><td>0,685</td><td>0,677</td></tr><tr><td>culpabilité</td><td>0,000</td><td>0,000</td><td>0,000</td></tr><tr><td>dégoût</td><td>0,000</td><td>0,000</td><td>0,000</td></tr><tr><td>embarras</td><td>0,364</td><td>0,600</td><td>0,453</td></tr><tr><td>fierté</td><td>0,333</td><td>0,615</td><td>0,432</td></tr><tr><td>jalousie</td><td>0,000</td><td>0,000</td><td>0,000</td></tr><tr><td>joie</td><td>0,530</td><td>0,709</td><td>0,606</td></tr><tr><td rowspan="4">(D) Catégorie émotionnelle</td><td rowspan="4">0,397</td><td rowspan="4">0,463</td><td rowspan="4">0,420</td><td>peur</td><td>0,717</td><td>0,661</td><td>0,688</td></tr><tr><td>surprise</td><td>0,697</td><td>0,739</td><td>0,717</td></tr><tr><td>tristesse</td><td>0,428</td><td>0,504</td><td>0,463</td></tr></tbody></table>

<table><caption>TABLE 7 – Accord des experts vis-à-vis des prédicitions communes à l’annotateur humain et à notre modèle, ou spécifiques à chacun.</caption><thead><tr><th>Source de l'étiq.</th><th>Opinion de l'évaluateur</th><th>Proportion (nb. d'étiquettes)</th></tr></thead><tbody><tr><td rowspan="2">Humain & Modèle</td><td>Accord</td><td>95,5 % (105)</td></tr><tr><td>Désaccord</td><td>4,5 % (5)</td></tr><tr><td rowspan="2">Modèle</td><td>Accord</td><td>92,1 % (58)</td></tr><tr><td>Désaccord</td><td>7,9 % (5)</td></tr><tr><td rowspan="2">Modèle</td><td>Accord</td><td>76,5 % (39)</td></tr><tr><td>Désaccord</td><td>23,5 % (12)</td></tr></tbody></table>

<caption>TABLE 6 – Performances détaillées de notre modèle</caption>

étiquettes provenaient soit des annotations humaines de référence, soit des prédicitions de notre modèle. Pour chaque étiquette, les experts devaient dire s'ils étaient d'accord ou non avec l'annotation proposée. Bien sûr, ils n'avaient pas connaissance de l'origine des étiquettes.

Le tableau 7 rapporte les taux d'accord des experts avec les étiquettes proposées, en fonction de la source de l'étiquette. Bien que l'accord le plus fort soit lorsque les étiquettes humaines et celles du modèle concordent (humain & modèle), les scores d'accord sont globalement très élevés, en particulier pour le mode d'expression. Ces résultats tendent donc à montrer que, même lorsque le modèle prédit différemment de la référence, la prédiction est généralement considérée comme pertinente par les experts humains. Cela démontre que notre modèle est capable de généraliser correctement et que les scores F1 des expériences précédentes sous-estiment la qualité perçue des prédicitions du modèle.

## 7 Conclusion et perspectives

Nous avons proposé un modèle d'analyse des émotions dans des textes qui est original en TAL car il prend en compte leurs modes d'expression directs mais aussi indirects. De plus, les expériences montrent que ce modèle a de bonnes performances par rapport à d'autres approches, des travaux comparables et des solutions à partir de ressources sur étagère. L'évaluation humaine a montré que ce niveau est presque équivalent à ce que les humains peuvent faire.

À l'avenir, des prédicitions intra-phrastiques, délimitant des unités, permettant l'inclusion d'autres notions, comme celle d'expérienceur, sont des pistes pour sophistiquer encore l'analyse. L'affinage de modèles génératifs semble alors nécessaire. Sur un autre plan, une application directe de notre modèle est l'analyse de la complexité – contexte plus large de notre travail –, puisque les étiquettes prédites reflètent des marqueurs de complexité. Plus largement, notre travail pourrait contribuer à la recherche en psychologie pour étudier le lien entre le langage émotionnel et l'état psychologique du scripteur/locuteur, dans la lignée des études rapportées dans (Tausczik & Pennebaker, 2010).
# Remerciements

Ce travail a en partie été financé par l'Agence Nationale de la Recherche (ANR) dans le cadre du projet TextToKids (ANR-19-CE38-0014).

## A Détails de l'inférence avec GPT-3.5

GPT-3.5 a été utilisé en mode conversationnel. Les amorces sont donc une alternances de messages entre l'utilisateur et l'assistant, précédés d'un message global dit du système. Les messages de l'utilisateur parcourt toutes les étiquettes de toutes les tâches A à D en expliquant le sens de chaque étiquette, ceux de l'assistant sont une réponse binaire (« oui » / « non ») pour signaler la présence ou absence de la classe en question. Deux types de messages sont considérés pour l'utilisateur : soit les explications de chaque étiquette sont accompagnées d'exemple positifs, soit elles sont accompagnées d'exemple positifs et négatifs (c.-à-d. des contre-exemples). Seule la tâche A (présence ou non d'une information émotionnelle) fait exception puisqu'elle est, en effet, toujours accompagnée de contre-exemples, quelque soit le type d'amorce. La section A.1 donne le détail des résultats sur l'ensemble de test pour chaque approche en comparaison de notre modèle. Les sections A.2 et A.3 montrent ensuite les détails des deux types d'amorces. Nous utilisons la version 0311 de GPT-3.5 pour toutes les expériences.

### A.1 Détails des résultats de GPT-3.5

La table 8 donne le détail des résultats sur l'ensemble de test pour chaque approche en comparaison de notre modèle. Dans l'ensemble ces résultats montre que notre modèle s'en sort mieux et que l'approche sans contre-exemples et meilleure que celle avec contre-exemples. Le problème principale de GPT-3.5 semble être qu'il prédit trop d'étiquettes (rappel élevé mais précision faible). Nous pouvons néanmoins noter que GPT-3.5 semble mieux s'en sortir sur les classes rares car notre modèle ne les prédit pas.

### A.2 Sans contre-exemples

**Système:**

Tu joues le rôle d'un expert linguiste qui annote des phrases en t'intéressant à leur dimension émotionnelle.

L'annotation porte au niveau de la phrase et prend la forme de questions successives. Pour comprendre le contexte, la phrase à annoter est donnée avec sa phrase précédente et sa phrase suivante, mais la réponse à chaque question doit uniquement porter sur la seule phrase à annoter, et non sur la phrase précédente ou suivante.

- Phrase précédente: Nicolas Hulot n'appartient à aucun parti politique.

- Phrase à annoter: Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.

- Phrase suivante: Mais ça ne s'est pas très bien passé.

**Utilisateur:**

Définition: une phrase est dite "émotionnelle" si elle exprime explicitement ou
<table><caption>TABLE 8 – Comparaison des résultats pour notre modèle et les deux approches testées avec GPT-3.5 pour les tâches A, B, C et D.</caption><thead><tr><th rowspan="2">Tâche</th><th colspan="4">Notre modèle</th><th colspan="4">GPT3.5 sans contre-exemples</th><th colspan="4">GPT3.5 avec contre-exemples</th><th rowspan="2">Étiquettes</th></tr><tr><th>macro-F1</th><th>R</th><th>P</th><th>F1</th><th>macro-F1</th><th>R</th><th>P</th><th>F1</th><th>macro-F1</th><th>R</th><th>P</th><th>F1</th></tr></thead><tbody><tr><td>A</td><td>0,752</td><td>0,764</td><td>0,741</td><td>0,752</td><td>0,518</td><td>0,622</td><td>0,443</td><td>0,518</td><td>0,382</td><td>0,744</td><td>0,257</td><td>0,382</td><td>Émotionnel</td></tr><tr><td rowspan="4">B</td><td rowspan="4">0,645</td><td>0,601</td><td>0,653</td><td>0,626</td><td rowspan="4">0,152</td><td>0,218</td><td>0,154</td><td>0,181</td><td rowspan="4">0,132</td><td>0,416</td><td>0,069</td><td>0,118</td><td>Comportemental</td></tr><tr><td>0,811</td><td>0,803</td><td>0,807</td><td>0,404</td><td>0,095</td><td>0,154</td><td>0,442</td><td>0,126</td><td>0,196</td><td>Désigné</td></tr><tr><td>0,667</td><td>0,726</td><td>0,695</td><td>0,897</td><td>0,066</td><td>0,122</td><td>0,656</td><td>0,054</td><td>0,100</td><td>Montré</td></tr><tr><td>0,426</td><td>0,479</td><td>0,451</td><td>0,534</td><td>0,089</td><td>0,153</td><td>0,372</td><td>0,066</td><td>0,112</td><td>Suggéré</td></tr><tr><td rowspan="2">C</td><td rowspan="2">0,601</td><td>0,705</td><td>0,733</td><td>0,719</td><td rowspan="2">0,199</td><td>0,709</td><td>0,203</td><td>0,315</td><td rowspan="2">0,220</td><td>0,466</td><td>0,286</td><td>0,354</td><td>Base</td></tr><tr><td>0,409</td><td>0,591</td><td>0,484</td><td>0,803</td><td>0,043</td><td>0,082</td><td>0,260</td><td>0,051</td><td>0,085</td><td>Complexe</td></tr><tr><td rowspan="14">D</td><td rowspan="14">0,420</td><td>0,281</td><td>0,457</td><td>0,348</td><td rowspan="14">0,174</td><td>0,825</td><td>0,036</td><td>0,069</td><td rowspan="14">0,125</td><td>0,526</td><td>0,028</td><td>0,052</td><td>Admiration</td></tr><tr><td>0,745</td><td>0,592</td><td>0,660</td><td>0,798</td><td>0,045</td><td>0,085</td><td>0,606</td><td>0,040</td><td>0,074</td><td>Autre</td></tr><tr><td>0,670</td><td>0,685</td><td>0,677</td><td>0,665</td><td>0,234</td><td>0,346</td><td>0,590</td><td>0,268</td><td>0,369</td><td>Colère</td></tr><tr><td>0,000</td><td>0,000</td><td>0,000</td><td>1,000</td><td>0,222</td><td>0,364</td><td>1,000</td><td>0,003</td><td>0,006</td><td>Culpabilité</td></tr><tr><td>0,000</td><td>0,000</td><td>0,000</td><td>0,800</td><td>0,073</td><td>0,133</td><td>0,800</td><td>0,131</td><td>0,225</td><td>Dégoût</td></tr><tr><td>0,364</td><td>0,600</td><td>0,453</td><td>0,424</td><td>0,110</td><td>0,175</td><td>0,758</td><td>0,025</td><td>0,048</td><td>Embarras</td></tr><tr><td>0,333</td><td>0,615</td><td>0,432</td><td>0,958</td><td>0,023</td><td>0,045</td><td>0,771</td><td>0,020</td><td>0,039</td><td>Fierté</td></tr><tr><td>0,000</td><td>0,000</td><td>0,000</td><td>0,000</td><td>0,000</td><td>0,000</td><td>0,000</td><td>0,000</td><td>0,000</td><td>Jalousie</td></tr><tr><td>0,530</td><td>0,709</td><td>0,606</td><td>0,837</td><td>0,110</td><td>0,194</td><td>0,683</td><td>0,148</td><td>0,243</td><td>Joie</td></tr><tr><td>0,717</td><td>0,661</td><td>0,688</td><td>0,731</td><td>0,153</td><td>0,253</td><td>0,741</td><td>0,104</td><td>0,182</td><td>Peur</td></tr><tr><td>0,697</td><td>0,739</td><td>0,717</td><td>0,873</td><td>0,058</td><td>0,109</td><td>0,789</td><td>0,050</td><td>0,094</td><td>Surprise</td></tr><tr><td>0,428</td><td>0,504</td><td>0,463</td><td>0,449</td><td>0,247</td><td>0,319</td><td>0,399</td><td>0,110</td><td>0,173</td><td>Tristesse</td></tr></tbody></table>

implicitement une émotion, qu'elle soit exprimée par le narrateur ou un personnage.
Par exemple:

- émotionnelle: "Cette information a beaucoup énervé Marie."

- émotionnelle: "Andrée a sautillé partout en chantant."

- émotionnelle: "Oh, non... C'est vraiment dommage !"

- émotionnelle: "Ces deux amis se retrouvent après une longue séparation."

- non émotionnelle: "Avant d'arriver devant une salle de classe, les enseignants, eux aussi, sont sur les bancs de l'école."

- non émotionnelle: "De 2007 à 2012, il a été le Premier ministre de l'ancien président Nicolas Sarkozy."

- non émotionnelle: "Récemment, une nouvelle autorisation a été délivrée pour un deuxième test dans le courant de l'année 2019."

- non émotionnelle: "Avant de sortir, Billy prépare un dîner orange : une soupe de potiron, des cuisses de canard à l'orange avec une purée de carottes et une tarte à la citrouille."

Question: La phrase à annoter est-elle **émotionnelle** ?

Réponse (oui/non):

**Assistant:**

<réponse du modèle>

**Utilisateur:**

Définition: La catégorie émotionnelle "colère" recouvre les émotions suivantes: agacement, colère, contestation, désaccord (si émotion suggérée), désapprobation, énervement, fureur/rage, indignation, insatisfaction, irritation, mécontentement, réprobation et révolte. Par exemple :

- "C'est notamment pour cette raison que des "gilets jaunes", les personnes qui manifestent et bloquent des routes dans le pays depuis plusieurs semaines, sont en colère."

- "- Ton commentaire est déplacé, jeune homme ! a-t-elle dit d'un air pincé."

Question: Si la phrase à annoter est émotionnelle, est-ce que la catégorie
émotionnelle **colère** est présente ?

Réponse (oui/non):

Assistant:

<réponse du modèle>

Utilisateur:

Définition: La catégorie émotionnelle "dégoût" recouvre les émotions suivantes:
dégoût, lassitude et répulsion. Par exemple :

- "Beurk !"

- "Ça peut paraître dégoûtant, mais on peut manger des insectes."

Question: Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **dégoût** est présente ?

Réponse (oui/non):

Assistant:

<réponse du modèle>

Utilisateur:

Définition: La catégorie émotionnelle "joie" recouvre les émotions suivantes:
amusement, enthousiasme, exaltation, joie et plaisir. Par exemple :

- "Pour fêter ses buts, il lui arrive souvent de danser."

- "- Je suis bien aise de vous voir, me dit le roi sur un ton amical."

Question: Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **joie** est présente ?

Réponse (oui/non):

Assistant:

<réponse du modèle>

Utilisateur:

Définition: La catégorie émotionnelle "peur" recouvre les émotions suivantes:
angoisse, appréhension, effroi, horreur, inquiétude, méfiance, peur, stress et
timidité. Par exemple :

- "Le Front national, qui est d'extrême droite, faisait peur, à cause des idées qu'il défendait."

- "Il y avait un grand silence dans la maison."

Question: Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **peur** est présente ?

Réponse (oui/non):

Assistant:

<réponse du modèle>

Utilisateur:

Définition: La catégorie émotionnelle "surprise" recouvre les émotions suivantes:
étonnement, stupeur, surprise. Par exemple :

- "Finalement, ils ont été pris en charge... par les agriculteurs locaux, dans un camion benne !"

- "Tous, étonnés, se taisent."

Question: Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **surprise** est présente ?

Réponse (oui/non):

Assistant:

<réponse du modèle>
**Utilisateur:**

Définition: La catégorie émotionnelle "tristesse" recouvre les émotions suivantes: blues, chagrin, déception, désespoir, peine, souffrance et tristesse. Par exemple :

- "Sa mère venait de mourir et son père était au front."

- "L'âne continuait à examiner la peinture d'un regard plutôt attristé."

Question: Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **tristesse** est présente ?

Réponse (oui/non):

**Assistant:**

<réponse du modèle>

**Utilisateur:**

Définition: La catégorie émotionnelle "admiration" recouvre les émotions suivantes: admiration. Par exemple :

- "De nos jours, ce site exceptionnel permet de montrer toute la richesse de la civilisation romaine et la façon dont les villes et la société étaient organisées."

- "- Tes enfants sont vraiment merveilleux, ma chérie, dit-elle à sa fille."

Question: Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **admiration** est présente ?

Réponse (oui/non):

**Assistant:**

<réponse du modèle>

**Utilisateur:**

Définition: La catégorie émotionnelle "culpabilité" recouvre les émotions suivantes: culpabilité. Par exemple :

- "Et je l'avais bien mérité."

- "Surtout, il ne faut pas se sentir coupable de ne pas avoir réagi."

Question: Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **culpabilité** est présente ?

Réponse (oui/non):

**Assistant:**

<réponse du modèle>

**Utilisateur:**

Définition: La catégorie émotionnelle "embarras" recouvre les émotions suivantes: embarras, gêne, honte, humiliation et timidité. Par exemple :

- "Après cette humiliante défaite, Napoléon abdique une nouvelle fois, ce qui marque définitivement la fin de l'Empire et de sa période de retour appelée "les Cent jours"."

- "Légèrement décontenancée, la prof s'est raclé la gorge et commencé la lecture."

Question: Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **embarras** est présente ?

Réponse (oui/non):

**Assistant:**

<réponse du modèle>

**Utilisateur:**

Définition: La catégorie émotionnelle "fierté" recouvre les émotions suivantes: fierté et orgueil. Par exemple :

- "Flavia entre dans la cour comme une conquérante, entourée de ses supporters."
- "Magawa peut être fier de lui, car il vient de recevoir une médaille d'or."

Question: Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **fierté** est présente ?

Réponse (oui/non):

**Assistant:**

<réponse du modèle>

**Utilisateur:**

Définition: La catégorie émotionnelle "jalousie" recouvre les émotions suivantes: jalouse. Par exemple :

- "Mais quand Flavia découvre le jeune génie du piano, elle se sent comme écrasée."

- "On dirait presque qu'il fait partie de l'instrument."

Question: Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **jalousie** est présente ?

Réponse (oui/non):

**Assistant:**

<réponse du modèle>

**Utilisateur:**

Définition: La catégorie émotionnelle "autre" recouvre les émotions suivantes: amour, courage, curiosité, désir, détermination, envie, espoir, haine, impuissance, mépris et soulagement. Par exemple :

- "Dans chaque camp, ils se sont mobilisés pour donner envie aux gens de voter comme eux."

- "Ils n'apprécient pas du tout l'attitude des dirigeants, notamment celle du président, "qu'ils jugent méprisant, déconnecté de la réalité, du quotidien", note le sociologue Alexis Spire."

Question: Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **autre** est présente ?

Réponse (oui/non):

**Assistant:**

<réponse du modèle>

**Utilisateur:**

Définition: Les émotions suivantes sont dites "de base" : Colère, Dégoût, Joie, Peur, Surprise, Tristesse.

Question: Si la phrase à annoter est émotionnelle, contient-elle une **émotion de base** ?

Réponse (oui/non):

**Assistant:**

<réponse du modèle>

**Utilisateur:**

Définition: Les émotions suivantes sont dites "complexes": Admiration, Culpabilité, Embarras, Fierté, Jalousie.

Question: Si la phrase à annoter est émotionnelle, contient-elle une **émotion complexe** ?

Réponse (oui/non):

**Assistant:**

<réponse du modèle>

**Utilisateur:**
Définition: Une émotion est dite du mode "désigné" lorsqu'elle est exprimée par un terme du lexique émotionnel. Par exemple :

- "Pierre est heureux d'être bientôt à la retraite.", où la joie de Pierre est désignée par le terme "heureux".

- "Cette information a beaucoup énervé Marie.", où la colère de Marie est désignée par le terme "énervé".

Question: Si la phrase à annoter est émotionnelle, est-ce que le mode **désigné** est utilisé ?

Réponse (oui/non):

Assistant:

<réponse du modèle>

Utilisateur:

Définition: Une émotion est dite du mode "comportemental" lorsqu'elle est exprimée par la description d'une manifestation physique (physiologique ou comportementale) de l'émotion. Par exemple :

- "Paul sanglote.", où la tristesse de Paul est exprimée par le comportement "sanglote".

- "Andrée a sautillé partout en chantant.", où la joie de Andrée est exprimée par le comportement "sautillé partout en chantant".

Question: Si la phrase à annoter est émotionnelle, est-ce que le mode **comportemental** est utilisé ?

Réponse (oui/non):

Assistant:

<réponse du modèle>

Utilisateur:

Définition: Une émotion est dite du mode "montré" lorsqu'elle est exprimée par des caractéristiques linguistiques de l'énoncé qui traduisent l'état émotionnel dans lequel se trouvait l'énonciateur au moment de l'énonciation. Par exemple :

- "Oh, chouette ! Quelle bonne idée !", car la joie de l'énonciateur est traduite au sein de l'énoncé par les interjections "oh" et "chouette", les énoncés averbaux et les points d'exclamations.

- "Oh, non... C'est vraiment dommage !", car la tristesse de l'énonciateur est traduite au sein de l'énoncé par l'interjection "oh", l'énoncé averbal, les points de suspension et le point d'exclamation.

Question: Si la phrase à annoter est émotionnelle, est-ce que le mode **montré** est utilisé ?

Réponse (oui/non):

Assistant:

<réponse du modèle>

Utilisateur:

Définition: Une émotion est dite du mode "suggéré" lorsqu'elle est exprimée par la description d'une situation associée de manière conventionnelle à un ressenti émotionnel. Par exemple :

- "Le père de Jeanne est mort hier à cause d'un cancer.", où la tristesse de Jeanne est suggérée par la description du décès, il y a peu de temps, de son père (une personne proche d'elle).

- "Ces deux amis se retrouvent après une longue séparation.", où la joie des deux amis est suggérée par la description de leurs retrouvailles après un temps long.

Question: Si la phrase à annoter est émotionnelle, est-ce que le mode **suggéré** est utilisé ?

Réponse (oui/non):
Assistant:

<réponse du modèle>

A.3 Avec contre-exemples

Système :

Tu joues le rôle d'un expert linguiste qui annote des phrases d'après leurs
dimensions émotionnelle.

Les différentes annotations sont toute binaires (absence ou présence d'une
propriété). Elles vont porter sur la nature émotionnelle ou non des phrases
et, si oui, le mode d'expression de la ou des émotions présentes (désignée,
comportementale, montrée ou suggérée), la ou les catégories émotionnelles
(joie, peur, colère, tristesse, etc.) et le ou les types d'émotion ("de base"
ou "complexe"). Chaque propriété est décrite par une définition et des exemples.

L'annotation La phrase à annoter est entourée des balises
< annotate>... </ annotate>.

Utilisateur :

Définition : une phrase est dite "émotionnelle" si elle exprime explicitement ou implicitement une émotion, qu'elle soit exprimée par le narrateur ou un personnage.

Question : La phrase à annoter est-elle **émotionnelle** ?

Exemples :

- < annotate>Avant de sortir, Billy prépare un dîner orange : une soupe de potiron, des cuisses de canard à l'orange avec une purée de carottes et une tarte à la citrouille.</ annotate> -> non

- < annotate>Cette information a beaucoup énervé Marie.</ annotate> -> oui

- < annotate>Andrée a sautillé partout en chantant.</ annotate> -> oui

- < annotate>Récemment, une nouvelle autorisation a été délivrée pour un deuxième
test dans le courant de l'année 2019.</ annotate> -> non - < annotate>Oh, non...
C'est vraiment dommage !</ annotate> -> oui

- < annotate>De 2007 à 2012, il a été le Premier ministre de l'ancien président
Nicolas Sarkozy.</ annotate> -> non

- < annotate>Ces deux amis se retrouvent après une longue séparation. -> oui

- < annotate>Avant d'arriver devant une salle de classe, les enseignants, eux aussi, sont sur les bancs de l'école.</ annotate> -> non

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. < annotate>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</ annotate> Mais ça ne s'est pas très bien passé. ->

Assistant :

réponse du modèle

Utilisateur :

Définition : La catégorie émotionnelle "colère" recouvre les émotions suivantes:
agacement, colère, contestation, désaccord (si émotion suggérée), désapprobation,
énervement, fureur/rage, indignation, insatisfaction, irritation, mécontentement,
réprobation et révolte.

Question : Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **colère** est présente ?

Exemples :

- < annotate>De 2007 à 2012, il a été le Premier ministre de l'ancien président
Nicolas Sarkozy.</annote> -> non

- <annote>C'est notamment pour cette raison que des "gilets jaunes", les personnes qui manifestent et bloquent des routes dans le pays depuis plusieurs semaines, sont en colère.</annote> -> oui.

- <annote>Tous, étonnés, se taisent.</annote> -> non.

- <annote>- Ton commentaire est déplacé, jeune homme ! a-t-elle dit d'un air pincé.</annote> -> oui.

- <annote>Après cette humiliante défaite, Napoléon abdique une nouvelle fois, ce qui marque définitivement la fin de l'Empire et de sa période de retour appelée "les Cent jours".</annote> -> non.

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. <annote>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</annote> Mais ça ne s'est pas très bien passé. ->

Assistant:

réponse du modèle

Utilisateur:

Définition : La catégorie émotionnelle "dégoût" recouvre les émotions suivantes: dégoût, lassitude et répulsion.

Question : Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **dégoût** est présente ?

Exemples :

- <annote>Ça peut paraître dégoûtant, mais on peut manger des insectes.</annote> -> oui.

- <annote>Beurk !</annote> -> oui.

- <annote>Finalement, ils ont été pris en charge... par les agriculteurs locaux, dans un camion benne !</annote> -> non.

- <annote>Le Front national, qui est d'extrême droite, faisait peur, à cause des idées qu'il défendait.</annote> -> non.

- <annote>Avant d'arriver devant une salle de classe, les enseignants, eux aussi, sont sur les bancs de l'école.</annote> -> non

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. <annote>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</annote> Mais ça ne s'est pas très bien passé. ->

Assistant:

réponse du modèle

Utilisateur:

Définition : La catégorie émotionnelle "joie" recouvre les émotions suivantes: amusement, enthousiasme, exaltation, joie et plaisir.

Question : Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **joie** est présente ?

Exemples :

- <annote>Dans chaque camp, ils se sont mobilisés pour donner envie aux gens de voter comme eux.</annote> -> non.

- <annote>- Je suis bien aise de vous voir, me dit le roi sur un ton amical.</annote> -> oui.

- <annote>Beurk !</annote> -> non.

- <annote>Avant d'arriver devant une salle de classe, les enseignants, eux aussi, sont sur les bancs de l'école.</annote> -> non

- <annote>Pour fêter ses buts, il lui arrive souvent de danser.</annote> -> oui.
Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. < annotate>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</ annotate> Mais ça ne s'est pas très bien passé. ->

Assistant:

réponse du modèle

Utilisateur:

Définition : La catégorie émotionnelle "peur" recouvre les émotions suivantes: angoisse, appréhension, effroi, horreur, inquiétude, méfiance, peur, stress et timidité.

Question : Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **peur** est présente ?

Exemples :

- < annotate>Le Front national, qui est d'extrême droite, faisait peur, à cause des idées qu'il défendait.</ annotate> -> oui.

- < annotate>Dans chaque camp, ils se sont mobilisés pour donner envie aux gens de voter comme eux.</ annotate> -> non.

- < annotate>Ça peut paraître dégoûtant, mais on peut manger des insectes.</ annotate> -> non.

- < annotate>Récemment, une nouvelle autorisation a été délivrée pour un deuxième test dans le courant de l'année 2019.</ annotate> -> non.

- < annotate>Il y avait un grand silence dans la maison.</ annotate> -> oui.

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. < annotate>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</ annotate> Mais ça ne s'est pas très bien passé. ->

Assistant:

réponse du modèle

Utilisateur:

Définition : La catégorie émotionnelle "surprise" recouvre les émotions suivantes: étonnement, stupeur, surprise.

Question : Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **surprise** est présente ?

Exemples :

- < annotate>Finalement, ils ont été pris en charge... par les agriculteurs locaux, dans un camion benne !</ annotate> -> oui.

- < annotate>Avant d'arriver devant une salle de classe, les enseignants, eux aussi, sont sur les bancs de l'école.</ annotate> -> non.

- < annotate>Mais quand Flavia découvre le jeune génie du piano, elle se sent comme écrasée.</ annotate> -> non.

- < annotate>Beurk !</ annotate> -> non.

- < annotate>Tous, étonnés, se taisent.</ annotate> -> oui.

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. < annotate>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</ annotate> Mais ça ne s'est pas très bien passé. ->

Assistant:

réponse du modèle

Utilisateur:

Définition : La catégorie émotionnelle "tristesse" recouvre les émotions suivantes: blues, chagrin, déception, désespoir, peine, souffrance et tristesse.
Question : Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **tristesse** est présente ?

Exemples :

- <annote>Avant d'arriver devant une salle de classe, les enseignants, eux aussi, sont sur les bancs de l'école.</annote> -> non

- <annote>Le Front national, qui est d'extrême droite, faisait peur, à cause des idées qu'il défendait.</annote> -> non.

- <annote>Sa mère venait de mourir et son père était au front.</annote> -> oui.

- <annote>Légèrement décontenancée, la prof s'est raclé la gorge et commencé la lecture.</annote> -> non.

- <annote>L'âne continuait à examiner la peinture d'un regard plutôt attristé.</annote> -> oui.

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. <annote>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</annote> Mais ça ne s'est pas très bien passé. ->

Assistant :

réponse du modèle

Utilisateur :

Définition : La catégorie émotionnelle "admiration" recouvre les émotions

suivantes: admiration.

Question : Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **admiration** est présente ?

Exemples :

- <annote>Tous, étonnés, se taisent.</annote> -> non.

- <annote>De nos jours, ce site exceptionnel permet de montrer toute la richesse de la civilisation romaine et la façon dont les villes et la société étaient organisées.</annote> -> oui.

- <annote>Magawa peut être fier de lui, car il vient de recevoir une médaille d'or.</annote> -> non.

- <annote>Avant de sortir, Billy prépare un dîner orange : une soupe de potiron, des cuisses de canard à l'orange avec une purée de carottes et une tarte à la citrouille.</annote> -> non

- <annote>- Tes enfants sont vraiment merveilleux, ma chérie, dit-elle à sa fille.</annote> -> oui.

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. <annote>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</annote> Mais ça ne s'est pas très bien passé. ->

Assistant :

réponse du modèle

Utilisateur :

Définition : La catégorie émotionnelle "culpabilité" recouvre les émotions

suivantes: culpabilité.

Question : Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **culpabilité** est présente ?

Exemples :

- <annote>Et je l'avais bien mérité.</annote> -> oui.

- <annote>Tous, étonnés, se taisent.</annote> -> non.

- <annote>Surtout, il ne faut pas se sentir coupable de ne pas avoir réagi.</annote> -> oui.

- <annote>Tous, étonnés, se taisent.</annote> -> non.
- <annote>Avant d'arriver devant une salle de classe, les enseignants, eux aussi, sont sur les bancs de l'école.</annote> -> non

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. <annote>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</annote> Mais ça ne s'est pas très bien passé. ->

Assistant:

réponse du modèle

Utilisateur:

Définition : La catégorie émotionnelle "embarras" recouvre les émotions suivantes: embarras, gêne, honte, humiliation et timidité.

Question : Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **embarras** est présente ?

Exemples :

- <annote>Le Front national, qui est d'extrême droite, faisait peur, à cause des idées qu'il défendait.</annote> -> non.

- <annote>- Tes enfants sont vraiment merveilleux, ma chérie, dit-elle à sa fille.</annote> -> non.

- <annote>Avant d'arriver devant une salle de classe, les enseignants, eux aussi, sont sur les bancs de l'école.</annote> -> non

- <annote>Après cette humiliante défaite, Napoléon abdique une nouvelle fois, ce qui marque définitivement la fin de l'Empire et de sa période de retour appelée "les Cent jours".</annote> -> oui.

- <annote>Légèrement décontenancée, la prof s'est raclé la gorge et commencé la lecture.</annote> -> oui.

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. <annote>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</annote> Mais ça ne s'est pas très bien passé. ->

Assistant:

réponse du modèle

Utilisateur:

Définition : La catégorie émotionnelle "fierté" recouvre les émotions suivantes: fierté et orgueil.

Question : Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **fierté** est présente ?

Exemples :

- <annote>Avant de sortir, Billy prépare un dîner orange : une soupe de potiron, des cuisses de canard à l'orange avec une purée de carottes et une tarte à la citrouille.</annote> -> non

- <annote>On dirait presque qu'il fait partie de l'instrument.</annote> -> non.

- <annote>Magawa peut être fier de lui, car il vient de recevoir une médaille d'or.</annote> -> oui.

- <annote>Flavia entre dans la cour comme une conquérante, entourée de ses supporters.</annote> -> oui.

- <annote>Il y avait un grand silence dans la maison.</annote> -> non.

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. <annote>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</annote> Mais ça ne s'est pas très bien passé. ->

Assistant:

réponse du modèle
**Utilisateur:**

Définition : La catégorie émotionnelle "jalousie" recouvre les émotions suivantes: jalousie.

Question : Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **jalousie** est présente ?

Exemples :

- <annote>On dirait presque qu'il fait partie de l'instrument.</annote> -> oui.

- <annote>Et je l'avais bien mérité.</annote> -> non.

- <annote>Et je l'avais bien mérité.</annote> -> non.

- <annote>Mais quand Flavia découvre le jeune génie du piano, elle se sent comme écrasée.</annote> -> oui.

- <annote>Avant d'arriver devant une salle de classe, les enseignants, eux aussi, sont sur les bancs de l'école.</annote> -> non

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. <annote>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</annote> Mais ça ne s'est pas très bien passé. ->

**Assistant:**

réponse du modèle

**Utilisateur:**

Définition : La catégorie émotionnelle "autre" recouvre les émotions suivantes: amour, courage, curiosité, désir, détermination, envie, espoir, haine, impuissance, mépris et soulagement.

Question : Si la phrase à annoter est émotionnelle, est-ce que la catégorie émotionnelle **autre** est présente ?

Exemples :

- <annote>De nos jours, ce site exceptionnel permet de montrer toute la richesse de la civilisation romaine et la façon dont les villes et la société étaient organisées.</annote> -> non.

- <annote>L'âne continuait à examiner la peinture d'un regard plutôt attristé.</annote> -> non.

- <annote>Récemment, une nouvelle autorisation a été délivrée pour un deuxième test dans le courant de l'année 2019.</annote> -> non

- <annote>Ils n'apprécient pas du tout l'attitude des dirigeants, notamment celle du président, "qu'ils jugent méprisant, déconnecté de la réalité, du quotidien", note le sociologue Alexis Spire.</annote> -> oui.

- <annote>Dans chaque camp, ils se sont mobilisés pour donner envie aux gens de voter comme eux.</annote> -> oui.

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. <annote>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</annote> Mais ça ne s'est pas très bien passé. ->

**Assistant:**

réponse du modèle

**Utilisateur:**

Définition : Les émotions suivantes sont dites "de base" : Colère, Dégoût, Joie, Peur, Surprise, Tristesse.

Question : Si la phrase à annoter est émotionnelle, contient-elle une **émotion de base** ?

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. <annote>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel
Macron.</ annotation> Mais ça ne s'est pas très bien passé. ->

Assistant:

réponse du modèle

Utilisateur:

Définition : Les émotions suivantes sont dites "complexes": Admiration,
Culpabilité, Embarras, Fierté, Jalousie.

Question : Si la phrase à annoter est émotionnelle, contient-elle une **émotion complexe** ?

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. < annotation>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</ annotation> Mais ça ne s'est pas très bien passé. ->

Assistant:

réponse du modèle

Utilisateur:

Définition : Une émotion est dite du mode "désigné" lorsqu'elle est exprimée par un terme du lexique émotionnel.

Question : Si la phrase à annoter est émotionnelle, est-ce que le mode **désigné** est utilisé ?

Exemples :

- < annotation>Pierre est heureux d'être bientôt à la retraite.</ annotation> -> oui (car la joie de Pierre est désignée par le terme "heureux").

- < annotation>Oh, non... C'est vraiment dommage!</ annotation> -> non.

- < annotation>Avant d'arriver devant une salle de classe, les enseignants, eux aussi, sont sur les bancs de l'école.</ annotation> -> non

- < annotation>Oh, non... C'est vraiment dommage!</ annotation> -> non.

- < annotation>Cette information a beaucoup énervé Marie.</ annotation> -> oui (car la colère de Marie est désignée par le terme "énervé").

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. < annotation>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</ annotation> Mais ça ne s'est pas très bien passé. ->

Assistant:

réponse du modèle

Utilisateur:

Définition : Une émotion est dite du mode "comportemental" lorsqu'elle est exprimée par la description d'une manifestation physique (physiologique ou comportementale) de l'émotion.

Question : Si la phrase à annoter est émotionnelle, est-ce que le mode **comportemental** est utilisé ?

Exemples :

- < annotation>Cette information a beaucoup énervé Marie.</ annotation> -> non.

- < annotation>Paul sanglote.</ annotation> -> oui (car la tristesse de Paul est exprimée par le comportement "sanglote").

- < annotation>Avant d'arriver devant une salle de classe, les enseignants, eux aussi, sont sur les bancs de l'école.</ annotation> -> non

- < annotation>Le père de Jeanne est mort hier à cause d'un cancer.</ annotation> -> non.

- < annotation>Andrée a sautillé partout en chantant.</ annotation> -> oui (car la joie de Andrée est exprimée par le comportement "sautillé partout en chantant").

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. < annotation>Il a refusé trois
fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</annote> Mais ça ne s'est pas très bien passé. ->

Assistant:

réponse du modèle

Utilisateur:

Définition : Une émotion est dite du mode "montré" lorsqu'elle est exprimée par des caractéristiques linguistiques de l'énoncé qui traduisent l'état émotionnel dans lequel se trouvait l'énonciateur au moment de l'énonciation.

Question : Si la phrase à annoter est émotionnelle, est-ce que le mode **montré** est utilisé ?

Exemples :

- <annote>Andrée a sautillé partout en chantant.</annote> -> non.

- <annote>Paul sanglote.</annote> -> non.

- <annote>Oh, chouette ! Quelle bonne idée !</annote> -> oui (car la joie de l'énonciateur est traduite au sein de l'énoncé par les interjections "oh" et "chouette", les énoncés averbaux et les points d'exclamations).

- <annote>Oh, non... C'est vraiment dommage !</annote> -> oui (car la tristesse de l'énonciateur est traduite au sein de l'énoncé par l'interjection "oh", l'énoncé averbal, les points de suspension et le point d'exclamation.)

- <annote>Avant d'arriver devant une salle de classe, les enseignants, eux aussi, sont sur les bancs de l'école.</annote> -> non

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. <annote>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</annote> Mais ça ne s'est pas très bien passé. ->

Assistant:

réponse du modèle

Utilisateur:

Définition : Une émotion est dite "suggérée" lorsqu'elle est exprimée par la description d'une situation associée de manière conventionnelle à un ressenti émotionnel.

Question : Si la phrase à annoter est émotionnelle, est-ce que le mode **suggéré** est utilisé ?

Exemples :

- <annote>Oh, chouette ! Quelle bonne idée !</annote> -> non.

- <annote>Le père de Jeanne est mort hier à cause d'un cancer.</annote> -> oui (car où la tristesse de Jeanne est suggérée par la description du décès, il y a peu de temps, de son père, une personne proche d'elle).

- <annote>Ces deux amis se retrouvent après une longue séparation.</annote>

-> oui (car la joie des deux amis est suggérée par la description de leurs retrouvailles après un temps long).

- <annote>De 2007 à 2012, il a été le Premier ministre de l'ancien président Nicolas Sarkozy.</annote> -> non

- <annote>Andrée a sautillé partout en chantant.</annote> -> non.

Annotation (oui/non) :

- Nicolas Hulot n'appartient à aucun parti politique. <annote>Il a refusé trois fois le poste de ministre de l'Ecologie avant d'accepter la proposition d'Emmanuel Macron.</annote> Mais ça ne s'est pas très bien passé. ->

Assistant:

réponse du modèle
Références

ABDAOUI A., AZÉ J., BRINGAY S. & PONCELET P. (2017). Feel : a french expanded emotion lexicon. *Language Resources and Evaluation*, **51**(3), 833-855. Publisher : Springer.

ACHEAMPONG F. A., WENYU C. & NUNOO-MENSAH H. (2020). Text-based emotion detection : Advances, challenges, and opportunities. *Engineering Reports*, **2**(7), e12189. Publisher : Wiley Online Library.

ALM C. O., ROTH D. & SPROAT R. (2005). Emotions from Text : Machine Learning for Text-based Emotion Prediction. In *Proceedings of the Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing (HLT-EMNLP)*, p. 579-586, Vancouver, British Columbia, Canada : Association for Computational Linguistics.

AMAN S. & SZPAKOWICZ S. (2007). Identifying expressions of emotion in text. In *Proceedings of the International Conference on Text, Speech and Dialogue (TSD)*, p. 196-205 : Springer.

BALAHUR A., HERMIDA J. M. & MONTOYO A. (2012). Detecting implicit expressions of emotion in text : A comparative analysis. *Decision support systems*, **53**(4), 742-753. Publisher : Elsevier.

BARON-COHEN S., GOLAN O., WHEELWRIGHT S. & GRANADER Y. (2010). Emotion Word Comprehension from 4 to 16 Years Old : A Developmental Survey. *Frontiers in Evolutionary Neuroscience*, **0**. Publisher : Frontiers, DOI : 10.3389/fnevo.2010.00109.

BIANCHI F., NOZZA D. & HOVY D. (2021). Feel-it : Emotion and sentiment classification for the italian language. In *Proceedings of the Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis*, p. 76-83.

BLANC N. & QUENETTE G. (2017). La production d'inférences émotionnelles entre 8 et 10 ans : quelle méthodologie pour quels résultats ? *Enfance*, **4**(4), 503-511. Place : Paris Publisher : NecPlus, DOI : 10.3917/enf1.174.0503.

BOSTAN L.-A.-M. & KLINGER R. (2018). An Analysis of Annotated Corpora for Emotion Classification in Text. In *Proceedings of the International Conference on Computational Linguistics (COLING)*, p. 2104-2119, Santa Fe, New Mexico, USA : Association for Computational Linguistics.

BUSSO C., BULUT M., LEE C.-C., KAZEMZADEH A., MOWER E., KIM S., CHANG J. N., LEE S. & NARAYANAN S. S. (2008). Iemocap : Interactive emotional dyadic motion capture database. *Language resources and evaluation*, **42**, 335-359.

CASEL F., HEINDL A. & KLINGER R. (2021). Emotion recognition under consideration of the emotion component process model. In *Proceedings of the Conference on Natural Language Processing*, p. 49-61, Düsseldorf, Germany : KONVENS 2021 Organizers.

CHEN S.-Y., HSU C.-C., KUO C.-C., KU L.-W. et al. (2018). Emotionlines : An emotion corpus of multi-party conversations. *arXiv preprint arXiv : 1802.08379*.

CHEN T. & GUESTRIN C. (2016). Xgboost : A scalable tree boosting system. In *Proceedings of the ACM SIGKDD international conference on knowledge discovery and data mining*, p. 785-794.

CREISSEN S. & BLANC N. (2017). Quelle représentation des différentes facettes de la dimension émotionnelle d'une histoire entre l'âge de 6 et 10ans ? apports d'une étude multimédia. *Psychologie Française*, **62**(3), 263-277. Cognition et multimédia : les atouts du numérique en situation d'apprentissage, DOI : https://doi.org/10.1016/j.psfr.2015.07.006.

DAVIDSON D. (2006). The Role of Basic, Self-Conscious and Self-Conscious Evaluative Emotions in Children's Memory and Understanding of Emotion. *Motivation and Emotion*, **30**(3), 232-242. DOI : 10.1007/s11031-006-9037-6.
DAVIDSON D., LUO Z. & BURDEN M. J. (2001). Children's recall of emotional behaviours, emotional labels, and nonemotional behaviours : Does emotion enhance memory? *Cognition and Emotion, 15*(1), 1-26. Place : United Kingdom Publisher : Taylor & Francis, DOI : 10.1080/0269993004200105.

DEMSZKY D., MOVSHOVITZ-ATTIAS D., KO J., COWEN A. S., NEMADE G. & RAVI S. (2020). GoEmotions : A Dataset of Fine-Grained Emotions. *CoRR*, abs/2005.00547. arXiv : 2005.00547.

DIJKSTRA K., ZWAAN R. A., GRAESSER A. C. & MAGLIANO J. P. (1995). Character and reader emotions in literary texts. *Poetics*, 23(1-2), 139-157. Publisher : Elsevier.

DYER M. G. (1983). The role of affect in narratives. *Cognitive science*, 7(3), 211-242. Publisher : Wiley Online Library.

EHRET K., BERDICEVSKIS A., BENTZ C. & BLUMENTHAL-DRAMÉ A. (2023). Measuring language complexity : challenges and opportunities. *Linguistics Vanguard*, 9(s1), 1-8.

EKMAN P. (1992). An argument for basic emotions. *Cognition and Emotion*, 6(3-4), 169-200. Publisher : Routledge_eprint : https://doi.org/10.1080/02699939208411068, DOI : 10.1080/02699939208411068.

ETIENNE A. (2023). *Analyse automatique des émotions dans les textes : contributions théoriques et applicatives dans le cadre de l'étude de la complexité des textes pour enfants*. Thèse de doctorat, Université de Nanterre-Paris X.

ETIENNE A., BATTISTELLI D. & LECORVÉ G. (2022). A (Psycho-)Linguistically Motivated Scheme for Annotating and Exploring Emotions in a Genre-Diverse Corpus. In *Proceedings of the Conference on Language Resources and Evaluation (LREC)*, Marseille, France.

FRAISSE A. & PAROUBEK P. (2015). Utiliser les interjections pour détecter les émotions. In *Actes de la conférence sur le Traitement Automatique des Langues Naturelles*, p. 279-290.

KIM E. & KLINGER R. (2018). Who feels what and why? annotation of a literature corpus with semantic roles of emotions. In *Proceedings of the International Conference on Computational Linguistics (COLING)*, p. 1345-1359.

KIM E. & KLINGER R. (2019). An Analysis of Emotion Communication Channels in Fan-Fiction : Towards Emotional Storytelling. In *Proceedings of the Workshop on Storytelling*, p. 56-64, Florence, Italy : Association for Computational Linguistics. DOI : 10.18653/v1/W19-3406.

KLINGER R. (2023). Where are we in event-centric emotion analysis? bridging emotion role labeling and appraisal-based approaches.

LIU C., OSAMA M. & ANDRADE A. D. (2019). DENS : A Dataset for Multi-class Emotion Analysis. *CoRR*, abs/1910.11769. arXiv : 1910.11769.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE, SEDDAH D. & SAGOT B. (2020). CamemBERT : a Tasty French Language Model. In *Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL)*, p. 7203-7219, Online : Association for Computational Linguistics.

MOHAMMAD S. (2012). #Emotional Tweets. In *Proceedings of the Joint Conference on Lexical and International Workshop on Semantic Evaluation (SemEval)*, p. 246-255, Montréal, Canada : Association for Computational Linguistics.

MOHAMMAD S., BRAVO-MARQUEZ F., SALAMEH M. & KIRITCHENKO S. (2018). SemEval-2018 Task 1 : Affect in Tweets. In *Proceedings of the International Workshop on Semantic Evaluation (SemEval)*, p. 1-17, New Orleans, Louisiana : Association for Computational Linguistics. DOI : 10.18653/v1/S18-1001.

OUYANG L., WU J., JIANG X., ALMEIDA D., WAINWRIGHT C., MISHKIN P., ZHANG C., AGARWAL S., SLAMA K., RAY A. et al. (2022). Training language models to follow instructions
with human feedback. *Proceedings of the Advances in Neural Information Processing Systems*, **35**, 27730–27744.

PIOLAT A. & BANNOUR R. (2009). An example of text analysis software (emotaix-tropes) use : The influence of anxiety on expressive writing. *Current psychology letters. Behaviour, brain & cognition*, **25**(2, 2009).

PLUTCHIK R. (1980). A general psychoevolutionary theory of emotion. In *Theories of emotion*, p. 3–33. Elsevier.

PORIA S., HAZARIKA D., MAJUMDER N., NAIK G., CAMBRIA E. & MIHALCEA R. (2018). Meld : A multimodal multi-party dataset for emotion recognition in conversations. *arXiv preprint arXiv :1810.02508*.

PORIA S., MAJUMDER N., MIHALCEA R. & HOVY E. (2019). Emotion recognition in conversation : Research challenges, datasets, and recent advances. *IEEE Access*, **7**, 100943–100953.

REIMERS N. & GUREVYCH I. (2019). Sentence-bert : Sentence embeddings using siamese bert-networks. In *Proceedings of the Conference on Empirical Methods in Natural Language Processing and the International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 3982–3992.

SCHERER K. R. (2005). What are emotions? And how can they be measured? *Social science information*, **44**(4), 695–729. Publisher : Sage Publications Sage CA : Thousand Oaks, CA.

STRAPPARAVA C. & MIHALCEA R. (2007). SemEval-2007 Task 14 : Affective Text. In *Proceedings of the International Workshop on Semantic Evaluations (SemEval)*, p. 70–74, Prague, Czech Republic : Association for Computational Linguistics.

SUÁREZ P. J. O., SAGOT B. & ROMARY L. (2019). Asynchronous pipeline for processing huge corpora on medium to low resource infrastructures. In *Proceedings of the Workshop on the Challenges in the Management of Large Corpora* : Leibniz-Institut für Deutsche Sprache.

TAUSCZIK Y. R. & PENNEBAKER J. W. (2010). The psychological meaning of words : LIWC and computerized text analysis methods. *Journal of language and social psychology*, **29**(1), 24–54. Publisher : Sage Publications Sage CA : Los Angeles, CA.

TROIANO E., OBERLÄNDER L. & KLINGER R. (2023). Dimensional modeling of emotions in text with appraisal theories : Corpus creation, annotation reliability, and prediction. *Computational Linguistics*, **49**(1).

ÖHMAN E. (2020). Emotion annotation : Rethinking emotion categorization. *Proceedings of the CEUR Workshop*, **2865**, 134–144. Publisher : CEUR-WS.

ÖHMAN E., PÄMIES M., KAJAVA K. & TIEDEMANN J. (2020). XED : A Multilingual Dataset for Sentiment Analysis and Emotion Detection. In *Proceedings of the International Conference on Computational Linguistics (COLING)*, p. 6542–6552, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI : 10.18653/v1/2020.coling-main.575.
# TCFLE-8 : un corpus de productions écrites d'apprenants de français langue étrangère et son application à la correction automatisée de textes

Rodrigo Wilkens<fnref n="1" /> Alice Pintard<fnref n="1" /> David Alfter<fnref n="2" /> Vincent Folny³
Thomas François<fnref n="1" />

(1) CENTAL, IL&C, Université catholique de Louvain, Belgique prenom.nom@uclouvain.be,
(2) University of Gothenburg david.alfter@gu.se

(3) France Éducation International Folny@france-education-international.fr
{rodrigo.wilkens, alice.pintard, thomas.francois}@uclouvain.be,
Folny@france-education-international.fr, david.alfter@gu.se

## RÉSUMÉ

La correction automatisée de textes (CAT) vise à évaluer automatiquement la qualité de textes écrits. L'automatisation permet une évaluation à grande échelle ainsi qu'une amélioration de la cohérence, de la fiabilité et de la normalisation du processus. Ces caractéristiques sont particulièrement importantes dans le contexte des examens de certification linguistique. Cependant, un goulot d'étranglement majeur dans le développement des systèmes CAT est la disponibilité des corpus. Dans cet article, nous visons à encourager le développement de systèmes de correction automatique en fournissant le corpus TCFLE-8 <fnref n="1" />, un corpus de 6 569 essais collectés dans le contexte de l'examen de certification Test de Connaissance du Français (TCF). Nous décrivons la procédure d'évaluation stricte qui a conduit à la notation de chaque essai par au moins deux évaluateurs selon l'échelle du Cadre européen commun de référence pour les langues (CECR) et à la création d'un corpus équilibré. Nous faisons également progresser les performances de l'état de l'art pour la tâche de CAT en français en expérimentant deux solides modèles de référence.

## ABSTRACT

TCFLE-8 : a Corpus of Learner Written Productions for French as a Foreign Language and its Application to Automated Essay Scoring<fnref n="2" />

Automated Essay Scoring (AES) aims to automatically assess the quality of essays. Automation enables large-scale assessment, improvements in consistency, reliability, and standardization. Those characteristics are of particular relevance in the context of language certification exams. However, a major bottleneck in the development of AES systems is the availability of corpora. In this paper, we aim to foster the development of AES by providing the TCFLE-8 corpus, a corpus of 6.5k essays collected in the context of the French Knowledge Test (TCF) certification exam. We report the strict quality procedure that led to the scoring of each essay by at least two raters according to the levels of the Common European Framework of Reference for Languages (CEFR) and to the creation of a

<figure><img src="image_222.png" /></figure>

<footnote n="1">1. TCFLE-8 est disponible à l'adresse https://www.france-education-international.fr/corpus</footnote>

<footnote n="2">2. Cet article est une adaptation d'une publication en anglais : Wilkens, R., Pintard, A., Alfter, D., Folny, V., & François, T. (2023). TCFLE-8 : a Corpus of Learner Written Productions for French as a Foreign Language and its Application to Automated Essay Scoring. In *Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing* (pp. 3447-3465).</footnote>
balanced corpus. We also advance the state-of-the-art performance for the AES task in French by experimenting with two strong baselines.

MOTS-CLÉS : correction automatisée de textes, français langue étrangère, TCF, corpus d'apprenants.

KEYWORDS: automated essay scoring, French as a foreign language, TCF, learner corpus.

# 1 Introduction

La correction automatisée de textes (CAT – AES pour *automatic essay scoring* en anglais) vise à développer des algorithmes capables d'évaluer la qualité de productions écrites de la même manière que des évaluateurs humains. Les origines de ce domaine remontent aux recherches de Page (1966). Depuis lors, de nombreux chercheurs se sont penchés sur cette question et plusieurs synthèses du domaine ont été publiées récemment (Ramesh & Sanampudi, 2022; Lagakis & Demetriadis, 2021; Klebanov & Madnani, 2021; Uto, 2021; Klebanov & Madnani, 2020; Ke & Ng, 2019; Shermis et al., 2013). En bref, le début du 21e siècle fut marqué par des systèmes reposant soit sur des corpus annotés et sur l'extraction automatisée de caractéristiques linguistiques qui étaient ensuite combinées via des algorithmes d'apprentissage automatisé (Burstein et al., 1998; Rudner & Liang, 2002; Dikli, 2006), soit sur des approches non supervisées recourant souvent à l'analyse sémantique latente (Landauer & Dumais, 1997). Les récentes avancées en CAT ont été rendues possibles par les algorithmes d'apprentissage profond et les grands modèles de langage (Ramesh & Sanampudi, 2022). Néanmoins, ces approches ont également exacerbé le besoin de grands corpus annotés.

Par conséquent, les équipes de recherche en CAT se sont intéressées aux travaux menées par ailleurs sur les corpus d'apprenants, une branche de la linguistique de corpus qui collecte des productions authentiques et informatisées d'apprenants à grande échelle. Des travaux pionniers tels que le *International Corpus of Learner English* (ICLE) (Granger, 1993) et le *European Science Foundation L2 Database* (Perdue, 1993) ont démontré le potentiel de ces collections de données d'apprenants pour la recherche sur l'acquisition d'une langue seconde, mais ce n'est que récemment que davantage de corpus d'apprenants ont été exploités en CAT.

Malheureusement, il n'existe pas de corpus suffisamment important pour le français, ce qui rend la situation de la CAT en français loin d'être encourageante. Les premiers systèmes ont, par conséquent, utilisé des approches non supervisées : Lemaire & Dessus (2001) a utilisé l'analyse sémantique latente pour comparer des essais en français langue maternelle (FLM) avec des passages de référence tirés de manuels, tandis que Zaghouani (2002) capture automatiquement plusieurs caractéristiques d'essais en FLM, lesquelles sont combinées de manière heuristique. Plus récemment, Parslow (2015) a entraîné un classificateur « Naive Bayes » sur un corpus de 200 essais écrits en français langue étrangère (FLE). Enfin, Ranković et al. (2020) ont été les premiers à affiner BERT pour la CAT en FLE, mais ils n'ont pas publié leur jeu de données où, de plus, une seule langue maternelle est représentée.

Par conséquent, afin de soutenir le développement de solutions en CAT pour le français, le besoin d'un large corpus fiablement annoté en matière de compétence est patent. Dans cet article, nous apportons deux contributions principales. Premièrement, nous fournissons à la communauté le corpus TCFLE-8³, composé de 6 569 productions d'apprenants. Ces textes ont été collectés dans le cadre

<footnote n="3">3. Ce nom combine le nom de l'examen d'où proviennent les textes, le *Test de connaissance du français*, et l'acronyme FLE. Le 8 fait référence aux huit différentes langues usuelles représentées dans le corpus.</footnote>
de l'examen officiel du Test de connaissance du français (TCF), l'un des principaux examens de certification pour le FLE. La section 2 décrit en détails les propriétés du TCF et de son évaluation par FEI ainsi que le processus de nettoyage et d'échantillonnage du corpus. Le corpus résultant de ces opérations est présenté à la Section 3, qui décrit les différentes informations disponibles, parmi lesquelles la langue usuelle des candidats, l'évaluation du niveau de compétence à l'écrit des candidats, assignés par au moins 2 évaluateurs sur l'échelle du Cadre européen commun de référence pour les langues (CECR) (Council of Europe, 2001), des informations sur la tâche à accomplir et une annotation automatisée de nombreuses variables linguistiques réalisées par FABRA (Wilkens et al., 2022). La seconde contribution consiste en une série d'expériences en correction automatique de textes sur la base de ce corpus, qui visent à proposer un solide point de référence en vue de futures recherches. Ces expériences sont décrites à la section 4.

# 2 Méthodologie de conception du corpus

## 2.1 Collecte des données

TCFLE-8 étant un corpus de productions écrites de candidats au TCF. Il a été collecté par l'un des opérateurs effectuant la certification officielle en FLE : *France Education International* (FEI). FEI est un opérateur français placé sous la tutelle du ministère de l'Éducation nationale et de la Jeunesse. Avec un effectif de plus de 250 salariés et un réseau de plus de 1 000 experts, FEI intervient dans différents domaines de la coopération en matière d'éducation et de formation et contribue à la promotion de la langue française et de la francophonie. FEI propose une large gamme de certifications en français alignées sur les six niveaux du CECR : diplôme initial de langue française (DILF), diplôme d'études en langue française (DELF), diplôme d'études approfondies en langue française (DALF) et test de connaissance du français (TCF). Environ 650 000 candidats se présentent chaque année à l'un de ces examens dans plus de 180 pays.

Comme son nom l'indique, TCFLE-8 est basé sur le TCF, un test linéaire aligné sur les six niveaux du CECR. Le TCF est principalement utilisé dans les contextes d'admission à des études universitaires, de migration et d'accès à la citoyenneté. Sa composante écrite, composée de trois tâches indépendantes, est passée chaque année par 120 000 candidats, dont 60 % passent l'examen sur ordinateur.

Les trois tâches visent à tester les capacités des candidats à s'exprimer en français à l'écrit et nécessitent de rédiger, par exemple, un message, un article, un courrier ou un texte comparant deux points de vue 4. Ces tâches sont corrigées par des évaluateurs experts. FEI dispose d'un panel d'une centaine de correcteurs, recrutés sur la base de leur profil professionnel (enseignants expérimentés ayant une expérience préalable de l'évaluation en français). Les candidats évaluateurs passent un test psychométrique validant leurs compétences en évaluation de l'écrit et suivent une formation de deux jours. À l'issue de cette procédure, le recrutement est confirmé ou non. Pour garantir la fidélité des corrections à long terme, les indices de fidélité des évaluateurs sont évalués périodiquement et une décision est prise quant à leur maintien dans le panel. En outre, pour garantir la fidélité au niveau des candidats, FEI adopte une approche de double notation indépendante. En cas de désaccord, un troisième évaluateur vient en renfort pour évaluer indépendamment les trois productions. Le niveau final du candidat est établi sur la base de la fréquence des niveaux du CECR attribués aux trois

<footnote n="4">4. Plus de détails sur la nature des tâches sont disponibles sur le site du TCF : https://www.france-education-international.fr/test/tcf-tout-public?langue=fr</footnote>
productions du candidat.

Malgré cette stricte procédure, la compétence langagière étant multidimensionnelle (Bachman, 1990; Bachman & Palmer, 2010; Oller & Hinofotis, 1980; Vollmer & Sang, 1983) et mesurable (Vollmer & Caroll, 1983), mesurer les compétences rédactionnelles implique de prendre en compte différentes facettes : les compétences du candidat, l'indulgence ou la sévérité de l'évaluateur et la difficulté de la tâche. À cette fin, « l'utilisation de modèles de Rasch à multi-facettes (MRMF) est une approche psychométrique qui établit un cadre cohérent pour tirer des conclusions fiables, valides et justes des évaluations effectuées par les évaluateurs, répondant ainsi au problème des évaluations humaines faillibles » (Eckes, 2009). Nous avons donc appliqué le MRMF à l'ensemble de la base de données des examens TCF afin d'identifier les évaluations humaines faillibles et d'éviter de les intégrer dans le corpus.

## 2.2 Nettoyage des données

Les données collectées par FEI ont dû être nettoyées à différents égards. Tout d'abord, la détection des valeurs aberrantes nous a conduit à supprimer les réponses des candidats qui n'atteignaient pas le niveau A1, étaient des copies de la question, ou étaient trop courtes, trop longues ou encore hors sujet. Ensuite, nous avons exploité les informations du modèle multi-facettes de Rasch afin de détecter les textes pour lesquels les évaluateurs humains semblaient ne pas avoir fourni un jugement fiable. À cette fin, nous avons comparé les scores CECR originaux des évaluateurs FEI et les scores ajustés par la méthode MRMF et avons supprimé tous les essais dont la valeur des résidus standardisés était supérieure à 4. En outre, nous avons également supprimé les productions dont l'évaluation semblait peu fiable (par exemple, pour les candidats qui se situent à la limite entre deux niveaux). Pour ce faire, nous avons supprimé tous les cas où les deux évaluateurs n'étaient pas d'accord entre eux ni avec la note finale du candidat, et nous avons également supprimé les cas où il y avait une distance de trois niveaux du CECR entre la note la plus basse et la note la plus élevée attribuée à l'une des trois tâches.

Après ce processus, nous avons attribué à chaque production le niveau CECR du candidat, lorsqu'au moins un des évaluateurs avait également donné ce niveau à la production. Par ailleurs, si les deux évaluateurs avaient attribué le même niveau à la production, nous lui avons attribué ce niveau (même si ce niveau n'était pas identique au niveau global du candidat). Toute production ne répondant pas à l'un de ces deux critères a été supprimée.

Après l'élimination des valeurs aberrantes, l'étape suivante a consisté à obtenir un échantillon représentatif de l'ensemble des tâches du TCF disponibles. Pour une représentation équilibrée, le niveau CECR du texte est une variable évidente à contrôler. En outre, nous avons contrôlé la langue usuelle 5, dans le but d'obtenir une représentativité des langues usuelles les plus fréquentes. Comme les cinq premières étaient toutes européennes et que la sixième était le kabyle, une langue afro-asiatique, nous avons également inclus le chinois et le japonais afin d'obtenir une meilleure représentativité des différentes familles typologiques de langues. Nous avons donc lancé une procédure d'échantillonnage aléatoire stratifié en contrôlant les 6 niveaux du CECR et la langue usuelle du candidat. La Table 1 décrit le corpus résultant de cette procédure. Pour finir, le corpus a été anonymisé et pseudo-anonymisé à l'aide de l'outil MAPA (Gianola et al., 2020), afin de préserver l'identité des auteurs des textes qui contiennent parfois des informations personnelles.

<footnote n="5">5. La langue usuelle est la langue que le candidat a indiqué dans le formulaire d'inscription comme étant celle qu'il utilise habituellement.</footnote>
<table><caption>TABLE 1 – Nombre de textes en fonction de la langue usuelle et du niveau CECR (les codes des langues suivent la norme ISO639-2)</caption><thead><tr><th>Langue</th><th>A1</th><th>A2</th><th>B1</th><th>B2</th><th>C1</th><th>C2</th><th>Total</th></tr></thead><tbody><tr><td>JPN</td><td>8</td><td>135</td><td>171</td><td>170</td><td>48</td><td>2</td><td>534</td></tr><tr><td>CHI</td><td>34</td><td>165</td><td>244</td><td>189</td><td>45</td><td>4</td><td>681</td></tr><tr><td>SPA</td><td>124</td><td>187</td><td>175</td><td>182</td><td>178</td><td>58</td><td>904</td></tr><tr><td>ARA</td><td>135</td><td>160</td><td>163</td><td>153</td><td>160</td><td>135</td><td>906</td></tr><tr><td>POR</td><td>102</td><td>187</td><td>182</td><td>191</td><td>172</td><td>38</td><td>872</td></tr><tr><td>ENG</td><td>125</td><td>163</td><td>167</td><td>165</td><td>169</td><td>128</td><td>917</td></tr><tr><td>RUS</td><td>103</td><td>198</td><td>183</td><td>196</td><td>180</td><td>29</td><td>889</td></tr><tr><td>KAB</td><td>58</td><td>180</td><td>181</td><td>181</td><td>175</td><td>91</td><td>866</td></tr><tr><td>Total</td><td>689</td><td>1375</td><td>1466</td><td>1427</td><td>1127</td><td>485</td><td>6569</td></tr></tbody></table>

## 3 Présentation du corpus

À la fin du processus de compilation, le corpus TCFLE-8 comprend 6 569 essais (581 333 mots). La Table 1 présente des chiffres plus précis sur la proportion de textes par niveau du CECR et par langue usuelle. Les niveaux extrêmes (A1 et C2) sont moins représentés dans le corpus. Cela s'explique par deux facteurs : (1) peu d'apprenants de niveau A1 cherchent à passer une certification en langue, car ce niveau est rarement suffisant à des fins officielles (par exemple, pour l'obtention d'un emploi ou d'un visa), et (2) il est extrêmement difficile d'atteindre le niveau C2 dans une langue étrangère.

Dans la version anglaise originale de cet article (publié à EMNLP), le lecteur trouvera davantage de détails sur le corpus, notamment en matière de représentation de genres, de distribution des tâches et de longueur des productions. En résumé, on note que 58% des textes ont été écrits par des femmes et que cette proportion varie selon les niveaux CECR. Au niveau des tâches, les trois types de tâches sont relativement uniformément représentés, ce qui était espéré au vu de la procédure d'échantillonnage. Par ailleurs, une comparaison systématique entre TCFLE-8 et les autres corpus existants révèle qu'il s'agit du plus grand corpus d'apprenants de FLE adapté à la CAT – à la fois en termes de taille et de représentativité des L1 (ici, langue usuelle) –, du troisième plus large corpus de productions écrites de candidats à notre connaissance, toute langue confondue, et que ses couches d'annotation fournissent les informations les plus riches. En effet, non seulement, il couvre les 6 niveaux du CECR, mais a également fait l'objet d'une annotation linguistique visant à décrire les compétences des apprenants avec plus de 400 variables (chacune associées à 18 agrégateurs statistiques, comme la moyenne, la médiane, l'écart-type, etc. ce qui donne plus de 5 000 caractéristiques). Cette annotation a été réalisée automatiquement à l'aide de la boîte à outils FABRA (Wilkens et al., 2022).

Par ailleurs, en complément du niveau CECR consolidé, issu de la procédure décrite plus haut, TCFLE-8 comprend également le niveau CECR atteint par chaque candidat au terme des trois productions écrites. Ce score correspond au niveau officiel du CECR attribué au candidat pour la partie écrite de l'examen du TCF. Le Kappa quadratique de Cohen pondéré (KQP) entre ces deux scores (niveau CECR du texte et niveau CECR du candidat) atteint 0,98. On s'attend à ce que cette valeur soit élevée, mais pas égale à 1, en raison des cas où les candidats ne peuvent pas maintenir un niveau constant de qualité durant l'épreuve. En outre, les notes attribuées par les deux évaluateurs de FEI dans le cadre de la procédure de double évaluation sont également disponibles. Elles ont un KQP de 0,71 entre elles et de 0,84 avec le niveau CECR consolidé de l'essai. Enfin, la nature de la tâche et sa position
dans la séquence des trois tâches du TCF sont également rapportées. Ces informations permettent de contextualiser la réponse du candidat.

# 4 Résultats pour la CAT en FLE

Dans cette section, nous rapportons rapidement nos expériences visant à évaluer l’utilité du corpus TCFLE-8 pour l’entraînement des systèmes de CAT. En d’autres termes, prédire le niveau CECR des textes rédigés par les candidats au TCF revient donc à rendre possible l’automatisation de la correction des productions écrites du TCF, mais nous espérons que le corpus puisse soutenir plus largement la correction de textes automatisée pour le français.

À cette fin, nous explorons deux approches : l’apprentissage profond, étant donné que la plupart des systèmes AES s’appuient sur des réseaux neuronaux (Ramesh & Sanampudi, 2022), et l’apprentissage automatique basé sur des variables. Pour le modèle d’apprentissage profond, nous avons utilisé CamemBERT (Martin et al., 2020). Pour l’apprentissage non-neuronal, nous utilisons XGBoost, d’une part, et un simple modèle de régression logistique, d’autre part. Les performances de ces modèles sont présentées à la Table 2. Il apparaît clairement que le modèle basé sur CamemBERT obtient une meilleure exactitude et un meilleur score F1 que les deux autres modèles. Malgré tout, on peut constater qu’il y a encore une marge de progression lorsque l’on compare les résultats de CamemBERT avec l’évaluation des experts de FEI (colonne « Évaluateurs »). Néanmoins, ce modèle est proche de la performance des évaluateurs lorsque l’on considère la relation d’ordinalité entre les niveaux. Celle-ci est capturée à l’aide de la métrique κ quadratique pondéré (KQP), qui évalue l’accord entre le système et les annotateurs, en tenant compte de la distance entre les 6 niveaux du CECR, ainsi que de la mesure d’exactitude contiguë, calculée de la même manière que l’exactitude contiguë, mais où les erreurs d’un niveau de différence ne sont pas prises en compte.

<table><caption>TABLE 2 – Moyenne et écart-type des performances des 3 modèles ainsi que la performance des évaluateurs humains sur TCFLE-8.</caption><thead><tr><th></th><th>CamemBERT</th><th>XGBoost</th><th>Logistique</th><th>Évaluateurs</th></tr></thead><tbody><tr><td>KQP</td><td><strong>0,88</strong> (0,01)</td><td>0,79 (0,02)</td><td>0,69 (0,02)</td><td>0,93 (0,01)</td></tr><tr><td>Exactitude</td><td><strong>0,57</strong> (0,01)</td><td>0,46 (0,01)</td><td>0,37 (0,01)</td><td>0,76 (0,01)</td></tr><tr><td>Exactitude<sub>Contiguë</sub></td><td><strong>0,98</strong> (0,01)</td><td>0,92 (0,02)</td><td>0,80 (0,01)</td><td>0,99 (0,01)</td></tr><tr><td>F1<sub>pondérée</sub></td><td><strong>0,56</strong> (0,01)</td><td>0,46 (0,02)</td><td>0,36 (0,02)</td><td>0,76 (0,01)</td></tr><tr><td>A1<sub>F1</sub></td><td><strong>0,63</strong> (0,01)</td><td>0,59 (0,04)</td><td>0,54 (0,06)</td><td>0,76 (0,02)</td></tr><tr><td>A2<sub>F1</sub></td><td><strong>0,57</strong> (0,04)</td><td>0,53 (0,01)</td><td>0,40 (0,05)</td><td>0,76 (0,03)</td></tr><tr><td>B1<sub>F1</sub></td><td><strong>0,56</strong> (0,04)</td><td>0,45 (0,05)</td><td>0,32 (0,02)</td><td>0,75 (0,01)</td></tr><tr><td>B2<sub>F1</sub></td><td><strong>0,56</strong> (0,04)</td><td>0,43 (0,03)</td><td>0,34 (0,03)</td><td>0,76 (0,02)</td></tr><tr><td>C1<sub>F1</sub></td><td><strong>0,56</strong> (0,04)</td><td>0,42 (0,03)</td><td>0,30 (0,05)</td><td>0,77 (0,02)</td></tr><tr><td>C2<sub>F1</sub></td><td><strong>0,48</strong> (0,09)</td><td>0,19 (0,07)</td><td>0,31 (0,02)</td><td>0,80 (0,04)</td></tr></tbody></table>

TCFLE-8 étant un nouveau corpus pour la langue française, nous ne pouvons pas comparer nos résultats avec les travaux précédents, en raison d’une différence considérable au niveau de la taille de ces corpus. Dans la littérature en CAT pour le français nous n’avons identifié que deux articles portant sur l’identification de la compétence écrite en FLE (cf. Section 1). Tout d’abord, Parslow (2015) a rapporté des scores F1 allant de 0,51 à 0,74 pour les niveaux A1 à B2. Deuxièmement, Ranković
et al. (2020) ont utilisé les couches intermédiaires de CamemBERT comme caractéristiques pour
prédire le niveau dans un corpus de 100 essais et ont rapporté des MSE allant de 0, 35 à 0, 55.

5 Conclusion

Dans ce travail, nous avons présenté TCFLE-8, un corpus de 6 569 essais de candidats écrits pendant
le test de connaissance du français (TCF), incluant 8 langues usuelles différentes. Cet article a décrit
la collecte des données par France Education International (FEI) et les différentes étapes de nettoyage
des données. Au final, nous obtenons le plus grand corpus en français ciblant le FLE pour la CAT. Ce
corpus, ainsi que ses métadonnées (essais, métadonnées et annotations) sont à la disposition de la
communauté. En explorant l'utilité de TCFLE-8 pour la tâche de CAT en FLE, nous avons appliqué
différents algorithmes d'apprentissage automatique. CamemBERT apparaît comme le plus précis des
trois.

Enfin, l'intérêt du corpus TCFLE-8 dépasse les frontières de l'AES, car le fait qu'il s'agisse d'un grand
corpus d'apprenants, annoté avec les niveaux du CECR, ouvre de nombreuses pistes de recherches en
TAL, mais aussi en acquisition du langage et en linguistique de corpus. Ainsi, il pourrait soutenir des
recherches pour le développement de matériel pédagogique, qu'il s'agisse de dictionnaires (Longman,
2002), d'activités axées sur les difficultés et les erreurs courantes des apprenants (Kaszubski, 1998;
Reppen, 2010), de logiciels d'apprentissage des langues assisté par ordinateur (Granger, 2003)
ou d'aides à l'écriture en L2 (Link et al., 2014). Avec 8 langues usuelles différentes, ce corpus
pourrait également être utile pour des études interlinguistiques ciblant les mécanismes de transfert
et l'influence de la L1 sur la production de la L2 (Golden et al., 2017; Werner et al., 2020) ou
pour l'identification automatique de la langue maternelle (Tetreault et al., 2013). Enfin, une autre
application possible de ce nouveau corpus est la détection et la correction d'erreurs (Dahlmeier et al.,
2013), que nous étudions actuellement dans le cadre d'un travail futur sur TCFLE-8.

Références

BACHMAN L. & PALMER A. (2010). *Language assessment in practice : developing language assessments and justifying their use in the real world*. Oxford applied linguistics. Oxford : Oxford Univ. Press.

BACHMAN L. F. (1990). *Fundamental considerations in language testing*. Oxford University Press.

BURSTEIN J., KUKICH K., WOLFF S., LU C. & CHODOROW M. (1998). Computer analysis of essays. In *NCME Symposium on automated Scoring*.

COUNCIL OF EUROPE (2001). *Common European Framework of Reference for Lan- guages : Learning, Teaching, Assessment*. Press Syndicate of the University of Cambridge.

DAHLMEIER D., NG H. T. & WU S. M. (2013). Building a Large Annotated Corpus of Learner English : The NUS Corpus of Learner English. In *Proceedings of the Eighth Workshop on Innovative Use of NLP for Building Educational Applications*, p. 22–31, Atlanta, Georgia : Association for Computational Linguistics.

DIKLI S. (2006). An overview of automated scoring of essays. *The Journal of Technology, Learning and Assessment, 5*(1).
ECKES T. (2009). *Quantitative Data Analysis for Language Assessment Volume I: Fundamental Techniques*. Routledge, 1 édition. DOI: 10.4324/9781315187815.

GIANOLA L., AJAUSKS Ē., ARRANZ V., GIBERT O. D. & MELERO M. (2020). Automatic removal of identifying information in official eu languages for public administrations : The mapa project. In *33rd International Conference on Legal Knowledge and Information Systems (JURIX 2020) : proceedings, Dec 2020, Brno, Prague, Czech Republic*, volume 334, p. 223–226 : IOS Press.

GOLDEN A., JARVIS S. & TENFJORD K. (2017). *Crosslinguistic Influence and Distinctive Patterns of Language Learning : Findings and Insights from a Learner Corpus*. Multilingual Matters.

GRANGER S. (1993). The International Corpus of Learner English. In *The European English Messenger*, p. 34.

GRANGER S. (2003). Error-tagged Learner Corpora and CALL : A Promising Synergy. *CALICO Journal*, **20**(3), 465–480.

KASZUBSKI P. (1998). Learner corpora : The cross-roads of linguistic norm. *TALC98 Proceedings*, p. 24–27.

KE Z. & NG V. (2019). Automated essay scoring : A survey of the state of the art. In *IJCAI*, volume 19, p. 6300–6308.

KLEBANOV B. B. & MADNANI N. (2020). Automated evaluation of writing–50 years and counting. In *Proceedings of the 58th annual meeting of the association for computational linguistics*, p. 7796–7810.

KLEBANOV B. B. & MADNANI N. (2021). Automated Essay Scoring. *Synthesis Lectures on Human Language Technologies*, **14**(5), 1–314.

LAGAKIS P. & DEMETRIADIS S. (2021). Automated essay scoring : A review of the field. In *2021 International Conference on Computer, Information and Telecommunication Systems (CITS)*, p. 1–6 : IEEE.

LANDAUER T. K. & DUMAIS S. T. (1997). A solution to Plato’s problem : The latent semantic analysis theory of acquisition, induction, and representation of knowledge. *Psychological review*, **104**(2), 211.

LEMAIRE B. & DESSUS P. (2001). A System to Assess the Semantic Content of Student Essays. *Journal of Educational Computing Research*, **24**(3), 305–320. DOI: 10.2190/G649-0R9C-C021-P6X3.

LINK S., DURSUN A., KARAKAYA K. & HEGELHEIMER V. (2014). Towards Better ESL Practices for Implementing Automated Writing Evaluation. *Calico Journal*, **31**(3).

LONGMAN (2002). *Longman Essential Activator*. Harlow : Pearson ESL.

MARTIN L., MULLER B., SUÁREZ P. J. O., DUPONT Y., ROMARY L., DE LA CLERGERIE É. V., SEDDAH D. & SAGOT B. (2020). Camembert : a tasty french language model. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*.

OLLER, JR J. W. & HINOFOTIS F. B. (1980). Two mutually exclusive hypotheses about second language ability : factor analytic studies of a variety of language subtests.

PAGE E. B. (1966). The imminence of... grading essays by computer. *The Phi Delta Kappan*, **47**(5), 238–243.

PARSLOW N. (2015). Automated Analysis of L2 French Writing : a preliminary study. Mémoire de master. Publisher : Unpublished.

PERDUE C. (1993). Comment rendre compte de la "logique" de l'acquisition d'une langue étrangère par l'adulte. *Études de Linguistique Appliquée*, **92**(1), 8–23.
RAMESH D. & SANAMPUDI S. K. (2022). An automated essay scoring systems : a systematic literature review. *Artificial Intelligence Review*, **55**(3), 2495–2527.

RANKOVIĆ B., SMIRNOW S., JAGGI M. & TOMASIK M. J. (2020). Automated Essay Scoring in Foreign Language Students Based on Deep Contextualised Word Representations. In *LAK20-10th International Conference on Learning Analytics & Knowledge*. Issue : CONF.

REPPEN R. (2010). *Using Corpora in the Language Classroom*. Cambridge University Press.

RUDNER L. M. & LIANG T. (2002). Automated essay scoring using Bayes’ theorem. *The Journal of Technology, Learning and Assessment*, **1**(2).

SHERMIS M. D., BURSTEIN J. & BURSKY S. A. (2013). Introduction to automated essay evaluation. In *Handbook of automated essay evaluation*, p. 23–37. Routledge.

TETREAULT J., BLANCHARD D. & CAHILL A. (2013). A report on the first native language identification shared task. In *Proceedings of the Eighth Workshop on Innovative Use of NLP for Building Educational Applications*, p. 48–57, Atlanta, Georgia : Association for Computational Linguistics.

UTO M. (2021). A review of deep-neural automated essay scoring models. *Behaviormetrika*, **48**(2), 459–484.

VOLLMER, J H. & CAROLL J. B. (1983). Psychometric theory and language testing. In J. W. OLLER, Éd., *Issues in language testing research*, p. 29–79. Rowley, Mass. : Newbury House. 00000.

VOLLMER, J H. & SANG F. (1983). Competing hypotheses about second language ability : a plea of caution. In J. W. OLLER, Éd., *Issues in language testing research*. Rowley, Mass. : Newbury House. 00000.

WERNER V., FUCHS R. & GÖTZ S. (2020). L1 influence vs. universal mechanisms : An SLA-driven corpus study on temporal expression. In *Learner Corpus Research Meets Second Language Acquisition*, p. 39–66. Cambridge University Press.

WILKENS R., ALFTER D., WANG X., PINTARD A., TACK A., YANCEY K. P. & FRANÇOIS T. (2022). Fabra : French aggregator-based readability assessment toolkit. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 1217–1233.

ZAGHOUANI W. (2002). AUTO-ÉVAL : vers un modèle d’évaluation automatique des textes. In *Actes du colloque des étudiants en sciences du langage*, p. 16, Montréal, Canada : Université du Québec à Montréal.
# Technologies de la parole et données de terrain : le cas du créole haïtien

William N. Havard¹,², Renauld Govain³, Daphne Gonçalves Teixeira¹, Benjamin Lecouteux², Emmanuel Schang¹

¹ LLL, Université d'Orléans, CNRS, 45000 Orléans, France

² LIG, Université Grenoble Alpes, CNRS, Grenoble INP, 38000 Grenoble, France

³ LangSé, Université d'État d'Haïti, Port-au-Prince, Haïti

william.havard@univ-orleans.fr

## RÉSUMÉ

Nous utilisons des données de terrain en créole haïtien, récoltées il y a 40 ans sur cassettes puis numérisées, pour entraîner un modèle natif d'apprentissage auto-supervisé (SSL) de la parole (WAV2VEC2) en haïtien. Nous utilisons une approche de pré-entraînement continu (CPT) sur des modèles SSL pré-entraînés de deux langues étrangères : la langue lexificatrice – le français – et une langue non apparentée – l'anglais. Nous comparons les performances de ces trois modèles SSL, et de deux autres modèles SSL étrangers directement affinés, sur une tâche de reconnaissance de la parole. Nos résultats montrent que le modèle le plus performant est celui qui a été entraîné en utilisant une approche CPT sur la langue lexificatrice, suivi par le modèle natif. Nous concluons que l'approche de "mobilisation des archives" préconisée par (Bird, 2020) est une voie prometteuse pour concevoir des technologies vocales pour de nouvelles langues.

## ABSTRACT

### Speech Technologies with Fieldwork Recordings : the case of Haitian Creole

We use fieldwork recordings in Haitian Creole, collected 40 years ago on cassettes and then digitised, to train a native self-supervised learning (SSL) model of speech (WAV2VEC2) in Haitian. We use a continuous pre-training (CPT) approach on pre-trained SSL models of two foreign languages : the lexifier language – French – and an unrelated language – English. We compare the performance of these three SSL models, and of two other directly finetuned foreign SSL models, on a speech recognition task. Our results show that the best-performing model is the one trained using a CPT approach on the lexifier language, followed by the native model. We conclude that the "mobilise the archive" approach advocated by (Bird, 2020) is a promising avenue for designing speech technologies for new languages.

**MOTS-CLÉS** : créole haïtien, enregistrement de terrain, modèles auto-supervisés, reconnaissance de la parole.

**KEYWORDS:** Haitian Creole, fieldwork recordings, self-supervised model, speech recognition.

<figure><img src="image_223.png" /></figure>