# Application de modèles de langage pré-entraînés dans la recherche financière moderne

## Heungmin Lee

Seoul National University

### Abstract

Ces dernières années, les modèles de langage pré-entraînés (PLM) sont devenus un outil puisant pour les tâches de traitement du langage naturel (TAL). Dans cet article, nous examinons le potentiel de ces modèles dans le secteur financier et les défis auxquels ils sont confrontés dans ce domaine. Nous discutons également de l'interprétabilité de ces modèles et des considérations éthiques associées à leur déploiement en finance. Notre analyse montre que les modèles de langage pré-entraînés ont le potentiel de révolutionner la manière dont les données financières sont analysées et traitées. Cependant, il est important de relever les défis et les considérations éthiques associés à leur déploiement pour s'assurer qu'ils sont utilisés de manière responsable et responsable. Les recherches futures se concentreront sur le développement de modèles capables de gérer la volatilité des données financières, d'atténuer les biais dans les données de formation et de fournir des prévisions interprétables. Dans l'ensemble, nous pensons que l'avenir de l'IA dans la finance sera façonné par le développement et le déploiement continus de modèles de langage pré-entraînés.

## 1 Introduction

Les modèles de langage pré-entraînés (PLM) ont révolutionné le domaine du traitement du langage naturel ces dernières années. Ces modèles, tels que BERT, GPT-3 et AlexaTM (Devlin et al., 2019; Floridi and Chiriatti, 2020; FitzGerald et al., 2022), sont formés sur de grandes quantités de données textuelles, puis affinés pour des tâches NLP spécifiques, telles que l'analyse des sentiments, la classification des textes, l'étiquetage des séquences et d'autres tâches.

Dans le secteur financier, les modèles de langage pré-entraînés se sont révélés très prometteurs pour des tâches telles que la prévision boursière et la synthèse des actualités financières. En tirant parti de la

grande quantité de données financières et d'articles de presse, ces modèles peuvent extraire des informations pertinentes et fournir des informations précieuses pour la prise de décision financière. Malgré les avantages potentiels, l'utilisation de ces modèles en finance pose également des risques et des défis importants, tels que les implications éthiques de l'utilisation de l'IA sur les marchés financiers et la nécessité de méthodes d'interprétabilité robustes. Dans cet article, nous donnons un aperçu de l'état actuel de l'art en matière d'utilisation de modèles de langage pré-entraînés pour la finance et discutons des avantages et des défis potentiels de ce domaine.

Le reste du papier est organisé comme suit :

La section 2 fournit un aperçu détaillé de l'état de l'art actuel des modèles de langage pré-entraînés et de leurs applications en finance. Cette section couvre les différents modèles qui ont été développés et les tâches NLP pour lesquelles ils sont utilisés en finance.

La section 3 traite des défis auxquels sont confrontés les modèles de langage pré-entraînés en finance, notamment la volatilité des données financières, la disponibilité limitée des informations et des données financières et le besoin de modèles capables de gérer plusieurs langues.

La section 4 se concentre sur l'interprétabilité des modèles de langage pré-entraînés en finance. Cette section couvre les développements récents des méthodes d'interprétabilité, telles que la visualisation de l'attention et les explications contrastives, et leurs applications en finance.

La section 5 met en évidence les considérations éthiques liées à l'utilisation de l'IA dans la finance et le potentiel de biais dans les données de formation. Cette section fournit également des recommandations pour le déploiement responsable de ces modèles en finance.

La section 6 conclut l'article et offre une perspective pour l'avenir des modèles de langage pré-
entraînés en finance. Cette section résume les principales conclusions de l'article et propose des suggestions pour les recherches futures dans ce domaine.

Dans l'ensemble, l'utilisation de modèles de langage pré-formés en finance est un domaine en pleine croissance avec une multitude d'applications potentielles. L'objectif de cet article est de fournir un aperçu complet de l'état actuel de la technique, des défis et des considérations éthiques, ainsi que du potentiel d'avancées futures dans ce domaine.

## 2 Pretrained Language Models

Dans cette section, nous donnons un aperçu de l'état de l'art actuel des modèles de langage pré-entraînés et de leurs applications en finance. Nous couvrons les différents types de modèles qui ont été développés et les tâches NLP pour lesquelles ils sont utilisés en finance.

Les modèles de langage pré-entraînés les plus largement utilisés en finance incluent BERT, GPT-3 et AlexaTM (Devlin et al., 2019; Floridi and Chiriatti, 2020; FitzGerald et al., 2022). BERT (Représentations d'encodeurs bidirectionnels à partir de transformateurs) est un modèle basé sur des transformateurs qui a atteint des performances de pointe sur un large éventail de tâches NLP. BERT a été utilisé pour de nombreuses tâches NLP et a atteint l'état de l'art (SOTA) (Goodfellow et al., 2014; Xu et al., 2015; Miyato et al., 2016; Guo et al., 2018; Chen et al., 2017; Miyato et al., 2019; Chen et al., 2020b; Yasunaga et al., 2017; Chen et al., 2020a; Wang et al., 2019; Clark et al., 2018; Ruan et al., 2020; Liu et al., 2021; Chen et al., 2021). En outre, BERT a été appliqué à des tâches financières telles que la prévision du marché boursier, l'analyse du sentiment des données financières et la synthèse des actualités financières (Heaton et al., 2017).

GPT-3 (Generative Pretrained Transformer 3) est un autre modèle basé sur un transformateur qui a été formé sur un grand corpus de données textuelles. Il est bien adapté aux tâches de génération de langage et a été utilisé pour la prévision du marché boursier, le résumé des actualités financières et l'analyse des sentiments (Floridi and Chiriatti, 2020).

En plus de ces modèles, il existe également des modèles spécialisés qui ont été développés pour la finance. Par exemple, FINBERT est un modèle basé sur BERT qui a été formé spécifiquement sur

les données financières et a été utilisé pour la prévision du marché boursier et l'analyse des sentiments (Araci, 2019).

Dans la section suivante, nous discuterons des défis auxquels sont confrontés ces modèles en finance, notamment la volatilité des données financières, la disponibilité limitée des informations et des données financières et le besoin de modèles pouvant gérer plusieurs langues.

## 3 Challenges to Financial Application

Malgré le succès du PLM, plusieurs défis sont rencontrés par les modèles de langage pré-entraînés pour son application en finance.

Premièrement, les données financières sont très volatiles et changent rapidement, ce qui rend difficile pour les modèles de suivre ces changements et de fournir des prévisions précises.

Ensuite, les nouvelles et les données financières sont souvent difficiles à obtenir, en particulier pour les marchés émergents et les pays moins développés.

De plus, les nouvelles et les données financières sont souvent publiées dans plusieurs langues, ce qui nécessite que les modèles soient capables de gérer plusieurs langues et de fournir des traductions précises.

De plus, les modèles de langage pré-entraînés sont entraînés sur de grandes quantités de données textuelles, qui peuvent contenir des biais et des inexactitudes. Cela peut entraîner des prédictions et des décisions biaisées, en particulier dans le contexte de la finance où il existe de fortes incitations à manipuler les données.

Pour relever ces défis, il est nécessaire de proposer de modèles améliorés capables de gérer la volatilité des données financières et de fournir des prévisions précises, ainsi que de méthodes pour atténuer les biais dans les données de formation. Dans la section suivante, nous nous concentrerons sur l'interprétabilité des modèles de langage pré-entraînés en finance et discuterons des développements récents des méthodes d'interprétabilité qui peuvent aider à relever ces défis.

## 4 Interpretability

L'interprétabilité des modèles de langage pré-entraînés en finance est l'une des principales préoccupations. L'utilisation de ces modèles en finance soulève des questions sur la manière dont les décisions sont prises et sur la manière de garantir que
ces décisions sont justes et transparentes.

Pour répondre à ces préoccupations, il y a eu un
 interest croissant pour le développement de méth-
odes d'interprétabilité pour les modèles de langage
pré-entraînés. Ces méthodes visent à rendre les
prédictions des modèles plus transparentes et à ex-
pliquer pourquoi certaines prédictions sont faites.

Deux des méthodes d'interprétabilité les plus
couramment utilisées sont la visualisation de
l'attention et les explications contrastives. La visu-
alisation de l'attention permet aux utilisateurs de
voir sur quelles parties du texte d'entrée le modèle
se concentre lors de ses prédictions. Les expli-
cations contrastives fournissent une comparaison
entre les prédictions du modèle pour différentes
entrées, permettant aux utilisateurs de compren-
dre comment de petits changements dans l'entrée
peuvent conduire à des prédictions différentes.

Ces méthodes d'interprétabilité ont été ap-
pliquées à un large éventail de tâches de PNL et
se sont avérées efficaces pour améliorer la trans-
parence et la responsabilité des modèles de langage
pré-entraînés. Cependant, il reste encore beaucoup
de travail à faire dans ce domaine, en particulier
dans le contexte de la finance où les conséquences
de prédictions biaisées peuvent être importantes.

5 Ethical Considerations

On s'inquiète de plus en plus du potentiel de biais
dans les systèmes d'IA, en particulier dans la fi-
nance où les conséquences de prédictions biaisées
peuvent être importantes. Les modèles de langage
pré-entraînés sont entraînés sur de grandes quan-
tités de données textuelles, qui peuvent contenir
des biais et des inexactitudes. Cela peut entraîner
des prédictions et des décisions biaisées, en partic-
ulier dans le contexte de la finance où il existe de
fortes incitations à manipuler les données.

Pour répondre à ces préoccupations, un dé-
ploiement responsable de ces modèles en finance
est nécessaire. Premièrement, assurer la trans-
parence et la responsabilité dans le processus de
prise de décision en fournissant des méthodes
d'interprétabilité qui peuvent aider à expliquer com-
ment les prédictions sont faites. Deuxièmement,
atténuer les biais dans les données de formation en
utilisant des méthodes telles que la formation con-
tradictoire et l'analyse contrefactuelle pour détecter
et corriger les biais dans les données. Troisième-
ment, mettre en œuvre des contraintes d'équité
qui garantissent que les modèles ne discriminent

pas certains groupes ou individus. Après cela, ef-
fectuer des audits et des évaluations réguliers pour
s'assurer que les modèles fonctionnent comme
prévu et n'introduisent pas de nouveaux biais ou in-
exactitudes. Enfin et surtout, impliquer les parties
prenantes, y compris les régulateurs, les clients et
les experts, dans des discussions sur le déploiement
de l'IA dans la finance et s'assurer que leurs préoc-
cupations et leurs besoins sont pris en compte.

Dans l'ensemble, les modèles de langage pré-
entraînés ont le potentiel de révolutionner la
manière dont les données financières sont analysées
et traitées. Cependant, il est important de relever
les défis et les considérations éthiques associés à
leur déploiement pour s'assurer qu'ils sont utilisés
de manière responsable et responsable.

6 Conclusion

Dans cet article, nous avons discuté du potentiel
des modèles de langage pré-entraînés en finance
et des défis auxquels ces modèles sont confrontés
dans ce domaine. Nous avons également discuté
de l'interprétabilité de ces modèles et des consid-
erations éthiques associées à leur déploiement en
finance.

Dans l'ensemble, les modèles de langage pré-
entraînés ont le potentiel de transformer la façon
dont les données financières sont analysées et
traitées. Cependant, il est important de relever les
défis et les considérations éthiques associés à leur
déploiement dans la finance pour s'assurer qu'ils
sont utilisés de manière responsable et responsable.

Les recherches futures dans ce domaine se con-
centreront sur le développement de modèles ca-
pables de gérer la volatilité des données finan-
cières et de fournir des prévisions précises, ainsi
que des méthodes pour atténuer les biais dans les
données de formation. De plus, l'accent contin-
uera d'être mis sur le développement de méthodes
d'interprétabilité qui peuvent aider à garantir que
ces modèles sont transparents et responsables dans
leur processus de prise de décision.

En conclusion, nous pensons que l'avenir de l'IA
dans la finance sera façonné par le développement
et le déploiement continus de modèles de langage
pré-entraînés. Il est important que les chercheurs,
les praticiens et les décideurs travaillent ensem-
ble pour s'assurer que ces modèles sont utilisés
de manière responsable et éthique pour stimuler
l'innovation et améliorer l'efficacité et la précision
de la prise de décision financière.
## References

Dogu Araci. 2019. Finbert: Financial sentiment analysis with pre-trained language models. *arXiv preprint arXiv:1908.10063*.

Luoxin Chen, Carol Friedman, and Joseph Finkelstein. 2017. Automated metabolic phenotyping of cytochrome polymorphisms using pubmed abstract mining. In *AMIA 2017, American Medical Informatics Association Annual Symposium, Washington, DC, USA, November 4-8, 2017*. AMIA.

Luoxin Chen, Francisco Garcia, Varun Kumar, He Xie, and Jianhua Lu. 2021. Industry scale semi-supervised learning for natural language understanding. In *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Papers, NAACL-HLT 2021, Online, June 6-11, 2021*, pages 311–318. Association for Computational Linguistics.

Luoxin Chen, Xinyue Liu, Weitong Ruan, and Jianhua Lu. 2020a. Enhance robustness of sequence labelling with masked adversarial training. In *Findings of the Association for Computational Linguistics: EMNLP 2020, Online Event, 16-20 November 2020*, volume EMNLP 2020 of *Findings of ACL*, pages 297–302. Association for Computational Linguistics.

Luoxin Chen, Weitong Ruan, Xinyue Liu, and Jianhua Lu. 2020b. Seqvat: Virtual adversarial training for semi-supervised sequence labeling. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020*, pages 8801–8811. Association for Computational Linguistics.

Kevin Clark, Minh-Thang Luong, Christopher D. Manning, and Quoc V. Le. 2018. Semi-supervised sequence modeling with cross-view training. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Brussels, Belgium, October 31 - November 4, 2018*, pages 1914–1925. Association for Computational Linguistics.

Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, Minneapolis, Minnesota. Association for Computational Linguistics.

Jack FitzGerald, Shankar Ananthakrishnan, Konstantine Arkoudas, Davide Bernardi, Abhishek Bhagia, Claudio Delli Bovi, Jin Cao, Rakesh Chada, Amit Chauhan, Luoxin Chen, Anurag Dwarakanath, Satyam Dwivedi, Turan Gojayev, Karthik Gopalakrishnan, Thomas Gueudre, Dilek Hakkani-Tur, Wael Hamza, Jonathan J. Hüser, Kevin Martin Jose, Haidar Khan, Beiye Liu, Jianhua Lu, Alessandro Manzotti,

Pradeep Natarajan, Karolina Owczarzak, Gokmen Oz, Enrico Palumbo, Charith Peris, Chandana Satya Prakash, Stephen Rawls, Andy Rosenbaum, Anjali Shenoy, Saleh Soltan, Mukund Harakere Sridhar, Lizhen Tan, Fabian Triefenbach, Pan Wei, Haiyang Yu, Shuai Zheng, Gökhan Tür, and Prem Natarajan. 2022. Alexa teacher model: Pretraining and distilling multi-billion-parameter encoders for natural language understanding systems. In *KDD '22: The 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, Washington, DC, USA, August 14 - 18, 2022*, pages 2893–2902. ACM.

Luciano Floridi and Massimo Chiriatti. 2020. Gpt-3: Its nature, scope, limits, and consequences. *Minds and Machines*, 30:681–694.

Ian J Goodfellow, Jonathon Shlens, and Christian Szegedy. 2014. Explaining and harnessing adversarial examples. *arXiv preprint arXiv:1412.6572*.

Jiaxian Guo, Sidi Lu, Han Cai, Weinan Zhang, Yong Yu, and Jun Wang. 2018. Long text generation via adversarial training with leaked information. In *Proceedings of the AAAI conference on artificial intelligence*, volume 32.

James B Heaton, Nick G Polson, and Jan Hendrik Witte. 2017. Deep learning for finance: deep portfolios. *Applied Stochastic Models in Business and Industry*, 33(1):3–12.

Xinyue Liu, Mingda Li, Luoxin Chen, Prashan Wani-gasekara, Weitong Ruan, Haidar Khan, Wael Hamza, and Chengwei Su. 2021. ASR n-best fusion nets. In *IEEE International Conference on Acoustics, Speech and Signal Processing, ICASSP 2021, Toronto, ON, Canada, June 6-11, 2021*, pages 7618–7622. IEEE.

Takeru Miyato, Andrew M Dai, and Ian Goodfellow. 2016. Adversarial training methods for semi-supervised text classification. *arXiv preprint arXiv:1605.07725*.

Takeru Miyato, Shin-ichi Maeda, Masanori Koyama, and Shin Ishii. 2019. Virtual adversarial training: A regularization method for supervised and semi-supervised learning. *IEEE Trans. Pattern Anal. Mach. Intell.*, 41(8):1979–1993.

Weitong Ruan, Yaroslav Nechaev, Luoxin Chen, Chengwei Su, and Imre Kiss. 2020. Towards an ASR error robust spoken language understanding system. In *Interspeech 2020, 21st Annual Conference of the International Speech Communication Association, Virtual Event, Shanghai, China, 25-29 October 2020*, pages 901–905. ISCA.

Yipei Wang, Xingyu Fan, Luoxin Chen, Eric I-Chao Chang, Sophia Ananiadou, Junichi Tsujii, and Yan Xu. 2019. Mapping anatomical related entities to human body parts based on wikipedia in discharge summaries. *BMC Bioinform.*, 20(1):430:1–430:11.
Yan Xu, Luoxin Chen, Junsheng Wei, Sophia Anani-adou, Yubo Fan, Yi Qian, Eric I-Chao Chang, and Jun'ichi Tsujii. 2015. Bilingual term alignment from comparable corpora in english discharge summary and chinese discharge summary. *BMC Bioinform.*, 16:149:1–149:10.

Michihiro Yasunaga, Jungo Kasai, and Dragomir Radev. 2017. Robust multilingual part-of-speech tagging via adversarial training. *arXiv preprint arXiv:1711.04903*.