# Appliquer des modèles de grands langages pré-entraînés à la recherche financière basée sur l'IA

Donghyun Kim

Korea University

## Abstract

Dans un passé récent, l'utilisation de modèles de langage pré-entraînés (PLM) a acquis une immense popularité pour les tâches de traitement du langage naturel (TAL). Cet article évalue les capacités de ces modèles dans le secteur financier, ainsi que les obstacles auxquels ils sont confrontés dans ce domaine. L'article évalue également la transparency de ces modèles et les enjeux éthiques liés à leur utilisation en finance. Notre étude montre que les PLM ont le potentiel de transformer la façon dont les données financières sont analysées et traitées. Cependant, il est crucial de relever les défis et les préoccupations éthiques associés à leur mise en œuvre pour s'assurer qu'ils sont utilisés de manière éthique et responsable. Les études futures se concentreront sur l'amélioration des modèles pour gérer l'instabilité des données financières, réduire les biais dans les données de formation et offrir des prévisions transparentes. En conclusion, nous pensons que l'avancement de l'IA dans la finance sera déterminé par la croissance et la mise en œuvre de modèles de langage pré-entraînés.

## 1 Introduction

Les modèles de langage pré-entraînés (PLM) ont révolutionné le domaine du traitement du langage naturel ces dernières années. Ces modèles, tels que BERT, GPT-3 et AlexaTM (Devlin et al., 2019; Floridi and Chiriatti, 2020; FitzGerald et al., 2022), sont formés sur de grandes quantités de données textuelles, puis affinés pour des tâches NLP spécifiques, telles que l'analyse des sentiments, la classification des textes, l'étiquetage des séquences et d'autres tâches.

Dans le secteur financier, les modèles de langage pré-entraînés se sont révélés très prometteurs pour des tâches telles que la prévision boursière et la synthèse des actualités financières. En tirant parti de la grande quantité de données financières et d'articles

de presse, ces modèles peuvent extraire des informations pertinentes et fournir des informations précieuses pour la prise de décision financière. Malgré les avantages potentiels, l'utilisation de ces modèles en finance pose également des risques et des défis importants, tels que les implications éthiques de l'utilisation de l'IA sur les marchés financiers et la nécessité de méthodes d'interprétabilité robustes. Dans cet article, nous donnons un aperçu de l'état actuel de l'art en matière d'utilisation de modèles de langage pré-entraînés pour la finance et discutons des avantages et des défis potentiels de ce domaine.

Le reste du papier est organisé comme suit :

La section 2 fournit un aperçu détaillé de l'état de l'art actuel des modèles de langage pré-entraînés et de leurs applications en finance. Cette section couvre les différents modèles qui ont été développés et les tâches NLP pour lesquelles ils sont utilisés en finance.

La section 3 traite des défis auxquels sont confrontés les modèles de langage pré-entraînés en finance, notamment la volatilité des données financières, la disponibilité limitée des informations et des données financières et le besoin de modèles capables de gérer plusieurs langues.

La section 4 se concentre sur l'interprétabilité des modèles de langage pré-entraînés en finance. Cette section couvre les développements récents des méthodes d'interprétabilité, telles que la visualisation de l'attention et les explications contrastives, et leurs applications en finance.

La section 5 met en évidence les considérations éthiques liées à l'utilisation de l'IA dans la finance et le potentiel de biais dans les données de formation. Cette section fournit également des recommandations pour le déploiement responsable de ces modèles en finance.

La section 6 conclut l'article et offre une perspective pour l'avenir des modèles de langage pré-entraînés en finance. Cette section résume les prin-
cipales conclusions de l'article et propose des sug-
gestions pour les recherches futures dans ce do-
maine.

Dans l'ensemble, l'utilisation de modèles de
langage pré-formés en finance est un domaine en
pleine croissance avec une multitude d'applications
potentielles. L'objectif de cet article est de fournir
un aperçu complet de l'état actuel de la technique,
des défis et des considérations éthiques, ainsi que
du potentiel d'avancées futures dans ce domaine.

## 2 Pretrained Language Models

Dans cette section, nous donnons un aperçu de
l'état de l'art actuel des modèles de langage pré-
entraînés et de leurs applications en finance. Nous
couvrons les différents types de modèles qui ont
été développés et les tâches NLP pour lesquelles
ils sont utilisés en finance.

Les modèles de langage pré-entraînés les plus
largement utilisés en finance incluent BERT, GPT-
3 et AlexaTM (Devlin et al., 2019; Floridi and
Chiriatti, 2020; FitzGerald et al., 2022). BERT
(Représentations d'encodeurs bidirectionnels à par-
tir de transformateurs) est un modèle basé sur des
transformateurs qui a atteint des performances de
pointe sur un large éventail de tâches NLP. BERT
a été utilisé pour de nombreuses tâches NLP et a
atteint l'état de l'art (SOTA) (Goodfellow et al.,
2014; Xu et al., 2015; Miyato et al., 2016; Guo
et al., 2018; Chen et al., 2017; Miyato et al., 2019;
Chen et al., 2020b; Yasunaga et al., 2017; Chen
et al., 2020a; Wang et al., 2019; Clark et al., 2018;
Ruan et al., 2020; Liu et al., 2021; Chen et al.,
2021). En outre, BERT a été appliqué à des tâches
financières telles que la prévision du marché bour-
sier, l'analyse du sentiment des données financières
et la synthèse des actualités financières (Heaton
et al., 2017).

GPT-3 (Generative Pretrained Transformer 3)
est un autre modèle basé sur un transformateur
qui a été formé sur un grand corpus de données
textuelles. Il est bien adapté aux tâches de généra-
tion de langage et a été utilisé pour la prévision
du marché boursier, le résumé des actualités fi-
nancières et l'analyse des sentiments (Floridi and
Chiriatti, 2020).

En plus de ces modèles, il existe également des
modèles spécialisés qui ont été développés pour
la finance. Par exemple, FINBERT est un modèle
basé sur BERT qui a été formé spécifiquement sur
les données financières et a été utilisé pour la prévi-

sion du marché boursier et l'analyse des sentiments
(Araci, 2019).

Dans la section suivante, nous discuterons des
défis auxquels sont confrontés ces modèles en fi-
nance, notamment la volatilité des données finan-
cières, la disponibilité limitée des informations et
des données financières et le besoin de modèles
pouvant gérer plusieurs langues.

## 3 Challenges to Financial Application

Malgré le succès du PLM, plusieurs défis sont ren-
contrés par les modèles de langage pré-entraînés
pour son application en finance.

Premièrement, les données financières sont très
volatiles et changent rapidement, ce qui rend diffi-
cile pour les modèles de suivre ces changements et
de fournir des prévisions précises.

Ensuite, les nouvelles et les données financières
sont souvent difficiles à obtenir, en particulier pour
les marchés émergents et les pays moins dévelop-
pés.

De plus, les nouvelles et les données financières
sont souvent publiées dans plusieurs langues, ce
qui nécessite que les modèles soient capables de
gérer plusieurs langues et de fournir des traductions
précises.

De plus, les modèles de langage pré-entraînés
sont entraînés sur de grandes quantités de données
textuelles, qui peuvent contenir des biais et des in-
exactitudes. Cela peut entraîner des prédictions et
des décisions biaisées, en particulier dans le con-
texte de la finance où il existe de fortes incitations
à manipuler les données.

Pour relever ces défis, il est nécessaire de dis-
poser de modèles améliorés capables de gérer la
volatilité des données financières et de fournir des
prévisions précises, ainsi que de méthodes pour
atténuer les biais dans les données de formation.
Dans la section suivante, nous nous concentrerons
sur l'interprétabilité des modèles de langage pré-
entraînés en finance et discuterons des développe-
ments récents des méthodes d'interprétabilité qui
peuvent aider à relever ces défis.

## 4 Interpretability

L'interprétabilité des modèles de langage pré-
entraînés en finance est l'une des principales préoc-
cupations. L'utilisation de ces modèles en finance
soulève des questions sur la manière dont les déci-
sions sont prises et sur la manière de garantir que
ces décisions sont justes et transparentes.
Pour répondre à ces préoccupations, il y a eu un
 interest croissant pour le développement de méth-
odes d'interprétabilité pour les modèles de langage
pré-entraînés. Ces méthodes visent à rendre les
prédictions des modèles plus transparentes et à ex-
pliquer pourquoi certaines prédictions sont faites.

Deux des méthodes d'interprétabilité les plus
couramment utilisées sont la visualisation de
l'attention et les explications contrastives. La visu-
alisation de l'attention permet aux utilisateurs de
voir sur quelles parties du texte d'entrée le modèle
se concentre lors de ses prédictions. Les expli-
cations contrastives fournissent une comparaison
entre les prédictions du modèle pour différentes
entrées, permettant aux utilisateurs de compren-
dre comment de petits changements dans l'entrée
peuvent conduire à des prédictions différentes.

Ces méthodes d'interprétabilité ont été ap-
pliquées à un large éventail de tâches de PNL et
se sont avérées efficaces pour améliorer la trans-
parence et la responsabilité des modèles de langage
pré-entraînés. Cependant, il reste encore beaucoup
de travail à faire dans ce domaine, en particulier
dans le contexte de la finance où les conséquences
de prédictions biaisées peuvent être importantes.

5 Ethical Considerations

On s'inquête de plus en plus du potentiel de biais
dans les systèmes d'IA, en particulier dans la fi-
nance où les conséquences de prédictions biaisées
peuvent être importantes. Les modèles de langage
pré-entraînés sont entraînés sur de grandes quan-
tités de données textuelles, qui peuvent contenir
des biais et des inexactitudes. Cela peut entraîner
des prédictions et des décisions biaisées, en partic-
ulier dans le contexte de la finance où il existe de
fortes incitations à manipuler les données.

Pour répondre à ces préoccupations, un dé-
ploiement responsable de ces modèles en finance
est nécessaire. Premièrement, assurer la trans-
parence et la responsabilité dans le processus de
prise de décision en fournissant des méthodes
d'interprétabilité qui peuvent aider à expliquer com-
ment les prédictions sont faites. Deuxièmement,
atténuer les biais dans les données de formation en
utilisant des méthodes telles que la formation con-
tradictoire et l'analyse contrefactuelle pour détecter
et corriger les biais dans les données. Troisième-
ment, mettre en œuvre des contraintes d'équité
qui garantissent que les modèles ne discriminent
pas certains groupes ou individus. Après cela, ef-

fectuer des audits et des évaluations réguliers pour
s'assurer que les modèles fonctionnent comme
prévu et n'introduisent pas de nouveaux biais ou in-
exactitudes. Enfin et surtout, impliquer les parties
prenantes, y compris les régulateurs, les clients et
les experts, dans des discussions sur le déploiement
de l'IA dans la finance et s'assurer que leurs préoc-
cupations et leurs besoins sont pris en compte.

Dans l'ensemble, les modèles de langage pré-
entraînés ont le potentiel de révolutionner la
manière dont les données financières sont analysées
et traitées. Cependant, il est important de relever
les défis et les considérations éthiques associés à
leur déploiement pour s'assurer qu'ils sont utilisés
de manière responsable et responsable.

6 Conclusion

Dans cet article, nous avons discuté du potentiel
des modèles de langage pré-entraînés en finance
et des défis auxquels ces modèles sont confrontés
dans ce domaine. Nous avons également discuté
de l'interprétabilité de ces modèles et des consid-
erations éthiques associées à leur déploiement en
finance.

Dans l'ensemble, les modèles de langage pré-
entraînés ont le potentiel de transformer la façon
dont les données financières sont analysées et
traitées. Cependant, il est important de relever les
défis et les considérations éthiques associés à leur
déploiement dans la finance pour s'assurer qu'ils
sont utilisés de manière responsable et responsable.

Les recherches futures dans ce domaine se con-
centreront sur le développement de modèles ca-
pables de gérer la volatilité des données finan-
cières et de fournir des prévisions précises, ainsi
que des méthodes pour atténuer les biais dans les
données de formation. De plus, l'accent contin-
uera d'être mis sur le développement de méthodes
d'interprétabilité qui peuvent aider à garantir que
ces modèles sont transparents et responsables dans
leur processus de prise de décision.

En conclusion, nous pensons que l'avenir de l'IA
dans la finance sera façonné par le développement
et le déploiement continus de modèles de langage
pré-entraînés. Il est important que les chercheurs,
les praticiens et les décideurs travaillent ensem-
ble pour s'assurer que ces modèles sont utilisés
de manière responsable et éthique pour stimuler
l'innovation et améliorer l'efficacité et la précision
de la prise de décision financière.
## References

Dogu Araci. 2019. Finbert: Financial sentiment analysis with pre-trained language models. *arXiv preprint arXiv:1908.10063*.

Luoxin Chen, Carol Friedman, and Joseph Finkelstein. 2017. Automated metabolic phenotyping of cytochrome polymorphisms using pubmed abstract mining. In *AMIA 2017, American Medical Informatics Association Annual Symposium, Washington, DC, USA, November 4-8, 2017*. AMIA.

Luoxin Chen, Francisco Garcia, Varun Kumar, He Xie, and Jianhua Lu. 2021. Industry scale semi-supervised learning for natural language understanding. In *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Papers, NAACL-HLT 2021, Online, June 6-11, 2021*, pages 311–318. Association for Computational Linguistics.

Luoxin Chen, Xinyue Liu, Weitong Ruan, and Jianhua Lu. 2020a. Enhance robustness of sequence labelling with masked adversarial training. In *Findings of the Association for Computational Linguistics: EMNLP 2020, Online Event, 16-20 November 2020*, volume EMNLP 2020 of *Findings of ACL*, pages 297–302. Association for Computational Linguistics.

Luoxin Chen, Weitong Ruan, Xinyue Liu, and Jianhua Lu. 2020b. Seqvat: Virtual adversarial training for semi-supervised sequence labeling. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020*, pages 8801–8811. Association for Computational Linguistics.

Kevin Clark, Minh-Thang Luong, Christopher D. Manning, and Quoc V. Le. 2018. Semi-supervised sequence modeling with cross-view training. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Brussels, Belgium, October 31 - November 4, 2018*, pages 1914–1925. Association for Computational Linguistics.

Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, Minneapolis, Minnesota. Association for Computational Linguistics.

Jack FitzGerald, Shankar Ananthakrishnan, Konstantine Arkoudas, Davide Bernardi, Abhishek Bhagia, Claudio Delli Bovi, Jin Cao, Rakesh Chada, Amit Chauhan, Luoxin Chen, Anurag Dwarakanath, Satyam Dwivedi, Turan Gojayev, Karthik Gopalakrishnan, Thomas Gueudre, Dilek Hakkani-Tur, Wael Hamza, Jonathan J. Hüser, Kevin Martin Jose, Haidar Khan, Beiye Liu, Jianhua Lu, Alessandro Manzotti,

Pradeep Natarajan, Karolina Owczarzak, Gokmen Oz, Enrico Palumbo, Charith Peris, Chandana Satya Prakash, Stephen Rawls, Andy Rosenbaum, Anjali Shenoy, Saleh Soltan, Mukund Harakere Sridhar, Lizhen Tan, Fabian Triefenbach, Pan Wei, Haiyang Yu, Shuai Zheng, Gökhan Tür, and Prem Natarajan. 2022. Alexa teacher model: Pretraining and distilling multi-billion-parameter encoders for natural language understanding systems. In *KDD '22: The 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, Washington, DC, USA, August 14 - 18, 2022*, pages 2893–2902. ACM.

Luciano Floridi and Massimo Chiriatti. 2020. Gpt-3: Its nature, scope, limits, and consequences. *Minds and Machines*, 30:681–694.

Ian J Goodfellow, Jonathon Shlens, and Christian Szegedy. 2014. Explaining and harnessing adversarial examples. *arXiv preprint arXiv:1412.6572*.

Jiaxian Guo, Sidi Lu, Han Cai, Weinan Zhang, Yong Yu, and Jun Wang. 2018. Long text generation via adversarial training with leaked information. In *Proceedings of the AAAI conference on artificial intelligence*, volume 32.

James B Heaton, Nick G Polson, and Jan Hendrik Witte. 2017. Deep learning for finance: deep portfolios. *Applied Stochastic Models in Business and Industry*, 33(1):3–12.

Xinyue Liu, Mingda Li, Luoxin Chen, Prashan Wani-gasekara, Weitong Ruan, Haidar Khan, Wael Hamza, and Chengwei Su. 2021. ASR n-best fusion nets. In *IEEE International Conference on Acoustics, Speech and Signal Processing, ICASSP 2021, Toronto, ON, Canada, June 6-11, 2021*, pages 7618–7622. IEEE.

Takeru Miyato, Andrew M Dai, and Ian Goodfellow. 2016. Adversarial training methods for semi-supervised text classification. *arXiv preprint arXiv:1605.07725*.

Takeru Miyato, Shin-ichi Maeda, Masanori Koyama, and Shin Ishii. 2019. Virtual adversarial training: A regularization method for supervised and semi-supervised learning. *IEEE Trans. Pattern Anal. Mach. Intell.*, 41(8):1979–1993.

Weitong Ruan, Yaroslav Nechaev, Luoxin Chen, Chengwei Su, and Imre Kiss. 2020. Towards an ASR error robust spoken language understanding system. In *Interspeech 2020, 21st Annual Conference of the International Speech Communication Association, Virtual Event, Shanghai, China, 25-29 October 2020*, pages 901–905. ISCA.

Yipei Wang, Xingyu Fan, Luoxin Chen, Eric I-Chao Chang, Sophia Ananiadou, Junichi Tsujii, and Yan Xu. 2019. Mapping anatomical related entities to human body parts based on wikipedia in discharge summaries. *BMC Bioinform.*, 20(1):430:1–430:11.
Yan Xu, Luoxin Chen, Junsheng Wei, Sophia Anani-adou, Yubo Fan, Yi Qian, Eric I-Chao Chang, and Jun'ichi Tsujii. 2015. Bilingual term alignment from comparable corpora in english discharge summary and chinese discharge summary. *BMC Bioinform.*, 16:149:1–149:10.

Michihiro Yasunaga, Jungo Kasai, and Dragomir Radev. 2017. Robust multilingual part-of-speech tagging via adversarial training. *arXiv preprint arXiv:1711.04903*.