言語処理学会 第30回年次大会 発表論文集（2024年3月）

大規模言語モデルを用いた金融テキストに対する推論ベースの極性付与
高野 海斗 1 中川 慧 1
1 野村アセットマネジメント株式会社{k-takano,k-nakagawa}@nomura-am.co.jp

概要
金融テキストマイニングでは，極性付与は重要なタスクであり，大規模言語モデル (LLM) の進歩により，適用が広がっている．一方，従来の分析対象は決算短信やニュースが中心であり，極性がテキストに直接記載されている，推論が不要なタスクである．しかし，実務上の投資判断を鑑みると，直接的に極性が記載されていないテキスト情報に対して，バックグラウンドを踏まえつつ極性を推論することが求められる．そこで本研究では，LLM の推論能力を活用し，業種に関する情報を入力し，ある特定の重大イベントが当該業種に与える影響を推論させる極性付与タスクに取り組む．そして，その出力が実務的にどの程度有用であるか検証する．

1

はじめに金融に関連する膨大なテキストから業務効率化や投資意思決定に有益な情報を識別・抽出し，その情報と金融市場の関係性を発見・分析する技術は金融テキストマイニングと呼ばれている [1]．
金融テキストマイニングにおいて，特に重要なタスクの一つに，極性 (センチメント) の付与がある．
極性を付与する方法は辞書ベースの手法と機械学習ベースの手法に大別できる（2 章参照）．後者の手法に関連し，大規模言語モデル (LLM) の技術進展，特に OpenAI が開発した ChatGPT の API を介した利用が容易に可能となった．それに伴って，これまで困難であった様々なタスクに対して実務で使用できる高精度の結果をもたらし，その応用領域が拡大している [2, 3, 4]．
極性付与のタスクにおいても，Lopez ら [5] は，ChatGPT はニュースのヘッドラインの極性を適切に評価でき，その後の株式リターンに有意に正の相関関係があることを実証した．しかし，GPT-1，

図 1 従来の極性付与の設定 (上図) と実務的な極性付与(下図)GPT-2，BERT などのモデルでは相関関係が見られないこともあわせて報告されている．また，Pelster
ら [6] は，アウトオブサンプルの検証においても，ChatGPT の決算発表の極性評価と将来の業績発表および株式リターンとの間に正の相関関係があることを実証した．
一方で，金融テキストマイニングにおける極性付
与は，日々の企業業績に関するニュースや決算短信，有価証券報告書に記載されている文を対象にしている．これらデータに対する極性分析は，事後的に過去の状況を分析するには非常に有力である．ただし，ある企業についてのテキストの情報がポジティブまたはネガティブかは直接記載されているものが大多数であるため，推論が不要な極性付与タスクであるといえる．しかしながら，実際の資産運用における投資判断を鑑みると，運用者は将来または仮定したイベントに対して推論を行い，業績あるいは株価に対してポジティブかネガティブかを判断し意思決定を行っている（図 1 参照）．
この点を考慮すると，直接的な業績への影響などが記載されていない，あるイベントに関して記載された文や文章に対して，業種特性などを踏まえてポジティブなのか，ネガティブなのかを推論することができるかという極性付与タスクに取り組んでいく― 1295 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

必要がある．例えば，Covid-19 が世界的に流行するの極性付与モデルとしては，FinBERT1）が有名であ前 (2020 年 1 月) の段階で，感染力の強いウィルスがる [10]．機械学習ベースの利点は，文脈を考慮した世界的に大流行した場合に，各業種に対してどのよ極性を付与できる点である．また，辞書ベースの手うな影響が考えられるかを，理由と合わせて極性を法は，辞書に含まれている語が文に含まれていない付与することが期待される．そこで本研究においてと極性が付与できないのに対して，機械学習ベースは，LLM の推論能力を活用し，業種に関する情報をの手法によっては，類義語が含まれていれば極性の入力し，ある特定の重大イベントが当該業種に与え付与が可能である．問題点として，機械学習ベースる影響を推論させる極性付与タスクに取り組む．具の手法は，解釈性の問題が残るため [11]，解釈性に体的には，LLM に対して，あるイベントが特定の業着目したモデルの研究も盛んに行われている [12]．

種おいてどのような極性を持つのかをプロンプトと従来の金融テキストマイニングにおける極性付与して入力し，その出力が実務的にどの程度有用であは，該当企業にとって，ある出来事がポジティブまたはネガティブかの情報が直接記載されているものるか検証する（付録の図 2 参照）．

2が大多数であり，推論が不要な極性付与タスクであ金融極性付与タスクのレビューる．したがって，LLM が持つ推論能力を十分に活前章で述べた通り，文に対して極性を付与する方法は辞書ベースの手法と機械学習ベースの手法に大別できる．辞書ベースの手法は，極性語とその極性値が組となった極性辞書に基づいて，文や文章に極性を付与する [7]．辞書ベースの利点は，辞書に基用できていないタスクであるといえる．

3

実験

3.1

実験設定

づいて極性が付与されることから，解釈が容易であLLM に対して，あるイベントの極性を業種を踏る点があげられる．辞書ベースの問題点は，単純なまえた上で推論させ，その出力が実務的にどの程度方法では文脈を考慮した極性付与ができない点で有用であるか確認する．入力として与えるイベントある．例えば，「コロナ感染者数の増加 (2.312) に伴は，未知のウィルスの世界的な流行，極端な円安，い、売上高は減少 (-1.998) いたしました。」のようなロシアとウクライナの紛争とする．また，業種は，文の極性は，0.314（ポジティブ）となるが，明らかゲーム，飲食，海運，観光，医薬品とする．使用するプロンプトは以下の通りである．なお，＜ ＞内にネガティブな文である．例に挙げたように，何が増加したかによって，「増加」のスコアを変化させるべきだが，一般的な極性辞書は，そのような問題に対処できない．解決策として，「感染者数の増加(-1.315)」，「売上の増加 (3.312)」のように表現を拡張した辞書を作成することが挙げられる [8]．しかし，全ての表現を辞書で作成することは困難であり，類は，前述したイベントや業種が入る．
入力に使用するプロンプト

＜イベント＞は、日本の＜業種＞業界にどのような影響を与えますか？


使用するモデルは，OpenAI が公開している「gpt-4-似表現に対しても，辞書に登録されていなければ極1106-preview」，「gpt-4-0613」，「gpt-3.5-turbo-0613」を性を付与できない問題がある．また，表現を拡張で使用する．以降，それぞれのモデルを gpt-4-1106，きたとしても，「見込んでいた売上減少はなかった

gpt-4-0613，gpt-3.5 と 本 論 文 で は 表 記 す る．gpt-4-ものの、」のような否定表現などに対応できないこ

1106 は，2023 年 4 月 ま で の デ ー タ を 使 用 し て 学とも問題点としてあげられる．その他にも，広く利習が行われており，残り二つのモデルは，2021 年用されている一般的な極性辞書に含まれるネガティ

9 月までのデータを使用して学習が行われていブ表現が，金融の分野において，約 4 分の 3 も該当る2）．なお，ハイパーパラメータは再現性のため，しないことを示した研究もある [9]．したがって，temperature のみ 0 に設定し，後はデフォルトの値を

極性分析を行うためには，目的に応じて極性辞書を使用する．

探したり，場合によっては自作する必要がある．

評価に関しては，定性的な評価を行う．方法論が一方，機械学習ベースの手法は，文や文章と極性が紐づいたデータを用いて学習させたモデルによっ確立されていないため，定量的な評価は今後の課題て極性を付与する．金融に特化した機械学習ベース

1） https://huggingface.co/ProsusAI/finbert2） https://platform.openai.com/docs/models― 1296 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1 gpt-4-1106 の出力結果の集計
イベント
業種
posi nega neutral
未知のウィルスのゲーム
153
飲食
053
世界的な流行
海運
072
観光
061
医薬
61
1
ロシアとウクライナ ゲーム
0
6
1の紛争
飲食
051
海運
0
70
観光
0
60
医薬
1
32
極端な円安
ゲーム
33
1
飲食
2
3
1
海運
2
40
観光
322
医薬
260

表 3 gpt-3.5 の出力結果の集計
イベント
業種
posi nega
未知のウィルスのゲーム
1
4
飲食
0
5
世界的な流行
海運
0
5
観光
0
5
医薬
2
1
ロシアとウクライナ ゲーム
0
4の紛争
飲食
0
4
海運
04
観光
04
医薬04
極端な円安
ゲーム
41飲食
23海運
12観光
22医薬
1
3

表 2 gpt-4-0613 の出力結果の集計
イベント
業種
posi nega neutral
未知のウィルスのゲーム
240
世界的な流行
飲食
051
海運
050
観光
050
医薬
320
ロシアとウクライナ ゲーム
0
41の紛争
飲食
031
海運
0
50
観光
0
40
医薬
130
極端な円安
ゲーム
320
飲食
130
海運
140
観光
220
医薬
1
30neutral
000
0
2000
0
000
211

業界はポジティブな影響の方が多く出力されている点である．例えば，FinBERT に「Global outbreakof unknown virus.」と入力すると，「negative: 0.752,neutral: 0.230, positive: 0.018」と出力される．しかしながら，本研究の主題通り，業界という背景によって極性は異なるべきであり，今回の結果はそれを顕著に示している．
次に，ウィルスの流行に対するゲーム業界の結果からわかる通り，ポジティブ，ネガティブの個数を用いた分析では不十分である．ゲーム業界は，コロナ流行による外出自粛の影響を受けて需要が急増し，多くの企業で収益が増加した．ゲーム需要の増
加は各モデルの出力に含まれているものの，その他に懸念されるリスクや変化が多く記載されており，どの項目がどれだけのインパクトがあるのかを記載とする．

3.2

内容から考慮する必要がある．

実験結果

参考として，ロシアとウクライナの紛争が飲食業界に与える影響について，得られた出力をモデルご4.2モデルに着目した考察

表 1 から表 3 より，gpt-4-1106 は他のモデルが平とに付録 A に示す．また，表 1，表 2，表 3 は，各均 5 つを下回る影響を出力するのに対して，平均 7モデルの出力結果に記載されていた影響を極性別につを超える影響を出力した．これは，モデルのアップデートに伴い全体的に精度が低下するという黒木集計したものである．

4

考察

4.1

集計結果からの考察

ら [3] や Chen ら [13] の指摘とは異なり，モデルのアップデートに伴い，より多様な出力が可能になっていることを示唆している．
次に，モデルを学習させているデータの学習期

表 1 から表 3 より，数の変動はあるももの，モデ間に着目すると，付録 A の出力結果に示した通り，ルによってポジティブな影響とネガティブな影響のgpt-4-1106 は，「価格が上昇しました。」のように実大小関係が逆転することはなかった．

際に起こった事実として出力していることがわかまず注目したいのは，ウィルスの流行に対して，多くの業界でネガティブな影響が優勢の中，医薬る．このような出力になった要因は，2022 年 2 月からロシアはウクライナへ本格的な軍事侵攻を開始― 1297 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

しており，gpt-4-1106 が 2023 年 4 月までのデータをく，複数 step で推論を行う方法に拡張することで，使用して学習されているためである．したがって，現状のモデルでも，より深い推論が実現できるかも

2021 年 9 月までのデータを使用して学習された残しれない．

り 2 つのモデルには，「しました。」のような表現がまた，LLM において Hallucination[14]4）が問題と含まれず，「可能性があります。」という表現が多様なるが，gpt-3.5 は特に多く発生した．その中でも極されている．厳密なアウトオブサンプルの分析をす

端な円安においては，「円安により、日本のゲームるのであれば，未知のウィルスの世界的な流行に対会社は海外からの人材を採用しやすくなる可能性がする推論は，2019 年までのデータを用いて学習され5）」や「円安により、海外企業の製品が日あります。

た LLM を用いるべきである．なぜなら，2020 年以6）」のよう本市場で競争力を持つ可能性もあります。

降，コロナウィルスが世の中に与えた影響に言及すな，事実とは正反対の出力が顕著に生じていた．極るテキスト情報は多数存在しており，本論文で使用

性分析において，正反対の内容の出力は，極性が反したモデルは，それらの情報を学習済みである．仮転するため，Hallucination の発生しにくいモデルをに 2019 年までのデータを用いて学習されたモデル使用することや，その発生を抑制する工夫が重要とを使用する場合には，出力の悪化が想定される．実際の運用を考えると，将来のデータを使用することなる．

は不可能であり，LLM を用いた分析は充分に注意が必要である．

おわりに

5

本研究では，LLM の推論能力を活用し，業種に関よ り 詳 細 に モ デ ル ご と の 出 力 結 果 を 見 る と，する情報を入力し，ある特定の重大イベントが当該

gpt-3.5 の出力は「紛争」によって生じる一般論と業種に与える影響を推論させる極性付与タスクに取なっており，各国の国名を別の国名に置換しても，り組んだ．出力結果からは，一部期待するような結内容にほとんど矛盾が生じない出力である．それに果を得ることができたが，課題も山積みである．付

対して，gpt-4-0613 は付録 A で太字で示した通り，

録 A に示した結果の通り，過去に起こった出来事に「ウクライナは世界最大級の穀物輸出国」という記対しての推論は，詳細な要素の出力も多く含まれる載があり，gpt-3.5 よりも優れた出力となっている．

ため，個人の投資家が思考の壁打ちをするツールとさらに，学習データの leak はあるものの，gpt-4-1106

して有力であるが，ベテランの運用者やエコノミス

は，「ロシアとウクライナは小麦やひまわり油などトからすると周知の事実がほとんどであるため，もの農産物の大きな輸出国」，「ロシアは天然ガスやう少しプロンプトや方法に工夫が必要である．推論

石油の大手輸出国」などの情報も出力に追加されている．本論文の検証結果から想定される現段階能力を向上させるために，因果関係データセットの構築も重要な課題の 1 つである [15]．の LLM におけるシンプルな推論の限界は，実際にまた，4.1 節の中で医薬業界の結果を取り上げた

起こっていないことに関しては，「穀物価格の上昇」

が，実際に医薬業界の中でも，コロナウィルスに関から食材のコストが増加することまで推論が可能で連する取り組みを行い業績を伸ばした企業も存在すあり，実際に起こったことがあることに関しては，れば，在宅自粛などによって従来の風邪やインフル「パンや麺類、揚げ物など」のように，その食材にエンザの患者数が激減したことで，業績が落ち込んよって作られる食品の推論までが可能であった．実だ企業も存在する．したがって，より具体的な事業際に，ウクライナからの穀物輸出が減ったことで，概要や過去の業績結果などをプロンプトに組み込む

間接的に大きな影響を与えている食材の一つに卵がで，個々の企業にどのような影響が推論がどの程度あるが3），そこまでの推論は，実際に起こった出来可能であるか検証を行いたい（付録の図 3 参照）．

事でもまだ推論することは難しい．しかし，gpt-3.5に「卵の価格上昇要因を教えてください。」というプロンプトを与えると，出力される要因の一つに「飼料価格の上昇： 鶏の飼料（主に穀物や大豆）の価格が上昇すると、養鶏業者の生産コストが増加します。」のような記述が含まれるため，1step ではな
3） 餌代の高騰が卵の価格上昇の大きな要因となっている．

4） 生成モデルにおいて，もっともらしいウソ (=事実とは異なる内容や文脈と無関係な内容) の出力が生成される現象．
5） 円安により，賃金が下がるため採用は難しくなる傾向にある．
6） 円安により，海外企業の製品は価格が上昇するため，海外企業の製品の競争力は低下する傾向にある．

― 1298 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] 中川慧, 伊藤友貴. 機械が読む英文開示. 企業会計,Vol. 75, No. 3, pp. 339–348, 2023.
[2] Irene S Gabashvili. The impact and applications of chatgpt:a systematic review of literature reviews. arXiv preprint
arXiv:2305.18086, 2023.
[3] Yutaka Kuroki, Tomonori Manabe, and Kei Nakagawa.
Fact or opinion?–essential value for ﬁnancial results briefing. In 2023 14th International Congress on Advanced Applied Informatics (IIAI-AAI). IEEE, 2023.
[4] 高野海斗, 中川慧, 藤本悠吾. Chatgpt を活用した運用
報告書の市況コメントの自動生成. 人工知能学会第二種研究会資料, No. FIN-031, pp. 61–67, 2023.
[5] Alejandro Lopez-Lira and Yuehua Tang. Can chatgpt forecast stock price movements? return predictability and large
language models. arXiv preprint arXiv:2304.07619,2023.
[6] Matthias Pelster and Joel Val. Can chatgpt assist in picking
stocks? Finance Research Letters, p. 104786, 2023.
[7] Tomoki Ito, Hiroki Sakaji, Kota Tsubouchi, Kiyoshi Izumi,and Tatsuo Yamashita. Text-visualizing neural networkmodel: understanding online ﬁnancial textual data. In
Paciﬁc-Asia Conference on Knowledge Discoveryand Data Mining, pp. 247–259, 2018.

[8] 今井康太, 酒井浩之, 永並健吾, 稲垣真太郎. 債券市場における金融極性辞書の自動構築. 知能と情報,
Vol. 34, No. 4, pp. 673–682, 2022.
[9] Tim Loughran and Bill Mcdonald. When is a liability nota liability? textual analysis, dictionaries, and 10-Ks. The
Journal of Finance, Vol. 66, No. 1, pp. 35–65, 2011.
[10] Dogu Araci.
FinBERT: Financial sentiment analysis with pre-trained language models. arXiv preprint
arXiv:1908.10063, 2019.
[11] David Gunning and David William Aha. DARPA’s explainable artiﬁcial intelligence program. AI Magazine,
Vol. 40, No. 2, pp. 44–58, 2019.
[12] Tomoki Ito, Kota Tsubouchi, Hiroki Sakaji, Tatsuo Yamashita, and Kiyoshi Izumi. Word-level contextual sentiment analysis with interpretability. In AAAI, Vol. 34, pp.
4231–4238, 2020.
[13] Lingjiao Chen, Matei Zaharia, and James Zou. How is
chatgpt’s behavior changing over time? arXiv preprint
arXiv:2307.09009, 2023.
[14] Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su,
Yan Xu, Etsuko Ishii, Yejin Bang, Andrea Madotto, andPascale Fung. Survey of hallucination in natural language
generation. ACM Computing Surveys, Vol. 55, No. 12,
pp. 1–38, 2023.
[15] 張辰聖子, 持橋大地, 小林一郎. 手がかり表現に基づ
く非論理的な言語推論の学習. 言語処理学会 第 29回年次大会, pp. 494–499, 2023.

― 1299 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 2 従来の極性付与 (左図) と本研究の極性付与 (右図)

図 3 個別企業の情報を加味した推論ベースの極性付与


gpt-4-1106

ロシアとウクライナの紛争が飲食業界に与える影響の推論結果

A
gpt-3.5

ロシアとウクライナの紛争は、日本の飲食業界に以下のような影響を与える可能性があります。
1. 食材の供給不足：ロシアやウクライナからの食材の輸入が制限される可能性があります。これにより、日本の飲食業界は特にロシアやウクライナからの食材に依存しているレストランや食品メーカーに影響を与える可能性があります。代替の供給源を見つける必要があるかもしれません。
2. 輸出市場の減少：ロシアやウクライナは日本の飲食業界にとって重要な輸出市場です。紛争が激化すると、両国の経済が停滞し、需要が減少する可能性があります。これにより、日本の飲食業界は輸出市場の減少に直面することになります。
3. 国際関係の影響：ロシアとウクライナの紛争は国際的な関係にも影響を与えます。日本は国際社会での立場を考慮しながら外交政策を運営しており、紛争による国際的な緊張が日本の飲食業界にも波及する可能性があります。
4. 消費者の意識の変化：紛争が報道されると、消費者の意識が変化する可能性があります。例えば、ロシアやウクライナと関連する食品やレストランへのボイコットが起こるかもしれません。これにより、日本の飲食業界においてロシアやウクライナとの関係が影響を受ける可能性があります。
以上のような要素が組み合わさり、日本の飲食業界にはロシアとウクライナの紛争が様々な影響を与える可能性があります。ただし、具体的な影響は紛争の進展や国際情勢の変化によって異なる可能性があります。

gpt-4-0613



ロシアとウクライナの紛争が日本の飲食業界に与える影響は、主に以下のようなものが考えられます。
1. 食材の輸入制限や価格変動：ロシアやウクライナから輸入している食材がある場合、紛争により輸出が制限されたり、価格が変動する可能性があります。特にウクライナは世界最大級の穀物輸出国であり、紛争が長引くと穀物価格の上昇や供給不安が生じる可能性があります。
2. 為替レートの変動：紛争によりロシアルーブルやウクライナ通貨の為替レートが変動すると、それらの国からの輸入コストが変わる可能性があります。これは飲食業界だけでなく、他の業界にも影響を及ぼす可能性があります。
3. 消費者の意識の変化：紛争により消費者の意識が変わる可能性もあります。例えば、ロシアやウクライナの食材を使った料理を提供している店舗は、消費者の反ロシア感情や反ウクライナ感情により売上が下がる可能性があります。
4. ロシアやウクライナの観光客の減少：紛争によりロシアやウクライナからの観光客が減少すると、特に彼らをターゲットにした飲食店の売上が下がる可能性があります。
以上のような影響が考えられますが、具体的な影響は紛争の進行状況やその後の国際的な対応によります。



ロシアとウクライナの紛争は、世界的な経済に多くの影響を与えており、日本の飲食業界にも様々な形で影響を及ぼしています。以下はその影響のいくつかです：
1. 原材料の価格上昇：ロシアとウクライナは小麦やひまわり油などの農産物の大きな輸出国です。紛争によりこれらの商品の供給が不安定になり、国際市場での価格が上昇しました。これは、パンや麺類、揚げ物などを提供する飲食店にとってコスト増加の要因となります。
2. エネルギー価格の上昇：ロシアは天然ガスや石油の大手輸出国であり、紛争によってエネルギー価格が上昇しました。これは、飲食店の運営に必要な電気やガスのコストを押し上げ、経営に影響を与える可能性があります。
3. 物流コストの増加：紛争により、特定の航路や輸送ルートが使用できなくなる可能性があります。これにより、食材の輸入コストが上昇し、飲食店の仕入れ価格が高騰する可能性があります。
4. 消費者の心理的影響：紛争による経済的不安定さや物価の上昇は、消費者の支出意欲に影響を与える可能性があります。不安定な経済状況の中で、消費者は外食に対して慎重になり、飲食業界の売上に影響を及ぼすかもしれません。
5. メニューの変更や価格の見直し：原材料の価格上昇に対応するため、飲食店はメニューの内容を変更したり、価格を見直したりする必要が出てくるかもしれません。これにより、顧客の選択肢や価格感に影響を与えることになります。
6. サプライチェーンの再構築：長期的には、紛争によるサプライチェーンの不安定さを避けるために、飲食業界はより多様な供給源を確保する必要があるかもしれません。これには、国内産の食材へのシフトや、他の国からの輸入に依存するなどの戦略が含まれます。
これらの影響は、紛争の進展や国際的な対応によって変化する可能性があります。飲食業界は、これらの変動に柔軟に対応し、経営戦略を適宜調整することが求められます。

― 1300 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).