ローカルLLMを用いた利益予測の分析とアウトオブサンプル評価

本論文は，日本株式市場における企業利益の増減方向予測に大規模言語モデル(LLMs)を適用し，とくに金融機関の実務利用を想定し，ローカルLLMを用いた場合の性能を検証する．具体的には，金融庁EDINETに基づき構築されたベンチマークデータセットEDINET-BENCHを用いて，ローカルLLMによる利益変化の方向予測性能を評価する．まず，モデルの事前学習カットオフと有価証券報告書の開示時期を切り分けることで，インサンプルとアウトオブサンプルを区別し，ローカルLLMの真の汎化性能を測定する．次に，業種や企業規模といった企業特性に応じた予測精度の違いを分析し，予測が得意な企業・苦手な企業のパターンを抽出する．