ローカルLLMを用いた利益予測の分析とアウトオブサンプル評価

企業の利益予測は，経営者による戦略的意思決定を支援するだけでなく，投資家など外部ステークホルダーにとっても中心的な関心事である．利益予測研究は，財務諸表の数値データを用いた統計的または機械学習手法による予測アプローチが発展してきた[1,2,3,4,5]．日本企業データを対象としても，同様の枠組みで利益変化を分類する研究が現れつつある[6]．しかし，これらの手法は主として数値情報に依拠しており，経営者の将来見通しやリスク認識，事業環境の質的変化といった定性的情報を十分に活用できない[7,8]．このような課題に対し，大規模言語モデル（largelanguagemodels;LLM）は，テキストを中心とする非構造データを統合的に解釈し，推論する能力を有する点から，利益予測への応用可能性が注目されている[9,10]．実際，[11]は米国企業の財務諸表および注記，MD&Aテキストを対象にGPT-4を用いて，Chain-of-Thoughtを組み合わせることで，プロのアナリストに匹敵あるいは上回る予測精度が得られる可能性を報告している．日本市場でも，決算短信や有価証券報告書に対してLLMsを適用する試みが増えつつある[6,12]．他方で，LLMsの有用性と同時に，バイアスや汎化性能に関する懸念も指摘されている[13,14]．これらの結果は，LLMによる利益予測の性能が企業特性に依存し得ること，すなわちどのような企業に対して予測しやすい（あるいは予測しにくい）のかという異質性を評価する必要性を示唆している．この点，金融庁EDINETに提出される有価証券報告書を基盤として，利益変化，会計不正，業種分類の3タスクを含むEDINET-BENCHが提案され，公開されている[15]．EDINET-BENCHでは，財務諸表の数値特徴量とテキスト情報を組み合わせた入力に対して，複数のLLMをゼロショットで評価し，ロジスティック回帰などの従来モデルを上回る性能が報告されている[15]．しかし，既存のLLMの利益予測は，主としてGPT-4やClaude等のクラウドAPI型によるLLMsが中心であり，ローカルLLM（自社環境にデプロイ可能なオープンウェイトモデル）については，体系的な検証がほとんど行われていない．金融機関では，機密性の高い資料や顧客データを扱うことから，データの外部送信に伴う情報漏洩リスクや，モデル更新がベンダ側の裁量に依存する点1）など，クラウドAPI型LLMの利用には慎重な姿勢が求められる[9]．そのため，オンプレミスもしくは閉域ネットワーク上で推論可能なローカルLLMに対するニーズが高まっており，日本語金融テキストに特化した事前学習モデルの構築や評価も進められている[16]．加えて，LLMの学習過程においてWeb上の公開情報が広範に利用されていることから，テストデー1）https://www.fsa.go.jp/common/law/cybersecurity_guideline_en.pdfThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).は，公式ドキュメントおよび公開情報に基づいて調査した3）4）5）．ただし，Qwen3系は著者らの調査した範囲には公式情報がなく，推定される日付である．モデル名カットオフ日Claude3.7Sonnet2024/10/31GPT-OSS20B2024/6/1GPT-OSS120B2024/6/1Qwen3-Instruct2024/12/31Qwen3-Thinking2024/12/31券報告書が提出された期間をそれぞれ，インサンプルを2023/6/1～2023/10/31，アウトオブサンプルを2025/6/1～2025/10/31と定めた．なお，アウトオブサンプル期間に対するカットオフ日のロバストネス検証を付録Aにて実施し，検証している．3.3インサンプルとアウトオブサンプルの精度比較インサンプルとアウトオブサンプルの比較は，次の3種類で実施する．1)全体での比較．2)売上実績の4分位群での比較．3)17業種での比較．3)では，インサンプルとアウトオブサンプルの両方で，件数が100件以上の業種だけを利用した．1)全体の比較ブサンプルを含むデータ全体での精度を示す．ISOOSモデル名件数ROC-AUC件数ROC-AUCClaude3.7Sonnet22770.60423690.603GPT-OSS-20B22680.49923340.487GPT-OSS-120B23040.50924040.521Qwen3-Instruct23160.47424150.457Qwen3-Thinking11980.50613590.500インサンプルとアウトオブサンプルのROC-AUCに注目すると，各モデルでアウトオブサンプルでの大きな精度劣化は見られなかった．これは，ナレッジカットオフ後に公開された利益の推論においても，ある程度のロバスト性を持った推論力があることを示唆している．モデル別にみると，Claude3.7Sonnetが最も精度が高く，ローカルLLMは精度が劣る結果となった．本実験においては，ローカルLLMは全体としてランダム予測に近い水準にとど3）https://platform.openai.com/docs/models/gpt-oss-20b4）https://platform.openai.com/docs/models/gpt-oss-120b5）https://explodingtopics.com/blog/list-of-llmsまり，クラウドAPI型LLMであるClaude3.7Sonnetと比較して明確に低いROC-AUCを示した．なお件数列は，プロンプトで指定した出力形式の結果が得られた数を示しており，Qwen3-Thinkingは期待する出力形式のレスポンスが得られる件数が少なく，プロンプトの改良が必要であることが分かった．この結果から，以降の実験では，ローカルLLMの中で最も精度が高かったGPT-OSS-120BをClaude3.7Sonnetと比較する．2)売上規模別の比較位群ごとのROC-AUCを示す．売上は，EDINETの当期の売上高を利用し，取得できなかったデータについては対象外としている．売上の四分位は，各企業の売上高を上から順に上位25%・25～50%・50～75%・75%以下で分類した．Claude3.7SonnetGPT-OSS-120B売上規模ISOOSISOOS上位25%0.6020.5970.4920.54725%-50%0.6080.6260.5220.50550%-75%0.6230.6020.5350.49075%以下0.5800.5810.4810.481の企業における精度が最も低かった．これは，売上規模が低い企業の場合，LLMsの学習に利用するWeb等のテキスト情報が相対的に少なく，その結果，LLMsを用いた予測が比較的難しいことが示唆される．モデル別に見ると，Claude3.7Sonnetの結果は売上規模別の精度のばらつきが小さいのに対し，GPT-OSS-120Bのアウトオブサンプルの結果は上位25%のROC-AUCが他のグループに比べて精度差が大きく，良い精度が観測された．3)業種別のROC-AUCAUCを示す．実験対象にした業種は，前述した通り，東証17業種分類の業種のうち予測対象件数が100件以上の8業種を本実験の対象とした．両方で精度のばらつきが大きいことが見て取れる．業種別に見ると，次の3グループに分けられる．1)アウトオブサンプルでも精度が落ちづらい2)アウトオブサンプルで精度が落ちる3)アウトオブサンプルでGPT-OSS-120BがClaude3.7Sonnetよりも精度が高いorg/licenses/by/4.0/).Claude3.7SonnetGPT-OSS-120BISOOSISOOS業種件数ROC-AUC件数ROC-AUC件数ROC-AUC件数ROC-AUC機械1440.5921430.6721440.5161440.507電気機器・精密機器2070.5922090.6582090.5462100.531原材料・化学1850.6111920.5981910.4461920.539IT・サービス他5260.5855730.6065310.4745780.512建設・資材2110.5472180.6192150.4612210.541小売1340.6681380.5441340.5881410.485交通・物流1330.6891330.5151350.5991340.417商社・卸売2240.6212250.5852250.4682320.6051)は，インサンプルとアウトオブサンプルのROC-AUCを比較した時に0.05以上の下落がなく，比較的ロバストに予測が可能な業種群である．具体的には，「機械」，「電気機器・精密機器」，「原材料・化学」，「IT・サービス他」，「建設・資材」である．2)は，アウトオブサンプルの精度がインサンプルに比べてROC-AUCが0.1以上低下しており，明確にアウトオブサンプルの予測が不得意な業種群である．具体的には，「小売」，「交通・物流」である．3)は，GPT-OSSにおいてアウトオブサンプルの精度が向上している業種である．具体的には，「商社・卸売」である．業種差の要因分析：利益増減の連続性2)および3)の対象業種の精度を利益の増減パターン（表5）から見ると，「商社・卸売」は反転（57.1%）が最大であり，前年差の符号が切り替わる局面が相対的に多い．反転局面では，単純な前年差の自己相関（“前年と同方向”）だけでは当期の増減を当てにくく，業績の転換点を説明する定性的記述（需要環境，市況，構造改革など）が予測に与える情報価値が大きくなり得る．よって，「商社・卸売」におけるGPT-OSS-120Bのアウトオブサンプル改善は，財務数値とテキストを組み合わせた予測である本研究の設定が相対的に機能した可能性を示唆する．この仮説を定量化するため，GPT-OSS-120Bの業種別性能差分ΔAUC:=AUCOOS−AUCISと反転率には正の関連が観測できた（Pearson𝑟=0.746,𝑛=8）．一方，「交通・物流」は持続（56.3%）が最大であるにもかかわらず，アウトオブサンプル精度が大きく低下しており，前年差の持続性だけでは汎化性能を説明できない．この点は，外生ショック（燃料・運賃・規制・需給制約等）により，テキスト表現や業種増→増増→減減→増減→減持続反転機械36.125.722.915.351.448.6電気機器・精密機器33.024.526.915.648.651.4原材料・化学33.028.422.216.549.550.6IT・サービス他35.326.521.117.152.447.6建設・資材40.028.224.57.347.352.7小売35.531.919.113.549.051.0交通・物流45.216.327.411.156.343.7商社・卸売28.131.625.514.742.857.1注：持続は（増→増）と（減→減）の合計を表し，反転は（増→減）と（減→増）の合計を表す．会計数値と利益変化の対応関係が期間で変化し，学習済みの推論パターンがアウトオブサンプルで崩れる，といった構造変化の可能性を含意する．4まとめと今後の課題本研究は，EDINET-BENCHを用いてローカルLLMの利益増減方向予測をアウトオブサンプルで評価し，平均的には大きな精度劣化が観測されないことを確認した．一方で，ローカルLLMのROC-AUCはクラウドAPI型LLM（Claude3.7Sonnet）を下回り，企業規模や業種により汎化性能が大きく異なることが分かった．特に，「小売」・「交通・物流」ではOOSで精度低下が顕著である一方，「商社・卸売」ではGPT-OSS-120Bが改善した．これらは，表5が示す利益の持続・反転の違いを通じて，転換局面の言語情報の有効性や，外生ショックによる構造変化の影響があることを示唆している．また，実利用を考えると，ローカルLLMにおける予測精度は低く，全体的な精度向上が必須であると考えられる．そのため，今後はより大規模なモデルでの実験や，得意・苦手パターンを考慮したLLMへの追加情報の探索をしていきたい．org/licenses/by/4.0/).