文章の長さが金融センチメントに与える影響の分析

ブローカーレポートは、投資判断に資する情報が含まれる長文のテキスト情報であり、そのセンチメント（ポジティブ・ネガティブ）を安定的かつ妥当に推定することは、投資支援やレポート評価において重要である。センチメントの計算には、近年、大規模言語モデル（LLM）が用いられることが多く、先行研究も多く存在する[1,2]。しかし、広く用いられているLLMには、入力文章の長さや提示形式に起因するバイアスが混入する可能性が示唆されている[3]。金融ドメインにおけるセンチメント推定において、企業名の与えるバイアスの調査は行われているが[4]、文章の長さによるバイアスや、相対比較における順序によるバイアスの調査は行われておらず、実務で使用するためのモデル理解のためには調査が不可欠である。本研究では、これらのバイアスの調査を行う。具体的には、サンプリングしたポジティブ（ネガティブ）な長文章のブローカーレポートに対して、LLMにより要約した短文章を生成し、原文（長文）と要約文（短文）のペアを作成する。そして、作成した文章のペアをLLMに入力し、原文と要約文のどちらがよりポジティブ（ネガティブ）であるかを判定する相対比較を行うことで、入力した二つの文章に優越をつける。引き分けを許容しない場合、原文と要約文は本来同じセンチメントであることが期待され、文章の長さによるバイアスが存在しないのであれば、原文が選択される確率は𝑝=0.5となる。本研究では、帰無仮説𝑝=0.5、対立仮説𝑝≠0.5の二項検定を確認することで、文章の長さが金融ドメインにおけるセンチメント推定に与える影響を検証する。また、相対比較において選択肢の提示順序によるバイアスを調査するために、選択肢の順序を入れ替えての比較も合わせて実施する。本研究の貢献は以下の通りである。•金融センチメント分析における文章の長さが判定に与える影響の確認•金融センチメント分析における選択肢の提示順序が判定に与える影響の確認