本研究では、ブローカーレポートにおけるセンチメントの判定に文章の長さが与える影響（バイアス）を体系的に評価する。サンプリングした長文のレポートに対して、LLMにより要約した短文を生成し、原文（長文）と要約（短文）のペアを作成する。そして、各ペアに対して、LLMやBERTを用いて相対比較することで得られる結果を集計し、二項検定により評価する。分析の結果、LLMによる比較において、ポジティブな文章は長文の方が短文よりもポジティブであると判定される傾向が確認でき、ネガティブな文章も同様に、長文の方が短文よりもネガティブであると判定される傾向が確認できた。一方で、BERTによるセンチメントスコアの比較においては、LLMと逆の結果が確認できた。

ブローカーレポートは、投資判断に資する情報が含まれる長文のテキスト情報であり、そのセンチメント（ポジティブ・ネガティブ）を安定的かつ妥当に推定することは、投資支援やレポート評価において重要である。センチメントの計算には、近年、大規模言語モデル（LLM）が用いられることが多く、先行研究も多く存在する[1,2]。しかし、広く用いられているLLMには、入力文章の長さや提示形式に起因するバイアスが混入する可能性が示唆されている[3]。金融ドメインにおけるセンチメント推定において、企業名の与えるバイアスの調査は行われているが[4]、文章の長さによるバイアスや、相対比較における順序によるバイアスの調査は行われておらず、実務で使用するためのモデル理解のためには調査が不可欠である。本研究では、これらのバイアスの調査を行う。具体的には、サンプリングしたポジティブ（ネガティブ）な長文章のブローカーレポートに対して、LLMにより要約した短文章を生成し、原文（長文）と要約文（短文）のペアを作成する。そして、作成した文章のペアをLLMに入力し、原文と要約文のどちらがよりポジティブ（ネガティブ）であるかを判定する相対比較を行うことで、入力した二つの文章に優越をつける。引き分けを許容しない場合、原文と要約文は本来同じセンチメントであることが期待され、文章の長さによるバイアスが存在しないのであれば、原文が選択される確率は𝑝=0.5となる。本研究では、帰無仮説𝑝=0.5、対立仮説𝑝≠0.5の二項検定を確認することで、文章の長さが金融ドメインにおけるセンチメント推定に与える影響を検証する。また、相対比較において選択肢の提示順序によるバイアスを調査するために、選択肢の順序を入れ替えての比較も合わせて実施する。本研究の貢献は以下の通りである。•金融センチメント分析における文章の長さが判定に与える影響の確認•金融センチメント分析における選択肢の提示順序が判定に与える影響の確認