意思決定を指標とする生成テキスト評価：アマチュアと専門家への影響分析

大規模言語モデル（LLM）は高い性能を示し，従来のチューリングテストはLLMが生成したテキストを評価する上で必ずしも十分とはいえなくなりつつある[1]．言い換えれば，ポスト・チューリング時代においては，人間の文章と区別がつかないかどうかを追求することが目的ではなくなっている．これに伴い，人間が書いたテキストに対する評価と同様に，LLMが生成したテキストを，人間への影響という側面から評価する必要性が指摘されている[2]．実社会では，人間が執筆するテキストは読者の意思決定に対する影響で評価されることが多い．たとえば，SNSの編集者にとっては「いいね」の数，クラウドファンディングの提案では集まった寄付額，ジャーナリストの場合は記事のコメント数やその内容などが主要な指標となる．決算説明会ü50,000⼈の採⽤ü90,000⼈以上の従業員の昇進中⽴要約スタンス付きの分析急速な⼈員増加と昇進は、経営に負担をかけ、⽣産効率を損なう可能性があります。当社は新たに50,000⼈を採⽤し、90,000⼈以上の従業員を昇進させました。DownUp第⼀段階第⼆段階このような中で，読者の意思決定を左右する要因として，生成テキストの説得力に注目が集まり，公衆衛生，マーケティング，政治など多様な分野で人間の意思決定に対するLLMの説得力を検証する研究が進められている[3,4,5]．一方で，素人（アマチュア）と専門家の行動や意思決定には顕著な差が存在することが知られているが[6,7]，生成テキストの意思決定に対する影響分析として，両者を比較する研究はまだ少ない．そこで，本研究ではアマチュアと専門家の意思決定に顕著な違いが見られる金融ドメインを対象に，生成テキストがどのように両者の意思決定に影響するかの比較分析を行う．特に，「テキストがアマチュアと専門家の意思決定にどう影響するか」を検討するにあたり決算説明会（EarningsConferenceCall,ECC）に着目した．ECCは企業の経営陣とアナリストが業績や将来の計画を議論する場で，アマチュア投資家と金融の専門家の双方の意思決定に大きな影響を及ぼすことが知られている[8,9]．.験は2段階で構成される．まず第1段階でECCの客観的な要約（中立要約）を提示し，それに基づいて3日後の株価について「上昇」または「下落」と予測するよう投資家に求める．その後，第2段階では同じECCを対象とする「買い(Overweight)」または「売り(Underweight)」のスタンス付きの分析（プロのアナリストレポートまたはLLMの生成レポート）を投資家に提示し，もう一度株価変動を予測するように求める．ここで，客観的事実に基づいた意思決定と，スタンスを与えられた生成テキストに基づく意思決定との差分を，生成テキストが人間の判断に与える影響として評価する．実験の結果，GPT-4[10]が生成する分析は，アマチュアだけでなく専門家の判断にも影響を及ぼす説得力を持つことが示された．近年，リッカート尺度などのスコアによる生成テキストを評価する研究が多数提案されている[11]．P/OverA/OverSA/UnderP/Under本研究でも文法のような客観的指標と，説得力・論理的一貫性・有用性といった主観的指標の両面から，第2段階で提示されるスタンス付きの分析を評価し，意思決定との関係性を分析した．実験の結果，客観・主観の両評価指標が，読者の意思決定と関連することが確認された．実世界における評価（読者の意思決定）と，多次元スコア評価との間に関連が認められたことは，読者の意思決定を評価指標として利用する可能性を示している．まとめると，本研究では以下のリサーチクエッションに取り組む．(RQ1):LLMによって生成されたテキストは，人々の意思決定にどの程度まで影響を及ぼすのか(RQ2):生成テキストの影響は，アマチュアと専門家の間でどのように異なるのか(RQ3):多次元スコア評価は，意思決定とどの程度整合しているのか本研究に用いた分析コード・実験データは，以下に公開されている1）.