意思決定を指標とする生成テキスト評価：アマチュアと専門家への影響分析

本研究では，LLMが生成するテキストが読者の意思決定にどのような影響を及ぼすかを検討し，特にアマチュアと専門家という二種類の受け手に焦点を当てる．実験の結果，GPT-4が生成する分析はアマチュアと専門家の双方の判断を動かす説得力を有していることが示唆された．さらに，生成テキストを文法，説得力，論理的一貫性，有用性といった観点から評価したところ，これらの多次元評価スコアと，実際に読者が下す意思決定との間に高い相関があることが確認された．このことから，LLMが生成するテキストは人間の意思決定を左右し得る潜在力とリスクを併せ持つこと，そして読者の意思決定を生成テキストの評価指標として活用することが有効である可能性が示唆された．