人間は社会的インタラクションにおいて、敬意やその表現である丁寧さに敏感である。例えば、丁寧な要求は、より高い協力意欲と目的の達成を促す傾向がある。一方で、無礼な言葉遣いは反感や敵意を引き起こし、それに対する応答や対応の質を低下させる可能性がある。本研究では、プロンプトの丁寧さが大規模言語モデルの性能に及ぼす影響を調査する。英語、中国語、日本語における言語理解ベンチマークで評価を行う。評価結果から、無礼なプロンプトを使用すると性能が低下する可能性が高い一方で、極端に礼儀正しく遠慮深い言葉遣いが必ずしもより良い結果をもたらすわけではないことがわかった。これらの結果は、大規模言語モデルが人間の行動をある程度反映していることを示唆している。

大規模言語モデル(LLM)は、推論、質問応答など多くのタスクで顕著な性能を示し、実応用において重要な役割を果たしている。LLMへの入力はプロンプトと呼ばれ、LLMが情報を処理し、適切な応答を生成するための重要な起点である。LLMの振る舞いや生成結果は様々な要因によって大幅に変わり、性能に大きな影響を与える。本研究は、プロンプトの表現の丁寧さという、LLMの性能に影響を与えうる要因の一つを調査する。人間の社会的インタラクションにおいて、敬意やその表現である丁寧さは基本的なエチケットであり、我々の言語に反映されている。しかし、丁寧さは文化や言語によって表現が異なる場合がある。例えば英語、中国語、日本語における丁寧さの表現や程度は大きく異なる。そのため、同じ丁寧さレベルでも、LLMの性能は言語によって異なる可能性がある。本研究は、無礼なプロンプトがLLMの性能を低下させる可能性があるという仮説を立てる。性能の低下には、生成結果が十分に正確でない場合や情報の省略などが含まれる。また、性能における最適な丁寧さレベルは言語によって異なり、その文化的背景と強く関連しているという仮説も立てる。これらの仮説を検証するために、英語、中国語、日本語において、丁寧さが高いものから低いものまで8つのプロンプトを設計し、マルチタスク言語理解ベンチマークにおいて評価する。本研究の主な貢献は次の2点である。LLMは人間の承認欲求を反映している:LLMはある程度人間の承認欲求、つまり尊敬されたいという欲求を反映しているが、極端な敬意が必ずしも優れているわけではないことが分かった。この発見は、LLMの振る舞いと人間の社会的エチケット[1]の深い関係を明らかにした。日本語マルチタスク言語理解ベンチマークの構築:日本語における評価のために、英語のマルチタスク言語理解ベンチマークMMLU[2]を翻訳するとともに、日本の文化に関するタスクを追加することによって、日本語MMLU(JMMLU)を構築した。これは、日本語におけるLLMの新たなベンチマークになりうる。