プロンプトの丁寧さと大規模言語モデルの性能の関係検証

大規模言語モデル(LLM)は、推論、質問応答など多くのタスクで顕著な性能を示し、実応用において重要な役割を果たしている。LLMへの入力はプロンプトと呼ばれ、LLMが情報を処理し、適切な応答を生成するための重要な起点である。LLMの振る舞いや生成結果は様々な要因によって大幅に変わり、性能に大きな影響を与える。本研究は、プロンプトの表現の丁寧さという、LLMの性能に影響を与えうる要因の一つを調査する。人間の社会的インタラクションにおいて、敬意やその表現である丁寧さは基本的なエチケットであり、我々の言語に反映されている。しかし、丁寧さは文化や言語によって表現が異なる場合がある。例えば英語、中国語、日本語における丁寧さの表現や程度は大きく異なる。そのため、同じ丁寧さレベルでも、LLMの性能は言語によって異なる可能性がある。本研究は、無礼なプロンプトがLLMの性能を低下させる可能性があるという仮説を立てる。性能の低下には、生成結果が十分に正確でない場合や情報の省略などが含まれる。また、性能における最適な丁寧さレベルは言語によって異なり、その文化的背景と強く関連しているという仮説も立てる。これらの仮説を検証するために、英語、中国語、日本語において、丁寧さが高いものから低いものまで8つのプロンプトを設計し、マルチタスク言語理解ベンチマークにおいて評価する。本研究の主な貢献は次の2点である。LLMは人間の承認欲求を反映している:LLMはある程度人間の承認欲求、つまり尊敬されたいという欲求を反映しているが、極端な敬意が必ずしも優れているわけではないことが分かった。この発見は、LLMの振る舞いと人間の社会的エチケット[1]の深い関係を明らかにした。日本語マルチタスク言語理解ベンチマークの構築:日本語における評価のために、英語のマルチタスク言語理解ベンチマークMMLU[2]を翻訳するとともに、日本の文化に関するタスクを追加することによって、日本語MMLU(JMMLU)を構築した。これは、日本語におけるLLMの新たなベンチマークになりうる。