真面目LLMと不真面目LLMで推論能力は変わるか？

大規模言語モデル(LLM)は日々、様々な用途で使用されており、生成精度のさらなる向上が求められている。LLMの生成精度の向上手法は、ファインチューニングによるパラメータの最適化やプロンプト手法の改善など多様に存在する。プロンプト手法の改善の代表例には、考えの過程を明記させるChain-of-ThoughtPrompt[1]や役割を与えるRole-PlayPrompt[2]、LLMの感情に訴えかけるEmotionPrompt[3]がある。これらの研究で扱われている役割と感情は元来、人間の発話を変化させる要素であるが、これら以外に主要な要素として性格がある。本研究では、性格の一つである真面目さ、不真面目さをLLMが理解して生成を変化させることができるかを、Role-PlayPromptの手法を参考に日本語で検証する。真面目さ、不真面目さを付与するプロンプトを、レタータスク、コインタスク、オブジェクトタスクの3つで実験し、タスク正解率を比較する。レタータスクは既存のデータセットを使用し、コインタスクとオブジェクトタスクは英語のデータセットを参考に、新たに日本語で作成する。実験の結果、真面目さを付与するプロンプトは、その内容によっては正解率が向上するものも有れば、低下するものも有り、その程度もタスクで異なることがわかった。不真面目さを付与するプロンプトは基本的に正解率を落とすが、正解率の下がり幅もタスクやプロンプトの内容で異なることがわかった。また、モデルの生成を大きく変化させる言語表現が存在することも判明した。これらの結果から、モデルは常にプロンプトに従うものではないことが判明し、適切なプロンプト設計が必要になることがわかった。[2]