自動プロンプト最適化は個人的選好の予測精度を向上させるか？

大規模言語モデル(LLM)を特定のタスクに活用する際には，与えるプロンプトによって精度が大きく変化することが知られている[1]．これを受けて近年活発に研究されているのが自動プロンプト最適化の手法である．自動プロンプト最適化では，特定のタスクに対する最適なプロンプトをLLMを用いて自動で生成させる．既存研究[2,3,4]では主に算数の問題[5]などの人の主観によらず一意に正解が定まるタスクに対して精度向上の効果が確認されている．一方で，映画や物語のあらすじに対する個人的選好[6]などの主観的な評価に基づいて設定されたラベルの予測についてもLLMの活用が研究されている．既存の最適化手法ではプロンプトの書き換えが主にLLMの事前知識に基づいて行われていることを指摘する論文[7]も存在するため，事前知識のみをもとに改善を行うことが難しい主観的ラベルの予測タスクに対してこれらの手法が適用できるかは自明ではない．個人的選好の予測を行う既存手法[6]では，LLMをFine-tuningした評価器に同じ評価者による選好をFew-shotの例示として与えることで精度の向上を達成している．しかし，Fine-tuningによる精度向上は新たなドメインに適用するためのコストが高い．また，著者ら自身によってFew-shotの例示の数の増加による精度の向上の限界が示唆されており，精度向上のための新たな手法が必要とされている．そこで本研究では，既存の複数の自動プロンプト最適化手法を個人的選好の予測に適用し，その効果を検証する．本研究による主な貢献は以下の通りである．•既存手法では個人的選好の予測に対する精度の向上が難しいことを明らかにした．•個人的選好の予測においてはプロンプトの書き換えの反復による精度向上の効果が小さいことを示した．•LLMによる誤り訂正の過程を検証し，誤りから得られる情報が適切にプロンプトに反映されていないことを確認した．