自動プロンプト最適化は個人的選好の予測精度を向上させるか？

LLMによる自動プロンプト最適化は活発に研究されている分野であり，主に人の主観によらず一意に正解が定まるタスクに対する有効性が報告されてきた．しかし，主観的評価によって定められたラベルの予測タスクに対するこれらの手法の効果は検証されていない．本研究では，テキストへの個人的選好の予測タスクに既存の複数の自動プロンプト最適化手法を適用し，精度向上の程度を検証する．検証の結果，(1)個人的選好の予測タスクについては既存手法による精度の向上が見られないこと，(2)プロンプト書き換えの反復が精度向上に与える効果が小さいこと，(3)LLMが生成した誤りの情報が最適化の過程でうまく参照されていないことを確認した．