ヒューリスティックと遺伝的アルゴリズムを用いた自動プロンプトチューニング手法

高度な推論能力を持つ大規模言語モデルの台頭とともに，その性能を引き出すためのプロンプトに関する研究も増加している.モデル自身に思考過程を出力させるChain-of-Thought(CoT)[1]や，Zero-shotでCoTを行うZero-shotCoT[2]がその代表例である．また，“Takeprideinyourworkandgiveityourbest.”などの感情刺激を引き起こすプロンプト[3]や，“あなたはプロのクイズプレイヤーです．”と役割を明示するプロンプト[4]など，モデルの性能を引き出すためのヒューリスティックも多数存在する．このように，適切なプロンプトの設計によりLLMのタスクに対する性能を向上させることができるが，作成する際の問題点として人間の手間と時間的コストがかかることが挙げられる．また，前述したヒューリスティック[3,4]以外にも，細かなニュアンスの違いやプロンプトの入力順によってモデルの出力は変わるため[5]，良質なプロンプト作成のために考慮すべき構成要素の組み合わせ数は多い．以上の問題点を解決する手法として，本稿ではヒューリスティックと遺伝的アルゴリズム[6]を用いた自動プロンプトチューニング手法を提案する．提案手法では，モデルへの入力プロンプトを1個体，意味単位で分割した各モジュールを遺伝子とみなし遺伝的アルゴリズムを適用する．これにより，ヒューリスティックに加えて細かなニュアンスやモジュールの順番も探索しつつ，タスクに特化したプロンプトの自動チューニングが可能となる．評価実験では，自動チューニングしたプロンプトをJGLUE[7,8]のJCommonsenseQAとJNLIを用いて評価し，自然言語処理を専攻する学生の作成したプロンプトと同等かそれ以上の正答率を実現した．