差分分析に基づくプロンプトの自動最適化手法

本章では，プロンプト最適化の現状と課題を概観し，提案手法による解決の方向性と貢献を述べる．1.1プロンプト最適化の動向近年，LLMによるプロンプト自動最適化の手法が多く提案されている．ProTeGi[1]は推論誤りを自然言語的に反省し，プロンプト修正の勾配として活用する手法である．APE[2]は例示に基づき複数のプロンプト候補を生成し，出力の尤度を用いて最適なものを選択する探索的手法である．OPRO[3]は，メタプロンプトを用い，評価済みのプロンプト群からLLMに新たな候補を生成させ，その実行結果のスコアを再評価して，より良いプロンプトへと更新していく手法である．EvoPrompt[4]は，プロンプト空間を遺伝的アルゴリズムにより探索し，LLMを用いて突然変異・交叉などの操作を行う手法である．GEPA[5]は自然言語的な反省を通じた修正に加え，正解履歴を用いたパレート最適な選択と進化的併合操作によってプロンプトを改善する手法である．s_fukushima}@mail.toyota.co.jp1.2従来手法の課題このように，従来手法はプロンプト生成の方法に違いはあるものの，共通しているのは推論結果と真の正解の差分のみを用いている点にある．しかしながら，人間の教師で考えれば，誤答が生じた際にはその思考過程の誤りを特定し，さらにその誤りを引き起こした考え方（すなわちプロンプト）の問題点を明確にする．こうした視点から考えた時，従来手法では誤答の原因分析や修正方針の導出が曖昧であると考えられる．1.3差分分析法上述の課題に対し，我々は図1に示す差分分析法（DifferentialAnalysisMethod:以下，図表中ではDAMと称する）を提案する．図は，𝑁番目の最適化サイクルにおいて，現在のプロンプト𝑃𝑖𝑁（合計𝑀個），設問（Query），考察過程𝑇𝑖𝑁（合計𝐿個），および回答と正解（𝐴𝑛𝑠𝑤𝑒𝑟，𝐺𝑇）とその差∆𝐺𝑇𝑁を示している．従来手法ではこの∆𝐺𝑇𝑁のみか𝑁+1を生成させるが，その因果は明示されない．差分分析法では，直前のサらLLMに次のプロンプト𝑃𝑖Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).た．正解率の推移を表2に示した．表において，平均とは各Round正解率の平均値，ピーク値はその際の最大値を意味し，改善率はピーク値とRound0正解率の差を意味する．また，正解率（Train）‐正解率（Validation）のギャップをΔT-V，正解率（Train）‐正解率（Test）のギャップをΔT-T，正解率（Validation）‐正解率（Test）のギャップをΔV-Tと定義する．表2を使用して，図3に差分分析法（DAM），図4にProTeGi，図5にGEPAのグラフを示した．org/licenses/by/4.0/).は他手法と比較して，Trainの平均正解率（73.3%）と改善率（22.7%）が最も高かった．Validationの平均正解率（72.1%）も最も高く，ΔT-Vギャップの平均値が1.2％と最も小さかった．また，Testの平均正解率（61.2%）と改善率（21.3%)も最も高く，ΔV-Tギャップの平均値が10.9％と最も小さかった．差分分析法では，Train，Validation，TestのRoundが進むにつれて正解率が段階的に向上したが，ProTeGiおよびGEPAでは，正解率の推移は比較的横ばいであり改善は限定的であった．3.2差分分析法の有効性の検証