差分分析に基づくプロンプトの自動最適化手法

本研究では，大規模言語モデル（LLM）によるプロンプト最適化において，直前と現在のプロンプトに基づく推論結果の差分を用いて要因を分析し，誤答に寄与した文を自然言語的に特定・修正する手法を提案する．従来手法が出力の正誤のみをスカラー値で評価し，プロンプト全体の良否をブラックボックス的に扱っていたのに対し，本手法は回答の変化に着目し，プロンプト内の問題箇所を文単位で明示的に反省・改善する点に特徴がある．駐車場価格を推定する独自のデータセットを構築し，提案手法の有効性を検証した結果，Validationのピーク時の正解率は，提案手法80.7%，GEPA70.0%，ProTeGi64.0%となり最も高い性能を示した．