創造的な文生成タスクに対するLLMプロンプトの自動生成

近年，大規模言語モデル（LLM）の発展により，様々なタスクが高い精度で解けるようになった．しかしLLMの性能は，与えるプロンプトの品質に大きく左右される．よいプロンプトを作成するためには，解きたいタスクに対する知識や経験を多く求められることが多い．LLMに与えるプロンプトの作成の負担を軽減するために，AutoPromptEngineer（APE）[1]のようなプロンプト自体をLLMで自動生成する手法も提案されている．それらの手法の多く[2]は，自動評価しやすい唯一解のあるタスクを対象にしている．一方で創造的な文生成タスク，たとえばインターネット上のメディアに掲載するための記事コンテンツ（以下，単に記事とする）の作成においては「記事の読者のニーズが何かを考える」「読者の目を引くような見出しを作成する」といった，唯一解の無い創造的なタスクが多い．こうした記事を作成するには多くの人的コストがかかるため，記事の作成のために言語モデルを利用した自動化技術による負担軽減や品質の一律化が期待されている．しかしこのようなタスクは正解データが与えられていたとしても生成結果を自動評価することは難しく，従来の方法でプロンプトを自動生成するには工夫が必要となる．我々は埋め込み表現を用いることで，こうした唯一解の無い創造的な文生成タスクの自動評価ができるのではないかと考えた．埋め込み表現のベクトルは文章の意味の類似度を測る手段として用いられることが多い．予め与えられた正解データに対して，埋め込み表現間の類似度を計算することで，生成結果がどれくらい正解に近いかを自動評価できる．また与えた入力と生成結果との類似度を計算することで，生成結果がどれくらい入力から離れているかも計算できる．これによって，入力から直接連想しづらい創造的な結果が得られたかを自動評価できると考えた．我々は，先行研究としてPromptAgent[3]の手法を参考に，タスクに対して少数の入力と出力のペアを用いてプロンプトを最適化した．最適化されたプロンプトを用いて新たに生成された出力を，埋め込み表現によって評価した．これにより，唯一解の無い創造的な文生成タスクにおいてプロンプトの自動最適化を実現した．