創造的な文生成タスクに対するLLMプロンプトの自動生成

大規模言語モデル（LLM）の性能を引き出すには，与えるプロンプトの良し悪しが重要である．プロンプト自動生成の研究もあるが，多くは自動評価しやすい唯一解のあるタスクが対象である．我々は，唯一解の無い創造的な文生成タスクに対してプロンプトの自動生成を試みた．そのための自動評価指標には埋め込み表現を用いて，期待される正解への近さと，創造性すなわち入力からの距離とを総合した指標により両者が反映されるようにした．インターネット記事作成における読者ニーズおよび記事見出しの生成を題材に，プロンプトを生成しないFew-shotPromptingと比較し，主観評価により提案手法がより有用な結果を生成できることを示した．