自動プロンプト最適化のソフトウェア設計

大規模言語モデル（LLM）の実応用において，LLMへの指示を自然言語で記述する文章であるプロンプトが，モデルの性能を引き出す上で重要である．プロンプトを調整することで，出力される文章の品質を高めたり性質を変化させたりする技術は総称してプロンプトエンジニアリングと呼ばれている．様々なプロンプトエンジニアリング手法が提案され，性能向上が報告されている[1]．また，これらを人手で行うのではなく，自動で最適化を行う手法も開発されている[2,3,4]．本研究では，プロンプト自動最適化技術の適用を行うソフトウェアに必要な機能を整理し，アーキテクチャを提案する．プロンプト最適化は大きく分けて，プロンプトを文章のまま最適化するハードプロンプト最適化と，プロンプトの埋め込みベクトルを最適化するソフトプロンプト最適化に分けられる．近年のLLMはAPI経由でアクセスすることが一般的となっているが，ソフトプロンプト最適化の多くはAPIで得ることのできないLLMの重み情報を必要とするため，本研究ではAPIを用いた文字列処理のみで実行可能であるハードプロンプト最適化を対象とする．