文献理解のための人間の応答を利用したプロンプト最適化

模言語モデルを用いたプロンプトの最適化が取り大規模言語モデルを利用した自然言語システムの組まれている．これは，人間の試行錯誤を必要とせ性能は，プロンプトの設計に影響される．人間の試ず，大規模言語モデルの文章生成能力を利用して，行錯誤に基づく従来のプロンプト設計に代わる方法より良いプロンプトの獲得を目指す取り組みであとしてプロンプト最適化が取り組まれている．既存る．既存のプロンプト最適化手法では，最適化の過のプロンプト最適化手法では，正解ラベル付きデー程で使用する正解ラベル付き学習用データを準備すタの利用を前提としている．代わりに，システムのる必要がある．出力に対する人間からのフィードバックを利用するタグ抽出システムの運用においては，システム利ことが考えられる．本研究では，学術論文のタグ抽用者からタグに対するフィードバックを収集する出システムの運用を想定し，プロンプト最適化におことが可能である．最も単純な，タグの正誤に対すいて，人間から得られるフィードバックの有効性をるフィードバックは，前述の正解ラベル付きデータ調査する．実験の結果，フィードバックを利用したの作成と異なり，システムが提示するタグを人間に最適化により，再現率の向上が確認できた．一方，評価してもらうことにより行える．タグの抽出は，精度の悪化も確認され，フィードバック設計の再考論文文章に基づいて行われる．このため，人間はシの必要性などの課題も確認した．ステムの抽出タグを評価する際，文章中でタグについて言及し，タグ抽出の根拠となっている箇所を探