文書情報構造認識のためのAIchatbotプロンプト評価

ChatGPT等のAIチャットボットはLLMに基づいて構築されており，自然文による指示(プロンプト)に応えることができる．このシステムは知識を問う質問に対して回答できるだけでなく，与えられた文書の内容を認識して，翻訳・要約・情報抽出などを実行する能力も備えている．一方，与えられたタスクに対して最適なプロンプトを設計するための理論は確立していない．先行研究ではプロンプトの効果を高めるフレーズの報告[4]やLLMの応答の正確さを向上させるプロンプト設計に関する原則の提案[5]がある．本研究では，これらの研究を参考にしてプロンプトを設計し，文献抽出タスクに対する実験によってそれらのプロンプトの有効性を評価する．以下２節では実験の詳細を説明し，３節では実験結果からプロンプトの評価を行う．