文書質問応答データセットの質問応答特性を保持した自動拡張

文書質問応答におけるデータ汚染の問題に対処するため，既存の評価用データセットにおける質問タイプ，ドメイン，時間的制約などの質問応答の特性（QA特性）を保持しながら，大規模言語モデル（LLM）を用いて自動拡張する手法を提案する．提案手法は3段階で構成される．まず，評価用データセットの設計において考慮されていると考えられるQA特性を抽出する．次に，QA特性の組み合わせをスキーマとして明示的に構造化する．最後に，新たな文書についてスキーマに基づいた質問応答データを生成する．既存のCRAGデータセットを用いた実験により，提案手法はFew-shot手法による拡張と比較して元データセットのQA特性をより良く保持できることを確認した．