文書質問応答データセットの質問応答特性を保持した自動拡張

言語処理システムの性能評価のため，与えられた文書に基づいて質問に回答する文書質問応答（DocumentQuestionAnswering;DocQA）が広く用いられている[1,2,3]．DocQAにおける評価データセットでは，評価の観点（知識理解，推論，情報統合など）に応じて，質問タイプや制約など様々な特性を考慮して，それぞれの質問応答が作成されている．この特性には，質問が扱う分野（映画，スポーツなど），質問の種類（事実抽出，比較，集計など），回答に必要な情報の時間的性質（静的事実，変化する情報など）などが挙げられる．本研究では，これらのカテゴリとその取りうる値を質問応答特性（QA特性）と定義する．大規模言語モデル（LLM）は継続的に更新されるため，その性能評価も継続的に行うことが望ましい．しかし，この継続的な評価において，データ汚染の問題が存在する[4,5]．データ汚染とは，評価用データセットがLLMの学習データに含まれてしまい，その学習に基づいて回答する現象である．データ汚染が発生すると信頼性のある評価が困難になるため，LLMの学習データに含まれない評価用データセットを新たに作成し直す必要がある．この課題を解決するために，既存のデータセットをもとに新たなデータセットを作成するデータセット拡張手法が提案されている．このような手法には，既存のデータを少数例示して新たなデータを生成するFew-shot手法[6,7]がある．しかし，Few-shot手法ではLLMが例示から暗黙的に特性を獲得するため，どの特性が保持され，どの特性が失われるかを予測・制御できない．その結果，生成されるデータセットでは元データセットのQA特性が十分に保持されず，既存データセットが意図した能力の評価が困難になる可能性がある．本研究では，このような問題に対処するため，DocQAにおけるQA特性を保持したデータセット自動拡張を目指す．図1に提案手法の概要を示す．提案手法は，LLMを基盤に，(1)QA特性抽出，(2)スキーマ構築，(3)QAデータ生成の3段階で自動拡張を行う．QA特性抽出では，既存QAデータセット全体を分析し，データセットに含まれるQA特性を抽出する．スキーマ構築では，元データにあるQA特性の値の組み合わせをスキーマとして明示的に構造化する．QAデータ生成では，新たな文書に基Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).性の組み合わせ，説明，実例QAから構成される．本研究では，スキーマを構築する元データの単位が異なる2つのスキーマ構築アプローチを比較する．3.2.1個別QAデータからのスキーマ構築各QAデータを個別に分析し，そのQAデータに現れるQA特性を1件のスキーマとして生成する．QAデータ数と同数のスキーマを構築し，個別のQAデータの特性をより忠実に反映する．3.2.2データセット全体からのスキーマ構築既存QAデータセット全体を分析し，類似したQA特性を持つQAデータをまとめて少数のスキーマを構築する．プロンプトでは，データセット全体のQA特性の組み合わせパターンを捉えるために必要な数のスキーマを生成するよう指示する．スキーマ構築の後，LLMに元データセット全体を入力してスキーマごとに分類し，その割合に基づいて生成数を決定する．3.3QAデータ生成QAデータ生成では，スキーマと文書を用いて新規QAデータを生成する．生成時には，QAデータ生成の前に，文書-スキーマの適合性判定を行い，スキーマの要件を満たすQAデータのみを生成するようにする．この適合性判定では，文書とスキーマをLLMに入力し，スキーマの要件を満たすQAデータが生成可能か判定する．この適合性判定で生成可能と判定されたスキーマと文書について，QAデータを生成する．その後，生成されたQAデータが参照文書から回答可能かを評価するため，QAデータと参照文書をLLMに入力し，参照文書の情報のみで質問に回答できるかを判定し，回答不可能と判定されたQAデータは再生成を実施する．4実験4.1実験設定DocQA評価データセットは次の手順で作成した．まず，RAG用の評価データセットであるCRAG[8]から1,000件のQAデータをサンプリングした．この際，本研究は参照文書に基づいて回答可能なQAの生成を目的としているため，質問タイプが回答の存在しないFalsePremiseである質問は対象外とした．次に，CRAGから検索の要素を除外し，参照質問タイプ元全体個別FS5FS1Simple3331355546Simplew.Cond.2733262529Set7131034Comparison5530