プラグマティクス拡張と検索モデル学習による対話履歴検索の精度改善

対話システムでは，現在の発話（クエリ）に対して過去の対話履歴から関連情報を検索する処理が重要となる．本研究は，この対話履歴検索におけるクエリ理解の不足に着目し，プラグマティクス拡張と検索モデル学習を組み合わせてDenseRetrieval（DR）の精度を向上させる．1.1対話履歴検索の課題対話では発話が短く，省略や文脈依存が多いため，表層的な語句一致や単純な意味類似度だけではユーザ意図や参照対象を適切に特定できない．このことが対話履歴検索の主な性能低下要因となる．1.2DenseRetrievalの課題DRに用いられる埋め込みモデルは，文脈・含意・指示語といった会話特有の暗黙情報を扱うことが苦手である．短いクエリでは検索の手がかりが不足するため，表面的な言い換えでは性能改善が限定的であり，意図・前提・制約といった深い意味情報を検索表現として補う必要がある．1.3本研究の目的と貢献本研究は，クエリに不足する意味情報をプラグマティクス推定により補完し，深層的な検索表現へ変換することを目的とする．さらに，拡張クエリに適応したDRモデルを弱教師ありの対照学習で再調整することで，履歴チャンクをより適切に検索できるようにする．本研究の貢献を以下に示す．•プラグマティクス拡張による深層的クエリ強化:LLMにより意図（INTENT），前提（BACKGROUND），制約（CONSTRAINTS）を推定し，クエリへ明示的に付与することで検索表現を強化する．•拡張クエリに適応するDenseRetrievalモデルの学習:クエリ拡張により意味空間が変化するため，対照学習を用いてDRモデルを再調整し，拡張クエリから適切に文脈を検索できるよう最適化する．提案手法は，Recall，AllHit，MRR，nDCGの各指標で一貫した性能向上を確認した．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).チャンクが上位に入りやすいため，偽負例を避ける目的で同一文書の候補をマスクする．この工夫により負例の質が向上し，学習が安定する．4実験設定4.1データセットと評価本研究ではLiHua-World[8]の1年分の対話データを用いる．評価には付属の既存QAEに加え，全ての検索チャンクを元にLLMにより作成したQAE（これを抽象的QAEと呼ぶ.A.3参照）も使用し，Recall@10，AllHit@10，MRR@10，nDCG@10を主指標とする．抽象的QAEについては@40も参考として報告する．4.2学習データの作成3.3.1で述べた方法により，各チャンク𝑐𝑖からLLMによりpseudo-query𝑞𝑖を生成し，これをプラグマティクス拡張して得た˜𝑞𝑖と組み合わせて(˜𝑞𝑖,𝑐𝑖)を正例として用いる．4.3学習手法本研究ではall-MiniLM-L6-v2，e5-base-v2，bge-base-en-v1.5を使用し，in-batch対照学習の後にhardnegative（10件）による追加学習を行う．これらを選定した理由は次の通りである．（i）MiniLM系は軽量で一般領域のDRベースラインとして広く用いられており，プラグマティクス拡張の効果を最も純粋に観察できる．（ii）e5-base-v2は“textembeddingの標準的フォーマット（query/documentのpreﬁx仕様）”を持ち，情報検索に特化した事前学習が施されているため，拡張クエリとの整合性の違いを評価するのに適している．（iii）bge-base-en-v1.5は近年高性能な英語向け汎用埋め込みモデルとして評価されており，MiniLM・e5と異なる構造のモデルに対しても提案手法が有効に働くかを検証する目的で採用した．4.4比較手法以下の4条件を比較する：•ベースライン:拡張を行っていない抽象的クエリを既存DenseRetrieverに入力．•拡張のみ:抽象的クエリをプラグマティクス拡張するが，モデルは学習しない．•学習のみ:弱教師ありデータでモデルの二段階学習を実施．推論は抽象的クエリ．•拡張+学習（提案法）:拡張クエリを使用し，弱教師あり二段階学習したモデルを用いる．5実験結果と考察5.1既存QAEに対する検索性能まず，LiHua-World付属の既存QAEで検索性能を確認した（表1）．この結果は，今回作成した抽象的QAEによる検索性能と比較することにより，抽象的クエリによる検索難易度が大幅に上昇していることを示す意味で重要である．5.2抽象的QAEに対する検索性能次に，抽象的な評価データセットに対する検索性能を評価した．抽象的QAEは，抽象的で多義的な検索タスクとなっているため，DenseRetrievalの限界を評価するのに適している．まず@10での抽象的QAEに対する結果を表2に示す．抽象的なクエリでは表層手がかりが少なく，@10の網羅性が低下しやすい．@10のみではモデルの検索能力を十分に評価できない可能性がある．@40は@10より網羅性が高く，関連文脈をより多く含められる（表2）．5.3プラグマティクス拡張と学習の効果5.3.1拡張形式の比較rewriteによる検索結果は付録（表5）に示す．本論文では，学習・推論の整合が取りやすいpreﬁxを主に用いる．org/licenses/by/4.0/).モデルRecall@10AllHit@10MRR@10nDCG@10all-MiniLM0.6790.6560.4860.523e5-base0.7890.7690.6080.643bge-base0.7810.7680.6050.641@10モデルRecall@10AllHit@10MRR@10nDCG@10all-MiniLM0.2980.1230.2560.216e5-base0.2990.1190.2870.235bge-base0.3110.0970.2930.239@40モデルRecall@40AllHit@40MRR@40nDCG@40all-MiniLM0.4640.2290.2980.285e5-base0.5150.2820.3040.299bge-base0.4470.2120.2670.2615.3.2preﬁx形式での性能抽象的QAEに対して，プラグマティクス拡張と検索モデル学習を行った結果を表3に示す．学習・推論時ともに拡張形式はpreﬁx型を用いた．提案手法により，全モデルでRecall@10，AllHit@10，MRR@10，nDCG@10の各指標が，表2に比べ一貫して改善されているのが分かる．e5-base-v2では，アブレーションと二段階学習の効果を表4に示す．拡張のみ，学習のみのいずれも改善が見られるが，拡張と学習を組み合わせた場合に最も高い性能が得られた．これは，拡張により意味手がかりが増え，弱教師あり学習でその表現に適応した検索空間が形成されるためである．5.4HardNegativeFine-tuningの効果同一ドキュメント由来の候補を除外しない場合，偽負例が混入して学習が不安定になりやすい．本研究ではマスクを適用した設定の結果を報告する（表4）．マスク有りだと性能低下は見られなかったが，大きな改善は見られなかった．これは生活ログでは異なるドキュメント間にも類似チャンクが存在し，マスクしても偽負例が残ることが原因と考えられる．5.5全体考察実験結果から，DRの性能はクエリの抽象度に強く依存し，表層手がかりの乏しい状況ではsemanticgapが顕在化することが分かった．プラグマティクス拡張はこの不足を補い，検索空間を整合化する上で有効である．モデルRecall@10AllHit@10MRR@10nDCG@10all-MiniLM0.3320.1230.3160.251e5-base0.3700.1320.4200.319bge-base0.3680.1280.4080.314@10）アブレーション方法Recall@10AllHit@10MRR@10nDCG@10拡張のみ0.2990.1190.2870.235学習のみ0.3640.1280.3840.297拡張+学習0.3700.1320.4200.319二段階学習方法Recall@10AllHit@10MRR@10nDCG@10一段階目0.3700.1320.4200.319二段階目0.3790.1450.4370.331プラグマティクス拡張はこのgapを埋める役割を果たす．INTENT/BACKGROUND/CONSTRAINTSを付与することで，クエリが履歴チャンクと比較しやすい形に正規化され，抽象的クエリでも検索手がかりが大幅に増える．特にpreﬁx型は情報構造を保持した拡張であり，rewrite型に比べ意味情報の損失が少ない点が有効に働いたと考えられる．弱教師あり学習は，拡張クエリの分布に検索モデルを適応させる工程として機能する．拡張のみでは検索器が新しい表現形式に十分追従できないため改善量は限定的であるが，学習を併用するとクエリ空間とチャンク空間が整合的に再構築され，性能が大きく向上した．すなわち，本研究の枠組みは「拡張（query-level）」と「適応（model-level）」が二段で作用する点に意義がある．また，@10と@40の性能差から，単一段階のDenseRetrievalでは抽象的クエリに対する網羅性が不足する可能性があり，再ランキング等との組み合わせが有効であることが示唆される．総じて，対話履歴検索の性能向上には，クエリの深層意味を補う構造化拡張と，その表現に適応する学習を併用することが重要であり，本研究はその有効性を示した．6おわりに本研究では，クエリのプラグマティクス拡張と対照学習を組み合わせた対話履歴検索手法を提案し，小～中規模モデルで一貫した性能向上を確認した．今後はチャンク側へのプラグマティクス付与やReranking手法との併用を検討し，応答生成への影響も分析する予定である．org/licenses/by/4.0/).