指示文書による検索意図の変化を考慮した指示追従検索モデルの学習

情報検索の分野では，テキスト埋め込みモデルの性能向上に伴い，既存の意味検索を発展させた指示追従検索と呼ばれる応用研究が行われている．意味検索では，与えられたクエリとそれに対応する関連文書について表層的な類似度だけでなく，意味的な類似度を踏まえた検索が行われる．一方で，指示追従検索では，クエリの他に指示文書が与えられ，クエリと指示文書を踏まえた意味検索を行う必要がある．例として，InfoSearch[1]では，クエリの他に関連文書として望ましい文書フォーマットの指示などの様々な指示内容が与えられ，クエリの他に指示内容を踏まえた検索結果を返す必要がある（図1）．指示追従検索に焦点を当てた研究の多くは，学習・評価データの作成に関する取り組みを行っている．既存研究[1,2,3,4,5]では，大規模言語モデルを用いて指示文書を自動生成する手法が提案されており，多様かつ現実的な指示文書の作成を目的としている．このようなデータ作成のアプローチは，指示追従検索モデルの性能向上に有効である一方で，新たな分野に適用する際には，負例データを含む学習データをあらかじめ作成する必要があり，データ書が絞り込まれている．構築のコストが高くなるという課題がある．このような背景を踏まえ，本研究では指示追従検索モデルの改善に向けて，学習データではなく，学習時の目的関数の改善に取り組む．本研究では，指示追従検索は通常の情報検索と比べて，詳細な関連性判断が求められるという直感に基づき，対照学習の改善を行う．指示追従検索で扱われるデータでは，クエリと文書の関係のみを考慮すると関連している文書であっても，指示文書の内容を踏まえると関連しない状況が想定される．そのため，指示追従検索モデルには，クエリに加えて指示内容を考慮した関連性判断が求められる．本研究では，このような粒度の違いに起因する課題に対して，指示内容を明示的に考慮した目的関数を提案する．具体的には，指示文書の内容が検索結果に与える影響をInstructionGain（IG）と定義し，この値を対照学習における損失関数の重みとして用いる．IGが大きい事例ほど，指示内容が検索結果に強く影響していると考えられるため，提案手法では，そのような事例の教師信号がより強くモデルに反映されるようにする．また，機械学習全般として，学習初期は簡単な事例を取り扱い，学習が進むにつれて困難な事例を扱うこと（CurriculumLearning[6]，Self-PacedLearning[7]）が効果的であることが報告されている．本研究では事例の難易度を「どれだけThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).線はQwen3-Embedding-4Bがベースモデルの中で最も高い数値を示す．Robust04News21Core17AverageMAPp-MRRnDCGp-MRRMAPp-MRRScorep-MRRQwen3-Embedding-4B26.3+3.724.9+1.221.1+7.124.1+4.0w/InfoNCE22.1+8.827.4+4.021.2+12.523.6+8.4w/InfoNCE+IG(Ours)22.4+9.726.6+2.021.6+12.123.5+7.9w/InfoNCE+IG+SPL(Ours)21.4+11.327.2+3.921.5+14.523.4+9.9BM25[8]12.1-3.119.3-2.18.1-1.013.2-2.1Focal-InfoNCE[9]20.0+6.923.3+2.419.8+10.121.0+6.5Promptriever-7B[5]27.6+6.624.9+1.720.5+11.424.3+6.6合わせることにより，学習初期は指示内容を考慮しない通常の対照学習を行い，学習が進むにつれて指示内容が教師信号に影響するようになる．3実験本研究で提案したInstructionGain（IG）による重みづけ学習とSelf-PacedLearning（SPL）による動的な重みの調整が，指示追従検索モデルとして有効であるか検証を行った．具体的には，通常の対照学習InfoNCEを用いた場合と比較して，提案手法で学習したモデルの性能が向上しているか確認した．3.1実験設定本研究では，ベースモデルに対してWellerら[5]が作成した指示追従検索学習データ1）を用いて学習を行った．このデータはあるクエリに対して，指示文書と正例文書，負例文書がアノテーションされている．また，ベースモデルにはQwen3-Embedding-4B2）を用いた場合と，Qwen3-4B-Base3）を用いた場合で検証を実施し，テキスト埋め込み向けの学習が行われているモデルへの提案手法の効果を調査した．式1や式4の類似度関数にはコサイン類似度を用い，式3の類似度関数には一般的な検索性能の観点から，既存のリランキングモデル4）を用いた．詳細なハイパーパラメータについては§Bに記載している．評価ベンチマークとして，本研究はWellerら[2]が提案したものを用いた．このベンチマークは評価尺度として，従来の検索評価指標（MAP，nDCG）の他に指示追従検索性能を評価するp-MRRを提案して1）学習データの詳細は§Aに記載する．2）https://huggingface.co/Qwen/Qwen3-Embedding-4B3）https://huggingface.co/Qwen/Qwen3-4B-Base4）https://huggingface.co/BAAI/bge-reranker-v2-m3おり，本研究でも同様の指標を用いた．これらの評価尺度は値が大きい方が優れていることを示し，特にp-MRRは-100から100の値を取る．従来の検索評価指標は0から100の値を取る．このベンチマークは3種のサブセット（Robust04/News21/Core17）から構成されており，それぞれ関連文書の数や指示文書の長さが異なる5）．その違いの一つとして，Robust04は他2つのサブセットと比較して，指示文書の単語数が多いことが挙げられる．比較として，表層一致による検索を行うBM25[8]のスコアを記載する．また，通常の情報検索タスクに焦点を当て，InfoNCEに対して重みづけを行った手法であるFocal-InfoNCE[9]を用いた場合も評価した．本研究で使用した学習データを公開したWellerら[5]は，当該学習データを用いて訓練したモデルPromptriever-7B6）も併せて公開している．本研究では，この公開モデルも評価を行った．3.2実験結果Embedding-4Bを使用した場合と，Qwen3-4B-Baseを使用した場合の実験結果を示す．Qwen3-Embedding-4Bルの指示追従検索性能を示している．この結果から，InfoNCEに対してIGの値を重みづけするのみだとRobust04ではある程度の向上が確認されたが，他2種のサブセットでは有効ではないことがわかる．一方で，IGの重みについて，SPLを利用することでRobust04やCore17についてInfoNCEより指示追従検索性能が向上していることが観察さ5）各サブセットの詳細な情報は§Cに記載している．6）https://huggingface.co/samaya-ai/promptriever-llama2-7b-v1org/licenses/by/4.0/).果．数値は各サブセットの平均値を示している．Scorep-MRRw/InfoNCE22.1+5.4w/InfoNCE+IG(Ours)22.1+5.4w/InfoNCE+IG+SPL(Ours)22.4+6.6れる．その結果として，各サブセットの平均値でも通常のInfoNCEより1.5ポイント向上していることを確認した．また，表層一致を利用した検索方式であるBM25，目的関数への重みづけ手法であるFocal-InfoNCE，同様の学習データを使用したPromptriever-7Bと比べても提案手法で学習されたモデルは指示追従検索において高い性能を達成した．一般的な検索性能として，MAPやnDCGの結果から，提案手法はあまり影響がないことが示唆される．特に平均スコアから，通常のInfoNCEと提案手法2種は同程度の性能となった．Qwen3-4B-Baseと同様にIGの重みづけのみだと通常のInfoNCEと同程度の性能となった．一方で，SPLを組み合わせることにより，特に指示追従検索性能に関して+1.2ポイントの向上が確認された．この結果とQwen3-Embedding-4Bの結果から，提案手法はベースモデルがテキスト埋め込み向けの学習が行われているかどうかに関わらず有効であると考えられる．4議論いることにより指示追従検索性能が向上していることが確認された．この性能向上の要因を分析するため，SPLの適用時における重み𝑤𝑗の変化を確認する．学習データ10Kに対する重み𝑤𝑗のヒストグラムを図3に示す．この図から，温度パラメータが大きい学習初期（𝛼𝑡=4.0）では，重み𝑤𝑗が1.0付近に集中していることが観察される．学習が進み，温度パラメータ𝛼𝑡が小さくなるにつれて分布は徐々に広がり，学習終盤（𝛼𝑡=0.5）では多くの事例は0近辺の小さい重みとなる一方で，一部の事例が大きい重みとなっていくことが確認される．これらの結果から，学習初期には通常のInfoNCEに近い学習が行われ，学習の進行に伴って指示内容の影響が大きい事例が強調されるようになることが示唆される．このような重み分布の変化により，SPLが指示追従検索において効果的に機能していると考えられる．ム．0.1ごとに作成．比べ，SPLを用いてIGによる重みづけを行った場合，p-MRRは+2.5ポイント向上しており，次点でCore17が+2.0ポイントの向上となっている．この要因として，指示内容の詳細さが影響していると考えられる．各サブセットについて，指示文書の単語数が最も多いのはRobust04，次点がCore17，News21が最も少ない．このことから，Robust04は特に長文を解釈して指示内容を反映させた指示追従検索を行う必要があり，学習したモデルはこの点において効果的に機能していると考えられる．一方で，News21では改善が確認されず，指示文書が短い設定では提案手法の効果が相対的に小さいことが示唆される．各種実験結果より，提案手法の一般的な検索性能は，InfoNCEを用いた場合と同程度であることが確認された．これは，提案手法が重みづけにおいて指示文書内容の反映に重点を置いており，一般的な検索内容を明示的には考慮していないためであると考えられる．5おわりに本研究では，指示追従検索において，指示文書を重みとした対照学習を用いる手法を提案した．また，学習が進むにつれて重みを調整する手法も提案した．これらの手法について検証を行い，指示追従検索性能について，通常の対照学習と比較して1.5ポイントの向上を確認した．提案手法の指示文書を考慮する手法として，リランキングモデルを用いているため，通常の対照学習と比べて計算コストが大きいことが課題である．今後は指示内容を考慮する手法としてより軽量な手法を検討したい．org/licenses/by/4.0/).