DEIM Forum 2023 3a-2-3

単一密検索モデルによる複数言語横断情報検索阿部 健也†

新田 洸平††

加藤誠†††† 筑波大学 知識情報・図書館学類 〒 305–8550 茨城県つくば市春日 1–2†† 筑波大学大学院 人間総合科学学術院 〒 305–8550 茨城県つくば市春日 1–2††† 筑波大学 図書館情報メディア系 〒 305–8550 茨城県つくば市春日 1-2
E-mail: †{s1911448,s2221648}@s.tsukuba.ac.jp, ††mpkato@acm.org
あらまし

本研究では，単一の密検索モデルによって，複数の言語間の言語横断情報検索 (CLIR) を実現する方法を提案する．従来の密検索を用いた CLIR では，各言語毎に検索モデルを用意するアプローチが用いられることが多く，精度が高く有効ではあるものの，言語ごとにモデルを管理する必要があること，また，データを用意して学習を行う必要があることが課題であった．我々はこの問題を解決するために，1 つの事前学習多言語モデルを採用し，すべての言語のデータを用いた学習を行う方法を試行した．実験では，CLIR のためのテストコレクションを用いて提案手法の単一モデルによる検索の精度を検証し，言語ごとに本提案手法の有効性が大きく変わることを示した．
キーワード 検索モデル、言語モデル、アドホック検索、言語横断情報検索
翻訳した結果が間違っていると目的とする文書を検索すること

1 はじめに
近年，言語横断情報検索が注目を集めている．入力としてクエリを与え，出力をクエリに対する適合度が高い文書のランキングとするものを「アドホック検索」と呼び，その中でもクエリの言語と文書の言語が異なっている場合を「言語横断情報検索(Cross Language Information Retrieval，以下 CLIR) 」と呼ぶ．この技術は母国語以外の言語で書かれた特許文献を検索したいと考えた時や，海外のローカルなニュース記事を検索したい時に必要になる．CLIR は古くから取り組まれてきた問題で近年注目が集まっている問題でもある．情報検索のワークショッ
プである TREC [17] や NTCIR [14] においては 1990 年代から開催されていて，2022 年にも TREC において NeuCLIR とい
う CLIR のタスクが開催された．
近年，事前学習多言語モデルを利用した密検索モデルの CLIRへの適用が進んでいる．CLIR への適用に注目が集まる以前から，単言語のアドホック検索においては密検索モデルが有効に作用することがわかっていた．密検索とは BERT [5] などの事前学習言語モデルを利用して単語をベクトルに変換し，類似度を計算する手法である．事前学習言語モデルとは，モデルを事前に大量の文章データで学習させることで単語の文脈的意味を表現することができるモデルである．このモデルを利用することにより密検索は単語の意味まで考慮できるため，

BM25 などの単語一致の手法よりも効果的である．この密検索モデルの特徴は，クエリと文書の言語が異なっている CLIR においても有効に作用すると考えられ，近年研究が行われている [12] [16] [15] [19]．CLIR では，クエリと文書の言語が異なっているため BM25 などの手法を直接適用することができない．
そのため，単語一致の手法で CLIR に取り組む際は，クエリか
文書のどちらかを翻訳して言語を一致させて検索を行う．この手法の課題として，検索の精度が翻訳に依存してしまうため，ができなくなってしまうことが挙げられる．この課題に対して，
単語の意味を考慮できるため検索する際に翻訳を必要としない
事前学習多言語モデルを利用した密検索が有効であると考えられる．事前学習多言語モデルとは事前学習の際に様々な言語の文章データを学習したモデルのことである．このモデルは同じ意味を持っている異なる言語の単語を似た意味の単語として表現することができるため翻訳を必要としない．具体的には，「cat」という単語で日本語の文書検索をすると，単語一致の手法では「cat」を「猫」に翻訳するという過程が必要になる．しかし，事前学習多言語モデルは「cat」と「猫」が同じ意味であることを表現できるため翻訳をする必要がない．よって，事前学習多言語モデルを利用した手法である密検索は CLIR に効
果的に作用すると考えられる．実際に ColBERT-X [12] では，事前学習多言語モデルを利用して CLIR に取り組む手法を提案
し，クエリと文書の言語を一致させるために翻訳を必要とする

BM25 よりも高い精度が得られた．ColBERT-X では，英語の学習データで 1 つのモデルを学習させてそのモデルで各言語の検索を行う手法 (Zero-Shot) と，英語の学習データを翻訳する
ことで言語毎の学習データを生成し，各モデルでその言語に特化するような学習をして検索を行う手法 (Translate-Train) の2 つを提案し，2 つの提案手法の比較では Translate-Train がより有効であることを示した．
言語毎に複数のモデルを用意する手法である Translate-Train
は精度が高く有効ではあるものの，複数のモデルを管理する必要があること，モデル毎に学習を行う必要があることが課題である．我々は，事前学習多言語モデルが目的の言語以外の学習
データを利用しても目的の言語でのタスクの精度が向上するという特徴に注目した．さらに Asai ら [1] は文章生成を行う際の事前学習多言語モデルのファインチューニングに複数の言語が混ざった学習データを利用しても文章生成の精度が向上することを示した．これらのことから，文書検索においても複数の言

語の学習データをまとめて 1 つの学習データとして利用するこ

ColBERT，ColBERT-X，および提案手法の詳細について述べとで複数モデルを用意しなくても検索の精度が向上することをる．4 節ではデータセットと実験の設定，実験結果を示し，5 節期待する．よって，本研究では単一のモデルで目的とする言語

では今後の課題と共に本論文の結論を述べる．

毎により精度の高い検索が行えるような手法として，1 つの事
前学習多言語モデルを用意し，各言語毎の学習データを 1 つの学習データとしてまとめて学習させる手法を提案する．
実験では，CLIR のためのテストコレクションである HC4 [11]というデータセットで，提案手法やベースライン手法による検索を行った．ベースライン手法として BM25 や事前学習多言語モデルを英語のデータのみで学習させたモデル (Zero-Shot)

2 関連研究
本節では，事前学習言語モデル，および，事前学習多言語モ
デルについて述べたのち，言語横断情報検索への密検索モデルの適用に関する既存研究について述べる．

2. 1 事前学習多言語モデル

による検索，目的の言語の学習データで学習させたモデル

本節では，事前学習言語モデルと事前学習多言語モデルにつ(Translate-Train) による検索と提案手法による検索とリラン

いて述べる．自然言語処理のタスクを解くために事前に大量のキングを行い，これらの結果を比較した．リランキングとは他

文章データで学習させたものを事前学習言語モデル [5] と呼ぶ．

の手法によって生成された検索結果 (実験では BM25 による検特に様々な言語に対応するために，事前学習の際に複数の言語

索結果) を並び替える手法を呼ぶ．また，我々は TREC 2022のデータで学習を行っている場合のモデルを事前学習多言語モで開催された NeuCLIR というトラックに参加し，提供されたデルと呼ぶ [3]．事前学習では大量の文章データから，単語の文

データセット neuclir1 に対して提案手法を適用した結果を提出

脈的意味や単語同士の関係を表すベクトル空間を学習する．そした．NeuCLIR ではベースラインとして文書を翻訳することの結果，事前学習言語モデルでは様々なタスクを解く際に，単でクエリと文書の言語を一致させ，BM25 による検索を行った語をベクトルに変換することで単語の意味を考慮できるように結果が与えられているため，その結果と提案手法の結果を比較なる．事前学習言語モデルでは追加の学習を行うことで文書分した．

類やアドホック検索など，目的に応じた自然言語処理のタスク

HC4 に対する実験で，中国語では BM25 の結果と比較してを解くことができるようになる．このように，既に学習済みの提案手法が統計的に有意に上回ったが，Translate-Train の結モデルを利用して，目的のタスクのためにそのモデルを追加で果を上回ることはできなかった．ペルシャ語では BM25 と比学習させることをファインチューニングという．また，事前学較して提案手法が統計的に有意に上回り，他の手法の結果も上

習多言語モデルでは事前学習時に含まれている言語であれば，回ったが有意差は認められなかった．ロシア語では提案手法が目的の言語ではない言語の学習データをファインチューニング

BM25 の結果を下回り，全ての手法の間で統計的に有意な差はに使用してもタスクの結果が向上するという特徴がある．例え認められなかった．neuclir1 に対する実験結果から，提案手法

ば，文書分類を行うために事前学習多言語モデルを英語の学習

による全文書検索では，全ての言語の Recall@1000 においてデータでファインチューニングしても，事前学習時に日本語の提案手法がベースラインの BM25 を統計的に有意に下回った．

データが含まれていれば，日本語の文書分類の結果が向上する．

Recall@1000 の値が下回ったにも関わらず，ロシア語では他のこの特徴は目的の言語においてタスクに対応するための学習指標が BM25 を統計的に有意に上回った．また，提案手法にデータが十分でない場合において非常に有効である．

よってベースラインをリランキングした結果が全ての言語のRecall@1000 以外の指標においてベースラインを上回り，いく2. 2 言語横断情報検索への密検索モデルの適用つかの指標では統計的な有意差も認められている．以上の結果

本節では，言語横断情報検索への密検索モデルの適用に関すから，neuclir1 において提案手法はリランキングに用いると特る関連研究について述べる．これまでの単言語のアドホック検に有効に作用すること，提案手法の有効性は言語のみに限らず

索では，BM25 やクエリ尤度モデルなどの単語一致を利用した

データセットによっても異なることがわかった．本論文の貢献手法が長い間主流となっていた．単語一致を利用する手法では，は以下の通りである:

同義語や言い換え表現などを関係のない単語として見逃してし（ 1 ） 事前学習多言語モデルに基づく CLIR において，複数まうことが課題とされる．BERT をはじめとした事前学習言の言語の CLIR に取り組む際，複数の言語の学習データをまと語モデルが登場し，単語をベクトルとして数値化することで単めて 1 つのモデルで学習する手法を提案した．提案手法では，語の意味まで考慮して検索を行う密検索手法 [8, 9, 18, 20] が提1 つのモデルで複数の言語の CLIR に対応することができる．

案されたことで同義語や言い換え表現の意味をある程度考慮す（ 2 ） 2 つのデータセットに対する実験から，提案手法が言ることができるようになった．密検索は単語一致の手法よりも語によって有効に作用することを示した．また，提案手法の有有効であることが分かっているため，近年密検索手法が主流と効性が言語のみではなく，データセットによっても異なることなってきている．密検索手法は計算の量が非常に多く全てのクを示した．

エリと文書のペアに対して類似度を計算しようとすると膨大な本論文の構成は以下の通りである．2 節では事前学習言語

時間がかかってしまう．よって，計算時間削減のためにリラン

多言語モデル，事前学習多言語モデルによる CLIR に関する

キングという手法がとられることがある．リランキングとは，既存研究について述べる．3 節では提案手法の概要を説明し，早く動作する BM25 などの手法によってクエリに適合する文書

の候補を全体の文書から決められた数 (多くは上位 1000 件) 検

語の CLIR に対応するだけでなく，目的の言語ではない他の言

索する．その後，密検索手法でクエリと検索した文書それぞれ語の学習データをファインチューニングに使用してもタスクのの類似度を計算し並び替えを行うことで最終的なランキングを結果が向上するという事前学習多言語モデルの特徴による効果決定する．例えば，Yilmaz らが提案した，Birch [20] では，クと Translate-Train のように目的の言語の学習データから得ら

エリと文書のペアを BERT に入力し，そのペアの適合度を出力れる効果の 2 つが検索の精度を高めることを期待する．

する．この手法では，ペアの数だけ BERT による計算が必要になり，大きな計算コストがかかるため，BM25 によって出力されたランキングをリランキングする．一方で，Karpukhin らが提案した Dense Passage Retrieval (DPR) [8] は，クエリと文書を別々に BERT に入力してベクトルに変換し，その 2 つのベ
クトルの内積により類似度を計算する手法である．この手法は，クエリと文書を別々に変換すること，ベクトルを高速で検索

3 手法

本節では，1 つの密検索モデルで複数の言語横断情報検索に取り組むための手法について説明を行う．

3. 1 提案手法の概要
本論文では言語の種類の集合を L，文書集合を D =∪l∈L Dlできる近似最近傍探索 (Approximate Nearest Neighbours) [7]として，ある言語 l ∈ L の文書集合 Dl に対して，l =| l′ となるを利用していることから，計算が高速で，全文書の検索が可能

ような言語 l′ のクエリ q ∈ Ql′ が与えられたとき，q に適合すである．Khattab らが提案した ColBERT [9] では，BERT にる順に文書をランク付けする問題である．特に，本論文では文よってクエリと文書をトークン毎にベクトルに変換してから類書集合 Dl 中の d ∈ Dl に対して，q との適合度スコア Sq,d を似度を計算する．また，リランキングを行うために全文書から推定し，スコアを降順に並べることで文書をランク付けを行う．

検索する手法 (1 段階目) と 1 段階目で抽出した結果をリラン

CLIR では近年，密検索の適用が進んでいて ColBERT-X でキングするための手法 (2 段階目) を提案している．この時，1はベースラインとして利用されることが多い BM25 を利用し段階目と 2 段階目を続けて行う場合を全文書検索，他の手法にた手法よりも高い精度が得られた．ColBERT-X では単言語のよって候補の文書を選び，2 段階目のみを行う場合をリランキ

検索において有効である ColBERT という手法を CLIR に適ングと呼ぶ．

用した．この手法の特徴は，各言語毎に事前学習多言語モデル

CLIR においても同様に，単語一致を利用した手法が主流でを用意して，各モデルでその言語に特化させるような学習を行あったが，近年では密検索手法が注目されている．CLIR では，なっているところである．この手法では，言語毎にモデルを用

単言語のアドホック検索において有効とされる手法を CLIR に意する必要があること，言語毎に学習を用意する必要がある

適用するために改良されることが多い．Shi らは単言語のアドことが課題であるとして，本論文では，言語毎にモデルを用意

ホック検索において有効である DPR を CLIR に適用する手

するのではなく 1 つの事前学習多言語モデルで言語集合 L に法 (mDPR) を提案した [16]．mDPR では，DPR で利用してある全ての言語の文書の検索に対応するための学習方法についる事前学習言語モデル (BERT) の部分を事前学習多言語モいて考えた．事前学習多言語モデルでは事前学習のデータにデルである multilingual BERT (mBERT) [10] に置き換えて含まれている言語であればファインチューニングの際に目的のファインチューニングすることで CLIR に取り組む．Nair ら

言語以外の学習データを利用してもタスクの精度が向上する

は，ColBERT を CLIR に適用した手法である ColBERT-X をことがわかっている．また，Asai ら [1] は文章生成のために事提案した [12]．ColBERT-X では利用する言語モデルを BERT

前学習多言語モデルをファインチューニングする際，複数の言から事前学習多言語モデルに置き換えるが，mBERT ではな語が混ざった学習データで学習を行う手法を提案し，うまくいく XLM-RoBERTa [3] に置き換えている．ColBERT-X では，

くことを示した．このことから，文書検索においても複数の言

CLIR に適用するための工夫として言語毎にモデルを用意して，語が混ざった学習データを活用することで複数モデルを用意しモデル毎に言語に特化する学習を行う手法を提案している．こなくても検索の精度が向上すると考えた．我々は，言語の集合の手法は，HC4 [11] や CLEF [2] などのいくつかのデータセッ

L = {l1 , l2 , ...lm } のそれぞれの言語に対応する，各言語の学習∪
データ Tl1 , Tl2 , ...Tlm を 1 つの学習データ T = l∈L Tl としトにおいてこれまで報告されていた中で最も良い結果を残した．
本 研 究 の 提 案 手 法 は ColBERT-X を 元 に し て い る た め ，てまとめて利用する手法を提案する．

ColBERT-X との我々の研究の違いについて述べる．ColBERT-

提案手法とモデルを言語毎に用意する手法 (Translate-Train)

X では，言語毎にモデルを用意して，モデル毎に言語に特化すの比較の図を 1 に示す．以降では ColBERT，ColBERT-X にる学習を行う手法を提案した．しかし，この手法は有効である

ついて説明した後で最後に提案手法の詳細を説明する．

一方で，モデルを言語毎に管理する必要があること，学習を言語毎に行う必要があることが課題である．1 つのモデルで複数

3. 2 ColBERTの言語の CLIR を行える Zero-Shot という手法が存在するが，ColBERT について説明する．近年，単言語のアドホック検

この手法は言語毎に学習を行う手法と比べると精度が低くなっ

索では，事前学習言語モデルである BERT によってクエリとてしまう．本研究の提案手法では，複数の言語の学習データを

文書をベクトルに変換して類似度を計算する手法が有効である.

まとめて 1 つの学習データとして利用することで，1 つのモデ

その手法の 1 つである ColBERT は，クエリと文書をそれぞれ

ルで複数の言語の CLIR に対応する．1 つのモデルで複数の言

トークン毎にベクトルに変換してその類似度を計算することで

学習時

学習時

事前学習
多⾔語モデル

事前学習
多⾔語モデル

事前学習
多⾔語モデル

+

+

+

⾔語A
学習データ

⾔語B
学習データ

⾔語C
学習データ

事前学習多⾔語モデル
+

⾔語A
学習データ

⾔語C
学習データ

⾔語B
学習データ

学習

学習

検索モデル

検索モデル

⾔語A⽤
モデル

検索時

⾔語B⽤
モデル

⾔語C⽤
モデル

全⾔語⽤
モデル

検索時

⼊⼒
クエリ

⼊⼒
クエリ

類似度
⾔語Bの⽂書

出⼒

類似度
出⼒

⾔語Bの⽂書図 1 Translate-Train (左) と提案手法の比較 (右)検索を行う. ColBERT では計算コストの削減のために，全てクンに分割することで q = (q1 , q2 , . . . , q|q| ), 文書も同様に分割の文書の中から並び替えるための候補の文書を選ぶ 1 段階目とすることで d = (d1 , d2 , . . . , d|d| ) とする．これらのトークンは候補の文書を上位 1000 件に並び替える 2 段階目の 2 段階に分BERT を使用したエンコーダ η によってクエリと文書のベク

けた検索を行っている．1 段階目は，近似最近傍探索 [7] を利トル η(qi )，η(di ) に変換される．

用して大量の文書から上位の文書になりうる候補の文書を検索する．近似最近傍探索とは，ベクトルの集合に対して，新たにベクトルを与えた時にそのベクトルに近いベクトルを検索する

Sq,d =|q|∑i=1

ような手法である．この手法は厳密に最も近いベクトルを探す

max η(qi )η(dj )T(1)

j=1,...,|d|わけではなく，近似的に近いベクトルを探すことで高速化して上の式ではクエリの各トークンのベクトルに対して，文書のいる．近似最近某探索では，文書側のベクトルの集合を用意す

各トークンのベクトルとのコサイン類似度を計算し，クエリのるために事前に文書の索引付けを行うので，検索の際に必要なトークン毎にそのトークンのベクトルと最も類似度の高い文書

計算はクエリのみとなり，検索をより高速で行うことが可能にのトークンのベクトルの類似度を加算していき，その合計をクなる．1 段階目を具体的に説明する．文書のトークンのベクト

エリ q に対する文書 d の適合度 Sq,d とする. ColBERT の学習

ル集合から，クエリのトークンベクトルに類似した文書のトーではあるクエリ q ，そのクエリに対する適合文書 d+ ，非適合文

クンベクトルを n 個ずつ近似最近傍探索によって検索する．つ書 d− の 3 つで ti = (q, d+ , d− ) の 1 組 (トリプルと呼ぶ) としまり，クエリのトークンを |q| 個するとクエリトークン 1 つあた学習データ T = {t1 , t2 , ...t|T | } を利用する．トリプル ti をエたり n 個のベクトルを近似最近某探索によって検索するため，ンコーダに与え，クエリ，適合文書，非適合文書をそれぞれを|q| × n 個の文書トークンベクトルを検索することになる．文書ベクトルに変換した後，クエリ q と適合文書 d+ ，クエリ q と適のトークンはどの文書に含まれていたものかを対応付けた ID

合文書 d− の 2 つのペアの適合度を計算する．損失関数にクロを持っていて，|q| × n 個選んだ中で，その ID の文書のトーク

スエントロピー関数 2 を用いたペアワイズ学習を行う．この手ンが多いほどその ID の文書はクエリ q に適合していると考え

法では事前学習言語モデルのパラメータ集合 Θ = {θ1 , θ2 , ...θn }る．|q| × n 個の中で文書 ID が含まれている数 (重複しているを以下の式の 3 を満たすような値に近付けるように学習してい数) によって文書を降順に並べ，その上位 k 件を 2 段階目でリくと考えられる．

ランキングする．2 段階目では 1 段階目で抽出したクエリに対する文書のランキングをリランキングする．1 の式はある文書

d のクエリ q に対する類似度を計算する式である．クエリ q ，文書 d が与えられた場合，クエリをトークナイザーによってトーL(q, d+ , d− ) = − logSe q,d+eSq,d+S+ e q,d−(2)Θ = arg minΘ∑L(q, d+ , d− )(3)で構成される．ColBERT から変更されているは学習データの言語が異なっている点であり，類似度の計算や損失関数には

t∈T

ColBERT では検索の処理速度の点から，2 つの手法が用意

ColBERT と同様の式を用いる．よって，クエリの言語を s，検されている．1 つ目は全文書から候補の文書を選ぶ 1 段階目と索したい文書の言語を l として，ColBERT でのトリプル t の候補の文書を並び替える 2 段階目を続けて行う全文書検索とい説明を拡張して考えると，ある言語 l の学習データ Tl を構成う手法である．2 つ目が，別の手法によって得られたランキン
グを 2 段階目のみを利用して並び替えるという手法でリランキ−するトリプル t ∈ Tl は t = (q(s) , d+(l) , d(l) ) で構成される．q(s)−はクエリ言語 s で表現されたクエリ，d+(l) , d(l) は検索したい文

書の言語 l に翻訳された文書である．これはクエリの言語と文ングと呼ばれる．

書の言語が異なるという CLIR の問題設定と全く同じである．

3. 3 ColBERT-X

よって学習後のモデルは，クエリを翻訳することなく CLIR を

ColBERT を多言語に拡張した手法である ColBERT-X につ行うことができる．この時，事前学習多言語モデルのパラメー

いて説明する．ColBERT-X では，CLIR に取り組むために使タ集合 Θ = {θ1 , θ2 , ...θn } を以下の式 5 を満たすような値に近用するエンコーダが BERT から，XLM-RoBERTa に変更されづけるように学習していくと考えられる．

ている． 事前学習多言語モデルでは BERT を多言語に拡張した mBERT [10] が利用されることが多いが，ColBERT-X で

Θ = arg minはより良い精度を出すことができることから XLM-RoBERTa

Θを選択している. 事前学習多言語モデルはファインチューニン
グの際に大量の学習データが必要であるため，言語によっては∑−
L(q(s) , d+(l) , d(l) )

(5)

t∈Tl

3. 4 提 案 手 法

学習データの不足が問題となる. 例えば，英語では莫大な量提案手法について説明する．本研究の目的は，1 つの事前学の学習データとして MS MARCO というデータセットが存在

習多言語モデルを用意し，ファインチューニングした単一のモ

するが他の言語において MS MARCO のようなデータセット

デルによって各言語の検索行い，精度を向上することである．

は存在しない．この問題を解決するために ColBERT-X では

我々は，英語の学習データを翻訳して生成した，各言語用の学

Zero-Shot と Translate-Train の 2 つの手法を提案している．1

習データをまとめて 1 つの学習データとして利用する手法を提つ目の手法，Zero-Shot は学習データとして MS MARCO を案する．具体的には，言語の集合 L = {L1 , L2 , ...Lm } のそれ用いて事前学習多言語モデルをファインチューニングする．この手法では学習データに含まれている言語は英語のみで，他のぞれの言語に対応する，各言語の学習データ Tl1 , Tl2 , ...Tlm を∪
1 つの学習データ T = l∈L Tl として利用する．学習の際に言語の検索が可能である．これは事前学習多言語モデルの目的

は，ある言語 s で表現されたクエリ q(s) とある言語 l で表現さの言語とは違う言語を学習データとして利用しても，目的の言

−
+
−
れた d+
(l) と d(l) のトリプル t = (q(s) , d(l) , d(l) ) (l ∈ L) が入力

語でのタスクの結果が向上するという特徴を利用したものでされる．提案手法は ColBERT に基づいているため，類似度のある．また，学習データは英語のクエリと英語の文書で構成さ計算や損失関数は ColBERT と同じ式を用いる．3. 3 でのパラれているため，このモデルはクエリと文書の言語が一致してメータ集合 Θ の最適化をさらに拡張して考えると，提案手法はいる状況での検索を学習する．よって，Zero-Shot では検索時

事前学習多言語モデルのパラメータ集合 Θ = {θ1 , θ2 , ...θn } をにクエリを文書の言語に機械翻訳して言語を一致させること

下の式 6 を満たすような値に近づけるように学習していくと考で検索を行う．Zero-Shot は ColBERT との違いはエンコーダ

えられる．

が XLM-RoBERTa になっている点と，検索時にクエリを翻訳するという点である．よって，ある言語 s で表現されたクエリ

Θ = arg minq(s) とある言語 l で表現された文書 d(l) の類似度 Sq,d はクエリ

Θ

∑∑

−
L(q(s) , d+(l) , d(l) )(6)l∈L t∈Tl

を言語 l に翻訳することで q(l) として表すことができ，以下の本研究では CLIR のためのテストコレクション HC4，neuclir1ように表すことができる．

に対して，提案手法を適用しその結果を BM25 や Zero-Shot などのいくつかの手法と比較して検証する．

|q(l) |

Sq(s) ,d(l) =∑i=1

max η(q(l)i )η(d(l)i )T|d(l) |

(4)

4 実

験

2 つ目の手法，Translate-Train は各言語毎に事前学習多言

本節ではまず使用する学習データと 2 つのテストコレクショ

語モデルを用意し，各言語の学習データによってモデル毎の学ンとして利用したデータセットについて統計情報を説明する．

習を行う．そこで，各言語の学習データは英語のデータである

それからベースライン手法や提案手法の実験設定について述べ，

MS MARCO の文書をその言語に機械翻訳することで生成す

最後に実験結果を示す．

る．MS MARCO は英語のクエリと英語の文書によってデータが構成されている．クエリを別の言語に翻訳することで，新
たな学習データは英語のクエリと別の言語に翻訳された文書

4. 1 データセット
表 1 は今回の実験で使用したテストコレクションの詳細で

表1

テストコレクション HC4 の統計情報の 1 つとして，単語一致の手法である BM25 を用いた．BM25

中国語

ペルシャ語

ロシア語

ではクエリと文書で言語が異なっていると単語が一致せず検索

文書

646K

486K

5.0M

ができないため，検索する対象の文書の言語に機械翻訳した

クエリ

60

60

54

クエリを利用した．本研究において，BM25 や Zero-Shot のように翻訳を利用する場合，検索の精度が翻訳の精度に依存せ

表2

テストコレクション neuclir1 の統計情報

ず，平等に評価できるように，全て Sockeye [6] とした．BM25

中国語

ペルシャ語

ロシア語

による検索では CLIR の実験を行うためのフレームワークで

文書

3.2M

2.2M

4.6M

ある Patapsco [4] を利用した．neuclir1 におけるベースライン

クエリ

49

46

45

は，TREC 2022 NeuCLIR においてベースラインとして提供された結果を使用した．この結果は，文書を翻訳することでクある．我々は CLIR のためのテストコレクションである HC4(Common Crawl Collection) というデータセットで実験を行った．HC4 とは Common Crawl の中国語，ロシア語，ペルシャ語のニュース記事から作成されたもので，クエリは全て英語である．文書ではタイトルと本文の他に URL などのいくつかの情報が与えられているが，今回はタイトルと本文のみを利用した．HC4 ではクエリ 1 つあたりに，人手で判定された適合文書がいくつか与えられていてどのくらい適合しているかによって 2 段階に分けられている．1 つ目はクエリによく関連している文書，例えば文書の中心の話題がそのクエリに関するものであるような場合で，2 つ目はクエリにいくらか関連している文書，例えば文書のどこか一部でそのクエリに関する内容が述べられているような場合である．また，適合文書以外は全て非適合文書として扱われる．あるクエリに対しての適合文書は言語によって存在するものもあれば，そうでないものもある．適合文書がない言語ではそのクエリにおいてその言語の文書の検索は行わないためクエリの数は言語によって異なっている．
テストコレクションの 2 つ目は TREC 2022 の NeuCLIR というトラックでテストコレクションとして提供されたデータセットである．クエリと文書の言語や適合度判定は HC4 と同じ構成となっていて，neuclir1 も Common Crawl のニュース記事から作成されたものである．データセットの詳細は表 2 に記載する．
学習データには MS MARCO と neuMARCO を用いた．MS

MARCO (a large scale MAchine Reading COmprehension
dataset) [13] とはマイクロソフトが公開した英語のデータセッ
トで 50 万のクエリと 880 万の短めの文書が用意されており，
クエリ 1 つあたり適合文書が 1 つ以上与えられている．CLIR
では，英語以外で大規模な学習データを用意するのが難しいた
め，各言語の学習データは英語のデータを翻訳して生成される．

neuMARCO とは MS MARCO の文書のみを機械翻訳モデル
Sockeye [6] で機械翻訳したもので，クエリは MS MARCO と全く同じで，文書は他の言語に機械翻訳されてたものとなる，
利用可能なクエリとしては，今回実験している中国語，ロシア語，ペルシャ語に翻訳されたものが用意されている．

4. 2 実 験 設 定

エリと文書の言語を一致させ，BM25 で検索を行ったものである．HC4 のベースライン手法はクエリを翻訳することで文書の言語 (中国語，ロシア語，ペルシャ語) と一致させているが，neuclir1 では文書を翻訳することでクエリの言語 (英語) と一致させている．文書の翻訳はコストが高い一方で，精度が高いため強力でありベースラインとして使用されることがある．

HC4，neuclir1 に お い て の 実 験 の 設 定 を 以 下 で 述 べ る ．
ColBERT-X の Zero-Shot や提案手法における学習では MS
MARCO や neuMARCO などのデータセットを編集してクエ
リ，適合文書，非適合文書の組 (トリプル) を大量に用意にする．トリプルの構築方法について述べる．まず，クエリとその適合文書のペアを用意する．次にデータセットの文書集合において，そのクエリで BM25 を利用した検索を行い，ランキング
上位 n 件の中からランダムに非適合文書を 1 つ抽出しそのトリプルの非適合文書としてこれら 3 つを 1 組とする．HC4 における実験では BM25 上位 1000 件，neuclir1 では上位 500 件から文書を選び，非適合文書として利用した．Zero-Shot では学習データが全て英語であり，提案手法では，クエリは全て英語で
文書は英語，ロシア語，ペルシャ語，中国語のいずれかで表現されている．この時，各言語毎にデータの数は均等になるようにして，学習時に計算されるトリプルはランダムに並べる．学
習時には，データが十分に用意できることからエポック数は 1として，バッチサイズは 32，ステップ数 (パラメータを更新する回数) は HC4 の実験では 20 万回，neuclir1 では 10 万回とした．モデルには optimizer として AdamW を用いて，学習率は3.0 × 10−6 とした．エンコーダとして XLM-RoBERTa-largeを使用した．また，エンコーダには入力制限があり，一定以上の長さの文書は入力することができないという問題を解決するために文書を分割し，分割した部分毎にクエリとの適合度を計算した．分割をする際には，先頭にタイトルを付けた文書を180 トークン毎に区切ってそれぞれの適合度を求め，求めた適合度の中で最も高い部分の適合度をその文書の適合度とした．

ColBERT では自身の手法によって候補の文書を抽出し，その結果を並び替える「全文書検索」と，他の手法によって得られたランキングを並び替える「リランキング」が存在し，実験でも Zero-Shot と提案手法のどちらにおいても全文書検索とリランキングの検証を行った．各モデルの評価指標について述

本研究においてのベースライン手法と実験の設定についてべる．HC4 では Recall@1000，nDCG@100，MAP を用いて，述べていく．私たちは HC4 において行う実験のベースライン

neuclir1 では Recall@1000，nDCG@20，MAP を用いて各モデルを評価した．また，提案手法によるモデルの統計的有意性

を評価するため，p = 0.05 の対応のある t 検定を実行した．

4. 3 実 験 結 果
表 3 に HC4 での実験結果を示す．提案手法と BM25 の間で
統計的検定を行った結果，統計的に有意であると判断された場
合 † で示している．提案手法と Zero-Shot との間で統計的検定を行った結果，統計的に有意であると判断された場合 ∗ で示している．提案手法の全文書検索の結果について述べる．中国語においては，Translate-Train が全ての指標において最も高い数値となっていて，提案手法は Translate-Train を上回ることができなかった．また，統計的検定の結果から中国語においての提案手法の全文書検索と BM25,Zero-Shot との結果の差は統計的に有意であったが他の手法との間では統計的に有意な差は認められなかった．ペルシャ語では提案手法による全文書検索
が全ての指標において最も高い数値であり，提案手法と BM25の結果の間で有意差が認められた．しかし，提案手法と他の手法の結果の間に有意差は認められなかった．ロシア語では，

BM25 が Recall@1000 以外の指標において最も高い数値となった．しかし，全ての指標において提案手法の全文書検索と他の手法の結果の間に有意差がないことが分かった．
続いて，提案手法のリランキングの結果について述べる．中国語とペルシャ語ではリランキングを行った結果が BM25 の結果を改善しているが，ロシア語においてはリランキングした結果が BM25 の結果よりも低い数値を示している．また，統計的検定の結果からリランキングによる結果と BM25 による結果の間に有意差が認められたのは中国語のみであった．
実験結果から考えられることを述べる．中国語では，BM25と Zero-Shot の 2 つの手法と Translate-Train と提案手法の 2つの手法で結果に大きな差がある．これは BM25 と Zero-Shotの結果が低いことによるものだと考えられる．実際に，これらの手法の本実験での結果は HC4 や ColBERT-X の論文において示されている実験結果の値を再現できていない．これはBM25 や Zero-Shot がどちらも翻訳を利用していることから，翻訳が失敗しているために検索が上手くいっていないからであると考えられる．ペルシャ語では，BM25 を統計的に有意に上回っているため単語一致の手法と比較すると提案手法は有効

語を一致させて BM25 で検索した結果が与えられたため，その結果を利用した．提案手法と BM25 の結果で統計的検定を行
い，2 つの結果に有意差があると判断された場合，† で示している．
実験結果について述べる．提案手法による全文書検索では，
ロシア語においてベースラインである BM25 の結果を統計的に有意に上回っている．また，全ての言語で，提案手法でベース
ライン (BM25) による結果をリランキングする手法が最も高い値を示した．特にロシア語では，Recall@1000 以外の指標において提案手法とベースライン間の差が有意であると判断された．
また，中国語でも MAP においてベースラインの結果を統計的に有意に上回った．実験結果から考えられることを述べる．これらの結果は HC4 での結果とは異なる結果であることから，1つのデータセットで結果からある言語について，必ずしも全ての文書に有効であるとは言えないことがわかる．Recall@1000
は上位 1000 件の結果に適合文書が多く含まれているほど高く，

nDCG@20 や MAP は適合文書をより高い順位としているほど高くなる．提案手法は Recall@1000 が低いものの，他の指標が高くなっている．このことから，提案手法のモデルが適合度が高い文書を並び替えることに効果的であるため，リランキ
ングに利用すると有効に作用していると考えられる．HC4 とneuclir1 に対する実験結果から，以下のような知見が得られた．
（ 1 ） 中国語では，提案手法は HC4 において BM25 を統計的に有意に上回ったが，言語に特化するような手法を上回ることはできなかった．neuclir1 では提案手法をリランキングに使用した場合に有効に作用する．
（ 2 ） ペルシャ語では，BM25 を統計的に有意に上回り，提案手法は HC4 において最も良い結果であった．neuclir1 では
リランキングに使用した場合にベースラインを上回ったが，有意差は認められなかった．
（ 3 ） ロシア語では，提案手法は HC4 において BM25 の結果を下回ったが，neuclir1 では全文書検索とリランキング共にベースラインの結果を統計的に有意に上回り，リランキングに使用した場合により有効に作用する．
（ 4 ） 提案手法の有効性は言語やデータセットによって異なり，リランキングを利用することが有効に作用する場合もある．

であるといえる．Zero-Shot や Translate-Train と比較すると，これらの手法の結果を上回ってはいるが，統計的有意差が認め

4. 4 ま と められないため提案手法がこれらの手法と比較して有効であると

本論文では，各言語のために利用していた各言語用の学習はいえない．ロシア語では BM25 や他の手法と統計的有意差はデータを，まとめて 1 つのモデルのための学習データとしてないものの結果を下回っているため，ロシア語では提案手法が利用することで，単一のモデルによって各言語毎の言語横断情

有効に作用しているとはいえない．

報検索を行うための学習方法を提案した．この方法では，他の提案手法の有効性についてより詳細に調査するために，別言語の学習データを用いても目的としている言語でのタスクののテストコレクションでの評価結果を表 4 に示す．我々は，結果が向上するという事前学習多言語モデルの特徴から，各言TREC2022 で開催された CLIR に取り組むタスクである Neu-

語毎のデータを 1 つの学習データとしてまとめた際にも各言

CLIR に参加した．NeuCLIR ではテストコレクションとして語での検索の結果が向上すると考えた．実験では，CLIR のた

neuclir1 が与えられ，参加者は各自の手法による結果を提出す

めのテストコレクションである HC4 と neuclir1 に対して提案る．そこで，neuclir1 に対して本研究の提案手法を適用し，そ手法を適用した．HC4 での実験から提案手法は中国語においの結果を提出した．表 4 はその評価結果である．neuclir1 ではて BM25 を統計的に有意に上回ったが Translate-Train の結果

ベースラインとして，文書を翻訳することでクエリと文書の言を上回ることはできなかった．ペルシャ語では，他の手法を上

表3

テストコレクション HC4 における実験結果

クエリの言語

文書の言語

BM25

中国語に翻訳

中国語

Zero-Shot

Recall@1000 nDCG@100

MAP

中国語

0.445

0.218

0.142

中国語に翻訳

中国語

0.575

0.308

0.185

Translate-Train

英語

中国語

0.835†

0.552†

0.372†

提案手法 (リランキング)

英語

中国語

0.448

0.327†

0.217†

英語

中国語

0.813†

0.539†

0.361†

BM25

ペルシャ語に翻訳

ペルシャ語

0.759

0.354

0.227

Zero-Shot

ペルシャ語に翻訳

ペルシャ語

0.808

0.445

0.270

Translate-Train

英語

ペルシャ語

0.774

0.396

0.232

提案手法 (リランキング)

英語

ペルシャ語

0.759

0.445

0.297

0.842

0.475†

0.300†

提案手法
ペルシャ語

提案手法

英語

ペルシャ語

ロシア語

BM25

ロシア語に翻訳

ロシア語

0.710

0.347

0.223

Zero-Shot

ロシア語に翻訳

ロシア語

0.672

0.336

0.217

Translate-Train

英語

ロシア語

0.711

0.340

0.220

提案手法 (リランキング)

英語

ロシア語

0.710

0.332

0.218

提案手法

英語

ロシア語

0.651

0.315

0.218

表4

テストコレクション neuclir1 における実験結果
クエリの言語

文書の言語 Recall@1000 nDCG@20

MAP

中国語

BM25

英語

英語に翻訳

0.781†

0.340

0.264

提案手法 (リランキング)

英語

中国語

0.781

0.396

0.286†

提案手法

英語

中国語

0.563

0.364

0.222

BM25

英語

英語に翻訳

0.829†

0.355

0.253

提案手法 (リランキング)

英語

ペルシャ語

0.829

0.415

0.285

提案手法

英語

ペルシャ語

0.591

0.330

0.200

BM25

英語

英語に翻訳

0.774†

0.292

0.216

提案手法 (リランキング)

英語

ロシア語

0.774

0.450†

0.321†

提案手法

英語

ロシア語

0.601

0.366†

0.226†

ペルシャ語

ロシア語

回り特に BM25 を統計的に有意に上回った．ロシア語においタセットを使用しているにも関わらず 2 つの間で結果に大きなては言語毎にモデルを用意する手法の結果を下回った．また，違いが出るのか，提案手法が有効でない場合にはどのようにす

neuclir1 に対する実験ではロシア語において提案手法の結果がれば結果を改善できるか，今回実験した言語以外の言語での結ベースライン手法の結果を上回り，ペルシャ語では提案手法の果はどのようになるかなどが挙げられる．

結果がベースライン手法の結果を下回った．これは，HC4 での実験結果とは異なる結果であった．さらに HC4 と異なる点
として，neuclir1 ではベースライン手法 (BM25) によるランキングを提案手法によってリランキングした結果が，全ての言語において最も良い結果となった．これらのことから，1 つの
データセットの結果からある言語について，必ずしも全ての文書に有効であるとは言えないことがわかった．また，リランキ
ングの手法を選択することが効果的になる場合があることも明らかとなった．今後の課題としては，なぜ同じドメインのデー謝辞

本研究は JSPS 科研費 22H03905，21H03554 の助成を受けたものです．ここに記して謝意を表します．
文

献[1] Akari Asai, Xinyan Yu, Jungo Kasai, and Hanna Hajishirzi.
One question answering model for many languages withcross-lingual dense passage retrieval. Advances in Neural
Information Processing Systems, 34:7547–7560, 2021.
[2] Martin Braschler. Clef 2003–overview of results. In Workshop of the cross-language evaluation forum for european
languages, pages 44–63. Springer, 2003.
[3] Alexis Conneau, Kartikay Khandelwal, Naman Goyal,

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán,
Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin
Stoyanov. Unsupervised cross-lingual representation learning at scale. arXiv preprint arXiv:1911.02116, 2019.
Cash Costello, Eugene Yang, Dawn Lawrie, and James Mayﬁeld. Patapasco: a python framework for cross-language
information retrieval experiments. In European Conferenceon Information Retrieval, pages 276–280. Springer, 2022.
Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova.
Bert: Pre-training of deep bidirectionaltransformers for language understanding. arXiv preprint
arXiv:1810.04805, 2018.
Tobias Domhan, Michael Denkowski, David Vilar, Xing
Niu, Felix Hieber, and Kenneth Heaﬁeld. The sockeye 2 neural machine translation toolkit at amta 2020. arXiv preprint
arXiv:2008.04885, 2020.
Jeﬀ Johnson, Matthijs Douze, and Hervé Jégou. Billionscale similarity search with gpus. IEEE Transactions on
Big Data, 7(3):535–547, 2019.
Vladimir Karpukhin, Barlas Oğuz, Sewon Min, Patrick
Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question
answering. arXiv preprint arXiv:2004.04906, 2020.
Omar Khattab and Matei Zaharia. Colbert: Eﬃcient andeﬀective passage search via contextualized late interaction
over bert. In Proceedings of the 43rd International ACM
SIGIR conference on research and development in Information Retrieval, pages 39–48, 2020.
Guillaume Lample and Alexis Conneau. Cross-lingual language model pretraining. arXiv preprint arXiv:1901.07291,
2019.
Dawn Lawrie, James Mayﬁeld, Douglas W Oard, and Eugene Yang. Hc4: a new suite of test collections for ad
hoc clir. In European Conference on Information Retrieval,
pages 351–366. Springer, 2022.
Suraj Nair, Eugene Yang, Dawn Lawrie, Kevin Duh, PaulMcNamee, Kenton Murray, James Mayﬁeld, and Douglas W
Oard. Transfer learning approaches for building crosslanguage dense retrieval models. In European Conferenceon Information Retrieval, pages 382–396. Springer, 2022.
Tri Nguyen, Mir Rosenberg, Xia Song, Jianfeng Gao,
Saurabh Tiwary, Rangan Majumder, and Li Deng. Ms
marco: A human generated machine reading comprehension dataset. In CoCo@ NIPs, 2016.
Tetsuya Sakai, Douglas W Oard, and Noriko Kando. Evaluating Information Retrieval and Access Tasks: NTCIR’s
Legacy of Research Impact. Springer Nature, 2021.
Peng Shi, He Bai, and Jimmy Lin. Cross-lingual trainingof neural models for document ranking. In Findings of the
Association for Computational Linguistics: EMNLP 2020,
pages 2768–2773, 2020.
Peng Shi, Rui Zhang, He Bai, and Jimmy Lin. Cross-lingual
training with dense retrieval for document retrieval. arXiv
preprint arXiv:2109.01628, 2021.
Ellen M Voorhees and Donna K Harman. TREC: Experiment and evaluation in information retrieval. MIT Press,
2005.
Lee Xiong, Chenyan Xiong, Ye Li, Kwok-Fung Tang, Jialin
Liu, Paul Bennett, Junaid Ahmed, and Arnold Overwijk.
Approximate nearest neighbor negative contrastive learningfor dense text retrieval. arXiv preprint arXiv:2007.00808,
2020.
Eugene Yang, Suraj Nair, Ramraj Chandradevan, Rebecca
Iglesias-Flores, and Douglas W Oard. C3: Continued pretraining with contrastive weak supervision for cross language ad-hoc retrieval. arXiv preprint arXiv:2204.11989,
2022.
Zeynep Akkalyoncu Yilmaz, Wei Yang, Haotian Zhang, andJimmy Lin. Cross-domain modeling of sentence-level evidence for document retrieval. In Proceedings of the 2019conference on empirical methods in natural language processing and the 9th international joint conference on natural language processing (EMNLP-IJCNLP), pages 3490–
3496, 2019.