言語処理学会 第30回年次大会 発表論文集（2024年3月）

大規模言語モデルを用いた検索モデルの中間学習のためのコーパス作成手法
柴田幸輝 1
12 筑波大学
1 s2221646@u.tsukuba.ac.jp

加藤誠 2

2 mpkato@acm.org

概要
商品検索などのドメイン特化の検索タスクにおいては，言語モデルが事前学習するような一般的なコーパスには無い，ドメイン独自の意味を持つ語が存在し，語彙の意味のギャップが存在することが懸念される．このようなドメイン間の語彙の意味のギャップを埋めるために，事前学習を用いた転移学習手法が提案されている．しかしながら，実務においては十分なサイズのコーパスを用意することが難しいような場合がある．その場合，事前学習を用いた転移学習手法の適用は難しい．そこで本研究では比較的小さな対象ドメインのコーパスが存在する
場合に，言語モデルの MLM loss と二値分類モデルに基づいて汎用大規模コーパスから語彙の意味のギャップを埋めるようなコーパスを作成する手法を提案する．提案手法の性能を評価するため, 提案手法とベースライン手法を用いて複数のドメインを対象に大規模汎用コーパスからコーパスを作成し検索タスクにて実験を行った．実験を行った結果，全てのドメインで提案手法が高い性能を示した．

1

百合草陽介 3

2 株式会社ミスミグループ本社

はじめに商品検索などのドメイン特化の検索タスクにおいては，言語モデルが事前学習するような一般的なコーパスには無い，ドメイン独自の意味を持つ語が存在し，語彙の意味のギャップが存在することが懸念される．このようなドメイン間の語彙の意味のギャップを埋めるために，事前学習を用いた転移学習手法が提案されている．事前学習に基づいて言語モデルの転移を行う手法 [1, 2, 3, 4, 5] とは転移対象のドメインのコーパスを用いて言語モデルによる継続的な事前学習を実施する手法である．代表的な手法として，AdaLM[1] が挙げられる．
しかしながら，実務においては十分なサイズの3 yosuke.gjdt.yurikusa@misumi.co.jp

コーパスを用意することが難しいような場合がある．その場合，事前学習を用いた転移学習手法の適用は難しい．この問題に対処するため，新たにドメイン固有のコーパスを作成する必要があると考えられる．コーパスの作成には，Web 文書や既存のコーパスを用いて，対象ドメインと類似している文書を取集する手法 [6] が提案されているが，収集した文書によっては，語彙が対象ドメインとは異なる意味で使われている文書を収集してしまうことも考えられ，語彙のギャップが拡大する可能性も存在する．
本研究では比較的小さな対象ドメインのコーパスが存在する場合に，言語モデルに基づいて汎用大規模コーパスから語彙の意味のギャップを埋めるようなコーパスを作成する手法を提案する．
提案手法において，初めに転移対象ドメインのコーパスを用いて，対象ドメインのコーパスと言語モデルが事前学習時に使用したコーパスとのギャップのある単語を推定し，その単語をクエリとして汎用的な大規模コーパスの文書を検索して文書を収集する．汎用的な大規模コーパスにて検索し文書を収集した後，各文書に対して転移対象と予測されるスコアを計算しスコアが高い文書を対象コーパスに加えることで，新たにコーパスを作成する．
提案するコーパス作成手法を評価するため, 提案手法とベースライン手法を用いて複数のドメイン(生物医学, 科学, E コマース) を対象に C4[7] データセットからコーパスを作成し実験を行った．実験ではそれぞれの手法を用いてコーパスを作成し，言語モデルに AdaLM を適用した後，検索タスクにおいて，ベースライン手法と提案手法を比較し，提案手法の有効性を検証した．実験を行った結果，全てのドメインで提案手法が高い性能を示した．
この論文における我々の貢献を次に示す：(1)MLM
loss と二値分類モデルに基づいて汎用コーパスから語彙の意味のギャップを埋めるようなコーパスを作― 59 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

成する手法を提案した．(2) 複数のドメインを対象

パス 𝐷 new を対象コーパス 𝐷 𝑡 に加えていくことで新に評価実験を行い，提案するコーパス作成手法の有たにコーパス 𝐷 ★ を作成する．

効性を示した.

2

2.1

提案手法

検索に利用する語彙の選択

本節ではコーパスから文書の検索時に，クエリと本章では本研究が取り組む問題設定に関して説明し，本研究の問題に対してのアプローチを述べる．

して用いるための単語の集合 𝑊 を作成する手法の詳細について述べる．

本研究では転移対象のドメインのコーパスを対象

本研究の目的は， 語彙の意味のギャップを埋めるコーパス 𝐷 𝑡 ，コーパス作成時に文書を抽出するたようなコーパスを作成することである．そのため，めのコーパスを参照コーパス 𝐷 𝑠 とする．この時，コーパスから文書の検索を行う際に，クエリとして転移対象のドメインのコーパス 𝐷 𝑡 は数百から数千用いる単語には意味のギャップがある単語であるこ件の文書からなる小規模な文書集合であり， 参照とが望ましい．意味のギャップのある単語の傾向とコーパス 𝐷 𝑠 は数千万から数億万件の文書からなるして対象コーパスにおいて一般的な使われ方とは異非常に大きな文書集合とする．本研究では入力として対象コーパス 𝐷 𝑡 ，参照コーパス 𝐷 𝑠 , 対象ドメイなるような単語が考えられる．そのため，言語モデ
ルに基づいて対象コーパス 𝐷 𝑡 から単語集合 𝑊 を作ンに偏っていない汎用的な言語モデル 𝑚 が与えら成する際は，初めに対象コーパス 𝐷 𝑡 にて言語モデれたとする．これらが与えられた時に参照コーパス

ル 𝑚 の語彙集合 𝑉𝑚 中の語彙 𝑣 ∈ 𝑉𝑚 に対する MLM

𝐷 𝑠 から文書を抽出することによって，対象ドメイloss を計算する．対象コーパス 𝐷 𝑡 にて言語モデルンに関連する文書を豊富に含む，新たなコーパスを用いて語彙 𝑣 の MLM loss を計算する際は，対象𝐷 ★ を作成することを目的とする．

コーパス 𝐷 𝑡 から言語モデル 𝑚 内の語彙 𝑣 に対応

提案手法の概要をアルゴリズム 1 に示す．提案手する文書集合 𝐷 𝑣 を取得する．文書集合 𝐷 𝑣 は対象法では汎用的な大規模コーパスから文書を検索する

コーパス中の文書で，語彙 𝑣 を含んでいる文書のうことで文書を収集する．そのため，初めにコーパスち，10 件ランダムで抽出した文書集合である．またから文書の検索時に，クエリとして用いるための単この際，𝐷 𝑡 の内，語彙 𝑣 の登場する文書の数が 10語の集合 𝑊 を作成する．単語集合 𝑊 は，対象コー件に満たないような語彙は計算対象から除いた．

パス 𝐷 𝑡 の文書に対して，言語モデル 𝑚 を用いて計対象コーパス 𝐷 𝑡 中の，言語モデルの語彙 𝑣 ∈ 𝑉𝑚

算した各語彙の MLM loss が高い語彙に基づいて単の MLM Loss である lossmlm (𝐷 𝑡 , 𝑣) は，文書集合 𝐷 𝑣を用いて次のように求められる．

語集合 𝑊 を作成する (PrepareQueryWord(𝐷 𝑡 , 𝑚)，アルゴリズム １ 行目)．単語集合 𝑊 を作成した後，単語集合 𝑊 の各単語 𝑤 をクエリとして参照コーパスlossmlm (𝐷 𝑡 , 𝑣) = −𝐷 𝑠 から文書を検索することで，単語集合 𝑊 中の1 ∑log 𝑃(𝑣|𝑑 Masked )𝑛 𝑑 ∈𝐷(1)𝑣

各単語 𝑤 ∈ 𝑊 に対応する文書集合 𝐷 𝑤 を取得する(SearchDocument(𝑊, 𝐷 𝑠 )，アルゴリズム 3 行目). こ𝑃(𝑣|𝑑 Masked ) は，文書 𝑑 に対して語彙 𝑣 が登場すの際，各単語 𝑤 で文書を検索することで取得したる箇所のうちランダムで一箇所だけマスクした文書集合 𝐷 𝑤 に対して，二値分類器 𝑔 を用いて文書上 で，マ ス ク さ れ た 位 置 に 語 彙 𝑣 が 出 現 す る 確

𝑑 ∈ 𝐷 𝑤 ごとに対象ドメインに当てはまると予測されるスコア 𝑠 𝑑 を求める (PredictDomainScore(𝑔, 𝑑𝑖 )，アルゴリズム 5 行目)．その後，文書集合 𝐷 𝑤 の文率である．𝐷 𝑡 における単語 𝑤 の MLM loss である
lossmlm (𝐷 𝑡 , 𝑤) は次のように求められる．

書を対象ドメインに当てはまると予測されるスコlossmlm (𝐷 𝑡 , 𝑤) =ア 𝑠 𝑑 が高い順に並び替えた上で，対象ドメインに当てはまると予測されるスコア 𝑠 𝑑 が高い上位 𝑛 件の文書から，新たに単語 𝑤 に対応する 𝐷 ′𝑤 を作成
する (SortDocumentByScore(𝐷 𝑤 , 𝑆, 𝑛)，アルゴリズム
8 行目)．その後各単語の文書集合 𝐷 ′𝑤 からコーパス
𝐷 new を作成する．最終的には新たに作成したコー1 ∑lossmlm (𝐷 𝑡 , 𝑣)
|𝑉𝑤 | 𝑣 ∈𝑉(2)𝑤

𝑉𝑤 は単語 𝑤 を構成する言語モデル 𝑚 の語彙の集合である．単語集合 𝑊 は転移対象のドメインのコーパス 𝐷 𝑡 に登場した各単語の MLM loss が高い
上位 𝑙 件の単語の集合である．

― 60 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Algorithm 1 提案手法の概要
Require: 𝑚, 𝐷 𝑡 , 𝐷 𝑠
1: 𝑊 ← PrepareQueryWord(𝐷 𝑡 , 𝑚)
2: for 𝑤 ∈ 𝑊 do3:
𝐷 𝑤 ← SearchDocument(𝑊, 𝐷 𝑠 )4:for 𝑑𝑖 ∈ 𝐷 𝑤 do
5:𝑠𝑖 ← PredictDomainScore(𝑔, 𝑑𝑖 )6:
end for7:𝑆 ← (𝑠1 , 𝑠2 , . . . , 𝑠 𝑛 )8:
𝐷 ′𝑤 ← SortDocumentByScore(𝐷 𝑤 , 𝑆, 𝑛)
9:
𝐷 new ← 𝐷 new ∪ 𝐷 ′𝑤
10: end for
11: 𝐷 ★ ← 𝐷 𝑡 ∪ 𝐷 new
12: return 𝐷 ★

3⊲ 言語モデル 𝑚 に基づいて検索クエリとして用いる単語を選択⊲ 単語 𝑤 を検索クエリとして文書を検索⊲ 二値分類モデル 𝑔 からスコアを計算⊲ スコアが高い n 件から新たな文書集合 𝐷 ′𝑤 を作成⊲ 文書集合 𝐷 ′𝑤 の文書を文書集合 𝐷 𝑛𝑒𝑤 に追加⊲ 文書集合 𝐷 new と文書集合 𝐷 𝑡 の文書で文書集合 𝐷 ★ 作成

パス 𝐷 𝑡 と 𝐷 new を組み合わせることで作成する．二値分類器には，対象コーパス 𝐷 𝑡 の文書と参照コー

語彙を用いた文書の検索
本節では各単語 𝑤 ∈ 𝑊 をクエリとしてコーパス

パス 𝐷 𝑠 とは異なる汎用的なコーパス 𝐷 𝑔 の文書の𝐷 𝑠 から文書を検索して単語 𝑤 ∈ 𝑊 に対する文書集二値分類を学習させた．また，その他の二値分類の合 𝐷 𝑤 を取得する手法の詳細について述べる．

学習の詳細は付録に記載した.

単語 𝑤 ∈ 𝑊 に対する文書集合 𝐷 𝑤 を取得するには単語 𝑤 ∈ 𝑊 をクエリに BM25[8] のスコアを基準

5実験設定にコーパス 𝐷 𝑠 の文書を検索する．本研究では単語本説では初めに実験に使用したデータセットにつ𝑤 ∈ 𝑊 をクエリとしてコーパス 𝐷 𝑠 から各文書のいて述べた後，実験手順に関して述べ， その後ベーBM25 のスコアを用いて検索して，上位 1,000 件のスライン手法を含む実験設定について紹介する．

文書を単語 𝑤 ∈ 𝑊 に対する文書集合 𝐷 𝑤 とした．

4

本研究では，生物医学, 科学, E コマースの 3 つの異なるドメインで実験を行った．本研究では生物医

文書選択学に TREC-COVID データセットを，科学に SciFact

本節では単語 𝑤 ∈ 𝑊 に対する文書集合 𝐷 𝑤 からデータセットを， E コマースに Amazon ESCI データ

AdaLM を適用するためのコーパス 𝐷 ★ を作成する手法の詳細について述べる．単語 𝑤 ∈ 𝑊 に対する文セットを使用した．さらに，参照コーパス 𝐷 𝑠 として C4 コーパス [7] を使用した．

書集合 𝐷 𝑤 には単語 𝑤 を含んでいる文書のみが存在

実験の手順を次に述べる．各手法でコーパスをするが，単語 𝑤 が対象ドメインとは異なる意味で使作成した後，そのコーパスを用いて言語モデルにわれている文書を含む可能性がある．そのため，提AdaLM を適用した．その後，言語モデルを用いたをそのまま用いて 𝐷 ★ を作

検索モデルを用いて検索用データセットにてファイ成せず，対象ドメイン中の文書と汎用ドメイン中のンチューニングを行い，転移対象のデータセットで文書の二値分類を学習したモデル 𝑔 を用いて，対象ランキングを作成し，ランキングの評価を行った．

ドメインらしい文書を 𝐷 𝑤 から抽出して AdaLM を

我々は実験におけるベースライン手法として大規案手法では文書集合 𝐷 𝑤適用するためのコーパス 𝐷 ★ を作成する．

模コーパスからランダムで文書を選択する手法を設

初めに文書集合 𝐷 𝑤 から文書集合 𝐷 new を作成す

ムで文書を選択して対象コーパス 𝐷 𝑡 に加えることる．コーパス 𝐷 new は次のように示される．
𝐷 new =

∪𝑤 ∈𝑊定した．この手法では参照コーパス 𝐷 𝑠 からランダでコーパスを作成した．本手法では提案手法のコー{𝐷 ′𝑤 }

(3)

文書集合 𝐷 ′𝑤 は 𝐷 𝑤 中の文書のうち，二値分類モデル 𝑔 が予測する，対象ドメインに分類されるスコアが高い上位 𝑛 件の文書からなる文書集合である．
AdaLM を適用するためのコーパス 𝐷 ★ は対象コー

パスサイズに合わせて作成した．また本研究では提案手法のうち，検索のみを用いた手法と二値分類のみを用いた手法とも比較を行った．検索のみとは提案手法のうち，検索を通じて収集した文書をそのまま利用してコーパス作成する手法である．二値分類
のみとは二値分類モデルを用いてコーパス中のす― 61 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1 TREC-COVID での各コーパス作成手法の NDCG@10
手法

3,000 単語

6,000 単語

12,000 単語

AdaLM なし

0.597 (-)

--

ランダム

表 3 Amazon ESCI での各コーパス作成手法の NDCG@10
手法

3,000 単語

6,000 単語

12,000 単語--

AdaLM なし 0.123 (688MB)
ランダム

0.626 (624MB) 0.633 (1.2GB) 0.550 (2.3GB)

2 値分類のみ 0.595 (624MB) 0.581 (1.2GB) 0.666 (2.3GB)

0.110 (688MB) 0.116 (1.1GB) 0.112 (1.9GB)

2 値分類のみ 0.107 (688MB) 0.113 (1.1GB) 0.126 (1.9GB)

検索のみ

0.602 (990MB) 0.650 (1.8GB) 0.659 (3.3GB)

検索のみ

0.112 (927MB) 0.114 (1.5GB) 0.117 (2.6GB)

提案手法

0.626 (624MB) 0.652 (1.2GB) 0.666 (2.3GB)

提案手法

0.155 (688MB) 0.119 (1.1GB) 0.112 (1.9GB)

表 2 SciFact での各コーパス作成手法の NDCG@10
手法

3,000 単語

6,000 単語

12,000 単語

AdaLM なし

0.686 (-)

--

ランダム

表 4 Pubmed コ ー パ ス を 参 照 コ ー パ ス と し た TREC–COVID での NDCG@10
手法

0.661 (595MB) 0.653 (1.4GB) 0.671 (3.0GB)

2 値分類のみ 0.679 (595MB) 0.676 (1.2GB) 0.688 (3.0GB)

NDCG@10 コーパスサイズ

AdaLM なし

0.597-

ランダム0.626

1.4GB

2 値分類のみ

0.642

1.4GB

検索のみ

0.677 (1.2GB) 0.694 (2.2GB) 0.694 (4.2GB)

検索のみ (12,000 クエリ)

0.656

1.3GB

提案手法

0.685 (595MB) 0.696 (1.4GB) 0.697 (3.0GB)

提案手法 (12,000 クエリ)

0.660

1.4GB

べての文書に対してスコア計算を行い，スコアが高を選ぶ際には，収集する文書の語彙に着目することかった文書を用いてコーパス作成する手法である．

は重要であると考えられる．

ラ ン キ ン グ の 評 価 は，Iida ら [2] と 同 様

対象ドメインと同じドメインコーパスから文書を抽出した結果

6.2

NDCG@10[9] を 用 い て 評 価 し た．そ の 他 の 実 験

6.1 節では参照コーパスとして汎用コーパスであの詳細は付録に記載した.

る C4 コーパスを利用して実験を行ったが，参照実験結果

6

コーパスとして対象ドメインと同じドメインのコー

本節では実験結果について述べる．初めにベースパスを利用した場合でも実験も行った．本研究でラインとの比較を行い，その後対象ドメインと同じは Iida らを参考に，生物医学ドメインで実験を行ドメインから文書を抽出した結果について述べる．

い，参照コーパスとして Pubmed コーパス1）中の論

6.1

文の要旨を使用した．表 4 に各コーパス作成手法にベースラインとの比較

表 1, 表 2, 表 3 に各コーパス作成手法によって作よって作成されたコーパスを用いて AdaLM を適用した検索モデルの NDCG@10 の値を示す．実験の成されたコーパスを用いて AdaLM を適用した検索モデルの NDCG@10 の値を示す．これらの表のヘッ

NDCG@10 が高い値を示した．この結果から，対象結果，提案手法はその他の手法と比べて全体的に

ダーは文書の検索の際，クエリとして利用した単語ドメインとドメインが近いコーパスを参照コーパス数を表記している．表中の NDCG@10 の値の横にとして利用した場合でも提案手法は有効であると考はそれぞれ作成したコーパスのサイズを示していえられる．

る．AdaLM なしとは AdaLM を適用せずに，ファイ7ンチューニングのみを行った手法である．実験の結論

結果，提案手法はその他の手法と比べて全体的に本研究では汎用大規模コーパスから語彙の意味のNDCG@10 の値が高い値を示した．この結果から，ギャップを埋めるようなコーパス作成手法を提案

提案手法は特定のドメインでは有効であると考えらした．提案手法の性能を評価するため, 提案手法とれる．また，提案手法のコーパス作成手法のうち，ベースライン手法を用いて複数のドメインを対象に文書の検索のみを使用した手法はランダムで文書をC4 データセットからコーパスを作成し実験を行っ選択する手法と二値分類モデルのみを使用した手法

た．実験の結果，全てのドメインでベースライン手と比べて TREC-COVID， SciFact にて NDCG@10 が法と比べて提案手法が高い性能を示した．

高い値を示した．この結果から，コーパス内の文書

1） https://pubmed.ncbi.nlm.nih.gov/― 62 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は JSPS 科学研究費助成事業 JP22H03905，および，22H03905A による助成を受けたものです．
ここに記して謝意を表します．また，論文執筆にあたりご助言をいただきました株式会社ミスミグルー
プ本社の皆様に感謝に深く御礼申し上げます．

research, Vol. 9, pp. 1871–1874, 2008.
[11] Payal Bajaj, Daniel Campos, Nick Craswell, Li Deng, Jianfeng Gao, Xiaodong Liu, Rangan Majumder, Andrew McNamara, Bhaskar Mitra, Tri Nguyen, et al. MS MARCO:
A Human Generated MAchine Reading COmprehension
Dataset. arXiv preprint arXiv:1611.09268, 2016.
[12] Thibault Formal, Benjamin Piwowarski, and StéphaneClinchant. SPLADE: Sparse Lexical and Expansion Modelfor First Stage Ranking. In Proceedings of the 44th International ACM SIGIR Conference on Research andDevelopment in Information Retrieval, pp. 2288–2292,

参考文献[1] Yunzhi Yao, Shaohan Huang, Wenhui Wang, Li Dong, andFuru Wei. Adapt-and-Distill: Developing Small, Fast andEﬀective Pretrained Language Models for Domains. InFindings of the Association for Computational Linguistics, pp. 460–470, 2021.

[2] Hiroki Iida and Naoaki Okazaki. Unsupervised Domain
Adaptation for Sparse Retrieval by Filling Vocabulary andWord Frequency Gaps. In Proceedings of the 2nd Conference of the Asia-Paciﬁc Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language
Processing, pp. 752–765, 2022.

2021.
[13] Victor Sanh, Lysandre Debut, Julien Chaumond, andThomas Wolf. DistilBERT, a distilled version of BERT:smaller, faster, cheaper and lighter. arXiv preprint
arXiv:1910.01108, 2019.
[14] Sebastian Hofstätter, Sophia Althammer, Michael
Schröder, Mete Sertkan, and Allan Hanbury. Improving Eﬃcient Neural Ranking Models with CrossArchitecture Knowledge Distillation. arXiv preprint
arXiv:2010.02666, 2020.

[3] Shitao Xiao, Zheng Liu, Yingxia Shao, and Zhao
Cao. RetroMAE: Pre-Training Retrieval-oriented Language Models Via Masked Auto-Encoder. In Proceedings of the 2022 Conference on Empirical Methods
in Natural Language Processing, pp. 538–548, 2022.

[4] Tao Shen, Xiubo Geng, Chongyang Tao, Can Xu, XiaolongHuang, Binxing Jiao, Linjun Yang, and Daxin Jiang. LexMAE: Lexicon-Bottlenecked Pretraining for Large-ScaleRetrieval. In The Eleventh International Conference
on Learning Representations, 2022.
[5] 飯田大貴, 岡崎直観. 事前学習済みモデルに基づく検索モデルにおけるドメイン適応手法の比較と相乗効
果の検証. 言語処理学会 第 29 回年次大会 発表論文集, 2023.
[6] 本浦庄太, 秋元康佑, 槇尾純太, 定政邦彦. 超大規模コーパスからの抽出コーパスによる言語モデルのタスク適応. 人工知能学会全国大会論文集 第 37 回, pp.
3Xin403–3Xin403, 2023.
[7] Colin Raﬀel, Noam Shazeer, Adam Roberts, KatherineLee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li,and Peter J Liu. Exploring the Limits of Transfer Learningwith a Uniﬁed Text-to-Text Transformer. The Journal ofMachine Learning Research, Vol. 21, No. 1, pp. 5485–5551, 2020.
[8] Stephen Robertson, Hugo Zaragoza, et al. The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends® in Information Retrieval, Vol. 3,No. 4, pp. 333–389, 2009.
[9] Kalervo Järvelin and Jaana Kekäläinen. Cumulated gainbased evaluation of IR techniques. ACM Transactions onInformation Systems (TOIS), Vol. 20, No. 4, pp. 422–446, 2002.
[10] Rong-En Fan, Kai-Wei Chang, Cho-Jui Hsieh, Xiang-Rui
Wang, and Chih-Jen Lin. Liblinear: A library for large
linear classiﬁcation. the Journal of machine Learning― 63 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

フ ァ イ ン チ ュ ー ニ ン グ に は TREC-COVID デ ー

付録 (Appendix)

AA.1

より詳細な実験設定
表5

表6

タセットと SciFact データセットの転移学習時はIida[2] に従って MSMARCO[11] データセットでファインチューニングを行った．Amazon ESCI データセットでの転移学習時は Amazon ESCI データセッ

中間学習時のハイパーパラメータ

トの Train データを用いてファインチューニングを

Parameter

ValueBatch size

10Max document length

512

Learning rate

5 × 10−5

Epoch1

uncased[13]2）をベースモデルとして Masked Language

Warmup steps0Modeling を行った．Masked Language Modeling でのWeight decay

0.0

ハイパーパラメータを表 5 に示す．Masked Language

行った．
AdaLM で の 語 彙 拡 張 で は Iida[2] ら の 実 験 設
定 を 参 考 に，拡 張 す る 語 彙 数 は 40,000 語 彙 と した．また，AdaLM での中間学習では distilbert-base-Modelling では最大入力長 512 トークン Batch サイズ
は 10，Learning rate:5 ∗ 10−5 ，Warmup steps:0，Weight

ファインチューニング時のハイパーパラメータ

decay:0.0 で 8 つの NVIDIA A100 40 GB を用いて 1 エParameter

Value

Batch size

32

Max document length

256

SPLADE の 損 失 関 数 は Iida を 参 考 に Margin-Learning rate2 × 10−5

MSE[14] と FLOPS 正則化の和とした．クエリ側のEpoch30

Warmup steps

1,000

Weight decay

0.01

ポックで学習をおこなった．

FLOPS の正則化重み 𝜆 𝑄 とドキュメント側の 𝜆 𝐷 は，それぞれ 𝜆 𝑄 = 0.08，𝜆 𝐷 = 0.1 と設定した．MarginMSE で使用されるハードネガティブは，MSMarcoのデータセットを用いる場合は Iida ら [2] に従っ

本節では，より詳細な実験設定について述べる．
本研究では二値分類器 𝑔 には線形 SVM（サポートベクトル・マシン）を使用した [10]．二値分類器の学習は転移対象のドメインのコーパス 𝐷 𝑡 と汎用的なドメインのコーパス 𝐷 𝑔 の二値分類を学習させる．この際，汎用的なドメインのコーパス 𝐷 𝑔 では多種多様な文書が揃っており，文書のドメインが偏っていない必要がある．そのため二値分類器の学習には，汎用的なドメインのコーパス 𝐷 𝑔 として検索用のデータセットである MSMARCO-Document
データセット [11] の文書コーパスを用いた．二値分類器の学習では転移対象のドメインのコーパスの文書のラベルを 1， MSMARCO-Document データセットの文書のラベルを 0 として訓練を行った．二値分類器の学習に用いる文書の特徴ベクトル vd は，one-hot ベクトルを採用した．
本研究では Iida ら [2] に従って検索モデルとしてSParse Lexical AnD Expansion(SPLADE)[12] を利用した．SPLADE はクエリと文書を疎な埋め込みで表現し，最終的にはこれらのクエリ，文書の疎な埋め込みの内積を取ることでにクエリ，文書の適合度を予測する手法である．て，BM25 や他の検索方法によって文書を検索することで収集した文書ハードネガティブとした．
ESCI データセットを用いる場合，ESCI データセッ
トにおいては適合度は Exact, Substitute, Complement,Irrelevant の 4 段階のラベルが存在するため，このラベルのうち一番上の Exact をポジティブとして，他Substitute, Complement, Irrelevant の 3 ラベルをハードネガティブとした．また Iida らの研究 [2] ではベースの言語モデルとして bert-base-uncased3）を用いている．本研究では distilbert-base をベースの言語モデルとしているため，本研究で使用するベースモデルはパラメーター数が半分ほどとなっている．
モデルのオーバーフィッティングを防ぐために本
研究では訓練データのうち 2 割を検証データとして，early stopping を採用した．SPLADE のファイン
チューニングでは入力長 256 トークン Batch サイズは 10， Learning rate:2 ∗ 10−5 ， Warmup steps:1, 000，
Weight decay:0.01 で 4 つの NVIDIA V100 16 GB GPU
で 30 エポックで学習をおこなった．

2） https://huggingface.co/distilbert-base-uncased3） https://huggingface.co/bert-base-uncased― 64 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).