DEIM Forum 2016 C1-1

多峰性のあるコピュラを用いたスコア統合手法の提案及びその検証
小松田卓也†

欅

惇志†

宮崎

純†

† 東京工業大学 大学院情報理工学研究科 計算工学専攻 〒 152–8552 東京都目黒区大岡山 2-12-1-W8-63
E-mail: †{komatsuda,keyaki}@lsc.cs.titech.ac.jp, ††miyazaki@cs.titech.ac.jp
あらまし

本稿では，高精度な情報検索を目指し，複数の適合度を統合する際に各適合度間の複雑な依存関係を考慮することが可能な多峰的なコピュラを用いた統合式の提案を行う．複数の適合度の統合は線形結合，ランキング学習やコピュラを用いた統合手法などによって実現されるが，線形結合には適合度間の依存関係を考慮していない，ランキング学習には結果に対する理由付けが困難であるという問題がある．コピュラは適合度間の依存関係を考慮するために前述の問題点を解決できるが，既存のコピュラを用いたスコア統合式は単峰的なコピュラを用いているため，複雑な依存関係を捉えることが難しい．そこで本研究では，複雑な依存関係を捉えることができる混合コピュラを用いたスコア統合式を提案する．
キーワード

コピュラ，情報検索，適合度間の依存関係，機械学習

1. は じ め に

この文書集合は (x, y) = (0.1, 0.8) 付近で負の相関を持つ一方
で，(x, y) = (0.8, 0.8) 付近では正の相関を持つ．図 1a は既存

検索システムはユーザから与えられたクエリに基づき，各文のコピュラを用いた統合手法を用いた場合の同時分布の等高線

書の適合度を計算し，適合度の降順にランキングする．高精度図である．このように，局所的に強い相関を持つ箇所が複数に化を目指し，これまでに数多くの適合度を計算する検索モデル

分散するような適合度間の依存関係を捉えることが困難である．

が提案された [3, 23, 27, 30–32, 34–38] が，ユーザの情報要求が本研究では，Web 検索の検索精度を向上させるために，混合多様で複雑であるため，適切な検索モデルを一意に選択するこコピュラを用いた適合度の統合手法を提案する．混合コピュラとは難しい．このような背景から，複数の検索モデルによってを用いることで，既存のコピュラを用いた統合手法では捉えら算出された適合度を統合し，検索精度を向上させる取り組みがれない複雑な適合度間の依存関係を捉えることを可能にする．

行われてきた [11, 19, 21]．

図 1b は混合コピュラを用いた場合の同時分布の等高線図を示

複数の適合度の統合する手法として，線形結合などのスコアしている．複雑な適合度間の依存関係を捉えられていることが統合関数に基づく手法 [2, 10, 12, 41, 43]，ランキング学習を用

分かる．また，提案手法の精度を評価し，複雑な依存関係を捉いた手法 [6, 7, 22, 28] やコピュラを用いた手法 [15, 44] などがえることで検索精度が向上することを明らかにする．

存在する．線形結合は各適合度間の非線形な従属構造を捉える

本稿の以降の構成を述べる．まず，2. 章でコピュラの概要をことが困難である．また，ランキング学習は各適合度に対して紹介し，3. 章で関連研究を述べる．4. 章で混合コピュラを用い付与された重みの理由付けが難しく，限られた見識しか得られた統合手法を提案し，5. 章で提案手法の評価を行う．最後に，ない．

6. 章でまとめと今後の課題を述べる．

その一方で，金融工学で用いられる確率モデルであるコピュラを用いた適合度の統合を行う試みがあり，成果が出始めている [15, 44]．コピュラは多次元同時分布とその周辺分布の関係

2. コピュラの概要
2. 1 コピュラの定義と性質を表す関数であり，周辺分布から多次元同時分布を計算するこコピュラは多次元同時分布とその周辺分布の関係を表す確率モとができる．多次元同時分布を考慮することで非線形な関係をデルである．ある k 次元の確率変数ベクトル X = (x1 , x2 , ..., xk )捉えることができ，従来の統合手法では考慮できていなかったに対して，それぞれの成分に累積分布関数 Fk (x) = P [Xk >= x]

適合度間の複雑な依存関係を考慮することができる．また，周が与えられているとする．この時，確率変数ベクトル X を U =辺分布とその従属構造を分離できるため，適合度とその適合度(u1 , u2 , ..., uk ) = (F1 (x1 ), F2 (x2 ), ..., Fk (xk )) として，k 次元単間の依存関係を別々に分析することが可能となり，結果に対す位立方空間 [0, 1]k に写像することが可能である．k 次元コピュラ

る理由付けが容易となる．

C はこの正規化された確率変数ベクトル U の同時累積分布関数

既存のコピュラを用いた適合度の統合手法は単峰的な分布をとして表される．また，任意の k 次元分布関数 F (x1 , x2 , ..., xk )

推定する可能性があるために，複雑な依存関係を持つデータのに対して，F (x1 , x2 , ..., xk ) = C(F1 (x1 ), F2 (x2 ), ..., Fk (xk )) と分布を正確に捉えられない．図 1 はある文書集合における二つなるようなコピュラ C が存在することが知られている．各成分の適合度の散布図を示している．各点は文書を示しており，横xk の周辺累積分布関数 Fk (xk ) と周辺分布間の依存関係 C(.)

軸の値はある検索モデル X によって得られた適合度 x を，縦を個別に推定することができるため，モデルの解釈が容易と軸の値は別の検索モデル Y によって得られた適合度 y を表す．

なる．

1.0

1.0

0.5

10
●
● ●
● ●
● ●
●
●
●
●
● ●
● ●●
● ● ●● ●
●
●●
●● ●
●
●●●
● ●
●
●●
●
●● ●●● ●
● ●
●
●●
●
● ●
● ●● ●●●●● ●●● ●●● ●2 ● ●●●●●● ● ●
● ●● ●
●
●● ●
●●
●
●
●
●● ●
●
●● 2.5● ●

●
● 15
● ●
●
●20●
●
●
●
●
● ●
● 5
●●
● ●2●
●●
●
●●
●● ●
●
●●●
● ●
●
●●
●
●● ●●● ●
● ●
●
●●
●
● ●
● ●● ●●●●● ●
●● ●
●
●
● ●
●●●
●●● ● ●
● ●● ●
●
●● ●
●●
●
●● ●
●
●●
●

0.8

0.8

●

●

●●

y

●
●

0.4

0.6

●●

●
●
●

●

●
●

● ●
●

●

●

●
●●

●
●

●
●

●
●

●

●

●

●
●

● ●
●

●

●

● ●

●

8

●

●
●

12

●

5

●●

●
●
●
●

●

●

●

●
●

4

5

1.5

●

●

●●

0.0

●

0.0

0.2

0.4

0.6

●
● ●
15
●

● ●
●
●
●
● ●●
●
●
● ●
● ●●
●● ●
●
●
●
●
●●
●
●
●
●●
●

●● ●

25 ● ●
● ● ●
35
●
● ●●
●
40
●
● ●
● ●●
●● ●
●
●
●
●
●●
●
●
●
●●
● 30

●● ●

●
●

●

●●●

0.8

●

0.2

0.2

●

●
● ●
●
●

1.0

0.0

0.2

0.4

x

0.6

●
●

●
● 20
●

0.0

●

1

●

●
●
●

●
●
●
●

●

●

●

10

●●●14
●

●

● ●

●

●

●

●
●

●

●

●
●

●
●
●
●

●
●

●

●
●

●●●●

y

●
●●

●
●
●

0.4

0.6

●

●

●

●

6

●

●

●
●

2

●

●●●
10

0.8

1.0

x

(a) 単峰的なコピュラを用いた場合(b) 多峰的なコピュラを用いた場合

3

3

3

図 1: 複雑な依存関係を持つ散布図の例

2

2

2

0.02
0.04
0.08

0.06

0.08

1

1

1

0.08

0.12

0.1
0.12

0.16

0.16

0.12

0.2

0.18

0.22

0.2

0.2

0

0

0

0.22

0.24
0.16

0.18

0.14

−1

−1

−1

8
0.1

4

0.14

0.1

0.1

0.1

0.06

0.06

−2

−2

0.04

−3

−2

−1

0

1

2

3

0.02

−3

−3

−3

−2

0.04
0.02

−3

(a) クレイトンコピュラ

−2

−1

0

1

2

3

−3

(b) グンベルコピュラ

−2

−1

0

1

2

3

(c) フランクコピュラ

図 2: コピュラを用いて構築した同時分布の等高線図

2. 2 周辺分布間の依存関係とコピュラているパラメータによって説明付けられる．このパラメータを数理的なモデルを特定の分野に応用する場合，そのモデルを推定する必要があるが，最尤推定法やモンテカルロ法を用いる

簡潔に表現するために，いくつかの仮定を置く場合がある．周ことで推定が可能である [8]．

辺分布間の依存関係が独立である，完全な正の相関がある及び

2. 3 代表的なコピュラ

完全な負の相関があると仮定される場合のコピュラを確認する．

コピュラが満たすべき性質を実現するようなモデルは様々に適合度間の依存関係がない場合，つまり独立である場合，コ存在する．本節では，楕円型コピュラ，アルキメデス型コピュ

ピュラは独立コピュラ (または積コピュラ)Cindep によって表現

ラ及び，経験コピュラを紹介する．

•

される．

Cindep (U ) =∏ki=1

楕円型コピュラ

ガウス分布や t 分布のような標準的な分布から導かれたコ

ui

観測点 ui 間で完全な正の相関がある場合，コピュラでは以下

ピュラを楕円コピュラと呼ぶ．式 (1) にガウシアンコピュラを示す．

CGaussian (U ) = ΦΣ (Φ−1 (u1 ), ..., Φ−1 (uk ))が成り立つ．

CcoM ono (U ) = min{u1 , u2 , ..., uk }(1)

ここで Φ は標準正規分布の累積密度関数を，Φ−1 はその逆関数を示す．パラメータとして共分散行列 Σ ∈ Rk×k を必要とす

一方，完全な負の相関がある場合は以下が成り立つ．

∑k

CcounterM ono (U ) = max{

i=1

ui + 1 − k, 0}

また，周辺分布間の依存関係の度合いはコピュラに設けられる．周辺分布がガウス分布及び t 分布であると仮定できる場合に用いられる．

•アルキメデス型コピュラ

区間 (0,1] 上で定義され，正の実数値をとる単調減少凸関数

個のクラスタに分割し，各クラスタ毎に単峰コピュラを推定す

ϕ が ϕ(1) = 0 を満たすとする．このとき，−1

Cϕ (U ) = ϕ(ϕ(u1 ) + ϕ(u2 ) + ... + ϕ(uk )), U ∈ (0, 1]

kを k 次 元 ア ル キ メ デ ス 型 コ ピュラ と 呼 び ，ϕ は Cϕ の 生
成 素 と い う．ϕ(t) =θϕ(t) = (−logt)t−θ −1
θの と き に ク レ イ ト ン コ ピュラ，

θt
−1のときにグンベルコピュラ，ϕ(t) = −log eeθ −1のときにフランクコピュラと呼ぶ．クレイトンコピュラ，グン
ベルコピュラ及びフランクコピュラの数式を式 (2)，(3) 及び(4) に，2 次元同時分布の等高線図を図 2a，2b 及び 2c にそれることで混合コピュラが構築可能となる．また，クラスタ数 K
はあらかじめ決定する必要があるが，一つの方法として，AIC等の情報量基準を利用する方法がある [5]．

3. 関 連 研 究
本章では，情報検索やその関連分野における文書を評価する
ための従来手法に焦点を当てる．

3. 1 情報検索のモデル

ぞれ示す．
k
∑
1

CClayton (U ) = (1 + θ(

θ

i=1

−1

(u−θ
− 1))) θi

文書の適合度を算出する情報検索モデルは多数提案されてい(2)

効性を示し，現在でも優れたモデルとして知られている [32]．

∑k1(−log(ui ))θ ) θ )CGumbel (U ) = exp(−(

る [3, 23, 36–38]．確率的モデル [30, 31] である BM25 は高い有Pnote と Croft によって提案された確率的言語モデル [27] は，(3)ベクトル空間モデル [34, 35] や古典的な確率的モデルとは異な

i=1

1
CF rank (U ) = log(1 +θり，ヒューリスティックを極力用いず，理論的な枠組みで検索∏k(exp(−θ ui ) − 1)i=1)
exp((−θ) − 1)k−1(4)

モデルを構成している．

3. 2 様々な評価尺度の統合

等高線図から分かるように，例えば，クレイトンコピュラは U

多数の情報検索モデルが存在するが，ユーザの情報要求が多の任意の成分 ui について，ui が 1 付近よりも 0 付近で相関関様で複雑であるため，適切な検索モデルを一意に選択すること係が高くなるため，スコアが低い時に依存関係が強まる適合度は難しい．この問題点を解決するために，複数の情報検索モデ同士を統合する際に有効である．

ルを用いて算出された適合度を統合する取り組みが行われてい•る．例えば，メタサーチエンジンは複数の検索エンジンの結果

経験コピュラ

経験的な同時分布から，周辺分布をその経験分布で与えて導を統合し，個々のエンジンの精度を補うことで，検索精度の向いたコピュラを経験コピュラと呼ぶ．つまり，特定の分布の仮上を試みているが，これは，適合度の統合の研究の一つとして定を置かず，経験コピュラを推測するために与えられたデータ

知られている [1, 11, 19, 21, 25]．

に基づいて構築されるノンパラメトリックな同時分布である．

の検索精度への影響は大きくなるため，クエリと文書の適合度

k 次元経験コピュラは式 (5) によって表される．
1 ∑∏<Ĉ(U ) =1{tni = ui }NN

XML のような構造化された文書の検索では，文書構造情報に文書の構造情報を統合する必要性が生まれる．Robertson らk(5)

n=1 i=1

は文書の構造情報を統合する際の課題を提示している [33]．子供向けの文書を検索する際にはクエリとの適合度の他に文書の

ただし，N は経験コピュラを推定するための学習データの数，

信頼性や平易さは重要な評価尺度となる [17]．また，Web にtn
i は n 番目の学習データの i 軸の観測値である．学習データの容易にアクセスできるようになった現在，情報を素早く手に入分布を正確に再現した同時分布を推定することができる．

れることができる環境にあり，最新の情報へのニーズが高まっ

さまざまなコピュラから適切なコピュラを選択するためには
データの特徴を考慮する必要があるが，コピュラの選択は分布ているため，文書の新鮮さは情報検索の重要な要素の一つとなる [44]．

の裾における依存関係を示す指標である裾依存係数や分布全体

3. 3 適合度の統合の依存関係を示す指標である順位相関係数を用いて決定され

3. 3. 1 統合手法の発展
初期のアプローチは，個々のシステムの結果の和や積によるる [18]．

2. 4 混合コピュラ

統合を行っていた [19]．確率的な統合手法も存在する [11, 21]．

混合コピュラは複数のコピュラの重み付き和により表現され，

Aslam と Montague [1] は順位に基づく確率モデルを提案し，コピュラを単体で用いた時よりもより複雑な依存関係を捉えることが可能になる．k 個のコピュラから構成される混合コピュk∑

3. 3. 2 線 形 結 合Vogt ら [41] によって情報検索に導入された線形結合は，

ラ Cmix は以下のように表される．

Cmix (U ) =その後，多数決方式を取り入れて改善を図った [25]．

適合度の統合モデルとしてのその有用性の高さを示していpi Ci (U )

(6)

i=1

る [2,10,12,43]．Gerani ら [20] は非線形変換を行った上で線形結合を行った．Geran らの手法が線形結合よりも精度が高かっ

混合コピュラは構成するためには，各コピュラ Ci 及びそのコたことにより，線形従属性では捉えられない，より複雑な従属

ピュラへの重み pi の推定をする必要がある．これはクラスタ性を捉えることが可能なモデルの必要性が動機付けられる．

リングに基づいたアプローチ [13, 40] により解くことが可能で

3. 3. 3 ランキング学習

ある．つまり，混合コピュラを推定するための学習データを K

機械学習を応用して，スコア付けを必要とせずに直接文書ラ

1.データのクラスタリング
同時分布の推定
クラスタ毎に同時分布の推定
1.周辺分布の推定

2.コピュラの推定2.周辺分布の推定

3.統合式の構築

3.コピュラの推定

4.同時分布の混合
5.統合式の構築(a) Eickhoﬀ らの統合式(b) 提案する統合式
図 3: コピュラを用いた統合式の導出手順

ンキングを推測することや幅広い特徴からランキングモデルをメータの推定を行う．

決定することが可能となる [6, 7, 22, 28]．ランキング学習はあ（ 3 ） クラスタ毎に推定した周辺分布とコピュラを混合してらかじめ適合性が判断された文書集合を用いて適合 (または不n 次元同時分布を求める．

適合) する文書の特徴を学習することでランキングモデルを推（ 4 ） n 次元同時分布及びその周辺分布から得られる確率値定する．一般的に精度が高くなるが，人手によって結果の解釈を用いて統合式を作成する．

を行う必要があるために限られた知見しか得ることができない場合があり，理由付けが難しい傾向にある．

また，Eickhoﬀ らの手法 [15] と提案手法の導出手順を比較するために，それぞれの手法の導出手順の概要図を図 3 に示す．

3. 3. 4 コピュラ

Eickhoﬀ らの手法 (図 3b) は単一のコピュラを用いて同時分布

コピュラは金融工学で用いられているが [4, 18]，近年では，を推定しているのに対して，提案手法 (図 3a) は，まずデータ

他分野での応用例が見られる [26, 29, 39, 44]．Vrac ら [42] は混をクラスタリングし，クラスタ毎にコピュラを用いた同時分布

合コピュラを用いて気象データを気象学的に正しく分類した．

の推定を行っている．

Eickhoﬀ らはコピュラを情報検索に応用し，2 軸の統合を様々以降で提案手法の各手順の詳細を述べる．

な評価尺度を用いて行った結果，いくつかの評価尺度の統合で

4. 2 クラスタリング及びクラスタ毎の同時分布の推定

有効性を示した [15]．その後，統合する軸を増加させながら検まず，クラスタリング法を適合することで，適合文書を複数

索精度の検証を行った結果，コピュラを用いた統合手法は線形のクラスタに分割する．群平均法を用いてクラスタリングを結合よりも高くなることを示した [14]．また，言語モデルで仮行った．群平均法に限らず，他のクラスタリング法も適用可能

定される独立性を指摘し，コピュラを用いた検索モデルを提案である．

したところ，ナイーブな言語モデルやいくつかのランキング

次に，クラスタ毎に単一のコピュラを用いて同時分布を推定

学習モデルよりも高精度であることを検証した [16]．前述のコ

する．周辺分布を推定した後にコピュラを推定することで同時ピュラを情報検索に応用する取り組みでは，複雑な依存関係を分布が構築される．周辺分布は任意に選択可能であり，適合度持つデータに対して正確な同時分布の推定をすることが困難での分布の特性によって適切な分布を選択する必要がある．例えあるために，図 1a のような同時分布を推定してしまう可能性

ば，周辺分布関数として，ガウス分布の累積分布関数が挙げら

がある．

れる．

4. 提 案 手 法
本研究では，混合コピュラを用いた適合度の統合手法を提案
する．2. 4 節で述べた混合コピュラを用いることで，図 1b の等高線で示されているような，局所的に強い相関を持つ箇所を捉えることが可能な同時分布を推定することができる．

4. 1 提案手法の概要
提案手法では，まず，クラスタリングに基づくアプロー
チ [13, 40] を用いて混合コピュラを用いて適合文書の同時分布を推定し，その後，推定した適合文書の同時分布を利用した統合モデルを構成する．提案手法の導出手順の概要は以下のとおりである．
（ 1 ） 適合文書のクラスタリングを行う．
（ 2 ） クラスタ毎に，適合度の周辺分布とコピュラのパラF̂ (x) = √

1
2πσ

∫ x
exp(−
−∞

(t − m)2
) dt
2σ 2

(7)

ただし，m，σ はそれぞれ平均，分散である．注意点として，
コピュラに入力するベクトルは累積分布値を成分とする確率変数ベクトルであるため，累積分布関数を用いる．
次にコピュラを推定する．2. 節で言及したように，様々ある
コピュラの中から周辺分布間の依存構造をより捉えらえるコ
ピュラを選択する必要がある．コピュラのパラメータの推定には最尤推定法を用いる．

4. 3 混合コピュラの構築
クラスタ毎に構築したコピュラを式 (6) を用いて混合する．i
番目のクラスタの重み pi は，クラスタ i から文書が生起する確率とみなし，その生起確率をクラスタ i に属する適合文書の割合とした．

4. 4 統合モデルの適合文書の割合を表し，式 (9) によって表現される．ここで，コピュラを用いることで従属構造を捉えられることを説明し

A は検索された上位 k 件の文書集合を，B は適合文書集合をたが，現在のところ，コピュラを検索モデルにどのように応用すれば最も効果的に働くかを推定する方法は知られていない．
そのため，いくつかの適合度の統合モデルを検討し，それらの式の有効性を検証する．

表す．

P@k =

|A ∩ B||A|(9)nDCG@k は上位 k 件の適合文書のランキングを考慮した評

一つ目に提案する統合モデルは，混合コピュラを用いて導出価を行い，適合文書のランキングが上位であるほど評価点はされた同時分布の累積分布関数である．このモデルは式 (6) に高くなるという特徴を持つ．式 (10) に示す通り，nDCG@k はよって表される．同時分布は周辺分布間の相関を考慮して周辺

DCG@k を iDCG@k で除算した値である．ここで，iDCG は分布を統合しているため，線形には捉えられない周辺分布間のDCG@k が取りうる最大の値であり，DCG@k は式 (11) を用

依存関係を捉えることができる．適合度間の相関関係が考慮さいて算出される値である．reli は上位 i 件目の文書の適合性をれている同時分布に基づいた統合を行っている．

2 値で表した変数であり，上位 i 件目の文書が適合する文書の二つ目に提案するモデルは，U の尤度と混合コピュラの累積場合は 1，適合しない文書の場合は 0 となる．

分布関数 Cmix (U ) の積である．式 (8) に示す．

Cmix−prod = Cmix (U )

k
∏

DCG@k
iDCG@knDCG@k =
ui

(8)

i=1

DCG@k =

尤度は U の成分同士が独立に発生する確率変数であるという仮定に基づいて計算される．成分同士の相関が考慮されている

Cmix (U ) を掛け合わせることで，尤度で考慮されていない成分同士の従属性を考慮する．Eickhoﬀ らは単一のコピュラを用い

(10)

k
∑
2reli − 1i=1

log2 (i + 1)

(11)

IP@i は式 (12) で表され，Recall が i の時点での検索精度を計算している．ここで，R@r は上位 k 文書を取得した際のRecall である．

ていたが，単一のコピュラでは捉えられない複雑な依存関係を考慮するために，提案手法では混合コピュラを尤度に掛け合わ
せている．

5. 実

IP@i = max{P @r|R@r >
= i}

(12)

r

MAIP は IP@0，IP@0.1，...，IP@1 の平均である．式 (13)験Web 文書を対象に二種類の検索モデルを用いて得られた適合に示す．

MAIP =∑i∈{0,0.1,...,1}

度を統合する際に，4. 4 節で提案した式が有効であるかを検証

IP@i

11

(13)

する．既存のスコア統合手法及び Eickhoﬀ らの提案したコピュ5. 3 実験に用いるモデル

ラ統合式との検索精度の比較を行う．

統合する検索モデルとして，BM25 [32] 及びクエリ尤度モデ

5. 1 準備ル [27] を用いる．BM25 に設けられているパラメータ b, k にそデ ー タ セット は ClueWeb09 の カ テ ゴ リ ー B [9] の う ち ，

れぞれ 0.75，1.2 を与えた．また，クエリ尤度モデルはディリ

wikipedia 文 書 を 除 い た 文 書 を 対 象 と し た ．Clueweb09 はクレスムージングによりスムージングを行っており，パラメー

TREC2009 から 2012 の Web Track で用いられたデータセッ

タ µ に 110 を設定した．周辺分布，コピュラ，及び混合コピュトであり，そのうち英語文書に限って収集された文書集合をカラを構築する際のクラスタ数は実験的にいくつかの種類を検証

テゴリー B と呼ぶ．本実験で対象とする文書数は約 4400 万件

した．周辺分布として経験分布及びガウス分布を，またコピュである．クエリは TREC2011 のアドホックタスクで用いられラのモデルとしてクレイトンコピュラ，グンベルコピュラ，フた 50 種類のうち，45 種類を用いた．本実験で対象とする文書

ランクコピュラ，ガウシアンコピュラ，経験コピュラを使用し集合内に正解文書を含まないクエリ (4 種類) やクエリを構成す

た．混合コピュラのクラスタ数は 2 から 10 の範囲で検証した．

る語に数字を含むクエリ (1 種類) は除外している．また，5 分

また，文書を 1 つしか含まないようなクラスタは外れ値を含む

割交差検定により評価した．正解文書は人手によって 5 段階評

クラスタとして除外した．適切なモデルの自動的な決定方法は価されている [9]．ウィルコクソンの符号順位検定を用いて統今後の課題とする．

計的な検定を行う．有意水準として 0.01 及び 0.05 を設ける．

5. 4 比 較 手 法

5. 2 手法の評価

混合コピュラをベースにしたモデル 2 種類の式 (6)，(8) に加ランキング上位 k の文書を取得した時点の Precision(P@k) 及

えて，比較手法として 5 種類のモデルを用意した．以下に比較

び normalized Discounted Cumulative Gain(nDCG@k)，Re-

手法を示す．ただし，確率変数ベクトル X の成分 xi は，適合

call が i の際の Interpolated Precision(IP@i)，Mean Average

度を正規化した値を，確率変数ベクトル U の成分 ui は xi をInterpolated Precision(MAIP) を用いて手法を評価した．P 及

累積分布関数 Fi (.) で写像した値を仮定している．

び nDCG は k=5，10，15，20，また，IP は Recall が i=0.0，（ 1 ） LIN (X) は X の各成分の線形結合である．

0.1，...，0.5 の際の値を算出している．P@k は上位 k 件のうち

●

●

●

●

●

●

●

●

0.5

●
●
●

●

●

●

●

●

●

●

●

0.3

IP@0
IP@0.1
IP@0.2
IP@0.3
IP@0.4
IP@0.5
MAIP

0.0

0.1

0.2

IP
0.0

0.1

0.2

IP

0.3

0.4

●

IP@0
IP@0.1
IP@0.2
IP@0.3
IP@0.4
IP@0.5
MAIP

0.4

0.5

●

●

2

4

6

8

10

12

2

4

6

k

8

10

12

k

(a) Cmix(b) Cmix−prod
図 4: クラスタ数を変化させた際の IP 及び MAIP の変化（ 2 ） HM (X) は X の各成分の調和平均である．一つで

表 2: IP@0.1 の値が最も良かった時の周辺分布及びコピュラ

も確率が低い成分を含む確率ベクトル X をこの手法で統合

手法

周辺分布

コピュラ

クラスタ数

した場合，統合後のスコアは低くなる傾向を示す．例えば，

Cmono

経験分布

経験コピュラ-HM ((0.5, 0.5)) = 0.5 に対して，HM ((0.9, 0.1)) = 0.18 とCmono−prod

経験分布

経験コピュラ

なる．

Cmix

ガウス分布 クレイトンコピュラ

3（ 3 ） Cindep (U ) は U の成分の積である．周辺分布同士が独

Cmix−prod

ガウス分布 クレイトンコピュラ

6-

立である場合の同時確率を算出している．
（ 4 ） Cmono (U ) は単峰コピュラを用いて依存関係を考慮しす．また，クラスタ数 k を 1 から 10 まで変化させた際の Cmix ，た場合の同時確率である．

Cmix−prod の IP 及び MAIP の変化を示すグラフをそれぞれ（ 5 ） Cmono−prod (U ) は U の尤度と単峰コピュラ Cmono (U )図 4 に掲載する．縦軸が IP 及び MAIP の値，横軸がクラスタの積である．

数 k である．Cmix は IP@i(=0，0.1) において，k = 3 で最も以上の手法を順に式 (14)，(15)，(16)，(17)，(18) に示す．

高くなるが，k = 4 で劣化する．また，k > 5 のとき，IP@0

LIN (X) =k∑

で精度の変化はさほど見られないが，IP@i(=0.1，0.2) では向

λi xi

(14)

HM (X) =

k·

∏k
j=1
∏
k

∑k

Cindep (U ) =k∏

向上は見られないが，k = 5, 6 で向上する．k = 7 の時に劣化

xj

j=1

i=1

上しており，k >= 10 の際の精度の変化を検証する余地がある．

Cmix−prod は IP@i(=0.1，0.2) において，k <= 4 の際に精度の

i=1

(15)

xj

し，それ以上クラスタ数を増やしても精度はさほど変化しない．
クラスタ数を増加させることで，統合モデルは学習データによxi

り一層当てはまるが，過度に当てはめると汎化しないといった

ui

(16)

5. 6 実 験 結 果

i=1

Cmono (U ) = C(U )Cmono−prod = Cmono (U )傾向の表れであると推測される．

(17)
k
∏

ui

(18)

i=1

提案手法を比較手法と比較する．表 1 は実験結果である．ここで，表 1 内のシンボル ∗，†，‡，§ はそれぞれ，LIN ，Cindep ，Cmono ，Cmono−prod に対して統計的有意に精度が向上したことを示す．また，同一のシンボルが連続に現れている場合，有意水準 1%で統計的有意に精度の向上が確認できたことを意味

5. 5 モデルパラメータのチューニング
コピュラを利用した統合手法について，精度が高くなる際の周辺分布，コピュラ及びクラスタ数の組み合わせを表 2 に示し，それ以外の場合は，有意水準 5%で統計的有意であることを意味している．P@5 及び nDCG@5 において，混合コピュラ

表 1: 手法の評価
手法

LIN

HM

CindepCmono

Cmono−prod

Cmix

Cmix−prod

IP@0.00.4326

0.42280.43920.43670.43880.46030.4609

IP@0.10.27790.198

0.27990.2756

0.27970.27250.294

IP@0.20.20320.11960.20490.198

0.20190.17080.2207

IP@0.30.08460.056

0.08520.08740.089

0.04710.0814

IP@0.40.03660.0216

0.03820.04040.03980.01860.0306

IP@0.50.01410.00680.01460.01490.01560.00770.0111MAIP

0.09630.0751

0.0974

0.0966

0.09760.08920.1003

P@5

0.236

0.236

0.212

0.228

0.228

0.26†

0.24†

0.206

0.226†

0.226†

0.218

0.224†

0.20270.2147†0.21330.204

0.2227††

P@10
P@15

0.232
0.21870.2
0.1893

P@20

0.219

0.18

0.205

0.22†

0.219

0.196

0.22

nDCG@50.1616

0.15950.15290.16130.16150.1873∗†‡‡§§

0.1685nDCG@100.161

0.14720.15370.16130.16040.166

0.1644†0.1634††0.1711†nDCG@15nDCG@200.15740.16380.14420.14260.15050.1576

0.15610.1595†0.15830.1661†0.16630.1612を用いて依存関係を考慮した同時分布 Cmix は比較手法で最も高精度である線形結合 LIN に対して，それぞれ 10%，15%以上精度が向上した．特に，nDCG@5 において，LIN ，Cindep ，検討を行う．

謝辞Cmono ，Cmono−prod に対して統計的有意に精度が向上した．ま本研究の一部は，科研費基盤研究 (B)(課題番号:15H02701)，

た，P@5 及び nDCG@5 において，独立性を仮定した際の同基盤研究 (B)(課題番号:26280115) の支援による．ここに記し

時分布の分布関数 Cindep ，単峰コピュラを用いて依存関係をて謝意を表す．

考慮した同時分布の分布関数 Cmono 及び Cmix を比較した際，

Cmix ，Cmono ，Cindep の順で精度が高い．依存関係を考慮すると，同時分布の累積分布関数は上位 5 件内に適合文書をより多く取得できることが確認できる．しかし，P@k(>=10) において
は単峰コピュラよりも混合コピュラの方が精度が高くなるといった傾向は見られない．Cmix が上位 5 件の文書を取得する際に有効である一方，尤度と混合コピュラの積 Cmix−prod は 20%の適合文書を取得するまで比較的に高精度である．IP@i(=0.1，

0.2) の結果を確認すると，Cmix は他の手法に比べて精度の劣化が最も大きいのに対して，Cmix−prod は他の手法に比べて最も高精度であり，ベースラインで最も良い Cindep よりも 5%以上の精度の向上が確認できた．以上より，二つの提案手法 Cmix ，

Cmix−prod について，以下の (1)Cmix は上位 5 件の文書を取得した際に高精度であるが，10 件やそれ以上の文書を取得した
際には性能が劣化する傾向にある (2)Cmix−prod は 20%の適合文書を取得する際に比較的高精度であることが分かる．

6. ま と め
本稿では，混合コピュラを用いた適合度を統合手法を提案し，その有効性を検証した．ClueWeb09 に含まれる約 4400 万文書
を用いて，線形結合や Eickhoﬀ らのコピュラを用いた統合式
等と手法の比較を行った結果，ランキング上位 5 件を取得した
際の精度において，提案手法が比較手法に対して統計的有意に15%以上向上するなどの有効性を示した．今後の課題を以下に挙げる．(1) さまざまな種類のコピュラから，適切なコピュラを選択するための基準を検討する．(2) 混合コピュラを構成するコピュラの数について，適切な数を自動的に決定する方法の文

献[1] Javed A Aslam and Mark Montague.
Bayes optimal
metasearch: a probabilistic model for combining the resultsof multiple retrieval systems (poster session). In Proceedingsof the 23rd annual international ACM SIGIR conference
on Research and development in information retrieval, pp.
379–381. ACM, 2000.
[2] Gloria Bordogna and Gabriella Pasi. A model for a soft
fusion of information accesses on the web. Fuzzy Sets andSystems, Vol. 148, No. 1, pp. 105–118, 2004.
[3] Pia Borlund. The concept of relevance in ir. Journal of theAmerican Society for information Science and Technology,
Vol. 54, No. 10, pp. 913–925, 2003.
[4] Jean-Philippe Bouchaud and Marc Potters. Theory of financial risk and derivative pricing: from statistical physics
to risk management. Cambridge university press, 2003.
[5] Wolfgang Breymann, Alexandra Dias, and Paul Embrechts.
Dependence structures for multivariate high-frequency datain finance. 2003.
[6] Chris Burges, Tal Shaked, Erin Renshaw, Ari Lazier, Matt
Deeds, Nicole Hamilton, and Greg Hullender. Learning torank using gradient descent. In Proceedings of the 22nd
international conference on Machine learning, pp. 89–96.
ACM, 2005.
[7] Keke Chen, Rongqing Lu, CK Wong, Gordon Sun, Larry
Heck, and Belle Tseng. Trada: tree based ranking function
adaptation. In Proceedings of the 17th ACM conference on
Information and knowledge management, pp. 1143–1152.
ACM, 2008.
[8] Barbara Choroś, Rustam Ibragimov, and Elena Permiakova.
Copula estimation. In Copula theory and its applications,pp. 77–91. Springer, 2010.
[9] Charles L Clarke and Voorhees Craswell, Soboroﬀ.
Overview of the trec 2011 web track. Technical report,
DTIC Document, 2011.
[10] Nick Craswell, Stephen Robertson, Hugo Zaragoza, and

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

Michael Taylor. Relevance weighting for query independent
evidence. In Proceedings of the 28th annual international
ACM SIGIR conference on Research and development in
information retrieval, pp. 416–423. ACM, 2005.
Ronan Cummins. Measuring the ability of score distributions to model relevance. In Information Retrieval Technology, pp. 25–36. Springer, 2011.
Célia da Costa Pereira, Mauro Dragoni, and Gabriella Pasi.
Multidimensional relevance: A new aggregation criterion.
In Advances in information retrieval, pp. 264–275. Springer,
2009.
Edwin Diday, A Schroeder, and Y Ok. The dynamic clusters method in pattern recognition. In IFIP Congress, pp.
691–697, 1974.
Carsten Eickhoﬀ and Arjen P de Vries. Modelling complex
relevance spaces with copulas. In Proceedings of the 23rd
ACM International Conference on Conference on Information and Knowledge Management, pp. 1831–1834. ACM,
2014.
Carsten Eickhoﬀ, Arjen P de Vries, and Kevyn CollinsThompson. Copulas for information retrieval. In Proceedings of the 36th international ACM SIGIR conference
on Research and development in information retrieval, pp.
663–672. ACM, 2013.
Carsten Eickhoﬀ, Arjen P de Vries, and Thomas Hofmann.
Modelling term dependence with copulas. In Proceedingsof the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 783–
786. ACM, 2015.
Carsten Eickhoﬀ, Pavel Serdyukov, and Arjen P De Vries.
A combined topical/non-topical approach to identifying websites for children. In Proceedings of the fourth ACM international conference on Web search and data mining, pp.
505–514. ACM, 2011.
Paul Embrechts, Filip Lindskog, and Alexander McNeil.
Modelling dependence with copulas and applications to risk
management. Handbook of heavy tailed distributions in finance, Vol. 8, No. 1, pp. 329–384, 2003.
Edward A Fox and Joseph A Shaw. Combination of multiple searches. NIST SPECIAL PUBLICATION SP, pp.
243–243, 1994.
Shima Gerani, ChengXiang Zhai, and Fabio Crestani. Scoretransformation in linear combination for multi-criteria relevance ranking. In Advances in Information Retrieval, pp.
256–267. Springer, 2012.
Evangelos Kanoulas, Keshi Dai, Virgil Pavlu, and Javed A
Aslam. Score distribution models: assumptions, intuition,and robustness to score manipulation. In Proceedings of the
33rd international ACM SIGIR conference on Research anddevelopment in information retrieval, pp. 242–249. ACM,
2010.
Tie-Yan Liu. Learning to rank for information retrieval.
Foundations and Trends in Information Retrieval, Vol. 3,
No. 3, pp. 225–331, 2009.
Stefano Mizzaro. Relevance: The whole history. Journalof the American society for information science, Vol. 48,
No. 9, pp. 810–832, 1997.
Mark Montague and Javed A Aslam. Relevance score normalization for metasearch. In Proceedings of the tenth international conference on Information and knowledge management, pp. 427–433. ACM, 2001.
Mark Montague and Javed A Aslam. Condorcet fusion forimproved retrieval. In Proceedings of the eleventh international conference on Information and knowledge management, pp. 538–548. ACM, 2002.
Arno Onken, Steﬀen Grünewälder, Matthias HJ Munk, andKlaus Obermayer. Analyzing short-term noise dependenciesof spike-counts in macaque prefrontal cortex using copulas

[27]

[28]

[29]

[30]
[31]

[32]

[33]

[34]

[35]

[36]

[37]

[38]

[39]

[40]

[41]

[42]

[43]

[44]

and the flashlight transformation. PLoS computational biology, Vol. 5, No. 11, p. e1000577, 2009.
Jay M Ponte and W Bruce Croft. A language modelingapproach to information retrieval. In Proceedings of the
21st annual international ACM SIGIR conference on Research and development in information retrieval, pp. 275–
281. ACM, 1998.
Filip Radlinski and Thorsten Joachims. Query chains:
learning to rank from implicit feedback. In Proceedingsof the eleventh ACM SIGKDD international conference on
Knowledge discovery in data mining, pp. 239–248. ACM,
2005.
B Renard and M Lang. Use of a gaussian copula for multivariate extreme value analysis: some case studies in hydrology. Advances in Water Resources, Vol. 30, No. 4, pp.
897–912, 2007.
C. J. Van Rijsbergen. Information Retrieval. ButterworthHeinemann, Newton, MA, USA, 2nd edition, 1979.
Stephen E Robertson and K Sparck Jones. Relevanceweighting of search terms. Journal of the American Society for Information science, Vol. 27, No. 3, pp. 129–146,
1976.
Stephen E Robertson, Steve Walker, Susan Jones, Micheline M Hancock-Beaulieu, Mike Gatford, et al. Okapi at
trec-3. NIST SPECIAL PUBLICATION SP, pp. 109–109,
1995.
Stephen Robertson, Hugo Zaragoza, and Michael Taylor.
Simple bm25 extension to multiple weighted fields. In Proceedings of the thirteenth ACM international conference on
Information and knowledge management, pp. 42–49. ACM,
2004.
Gerard Salton. Automatic text processing: The transformation, analysis, and retrieval of. Reading: Addison-Wesley,
1989.
Gerard Salton, Anita Wong, and Chung-Shu Yang. A vector space model for automatic indexing. Communicationsof the ACM, Vol. 18, No. 11, pp. 613–620, 1975.
Tefko Saracevic. The concept of relevance in information
science: A historical review. Introduction to information
science, pp. 111–151, 1970.
Tefko Saracevic. Relevance reconsidered. In Proceedings ofthe second conference on conceptions of library and information science (CoLIS 2), pp. 201–218. ACM Press, 1996.
Linda Schamber, Michael B Eisenberg, and Michael S Nilan. A re-examination of relevance: toward a dynamic, situational definition. Information processing & management,
Vol. 26, No. 6, pp. 755–776, 1990.
Christian Schoelzel, Petra Friederichs, et al. Multivariate non-normally distributed random variables in climate
research–introduction to the copula approach. Nonlin. Processes Geophys., Vol. 15, No. 5, pp. 761–772, 2008.
Allen J Scott and Michael J Symons. Clustering methods
based on likelihood ratio criteria. Biometrics, pp. 387–397,
1971.
Christopher C Vogt and Garrison W Cottrell. Fusion via alinear combination of scores. Information Retrieval, Vol. 1,
No. 3, pp. 151–173, 1999.
Mathieu Vrac, Lynne Billard, Edwin Diday, and Alain
Chédin. Copula analysis of mixture models. Computational
Statistics, Vol. 27, No. 3, pp. 427–457, 2012.
Shengli Wu and Fabio Crestani. Data fusion with estimatedweights. In Proceedings of the eleventh international conference on Information and knowledge management, pp. 648–
651. ACM, 2002.
小松田卓也, 清水信幸, 田島玲, 欅惇志, 宮崎純. Copula を用いたスコア統合手法とその有効性の検証. 第 7 回データ工学と情報マネジメントに関するフォーラム（DEIM Forum2015）論文集, 2015.