FIT2020（第 19 回情報科学技術フォーラム）CD-002

ユーザの感覚に近い多様化検索評価指標
Diversiﬁed Search Evaluation Measures That Align with User Perception

酒井 哲也1,a)Zhaohao Zeng1,b)であり，一連の数学的公理に基づき最近提案された RBU

1. はじめに(Rank-Biased Utility) [3] もこのグループに属する．第二我々の日常生活全般を支えているウェブ検索エンジンは

は，D♯-measures [18], [22], [30] と呼ばれるものである．例

日々改良されている．最近では一部の検索クエリに対して

えば ERR (Expected Reciprocal Rank) の Intent-Aware

天気・株価・事典など様々なタイプの情報も提示されるよ版である ERR-IA [5] は TREC (Text Retrieval Confer-

うになっているが [31]，検索結果 (Search Engine Resultence) の多様化検索タスクで用いられ [7]，一方 nDCG のPage: SERP) の基本要素はウェブページのランクつきリD♯-measure 版である D♯-nDCG は NTCIR (NII Testbeds

ストであり，その質の向上は依然として重要課題である．

and Community for Information access Research) の同様

ウェブ検索エンジンを保有する企業は，クエリログ中の頻なタスクで用いられた [23]．しかし，一般に多様化検索評*1
出クエリを対象に人手による適合性判定データを収集し，価指標は従来型評価指標よりも複雑であり，どの指標がど

nDCG (normalised Discounted Cumulative Gain) [30] なの程度実際のユーザの感覚と合致するか不明であった．本どの評価指標に基づいて SERP の質を定量評価し，改良

研究は，この問題に対する明確な答えを提供する．具体的や調整を行っている．さらに最近では，検索エンジンに入には，与えられた SERP 対に対して各評価指標が下した力される短いクエリの背後にあるユーザの様々な意図を考

優劣の判断が，15 名の判定者が同じ対に下した判断 (適合慮し，SERP に含まれる情報を多様化する検索結果多様化

性・多様性それぞれの観点から下した判断) とどれほど一(search result diversiﬁcation) [26], [30] の研究が進んでお致するかを定量化し，統計的多重比較法 [19], [32] によりり，この目的に特化した検索評価指標がいくつか提案されD♯-measures のアプローチの有効性を示す．

ている [1], [3], [5], [8], [9], [18], [22]．これらの新しい評価
指標は，適合性 (relevance) のみを考慮する nDCG のような従来型指標とは異なり，適合性と多様性 (diversity) のバ
ランスを考慮する．検索エンジンの改良や調整の主目的は

2. 関連研究
ここでは，検索評価指標に対する評価に関連する既存研究について議論する．

ユーザの満足度を高めることであるから，これらの指標が下す SERP の優劣に関する判断は，ユーザの実際の判断と合致すべきである．本研究ではこの観点から，検索結果多様化のための評価指標を検証する．

2.1 ユーザに依存しない検索評価指標の評価
検索評価指標に対する評価の多くは，実際のユーザの判断に依存しない方法で行われてきた．最も広く行われてい多様化検索評価指標は，各検索クエリに付随する複数

るのは，各評価指標の平均値によりシステム群をそれぞれの検索意図が既知であるものとして，各検索意図の確率，

ランクづけし，ランキング対の類似度を順位相関係数で定および検索意図毎の適合性判定結果をもとに SERP を評量化することである [18], [30]．しかし，この方法は指標の価する．対象となるクエリには，例えば “apple” (果物か対がどの程度似ているか，似ていないかを示すことが出来企業か) のように多義性に起因する曖昧性を含むものや，るだけで，どの指標が正しいかを測ることが出来ない．ま“harry potter” (本か映画か登場人物か) のように検索意図

た，この他に比較的広く用いられてきた手法として判別能の詳細化が不十分なものがある [9], [30]．このような前提

力 (discriminative power) の測定がある [16], [18], [30]．こに基づく評価のアプローチは 2 つに大別される．第一は，れは，全システム対について統計的検定を行った場合に得Intent-Aware な評価指標 [1], [5], [18], [30] と呼ばれるもの

られる一連の p-value を比較することにより，評価指標の安定性を定量化するものである．しかし，統計的安定性は

1
a)
b)
*1

早稲田大学 (Waseda University)
tetsuyasakai@acm.org
zhaohao@fuji.waseda.jp
クリックデータ等をもとに各ウェブページの適合性を推定することもある程度可能である [1]．

評価指標が満たすべき必要条件であはあるが十分条件ではないため，この方法によってもどの指標が正しいかがわかるわけではない．この点は，判別能力に似た評価指標の比

9第 2 分冊Copyright © 2020 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2020（第 19 回情報科学技術フォーラム）較方法である逆転法 (swap method) [18], [28], [30] などにつの SERP に対して下した優劣の判断がユーザの判断と一ついても同様である．

致することを保証することである．このアプローチに最も多様化検索評価指標は，ある検索クエリ q が与えられ近い先行研究として，Sanderson らの研究がある [25]．した下での各検索意図 i の確率 Pr (i|q) と，検索意図 i 毎のかし，2010 年当時の彼らの研究は，現在の我々の観点から

文書 d の適合レベル xi (d) を考慮して適合性と多様性のすると以下の点で不十分である．第一に，彼らは 4 つの多バランスを評価する必要があるため，伝統的な検索評価

様化検索評価指標しか扱っておらず，最新の指標を検討し指標に比べ複雑である．一致度テスト (intuitiveness test,ていない．第二に，彼らが実験に用いた SERP 対はわずか

concordance test) [17], [18], [30] は，このような複雑な指79 件であり，実験結果から明確な結論が得られていない．

標群がより直観的にわかりやすい単純な指標とどれくらい第三に，彼らの実験では，判定者に検索クエリ自体ではな一致するかを定量化する方法であり，多様化検索評価指標

くそれに不随する検索意図のひとつのみを提示しており，の他にも統合検索評価指標 [29] やクリックモデル [6] など

いずれの SERP がより多様性が高いかという観点からのの評価に用いられている．しかし，この方法はあくまで単人手による判断を収集できていない [24]．これに対し本研

純な評価指標を正解と見なすものであり，この正解自体が究では，最近提案されたものを含む 21 種類の多様化検索

ユーザの判断と一致する保証はない．

評価指標を対象としており，1,127 件もの SERP 対を用意

評価指標が満たすべき性質をいくつかの公理 (axioms)
により表現し，これらを満たすように評価指標を設計する

し，各 SERP 対に対する適合性・多様性それぞれの観点に基づく判定ラベルを 15 名の判定者から収集している．

アプローチがある [3], [13]．逆に，既存の評価指標がいく

我々が ACM SIGIR 2019 において行った中間報告 [24]つの公理を満たすかは，評価指標の比較評価方法となりう

では，上記 15 名の判定者による判定結果の多数決により各る．評価指標の数学的性質を明らかにすることには一定の

SERP 対に対する正解をひとつ定めた上で，各評価指標の意義があるが，予め用意した公理群で十分であるか，また判断が正解と一致するか否かを議論した．しかし，この方各公理が実ユーザにとって本当に重要であるかには議論の法では，例えば 15 名全員が「第一の SERP のほうが良い」

余地が残る．例えば，Amigó ら [3] が多様化検索指標の設と判定したケースと，15 名中 8 名が同様に判定したケー計のために設定した公理には，「各検索意図に対する適合スを区別できない．さらに，評価値の上限 (どこまでユー性は多値でななく二値 (すなわち適合か非適合か) である」

ザの判断に近づくことが可能か) の議論が欠けていた．そ「ひとつの文書が複数の検索意図を同時に満たすことはな

こで本研究では，SERP 対に対する評価指標の判断が何%い」などのあまり現実的ではない大前提に依存するものがの判定者の判断と一致するかを表す一致率により評価を行ある．実際，本研究は，彼らが ACM SIGIR 2018 にて公理う．さらに，個々の判定者もまた評価指標の一種と見なす的アプローチにより提案した多様化検索評価指標 RBU [3]ことにより，各評価指標の判断と判定者の判断との差異をが，ユーザによる SERP の優劣判断との一致度という観点

統計的多重比較法 [19], [32] により明らかにする．

から必ずしも最適ではないことを示している．
以上の議論より，検索評価指標が本当にユーザの体感を

3. 検索評価指標

近似するものになっているかどうか検証するためには，人TREC では主として Intent-Aware な評価指標が [7]，NT-間の判断を正解と見なした評価を行うことが不可避である

CIR では D♯-measures [23] が多様化検索の評価に用いられと考えられる．

てきた．前述の公理的アプローチに基づく RBU [3] も前者に属する．以下，3.1 節で多様化検索評価指標の基礎をな
す nDCG などの従来型の評価指標について概説する．次2.2 ユーザに依存する検索評価指標の評価
検索評価指標とユーザの関係を扱う研究のひとつの流れに，3.2 節で Intent-Aware な評価指標および D♯-measures

として，特定の評価指標の値の高低をコントロールし，ユーの概要を述べる．以下，例えば nDCG の Intent-Aware 版

ザによる情報検索の効率やユーザの満足度への影響を分析

は nDCG-IA，D♯ 版は D♯-nDCG のように表記する．なお，するものがある．例えば Turpin ら [27] は，二値適合性に基

本研究では 4 章で説明するデータを公開しているため (7づく評価指標である平均精度 (Average Precision) [18], [30]章参照)，本研究でカバーしていない従来型評価指標およびの高低とユーザによる検索効率の相関は低いと報告してい多様化検索評価指標について検討したい研究者は，容易にる．一方，Al-Maskari ら [2] は，評価指標値の高低がユー独自の評価を行うことができる．

ザによる検索効率およびユーザ満足度にある程度影響を与3.1 適合性のみを考慮した従来型評価指標

えると報告している．
前述の通り，検索評価指標は日頃よりユーザ満足度を近適合性レベル x の各文書に利得 (gain) gv (x) を与えるも似するものとして検索エンジンの調整や改良に用いられてのとする [30]．本研究では x = 0, 1, 2, . . . , 4 をもつ適合性いる．このことから，本研究の主眼は，ある評価指標が 2

判定データを扱うため，gv (x) = 2x − 1 = 0, 1, 3, . . . , 15 と10
第 2 分冊Copyright © 2020 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2020（第 19 回情報科学技術フォーラム）する [5]. これに基づき評価対象の SERP および理想的な∗

ここで Psat (r) = g(r)/(gv max + 1) = g(r)/24 とする．ま

SERP の第 r 位の文書に与える利得をそれぞれ g(r), g (r)た，ERR では第 r 位の文書のみがこのユーザ群にとってとするとき，従来型評価指標の中で 21 世紀になり最も広く用適合すると考えるため，有用性関数は 1/r となっている．

いられてきた nDCG は以下のように定義できる [18], [30]．

ERR は，他の指標とは異なり，informational ではなく nav-∑ligational な検索意図 [4], [17], [30] (すなわち多くの適合文

g(r)/ log(r + 1)
nDCG = ∑lr=1∗
r=1 g (r)/ log(r + 1)

(1)

書ではなく特定の適合文書を探したいという意図) に適している．EBR (Expected Blended Ratio) [24] は PERR (r)本研究では，ウェブ検索においては検索結果の 1 ページ目と BR(r) を組み合わせたものである．iRBU (intentwiseの質が最重要であることから l = 10 とする．

RBU) [24] は多様化検索評価指標 RBU [3] の構成要素で本研究で扱う nDCG 以外の従来型評価指標は，全て Nor-malised Cumulative Utility (NCU) [18], [21], [30] の一種として説明できる．

NCU =

l
∑

あり，停止確率に PERR (r) を，有用性関数にはユーザが第 r 位までの文書を調べる労力の関数である pr を用いている．ここで，確率 p は RBP と同様なパラメタである．
本研究では，RBP [13] および RBU [3] の既存研究より，

PS (r)NU (r)

(2)

r=1

前提として，与えられた SERP の最上位からスタートし，得られた情報に満足した時点で SERP の走査を停止する
ユーザの母集団を考える．PS (r) は，ユーザが SERP の第r 位で満足して停止する確率を表し，NU (r) は，このユーザ群にとっての SERP の有用性 (utility) を表す．

p = 0.85, 0.99 について検討する．iRBU は，有用性関数に
各文書の適合性の情報を用いていない点に特色がある．

3.2 多様化検索評価指標
多様化検索テストコレクションでは，各検索クエリ q に対する検索意図の集合 {i} を既知とし，各検索意図 i の確率

Pr (i|q) と，各文書の検索意図 i 毎の適合レベル xi が与えられている．ある検索意図 i に着目し xi をもとに計算した

表 1 NCU ファミリーに属する評価指標のまとめ
評価指標

PS (r)NU (r)

従来型評価指標を Mi とするとき，対応する Intent-Aware

Q

I(r)/ min(l, R)

BR(r)

RBP

(1 − p)pr−1

g(r)/gv max

ERR

PERR (r)1/rな指標は以下のように計算できる [1], [5]．
∑M -IA =
Pr (i|q)Mi

EBR

PERR (r)

BR(r)

iRBP

PERR (r)

pr

(5)

i

また，公理的アプローチにより設計された RBU は，ユー

表 1 に，本研究で扱う NCU ファミリーに属する評価指標をまとめた．Q [15], [18] は，停止確率 PS (r) として，平ザの労力の影響を制御するパラメタ e (Amigo ら [3] に倣い

e = 0.01 とする) を用い，以下のように記述できる [24]．

均精度と同様に全適合文書上の一様分布を，有用性関数とRBU = iRBU -IA − e

l
∑

pr

(6)

して以下のブレンド比 (Blended Ratio) を採用している．
∑r∑r+ k=1 g(k)k=1 I(k)∑r
BR(r) =
(3)r + k=1 g ∗ (k)すなわち，iRBU の Intent-Aware 版から労力分を減点した

I(k) は第 k 位の文書が非適合文書の場合に 0，それ以D♯-measures は，まず SERP の第 r 位の文書の検索意図

外の場合に 1 となるフラグである．ブレンド比は，精∑r
度 (Precision(r) = k=1 I(k)/r) と，nDCG に似た nCG

r=1*2
ものである．なお，本研究の結果は e の値に依存しない．

i に関する適合レベル xi に応じた利得を gv (xi )(= 2xi − 1)∑とするとき，この文書の総利得を G(r) = i Pr (i|q)gv (xi )(normalised Cumulative Gain) [11] を統合したものである．

により求める．また，全文書を総利得によりソートして理RBP (Rank-Biased Precision) [14] は，ユーザが SERP の想的な SERP を定義し，これをもとに理想的な SERP 中の第 r 位から第 (r + 1) 位に遷移する確率が常に一定であ

各文書の総利得 G∗ (r) を得る．これらを g(r), g ∗ (r) と同様るという仮定の下に，この確率 p をパラメタとしてもに扱って従来型評価指標 M を計算したものを D-measures

つ．有用性関数には利得を最大利得 gv max (本研究の場と呼び，D-M のように表記する．一方，純粋に SERP の多合 gv max = 24 − 1) により正規化したものを用いている．

ERR [5] の停止確率 PERR (r) は，第 (r − 1) までの文書に様性のみを測る評価指標として，全検索意図のうち SERP
によりカバーされたものの割合を表す I-rec (intent recall)

対してユーザが満足しない確率と，第 r 位の文書に満足すを考える．NTCIR INTENT タスク [23] では，D-nDCG をる確率に基づく直感的なユーザモデルに基づく．

縦軸に，I-rec を横軸にとって多様化検索システムを評価し

PERR (r) = Psat (r)r−1∏

た．D♯-measures は，両者を線形結合したものである [22]．

(1 − Psat (k))

(4)

*2

k=1

11
第 2 分冊e および p を定めた下でのサイズ l の SERP に対する労力項は定数であり，RBU の大小に影響しないためである．

Copyright © 2020 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2020（第 19 回情報科学技術フォーラム）Query: “Kokoro” by Soseki Natsume

Assuming that multiple users
entered this same query,which SERP is likely to satisfy
a higher number of users?

Overall, which SERP is more
relevant to the query?

LEFT

RIGHT
Both are completely irrelevant to the query

図 1

判定者が用いた SERP 選考判定インタフェース [24].

D♯-M = γI-rec + (1 − γ)D-M(7)

上記のデータをもとに，我々は独自に以下のように SERP
選好判定 (preference assessment) データを作成した．まλ はパラメタであり，本研究では INTENT タスクに倣いず，上記 INTENT データより，100 クエリ ×105 SERP 対

λ = 0.5 とする．

= 10, 500 件の < クエリ, SERP1, SERP2> の 3 つ組を作

4. SERP 選好判定データ

成した．ここで，各 SERP は前述の通り上位 l = 10 件のウェブページを含む．次に，ほぼ質が同じ SERP 対を除去

本研究の目的は，2 つの SERP のいずれが優れているかするため，精度 (10 件中の適合文書数の割合) および intentという多様化検索評価指標の判断が何%のユーザの判断とrecall (SERP でカバーできている検索意図の割合) の差が一致するかを定量化し，ユーザの体感に近い評価指標はど

いずれも 0.1 以上である 3 つ組のみを抽出した．これによ

れか，およびユーザの判断にどこまで近づけるのかを明らり 3 つ組は 1,247 件に絞り込まれた．さらに，clueweb09JA

かにすることである．このため，ウェブ検索多様化タスクのウェブページデータに文字コードの問題があるものなである NTCIR-9 INTENT の日本語サブタスク [23] に提どを除去した結果，最終的に 43 件のクエリをカバーする出された実際の検索結果と，同タスクで構築されたテスト

1,127 件の 3 つ組が得られた [24]．

コレクションを利用する．このテストコレクションは各検

上記の 3 つ組データに対して「ユーザの判断」を下すた

索意図の確率 Pr (i|q) および検索意図毎の多値適合性判定

め，早稲田大学の情報理工学科，情報通信学科 (学部) お結果を有しており，我々の研究目的に適している．*3

よび情報理工・情報通信専攻 (大学院) に属する日本語ネ

NTCIR-9 INTENT 日本語テストコレクションは，検索

イティブの学生を 15 名雇用し，各自に全 3 つ組データに対象である約 6730 万件のウェブページからなる日本語コー

対して適合性・多様性の 2 つの観点から SERP 選好判定を

パス clueweb09JA*4 と，100 件の検索クエリを含む．各検行ってもらった．図 1 はこの作業のために判定者に提供し索クエリには平均 10.91 件の検索意図および確率が付随したウェブブラウザ上のインタフェースである．この例のよている．また，各適合文書には検索意図毎に適合性レベル

うに，判定者は画面上部のクエリ (個々の検索意図ではな

x = 1, . . . , 4 が付与されている．このタスクには 15 のシスい) を見た上で，左右いずれの SERP が好ましいか選択すテムが参加したため，15 ∗ 14/2 = 105 件のシステム対の比る．判定者に対する質問は以下の 2 つである．

較が可能である．

(適合性) 全体として，どちらの検索結果がよりクエリに*3*4

TREC の多様化検索タスクで構築されたテストコレクション [7]は Pr (i|q) の情報をもっていない．
http://www.lemurproject.org/clueweb09.php/

適合していますか?

(多様性) 複数の検索エンジンユーザがこの同じクエリを12
第 2 分冊Copyright © 2020 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2020（第 19 回情報科学技術フォーラム）入力したとします．より多くのユーザを満足させるの

表 2 各判定者による適合性と多様性の選考判定が一致した場合に着目した各評価指標の MAR (n = 1, 127)．

はどちらの検索結果ですか?

(a) 評価指標

MAR(b) 選好ラベル群

MAR

D♯-nDCG

0.748412rel (best)

0.7724

序は各判定者に対しランダムに提示した．以上により，適D♯-RBP (p = 0.85)

0.743912div

0.7708

合性選好ラベルを含む 1, 127 × 15 の行列と，多様性選好ラ

D♯-Q

0.743402rel

0.7620D♯-EBR

0.737410div

0.7590D♯-RBP (p = 0.99)

0.733004div

0.7545I-rec

0.733015div

0.7475

RBU (p = 0.99)

0.730803rel

0.7411

D♯-ERR

0.725002div

0.7406

RBU (p = 0.85)

0.722804rel

0.7383

多様性選好について 0.356 と良好な結果が得られた．さらD-Q

0.719915rel

0.7362に，15 人の判定者のうち 1 人のデータを除去して再度 α を

D-RBP (p = 0.99)

0.715910rel

0.7362

計算することにより各判定者の質のチェックを行ったが，nDCG-IA0.715907rel

0.7329Q-IA

0.711909div

0.7154

D-RBP (p = 0.85)

0.710207div

0.7121

た，適合性選好と多様性選好の関係を調べるため，それぞD-nDCG

0.7101

11div (median)

0.7105れの行列について，各行の 15 個のラベルから「LEFT の

D-EBR

0.710013rel

0.7089RBP-IA (p = 0.99)

0.709709rel

0.7087

RBP-IA (p = 0.85)

0.709513div

0.7026

係数 (サンプルサイズ n = 1, 127) を計算した結果は 0.898

EBR-IA

0.705201rel

0.7026(95%CI[0.886, 0.909]) となった．すなわち，適合性の観点

ERR-IA

0.697305div

0.6995

D-ERR

0.689405rel

0.693301div

0.689903div

0.688011rel

0.687014rel

0.686614div

0.6748与えられた < クエリ, SERP1, SERP2> の 3 つ組に対

06rel

0.6437

し，各評価指標は LEFT・RIGHT・EQUAL のいずれかの

08rel

0.6380

判断を下す．これが何%の判定者の選好ラベルと一致して

06div

0.635208div (worst)

0.6198

なお，上記質問の順序，左右の SERP の位置，クエリの順

ベルを含む 1, 127 × 15 の行列が構築できた．各選好ラベル
は LEFT・RIGHT・EQUAL のいずれかである．
上記選好判定データの信頼性を Krippendorﬀ の α [12],[20] により定量評価したところ，適合性選好について 0.406，

いずれの判定者についても問題は見られなかった [24]．ま個数と RIGHT の個数の差」を計算し，その Pearson 相関から多くの判定者に好まれる SERP はまた，多様性の観点からも多くの判定者に好まれる傾向が顕著であった．

5. 評価指標の評価方法

いるかを一致率 (Agreement Rate) と定義する．各判定者
は適合性・多様性に基づき個別に判断を下すので，一致率以上のように計算した各評価指標および各判定者の MAR

も 2 種類定義できる．また，判定者は 15 名いるので，これの差を厳密に議論するため，統計的多重比較法の一種であが一致率の分母となる．一致率を 1,127 件の 3 つ組についる Tukey HSD 検定を行う [19], [32]．また，本研究では，て平均したものを MAR (Mean Agreement Rate) と呼ぶ．

p-value にとどまらず，効果量 (eﬀect size) [10], [19] を議

さらに，多様化検索評価指標は適合性と多様性の両方を考論するに十分な実験データを提供する．

慮することが要求されているため，本研究では，下記のように両方を同時に考慮した一致率を主要な評価尺度とする．

6. 結果と考察

まず，前述の 2 つの選好ラベル行列を比較し，各判定者が表 2 に，各判定者の適合性・多様性選好ラベルが一致し適合性と多様性について同じ判断を下した場合のみを残した場合に着目した MAR の結果を示す．(a) は 21 種類のた第 3 のラベル群を作成する．例えば，ある 3 つ組につい多様化検索評価指標の結果，(b) は各判定者による適合性おて，ある判定者の適合性選好ラベルが LEFT，多様性選好

よび多様性選好ラベル群の結果である．全評価指標と，判ラベルが RIGHT もしくは EQUAL である場合にはこの判定者による選好ラベル群のうち MAR が最高なもの (「best

定者のラベルは除外される．この結果，各 3 つ組に付随す判定者」)，最低なもの (「worst 判定者」)，および中間値

るラベル数は平均 13.10 (最小 5，最大 15) となった．従っ(「median 判定者」) *5 からなる 24 件について対応のあるて，この場合の一致率の分母は 3 つ組によって変化する．

Tukey HSD 検定 (有意水準 5%) を行った結果を表 3 に示

本研究では，各評価指標の判断がユーザの判断と比べてす．これらから以下のことがわかる．

どれほど信頼できるかを定量化するため，個々の判定者の(A) 表 3(I) より，best 判定者は D♯-nDCG を除く全ての指選好ラベル群もまた評価指標の一種であると見なし，これ標，および median・worst 判定者を統計的に有意に上らについても一致率を計算する．(分母には判定者自身の回っている．

選好ラベルが含まれる．) この際，例えば判定者 01 の適合性選好ラベル群を 01rel，多様性選好ラベル群を 01div のよ(B) 表 3(II) より，表 2 の上位 4 指標 (D♯-nDCG〜D♯-EBR)*5

うに表記する．

13
第 2 分冊

評価指標に対して辛い評価を行うため，30 件中 15 位の選好ラベル群を中間値と見なす．

Copyright © 2020 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2020（第 19 回情報科学技術フォーラム）表 3 表 2 に対応する Tukey HSD 検定の結果の抜粋．対象としたのは多様化検索評価指標

21 件および best・median・worst 判定者である．有意水準 α = 0.05 にて統計的に有意な差のみを示している．(紙面の制約上，(IV) および (VI)-(IX) の詳細は省略している．) 二元配置分散分析 (繰り返しなし) の誤差分散は VE2 = .0225 であり，各効果量√は ∆M AR/ VE2 により算出できる [19]．
Comparison∆MARp-value(I) best assessor > X (X: median, worst, all measures except D♯-nDCG)

Comparison∆MARp-value(V) D♯-nDCG > X (X: worst 12 measures)

best assessor > worst assessor

.1526

.0000

D♯-nDCG > D-ERR

.0590

.0000

best assessor > D-ERR

.0829

.0000

D♯-nDCG > ERR-IA

.0510

.0000

best assessor > ERR-IA

.0750

.0000

D♯-nDCG > EBR-IA

.0432

.0000

best assessor > EBR-IA

.0672

.0000

D♯-nDCG > RBP-IA (p = 0.85)

.0389

.0000

best assessor > RBP-IA (p = 0.85)

.0629

.0000

D♯-nDCG > RBP-IA (p = 0.99)

.0387

.0000

best assessor > RBP-IA (p = 0.99)

.0627

.0000

D♯-nDCG > D-EBR

.0384

.0000

best assessor > D-EBR

.0624

.0000

D♯-nDCG > D-nDCG

.0383

.0000

best assessor > D-nDCG

.0623

.0000

D♯-nDCG > D-RBP (p = 0.85)

.0382

.0000

best assessor > D-RBP (p = 0.85)

.0622

.0000

D♯-nDCG > Q-IA

.0365

.0001

best assessor > median assessor

.0619

.0000

D♯-nDCG > nDCG-IA

.0325

.0015

best assessor > Q-IA

.0605

.0000

D♯-nDCG > D-RBP (p = 0.99)

.0325

.0015

best assessor > nDCG-IA

.0565

.0000

D♯-nDCG > D-Q

.0285

.0162

best assessor > D-RBP (p = 0.99)

.0565

.0000

best assessor > D-Q

.0525

.0000

D♯-RBP (p = 0.85) > X

best assessor > RBU (p = 0.85)

.0496

.0000

D♯-Q > X

best assessor > D♯-ERR

.0474

.0000

best assessor > RBU (p = 0.99)

.0412

.0000

best assessor > I-rec

.0394

.0000

best assessor > D♯-RBP (p = 0.99)

.0394

.0000

D♯-RBP (p = 0.99) > X

best assessor > D♯-EBR

.0349

.0003

I-rec > X

best assessor > D♯-Q

.0290

.0124

best assessor > D♯-RBP (p = 0.85)

.0285

.0161

(II) X > median assessor (X: top 4 measures)(VI) (X: worst 11 measures)(VII) (X: worst 8 measures)
D♯-EBR > X(VIII) (X: worst 3 measures)(IX) (X: worst 2 measures)
RBU (p = 0.99) > X
D♯-ERR > X

D♯-nDCG > median assessor

.0379

.0000

D♯-RBP (p = 0.85) > median assessor

.0334

.0009

RBU (p = 0.85) > D-ERR

.0333

.0009

D♯-Q > median assessor

.0329

.0012

D-Q > D-ERR

.0305

.0053

D♯-EBR > median assessor

.0270

.0348

D-RBP (p = 0.99) > D-ERR

.0265

.0434

nDCG-IA > D-ERR

.0264

.0446

(III) median assessor > X
median assessor > worst assessor.0907(X) other.0000(IV) (X: all 21 measures)
X > worst assessor

は，median 判定者を統計的に有意に上回っている．

• best 判定者は，全ての指標および median・worst 判定(C) 表 3(III)-(IV) より，median 判定者および全 21 指標
は，worst 判定者を統計的に有意に上回っている．

者を統計的に有意に上回っている．

• median 判定者は，worst 判定者および表 4 の Q-IA 以(D) 表 3(V) より，表 2 においてトップの D♯-nDCG は，
D-Q 以下 12 指標を統計的に有意に上回っている．同

下 6 指標を統計的に有意に上回っている．

• 全 21 指標とも，worst 判定者を統計的に有意に上回っ

様に，表 3(VI)-(IX) に示した各指標は，それぞれ下位ている．

11, 8, 3, 2 件の指標を統計的に有意に上回っている．

• 表 4 においてトップの D-Q は，D-RBP (p = 0.99)(E) 表 3(V)-(X) よ り ，D-ERR は ，上 位 12 指 標 (D♯-以下 16 指標を統計的に有意に上回っている．同様

nDCG〜nDCG-IA) を統計的に有意に下回っている．

に，D♯-nDCG，D♯-Q，D♯-RBP (p = 0.85)，D♯-EBR，

なお，表 3 より，例えば D♯-nDCG と D-nDCG の差の効√√
果量は ∆M AR/ VE2 = .0383/ .0225 = 0.2553 (標準偏D♯-RBP (p = 0.99) は，それぞれ下位 6, 6, 3, 3, 2 件の指標を統計的に有意に上回っている．

• D-ERR は，上位 14 指標 (D-Q〜D-RBP (p = 0.85))

差の 1/4 程度) のように算出できる [19]．
一方，表 4 および表 5 に，判定者の適合性選好判定デー

を統計的に有意に下回っている．

タのみ，および多様性選好判定データのみを用いて計算し

次に，多様性選好判定データのみを用いた MAR の結果た MAR の結果を示す．(紙面の制約上，詳細な統計的検定

は以下の通りである．

結果の表は割愛する．) まず，適合性選好判定データのみ• best 判定者は，D♯-nDCG を除く全ての指標，およびを用いた MAR の結果は以下の通りである．

median・worst 判定者を統計的に有意に上回っている．

14
第 2 分冊Copyright © 2020 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2020（第 19 回情報科学技術フォーラム）に上回っている．

表 4 判定者による適合性の選考判定結果のみを考慮した各評価指標の MAR (n = 1, 127)．

• D-ERR は，上位 10 指標 (D♯-nDCG〜nDCG-IA) を(a) Measure

MAR(b) Assessor

MAR

D-Q

0.734503rel (best)

0.7600D♯-nDCG0.720210rel

0.7565以上を総合すると，多様化検索評価指標について，人間D♯-Q

0.720102rel

0.7433による SERP 選好判定との一致率という観点から以下の結D♯-RBP (p = 0.85)

0.714612rel

0.7423

D♯-EBR

0.711704rel

0.7421

D-RBP (p = 0.99)

0.705507rel

0.7315

RBU (p = 0.99)

0.702301rel (median)

0.7196合性・多様性双方を考慮した MAR および多様性のみ

D♯-RBP (p = 0.99)

0.701515rel

0.7393I-rec

0.701511rel

0.7117を考慮した MAR において，best 判定者と統計的に有RBU (p = 0.85)

0.700705rel

0.7073

意差がないのは D♯-nDCG のみである．また，両 MAR

RBP-IA (p = 0.99)

0.699013rel

0.7054において，D♯-nDCG は median 判定者を統計的に有D-nDCG

0.698409rel

0.6746

D♯-ERR

0.698114rel

0.6661

意に上回っている．すなわち，D♯-nDCG の判断の妥

D-RBP (p = 0.85)

0.697408rel

0.6554

RBP-IA (p = 0.85)

0.696806rel (worst)

0.6384Q-IA

0.6941D-EBR

0.6932nDCG-IA

0.6929した MAR において median 判定者を統計的に有意にEBR-IA

0.6849上回っており，特に D♯-RBP (p = 0.85) については多ERR-IA

0.6788様性のみを考慮した MAR においても同様である．

D-ERR

0.6723

統計的に有意に下回っている．

論が得られる．

• 最もユーザの感覚に近いのは D♯-nDCG である．適当性は人間と少なくとも同程度である．

• 同様に，D♯-RBP (p = 0.85)，D♯-Q，D♯-EBR も人間と比べてほぼ遜色がない．適合性・多様性双方を考慮• 総じて，Intent-Aware な指標よりも D♯-measuresのほうがユーザの感覚に近い．例えば，D♯-nDCG お

表 5 判定者による多様性の選考判定結果のみを考慮した各評価指よび D♯-RBP (p = 0.85) は，適合性・多様性双方を考標の MAR (n = 1, 127)．
(a) Measure

MAR(b) AssessorMAR慮した MAR および多様性のみを考慮した MAR にお

D♯-nDCG

0.7347

12div (best)

0.7542

いて，全ての Intent-Aware な指標を統計的に有意にD♯-RBP (p = 0.85)

0.733110div

0.7484

D♯-RBP (p = 0.99)

0.727604div

0.7444I-rec

0.727615div

0.7429• 式 7 により D-measures を intent recall と結合して D♯-

D♯-Q

0.727302div

0.7208measures を構成することは，多様性を考慮した場合のD♯-EBR

0.726207div

0.7171

RBU (p = 0.99)

0.720803div

0.7054

ユーザの体感に近づけるのに有効である．例えば，表D♯-ERR

0.715909div (median)

0.7042

2・表 5 いずれにおいても D♯-nDCG は D-nDCG およRBU (p = 0.85)

0.709301div

0.6990び I-rec を平均的に上回っており，特に D-nDCG との

nDCG-IA

0.701511div

0.6946

D-RBP (p = 0.99)

0.697113div

0.6832

差は統計的に有意である．

EBR

0.694114div

0.6771

なお，ERR に基づく多様化検索評価指標の MAR が総じ

Q-IA

0.693805div

0.6668て低いのは，前述のとおり ERR が navigational な検索意

EBR-IA

0.692106div

0.6363

D-RBP (p = 0.85)

0.692008div (worst)

0.5993

上回っている．

図に適した評価指標であるためである [4], [17], [30]．すな

D-nDCG

0.6914

わち，ERR が SERP 中の適合情報の「量」を考慮しないた

RBP-IA (p = 0.85)

0.6913めである．また，D-Q は適合性のみを考慮した場合にトッ

RBP-IA (p = 0.99)

0.6903

ERR-IA

0.6831プであり (表 4)，多様性のみを考慮した場合に D-ERR に

D-Q

0.6811

次いで成績が悪いことから (表 5)，適合性のほうに大きく

D-ERR

0.6753

振れた指標であることがわかる．

2 章で述べたように，RBU は公理的アプローチにより• 表 5 のトップ 2 である D♯-nDCG，D♯-RBP (p = 0.85)設計された指標である．しかし，我々の実験結果は，RBU

は，median 判定者を統計的に有意に上回っている．

よりも D♯-measures のほうが平均的に優れていることを示• median 判定者および全 21 指標は，worst 判定者を統している．(前述の通り，表 5 における D♯-nDCG と RBU(p = 0.85) の差は統計的に有意である．) このことから，計的に有意に上回っている．

• 表 5 においてトップの D♯-nDCG は，RBU (p = 0.85)
以下 13 指標を統計的に有意に上回っている．同様に，

D♯-RBP (p = 0.85, 0.99)，I-rec，D♯-Q，D♯-EBR，RBU(p = 0.99)，D♯-ERR，RBU (p = 0.85) は，それぞれ下位 12, 12, 12, 12, 12, 10, 6, 2 件の指標を統計的に有意評価指標が一連の公理を満たすことは，ユーザの体感と合致させることと必ずしも一致しないことがわかる．

7. 結論
本研究では，NTCIR-9 INTENT タスクに提出されたラ

15
第 2 分冊Copyright © 2020 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2020（第 19 回情報科学技術フォーラム）ンから抽出した 1,127 件の SERP 対に対し 15 人の判定者が[12]独立に行った SERP 選好判定の結果を利用して，21 種類の多様化検索評価指標を一致率により定量評価した．Tukey[13]

HSD 検定に基づく我々の実験結果より，多様化検索の評
価には Intent-Aware な評価指標ではなく D♯-measures，特に D♯-nDCG などを用いるべきであることがわかる．さら[14]に，これらの指標は人間による SERP 選好判定と比しても遜色がないことが確認できた．我々の SERP 選好判定デー[15]

タ・各評価指標の値・一致率のデータは一般公開している*6 本研究は他の研究者により再現・拡張可能である．
ため，研究者や開発者が本来測定したいことを評価指標が本当に測定できているか否かは，多様化検索タスクや情報検索

[16]
[17]

分野に限定されない極めて重要な問題である．冒頭で論じたように，システムの調整や改良の方向性は評価指標に大[18]きく依存しているからである．我々は今後，人間による選好判定をもとに評価指標を検証するアプローチを多様化検[19]

索以外のタスクや研究分野に拡張する予定である．
[20]

参考文献
[1]

[2]

[3]

[4]
[5]

[6]

[7]

[8]

[9]

[10]
[11]

Agrawal, R., Sreenivas, G., Halverson, A. and Leong,
S.: Diversifying Search Results, Proceedings of ACM
WSDM 2009, pp. 5–14 (2009).
Al-Maskari, A., Sanderson, M., Clough, P. and Airio, E.:
The Good and the Bad System: Does the Test Collection Predict Users’ Eﬀectiveness, Proceedings of ACM
SIGIR 2018, pp. 59–66 (2008).
Amigó, E., Spina, D. and de Albornoz, J. C.: An Axiomatic Analysis of Diversity Evaluation Metrics: Introducting the Rank-Biased Utility Metric, Proceedings of
ACM SIGIR 2018, pp. 625–634 (2018).
Broder, A.: A Taxonomy of Web Search, SIGIR Forum,Vol. 36, No. 2, pp. 3–10 (2002).
Chapelle, O., Ji, S., Liao, C., Velipasaoglu, E., Lai,
L. and Wu, S.-L.: Intent-based Diversiﬁcation of Web
Search Results: Metrics and Algorithms, Information
Retrieval, Vol. 14, No. 6, pp. 572–592 (2011).
Chuklin, A., Zhou, K., Schuth, A., Sietsma, F. and de Rijke, M.: Evaluating Intuitiveness of Vertica-Aware Click
Models, Proceedings of ACM SIGIR 2013, pp. 1075–
1078 (2013).
Clarke, C. L., Craswell, N. and Voorhees, E. M.:
Overview of the TREC 2012 Web Track, Proceedings of
TREC 2012 (2013).
Clarke, C. L., Kolla, M., Cormack, G. V., Vechtomova,
O., Ashkan, A., Büttcher, S. and MacKinnon, I.: Novelty and Diversity in Information Retrieval Evaluation,
Proceedings of ACM SIGIR 2008, pp. 659–666 (2009).
Clarke, C. L., Kolla, M. and Vechtomova, O.: An Effectiveness Measure for Ambiguous and Underspeciﬁed
Queries, Proceedings of ICTIR 2009 (LNCS 5766), pp.
188–199 (2009).
Cohen, J.: Statistical Power Analysis for the Bahavioral
Sciences (Second Edition), Psychology Press (1988).
Järvelin, K. and Kekäläinen, J.: Cumulated Gain-Based
Evaluation of IR Techniques, ACM Transactions on Information Systems, Vol. 20, No. 4, pp. 422–446 (2002).

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]
[31]

[32]
*6

http://waseda.box.com/fit2020sakaizeng

16
第 2 分冊Krippendorﬀ, K.: Content Analysis: An Introduction toIts Methodology (Fourth Edition), SAGE Publications(2018).
Moﬀat, A., Bailey, P., Scholer, F. and Thomas, P.: Incorporating User Expectations and Behavior into the Measurement of Search Eﬀectiveness, ACM TOIS, Vol. 35,
No. 3 (2017).
Moﬀat, A. and Zobel, J.: Rank-Biased Precision for Measurement of Retrieval Eﬀectiveness, ACM TOIS, Vol. 27,
No. 1 (2008).
Sakai, T.: Ranking the NTCIR Systems based on Multigrade Relevance, Proceedings of AIRS 2004 (LNCS
3411), pp. 251–262 (2005).
Sakai, T.: Alternatives to Bpref, Proceedings of ACM
SIGIR 2007, pp. 71–78 (2007).
Sakai, T.: Evaluation with Informational and Navigational Intents, Proceedings of WWW 2012, pp. 499–508(2012).
Sakai, T.: Metrics, Statistics, Tests, PROMISE WinterSchool 2013: Bridging between Information Retrieval
and Databases (LNCS 8173), pp. 116–163 (2014).
Sakai, T.: Laboratory Experiments in Information Retrieval: Sample Sizes, Eﬀect Sizes, and Statistical
Power, Springer (2018).
Sakai, T.: How to Run an Evaluation Task: with aPrimary Focus on Ad Hoc Information Retrieval, Information Retrieval Evaluation in a Changing World:
Lessons Learned from 20 Years of CLEF (Ferro, N. andPeters, C., eds.), Springer, pp. 71–102 (2019).
Sakai, T. and Robertson, S.: Modelling A User Population for Designing Information Retrieval Metrics, Proceedings of EVIA 2008, pp. 30–41 (2008).
Sakai, T. and Song, R.: Evaluating Diversiﬁed Search
Results Using Per-Intent Graded Relevance, Proceedingsof ACM SIGIR 2011 (2011).
Sakai, T. and Song, R.: Diversiﬁed Search Evaluation:
Lessons from the NTCIR-9 INTENT Task, Information
Retrieval, Vol. 16, No. 4, pp. 504–529 (2013).
Sakai, T. and Zeng, Z.: Which Diversity Evaluation Measures are “Good”?, Proceedings of ACM SIGIR 2019,
pp. 595–604 (2019).
Sanderson, M., Paramita, M. L., Clough, P. andKanoulas, E.: Do user preferences and evaluation measures line up?, Proceedings of ACM SIGIR 2010, pp.
555–562 (2010).
Santos, R. L. T., Macdonald, C. and Ounis, I.: Search
Result Diversiﬁcation, Foundations and Trends in Information Retrieval, Vol. 9, No. 1, pp. 1–90 (2015).
Turpin, A. and Scholer, F.: User Performance versus
Precision Measures for Simple Search Tasks, Proceedingsof ACM SIGIR 2006, pp. 11–18 (2006).
Voorhees, E. M. and Buckley, C.: The Eﬀect of Topic
Set Size on Retrieval Experiment Error, Proceedings of
ACM SIGIR 2002, pp. 316–323 (2002).
Zhou, K., Lalmas, M., Sakai, T., Cummins, R. and Jose,J. M.: On the Reliability and Intuitiveness of Aggregated Search Metrics, Proceedings of ACM CIKM 2013,
pp. 689–698 (2013).
酒井哲也： 情報アクセス評価方法論: 検索エンジンの進歩のために，コロナ社 (2015).
川崎真未，Kang, I.，酒井哲也： 放棄セッションにおけるユーザ操作に着目したモバイル検索カードの順位付け，
IPSJ TOD, Vol. 11, No. 3, pp. 1–11 (2018).
永田 靖，吉田道弘： 統計的多重比較法の基礎，サイエ
ンティスト社 (1997).

Copyright © 2020 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.