DEIM Forum 2016 C6-1

クリック文書の分散表現を用いたクエリ曖昧性の評価
矢野 友貴†

田頭 幸浩†

田島玲†† ヤフー株式会社 〒 107-6211 東京都港区赤坂 9-7-1 ミッドタウン・タワー
E-mail: †{yuyano,yutagami,atajima}@yahoo-corp.jp
あらまし クエリ曖昧性の評価はユーザの検索意図を理解する上で重要な要因の一つである. 従来の手法では, クエリ曖昧性はクリック分布のばらつき具合によって定量化されるが, これらの手法ではクリックされた文書を独立として扱うため, 文書は異なるがトピックが近いようなケースを正しく判断することができない. 本項ではこの問題に対し, クリックされた文書の分散表現を活用することで, 文書間のトピック差異を加味したクエリ曖昧性の評価手法を提案する. 従来手法と比較した結果, 従来手法では分類できなかった曖昧性の差異を検知することに成功し, また提案手法がクエリ毎のクリック率 (CTR) とよりよい相関があることが確認された.
キーワード情報検索, 検索意図, クエリ曖昧性, e コマース曖昧性の定量化を提案する. 具体的には文書の分散表現を利用

1. は じ め にし, 各文書ベクトルの向きの集約度を計算することでクエリの検索エンジンにおいて, ユーザの検索意図の理解はよりよい曖昧性を定量化する. 例えば図 1 の場合, 提案手法では文書の検索結果を実現するために非常に重要である. 検索意図を理解分散表現に着目することで, Query A よりも Query B の方がする上で重要となる指標にクエリ曖昧性がある. クエリ曖昧性

各文書ベクトルがより密に集まっていると判断し, 2 つのクエは検索意図のばらつき具合を数値化したもので, 例えば関連性リの曖昧性を適切に評価することが可能となる.と多様性のトレードオフの調整 [1] や, パーソナライズを行う

実験では Yahoo!ショッピングの実データを用い, 各商品カテかどうかの判定 [2], ランキングモデルへの活用 [3] など, 検索精ゴリの分散表現を用いて手法の評価を行った. click entropy と度向上において重要な要素の一つとなっている. クエリ曖昧性比較した結果, click entropy では適切に評価できない似通ったは多くの場合, クリック文書の分布のようなユーザの過去のク商品郡をクリックするクエリについても, 提案手法ではその曖リック行動を元に数値化される [2], [4], [5].

昧性の低さを認識することに成功した. また, 提案手法は click

クエリ曖昧性の評価手法としては click entropy が広く知られている [2]. click entropy では意図のばらつき具合をクリッentropy に比べ, クエリ毎のクリック率 (CTR) とより強い相関があることが確認された.

ク分布のエントロピーとして表現することで, クエリ曖昧性

本項では以降, 2 章にて提案手法の詳細を述べたのち, 3 章にの定量化を行っている. また, クエリの曖昧性は大きく分けてて Yahoo!ショッピングのデータを用いた実験と結果を, 4 章にambiguous, broad, clear の 3 種類に分類され [6], 図 1 のようにて関連研究について述べ, 最後に 5 章にてまとめと今後の課題

クリックされた文書群のトピック差異によって表現される.

を述べる.

2. 提 案 手 法
click entropy 及びその派生手法 [4], [5] では, 各文書を独立と仮定し, それに対するクリックのばらつき具合によってクエリ曖昧性を定量化している. そのため, クリックされた文書群のト
図1

クエリ曖昧性の 3 つの分類

図 1 の 3 つを比較したとき, Query A は 3 つが完全に別トピッ
ク, Query B は果物という点は共通だが詳細が異なる, Query

C は完全に同一のクリック, という違いがあるため, 直感的なク
エリ曖昧性は A > B > C の順番となる. 一方, 図 1 の曖昧性評価に click entropy を用いた場合, Query A と Query B は同一の曖昧性と評価される. click entropy ではクリックされた文書を独立として扱うため, 図 1 のようなケースでは ambiguousと board をうまく分類できないという問題がある.
この問題に対し, 本項では文書間の類似性を加味したクエリピックの近さが異なる場合でも, その大小を曖昧性に反映することができない. 提案手法では, 文書群のトピックの近さをクエリ曖昧性の計算に取り込むことで, これらの問題の解決を図る.

2. 1 問 題 設 定
クエリを q, 文書を d ∈ D とし, クエリ q において文書 d がクリックされた割合を p(d|q) と定義する. 本手法の目的は, ク
エリ q とそのクエリでクリックされた文書集合 Dq ⊂ D が与えられたとき, そのクエリの曖昧性 amb(q, Dq ) を計算することである.

2. 2 分散表現の導出
本手法では文書の分散表現を得るための手法に制約はなく,

latent dirichlet allocation (LDA) [7] や Paragraph Vector [8]といった任意の手法を適用することが可能である. 本項では,

g(q, Dq ) =文書自体をそのまま用いるのではなく, Yahoo!ショッピングの各商品に付与されたカテゴリ c ∈ C を利用して文書を表現する. 具体的には latent semantic indexing (LSI) [9] によってカテゴリの分散表現を導出し, それを商品の分散表現として用いた. Yahoo!ショッピングではカテゴリは木構造として保持され∑p(d|q)d∈Dqv(d)|v(d)|(4)

重心が求まったのち, クエリ曖昧性 amb(q, Dq ) は重心と各文書ベクトルのコサイン類似度の加重平均を用いて式 (5) のように計算する.ているが, LSI では全カテゴリを用いて分散表現を導出し, 後述

amb(q, Dq ) = 1 −のクエリ曖昧性の計算には木構造の葉にあたる末端カテゴリの∑p(d|q)d∈Dqみを用いた. カテゴリ情報の利用は, 文書数の上限をカテゴリ=1−数に抑えることができるため, 計算が容易になる利点がある.

g(q, Dq ) · v(d)|g(q, Dq )||v(d)|g(q, Dq ) ∑v(d)p(d|q)|g(q, Dq )||v(d)|d∈Dq

LSI は一般的に単語-文書行列を用いて計算されるが, 本項で= 1 − |g(q, Dq )|は各カテゴリが一つの巨大な文書であると仮定し, 単語-カテゴ(5)リ行列を特異値分解することでカテゴリの分散表現を導出する.

なお, 式 (4), (5) より amb(q, Dq ) は最小値が 0 であり, 値が大

具体的には式 1, 2 のように tf-idf を定義し, 行列の各要素を計きいほど曖昧なクエリであることを表す.

算した. なお, Dc はカテゴリ c に属する文書の集合を, Td は文書 d に含まれる単語集合（注 1） を, nt,d は単語 t の文書 d での出

3. 実験と評価
3. 1 データセット

現回数を表す.

∑tf (t, c) = ∑∑d∈Dc(idf (t) = log

評価には Yahoo!ショッピングの実データを用い, 具体的には

d∈Dc nt,dk∈Td nk,d|D||{d|t ∈ Td }|(1))(2)

以下の 2 種類のデータを用いた.

•商品データ : 分散表現を導出するために利用•

検索ログ : クエリ曖昧性の評価で利用

商品データは約 1.37 億の商品セットとなっており, 26,116 カ最終的に得られたカテゴリの分散表現を式 (3) のように文書の分散表現とする. なお, v(x) は要素 x の分散表現を, cd は文書d のカテゴリを表す.

テゴリ (うち末端カテゴリは 22,990) と 3,447,459 語彙から構成される. 計算上の都合から, 語彙は頻度の高い上位 100,000
語彙 (全単語の出現数の 97.5%) に制限した.

v(d) = v(cd )(3)

検索ログは訓練用とテスト用に 2 つの期間のログを用意した.
訓練用の検索ログは 2015/01/01 から 2015/03/31 までの期間

2. 3 分散表現に基づくクエリ曖昧性で集計を行い, 事前にクリック数が相対的に小さいクエリを除

各文書の分散表現が得られたのち, それらベクトルの向きの外し, 最終的に 114,536 クエリを得た. テスト用の検索ログは集約度をみてクエリ曖昧性を評価する. 図 2 に図 1 を文書ベク

2015/04/01 から 2015/04/30 までの期間で集計を行い, 訓練用トルで表現し直したイメージを示す. 文書の分散表現を用いる

データにて出現しなかったクエリを除外した.

ことで, 近いトピックを持つ文書のベクトルはその向きが近く各データセットの詳細は表 1 のようになっている.

なることが期待される. そのため, 各文書ベクトルの向きを比表 1 検証で利用するデータセット較することで, 図 2 のように 3 つの分類タイプを明確に識別す商品データることが可能となる.
対象商品数

137,320,900

カテゴリ数

26,116末端カテゴリ数 (leaf)
語彙数

期間
対象リクエスト数
対象クエリ数
図222,990
3,447,459

検索ログ
01/01/2015- 03/31/2015

04/01/2015- 04/30/2015

59,328,323

18,301,527

114,536

109,918

図 1 のクリックの文書ベクトル表現

3. 2 分散表現による類似性評価
本手法では, 文書ベクトルの向きの集約度を計算するために,ベクトルの重心とのコサイン類似度に注目する. クエリ q でクリックされた文書の重心ベクトルを g(q, Dq ) としたとき, 重心は式 (4) のように計算される.
（注 1）：本項では商品のタイトルを用いた.

実験では LSI の特異値分解として SciPy [10] を利用した. 事
前検証では分散表現の次元数を増やすことでよりよい結果が得られることが確認されたが, 計算コストの都合から分散表現の次元数を 128 とした.
表 2 に得られた分散表現を用いて評価した類似カテゴリ top3

表 2 各カテゴリとの類似カテゴリ top3
4500

パソコン, 周辺機器 > デジタルカメラ

4000

AV 機器, カメラ > カメラ > デジタルカメラ > その他

3500
3000
num

AV 機器, カメラ > カメラ > デジタル一眼レフ > その他
パソコン, 周辺機器 > デジタル一眼レフ

2500
2000

ファッション > レディース > バッグ > ハンドバッグ

1500

ファッション > レディース > バッグ > トートバッグ > その他

1000
500

ファッション > レディース > バッグ > ショルダーバッグ > その他

00

ファッション > レディース > バッグ > トートバッグ > 革
食品 > スイーツ, 洋菓子 > アイスクリーム > 詰め合わせ

図3

1

2

3

ent

4567

click entropy でのクエリ曖昧性のヒストグラム

食品 > スイーツ, 洋菓子 > ジェラート > 詰め合わせ
食品 > 和菓子 > くず餅
4500

食品 > スイーツ, 洋菓子 > プリン > 詰め合わせ

4000
3500
3000

リで文書を表現しているため, 末端カテゴリ間での比較を行っている. 表 2 より, 分散表現によって類似カテゴリがうまく取得できていることがわかり, 特に「パソコン, 周辺機器 > デジ
タルカメラ」の例では AV 機器のカメラとの類似性を正しく認

numの例を示す. 2. 2 節で述べたように, 本項では商品の末端カテゴ

2500
2000
1500
1000
500
00.0

0.1

0.2

0.30.4
amb

0.5

0.6

0.70.8

識できていることが確認できる.
図 4 提案手法でのクエリ曖昧性のヒストグラム

3. 3 クエリ曖昧性の評価
提案手法の有用性を評価するために, click entropy [2] との特性の差異について評価を行った. 本実験では文書の末端カテゴリ情報を利用して分散表現を導出しているため, click entropy
も式 (6) のようにクエリのカテゴリ分布を用いて計算した.に曖昧性の高いクエリと判定している. 一方，提案手法では0.117, 全体の 50.3 パーセンタイルと click entropy に比べ相対的に曖昧性の低いクエリと判定していることがわかる. 「テーブル」というクエリの場合, 一見するとクリックがばらけてい∑

ent(q, Dq ) =るように見えるが, 実際にクリックされる商品はテーブルとい−p(c|q) log(p(c|q))(6)

c∈Cqwhere∪

Cq =うトピックのものに偏っていることがわかり, 提案手法ではこの意図の偏りをうまく数値に反映できているといえる. 一方, 2

cdd∈Dq

つめの「バルーン」というクエリでは, 先ほどの例とは逆にクリックされる商品のトピック自体が多岐にわたっていることが以降, 評価用の検索ログを用いて 2 つの手法でのクエリ曖昧性わかる. このようなケースでは, click entropy, 提案手法ともにを導出し, 以下の 3 つの観点からクエリ曖昧性の評価を行った.

このクエリを相対的に曖昧なクエリであると判定できている. 3•

クエリ曖昧性の分類

つの目の「カルティエ 腕時計」のクエリは他とは傾向が異なる.

•

時間変化に対する安定性

このクエリの意図はクリック分布からメンズ腕時計とレディー•

検索品質との相関

ス腕時計の 2 つの主要なカテゴリで構成されていることがわか3. 3. 1 クエリ曖昧性の分類

り, 直感的には分布のばらつきという観点では曖昧性は低いと

図 3, 4 は click entropy (ent) と提案手法 (amb) について,考えられる. しかし, 提案手法ではクエリ曖昧性を 0.317, 全体

訓練用クリックログの 114,536 クエリに対するクエリ曖昧性のの 88.6 パーセンタイルと相対的に曖昧性の高いクエリと判断しヒストグラムである. 2 つのヒストグラムを比較すると, ピークてしまっている. これは, 分散表現上でメンズ腕時計とレディーの位置に差があることが分かる. click entropy に比べ提案手法

ス腕時計が近いところにマッピングされていないことに起因しではピークがより値の小さいところに存在しているが, これはている. 2 つのカテゴリはその関連性として, (1) 2 つは「腕時分散表現を用いて各文書の関連度を考慮したことで, 全ての文計」というトピックを共有しているため意味的に近い, (2) 「メ書を独立に扱うよりも曖昧性を低く評価したクエリが多くなっンズ」と「レディース」は異なるトピックであり意味的に遠い,たためと考えられる.という 2 つの真逆の解釈ができ, 今回のケースでは後者が強く実際のクエリ曖昧性の評価例を表 3 に示す. 表 3 では各クエ分散表現に影響したのではないかと推測される. このような問リについてクリック率の高かった top5 のカテゴリを記載して題への対応としては, ユーザのデモグラフィック情報を組み合いる. 初めの「テーブル」というクエリの例では, カテゴリがわせる方法が考えられる.

265 種類と多岐にわたっており, また最もクリック率の大きい

3. 3. 2 時間変化に対する安定性

カテゴリも 0.094 と低い数値となっているため, click entropy

クエリ曖昧性において時間変化に対する安定性は重要な特ではこのクエリを 3.600, 全体の 96.6 パーセンタイルと相対的性の一つである [5]. この特性の評価を行うため, 訓練データを

表 3 クエリ曖昧性の評価例
クエリ

テーブル

バルーン

カルティエ 腕時計

カテゴリ (p(c|q))テーブル > センターテーブル > その他 (0.094)
テーブル > センターテーブル > ガラス製 (0.089)
テーブル > センターテーブル > 木製 (0.089)
テーブル > ローテーブル > その他 (0.083)
テーブル > 折りたたみテーブル (0.076). . . 合計 265 カテゴリ花, ガーデニング > フラワーアレンジメント > 一般 (0.094)
ゲーム, おもちゃ > パーティーグッズ > その他 (0.087)
ファッション > レディース > バッグ > トートバッグ > その他 (0.086)
ゲーム, おもちゃ > パーティーグッズ > 室内装飾 (0.085)
ファッション > レディース > スカート > その他 (0.066). . . 合計 152 カテゴリ
ファッション > アクセサリー > メンズ腕時計 > 腕時計 (0.555)
ファッション > アクセサリー > レディース腕時計 > 腕時計 (0.409)
ファッション > アクセサリー > 腕時計用品 > ベルト, バンド (0.017)
ファッション > アクセサリー > レディース腕時計 > アンティーク (0.006)
ファッション > アクセサリー > メンズ腕時計 > アンティーク (0.005). . . 合計 15 カテゴリ

5

3.600 (96.6) 0.117 (50.3)

3.775 (97.7) 0.624 (99.7)

0.871 (18.3) 0.317 (88.6)

1.1

1234
ent on 2015/01/01 - 2015/02/14

5680-90percentile

図 5 click entropy での 2 つの期間のクエリ曖昧性の相関図

図790-100

070-800-10

0.7−1−150-60

00.8

60-70

10.930-40

21.040-50

320-30410-20relative median CTR_queryent on 2015/02/15 - 2015/03/31

amb (%tile)

1.2

6

click entropy とクエリ毎 CTR の相対値との関係

1.2

0.8
0.7

1.1

0.6

relative median CTR_query

0.5
0.4
0.3
0.2

1.0
0.9
0.8

0.1

0.2
0.3
0.4
0.5
amb on 2015/01/01 - 2015/02/14

0.60.780-90

percentile

0.890-100

70-80

50-60

60-70

0-10

0.0

40-50

−0.1
−0.1

30-40

0.7

0.020-30

0.110-20

amb on 2015/02/15 - 2015/03/31ent (%tile)

図 6 提案手法での 2 つの期間のクエリ曖昧性の相関図

図 8 提案手法とクエリ毎 CTR の相対値との関係

2015/01/01 から 2015/02/14, 2015/02/15 から 2015/03/31 の常に強い相関があり, 提案手法は click entropy と同等程度の時

2 つの期間に分け, それぞれで求めたクエリ曖昧性の相関を調間変化に対する安定性を有しているといえる.

べた. 実験では 2 つの期間でそれぞれ 50 回以上出現するクエ

3. 3. 3 検索品質との相関

リの中から 5,000 クエリをランダムに選択し, 式 (7) で定義さクエリ曖昧性の大小は検索の難しさと関連があると考えられるため, ここでは検索品質と求めたクエリ曖昧性との相関を見れるピアソンの相関係数を求めた.

ることで, クエリ曖昧性の正しさを評価する. ここでは, 式 (8)∑Nr(X, Y ) = √∑i=1 (xi − x̄)(yi − ȳ)∑NN
22i=1 (xi − x̄)
i=1 (yi − ȳ)で定義されるクエリ毎のクリック率 (CTR) を検索品質の指標(7)

図 5, 6 はそれぞれ click entropy, 提案手法の 2 つの期間でのクエリ曖昧性の相関図を表す. click entropy 及び提案手法はピアソンの相関係数でそれぞれ 0.9446, 0.9275 と 2 つの期間で非として用いた.

CT Rquery =#clickquery#requestquery(8)

CT Rquery の計算には 3. 1 節で述べたテスト用の検索ログを用いた. 検証で用いた検索ログは, クエリ曖昧性を考慮しないラエリを含む幅広いクエリで精度改善を実現したと報告していンキングモデルによって生成されているため, CT Rquery は純る. また Bannett 等の実験では, クエリ曖昧性を数値化した

粋に検索結果とユーザの意図がどの程度合致していたかを表す

QueryClassEntropy が精度改善に大きく寄与したことが示さ指標といえる.

れている. Yu 等 [13] は LDA ベースの手法で e コマースのクエ

図 7, 8 はそれぞれ click entropy 及び提案手法でのクエリ曖リから検索意図を展開する手法を提案した. Yu 等は, カテゴリ

昧性と CT Rquery の相対値をプロットしたものである. 図 7, 8

分類によるアプローチでは粒度の不均一性やカテゴリの重複には各クエリをクエリ曖昧性に応じて 10 パーセンタイルずつによるノイズが存在するため, クエリ意図を分類する上では不十分割し, 各グループでの CT Rquery の中央値を計算しており,分であると述べている. Yu 等は eBay のデータを用いて評価を縦軸は得られた CT Rquery の全クエリでのクエリ毎 CTR の中行い, LDA ベースの提案手法が eBay の既存ランキングモデル央値に対する相対値となっている. 2 つの図を比べると, 提案手に比べ, ユーザ満足度という観点から勝る結果が得られたと報法の方が click entropy に比べてより数値が小さいグループで告している.

CT Rquery がピークとなっていることがわかる. また, 最小値

4. 2 クエリ曖昧性に対する相対値でも, 提案手法の方がより大きな値となっておクエリ曖昧性はクエリ意図の代表的な要素の一つであり, 情り, CT Rquery の大小をクエリ曖昧性により強く反映できてい報検索の改善に活用できることが知られている [1], [2], [3], [14].

るといえる.

Song 等 [6] はクエリ曖昧性の分類として ambiguous, broad,

CT Rquery との相関を定量的に評価するために, 各手法のクclear の 3 つを提案した. これらはクエリのトピック分布の広エリ曖昧性と CT Rquery についてピアソンの相関係数とケンがりの差異によって表現され, ambiguous はメイントピックがドールの順位相関係数を計算した. なお, ピアソンの相関係数は複数あるクエリ, broad は一つのメイントピックの中に複数の式 (7) で, ケンドールの順位相関係数は式 (9) で表される. ここ

サブトピックがあるクエリ, clear はトピックが一意に決まるで, 式 (9) 中の P は順位関係が一致したペア数, Q は順位関係クエリ, と定義される. また, Song 等は SVM を用いて実際にが一致しなかったペア数, Tx 及び Ty は各指標で同順位となっクエリを 3 つのカテゴリに分類することを試しており, 検証したペアの数, N は全てのペアの数を表す.

たログにおいて 16%のクエリが ambiguous となったと報告している. Teevan 等 [15] は曖昧なクエリの自動分類について研τ (X, Y ) = √P −Q√N − Tx N − Ty

究を行っており, クエリ曖昧性を測る手法として potential for(9)2 つの手法と CT Rquery との相関係数の値を表 4 に示す（注 2）.
表 4 より, 明確な相関が見られる程の数値ではないものの, 提案手法の方が click entropy に比べ CT Rquery に対してより高い相関が得られている.

personalization curve を提案した. また, Teevan 等は実験の中でクリックのような暗黙的指標で人手ラベルによる明示的指標をうまく追従できることを示している. Hafernik 等 [16] はクエリ長と品詞情報を用いて曖昧なクエリを特定する手法を提案した. Hafernik 等はクエリを narrow と general の二種類に分類し, 前述の素性がそれらの分類に効果的かどうかの調査を行っ

表 4 各種法と CT Rquery との相関係数

click entropy (ent) 提案手法 (amb)ている. Luo 等 [17] は幾つかのユーザの行動に基づく素性を用いて曖昧なクエリを分類する手法を提案した. Luo 等はセッ

Pearson (|r|)

0.03650.1092

ション中のクエリ列からクエリの分散表現を学習する手法としKendall (|τ |)0.01910.0821て query2vec を提案しており, query2vec で得られる前後 k ク
エリの分散表現をセッション素性として利用している.
クエリ曖昧性の定量化では, Dou 等 [2] によって提案された

4. 関 連 研 究

click entropy が広く知られている. click entropy はクリック分

4. 1 クエリ意図推定

布のエントロピーを計算することでクエリの曖昧性を定量化

クエリ意図推定には様々な情報に注目した研究が存在しておする. Duo 等は click entropy をパーソナライズを行うかどうり, 例えばカテゴリ [3], セッション [11], サブクエリ [12], 潜在かを判断する指標として利用しており, click entorpy が小さい

トピック [13] などを用いた手法が提案されている. 本項は特に,クエリではパーソナライズが逆に精度悪化に繋がることを示

カテゴリ情報及び潜在トピックを利用する手法と関連する.

している. クエリ曖昧性の定量化には, click entorpy を拡張しBennett 等 [3] はクリックした Web ページの分類に基づくた幾つかの手法が提案されている. Wang 等 [4] はユーザ毎にランキングモデルを提案した. Bannett 等の手法では, Web

click entorpy を平均化する user entropy を提案した. Wang 等

ページのカテゴリとして open directory project (ODP) を利は user entropy は低頻度のクエリを扱う場合に効果が高いこと用し, クエリ毎に各カテゴリのクリック分布を求めることでクを示している. Duan 等 [5] は単純にクリックそのものを使うのエリ意図を計算している. Bannett 等はそれらクエリ意図にではなく, ユーザのクリックパターンを用いる pattern entropy基づく素性群をランキングモデルに追加することで, テールクを提案した. Duan 等はクリックパターンを用いることで, 複数の URL にクリックが分散するようなケースをうまく扱えると（注 2）：曖昧性と CT Rquery は負の相関となるため, ここでは絶対値を提示述べている. 本項の手法は, click entropy に関連する手法群とクエリ曖昧性の定量化を行う点は共通しているが, クリックした文書群の関連性を考慮する点が大きく異なる.

5. お わ り に
本項では, 文書間の類似性に注目し, 文書の分散表現を活用したクエリ曖昧性の評価手法を提案した. Yahoo!ショッピングの商品データ及び検索ログを用いて提案手法を評価した結果, 表面上はクリックのばらつきが大きいが, 潜在的には近いトピッ
クの文書のクリックしているような, 従来手法ではその曖昧性の低さを検知できないクエリを正しく認識することに成功した.
また, 手法の特性評価の結果, 提案手法が従来手法と同程度の時間変化に対する安定性を有しており, また従来手法よりもクエリ毎 CTR と高い相関が得られることを示した.
今後の課題としては, オープンデータセットでの手法評価があげられる. 本項では Yahoo!ショッピングという e コマースの領域での評価にとどまっているが, これをオープンデータセッ
トを用いて同様の評価を行い, 一般の問題に対しても有効であるかを示す必要がある. また, 評価指標として TREC や NICIRといった ground truth なラベルの付与されたデータセットを用い, より正確な評価を行うことが望ましい. さらに, ランキン
グモデルや意図推定などと組み合わせて, 実システムへの活用を今後検討していく必要がある.

文献[1] R. L.T. Santos, C. Macdonald, and I. Ounis. Selectivelydiversifying web search results. In Proceedings of the 19th
ACM International Conference on Information and Knowledge Management, CIKM ’10, 2010.
[2] Z. Dou, R. Song, and J.-R. Wen. A large-scale evaluation
and analysis of personalized search strategies. In Proceedings of the 16th International Conference on World WideWeb, WWW ’07, 2007.
[3] P. N. Bennett, K. Svore, and S. T. Dumais. Classificationenhanced ranking. In Proceedings of the 19th InternationalConference on World Wide Web, WWW ’10, 2010.
[4] Y. Wang and E. Agichtein. Query ambiguity revisited:clickthrough measures for distinguishing informational andambiguous queries. In Human Language Technologies: The
2010 Annual Conference of the North American Chapter ofthe Association for Computational Linguistics. Associationfor Computational Linguistics, 2010.
[5] H. Duan, E. Kiciman, and C. Zhai. Click patterns: An
empirical representation of complex query intents. In Proceedings of the 21st ACM International Conference on Information and Knowledge Management, CIKM ’12, 2012.
[6] R. Song, Z. Luo, J.-R. Wen, Y. Yu, and H.-W. Hon. Identifying ambiguous queries in web search. In Proceedingsof the 16th International Conference on World Wide Web,
WWW ’07, 2007.
[7] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent dirichlet allocation. J. Mach. Learn. Res., 3:993–1022,March 2003.
[8] Quoc Le and Tomas Mikolov. Distributed representationsof sentences and documents. In Proceedings of the 31st International Conference on Machine Learning (ICML-14),
pages 1188–1196, 2014.
[9] S. Deerwester, S. T. Dumais, W. Furnas G, T. K. Landauer, and R. Harshman. Indexing by latent semantic analysis. JOURNAL OF THE AMERICAN SOCIETY FORINFORMATION SCIENCE, 41(6), 1990.
[10] E. Jones, T. Oliphant, P. Peterson, et al. SciPy: Opensource scientific tools for Python, 2001–. [Online; accessed
2015-06-23].
[11] H. Cao, D. H. Hu, D. Shen, D. Jiang, J.-T. Sun, E. Chen,and Q. Yang. Context-aware query classification. In Proceedings of the 32Nd International ACM SIGIR Conference
on Research and Development in Information Retrieval, SIGIR ’09, 2009.
[12] Y. Hu, Y. Qian, H. Li, D. Jiang, J. Pei, and Q. Zheng. Mining query subtopics from search log data. In Proceedingsof the 35th International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR’12, 2012.
[13] J. Yu, S. Mohan, D. (P.) Putthividhya, and W.-K. Wong.
Latent dirichlet allocation based diversified retrieval for ecommerce search. In Proceedings of the 7th ACM International Conference on Web Search and Data Mining, WSDM
’14, 2014.
[14] M. Sanderson. Ambiguous queries: Test collections needmore sense. In Proceedings of the 31st Annual International
ACM SIGIR Conference on Research and Development inInformation Retrieval, SIGIR ’08, 2008.
[15] J. Teevan, T. Dumais, S, and D. J. Liebling. To personalize or not to personalize: Modeling queries with variation inuser intent. In Proceedings of the 31st Annual International
ACM SIGIR Conference on Research and Development inInformation Retrieval, SIGIR ’08, 2008.
[16] C. T. Hafernik and B. J. Jansen. Understanding the specificity of web search queries. In CHI ’13 Extended Abstracts
on Human Factors in Computing Systems, CHI EA ’13,
2013.
[17] C. Luo, Y. Liu, M. Zhang, and S. Ma. Query ambiguity
identification based on user behavior information. In Information Retrieval Technology. 2014.