DEIM Forum 2016 A7-4

網羅的情報収集タスクにおける検索結果の未閲覧情報量の提示
梅本 和俊†,††

山本

岳洋†

田中

克己†

† 京都大学大学院情報学研究科 〒 606–8501 京都府京都市左京区吉田本町†† 日本学術振興会 特別研究員
E-mail: †{umemoto,tyamamot,tanaka}@dl.kuis.kyoto-u.ac.jp
あらまし

トピックに関する重要な情報の網羅的な収集が望まれるタスクでは，多様な観点を探索するためのクエリの作成や検索を終了すべきタイミングの判断が難しいという問題が存在する．こうした網羅的情報収集タスクにおける未探索の観点の発見や検索終了判断の支援を目的として，本稿では検索結果に含まれる未閲覧情報量を提示するク
エリ推薦インタフェースを提案する．我々は未閲覧情報量を検索トピックに関する重要な情報が検索結果の中に残っている度合いと定義し，検索結果中の未閲覧文書集合から得られる追加利得としてその値を推定する．文書集合に対する利得は，（1）観点の重要性，（2）観点の新規性，および（3）観点に関する文書の適合性に基づき定式化される．24
名の被験者を対象に 4 種類の検索トピックを用いたユーザ実験を行った結果，提案インタフェースの利用者は，未閲覧情報量の推定精度が高いトピックにおいて，網羅的情報収集タスクを効率的に達成可能なことが確認された．
キーワード

クエリ推薦インタフェース，検索終了，情報検索

1. は じ め に
検索タスクの中には，1 回の検索クエリの投入や 1 つの文書の閲覧だけでは達成の困難なものが存在する．こうしたタスク
は探索型検索 [22] と呼ばれる．探索型検索で取り組まれる問
題は多角的かつ制限のないものであるため，複数の文書の収集および比較が必要になるという性質が存在する [23]．医療や健康は，探索型検索が行われやすい代表的なドメインと言われて

喫煙 癌 リスク
喫煙 疾患 関連性

未検索の情報がたくさん！
もう少し調べてみよう！

タバコ 値上がり
喫煙 メリット
喫煙 美容 影響図1

未閲覧情報量の可視化という我々のアイデアかが分かりにくいという原因が存在すると我々は考える．

いる [3]．例として，喫煙を継続すべきかどうかを判断するた

本稿では，網羅的収集タスクを対象として，検索結果中の未めに，「タバコの影響」というトピックについて検索を行うユー

閲覧情報量を提示するクエリ推薦インタフェースを提案する．

ザを考える．このトピックには「肺癌」や「値上げ」，「リラッ

我々は未閲覧情報量を検索トピックに関する重要な情報が検索

クス」などさまざまな観点が含まれており，各観点について多結果の中に残っている度合いと定義する．提案インタフェース

様な情報が存在している．ユーザがこのトピックを十分に理解は，図 1 に示すように，現在の検索クエリおよび推薦クエリ

した上で適切な意思決定を行うためには，一連の検索行動を通のそれぞれに対して未閲覧情報量を推定し，その値を棒グラフして重要な観点に関する適合文書を網羅的に収集する必要があの形式でユーザに提示する．こうした情報を提示することで，る．本稿では，こうした複数の観点に関する情報の網羅的な収ユーザは適合文書が十分に収集された観点や収集が不十分な観集が必要な検索タスクを網羅的情報収集タスクと呼ぶ．

点を視覚的に理解し，適切なタイミングで検索を終了すること

網羅的情報収集タスクに共通する以下の問題は，ユーザが同が可能になると期待される．本研究では，ユーザが文書集合かタスクを効率的に達成することを困難なものにしている．1 つら獲得する利得を（1）観点の重要性，（2）観点の新規性，およ目の問題は，多様な観点をカバーする適合文書を収集可能な検び（3）観点に関する文書の適合性に基づく尺度として定式化

索クエリを思いつくことが難しいということである．未探索のし，各クエリに対する未閲覧情報量をその検索結果中の未閲覧観点に関する適合文書が検索結果中にほとんど含まれない場合，

文書集合からユーザが獲得可能な追加利得として算出する．

ユーザはタスクを達成するまでに多くのクエリを投入する必要

提案インタフェースがユーザの検索戦略および検索成果に与がある．別の問題として，検索をいつやめるべきかを判断する

える影響を明らかにするために，網羅的情報収集タスクに関すことが難しいという点があげられる．必要以上に検索を続けるる 4 種類の検索トピックを用意し，24 名の被験者を対象にユーことは時間の無駄である一方で，検索の早期終了は重要な情報

ザ実験を実施した．被験者の検索ログを用いて，（1）現在の検の見逃しにつながりかねない．こうした問題が生じる根底には，

索の終了，（2）次の検索クエリの選択，（3）利得の獲得パターン，（1）検索対象のトピックにどういった観点が存在し，それらが（4）検索タスク全体の終了，および（5）検索コストと獲得利得どの程度重要であるかが分かりにくい，および（2）各観点にの関係性に関する分析を行った結果，提案インタフェースの利関する重要な情報がどの程度存在しているかや，そのうち現時用者は，未閲覧情報量の推定精度が高いトピックにおいて，網点までの検索で調べ切れていないものがどの程度残っているの羅的情報収集タスクを効率的に達成可能なことが確認された．

2. 関 連 研 究
本章では，（1）検索インタフェース，（2）ユーザの検索終了行
動の理解，および（3）検索結果多様化のためのサブトピック
マイニングに関する関連研究を概説する．

喫煙 癌 リスク

喫煙 メリット

喫煙 疾患 関連性

喫煙 疾患 関連性

タバコ 値上がりタバコ 葉巻 比較

喫煙 メリット

喫煙 影響 脳喫煙 美容 影響

喫煙 美容 影響

2. 1 検索インタフェース(a) タスク開始直後

検索結果ページ上に手がかり情報（information scent [15]）を付与することで，検索プロセスの効率化を図る研究や，ユーザの検索行動に与える影響を分析する研究がこれまでに数多く行

図2(b) タスク終了直前

網羅的情報収集タスクの各状態における提案インタフェースのふるまい．最初の検索の終了後の状態は図 1 に示されている

われてきた [12], [13]．Hearst [9] は，短時間での適合性判断支

ものに大別される [8]．Carbonell ら [2] は，暗黙的なモデル化援を目的として，TileBar と呼ばれるインタフェースを提案しに基づく手法として，Maximal Marginal Relevance（MMR）をている．TileBar は，検索結果の各文書に対して，クエリが出提案している．MMR は，文書の適合度と文書間の類似度を考現する位置を矩形で可視化する．Iwata ら [11] は，TileBar の慮することで新規性の高い適合文書を上位にランキングする．

設計思想を参考にして，多様な観点が存在する検索タスクに特Agrawal ら [1] は，検索結果多様化を重要なサブトピックをカ化した AspecTiles と呼ばれるインタフェースを提案している．

バーする最適な文書集合の発見と定義し，その解決策として

AspecTiles は，検索結果の各文書がどの観点に関する内容を含IA-Select と呼ばれる近似アルゴリズムを提案している．彼らのんでいるかをタイル状に表示する．Qvarfordt ら [17] は，ユー多様化アルゴリズムは明示的なアプローチに分類される．

ザが入力した検索クエリに対して，その検索結果に含まれる

本研究が対象とする網羅的収集タスクには，検索トピックに（1）既閲覧文書数，（2）過去に検索された未閲覧文書数，およ関する観点が複数存在するという点で，多様化手法の問題領域

び（3）初めて検索された未閲覧文書数を積み上げ棒グラフのとの間に類似性が存在する．そこで我々は，多様化の評価尺度

形式で可視化するインタフェースを提案している．

を参考に利得を定義する．また，サブトピックマイニング手法

本研究の提案インタフェースは，Qvarfordt ら [17] と同様，クエリレベルでの手がかり情報を提示する検索インタフェースとを利用して未閲覧情報量の推定を行う．

3. 提案インタフェース

位置付けられる．網羅的情報収集タスクでは，閲覧されていない文書の数よりも調べ切れていない重要な情報の量を把握する

本章ではまず，提案インタフェースのふるまいを説明する．

ことが本質的に重要であると我々は考える．そこで本研究では，

次に，提案インタフェースがユーザの検索戦略および検索成果

文書が既に閲覧されたかどうかに加えて，検索トピックに存在に与える影響について本研究で取り扱う研究課題を述べる．

する観点の重要性や新規性，ならびに文書の適合性といった情報も考慮した上で，未閲覧情報量の定式化を行う．

3. 1 ふ る ま い
提案インタフェースは，ユーザが入力した検索クエリおよび

2. 2 検 索 終 了各推薦クエリに対して，未閲覧情報量を棒グラフの形式で可視ユーザが個々の検索や検索タスク全体をいつ終了するかを理化し，ユーザに提示する．本研究では，クエリに対する未閲覧解するために，過去にさまざまな研究がなされてきた．Prabha

情報量を，その検索結果中に存在する重要な情報の中で，ユーら [16] は，ユーザが情報を十分に検索したと感じる基準をアン

ザがこれまでに閲覧していないものの量と定義する．

ケート調査しており，定量的な基準と定性的な基準に整理して1 章で述べた検索トピックを再び例にとる．図 2a は，ユー

いる．Wu ら [24] は，ユーザ実験を完了した被験者に対して，

ザが “喫煙 癌 リスク” というクエリを用いて「タバコの影響」

検索終了判断に関するインタビューを行っている．Dostert ら [6]に関する網羅的情報収集タスクを開始した直後の提案インタは，ユーザ実験を通して，被験者が認識する網羅度と実際の値

フェースの状態を示している．タスク開始直後は既閲覧文書がとのずれを指摘している．この実験に参加した被験者の多くは，

1 件もないため，この時点での未閲覧情報量は検索結果中に存

タスク終了時に半数以上の適合文書を発見したと信じていたが，在するトピックに関して重要な情報の総量とみなすことができ実際に獲得された再現率の平均値は 10%以下であった．

る．例えば，ユーザは図 2a から，“喫煙 癌 リスク” というクエ

Dostert ら [6] の実験結果は，情報の網羅的な収集の難しさを実証していると言える．その支援を目的として，我々は検索結

リは “タバコ 値上がり” というクエリに比べて検索結果中に多くの重要な情報が含まれていると推測できる．

果に含まれる未閲覧情報量を提示するクエリ推薦インタフェー

図 1 は，初期クエリ “喫煙 癌 リスク” の検索結果からユーザスを提案する．さらに，ユーザ実験を通して，提案インタフェー

が多くの適合情報を獲得した後の提案インタフェースの状態をスがユーザの検索終了に与える影響を定量的に分析する．

示している．この時点での同クエリの未閲覧情報量（図中の濃2. 3 サブトピックマイニング

桃色）は，タスク開始時の初期値（図中の薄桃色）から大幅に多くのユーザの情報要求を同時に満たすことを目的として，検減少している．ユーザはこの差を見ることで，現在のクエリの索結果の多様化に関する研究が近年盛んに行われている [7],[21]．

検索結果中に未探索の観点に関する重要情報がほとんど残って

検索結果多様化はクエリに関連するサブトピックのモデル化にいないことを把握できる．図 1 を詳しく見ると，現在の検索ク基づき行われるが，そのアプローチは明示的なものと暗黙的なエリに加えて，“喫煙 疾患 関連性” という推薦クエリについて

も未閲覧情報量が大きく減少していることが分かる．これは，研究の根幹をなす未閲覧情報量を定式化する．最後に，両者の両クエリの検索結果中に同一の観点に関する情報が重複して含

具体的な値の計算に必要となる各要素の推定手法を述べる．

まれているためである．一方で，“喫煙 美容 影響” など他の推4. 1 利得薦クエリについては未閲覧情報量がほとんど変化していない．

トピック t に関する網羅的収集タスクにおいて，文書集合

ユーザはこれを手がかりに，現時点までの検索で調べ切れていD = {d1 , d2 , . . . } の閲覧を通して獲得される利得 Gain-IAt (D)ない重要情報を検索結果に多く含むクエリを知ることができる．

について考える．1 章で述べたように，本タスクでは検索トピッ

ユーザが本トピックに関する情報を多角的に検索し終えると，クに関する重要かつ多様な観点について適合文書を網羅的に収多くのクエリに対して未閲覧情報量の値が大幅に減少する．図集することが望まれる．そこで我々は，利得が満たすべき要件

2b は，タスク終了直前における提案インタフェースの状態を示として以下の 3 つを考える．

している．図中の各クエリに対する未閲覧情報量を眺めること重要性に比べて，高い利得をもたらす

で，ユーザは未収集の重要情報がどのクエリの検索結果にもほとんど残っていないと判断できる．

適合性および検索成果に与える影響を調査する．具体的には，本節で述べる 5 つの研究課題に答えることに焦点を絞る．
網羅的情報収集タスクでは，ユーザは複数個のクエリを投入することが予想される．最初の 2 つの研究課題は，あるクエリが投入されてから別のクエリが投入される（あるいはタスクが終了する）までの個々の検索に関するものである．

RQ1 未閲覧情報量の提示は現在の検索の終了に関するユーザの判断にどのような影響を与えるか

RQ2 未閲覧情報量の提示は次の検索クエリの選択に関する
ユーザの判断にどのような影響を与えるか
我々は，提案インタフェースによる未閲覧情報量の提示が個々の検索におけるユーザの検索戦略をより合理的なものにすると予想する．例えば，検索クエリの未閲覧情報量を確認することで，ユーザは重要な情報を十分に収集し終えてから現在の検索を終了することが可能になるかもしれない．また，推薦クエリ
間の未閲覧情報量の比較を通して，次の検索のためのクエリが戦略的に決定されるようになる可能性も考えられる．
残りの 3 つは，検索タスク全体に関する研究課題である．

RQ3 未閲覧情報量の提示はユーザが獲得する利得の時間的変化にどのような影響を与えるか

RQ4 未閲覧情報量の提示は検索タスクの終了に関するユーザの判断にどのような影響を与えるかある観点に関する高適合文書は，その観点に関する低適合文書に比べて，高い利得をもたらす

3. 2 研 究 課 題
本研究では，上述の提案インタフェースがユーザの検索戦略

重要な観点に関する文書は，瑣末な観点に関する文書

新規性

未探索の観点に関する文書は，探索済みの観点に関する文書に比べて，高い利得をもたらす

第 1 の要件に基づき，トピック t に関する利得 Gain-IAt (D)を，t の各観点 a に関する利得 Gaina (D) へと分解する．

Gain-IAt (D) =Pr(a | t) · Gaina (D) .

a∈At

ここで，At はトピック t の観点の集合，Pr(a | t) ∈ [0, 1] は t に∑おける観点 a の重要度を表し， a∈At Pr(a | t) = 1 を満たす．
上式の分解は，意図意識型（intent-aware）の評価尺度 [1] と同様の考えに基づいており，重要な観点に関する利得を重視する．
次に，観点 a に関して文書集合 D から得られる利得 Gaina (D)を次式で定義する．

Gaina (D) =|D|∑

Rela (di ) · Disca ({d1 , . . . , di−1 }) .

i=1

ここで，Rela (d) ∈ [0, 1] は文書 d の観点 a に対する適合度を表す．観点ごとの利得の計算時には，第 2 の要件に基づき，各文書の適合度が足し合わされる．ただし，Gaina (∅) = 0 とする．
上式の Disca (·) は，第 3 の要件を満たすために設計された
ディスカウント項であり，閲覧済みの文書集合によって観点 aが十分にカバーされていた場合に，以降に閲覧される文書がGaina (·) に寄与する度合いを下げる役割を果たす．我々は，既閲覧文書集合 D′ に対するディスカウント項を以下で定義する．

RQ5 未閲覧情報量の提示はユーザが費やすコストと獲得する利得との関係性にどのような影響を与えるか∑

Disca (D′ ) =∏ ()
1 − Rela (d′j ) .
d′j ∈D ′

我々は，提案インタフェースがタスク全体におけるユーザの検索戦略や検索成果にも影響を与えると予想する．例えば，提案

上式は，高適合文書が既に多く閲覧されている観点についてはインタフェースは高い成果の継続的な獲得を可能にするかもし低い値を返す．ただし，Disca (∅) = 1 とする．

れない．また，個々の検索の終了に関する研究課題（RQ1）の4. 2 未閲覧情報量

類推として，未閲覧情報量の提示によって，合理的なタスクの本研究では，検索クエリに対する未閲覧情報量を，その検索終了判断が可能になるかもしれない．さらに，未閲覧情報量を

結果中の未閲覧文書集合を閲覧することでユーザが獲得可能な指針とした検索を行うことで，ユーザは短い時間で高い成果を追加利得と定める．具体的には，ユーザ u がトピック t に関す獲得できるという仮説も考えられる．

る網羅的収集タスクに取り組んでいる際のクエリ q に対する未4. 未閲覧情報量の推定
本章ではまず，網羅的収集タスクにおける検索成果の評価尺度として利得という概念を導入する．次に，利得を用いて，本

閲覧情報量 MIu,t (q) を次式で定義する．

MIu,t (q) = Gain-IAt (Du ∪ DqK ) − Gain-IAt (Du ) .
ここで，Du はユーザ u がこれまでに閲覧した文書集合，DqK

はクエリ q の上位 K 件の検索結果に出現する文書集合を表す．
上式が理想的な挙動を示す状況において，クエリ q に対する
未閲覧情報量 MIu,t (q) が高いことは，q の検索結果中の未閲覧
文書集合 DqK \ Du の中に，ユーザ u が見逃している重要な情報を含んだ文書が多く存在していることを示している．

4. 3 構成要素の値の推定
利得および未閲覧情報量の計算には，トピック t の観点集合

At ，各観点 a ∈ At の重要度 Pr(a | t)，および a に対する各文
書 d の適合度 Rela (d) という 3 種類の要素の値が必要となる．
本節では，その推定手法について述べる．なお，検索結果として取得する文書数 K については，実験設定に関するパラメー
タであるため，5 章にて実際に利用した値を報告する．
構成要素の値の推定は，明示的なサブトピックのモデル化に基づく検索結果多様化アプローチ（2 章）の対象タスクと同様のものである．そこで本研究では，同分野における最新の手法の1 つである Tsukuda ら [21] の手法（以降，佃手法と表記する）
を利用することで，構成要素の値を推定する．以下では，推定手法の概要を示しつつ，佃手法と異なる部分についてはその違いを明記する（注 1）．なお，本手法の適用には検索システムが必要となる．本研究では，提案インタフェースが利用する検索シ
ステムと同一のものを利用する．その詳細は 5 章にて述べる．
観点集合：トピック t の観点集合 At を推定するために，t のサブトピック集合 St を 3 種類のリソースから収集する．まず，

図3

提案インタフェースのスクリーンショット

最終的に出力すべき文書数が 10 件程度であるという理由によるものと考えられる．一方，本研究が対象とする網羅的情報収集タスクでは，ユーザは検索中に複数のクエリを投入し，多くの文書を閲覧することが予想される．そのため，未閲覧情報量の値の正確な推定のためには，可能な限り多くの関連文書に対して適合度推定を行う必要がある．そこで我々は，観点 a に関∪する適合度の推定対象となる文書集合を s∈Ca DsN へと拡張する．ここで，Ca ∈ Ct は観点 a に対応するサブトピッククラスタである．対象集合中の各文書 d に対して，観点 a に関する適合度 Rela (d) を次式で推定する．

∑

t をクエリとした際に得られるクエリ推薦をサブトピックとす

Rela (d) =る．次に，クエリログから，先頭に t を含むクエリをサブトピッs∈Ca Impt (s) · Rels (d)∑s∈Ca Impt (s).

クとして抽出する．最後に，クエリ t の検索結果に対して Zeng

ここで，Rels (d) はサブトピック s に対する d の適合度を表す．

ら [25] の手法を適用し，その結果得られるキーフレーズについその値は，佃手法に従い，Rels (d) = √てもサブトピックとする．こうして得られた St に対してウォード法を適用することでクラスタ集合 Ct を取得し，各サブトピッ

1と推定する．
Ranks (d)5. 実 験 設 定

ククラスタ C ∈ Ct がトピック t に存在する観点の 1 つに対応し本章では，我々が実施したユーザ実験の設定について述べる．

ているとみなす．5 章で述べるように，我々がユーザ実験に使

5. 1 インタフェース

用した検索トピックは過去の NTCIR で利用されたものの一部

実験では 2 種類のクエリ推薦インタフェースを用意した．1である．そこで，それらの観点集合を推定する際には，NTCIR

つ目は，3 章で説明した未閲覧情報量を提示する提案インタのタスク参加者に提供されている上記リソースを利用した．

フェース（w/ scent）である（図 3）．2 つ目は，それに対する観点の重要度：トピック t における観点 a の重要度 Pr(a | t)

比較を目的としたベースラインインタフェース（w/o scent）でを推定するために，まずは t におけるサブトピック s の重要度∑
Impt (s) を Impt (s) = d∈DN ∩DN Rank1t (d) により推定する．

ある．ベースラインインタフェースは，未閲覧情報量がユーザ

ここで，Rankt (d) は t をクエリとする検索結果中での文書 d のにふるまう．ユーザが検索ボックスにクエリを入力すると，両順位を表す．次に，各サブトピッククラスタ C ∈ Ct の中から，インタフェースは Google Suggest API（注 2） を通じて関連する推代表的なサブトピック a を a = arg maxs∈C Impt (s) により決薦クエリ集合を取得し，入力クエリの下部に提示する．検索ク

定し，トピック t の観点の 1 つとする．こうして得られた各観エリが投入されると，次節で述べる検索システムによってラン点 a ∈ At に対して，その重要度 Pr(a | t) を次式で推定する．

キングされた検索結果がインタフェースの右側に提示される．

s

Pr(a | t) = ∑t

Impt (a).
′a′ ∈At Impt (a )文書の適合度：佃手法では，各観点 a ∈ At をクエリとした際に得られる上位 N 件の文書集合 DaN のみを対象に適合度推定を行う．これは，元論文 [21] の目的が検索結果多様化であり，に提示されないという点を除けば，提案インタフェースと同様

検索結果がクリックされると，文書ビューアがインタフェースの前面に表示され，文書の内容がビューア上で閲覧可能となる．

5. 2 検索システム
我々は，Apache Solr（注 3） を用いて，両インタフェースが内部的に利用する全文検索システムを構築した．検索対象の文書
（注 2）

（注 1）

本研究では，元論文 [21] と同じパラメータ値を用いる．

（注 3）

http://www.google.com/complete/search
http://lucene.apache.org/solr/表1

ユーザ実験に用いた検索トピックとその観点

検索トピック トピックの観点
糖尿病の症状 原因，末期症状，自覚症状，予防，合併症，. . .
うつ病 症状，仕事，社会，接し方，治療，. . .
結婚式の服装マナー
恐竜つに対して提案インタフェースを，残りの 2 つに対してベース
ラインインタフェースを用いて網羅的な情報の収集に取り組ん

男性，女性，親族，髪型，二次会，. . .
化石，絶滅，図鑑・種類，博物館，時代，. . .

だ．また，利用するインタフェースや取り組むトピックの順序による影響を可能な限り取り除くために，グレコラテン方格を用いて両者の順序の回転および無作為化を行った．
我々は，本実験の被験者として 24 名（男性 20 名，女性 4 名）

コーパスには ClueWeb09-JA（注 4）を，文書のランキングアルゴリの大学関係者を募集した．その内訳は学部生 16 名，大学院生 6

ズムについては BM25（注 5） [18] を採用した．

名，研究者 2 名であり，被験者の平均年齢は 23.29 歳であった．

この検索システムを用いた予備実験の際に，内容の重複する

各被験者に実験内容を十分に理解してもらうこと，およびイン文書が検索結果の上位に表示されるという事例が何度か確認さタフェースの使い方に慣れてもらうことを目的として，前節でれた．このようなランキングは，網羅的な情報収集の妨げとな述べたトピックに関する本番タスクに先立ち，練習タスクとしるばかりでなく，計算される利得の値の正確性にも悪影響を及て「地球温暖化」に関する検索を 15 分程度行ってもらった．

ぼしかねない．我々はこの問題に対する措置として，検索クエ

実験時の検索プロセスをより現実的なものにするために，我々

リ q が与えられた際に，BM25 によってランキングされた文書

は被験者に自由なクエリの入力および任意の検索結果文書の閲リスト Rq に MMR [2] を適用することで検索結果の多様化を覧を許可した．また，タスクの達成に有用な文書を発見した際行った．具体的には，クエリ q の検索結果リストにおいて k 位には，その文書をブックマークすることを依頼した．ただし，に配置される文書 dk ∈ DqK を次式によって選択した．

閲覧中の文書からリンクを辿るという操作については許可しな][′
dk = arg max λ · RelBM25
(d)
−
(1
−
λ)
max
Sim(d,d).
q

かった．これは，リンク先の文書が本実験の文書コーパスであd′ ∈S k−1d∈Rq \S k−1

る ClueWeb09-JA の中に含まれているとは限らないためである．
被験者は，重要な観点に関する情報を網羅的に収集できたと感

ここで，S k−1 は MMR が既に選択した k − 1 件の文書集合，じた時点でタスクを終了することが求められた．

RelBM25(·) はクエリ q に対する文書の適合度として BM25 がq

被験者に全トピック数を知らせると，タスクの終了時間に影計算したスコア（注 6），Sim(·, ·) は各文書の検索結果タイトルお響を与えてしまうおそれがある．そこで我々は，十分な数のト

よびスニペット中に出現する語集合から構成された tf-idf ベク

ピックが用意されており，それらが全て完了された時点あるいトル間のコサイン類似度を表す．適合度と類似度を制御するパは開始から 2 時間が経過した時点で実験が終了すると被験者にラメータ λ については，Tsukuda ら [21] および Dou ら [7] に従伝えた．各タスクは予備実験によって 20 分以内に完了される

い，λ = 0.3 と設定した．検索結果として提示する文書数 K にことが確認されており，実際に本実験においても，全ての被験ついては，Qvarfordt ら [17] に従い，K = 100 と設定した．

者が一連の実験プロセスを 2 時間以内に完了した．

5. 3 検索トピック
本実験では，網羅的情報収集タスクに関する 4 つの検索ト6. 実 験 結 果

ピックを用意した．これらは，NTCIR INTENT-1 [20]，INTENT-

本章では，我々が実施したユーザ実験の結果を報告し，3. 2

2 [19]，および IMine-1 [14] タスクにおいて，サブトピックマイ

節で列挙した研究課題に回答する．なお，実験データは分布のニングに関するサブタスクで提供されたものの一部である．実

正規性が保証されないため，統計的有意性を検証する際にはノ験で利用したトピックを表 1 に示す．

ンパラメトリックな検定法を利用した（有意水準 α = 0.05）．

1 章でも述べたように，医療や健康は探索型検索が行われや

6. 1 正解データ

すいドメインである [3]．そこで，上述の候補の中からこうした被験者が獲得した成果を評価するために，実験で用いた各トドメインに属するトピックとして「糖尿病の症状」および「うピックについて正解データを用意した．4. 3 節で述べたとおり，つ病」を選択した．さらに，それ以外のドメインから「結婚式利得や未閲覧情報量の計算には，トピックの観点集合，各観点の服装マナー」および「恐竜」の 2 トピックを選択した．表 1の重要度，および各観点に対する文書の適合度という 3 種類のには，これらのトピックに関する観点の一部も示されている．

構成要素の値が必要である．このうち，観点集合およびそれらこれらの観点は，NTCIR のタスク主催者が評価用に提供していの重要度については，NTCIR のタスク主催者によって提供されるものである．同表より，各トピックには複数の観点が存在しているものを正解データとした．

ており（1 トピックあたりの平均観点数は 10.50），タスクの達6. 1. 1 適合性判定

成には複数の文書の収集が必要であることが分かる．

残りの構成要素である適合度の正解データを作成するため

5. 4 手順

本実験では，上述の 2 種類のインタフェースを被験者内要因
として設計した．すなわち各被験者は，全 4 トピックのうち 2（注 4）に，被験者が実験中に閲覧した各文書に対して，本稿著者らが適合性判定を行った．正解データの各観点に対する文書の適合性グレードには，irrelevant（= 0），partially-relevant（= 1），

highly-relevant（= 2），および perfect（= 3）の 4 段階を利用し
http://www.lemurproject.org/clueweb09.php（注 5）パラメータには，Solr のデフォルト値（k1 = 1.2, b = 0.75）を用いた．

（注 6）

1 位の文書のスコアで除算することで，値域を [0, 1] に正規化した．

た．判定者間で，「文書が観点に関する情報を 90%以上網羅していると思うなら perfect，60%以上なら highly-relevant，30%以上

表2

推定利得と真の利得の相関係数．太字は各指標の上位 3 件を表す
検索トピック Pearson’s r

表3糖尿病の症状

0.834

0.851

0.683

うつ病

0.845

0.860

0.678

結婚式の服装マナー

0.824

0.824

0.713

恐竜

0.710

0.702

0.529

なら partially-relevant，それ未満あるいは観点と関係ない場合はirrelevant」という適合性判定基準が共有された．こうして得られ検索開始時と終了時での未閲覧情報量の変化の平均（および標準偏差）．太字は有意差（p < 0.05）が確認された結果を表す

Spearman’s ρ Kendall’s τ

全トピック

∆MI

表4

下につながり，ユーザの検索に悪影響を与えるおそれがある．
そこで，実験で用いた各トピックについて，利得の推定精度の検証を行った．以降では，4. 3 節で述べた手法により推定された利得を推定利得（estimated gain），本節で述べた正解データによる計算された利得を真の利得（oracle gain）と呼ぶ．
我々は，推定精度の検証のために，被験者が文書閲覧を行った各々の時点での推定利得と真の利得を計算した．こうして得られた利得値のペアの系列に対して，ピアソンの積率相関係数（Peason’s r），スピアマンの順位相関係数（Spearman’s ρ），およびケンドールの順位相関係数（Kendall’s τ ）を計算した．ここで，相関係数が高い場合は，両者の利得の変動に一貫性があることを意味するため，推定精度が高いとみなすことができる．
トピックごとに上記の計算を行った結果を表 2 に示す．
同表より，「恐竜」というトピックは，他のトピックと比べて，各指標の相関係数が低いことが分かる．同トピックでは，「模型販売」や「グッズ ショップ」などの正解データには含まれていない観点が 4. 3 節で述べた手法によって重要と推定されていたことが判明した．この観点のずれが，推定利得が真の利得と一貫しない変動をもたらしたと言える．
前述のとおり，利得の推定精度の低さは，望ましくない結果をもたらす可能性がある．そこで以後の分析では，全トピックに関する結果に加えて，推定利得が真の利得と高く相関する 3トピック（高相関トピック）に関する結果，および低く相関する 1 トピック（低相関トピック）に関する結果についても示し，利得の推定精度が与える影響を議論する．

6. 2 現在の検索の終了
研究課題 RQ1 に答えるために，未閲覧情報量の提示が現在の検索の終了に与える影響を分析した．ユーザが検索結果中の重要な情報を十分に収集した場合，クエリの未閲覧情報量は検索開始時点から比べて大きく減少するはずである．そこで，被験者が投入した各クエリに対して，検索の開始時点と終了時点
での未閲覧情報量の変化を計算した．その結果を表 3 に示す．
全トピックに関する結果から，提案インタフェースはベースラ
インインタフェースに比べて，検索の前後での未閲覧情報量の

0.128

0.186

0.069

0.071

(0.120)(0.147)(0.073)(0.072)

高相関トピック

低相関トピック

w/o scent w/ scent w/o scent w/ scent w/o scent w/ scentMI

適合度の正解値は {0, 0.125, 0.375, 0.875} のいずれかとなる．

得の推定精度の低さは，提示される未閲覧情報量の信頼性の低0.138(0.134)

全トピックを適用することで適合度の正解値を用意した．この変換により，章で述べた手法で推定された利得の値を用いて計算される．利

0.109(0.110)

クエリ投入時の未閲覧情報量の平均（および標準偏差）．太字は対して，Chapelle ら [4] に従い，変換式 Rel∗a (d) = (2gad −1)/23

提案インタフェースがユーザに提示する未閲覧情報量は，4低相関トピック

有意差（p < 0.05）が確認された結果を表す

た観点 a に対する文書 d の適合性グレード gad ∈ {0, 1, 2, 3} に

6. 1. 2 利得の推定精度

高相関トピック

w/o scent w/ scent w/o scent w/ scent w/o scent w/ scent

0.211

0.241

0.238

0.298

0.155

0.162

(0.194)(0.191)(0.214)(0.210)(0.126)(0.123)

変化が大きいことが分かる．両者の差は，ウィルコクソンの順位
和検定によって有意であることが確認された（p = 0.001）．高
相関トピックでは両者の間により顕著な差が確認された一方で（p < 0.001），低相関トピックでは未閲覧情報量の変化に関してインタフェース間に有意な差は存在しなかった（p = 0.683）．
以上の結果から，推定精度の高いトピックでは，提案インタ
フェースの利用者は重要な情報をより多く収集した後で現在の検索を終えていたことが分かる．一方，未閲覧情報量の推定が不正確なトピックでは，提案インタフェースは個々の検索で収集された重要な情報の量に大きな影響を与えなかったと言える．

6. 3 次の検索クエリの選択
研究課題 RQ2 に答えるために，未閲覧情報量の提示が次の検索クエリの選択に与える影響を分析した．我々は，未閲覧情
報量の提示によって重要な情報を多く含むクエリが投入されるようになるという仮説を立てた．この仮説を検証するために，被験者が投入した各クエリに対して，投入時点でのそのクエリの未閲覧情報量を計算した．その結果を表 4 に示す．
全トピックに関する結果は，提案インタフェースではベース
ラインインタフェースに比べて，未閲覧情報量の多いクエリが投入されたことを示している．両者の差は，ウィルコクソンの順位和検定によって有意であることが確認された（p = 0.002）．
前節の結果と同様，高相関トピックではその差が大きくなった
一方で（p < 0.001），低相関トピックではインタフェース間に有意な差は存在しなかった（p = 0.521）．
この結果から，提案インタフェースの利用者は，推定精度の高いトピックに関する検索時に，重要な情報をより多く含んだクエリを優先的に投入していたことが分かる．一方で，未閲覧
情報量の推定が不正確なトピックについては，そのような傾向は見られず，どちらのインタフェースにおいても同程度の重要情報を含むクエリが投入されていたと言える．

6. 4 利得の時間的変化
研究課題 RQ3 に答えるために，未閲覧情報量の提示が被験者によって獲得される利得の時間的変化に与える影響を分析した．具体的には，タスク開始から 1 分が経過するごとに，その時点（elapsed time）までに各被験者が獲得した利得を計算し，その平均値をプロットした（注 7）．その結果を図 4 に示す．
（注 7）

各時点で検索を継続している被験者を対象として利得の平均値を計算した．

1

1

1

1

1

0.8

0.8

0.8

0.8

0.8

0.6

0.6

0.6

0.6

0.6

0.6

0.4

0.4

0.4

0.4

0.4

0.4

0.2

0.2

0.2

0.2

0.2

0.2

0

0

0

0

10

20

30

0

40

0

10

40

0

0

10

20

30

40

w/ scent(b) 高相関トピック

図4
表5

30

w/o scentElapsed Time(a) 全トピック

20

Oracle Gain

Oracle Gain10.8(c) 低相関トピック差）．太字は有意差（p < 0.05）が確認された結果を表す
全トピック

高相関トピック

20

30

40

Task Completion Time(a) 全トピック

低相関トピック

w/o scent w/ scent w/o scent w/ scent w/o scent w/ scent

0
0

10

20

w/o scent30

40

w/ scent(b) 高相関トピック

図5

よび標準偏差）．下段：獲得された利得の平均（および標準偏

Gain

10

利得の時間的変化の平均

上段：タスク開始時と終了時での未閲覧情報量の変化の平均（お

∆MI

0

0

10

20

w/o scent30

40

w/ scent(c) 低相関トピック

コストと利得の関係性

回帰分析を行った結果も含まれている．
全トピックに関する結果（図 5a）を見る限り，インタフェー
ス間で，データ点の分布に大きな違いは認められない．単回
帰分析によって得られた直線の傾き β についても，提案イン

0.162

0.195

0.188

0.256

0.106

0.110

タフェースが 0.008（決定係数 R2 = 0.187），ベースライン(0.132)(0.151)(0.143)(0.158)(0.080)(0.086)

インタフェースが 0.007（R2 = 0.158）とほぼ同一の値となった．しかし，高相関トピックについては（図 5b），提案イン

0.358

0.404

0.370

0.415

0.322

0.371

(0.132)(0.147)(0.133)(0.150)(0.129)(0.138)

全トピックに対する結果（図 4a）からは，タスク開始から約7 分が経過するまでは，インタフェース間で獲得される利得に大タフェースは β = 0.040（R2 = 0.281），ベースラインインタ
フェースは β = 0.006（R2 = 0.120）と大きな差が確認された．
また，低相関トピックについては（図 5c），提案インタフェー

きな差は見られない．しかし，それ以降は，提案インタフェー

スが β = 0.007（R2 = 0.310），ベースラインインタフェース

スの利用者がより高い利得を獲得していたことが分かる．こが β = 0.012（R2 = 0.416）となり，大小関係が逆転した．この傾向は，高相関トピックにおいてより顕著になっている（図4b）．その一方で図 4c は，未閲覧情報量の推定精度が低い場合
は，ほぼ全ての時点でベースラインインタフェースの利用者の方が高い利得を獲得していたことを示している．

6. 5 検索タスクの終了の結果から，推定精度の高いトピックでは，未閲覧情報量の提示によって単位時間あたりに獲得可能な利得が上昇したと言える．一方で，推定精度の低いトピックでは，未閲覧情報量の提示によって検索プロセスの効率が低下していたことが分かる．

7. 考

察

研究課題 RQ4 に答えるために，未閲覧情報量の提示が検索タ
スクの終了に与える影響を分析した．6. 2 節と同様の類推として，重要な観点に関する情報が十分に収集された場合，トピッ
クに関連する多くのクエリに対して，未閲覧情報量の値が大きく減少するはずである．そこで我々は，被験者がタスク中に投入した各クエリに対して，タスクの開始時点と終了時点での未
閲覧情報量の変化を計算した．さらに，タスクを通して被験者が獲得した利得についても計算した．その結果を表 5 に示す．
ウィルコクソンの順位和検定を行ったところ，全トピックに関する結果では，未閲覧情報量の変化にインタフェース間で有意な差が確認された（p = 0.002）．高相関トピックではその傾向がより顕著であったのに対して（p < 0.001），低相関トピックではインタフェース間に有意な差は認められなかった（p = 0.845）．タスク全体で獲得された利得についても，提案インタフェースの方がベースラインインタフェースよりも平均値が高いという結果が得られた．しかし，全トピック（p = 0.097），
高相関トピック（p = 0.191），低相関トピック（p = 0.410）の
いずれに対しても，両者の差の有意性は確認されなかった．

6. 6 コストと利得の関係性
研究課題 RQ5 に答えるために，被験者がタスク中に費やしたコストと，その結果として獲得した利得の関係性を分析した．本分析では，被験者がタスクを完了するまでに費やした時間（task completion time）をコストとみなした．コストを x 軸（分単位），利得を y 軸としてプロットした散布図を図 5 に示す．同図には，利得を目的変数，コストを説明変数として，単本章では，実験結果が示唆する内容について考察する．その後，本研究の限界点を整理するとともに，今後の課題を述べる．

7. 1 示唆

前節の結果から，推定精度の高い未閲覧情報量の提示は網羅的情報収集タスクの効率的な実行を可能にすることが判明した．
具体的には，提案インタフェースの利用者は，重要な情報を調べ終えた後で個々の検索を終了していた（6. 2 節）．これは，現在のクエリに対して可視化された未閲覧情報量が，検索の終了
判断の指針として効果的に機能したためと考えられる．また，提案インタフェースの利用者が，未収集の情報が多く含まれるクエリを次の検索に利用していたこと（6. 3 節）や，タスク後半においても重要情報を継続的に収集していたこと（6. 4 節）が分かった．これは，推薦クエリに対する未閲覧情報量の提示によって，情報の網羅的な収集に効果的な検索クエリの選択が可能になったためと考えられる．しかし，タスク全体で獲得される利得については，インタフェース間に有意な差が存在しなかった（6. 5 節）．この理由としては，十分に検索したと感じる
基準には個人差が存在し [16]，その基準に基づきタスクが終了された可能性が考えられる．その裏付けとして，6. 6 節の分析
結果は，インタフェースの種類によらず，高い利得を獲得するまで検索を続ける被験者もいれば，短時間で少量の利得を獲得した時点でタスクを終了する被験者もいることを示している．
その一方で，推定精度の低い未閲覧情報量の提示は，ユーザの検索プロセスをかえって非効率化してしまうことも分かった．

具体的には，提案インタフェースの利用者はベースラインイン
タフェースの利用者に比べて，単位時間あたりに獲得可能な利得が低くなってしまった（6. 6 節）．これは，提示された未閲覧
情報量の値やその変化が被験者の直感と合わず，クエリの選択
や検索の終了を適切に判断できなかったためと考えられる．

7. 2 限界

本研究では未閲覧情報量の計算に必要な利得の値を，サブト
ピックを明示的にモデル化する手法 [21] を利用することで推定した．このアプローチの限界点として，文書間で内容が重複する事例に適切に対応できないという点があげられる．我々はユーザ実験の際に，多様化された検索結果を被験者に提示することで，この問題の回避に努めた．しかし，この方法は完全な解決策とは言えない．未閲覧情報量の理想的な表現のためには，
サブトピックではなく，より粒度の細かいナゲット [5] を単位とした情報を考慮する必要があると我々は考える．この問題への対処として，階層性を考慮したサブトピックのモデリング手
法 [10] を 4 章で述べた利得の計算式および推定手法に組み込む
ことが今後の重要な課題の 1 つと言える．
第 2 の限界は，提案インタフェースの適用範囲に関するものである．本研究では，提案インタフェースの有効性を検証するために，4 種類の検索トピックのみを対象としたユーザ実験を実施した．これは，本実験の目的に未閲覧情報量の提示がユー
ザのタスク終了判断に与える影響の調査（RQ4）が含まれており，各タスクの所要時間を明示的に設定することが困難であったという理由による（5. 4 節）．今後の別の課題として，本稿で述べた実験結果に関する主張の一般性を検証するために，より多くのトピックを用いた追加実験の実施を行う必要がある．

8. お わ り に
本稿では，検索結果に含まれる未閲覧情報量を提示するクエ
リ推薦インタフェースを提案した．我々は，クエリに対する未閲覧情報量を，その検索結果中の未閲覧文書集合からユーザが獲得可能な追加利得として定式化し，サブトピックマイニング
手法を利用してその値を推定した．24 名の被験者を対象に 4 種類の検索トピックを用いたユーザ実験を行った結果，提案イン
タフェースの利用者は，未閲覧情報量の推定精度の高いトピッ
クにおいて，（1）重要な情報を十分に調べた後で個々の検索を終了する，（2）重要な情報を多く含むクエリを次の検索に利用する，（3）タスクの後半にも重要な情報を効率的に収集する，および（4）単位時間あたりに獲得可能な利得が上昇することが確認された．一方で，推定精度の低い未閲覧情報量の提示は，ユーザの検索プロセスをかえって非効率化することが判明した．
今後は，未閲覧情報量のより正確な推定のために，サブト
ピックの階層や文書間の重複をモデル化し，利得の計算式および推定手法に組み込む必要がある．また，より多くのトピックを用いた追加実験を行うことで，提案手法の適用範囲や主張の一般化可能性を明確にする予定である．
謝辞 本研究の一部は，文部科学省科学研究費補助金（課題
番号：15H01718，13J06404）によるものです．ここに記して謝意を表します．

文

献[1] R. Agrawal, S. Gollapudi, A. Halverson, and S. Ieong. Diversifying
Search Results. In WSDM, pp. 5–14, 2009.
[2] J. Carbonell and J. Goldstein. The Use of MMR, Diversity-based
Reranking for Reordering Documents and Producing Summaries. In
SIGIR, pp. 335–336, 1998.
[3] M.-A. Cartright, R. W. White, and E. Horvitz. Intentions and Attention in Exploratory Health Search. In SIGIR, pp. 65–74, 2011.
[4] O. Chapelle, D. Metlzer, Y. Zhang, and P. Grinspan. Expected Reciprocal Rank for Graded Relevance. In CIKM, pp. 621–630, 2009.
[5] C. L. Clarke, M. Kolla, G. V. Cormack, O. Vechtomova, A. Ashkan,
S. Büttcher, and I. MacKinnon. Novelty and Diversity in Information
Retrieval Evaluation. In SIGIR, pp. 659–666, 2008.
[6] M. Dostert and D. Kelly. Users’ Stopping Behaviors and Estimatesof Recall. In SIGIR, pp. 820–821, 2009.
[7] Z. Dou, S. Hu, K. Chen, R. Song, and J.-R. Wen. Multi-dimensional
Search Result Diversification. In WSDM, pp. 475–484, 2011.
[8] J. He, V. Hollink, and A. de Vries. Combining Implicit and Explicit
Topic Representations for Result Diversification. In SIGIR, pp. 851–
860, 2012.
[9] M. A. Hearst. Tilebars: Visualization of Term Distribution Information in Full Text Information Access. In CHI, pp. 59–66, 1995.
[10] S. Hu, Z. Dou, X. Wang, T. Sakai, and J.-R. Wen. Search Result
Diversification Based on Hierarchical Intents. In CIKM, pp. 63–72,
2015.
[11] M. Iwata, T. Sakai, T. Yamamoto, Y. Chen, Y. Liu, J.-R. Wen, andS. Nishio. AspecTiles: Tile-based Visualization of Diversified Web
Search Results. In SIGIR, pp. 85–94, 2012.
[12] M. P. Kato, T. Sakai, and K. Tanaka. Structured Query Suggestion forSpecialization and Parallel Movement: Effect on Search Behaviors.
In WWW, pp. 389–398, 2012.
[13] D. Kelly, A. Cushing, M. Dostert, X. Niu, and K. Gyllstrom. Effectsof Popularity and Quality on the Usage of Query Suggestions During
Information Search. In CHI, pp. 45–54, 2010.
[14] Y. Liu, R. Song, M. Zhang, Z. Dou, T. Yamamoto, M. Kato,
H. Ohshima, and K. Zhou. Overview of the NTCIR-11 IMine Task.
In NTCIR, 2014.
[15] P. Pirolli. Information Foraging Theory: Adaptive Interaction with
Information. Human Technology Interaction Series. Oxford University Press, 2007.
[16] C. Prabha, L. S. Connaway, L. Olszewski, and L. R. Jenkins. What isEnough? Satisficing Information Needs. Journal of Documentation,
63(1):74–89, 2007.
[17] P. Qvarfordt, G. Golovchinsky, T. Dunnigan, and E. Agapie. Looking Ahead: Query Preview in Exploratory Search. In SIGIR, pp.
243–252, 2013.
[18] S. Robertson and H. Zaragoza. The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends in Information
Retrieval, 3(4):333–389, 2009.
[19] T. Sakai, Z. Dou, T. Yamamoto, Y. Liu, M. Zhang, and R. Song.
Overview of the NTCIR-10 INTENT-2 Task. In NTCIR, 2013.
[20] R. Song, M. Zhang, T. Sakai, M. P. Kato, Y. Liu, M. Sugimoto,
Q. Wang, and N. Orii. Overview of the NTCIR-9 INTENT Task.
In NTCIR, 2011.
[21] K. Tsukuda, T. Sakai, Z. Dou, and K. Tanaka. Estimating Intent
Types for Search Result Diversification. In AIRS, pp. 25–37, 2013.
[22] R. W. White and R. A. Roth. Exploratory Search: Beyond the QueryResponse Paradigm. Synthesis Lectures on Information Concepts,
Retrieval, and Services, 1(1):1–98, 2009.
[23] B. M. Wildemuth and L. Freund. Assigning Search Tasks Designed
to Elicit Exploratory Search Behaviors. In HCIR, pp. 4:1–4:10, 2012.
[24] W.-C. Wu and D. Kelly. Online Search Stopping Behaviors: An Investigation of Query Abandonment and Task Stopping. In ASIS&T,
2014.
[25] H.-J. Zeng, Q.-C. He, Z. Chen, W.-Y. Ma, and J. Ma. Learning to
Cluster Web Search Results. In SIGIR, pp. 210–217, 2004.