人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第5回)
SIG-AM-05-13

モバイル「情報」検索に向けて:
NTCIR-11 MobileClick タスクへの誘い
Towards Mobile “Information” Retrieval:
Invitation to the NTCIR-11 MobileClick Task
加藤 誠 1

Matthew Ekstrand-Abueg2
1

京都大学

2

Virgil Pavlu2

Northeastern University

3

酒井 哲也 3早稲田大学

4山本 岳洋 1

岩田 麻佑 4

KDDI 株式会社

Abstract: The One Click Access Task (1CLICK) is one of the tasks of NTCIR that requires
systems to return a concise multi-document summary of web pages in response to a query which isassumed to have been submitted in a mobile context. Our goal is to retrieve “information” rather
than documents to directly and immediately satisfy a user’s information need. We report the resultof the second 1CLICK task in NTCIR-10 (1CLICK-2), and describe participants’ approaches todiscuss who can benefit from the participation in the 1CLICK task. Furthermore, we introduce thenext round of the 1CLICK task called MobileClick, in which participants are required to submit a
two-layered summarization suitable for mobile information access.

1

はじめに

表 1: クエリ「北川景子」の iUnit 例．

NTCIR (NII Testbeds and Community for Information access Research) はアジア言語に焦点を当てた，1 年半ごとに開催される情報アクセスシステムの評
価フォーラムである．本報告では，NTCIR の一タスクである，1CLICK (One Click Access) タスク [Sakai 11,Kato 13] を紹介する．1CLICK タスクは，与えられたクエリに対して簡潔な複数文書要約を検索結果として出力するタスクであり，特に，モバイルユーザの情報アクセスを想定したタスクとなっている．例えば，テレビを店で買う際にプラズマと液晶の違いを知りたくなったユーザが，「プラズマ 液晶 違い」というクエリを携帯端末で入力したとする．検索ボタンがクリックされた後，従来の検索システムであれば，順位付けされた文書のリストを出力する．もしユーザが事実に基づく解説や利用者の使用感など多角的な視点から違いを調べたい場合には，これらのリストを順に閲覧し満足するまで何度も検索結果をクリックをしなければならない．1CLICK タスクは，検索ボタンがクリックされた後，それ以上クリックをせずに，即座に必要な情報が得られるようになることを目的として提案された．従来の検索システムが提示する 10 件の URL リストの代わりに，1CLICK システムは複数の文書の重要な「情報」を要約してユーザに提示するのである．
参加システムは，iUnit と呼ばれる最小の情報単位をどれくらい多く含むか，より重要な iUnit を要約の最初の方に出力することができるか，また，いかにユー

ID
I001
I004
I049
I050

entailsI050(a)semantics

vital stringw

身長： 160cm
1986 年生まれ
2009 年明治大学卒
明治大学卒

160cm
1986 年生まれ
2009 年
明治大学卒

1118
15
11(b)
Nonrelevant
text
Relevant text
X’=300(c)
Relevant text

Relevant text

Nonrelevant
text
X’=300Nonrelevant
text

X’=500

図 1: 1CLICK システムの評価．
ザが読む文章量を少なくできているか，という観点から評価される．表 1 はクエリ「北川景子」に対して用意された iUnit の例を示す．各 iUnit はその内容を示
す semantics，semantics の最小のテキスト表現である
vital string，そして，重要度を表す重み w によって構成されている．iUnit 間には含意関係がある場合があり，含意する iUnits の ID が entails 列に書かれている．例
えば，iUnit I049 は I050 を含意している．
2 回目の 1CLICK タスク (1CLICK-2) では，S-measureおよび T-measure，両評価指標を組み合わせた S♯-measure- 64 -

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第5回)
SIG-AM-05-13という評価指標を利用することで，参加システムの性能を定量化した [Sakai 12]．S-measure はより重要な情報を要約の先頭に出力するシステムを高く評価する．例
えば，図 1 のシステム出力のうち，S-measure は正解情報を先頭に出力する (b) を (a) よりも高く評価する．
一方で，T-measure は正解情報の割合が高い結果を高く評価する指標であり，図 1 の例では (b) を (c) よりも高く評価する．S♯-measure は S-measure と T-measureの調和平均であり，1CLICK-2 ではこの指標を主たる評価指標としている．
本論文では，1CLICK-2 における取り組みと参加チームの提案システムを紹介することによって，1CLICK タスクが目指すモバイル「情報」検索を説明し，1CLICKタスクに参加するメリットについて述べる．また，1CLICKタスクを引き継ぎ，現在進行している MobileClick タスクについても紹介する．

2

1CLICK-2 の概要

1CLICK-2 タスクは 10 回目の NTCIR にて企画され，2012 年 8 月に本番クエリの公開，同 10 月に結果の提出，2013 年 6 月に NTCIR Conference にて結果の報告がされた．対象言語は日本語と英語であり，世界 5ヵ国
から 10 チームの参加があった．参加チームは 1CLICKシステムを構築してその優劣を競い，本論文の著者によって構成されるオーガナイザはタスクを定義し参加チームの評価を担当している．
1CLICK-2 のメインタスクは冒頭でも述べたとおり，与えられたクエリに対して複数文書を要約した結果 (日本語：500 文字もしくは 140 文字，英語：1000 文字もしくは 280 文字) を出力するというものである．参加者は3 種類のランを選ぶことができ，それぞれ，Mandatory
ラン（提出必須．配布された文書集合の中から要約を作成する），Oracle ラン（配布された文書集合とクエリへの適合文書 ID リストから予約を作成する），Openラン（任意の文書集合から要約を作成できる）となっている．
参加者にはクエリと文書集合が配布され，各クエリに対して決められた文字数以内の要約を出力することが求められる．クエリは ARTIST（例：「倉木麻衣」）,ATHLETE（例：「イチロー」）, POLITICIAN（例：「小池百合子 キャスター」）, ACTOR（例：「栗山千明カーネーション」）, FACILITY（例：「京都真如堂」）,GEO（例：「京都市 スーパー銭湯」）, DEFINITION（例：「gps」）, QA（例：「なぜ猫はのどを鳴らすのか」）の 8 つのカテゴリのうちのいずれかに属しており，合計 100 クエリが参加者に配布された．
参加者が 1CLICK システムを構築する一方で，オーガナイザー側は，参加者に配布したものと同じ文書集

図 2: 提出されたランと iUnit のマッチング．
合から，各クエリについて iUnit と呼ばれる適合情報の抽出を行った．iUnit の例は冒頭にて述べたとおり，
表 1 に示されている．
参加者からランを受け取った後，オーガナイザによって 1CLICK システムが評価された．まず，提出されたランのどの部分が用意された iUnit に合致するのかを人手で判定した．この作業の様子を図 2 に示す．評価者は左側に表示されたランの内容から，右側に表示された iUnit に合致する部分をマウスで選択し，ランのどの箇所が各 iUnit に対応しているのかを簡単に記録することができるようになっている．
提出されたランと iUnit のマッチングの後，各シス
テムは S-measure, T-measure, および，S♯-measure によって評価され，この結果は参加チームへと公開された．次節では参加チームが利用したアプローチについて簡単に紹介し，次々節では各システムの結果について触れる．

3

1CLICK-2 の参加チーム

本節では 1CLICK-2 のメインタスクに参加したチームがとったアプローチについて簡単に紹介する．詳細については NTCIR-10 会議論文集 1 を参照して欲しい．
TTOKU (東京工業大学) チーム は 1CLICK タスクを要約問題として取り組んだ [Morita 13]．要約にはQuery SnowBall というクエリ指向要約手法が用いられ，元のテキストをそのまま抜粋するだけではなく文圧縮も行っている．MSRA (マイクロソフトリサーチアジア) チームは，クエリタイプごとに重要な属性を抽出し，それらの属性を元にして文をランキングすることで要約を作成している [Narita 13]．NSTDB (奈良先端科学技術大学院大学) チームは，配布された HTML 文書を XML 文書に変換することによって，1CLICK タ
スクを XML 要素検索の問題と捕らえ，他のチームとは違う視点から本タスクに取り組んでいる [Keyaki 13]．
1 http://research.nii.ac.jp/ntcir/workshop/
OnlineProceedings10/NTCIR/toc_ntcir.html- 65 -人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第5回)
SIG-AM-05-13

ut (トゥウェンテ大学) チームは様々な API（FreebaseTEXT API や Yahoo! GeoPlanet API やなど）を組み合わせることによって，各クエリタイプに特化した結果を出力している [Ionita 13]．udem (モントリオール大学) チームは質問応答技術に基づいた手法によって，異なるクエリタイプに対し統一的な方法をもって取り組んでいる [Duboue 13]．KUIDL (京都大学) チーム
は Web 文書から属性と属性値のペアを抽出し，それをランキングすることによって構造を意識した要約に挑戦している [Manabe 13]．
要約，属性抽出，XML 文書検索，マッシュアップ，質問応答，情報抽出と，上述の 6 チームのキーワードのみを拾ってみても，そのアプローチは多岐にわたっていることがわかる．したがって，1CLICK タスクは多様な興味を持つ研究者が参加できるタスクであると言える．ぜひ，少しでも関連のある研究をしている場
合には，参加を検討していただきたい．

0.5

overallS#-measure

0.4
0.3
0.2
0.1
0

図 3: 1CLICK-2 日本語ランの結果

S#-Measure

0.25

queries=ALL

sys=ALL

0.2
0.15
0.1
0.05

4

BA
BA SELSE INE
LIN -SE- NIPK WIK PE
BA UIDL I-HE TS-E
SE -E
A -M
BA K LIN -M-M D-EE
MS U
BA ELIN IDL- -OR AND
SE E- E-M CL -7
LIN WI -O -EMK
EI- PEud SNIP KWD N-8em-E PET -E-M
NS ut- M-M S-E
BA BA TDB E-D- AND D
SE SE -E- OP -2
LIN LIN M- EN
M
E- EWI OR AND 1
KI- C -6
HE L-Euud t-E
A -D
BA K em- -D-O D-ESE UID E-D PE D
LIN L- -M NE
2A
NS E-W -D-O ND4T IK
NS DB- I-KWPEN
E
TD D 6
KU B-E D-M -E-D
NS IDL- -D-MAND
T E
A -3
NS DB- -D-M ND
T E
A -5
NS DB- -D-M ND
TD E-D AN -5
ud B-E- -MA D-4eDN
ud m-E -MA D-1
em -D- ND-E MA -2-D-M NDAN 3
D10

1CLICK-2 の結果

図 3 および図 4 は 1CLICK-2 日本語ランと英語ランの結果をそれぞれ表している．両グラフとも横軸には提出されたランが S♯-measure の高い順に並んでおり，縦軸は S♯-measure を表している．詳細は割愛するが，今回の 1CLICK タスクではベースライン（図中の ORGおよび BASELINE）が意外にも良い結果を出しており，1CLICK システムには改善の余地が大いにあると言える．ベースラインには Wikipedia の最初の文章や検索結果の上位数件のスニペットを結合したものが用いられており，Wikipedia にあるようなエンティティ名をクエリにした場合にはこれらの手法で十分に良い結果が得られている．一方で，あるエンティティに関する概要的な情報だけではなく，より特化した情報が正解となるようなクエリ（「中村紀洋 ホームラン」や「ロバート ケネディ キューバ」など）に対しては，単純なベースライン手法はそれほど有効でないことがわかっている．
いくつかのクエリタイプに対しては，参加チームのシステムがベースラインに勝っている．例えば，FACILITY クエリに対しては，KUIDL チームが最も良い結果を残しており，これは同チームの情報抽出に基づく手法が FACILITY クエリの iUnit（住所や電話番号など）を発見するのに適していたと考えられる．QA ク
エリでは，TTOKU チームのランが最も良い結果を残している．同チームの要約に基づく手法が特に質問応答タスクに似た QA クエリの設定に効果的であったと思われる．

図 4: 1CLICK-2 英語ランの結果

5

MobileClick タスク

11 回目の NTCIR では，1CLICK タスクは MobileClick
タスクとその名前を変えて継続される予定である．MobileClick タスクではよりモバイル環境の検索に焦点を当て，与えられたクエリに対して 2 層の要約を出力するタスクとなっている．図 5 に 2 層の要約の例を示す．
MobileClick システムの第 1 層の出力は同図の中央のスクリーンショットのように，与えられたクエリの概要的な情報とより詳細な情報へのリンクを含んでいる．
ユーザは表示されたリンクをクリックすることで，同図の右側にあるような画面へと遷移することができる．
この出力は 1CLICK タスクよりも現実的な，また，たくさんの情報を一画面で見ることができないモバイルユーザにとって効果的な提示方法となっている．
一方で，このようなタスクは参加者にとってもより挑戦的な内容となっている．参加チームは取得した情報を第 1 層に表示するべきか，もしくは，第 2 層に表示するかの選択を行わなくてはならない．取得された情報がどのユーザにとっても有益（概要的）であれば第 1 層に，ある特定のユーザにとって有用であれば第2 層に提示した方が，1CLICK タスクでの評価基準であった「即座に重要な情報」，「必要最低限の閲覧文章- 66 -人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第5回)
SIG-AM-05-13

謝辞
1CLICK-2 の参加チーム，および，NTCIR のチェア・事務局の皆様のご尽力に感謝申し上げる.

参考文献[Duboue 13] Duboue, P., He, J., and Nie, J.-Y.:
Hunter Gatherer: UdeM at 1Click-2, in Proc. of
the 10th NTCIR Conference, pp. 233–236 (2013)

図 5: MobileClick タスクの出力例[Ionita 13] Ionita, D., Tax, N., and Hiemstra, D.:API-based Information Extraction System for
NTCIR-1Click, in Proc. of the 10th NTCIR Conference, pp. 225–232 (2013)

表 2: MobileClick のスケジュール．

2013 年2014 年

8月

Web ページ公開

10 月

サンプルクエリ・iUnit 公開

3月

テストクエリ公開

4月

ラン提出締切8月

評価結果公開12 月

NTCIR-11 Conference[Kato 13] Kato, M. P., Ekstrand-Abueg, M.,
Pavlu, V., Sakai, T., Yamamoto, T., and Iwata, M.:
Overview of the NTCIR-10 1CLICK-2 Task, in
Proc. of the 10th NTCIR Conference, pp. 183–211(2013)

量」をより良く満たすことになる．
上述の変更点に加え，MobileClick タスクでは iUnit
検索サブタスク（重要な情報の断片を文書から抽出）と iUnit 要約サブタスク（与えられた重要な情報の断片から 2 層の要約を生成）の 2 つのサブタスクを用意しており，例えば，情報抽出にだけ興味がある参加者
は前者のサブタスクのみに，要約にだけ興味がある参加チームは後者のサブタスクのみに参加することができるため，今回のタスクではより多くの方々に広く門戸を開いている．

6

まとめ

本論文では，1CLICK-2 における取り組みと参加チームの提案システムを紹介することによって，1CLICK タスクが目指すモバイル「情報」検索を説明し，1CLICKタスクに参加するメリットについて述べた．また，1CLICKタスクを引き継ぎ，現在進行している MobileClick タスクについても紹介した．
現在のところ，MobileClick のスケジュールは表 2 を予定している．情報検索，自然言語処理，データベースなどに関する研究をしている方は，一度 MobileClickのホームページ 2 を訪れていただきたい．

[Keyaki 13] Keyaki, A., Miyazaki, J., and Hatano, K.:
XML Element Retrieval@1CLICK-2, in Proc. of the10th NTCIR Conference, pp. 237–242 (2013)[Manabe 13] Manabe, T., Tsukuda, K., Umemoto, K., Shoji, Y., Kato, M. P., Yamamoto, T.,Zhao, M., Yoon, S., Ohshima, H., and Tanaka, K.:
Information Extraction based Approach for theNTCIR-10 1CLICK-2 Task, in Proc. of the 10thNTCIR Conference, pp. 243–249 (2013)[Morita 13] Morita, H., Sasano, R., Takamura, H.,and Okumura, M.: TTOKU Summarization Based
Systems at NTCIR-10 1CLICK-2 task, in Proc. ofthe 10th NTCIR Conference, pp. 212–217 (2013)[Narita 13] Narita, K., Sakai, T., Dou, Z., andSong, Y.-I.: MSRA at NTCIR-10 1CLICK-2, inProc. of the 10th NTCIR Conference, pp. 218–224(2013)[Sakai 11] Sakai, T., Kato, M. P., and Song, Y.I.: Overview of NTCIR-9 1CLICK, in Proc. ofNTCIR-9, pp. 180–201 (2011)[Sakai 12] Sakai, T. and Kato, M. P.: One Click One
Revisited: Enhancing Evaluation Based on Information Units, in Proc. of AIRS 2012, pp. 39–51(2012)

2 http://www.dl.kuis.kyoto-u.ac.jp/ntcir-11/
mobileclick/- 67 -