DEIM Forum 2019 P1-137

要約型情報検索における適合情報のクエリのタスクごとの複雑性調査
欅惇志†宮崎純†† 東京工業大学 〒 152–8552 東京都目黒区大岡山 2-12-1
E-mail: †keyaki@lsc.cs.titech.ac.jp, ††miyazaki@cs.titech.ac.jp
あらまし

本稿では，情報要求に基づくクエリのタスクごとの適合情報の特徴を調査する．要約型情報検索の検索結果は，文書全体ではなく，文書中のテキストの一部分である適合情報である．我々は，適合情報の性質はタスク (QA
検索，語の定義検索など) ごとに異なるという仮説を立て，(1) 粒度 (語，フレーズ，文など) と (2) 構造の複雑性の観点で適合情報の分析を行った．分析の結果，より複雑な情報要求に基づくタスクほど粒度が大きくなることが判明した．その一方で，情報要求の複雑性と適合情報の構造の複雑性は必ずしも一致しないという結果が得られた．
キーワード 要約型情報検索，クエリのタスク，relevant text fragment，iUnit，MobileClick
考えられ，従ってこの粒度はタスクの複雑性と相関を持つ可能

1 はじめに性がある．また，単純な情報を表現する iUnit はその構造も単情報システムや情報社会の発展に伴い，情報検索におけるユー純であることが想定される．ただし，本研究における単純な構

1

ザの情報要求は多様化・複雑化の一途を辿る．そのような状況

造とは key-value 形式を満たすこととする．これらの議論を踏において，単一のモデルでは常に適切な検索結果を提示する

まえ，タスクごとに適切な iUnit 抽出アプローチは異なるといことができるとは限らず，複数のモデルから適切なモデル選択

う仮説のもと，本研究では下記のリサーチ · クエスチョン (RQ)して検索結果を構築することがより望ましい．モデル選択にを明らかにする:はさまざまなアプローチが考えられ，クエリのタスクもそのRQ1 タスクごとに iUnit の性質は異なるのか?

一つである．タスクの分類方法にもさまざまな基準が存在し，

RQ2 タスクごとに iUnit の粒度 (語，フレーズ，文) は異な

Broder’s initial classification [2]， インタラクティブ情報検索るのか?の cognitive process [1]，Li らの情報要求に基づく分類 [10] な

RQ3 タスクごとに iUnit の構造の複雑性は異なるのか?

どである．

そこで本研究では，iUnit に対してその粒度や構造を調査しLi らは Google 検索に問い合わせられたクエリのログから，た．分析の結果，より複雑な情報要求に基づくタスクの iUnit

その情報要求を表 1 の 20 カテゴリに分類した．タスクには単はより大きな粒度を持ち，タスクの複雑性と iUnit の構造の純な情報要求に基づくタスクや複雑な情報要求に基づくタスク複雑性は必ずしも一致しないという結果が得られた．これによが存在すると報告されている．また，単純な情報要求に基づくり，タスクごとに適切な iUnit の粒度が明らかになり，高精度タスクでは，検索結果の各ページの要約文であるスニペットかなユーザの情報要求を直接解決する要約型情報検索システムのら直接情報要求を満たすことができる．つまりユーザは各ペー実現において有用な知見が得られた．

ジをクリックすることなく求める情報を取得することができるため，ページ閲覧の負担を軽減することができ，大変有益であ2 クエリのタスク分類と MobileClick

る．その一方で，複雑な情報要求に基づくタスクにおいてはス

Li らの情報要求に基づくクエリのタスク分類 [10] (表 1) におニペットの改善の余地があることが報告されている．このこと

いて，weather ，stock ，showtimes ，spelling などは単純な情から，タスクごとに適切な検索結果構築アプローチが異なるこ

報要求に基づくタスクであり，スニペットによって情報要求とが示唆される．

が満たされると報告されている．また，Click-to-call や SMS,要約型情報検索の一種であり，文書中から適合情報を抽出しTranslation などのように，検索システムをトリガーとした別て提示する NTCIR のタスクである MobileClick [7] では，複のアプリケーションの実行を想定したタスクも存在する．その雑な情報要求に基づくタスクである Local, Celebrities, QA に

一方で，Local，Celebrities，QA，Images などは複雑な情報加えて，頻繁に実行されるタスクである Definition を対象とし要求に基づく情報要求であり，スニペットの構築方法においてている．なお，MobileClick において適合情報は information改善の余地があると報告されている．

unit (iUnit) と呼ばれ，その定義は，クエリに適合するテキス

MobileClick では四種類のタスクに取り組んでいる．そのう

トの断片であり，意味解釈における最小粒度である．そのため，

ちの三種類のタスクは，テキスト検索ではない Images を除く

iUnit は，語 (複合語)，句，文など，任意の粒度で構成される．

複雑な情報要求に基づくタスクである Local，Celebrities，QA

複雑な情報を表現する iUnit はより大きな粒度で形成されるとであり，四つ目のタスクは Web 検索にて頻繁に実行されるタスクである Definition である．なお，我々が行った調査の結1：本論文は AIRS 2018 に採択された論文 [9] と同様の内容である．

表 1 クエリのタスクと情報要求，クエリ例
タスク

定義

クエリ例

Local

Local listing (phone number)museum allentown

Celebrities

News or images of a celebrity

christopher nolan

Definition

Definition of a term

bitcoin

QA

Short answer to a question

how to cook coleslaw

Currency

Currency conversion

1 USD in GBP

Click-to-callUser-typed a phone number into search to call it.

ImagesPictures of a person or thing

cubs logo

LyricsSong lyrics

abettes with time lyrics

Map

Map of a location (e.g., address, geographic locations)

E 83rd St, Los Angeles, CA 90001

NewsCurrent news on a topic

santa cruz wild fires

ProductProduct information (e.g., price, vendors)

2000 gsx 750f for sale

PersonContact information on a non-celebrity person

Quotation

Reference of a quoted sentence/phrase

Stock

Current stock pricequote AKAMSportsSports scoreschicago cubs

Showtimes

Movie showtimes

The Dark Knight

Spelling

Correct spelling of a word

unfortuanatly

SMS

Short (greeting) messages to send

Translation

Translation of a word in foreign language

dounika translation

Weather

Weather report

Weather New York果，Web 検索のクエリである TREC Web track topics 2 の大部分はこの四種類に分類されるタスクであるという結果が得ら

3 アノテーションと分析れた．

本節では，iUnit に対する粒度と構造の複雑性のアノテーショ

なお，本研究では，上記の四種類のタスク間の情報要求の複雑性の比較において，インタラクティブ情報検索における六種類の複雑なクエリのタスクである cognitive processes [1] (表 2参照) に基づき，Definition と QA はより複雑な情報要求に基づくタスクであり，Local と Celebrities はより単純な情報要求に基づくとみなす．これは，Local と Celebrities はいずれも単一のプロセス Understand に基づくタスクであると見なせるのに対して，Definition と QA はそれぞれ複数のプロセス(Definition は Understand と Analyze，QA は Understandと Evaluate) の組合せから構成されるタスクであり，より複雑なタスクであるとみなすことができるためである．

MobileClick は，文書中から情報要求を満たす適合情報を直接提示することを目指す要約型情報検索の一種である．その際，適合情報は iUnit と表現され，iUnit の定義はクエリと適合する意味解釈可能な最小粒度のテキスト断片である．表 3に iUnit の例を示す．我々は MobileClick-2 dataset 3 を利用した．データセットには 100 個のクエリ 4 (Local クエリ 20 個，ンと，その分析結果について述べる．

3. 1 粒度と構造の複雑性のアノテーション
我々はクラウドソーシングを利用し，iUnit に対して粒度と構造の複雑性のアノテーションを行った．各 iUnit は，key-value ，word (語，複合語)，sentence (フレーズ，文)，disable (分類不可) が付与される．key-value 形式の具体例を示すと，表3 の Local と Celebrities の iUnit はいずれも key-value 形式である．Tel と Movie が key に相当し，610-432-4200 と‘Interstellar’ が value を表す．なお，予備実験の結果，多くのクラウドワーカにとってフレーズと文の区別が困難であることが判明したため，フレーズは文とみなすように教示を行った．アノテーションの手順は，まず，各 iUnit が key-value の形式を満たすかどうかの判別を行い，満たさない場合に，wordもしくは sentence，disable を選択するように指示した．アノテーション結果の信頼性担保のため，各 iUnit は 5 名のクラウドワーカにアノテーションを依頼した 5 ．

Celebrity クエリ 20 個，QA クエリ 20 個，Definition クエリ

3. 2 アノテーション結果の分析40 個) と 2,317 個の iUnit が含まれる．なお，これらの iUnit

アノテーション結果の詳細を図 1 に掲載する．Fleiss’ Kappa

は人手によって適合文書中から適合情報を網羅的に抽出するこの値は 0.65 であり，信頼性の高いアノテーション一致度が確認とで作成されている．

された．各 iUnit に対して，5 名中 3 名以上が同一の項目を選択した場合には key-value (kv)，word，sentence，disable として計上し，それ以外の iUnit は invalid として計上した．そ

2：https://trec.nist.gov/
3：http://www.mobileclick.org/
4：本研究では予めタスクが付与されたクエリを用いるものの，クエリのタスク

5：ア ノ テ ー ション 結 果:

推定に取り組んだ関連研究は存在する [11] [12] [14]．

dataSet/mc2_iunitGranular_dist.tsv

http://www.lsc.cs.titech.ac.jp/keyaki/表 2 インタラクティブ情報検索における cognitive processes [1]Process

Definition

Remember

Retrieving, recognizing, and recalling relevant knowledge from long-term memory.

Understand Constructing meaning from oral, written, and graphic messages through interpreting,exemplifying, classifying, summarizing, inferring, comparing, and explaining.
Apply

Carrying out or using a procedure through executing or implementing.

Analyze

Breaking material into constituent parts, determining how the parts relate to one another

Evaluate

Making judgments based on criteria and standards through checking and critiquing.

CreatePutting elements together to form a coherent or functional whole; reorganizing elements

and to an overall structure or purpose through diﬀerentiating, organizing, and attributing.

into a new pattern or structure through generating, planning, or producing.
表 3 iUnit の例
タスク

クエリ

iUnit

iUnits 個数 (比率)Localmuseum allentown

Tel: 610-432-4200

625 (0.22)

Celebrities christopher nolan

Movie: ‘Interstellar’778 (0.27)

Definition

bitcoin

online payment system

1,165( 0.40)

QA

how to cook coleslaw

Chop the green pepper and onion 329 (0.11)

100%

100%

80%

80%

60%

kv
word
sentence
disableinvalid

40%
20%
0%

図 1 Summary of the Tagging Results

60%
40%

kv
setence20%0%

図 3 Results of the Structural Complexity

100%Celebrity では小さな粒度の iUnit が多く，より複雑な情報要80%求に基づくタスクである Definition と QA では大きな粒度が60%多かった．従って，RQ2 についてはタスクごとに iUnit の粒40%kv+word
sentence

20%

度は異なり，より複雑な情報要求に基づくタスクほど iUnit の粒度は大きくなるという結果が得られた．
構造についての結果を図 3 に載せる．ここでは，単純な構造と0%して key-value，複雑な構造として sentence を用いる．Local においては想定の通り Area:30,050 km2 や Hours:8:00 am- 5:00 pm といった key-value 形式を満たす iUnit が多かっ
図 2 Results on Granularity

た．それに対して Celebrities では，runs the productioncompany Syncopy Inc. といった word では表現できない iUの結果，disable と分類された iUnit はなく，invalid と分類さnit が多数存在したため，key-value の比率が低くなった．よりれた iUnit は全体の 1%–4% 程度であった．なお，計上する人

単純な情報要求に基づくタスクである Celebrities の key-value

数の閾値を変更しても各項目の比率はほとんど変化がなかった．の比率が，より複雑な情報要求に基づくタスクである Definition

タスクごとに 各項目の比率は大きく異なることから，RQ1 にと QA と同程度だったことより，RQ3 に関して，タスクごと関して，iUnit の性質はタスクごとに異なるということが明らに iUnit の構造の複雑性は異なるものの，情報要求の複雑性とかになった．

iUnit の構造には相関が認められなかった．

続いて，粒度に関する結果を図 2 に載せる．その際，kv とこれらの結果より，文書中の適合情報である iUnit はタスク

word はいずれも小さな粒度であるため一つに纏め，全体にほごとにその粒度の傾向は異なり，情報要求の複雑性との相関をとんど影響を及ぼさない disable と invalid は単純化のため除持つことが確認された．従って，要約型情報検索における検索外した．より単純な情報要求に基づくタスクである Local と結果構築に本研究の知見を活用することで検索精度の改善を見込むことができる．

4 関連研究本研究において，我々はタスクごとの適合情報の複雑性を考慮する上で，適合情報の粒度と構造の複雑性に着目した．タスクの複雑性や難易度を評価する上でさまざまな指標が提案されており，タスク実行時の振る舞い [5], [6]，質疑応答 [8]，検索結果の多様性 [4]，事前決定性 [3] (入力，プロセス，出力が推定できるかどうか)，サブタスクの個数やクエリ中のオペレーション数 [13] などである．本研究では検索システムユーザのデータは取り扱わず，適合評価データを用いたという点で，文献 [4] が最も関連する研究である．

5 おわりに
本研究では要約型情報検索における適合情報のタスクごとの性質の差異を分析するため，MobileClick dataset 中の iUnit に粒度と構造の複雑性を付与した．その結果，タスクの情報要求の複雑性と iUnit の粒度には相関があることが判明したが，iUnit の構造の複雑性とは相関が認められなかった．今後は本研究の知見を利用し，要約型情報検索の精度の改善に取り組む予定である．

謝辞

本研究の一部は，JST ACT-I，JSPS 科研費 JP17K12684 の助成を受けたものである．ここに記して謝意を表す．
文

献[1] Lorin W. Anderson, David R. Krathwohl, Peter W.
Airasian, Kathleen A. Cruikshank, Richard E. Mayer,
Paul R. Pintrich, James Raths, and Merlin C. Wittrock.
A Taxonomy For Learning, Teaching, And Assessing: ARevision Of Bloom’s Taxonomy Of Educational Objectives.
2002.
[2] Andrei Broder. A Taxonomy of Web Search. ACM SIGIRForum, Vol. 36, No. 2, pp. 3–10, 2002.
[3] Katriina Byström and Kalervo Järvelin. Task complexityaﬀects information seeking and use. Information Processing and Management, Vol. 31, No. 2, pp. 191–213, 1995.
[4] Donald J. Campbell. Task Complexity: A Review and Analysis. Academy of Management Review, Vol. 13, No. 1, pp.
40–52, 1988.
[5] Xiao Hu and Noriko Kando. Task Complexity and Diﬃcultyin Music Information Retrieval. Journal of the Associationfor Information Science and Technology, Vol. 68, No. 7, pp.
1711–1723, 2017.
[6] Jaime Arguello. Predicting Search Task Diﬃculty. In Proc.
of ECIR, pp. 88–99, 2014.
[7] Makoto P. Kato, Tetsuya Sakai, Takehiro Yamamoto, VirgilPavlu, Hajime Morita, and Sumio Fujita. Overview of theNTCIR-12 MobileClick-2 Task. In Proc. of NTCIR-12, pp.
104–114, 2016.
[8] Diane Kelly, Jaime Arguello, Ashlee Edwards, and Wanching Wu. Development and Evaluation of Search Tasks for
IIR Experiments using a Cognitive Complexity Framework.
In Proc. of ICTIR, pp. 101–110, 2015.
[9] Atsushi Keyaki and Jun Miyazaki. Analysis of Relevant
Text Fragments for Diﬀerent Search Task Types. In in Proc.
of the 14th AIRS, 2018.

[10] Jane Li, Scott Huﬀman, and Akihito Tokuda. Good Abandonment in Mobile and PC Internet Search. In Proc. of the32nd SIGIR, pp. 43–50, 2009.
[11] Tomohiro Manabe, Kosetsu Tsukuda, Kazutoshi Umemoto, Yoshiyuki Shoji, Makoto P. Kato, Takehiro Yamamoto,Meng Zhao, Soungwoong Yoon, Hiroaki Ohshima, and Katsumi Tanaka. Information Extraction based Approach for
the NTCIR-10 1CLICK-2 Task. In Proc. of NTCIR-10, pp.
243–249, 2013.
[12] Tatsuya Tojima and Takashi Yukawa. Query Classification
System Based on Snippet Summary Similarities for NTCIR10 1CLICK-2 Task. In Proc. of NTCIR-10, pp. 250–254,
2013.
[13] Barbara Wildemuth, Luanne Freund, and Elaine G. Toms.
Untangling Search Task Complexity and Diﬃculty in theContext of Interactive Information Retrieval Studies. Journal of Documentation, Vol. 70, No. 6, pp. 1118–1140, 2014.
[14] Masaharu Yoshioka. Query Classification by Using Named
Entity Recognition Systems and Clue Keywords. In Proc.
of NTCIR-10, pp. 255–259, 2013.