Welcome!

Twitter: #ntcir11
Ust: ntcir11-kickoff

NTCIR-11 Kick-Off Event
2013.09.02
English Session: 13:30日本語セッション: 15:151

プログラム• NTCIRの概要• NTCIR-11の特徴• 採択タスクの紹介• 参加のメリット• 参加方法• 主な日程• Q&A
2NTCIRの概要

3

NII Testbeds and Community for Information access Research
情報アクセス技術の評価と性能比較のための研究基盤NTCIR（エンティサイル）■目的：新たな情報アクセス研究の課題を開拓し、⼤規模な評価実験用
研究基盤を提供することにより、研究を促進・展開、未来価値を創成■基盤：データ（ツール､モジュール）、評価手法、コミュニティ
カンファレン■システム間の性能比較, 手法特性の比較, 技術移転, 連携, 互いに学びあう場 スの様子

1年半を1サイクルとして活動

NTCIR-10

NTCIR-10 カンファレンス(成果報告会)

再利⽤可能な⼤規模データセット(テストコレクション）

学術,新聞,特許,Web,コミュニティQA, 音声,
Wikipedia,入試,医療, 数式…
成果報告会後に公開

NTCIR-917
17

NTCIR-817

NTCIR-71582

NTCIR-61285

NTCIR-515

NTCIR-4

10

NTCIR-3

9

NTCIR-2

8

研究部門への
6
NTCIR-1
参加数の推移02,347 団体が利⽤中！

125
90
65

110
103
# of countries

参加国数# 結果提出of Active
チーム数
participantgroups77
74

参加登録チー65# of registered
ム数(types)

36
28
50

100

150

Task Proposal Discussion

第10回(2012-2013)
研究部門への参加登録：125団体
2013-07-12 神門 典子

これまでのべ963団体が参加

4

研究部門(タスク）の展開
NTCIR 回次 1 2 3 4 5 6 7 8 9 10 研究部門(タスク）
技術分野
年 '99 '01 '02 '04 '05 '07 '08 '10 '11 '13■
コミュニティQA
ソーシャルメディア・
■ ■ ■
意見分析
UGC
■ 検索＋推論モジュール評価■ ■質問応答＋検索■ 医療文書■ 数式検索■ ■ 入試問題
特定ドメイン■ ■ 音声文書検索■ ■地理・時間情報検索■ ■ ■ ■ □ □特許検索■ ■ ■ □
あらゆるタイプの質問
■ ■
対話
質問応答
■ ■ ■ ■
言語横断
■ ■ ■ ■
事実を尋ねる、リスト型
情報抽出と検索■ ■ リンク発見
意味処理■ ■ 推論■ ■ ■ ■ ■テキストマイニング・分類
要約・統合
■ ■ ■
動向情報の抽出・可視化■ ■ ■テキスト要約
インタラクティブ■
インタラクティブ検索と可視化■ ■ 検索意図・多様な意図の検索
Web■ ■ 検索結果一覧ページの質
Web検索
■ ■ ■
■ ■ ■ ■ 機械翻訳
言語横断
■ ■ ■ ■ ■ ■ ■ ■言語横断検索■ ■ ■ ■ ■ ■ ■ ■英語以外の検索
テキスト検索■ ■ ■ ■ ■ ■ ■ ■日本語検索
年は成果報告会開催年。研究部門は18カ月前に開始

2013-09-02 ntcir-11 kick-off

5情報検索 Information Retrieval (IR)
• 蓄積された大量の文書から利用者の情報要求にレレバン
トな(適合する）情報を選びだす– 構造化されていない、自然言語テキスト– 伝統的には文書検索--文書中の情報活用支援へ• コンピュータの使用
１９５０年代から• 人間の主観的判定を成否の基準にした最初の計算機科学

情報アクセスInformation Access (IA)

– 蓄積された大量の文書中の情報を利用者が利用できるようにするまでの全過程– 検索、要約、質問応答、テキストマイニング、クラス
タリングなどNTCIRワークショップの手順• 研究部門（タスク）のプロポーザル募集• 研究部門・対象技術の選定 - タスク選定委員会–

データ提供機関との協議・契約• 研究部門ごとに、実験・評価手法の提案・議論• 参加申込– 訓練用データ（文書、課題、正解）配布• 各参加者が実験、チューニング
– 評価用データ（文書、課題）配布• 検索結果の提出• 提出結果から正解候補収集、人手判定• 正解公開、評価結果発表• 論文執筆• NTCIRカンファレンスとEVIA
次回について協議NTCIR-10 Conference and EVIA 2013 June 18-21, 2013
Keynotes

EVIA

Breakout Session
Poster andDemo

2013-09-02 ntcir-11 kick-off

Task Proposal
Discussion

8

8

NTCIR-11 の組織<NTCIR-11 Program Co-Chairs>- 上保 秀夫Hideo Joho（University of Tsukuba, Japan）- 岸田 和明Kazuaki Kishida（Keio University, Japan)<EVIA2014 Co-Chairs>-Ruihua Song (Microsoft Research Asia, China)-TBA<NTCIR-10 General Co-Chairs>- 神門 典子Noriko Kando (NII, Japan)- 加藤 恒昭Tsuneaki Kato (The University of Tokyo, Japan)- Douglas W. Oard (University of Maryland, USA)- 酒井 哲也Tetsuya Sakai (Waseda University)- Mark Sanderson (RMIT University, Australia)-世界各国から参画している多数のタスクオーガナイザ
2013-09-02 ntcir-11 kick-off

9

NTCIR テストコレクション（評価実験用データセット）

テストコレクションの多くはワークショップ終了後、研究目的で公開

Evaluation Forums• Research teams gather up to solve sharedproblems; submit system output before
deadline• Systems evaluatedacross teams
Task andand
inputcompareddata
Participant
System output
Organisers
Results andvalue-added data

ParticipantParticipantParticipant

Share data and insights, discuss, improve2013-09-02 ntcir-11 kick-off

11Why Evaluation Forums?
• Compete and collaborate, accelerate research• Build large-scale test collections throughcollective efforts e.g. pooling• Foster interdisciplinary research towards
grand challenges, build new researchcommunities
NII Testbeds and Community for Information accessResearch
2013-09-02 ntcir-11 kick-off

12

Information Retrieval Evaluation
Forums• TREC (Text Retrieval Conference) 1992• NTCIR 1998/9- [sesquiannual]• CLEF (Cross-Language Evaluation Forum) 2000• INEX (Initiative for the evaluation of XML
retrieval ) 2002• TRECVID 2003• FIRE (Forum for IR Evaluation ) 2008• MediaEval (Benchmarking Initiative forMultimedia Evaluation) 2010[not exhaustive]
2013-09-02 ntcir-11 kick-off

13

情報アクセス技術の評価の６レベル
1.

工学レベル：効率efficiency ex.速さ

2. 入力レベル：ex.データベースの網羅性、質、新しさ‥
3. 処理レベル:検索有効性effectiveness ex.再現率、精度
4. 出力レベル：結果の提示
5. 利用者レベル： ex. 利用者が必要とする労力
6. 社会レベル：重要性(Cleverdon & Keen 1966)

検索の難しさは、検索質問ごとに異なる
J-J Le ve l1 D auto

1.0000

１つの検索システム上で、50個の検101
検索システム別の11pt再現率精度
索質問の検索有効性の比較
102

システム間の検索
有効性の比較

1

0.8000A

各システムとも、
50質問の平均

B
C
D

0.8

0.6000precision

E

precision

F

0.4000

G

0.6

H
I
J

0.4

K
L

0.2000

M
N

0.2

O

0.0000
0

2

4

6

8

0

0.

0.

0.

0.

0.

1.

P

recall

0
0

0.1

0.2

0.3

0.4

0.5
recall

0.6

0.7

0.8

0.9

1

103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129

検索の難しさは、検索質問ごとに異なる
J-J Le ve l1 D auto

1.0000

システム間の検索
有効性の比較

101
検索システム別の11pt再現率精度
１つの検索システム上で、50個の検102
103
索質問の検索有効性の比較
104
10.8000A
B
C「難しい質問」は、システムによって異なる

E

precision

0.4000

00

0.6

0.4

G

B

H

C

I

D

J

E

K

F

L

0.200000

AF

precision

00

D

0.8

Average over 50
0.6000J-J Le ve l1 D auto
topics

G

M

0.2

00

0.0000
0

2

4

6

8

0

0.

0.

0.

0.

0.

1.

00

H

O

I

P

J
K

0
0

0.1

recall

0.2

0.3
L

1

4

7

0

3

6

9

2

5

8

1

4

7

0

3

6

9

10

10

11

11

11

11

12

12

12

13

13

13

14

14

14

14

M

10

00

N

T opic#Requests#101-150

N
O
P

105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129

信頼性の高い評価をするに
0.5
0.6
0.7
0.8
0.9
1
recallは、多数の質問を用いる必要がある。評価指標によって必要な質問数は異なる

0.4

製薬企業の研究開発
Phase I:

Phase II:

Phase III:

Phase IV:In Vitro試験管
内の実験

動物実験

健常者の実験

臨床試験

実験設計：
評価する側面を選定

統制しやすい統制できない
要因＋＋＋

NTCIR

テストコレクション
Phase I:

研究室実験

Phase II:

Phase III:

モジュール共有、 統制された被験プロトタイプ者実験

Phase IV:

統制しない多数のテスト利用者による実用化直前テスト

製薬企業の研究開発
Phase I:

Phase II:

Phase III:

Phase IV:In Vitro試験管
内の実験

動物実験

健常者の実験

臨床試験
2.⼊⼒レベル、

社会レベル

評価のレベル

4.利⽤者レベル、5.出⼒レベル

1.⼯学レベル：効率
3.処理レベル：有効性

6.

○検証とベンチマーク- なぜ、どの程度、このシステムは他よりよく（悪く）働くのか- どのようにシステムを改善すればよいのかを学ぶ- システムの有効性について、科学的な理解を提供する○利用者の情報探索タスク– 文書データのジャンル(種類)+典型
的な利用者の利用– 利用者の状況、ア
クセスの目的

実験は現実世界での情実
実
情報アクセスを抽象化したもの
評価する側面を選定。現実世界に近づ
くほど、統制できない要因が増加する
2013-09-02 ntcir-11 kick-off

19評価ワークショップによる技術の有効性の進展
およそ3年で1.5〜2倍Mean Average Precision

Cornell University TREC Systems

0.5
0.4
0.3
0.2
0.1
0
'92
'93
'94
'95
'96
'97
'98
System System System System System System System

TREC-1
TREC-2
TREC-3
TREC-4
TREC-5
TREC-6
TREC-7

研究動向
ACM-SIGIRのテーマ別発表論文数の推移
450

400

WEB
ユーザ

350

評価

論文数

300

非テキスト
QA/要約

250

自然言語処理
200

言語横断

150

クラスタリング

機械学習・分類効率
フィルタリング

100

クエリ処理
50

モデル
その他

0
'77-79'80-84'85-89'90-94

出版年'95-99'00-04'05-09

研究動向
ACM-SIGIRのテーマ別発表論文数の推移
450

400

多くの新しい技術分
野は、評価フォーラ
ムから生まれて、発
展した

350

論文数

300

WEB
ユーザ
評価
非テキスト
QA/要約

250

自然言語処理
200

言語横断

150

クラスタリング

機械学習・分類効率
フィルタリング

100

クエリ処理
50

モデル
その他

0
'77-79'80-84'85-89'90-94

出版年'95-99'00-04'05-09

今後の課題•••

あたらしい技術分野を提案して、分野をリードしよう！
評価への個別的なニーズへの対応
探索的・対話的な情報アクセス– 利用者の意図– 協調探索– 経験・知識・リテラシー•

SWIRL 2012で議論された重要トピック– 対話検索– モバイル検索– ゼロクエリ検索– スマート検索– Query by walking around– 構造，エンティティ，関係• 時間• セッション全体の評価

NTCIR-11の特徴
What’s new?

24

モダンNTCIR: ねらい• 強固な運営基盤– 運営組織の強化• タスクの多様性– 情報アクセスにおける幅広いコンテ
キストを対象– 多様なメディアを研究対象に• コミュティ主導のタスク運営– 研究の持続性• 研究資源利用の促
進– 成果報告会で特別ブースの設置25

NTCIR-11: 運営組織
• General Co-ChairsTO• タスクオーガナイザ– 加藤 恒昭 (東京⼤学)– 世界中の先導的研究者– 神門 典子 (NII)– 参加者 (あなたです!)– Douglas W. Oard (Universityof Maryland)– Mark Sanderson (RMIT)– 酒井 哲也 (早稲田⼤学)• EVIA 2014 Co-Chairs– Ruihua Song (MSRA)– TBA• Program Co-Chairs– 岸田 和明 (慶応義塾⼤学)– 上保 秀夫 (筑波⼤学)
26

NTCIR-11: これまでの展開
2013.1-2

NTCIR-11組織の発足

2013.3-5

タスクプロポーザルの募集開始
11のプロポーザルが応募

2013.6NTCIR-10 成果報告会

2013.6

プログラム委員会とProgram Co-Chairsの審査の結果、8つのタスクが採択

2013.7-8

各タスクにおける参加募集要項の準備

2013.9NTCIR-11 Kick-Off Event

27

NTCIR-11 プログラム委員•

Hsin-Hsi Chen (National Taiwan University, Taiwan)•

Charles Clarke (University of Waterloo, Canada)•

Kalervo Järvelin (University of Tampere, Finland)•

Hideo Joho (Co-chair, University of Tsukuba, Japan)•

Gareth Jones (Dublin City University, Ireland)•

Noriko Kando (NII, Japan)•

Tsuneaki Kato (The University of Tokyo, Japan)•

Kazuaki Kishida (Co-chair, Keio University , Japan)•

Gary Geunbae Lee (POSTECH, South Korea)•

Douglas W. Oard (University of Maryland, USA)•

Maarten de Rijke (University of Amsterdam, The Netherlands)•

Stephen Robertson (Microsoft Research Cambridge, UK)•

Tetsuya Sakai (Microsoft Research Asia, PRC)•

Mark Sanderson (RMIT University, Australia)•

Ian Soboroff (NIST, USA)28

NTCIR-11 採択タスク

29

NTCIR-11 採択タスク一覧
コアタスク
•
•
•
•
•
•

[IMine] Search Task and Intent Mining[Math-2] Mathematical Information Access[MedNLP-2] Medical Natural Language Processing[MobileClick] Mobile Information Access[RITE-VAL] Recognizing Inference in Texts and Validation[SpokenQuery&Doc] Spoken Query and Spoken Document
Retrieval
パイロットタスク• [QALab] QA Lab for Entrance Exam
• [Temporalia] Temporal Information Access30

IMine31

The	
  NTCIR-­‐11	
  IMine	  Task	  	  キックオフミーティング	
  Yiqun	
  Liu,	
  Ruihua	
  Song,	
  Min	  Zhang,	
  Zhicheng	
  Dou,	
  	
  Takehiro	
  Yamamoto,	
  Makoto	
  P.	
  Kato,	  Hiroaki	
  Ohshima,	
  	
  
Ke	
  Zhou	  http://www.thuir.org/IMine/
September,	  2013@NII,	
  Tokyo	  検索索結果多様化	  曖昧/不明快なクエリに対して、	
  異なるユーザの検索意図を満足させるような	
  検索結果リストを生成すること	
  
検
索
結
果
ー (SERP)	
  IMineウェブ検索ユーザの意図理解	

Intent	  Mining	曖昧	
  （ambiguous） 	

The	
  IMine	
  task
3種類のサブタスク	
• サブトピックマイニング（⽇日、中、英）	
   　⼊入⼒力力:	
  クエリ 　（例例：	
  “ハリーポッター”）	
   　出⼒力力:	
  ランク付けされたサブトピック⽂文字列列のリスト	
   　例例：	  “ハリーポッター 　本, 　ハリーポッター映画,	
   　ハリーポッター 　キャラクター”)• ドキュメントランキング（⽇日、中）	
  ⼊入⼒力力:	
  クエリ 　（例例：	
  “ハリーポッター”）	
  出⼒力力：多様化された、ウェブページのランキング	  • タスクマイニング（⽇日）	
  ⼊入⼒力力：クエリ（例例：”花粉症  対策”）	
  出⼒力力：クエリの達成に必要なタスクのリスト	
  （例例：”花粉症マスク”，”アレルギー薬”，”レーザー治療療”）	
  
	
  
	
  

INTENT-­‐2との相違• 階層的なサブトピックマイニング	  • 参加者は2階層のサブトピックを出⼒力力	  1階層⽬目：	
  Windows:	
  -­‐>	
  Windows	
  OS,	  	
  Windows	
  Oﬃce,	
  ...	  2階層⽬目：Windows	
  OS:	  -­‐>	
  Windows	
  XP,	
  Windows	
  8,	
  ...	  • サブトピックを階層的に考えることで	  ⽂文書ランキングの精度度は向上するか？	
  • 検索索ログを利利⽤用した正解セット作成⽀支援	  • 検索索意図のグルーピング，重要性判定をログから推定してくことで，評価者の負担を低減	  • クラウドソーシングを利利⽤用した評価	
  • 多様化した検索索結果と多様化していない検索索結果で	
  ユーザの満⾜足度度に違いがでるか？	
  • D#-­‐measureとユーザの満⾜足度度の相関は？

タスクマイニング(TASKMINE)	
  サブタスク
クエリを達成するための「タスク」を発見する	
出力	

ガスを止める	
クエリ	

引っ越し	

電気を止める	
転出届けを	  提出	転入届けを	
  
提出	

	
  	
  オーガナイザ:	  	
  Takehiro	
  Yamamoto,	
  Makoto	  Kato,	  Hiroaki	
  Ohshima
http://www.dl.kuis.kyoto-u.ac.jp/ntcir-11/taskmine/

まとめThank you
http://www.thuir.org/IMine/
http://www.dl.kuis.kyotou.ac.jp/ntcir-11/taskmine/Math-2

32

NTCIR-11
Math-2
マスタ タイトルの書式設定
What is Math Search?
Goal of NTCIR-Math
Task outline
Technical challenges
Contact information

September 2, 2013

NTCIR-11 Math-2

1

What
is
Math
Search?
マスタ タイトルの書式設定

NTCIR Math-1
Topic FT-6

September 2, 2013

NTCIR-11 Math-2

2

What
is
"math"?
マスタ タイトルの書式設定

Structured data withcomplex XML representation
called MathML

September 2, 2013

NTCIR-11 Math-2

3

The
Goal
of
NTCIR
Math
マスタ タイトルの書式設定
Exploring methods for mathematical content
accessTwo major goals of Math-2
Achieving reusable test collection
Establishing and supporting the Math IR
community (mathematicians and IR&NLP
researchers)Task
Outline:Dataset
マスタ タイトルの書式設定
Given a document collection, retrieve
relevant mathematical formulae for a given
query.
Dataset: Reuse and adapt NTCIR-10 dataset
100,000 papers from ArXiv.org
35,000,000 formulae
Converted into XML+MathML by arXMLiv project
Retrieval unit: minimal subsections of ArXivdocuments
September 2, 2013

NTCIR-11 Math-2

5

Task
Outline:Assessment
マスタ タイトルの書式設定
Pooling and assessment
50 Topics
Multiple assessment (two) for inter agreement
check
Pooling size: 100
Include “Relevant, Partially relevant, Nonrelevant, Can not be assessed”

September 2, 2013

NTCIR-11 Math-2

6

Task
Outline:Topics
マスタ タイトルの書式設定
Topic development
Topic structure• Topic ID• Query (formula + key words)• Description (short description of what a user is lookingfor)• Narrative (precise description of the user situationand information need and relevancy criteria)

All topics should include multiple relevant
documents
September 2, 2013

NTCIR-11 Math-2

7

Task
Outline:Runs
マスタ タイトルの書式設定
Runs
Submit compulsory automatic runs using query
only field
Encourage participants to submit manual runs
(with manually generated queries)
Results will include supporting evidence(formulaID, sentenceID,etc.), optional

September 2, 2013

NTCIR-11 Math-2

8

Technical
Challenges
マスタ タイトルの書式設定
Mathematical knowledge management
Digital math library
Large scale XML tree search (with variables)
Semantic search based on deep language
analysis
Domain specific information retrieval

September 2, 2013

NTCIR-11 Math-2

9

Contact
Information
マスタ タイトルの書式設定
E-mailorganizers ML: ntcadm-math@nii.ac.jp
community ML: ntcir-math@nii.ac.jp

Task Web page
http://ntcir-math.nii.ac.jp/

Community Site
http://ntcir.mathweb.org/

Task Organizers
Akiko Aizawa (National Institute of Informatics, Japan)
Michael Kohlhase (Jacobs University Bremen)
Iadh Ounis (University of Glasgow)

Tentative
Schedule
マスタ タイトルの書式設定
September, 2, 2013

NTCIR-11 kick-off meeting

November, 2013

Call for participation

February, 2014

Initial dataset and example topics release

May, 2014

Topic release

June, 2014

Result submission deadline

December, 2014

NTCIR-11

September 2, 2013

NTCIR-11 Math-2

11

MedNLP-2

33

MedNLP Task
at NTCIR-11 Kick-off
Eiji Aramaki
Yoshinobu Kano
Tomoko Ohkuma
Mizuki Morita

Kyoto University / JST PRESTO
JST PRESTO
Fuji Xerox
The University of Tokyo

Current Medical NLP Situation• Researchers– have methods– but no data

• Companies– have solution & money– but no data

• Only Hospitals have data
– want to use it

MedNLP Task could create a win-win situation

What kind of NLP is required?
Texts
De-identification
NER
Normalization
Mining

京大病院にてアクトス投与もむくみ出現
Named Entity (NE) removing for privacy protecting■■病院にてアクトス投与もむくみ出現
Patient information extraction■■病院にてアクトス投与もむくみ出現

MedNLP-1■■病院にてビオグリタゾン投与も浮腫出現What was MedNLP-1?
I think it was very successful• 12 teams joined to MedNLP-1• We will have an invited talk at
CLEFeHealth 2013

What’s Next?
Texts
De-identification
NER
Normalization
Mining

京大病院にてアクトス投与もむくみ出現■■病院にてアクトス投与もむくみ出現■■病院にてアクトス投与もむくみ出現■■病院にてビオグリタゾン投与も浮腫出現

MedNLP-2

Marchesani Syndrome

マルケサーニ症候群
マルケサニー症候群
マルケサニ症候群
マルケザーニ症候群
マルケザニー症候群
マルケザニ症候群

ICD 10 =
Q871

悪心増悪
胃のむかつき悪心 (sickness)
食後悪心
嘔気 (vomiting)
吐き気
悪阻 (nausea)

ICD 10 = R16
悪心及び嘔吐(sickness & vomiting)

MedDRA/JCorpus Example

Thank you!

Mizuki Morita
Yoshinobu Kano
Tomoko Ohkuma
Mai Miyabe
Eiji Aramaki

The University of Tokyo
JST PRESTO
Fuji Xerox
Kyoto University
Kyoto University / JST PRESTO

Annotated Example<Task1> & <Task2>

MobileClick

34

NTCIR-11 MobileClickタスク
加藤 誠
Matthew Ekstrand-Abueg
Virgil Pavlu
酒井 哲也
山本 岳洋
岩田 麻佑

モバイル検索の例
 「有機ELテレビと液晶テレビの違いは？」"Ten-Blue-Link"パラダイムでのモバイル検索
クエリ入力
検索ボタンを

Click

検索結果を閲覧
URLを

Click

URL先を閲覧欲しかった情報を全て獲得

満足するまでに複数文書閲覧・クリックが必要MobileClickシステム
クエリ入力
検索ボタンをシステム出力Click
有機EL 液晶 違い

Phone: 046-2233636. Fax: 046223-3630. Address:
118-1 Nurumizu,
Atsugi, 243-8551.
Email:
soumu@shonanatsugi.jp. Visiting
hours: general ward
Mon-Fri 15-20;
Sat&Holidays 13-20/ Intensive Care Unit
(ICU) 11-11:30,
15:30, 19-19:30.

LCD is better in terms of the weight, sizeand energy saving.
OLED shows a better black color, a faster
response speed, and a wider view angle.

Advantage of LCD
Advantage of OLED

欲しかった情報を全て獲得

Phone: 046-2233636. Fax: 046223-3630. Address:
118-1 Nurumizu,
Atsugi, 243-8551.
Email:
soumu@shonanatsugi.jp. Visiting
hours: general ward
Mon-Fri 15-20;
Sat&Holidays 13-20/ Intensive Care Unit
(ICU) 11-11:30,
15:30, 19-19:30.

タスク: 与えられたクエリに対し構造化されたテキストを出力"Ten-blue-link"パラダイムを超えた"情報"検索システムへの挑戦

MobileClick=

Immediate & Direct
Mobile Information AccessMobileClickの新要素
 二層化された要約

 よりフォーカスできるよう設計されたサブタスク
 iUnit Retrieval Subtask (情報抽出) iUnit Summarization Subtask (要約)iUnit Retrieval Subtask（日・英） 与えられたクエリに対し，順位付けされたiUnitリ

ストを生成するサブタスク
 iUnits: クエリに適合した最小の情報単位

入力: クエリ
OLED LCD difference

出力: iUnitsリスト
Rank

iUnit

1

LCD is lighter than OLED

2

OLED shows a better black color

3

OLED has a wider view angle…

…

iUnit Summarization Subtask（日・英） 与えられたクエリ（とiUnitリスト）に対し，二層化されたテキストを出力するサブタスク
入力: クエリ
OLED LCD difference

入力: iUnitsリスト
Rank

iUnit

1

LCD is lighter than OLED

2

OLED shows a better black color

3

OLED has a wider view angle

…

…

出力:
二層化されたテキスト
LCD is better in terms of the weight, size and energy
saving, while OLED shows a better black color, afaster response speed, and a wider view angle.

Advantage of OLEDAdvantage of LCD
OLED shows a better blackcolor, a faster response speed,
and a wider view angle.

LCD is better in terms of theweight, size and energy saving.

当てはまる方はぜひ参加を検討ください 下記の研究トピックに興味のある方： 情報抽出 クエリ指向情報抽出とそのランキング
 パッセージ検索 より粒度の細かい情報の検索 質問応答 クエリからの質問意図推定と回答発見
 テキスト要約
 構造化された要約の生成

 昨年のNTCIR参加チーム：
 1CLICKに参加されていた方 MobileClickは1CLICKタスクの拡張
 INTENTに参加されていた方 二層化された要約は曖昧もしくは多角的なクエリ向き

今後の予定（仮）2013年8月31日

First CFPとWebページ立ち上げ

2013年10月31日

サンプルクエリおよびiUnit配布

2014年3月31日

テストクエリ配布

2014年4月30日

ラン提出締切2014年8月15日

評価結果配布2014年12月9-12日 NTCIR-11

まとめ MobileClickタスク (1CLICKを継承)
 iUnit Retrieval Subtask
 iUnit Summarization Subtask

 新要素
 "情報"のランキング
 二層化された要約

 MobileClickホームページ

http://www.dl.kuis.kyoto-u.ac.jp/ntcir-11/mobileclick/

RITE-VAL

35

NTCIR-11 RITE-VAL タスクの紹介(Recognizing Inference in Text and Validation)

SuguruMatsuyoshi1

YotaroWatanabe2

YusukeMiyao3

Tomohide
Shibata4

1University

2Tohoku

3National Institute4Kyotoof Yamanashi

Universityof Informatics

University

TerukoMitamura5

ChuanJie Lin6

ChengWei Shih7

5Carnegie Mellon

6National Taiwan

7Academia

University

Ocean University

SinicaNTCIR-11 Kick-Off Event September 2nd, 2013

RITE-VAL タスクの概要• RITEは，「2つのテキスト間の含意・矛盾関係判断」を対象とした，テキスト理解システムのためのベンチ
マークタスクです• t1がt2を含意する= テキスト t1が与えられたとき，そのt1と一般常識から，「仮説 t2 は真である」と推論可能である– t1: 川端康成は「雪国」 などの作品でノーベル文学賞を受賞した．
– t2: 川端康成は「雪国」の著者である．

• 言語:– 日本語，中国語（簡体字/繁体字），英語

RITE-VAL のサブタスク

他のNTCIRタスクでも利用可能
応用向きタスク
QA Lab

主な応用
QA
IR

Fact
Validation
複数文書
レベルの
推論
含意認識
技術の
ピラミッド

文レベルの
推論

sentence
sentenceentailment ?

BCparaphrase?
entailment ?
contradiction?

MCnegation…

modification

coordination

quantificationcase alternation

Unit
Test

entailment ?
contradiction?

documents

phrase rel.

言語現象レベルの推論

Worldknowledge

Search≡≡≡ ≡≡lexical rel.

SystemValidation

sentence

sent.

sent. sent. sent. sent. sent.

sent.

sent.

sent.

sent. sent. sent. sent. sent.

sent.

sent.

RITE1 RITE2 RITE-VAL

基盤確⽴タスク主な2つのタスク
Fact
Validationt2:日本において鎌倉幕府は12世紀に成立した．
sentence

Search≡≡≡ ≡≡documents

SystemValidation

t1: イチロー選手が，日米通算4,000本安打を達成した．

Category:
修飾句

sent. sent. sent. sent. sent.

sent.

sent. sent. sent. sent. sent.

t2: イチロー選手が，4,000本安打を達成した．
…

sent.

negation

modification

coordination

quantificationcase alternationphrase rel.

Unit
Test

lexical rel.

Worldknowledge

entailment ?
contradiction?

t2を含意する記述、もしくは、t2と矛盾する記述を検索

t1: 昨夜，福岡県の一部で激しい雨となった．
sent.

sent.

Category:sent. sent.
部分全体関係t2: 昨夜，九州地方の一部で激しい雨となった．

ご参加をお待ちしております• RITE-VALは，含意関係・言い換え認識の研究だけでな
く，NLPの幅広い研究分野と関連があります– 基盤技術：意味解析，知識獲得，機械学習など– 応用技術：情報検索，質問応答，要約など• 大学生から企業の研究者に至るまで，幅広くご参加いただけるよう工夫しています– NTCIR-10 RITE-2の時より，利用可能な言語リソースやツールに関する情報共有サイトを立ち上げて運営しています• 詳しくはウェブサイトにて:– https://sites.google.com/site/ntcir11riteval/

SpokenQuery&Doc

36

NTCIR-­‐11	
  Core	  Task:	  Spoken	  Query	
  and	
  Spoken	
  Document	  Retrieval	  (SpokenQuery&Doc)	
Tomoyosi	  Akiba	  (Toyohashi	
  University	
  of	
  Technology)	
  Hiromitsu	
  Nishizaki	
  (Yamanashi	
  University)	
  Hiroaki	  Nanjo	
  (Ryukoku	
  University)	
  Gareth	  Jones	  (Dublin	
  City	  University)	

Focus	  of	
  SpokenQuery&Doc	
• InformaNon	
  Retrieval	
  by	
  using	  “spontaneously	
  spoken	  query”	
  targeNng	
  “spoken	
  documents”.	
  Mt.	
  Fuji	Search	  Engine	Mt.	
  Fuji	
  is	
  
the	
  highest	
  mountain	  in	
  Japan.	
  ..	

Overcome	
  it	
  by	
  using	  Speech!	
I'm	
  going	
  to	
  go	
  climbing	
  Mt.	
  Fuji	  in	
  next	  summer	  vacaNon.	
  Well,	
  I	
  
hear	
  the	
  accident	
  um...	
  I	
  hear	  the	  news	  about	  the	
  accident	
  in	
  the	
  climbing.	
  Well,	
  someone	  has	
  missed	
  or	
  someone	  lost	  one's	
  way	
  in	
  
the	
  mountain.	
  So	
  I	
  would	
  like	  to	
  know	
  what	  should	
  I	
  prepare	
  for	
  climbing,	
  what	  equipment,	
  equipment	
  is	
  necessary.	
  I	
  would	
  like	
  to	
  
know	
  what	  should	
  I	
  prepare	
  when	  I	
  go	
  climbing.	

Example	  of	
  Spontaneously	
  Spoken	
  Query	
今年の夏休み(summer	
  vacaNon)に始めて山(mountain)に登山に行くことになった
んですけれども。あのー登山は結構事故(accident-­‐1)があのーやはり夏(summer)になるとよくニュース(new)で聞きますし，ま誰々が行方不明(go	
  missing)になったとか
遭難(accident-­‐2)したとかそういう話が色々あると思うんですけれども。あのー山(mountain)に登る(climb)時にはどういった心構え(keep	
  in	
  mind)と言うか，あのー
装備(equipment)こういう装備が必要だとかこういうものがあるといいよ，とかそういった
あのー山登り(mountain	
  climbing)に関しての，山(mountain)に登る(climb)時についての心構え(keep	
  in	
  mind)について知りたいです		• PROS:	
  provides	
  rich	  clues	
  for	
  retrieval.	
  • CONS:	
  unclear,	
  ambiguous,	
  redundant,	
  error-­‐prone	  	
  Challenges	
  in	
  SpokenQuery&Doc	
• How	  to	
  get	
  beneﬁt	
  from	  spontaneously	
  spoken	
  queries?	
  – Make	  use	  of	
  long	  queries.	
  – DisambiguaNon.	
  – Improve	
  ASR	
  for	
  spontaneous	
  speech.	
  – Development	
  of	
  speciﬁc	
  techniques	
  for	  such	  IR.	  • Spoken	
  document	
  retrieval	
  (conNnued)	
  – Evaluate	
  spoken	
  term	  detecNon	
  (STD)	
  and	
  spoken	
  content	
  retrieval	
  (SCR)	
  at	
  the	
  same	  Nme	  by	
  using	  common	
  (spoken)	
  query	
  topics.	
  – Text	  queries	
  are	
  also	  provided	
  (as	  in	
  SpokenDoc-­‐1	
  and	
  2.)	  

Task	  Design	

SQ-­‐SCR	
Spoken	  query	

Spoken	  Content	  Retrieval	Relevant	
  Segments	  (presentaNon	
  slides)	

Spoken	  Documents	  (presentaNons	
  at	
  academic	
  meeNng)	

Spoken	  Content	  Retrieval	

Spoken	  Term	  DetecNon	

DetecNon	  Results	

Spoken	  Terms	

SQ-­‐STD	

STD-­‐SCR	Why	  parNcipate	
  in	
  SpokenQuery&Doc	
• ParNcipants	
  will	  be	
  provided	  many	  resources	
  for	  IR	  and	  spoken	
  language	
  processing	  research.	
  – Real	  recordings	
  of	
  spontaneously	
  spoken	
  queries.	
  – Real	  recordings	
  of	
  academic	
  meeNng	
  lectures.	
  – Their	
  rich	  transcripNons.	
  • manual.	
  • automaNc	
  (with	  various	
  condiNons.)	
  • alignment	
  with	  presentaNon	
  slides.	
  

• IR	
  and	
  NLP	  researchers	
  are	
  also	  welcomed.	
  – Easy	  to	
  apply	
  your	  exisNng	
  techniques	
  to	
  provided	
  text	  transcripNons	
  of	
  speech.	
  • Web	
  site	  will	  be	
  open	
  soon.	
  – hap://www.nlp.cs.tut.ac.jp/ntcir11/	

QA Lab37

Proposal for
NTCIR-11 Pilot task

QA Lab
Madoka Ishioroshi (NII)
Kelly Itakura （U Waterloo)
Noriko Kando (NII)
Yoshinobu Kano (PRESTO/NII)
Teruko Mitamura (CMU/NII)
Eric Nyberg (CMU)
Hideyuki Shibuki (Yokohama National University)
Advisor: Tatsunori Mori (Yokohama National University)
NTCIR-11 Kickoff Event
Sept. 2, 2013
Thanks Madoka for slides

Main Idea
• Challenge for Real World Problem of QA– University Entrance Exams - New Q-types not covered byexisting QA systems. Q is not a single sentence. Need
context (ntcir-11), inference (ntcir-12).

• Challenge for a new structure of evaluation – Modulebased, building workable system as a joint effort of all
the participants– QA is very complicated– Hard for a research group to be good on every
components– Your module used and rated by other people• Continuous Plan-Run-Analysis-Improve Cycle

Background-1

Modules in a QA System
Q

Question Analysis「How tall the Sky-Tree in Tokyo?」[factoid] People, GeoName,
Organization, Numeric value, etc.
Document Retrieval[non-factoid] Definition, Reasons,Methods, etc.

Extracting Answer
Candidates- Extracting focus from
Question- Analyzing what is asked(QuestionType)
Inf used forscoring:・Verify the Q with the sentence
that
therelated
answerdocuments
candidate was
Search(orextracted,
Textualpassage) using
theEntailment
extracted
・#of KWsaroud theanswerfocus
of questions
andQ typecandidate・Verify by the Q type and theExtracting
Answer Candidates
answercandidatefromthe retrieved・Context
where thedocuments
answerpassagescandidateorwas
extracted from

Answers「634 Meters」

Answer Generation

Ranking the answer candidates
based on the scores of “answer
likeliness”

Evaluation Method-1

Systems• QA-Platform– UIMA-based Module-base QA system– Follows: ACLIA modules• Q analysis• IR• Answer Extraction• Answer Generation– 2 baseline systems for Japanese• Javelin (CMU)• MinerVA (YNU)– 1 baseline systems for English (CMU)– Systems are usable either• local (by Kachaco) or on NII Server “bunbun”

UIMA Native UI for QA Platform to run a pipeline

Upload the Q fileSet various parameters to run

Specifies the index file for Indri (RS)Output directory

Run

Document directoryUI for the QA Platform to examine the results of each
moduleResults of each
moduleShow the representative results
for the first. To see moredetailed results by click on thebottun of “Expanding”

Click tojump tothemoduleAnswerCandidates

Evaluation Method-2• Questions & Answers

Corpus– Japanese National Center for University Admissions Tests (multiple
choices)•  use as a Yes-No / TF Questions• XML, Japanese and English translation– Second Exam for the U of Tokyo and some others•  factoid & Complex Questions• Will be XML tagged• Knowledge sources provided– High school Textbooks, Wikipedia– Ontology of World History– Ontology-annotated Textbook• Tools– Wide-range of Language annotation tools– RITE resource and tools

Evaluation Method-3

Tasks
Multiple Choice (Center Exam)Japanese

EnglishNTCIR-11

World Hitory

NTCIR-12

World Hitory

English

2nd Exam

JapaneseJapanese

Factoid

Biology, Politics& Economics

Factoid

2nd Exam

English?

English?

Factoid

Complex

Factoid

ComplexEvaluate QA end-to-end with Every Possiblecombination of the modules submitted so far
and base systems

Tentative Schedule:

Multiple Opportunities to Run
Jan-14Feb-14Mar-13Apr-14May-14Jun-13

Jul-14Aug-14

Sep-14runs
1st Roundreturnresults
R-tableruns

2nd Roundreturnresults
R-tableruns

3rd Roundreturnresults
R-tableSubmitted all rounds are not mandatory.
* R-table = Round-table meetingParticipant’s merits• Can participate in one phase or multiple
phases (flexible participation)• Can evaluate with Baseline or with othersystems and to improve your system for the
next phase• Can see the effectiveness of your modules invarious pipelines created by other teams or
combination of other teams.

Join Us!

Temporalia

38

Temporal Information Access(Temporalia)
NTCIR-11 Pilot Task
https://sites.google.com/site/ntcirtemporalia

Hideo Joho

Adam Jatowt

Roi Blanco(Univ. of Tsukuba)(Kyoto University)(Yahoo! Research)

Motivation

Proposed Subtasks in NTCIR-11• Temporal Query Intent Classification (TQIC)– For a given query, participants classify it todifferent temporal classes such as atemporal,
recency, past, future, etc.

• Temporal Information Retrieval (TIR)– For a given topic, participants retrieve relevant
documents for different kinds of temporal queries
Extension to temporal summarization, visualization, and other applications will beconsidered in NTCIR-12.

Subtasks
Temporal Query Intent
Classification (TQIC)
Query

Temporal

Past

Recency

Non-Temporal

FutureTemporal Information
Retrieval (TIR)
Query

1.
2.
3.
4.
5.

DocA
DocB
DocC
…
..

Non-Recency
N. DocNthematic +temporalrelevance
rankingExample Queries
Non-Temporal

Recency

how to tie a necktie

dollar yen rate

pitgoras theorem

san francisco weather

facebookcalgary flood news

Past
dollar yen rate

Temporal

top comedies 2000s
calgary flood news

Non-Recency

watergate story

dollar yen ratewatergate story

olympics 2016

top comedies 2000s
why hitler did not attack switzerland

Futuregoogle glass release date
olympics 2016

Queries will possibly be collectedfrom real search query logs

opening of new train lineSubTasks Data
• Temporal Query Intent Classification (TQIC)– query strings (100 for training/dry run, 100 forformal run)– query issuing times• Temporal Information Retrieval (TIR)– 50 topic descriptions (title, description, narrative,
query issuing time)– qrels (relevant document list)

Document Collection• LivingKnowledge Corpus (150GB compressed)– Crawl time: April 2011 and March 2013
– Source: Annotated News Feeds– Size: 20G uncompressed (>5G zipped)• 3.8M documents from 1500 different blogs and news
sources• Provided annotations: Time Annotations, Named
Entities and Sentence Splitting
ClueWeb Corpora: ClueWeb09 (5TB, Jan-Feb 2009), ClueWeb12 (5.5 TB, Feb- May2012) will be considered in NTCIR-12.

Example Document

More details at the Task’s website: https://sites.google.com/site/ntcirtemporalia

Performance Metrics• Thematic relevance– Graded relevance (highly relevant, relevant, partiallyrelevant and not relevant)• Temporal relevance• Some function to integrate them, similarly as in:– GeoCLEF (Spatial relevance + Thematic relevance)– INEX (Structural relevance + Thematic relevance)Draft ScheduleThank you!
tc4fia@googlegroups.com

References• H. Joho, A. Jatowt, and R. Blanco. A Survey of Temporal Web SearchExperience. TempWeb 2013 Workshop @ WWW 2013
• A. Jatowt, C. M. Au Yeung and K. Tanaka. Estimating Document Focus Time.
CIKM 2013• R. Blanco, H. Halpin, D. M. Herzig, P. Mika, J. Pound, H. S. Thompson, D. T.
Tran: Repeatable and reliable search system evaluation using crowdsourcing.
SIGIR 2011
• M. Matthews, P. Tolchinsky, R. Blanco, J. Atserias, P. Mika, and H. Zaragoza.
Searching Through Time in the New York Times, HCIR 2010

NTCIR-11 タスク・マップ
まとめ39情報アクセスのコンテキスト
履歴
歴史
時間

組織
背景となる
作業

ハイパーリ
ンク
文書群

経済的
技術的
社会的

インフラ

役割
Work task
やりとり
文書間構造

時間

文書内構造

ユーザ・
情報間
ユーザ・
システム間
文字
単語
文法
文書構造

Adapted from Ingwersen & Järvelin (2005)
40

NTCIR-11 タスク
幅広いコンテキストと多様
なメディア

インフラ

役割

IMine

文書内構造

Time
時間

QA Lab

RITE-VAL
Math-2Math

MedNLP-2
Medical

Web

Exam
News

SpokenQ&R

文書間構造

MobileClick

Temporalia

Work task
やりとり

Speech41

NTCIR-11の⻑期的展望
インフラ

役割

IMine
Time
時間

RITE-VAL
Math-2Math

NTCIRの情報アクセスQA Lab
評価基盤

MedNLP-2
Medical

Web

Exam
News

SpokenQ&R

文書内構造

MobileClick

Temporalia

Work task
やりとり
文書間構造

実社会にイン
パクトを与える情報技術

Speech42

タスク参加のメリット
学生編・企業編

43

参加のメリット（学生編）• ぴったりのスケ
ジュール– タスク：2014年1-8月– 執筆：2014年9-11月– 発表：2014年12月• すぐに始められる– 実験データの提供– （ある程度）定義され
た評価指標

• 業績

– 他の参加者との比較による公正な議論– 次のステップについて
国際コミュティと意⾒交換• 多様なタスク– 新しい課題への挑戦もあり、これまでの応用もあり
44

参加のメリット（企業編）• プレゼンスの向上– 顧客に対して、同業他社に対して• 公正なベンチマーク– 社内ベンチマークは第三者による再現が難し
い– 入札時のアピール• 開発の促進– 自社製品のブラッシュ
アップやバグ取りが短期間で集中的にできる• 研究資源への早期ア
クセス– タスクで構築された様々なリソースを一般公開より先に利用可能

45

NTCIR-11への参加方法
簡単な6ステップ46

参加方法
1. Task descriptionとCFP 5. データ利用やその他の覚書を記入するをよく読む
2. 質問はTOに問い合わせる
3. 参加するタスクを決める
4. NTCIRのウェブサイトから参加者登録をする

6. タスクのMLやウェブ
サイトをフォローする
TOにはどんどん
フィードバック
しましょう！

47

NTCIR-11参加に関するお願い48

参加者にしていただくこと• 成果報告用論文の提出– 提案手法や開発システムの報告– Failure 分析を強く推奨します• 成果報告会への出席– 全参加グループがポスター発表– オーラル発表をおこなうグループも

49

Group IDについて• Group IDは参加するタスクに依存しません– 複数のタスクに参加する場合も、構成メンバーが同一の場合は、同じIDを使ってください– 参加タスクごとに構成メンバーが異なる場合は、異なるIDを使ってください• Group IDは早い者がち（？）– 既に同一IDが申請されている場合は、上記に当たる場合は、NTCIR事務局からの変更のお願いが⾏
く可能性があります50重要な日程スケジュール帳にメモを51

重要な日程2013.09.02

キックオフイベント

2013.12.30

タスク参加登録締切

2014.01.05

文書データ配布開始

2014.01-2014.05

予備テスト

2014.03-2014.07

本テスト

2014.08.01

評価結果返送2014.08.01

タスク概要報告一部公開

2014.09.01

成果報告会用論文 提出締切

2014.11.01

成果報告会用論文 最終原稿締切

2014.12.09-12

第11回NTCIR成果報告会（東京）詳細はTOから52

まとめ• NTCIRの11回目のサイクル– 2014年12月に成果報告会• 8つの魅⼒的なタスク– 世界中の先導的研究者によって運営

皆さんの
参加を
お待ちし
てます！

• 斬新な研究をする土台を準備– 多様なコンテキストとメディア
53http://research.nii.ac.jp/ntcir/ntcir-11/

ご清聴ありがとうございました！
お問い合わせはNTCIR事務局まで
ntc-secretariatnii.ac.jp

Q&A

54