Welcome!

Twitter: #ntcir10
Ust: ntcir10‐kickoff

NTCIR-10 Kick-Off Event
2012.03.08
⽇本語セッション: 13:30English
li h Session:Si
15:3030

プログラム• NTCIRの概要• NTCIR-10の特徴
NTCIR 10の特徴• 採択タスクの紹介• 参加のメリット• 参加⽅法• 主な⽇程• Q&A

NTCIRの概要
概NII Testbeds and Community for Information access Research
情報検索・アクセス技術の評価と性能比較のための研究基盤 NTCIR（エンティサイル）目的：大規模な評価実験用の研究基盤を提供することによって情報アクセス技術研究の促進■基盤：データ、評価手法、コミュニティ
システム間の性能⽐較，⼿法の特性の相互⽐較

1997年末にプロジェクト開始
⼀年半毎に成果報告会を開催
年半毎に成果報告会を開催

再利⽤可能な⼤規模データセット(テストコレクション）

NTCIR‐9
NTCIR‐8
NTCIR‐7
NTCIR‐6
NTCIR‐5
NTCIR‐4
NTCIR‐3
NTCIR‐2
NTCIR‐1
C

学術,新聞記事,特許,Web,ヤフー知恵袋、
Wikipedia,⼤学⼊試など
研究⽬的利⽤で公開

研究部⾨(タスク）
情報検索：言語横断，特許，Web
情報検索：言語横断
特許 Web
質問応答：単言語，言語横断
要約，動向情報，特許マップ自動生成

17
17
15
12
15
10
9
8
6
0

20

技術移転

互いに学びあう場
90

65

119
109

82
85
77
74

# of Active
participantgroups65
36# of registered28
40# of countries

60

80

100

120

140

情報検索 Information Retrieval (IR)
• 蓄積された大量の文書から利用者の情報要求にレレバン
トな(適合す ）情報を選びだす
トな(適合する）情報を選びだす– 構造化されていない、自然言語テキスト– 伝統的には文書検索--文書中の情報活用支援へ
伝統的 は文書検索
文書中 情報活用支援• コンピュータの使用
１９５０年代から• 人間の主観的判定を成否の基準にした最初の計算機科学

情報アクセスInformation Access (IA)

– 蓄積された大量の文書中の情報を利用者が利用できるようにするまでの全過程– 検索、要約、質問応答、テキストマイニング、クラス
検索、要約、質問応答、テキストマイ ング、クラス
タリングなどNTCIRの技術分野
研究部門(タスク）ク）
NTCIR 回次 1 2 3 4 5 6 7 8 9 10 研究部門(タ
技術分野
年 '99 '01 '02 '04 '05 '07 '08 '10 '11 '13
コミュニティQA
ソーシャルメディア・
■
意見分析
■ ■ ■
UGC
■ 検索＋推論
モジ
モジュール評価
ル評価
質問応答＋検索■ ■■ ■ 入試問題■ ■ 音声文書検索
特定ドメイン
地理・時間情報検索
地理
時間情報検索■ ■特許検索■ ■ ■ ■ □ □あらゆるタイプの質問■ ■ ■ □
対話
■ ■
質問応答
言語横断
■ ■ ■ ■
事実を尋ねる、リスト型■ ■ ■ ■
■ ■ リンク発見
情報抽出と検索意味処理■ ■ 推論
テキストマイニング・分類
テキストマイニング
分類■ ■ ■ ■ ■要約・統合
動向情報の抽出・可視化■ ■ ■テキスト要約■ ■ ■■インタラクティブ検索と可視化
インタラクティブ■ ■ 検索意図・多様な意図の検索
Web■ ■ 検索結果一覧ページの質
■ ■ ■
Web検索
■ ■ ■ ■ 機械翻訳
言語横断
言語横断検索■ ■ ■ ■ ■ ■ ■ ■英語以外の検索■ ■ ■ ■ ■ ■ ■ ■日本語検索
テキスト検索■ ■ ■ ■ ■ ■ ■ ■年は成果報告会開催年。研究部門は18カ月前に開始

NTCIRワークショップの手順• 研究部門（タスク）のプロポーザル募集
研究部門（
）
募集
• 研究部門・対象技術の選定 - プログラム委員会–

データ提供機関との協議・契約• 研究部門ごとに研究部門ごとに、実験・評価手法の提案・議論
実験 評価手法の提案 議論• 参加申込– 訓練用デ
訓練用データ（文書、課題、正解）配布
タ（文書、課題、正解）配布• 各参加者が実験、チューニング
– 評価用データ（文書、課題）配布• 検索結果の提出• 提出結果から正解候補収集、人手判定• 正解公開、評価結果発表
正解公開 評価結果発表• 成果報告会
次回について協議NTCIR: 検索システムの力くらべ

http://research nii ac jp/ntcir/
http://research.nii.ac.jp/ntcir/
8

NTCIR‐10 Organization<NTCIR‐10NTCIRPProgram
Co‐Chairs>
C Ch i‐ 上保 秀夫（筑波⼤学）‐ 酒井 哲也（Microsoft Research Asia, China)<EVIA2013 Co‐Chairs>‐Ruihua Songg ((Microsoft Research Asia,, China))‐William Webber (University of Maryland, USA)<NTCIR 10 General Co<NTCIR‐10
Co‐Chairs>
Chairs>‐ 神⾨ 典⼦ (国⽴情報学研究所)‐ 加藤 恒昭 (東京⼤学)‐ Douglas W.
W Oard (University of Maryland,
Maryland USA)
‐ Mark Sanderson (RMIT University, Australia)‐ex‐general chair: Eiichiro Sumita (NICT)‐48 Task Organizers from all over the world

NTCIR テストコレクション（評価実験用データセット）

テストコレクションの多くはワークショップ終了後、研究目的で公開

NTCIRの焦点
再利⽤可能な実験⽤データセット
⽇本語、東アジア諸語
⾔語横断／対訳コーパスの利⽤
語横断／対
パ
利
多様な⽂書ジャンル

新しい情報アクセス技
術
術へのチャレンジチ
検索と⾔語処理の融合
情報活 ⽀援情報活⽤⽀援より現実的な／利⽤者志向研究者のフォーラム
研究アイディアの交換
評価⼿法・指標の研究・議論•どの要素により重点をおくかは次第に変化している•開始当初：データセット 次第にチャレンジ  今
後はフォーラムと評価⼿法の研究がますます重要

情報アクセス技術の評価の６レベル
1.

工学レベル：効率efficiency
学
効率
ex.速さ
速さ

2. 入力レベル：ex
データベースの網羅性、質、新しさ‥
ex.デタベ スの網羅性、質、新しさ
3. 処理レベル:検索有効性effectiveness ex.再現
率 精度
率、精度
4. 出力レベル
結果の提示
出力レベル：結果の提示
5. 利用者レベル： ex. 利用者が必要とする労力
6. 社会レベル：重要性(Cleverdon & Keen 1966)

検索の難しさは、検索質問ごとに異なる
J-J Le ve l1 D auto

1.0000

１つの検索システム上で、50個の検101
検索システム別の11pt再現率精度
索質問の検索有効性の比較
102

システム間の検索
有効性の比較

1

0.8000A

各システムとも、
50質問の平均BC

0.8

0.6000D

precision

E

precision

F

0.4000

G

0.6

H
I
J

0.4

K
L

0.2000

M
N

0.2

O

0.0000
0

2

4

6

8

0

0.

0.

0.

0.

0.

1.

P

recall

0
0

0.1

0.2

0.3

0.4

0.5
recall

0.6

0.7

0.8

0.9

1

103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129

検索の難しさは、検索質問ごとに異なる
J JL
J-J
Le ve l1 D autot

1.0000

システム間の検索
有効性の比較

101
検索システム別の11pt再現率精度
１つの検索システム上で、50個の検102
103
索質問の検索有効性の比較
104
10.8000A
B
C「難しい質問」は システムによって異なる「難しい質問」は、システムによって異なる

0.8

Average over 50
0.6000J-J Le ve l1 D auto
topicsE

preecision

0.4000

00

06
0.6

0.4

G

B

H

C

I

D

J

E

K

F

L

0.200000

AF

precisio
on

00

D

G

M

0.2

00

0.0000
0

2

4

6

8

0

0.

0.

0.

0.

0.

1.

00

H

O

I

P

J
K

0
0

0.1

0.2

0.3
L

4

7

0

3

6

9

2

5

8

1

4

7

0

3

6

9

10

11

11

11

11

12

12

12

13

13

13

14

14

14

14

N

10

M

1

recall1000

N

T opic#Requests#101‐150

O
P

105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129

信頼性の高い評価をするに
0.5
0.6
0.7
0.8
0.9
1
recallは、多数の質問を用いる必、多数
質問を用 る必要がある。評価指標によって必要な質問数は異なる

0.4

製薬企業の研究開発
Phase I:

Phase II:

Phase III:

Phase IV:In Vitro試験管
内の実験

動物実験

健常者の実験

臨床試験

実験設計：
評価する側⾯を選定

統制しやすい統制できない
要因＋＋＋

NTCIR

テストコレクション
Phase I:

研究室実験

Phase II:

Phase III:

モジュール共有、 統制された被験プ トタイププロトタイプ者実験

Phase IV:

統制しな 多数の統制しない多数のテスト利用者による実用化直前テスト

製薬企業の研究開発
Phase I:

Phase II:

Phase III:

Phase IV:In Vitro試験管
内の実験

動物実験

健常者の実験

臨床試験
2.⼊⼒レベル⼒、

社会レベル

評価のレベル

4.利⽤者レベル、5.出⼒レベル

1.⼯学レベル：効率
⼯学レベル 効率
3.処理レベル：有効性

6.

実験設計
○利⽤者の情報探索タスク– ⽂書データのジャンル(種類)+典型的な利⽤者の利⽤
⽂書デ タのジ ンル(種類) 典型的な利⽤者の利⽤– 利⽤者の状況、アクセスの⽬的
実験は現実世界での情報アクセスを抽象化したもの
評価する側⾯を選定。現実世界に近づくほど、統制できない要因が増加する○検証とベンチマ ク○検証とベンチマーク- なぜ、どの程度、このシステムは他よりよく（悪く）働くのか- どのようにシステムを改善すればよいのかを学ぶ- システムの有効性について、科学的な理解を提供する

評価ワークショップによる技術の有効性の進展
およそ3年で1.5〜2倍Mean Avverage P
M
Precisionn0.5

Cornell University TREC Systems

0.4
03
0.3

TREC-1
TREC-2TREC
2TREC-3

0.2

TREC-4

0.1

TREC-6

0
'92
'93
'94
'95
'96
'97
'98
System System System System System System System

TREC-5
TREC 7
TREC-7

研究動向
ACM‐SIGIRのテーマ別発表論⽂数の推移
450

400

WEB
350

ユーザ
評価

論⽂数
数

300

⾮テキスト
QA/要約

250
5

⾃然⾔語処理⾔語横断

200

機械学習・分類
クラスタリング150

効率
フィルタリング

100

クエリ処理
ク
リ処理

50

モデル
その他

0
'77‐79'80‐84'85‐89'90‐94

出版年'95‐99'00‐04'05‐09

今後の課題• 評価への個別的なニーズへの対応• 探索的・対話的な情報アクセス– 利用者の意図– 協調探索– 経験・知識・リテラシー• SWIRL 2012で議論された重要トピック– 対話検索– モバイル検索– ゼロクエリ検索– スマート検索– Query by walking around– 構造，エンティティ，関係

NTCIR‐10の特徴
What’ss new?
What

NTCIR‐10: ねらい• 強固な運営基盤– 運営組織の強化• タスクの多様性– 情報アクセスにおける幅広いコンテ
キストを対象– 多様なメディアを研究対象に• コミュティ主導のコミ ティ主導のタスク運営– 研究の持続性• 研究資源利⽤の促進– 成果報告会で特別
ブ ス 設置
ブースの設置NTCIR‐10: 運営組織
• GeneralGl Co‐Chairs
C Ch iTO• タスクオーガナイザ
タスクオ ガナイザ– 加藤 恒昭 (東京⼤学)– 世界中の48⼈の研究者– 神⾨ 典⼦ (NII)– 参加者 (あなたです!)– Douglas W.
W Oard(University of Maryland)– Mark Sanderson (RMIT)• Program Co‐Chairs– 酒井 哲也 (MSRA)– 上保 秀夫 (筑波⼤学)• EVIA 2013 Co‐Chairs
Co Chairs– Ruihua Song (MSRA)– William Webber(University of Maryland)http://research.nii.ac.jp/ntcir/ntcir‐10/organizers.html

NTCIR-10:
NTCIR 10: これまでの展開
2011.10NTCIR‐10組織の発⾜組織

2011.11

タスクプロポーザルの募集開始
10のプロポーザルが応募

2011.12NTCIR‐9NTCIR
9 成果報告会

2012.01

プログラム委員会とProgram Co‐Chairsの審査の結果 7つのタスクが採択
結果、7つのタスクが採択

2012.02

各タスクにおける参加募集要項の準備

2012.03

NTCIR‐9 Kick‐Off EventNTCIR‐10 プログラム委員• Charles
Ch l Cl
Clarkek (University(U i
i off Waterloo,
W
l Canada)Cd )• Kalervo Järvelin (University of Tampere, Finland)• Hideo Joho (Co‐chair, University of Tsukuba, Japan)• Gareth Jones (Dublin City University, Ireland)• Noriko Kando (NII, Japan)• Tsuneaki Kato (The University of Tokyo, Japan)• Douglas W. Oard (University of Maryland)• Tetsuya Sakai (Co‐chair, Microsoft Research Asia, PRC)
• Mark Sanderson (RMIT, Austraria)• Ian Soboroff ((NIST,, US))NTCIR‐10 採択タスク
採択タ ク

NTCIR‐10 採択タスク
採択タスク⼀覧
覧
コアタスク
ク• [Intent‐2] Search intent and diversification• [1Click‐2][ Cli k ] One‐ClickO Cli k A
Access• [RITE‐2] Recognizing Inference in Text
• [SpokenDoc‐2] IR for Spoken Documents
g access to Patent Docs
• [[PatentMT‐2]] Cross‐lingual• [CrossLink‐2] Cross‐lingual Link Discovery
パイロットタスク• [Math] Access to mathematical contents

CrossLink‐2

Crosslink Introduction• Cross‐lingual link discovery (Crosslink or CLLD) isconcerned with automatically finding potential
links between documents in different languages.
• CLLD algorithms actively recommend a set of
meaningful anchors in the context of a source
document and establish links to documents in analternative language.
• CLLDC
i helpfulish l f l for
f complimentarylikknowledge
l ddiscovery in different language domains.

Cross-lingualg Link Discoveryy
Article: Australia…
Ranked third in the Index of Economic Freedom(2010),[178] Australia is the world's thirteenthlargest economy and has the ninth highest percapita GDP; higher than that of the United
Kingdom, Germany, France, Canada, Japan, andthe United States.
States The country was ranked
second in the United Nations 2010 Human
Development Index and first in Legatum's 2008
Prosperity Index.[179] All of Australia's major
cities fare well in global comparative livability
surveys;[180] Melbourne reached first place on
Th Economist's
TheE
i ' 2011 World's
W ld' Most
M
Li bl
LivableCities list, followed by Sydney, Perth, andAdelaide in sixth, eighth, and ninth placerespectively.[181] Total government debt inAustralia is about $190 billion.[182] Australia
has amongg the highestghouse pprices and someof the highest household debt levels in theworld.
…

No link was created for this term, forfinding articles in languages we
prefer traditionally we do:

SearchTranslate

이코노미
스트
…

经济学人
…
The
Economist…
エコノミスト…

g
How to automaticallyy create cross‐lingual
links for a document if no links existingyet?

 Links in other languages?
 New articles?
 Missing
Mi i links?
li k ?
 Not what we are looking for?
 What about other relevant
links?

Cross‐lingualCrosslingual Link Discovery

 Cross-lingualg Links New Links
 Better Links
 More options

•Allll aboutbmulti‐linguall i lil kknowledgel d discovery
diin knowledgekl d basesb(e.g.
(
Wikipedia)
k d )•All about easy and efficient information accessThe Goal of Crosslink Task
• It is aimed to create a reusable resource forg g link
evaluatingg automated cross language
discovery approaches. The results of thisresearch will be used in building and refining
systems for automated link discovery.

Crosslink task at NTCIR‐9NTCIR 9• Cross‐lingual
Cross lingual link discovery (Crosslink) as a pilot task of
NTCIR‐9 has been successfully held in 2011
• Below is a list of participating teams with submissions:
GROUP
DUIIS
HITS
IISR
ISTIC
KMI
kslab_nut
KSLP
nthuisa
QUT
UKP
WUST

ORGANISATION
Daegu University
Heidelberg Institute for Theoretical Studies
Yuan Ze University
Institute of Scientific and Technical Informationof China
The Open UniversityggyNagaoka
Universityy of Technology
Kyungsung University
Academia Sinica
Queensland University of Technology
TU Darmstadt
Wuhan University of Science and Technology

Crosslink task at NTCIR‐9NTCIR 9 (Cont.)(Cont )• Therehwere ini totall 57 runs fromf
11 teams
were received.
Group
DUIIS
HITS
IISR
ISTIC
KMI
kslab_nut
KSLP
nthuisa
QUT
UKP
WUST
Sub‐total
b
l
Total

En‐2‐Zh
0
3
0
1
4
0
0
3
5
5
4
25

En‐2‐Ja
0
3
0
0
0
1
0
0
2
5
0
11

En‐2‐Ko
2
3
5
0
0
0
5
0
1
5
0
21
57

Crosslink Task at NTCIR
NTCIR‐10
10• CLLD is
i a core taskk off NTCIR‐10• New Subtasks– Chinese to English CLLD (C2E)– Japanese to English CLLD (J2E)– Korean to English CLLD (K2E)• New Document Collections– ECJK Wikipedia collections• New Topics– 25 topics
p for each languageg gEvaluation Framework• Assessment Types: Automatic (Wikipedia Ground Truth), Manual(h(humaniin theh loop)l)• Test data, training data, gold standard, ECJK Wikipedia collections,validation tool, assessment tool and evaluation tool (with systeml)evaluation
metrics).
• Snapshots of the validation, assessment and evaluation tools:
A
Assessmentt TTooll

Validation Tool

Evaluatuion Tool

System Evaluation Metrics



∑ 1

∑

∑ 1

1

@

where n is the number of topics; m is thenumber of identified items (links or
anchors); Pkt is the precision at top k items(links or anchors) for topic t; Pt@R ( =number of correct items ( links or anchors) /number of items (links or anchors) in qrel) is
the precision calculated using number oflinks / anchors in qrel as denominator for
topic t.
t

 Precision-at-N is computed using the average
precisione i i forf all
ll topicst i (source(
e articles)ti le ) att a
pre-defined position N in the results list.
V lValuesoff N were chosenhas: 5,
5 10,
10 20,
20 30,
30 50,
50
and 250.

ExpectedpOutcomes• More good submissions• More original and innovative
approaches can be seen in
identifying
meaningful anchorsand suggesting high quality cross‐lingual links• The research results can reallyhelp the cross‐lingual knowledge
discovery in knowledge bases
Evaluation Framework• The evaluation framework will befurther refined• The evaluation methods will befurther perfected to distinguish
the good and the bad CLLD
algorithms for the new subtasks

Expected Participants• Previousiactivei participantsi i
off NTCIR‐9
Crosslink task
• The registered participants of NTCIR‐9
Crosslink task.
• Participants of CLIR or IR4QA task in previous
NTCIR workshops.
workshops• Participants of previous INEX Link‐the‐Wiki
t k
track
• Other researchers in the CLIR fieldContacts• Organisers:
Shlomo Geva

Queensland University of Technology, Australia

Andrew Trotman Universityof Otago, New Zealand
Yue XuQueensland University of Technology, Australia

Eric Tang

Queenslandl d University off Technology,h lAustralial

In‐Su Kang

Kyungsung University, South Korea

Fuminori Kimura

Ritsumeikan University,
University Japan

Haitao Mi

Chinese Academy of Sciences, China• Mailing list: crosslink@lists.otago.ac.nz

INTENT‐2

INTENT‐2@NTCIR‐10 キックオフ
オーガナイザ:オ
ガナイザ
酒井 哲也, Ruihua Song, Zhicheng Dou(Microsoft Research Asia)
Min Zhang, Yiqun Liu (精華大)山本 岳洋,
岳洋 加藤 誠 (京大)岩田 麻佑 (阪大)h //http://research.microsoft.com/en‐us/people/tesakai/intent2.aspx
h
f
/
/
l /
k /

2012年3月8日@NII, 東京このクエリのユ ザの意図は？
このクエリのユーザの意図は？

曖昧な (ambiguous) クエリ

マイクロソフト製品！
仕事場！

このクエリのユ ザの意図は？
このクエリのユーザの意図は？

不明快な (underspecified) クエリ

ハリーポッターの映画！

ハリーポッターの本！

ハリーポッターのキャラクター！

検索結果多様化
曖昧/不明快なクエリに対して
曖昧/不明快なクエリに対して、異なるユーザの検索意図を満足させるような
検索結果リストを生成すること
検索結果ページ (SERP)INTENT 2 サブタスク
INTENT‐2• サブトピックマイニング（日、中、英）
サブトピックマイニング（日 中 英）
入力: クエリ （例： “ハリーポッター”）
出力: ランク付けされたサブトピック文字列のリスト
された ブ ピ
字(例： “ハリーポッター 本, ハリーポッター映画,
ハリーポッター
ポ タ
キ
キャラクター”)クタ• ドキュメントランキング（日、中）ドキュメントランキング（日 中）
入力: クエリ （例： “ハリーポッター”）
出力 多様化された ウ ブペ ジのランキング
出力：多様化された、ウェブページのランキング

研究課題: 適合性と多様性のバランスの最適化

INTENT 1 との相違点 (1/2)
INTENT‐1• 英語（new!）のサブトピックマイニングタスクではのサブトピ クマイ ングタスクではTREC 2012 diversity task と共通のトピックを一部利用
部利用• トピック集合に、検索結果の多様化を必要としない
ようなク リ（
ようなクエリ（oneitem search クエリ）を含める
ク リ）を含める– システムは各トピックについて
多様化の必要性を判定する必要• オーガナイザ側がクエリ推薦および検索結果をベ
ベースラインとして参加者に配布
ライ として参加者に配布– 自前で検索エンジンを持たない研究チームでも気軽に参加可能にINTENT 1 との相違点 (2/2)
INTENT‐1
INTENT‐1@NTCIR‐9
INTENT
1@NTCIR 9

INTENT‐2@NTCIR‐10
INTENT
2@NTCIR 10

INTENT‐1
トピック集合INTENT‐2
トピック集合INTENT‐1
システム

INTENT‐2
システム

INTENT‐1に参加したシステムはINTENT‐2
トピック集合に対しても結果を作成(両者のトピック集合の等価性を議論)INTENT‐2参加システムは
INTENT‐1のトピック集合
に対しても結果を作成
対も結果を作成(INTENT‐1からの技術の進歩について議論）

スケジュール
参加者

オーガナイザ2012年 5月
トピックおよびベ スラインの配布
トピックおよびベースラインの配布
2012年 7月
全てのランの提出締切
2012年8～12月 サブトピックからのintent作成
intent毎の適合性判定
2013年 1月
評価結果を参加者に配布
2013年
年 3月？
月？ 初稿論文締切
2013年 5月？ 最終原稿締切
NTCIR‐10
6月18～21日
INTENT‐1では7つの国と地域から17の研究チームが参加！
では の国と地域から の研究チ ムが参加
INTENT‐2ではより多くの参加者を求めています！！

1Click‐2

1CLICK‐2@NTCIR‐10
1CLICK
2@NTCIR 10 キックオフ
TASK ORGANISERS: 加藤 誠, 山本 岳洋 (京大),酒井 哲也,
哲也 Young-In
Y
I Song,S
Zhi h
Zhicheng
D
Dou(MSRA),(MSRA)
Virgil Pavlu, Matthew Ekstrand-Abueg, Shahzad Rajput (Northeastern U)
岩田 麻佑 (阪大)

http://research.microsoft.com/en‐us/people/tesakai/1click2.aspx

March 8, 2012@NII, Tokyo従来の検索= MoreMore‐than‐One
than One Click Access
クエリ入力

湘南厚木病院(Shonan Atsugi Hospital)

検索ボタ をクリック
検索ボタンをランキングされたURLを調べる

URLをクリッククリ ク
Webペ ジを閲覧
Webページを閲覧欲しかった情報を全て入手

One Click Access
クエリ入力

湘南厚木病院(Shonan Atsugi Hospital)

システムはX文字の文章を出力

検索ボタ をクリック
検索ボタンをPhone: 046‐223‐3636. Fax: 046‐223‐3630. Address: 118‐
1 Nurumizu, Atsugi, 243‐8551. Email: soumu@shonan‐
atsugi jp Visiting hours: general ward Mon
atsugi.jp.
Mon‐FriFri 1515‐20;
20;
Sat&Holidays 13‐20 / Intensive Care Unit (ICU) 11‐11:30,
15:30, 19‐19:30.

欲しかった情報を全て入手

Phone: 046‐223‐3636.
Fax: 046‐223‐3630.
Address: 118‐1
Nurumizu,, Atsugi,
g , 243‐8551. Email:soumu@shonan‐
atsugi.jp. Visiting hours:
general ward Mon‐Fri
15‐20; Sat&Holidays 13‐
20 / Intensive Care Unit
(ICU) 11‐11:30, 15:30,
19‐19:30.

モバイル検索特にに有効

3「ランキングされたURLリスト」ではなく「情報」そのものを検索1クリックアクセスの利点
欲しい情報へ素早く直接アクセス
すぐに湘南厚木病院に電話しなくては！

従来の検索エンジン

1クリックアクセスシステム

Phone: 046‐223‐3636. Fax: 046‐223‐3630.

やっと見つけた

Address: 118‐1 Nurumizu, Atsugi, 243‐8551. Email:soumu@shonan‐atsugi.jp. Visiting hours: general ward
Mon‐Fri 15‐20; Sat&Holidays 13‐20 / Intensive Care Unit
(ICU) 11‐11:30,
11 11 30 15:30,
15 30 19‐19:30.
19 19 30

すぐ見つかった!

ク リ
クエリ• 8種類のクエリタイプを用意 [Li et al., SIGIR09](これらの種類は特に検索結果ページを見ただけでユーザが満足する割合が高い)– 芸術家, スポーツ選手, 政治家, 俳優– 地物,
物, 地域情報域情報– 定義 (語の)– QA (自然言語で書かれた質問)• クエリは商用検索エンジンの大規模ログデータ
から選出
J. Li, S. Huffman, and A. Tokuda. Good abandonment in mobile and PC internet search. ACM SIGIR 2009

iUnitsによる評価• 手動/自動でシステム出力とiUnits (我々が定義する情報の最小単位)を比較して評価
電話 046‐223‐3636.
046 223 3636 Fax:
F 046‐223‐3630.
046 223 3630
電話:
住所: 〒243‐8551神奈川県厚木市温水
118‐1
118
1. Email: soumu@shonan
soumu@shonan‐atsugi
atsugi.jp.
jp

システム出力• 電話番号: 046‐223‐3636• Fax番号: 046‐223‐3630• 住所: 〒243‐8551神奈川県厚木市温水

iUnits• システムは文書検索ではなく情報検索の観点から評価される

1CLICK‐2
1CLICK
2 サブタスク
参加者は下記のどちらかへの参加していただきます• メインタスク
メイ タ ク– Mandatory Runs: 共通のWeb検索結果から結果を生成– Oracle Runs (optional):
iUnitsが記載されているURLリストから結果を生成– Open Runs (optional):
任意の検索エンジンを利用して結果を生成

OR• クエリ分類サブタスク– クエリが与えられた時にそのクエリタイプを推定(芸術家 QA,(芸術家,
QA etc.)t )1CLICK 1との相違点
1CLICK‐1との相違点• 日本語に加え英語のタスク (留学生の方にぜひ)• クエリタイプを4種類から8種類に• iUnitという新しい情報単位での評価• 自動/手動によるシステム出力の評価• タスクのバリエーションが増えました– より公正な評価を目指しつつ気軽な参加も可能に– クエリ分類タスク（Web検索には非常に重要なタスク）
だけでも参加できますスケジュール
ケジ
参加者

オーガナイザ2012年 4月 サンプルクエリとiUnitの配布
2012年 8月 本番用クエリ配布
2012年 10月 システム出力締切
2012年 11月 iUnitによる評価期間‐2013年 1月
2013年
年 2月
月 評価結果配布
2013年 3月 ドラフト論文締切
2013年 6月 NTCIR‐10

情報検索, 情報抽出,
情報検索
情報抽出 モバイル検索,
モバイル検索 要約,
要約
次世代検索に興味がある方はぜひご参加くださいPatentMT‐2

The	
  Patent	
  Machine	
  Transla/on	
  Task	  	
  (PatentMT)	

Isao	
  Goto	  (NICT)	
  
Bin	
  Lu	
  (City	
  Univ.	
  of	
  Hong	  Kong	  /	
  Hong	  Kong	  Ins/tute	
  of	
  Educa/on)	
  
Ka	
  Po	
  Chow	
  (Hong	
  Kong	  Ins/tute	
  of	
  Educa/on)	
  Eiichiro	
  Sumita	
  (NICT)	
  Benjamin	
  K.	
  Tsou	  (Hong	
  Kong	  Ins/tute	
  of	
  Educa/on	
  /	
  City	  Univ.	
  of	
  Hong	  Kong)	
1	

Mo/va/on	

There	  is	
  a	
  signiﬁcant	
  prac%cal	
  need	  for	
  patent	
  transla/on.	
  to	
  understand	
  patent	
  informa/on	
  wriLen	
  in	
  foreign	
  languages.	
   to	
  apply	
  for	
  patents	
  in	
  foreign	
  countries.	
  	
  




Patents	
  cons/tute	
  one	  of	
  the	
  challenging	
  domains.	
  Patent	  sentences	
  can	  be	
  quite	  long	  and	  contain	
  complex	  structures.	
   Transla/on	
  between	
  languages	
  with	  largely	
  diﬀerent	
  word	
  order	
  is	
  diﬃcult	
  for	
  long	  sentences.	
  


2	

Goals	  of	
  PatentMT	












To	
  develop	
  challenging	
  and	
  signiﬁcant	
  prac%cal	
  research	
  into	  patent	
  machine	  transla/on.	
  To	
  inves%gate	
  the	  performance	
  of	
  state-­‐of-­‐the-­‐art	
  machine	
  transla/on	
  systems	
  in	
  terms	
  of	
  patent	
  transla/ons	
  involving	
  Japanese,	
  English,	
  and	
  Chinese.	
  To	
  compare	
  the	
  eﬀects	
  of	
  diﬀerent	
  methods	
  of	
  patent	
  transla/on	
  by	
  applying	
  them	  to	
  the	
  same	  test	  data.	
  To	
  create	
  publicly-­‐available	
  parallel	
  corpora	
  of	
  patent	
  documents	
  and	  human	  evalua/ons	
  of	
  MT	
  results	  for	
  patent	
  informa/on	
  processing	  research.	
  To	
  drive	
  machine	
  transla%on	
  research,	
  which	
  is	
  an	
  important	
  technology	
  for	
  cross-­‐lingual	  access	
  of	
  informa/on	
  wriLen	
  in	
  unknown	
  languages.	
  The	
  ul/mate	
  goal	  is	
  fostering	
  scien%ﬁc	
  coopera%on.	
  3	

Findings	
  of	
  PatentMT	
  at	
  NTCIR-­‐9	SMT	
  was	  the	  best	  system	
  for	
  Chinese	
  to	
  English	
  and	
  English	  to	
  Japanese	
  patent	
  transla/on.	
  

This	
  is	
  the	
  ﬁrst	  %me	
  for	
  SMT	  to	
  be	
  demonstrated	
  equal	  or	
  beBer	
  quality	
  than	  that	  of	
  the	
  top-­‐level	  RBMT	
  for	  English	
  to	
  Japanese	
  patent	
  transla/on.	
   The	  pre-­‐ordering	
  method	  of	  NTT-­‐UT	
  for	
  SMT	  is	  very	  eﬀec/ve	
  for	  English	
  to	
  Japanese	
  patent	
  transla/on.	
  






80%	
  of	
  patent	
  sentences	
  could	
  be	
  understood	
  in	
  the	  best	
  system	
  for	
  Chinese	
  to	
  English	
  patent	
  transla/on.	
  RBMT	
  was	  the	  best	  system	
  for	  Japanese	
  to	
  English	
  patent	  transla/on.	
4	Remaining	
  Issues	
  of	
  NTCIR-­‐9	

Prac/cal	
  evalua/on	
  The	
  quality	
  of	
  translated	
  sentences	
  was	  evaluated	  at	
  NTCIR-­‐9.	
  
 More	  prac/cal	
  evalua/ons	  are	
  also	  expected.	
  


5	

Outline	
  of	
  the	  Plans	
  for	
  NTCIR-­‐10	

Three	
  subtasks:	  Subtasks	

Training data	

Chinese to English	
 1 million sentence pairs	
Japanese to English	

Approximately 3.2 million sentence pairs

English to Japanese	(Subtasks	
  and	  training	
  data	  are	  the	
  same	  as	
  at	
  NTCIR-­‐9)	

Par/cipants	
  select	
  subtasks	
  in	
  which	  they	  wish	  to	
  par/cipate.	
   Large	  scale	  parallel	
  corpora	
  and	  new	
  test	  sets	
  will	  be	
  provided.	
   Prac%cal	
  evalua%on	
  will	  be	
  added	  (under	  considera/on).	
   Human	
  evalua%on	
  will	  be	
  carried	
  out.	
  

6	

Diﬀerences	
  from	  NTCIR-­‐9	
Prac/cal	
  Evalua/on	
   New:	
  To	
  explore	
  prac%cal	
  MT	
  performance	
  in	
  appropriate	
  ﬁelds	
  for	
  patent	
  machine	
  transla/on.	
(under	  considera/on)	

Similar	  to	
  the	
  NTCIR-­‐9	
  evalua%on.	
  Quality	
  of	
  translated	
  sentences	
  will	  be	
  evaluated.	
  Addi/ons:	
  Intrinsic	
  Evalua/on	

Chronological	  evalua/on	
  Comparison	
  between	
  NTCIR-­‐10	
  and	
  
NTCIR-­‐9	  to	
  measure	
  progress.	

Comparison	
  of	
  CE	
  and	  JE	  transla/ons	  Mul/lingual	  using	  the	
  same	  English	
  reference	
  will	  evalua/on	
  be	
  added.	
  7	Can the machinetranslated texts showthat patent document A
should be rejected? 	

MT	
Japanese/
ChineseEnglish	

English	＝	Preparation	

Evaluation	

Possible	
  Approach	
  to	
  Prac/cal	
  Evalua/on	English	
Manualtranslation	Rejected patentdocument A	

Text that shows
Human with patentpatent document A examiner experience	
should be rejected. 	

(The	
  feasibility	
  of	
  this	  is	
  under	
  inves/ga/on.	
  	
  
	
  We	
  are	
  working	
  hard	  to	
  make	  necessary	  arrangements.)	
  8	Chronological	
  Evalua/on	
In	
  addi/on	
  to	
  the	  new	
  NTCIR-­‐10	
  test	  sets,	  the	
  
NTCIR-­‐9	
  test	  sets	
  will	  be	
  also	  translated.	
   Transla/ons	
  of	
  the	
  NTCIR-­‐9	
  test	  sets	  at	
  NTCIR-­‐10	
  will	  be	
  compared	
  to	
  the	
  NTCIR-­‐9	
  submissions.	
   This	  allows	
  measurement	
  of	
  the	
  progress	  from	
  NTCIR-­‐9.	
  


9	

Mul/lingual	
  Evalua/on	




We	
  will	  produce	
  a	  C-­‐J-­‐E	
  mul%lingual	
  test	  set.	
  	
  A	
  C-­‐J-­‐E	
  mul/lingual	
  test	  set	
  enables	
  comparison	
  of	
  the	  CE	  transla/ons	
  and	  the	  JE	  transla/ons	
  using	  the	
  same	  English	
  reference	
  data.	
  

10	

The	
  Flow	
  and	  Tenta/ve	
  Schedule	
  of	
  the	  Task	
Par/cipants	
2012/7	
Training	
  period	
  
	
  (4	
  months)	
2012/11	Test	
  period	  (2	
  weeks)	

2013/2	
2013/6	
Workshop	  Organizers	

Training	
  and	
  development	
  data	Test	
  sentences	
Translated	
  results	
Evalua/on	
  results	  and	
  reference	
  data	
11	

Why	
  is	
  it	
  so	
  exci/ng	
  to	  par/cipate	
  in?	

Patents	
  are	
  one	  of	
  the	
  challenging	
  domains	
  for	
  MT.	  Patent	  sentences	
  could	
  be	
  quite	  long	  and	  contain	
  complex	  structures.	
   Transla/on	
  between	
  languages	
  with	  largely	
  diﬀerent	
  word	  order	
  is	
  diﬃcult	
  for	
  long	  sentences.	
  

Par/cipants	
  will	  receive	
  evalua%on	
  results	  for	  their	
  MT	
  quality.	
   Par/cipants	
  can	
  use	
  large-­‐scale	
  patent	
  parallel	
  and	
  monolingual	
  corpora.	
   Par/cipants	
  can	
  choose	
  subtasks	
  from	  three	  language	
  direc/ons,	
  including	
  the	
  language	
  direc%on	
  of	
  Chinese	
  to	
  English.	
  




We	
  look	  forward	
  to	
  many	  groups	
  par/cipa/ng	
  in	
  PatentMT	
  at	
  NTCIR-­‐10!	
  12	SpokenDoc‐2

NTCIR‐10

SpokenDoc‐2
IR (Information Retrieval) for Spoken Documents

Kiyoaki Aikawa1, Tomoyosi Akiba2 , Seiichi Nakagawa2,
Hiroaki Nanjo3, Hiromitsu Nishizaki4, Yoichi Yamashita5
1Tokyo University of Technology, Japan
2Toyohashi University of Technology, Japan
3Ryukoku University, Japan
4University of Yamanashi,
Yamanashi Japan
5Ritsumeikan University, Japan

What is “SpokenDoc
SpokenDoc‐22”??
• Second round of the IR for spoken documents• Finding the information related to given aquery ffrom too muchh speechhd
data
SpeechpdataTranscribed text byy automatic speechprecognitiong
ASR“information retrieval”

Information retrieval (word‐unit transcription)
In for ma tion re triev al (sub‐word‐unit)
Problem Including a lot of errors!!

Participants of SpokenDoc‐2 will challenge

Information retrieval from very noisy text data
Techniques for SpokenDoc may be used for OCR or Machine Translated text retrieval

Target Speech Data
• Type off speechh datad– Broadcast news speech, podcast, lecture speech…
Having noisier words

Our target• Databases– CSJ (Corpus of Spontaneous Japanese)• 2,702
2 702 lecture speeches,
speeches 628 hours– New target! Real academic meeting lectures collection• Over 70 speeches from the spoken document processing
workshops

SpokenDoc 2 Task Overview
SpokenDoc‐2• Sub‐task1: Spoken Term Detection• Sub
Sub‐task2:
task2: Spoken Document Retrieval

Spoken Term Detection
1 Finding
1.
i di utterances including
i l di a query term
QUERY TERM:“Information Retrieval”

Utterances…Spoken term detection…

Search…
… information retrieval …

Find!

…spoken document retrieval …

Spokenp
documents collection

2. A qqueryy term is included or not included in a
spoken document?

Spoken Document Retrieval• Ad‐hoc Information Retrieval from lecturepspeeches• Finding the passages including the relevant
information related to a given query topic• Query– Text query– Spoken Query (optional)

Merits for Task Participants• The
Th organizers
iwill
ill provide
id theh richi h transcriptionsi ibbyan automatic speech recognition system– Participants can focus on developing IR technique for noisy
data, although you have not any techniques for speech
recognition• Participants will get the real lecture speeches:• Academic meeting lectures– All lectures have reference transcriptions– SomeS
lectures
l
have
h
slide
lid d
data andd digitalized
di i li d papers

All data is Japanese• Schedule– Mar.
M 2012:
2012 releasel
off theh taskk d
descriptioni i– June 2012: release of the reference automatic transcription– Sept.
Sept 2012: dry
dry‐runrun– Nov. 2012: formal‐run evaluation– Nov. 2012‐Feb.2013: relevance judgment– Feb. 2013: release of the evaluation results– May 2013: camera ready submission due– JuneJ2013 NTCIR‐10
2013:
NTCIR 10 workshop
k h meetingi• Contact– SpokenDoc‐2
SpokenDoc 2 organizers:• E‐mail: ntcadm‐spokendoc2@cl.ics.tut.ac.jp– Web ( coming soon! )• http://www.cl.ics.tut.ac.jp/~sdpwg/index.php?ntcir10– Twitter: @spokendoc2

RITE‐2

RITE-2R e c o g n i z i n g 	
  I n f e r e n c e 	
   i n 	
  TExt@NTCIR10	
  

NTCIR-­‐10	
  RITE-­‐2	
  タスク	
  (Recognizing	
  Inference	
  in	
  TExt)	

Yotaro	  	
  Junta	
  Watanabe1	
 Mizuno1	
1Tohoku	
  University	
  Shuming	
  
Shi6	
  
6MicrosoS	
  Research	
  Asia	  Yusuke	  	
  Miyao2	

Tomohide	  Shibata3	

2NaEonal	
  InsEtute	  	
  3Kyoto	  of	  InformaEcs	
  Hiroshi	  Kanayama7	  University	
  Koichi	  Takeda7	
  7IBM	
  Research	
  Cheng-­‐	  Wei	
  Lee4	  Chuan-­‐	  Jie	
  Lin5	  

4Academia	  	
  5NaEonal	
  Taiwan	
  Sinica	  Hideki	  Shima8	  Ocean	
  University	
  Teruko	  Mitamura8	
  8Carnegie	
  Mellon	
  University	
  NTCIR-­‐10	
  Kick-­‐oﬀ	
  Event	
  March	  8th,	
  2012	RITE-2R e c o g n i z i n g 	
  I n f e r e n c e 	
   i n 	
  TExt@NTCIR10	
  RITE-­‐2	
  タスクの概要	

• RITEはテキスト間の含意（＝推論），換言（＝同じ意味），矛盾の判断を対象とした，テキスト理解システムのためのベンチマークタスク	
  • 含意：テキスト t1が与えられたとき，	
  
	
  	
   	
   	
   	
  仮説 t2 も真であると推論可能	
  – t1:	  川端康成は「雪国」 などの作品でノーベル文学賞を受賞した	  – t2:	  川端康成は「雪国」の著者である	
  • 言語:	
  日本語，中国語（Simpliﬁed,	
  TradiIonal）	

RITE-2R e c o g n i z i n g 	
  I n f e r e n c e 	
   i n 	
  TExt@NTCIR10	
  RITE-­‐2	
  のサブタスク	• Binary-­‐Class	
  (BC)	
  サブタスク	  – 1組の文対<t1,	
  t2>を与えられたとき，t1から仮説t2が真であるかどうかを出力	  • MulE-­‐Class	
  (MC)	
  サブタスク	  – 1組の文対<t1,	
  t2>を与えられたとき，4種類の関係に分類	
  含意関係あり	

t1がt2を含意	

t1とt2は同義	

含意関係なし	

t1とt2は矛盾	

t1とt2は意味的に独立	

• 大学入試サブタスク	
  – BC	
  サブタスク	  • 大学入試の問題を対象に，BCと同じ課題を解く	
  – 検索サブタスク	
  • 仮説t2と,	
  Wikipedia・教科書が与えられたとき，t2が真であるかど
うかを出力	
  

RITE-2R e c o g n i z i n g 	
  I n f e r e n c e 	
   i n 	
  TExt@NTCIR10	
  RITE-­‐2	
  評価の流れ	t1	
  が t2を含意？	
  t1:	
  川端康成は「雪国」 などの作品でノーベル文学賞を受賞した	
  t2:	
  川端康成は「雪国」の著者である	
サブタスク	
  

入力	
  

出力	
  

評価	
  

BC	
   (t1,	  t2)	  Y	
  (含意,	
  t1	
  ⇒ t2)	
  N	
  (含意しない)	
  

正解率	
  

MC	
   (t1,	  t2)	  含意関係あり	
  
	
  	
  F	
  (含意;	
  t1	
  ⇒ t2)	
  
	
  	
  B	
  (同義;	
  t1⇔t2)	
  	
  
	
  
含意関係なし	
  
	
  	
  C	
  (矛盾)	
  	
  
	
  	
  I	
  	
  (意味的に独立)	
  RITE
System

評価

正解率	
  

(自動)

大学入試	
   (t ,	  t )BC	   1 2 	
  

Y	
  /	
  N	
  

正解率	
  

大学入試	
   (t ,	  教科書)
	
  
検索	
   2

T	
  (真)	  /	  N	  (偽)	
  

正解率	
  

4	
  

RITE-2R e c o g n i z i n g 	
  I n f e r e n c e 	
   i n 	
  TExt@NTCIR10	
  ご参加をお待ちしております	

RITEは含意関係認識，言い換え認識の研究だけでなく，幅広い研究分野と関連があります	
  • 基盤技術：言語・意味解析，知識獲得，機械学習	
  • 応用技術：情報検索，質問応答，自動要約 など	
  	  大学生から企業の研究者に至るまで，幅広く参加していただけるよう工夫をします	
  • 既存のリソースやツールの情報を共有	  詳しくはウェブサイトにて
hQp://www.cl.ecei.tohoku.ac.jp/rite2	
  	
  

Math

NTCIR‐10 kickoff
M h8
March
8, 2012NTCIR‐10 MATH PILOT TASKThe Goal of NTCIR
NTCIR‐10
10 Math Task
• NTCIR Math Task aims at exploring methods
g its
for mathematical content access throughtask design and the construction of theevaluation dataset
dataset.
l ][ Formulaa mathematical relationship or rule expressed in symbols(Oxford Dictionary)

In science, a formula is a concise way of expressing
information, or a ggeneral relationshipp between quantities.
q(Wikipedia)

Math Information Access
Representations
Embedded image (png, gif, ...)

Character sequence (latex source)

Resourcesmathematical knowledge‐base andmath ontology

OpenMathlog(z_1)+log(z_2)log(z1)+log(z 2) == log(Z_1,log(Z 1,
Z_2)¥¥; z_1+z_2 ¥geq 0

Web‐browsable XML<math
h xmlns='http://www.w3.org/1998/Mathl 'h //
3/1998/M h/MathML' mathematica:form='TraditionalForm'
xmlns:mathematica='http://www.wolfram.com/XML/'> <semantics> <mrow> <mrow> <mrow> <mrow><mi> log </mi> <mo> &#8289; </mo> <mo> ( </mo><msub> <mi> z </mi> <mn> 1 </mn> </msub>

XML for math semantics<annotation‐xml encoding='MathML‐Content'><apply> <ci> Condition </ci> <apply> <eq /><apply> <plus /> <apply> <ln /> <apply> <ci>
Subscript </ci> <ci> z </ci> <cn type='integer'> 1</cn> </apply> </apply> <apply> <ln /> <apply><ci> Subscript </ci>

Wolfram MathWorld :13,081 entries (Sep.
13, 2011)
Wolfram Functionssite :
307,409 formulas(Sep. 15, 2011)

Strict Content
MathML(W3C
recommendation)

Requirement
NISTEP Policy Study

Mathematics as deserted sciencein Japanese S&T policy‐ Current situation on mathematicalsciences research in major countries
and need for mathematical sciencesfrom the science in Japan (2006.5)

Q. Is mathematics related
to your research?
Strongly related

Somewhat
relatedWikipedia:
26,566
mathematics
articlesRelated77% researchers
across diversity of
disciplines answered‘YES’.

Task Overview• [Math Retrieval Subtask]– Given a document collection,, retrieve relevant
mathematical formulae or documents for a given
q yquery.

• [Math[M th U
Understandingd t di SSubtask]
bt k]– Extract natural language definitions ofmathematical expressions in a document for theirsemantic interpretation.

Math Retrieval Subtask• Dataset (scheduled)– Scientific Articles from ArXiv e‐print server http://arxiv.org/
http://kwarc info/projects/arXMLiv/• ConvertedCt d iintot XML+MathML
XML+M thML byb arXMLiv
XMLi projectj t http://kwarc.info/projects/arXMLiv/• 10,000 docs for a dry run, additional 100,000 docs for a formal run• Search Types– The Math retrieval task uses the above 110K docs and can beenvisaged in three different search scenarios• Formula Search– Search for formula queries within the formulae database of the used dataset• Full‐Text Search– Search the document collection using formula queries. Combinations of keywords
and formulae.

• Open Information Retrieval– Search the document collection using free textual queries.

MathRetrieval
Subtask:
mathrepresentation
DatasetExample(MathML)

papers from arXiv.org

xhtml/xml

Math Retrieval Subtask :Query example

Formula search
1.


2.

h
l

f ( x) 2 dx

a b  b a

Full‐text search

Open IR

1.
Pythagorean Theorem

1.
What is the fifthsummandd in thehTaylor expansion ofsinus hyperbolicus?

2.
Bell curve in the form
of
x
2



1

3
3.



2

expp

2

2

lim a  b  cx 3.
NOT Bayes
B
Th
Theorem,but written asP( X | Y )2.
For which $n$ and$k$ is $PSL(n,k)$$PSL(n k)$ notcommutative.?

Math Retrieval Subtask :Formula Search Example
Retrieved formula

Query formulaMath Understanding Subtask• TaskT k definitiond fi iti– Extract natural language definitions of mathematicalexpressions in a document (Basic Task) with their semanticinterpretation (Challenge( h llTask,
k TBA).
)• Dataset (scheduled)()– Development Data
• 10 papers selected from ACL‐Anthology Reference Corpus• 30 papers selected from ArXiv.org
ArXiv org dataset which will be also used in
Math Retrieval Task.

– Data for Formal Run (submission period: five days)• 10 papers selected from ACL‐Anthology Reference Corpus• 10 papers selected from ArXiv.org dataset which will be also used in
Math Retrieval Task.

Math Understanding Subtask :Original text (pdf)
DDatasetEExamplelExample of Presentation MathML<mrow><mrow id="math_b6a1eb64.1"><mi mathvariant="italic">groupSim</mi><mo>?</mo><mrow><mo>(</mo><mrow><msub><mi>G</mi><mn>1</mn></msub><mo>,</mo><msub><mi>G</mi><mn>2</mn></msub></mrow><mo>)</mo></mrow></mrow><mo>=</mo><mrow id="math_b6a1eb64.2"><mrow><mi mathvariant="italic">RI</mi><mo>?</mo><mrow><mo>(</mo><mrow><msub><mi>G</mi><mn>1</mn></msub><mo> </mo><mo>,</mo><msub><mi>G</mi>(http://www.nactem.ac.uk/brat‐annotation/) <mn>2</mn></msub></mrow><mo>)</mo>Definitions of mathematical objects in text

* Annotation tool

MathML parallel markup
Example of Content MathML<annotation‐xml encoding="MathML‐Content"<apply><eq /><apply xref="math_b6a1eb64.1"><ci>groupSim</ci><apply><selector /><ci>G</ci><cn>1</cn></apply><apply><selector
l t //><ci>G</ci><cn>2</cn></apply></apply><apply xref="math_b6a1eb64.2"><times /><apply><ci>RI</ci><apply><selector /><ci>G</ci><cn>1</cn>/</apply><apply><selector /><ci>G</ci><cn>2</cn></apply></apply><apply><ci>RC</ci><apply><selector /><ci>G</ci>
1 /Schedule
February‐April, 2012

Task framework development

April, 2012

Call for participation

May, 2012

Dataset and example topics release

Early‐mid October, 2012

Topic release for Open IR search type

Late October, 2012

Topic release for Formula, Full‐text search types, andMath understandingg subtask

Early November, 2012

Results submissions due for Formula, Full‐text searchtypes, and Math Understanding subtask

Mid November,Nb 2012R l submissions
Results
b i i
d for
due
f OpenO
IR searchh typeFebruary, 2013

Evaluation Results Released

March, 2013

Draft papers for NTCIR‐10
NTCIR 10 Proceedings Due

May, 2013

Camera ready for NTCIR‐10 Proceedings Due

June, 2013

NTCIR‐10 MeetingTask information• Contact
C t t– ntcir10adm‐math@nii.ac.jp• Task Web page
– http://ntcir‐math.nii.ac.jp/• Task Organizers– Akiko Aizawa (National Institute of Informatics, Japan)– Michael Kohlhase (Jacobs Universityy Bremen)– Iadh Ounis (University of Glasgow)• Task Advisors– Noriko Kando (National Institute of Informatics, Japan)– Fredric C. Gey (University of California, Berkeley)NTCIR‐10 タスク・マップ
タ ク
プ
まとめ

情報アクセスのコンテキスト
履歴
歴史
時間

組織
背景となる
作業

イ
ハイパーリ
ンク
⽂書群

経済的
技術的
社会的

インフラ

役割
Work task
やりとり
⽂書間構造

時間

⽂書内構造

Adapted from Ingwersen & Järvelin (2005)

ユーザ・
情報間
ユーザ・
システム間
⽂字
単語
⽂法
⽂書構造

NTCIR‐10 タスク
インフラ

幅広いコンテキストと多様なメディア

役割

IntentWork task
やりとり
⽂書間構造

1Click

時間

RITE
Math

⽂書内構造
数式

ニュース

CrossLink
PatentMT

ウェブ

特許

SpokenDoc
⾳声

⼊試

NTCIR‐10の⻑期的展望インフラ

実社会にイン
幅広いコンテキストと多様
パクトを与え
る情報技術
なメディア

役割

IntentWork task
やりとり
⽂書間構造

1Click
NTCIRの時間

CrossLink
RITE 情報アクセス

評価基盤

Math

⽂書内構造
数式

ニュース

PatentMT
ウェブ

特許

SpokenDoc

⾳声⼊試

タ ク参加タスク参加のメリット
ト
学⽣編 企業編
学⽣編・企業編

参加のメリット（学⽣編）• すぐに始められる– 実験データの提供– （ある程度）定義され
た評価指標

• 業績

– 他の参加者との⽐較による公正な議論– 次のステップについて
国際コミュティと意⾒交換• 多様なタスク– 新しい課題への挑戦もあり これまでの応⽤あり、これまでの応⽤もあり

参加のメリット（企業編）• プレゼンスの向上– 顧客に対して、同業他
社に対して

• 公正な
公正なベンチマーク
ンチマ ク– 社内ベンチマークは⾃社製品に有利になりやすい– ⼊札時のアピ
⼊札時のアピールル• 開発の促進– ⾃社製品のブラッシュ
アップやバグ取りが短期間で集中的にできる• 研究資源への早期ア
クセス– タスクで構築された様々なリソースを⼀般公開より先に利⽤可能

NTCIR‐10への参加⽅法
参加⽅法
簡単な6ステップ

参加⽅法
5. データ利⽤やその他
デ タ利⽤やその他
1. Taskk ddescriptionとCFPとをよく読むの覚書を記⼊する
2. 質問はTOに問い合わせる
3. 参加するタスクを決める
4. NTCIRのウェブサイトから参加者登録をする

6. タスクのMLやウェブ
サイトをフォローする
TOにはどんどん
フィードバック
しましょう！

NTCIR‐10参加に関するお願い
参加 関

参加者にしていただくこと• 成果報告⽤論⽂の提出• 成果報告会への出席＋ポスター発表
成果報告会への出席＋ポスタ 発表

重
重要な⽇程
程
スケジュ ル帳にメモをスケジュール帳にメモを重要な⽇程2012.03.08

キ クオ イ
キックオフイベント
ト2012.06.30

タスク参加登録締切

2012.07.01

⽂書データ配布開始

2012.07‐2012.12

予備テスト

2012.09‐2013.02

本テスト

2013.02.01

評価結果返送2013.02.01

タスク概要報告⼀部公開

3 32013.03.01

成果報告会⽤論⽂ 提出締切

2013.05.01

成果報告会⽤論⽂ 最終原稿締切

2013 06 18‐21
2013.06.18‐21

第10回NTCIR成果報告会（東京）詳細はTOから

記念
すべき

まとめ

• NTCIRの10回⽬のサイクルの 回⽬のサイクル– 運営組織も更に強化！

• 7つの魅⼒的なタスク– 世界中の48⼈の研究者によって運営• 斬新な研究をする⼟台を準備– 多様なコンテキストとメディア

皆さんの
皆
ん
参加を
お待ちし
てます！

http://research.nii.ac.jp/ntcir/ntcir-10/

ご清聴ありがとうございました！
お問い合わせはNTCIR事務局まで
ntc‐secretariatnii.ac.jp
ntc
secretariatnii.ac.jp

Q&A