NTCIR-12 MobileClick-2
モバイル情報検索タスク
加藤 誠（京都大学）
Virgil Pavlu (Northeastern University)
酒井 哲也（早稲田大学）
山本 岳洋（京都大学）

2

"NTCIR"NTCIRとは?
あなたの検索スコア

クリック数: 2

検索時間: 00:31

3

"NTCIR"NTCIRの締切はいつ?
あなたの検索スコア

クリック数: 2

検索時間: 00:29

4

5

6

"NTCIR"NTCIRとは?

Home | NTCIRThe NTCIR Workshop is a series of evaluation
workshops designed to enhance research ininformation access technologies including
information retrieval, summarization, extraction,question answering, etc.

あなたの検索スコア

クリック数: 0

NTCIR-12

検索時間: 00:03
Held on June 9(Tue)-12(Fri), 2016
at National Center of Sciences, Tokyo, JapanNTCIR-12 NewsNTCIR-12 Schedule
NTCIR-12 Tasks

7

"NTCIR"NTCIR-12 Schedule

NTCIRの締切はいつ?

20/Jan./2016:

Task Registration Due

06/Jan./2016:

Document Set Release

Home | NTCIRDry Run

Jan.-May/2016:

Mar.-July/2016:
The NTCIR Workshop is aFormal
series Runof evaluation
workshops designed to enhanceresearchin Due
01/Aug./2016:
Evaluation
Results
information access technologies
including
01/Aug./2016:
Task overview
releaseinformation retrieval, summarization, extraction,
15/Sep./2016:
Paper submission Duequestion answering, etc.
01/Nov./2016:
All paper Due
NTCIR-1209-12/Dec./2016:
NTCIR-11 Conference
Held on June 9(Tue)-12(Fri), 2016
at National Center of Sciences, Tokyo, Japan

あなたの検索スコア

クリック数: 1

検索時間: 00:15
NTCIR-12 NewsNTCIR-12 Schedule
NTCIR-12 Tasks

8"NTCIR"NTCIR-11 Schedule

When isthe deadlineof NTCIR?

http://research.nii.ac.jp/ntcir/schedule

20/Jan./2014:

Task Registration DueHome | NTCIR
MobileClickの目標
06/Jan./2014:

Document Set Release

Jan.-May/2014: Dry Run

Mar.-July/2014:
Formal Run
http://research.nii.ac.jp/ntcir/
The NTCIR Workshop
is aResults
series ofevaluation
01/Aug./2014:Evaluation
Due
workshops designed to enhance research in
01/Aug./2014: Early draft Task overview release
information access technologies including
15/Sep./2014:
Draft summarization,
paper submission
Due
information retrieval,extraction,question answering,etc.
01/Nov./2014:
All camera-readypaper Due

モバイルユーザがClicks: 1
必要な情報へ直接・即時にTime: 00:15
アクセスできるようにすることYour Search Score

09-12/Dec./2014: NTCIR-11 Conference
NTCIR-11
http://research.nii.ac.jp/ntcir/

Held on December 9(Tue)-12(Fri), 2014
at National Center of Sciences, Tokyo, JapanNTCIR-11 News
http://research.nii.ac.jp/ntcir/newsNTCIR-11 Schedule
http://research.nii.ac.jp/ntcir/schedule
NTCIR-11 Tasks
http://research.nii.ac.jp/ntcir/tasks

9"NTCIR"NTCIR-11 Schedule

MobileClick-1との違い
When isthe deadlineof NTCIR?

http://research.nii.ac.jp/ntcir/schedule

20/Jan./2014:

Task Registration Due

06/Jan./2014:

Document Set Release

Home | NTCIR

Jan.-May/2014: Dry Run• 日英で2種類のサブタスク
Your Search Score• iUnitsを提供（抽出不要）
Clicks: 1• 速やかなフィードバック
Time: 00:15• リーダーボード• クエリ頻度の提供（予定）Mar.-July/2014:
Formal Run
http://research.nii.ac.jp/ntcir/
The NTCIR Workshop
is aResults
series ofevaluation
01/Aug./2014:
Evaluation
Due
workshops designed to enhance research in01/Aug./2014: Early draft Task overview release
information access technologies including
15/Sep./2014:
Draft summarization,
paper submission
Due
information retrieval,extraction,question answering,etc.
01/Nov./2014:
All camera-readypaper Due
09-12/Dec./2014: NTCIR-11 Conference
NTCIR-11
http://research.nii.ac.jp/ntcir/

Held on December 9(Tue)-12(Fri), 2014
at National Center of Sciences, Tokyo, JapanNTCIR-11 News
http://research.nii.ac.jp/ntcir/news

NTCIR-11 Schedule
http://research.nii.ac.jp/ntcir/schedule
NTCIR-11 Tasks
http://research.nii.ac.jp/ntcir/tasks

10

iUnit Rankingサブタスク• クエリとiUnit集合が与えられたとき
iUnitを推定された重要度順にランキング
注: iUnitはクエリ対して適合する情報の断片
Input: Query
Output: iUnit list

NTCIR
Input: iUnit set

iUnit
1 評価ワークショップ

iUnit

2 2016年6月20⽇が参加登録締切

評価ワークショップ

3 情報アクセス技術研究の促進が目的

情報アクセス技術研究の促進が目的
2016年6月20⽇が参加登録締切

nDCG

0.5

……

研究課題

⽂書ではなく⽂字列の重要度を推定

11

iUnit Summarizationサブタスク• クエリ，iUnit集合，サブトピックが与えられたとき2層の要約を生成
Input: Query
NTCIR

Input: iUnit setiUnit
評価ワークショップ
情報アクセス技術研究の促進が目的…

Input: Subtopics
Subtopics
ニュース
スケジュール…

Output: Two-layered summary
NTCIRは情報検索・要約・抽出，質問応答な
どの情報アクセス技術
研究を促進するためにデザインされた評価
ワークショップです．

ニュース
スケジュールタスク

モバイル情報アクセスのために設計された評価指標

M-measure
2nd layer

20/Jan./2016:

Task Registration Due

06/Jan./2016:

Document Set Release

Jan.-May/2016:

Dry RunMar.-July/2016:

Formal Run

01/Aug./2016:

Evaluation Results Due

01/Aug./2016:

Task overview release

15/Sep./2016:

Paper submission Due

01/Nov./2016:

All paper Due

09-12/Dec./2016:

NTCIR-11 Conference

0.5

研究課題

どのユーザも即材に満足できるようにiUnitを配置（IMineタスクに類似）

12リーダーボードシステム

Q. いつ評価結果が⾒られますか？
A. システム出⼒を投稿したらすぐ⾒られます
結果が出た

投稿

リーダーボード

すごい結果だ！

フィードバック• 2015年4月より訓練クエリ用評価システム公開• 2015年8月よりテストクエリ用評価システム公開13以下に当てはまる方はぜひ参加を検討ください• 以下のトピックに興味がある方– モバイル情報アクセス– 意図推定– 多様化– 要約– 質問応答– ナゲットベース評価• 以下のタスクの参加者の皆様– 1CLICKタスク– INTENT，IMineタスク– RITEタスク

14

MobileClick-2スケジュール
月

イベント

2015年4月

CFP第1段
訓練クエリ用評価システム公開

2015年6月

参加登録締切2015年8月

テストクエリ公開
テストクエリ用評価システム公開

2015年12月 システム結果投稿締切
2016年3月

参加者論⽂投稿締切

2016年6月

NTCIR-12 Conference
15

"NTCIR"

MobileClick-2
NTCIR-11 Schedule

When isthe deadlineof NTCIR?

http://research.nii.ac.jp/ntcir/schedule

20/Jan./2014:

Task Registration Due

06/Jan./2014:

Document Set Release

無駄のない高速なYour Search Score
モバイル情報アクセスを実現
Home | NTCIR

Jan.-May/2014: Dry Run

Mar.-July/2014:
Formal Run
http://research.nii.ac.jp/ntcir/
The NTCIR Workshop
is aResults
series ofevaluation
01/Aug./2014:
Evaluation
Due
workshops designed to enhance research in
01/Aug./2014: Early draft Task overview release
information access technologies including
15/Sep./2014:
Draft summarization,
paper submission
Due
information retrieval,extraction,question answering,etc.
01/Nov./2014:All camera-readypaper Due

Clicks: 1
2015年4月
Time: 00:15

09-12/Dec./2014: NTCIR-11 Conference
NTCIR-11

http://www.mobileclick.org/
http://research.nii.ac.jp/ntcir/

Held on December 9(Tue)-12(Fri), 2014
at National Center of Sciences, Tokyo, JapanNTCIR-11 Newsで訓練用評価システム公開予定
http://research.nii.ac.jp/ntcir/news

2015年8月 - 2015年12月
NTCIR-11 Schedule
http://research.nii.ac.jp/ntcir/schedule

NTCIR-11 Tasks
リアルタイム評価実施
http://research.nii.ac.jp/ntcir/tasks

16