NTCIR-13 キックオフイベント
年 月
英語セッション
日本語セッション日Program• NTCIRの概要• NTCIR-13の概要• タスク紹介 (7 min x 9 tasks)• 参加のメリット• 参加方法• 重要な日程• Q&A

2

NTCIRの概要

NTCIR-13の概要

NTCIR-13の運営組織

GeneralCo-chairs

Participants

Task
Organizers

ProgramCommittee

5General Co-chairs

Charles L. A. Clarke

神門 典子
国立情報学研究所

酒井 哲也
早稲田大学
6

Program Committee (PC)
•
•
••
•
•
•
•
•
•

Tat-Seng Chua
Nicola Ferro
Kalervo Jarvelin
Gareth Jones
Chin-Yew Lin
Maarten de Rijke
Mark Sanderson
Ian Soboroff
Yiqun Liu
加藤 誠

7

NTCIR-13 重要な日程

タスクごとに日程が一部異なる場合があります2016年8月

キックオフイベント

2016年12月

タスク参加登録締切

2017年1月

データセット配布開始

2017年1月-3月

予備テスト

2017年3月-7月

本テスト

2017年8月-9月

評価結果の参加者への返送

2017年8月-9月

タスク概要報告一部公開

2017年9月-10月

ドラフト論文 提出締切

2017年11月1日

論文提出最終締切

2017年12月5日-8日
8NTCIR-13の主なトピック

1. 複雑な質問・クエリへの応答
2. 人間の行動に関わるデータからのデータマイニング
1. 2の1への応用

9

テキスト理解による意図理解による複雑な質問への応答

複雑な質問への回答

QALab
ツイートへの応答

質問検索

OpenLiveQ
Web検索

WWW

STC
応答

検索のための質問?

ライフログデータ
マイニング?

?

ユーザ

検索のためのデータ

Lifelog

行動マイニング
蓄積

センサーデータからのAKG

テキストデータからのマイクロブログ・ブログから患者を脳波から適合性をNAILS

人のデータからの MedWeb
ニュース記事から感情と要因をマイニング
ECA

NTCIR-13タスク• コアタスク– Lifelog-2: Personal Lifelog Organisation & Retrieval Task
– MedWeb: Medical Natural Language Processing for WebDocument– OpenLiveQ: Open Live Test for Question Retrieval– QALab-3: QA Lab for Entrance Exam
– STC-2: Short Text Conversation• パイロットタスク– AKG: Actionable Knowledge Graph– ECA: Emotion Cause Analysis– NAILS: Neurally Augmented Image Labelling Strategies– WWW: We Want Web
11

参加方法

参加方法

1. タスクの内容と参加案内を熟読

5. 同意書に必要事項を記入し郵送

2. 質問があればタス
クオーガナイザへ連絡

6. 参加タスクのMLやWebサイトの更新をフォロー

3. 参加タスクを決める
4. NTCIR Webサイト
から参加登録

ぜひタスクオーガナイザにフィードバックを

13

参加者がすべきこと

1. ランの提出

2. NTCIR-13 conferenceへの論文投稿構築したシステムや手法の公表

3. NTCIR-13 conferenceへ参加し発表すべてのグループがポスター発表をすることになっています

タスクオーガナイザからの推薦により口頭発表の機会もあります14

参加のメリット (学生の方へ)• すぐに始められる
実験データの提供
洗練された評価指標

業績
他の参加者との比較による公正な議論
次のステップについて国
際コミュティと意見交換

目立つ
あなたのアイデアや成果を産学へ公表するチャンス• 多様なタスク15

参加のメリット (企業の方へ)
プレゼンスの向上
顧客に対して，同業他社に対して公正なベンチマーク
社内ベンチマークは第三者による再現が難しい
外部へのアピール

開発の促進
自社製品のブラッシュアップやバグ取りが短期間で集中的にできる研究資源への早期アクセスタスクで構築された様々なリソースを一般公開より先に利用可能16

EVIA 2017A satellite workshop of the NTCIR conference focusing on
information access evaluation••Theme– Crossing evaluation campaign boundaries:
are tasks/tracks/labs across campaigns
beneficial and feasible?

Topics•– Test collection formation, evaluation metrics,
and evaluation environments– Statistical issues in retrieval evaluation– User studies and the evaluation of humancomputer interaction in information retrieval •(HCIR)– Evaluation methods for multilingual,multimedia, or mobile information access– Novel information access tasks and their•
evaluation– Evaluation and assessment using implicit
user feedback, crowdsourcing, living labs, orinferential methods– Evaluation issues in industrial and enterprise
retrieval systems

PC Chairs– Nicola Ferro, University of Padua, Italy•

CLEF Steering Committee Chair•

TREC– Ian Soboroff, National Institute of Standards
and Technology (NIST), USAPapers– Full papers: 8-10 pages– Short papers: 2-4 pages– ACM SIGIR Format

Tentative Schedule––––Submission deadline: mid September 2017
Notification: mid October 2017
Camera ready: late October 2017
Workshop: early December 2017

まとめ• NTCIRの13回目のサイクル– 2017年12月に成果報告会• 9つの魅力的なタスク– 世界中の先導的研究者によって運営• イノベーティブな研究のための議論の場– コミュニティベースの利を活かして意見交換

皆様のご参加をお待ちしております18

http://research.nii.ac.jp/ntcir/ntcir-13/

ご参加ありがとうございました
お問い合わせはNTCIR事務局まで
ntc-secretariat nii.ac.jp

Q & A?