人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第5回)
SIG-AM-05-09

NTCIR-11 の概要
Outline of NTCIR-11
岸田和明 1∗ 上保秀夫 2,3 神門典子 3
Kazuaki KISHIDA1 Hideo JOHO2,3 Noriko KANDO3
1

慶應義塾大学文学部図書館・情報学専攻
School of Library and Information Science, Keio University2
筑波大学図書館情報メディア系
2
Faculty of Library, Information and Media Science, University of Tsukuba
3
国立情報学研究所
3
National Institute of Informatics
1

Abstract: NTCIR (NII Testbeds and Community for Information access Research) is one of
the international workshops for research on information retrieval, question answering, natural
language processing and so on, which is organized by the NII (National Institute of Informatics)
in Japan. From September 2013, the eleventh NTCIR workshop (NTCIR-11) has started. This
paper describes a framework, research tasks and schedule of the NTCIR-11 brieﬂy.

1

はじめに情報検索技術の向上を主目的として，米国においてTREC（Text REtrieval Conference）が始まって以来，約 20 年が経過した。この間，インターネットのサーチエンジンをはじめとして，情報検索およびその関連技術は飛躍的に向上したが，これには，TREC をひとつの端緒とするいわゆる「評価型ワークショップ」が大きな影響を与えたことは周知のとおりである。
「評価型ワークショップ」の基本的な目的は，数多くの研究者の参加・協力の下に，開発された諸技術に対する妥当かつ信頼性の高い評価を可能とする，テストコレクション（test collection）を構築することにある。このテストコレクションが，新たに開発された手法の検証に確実な基盤を与え，既存の他の手法との比較評価を実現することにより，科学的な知識の着実な蓄積がもたらされ，技術の発展へとつながっていく。
日本においても，国際的なプロジェクトとして，当時の NACSIS（学術情報センター）がこの事業に着手し，1998 年に最初の成果報告会が開催された（NTCIR-1）。
それ以来，1 年半の間隔で着実に回を重ね，2012 年 12 月に，NTCIR-10 の成果報告会（カンファレンス）が盛況のうちに終了した。この間，NACSIS は，NII（国立情報学研究所）となり，現在では，NTCIR は「NII Testbeds
and Community for Information access Research」の∗ 連絡先：慶應義塾大学文学部〒 108-8345 東京都港区三田 2-15-45
E-mail: kz kishida@z8.keio.jp

略称である。
この名称が示すとおり，研究対象が情報検索から「情報アクセス」へと拡大した。これは，NTCIR プロジェ
クトが，質問応答や自動要約，機械翻訳などの研究テーマを幅広く網羅するようになったためである。また，名称中の「Community」は，NTCIR が，これらのテーマに関する研究者の共同体として機能することを示唆している。一種の「ビッグサイエンス」として，多くの研究者が協調して問題に取り組むことにより，全体として大きな成果を生み出すことを，NTCIR は企図しているわけである。
実際，NTCIR-10 には，世界の 16 の国と地域から100 を超える機関が参加し，成果報告会では，研究者の間で活発な議論が交わされた。この議論の結果を各自が持ち帰り，それぞれの研究に活かすことにより，次の回に向けての新たな創意工夫が生まれる可能性が高い。このサイクルこそが，技術の着実な向上をもたらす原動力（エンジン）である。本稿では，以下，次の段階として 2013 年 9 月にスタートした NTCIR-11 の内容や日程について述べる。

2

NTCIR-11 の内容

その時点での研究状況に合わせて，各回ごとに，異なる研究テーマが複数設定される。NTCIR では，この研究テーマをタスク（task）と呼んでいる。NTCIR へ参加する研究者は，自分の研究テーマに応じて，関心- 52 -人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第5回)
SIG-AM-05-09

あるタスクを選び，登録しなければならない。そして，各タスクの規定に従って自分のシステム（手法）で実験を試み，その結果を提出する。それらの結果に基づいて，テストコレクションが構築されるとともに，各研究者は，自分のシステムの有効性を，他のシステムと比較しつつ，検証することが可能となる。
各タスクの実行は，タスクオーガナイザ（task organizer: TO）により管理される。TO の仕事は多彩であり，NII による支援の下に，1) タスクへの参加者（participants）を募集，2) 実験用コーパス（文書データ）を準備し，参加者に配布，3) 参加者から提出された結果を集約し，評価，4) 参加者が用いた技術やその有効性をレビューする必要がある。通常，TO はそのテーマに関する第一線の研究者であり，タスクの遂行によって，当該領域の研究を牽引する重要な役割を担っている。
したがって，どのようなタスクを設計し，採用するかは，たいへん重要であると同時に，困難な作業でもある。今回も前回に引き続き，タスク提案を公募し，プログラム委員会（Program Committee：PC）の審査およびその結果に関する General Co-chairs による議論を経て1 ，現時点で（2013 年 9 月），以下の 8 つのタスクを採択し，NTCIR-11 をスタートさせた2 。

• [IMine] Search Task and Intent Mining• [Math-2] Mathematical Information Access• [MedNLP-2] Medical Natural Language Processing• [MobileClick] Mobile Information Access• [RITE-VAL] Recognizing Inference in Texts andValidation• [SpokenQuery&Doc] Spoken Query and Spoken
Document Retrieval• [QALab] QA Lab for Entrance Exam
• [Temporalia] Temporal Information Access
このうち，最後の QALab と Temporalia は「パイロットタスク」である（他は「コアタスク」）。
この一覧が示すように，情報検索や自然言語処理，自然言語理解，音声認識，質問応答，推論などの諸技術を中核とする，多様なタスクを今回も設定することができた。また，処理対象となるメディアについても，時代を反映して，ニュース記事，ウェブ文書，発話，医学関連テキスト，入試問題など多岐に渡っている。

3

NTCIR-11 の日程

キックオフイベントはすでに 2013 年 9 月 2 日に NIIにて開催済みであるが，その後のおおよその日程は表
1 本稿の著者である岸田と上保が PC Co-chairs を務めている。
また神門は General Co-chairs の一人である。
2 各 タ ス ク の 詳 細 は http://research.nii.ac.jp/ntcir/ntcir11/tasks.html を参照。

1 のとおりである。参加登録は今年度末までに締め切られ，本格的な実験は，2014 年 1 月から開始される予定である。この実験に関する日程は，タスクによって，異なる可能性がある。
表 1: NTCIR-11 の主要日程（予定）.
1
2013.09.02
キックオフイベント
2
2013.12.30
タスク参加登録締切
3
2014.01.05
文書データ配布開始
42014.01-05
予備テスト（dry run）
5
2014.03-07
本テスト（formal run）
6
2014.08.01
評価結果返送72014.08.01
タスク概要報告一部公開
8
2014.09.01
成果報告会用論文提出締切
92014.11.01
成果報告会用論文最終原稿締切
10 2014.12.09-12 NTCIR-11 成果報告会（東京）
注：4，5，6 はタスクによって異なる点に注意。
最終的な成果報告会は，2014 年 12 月 9 日から 4 日間，東京にて開催される予定である。この成果報告会には，参加者は必ず論文を投稿することになっており，その最初の提出は 9 月 1 日と早めに設定されている。これは，TO がタスクを総括し，まとめるのに各参加者の論文を必要とするためであり，実際にプロシーディングとして掲載される最終稿の提出は，11 月 1 日である。
なお，例年，NTCIR の成果報告会に付随して，Evaluating Information Access（EVIA）ワークショップが開催されている3 。これは，情報アクセス技術の評価方法に関する国際ワークショップであり（査読付き），NTCIR などの評価実験の遂行に対して重要な役割を果たしている。NTCIR-11 にも，この EVIA を併設する方向で検討が進んでいる。

4むすび

インターネットの発展に伴い，様々な形式・様態の文書データを高度に処理することが一層重要性を増している。このような状況において，基礎・応用の両面に渡って，その技術を向上させていくには，多くの研究者が協調して問題に取り組むことが不可欠である。
NTCIR がそのひとつの基盤となり，研究者と社会の両方に恩恵をもたらすことが望まれる。関心のある方はぜひ，NTCIR のウェブサイト4 を訪れていただくようお願いいたします（過去のテストコレクションの利用も可能です）。

3 前回については，http://research.nii.ac.jp/ntcir/evia2013/ を参照。
4 http://research.nii.ac.jp/ntcir/index-ja.html- 53 -