%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[t]\input{27table01.tex}\caption{NTCIR-1からNTCIR-16までに運営されたタスク．}\label{tb:history}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%NTCIR(NIITestbedsandCommunityforInformationaccessResearch)は，情報検索，情報推薦，テキスト要約，情報抽出，質問応答などの情報アクセス技術の発展を目的とした，コミュニティ主導の評価型ワークショップである．ワークショップの参加者は提案されたタスクの中から興味のあるタスクを選んで参加し，システム出力結果を提出することで評価結果を得ることができる．また，参加者は開発したシステムに関して論文を執筆しNTCIRカンファレンスにて発表・議論を行う．一般的なSharedtaskと対比すれば，NTCIRは各回1.5年の期間をかけて長期的に実施される試みであり，また，NTCIRの「C」がCommunityを指すように「コミュニティ」を重視した活動となっている．これには以下のような理由が挙げられる：\begin{enumerate}\itemタスク運営者と参加者の積極的な議論（評価方法の検討，査読付きの学会では困難な失敗事例の共有など），\itemデータセットやツールなどの基盤形成（情報アクセス技術向けの大規模なデータセットの構築には，タスク運営者や評価者のみならず参加者による貢献が必要不可欠である\footnote{情報検索のデータセット構築には十分に多様なシステムの出力結果が必要になる．これは，一般的な機械学習のタスクでは見られない特徴であると思われる．情報検索では検索対象である文書（画像などでもよい）が非常に多いため，すべての文書に対してアノテーションを行うことはできない．そこで，伝統的に採用されているのは「プーリング」というアプローチである．この方法では，十分に多様な検索システムが返却する上位$k$件の文書に対してのみアノテーションを実施しこれ以外の文書は不適合と判定する．すべての適合文書がいずれかの検索システムの上位$k$に含まれていれば，すべての文書を評価することなくすべての文書の適合度を知ることができる．単一の研究グループだけでは，多様なシステムを用意することが困難であるため，参加者を募って各自にシステム開発を委託する必要がある．そのため，情報検索のデータセット構築には参加者の協力が不可欠なのである．}），\item国際協調とそれに伴う多言語化（NTCIRでは多くの多言語タスクが運営されてきた），\item参入障壁を下げ研究分野を活性化（参加者にとっては研究の支援が受けられ，運営者にとってはタスクに取り組む人口が増えることで自身の専門分野の発展につながる）．\end{enumerate}本解説記事では，これまでにNTCIRにて運営されてきたタスクの傾向について説明し，その後，NTCIR-16\cite{ntcir16}（2020年12月～2022年6月実施）で運営されたタスクの概要について解説する．これまでにNTCIRが情報アクセス分野においてどのような貢献をしてきたかについては，書籍「EvaluatingInformationRetrievalandAccessTasks:NTCIR'sLegacyofResearchImpact」\cite{ntcir}にて解説されている．オープンアクセスであるため，興味のある方はぜひご覧いただきたい．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%