\begin{table}[b]\caption{2014年度代ゼミセンター模試（第1回）に対する得点と偏差値}\label{tab:intro:2014}\input{05table01.txt}\end{table}「ロボットは東大に入れるか」（以下，「東ロボ」）は国立情報学研究所を中心とする長期プロジェクトである．同プロジェクトは，AI技術の総合的ベンチマークとして大学入試試験問題に挑戦することを通じ，自然言語処理を含む種々の知的情報処理技術の再統合および新たな課題の発見と解決を目指している．プロジェクトの公式目標は2016年度に大学入試センター試験において高得点を挙げ，2021年度に東大2次試験合格レベルに達することである．プロジェクトでは，2016年度のセンター試験「受験」に至るまでの中間評価の一つとして，2013年度，2014年度の2回に渡り代々木ゼミナール主催の全国センター模試（以下，代ゼミセンター模試）を用いた各科目の解答システムの評価を行い，その結果を公表した．\TABREF{tab:intro:2014}に2014年度の各科目の得点と偏差値を示す\footnote{数学・物理に関しては他の科目と異なり付加情報を含む入力に対する結果である．詳細はそれぞれに関する節を参照のこと．国語は，未着手の漢文を除いた現代文・古文の計150点に関する偏差値を示す．}．2013年度の結果については文献\cite{arai}を参照されたい．大学入試試験問題は志願者の知的能力を客観的に測定することを目的として設計されたデータであり，通常ただ1回の試験によって，かつ，受験者間での公平性を担保しながら測定を行うために入念な検討が加えられている．この点で，入試試験問題は言語処理を含む知的情報処理技術の総合的ベンチマークとして恰好の素材であるといえる．特に，その大部分が選択式問題からなるセンター試験形式のテストは，ごく単純な表層的手がかりのみでは正解できないように設計されていると考えられ，現在70\%から90\%の精度に留まっている種々の言語処理技術をより信頼性高く頑健なものへと導くためのガイドラインとして好適である．さらに，模試・入試によるシステムの性能測定結果は人間の受験生の正答率や誤りの傾向と直接比較することが可能である．センター試験は毎年約50万人が受験し，予備校によるセンター試験模試も数千から数万人規模の参加者を集める．このような大規模なサンプルから得られた「普通の人」「典型的な人」の像とシステムとの比較は，人によるアノテーションに対する再現率に基づく通常の性能測定とは異なる達成度の指標となっている．代ゼミセンター模試による2014年度の評価では，英語・国語・世界史Bで受験者平均を上回る得点を獲得するなど，大きな成果があった一方で，その得点に端的に現れているように，残された課題も大きい．本稿では，代ゼミセンター模試およびその過去問を主たる評価データとして各科目の解答システムのエラーを分析し，各科目における今後の課題を明らかにするとともに，「普通の人」と比較した際の各科目・問題タイプにおける達成度に関してひとつの見取り図を与えることを目指す．「東ロボ」プロジェクトのひとつの特徴は，多様な科目・課題に並行的に取り組むことであり，様々な課題に対する結果を通じて，現在のNLP/AI諸技術の達成度を可能な限り通覧することはプロジェクト全体の目的でもある．このため，本稿では問題タイプ毎のエラーに対する分析は主として解決への糸口となる傾向の分析までにとどめ，多数の科目・問題タイプについてそのエラー傾向と今後の課題を示すことを主眼とした．以下では，まず知的情報処理課題としてのセンター模試タスクの概要をまとめたのち，英語，国語，数学，物理，日本史・世界史の各科目について分析結果を述べる．