\section{はじめに}
日本において，大学入試問題は，学力（知力および知識力）を問う問題として定着している．この大学入試問題を計算機に解かせようという試みが，国立情報学研究所のグランドチャレンジ「ロボットは東大に入れるか」というプロジェクトとして2011年に開始された\cite{Arai2012}．このプロジェクトの中間目標は，2016年までに大学入試センター試験で，東京大学の二次試験に進めるような高得点を取ることである．我々は，このプロジェクトに参画し，2013年度より，大学入試センター試験の『国語』現代文の問題を解くシステムの開発に取り組んでいる．次章で述べるように，『国語』の現代文の設問の過半は，{\bf傍線部問題}とよばれる設問である．船口\cite{Funaguchi}が暗に指摘しているように，『国語』の現代文の「攻略」の中心は，傍線部問題の「攻略」にある．我々の知る限り，大学入試の『国語』の傍線部問題を計算機に解かせる試みは，これまでに存在しない\footnote{CLEF2013では，QA4MREのサブタスクの一つとして，EntranceExamsが実施され，そこでは，センター試験の『英語』の問題が使用された．}．そのため，この種の問題が，計算機にとってどの程度むずかしいものであるかさえ，不明である．このような状況においては，色々な方法を試すまえに，まずは，比較的単純な方法で，どのぐらいの正解率が得られるのかを明らかにしておくことが重要である．本論文では，このような背景に基づいて実施した，表層的な手がかりに基づく解法の定式化・実装・評価について報告する．我々が実装したシステムの性能は，我々の当初の予想を大幅に上回り，「評論」の傍線部問題の約半分を正しく解くことができた．以下，本稿は，次のように構成されている．まず，2章で，大学入試センター試験の『国語』の構成と，それに含まれる傍線部問題について説明する．3章では，我々が採用した定式化について述べ，4章ではその実装について述べる．5章では，実施した実験の結果を示し，その結果について検討する．最後に，6章で結論を述べる．
\section{センター試験『国語』と傍線部問題}
\begin{table}[b]\caption{センター試験『国語』の大問構成—出典\protect\cite{Kakomon2014}}\label{table:questions}\input{1001table01.txt}\vspace{-0.5\Cvs}\end{table}大学入試センター試験の『国語』では，毎年，大問4題が出題される\cite{Kakomon2014}．その大問構成を表\ref{table:questions}に示す．この表に示すように，現代文に関する出題は，第1問の「評論」と第2問の「小説」であり，『国語』の半分を占めている．第1問の「評論」は，何らかの評論から抜き出された文章（本文）と，それに対する6問の設問から構成される．6問の内訳は，通常，以下のようになっている．\begin{description}\item[問1]漢字の書き取り問題が5つ出題される．\item[問2--問5]本文中の傍線部について，その内容や理由が問われる．\item[問6]本文全体にかかわる問題で，2006年以降は本文の論の進め方や本文の構成上の特徴などが問われる．\end{description}一方，第2問の「小説」は，何らかの小説から抜き出された文章（本文）と，それに対する\mbox{6問}の設問から構成される．6問の内訳は，通常，以下のようになっている．\begin{description}\item[問1]語句の意味内容を問う問題が3つ出題される．\item[問2--問5]本文中の傍線部を参照し，登場人物の心情・人物像・行動の理由などが説明問題の形で問われる．\item[問6]本文全体の趣旨や作者の意図，表現上の特徴などが問われる．\end{description}\begin{figure}[b]\begin{center}\includegraphics{21-3ia1001f1.eps}\end{center}\caption{傍線部問題の例（2011年度本試験第1問の問5(2011M-E5)）}\label{fig:2011M-E5}\end{figure}これらの設問のうち，「評論」「小説」の両者の\mbox{問2}から\mbox{問5}を{\bf傍線部問題}と呼ぶ．傍線部問題の具体例を図\ref{fig:2011M-E5}に示す．この図に示すように，傍線部問題は，原則として5つの選択肢の中から正解を一つ選ぶ5択問題である．傍線部問題の配点は，2009年度本試験では，第1問32点，第2問\mbox{33点}の計65点であり，現代文の配点100点の約2/3を占める．\subsection*{使用する試験問題}本研究では，2001年度から2011年度の奇数年の大学入試センター試験の本試験および追試験の『国語』（2005年以前は『国語I・II』）を使用する．ただし，諸般の事情により，本文等が欠けているものがあり，それらは使用しない．表\ref{table:all}に，本研究で使用する傍線部問題の一覧を示す．\begin{table}[t]\caption{使用する傍線部問題の一覧}\label{table:all}\input{1001table02.txt}\end{table}なお，以降では，設問を指し示すIDとして，以下のような4つの情報を盛り込んだ形式を採用する．\begin{enumerate}\item年度（4桁）\item試験区分（M:本試験，S:追試験）\item出題区分（E:評論，N:小説）\item設問番号（2,3,4,5）\end{enumerate}たとえば，図\ref{fig:2011M-E5}に示した，2011年度本試験第1問「評論」の問5は，「2011M-E5」と表す．なお，この例に示したとおり，(2)と(3)の間に，ハイフォン`-'を挟む．
\section{傍線部問題の定式化}
\subsection{定式化}センター試験『国語』現代文傍線部問題では，正解となる選択肢の根拠が必ず本文中に存在すると指摘されている\cite{Funaguchi}．そして，その根拠となる部分は，傍線部の付近に存在することが多いことが，板野の分析によって明らかにされている\cite{Itano2010}．我々は，これらの知見に基づき，傍線部問題を，図\ref{fig:formalization}に示すように定式化する．\begin{figure}[t]\begin{center}\includegraphics{21-3ia1001f2.eps}\end{center}\caption{傍線部問題の定式化}\label{fig:formalization}\end{figure}この定式化は，次のことを意味する．\begin{enumerate}\itemそれぞれの設問を入力とする．設問は，本文$T$，設問文$Q$，選択肢集合$C$から構成されるものとする．（図\ref{fig:2011M-E5}では，これらのうち，本文$T$を除いた，設問文$Q$と選択肢集合$C$を示している．）\item設問文$Q$と本文$T$から，選択肢と照合する本文の一部$\widehat{T}=\mathrm{extract}(T,Q)$を定める．\item選択肢集合$C$の中から，実際に本文の一部$\widehat{T}$と照合する部分集合$\widehat{C}=\mathrm{pre\_select}(C,Q)$を定める．これは，選択肢の事前選抜に相当する．\item設問文の極性$\mathrm{polarity}(Q)$を判定する．この関数は，設問文$Q$が「適当なもの」を要求している場合に$+1$を，「適当でないもの」を要求している場合に$-1$を返すものとする．\item事前選択済の選択肢集合$\widehat{C}$に含まれる選択肢$c_i$と，本文の一部$\widehat{T}$との照合スコア$\mathrm{score}(\widehat{T},c_i)$を計算する．これに設問文の極性$\mathrm{polarity}(Q)$をかけたものを，その選択肢の最終スコアとする．\item事前選択済の選択肢集合$\widehat{C}$に含まれる選択肢$c_i$のなかで，最終スコアが最大のものを，解として出力する．\end{enumerate}この定式化の特徴は，図\ref{fig:formalization}に示した(a)--(d)の4つの関数に集約される．これらの背後にある考え方について，以下で説明する．\subsection{本文の一部と照合する}正解の選択肢の根拠となる箇所は，多くの場合，本文中の傍線部の周辺にあると考えるのが妥当である．先に述べたように，この点についての詳細な分析が，板野によってなされている\cite{Itano2010}．実際，我々人間が傍線部問題を解くとき，本文中の傍線部の前後に注目するのは，標準的な戦略である．このような戦略は，選択肢$c_i$を本文$T$全体と照合するのではなく，あらかじめ，本文から，根拠が書かれていそうな部分$\widehat{T}$を抜き出し，$\widehat{T}$と$c_i$の照合スコアを計算することで，具体化できる．本文の一部を取り出す方法として，\begin{enumerate}\item本文の先頭から，当該傍線部までを$\widehat{T}$とする，\item一つ前の設問で参照された傍線部から，当該傍線部までを$\widehat{T}$とする，\item傍線部の前後のある範囲を$\widehat{T}$とする，\end{enumerate}などの方法が考えられ，これらと，採用する単位（文または段落）を組み合わせることにより，多くのバリエーションが生まれることになる．もちろん，設問毎に，設問文$Q$や本文$T$に応じて異なる（適切な）方法を採用してもよい．関数$\mathrm{extract}$は，これらの方法を抽象化したもので，以下のような関数として定義する．\begin{equation}\widehat{T}=\mathrm{extract}(T,Q)\end{equation}なお，厳密に言えば，設問文$Q$には一つ前の設問の傍線部の情報は含まれないが，その情報は本文を参照することによって得られるものと仮定する．事実，センター試験では，傍線部にはA,B,C,Dの記号が順に振られるため，当該傍線部がBであれば，一つ前の設問の傍線部はAであることがわかる．\subsection{照合スコアを採用する}本文の一部$\widehat{T}$が，選択肢$c_i$とどの程度整合するか（その根拠となりうるか）を，照合スコア$\mathrm{score}(\widehat{T},c_i)$として抽象化する．本来的には，整合するかしないかの2値であるが，そのような判定を機械的に下すのは難しいので，0から1の実数をとるものとする．\subsection{設問文の極性を考慮する}ほとんどの傍線部問題の設問文は，「最も適当なものを，次の１〜５のうちから一つ選べ」という形式となっている．しかし，2001S-E4のように，「適当でないものを，次の１〜５のうちから一つ選べ」という形式も存在する．このような「適当でないもの」を選ぶ設問に対しては，照合スコアを逆転させる（照合スコアが最も小さなものを選択する）のが自然である．上記のような設問形式に応じた選択法の変更を採用するために，設問文$Q$の極性を判定する関数$\mathrm{polarity}(Q)$を導入する．この関数は，設問が「適当なもの」を要求している場合に$+1$を，「適当でないもの」を要求している場合に$-1$を返すものとする．\subsection{選択肢の事前選抜を導入する}本定式化では，「設問文と5つの選択肢をよく読めば，本文を参照せずとも，正解にはならない選択肢のいくつかをあらかじめ排除できる」場合が存在すると考え\footnote{実際にセンター試験を受験したことがある複数人の意見に基づく．}，選択肢の事前選抜を明示的に導入する．事前選抜$\mathrm{pre\_select}$は，選択肢集合$C$と設問文$Q$から，$C$の部分集合を返す関数として定式化する．\begin{equation}\widehat{C}=\mathrm{pre\_select}(C,Q),\qquad\widehat{C}\subseteqC\end{equation}
\section{実装}
\begin{table}[b]\vspace{-0.3\Cvs}\caption{実装の概要}\label{table:implementation}\input{1001table03.txt}\vspace{-0.3\Cvs}\end{table}前節の定式化に基づいて傍線部問題ソルバーを実装するためには，$\mathrm{score}$,$\mathrm{polarity}$,$\mathrm{extract}$,$\mathrm{pre\_select}$の4つの関数を実装する必要がある．表\ref{table:implementation}に，今回実装した方法の概要を示す（詳細は，以下で説明する）．なお，前節の定式化では，正解と考えられる選択肢を一つ出力する形になっているが，実際のシステムは，選択肢を照合スコア順にソートした結果（すなわち，それぞれの選択肢の順位）を出力する仕様となっている．なお，照合スコアが一致した場合は，選択肢番号の若いものを上位とする\footnote{結果に再現性をもたせるために，照合スコアが一致したものからランダムに選ぶ方法は採用しない．}．\subsection{オーバーラップ率}照合スコア$\mathrm{score}$，および，選択肢の事前選抜$\mathrm{pre\_select}$の実装には，オーバーラップ率を用いる．オーバーラップ率の定義には，服部と佐藤の定式化\cite{Hattori2013,SKL2013}を採用する．この定式化では，まず，ある集合$E$を仮定する．この集合の要素が，オーバーラップ率を計算する際の基本単位となる．集合$E$としては，たとえば，文字集合$A$，形態素集合$W$，あるいは，文字$n$-gramの集合$A^n$などを想定する．オーバーラップ率の算出の出発点となる式は，2つの文字列$t_1$と$t_2$に共通に出現する集合$E$の要素の数を求める次式である．\begin{equation}\mathrm{overlap}({E};t_1,t_2)=\sum_{e\inE}\min(\mathrm{fr}(e,t_1),\mathrm{fr}(e,t_2))\end{equation}ここで，$\mathrm{fr}(e,t)$は，文字列$t$における$e\:(\inE)$の出現回数を表す．この値を，$t_2$の長さ，あるいは，$t_1$と$t_2$の長さの和で正規化することにより，オーバーラップ率を定義する．\begin{align}\mathrm{overlap\_ratio}_D(E;t_1,t_2)&=\frac{\mathrm{overlap}(E;t_1,t_2)}{\displaystyle\sum_{e\inE}\mathrm{fr}(e,t_2)}\label{eq:directional}\\\mathrm{overlap\_ratio}_B(E;t_1,t_2)&=\frac{2\\mathrm{overlap}(E;t_1,t_2)}{\displaystyle\sum_{e\inE}\mathrm{fr}(e,t_1)+\sum_{e\inE}\mathrm{fr}(e,t_2)}\end{align}前者の$\mathrm{overlap\_ratio}_D$は，$t_2$の長さのみで正規化したもので，方向性を持った(directional)オーバーラップ率となる．後者の$\mathrm{overlap\_ratio}_B$は，$t_1$と$t_2$の長さの和で正規化したもので，方向性を持たない，双方向性(bidirectional)のオーバーラップ率となる．\subsection{照合スコア}本文の一部$\widehat{T}$と選択肢$c_i$の照合スコアには，方向性を持ったオーバーラップ率$\mathrm{overlap\_ratio}_D$を用いる．\begin{equation}\mathrm{score}(\widehat{T},c_i)=\mathrm{overlap\_ratio}_D(E,\widehat{T},c_i)\end{equation}ここで，オーバーラップを測る際の単位（要素）集合$E$として，以下の4種類を実装した．\begin{enumerate}\item$A$:文字集合\item$A^2$:文字bigramの集合\item$W$:形態素表層形の集合\item$L$:形態素原形の集合\end{enumerate}いずれの場合も，句読点は要素に含めなかった．形態素解析器にはmecab-0.994を，形態素解析辞書には，ipadic-2.7.0またはunidic-2.1.0を用いた．すなわち，$W$と$L$は，それぞれ2種類存在することになる．\subsection{設問文の極性判定}設問文の極性判定は，文字列マッチングで実装した．具体的には，正規表現「\verb+/(適切|適当)でないものを/+」に一致した場合はnegative($-1$)，それ以外はpositive($+1$)と判定する．対象とした問題は限られているので，極性判定結果は，人間の判断とすべて一致する．\subsection{本文の一部の抽出}段落(P)単位および文(S)単位の抽出を実装した．抽出する領域は，連続領域を採用した．すなわち，抽出単位，抽出開始点，抽出終了点の3つの情報によって，抽出領域は定まる．抽出開始・終了点は，当該傍線部を含む単位（段落または文）を基準点0とし，その前後何単位であるかを，整数で表す．たとえば，S-$m$-$n$は，当該傍線部を含む文と，その前$m$文，後$n$文を表す（全部で$m+1+n$文となる）．この他に，本文先頭(a)，前問の傍線部の位置(b)，本文末尾(e)という3種類の特別な位置を指定できるようにした．さらに，当該傍線部を含む文を除外するというオプション($\overline{X}$)も実装した\footnote{設問の多くは，傍線部のある種の言い換えを求めているので，傍線部自身は，選択肢を選ぶ根拠とはならないことが多いと考えられる．今回の実装では，テキストを扱う最小単位は文なので，「当該傍線部を含む文」を除外するという実装となった．}．\subsection{選択肢の事前選抜}選択肢の事前選抜には，次の方法を採用した．\begin{enumerate}\itemそれぞれの選択肢$c_i$において，以下に示す事前選択スコア$\mathrm{ps}(c_i,C)$を計算する．\begin{equation}\mathrm{ps}(c_i,C)=\frac{1}{|C|-1}\sum_{c_j\inC,\c_j\nec_i}\mathrm{overlap\_ratio}_B(A;c_i,c_j)\end{equation}このスコアは，他の選択肢$c_j$との双方向文字オーバーラップ率$\mathrm{overlap\_ratio}_B(A;c_i,c_j)$の平均値である．\item得られた事前選択スコアが低い選択肢を，選択肢集合から除外する．（最終順位付けでは，かならず5位とする）\end{enumerate}なお，この実装は，いわば「もっとも仲間はずれの選択肢を一つ除外する」という考え方に基づいている．
\section{実験と検討}
\subsection{実験結果}実装した傍線部問題ソルバーを用いて，評論傍線部問題40問を解いた結果を表\ref{table:result1}および表\ref{table:result2}に示す．この表の各行の先頭の欄(ID)は，本文抽出法($\mathrm{extract}$)に対応しており，次の2つの数字は，その抽出法(ID)で抽出された文数（40問の平均値），および，該当傍線部を含む文を除外した場合($\overline{\mbox{ID}}$)の文数を示す\footnote{S-$m$-$n$で文数が$m+1+n$を越えるのは，2003S-E5の設問文が複数の傍線部（正確には，波線部）を含むためである．この場合，最初に現れる波線部の前方$m$文から，最後に現れる波線部の後方$n$文までを抽出する．}．斜線で区切られた4つの数字は，ある要素集合を単位としてオーバーラップ率を計算した場合に対応し，それぞれの数字は，順に，以下の場合の正解数を示す．\begin{enumerate}\item抽出法ID+事前選択なし(no)\item抽出法$\overline{\mbox{ID}}$+事前選択なし(no)\item抽出法ID+事前選択あり(yes)\item抽出法$\overline{\mbox{ID}}$+事前選択あり(yes)\end{enumerate}表\ref{table:result1}の2行目(P-a-0)の$A$欄の最初の数字20が，我々に衝撃を与えた数字である．これは，\begin{quote}本文の先頭から当該傍線部を含む段落までを$\widehat{T}$として抽出し(P-a-0)，\\$\widehat{T}$と各選択肢$c_i$との照合スコアを文字オーバーラップ率($A$)で計算して，\\スコアが最大値を取る選択肢を選んだ場合，\\{\bf「評論」の傍線部問題の半分(20/40)が正しく解ける}\end{quote}ことを意味する．センター試験の設問は5択問題であるので，解答する選択肢をランダムに選んだとしても1/5の確率で正解する．40問においてランダムに解答を選んだ場合，正解する問題数は，$8\pm4.96$($p=0.05$)である\footnote{$\displaystyleB\left(40,\\frac{1}{5}\right)\approxN\left(8,\2.53^2\right)$．故に$1.96\times2.53\approx4.96$}．この値と比べ，正解数20問は有意に多い．我々は，このような性能が得られることを，まったく予期していないかった．この結果を受けて，我々は，色々な設定（$84\times6\times4-12=\mbox{2,004}$通り）\footnote{傍線部を含む段落が1文のみから構成されている場合があるので，抽出法$\overline{\mbox{P-0-0}}$は設定しない．これが$-12$に相当する．84は，表\ref{table:result1}--\ref{table:result2}の行数の合計を，$6\times4$は1行に記述される設定数を示す．}での性能を網羅的に調べた．こうして得られたのが表\ref{table:result1}と表\ref{table:result2}である．これらの表では，正解数20以上をボールド体で表示した．さらに，正解数が22以上となった16の設定とその設定における正解の順位分布（第$n$位として出力された正解がいくつあるか）を，表\ref{table2}に示した．\begin{table}[p]\caption{「評論」に対する実験結果（その1）}\label{table:result1}\input{1001table04.txt}\end{table}\clearpage\begin{table}[t]\caption{「評論」に対する実験結果（その2）}\label{table:result2}\input{1001table05.txt}\end{table}\subsection{実験結果を検討する}表\ref{table:result1}と表\ref{table:result2}を観察すると，以下のことに気づく．\begin{table}[t]\caption{正解数が22以上の設定と正解の順位分布（「評論」）}\label{table2}\input{1001table06.txt}\end{table}\begin{enumerate}\item照合するテキスト$\widehat{T}$が極端に短い場合を除き，ほとんどの場合（2,004通り中1,828通りの設定）で，正解数はランダムな方法より有意に多い．すなわち，「評論」の傍線部問題に対しては，本論文で示した解法は，有効に機能する．\item照合スコアのオーバーラップ率の計算には，文字($A$)を用いると相対的に成績がよい場合が多い．文字オーバーラップ率が有効に機能するという，この結果は，日本語の含意認識(RITE2)における服部らの結果\cite{Hattori2013,SKL2013}に合致する．文字オーバーラップ率が有効に機能するのは，おそらく，日本語の文字の種類が多いこと，および，漢字1文字が内容的情報を表しうること，の2つの理由によるものと考えられる．\item照合スコアのオーバーラップ率の計算に，文字bigram($A^2$)，形態素出現形($W$)，形態素原形($L$)を用いた場合は，比較的短い$\widehat{T}$のいくつかに対して，成績がよい．これは，比較的短いテキストの照合では，語や文字bigramなどの，より長い要素の一致が大きな意味を持つためと考えられる．今回の実験で最も成績がよかった正解数23は，抽出法$\overline{\mbox{S-9-0}}$，照合法$A^2$または$L$-unidic，事前選抜あり(yes)の場合に得られた．\item照合テキスト$\widehat{T}$から，当該傍線部を含む文を除外した方が，除外しなかった場合よりも，成績は若干よい傾向を示す．脚注4でも述べたように，傍線部の言い換えを求めるような設問では，該当傍線部自身は，選択肢の根拠とはならないことが多い．このような設問に対しては，該当傍線部を含む文を除外することによる効果があると考えられる．\item選択肢の事前選抜は，正解数を増やす効果が見られる．なお，今回使用した40問において，正解が事前選抜によって除外される設問は，1問(2005M-3)だけ存在した．\item用いる形態素解析辞書によって，得られる結果は若干異なる．これは，形態素として認定する単位，および，原形の認定法の違い\footnote{unidicでは，語彙素を原形として採用した．}による．今回の実験では，ipadicを使用した方が，相対的によい結果が得られた場合が多かった．\end{enumerate}\subsection{性能の上限を見積もる}本論文で提案した方法で，どの程度の性能が達成可能であるかを見積もってみよう．性能の上限は，それぞれの設問において，\begin{enumerate}\item最も適切な本文の一部$\widehat{T}$が選択でき，かつ，\item最も適切な照合スコアを選択できる\end{enumerate}と仮定した場合の正解率で与えられる．ここでは，\begin{itemize}\item形態素解析辞書にはipadicのみを用いる\item選択肢の事前選択は行なわない\footnote{事前選抜を上限の計算に含めるのは複雑なので，除外した．}\end{itemize}こととした668($=84\times4-4$)通りの設定\footnote{数字84は，表\ref{table:result1}--\ref{table:result2}の行数の合計に，$4$は1行に対する設定数に，$-4$は抽出法$\overline{\mbox{P-0-0}}$は設定しないことに対応する．}を採用し，各設問毎に668通りの設定の成績（正解の順位）を集計した．その結果を表\ref{table:dist}に示す．表7に示すように，668通りの設定のいずれにおいても正解を出力できなかった設問は，\mbox{2問}(2001S-E5と2009M-E4)のみであった．すなわち，38/40(${}=95$\%)の設問に対して，本論文で示した解法は正解を出力できる可能性がある．表7において，1位となった設定数が多い設問は，言わば「ストライクゾーンが広い」設問である．つまり，パラメータ選択に「鈍感」であり，機械にとってやさしい設問である．たとえば，2003S-E3（1行目）は，668通り中664通りの設定で正解が得られている．逆に，1位となった設定数が少ない設問は，正解を出力するのが難しい設問である．たとえば，2003M-E5（下から3行目）は，668通り中14通りの設定でしか正解が得られない．これらのことを考慮して，次に，もうすこし現実的な到達目標を考えよう．正解率1/5でランダムに668回の試行を行なった場合の正解数は$133.6\pm20.26\:(p=0.05)$である．この値の上限をひとつの目安として\footnote{表\ref{table:dist}の左側の区切り線は，この境界を示す．}，これよりも多い正解数が得られた設問は，設問に応じた適切なパラメータ選択により，正解を導ける可能性が高いとみなそう．このような設問は，40問中27問(67.5\%)である．実際，今回の実験で得られた最大正解数は23であり，正解数27は，現実的に到達可能な範囲にあると考えられる．\begin{table}[t]\caption{各設問における正解順位分布（「評論」）}\label{table:dist}\input{1001table07.txt}\end{table}\subsection{好成績の理由を考える}このような比較的単純な解法でも，半数以上の設問が正しく解けるのは，どうしてだろうか．その理由は，おそらく，「センター試験がよく練られた試験問題である」ということになろう．センター試験の問題は，当然のことながら，「正解が一意に定まる（大多数の人が，正解に納得できる）」ことが必要である．答の一意性を保証できる『数学』の問題とは異なり，『国語』の傍線部問題は，潜在的には多数の「正解文」が存在する．作問者の立場に立てば，そのうちの一つを選択肢に含め，それ以外を選択肢に含めないように問題を作らなければならない．そのため，正解選択肢とそれ以外の選択肢の間に，明示的な差異を持ち込まざるを得なくなる．そして，そのために持ち込まれた差異は，オーバーラップ率のような表層的な指標においても，識別できる差異として現れてしまうのであろう．もし，この推測が正しいとすれば，「良い問題であれば，機械にも解ける」ということであり，本論文で提案した解法は，センター試験ならではの性質を利用していることになろう．\subsection{正解が得られない設問}すでに何度も述べたように，我々は，本論文で提案した解法で「評論」の傍線部問題の半数以上が解けてしまうことが驚きであり，解けない設問があることに何の不思議さも感じない．しかしながら，査読者より，採録条件として，「提案手法では正解が得られない設問に対する分析（定性的な議論）が必要である」との指摘があったので，この点についての我々の見解を以下に述べる．まず，（ある特定パラメータを使用した）この解法によって正解が得られない直接的な理由は，抽出した本文の領域$\widehat{T}$と正解選択肢との照合スコア（オーバーラップ率）が低いことによる．この理由をさらに分解すると，次の3つの理由に行きつく．\begin{description}\item[R1]そもそも本文中に根拠がない\item[R2]不適切な領域$\widehat{T}$を抽出している\item[R3]照合スコアが意味的整合性を反映していない\end{description}しかしながら，特定の設問が解けない理由を，このどれか一つに特定することは難しい．まず，理由R1であるが，確かに，これがほぼ明白なケースは存在する．たとえば，2003M-E4は，傍線部の「具体例」を問う問題であるが，本文中にはその具体例は述べられていない．しかしながら，「根拠」という言葉はいささか曖昧であり，広くも狭くも解釈できるため，その解釈を固定しない限り，根拠の有無を明確に判断することは難しい．受験対策本がいう「根拠」は，「正解選択肢を選ぶ手がかり」という広い意味であり，「『適切に語句や表現を言い換えれば，選択肢の表現に変換できる』本文の一部」という狭い意味ではない．前者の意味では，ほとんどの設問に根拠は存在するが，後者の意味では，ほとんどの設題に根拠は存在しない．評論の傍線部問題で問われるのは，本文全体の理解に基づく傍線部の解釈であり，表現レベルの単純な言い換えではない．次に，理由R2であるが，今回の解法では，選択肢と照合する領域として文または段落を単位とする連続領域のみを扱っている．しかし，実際の（広い意味での）根拠は，より小さな句や節といった単位の場合もあり，かつ，不連続に複数箇所存在する場合も多い．現在の実装の自由度における最適な領域が，必ずしも真の意味で適切な領域であるとは限らない．最後に，理由R3であるが，現在の照合スコアが意味的整合性を適切に反映しない場合が存在するのは自明である．しかし，問題はそれほど単純ではない．照合スコアの具体的な値は，照合領域$\widehat{T}$に依存する．最適な領域が定まれば，使用している照合スコア計算法の善し悪しを議論できるが，最適な領域が不定であれば，正解を導けない原因を，領域抽出の失敗(R2)に帰すべきか，照合スコアの不適切さ(R3)に帰すべきかは，容易には定まらない．以上のように，特定の設問が解けない理由を追求し，解けない設問を類形化することは，かなり難しい．さらに，チャンスレベルは20\%であるから，たまたま解ける設問も存在する\footnote{前述の2003M-E4は正解する場合もある．}．そのような困難さを踏まえた上で，解けない設問を大胆に類形化するのであれば，次のようになろう．\begin{itemize}\item正解選択肢を選ぶ根拠が，傍線部のかなり後方に位置する設問．\item正解選択肢を選ぶ根拠が，本文全体に点在している設問．\item正解選択肢が，本文全体の理解・解釈を前提として，本文中には現れない表現で記述されている設問．\item本文と整合しない部分を含む選択肢を除外していくこと（いわゆる消去法\cite{Itano2010}）によって，正解選択肢が導ける設問．\end{itemize}\subsection{「小説」に適用する}本論文で提案した解法を，そのまま「小説」の傍線部問題に適用すると，どのような結果が得られるであろうか．その疑問に答えるために，「評論」と同様の実験を，「小説」に対しても実施した．対象とした「小説」の傍線部問題は計38問なので，ランダムに解答すると，$7.6\pm4.83$問($p=0.05$)の正解が得られることになる．\begin{table}[b]\caption{正解数が13以上の設定と正解の順位分布（「小説」）}\label{table:novel}\input{1001table08.txt}\end{table}実験において，統計的に有意な結果（正解数13以上）が得られたのは，2,004通り中13通りの設定のみであった．これらを表\ref{table:novel}に示す．さらに，「評論」と同様に，各設問に対しても668通りの実験結果を集計した\footnote{表\ref{table:novel}の結果に基づき，形態素解析辞書にはipadicではなくunidicを採用した．}．正解数が$133.6\pm20.26$の上限を越えたのは，38問中10問であった．これらの結果より，「小説」に対しては，本論文で提案した解法の性能は，チャンスレベルと大差がないとみなすのが妥当であろう．
\section{結論}
本研究で得られた結果をまとめると，次のようになる．\begin{enumerate}\itemセンター試験『国語』現代文の傍線部問題に対する解法を提案・定式化した．\item本論文で示した解法は，「評論」の傍線部問題に対しては有効に機能し，半数以上の設問に対して正解を出力することができる．今回の実験から推測される性能の上限は95\%，現実的に到達可能な性能は65--70\%である．\item本論文で示した解法は，「小説」の傍線部問題に対しては機能しない．その性能はチャンスレベルと同等である．\end{enumerate}本論文で示した解法で「『評論』が解ける」という事実を言い換えるならば，それは，「『評論』では，本文に書かれていることが問われる」ということである．これに対して，「『小説』が解けない」という事実は，その裏返し，すなわち，「『小説』では，本文に書かれていないこと（心情や行間）が問われる」ということを示している．このような差異の存在を，船口\cite{Funaguchi}も指摘しているが，表層的なオーバーラップ率を用いる比較的単純な方法においても，その差異が明確な形で現れることが判明した．\acknowledgment本研究では，国立情報学研究所のプロジェクト「ロボットは東大に入れるか」から，データの提供を受けて実施した．本研究の一部は，JSPS科研費24300052の助成を受けて実施した．本研究では，mecab/ipadic，mecab/unidicを使用した．\begin{thebibliography}{}\bibitem[\protect\BCAY{新井\JBA松崎}{新井\JBA松崎}{2012}]{Arai2012}新井紀子\JBA松崎拓也\BBOP2012\BBCP.\newblockロボットは東大に入れるか?—国立情報学研究所「人工頭脳」プロジェクト—.\newblock\Jem{人工知能学会誌},{\Bbf27}(5),\mbox{\BPGS\463--469}.\bibitem[\protect\BCAY{船口}{船口}{1997}]{Funaguchi}船口明\BBOP1997\BBCP.\newblock\Jem{きめる！センター国語現代文}.\newblock学研教育出版.\bibitem[\protect\BCAY{服部\JBA佐藤}{服部\JBA佐藤}{2013}]{Hattori2013}服部昇平\JBA佐藤理史\BBOP2013\BBCP.\newblock多段階戦略に基づくテキストの意味関係認識：RITE2タスクへの適用\newblock情報処理学会研究報告,2013-NLP-211No.4/2013-SLP-96No.4,情報処理学会.\bibitem[\protect\BCAY{Hattori\BBA\Sato}{Hattori\BBA\Sato}{2013}]{SKL2013}Hattori,S.\BBACOMMA\\BBA\Sato,S.\BBOP2013\BBCP.\newblock\BBOQTeamSKL'sStraregyandExpericenceinRITE2\BBCQ\\newblockIn{\Bem{Proceedingsofthe10thNTCIRConference}},\mbox{\BPGS\435--442}.\bibitem[\protect\BCAY{板野}{板野}{2010}]{Itano2010}板野博行\BBOP2010\BBCP.\newblock\Jem{ゴロゴ板野のセンター現代文解法パターン集}.\newblock星雲社.\bibitem[\protect\BCAY{教学社編集部}{教学社編集部}{2013}]{Kakomon2014}教学社編集部\BBOP2013\BBCP.\newblock\Jem{センター試験過去問研究国語（2014年版センター赤本シリーズ）}.\newblock教学社.\end{thebibliography}\begin{biography}\bioauthor{佐藤理史}{1988年京都大学大学院工学研究科博士後期課程電気工学第二専攻研究指導認定退学．京都大学工学部助手，北陸先端科学技術大学院大学助教授，京都大学大学院情報学研究科助教授を経て，2005年より名古屋大学大学院工学研究科教授．工学博士．現在，本学会理事．}\bioauthor{加納隼人}{2010年名古屋大学工学部電気電子・情報工学科入学．2014年同学科卒業．現在，名古屋大学大学院工学研究科電子情報システム専攻在学中．}\bioauthor{西村翔平}{2010年名古屋大学工学部電気電子・情報工学科入学．2014年同学科卒業．}\bioauthor{駒谷和範}{1998年京都大学工学部情報工学科卒業．2000年同大学院情報学研究科知能情報学専攻修士課程修了．2002年同大学院博士後期課程修了．博士（情報学）．京都大学大学院情報学研究科助手・助教，名古屋大学大学院工学研究科准教授を経て，2014年より大阪大学産業科学研究所教授．現在，SIGDIALScientificAdvisoryCommitteemember．情報処理学会，電子情報通信学会，人工知能学会，言語処理学会各会員．}\end{biography}\biodate\end{document}