\section{はじめに}
\label{sec:intro}情報抽出や文書要約の分野において情報の可視化を目的として，テキスト中に出現する事象表現の表す事象が発生した時区間\modified{(TimeInterval)}を時間軸\modified{(Timeline)}上に写像することが行われている．このため\modified{には}，テキスト中に出現する時間情報表現の正規化（時間軸への写像）のみならず，対象となる「文書作成日時と事象表現」や「時間情報表現と事象表現」，「二つの事象表現」間の時間的順序関係を付与することが必要になる．\modified{英語においては哲学者・言語学者・人工知能研究者・言語処理研究者が協力して時間情報を含む言語資源の整備を進めている\cite{TimeBank}．哲学者・言語学者は言語科学として(a)テキスト中の事象表現とその時間構造を形式的にどのように記述するかを探究することを研究目的とする．人工知能研究者・言語処理研究者は工学研究として(b)テキスト中の事象表現や時間的順序表現を同定し抽出する機械的なモデルの開発や評価を研究目的とする．前者にとって(b)は手段でしかなく，逆に後者にとって(a)は手段でしかない．しかしながら，共通の目標として時間情報の可視化\footnote{ここで「情報の可視化」とは，工学的な自動処理によるもののみならず，言語科学における形式意味論研究も含む．}を掲げ，前段落にあげたリサーチクエスチョンに対して，「アノテーション」と呼ばれる研究手法により共有言語資源を構築する試みが行われている．}\modified{一方，日本語においては時間情報を含む言語資源の整備は，人工知能研究者・言語処理研究者によるものが多く，研究目的も(b)の手段としてのものが多い．機械的なモデルの開発や評価を目的とすることが多く，計算機上に実現しやすい時間情報表現の切り出しや正規化レベルのアノテーションにとどまっている\cite{IREX,小西-2013}．時間的順序関係のアノテーションを行うためには，アノテーション対象となる事象構造の意味論的な形式的な記述の作業が必要となる．人工知能研究者・言語処理研究者にとっての手段とされる研究目的(a)が重要になる．}\modified{時間情報のアノテーションについては，英語のアノテーション基準TimeML\cite{TimeML}を元に国際標準化作業が行われてきた．成果物のISO-TimeMLは策定時に多言語に対してアノテーションすることを想定し，各言語の研究者がそれぞれ適応\footnote{ここで「適応」とは生物学における``種の環境に対応する形質の有無''の意味ではなく，工学における``対象の特性に対応する仕様やパラメータなどの変更''の意味である．}作業を実施してきた．}\modified{本研究では，研究目的として哲学者・言語学者の(a)の立場を取り，}『現代日本語書き言葉均衡コーパス』（BalancedCorpusofContemporaryWrittenJapanese;以下``BCCWJ''）\cite{BCCWJ}の一部に対し時間情報表現と事象表現の時間的順序関係を付与するために，事象表現の切り出しと分類を行った．\modified{時間情報表現アノテーションの形式的な基準である国際標準ISO-TimeMLの日本語適応作業をMAMAサイクル\cite{Pustejovsky-2012}（Model-Annotate-Model-Annotateサイクル．詳しくは\ref{subsec:anno}節で説明）を通して実施し，時間的順序関係付与に適した事象表現分類を行った．}さらに，\modified{複数人の時区間の時間的順序関係の認識の差異を評価することを目的として，}Allenの時区間論理\cite{allen-1983}（詳しくは\ref{subsec:timerel}節で説明）に基づ\modified{いた}テキストに出現する時間情報表現と事象表現の時間的順序関係\modified{のアノテーション}を\modified{複数人で実施した．MAMAサイクルを最小にし被験者実験的な設定でアノテーションを行い，得られたデータの傾向を分析し，複数人の作業者間の心的空間における時間構造の差異を評価した．}\modified{意味論レベルのアノテーションにおいて，多くの研究が形式意味論的な記述を目標とする．生成された言語を直接何らかの記号的な意味表現に写像するための方法論を確立するためにアノテーションのMAMAサイクルを実施するが，唯一無二の意味表現に写像することを目的とするためにアノテーション一致率という指標を良くする方向に最適化するきらいがある．一方，認知意味論の考え方においては，生成された言語表現を受容する人間の認知活動という要素を考慮し，人間の空間認知能力やカテゴリー化などの認知能力を評価する目的で，被験者実験などの研究手法が用いられている．テキストを刺激として与え，意味表現を記述させる被験者実験も広義のアノテーションと呼ぶことができる．}\modified{本研究では人間の時間的順序関係の認知能力の差異の評価を目的として，教示であるMAMAサイクルを必要十分レベルに極小化した，被験者実験としてのアノテーションを行う．結果，時区間の境界の一致が困難である一方，時区間の前後関係については69.5\%の一致率でアノテーションできることがわかった．}\modified{以下本論文の構成について述べる．\ref{sec:related}節では関連研究について述べる．\ref{sec:standard}節では策定した基準について述べる．\ref{sec:analysis}節でBCCWJにアノテーションした順序関係ラベルの分析を行い，結果を報告する．\ref{sec:conclusion}節で本論文のまとめを行う．}
\section{関連研究}
\label{sec:related}\subsection{コーパスアノテーション}\label{subsec:anno}\modified{一般に言語の生産過程の産物であるアノテーションなしのテキストコーパスからは，言語の受容過程について直接的に調査することは困難である．言語の受容過程の調査には，生産されたテキストを受容する過程を記号化する必要がある．テキストコーパスに対し作業者が内容を理解して記号を付与するアノテーションは，工学研究者のベンチマークデータ作成だけでなく，人の言語の受容過程を記録する一研究手法としても利用可能である．}\modified{コーパスアノテーション作業には二つの基準を決める必要がある．一つはアノテーションをどのような形式で表現するかという形式的な基準である．アノテーション対象が文字間なのか文字列範囲なのか，対象に対しシングルラベルを付与するのかマルチラベルを付与するのか，対象間の関係が推移的なのか対称的なのか，大局的な構造として木をなすのか有向非循環グラフをなすのかなどを決定し，抽象化する必要がある．抽象化された形式は，インラインで記述するのかスタンドオフで記述するのかなどを基準として定める．この形式的な基準は，研究者間の相互利用性を高めたり，構造学習器を実現するための必要な抽象表現の仕様を決定するために利用される．関係する研究者があらかじめ議論をして標準仕様をコミュニティ駆動で策定したり，最初に策定された類似のアノテーションの形式をそのまま事実上の標準にしたりなど，標準化機関以外による何らかの標準化が行われることが多い．}\modified{もう一つはコーパスに出現する言語表現をどのような記号に割り当てるかという値割り当てについての基準である．アノテーションにおいては，個々の事例についてどの形式に割り当てるのかという基準が必要であり，一般に言語テストなどを作業者に行ってもらいその判断に基づき記号に写像する基準が策定される．しかし，アノテーション作業の当初から完全で健全な基準を作成することは困難であり，基準の策定とアノテーション作業を何度も繰り返しながら基準を更新する．}\modified{Pustejovsky\cite{Pustejovsky-2012}は，基準の策定方法を含めたアノテーション作業に二種類のサイクルがあることを示している．一つはMAMAサイクルで図\ref{fig:cycle}の左のようなサイクル\footnote{図は``ModelandGuideline''-``Annotate''-``Evaluate''-``Revise''からなり``MAERサイクル''と呼ぶべきであるが，引用元の表現``MAMAサイクル''をそのまま本稿でも採用する．}である．もう一つはMATTERサイクル（Model-Annotate-Train-Test-Evaluate-Reviseサイクル）で図\ref{fig:cycle}の右のようなサイクルである．工学研究のように構造学習器を作成することを目的とする場合にはMATTERサイクルを用いることが多いが，MATTERサイクルで構造学習器が構成できないアノテーション初期においてはMAMAサイクルを用いることが多い．言語研究で現象そのものを観察する場合においてはMAMAサイクルのみで閉じてアノテーションを行う傾向がある．}\begin{figure}[t]\begin{center}\includegraphics{20-5ia2f1.eps}\end{center}\caption{MAMAサイクルとMATTERサイクル}\label{fig:cycle}\vspace{-0.5\Cvs}\end{figure}\modified{このようなアノテーションの基準とサイクルを考えた場合に，アノテーション基準の妥当性はどのように評価されるべきだろうか．形式的な基準においては利用者系により評価されるべきであり，当該基準を利用するコミュニティの規模などにより定量的に評価され，相互利用における障害の有無などにより定性的に評価されるだろう．後者の値割り当てとしての基準においては，構造学習器の構成を目的として研究を実施するのであれば，未知事例を含めた構造学習器の性能により評価されるだろう．一方，言語研究を目的とする場合には，アノテーション作業を行う指針である基準の妥当性は，成果物のアノテーションそのものによって評価されるべきである．アノテーション単体としての評価は一致率などの定量的な指標を提示することが可能であるが，言語研究のためのアノテーションにおいては，必ずしも一致率などを目的関数として最適化を行っているわけではない．このようなアノテーション基準の妥当性を評価するためには，MAMAサイクルの外側の言語研究者によって評論として行われるべきである．近年，均衡コーパスが整備され，コミュニティ駆動によりアノテーション対象の標準化が行われてきた．各機関で様々なレベルの言語情報のアノテーションが進められている．このような状況を鑑みると，MAMAサイクルの外側の言語研究者による評論の代わりに，他のアノテーションとの重ね合わせによる齟齬検出結果から，アノテーションそのものの妥当性評価が検証される可能性がある．}\subsection{\modified{コーパスアノテーション基準の標準化}}\label{subsec:standard}\modified{コーパスアノテーションの基準について，形式的な基準については標準化機関などが共有すべき規格を提案している．例えば，国際標準化機構(InternationalOrganizationforStandardization:ISO)の標準化技術委員会(TechnicalCommittee)TC37は``Terminologyandotherlanguageandcontentresources''と題し，言語資源に関するさまざまな標準化を提案している．そのなかに分科会(Subcommittee)が五つ設定されているが，TC37/SC4が言語資源管理(Languageresourcemanagement;LRM)に関する国際規格の規定を行っている．TC37/SC4は作業部会を六つ（表\ref{table:tc37sc4}）設定しており，さまざまな形式・出自の一次言語データに対するアノテーションやXMLに代表される汎用マークアップ言語に基づくアノテーションの表現形式についての仕様記述言語を設計している．例えば，公開されている規格として，語彙表の規格LexicalMarkupFramework(LMF:ISO-24613:2008)，素性構造表現FeatureStructureRepresentation(FSR:ISO-24610-1:2006)，単語分かち書き（ISO-24615-1:2010が一般，ISO-24615-2:2011が日中韓言語），統語論アノテーションSyntacticAnnotationFramework(SynAF:ISO-24615:2010)がある．意味論的アノテーション規格は作業部会TC37/SC4/WG2を中心にさまざまなSemanticAnnotationFramework(SemAF)が提案されている．時間情報表現関連については，英語で策定されたTimeML\cite{TimeML}をもとにTimeML開発者と作業部会TC37/SC4/WG2が連携をとりながらSemAF-Time(ISO-24617-1:2012)TimeMLを提案した．次の\ref{subsec:time}節では，時間情報表現関連のアノテーションの研究動向を示す．}\begin{table}[t]\caption{TC37/SC4の作業部会}\label{table:tc37sc4}\input{02table01.txt}\end{table}\subsection{時間情報表現に関する研究動向}\label{subsec:time}\modified{時間情報表現は哲学・言語学・人工知能研究・言語処理など複数分野の研究者により研究されてきた．}\modified{以下では言語処理関連の代表的な研究を俯瞰する．テキスト中の時間情報表現を分析する研究は大きく分けて時間情報表現抽出，時間情報正規化，時間的順序関係解析の三つのタスクに分類される．一つ目の時間情報表現抽出は，固有表現・数値表現抽出の部分問題として解かれてきた．二つ目の時間情報正規化は書き換え系により解かれることが多い．三つ目のタスクである時間的順序関係解析は，事象の時間軸上への対応付けと言い換えることができる．}表\ref{tbl:previous_work}に英語\modified{と}日本語を対象とした時間情報表現に関連する研究を示す．\begin{table}[b]\caption{関連研究}\label{tbl:previous_work}\input{02table02.txt}\end{table}英語においては，評価型国際会議MUC-6\cite{MUC6}の一タスク固有表現抽出の中に時間情報表現の抽出が含まれている．MUC-6で定義されている時間情報表現タグ\timex\は日付表現({\tt@type="DATE"})と時刻表現({\tt@type="TIME"})からなる．アノテーション対象は絶対的な日付・時刻を表す表現にのみ限定され，``lastyear''などといった相対的な日付・時刻表現は含まれていない．このMUC-6のアノテーション基準\timex\に対し，Setzerは時間情報表現の正規化に関するアノテーション基準を提案している\cite{Setzer-2001}．評価型国際会議TERN\cite{TERN}では，時間情報表現検出に特化したタスクを設定している．TERNで定義された時間情報表現情報タグ\timexii\は，相対的な日付・時刻表現，時間表現や頻度集合表現が検出対象として追加されている．時間情報表現の正規化情報を記述するISO-8601形式を拡張した\value\属性などが設計され，こちらも自動解析対象となっている．その後，Pustejovskyらによりアノテーション基準TimeML\cite{TimeML}が提案されている．その中では，TERNで用いられている\timexii\を拡張した\timexiii\が提案され，さらに時間情報表現と事象表現の時間的順序関係を関連づけるための情報\tlink\が付加される．これらの情報は人手でアノテーションすることを目的に設計され，TimeBank\cite{TimeBank}やAquaintTimeMLCorpusなどの人手によるタグつきコーパスの整備が行われた．これらのコーパスに基づく時間情報表現の自動解析\cite{Boguraev-2005,Mani-2006}が試みられたが，タグの情報に不整合があったり，付与されている時間的順序関係ラベルに偏りがあったりなど扱いにくいものであった\cite{Boguraev-2006}．2007年に開かれたSemEval2007の一タスクTempEval\cite{TempEval}では，時間的順序関係のラベルを簡略化し，人手で見直したデータによる時間的順序関係同定のタスクが行われた．このタスクでは，時間情報表現に対する正規化情報\value\属性などが\modified{データにあらかじめ}付与されており，事象表現の時間的順序関係同定に利用できる\modified{設定になっている}．\modified{時間情報表現の自動解析に関する研究は英語中心に行われていたが，やがて言語横断的な研究が進められ，前の\ref{subsec:standard}節に示したような国際標準化がすすめられた．その成果物として，アノテーション形式の共有可能な基準としてISO-TimeMLが策定された．その作業と並行して，評価型会議}TempEval-2\cite{TempEval2}\modified{が実施され}，英語だけでなく，イタリア語，スペイン語，中国語，韓国語に関しても同様なデータを利用したタスクが設定された．2013年に開かれるSemEval-2013のサブタスクTempEval-3\cite{TempEval3}では，データの規模を大きくした英語，スペイン語が対象となっている．\modified{海外においては，哲学者・言語学者・人工知能研究者・言語処理研究者が共有可能な言語資源を作成するという大義のもと，分野横断的に研究が進められている．さらに多言語に拡張すべく言語横断的に研究が進められている．このような状況のもと個々の研究について境界を明確に示すことは難しい．}次に日本語の時間情報表現に関する研究を示す．\modified{日本語において，時間情報表現抽出はアノテーションのみならず，評価型会議による解析手法の検討が行われている．}IREX\cite{IREX}の一タスクとして，固有表現抽出タスクが設定された．IREXの時間情報では，日付・時刻表現を対象にし，相対的な表現が定義に含まれている．関根らは拡張固有表現体系\cite{Sekine-2002}を提案し，辞書／オントロジやコーパスの作成などを行っており，BCCWJにも同じ体系の拡張固有表現タグが付与されている\cite{Hashimoto-2010}．\modified{時間情報表現正規化については，}小西らがTimeMLに基づく\timexiii\相当のタグをBCCWJの一部に付与し，時間情報表現の正規化を行っている\cite{小西-2013}．\modified{しかしながら，日本語の時間情報表現と事象表現をひもづける時間的順序関係に関する研究は，著者らが知る限りない．}\modified{最後に，時間的順序関係アノテーションの目的について言及する．工学研究者は(1)時間情報を解析する構造学習器の構成やベンチマークデータの整備を目的としている．一方，言語研究者は，(2)事象表現の時間構造を表現する形式意味論としての記述体系の精緻化を目的としている．これらに対し，本研究は(3)受容者としてのアノテーション作業者という要素を考慮し，認知意味論的な分析を目的とする．(3)の目的のために，被験者実験的な設定のアノテーションを実施する．}\subsection{アノテーション対象としてのBCCWJ}\label{subsec:bccwj}\modified{本節ではアノテーション対象であるBCCWJについて述べる．}\modified{約1億語規模の書き言葉均衡コーパスであるBCCWJは2006--2010年に整備され，2011年に国立国語研究所（以下「国語研」と略す）から一般公開された．サンプリングの手法から生産サブコーパス・図書館サブコーパス・特定目的サブコーパスの三つに大きく分かれる．生産サブコーパスは2001--2005年に出版された書籍(PB)・雑誌(PM)・新聞(PN)により構成され，生産実態に基づいてランダムサンプリングされている．図書館サブコーパスは1986--2005年に出版された書籍(LB)により構成され，流通実態に基づいてランダムサンプリングされている．特定目的サブコーパスは図書館サブコーパスで十分に集まりにくい，白書(OW)・Yahoo!知恵袋(OC)・Yahoo!ブログ(OY)・国会会議録(OM)など様々なレジスタのテキストが収録されている．}\modified{BCCWJにはコアデータと呼ばれる約110万語からなる部分集合が設定されている．コアデータには人手により国語研規程の短単位・長単位単語境界，UniDic品詞体系に基づく形態論情報，文節境界などが付与されている．コアデータは生産サブコーパスから書籍(PB)・雑誌(PM)・新聞(PN)が，特定目的サブコーパスから白書(OW)・Yahoo!知恵袋(OC)・Yahoo!ブログ(OY)が収録されている．表\ref{table:priority}に各レジスタのサンプルについての統計を示す．}\modified{このコアデータに対し，国内の様々な研究機関により，係り受け情報・述語項構造・節境界・モダリティ情報・フレームネット知識など重畳的にアノテーションが行われている．しかしながら，100万語規模のコアデータ全てに対してアノテーションを実施することは困難である．そこで，コアデータの各サンプルに対してアノテーションの優先順位をつけ，約5--6万短単位ごとの部分集合（表\ref{table:priority}・2列目）を規定している．アノテーションに従事する研究者は，それぞれの目的や能力に応じ，この優先順位に従ってアノテーションを実施する．これにより，優先順位の高いサンプルについてはより多種の言語情報アノテーションが行われることになる．}\begin{table}[b]\caption{BCCWJコアデータと部分集合}\label{table:priority}\input{02table03.txt}\end{table}\modified{各サンプルには書誌情報として様々なメタデータが付与されているが，本研究に重要なメタデータとして文書作成日時相当の情報がある．コアデータに収録されている6種類のレジスタのうち，新聞(PN)データのみが日単位の文書作成日時の情報が収録されており，他のレジスタは年単位の文書作成日時の情報にとどまっている．}\modified{本研究では新聞(PN)データの部分集合A（54ファイル\footnote{BCCWJにおいて1ファイル中に複数の記事が収録されているために記事数ではない．}，2,541文，56,518短単位）を対象にアノテーションを行う．アノテーション作業対象を上記範囲に限定した理由は，BCCWJのコアデータにおいて新聞データのみが文書作成日時を日単位まで保持していること，生産実態に基づいて適切にサンプリングされており通常の報道記事のみならずレシピやコラムが含まれていること，作業者が一人月でアノテーションを終えることが可能な分量であることなどがある．}
\section{アノテーション基準}
\label{sec:standard}\subsection{アノテーション作業の概要}アノテーション作業対象はBCCWJコアデータ新聞データ54ファイル（部分集合A）とする．小西らの時間情報表現の正規化作業により，時間情報表現は\timexiii\タグにより切り出され，時間情報の正規化情報が与えられている\cite{小西-2013}．アノテーション作業は，最初に事象表現の境界を認定し\event\タグを付与し，\event\の属性として事象表現の分類を表す\klass\属性を付与する．\klass\属性付与の際には時間軸上に事象のインスタンスが認定できるか否かを判断し，判断できる場合には\event\に対して\makeinstance\タグをスタンドオフ形式で新たに付与する．次に限定された事象のインスタンス間（「文書作成日時と事象表現」，「時間情報表現と事象表現」，「二つの事象表現」）に対して，時間的順序関係を付与する．以下では，それぞれの作業の基準について示す．\subsection{事象表現の認定とクラス分類}時間的順序関係のアノテーションを行うために，\modified{アノテーション対象である動詞・形容詞・形状詞が}事象表現か否か，事象表現が時間軸上の特定の範囲で生起したものか否かの判断が必要となる．また事象構造が動作なのか状態なのかといった識別が必要になる．\modified{また，事象表現間の時間的順序関係を規定するにあたっては，ある事象が他の事象の項になりうるのか，その場合にどのような事象構造を持つのかを分類する必要がある．}国語研\modified{規程による長単位の動詞・形容詞・形状詞4,953表現}に対して\event\タグを付与する．事象表現として切り出す際に国語研長単位が適さない場合には切り出し範囲を大きくする方向で修正を行う．本研究は時間情報表現と事象のインスタンス間の時間的順序関係を付与するため，TimeMLのアノテーション\modified{の形式的な基準に基づいて}，実世界もしくは架空世界の時間軸上の具体的な特定の範囲で生起したインスタンスが認められるか否かの判別を行い，インスタンスが認められたものについては，\event\タグの\klass\属性にその事象表現の特性を付与し，\makeinstance\タグを付与する．インスタンスが認められないものについては，\makeinstance\タグを付与しない．時間的順序関係が確認できる事象構造には\makeinstance\タグを付与したうえで，\klass\属性を付与する．\klass\属性は，{\ttOCCURRENCE}，{\ttREPORTING}，{\ttPERCEPTION}，{\ttASPECTUAL}，{\ttI\_ACTION}，{\ttI\_STATE}，{\ttSTATE}の7種類と作業者がインスタンスが認められないと判断した事象表現・静態表現に付与する{\ttNULL}，{\ttNONE}の2種類に分類される．\begin{list}{}{}\item[\ttOCCURRENCE]項に事象を取らない事象表現一般\item[\ttREPORTING]項に事象を取る表現活動動詞に相当する事象表現\item[\ttPERCEPTION]項に事象を取る認識・知覚動詞に相当する事象表現\item[\ttASPECTUAL]項に事象を取るアスペクトを表出する事象表現\item[\ttI\_ACTION]項に事象を取る遂行動詞に相当する事象表現\item[\ttI\_STATE]項に事象を取る思考・感情動詞に相当する事象表現\item[\ttSTATE]静態動詞，形容詞\item[{\ttNULL}，{\ttNONE}]時間軸上インスタンスが認められない事象表現\end{list}一般の事象表現は{\ttOCCURRENCE}にあたる．静態動詞は{\ttSTATE}に分類されるため，{\ttSTATE}にしないもので事物(Thing)を項とする事象表現はすべて{\ttOCCURRENCE}とする．残りの5種類は，事物ではなく事象(Event)を項として導入する事象にのみ用いる．なお，アノテーション対象としての事象は動詞・形容詞・形状詞に限定するが，項として事物か事象かを判断する際には事象名詞も考慮する．この事象表現のインスタンスの認定とクラス分類は，作業者二人と監督者一人と助言者一人で議論しながら作業を行った．クラス分類を含めて75--80\%の一致率がコンスタントに得られるまで作業者二人が同一ファイルを作業し，基準が固まった時点で分担して作業を行った．\modified{基準の策定にあたっては日本語学・言語学の文献\cite{工藤1995,工藤2004,中村2001}にある事象表現の分類を参考にした．}以下にそれぞれの例を挙げる．\begin{description}\item[{\ttOCCURRENCE}：事象表現一般]\mbox{}\\何かが起こった，変化した，発生したなどの一般的な事象構造は，{\ttOCCURRENCE}とする．すなわち，事象ではなく事物を項とし，静態動詞ではない場合は，すべて{\ttOCCURRENCE}とする．無意志的（状態・位置）変化動詞や非意志的（現象一般）動詞もこれに含まれる．また，過程(Process)を示す動詞（例：「住む」）も，{\ttOCCURRENCE}とみなすこととする．\begin{itembox}[l]{\event\texttt{@OCCURRENCE}の例}\small湿地や干潟，河原などが埋め立てで\event\減った\eventc\東京湾．\\裸地を好むコアジサシに\event\嫌われた\eventc\か，巣は一つだけ．\\ニュース写真として\event\掲載させていただく\eventc\ことがあります．\\経常利益は数億円単位の黒字に\event\なる\eventc．\\メニューに\event\挑戦した\eventc．\end{itembox}\item[{\ttREPORTING}：表現活動動詞]\mbox{}\\表現活動動詞が，事象に関する発言や告知などをはじめ，概ね「〜と」を用いた引用を行う場合などで，{\ttREPORTING}に分類する．なお，「〜を」が用いられている場合は項が事物であるため，{\ttOCCURRENCE}となる．表現活動動詞には，言う・報告する・告げる・説明する・陳述する・指摘する・伝えるなどが含まれる．\begin{itembox}[l]{\event\texttt{@REPORTING}の例（{\bf太字}が注目している項）}\small大学院でのこうした取り組みは{\bf初めてと}\event\いう\eventc．\\{\bf〜どうかと}\event\提言する\eventc．\end{itembox}\item[{\ttPERCEPTION}：認識・知覚動詞]\mbox{}\\認識動詞や知覚動詞で，主に事象に関する物理的な知覚が，\modified{節や句の}「〜の」などによる体言化によって導入される場合などは，{\ttPERCEPTION}に分類する．但し，項が事物であるときは，{\ttOCCURRENCE}とする（例「ホスピスという言葉を初めて聞いた」）．見る・観察する・見かける・眺める・聞く・聴く・耳にする・睨む・探る・感じるなどが含まれる．\begin{itembox}[l]{\event\texttt{@PERCEPTION}の例（{\bf太字}が注目している項）}\small母親が炊飯器でおでんを{\bf作ったのを}\event\見て\eventc，\end{itembox}なお，新聞データにおいては，文脈により物理的な知覚を導入しない場合が多く，出現が少ない．\begin{itembox}[l]{\event\texttt{@PERCEPTION}としない例（{\bf太字}が注目している項）}\small［個人名］に{\bf［内容］について}\event\聞いた\eventc．（インタビューであるため，{\ttOCCURRENCE}）\\{\bfAをBと}\event\見る\eventc．（判断であるため，{\ttOCCURRENCE}や{\ttI\_STATE}）\end{itembox}\item[{\ttASPECTUAL}：アスペクト動詞]\mbox{}\\事象のアスペクト（相）を示す動詞が，事象を導入している場合はこれにあたる．明示的に記述されている場合に限定する．そのため，接頭辞などの造語成分（例：「再」＋動詞による「再団結する」「再開発する」など，「終」「開」による「終演する・開幕する」など）を含む動詞については，{\ttASPECTUAL}に含めない．\newpageアスペクトを明示的に表す動詞は，以下のようなものがある．\begin{enumerate}\itemInitiation：始める・始まる\itemReinitiation：再開する\itemTermination：終える・止める・終わる・中止する・停止する・あきらめる\itemCulmination：やり終える・完成させる\itemContinuation：続ける・続行する・持続する・維持する・やり通す・保つ\end{enumerate}\begin{itembox}[l]{\event\texttt{@ASPECTUAL}の例（{\bf太字}が注目している項）}\small{\bfトーナメントは}，日本時間10日夜に第1日が\event\始まる\eventc．\\［個人名］が勝てば{\bf3連覇に}\event\続く\eventc\偉業達成．\\二年目も引き続き{\bf好調を}\event\維持したい\eventc．\\{\bfとろ火状態を}\event\保つ\eventc．\end{itembox}\item[{\ttI\_ACTION}(IntensionalAction):内包的な動作]\mbox{}\\明示された事象の導入を行う（項とする）遂行動詞は{\ttI\_ACTION}と分類する．遂行しない場合は後述する{\ttI\_STATE}として区別を行う．また，イベントが助詞によって分割されている場合の後半部（例：「連絡をとる」「明らかにする」など）は{\ttI\_ACTION}と考える．次の{\ttI\_STATE}との差別として，挑む・予防する・遅らせる・依頼する・要求する・説得する・約束する・決定する・提案するなど，遂行性のある動詞がこれにあたる．また，同様に，{\ttREPORTING}との差別として，宣言する・主張する・申し出る・断定するなど，{\ttPERCEPTION}との差別として，調査する・精査するなどが{\ttI\_ACTION}にあたる．なお，Intentional（意図的）とは異なることに注意されたい．\begin{itembox}[l]{\event\texttt{@I\_ACTION}の例（{\bf太字}が注目している項）}\small女性が{\bf受け入れられるべきかと}\event\問われれ\eventc\ば，イエスだ．\\{\bf再建を}国際社会全体で\event\取り組む\eventc\契機．\\{\bf支払えないケースが}\event\出ている\eventc．\\［個人名］は速い{\bf転がりを}\event\確かめていた\eventc．\end{itembox}\item[{\ttI\_STATE}(IntensionalStates):内包的な静態動詞]\mbox{}\\事象を導入する（項とする）が，事象を遂行しない動詞は{\ttI\_STATE}とする．代替・候補が言及されるなどの状態の導入が主となる．主に思考動詞や感情動詞がこれにあたり，信じる・思う・望む・欲する・期待する・計画するなどの思考動詞のほか，恐れる・心配する・悩むなどの感情動詞，また，遂行のない動詞として，求める・〜しようとする・〜したがるなど，〜できる・〜できないなども含まれる．\begin{itembox}[l]{\event\texttt{@I\_STATE}の例（{\bf太字}が注目している項）}\small{\bf連覇を}\event\狙う\eventc．{\bf生活が}\event\できる\eventc．\\{\bf未現像でも}\event\構いません\eventc．\\{\bfよく見ていてくれたと}\event\感謝する\eventc．（遂行性がないため，{\ttI\_ACTION}ではない）\end{itembox}\item[{\ttSTATE}：静態動詞，形容詞\modified{，形状詞}]\mbox{}\\時間的順序関係と直接かかわらない場合，文書作成時間に従属しない場合には，\event\タグをつけないが，以下の種類の静態動詞\cite{工藤1995}と形容詞について，時間と関わる場合に限り，\event\texttt{@STATE}とする．\begin{enumerate}\item存在動詞：ある・いる・存在する・点在する\item空間的配置動詞：そびえている・面している・隣接している\item関係動詞：値する・あたる・あてはまる・相当する・意味する・示す・適する\item特性動詞：甘すぎる・大きすぎる・泳げる・話せる・似合う\end{enumerate}\begin{itembox}[l]{\event\texttt{@STATE}の例}\smallマネジャーに就任する意向が\event\ない\eventc\ことを明らかにした．（存在）\\東京湾岸でも生活\event\できる\eventc\環境さえあれば．（特性動詞．この場合，「生活ができる」であれば{\ttI\_STATE}とする）\\彼女のようにモノをはっきり\event\言える\eventc\ことがこれからは大切だ．（特性動詞）\\おいしく\event\食べられます\eventc．（特性動詞）\end{itembox}\item[{\ttNULL}，{\ttNONE}：時間軸上インスタンスが認定できない事象表現・静態表現]\mbox{}\\\makeinstance\を付与しない事象表現・静態表現．\makeinstance\タグを付与するか否かの判断基準として，文書作成日時もしくは他の事象表現との時間的順序関係が定義できるかどうかを重要視する．何らかの変化を含む事象表現ではなく，恒常的あるいは一般的なことをいっていると考えられうる事象表現においては，時間的順序関係のアノテーションは不可能であるため，\makeinstance\タグは付与しない．\begin{itembox}[l]{\makeinstance\タグを付与しない例（{\bf太字}が付与しない表現）}\smallクラブの運営について1票を{\bf持っている}わけではない．\\国際会議57件を{\bf含め}2,111件．火を{\bf使わない}調理法．\end{itembox}連体修飾節中の動詞が，一般的と判断される場合\makeinstance\タグを付与しない．\begin{itembox}[l]{\makeinstance\タグを付与しない例：連体修飾（{\bf太字}が付与しない表現）}\small旅の安全を{\bf守る}道祖神．オリーブ畑に{\bf囲まれた}レストラン．\end{itembox}副詞的用法や慣用的な場合も時間的順序関係が付けがたいため，\makeinstance\タグを付与しない．\begin{itembox}[l]{\makeinstance\タグを付与しない例：慣用表現（\textbf{太字}が付与しない表現）}\smallやむを{\bf得ない}．{\bf相次いで}出している．\\なりふり{\bf構わぬ}販売攻勢．\end{itembox}文脈によっては，「ある」「なる」「する」などの動詞も，一般的なことを述べているため時間的順序関係が付けがたい場合がある．この場合\event\タグを付与しない．\begin{itembox}[l]{\makeinstance\タグを付与しない例：「ある」など（{\bf太字}が付与しない表現）}\small〜のためこの名が{\bfある}．〜が基本と{\bfなる}．\\〜を原則と{\bfする}．\end{itembox}\end{description}\modified{以下，}{\ttNULL}と{\ttNONE}のラベルの違いについて述べる．{\ttNULL}のラベルは本節の作業を行った作業者二人により付与したものである．{\ttNONE}のラベルは次節の時間的順序関係認定時に，三人の作業者が時間軸上にインスタンスを認定することができなかったものについて修正付与する．\modified{事象構造そのもののアノテーションは意味論レベルの情報付与に相当し，言語学的な知見から様々な記号化手法が考えられる．本研究は時間情報表現・事象表現間の時間的順序関係の可視化を目的としており，そのアノテーション形式の標準化であるISO-TimeMLの枠組の範囲内で，値割り当てとしてのアノテーション基準を定めた．本節のアノテーション作業にあたっては次の\ref{subsec:timerel}節で行う被験者実験的な時間的順序関係アノテーションの基底となる情報のためにMAMAサイクルに基づき厳密な統制を行った．}\subsection{時間的順序関係の認定}\label{subsec:timerel}\modified{本研究は時間構造に対する複数人の認識の差異を評価するために，被験者実験的に時間的順序関係アノテーションを実施する．時間的順序関係について，事象が表現する時間構造が長さ0以上の時区間である（時点は長さ0の時区間として扱う）と仮定をおく．このことにより個々人が認識する事象表現の時間構造を，人工知能分野でよく研究されているAllenの時区間論理\cite{allen-1983}として表現することができる．アノテーション作業者は，時間軸上に二つの時区間をプロットすることで描画的に事象の時区間を表現することができる．直感的であるために短時間の教示でアノテーションが可能になる．}\modified{具体的には，先行研究で付与されている\timexiii\タグ範囲の時間情報表現と\makeinstance\タグにより認定した事象表現のインスタンスに対して，\tlink\相当の}時間的順序関係を認定する．表\ref{table:allen}に示すAllenの\modified{二次の}範囲代数に基づくラベル（13種類）を付与する．\modified{採用するラベル集合は，標準化されているアノテーション形式であるため，他の研究者が多言語で言語横断的に分析する際にも有効だと考える．}\begin{table}[t]\caption{Allenの範囲代数に基づく時間的順序関係ラベル}\label{table:allen}\input{02table04.txt}\end{table}なお，二つの事象表現がduring/equal/containsの三つの時間的順序関係にある場合，部分事象の関係か全く同一の事象の関係でありうる．そのような場合には表\ref{table:subevent}の三つのラベルを付与する\footnote{厳密にはfinishes/started-by/starts/finished-byの四つの時間的順序関係の場合も事象-部分事象関係になることがあるが，これらの関係の頻度が少なく相当する事例が見つからなかったこととTimeMLには規定されていないことから，我々も相当するタグを新たに規定しない．}．計13+3種類のラベルをまとめると図\ref{fig:allen}のようになる．このほかにテキストの情報だけでは全く時間的順序関係がわからない場合に付与するラベルとして`vague'を利用する．この作業はTimeMLの\tlink\付与の作業に相当し，我々もタグ名として\tlink\を用いる．\begin{table}[t]\caption{事象-部分事象間関係を表現するラベル}\label{table:subevent}\input{02table05.txt}\end{table}\modified{これらの計13+3+1種類のラベルを\timexiii\タグと\makeinstance\タグの間，もしくは，二つの\makeinstance\タグ間に付与する．}本作業で用いる\makeinstance\タグは前節の作業を精査した3,839件を固定して用いる．前節の作業を行った二人とは異なる，三人の作業者が時間的順序関係を行う．文書中の\makeinstance\タグの対の数は文書中の\makeinstance\タグの数の組み合わせに相当し，人手で全ての対を検証することは困難である．\begin{figure}[t]\begin{center}\includegraphics{20-5ia2f2.eps}\end{center}\caption{\tlink\時間的順序関係ラベル一覧}\label{fig:allen}\end{figure}英語のTimeBankでは\modified{，}全ての対で作業者が認定できるものという曖昧な基準で一致率が55\%と報告されている．本研究では，TempEvalなどの評価型ワークショップで採用されている「文書作成日時と事象表現の順序関係（``DCT''と呼ぶ）」「同一文内の時間情報表現と事象表現間順序関係（``T2E''と呼ぶ）」「隣接事象表現間順序関係（``E2E''と呼ぶ）」「隣接文の末尾の事象表現間順序関係（``MATRIX''と呼ぶ）」の4種類の表現対についてのみ付与する．\modified{英語のTimeBankは，どの表現対に関係を付与するかというのは作業者にゆだねられている．一方，本研究では4種類の表現対について必ず何らかの関係を付与することとし，現実世界の事象と仮想世界の事象間，もしくは，二仮想世界の事象間などの場合で時間的順序関係が規定できない場合に`vague'を付与することとしている．本作業の基準では4種類の表現対のうち``DCT'',``E2E'',``MATRIX''の3種類について複数の連結可能な単純道をグラフ上確保しており，基本的にアノテーションは連結グラフを構成する．このグラフ中`vague'の関係が切断辺となる場合，分離された部分グラフは二つの異なる可能世界（実世界-架空世界，異なる二架空世界）を明示的に表現する．}なお，アノテーション作業に際し，以下の点に注意した．\begin{itemize}\item時間は基本的に区間としてアノテーションを行う．1秒でも区間とする．\item\modified{事象は瞬間動詞については点（長さ0の区間）とし，それ以外の表現は区間とする．}\item状態動詞などで開始点・終了点がわかりにくいものは，前工程の\event\タグの認定時で排除されているべきだが，わかりにくい場合には作業者の理解にゆだねる．\end{itemize}
\section{アノテーション情報の分析}
\label{sec:analysis}\subsection{事象表現の認定とクラス分類}\begin{table}[b]\begin{minipage}[t]{192pt}\caption{時間情報表現の分布}\label{table:timex}\input{02table06.txt}\end{minipage}\hfill\begin{minipage}[t]{220pt}\caption{事象表現の分布}\label{table:event}\input{02table07.txt}\end{minipage}\end{table}時間的順序関係を行う前に時間情報表現と事象表現の範囲を切り出す必要がある．時間情報表現の切り出しについては先行研究\cite{小西-2013}によりなされており，今回対象のBCCWJコアデータ新聞データ54ファイル上の分布は表\ref{table:timex}のようになっている．事象表現の認定とクラス分類の分布は表\ref{table:event}に示す．\subsection{時間的順序関係の認定}作業者三人により時間的順序関係認定作業を開始した．計13+3+1種類のラベルを「文書作成日時と事象表現の順序関係(``DCT'')」「同一文内の時間情報表現と事象表現間順序関係(``T2E'')」「隣接事象表現間順序関係(``E2E'')」「隣接文の末尾の事象表現間順序関係(``MATRIX'')」の4種類の表現対に対して付与した．以下，作業者三人分の作業結果を示し，考察する．表\ref{result:order}が13+3+1種類のラベルと4種類の表現対ごとに集計したものである．$\cap$で結ばれた三つの数字は，三人の作業者が何件その関係を認定したかを示す．右``=''以下の数字はその中で三人\modified{が}一致した件数を示す．まず，\modified{一致した}ラベルの件数として，始点・終点の一致を必要としない`after',`during',`contains',`before'の頻度が多かった．始点・終点のいずれかの一致を必要とするラベルのうち，もっとも\modified{一致件数が}多いものは時間軸上の完全の一致を示す`equal'であった．また`vague'についても複数の作業者が認定し，314件一致しているところから，文脈を用いても時間的順序関係が推定できないものが少なからずあることがわかる．\begin{table}[b]\caption{\tlink\時間的順序関係ラベルの評価：作業者間の認定傾向の比較}\label{result:order}\input{02table08.txt}\end{table}表\ref{result:agreement}に4種類の\modified{表現対}ごとの一致率を集計したものを示す．一致率の評価基準として，「ラベル13+3+1種類を区別するもの（ラベル13+3+1）」「部分集合であるか否かを区別せず，ラベル13+1種類を区別するもの（ラベル13+1）」「TempEvalで用いられているラベル5+1種類（`BEFORE',`BEFORE-OR-OVERLAP',`OVERLAP',`OVERLAP-OR-AFTER',`AFTER',`VAGUE'\footnote{``ラベル13+3+1''および``ラベル13+1''のラベルと区別するために大文字表記を用いる．}）に縮退するもの（ラベル5+1）」の3種類を用いる．まず，もっとも厳しい一致率評価基準（ラベル13+3+1）でも65.3\%の三人の一致率(Cohen'skappa0.733)であった．我々の手法では事象構造の認定については複数人で合議的に行い，その後限られた関係について時間的順序関係アノテーションを行っているが，事象構造の認定と関係対に対する関係タグ付与作業を同時に行っている英語のデータTimeBank1.2における\tlink\の一致度（関係対の認定の一致率55\%と一致した関係対に対する関係タグの一致率77\%）と比較しても遜色ないレベルだと考える．4種類の関係については，``DCT''が最も一致率が高く，次に``T2E''が高かった．これは片方が時間情報表現である場合に，時間情報表現側の時間軸上の絶対位置が推定しやすいことによるからだと考える．\begin{table}[t]\caption{\tlink\時間的順序関係ラベルの評価：4種類の関係対ごとの一致率}\label{result:agreement}\input{02table09.txt}\end{table}一致率評価基準について始点・終点の境界値一致の認定を緩和することで，``E2E'',``MATRIX''の関係は若干一致率があがることから，作業者間で事象構造の時間的な境界値にずれが生じていることがわかる．表\ref{result:classagreement}に\event\の\klass\ごとの一致率を集計したものを示す．まず，\modified{どちらかに静態表現である{\ttSTATE}を含む表現対}の\modified{作業者間ラベル}一致率が低い傾向にある．これは静態表現の始点・終点の認識が作業者間で一致することが困難であることによると考える．左項が時間情報表現({\ttDCT}，{\ttTIMEX})であり，右項が{\ttSTATE}である表現をみても，他の時間情報表現-事象表現との関係と比して\modified{作業者間ラベル一致率}が低い．事象表現を項にとるかどうかの観点でみると，右項が{\ttREPORTING}，{\ttI\_ACTION}の関係が平均よりも高い傾向にある．しかしながら，時間的順序関係が定義されている事象表現対が係り受け構造上の係り受け関係にあるか，また述語項関係になっているかを判断するためには他のアノテーションとの重ね合わせが必要である．今後他機関が作成しているアノテーションを重ね合わせたうえで検討していきたいと考えている．\begin{table}[t]\caption{\tlink\時間的順序関係ラベルの評価：\event\klass\\modified{ごと}の作業者三人の一致率}\label{result:classagreement}\input{02table10.txt}\end{table}\modified{最後に意味論アノテーションにおける正解のあり方について言及する．テキストが表出する意味レベルの情報の正解は，言語受容者によって完全に復元することは困難であり，100\%正しいものを作成するためには言語生産者によるアノテーション作業が不可欠である．言語生産者によるアノテーション作業をBCCWJに対して行うことは困難であるため，本研究では作業者三人の結果を統合した形での正解は作成しない．言語受容者の個人の心的空間における時間的順序関係の認識はそれぞれ異なっていてしかるべきであり，受容者\modified{ごと}に正解があると考える．}\modified{個々の言語受容者の作業結果の正誤判定として，それぞれのアノテーション内での無矛盾性の認定が考えられる．Allenの二次の範囲代数を，三次以上に拡張すると人の処理能力を超え，機械的に処理するにも適切な演算が必要になるため，今後の課題とする\footnote{Allenの範囲代数を拡張すると，三次で409クラス，四次で23,917クラス，五次で2,244,361クラスになることが知られている．}．}\modified{このアノテーションに基づき解析器の構成を行う場合には何らかの正解を決める必要がある．正解の設定として，一人の作業者のアノテーションを正解とする方法，三人の作業者が一致している部分を正解とする方法，三人の作業者それぞれの学習モデルを作成し多数決を取る方法などの様々な方法が考えられる．高性能な構造学習器を構成するためにどのように正解を認めるかについては，工学研究者に委ねたい．}
\section{おわりに}
\label{sec:conclusion}本研究では『現代日本語書き言葉均衡コーパス』のコアデータ中の新聞データに対して，時間的順序関係のアノテーションを行い，アノテーションの一致傾向について報告した．時間的順序関係を付与する事象表現の認定にあたり，時間軸上のインスタンスの認定可能性や，取りうる項が事象である場合に他の事象表現にどのような影響を与えるのかに基づいて，事象表現を7+2種類に分類した．\modified{次に，}三人の作業者による時間的順序関係の一致率などを検討した結果，事象構造の時間軸上の始点・終点の認識は揺れるものの，\modified{時間軸上の前後関係は時間情報表現にまつわるもので73\%以上（ラベル5+1評価でDCT74.8\%，T2E73.4\%），事象表現にまつわるもので62\%以上（ラベル5+1評価でE2E62.7\%，MATRIX62.3\%）の一致率}で付与できることがわかった．\modified{本研究におけるアノテーションの評価は，今回策定した基準や作業者で閉じているために限定的である．今後，データを公開\footnote{http://github.com/masayu-a/BCCWJ-Timebank}し，他機関で同じ部分に付与されているさまざまなアノテーションを重ね合わせ，齟齬や矛盾を分析することでより深い分析が可能になると考えられる．}\modified{また，\ref{sec:intro}節で述べた(b)の意味での目的に応えるために，本データを学習データとして用いた日本語時間的順序関係推定器の開発を今後行っていきたい．}英語の時間的順序関係推定器においては，\makeinstance\タグに付与されたテンス・アスペクトの情報が有効な特徴量となる．一方，日本語においては，テンス・アスペクトは，準アスペクト表現を除くと「ル」-「タ」×「テイル」-「テイタ」の二軸の対立しかない．そのうえ「ル」-「タ」の対立は非過去-過去の対立でしかなく，「ル」は定動詞・不定動詞の両方を表現する．このため，形態素解析結果から直接得られるこれらの情報は時間的順序関係推定器の決定的な特徴量とはならない．一方，BCCWJの当該箇所には，他機関によりモダリティ情報・係り受け構造・述語項構造などが付与されている．これらを重ね合わせることで実用的な時間的順序関係推定器が作成できると考えている．\acknowledgment本研究を行うにあたり，助言いただきました日本IBMの吉川克正氏，アノテーションに従事していただいた方々に感謝いたします．本研究は文科省科研費特定領域研究「代表性を有する大規模日本語書き言葉コーパスの構築：21世紀の日本語研究の基盤整備」，国語研基幹型共同研究プロジェクト「コーパスアノテーションの基礎研究」および国語研「超大規模コーパス構築プロジェクト」によるものです．本論文の一部はThe27thPacificAsiaConferenceonLanguage,Information,andComputation(PACLIC27)で発表したものです\cite{asahara-2013}．\bibliographystyle{jnlpbbl_1.5}\begin{thebibliography}{}\bibitem[\protect\BCAY{Allen}{Allen}{1983}]{allen-1983}Allen,J.\BBOP1983\BBCP.\newblock\BBOQMaintainingknowledgeabouttemporalintervals.\BBCQ\\newblock{\BemCommunicationsoftheACM},{\Bbf26},\mbox{\BPGS\832--843}.\bibitem[\protect\BCAY{Asahara,Yasuda,Konishi,Imada,\BBA\Maekawa}{Asaharaet~al.}{2013}]{asahara-2013}Asahara,M.,Yasuda,S.,Konishi,H.,Imada,M.,\BBA\Maekawa,K.\BBOP2013\BBCP.\newblock\BBOQ{BCCWJ-TimeBank:TemporalandEventInformationAnnotationonJapaneseText}.\BBCQ\\newblockIn{\Bem{Proceedingsofthe27thPacificAsiaConferenceonLanguage,Information,andComputation(PACLIC27)}}.\bibitem[\protect\BCAY{Boguraev\BBA\Ando}{Boguraev\BBA\Ando}{2005}]{Boguraev-2005}Boguraev,B.\BBACOMMA\\BBA\Ando,R.~K.\BBOP2005\BBCP.\newblock\BBOQ{TimeML-CompliantTextAnalysisforTemporalReasoning}.\BBCQ\\newblockIn{\Bem{Proceedingsofthe19thInternationalJointConferenceonArtificialIntelligence(IJCAI-05)}},\mbox{\BPGS\997--1003}.\bibitem[\protect\BCAY{Boguraev\BBA\Ando}{Boguraev\BBA\Ando}{2006}]{Boguraev-2006}Boguraev,B.\BBACOMMA\\BBA\Ando,R.~K.\BBOP2006\BBCP.\newblock\BBOQ{AnalysisofTimeBankasaResourceforTimeMLparsing}.\BBCQ\\newblockIn{\Bem{Proceedingsofthe5thInternationalConferenceonLanguageResourcesandEvaluation(LREC-06)}},\mbox{\BPGS\71--76}.\bibitem[\protect\BCAY{{DARPATIDES}}{{DARPATIDES}}{2004}]{TERN}{DARPATIDES}\BBOP2004\BBCP.\newblock{\Bem{TheTERNevaluationplan;timeexpressionrecognitionandnormalization}}.\newblock{Workingpapers,TERNEvaluationWorkshop}.\bibitem[\protect\BCAY{Grishman\BBA\Sundheim}{Grishman\BBA\Sundheim}{1996}]{MUC6}Grishman,R.\BBACOMMA\\BBA\Sundheim,B.\BBOP1996\BBCP.\newblock\BBOQ{MessageUnderstandingConference-6:abriefhistory}.\BBCQ\\newblockIn{\Bem{Proceedingsofthe16thInternationalConferenceonComputationalLinguistics(COLING-96)}},\mbox{\BPGS\466--471}.\bibitem[\protect\BCAY{橋本\JBA中村}{橋本\JBA中村}{2010}]{Hashimoto-2010}橋本泰一\JBA中村俊一\BBOP2010\BBCP.\newblock{拡張固有表現タグ付きコーパスの構築—白書，書籍，Yahoo!知恵袋コアデータ—}.\\newblock\Jem{{言語処理学会第16回年次大会発表論文集}},\mbox{\BPGS\916--919}.\bibitem[\protect\BCAY{{IREX実行委員会}}{{IREX実行委員会}}{1999}]{IREX}{IREX実行委員会}\BBOP1999\BBCP.\newblock\Jem{{IREXワークショップ予稿集}}.\bibitem[\protect\BCAY{国立国語研究所}{国立国語研究所}{2011}]{BCCWJ}国立国語研究所\BBOP2011\BBCP.\newblock\Jem{『現代日本語書き言葉均衡コーパス』利用の手引き}(第1.0\JEd).\bibitem[\protect\BCAY{小西\JBA浅原\JBA前川}{小西\Jetal}{2013}]{小西-2013}小西光\JBA浅原正幸\JBA前川喜久雄\BBOP2013\BBCP.\newblock『現代日本語書き言葉均衡コーパス』に対する時間情報アノテーション.\\newblock\Jem{自然言語処理},{\Bbf20}(2),\mbox{\BPGS\201--222}.\bibitem[\protect\BCAY{工藤}{工藤}{1995}]{工藤1995}工藤真由美\BBOP1995\BBCP.\newblock\Jem{アスペクト・テンス体系とテクスト—現代日本語の時間の表現—}.\newblockひつじ書房.\bibitem[\protect\BCAY{工藤}{工藤}{2004}]{工藤2004}工藤真由美\BBOP2004\BBCP.\newblock\Jem{日本語のアスペクト・テンス・ムード体系—標準語研究を超えて—}.\newblockひつじ書房.\bibitem[\protect\BCAY{Mani}{Mani}{2006}]{Mani-2006}Mani,I.\BBOP2006\BBCP.\newblock\BBOQ{MachineLearningofTemporalRelations}.\BBCQ\\newblockIn{\Bem{Proceedingsofthe44thAnnualMeetingoftheAssociationforComputationalLinguistics(ACL-2006)}},\mbox{\BPGS\753--760}.\bibitem[\protect\BCAY{中村}{中村}{2001}]{中村2001}中村ちどり\BBOP2001\BBCP.\newblock\Jem{日本語の時間表現}.\newblockくろしお出版.\bibitem[\protect\BCAY{Pustejovsky,Casta{\~n}o,Ingria,Saur\'{i},Gaizauskas,Setzer,\BBA\Katz}{Pustejovskyet~al.}{2003a}]{TimeML}Pustejovsky,J.,Casta{\~n}o,J.,Ingria,R.,Saur\'{i},R.,Gaizauskas,R.,Setzer,A.,\BBA\Katz,G.\BBOP2003a\BBCP.\newblock\BBOQ{TimeML:RobustSpecificationofEventandTemporalExpressionsinText}.\BBCQ\\newblockIn{\Bem{Proceedingsofthe5thInternationalWorkshoponComputationalSemantics(IWCS-5)}},\mbox{\BPGS\337--353}.\bibitem[\protect\BCAY{Pustejovsky,Hanks,Saur\'{i},See,Gaizauskas,Setzer,Sundheim,Ferro,Lazo,Mani,\BBA\Radev}{Pustejovskyet~al.}{2003b}]{TimeBank}Pustejovsky,J.,Hanks,P.,Saur\'{i},R.,See,A.,Gaizauskas,R.,Setzer,A.,Sundheim,B.,Ferro,L.,Lazo,M.,Mani,I.,\BBA\Radev,D.\BBOP2003b\BBCP.\newblock\BBOQ{TheTIMEBANKCorpus}.\BBCQ\\newblockIn{\Bem{ProceedingsofCorpusLinguistics2003}},\mbox{\BPGS\647--656}.\bibitem[\protect\BCAY{Pustejovsky\BBA\Stubbs}{Pustejovsky\BBA\Stubbs}{2012}]{Pustejovsky-2012}Pustejovsky,J.\BBACOMMA\\BBA\Stubbs,A.\BBOP2012\BBCP.\newblock{\BemNaturalLanguageAnnotation}.\newblockO'Reilly.\bibitem[\protect\BCAY{Sekine,Sudo,\BBA\Nobata}{Sekineet~al.}{2002}]{Sekine-2002}Sekine,S.,Sudo,K.,\BBA\Nobata,C.\BBOP2002\BBCP.\newblock\BBOQ{ExtendedNamedEntityHierarchy}.\BBCQ\\newblockIn{\Bem{ProceedingofthethirdInternationalConferenceonLanguageResourcesEvaluation(LREC-02)}},\mbox{\BPGS\1818--1824}.\bibitem[\protect\BCAY{Setzer}{Setzer}{2001}]{Setzer-2001}Setzer,A.\BBOP{2001}\BBCP.\newblock{\Bem{TemporalInformationinNewswireArticles:AnAnnotationSchemeandCorpusStudy}}.\newblockPh.D.\thesis,{UniversityofSheffield}.\bibitem[\protect\BCAY{UzZaman,Llorens,Derczynski,Allen,Verhagen,\BBA\Pustejovsky}{UzZamanet~al.}{2013}]{TempEval3}UzZaman,N.,Llorens,H.,Derczynski,L.,Allen,J.,Verhagen,M.,\BBA\Pustejovsky,J.\BBOP2013\BBCP.\newblock\BBOQSemEval-2013Task1:TempEval-3:EvaluatingTimeExpressions,Events,andTemporalRelations.\BBCQ\\newblockIn{\Bem2ndJointConferenceonLexicalandComputationalSemantics(*SEM),Volume2:Proceedingsofthe7thInternationalWorkshoponSemanticEvaluation(SemEval2013)},\mbox{\BPGS\1--9},Atlanta,Georgia,USA.AssociationforComputationalLinguistics.\bibitem[\protect\BCAY{Verhagen,Gaizauskas,Schilder,Hepple,Kats,\BBA\Pustejovsky}{Verhagenet~al.}{2007}]{TempEval}Verhagen,M.,Gaizauskas,R.,Schilder,F.,Hepple,M.,Kats,G.,\BBA\Pustejovsky,J.\BBOP2007\BBCP.\newblock\BBOQ{SemEval-2007Task15:TempEvalTemporalRelationIdentification}.\BBCQ\\newblockIn{\Bem{Proceedingsofthe4thInternationalWorkshoponSemanticEvaluations(SemEval-2007)}},\mbox{\BPGS\75--80}.\bibitem[\protect\BCAY{Verhagen,Saur\'{i},Caselli,\BBA\Pustejovsky}{Verhagenet~al.}{2010}]{TempEval2}Verhagen,M.,Saur\'{i},R.,Caselli,T.,\BBA\Pustejovsky,J.\BBOP2010\BBCP.\newblock\BBOQ{SemEval-2010Task13:TempEval-2}.\BBCQ\\newblockIn{\Bem{Proceedingsofthe5thInternationalWorkshoponSemanticEvaluations(SemEval-2010)}},\mbox{\BPGS\57--62}.\end{thebibliography}\begin{biography}\bioauthor{保田祥}{2011年神戸大学人文学研究科博士後期課程修了．2013年より国立国語研究所コーパス開発センタープロジェクトPDフェロー．現在に至る．博士（文学）．認知意味論の研究に従事．}\bioauthor{小西光}{2005年上智大学文学部卒業．2007年上智大学文学研究科博士前期課程修了．2008年より国立国語研究所コーパス開発センタープロジェクト奨励研究員．現在に至る．『日本語書き言葉均衡コーパス』『日本語話し言葉コーパス』『日本語大規模コーパス』の整備に携わる．}\bioauthor{浅原正幸}{2003年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．2004年より同大学助教．2012年より国立国語研究所コーパス開発センター特任准教授．現在に至る．博士（工学）．形式意味論の研究に従事．}\bioauthor{今田水穂}{2010年筑波大学人文社会科学研究科博士課程修了．筑波大学特任研究員を経て，2013年より国立国語研究所コーパス開発センタープロジェクトPDフェロー．現在に至る．博士（言語学）．概念意味論の研究に従事．}\bioauthor{前川喜久雄}{1956年生．1984年上智大学大学院外国語学研究科博士後期課程（言語学）中途退学．国立国語研究所教授．言語資源系長．コーパス開発センター長．副所長．博士（学術）．専門は音声学ならびに言語資源学．}\end{biography}\biodate\end{document}