# 論文
## 事象に対する網羅的な時間情報アノテーションとその分析

## 坂口 智洋 $\dagger \cdot$ 河原 大輔 + 黒橋 禎夫 $\dagger$

テキスト中には過去・現在・未来における様々な事象が記述されており, その内容を理解するためにはテキスト中の時間情報を正確に解釈する必要がある。これまで,事象情報と時間情報を関連付けたコーパスが構築されてきたが, これらは開始と終了が比較的明確な事象に着目したものであった. 本研究では, 網羅的かつ表現力豊かな時間情報アノテーション基準を導入し, 京都大学テキストコーパス中の 113 文書に対するアノテーションとその分析を行った. 同コーパスには既に述語項関係や共参照関係のアノテーションガなされており, 本アノテーションと合わせてテキスト中の事象・エンティティ・時間を対象とした統合的な時間情報解析に活用することが可能となった.

キーワード：時間情報，時間軸，アノテーション

## Comprehensive Annotation and Analysis of Temporal Information of Events

\author{
Tomohiro Sakaguchi $^{\dagger}$, Daisuke Kawahara $^{\dagger}$ and Sadao Kurohashi ${ }^{\dagger}$
}

Various past, present, and future events are described in text. To understand such text, correct interpretation of temporal information is essential. For this purpose, many corpora associating events with temporal information have been constructed. Although these corpora focus on expressions with strong temporality, many expressions have weak temporality, but are still clues to understanding temporal information. In this article, we propose an annotation scheme that comprehensively anchors textual expressions to the time axis. Using this scheme, we annotated 113 documents in the Kyoto University Text Corpus. Because the corpus has already been annotated with predicate-argument structures and coreference relations, it can now be utilized for integrated information analysis of events, entities, and time.

Key Words: Temporal Information Annotation, Temporal Anchoring

## 1 はじめに

Web 上では日々多くのテキスト情報が発信されており，これまでに膨大な量のテキストが蓄積されている。この大量のテキストから, あるトピックについての知識を抽出するためには, 関

連するテキストの統合・要約・比較を行う情報分析技術が必要である．異なる時期に書かれたテキストや異なる時期について言及しているテキストを対象として分析を行うためには，テキストに含意されている時間情報を正しく解釈する必要があり，これまでに事象情報と時間情報の関係性という観点から多くの研究やタスクが行われてきた。例えば TempEval 1, 2, 3 では, 事象一事象表現間，事象一時間表現間の時間的順序関係の推定が行われた (Verhagen, Gaizauskas, Schilder, Hepple, Katz, and Pustejovsky 2007; Verhagen, Sauri, Caselli, and Pustejovsky 2010; UzZaman, Llorens, Derczynski, Allen, Verhagen, and Pustejovsky 2013). また, SemEval 15 では複数のテキストから事象表現を抽出し, 時系列に配置するタイムライン生成タスクが扱われた (Minard, Speranza, Agirre, Aldabe, van Erp, Magnini, Rigau, and Urizar 2015).

このようなタスクにおいてモデルの学習やシステムの評価を行うため, テキスト中の事象情報と時間情報を関連付けたコーパスが作られてきた (Pustejovsky, Hanks, Saurí, See, Gaizauskas, Setzer, Radev, Beth Sundheim, Ferro, and Lazo 2003; Cassidy, McDowell, Chambers, and Bethard 2014; Reimers, Dehghani, and Gurevych 2016). これらのコーパスでは開始・終了時が比較的明確な事象表現を対象にアノテーションが行われたが, テキストの時間情報理解のための手がかりはこれにとどまらない. 本研究では, 時間性が曖昧な表現を含めた, テキスト中の様々な表現がもつ時間情報を表現力豊かにアノテーションするための基準を提案する.

先行研究における時間情報アノテーションのアプローチは 2 つに大別される．1つは事象間の時間的順序関係を付与する相対的なアノテーション方法である。もう1つは各事象を時間軸に対応させる絶対的なアノテーション方法である．前者は小説など時間情報の少ないテキストであっても情報量の多いアノテーションが可能である．後者は新聞などの時間情報の多いテキストにおいて少ないアノテーション量で正確に時間情報を表現できる。本研究は後者のアプロー チを発展させるものであり, 構築するコーパスはタイムライン生成など時間軸を用いてテキストの比較・統合を行うタスクにおいて学習／評価データとして使用することが可能である.

本アノテーション基準の特徴は次の 2 つである。1つは, 時間性をもち得る幅広い表現をアノテーション対象とすることである. 多くの先行研究は, TimeML (Sauri, Littman, Gaizauskas, Setzer, and Pustejovsky 2006) のガイドラインに従い，何か起きたことやその状態を表す一時性の強い表現である “event”に対してアノテーションを行っている。そのため次の例の「出現しており」のような一時性の弱い表現にはアノテーションが行われない.

（1）インターネット上では様々な事業が急速に出現しており，政府でさえ把握できていない.

しかし, 一時性の弱い表現がもつ時間情報もテキスト解釈の手がかりとなり得る。この例の場合,「出現しており」が数年前から現在にかけての事象であるという時間情報をアノテーションすることも重要である。そこで本研究では先行研究より対象を広げ，テキスト中で時間性をもち得る全ての事象表現, すなわちテキスト中の述語または事態性名詞（サ変名詞, 動詞連用
形の名詞化，形容動詞語幹）を含む基本句全て（以降，対象表現と呼ぶ）をアノテーション対象とする．ここで基本句とは，京都大学テキストコーパスで定義されている単位で，自立語とそれに続く付属語のことである。

本アノテーション基準のもう 1 つの特徴は, 頻度や期間などの多様な時間情報を扱えることである。(Reimers et al. 2016) は事象の起きる期間を開始点と終了点を用いて時間軸に対応付けたが，次の例で太字で示す「飛び飛びな時間」や「大きな区間の中のある一部の期間」に起きる事象を正確に時間軸に対応付けることはできなかった.

（2）毎週日曜は球場で野球を見る。

(3) 来週は 3 日間京都に出張する。

(4) 昔はよく一緒に遊んでいた。

本研究では，テキスト中に含まれる多様な時間情報をより正確に時間軸に対応付けられる時間タグを導入する。

多様な表現に対して表現力豊かにタグ付けすることで，個人のテキスト解釈や常識がタグの摇れとして現れる。本研究ではこのような摇れも時間がどのように解釈されているかを知る上で重要だと考えているため，最終的に複数のアノテータの付与した時間タグを 1 つに統合することはしない，代わりに，解釈の違いを尊重しつつ明らかなアノテーションミスのみを修正するアノテーション方法を導入する。

本アノテーション基準を用いて, 京都大学テキストコーパス中の 113 文書 4,534 対象表現に対してアノテーションを行った。その結果，対象表現の $76 \%$ に時間性が認められ，そのうち $35 \%$ （全体の $26 \%$ ）で本稿で新たに提案する記法が用いられた。同コーパスには, 既に述語項関係や共参照関係のアノテーションがなされているため, 本アノテーションと合わせてテキスト中の事象・エンティティ・時間を対象とした統合的な時間情報解析に活用することが可能となる.

## 2 関連研究

事象情報と時間情報を関連付けたコーパスは，これまでにも多く作られており，これらのアノテーション方法は大きく 2 つのアプローチに分けられる．1つは，事象間の時間的順序関係を付与する方法である。事象情報や時間情報を扱う多くのタスクで利用されている TimeBank Corpus (Pustejovsky et al. 2003)には, TimeMLの基準に基づいて事象・時間表現情報がアノテーションされており, さらに時間的順序関係を表す TLINK, 事象間の関係を表すSLINK，相動詞と事象の関係を表す ALINK の 3 つの関係が付与されている. 当初はアノテータが重要と判断した表現間にのみアノテーションがなされていたためスパースであったが, 後の TempEval 夕スクはこれを発展させ, 同一文中と隣接文間の関係に対してアノテーションを行った. BCCWJ-

TimeBank (Asahara, Kato, Konishi, Imada, and Maekawa 2014) は, 現代日本語書き言葉均衡コーパス (BCCWJ)の新聞記事に対してTimeBank Corpusに準拠した基準でアノテーションを行ったものである.

このような時間的順序関係をより密にアノテーションしたコーパスも存在する. (Kolomiyets, Bethard, and Moens 2012)は子ども向けの物語コーパス中の各事象表現に対してその最も近い事象表現との時間的順序関係をアノテーションした。また TimeBank Dense Corpus (Cassidy et al. 2014)は, 同一文内・隣接文間の全ての事象 - 時間表現間, 事象－事象表現間に対してアノテーションを行っている.

もう1つのアプローチは, 事象を時間軸に対応させる方法である. EventStatus Corpus (Huang, Cases, Jurafsky, Condoravdi, and Riloff 2016) は, 社会不安に関する新聞記事中の事象表現に対して Past, On-going, Future Planned, Future Alert, Future Possible の 5 ののラベルをアノテー ションした. (Asakura, Hangyo, and Komachi 2016) は, ソーシャルメディアに投稿された洪水に関するテキストに含まれる事象表現に対して PAST, PRESENT, FUTUREのラベルと事実性に関する 3 つの値 (high probability, low probability, unmentioned)をアノテーションした.

より細かい粒度で時間軸に対応付けたコーパスも存在する。 (Reimers et al. 2016) は, TimeBank Corpus 中の事象表現に対して時間値を付与した．時間値は日にちの粒度で付与されており，事象が 1 日内で終わるものか, 複数日に跨るものかで夕グが異なる。前者にはその事象が起きた日付を，後者にはその事象の開始日と終了日を付与する。次の例文の「出発した」は 1 日内の事象であり，この方法でアノテーションする場合は 1980-05-26を付与する。「過ごした」は複数日に跨る事象であるため, beginPoint=1980-05-26 endPoint=1980-06-01 のように開始日と終了日を付与する。

(5) 1980 年 5 月 26 日、彼は宇宙に向けて出発した。サリユート 6 号で 6 日間を過ごした。

事象の正確な日付が分からない場合は, after と before を用いて記述する。次の例文の「滞在した」には beginPoint=after 1984-10-01 before 1984-10-31 endPoint=after 1984-10-01 before 1984-10-31,「選ばれた」には after 2014-01-01 before 2014-12-31 が付与される.

（6）サリバンは 1984 年 10 月、チャレンジャー号のメンバーとして宇宙に滞在した。 2014 年にはタイム 100 に選ばれた。

また，時間性をもたない事象に対しては，n/aを付与した。

彼らのアノテーションでは, 全事象の約 6 割が 1 日内の事象, 約 4 割が複数日に跨る事象である。前者のうち日付が明確なものは $56 \%$, 後者のうち開始日が明確なものは $20 \%$, 終了日が明確なものは $16 \%$ であり，全事象の $64 \%$ after または before を用いて表されている。時間性をもたない事象は全体の $0.7 \%$ であった。
本稿ではこの事象を時間軸に対応させるアプローチを発展させ，テキスト中の多様な時間情報に対応できる夕グ付け基準を提案する。

## 3 アノテーション基準

1 章で述べたように，本研究ではテキスト中の述語または事態性名詞（サ変名詞，動詞連用形の名詞化, 形容動詞語幹）を含む基本句全てを対象表現として，それらに時間タグを付与する. ここで基本句とは，自立語とそれに続く付属語のことである．基本句を基本単位とすることにより，「行くつもりだ」や「勝てたかもしれない」のような助詞や接尾辞を含む動詞句をひとかたまりとして時間性を考えることができる．英語を対象とした先行研究の多くが，開始と終了が比較的明膫で一時性の強い事象である, TimeML における “event”をアノテーション対象とするのに対し, 本研究では時間性をもち得るより幅広いこれらの表現をアノテーション対象とする。対象表現の例を次に示す。例 (7)の「行くつもりた」は動詞を含む基本句であるため，また例 (8)の「所属」は事態性名詞であるため対象表現である。例 (9)には, 事態性名詞の基本句である「結婚を」と，動詞を含む基本句である「考えたい」の 2 つの対象表現が存在する.

(7) 明日京都に行くつもりだ。

(8) 連合所属議員

(9) そろそろ結婚を考えたい。

アノテータには, 本章で述べるアノテーション基準に従って, 対象表現に対するアノテーションを依頼した。アノテータは，まず対象表現が時間性をもつかどうかを判定する，時間性をもつ場合はテキストの作成日 (Document Creation Time, DCT) と文脈を考慮して対応する時間夕グを付与する。時間性を持たない場合は $t: n / a$ (not applicable) という時間タグを記す.

時間性をもつ場合，時間タグは時間基本単位 (Time Base Unit, TBU) またはその組み合わせとして表す（表 1). 時間基本単位とは, 特定の時点や期間を表すもので， 5 種類の夕グを定義する. さらに, 時間基本単位中の一部の期間や繰り返しを表す 3 通りの方法を導入し, 多様な時間情報を表現する。(Reimers et al. 2016) が扱った時間情報は, 表 1 中の $1,3, \mathrm{~b}, t: n / a$ である.時間タグは, 先行研究と同様, 日にちを最小粒度とする。これは, 情報分析において着目したい粒度が数日から数年であることが多いことによる．例えば次の文のように， 2017 年 4 月 29 日に書かれたテキストでは，「帰った」はその日の 18 時のことであるが，日にち以下の粒度の情報は捨てて 2017 年 4 月 29 日という情報をタグ付けする.

(10) [DCT: 2017-04-29] 今日は夜 6 時に帰った。
表 1 時間タグの一覧

*は本研究で新しく導入したタグを表す.

## 3.1 対象表現の時間性判定

対象表現が時間性をもつかどうかは，過去から未来の間において表現の表す動作や状態に変化があるか否かで判断する。文脈によって変化の有無や度合いの解釈は変わり得るため，次のような事例を共通認識としつつ，具体的な判断基準は各アノテータに委ねた。

時間性をもつ例をいくつか挙げる.

(11) 明日京都に行く。

(12) 言語処理研究が盛んだ。

(13) あの子は背が低かった。

例 (11)の「行く」は，明日という特定の日に起きるものであるため，時間性をもつ．例 (12) の「盛んだ」は，いつからいつまでかは分からないがある限られた時期のことであるため時間性をもつと考える。例 (13)の「低かった」も, 現在はそうではないことを示唆しているため,時間性をもつと考える。これらの例において, 先行研究がアノテーション対象としているのは,例 (11)のみである.

次に時間性をもたない例を示す.

ウサギは草を食べる動物だ。

(15) 彼の目は黒い。

例 (14)の「食べる」と「動物だ」は, 昔から変わらない一般的な事柄であるため時間性をもたないと考える，例 (15)の「黒い」も同様である．ただ，次の文のように現在は異なることを示唆する表現の場合は時間性をもつと解釈する。

(16) 以前は目の色が黒かった。

## 3.2 時間基本単位

## 3.2.1日付・期間を表すタグ

日付の時間情報は, $t$ タグにその時間の表す値を記すことで表現する。 $t: Y Y Y Y や t: Y Y Y Y-$ $M M-D D$ など, BCCWJ-TimeBank で定義されている時間表現の時間值の記法で記す. 次の例の「到着した」は 2017 年 4 月 28 日の出来事であるため, 時間値 $t: 2017-04-28$ を付与する.

(17) [DCT: 2017-04-29] 昨日大統領がニューヨークに到着した。

$\rightarrow t: 2017-04-28$

本研究では先行研究とは異なり, 日にちより大きな粒度の時間タグを許す。例えば次の例の 「暑かった」には， $t: 2016-08$ を付与する．このタグは，必ずしも厳密に 2016 年 8 月 1 日から 31 日までの期間を表すわけではない.「8月」という表現は「8月1日から 31 日まで」という表現と比べ，その表す期間は漠然と捉えられる。本研究における夕グの粒度はこのような漠然性を含意する。

(18) [DCT: 2017-04-29] 昨年の8月は暑かった。

$\rightarrow t: 2016-08$

アノテータの負担軽減のため, 次のような省略表記を導入する。
- 文書作成日時の日付は $t: D C T$ と記すことができる.
- ある日から一定期間前／後の日を引き算／足し算で記すことができる. この際, 期間は BCCWJ-TimeBank で定義された期間表現の時間値の記法を用いる。例えば， 1 年間は $P 1 Y, 1$ ヶ月は $P 1 M, 1$ 週間は $P 1 W, 1$ 日間は $P 1 D$ と表す. 次の例の「行く」の時間値は $t: D C T+P 1 W$,「行った」の時間値は $t: D C T-P 1 W$ と表せる.

(19) 私も来週そこに行く。

$\rightarrow t: D C T+P 1 W$

(20) 私も先週そこに行った。

$\rightarrow t: D C T-P 1 W$

## 3.2.2 漠然とした時間を表すタグ

テキスト中には漠然とした時間情報を表す表現も多く存在する。例えば次の文では，「住んでいた」が過去のいつ, どのくらいの期間のことであるのか具体的には分からない.

(21) 昔広島に住んでいた。

(Reimers et al. 2016)はこれを「今日までのある日から，今日までのある日まで」と捉え， beginPoint=before DCT endPoint=before DCT とタグ付けした．本研究では, このような漠然とした時間情報をより正確に表現するため，新たなタグを導入する。

文書作成日を基準として, 漠然とした過去, 現在, 未来は, それぞれ $t: P A S T, t: P R E S E N T$, $t$ :FUTURE と記す.ここで，「現在」は文書作成日の少し前から少し後までを表す。例えば次の文の「持ち込める」は, 文書作成日だけでなく, 文書作成日から少し前や後でも成り立つこ

(22) 国内線では飲み物を持ち込める。

$\rightarrow t: P R E S E N T$

過去と未来については, それぞれ時間的距離に応じて $t: P A S T-M$ と $t: P A S T-Y, t: F U T U R E-M$ と $t$ :FUTURE-Yという表記を導入する. $t$ :PAST-M は数ヶ月前を, $t: P A S T-Y$ は数年前を表す 1 .数年以上前, あるいはどのくらい昔なのかが不明な場合は $t: P A S T$ を用いる.未来についても同様である。

漠然とした時間表現はこれ以外にもある。「1980年頃」や「約 3 年間」など数値の曖昧性が明示されている表現の場合, その曖昧な数值の直後に ap (approximately) と記す. 次の例の「建てられた」には $t: 1980 a p$ を付与する.

(23) 1980 年頃に建てられた建物

$
\rightarrow t: 1980 \mathrm{ap}
$

## 3.2.3開始・終了時を用いて期間を表す方法

期間の時間値は, 開始時と終了時を〜で結ぶことで表す.これは (Reimers et al. 2016)の beginPoint, endPoint に対応する. 例 (5)の「過ごした」には $t: 1980-05-26 \sim 1980-06-01$ を付与する。

（5） 1980 年 5 月 26 日，彼は宇宙に向けて出発した。サリュート 6 号で 6 日間を過ごした。

$
\rightarrow t: 1980-05-26 \sim 1980-06-01
$

事象の開始時, 終了時のいずれかが不明かつ近い過去／未来である場合はこれを書かない.次の例文の「忙しかった」の時間タグは $t:$ 2017-04-28となる.

[DCT: 2017-04-29] 昨日まで忙しかった。

$
\rightarrow t: \sim 2017-04-28
$

事象の開始時, 終了時が遠い過去や未来である場合は, PASTや FUTUREを用いる.

## 3.2.4 相対的な時間を表すタグ

事象を時間軸に対応付けるアプローチの弱点の 1 つは, 小説など時間表現が少ないテキストでは多くの事象が時間軸と対応付けられない可能性があることである。このような場合, 事象表現間の相対的な時間関係をタグ付けするアプローチの方が情報量の多いアノテーションが可能である。そこで本研究では, 絶対的な時間値が分からない場合は相対的な時間値を付与する.

対象表現の具体的な日付が分からないが, 同一文中の他の基本句との時間関係が分かる場合, これを時間値として記す（時間共参照と呼ぶ），例えば次の文の「起きた」は，具体的な日付は分からないが基本句「選挙の」の表す日の翌日であることは分かる。この場合, $t$ :選挙の $+P 1 D$ と記す。

(25）選挙の翌日、大規模なデモが起きた。

$\rightarrow t$ :選挙の $+P 1 D$

参照できる基本句が複数ある場合は, 1. 絶対的な時間値が付与されている基本句, 2. 距離が近い基本句の順で優先順位を付け, 最も優先順位の高いもの1つを選択する。

## 3.2.5発話日時を表すタグ

会話文やインタビューなどでは，その発話日時が不明なことが多い. 文脈から具体的な日付が分かる場合はそれを利用して夕グ付けを行うが，分からない場合は発話日を $t: U D$ (Utterance Day)として記述する。例えば次の文の「頑張るしかない」には $t: U D+P 1 D$ を付与する.

（26）「明日頑張るしかない」と監督は言った。

$
\rightarrow t: U D+P 1 D
$

ただし, 上の文の「言った」のように, 発話の外の表現には $U D$ は用いず, 絶対的な時間値を記す。

## 3.3 時間基本単位 (TBU) の一部分の表現

## 3.3.1 TBU 内の一部の期間を表す方法

ある大きな TBU の中の一部の期間は, 大きい期間を表す $t$ タグと小さい期間を表す span夕グを組み合わせることで表現する。span夕グは, 期間の長さが分かる場合は BCCWJ-TimeBankで定義された期間表現の時間値の記法を用いて記す. 例えば 3 日間は span:P3D, 3 週間は span:P3W, 3 年間は span:P3Yと表す. 期間の長さが分からない場合は span:part と記す. 例 (6)の場合,「滞在した」は 1984 年 10 月のある期間なので $t: 1984-10, s p a n: p a r t を, 「$ 選ばれた」は 2014 年の

（6）サリバンは 1984 年 10 月、チャレンジャー号のメンバーとして宇宙に滞在した。 2014 年にはタイム 100 に選ばれた。

$\rightarrow$ 「滞在した」t:1984-10,span:part

「選ばれた」t:2014,span:P1D

(Reimers et al. 2016)と比較すると, span:partは彼らの before, afterを用いた記法に対応する.

## 3.3.2TBU 中の繰り返しを表す方法

対象表現は常に連続した期間として表せるわけではない。「毎週日曜日」に行う事象や「3日に 1 回」行う事象もある。このように飛び飛びで複数日に渡って起きる事象は, $t$ 夕グや span タグに加えて繰り返し規則を表す freq夕グを用いて表す.

繰り返しに関するアノテーション方法は次の 3 つがある.
- 「週に 2 回」や「3日に 1 度」のように, 繰り返し規則が一定の期間中に起きた回数として表される場合，回数／期間を freq夕グに記す。次の例文の「通っている」には t:2016-07 DCT,freq:2/P1W とタグ付けする.

(27) [DCT: 2017-04-29] 昨年 7 月から週に 2 回プールに通っている。

$\rightarrow t: 2016-07 \sim D C T$,freq:2/P1W
- 「毎月 25 日」や「毎週日曜日」のように, 繰り返し規則が特定の日付や曜日として表される場合, その日付や曜日を freq夕グに記す.このとき, BCCWJ-TimeBankの夕グ付け基準を拡張し，いかなる数字も入るという意味で $Y Y Y Y-M M-D D$ の各部分に@を入れることを許す。例えば freq:@@@@-@@-25 は毎月 25 日を表す. 次に例を挙げる。

(28) 骨董市は毎月 25 日に開催される。

$\rightarrow$ t:PRESENT,freq:@@@@-@@-25

(29) 毎週日曜はプールに行く。
- 具体的な回数や頻度が文脈から分からない場合, 頻度を抽象的に表した 4 つの値, usually, often, sometimes, rarelyのいずれかを用いる。次の例文の「行く」には $t$ :PRESENT, freq:sometimes を付与する.

(30) [DCT: 2017-04-29] スターバックスに時々行く。

$\rightarrow t: P R E S E N T$, freq:sometimes

## 4 アノテーション結果

## 4.1 アノテーション対象

上述のアノテーション基準を用いて, 京都大学テキストコーパス (Kawahara, Kurohashi, and Hasida 2002) 中の一部の記事に対してアノテーションを行った. 同コーパスは, 1995 年 1 月 1 日から 17 日までの毎日新聞の記事に各種言語情報を人手で付与したものである. この中から当時話題になっていたトピックを 11 個選定し，トピックに関連する 113 記事 856 文，4,534 表現にアノテーションを行った（表 2)，4,534 表現のうち，述語は 3,072 表現，事態性名詞は 1,462 表現であった.

## 4.2 アノテーション方法

3 名のアノテータにアノテーションを依頼した．本研究では個人の感覚や常識によって解釈が変わるような表現も対象としているため, アノテータの付与したタグを最終的に 1 つに統合

表 2 アノテーションを行った記事数の分布

図 13 名のアノテー夕によるアノテーション方法. データを 3 分割し，各アノテータは第 1 段階でそのうちの 2 つ, 第 2 段階で残りの 1 つを担当する. 第 2 段階では他の 2 人が第 1 段階で付与した夕グを見ることができる.

することはしない. 代わりに，他のアノテータの解釈を尊重しつつ, 明らかなアノテーションミスは修正する 2 段階のアノテーションを行う。まず対象となる文書群全体を 3 つに分割し,各アノテー夕は第 1 段階でそのうちの 2 つ, 第 2 段階で残りの 1 つを担当する（図 1）。これにより，最終的に全員が各文書に 1 度ずつアノテーションを行う。第 1 段階では各アノテータが独立にアノテーションを行うのに対し，第 2 段階では他の 2 人が第 1 段階で付与したタグを見た上で同じタグもしくは独自の夕グを付与する。第 2 段階では，もし既に付けられたタグに明らかな誤りがある場合は印をつける。印を付けられた夕グは全体の $2 \%$ \%あり, 本稿における分析では欠損値として扱う.

## 4.3 時間タグの分布

アノテーションされた全時間タグの分布を表 3 に示す。約 $25 \%$ の対象表現が時間性をもたないと判定された. 日付タグが全体の約 $25 \%$, 期間を表すタグが約 $15 \%$ 占める一方で, 漠然とした時間タグは約 $10 \%$, 時間共参照を含む夕グは数\%と少ない. 新聞を対象に夕グ付けを行ったため, 表現の多くが時間軸に対応付けられたと考えられる。また, 繰り返しを表す freq夕グは全体の $1 \%$ ととんど表れなかった。 本稿で新たに提案したタグは, 全体の約 $25 \%$ 占めた.

表 4 は，アノテーションの第 2 段階における，述語と事態性名詞それぞれに付与された時間タグの分布を示したものである。述語に付与されたタグの $27 \% を日$ 付タグが占めるのに対し,事態性名詞では約半分の $12 \%$ である。一方, 事態性名詞では時間性なしと判定された表現が多く, 述語の約 2 倍の割合に当たる $35 \%$ 占める。これは, 「全欧安保協力機構」「地方旅行の自由化」など，事態性名詞が組織や一般的な事象などを表すことも多いためである.

## 4.4 アノテータ間一致率

Krippendorff's $\alpha$ (Krippendorff 2004; Hayes and Krippendorff 2007) を用いてアノテータ間一致率を算出した。(Reimers et al. 2016) と同様の 2 つの基準を用いた. 1 つはタグの一致度を厳格に測る基準 (Strict 基準) で, 時間タグが完全に一致するか否かを判定する. 例えば $t: 1994-12-31$ は $t: 1994-12-31$ と一致するが, $t: \sim 1994-12-31$ とは一致しない. もう1つは時間夕グの部分一致
表 3 第 1 , 第 2 段階でアノテーションされた全ての時間タグの分布

インデントされた項目は内訳を表す。また，*は本研究で新たに導入したタグを表す.

表 4 第 2 段階でアノテーションされた, 述語と事態性名詞に対する時間夕グの分布

を認める緩やかな基準（Relax 基準）である。アノテータ間の時間タグが 1 日でも重なっていたら一致とし, 全く重なっていなかったら不一致とする。例えば $t: 1994-12-31$ と $t$ : 1994-12-31 は，両者の範囲が重なっているため一致と判定する。一方， $t:$ 1994-12-31と $t: 1995-01-01$ のように, 1 日も重なっていない場合は不一致と判定する. このとき, $t: n / a$ と時間共参照については部分一致を認めず，完全に同じでない場合は不一致として扱う，各段階終了時の一致率を表 5 に記す。表の括弧内の 2 つの数值はそれぞれ述語, 事態性名詞のみを対象とした場合の一致率である。最終時とは，第 2 段階までのアノテーションを終えた，最終的な夕グを表す.「t:n/a を除く」は，各段階で 1 人でも $t: n / a$ を付けた表現（第 1 段階終了時, 最終時ともに約 1,300 個） を除いたものである。第 1 段階終了時では 2 名の, 最終時では 3 名のアノテー夕間一致率を算出した.

第 1 段階終了時と最終時の一致率を比較すると, 後者が大幅に上がっている. これは, 前者は独立に付与されたタグであるのに対し, 後者は他のアノテータのタグを見て付与された第 2

除いて評価すると, Strict 基準において大幅な一致率向上が見られた。このことから, Relax 基準での一致率が低い原因の 1 つが，時間性判定の難しさにあることが分かる.

述語と事態性名詞の一致率を比較すると，両基準ともに事態性名詞の一致率が低い。事態性名詞は述語に比べて時間性のない表現の占める割合が多いため, 時間性判定の難しさの影響を

名詞の一致率が低く, 時間が明確な表現は少ないことが分かる。たたし，これらの値は Relax 基準では大幅に上がり，また述語との差もほぼなくなるため，夕グは完全には一致しないもののアノテータ間の認識に大きな隔たりはないと考えられる。

(Reimers et al. 2016)の一致率と比較すると, 特に Strict 基準において低いものとなっている. これは時間タグのバリエーションを増やしたことにより個人の解釈の摇れが多く反映されたことを表している.

両基準におけるアノテータ間のタグの一致／不一致について，次章でより詳細に述べる.

表 5 Krippendorff's $\alpha$ を用いて算出したアノテータ間一致率

括弧内の数値は（述語／事態性名詞）における一致率を表す。

## 5 アノテータ間でのタグの摇れ分析

本研究で提案した時間タグは, 先行研究と比べ時間情報をより正確に表現できるようになった一方でアノテータの解釈に敏感である。本章では，アノテータ間でどのように時間タグが摇れたかを分析する.

具体的な時間値にとらわれずに時間タグの特徴を扱うため，時間タグを粒度の面から抽象化する。例えば， $t: 1994-12-31$ や $t: D C T$ などの日付を表す時間タグは $D A Y, t:$ 1994-12-31 は 〜DAY, t:1994は YEAR とする。また, spanタグや freq夕グはその値を省略して表記する。例えば $t:$ 1994-12-31,span:P1D や $t: \sim 1994-12-31$, span:part は DAY,span とする.

本章では，アノテータが独立にアノテーションを行った，第 1 段階のアノテーション結果を対象として分析する。表 6 , 表 7 は, それぞれ Strict 基準と Relax 基準において, アノテータ間でどのように時間夕グが摇れたかをまとめたものである. ここで, アノテーションの一致の判定は元の時間値を用いて行い，集計のみ抽象化を行った値を使用した。

表 6 を見ると, Strict 基準ではアノテータ間で一致したタグの約 7 割が DAYと n/aであり,不一致の多くは $\mathrm{n} / \mathrm{a}$ か否かの判定, あるいは $D A Y$ と DAYなどの日付と期間の解釈の違いに起因するものであることが分かる，表 7 を見ると，Relax 基準における不一致のほとんどは $n / a$ か否かの判定である. Strict 基準で見られた日付と期間の解釈の違いのほとんどはこの基準では一致しており，領域が重なっていたことが分かる.

このような, アノテータ間の時間性判定と日付・期間の解釈の摇れについて次節以降, 具体例を通して分析する。

表 6 第1 段階のアノテーション結果に対する,『Strict 基準』におけるアノテータ間の時間タグの一致不一致頻度

表 7 第 1 段階のアノテーション結果に対する, 『Relax 基準』におけるアノテータ間の時間タグの一致不一致頻度

## 5.1 時間性の判定

Relax 基準において，アノテータ間でタグが一致しない最大の原因は，アノテータによって時間性の判断が摇れることにある。n/a夕グと共起しやすいタグは，頻度順に $\mathrm{n} / \mathrm{a}(76.6 \%), D A Y$ (5.3\%), PRESENT (5.0\%), DAY,span (1.7\%) となっており， 8 割近くの割合でアノテータ間で $\mathrm{n} / \mathrm{a}$ が一致し, そうでない場合の約 4 割は片方のアノテータが DAYか PRESENTを付与している。このような表現には状態や役職，組織を表すものが多く，ある程度普遍的なものと見るか，期間としては長くても一時的なものと見るかで判断が分かれている.

大統領官邸のある中心部

$\rightarrow t: P R E S E N T$ vs $t: n / a$

時間性を認めたアノテータは，記事の執筆時前後では大統領官邸が中心部にあるものの，過去，あるいは未来にはそれが変わる可能性があると解釈したのに対し，時間性を認めなかったアノテータは，変わる可能性はほとんどない，半永続的なことと解釈したと考えられる．

## 5.2 日付と期間の解釈

(Reimers et al. 2016) も指摘しているとおり，ある事象がある日一日内のことなのか, 複数日に跨ることなのかをテキストから判断するのは難しい。また，ある事象の開始時や終了時を明確化することも容易ではない。このような曖昧性は, 本アノテーションにおいては $D A Y, \sim D A Y$, $\sim D A Y$,span, $D A Y \sim, D A Y \sim$, span, PRESENT の摇孔として現れる. 中でも多いのは $D A Y$ と D DAY,spanの間の摇れである. 特にDAYが DCT の場合が多く, 文書作成日に起きたのか, それまでに起きたのかの解釈が難しいことを表している.

これはアノテーション対象が新聞記事であることが要因の 1 つであると考えられる. 次の例では，アノテータのタグが $t: D C T$ と $t: \sim D C T$,span:partで摇れた. 前者はこの表現を文書作成日のことと解釈したのに対し，後者はより長い期間であると解釈したと考えられる.

(32)しかしデュダエフ政権部隊は頑強に抵抗，双方の死者は数百人に達する見込みだ。

$\rightarrow t: D C T$ vs $t: \sim D C T$,span:part

性から，その日のことを記事にしたと解釈したのに対し，後者はそうとは限らないと解釈したと考えられる。

（33）外相は，「非民営化・再国営化」の基本方針を打ち出した。

$\rightarrow t: D C T$ vs $t: \sim D C T$,span:P1D

こうした新聞ならではの書き方やテーマ, 性質が, 解釈をより難しくしていると考えられる. このように，テキストに明示的に書かれていないことに対する解釈は読者によって少しずつ異なり，しかもいずれも誤りとは言えない. 人がどのようにテキスト理解をしているのかをデー 夕として表現する方法の 1 つが, 本研究のように, 複数のアノテータの解釈を反映させたタグを全て記載することだと考える。

## 6 時間情報推定

本研究で付与したタグを推定する簡単なモデルを作成し, そのエラー分析を通して, 推定に必要な知識や技術について議論する.

## 6.1 問題設定

本稿で提案した時間タグは多様な時間情報を扱える一方で, 作成したコーパスの分量が大きくないため，機械学習を用いて直接推定するには夕グがスパースだという問題がある。 そこでタグを下記の 3 つの要素へと簡略化し, 各々を多クラス分類問題として推定する（図 2).

a. 時間性：事象が時間性をもつか否か（2クラス）

b. 事象の時間的長さ：事象の発生期間（4クラス）

c. 事象の発生時期 : 文書作成日を基準とした事象の発生時期（5クラス）

以下に各タスクの詳細を述べる。
(b) 事象の時間的長さ

(c) 文書作成日を基準とした、事象の発生時期

図 2 推定を行う 3 つのタスク

## 6.1.1（a）時間性判定タスク

対象表現が時間性をもつか否か, すなわち対応する時間タグが $t: n / a$ か否かを判定する．全対象表現 4,534 個のうち, $76 \%$ の 3,438 個が時間性をもつ.

## 6.1.2 (b) 事象の時間的長さ分類タスク

時間性をもつ事象において, 事象の時間的な長さを時間粒度に応じて 4 つクラスに大別し, 4 クラス分類問題として考える。具体的には, 期間を 1 日以内, 1 ヶ月未満, 1 年未満, 1 年以上, の 4 つに分類する. 時間共参照や span:part が付与された表現など時間の長さが分からないものはデータから取り除き、全 4,534 対象表現のうち 2,752 個を用いた. 以下に例を示す.
- 1 日以内: $t: 1994-12-31, t: 1994, s p a n: P 1 D$
- 1 ヶ月未満: $t: 1994-12-25 \sim 1994-12-31, t: 1994-12, s p a n: P 3 D$
- 1 年未満: $t: 1994-12$
- 1 年以上: $\quad t: 1994, t: P A S T$

全体に占めるクラスの割合は, 1 日以内 $(1,545$ 個, $56 \%$ ), 1 ヶ月以内 $(640$ 個, $23 \%), 1$ 年以内 $(135$ 個, $5 \%), 1$ 年以上（432 個, $16 \%$ ) である.

## 6.1.3 (c) 事象の発生時期分類タスク

時間性をもつ事象における，文書作成日から事象を代表する日にち（以降，事象代表日と呼ぶ）までの日数を時間の粒度に応じて 5 つのクラスに大別し, 5 クラス分類問題として考える。 ここで, 事象代表日とは事象の開始日と終了日の中間に位置する日を指す. span夕グを用いて表されるような開始日や終了日が不明な事象の場合, より広い範囲を表す $\mathrm{t}$ タグの中間に位置する日を用いる。例えば t:1994-12,span:P3D では, 1994 年 12 月の中間の日である 1994 年 12 月 16 日を事象代表日とする.

具体的には, 3 年以上前, 3 年前から 3 日前, 3 日前から 3 日後, 3 日後から 3 年後, 3 年以上後の 5 つである（図 3）．時間共参照など事象の発生時期が明確に分からないものはデータから取り除き, 全 4,534 対象表現のうち 3,276 個を用いた.

図 3 事象の発生時期の 5 クラス分類（タスク c)

以下に文書作成日を 1995 年 1 月 1 日とした場合の例を示す.
- 3 年以上前: $\quad t: 1990, \quad t: P A S T$
- 3 年前から 3 日前: $t: 1994-06-01, t: 1994, s p a n: P 1 D$
- 3 日前から 3 日後: $t: D C T, t: 1994-12-29 \sim 1994-12-31$
- 3 日後から 3 年後: $t: 1995-03, s p a n: p a r t, t: F U T U R E-M$
- 3 年以上後: $\quad t: 2000, t: F U T U R E$

全体に占めるクラスの割合は， 3 年以上前 (284 個, $9 \%$ ）, 3 年前から 3 日前 (879 個, $27 \%$ ）, 3 日前から 3 日後 (1,331 個, $41 \%$ ), 3 日後から 3 年後 (571 個, $17 \%$ ), 3 年以上後 $(211$ 個, $6 \%)$ である。

## 6.2 モデル

事象が時間性をもつかどうかは，対象表現中の語彙情報が大きな手がかりとなると考えられる。例えば「出勤する」は多くの場合時間性をもつのに対し，「装甲」などのサ変名詞は時間性をもたないことが多い，一方で，事象の時間的長さや発生時期は文脈に大きく依存すると考えられる．例えば，対象表現「滞在した」の前に「3日間」という表現があるのか「1年間」という表現があるのかで事象の時間的長さは全く異なる。同様に，対象表現「昇段した」の前の表現が「昨日」なのか「昨年」なのかで発生時期は異なる。そこで本研究では 2 つのモデルを用意し, 時間性判定タスクでは対象表現に着目したモデルを, 事象の時間的長さ分類タスクと発生時期分類タスクでは文脈にも着目したモデルを用いる。コーパス中の対象表現が多様でスパー スであること，また対象表現自体が重要な手がかりであり word2vec で事前学習した単語分散表現が有効であると考え，これを活かしたニューラルネットワークモデルを構築する。モデルの全体図を図 4 に示す.

両モデルの違いは対象表現を表すべクトルである。時間性判定のモデルでは，対象表現中の各単語べクトルを足し合わせたものを用いる。例えば，図 4 の例（左）では，対象表現「空爆を」 を構成する「空爆」と「を」の 2 つの単語べクトルを足し合わせる。文脈を用いるモデルでは, まず文全体に対して双方向 GRU (Gated Recurrent Unit) (Chung, Gulcehre, Cho, and Bengio

図 4 対象表現「空爆を」の時間情報を推定する 2 つのニューラルネットワークモデル. 対象表現中の語彙情報のみを用いる (a) 時間性判定モデル（左）と，文脈を使用する $(b, c)$ 事象の時間的長さ・発生時期推定モデル (右).

2014）を適用した後，対象表現中の自立語の単語ベクトルを用いる。図 4 の例（右）では，対象表現「空爆を」の中の自立語である「空爆」の単語ベクトルを用いる。両モデルとも，この対象表現ベクトルに, 同一文／直近の時間表現情報を表すべクトルと, 時間表現との共起スコアベクトルを結合し，パーセプトロンを用いてクラス分類を行う。以下に両ベクトルの詳細を述べる。
- 同一文・直近の時間表現情報ベクトル：

文に含まれる時間表現の時間的粒度を表す 4 次元のバイナリベクトルである。文中の時間表現をルールベースで検出し，検出された時間表現が（日，週，月，年）の各粒度に当てはまるか否かの 2 クラスでベクトルを構成する。例えば図 4 の例の場合，文中には 「昨日」という時間表現が存在するため，「日」の粒度に該当する次元のみ 1 でその他は 0 の 4 次元べクトル $(1,0,0,0)$ となる.「同一文中の時間表現情報ベクトル」は，対象表現の文の時間情報べクトルであり，「直近の時間表現情報べクトル」は，対象文以前で時間表現を含む文の時間表現情報べクトルである。全 4,534 対象表現のうち， $35 \%$ にたる 1,601 表現で同一文中に時間表現が検出され，また $87 \%$ にたる 3,940 表現ではその文以前に時間表現が検出された。
- 共起スコアベクトル:

対象表現と時間表現粒度の共起度を表す 4 次元の実数値べクトルである。まず前処理として，前項と同様にテキスト中の時間表現をルールベースで検出し，これを（日，週，月，年）のいずれかの粒度に変換する。その後, 対象表現と各粒度との同一文中での共起スコアを算出する。共起スコアには自己相互情報量 (Pointwise Mutual Information, PMI) を，データには 1984 年から 2005 年までの朝日新聞 1,300 万文を用いた.

## 6.3 実験

各タスクにおけるクラス分類には，コーパス構築時において第 2 段階でアノテーションされたタグを利用し，5 分割交差検定を用いて学習・評価を行った。 2 クラス分類である時間性判定タスクの評価には F1 值, 多クラス分類である事象の時間的長さ分類・事象発生時期分類タスクの評価には Micro-F1 値を用いた.

パーセプトロンには， 50 次元の 1 つの隠れ層を持つ 2 層フィードフォワードニューラルネットワークを使用した。損失関数には交差エントロピー誤差関数を，パラメータの最適化には Adadeltaを使用した. GRUの隠れ層は 100 次元である.

単語の分散表現には 98 億文の Web テキストにより事前学習された 200 次元のベクトルを, 品詞の分散表現にはランダムに初期化された 10 次元のベクトルを用いた. これらは誤差逆伝播時に値が更新される。

各タスクの実験結果を表 8 に示す.いずれのタスクも各クラスのデータ量に大きな偏りがあることから，マジョリティのクラスのみを出力した場合のスコアをべースラインとして記載した. 時間性判定タスクでは約 9 割のスコアが得られた一方, 事象の時間的長さ分類タスクは約 6 割, 事象発生時期分類タスクは約 5 割にとどまった.

また，各タスクで最もスコアが良かった条件における Confusion Matrixを表 9 に示す。時間性判定タスクでは，誤りの約 7 割が時間性のないものをあると判定したものであった。事象の時間的長さ分類タスクでは, 「1 ヶ月未満」クラスを「1 日以内」クラスと誤答することが多かった. 事象の発生時期分類タスクでは,「3 年前から 3 日前」クラスと「 3 日前から 3 日後」クラスの区別で多くの誤りが存在する.

表 8 (a) 時間性判定タスク, (b) 事象の時間的長さ分類タスク，(c) 事象の発生時期分類タスクにおける実験結果

2 クラス分類である時間性判定タスクでは F1 値を用い，他の 2 つのタスクでは Micro-F1 値を用いて評価した.
表 9 (a) 時間性判定タスク, (b) 事象の時間的長さ分類タスク,

(c) 事象の発生時期分類タスクにおける Confusion Matrix

(a) 時間性判定タスク

(b) 事象の時間的長さ分類タスク

(c) 事象の発生時期分類タスク

## 6.4 議論

## 6.4.1 時間性判定タスク

本タスクでは, 単語分散表現の情報のみでベースラインを 3 ポイント以上上回った. これは,対象表現自体が時間性の有無に大きく関係していること示唆している。 また, 品詞分散表現を利用することでスコアの向上が見られた.「対して」や「総当たり」などのサ変動詞／名詞からなる時間性をもたない対象表現検出に役立ったと考えられる.

本モデルでは対象表現のみに着目したが, このアプローチでは次の例の「開発」を正しく解くことができない.

(34) 国連の支援で，総合開発の立案などの成果をあげた（時間性あり）

(35) 開発のゆがみを知る人たち（(時間性なし）

(36) 経済開発区（時間性なし）

例 (34) は特定の開発事業であるため時間性をもつが，例 (35) や例 (36) は不特定あるいは一般的な事象であるため時間性をもたない。このような例に対処するためには, 対象表現の前後の表現や，対応する述語や項の性質などの情報を考慮する必要がある.

## 6.4.2 事象の時間的長さ分類タスク

本タスクでは共起スコアベクトルの導入によりスコアが向上した。例えば次の例の「宿泊」 は, 単語と品詞情報のみのモデルでは誤答したが, 「宿泊」と日にち粒度の時間表現の共起スコ

アが高いという情報を与えることで正答した.

(37) ホテルの宿泊者が目撃した

一方, 表 9 からも分かるように，多くの例で誤って「1 日以内」クラスを出力した. 次の例は全て「1日以内」クラスを出力し誤答したものである.

(38) 兵士が首都から南に脱出している

(39) 見逃せないのは労組の圧力だ

(40) 出稼ぎ世帯の大半は、テレビやバイクを買う

(41) 啓蒙に力を入れている

例 (38), 例 (39), 例 (40) はいずれも, 対象表現自体は 1 日以内の事象とも捉えることができるものであるが，この文脈ではそうではない，本モデルは文脈を考慮するものであるが，より大規模なデータで学習する必要があると考えられる。例 (41)では, 対象表現は軽動詞であり,「啓蒙」が時間を考える上での手がかりである。このような単語の含意する時間情報知識を大規模に獲得し，モデルに取り入れる必要がある.

## 6.4.3事象の発生時期分類タスク

本タスクでは，時間表現情報ベクトルがスコア向上に貢献している。これは例えば「四日発生した雪崩」のように，時間表現が重要な手がかりを与える場合が多く存在するためだと考えられる。本モデルでは「昨日」や「1995 年」などの明示的な時間表現のみを対象としたが, テキスト中には「ベトナム戦争」や「前回のワールドカップ」など暗黙的に時間情報を表す表現も多く存在し, 誤答の原因となっている。Wikipediaなどの外部知識を用いて，より広範な時間情報を考慮する必要がある.

本モデルでは時間表現情報を 4 つの粒度で表したが，テキスト中には「昼過ぎ」などより細かい粒度の情報も多く存在する。これらの情報を利用することでスコア向上が期待される。また，本モデルでは時間の粒度のみに着目したが，時間表現が日付を表すのか期間を表すのかで大きく意味が変わる。例えば「3日」という時間表現を「1月 3 日」のことと解釈するのか「3 日間」のことと解釈するのかは, 事象の時間的長さ・発生時期の推定タスクにおいて非常に重要であり, さらなるスコア向上のためには高度な時間表現解析器の導入が必要である.

## 7 本アノテーションの応用

本アノテーションには様々な応用先が考えられる。例えば，ニュース記事からのタイムラインやサマリーの生成である。ニュースには事件や出来事に関する新しい情報は記載されるが,

それを取り巻く出来事やこれまでの経緯は記載されないことも多いため, 出来事の全体像を知るためには複数の記事を読み情報を統合する必要がある。またニュースには，その時の情報に基づいた予想や解釈も記載されるため，異なる時期に書かれた別の記事と比較することは情報の信頼性を担保する上で有益である.

本稿で述べたアノテーション基準やデータ，時間情報推定モデルは，このような記載時期の異なる情報の統合や比較に利用することができる。図 5 は，1995 年 1 月に行われたサッカー大会に関する事象を時間軸上に配置したものである。文章作成日を区別して事象を配置するため 2 つの時間軸を導入しており，横軸は文章作成日，縦軸は事象の起きた日を表す。例えば右上の「デンマークが優勝した」は，1月 15 日に記述された事象で, これに対応する時間値は 1 月 13 日 (t:1995-01-13) である. 本研究で作成したデータは, このようにアプリケーションを構築するためのモデルの学習や評価に用いることができる。本研究でアノテーションを行った京都大学テキストコーパスには, 既に述語項構造や共参照関係のアノテーションがなされているため,「ラモス」など特定のエンティティに着目した学習や評価にも用いることが可能である.

また, 本アノテーション基準や時間情報推定モデルを利用することにより, 事象に関する時間情報知識を大量のテキストから収集することが可能となる. 出来事や状態の発生日や継続日数, 頻度などの情報は, 情報検索, 要約, 対話, 文生成など多くのアプリケーションで利用す

図 51995 年1月に行われた、サッカーのインタコンチネンタル選手権に関する事象の時間軸への配置.横軸は文章作成日, 縦軸は事象の起きた日を表す. 例えば右上の「デンマークが優勝した」は文章作成日が 1 月 15 日で，これに対応する時間値は 1 月 13 日である.

ることができる。本稿で述べたアノテーション基準は，これらの時間情報を詳細に記述する手段として用いることができ，また時間情報推定モデルは事象に関する時間情報をテキストから自動獲得する技術に応用することが可能である.

## 8 おわりに

本稿では，テキスト中の時間情報を網羅的にアノテーションするための新しい夕グ付け基準について述べた。従来研究よりも広範な表現をアノテーション対象とし, また表現力豊かな時間タグを導入した。京都大学テキストコーパス中の 113 文書に対してアノテーションを行った結果, $76 \%$ の表現が時間性をもつと判断され，そのうちの $35 \% （$ 全体の $26 \%$ ）に本稿で新たに提案された時間タグが付与された。本研究で付与した時間情報を, 時間性・事象の時間的長さ・事象の発生時期の 3 つの観点から推定するモデルを構築した. 各精度は $\mathrm{F}$ 値において $90 \%, 61 \%$, $49 \%$ あった.

本研究では，新聞記事を対象にアノテーションを行ったが，新聞特有の書き方や性質がアノテーションの摇れの原因の 1 つになっていると考えられる. 今後は, Webなど新聞以外のコー パスでのアノテーションを試みたい.

また, 本研究では時間表現に対するアノテーションは行っていない.これは, 日本語時間表現に対するアノテーションにおけるアノテータ間一致度は高いことが (小西, 浅原, 前川 2013) により報告されており，時間表現に対する解釈が摇れて事象に対するアノテーションに影響を及ぼすことは少ないと考えたからである。しかし, 時間情報解析器を構築する上では有益な情報になると考えられるため，今後は時間表現にもアノテーションを行い，より充実した時間情報コーパスにしていきたい.

## 謝 辞

本研究の一部は JST CREST JPMJCR1301，AIP チャレンジの助成によるものです。また本論文の内容の一部は, 11th edition of the Language Resources and Evaluation Conference で発表したものです (Sakaguchi, Kawahara, and Kurohashi 2018).

アノテーションにご協力いただいた石川真奈見氏, 堀内マリ香氏, 二階堂奈月氏に感謝いたします。また，時間情報推定モデルに関して有益なコメントをくださった柴田知秀氏に感謝いたします.

## 参考文献

Asahara, M., Kato, S., Konishi, H., Imada, M., and Maekawa, K. (2014). "BCCWJ-TimeBank: Temporal and Event Information Annotation on Japanese Text." International Journal of Computational Linguistics 83 Chinese Language Processing, 19 (3), pp. 1-24.

Asakura, Y., Hangyo, M., and Komachi, M. (2016). "Disaster Analysis using User-Generated Weather Report." In Proceedings of the 2nd Workshop on Noisy User-generated Text (WNUT), pp. 24-32, Osaka, Japan. The COLING 2016 Organizing Committee.

Cassidy, T., McDowell, B., Chambers, N., and Bethard, S. (2014). "An Annotation Framework for Dense Event Ordering." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 501-506, Baltimore, Maryland. Association for Computational Linguistics.

Chung, J., Gulcehre, C., Cho, K., and Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling.

Hayes, A. F. and Krippendorff, K. (2007). "Answering the Call for a Standard Reliability Measure for Coding Data." Communication Methods and Measures, 1 (1), pp. 77-89.

Huang, R., Cases, I., Jurafsky, D., Condoravdi, C., and Riloff, E. (2016). "Distinguishing Past, On-going, and Future Events: The EventStatus Corpus." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 44-54. Association for Computational Linguistics.

Kawahara, D., Kurohashi, S., and Hasida, K. (2002). "Construction of a Japanese Relevancetagged Corpus." In Proceedings of the 3rd International Conference on Language Resources and Evaluation (LREC-2002), Las Palmas, Canary Islands-Spain. European Language Resources Association (ELRA).

Kolomiyets, O., Bethard, S., and Moens, M.-F. (2012). "Extracting Narrative Timelines as Temporal Dependency Structures." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, Jeju, Republic of Korea, 8-14 July 2012, pp. 88-97. ACL.

小西光, 浅原正幸, 前川喜久雄 (2013). 『現代日本語書き言葉均衡コーパス』に対する時間情報アノテーション. 自然言語処理, 20 (2), pp. 201-221.

Krippendorff, K. (2004). Content Analysis: An Introduction to Its Methodology (second edition). Sage Publications.

Minard, A.-L., Speranza, M., Agirre, E., Aldabe, I., van Erp, M., Magnini, B., Rigau, G., and Urizar, R. (2015). "SemEval-2015 Task 4: TimeLine: Cross-Document Event Ordering." In Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval 2015),
pp. 778-786, Denver, Colorado. Association for Computational Linguistics.

Pustejovsky, J., Hanks, P., Saurí, R., See, A., Gaizauskas, R., Setzer, A., Radev, D., Beth Sundheim, D. D., Ferro, L., and Lazo, M. (2003). "The TIMEBANK Corpus." In Proceeding Corpus Linguistics 2003, pp. 647-656.

Reimers, N., Dehghani, N., and Gurevych, I. (2016). "Temporal Anchoring of Events for the TimeBank Corpus." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2195-2204, Berlin, Germany. Association for Computational Linguistics.

Sakaguchi, T., Kawahara, D., and Kurohashi, S. (2018). "Comprehensive Annotation of Various Types of Temporal Information on the Time Axis." In Proceedings of the 11th Edition of its Language Resources and Evaluation Conference, pp. 332-338, Miyazaki, Japan.

Sauri, R., Littman, J., Gaizauskas, R., Setzer, A., and Pustejovsky, J. (2006). "TimeML Annotation Guidelines, Version 1.2.1.".

UzZaman, N., Llorens, H., Derczynski, L., Allen, J., Verhagen, M., and Pustejovsky, J. (2013). "SemEval-2013 Task 1: TempEval-3: Evaluating Time Expressions, Events, and Temporal Relations." In 2nd Joint Conference on Lexical and Computational Semantics (*SEM), Volume 2: Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013), pp. 1-9. Association for Computational Linguistics.

Verhagen, M., Gaizauskas, R., Schilder, F., Hepple, M., Katz, G., and Pustejovsky, J. (2007).

"SemEval-2007 Task 15: TempEval Temporal Relation Identification." In Proceedings of the 4th International Workshop on Semantic Evaluations (SemEval-2007), pp. 75-80. Association for Computational Linguistics.

Verhagen, M., Sauri, R., Caselli, T., and Pustejovsky, J. (2010). "SemEval-2010 Task 13: TempEval-2." In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 57-62. Association for Computational Linguistics.

## 略歴

坂口智洋 : 2013 年東京大学理学部生物情報科学科卒業. 2015 年京都大学大学院情報学研究科修士課程修了. 同大学院博士課程在学中. 修士 (情報学)。自然言語処理の研究に従事.

河原大輔：1997 年京都大学工学部電気工学第二学科卒業. 1999 年同大学院修士課程修了. 2002 年同大学院博士課程単位取得認定退学. 東京大学大学院情報理工学系研究科学術研究支援員, 独立行政法人情報通信研究機構研究員, 同主任研究員を経て，2010 年より京都大学大学院情報学研究科准教授. 自然言
語処理, 知識処理の研究に従事. 博士 (情報学). 情報処理学会, 言語処理学会, 人工知能学会, 電子情報通信学会, ACL, 各会員.

黒橋禎夫：1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了.博士 (工学). 2006 年 4 月より京都大学大学院情報学研究科教授. 自然言語処理, 知識情報処理の研究に従事. 言語処理学会 10 周年記念論文賞, 同 20 周年記念論文賞, 第 8 回船井情報科学振興賞, 2009 IBM Faculty Award 等を受賞. 2014 年より日本学術会議連携会員.

$(2018$ 年 8 月 1 日 $\quad$ 受付 $)$
$(2018$ 年 11 月 1 日 $\quad$ 再受付 $)$
$(2018$ 年 12 月 12 日 $\quad$ 採録)