言語処理学会 第21回年次大会 発表論文集 (2015年3月)

機能表現に基づく日本語事実性解析
成田 和弥 †水野 淳太 ‡上岡 裕大 †菅野 美和 †乾 健太郎 ††‡東北大学
情報通信研究機構（NICT）{narita, yudai.k, meihe, inui}@ecei.tohoku.ac.jp
junta-m@nict.go.jp

1 はじめに事実性とは，文中の事象が，実際に起こったことなのかそうではないことなのか，といった情報である1 ．

(1) a. 彼はさきほど部屋を出た。
b. もう遅いから、彼は先に帰っているだろう。
:::::
c. 問題が発生するのを::::::防いだ。
d. 彼が怒ってい::::ないというのは嘘だ。
::::

合を明らかにする．さらに，機能表現の正解ラベルに対する事実性解析の誤り分析によって，事実性解析の今後の方針について検討する．

2 関連研究事実性およびその周辺情報を付与するための体系に関する研究としては，Saurı́らによる FactBank [3] や，松吉らによる拡張モダリティタグ付与コーパス [6] などがある．Saurı́らは，事実らしさに対する態度表明者の確例えば，(1a) の事象「出る」は，実際に起こったことだと著者は判断している，と解釈できる．(1b) の事象「帰 信度と，その確信の方向を表す肯否極性の組で事実性る」は，「だろう」という機能語により，起こった可能 を定義し，事象に付与した．松吉らは，＜態度＞，＜真性が高いことだと著者は推量している，と解釈できる． 偽判断＞等からなる拡張モダリティタグ体系を設計し，それを事象に付与したコーパスを構築した．拡張モダ(1c) の事象「発生する」は，「防いだ」という述語により，実際には起こっていないことだと著者は判断してい リティタグのうち，＜真偽判断＞が事実性に対応する．
解析手法に関する研究としては，機械学習に基づく手る，と解釈できる．(1d) の事象「怒る」は，「ない」お法や，パターンベースの手法があげられる．江口ら[9]
よび「嘘だ」により，実際に起こったことだと著者は判
は，拡張モダリティタグの項目間，文内の事象間の依存断している，と解釈できる．事実性を解析する技術は，関係を考慮できる，条件付確率場を用いた拡張モダリ情報抽出や含意関係認識など，自然言語処理の応用にティ解析を行った．機能表現は辞書による解析を行い，対して有用であるが，多岐に渡る言語表現を捉えきれ素性として入れているがその有無による性能比較はしてておらず，十分な解析性能は実現されていない．
いない．Saurı́ら [4] は，事実性に影響を与える手がかり
我々は，主節と従属節における，事実性に影響を与表現を利用し，確信度と肯否極性を，依存構造木の根かえる要素の違いに着目した．(1c) の事象「発生する」や(1d) の事象「怒る」など，従属節に含まれる事象におけ ら伝搬させて解析するモデルを提案した．手がかり表現の 1 種類として may や not のような機能表現を利用しる事実性解析では，「防いだ」や「嘘だ」などの述語，「なている．
de Marneﬀe ら [1] は，動詞のクラスとともに，い」などの機能表現，さらにはこれらの表現のスコープ機能表現を素性とした解析を行っている．水野ら[8] はやフォーカスなど，さまざまな要素を考慮することが必
機械学習を用いた拡張モダリティ解析を行い，機能表現要である．一方で，(1a) の事象「出る」や (1b) の事象「帰る」など，主節に含まれる事象（以下，主事象と呼 解析結果を素性に入れることで，性能が向上することを報告している．上岡ら [10] は事実性解析の性能向上をぶ）は，「だろう」や「ない」といった機能表現のみで目的として，機能表現の意味ラベル体系を整理し，それ事実性を決定できると考えられる．
を付与したコーパスを構築している．我々は，上岡らがこれを検証するために，機能表現解析結果を用いたルールベースの事実性解析器を構築し，1,475 個の主事 意味ラベル体系を整理したことによる効果を検証する．
象に適用する．機能表現解析結果は，辞書による最長一3 機能表現意味ラベルを用いた事実性解析
致，機械学習による解析，正解ラベルの 3 種類 5 セット
事実性は，Narita et al. [2] と同様に，3 種類の確信度を用い，それぞれに対する事実性解析結果を比較する．
（CT，PR，U）と 2 種類の肯否極性（+，−）の組によっその結果，機能表現解析の改善による事実性解析へのて表す．従って，各事象の事実性は，CT+（実際に起こっ影響，機能表現のみで事実性が決定可能な主事象の割ている），PR+（起こっている可能性が高い），PR− （起1 その事象が真に起こったことかはわからないため，本研究では，こっている可能性が低い），CT−（実際には起こってい著者による事象の成否の判断として事実性を解釈する．また，松吉ら [6] と同様に，事象は行為，出来事，状態の総称であると考える．
ない），U（起こっているかどうかが不明）の 5 種類の― 1032 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

ラベルのいずれかに分類される．
本研究で利用するコーパスは，拡張モダリティタグ付与コーパス [6]2 と，機能表現意味ラベル付与コーパ
ス [10]3 を合わせたものである．これらはいずれも『現代日本語書き言葉均衡コーパス』（BCCWJ）4 を付与対象としており，そのうちの Yahoo!知恵袋データを利用する．解析対象となる事象は，このうち機能表現が付随する主事象である 1,475 事象である．主事象は，各文において，拡張モダリティが付与されている事象のうち，最も文末に近い事象とした．拡張モダリティから事実性への変換は，Narita et al. と同様にした．事実性の分
布は，CT+が 476 事象，PR+が 215 事象，PR− が 51 事象，CT− が 107 事象，U が 626 事象となった．拡張モ
ダリティタグ付与コーパスでは，CT+が全体の 65%を占めるが，本研究では機能表現が付随する事象のみを対象としているため，U の割合が最も多くなった．

3.1 機能表現解析
機能表現解析結果は，以下の 5 種類を用いる．

1. 『つつじ』[7] のラベル体系に基づいた最長一致による解析結果
2. 上岡ら [10] のラベル体系に基づいた最長一致による解析結果
3. 2. で，曖昧性のある機能表現について，コーパス中で最頻出のラベルを選択した結果
4. 上岡らのラベル体系下で，周辺単語を素性とした CRFを用いて曖昧性解消を行った結果
5. 上岡らによってアノテーションされた正解ラベル
1，2 では，表層が同じであっても意味が異なる，曖昧性のある機能表現に対して，意味ラベルを一意に定められない．そこで，「走る [よう] です。」に対して  伝聞，推量-不確実，比況  のように複数の候補をすべて付与する．ただし，機能表現の左側の形態素の品詞接続制約による候補選択は行う．従って，接続制約を満たす意味ラベル候補がない場合および，ラベル体系に含まれていない機能表現については，意味ラベルは付与されない．
これらを利用した事実性解析結果を比較することで，機能表現のラベル体系の違いが事実性解析にもたらす影
響について検証する．
3 は，2 で複数の候補が出力された場合において，コーパス中で最も頻度の高い意味ラベルを採用する．機能表現の曖昧性解消におけるベースラインとなる．4 は，CRF を用いることで，周辺単語を考慮して機能表現の曖昧性解消を行う．これらの結果を比較することにより，機能表現の曖昧性解消を行うことで，事実性解析にどれだけ寄与できるのかを検証する．
2 http://cl.cs.yamanashi.ac.jp/nldata/modality/
3 http://tinyurl.com/ja-fe-corpus
4 http://www.ninjal.ac.jp/corpus_center/bccwj/

最後に，機能表現の正解ラベルを用いた事実性解析を行うことで，機能表現解析ができたとしても事実性解析が誤る事例がどの程度存在するのかを検証する．この誤り分析によって，事実性解析の今後の方針を検討する．

3.2 事実性解析
事実性解析は，主事象より後ろにある機能表現の意味ラベルを利用することで決定する．例えば， 否定  の機能表現が付随している場合には肯否極性を反転する，という事実性更新ルールを適用する．更新ルールは以下の 3 種類を用いる．カッコ内は対応する意味ラベルを表す．
1. 肯否極性：+→ −, − →+（ 否定  否定意志  否定推量  無意味  不明確  不可能  回避  不必要 放置  困難 ）
2. 確信度：CT→PR（ 推量-不確実  推量-高確実性 
否定推量  意志  否定意志  伝聞  様態  容易 困難 ）
3. 確信度：CT→U, PR→U（ 疑問  勧誘  勧め  願
望  依頼 ）
無標のラベルである CT+から始めて，文末から順に機能表現を参照し，更新ルールの割り当てられた機能表現があれば該当する更新ルールを適用する．すべての機能表現の更新ルールを適用することで，主事象の事実性を決定する．なお，疑問符も事実性に影響を与える要素として考えられるが，疑問符があっても，肯定の場合も少なくないため，本研究では採用していない．

(2) うまく進め::::::::::::::
ないようですね。
例えば (2) では，「進む」という事象に対して，「ない」「ようです」「ね」の 3 つの機能表現が付随している．このとき，後ろから順に，機能表現の意味ラベルに対応した更新ルールを適用していく．まず，「ね」は態度の機能表現であり，事実性に影響しないため，事実性は CT+のままとなる．次に，「ようです」は  推量-不確実  の機能表現であり，更新ルール 2 に該当するため，事実性をPR+に更新する．最後に，「ない」は  否定  の機能表現であり，更新ルール 1 に該当するため，事実性を PR−に更新する．最終的に「進む」の事実性は PR− となる．
また，複数の意味ラベルを採用する機能表現解析結果を用いる場合，いずれかの意味ラベルが更新ルールに対応していれば，対応するすべての更新ルールを適用する．同じ更新ルールをもつ機能表現が複数含まれる場合には，更新は 1 度のみとする．例えば (2) の機能表
現「ようです」に  伝聞，推量-不確実，比況  というラベルが付与されている場合， 伝聞  と  推量-不確実 が更新ルールを持っている．そのためそれぞれのルールを適用するが，この例では，同じ更新ルール 2 に該当するため，一度しか適用を行わず，結果として先ほどと同様の出力が得られる．

― 1033 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

4 評価実験・考察(4) は，機能表現の更新ルールが不足しているために誤った事例である．
(4a) の機能表現「べき」「です」はそれ
表 1 に，機能表現解析結果ごとの事実性解析器の結ぞれ当為
判断 の意味をもっているが，これは，果を示す．ここでは，確信度，肯否極性それぞれの軸に当為  に関する更新ルールが不足していたことによる誤おける精度，再現率，F 値，ならびにそれらのマクロ平りである．(4a) は  当為  を更新ルール 3 の適用対象に均を示した．確信度が U の場合には，肯否極性を決定加えれば解決するが，(4b) の誤解析は防げない．(4b) のできないため，確信度の正解が U である事例，および，
機能表現「べき」「でし」「た」「ね」はそれぞれ  当為
確信度の出力が U である事例は肯否極性の評価対象か

判断

完了

態度
の意味をもっている．この誤解ら除外した．
まず，『つつじ』に基づく最長一致を利用した場合と， 析に対応するため， 当為  のみでは更新ルール 3 を適用するが， 当為  と  完了  の組み合わせの場合には，上岡らの体系に基づく最長一致を利用した場合とを比更新ルール 1 を適用することが考えられる．このよう較することで，機能表現の意味ラベル体系の違いが事実に，
1 つ 1 つの意味ラベルを各更新ルールに割り当てる性解析にもたらす影響を検証する．表 1 に示すように，だけでなく，意味ラベルの組み合わせを考慮すべきであ
上岡らの体系を利用した方が，性能が向上している．機る．今後，他にどのような組み合わせによって事実性が能表現の意味ラベルを再整理し，辞書の拡充をしたこ変化するかを調査する必要がある．とで，特に，有標のラベルである PR，U，− の再現率を向上させることができ，事実性解析に対して効果的(5) a. や は り こ の 御 時 世 、きつい の で は な いであることを示している．
でしょうか？
::::::::::
次に，上岡らの体系に基づく最長一致を利用した場（正解ラベルに基づく解析: U，正解: PR+）合と，最長一致に加えて，曖昧性のある機能表現についb. どうやって判別してる::::::::::::
んでしょうか？てコーパス中の最頻出ラベルを選択した場合，および，（正解ラベルに基づく解析: U，正解: CT+）CRF を用いた場合とを比較することで，機能表現の曖(5) は，現在の機能表現の意味ラベルの粒度が不十分で昧性解消が事実性解析にどれだけ貢献するのかを確認あり，更新ルールを誤って適用した事例である．いずれする．CRF による解析結果を利用した場合，上岡らのの事例も，波線部に対して  疑問  が付与されているた体系に基づく最長一致を利用した場合と比較して性能め，主事象の事実性はU と解析された．しかしながら，が向上した．
(5a) は，問いかけではあるものの，推量の意味合いが強(3) ５階くらいから落ちて助かったんでしたよね。
::::
いため，正解は PR+となっている．(5b) は，前提とし（最長一致: U，最頻出: U，CRF: CT+，正解: CT+）て起こった事象である「判別する」の方法を問う文であ(3) では，主事象「助かる」の事実性は CT+である．上るため，CT+が正解である．このような事象の事実性
岡らの体系に基づく最長一致では，最頻出を用いてもを解析するために， 疑問  を  疑問-推量  疑問-方法「よね」を  疑問  と判断するため，誤解析された．CRF
 のように意味ラベルを細分化すべきなのか，あるいはでは，「でした」や句点といった周辺情報をもとに，「よ事実性解析の段階で文脈を用いて区別すべきなのかは，ね」を  態度  と正しく判断することができたため，事容易に決定できない．前者は，意味ラベルを無闇に細分実性も正しく解析することができた．このように，機能化すると，曖昧性解消が困難になるため，適切な粒度を表現解析をより精緻に行うことが，事実性解析に対し考えなければならない．後者は，例えば質問タイプ判て有効であることが確認できた．
定 [5] の技術を利用して，質問タイプによって適用する
最後に，正解ラベルを用いることで，機能表現の曖昧ルールを変更することが考えられるが，質問タイプと性が完全に解消できたとしても解けない事例はどの程機能表現の組み合わせを考える必要がある．
度あるのか，それらを解くためにはどのような情報が以上のように，機能表現だけでは解析が難しい事例必要なのかを分析する．表 1 を見ると，機能表現が正しが見られた．このような事例を解くために，機能表現かく与えられているにも関わらず，事実性解析が誤る事例
ら事実性を演算するためのルールの拡張，一部の副詞は少なくない．確信度または肯否極性が誤って解析されや助詞などを考慮した解析，同じ意味ラベルをもつ機
た 562 事例のうち，CT+に誤分類された事例が 149 事
能表現の用法の区別に取り組んでいく必要がある．
例，CT+以外に誤分類された事例が 413 事例であった．
これらの事例のうち，それぞれ 50 事例に対して，誤り5 おわりに分析を行った結果を表 2 に示す．
本研究では，主事象における事実性解析に着目し，実(4) a. ビタミンは、野菜や海草から補給する::::::::べきです。
（正解ラベルに基づく解析：CT+，正解：U）
b. 入札前に確認す::::::::::::
べきでしたね。
（正解ラベルに基づく解析：CT+，正解：CT−）

験を行った．機能表現解析結果を用いたルールベースの事実性解析器を構築し，1,475 個の主事象に適用することで，「だろう」や「ない」といった機能表現のみで，主事象の事実性を決定できるかを検証した．機能表現解― 1034 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

機能表現
解析結果
『つつじ』に基づく
最長一致

事例数
精度
再現率

F1
上岡らの体系に基づく最長一致
上岡らの体系に基づく最長一致
（最頻出）

精度
再現率

F1
精度
再現率

F1
精度

CRF

再現率

F1
精度
正解ラベル

再現率

F1

表 1: 機能表現解析結果に基づく事実性解析の評価
確信度CTPRU
マクロ平均+583
266626
691
46.06
34.33
70.20
50.20
86.50(474/1,029)(69/201)(172/245)(615/711)
81.30
25.94
27.48
44.91
98.87
(474/583)(69/266)(172/626)(615/622)
58.81
29.55
39.49
42.62
92.27
51.25
44.96
62.34
52.85
85.81
(389/759)(107/238) (298/478)(514/599)
66.72
40.23
47.60
51.52
97.72
(389/583)(107/266) (298/626)(514/526)
57.97
42.46
53.99
51.52
91.38
54.05
48.66
64.09
55.60
87.11
(374/692)(91/187)(382/596)(480/551)
64.15
34.21
61.02
53.13
96.97
(374/583)(91/266)(382/626)(480/495)
58.67
40.18
62.52
53.79
91.78
60.66
54.59
62.65
59.30
95.29
(313/516)(107/196) (478/763)(405/425)
53.69
40.23
76.36
56.76
92.47
(313/583)(107/266) (478/626)(405/438)
56.96
46.32
68.83
57.37
93.86
64.83
56.02
67.26
62.70
96.26
(341/526)(121/216) (493/733)(438/455)
58.49
45.49
78.75
60.91
93.19
(341/583)(121/266) (493/626)(438/470)
61.50
50.21
72.55
61.42
94.70

表 2: 誤りの種類の分布

出力
CT+ CT+以外
1021

肯否極性
−
マクロ平均
158
89.23
87.87
(58/65)37.6668.27(58/154)
52.97
72.62
82.86
84.34
(58/70)40.56
69.14(58/143)
54.46
72.92
82.14
84.63
(69/84)49.29
73.13(69/140)
61.61
76.70
76.26
85.78
(106/139)
84.13
88.30
(106/126)
80.00
86.93
79.22
87.74
(122/154)
87.77
90.48
(122/139)
83.28
88.99

参考文献

[1] Marie-Catherine de Marneﬀe, Christopher D. Manning, andChristopher Potts. Did it happen? the pragmatic complexity of veridicality assessment. Computational Linguistics,
意味ラベルの粒度
Vol. 38, No. 2, pp. 301–333, 2012.
機能表現
機能表現の64[2] Kazuya Narita, Junta Mizuno, and Kentaro Inui. A lexiconアノテーション誤り
based investigation of research issues in japanese factual機能表現の
ity analysis. In Proceedings of the Sixth International Joint92
更新ルールの不足
Conference on Natural Language Processing, pp. 587–595.
または誤適用Asian Federation of Natural Language Processing, 2013.
機能語相当表現92[3] Roser Saurı́ and James Pustejovsky. FactBank: a corpus
事実性
副詞・助詞など
45
annotated with event factuality. Language resources andevaluation, Vol. 43, No. 3, pp. 227–268, 2009.
機能表現の省略
50
事実性の[4]RoserSaurı́ and James Pustejovsky. Are you sure that this314
happened? assessing the factuality degree of events in text.
アノテーション誤り
Computational Linguistics, Vol. 38, No. 2, pp. 261–299,
その他（形態素解析誤りなど）
422012.
[5] 磯崎秀樹, 東中竜一郎, 永田昌明, 加藤恒昭, 奥村学（監析結果は，辞書による最長一致，機械学習による解析，修）. 質問応答システム. コロナ社, 2009.
[6] 松吉俊, 江口萌, 佐尾ちとせ, 村上浩司, 乾健太郎, 松本裕治.
正解ラベルの 3 種類 5 セットを用い，それぞれに対すテキスト情報分析のための判断情報アノテーション. 電る事実性解析結果を比較した結果，機能表現の意味ラベ
子情報通信学会論文誌 D, Vol. J93-D, No. 6, pp. 705–713,
2010.
ル体系を再構築し，辞書を拡充することで，事実性解析[7] 松吉俊, 佐藤理史, 宇津呂武仁. 日本語機能表現辞書の編を改善できること，機能表現の曖昧性解消が事実性解析
纂. 自然言語処理, Vol. 14, No. 5, pp. 123–146, 2007.に貢献すること，機能表現だけでは解くことが難しい事[8] 水野淳太, 成田和弥, 乾健太郎, 大竹清敬, 鳥澤健太郎. 拡
張モダリティ解析器の試作と課題分析. ALAGIN & NLP
例がある程度存在していることを示した．機能表現だけ
若手の会 合同シンポジウム, 2013.
では解析が容易ではない事例を解くために，機能表現[9] 江口萌, 松吉俊, 佐尾ちとせ, 乾健太郎, 松本裕治. モダリ
から事実性を演算するためのルールの拡張，一部の副ティ、真偽情報、価値情報を統合した拡張モダリティ解析.
言語処理学会第 16 回年次大会発表論文集, pp. 852–855,
詞や助詞などを考慮した解析，同じ意味ラベルをもつ
2010.
機能表現の用法の区別に取り組んでいく必要がある．
[10] 上岡裕大, 成田和弥, 菅野美和, 水野淳太, 乾健太郎. 日本語文における機能表現意味ラベル付与と事実性解析への謝辞 本研究は，文部科学省科研費（23240018）の一効果. 情報処理学会 第 77 回全国大会予稿集, 2015.

環として行われた．

― 1035 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.