# 日本語談話関係解析：タスク設計・談話標識の自動認識・ コーパスアノテーション

談話関係解析は自然言語処理の基盤的な解析の一つであるが，日本語におけるコー パスベースの談話関係解析の研究はほとんどない. 本研究では日本語の談話関係解析を実用化するため，日本語の談話関係夕グ付きコーパスを構築する．日本語の談話関係タグ付きコーパスでは, 談話単位, 談話標識, 談話関係タグの 3 項目をアノ テーションする．その際，高速にコーパスを構築するため，以下の 4 つの手法を採用する。(1) Web ページの冒頭 3 文を収集したコーパスにアノテーションする。 (2)談話関係タグセットは 2 階層 7 種類とする。(3) 談話単位と談話標識は自動認識す る. (4) 熟練のアノテータによる小規模・高品質なものとクラウドソーシングを用い た大規模なものの 2 種類のアノテーションを実施する。構築したコーパスを分析し た結果，クラウドソーシングを用いたものは改善の余地があることが分かった. 構築した談話関係タグ付きコーパスを用いて, 談話関係解析器を訓練する。実験の結果, タグ付きコーパスが機械学習ベースの解析モデルの学習に有効であることが分 かった。また, 明示的な談話関係に限れば, 本研究で整備した談話標識の自動認識 が高精度な解析器として利用可能であることを示した. 本研究で構築した日本語談話関係夕グ付きコーパスは公開し, 談話単位と談話標識の自動認識器は日本語構文・格解析器 KNP に実装されている。

キーワード：談話関係解析, 談話標識, タグ付きコーパス, クラウドソーシング
## Japanese Discourse Relation Analysis: Task Definition, Connective Detection, and Corpus Annotation

\author{
Yudai Kishimoto $^{\dagger}$, Yugo Murawaki ${ }^{\dagger \dagger}$, Daisuke Kawahara $^{\dagger \dagger \dagger}$ and \\ SADAO KUROHASHI ${ }^{\dagger \dagger}$
}

Although discourse parsing is fundamental to natural language processing, limited research has been conducted on corpus-based discourse parsing in Japanese. Herein, we construct a Japanese corpus annotated with discourse units, discourse connectives, and discourse relations. We propose four strategies of easily and rapidly developing a corpus: (1) selecting web documents with their first three sentences as the target doc-

uments, (2) automatically annotating discourse units and connectives, (3) designing a discourse relation tagset consisting of seven classes organized into a two-level hierarchy, and (4) annotating discourse relations through two types of annotators, namely experts and crowd workers. We report that there is significant room for improvement in data annotation performed by crowd workers. Based on this corpus, we develop a Japanese discourse parser. Experimental results show that the proposed parser outperforms previously developed models. We also demonstrate that the automatic recognizer of discourse connectives can be used as a high-quality parser for explicit discourse relations. We implement a recognizer of discourse units and discourse connectives in KNP. We also make the corpus publicly available.

Key Words: Discourse Relations, Discourse Connectives, Annotated Corpus, Crowdsourcing

## 1 はじめに

我々は文章を読解する際，単語や句，節，文などを単独の表現として読解するのではなく，周辺の表現との意味的なつながりを理解しながら読み進めている。このようなつながりを談話関係と呼び，談話関係を解析するタスクを談話関係解析と呼ぶ。具体例を示す.

(i) 恐ろしいほど雨が降っていたせいで,

(ii) 昨日は外出できなかった.

(iii) 一昨日の天気予報では降らないと言ってたんだけどなあ.

例 (1)の (i) と (ii) は「雨が降っていたのが原因で外出できなかった」という意味的なつながりを持つので，「(i)が原因，(ii)が結果」という談話関係を持つ．同様に，(i) と (iii) は「一昨日は降らないと言っていたのに，雨が降った」という意味的なつながりを持つので，逆接の談話関係を持つ。一方，(ii)と (iii) は (i) と (ii)や, (i) と (iii)のような強い意味的なつながりを持たないと解釈できる。

談話関係解析は自然言語処理の基盤的な解析の一つであり, 英語では Penn Discourse TreeBank (PDTB) (Prasad, Dinesh, Lee, Miltsakaki, Robaldo, Joshi, and Webber 2008) や RST Discourse Treebank (RST-DT) (Carlson, Marcu, and Okurowski 2001) と呼ばれるコーパスを使って様々な研究が行われている。しかし, 日本語では因果関係抽出など談話関係の一部を取り扱った研究 (高橋, 目良, 黒澤, 竹澤 2016) や形態素・構文・意味解析結果をもとに文書全体の談話関係を解析する研究 (梅澤，原田 2011) はあるが，コーパスベースの談話関係解析の研究はほとんどない．本研究では日本語の談話関係解析を実用化するため，日本語の談話関係解析タスクを定義し，談話関係夕グ付きコーパスを高速な手法で構築する。
本研究では PDTB 2.0 (Prasad et al. 2008) を参考にして日本語の談話関係タグ付きコーパスを構築する．PDTBを参考にする理由は，RST-DT は文書全体の談話関係を 1 つの木構造で表現するためアノテーションが非常に困難であることと，隣接する談話単位間に談話関係タグを付与する PDTB の設計思想が世界的に広がっているからである．PDTBでは談話単位，談話標識，談話関係夕グの 3 項目のアノテーションが実施されている。談話単位とは談話関係を付与する単位であり, PDTBでは談話単位ができる限り短くなるようにアノテーションされている.談話標識とは「なので」や「しかし」といった談話関係を直接示す表現を指す。談話標識を持つ談話関係（以降，明示的と呼ぶ）は談話標識が大きな手がかりとなるため解析精度は非常に高い一方，談話標識を持たない談話関係（以降，非明示的と呼ぶ）の解析は非常に難しいことが知られている (Xue, Ng, Pradhan, Rutherford, Webber, Wang, and Wang 2016). 前述の例 (1) では, (i) と (ii)の関係は「〜せいで」という談話標識を持つので明示的な談話関係，(i) と (iii) の関係は談話標識を持たないので非明示的な談話関係に分類される。談話関係夕グは談話単位間に存在する談話関係を表すタグであり，PDTB 2.0 は 3 階層，下位 30 種類からなる談話関係タグセットを定義している.

PDTB は談話単位について具体的な認定基準を定めておらず，アノテータの判断で様々な長さのまとまりが談話単位としてアノテートされており，自動認識が容易ではない。近年は，大規模ラベルなしコーパスからの事前学習の有効性が認識されている (Devlin, Chang, Lee, and Toutanova 2019) が，PDTB に基づく談話単位の自動認識の難しさは，大規模ラベルなしコー パスを効果的に活用する上で障害となっている，また，高度なテキスト理解の実現のためには，談話関係解析を述語項構造解析などの他の自然言語処理タスクと連携させることが有望な方策だが，談話単位の独自性が，やはりタスク間連携の妨げとなっている。また一部の談話関係夕グの出現頻度が非常に低いため, これまでの研究では一部の夕グが無視されている.

本研究では, 談話関係夕グ付きコーパスを高速に構築する手法を提案する. 本手法のポイントは以下の 4 点である.

・ Webページの冒頭 3 文を収集したコーパスにタグ付けを実施する.

・ルールベースの解析器を構築し, 談話単位の自動認識を行う.

・ 談話標識を自動認識する高精度な解析器を整備する。

・タグセットを PDTB 2.0 よりも簡潔な 2 階層, 下位 7 種類とする.

談話関係タグのアノテーションは，熟練のアノテータによる小規模だが高品質なものとクラウドソーシングを用いた大規模なものの 2 種類を構築する. クラウドソーシングを用いた場合,安価かつ高速に大規模なアノテーションを行うことができるが, 一般的に専門家に比べて品質が劣ると言われている。そこで，コーパスの品質向上を目指して，夕スクを分割する，クラウドワーカーに言語テストを提示するなどの工夫を用いる。本研究では, 500 文書からなる高品質なコーパスと 6,445 文書からなる高速かつ大規模なコーパスが構築された. 分析の結果, クラウ

ドソーシングを用いた大規模コーパスは熟練のアノテータによるものに比べて低品質であることがわかった。これは，様々な工夫をしたものの談話関係タグ付けタスク本来の困難さが依然として残っていたことや，注意深く・真面目に取り組んでいるワーカーとそうでないワーカー の差が激しかったことが原因だと考えられる。そのため，タスクをさらなる分割や談話標識の自動認識の活用を通して, クラウドワーカーに提示するタスクをより簡潔にする必要がある.

本研究で構築した談話関係解析タグ付きコーパスを用いて談話関係解析器を訓練する。実験の結果, クラウドソーシングのアノテーションはニューラルネットワークベースの談話関係解析器を学習する際に一定の効果があることが分かった。また，本研究で整備した談話標識の自動認識は明示的な談話関係のみに焦点を絞った解析とみなすことができる。そこで談話標識の自動認識について評価したところ，高精度であることが分かった。このことから，談話標識の自動認識は精度が高い談話関係解析結果のみを抽出して別のタスクに応用するという用途において利用可能だと考えられる。したがって, 今回整備した自動認識は因果関係抽出 (高橋他 2016) や言論マップ (Murakami, Nichols, Matsuyoshi, Sumida, Masuda, Inui, and Matsumoto 2009),商品レビューを整理する応用システム (清丸，植田，児玉，田中，岸本，田中，河原，黒橋 2020) など，談話関係解析を応用した研究に適用可能である.

本研究は, 日本語のコーパスベースの談話関係解析の研究はほとんどないという現状を打破するために行った研究である。そのため, タグセットの簡単化や短い文章を対象してアノテー ションを行うなど，問題を限定して設計を行っている。現状の規模でも日本語のコーパスベー スの談話関係解析の研究に貢献できると考えているが，さらなる発展のためにはコーパスの拡張が必要である.

本研究で構築した日本語談話関係夕グ付きコーパスを公開している ${ }^{1}$ 。また, 節と談話標識の自動認識ルールは日本語構文・格解析器 $\mathrm{KNP}^{2}$ に実装されている.

## 2 関連研究

## 2.1 談話関係解析

談話関係解析は英語を筆頭に中国語，スペイン語，ドイツ語など様々な言語で研究されている. 英語では Penn Discourse Treebank (Prasad et al. 2008) と RST Discoures Treebank (Carlson et al. 2001) と呼ばれるコーパスが代表的である. PDTB は英語の新聞記事（2,159 文書）を対象として，2つの談話単位間に談話関係夕グを付与したコーパスである．RST-DT は英語の新聞記事（385 文書）に対して，隣接する談話単位間に談話関係タグを付与している．PDTB と
^{1} \mathrm{http} / / /$ nlp.ist.i.kyoto-u.ac.jp/?日本語談話関係解析

2 http://nlp.ist.i.kyoto-u.ac.jp/?KNP
}

図 1 PDTB 2.0 における談話関係タグセット. (Prasad, Webber, and Joshi 2014)より引用.

の違いは，談話単位を階層的に構造化することで，文書全体の談話関係を 1 つの木構造で表現している点である。本研究では，PDTBを参考に日本語の談話関係解析タスクを設計する.

PDTB 2.0 (Prasad et al. 2008) の談話関係タグセットは図 1 に示すとおり, 3 階層, 下位 30 種類のタグからなる。しかし PDTBのタグセットは非常に複雑であるため, “Reason”など何千回と出現する夕グがある一方で “Relevance” など出現頻度が 50 回以下の夕グが存在する不均衡コーパスとなっている。そのため，PDTBを用いた談話関係タグ分類の研究ではタスクを簡単化するために出現頻度が低いタグを除外した設定で行われる (Pitler, Louis, and Nenkova 2009; Lin, Kan, and Ng 2009; Xue, Ng, Pradhan, Prasad, Bryant, and Rutherford 2015).

英語以外の言語では，中国語の談話関係解析が近年研究されている。中国語には PDTB を参考にして構築された談話関係タグ付きコーパス (Zhou and Xue 2012) があり，これを用いた shared task が 2016 年に開催された (Xue et al. 2016). その他にも，RST で構築されたスペイン語 (da Cunha, Torres-Moreno, and Sierra 2011) やドイツ語コーパス (Stede and Neumann 2014), 6 ケ国語 (英語, ドイツ語, ポーランド語, ポルトガル語, ロシア語, トルコ語）の TED talk の
^{3} 2019$ 年 3 月に公開された PDTB 3.0 では談話関係タグセットが一部変更されている (Prasad, Webber, and Lee 2018).
}
transcripts に対して PDTB の方式でアノテーションした多言語コーパス (Zeyrek, Mendes, and Kurfalı 2018) が近年構築されている.

日本語では，金子ら (Kaneko and Bekki 2014)の研究がある，金子らは, SDRT (Asher and Lascarides 2003) と呼ばれる談話関係理論を日本語に合わせて再構築した上で，時間関係と因果関係，談話関係をアノテーションした日本語評価データを構築した。しかし，金子らのコーパスはデータ規模が 66 文（196 セグメント）と非常に小規模であり，機械学習に用いるのは困難である。本研究では，PDTBを参考に日本語の談話関係解析タスクを定義し，大規模なコーパスの構築ならびに談話関係解析器の構築を行う.

## 2.2 クラウドソーシングを用いたコーパス構築

クラウドソーシングとは，ネットを通じて不特定多数の人（以降，クラウドワーカーと呼ぶ） にタスクを発注する手法であり，多くの言語リソースの構築に利用されている (Snow, O'Connor， Jurafsky, and Ng 2008; Rajpurkar, Zhang, Lopyrev, and Liang 2016). Snow らは単語の類似度判定やRTE など 5 つのアノテーションタスクを実施した。彼らはクラウドソーシングを用いることで，単語の類似度判定のアノテーションタスク 300 問が 11 分弱で完了したと報告している. Rajpurkar らは 536 記事 107,785 問からなる大規模な機械読解コーパスを構築した。その際, Wikipediaの記事をクラウドワーカーに提示し，その記事に関する問題文と正解のぺアを作成させることで，コーパスの大規模化を実現している。 これらの研究から, クラウドソーシングを用いると, 安価でかつ高速に大規模なアノテーションを行うことができることが分かる.本研究では, 談話関係夕グ付きコーパスを構築する際にクラウドソーシングを用いることで, 安価でかつ大規模なアノテーションを行う.

クラウドソーシングを用いた場合の問題として，専門家に比べて品質が劣ると言われている.この問題に対し, 複数のクラウドワーカーに同じタスクを解かせ，その結果を集約するという品質改善手法がよく知られているが，それ以外にも Whitehill ら (Whitehill, Ruvolo, Wu, Bergsma, and Movellan 2009) や Guillaume ら (Guillaume, Fort, and Lefebvre 2016), Habernal $ら$ (Habernal, Hannemann, Pollak, Klamm, Pauli, and Gurevych 2017), Yang $ら$ (Yung, Demberg, and Scholman 2019) が品質向上の手法を提案している. Whitehill らは非常に質の悪いクラウドワーカーの意見を無視するため，重み付き多数決を用いた後処理手法を提案した，具体的には， クラウドソーシングで得られたアノテーション結果をもとに，クラウドワーカーの専門知識量やタスクの難易度などを推論することで, 質の悪いクラウドワーカーを推定し, 彼らの意見の重みを下げるという手法である. Guillaume らや Habernal らはゲーミフィケーションを用いたアノテーションを提案している。ゲーミフィケーションとは, ゲームデザインなどの要素をゲー ム以外の物事に応用することである．ゲーミフィケーションをクラウドソーシングを用いたアノテーションに取り入れる場合，クラウドワーカーが繰り返しゲームをプレイすることで，ア

ノテーションに必要な知識を学習し，その結果アノテーションの質が向上することが期待される.このゲーミフィケーションを使用し, Guillaume らは係り受け関係などの文構造のアノテー ション (Guillaume et al. 2016)を， Habernal らは意見に対する賛否分類や根拠抽出 (Habernal et al. 2017)のタスクをゲーム形式で実施した. Yang らは談話標識を含まない 2 の談話単位を提示し，談話単位間の談話関係のアノテーションを実施した。この際，クラウドワーカーに談話単位間に挿入できる談話標識を 2 度問うことで，アノテーションの品質向上を目指した。本研究では, クラウドソーシングのタスクを簡易化することで, 品質の向上を試みる.

## 3 日本語における談話関係解析タスクの設計

日本語における談話関係解析タスクを設計するために，本節では談話単位と談話関係タグセットを定義する。この際，PDTBのように談話単位や談話関係タグセットの定義が複雑かつ難解だと，アノテーションに長い時間と莫大なコストがかかってしまう，そこで本研究では，談話単位と談話関係タグセットを簡単化，明瞭化する。

## 3.1 談話関係を付与する単位

本研究では述語項構造を中心とした連続する句 4 の列を節と定義し，節を談話単位とする。なお，1つの節からなる文も節と呼ぶこととする．談話単位として節を採用した理由は，文を単位とすると談話関係と捉えるには粗すぎ，句を単位とすると逆に粒度が小さすぎるからである。 また，節は連続する句の集合体と定義したため節間の境界は句の境界と一致する。これにより，具体的な認定基準が言及されていない PDTB の談話単位よりも明解であるだけでなく, ルールベースで節分割ができるような分かりやすい単位となっている.

節の分割基準は以下の通りである.

(i) 文末，主節，並列節の末尾を節の境界とする

(ii) 主節に対する従属度が低い従属節の末尾を節の境界とする

(iii) 主節に対する従属度が中程度で，かつ項を 1 つ以上持つ従属節の末尾を節の境界とする

(iv) 連体修飾節，補文節の末尾は節の境界としない

(v) 括弧内の句は節の境界としない

主節, 並列節, 従属節の定義は『基礎日本語文法』(益岡, 田窪 1992)に従う. 従属度が低い従属節とは，主節とは独立した文法的要素を持つ従属節を指す。従属度が中程度の従属節とは, 文法的要素の一部を主節に依存する従属節を指す. 本研究では, 従属度が中程度であっても, 項を 1 つ以上持てば主節とは独立した文法的要素を持つと判断し，その末尾を節の境界とする。


なお, 従属節の分類は南の研究 (南 1993) と『現代日本語文法 6』(日本語記述文法研究会 2008) を参考にした。

具体例を示す.

(2)【泳ぐので】【入念に準備運動をする.】

（3）【友達と話していたら,】【約束の時間に遅れてしまった.】

本稿中の例において，節を【覀】で示す。また，前側に出現した節を前節，後側の節を後節と呼ぶ. 例 (2)の前節は (ii)を, 例 (3) の前節は (iii)を満たすため, 2 節に分割している.

対して, 例 (4) と例 (5) は節の分割を行わない例である.

(4)【話していたら，約束の時間に遅れてしまった.】

(5)【ワンタッチでフタが開けられるタンブラーを買った.】

例 (4)の下線部は (i)(ii)(iii)のいずれも満たしていないため, 分割しない. 例 (5)の下線部は (iii) を満たすが，連体修飾節であるので (iv)を満たさない。よって節の分割をしない.

日本語における談話関係解析タスクは，節ぺアの談話関係タグを分類するタスクと定義する. なお，節ぺアは隣接していなくても良いこととする。具体例を示す.

（6）【センター試験の対策は過去問研究につきる.】特に数学はそうである.【センター数学は，他の入試とはあらゆる面で異なる特殊な試験である. I

（7）【パーマがまだ残っているということで,】それを活かして【カットをしていただきました.】

以降，2つの【 $\cdots$ によって談話関係解析の対象となる節ぺアを表す.

文を節に分割する際，係り受け関係を無視して分割している。そのため，談話単位として不十分な場合が生じる。具体例を示す.

（8）【テーブルは時間があれば】【まめに拭いていらっしゃるようですが,】床は掃除していないのですね.

例 (8) の場合,「テーブルは」は後節の「拭いていらっしゃる」に係っている。しかし節は連続する句の集合体と定義しているため，下線部は前節に含まれてしまう。このように，節が入れ子構造になっている場合の取り扱いは今後の課題とする.
表 1 談話関係タグセット

## 3.2 談話関係タグセット

PDTB 2.0 (Prasad et al. 2008)の談話関係タグセットを参考に，日本語の談話関係タグセットを設計する．PDTB 2.0 は図 1 に示すとおり， 3 階層，下位 30 種類の夕グからなる。しかし, PDTB は何千回と出現するタグがある一方で出現頻度が 50 回以下のタグも存在する不均衡コーパスとなっている。そのため, 現在行われている談話関係解析タスクではいくつかの夕グを統合した設定や出現頻度が低いタグを除外した設定で行われる。具体的には，上位夕グである“TEMPORAL” (時間), “CONTINGENCY”（関係可能性), “COMPARISON” (転換), “EXPANSION”（展開）に集約した 4 值分類 (Pitler et al. 2009)や，中位夕グのうち出現頻度が非常に低い“Condition”（条件）や“Exception”（例外）を学習データから除外した 11 値分類 (Lin et al. 2009) が有名である。日本語の談話関係タグセットは PDTB 2.0 よりも簡単かつ明瞭なものを目指し，談話関係解析を応用したアプリケーションを想定した上で談話関係タグの取捨選択を行った，例えば，談話関係解析を応用したアプリケーションとして，賛否両論があるトピックに対する俯瞰的なマップを生成する言論マップ (Murakami et al. 2009) や Dispute Finder (Ennals, Trushkowsky, and Agosta 2010) が挙げられる。これらのシステムでは, 時間経過や詳細化, 換言といった関係よりも，因果，根拠，比較などの比較的強い談話関係が重要となる。そこで，因果や根拠を示す PDTB 2.0 の “CONTINGENCY” タグや，比較を示す PDTB 2.0 の “COMPARISON” タグ，『論理トレーニング』(野矢 2006 )を参考に， 2 階層, 下位 7 種類からなる夕グセットを設計した（表 1 ），表中の上位タイプは上位の夕グ 3 種類の総称, 下位タイプは下位のタグ 7 種類の総称である。“関係なしまたは弱い関係”（以降，“談話関係なし”と呼ぶ）は談話単位間に意味的なつながりがない場合だけでなく，詳細化や換言などの付加的な関係，時間関係も含まれる。各談話関係夕グの詳細は付録 $\mathrm{A}$ に掲載している。

順接系および逆接系の下位タイプ“逆接”については，談話関係の方向が存在する．具体例を挙げる.

（9）【ボタンを押したので，原因・理由】【お湯が出た.】
【お湯が出た.】【ボタンを押したためだ。原因・理由】

例 (9) では, 前節の「ボタンを押した」ことが原因で, 後節の「お湯が出た.」という結果になったと解釈できる。このような前節が従，後節が主となる場合を順方向と呼ぶ．逆に，例 (10)では前節の「お湯が出た」理由を後節で述べている。このような前節が主，後節が従となる関係を逆方向と呼ぶ，以降，例 $(9)$ ・例 (10)のように，従属的な節の末尾に関係名を記載することによって談話関係と方向の両方を示す. すなわち，順方向の場合には前節の末尾に，逆方向の場合には後節の末尾に関係名を記載する。

PDTB では because や however といった談話標識が含まれる場合と談話標識が含まれない場合の分類を行い，前者を明示的 (Explicit)，後者を非明示的 (Implicit) と定義している．日本語の談話関係タグセットもPDTB を参考にし，「なので」や「しかし」といった談話標識を含む場合を明示的，談話標識を含まない場合を非明示的とする。

## 3.3 談話関係タグの判断基準

節間の談話関係を定義する際，談話関係の判断が難しい例がいくつか存在する．そこで，談話関係を付与する際の基準を具体例とともに示す。なお，本節の内容は談話関係タグのアノテー ションマニュアルに記載した判断基準であり，談話関係タグを複数候補から一つに絞るために行った実処理とは一部異なる。

（11）【まずは気軽に相談してください，条件】【臨床心理士などが，いつでも相談にのります.】

（12【生乳本来の風味と栄養を大切にするため, 目的】【低温殺菌を行っているおいしい牛乳です. I

例 (11) は前節を条件とみなした順方向の“条件”と，後節を前節の理由とみなした逆方向の“原因・理由”の両方の解釈ができる。このように複数の談話関係が考えられる場合, 順方向の関係を優先する。したがって例 (11)には順方向の“条件”を付与する.

順方向を優先する理由は，順方向の関係の方が文の意味理解が容易であるためである．日本語は必ず前から後ろに係る特徵を持っている。また，複数の節からなる複文は文末の述語を終身とした節（主節）が文全体をまとめる働きをする。これら 2 点から順方向の関係の方が，逆方向の関係よりも自然な流れとなり，意味理解が容易となると考える。

同様に例 (12) は前節が「低温殺菌を行っている」の目的とみなした順方向の“目的”と，「生乳本来の風味と栄養を大切にする」から「美味しい牛乳です」とみなした順方向の “原因・理由”の両方の解釈ができる。このように，複数の談話関係が考えられ，かつ談話関係の方向が同じとなる場合は，談話標識を手がかりにタグを決定する．例 (12)の場合，前節に「〜するため」という目的を示す談話標識が含まれるため，順方向の“目的”を付与する。

（13）【これは義詮が正行の人柄を慕い, 原因・理由】そばに葬るように遺言したためといわれる. I 【このイルミネーションをプロのカメラマンに頼んで】【写真におさめる家庭もあるとか. 目的】

例 (13)の「〜といわれる」や例 (14)の「〜とか」ような定説や伝聞を示す修飾表現が節末に含まれることがある.この場合，これらの表現を無視する．例 (13)の場合, 「〜といわれる」の部分を無視すると前節が後節の理由にあたるので順方向の “原因・理由”を，例 (14) は前節が手段，後節が目的なので逆方向の“目的”を付与する.

（15）【前回のコラムでは「管理職は人を管理するな.】仕事を管理せよ」と書きました. 人を管理すると，【どうしても個人的な好き嫌いの管理になる。原因・理由】

例 (15)のように鉤括弧や丸括弧の内部と外部が同一節内に含まれる場合は，他の節と関係をもっている括弧の内部のみ，もしくは括弧の外部のみを考慮して談話関係を付与する。例 (15) の場合,「どうしても個人的な好き嫌いの管理になる」ので「管理職は人を管理するな」と解釈できるので，鉤括弧の外部を無視し，“原因・理由”とする。

（16）【強風が吹いたので,】傘が壊れた.【なので，また傘を買った.】

(17)【たった幅 $107.5 \mathrm{~mm} \times$ 奥行き $68.0 \mathrm{~mm} \times$ 高さ $13.5 \mathrm{~mm}$ というサイズで非常に小型のスイッチングハブです. 原因・理由】場所を取らないので, 【設置場所を選びません.】

最後に例 (16), 例 (17)のように $\mathrm{A} \rightarrow \mathrm{B} \rightarrow \mathrm{C}$ の三段論法が成立する場合, $\mathrm{AC}$ 間は原則 “談話関係なし”とする。ただし，AC 間に直接的な談話関係が認められる場合にはその関係を付与する. 例 (16)の場合, 三段論法が成立するが前節と後節の間に直接的な談話関係が認められないので，“談話関係なし”を付与する。例 (17) は三段論法が成立しているうえに，節ぺアに直接的な談話関係が認められる5ので，順方向の“原因・理由”を付与する。

## 4 談話単位と談話標識の自動認識

日本語の談話関係夕グ付きコーパスは談話単位, 談話標識, 談話関係タグの 3 項目をアノテー ションする。しかしPDTBのように全てを人手でアノテーションする場合, 長い時間と莫大なコストがかかる。そこで本研究では, 談話単位と談話標識を自動認識することとし, 談話関係

表 2 副詞的名詞の分類

タグのみを人手でアノテーションすることで高速な構築を目指す。本節では，構築した談話単位と談話標識の自動認識について述べる。談話単位と談話標識の自動認識は日本語構文・格解析器 KNP に実装されている.

## 4.1 節の自動認識

3.1 節の定義をもとに，節の区切れ目となる基本句を認定するルールを整備した．基本句とは KNP で用いられる基本単位の 1 つであり，1つの自立語と後続する付属語から構成される。節の区切れ目となる基本句は以下のルールを全て満たすものと定義する.
- 従属節の強さを示す素性6が，B-, B, B+, C のいずれかである.

・ 従属節の強さを示す素性が B-, B の場合, 少なくとも 1 つは項を持つ.

$\cdot$ 連体詞ではない。

$\cdot$「〜という」,「〜のように」などの機能的もしくは修飾的な表現を伴わない.

$\cdot$「〜する時」,「〜する後」などの副詞的名詞を伴う場合は，表 2 のルールを満たす.

## 4.2 談話標識の自動認識

日本語の談話標識は，前節に含まれる場合と後節に含まれる場合の 2 種類に分類される。具体例を示す.

（18）【今日は雨の予報なので,】【傘を持って行こう.】

（19）【彼は今日は休みだ.】【な゙なら，風邪を引いたからだ.】

(20)【今日は風が強い.】【台風が近づいているからだろう.】

例 (18)の下線部のように前節に含まれる談話標識をく節-機能 $>$, 例 (19), 例 (20) の下線部のように後節に含まれる談話標識を $<$ 節-前向き機能 $>$ と定義する.

前節に含まれる談話標識の中には節ぺアの関係が特定できない談話標識が一部含まれる，具

体例を示す.

## 【大学に行くのに,】【電車とバスを使う.】

【雨が降っているのに,】【隣町まで出かける.】

例 $(21)$ と例 $(22)$ はともに談話標識「〜のに」を持つが, 例 $(21)$ は目的の関係を, 例 $(22)$ は逆接の関係を持つ.このように節ぺアの関係が特定できない談話標識を＜節-機能疑 $>$ と定義する.

本研究では, 節ペア内に $<$ 節-機能 $>$ もしくは $<$ 節-前向き機能 $>$ を持つ場合, 明示的と認定する。ただし，明示的と認定した節ぺアに談話関係がない場合がある。具体例を示す.

(23) (i) 40 歳代以降, 年齢とともに増える傾向にあります.

(ii) しかし，年を取ったら

(iii) 必ずかかる避けられない病気ではありません.

例 (23)の (i)と (ii) は談話標識「しかし」を含むため明示的と認定されるが,この節ぺアには談話関係は存在しない。この現象が起こる原因は，節を自動分割する際に係り受け関係を無視しているからである。例 (23)の「しかし」は (iii)の「病気ではありません」に係っているが，節分割をする際に係り受け関係を無視しているため, 表層的に隣り合っている (ii)に含まれてしまう。このように，節が入れ子構造になっている場合の取り扱いは今後の課題とする.

<節-機能 $>, \quad<$ 節-機能疑 $>$ ，＜節-前向き節機能＞の一覧を具体例を交えて表 3 に示す. 表中の節ぺアの関係とは談話標識をもとに談話関係タグを細分類したものであり, 全部で 12 種類存在する。談話標識を分類する際，『基礎日本語文法』(益岡，田窪 1992), 『現代日本語文法 6』 (日本語記述文法研究会 2008), 『現代日本語文法 7』(日本語記述文法研究会 2009) を参考にした. 一部の談話標識は $<$ 節-機能 $>$ となる場合と，＜節-機能疑 $>$ となる場合がある. 具体例を付録 Bに掲載している。

本研究では, 表 3 に示した談話標識を分類するルールベースの自動認識器を日本語構文・格解析器 KNP に実装した。実装したルールの具体例を挙げる.

談話標識「夕形 + ため」（＜節-機能-原因・理由 $>)$

・ルール：以下のルールを全て満たす基本句に付与する.
- 基本句が節の区切れ目である.
- 基本句が名詞「ため」か名詞「為」である.
- 直前の基本句の活用形が「夕形」である.

$\cdot$例文：

【雨が降ってきたため,く節一機能一原因$\cdot$理由〉【試合は中止となった.】
表 3 節-機能のラベルセット

機能分類の欄が空欄の場合は節-機能, “疑”は節-機能疑, “前向き”は節-前向き機能を示す.談話標識「〜たら」（<節-機能-条件 $>)$

・ルール：以下のルールを全て満たす基本句に付与する.
- 基本句が節の区切れ目である.
- 基本句の活用形が「夕形条件形」である.
- 係り先である基本句が以下の条件のいずれか 1 つを満たす.

*「〜のに」「〜だろうに」などの反事実条件を示す表現が含まれる.

*反復条件を示す表現「〜ものだ」が含まれる.

*時制が過去でない.

*時制が過去だが，「できる」などの可能表現を伴う.

*時制が過去だが，「かもしれない」や「する恐れがある」などの蓋然性を示すモダリティ表現を伴う。

$\cdot$例文 :

【仕事が終わったら＜節一機能-条件〉】連絡してください.】
【彼がきてたらく節一機能一条件〉】勝てたのに.】

【もしサボっていたらく節一機能一条件〉】先生に怒られてたかもしれない.】 このようなルールを 200 例以上整備し，KNP に実装した。

## 5 談話関係タグ付きコーパスの構築

本節では，談話関係夕グ付きコーパスの構築方法について述べる。本研究では，様々なドメインを含んだコーパスを対象とし，談話単位である節と談話標識，談話関係夕グをアノテーションする。その際，節と談話標識は 4.1 節と 4.2 節で整備した自動認識器を用いて自動認識することとし，談話関係タグのみを人手でアノテーションすることで，高速なコーパス構築を目指す。 また，談話関係タグは文書中に含まれる全ての節ぺアに対して，2 種類のアノテータがそれぞれ付与する。1つ目は言語学を習得した熟練のアノテータによるものである。このタグ付けでは高品質なアノテーションが期待される．２つ目はクラウドソーシングを用いた談話関係夕グ付けである。このタグ付けでは高速かつ大規模なアノテーションが期待される.

## 5.1 タグ付け対象文書

本研究では談話関係を夕グ付けするコーパスとして，新聞記事コーパスではなく，様々なドメインの文書が含まれる京都大学ウェブ文書リードコーパス (萩行, 河原, 黒橋 2014) 7 を選択した. このコーパスを選んた理由として, Webぺージの冒頭 3 文を収集したコーパスであることがあげられる。談話関係は周辺の表現や意味的な繋がりを理解しなけれげ解けない夕スクであるため，文書が長くなると読解が困難となり，その結果タスク難易度が上昇する。さらに，本研究では文書中に含まれる全ての節ぺアに対して夕グ付けを行うため，1 文書の文数が多くなると, タグ付けする節ぺアの数も膨大になる. これに対し, 京都大学ウェブ文書リードコーパスは 1 文書の長さが 3 文であるため，文書の読解が容易であると同時に，夕グ付けする節ぺア数も平均で 6 個程度に抑えられる。のそのめ, 既存のコーパスよりも比較的容易に夕グ付けできると期待される.

## 5.2 アノテーション方法

本コーパスは，文書中に含まれる全ての節ぺアに対し，談話標識と表 1 に示した談話関係夕グのいずれか 1 つを付与する。なお，談話標識が節ペア中に存在しない場合はアノテーションしない．例 (26)を用いてタグ付け方法を説明する。


（26）一人で悩んでいてはいつまでたっても解決できません．まずは気軽に相談してください. 臨床心理士などが，いつでも相談にのります。

4.1 節で整備した自動認識器を用いると，例 $(26)$ は以下の 4 節に分割される.

(i) 一人で悩んでいては,

(ii) いつまでたっても解決できません.

(iii) まずは気軽に相談してください.

(iv)臨床心理士などが，いつでも相談にのります.

この 4 節の全組み合わせに対して談話関係のタグ付けを行う。具体的には以下の 6 例にタグ付けをする。

(27)【一人で悩んでいては条件】【つまでたっても解決できません.】まずは気軽に相談してください．臨床心理士などが，いつでも相談にのります.

（28）【一人で悩んでいては】いつまでたっても解決できません.【まずは気軽に相談してください.】臨床心理士などが，いつでも相談にのります.

（29）【一人で悩んでいては】いつまでたっても解決できません．まずは気軽に相談してくたさい.【臨床心理士などが，いつでも相談にのります.】

(30）一人で悩んでいては【いつまでたっても解決できません.】【まずは気軽に相談してください.】臨床心理士などが, いつでも相談にのります.

(31）一人で悩んでいては【いつまでたっても解決できません.】まずは気軽に相談してください.【臨床心理士などが，いつでも相談にのります.】

(32) 一人で悩んでいてはいつまでたっても解決できません.【まずは気軽に相談してください. 条件】【臨床心理士などが, いつでも相談にのります.】

例 (27) は前節が条件となる節ペアなので順方向の “条件”を付与する。例 (28) は節ぺアに談話関係がないため“談話関係なし”を付与する。同様に，例 (29), 例 (30), 例 (31) も談話関係がないため “談話関係なし”を付与する。例 (32) は前節を条件とみなした順方向の“条件”と，後節を前節の理由とみなした逆方向の “原因・理由”の両方の解釈ができる。この場合，順方向の関係を優先するため例 (32) は順方向の“条件”を付与する.

## 5.3 専門家による談話関係タグ付け

本研究では, 言語学を習得した熟練のアノテータ（以降，専門家と呼ぶ） 3 名が 3 ヶ月かけて,談話関係夕グと談話関係の方向のアノテーションを行った。このアノテーションを以降，専門

図 2 専門家による談話関係夕グ付けのタスク画面

家セットと呼ぶ．専門家セットは京都大学ウェブ文書リードコーパスから文書を無作為に抽出した 500 文書からなる。本セットのアノテーション時に専門家に提示したタスク画面を図 2 に示す.この際，4.1 節で整備した自動認識器によって分割された節を談話単位とし，自動分割結果の人手修正は行わなかった，専門家セットの談話関係タグは，専門家による多数決によって決定した，全員の意見が一致しなかった場合は，合議により談話関係を決定した。なお，専門家の意見が $2: 1$ に別れた場合，少数派であった談話関係夕グも付記という形でコーパスに記載している.

また，専門家セットのタグ付け完了後に追加のアノテーションを実施した（以降，比較セットと呼ぶ)。追加のアノテーションを行った理由は, 各専門家の習熟度を調べるためと専門家間のタグ付け結果の一致率を調べるためである．比較セットは京都大学ウェブ文書リードコーパスから無作為に抽出した 300 文書からなる．各文書は専門家セットのアノテーションを行った 3 名の専門家のうち 2 名が談話関係タグと談話関係の方向のアノテーションを行った. 比較セットは 6.2 節, 6.4 節の分析で使用する.

## 5.4 クラウドソーシングを用いた談話関係タグ付け

専門家がアノテーションを実施する場合，長い時間と莫大なコストがかかるという問題がある.この問題を解決するために本研究ではクラウドソーシングを用いた. クラウドソーシングとはネットを通じて不特定多数のクラウドワーカーにタスクを発注するシステムであり，この方法を使用することで短時間かつ安価で大規模なアノテーションが実施できる。しかし， クラウドソーシングでアノテーションされたコーパスは専門家によるものと比較して品質が劣るという欠点がある。この欠点を軽減するため, 本研究では 2 つの手法を取り入れる． 1 つ目は 10 人に対して同じ設問を実施し，クラウドワーカーの多数決で談話関係を決定することで信頼性

図 3 クラウドソーシングのタスク画面 (1段階目)

図 4 クラウドソーシングのタスク画面 (2段階目)

の向上を目指した．2つ目は専門家と同じ形式でタスクを実行するとクラウドワーカーには難しいため，タスクを分割することで簡単化を試みた，具体的には，「節ぺアの談話関係の有無の判定」と「談話関係があると判定された節ぺアを対象とした談話関係タグの判定」の 2 段階に分割してクラウドソーシングを実施する。また後者のタスクでは，言語テストを追加することで，クラウドワーカーが理解しやすい設計を目指した，以降，クラウドソーシングの詳細について説明する。

## 5.4.1 1 段階目：談話関係の有無の判定

本研究では，文書中に含まれる全ての節ぺアに対して談話関係夕グを付与する。そのため, 5.2 節の例 (28) や例 (31)のように，意味的なつながりを持たない節ぺアが多く含まれる。そこで，意味的なつながりを明らかに持たない節ぺアを除外するために，各文書に含まれる節ぺアごとに談話関係があるかないかの 2 值分類を 1 段階目で行う。まずクラウドワーカーに，ある文書に含まれるすべての節ペアを提示する（図 3)，クラウドワーカーは談話関係を持つ節ぺアをすべて選択する。10 人に対して同じ設問を実施し，1 人以上が談話関係があると選択した節ぺアを談話関係がある可能性があると判定した。なお，明示的である節ぺアはクラウドワーカー の投票結果にかかわらず, 談話関係がある可能性があると判定した.

## 5.4.2 2 段階目：談話関係タグ判定

2 段階目では，1 段階目で談話関係がある可能性があると判定された節ぺアを対象とする。まず，クラウドワーカーにアノテーション対象である節ぺアとその前後の文を提示する（図 4）. クラウドワーカーは提示された節ぺアに対して, 表 1 の下位タイプの中から最も適切な関係を選択する。この際，談話関係の方向は無視している。 10 人に対して同じ設問を実施し，多数決によって談話関係夕グを決定する。最多投票となった談話関係夕グが複数ある場合は, 最多投票のタグを全て付与する。なお, “談話関係なし”が最多投票となった場合は第 1 段階の結果を無視し，談話関係がないと判定する。

2 段階目のタスクは 5.3 節のアノテーションタスクとほぼ同一であり, タスク難易度は非常に高い，タスク難易度を下げるために付録 Aの内容を整理し，クラウドワーカーにマニュアルとして提示したが，予備実験の結果，クラウドワーカーはマニュアルを読まずにアノテーションを行っていることが分かった. そのため, クラウドワーカーのアノテーション品質を向上させるためには，マニュアルよりもシンプルでかつ直接的な方法でアノテーション基準を伝える必要がある。そこで，タスク概要欄とタスクの選択回答欄に言語テストを追加して提示した。第 2 段階においてクラウドワーカーに提示した談話関係タグのアノテーション基準を以下に示す.
- 原因・理由

（「1したがって 2$\rfloor$ と言えるが，「1さらに2」と言えない関係. $1 \cdot 2$ が逆でも可.)

例：【1 雨が降った.】よく見ると【2 道が濡れている.】

【1今, すごく眠たい.】【2 昨日徹夜しちゃたから.】

※「2したがって 1 と言える
- 目的

(「1するために 2」と言える関係. 1 ・2が逆でも可.)

例：【1今日切符を買った.】【2 明日京都に行く予定だ.】
- 条件

（「1すれば 2 と言える関係. $1 \cdot 2$ が逆でも可.)

例：【1 明日晴れれば,】午前は買い物に行こう.【2 午後は映画に行こう.】
- その他根拠

（「1だから 2 だろう」と言える関係. $1 \cdot 2$ が逆でも可.)

例 :【1ここにカバンがある.】【2 まだ社内にいるだ万う.】
- 対比

(「1しかし 2 と言え，「1そして 2$\rfloor$ と言える関係. $1 \cdot 2$ が逆でも可.)

例 : 【1 大阪は晴れだが,】【2 東京は雨だ.】
- 逆接・缞歩

(「1しかし 2$\rfloor$ と言えるが,「1そして $2 」$ と言えない関係。または「1だとしても 2$\rfloor と$
言える関係. $1 \cdot 2$ が逆でも可. ）

例：【1 カップ湎を大量に買いだめしたが,】【2 保管する場所がない.】(事実的な逆接)

【1 彼がいたとしても】【2この試合は勝てなかっただう.】(仮定的な逆接)

-上記いずれの関係もない [時間経過・詳細化・定型表現など] 8

例 1 ：時間経過（【家に着いてから】【雨が降ってきた.】）

例 2：詳細化（【昨日，テストを受けた.】【それは英語のテストたっった.】）

例 3 : 定型表現（【様々なコメントをいただき,】【ありがとうございます.】

【3４日後に発送します.】【予めご了承ください.】)

これは，提示した表現を利用してクラウドワーカーに言語テストを行ってもらうことを目的としている。例えば “条件” の場合， 1 と 2 の間に「すれば」を挿入しても問題ない場合は “条件”と判定するようにクラウドワーカーを誘導している。また，“原因・理由”と“対比”のアノテーション基準には複数の言語テストを記載している。これは予備実験を行ったところ，以下の例 (33)のように談話関係がないのに，談話関係があるとワーカー判定した節ぺアが“原因・理由”と“対比”で多く見られたためである。

【神に捧げるといわれる伝統芸能バリ島・ダンスやガムラン音楽は観光客にも人気が高い.】神々の島, 神秘の楽園といわれ,【美しいビーチもあわせもつリゾート地であります.】

例 (33) の場合，「リゾート地である」したがって「人気が高い」と言えると解釈され，予備実験では“原因・理由”であると判断された。そこで，「1さらに 2 」と言えないという条件を追加することで，例 (33)のような節ぺアが“原因・理由”にならないようにした.

## 5.4.3 クラウドセットの構築

Yahoo!クラウドソーシング9を用いて, 京都大学ウェブ文書リードコーパス全体 $\left(6,445\right.$ 文書 ${ }^{10}$, 40,067 節ペア）に対してアノテーションを行った. この際，Yahoo!クラウドソーシングに実装されているチェック問題という機能を活用した。チェック問題とは, 事前に正解を用意しておいた簡単な問題を出題し，その問題が不正解だったクラウドワーカーをタスクから除外する仕組みである。この仕組みを使用することで，クラウドワーカーが注意深く・真面目に取り組んでいるかどうかを識別することができ，その結果アノテーション品質の向上が期待できる.

表 4 クラウドセット，専門家セット，比較セットにおける談話関係タグの傾向

 &  & \multicolumn{3}{|c|}{ 比較セット } \\

アノテーションの結果，京都大学ウェブ文書リードコーパス全体の $52.1 \%$ にたる 20,878 ペアが第 1 段階を通過し，そのうち 6,312 ぺアに“談話関係なし”以外の夕グが付与された。これは, コーパス全体の $15.7 \%$ に相当する. クラウドソーシングの所要時間は, 第 1 段階が約 1 週間，第 2 段階が約 10 日たっった. クラウドソーシングの費用は，第 1 段階が約 83,000 円，第 2 段階が約 108,000 円だった.

## 6 談話関係タグ付きコーパスの分析

## 6.1 コーパスの規模

本研究で構築したコーパスは，6,445 文書，40,067 節ペアからなる. 内訳は，クラウドセットのみに含まれる節ペアが 35,830 ペア，クラウドセットと専門家セットの両方に含まれる節ぺアが 2,320 ペア，クラウドセットと比較セットの両方に含まれる節ぺアが 1,917 ペアである.

クラウドセット, 専門家セット, 比較セットにおける談話関係夕グの傾向を表 4 に示す。なお，表中の “クラウドセット”はクラウドセットのうち，専門家セットと重複している 2,320 ペアのアノテーション傾向である。1つの節ぺアに複数の談話関係タグが付与されている場合は按分している．表 4 より，談話関係タグ付きコーパスは “談話関係なし”が約 8 割を占める不均衡コーパスであることが分かる.

## 6.2 専門家のアノテーション品質

本節では，専門家 3 名の中におけるアノテーションの一致率を求めることで，専門家セットと比較セットのアノテーション品質を評価する.

アノテーションの一致率を計算する際，一般的には Cohen の $\kappa$ 係数を用いる。しかし，専門家セットは 3 名の専門家がアノテーションを行ったためこの指標が使えない.そこで本研究では Krippendorff の $\alpha$ を用いる (Krippendorff 2013). Krippendorff の $\alpha$ とは 3 名以上のアノテー
表 5 専門家セット，比較セットにおける Krippendorff の $\alpha$

タがいる際に使われる指標であり，データが欠損している場合にも使用できる. Krippendorff の $\alpha$ は以下の式で表される.

$
\alpha=1-\frac{D_{0}}{D_{e}}
$

$\mathrm{D}_{0}$ はアノテータ間で意見の不一致が実際に起こった観測值であり， $\mathrm{D}_{e}$ はアノテータ間で意見の不一致が偶然起こる期待値である， $\alpha$ は $-1 \sim 1$ の間の値をとり， 1 が完全一致， -1 が完全不一致を示す.

専門家セット，比較セットにおける Krippendorff の $\alpha$ を表 9 に示す。専門家セットの一致率が 1 になっていない理由は, 少数意見として談話関係タグが付記された節ぺアが 182 例あるからである.

表 5 より，専門家セットは非常に高い一致，比較セットは高程度の一致だと分かる。このことから，専門家セットと比較セットは高品質であると言える。

表 4 をとに，専門家間で意見が異なった節ぺアを分析する，比較セットを比較すると，専門家 C と他 2 名との間で“原因・理由”の傾向が大きく異なることが分かる．そこで専門家 C が“原因・理由”を選んだが，他の専門家が違うタグを付与した例を分析する。

（34）【ハンガリーでは住民の 93.6 \%（2002 年）がハンガリー語を話し,】【国語化している.】評価コーパス：談話関係なし（少数意見：原因・理由（順方向）） [専門家 $A, B ：$ 談話関係なし，専門家 $C:$ 原因 ・理由（順方向）] ロドニーはフィラデルフィアのジョセフ・マッキーンの下で法律を学び,【1793 年に弁護士として認可を受けた.】【ロドニーはウィルミントンとニューキャッスルで并護士業をおよそ 3 年間営んだ. 】

専門家 $\mathrm{A}$ ：談話関係なし，専門家 $\mathrm{C}$ : 原因・理由（順方向）

【公園内には魯迅の記念館と墓がある.】設置当初は「虹口公園」だったが【魯迅の死後「魯迅公園」と改称された.】

評価コーパス：原因・理由（順方向）（少数意見：談話関係なし）

[専門家 $A, C$ : 原因 - 理由（順方向）, 専門家 $B$ : 談話関係なし]
例 (34)のように専門家セットに付与したタグは “談話関係なし”だが，少数意見として“原因・理由”を併記している例が専門家セット内に 60 例ある。一方で例 (36)のように専門家セットでは“原因・理由”だが，少数意見として“談話関係なし”を併記している例が 36 例ある。これらの例の大半は, “原因・理由” の関係を明示的に伝える書き方になっていないため, 例 (35)のようにタグ付けを行うアノテータの文章読解力に依存している場合や, 例 (36) のようにアノテー 夕の背景知識に依存している場合であった。したがって，“原因・理由”と“談話関係なし”の識別は文章を読み解くアノテータの主観が大きく直結しているのではないかと推測される。

## 6.3 クラウドソーシングのアノテーション品質

クラウドソーシングで構築したクラウドセットのアノテーション品質を調查する．専門家セットを正解としたときのクラウドセットの適合率，再現率， $\mathrm{F}$ 値を求めた．結果を表 6 に示す。表中の ALL は専門家セット全体の適合率，再現率，F 値を示す。明示的は専門家セット内の明示的な談話関係を持つ節ぺアのみの, 非明示的は非明示的な談話関係を持つ節ぺアのみの適合率,再現率，F 値を示す。[下位タイプ Micro $-F]$ は “談話関係なし”を除いた下位タイプ 6 種類のマイクロ平均を，[上位タイプ Micro $-F]$ は “談話関係なし”を除いた上位タイプ 2 種類のマイクロ平均を, [談話関係あり]は談話関係があるかないかの 2 值分類にした際の適合率，再現率， $\mathrm{F}$ 值を示している．表 7 は専門家セットの談話関係夕グとは一致しなかったものの, 少数意見として付記された談話関係タグと一致した場合も正解とした場合を示している。表 7 の [下位夕イプ Micro-F]のＦ値は 0.570 であり，クラウドセットの品質は専門家セットと比べあまり良くない。そこで，どのような談話関係夕グが誤って付与されたかを分析した。

表 6 の混同行列を表 8 に示す。“原因・理由”と“談話関係なし”間の関係の識別が難しいことが分かる。具体例を示す.

（37）かつては大型コンピューター開発生産事業を行っていた.【現在はテレコム・イタリアに買収され,】【主にシステムソリューション事業を運営している.】フィアットなどと共にイタリアを代表する歴史的会社である。

クラウドセット：原因・理由，専門家セット：談話関係なし

（38）【道後温泉は日本を代表する温泉の一つです.】古くからの温泉なので，【随所に歴史の面影があります.】

クラウドセット：原因・理由，専門家セット：談話関係なし

（39）【節税対策の基本について「節税対策チェックリスト」をご用意しました.】【皆様の節税対策にお役立てください.】銀行出身者ならではの資金調達のコツをご紹介します. クラウドセット：談話関係なし，専門家セット：原因・理由（順方向）
表 6 専門家セットを正解とした時のクラウドセットの適合率，再現率， $\mathrm{F}$ 値

表 7 専門家セットを正解とした時のクラウドセットの適合率，再現率， $\mathrm{F}$ 值（少数意見も正解とみなした場合）

表 8 専門家セットとクラウドセットの混同行列

例 (37)のように，言語テスト（「1したがって 2 」と言えるが，「1さらに 2$\rfloor$ と言えない）を通らないのに“原因・理由”と判定されたものがある一方，例 (38)のように言語テストを通過する例も多く見受けられた. さらに，例 (39)のように「1したがって2」だと違和感があるが，同じ原因・理由を示す談話標識「1ですので 2 さであれば言語テストを通過する例も見られた。 このことから，“原因・理由”の言語テストは改善の余地がある。また，定型表現に対する認識の違いも“原因・理由”の $\mathrm{F}$ 值が低い要因である.

（40）情報技術学院で開催中の『パソコンセミナー』は，カリキュラム変更のため一時中止させていただく事になりました。【参加希望の生徒様には，大変ご迷惑をおかけしますが,】【ご了承ください.】『パソコンセミナー』の開催予定は未定です.

クラウドセット：談話関係なし, 専門家セット：談話関係なし

（41）【オーム社主催の第二種電気工事士試験突破研究会を下記要領で開催いたします.】合格に必要なポイントをわかりやすく解説いたします.【どうぞお気軽にお越しください.】 クラウドセット：談話関係なし，専門家セット：原因・理由（順方向）

専門家のアノテーションでは，例 (40)の「ご了承ください」のような謝罪や感謝, 話題導入を示す定型表現は“談話関係なし”とし, 例 (41)の「お気軽にお越しください」のような定型的な表現は文脈に応じて談話関係夕グを付与している。しかし, クラウドワーカーは例 (41)も “談話関係なし”と判断している。このことから，定型表現の定義がクラウドワーカには十分に伝わっていなかったものと推測される.

次に，表 6 において適合率，再現率ともに低い“根拠”について分析する。“根拠” の適合率が低い理由は，専門家セットでは “原因・理由”となっている節ぺアを“根拠”と誤答していることが原因だと推測される。具体例を示す。

（42）まだ最終回の放送前ですが【『崖っぷちのエリー』の打ち上げがありました.】【実は先週, 浅間神社のシーン撮影でクランクアップしていたのです.】大杉さんや渡辺えりさんらを始め，著名な皆さんは人を惹き込む力を持っている。.

クラウドセット：根拠，専門家セット：原因・理由（逆方向）

らに 2』と言えない」を提示した.しかし, 例 $(42)$ のように「『1さらに2』と言えない」例が存在した。この例は, “原因・理由”に比較的近い“根拠”の言語テスト（「1すれば 2 だろう」） を通過する。したがって, クラウドワーカーは言語テストの結果に従い, “原因・理由”ではなく, “根拠”と判断していたと推測される。

“根拠”の再現率が低い理由は，表 8 より，クラウドワーカーが “談話関係なし”と誤答していることが原因だと分かる。具体例を示す.

(43)【朝とタ方, イワツバメが上空を賑やかに飛び回っています.】センター近くにある立倉大橋に，ずら〜っと巣を作るのですが，【現在，巣材集めの真っ最中のようです.】湿った地面に降り立っては, 泥や枯れ草をくちばしにくわえて飛び立っていきます.

クラウドセット：原因・理由，専門家セット：根拠（順方向）

“根拠”は“原因・理由”，“目的”，“条件”には該当しないが，節ぺアの関係が根拠に基づく推量や認識を伴う節ぺアに付与する。そのため, 例 (43)のように, 他の順接系よりも談話関係は比較的弱くなり，“談話関係なし”との分類が難しくなる傾向にある。専門家は前後の文脈から “根拠” の分類ができていたが，専門家でないクラウドワーカーには分類が難しく，その結果誤答が増えたのではないかと推測する。

最後に，適合率が 0.133 と著しく低い“対比”について調べたところ，専門家セットでは “逆接”となっている節ぺアに対して“対比”と誤答していたからだと推測される。具体例を以下に示す。

（44）青森県は“青い森”というように自然に恵まれています。森や山が多くあります。【いわゆる高山はありませんが,】【高くないゆえに，その土地の人たちと密接にかかわってきました.】

クラウドセット：対比，専門家セット：逆接・譲歩（順方向）

（45）【国の公用語はフィリピノ（タガログ）語.】ただし，ビサヤ諸島のビサヤ語など，地方によってはタガログ語以外のフィリピノ語が使われている。【マニラ近郊のカビテ州の一部やミンダナオ島の一部では，スペイン語を多く含むチャバカノ語も話されている.】 クラウドセット：対比, 専門家セット：逆接・譲歩（逆方向）

“対比”と“逆接” の区別はどちらかの節に主眼がおかれているか，それとも 2 節が対等関係にあるかどうかで識別している。 クラウドセットを分析すると，例 (45) のようにアノテータによって解釈が分かれる例が多く存在しており，専門家は文章の内容をしっかりと理解した上で “対比”と“逆接”を分類していたことが分かる。一方，例 (44)のように明らかに片方に主眼がおかれている例も多く，クラウドワーカーは文章の内容を深く理解せず，言語テストなどの表層的な手がかりをもとに分類を行っていると推測される.

## 6.4 専門家とクラウドソーシングのアノテーションにおける一致率

第 2 段階におけるクラウドソーシングのアノテーションの一致率を 6.2 節で述べた Krippendorff の $\alpha$ を用いて求めた．結果を表 9 に示す。なお，第 2 段階のクラウドソーシングには 3,411 名のクラウドワーカーが参加した。

表 9 よりクラウドセットはわずかに一致するレベルであり，この点からもクラウドソーシングの品質が良くないことが分かる. クラウドソーシングが低品質である理由を分析すると, 夕スク本来の困難さが依然として残っていたことと，注意深く・真面目に取り組んでいないクラウドワーカーの除外が不十分であったことが原因たとと推測される。今回のクラウドソーシング （第 2 段階）のタスクは専門家が行ったアノテーションタスクとほぼ同一であり，夕スク難易度
表 9 クラウドセット，専門家セット，比較セットにおける Krippendorff の $\alpha$

は依然として非常に高い。そのため, タスク概要欄とタスクの選択回答欄に言語テストを追加して提示することで簡単化を試みた。しかし，表 9 と 6.3 節より，今回提示した言語テストではタスクの難易度はあまり下がらず，その結果低品質になったと推測する。また，Yahoo!クラウドソーシングに実装されているチェック問題という機能を活用し，注意深く・真面目に取り組んでいないクラウドワーカーの除外を試みた。ここでいう，注意深く・真面目に取り組んでいないクラウドワーカーとは以下の例 (46)のような談話関係タグ付けタスクを誤答するワーカー を指す。

（46）今日の試合は乱打戦で見応えがあった.【試合も勝ったし，大満足.】【ただ，最終回は胃が痛かった.】（正解：逆接）

しかしクラウドソーシング（第 2 段階）で実施したチェック問題の結果を調査すると，チェック問題の正答率が $80 \%$ 以上であったクラウドワーカーが約 $9 \%$ 存在した。これらのワーカーはインストラクションを読む等, 注意深く・真面目に取り組んでいるワーカーであると推定される.一方, 7 択問題のチャンスレート (約 14\%) より正解率が低いクラウドワーカーが約 $41 \%$ 存在した. チャンスレートより正解率が低いことから，これらのワーカーは注意深く・真面目に取り組んでいないワーカーであるとと推定される。本タスクではチェック問題を使うことで注意深く・真面目に取り組んでいないワーカーの大半は除外できたものの, 注意深く・真面目に取り組んでいないワーカーの約 1 割はチェック問題を通過していたことがわかった。このことから注意深く・真面目に取り組んでいないクラウドワーカーの除外が不十分であり，その結果，注意深く・真面目に取り組んでいるワーカーとそうでないワーカーの差が激しく, クラウドソー シングの一致率が低くなったと推測する。

低程度の一致率となったクラウドソーシングの一致率を向上させる方法として, アノテーションタスクをより簡潔にする万法を検討する。もともと，クラウドソーシングを用いた談話関係アノテーションはタスク難易度が高いことから 2 段階に分割するという対策を取っていた。しかし, Krippendorff の $\alpha$ が 0.256 と低程度の一致であることから， 2 段階に分けても依然として難易度が高いと考えられる。そこで，クラウドソーシングを現状の 2 段階から，“談話関係有り判定”, “談話関係上位タイプ判定”, “談話関係下位タイプ判定”の 3 分割に分割する方法を検討

する． 6.3 節の表 6 の [上位タイプ Micro - F] の F 值が 0.818 であることから，“談話関係上位タイプ判定”はクラウドワーカーにとって比較的難易度が低いタスクであることが分かる. したがって，“談話関係上位タイプ判定”で上位タイプを確定させたのち，順接系なら下位タイプ 4 種類の分類タスク，逆接系なら下位タイプ 2 種類の分類タスクを実施することで今よりも高品質なアノテーションが期待される.

また, アノテーションタスクをより簡潔にする方法として 4.2 節で整備した談話標識の自動認識を活用する方法も考えられる，今回のクラウドソーシングでは，談話標識を持つ節ペアは談話関係がある可能性があると判定し 5.4.2 節のタスクのみを実施したが，談話標識の自動認識を活用すれば，5.4.2 節のタスクも省略できるため，より効率的なアノテーションが実施可能である。しかし， 4.2 節の例 (23)のように明示的と認定した節ぺアに談話関係がない場合があるため，全自動で行った場合誤った夕グが付与される可能性がある。そのため，談話標識の自動認識を活用する場合は全自動では行わず，談話標識を持つ節と談話関係をクラウドワーカーに提示した上で，文章中のどの節と関係を持つかを選げせるタスクを実施することになると考えられる。このタスクであれば 5.4 .2 節のタスクより平易であるので，今よりも高品質なアノテー ションが期待される.

## 6.5 本談話関係タグ付きコーパスの限界

本研究は, 日本語のコーパスベースの談話関係解析の研究はほとんどないという現状を打破するために行った研究である。 そのため, 問題を限定してタスクやコーパスの設計を行っている。例えば, PDTB では “TEMPORAL” (時間), “CONTINGENCY” (関係可能性), “COMPARISON” (転換), “EXPANSION"（展開）の4つを対象としている。しかし本コーパスでは, 賛否両論があるトピックに対する俯瞰的なマップを生成する言論マップ (Murakami et al. 2009) や Dispute Finder (Ennals et al. 2010) などの談話関係解析を応用した具体的なアプリケーションでの使用を想定した上で，順接系（PDTB における“CONTINGENCY”），逆接系（PDTBにおける “COMPARISON") のみを対象としている。そのため，因果，根拠，比較の談話関係を利用したアプリケーションは本コーパスを用いて構築することが可能であるが，時間経過（PDTBにおける“TEMPORAL") や詳細化，換言（共にPDTBにおける“EXPANSION”）を利用したアプリケーションは構築することができない．PDTB を用いた談話関係解析タスクではいくつかのタグを統合, 除外した設定で行われていること (Pitler et al. 2009; Lin et al. 2009) から, PDTB と同規模のタグセットを設定する必要はないと考えているが, 時間経過や詳細化, 換言など頻出する関係を対象としたアノテーションは今後の検討課題である.

今回選択した京都大学ウェブ文書リードコーパスは冒頭 3 文からなるコーパスである。そのため，文書の中・終盤でのみ現れる言語現象や談話関係の出現傾向の違いがある場合, 本コー パスではカバーできない。本コーパスを用いて談話関係夕グ付きコーパスを構築するにあたつ

て前述した言語現象や談話関係の出現傾向の違いは存在しないと想定して設計しているが，文書中の位置による言語現象や談話関係の傾向の違いの分析は今後の検討課題である。また，新聞記事の文間全てを対象に明示的な談話関係の夕グ付けを行っている PDTBに比べ，京都大学ウェブ文書リードコーパスは冒頭 3 文からなるため，4 文以上離れた文間の談話関係解析には向いていない11.PDTB と同じ基準となる, 同一段落内の文間全ての談話関係夕グ付けは今後の課題である.

## 7 談話関係解析器の構築

本節では，非明示的な談話関係も認識可能な談話関係解析器を構築し，性能評価を行う。この際，小規模な専門家セットのみを訓練データとして使用した場合と，大規模なクラウドセットを訓練データとして使用した場合の 2 種類の実験を比較することで，クラウドソーシングで構築したコーパスの有効性を調べる。また専門家セットを評価セットとし, 4.2 節で整備した談話標識の自動認識の精度を評価する。

## 7.1 実験設定

## 7.1.1訓練データ

本実験のタスクは，表 1 の下位タイプ 7 値分類とし， 2 種類の実験設定で行う． 1 つ目は，高品質な専門家セット（2,320 節ぺア）を用いた 5 分割交差検定である。この実験では談話関係解析器の性能を評価する，2つ目は, 前述の 5 分割交差検定の訓練セットにクラウドセットを追加した設定である，具体的には，専門家セットの 5 分の 4 とクラウドセット全体を訓練データ,専門家セットの 5 分の 1 をテストセットとした変則的な 5 分劃交差検定を実施した. なお，クラウドセットには複数の談話関係タグが正解として付与されている節ぺアが存在するが, 本実験ではこれらの節ぺアを訓練セットから除外した 38,376 節ぺアを使用する.

## 7.1.2 モデル設定

本実験では談話標識を手がかりとした解析器と河原らの解析器 (Kawahara, Machida, Shibata, Kurohashi, Kobayashi, and Sassano 2014), BERT (Devlin et al. 2019) を用いた解析器, ハイブリッド方式の解析器の 4 種類のモデルを使用する.

談話標識を手がかりとした解析器とは, 4.2 節で構築した談話標識の自動認識器を用いて節ペアの談話関係を推定するモデルである（以降，DC と呼ぶ）。節ぺアの談話関係夕グは以下のルールに従って決定する。

表 10 談話関係解析器の素性

（i） 自動認識器を用いて節ペア内の $<$ 節-機能 $>$ と < 節-前向き機能 $>$ を抽出する. その際, $<$ 節-機能 $>$ と $<$ 節-前向き機能 $>$ のどちらも抽出された場合は $<$ 節-機能 $>$ を優先する.

（ii）＜節-機能 $>$ が抽出された場合，＜節-機能 $>$ を含む節を前節，直後の節を後節とみなし，表 3 と照らし合わせ談話関係タグを決定する。

前節とみなし, 表 3 と照らし合わせ談話関係タグを決定する.

（iv）＜節-機能 $>$ と＜節-前向き機能 > が抽出されなかった場合，もしくは節ペアが隣り合っていない場合, “談話関係なし”を付与する。

河原らの解析器（以降, opal と呼ぶ）は, 機械学習ツール opal (Yoshinaga and Kitsuregawa 2010) を使用している. opal は多項式カーネルを用いたオンライン学習が可能なモデルである.今回は passive-aggressive アルゴリズムを多クラス分類に拡張 (Matsushima, Shimizu, Yoshida, Ninomiya, and Nakagawa 2010)したものを利用した。訓練に使用する素性は日本語形態素解析器 Juman++v2 (Tolmachev, Kawahara, and Kurohashi 2018) と日本語構文・格解析器 KNP を用いて抽出した。用いた素性を表 10 に示す.

BERT は Transformer をべースとしたモデルで, pre-training と fine-tuning の 2 ステップからなる。本実験では日本語 Wikipediaを利用した日本語学習済モデル (柴田，河原，黒橋 2019$)^{12}$ を利用し，訓練データを用いて fine-tuning する．Devlin らは BERT の fine-tuning 時のモデルとして，文ぺア分類問題用，1 文分類問題用，質問応答 (SQuAD) 用，系列ラベリング問題用の 4 種類のモデルを提案している。本研究では文ペア分類問題用のモデルを使用する。このモデルは [CLS] に対応する Transformer 最終層の Embedding を利用して分類タスクを解いている.

本実験では Google が公開している Tensorflow 実装 13 を使用し， epoch 数は 3 に設定した.

クラウドセットを訓練データとして用いた場合，専門家セットに比べて品質が悪いため，， イズとなる可能性が高い。この問題に対処するために，Patrini らが提案した forward correction (Patrini, Rozza, Menon, Nock, and Qu 2017) をBERT を用いた談話関係解析器に適用する. forward correction とは, ノイズラベル $\tilde{\mathbf{y}}$ を真のラベル $\mathbf{y}$ に変換する行列 $\mathbf{T} \in[0,1]^{c \times c}$ を求めることで，ノイズが混在しているデータをニューラルネットワークの訓練データとして頑健に使うことができる手法である．具体的には，BERT の classifier の loss 関数を以下の式に変更する.

$
\begin{aligned}
L\left(\theta ; D_{e}, D_{c}\right) & =\sum_{D_{e}} L(\mathbf{x}, \mathbf{y})+\sum_{D_{c}} L(\mathbf{x}, \tilde{\mathbf{y}}) \\
& =-\log \sum_{D_{e}} p(\mathbf{y} \mid \mathbf{x})-\log \sum_{D_{c}} \hat{p}(\tilde{\mathbf{y}} \mid \mathbf{x}) \\
& =-\log \sum_{D_{e}} p(\mathbf{y} \mid \mathbf{x})-\log \sum_{D_{c}} \sum_{j=1}^{c} p\left(\tilde{\mathbf{y}}=\mathbf{e}^{i} \mid \mathbf{y}=\mathbf{e}^{j}\right) \hat{p}\left(\mathbf{y}=\mathbf{e}^{j} \mid \mathbf{x}\right) \\
& =-\log \sum_{D_{e}} p(\mathbf{y} \mid \mathbf{x})-\log \sum_{D_{c}} \sum_{j=1}^{c} \mathbf{T}_{\mathbf{j i}} \hat{p}\left(\mathbf{y}=\mathbf{e}^{j} \mid \mathbf{x}\right) \\
T_{i j} & =p\left(\tilde{\mathbf{y}}=\mathbf{e}^{j} \mid \mathbf{y}=\mathbf{e}^{i}\right)
\end{aligned}
$

$D_{e}, D_{c}$ はそれぞれ専門家セットとクラウドセットを指す。また, $\mathbf{x}$ が入力, $p(\mathbf{y} \mid \mathbf{x})$ が専門家セットのタグの出現確率, $\hat{p}(\tilde{\mathbf{y}} \mid \mathbf{x})$ がクラウドセットのタグの出現確率, $p\left(\tilde{\mathbf{y}}=\mathbf{e}^{i} \mid \mathbf{y}=\mathbf{e}^{j}\right)$ が専門家セットのタグ y がクラウドセットのタグ $\tilde{\mathbf{y}}$ に変化する確率を表す。本実験では，訓練データに含まれる専門家セット（1,856 節ペア）とクラウドセットの混同行列を計算し，それを正規化した行列を $T$ とした。

ハイブリッド方式の解析器（以降，hybrid と呼ぶ）とは，談話標識を手がかりとした解析器と BERT を組み合わせた解析器である。まず，談話標識を手がかりとした解析器で談話関係解析を行う，その後，解析結果が “談話関係なし”であった節ぺアに対して BERT を用いた談話関係解析を実施し，談話関係タグを決定する。

## 7.2 実験結果

実験結果を表 11 に示す。表中の [談話関係あり] は “談話関係なし”を除く 6 種類のマイクロ平均を示している。 [談話関係あり]の $\mathrm{F}$ 値はばらつきがあるが, Accuracy の値はどれも高い. これは談話関係タグ付きコーパスの $80 \%$ 以上が “談話関係なし”となっている不均衡コーパスたからである（表 4 参照）.

クラウドセットの有効性を調べるために, 同一モデルに対して, 訓練データとして専門家セッ

表 11 談話関係解析結果

DC は談話標識を手がかりとした解析器, opal は河原らの解析器, hybrid は DC と BERT を組み合わせたハイブリッド方式の解析器, BERT+forward correction は forward correction を適用した BERT, hybrid+forward correction は DC と forward correction を適用したBERT を組み合わせたハイブリッド方式の解析器を示す.

トのみを用いた場合とクラウドセットを追加した場合を比較した。opal は $\mathrm{F}$ 値が 0.387 から 0.311 へと約 $7 \%$ 悪化したのに対し, BERT は 0.088 から 0.374 と大幅に $\mathrm{F}$ 值が向上した. クラウドセットは品質が悪いものの規模が大きいという特性を持つ. 高次元離散素性を用いる分類器は品質の悪さの影響を強く受けたのに対して, ニューラルネットの学習には大規模な訓練データが不可欠であり，クラウドセットの規模が品質の悪さを打ち消してあまりあることがわかる. さらに, BERT+forward correction は BERT と比べて $\mathrm{F}$ 值が約 $3 \%$ 向上し, opal の $\mathrm{F}$ 值を上回った. forward correction が品質の問題を軽減し, 精度向上をもたらすことが確認できる.以上のことから, クラウドセットはニューラルネットの学習に不可欠であり, その際に forward correctionのようなノイズ耐性を備えた学習手法が有効であると結論づけられる.

## 7.3 談話標識の自動認識精度評価

4.2 節で整備した談話標識の自動認識は明示的な談話関係だけに焦点を絞ったルールベースの解析器とみなせる。そこで， 4.2 節のルールを実装した談話標識を手がかりとした解析器を用いて談話標識の自動認識の性能を評価する。テストセットは専門家セット（2,320 節ぺア）とした。実験の結果，表 11 の DC の適合率より精度が高いことが分かる。したがって，談話標識の自動認識は高精度な明示的談話関係解析器として利用可能である. DC の解析誤り例を以下に示す。なお，抽出された談話標識には下線を引いている。

(47）電報にもエコロジーを意識したものがあるのをご存知でしょうか. 電報には台紙などで紙を使います。【1年間で送られる電報の数を考えれば,】【消費される紙の量も相当でしょう.】
専門家セット：根拠 (順方向), DC：条件

(48) 文学資料閲覧のための施設です。埼玉ゆかりの文学者の作品や文学関係の資料が閲覧できます.コピーサービスは 1 枚 10 円で行っておりますが，【貸出はできませんので】【御了承ください.】専門家セット：談話関係なし, DC：原因・理由

(i)「パーキンソン病は小刻み歩行を主な症状とする病気です.

(ii) 例外的に 20 歳台から発症する方や, 80 歳を越えてから

(iii)【発症される方もあります.】

(iv)【脳の中の黒質という数が減ることが原因です.】

専門家セット：談話関係なし, DC：原因・理由

$\mathrm{DC}$ の誤りを分析すると，例 (47) や例 (48)のような, 談話標識以外の要素によって談話関係が定義される例が多く存在した。例えば例 (47)の場合, 後節に推量表現「〜でしょう」があるので “根拠”となるが，DCは条件を示す談話標識「〜ば」のみに着目しているため誤答した．同様に, 例 (48) は後節の定型表現を見落としていたため, 誤答している. 例 (49) は抽出された談話標識「原因です」が示す先は前節にあたる (iii) ではなく, (i) である。例 (49) や 4.2 節の例 (23) のような節が隣り合っていない明示的なぺアについての扱いは，今後の検討課題である。しかし, 例 (47) や例 (48), 例 (49) において, 抽出された談話標識自体は妥当であることから, 4.2 節で整備した自動認識器自体には問題がないと推測する。

一方，談話標識の自動認識が誤っている例は 11 例あった。具体例を示す.

（50）むかしむかし，この世界をつくったインデアンの神さまが旅にでました．そして，雪がいっぱいつもった村にきました.【村にはいると,】【おばあさんがないています.】専門家セット：談話関係なし，DC：条件

(51）噂の大ちゃんですね！【心配したぞ！】でも冒険したせいかちょっとりりしくなった？】専門家セット：談話関係なし，DC：逆接

談話標識「〜と」は，文脈によって“条件”を示す場合と“談話関係なし”（時間経過）を示す場合がある．例 (50) では，後節の時制が過去でないことから“条件”と識別したが，誤答している。また，＜節-前向き機能 $>$ については <節-機能疑＞のような節ぺアの関係に曖昧性がある場合を想定したタグを設定していない。しかし，例 (51)の「でも」は話題提示を示しており，談話関係とは関係ない標識である。これらのルールの修正は今後の課題である.

本研究で構築した談話標識の自動認識は, 明示的な談話関係の解析器として高精度であることが表 11 より分かった。そのため精度が高い解析結果のみを抽出して，他のアプリケーションに
応用するという用途において利用可能だと考える，実際，本研究で構築した談話標識の自動認識は談話関係解析を応用したアプリケーションで使用されている (Saito, Murawaki, and Kurohashi 2019; 清丸他 2020). Saito らは因果関係や対比関係を持つ文ぺアを大規模コーパスから収集し学習データとして用いることで, あるイベントの極性を高精度で推測するモデルを構築した。 この際，本研究で整備した談話標識の自動認識を使用することで高品質な文ぺアを収集している。清丸らは商品・サービスのレビューを原因・結果・解決策の 3 種類に集約することで情報を整理し，解決の糸口となる新たな知見や気づきを喚起するシステム「因果関係グラフ」を提案した。その際，談話標識の自動認識を使用することで因果関係を持つレビューを抽出している.これらの研究から, 本研究で整備した自動認識は因果関係抽出や知識抽出, 言論マップなどの談話関係解析を応用したアプリケーションに適用可能であることが分かる.

## 8 まとめ

本研究では日本語の談話関係解析を実用化するため, 英語の談話関係夕グ付きコーパス PDTB 2.0 を参考に，日本語の談話関係解析タスクを定義した。また，様々なドメインを含んだコー パスに，談話単位と談話標識，談話関係タグをアノテーションすることで日本語の談話関係夕グ付きコーパスを構築した. この際，高速にコーパスを構築するため，談話単位である節と談話標識はルールベースの認識器を用いて自動認識することとした. また, 人手でアノテーションをする談話関係タグは PDTB 2.0 の “CONTINGENCY” と“COMPARISON”などを参考に 2 階層, 下位 7 種類という非常に簡潔なタグセットにした.

談話関係タグのアノテーションは，3名の専門家がタグ付けした小規模なものとクラウドソー シングを用いてタグ付けした大規模なものの 2 種類を実施した. クラウドソーシングを行う際には，談話関係アノテーションタスクの難易度を考慮し，夕スクを 2 段階に分割する，クラウドワーカーに言語テストを提示するという 2 つ手法を用いて，夕スクの簡易化とアノテーション品質の向上を試みた。その結果, 6,445 文書（40,067 節ぺア）からなる談話関係夕グ付きコー パスが完成した．また，専門家のアノテーション結果と比較することでクラウドソーシングを用いた場合のアノテーション傾向と品質について分析した. 分析の結果, クラウドソーシングを用いたアノテーションは品質が良くなく, 改善の余地があることが分かった. 改善方法としてはタスクのさらなる分割や談話標識の自動認識の活用が考えられる。

本研究で構築したコーパスを用いて談話関係解析を訓練した．実験結果より，クラウドソー シングのアノテーションはニューラルネットワークベースの談話関係解析器を学習する際に有効であることが分かった．また，非明示的な談話関係を含む談話関係の解析は依然として挑戦的な課題だが, 明示的な談話関係に限れば, 本研究で整備した談話標識の自動認識が高精度な解析器として利用可能であることを示した。この解析器は, 因果関係抽出や知識獲得, 談話関
係解析を応用したアプリケーションなどへの応用が期待できる.

本研究で構築したコーパスはすでに公開されている京都大学ウェブ文書リードコーパスの一要素として公開した。また, 節と談話標識の自動認識ルールは日本語構文・格解析器 KNP の一要素として公開した。

## 謝 辞

研究開始時において澤田晋之介氏の多大なる貢献がありました．また，クラウドソーシングを実施するにあたり，颯々野学氏，小林隼人氏，柴田知秀氏，町田雄一郎氏からご助言をいただきました，石川真奈見氏，二階堂奈月氏，堀内マリ香氏には専門家として本コーパスのタグ付け作業にご協力いただきました。この場を借りて皆様に感謝申し上げます.

## 参考文献

Asher, N. and Lascarides, A. (2003). Logics of Conversation. Cambridge University Press.

Carlson, L., Marcu, D., and Okurowski, M. E. (2001). "Building a Discourse-Tagged Corpus in the Framework of Rhetorical Structure Theory." In Proceedings of the 2nd SIGdial Workshop on Discourse and Dialogue, pp. 1-10.

da Cunha, I., Torres-Moreno, J.-M., and Sierra, G. (2011). "On the Development of the RST Spanish Treebank." In Proceedings of the 5th Linguistic Annotation Workshop, pp. 1-10.

Devlin, J., Chang, M., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186.

Ennals, R., Trushkowsky, B., and Agosta, J. M. (2010). "Highlighting Disputed Claims on the Web." In Proceedings of the 19th international conference on World Wide Web, pp. 341-350.

Guillaume, B., Fort, K., and Lefebvre, N. (2016). "Crowdsourcing Complex Language Resources: Playing to Annotate Dependency Syntax." In Proceedings of the 26th International Conference on Computational Linguistics, pp. 3041-3052.

Habernal, I., Hannemann, R., Pollak, C., Klamm, C., Pauli, P., and Gurevych, I. (2017). "Argotario: Computational Argumentation Meets Serious Games." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. $7-12$.

萩行正嗣，河原大輔，黒橋禎夫 (2014). 多様な文書の書き始めに対する意味関係夕グ付きコー

パスの構築とその分析. 自然言語処理, 21 (2), pp. 213-247.

Kaneko, K. and Bekki, D. (2014). "Building a Japanese Corpus of Temporal-Causal-Discourse Structures Based on SDRT for Extracting Causal Relations." In Proceedings of the EACL 2014 Workshop on Computational Approaches to Causality in Language, pp. 33-39.

Kawahara, D., Machida, Y., Shibata, T., Kurohashi, S., Kobayashi, H., and Sassano, M. (2014). "Rapid Development of a Corpus with Discourse Annotations using Two-stage Crowdsourcing." In Proceedings of the 25th International Conference on Computational Linguistics, pp. 269-278.

清丸寛一, 植田暢大, 昌玉貴志, 田中佑, 岸本裕大, 田中リベカ, 河原大輔, 黒橋禎夫 $(2020)$.因果関係グラフ：構造的言語処理に基づくイベントの原因・結果・解決策の集約. 言語処理学会第 26 回年次大会, pp. 1125-1128.

Krippendorff, K. (2013). Content Analysis: An Introduction to Its Methodology (3rd Edition). Sage Publications.

Lin, Z., Kan, M.-Y., and Ng, H. T. (2009). "Recognizing Implicit Discourse Relations in the Penn Discourse Treebank." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pp. 343-351.

益岡隆志，田窪行則 (1992). 基礎日本語文法一改訂版一. くろしお出版.

Matsushima, S., Shimizu, N., Yoshida, K., Ninomiya, T., and Nakagawa, H. (2010). "Exact Passive-Aggressive Algorithm for Multiclass Classification Using Support Class." In Proceedings of 2010 SIAM International Conference on Data Mining, pp. 303-314.

南不二男 (1993). 現代日本語文法の輪郭. 大修館書店.

Murakami, K., Nichols, E., Matsuyoshi, S., Sumida, A., Masuda, S., Inui, K., and Matsumoto, Y. (2009). "Statement Map: Assisting Information Credibility Analysis by Visualizing Arguments." In Proceedings of the 3rd Workshop on Information Credibility on the Web, pp. 43-50.

日本語記述文法研究会 (2008). 現代日本語文法 6 第 11 部複文. 〈ろしお出版.

日本語記述文法研究会 (2009). 現代日本語文法 7 第 12 部談話, 第 13 部待遇表現. くろしお出版.

野矢茂樹 (2006). 新版論理トレーニング. 産業図書.

Patrini, G., Rozza, A., Menon, A. K., Nock, R., and Qu, L. (2017). "Making Deep Neural Networks Robust to Label Noise: A Loss Correction Approach." In Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition, pp. 1944-1952.

Pitler, E., Louis, A., and Nenkova, A. (2009). "Automatic Sense Prediction for Implicit Discourse Relations in Text." In Proceedings of the Joint Conference of the 47th Annual Meeting of
the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 683-691.

Prasad, R., Dinesh, N., Lee, A., Miltsakaki, E., Robaldo, L., Joshi, A., and Webber, B. (2008). "The Penn Discourse TreeBank 2.0." In Proceedings of the 6th International Conference on Language Resources and Evaluation, pp. 2961-2968.

Prasad, R., Webber, B., and Joshi, A. (2014). "Reflections on the Penn Discourse TreeBank, Comparable Corpora, and Complementary Annotation." Computational Linguistics, 40 (4), pp. 921-950.

Prasad, R., Webber, B., and Lee, A. (2018). "Discourse Annotation in the PDTB: The Next Generation." In Proceedings 14th Joint ACL - ISO Workshop on Interoperable Semantic Annotation, pp. 87-97.

Rajpurkar, P., Zhang, J., Lopyrev, K., and Liang, P. (2016). "SQuAD: 100,000+ Questions for Machine Comprehension of Text." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392.

Saito, J., Murawaki, Y., and Kurohashi, S. (2019). "Minimally Supervised Learning of Affective Events Using Discourse Relations." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5758-5765.

柴田知秀, 河原大輔, 黒橋禎夫 (2019). BERT による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会, pp. 205-208.

Snow, R., O'Connor, B., Jurafsky, D., and Ng, A. (2008). "Cheap and Fast - But is it Good? Evaluating Non-Expert Annotations for Natural Language Tasks." In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 254-263.

Stede, M. and Neumann, A. (2014). "Potsdam Commentary Corpus 2.0: Annotation for Discourse Research." In Proceedings of the 9th International Conference on Language Resources and Evaluation, pp. 925-929.

高橋拓誠，目良和也，黒澤義明，竹澤寿幸 (2016). 大規模テキストコーパスを用いた因果関係の自動抽出手法. 言語処理学会第 22 回年次大会, pp. 901-904.

Tolmachev, A., Kawahara, D., and Kurohashi, S. (2018). "Juman++: A Morphological Analysis Toolkit for Scriptio Continua." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59.

梅澤俊之, 原田実 (2011). センタリング理論と対象知識に基づく談話構造解析システム DIA.然言語処理, 18 (1), pp. 31-56.

Whitehill, J., Ruvolo, P., Wu, T., Bergsma, J., and Movellan, J. (2009). "Whose Vote Should

Count More: Optimal Integration of Labels from Labelers of Unknown Expertise." In $A d$ vances in Neural Information Processing Systems 22, pp. 2035-2043.

Xue, N., Ng, H. T., Pradhan, S., Prasad, R., Bryant, C., and Rutherford, A. (2015). "The CoNLL-2015 Shared Task on Shallow Discourse Parsing." In Proceedings of the CoNLL2015 Shared Task, pp. 1-16.

Xue, N., Ng, H. T., Pradhan, S., Rutherford, A., Webber, B., Wang, C., and Wang, H. (2016). "CoNLL 2016 Shared Task on Multilingual Shallow Discourse Parsing." In Proceedings of the CoNLL-16 Shared Task, pp. 1-19.

Yoshinaga, N. and Kitsuregawa, M. (2010). "Kernel Slicing: Scalable Online Training with Conjunctive Features." In Proceedings of the 23rd International Conference on Computational Linguistics, pp. 1245-1253.

Yung, F., Demberg, V., and Scholman, M. (2019). "Crowdsourcing Discourse Relation Annotations by a Two-Step Connective Insertion Task." In Proceedings of the 13th Linguistic Annotation Workshop, pp. 16-25.

Zeyrek, D., Mendes, A., and Kurfalı, M. (2018). "Multilingual Extension of PDTB-Style Annotation: The Case of TED Multilingual Discourse Bank." In Proceedings of the 11th International Conference on Language Resources and Evaluation, pp. 1913-1919.

Zhou, Y. and Xue, N. (2012). "PDTB-style Discourse Annotation of Chinese Text." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 69-77.

## 付録

## A 談話関係タグの基準

表 1 に示した 7 つの談話関係タグごとの基準を詳細に記す.

## A. 1 順接系

## A.1.1 原因・理由

「〜ので」，「だから」のような原因・理由を示す談話標識が節ぺアに含まれている，もしくは原因・理由を示す談話標識を節ぺアに挿入しても意味的なつながりが変化しない場合，“原因・理由”の夕グを付与する ${ }^{14}$.この関係をもつ節ぺアには方向があり，一般に，一方の節が原因も


しくは理由，他方の節が結果となる ${ }^{15}$. 例を示す.

(52)【必死に勉強したので, 原因・理由】【試験に受かった.】

(53)【お客様一人ひとりにあったまつ毛のスタイルや，ケアの方法をご提案しています.原因・理由】【何でもお気軽にご相談ください.】

（54）【明るく，分かりやすく，楽しく教えていきたいです.】【勉強は誰もが嫌いなものです.原因・理由】

なお，例 (53)のような比較的弱い因果関係を持つ場合や，例 (54)のような書き手の主観的な理由も“原因・理由”とする。

## A. 1.2 目的

「〜するため」のような目的を示す談話標識が使われている，もしくは目的を示す談話標識を節ペアに插入ても意味的なつながりが変化しない場合，“目的”とする ${ }^{16}$.この関係をもつ節ペアにも方向があり，一般に，一方の節が目的，他方の節が手段となる. 例を以下に示す.

（55）【試験に受かるために，目的】【必死に勉強した.】

（56）【都会から離れて,】【体をリフレッシュする，目的】

## A.1.3 条件

「〜すれば」「〜すると」のような条件を示す談話標識が使われている，もしくは条件を示す談話標識を節ぺアに挿入しても意味的なつながりが変化しない場合, “条件”とする 17 .この関係をもつ節ぺアにも方向があり，一般に，一方の節が条件，他方の節が結果となる．例を以下に示す.

【酒を飲むと条件】【すぐ顔が赤くなる.】

【雨が降れば，条件】【道がぬれる.】

例 (58)のように仮定的な条件の場合も“条件”とする.


## A.1.4 根拠

“原因・理由”，“目的”，“条件”には該当しないが，節ぺアの関係が根拠に基づく推量や認識と解釈できれば，“その他根拠”とする ${ }^{18}$.この関係をもつ節ぺアには方向があり，一般に，一方の節が根拠，他方の節が推量や認識となる。例を以下に示す.

（59）【試験に受かったのだから，根拠】【必死に勉強したのだろう.】

（60）【ツバメは，巣材集めの真っ最中のようです.】【毎日，泥や枯れ草をくちばしにくわえて飛び立っていきます. 根拠】

## A. 2 逆接系

## A.2.1 対比

「〜の一方で〜」のような対比を示す談話標識が使われている，もしくは対比を示す談話標識を節ぺアに挿入しても意味的なつながりが変化しない場合, “対比”とする ${ }^{19}$. 一方の節が他方の節を含意している場合も含む. この関係をもつ節ぺアは方向をもたないため, 本稿では前節と後節の間に談話関係タグ “対比”を記す。例を以下に示す.

（61）【大阪は雨だが,】対比【東京は晴れだ.】

(62)【本施設は会員の方は使えますが,】対比【非会員の方は使えません.】

## A.2.2 逆接

節ペアの関係を表す際，「〜しかし〜」のような逆接を示す談話標識や「確かに〜だが〜」のような譲歩を示す談話標識が使われている，もしくは逆接や譲歩を示す談話標識を節ぺアに挿入しても意味的なつながりが変化しない場合, “逆接”とする 20 . “対比”は方向をもたないが,逆接はどちらかの節に主眼があるので方向をもつ. 例を以下に示す.

（63）【昨日は雨が降っていた。 逆接】【かか, 野球の試合があった.】

(64)【明日は 1 日休みだ.】【しかすると急に仕事が入るかもしれないが. 逆接】

（65）【彼が来たとしても，逆接】【状況は改善されなかっただろう.】

例 (65)のような仮定的な逆接表現（以降, “逆条件”と呼ぶ）の場合も“逆接”とする.


## A. 3 関係なしまたは弱い関係

節ペアに意味的なつながりがない，もしくは節ぺアの関係が時間経過 21 や, 例示, 補足, 列挙, 要約・敷衍・換言・含意, 付加など 22 の弱い関係，謝罪や感謝，話題導入を示す定型表現である場合，“関係なしまたは弱い関係”とする。例を以下に示す.

（66）【毎日暑い日が続きますね.】【父の手術も無事に終わり,】少しだけほっとしてます.

（67）【これ以外の環境ではご利用いただけない可能性がありますので,】【あしからずご了承ください. I

(68)【画像を利用する際にコメントなどを頂戴し】【ありがとうございます.】

(69)【【コンビニのドル箱商品といえば】【やはり「おにぎり」です!】

例 (67) は “原因・理由”とも解釈できるが, 後節の「ご了承くたさい」が定型表現なので “関係なしまたは弱い関係”とする。同様に例 (68) は後節が定型表現，例 (69) は文全体が話題導入を示す定型表現なので“関係なしまたは弱い関係”となる.

## B曖昧性がある談話標識の分類

談話標識「〜のに」「〜ため」「〜ても」は＜節-機能 $>$ となる場合と，＜節-機能疑 $>$ となる場合が存在する。以下で具体的に説明する。

## B. $1 \sim$ のに

「〜のに」は原則として $<$ 節-機能疑-目的 $>$ と $<$ 節-機能疑-逆接 $>$ が付与されるが，「夕形 + のに」,「〜なのに」の場合のみ <節-機能-逆接 $>$ が付与される.

（70）【大学に行くのに，＜節-機能疑一目的><節一機能疑一逆接〉】【電車とバスを使う.】

（71）【彼が来たのに，＜節一機能-逆接>】【誰も反応しない.】

（72）【信号が青なのに<節一機能-逆接>】【立ち止まっている.】

## B. $2 \sim$ 〜め

「〜ため」は直前の述語によって, 付与されるラベルが変化する（表 12 参照）.
{ }^{21}$ PDTB 2.0 および 3.0 の“TEMPORAL”に相当.

22 PDTB 2.0 および 3.0 の “EXPANSION" に相当.
}
表 12 “〜ため”の分類

 \\

## B. $3 \sim$ ても

「〜ても」は係り先の基本句の時制によって付与されるラベルが変化する. 係り先の時制が過去である場合は＜節-機能疑-条件-逆条件 $>$ と <節-機能疑-逆接 $>$ が，係り先の時制が非過

（73）【彼が来ても，＜節一機能疑一条件一逆条件><節一機能疑-逆接>】【状況は改善されなかった.】

（74）【彼が来ても，<節一機能疑一条件一逆条件><節一機能疑一逆接〉【状況は改善されなかっただろう.】 ※ 例 (73) は逆接, 例 $(74)$ は逆条件の関係を持つ.

（75）【不審な点がなくてもく節一機能一条件-逆条件〉】受付近くの応接スペースで応対する.】

## 略歴

岸本裕大：2014 年京都大学工学部電気電子工学科卒業. 2016 年同大学大学院情報学研究科修士課程修了. 2020 年同大学院博士課程単位取得認定退学. 同年エニシア株式会社に入社．談話関係解析の研究に従事．修士（情報学）。情報処理学会, 言語処理学会, 各会員.

村脇有吾：2011 年京都大学大学院情報学研究科博士後期課程修了, 博士（情報学). 同年京都大学学術情報メディアセンター特定助教, 2013 年九州大学大学院システム情報科学研究院助教, 2016 年京都大学大学院情報学研究科助教，現在にいたる。テキスト解析および計算言語学に関する研究に従事. 言
語処理学会, 情報処理学会, 各会員.

河原大輔：1997 年京都大学工学部電気工学第二学科卒業. 1999 年同大学院修士課程修了. 2002 年同大学院博士課程単位取得認定退学. 東京大学大学院情報理工学系研究科学術研究支援員, 独立行政法人情報通信研究機構主任研究員, 京都大学大学院情報学研究科准教授を経て, 2020 年より早稲田大学基幹理工学部情報通信学科教授. 自然言語処理, 知識処理の研究に従事. 博士 (情報学). 情報処理学会, 言語処理学会, 人工知能学会, 電子情報通信学会, ACL，各会員。

黒橋禎夫：1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了.博士 (工学)。2006 年 4 月より京都大学大学院情報学研究科教授. 自然言語処理, 知識情報処理の研究に従事. 言語処理学会 10 周年記念論文賞, 同 20 周年記念論文賞, 第 8 回船井情報科学振興賞, 2009 IBM Faculty Award 等を受賞. 2014 年より日本学術会議連携会員.