\section{はじめに}
我々は文章を読解する際，単語や句，節，文などを単独の表現として読解するのではなく，周辺の表現との意味的なつながりを理解しながら読み進めている．このようなつながりを談話関係と呼び，談話関係を解析するタスクを談話関係解析と呼ぶ．具体例を示す．\ex.\label{ex:sample}\begin{enumerate}\renewcommand{\labelenumi}{(\roman{enumi})}\item恐ろしいほど雨が降っていたせいで，\item昨日は外出できなかった．\item一昨日の天気予報では降らないと言ってたんだけどなぁ．\end{enumerate}例\ref{ex:sample}の(i)と(ii)は「雨が降っていたのが原因で外出できなかった」という意味的なつながりを持つので，「(i)が原因，(ii)が結果」という談話関係を持つ．同様に，(i)と(iii)は「一昨日は降らないと言っていたのに，雨が降った」という意味的なつながりを持つので，逆接の談話関係を持つ．一方，(ii)と(iii)は(i)と(ii)や，(i)と(iii)のような強い意味的なつながりを持たないと解釈できる．談話関係解析は自然言語処理の基盤的な解析の一つであり，英語ではPennDiscourseTreeBank(PDTB)\cite{Prasad:LREC2008}やRSTDiscourseTreebank(RST-DT)\cite{Carlson2001}と呼ばれるコーパスを使って様々な研究が行われている．しかし，日本語では因果関係抽出など談話関係の一部を取り扱った研究\cite{takahashi:nlp2016}や形態素・構文・意味解析結果をもとに文書全体の談話関係を解析する研究\cite{umesawa:jnlp2001}はあるが，コーパスベースの談話関係解析の研究はほとんどない．本研究では日本語の談話関係解析を実用化するため，日本語の談話関係解析タスクを定義し，談話関係タグ付きコーパスを高速な手法で構築する．本研究ではPDTB2.0\cite{Prasad:LREC2008}を参考にして日本語の談話関係タグ付きコーパスを構築する．PDTBを参考にする理由は，RST-DTは文書全体の談話関係を1つの木構造で表現するためアノテーションが非常に困難であることと，隣接する談話単位間に談話関係タグを付与するPDTBの設計思想が世界的に広がっているからである．PDTBでは談話単位，談話標識，談話関係タグの3項目のアノテーションが実施されている．談話単位とは談話関係を付与する単位であり，PDTBでは談話単位ができる限り短くなるようにアノテーションされている．談話標識とは「なので」や「しかし」といった談話関係を直接示す表現を指す．談話標識を持つ談話関係（以降，明示的と呼ぶ）は談話標識が大きな手がかりとなるため解析精度は非常に高い一方，談話標識を持たない談話関係（以降，非明示的と呼ぶ）の解析は非常に難しいことが知られている\cite{sharedtask:conll2016}．前述の例\ref{ex:sample}では，(i)と(ii)の関係は「～せいで」という談話標識を持つので明示的な談話関係，(i)と(iii)の関係は談話標識を持たないので非明示的な談話関係に分類される．談話関係タグは談話単位間に存在する談話関係を表すタグであり，PDTB2.0は3階層，下位30種類からなる談話関係タグセットを定義している．PDTBは談話単位について具体的な認定基準を定めておらず，アノテータの判断で様々な長さのまとまりが談話単位としてアノテートされており，自動認識が容易ではない．近年は，大規模ラベルなしコーパスからの事前学習の有効性が認識されている\cite{BERT:NACCL2019}が，PDTBに基づく談話単位の自動認識の難しさは，大規模ラベルなしコーパスを効果的に活用する上で障害となっている．また，高度なテキスト理解の実現のためには，談話関係解析を述語項構造解析などの他の自然言語処理タスクと連携させることが有望な方策だが，談話単位の独自性が，やはりタスク間連携の妨げとなっている．また一部の談話関係タグの出現頻度が非常に低いため，これまでの研究では一部のタグが無視されている．本研究では，談話関係タグ付きコーパスを高速に構築する手法を提案する．本手法のポイントは以下の4点である．\begin{itemize}\itemWebページの冒頭3文を収集したコーパスにタグ付けを実施する．\itemルールベースの解析器を構築し，談話単位の自動認識を行う．\item談話標識を自動認識する高精度な解析器を整備する．\itemタグセットをPDTB2.0よりも簡潔な2階層，下位7種類とする．\end{itemize}談話関係タグのアノテーションは，熟練のアノテータによる小規模だが高品質なものとクラウドソーシングを用いた大規模なものの2種類を構築する．クラウドソーシングを用いた場合，安価かつ高速に大規模なアノテーションを行うことができるが，一般的に専門家に比べて品質が劣ると言われている．そこで，コーパスの品質向上を目指して，タスクを分割する，クラウドワーカーに言語テストを提示するなどの工夫を用いる．本研究では，500文書からなる高品質なコーパスと6,445文書からなる高速かつ大規模なコーパスが構築された．分析の結果，クラウドソーシングを用いた大規模コーパスは熟練のアノテータによるものに比べて低品質であることがわかった．これは，様々な工夫をしたものの談話関係タグ付けタスク本来の困難さが依然として残っていたことや，注意深く・真面目に取り組んでいるワーカーとそうでないワーカーの差が激しかったことが原因だと考えられる．そのため，タスクをさらなる分割や談話標識の自動認識の活用を通して，クラウドワーカーに提示するタスクをより簡潔にする必要がある．本研究で構築した談話関係解析タグ付きコーパスを用いて談話関係解析器を訓練する．実験の結果，クラウドソーシングのアノテーションはニューラルネットワークベースの談話関係解析器を学習する際に一定の効果があることが分かった．また，本研究で整備した談話標識の自動認識は明示的な談話関係のみに焦点を絞った解析とみなすことができる．そこで談話標識の自動認識について評価したところ，高精度であることが分かった．このことから，談話標識の自動認識は精度が高い談話関係解析結果のみを抽出して別のタスクに応用するという用途において利用可能だと考えられる．したがって，今回整備した自動認識は因果関係抽出\cite{takahashi:nlp2016}や言論マップ\cite{Murakami2009}，商品レビューを整理する応用システム\cite{kiyomaru:nlp2020}など，談話関係解析を応用した研究に適用可能である．本研究は，日本語のコーパスベースの談話関係解析の研究はほとんどないという現状を打破するために行った研究である．そのため，タグセットの簡単化や短い文章を対象してアノテーションを行うなど，問題を限定して設計を行っている．現状の規模でも日本語のコーパスベースの談話関係解析の研究に貢献できると考えているが，さらなる発展のためにはコーパスの拡張が必要である．本研究で構築した日本語談話関係タグ付きコーパスを公開している\footnote{http://nlp.ist.i.kyoto-u.ac.jp/?日本語談話関係解析}．また，節と談話標識の自動認識ルールは日本語構文・格解析器KNP\footnote{http://nlp.ist.i.kyoto-u.ac.jp/?KNP}に実装されている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{談話関係解析}談話関係解析は英語を筆頭に中国語，スペイン語，ドイツ語など様々な言語で研究されている．英語ではPennDiscourseTreebank\cite{Prasad:LREC2008}とRSTDiscouresTreebank\cite{Carlson2001}と呼ばれるコーパスが代表的である．PDTBは英語の新聞記事（2,159文書）を対象として，2つの談話単位間に談話関係タグを付与したコーパスである．RST-DTは英語の新聞記事（385文書）に対して，隣接する談話単位間に談話関係タグを付与している．PDTBとの違いは，談話単位を階層的に構造化することで，文書全体の談話関係を1つの木構造で表現している点である．本研究では，PDTBを参考に日本語の談話関係解析タスクを設計する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[t]\begin{center}\includegraphics{27-4ia7f1.eps}\end{center}\caption{PDTB2.0における談話関係タグセット．\protect\cite{Prasad:cl2014}より引用．}\label{fig:pdtb}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%PDTB2.0\cite{Prasad:LREC2008}\footnote{2019年3月に公開されたPDTB3.0では談話関係タグセットが一部変更されている\cite{prasad:COLING2018}．}の談話関係タグセットは図\ref{fig:pdtb}に示すとおり，3階層，下位30種類のタグからなる．しかしPDTBのタグセットは非常に複雑であるため，``Reason''など何千回と出現するタグがある一方で``Relevance''など出現頻度が50回以下のタグが存在する不均衡コーパスとなっている．そのため，PDTBを用いた談話関係タグ分類の研究ではタスクを簡単化するために出現頻度が低いタグを除外した設定で行われる\cite{Pitler2009a,Lin:2009:EMNLP,sharedtask:conll2015}．英語以外の言語では，中国語の談話関係解析が近年研究されている．中国語にはPDTBを参考にして構築された談話関係タグ付きコーパス\cite{cdtb}があり，これを用いたsharedtaskが2016年に開催された\cite{sharedtask:conll2016}．その他にも，RSTで構築されたスペイン語\cite{rstdt_sp}やドイツ語コーパス\cite{rstdt_ge}，6ヶ国語（英語，ドイツ語，ポーランド語，ポルトガル語，ロシア語，トルコ語）のTEDtalkのtranscriptsに対してPDTBの方式でアノテーションした多言語コーパス\cite{ZEYREK:lrec2018}が近年構築されている．日本語では，金子ら\cite{kaneko2014}の研究がある．金子らは，SDRT\cite{Asher2003}と呼ばれる談話関係理論を日本語に合わせて再構築した上で，時間関係と因果関係，談話関係をアノテーションした日本語評価データを構築した．しかし，金子らのコーパスはデータ規模が66文（196セグメント）と非常に小規模であり，機械学習に用いるのは困難である．本研究では，PDTBを参考に日本語の談話関係解析タスクを定義し，大規模なコーパスの構築ならびに談話関係解析器の構築を行う．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{クラウドソーシングを用いたコーパス構築}クラウドソーシングとは，ネットを通じて不特定多数の人（以降，クラウドワーカーと呼ぶ）にタスクを発注する手法であり，多くの言語リソースの構築に利用されている\cite{D08-1027,squad}．Snowらは単語の類似度判定やRTEなど5つのアノテーションタスクを実施した．彼らはクラウドソーシングを用いることで，単語の類似度判定のアノテーションタスク300問が11分弱で完了したと報告している．Rajpurkarらは536記事107,785問からなる大規模な機械読解コーパスを構築した．その際，Wikipediaの記事をクラウドワーカーに提示し，その記事に関する問題文と正解のペアを作成させることで，コーパスの大規模化を実現している．これらの研究から，クラウドソーシングを用いると，安価でかつ高速に大規模なアノテーションを行うことができることが分かる．本研究では，談話関係タグ付きコーパスを構築する際にクラウドソーシングを用いることで，安価でかつ大規模なアノテーションを行う．クラウドソーシングを用いた場合の問題として，専門家に比べて品質が劣ると言われている．この問題に対し，複数のクラウドワーカーに同じタスクを解かせ，その結果を集約するという品質改善手法がよく知られているが，それ以外にもWhitehillら\cite{Whitehill2009}やGuillaumeら\cite{Bruno2016}，Habernalら\cite{Argotario}，Yangら\cite{yung:ACL2019}が品質向上の手法を提案している．Whitehillらは非常に質の悪いクラウドワーカーの意見を無視するため，重み付き多数決を用いた後処理手法を提案した．具体的には，クラウドソーシングで得られたアノテーション結果をもとに，クラウドワーカーの専門知識量やタスクの難易度などを推論することで，質の悪いクラウドワーカーを推定し，彼らの意見の重みを下げるという手法である．GuillaumeらやHabernalらはゲーミフィケーションを用いたアノテーションを提案している．ゲーミフィケーションとは，ゲームデザインなどの要素をゲーム以外の物事に応用することである．ゲーミフィケーションをクラウドソーシングを用いたアノテーションに取り入れる場合，クラウドワーカーが繰り返しゲームをプレイすることで，アノテーションに必要な知識を学習し，その結果アノテーションの質が向上することが期待される．このゲーミフィケーションを使用し，Guillaumeらは係り受け関係などの文構造のアノテーション\cite{Bruno2016}を，Habernalらは意見に対する賛否分類や根拠抽出\cite{Argotario}のタスクをゲーム形式で実施した．Yangらは談話標識を含まない2つの談話単位を提示し，談話単位間の談話関係のアノテーションを実施した．この際，クラウドワーカーに談話単位間に挿入できる談話標識を2度問うことで，アノテーションの品質向上を目指した．本研究では，クラウドソーシングのタスクを簡易化することで，品質の向上を試みる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{日本語における談話関係解析タスクの設計}
\label{sec:define}日本語における談話関係解析タスクを設計するために，本節では談話単位と談話関係タグセットを定義する．この際，PDTBのように談話単位や談話関係タグセットの定義が複雑かつ難解だと，アノテーションに長い時間と莫大なコストがかかってしまう．そこで本研究では，談話単位と談話関係タグセットを簡単化，明瞭化する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{談話関係を付与する単位}\label{subsec:argument}本研究では述語項構造を中心とした連続する句\footnote{詳細は\ref{sec:clause}節で説明する．}の列を節と定義し，節を談話単位とする．なお，1つの節からなる文も節と呼ぶこととする．談話単位として節を採用した理由は，文を単位とすると談話関係と捉えるには粗すぎ，句を単位とすると逆に粒度が小さすぎるからである．また，節は連続する句の集合体と定義したため節間の境界は句の境界と一致する．これにより，具体的な認定基準が言及されていないPDTBの談話単位よりも明解であるだけでなく，ルールベースで節分割ができるような分かりやすい単位となっている．節の分割基準は以下の通りである．\begin{enumerate}\renewcommand{\labelenumi}{(\roman{enumi})}\item文末，主節，並列節の末尾を節の境界とする\item主節に対する従属度が低い従属節の末尾を節の境界とする\item主節に対する従属度が中程度で，かつ項を1つ以上持つ従属節の末尾を節の境界とする\item連体修飾節，補文節の末尾は節の境界としない\item括弧内の句は節の境界としない\end{enumerate}主節，並列節，従属節の定義は『基礎日本語文法』\cite{kisonihongo}に従う．従属度が低い従属節とは，主節とは独立した文法的要素を持つ従属節を指す．従属度が中程度の従属節とは，文法的要素の一部を主節に依存する従属節を指す．本研究では，従属度が中程度であっても，項を1つ以上持てば主節とは独立した文法的要素を持つと判断し，その末尾を節の境界とする．なお，従属節の分類は南の研究\cite{minami1993}と『現代日本語文法6』\cite{gendainihongo_6}を参考にした．具体例を示す．\ex.\label{split1}【泳ぐので】【入念に準備運動をする．】\ex.\label{split2}【友達と話していたら，】【約束の時間に遅れてしまった．】本稿中の例において，節を【…】で示す．また，前側に出現した節を\textbf{前節}，後側の節を\textbf{後節}と呼ぶ．例\ref{split1}の前節は(ii)を，例\ref{split2}の前節は(iii)を満たすため，2節に分割している．対して，例\ref{split3}と例\ref{split4}は節の分割を行わない例である．\ex.\label{split3}【\underline{話していたら}，約束の時間に遅れてしまった．】\ex.\label{split4}【\underline{ワンタッチでフタが開けられる}タンブラーを買った．】例\ref{split3}の下線部は(i)(ii)(iii)のいずれも満たしていないため，分割しない．例\ref{split4}の下線部は(iii)を満たすが，連体修飾節であるので(iv)を満たさない．よって節の分割をしない．日本語における談話関係解析タスクは，節ペアの談話関係タグを分類するタスクと定義する．なお，節ペアは隣接していなくても良いこととする．具体例を示す．\ex.\label{pair1}【センター試験の対策は過去問研究につきる．】特に数学はそうである．【センター数学は，他の入試とはあらゆる面で異なる特殊な試験である．】\ex.\label{pair2}【パーマがまだ残っているということで，】それを活かして【カットをしていただきました．】以降，2つの【…】によって談話関係解析の対象となる節ペアを表す．文を節に分割する際，係り受け関係を無視して分割している．そのため，談話単位として不十分な場合が生じる．具体例を示す．\ex.\label{clause_error1}【\underline{テーブルは}時間があれば】【こまめに拭いていらっしゃるようですが，】床は掃除していないのですね．例\ref{clause_error1}の場合，「テーブルは」は後節の「拭いていらっしゃる」に係っている．しかし節は連続する句の集合体と定義しているため，下線部は前節に含まれてしまう．このように，節が入れ子構造になっている場合の取り扱いは今後の課題とする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{談話関係タグセット}PDTB2.0\cite{Prasad:LREC2008}の談話関係タグセットを参考に，日本語の談話関係タグセットを設計する．PDTB2.0は図\ref{fig:pdtb}に示すとおり，3階層，下位30種類のタグからなる．しかし，PDTBは何千回と出現するタグがある一方で出現頻度が50回以下のタグも存在する不均衡コーパスとなっている．そのため，現在行われている談話関係解析タスクではいくつかのタグを統合した設定や出現頻度が低いタグを除外した設定で行われる．具体的には，上位タグである``TEMPORAL''（時間），``CONTINGENCY''（関係可能性），``COMPARISON''（転換），``EXPANSION''（展開）に集約した4値分類\cite{Pitler2009a}や，中位タグのうち出現頻度が非常に低い``Condition''（条件）や``Exception''（例外）を学習データから除外した11値分類\cite{Lin:2009:EMNLP}が有名である．日本語の談話関係タグセットはPDTB2.0よりも簡単かつ明瞭なものを目指し，談話関係解析を応用したアプリケーションを想定した上で談話関係タグの取捨選択を行った．例えば，談話関係解析を応用したアプリケーションとして，賛否両論があるトピックに対する俯瞰的なマップを生成する言論マップ\cite{Murakami2009}やDisputeFinder\cite{Ennals2010}が挙げられる．これらのシステムでは，時間経過や詳細化，換言といった関係よりも，因果，根拠，比較などの比較的強い談話関係が重要となる．そこで，因果や根拠を示すPDTB2.0の``CONTINGENCY''タグや，比較を示すPDTB2.0の``COMPARISON''タグ，『論理トレーニング』\cite{Noya2006}を参考に，2階層，下位7種類からなるタグセットを設計した（表\ref{Table:Tagset}）．表中の\textbf{上位タイプ}は上位のタグ3種類の総称，\textbf{下位タイプ}は下位のタグ7種類の総称である．``関係なしまたは弱い関係''（以降，``談話関係なし''と呼ぶ）は談話単位間に意味的なつながりがない場合だけでなく，詳細化や換言などの付加的な関係，時間関係も含まれる．各談話関係タグの詳細は付録\ref{sub:annotation_manual1}に掲載している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[t]\caption{談話関係タグセット}\label{Table:Tagset}\input{07table01.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%順接系および逆接系の下位タイプ``逆接''については，談話関係の方向が存在する．具体例を挙げる．\ex.\label{direction1}【ボタンを押したので，$_{原因・理由}$】【お湯が出た．】\ex.\label{direction2}【お湯が出た．】【ボタンを押したためだ．$_{原因・理由}$】例\ref{direction1}では，前節の「ボタンを押した」ことが原因で，後節の「お湯が出た．」という結果になったと解釈できる．このような前節が従，後節が主となる場合を\textbf{順方向}と呼ぶ．逆に，例\ref{direction2}では前節の「お湯が出た」理由を後節で述べている．このような前節が主，後節が従となる関係を\textbf{逆方向}と呼ぶ．以降，例\ref{direction1}・例\ref{direction2}のように，従属的な節の末尾に関係名を記載することによって談話関係と方向の両方を示す．すなわち，順方向の場合には前節の末尾に，逆方向の場合には後節の末尾に関係名を記載する．PDTBではbecauseやhoweverといった談話標識が含まれる場合と談話標識が含まれない場合の分類を行い，前者を明示的(Explicit)，後者を非明示的(Implicit)と定義している．日本語の談話関係タグセットもPDTBを参考にし，「なので」や「しかし」といった談話標識を含む場合を明示的，談話標識を含まない場合を非明示的とする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{談話関係タグの判断基準}\label{sub:annotation_manual2}節間の談話関係を定義する際，談話関係の判断が難しい例がいくつか存在する．そこで，談話関係を付与する際の基準を具体例とともに示す．なお，本節の内容は談話関係タグのアノテーションマニュアルに記載した判断基準であり，談話関係タグを複数候補から一つに絞るために行った実処理とは一部異なる．\ex.\label{difficult0}【まずは気軽に相談してください．$_{条件}$】【臨床心理士などが，いつでも相談にのります．】\ex.\label{difficult1}【生乳本来の風味と栄養を大切にするため，$_{目的}$】【低温殺菌を行っているおいしい牛乳です．】例\ref{difficult0}は前節を条件とみなした順方向の``条件''と，後節を前節の理由とみなした逆方向の``原因・理由''の両方の解釈ができる．このように複数の談話関係が考えられる場合，順方向の関係を優先する．したがって例\ref{difficult0}には順方向の``条件''を付与する．順方向を優先する理由は，順方向の関係の方が文の意味理解が容易であるためである．日本語は必ず前から後ろに係る特徴を持っている．また，複数の節からなる複文は文末の述語を終身とした節（主節）が文全体をまとめる働きをする．これら2点から順方向の関係の方が，逆方向の関係よりも自然な流れとなり，意味理解が容易となると考える．同様に例\ref{difficult1}は前節が「低温殺菌を行っている」の目的とみなした順方向の``目的''と，「生乳本来の風味と栄養を大切にする」から「美味しい牛乳です」とみなした順方向の``原因・理由''の両方の解釈ができる．このように，複数の談話関係が考えられ，かつ談話関係の方向が同じとなる場合は，談話標識を手がかりにタグを決定する．例\ref{difficult1}の場合，前節に「～するため」という目的を示す談話標識が含まれるため，順方向の``目的''を付与する．\ex.\label{difficult2}【これは義詮が正行の人柄を慕い，$_{原因・理由}$】【そばに葬るように遺言したためといわれる．】\ex.\label{difficult6}【このイルミネーションをプロのカメラマンに頼んで】【写真におさめる家庭もあるとか．$_{目的}$】例\ref{difficult2}の「～といわれる」や例\ref{difficult6}の「～とか」ような定説や伝聞を示す修飾表現が節末に含まれることがある．この場合，これらの表現を無視する．例\ref{difficult2}の場合，「～といわれる」の部分を無視すると前節が後節の理由にあたるので順方向の``原因・理由''を，例\ref{difficult6}は前節が手段，後節が目的なので逆方向の``目的''を付与する．\ex.\label{difficult3}【前回のコラムでは「管理職は人を管理するな．】仕事を管理せよ」と書きました．人を管理すると，【どうしても個人的な好き嫌いの管理になる．$_{原因・理由}$】例\ref{difficult3}のように鉤括弧や丸括弧の内部と外部が同一節内に含まれる場合は，他の節と関係をもっている括弧の内部のみ，もしくは括弧の外部のみを考慮して談話関係を付与する．例\ref{difficult3}の場合，「どうしても個人的な好き嫌いの管理になる」ので「管理職は人を管理するな」と解釈できるので，鉤括弧の外部を無視し，``原因・理由''とする．\ex.\label{difficult4}【強風が吹いたので，】傘が壊れた．【なので，また傘を買った．】\ex.\label{difficult5}【たった幅107.5ｍｍ×奥行き68.0ｍｍ×高さ13.5ｍｍというサイズで非常に小型のスイッチングハブです．$_{原因・理由}$】場所を取らないので，【設置場所を選びません．】最後に例\ref{difficult4}，例\ref{difficult5}のようにA$\rightarrow$B$\rightarrow$Cの三段論法が成立する場合，AC間は原則``談話関係なし''とする．ただし，AC間に直接的な談話関係が認められる場合にはその関係を付与する．例\ref{difficult4}の場合，三段論法が成立するが前節と後節の間に直接的な談話関係が認められないので，``談話関係なし''を付与する．例\ref{difficult5}は三段論法が成立しているうえに，節ペアに直接的な談話関係が認められる\footnote{前節が後節の理由となる．}ので，順方向の``原因・理由''を付与する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{談話単位と談話標識の自動認識}
日本語の談話関係タグ付きコーパスは談話単位，談話標識，談話関係タグの3項目をアノテーションする．しかしPDTBのように全てを人手でアノテーションする場合，長い時間と莫大なコストがかかる．そこで本研究では，談話単位と談話標識を自動認識することとし，談話関係タグのみを人手でアノテーションすることで高速な構築を目指す．本節では，構築した談話単位と談話標識の自動認識について述べる．談話単位と談話標識の自動認識は日本語構文・格解析器KNPに実装されている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{節の自動認識}\label{sec:clause}\ref{subsec:argument}節の定義をもとに，節の区切れ目となる基本句を認定するルールを整備した．基本句とはKNPで用いられる基本単位の1つであり，1つの自立語と後続する付属語から構成される．節の区切れ目となる基本句は以下のルールを全て満たすものと定義する．\begin{itemize}\item従属節の強さを示す素性\footnote{分類は南\cite{minami1993}に準ずる．}が，B$-$，B，B$+$，Cのいずれかである．\item従属節の強さを示す素性がB$-$，Bの場合，少なくとも1つは項を持つ．\item連体詞ではない．\item「～という」，「～のように」などの機能的もしくは修飾的な表現を伴わない．\item「～する時」，「～する後」などの副詞的名詞を伴う場合は，表\ref{tab:toki}のルールを満たす．\end{itemize}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[t]\caption{副詞的名詞の分類}\label{tab:toki}\input{07table02.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{談話標識の自動認識}\label{sec:dc_prediction}日本語の談話標識は，前節に含まれる場合と後節に含まれる場合の2種類に分類される．具体例を示す．\ex.\label{clause_function1}【今日は雨の予報\underline{なので}，】【傘を持って行こう．】\ex.\label{clause_function2}【彼は今日は休みだ．】【\underline{なぜなら}，風邪を引いたからだ．】\ex.\label{clause_function3}【今日は風が強い．】【台風が近づいている\underline{からだろう}．】例\ref{clause_function1}の下線部のように前節に含まれる談話標識を$<$節-機能$>$，例\ref{clause_function2}，例\ref{clause_function3}の下線部のように後節に含まれる談話標識を$<$節-前向き機能$>$と定義する．前節に含まれる談話標識の中には節ペアの関係が特定できない談話標識が一部含まれる．具体例を示す．\ex.\label{cf_utagai1}【大学に行く\underline{のに}，】【電車とバスを使う．】\ex.\label{cf_utagai2}【雨が降っている\underline{のに}，】【隣町まで出かける．】例\ref{cf_utagai1}と例\ref{cf_utagai2}はともに談話標識「～のに」を持つが，例\ref{cf_utagai1}は目的の関係を，例\ref{cf_utagai2}は逆接の関係を持つ．このように節ペアの関係が特定できない談話標識を$<$節-機能疑$>$と定義する．本研究では，節ペア内に$<$節-機能$>$もしくは$<$節-前向き機能$>$を持つ場合，明示的と認定する．ただし，明示的と認定した節ペアに談話関係がない場合がある．具体例を示す．\ex.\label{dc_error0}\begin{enumerate}\renewcommand{\labelenumi}{(\roman{enumi})}\item40歳代以降，年齢とともに増える傾向にあります．\item\underline{しかし}，年を取ったら\item必ずかかる避けられない病気ではありません．\end{enumerate}例\ref{dc_error0}の(i)と(ii)は談話標識「しかし」を含むため明示的と認定されるが，この節ペアには談話関係は存在しない．この現象が起こる原因は，節を自動分割する際に係り受け関係を無視しているからである．例\ref{dc_error0}の「しかし」は(iii)の「病気ではありません」に係っているが，節分割をする際に係り受け関係を無視しているため，表層的に隣り合っている(ii)に含まれてしまう．このように，節が入れ子構造になっている場合の取り扱いは今後の課題とする．$<$節-機能$>$，$<$節-機能疑$>$，$<$節-前向き節機能$>$の一覧を具体例を交えて表\ref{tab:cf_tagset}に示す．表中の\textbf{節ペアの関係}とは談話標識をもとに談話関係タグを細分類したものであり，全部で12種類存在する．談話標識を分類する際，『基礎日本語文法』\cite{kisonihongo}，『現代日本語文法6』\cite{gendainihongo_6}，『現代日本語文法7』\cite{gendainihongo_7}を参考にした．一部の談話標識は$<$節-機能$>$となる場合と，$<$節-機能疑$>$となる場合がある．具体例を付録\ref{sub:ambiguous_clause_function}に掲載している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[t]\caption{節-機能のラベルセット}\label{tab:cf_tagset}\input{07table03.tex}\vspace{4pt}\small機能分類の欄が空欄の場合は節-機能，``疑''は節-機能疑，``前向き''は節-前向き機能を示す．\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%本研究では，表\ref{tab:cf_tagset}に示した談話標識を分類するルールベースの自動認識器を日本語構文・格解析器KNPに実装した．実装したルールの具体例を挙げる．\ex.談話標識「タ形+ため」（$<$節-機能-原因・理由$>$）\begin{itemize}\itemルール：以下のルールを全て満たす基本句に付与する．\begin{itemize}\item基本句が節の区切れ目である．\item基本句が名詞「ため」か名詞「為」である．\item直前の基本句の活用形が「タ形」である．\end{itemize}\item例文：\\【雨が降ってきた\underline{ため，}$_{<節-機能-原因・理由>}$】【試合は中止となった．】\end{itemize}\ex.談話標識「～たら」（$<$節-機能-条件$>$）\begin{itemize}\itemルール：以下のルールを全て満たす基本句に付与する．\begin{itemize}\item基本句が節の区切れ目である．\item基本句の活用形が「タ形条件形」である．\item係り先である基本句が以下の条件のいずれか1つを満たす．\begin{itemize}\item「～のに」「～だろうに」などの反事実条件を示す表現が含まれる．\item反復条件を示す表現「～ものだ」が含まれる．\item時制が過去でない．\item時制が過去だが，「できる」などの可能表現を伴う．\item時制が過去だが，「かもしれない」や「する恐れがある」などの\\蓋然性を示すモダリティ表現を伴う．\end{itemize}\end{itemize}\item例文：\\【仕事が終わっ\underline{たら}$_{<節-機能-条件>}$】【連絡してください．】\\【彼がきて\underline{たら}$_{<節-機能-条件>}$】【勝てた\underline{のに}．】\\【もしサボってい\underline{たら}$_{<節-機能-条件>}$】【先生に怒られてた\underline{かもしれない}．】\end{itemize}このようなルールを200例以上整備し，KNPに実装した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{談話関係タグ付きコーパスの構築}
\label{sec:build_corpus}本節では，談話関係タグ付きコーパスの構築方法について述べる．本研究では，様々なドメインを含んだコーパスを対象とし，談話単位である節と談話標識，談話関係タグをアノテーションする．その際，節と談話標識は\ref{sec:clause}節と\ref{sec:dc_prediction}節で整備した自動認識器を用いて自動認識することとし，談話関係タグのみを人手でアノテーションすることで，高速なコーパス構築を目指す．また，談話関係タグは文書中に含まれる全ての節ペアに対して，2種類のアノテータがそれぞれ付与する．1つ目は言語学を習得した熟練のアノテータによるものである．このタグ付けでは高品質なアノテーションが期待される．2つ目はクラウドソーシングを用いた談話関係タグ付けである．このタグ付けでは高速かつ大規模なアノテーションが期待される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{タグ付け対象文書}本研究では談話関係をタグ付けするコーパスとして，新聞記事コーパスではなく，様々なドメインの文書が含まれる京都大学ウェブ文書リードコーパス\cite{KWDLC}\footnote{http://nlp.ist.i.kyoto-u.ac.jp/index.php?KWDLC}を選択した．このコーパスを選んだ理由として，Webページの冒頭3文を収集したコーパスであることがあげられる．談話関係は周辺の表現や意味的な繋がりを理解しなければ解けないタスクであるため，文書が長くなると読解が困難となり，その結果タスク難易度が上昇する．さらに，本研究では文書中に含まれる全ての節ペアに対してタグ付けを行うため，1文書の文数が多くなると，タグ付けする節ペアの数も膨大になる．これに対し，京都大学ウェブ文書リードコーパスは1文書の長さが3文であるため，文書の読解が容易であると同時に，タグ付けする節ペア数も平均で6個程度に抑えられる．そのため，既存のコーパスよりも比較的容易にタグ付けできると期待される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{アノテーション方法}\label{sub:annotation_method}本コーパスは，文書中に含まれる全ての節ペアに対し，談話標識と表\ref{Table:Tagset}に示した談話関係タグのいずれか1つを付与する．なお，談話標識が節ペア中に存在しない場合はアノテーションしない．例\ref{anno_sample_doc}を用いてタグ付け方法を説明する．\ex.\label{anno_sample_doc}一人で悩んでいてはいつまでたっても解決できません．まずは気軽に相談してください．臨床心理士などが，いつでも相談にのります．\ref{sec:clause}節で整備した自動認識器を用いると，例\ref{anno_sample_doc}は以下の4節に分割される．\begin{enumerate}\setlength{\leftskip}{1.0cm}\renewcommand{\labelenumi}{(\roman{enumi})}\item一人で悩んでいては，\itemいつまでたっても解決できません．\itemまずは気軽に相談してください．\item臨床心理士などが，いつでも相談にのります．\end{enumerate}この4節の全組み合わせに対して談話関係のタグ付けを行う．具体的には以下の6例にタグ付けをする．\ex.\label{anno_1_2}【一人で悩んでいては$_{条件}$】【いつまでたっても解決できません．】まずは気軽に相談してください．臨床心理士などが，いつでも相談にのります．\ex.\label{anno_1_3}【一人で悩んでいては】いつまでたっても解決できません．【まずは気軽に相談してください．】臨床心理士などが，いつでも相談にのります．\ex.\label{anno_1_4}【一人で悩んでいては】いつまでたっても解決できません．まずは気軽に相談してください．【臨床心理士などが，いつでも相談にのります．】\ex.\label{anno_2_3}一人で悩んでいては【いつまでたっても解決できません．】【まずは気軽に相談してください．】臨床心理士などが，いつでも相談にのります．\ex.\label{anno_2_4}一人で悩んでいては【いつまでたっても解決できません．】まずは気軽に相談してください．【臨床心理士などが，いつでも相談にのります．】\ex.\label{anno_3_4}一人で悩んでいてはいつまでたっても解決できません．【まずは気軽に相談してください．$_{条件}$】【臨床心理士などが，いつでも相談にのります．】例\ref{anno_1_2}は前節が条件となる節ペアなので順方向の``条件''を付与する．例\ref{anno_1_3}は節ペアに談話関係がないため``談話関係なし''を付与する．同様に，例\ref{anno_1_4}，例\ref{anno_2_3}，例\ref{anno_2_4}も談話関係がないため``談話関係なし''を付与する．例\ref{anno_3_4}は前節を条件とみなした順方向の``条件''と，後節を前節の理由とみなした逆方向の``原因・理由''の両方の解釈ができる．この場合，順方向の関係を優先するため例\ref{anno_3_4}は順方向の``条件''を付与する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{専門家による談話関係タグ付け}\label{pro_annotation}本研究では，言語学を習得した熟練のアノテータ（以降，専門家と呼ぶ）3名が3ヶ月かけて，談話関係タグと談話関係の方向のアノテーションを行った．このアノテーションを以降，{\bf専門家セット}と呼ぶ．{\bf専門家セット}は京都大学ウェブ文書リードコーパスから文書を無作為に抽出した500文書からなる．本セットのアノテーション時に専門家に提示したタスク画面を図\ref{fig:pro_ann}に示す．この際，\ref{sec:clause}節で整備した自動認識器によって分割された節を談話単位とし，自動分割結果の人手修正は行わなかった．{\bf専門家セット}の談話関係タグは，専門家による多数決によって決定した．全員の意見が一致しなかった場合は，合議により談話関係を決定した．なお，専門家の意見が2:1に別れた場合，少数派であった談話関係タグも付記という形でコーパスに記載している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[t]\begin{center}\includegraphics{27-4ia7f2.eps}\end{center}\caption{専門家による談話関係タグ付けのタスク画面}\label{fig:pro_ann}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%また，{\bf専門家セット}のタグ付け完了後に追加のアノテーションを実施した（以降，{\bf比較セット}と呼ぶ）．追加のアノテーションを行った理由は，各専門家の習熟度を調べるためと専門家間のタグ付け結果の一致率を調べるためである．{\bf比較セット}は京都大学ウェブ文書リードコーパスから無作為に抽出した300文書からなる．各文書は{\bf専門家セット}のアノテーションを行った3名の専門家のうち2名が談話関係タグと談話関係の方向のアノテーションを行った．{\bf比較セット}は\ref{sec:pro_result}節，\ref{sec:annotate_interargreement}節の分析で使用する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{クラウドソーシングを用いた談話関係タグ付け}専門家がアノテーションを実施する場合，長い時間と莫大なコストがかかるという問題がある．この問題を解決するために本研究ではクラウドソーシングを用いた．クラウドソーシングとはネットを通じて不特定多数のクラウドワーカーにタスクを発注するシステムであり，この方法を使用することで短時間かつ安価で大規模なアノテーションが実施できる．しかし，クラウドソーシングでアノテーションされたコーパスは専門家によるものと比較して品質が劣るという欠点がある．この欠点を軽減するため，本研究では2つの手法を取り入れる．1つ目は10人に対して同じ設問を実施し，クラウドワーカーの多数決で談話関係を決定することで信頼性の向上を目指した．2つ目は専門家と同じ形式でタスクを実行するとクラウドワーカーには難しいため，タスクを分割することで簡単化を試みた．具体的には，「節ペアの談話関係の有無の判定」と「談話関係があると判定された節ペアを対象とした談話関係タグの判定」の2段階に分割してクラウドソーシングを実施する．また後者のタスクでは，言語テストを追加することで，クラウドワーカーが理解しやすい設計を目指した．以降，クラウドソーシングの詳細について説明する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.3and4\begin{figure}[t]\begin{minipage}[t]{199pt}\includegraphics{27-4ia7f3.eps}\caption{クラウドソーシングのタスク画面（1段階目）}\label{fig:level1}\end{minipage}\hfill\begin{minipage}[t]{199pt}\includegraphics{27-4ia7f4.eps}\caption{クラウドソーシングのタスク画面（2段階目）}\label{fig:level2}\end{minipage}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{1段階目：談話関係の有無の判定}\label{subsec:first_step}本研究では，文書中に含まれる全ての節ペアに対して談話関係タグを付与する．そのため，\ref{sub:annotation_method}節の例\ref{anno_1_3}や例\ref{anno_2_4}のように，意味的なつながりを持たない節ペアが多く含まれる．そこで，意味的なつながりを明らかに持たない節ペアを除外するために，各文書に含まれる節ペアごとに談話関係があるかないかの2値分類を1段階目で行う．まずクラウドワーカーに，ある文書に含まれるすべての節ペアを提示する（図\ref{fig:level1}）．クラウドワーカーは談話関係を持つ節ペアをすべて選択する．10人に対して同じ設問を実施し，1人以上が談話関係があると選択した節ペアを談話関係がある可能性があると判定した．なお，明示的である節ペアはクラウドワーカーの投票結果にかかわらず，談話関係がある可能性があると判定した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{2段階目：談話関係タグ判定}\label{subsec:second_step}2段階目では，1段階目で談話関係がある可能性があると判定された節ペアを対象とする．まず，クラウドワーカーにアノテーション対象である節ペアとその前後の文を提示する（図\ref{fig:level2}）．クラウドワーカーは提示された節ペアに対して，表\ref{Table:Tagset}の下位タイプの中から最も適切な関係を選択する．この際，談話関係の方向は無視している．10人に対して同じ設問を実施し，多数決によって談話関係タグを決定する．最多投票となった談話関係タグが複数ある場合は，最多投票のタグを全て付与する．なお，``談話関係なし''が最多投票となった場合は第1段階の結果を無視し，談話関係がないと判定する．2段階目のタスクは\ref{pro_annotation}節のアノテーションタスクとほぼ同一であり，タスク難易度は非常に高い．タスク難易度を下げるために付録\ref{sub:annotation_manual1}の内容を整理し，クラウドワーカーにマニュアルとして提示したが，予備実験の結果，クラウドワーカーはマニュアルを読まずにアノテーションを行っていることが分かった．そのため，クラウドワーカーのアノテーション品質を向上させるためには，マニュアルよりもシンプルでかつ直接的な方法でアノテーション基準を伝える必要がある．そこで，タスク概要欄とタスクの選択回答欄に言語テストを追加して提示した．第2段階においてクラウドワーカーに提示した談話関係タグのアノテーション基準を以下に示す．\begin{itemize}\item原因・理由\\（「1したがって2」と言えるが，「1さらに2」と言えない関係．1・2が逆でも可．）\\例：【1雨が降った．】よく見ると【2道が濡れている．】\\\\【1今，すごく眠たい．】【2昨日徹夜しちゃたから．】\\※「2したがって1」と言える\item目的\\（「1するために2」と言える関係．1・2が逆でも可．）\\例：【1今日切符を買った．】【2明日京都に行く予定だ．】\item条件\\（「1すれば2」と言える関係．1・2が逆でも可．）\\例：【1明日晴れれば，】午前は買い物に行こう．【2午後は映画に行こう．】\itemその他根拠\\（「1だから2だろう」と言える関係．1・2が逆でも可．）\\例：【1ここにカバンがある．】【2まだ社内にいるだろう．】\item対比\\（「1しかし2」と言え，「1そして2」と言える関係．1・2が逆でも可．）\\例：【1大阪は晴れだが，】【2東京は雨だ．】\item逆接・譲歩\\（「1しかし2」と言えるが，「1そして2」と言えない関係．または「1だとしても2」と言える関係．1・2が逆でも可．）\\例：【1カップ麺を大量に買いだめしたが，】【2保管する場所がない．】（事実的な逆接）\\\\【1彼がいたとしても】【2この試合は勝てなかっただろう．】（仮定的な逆接）\item上記いずれの関係もない［時間経過・詳細化・定型表現など］\footnote{表\ref{Table:Tagset}の``談話関係なし''に相当．}\\例1：時間経過（【家に着いてから】【雨が降ってきた．】）\\例2：詳細化（【昨日，テストを受けた．】【それは英語のテストだった．】）\\例3：定型表現（【様々なコメントをいただき，】【ありがとうございます．】\\\\【3～4日後に発送します．】【予めご了承ください．】）\end{itemize}\vspace{0.5\Cvs}これは，提示した表現を利用してクラウドワーカーに言語テストを行ってもらうことを目的としている．例えば``条件''の場合，1と2の間に「すれば」を挿入しても問題ない場合は``条件''と判定するようにクラウドワーカーを誘導している．また，``原因・理由''と``対比''のアノテーション基準には複数の言語テストを記載している．これは予備実験を行ったところ，以下の例\ref{ex:add_explain}のように談話関係がないのに，談話関係があるとワーカー判定した節ペアが``原因・理由''と``対比''で多く見られたためである．\ex.\label{ex:add_explain}【神に捧げるといわれる伝統芸能バリ島・ダンスやガムラン音楽は観光客にも人気が高い．】神々の島，神秘の楽園といわれ，【美しいビーチもあわせもつリゾート地であります．】例\ref{ex:add_explain}の場合，「リゾート地である」したがって「人気が高い」と言えると解釈され，予備実験では``原因・理由''であると判断された．そこで，「1さらに2」と言えないという条件を追加することで，例\ref{ex:add_explain}のような節ペアが``原因・理由''にならないようにした．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{クラウドセットの構築}Yahoo!クラウドソーシング\footnote{\url{http://crowdsourcing.yahoo.co.jp/}}を用いて，京都大学ウェブ文書リードコーパス全体（6,445文書\footnote{京都大学ウェブ文書リードコーパス（約5,000文書）に加え，諸事情により公開していない約1,400文書に対しても談話関係を付与している．また6,445文書中には{\bf専門家セット}としてアノテーションした500文書も含まれている．}，40,067節ペア）に対してアノテーションを行った．この際，Yahoo!クラウドソーシングに実装されているチェック問題という機能を活用した．チェック問題とは，事前に正解を用意しておいた簡単な問題を出題し，その問題が不正解だったクラウドワーカーをタスクから除外する仕組みである．この仕組みを使用することで，クラウドワーカーが注意深く・真面目に取り組んでいるかどうかを識別することができ，その結果アノテーション品質の向上が期待できる．アノテーションの結果，京都大学ウェブ文書リードコーパス全体の52.1\%にあたる20,878ペアが第1段階を通過し，そのうち6,312ペアに``談話関係なし''以外のタグが付与された．これは，コーパス全体の15.7\%に相当する．クラウドソーシングの所要時間は，第1段階が約1週間，第2段階が約10日だった．クラウドソーシングの費用は，第1段階が約83,000円，第2段階が約108,000円だった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{談話関係タグ付きコーパスの分析}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{コーパスの規模}\label{sec:corpus_scale}本研究で構築したコーパスは，6,445文書，40,067節ペアからなる．内訳は，{\bfクラウドセット}のみに含まれる節ペアが35,830ペア，{\bfクラウドセット}と{\bf専門家セット}の両方に含まれる節ペアが2,320ペア，{\bfクラウドセット}と{\bf比較セット}の両方に含まれる節ペアが1,917ペアである．{\bfクラウドセット}，{\bf専門家セット}，{\bf比較セット}における談話関係タグの傾向を表\ref{fig:trend}に示す．なお，表中の``{\bfクラウドセット}''は{\bfクラウドセット}のうち，{\bf専門家セット}と重複している2,320ペアのアノテーション傾向である．1つの節ペアに複数の談話関係タグが付与されている場合は按分している．表\ref{fig:trend}より，談話関係タグ付きコーパスは``談話関係なし''が約8割を占める不均衡コーパスであることが分かる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[t]\caption{クラウドセット，専門家セット，比較セットにおける談話関係タグの傾向}\label{fig:trend}\input{07table04.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{専門家のアノテーション品質}\label{sec:pro_result}本節では，専門家3名の中におけるアノテーションの一致率を求めることで，{\bf専門家セット}と{\bf比較セット}のアノテーション品質を評価する．アノテーションの一致率を計算する際，一般的にはCohenの$\kappa$係数を用いる．しかし，{\bf専門家セット}は3名の専門家がアノテーションを行ったためこの指標が使えない．そこで本研究ではKrippendorffの$\alpha$を用いる\cite{krippendorff04}．Krippendorffの$\alpha$とは3名以上のアノテータがいる際に使われる指標であり，データが欠損している場合にも使用できる．Krippendorffの$\alpha$は以下の式で表される．\begin{equation}\alpha=1-\frac{D_{0}}{D_{e}}\nonumber\end{equation}D$_{0}$はアノテータ間で意見の不一致が実際に起こった観測値であり，D$_{e}$はアノテータ間で意見の不一致が偶然起こる期待値である．$\alpha$は$-1$～1の間の値をとり，1が完全一致，$-1$が完全不一致を示す．{\bf専門家セット}，{\bf比較セット}におけるKrippendorffの$\alpha$を表\ref{fig:krippendorff}に示す．{\bf専門家セット}の一致率が1になっていない理由は，少数意見として談話関係タグが付記された節ペアが182例あるからである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[t]\caption{専門家セット，比較セットにおけるKrippendorffの$\alpha$}\label{fig:krippendorff_pro}\input{07table05.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表\ref{fig:krippendorff_pro}より，{\bf専門家セット}は非常に高い一致，{\bf比較セット}は高程度の一致だと分かる．このことから，{\bf専門家セット}と{\bf比較セット}は高品質であると言える．表\ref{fig:trend}をもとに，専門家間で意見が異なった節ペアを分析する．{\bf比較セット}を比較すると，専門家Cと他2名との間で``原因・理由''の傾向が大きく異なることが分かる．そこで専門家Cが``原因・理由''を選んだが，他の専門家が違うタグを付与した例を分析する．\ex.\label{cause_other3}【ハンガリーでは住民の93.6％（2002年）がハンガリー語を話し，】【国語化している．】\\評価コーパス：談話関係なし（少数意見：原因・理由（順方向））\\$[専門家A,B：談話関係なし，専門家C：原因・理由（順方向）]$\ex.\label{cause_other1}ロドニーはフィラデルフィアのジョセフ・マッキーンの下で法律を学び，【1793年に弁護士として認可を受けた．】【ロドニーはウィルミントンとニューキャッスルで弁護士業をおよそ3年間営んだ．】\\専門家A：談話関係なし，専門家C：原因・理由（順方向）\ex.\label{cause_other4}【公園内には魯迅の記念館と墓がある．】設置当初は「虹口公園」だったが【魯迅の死後「魯迅公園」と改称された．】\\評価コーパス：原因・理由（順方向）（少数意見：談話関係なし）\\$[専門家A,C：原因・理由（順方向），専門家B：談話関係なし]$例\ref{cause_other3}のように{\bf専門家セット}に付与したタグは``談話関係なし''だが，少数意見として``原因・理由''を併記している例が{\bf専門家セット}内に60例ある．一方で例\ref{cause_other4}のように{\bf専門家セット}では``原因・理由''だが，少数意見として``談話関係なし''を併記している例が36例ある．これらの例の大半は，``原因・理由''の関係を明示的に伝える書き方になっていないため，例\ref{cause_other1}のようにタグ付けを行うアノテータの文章読解力に依存している場合や，例\ref{cause_other4}のようにアノテータの背景知識に依存している場合であった．したがって，``原因・理由''と``談話関係なし''の識別は文章を読み解くアノテータの主観が大きく直結しているのではないかと推測される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{クラウドソーシングのアノテーション品質}\label{sec:crowd_result}クラウドソーシングで構築した{\bfクラウドセット}のアノテーション品質を調査する．{\bf専門家セット}を正解としたときの{\bfクラウドセット}の適合率，再現率，F値を求めた．結果を表\ref{fig:result_major}に示す．表中のALLは{\bf専門家セット}全体の適合率，再現率，F値を示す．明示的は{\bf専門家セット}内の明示的な談話関係を持つ節ペアのみの，非明示的は非明示的な談話関係を持つ節ペアのみの適合率，再現率，F値を示す．$[下位タイプMicro-F]$は``談話関係なし''を除いた下位タイプ6種類のマイクロ平均を，$[上位タイプMicro-F]$は``談話関係なし''を除いた上位タイプ2種類のマイクロ平均を，$[談話関係あり]$は談話関係があるかないかの2値分類にした際の適合率，再現率，F値を示している．表\ref{fig:result_minor}は{\bf専門家セット}の談話関係タグとは一致しなかったものの，少数意見として付記された談話関係タグと一致した場合も正解とした場合を示している．表\ref{fig:result_minor}の$[下位タイプMicro-F]$のF値は0.570であり，{\bfクラウドセット}の品質は{\bf専門家セット}と比べあまり良くない．そこで，どのような談話関係タグが誤って付与されたかを分析した．表\ref{fig:result_major}の混同行列を表\ref{fig:confusion_matrix}に示す．``原因・理由''と``談話関係なし''間の関係の識別が難しいことが分かる．具体例を示す．\ex.\label{cause_norel1}かつては大型コンピューター開発生産事業を行っていた．【現在はテレコム・イタリアに買収され，】【主にシステムソリューション事業を運営している．】フィアットなどと共にイタリアを代表する歴史的会社である．\\{\bfクラウドセット}：原因・理由，{\bf専門家セット}：談話関係なし\ex.\label{cause_norel2}【道後温泉は日本を代表する温泉の一つです．】古くからの温泉なので，【随所に歴史の面影があります．】\\{\bfクラウドセット}：原因・理由，{\bf専門家セット}：談話関係なし\ex.\label{cause_norel3}【節税対策の基本について「節税対策チェックリスト」をご用意しました．】【皆様の節税対策にお役立てください．】銀行出身者ならではの資金調達のコツをご紹介します．\\{\bfクラウドセット}：談話関係なし，{\bf専門家セット}：原因・理由（順方向）%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table6\begin{table}[t]\caption{専門家セットを正解とした時のクラウドセットの適合率，再現率，F値}\label{fig:result_major}\input{07table06.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table7\begin{table}[t]\hangcaption{専門家セットを正解とした時のクラウドセットの適合率，再現率，F値（少数意見も正解とみなした場合）}\label{fig:result_minor}\input{07table07.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table8\begin{table}[t]\caption{専門家セットとクラウドセットの混同行列}\label{fig:confusion_matrix}\input{07table08.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%例\ref{cause_norel1}のように，言語テスト（「1したがって2」と言えるが，「1さらに2」と言えない）を通らないのに``原因・理由''と判定されたものがある一方，例\ref{cause_norel2}のように言語テストを通過する例も多く見受けられた．さらに，例\ref{cause_norel3}のように「1したがって2」だと違和感があるが，同じ原因・理由を示す談話標識「1ですので2」であれば言語テストを通過する例も見られた．このことから，``原因・理由''の言語テストは改善の余地がある．また，定型表現に対する認識の違いも``原因・理由''のF値が低い要因である．\ex.\label{Fixed1}情報技術学院で開催中の『パソコンセミナー』は，カリキュラム変更のため一時中止させていただく事になりました．【参加希望の生徒様には，大変ご迷惑をおかけしますが，】【ご了承ください．】『パソコンセミナー』の開催予定は未定です．\\{\bfクラウドセット}：談話関係なし，{\bf専門家セット}：談話関係なし\ex.\label{Fixed2}【オーム社主催の第二種電気工事士試験突破研究会を下記要領で開催いたします．】合格に必要なポイントをわかりやすく解説いたします．【どうぞお気軽にお越しください．】\\{\bfクラウドセット}：談話関係なし，{\bf専門家セット}：原因・理由（順方向）専門家のアノテーションでは，例\ref{Fixed1}の「ご了承ください」のような謝罪や感謝，話題導入を示す定型表現は``談話関係なし''とし，例\ref{Fixed2}の「お気軽にお越しください」のような定型的な表現は文脈に応じて談話関係タグを付与している．しかし，クラウドワーカーは例\ref{Fixed2}も``談話関係なし''と判断している．このことから，定型表現の定義がクラウドワーカには十分に伝わっていなかったものと推測される．次に，表\ref{fig:result_major}において適合率，再現率ともに低い``根拠''について分析する．``根拠''の適合率が低い理由は，{\bf専門家セット}では``原因・理由''となっている節ペアを``根拠''と誤答していることが原因だと推測される．具体例を示す．\ex.\label{cons1}まだ最終回の放送前ですが【『崖っぷちのエリー』の打ち上げがありました．】【実は先週，浅間神社のシーン撮影でクランクアップしていたのです．】大杉さんや渡辺えりさんらを始め，著名な皆さんは人を惹き込む力を持っている．\\{\bfクラウドセット}：根拠，{\bf専門家セット}：原因・理由（逆方向）クラウドワーカーには``原因・理由''の言語テストとして「『1したがって2』と言え，『1さらに2』と言えない」を提示した．しかし，例\ref{cons1}のように「『1さらに2』と言えない」例が存在した．この例は，``原因・理由''に比較的近い``根拠''の言語テスト（「1すれば2だろう」）を通過する．したがって，クラウドワーカーは言語テストの結果に従い，``原因・理由''ではなく，``根拠''と判断していたと推測される．``根拠''の再現率が低い理由は，表\ref{fig:confusion_matrix}より，クラウドワーカーが``談話関係なし''と誤答していることが原因だと分かる．具体例を示す．\ex.\label{cont_error1}【朝と夕方，イワツバメが上空を賑やかに飛び回っています．】センター近くにある玄倉大橋に，ずら～っと巣を作るのですが，【現在，巣材集めの真っ最中のようです．】湿った地面に降り立っては，泥や枯れ草をくちばしにくわえて飛び立っていきます．\\{\bfクラウドセット}：原因・理由，{\bf専門家セット}：根拠（順方向）``根拠''は``原因・理由''，``目的''，``条件''には該当しないが，節ペアの関係が根拠に基づく推量や認識を伴う節ペアに付与する．そのため，例\ref{cont_error1}のように，他の順接系よりも談話関係は比較的弱くなり，``談話関係なし''との分類が難しくなる傾向にある．専門家は前後の文脈から``根拠''の分類ができていたが，専門家でないクラウドワーカーには分類が難しく，その結果誤答が増えたのではないかと推測する．最後に，適合率が0.133と著しく低い``対比''について調べたところ，{\bf専門家セット}では``逆接''となっている節ペアに対して``対比''と誤答していたからだと推測される．具体例を以下に示す．\ex.\label{cont_cons1}青森県は“青い森”というように自然に恵まれています．森や山が多くあります．【いわゆる高山はありませんが，】【高くないゆえに，その土地の人たちと密接にかかわってきました．】\\{\bfクラウドセット}：対比，{\bf専門家セット}：逆接・譲歩（順方向）\ex.\label{cont_cons2}【国の公用語はフィリピノ（タガログ）語．】ただし，ビサヤ諸島のビサヤ語など，地方によってはタガログ語以外のフィリピノ語が使われている．【マニラ近郊のカビテ州の一部やミンダナオ島の一部では，スペイン語を多く含むチャバカノ語も話されている．】\\{\bfクラウドセット}：対比，{\bf専門家セット}：逆接・譲歩（逆方向）``対比''と``逆接''の区別はどちらかの節に主眼がおかれているか，それとも2節が対等関係にあるかどうかで識別している．{\bfクラウドセット}を分析すると，例\ref{cont_cons2}のようにアノテータによって解釈が分かれる例が多く存在しており，専門家は文章の内容をしっかりと理解した上で``対比''と``逆接''を分類していたことが分かる．一方，例\ref{cont_cons1}のように明らかに片方に主眼がおかれている例も多く，クラウドワーカーは文章の内容を深く理解せず，言語テストなどの表層的な手がかりをもとに分類を行っていると推測される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{専門家とクラウドソーシングのアノテーションにおける一致率}\label{sec:annotate_interargreement}第2段階におけるクラウドソーシングのアノテーションの一致率を\ref{sec:pro_result}節で述べたKrippendorffの$\alpha$を用いて求めた．結果を表\ref{fig:krippendorff}に示す．なお，第2段階のクラウドソーシングには3,411名のクラウドワーカーが参加した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table9\begin{table}[t]\caption{クラウドセット，専門家セット，比較セットにおけるKrippendorffの$\alpha$}\label{fig:krippendorff}\input{07table09.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表\ref{fig:krippendorff}より{\bfクラウドセット}はわずかに一致するレベルであり，この点からもクラウドソーシングの品質が良くないことが分かる．クラウドソーシングが低品質である理由を分析すると，タスク本来の困難さが依然として残っていたことと，注意深く・真面目に取り組んでいないクラウドワーカーの除外が不十分であったことが原因だと推測される．今回のクラウドソーシング（第2段階）のタスクは専門家が行ったアノテーションタスクとほぼ同一であり，タスク難易度は依然として非常に高い．そのため，タスク概要欄とタスクの選択回答欄に言語テストを追加して提示することで簡単化を試みた．しかし，表\ref{fig:krippendorff}と\ref{sec:crowd_result}節より，今回提示した言語テストではタスクの難易度はあまり下がらず，その結果低品質になったと推測する．また，Yahoo!クラウドソーシングに実装されているチェック問題という機能を活用し，注意深く・真面目に取り組んでいないクラウドワーカーの除外を試みた．ここでいう，注意深く・真面目に取り組んでいないクラウドワーカーとは以下の例\ref{dammy6}のような談話関係タグ付けタスクを誤答するワーカーを指す．\ex.\label{dammy6}今日の試合は乱打戦で見応えがあった．【試合も勝ったし，大満足．】【ただ，最終回は胃が痛かった．】\\（正解：逆接）しかしクラウドソーシング（第2段階）で実施したチェック問題の結果を調査すると，チェック問題の正答率が80\%以上であったクラウドワーカーが約9\%存在した．これらのワーカーはインストラクションを読む等，注意深く・真面目に取り組んでいるワーカーであると推定される．一方，7択問題のチャンスレート(約14\%)より正解率が低いクラウドワーカーが約41\%存在した．チャンスレートより正解率が低いことから，これらのワーカーは注意深く・真面目に取り組んでいないワーカーであるとと推定される．本タスクではチェック問題を使うことで注意深く・真面目に取り組んでいないワーカーの大半は除外できたものの，注意深く・真面目に取り組んでいないワーカーの約1割はチェック問題を通過していたことがわかった．このことから注意深く・真面目に取り組んでいないクラウドワーカーの除外が不十分であり，その結果，注意深く・真面目に取り組んでいるワーカーとそうでないワーカーの差が激しく，クラウドソーシングの一致率が低くなったと推測する．低程度の一致率となったクラウドソーシングの一致率を向上させる方法として，アノテーションタスクをより簡潔にする方法を検討する．もともと，クラウドソーシングを用いた談話関係アノテーションはタスク難易度が高いことから2段階に分割するという対策を取っていた．しかし，Krippendorffの$\alpha$が0.256と低程度の一致であることから，2段階に分けても依然として難易度が高いと考えられる．そこで，クラウドソーシングを現状の2段階から，``談話関係有り判定''，``談話関係上位タイプ判定''，``談話関係下位タイプ判定''の3分割に分割する方法を検討する．\ref{sec:crowd_result}節の表\ref{fig:result_major}の$[上位タイプMicro-F]$のF値が0.818であることから，``談話関係上位タイプ判定''はクラウドワーカーにとって比較的難易度が低いタスクであることが分かる．したがって，``談話関係上位タイプ判定''で上位タイプを確定させたのち，順接系なら下位タイプ4種類の分類タスク，逆接系なら下位タイプ2種類の分類タスクを実施することで今よりも高品質なアノテーションが期待される．また，アノテーションタスクをより簡潔にする方法として\ref{sec:dc_prediction}節で整備した談話標識の自動認識を活用する方法も考えられる．今回のクラウドソーシングでは，談話標識を持つ節ペアは談話関係がある可能性があると判定し\ref{subsec:second_step}節のタスクのみを実施したが，談話標識の自動認識を活用すれば，\ref{subsec:second_step}節のタスクも省略できるため，より効率的なアノテーションが実施可能である．しかし，\ref{sec:dc_prediction}節の例\ref{dc_error0}のように明示的と認定した節ペアに談話関係がない場合があるため，全自動で行った場合誤ったタグが付与される可能性がある．そのため，談話標識の自動認識を活用する場合は全自動では行わず，談話標識を持つ節と談話関係をクラウドワーカーに提示した上で，文章中のどの節と関係を持つかを選ばせるタスクを実施することになると考えられる．このタスクであれば\ref{subsec:second_step}節のタスクより平易であるので，今よりも高品質なアノテーションが期待される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{本談話関係タグ付きコーパスの限界}本研究は，日本語のコーパスベースの談話関係解析の研究はほとんどないという現状を打破するために行った研究である．そのため，問題を限定してタスクやコーパスの設計を行っている．例えば，PDTBでは``TEMPORAL''（時間），``CONTINGENCY''（関係可能性），``COMPARISON''（転換），``EXPANSION''（展開）の4つを対象としている．しかし本コーパスでは，賛否両論があるトピックに対する俯瞰的なマップを生成する言論マップ\cite{Murakami2009}やDisputeFinder\cite{Ennals2010}などの談話関係解析を応用した具体的なアプリケーションでの使用を想定した上で，順接系（PDTBにおける``CONTINGENCY''），逆接系（PDTBにおける``COMPARISON''）のみを対象としている．そのため，因果，根拠，比較の談話関係を利用したアプリケーションは本コーパスを用いて構築することが可能であるが，時間経過（PDTBにおける``TEMPORAL''）や詳細化，換言（共にPDTBにおける``EXPANSION''）を利用したアプリケーションは構築することができない．PDTBを用いた談話関係解析タスクではいくつかのタグを統合，除外した設定で行われていること\cite{Pitler2009a,Lin:2009:EMNLP}から，PDTBと同規模のタグセットを設定する必要はないと考えているが，時間経過や詳細化，換言など頻出する関係を対象としたアノテーションは今後の検討課題である．今回選択した京都大学ウェブ文書リードコーパスは冒頭3文からなるコーパスである．そのため，文書の中・終盤でのみ現れる言語現象や談話関係の出現傾向の違いがある場合，本コーパスではカバーできない．本コーパスを用いて談話関係タグ付きコーパスを構築するにあたって前述した言語現象や談話関係の出現傾向の違いは存在しないと想定して設計しているが，文書中の位置による言語現象や談話関係の傾向の違いの分析は今後の検討課題である．また，新聞記事の文間全てを対象に明示的な談話関係のタグ付けを行っているPDTBに比べ，京都大学ウェブ文書リードコーパスは冒頭3文からなるため，4文以上離れた文間の談話関係解析には向いていない\footnote{非明示的な談話関係のアノテーションは，PDTB2.0では原則として同一段落内の隣接している文間のみを，PDTB3.0では同一段落内の隣接している文間と同一文内を対象としている．}．PDTBと同じ基準となる，同一段落内の文間全ての談話関係タグ付けは今後の課題である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{談話関係解析器の構築}
本節では，非明示的な談話関係も認識可能な談話関係解析器を構築し，性能評価を行う．この際，小規模な{\bf専門家セット}のみを訓練データとして使用した場合と，大規模な{\bfクラウドセット}を訓練データとして使用した場合の2種類の実験を比較することで，クラウドソーシングで構築したコーパスの有効性を調べる．また{\bf専門家セット}を評価セットとし，\ref{sec:dc_prediction}節で整備した談話標識の自動認識の精度を評価する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験設定}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{訓練データ}本実験のタスクは，表\ref{Table:Tagset}の下位タイプ7値分類とし，2種類の実験設定で行う．1つ目は，高品質な{\bf専門家セット}（2,320節ペア）を用いた5分割交差検定である．この実験では談話関係解析器の性能を評価する．2つ目は，前述の5分割交差検定の訓練セットに{\bfクラウドセット}を追加した設定である．具体的には，{\bf専門家セット}の5分の4と{\bfクラウドセット}全体を訓練データ，{\bf専門家セット}の5分の1をテストセットとした変則的な5分劃交差検定を実施した．なお，{\bfクラウドセット}には複数の談話関係タグが正解として付与されている節ペアが存在するが，本実験ではこれらの節ペアを訓練セットから除外した38,376節ペアを使用する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{モデル設定}本実験では談話標識を手がかりとした解析器と河原らの解析器\cite{kawahara:coling2014}，BERT\cite{BERT:NACCL2019}を用いた解析器，ハイブリッド方式の解析器の4種類のモデルを使用する．{\bf談話標識を手がかりとした解析器}とは，\ref{sec:dc_prediction}節で構築した談話標識の自動認識器を用いて節ペアの談話関係を推定するモデルである（以降，DCと呼ぶ）．節ペアの談話関係タグは以下のルールに従って決定する．\begin{enumerate}\def\theenumi{\roman{enumi}}\item自動認識器を用いて節ペア内の$<$節-機能$>$と$<$節-前向き機能$>$を抽出する．その際，$<$節-機能$>$と$<$節-前向き機能$>$のどちらも抽出された場合は$<$節-機能$>$を優先する．\item$<$節-機能$>$が抽出された場合，$<$節-機能$>$を含む節を前節，直後の節を後節とみなし，表\ref{tab:cf_tagset}と照らし合わせ談話関係タグを決定する．\item$<$節-前向き機能$>$が抽出された場合，$<$節-前向き機能$>$を含む節を後節，直前の節を前節とみなし，表\ref{tab:cf_tagset}と照らし合わせ談話関係タグを決定する．\item$<$節-機能$>$と$<$節-前向き機能$>$が抽出されなかった場合，もしくは節ペアが隣り合っていない場合，``談話関係なし''を付与する．\end{enumerate}{\bf河原らの解析器}（以降，opalと呼ぶ）は，機械学習ツールopal\cite{yoshinaga:coling2010}を使用している．opalは多項式カーネルを用いたオンライン学習が可能なモデルである．今回はpassive-aggressiveアルゴリズムを多クラス分類に拡張\cite{matsushima:SDM2010}したものを利用した．訓練に使用する素性は日本語形態素解析器Juman++v2\cite{arseny:EMNLP2018}と日本語構文・格解析器KNPを用いて抽出した．用いた素性を表\ref{Table:features}に示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table10\begin{table}[t]\caption{談話関係解析器の素性}\label{Table:features}\input{07table10.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%{\bfBERT}はTransformerをベースとしたモデルで，pre-trainingとfine-tuningの2ステップからなる．本実験では日本語Wikipediaを利用した日本語学習済モデル\cite{柴田2019a}\footnote{\url{http://nlp.ist.i.kyoto-u.ac.jp/index.php?BERT日本語Pretrainedモデル}}を利用し，訓練データを用いてfine-tuningする．DevlinらはBERTのfine-tuning時のモデルとして，文ペア分類問題用，1文分類問題用，質問応答(SQuAD)用，系列ラベリング問題用の4種類のモデルを提案している．本研究では文ペア分類問題用のモデルを使用する．このモデルは[CLS]に対応するTransformer最終層のEmbeddingを利用して分類タスクを解いている．本実験ではGoogleが公開しているTensorflow実装\footnote{\url{https://github.com/google-research/bert}}を使用し，epoch数は3に設定した．{\bfクラウドセット}を訓練データとして用いた場合，{\bf専門家セット}に比べて品質が悪いため，ノイズとなる可能性が高い．この問題に対処するために，Patriniらが提案したforwardcorrection\cite{patrini:cvpr2017}をBERTを用いた談話関係解析器に適用する．forwardcorrectionとは，ノイズラベル$\tilde{{\bfy}}$を真のラベル${\bfy}$に変換する行列${\bfT}\in[0,1]^{c\timesc}$を求めることで，ノイズが混在しているデータをニューラルネットワークの訓練データとして頑健に使うことができる手法である．具体的には，BERTのclassifierのloss関数を以下の式に変更する．\begin{align*}L(\theta;D_{e},D_{c})&=\sum_{D_{e}}L({\bfx},{\bfy})+\sum_{D_{c}}L({\bfx},\tilde{\bfy})\\&=-log\sum_{D_{e}}p({\bfy}|{\bfx})-log\sum_{D_{c}}\hat{p}(\tilde{\bfy}|{\bfx})\\&=-log\sum_{D_{e}}p({\bfy}|{\bfx})-log\sum_{D_{c}}\sum_{j=1}^{c}p(\tilde{\bfy}={\bfe}^{i}|{\bfy}={\bfe}^{j})\hat{p}({\bfy}={\bfe}^{j}|{\bfx})\\&=-log\sum_{D_{e}}p({\bfy}|{\bfx})-log\sum_{D_{c}}\sum_{j=1}^{c}{\bfT_{ji}}\hat{p}({\bfy}={\bfe}^{j}|{\bfx})\\T_{ij}&=p(\tilde{\bfy}={\bfe}^{j}|{\bfy}={\bfe}^{i})\end{align*}$D_{e}$，$D_{c}$はそれぞれ{\bf専門家セット}と{\bfクラウドセット}を指す．また，${\bfx}$が入力，$p({\bfy}|{\bfx})$が{\bf専門家セット}のタグの出現確率，$\hat{p}(\tilde{{\bfy}}|\bfx)$が{\bfクラウドセット}のタグの出現確率，$p(\tilde{\bfy}={\bfe}^{i}|{\bfy}={\bfe}^{j})$が{\bf専門家セット}のタグ${\bfy}$が{\bfクラウドセット}のタグ$\tilde{{\bfy}}$に変化する確率を表す．本実験では，訓練データに含まれる{\bf専門家セット}（1,856節ペア）と{\bfクラウドセット}の混同行列を計算し，それを正規化した行列を{\bf$T$}とした．{\bfハイブリッド方式の解析器}（以降，hybridと呼ぶ）とは，談話標識を手がかりとした解析器とBERTを組み合わせた解析器である．まず，談話標識を手がかりとした解析器で談話関係解析を行う．その後，解析結果が``談話関係なし''であった節ペアに対してBERTを用いた談話関係解析を実施し，談話関係タグを決定する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験結果}実験結果を表\ref{fig:dra}に示す．表中の$[談話関係あり]$は``談話関係なし''を除く6種類のマイクロ平均を示している．$[談話関係あり]$のF値はばらつきがあるが，Accuracyの値はどれも高い．これは談話関係タグ付きコーパスの80\%以上が``談話関係なし''となっている不均衡コーパスだからである（表\ref{fig:trend}参照）．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table11\begin{table}[t]\caption{談話関係解析結果}\label{fig:dra}\input{07table11.tex}\vspace{4pt}\smallDCは談話標識を手がかりとした解析器，opalは河原らの解析器，hybridはDCとBERTを組み合わせたハイブリッド方式の解析器，BERT+forwardcorrectionはforwardcorrectionを適用したBERT，hybrid+forwardcorrectionはDCとforwardcorrectionを適用したBERTを組み合わせたハイブリッド方式の解析器を示す．\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%クラウドセットの有効性を調べるために，同一モデルに対して，訓練データとして専門家セットのみを用いた場合とクラウドセットを追加した場合を比較した．opalはF値が0.387から0.311へと約7\%悪化したのに対し，BERTは0.088から0.374へと大幅にF値が向上した．クラウドセットは品質が悪いものの規模が大きいという特性を持つ．高次元離散素性を用いる分類器は品質の悪さの影響を強く受けたのに対して，ニューラルネットの学習には大規模な訓練データが不可欠であり，クラウドセットの規模が品質の悪さを打ち消してあまりあることがわかる．さらに，BERT+forwardcorrectionはBERTと比べてF値が約3\%向上し，opalのF値を上回った．forwardcorrectionが品質の問題を軽減し，精度向上をもたらすことが確認できる．以上のことから，クラウドセットはニューラルネットの学習に不可欠であり，その際にforwardcorrectionのようなノイズ耐性を備えた学習手法が有効であると結論づけられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{談話標識の自動認識精度評価}\ref{sec:dc_prediction}節で整備した談話標識の自動認識は明示的な談話関係だけに焦点を絞ったルールベースの解析器とみなせる．そこで，\ref{sec:dc_prediction}節のルールを実装した{\bf談話標識を手がかりとした解析器}を用いて談話標識の自動認識の性能を評価する．テストセットは{\bf専門家セット}（2,320節ペア）とした．実験の結果，表\ref{fig:dra}のDCの適合率より精度が高いことが分かる．したがって，談話標識の自動認識は高精度な明示的談話関係解析器として利用可能である．DCの解析誤り例を以下に示す．なお，抽出された談話標識には下線を引いている．\ex.\label{DC_error1}電報にもエコロジーを意識したものがあるのをご存知でしょうか．電報には台紙などで紙を使います．【1年間で送られる電報の数を\underline{考えれば，}】【消費される紙の量も相当でしょう．】\\{\bf専門家セット}：根拠（順方向），DC：条件\ex.\label{DC_error2}文学資料閲覧のための施設です．埼玉ゆかりの文学者の作品や文学関係の資料が閲覧できます．コピーサービスは1枚10円で行っておりますが，【貸出はできません\underline{ので}】【御了承ください．】\\{\bf専門家セット}：談話関係なし，DC：原因・理由\ex.\label{DC_error3}\begin{enumerate}\renewcommand{\labelenumi}{(\roman{enumi})}\item「パーキンソン病は小刻み歩行を主な症状とする病気です．\item例外的に20歳台から発症する方や，80歳を越えてから\item【発症される方もあります．】\item【脳の中の黒質という数が減ることが\underline{原因です}．】\end{enumerate}{\bf専門家セット}：談話関係なし，DC：原因・理由DCの誤りを分析すると，例\ref{DC_error1}や例\ref{DC_error2}のような，談話標識以外の要素によって談話関係が定義される例が多く存在した．例えば例\ref{DC_error1}の場合，後節に推量表現「～でしょう」があるので``根拠''となるが，DCは条件を示す談話標識「～ば」のみに着目しているため誤答した．同様に，例\ref{DC_error2}は後節の定型表現を見落としていたため，誤答している．例\ref{DC_error3}は抽出された談話標識「原因です」が示す先は前節にあたる(iii)ではなく，(i)である．例\ref{DC_error3}や\ref{sec:dc_prediction}節の例\ref{dc_error0}のような節が隣り合っていない明示的なペアについての扱いは，今後の検討課題である．しかし，例\ref{DC_error1}や例\ref{DC_error2}，例\ref{DC_error3}において，抽出された談話標識自体は妥当であることから，\ref{sec:dc_prediction}節で整備した自動認識器自体には問題がないと推測する．一方，談話標識の自動認識が誤っている例は11例あった．具体例を示す．\ex.\label{DC_error4}むかしむかし，この世界をつくったインデアンの神さまが旅にでました．そして，雪がいっぱいつもった村にきました．【村にはいる\underline{と}，】【おばあさんがないています．】\\{\bf専門家セット}：談話関係なし，DC：条件\ex.\label{DC_error5}噂の大ちゃんですね！【心配したぞ！】【\underline{でも}冒険したせいかちょっとりりしくなった？】{\bf専門家セット}：談話関係なし，DC：逆接談話標識「～と」は，文脈によって``条件''を示す場合と``談話関係なし''（時間経過）を示す場合がある．例\ref{DC_error4}では，後節の時制が過去でないことから``条件''と識別したが，誤答している．また，$<$節-前向き機能$>$については$<$節-機能疑$>$のような節ペアの関係に曖昧性がある場合を想定したタグを設定していない．しかし，例\ref{DC_error5}の「でも」は話題提示を示しており，談話関係とは関係ない標識である．これらのルールの修正は今後の課題である．本研究で構築した談話標識の自動認識は，明示的な談話関係の解析器として高精度であることが表\ref{fig:dra}より分かった．そのため精度が高い解析結果のみを抽出して，他のアプリケーションに応用するという用途において利用可能だと考える．実際，本研究で構築した談話標識の自動認識は談話関係解析を応用したアプリケーションで使用されている\cite{Saito2019a,kiyomaru:nlp2020}．Saitoらは因果関係や対比関係を持つ文ペアを大規模コーパスから収集し学習データとして用いることで，あるイベントの極性を高精度で推測するモデルを構築した．この際，本研究で整備した談話標識の自動認識を使用することで高品質な文ペアを収集している．清丸らは商品・サービスのレビューを原因・結果・解決策の3種類に集約することで情報を整理し，解決の糸口となる新たな知見や気づきを喚起するシステム「因果関係グラフ」を提案した．その際，談話標識の自動認識を使用することで因果関係を持つレビューを抽出している．これらの研究から，本研究で整備した自動認識は因果関係抽出や知識抽出，言論マップなどの談話関係解析を応用したアプリケーションに適用可能であることが分かる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{まとめ}
本研究では日本語の談話関係解析を実用化するため，英語の談話関係タグ付きコーパスPDTB2.0を参考に，日本語の談話関係解析タスクを定義した．また，様々なドメインを含んだコーパスに，談話単位と談話標識，談話関係タグをアノテーションすることで日本語の談話関係タグ付きコーパスを構築した．この際，高速にコーパスを構築するため，談話単位である節と談話標識はルールベースの認識器を用いて自動認識することとした．また，人手でアノテーションをする談話関係タグはPDTB2.0の``CONTINGENCY''と``COMPARISON''などを参考に2階層，下位7種類という非常に簡潔なタグセットにした．談話関係タグのアノテーションは，3名の専門家がタグ付けした小規模なものとクラウドソーシングを用いてタグ付けした大規模なものの2種類を実施した．クラウドソーシングを行う際には，談話関係アノテーションタスクの難易度を考慮し，タスクを2段階に分割する，クラウドワーカーに言語テストを提示するという2つの手法を用いて，タスクの簡易化とアノテーション品質の向上を試みた．その結果，6,445文書（40,067節ペア）からなる談話関係タグ付きコーパスが完成した．また，専門家のアノテーション結果と比較することでクラウドソーシングを用いた場合のアノテーション傾向と品質について分析した．分析の結果，クラウドソーシングを用いたアノテーションは品質が良くなく，改善の余地があることが分かった．改善方法としてはタスクのさらなる分割や談話標識の自動認識の活用が考えられる．本研究で構築したコーパスを用いて談話関係解析を訓練した．実験結果より，クラウドソーシングのアノテーションはニューラルネットワークベースの談話関係解析器を学習する際に有効であることが分かった．また，非明示的な談話関係を含む談話関係の解析は依然として挑戦的な課題だが，明示的な談話関係に限れば，本研究で整備した談話標識の自動認識が高精度な解析器として利用可能であることを示した．この解析器は，因果関係抽出や知識獲得，談話関係解析を応用したアプリケーションなどへの応用が期待できる．本研究で構築したコーパスはすでに公開されている京都大学ウェブ文書リードコーパスの一要素として公開した．また，節と談話標識の自動認識ルールは日本語構文・格解析器KNPの一要素として公開した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment研究開始時において澤田晋之介氏の多大なる貢献がありました．また，クラウドソーシングを実施するにあたり，颯々野学氏，小林隼人氏，柴田知秀氏，町田雄一郎氏からご助言をいただきました．石川真奈見氏，二階堂奈月氏，堀内マリ香氏には専門家として本コーパスのタグ付け作業にご協力いただきました．この場を借りて皆様に感謝申し上げます．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.5}\bibliography{07refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\appendix\renewcommand{\theequation}{A.\arabic{equation}}\setcounter{equation}{0}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{談話関係タグの基準}
\label{sub:annotation_manual1}表\ref{Table:Tagset}に示した7つの談話関係タグごとの基準を詳細に記す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{順接系}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{原因・理由}「～ので」，「だから」のような原因・理由を示す談話標識が節ペアに含まれている，もしくは原因・理由を示す談話標識を節ペアに挿入しても意味的なつながりが変化しない場合，``原因・理由''のタグを付与する\footnote{PDTB2.0および3.0の``CONTINGENCY.Cause''に相当する．}．この関係をもつ節ペアには方向があり，一般に，一方の節が原因もしくは理由，他方の節が結果となる\footnote{PDTB2.0では順方向の``原因・理由''を``CONTINGENCY.Cause.result''，逆方向の``原因・理由''を``CONTINGENCY.Cause.reason''としている．PDTB3.0では前述のタグに加え``CONTINGENCY.cause+belief''も``原因・理由''に相当する．}．例を示す．\ex.\label{ex:strong_cause}【必死に勉強したので，$_{原因・理由}$】【試験に受かった．】\ex.\label{ex:weak_cause}【お客様一人ひとりにあったまつ毛のスタイルや，ケアの方法をご提案しています．$_{原因・理由}$】【何でもお気軽にご相談ください．】\ex.\label{ex:first_person_cause}【明るく，分かりやすく，楽しく教えていきたいです．】【勉強は誰もが嫌いなものです．$_{原因・理由}$】なお，例\ref{ex:weak_cause}のような比較的弱い因果関係を持つ場合や，例\ref{ex:first_person_cause}のような書き手の主観的な理由も``原因・理由''とする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{目的}「～するため」のような目的を示す談話標識が使われている，もしくは目的を示す談話標識を節ペアに挿入しても意味的なつながりが変化しない場合，``目的''とする\footnote{PDTB3.0の``CONTINGENCY.purpose''に相当する．PDTB2.0では``目的''を直接的に示すタグは存在しない．}．この関係をもつ節ペアにも方向があり，一般に，一方の節が目的，他方の節が手段となる．例を以下に示す．\ex.【試験に受かるために，$_{目的}$】【必死に勉強した．】\ex.【都会から離れて，】【体をリフレッシュする．$_{目的}$】%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{条件}「～すれば」「～すると」のような条件を示す談話標識が使われている，もしくは条件を示す談話標識を節ペアに挿入しても意味的なつながりが変化しない場合，``条件''とする\footnote{PDTB2.0の``CONTINGENCY.Condition''に相当する．PDTB3.0では前述のタグに加え，否定条件を示す``CONTINGENCY.negative-condition''も``条件''に相当する．}．この関係をもつ節ペアにも方向があり，一般に，一方の節が条件，他方の節が結果となる．例を以下に示す．\ex.【酒を飲むと$_{条件}$】【すぐ顔が赤くなる．】\ex.\label{ex:condition1}【雨が降れば，$_{条件}$】【道がぬれる．】例\ref{ex:condition1}のように仮定的な条件の場合も``条件''とする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{根拠}``原因・理由''，``目的''，``条件''には該当しないが，節ペアの関係が根拠に基づく推量や認識と解釈できれば，``その他根拠''とする\footnote{PDTB2.0および3.0では中位・下位ラベルを伴わない``CONTINGENCY''としてアノテーションされている．}．この関係をもつ節ペアには方向があり，一般に，一方の節が根拠，他方の節が推量や認識となる．例を以下に示す．\ex.【試験に受かったのだから，$_{根拠}$】【必死に勉強したのだろう．】\ex.【ツバメは，巣材集めの真っ最中のようです．】【毎日，泥や枯れ草をくちばしにくわえて飛び立っていきます．$_{根拠}$】%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{逆接系}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{対比}「～の一方で～」のような対比を示す談話標識が使われている，もしくは対比を示す談話標識を節ペアに挿入しても意味的なつながりが変化しない場合，``対比''とする\footnote{PDTB2.0および3.0の``COMPARISON.Contrast''に相当する．}．一方の節が他方の節を含意している場合も含む．この関係をもつ節ペアは方向をもたないため，本稿では前節と後節の間に談話関係タグ``対比''を記す．例を以下に示す．\ex.【大阪は雨だが，】$_{対比}$【東京は晴れだ．】\ex.【本施設は会員の方は使えますが，】$_{対比}$【非会員の方は使えません．】%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{逆接}節ペアの関係を表す際，「～しかし～」のような逆接を示す談話標識や「確かに～だが～」のような譲歩を示す談話標識が使われている，もしくは逆接や譲歩を示す談話標識を節ペアに挿入しても意味的なつながりが変化しない場合，``逆接''とする\footnote{PDTB2.0および3.0の``COMPARISON.Concession''に相当する．}．``対比''は方向をもたないが，逆接はどちらかの節に主眼があるので方向をもつ．例を以下に示す．\ex.【昨日は雨が降っていた．$_{逆接}$】【しかし，野球の試合があった．】\ex.【明日は1日休みだ．】【もしかすると急に仕事が入るかもしれないが．$_{逆接}$】\ex.\label{reverse_cond}【彼が来たとしても，$_{逆接}$】【状況は改善されなかっただろう．】例\ref{reverse_cond}のような仮定的な逆接表現（以降，``逆条件''と呼ぶ）の場合も``逆接''とする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{関係なしまたは弱い関係}節ペアに意味的なつながりがない，もしくは節ペアの関係が時間経過\footnote{PDTB2.0および3.0の``TEMPORAL''に相当．}や，例示，補足，列挙，要約・敷衍・換言・含意，付加など\footnote{PDTB2.0および3.0の``EXPANSION''に相当．}の弱い関係，謝罪や感謝，話題導入を示す定型表現である場合，``関係なしまたは弱い関係''とする．例を以下に示す．\ex.【毎日暑い日が続きますね．】【父の手術も無事に終わり，】少しだけほっとしてます．\ex.\label{ex:other1}【これ以外の環境ではご利用いただけない可能性がありますので，】【あしからずご了承ください．】\ex.\label{ex:other2}【画像を利用する際にコメントなどを頂戴し】【ありがとうございます．】\ex.\label{ex:other3}【コンビニのドル箱商品といえば】【やはり「おにぎり」です！】例\ref{ex:other1}は``原因・理由''とも解釈できるが，後節の「ご了承ください」が定型表現なので``関係なしまたは弱い関係''とする．同様に例\ref{ex:other2}は後節が定型表現，例\ref{ex:other3}は文全体が話題導入を示す定型表現なので``関係なしまたは弱い関係''となる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{曖昧性がある談話標識の分類}
\label{sub:ambiguous_clause_function}談話標識「～のに」「～ため」「～ても」は$<$節-機能$>$となる場合と，$<$節-機能疑$>$となる場合が存在する．以下で具体的に説明する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{～のに}「～のに」は原則として$<$節-機能疑-目的$>$と$<$節-機能疑-逆接$>$が付与されるが，「タ形＋のに」，「～なのに」の場合のみ$<$節-機能-逆接$>$が付与される．\ex.【大学に行く\underline{のに}，$_{<節-機能疑-目的><節-機能疑-逆接>}$】【電車とバスを使う．】\ex.【彼が来\underline{たのに}，$_{<節-機能-逆接>}$】【誰も反応しない．】\ex.【信号が青\underline{なのに}$_{<節-機能-逆接>}$】【立ち止まっている．】%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{～ため}「～ため」は直前の述語によって，付与されるラベルが変化する（表\ref{tab:tame}参照）．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table12\begin{table}[t]\caption{``～ため''の分類}\label{tab:tame}\input{07table12.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{～ても}「～ても」は係り先の基本句の時制によって付与されるラベルが変化する．係り先の時制が過去である場合は$<$節-機能疑-条件-逆条件$>$と$<$節-機能疑-逆接$>$が，係り先の時制が非過去（現在もしくは未来）である場合は$<$節-機能-条件-逆条件$>$を付与する．\ex.\label{temo_past_1}【彼が来\underline{ても}，$_{<節-機能疑-条件-逆条件><節-機能疑-逆接>}$】【状況は改善されなかった．】\ex.\label{temo_past_2}【彼が来\underline{ても}，$_{<節-機能疑-条件-逆条件><節-機能疑-逆接>}$】【状況は改善されなかっただろう．】\\※例\ref{temo_past_1}は逆接，例\ref{temo_past_2}は逆条件の関係を持つ．\ex.【不審な点がなく\underline{ても}$_{<節-機能-条件-逆条件>}$】【受付近くの応接スペースで応対する．】%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{岸本裕大}{%2014年京都大学工学部電気電子工学科卒業．2016年同大学大学院情報学研究科修士課程修了．2020年同大学院博士課程単位取得認定退学．同年エニシア株式会社に入社．談話関係解析の研究に従事．修士（情報学）．情報処理学会，言語処理学会，各会員．}\bioauthor{村脇有吾}{%2011年京都大学大学院情報学研究科博士後期課程修了，博士（情報学）．同年京都大学学術情報メディアセンター特定助教，2013年九州大学大学院システム情報科学研究院助教，2016年京都大学大学院情報学研究科助教，現在にいたる．テキスト解析および計算言語学に関する研究に従事．言語処理学会，情報処理学会，各会員．}\bioauthor{河原大輔}{%1997年京都大学工学部電気工学第二学科卒業．1999年同大学院修士課程修了．2002年同大学院博士課程単位取得認定退学．東京大学大学院情報理工学系研究科学術研究支援員，独立行政法人情報通信研究機構主任研究員，京都大学大学院情報学研究科准教授を経て，2020年より早稲田大学基幹理工学部情報通信学科教授．自然言語処理，知識処理の研究に従事．博士（情報学）．情報処理学会，言語処理学会，人工知能学会，電子情報通信学会，ACL，各会員．}\bioauthor{黒橋禎夫}{%1994年京都大学大学院工学研究科電気工学第二専攻博士課程修了．博士（工学）．2006年4月より京都大学大学院情報学研究科教授．自然言語処理，知識情報処理の研究に従事．言語処理学会10周年記念論文賞，同20周年記念論文賞，第8回船井情報科学振興賞，2009IBMFacultyAward等を受賞．2014年より日本学術会議連携会員．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}