\section{はじめに}
近年，ソーシャルニュースサイトや討論ポータルの発展に伴い，様々な話題がオンライン上で議論されるようになった．これら議論は世の中の貴重な意見を含んでいるが，分析には関連する複数の投稿・発言の内容を理解する必要がある．これまでも対話行為の分析\cite{Stolcke2000,Bunt2010}を発展させ，議論を談話行為に基づいて分析するアプローチが提案されてきた．議論における談話行為の自動的な分類は，情報アクセスや要約の改善に寄与できると考えられている．このため，電子メール\cite{Cohen2004,Carvalho2005,Carvalho2006,Hu2009,Omuya2013}，ニュースグループ\cite{Wang2007}，技術電子掲示板\cite{Kim2010b,Wang2011,Bhatia2012,Liu2017}，ソーシャルニュース\cite{Zhang2017}等の談話行為・対話行為が既存の研究で対象とされてきた．議論において談話行為・対話行為を分類する際には，議論のパターンを取り入れることの重要性がたびたび指摘されてきた．投稿間の関係・リンク\cite{Carvalho2005,Hu2009}，投稿の位置・深さ\cite{Wang2007,Kim2010a,Kim2010b,Wang2011,Bhatia2012,Zhang2017,Liu2017}等のパターン情報は，確率的なグラフィカルモデル，構造学習モデル，系列学習モデル等と組み合わせて利用されてきた．これらアプローチは談話行為の分類において有効性を示したが，分類モデルにパターン情報を取り入れるためにタスク依存のパターン素性を設計する必要があった．本稿では議論のパターンをニューラルネットワークを用いて取り入れるモデルを提案する．近年，ニューラルネットワークを用いて木構造\cite{Socher2011,Socher2014,Tai2015}やグラフ構造\cite{Defferrard2016,Kipf2017}を学習する有効性が示されている．提案モデルではパターン素性を設計せずに，木構造学習層とグラフ構造学習層を用いて議論のパターンを学習する．既存の研究では様々な対象の談話行為・対話行為が分類されてきたが，本稿ではReddit\footnote{https://www.reddit.com/}の談話行為の分類に提案モデルを適用する．Redditは大規模なソーシャルニュースサイトであり，数多くのトピックについて日々議論が行われている．議論はスレッド単位で行われ，トピックを提供する最初の投稿および投稿に対する返信の連鎖で構成される．提案モデルの評価では\citeA{Zhang2017}の$9$種類の談話行為を対象にする．$9$種類の談話行為は{\itAnswer}，{\itElaboration}，{\itQuestion}，{\itAppreciation}，{\itAgreement}，{\itDisagreement}，{\itHumor}，{\itAnnouncement}，{\itNegativeReaction}であり，図\ref{fig:example}にこれら談話行為の例を示す．本稿では次の二つの理由でRedditを対象とした．第一に，Reddit上での議論は投稿をノード，返信関係をエッジとした木構造およびグラフ構造として表すことができる．第二に，公開されているRedditの談話行為が付与されたコーパスは大規模であり，ニューラルネットワークを用いて木構造やグラフ構造を学習するのに適している．本稿の貢献には以下の三点が挙げられる：\begin{enumerate}\item投稿間の構造に対応した，木構造学習層とグラフ構造学習層を含むモデルを提案する．\item談話行為の分類性能において，提案モデルが従来のパターン素性と系列学習を組み合わせたモデルを上回ることを示す．\item提案モデルの中間層を注意機構を通じて分析し，談話行為の分類に有効な構造を確認する．\end{enumerate}本稿の以降の章では次の内容を述べる．\ref{sec:related}章で提案モデルの関連研究を紹介し，モデルの詳細を\ref{sec:model}章で述べる．\ref{sec:exp}章で提案モデルを用いた評価実験を報告し，結果を\ref{sec:discuss}章で考察する．最後に\ref{sec:conc}章では本稿をまとめ，さらに今後の展望を述べる．\begin{figure}[t]\begin{center}\includegraphics{26-1ia3f1.eps}\end{center}\hangcaption{Redditを対象とした談話行為の例．各丸はスレッド中の投稿，赤色は最初の投稿，青色は返信の投稿，矢印は返信を表している．最初の質問({\itQuestion})が答え({\itAnswer})とユーモア({\itHumor})の返信を受けており，答えの一つはさらに謝辞({\itAppreciation})と追加情報({\itElaboration})の返信を受けている．}\label{fig:example}\end{figure}
\section{関連研究}
\label{sec:related}\subsection{談話行為・対話行為の分類}議論を対象として，談話行為・対話行為を自動的に分類する手法は従来より研究されてきた．初期の研究としては，特に電子メールおよび技術電子掲示板が対象となることが多かった．\citeA{Cohen2004}は電子メールに対話行為をアノテーションし，テキスト素性を用いた分類器を構築した．この研究は\citeA{Carvalho2005}によって関係素性を用いたコレクティブ分類モデル，\citeA{Carvalho2006}によってN-gram素性の拡張が行われた．\citeA{Hu2009}も電子メールに対話行為をアノテーションし，構造学習モデルを用いた分類を試みた．この研究は\citeA{Omuya2013}によってクラス毎の素性の最適化およびカスケード分類器を用いた拡張が行われた．\citeA{Kim2010b}は技術電子掲示板の投稿に対話行為をタグ付けし，パターン素性と系列学習器を用いた分類実験を実施した．この研究はのちに，\citeA{Wang2011}によって対話行為の分類とリンク関係の同時学習，\citeA{Liu2017}によって外部記憶を持つ系列学習器の拡張が行われた．\citeA{Bhatia2012}も技術電子掲示板の投稿に対話行為をタグ付けし，パターン素性を含む様々な素性を用いた分類器を評価した．議論を対象とした談話行為・対話行為の分類は，電子メール・技術電子掲示板以外を対象としても研究されてきた．\citeA{Wang2007}はニュースグループの節を対象にパターン素性と系列学習モデルを用いた議論カテゴリの分類を評価した．\citeA{Kim2010a}はチャットの対話行為を分類するためにパターン素性を用いた系列学習モデルを探索した．\citeA{Zhang2011}は短文投稿を対話行為でアノテートし，単語素性と文字素性を用いた分類モデルを学習した．\citeA{Zhang2012}は同じ短文投稿データを用いて，ラベル伝搬に基づく半教師あり学習モデル等を探索した．\citeA{Ferschke2012}は対話行為が付与されたWikipediaノートページのコーパスを作成し，テキスト素性とパターン素性を用いた分類器を学習した．\citeA{Zhang2017}はRedditのスレッドを談話行為でアノテートし，パターン素性を含む様々な素性を用いた系列学習モデルを設計した．\subsection{Redditの自動分析}大量のテキストおよび画像コンテンツから構成されるRedditを対象に，世の中の意見を分析する研究が数多く行われてきた．Redditを対象とした自動分析の中でも，人気度を表すkarmascore（ポジティブ投票とネガティブ投票の差）の分析は広く研究されてきた．\citeA{Jaech2015}は人気度のランキングタスクを提案し，ペアワイズ分類器を用いたランキングを行った．\citeA{Wei2016b}は人気度を用いて投稿を説得力に応じてランキングするシステムを設計した．\citeA{He2016}は動的に人気度を推定する深層強化学習の構成を提案し，この研究はさらに\citeA{He2017}によって2段階の処理に拡張された．\citeA{Hessel2017}は人気度の推定タスクにおいてマルチモーダル素性が有効であることを示した．\citeA{Cheng2017}は関連要素を因子として結び付けるニューラルモデルを用いて人気度を推定し，文書埋め込みに基づくモデルを上回る性能を実現した．\citeA{Zayats2018}は人気度を推定するのに適したグラフ構造のニューラルモデルを提案し，投稿を独立に扱うモデルを上回る性能を実現した．Redditを対象とした自動分析では，人気度以外に着目した研究も数多く行われている．本稿が対象とする談話行為の分析\cite{Zhang2017}もその一つであり，他にも様々なタスクが検討されている．\citeA{Buntain2014}は回答を投稿する人の社会的な役割に着目し，それらを教師あり学習で分類した．\citeA{Tan2016}はChangeMyViewsubredditを対象とし，説得性の高い投稿の明確化および意見の適応性を分類するモデルを構築した．\citeA{Lim2017}は投稿者の専門性を投稿内容に非依存な手法を用いて探索した．\subsection{提案モデルとの比較}提案モデルでは議論のパターンをニューラルネットワークに基づく木構造学習層とグラフ構造学習層を用いて学習する．これは従来用いられてきたパターン素性を用いずに，テキスト情報と議論のパターンを同時に学習するアプローチである．また，談話行為・対話行為の分類では従来は系列学習モデルが用いられることが多かった\cite{Wang2007,Kim2010a,Kim2010b,Wang2011,Zhang2017,Liu2017}．\citeA{Carvalho2005}は確率的なグラフィカルモデルを用いたが，関係素性と事前学習したテキスト素性に基づく分類器を前提としている．提案モデルをRedditの自動分析を行うモデルと比較すると，類似したアプローチが\citeA{Zayats2018}で用いられている．\citeA{Zayats2018}ではLongshort-termmemory(LSTM)\cite{Hochreiter1997}を拡張し，階層および時系列情報をグラフ構造として学習するモデルを提案した．しかし，このモデルはRedditの人気度を効率的に学習するための設計を含んでいる．Redditの人気度は投稿時間や投稿者の属性に強く相関することが知られている\cite{Jaech2015}．人気度の推定モデルを談話行為の推定にそのまま適用しても，\ref{sec:exp}章で詳細を述べる実験で示すように性能は限定的である．
\section{提案モデル}
\label{sec:model}提案モデルであるTree-LSTMGCNHybridの概要を図\ref{fig:model2}に示す．Tree-LSTMGCNHybridではまずスレッド中の投稿をLSTMと最大プーリングでエンコード(CommentEncoder)し，投稿の特徴量を得る．次に，投稿間の関係を木構造のLSTM処理(Parent-BranchTree-LSTM，Child-SumTree-LSTM)およびグラフ構造の畳み込み処理(GCN)で取り入れた投稿の特徴量を得る．投稿の特徴量にはさらに注意機構(Self-Attention)を適用し，最終的には全結合層でラベルに接続(LabelClassifier)する．\begin{figure}[p]\begin{center}\includegraphics{26-1ia3f2.eps}\end{center}\hangcaption{提案モデルTree-LSTMGCNHybridの概要．このモデルではスレッドに含まれる投稿をCommentEncoderでエンコードし，それらを木構造学習層(Parent-BranchTree-LSTM，Chid-SumTree-LSTM)およびグラフ構造学習層(GCN)で処理する．}\label{fig:model2}\end{figure}Tree-LSTMGCNHybridでは，既存のLSTM，木構造のLSTM，グラフ構造の畳み込みの処理を一部変更した上で組み合わせて，議論の分析に効果的なモデルを提案している．返信元から返信先に展開される議論のフローを取り入れるために，LSTMの$1$ステップ前の参照処理を修正したParent-BranchTree-LSTMを用意した．返信先から返信元に展開される議論のフローを取り入れるために，\citeA{Tai2015}のChild-SumTree-LSTMを用意した．返信の方向に依存しない周辺で展開される議論のフローを取り入れるために，\citeA{Defferrard2016}のGCNを用意した．本章の以降では，各構成要素の詳細について述べる．\subsubsection*{CommentEncoder}CommentEncoderでは投稿単位の処理を実現するために，投稿中の単語から投稿の特徴量を求める．タイトルテキスト${\boldsymbola}_{title}$と投稿テキスト${\boldsymbola}_{1\ldotsI}$からなる系列データを入力とする．各テキスト中の単語は，EmbeddingLayerの埋め込み行列${\boldsymbolE}$によって${\boldsymbolx}_{title}$および${\boldsymbolx}_{1\ldotsI}$に変換する．変換した入力は，双方向LSTM\footnote{タイトルを持つ最初の投稿と以降の投稿を別途処理できるように，最初の投稿用の$\rmLSTM_s$と返信の投稿用の$\rmLSTM_c$を用意した．}により以下の状態遷移関数に基づき処理する：{\allowdisplaybreaks\begin{align}{\boldsymboli}_t&=\sigma\left({\boldsymbolW}_i{\boldsymbolx}_t+{\boldsymbolU}_i{\boldsymbolh}_{t-1}+{\boldsymbolb}_i\right)\label{eq:lstm1}\\{\boldsymbolo}_t&=\sigma\left({\boldsymbolW}_o{\boldsymbolx}_t+{\boldsymbolU}_o{\boldsymbolh}_{t-1}+{\boldsymbolb}_o\right)\label{eq:lstm2}\\{\boldsymbolf}_t&=\sigma\left({\boldsymbolW}_f{\boldsymbolx}_t+{\boldsymbolU}_f{\boldsymbolh}_{t-1}+{\boldsymbolb}_f\right)\label{eq:lstm3}\\\tilde{{\boldsymbolc}}_t&=\tanh\left({\boldsymbolW}_c{\boldsymbolx}_t+{\boldsymbolU}_c{\boldsymbolh}_{t-1}+{\boldsymbolb}_c\right)\label{eq:lstm4}\\{\boldsymbolc}_t&={\boldsymboli}_t\odot\tilde{{\boldsymbolc}}_t+{\boldsymbolf}_t\odot{\boldsymbolc}_{t-1}\label{eq:lstm5}\\{\boldsymbolh}_t&={\boldsymbolo}_t\odot\tanh\left({\boldsymbolc}_t\right)\end{align}}ここで${\boldsymboli}_t$は入力ゲート，${\boldsymbolo}_t$は出力ゲート，${\boldsymbolf}_t$は忘却ゲート，$\tilde{{\boldsymbolc}}_t$はメモリセルゲート，${\boldsymbolc}_t$はメモリセルの状態，${\boldsymbolh}_t$は隠れ状態，${\boldsymbolW}_*$と${\boldsymbolU}_*$は重み行列，${\boldsymbolb}_*$はバイアス項，$\sigma$はロジスティックシグモイド関数，$\odot$は要素積の演算子である．双方向LSTMの出力は結合し，時間方向の最大プーリング(MaxPooling)により投稿の特徴量${\boldsymbolm}={\rmmax}\left(\overrightarrow{{\boldsymbolh}}\|\overleftarrow{{\boldsymbolh}}\right)$を得る．ここで，$\overrightarrow{{\boldsymbolh}}$は$\boldsymbolh$の順方向での処理結果，$\overleftarrow{{\boldsymbolh}}$は$\boldsymbolh$の逆方向での処理結果，$\|$はテンソルの結合を意味する．また，最初の投稿については，タイトルの出力(${\boldsymbolh}_{title}$)と投稿の出力(${\boldsymbolh}_1$)の要素和($\oplus$)を$\overrightarrow{{\boldsymbolh}}_{title}\|\overleftarrow{{\boldsymbolh}}_{title}\oplus\overrightarrow{{\boldsymbolh}}_1\|\overleftarrow{{\boldsymbolh}}_1$のようにして，最大プーリングの前に求める．\subsubsection*{Parent-BranchTree-LSTM}Parent-BranchTree-LSTMでは親ノード（返信元）の情報を用いた談話行為の推定を可能にする．投稿の特徴量は根ノードから葉ノードへと処理する．LSTMの$1$時刻前の隠れ状態${\boldsymbolh}_{t-1}$（式\ref{eq:lstm1}--\ref{eq:lstm4}）を親ノードの隠れ状態${\boldsymbolh}_{parent}$に置き換えて，以下の式に基づき処理する：{\allowdisplaybreaks\begin{align}{\boldsymboli}_t&=\sigma\left({\boldsymbolW}_i{\boldsymbolx}_t+{\boldsymbolU}_i{\boldsymbolh}_{parent}+{\boldsymbolb}_i\right)\\{\boldsymbolo}_t&=\sigma\left({\boldsymbolW}_o{\boldsymbolx}_t+{\boldsymbolU}_o{\boldsymbolh}_{parent}+{\boldsymbolb}_o\right)\\{\boldsymbolf}_t&=\sigma\left({\boldsymbolW}_f{\boldsymbolx}_t+{\boldsymbolU}_f{\boldsymbolh}_{parent}+{\boldsymbolb}_f\right)\\\tilde{{\boldsymbolc}}_t&=\tanh\left({\boldsymbolW}_c{\boldsymbolx}_t+{\boldsymbolU}_c{\boldsymbolh}_{parent}+{\boldsymbolb}_c\right)\end{align}}なお，投稿には複数の子ノード（返信）がありえるため，${\boldsymbolh}_{parent}$は複数の投稿で共有されることがある．また，以降の処理では${\boldsymbolh}$をParent-BranchTree-LSTMが出力する投稿の特徴量${\boldsymbolr}_P$として用いる．\subsubsection*{Child-SumTree-LSTM}Child-SumTree-LSTMでは子ノード（返信）の情報を用いた談話行為の推定を可能にする．投稿の特徴量は葉ノードから根ノードへとChild-SumTree-LSTM\cite{Tai2015}で処理する．具体的には，式\ref{eq:lstm1}，\ref{eq:lstm2}，\ref{eq:lstm4}に含まれる$1$時刻前の隠れ状態${\boldsymbolh}_{t-1}$を子ノードの隠れ状態$\tilde{{\boldsymbolh}}_{t}$に置き換え，忘却ゲート${\boldsymbolf}_t$（式\ref{eq:lstm3}）とメモリセルゲート${\boldsymbolc}_t$（式\ref{eq:lstm5}）を以下の式に置き換え処理する：\begin{align}\tilde{{\boldsymbolh}}_t&=\sum_k{\boldsymbolh}_k\\{\boldsymbolf}_{tk}&=\sigma\left({\boldsymbolW}_f{\boldsymbolx}_t+{\boldsymbolU}_f{\boldsymbolh}_k+{\boldsymbolb}_f\right)\\{\boldsymbolc}_t&={\boldsymboli}_t\odot\tilde{{\boldsymbolc}}_t+\sum_k{\boldsymbolf}_{tk}\odot{\boldsymbolc}_{k}\end{align}ここで${\boldsymbolh}_k$は子ノードの隠れ状態，${\boldsymbolc}_k$は子ノードのメモリセル状態である．また，以降の処理では${\boldsymbolh}$をChild-SumTree-LSTMが出力する投稿の特徴量${\boldsymbolr}_C$として用いる．\subsubsection*{GCN}GCNでは周辺ノード（返信元および返信先）の情報を用いた談話行為の推定を可能にする．各ノードの周辺ノードを畳み込みフィルタでグラフ上の畳み込みとして取り込む．具体的には，畳み込みフィルタをチェビシェフ展開で近似する手法\cite{Hammond2011}に基づく，グラフ畳み込み処理\cite{Defferrard2016}を用いる．投稿の特徴${\boldsymbolh}_l$を入力として，以下の状態遷移関数で処理する：\begin{align}{\boldsymbolh}_{l+1}&={\boldsymbolU}g_\theta\left({\boldsymbol\Lambda}\right){\boldsymbolU}^T{\boldsymbolh}_l\\g_{\boldsymbol\theta}\left({\boldsymbol\Lambda}\right)&=\sum_k^{K-1}{\boldsymbol\theta}_kT_k(\tilde{\boldsymbol\Lambda})\end{align}ここで$l$は層の番号，$\boldsymbolU$は入力グラフにおける正規化されたラプラシアンのフーリエ基底，$\boldsymbol{\theta}_k\in\mathbb{R}^K$はチェビシェフ係数のベクトル，$T_k(\tilde{\boldsymbol\Lambda})$は$k$次のチェビシェフ多項式である．グラフ上の畳み込み処理は連続的に適用することにより多層化でき，提案モデルでは式\ref{eq:gcn}のようにグラフ畳み込み処理$2$層と正規化線形関数(ReLU)を組み合わせた投稿の特徴量${\boldsymbolr}_G$を得る：\pagebreak\begin{align}{\boldsymbolr}_G&={\boldsymbolU}g_\theta\left({\boldsymbol\Lambda}\right){\boldsymbolU}^T{\rmReLU}\left({\boldsymbolU}g_\theta\left({\boldsymbol\Lambda}\right){\boldsymbolU}^T{\boldsymbolm}\right)\label{eq:gcn}\end{align}\subsubsection*{Self-Attention}Parent-BranchTree-LSTM(P)，Child-SumTree-LSTM(C)，GCN(G)に対応する$j\in\{P,C,G\}$番目の特徴量を，自己注意方法の注意機構\cite{Yang2016,Lin2017}(Self-Attention)で統合する．注意機構で統合した$i$番目の投稿の特徴量${\boldsymbols}_i$は，議論のフローを取り入れた特徴量${\boldsymbolr}_{ji}$の重み付き和として以下のように求める：\begin{align}{\boldsymbols}_i&=\sum_{j\in\{P,C,G\}}\alpha_{ji}{\boldsymbolr}_{ji}\\\alpha_{ji}&=\frac{\exp\left({\boldsymbolv}_\alpha^T{\boldsymbolu}_{ji}\right)}{\sum_{j'\in\{P,C,G\}}\exp\left({\boldsymbolv}_\alpha^T{\boldsymbolu}_{j'i}\right)}\label{eq:softmax}\\{\boldsymbolu}_{ji}&=\tanh\left({\boldsymbolW}_\alpha{\boldsymbolr}_{ji}+{\boldsymbolb}_\alpha\right)\end{align}ここで${\boldsymbolv}_\alpha$は重みベクトル，${\boldsymbolW}_\alpha$は重み行列，${\boldsymbolb}_\alpha$はバイアス項である．\subsubsection*{LabelClassifier}各投稿の特徴量${\boldsymbols}_i$を，全ての$i$で共有された全結合層とソフトマックス関数を用いて以下のようなラベル出力$\sigma\left({\boldsymboly}_i\right)$を得る：\begin{align}{\boldsymboly}_i&={\boldsymbolW}_{d}{\boldsymbols}_i+{\boldsymbolb}_d\\\sigma\left({\boldsymboly}_i\right)&=\frac{\exp\left({\boldsymboly}_i\right)}{\sum_{i'}\exp\left({\boldsymboly}_{i'}\right)}\end{align}ここで${\boldsymbolW}_d$は重み行列，${\boldsymbolb}_d$はバイアス項である．
\section{実験}
\label{sec:exp}\subsection{ベースライン}提案手法のベースラインとして，ルールに基づくモデル(Rule5-ACTS)，従来のパターン素性と系列学習を組み合わせたモデル(CRFVote)，$2$種類のニューラルモデル(LSTM-CRFVote，Greaph-LSTM)を用意した．\subsubsection*{Rule5-ACTS}機械学習に基づかないベースラインとして，単純なルールに基づく分類器Rule5-ACTSを用意した．スレッド中の投稿$c$はAlgorithm\ref{alg1}に基づいてラベル$l$に分類される．なお，この分類器では投稿が{\itAgreement}，{\itDisagreement}，{\itHumor}，{\itNegativeReaction}の$4$種類のラベルに分類されることはない．\begin{algorithm}[b]\caption{Rule5-ACTS}\label{alg1}\input{03algo01.tex}\end{algorithm}\subsubsection*{CRFVote}\citeA{Zhang2017}で最も良い性能を示した，条件付き確率場(CRF)に基づくモデルをCRFVoteとして実装した．このモデルではスレッドを分解して，根ノードから各葉ノードへの系列を独立して処理する．内容語，句読点，パターン，著者，スレッド，コミュニティの素性をCRFで学習する．素性の中でもパターン素性の大きな効果がアブレーションテストにより確認されている．なお，スレッドを系列に分解して処理するため，一つの投稿に対して複数の異なるラベルを分類することがある．この際には，投稿のラベルは分類したラベルの多数決によって決定する．\subsubsection*{LSTM-CRFVote}CommentEncoder（\ref{sec:model}章）にLSTM層とCRF層を組み合わせて，CRFVoteをニューラルモデルに拡張したLSTM-CRFVoteを実装した．系列学習タスクにおいて，LSTMとCRFを組み合わせるアプローチが有効であることは知られている\cite{Huang2015,Lample2016,Ma2016}．また，CRFVoteと同様にスレッドは根ノードから葉ノードへの系列に分解する．このモデルではまず各系列をCommentEncoderで処理し，各投稿の特徴量を得る．次にLSTM層により投稿間の依存関係を導入し，さらにCRF層でラベル間の相関関係を導入する．また，複数のラベルが分類された投稿については，CRFVoteと同様に多数決でラベルを決定する．\subsubsection*{Graph-LSTM}グラフ構造に対応したLSTM\cite{Zayats2018}をGraph-LSTMとして実装した．スレッド上の投稿間の親子関係および兄弟関係を処理できるように，LSTMを拡張して親子間の接続を扱う忘却ゲートと兄弟間の接続を扱う忘却ゲートを用意している．また，投稿中の単語分散表現の平均に加えて，グラフ上の位置や返信数といったパターン素性を組み合わせた入力を用意している．このモデルは談話行為の分類を目的として設計されてはいないが，Reddit投稿の人気度を推定する際には優れた性能を発揮している．\subsection{データ・評価手法}\label{sec:data}提案モデルとベースラインモデルの評価には\citeA{Zhang2017}のデータ\footnote{https://github.com/google-research-datasets/coarse-discourse}を用いた．データはRedditの9,438スレッド，115,827投稿，2,837コミュニティ(subreddit)より構成され，各投稿には表\ref{tab:cdis-exp}に示される$10$種類の談話行為が$3$人のアノテータによりアノテートされている．\citeA{Zhang2017}の設定を踏襲し，アノテータ間の多数決でラベルを決定できない投稿および多数決で決定したラベルが{\itOther}の投稿を除外した．結果として，評価には9,131スレッド，98,865投稿のデータを用いた．各談話行為のラベルの数，それらの最初の投稿の割合，Krippendorf'sAlphaによる一致度を表\ref{tab:cdis}に示す．\begin{table}[t]\caption{各談話行為とその概要}\label{tab:cdis-exp}\input{03table01.tex}\end{table}\begin{table}[t]\caption{談話行為の数，最初の投稿の割合，Krippendorf'sAlphaによる一致度}\label{tab:cdis}\input{03table02.tex}\end{table}すべてのモデルは$10$交差検定で評価し，評価尺度としてはAccuracy，Precision，Recall，${\rmF}_1$値を用いた．ニューラルモデルについては，開発データを用意するために$10$交差検定ではデータを8:1:1の割合で訓練:開発:テストに分割した．テスト時の性能を測定する際には，開発データで最良の${\rmF}_1$値が得られた学習結果を利用した．\subsection{モデルの設定}\subsubsection*{単語分散表現の事前学習}ニューラルモデルで用いる単語分散表現は，2006--2016のRedditダンプデータ\footnote{https://bigquery.cloud.google.com/dataset/fh-bigquery:reddit\_posts}$^{,}$\footnote{https://bigquery.cloud.google.com/dataset/fh-bigquery:reddit\_comments}をサンプリングしたデータで事前学習した．サンプリングでは，実験データ中に表れる2,837コミュニティ（\ref{sec:data}節）に属する，約$2.3$億の投稿を取得した．事前学習ではword2vec\cite{Mikolov2013}をskip-gramアルゴリズムで$次元=100$，$学習率=0.025$，$ウィンドウ幅=5$，$ネガティブサンプル数=5$，$エポック=5$の設定で用いた．\subsubsection*{各層のユニット数と最大単語数}提案モデルやベースラインモデルには，\pagebreakユニット数のパラメータを設定できる層が含まれている．LSTMのユニット数としては，${\rmLSTM}_S$と${\rmLSTM}_C$については$300$に，LSTM-CRFVoteについては$600$に設定した．Parent-BranchTree-LSTM，Child-SumTree-LSTM，GCNのユニット数には$600$を設定した．また，Redditの投稿には数千語にもおよぶ長い投稿が存在する．効率化のために，スレッドの最初の投稿については最大$400$語，返信の投稿については最大$100$語のみを利用した．\subsubsection*{最適化手法}LSTM-CRFVote，Graph-LSTM，Tree-LSTMGCNHybridの最適化には確率的勾配降下法を用いた．目的関数にはLSTM-CRFVoteはCRFのスコアを用い，Graph-LSTMとTree-LSTMGCNHybridは交差エントロピーを用いた．確率的勾配降下法のパラメータとしては，学習率は$\{0.01,0.1\}$から開発データで良い性能を示した値を選択し，$モメンタム=0.9$，$勾配クリッピング=3.0$を用いた．また，過学習を避けるためにドロップアウト\cite{Srivastava2014}を割合$0.5$でLSTM層とGCNの中間層に導入した．\begin{table}[b]\caption{提案モデルとベースラインモデルのAccuracy，Precision，Recall，${\rmF}_1$値}\label{tab:result}\input{03table03.tex}\vspace{4pt}\smallPrecision，Recall，${\rmF}_1$値については，$9$つの談話行為をデータ数に応じて重み付けした平均値である．太字は各評価指標で最大の値を示している．\end{table}\subsection{実験結果}\label{sec:result}表\ref{tab:result}に各モデルの評価結果を示す．また，提案モデルであるTree-LSTMGCNHybridについては，一つの構成要素のみを用いたモデルを提案モデル（構成要素名）として用意している．結果から，Tree-LSTMGCNHybridが従来のCRFVoteをAccuracyで$1.5\%$，${\rmF}_1$値で$2.2$上回る性能を示している．LSTM-CRFVoteもCRFVoteを上回る性能を示しており，ニューラルモデルへの単純な拡張およびニューラルモデルにより議論のパターンを学習する有効性が示唆される\footnote{すべての評価指標において，Tree-LSTMGCNHybridとLSTM-CRFVote間に有意水準$5\%$で統計的な有意差があることをFisher-PitmannPermutationTestで確認している．また，LSTM-CRFVoteとCRFVote間においても，Accuracyについては有意水準$10\%$，Precision，Recall，${\rmF}_1$値については有意水準$5\%$で統計的な有意差があることを確認している．}．Graph-LSTMはCRFVoteに及ばない性能しか得られておらず，Redditを対象としていても人気度の推定モデルを談話行為の分類にそのまま用いるのは難しいことが分かる．Rule5-ACTSでは他のモデルを大きく下回る性能になっており，単純なルールではこのタスクに対応しきれないことを示している．なお，計算時間については，Tree-LSTMGCNHybridは$10$交差検定の評価を完了するのにNVIDIATitanXgpuを$1$個用いて約$21$時間掛かった．ニューラルモデルは一般的に計算負荷が高く，本実験においてもIntelCorei7cpuを$1$コア用いて約$4$時間掛かったCRFVoteの約$5$倍の時間が掛かっている．提案モデルの単一構成要素を用いた結果については，構成要素ごとに異なる傾向が得られた．Parent-BranchTree-LSTMが最も高い性能，GCNがParent-BranchTree-LSTMを僅かに下回る性能，Child-SumTree-LSTMが他二つより大幅に低い性能を示した．Redditの議論では根ノードから葉ノードへと返信の連鎖で議論が進む．このため，親ノードを参照する構成要素が高い性能を示しているこれらの結果は直感に合う．また，GCNでは$2$層の畳み込み層により，長さ$2$以内のノードを参照している．GCNでParent-BranchTree-LSTMに近い性能が得られており，談話行為の分類においては遠いノードの影響は僅かであると考えられる．\begin{figure}[b]\begin{center}\includegraphics{26-1ia3f3.eps}\end{center}\caption{注意機構の確率値から求めた確率密度関数}\label{fig:att-probs}\end{figure}
\section{考察}
\label{sec:discuss}\subsection{木構造・グラフ構造の有効な組み合わせ}\label{sec:strategy}提案モデルでは三つの構成要素を注意機構を用いて統合している．Tree-LSTMGCNHybridがこれら構成要素をどのように組み合わせているかを分析するために，注意機構が出力する確率値を分析した．図\ref{fig:att-probs}aに，すべての投稿についての確率値から求めた確率密度関数を示す．最も優先される構成要素はParent-BranchTree-LSTMであり，\ref{sec:result}節の実験結果で単独で最も高い性能が得られた構成要素でもある，しかし，$2$番目に優先される構成要素は，単独では低い性能を示したChild-SumTree-LSTMとなった．このため，木構造やグラフ構造の効果は，単独で用いた場合と組み合わせた場合では必ずしも一致しないことが分かる．図\ref{fig:att-probs}bに最初の投稿に限定した場合の確率密度関数を示す．最初の投稿には親ノードがなく，全体の場合と比較してChild-SumTree-LSTMとGCNが優先されている．\begin{figure}[b]\begin{center}\includegraphics{26-1ia3f4.eps}\end{center}\caption{返信の数ごとに分割した確率密度関数}\label{fig:att-probs2}\end{figure}注意機構の確率値をさらに返信の数ごとに場合分けした結果を図\ref{fig:att-probs2}に示す．返信がないか少ない場合は，求めた確率密度関数は全体と似た傾向を示した（図\ref{fig:att-probs2}a）．返信が中程度の場合には，Child-SumTree-LSTMとGCNのピークの位置がParent-BranchTree-LSTMに近くなった（図\ref{fig:att-probs2}b）．返信数が大きい場合には，GCNのピークの位置がChild-SumTree-LSTMを上回る結果となった（図\ref{fig:att-probs2}c，\ref{fig:att-probs2}d）．GCNの結果から，返信数が多ければ周辺の投稿のみで談話行為の分類が十分に行えることが伺える．\subsection{ニューラルモデルの強み}提案モデルのより詳細な効果を確認するために，談話行為毎の性能を確認した．表\ref{tab:result2}にRule5-ACTS，CRFVote，LSTM-CRFVote，Parent-BranchTree-LSTM，Tree-LSTMGCNHybridの談話行為毎の${\rmF}_1$値を示す．結果として，ニューラルモデルがほぼすべての談話行為について，従来モデルと比較して同等以上の性能を達成している．特に{\itDisagreement}，{\itHumor}，{\itNegativeReaction}については，CRFVoteから大きく性能が向上した．これらの談話行為は他と比べて発生頻度が小さく（表\ref{tab:cdis}），ニューラルモデルが低頻度の談話行為の特徴をうまく捉えていることを示唆している．\begin{table}[b]\caption{提案モデルとベースラインモデルの各談話行為についての${\rmF}_1$値}\label{tab:result2}\input{03table04.tex}\end{table}\begin{table}[b]\caption{\textit{Appreciation}についての提案モデルとベースラインモデルのPrecision，Recall，${\rmF}_1$値}\label{tab:result3}\input{03table05.tex}\end{table}{\itAnnouncement}においては，複数の構成要素を組み合わせたモデル(Tree-LSTMGCNHybrid)が$3.2$ポイントの${\rmF}_1$値の向上を示した．{\itAnnouncement}は最初の投稿にしか表れない特徴があり（表\ref{tab:cdis}），\ref{sec:strategy}節の分析でもChild-SumTree-LSTMとGCNが最初の投稿において優先されていた．提案モデルが改善を示さなかった唯一の談話行為としては，{\itAppreciation}が挙げられる．表\ref{tab:result3}に示される{\itAppreciation}のPrecision，Recall，${\rmF}_1$値を確認したところ，PrecisionにおいてはRule5-ACTSおよびCRFVoteが優れた性能を示していた．この結果から，強い言語的な手掛かり（例．``thank''）が存在する談話行為については，ルールやタスク依存の素性を含むモデルに強みがあることが伺える．\begin{figure}[b]\begin{center}\includegraphics{26-1ia3f5.eps}\end{center}\hangcaption{CRFVoteに対してTree-LSTMGCNHybridの推定結果が改善した例．例中では，人名を``PERSON''，具体的なURLを``URL''，製品名を``PRODUCT''，数値を``XXXX''に置き換えている．また，例中のCRFVote，Tree-LSTMGCNHybridはそれぞれのモデルの推定結果である．}\label{fig:ea1-2}\end{figure}CRFVoteに対して提案モデル(Tree-LSTMGCNHybrid)の推定結果が改善した例を図\ref{fig:ea1-2}に示す．aのID2ではスポーツ選手の怪我に対して意見を述べているが，誤ってElaborationと推定されていた談話行為が正しくNegativeReactionと推定されるようになった．提案モデルにより，ID2の投稿は親投稿(ID1)を補足しているのではなく，親投稿に対しての個人的かつ否定的な見解であることを判定できていることが確認できる．また，bのID3では国ごとの製品価格の違いについて意見を述べているが，誤ってAnswerと推定されていた談話行為が正しくHumorと推定されるようになった．提案モデルにより，ID3の投稿は親投稿(ID1)の質問に答えているというより，親投稿の内容に即した冗談であることを判定できていることが確認できる．
\section{おわりに}
\label{sec:conc}本稿では議論のパターンをニューラルネットワークを用いて学習し，談話行為を分類するモデルを提案した．提案モデルでは3種類の構成要素(Parent-BranchTree-LSTM，Child-SumTree-LSTM，GCN)を用意し，議論のパターンを学習することを試みた．評価実験により，提案モデルは従来モデルと比較してAccuracyで$1.5\%$，${\rmF}_1$値で$2.2$の性能向上を確認した．また，3種類の構成要素間の関係を注意機構の確率値を通じて分析した．今後の課題としては，提案モデルをReddit以外の議論に対して適用することを検討している．Redditには大規模な投稿データを容易に入手できるという利点があるが，投稿時間や投稿者の属性等のテキスト以外の要素が投稿に大きな影響を与えている．議論を分析するための柔軟なアーキテクチャを探索するためにも，今後は提案モデルの拡張をより一層進めたい．\acknowledgment東京工業大学奥村・高村研究室の皆様には，ニューラルネットワークを用いて木構造やグラフ構造を学習する手法について，議論を通じて様々なアドバイスを頂きました．ここに感謝の意を表します．また，本論文はThe27thInternationalConferenceonComputationalLinguistics(COLING2018)に採択された，IntegratingTreeStructuresandGraphStructureswithNeuralNetworkstoClassifyDiscussionDiscourseActs\cite{Miura2018}を日本語で書き直し内容を追加したものです．\bibliographystyle{jnlpbbl_1.5}\begin{thebibliography}{}\bibitem[\protect\BCAY{Bhatia,Biyani,\BBA\Mitra}{Bhatiaet~al.}{2012}]{Bhatia2012}Bhatia,S.,Biyani,P.,\BBA\Mitra,P.\BBOP2012\BBCP.\newblock\BBOQClassifyingUserMessagesForManagingWebForumData.\BBCQ\\newblockIn{\BemProceedingsofthe15thInternationalworkshopontheWebandDatabases}.\bibitem[\protect\BCAY{Bunt,Alexandersson,Carletta,Choe,Fang,Hasida,Lee,Petukhova,Popescu-Belis,Romary,Soria,\BBA\Traum}{Buntet~al.}{2010}]{Bunt2010}Bunt,H.,Alexandersson,J.,Carletta,J.,Choe,J.-W.,Fang,A.~C.,Hasida,K.,Lee,K.,Petukhova,V.,Popescu-Belis,A.,Romary,L.,Soria,C.,\BBA\Traum,D.\BBOP2010\BBCP.\newblock\BBOQTowardsanISOStandardforDialogueActAnnotation.\BBCQ\\newblockIn{\BemProceedingsofthe7thConferenceonInternationalLanguageResourcesandEvaluation},\mbox{\BPGS\2548--2555}.\bibitem[\protect\BCAY{Buntain\BBA\Golbeck}{Buntain\BBA\Golbeck}{2014}]{Buntain2014}Buntain,C.\BBACOMMA\\BBA\Golbeck,J.\BBOP2014\BBCP.\newblock\BBOQIdentifyingSocialRolesinRedditUsingNetworkStructure.\BBCQ\\newblockIn{\BemProceedingsoftheWorkshoponModelingSocialMedia:MiningBigDatainSocialMediaandtheWeb},\mbox{\BPGS\615--620}.\bibitem[\protect\BCAY{Carvalho\BBA\Cohen}{Carvalho\BBA\Cohen}{2006}]{Carvalho2006}Carvalho,V.\BBACOMMA\\BBA\Cohen,W.\BBOP2006\BBCP.\newblock\BBOQImproving``EmailSpeechActs''AnalysisviaN-gramSelection.\BBCQ\\newblockIn{\BemProceedingsoftheAnalyzingConversationsinTextandSpeech},\mbox{\BPGS\35--41}.\bibitem[\protect\BCAY{Carvalho\BBA\Cohen}{Carvalho\BBA\Cohen}{2005}]{Carvalho2005}Carvalho,V.~R.\BBACOMMA\\BBA\Cohen,W.~W.\BBOP2005\BBCP.\newblock\BBOQOntheCollectiveClassificationofEmail``SpeechAct''.\BBCQ\\newblockIn{\BemProceedingsofthe28thAnnualInternationalACMSIGIRConferenceonResearchandDevelopmentinInformationRetrieval},\mbox{\BPGS\345--352}.\bibitem[\protect\BCAY{Cheng,Fang,\BBA\Ostendorf}{Chenget~al.}{2017}]{Cheng2017}Cheng,H.,Fang,H.,\BBA\Ostendorf,M.\BBOP2017\BBCP.\newblock\BBOQAFactoredNeuralNetworkModelforCharacterizingOnlineDiscussionsinVectorSpace.\BBCQ\\newblockIn{\BemProceedingsofthe2017ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\2296--2306}.\bibitem[\protect\BCAY{Cohen,Carvalho,\BBA\Mitchell}{Cohenet~al.}{2004}]{Cohen2004}Cohen,W.~W.,Carvalho,V.~R.,\BBA\Mitchell,T.~M.\BBOP2004\BBCP.\newblock\BBOQLearningtoClassifyEmailinto``SpeechActs''.\BBCQ\\newblockIn{\BemProceedingsofthe2004ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\309--316}.\bibitem[\protect\BCAY{Defferrard,Bresson,\BBA\Vandergheynst}{Defferrardet~al.}{2016}]{Defferrard2016}Defferrard,M.,Bresson,X.,\BBA\Vandergheynst,P.\BBOP2016\BBCP.\newblock\BBOQConvolutionalNeuralNetworksonGraphswithFastLocalizedSpectralFiltering.\BBCQ\\newblockIn{\BemAdvancesinNeuralInformationProcessingSystems29},\mbox{\BPGS\3844--3852}.CurranAssociates,Inc.\bibitem[\protect\BCAY{Ferschke,Gurevych,\BBA\Chebotar}{Ferschkeet~al.}{2012}]{Ferschke2012}Ferschke,O.,Gurevych,I.,\BBA\Chebotar,Y.\BBOP2012\BBCP.\newblock\BBOQBehindtheArticle:RecognizingDialogActsinWikipediaTalkPages.\BBCQ\\newblockIn{\BemProceedingsofthe13thConferenceoftheEuropeanChapteroftheAssociationforComputationalLinguistics},\mbox{\BPGS\777--786}.\bibitem[\protect\BCAY{Hammond,Vandergheynst,\BBA\Gribonval}{Hammondet~al.}{2011}]{Hammond2011}Hammond,D.~K.,Vandergheynst,P.,\BBA\Gribonval,R.\BBOP2011\BBCP.\newblock\BBOQWaveletsonGraphsviaSpectralGraphTheory.\BBCQ\\newblock{\BemAppliedandComputationalHarmonicAnalysis},{\Bbf30}(2),\mbox{\BPGS\129--150}.\bibitem[\protect\BCAY{He,Ostendorf,\BBA\He}{Heet~al.}{2017}]{He2017}He,J.,Ostendorf,M.,\BBA\He,X.\BBOP2017\BBCP.\newblock\BBOQReinforcementLearningwithExternalKnowledgeandTwo-StageQ-functionsforPredictingPopularRedditThreads.\BBCQ\\newblock{\BemarXivpreprintarXiv:1704.06217}.\bibitem[\protect\BCAY{He,Ostendorf,He,Chen,Gao,Li,\BBA\Deng}{Heet~al.}{2016}]{He2016}He,J.,Ostendorf,M.,He,X.,Chen,J.,Gao,J.,Li,L.,\BBA\Deng,L.\BBOP2016\BBCP.\newblock\BBOQDeepReinforcementLearningwithaCombinatorialActionSpaceforPredictingPopularRedditThreads.\BBCQ\\newblockIn{\BemProceedingsofthe2016ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\1838--1848}.\bibitem[\protect\BCAY{Hessel,Lee,\BBA\Mimno}{Hesselet~al.}{2017}]{Hessel2017}Hessel,J.,Lee,L.,\BBA\Mimno,D.\BBOP2017\BBCP.\newblock\BBOQCatsandCaptionsvs.CreatorsandtheClock:ComparingMultimodalContenttoContextinPredictingRelativePopularity.\BBCQ\\newblockIn{\BemProceedingsofthe26thInternationalConferenceonWorldWideWeb},\mbox{\BPGS\927--936}.\bibitem[\protect\BCAY{Hochreiter\BBA\Schmidhuber}{Hochreiter\BBA\Schmidhuber}{1997}]{Hochreiter1997}Hochreiter,S.\BBACOMMA\\BBA\Schmidhuber,J.\BBOP1997\BBCP.\newblock\BBOQLongShort-TermMemory.\BBCQ\\newblock{\BemNeuralComputation},{\Bbf9}(8),\mbox{\BPGS\1735--1780}.\bibitem[\protect\BCAY{Hu,Passonneau,\BBA\Rambow}{Huet~al.}{2009}]{Hu2009}Hu,J.,Passonneau,R.,\BBA\Rambow,O.\BBOP2009\BBCP.\newblock\BBOQContrastingtheInteractionStructureofanEmailandaTelephoneCorpus:AMachineLearningApproachtoAnnotationofDialogueFunctionUnits.\BBCQ\\newblockIn{\BemProceedingsoftheSIGDIAL2009Conference},\mbox{\BPGS\357--366}.\bibitem[\protect\BCAY{Huang,Xu,\BBA\Yu}{Huanget~al.}{2015}]{Huang2015}Huang,Z.,Xu,W.,\BBA\Yu,K.\BBOP2015\BBCP.\newblock\BBOQBidirectionalLSTM-CRFModelsforSequenceTagging.\BBCQ\\newblock{\BemarXivpreprintarXiv:1508.01991}.\bibitem[\protect\BCAY{Jaech,Zayats,Fang,Ostendorf,\BBA\Hajishirzi}{Jaechet~al.}{2015}]{Jaech2015}Jaech,A.,Zayats,V.,Fang,H.,Ostendorf,M.,\BBA\Hajishirzi,H.\BBOP2015\BBCP.\newblock\BBOQTalkingtotheCrowd:WhatDoPeopleReacttoinOnlineDiscussions?\BBCQ\\newblockIn{\BemProceedingsofthe2015ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\2026--2031}.\bibitem[\protect\BCAY{Kim,Cavedon,\BBA\Baldwin}{Kimet~al.}{2010a}]{Kim2010a}Kim,S.~N.,Cavedon,L.,\BBA\Baldwin,T.\BBOP2010a\BBCP.\newblock\BBOQClassifyingDialogueActsinOne-on-OneLiveChats.\BBCQ\\newblockIn{\BemProceedingsofthe2010ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\862--871}.\bibitem[\protect\BCAY{Kim,Wang,\BBA\Baldwin}{Kimet~al.}{2010b}]{Kim2010b}Kim,S.~N.,Wang,L.,\BBA\Baldwin,T.\BBOP2010b\BBCP.\newblock\BBOQTaggingandLinkingWebForumPosts.\BBCQ\\newblockIn{\BemProceedingsofthe14thConferenceonComputationalNaturalLanguageLearning},\mbox{\BPGS\192--202}.\bibitem[\protect\BCAY{Kipf\BBA\Welling}{Kipf\BBA\Welling}{2017}]{Kipf2017}Kipf,T.~N.\BBACOMMA\\BBA\Welling,M.\BBOP2017\BBCP.\newblock\BBOQSemi-SupervisedClassificationwithGraphConvolutionalNetworks.\BBCQ\\newblockIn{\BemProceedingsofthe5thInternationalConferenceonLearningRepresentations}.\bibitem[\protect\BCAY{Lample,Ballesteros,Subramanian,Kawakami,\BBA\Dyer}{Lampleet~al.}{2016}]{Lample2016}Lample,G.,Ballesteros,M.,Subramanian,S.,Kawakami,K.,\BBA\Dyer,C.\BBOP2016\BBCP.\newblock\BBOQNeuralArchitecturesforNamedEntityRecognition.\BBCQ\\newblockIn{\BemProceedingsofthe2016ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics:HumanLanguageTechnologies},\mbox{\BPGS\260--270}.\bibitem[\protect\BCAY{Lim,Carman,\BBA\Wong}{Limet~al.}{2017}]{Lim2017}Lim,W.~H.,Carman,M.~J.,\BBA\Wong,S.-M.~J.\BBOP2017\BBCP.\newblock\BBOQEstimatingRelativeUserExpertiseforContentQualityPredictiononReddit.\BBCQ\\newblockIn{\BemProceedingsofthe28thACMConferenceonHypertextandSocialMedia},\mbox{\BPGS\55--64}.\bibitem[\protect\BCAY{Lin,Feng,dosSantos,Yu,Xiang,Zhou,\BBA\Bengio}{Linet~al.}{2017}]{Lin2017}Lin,Z.,Feng,M.,dosSantos,C.~N.,Yu,M.,Xiang,B.,Zhou,B.,\BBA\Bengio,Y.\BBOP2017\BBCP.\newblock\BBOQAStructuredSelf-attentiveSentenceEmbedding.\BBCQ\\newblockIn{\BemProceedingsofthe5thInternationalConferenceonLearningRepresentations}.\bibitem[\protect\BCAY{Liu,Baldwin,\BBA\Cohn}{Liuet~al.}{2017}]{Liu2017}Liu,F.,Baldwin,T.,\BBA\Cohn,T.\BBOP2017\BBCP.\newblock\BBOQCapturingLong-rangeContextualDependencieswithMemory-enhancedConditionalRandomFields.\BBCQ\\newblockIn{\BemProceedingsofthe8thInternationalJointConferenceonNaturalLanguageProcessing},\mbox{\BPGS\555--565}.\bibitem[\protect\BCAY{Ma\BBA\Hovy}{Ma\BBA\Hovy}{2016}]{Ma2016}Ma,X.\BBACOMMA\\BBA\Hovy,E.\BBOP2016\BBCP.\newblock\BBOQEnd-to-endSequenceLabelingviaBi-directionalLSTM-CNNs-CRF.\BBCQ\\newblockIn{\BemProceedingsofthe54thAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\1064--1074}.\bibitem[\protect\BCAY{Mikolov,Sutskever,Chen,Corrado,\BBA\Dean}{Mikolovet~al.}{2013}]{Mikolov2013}Mikolov,T.,Sutskever,I.,Chen,K.,Corrado,G.~S.,\BBA\Dean,J.\BBOP2013\BBCP.\newblock\BBOQDistributedRepresentationsofWordsandPhrasesandtheirCompositionality.\BBCQ\\newblockIn{\BemAdvancesinNeuralInformationProcessingSystems26},\mbox{\BPGS\3111--3119}.\bibitem[\protect\BCAY{Miura,Kano,Taniguchi,Taniguchi,Misawa,\BBA\Ohkuma}{Miuraet~al.}{2018}]{Miura2018}Miura,Y.,Kano,R.,Taniguchi,M.,Taniguchi,T.,Misawa,S.,\BBA\Ohkuma,T.\BBOP2018\BBCP.\newblock\BBOQIntegratingTreeStructuresandGraphStructureswithNeuralNetworkstoClassifyDiscussionDiscourseActs.\BBCQ\\newblockIn{\BemProceedingsofthe27thInternationalConferenceonComputationalLinguistics},\mbox{\BPGS\3806--3818}.\bibitem[\protect\BCAY{Omuya,Prabhakaran,\BBA\Rambow}{Omuyaet~al.}{2013}]{Omuya2013}Omuya,A.,Prabhakaran,V.,\BBA\Rambow,O.\BBOP2013\BBCP.\newblock\BBOQImprovingtheQualityofMinorityClassIdentificationinDialogActTagging.\BBCQ\\newblockIn{\BemProceedingsofthe2013ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics:HumanLanguageTechnologies},\mbox{\BPGS\802--807}.\bibitem[\protect\BCAY{Socher,Karpathy,Le,Manning,\BBA\Ng}{Socheret~al.}{2014}]{Socher2014}Socher,R.,Karpathy,A.,Le,Q.~V.,Manning,C.~D.,\BBA\Ng,A.~Y.\BBOP2014\BBCP.\newblock\BBOQGroundedCompositionalSemanticsforFindingandDescribingImageswithSentences.\BBCQ\\newblock{\BemTransactionsoftheAssociationforComputationalLinguistics},{\Bbf2},\mbox{\BPGS\207--218}.\bibitem[\protect\BCAY{Socher,Lin,Ng,\BBA\Manning}{Socheret~al.}{2011}]{Socher2011}Socher,R.,Lin,C.C.-Y.,Ng,A.~Y.,\BBA\Manning,C.~D.\BBOP2011\BBCP.\newblock\BBOQParsingNaturalScenesandNaturalLanguagewithRecursiveNeuralNetworks.\BBCQ\\newblockIn{\BemProceedingsofthe28thInternationalConferenceonInternationalConferenceonMachineLearning},\mbox{\BPGS\129--136}.\bibitem[\protect\BCAY{Srivastava,Hinton,Krizhevsky,Sutskever,\BBA\Salakhutdinov}{Srivastavaet~al.}{2014}]{Srivastava2014}Srivastava,N.,Hinton,G.,Krizhevsky,A.,Sutskever,I.,\BBA\Salakhutdinov,R.\BBOP2014\BBCP.\newblock\BBOQDropout:ASimpleWaytoPreventNeuralNetworksfromOverfitting.\BBCQ\\newblock{\BemJournalofMachineLearningResearch},{\Bbf15},\mbox{\BPGS\1929--1958}.\bibitem[\protect\BCAY{Stolcke,Ries,Coccaro,Shriberg,Bates,Jurafsky,Taylor,Martin,VanEss-Dykema,\BBA\Meteer}{Stolckeet~al.}{2000}]{Stolcke2000}Stolcke,A.,Ries,K.,Coccaro,N.,Shriberg,E.,Bates,R.~A.,Jurafsky,D.,Taylor,P.,Martin,R.,VanEss-Dykema,C.,\BBA\Meteer,M.\BBOP2000\BBCP.\newblock\BBOQDialogueActModelingforAutomaticTaggingandRecognitionofConversationalSpeech.\BBCQ\\newblock{\BemComputationalLinguistics},{\Bbf26}(3),\mbox{\BPGS\339--373}.\bibitem[\protect\BCAY{Tai,Socher,\BBA\Manning}{Taiet~al.}{2015}]{Tai2015}Tai,K.~S.,Socher,R.,\BBA\Manning,C.~D.\BBOP2015\BBCP.\newblock\BBOQImprovedSemanticRepresentationsFromTree-StructuredLongShort-TermMemoryNetworks.\BBCQ\\newblockIn{\BemProceedingsofthe53rdAnnualMeetingoftheAssociationforComputationalLinguisticsandthe7thInternationalJointConferenceonNaturalLanguageProcessing},\mbox{\BPGS\1556--1566}.\bibitem[\protect\BCAY{Tan,Niculae,Danescu-Niculescu-Mizil,\BBA\Lee}{Tanet~al.}{2016}]{Tan2016}Tan,C.,Niculae,V.,Danescu-Niculescu-Mizil,C.,\BBA\Lee,L.\BBOP2016\BBCP.\newblock\BBOQWinningArguments:InteractionDynamicsandPersuasionStrategiesinGood-faithOnlineDiscussions.\BBCQ\\newblockIn{\BemProceedingsofthe25thInternationalConferenceonWorldWideWeb},\mbox{\BPGS\613--624}.\bibitem[\protect\BCAY{Wang,Lui,Kim,Nivre,\BBA\Baldwin}{Wanget~al.}{2011}]{Wang2011}Wang,L.,Lui,M.,Kim,S.~N.,Nivre,J.,\BBA\Baldwin,T.\BBOP2011\BBCP.\newblock\BBOQPredictingThreadDiscourseStructureoverTechnicalWebForums.\BBCQ\\newblockIn{\BemProceedingsofthe2011ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\13--25}.\bibitem[\protect\BCAY{Wang,Joshi,\BBA\Rose}{Wanget~al.}{2007}]{Wang2007}Wang,Y.-C.,Joshi,M.,\BBA\Rose,C.\BBOP2007\BBCP.\newblock\BBOQAFeatureBasedApproachtoLeveragingContextforClassifyingNewsgroupStyleDiscussionSegments.\BBCQ\\newblockIn{\BemProceedingsofthe45thAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\73--76}.\bibitem[\protect\BCAY{Wei,Liu,\BBA\Li}{Weiet~al.}{2016}]{Wei2016b}Wei,Z.,Liu,Y.,\BBA\Li,Y.\BBOP2016\BBCP.\newblock\BBOQIsThisPostPersuasive?RankingArgumentativeCommentsinOnlineForum.\BBCQ\\newblockIn{\BemProceedingsofthe54thAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\195--200}.\bibitem[\protect\BCAY{Yang,Yang,Dyer,He,Smola,\BBA\Hovy}{Yanget~al.}{2016}]{Yang2016}Yang,Z.,Yang,D.,Dyer,C.,He,X.,Smola,A.,\BBA\Hovy,E.\BBOP2016\BBCP.\newblock\BBOQHierarchicalAttentionNetworksforDocumentClassification.\BBCQ\\newblockIn{\BemProceedingsofthe2016ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics:HumanLanguageTechnologies},\mbox{\BPGS\1480--1489}.\bibitem[\protect\BCAY{Zayats\BBA\Ostendorf}{Zayats\BBA\Ostendorf}{2018}]{Zayats2018}Zayats,V.\BBACOMMA\\BBA\Ostendorf,M.\BBOP2018\BBCP.\newblock\BBOQConversationModelingonRedditUsingaGraph-StructuredLSTM.\BBCQ\\newblock{\BemTransactionsoftheAssociationforComputationalLinguistics},{\Bbf6},\mbox{\BPGS\121--132}.\bibitem[\protect\BCAY{Zhang,Culbertson,\BBA\Paritosh}{Zhanget~al.}{2017}]{Zhang2017}Zhang,A.,Culbertson,B.,\BBA\Paritosh,P.\BBOP2017\BBCP.\newblock\BBOQCharacterizingOnlineDiscussionUsingCoarseDiscourseSequences.\BBCQ\\newblockIn{\BemProceedingsofthe11thAAAIInternationalConferenceonWebandSocialMedia},\mbox{\BPGS\357--366}.\bibitem[\protect\BCAY{Zhang,Gao,\BBA\Li}{Zhanget~al.}{2011}]{Zhang2011}Zhang,R.,Gao,D.,\BBA\Li,W.\BBOP2011\BBCP.\newblock\BBOQWhatAreTweetersDoing:RecognizingSpeechActsinTwitter.\BBCQ\\newblockIn{\BemProceedingsoftheAAAI-11WorkshoponAnalyzingMicrotext},\mbox{\BPGS\86--91}.\bibitem[\protect\BCAY{Zhang,Gao,\BBA\Li}{Zhanget~al.}{2012}]{Zhang2012}Zhang,R.,Gao,D.,\BBA\Li,W.\BBOP2012\BBCP.\newblock\BBOQTowardsScalableSpeechActRecognitioninTwitter:TacklingInsufficientTrainingData.\BBCQ\\newblockIn{\BemProceedingsoftheWorkshoponSemanticAnalysisinSocialMedia},\mbox{\BPGS\18--27}.\end{thebibliography}\begin{biography}\bioauthor{三浦康秀}{2004年電気通信大学大学院電気通信学研究科修士課程修了．同年，富士ゼロックス株式会社入社．現在，コミュニケーション技術研究所において，自然言語処理の研究開発に従事．また併せて，2016年より東京工業大学工学院情報通信系博士後期課程に在学中．言語処理学会会員．}\bioauthor{狩野竜示}{2013年東京大学情報理工学系研究科修士課程修了．同年，富士ゼロックス株式会社入社．現在，コミュニケーション技術研究所において，自然言語処理の研究開発に従事．}\bioauthor{谷口元樹}{2009年北海道大学大学院情報科学研究科修士課程修了．同年，富士ゼロックス株式会社入社．現在，コミュニケーション技術研究所において，自然言語処理の研究開発に従事．}\bioauthor{谷口友紀}{2004年神戸大学大学院自然科学研究科修士課程修了．同年，富士ゼロックス株式会社入社．現在，コミュニケーション技術研究所において，自然言語処理の研究開発に従事．}\bioauthor{三沢翔太郎}{2016年早稲田大学大学院創造理工学研究科修士課程修了．同年，富士ゼロックス株式会社入社．現在，コミュニケーション技術研究所において，自然言語処理の研究開発に従事．}\bioauthor{大熊智子}{1994年東京女子大学文理学部卒業．1996年慶應義塾大学政策・メディア研究科修士課程修了．同年，富士ゼロックス株式会社入社．現在，コミュニケーション技術研究所において，自然言語処理と情報推薦の研究に従事．言語処理学会編集委員．博士（学術）．}\end{biography}\biodate\end{document}