\section{はじめに}
\label{sec:intro}対話システムの応答生成においては，ユーザとの対話を継続させる働きである対話継続性が重要な要素であり，特に対話中でのシステム発話の一貫性を考慮することが重要とされている\cite{bohus2003ravenclaw}．近年盛んに研究されている，ニューラルネットワークで対話のクエリ-応答ペアを学習するNeuralConversationModel(NCM)\cite{ncm}においても同様に，対話の文脈や論理を考慮することが対話継続性に寄与すると考えられている\cite{mei2017coherent}．そこで本研究では，まず応答候補と対話履歴に存在する事態の一貫性に着目した応答のリランキング手法を提案し，これによって対話継続性が向上するかについて調査する．リランキングは，質問応答システムや対話システムなどの言語生成タスクにおいて様々な要素を考慮した候補の選択に用いられる\cite{intra,jansen,bogdanova,ohmura}．応答候補と対話履歴に存在する一貫性を考慮しようとする場合，何をもって一貫性を定義するかが重要となる．そこで本研究では，「ストレスが溜まる」と「発散する」など，関連すると認められる事態ペアが対話履歴と応答候補の間に存在する場合に着目する．事態は動詞や事態性名詞により構成される，文の中心的な意味表現であり，文中での事態の一貫性の高さは当該文同士の一貫性の高さと関係があると考えられる．すなわち，対話履歴と応答候補の事態の一貫性が高いとき，応答候補が対話履歴に対して関連，一貫していると考えられる．一貫性があると解釈できる事態間関係の一つとして，因果関係がある．因果関係とは2つの事態間に原因と結果の関係が成立すること\cite{ecdic,ecdic2}と定義され，この定義に従い，「ストレスが溜まる」が原因，「発散する」が結果，のように認定する．因果関係はこれまで質問応答システムなどで利用されており，質問と応答の間に成立する因果関係を考慮することで，質問に対する適切な応答を生成できることが示されている\cite{intra,semisuper,mcnn-ca}．雑談対話システムにおいても因果関係を考慮することで，ユーザに好まれる応答を生成できることが示されている\cite{fujita,satoh2018}．しかしながら，実際に発話中に存在する事態の一貫性を考慮することで発話同士の一貫性を考慮することができるかどうかや，これにより対話継続性が向上するかについては議論が行われていない．そこで本研究では，こうした事態の一貫性を考慮したリランキング手法を提案し，生成応答の履歴に対する一貫性や対話継続性が実際に向上するかを検証する．また，異なる観点からの一貫性についての研究として，CoherenceModel\cite{coherence}がある．CoherenceModelは文書中に出現する単語の品詞情報や文の分散表現をもとに，対象となる文の先行文書に対する一貫性を推定する．対話応答生成においてもこのモデルが出力する一貫性スコアを利用する先行研究が存在する\cite{coh_dial}．そこで本研究では，このCoherenceModelに事態の一貫性を導入することで，対話履歴に対する一貫性と対話継続性が向上するかについて調査する．本論文で提案する手法は，対話継続性の高い応答を選択するために，事態の一貫性を考慮したスコア，あるいはCoherenceModelにおいて事態の一貫性を考慮したスコアの計算を行い，これらに基づいて応答候補から応答を選択する．この計算に，大規模コーパスから統計的に獲得された因果関係ペア\cite{ecdic,ecdic2}を用いる．また，因果関係ペアを用いる際に生じるカバレージの問題を解決するため，RoleFactoredTensorModel(RFTM)\cite{evnttnsr}を用いる．実験においては，参照文を用いた自動評価に加えてPMIを用いて一貫性の評価を行った．また，人手評価によって提案手法が対話履歴に対する一貫性を向上したか，また対話継続性を向上したかについての評価を行った．その結果，これらの手法はPMIなどの自動評価による一貫性スコアを向上したにも関わらず，人手評価における一貫性評価はかえって低下し，しかし対話継続性が向上するという一見すると矛盾する結果となった．この結果から，以下の3つの仮説を立て分析を行った．一つ目は，出現する単語に基づく一貫性の向上は必ずしも人手評価における一貫性の評価に寄与しない，という仮説である．二つ目は，人手評価における一貫性の評価と対話継続性の評価は相関が低い，という仮説である．三つ目は，人手評価における一貫性ではなく，単語選択や事態に基づく一貫性の向上が人手評価における対話継続性の向上に寄与する，という仮説である．この分析のため，人手評価のスコアの相関分析と，個々の事例分析を行った．この結果，前述の3つの仮説がある程度成立することが示され，対話履歴に関連する事態を含む応答を選択できている場合には対話継続性が向上することが示唆された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{事態の一貫性に基づく応答のリランキング}
提案した事態の一貫性に基づく応答のリランキングモデルを図\ref{fig:reranking}に示す．このリランキングモデルは，大きく分けて2つのパートから構成される．まず対話履歴をもとに既存のNCMモデルから$N$-best応答候補を生成する（図\ref{fig:reranking}\textcircled{\scriptsize1};\ref{sec:ncm}節）．次に応答候補を事態の一貫性に基づきリランキングする（図\ref{fig:reranking}\textcircled{\scriptsize2}）．このリランキングのために，本研究では2つの異なる手法を用いる．一つ目の手法は事態の一貫性に関する外部知識として，統計的に獲得された因果関係ペア\cite{ecdic,ecdic2}を用いるリランキングである（\ref{sec:reranking_rftm}節）．二つ目の手法は事態間の関係のみでなく，CoherenceModelによって対話全体の一貫性も評価するリランキングである（\ref{sec:reranking_coh}節）．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[t]\begin{center}\includegraphics{28-1ia2f1.pdf}\end{center}\hangcaption{NeuralConversationalModel$+$リランキング；「疲れる」と「リラックスする」が関連した事態であるという知識に基づき応答を選択．}\label{fig:reranking}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{NeuralConversationalModel(NCM)}\label{sec:ncm}NCMは入力発話と出力応答の系列の対応をRecurrentNeuralNetwork(RNN)などの系列予測により学習するものである．NCMのデコーダは各単語を逐次的に予測するため，ビームサーチやサンプリングなどを用いることで$N$-best応答を生成することもできる\cite{lennorm}．本研究ではビームサーチにより生成された$N$-best候補を用いる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{因果関係ペアを用いるリランキング\label{sec:reranking_rftm}}本論文において取り扱う一貫性には，異なる2種類が存在する．一つ目は対話履歴と応答に含まれる事態の一貫性であり，これが高い例として，対話履歴に「ストレスが溜まる」という事態が，応答に「発散する」という事態が含まれている場合が挙げられる．二つ目は対話履歴に対する応答の一貫性であり，これが高い例として，「ストレス溜まってるんだよね」が対話履歴であり，「発散したら？」が応答である場合が挙げられる．本研究では，対話履歴と応答候補の間に一貫する事態が存在する場合，その応答候補の対話履歴に対する一貫性が高く，対話継続性に寄与するという仮説に基づき，応答候補のリランキングを行う．対話中の連続する事態の一貫性を考える場合，対話履歴と応答の間に何らかの因果関係が成立していれば，一貫性があると解釈することができる．そこでこれを考慮したモデルとして，述語項構造に基づく因果関係を利用する手法を提案する．提案手法は，まず対話履歴と応答候補に含まれる事態（述語項構造）を事態パーサーを用いて抽出する（図\ref{fig:reranking_rftm}\textcircled{\scriptsize2}-1）．この事態パーサーにはKNP\footnote{\url{http://nlp.ist.i.kyoto-u.ac.jp/?KNP}}\cite{knp,knp2}を用いる．その後，抽出した事態及び因果関係ペアを事態埋め込みモデルを用いて分散表現に変換する（図\ref{fig:reranking_rftm}\textcircled{\scriptsize2}-2;\ref{sec:rftm}節）．事態埋め込みモデルとして，RFTMを利用する．最後に応答候補を因果関係に基づきリランキングする（図\ref{fig:reranking_rftm}\textcircled{\scriptsize4};\ref{sec:ecdic},\ref{sec:matching}節）．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[t]\begin{center}\includegraphics{28-1ia2f2.pdf}\end{center}\hangcaption{因果関係ペアを用いたリランキング；「疲れる」$\rightarrow$「リラックスする」という因果関係が対話履歴との間に成立する応答がリランキングにより選択される．}\label{fig:reranking_rftm}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[t]\input{02table01.tex}\caption{因果関係の一例}\label{tab:ecdic}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{因果関係ペア}\label{sec:ecdic}柴田ら\cite{ecdic,ecdic2}が提案した，共起情報と格フレームに基づき自動獲得された因果関係ペアデータセットをリランキングに用いる．このデータセットは約16億文のWebテキストから抽出された約42万件の因果関係知識で構成されている．表\ref{tab:ecdic}に因果関係ペアの一例を示す．各事態は述語項構造により表現され，述語1及び項1は原因となる事態を，述語2及び項2は結果となる事態を表す．ここで各事態は述語を必ず含むが，項（ガヲニデ格のいずれか）は含まない場合もある．$lift$は次式の通り2つの事態の自己相互情報量に関連した値\cite{ecdic2}であり，事態間の因果関係としての結びつきの強さを表す．$p({\rme})$は事態のWebテキスト中のある一文における出現確率を表し，$p({\rme}_h,{\rme}_r)$は2つの事態の同時出現確率を表す．\begin{align}lift({\rme}_h,{\rme}_r)=\frac{p({\rme}_h,{\rme}_r)}{p({\rme}_h)p({\rme}_r)}.\end{align}$lift$を用い，リランキングのためのスコアの計算を次のように定義する．\begin{align}score({\rmh},{\rmr})=\max_{<{\rme}_h,{\rme}_r>}\frac{\log_2{\rmP}({\rmr}\mid{\rmh})}{\bigl(\log_2lift({\rme}_h,{\rme}_r)\bigr)^{\lambda}}.\label{eq:noemb}\end{align}${\rmP}({\rmr}\mid{\rmh})$は対話履歴${\rmh}$を与えたときにNCMが生成した各応答候補${\rmr}$の事後確率であり，$\lambda$は因果関係の重みを決定するハイパーパラメータである．$lift({\rme}_h,{\rme}_r)$は対話履歴中の事態${\rme}_h$と応答候補中の事態${\rme}_r$との間の$lift$の値である．この事態ペアが因果関係ペアに含まれない場合，$lift$の値は2とする．ただし$lift({\rme}_h,{\rme}_r)$は値域が広い($10<lift({\rme}_h,{\rme}_r)<10,000$)ため，対数をとった値である2つの事態間の自己相互情報量を使用する．応答候補と対話履歴との間に複数の因果関係ペアが含まれる場合，$lift({\rme}_h,{\rme}_r)$の値が最も大きい因果関係のみを考慮する．なお$\log_2{\rmP}({\rmr}\mid{\rmh})$の値域は$(-\infty,0]$であるため，$lift$の値が大きくなるほどリランキングスコアも大きくなる．このモデルを``Re-ranking(Pairs)''と呼ぶ．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{RoleFactoredTensorModel(RFTM)に基づく事態分散表現}\label{sec:rftm}大規模テキストから抽出した大規模因果関係ペアデータセットであっても，あらゆる因果関係ペアを網羅できるわけではないため，これのみを用いて対話履歴と応答候補に存在する全ての因果関係を考慮することは難しい．そこで因果関係ペア，および発話中に含まれる事態を分散表現に変換し，ベクトル空間中で因果関係知識と対話中に出現した因果関係との類似度に基づくマッチングを行うことで，表層の一致しない因果関係に対するマッチングを実現する．本論文では，事態を述語，もしくは述語と付随する項のペアと定義して用いる．項$a$はGloVe\cite{glove}によりベクトル${\rmv}_{a}$へと変換される．述語$p$はpredicateembeddingによりベクトル${\rmv}_{p}$へと変換される．predicateembeddingはSkip-gram\cite{word2vec2,word2vec3,word2vec1}をもとにした単語分散表現である．図\ref{fig:preemb}にpredicateembeddingモデルの概要を示す．このモデルはSkip-gramが与えられた単語の周辺単語を予測するよう学習を行うのと同様に，与えられた述語に付随する項を予測するよう学習を行う．${\rmv}_{p}$および${\rmv}_{a}$より事態の分散表現を得る手法として，Weberらが提案したRFTM\cite{evnttnsr}を利用する．RFTMは述語$p$と項$a$を次式により事態分散表現${\rme}$へと変換する．\begin{align}{\rme}=\sum_{a}W_{a}T({\rmv}_{p},{\rmv}_{a}).\label{eq:rft}\end{align}述語と付随する項の関係は3階パラメータテンソル$T$,パラメータ行列$W_{a}$により計算される．述語が項を持たない場合，${\rme}$は${\rmv}_{p}$により代替される．RFTMでは連続して起こる事態を予測するため，それらの分散表現同士のコサイン類似度を損失関数とし，連続して起こる事態が近い点に埋め込まれるように学習を行う．これは単語における分布仮説同様，似た文脈に出現する事態が似た意味を持つことを仮定するものである．これにより，似た文脈を持つ事態を潜在空間上の近い位置に埋め込むことが出来る．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.3and4\begin{figure}[b]\noindent\begin{minipage}[t]{162pt}\includegraphics{28-1ia2f3.pdf}\caption{PredicateEmbedding}\label{fig:preemb}\end{minipage}\hfill\begin{minipage}[t]{241pt}\setlength{\captionwidth}{241pt}\begin{center}\includegraphics{28-1ia2f4.pdf}\end{center}\hangcaption{因果関係のマッチング；「疲れる」$\rightarrow$「リラックスする」という因果関係の$lift$は最もコサイン類似度が高い因果関係である「ストレスが溜まる」$\rightarrow$「発散」の$lift$から計算される．}\label{fig:matching}\end{minipage}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{事態分散表現を用いた因果関係のマッチング}\label{sec:matching}図\ref{fig:matching}に事態分散表現による事態のマッチングを示す．提案手法は事態分散表現に基づき，応答候補と対話履歴中の発話との間の事態ペアに対し，最も高いコサイン類似度を持つ因果関係を因果関係ペアより選択する．ここで2つの事態間の$lift_{emb}$を次の式のように定義する．\begin{equation}lift_{emb}({\rme}_h,{\rme}_r)=lift({\rme}_c,{\rme}_e)*mean\bigl(sim({\rme}_h,{\rme}_c),sim({\rme}_r,{\rme}_e)\bigr).\label{eq:lift}\end{equation}${\rme}_h$は対話履歴中の事態，${\rme}_r$は応答候補中の事態であり，${\rme}_c$と${\rme}_e$はそれぞれ因果関係ペア中の原因となる事態，結果となる事態である．$sim$はベクトル間のコサイン類似度である．提案手法では対話履歴中の事態が結果，応答候補中の事態が原因となる場合も考慮する．ただし「風邪を引く」と「目が覚める」を同一とみなすなど，事態を過剰に汎化してしまう場合がある．こうした問題を避けるために，各$sim$はしきい値を設定し，ある事態ペアの各$sim$がしきい値未満である場合，その事態ペアはリランキングに用いない．また${\rme}_h,{\rme}_r$の代替として用いる因果関係ペア${\rme}_c,{\rme}_e$は$mean\bigl(sim({\rme}_h,{\rme}_c),sim({\rme}_r,{\rme}_e)\bigr)$が最も高いものを選択する．式\eqref{eq:noemb}の$lift({\rme}_h,{\rme}_r)$を$lift_{emb}({\rme}_h,{\rme}_r)$で更新することで，事態分散表現を用いたリランキングスコアは次のように定義される．\pagebreak\begin{align}score({\rmh},{\rmr})=\max_{<{\rme}_h,{\rme}_r>}\frac{\log_2{\rmP}({\rmr}\mid{\rmh})}{\bigl(\log_2lift_{emb}({\rme}_h,{\rme}_r)\bigr)^{\lambda}}.\label{eq:emb}\end{align}``Re-ranking(Pairs)''と同様に，応答候補と対話履歴との間に複数の因果関係ペアが含まれる場合，$lift_{emb}({\rme}_h,{\rme}_r)$の値が最も大きい因果関係のみを考慮する．このモデルを``Re-ranking(RFTM)''と呼ぶ．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.5\begin{figure}[b]\begin{center}\includegraphics{28-1ia2f5.pdf}\end{center}\hangcaption{CoherenceModelを用いたリランキング；「疲れる」「リラックスする」という事態ペアの一貫性に加え，対話全体の一貫性も考慮して応答を選択．}\label{fig:reranking_coh}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{CoherenceModelを用いるリランキング}\label{sec:reranking_coh}因果関係は一貫性の推定に重要な要素であると考えられるものの，これ以外にも内容語や機能語の語彙選択など，様々な要素が応答の一貫性に寄与すると考えられる．例えば，対話履歴が「ストレス溜まってるんだよね」であり，応答が「私が発散したい」である場合などは，応答に含まれる事態の一貫性は高いものの，応答の一貫性が高いとは言えない．また，本研究で用いた因果関係ペア自体は統計モデルで推定されたものであり，必ずしも全てが因果関係として成立しているわけではない．そこで事態ペア間のみでなく，応答全体の一貫性も評価するリランキングを実現するため，CoherenceModelを用いる．このリランキングでは因果関係ペアを用いたリランキングと同様，はじめに対話中の事態を事態パーサーにより抽出する（図\ref{fig:reranking_coh}\textcircled{\scriptsize2}-1）．次に，抽出した事態，対話履歴，応答候補をCoherenceModelに与え，応答候補の対話履歴に対する一貫性スコアを推定する（図\ref{fig:reranking_coh}\textcircled{\scriptsize2}-2;\ref{sec:coh_pre}節）．最後に応答候補を一貫性スコアに基づきリランキングする（図\ref{fig:reranking_coh}\textcircled{\scriptsize2}-3;\ref{sec:coh_pre}節）．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{CoherenceModelによる対話の一貫性推定}\label{sec:coh_pre}応答候補の対話履歴に対する一貫性を推定するために，Xuらが提案したCoherenceModel\cite{coherence}を利用する．このモデルは先行するテキストに対して後続する文が連続する一文であるか，ランダムに置き換えられた一文であるかを判定する．本研究では，CoherenceModelを応答候補の対話履歴に対する一貫性推定に用いる．モデルの学習に用いる正例，負例の例を図\ref{fig:coh_smp}に示す．正例は対話履歴と対話履歴中の発話に対し因果関係を持つ応答のペアである．因果関係のマッチングには``Re-ranking(Pairs)''と同じく因果関係ペアデータセット\cite{ecdic,ecdic2}を用いる．負例は正例の順序を逆に入れ替えたもの，すなわち応答と，応答との間に因果関係を持つ対話履歴中の発話とを入れ替えたペアである．これにより，含まれる事態と全体の意味の両方が対話履歴に対して一貫している応答候補のみ，一貫性スコアを高く見積もることが期待できる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.6\begin{figure}[b]\begin{center}\includegraphics{28-1ia2f6.pdf}\end{center}\hangcaption{CoherenceModelの学習に用いる正例と負例;負例の応答に含まれる事態（疲れる）は対話履歴中の事態（リラックスする）に対して一貫している（「疲れる」が原因，「リラックスする」が結果）が，応答全体の意味は一貫していない．}\label{fig:coh_smp}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.7\begin{figure}[b]\begin{center}\includegraphics{28-1ia2f7.pdf}\end{center}\caption{CoherenceModelによる一貫性スコアの推定}\label{fig:coh_pre}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%図\ref{fig:coh_pre}にモデルの概要を示す．このモデルはまず対話履歴${\rmh}$，応答候補${\rmr}$をBERT\cite{bert}を用いて分散表現${\rmv}_h,{\rmv}_r$に変換する．またこれに加えて，対話履歴，応答候補から抽出された事態ペアをRFTMを用いて分散表現に変換する．このときリランキングに用いる事態ペアはコサイン類似度がしきい値以上のもののみを用いる．RFTMは連続して出現する事態同士のコサイン類似度が高くなるよう学習を行っており，これによって連続して出現する可能性が高い事態への重みづけを行う．得られた分散表現に基づき，応答候補の一貫性スコア$coh$を次式のように計算する．\begin{align}coh({\rmv}_h,{\rmv}_r,{\rme}_h,{\rme}_r)&=\sigma\bigl(W{\rmv}+b\bigr).\label{eq:coh_score}\\{\rmv}&=[{\rmv}_h;{\rmv}_r;{\rmv}_h-{\rmv}_r;|{\rmv}_h-{\rmv}_r|;{\rmv}_h*{\rmv}_r;{\rme}_h;{\rme}_r;{\rme}_h-{\rme}_r;|{\rme}_h-{\rme}_r|;{\rme}_h*{\rme}_r].\end{align}ここで$\sigma$はシグモイド関数を，$W,b$はそれぞれパラメータ行列，パラメータバイアスを表す．また$[;]$はベクトルの結合を表し，$*$は要素積を表す．対話履歴，応答候補から抽出される事態ペアが複数存在する場合，最も高いコサイン類似度を持つ事態ペアのみを用いる．またしきい値以上の事態ペアが存在しない場合，一貫性スコアは$0$として扱われる．この一貫性スコアの計算には図\ref{fig:coh_pre}のようにMultiLayerPerceptron(MLP)を使用する．学習データ中の正例${x_i}^+$および対話の順序を入れ替えた負例${x_i}^-$を用い，式(\ref{eq:coh_score})を学習するための損失関数を次式のとおりMarginRankingLossで定義する．\begin{align}Loss({x_i}^+,{x_i}^-)=\max\bigl(0,-(f({x_i}^+)-f({x_i}^-))+0.5\bigr).\label{eq:coh_loss}\end{align}$f({x_i}^+),f({x_i}^-)$はそれぞれ正例，負例に対してモデルが出力した予測値であり，式(\ref{eq:coh_loss})は\\${f({x_i}^+)-f({x_i}^-)\geq0.5}$のとき0となる．応答候補の一貫性スコア$(0\leqcoh\leq1)$が0.5以上であった場合，その応答候補は対話履歴に対し一貫していると判定し，リランキングスコアを次式のように計算する．\begin{align}score({\rmh},{\rmr})=\bigl(1-coh({\rmv}_h,{\rmv}_r,{\rme}_h,{\rme}_r)\bigr)\log_2{\rmP}({\rmr}\mid{\rmh}).\label{eq:coh}\end{align}式(\ref{eq:noemb})(\ref{eq:emb})と同様，$\log_2{\rmP}({\rmr}\mid{\rmh})$の値域は$(-\infty,0]$であるため，一貫性スコアの値が大きくなるほどリランキングスコアも大きくなることに注意されたい．このモデルを``Re-ranking(Coherence)''と呼ぶ．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{リランキング手法の評価実験}
\label{sec:exp}これまでに述べた対話応答リランキング手法を評価する．連続する事態の一貫性を考慮することで，応答の対話履歴に対する一貫性が向上し，それによって対話継続性が向上するという仮説について検証する．具体的には，リランキングの有無による対話応答の違いを自動評価，人手評価する実験を行った．特に人手評価においては対話履歴に対する応答候補の一貫性，対話継続性についての評価を行った．実験ではNCMとしてEncoder-DecoderwithAttention(EncDec)\cite{attn,attn2}とHierarchicalRecurrentEncoder-Decoder(HRED)\cite{hred,hred2}を用いる．HREDのモデルは，単純なEncoder-Decoderなどのモデルと比較して対話履歴を考慮した応答を生成しやすいと期待される一方で，出力結果のバリエーションが対話履歴により制約され，$N$-best応答候補のリランキングには不向きである可能性もある．対話モデルの学習及びテストに用いるコーパスとしてマイクロブログ(Twitter)から収集した2,072,893対話を使用した．ここではマイクロブログにおける1発話を1ターンとし，発話の連接をターン数と考える．平均対話長は13.50ターン,平均発話長は22.52文字であった．語彙サイズを削減しモデルの学習を促進するために，絵文字などはあらかじめ発話から除外した．対話コーパスを学習データ，バリデーションデータ，テストデータとしてそれぞれ1,969,626対話，51,573対話，51,694対話に分割した．RFTMが利用するGloVe,predicateembeddingの学習には日本語Wikipediaダンプデータ\footnote{2018年11月2日時点の最新版．}を用い，RFTMの学習には因果関係ペア，毎日新聞2017データ集\footnote{\url{http://www.nichigai.co.jp/sales/mainichi/mainichi-data.html}}に加え，対話モデルの学習に用いたものと同様の対話データを用いた．CoherenceModelが用いるBERTモデルには事前学習済みの公開されているモデル\footnote{\url{http://nlp.ist.i.kyoto-u.ac.jp/index.php?BERT}日本語Pretrainedモデル．}を用い，CoherenceModelの学習には対話モデルの学習に用いたものと同様の対話データを用いた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{モデル設定}NCMの学習設定は次のとおりである．GloVe\cite{glove},predicateembedding,RFTM\cite{evnttnsr}の隠れ層は全て100次元とした．CoherenceModelが利用するBERTモデルの隠れ層は768次元であり，MLPの層数は1層である．隠れ層256次元のGRU\cite{gru,gru2}2層,対話履歴数$N=2$,バッチサイズ100,Dropout確率0.1,teacherforcing率1.0,OptimizerをAdam\cite{adam}とし，GradientClipping50,Encoder及びHREDにおけるContextRNNの学習率$1\mathrm{e}^{-4}$,Decoderの学習率$5\mathrm{e}^{-4}$,目的関数をITFloss\cite{itf}とした．トークン分割にはsentencepiece\cite{sentpc}を用い，語彙数32,000とした．実際の対話データは平均で13.50ターンの対話長を持つが，距離が離れた発話同士では話題が遷移し，関連性が低下する．また，NCMではRAMサイズの制約から長大な履歴を入力とすることが難しい\footnote{本計算にはGeForceGTX1080Ti(11GBGPU-RAM)のGPUを用いた．}．そこで本研究では，応答生成，リランキングの際に用いる対話履歴は最大で過去3発話とした．これらの設定はEncDec,HREDどちらにおいても同一である．EncDecに複数発話の対話履歴を入力する場合，それらを文末を表す特殊トークン$<$/s$>$で結合し，1つの発話として入力した．HREDに複数発話を入力する場合は各発話をUtteranceEncoderでエンコードした後，ContextEncoderで対話履歴全体をエンコードした\cite{hred,hred2}．探索の際は同じトークンを繰り返し出力することを防ぐためにRepetitiveSuppression\cite{itf}を,短い応答のみを出力することを防ぐためにlengthnormalization\cite{lennorm}を用いた．最後に，リランキングの式\eqref{eq:noemb}，式\eqref{eq:emb}における$\lambda=1.0$とし,事態分散表現を用いた因果関係のマッチング，CoherenceModelにおける事態ペアのコサイン類似度のしきい値は経験則的に$0.9$とした．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{応答生成候補の多様性}リランキング以前の各モデルにおける$N$-best応答内の多様性評価を行う．これは，ビームサーチにより生成される$N$-best応答が多様であるほど，リランキングの効果が期待できるためである．そこで，テストデータに対するそれぞれの$N$-best応答内の多様性を，dist-1,2\cite{dist}によって評価した．ビーム幅は20とし，これは続く実験でも同一である．表\ref{tab:n-dist}に結果を示す．ここで${\rmAve.dist}$は各$N$-best応答内で計算されたdistの平均を表す．表を見るとEncDecの方がHREDよりも多様性が高いことがわかる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[b]\input{02table02.tex}\caption{$N$-best応答候補内の多様性}\label{tab:n-dist}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{自動評価}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{自動評価で用いる指標}自動評価として，まず提案手法が有効な範囲を測るためリランキングされた応答候補の割合(``re-ranked'')を用いた．また，応答候補のreferenceに対する類似度を測るため，referenceに対するBLEU\cite{bleu},NIST\cite{nist},またgreedy,average,extremaと呼ばれる3つの分散表現を用いた指標\cite{extrema,hownotto}を用いた．BLEUはreferenceとの$N$-gramの一致率を測る指標である．NISTはBLEUに類似した評価指標だが，スコア計算の際に低頻度語を重視する点で異なる．greedy,average,extremaはすべて参照応答と生成応答の分散表現空間上での類似度を測るものである．greedyにおける類似度$GM$は参照応答と生成応答それぞれに含まれる単語のGloVe単語ベクトル${\rmge}_{w}$を，次式のように貪欲にマッチングすることで計算される．\pagebreak\begin{align}G(s,\hat{s})&=\frac{\sum_{w\ins}\max_{\hat{w}\in\hat{s}}sim({\rmge}_{w},{\rmge}_{\hat{w}})}{|s|}\label{eq:greedy1}\\GM(s,\hat{s})&=\frac{G(s,\hat{s})+G(\hat{s},s)}{2}\label{eq:greedy2}.\end{align}ここで$s,\hat{s}$は参照応答，生成応答を表し，$sim$はコサイン類似度を表す．averageにおける類似度は参照応答と生成応答それぞれの文ベクトルのコサイン類似度より計算される．各文ベクトル${\rmge}_{s}$はGloVe単語ベクトルを次式のように平均化することで計算される．\begin{align}{\rmge}_{s}=\frac{\sum_{w\ins}{\rmge}_{w}}{|s|}\label{eq:average}.\end{align}extremaにおける類似度はaverageと同様に文ベクトルのコサイン類似度より計算され，文ベクトルはGloVe単語ベクトルの各次元$d$における極値を次式のように取ることで計算される．\begin{align}{\rmge}_{sd}=\begin{cases}\max_{w\ins}{\rmge}_{wd}&{\rmif}\hspace{2mm}{\rmge}_{wd}>|\min_{w'\ins}{\rmge}_{w'd}|\\\min_{w\ins}{\rmge}_{wd}&{\rmotherwise}\end{cases}.\label{eq:extrema}\end{align}ここで${\rmge}_{sd}$,${\rmge}_{wd}$はそれぞれ${\rmge}_{s}$,${\rmge}_{w}$の$d$次元目の要素を表す．また評価指標として，dist-n\cite{dist},PointwiseMutualInformation(PMI)\cite{pmi}も用いた．dist-n,PMIはそれぞれ応答の多様性，一貫性を測るために用いた．応答と対話履歴のPMIは次式のように計算される．\begin{align}{\rmPMI}=\frac{1}{\#wr}\sum^{\#wr}_{wr}\max_{wh}{\rmPMI}(wr,wh).\label{eq:pmi}\end{align}$wr$,$wh$はそれぞれ応答中，対話履歴中の単語を表す．PMIを計算するためのコーパスはNCMの学習データと同一である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{自動評価による比較}表\ref{tab:automatic}に全テストデータに対するリランキング前後の自動評価による比較を示す．表\ref{tab:automatic}の手法名は左から順に，用いたNCM，用いたリランキング手法を示している．``1-best''はリランキングを行わない，ベースラインのNCMを表す．``Re-ranking(Pairs)'',``Re-ranking(RFTM)'',``Re-ranking(Coherence)''はそれぞれ因果関係ペアのみを用いたリランキング，因果関係ペアとRFTMを用いるリランキング，CoherenceModelを用いるリランキングを表す．リランキングされる応答候補の割合は``Re-ranking(Pairs)'',``Re-ranking(Coherence)''の場合多くとも10\%前後に留まり，リランキングの効果が限定的となる．これに対して，RFTMによる分散表現で汎化を行ったモデルでは，リランキングの割合が30\%程度に上昇している．またNIST,dist-2およびPMIは``Re-ranking(RFTM)''により最も上昇しており，語彙の組み合わせが多様かつ対話履歴と関連したものになっていることがわかる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[b]\input{02table03.tex}\caption{全テストデータに対する自動評価のスコア}\label{tab:automatic}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[b]\input{02table04.tex}\caption{自動評価のスコア；HREDwithRe-ranking(Pairs);対話数2,608.}\label{tab:hred}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[b]\input{02table05.tex}\caption{自動評価のスコア;HREDwithRe-ranking(RFTM);対話数11,247.}\label{tab:hred_rftm}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{リランキング手法ごとの自動評価値の傾向}表\ref{tab:automatic}のどの手法においても，過半数のテストデータはリランキング前と同じ応答を対象に評価値が算出されている．このため表\ref{tab:automatic}の結果のみからそれぞれのリランキングによりどの評価値がどの程度改善されるかを見て取ることは困難である．そこで各リランキング手法がリランキングを行ったデータについてのみ評価値を算出することで，各手法がリランキング対象とするデータの傾向，および各手法により改善される評価値を分析した．表\ref{tab:n-dist}よりEncDecの方が$N$-best応答内の多様性が高いためリランキングに適している可能性があるものの，自動評価ではHREDの方が1-bestにおいて高いスコアを持つ傾向にある．本論文では，リランキングを行わない1-bestがより強いベースラインとなるHREDを用い，提案するそれぞれのリランキング手法と比較した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table6\begin{table}[t]\input{02table06.tex}\caption{自動評価のスコア;HREDwithRe-ranking(Coherence);対話数3,245.}\label{tab:hred_coh}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表\ref{tab:hred},\ref{tab:hred_rftm},\ref{tab:hred_coh}に結果を示す．表\ref{tab:hred}の因果関係ペアのみを用いるリランキングでは，BLEU,NISTなどの参照応答との類似度スコアが全てリランキング前以下の値となっているのに対し，dist-2,PMIの値は上昇している．特にPMIはわずかながら参照応答以上の値となっており，応答に含まれる単語が対話履歴に関連したものになっていることがわかる．表\ref{tab:hred_rftm}の因果関係ペアとRFTMを用いるリランキングにおいてもPMIが上昇しており，またNISTも向上していることから，対話履歴との関係が高い低頻度語を含む応答を選択できていることがわかる．表\ref{tab:hred_coh}のCoherenceModelを用いるリランキングではBLEU,NIST,distが低下しているものの，greedy,average,extremaといった分散表現による類似度尺度は全て上昇している．またPMIは3つのリランキング手法の内最も高い値となっており，表\ref{tab:hred}と比較しても参照応答の値との差が大きい．さらに表\ref{tab:hred_coh}の1-bestの値を表\ref{tab:hred},\ref{tab:hred_rftm}と比較すると，リランキング前の段階で類似度スコアやPMIが高い傾向にあることがわかる．すなわちCoherenceModelを用いるリランキングは，その他のリランキング手法と比較して参照応答に類似した応答を対話モデルが生成しやすい対話データを捉えることが可能であり，かつ分散表現上での応答の類似度を向上させることができていると言える．どのリランキング手法においてもPMIの上昇割合が高いのは，因果関係ペアが述語項構造の共起情報に基づいて獲得されており，この情報がPMIの上昇に寄与するためと考えられる．なおCoherenceModelが用いるRFTMの学習にも因果関係ペアが用いられているため，``Re-ranking(Coherence)''も因果関係ペアを間接的に参照している．PMIの向上はより関連する単語を含む応答を選択できていることを示唆するものの，対話の自然性，継続性という観点からは人手による主観評価が必要である．そこで次の節では，人手による評価を行う．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{人手評価}自動評価において，提案手法によって選択される応答の単語の一貫性は向上しているものの，自動評価のみで対話システムの性能を評価することは困難である\cite{hownotto}．そこで，ベースラインモデルと提案モデルを人手評価により比較することで，提案モデルにより選択された応答の一貫性，自然性，対話継続性を測った．評価者の負担を軽減するため，一般に知名度が低いソーシャルゲームについて話しているなど，内容を理解するために前提知識を必要とする対話は人手で評価対象から取り除いた．人手評価にはクラウドソーシングを用い，各比較条件ごとに10人のクラウドワーカーに2つのシステムの応答を比較し，次に挙げる3点の指標をより満たすものを2つの応答のどちらか，もしくは「どちらでもない(neither)」の3択より選択してもらった．1番目の指標は「どちらの応答がより対話履歴に関連しているか(coherency)」であり，これはシステム応答が一貫しているかを計測するために用いる．2番目の指標は「どちらの応答がより文法的に違和感なく読めるか(naturality)」であり，これはシステム応答の文法的な自然性を計測するために用いる．3番目の指標は「どちらの応答により返答したいと思うか(dialoguecontinuity)」であり，これはシステム応答の対話継続性が高いかを計測するために用いる．これらの指標はAlexaPrize\cite{alexa}を参考に決定した．また，各比較で対象とした対話数はそれぞれ100である．なお，これらの評価は各手法により1-bestと異なる応答が選択されたケースのみを評価として用いたので，評価の対象となったサンプルがそれぞれ異なる．このため，異なる図間のスコアを直接比較できないことに注意されたい．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.8and9\begin{figure}[b]\setlength{\captionwidth}{189pt}\noindent\begin{minipage}{0.45\hsize}\begin{center}\includegraphics{28-1ia2f8.pdf}\end{center}\hangcaption{人手評価の結果;1-bestv.s.Re-ranking(Pairs)}\label{fig:human_1}\end{minipage}\hfill\begin{minipage}{0.45\hsize}\begin{center}\includegraphics{28-1ia2f9.pdf}\end{center}\hangcaption{人手評価の結果;1-bestv.s.Re-ranking(RFTM)}\label{fig:human_2}\end{minipage}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.10and11\begin{figure}[b]\setlength{\captionwidth}{189pt}\noindent\begin{minipage}{0.45\hsize}\begin{center}\includegraphics{28-1ia2f10.pdf}\end{center}\hangcaption{人手評価の結果;1-bestv.s.Re-ranking(Coherence)}\label{fig:human_3}\end{minipage}\hfill\begin{minipage}{0.45\hsize}\begin{center}\includegraphics{28-1ia2f11.pdf}\end{center}\hangcaption{人手評価の結果;Re-ranking(Pairs)v.s.Re-ranking(RFTM)}\label{fig:human_4}\end{minipage}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.12and13\begin{figure}[t]\setlength{\captionwidth}{189pt}\noindent\begin{minipage}{0.45\hsize}\begin{center}\includegraphics{28-1ia2f12.pdf}\end{center}\hangcaption{人手評価の結果;Re-ranking(Pairs)v.s.Re-ranking(Coherence)}\label{fig:human_5}\end{minipage}\hfill\begin{minipage}{0.45\hsize}\begin{center}\includegraphics{28-1ia2f13.pdf}\end{center}\hangcaption{人手評価の結果;Re-ranking(RFTM)v.s.Re-ranking(Coherence)}\label{fig:human_6}\end{minipage}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%人手評価の結果を図\ref{fig:human_1}から\ref{fig:human_6}に示す．本実験ではカイ二乗検定を行い，有意水準${\rmp}<0.05$を統計的に有意とみなすこととした．各指標の右側に記された*は${\rmp}<0.05$を，**は${\rmp}<0.01$を表す．一貫性はどのリランキング手法においても1-bestと比較して有意に減少している．これは，因果関係や連続する事態のみに着目して一貫性を評価しても，必ずしも対話における主観的な一貫性の向上には繋がらないという結果を示している．ただし表\ref{tab:hred}--\ref{tab:hred_coh}においてPMIが上昇していることから，単語単位の一貫性は上昇していると考えられる．これらのことから，ユーザに応答が一貫していると認められるためには出現単語が一貫しているのみでは不十分であり，\ref{sec:intro}章にて立てた一つ目の仮説「出現する単語に基づく一貫性の向上は必ずしも人手評価における一貫性の評価に寄与しない」が成り立つことが示された．異なるリランキング手法を比較した場合，``Re-ranking(Coherence)''が選択した応答の一貫性が最も高い傾向にあり，``Re-ranking(Coherence)''が持つ応答の一貫性を考慮する能力が他のリランキング手法と比較して高いことがわかる．これに対し，対話継続性は``Re-ranking(RFTM)''において有意に向上している．異なるリランキング同士の比較では``Re-ranking(RFTM)'',``Re-ranking(Coherence)''が対話継続性において最も高い評価を得ており，本論文で提案した事態や出現単語レベルでの一貫性の向上が，対話継続性の向上に寄与することがわかる．自然性も一貫性と同じくどのリランキングにおいても低下しているが，これはニューラル対話モデルのDecoderが言語モデルとしての役割を担うため，リランキング前の順位が高いほど言語モデル的に尤度の高い応答となるためだと考えられる．異なるリランキング同士の比較では``Re-ranking(Coherence)''が自然性において最も高い評価を得ている．これは``Re-ranking(Coherence)''が応答全体の対話履歴に対する一貫性を考慮していることから，コンテキストに対する生成結果のもっともらしさをある程度考慮できているためだと考えられる．人手評価の結果より，自然性が低い応答は一貫性も低いとユーザにみなされる可能性が高いものの，一貫性，自然性が低くとも対話継続性が高い場合が存在することがわかった．この現象について詳しく分析するため，次節にて各評価指標間の相関について調査する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{人手評価結果の相関分析\label{sec:correlation}}本研究で用いた連続する事態の一貫性を考慮したリランキングでは，主観評価における対話継続性が向上したものの，一貫性が低下するという一見して矛盾する結果となった．そこで，人手評価における一貫性，自然性，対話継続性の相関を測るために，評価指標ペアの混同行列を集計し，クラメールの連関係数$V(0\leqV\leq1)$を算出した．分析対象は図\ref{fig:human_1}--\ref{fig:human_3}の実験で用いられた各100対話，合計300対話である．なお，評価者間の評価の一致率を表すFleiss'Kappaの値は0.20であった．集計結果および連関係数を表\ref{tab:coh_nat}--\ref{tab:con_coh}に示す．一貫性と自然性，対話継続性と一貫性の連関係数はともに0.20であり，人手評価で対象としたコーパスにおいて一貫性の対話継続性に対する寄与率はあまり高くはないことがわかる．また自然性と対話継続性の連関係数は0.52であり，これも十分高いとは言えない．これらの結果は，\ref{sec:intro}章にて立てた二つ目の仮説「人手評価における一貫性の評価と対話継続性の評価は相関が低い」を裏付ける．人手評価において一貫性が低下していると評価者に判断されたにもかかわらず，対話継続性は向上していると判断された例を次に示す．鉤括弧内はリランキングに使用された事態ペアを示す．``$\rightarrow$''で結ばれた事態ペアは因果関係を表す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table7\begin{table}[t]\input{02table07.tex}\caption{混同行列（一貫性-自然性）；$V=0.20$}\label{tab:coh_nat}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table8\begin{table}[t]\input{02table08.tex}\caption{混同行列（自然性-対話継続性）；$V=0.52$}\label{tab:nat_coh}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table9\begin{table}[t]\input{02table09.tex}\caption{混同行列（対話継続性-一貫性）；$V=0.20$}\label{tab:con_coh}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\vspace{1\Cvs}\noindent対話1:\begin{quote}{\bfユーザ：}東京の田舎ですよ笑\\{\bfシステム：}でも羨ましい原宿とかまで遠いの\\{\bfユーザ：}時間くらいで\textbf{行ける}と思います\\{\bfシステム(1-best)：}そうなんだ\\{\bfシステム(Re-ranking(Pairs))：}じゃあ\textbf{会える}かも\\$[$行ける$\rightarrow$会える$]$\end{quote}\vspace{1\Cvs}\noindentこの例では，システム側の「会える」という情報の提示が，1-bestで得られる単純な応答よりもユーザの興味を引いたと考えられる．また，対話継続性が低下しており，かつ一貫性は向上していると判断された例を次に示す．丸括弧内の事態は，因果関係ペアに含まれる事態を表す．このとき丸括弧左側の事態は，RFTMによって丸括弧内の事態と同一とみなされた，対話中に含まれる事態を表す．\vspace{1\Cvs}\noindent対話2:\begin{quote}{\bfユーザ：}\textbf{寝}なさい笑\\{\bfシステム：}おはよう，早いな\\{\bfユーザ：}おはよっしーよしちゃんこそ早いじゃん，いつも9時頃なのに\\{\bfシステム(1-best)：}よく眠れなくて大丈夫なのだろうか...苦笑\\{\bfシステム(Re-ranking(RFTM))：}よく\textbf{寝れ}た\\$[$寝れる(寝る)$\rightarrow$寝(寝)$]$\end{quote}\vspace{1\Cvs}\noindentリランキング前の応答はユーザに問いかける形になっており，より対話を継続するものであったことがわかる．リランキング後の発話は事態は一貫しているものの，文脈上逆の意味の発話を選択してしまっている．人手評価，事例分析の結果，応答の一貫性向上が対話継続性の向上には必ずしも繋がらないことが判明した．しかし次に示すとおり，応答の一貫性と対話継続性がともに向上した例も存在する．\vspace{1\Cvs}\noindent対話3:\begin{quote}{\bfユーザ：}おはようございます☆\\{\bfシステム：}おはようございますヒラメ釣り行ってましたが撃沈でしたTT\\{\bfユーザ：}おはようございます☆\textbf{冷え}ますね...\\{\bfシステム(1-best)：}おはようございます\\{\bfシステム(Re-ranking(Pairs))：}おはよーございます朝晩\textbf{涼しく}なりました\\$[$涼しくなる$\rightarrow$冷える$]$\end{quote}\vspace{1\Cvs}\noindentよって今後は事態や応答の一貫性を含め，対話継続性の向上に寄与する制約や状況についてより詳細に調査する必要がある．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{事例分析}
ここまでの実験では，\pagebreak提案手法によってシステム応答の対話履歴に対する事態レベルの一貫性を向上させた結果，ユーザが感じる対話における一貫性が向上するか，対話継続性が向上するかについて検証した．この結果，提案手法は単語レベルの一貫性を向上させ，対話継続性の向上に寄与するものの，ユーザが感じる対話の一貫性はむしろ低下する結果となった．そこで，述語項構造解析結果，リランキングに用いられた事態ペアの分類を行うことで，提案手法により行われた応答のリランキングを詳細に分析した．また，生成された応答の対話行為を分析することで，応答の一貫性や対話継続性と，対話行為との相関を明らかにした．分析対象は\ref{sec:correlation}節と同様に図\ref{fig:human_1}--\ref{fig:human_3}の実験で用いられた300対話であり，述語構造解析結果，リランキングに用いられた事態ペア，対話行為の分類は1人のアノテータが行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{述語項構造解析結果の分類}提案手法は述語項構造解析により自動抽出された事態に基づくものであるため，述語項構造解析の精度を検証する必要がある．そこで，リランキングに用いられた事態の述語項構造解析が適切に行われている割合を調査した．分類結果を表\ref{tab:pa_case}に示す．ここで横軸の``Correct''はリランキングに用いられた事態に述語項構造解析の誤りがなかった場合であり，``Wrong''は何らかの誤りが含まれていた場合を指す．これは例えば，「おはようさぎ」という発話文から「詐欺」という誤った述語（判定詞）を抽出した場合や，「栄行こうか迷う」という発話文に対し「栄が行く」のように格解析を誤った場合などがある．また縦軸の``Each''は事態ペアに含まれる2つの事態について別々に正誤を判定した場合であり，``Both''は2つの事態をまとめて正誤を判定した場合である．よって事態ペアに含まれる2つの事態のいずれも述語項構造解析が適切に行われていた場合のみ，``Both''は``Correct''とみなされる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table10\begin{table}[b]\input{02table10.tex}\caption{述語項構造解析結果の分類}\label{tab:pa_case}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%述語項構造解析によって全ての事態が完全に解析されている割合は``Each''で70\%前後，``Both''で60\%前後であり，十分高いとは言えないが，特に後者は複数の述語項構造関係の抽出結果に対する評価という点に留意する必要がある．また，本研究で用いた事態の埋め込み表現が，格要素の解析誤りなどの問題を汎化している可能性がある．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{リランキングに用いられた事態ペアの分類}提案手法は事態ペアの一貫性に基づくものであるため，リランキングに用いられた事態ペアの一貫性や，一貫した事態ペアが用いられた場合の人手評価の傾向を明らかにする必要がある．そこで，リランキングに用いられた事態ペアの一貫性を分類，分析し，人手評価の結果を再考察した．分類結果を表\ref{tab:causality}に示す．ここで各列はリランキングに用いられた事態ペアの一貫性を表し，``Good''は一貫した事態ペアが用いられたことを，``Bad(Pairs)''は因果関係ペアに含まれる，当該対話コンテキストで用いることが適当ではないと考えられる因果関係が用いられたことを意味する．また``Bad（過汎化）''は事態分散表現により過汎化された因果関係が用いられたことを意味し，``Bad(Sequence)''は連続しているが一貫性が低い事態ペアが用いられたことを意味する．以上は著者らが各サンプルを確認して人手で分類した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table11\begin{table}[b]\input{02table11.tex}\caption{事態ペアの分類}\label{tab:causality}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.14and15\begin{figure}[b]\setlength{\captionwidth}{189pt}\noindent\begin{minipage}{0.45\hsize}\begin{center}\includegraphics{28-1ia2f14.pdf}\end{center}\hangcaption{一貫した事態ペアが用いられた場合の人手評価の結果;1-bestv.s.Re-ranking(Pairs)}\label{fig:human_7}\end{minipage}\hfill\begin{minipage}{0.45\hsize}\begin{center}\includegraphics{28-1ia2f15.pdf}\end{center}\hangcaption{一貫した事態ペアが用いられた場合の人手評価の結果;1-bestv.s.Re-ranking(RFTM)}\label{fig:human_8}\end{minipage}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.16\begin{figure}[b]\begin{center}\includegraphics{28-1ia2f16.pdf}\end{center}\caption{一貫した事態ペアが用いられた場合の人手評価の結果;1-bestv.s.Re-ranking(Coherence)}\label{fig:human_9}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%一貫した事態ペアが用いられた割合は，``Re-ranking(Pairs)''の場合61\%,``Re-ranking(RFTM)''の場合5\%,``Re-ranking(Coherence)''の場合52\%である．図\ref{fig:human_1}--\ref{fig:human_3}の人手評価で用いられた対話データより，一貫した事態ペアが用いられた場合を抽出した結果を図\ref{fig:human_7}--\ref{fig:human_9}に示す．1件のデータにつき10人のワーカーが評価を行っているため，図\ref{fig:human_7}--\ref{fig:human_9}のサンプル数はそれぞれ610,50,520である．``Re-ranking(RFTM)''において，一貫した事態ペアが用いられている場合，一貫性，自然性，対話継続性が大きく向上しており，一貫した事態ペアを用いることが対話継続性の向上に寄与することが示唆されている．しかし，``Re-ranking(Pairs)'',``Re-ranking(Coherence)''の場合，リランキング前後で大きな差は見られない．ここで表\ref{tab:hred}--\ref{tab:hred_coh}を見ると，``Re-ranking(RFTM)''がリランキング対象とした1-best応答と比較して，``Re-ranking(Pairs)'',``Re-ranking(Coherence)''がリランキング対象とした1-best応答の自動評価値が高いことがわかる．よって，一貫した事態ペアを用いたリランキングは，1-bestの時点で自動評価値の高い応答を対象としても効果がないが，自動評価値が低い応答を対象とした場合，応答の一貫性，自然性，対話継続性が向上する可能性があると言える．以上のことから，\ref{sec:intro}章にて立てた三つ目の仮説「人手評価における一貫性ではなく，単語選択や事態に基づく一貫性の向上が人手評価における対話継続性の向上に寄与する」がある程度成り立つことが示された．なお，``Re-ranking(RFTM)''によって一貫した事態ペアが用いられた割合は5\%と低いため，事態分散表現を改善し，分散表現上において事態の一貫性をより正確に考慮することで，一貫した事態ペアに基づくリランキングが行われる範囲を拡大する必要がある．一貫した事態ペアによりリランキングが行われている例を下に示す．\vspace{1\Cvs}\noindent対話4:\begin{quote}{\bfユーザ：}新年早々\textbf{体調崩す}とは．辛い笑明日，明後日までに完全に治さな．\\{\bfシステム(1-best)：}お大事に\\{\bfシステム(Re-ranking(Pairs))：}大丈夫ですか\textbf{無理し}ないでくださいね\\$[$無理をする$\rightarrow$体調を崩す$]$\end{quote}\vspace{1\Cvs}\noindent対話5:\begin{quote}{\bfシステム：}フォローありがとうございますフォロバさせていただきました\\{\bfユーザ：}私テスト以外は暇してるんでいつでも\textbf{絡ん}でくださいね\\{\bfシステム(1-best)：}はいぜひぜひ仲良くしましょ\\{\bfシステム(Re-ranking(RFTM))：}全然おっけーですなんて\textbf{呼ん}だらいいかな\\$[$絡む(絡む)$\rightarrow$呼ぶ(絡む)$]$\end{quote}\vspace{1\Cvs}\noindent対話6:\begin{quote}{\bfユーザ：}みんな美味しいセブン\textbf{ドーナツ食べ}よう\\{\bfシステム(1-best)：}おいしいよ\\{\bfシステム(Re-ranking(Coherence))：}チョコ\textbf{チップ食べたい}\\$[$ドーナツが食べる,チップが食べたい$]$\end{quote}\vspace{1\Cvs}\noindent上記の例では，一貫した事態ペアを用いたリランキングにより，論理的な応答が選択されている．しかし表\ref{tab:causality}からわかるように，そうではない例も多数存在する．次に示す対話7のように，一貫していない事態ペアが用いられている場合や，対話8のように，一貫した事態ペアが使用されていても応答が不自然である場合が多く見られた．\vspace{1\Cvs}\noindent対話7:\begin{quote}{\bfシステム：}行くぞ焼肉\\{\bfユーザ：}\textbf{行きたい}$\cdots$\\{\bfシステム(1-best)：}いく\\{\bfシステム(Re-ranking(RFTM))：}焼肉定食\textbf{屋行こ}うぜ\\$[$行きたい(カラオケが行く)$\rightarrow$屋が行く(温泉が行く)$]$\end{quote}\vspace{1\Cvs}\noindent対話8:\begin{quote}{\bfシステム：}はよ風邪なおそなおったら行こう\\{\bfユーザ：}かれこれ3週間くらい\textbf{風邪引}いてる\\{\bfシステム(1-best)：}お大事に\\{\bfシステム(Re-ranking(Coherence))：}\textbf{風邪治}ってきたから\\$[$風邪を引く,風邪が治る$]$\end{quote}\vspace{1\Cvs}\noindent対話7の因果関係は「温泉が行く」を「屋が行く」という事態と汎化することで得られており，過汎化を抑制する必要があることがわかる．対話8については，事態間の一貫性は向上しているものの，時間経過の結果現れる事態を選択した結果応答が不自然と判定された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{応答の対話行為の分類}対話行為とは，応答の発話者の意図や，応答の対話中における機能を意味するタグである\cite{bunt-etal-2010-towards,bunt-etal-2012-iso}．リランキングによる応答の対話行為の変化と人手評価値の相関を分析することで，リランキングにより対話における応答の機能レベルでの変化が生じたか，それによってどのように人手評価値が変化したかが明らかになる．ここでは，ISO-24617-2\cite{bunt-etal-2010-towards,bunt-etal-2012-iso}を拡張した対話行為タグセット\cite{yoshino2018scope}に基づき，各応答に最も当てはまる対話行為を付与した．表\ref{tab:dialogue_act}に使用した対話行為タグセットを示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table12\begin{table}[t]\input{02table12.tex}\caption{対話行為タグセット}\label{tab:dialogue_act}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table13\begin{table}[t]\input{02table13.tex}\caption{リランキング前後の対話行為の異なり数（各対話数100）}\label{tab:da_diff}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%まず，リランキング前後で対話行為がどの程度変化するかを調査した結果を表\ref{tab:da_diff}に示す．表\ref{tab:da_diff}より，どのリランキング手法においても半数程度の応答の対話行為が変化していることがわかる．また，リランキングによって特定の対話行為が別の対話行為へと変化する傾向があるかを確認するため，リランキング前後の対話行為の混同行列より，クラメールの連関係数を算出した．表\ref{tab:da_diff}を見ると，連関係数は全て0.4未満の値となっており，リランキング前後の対話行為の相関はあまり高くなく，リランキングによる対話行為の変化に強い傾向は存在しないことが確認できた．次に，対話行為が変化することにより，人手評価値が変化するかを分析した結果を表\ref{tab:da_human_pairs}--\ref{tab:da_human_coherence}に示す．対話行為は応答ごとに1種類が付与されているため合計が100であるのに対し，人手評価は応答ごとに10人のワーカーが評価しているため，各指標ごとに合計が1,000となることに注意されたい．各表より，対話行為の変化と人手評価のクラメールの連関係数は全て0.4未満の値となっており，これらの相関はあまり高くないことがわかる．すなわち，\ref{sec:correlation}節の対話1,2のように応答の対話行為が変化したことによって人手評価が変化する事例は存在するものの，特定の対話行為が別の対話行為へと変化することによって人手評価値が大幅に向上，もしくは低下する傾向は確認されなかった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table14\begin{table}[p]\input{02table14.tex}\hangcaption{リランキングによる対話行為の変化と人手評価(Pairs);評価指標列の数値は，応答の対話行為がリランキングによって別の対話行為へと変化した場合に，人手評価において1-best,neither,Re-rankingと評価された数を表す．；対話行為は応答ごとに1種類が付与されているため合計が100であるのに対し，人手評価は応答ごとに10人のワーカーが評価しているため，各指標ごとに合計が1,000となることに注意されたい．}\label{tab:da_human_pairs}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table15\begin{table}[p]\input{02table15.tex}\hangcaption{リランキングによる対話行為の変化と人手評価(RFTM);評価指標列の数値は，応答の対話行為がリランキングによって別の対話行為へと変化した場合に，人手評価において1-best,neither,Re-rankingと評価された数を表す．；対話行為は応答ごとに1種類が付与されているため合計が100であるのに対し，人手評価は応答ごとに10人のワーカーが評価しているため，各指標ごとに合計が1,000となることに注意されたい．}\label{tab:da_human_rftm}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table16\begin{table}[p]\input{02table16.tex}\hangcaption{リランキングによる対話行為の変化と人手評価(Coherence);評価指標列の数値は，応答の対話行為がリランキングによって別の対話行為へと変化した場合に，人手評価において1-best,neither,Re-rankingと評価された数を表す．；対話行為は応答ごとに1種類が付与されているため合計が100であるのに対し，人手評価は応答ごとに10人のワーカーが評価しているため，各指標ごとに合計が1,000となることに注意されたい．}\label{tab:da_human_coherence}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
本論文では，対話モデルにより生成された$N$-best応答を，連続する事態の一貫性に基づきリランキングする手法を提案した．リランキングの基準として，述語項構造を用いた連続する事態の一貫性に着目し，一貫性のある事態ペア，特に因果関係を持つ対話応答候補を選択するような手法を提案した．またこれを素性として用いて，CoherenceModelによって対話履歴に対する一貫性を担保する手法を提案した．評価の結果，PMIなどの自動評価指標において提案する手法は事態や単語レベルの一貫性が向上していることが示された．しかし人手評価においては，対話継続性は向上したものの，一貫性のスコアは低下するという一見して矛盾する結果となった．この結果を説明するため相関分析や事例分析を行った結果，ユーザが評価する対話継続性と一貫性の間には必ずしも強い相関があるわけではないことが示され，事態ペアの一貫性を考慮することが対話継続性の向上に寄与することが示唆された．今後は対話継続性の向上に繋がる制約や状況についてより詳細に調査する．さらに，事態分散表現の改善や，一貫した対話中の事態を生成した上で応答生成を行う生成的アプローチについても検討していく．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment本研究で使用した因果関係ペアをご提供頂いた京都大学黒橋研究室の黒橋禎夫教授，柴田知秀博士に感謝いたします．本研究はJSTさきがけ(JPMJPR165B)の支援を受けた．本論文の内容の一部は，theFirstWorkshoponNLPforConversationalAIで発表したものである\cite{tanaka-etal-2019-conversational}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.6}\bibliography{02refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{田中翔平}{%2018年名古屋工業大学工学部工学創成プログラム学科卒業．2020年奈良先端科学技術大学院大学先端科学技術研究科博士前期課程修了．2020年より同大学院先端科学技術研究科博士後期課程に在学．自然言語処理，特に対話システムや事態間関係に関する研究に従事．TheFirstWorkshoponNLPforConversationalAIBestPaperAward受賞．言語処理学会，ACL各会員．}\bioauthor{吉野幸一郎}{%2009年慶應義塾大学環境情報学部卒業．2011年京都大学大学院情報学研究科修士課程修了．2014年同博士後期課程修了．日本学術振興会特別研究員(PD)，奈良先端科学技術大学院大学情報科学研究科助教を経て，2020年より理化学研究所ロボティクスプロジェクト知識獲得・対話チームチームリーダーおよび奈良先端科学技術大学院大学客員准教授．京都大学博士（情報学）．音声言語処理および自然言語処理，特に音声対話システムに関する研究に従事．2013年度人工知能学会研究会優秀賞，2018年度本学会論文賞，NLP4ConvAI2019BestPaperAward,IWSDS2020BestPaperAward等受賞．IEEE,SIGDIAL,ACL,情報処理学会，言語処理学会，日本ロボット学会各会員．}\bioauthor{須藤克仁}{%2000年京都大学工学部卒業，2002年京都大学大学院情報学研究科修士課程修了．同年日本電信電話（株）入社．2015年京都大学博士（情報学）．2017年より奈良先端科学技術大学院大学准教授，現在に至る．2018年より理化学研究所革新知能統合研究センター客員研究員，科学技術振興機構さきがけ研究者を兼務．機械翻訳を中心とする自然言語処理および音声言語処理の研究に従事．言語処理学会，情報処理学会，日本音響学会，人工知能学会，ACL各会員．}\bioauthor{中村哲}{%1981年京都工芸繊維大学工芸学部電子工学科卒業．京都大学博士（工学）．シャープ株式会社．1994年奈良先端科学技術大学院大学助教授，1996年米国Rutgers大学客員教授（文科省在外研究員），2000年ATR音声言語コミュニケーション研究所室長，2005年所長，2006年（独）情報通信研究機構音声コミュニケーション研究グループリーダ，2010年研究センター長，けいはんな研究所長などを経て，2011年奈良先端科学技術大学院大学情報科学研究科教授，2017年データ駆動型サイエンス創造センター長，2017年理化学研究所革新知能統合研究センター観光情報解析チームリーダー．2003年からカールスルーエ大学客員教授．音声翻訳，音声対話などの音声言語情報処理，自然言語処理の研究に従事．電子情報通信学会論文賞，AAMT長尾賞，日本音響学会技術開発賞，人工知能学会研究会優秀賞，情報処理学会喜安記念業績賞，総務臣表彰，文部科学大臣表彰，AntonioZampoli賞受賞,ドコモモバイルサイエンス賞，IBMFacultyAward,GoogleAIFocusedResearchAward等受賞．ISCA理事,IEEESLTC委員を歴任．ATRフェロー，情報処理学会フェロー，IEEEフェロー．ISCAフェロー．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}