\section{はじめに}
話し言葉や対話における特徴として，旧情報や述語の一部が省略されるなど，断片的で不完全な発話が多く現れるという点をあげることができる．このような断片的あるいは不完全な発話を正しく認識／理解するためには，対話に対する適切なモデルが必要となる．また，話し言葉や対話の音声認識を考えた場合，認識候補の中には統語的にも意味的にも正しいが，対話の文脈の中では不適切な認識候補が存在する場合もある．例えば，文末の述語「〜ですか」と「〜ですが」は，お互いに誤認識されやすいが，対話モデルを用いることにより，このような誤認識を避けられたり，あるいは誤り訂正が可能となることが期待できる．文献\cite{Nagata92,Nagata94}では，発話行為タイプ(IllocutionaryForceType;IFT)のラベルが付いたコーパスから，IFTのマルコフモデルを学習し，このモデルが対話のエントロピーを大きく減少させることを示している．我々は，同様のIFT付きコーパスを用いて，対話構造を表す確率モデルを自動生成する研究を行なった．我々の研究においては，確率的対話モデルの生成に２種類の独立な方法を用いた．最初の方法では，IFT付きコーパスの話者ラベルおよび発話行為タイプの系列を，エルゴードHMM(HiddenMarkovModel)を用いてモデル化した．この方法では，モデルの構造(状態数)をあらかじめ定めておき，次にモデルのパラメータ(状態遷移確率，シンボル出力確率，および初期状態確率分布)を学習データから推定した．２番目の方法では，状態の統合化を繰り返すことにより，最適な状態数を持つモデルを自動的に生成することのできる状態マージング手法を用いた．近年，状態マージング手法に基づく確率モデルの学習アルゴリズムがいくつか提案されているが\cite{Stolcke94a,Stolcke94b}，我々はCarrascoらによるALERGIAアルゴリズム\cite{Carrasco94}を用いた．以下では，２節でIFT付きコーパスの概要について説明する．３節でエルゴードHMMによる対話構造のモデル化について述べ，４節で状態マージング手法による対話構造のモデル化について述べる．
\section{IFT付きコーパス}
対話モデル作成のための基礎データとして，発話行為タイプ(IllocutionaryForceType;IFT)付きコーパス\cite{Nagata92,Nagata94,Suzuki93}を用いた．これは，ATR対話データベース中の「国際会議参加登録のタスク」の対話の各発話について，その発語内行為を分析し，陳述・命令・約束などの発話のタイプが付けられたコーパスである．このコーパスで用いられているIFTは，表層の統語的パターンと比較的直接的な対応がとれる表層IFT(SurfaceIllocutionaryForceType)と呼ばれるものである．また，各発話文には，発話者(事務局または質問者)を示すラベルが付与されている．IFT付きコーパスで用いられている表層IFTの種類および各IFTに属する例文を表\ref{Tab:IFTdef}に，IFT付きコーパスの例を図\ref{Fig:IFT-Corpus}に示す．本研究における評価実験では，IFT付きコーパスの中から，モデル会話10対話(222文)とキーボード会話50対話(1686文)を用いた．\begin{table}[p]\caption{表層IFTの分類および例}\label{Tab:IFTdef}\begin{center}\begin{tabular}{@{$\;$}l|p{6cm}|p{5.5cm}@{$\;$}}\hline表層IFT&定義&例文\\\hline\hlinephatic&挨拶などで用いられるイディオム的な表現&もしもし，\newline失礼します\\\hlineexpressive&話者の感情表現に関するイディオム的な表現&ありがとうございます，\newlineよろしくお願いします\\\hlineresponse&質問などに対する応答や合いづち&はい，\newlineわかりました\\\hlinepromise&話し手がある行為をすることを約束する表現&登録用紙を送らせていただきます\\\hlinerequest&話し手が聞き手に行為をすることを依頼する表現&地下鉄で北大路駅まで行って下さい\\\hlineinform&情報の伝達&今回は割り引きを行なっておりません\\\hlinequestionif&真偽疑問文&会議の案内書はお持ちですか\\\hlinequestionref&疑問語疑問文&どうすればよろしいですか\\\hlinequestionconf&確認&既に登録料を振り込まれておられますね\\\hline\end{tabular}\end{center}\end{table}\begin{figure}[p]\begin{verbatim}質問者phatic:もしもしquestionif:そちらは会議事務局ですか事務局response:はいresponse:そうですquestionref:どのようなご用件でしょうか質問者inform:会議に申し込みたいのですがquestionref:どのような手続きをすればよろしいのでしょうか事務局request:登録用紙で手続きをして下さいquestionif:登録用紙は既にお持ちでしょうか質問者response:いいえinform:まだです\end{verbatim}\caption{IFT付き対話コーパスの例}\label{Fig:IFT-Corpus}\end{figure}
\section{エルゴードHMMによる対話構造のモデル化}
IFT付きコーパスの各発話には，話者ラベルおよびIFTが付与されている．話者の交替や質問・応答・確認のような対話の基本的な構造を確率・統計的にモデル化するために，コーパス中の話者ラベルおよびIFTの系列をエルゴードHMMによりモデル化することを試みた．なお，エルゴードHMMとは，自己遷移も含めすべての状態間の遷移を許す全遷移型のHMMである．本実験では，あらかじめHMMの状態数を決めておき，Baum-Welchの再推定アルゴリズムにより，エルゴードHMMの学習を行なった．初期モデルとしては，初期状態分布確率を均等確率に，また状態遷移確率および出力確率は確率値の総計が１になるようなランダムな値で初期化した．エルゴードHMMの学習データとして，モデル会話およびキーボード会話中から，以下の２つの系列を抽出した．\begin{itemize}\item[(1)]IFTのみの系列\item[(2)]話者ラベルとIFTを組み合わせたラベルの系列\end{itemize}IFTの総数は９個であり，対話コーパス中の発話者は２名(事務局あるいは質問者)であるので，上記(2)の場合のシンボル数は18個である．実験では，エルゴードHMMの構造として状態数2〜14のものを用いて学習を行なった．表\ref{Tab:HMMEntropy}に，状態数2,4,6,8,10,12,14の場合のモデルのエントロピーを示す．表\ref{Tab:HMMEntropy}で，IFTと示されているのはIFTのみの系列を用いたときの結果であり，SP-IFTは話者ラベルとIFTを組み合わせたラベルの系列を用いたときの結果である．一般的な傾向として，状態数が増えるに従いエントロピーが小さくなり，同じ状態数では話者ラベルを併用したものの方がエントロピー値が大きくなっている．\begin{table}\caption{ErgodicHMMのエントロピー}\label{Tab:HMMEntropy}\begin{center}\begin{tabular}{c|cc|cc}\hlineHMMの&\multicolumn{2}{c|}{モデル会話}&\multicolumn{2}{c}{キーボード会話}\\\cline{2-3}\cline{4-5}状態数&IFT&SP-IFT&IFT&SP-IFT\\\hline2&2.12&2.72&2.38&3.02\\\hline4&1.86&2.27&1.89&2.78\\\hline6&1.17&1.81&1.91&2.49\\\hline8&1.35&1.64&1.88&2.40\\\hline10&1.21&1.60&1.60&2.27\\\hline12&0.91&1.29&1.63&1.95\\\hline14&0.92&1.24&1.72&2.11\\\hline\end{tabular}\end{center}\end{table}文献\cite{Nagata94}の結果では，trigramモデルを使った場合，モデル会話でのSP-IFTのエントロピー値は1.26，キーボード会話でのSP-IFTの値は2.19と報告している．本実験では，12〜14状態のエルゴードHMMの場合が，trigramのエントロピー値とほぼ同等になっている．学習後のHMMの構造(状態数5の場合)を図\ref{Fig:HMM-IFT}および図\ref{Fig:HMM-IFT-SP}に示す．図\ref{Fig:HMM-IFT}はIFTのみの系列から得られたモデルであり，図\ref{Fig:HMM-IFT-SP}は話者ラベルとIFTを組み合わせたラベルの系列から得られたモデルである．図には，遷移確率および出力確率が0.1以上のもののみを記しており，矢印の太いものほど大きな遷移確率を持っていることを示している．状態遷移の一番上に書かれている確率が遷移確率であり，その下に各シンボル(IFT)の出力確率が記されている．図\ref{Fig:HMM-IFT-SP}で，Sで始まるシンボルは事務局側の発話であることを，またQで始まるシンボルは質問者側の発話であることを示している．例えば，図\ref{Fig:HMM-IFT-SP}では，状態1が初期状態であり，質問者が最初の発話「もしもし」を発話するとQphaticを出力する遷移をたどることになる．これは，状態1での自己ループあるいは状態1から状態2への遷移に対応している．「国際会議参加登録のタスク」では，事務局の「こちらは会議事務局です」という発話により対話が始まる場合もある．この場合にはSinformを出力する遷移である状態1での自己ループとなる．また，図\ref{Fig:HMM-IFT-SP}では，状態遷移が事務局側の発話と質問者側の発話で比較的きれいに分かれている．例えば，状態3から状態2への遷移は質問者側の発話によって起こり，しかもこの遷移は事務局に対する質問や依頼に対応していることが分かる．この質問や依頼に対し，状態2から状態0の遷移で事務局が応答(Sresponse,Sinform)する確率が非常に高いことも読みとることができる．以上のように，発話行為タイプ付きコーパスから得られたエルゴードHMMは，質問・応答といった基本的な構造を抽出しているということができる．\begin{figure}\begin{center}\epsfile{file=fig1.eps,width=100mm}\end{center}\caption{IFTのみの系列から得られた5状態エルゴードHMM}\label{Fig:HMM-IFT}\end{figure}\begin{figure}\begin{center}\epsfile{file=fig2.eps,width=100mm}\end{center}\caption{話者ラベルとIFTを組み合わせたラベルの系列から得られた5状態エルゴードHMM}\label{Fig:HMM-IFT-SP}\end{figure}
\section{状態マージング手法による対話構造のモデル化}
エルゴードHMMによるモデル化では，確率モデルの学習に先立ち，モデルの構造(状態数)をあらかじめ決めておく必要がある．これに対し，近年，状態マージング手法を用いて，学習データに対し最適な構造を持つモデルを自動的に構築する研究がいくつか行なわれている\cite{Stolcke94a,Stolcke94b}．我々は，CarrascoらによるALERGIAアルゴリズム\cite{Carrasco94}を用いて，対話構造のモデルを構築することを試みた．\subsection{ALERGIAアルゴリズム}ALERGIAアルゴリズムは，与えられた学習データを受理する確率決定性有限オートマトンを構成するアルゴリズムである．詳細なアルゴリズムは，文献\cite{Carrasco94}に説明されている．以下では，ALERGIAアルゴリズムの概要について述べる．\subsubsection*{(1)接頭木アクセプタの作成}学習データから接頭木アクセプタ(PrefixTreeAcceptor；PTA)を作る．なお，接頭木アクセプタとは，学習データ中のシンボル列を受理する決定性有限オートマトンであり，トライのようにシンボル系列の接頭部分が同じものを共通の状態によって表現したものである．例えば，学習データ$S=\{\lambda,00,10,110\}$($\lambda$は空列)に対するPTAは，図\ref{Fig:PTA}のようになる．\begin{figure}[h]\begin{center}\epsfile{file=fig3.eps,width=70mm}\end{center}\caption{接頭木アクセプタの例}\label{Fig:PTA}\end{figure}\subsubsection*{(2)状態遷移確率の計算}$n_{i}$を学習データが接頭木アクセプタの各状態$q_{i}$を訪れた回数とする．もし学習データが状態$q_{i}$で受理されれば，受理されたデータの個数を$f_{i}(\#)$とする．状態$q_{i}$で受理されなければ，次の状態へ遷移するが，このとき状態遷移$\delta_{i}(a)$(状態$q_{i}$でシンボル$a$がきたときの遷移)をたどった回数を$f_{i}(a)$とする．状態遷移$\delta_{i}(a)$の遷移確率は，次のようにして求められる．\begin{equation}P_{i}(a)=\frac{f_{i}(a)}{n_{i}}\end{equation}なお，$P_{i}(\#)$は，データが状態$q_{i}$で受理される確率を表している．\subsubsection*{(3)状態のマージ}接頭木アクセプタの状態$q_{i}$と$q_{j}$が等価($q_{i}\equivq_{j}$)であれば，これら２つの状態をマージする．ここで，状態$q_{i}$と$q_{j}$が等価であるとは，すべてのシンボル$a\in\Sigma$について，遷移確率$P_{i}(a)$と$P_{j}(a)$が等しく，遷移後の状態も等価であるときをいう．即ち，状態$q_{i}$と$q_{j}$が等価であれば，次が成り立つ．\begin{equation}q_{i}\equivq_{j}\Longrightarrow\foralla\in\Sigma\left\{\begin{array}{l}P_{i}(a)=P_{j}(a)\\\delta_{i}(a)\equiv\delta_{j}(a)\end{array}\right.\end{equation}なお，状態の等価性を判断する場合，学習データに対する統計的な揺れを伴うので，２つの遷移確率の差が許容範囲にあるときに等価であるとする．ALERGIAアルゴリズムでは，以下のようにして状態の等価性を決めている．確率$p$のベルヌイ確率変数があり，$n$回の試行のうち$f$回この事象が起こったとすると，次式が成り立つ．\begin{equation}P\left(\left|p-\frac{f}{n}\right|<\sqrt{\frac{1}{2n}\log\frac{2}{\alpha}}\right)\geq1-\alpha\end{equation}ALERGIAアルゴリズムでは，学習データから推定された２つの遷移確率の差が，信頼範囲$\sqrt{\frac{1}{2n}\log\frac{2}{\alpha}}$の和の範囲内にあるときに，２つの状態を等価であるとしている．即ち，状態$i$と状態$j$が等価であるとは，すべてのシンボル$a\in\Sigma$について，次式が成り立つことである．\begin{equation}\left|\frac{f_{i}(a)}{n_{i}}-\frac{f_{j}(a)}{n_{j}}\right|\leq\sqrt{\frac{1}{2}\log\frac{2}{\alpha}}\left(\frac{1}{\sqrt{n_{i}}}+\frac{1}{\sqrt{n_{j}}}\right)\label{Eq:AlergiaStateEq}\end{equation}\subsection{ALERGIAアルゴリズムの動作例}\begin{figure}\begin{center}\epsfile{file=fig4.eps,width=130mm}\end{center}\caption{ALERGIAアルゴリズムの動作例}\label{Fig:ExampleAlergia}\end{figure}ALERGIAアルゴリズムの動作を，簡単な例で説明する\cite{Carrasco94}．いま，学習データとして，次の集合$S$が与えられたとする．\begin{equation}S=\{110,\lambda,\lambda,\lambda,0,\lambda,00,00,\lambda,\lambda,\lambda,10110,\lambda,\lambda,100\}\end{equation}また，$\alpha=0.8$と仮定する．\subsubsection*{(1)PTAの作成}学習データから，図\ref{Fig:ExampleAlergia}(a)のPTAを作成する．図\ref{Fig:ExampleAlergia}では，各状態の下に，その状態に到達したデータの個数およびその状態で受理されたデータの個数が示されている．また，各状態遷移には，その遷移を引き起こしたシンボル(0あるいは1)とデータ数が示されている．\subsubsection*{(2)状態$(2,1)$の等価性チェック}まず，状態2と状態1の等価性について考える．２つの状態での受理確率の差は，\begin{equation}\left|\frac{1}{3}-\frac{9}{15}\right|=0.26<\sqrt{\frac{1}{2}\log\frac{2}{\alpha}}\left(\frac{1}{\sqrt{3}}+\frac{1}{\sqrt{15}}\right)=0.55\end{equation}また，シンボル0による遷移確率についても，\begin{equation}\left|\frac{2}{3}-\frac{3}{15}\right|=0.46<0.55\end{equation}となる．状態2と状態1が等価であるためには，更にこれらの状態の遷移先である状態4と状態2も等価である必要があるが，同様の計算により，状態4と状態2の等価性も示すことができる．状態4と状態2をマージし，更に状態2と状態1をマージすると，図(b)のオートマトンを得る．\subsubsection*{(3)状態$(3,1)$の等価性チェック}次に，状態3と状態1について考えると，両者の受理確率の差は，\begin{equation}\left|\frac{0}{3}-\frac{12}{20}\right|=0.6>\sqrt{\frac{1}{2}\log\frac{2}{\alpha}}\left(\frac{1}{\sqrt{3}}+\frac{1}{\sqrt{20}}\right)=0.53\end{equation}となり，等価でないことが分かる．従って，状態3と状態1をマージすることはできない．\subsubsection*{(4)状態$(5,1)$の等価性チェック}以上の計算と同様にして，状態5と状態1の等価性も示すことができる．また，状態$(5,1)$の等価性を調べる過程において，状態$(7,1)$,$(8,3)$,$(10,6)$,$(11,9)$の等価性も同時に示される．これらの状態をマージすると，図(c)のオートマトンを得る．\subsubsection*{(5)状態$(6,3)$の等価性チェック}同様にして，状態6と状態3の等価性も示すことができる．状態$(6,3)$をマージすると，図(d)のオートマトンを得る．受理確率および遷移確率を計算して，最終的に図(e)のオートマトンを得る．\subsection{対話構造のモデル化}\begin{figure}\begin{center}\epsfile{file=fig5.eps,width=104mm}\end{center}\caption{状態数とパープレキシティの関係}\label{Fig:ALERGIA-STATE-ENTROPY}\end{figure}\begin{figure}\begin{center}\epsfile{file=fig6.eps,width=140mm}\end{center}\caption{ALERGIAアルゴリズムにより得られたオートマトンの一部}\label{Fig:ALERGIA-IFT}\end{figure}上述のALERGIAアルゴリズムを用いて，IFT付きコーパスから対話構造をモデル化する実験を行なった．学習データとしては，キーボード会話50対話(1686文)を用いた．ALERGIAアルゴリズムでは，状態の等価性は式(\ref{Eq:AlergiaStateEq})により判定されるが，式(\ref{Eq:AlergiaStateEq})の右辺の値(定数$\alpha$の値)を変えることにより，様々な状態数を持つオートマトンを学習データから構成することができる．図\ref{Fig:ALERGIA-STATE-ENTROPY}に，ALERGIAアルゴリズムにより得られたオートマトンの状態数とパープレキシティの関係を示す．パープレキシティの値は，学習データに対するテストセット・パープレキシティを用いている．状態数の増加にともないパープレキシティは減少している．パープレキシティ$P$とエントロピー$H$の間には，\begin{equation}P=2^{H}\label{Eq:PerpEnt}\end{equation}なる関係があるが，式(\ref{Eq:PerpEnt})より，ALERGIAアルゴリズムで得られたモデルのエントロピーを算出してみると，エルゴードHMMと同程度の精度を達成するためには，エルゴードHMMの場合よりもはるかに多くの状態が必要となることが分かる．これは，HMMが非決定性の有限オートマトンと等価であるのに対し，ALERGIAアルゴリズムにより得られるモデルが決定性の有限オートマトンであるためである．図\ref{Fig:ALERGIA-IFT}は，話者ラベルとIFTを組み合わせたラベルの系列から得られた30状態のオートマトンの一部(16個の状態)である．このオートマトンの初期状態は状態0であり，最終状態は状態22である．図の左側には，初期状態0から状態遷移する確率の高い11個の状態(状態0,4,7,9,10,11,12,17,20,27,28)が示されている．状態0から始まり再び状態0に至る状態遷移系列(例えば，0→7→4や0→7→27→28など)が，質問・応答・確認などの対話の基本サイクルを表していると考えることができる．また，図の右側に，最終状態22に状態遷移する確率の高い5個の状態(状態1,16,21,22,23)が示されている．例えば，状態27あるいは28で，expressive(例：「ありがとうございました」)に対応する発話が現れると，最終状態へ向かう状態遷移が選択されるということが分かる．しかし，国際会議参加登録のタスクでは，expressiveやphaticというIFTの出現頻度はIFT全体の数パーセントにしか過ぎないので，状態27あるいは28から状態21へ遷移する確率は低くなっている(図中，遷移確率の小さいものは破線で示されている)．\vspace*{-3mm}
\section{おわりに}
\vspace*{-2mm}本技術資料では，コーパスからの確率的対話モデルの自動生成に関する研究として，エルゴードHMMによる対話構造のモデル化とALERGIAアルゴリズムによる対話構造のモデル化の２種類の方法について述べた．モデル化実験では，ATR対話データベース中の「国際会議参加登録」に関する対話データの各発話文に発話者のラベルおよび陳述・命令・約束などの発話行為タイプを付与したものを用いた．エルゴードHMMおよびALERIGIAアルゴリズムを用いて，上記コーパス中の発話者のラベルおよび発話行為タイプの時系列のモデル化を行なうことにより，話者の交替や質問・応答・確認といった会話の基本的な構造を確率・統計的に反映した確率的対話モデルを構築した．今後は，同様の手法を用いて，対話における話題の遷移等をモデル化するための研究を行ないたいと考えている．\vspace*{-2mm}\bibliographystyle{jnlpbbl}\bibliography{kita}\begin{biography}\biotitle{略歴}\bioauthor{北研二}{1981年早稲田大学理工学部数学科卒業．1983年から1992年まで沖電気工業(株)勤務．この間，1987年から1992年までATR自動翻訳電話研究所に出向．1992年9月から徳島大学工学部勤務．現在，同助教授．工学博士．確率・統計的自然言語処理，音声認識等の研究に従事．情報処理学会，電子情報通信学会，日本音響学会，日本言語学会，計量国語学会，ACL各会員．}\bioauthor{福井義和}{1994年徳島大学工学部知能情報工学科卒業．1996年同大学院博士前期課程修了．在学中，確率・統計的自然言語処理の研究に従事．現在，富士通徳島システムエンジニアリング勤務．}\bioauthor{永田昌明}{1985年京都大学工学部情報工学科卒業．1987年同大学院修士課程修了．同年，日本電信電話株式会社入社．1989年ATR自動翻訳電話研究所へ出向．1993年日本電信電話株式会社へ復帰．現在，情報通信研究所勤務．音声翻訳，統計的自然言語処理の研究に従事．平成7年度情報処理学会論文賞受賞．情報処理学会，電子情報通信学会，人工知能学会，ACL各会員．}\bioauthor{森元逞}{1968年九州大学工学部電子工学科卒業．1970年同大大学院修士課程修了．同年，日本電信電話公社に入社．以来，同社電気通信研究所にて，オペレーティングシステム等の研究開発に従事．1987年よりATR自動翻訳電話研究所へ出向．音声言語翻訳システム，特に，音声言語統合方式，音声言語翻訳方式の研究に従事．現在，ATR音声翻訳通信研究所，第４研究室室長．電子情報通信学会，情報処理学会，人工知能学会，各会員．工博．}\bioreceived{受付}\bioaccepted{採録}\end{biography}\end{document}