(57)【要約】【課題】あらかじめ対話行為ごとの満足度をラベリングしたデータが不要であり、かつ対話における対話行為ごとの満足度を評価する。【解決手段】本発明の対話学習装置は、評価の段階ごとに、話者の対話行為を出力する状態を持つ隠れマルコフモデルＭ１，…，ＭＫを学習する。また、すべての対話から話者の対話行為を出力する状態を持つ１つの隠れマルコフモデルＭ０を学習してもよい。そして、隠れマルコフモデル（Ｍ０，）Ｍ１，…，ＭＫのすべての状態を互いに接続して、隠れマルコフモデルＭＣを作成する。なお、学習を繰り返して尤度を改善しても良い。本発明の対話分析装置は、隠れマルコフモデルＭＣを用いて、対話行為が隠れマルコフモデルＭＣのどの評価値の状態から出力されたかを推定することで各対話行為の評価値を求め、当該対話の評価値を推定する。【選択図】図１
2011253053.tif 000002
【特許請求の範囲】
【請求項１】
複数の対話行為で構成される対話を評価するための隠れマルコフモデルを作成する対話学習装置であって、
Ｋ、Ｎは２以上の整数、ｋは１以上Ｋ以下の整数、ｎは１以上Ｎ以下の整数とし、
Ｎ個の対話の時系列データ（ｄ１，…，ｄＮ）と前記の各対話をＫ段階で評価した評価値（ｒ（ｄ１），…，ｒ（ｄＮ））を用いて、評価の段階ごとに、話者の対話行為を出力する状態を持つ隠れマルコフモデルＭ１，…，ＭＫを学習し、前記隠れマルコフモデルＭ１，…，ＭＫのすべての状態をエルゴディックに接続して、隠れマルコフモデルＭＣを作成する第１モデル学習部
を備える対話学習装置。
【請求項２】
複数の対話行為で構成される対話を評価するための隠れマルコフモデルを作成する対話学習装置であって、
Ｋ、Ｎは２以上の整数、ｋは１以上Ｋ以下の整数、ｎは１以上Ｎ以下の整数とし、
Ｎ個の対話の時系列データ（ｄ１，…，ｄＮ）と前記の各対話をＫ段階で評価した評価値（ｒ（ｄ１），…，ｒ（ｄＮ））を用いて、評価の段階ごとに、話者の対話行為を出力する状態を持つ隠れマルコフモデルＭ１，…，ＭＫを学習し、前記隠れマルコフモデルＭ１，…，ＭＫのすべての状態をエルゴディックに接続して、隠れマルコフモデルＭＥ０を作成する第１モデル学習部と、
すべての対話から話者の対話行為を出力する状態を持つ１つの隠れマルコフモデルＭ０を学習する第２モデル学習部と、
前記マルコフモデルＭ０と前記隠れマルコフモデルＭＥ０のすべての状態をエルゴディックに接続して、隠れマルコフモデルＭＣを作成するモデル連結部と
を備える対話学習装置。
【請求項３】
複数の対話行為で構成される対話を評価するための隠れマルコフモデルを作成する対話学習装置であって、
Ｋ、Ｎは２以上の整数、ｋは１以上Ｋ以下の整数、ｎは１以上Ｎ以下の整数とし、
Ｎ個の対話の時系列データ（ｄ１，…，ｄＮ）と前記の各対話をＫ段階で評価した評価値（ｒ（ｄ１），…，ｒ（ｄＮ））を用いて、評価の段階ごとに、話者の対話行為を出力する状態を持つ隠れマルコフモデルＭ１，…，ＭＫを学習する第１モデル学習部と、
すべての対話から話者の対話行為を出力する状態を持つ１つの隠れマルコフモデルＭ０を学習する第２モデル学習部と、
前記隠れマルコフモデルＭｋのそれぞれと前記マルコフモデルＭ０のコピーとをペアにし、前記ペア内のすべての状態を接続して、隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を作成する第１モデル連結部と、
前記隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を初期モデル、前記時系列データ（ｄ１，…，ｄＮ）と前記評価値（ｒ（ｄ１），…，ｒ（ｄＮ））を学習データとして与えて隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を再学習する再学習部と、
再学習された隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を連結し、１つの隠れマルコフモデルＭＣとする第２モデル連結部と、
隠れマルコフモデルＭ１＋０，…，ＭＫ＋０について、学習データに対して所定以上の尤度の改善があるかによって前記再学習部と前記第２モデル連結部の処理を繰り返すかを判定する繰返し判定部と
を備える対話学習装置。
【請求項４】
請求項２または３記載の対話学習装置であって、
前記隠れマルコフモデルＭ０は、話者ごとに２つの状態が対応している
ことを特徴とする対話学習装置。
【請求項５】
請求項１から４のいずれかの対話学習装置によって作成された隠れマルコフモデルＭＣを用いて、複数の対話行為で構成される対話を評価する対話分析装置であって、
前記隠れマルコフモデルＭＣを用いて、評価値が分からない対話の時系列データｄｘの各対話行為が隠れマルコフモデルＭＣのどの評価値の状態から出力されたかを推定することで各対話行為の評価値を求め、各対話行為の評価値から当該対話の評価値を推定する評価値推定部
を備える対話分析装置。
【請求項６】
複数の対話行為で構成される対話を評価するための隠れマルコフモデルを作成する対話学習方法であって、
Ｋ、Ｎは２以上の整数、ｋは１以上Ｋ以下の整数、ｎは１以上Ｎ以下の整数とし、
Ｎ個の対話の時系列データ（ｄ１，…，ｄＮ）と前記の各対話をＫ段階で評価した評価値（ｒ（ｄ１），…，ｒ（ｄＮ））を用いて、評価の段階ごとに、話者の対話行為を出力する状態を持つ隠れマルコフモデルＭ１，…，ＭＫを学習し、前記隠れマルコフモデルＭ１，…，ＭＫのすべての状態をエルゴディックに接続して、隠れマルコフモデルＭＣを作成する第１モデル学習ステップ
を有する対話学習方法。
【請求項７】
複数の対話行為で構成される対話を評価するための隠れマルコフモデルを作成する対話学習方法であって、
Ｋ、Ｎは２以上の整数、ｋは１以上Ｋ以下の整数、ｎは１以上Ｎ以下の整数とし、
Ｎ個の対話の時系列データ（ｄ１，…，ｄＮ）と前記の各対話をＫ段階で評価した評価値（ｒ（ｄ１），…，ｒ（ｄＮ））を用いて、評価の段階ごとに、話者の対話行為を出力する状態を持つ隠れマルコフモデルＭ１，…，ＭＫを学習し、前記隠れマルコフモデルＭ１，…，ＭＫのすべての状態をエルゴディックに接続して、隠れマルコフモデルＭＥ０を作成する第１モデル学習ステップと、
すべての対話から話者の対話行為を出力する状態を持つ１つの隠れマルコフモデルＭ０を学習する第２モデル学習ステップと、
前記マルコフモデルＭ０と前記隠れマルコフモデルＭＥ０のすべての状態をエルゴディックに接続して、隠れマルコフモデルＭＣを作成するモデル連結ステップと
を有する対話学習方法。
【請求項８】
複数の対話行為で構成される対話を評価するための隠れマルコフモデルを作成する対話学習方法であって、
Ｋ、Ｎは２以上の整数、ｋは１以上Ｋ以下の整数、ｎは１以上Ｎ以下の整数とし、
Ｎ個の対話の時系列データ（ｄ１，…，ｄＮ）と前記の各対話をＫ段階で評価した評価値（ｒ（ｄ１），…，ｒ（ｄＮ））を用いて、評価の段階ごとに、話者の対話行為を出力する状態を持つ隠れマルコフモデルＭ１，…，ＭＫを学習する第１モデル学習ステップと、
すべての対話から話者の対話行為を出力する状態を持つ１つの隠れマルコフモデルＭ０を学習する第２モデル学習ステップと、
前記隠れマルコフモデルＭｋのそれぞれと前記マルコフモデルＭ０のコピーとをペアにし、前記ペア内のすべての状態を接続して、隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を作成する第１モデル連結ステップと、
前記隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を初期モデル、前記時系列データ（ｄ１，…，ｄＮ）と前記評価値（ｒ（ｄ１），…，ｒ（ｄＮ））を学習データとして与えて隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を再学習する再学習ステップと、
再学習された隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を連結し、１つの隠れマルコフモデルＭＣとする第２モデル連結ステップと、
隠れマルコフモデルＭ１＋０，…，ＭＫ＋０について、学習データに対して所定以上の尤度の改善があるかによって前記再学習ステップと前記第２モデル連結ステップの処理を繰り返すかを判定する繰返し判定ステップと
を有する対話学習方法。
【請求項９】
請求項７または８記載の対話学習方法であって、
前記隠れマルコフモデルＭ０は、話者ごとに２つの状態が対応している
ことを特徴とする対話学習方法。
【請求項１０】
請求項６から９のいずれかの対話学習方法によって作成された隠れマルコフモデルＭＣを用いて、複数の対話行為で構成される対話を評価する対話分析方法であって、
前記隠れマルコフモデルＭＣを用いて、評価値が分からない対話の時系列データｄｘの各対話行為が隠れマルコフモデルＭＣのどの評価値の状態から出力されたかを推定することで各対話行為の評価値を求め、各対話行為の評価値から当該対話の評価値を推定する評価値推定ステップ
を有する対話分析方法。
【請求項１１】
請求項１から５のいずれかに記載の装置として、コンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複数の対話行為で構成される対話を評価するための隠れマルコフモデルを作成する対話学習装置、対話学習方法、および作成された隠れマルコフモデルを用いて対話を評価する対話分析装置、対話分析方法、それらの装置としてコンピュータを機能させるプログラムに関する。
【背景技術】
【０００２】
対話におけるユーザ満足度（評価値）を推定する技術として、非特許文献１の対話行為のN-gramを用いるものがある。この手法は、まず満足度ごとに対話を分別し、満足度ごとの対話行為（発話意図を表すラベル）のN-gram確率を算出する。そして、未知の対話について、その対話行為列の尤度を、各満足度における対話行為のN-gram確率を用いて算出し、最も高い尤度となった満足度をもって、その対話の満足度とするものである。
【０００３】
また、似た手法として隠れマルコフモデル（Hidden Markov model，ＨＭＭ）を用いたものがある。非特許文献２では、まず、人間と人間の間で行われた対話を隠れマルコフモデルを用いてモデル化する。ここで、ＨＭＭの各状態は対話行為を出力するものとし、ＨＭＭのモデル化の過程では、人間と人間の間で行われた対話行為の系列を学習データとして、各状態における対話行為の出力確率と状態間の遷移確率を最適化する。そして、人とコンピュータの対話が与えられた時、この対話の対話行為系列を学習されたＨＭＭに入力し、その出力確率をもって、対話の満足度（自然さ）を推定する。
【０００４】
上記２手法は対話全体の満足度を推定するものであるが、対話におけるユーザ発話毎の満足度を推定する手法が、非特許文献３に提案されている。非特許文献３では、満足度のラベルを対話の各発話に事前に付与し、このデータをもとにＨＭＭを学習する。具体的には、ＨＭＭの各状態は満足度のラベルに対応しており、各状態は発話に関する各種の特徴量を出力する。学習の過程では、事前に付与された満足度のラベルの遷移確率から状態間の遷移確率を求める。また、各状態における特徴量の出力確率は、満足度ラベルごとの発話の特徴量の出現確率から求める。そして、未知の対話が与えられた時、最尤の状態遷移を求めることで、各発話がどの状態から出力されたかを推定でき、各発話の満足度の推定ができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】原 直, 北岡 教英, 武田 一哉，“音声対話システムの対話履歴N-gramを利用したユーザ満足度推定手法”，第79回 音声言語情報処理研究会 (SIG-SLP)，2009．
【非特許文献２】磯村 直樹，鳥海 不二夫，石井 健一郎，“ＨＭＭによる非タスク指向型対話システムの評価”，電子情報通信学会論文誌D Vol.J92-D No.4 pp.542-551，2009.
【非特許文献３】Klaus-Peter Engelbrech, Florian Godde, Felix Hartard, Hamed Ketabdar, and Sebastian Mo~ller, “Modeling user satisfaction with hidden Markov models”, In Proc. SIGDial, pp.170-177, 2009.（ただし、“o~”はoウムラウトを意味する）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
対話全体の満足度の推定を行うよりも、対話における各発話（もしくは各対話行為）についての満足度が推定できた方が、対話がスムーズに進んでいない箇所を特定できるなど、有用なことが多い。しかしながら、非特許文献１や非特許文献２の方法では、対話の満足度を求めることしかできない。また、非特許文献３のように各発話についての満足度を求めることができる方法は、対話における各発話について満足度のラベリングをすることが必要であり、推定のためのコストが高い。
【０００７】
本発明は、あらかじめ対話行為ごとの満足度をラベリングしたデータが不要であり、かつ対話における対話行為ごとの満足度を評価できる対話学習装置と対話分析装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
まず、Ｋ、Ｎは２以上の整数、ｋは１以上Ｋ以下の整数、ｎは１以上Ｎ以下の整数とする。また、「対話」は複数の話者の「発話」のまとまり、「発話」はある話者のみの１以上の連続した「対話行為」のまとまり、「対話行為」は何らかの目的のための個々の口頭による行為とする。
【０００９】
本発明の第１の対話学習装置は、複数の対話行為で構成される対話を評価するための隠れマルコフモデルを作成する。そして、本発明の対話学習装置は、Ｎ個の対話の時系列データ（ｄ１，…，ｄＮ）と各対話をＫ段階で評価した評価値（ｒ（ｄ１），…，ｒ（ｄＮ））を用いて、評価の段階ごとに、話者の対話行為を出力する状態を持つ隠れマルコフモデルＭ１，…，ＭＫを学習し、隠れマルコフモデルＭ１，…，ＭＫのすべての状態をエルゴディックに接続して、隠れマルコフモデルＭＣを作成する第１モデル学習部を備える。
【００１０】
本発明の第２の対話学習装置は、第１モデル学習部、第２モデル学習部、モデル連結部を備える。第１モデル学習部は、Ｎ個の対話の時系列データ（ｄ１，…，ｄＮ）と前記の各対話をＫ段階で評価した評価値（ｒ（ｄ１），…，ｒ（ｄＮ））を用いて、評価の段階ごとに、話者の対話行為を出力する状態を持つ隠れマルコフモデルＭ１，…，ＭＫを学習し、隠れマルコフモデルＭ１，…，ＭＫのすべての状態をエルゴディックに接続して、隠れマルコフモデルＭＥ０を作成する。第２モデル学習部は、すべての対話から話者の対話行為を出力する状態を持つ１つの隠れマルコフモデルＭ０を学習する。モデル連結部は、マルコフモデルＭ０と隠れマルコフモデルＭＥ０のすべての状態をエルゴディックに接続して、隠れマルコフモデルＭＣを作成する。
【００１１】
本発明の第３の対話学習装置は、第１モデル学習部、第２モデル学習部、第１モデル連結部、再学習部、第２モデル連結部、繰返し判定部を備える。第１モデル学習部は、Ｎ個の対話の時系列データ（ｄ１，…，ｄＮ）との各対話をＫ段階で評価した評価値（ｒ（ｄ１），…，ｒ（ｄＮ））を用いて、評価の段階ごとに、話者の対話行為を出力する状態を持つ隠れマルコフモデルＭ１，…，ＭＫを学習する。第２モデル学習部は、すべての対話から話者の対話行為を出力する状態を持つ１つの隠れマルコフモデルＭ０を学習する。第１モデル連結部は、隠れマルコフモデルＭｋのそれぞれとマルコフモデルＭ０のコピーとをペアにし、ペア内のすべての状態を接続して、隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を作成する。再学習部は、隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を初期モデル、時系列データ（ｄ１，…，ｄＮ）と評価値（ｒ（ｄ１），…，ｒ（ｄＮ））を学習データとして与えて隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を再学習する。第２モデル連結部は、再学習された隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を連結し、１つの隠れマルコフモデルＭＣとする。繰返し判定部は、隠れマルコフモデルＭ１＋０，…，ＭＫ＋０について、学習データに対して所定以上の尤度の改善があるかによって再学習部と第２モデル連結部の処理を繰り返すかを判定する。
【００１２】
本発明の対話分析装置は、隠れマルコフモデルＭＣを用いて、評価値が分からない対話の時系列データｄｘの各対話行為が隠れマルコフモデルＭＣのどの評価値の状態から出力されたかを推定することで各対話行為の評価値を求め、各対話行為の評価値から当該対話の評価値を推定する評価値推定部を備える。
【発明の効果】
【００１３】
本発明の対話学習装置と対話分析装置によれば、対話における対話行為ごとの満足度を評価するための隠れマルコフモデルを形成する際に、あらかじめ対話行為ごとの満足度をラベリングしたデータを必要としないため、学習コストを削減できる。また、その結果、対話における対話行為ごとの満足度を評価しやすくなるので、対話中のやり取りがスムーズでない箇所を特定しやすくなるなど、対話システムの開発プロセスを改善することができ、最終的に人間が使いやすい対話システムの実現に繋がる。
【図面の簡単な説明】
【００１４】
【図１】実施例１の対話分析装置の機能構成例を示す図。
【図２】実施例１の対話分析装置の処理フローを示す図。
【図３】話者が２人の場合に作成される隠れマルコフモデルＭｋのイメージを示す図。
【図４】実施例２、実施例２変形例の対話分析装置の機能構成例を示す図。
【図５】実施例２、実施例２変形例の対話分析装置の処理フローを示す図。
【図６】２段階の評価で２人の話者の場合のエルゴディック１のトポロジを示す図。
【図７】実施例３、実施例３変形例の対話分析装置の機能構成例を示す図。
【図８】実施例３、実施例３変形例の対話分析装置の処理フローを示す図。
【図９】実施例３の各ステップで作成される隠れマルコフモデルのイメージを示す図。
【図１０】ＡＤデータの対話数、対話行為数、対話あたりの平均対話行為数および標準偏差を示す図。
【図１１】ＡＬデータの対話数、対話行為数、対話あたりの平均対話行為数および標準偏差を示す図。
【図１２】ＡＤデータの対話ごとの満足度の評価値の例を示す図。
【図１３】ＡＤデータの対話における発話ごとの満足度の評価値の例を示す図。
【図１４】図１３のＵ１−Ｕ１０に付与された対話行為を示す図。
【図１５】ＡＤデータに対する評価結果を示す図。
【図１６】ＡＬデータに対する評価結果を示す図。
【図１７】ＡＤデータから得られたエルゴディック０のＨＭＭの一部を示す図。
【図１８】ＡＬデータから得られた連結１のＨＭＭの一部を示す図。
【図１９】ＡＤデータに対する各モデルの推定評価値系列の例を示す図。
【図２０】ＡＬデータに対する各モデルの推定評価値系列の例を示す図。
【発明を実施するための形態】
【００１５】
本明細書では、「対話」は複数の話者の「発話」のまとまり、「発話」はある話者のみの１以上の連続した「対話行為」のまとまり、「対話行為」は何らかの目的のための個々の口頭による行為とする。例えば、話者Ａ「こんにちは。私はライオンが好きです。」、話者Ｂ「私もです。」という対話を例に説明する。全体が「対話」であり、この対話は話者Ａの「発話」と話者Ｂの「発話」（２つの「発話」）で構成されている。また、「こんにちは。」は対話管理（挨拶）の対話行為、「私はライオンが好きです。」は自己開示の対話行為、「私もです。」は共感の対話行為である。つまり、話者Ａの「発話」は２つの対話行為で構成されており、話者Ｂの「発話」は１つの対話行為で構成されている。なお、「話者」は、自然人の場合もあるし、発話システムなどの装置の場合もある。
【００１６】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。また、Ｋ、Ｎは２以上の整数、ｋは１以上Ｋ以下の整数、ｎは１以上Ｎ以下の整数とする。
【実施例１】
【００１７】
図１に実施例１の対話分析装置の機能構成例、図２に実施例１の対話分析装置の処理フローを示す。対話分析装置５０は、複数の対話行為で構成される対話を評価するための隠れマルコフモデル（Hidden Markov model，ＨＭＭ）ＭＣを作成し、複数の対話行為で構成される対話を評価する。対話分析装置５０は、入出力部１１０、第１モデル学習部１２０、評価値推定部１８０、記録部９０を備える。
【００１８】
入出力部１１０は、Ｎ個の対話の時系列データ（ｄ１，…，ｄＮ）と各対話をＫ段階で評価した評価値（ｒ（ｄ１），…，ｒ（ｄＮ））を、学習データとして受け取る（Ｓ１１１）。第１モデル学習部１２０は、入出力部１１０が受け取った学習データを用いて、評価の段階ごとに、話者の対話行為を出力する状態を持つ隠れマルコフモデルＭ１，…，ＭＫを学習し、隠れマルコフモデルＭ１，…，ＭＫのすべての状態をエルゴディックに接続して、隠れマルコフモデルＭＥ０を作成し、記録部９０に記録する（Ｓ１２０）。本実施例の場合、記録部９０に記録された隠れマルコフモデルＭＥ０が、評価のときに用いる隠れマルコフモデルＭＣとなる。また、以降、隠れマルコフモデルＭＥ０を「エルゴディック０」と呼ぶ。
【００１９】
ステップＳ１２０の処理を詳細に説明すると、評価値はＫ段階に区別されているので、評価値ごとに分別した時系列データの集合Ｄｋ＝｛∀ｄｍ｜ｒ（ｄｍ）＝ｋ｝を作成する。そして、この時系列データの集合を用いて、隠れマルコフモデルＭｋを学習する。図３は、話者が２人の場合に作成される隠れマルコフモデルＭｋのイメージを示している。図３のＨＭＭは２つの状態を持ち、各状態はそれぞれ話者１、話者２の対話行為を出力する。各状態はどの状態にも遷移可能である。このようなＨＭＭはSpeaker HMMと呼ばれ、対話行為列を話者のターン切り替えを考慮してＨＭＭでモデル化する際に用いられる。例えば、非特許参考文献１（Toyomi Meguro, Ryuichiro Higashinaka, Kohji Dohsaka, Yasuhiro Minami, and Hideki Isozaki, “Analysis of listening-oriented dialogue for building listening agents”, In Proc. SIGDial, pages 124-127, 2009.）では、聞き役対話のモデル化にSpeaker HMMが使用されている。図３のように１つの状態からは１人の話者の対話行為を出力させれば、話者ごとの対話行為を把握しやすい。しかし、１つの状態から２人の話者の対話行為を出力するようなＨＭＭでモデル化することも可能である。なお、本実施例ではSpeaker HMMは２つの状態を持つが、状態数を変動させることは容易である。
【００２０】
図３のような隠れマルコフモデルＭｋは、評価値の数だけ作成される。つまり、Ｋ個作成される。そして、すべての状態が、他のすべての状態につながっている状態にする（エルゴディックに接続する）。このとき、状態間の遷移確率はすべて等しくなるようにする。学習アルゴリズムには期待値最大化アルゴリズム（ＥＭアルゴリズム）を用いればよい。なお、以降に説明するどのＨＭＭも学習にはＥＭアルゴリズムを用いればよい。
【００２１】
入出力部１１０は、評価値が分からない対話の時系列データｄｘを受け取る（Ｓ１１２）。評価値推定部１８０は、隠れマルコフモデルＭＣを用いて、評価値が分からない対話の時系列データｄｘの各対話行為が隠れマルコフモデルＭＣのどの評価値の状態から出力されたかを推定することで各対話行為の評価値を求め、各対話行為の評価値から当該対話の評価値を推定する（Ｓ１８０）。例えば、ビタビデコーディング（Viterbi decoding）により、各対話行為が隠れマルコフモデルＭＣのどの評価値の状態から出力されたかを推定すればよい。
【００２２】
上述の説明では、学習機能と分析機能の両方を１つの装置（対話分析装置）に具備させたが、学習機能と分析機能とを分離してもよい。分離する場合は、図１の点線の部分のみで、対話学習装置５１を形成すればよい。そして、対話学習装置５１の処理フローは、図２の点線で示したステップＳ５１の部分のようにすればよい。
【００２３】
実施例１の対話学習装置と対話分析装置によれば、対話における対話行為ごとの満足度を評価するための隠れマルコフモデルを形成する際に、あらかじめ対話行為ごとの満足度をラベリングしたデータを必要としないため、学習コストを削減できる。また、その結果、対話における対話行為ごとの満足度を評価しやすくなる。
【実施例２】
【００２４】
実施例１では、エルゴディック０により推定する例を説明した。しかし、たとえば、挨拶や質問に対する応答などの対話行為は、満足度に拘わらずすべての対話に共通して出現する。このような対話行為についてもエルゴディック０は評価値のどれかを割り振ってしまう。そして、どの評価値を割り振るかは評価値ごとの対話での対話行為の出力分布に依存する。このため、たまたま「挨拶」に該当する対話行為が高評価値の対話に多かったからという理由で、すべての「挨拶」に高い評価値を割り振ってしまうことになりかねない。できれば、すべての評価値に共通して出現するような対話行為については、スコアを与えない、もしくは、０という評価値を与えることが望ましいと考えられる。そこで、本実施例では、すべての対話から、１つの隠れマルコフモデルＭ０を学習する。そして、隠れマルコフモデルＭ０とエルゴディック０を接続した隠れマルコフモデルＭＥ１（以降、「エルゴディック１」と呼ぶ）を作成する。
【００２５】
図４に実施例２の対話分析装置の機能構成例、図５に実施例２の対話分析装置の処理フローを示す。対話分析装置１００は、入出力部１１０、第１モデル学習部１２０、第２モデル学習部１３０、モデル連結部１４０、評価値推定部１８０、記録部１９０備える。
【００２６】
入出力部１１０は、Ｎ個の対話の時系列データ（ｄ１，…，ｄＮ）と各対話をＫ段階で評価した評価値（ｒ（ｄ１），…，ｒ（ｄＮ））を、学習データとして受け取る（Ｓ１１１）。第１モデル学習部１２０は、入出力部１１０が受け取った学習データを用いて、評価の段階ごとに、話者の対話行為を出力する状態を持つ隠れマルコフモデルＭ１，…，ＭＫを学習し、隠れマルコフモデルＭ１，…，ＭＫのすべての状態をエルゴディックに接続して、隠れマルコフモデルＭＥ０を作成し、記録部１９０に記録する（Ｓ１２０）。ここまでの処理は実施例１と同じである。
【００２７】
第２モデル学習部１３０は、すべての対話から話者の対話行為を出力する状態を持つ１つの隠れマルコフモデルＭ０を学習し、記録部に記録する（Ｓ１３０）。モデル連結部１４０は、マルコフモデルＭ０と隠れマルコフモデルＭＥ０のすべての状態をエルゴディックに接続して、隠れマルコフモデルＭＥ１を作成し、記録部１９０に記録する。本実施例の場合、記録部１９０に記録された隠れマルコフモデルＭＥ１が、評価のときに用いる隠れマルコフモデルＭＣとなる。
【００２８】
入出力部１１０は、評価値が分からない対話の時系列データｄｘを受け取る（Ｓ１１２）。評価値推定部１８０は、隠れマルコフモデルＭＣを用いて、評価値が分からない対話の時系列データｄｘの各対話行為が隠れマルコフモデルＭＣのどの評価値の状態から出力されたかを推定することで各対話行為の評価値を求め、各対話行為の評価値から当該対話の評価値を推定する（Ｓ１８０）。例えば、ビタビデコーディングにより、各対話行為が隠れマルコフモデルＭＣのどの評価値の状態から出力されたかを推定すればよい。
【００２９】
２段階の評価で２人の話者の場合には、エルゴディック１のトポロジは図６のようになる。図６では簡単のため、評価値１，２のＨＭＭとＭ０（０の評価値のＨＭＭに対応）のみ示す。例えば、このＨＭＭを用いて、ある対話系列をデコードしたとき、１→２→５→６→４→５が最尤の状態系列だとした場合、対応する評価値は１→１→０→０→２→０である。したがって、これがエルゴディック１による推定評価値系列となる。０は前の評価値に影響を与えないと考えることができるため、この系列は１→１→１→１→２→２と読み替えることもできる。
【００３０】
本実施例の場合も、学習機能と分析機能とを分離してもよい。分離する場合は、図４の点線の部分のみで、対話学習装置１０１を形成すればよい。そして、対話学習装置１０１の処理フローは、図５の点線で示したステップＳ１０１の部分のようにすればよい。
【００３１】
実施例２の対話学習装置と対話分析装置によれば、対話における対話行為ごとの満足度を評価するための隠れマルコフモデルを形成する際に、あらかじめ対話行為ごとの満足度をラベリングしたデータを必要としないため、学習コストを削減できる。また、その結果、対話における対話行為ごとの満足度を評価しやすくなる。
【００３２】
［変形例］
実施例２の隠れマルコフモデルＭ０の場合、分布がブロード（なだらか，一様）になり、Ｍ０の状態におけるすべての対話行為の出力確率が平均化され、一様に低くなってしまう可能性がある。それゆえに、未知の対話の時系列データｄｘが与えられた時、推定される状態の系列が隠れマルコフモデルＭ０を全く通過しない可能性が出てくる。このような問題を解決するために、本変形例ではＭ０における状態数を増やす。そうすることで、シャープ（ブロードではない，尖った）な分布を持つ状態をＭ０が保持することができる。その結果、ビタビデコーディングによって得られる最尤の状態系列がＭ０を通過する可能性が出てくる。このように状態数を増やした隠れマルコフモデルを「エルゴディック２」と呼ぶ。ここでは、特に２倍の状態数、すなわち、各話者に対して２状態ずつ（話者が２人ならば４つの状態）を持つとする。この場合、評価値推定部は、エルゴディック２を用いて、未知の対話の時系列データｄｘが入力されたときに各対話行為がどの評価値のＨＭＭの状態から出力されたかを推定する。
【００３３】
図４に実施例２変形例の対話分析装置の機能構成例、図５に実施例２変形例の対話分析装置の処理フローを示す。対話分析装置２００は、入出力部１１０、第１モデル学習部１２０、第２モデル学習部２３０、モデル連結部２４０、評価値推定部１８０、記録部１９０備える。実施例２と異なる点は、第２モデル学習部２３０とモデル連結部２４０である。第２モデル学習部２３０は、各話者に対して２状態ずつを持つ隠れマルコフモデルＭ０を学習し、記録部１９０に記録する（Ｓ２３０）。そして、モデル連結部２４０は、その隠れマルコフモデルＭ０と隠れマルコフモデルＭＥ０のすべての状態をエルゴディックに接続して、隠れマルコフモデルＭＥ２を作成し、記録部１９０に記録する（Ｓ２４０）。
【００３４】
本変形例の場合も、学習機能と分析機能とを分離してもよい。分離する場合は、図４の点線の部分のみで、対話学習装置２０１を形成すればよい。そして、対話学習装置２０１の処理フローは、図５の点線で示したステップＳ２０１の部分のようにすればよい。
【００３５】
本変形例の対話学習装置と対話分析装置によれば、実施例２と同じ効果が得られる。さらに、エルゴディック１の分布がブロード（なだらか，一様）になる場合でも、エルゴディック２の分布はシャープ（ブロードではない，尖った）にできるので、ビタビデコーディングによって得られる最尤の状態系列がＭ０を通過する可能性が出てくる。したがって、より正確に対話の評価を行うことができる。
【実施例３】
【００３６】
本実施例は、前述したエルゴディック１における問題を、連結学習を用いて解決する手法である。連結学習とはＨＭＭにより音声を教師なしでモデル化する際に用いられる手法で、この手法により、各評価値における対話と対話全体に共通して現れるような対話行為の出力分布を、特定の状態に集中させることができる。
【００３７】
図７に実施例３の対話分析装置の機能構成例、図８に実施例３の対話分析装置の処理フロー、図９に実施例３の各ステップで作成される隠れマルコフモデルのイメージを示す。対話分析装置３００は、入出力部１１０、第１モデル学習部３２０、第２モデル学習部１３０、第１モデル連結部３４０、再学習部３５０、第２モデル連結部３６０、繰返し判定部３７０、評価値推定部１８０、記録部３９０備える。
【００３８】
入出力部１１０は、Ｎ個の対話の時系列データ（ｄ１，…，ｄＮ）と各対話をＫ段階で評価した評価値（ｒ（ｄ１），…，ｒ（ｄＮ））を、学習データとして受け取る（Ｓ１１１）。第１モデル学習部３２０は、入出力部１１０が受け取った学習データを用いて、評価の段階ごとに、話者の対話行為を出力する状態を持つ隠れマルコフモデルＭ１，…，ＭＫを学習し、記録部３９０に記録する（Ｓ３２０）。
【００３９】
第２モデル学習部１３０は、すべての対話から話者の対話行為を出力する状態を持つ１つの隠れマルコフモデルＭ０を学習し、記録部３９０に記録する（Ｓ１３０）。第１モデル連結部３４０は、隠れマルコフモデルＭｋのそれぞれとマルコフモデルＭ０のコピーとをペアにし、ペア内のすべての状態を接続して、隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を作成する（Ｓ３４０）。
【００４０】
再学習部３５０は、隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を初期モデル、時系列データ（ｄ１，…，ｄＮ）と評価値（ｒ（ｄ１），…，ｒ（ｄＮ））を学習データとして与えて隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を再学習し、再学習された隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を記録部３９０に記録する（Ｓ３５０）。第２モデル連結部３６０は、再学習された隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を連結し、１つの隠れマルコフモデルＭＣとする（Ｓ３６０）。連結の際、すべてのＨＭＭの確率テーブルの足し合わせを行うが、コピーされたＭ０を結合して新たなＭ０とする際には、この出力確率をＫで割り、足して１になるよう調整する。この処理が、図９のステップＳ３６０の「ＡＶＧ」の処理である。なお、このとき、隠れマルコフモデルＭ０の各状態は、隠れマルコフモデルＭ１＋０，…，ＭＫ＋０のすべての状態と接続されている。一方、隠れマルコフモデルＭｋ＋０の各状態は、隠れマルコフモデルＭ０の状態とのみ接続されている。
【００４１】
繰返し判定部３７０は、隠れマルコフモデルＭ１＋０，…，ＭＫ＋０について、学習データに対して所定以上の尤度の改善があるかによって再学習部３５０と第２モデル連結部３６０の処理（ステップＳ３５０，Ｓ３６０）を繰り返すかを判定する（Ｓ３７０）。例えば、いずれかのすべての隠れマルコフモデルＭｋ＋０で尤度の改善がある場合には繰り返し処理を続ける（ステップＳ３７０の判断をＹｅｓとする）。そして、隠れマルコフモデルＭ１＋０，…，ＭＫ＋０について尤度の改善がない時に繰返し処理を終了し、そのときに記録部３９０に記録されている隠れマルコフモデルＭＣを学習結果とする（ステップＳ３７０の判断をＮｏとする）。本実施例で求めた最終的な隠れマルコフモデルＭＣを、以降「連結１」と呼ぶ。なお、ステップＳ３７０の判断がＹｅｓの場合、処理はステップＳ３５０に戻るが、この時には、隠れマルコフモデルＭＣは再度、隠れマルコフモデルＭ１＋０，…，ＭＫ＋０に分割される。そして、Ｍ０の遷移確率はＭ０とＭｋの間に均等に分配される。
【００４２】
入出力部１１０は、評価値が分からない対話の時系列データｄｘを受け取る（Ｓ１１２）。評価値推定部１８０は、隠れマルコフモデルＭＣを用いて、評価値が分からない対話の時系列データｄｘの各対話行為が隠れマルコフモデルＭＣのどの評価値の状態から出力されたかを推定することで各対話行為の評価値を求め、各対話行為の評価値から当該対話の評価値を推定する（Ｓ１８０）。例えば、ビタビデコーディングにより、各対話行為が隠れマルコフモデルＭＣのどの評価値の状態から出力されたかを推定すればよい。
【００４３】
本実施例の場合も、学習機能と分析機能とを分離してもよい。分離する場合は、図７の点線の部分のみで、対話学習装置３０１を形成すればよい。そして、対話学習装置３０１の処理フローは、図８の点線で示したステップＳ３０１の部分のようにすればよい。
【００４４】
実施例３の対話学習装置と対話分析装置によれば、対話における対話行為ごとの満足度を評価するための隠れマルコフモデルを形成する際に、あらかじめ対話行為ごとの満足度をラベリングしたデータを必要としないため、学習コストを削減できる。また、その結果、対話における対話行為ごとの満足度を評価しやすくなる。
【００４５】
［変形例］
実施例２と同じように、実施例３の場合も、隠れマルコフモデルＭ０が各話者に対して２状態ずつを持ってもよい。図７に実施例３変形例の対話分析装置の機能構成例、図８に実施例３変形例の対話分析装置の処理フローを示す。対話分析装置４００は、入出力部１１０、第１モデル学習部３２０、第２モデル学習部２３０、第１モデル連結部４４０、再学習部３５０、第２モデル連結部３６０、繰返し判定部３７０、評価値推定部１８０、記録部３９０備える。
【００４６】
実施例３と異なる点は、第２モデル学習部２３０、第１モデル連結部４４０である。第２モデル学習部２３０は、各話者に対して２状態ずつを持つ隠れマルコフモデルＭ０を学習し、記録部１９０に記録する（Ｓ２３０）。第１モデル連結部４４０は、隠れマルコフモデルＭｋのそれぞれとマルコフモデルＭ０のコピーとをペアにし、ペア内のすべての状態を接続して、隠れマルコフモデルＭ１＋０，…，ＭＫ＋０を作成する（Ｓ４４０）。
【００４７】
本変形例の場合も、学習機能と分析機能とを分離してもよい。分離する場合は、図７の点線の部分のみで、対話学習装置４０１を形成すればよい。そして、対話学習装置４０１の処理フローは、図８の点線で示したステップＳ４０１の部分のようにすればよい。
【００４８】
本変形例の対話学習装置と対話分析装置によれば、実施例３と同じ効果が得られる。なお、変形例で求めた最終的な隠れマルコフモデルＭＣを、以降「連結２」と呼ぶ。
【００４９】
［実験］
エルゴディック０、エルゴディック１、エルゴディック２、連結１、連結２のモデルを、人とシステムが動物の好き嫌いについて会話しているＡＤデータ（Animal Discussion）と、人間同士が聞き役・話し役に分かれて会話しているＡＬデータ（Attentive Listening）に適用し、モデルの有効性の評価実験を行った。図１０と図１１に、ＡＤデータとＡＬデータの対話数、対話行為数、対話あたりの平均対話行為数および標準偏差を示す。
【００５０】
＜ＡＤデータ＞
ＡＤデータは、全部で１０００対話からなる。このデータの詳細は非特許参考文献２（Ryuichiro Higashinaka, Kohji Dohsaka, and Hideki Isozaki, “Effects of self-disclosure and empathy in human-computer dialogue”, In Proc. SLT, pages 109-112, 2008.）に述べられている。
【００５１】
１０００対話のうち、１８０対話について対話ごとの満足度のラベルが３つの観点から７段階（１が一番悪く、７が一番良い）で付与されている。また、これら１８０対話のうち９０対話に発話ごとの満足度のラベルが同じく３つの観点から７段階で付与されている。ここで、３つの観点とは、対話がスムーズかどうか、ユーザがシステムに親近感を感じるか、ユーザが対話を続けやすいか、である。このラベル付けは１名の評価者が行った。具体的には、対話ごとの満足度の評価値は、図１２のように与えられている。また、対話における発話ごとの満足度の評価値は図１３のように与えられている。本データでは発話ごとの評価値はシステム発話の直後にのみ与えられている。これは、評価者が評価値を与える際に、「あなたがユーザだとすると相手の発話に対する満足度はどの程度か」という設問によって評価値を得ているからである。
【００５２】
この評価値データに加え、本データにおける各発話には対話行為のアノテーションが付与されている。対話行為は、以下のように７種類に大別され、全部で２９種類ある。
【００５３】
自己開示に関する対話行為
このグループでは、DISC-OTHER（システムが対応できるドメイン以外の内容についての開示）, DISC-P（命題の開示）, DISC-P-R（命題の理由の開示）, DISC-R（理由の開示）, DISC-R-OTHER（その他の理由の開示）, DISC-NO-MORE-R（これ以上理由がないことの開示）, RES（Yes−Noでの応答）を対話行為として定義した。例えば、DISC-Pは動物の好き嫌いに関する命題Pの自己開示を表す対話行為である。ここで、命題とは、「話者が動物Xを好き」か、「話者が動物Xを嫌い」かのどちらかである。例えば、「私は猫が好きです」はDISC-Pである。また、同様に「私はキリンが嫌いです」もDISC-Pである。
【００５４】
共感に関する対話行為
このグループでは、DISC-AGREE-OTHER（システムが対応できるドメイン以外の内容についての同意）, DISC-AGREE-P（命題に対する同意）, DISC-AGREE-P-R（命題に対する同意の理由の開示）, DISC-AGREE-R（同意の理由の開示）, EMP（明確な表現による同意）, REPEAT（繰返しによる同意）を対話行為として定義した。例えば、DISC-AGREE-Pは、対話相手が自己開示したPについて、同意を表す発話に対応する。例えば、「私は猫が好きです」という発話に対して発せられた、「私も好きです」や「私もです」である。
【００５５】
非共感に関する対話行為
このグループでは、DISC-DISAGREE-OTHER（システムが対応できるドメイン以外の内容についての非同意）, DISC-DISAGREE-P（命題に対する非同意）, DISC-DISAGREE-R（非同意の理由の開示）を対話行為として定義した。例えば、DISC-DISAGREE-Pは、対話相手が自己開示したPについて、非同意を表す発話に対応する。例えば、「私は猫が好きです」という発話に対して発せられる「私は猫が嫌いです」や「私は違います」などである。
【００５６】
対話管理に関する対話行為
このグループでは、GOODBYE（別れの表現）, GREETING（挨拶）, OPEN-DIALOGUE（話題の開始の表現）, CLOSE-DIALOGUE（話題の終了の表現）, Q-OPEN-DIALOGUE（話題の開始の質問）, SHIFT-TOPIC（話題の変更）を対話行為として定義した。例えば、GREETINGは、対話の始まりの挨拶を表す。例えば、「こんにちは」や「どうも」である。
【００５７】
質問に関する対話行為
このグループでは、Q-DISC-OTHER（システムが対応できるドメイン以外の内容についての質問）, Q-DISC-P（命題についての質問）, Q-DISC-P-OPEN（命題についてのＹｅｓ／Ｎｏを問わないオープンな質問）, Q-DISC-R（理由についての質問）, Q-DISC-R-OTHER（他の理由についての質問）を対話行為として定義した。例えば、Q-DISC-Pは、命題Pについて対話相手にYes-No質問をする発話を表す。例えば、「猫は好きですか?」である。また、Q-DISC-P-OPENは、命題Pについて対話相手にオープンな質問をする発話を表す。例えば、「猫をどう思いますか？」のように回答がYes-Noではない質問である。
【００５８】
相槌に関する対話行為
このグループでは、ACK（相槌）を対話行為として定義した。これは、「はい」や「ええ」などの相槌に対応する。
【００５９】
その他の対話行為
このグループでは、OTHER（その他）を対話行為として定義した。これは、上記に含まれない発話に与えられる対話行為である。
【００６０】
例えば、図１３のＵ１−Ｕ１０には、図１４のような対話行為が付与されている。以上に示すデータから、各対話において対話行為とそれに対応付いた評価値を得ることができる。例えば、図１３と図１４に示した発話列（Ｕ１−Ｕ１０）において、対話行為列は｛GREETING, GREETING, Q-OPEN-DIALOGUE, DISC-P, ACK, DISC-R, Q-DISC-P-OPEN, DISC-P, ACK, Q-DISC-R ｝であり、それぞれに対応するスムーズさは｛4, 4, 4, 4, 4, 4, 4, 4, 4, 4｝、親近感は｛4, 4, 4, 4, 4, 5, 5, 5, 5, 5｝、対話の継続のしやすさは｛4, 4, 4, 5, 5, 5, 5, 5, 5, 6｝という評価値になる。なお、ここでユーザ発話に対応する対話行為の評価値は、直前のシステムの対話行為に対す評価値を引き継ぐものとしていることに注意されたい。なお、１発話には１つ以上の対話行為が付与され得る。例えば、ユーザが「こんにちは。私はライオンが好きです。」と発話したとするならば、この発話は｛GREETING, DISC-P｝という対話行為列に対応する。この場合、どちらの対話行為もこの発話に与えられた評価値を持つとする。
【００６１】
ＡＤデータのサブセットであるＡＤ−ＳＵＢ１は対話ごとの評価値が付けられたデータである。ＡＤ−ＳＵＢ２は対話ごとの評価値に加え、発話ごとの評価値が付与されたデータである。なお、ＡＤデータのすべての発話には、対話行為のラベルが付与されている。
【００６２】
＜ＡＬデータ＞
ＡＬデータは全部で１２６０対話からなる。本データは、聞き役対話（一方が聞き役となりもう一方が話し役となり、聞き役が話し役を傾聴する対話）である（聞き役対話については，非特許参考文献１を参照）。
【００６３】
ＡＤデータと同様、すべての対話について対話ごとの満足度のラベルが３つの観点から７段階で付与されている。また、１００対話（ＡＬ−ＳＵＢ１）には発話ごとのラベルが同じく３つの観点から７段階で付与されている。ここで、３つの観点とは、対話がスムーズかどうか、話し役が聞き役に親近感を感じるか、いい聞き役か、である。評価値付与の手続きはＡＤデータと同様である。対話行為は、挨拶、自己開示、質問など全部で４０種類あり、すべての発話に付与されている。具体的な対話行為には、GREETING（あいさつ）、DISC-FACT（事実の自己開示）、INFO（客観的情報の伝達）、Q-FACT（事実に関する質問）、DISC-EVAL-NEG（否定的な評価の自己開示）、DISC-EVAL-POS（肯定的な評価の自己開示）、CONFIRM（確認）、SYNPATHY（共感の表現）などがある。
【００６４】
＜実験手順＞
まず、対話ごとのラベルのみ付与されたＡＤ−ＳＵＢ１からＡＤ対話用のＨＭＭ（エルゴディック０、エルゴディック１、エルゴディック２、連結１、連結２のモデル）を学習する。これらモデルによりＡＤ−ＳＵＢ１内の対話行為ごとに評価値を推定し、この評価値がＡＤ−ＳＵＢ２で得られた発話ごとの評価値と一致するかを評価することで提案モデルの有効性を検証する。ＡＬ対話についても、ＡＬデータすべてから提案手法によるモデルを学習し、ＡＬ−ＳＵＢ１が持つ発話ごとの評価値と比較する。
【００６５】
なお、エルゴディック１、エルゴディック２、連結１、連結２についてＭ０は０の評価値を表し、直前の評価値と同じ値を表すこととする。また、対話開始時の最尤状態がＭ０のものであるならば、その評価値は７段階の平均である４とする。例えば、推定された評価値の系列が０→１→２→７→０→５→０→６→０であれば、この系列は４→１→２→７→７→５→５→６→６と見なされ、正解系列と比較・評価される。
【００６６】
本評価実験では、１０フォールドの交差検定を行う。すなわち、ＡＤデータであれば、ＡＤ−ＳＵＢ１を１０分割し、このうち９つのフォールドのデータからＨＭＭを学習し、残りの１つのフォールドに含まれる発話ごとの評価値を用いて評価することを、１０回繰り返す。ＡＬデータに対しても同様の手続きで評価を行う。本評価実験では、エルゴディック０をベースラインとする。これは、対話ごとの評価値のみに基づいて対話行為（もしくは発話）ごとの評価値を推定する研究が過去に見られず、エルゴディック０が、本発明における最も単純な構造を持つからである。
【００６７】
また、本手法の上限（最も良い結果）として、非特許文献３の手法を用いる。この手法は、対話行為ごとの評価値を正解データとして用い、対話行為とその評価値を対応付けるようにＨＭＭを学習する。つまり、「発明が解決しようとする課題」で説明したように、対話における各発話について満足度のラベリングをする必要があるので、推定のためのコストが高いという問題点がある。本発明は、対話行為ごとの満足度をラベリングを不要としながら、推定精度を維持しようというものなので、非特許文献３の手法の推定精度を上限とした。
【００６８】
エルゴディック０、エルゴディック１、エルゴディック２、連結１、連結２と非特許文献３の手法は、対話行為列について推定評価値列を出力するが、正解評価値列との比較は、評価者が実際に評価値を付けた対話行為についてのみ行うこととする。これは、先に述べたように、ＡＤデータではシステムの対話行為についてのみ、ＡＬデータについては聞き役の対話行為についてのみ評価者による評価値が付与されており、その間の評価値、すなわち、ユーザの対話行為、および、話し役の対話行為についての評価値は、近似であって正確でない可能性があるからである。実のところ、これらの評価値は非特許文献３のモデル化の必要のために埋め草として与えられた値であり、正確な評価をするために、評価者が実際に評価値を付けた対話行為についてのみ行うことは妥当であろう。
【００６９】
＜評価尺度＞
本評価実験では、４つの評価尺度により、対話行為列に対する推定評価値列を評価する。ここで、Ｒはreference（正解）の意味で正解評価値系列とし、Ｈはhypothesis（仮説）の意味で推定された評価値系列とする。Ｌは対話行為系列の長さである。なお、ＭＲは単純に評価値の完全一致によって評価する。ＲＭＳＥは評価値の一致を距離として評価する。ＤＩＳＴとＫＬは系列を評価値の分布とみなし、その一致を評価する。
【００７０】
Match Rate（ＭＲ）
【数１】
2011253053.tif 000003
【００７１】
ここで、matchは要素が一致したときに１を返し、一致しないときに０を返す関数である。
【００７２】
Root Mean Squared Error（ＲＭＳＥ）
【数２】
2011253053.tif 000004
【００７３】
Distribution Distance（ＤＩＳＴ）
【数３】
2011253053.tif 000005
【００７４】
ここで、maxscoreはスコアの最大値（本評価実験においては７）であり、countは評価値系列における評価値ｉの数を返す関数である。例えば、Ｒが＜４，２，２，１，２，３＞の場合、count（２，Ｒ）は３である。
【００７５】
Kullback-Leibler Divergence（ＫＬ）
【００７６】
【数４】
2011253053.tif 000006
【００７７】
ここで、μＲとμＨはそれぞれＲとＨの評価値系列の平均値であり、σＲ２とσＨ２はそれぞれＲとＨの分散である。
【００７８】
＜評価結果＞
図１５と図１６に、ＡＤデータ、ＡＬデータのそれぞれに対する評価結果（各対話毎に各尺度の値を求め，その平均を取った結果）を示す。なお、図中の＊は非特許文献３よりも統計的に平均値が劣らないことを示す。＋、†、‡は、エルゴディック０、エルゴディック２、連結１よりも統計的に値（平均値）が優れていることを示している。また、太字で示した値は、他のモデルと比較して最も性能が良い値を表す。ここで、エルゴディック０はベースラインであり非特許文献３は上限である。また、この評価実験ではエルゴディック１の値はエルゴディック０と同じであった。これらの図から、エルゴディック０〜２に比べ、連結１、２の推定精度が高いことが分かる。また、例えば評価尺度ＤＩＳＴであれば、エルゴディック０も非特許文献３と同等の結果が得られている。したがって、エルゴディック０〜２、連結１、２のいずれのモデルでも、ある程度の推定精度は得られることが分かる。
【００７９】
なお、非特許文献３の手法が上限値（最も良い評価を示す値）だと考えられるが、ＡＤデータにおいては、連結１、２は指標によっては上限値と比べて統計的に有意な差がない。すなわち、同程度の推定性能を有していることが分かる。ＡＬデータにおいても上限には及ばないものの、連結１、２はエルゴディック０〜２に比べ上限値に近づいていく様子が分かる。このことから、本発明は対話ごとの評価のみから対話行為ごとの評価を推定することができていると言える。また，エルゴディック２や連結１〜２の評価結果が良好なように、すべての対話から学習したＨＭＭをモデルに導入すること、および、連結学習が効果的であるということが分かる。
【００８０】
なお、エルゴディック０はエルゴディック１と性能が全く同じであった。これは、スコアごとのＨＭＭがシャープな分布を持っており、全体の対話から学習したＨＭＭがブロードな分布を持っているため、最尤パスがスコアごとのＨＭＭのみを通過したことを示す。しかしながら、エルゴディック２の結果に示すように、この現象は全体の対話から学習したＨＭＭの状態数を増やすことによって回避できるということも分かった。
【００８１】
ＡＤデータから得られたエルゴディック０のＨＭＭとＡＬデータから得られた連結１のＨＭＭを図示したものを図１７と図１８にそれぞれ示す。ここでは簡潔さのため、図１７は出力確率、遷移確率ともに０．０５以上のもの、図１８は出力確率、遷移確率ともに０．１以上のものを表示した。また、図１７では評価値１（score:1）と評価値７（score:7）に対応する状態のみを表示している。図１８では評価値０（score:0）と評価値１（score:1）と評価値７（score:7）に対応する状態のみを表示している。
【００８２】
これらの図から、エルゴディック０では状態間の遷移は一定の確率になるが、連結学習を取り入れることにより、状態間の遷移確率がデータに基づいた値になっていることが分かる。また、図１７では多くの状態が同じような出力分布を持つのに対し、図１８では状態によって出力分布が異なっていることが分かる。これはすべての対話に現れるような対話行為系列が、隠れマルコフモデルＭ０から出力されるようになり、個々のスコアに対応する出力が対応する状態から出力されるようになった結果であると考えることができる。
【００８３】
最後に、図１９と図２０に、ＡＤデータとＡＬデータに対する各モデルの推定評価値系列の例を示す。エルゴディック０、１は対話行為ごとに評価値が大きく上下しているのに比べ、その他のモデルの評価値の変化はなだらかである。これは、Ｍ０が有効に機能しているので、各対話行為に無理矢理どれかの評価値を割り振らずに、０の評価値を割り振っていることに起因すると考えられる。
【００８４】
［プログラム、記録媒体］
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００８５】
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【００８６】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００８７】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００８８】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００８９】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【産業上の利用可能性】
【００９０】
本発明は、対話の満足度を対話行為単位に分析する対話分析に利用することができる。
【符号の説明】
【００９１】
５０、１００、２００、３００、４００  対話分析装置
５１、１０１、２０１、３０１、４０１  対話学習装置
９０、１９０、３９０  記録部            １１０  入出力部
１２０、３２０  第１モデル学習部        １３０、２３０  第２モデル学習部
１４０、２４０  モデル連結部            １８０  評価値推定部
３４０、４４０  第１モデル連結部        ３５０  再学習部
３６０  第２モデル連結部                ３７０  繰返し判定部
【図１】
2011253053.tif 000007
【図２】
2011253053.tif 000008
【図３】
2011253053.tif 000009
【図４】
2011253053.tif 000010
【図５】
2011253053.tif 000011
【図６】
2011253053.tif 000012
【図７】
2011253053.tif 000013
【図８】
2011253053.tif 000014
【図９】
2011253053.tif 000015
【図１０】
2011253053.tif 000016
【図１１】
2011253053.tif 000017
【図１２】
2011253053.tif 000018
【図１３】
2011253053.tif 000019
【図１４】
2011253053.tif 000020
【図１５】
2011253053.tif 000021
【図１６】
2011253053.tif 000022
【図１７】
2011253053.tif 000023
【図１８】
2011253053.tif 000024
【図１９】
2011253053.tif 000025
【図２０】
2011253053.tif 000026