(57)【要約】【課題】複数の参加者間で行われるコミュニケーションにおいて、次に話し始める参加者およびタイミングの少なくとも一方を推定する。【解決手段】発話区間の終了時点に対応する時間区間におけるコミュニケーション参加者の注視対象の遷移を表す注視対象遷移パターンを得、注視対象遷移パターンに所定の学習モデルを適用し、発話区間の次の発話区間の話者を推定するための次話者推定情報、および、発話区間の次の発話開始タイミングを推定するための発話開始タイミング推定情報、の少なくとも一方を得る。【選択図】図１
2014238525.tif 000002
【特許請求の範囲】
【請求項１】
発話区間の終了時点に対応する時間区間におけるコミュニケーション参加者の注視対象の遷移を表す注視対象遷移パターンを得る注視対象遷移パターン生成部と、
前記注視対象遷移パターンに所定の学習モデルを適用し、前記発話区間の次の発話区間の話者を推定するための次話者推定情報、および、前記発話区間の次の発話開始タイミングを推定するための発話開始タイミング推定情報、の少なくとも一方を得る推定部と、
を有する推定装置。
【請求項２】
請求項１の推定装置であって、
前記学習モデルは、前記注視対象の遷移を表すパターンと次の発話区間の話者との関係を表す次話者モデルを含む、推定装置。
【請求項３】
請求項１または２の推定装置であって、
前記学習モデルは、
前記注視対象の遷移を表すパターンと、前記発話区間の終了時点を基点とした次の発話開始時点と、の関係を表す第１発話開始時点モデル、および、
前記注視対象の遷移を表すパターンと、遷移後の注視行動の開始時点を基点とした次の発話開始時点と、の関係を表す第２発話開始時点モデル、
の少なくとも一方を含む、推定装置。
【請求項４】
請求項３の推定装置であって、
前記第１発話開始時点モデルおよび前記第２発話開始時点モデルの少なくとも一方は、前記発話区間で非話者であって次の発話区間で話者となる者と、前記発話区間で非話者であって次の発話区間で非話者となる者と、を互いに異なる前記注視対象として扱ったモデルである、推定装置。
【請求項５】
請求項１から４の何れかの推定装置であって、
前記時間区間は、前記発話区間の終了時点を含む有限の時間区間である、推定装置。
【請求項６】
注視対象遷移パターン生成部で、発話区間の終了時点に対応する時間区間におけるコミュニケーション参加者の注視対象の遷移を表す注視対象遷移パターンを得る注視対象遷移パターン生成ステップと、
推定部で、前記注視対象遷移パターンに所定の学習モデルを適用し、前記発話区間の次の発話区間の話者を推定するための次話者推定情報、および、前記発話区間の次の発話開始タイミングを推定するための発話開始タイミング推定情報、の少なくとも一方を得る推定ステップと、
を有する推定方法。
【請求項７】
請求項１から５の何れかの推定装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の参加者間で行われるコミュニケーションにおいて、次に話し始める参加者およびタイミングの少なくとも一方を推定するための技術に関する。
【背景技術】
【０００２】
複数の参加者間で行われるコミュニケーションにおいて、音声や映像の情報を解析して次に話し始める参加者（次発話者）を推定する手法や、推定結果から参加者に次発話者を通知することで発話衝突を軽減する手法が提案されている（例えば、特許文献１，２等参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３８４９３号公報
【特許文献２】特開２０１２−１４６０７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、これらの次発話者推定手法は、推定精度が低く不十分なものである。特許文献２の手法では、参加者の動作や同調リズムから次発話者が推定可能であるとしているが、具体的な計算方法は明記されていない。また、特許文献１の手法では、話者以外の参加者が見ていた被注視対象者を次発話者と決定している。しかしながら、必ず次発話者を他の参加者が注視するとは限らないため、精度に課題がある。また、いつ次発話者が話し始めるかといった厳密なタイミングを推定する試みは行われていなかった。
【０００５】
本発明はこのような点に鑑みてなされたものであり、複数の参加者間で行われるコミュニケーションにおいて、次に話し始める参加者およびタイミングの少なくとも一方を推定することを課題とする。
【課題を解決するための手段】
【０００６】
本発明では、発話区間の終了時点に対応する時間区間におけるコミュニケーション参加者の注視対象の遷移を表す注視対象遷移パターンを得、注視対象遷移パターンに所定の学習モデルを適用し、発話区間の次の発話区間の話者を推定するための次話者推定情報、および、発話区間の次の発話開始タイミングを推定するための発話開始タイミング推定情報、の少なくとも一方を得る。
【発明の効果】
【０００７】
本発明では、複数の参加者間で行われるコミュニケーションにおいて、次に話し始める参加者およびタイミングの少なくとも一方を推定することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態の推定装置の機能構成を説明するためのブロック図である。
【図２】図２は、発話区間と注視対象遷移パターンとの関係を例示するためのブロック図である。
【図３】図３Ａは、注視対象の遷移を表すパターンと発話区間の終了時点を基点とした次の発話開始時点との関係を表す第１発話開始時点モデル、および、注視対象の遷移を表すパターンと遷移後の注視行動の開始時点を基点とした次の発話開始時点との関係を表す第２発話開始時点モデルを例示するため図である。図３Ｂは、注視対象遷移パターンに対応する前記第１発話開始時点モデル、および、注視対象遷移パターンに対応する第２発話開始時点モデル、の少なくとも一方を用いて、次の発話開始タイミングを推定する方法を例示するための図である。
【発明を実施するための形態】
【０００９】
図面を参照して本発明の実施形態を説明する。以下では既に説明した機能構成および処理に対して同じ参照番号を用いて重複した説明を省略する。
＜第１実施形態＞
第１実施形態では、複数の参加者間で行われる会話を含むコミュニケーションにおいて、発話終了前後の参加者の注視対象の遷移と次話者が誰になるかといったこととに強い相関があることを利用する。参加者の音声情報から発話単位を自動的に生成し、参加者全員ないしは複数の参加者の発話単位付きの視線行動を入力とし、発話区間の終了時点に対応する時間区間におけるコミュニケーション参加者の注視対象の遷移を表す注視対象遷移パターンを生成する。そのパターンと所定の学習モデルとを用いて次発話者を高精度で推定する。本形態の学習モデルは、注視対象の遷移を表すパターンと次の発話区間の話者との関係を表すモデル（次話者モデル）である。以下では、確率モデルを学習モデルとして用いる例を示す。ただし、これは本発明を限定するものではない。また、本形態で取り扱うコミュニケーションは、参加者間での対面コミュニケーションであってもよいし、テレビ電話やビデオチャットなど映像を用いた遠隔コミュニケーションであってもよい。また、対面コミュニケーションを行う複数の参加者の遠隔地に遠隔コミュニケーションを行う他の参加者が存在し、対面コミュニケーションおよび遠隔コミュニケーションの両方が行われるものであってもよい。また、参加者は人間と同等なコミュニケーション能力を保有したコミュニケーションロボットでも良い。コミュニケーションの参加人数については２人以上であれば、特に制約はない。
【００１０】
図１に例示するように、本形態のシステムは、推定装置１、Ｎ個の注視対象検出装置１１１−１〜Ｎ、および音声情報取得装置１１２−１〜Ｎを有し、推定装置１は、発話単位生成部１１、注視対象遷移パターン生成部１２、および推定部１３を有し、推定部１３は、次発話者算出部１３１、および学習モデル情報記憶部１３２を有する。Ｎは２以上の整数であり、コミュニケーションの参加者Ｕ１〜ＵＮの人数を表す。注視対象検出装置１１１−ｊおよび音声情報取得装置１１２−ｊは、各参加者Ｕｊ（ただし、ｊ＝１，...，Ｎ）の注視対象の検出および音声情報の取得を行う。対面コミュニケーション環境下で本システムを利用する場合、注視対象検出装置１１１−１〜Ｎおよび音声情報取得装置１１２−１〜Ｎは、参加者Ｕ１〜ＵＮが対面コミュニケーションを行う場所に配置され、それらで得られた情報が推定装置１に直接送られる。遠隔コミュニケーション環境下で本システムを利用する場合、各注視対象検出装置１１１−ｊおよび音声情報取得装置１１２−ｊは、各参加者Ｕｊが存在する各拠点に配置され、それらで得られた情報がネットワーク経由で推定装置１に送信される。対面コミュニケーションおよび遠隔コミュニケーションの両方が行われる環境下で本システムを利用する場合、各参加者Ｕｊが存在する場所に注視対象検出装置１１１−ｊおよび音声情報取得装置１１２−ｊが配置され、それらで得られた情報がネットワーク経由または直接に推定装置１に送られる。
【００１１】
本システムは、注視対象検出装置１１１−１〜Ｎ、音声情報取得装置１１２−１〜Ｎ、発話単位生成部１１、注視対象遷移パターン生成部１２、および推定部１３が実行する一連の処理を繰り返し行うことで、常時、次発話者の推定を行う。
【００１２】
［注視対象検出装置１１１−ｊ］
注視対象検出装置１１１−ｊは、参加者Ｕｊが誰を注視しているか（注視対象）を検出し、参加者Ｕｊおよび注視対象Ｇｊ（ｔ）を表す情報を推定装置１に送る装置である。例えば、注視対象検出装置１１１−ｊは、公知の視線計測装置などを用い、参加者Ｕｊが誰を注視しているかを検出する。一般的に市販されている視線計測装置では、参加者Ｕｊの眼球に赤外光を当てその反射から眼球の向きを測定する。さらに、そのような装置は参加者Ｕｊの視野に類似したシーンをカメラで撮影し、参加者Ｕｊの眼球の向きとカメラ画像を用いて、カメラ画像中の注視位置を座標値として出力する。そのような装置を利用した場合、カメラ画像中から他の参加者Ｕｗ（ただし、ｗ＝１，...，Ｎ（ｗ≠ｊ））の領域を抽出し、視線計測装置で測定された注視位置がその領域に含まれるかを判定することで、参加者Ｕｊがどの参加者を注視しているかを検出する。なお、参加者Ｕｗが参加者Ｕｊの遠隔に存在する遠隔コミュニケーション環境下では、参加者Ｕｗが映し出されるモニター内の位置が参加者Ｕｗの領域とされる。参加者Ｕｗの領域検出は、画像処理による顔検出やオプティカルフローを利用するなど、どのような手法をとっても構わない。またその他、参加者Ｕｊの注視対象を推定する手法として、画像処理やモーションキャプチャなどを用いて取得される参加者Ｕｊの頭部情報と、マイクロホンで取得される参加者の音声情報を用いて、参加者Ｕｊの注視対象を判定する技術を利用するなど（例えば、特開２００６−３３８５２９号公報参照）、一般的に考えられるどのような手法をとっても構わない。
【００１３】
［音声情報取得装置１１２−ｓ］
音声情報取得装置１１２−ｓ（ただし、ｓ＝１，...，Ｎ）は、参加者Ｕｓの音声情報を取得し、取得した音声情報Ｘｓ（ｔ）を表す情報を推定装置１に送る装置である。ただし、ｔは離散時間を表す。例えば、音声情報取得装置１１２−ｓは、マイクロホンを使用して参加者Ｕｓの音声情報Ｘｓ（ｔ）を取得する。
【００１４】
［発話単位生成部１１］
発話単位生成部１１は、音声情報Ｘｓ（ｔ）を入力とし、音声情報Ｘｓから雑音成分を除去して発話成分のみを抽出し、それから発話区間Ｔｓを得て出力する。本形態では、１つの発話区間Ｔｓを、Ｔｄ［ｍｓ］連続した無音区間で囲まれた、発話成分が存在する区間を含む時間区間と定義する。すなわち、本形態の１つの発話区間Ｔｓは、２つのＴｄ［ｍｓ］連続した無音区間と、それらに囲まれた発話成分が存在する区間とからなる時間区間である。たとえば、Ｔｄを200msとしたとき、参加者Ｕｓが、500msの無音，200msの発話、50msの無音、150msの発話、150msの無音、400msの発話、250msの無音、の連続した発話データがあったとき、500msの無音区間と250msの無音区間の間に挟まれた950msの発話区間が一つ生成される。本形態の１つの発話区間Ｔｓは、Ｔｄ［ｍｓ］連続した２つの無音区間の間に、発話成分が存在する区間で囲まれた別のＴｄ［ｍｓ］連続した無音区間を含まない。本形態では、この発話区間Ｔｓを参加者Ｕｓの発話の一つの単位と規定し、ある発話区間Ｔｓの終了時に、同じ参加者Ｕｓが続けて発話をするか（すなわち継続するか）、あるいは他の参加者Ｕｗの誰が発話をするのか（すなわち発話交替するか）を判定する。なお、Ｔｄは、状況に応じて自由に決定できる。ただし、Ｔｄを長くすると、実際の発話終了から発話区間終了を判定するまでの時間が長くなるため、一般的な日常会話であればＴｄ＝２００〜５００ｍｓ程度とするのが適当である。発話単位生成部１１は、以上のように得た発話区間Ｔｓとそれに対応する参加者Ｕｓを表す情報（誰が発話したかを表す情報）を出力する。
【００１５】
［注視対象遷移パターン生成部１２］
注視対象遷移パターン生成部１２は、参加者Ｕｊおよび注視対象Ｇｊ（ｔ）を表す情報、および発話区間Ｔｓとそれに対応する参加者Ｕｓを表す情報を入力とし、発話区間終了前後における各参加者Ｕｊの注視対象遷移パターンｆｊを生成して出力する。注視対象遷移パターンｆｊは、発話区間Ｔｓの終了時点Ｔｓｅに対応する時間区間における参加者Ｕｊの注視対象の遷移を表す。本形態では、終了時点Ｔｓｅを含む有限の時間区間における参加者Ｕｊの注視対象の遷移を表す注視対象遷移パターンｆｊを例示する。この場合、例えば、発話区間Ｔｓの終了時点Ｔｓｅよりも前の時点Ｔｓｅ−Ｔｂから終了時点Ｔｓｅよりも後の時点Ｔｓｅ＋Ｔａまでの区間に出現した注視行動を扱う。Ｔｂ，Ｔａは０以上の任意の値で良いが、目安として、Ｔｂは０ｓ〜２．０ｓ、Ｔａは０ｓ〜３．０ｓ程度にするのが適当である。
【００１６】
注視対象遷移パターン生成部１２は、上述した区間の中に含まれる注視対象から遷移ｎ−ｇｒａｍを生成する。ｎは正の整数である。このとき、注視対象遷移パターン生成部１２は、注視対象を以下のように種別に分類し、ラベリングを行う。なお、ラベルの記号に意味はなく、判別できればどのような表記でも構わない。
・ラベルＳ：話者（すなわち、話者である参加者Ｕｓを表す）
・ラベルＬξ：非話者（ただし、ξは互いに異なる非話者である参加者を識別し、ξ＝１，...，Ｎ−１である。たとえば、ある参加者が、非話者Ｕ２、非話者Ｕ３、の順に注視をしていたとき、非話者Ｕ２にＬ１というラベル、非話者Ｕ３にＬ２というラベルが割り当てられる。）
・ラベルＸ：誰も見ていない
注視対象遷移パターン生成部１２は、各参加者Ｕｊ（ただし、ｊ＝１，...，Ｎ）に対し、上述した区間の中に含まれる注視対象のラベルの遷移ｎ−ｇｒａｍを生成し、参加者Ｕｊの注視対象遷移パターンｆｊとして出力する。
【００１７】
図２に具体例を示す。図２はＮ＝４の例であり、発話区間と注視対象が時系列に示されており、参加者Ｕ１が発話した後、発話交替が起き、新たに参加者Ｕ２が発話をした際の様子を示している。図２の例では、話者である参加者Ｕ１が参加者Ｕ３を注視した後、参加者Ｕ２を注視していた。この場合、時点Ｔｓｅ−Ｔｂから時点Ｔｓｅ＋Ｔａまでの区間での参加者Ｕ１の注視対象は、非話者Ｕ３、非話者Ｕ２であり、参加者Ｕ１の注視対象遷移パターンｆ１はＬ１−Ｌ２となる。また、上述の区間では、参加者Ｕ２は参加者Ｕ４を注視した後、誰も見ていない。この場合、この区間で参加者Ｕ２の注視対象遷移パターンｆ２はＬ１−Ｘとなる。また、上述の区間では、参加者Ｕ３は話者である参加者Ｕ１のみを注視している。この場合、この区間での参加者Ｕ３の注視対象遷移パターンｆ３はＳとなる。また、上述の区間では、参加者Ｕ４は誰も見ていない。この場合、この区間での参加者Ｕ４の注視対象遷移パターンｆ４はＸとなる。
【００１８】
［学習モデル情報記憶部１３２］
学習モデル情報記憶部１３２は、発話区間での注視対象の遷移を表すパターンと次の発話区間の話者との関係を表す学習モデルを格納している。本形態の学習モデルは確率モデルであり、注視対象遷移パターンｆｊが出現した際に発話継続／発話交替が行わる確率を表す第１確率モデル、および注視対象遷移パターンｆｊが出現した際に話者以外の各参加者Ｕｉが次発話者となるかの確率を表す第２確率モデルを含む。これらは、事前に収録された会話から、注視対象遷移パターンと次話者との関係がどれくらいの確率で発生するかを統計的に算出することで得られたものである。以下に具体例を示す。
【００１９】
この例の第１確率モデルは、話者交替時に話者である参加者Ｕｓの注視対象遷移パターンｆｓが出現する確率Ｐ（ｆｓ｜ｔｔ）、話者継続時に話者の注視対象遷移パターンｆｓが出現する確率Ｐ（ｆｓ｜ｎｔｔ）、話者交替時に非話者の注視対象遷移パターンｆφ（ｒ）（ただし、ｒ＝１，，...，Ｎ−１）が出現する確率Ｐ（ｆφ（ｒ）｜ｔｔ）、話者継続時に非話者の注視対象遷移パターンｆφ（ｒ）が出現する確率Ｐ（ｆφ（ｒ）｜ｎｔｔ）、および話者交替が起こる確率Ｐ（ｔｔ）を含む。ただし、ｔｔは話者交代を表すラベル、ｎｔｔは話者継続を表すラベル、Ｐ（α）はαが起こる事前確率であり、Ｐ（α｜β）はβが発生した場合にαが起こる事後確率である。
【００２０】
この例の第２確率モデルは、注視対象遷移パターンに応じて、参加者Ｕｉ（ただし、ｉ≠ｓ、ｉ＝１，...，Ｎ）が次話者になる確率を表す。具体的には、この例の第２確率モデルは、話者の注視対象遷移パターンｆｓに基づく参加者Ｕｉが次話者になる確率Ｐ（ｎｓｉ｜ｆｓ）、および非話者の注視対象遷移パターンｆφ（ｒ）に基づく参加者Ｕｉが次話者になる確率Ｐ（ｎｓｉ｜ｆφ（ｒ））を含む。ｎｓｉは、次話者が非話者である参加者Ｕｉであることを表すラベルである。
【００２１】
［次発話者算出部１３１］
次発話者算出部１３１は、注視対象遷移パターン生成部１２で得られた注視対象遷移パターンｆ１，...，ｆＮを入力とし、注視対象遷移パターンｆ１，...，ｆＮに学習モデル情報記憶部１３２に格納された学習モデルを適用し、次話者を推定するための情報（次話者推定情報）を得て、次話者を推定する。具体的には、（Ａ）話者が交替するか（話者継続するか）否かを判定し、（Ｂ）話者交替であると判定された場合、次話者が誰であるかを判定する。
【００２２】
まず（Ａ）について詳しく述べる。本形態では、それぞれの参加者Ｕｊの注視行動が独立に発生する事象であると仮定し、単純確率モデルを用いて話者交替するかを判定する。話者交替が行われる確率Ｐ（ｔｔ｜ｆｓ，ｆφ（１），...，ｆφ（Ｎ−１））および話者継続が行われる確率Ｐ（ｎｔｔ｜ｆｓ，ｆφ（１），...，ｆφ（Ｎ−１））（次話者推定情報）は、学習モデル情報記憶部１３２に格納されたＰ（ｔｔ）およびＰ（ｎｔｔ）＝１−Ｐ（ｔｔ）、ならびに、注視対象遷移パターン生成部１２で得られた注視対象遷移パターンｆ１，...，ｆＮに対応する学習モデル情報記憶部１３２に格納されたＰ（ｆｓ｜ｔｔ）、Ｐ（ｆｓ｜ｎｔｔ）、Ｐ（ｆφ（ｒ）｜ｔｔ）、Ｐ（ｆφ（ｒ）｜ｎｔｔ）を用い、式（１）、（２）で算出可能である。
【数１】
2014238525.tif 000003
【数２】
2014238525.tif 000004
【００２３】
次発話者算出部１３１は、式（１）（２）によって算出したＰ（ｔｔ｜ｆｓ，ｆφ（１），...，ｆφ（Ｎ−１））およびＰ（ｎｔｔ｜ｆｓ，ｆφ（１），...，ｆφ（Ｎ−１））を用い、話者交替であるか話者継続であるかを判定する。例えば、次発話者算出部１３１は、Ｐ（ｔｔ｜ｆｓ，ｆφ（１），...，ｆφ（Ｎ−１））＞Ｐ（ｎｔｔ｜ｆｓ，ｆφ（１），...，ｆφ（Ｎ−１））が成り立てば話者交替と判定し、そうでなければ話者継続と判定する。或いは、定数等である係数γ（ただし、γ≠０）およびδについてＰ（ｔｔ｜ｆｓ，ｆφ（１），...，ｆφ（Ｎ−１））＞γ×Ｐ（ｎｔｔ｜ｆｓ，ｆφ（１），...，ｆφ（Ｎ−１））＋δが成り立てば話者交替と判定し、そうでなければ話者継続と判定してもよい。話者継続が行われると判定した場合、次発話者算出部１３１は、次話者が参加者Ｕｓであることを表すラベルｎｓを出力する。
【００２４】
話者交替が行われると判定した場合、次発話者算出部１３１は、（Ｂ）次話者が誰であるかを判定する。（Ｂ）について詳しく述べる。それぞれの参加者Ｕ１，...，ＵＮの注視行動が独立に発生する事象であると仮定する。次話者が非話者である参加者Ｕｉである確率Ｐ（ｎｓｉ）（次話者推定情報）は、注視対象遷移パターン生成部１２で得られた注視対象遷移パターンｆ１，...，ｆＮに対応する学習モデル情報記憶部１３２に格納されたＰ（ｎｓｉ｜ｆｓ）およびＰ（ｎｓｉ｜ｆφ（ｒ））を用い、式（３）で算出可能である。
【数３】
2014238525.tif 000005
【００２５】
次発話者算出部１３１は、式（３）によって確率Ｐ（ｎｓｉ）を算出し、確率Ｐ（ｎｓｉ）が最も大きな参加者Ｕｉを次発話者であると判定し、次話者が参加者Ｕｉであることを表すラベルｎｓを出力する。或いは、或る閾値以上の大きさの確率Ｐ（ｎｓｉ）に対応する参加者Ｕｉを次発話者の候補として判定し、当該次発話者の候補を表すラベルを出力してもよい。或いは、大きい順番で選択した複数個の確率Ｐ（ｎｓｉ）に対応する参加者Ｕｉを次発話者の候補として判定し、当該次発話者の候補を表すラベルを出力してもよい。
【００２６】
＜第２実施形態＞
第２実施形態は、第１実施形態の変形例である。第２実施形態では、第１実施形態に加え、さらに発話終了前後の参加者の注視対象の遷移が次の発話が開始されるタイミングと相関があることを利用し、注視対象遷移パターンと所定の学習モデルとを用いて次の発話（次発話）の開始タイミングを高精度で推定する。
【００２７】
本形態の学習モデルは、第１実施形態で説明したモデルに加え、注視対象の遷移を表すパターンと、発話区間の終了時点を基点とした次の発話開始時点と、の関係を表す第１発話開始時点モデル、および、注視対象の遷移を表すパターンと、遷移後の注視行動の開始時点を基点とした次の発話開始時点と、の関係を表す第２発話開始時点モデル、の少なくとも一方を含む。なお、「或る時点を基点とした次の発話開始時点」とは、或る時点に対する相対的な発話開始時点を意味し、言い換えると、或る時点を０とした場合の次の発話開始時点を意味する。すなわち、或る時点の絶対時点（実時刻）をαとし、次の発話開始時点の絶対時点をβとすると、「或る時点を基点とした次の発話開始時点」はβ−αである。さらに、本形態の学習モデルが、発話区間の終了時点を基点とした次の発話開始時点を表す第３発話開始時点モデルを含んでもよい。第３発話開始時点モデルは、注視対象の遷移を表すパターンに依存しない。たとえば、第３発話開始時点モデルは、すべての発話区間の終了時点を基点とした次の発話開始時点の平均を表すモデル（例えば、当該平均の確率分布を表すモデル）である。また、学習モデルとして、第１発話開始時点モデルのみを用いてもよいし、第２発話開始時点モデルのみを用いてもよいし、第１発話開始時点モデルと第２発話開始時点モデルとを用いてもよいし、第１発話開始時点モデルと第３発話開始時点モデルとを用いてもよいし、第２発話開始時点モデルと第３発話開始時点モデルとを用いてもよいし、第１発話開始時点モデルと第２発話開始時点モデルと第３発話開始時点モデルとを用いてもよい。しかしながら、第１発話開始時点モデルまたは第２発話開始時点モデルの一方を用いないよりも、これらの両方を用いたほうが、次の発話開始タイミングの推定精度が高い。また、第３発話開始時点モデルを用いないよりも、これを用いたほうが、次の発話開始タイミングの推定精度が高い。
【００２８】
以下では一例として、学習モデルが第１発話開始時点モデルと第２発話開始時点モデルと第３発話開始時点モデルのすべてを含む例を説明する。以下で例示する第１発話開始時点モデルは、注視対象の遷移を表すパターンに応じた、当該発話区間の終了時点を基点とした次の発話開始時点の確率分布を表す。以下で例示する第２発話開始時点モデルは、注視対象の遷移を表すパターンに応じた、注視行動の開始後を基点とした次の発話開始時点の確率分布を表す。以下で例示する第３発話開始時点モデルは、発話区間の終了時点を基点とした次の発話開始時点の確率分布を表す。ただし、これらは本発明を限定するものではない。以下、第１実施形態との相違点を説明する。
【００２９】
図１に例示するように、本形態のシステムの第１実施形態のシステムに対する相違点は、第１実施形態の推定装置１に替えて推定装置２を備える点である。本形態の推定装置２は、発話単位生成部１１、注視対象遷移パターン生成部２２、および推定部２３を有し、推定部２３は、次発話者算出部１３１、タイミング算出部２３３、および学習モデル情報記憶部２３２を有する。
【００３０】
本システムは、注視対象検出装置１１１−１〜Ｎ、音声情報取得装置１１２−１〜Ｎ、発話単位生成部１１、注視対象遷移パターン生成部２２、次発話者算出部１３１、およびタイミング算出部２３３が実行する一連の処理を繰り返し行うことで、常時、次発話者の推定および次の発話開始タイミングの推定を行う。
【００３１】
［注視対象遷移パターン生成部２２］
注視対象遷移パターン生成部２２が第１実施形態の注視対象遷移パターン生成部１２と相違する点は、注視対象遷移パターン生成部２２が、注視対象遷移パターンｆｊに加え、さらに各参加者Ｕｊの注視対象の遷移後の注視行動が開始された時点ｔ２，ｊを出力する点である。例えば図３では、参加者Ｕ１の注視対象を表すラベルがＬ１からＬ２に遷移しており、遷移後のＬ２が表す視対象への注視行動が開始された時点ｔ２，１が出力される。なお、時点Ｔｓｅ−Ｔｂから時点Ｔｓｅ＋Ｔａまでの区間での注視対象の遷移がない場合には、時点ｔ２，ｊは生成されない。。その他は注視対象遷移パターン生成部１２と同じである。
【００３２】
［学習モデル情報記憶部２３２］
学習モデル情報記憶部２３２は、第１実施形態で説明した学習モデルに加え、さらに、上述した第１〜３発話開始時点モデルを学習モデルとして格納している。ここで例示する第１〜３発話開始時点モデルは確率分布を表す確率密度関数である。すなわち、この例の第１発話開始時点モデルは、注視対象遷移パターンｖに応じた、当該発話区間の終了時点ｔ１を基点とした次の発話開始時点ｔ−ｔ１の確率分布を表す確率密度関数ｋｖ（ｔ−ｔ１）である。ただし、ｔは絶対時点を表す。この例の第２発話開始時点モデルは、注視対象遷移パターンｖに応じた、遷移後の注視行動が開始された時点ｔ２を基点とした発話開始時点ｔ−ｔ２の確率分布を表す確率密度関数ｇｖ（ｔ−ｔ２）である。なお、本形態の確率密度関数ｋｖ（ｔ−ｔ１）およびｇｖ（ｔ−ｔ２）は、注視対象遷移パターンｖごとに、参加者が話者であったか非話者であったかという２つの発話状態と、話者交替時か話者継続時かといった話者交替の２つの状態と、の組み合わせからなる４種類の状態のそれぞれに対して生成されたものである。すなわち、本形態では、注視対象遷移パターンｖごとに４種類ずつの確率密度関数ｋｖ（ｔ−ｔ１）およびｇｖ（ｔ−ｔ２）が生成され、それらが互いに区別される。例えば、話者交替時に、話者Ｕ１，非話者Ｕ２の注視対象遷移パターンｆ１，ｆ２が共にＬ１−Ｌ２でも、この注視対象遷移パターンｆ１に応じたｋｆ１（ｔ−ｔ１）と、この注視対象遷移パターンｆ２に応じたｋｆ２（ｔ−ｔ１）とは、互いに区別される。同様に、この注視対象遷移パターンｆ１に応じたｇｆ１（ｔ−ｔ２）と、この注視対象遷移パターンｆ２に応じたｇｆ２（ｔ−ｔ２）とは、互いに区別される。また、話者交替時における参加者Ｕ１の注視対象遷移パターンｆ１と、話者継続時における参加者Ｕ１の注視対象遷移パターンｆ１とが共にＬ１−Ｌ２でも、これらの視対象遷移パターンｆ１に応じたｋｆ１（ｔ−ｔ１）は区別される。同様に、これらの視対象遷移パターンｆ１に応じたｇｆ１（ｔ−ｔ２）は区別される。また、この例の第３発話開始時点モデルは、発話区間の終了時点ｔ１を基点とした次の発話開始時点ｔ−ｔ１の確率分布を表す確率密度関数ｈ（ｔ−ｔ１）である。この確率密度関数ｈ（ｔ−ｔ１）は、注視対象遷移パターンにかかわらず、すべてのｔ−ｔ１についての確率分布を表すものである。これらの確率密度関数は、会話データから事前に集計され、生成されたものである。確率密度関数は、より実際の分布に近い各種関数（たとえば、ガンマ分布など）に近似されてもよい。
【００３３】
［タイミング算出部２３３］
タイミング算出部２３３は、次発話者算出部１３１で話者交替であるか否かが判定された場合に、発話単位生成部１１で得られた発話区間Ｔｓの終了時点ｔ１，ｓ、次発話者算出部１３１で得られた次話者を表すラベルｎｓ、ならびに注視対象遷移パターン生成部２２で得られた注視対象遷移パターンｆ１，...，ｆＮおよび遷移後の注視行動が開始された時点ｔ２，１，...，ｔ２，Ｎを入力とし、それらを学習モデル情報記憶部２３２に格納された学習モデルに適用し、発話区間の次の発話開始タイミングを推定するための発話開始タイミング推定情報を得、次の発話開始タイミングを推定する。すなわち、注視行動が発話のタイミングに影響を与えると考えられるため、タイミング算出部２３３は、入力された注視対象遷移パターンｆ１，...，ｆＮに応じた発話区間の終了から次発話開始までの時間を統計的に集計し、それによって得られる確率分布を基に次の発話開始タイミングを推定する。以下にその処理を具体的に説明する。
【００３４】
タイミング算出部２３３は、学習モデル情報記憶部２３２から、確率密度関数ｈ（ｔ−ｔ１）、ならびに、参加者Ｕ１，...，ＵＮのそれぞれが話者であったか非話者であったかと話者交替時か話者継続時かと入力された注視対象遷移パターンｆ１，...，ｆＮとに対応する確率密度関数ｋｆ１（ｔ−ｔ１），...，ｋｆＮ（ｔ−ｔ１）および確率密度関数ｇｆ１（ｔ−ｔ２），...，ｇｆＮ（ｔ−ｔ２）を抽出する。なお、下付き添え字のｆ１，...，ｆＮは、それぞれｆ１，...，ｆＮを表す。参加者Ｕ１，...，ＵＮのそれぞれが話者であったか非話者であったかは、１つ前の繰り返し処理においてタイミング算出部２３３に入力されたラベルｎｓから特定できる。話者交替時か話者継続時かは、１つ前の繰り返し処理においてタイミング算出部２３３に入力されたラベルｎｓと、今回の繰り返し処理においてタイミング算出部２３３に入力されたラベルｎｓとから特定できる。図３Ａの例では、参加者Ｕ１が話者であり、参加者Ｕ１からＵ２への話者交替が起こり、参加者Ｕ１の注視対象遷移パターンｆ１がＬ１−Ｌ２である。そのため、確率密度関数ｈ（ｔ−ｔ１）が抽出されるとともに、「話者」「話者交替時」および「ｆ１がＬ１−Ｌ２」に対応するｋｆ１（ｔ−ｔ１）およびｇｆ１（ｔ−ｔ２）が抽出される。他の参加者Ｕ２，...，ＵＮについても同様にｋｆ２（ｔ−ｔ１），...，ｋｆＮ（ｔ−ｔ１）および確率密度関数ｇｆ２（ｔ−ｔ２），...，ｇｆＮ（ｔ−ｔ１）が抽出される。
【００３５】
タイミング算出部２３３は、入力された発話区間Ｔｓの終了時点ｔ１，ｓ、および遷移後の注視行動が開始された時点ｔ２，１，...，ｔ２，Ｎを、抽出したｈ（ｔ−ｔ１），ｋｆ１（ｔ−ｔ１），...，ｋｆＮ（ｔ−ｔ１），ｇｆ１（ｔ−ｔ２），...，ｇｆＮ（ｔ−ｔ２）に代入して得られるｈ（ｔ−ｔ１，ｓ），ｋｆ１（ｔ−ｔ１，ｓ），...，ｋｆＮ（ｔ−ｔ１，ｓ），ｇｆ１（ｔ−ｔ２，１），...，ｇｆＮ（ｔ−ｔ２，Ｎ），ｈ（ｔ−ｔ１）から、混合分布を表す確率密度関数Ｐｓ（ｔ）（発話開始タイミング推定情報）を生成し、その混合分布のピークに対応する時点ｔを発話開始タイミングとする。時点ｔ２，ｊが生成されていない場合にはｇｆｊ（ｔ−ｔ２，ｊ）＝１とする。確率密度関数Ｐｓ（ｔ）は、例えば、以下の式（４）で算出できる。
【数４】
2014238525.tif 000006
【００３６】
タイミング算出部２３３は、Ｐｓ（ｔ）が最大になる時点ｔを次発話発生時点（次の発話開始タイミング）とし、この次発話発生時点を表すラベルＴｕｂ（発話開始タイミング情報）を出力する。或いは、或る閾値以上の大きさの確率Ｐｓ（ｔ）に対応する時点ｔを次発話発生時点の候補とし、当該次発話発生時点の候補を表すラベルを出力してもよい。或いは、大きい順番で選択した複数個の確率Ｐｓ（ｔ）に対応する時点ｔを次発話発生時点の候補とし、当該次発話発生時点の候補を表すラベルを出力してもよい。
【００３７】
＜第３実施形態＞
第３実施形態は第２実施形態の変形例であり、第２実施形態との相違点は、第１発話開始時点モデルおよび第２発話開始時点モデルの少なくとも一方が、発話区間で非話者であって次の発話区間で話者となる者と、発話区間で非話者であって次の発話区間で非話者となる者と、を互いに異なる注視対象として扱ったモデル（詳細分類モデル）である点である。これにより、次の発話開始タイミングの推定精度がさらに向上する。なお、第１発話開始時点モデルまたは第２発話開始時点モデルの一方のみが詳細分類モデルであってもよいが、第１発話開始時点モデルおよび第２発話開始時点モデルの両方が詳細分類モデルであるほうが、次の発話開始タイミングの推定精度が高いため、好ましい。以下では一例として、学習モデルが第１発話開始時点モデルと第２発話開始時点モデルと第３発話開始時点モデルのすべてを含み、第１発話開始時点モデルおよび第２発話開始時点モデルの両方が詳細分類モデルである例を示す。以下では第２実施形態との相違点のみを説明する。
【００３８】
図１に例示するように、本形態のシステムの第２実施形態のシステムに対する相違点は、第２実施形態の推定装置２に替えて推定装置３を備える点である。本形態の推定装置３は、発話単位生成部１１、注視対象遷移パターン生成部２２、および推定部３３を有し、推定部３３は、次発話者算出部１３１、タイミング算出部３３３、および学習モデル情報記憶部３３２を有する。
【００３９】
本システムは、注視対象検出装置１１１−１〜Ｎ、音声情報取得装置１１２−１〜Ｎ、発話単位生成部１１、注視対象遷移パターン生成部２２、次発話者算出部１３１、およびタイミング算出部３３３が実行する一連の処理を繰り返し行うことで、常時、次発話者の推定および次の発話開始タイミングの推定を行う。
【００４０】
［学習モデル情報記憶部３３２］
学習モデル情報記憶部３３２は、第１実施形態で説明した学習モデルに加え、さらに、第１〜３発話開始時点モデルを学習モデルとして格納している。ただし、第１発話開始時点モデルおよび第２発話開始時点モデルの両方が詳細分類モデルである点が第２実施形態と相違する。すなわち、この例の第１発話開始時点モデルも、注視対象遷移パターンｖに応じた、当該発話区間の終了時点ｔ１を基点とした次の発話開始時点ｔ−ｔ１の確率分布を表す確率密度関数ｋｖ（ｔ−ｔ１）である。また、この例の第２発話開始時点モデルも、注視対象遷移パターンｖに応じた、遷移後の注視行動が開始された時点ｔ２を基点とした話開始時点ｔ−ｔ２の確率分布を表す確率密度関数ｇｖ（ｔ−ｔ２）である。これらの確率密度関数も、会話データから事前に集計され、生成されたものである。ただし、本形態の注視対象遷移パターンｖは、発話区間で非話者であって次の発話区間で話者となる者と、発話区間で非話者であって次の発話区間で非話者となる者と、を互いに異なる注視対象として扱ったものである。すなわち、以下のような注視対象を表すラベルの遷移ｎ−ｇｒａｍを注視対象遷移パターンｖとして生成されたものである。
・ラベルＳ：話者（すなわち、話者である参加者Ｕｓを表す）
・ラベルＮＳ：次話者である非話者（すなわち、非話者のうち次話者となる参加者Ｕｎｓを表す）
・ラベルＮＬι：次話者でない非話者（ただし、ιは次話者でない互いに異なる非話者を識別し、ι＝１，...，Ｎ−１である。たとえば、ある参加者が、非話者Ｕ２、非話者Ｕ３、の順に注視をしており、非話者Ｕ２が次話者であるとき、非話者Ｕ２にＮＳというラベル、非話者Ｕ３にＮＬ１というラベルが割り当てられる。）
・ラベルＸ：誰も見ていない
また、本形態の確率密度関数ｋｖ（ｔ−ｔ１）およびｇｖ（ｔ−ｔ２）は、上記の注視対象遷移パターンｖごとに、参加者が話者であったか非話者であったかという２つの発話状態のそれぞれに対して生成されたものである。すなわち、本形態では、注視対象遷移パターンｖごとに２種類ずつの確率密度関数ｋｖ（ｔ−ｔ１）およびｇｖ（ｔ−ｔ２）が生成され、それらが互いに区別される。例えば、話者Ｕ１，非話者Ｕ２の注視対象遷移パターンｆ１，ｆ２が共にＮＬ１−ＮＬ２でも、この注視対象遷移パターンｆ１に応じたｋｆ１（ｔ−ｔ１）と、この注視対象遷移パターンｆ２に応じたｋｆ２（ｔ−ｔ１）とは、互いに区別される。同様に、この注視対象遷移パターンｆ１に応じたｇｆ１（ｔ−ｔ２）と、この注視対象遷移パターンｆ２に応じたｇｆ２（ｔ−ｔ２）とは、互いに区別される。
【００４１】
［タイミング算出部３３３］
タイミング算出部３３３は、次発話者算出部１３１で話者交替であると判定された場合に、発話単位生成部１１で得られた発話区間Ｔｓの終了時点ｔ１，ｓ、次発話者算出部１３１で得られた次話者を表すラベルｎｓ、参加者Ｕｊおよび注視対象Ｇｊ（ｔ）を表す情報、および発話区間Ｔｓとそれに対応する参加者（話者）Ｕｓを表す情報、および注視対象遷移パターン生成部２２で得られた遷移後の注視行動が開始された時点ｔ２，１，...，ｔ２，Ｎを入力とし、それらを学習モデル情報記憶部３３２に格納された学習モデルに適用し、発話区間の次の発話開始タイミングを推定するための発話開始タイミング推定情報を得、次の発話開始タイミングを推定する。以下にその処理を具体的に説明する。
【００４２】
第１実施形態で説明した通り、入力された注視対象遷移パターンｆｊは、発話区間で非話者であって次の発話区間で話者となる者と、発話区間で非話者であって次の発話区間で非話者となる者とを区別したものではない。そのため、タイミング算出部３３３は、参加者Ｕｊおよび注視対象Ｇｊ（ｔ）を表す情報、発話区間Ｔｓとそれに対応する参加者（話者）Ｕｓを表す情報、および次話者を表すラベルｎｓを用い、発話区間Ｔｓの終了時点Ｔｓｅに対応する時間区間における参加者Ｕｊの注視対象の遷移を表す注視対象遷移パターンｆｊ’を生成する。ただし、本形態では、各参加者Ｕｊについて、上述したラベルＳ，ＮＳ，ＮＬι，Ｘで識別された注視対象の遷移ｎ−ｇｒａｍを生成し、それを参加者Ｕｊの注視対象遷移パターンｆｊ’として出力する。なお、注視対象の参加者が次話者であるか否かは、次話者を表すラベルｎｓによって特定する。
【００４３】
タイミング算出部３３３は、学習モデル情報記憶部３３２から、確率密度関数ｈ（ｔ−ｔ１）、ならびに、参加者Ｕ１，...，ＵＮのそれぞれが話者であったか非話者であったかと注視対象遷移パターンｆ１’，...，ｆＮ’とに対応する確率密度関数ｋｆ１’（ｔ−ｔ１），...，ｋｆＮ’（ｔ−ｔ１）および確率密度関数ｇｆ１’（ｔ−ｔ２），...，ｇｆＮ’（ｔ−ｔ２）を抽出する。参加者Ｕ１，...，ＵＮのそれぞれが話者であったか非話者であったかは、１つ前の繰り返し処理においてタイミング算出部２３３に入力されたラベルｎｓから特定できる。図３Ａの例では、参加者Ｕ１が話者であり、参加者Ｕ１の注視対象遷移パターンｆ１’がＮＬ１−ＮＳである。そのため、確率密度関数ｈ（ｔ−ｔ１）が抽出されるとともに、「話者」および「ｆ１’がＮＬ１−ＮＳ」に対応するｋｆ１’（ｔ−ｔ１）およびｇｆ１’（ｔ−ｔ２）が抽出される。他の参加者Ｕ２，...，ＵＮについても同様にｋｆ２’（ｔ−ｔ１），...，ｋｆＮ’（ｔ−ｔ１）および確率密度関数ｇｆ２’（ｔ−ｔ２），...，ｇｆＮ’（ｔ−ｔ１）が抽出される。
【００４４】
タイミング算出部３３３は、入力された発話区間Ｔｓの終了時点ｔ１，ｓ、および遷移後の注視行動が開始された時点ｔ２，１，...，ｔ２，Ｎを、抽出したｈ（ｔ−ｔ１），ｋｆ１’（ｔ−ｔ１），...，ｋｆＮ’（ｔ−ｔ１），ｇｆ１’（ｔ−ｔ２），...，ｇｆＮ’（ｔ−ｔ２）に代入して得られるｈ（ｔ−ｔ１，ｓ），ｋｆ１’（ｔ−ｔ１，ｓ），...，ｋｆＮ’（ｔ−ｔ１，ｓ），ｇｆ１’（ｔ−ｔ２，１），...，ｇｆＮ’（ｔ−ｔ２，Ｎ），ｈ（ｔ−ｔ１）から、混合分布を表す確率密度関数Ｐｓ（ｔ）（発話開始タイミング推定情報）を生成し、その混合分布のピークに対応する時点ｔを発話開始タイミングとする。確率密度関数Ｐｓ（ｔ）は、例えば、以下の式（５）で算出できる。
【数５】
2014238525.tif 000007
【００４５】
タイミング算出部３３３は、Ｐｓ（ｔ）が最大になる時点ｔを次発話発生時点（次の発話開始タイミング）とし、この次発話発生時点を表すラベルＴｕｂ（発話開始タイミング情報）を出力する。或いは、或る閾値以上の大きさの確率Ｐｓ（ｔ）に対応する時点ｔを次発話発生時点の候補とし、当該次発話発生時点の候補を表すラベルを出力してもよい。或いは、大きい順番で選択した複数個の確率Ｐｓ（ｔ）に対応する時点ｔを次発話発生時点の候補とし、当該次発話発生時点の候補を表すラベルを出力してもよい。
【００４６】
＜その他の変形例＞
本発明は上述の実施の形態に限定されるものではない。例えば、発話単位生成部１１が推定装置の外部に構成され、推定装置が発話単位生成部１１を含まない構成であってもよい。
【００４７】
上述の各実施形態では、２つ以上のＴｄ［ｍｓ］連続した無音区間で囲まれた区間とそれらで囲まれた発話成分が存在する区間とからなり、Ｔｄ［ｍｓ］連続した２つの無音区間の間に、発話成分が存在する区間で囲まれた別のＴｄ［ｍｓ］連続した無音区間を含まないこととした。しかしながら、２つ以上のＴｄ［ｍｓ］連続した無音区間で囲まれた区間とそれらで囲まれた発話成分が存在する区間とからなり、Ｔｄ［ｍｓ］連続した２つの無音区間の間に、発話成分が存在する区間で囲まれた別のＴｄ［ｍｓ］連続した無音区間を含むもの１つの発話区間Ｔｊとしてもよい。
【００４８】
上述の各実施形態では、終了時点Ｔｓｅを含む有限の時間区間における参加者Ｕｊの注視対象の遷移を表すパターンを注視対象遷移パターンｆｊとした。しかしながら、終了時点Ｔｓｅの近傍の時間区間における参加者Ｕｊの注視対象の遷移を表す情報を、注視対象遷移パターンｆｊとしてもよい。
【００４９】
第１実施形態では、話者継続するか話者交替するかを推定し、話者交替であると判定された場合に次話者が誰となるのかの推定を行った。しかしながら、話者継続するか話者交替するかのみを推定し、その結果が出力されてもよい。
【００５０】
第２，３実施形態では、学習モデルが第１発話開始時点モデルｋｖ（ｔ−ｔ１）と第２発話開始時点モデルｇｖ（ｔ−ｔ２）と第３発話開始時点モデルｈ（ｔ−ｔ１）とを含み、タイミング算出部２３３，３３４が式（４）のＰｓ（ｔ）から次発話発生時点やその候補を得た。しかしながら、学習モデルが第１発話開始時点モデルｋｖ（ｔ−ｔ１）と第３発話開始時点モデルｈ（ｔ−ｔ１）とを含むが第２発話開始時点モデルｇｖ（ｔ−ｔ２）を含まず、タイミング算出部２３３が式（４）に替えて式（６）を用いてもよいし、タイミング算出部３３３が式（５）に替えて式（７）を用いてもよい。
【数６】
2014238525.tif 000008
【００５１】
或いは、学習モデルが第１発話開始時点モデルｋｖ（ｔ−ｔ１）を含むが第２発話開始時点モデルｇｖ（ｔ−ｔ２）と第３発話開始時点モデルｈ（ｔ−ｔ１）とを含まず、タイミング算出部２３３が式（４）に替えて式（８）を用いてもよいし、タイミング算出部３３３が式（５）に替えて式（９）を用いてもよい。
【数７】
2014238525.tif 000009
【００５２】
或いは、学習モデルが第２発話開始時点モデルｇｖ（ｔ−ｔ２）と第３発話開始時点モデルｈ（ｔ−ｔ１）とを含むが第１発話開始時点モデルｋｖ（ｔ−ｔ１）を含まず、タイミング算出部２３３が式（４）に替えて式（１０）を用いてもよいし、タイミング算出部３３３が式（５）に替えて式（１１）を用いてもよい。
【数８】
2014238525.tif 000010
【００５３】
或いは、学習モデルが第１発話開始時点モデルｋｖ（ｔ−ｔ１）と第２発話開始時点モデルｇｖ（ｔ−ｔ２）とを含むが第３発話開始時点モデルｈ（ｔ−ｔ１）を含まず、タイミング算出部２３３が式（４）に替えて式（１２）を用いてもよいし、タイミング算出部３３３が式（５）に替えて式（１３）を用いてもよい。
【数９】
2014238525.tif 000011
【００５４】
或いは、学習モデルが第２発話開始時点モデルｇｖ（ｔ−ｔ２）を含むが第１発話開始時点モデルｋｖ（ｔ−ｔ１）と第３発話開始時点モデルｈ（ｔ−ｔ１）を含まず、タイミング算出部２３３が式（４）に替えて式（１４）を用いてもよいし、タイミング算出部３３３が式（５）に替えて式（１５）を用いてもよい。
【数１０】
2014238525.tif 000012
【００５５】
また、第３実施形態では、一例として、第１発話開始時点モデルおよび第２発話開始時点モデルの両方が詳細分類モデルである例を示した。しかし、前述のように第１発話開始時点モデルのみが詳細分類モデルであってもよいし、第２発話開始時点モデルのみが詳細分類モデルであってもよい。例えば、第１発話開始時点モデルのみが詳細分類モデルである場合、タイミング算出部３３３が式（５）に替えて式（１６）または（１７）を用いてもよい。
【数１１】
2014238525.tif 000013
【００５６】
また例えば、第２発話開始時点モデルのみが詳細分類モデルである場合、タイミング算出部３３３が式（５）に替えて式（１８）または（１９）を用いてもよい。
【数１２】
2014238525.tif 000014
【００５７】
また、タイミング算出部２３３，３３３は、Ｐｓ（ｔ）を求めてから次発話発生時点やその候補を得てもよいが、必ずしもＰｓ（ｔ）を求める必要はない。すなわち、タイミング算出部２３３，３３３は、Ｐｓ（ｔ）を得ることなく次発話発生時点やその候補を得てもよい。例えば、タイミング算出部２３３，３３３は、Ｐｓ（ｔ）を得ることなくＰｓ（ｔ）のｔについても微分結果から発話発生時点を得てもよいし、そのように得た発話発生時点を含む有限の時間区間を次発話発生時点の候補としてもよい。
【００５８】
また、各実施形態では、推定装置１３〜３３が次話者推定情報を用いた次発話者の推定や、発話開始タイミング推定情報を用いた発話開始タイミングの推定を行うこととしたが、推定装置１３〜３３がそれらを推定するための次話者推定情報（例えば、確率Ｐ（ｎｓｉ））や発話開始タイミング推定情報（混合分布を表す確率密度関数）をそのまま出力してもよい。
【００５９】
また、各実施形態では、学習モデルとして確率モデルを用いる例を示した。しかしながら、サポートベクターマシーンに代表されるような機械学習の一般的な手法を用いてもよい。その場合には、例えば、注視対象の遷移を表すパターンを特徴量とし、事前に会話データを用いた学習によって、注視対象の遷移を表すパターンと次発話（発話区間の次の発話区間の話者）や次発話開始のタイミング（発話区間の次の発話開始タイミング）との関係をモデル化しておくことで実現できる。
【００６０】
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００６１】
上述した各装置は、例えば、ＣＰＵ（central processing unit）、ＲＡＭ（random-access memory）等を有する汎用または専用のコンピュータに所定のプログラムが読み込まれることによって構成される。このプログラムには各装置が有すべき機能の処理内容が記述され、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
【００６２】
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００６３】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
【００６４】
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
【産業上の利用可能性】
【００６５】
以上により、高精度に次話者および次発話開始のタイミングをリアルタイムで予測推定可能となる。この次発話と次発話開始のタイミング推定はさまざまなシーンで利用可能であり、例えば、遅延のある遠隔コミュニケーションシステムにおいて、予測結果を基にユーザに次発話者を提示することで発話回避をさせることや、コミュニケーションロボットがユーザの発話開始を予測しながらタイミングよく発話をするための基盤的な技術となる。
【符号の説明】
【００６６】
１〜３推定装置
１２，２２  注視対象遷移パターン生成部
１３，２３，３３  推定部
【図１】
2014238525.tif 000015
【図２】
2014238525.tif 000016
【図３】
2014238525.tif 000017