(57)【特許請求の範囲】
【請求項１】
発話区間の終了時点に対応する時間区間における複数のコミュニケーション参加者の視線行動それぞれの時間的な関係を表す時間構造情報を得る時間構造情報生成部と、
上記発話区間の話者を表す話者情報および上記時間構造情報の少なくとも一部に基づいて、上記発話区間の次の発話区間の話者を示す次発話者情報および上記発話区間の次の発話区間の開始タイミングを示す次発話開始タイミング情報の少なくとも一方を得る推定部と、
を含み、
上記時間的な関係は、当該視線行動の上記発話区間に対する時間的な前後関係または同時関係、もしくは、当該視線行動の他の視線行動に対する時間的な前後関係または同時関係である、
推定装置。
【請求項２】
請求項１に記載の推定装置であって、
上記視線行動は、二名の上記コミュニケーション参加者が互いを注視対象とする相互注視が起きたことを表す情報を含む、
推定装置。
【請求項３】
請求項１または２に記載の推定装置であって、
上記発話区間の終了時点に対応する時間区間における複数の上記コミュニケーション参加者それぞれの注視対象の遷移を表す注視対象遷移パターンを得る注視対象遷移パターン生成部をさらに含み、
上記推定部は、上記話者情報、上記時間構造情報の少なくとも一部、および上記注視対象遷移パターンに基づいて、上記次発話者情報および上記次発話開始タイミング情報の少なくとも一方を得るものである
推定装置。
【請求項４】
時間構造情報生成部が、発話区間の終了時点に対応する時間区間における複数のコミュニケーション参加者の視線行動それぞれの時間的な関係を表す時間構造情報を得る時間構造情報生成ステップと、
推定部が、上記発話区間の話者を表す話者情報および上記時間構造情報の少なくとも一部に基づいて、上記発話区間の次の発話区間の話者を示す次発話者情報および上記発話区間の次の発話区間の開始タイミングを示す次発話開始タイミング情報の少なくとも一方を得る推定ステップと、
を含み、
上記時間的な関係は、当該視線行動の上記発話区間に対する時間的な前後関係または同時関係、もしくは、当該視線行動の他の視線行動に対する時間的な前後関係または同時関係である、
推定方法。
【請求項５】
請求項１から３のいずれかに記載の推定装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の参加者間で行われるコミュニケーションにおいて、次に話し始める参加者およびタイミングの少なくとも一方を推定するための技術に関する。
【背景技術】
【０００２】
多人数の遠隔コミュニケーションにおいて、顔や人物の様子が見えない、映像があっても意図が読めない、遅延によって発話のタイミングがずれるといった諸問題から、発話の衝突が頻繁に起こるという問題がある。そのため、音声や映像の情報を解析し次に話し始める人物（次発話者）を推定する技術や、推定結果から参加者に次発話者を通知することで発話衝突を軽減する手法が提案されている。例えば、特許文献１では、参加者の動作や同調リズムから次発話者を推定している。また、特許文献２では、人間の注視行動に着目し、発話者以外の参加者が見ていた被注視対象者を次発話者と決定している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１４６０７２号公報
【特許文献２】特開２００６−３３８４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、これらの次発話者推定手法は、推定精度が低く不十分なものである。特許文献１の手法では、参加者の動作や同調リズムから次発話者が推定可能であるとしているが、具体的な計算方法は明記されていない。また、特許文献２の手法では、話者以外の参加者が見ていた被注視対象者を次発話者と決定している。しかしながら、必ず次発話者を他の参加者が注視するとは限らないため、精度に課題がある。また、いつ次発話者が話し始めるかといった厳密なタイミングを推定する試みは行われていなかった。
【０００５】
本発明はこのような点に鑑みてなされたものであり、複数の参加者間で行われるコミュニケーションにおいて、次に話し始める参加者およびタイミングの少なくとも一方を推定することを課題とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の推定装置は、発話区間の終了時点に対応する時間区間におけるコミュニケーション参加者の視線行動の時間的な関係を表す時間構造情報を得る時間構造情報生成部と、発話区間の話者を表す話者情報および時間構造情報の少なくとも一部に基づいて、発話区間の次の発話区間の話者を示す次発話者情報および発話区間の次の発話区間の開始タイミングを示す次発話開始タイミング情報の少なくとも一方を得る推定部と、を含む。
【発明の効果】
【０００７】
本発明では、複数の参加者間で行われるコミュニケーションにおいて、次に話し始める参加者およびタイミングの少なくとも一方を推定することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、推定装置の機能構成を例示したブロック図である。
【図２】図２は、注視対象遷移パターンを例示したブロック図である。
【図３】図３は、時間構造情報を例示したブロック図である。
【発明を実施するための形態】
【０００９】
図面を参照して本発明の実施形態を説明する。
【００１０】
実施形態の推定装置および方法では、複数の参加者間で行われる会話を含むコミュニケーションにおいて、発話終了前後の参加者の視線行動と次に話し始める参加者や話し始めるタイミングに強い関連性があることを利用する。参加者の音声情報から発話単位を自動的に生成し、参加者全員ないしは複数の参加者の発話単位付きの視線行動を入力とし、発話区間の終了時点に対応する時間区間におけるコミュニケーション参加者の注視対象を表す注視対象ラベルから、注視対象の移り変わり（遷移）を表す注視対象遷移パターンと、視線行動の時間的な関係を表す時間構造情報とを生成する。その注視対象遷移パターンと時間構造情報とを用いて次に発話を開始する参加者およびタイミングの少なくとも一方を高精度で推定する。
【００１１】
本形態で取り扱うコミュニケーションは、参加者間での対面コミュニケーションであってもよいし、テレビ電話やビデオチャットなど映像を用いた遠隔コミュニケーションであってもよい。また、対面コミュニケーションを行う複数の参加者の遠隔地に遠隔コミュニケーションを行う他の参加者が存在し、対面コミュニケーションおよび遠隔コミュニケーションの両方が行われるものであってもよい。また、参加者は人間と同等なコミュニケーション能力を保有した会話ヒューマノイドなどの対話システムでもよい。コミュニケーションの参加人数は２人以上であれば、特に制約はない。
【００１２】
本形態では、参加者の視線行動の情報として、（１）参加者の注視対象の移り変わりを表す遷移パターン、（２）視線行動と前の発話者との時間的な関係や、視線行動の持続時間、複数人の視線行動の時間的な関係、などに着目する。以下では、上記（２）の情報を視線行動のタイミング構造情報もしくは時間構造情報と呼ぶ。例えば、タイミング構造情報のうち、ある視線行動の組でどちらが先に行動を開始もしくは終了したかという情報は、次発話者を決めるうえで非常に有用な情報となる。具体的には、ある参加者が話者と視線交差をしたときに、その参加者が先に話者から視線を外した場合、その参加者が次発話者となる確率が非常に高くなる。逆に、その参加者よりも先に話者が視線を外した場合は、その参加者が次発話者となる確率は低くなる。このように、視線行動および視線行動の移り変わり（遷移）だけでなく、視線行動の時間的な関係は次発話者や次発話開始のタイミングを予測する上で有用な情報である。
【００１３】
図１に例示するように、本形態のシステムは、推定装置１、Ｎ個の注視対象検出装置１１１−１〜Ｎ、および音声情報取得装置１１２−１〜Ｎを有する。推定装置１は、発話単位抽出部１１、注視対象ラベル生成部１２、注視対象遷移パターン生成部１３、時間構造情報生成部１４、および推定部１５を有する。推定部１５は、学習データ記憶部１５１、次発話者算出部１５２、および次発話開始タイミング算出部１５３を有する。Ｎは２以上の整数であり、コミュニケーションの参加者Ｕ１〜ＵＮの人数を表す。
【００１４】
注視対象検出装置１１１−ｊおよび音声情報取得装置１１２−ｊは、各参加者Ｕｊ（ただし、ｊ＝１，…，Ｎ）の注視対象の検出および音声情報の取得を行う。対面コミュニケーション環境下で本システムを利用する場合、すべての注視対象検出装置１１１−１〜Ｎおよび音声情報取得装置１１２−１〜Ｎは、参加者Ｕ１〜ＵＮが対面コミュニケーションを行う場所に配置され、それらで得られた情報が推定装置１に直接送られる。遠隔コミュニケーション環境下で本システムを利用する場合、各注視対象検出装置１１１−ｊおよび各音声情報取得装置１１２−ｊは、各参加者Ｕｊが存在する各拠点に配置され、それらで得られた情報がネットワーク経由で推定装置１に送信される。対面コミュニケーションおよび遠隔コミュニケーションの両方が行われる環境下で本システムを利用する場合、各参加者Ｕｊが存在する場所に注視対象検出装置１１１−ｊおよび音声情報取得装置１１２−ｊが配置され、それらで得られた情報がネットワーク経由または直接に推定装置１に送られる。
【００１５】
本システムは、注視対象検出装置１１１−１〜Ｎ、音声情報取得装置１１２−１〜Ｎ、発話単位抽出部１１、注視対象ラベル生成部１２、注視対象遷移パターン生成部１３、時間構造情報生成部１４、および推定部１５が実行する一連の処理を繰り返し行うことで、常時、次発話者もしくは次発話開始タイミングの推定を行う。
【００１６】
［注視対象検出装置１１１−ｊ］
注視対象検出装置１１１−ｊは、参加者Ｕｊが誰を注視しているか（注視対象）を検出し、参加者Ｕｊおよび注視対象Ｇｊ（ｔ）を表す情報を推定装置１に送る装置である。ただし、ｔは離散時間を表す。例えば、注視対象検出装置１１１−ｊは、公知の視線計測装置などを用い、参加者Ｕｊが誰を注視しているかを検出する。一般的に市販されている視線計測装置では、参加者Ｕｊの眼球に赤外光を当てその反射から眼球の向きを測定する。さらに、そのような装置は参加者Ｕｊの視野に類似したシーンをカメラで撮影し、参加者Ｕｊの眼球の向きとカメラ画像を用いて、カメラ画像中の注視位置を座標値として出力する。そのような装置を利用した場合、カメラ画像中から他の参加者Ｕｗ（ただし、ｗ＝１，…，Ｎ、ｗ≠ｊ）の領域を抽出し、視線計測装置で測定された注視位置がその領域に含まれるかを判定することで、参加者Ｕｊがどの参加者を注視しているかを検出する。なお、他の参加者Ｕｗが参加者Ｕｊの遠隔に存在する遠隔コミュニケーション環境下では、参加者Ｕｗが映し出されるモニター内の位置が参加者Ｕｗの領域とされる。参加者Ｕｗの領域検出は、画像処理による顔検出やオプティカルフローを利用するなど、どのような手法をとっても構わない。またその他、参加者Ｕｊの注視対象を推定する手法として、画像処理やモーションキャプチャなどを用いて取得される参加者Ｕｊの頭部情報と、マイクロホンで取得される参加者の音声情報を用いて、参加者Ｕｊの注視対象を判定する技術を利用するなど（例えば、特開２００６−３３８５２９号公報参照）、一般的に考えられるどのような手法をとっても構わない。
【００１７】
［音声情報取得装置１１２−ｓ］
音声情報取得装置１１２−ｓ（ただし、ｓ＝１，…，Ｎ）は、参加者Ｕｓの音声情報を取得し、取得した音声情報Ｘｓ（ｔ）を表す情報を推定装置１に送る装置である。ただし、ｔは離散時間を表す。例えば、音声情報取得装置１１２−ｓは、マイクロホンを使用して参加者Ｕｓの音声情報Ｘｓ（ｔ）を取得する。
【００１８】
［発話単位抽出部１１］
発話単位抽出部１１は、音声情報Ｘｓ（ｔ）を入力とし、音声情報Ｘｓから雑音成分を除去して発話成分のみを抽出し、それから発話区間Ｔｓを取得する。本形態では、１つの発話区間Ｔｓを、２つのＴｄミリ秒連続した無音区間で囲まれた、発話成分が存在する少なくとも１つの区間を含む時間区間と定義する。例えば、Ｔｄを２００ミリ秒としたとき、参加者Ｕｓについて、（ａ）５００ミリ秒の無音、（ｂ）２００ミリ秒の発話、（ｃ）５０ミリ秒の無音、（ｄ）１５０ミリ秒の発話、（ｅ）１５０ミリ秒の無音、（ｆ）４００ミリ秒の発話、（ｇ）２５０ミリ秒の無音、の連続した発話データがあったとき、５００ミリ秒の無音区間（ａ）と２５０ミリ秒の無音区間（ｇ）の間に挟まれた９５０ミリ秒の発話区間（ｂ）〜（ｆ）が１つ生成される。つまり、本形態の１つの発話区間Ｔｓは、Ｔｄミリ秒連続した２つの無音区間の間に、発話成分が存在する区間で囲まれた別のＴｄミリ秒連続した無音区間を含まない。本形態では、この発話区間Ｔｓを参加者Ｕｓの発話の１つの単位と規定し、ある発話区間Ｔｓの終了時に、同じ参加者Ｕｓが続けて発話をするか（すなわち継続するか）、あるいは他の参加者Ｕｗの誰が発話をするのか（すなわち発話交替するか）を判定する。なお、Ｔｄは状況に応じて自由に決定できる。ただし、Ｔｄを長くすると実際の発話終了から発話区間終了を判定するまでの時間が長くなるため、一般的な日常会話であればＴｄ＝２００〜５００ミリ秒程度とするのが適当である。
【００１９】
また、発話単位抽出部１１は、抽出した発話区間Ｔsに対して誰が発話者であるのかを示す話者情報Ｕｓを取得する。話者情報は、複数のマイクロホンを用いて、マイクロホンごとに収音される音声の時間差や、音の大きさ、音声的特徴などを使って抽出可能であり、一般的に考えられるあらゆる手段を用いてよい。
【００２０】
発話単位抽出部１１は、以上のように得た発話区間Ｔｓとそれに対応する参加者Ｕｓを表す情報（誰が発話したかを表す話者情報）を注視対象ラベル生成部１２へ出力する。
【００２１】
［注視対象ラベル生成部１２］
注視対象ラベル生成部１２は、注視対象情報Ｇ１（ｔ），…，ＧＮ（ｔ）、発話区間Ｔｓ、および話者情報Ｕｓを入力とし、発話区間終了前後における注視対象ラベル情報θｋ（ただし、ｋ＝１，…，Ｋ、Ｋは注視対象ラベルの総数）を生成して出力する。注視対象ラベル情報は、発話区間Ｔｓの終了時点Ｔｓｅに対応する時間区間における参加者の注視対象を表す情報である。本形態では、終了時点Ｔｓｅを含む有限の時間区間における参加者Ｕｊの注視対象をラベル付けした注視対象ラベル情報θｋを例示する。例えば、発話区間Ｔｓの終了時点Ｔｓｅよりも前の時点Ｔｓｅ−Ｔｂから終了時点Ｔｓｅよりも後の時点Ｔｓｅ＋Ｔａまでの区間に出現した注視行動を扱う。Ｔｂ，Ｔａは０以上の任意の値でよいが、目安として、Ｔｂは０秒〜２．０秒、Ｔａは０秒〜３．０秒程度にするのが適当である。
【００２２】
注視対象ラベル生成部１２は、注視対象の参加者を以下のような種別に分類し、注視対象のラベリングを行う。なお、ラベルの記号に意味はなく、判別できればどのような表記でも構わない。
・ラベルＳ：話者（すなわち、話者である参加者Ｕｓを表す）
・ラベルＬξ：非話者（ただし、ξは互いに異なる非話者である参加者を識別し、ξ＝１，…，Ｎ−１である。例えば、ある参加者が、非話者Ｕ２、非話者Ｕ３、の順に注視をしていたとき、非話者Ｕ２にＬ１というラベル、非話者Ｕ３にＬ２というラベルが割り当てられる。）
・ラベルＸ：誰も見ていない
【００２３】
ラベルがＳまたはＬξのときには、相互注視（視線交差）が起きたか否かという情報を付与する。本形態では、相互注視が起きた際には、ＳＭ，ＬξＭ（下付き添え字の「ξＭ」はξＭを表す）のように、ラベルＳ，Ｌξの末尾にＭラベルを付与する。
【００２４】
図２に注視対象ラベルの具体例を示す。図２はＮ＝４の例であり、発話区間Ｔｓ，Ｔｓ＋１と各参加者の注視対象が時系列に示されている。図２の例では、参加者Ｕ１が発話した後、発話交替が起き、新たに参加者Ｕ２が発話をした際の様子を示している。ここでは、話者である参加者Ｕ１が参加者Ｕ４を注視した後、参加者Ｕ２を注視している。Ｔｓｅ−Ｔｂの時点からＴｓｅ＋Ｔａの時点までの区間では、参加者Ｕ１が参加者Ｕ２を見ていたとき、参加者Ｕ２は参加者Ｕ１を見ている。これは、参加者Ｕ１と参加者Ｕ２とで相互注視が起きていることを表す。この場合、参加者Ｕ１の注視対象情報Ｇ１（ｔ）から生成される注視対象ラベルはＬ１とＬ２Ｍの２つとなる。上述の区間では、参加者Ｕ２は参加者Ｕ４を注視した後、話者である参加者Ｕ１を注視している。この場合、参加者Ｕ２の注視対象ラベルはＬ１とＳＭの２つとなる。また、上述の区間では、参加者Ｕ３は話者である参加者Ｕ１を注視している。この場合、参加者Ｕ３の注視対象ラベルはＳとなる。また、上述の区間では、参加者Ｕ４は誰も見ていない。この場合、参加者Ｕ４の注視対象ラベルはＸとなる。したがって、図２の例では、Ｋ＝６である。
【００２５】
注視対象ラベル生成部１２は、注視対象ラベルごとの開始時刻、終了時刻も取得する。ここで、誰（Ｒ∈｛Ｓ，Ｌ｝）のどの注視対象ラベル（ＧＬ∈｛Ｓ，ＳＭ，Ｌ１，Ｌ１Ｍ，Ｌ２，Ｌ２Ｍ，…｝）であるかを示す記号としてＲＧＬ、その開始時刻をＳＴ＿ＲＧＬ、終了時刻をＥＴ＿ＲＧＬと定義する。ただし、Ｒは参加者の発話状態（話者か非話者か）を表し、Ｓは話者、Ｌは非話者である。例えば、図２の例において、参加者Ｕ１の最初の注視対象ラベルはＳＬ１であり、その開始時刻はＳＴ＿ＳＬ１、終了時刻はＥＴ＿ＳＬ１である。注視対象ラベル情報θｋは注視対象ラベルＲＧＬ、開始時刻ＳＴ＿ＲＧＬ、および終了時刻ＥＴ＿ＲＧＬを含む情報である。
【００２６】
注視対象ラベル生成部１２は、以上のように得た注視対象ラベル情報θｋを注視対象遷移パターン生成部１３および時間構造情報生成部１４へ出力する。
【００２７】
［注視対象遷移パターン生成部１３］
注視対象遷移パターン生成部１３は、注視対象ラベル情報θｋを入力とし、各参加者Ｕｊの注視対象遷移パターンｆｊを生成する。注視対象遷移パターンの生成は、注視対象ラベルＲＧＬを構成要素として、時間的な順序を考慮した遷移ｎ−ｇｒａｍを生成して行う。ここで、ｎは正の整数である。例えば、図２の例を考えると、参加者Ｕ１の注視対象ラベルＬ１とＬ２Ｍとから生成される注視対象遷移パターンｆ１はＬ１−Ｌ２Ｍである。同様にして、参加者Ｕ２の注視対象遷移パターンｆ２はＬ１−ＳＭ、参加者Ｕ３の注視対象遷移パターンｆ３はＳ、参加者Ｕ４の注視対象遷移パターンｆ４はＸとなる。
【００２８】
注視対象遷移パターン生成部１３は、以上のように得た注視対象遷移パターンｆｊを推定部１５へ出力する。注視対象遷移パターンｆｊは、例えば発話区間Ｔｓ＋１が開始された後に、発話区間Ｔｓおよびその発話者Ｕｓ、発話区間Ｔｓ＋１に該当する発話を行う次発話者Ｕｓ＋１、および次発話開始タイミングＴｕｂを表す情報とともに学習データ記憶部１５１に送られる。
【００２９】
［時間構造情報生成部１４］
時間構造情報生成部１４は、注視対象ラベル情報θｋを入力とし、注視対象ラベルごとの時間構造情報Θｋを生成する。時間構造情報は参加者の視線行動の時間的な関係を表す情報であり、（１）注視対象ラベルの時間長、（２）注視対象ラベルと発話区間の開始時刻または終了時刻との間隔、（３）注視対象ラベルの開始時刻または終了時刻と他の注視対象ラベルの開始時刻または終了時刻との間隔、をパラメータとして持つ。
【００３０】
時間構造情報の具体的なパラメータを以下に示す。以下では、発話区間の開始時刻をＳＴ＿Ｕ、発話区間の終了時刻をＥＴ＿Ｕと定義する。
・ＩＮＴ１（＝ＥＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬと終了時刻ＥＴ＿ＲＧＬの間隔
・ＩＮＴ２（＝ＳＴ＿Ｕ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが発話区間の開始時刻ＳＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ３（＝ＥＴ＿Ｕ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが発話区間の終了時刻ＥＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ４（＝ＥＴ＿ＲＧＬ−ＳＴ＿Ｕ）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが発話区間の開始時刻ＳＴ＿Ｕよりもどれくらい後であったか
・ＩＮＴ５（＝ＥＴ＿Ｕ−ＥＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが発話区間の終了時刻ＥＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ６（＝ＳＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが他の注視対象ラベルＲＧＬ’の開始時刻ＳＴ＿ＲＧＬ’よりもどれくらい後であったか
・ＩＮＴ７（＝ＥＴ＿ＲＧＬ’−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが他の注視対象ラベルＲＧＬ’の終了時刻ＥＴ＿ＲＧＬ’よりもどれくらい前であったか
・ＩＮＴ８（＝ＥＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが注視対象ラベルＲＧＬ’の開始時刻ＳＴ＿ＲＧＬ’よりもどれくらい後であったか
・ＩＮＴ９（＝ＥＴ＿ＲＧＬ−ＥＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが注視対象ラベルＲＧＬ’の終了時刻ＥＴ＿ＲＧＬ’よりもどれくらい後であったか
【００３１】
なお、ＩＮＴ６〜ＩＮＴ９については、すべての参加者の注視対象ラベルとの組み合わせに対して取得する。図２の例では、注視対象ラベル情報は全部で６つ（Ｌ１，Ｌ２Ｍ，Ｌ１，ＳＭ，Ｓ，Ｘ）あるため、ＩＮＴ６〜ＩＮＴ９は、それぞれ６×５＝３０個のデータが生成される。
【００３２】
時間構造情報Θｋは注視対象ラベル情報θｋについてのパラメータＩＮＴ１〜ＩＮＴ９からなる情報である。図３を用いて時間構造情報Θｋを構成する上記の各パラメータを具体的に示す。図３は、話者である参加者Ｕ１（Ｒ＝Ｓ）の注視対象ラベルＬ１についての時間構造情報を示したものである。すなわち、ＲＧＬ＝ＳＬ１における時間構造情報である。なお、ＩＮＴ６〜ＩＮＴ９については、図示を簡略化するために、参加者Ｕ２の注視対象ラベルＬ１、すなわちＲＧＬ＝ＬＬ１との関係のみを示す。図３の例では、ＩＮＴ１〜ＩＮＴ９は以下のように求められることがわかる。
・ＩＮＴ１＝ＥＴ＿ＳＬ１−ＳＴ＿ＳＬ１
・ＩＮＴ２＝ＳＴ＿Ｕ−ＳＴ＿ＳＬ１
・ＩＮＴ３＝ＥＴ＿Ｕ−ＳＴ＿ＳＬ１
・ＩＮＴ４＝ＥＴ＿ＳＬ１−ＳＴ＿Ｕ
・ＩＮＴ５＝ＥＴ＿Ｕ−ＥＴ＿ＳＬ１
・ＩＮＴ６＝ＳＴ＿ＳＬ１−ＳＴ＿ＬＬ１
・ＩＮＴ７＝ＥＴ＿ＬＬ１−ＳＴ＿ＳＬ１
・ＩＮＴ８＝ＥＴ＿ＳＬ１−ＳＴ＿ＬＬ１
・ＩＮＴ９＝ＥＴ＿ＳＬ１−ＥＴ＿ＬＬ１
【００３３】
時間構造情報生成部１４は、以上のように得た時間構造情報Θｋを推定部１５へ出力する。時間構造情報Θｋは、例えば次の発話区間Ｔｓ＋１が開始された後に、発話区間Ｔｓおよびその発話者Ｕｓ、発話区間Ｔｓ＋１に該当する発話を行う次発話者Ｕｓ＋１、および次発話開始タイミングＴｕｂを表す情報とともに学習データ記憶部１５１に送られる。学習データ記憶部１５１では、注視対象遷移パターン生成部１３から送られた注視対象遷移パターンｆｊと併合され、Θｋ，ｆｊ，Ｔｓ，Ｕｓ，Ｕｓ＋１，Ｔｕｂを表す情報の一部またはすべてが学習データ記憶部１５１に保持される。また、次発話者算出部１５２、次発話開始タイミング算出部１５３には、発話区間Ｔｓの終了時点Ｔｓｅよりも後の時点Ｔｓｅ＋Ｔａで、Θｋ，ｆｊ，Ｔｓ，Ｕｓが送られる。
【００３４】
［学習データ記憶部１５１］
学習データ記憶部１５１には、発話者Ｕｓ、注視対象遷移パターンｆｊ、時間構造情報Θｋ、次発話者Ｕｓ＋１、および次発話開始タイミングＴｕｂがセットとなったデータセットが複数保持されている。これらの情報は、事前に複数の参加者間で行われるコミュニケーションを収録したものを収集して、上述の方法により生成したものである。あるいは、注視対象遷移パターン生成部１３から送られてきた注視対象遷移パターンｆｊ，時間構造情報生成部１４から送られてきた時間構造情報Θｋ，発話区間Ｔｓ，発話者Ｕｓ，次発話者Ｕｓ＋１，および次発話タイミングＴｕｂを表す情報の一部またはすべてが逐次記憶される。
【００３５】
［次発話者算出部１５２］
次発話者算出部１５２は、発話単位抽出部１１で得られた話者情報Ｕｓ、注視対象遷移パターン生成部１３で得られた注視対象遷移パターンｆｊ、時間構造情報生成部１４で得られた時間構造情報Θｋを入力とし、これらを用いて次発話者となる参加者ＵＳ＋１を算出する。
【００３６】
次発話者の算出方法としては、例えば、（１）注視対象遷移パターンｆｊと、時間構造情報ΘｋのパラメータＩＮＴ1〜ＩＮＴ９のうち少なくとも一つとを用いて、ある注視対象遷移パターンｆｊが出現した際にあらかじめ定められた次発話者ＵＳ＋１を決定するような条件判定、（２）時間構造情報ΘｋのパラメータＩＮＴ1〜ＩＮＴ９のいずれかがあらかじめ定めた閾値を超えた際に次発話者ＵＳ＋１を決定するなどの閾値判定、または、（３）サポートベクターマシンに代表されるような機械学習の一般的な手法により次発話者ＵＳ＋１を予測する判定手法、などを用いることができる。
【００３７】
（２）閾値判定を用いる手法の具体例としては、以下のとおりである。ここでは、話者である参加者Ｕ１の注視対象ラベルがＬ１Ｍ（非話者と相互注視）であり、非話者である参加者Ｕ２の注視対象ラベルがＳＭ（話者と相互注視）であるときを考える。このとき、話者の注視対象ラベルＳＬ１Ｍ（下付き添え字の「Ｌ１Ｍ」はＬ１Ｍを表し、下付き添え字の「１Ｍ」は１Ｍを表す）の終了時刻ＥＴ＿ＳＬ１Ｍが非話者の注視対象ラベルＬＳＭ（下付き添え字の「ＳＭ」はＳＭを表す）の終了時刻ＥＴ＿ＬＳＭよりもどれくらい後であったかを示すパラメータＩＮＴ９は、次発話者が非話者である参加者Ｕ２になるとき（すなわち発話交替が起きるとき）は正の値を取り、次発話者が話者である参加者Ｕ１であるとき（すなわち発話継続するとき）は負の値を取る傾向にある。この性質を利用して、ＩＮＴ９＜α（αは任意の閾値）が成り立つときに、次発話者は現在の話者である参加者Ｕ１と判定する。
【００３８】
（３）機械学習を用いる判定手法の具体例を図２の注視対象データを用いて以下に示す。次発話者算出部１５２は、学習データ記憶部１５１に記憶されたデータセットから以下の特徴量を読み込み、これらを学習データとして、次発話者の予測モデルを学習する。
・話者情報Ｕｓ
・各参加者Ｕ１，…，Ｕ４の注視対象遷移パターンｆ１，…，ｆ４
・各注視対象ラベル情報θ１，…，θ６の時間構造情報Θ１，…，Θ６
このとき、目的変数は、
・次発話者となる参加者ＵＳ＋１（Ｕ１，…，Ｕ４のいずれか）
である。
【００３９】
予測モデルの学習は、本形態の推定装置を利用する際に最初に一度だけ行ってもよいし、随時オンラインでデータを収集しながら学習データ記憶部１５１に新たなデータが追加されるたび、逐次行ってもよい。または、所定の契機ごとに行われてもよい。機械学習手法はどのようなものを利用してもよい。例えば、ＳＶＭ（Support Vector Machine）、ＧＭＭ（Gaussian Mixture Model）、ＨＭＭ（Hidden Markov Model）等の一般的な手法を用いればよい。
【００４０】
次発話者算出部１５２は、話者情報Ｕｓ、注視対象遷移パターンｆｊ、および時間構造情報Θｋを、上記のように学習した予測モデルに入力して次発話者ＵＳ＋１を得、その次発話者ＵＳ＋１を表す推定情報を予測結果として出力する。
【００４１】
［次発話開始タイミング算出部１５３］
次発話開始タイミング算出部１５３は、次発話者算出部１５２で得られた次発話者ＵＳ＋１、発話単位抽出部１１で得られた話者情報Ｕｓ、注視対象遷移パターン生成部１３で得られた注視対象遷移パターンｆｊ、時間構造情報生成部１４で得られた時間構造情報Θｋを入力とし、これらを用いて次発話の開始するタイミングＴｕｂを算出する。話者情報Ｕｓは注視対象遷移パターン生成部１３もしくは時間構造情報生成部１４のいずれから受け取ってもよい。次発話の開始するタイミングＴｕｂは、ある時点を起点とした次の発話の開始時刻ＳＴ＿Ｕまでの時間間隔である。例えば、ある時点の絶対時点（実時刻）をαとし、次の発話開始時点の絶対時点をβとすると、次発話開始タイミングＴｕｂはβ−αである。
【００４２】
次発話開始タイミングの算出方法としては、例えば、（１）注視対象遷移パターンｆｊと、時間構造情報ΘｋのパラメータＩＮＴ1〜ＩＮＴ９のうち少なくとも一つとを用いて、ある注視対象遷移パターンｆｊが出現した際にあらかじめ定められた発話開始タイミングＴｕｂを決定するような条件判定、（２）時間構造情報ΘｋのパラメータＩＮＴ1〜ＩＮＴ９に対応した、次発話開始タイミングの関数式（例えば、ＩＮＴ１を引数としてタイミングＴを出力するＴ＝Ｆ（ＩＮＴ１）などの関数）を、あらかじめ一般的な会話データを利用して作成しておき利用する算出手法、または、（３）サポートベクターマシンに代表されるような機械学習の一般的な手法により次発話開始タイミングＴｕｂを予測する算出手法、などを用いることができる。
【００４３】
（３）機械学習を用いる算出手法の具体例を図２の注視対象データを用いて以下に示す。次発話開始タイミング算出部１５３は、学習データ記憶部１５１に記憶されたデータセットから以下の特徴量を読み込み、これらを学習データとして、次発話開始タイミングの予測モデルを学習する。
・話者情報Ｕｓ
・次発話者情報ＵＳ＋１
・各参加者Ｕ１，…，Ｕ４の注視対象遷移パターンｆ１，…，ｆ４
・各注視対象ラベル情報θ１，…，θ６の時間構造情報Θ１，…，Θ６
このとき、目的変数は、
・次発話者情報ＵＳ＋１が発話を開始するタイミングＴｕｂ（次の発話の開始時刻ＳＴ＿Ｕを任意の時刻を基点とした時間間隔）
である。
【００４４】
予測モデルの学習は、本形態の推定装置を利用する際に最初に一度だけ行ってもよいし、随時オンラインでデータを収集しながら学習データ記憶部１５１に新たなデータが追加されるたび、逐次行ってもよい。または、所定の契機ごとに行われてもよい。機械学習手法はどのようなものを利用してもよい。例えば、ＳＶＭ（Support Vector Machine）、ＧＭＭ（Gaussian Mixture Model）、ＨＭＭ（Hidden Markov Model）等の一般的な手法を用いればよい。
【００４５】
次発話開始タイミング算出部１５３は、話者情報Ｕｓ、注視対象遷移パターンｆｊ、および時間構造情報Θｋを、上記のように学習した予測モデルに入力して次発話開始タイミングＴｕｂを得、その次発話開始タイミングＴｕｂを表す推定情報を予測結果として出力する。また、次発話開始タイミング算出部１５３は、発話者Ｕｓ、注視対象遷移パターンｆｊ、時間構造情報Θｋ、次発話者ＵＳ＋１、および次発話開始タイミングＴｕｂをセットにして学習データ記憶部１５１に記憶し、以降に行われる予測モデルの学習に利用できるようにする。
【００４６】
本形態では、推定部１５が次発話者算出部１５２および次発話開始タイミング算出部１５３をいずれも有し、次発話者ＵＳ＋１および発話開始タイミングＴｕｂを出力する構成を説明した。しかしながら、推定部１５が次発話者算出部１５２および次発話開始タイミング算出部１５３のいずれか一方のみを有するように構成することも可能である。すなわち、推定部１５は、話者情報Ｕｓ、注視対象遷移パターンｆｊ、および時間構造情報Θｋを入力とし、次発話者ＵＳ＋１もしくは次発話開始タイミングＴｕｂの少なくとも一方を表す推定情報を予測結果として出力する構成としてもよい。
【００４７】
例えば、推定部１５が次発話開始タイミングＴｕｂのみを表す推定情報を予測結果として出力する構成では、次発話開始タイミング算出部１５３は次発話者ＵＳ＋１を利用することができない。そのため、次発話開始タイミングＴｕｂは、次発話者は特定されないが参加者のうち誰かが発話を開始するタイミングとなる。このとき、図２の注視対象データを用いて次発話開始タイミングの予測モデルを具体的に例示すると、以下の特徴量を学習データとし、
・話者情報Ｕｓ
・各参加者Ｕ１，…，Ｕ４の注視対象遷移パターンｆ１，…，ｆ４
・各注視対象ラベル情報θ１，…，θ６の時間構造情報Θ１，…，Θ６
目的変数は、
・参加者Ｕ１，…，Ｕ４のうちいずれかが発話を開始するタイミングＴｕｂ
となる。すなわち、次発話者ＵＳ＋１と次発話開始タイミングＴｕｂの両方を得る場合と比較すると、次発話者情報ＵＳ＋１を入力として持たない予測モデルとなる。
【００４８】
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００４９】
［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００５０】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００５１】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００５２】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００５３】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【産業上の利用可能性】
【００５４】
以上により、高精度に次発話者および次発話開始のタイミングをリアルタイムで予測推定可能となる。この次発話開始のタイミング推定はさまざまなシーンで利用可能であり、例えば、遅延のある遠隔コミュニケーションシステムにおいて、予測結果を基にユーザに次発話者を提示することで発話回避をさせることや、コミュニケーションロボットがユーザの発話開始を予測しながらタイミングよく発話をするための基盤的な技術となる。
【符号の説明】
【００５５】
１  推定装置
１１  発話単位抽出部
１２  注視対象ラベル生成部
１３  注視対象遷移パターン生成部
１４  時間構造情報生成部
１５  推定部
１５１  学習データ記憶部
１５２  次発話者算出部
１５３  次発話開始タイミング算出部
【図１】
0006415932.tif 000002
【図２】
0006415932.tif 000003
【図３】
0006415932.tif 000004