(57)【要約】【課題】次発話に関する情報の推定を安定的に高精度に行う。【解決手段】発話区間を表す発話区間情報、参加者のうち何れが当該発話区間での発話者であるかを表す発話者情報、および当該参加者の呼吸情報を入力とし、当該参加者の吸い込み区間での息の吸い込み量、吸い込み区間の長さ、当該吸い込み区間での息の吸い込み量の時間変化、および当該発話区間と当該吸い込み区間との時間関係の少なくとも一部に基づき、当該参加者のうち何れが次発話者であるか、および当該次発話者の発話タイミングの少なくとも一方を表す推定情報を得て出力する。【選択図】図１
2016042345.tif 000002
【特許請求の範囲】
【請求項１】
発話区間を表す発話区間情報、参加者のうち何れが前記発話区間での発話者であるかを表す発話者情報、および前記参加者の呼吸情報を入力とし、
前記参加者の吸い込み区間での息の吸い込み量、前記吸い込み区間の長さ、前記吸い込み区間での息の吸い込み量の時間変化、および前記発話区間と前記吸い込み区間との時間関係の少なくとも一部に基づき、前記参加者のうち何れが次発話者であるか、および前記次発話者の発話タイミングの少なくとも一方を表す推定情報を得て出力する、推定装置。
【請求項２】
請求項１の推定装置であって、
前記吸い込み区間での息の吸い込み量、前記吸い込み区間の長さ、前記吸い込み区間での息の吸い込み量の時間変化、および前記発話区間と前記吸い込み区間との時間関係の少なくとも一部に対応する特徴量に対する前記推定情報を得るためのモデルを機械学習し、前記モデルを用いて前記特徴量に対する前記推定情報を得て出力する、推定装置。
【請求項３】
請求項１の推定装置であって、
前記吸い込み区間での息の吸い込み量、前記吸い込み区間の長さ、前記吸い込み区間での息の吸い込み量の時間変化、および前記発話区間と前記吸い込み区間との時間関係の少なくとも一部に対応する情報の閾値判定によって前記推定情報を得て出力する、推定装置。
【請求項４】
請求項１の推定装置であって、
前記発話区間情報、前記発話者情報、前記参加者の呼吸情報、および前記参加者の視線行動を入力とし、
前記参加者の吸い込み区間での息の吸い込み量、前記吸い込み区間の長さ、前記吸い込み区間での息の吸い込み量の時間変化、および前記発話区間と前記吸い込み区間との時間関係の少なくとも一部に加え、前記発話区間の終了時点に対応する時間区間における前記参加者の注視対象の遷移パターン、および前記参加者の視線行動の時間的な関係の少なくとも一部に基づき、前記推定情報を得て出力する、推定装置。
【請求項５】
請求項４の推定装置であって、
前記吸い込み区間での息の吸い込み量、前記吸い込み区間の長さ、前記吸い込み区間での息の吸い込み量の時間変化、前記発話区間と前記吸い込み区間との時間関係の少なくとも一部に加え、前記発話区間の終了時点に対応する時間区間における前記参加者の注視対象の遷移パターン、および前記参加者の視線行動の時間的な関係の少なくとも一部に対応する特徴量に対する前記推定情報を得るためのモデルを機械学習し、前記モデルを用いて前記特徴量に対する前記推定情報を得て出力する、推定装置。
【請求項６】
請求項４の推定装置であって、
前記吸い込み区間での息の吸い込み量、前記吸い込み区間の長さ、前記吸い込み区間での息の吸い込み量の時間変化、前記発話区間と前記吸い込み区間との時間関係の少なくとも一部に加え、前記発話区間の終了時点に対応する時間区間における前記参加者の注視対象の遷移パターン、および前記参加者の視線行動の時間的な関係の少なくとも一部に対応する情報の閾値判定によって前記推定情報を得て出力する、推定装置。
【請求項７】
発話区間を表す発話区間情報、参加者のうち何れが前記発話区間での発話者であるかを表す発話者情報、および前記参加者の呼吸情報を入力とし、
前記参加者の吸い込み区間での息の吸い込み量、前記吸い込み区間の長さ、前記吸い込み区間での息の吸い込み量の時間変化、および前記発話区間と前記吸い込み区間との時間関係の少なくとも一部に基づき、前記参加者のうち何れが次発話者であるか、および前記次発話者の発話タイミングの少なくとも一方を表す推定情報を得て出力する、推定方法。
【請求項８】
請求項１から６の何れかの推定装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、次発話に関する情報を推定する技術に関する。
【背景技術】
【０００２】
多人数の遠隔コミュニケーションにおいて、顔や人物の様子が見えない、映像があっても意図が読めない、遅延によって発話のタイミングがずれるといった諸問題から、発話の衝突が頻繁に起こるという問題がある。そのため、音声や映像の情報を解析し次に話し始める人物（次発話者）を推定する技術や、推定結果からユーザに次発話者を通知することで発話衝突を軽減する手法が提案されている。例えば、特許文献１では、ユーザの動作や同調リズムから次発話者が推定可能であるとしているが、具体的な計算方法は明記されていない。また、特許文献２では、人間の注視行動に着目し、発話者以外のユーザが見ていた被注視対象者を次発話者と決定している。非特許文献１では、発話者と非発話者の注視行動の遷移パターンを用いて、次発話者および発話のタイミングを予測している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１４６０７２号公報
【特許文献２】特開２００６−３３８４９３号公報
【非特許文献】
【０００４】
【非特許文献１】石井亮, 大塚和弘, 熊野史朗, 松田昌史, 大和淳司，“複数人対話における注視遷移パターンに基づく次話者と発話タイミングの予測”，人工知能学会研究会資料，SIG-SLUD-B301-06, pp.27-34, 2013．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の手法は推定精度が十分ではない。また、必ずしも視線計測を安定的に行えるわけではない。
【０００６】
本発明の課題は次発話に関する情報の推定を安定的に高精度に行うことである。
【課題を解決するための手段】
【０００７】
発話区間を表す発話区間情報、参加者のうち何れが当該発話区間での発話者であるかを表す発話者情報、および当該参加者の呼吸情報を入力とし、当該参加者の吸い込み区間での息の吸い込み量、吸い込み区間の長さ、息の吸い込み量の時間変化、および当該発話区間と当該吸い込み区間との時間関係の少なくとも一部に基づき、当該参加者のうち何れが次発話者であるか、および当該次発話者の発話タイミングの少なくとも一方を表す推定情報を得て出力する。
【発明の効果】
【０００８】
本発明では、次発話に関する情報の推定を安定的に高精度に行うことができる。
【図面の簡単な説明】
【０００９】
【図１】図１は第１実施形態および第２実施形態の推定装置を例示したブロック図である。
【図２】図２は次発話者／発話タイミング推定部を例示したブロック図である。
【図３】図３Ａは息の吸い込み区間を例示するための図であり、図３Ｂは息の吸い込みパラメータを例示するための図である。
【図４】図４は第３実施形態の推定装置を例示したブロック図である。
【図５】図５は注視対象遷移パターンを例示するためのブロック図である。
【図６】図６は時間構造情報を例示するためのブロック図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態を説明する。
【００１１】
［第１実施形態］
会話の参加者の呼吸動作は次発話者と発話のタイミングに深い関連性がある。このことを利用して、会話の参加者の呼吸動作をリアルタイムに計測し、計測された呼吸動作から発話の開始直前に行われる特徴的な呼吸動作を検出し、この呼吸動作を基に次発話者とその発話タイミングを高精度に算出する。具体的には、発話開始直前におこなわれる呼吸動作の特徴として、発話を行っている発話者は、継続して発話する際（発話者継続時）には、発話終了直後にすぐに急激に息を吸い込む。逆に発話者が次に発話を行わない際（発話者交替時）には、発話者継続時に比べて、発話終了時から間を空けて、ゆっくりと息を吸い込む。また、発話者交替時に、次に発話をおこなう次発話者は、発話を行わない非発話者に比べて大きく息を吸い込む。このような発話の前におこなわれる呼吸は、発話開始に対しておおよそ決められたタイミングで行われる。このように、発話の直前に次発話者は特徴的な息の吸い込みを行うため、このような息の吸い込みの情報は、次発話者とその発話タイミングを予測するのに有用である。本形態では、人物の息の吸い込みに着目し、息の吸い込み量や吸い込み区間の長さ、タイミングなどの情報を用いて、次発話者と発話タイミングを予測する。すなわち、発話区間を表す発話区間情報、参加者のうち何れが当該発話区間での発話者であるかを表す発話者情報、および当該参加者の呼吸情報を入力とし、当該参加者の吸い込み区間での息の吸い込み量、吸い込み区間の長さ、息の吸い込み量の時間変化、および当該発話区間と当該吸い込み区間との時間関係の少なくとも一部に基づき、当該参加者のうち何れが次発話者であるか、および当該次発話者の発話タイミングの少なくとも一方を表す推定情報を得て出力する。この推定情報は、当該吸い込み区間での息の吸い込み量、吸い込み区間の長さ、当該吸い込み区間での息の吸い込み量の時間変化、および当該発話区間と当該吸い込み区間との時間関係の何れか１つのみから得られてもよいし、これらの複数から得られてもよいし、これらのすべてから得られてもよい。
【００１２】
＜構成＞
図１に例示するように、本形態の推定装置１は、吸い込み区間抽出部１３、発話単位抽出部１４、次発話者／発話タイミング推定部１５、およびデータベース記憶部１６を有する。吸い込み区間抽出部１３はＡ個（Ａは１以上の整数、例えばＡ≧２）の呼吸動作計測装置１１−１〜１１−Ａからの情報の取得が可能なように構成されており、発話単位抽出部１４はＡ個の音声情報取得装置１２−１〜１２−Ａからの情報の取得が可能なように構成されている。図２に例示するように、本形態の次発話者／発話タイミング推定部１５は、モデル生成部１５１，１５３、およびモデル適用部１５２，１５４を有する。
【００１３】
推定装置１は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）やＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。呼吸動作計測装置１１−ａ（ただし、ａ＝１，…，Ａ）は、人物の呼吸動作を計測し、その計測結果を呼吸情報として出力する装置である。呼吸動作計測装置１１−ａの例は、胸部や腹部にバンドを巻き、その伸縮度合を呼吸の深さとして取得するバンド式の呼吸計測装置、気流の通路に気流速計や気流量計を配置して呼吸情報を取得する装置、呼気あるいは呼気容量を計測する装置、胸郭運動を機械的あるいは電気的に検出して、排気量変化を求める装置などである（例えば、参考文献１：山越憲一、戸川達男、「生体用センサと計測装置」、コロナ社、2000年）。音声情報取得装置１２−ａ（ただし、ａ＝１，…，Ａ）は、受音した音声を表す音声情報を出力する装置であり、例えば、マイクロホンである。例えば、遠隔コミュニケーション環境下で本システムを利用する場合、各拠点に最低でも、呼吸動作計測装置１１−ａおよび音声情報取得装置１２−ａが配置される。吸い込み区間抽出部１３および発話単位抽出部１４は、例えば、ネットワーク経由で呼吸動作計測装置１１−ａおよび音声情報取得装置１２−ａとデータを送受信する。対面コミュニケーション環境下で本システムを利用する場合、呼吸動作計測装置１１−ａおよび音声情報取得装置１２−ａが推定装置１の近傍に配置され、これらが有線または無線を通じてデータを送受信する。あるいは、呼吸動作計測装置１１−１〜１１−Ａおよび音声情報取得装置１２−１〜１２−Ａの一部がネットワーク経由で呼吸動作計測装置１１−ａおよび音声情報取得装置１２−ａとデータを送受信し、他が有線または無線を通じて呼吸動作計測装置１１−ａおよび音声情報取得装置１２−ａとデータを送受信してもよい。
【００１４】
＜動作＞
本形態の推定装置１の動作を説明する。
【００１５】
以下では、Ａ人の参加者Ｐ１，…，ＰＡが対面コミュニケーションを行う状況を想定する。参加者Ｐａ（ただし、ａ＝１，…，Ａ）には呼吸動作計測装置１１−ａおよび音声情報取得装置１２−ａが装着される。参加者の人数Ａには制約はない。通常、会話は２人以上の参加者によってなされるためＡ≧２であるが（例えばＡ＝４）、対話システム（会話ロボットなどコミュニケーション機能を有する一般的なシステム）がコミュニケーションに加わる場合にはＡ＝１であってもよいし、Ａ≧２であってもよい。また、同一人物に複数の呼吸動作計測装置を利用しても良い。このような場合、参加者Ｐａに利用される複数の呼吸動作計測装置を総称して呼吸動作計測装置１１−ａと表現することにする。
【００１６】
呼吸動作計測装置１１−ａ（ただし、ａ＝１，…，Ａ）は、参加者Ｐａの呼吸動作をリアルタイムで計測し、各離散時刻ｔでの計測結果を表す呼吸情報Ｂａ，ｔを得て出力する。前述のように呼吸動作計測装置１１−ａの呼吸計測方式に限定はないが、以下ではバンド式の呼吸計測装置を呼吸動作計測装置１１−ａとして用いる。バンド式の呼吸装置では、バンドの伸縮の強さによって呼吸の深さの度合いを示す値を出力する。息の吸い込みが大きいほどバンドの伸びが大きくなり、逆に息の吐き出しが大きいほどバンドの縮みが大きくなる（バンドの伸びが小さくなる）。以降、この値をＲＳＰ値と呼ぶ。なお、ＲＳＰ値は、バンドの伸縮の強さに応じて参加者Ｐａごとに異なる大きさを取る。そこで、これに起因するＰａごとのＲＳＰ値の相違を排除するために、各参加者ＰａのＲＳＰ値の平均値μａと標準偏差値δａを用いて、μａ+δａが１、μａ−δａが−１になるように参加者ＰａごとにＲＳＰ値を正規化した。これによって、すべての参加者Ｐａの呼吸動作データを同一に分析することが可能となる。なお正規化の方法は本説明の方法に限らない。このような正規化は吸い込み区間抽出部１３で行われてもよいが、以下ではこのような正規化が各呼吸動作計測装置１１−ａで行われ、各呼吸動作計測装置１１−ａが正規化されたＲＳＰ値を呼吸情報Ｂａ，ｔとして出力することにする。また、同一人物に複数の呼吸動作計測装置が装着される場合、参加者Ｐａに装着された呼吸動作計測装置１１−ａで得られた呼吸情報（またはそれらの正規化値）の平均値その他の関数値を呼吸情報Ｂａ，ｔとする。呼吸情報Ｂａ，ｔは、逐次、吸い込み区間抽出部１３に送られる。
【００１７】
音声情報取得装置１２−ａ（ただし、ａ＝１，…，Ａ）は、参加者Ｐａの音声をリアルタイムで取得し、各離散時刻ｔでの参加者Ｐａの音声を表す音声情報Ｖａ，ｔを得て出力する。音声情報Ｖａ，ｔは、逐次、発話単位抽出部１４に送られる。
【００１８】
発話単位抽出部１４は、入力された音声情報Ｖａ，ｔ（ただし、ａ＝１，…，Ａ）から雑音を除去し、さらに発話区間Ｕｋ（ただし、ｋは発話区間Ｕｋの識別子）とその発話者Ｐｕｋとを抽出して出力する。ただし、「Ｐｕｋ」の下付き添え字はｕｋ＝１，…，Ａを表す。本形態では、１つの発話区間ＵｋをＴｄ［ｍｓ］連続した無音区間で囲まれた区間と定義し、この発話区間Ｕｋを発話の一つの単位と規定する。Ｔｄは状況に応じて自由に決定できる。ただし、Ｔｄを長くすると、実際の発話終了から発話区間終了を判定するまでの時間が長くなるため、一般的な日常会話であれば２００〜５００ｍｓ程度とするのが適当である。発話単位抽出部１４は、各発話区間Ｕｋを表す発話区間情報、およびその発話者Ｐｕｋを表す発話者情報（参加者Ｐ１，…，ＰＡのうち何れが発話区間Ｕｋでの発話者Ｐｕｋであるかを表す発話者情報）を得るたびに、それらを逐次、吸い込み区間抽出部１３に送る。
【００１９】
吸い込み区間抽出部１３は、各呼吸動作計測装置１１−ａ（ただし、ａ＝１，…，Ａ）から呼吸情報Ｂａ，ｔが送られるたびに、各参加者Ｐａの息の吸い込み区間Ｉａ，ｋを抽出し、さらに息の吸い込みに関するパラメータλａ，ｋを取得して出力する。
【００２０】
息の吸い込み区間とは、息を吐いている状態から、息を吸い込みだす開始位置と、息を吸い込み終わる終了位置との間の区間を示す（図３Ａ参照）。息の吸い込みの区間を抽出する方法の一例をあげる。ある時点の前の数フレームでＲＳＰ値が連続して減少し、その時点の後の数フレームでＲＳＰ値が連続して上昇したとき、その時点を息の吸い込みの開始位置とする。また、息の吸い込みの開始位置より後のある時点の後の数フレームで連続してＲＳＰ値が連続して減少したとき、その時点を息の吸い込みの終了位置とする。これにより抽出された開始時刻と終了時刻の間の区間を息の吸い込みの区間と定義する。なお、フレームとは離散時間によって規定される時間区間を意味する。また、息の吸い込み区間を抽出する際に、波形の微小なノイズによって、正確に開始位置と終了位置が抽出できない可能性があるため、その前処理として数フレームのウィンドウ幅を設定してＲＳＰ値に移動平均処理を行い、移動平均処理後のＲＳＰ値から開始位置と終了位置とを抽出してもよい。
【００２１】
図３Ａを用いて息の吸い込み区間Ｉａ，ｋの算出方法を例示する。ここで参加者Ｐａの離散時刻ｔでのＲＳＰ値をＲａ，ｔと表記する。ＲＳＰ値Ｒａ，ｔは呼吸情報Ｂａ，ｔに相当する。図３Ａに例示するように、例えば、
【００２２】
【数１】
2016042345.tif 000003
【００２３】
が成り立つとき、離散時刻ｔ＝ｔｓ（ｋ）の前２フレームでＲＳＰ値Ｒａ，ｔが連続して減少し、その後２フレームでＲＳＰ値Ｒａ，ｔが連続して上昇しているから、離散時刻ｔｓ（ｋ）を息の吸い込みの開始位置とする。さらに
【００２４】
【数２】
2016042345.tif 000004
【００２５】
が成り立つとき、離散時刻ｔ＝ｔｅ（ｋ）の前２フレームのＲＳＰ値Ｒａ，ｔが連続して上昇し、その後２フレームのＲＳＰ値Ｒａ，ｔが連続して減少しているから、離散時刻ｔｅ（ｋ）を息の吸い込みの終了位置とする。このとき、参加者Ｐａの息の吸い込み区間Ｉａ，ｋはｔｓ（ｋ）からｔｅ（ｋ）までの区間となり、息の吸い込み区間の長さはｔｅ（ｋ）−ｔｓ（ｋ）となる。なお、息の吸い込み区間の抽出には他の手段を用いても良い。
【００２６】
吸い込み区間抽出部１３は、息の吸い込み区間Ｉａ，ｋが抽出されると、息の吸い込み区間Ｉａ，ｋ、呼吸情報Ｂａ，ｔ、および発話区間Ｕｋの少なくとも一部を用い、息の吸い込みに関するパラメータλ’ａ，ｋを抽出する。パラメータλ’ａ，ｋは、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込みの量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部を表す。パラメータλ’ａ，ｋは、これらの一つのみを表してもよいし、これらのうち複数を表してもよいし、これらすべてを表してもよい。パラメータλ’ａ，ｋは、例えば以下のパラメータＭＩＮａ，ｋ，ＭＡＸａ，ｋ，ＡＭＰａ，ｋ，ＤＵＲａ，ｋ，ＳＬＯａ，ｋ，ＩＮＴ１ａ，ｋの少なくとも一部を含む。パラメータλ’ａ，ｋは、これらの１つのみを含んでいてもよいし、これらのうち複数を含んでいてもよいし、これらのすべてを含んでいてもよい。
・ＭＩＮａ，ｋ：参加者Ｐａの息の吸い込み開始時のＲＳＰ値Ｒａ，ｔ、すなわち、息の吸い込み区間Ｉａ，ｋのＲＳＰ値Ｒａ，ｔの最小値。
・ＭＡＸａ，ｋ：参加者Ｐａの息の吸い込み終了時のＲＳＰ値Ｒａ，ｔ、すなわち、息の吸い込み区間Ｉａ，ｋのＲＳＰ値Ｒａ，ｔの最大値。
・ＡＭＰａ，ｋ：参加者Ｐａの息の吸い込み区間Ｉａ，ｋのＲＳＰ値Ｒａ，ｔの振幅、すなわち、ＭＡＸａ，ｋ−ＭＩＮａ，ｋで算出される値。吸い込み区間Ｉａ，ｋでの息の吸い込み量を表す。
・ＤＵＲａ，ｋ：参加者Ｐａの息の吸い込み区間Ｉａ，ｋの長さ、すなわち、息の吸い込み区間Ｉａ，ｋの終了位置の離散時刻ｔｅ（ｋ）から開始位置の離散時刻ｔｓ（ｋ）を減じて得られる値ｔｅ（ｋ）−ｔｓ（ｋ）。
・ＳＬＯａ，ｋ：参加者Ｐａの息の吸い込み区間Ｉａ，ｋにおけるＲＳＰ値Ｒａ，ｔの単位時間当たりの傾きの平均値、すなわち、ＡＭＰａ，ｋ／ＤＵＲａ，ｋで算出される値。吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化を表す。
・ＩＮＴ１ａ，ｋ：手前の発話区間Ｕｋの終了時刻ｔｕｅ（ｋ）（発話区間末）から参加者Ｐａの息の吸い込みが開始されるまでの間隔、すなわち、息の吸い込み区間Ｉａ，ｋの開始位置の離散時刻ｔｓ（ｋ）から発話区間Ｕｋの終了時刻ｔｕｅ（ｋ）を減じて得られる値ｔｓ（ｋ）−ｔｕe（ｋ）。発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係を表す。
【００２７】
次発話者の発話区間Ｕｋ＋１を表す情報が吸い込み区間抽出部１３に入力されると、吸い込み区間抽出部１３は、さらに以下のパラメータＩＮＴ２ａ，ｋを生成してもよい。
・ＩＮＴ２ａ，ｋ：参加者Ｐａの息の吸い込み終了時から次発話者の発話区間Ｕｋ＋１が開始されるまでの間隔、すなわち、次発話者の発話区間Ｕｋ＋１の開始時刻ｔｕｓ（ｋ＋１）から息の吸い込み区間Ｉａ，ｋの終了位置の離散時刻ｔｅ（ｋ）を減じて得られる値ｔｕｓ（ｋ＋１）−ｔｅ（ｋ）。発話区間Ｕｋ＋１と吸い込み区間Ｉａ，ｋとの時間関係を表す。パラメータλ’ａ，ｋにＩＮＴ２ａ，ｋを加えたものをパラメータλａ，ｋと表記する。
【００２８】
パラメータλ’ａ，ｋは、例えば息の吸い込み区間Ｉａ，ｋが抽出され、息の吸い込み区間Ｉａ，ｋが得られた時点で（発話区間Ｕｋ＋１が開始される前に）、次発話者／発話タイミング推定部１５に、Ｐｕｋ、Ｕkと共に送られ、次発話者（発話区間Ｕｋ＋１の発話者）およびその発話タイミングを予測するために使用される。
【００２９】
パラメータλａ，ｋは、例えば発話区間Ｕｋ＋１を表す情報が吸い込み区間抽出部１３に入力され、パラメータλａ，ｋが得られた以降（発話区間Ｕｋ＋１が開始された後）に、発話区間Ｕｋおよびその発話者Ｐｕｋ、発話区間Ｕｋ＋１およびその発話者Ｐｕｋ＋１とその発話開始タイミングＴｕｋ＋１を表す情報とともにデータベース記憶部１６に送られる。次発話者Ｐｕｋ＋１の発話タイミングとは、発話区間Ｕｋ＋１の何れかの時点またはそれに対応する時点であればよい。発話タイミングＴｕｋ＋１は、発話区間Ｕｋ＋１の開始時刻ｔｕｓ（ｋ＋１）であってもよいし、時刻ｔｕｓ（ｋ＋１）＋γ（ただし、γは正または負の定数）であってもよいし、発話区間Ｕｋ＋１の終了時刻ｔｕｅ（ｋ＋１）であってもよいし、時刻ｔｕｅ（ｋ＋１）＋γであってもよいし、発話区間Ｕｋ＋１の中心時刻ｔｕｓ（ｋ＋１）＋（ｔｕｅ（ｋ＋１）−ｔｕｓ（ｋ＋１））／２であってもよい。λａ，ｋ，Ｕｋ，Ｐｕｋ，Ｐｕｋ＋１，Ｔｕｋ＋１を表す情報の一部またはすべてがデータベース記憶部１６に保持され、次発話者／発話タイミング推定部１５で発話区間Ｕｋ＋１よりも後の次発話者とその発話タイミングを予測するために使用される。なお事前に、過去の会話データから同様の情報をデータベース記憶部１６に保持しておいてもよい。これにより、より多くのデータを次発話者／発話タイミング推定部１５での処理に利用することができる。
【００３０】
次発話者／発話タイミング推定部１５は、発話者情報Ｐｕｋ、発話区間Ｕk、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に基づき、参加者Ｐ１，…，ＰＡのうち何れが次発話者Ｐｕｋ＋１であるか、および次発話者Ｐｕｋ＋１の発話タイミングの少なくとも一方を表す推定情報を得て出力する。ただし、「Ｐｕｋ＋１」の下付き添え字「ｕｋ＋１」はｕｋ＋１を表す。発話区間Ｕｋの発話者Ｐｕｋが発話区間Ｕｋ＋１でも発話を行う場合（発話継続する場合）、次発話者は発話区間Ｕｋの発話者Ｐｕｋと同一である。一方、発話区間Ｕｋの発話者Ｐｕｋ以外の参加者が発話区間Ｕｋ＋１でも発話を行う場合（すなわち発話交替する場合）、次発話者は発話区間Ｕｋの発話者Ｐｕｋ以外の参加者である。なお、推定情報は次発話者Ｐｕｋ＋１またはその発話タイミングの一方のみを表してもよいが、以下では推定情報がこれら両方を表す場合を説明する。
【００３１】
本形態の場合、次発話者／発話タイミング推定部１５は、発話者情報Ｐｕｋ、発話区間Ｕk、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に対応する特徴量ｆａ，ｋに対する推定情報を得るためのモデルを機械学習し、モデルを用いて特徴量に対する推定情報を得て出力する。特徴量ｆａ，ｋは、発話者情報Ｐｕｋ、発話区間Ｕk、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の１つのみに対応してもよいし、これらのうち複数に対応してもよいし、すべてに対応してもよい。モデルの機械学習には、例えば、過去の吸い込み区間Ｉａ，ｉ（ただし、ｉ＜ｋ）での息の吸い込み量、吸い込み区間Ｉａ，ｉの長さ、吸い込み区間Ｉａ，ｉでの息の吸い込み量の時間変化、および発話区間Ｕｉと吸い込み区間Ｉａ，ｉとの時間関係の少なくとも一部に対応する特徴量ｆａ，ｋ、ならびに発話区間Ｕｉ，Ｕｉ＋１およびそれらの発話者Ｐｕｋ，Ｐｕｋ＋１の情報が学習データとして用いられる。
【００３２】
次発話者／発話タイミング推定部１５の処理を例示する。この例では、次発話者Ｐｕｋ＋１を推定するモデルである次発話者推定モデルと、次発話者Ｐｕｋ＋１の発話タイミングを推定するモデルである発話タイミング推定モデルとが生成され、それぞれのモデルを用いて次発話者Ｐｕｋ＋１とその発話タイミングが推定される。
【００３３】
≪次発話者推定モデル≫
次発話者推定モデルの学習データとして、データベース記憶部１６から読み出した過去のパラメータλａ，ｉ（ただし、ａ＝１，…，Ａであり、ｉ＜ｋである）の少なくとも一部、および発話区間Ｕｉ，Ｕｉ＋１およびそれらの発話者Ｐｕｉ，Ｐｕｉ＋１を表す情報がモデル生成部１５１（図２）に入力される。モデル生成部１５１は、パラメータλａ，ｉの少なくとも一部に対応する特徴量Ｆ１ａ，ｉおよびＵｉ，Ｕｉ＋１，Ｐｕｉ，Ｐｕｉ＋１を学習データとして、次発話者推定モデルを機械学習する。機械学習は一度だけ行われてもよいし、データベース記憶部１６に新たなデータが追加されるたび、または所定の契機ごとに行われてもよい。また、次発話者推定モデルには、例えば、ＳＶＭ（Support Vector Machine）、ＧＭＭ（Gaussian Mixture Model）、ＨＭＭ（Hidden Markov Model）等を用いることができる。生成された次発話者推定モデルを表す情報（モデルパラメータ等）は、モデル適用部１５２に送られる。
【００３４】
モデル適用部１５２には、さらに吸い込み区間抽出部１３から出力されたパラメータλ’ａ，ｋの少なくとも一部が入力される。モデル適用部１５２は、入力されたパラメータλ’ａ，ｋの少なくとも一部に対応する特徴量Ｆ１ａ，ｋを次発話者推定モデルに適用し、それによって推定された次発話Ｐｕｋ＋１を表す情報を「推定情報」の一部として出力する。なお、次発話Ｐｕｋ＋１を表す情報は、何れかの参加者Ｐａを確定的に表すものであってもよいし、確率的に表すものであってもよい。
【００３５】
≪発話タイミング推定モデル≫
発話タイミング推定モデルの学習データとして、データベース記憶部１６から読み出した過去のパラメータλａ，ｉ（ただし、ａ＝１，…，Ａであり、ｉ＜ｋである）の少なくとも一部、発話区間Ｕｉ，Ｕｉ＋１およびそれらの発話者Ｐｕｉ，Ｐｕｉ＋１、および発話区間Ｕｉ＋１の発話開始タイミングＴｕｉ＋１を表す情報がモデル生成部１５３（図２）に入力される。モデル生成部１５３は、パラメータλａ，ｉの少なくとも一部に対応する特徴量Ｆ２ａ，ｉおよびＵｉ，Ｕｉ＋１，Ｐｕｉ，Ｐｕｉ＋１，Ｔｕｉ＋１を学習データとして、発話タイミング推定モデルを機械学習する。機械学習は一度だけ行われてもよいし、データベース記憶部１６に新たなデータが追加されるたび、または所定の契機ごとに行われてもよい。また、次発話者推定モデルには、例えば、ＳＶＭ、ＧＭＭ、ＨＭＭ等を用いることができる。生成された発話タイミング推定モデルを表す情報は、モデル適用部１５４に送られる。
【００３６】
モデル適用部１５４には、注視対象遷移パターン生成部１９または時間構造情報生成部２０から得られる発話者Ｐｕｋ、吸い込み区間抽出部１３から出力されたパラメータλ’ａ，ｋの少なくとも一部、およびモデル適用部１５２の出力結果である次発話者Ｐｕｋ＋１が入力される。モデル適用部１５４は、入力されたパラメータλ’ａ，ｋの少なくとも一部に対応する特徴量Ｆ２ａ，ｋを発話タイミング推定モデルに適用し、それによって推定された次の発話区間Ｕｋ＋１の発話タイミングＴｕｋ＋１（例えば、発話区間Ｕｋ＋１の開始時刻）を表す情報を「推定情報」の一部として出力する。なお、発話タイミングを表す情報は、何れかの発話タイミングを確定的に表すものであってもよいし、確率的に表すものであってもよい。
【００３７】
以上によって推定情報が逐次的に得られて出力される。なお、上述の例では、互いに独立した次発話者推定モデルと発話タイミング推定モデルを用いて次発話およびその発話タイミングを推定したが、１つのモデルを用いて次発話およびその発話タイミングを推定してもよい。
【００３８】
［第２実施形態］
本形態は第１実施形態の変形例であり、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に対応する情報の閾値判定によって推定情報を得る形態である。以下では第１実施形態との相違点を中心に説明し、共通する部分については同じ参照番号を用いて説明を簡略化する。
【００３９】
＜構成＞
図１に例示するように、本形態の推定装置２は、吸い込み区間抽出部１３、発話単位抽出部１４、次発話者／発話タイミング推定部２５、およびデータベース記憶部１６を有する。推定装置２は、例えば、前述のようなコンピュータが所定のプログラムを実行することで構成される装置である。
【００４０】
＜動作＞
本形態の推定装置２の動作を説明する。第１実施形態との相違点は、次発話者／発話タイミング推定部１５の処理に代えて、次発話者／発話タイミング推定部２５の処理が実行される点である。以下では次発話者／発話タイミング推定部２５の処理のみを説明する。
【００４１】
次発話者／発話タイミング推定部２５は、発話者情報Ｐｕｋ、発話区間Ｕk、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に対応する情報（処理情報）の閾値判定によって推定情報を得て出力する。閾値判定とは、処理情報と閾値との比較を含む処理である。閾値は定数であってもよいし、処理情報の何れかであってもよい。すなわち、閾値判定は処理情報間での比較であってもよい。また、処理情報の例は、パラメータλ’ａ，ｋの一部またはすべて、もしくはパラメータλ’ａ，ｋの一部またはすべての関数値である。例えば、パラメータＩＮＴ１ｕｋ，ｋは発話区間Ｕｋの発話者Ｐｕｋが発話者継続する場合に短くなる傾向がある。ただし、「ＩＮＴ１ｕｋ，ｋ」の下付き添え字は「ｕｋ，ｋ」を表す。そのため、次発話者／発話タイミング推定部２５は、ＩＮＴ１ｕｋ，ｋを入力とし、任意の正の閾値αを用いてＩＮＴ１ｕｋ，ｋ＜αが成り立つときに、発話者継続が生じるとし、発話区間Ｕｋ＋１の次発話者Ｐｕｋ＋１が発話区間Ｕｋの発話者Ｐｕｋと同一であると判定し、次発話者Ｐｕｋ＋１が発話者Ｐｕｋである旨を推定情報の少なくとも一部として出力してもよい。一方、次発話者／発話タイミング推定部２５は、ＩＮＴ１ｕｋ，ｋ＜αが成り立たない場合には発話者継続が生じない（発話者交替）とし、発話区間Ｕｋの発話者Ｐｕｋ以外の参加者Ｐａを次発話者Ｐｕｋ＋１と推定してもよい。発話者交替時には、次に発話をおこなう次発話者は、発話を行わない非発話者に比べて大きく息を吸い込む。そのため、次発話者／発話タイミング推定部２５は、発話者交替と推定した場合には、さらにＰ１，…，ＰＡのうち、ＡＭＰａ，ｋを最大化するＰａを次発話者Ｐｕｋ＋１と推定し、その旨を推定情報の少なくとも一部として出力してもよい。あるいはＡＭＰａ，ｋに代えてＳＬＯａ，ｋを最大化するＰａを次発話者Ｐｕｋ＋１と推定してもよい。あるいは、ＡＭＰａ，ｋおよびＳＬＯａ，ｋの少なくとも一方に対応する広義単調増加関数値を最大化するＰａを次発話者Ｐｕｋ＋１と推定してもよい。また、次発話者／発話タイミング推定部２５は、推定した次発話者Ｐｕｋ＋１の過去のパラメータＩＮＴ２ｕｋ＋１，ｉの平均値やその関数値等を次発話者Ｐｕｋ＋１の発話タイミングとし、それを推定情報の少なくとも一部として出力してもよい。なお、過去のパラメータＩＮＴ２ｕｋ＋１，ｉは、データベース記憶部１６に格納されたものである。その他、次発話者／発話タイミング推定部２５は、ＩＮＴ１ｕｋ，ｋ＜αの判定を行うことなく、Ｐ１，…，ＰＡのうち、ＡＭＰａ，ｋもしくはＳＬＯａ，ｋ、またはＡＭＰａ，ｋおよびＳＬＯａ，ｋの少なくとも一方に対応する広義単調増加関数値を最大化するＰａを次発話者Ｐｕｋ＋１と推定してもよい。
【００４２】
［第３実施形態］
第３実施形態では、複数の参加者間で行われる会話を含むコミュニケーションにおいて、発話終了前後の参加者の視線行動と次に話し始める参加者や話し始めるタイミングに強い関連性があることを利用する。参加者の音声情報から発話単位を自動的に生成し、参加者全員ないしは複数の参加者の発話単位付きの視線行動を入力とし、発話区間の終了時点に対応する時間区間におけるコミュニケーション参加者の注視対象を表す注視対象ラベルから、注視対象の移り変わり（遷移）を表す注視対象遷移パターンと、視線行動の時間的な関係を表す時間構造情報とを生成する。会話の参加者の呼吸動作に加えて注視対象遷移パターンと時間構造情報の少なくとも一方を用いることで、次に発話を開始する参加者およびタイミングの少なくとも一方をより高精度で推定する。
【００４３】
例えば、話者交替時には、発話末付近で現在の話者と視線交差を行った人物が次発話者になる傾向があることが知られている。現在の話者が発話末に視線を向けることは次の発話を促していると解釈される。しかしながら、必ずしも視線を向けられた参加者が次の発話を行うとは限らない。その参加者が必ずしも次に発話をしたいと考えているとは限らないからである。一方、呼吸動作については、話者交替時には、次発話者が発話に先立って大きく息を吸い込むといった特徴的な吸気を行うことが知られている。しかしながら、本人が息を吸い込んで発話をしようとしても、現在の話者が視線を他の参加者に向けてしまった場合は発話が行えないこともある。例えば、複数の参加者が発話をしようとして同時に息を吸い込んだ際には、現在の話者が視線を向けた方の参加者が次の発話を開始する傾向がある。このように、視線は他者からの発話の期待や促進といった発話行動に対する外的な要因となり、一方で、呼吸は本人が発話を開始する前に起こす内発的な動作である。このような、異なる性質を持つ視線と呼吸の２つの情報を同時に利用することで、高精度に次発話者や次発話開始タイミングを予測することができる。
【００４４】
以下では上記の実施形態との相違点を中心に説明し、共通する部分については同じ参照番号を用いて説明を簡略化する。
【００４５】
＜構成＞
図４に例示するように、本形態の推定装置３は、吸い込み区間抽出部１３、発話単位抽出部１４、注視対象ラベル生成部１８、注視対象遷移パターン生成部１９、時間構造情報生成部２０、次発話者／発話タイミング推定部３５、およびデータベース記憶部３６を有する。注視対象ラベル生成部１８はＡ個（Ａは１以上の整数、例えばＡ≧２）の注視対象検出装置１７−１〜１７−Ａからの情報の取得が可能なように構成されている。推定装置３は、例えば、前述のようなコンピュータが所定のプログラムを実行することで構成される装置である。
【００４６】
＜動作＞
本形態の推定装置３の動作を説明する。
【００４７】
参加者Ｐａ（ただし、ａ＝１，…，Ａ）には、呼吸動作計測装置１１−ａおよび音声情報取得装置１２−ａに加えて、注視対象検出装置１７−ａが装着される。同一人物に複数の注視対象検出装置を利用しても良い。このような場合、参加者Ｐａに利用される複数の注視対象検出装置を総称して注視対象検出装置１７−ａと表現することにする。
【００４８】
注視対象検出装置１７−ａ（ただし、ａ＝１，…，Ａ）は、参加者Ｐａが誰を注視しているか（注視対象）を検出し、参加者Ｐａおよび各離散時刻ｔでの注視対象Ｇａ，ｔを表す情報を推定装置３に送る装置である。例えば、注視対象検出装置１７−ａは、公知の視線計測装置などを用い、参加者Ｐａが誰を注視しているかを検出する。一般的に市販されている視線計測装置では、参加者Ｐａの眼球に赤外光を当てその反射から眼球の向きを測定する。さらに、そのような装置は参加者Ｐａの視野に類似したシーンをカメラで撮影し、参加者Ｐａの眼球の向きとカメラ画像を用いて、カメラ画像中の注視位置を座標値として出力する。そのような装置を利用した場合、カメラ画像中から他の参加者Ｐｗ（ただし、ｗ＝１，…，Ｎ、ｗ≠ａ）の領域を抽出し、視線計測装置で測定された注視位置がその領域に含まれるかを判定することで、参加者Ｐａがどの参加者を注視しているかを検出する。なお、他の参加者Ｐｗが参加者Ｐａの遠隔に存在する遠隔コミュニケーション環境下では、参加者Ｐｗが映し出されるモニター内の位置が参加者Ｐｗの領域とされる。参加者Ｐｗの領域検出は、画像処理による顔検出やオプティカルフローを利用するなど、どのような手法をとっても構わない。またその他、参加者Ｐａの注視対象を推定する手法として、画像処理やモーションキャプチャなどを用いて取得される参加者Ｐａの頭部情報と、マイクロホンで取得される参加者の音声情報を用いて、参加者Ｐａの注視対象を判定する技術を利用するなど（例えば、特開２００６−３３８５２９号公報参照）、一般的に考えられるどのような手法をとっても構わない。
【００４９】
発話単位抽出部１４は、入力された音声情報Ｖａ，ｔから抽出した発話区間Ｕｋとその発話者Ｐｕｋとを吸い込み区間抽出部１３に加えて注視対象ラベル生成部１８へ出力する。
【００５０】
注視対象ラベル生成部１８は、注視対象情報Ｇ１，ｔ，…，ＧＡ，ｔ、発話区間Ｕｋ、および話者情報Ｐｕｋを入力とし、発話区間終了前後における注視対象ラベル情報θｖ，ｋ（ただし、ｖ＝１，…，Ｖ、Ｖは注視対象ラベルの総数）を生成して出力する。注視対象ラベル情報は、発話区間Ｕｋの終了時点Ｔｓｅに対応する時間区間における参加者の注視対象を表す情報である。本形態では、終了時点Ｔｓｅを含む有限の時間区間における参加者Ｐａの注視対象をラベル付けした注視対象ラベル情報θｖ，ｋを例示する。この場合、例えば、発話区間Ｕｋの終了時点Ｔｓｅよりも前の時点Ｔｓｅ−Ｔｂから終了時点Ｔｓｅよりも後の時点Ｔｓｅ＋Ｔａまでの区間に出現した注視行動を扱う。Ｔｂ，Ｔａは０以上の任意の値でよいが、目安として、Ｔｂは０秒〜２．０秒、Ｔａは０秒〜３．０秒程度にするのが適当である。
【００５１】
注視対象ラベル生成部１８は、注視対象の参加者を以下のような種別に分類し、注視対象のラベリングを行う。なお、ラベルの記号に意味はなく、判別できればどのような表記でも構わない。
・ラベルＳ：話者（すなわち、話者である参加者Ｐｕｋを表す）
・ラベルＬξ：非話者（ただし、ξは互いに異なる非話者である参加者を識別し、ξ＝１，…，Ａ−１である。例えば、ある参加者が、非話者Ｐ２、非話者Ｐ３、の順に注視をしていたとき、非話者Ｐ２にＬ１というラベル、非話者Ｐ３にＬ２というラベルが割り当てられる。）
・ラベルＸ：誰も見ていない
【００５２】
ラベルがＳまたはＬξのときには、相互注視（視線交差）が起きたか否かという情報を付与する。本形態では、相互注視が起きた際には、ＳＭ，ＬξＭ（下付き添え字の「ξＭ」はξＭを表す）のように、ラベルＳ，Ｌξの末尾にＭラベルを付与する。
【００５３】
図５に注視対象ラベルの具体例を示す。図５はＡ＝４の例であり、発話区間Ｕｋ，Ｕｋ＋１と各参加者の注視対象が時系列に示されている。図５の例では、参加者Ｐ１が発話した後、発話交替が起き、新たに参加者Ｐ２が発話をした際の様子を示している。ここでは、話者である参加者Ｐ１が参加者Ｐ４を注視した後、参加者Ｐ２を注視している。Ｔｓｅ−Ｔｂの時点からＴｓｅ＋Ｔａの時点までの区間では、参加者Ｐ１が参加者Ｐ２を見ていたとき、参加者Ｐ２は参加者Ｐ１を見ている。これは、参加者Ｐ１と参加者Ｐ２とで相互注視が起きていることを表す。この場合、参加者Ｐ１の注視対象情報Ｇ１，ｔから生成される注視対象ラベルはＬ１とＬ２Ｍの２つとなる。上述の区間では、参加者Ｐ２は参加者Ｐ４を注視した後、話者である参加者Ｐ１を注視している。この場合、参加者Ｐ２の注視対象ラベルはＬ１とＳＭの２つとなる。また、上述の区間では、参加者Ｐ３は話者である参加者Ｐ１を注視している。この場合、参加者Ｐ３の注視対象ラベルはＳとなる。また、上述の区間では、参加者Ｐ４は誰も見ていない。この場合、参加者Ｐ４の注視対象ラベルはＸとなる。したがって、図５の例では、Ｖ＝６である。
【００５４】
注視対象ラベル生成部１８は、注視対象ラベルごとの開始時刻、終了時刻も取得する。ここで、誰（Ｒ∈｛Ｓ，Ｌ｝）のどの注視対象ラベル（ＧＬ∈｛Ｓ，ＳＭ，Ｌ１，Ｌ１Ｍ，Ｌ２，Ｌ２Ｍ，…｝）であるかを示す記号としてＲＧＬ、その開始時刻をＳＴ＿ＲＧＬ、終了時刻をＥＴ＿ＲＧＬと定義する。ただし、Ｒは参加者の発話状態（話者か非話者か）を表し、Ｓは話者、Ｌは非話者である。例えば、図５の例において、参加者Ｐ１の最初の注視対象ラベルはＳＬ１であり、その開始時刻はＳＴ＿ＳＬ１、終了時刻はＥＴ＿ＳＬ１である。注視対象ラベル情報θｖ，ｋは注視対象ラベルＲＧＬ、開始時刻ＳＴ＿ＲＧＬ、および終了時刻ＥＴ＿ＲＧＬを含む情報である。
【００５５】
注視対象ラベル生成部１８は、以上のように得た注視対象ラベル情報θｖ，ｋを注視対象遷移パターン生成部１９および時間構造情報生成部２０へ出力する。
【００５６】
注視対象遷移パターン生成部１９は、注視対象ラベル情報θｖ，ｋを用いて、各参加者Ｐａの注視対象遷移パターンＥａ，ｋを生成する。注視対象遷移パターンの生成は、注視対象ラベルＲＧＬを構成要素として、時間的な順序を考慮した遷移ｎ−ｇｒａｍを生成して行う。ここで、ｎは正の整数である。例えば、図５の例を考えると、参加者Ｐ１の注視対象ラベルから生成される注視対象遷移パターンＥ１，ｋはＬ１−Ｌ２Ｍである。同様にして、参加者Ｐ２の注視対象遷移パターンＥ２，ｋはＬ１−ＳＭ、参加者Ｐ３の注視対象遷移パターンＥ３，ｋはＳ、参加者Ｐ４の注視対象遷移パターンＥ４，ｋはＸとなる。
【００５７】
注視対象遷移パターン生成部１９は、以上のように得た注視対象遷移パターンＥａ，ｋを次発話者／発話タイミング推定部３５へ出力する。注視対象遷移パターンＥａ，ｋは、例えば発話区間Ｕｋ＋１が開始された後に、発話区間Ｕｋおよびその発話者Ｐｕｋ、発話区間Ｕｋ＋１に該当する発話を行う次発話者Ｐｕｋ＋１および次発話開始タイミングＴｕｋ＋１を表す情報とともにデータベース記憶部３６に送られる。データベース記憶部３６では、吸い込み区間抽出部１３から送られたパラメータλａ，ｋと併合され、Ｅａ，ｋ，λａ，ｋ，Ｕｋ，Ｐｕｋ，Ｐｕｋ＋１，Ｔｕｋ＋１を表す情報の一部またはすべてがデータベース記憶部３６に保持される。
【００５８】
時間構造情報生成部２０は、注視対象ラベル情報θｖ，ｋを入力とし、注視対象ラベルごとの時間構造情報Θｖ，ｋを生成する。時間構造情報は参加者の視線行動の時間的な関係を表す情報であり、（１）注視対象ラベルの時間長、（２）注視対象ラベルと発話区間の開始時刻または終了時刻との間隔、（３）注視対象ラベルの開始時刻または終了時刻と他の注視対象ラベルの開始時刻または終了時刻との間隔、をパラメータとして持つ。
【００５９】
具体的な時間構造情報のパラメータを以下に示す。以下では、発話区間の開始時刻をＳＴ＿Ｕ、発話区間の終了時刻をＥＴ＿Ｕと定義する。
・ＩＮＴ１（＝ＥＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬと終了時刻ＥＴ＿ＲＧＬの間隔
・ＩＮＴ２（＝ＳＴ＿Ｕ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが発話区間の開始時刻ＳＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ３（＝ＥＴ＿Ｕ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが発話区間の終了時刻ＥＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ４（＝ＥＴ＿ＲＧＬ−ＳＴ＿Ｕ）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが発話区間の開始時刻ＳＴ＿Ｕよりもどれくらい後であったか
・ＩＮＴ５（＝ＥＴ＿Ｕ−ＥＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが発話区間の終了時刻ＥＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ６（＝ＳＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが他の注視対象ラベルＲＧＬ’の開始時刻ＳＴ＿ＲＧＬ’よりもどれくらい後であったか
・ＩＮＴ７（＝ＥＴ＿ＲＧＬ’−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが他の注視対象ラベルＲＧＬ’の終了時刻ＥＴ＿ＲＧＬ’よりもどれくらい前であったか
・ＩＮＴ８（＝ＥＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが注視対象ラベルＲＧＬ’の開始時刻ＳＴ＿ＲＧＬ’よりもどれくらい後であったか
・ＩＮＴ９（＝ＥＴ＿ＲＧＬ−ＥＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが注視対象ラベルＲＧＬ’の終了時刻ＥＴ＿ＲＧＬ’よりもどれくらい後であったか
【００６０】
なお、ＩＮＴ６〜ＩＮＴ９については、すべての参加者の注視対象ラベルとの組み合わせに対して取得する。図５の例では、注視対象ラベル情報は全部で６つ（Ｌ１，Ｌ２Ｍ，Ｌ１，ＳＭ，Ｓ，Ｘ）あるため、ＩＮＴ６〜ＩＮＴ９は、それぞれ６×５＝３０個のデータが生成される。
【００６１】
時間構造情報Θｖ，ｋは注視対象ラベル情報θｖ，ｋについてのパラメータＩＮＴ１〜ＩＮＴ９からなる情報である。時間構造情報Θｖ，ｋを構成する上記の各パラメータについて、図６を用いて具体的に示す。図６は、話者である参加者Ｐ１（Ｒ＝Ｓ）の注視対象ラベルＬ１についての時間構造情報を示したものである。すなわち、ＲＧＬ＝ＳＬ１における時間構造情報である。なお、ＩＮＴ６〜ＩＮＴ９については、図示を簡略化するために、参加者Ｐ２の注視対象ラベルＬ１、すなわちＲＧＬ＝ＬＬ１との関係のみを示す。図６の例では、ＩＮＴ１〜ＩＮＴ９は以下のように求められることがわかる。
・ＩＮＴ１＝ＥＴ＿ＳＬ１−ＳＴ＿ＳＬ１
・ＩＮＴ２＝ＳＴ＿Ｕ−ＳＴ＿ＳＬ１
・ＩＮＴ３＝ＥＴ＿Ｕ−ＳＴ＿ＳＬ１
・ＩＮＴ４＝ＥＴ＿ＳＬ１−ＳＴ＿Ｕ
・ＩＮＴ５＝ＥＴ＿Ｕ−ＥＴ＿ＳＬ１
・ＩＮＴ６＝ＳＴ＿ＳＬ１−ＳＴ＿ＬＬ１
・ＩＮＴ７＝ＥＴ＿ＬＬ１−ＳＴ＿ＳＬ１
・ＩＮＴ８＝ＥＴ＿ＳＬ１−ＳＴ＿ＬＬ１
・ＩＮＴ９＝ＥＴ＿ＳＬ１−ＥＴ＿ＬＬ１
【００６２】
時間構造情報生成部２０は、以上のように得た時間構造情報Θｖ，ｋを次発話者／発話タイミング推定部３５へ出力する。時間構造情報Θｖ，ｋは、例えば発話区間Ｕｋ＋１が開始された後に、発話区間Ｕｋおよびその発話者Ｐｕｋ、発話区間Ｕｋ＋１に該当する発話を行う次発話者Ｐｕｋ＋１および次発話開始タイミングＴｕｋ＋１を表す情報とともにデータベース記憶部３６に送られる。データベース記憶部３６では、吸い込み区間抽出部１３から送られたパラメータλａ，ｋと併合され、Θｖ，ｋ，λａ，ｋ，Ｕｋ，Ｐｕｋ，Ｕｋ＋１，Ｐｕｋ＋１，Ｔｕｋ＋１を表す情報の一部またはすべてがデータベース記憶部３６に保持される。
【００６３】
次発話者／発話タイミング推定部３５は、注視対象遷移パターンＥａ，ｋ、時間構造情報Θｖ，ｋ、発話者情報Ｐｕｋ、発話区間Ｕk、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に基づき、参加者Ｐ１，…，ＰＡのうち何れが次発話者Ｐｕｋ＋１であるか、および次発話者Ｐｕｋ＋１の発話タイミングの少なくとも一方を表す推定情報を得て出力する。
【００６４】
本形態の場合、次発話者／発話タイミング推定部３５は、注視対象遷移パターンＥａ，ｋ、時間構造情報Θｖ，ｋ、発話者情報Ｐｕｋ、発話区間Ｕk、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に対応する特徴量ｆａ，ｋに対する推定情報を得るためのモデルを機械学習し、モデルを用いて特徴量に対する推定情報を得て出力する。特徴量ｆａ，ｋは、注視対象遷移パターンＥａ，ｋ、時間構造情報Θｖ，ｋ、発話者情報Ｐｕｋ、発話区間Ｕk、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の１つのみに対応してもよいし、これらのうち複数に対応してもよいし、すべてに対応してもよい。
【００６５】
本形態では、次発話者／発話タイミング推定部３５が、発話者情報Ｐｕｋ、発話区間Ｕｋ、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係に加えて、注視対象遷移パターンＥａ，ｋおよび時間構造情報Θｖ，ｋの両方を用いて次発話者Ｐｕｋ＋１とその発話タイミングを推定する構成を説明した。しかし、注視対象遷移パターンＥａ，ｋおよび時間構造情報Θｖ，ｋは少なくとも一方を利用して次発話者Ｐｕｋ＋１とその発話タイミングを推定することも可能である。
【００６６】
例えば、次発話者／発話タイミング推定部３５は、発話者情報Ｐｕｋ、発話区間Ｕｋ、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係、および注視対象遷移パターンＥａ，ｋの少なくとも一部に対応する特徴量ｆａ，ｋに対する推定情報を得るためのモデルを機械学習し、そのモデルを用いて特徴量に対する推定情報を得て出力してもよい。
【００６７】
また、例えば、次発話者／発話タイミング推定部３５は、発話者情報Ｐｕｋ、発話区間Ｕｋ、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係、および時間構造情報Θｖ，ｋの少なくとも一部に対応する特徴量ｆａ，ｋに対する推定情報を得るためのモデルを機械学習し、そのモデルを用いて特徴量に対する推定情報を得て出力してもよい。
【００６８】
本形態では、機械学習の手法により次発話者および次発話開始タイミングの少なくとも一方を推定する構成を説明したが、第２実施形態に示したように、閾値判定によって推定情報を得る形態とすることができる。すなわち、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋ、注視対象遷移パターンＥａ，ｋ、および時間構造情報Θｖ，ｋの少なくとも一部に対応する情報の閾値判定によってあらかじめ定めた次発話者および次発話開始タイミングの少なくとも一方を表す推定情報を得る。このとき、注視対象遷移パターンＥａ，ｋおよび時間構造情報Θｖ，ｋの少なくとも一方を利用して次発話者とその発話タイミングを推定することも可能である。
【００６９】
第１実施形態および第２実施形態では呼吸情報を単独で利用して次発話者とその発話タイミングを予測していたが、第３実施形態では視線行動と呼吸動作を両方用いたマルチモーダル情報処理を行うことで、より高精度に次発話者とその発話タイミングを予測する。また、それに加えて、次発話者が他の参加者から望まれて発話を行ったのか、自主的に発話を開始したのかといった発話要因を予測することができる。
【００７０】
［その他の変形例等］
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００７１】
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
【００７２】
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００７３】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
【００７４】
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
【産業上の利用可能性】
【００７５】
本発明は、例えば、人間同士の対面コミュニケーション、テレビ電話やビデオチャットなど映像を用いた遠隔地間のコミュニケーション、およびロボットとのコミュニケーションでの次発話者の推定やその発話タイミングの推定に用いることができる。本発明を適用することにより、高精度に次発話者およびその発話開始タイミングをリアルタイムで予測推定可能となる。この次発話者およびその発話開始タイミングの推定は様々なシーンで利用可能である。例えば、遅延のある遠隔コミュニケーションシステムにおいて、予測結果を基に参加者に次発話者を提示することで発話回避をさせることや、コミュニケーションロボットが参加者の発話開始を予測しながらタイミングよく発話をするための基盤的な技術となる。
【符号の説明】
【００７６】
１，２，３  推定装置
１１  呼吸動作計測装置
１２  音声情報取得装置
１３  吸い込み区間抽出部
１４  発話単位抽出部
１５，２５，３５  次発話者／発話タイミング推定部
１６，３６  データベース記憶部
１７  注視対象検出装置
１８  注視対象ラベル生成部
１９  時間構造情報生成部
２０  注視対象遷移パターン生成部
【図１】
2016042345.tif 000005
【図２】
2016042345.tif 000006
【図３】
2016042345.tif 000007
【図４】
2016042345.tif 000008
【図５】
2016042345.tif 000009
【図６】
2016042345.tif 000010