(57)【要約】【課題】複数の参加者による多人数会話において、次話者及び次話者が発話するタイミングの少なくとも一方を推定することができる、推定方法及び推定システムを提供する。【解決手段】推定方法では、複数の参加者各々の口形状変化情報を入力とし、口形状変化情報に基づき、複数の参加者のうち次に発話を行う次話者、及び次話者の発話開始タイミングの少なくとも一方を表す推定情報を導出して出力する。【選択図】図２
2018077791.tif 000002
【特許請求の範囲】
【請求項１】
複数の参加者各々の口形状変化情報を入力とし、
前記口形状変化情報に基づき、前記複数の参加者のうち次に発話を行う次話者、及び次話者の発話開始タイミングの少なくとも一方を表す推定情報を導出して出力する、
推定方法。
【請求項２】
さらに、複数の参加者各々の音声情報を入力とし、
前記口形状変化情報及び発話者の前記音声情報に基づき、前記複数の参加者のうち次に発話を行う次話者、及び次話者の発話開始タイミングの少なくとも一方を表す推定情報を導出して出力する、
請求項１に記載の推定方法。
【請求項３】
口特徴点計測部が、複数の参加者各々の画像情報から各参加者の口の特徴点の位置を計測して、計測した位置情報を出力するステップと、
口形状情報変化抽出部が、前記口特徴点計測部から入力された前記位置情報に基づいて、前記複数の参加者各々の口の形状変化を表す口形状変化情報を抽出するステップと、
発話開始タイミング推定部が、抽出された前記口形状変化情報と、前記複数の参加者の口形状変化情報から次話者の発話開始タイミングを推定するための情報に基づいて、次話者の発話開始タイミングを推定し、推定結果を表す推定情報を出力するステップと、
を備えた推定方法。
【請求項４】
音声情報取得部が、前記複数の参加者各々の音声情報を取得して、取得した音声情報を出力するステップと、
話者検出及び発話単位生成部が、前記音声情報取得部から入力された音声情報に基づいて、現話者の話者情報を検出して出力し、かつ発話単位となる発話区間を生成して出力するステップと、
をさらに備え、
前記口形状変化情報を抽出するステップでは、前記口形状情報変化抽出部が、前記口特徴点計測部から入力された前記位置情報と、前記話者検出及び発話単位生成部から出力された前記現話者の話者情報及び前記発話区間と、に基づいて、前記複数の参加者のうち発話者の口の形状変化を表す口形状変化情報、及び非発話者の口の形状変化を表す口形状変化情報を抽出し、
前記推定情報を出力するステップでは、前記発話開始タイミング推定部が、前記複数の参加者のうちの発話者の口形状変化情報及び非発話者の口形状変化情報から次話者の発話開始タイミングを推定するための情報と、前記抽出された前記発話者の前記口形状変化情報及び前記非発話者の前記口形状変化情報とに基づいて、次話者の発話開始タイミングを推定し、推定結果を表す推定情報を出力する
請求項３に記載の推定方法。
【請求項５】
データベース記憶部は、前記複数の参加者の過去の口形状変化情報に対応付けて次発話及び前記発話開始タイミングの情報を保持する情報保存データベースを記憶し、
次話者推定部が、前記複数の参加者の口形状変化情報から次話者を推定するための情報に基づいて、次話者を推定し、推定結果を表す推定情報を出力するステップをさらに備える、
請求項３または請求項４に記載の推定方法。
【請求項６】
注視対称検出部が、前記複数の参加者各々の視線行動として注視対象を表す情報を出力するステップ、呼吸動作計測部が、前記複数の参加者各々の呼吸動作を計測して呼吸動作を表す情報を出力するステップ、及び頭部状態検出部が、前記複数の参加者各々の頭部状態を検出して、頭部状態を表す情報を出力するステップの少なくとも１つのステップをさらに備え、
前記発話開始タイミング推定部は、入力された注視対象を表す情報、呼吸動作を表す情報、及び頭部状態を表す情報の少なくとも１つにさらに基づいて推定した次話者の発話開始タイミングを前記推定情報として出力する、
請求項３または請求項５に記載の推定方法。
【請求項７】
前記口形状変化情報は、参加者の唇の人中溝、左の上唇の山、右の上唇の山、左の口角、右の口角、上唇の下側の先端、下唇の下側の山、左の下唇の山の中腹、及び右の下唇の山の中腹の少なくとも１つの変化を表す情報である、
請求項１から請求項６のいずれか１項に記載の推定方法。
【請求項８】
複数の参加者各々に対して設けられ、前記参加者の画像情報から前記各参加者の口の特徴点の位置を計測して、計測した位置情報を出力する口特徴点計測部と、
前記口特徴点計測部から出力した前記位置情報に基づいて、前記複数の参加者各々の口の形状変化を表す口形状変化情報を抽出する口形状情報変化抽出部と、
前記複数の参加者の口形状変化情報から次話者の発話開始タイミングを推定するための情報と、前記抽出された口形状変化情報とに基づいて、次話者の発話開始タイミングを推定し、推定結果を表す推定情報を出力する発話開始タイミング推定部と、
を備えた推定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、推定方法及び推定システムに関する。
【背景技術】
【０００２】
多人数の遠隔コミュニケーションにおいて、顔や人物の様子が見えない、映像があっても意図が読めない、遅延によって発話のタイミングがずれるといった諸問題から、発話の衝突が頻繁に起こるという問題がある。そのため、音声や映像の情報を解析し、次に話し始める人物（次話者）を推定する技術や、推定結果から参加者に次話者を通知することで発話衝突を軽減する手法が提案されている。例えば、特許文献１には、参加者の動作や同調リズムから次話者を推定する手法が記載されている。
【０００３】
また、同様の次話者の推定技術を用いることで、コミュニケーションロボットが他の参加者と発話衝突を起こすことなく、適切なタイミングで発話するための基盤技術として利用されることが期待されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１４６０７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら特許文献１に記載の次話者の推定手法は、推定精度が低く不十分なものである。例えば、特許文献１に記載の次話者の推定手法では、参加者の動作や同調リズムから次話者を推定可能であるとしているが、具体的な計算方法は明記されていない。また、特許文献１に記載の次話者の推定手法では、いつ次話者が話し始めるかといった厳密なタイミングを推定する試みは行われていなかった。
【０００６】
本発明は上記問題点を考慮してなされたものであり、複数の参加者による多人数会話において、次話者及び次話者が発話するタイミングの少なくとも一方を推定することができる、推定方法及び推定システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の第１の態様は、推定方法であって、複数の参加者各々の口形状変化情報を入力とし、前記口形状変化情報に基づき、前記複数の参加者のうち次に発話を行う次話者、及び次話者の発話開始タイミングの少なくとも一方を表す推定情報を導出して出力する。
【０００８】
本発明の第２の態様は、第１の態様の推定方法において、さらに、複数の参加者各々の音声情報を入力とし、前記口形状変化情報及び発話者の前記音声情報に基づき、前記複数の参加者のうち次に発話を行う次話者、及び次話者の発話開始タイミングの少なくとも一方を表す推定情報を導出して出力する。
【０００９】
また、上記目的を達成するために、本発明の第３の態様方法は推定方法であって、口特徴点計測部が、複数の参加者各々の画像情報から各参加者の口の特徴点の位置を計測して、計測した位置情報を出力するステップと、口形状情報変化抽出部が、前記口特徴点計測部から入力された前記位置情報に基づいて、前記複数の参加者各々の口の形状変化を表す口形状変化情報を抽出するステップと、発話開始タイミング推定部が、抽出された前記口形状変化情報と、前記複数の参加者の口形状変化情報から次話者の発話開始タイミングを推定するための情報に基づいて、次話者の発話開始タイミングを推定し、推定結果を表す推定情報を出力するステップと、を備える。
【００１０】
本発明の第４の態様は、第３の態様の推定方法において、音声情報取得部が、前記複数の参加者各々の音声情報を取得して、取得した音声情報を出力するステップと、話者検出及び発話単位生成部が、前記音声情報取得部から入力された音声情報に基づいて、現話者の話者情報を検出して出力し、かつ発話単位となる発話区間を生成して出力するステップと、をさらに備え、前記口形状変化情報を抽出するステップでは、前記口形状情報変化抽出部が、前記口特徴点計測部から入力された前記位置情報と、前記話者検出及び発話単位生成部から出力された前記現話者の話者情報及び前記発話区間と、に基づいて、前記複数の参加者のうち発話者の口の形状変化を表す口形状変化情報、及び非発話者の口の形状変化を表す口形状変化情報を抽出し、前記推定情報を出力するステップでは、前記発話開始タイミング推定部が、前記複数の参加者のうちの発話者の口形状変化情報及び非発話者の口形状変化情報から次話者の発話開始タイミングを推定するための情報と、前記抽出された前記発話者の前記口形状変化情報及び前記非発話者の前記口形状変化情報とに基づいて、次話者の発話開始タイミングを推定し、推定結果を表す推定情報を出力する。
【００１１】
本発明の第５の態様は、第３の態様または第４の態様の推定方法において、データベース記憶部は、前記複数の参加者の過去の口形状変化情報に対応付けて次発話及び前記発話開始タイミングの情報を保持する情報保存データベースを記憶し、次話者推定部が、前記複数の参加者の口形状変化情報から次話者を推定するための情報に基づいて、次話者を推定し、推定結果を表す推定情報を出力するステップをさらに備える。
【００１２】
本発明の第６の態様は、第３の態様または第５の態様の推定方法において、注視対称検出部が、前記複数の参加者各々の視線行動として注視対象を表す情報を出力するステップ、呼吸動作計測部が、前記複数の参加者各々の呼吸動作を計測して呼吸動作を表す情報を出力するステップ、及び頭部状態検出部が、前記複数の参加者各々の頭部状態を検出して、頭部状態を表す情報を出力するステップの少なくとも１つのステップをさらに備え、前記発話開始タイミング推定部は、入力された注視対象を表す情報、呼吸動作を表す情報、及び頭部状態を表す情報の少なくとも１つにさらに基づいて推定した次話者の発話開始タイミングを前記推定情報として出力する。
【００１３】
本発明の第７の態様は、第１の態様から第６の対象のいずれか１態様の推定方法において、前記口形状変化情報は、参加者の唇の人中溝、左の上唇の山、右の上唇の山、左の口角、右の口角、上唇の下側の先端、下唇の下側の山、左の下唇の山の中腹、及び右の下唇の山の中腹の少なくとも１つの変化を表す情報である。
【００１４】
また、上記目的を達成するために、本発明の第８の態様は推定システムであって、複数の参加者各々に対して設けられ、前記参加者の画像情報から前記各参加者の口の特徴点の位置を計測して、計測した位置情報を出力する口特徴点計測部と、前記口特徴点計測部から出力した前記位置情報に基づいて、前記複数の参加者各々の口の形状変化を表す口形状変化情報を抽出する口形状情報変化抽出部と、前記複数の参加者の口形状変化情報から次話者の発話開始タイミングを推定するための情報と、前記抽出された口形状変化情報とに基づいて、次話者の発話開始タイミングを推定し、推定結果を表す推定情報を出力する発話開始タイミング推定部と、を備える。
【発明の効果】
【００１５】
本発明によれば、複数の参加者による多人数会話において、次話者及び次話者が発話するタイミングの少なくとも一方を推定することができる、という効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】第１実施形態における口特徴点を説明するための説明図である。
【図２】第１実施形態の推定システムの概略構成の一例を示す構成図である。
【図３】第１本実施形態の推定システムにより実行される推定処理の流れの一例を示すフローチャートである。
【図４】第２実施形態の推定システムの概略構成の一例を示す構成図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施形態を詳細に説明する。なお、本実施形態は本発明を限定するものではない。
【００１８】
［第１実施形態］
本実施形態では、複数の参加者による多人数会話において発話終了前後の参加者の口形状が次発話に強い関連性があることを利用して、次話者と発話開始タイミングを高精度に算出する推定手法及び推定システムについて説明する。なお、本実施形態の「多人数会話」における、複数の参加者の人数は、複数であれば特に限定されない。また、参加者は、人間に限らず、人間と同じようなコミュニケーションが可能な会話ヒューマノイド等の人工物やシステムであってもよい。
【００１９】
本実施形態において参加者の口の形状（以下、「口形状」という）とは、顔特徴点計測技術（例えば、画像処理技術を用いる）を用いて計測された、口の輪郭の特徴点そのもの、または特徴点群を基に形成される形状情報を指す。口の輪郭の特徴点の例を図１に示す。図１に示した例では、人中溝をＭ１、左右の上唇の山をＭ２、Ｍ８、口角をＭ３、Ｍ７、上唇の下側の先端をＭ９、下唇の下側の山をＭ５、及び左右の下唇の山の中腹をＭ４、Ｍ６と定義する。計測手法によるが、本実施形態では、概ねこれらの各特徴点の位置として、画像中の２次元座標や、カメラ座標系またはワールド座標系の３次元位置座標が計測される。なお、各特徴点の位置の計測方法は特に限定されず、一般的に用いられている技術を採用することができる。
【００２０】
本実施形態では、現在、発話している参加者（以下、「現話者」という）が発話を継続する場合（以下、「話者継続時」という）と、発話を継続しない場合（以下、「話者交替時」という）とで、発話末付近の口形状変化が異なることを利用して次話者を推定する。また、本実施形態では、現在、発話を行っていない参加者（以下、「非話者」という）が次に発話を新たに開始する（すなわち、次話者になる）場合と発話を新たに開始しない場合で、口形状変化が異なることを利用して次話者を推定する。なお、本実施形態では、現話者の次に発話者となる参加者を「次話者」と称している。
【００２１】
一例として、多人数会話において、現話者は話者継続時よりも話者交替時で、発話末付近において口を小さく開けた状態から口を閉じる頻度が高い。これは、発話を終えるため、発話を行うのを止めて口を閉じるためと考えられる。逆に、現話者は話者交替時よりも話者継続時で、発話末付近において口を小さく開けた状態から口を閉じて、さらに口を小さく開ける頻度が高く、また、口を小さく開き続ける頻度が高い。これは、話し続けるために息継ぎをしたり、口を開きっぱなしにしたりしているためと考えられる。これらの特徴を基に、現話者が発話を継続するか否か（話者継続及び話者交替のいずれであるか）を推定することが可能である。
【００２２】
また、多人数会話において、現話者の話者継続時における非話者は、口を閉じ続けている頻度が高く、現話者の話者交替時における非話者（非話者の内、次話者にならない人物）は、大きく口を開けたままにする頻度が高い。また、現話者の話者交替時における次話者（非話者のうち、次話者になる参加者）は、口を閉じた状態から、口を開く頻度が高い。非話者が次の発話をする際は、発話をするために息を吸い込んだり、発話のために口を開いたりする必要があることからこのような特徴がみられると考えられる。すなわち、このような非話者の口形状の変化から、非話者が次に発話を行うか否かを推定できる。
【００２３】
なお、これらの傾向は、あくまでも一例であり、必ずしもすべての状況及び対話においても全く同じ傾向であるとは限らないが、口形状変化の情報が有用であることに代わりはない。本実施形態では、上記に示した通り、現話者及び非話者の発話末付近における口形状変化の情報を利用して、次話者を推定する技術について説明する。また、本実施形態では、口形状変化の情報を利用して、発話と発話との間（次発話者が発話するタイミング、以下単に「発話開始タイミング」という）を推定する技術について説明する。ただし、本実施形態に限定されず、発話末付近に限らず、任意の時刻付近における口形状変化情報のみを利用しても推定は可能である。
【００２４】
本実施形態では、まず、参加者の音声情報から発話単位を自動的に生成し、参加者全員ないしはその一部の、発話単位末付近の口形状変化情報を生成する。これらの情報の各パラメータに応じて、次話者及び発話開始タイミングがどのようになるかを、機械学習手法等を用いて、事前にもしくはオンラインで学習をしておき、口形状変化の情報を基に、次話者及び発話開始タイミングを出力する。
【００２５】
本実施形態の推定システムの一例の構成図を図２に示す。
【００２６】
図２に示すように、本実施形態の推定システム１０は、口特徴点計測部１２１〜１２ｎ、音声情報取得部１４１〜１４ｎ、及び推定装置１１を備えている。また、本実施形態の推定装置１１は、話者検出及び発話単位生成部１６、口形状変化情報抽出部２０、次話者推定部２２、発話開始タイミング推定部２４、及びデータベース記憶部２８を備える。一例として、図２では、各々遠隔地にいるｎ人の参加者による多人数会話に用いられる推定システム１０を示している。ｎは２以上であれば、特に制約はなく、また、上述したように参加者は人間である必要はなく、人間と同じようなコミュニケーションが可能な人工物やシステムであってもよい。
【００２７】
以下では、口特徴点計測部１２及び音声情報取得部１４のそれぞれについて、個々を区別せずに総称する場合は、個々を表す符号１〜ｎを付与せず、単に口特徴点計測部１２及び音声情報取得部１４という。
【００２８】
口特徴点計測部１２及び音声情報取得部１４は、ｎ人の参加者各々が利用する拠点毎に、設けられている。なお、図２に示した推定システム１０では、上述したようにｎ人の参加者が各々遠隔地にいるため、口特徴点計測部１２及び音声情報取得部１４をｎ個備える場合を示しているが、口特徴点計測部１２及び音声情報取得部１４の数はこれに限定されない。例えば、本実施形態と異なり、複数の参加者が同一の拠点にいる場合等は、参加者の人数にかかわらず、推定システム１０は、拠点の数に応じた口特徴点計測部１２及び音声情報取得部１４を備えればよい。
【００２９】
口特徴点計測部１２は、参加者の少なくとも口（唇）を含む領域（例えば、顔や上半身）の画像を、多人数会話の実施中に撮像装置等を用いてリアルタイムで取得する。本実施形態では、具体例として顔の画像を取得した場合について以下に説明する。口特徴点計測部１２は、取得した画像から参加者の顔の特徴点の計測技術等を利用して、参加者の口の特徴として、図１に示したような特徴点のうち、少なくとも一つの特徴点の位置を、多人数会話の実施中にリアルタイムで計測する。特徴点の位置の計測技術は、特に限定されないが、例えば、取得した画像に対する画像処理による顔トラッキング等が挙げられる。
【００３０】
なお、特徴点の位置の計測手法にもよるが、概ねこれらの各特徴点の位置として、画像中の２次元座標、カメラ座標系、及びワールド座標系の３次元位置座標等の少なくとも一つが計測される。そして、口特徴点計測部１２は、計測した特徴点の位置を表す情報を、図示を省略したネットワーク経由で口形状変化情報抽出部２０へ出力する。
【００３１】
なお、口特徴点計測部１２が口の特徴点として計測する特徴点は、図１に示した特徴点に限定されず、本実施形態の推定システム１０では、次発話者及び発話開始タイミングを推定するために予め定められた唇に関する何らかの位置や大きさ等の特徴であればよい。このような特徴の計測方法としては、例えば、色情報を用いて画像から上唇及び下唇の領域を抽出し、抽出結果に基づいて、両唇の位置を計測してもよい。この場合の具体例としては、色領域の重心を計測してもよい。本実施形態では説明上、以下では、参加者の口の特徴点Ｍｉ（ｉ＝１、・・・、８）の三次元位置（Ｘｍｉ、Ｙｍｉ，Ｚｍｉ）を計測した場合について説明する。
【００３２】
音声情報取得部１４は、多人数会話の実施中にリアルタイムでマイク等を使用して参加者の音声情報を取得する。さらに、音声情報取得部１４は、取得した参加者の音声情報を、図示を省略したネットワーク経由で口形状変化情報抽出部２０へ出力する。
【００３３】
話者検出及び発話単位生成部１６には、各音声情報取得部１４から参加者の音声情報が入力される。話者検出及び発話単位生成部１６は、入力された音声情報から雑音を除去し、発話部分のみを抽出する。そして、本実施形態の話者検出及び発話単位生成部１６は、一例として、連続した無音区間Ｔｄ（ｍｓ）で囲まれた区間を、１つの発話区間として抽出する。
【００３４】
また、本実施形態の話者検出及び発話単位生成部１６は、抽出された発話区間に対していずれの参加者が発話者であるか（現話者）を話者情報として検出する。なお、話者検出及び発話単位生成部１６が話者情報を検出する方法は特に限定されない。本実施形態と異なり、同一の拠点に複数の参加者がいる場合は、例えば、複数のマイクを用いて、マイク毎に集音される音声の時間差、音の大きさや、及び音声的特徴等の少なくとも一つを用いて話者情報を検出してもよい。
【００３５】
本実施形態の推定システム１０では、当該発話区間を発話の一つの発話単位として話者検出及び発話単位生成部１６が生成し、ある発話区間が終了した際に、同じ参加者が続けて発話をするか（話者継続時）、あるいは他の参加者の誰が発話をするのか（話者交替時）、及び発話開始がいつになるかを推定する。
【００３６】
なお、無音区間Ｔｄは、状況に応じて自由に決定可能としてよい。ただし、無音区間Ｔｄを長くすると、実際の発話終了から話者検出及び発話単位生成部１６が発話区間の終了を判定するまでの時間が長くなるため、一般的な日常会話であれば２００ｍｓ〜５００ｍｓ程度とすることが好ましい。このように本実施形態の話者検出及び発話単位生成部１６は、発話した参加者（現話者）の話者情報と、発話区間の開始時刻Ｔｕｓと、終了時刻Ｔｕｅと、を導出し、口形状変化情報抽出部２０に出力する。
【００３７】
口形状変化情報抽出部２０には、口特徴点計測部１２から特徴点の位置情報が入力される。また、口形状変化情報抽出部２０には、話者検出及び発話単位生成部１６から話者情報、発話区間の開始時刻Ｔｕｓ、及び終了時刻Ｔｕｅが入力される。
【００３８】
口形状変化情報抽出部２０は、特徴点の位置情報、話者情報、及び発話区間の終了時刻Ｔｕｅに基づいて、発話区間終了前後における現話者及び非話者の口形状変化情報を抽出する。本実施形態の口形状変化情報抽出部２０が口形状変化情報を抽出するために口形状変化を観測する時間区間（期間）は、発話区間の終了時刻Ｔｕｅを基点に、発話区間終了前Ｔｕｅ−Ｔｂから発話区間終了後Ｔｕｅ＋Ｔａまでの区間とする。なお発話区間を規定するためのＴａ及びＴｂは任意の値としてよいが、目安として、Ｔａは０ｓ〜２．０ｓ、Ｔｂは０ｓ〜５．０ｓ程度にすることが好ましい。なお、発話区間終了前後の口形状変化のみに限定せずに、任意の時刻付近（例えば、推定を行う時刻付近）における口形状変化情報を利用することも可能である。
【００３９】
上述した発話区間終了前Ｔｕｅ−Ｔｂから発話区間終了後Ｔｕｅ＋Ｔａの間における、現話者及び非話者の口形状変化情報としては、例えば、下記の（１−１）〜（１−３）に挙げたような様々なパラメータの状態変化を表す情報が挙げられる。
【００４０】
（１−１）任意の口の特徴点間の距離。例えば、上唇と下唇の距離（特徴点Ｍ１と特徴点Ｍ５との距離）。
（１−２）口の特徴点Ｍｉに囲まれた領域の面積。
（１−３）口の特徴点Ｍｉに囲まれた領域の形状（例えば、楕円形やひし形等）。
【００４１】
口形状変化情報抽出部２０がこれらのパラメータの状態変化を記述する方法として、任意の時刻でサンプリングされた各パラメータをそのまま、口形状変化情報として用いてもよい。また、各パラメータを閾値等を用いて量子化し、その変化を捉えてもよい。例えば、任意の口の特徴点Ｍｉ間の距離を考慮した場合、口の形状を、特徴点Ｍ１と特徴点Ｍ５との距離Ｄを閾値Ｓ、Ｌ（Ｌ＞Ｓ）に応じて、例えば下記の（２−１）〜（２−３）に挙げたように定義してもよい。
【００４２】
（２−１）距離Ｄが閾値Ｓよりも小さい（Ｄ＜Ｓ）場合、口が閉じている（ラベルＸ）
（２−２）距離Ｄが閾値Ｓ以上、かつ閾値Ｌよりも小さい（Ｌ＞Ｄ≧Ｓ）場合、口が少し開いている（ラベルＳ）。
（２−３）距離Ｄが閾値Ｌ以上（Ｄ≧Ｌ）の場合、口が大きく開いている（ラベルＬ）
【００４３】
そして、本実施形態の口形状変化情報抽出部２０は、これらのパラメータの状態が発話区間終了前Ｔｕｅ−Ｔｂから発話区間終了後Ｔｕｅ＋Ｔａまでの間に、どのように遷移したかをｎ−ｇｒａｍで表す。例えば、口が大きく開いていた状態（Ｄ≧Ｌ）から、口が少し開いている状態（Ｌ＞Ｄ≧Ｓ）に変化した場合、口形状変化情報ｎ−ｇｒａｍは、Ｌ−Ｓと表される。このような、口形状変化情報ｎ−ｇｒａｍを現話者及び非話者それぞれにおいて、抽出する。なお、他のパラメータにおいても口形状変化情報ｎ−ｇｒａｍを同様の手法により、抽出可能である。
【００４４】
口形状変化情報抽出部２０は、口形状変化情報を抽出した時点で、口形状変化情報を、次話者推定部２２及び発話開始タイミング推定部２４に出力する。また、本実施形態の口形状変化情報抽出部２０は、話者検出及び発話単位生成部１６から、次の発話情報（現話者の話者情報、発話区間の開始時刻Ｔｕｓ’、及び終了時刻Ｔｕｅ’）が入力された時点で、データベース記憶部２８に、現話者及び非話者の口形状変化情報と、現話者の話者情報、発話区間の開始時刻Ｔｕｓ、及び終了時刻Ｔｕｅと、次話者の話者情報、発話区間の開始時刻Ｔｕｓ’、及び終了時刻Ｔｕｅ’と、を出力する。
【００４５】
データベース記憶部２８には、上述したように、口形状変化情報抽出部２０から、現話者及び非話者の口形状変化情報と、現話者情報、発話区間の開始時刻Ｔｕｓ、及び終了時刻Ｔｕｅと、次話者の話者情報、発話区間の開始時刻Ｔｕｓ’、及び終了時刻Ｔｕｅ’と、が入力される。データベース記憶部２８は、例えば、ＨＤＤ（Hard Disk Drive）や、ＳＳＤ（Solid State Drive）等のハードウェアによる記憶装置である。
【００４６】
データベース記憶部２８は、口形状変化情報抽出部２０から入力された上述の各種情報が全て保持される情報保存データベース（以下、単に「データベース」という）を記憶する。すなわち、データベース記憶部２８には、複数の参加者について、過去の現話者及び非話者の口形状変化情報に対応付けた発話開始タイミングの情報がデータベースとして記憶されており、これらの情報は、次話者推定部２２及び発話開始タイミング推定部２４において推定モデルを構築する際の学習データや判別パラメータを設定する際に利用される。なお事前に、過去の会話データから同様の情報を取得してデータベース記憶部２８に保持しておくことで、より多くのデータを次話者推定部２２及び発話開始タイミング推定部２４の処理に利用することができる。また、データベース記憶部２８には、予め求められた、現話者及び非話者の口形状変化情報から次話者の発話開始タイミングを推定するための情報と、現話者及び非話者の口形状変化情報から次話者を推定するための情報とが記憶されており、記憶される情報は、推定モデルであってもよいし、統計情報であってもよいし、過去の判例であってもよい。
【００４７】
また、データベース記憶部２８には、一連の推定処理を行う中で、口形状変化情報抽出部２０から新たに抽出した口形状変化情報と、次話者推定部２２から推定した次話者の話者情報と、発話開始タイミング推定部２４から発話開始タイミングの情報と、が入力される。これらの情報も、逐次、全てもしくは一部のものをデータベース記憶部２８に記憶されているデータベースに保持しておくことにより、次話者推定部２２及び発話開始タイミング推定部２４の各々で次話者と発話開始タイミングを推定するために使用可能となる。
【００４８】
次話者推定部２２には、口形状変化情報抽出部２０から、現話者の話者情報と、現話者及び非話者の口形状変化情報とが入力される。また、次話者推定部２２は、データベース記憶部２８から、口形状変化情報から話者を推定するための情報を取得する。そして、次話者推定部２２は、現話者の話者情報と、現話者及び非話者の口形状変化情報と、口形状変化情報から次話者を推定するための情報とを用いて、次話者を推定し、次話者の話者情報を発話開始タイミング推定部２４に出力する。
【００４９】
次話者推定部２２における次話者の推定方法は特に限定されないが、例えば、現話者の話者情報と、現話者及び非話者の口形状変化情報との少なくとも一つ用いて、上記パラメータがある閾値を超えた参加者を、次話者として決定する等の閾値を用いる方法や、サポートベクターマシンに代表されるような機械学習の各種手法を用いる方法等が挙げられる。
【００５０】
まず、一例として簡単な、過去の統計情報に基づいた次話者の推定方法について説明する。
【００５１】
前述した口形状変化情報ｎ−ｇｒａｍを用いた場合、現話者の口形状変化情報ｎ−ｇｒａｍがＳであり、一人の非話者の口形状変化情報ｎ−ｇｒａｍがＸ−Ｓだった場合を考える。このような場合、データベース記憶部２８に保存された過去の判例から、現話者の口形状変化情報ｎ−ｇｒａｍがＳであった場合、話者継続になる確率がＰα、話者交替になる確率がＰβであるとする。また、非話者の口形状変化情報ｎ−ｇｒａｍがＸ−Ｓだった場合、話者継続になる確率がＰγ、話者交替になる確率がＰσであるとする。さらに、話者交替時にその非話者が次話者になる確率がＰσ１、話者交替時にその非話者が次話者にならい確率がＰσ２であった場合、各参加者が次話者になる確率を下記（１）式〜（３）式のように導出し、最も確率の高い参加者を次話者として推定する。なお、下記（１）式〜（３）式では、参加者が４人の場合を示しており、（３）式に示した、その他の２人の非話者については、それぞれが次話者になる確率を示している。
【００５２】
現話者の確率：Ｐα×Ｐσ１    ・・・（１）式
口形状変化情報ｎ−ｇｒａｍがＸ−Ｓだった非話者の確率：Ｐβ×Ｐσ１    ・・・（２）式
その他の２人の非話者各々の確率：Ｐβ×Ｐσ２／２    ・・・（３）式
【００５３】
次に、機械学習手法を用いた場合の、推定方法の一例について説明する。まず、次話者推定部２２は、次話者の推定モデル構築のための学習データとして、以下の（３−１）〜（３−３）の特徴量を用いて学習を行う。ここでも、参加者が４人の場合を示している。なお、推定対象は、次発話を行った参加者（次発話者）（ｐ１〜ｐ４）である。
【００５４】
（３−１）いずれの参加者が現話者か（話者情報）（Ｐ１〜Ｐ４）。
（３−２）次発話者の話者情報（ｐ１〜ｐ４）。
（３−３）現話者及び非話者の口形状変化情報のうち、少なくとも一つ以上（全てを用いてもちろんよい）。
【００５５】
学習データは、データベース記憶部２８から取得されるデータである。当該学習は、本実施形態の推定システム１０による推定を行う際に、最初に一度だけ行ってもよいし、データベース記憶部２８に口形状変化情報抽出部２０から上述の各種データが入力されるのに応じて、毎回、行ってもよい。
【００５６】
次に、次話者推定部２２は、学習された推定モデルを用いて、口形状変化情報抽出部２０から入力された以下の（４−１）、（４−２）の特徴量から、次話者（ｐ１〜ｐ４）を推定する。
【００５７】
（４−１）いずれの参加者が現話者か（話者情報）（Ｐ１〜Ｐ４）。
（４−２）現話者及び非話者の口形状変化情報の内少なくとも一つ以上（全てを用いてもちろんよい）。
【００５８】
このようにして次話者推定部２２により推定された次話者の推定情報が、本実施形態の推定システム１０から出力される推定情報の一つである。なお、次話者推定部２２は、さらに、推定システム１０の外部に、次話者の推定情報を出力してもよい。
【００５９】
本実施形態の発話開始タイミング推定部２４には、次話者推定部２２から、次話者の推定情報が入力される。また、発話開始タイミング推定部２４には、口形状変化情報抽出部２０から現話者の話者情報と現話者及び非話者の口形状変化情報とが入力される。さらに、本実施形態の発話開始タイミング推定部２４は、データベース記憶部２８から、現話者、次話者、及び非話者の口形状変化から次話者の発話開始タイミングを推定するための情報を取得する。発話開始タイミング推定部２４は、これら、口形状変化情報抽出部２０及び次話者推定部２２入力された各種情報、及びデータベース記憶部２８から取得した現話者、次話者、及び非話者の口形状変化から次話者の発話開始タイミングを推定するための情報を用いて、次話者の発話開始タイミングを推定する。発話開始タイミングの推定方法は特に限定されないが、例えば、現話者及び非話者の口形状変化に対応したタイミングを推定するための任意の式を予め定式化しておく方法や、サポートベクターマシンに代表されるような機械学習の各種手法を用いる方法等が挙げられる。この場合には、データベース記憶部２８に、現話者、次話者、及び非話者の口形状変化から次話者の発話開始タイミングを推定するための情報として、推定式や推定モデルが記憶されている。また、現話者、次話者、及び非話者の口形状変化から次話者の発話開始タイミングを推定するための情報として、過去の判例を用いてもよい。
【００６０】
まず、任意の式を予め定式化しておく推定方法について説明する。この場合の推定方法としては、例えば、現話者及び非話者の口形状変化情報ｎ−ｇｒａｍに対して、発話の終了後Ｔｕｅから次発話開始Ｔｕｓ’までの間隔Ｔｕｓ’−Ｔｕｅの過去の情報を用いて、Ｔｕｓ’−Ｔｕｅ＝ｆ（ＡＣ）の関係を予め定式化しておき、当該式を用いて次発話開始のタイミングを推定する方法が挙げられる。
【００６１】
次に、機械学習手法を用いた場合の、推定方法の一例について説明する。この場合、発話開始の推定モデル構築のための学習データとして、以下の（５−１）〜（５−３）の特徴量を用いて学習を行う。なお、推定対象は、発話の終了後Ｔｕｅから次発話開始Ｔｕｓ’までの間隔Ｔｕｓ’−Ｔｕｅ’である。
【００６２】
（５−１）いずれのユーザが現話者か（話者情報）（Ｐ１〜Ｐ４）。
（５−２）次発話の話者情報（ｐ１〜ｐ４）
（５−３）現話者及び非話者の口形状変化情報のうち、少なくとも一つ以上（全てを用いてもちろんよい）。
【００６３】
学習データは、データベース記憶部２８から取得されるデータである。学習は、本実施形態の推定システム１０による推定を行う際に、最初に一度だけ行ってもよいし、データベース記憶部２８に口形状変化情報抽出部２０から上述の各種データが入力されるのに応じて、毎回、行ってもよい。
【００６４】
次に、発話開始タイミング推定部２４は、学習された推定モデルを用いて、口形状変化情報抽出部２０から入力された以下の（６−１）、（６−２）の特徴量から、発話の終了後Ｔｕｅから次発話開始Ｔｕｓ’までの間隔Ｔｕｓ’−Ｔｕｅ’を推定する。
【００６５】
（６−１）いずれのユーザが現話者か（話者情報）（Ｐ１〜Ｐ４）。
（６−２）現話者及び非話者の口形状変化情報のうち、少なくとも一つ以上（全てを用いてもちろんよい）。
【００６６】
発話開始タイミング推定部２４は、このようにして推定された発話の終了後Ｔｕｅから次発話開始Ｔｕｓ’までの間隔Ｔｕｓ’−Ｔｕｅ’に基づいて、発話開始タイミングを推定し、推定した発話開始タイミングを表す情報を出力する。発話開始タイミング推定部２４から出力される発話開始タイミングを表す情報が、本実施形態の推定システム１０が出力する推定情報の一つである。
【００６７】
なお、本実施形態の推定装置１１は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、上記推定処理を実行するための推定プログラムや各種データを記憶したＲＯＭと（Read Only Memory）、を含むコンピュータで構成することができる。本実施形態のＣＰＵが推定プログラムを実行することにより、推定装置１１の話者検出及び発話単位生成部１６、口形状変化情報抽出部２０、次話者推定部２２、及び発話開始タイミング推定部２４として機能する。
【００６８】
次に、本実施形態の推定装置１１において実行される推定処理の流れについて説明する。図３には、本実施形態の推定装置１１において実行される推定処理の流れの一例を表すフローチャートを示す。本実施形態の推定装置１１では、上述したように、多人数会話が開始した場合等にＣＰＵが推定プログラムを実行することにより、図３に示した推定処理が実行される。
【００６９】
なお、上述したように、本推定処理の実行と並行して、推定装置１１の口形状変化情報抽出部２０には、口特徴点計測部１２によりリアルタイムで計測された参加者各々の口特徴点の位置情報が逐次入力される。また、推定装置１１の話者検出及び発話単位生成部１６には、音声情報取得部１４によりリアルタイムで取得された参加者各々の音声情報が逐次入力される。
【００７０】
ステップＳ１００で話者検出及び発話単位生成部１６は、上述したように、入力された音声情報から、発話区間を抽出（生成）し、抽出された発話区間に対する現話者の話者情報を検出する。また、話者検出及び発話単位生成部１６は、生成した発話区間及び現話者の話者情報を口形状変化情報抽出部２０に出力する。
【００７１】
次のステップＳ１０２で口形状変化情報抽出部２０は、上述したように、話者検出及び発話単位生成部１６から入力された現話者の話者情報及び発話区間と、口特徴点計測部１２から入力された口特徴点の位置情報とに基づいて、現話者及び非話者の口形状変化情報を抽出して、次話者推定部２２に出力する。
【００７２】
次のステップＳ１０４で次話者推定部２２は、上述したように、データベース記憶部２８から取得した、口形状変化情報から次話者を推定するための情報と、口形状変化情報抽出部２０から入力された口形状変化情報とに基づいて、次話者を推定し、推定結果として発話開始タイミング推定部２４に出力する。
【００７３】
次のステップＳ１０６で発話開始タイミング推定部２４は、上述したように、データベース記憶部２８から取得した、口形状変化情報から次話者の発話開始タイミングを推定するための情報データと、口形状変化情報抽出部２０から入力された口形状変化情報と、次話者推定部２２から入力された次話者の話者情報と、に基づいて、発話開始タイミングを推定し、推定結果として発話開始タイミングを出力する。
【００７４】
次のステップＳ１０８で本推定処理を終了するか否かについて、例えば、発話開始タイミング推定部２４が判定する。判定方法は特に限定されないが、例えば、多人数会話の終了が参加者等から指示された場合等の所定の終了条件を満たす場合、本推定処理を終了すると判定する。例えば、所定の終了条件を満たさない場合等は、未だ本推定処理を終了しないとして否定判定となり、ステップＳ１００に戻り、上記一連の処理を繰り返す。一方、所定の終了条件を満たす場合等は、肯定判定となり、本推定処理を終了する。
【００７５】
このように、本実施形態の推定システム１０は、口特徴点計測部１２及び音声情報取得部１４から発話開始タイミング推定部２４までの各部で一連の処理を繰り返し行うことで、常時、次話者及び発話開始タイミングを推定する。
【００７６】
なお、本実施形態では、推定システム１０が次話者及び発話開始タイミングの両方を推定して両者の推定結果を出力する場合について説明したが、いずれか一方のみを推定し、その推定結果を出力してもよい。
【００７７】
なお、推定システム１０が発話開始タイミングのみを推定して、推定結果を出力する場合、推定システム１０は、上述した次話者推定部２２を備えていなくてもよいが、この場合、発話開始タイミング推定部２４には、次発話者情報が入力されないこととなる。そのため、この場合の発話開始タイミング推定部２４では、次話者が参加者のいずれであるかは不明であるが、現話者も含めた参加者のいずれかが、次発話を開始する発話開始タイミングを推定して、推定結果を出力する。
【００７８】
以上説明したように、本実施形態の推定方法では、複数の参加者各々の口形状変化情報を入力とし、口形状変化情報に基づき、複数の参加者のうち次に発話を行う次話者、及び次話者の発話開始タイミングの少なくとも一方を表す推定情報を導出して出力する。
【００７９】
［第２実施形態］
第１実施形態では、参加者の口形状変化情報を用いて次発話者及び発話開始タイミングを推定する場合について説明した。本実施形態では、さらに参加者に関するその他の情報を用いて次発話者及び発話開始タイミングの推定を行う。
【００８０】
多人数会話における参加者の呼吸動作は次発話者と発話開始タイミングに深い関連性があることを利用する。本実施形態では、参加者の呼吸動作をリアルタイムに計測し、計測された呼吸動作から発話の開始直前に行われる特徴的な呼吸動作を検出し、この呼吸動作を基に次発話者とその発話タイミングを高精度に推定する。具体的には、発話開始直前におこなわれる呼吸動作の特徴として、現話者は、発話者継続時には、発話終了直後にすぐに急激に息を吸い込む。逆に現話者は、発話者交替時では発話者継続時に比べて、発話終了時から間を空けて、ゆっくりと息を吸い込む。また、発話者交替時に、次発話者は、非発話者に比べて大きく息を吸い込む。このような発話の前に行われる呼吸は、発話開始に対しておおよそ決められたタイミングで行われる。このように、発話の直前に次発話者は特徴的な息の吸い込みを行うため、このような息の吸い込みの情報は、次発話者及び発話開始タイミングを推定するのに有用である。本実施形態では、参加者の息の吸い込みに着目し、息の吸い込み量や吸い込み区間の長さ、タイミング等の情報を用いて、次発話者と発話開始タイミングを推定する。すなわち、発話区間を表す発話区間情報、参加者のうち何れが当該発話区間の現話者であるかを表す発話者情報、および当該参加者の呼吸状態を表す情報（以下、呼吸情報という）を入力とし、当該参加者の吸い込み区間での息の吸い込み量、吸い込み区間の長さ、息の吸い込み量の時間変化、及び当該発話区間と当該吸い込み区間との時間関係の少なくとも一つに基づき、次発話者及び発話開始タイミングの少なくとも一方を表す推定情報を得て出力する。この推定情報は、当該吸い込み区間での息の吸い込み量、吸い込み区間の長さ、当該吸い込み区間での息の吸い込み量の時間変化、及び当該発話区間と当該吸い込み区間との時間関係の何れか１つのみから得られてもよいし、これらの複数から得られてもよいし、これらの全てから得られてもよい。
【００８１】
また、多人数会話における、発話終了前後の参加者の視線行動と次に話し始める参加者や話し始めるタイミングに強い関連性があることを利用する。参加者の音声情報から発話単位を自動的に生成し、参加者全員ないしは複数の参加者の発話単位付きの視線行動を入力とし、発話区間の終了時点に対応する時間区間におけるコミュニケーション参加者の注視対象を表す注視対象ラベルから、注視対象の移り変わり（遷移）を表す注視対象遷移パターンと、視線行動の時間的な関係を表す時間構造情報とを生成する。会話の参加者の呼吸動作に加えて注視対象遷移パターンと時間構造情報の少なくとも一方を用いることで、次発話者及び発話開始タイミングの少なくとも一方をより高精度で推定する。
【００８２】
例えば、話者交替時には、発話末付近で現話者と視線交差を行った人物が次発話者になる傾向があることが知られている。現話者が発話末に視線を向けることは次の発話を促していると解釈される。しかしながら、必ずしも視線を向けられた参加者が次の発話を行うとは限らない。その参加者が必ずしも次に発話をしたいと考えているとは限らないからである。一方、呼吸動作については、話者交替時には、次発話者が発話に先立って大きく息を吸い込むといった特徴的な吸気を行うことが知られている。しかしながら、本人が息を吸い込んで発話をしようとしても、現話者が視線を他の参加者に向けてしまった場合は発話が行えないこともある。例えば、複数の参加者が発話をしようとして同時に息を吸い込んだ際には、現話者が視線を向けた方の参加者が次の発話を開始する傾向がある。このように、視線は他者からの発話の期待や促進といった発話行動に対する外的な要因となり、一方で、呼吸は参加者本人が発話を開始する前に起こす内発的な動作である。このような、異なる性質を持つ視線と呼吸の２つの情報を同時に利用することで、高精度に次発話者や発話開始タイミングを推定することができる。
【００８３】
またさらに、多人数会話における、発話終了前後の参加者の頭部動作と次発話者及び発話開始タイミングとに強い相関があることを利用する。本実施形態で取り扱う頭部動作は、頭部の前後、左右、及び上下の３自由度の位置の変化、及び３自由度の回転角度の変化の計６自由度の情報の少なくとも１つに基づき得られる。６自由度の情報は、例えば、頭部計測装置（ヘッドトラッカ）で計測され、３次元位置（Ｘ、Ｙ、Ｚ）と３自由度の回転角度（azimuth、elevation、roll）の６自由度の位置及び回転情報として定義され、それぞれの座標値で位置と回転角度が表される。
【００８４】
本実施形態では、発話者継続時と発話者交替時とで、現話者の発話終了付近の頭部動作（例えば頭部の移動や回転）が異なること、また、非話者が次発話者になる場合と、ならない場合とで、発話終了付近の頭部動作が異なることを利用する。例えば、参加者が４人の場合においては、現話者の頭部位置Ｘ、Ｙ、Ｚ、回転角度rollにおける変化量と、頭部位置Ｙ、Ｚ、回転角度rollにおける頭部動作の変化を波として捉えたときの波の振幅（以下、単に「振幅」ともいう）と、回転角度elevationにおける頭部動作の変化を波として捉えたときの波の周波数（以下、単に「周波数」ともいう）は、発話者継続時よりも発話者交替時で大きくなる傾向にある。また、現話者の頭部位置Ｙにおける周波数は話者継続時よりも話者交替時で小さくなる傾向にあることが分かっている。また、頭部位置Ｘ、Ｙ、Ｚ、回転角度azimuth、elevation、rollにおける変化量と振幅は、発話者継続時の非話者に比べて、発話者交替時の非話者と次発話者の方が大きい。逆に、頭部位置Ｘ、Ｙ、Ｚ、回転角度azimuth、elevation、rollにおける周波数は、発話者継続時の非話者に比べて、発話者交替時の非話者と次発話者の方が小さい傾向にある。頭部位置Ｘ、Ｚにおける変化量は、発話者交替時の非話者に比べて、次発話者の方が大きい傾向にある。逆に、 頭部位置Ｚにおける周波数は、発話者交替時の非話者に比べて、次発話者の方が小さい傾向にある。ただし、これらの傾向は、あくまでも一例であり、必ずしもすべての状況および対話においても同じ傾向であるとは限らない。そうであっても、このような頭部動作と次発話者及び発話開始タイミングとの間には、相関があり、頭部状態情報に基づく頭部動作を用いることは、次発話者及び発話開始タイミングを推定する上で非常に有用である。
【００８５】
本実施形態では、参加者の口形状変化情報、呼吸動作、視線行動（注視対象の遷移）、及び頭部動作を用いて、次発話者及び発話開始タイミングを推定する。
【００８６】
本実施形態の推定システムの一例の構成図を図４に示す。
【００８７】
図４に示すように、本実施形態の推定システム１００は、第１実施形態の推定システム１０が有する構成に加えて、呼吸動作計測部３０１〜３０ｎ、注視対象検出部３２１〜３２ｎ、及び頭部状態検出部３４１〜３４ｎと、吸込区間検出部４０、注視対象ラベル生成部４２、遷移パターン及び時間構造情報生成部４４、及び頭部動作情報生成部４６を有する推定装置１１０と、を備える。また、第１実施形態の推定装置１１における次話者推定部２２、発話開始タイミング推定部２４、及びデータベース記憶部２８に代わり、次話者推定部５２、発話開始タイミング推定部５４、及びデータベース記憶部５８を備える。
【００８８】
呼吸動作計測部３０は、各参加者の呼吸動作を計測して、計測結果を呼吸情報として吸込区間検出部４０に出力する。吸込区間検出部４０には、呼吸動作計測部３０から参加者の呼吸情報が入力され、また、話者検出及び発話単位生成部１６から現話者の話者情報及び発話区間が入力される。呼吸動作計測部３０は、入力された、参加者の呼吸情報と、現話者の話者情報及び発話区間とに基づいて、各参加者の息の吸い込み区間を抽出し、さらに息の吸い込みに関するパラメータを取得して次話者推定部５２及びデータベース記憶部５８に出力する。
【００８９】
なお、参加者の呼吸動作を用いた次発話者及び発話開始タイミングの推定、及び、呼吸動作計測部３０及び吸込区間検出部４０の動作、吸込区間検出部４０から次話者推定部５２及びデータベース記憶部５８に出力される情報等については、特開２０１６−４２３４５号公報に記載された技術と同様にすればよい。
【００９０】
注視対象検出部３２は、参加者が誰（参加者のいずれ）を注視しているか（注視対象）を検出し、参加者及び各離散時刻での注視対象を表す情報を注視対象ラベル生成部４２に出力する。注視対象ラベル生成部４２には、注視対象ラベル生成部４２から参加者及び各離散時刻での注視対象を表す注視対象情報が入力され、また、話者検出及び発話単位生成部１６から現話者の話者情報及び発話区間が入力される。注視対象ラベル生成部４２は、入力された注視対象情報と、現話者の話者情報及び発話区間とに基づいて、発話区間終了前後における注視対象ラベル情報を生成して遷移パターン及び時間構造情報生成部４４に出力する。
【００９１】
なお、参加者の注視対象の遷移作を用いた次発話者及び発話開始タイミングの推定、及び、注視対象検出部３２、注視対象ラベル生成部４２、及び遷移パターン及び時間構造情報生成部４４の動作、遷移パターン及び時間構造情報生成部４４から次話者推定部５２及びデータベース記憶部５８に出力される情報等については、特開２０１６−４２３４５号公報に記載された技術と同様にすればよい。
【００９２】
頭部状態検出部３４は、各参加者の頭部状態を検出して、参加者及び頭部状態を表す情報を頭部動作情報生成部４６に出力する。頭部動作情報生成部４６には、頭部状態検出部３４から参加者及び頭部状態を表す情報が入力され、また、話者検出及び発話単位生成部１６から現話者の話者情報及び発話区間が入力される。頭部動作情報生成部４６は、入力された、参加者及び頭部状態を表す情報と、現話者の話者情報及び発話区間とに基づいて、発話区間終了前後における各参加者の頭部動作を表す頭部動作情報を生成して、次話者推定部５２及びデータベース記憶部５８に出力する。
【００９３】
なお、参加者の頭部動作を用いた次発話者及び発話開始タイミングの推定、及び、頭部状態検出部３４及び頭部動作情報生成部４６の動作、頭部動作情報生成部４６から次話者推定部５２及びデータベース記憶部５８に出力される情報等については、特開２０１６−１１１４２６号公報に記載された技術と同様にすればよい。
【００９４】
本実施形態のデータベース記憶部５８に記憶されるデータベースには、上記第１実施形態のデータベースに加えて、吸込区間検出部４０、遷移パターン及び時間構造情報生成部４４、及び頭部動作情報生成部４６から入力された上記各情報が保持される。
【００９５】
これにより、本実施形態の次話者推定部５２では、口形状変化情報抽出部２０から入力される口形状変化情報に加えて、吸込区間検出部４０、遷移パターン及び時間構造情報生成部４４、及び頭部動作情報生成部４６から入力される上記各情報、及びデータベース記  憶部５８に記憶されているデータベースを用いて、次話者の推定を行い、推定情報を出力することができる。
【００９６】
例えば、上記第１の実施の形態と同様に、参加者の口形状変化情報から推定した推定結果、呼吸動作から推定した推定結果、視線行動（注視対象の遷移）から推定した推定結果、及び頭部動作から推定した推定結果に基づいて、多数決により、次話者を推定する。
【００９７】
また、本実施形態の発話開始タイミング推定部５４では、次話者推定部５２から入力される次話者の話者情報、及び口形状変化情報抽出部２０から入力される口形状変化情報に加えて、吸込区間検出部４０、遷移パターン及び時間構造情報生成部４４、及び頭部動作情報生成部４６から入力される上記各情報、及びデータベース記憶部５８に記憶されているデータベースを用いて、発話開始タイミングの推定を行い、推定情報を出力することができる。
【００９８】
例えば、上記第１の実施の形態と同様に、参加者の口形状変化情報から推定した推定結果、呼吸動作から推定した推定結果、視線行動（注視対象の遷移）から推定した推定結果、及び頭部動作から推定した推定結果に基づいて、発話開始タイミングの平均値を推定値とする。
【００９９】
なお、上記各実施形態は一例であり、具体的な構成は上記各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれ、状況に応じて変更可能であることは言うまでもない。
【符号の説明】
【０１００】
１０、１００  推定システム
１２、１２１〜１２ｎ  口特徴点計測部
１４、１４１〜１４ｎ  音声情報取得部
１６  話者検出及び発話単位生成部
２０  口形状情報変化抽出部
２２、５２  次話者推定部
２４、５４  発話開始タイミング推定部
２８、５８  データベース記憶部
３０、３０１〜３０ｎ  呼吸動作計測部
３２、３２１〜３２ｎ注視対象検出部
３４、３４１〜３４ｎ  頭部状態検出部
１１、１１０  推定装置
【図１】
2018077791.tif 000003
【図２】
2018077791.tif 000004
【図３】
2018077791.tif 000005
【図４】
2018077791.tif 000006