(57)【特許請求の範囲】
【請求項１】
複数の利用者と会話を行うロボットの発話を、又は、複数の利用者と会話を行う表示装置に表示される話者の発話を制御する発話制御部と、
前記利用者が任意の時刻に次話者となる確率である第１の次話者確率を取得する次話者推定部と、
を備え、
前記発話制御部は、前記次話者推定部が取得した前記利用者の前記第１の次話者確率に基づいて前記ロボット又は前記話者の発話を制御し、
前記次話者推定部は、前記利用者の非言語行動に基づいて前記第１の次話者確率を取得し、
前記ロボット又は前記話者は、前記非言語行動に対応した動作を行うよう制御が可能であり、
前記次話者推定部は、前記ロボット又は前記話者の前記非言語行動に対応した動作に関する情報に基づいて、前記時刻に前記ロボット又は前記話者が次話者となる確率である第２の次話者確率を取得し、
前記発話制御部は、複数の前記利用者の前記第１の次話者確率と、前記ロボット又は前記話者の前記第２の次話者確率との比較に基づいて、前記ロボット又は前記話者の発話を制御する発話制御システム。
【請求項２】
前記発話制御部は、前記ロボット又は前記話者の発話の必要性を表す指標である発話必要度を発話内容に応じて取得して、取得した前記発話必要度に応じて前記次話者推定部が取得した前記第２の次話者確率の値を変化させる請求項１に記載の発話制御システム。
【請求項３】
複数の利用者と会話を行うロボットの発話を、又は、複数の利用者と会話を行う表示装置に表示される話者の発話を制御する発話制御部と、
前記利用者が任意の時刻に次話者となる確率である第１の次話者確率を取得する次話者推定部と、
を備え、
前記発話制御部は、前記次話者推定部が取得した前記利用者の前記第１の次話者確率に基づいて前記ロボット又は前記話者の発話を制御し、
前記次話者推定部は、前記利用者の非言語行動に基づいて前記第１の次話者確率を取得し、
前記ロボット又は前記話者は、前記非言語行動に対応した動作を行うよう制御が可能であり、
前記次話者推定部は、前記ロボット又は前記話者の前記非言語行動に対応した動作に関する情報に基づいて、前記時刻に前記ロボット又は前記話者が次話者となる確率である第２の次話者確率を取得し、
前記発話制御部は、複数の前記利用者の前記第１の次話者確率と、前記ロボット又は前記話者の前記第２の次話者確率との比較に基づいて、前記ロボット又は前記話者の発話を制御する発話制御装置。
【請求項４】
コンピュータを請求項１又は２に記載の発話制御システムとして機能させるための発話制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発話制御システム、発話制御装置及び発話制御プログラムに関する。
【背景技術】
【０００２】
従来、ヒューマノイドロボット及びコンピュータグラフィックにより描画されたエージェント（仮想的な人物）を表示するエージェントシステムは、周囲にいる複数の利用者と会話を行う会話機能を有するものがある。
【０００３】
複数の利用者と対話を行う対話システムとして、例えば、利用者の発話の内容から、次に対話システムが発話するべきであるか否かを推定し、対話システムからの発話を行う技術が開示されている（特許文献１を参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−６２３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の対話システムは、利用者の発話の内容にのみ基づいて発話の判断を行い、利用者の発話が誰に向けてのものかを考慮していない。このため、特許文献１に記載の対話システムは、誤った判断により発話する可能性がある。例えば、利用者Ａ及び利用者Ｂを含む複数の利用者の会話において、利用者Ａが利用者Ｂに対して「どう思う？」と質問をしたとする。この場合は、特許文献１に記載の対話システムは、誰に対して「どう思う？」と質問をしたのかを把握できないため、誤った判断により発話する可能性がある。このように、従来のヒューマノイドロボット及びエージェントの発話は、周囲にいる複数の利用者に対して適切なタイミングで発話することが困難であった。
【０００６】
上記事情に鑑み、本発明は、複数の利用者と会話するロボット又はエージェントにより適切なタイミングで発話を行わせることができる発話制御システム、発話制御装置及び発話制御プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様は、複数の利用者と会話を行うロボットの発話を、又は、複数の利用者と会話を行う表示装置に表示される話者の発話を制御する発話制御部と、前記利用者が任意の時刻に次話者となる確率である第１の次話者確率を取得する次話者推定部と、を備え、前記発話制御部は、前記次話者推定部が取得した前記利用者の前記第１の次話者確率に基づいて前記ロボット又は前記話者の発話を制御する発話制御システムである。
【０００８】
本発明の一態様は、前記の発話制御システムであって、前記発話制御部は、複数の前記利用者の前記第１の次話者確率が所定の閾値以下の場合に前記ロボット又は前記話者の発話を行わせるよう制御する。
【０００９】
本発明の一態様は、前記の発話制御システムであって、前記発話制御部は、複数の前記利用者の前記第１の次話者確率を所定時間積分した積分値が所定の閾値以下の場合に前記ロボット又は前記話者の発話を行わせるよう制御する。
【００１０】
本発明の一態様は、前記の発話制御システムであって、前記次話者推定部は、前記利用者の非言語行動に基づいて前記第１の次話者確率を取得する。
【００１１】
本発明の一態様は、前記の発話制御システムであって、前記ロボット又は前記話者は、前記非言語行動に対応した動作を行うよう制御が可能であり、前記次話者推定部は、前記ロボットの前記非言語行動に対応した動作に関する情報に基づいて、前記時刻に前記ロボット又は前記話者が次話者となる確率である第２の次話者確率を取得し、前記発話制御部は、複数の前記利用者の前記第１の次話者確率と、前記ロボット又は前記話者の前記第２の次話者確率との比較に基づいて、前記ロボット又は前記話者の発話を制御する。
【００１２】
本発明の一態様は、前記の発話制御システムであって、前記発話制御部は、前記ロボット又は前記話者の発話の必要性を表す指標である発話必要度を取得して、取得した前記発話必要度に応じて前記次話者推定部が取得した前記第２の次話者確率の値を変化させる。
【００１３】
本発明の一態様は、複数の利用者と会話を行うロボットの発話を、又は、複数の利用者と会話を行う表示装置に表示される話者の発話を制御する発話制御部と、前記利用者が任意の時刻に次話者となる確率である第１の次話者確率を取得する次話者推定部と、を備え、前記発話制御部は、前記次話者推定部が取得した前記利用者の前記第１の次話者確率に基づいて前記ロボット又は前記話者の発話を制御する発話制御装置である。
【００１４】
本発明の一態様は、複数の利用者と会話を行うロボットの発話を、又は、複数の利用者と会話を行う表示装置に表示される話者の発話を制御する発話制御プログラムであって、前記利用者が任意の時刻に次話者となる確率である第１の次話者確率を取得する次話者推定ステップと、前記次話者推定ステップにおいて取得した前記利用者の前記第１の次話者確率に基づいて前記ロボット又は前記話者の発話を制御する発話制御ステップと、をコンピュータに実行させるための発話制御プログラムである。
【発明の効果】
【００１５】
本発明により、複数の利用者と会話するロボット又はエージェントにより適切なタイミングで発話を行わせることができる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態におけるロボット１００が備える機能構成の概略を示す図である。
【図２】第１の実施形態におけるセンサ１０３の具体的な構成例を示す図である。
【図３】第１の実施形態における次話者推定部１０８が出力する次話者確率Ｐｎｓｉ（ｔ）の例を示す図である。
【図４】第１の実施形態における音制御部１１０の構成の詳細の具体例を示す図である。
【図５】第１の実施形態におけるロボット１００の外観及び構成の具体例を示す図である。
【図６】第１の実施形態におけるロボット１００の動作を示すフロー図である。
【図７】第２の実施形態におけるロボット１００Ａが備える機能構成の概略を示す図である。
【図８】第２の実施形態における制御部１０９Ａの構成の詳細の具体例を示す図である。
【図９】第２の実施形態における音制御部１１０Ａの構成の詳細の具体例を示す図である。
【図１０】第２の実施形態におけるロボット１００Ａの会話前動作の具体例を示す図である。
【図１１】第２の実施形態におけるロボット１００Ａの会話動作を示すフロー図である。
【図１２】息の吸い込み区間の例を示す図である。
【図１３】注視対象ラベルの具体例を示す図である。
【図１４】話者である利用者Ｐ１（Ｒ＝Ｓ）の注視対象ラベルＬ１についての時間構造情報を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本発明の実施形態について説明する。
（第１の実施形態）
図１は、第１の実施形態におけるロボット（発話制御システム）１００が備える機能構成の概略を示す図である。第１の実施形態におけるロボット１００は、複数人の利用者と会話を行うロボットである。図１に示すように、ロボット１００は、マイク１０１と、カメラ１０２と、センサ１０３と、音声入力部１０４と、映像入力部１０５と、センサ入力部１０６と、発話区間検出部１０７と、次話者推定部１０８と、発話制御部１０９と、音制御部１１０と、スピーカ１１５とを備える。
【００１８】
マイク１０１は、会話する利用者の音声等を含むロボット１００の周囲の音を集音して、音声信号を含む音信号（以下の説明では単に音声信号という）を出力する。なお、マイク１０１は、複数の各利用者それぞれに装着された複数のマイクで構成される。なお、ロボット１００自身にマイク１０１が搭載されていても良い。マイク１０１は、利用者やロボット１００に装着される構成に限られるものではなく、利用者又はロボット１００の周囲に配置しても良い。マイク１０１は、利用者の口元により近い位置に配置することが望ましいが、少なくとも利用者の声が集音可能な位置であれば、任意の位置及び任意の数を配置してよい。ロボット１００において、複数のマイク１０１と音声入力部１０４とは、有線又は無線で音声信号の送受信が可能に接続された構成である。
【００１９】
カメラ１０２は、会話する利用者の映像を撮影して、映像信号を出力する。カメラ１０２は、好ましくは、利用者全員の姿が画角にはいるよう広角な画角を有する撮像装置である。また、カメラ１０２は、利用者全員の姿をそれぞれ撮影する利用者の人数分の複数のカメラであってもよい。カメラ１０２は、少なくとも利用者全員を撮影可能な位置に配置するのであれば、任意の位置及び任意の台数で構成してもよい。この場合には、ロボット１００において、映像入力部１０５と、複数のカメラとは、有線又は無線で映像信号を送受信可能に接続された構成となる。
【００２０】
センサ１０３は、会話する利用者の位置を計測する第１のセンサ、利用者の呼吸動作を計測する第２のセンサ、利用者の注視対象を検出する第３のセンサ及び利用者の頭部動作を検出する第４のセンサ等の複数のセンサを備え、それらの各センサからのセンサ信号をセンサ入力部１０６へ出力する。
【００２１】
図２は、第１の実施形態におけるセンサ１０３の具体的な構成例を示す図である。
図２に示すように、センサ１０３は、会話する利用者の位置を計測する位置計測装置（第１のセンサ）２０１と、利用者の呼吸動作を計測する呼吸動作計測装置（第２のセンサ）２０２と、利用者の注視対象を検出する注視対象検出装置（第３のセンサ）２０３と、利用者の頭部動作を検出する頭部動作検出装置（第４のセンサ）２０４とを備える。位置計測装置２０１は、例えばロボット１００内に設置され、呼吸動作計測装置２０２、注視対象検出装置２０３及び頭部動作検出装置２０４は、利用者の頭部等に装着される。位置計測装置２０１は、センサ入力部１０６と接続されている。呼吸動作計測装置２０２、注視対象検出装置２０３及び頭部動作検出装置２０４は、センサ入力部１０６と、有線又は無線でセンサ信号の送受信が可能に接続されている。
【００２２】
音声入力部１０４は、マイク１０１からの音声信号を入力とし、発話区間検出部１０７、次話者推定部１０８及び音制御部１１０へ音声信号を出力する。音声入力部１０４は、マイク１０１からの音声信号を、ロボット１００内で処理可能な信号形式の音声信号に変換する等の処理を行う。映像入力部１０５は、カメラ１０２からの映像信号を入力とし、次話者推定部１０８へ映像信号を出力する。映像入力部１０５は、カメラ１０２からの映像信号を、ロボット１００内で処理可能な信号形式の映像信号に変換する等の処理を行う。センサ入力部１０６は、センサ１０３からのセンサ信号を入力とし、次話者推定部１０８へセンサ信号を出力する。センサ入力部１０６は、センサ１０３からのセンサ信号を、ロボット１００内で処理可能な信号形式のセンサ信号に変換する等の処理を行う。
【００２３】
発話区間検出部１０７は、音声入力部１０４からの音声信号に基づいて、任意の窓幅を設けてその区間内の音声信号のパワー、ゼロ交差数、周波数などを、音声の特徴を示す値である音声特徴量として算出する。発話区間検出部１０７は、算出した音声特徴量と所定の閾値を比較して発話区間を検出する。発話区間検出部１０７は、検出した発話区間に関する情報である発話区間情報を次話者推定部１０８及び音制御部１１０へ出力する。なお、マイク１０１から取得される音声信号において、音声の存在する区間（発話区間）と音声の存在しない区間（非発話区間）を自動的に検出するＶＡＤ（Voice Activity Detection）技術は、以下の参考文献１に示すように公知の技術である。発話区間検出部１０７は、公知のＶＡＤ技術を用いて発話区間を検出する。
参考文献１：澤田 宏、外４名、"多人数多マイクでの発話区間検出〜ピンマイクでの事例〜"、日本音響学会  春季研究発表会、ｐｐ．６７９−６８０、２００７年３月
【００２４】
次話者推定部１０８は、音声入力部１０４からの音声信号と、映像入力部１０５からの映像信号と、センサ入力部１０６からのセンサ信号と、発話区間検出部１０７からの発話区間情報とを入力とし、各利用者が時刻ｔに次話者となる確率である次話者確率を出力する。次話者推定部１０８は、音声信号、映像信号、センサ信号及び発話区間情報に基づいて、発話区間情報で特定される発話区間の発話者を示す発話者情報を取得する。次話者推定部１０８は、音声信号、映像信号、センサ信号及び取得した発話者情報に基づいて、各利用者ｉが時刻ｔに次話者となる確率である次話者確率Ｐｎｓｉ（ｔ）を算出して、発話制御部１０９へ出力する。次話者推定部１０８は、利用者の非言語行動に基づいて次話者確率Ｐｎｓｉ（ｔ）を算出している。すなわち、次話者推定部１０８での、次話者確率Ｐｎｓｉ（ｔ）の算出は、利用者の発話内容を解析等して利用者の言語行動に関する情報を得る必要はない。
【００２５】
図３は、第１の実施形態における次話者推定部１０８が出力する次話者確率Ｐｎｓｉ（ｔ）の例を示す図である。図３においては、４名の利用者Ａ〜Ｄについて利用者Ａの発話の切れ目となる時刻ｔｂｕｅ以降における次話者確率Ｐｎｓｉ（ｔ）の変化例を示している。符号３１を付与した矩形は、利用者Ａの発話区間を示している。発話区間３１は、発話終了時刻ｔｂｕｅで終了している。次話者確率ＰｎｓＡ（ｔ）３２で示す点線は、利用者Ａにおける発話終了時刻ｔｂｕｅ以降の時刻ｔにおける次話者確率の変化を示している。次話者確率ＰｎｓＢ（ｔ）３３で示す点線は、利用者Ｂにおける発話終了時刻ｔｂｕｅ以降の時刻ｔにおける次話者確率の変化を示している。次話者確率ＰｎｓＣ（ｔ）３４で示す点線は、利用者Ｃにおける発話終了時刻ｔｂｕｅ以降の時刻ｔにおける次話者確率の変化を示している。次話者確率ＰｎｓＤ（ｔ）３５で示す点線は、利用者Ｄにおける発話終了時刻ｔｂｕｅ以降の時刻ｔにおける次話者確率の変化を示している。このように、次話者推定部１０８は、利用者ｉの発話終了時刻ｔｂｕｅ以降の時刻ｔにおける次話者確率Ｐｎｓｉ（ｔ）の変化を算出する。なお、次話者推定部１０８における次話者の推定処理の詳細については後述する。
【００２６】
発話制御部１０９は、次話者推定部１０８からの次話者確率を入力とし、音制御部１１０に対して発話制御信号を出力する。発話制御部１０９は、次話者推定部１０８からの各利用者の次話者確率に基づいて、ロボット１００に発話を行わせるか否かを制御する発話制御信号を出力する。発話制御部１０９は、例えば利用者のいずれか一人の次話者確率が閾値以上であれば、ロボット１００に発話させず、全利用者の次話者確率が閾値以下であれば、ロボット１００に発話させるように制御する発話制御信号を出力する。これにより、ロボット１００は、他の利用者における発話開始の確率が低いタイミングで、発話を開始することができる。このように、ロボット１００は、複数の利用者と会話する際に、より適切なタイミングで発話を行うことができる。
【００２７】
発話制御部１０９は、具体的には、以下に示す第１制御方法〜第４制御方法の４つの制御方法のいずれかを用いてロボット１００の発話の制御を行う。なお、以下の説明においては、利用者Ａ、Ｂ、Ｃ、Ｄの４名とロボット１００とが会話を行う場合について説明する。
【００２８】
（第１制御方法）
発話制御部１０９は、次話者推定部１０８から取得した時刻ｔにおける利用者Ａ〜Ｄの次話者確率Ｐｎｓｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ｝）と、第１の閾値である任意の確率Ｐαとを比較する（以下、第１の比較という。）。発話制御部１０９は、上記第１の比較により、利用者Ａ〜Ｄのいずれか一人の次話者確率Ｐｎｓｉ（ｔ）が確率Ｐα以上である（Ｐｎｓｉ（ｔ）≧Ｐα）と判断した場合は、ロボット１００に発話させないよう制御する発話制御信号を出力する。発話制御部１０９は、上記第１の比較により、利用者Ａ〜Ｄの全員の次話者確率Ｐｎｓｉ（ｔ）が確率Ｐα未満である（Ｐｎｓｉ（ｔ）＜Ｐα）と判断した場合は、ロボット１００に時刻ｔで発話させるよう制御する発話制御信号を出力する。
【００２９】
（第２制御方法）
発話制御部１０９は、次話者推定部１０８から取得した時刻ｔにおける利用者Ａ〜Ｄの次話者確率Ｐｎｓｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ｝）を、時刻ｔについて所定時間（例えば、３〜４秒以上の時間）積分して、積分値Ｐｎｓｉを取得する。発話制御部１０９は、この積分値Ｐｎｓｉと、第２の閾値である任意の確率Ｐβとを比較する（以下、第２の比較という。）。発話制御部１０９は、上記第２の比較により、利用者Ａ〜Ｄのいずれか一人の積分値Ｐｎｓｉが確率Ｐβ以上である（Ｐｎｓｉ≧Ｐβ）と判断した場合は、ロボット１００に発話させないよう制御する発話制御信号を出力する。発話制御部１０９は、上記第２の比較により、利用者Ａ〜Ｄの全員の積分値Ｐｎｓｉが確率Ｐβ未満である（Ｐｎｓｉ＜Ｐβ）と判断した場合は、ロボット１００に時刻ｔで発話させるよう制御する発話制御信号を出力する。
【００３０】
（第３制御方法）
発話制御部１０９は、次話者推定部１０８から取得した時刻ｔにおける利用者Ａ〜Ｄの次話者確率Ｐｎｓｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ｝）を用いて、利用者全員の次話者確率を加算した加算値（ＰｎｓＡ（ｔ）＋ＰｎｓＢ（ｔ）＋ＰｎｓＣ（ｔ）＋ＰｎｓＤ（ｔ））を取得する。発話制御部１０９は、加算値（ＰｎｓＡ（ｔ）＋ＰｎｓＢ（ｔ）＋ＰｎｓＣ（ｔ）＋ＰｎｓＤ（ｔ））と、第３の閾値である任意の確率Ｐγとを比較する（以下、第３の比較という。）。発話制御部１０９は、上記第３の比較により、利用者Ａ〜Ｄのいずれか一人の加算値（ＰｎｓＡ（ｔ）＋ＰｎｓＢ（ｔ）＋ＰｎｓＣ（ｔ）＋ＰｎｓＤ（ｔ））が確率Ｐγ以上である（（ＰｎｓＡ（ｔ）＋ＰｎｓＢ（ｔ）＋ＰｎｓＣ（ｔ）＋ＰｎｓＤ（ｔ））≧Ｐγ）と判断した場合は、ロボット１００に発話させないよう制御する発話制御信号を出力する。発話制御部１０９は、上記第３の比較により、利用者Ａ〜Ｄの全員の加算値（ＰｎｓＡ（ｔ）＋ＰｎｓＢ（ｔ）＋ＰｎｓＣ（ｔ）＋ＰｎｓＤ（ｔ））が確率Ｐγ未満である（（ＰｎｓＡ（ｔ）＋ＰｎｓＢ（ｔ）＋ＰｎｓＣ（ｔ）＋ＰｎｓＤ（ｔ））＜Ｐγ）と判断した場合は、ロボット１００に時刻ｔで発話させるよう制御する発話制御信号を出力する。
【００３１】
（第４制御方法）
発話制御部１０９は、次話者推定部１０８から取得した時刻ｔにおける利用者Ａ〜Ｄの次話者確率Ｐｎｓｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ｝）を、時刻ｔについて所定時間（例えば、３〜４秒以上の時間）積分して、積分値Ｐｎｓｉを取得する。発話制御部１０９は、利用者全員の積分値Ｐｎｓｉを加算した加算値（ＰｎｓＡ＋ＰｎｓＢ＋ＰｎｓＣ＋ＰｎｓＤ）を取得する。発話制御部１０９は、加算値（ＰｎｓＡ＋ＰｎｓＢ＋ＰｎｓＣ＋ＰｎｓＤ）と、第４の閾値である任意の確率Ｐθとを比較する（以下、第４の比較という。）。発話制御部１０９は、上記第４の比較により、利用者Ａ〜Ｄのいずれか一人の加算値（ＰｎｓＡ＋ＰｎｓＢ＋ＰｎｓＣ＋ＰｎｓＤ）が確率Ｐθ以上である（（ＰｎｓＡ＋ＰｎｓＢ＋ＰｎｓＣ＋ＰｎｓＤ）≧Ｐθ）と判断した場合は、ロボット１００に発話させないよう制御する発話制御信号を出力する。発話制御部１０９は、上記第４の比較により、利用者Ａ〜Ｄの全員の加算値（ＰｎｓＡ＋ＰｎｓＢ＋ＰｎｓＣ＋ＰｎｓＤ）が確率Ｐθ未満である（（ＰｎｓＡ＋ＰｎｓＢ＋ＰｎｓＣ＋ＰｎｓＤ）＜Ｐθ）と判断した場合は、ロボット１００に時刻ｔで発話させるよう制御する発話制御信号を出力する。
【００３２】
次話者確率Ｐｎｓｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ｝）は、図３に示したように、発話終了から所定時間後にピークを有する場合が多い。そこで、発話制御部１０９は、第１制御方法〜第４制御方法において、次話者確率Ｐｎｓｉ（ｔ）を求める時刻ｔを含む窓幅を設けて、その窓幅の中における次話者確率の最大値を、時刻ｔにおける次話者確率Ｐｎｓｉ（ｔ）として出力するようにしてもよい。また、発話制御部１０９は、第１制御方法〜第４制御方法において、次話者確率Ｐｎｓｉ（ｔ）を求める時刻ｔを含む窓幅を設けて、その窓幅の中における次話者確率に複数のピークがある場合に、ｎ番目（ｎは１以上の整数）のピークの次話者確率を、時刻ｔにおける次話者確率Ｐｎｓｉ（ｔ）として出力するようにしてもよい。
【００３３】
音制御部１１０は、音声入力部１０４からの音声信号と、発話区間検出部１０７からの発話区間情報と、発話制御部１０９からの発話制御信号とに基づいて、スピーカ１１５に対して音信号を出力する。音制御部１１０は、発話制御信号に基づいて、ロボット１００に発話を行わせるか否かを判断する。音制御部１１０は、発話制御信号に基づいて、ロボット１００に発話を行わせると判断した場合には、ロボット１００に発話させる会話内容（言葉）を含む会話情報を生成し、生成した会話情報に基づいた音信号を出力する。音制御部１１０は、例えば、音声信号及び発話区間情報に基づいて利用者の会話内容を解析し、解析結果に基づいて、ロボット１００に発話させるための会話情報を生成する。
【００３４】
ここで、第１の実施形態における音制御部１１０の構成の詳細について一例を示して説明する。
図４は、第１の実施形態における音制御部１１０の構成の詳細の具体例を示す図である。音制御部１１０は、音声解析部４０１と、会話情報生成部４０２と、会話情報ＤＢ（データベース）４０３と、発声情報生成部４０４と、音信号生成部４０５とを備える。
【００３５】
会話情報ＤＢ４０３は、ロボット１００に会話させるための会話サンプル情報を格納する。会話サンプル情報とは、日常の会話でよく使われる名詞、「こんにちは」等の挨拶及び「ありがとうございます」、「大丈夫ですか」等の日常会話でよく利用するフレーズの音声信号を含む情報である。
【００３６】
音声解析部４０１は、音声入力部１０４からの音声信号と、発話区間検出部１０７からの発話区間情報とに基づいて、音声信号を解析して、その内容（言葉）を特定し、解析結果を出力する。
【００３７】
会話情報生成部４０２は、音声解析部４０１の解析結果に基づいて、ロボット１００の発話内容となる会話情報を生成する。会話情報生成部４０２は、音声解析部４０１の解析結果に基づいて、会話する内容に応じた会話サンプル情報を会話情報ＤＢ４０３から取得する。会話情報生成部４０２は、取得した会話サンプル情報に基づいて、会話情報を生成する。会話情報生成部４０２は、発声情報生成部４０４からの会話情報の要求に応じて、会話情報を生成し、発声情報生成部４０４へ出力する。
【００３８】
発声情報生成部４０４は、会話情報生成部４０２からの会話情報と、発話制御部１０９からの発話制御情報とを入力として、発話信号を出力する。発声情報生成部４０４は、発話制御部１０９からの発話制御情報に基づいて、会話情報生成部４０２に対して会話情報を要求する。発声情報生成部４０４は、要求に応じて会話情報生成部４０２から取得した会話情報と、発話制御部１０９からの発話制御情報とに基づいて、ロボット１００が発声するための発話信号を生成する。発声情報生成部４０４は、生成した発話信号を音信号生成部４０５へ出力する。
【００３９】
音信号生成部４０５は、発声情報生成部４０４からの発話信号を入力とし、音信号を出力する。音信号生成部４０５は、発声情報生成部４０４からの発話信号に基づいてスピーカ１１５から発話させるための音信号を生成して、スピーカ１１５へ出力する。
【００４０】
図５は、第１の実施形態におけるロボット１００の外観及び構成の具体例を示す図である。第１の実施形態におけるロボット１００は、例えば図５に示す外観を有し、図１に示す機能構成を有する。
【００４１】
図５に示すように、ロボット１００は、例えば、人間の上半身をモデルとした形状のヒューマノイドロボット（人型ロボット）である。ロボット１００は、発話を行う発話機能、人の音声を認識する音声認識機能、利用者を撮影するカメラ機能を少なくとも備える。ロボット１００は、右目５１ａ及び左目５１ｂと、口部５２とが配置された顔を有する頭部５３を備える。
【００４２】
ロボット１００は、頭部５３を支持する頸部５４と、頸部５４を支える胴部５５とを備える。胴部５５は、右腕５５ａと左腕５５ｂとが側面上部に設けられている。また、頭部５３の右目５１ａ、左目５１ｂの間には、カメラ１０２が設置されている。以下の説明において、右目５１ａ、左目５１ｂをまとめて説明する場合は、眼部５１と称する。
【００４３】
図１に示す構成の内、図５に示しているのは、カメラ１０２のみであるので、カメラ１０２以外の図１に示す構成の設置位置の一例について説明する。マイク１０１及びセンサ１０３は、ロボット１００の胴部５５内における任意の位置又は胴部５５から離れた位置（例えば利用者の位置）に設置される。図１に示すマイク１０１、カメラ１０２及びセンサ１０３以外の構成は、ロボット１００内部に設置されるものであり、例えば、スピーカ１１５は、図５に示した口部５２の内部に設置されている。
【００４４】
次に、第１の実施形態におけるロボット１００の動作について説明する。
図６は、第１の実施形態におけるロボット１００の動作を示すフロー図である。図６に示す処理は、ロボット１００において、複数の利用者と会話を行う動作を開始した際に行う処理である。
【００４５】
音声入力部１０４は、マイク１０１からの音声信号が入力され、映像入力部１０５は、カメラ１０２からの映像信号が入力され、センサ入力部１０６は、センサ１０３からのセンサ信号が入力される（ステップＳ１０１）。発話区間検出部１０７は、音声入力部１０４からの音声信号に基づいて、音声特徴量を算出し、算出した音声特徴量と所定の閾値を比較して発話区間を検出する（ステップＳ１０２）。
【００４６】
次話者推定部１０８は、音声信号、映像信号、センサ信号及び取得した発話者情報に基づいて、各利用者ｉが時刻ｔに次話者となる確率である次話者確率Ｐｎｓｉ（ｔ）を算出する（ステップＳ１０３）。発話制御部１０９は、次話者推定部１０８からの各利用者の次話者確率に基づいて、ロボット１００に発話を行わせるか否かを制御する発話制御信号を出力する（ステップＳ１０４）。
【００４７】
音制御部１１０は、発話制御部１０９からの発話制御信号に基づいて、ロボット１００に発話を行わせるか否かを判断する（ステップＳ１０５）。ここで、ロボット１００に発話を行わせないと判断した場合（ステップＳ１０５のＮＯ）には、ステップＳ１０１の処理に戻る。ロボット１００に発話を行わせると判断した場合（ステップＳ１０５のＹＥＳ）には、音制御部１１０は、ロボット１００に発話させるための会話情報を生成し、生成した会話情報に基づいた音信号をスピーカ１１５へ出力する（ステップＳ１０６）。これにより、ロボット１００は、音信号に応じた発話をスピーカ１１５から発音する。
【００４８】
音制御部１１０は、発話制御部１０９からの発話制御信号に基づいて、ロボット１００の発話を終了するか否かを判断する（ステップＳ１０７）。ここで、ロボット１００の発話を終了しない場合（ステップＳ１０７のＮＯ）には、音制御部１１０は、ステップＳ１０６の処理に戻る。ロボット１００の発話を終了する場合（ステップＳ１０７のＹＥＳ）には、音制御部１１０は、会話情報の生成を停止することに応じて音信号の出力を停止する。
【００４９】
次に、ロボット１００は、複数の利用者と会話を行う会話動作を終了するか否かを判断する（ステップＳ１０８）。ここで、会話動作を終了しないと判断した場合（ステップＳ１０８のＮＯ）には、ステップＳ１０１の処理に戻る。会話動作を終了すると判断した場合（ステップＳ１０８のＹＥＳ）には、ロボット１００は、会話動作を終了する。例えば、利用者が電源スイッチ（図示せず）を入れたタイミングや会話モードのスイッチ（図示せず）をオンにしたタイミングで、ロボット１００は、会話動作を開始し、利用者が電源スイッチを切ったタイミングや会話モードのスイッチをオフにしたタイミングで、ロボット１００は、会話動作を終了する。
【００５０】
以上に説明したとおり、第１の実施形態におけるロボット１００は、複数の利用者と会話する際に、各利用者の次話者確率に基づいて、各利用者が発話する可能性の低い、より適切なタイミングで発話を行うことができる。これにより、ロボット１００は、他の利用者と発話のタイミングが重なる発話衝突の発生を低減した発話を行うことができる。また、発話中のロボット１００は、各利用者の次話者確率に基づいて、利用者の内の誰かが発話をしそうな場合には、発話を終了することができる。
【００５１】
（第２の実施形態）
第２の実施形態におけるロボット１００Ａについて説明する。第２の実施形態におけるロボット１００Ａが、第１の実施形態におけるロボット１００と異なる点は、ロボット１００Ａ自身の動き（呼吸動作、視線動作、頭部動作）からロボット１００Ａ自身の次話者確率ＰｎｓＲ（ｔ）を求める点と、求めた次話者確率ＰｎｓＲ（ｔ）と他の利用者の次話者確率とに基づいて、ロボット１００Ａの発話を制御する点である。
【００５２】
また、第２の実施形態におけるロボット１００Ａは、会話中に、会話中の人間同様の動きを行う点でも異なる。ロボット１００Ａは、会話中に、呼吸音を発したり胸の膨らみを変化させたりする呼吸動作、視線を現話者に向ける等の視線動作、会話に応じて頷いたりする頭部動作を行う。
【００５３】
図７は、第２の実施形態におけるロボット１００Ａが備える機能構成の概略を示す図である。図７に示す第２の実施形態におけるロボット１００Ａは、第１の実施形態におけるロボット１００と同じ構成要素を含む。よって、ロボット１００Ａの説明においては、第１の実施形態におけるロボット１００と同じ構成要素については、同じ符号を付与して説明を省略する。
【００５４】
図７に示すように、ロボット１００Ａは、マイク１０１と、カメラ１０２と、センサ１０３と、音声入力部１０４と、映像入力部１０５と、センサ入力部１０６と、発話区間検出部１０７と、次話者推定部１０８Ａと、制御部１０９Ａと、音制御部１１０Ａと、口部制御部１１１と、視線制御部１１２と、頭部制御部１１３と、胴部制御部１１４と、スピーカ１１５と、口部駆動部１１６と、眼部駆動部１１７と、頭部駆動部１１８と、胴部駆動部１１９とを備える。
【００５５】
次話者推定部１０８Ａは、音声入力部１０１からの音声信号と、映像入力部１０２からの映像信号と、センサ入力部１０６からのセンサ信号と、発話区間検出部１０７からの発話区間情報と、制御部１０９Ａからの疑似センサ信号とを入力とし、各利用者及びロボット１００Ａが時刻ｔに次話者となる確率である次話者確率を出力する。疑似センサ信号は、制御部１０９Ａが生成する動作制御信号に基づいてロボット１００Ａを動作させ、かつ、そのロボット１００Ａの動作をセンサ１０３で検出したと仮定した場合に、センサ１０３が出力するセンサ信号である。
【００５６】
次話者推定部１０８Ａは、音声信号、映像信号、センサ信号及び発話区間情報に基づいて、発話区間情報で特定される発話区間の発話者を示す発話者情報を取得する。次話者推定部１０８Ａは、音声信号、映像信号、センサ信号、疑似センサ信号及び取得した発話者情報に基づいて、ロボット１００Ａ及び各利用者ｉが時刻ｔに次話者となる確率である次話者確率Ｐｎｓｉ（ｔ）を算出して、制御部１０９Ａへ出力する。次話者推定部１０８Ａは、次話者確率Ｐｎｓｉ（ｔ）の他に、発話者情報及び利用者の位置情報を制御部１０９Ａへ出力する。
【００５７】
次話者推定部１０８Ａは、利用者の位置情報を、例えば、センサ１０３からの利用者の位置を計測したセンサ信号に基づいて取得してもよいし、映像信号に基づいて取得してもよいし、センサ１０３からの利用者の位置を計測したセンサ信号及び映像信号に基づいて取得してもよい。
【００５８】
制御部１０９Ａは、次話者推定部１０８Ａからの次話者確率Ｐｎｓｉ（ｔ）、発話者情報及び利用者の位置情報を入力とし、発話制御信号及び動作制御信号を出力する。制御部１０９Ａは、次話者推定部１０８Ａからのロボット１００Ａ及び各利用者の次話者確率に基づいて、ロボット１００Ａに発話を行わせるか否かを制御する発話制御信号を生成し、生成した発話制御信号を音制御部１１０Ａへ出力する。制御部１０９Ａは、生成した発話制御信号と、発話者情報と、利用者の位置情報とに基づいて、動作制御信号を生成し、生成した動作制御信号を口部制御部１１１、視線制御部１１２、頭部制御部１１３及び胴部制御部１１４へ出力する。
【００５９】
制御部１０９Ａは、動作制御信号に基づいて疑似センサ信号を生成し、生成した疑似センサ信号を次話者推定部１０８Ａへ出力する。これにより、次話者推定部１０８Ａは、ロボット１００Ａが時刻ｔに次話者となる確率である次話者確率ＰｎｓＲ（ｔ）を推定することができる。なお、第２の実施形態における制御部１０９Ａは、疑似センサ信号を生成する構成であるが、この構成に限られるものではない。例えば、制御部１０９Ａは、疑似センサ信号を生成する機能を有さずに、次話者推定部１０８Ａが、ロボット１００Ａの動作制御信号から疑似センサ信号を生成する機能を有する構成としてもよい。また、次話者推定部１０８Ａにおいて、ロボット１００Ａの動作制御信号に基づいてロボット１００Ａの次話者確率を推定する構成としてもよい。
【００６０】
制御部１０９Ａは、ロボット１００Ａの次話者確率ＰｎｓＲ（ｔ）と、全利用者の次話者確率との関係に応じて、ロボット１００Ａの発話を制御する発話制御信号を出力する。例えば、制御部１０９Ａは、ロボット１００Ａの次話者確率ＰｎｓＲ（ｔ）が、全利用者の次話者確率以下の値であれば、ロボット１００Ａに発話させないように制御する発話制御信号を出力する。制御部１０９Ａは、ロボット１００Ａの次話者確率ＰｎｓＲ（ｔ）が、全利用者の次話者確率より大きい値であれば、ロボット１００Ａに発話させるように制御する発話制御信号を出力する。これにより、ロボット１００Ａは、自身の次話者確率が高く、他の利用者における次話者確率が低いタイミングで、発話を開始することができる。このように、ロボット１００は、複数の利用者と会話する際に、より適切なタイミングで発話を行うことができる。
【００６１】
制御部１０９Ａは、具体的には、以下に示す第５制御方法〜第８制御方法の４つの制御方法のいずれかを用いてロボット１００Ａの発話の制御を行う。なお、以下の説明においては、利用者Ａ、Ｂ、Ｃ、Ｄの４名とロボット１００ＡであるＲとが会話を行う場合について説明する。
【００６２】
（第５制御方法）
制御部１０９Ａは、次話者推定部１０８Ａから、時刻ｔにおける利用者Ａ〜Ｄ及びロボット１００ＡであるＲの次話者確率Ｐｎｓｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ，Ｒ｝）を取得する。制御部１０９Ａは、ロボット１００Ａの次話者確率ＰｎｓＲ（ｔ）と、利用者Ａ〜Ｄの次話者確率ＰｎｓＡ（ｔ）、ＰｎｓＢ（ｔ）、ＰｎｓＣ（ｔ）、ＰｎｓＤ（ｔ）とを比較して、ＰｎｓＲ（ｔ）が最大であると判断した場合は、ロボット１００Ａに時刻ｔで発話させるよう制御する発話制御信号を出力する。制御部１０９Ａは、上記比較においてＰｎｓＲ（ｔ）が最大でないと判断した場合は、ロボット１００Ａに発話させないよう制御する発話制御信号を出力する。
【００６３】
（第６制御方法）
制御部１０９Ａは、次話者推定部１０８Ａから取得した時刻ｔにおけるロボット１００Ａ及び利用者Ａ〜Ｄの次話者確率Ｐｎｓｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ，Ｒ｝）を、時刻ｔについて所定時間（例えば、３〜４秒以上の時間）積分して、積分値Ｐｎｓｉを取得する。制御部１０９Ａは、ロボット１００Ａの積分値ＰｎｓＲと、利用者Ａ〜Ｄの積分値ＰｎｓＡ、ＰｎｓＢ、ＰｎｓＣ、ＰｎｓＤとを比較して、ＰｎｓＲが最大であると判断した場合は、ロボット１００ＡにＰｎｓＲ（ｔ）が最大となる時刻ｔで発話させるよう制御する発話制御信号を出力する。制御部１０９Ａは、上記比較において、ＰｎｓＲが最大でないと判断した場合は、ロボット１００Ａに発話させないよう制御する発話制御信号を出力する。
【００６４】
（第７制御方法）
制御部１０９Ａは、次話者推定部１０８Ａから、時刻ｔにおける利用者Ａ〜Ｄ及びロボット１００ＡであるＲの次話者確率Ｐｎｓｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ，Ｒ｝）を取得する。制御部１０９Ａは、利用者全員の次話者確率を加算した加算値（ＰｎｓＡ（ｔ）＋ＰｎｓＢ（ｔ）＋ＰｎｓＣ（ｔ）＋ＰｎｓＤ（ｔ））を取得する。制御部１０９Ａは、加算値（ＰｎｓＡ（ｔ）＋ＰｎｓＢ（ｔ）＋ＰｎｓＣ（ｔ）＋ＰｎｓＤ（ｔ））と、ロボット１００Ａの次話者確率ＰｎｓＲ（ｔ）に定数ιを乗算したＰｎｓＲ（ｔ）・ιとを比較する（ιは正の値となる任意の定数）。制御部１０９Ａは、（ＰｎｓＡ（ｔ）＋ＰｎｓＢ（ｔ）＋ＰｎｓＣ（ｔ）＋ＰｎｓＤ（ｔ））≧ＰｎｓＲ（ｔ）・ιと判断した場合は、ロボット１００Ａに発話させないよう制御する発話制御信号を出力する。制御部１０９Ａは、（ＰｎｓＡ（ｔ）＋ＰｎｓＢ（ｔ）＋ＰｎｓＣ（ｔ）＋ＰｎｓＤ（ｔ））＜ＰｎｓＲ（ｔ）・ιと判断した場合は、ロボット１００Ａに時刻ｔで発話させるよう制御する発話制御信号を出力する。なお、定数ιは、例えば、利用者の人数と同じ値としてもよく、ロボット１００Ａの発話機会を増やしたければより大きな値としてもよく、ロボット１００Ａの発話を控えめにしたければより小さい値としてもよい。
【００６５】
（第８制御方法）
制御部１０９Ａは、次話者推定部１０８Ａから取得した時刻ｔにおけるロボット１００Ａ及び利用者Ａ〜Ｄの次話者確率Ｐｎｓｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ，Ｒ｝）を、時刻ｔについて所定時間（例えば、３〜４秒以上の時間）積分して、積分値Ｐｎｓｉを取得する。制御部１０９Ａは、利用者全員の積分値Ｐｎｓｉを加算した加算値（ＰｎｓＡ＋ＰｎｓＢ＋ＰｎｓＣ＋ＰｎｓＤ）を取得する。発話制御部１０９は、加算値（ＰｎｓＡ＋ＰｎｓＢ＋ＰｎｓＣ＋ＰｎｓＤ）と、ロボット１００Ａの積分値ＰｎｓＲに定数ζを乗算したＰｎｓＲ・ζとを比較する（ζは正の値となる任意の定数）。制御部１０９Ａは、（ＰｎｓＡ＋ＰｎｓＢ＋ＰｎｓＣ＋ＰｎｓＤ）≧ＰｎｓＲ・ζと判断した場合は、ロボット１００Ａに発話させないよう制御する発話制御信号を出力する。制御部１０９Ａは、（ＰｎｓＡ＋ＰｎｓＢ＋ＰｎｓＣ＋ＰｎｓＤ）＜ＰｎｓＲ・ζと判断した場合は、ロボット１００にＰｎｓＲ（ｔ）が最大となる時刻ｔで発話させるよう制御する発話制御信号を出力する。
【００６６】
次話者確率Ｐｎｓｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ，Ｒ｝）は、図３に示したように、発話終了から所定時間後にピークを有する場合が多い。そこで、制御部１０９Ａは、第５制御方法〜第８制御方法において、次話者確率Ｐｎｓｉ（ｔ）を求める時刻ｔを含む窓幅を設けて、その窓幅の中における次話者確率の最大値を、時刻ｔにおける次話者確率Ｐｎｓｉ（ｔ）として出力するようにしてもよい。また、制御部１０９Ａは、第５制御方法〜第８制御方法において、次話者確率Ｐｎｓｉ（ｔ）を求める時刻ｔを含む窓幅を設けて、その窓幅の中における次話者確率に複数のピークがある場合に、ｎ番目（ｎは１以上の整数）のピークの次話者確率を、時刻ｔにおける次話者確率Ｐｎｓｉ（ｔ）として出力するようにしてもよい。
【００６７】
音制御部１１０Ａは、音声入力部１０４からの音声信号と、発話区間検出部１０７からの発話区間情報と、制御部１０９Ａからの発話制御信号とに基づいて、スピーカ１１５に対して音信号を出力する。音制御部１１０Ａは、発話制御信号に基づいて、ロボット１００Ａに発話を行わせるか否かを判断する。音制御部１１０Ａは、発話制御信号に基づいて、ロボット１００Ａに発話を行わせると判断した場合には、ロボット１００Ａに発話させる会話内容（言葉）を含む会話情報を生成し、生成した会話情報に基づいた音信号を出力する。音制御部１１０Ａは、例えば、音声信号及び発話区間情報に基づいて利用者の会話内容を解析し、解析結果に基づいて、ロボット１００Ａに発話させるための会話情報を生成する。
【００６８】
口部制御部１１１は、制御部１０９Ａからの動作制御信号に基づいて、口部駆動部１１６に対して口部駆動信号を出力する。視線制御部１１２は、制御部１０９Ａからの動作制御信号に基づいて、眼部駆動部１１７に対して眼部駆動信号を出力する。頭部制御部１１３は、制御部１０９Ａからの動作制御信号に基づいて、頭部駆動部１１８に対して頭部駆動信号を出力する。胴部制御部１１４は、制御部１０９Ａからの動作制御信号に基づいて、胴部駆動部１１９に対して胴部駆動信号を出力する。
【００６９】
第２の実施形態におけるロボット１００Ａの外観は、図２に示したロボット１００と同一である。ここで、図２を用いてロボット１００Ａが備える口部駆動部１１６、眼部駆動部１１７、頭部駆動部１１８及び胴部駆動部１１９の配置と駆動する対象について説明する。頭部２３は、右目２１ａ及び左目２１ｂの黒目（視線）を移動させる眼部駆動部１１７と、口部２２の開閉を行う口部駆動部１１６とを備える。
【００７０】
頸部２４は、頭部２３に対して所定の動き（例えば、頷かせたり、顔の方向を変えたりする動き）を行わせる頭部駆動部１１８を備え、頭部２３を支持する。胴部２５は、呼吸をしているかのように、肩を動かしたり、胸の部分を膨らませたりする胴部駆動部１１９を備える。口部駆動部１１６は、口部制御部１１１からの口部駆動信号に基づいてロボット１００Ａの口部２２の開閉を行う。眼部駆動部１１７は、視線制御部１１２からの眼部駆動信号に基づいてロボット１００Ａの眼部２１における黒目の方向（＝ロボット１００の視線の方向）を制御する。
【００７１】
頭部駆動部１１８は、頭部制御部１１３からの頭部駆動信号に基づいてロボット１００Ａの頭部２３の動きを制御する。胴部駆動部１１９は、胴部制御部１１４からの胴部駆動信号に基づいてロボット１００の胴部２５の形状を制御する。また、胴部駆動部１１９は、胴部制御部１１４からの胴部駆動信号に基づいてロボット１００の右腕２５ａ及び左腕２５ｂの動きも制御する。
【００７２】
第２の実施形態における制御部１０９Ａの構成の詳細について一例を示して説明する。
図８は、第２の実施形態における制御部１０９Ａの構成の詳細の具体例を示す図である。制御部１０９Ａは、発話制御部３０１と、動作パターン情報格納部３０２と、動作制御部３０３と、センサ信号変換部３０４とを備える。発話制御部３０１は、ロボット１００Ａの発話を制御する発話制御信号を出力する。
【００７３】
発話制御部３０１は、次話者推定部１０８Ａからの次話者確率を入力とし、音制御部１１０Ａに対して発話制御信号を出力する。発話制御部３０１は、次話者推定部１０８Ａからのロボット１００Ａ及び各利用者の次話者確率に基づいて、上述した第５制御方法〜第８制御方法の４つの制御方法のいずれかを用いてロボット１００Ａの発話の制御を行う発話制御信号を出力する。発話制御部３０１は、動作制御部３０３に対しても発話制御信号を出力する。発話制御部３０１は、動作制御部３０３からの呼吸音やフィラーを発音するよう指示する発音指示信号に応じて、その発音指示信号を音制御部１１０Ａへ出力する。ここで、フィラーとは、言い淀み時などに出現する場つなぎのための発声であり、例えば、「あのー」、「そのー」、「えっと」、等の音声である。
【００７４】
動作パターン情報格納部３０２は、ロボット１００Ａが会話中に行う動作の動作パターンの情報である動作パターン情報を格納する。動作パターン情報格納部３０２は、例えば、発話を開始する前に、これから発話を行うことを周りの人に察知させるよう人が行っている動作と同様の動作をロボット１００Ａに行わせる動作パターン情報を格納している。
【００７５】
複数人が会話している際に、非話者である人が次話者として発話する直前に行う行動を解析した結果、以下の（１）〜（３）の行動が「次は私が話を始めます」ということを周囲に示す行動であると考えられる。
（１）吸気音又はフィラーを発声する
（２）現話者に視線向ける
（３）現話者の会話に頷く
【００７６】
上述した解析結果を参考にして、制御部１０９Ａは、ロボット１００Ａの発話前に、ロボット１００Ａに上述した（１）〜（３）の動作を行わせるよう制御することで、ロボット１００がもうすぐ発話を開始することを利用者に予見させることができる。ロボット１００Ａが上述した（１）〜（３）の動作を行うと次話者推定部１０８Ａが推定するロボット１００Ａの次話者確率ＰｎｓＲ（ｔ）が上昇する。すなわち、発話を行うことを周りの人に察知させる動作とは、例えば、現話者に視線を移動させる動作、頭を頷かせる動作、吸気音とともに吸気する動作等を含む。
【００７７】
制御部１０９Ａは、以下の参考文献に記載の技術を用いてロボット１００Ａに上述した（１）〜（３）の動作を行わせるよう制御してもよい。
（１）の吸気音を発声する動作をロボット１００Ａに行わせるための技術として以下の参考文献２に記載された公知技術がある。
参考文献２：吉田直人、外３名、“吐息と腹部運動を伴う呼吸表現に関する因子分析に基づいた生物的身体感情インタラクションの設計”、ＨＡＩシンポジウム２０１４、２０１４年
（２）の現話者に視線を向ける動作をロボット１００Ａに行わせるための技術として以下の参考文献３に記載された公知技術がある。
参考文献３：石井 亮、外２名、“アバタ音声チャットシステムにおける会話促進のための注視制御”、ヒューマンインタフェース学会論文誌、２００８年
（３）の現話者の会話に頷く動作をロボット１００Ａに行わせるための技術として以下の参考文献４に記載された公知技術がある。
参考文献４：渡辺富夫、外３名、“InterActorを用いた発話音声に基づく身体的インタラクションシステム”、ヒューマンインタフェース学会論文誌、Ｖｏｌ．２、Ｎｏ．２、ｐｐ．２１−２９、２０００年
【００７８】
動作制御部３０３は、発話制御部３０１からの発話制御信号と、次話者推定部１０８Ａからの発話者情報及び利用者の位置情報とに基づいて、動作パターン情報格納部３０２から動作パターン情報を取得して動作制御信号を生成し、生成した動作制御信号を口部制御部１１１、視線制御部１１２、頭部制御部１１３及び胴部制御部１１４へ出力する。動作制御部３０３は、動作パターン情報に応じて、呼吸音やフィラーを発音するよう指示する発音指示信号を発話制御部３０１へ出力する。位置計測装置２０１は、利用者の位置情報として、利用者の顔の位置を特定する位置情報を取得する機能を有してもよい。これにより、ロボット１００は、利用者の位置情報として、利用者の顔の位置を特定する位置情報を用いることで、例えば、現話者の顔に対してのロボット１００の顔および視線を向ける動作を行うことができる。
【００７９】
第２の実施形態における音制御部１１０Ａの構成の詳細について一例を示して説明する。
図９は、第２の実施形態における音制御部１１０Ａの構成の詳細の具体例を示す図である。図９に示す第２の実施形態における音制御部１１０Ａは、第１の実施形態における音制御部１１０と同じ構成要素を含む。よって、音制御部１１０Ａの説明においては、第１の実施形態における音制御部１１０と同じ構成要素については、同じ符号を付与して説明を省略する。
【００８０】
音制御部１１０Ａは、音声解析部４０１と、会話情報生成部４０２と、会話情報ＤＢ４０３Ａと、発声情報生成部４０４Ａと、音信号生成部４０５とを備える。
【００８１】
会話情報ＤＢ４０３Ａは、上述した第１の実施形態の会話情報ＤＢ４０３が格納していた会話サンプル情報に加えて、更に呼吸音情報及びフィラー情報を格納する。呼吸音情報は、ロボット１００Ａに発音させる呼吸音の情報である。呼吸音情報は、例えば、「スーッ」又は「シュー」という人が吸気する際に出す吸気音の音声信号を含む情報である。フィラー情報は、ロボット１００に発音させるフィラーの情報であるフィラー情報を格納する。フィラー情報は、「あのー」、「そのー」、「えっと」等のフィラーの音声信号を含む情報である。
【００８２】
発声情報生成部４０４Ａは、上述した第１の実施形態の発声情報生成部４０４の機能に加えて、制御部１０９Ａからの呼吸音やフィラーを発音するよう指示する発音指示信号に応じて、会話情報生成部４０２に対して呼吸音やフィラーを発音する会話情報を要求する。これにより、会話情報生成部４０２は、呼吸音やフィラーを発音するための音声信号を含む呼吸音情報やフィラー情報を会話情報ＤＢ４０３Ａから参照して、呼吸音やフィラーを発音する会話情報を発声情報生成部４０４Ａへ出力する。発声情報生成部４０４Ａは、要求に応じて会話情報生成部４０２から取得した呼吸音やフィラーを発音する会話情報に基づいて、ロボット１００に呼吸音やフィラーを発声させるための発話信号を生成する。発声情報生成部４０４は、生成した発話信号を音信号生成部４０５へ出力する。
【００８３】
以上の構成により、ロボット１００Ａは、発話を行いたい場合に、発話前に、動作制御信号に基づいて視線を利用者に向けたり、呼吸音やフィラーを発音したりすることができる。これにより、ロボット１００Ａの次話者確率ＰｎｓＲ（ｔ）が上昇するので、制御部１０９Ａが、ロボット１００Ａに発話させる発話制御情報を出力する可能性が高まる。利用者は、ロボット１００が発話を開始する前に、ロボット１００がまもなく発話することを予見することができる。この予見により、利用者とロボット１００との発話衝突を防ぎ、スムーズな会話を実現することができる。
【００８４】
図１０は、第２の実施形態におけるロボット１００Ａの会話前動作の具体例を示す図である。図１０に示すとおり、ロボット１００Ａと発話中の利用者である現話者６０とがいる場合の具体例について説明する。図１０の左側は、現話者６０の話をロボット１００Ａが聞いている状態を示している。図１０の右側は、ロボット１００Ａが発話を開始する直前の動作を示している。図１０に示すとおり、ロボット１００は、発話開始の直前に、頭部５３を矢印６１に示す方向に回転させることで、視線を現話者６０に向ける。その頭部５３の回転と同時又は前後して口部５２内にあるスピーカ１１５から「スーッ」という吸気音６２を発音する。これにより、ロボット１００Ａの次話者確率ＰｎｓＲ（ｔ）を上昇するので、ロボット１００Ａの発話の可能性を高めることができる。現話者６０は、ロボット１００Ａがもうすぐ発話することを予見することができる。すなわち、ロボット１００Ａは、より適切なタイミングで発話を行うことができる。
【００８５】
次に、第２の実施形態におけるロボット１００Ａの会話動作について説明する。
図１１は、第２の実施形態におけるロボット１００Ａの会話動作を示すフロー図である。図１１に示す処理は、図６に示した処理と同様に、ロボット１００Ａにおいて、複数の利用者と会話を行う動作を開始した際に行う処理である。
【００８６】
音声入力部１０４は、マイク１０１からの音声信号が入力され、映像入力部１０５は、カメラ１０２からの映像信号が入力され、センサ入力部１０６は、センサ１０３からのセンサ信号が入力される。また、制御部１０９Ａの制御によりロボット１００Ａの会話動作を行う（ステップＳ２０１）。ロボット１００Ａの会話動作には、上述した（１）〜（３）の動作が含まれる。このロボット１００Ａの会話動作に応じて、制御部１０９Ａは、疑似センサ信号を次話者推定部１０８Ａに出力する。
【００８７】
発話区間検出部１０７は、音声入力部１０４からの音声信号に基づいて、音声特徴量を算出し、算出した音声特徴量と所定の閾値を比較して発話区間を検出する（ステップＳ２０２）。次話者推定部１０８Ａは、音声信号、映像信号、センサ信号、疑似センサ信号及び発話者情報に基づいて、ロボット１００Ａ及び各利用者ｉが時刻ｔに次話者となる確率である次話者確率Ｐｎｓｉ（ｔ）を算出する（ステップＳ２０３）。
【００８８】
制御部１０９Ａは、次話者推定部１０８Ａからのロボット１００Ａ及び各利用者の次話者確率に基づいて、発話制御信号を出力する（ステップＳ２０４）。音制御部１１０Ａは、制御部１０９Ａからの発話制御信号に基づいて、ロボット１００Ａに発話を行わせるか否かを判断する（ステップＳ２０５）。ここで、ロボット１００Ａに発話を行わせないと判断した場合（ステップＳ２０５のＮＯ）には、ステップＳ２０１の処理に戻る。ロボット１００Ａに発話を行わせると判断した場合（ステップＳ１０５のＹＥＳ）には、音制御部１１０Ａは、ロボット１００Ａに発話させるための会話情報を生成し、生成した会話情報に基づいた音信号をスピーカ１１５へ出力する（ステップＳ２０６）。これにより、ロボット１００Ａは、音信号に応じた発話をスピーカ１１５から発音する。
【００８９】
音制御部１１０Ａは、制御部１０９Ａからの発話制御信号に基づいて、ロボット１００Ａの発話を終了するか否かを判断する（ステップＳ２０７）。ここで、ロボット１００Ａの発話を終了しない場合（ステップＳ２０７のＮＯ）には、音制御部１１０Ａは、ステップＳ２０６の処理に戻る。ロボット１００Ａの発話を終了する場合（ステップＳ２０７のＹＥＳ）には、音制御部１１０Ａは、会話情報の生成を停止することに応じて音信号の出力を停止する。
【００９０】
次に、ロボット１００Ａは、複数の利用者と会話を行う会話動作を終了するか否かを判断する（ステップＳ２０８）。ここで、会話動作を終了しないと判断した場合（ステップＳ２０８のＮＯ）には、ステップＳ２０１の処理に戻る。会話動作を終了すると判断した場合（ステップＳ２０８のＹＥＳ）には、ロボット１００Ａは、会話動作を終了する。
【００９１】
以上に説明したとおり、第２の実施形態におけるロボット１００Ａは、複数の利用者と会話する際に、ロボット１００Ａの次話者確率と、各利用者の次話者確率との比較に基づいて、より適切なタイミングで発話を行うことができる。これにより、ロボット１００Ａは、他の利用者と発話のタイミングが重なる発話衝突の発生を低減した発話を行うことができる。また、ロボット１００Ａは、発話前にこれから発話を行うことを周りの人に察知させる動作を行うことで、より確実に発話衝突の発生を低減した発話を行うことができる。
【００９２】
（第２の実施形態の変形例）
第２の実施形態の変形例は、ロボット１００Ａの発話の必要性を表す指標であり、発話の必要性が高いほど大きな値となる、発話必要度を算出し、算出した発話必要度を用いて、ロボット１００Ａの次話者確率を変更する構成である。ロボット１００Ａは、公知の音声認識技術を用いて利用者の発話の内容を取得して、取得した発話内容に応じて発話必要度を算出する。
発話必要度の具体的な算出方法として、「発話内容」、「相手との関係」及び「発話者の性格」に基づいて、発話必要度を示す発話レベルＵＬを算出する方法が、以下の参考文献５に記載されている。
参考文献５：河添 麻衣子、北村 泰彦“発話タイミングを考慮したマルチエージェント対話システム”、電子情報通信学会技術研究報告、ＡＩ、人工知能と知識処理、１０６（６１７）、ｐｐ５３−５６、２００７年３月２１日
【００９３】
制御部１０９Ａは、発話レベルＵＬを用いて例えば、下記の式により上述した第５制御方法又は第７制御方法で用いる次話者確率ＰｎｓＲ（ｔ）の代わりのＰｎｓＲ（ｔ）’を求める。
ＰｎｓＲ（ｔ）’＝ＰｎｓＲ（ｔ）・ＵＬ・ζ（ζは任意の定数）
なお、上記式の変形例として以下の式を用いてもよい。
ＰｎｓＲ（ｔ）’＝ＰｎｓＲ（ｔ）＋ＵＬ・ζ（ζは任意の定数）
【００９４】
制御部１０９Ａは、発話レベルＵＬを用いて例えば、下記の式により上述した第６制御方法又は第８制御方法で用いる積分値ＰｎｓＲの代わりのＰｎｓＲ’を求める。
ＰｎｓＲ’＝ＰｎｓＲ・ＵＬ・ζ（ζは任意の定数）
なお、上記式の変形例として以下の式を用いてもよい。
ＰｎｓＲ’＝ＰｎｓＲ＋ＵＬ・ζ（ζは任意の定数）
【００９５】
このように発話必要度に応じて変化する次話者確率に基づいて発話を制御することにより、ロボット１００Ａは、発話が必要な際により発話を行うようになり、発話が不必要な時は、より発話を行わないようになる。すなわち、ロボット１００Ａは、より適切なタイミングで発話を行うことができる。
【００９６】
（第１、第２の実施形態に共通の次話者を推定する処理の具体例）
次に、上述した第１の実施形態におけるロボット１００および第２の実施形態におけるロボット１００Ａに共通である次話者を推定する処理の具体例について説明する。ロボット１００及びロボット１００Ａにおける次話者推定には、例えば、以下の参考文献６、７の技術などを適用することができるが、任意の既存の技術を利用してもよい。参考文献６、７記載の技術を利用した場合は、注視対象検出装置２０３が出力する注視対象情報に基づく発話者と非発話者の注視行動の遷移パターンを用いて、次話者推定部１０８又は次話者推定部１０８Ａは、次発話者および発話のタイミングを予測する。
【００９７】
参考文献６：特開２０１４−２３８５２５号公報
参考文献７：石井亮、外４名、“複数人対話における注視遷移パターンに基づく次話者と発話タイミングの予測”、人工知能学会研究会資料、SIG-SLUD-B301-06、pp.27-34、2013年
【００９８】
以下に、本実施形態に適用可能な参考文献６、７以外の次話者推定技術の例を示す。
会話の利用者の呼吸動作は次発話者と発話のタイミングに深い関連性がある。このことを利用して、会話の利用者の呼吸動作をリアルタイムに計測し、計測された呼吸動作から発話の開始直前に行われる特徴的な呼吸動作を検出し、この呼吸動作を基に次発話者とその発話タイミングを高精度に算出する。具体的には、発話開始直前におこなわれる呼吸動作の特徴として、発話を行っている発話者は、継続して発話する際（発話者継続時）には、発話終了直後にすぐに急激に息を吸い込む。逆に発話者が次に発話を行わない際（発話者交替時）には、発話者継続時に比べて、発話終了時から間を空けて、ゆっくりと息を吸い込む。また、発話者交替時に、次に発話をおこなう次発話者は、発話を行わない非発話者に比べて大きく息を吸い込む。このような発話の前におこなわれる呼吸は、発話開始に対しておおよそ決められたタイミングで行われる。このように、発話の直前に次発話者は特徴的な息の吸い込みを行うため、このような息の吸い込みの情報は、次発話者とその発話タイミングを予測するのに有用である。本次話者推定技術では、人物の息の吸い込みに着目し、息の吸い込み量や吸い込み区間の長さ、タイミングなどの情報を用いて、次発話者と発話タイミングを予測する。
【００９９】
以下では、Ａ人の利用者Ｐ１，…，ＰＡが対面コミュニケーションを行う状況を想定する。利用者Ｐａ（ただし、ａ＝１，…，Ａ、Ａ≧２）には呼吸動作計測装置２０２およびマイク１０１が装着される。呼吸動作計測装置２０２は、利用者Ｐａの呼吸動作を計測し、各離散時刻ｔでの計測結果を表す呼吸情報Ｂａ，ｔを得て、次話者推定部１０８又は次話者推定部１０８Ａに出力する。呼吸動作計測装置２０２が、バンド式の呼吸装置を備える構成について説明する。バンド式の呼吸装置は、バンドの伸縮の強さによって呼吸の深さの度合いを示す値を出力する。息の吸い込みが大きいほどバンドの伸びが大きくなり、逆に息の吐き出しが大きいほどバンドの縮みが大きくなる（バンドの伸びが小さくなる）。以降、この値をＲＳＰ値と呼ぶ。なお、ＲＳＰ値は、バンドの伸縮の強さに応じて利用者Ｐａごとに異なる大きさを取る。そこで、これに起因するＰａごとのＲＳＰ値の相違を排除するために、各利用者ＰａのＲＳＰ値の平均値μａと標準偏差値δａを用いて、μａ+δａが１、μａ−δａが−１になるように利用者ＰａごとにＲＳＰ値を正規化する。これによって、すべての利用者Ｐａの呼吸動作データを同一に分析することが可能となる。各呼吸動作計測装置２０２は、正規化されたＲＳＰ値を呼吸情報Ｂａ，ｔとして次話者推定部１０８又は次話者推定部１０８Ａに送る。
【０１００】
さらに、マイク１０１は、利用者Ｐａの音声を取得し、各離散時刻ｔでの利用者Ｐａの音声を表す音声信号Ｖａ，ｔを得て、次話者推定部１０８又は次話者推定部１０８Ａに出力する。次話者推定部１０８又は次話者推定部１０８Ａは、入力された音声信号Ｖａ，ｔ（ただし、ａ＝１，…，Ａ）から雑音を除去し、さらに発話区間Ｕｋ（ただし、ｋは発話区間Ｕｋの識別子）とその発話者Ｐｕｋとを抽出する。ただし、「Ｐｕｋ」の下付き添え字はｕｋ＝１，…，Ａを表す。１つの発話区間ＵｋをＴｄ［ｍｓ］連続した無音区間で囲まれた区間と定義し、この発話区間Ｕｋを発話の一つの単位と規定する。これにより、次話者推定部１０８又は次話者推定部１０８Ａは、各発話区間Ｕｋを表す発話区間情報、およびその発話者Ｐｕｋを表す発話者情報（利用者Ｐ１，…，ＰＡのうち何れが発話区間Ｕｋでの発話者Ｐｕｋであるかを表す発話者情報）を得る。
【０１０１】
次話者推定部１０８又は次話者推定部１０８Ａは、各利用者Ｐａの呼吸情報Ｂａ，ｔを用いて、各利用者Ｐａの息の吸い込み区間Ｉａ，ｋを抽出し、さらに息の吸い込みに関するパラメータλａ，ｋを取得する。息の吸い込み区間とは、息を吐いている状態から、息を吸い込みだす開始位置と、息を吸い込み終わる終了位置との間の区間を示す。
【０１０２】
図１２は、息の吸い込み区間の例を示す図である。図１２を用いて、息の吸い込み区間Ｉａ，ｋの算出方法を例示する。ここで利用者Ｐａの離散時刻ｔでのＲＳＰ値をＲａ，ｔと表記する。ＲＳＰ値Ｒａ，ｔは呼吸情報Ｂａ，ｔに相当する。図１２に例示するように、例えば、以下の（式１）が成り立つとき、
【０１０３】
【数１】
0006480351.tif 000002
【０１０４】
離散時刻ｔ＝ｔｓ（ｋ）の前２フレームでＲＳＰ値Ｒａ，ｔが連続して減少し、その後２フレームでＲＳＰ値Ｒａ，ｔが連続して上昇しているから、離散時刻ｔｓ（ｋ）を息の吸い込みの開始位置とする。さらに、以下の（式２）が成り立つとき、
【０１０５】
【数２】
0006480351.tif 000003
【０１０６】
離散時刻ｔ＝ｔｅ（ｋ）の前２フレームのＲＳＰ値Ｒａ，ｔが連続して上昇し、その後２フレームのＲＳＰ値Ｒａ，ｔが連続して減少しているから、離散時刻ｔｅ（ｋ）を息の吸い込みの終了位置とする。このとき、利用者Ｐａの息の吸い込み区間Ｉａ，ｋはｔｓ（ｋ）からｔｅ（ｋ）までの区間となり、息の吸い込み区間の長さはｔｅ（ｋ）−ｔｓ（ｋ）となる。
【０１０７】
次話者推定部１０８又は次話者推定部１０８Ａは、息の吸い込み区間Ｉａ，ｋが抽出されると、息の吸い込み区間Ｉａ，ｋ、呼吸情報Ｂａ，ｔ、および発話区間Ｕｋの少なくとも一部を用い、息の吸い込みに関するパラメータλ’ａ，ｋを抽出する。パラメータλ’ａ，ｋは、利用者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込みの量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部を表す。パラメータλ’ａ，ｋは、これらの一つのみを表してもよいし、これらのうち複数を表してもよいし、これらすべてを表してもよい。パラメータλ’ａ，ｋは、例えば以下のパラメータＭＩＮａ，ｋ，ＭＡＸａ，ｋ，ＡＭＰａ，ｋ，ＤＵＲａ，ｋ，ＳＬＯａ，ｋ，ＩＮＴ１ａ，ｋの少なくとも一部を含む。パラメータλ’ａ，ｋは、これらの１つのみを含んでいてもよいし、これらのうち複数を含んでいてもよいし、これらのすべてを含んでいてもよい。
・ＭＩＮａ，ｋ：利用者Ｐａの息の吸い込み開始時のＲＳＰ値Ｒａ，ｔ、すなわち、息の吸い込み区間Ｉａ，ｋのＲＳＰ値Ｒａ，ｔの最小値。
・ＭＡＸａ，ｋ：利用者Ｐａの息の吸い込み終了時のＲＳＰ値Ｒａ，ｔ、すなわち、息の吸い込み区間Ｉａ，ｋのＲＳＰ値Ｒａ，ｔの最大値。
・ＡＭＰａ，ｋ：利用者Ｐａの息の吸い込み区間Ｉａ，ｋのＲＳＰ値Ｒａ，ｔの振幅、すなわち、ＭＡＸａ，ｋ−ＭＩＮａ，ｋで算出される値。吸い込み区間Ｉａ，ｋでの息の吸い込み量を表す。
・ＤＵＲａ，ｋ：利用者Ｐａの息の吸い込み区間Ｉａ，ｋの長さ、すなわち、息の吸い込み区間Ｉａ，ｋの終了位置の離散時刻ｔｅ（ｋ）から開始位置の離散時刻ｔｓ（ｋ）を減じて得られる値ｔｅ（ｋ）−ｔｓ（ｋ）。
・ＳＬＯａ，ｋ：利用者Ｐａの息の吸い込み区間Ｉａ，ｋにおけるＲＳＰ値Ｒａ，ｔの単位時間当たりの傾きの平均値、すなわち、ＡＭＰａ，ｋ／ＤＵＲａ，ｋで算出される値。吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化を表す。
・ＩＮＴ１ａ，ｋ：手前の発話区間Ｕｋの終了時刻ｔｕｅ（ｋ）（発話区間末）から利用者Ｐａの息の吸い込みが開始されるまでの間隔、すなわち、息の吸い込み区間Ｉａ，ｋの開始位置の離散時刻ｔｓ（ｋ）から発話区間Ｕｋの終了時刻ｔｕｅ（ｋ）を減じて得られる値ｔｓ（ｋ）−ｔｕｅ（ｋ）。発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係を表す。
【０１０８】
次話者推定部１０８又は次話者推定部１０８Ａは、さらに以下のパラメータＩＮＴ２ａ，ｋを生成してもよい。
・ＩＮＴ２ａ，ｋ：利用者Ｐａの息の吸い込み終了時から次発話者の発話区間Ｕｋ＋１が開始されるまでの間隔、すなわち、次発話者の発話区間Ｕｋ＋１の開始時刻ｔｕｓ（ｋ＋１）から息の吸い込み区間Ｉａ，ｋの終了位置の離散時刻ｔｅ（ｋ）を減じて得られる値ｔｕｓ（ｋ＋１）−ｔｅ（ｋ）。発話区間Ｕｋ＋１と吸い込み区間Ｉａ，ｋとの時間関係を表す。パラメータλ’ａ，ｋにＩＮＴ２ａ，ｋを加えたものをパラメータλａ，ｋと表記する。
【０１０９】
次話者推定部１０８又は次話者推定部１０８Ａは、例えば発話区間Ｕｋ＋１を表す情報が得られ、さらに、パラメータλａ，ｋが得られた以降（発話区間Ｕｋ＋１が開始された後）に、発話区間Ｕｋおよびその発話者Ｐｕｋ、発話区間Ｕｋ＋１およびその発話者Ｐｕｋ＋１とその発話開始タイミングＴｕｋ＋１を表す情報とともにデータベースに記録する。次発話者Ｐｕｋ＋１の発話タイミングとは、発話区間Ｕｋ＋１の何れかの時点またはそれに対応する時点であればよい。発話タイミングＴｕｋ＋１は、発話区間Ｕｋ＋１の開始時刻ｔｕｓ（ｋ＋１）であってもよいし、時刻ｔｕｓ（ｋ＋１）＋γ（ただし、γは正または負の定数）であってもよいし、発話区間Ｕｋ＋１の終了時刻ｔｕｅ（ｋ＋１）であってもよいし、時刻ｔｕｅ（ｋ＋１）＋γであってもよいし、発話区間Ｕｋ＋１の中心時刻ｔｕｓ（ｋ＋１）＋（ｔｕｅ（ｋ＋１）−ｔｕｓ（ｋ＋１））／２であってもよい。λａ，ｋ，Ｕｋ，Ｐｕｋ，Ｐｕｋ＋１，Ｔｕｋ＋１を表す情報の一部またはすべてがデータベースに保持され、次話者推定部１０８又は次話者推定部１０８Ａが発話区間Ｕｋ＋１よりも後の次発話者とその発話タイミングを予測するために使用される。
【０１１０】
次話者推定部１０８又は次話者推定部１０８Ａは、発話者情報Ｐｕｋ、発話区間Ｕｋ、利用者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に基づき、利用者Ｐ１，…，ＰＡのうち何れが次発話者Ｐｕｋ＋１であるか、および次発話者Ｐｕｋ＋１の発話タイミングの少なくとも一方を表す推定情報を得る。ただし、「Ｐｕｋ＋１」の下付き添え字「ｕｋ＋１」はｕｋ＋１を表す。発話区間Ｕｋの発話者Ｐｕｋが発話区間Ｕｋ＋１でも発話を行う場合（発話継続する場合）、次発話者は発話区間Ｕｋの発話者Ｐｕｋと同一である。一方、発話区間Ｕｋの発話者Ｐｕｋ以外の利用者が発話区間Ｕｋ＋１でも発話を行う場合（すなわち発話交替する場合）、次発話者は発話区間Ｕｋの発話者Ｐｕｋ以外の利用者である。
【０１１１】
次話者推定部１０８又は次話者推定部１０８Ａは、発話者情報Ｐｕｋ、発話区間Ｕｋ、利用者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に対応する特徴量ｆａ，ｋに対する推定情報を得るためのモデルを機械学習し、このモデルを用いて特徴量に対する推定情報を得る。特徴量ｆａ，ｋは、発話者情報Ｐｕｋ、発話区間Ｕｋ、利用者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の１つのみに対応してもよいし、これらのうち複数に対応してもよいし、すべてに対応してもよい。モデルの機械学習には、例えば、過去の吸い込み区間Ｉａ，ｉ（ただし、ｉ＜ｋ）での息の吸い込み量、吸い込み区間Ｉａ，ｉの長さ、吸い込み区間Ｉａ，ｉでの息の吸い込み量の時間変化、および発話区間Ｕｉと吸い込み区間Ｉａ，ｉとの時間関係の少なくとも一部に対応する特徴量ｆａ，ｋ、ならびに発話区間Ｕｉ，Ｕｉ＋１およびそれらの発話者Ｐｕｋ，Ｐｕｋ＋１の情報が学習データとして用いられる。
【０１１２】
次話者推定部１０８又は次話者推定部１０８Ａによる次発話者／発話タイミング推定処理を例示する。この例では、次発話者Ｐｕｋ＋１を推定するモデルである次発話者推定モデルと、次発話者Ｐｕｋ＋１の発話タイミングを推定するモデルである発話タイミング推定モデルとが生成され、それぞれのモデルを用いて次発話者Ｐｕｋ＋１とその発話タイミングが推定される。
【０１１３】
次発話者推定モデルを学習する場合、次話者推定部１０８又は次話者推定部１０８Ａは、学習データとして、データベースから過去のパラメータλａ，ｉ（ただし、ａ＝１，…，Ａであり、ｉ＜ｋである）の少なくとも一部、および発話区間Ｕｉ，Ｕｉ＋１およびそれらの発話者Ｐｕｉ，Ｐｕｉ＋１を表す情報を読み出す。次話者推定部１０８又は次話者推定部１０８Ａは、パラメータλａ，ｉの少なくとも一部に対応する特徴量Ｆ１ａ，ｉおよびＵｉ，Ｕｉ＋１，Ｐｕｉ，Ｐｕｉ＋１を学習データとして、次発話者推定モデルを機械学習する。次発話者推定モデルには、例えば、ＳＶＭ（Support Vector Machine）、ＧＭＭ（Gaussian Mixture Model）、ＨＭＭ（Hidden Markov Model）等を用いることができる。
【０１１４】
次話者推定部１０８又は次話者推定部１０８Ａは、パラメータλ’ａ，ｋの少なくとも一部に対応する特徴量Ｆ１ａ，ｋを次発話者推定モデルに適用し、それによって推定された次発話Ｐｕｋ＋１を表す情報を「推定情報」の一部とする。なお、次発話Ｐｕｋ＋１を表す情報は、何れかの利用者Ｐａを確定的に表すものであってもよいし、確率的に表すものであってもよい。利用者Ｐａが次話者になる確率を、Ｐ１ａとする。
【０１１５】
発話タイミング推定モデルを学習する場合、次話者推定部１０８又は次話者推定部１０８Ａは、学習データとして、データベースから過去のパラメータλａ，ｉ（ただし、ａ＝１，…，Ａであり、ｉ＜ｋである）の少なくとも一部、発話区間Ｕｉ，Ｕｉ＋１およびそれらの発話者Ｐｕｉ，Ｐｕｉ＋１、および発話区間Ｕｉ＋１の発話開始タイミングＴｕｉ＋１を表す情報を読み出す。次話者推定部１０８又は次話者推定部１０８Ａは、パラメータλａ，ｉの少なくとも一部に対応する特徴量Ｆ２ａ，ｉおよびＵｉ，Ｕｉ＋１，Ｐｕｉ，Ｐｕｉ＋１，Ｔｕｉ＋１を学習データとして、発話タイミング推定モデルを機械学習する。次発話者推定モデルには、例えば、ＳＶＭ、ＧＭＭ、ＨＭＭ等を用いることができる。
【０１１６】
次話者推定部１０８又は次話者推定部１０８Ａは、発話者Ｐｕｋ、パラメータλ’ａ，ｋの少なくとも一部、および次発話者推定モデルにより推定された次発話者Ｐｕｋ＋１が得られると、パラメータλ’ａ，ｋの少なくとも一部に対応する特徴量Ｆ２ａ，ｋを発話タイミング推定モデルに適用する。次話者推定部１０８又は次話者推定部１０８Ａは、特徴量Ｆ２ａ，ｋを発話タイミング推定モデルに適用して推定された次の発話区間Ｕｋ＋１の発話タイミングＴｕｋ＋１（例えば、発話区間Ｕｋ＋１の開始時刻）を表す情報を「推定情報」の一部として出力する。なお、発話タイミングを表す情報は、何れかの発話タイミングを確定的に表すものであってもよいし、確率的に表すものであってもよい。利用者Ｐａが時刻ｔに発話を開始する確率（時刻ｔが利用者Ｐａの発話タイミングである確率）を、Ｐ２ａ（ｔ）とする。
上述した実施形態の次話者推定部１０８又は次話者推定部１０８Ａが推定する利用者ｉの時刻ｔにおける次話者確率Ｐｎｓｉ（ｔ）は、利用者ｉが本次話者推定技術における利用者Ｐａである場合、確率Ｐ１ａ×確率Ｐ２ａ（ｔ）により算出される。
【０１１７】
上述の次話者推定部１０８又は次話者推定部１０８Ａは、呼吸動作の観測値に基づいて次に発話を開始する利用者およびタイミングを推定しているが、さらに、視線の観測値を用いてもよい。
視線行動をさらに利用する場合、各利用者Ｐａ（ただし、ａ＝１，…，Ａ）には注視対象検出装置２０３がさらに装着される。注視対象検出装置２０３は、利用者Ｐａが誰を注視しているか（注視対象）を検出し、利用者Ｐａおよび各離散時刻ｔでの注視対象Ｇａ，ｔを表す情報を次話者推定部１０８又は次話者推定部１０８Ａに送る。次話者推定部１０８又は次話者推定部１０８Ａは、注視対象情報Ｇ１，ｔ，…，ＧＡ，ｔ、発話区間Ｕｋ、および話者情報Ｐｕｋを入力とし、発話区間終了前後における注視対象ラベル情報θｖ，ｋ（ただし、ｖ＝１，…，Ｖ、Ｖは注視対象ラベルの総数）を生成する。注視対象ラベル情報は、発話区間Ｕｋの終了時点Ｔｓｅに対応する時間区間における利用者の注視対象を表す情報である。ここでは、終了時点Ｔｓｅを含む有限の時間区間における利用者Ｐａの注視対象をラベル付けした注視対象ラベル情報θｖ，ｋを例示する。この場合、例えば、発話区間Ｕｋの終了時点Ｔｓｅよりも前の時点Ｔｓｅ−Ｔｂから終了時点Ｔｓｅよりも後の時点Ｔｓｅ＋Ｔａまでの区間に出現した注視行動を扱う。Ｔｂ，Ｔａは０以上の任意の値でよいが、目安として、Ｔｂは０秒〜２．０秒、Ｔａは０秒〜３．０秒程度にするのが適当である。
【０１１８】
次話者推定部１０８又は次話者推定部１０８Ａは、注視対象の利用者を以下のような種別に分類し、注視対象のラベリングを行う。なお、ラベルの記号に意味はなく、判別できればどのような表記でも構わない。
・ラベルＳ：現話者（すなわち、現話者である利用者Ｐｕｋを表す）
・ラベルＬξ：非話者（ただし、ξは互いに異なる非話者である利用者を識別し、ξ＝１，…，Ａ−１である。例えば、ある利用者が、非話者Ｐ２、非話者Ｐ３、の順に注視をしていたとき、非話者Ｐ２にＬ１というラベル、非話者Ｐ３にＬ２というラベルが割り当てられる。）
・ラベルＸ：誰も見ていない
【０１１９】
ラベルがＳまたはＬξのときには、相互注視（視線交差）が起きたか否かという情報を付与する。本形態では、相互注視が起きた際には、ＳＭ，ＬξＭ（下付き添え字の「ξＭ」はξＭを表す）のように、ラベルＳ，Ｌξの末尾にＭラベルを付与する。
【０１２０】
図１３は、注視対象ラベルの具体例を示す図である。図１３はＡ＝４の例であり、発話区間Ｕｋ，Ｕｋ＋１と各利用者の注視対象が時系列に示されている。図１３の例では、利用者Ｐ１が発話した後、発話交替が起き、新たに利用者Ｐ２が発話をした際の様子を示している。ここでは、現話者である利用者Ｐ１が利用者Ｐ４を注視した後、利用者Ｐ２を注視している。Ｔｓｅ−Ｔｂの時点からＴｓｅ＋Ｔａの時点までの区間では、利用者Ｐ１が利用者Ｐ２を見ていたとき、利用者Ｐ２は利用者Ｐ１を見ている。これは、利用者Ｐ１と利用者Ｐ２とで相互注視が起きていることを表す。この場合、利用者Ｐ１の注視対象情報Ｇ１，ｔから生成される注視対象ラベルはＬ１とＬ２Ｍの２つとなる。上述の区間では、利用者Ｐ２は利用者Ｐ４を注視した後、現話者である利用者Ｐ１を注視している。この場合、利用者Ｐ２の注視対象ラベルはＬ１とＳＭの２つとなる。また、上述の区間では、利用者Ｐ３は現話者である利用者Ｐ１を注視している。この場合、利用者Ｐ３の注視対象ラベルはＳとなる。また、上述の区間では、利用者Ｐ４は誰も見ていない。この場合、利用者Ｐ４の注視対象ラベルはＸとなる。したがって、図１３の例では、Ｖ＝６である。
【０１２１】
次話者推定部１０８又は次話者推定部１０８Ａは、注視対象ラベルごとの開始時刻、終了時刻も取得する。ここで、誰（Ｒ∈｛Ｓ，Ｌ｝）のどの注視対象ラベル（ＧＬ∈｛Ｓ，ＳＭ，Ｌ１，Ｌ１Ｍ，Ｌ２，Ｌ２Ｍ，…｝）であるかを示す記号としてＲＧＬ、その開始時刻をＳＴ＿ＲＧＬ、終了時刻をＥＴ＿ＲＧＬと定義する。ただし、Ｒは利用者の発話状態（現話者か非話者か）を表し、Ｓは現話者、Ｌは非話者である。例えば、図１３の例において、利用者Ｐ１の最初の注視対象ラベルはＳＬ１であり、その開始時刻はＳＴ＿ＳＬ１、終了時刻はＥＴ＿ＳＬ１である。注視対象ラベル情報θｖ，ｋは注視対象ラベルＲＧＬ、開始時刻ＳＴ＿ＲＧＬ、および終了時刻ＥＴ＿ＲＧＬを含む情報である。
【０１２２】
次話者推定部１０８又は次話者推定部１０８Ａは、注視対象ラベル情報θｖ，ｋを用いて、各利用者Ｐａの注視対象遷移パターンＥａ，ｋを生成する。注視対象遷移パターンの生成は、注視対象ラベルＲＧＬを構成要素として、時間的な順序を考慮した遷移ｎ−ｇｒａｍを生成して行う。ここで、ｎは正の整数である。例えば、図１３の例を考えると、利用者Ｐ１の注視対象ラベルから生成される注視対象遷移パターンＥ１，ｋはＬ１−Ｌ２Ｍである。同様にして、利用者Ｐ２の注視対象遷移パターンＥ２，ｋはＬ１−ＳＭ、利用者Ｐ３の注視対象遷移パターンＥ３，ｋはＳ、利用者Ｐ４の注視対象遷移パターンＥ４，ｋはＸとなる。
【０１２３】
注視対象遷移パターンＥａ，ｋは、例えば発話区間Ｕｋ＋１が開始された後に、発話区間Ｕｋおよびその発話者Ｐｕｋ、発話区間Ｕｋ＋１に該当する発話を行う次発話者Ｐｕｋ＋１および次発話開始タイミングＴｕｋ＋１を表す情報とともにデータベースに送られる。データベースでは、注視対象遷移パターンＥａ，ｋが、パラメータλａ，ｋと併合され、Ｅａ，ｋ，λａ，ｋ，Ｕｋ，Ｐｕｋ，Ｐｕｋ＋１，Ｔｕｋ＋１を表す情報の一部またはすべてがデータベースに保持される。
【０１２４】
次話者推定部１０８又は次話者推定部１０８Ａは、注視対象ラベル情報θｖ，ｋを入力とし、注視対象ラベルごとの時間構造情報Θｖ，ｋを生成する。時間構造情報は利用者の視線行動の時間的な関係を表す情報であり、（１）注視対象ラベルの時間長、（２）注視対象ラベルと発話区間の開始時刻または終了時刻との間隔、（３）注視対象ラベルの開始時刻または終了時刻と他の注視対象ラベルの開始時刻または終了時刻との間隔、をパラメータとして持つ。
【０１２５】
具体的な時間構造情報のパラメータを以下に示す。以下では、発話区間の開始時刻をＳＴ＿Ｕ、発話区間の終了時刻をＥＴ＿Ｕと定義する。
・ＩＮＴ１（＝ＥＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬと終了時刻ＥＴ＿ＲＧＬの間隔
・ＩＮＴ２（＝ＳＴ＿Ｕ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが発話区間の開始時刻ＳＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ３（＝ＥＴ＿Ｕ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが発話区間の終了時刻ＥＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ４（＝ＥＴ＿ＲＧＬ−ＳＴ＿Ｕ）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが発話区間の開始時刻ＳＴ＿Ｕよりもどれくらい後であったか
・ＩＮＴ５（＝ＥＴ＿Ｕ−ＥＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが発話区間の終了時刻ＥＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ６（＝ＳＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが他の注視対象ラベルＲＧＬ’の開始時刻ＳＴ＿ＲＧＬ’よりもどれくらい後であったか
・ＩＮＴ７（＝ＥＴ＿ＲＧＬ’−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが他の注視対象ラベルＲＧＬ’の終了時刻ＥＴ＿ＲＧＬ’よりもどれくらい前であったか
・ＩＮＴ８（＝ＥＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが注視対象ラベルＲＧＬ’の開始時刻ＳＴ＿ＲＧＬ’よりもどれくらい後であったか
・ＩＮＴ９（＝ＥＴ＿ＲＧＬ−ＥＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが注視対象ラベルＲＧＬ’の終了時刻ＥＴ＿ＲＧＬ’よりもどれくらい後であったか
【０１２６】
なお、ＩＮＴ６〜ＩＮＴ９については、すべての利用者の注視対象ラベルとの組み合わせに対して取得する。図１３の例では、注視対象ラベル情報は全部で６つ（Ｌ１，Ｌ２Ｍ，Ｌ１，ＳＭ，Ｓ，Ｘ）あるため、ＩＮＴ６〜ＩＮＴ９は、それぞれ６×５＝３０個のデータが生成される。
【０１２７】
時間構造情報Θｖ，ｋは注視対象ラベル情報θｖ，ｋについてのパラメータＩＮＴ１〜ＩＮＴ９からなる情報である。時間構造情報Θｖ，ｋを構成する上記の各パラメータについて、図１４を用いて具体的に示す。図１４は、現話者である利用者Ｐ１（Ｒ＝Ｓ）の注視対象ラベルＬ１についての時間構造情報を示す図である。すなわち、ＲＧＬ＝ＳＬ１における時間構造情報である。なお、ＩＮＴ６〜ＩＮＴ９については、図示を簡略化するために、利用者Ｐ２の注視対象ラベルＬ１、すなわちＲＧＬ＝ＬＬ１との関係のみを示す。図１４の例では、ＩＮＴ１〜ＩＮＴ９は以下のように求められることがわかる。
・ＩＮＴ１＝ＥＴ＿ＳＬ１−ＳＴ＿ＳＬ１
・ＩＮＴ２＝ＳＴ＿Ｕ−ＳＴ＿ＳＬ１
・ＩＮＴ３＝ＥＴ＿Ｕ−ＳＴ＿ＳＬ１
・ＩＮＴ４＝ＥＴ＿ＳＬ１−ＳＴ＿Ｕ
・ＩＮＴ５＝ＥＴ＿Ｕ−ＥＴ＿ＳＬ１
・ＩＮＴ６＝ＳＴ＿ＳＬ１−ＳＴ＿ＬＬ１
・ＩＮＴ７＝ＥＴ＿ＬＬ１−ＳＴ＿ＳＬ１
・ＩＮＴ８＝ＥＴ＿ＳＬ１−ＳＴ＿ＬＬ１
・ＩＮＴ９＝ＥＴ＿ＳＬ１−ＥＴ＿ＬＬ１
【０１２８】
時間構造情報Θｖ，ｋは、例えば発話区間Ｕｋ＋１が開始された後に、発話区間Ｕｋおよびその発話者Ｐｕｋ、発話区間Ｕｋ＋１に該当する発話を行う次発話者Ｐｕｋ＋１および次発話開始タイミングＴｕｋ＋１を表す情報とともにデータベースに送られる。データベースでは、時間構造情報Θｖ，ｋが、パラメータλａ，ｋと併合され、Θｖ，ｋ，λａ，ｋ，Ｕｋ，Ｐｕｋ，Ｕｋ＋１，Ｐｕｋ＋１，Ｔｕｋ＋１を表す情報の一部またはすべてがデータベースに保持される。
【０１２９】
次話者推定部１０８又は次話者推定部１０８Ａは、注視対象遷移パターンＥａ，ｋ、時間構造情報Θｖ，ｋ、発話者情報Ｐｕｋ、発話区間Ｕｋ、利用者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に対応する特徴量ｆａ，ｋに対する推定情報を得るためのモデルを機械学習し、モデルを用いて特徴量に対する推定情報である次話者確率Ｐｎｓｉ（ｔ）を得て出力する。
【０１３０】
上述の次話者推定部１０８又は次話者推定部１０８Ａは、呼吸動作の観測値および視線の観測値に基づいて次に発話を開始する利用者およびタイミングを推定しているが、さらに、利用者の頭部の動きに関する情報を用いてもよい。これは、人は発話の直前に大きく頷く傾向があることを利用するものである。次話者推定部１０８又は次話者推定部１０８Ａは、映像入力部１０２からの各利用者の画像データを解析して、頭部が上下に動いたか否かにより利用者が頷いたか否かを判定する。次話者推定部１０８又は次話者推定部１０８Ａは、利用者ｉが時刻ｔの数秒前に頷いたと判定した場合には、利用者ｉの時刻ｔにおける次話者確率Ｐｎｓｉ（ｔ）に所定値を加算する処理等を行う。また、次話者推定部１０８又は次話者推定部１０８Ａは、呼吸動作の観測値、視線の観測値および、利用者の頭部の動きに関する情報の少なくとも一つに基づいて次話者確率Ｐｎｓｉ（ｔ）を算出してもよい。
【０１３１】
また、次話者推定部１０８又は次話者推定部１０８Ａが呼吸動作の観測値、視線の観測値および、利用者の頭部の動きに関する情報の少なくとも一つを用いている場合は、次話者推定部１０８又は次話者推定部１０８Ａで用いる情報に応じて、センサ１０３は、位置計測装置２０１、呼吸動作計測装置２０２、注視対象検出装置２０３及び頭部動作検出装置２０４のいずれか一つ又は複数を備える構成でよい。
【０１３２】
なお、第１の実施形態におけるロボット１００及び第２の実施形態におけるロボット１００Ａは、マイク１０１、カメラ１０２、センサ１０３、音声入力部１０４、映像入力部１０５、センサ入力部１０６、発話区間検出部１０７、次話者推定部１０８又は次話者推定部１０８Ａ及び発話制御部１０９又は制御部１０９Ａを内蔵する構成としたが、この構成に限られるものではない。マイク１０１、カメラ１０２、センサ１０３、音声入力部１０４、映像入力部１０５、センサ入力部１０６、発話区間検出部１０７、次話者推定部１０８（又は次話者推定部１０８Ａ）及び発話制御部１０９（又は制御部１０９Ａ）を備える発話制御装置をロボット１００（又はロボット１００Ａ）と別装置で設ける構成としてもよい。発話制御装置は、ロボット１００（又はロボット１００Ａ）と通信可能な構成であり、発話制御部１０９（又は制御部１０９Ａ）からの制御信号をロボット１００（又はロボット１００Ａ）へ送信することで、ロボット１００（又はロボット１００Ａ）の発話を制御する。
【０１３３】
ロボット１００及びロボット１００Ａは、その体の一部をディスプレイ等の表示部に体の一部を表示する構成であっても良く、全身が仮想的な人物であるエージェントとして表示部に表示されるものであってもよい。ロボット１００及びロボット１００Ａの体の一部を表示部で表現するとは、例えば、顔全体が表示部となっており、その表示部に顔の画像を表示する構成等が考えられる。表示部に表示した顔の画像を変化させていろいろな表現を行うことができる。話者となるエージェントを表示部に表示する表示装置は、ロボット１００と同様に、マイク１０１と、カメラ１０２と、センサ１０３と、音声入力部１０４と、映像入力部１０５と、センサ入力部１０６と、発話区間検出部１０７と、利用者情報取得部１０８と、動作制御部１０９と、音制御部１１０と、口部制御部１１１と、視線制御部１１２と、頭部制御部１１３と、胴部制御部１１４と、スピーカ１１５とを備える。エージェントは、例えば、口を含む口部及び目を含む眼部を有する顔があり、顔を含む頭部の下には手、腕、及び足を有する胴部がある人物である。表示装置は、口部制御部１１１、視線制御部１１２、頭部制御部１１３及び胴部制御部１１４からの制御信号に応じて、表示部に表示中のエージェントの口、目の視線、頭及び胴体（手、腕及び足等を含む）を動かす画像処理部をさらに備える。なお、ロボット１００及びロボット１００Ａは、複数のマイク１０１及びセンサ１０３を備えない構成であってもよく、例えば、ロボット１００及びロボット１００Ａの外部に設置された複数のマイク１０１及びセンサ１０３と有線又は無線にて信号を送受信可能な構成であってもよい。
【０１３４】
第１の実施形態におけるロボット１００及び第２の実施形態におけるロボット１００Ａにおいて、上述した発話制御処理の妨げにならない範囲であれば、図１及び図７に示した機能以外の通常のロボットが備えている機能等を備えてもよい。例えば、第１の実施形態におけるロボット１００は、第２の実施形態におけるロボット１００Ａのような呼吸動作等の会話時の人間と同様の動作を行うことができる構成としてもよい。
【０１３５】
上述した本実施形態におけるロボット１００又はロボット１００Ａの備える各機能部は、例えば、コンピュータで実現することができる。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【０１３６】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【０１３７】
利用者と会話を行うロボットの制御に適用したり、利用者と会話を行う表示装置に表示されたエージェント（仮想的な人物）の動きの制御に適用したりすることができる。
【符号の説明】
【０１３８】
５１ａ…右目，５１ｂ…左目，５２…口部，５３…頭部，５４…頸部，５５…胴部，１００、１００Ａ…ロボット，  １０１…マイク，  １０２…カメラ，  １０３…センサ，  １０４…音声入力部，  １０５…映像入力部，  １０６…センサ入力部，  １０７…発話区間検出部，  １０８、１０８Ａ…次話者推定部，  １０９、３０１…発話制御部，１０９Ａ…制御部，  １１０、１１０Ａ…音制御部，  １１１…口部制御部，  １１２…視線制御部，  １１３…頭部制御部，  １１４…胴部制御部，  １１５…スピーカ（発音部），  １１６…口部駆動部，  １１７…眼部駆動部，  １１８…頭部駆動部，  １１９…胴部駆動部，  ２０１…位置計測装置，  ２０２…呼吸動作計測装置，  ２０３…注視対象検出装置，  ２０４…頭部動作検出装置，３０２…動作パターン情報格納部，  ３０３…動作制御部，  ３０４…センサ信号変換部，  ４０１…音声解析部，  ４０２…会話情報生成部，  ４０３、４０３Ａ…会話情報ＤＢ，  ４０４、４０４Ａ…発声情報生成部，  ４０５…音信号生成部
【図１】
0006480351.tif 000004
【図２】
0006480351.tif 000005
【図３】
0006480351.tif 000006
【図４】
0006480351.tif 000007
【図５】
0006480351.tif 000008
【図６】
0006480351.tif 000009
【図７】
0006480351.tif 000010
【図８】
0006480351.tif 000011
【図９】
0006480351.tif 000012
【図１０】
0006480351.tif 000013
【図１１】
0006480351.tif 000014
【図１２】
0006480351.tif 000015
【図１３】
0006480351.tif 000016
【図１４】
0006480351.tif 000017