(57)【特許請求の範囲】
【請求項１】
人物の表情もしくは身振りを含む非言語反応を検出するセンサ部を有するロボットと、
前記センサ部で検出された非言語反応から、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成部と、
前記センサ部で検出された非言語反応から、前記人物から前記ロボットへの働きかけを示す非言語反応を検出する第１検出部と、
前記生成部で生成された前記非言語情報を収集する収集部とを備え、
前記収集部は、
前記ロボットの視線と前記人物の視線とが一致したタイミングを検出する視線一致検出部と、
前記視線一致検出部で検出されたタイミングを含む所定の長さの期間に前記生成部で生成された前記非言語情報を収集対象の非言語情報として抽出する抽出部とを有し、
前記視線一致検出部は、前記第１検出部で前記人物から前記ロボットへの働きかけを示す非言語反応が検出されたことに応答して、前記ロボットの視線と前記人物の視線とが一致したタイミングの検出動作を開始する
ことを特徴とする非言語情報収集装置。
【請求項２】
請求項１に記載の非言語情報収集装置において、
前記ロボットは、発話および身振りの少なくとも一方を含むアクションを前記人物に対して行うアクション部を有し、
前記非言語情報収集装置は、前記アクション部による前記アクションの実行を検出する第２検出部を備え、
前記視線一致検出部は、前記第２検出部で前記アクション部による前記アクションの実行が検出されたことに応答して、前記検出動作を開始する
ことを特徴とする非言語情報収集装置。
【請求項３】
請求項２に記載の非言語情報収集装置において、
前記収集部による前記非言語情報の収集間隔が所定の時間を超えた場合に、前記アクション部に対して前記アクションの実行を指示する制御部を備える
ことを特徴とする非言語情報収集装置。
【請求項４】
請求項１乃至請求項３のいずれか１項に記載の非言語情報収集装置において、
前記センサ部は、前記ロボットの視線方向に光軸が設定されたカメラを有し、
前記視線一致検出部は、前記カメラで取得された画像に基づいて、前記ロボットの視線と前記人物の視線とが一致したタイミングを検出する
ことを特徴とする非言語情報収集装置。
【請求項５】
ロボットに設けられたセンサ部によって検出された人物の表情もしくは身振りを含む非言語反応から、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成工程と、
前記センサ部で検出された非言語反応から、前記人物から前記ロボットへの働きかけを示す非言語反応を検出する第１検出工程と、
前記生成工程で生成された前記非言語情報を収集する収集工程とをコンピュータに実行させ、
前記収集工程は、
前記ロボットの視線と前記人物の視線とが一致したタイミングを検出する視線一致検出工程と、
前記視線一致検出工程で検出されたタイミングを含む所定の長さの期間に前記生成工程で生成された前記非言語情報を収集対象の非言語情報として抽出する抽出工程とを含み、
前記視線一致検出工程では、前記第１検出工程で前記人物から前記ロボットへの働きかけを示す非言語反応が検出されたことに応答して、前記ロボットの視線と前記人物の視線とが一致したタイミングの検出動作を開始する
ことを特徴とする非言語情報収集プログラム。
【請求項６】
請求項５に記載の非言語情報収集プログラムにおいて、
前記ロボットに設けられたアクション部による、発話および身振りの少なくとも一方を含むアクションの実行を検出する第２検出工程を前記コンピュータに実行させ、
前記視線一致検出工程では、前記第２検出工程で前記アクション部による前記アクションの実行が検出されたことに応答して、前記検出動作を開始する
ことを特徴とする非言語情報収集プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本件開示は、人物の表情や身振りなどを表す非言語情報を収集する非言語情報収集装置および非言語情報収集プログラムに関する。
【背景技術】
【０００２】
近年、人物とロボットの間で自然な相互作用を成立させるために、人物の表情や身振りなどの非言語的な反応に基づいて、人物の感情を含む内面の状態を推測する技術が研究されるようになっている。例えば、推定対象の人物の表情を撮影した画像における目や鼻などの特徴点の位置と、当該人物に合わせて調整した認識モデルとに基づいて、当該人物の感情を推定する技術などが提案されている(特許文献１参照)。
【０００３】
一方、遠隔地に住んでいる家族の様子を見守るサービスとして、例えば、電気ポットなどの家電製品の利用状況などに基づいて、生活リズムに関する情報を収集する技術が提案されている(特許文献２参照)。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３４６４７１号公報
【特許文献２】特開２００３−１７８３７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
遠隔地の家族の見守りを支援するためには、生活リズムの規則性などに関する情報とともに、見守り対象の人物が豊かな表情を見せつつ、生き生きと生活しているかなど、生活の質に注目した情報を収集することが望ましい。
【０００６】
しかしながら、人物の表情などを常に観測し、観測結果を記録する方法では、人物の生活の質を反映しているか否かにかかわらず、膨大な情報が集積されてしまう。また、例えば、人物の移動に追従するカメラなどによって、常に見守り対象の人物を撮影する手法では、見守り対象の人物に不快感を覚えさせてしまうおそれもある。
【０００７】
また、人物の生活の中で撮影される映像では、人物とカメラとの相対位置が様々に変化するため、画像に捉えられた人物の表情が歪んでいる場合や、カメラに対して正面を向いていない場合などがある。このため、人物の生活の過程で撮影した映像について、例えば、上述した特許文献１の技法を適用しても、当該人物の感情を高い精度で推定することは困難である。
【０００８】
本件開示の装置は、見守り対象の人物の生活の質を反映した情報を高い効率で収集することが可能な非言語情報収集装置および非言語情報収集プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
一つの観点では、非言語情報収集装置は、人物の表情もしくは身振りを含む非言語反応を検出するセンサ部を有するロボットと、前記センサ部で検出された非言語反応から、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成部と、前記センサ部で検出された非言語反応から、前記人物から前記ロボットへの働きかけを示す非言語反応を検出する第１検出部と、前記生成部で生成された前記非言語情報を収集する収集部とを備え、前記収集部は、前記ロボットの視線と前記人物の視線とが一致したタイミングを検出する視線一致検出部と、前記視線一致検出部で検出されたタイミングを含む所定の長さの期間に前記生成部で生成された前記非言語情報を収集対象の非言語情報として抽出する抽出部とを有し、前記視線一致検出部は、前記第１検出部で前記人物から前記ロボットへの働きかけを示す非言語反応が検出されたことに応答して、前記ロボットの視線と前記人物の視線とが一致したタイミングの検出動作を開始する。
また、非言語情報収集プログラムは、ロボットに設けられたセンサ部によって検出された人物の表情もしくは身振りを含む非言語反応から、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成工程と、前記センサ部で検出された非言語反応から、前記人物から前記ロボットへの働きかけを示す非言語反応を検出する第１検出工程と、前記生成工程で生成された前記非言語情報を収集する収集工程とをコンピュータに実行させ、前記収集工程は、前記ロボットの視線と前記人物の視線とが一致したタイミングを検出する視線一致検出工程と、前記視線一致検出工程で検出されたタイミングを含む所定の長さの期間に前記生成工程で生成された前記非言語情報を収集対象の非言語情報として抽出する抽出工程とを含み、前記視線一致検出工程では、前記第１検出工程で前記人物から前記ロボットへの働きかけを示す非言語反応が検出されたことに応答して、前記ロボットの視線と前記人物の視線とが一致したタイミングの検出動作を開始する。
【００１０】
別の観点では、非言語情報収集装置は、人物の表情もしくは身振りを含む非言語反応を検出するセンサ部を有するロボットと、前記センサ部で検出された非言語反応から、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成部と、前記センサ部で検出された非言語反応から、前記人物から前記ロボットへの働きかけを示す非言語反応を検出する第１検出部と、前記人物から前記ロボットへの働きかけを示す非言語反応が検出されたタイミングで、前記生成部で生成された前記非言語情報を収集する収集部とを備える。
また、非言語情報収集プログラムは、ロボットに設けられたセンサ部によって検出された人物の表情もしくは身振りを含む非言語反応から、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、前記センサ部で検出された非言語反応から、前記人物から前記ロボットへの働きかけを示す非言語反応を検出し、前記人物から前記ロボットへの働きかけを示す非言語反応が検出されたタイミングで生成された前記非言語情報を収集する処理をコンピュータに実行させる。
【発明の効果】
【００１１】
本件開示の非言語情報収集装置および非言語情報収集プログラムによれば、見守り対象の人物の生活の質を反映した情報を高い効率で収集することができる。
【図面の簡単な説明】
【００１２】
【図１】非言語情報収集装置の一実施形態を示す図である。
【図２】非言語情報収集装置の別実施形態を示す図である。
【図３】非言語情報の例を示す図である。
【図４】非言語情報収集装置の別実施形態を示す図である。
【図５】非言語情報収集装置の別実施形態を示す図である。
【図６】遅延テーブルの例を示す図である。
【図７】非言語情報収集装置のハードウェア構成例を示す図である。
【図８】非言語情報収集処理のフローチャートの例を示す図である。
【図９】相互作用の発生を検出する処理のフローチャートの例を示す図である。
【図１０】非言語情報を取得する処理のフローチャートの例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
【００１４】
図１は、非言語情報収集装置の一実施形態を示している。図１に示した非言語情報収集装置１０は、センサ部１１を有する子ぐま型ロボットＲ１と、生成部１２と、第１検出部１３と、収集部１４とを含んでいる。
【００１５】
図１に示した子ぐま型ロボットＲ１は、人と交流する機能を有するコミュニケーションロボットの一例であり、熊のぬいぐるみを模した形態を有している。また、子ぐま型ロボットＲ１は、人物Ｐ１と交流のためのふるまいとともに、呼吸する動作を行うといった生き物らしい自律的なふるまいを適宜実行する機能を有しており、見守り対象の人物Ｐ１とともに生活する共生型のロボットとしての側面も持っている。以下の説明では、子ぐま型ロボットＲ１を単にロボットＲ１と称し、また、見守り対象の人物Ｐ１を人物Ｐ１と称する。また、ロボットＲ１が実行するふるまいについては、後述する。
【００１６】
センサ部１１は、人物Ｐ１の表情もしくは身振りを含む非言語反応を検出する。センサ部１１は、例えば、カメラやマイクロホンおよび接触センサなどを含み、視覚で捉えられる非言語反応および聴覚で捉えられる非言語反応とともに、触覚で捉えられる非言語反応を検出することが望ましい。また、センサ部１１は、各種のセンサによって、人物Ｐ１の非言語反応を視覚的、聴覚的又は触覚的に観測することで得られる観測データを、非言語反応の検出結果として生成部１２に渡せばよい。
【００１７】
生成部１２は、センサ部１１で検出された非言語反応から、人物Ｐ１が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する。生成部１２は、例えば、センサ部１１に含まれるカメラによって得られた画像データに対して顔認識処理などの画像処理を適用することにより、人物Ｐ１の顔や手を含む各部位の位置や大きさおよび顔に含まれる各特徴点の位置を示す位置情報を取得する。また、これらの位置情報に基づいて、生成部１２は、人物Ｐ１の表情が笑顔である度合いを示す笑顔度や、手や首の動きの大きさおよび動きの頻度などを示す計測値を取得する。これらの計測値は、人物Ｐ１が表出した個々の非言語反応の強さを示す計測値であり、これらの計測値の集まりは、人物Ｐ１が表出した非言語反応を示す非言語情報の一例である。
【００１８】
ところで、本出願人は、ロボットＲ１に含まれるセンサ部１１を用いて人物Ｐ１の行動を観測することで得られる観測データから、人物Ｐ１が表出した非言語反応を示す非言語情報を収集する場合の課題として以下の３つを認識している。
【００１９】
課題の一つである課題１は、人物Ｐ１とロボットＲ１のセンサ部１１との相対位置が特定されない状況で観測を行った場合に、観測データから得られる非言語情報の精度が低下することである。課題の別の一つである課題２は、人物Ｐ１の心的状態を表す非言語反応が表出されるタイミングが不特定であるため、観測を実行するタイミングの特定が困難であることである。また、課題の別の一つである課題３は、人物Ｐ１のふるまいが、来客の有無や多忙であるか暇であるかといった、周囲の状況に左右される可能性が高いため、別の日時に収集した情報を単純に比較することが困難であることである。
【００２０】
図１に示した第１検出部１３および収集部１４は、上述した３つの課題を解決するための手段の一例である。
【００２１】
第１検出部１３は、センサ部１１で検出された非言語反応から、人物Ｐ１からロボットＲ１への働きかけを示す非言語反応を検出する。第１検出部１３は、センサ部１１で得られる観測データに基づいて、例えば、人物Ｐ１がロボットＲ１に目を向ける動作や、ロボットＲ１に触る動作のように、人物Ｐ１からロボットＲ１に対する働きかけを示す少なくとも１種類の非言語反応を検出する。第１検出部１３は、例えば、人物Ｐ１からロボットＲ１への働きかけとして検出する非言語反応の種類を、あらかじめ決定しておいてもよい。なお、人物Ｐ１からロボットＲ１に対する働きかけを示す非言語反応の別の例については、後述する。
【００２２】
ここで、人物Ｐ１からロボットＲ１への働きかけは、人物Ｐ１がロボットＲ１と交流しようとする意思の表れである可能性が高い。つまり、第１検出部１３が人物Ｐ１からロボットＲ１に対する働きかけを検出するタイミングは、人物Ｐ１とロボットＲ１との間の相互作用が発生するタイミングの一つである。
【００２３】
そして、収集部１４は、第１検出部１３によって、人物Ｐ１からロボットＲ１への働きかけを示す非言語反応が検出されたタイミングで、生成部１３で生成された非言語情報を収集する。これにより、図１に示した収集部１４は、人物Ｐ１がロボットＲ１に対してセンサ部１１で観測可能な働きかけを行った際に、人物Ｐ１が表出した非言語反応を示す非言語情報を収集することができる。
【００２４】
上述したように、人物Ｐ１からロボットＲ１への働きかけが発生したタイミングは、人物Ｐ１が、ロボットＲ１の愛らしい形態や愛嬌のあるしぐさに対して関心を示したタイミングである可能性が高い。つまり、第１検出部１３が相互作用の発生を検出したタイミングは、人物Ｐ１が、ロボットＲ１を交流対象の他者として認識し、人物Ｐ１とロボットＲ１との間で自然なコミュニケーションが成立したタイミングである可能性が高い。そして、自然なコミュニケーションの過程において、人物Ｐ１は、喜怒哀楽の感情を含む心的状態を表す非言語反応を表出する場合が多い。したがって、人物Ｐ１がロボットＲ１に働きかけを行ったタイミングにおいて、人物Ｐ１が表出した非言語反応を示す非言語情報を収集することで、人物Ｐ１の感情を含む心的状態を反映する情報を高い効率で収集することが可能である。以下の説明では、人物Ｐ１がロボットＲ１に働きかけを行ったタイミングにおいて、人物Ｐ１が表出した非言語反応を示す非言語情報を収集することを、「パッシブセンシング」と称する。
【００２５】
つまり、第１検出部１３と収集部１４とを有する非言語情報収集装置１０は、人物Ｐ１とロボットＲ１との相互作用の成立中という、一定のコンテクストにおいて人物Ｐ１が表出した非言語反応を示す非言語情報を収集することで、上述した課題２を解決している。したがって、第１検出部１３と収集部１４とを有する非言語情報収集装置１０によれば、パッシブセンシングを行うことにより、人物Ｐ１の心的状態を反映した非言語情報を高い効率で収集することができる。
【００２６】
更に、収集部１４が非言語情報を収集するタイミングを、人物Ｐ１とロボットＲ１との相互作用の成立中に限定することで、人物Ｐ１とロボットＲ１との相対位置のばらつきによる非言語情報の精度の低下を抑制することが可能である。つまり、第１検出部１３と収集部１４とを有する非言語情報収集装置１０によれば、上述した課題１も同時に解決することができる。なお、収集部１４が収集する非言語情報の精度を更に向上する手法については後述する。
【００２７】
また、人物Ｐ１がロボットＲ１との間でコミュニケーションを行っている過程においては、人物Ｐ１の関心がロボットＲ１に集中している可能性が高い。したがって、人物Ｐ１がロボットＲ１との間でコミュニケーションを行っている過程において、人物Ｐ１が表出する非言語反応は、周囲の状況の変化の影響を受けにくい。つまり、収集部１４が非言語情報を収集するタイミングを、人物Ｐ１とロボットＲ１との相互作用の成立中に限定することで、周囲の状況の変化の影響が抑制された非言語情報を収集することができる。したがって、第１検出部１３と収集部１４とを有する非言語情報収集装置１０によれば、上述した課題３も同時に解決することができる。
【００２８】
このように、第１検出部１３と収集部１４とを有する非言語情報収集装置１０によれば、ロボットＲ１に含まれるセンサ部１１による観測を通じて人物Ｐ１の心的状態を反映する非言語情報を収集する際の３つの課題の全てを解決することができる。すなわち、本件開示の非言語情報収集装置１０によれば、見守り対象の人物Ｐ１とロボットＲ１との相互作用に際して人物Ｐ１が表す非言語反応の観測を通じて、感情を含む人物Ｐ１の心的状態を表す情報を高い効率で収集することができる。しかも、本件開示の非言語情報収集装置１０によって収集される非言語情報は、人物Ｐ１の心的状態を高い精度で反映しており、更に、周囲の状況の影響も受けにくい。したがって、本件開示の非言語情報収集装置１０によって収集される非言語情報は、別の日時にそれぞれ収集された複数の非言語情報を互いに比較する処理を含む統計処理の適用にも向いている。
【００２９】
ここで、ロボットＲ１とのコミュニケーションの過程において人物Ｐ１が表出する非言語反応は、人物Ｐ１が持つ他者への関心の高さや他者からの刺激に対する反応の強さなどを反映している。つまり、上述した第１検出部１３および収集部１４を含む本件開示の非言語情報収集装置１０によって収集した非言語情報に基づいて、人物Ｐ１の心的状態や人物Ｐ１の社会性の高さなどを評価することが可能である。そして、これらの情報は、人物Ｐ１が生き生きとした生活を送っている度合いを示す指標値の一つ、すなわち、人物Ｐ１の生活の質の高さを示す指標値の一つとして捉えることができる。
【００３０】
つまり、本件開示の非言語情報収集装置１０によれば、ロボットＲ１とのコミュニケーションの過程において、人物Ｐ１が表出した非言語反応に対応する非言語情報を収集することで、人物Ｐ１の生活の質を反映した情報を収集することができる。
【００３１】
また、本件開示の非言語情報収集装置１０によって収集した非言語情報を、人物Ｐ１と離れて暮らしている家族に伝達することにより、人物Ｐ１の生活の質に注目した見守りサービスを実現することができる。しかも、ロボットＲ１は、上述したように、熊のぬいぐるみのような愛らしい形態を持っているため、人物Ｐ１から好感を持って受け入れられやすい。したがって、ロボットＲ１に搭載されたカメラなどのセンサは、部屋の内部に設置されたカメラなどに比べて、人物Ｐ１に圧迫感を与えにくい。したがって、本件開示の非言語情報収集装置１０を用いて見守りサービスのためのシステムを構築することにより、見守り対象の人物Ｐ１に不快感を与えるおそれの少ないサービスを提供することが可能である。
【００３２】
なお、本件開示の非言語情報収集装置１０を見守りサービスに適用する場合に、収集した非言語情報に含まれる笑顔度などの計測値をそのまま提供してもよいし、計測値に対して何らかの評価を行った結果を提供してもよい。例えば、本出願人により先に出願された特願２０１１−２４３５７３「非言語情報解析装置および非言語情報解析プログラム並びに非言語情報解析方法」の技法を用いて、計測値から人物Ｐ１の状態を示す指標値を算出し、算出した指標値を提供してもよい。特願２０１１−２４３５７３の技法は、非言語反応の強さを示す複数の計測値の時間変化を解析することにより、人物Ｐ１の活動量を示す活動度と、ロボットＲ１に対する関心の高さを示す興味度と、感情表現が豊かである度合いを示す情動度を算出する。
【００３３】
次に、収集部１４が収集する非言語情報の精度を向上する手法について、図２を用いて説明する。
【００３４】
図２は、非言語情報収集装置１０の別実施形態を示している。なお、図２に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００３５】
図２に示したセンサ部１１は、カメラ１１１と、マイクロホン１１２と、接触センサ１１３とを含んでいる。カメラ１１１の光軸は、図１に示したロボットＲ１の視線方向に概ね一致している。例えば、カメラ１１１の受光部を、ロボットＲ１の鼻の部分に設けられた開口部に一致させるように、カメラ１１１を配置することにより、ロボットＲ１の視線方向とカメラ１１１の光軸方向をほぼ一致させることができる。
【００３６】
このようにカメラ１１１を配置することにより、人物Ｐ１の視線とロボットＲ１の視線とが一致したアイコンタクト状態において、カメラ１１１から人物Ｐ１のゆがみの少ない画像を取得することが可能となる。
【００３７】
また、マイクロホン１１２は、例えば、ロボットＲ１の耳の付近に配置されており、人物Ｐ１の音声を電気信号に変換することで音声データを生成する。接触センサ１１３は、例えば、ロボットＲ１の手足の先端部分や背中および頭などに配置されており、人物Ｐ１がこれらの部分に接触した際の圧力の大きさを示す接触データを生成する。
【００３８】
また、図２に例示した生成部１２は、画像データ処理部１２１と、音声データ処理部１２２と、接触データ処理部１２３とを含んでいる。
【００３９】
画像データ処理部１２１は、センサ部１１のカメラ１１１から得られる画像データに対して、顔認識処理を含む画像処理を適用することにより、視覚的な非言語反応の強さを示す計測値を生成する。画像データ処理部１２１は、例えば、人物Ｐ１の顔の向きや首の傾きの角度、頷き動作の大きさおよび頻度などをそれぞれ示す計測値とともに、人物Ｐ１の表情が笑顔である可能性の高さを示す笑顔度を計測値の一つとして生成することが望ましい。また、画像データ処理部１２１は、顔認識処理で得られた特徴点の動きに基づいて、口の開閉動作の大きさや頻度を示す計測値を取得してもよい。更に、画像データ処理部１２１は、画像データに含まれる人物Ｐ１の手の動きを追跡することにより、人物Ｐ１の手の動きによって示されるジェスチャーの大きさや、その動きの速さなどを示す計測値を取得してもよい。また、画像データ処理部１２１は、顔認識処理で得られた顔の大きさや位置の変化に基づいて、ロボットＲ１から見た人物Ｐ１の相対位置および相対位置の変化を示す計測値を取得してもよい。
【００４０】
また、音声データ処理部１２２は、マイクロホン１１２で得られた音声データに対して音声解析処理を適用することにより、例えば、人物Ｐ１の声の抑揚や声の大きさ、発話の頻度などを、非視覚的な非言語反応の強さを示す計測値として生成する。また、音声データ処理部１２２は、音声解析処理で得られた人物Ｐ１の声色に基づいて感情を推定する技術などを利用することによって得られるパラ言語情報を、音声として捉えられる非言語反応の強さを示す計測値の一つとして取得してもよい。
【００４１】
接触データ処理部１２３は、接触センサ１１３で得られた接触データに基づいて、人物Ｐ１がロボットＲ１に触れることで示した非言語反応の強さを示す計測値を生成する。接触データ処理部１２３は、例えば、人物Ｐ１がロボットＲ１の部位ごとに、当該部位に触れた回数や頻度およびそれぞれの接触の強さなどを示す計測値を生成してもよい。
【００４２】
図２に示した第１検出部１３は、監視部１３１と、条件保持部１３２とを含んでいる。監視部１３１は、画像データ処理部１２１、音声データ処理部１２２および接触データ処理部１２３で得られる各計測値および各計測値の時間的な変化を監視する。条件保持部１３２は、人物Ｐ１がロボットＲ１に対する働きかけを行ったことを、各計測値あるいは計測値の変化に基づいて検出するための条件を表す条件情報を保持している。
【００４３】
条件保持部１３２は、例えば、以下の６つの場合を示す条件情報を、人物Ｐ１によるロボットＲ１への働きかけを示す非言語反応を検出する条件、すなわち、パッシブセンシングを開始する条件として保持してもよい。
１、人物Ｐ１がロボットＲ１に接近する動作を検出した場合
２、人物Ｐ１の視線が前記ロボットに向ける動作を検出した場合
３、人物Ｐ１の笑顔度が上昇に向かう変化を検出した場合
４、人物Ｐ１の手の動きの頻度が増大に向かう変化を検出した場合
５、人物Ｐ１の頷き動作の頻度が増大に向かう変化を検出した場合
６、人物Ｐ１がロボットＲ１に接触する頻度が増大に向かう変化を検出した場合
なお、条件保持部１３２は、生成部１２で得られる非言語情報に含まれる計測値あるいは計測値の変化に基づいて、人物Ｐ１がロボットＲ１に向けて示した非言語反応を検出できる条件を表す条件情報であればどのような条件情報を保持してもよい。例えば、条件保持部１３２は、上述した６つの条件に加えて、人物Ｐ１の手の動きや頷き動作の大きさが、手の動きや頷き動作の大きさについて設定した閾値を超えたことを検出する条件を示す条件情報を保持してもよい。また、条件保持部１３２は、音声データ処理部１２２で得られる計測値の値や変化量に関する条件を示す条件情報を、パッシブセンシングを開始する条件として保持してもよい。例えば、ロボットＲ１に付けられた名前を人物Ｐ１が発話したことを検出する条件を、パッシブセンシングを開始する条件の一つとして保持してもよい。
【００４４】
更に、条件保持部１３２は、人物Ｐ１が、ロボットＲ１の位置を含む所定の範囲に進入したことを検出する条件を、パッシブセンシングを開始する条件の一つとして保持してもよい。なお、所定の範囲としては、例えば、ロボットＲ１が設置された部屋の内部に相当する範囲や、ロボットＲ１からの距離が１．５メートル程度の範囲のように、人物Ｐ１とロボットＲ１との間の相互作用が可能となる範囲を設定することが望ましい。また、上述した所定の範囲を、ロボットＲ１が自身の動作モードを待機モードからインタラクションモードに切り替える条件に合わせるように設定してもよい。ここで、待機モードは、ロボットＲ１が呼吸動作のような無意識的な動きによって生物らしさを演出しつつ待機する動作モードである。一方、インタラクションモードは、人物Ｐ１との間の相互作用を待ち受けつつ、人物Ｐ１の存在を意識した動きを行う動作モードである。
【００４５】
また、条件保持部１３２に保持される条件情報は、例えば、注目する計測値と、相互作用の発生を検出するための閾値とを用いることで、パッシブセンシングを開始する条件を表してもよい。例えば、上述した１番の条件を示す条件情報として、条件保持部１３２は、人物Ｐ１とロボットＲ１との相対距離を示す計測値を指定する情報と、人物Ｐ１がロボットＲ１と交流する場合の平均距離に相当する閾値とを保持してもよい。なお、人物Ｐ１とロボットＲ１との相対距離を示す計測値として、カメラ１１１で取得した画像における人物Ｐ１の顔の大きさなどを利用してもよい。また、手の動作や頷き動作などの大きさや頻度についての閾値は、例えば、過去に取得された対応する計測値の平均値やばらつきなどに基づいて、人物Ｐ１の行動に有意な変化があったか否かを判定できる値となるように動的に決定してもよい。
【００４６】
監視部１３１は、例えば、画像データ処理部１２１、音声データ処理部１２２および接触データ処理部１２３から計測値を受け取るごとに、条件保持部１３２に保持された条件情報を参照し、満たされた条件があるか否かを判定してもよい。また、監視部１３１は、満たされた条件がある場合に、収集部１４に、人物Ｐ１からロボットＲ１への働きかけを示す非言語反応を検出したことを通知する。
【００４７】
なお、監視部１３１が、画像データ処理部１２１、音声データ処理部１２２および接触データ処理部１２３で得られた計測値を監視する構成は、第１検出部１３を実現する手法の一例である。例えば、センサ部１１で得られる観測データについての条件を示す条件情報を条件保持部１３２に保持し、監視部１３１により、この条件情報と観測データとに基づいて、人物Ｐ１からロボットＲ１への働きかけを示す非言語反応を検出してもよい。
【００４８】
図２に示した収集部１４は、蓄積バッファ１４１と、第３検出部１４２と、抽出部１４３と、報告作成部１４４とを含んでいる。
【００４９】
蓄積バッファ１４１は、上述した画像データ処理部１２１、音声データ処理部１２２および接触データ処理部１２３で得られる各計測値を含む非言語情報を蓄積する。例えば、蓄積バッファ１４１は、非言語情報の種類ごとに、各計測値の生成に用いた観測データがサンプリングされた時刻に対応して蓄積してもよい。なお、蓄積バッファ１４１は、画像データ処理部１２１、音声データ処理部１２２および接触データ処理部１２３で得られる各計測値に移動平均などを適用することによって計測値を平滑化し、平滑化後の計測値を蓄積してもよい。
【００５０】
図３は、蓄積バッファ１４１に保持された非言語情報の例を示している。図３において、符号Ｔｋ−１、Ｔｋ，Ｔｋ＋１は、それぞれサンプリング時刻を示す。また、各計測値を、計測値の種類を示す符号とサンプリング時刻を示す添え字との組み合わせで示す。
【００５１】
図３(Ａ)は、顔認識によって得られた非言語情報の一例である。図３(Ａ)に例示した非言語情報は、人物Ｐ１の顔に含まれる各特徴点の位置を示す特徴点情報Ｆ(ｋ)および笑顔度ｒｓ(ｋ)を含んでいる。なお、特徴点情報Ｆ(ｋ)は、カメラ１１１で得られた画像に含まれる人物Ｐ１の顔の大きさを示す計測値や、各特徴点の位置から求めた人物Ｐ１の顔の向きを示す計測値を含んでいてもよい。
【００５２】
また、図３(Ｂ)は、手の動きを追跡する処理で得られた非言語情報の一例である。図３(Ｂ)に例示した非言語情報は、人物Ｐ１の手の位置を示す重心位置Ｇ(ｋ)、手の動きの大きさを示す振幅Ａ(ｋ)および手の動きの速さを反映する周期ν(ｋ)を含んでいる。
【００５３】
図２に示した第３検出部１４３は、カメラ１１１で取得された画像に基づいて、ロボットＲ１の視線と人物Ｐ１の視線とが所定の許容範囲内で一致したタイミングを、人物Ｐ１とロボットＲ１との間でアイコンタクトが成立したタイミングとして検出する。例えば、第３検出部１４２は、蓄積バッファ１４１に保持される人物Ｐ１の顔の位置および顔の向きを示す計測値に基づいて、人物Ｐ１とロボットＲ１との間でアイコンタクトが成立したタイミングを検出してもよい。つまり、第３検出部１４２は、蓄積バッファ１４１に、人物Ｐ１の顔の位置が画像の中央であることを示す計測値と、人物Ｐ１の顔が正面向きであることを示す計測値とが保持されたタイミングを、アイコンタクトが成立したタイミングとして検出する。また、第３検出部１４２は、検出したタイミングに対応するサンプリング時刻を示す時刻情報を、アイコンタクトが成立した時刻を示す情報として抽出部１４３に渡す。
【００５４】
抽出部１４３は、例えば、第３検出部１４２から受け取った時刻情報で示される時刻を含む所定の期間に対応する非言語情報を蓄積バッファ１４１から抽出することにより、アイコンタクトの成立前後に生成部１２で得られた非言語情報を抽出する。例えば、抽出部１４３は、第３検出部１４２から通知された時刻情報で示される時刻を含む所定の期間として、アイコンタクトの成立時刻から数秒遡った時刻から、アイコンタクトの成立時刻から数秒が経過した時刻までの期間を設定してもよい。以下の説明では、アイコンタクトの成立時刻に基づいて設定された所定の期間を、アイコンタクト期間と称する。また、抽出部１４３は、アイコンタクト期間に含まれるサンプリング時刻の範囲を特定し、特定した範囲のサンプリング時刻に対応して蓄積バッファ１４１に保持された非言語情報を抽出してもよい。
【００５５】
上述した第３検出部１４２および抽出部１４３を含む収集部１４によれば、人物Ｐ１とロボットＲ１とが互いに向かい合っている状態において、人物Ｐ１が表出した非言語反応を示す非言語情報を収集することができる。この状態においてロボットＲ１に搭載されたカメラ１１１で取得される画像はゆがみが少ないため、顔認識処理などの画像処理によって高い精度を持つ計測値を得ることができる。
【００５６】
また、人物Ｐ１とロボットＲ１との間にアイコンタクトが成立している状態では、人物Ｐ１の表情および身振りとともに、発話や接触も、ロボットＲ１に向けられた働きかけである可能性がより一層高くなる。したがって、上述した第３検出部１４２および抽出部１４３を含む収集部１４によれば、人物Ｐ１とロボットＲ１とが交流している場面において、人物Ｐ１が表出する非言語反応を示す非言語情報を高い精度で選別して収集することができる。
【００５７】
つまり、第３検出部１４２および抽出部１４３を含む収集部１４によれば、人物Ｐ１の生活の質を反映する可能性が高い非言語情報として、高い精度を持つ計測値を収集することができる。
【００５８】
また、報告作成部１４４は、上述した抽出部１４３によって抽出された非言語情報に含まれる各計測値を含む報告情報を、人物Ｐ１に対する見守りサービスの報告として作成し、ネットワークなどを介して人物Ｐ１の家族などに送信してもよい。また、報告作成部１４４は、抽出された非言語情報に基づいて、上述した興味度、活動度および情動度などの人物Ｐ１の状態を示す指標値を算出し、算出した指標値を含む報告情報を作成してもよい。
【００５９】
ところで、上述したロボットＲ１は、人物Ｐ１の興味をひきつけそうな愛嬌のあるしぐさや挨拶などの発話を出力する機能を持っている。そして、ロボットＲ１が、このようなしぐさや発話によって人物Ｐ１に働きかけを行うことを契機として、人物Ｐ１とロボットＲ１との間の相互作用が発生する場合もある。次に、ロボットＲ１から人物Ｐ１への働きかけを契機として発生した相互作用の際に、人物Ｐ１が表出する非言語反応を示す非言語情報を収集する手法について、図４を用いて説明する。
【００６０】
図４は、非言語情報収集装置１０の別実施形態を示している。なお、図４に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００６１】
図４に示した非言語情報収集装置１０は、上述したセンサ部１１と、生成部１２と、第１検出部１３と、収集部１４とに加えて、アクション部１５と、第２検出部１６と、制御部１７とを含んでいる。
【００６２】
アクション部１５は、例えば、ロボットＲ１の首および手足を動かす動作を実行するためのモータと、挨拶などの発話を実行するためのスピーカなどを含んでいる。アクション部１５に含まれるモータは、ロボットＲ１の首を左右に傾けるあるいは左右に振るなどの動作を実行可能である。また、アクション部１５は、生き物らしさを演出するために、呼吸する動作などのような無意識的な動作も実行可能である。以下の説明では、無意識的な動作も含めて、発話および身振りの少なくとも一方を含むロボットＲ１のふるまいをアクションと称する。つまり、アクションは、呼吸する動作のような無意識的なふるまいと、挨拶や人物Ｐ１に顔を向ける動作のように、人物Ｐ１の存在を意識したふるまいとの双方を含んでいる。また、人物Ｐ１の存在を意識したふるまいの中で、人物Ｐ１から何らかの反応を引き出す可能性の高いふるまいを喚起アクションと称する。つまり、アクション部１５は、上述した喚起アクションを実行することにより、人物Ｐ１に対して、ロボットＲ１との交流することを促す働きかけを行うことができる。なお、喚起アクションは、例えば、「挨拶」や「あくび」および「くしゃみ」とともに、「怒った動作」や「退屈そうな動作」、「うれしそうな動作」、「驚かせる動作」および「注意を引く動作」などを含んでもよい。
【００６３】
図４に示した第２検出部１６は、アクション部１５によるアクションの実行を検出したタイミングで、収集部１４に非言語情報を収集させる。第２検出部１６は、例えば、アクション部１５によって、上述した喚起アクションのいずれかが実行されたことを検出し、喚起アクションの実行を検出したタイミングを収集部１４に通知することで、非言語情報の収集を開始させてもよい。
【００６４】
ここで、アクション部１５によって、例えば、人物Ｐ１に対する挨拶などの発話を含む喚起アクションが実行された際に、人物Ｐ１は、ロボットＲ１に注意を向けることが多く、また、その後、人物Ｐ１とロボットＲ１との間の相互作用が開始される場合も多い。つまり、第２検出部１６が、アクション部１５による喚起アクションの実行を検出したタイミングは、人物Ｐ１とロボットＲ１との相互作用が発生する可能性の高いタイミングの一つである。
【００６５】
したがって、収集部１４が、第２検出部１６からの通知に応じて非言語情報の収集を行うことにより、ロボットＲ１のアクション部１５による喚起アクションの実行を契機として発生した相互作用の際に人物Ｐ１が表出した非言語反応を示す非言語情報を収集できる。なお、以下の説明では、ロボットＲ１のアクション部１５による喚起アクションの実行の検出に応じて、人物Ｐ１が表出する非言語情報を収集することを、「アクティブセンシング」と称する。
【００６６】
つまり、第１検出部１３および第２検出部１６を有する非言語情報収集装置１０によれば、収集部１４により、パッシブセンシングに加えて、アクティブセンシングを行うことができる。すなわち、第１検出部１３および第２検出部１６を有する非言語情報収集装置１０によれば、人物Ｐ１とロボットＲ１との間の相互作用が発生する契機となる人物Ｐ１の働きかけとロボットＲ１からの働きかけの双方に応じて、非言語情報の収集を行うことができる。したがって、第１検出部１３および第２検出部１６を有する非言語情報収集装置１０は、人物Ｐ１とロボットＲ１との間の相互作用の際に人物Ｐ１が表出する非言語反応を示す非言語情報を漏れなく収集することが可能である。
【００６７】
更に、非言語情報収集装置１０は、収集部１４による前記非言語情報の収集間隔が所定の時間を超えた場合に、アクション部１５に対して、人物Ｐ１への働きかけのためのアクションのいずれかの実行を指示する制御部１７を含んでもよい。
【００６８】
制御部１７は、例えば、収集部１４によって非言語情報が収集された時刻を記録し、当該時刻から所定の時間が経過したときに、アクション部１５に対して、人物Ｐ１への働きかけのためのアクションの実行を指示してもよい。なお、制御部１７は、所定の時間として、例えば、３０秒から数分程度の固定した時間を設定してもよいし、また、人物Ｐ１から反応が返されるまでの平均的な時間などを考慮して動的に決定した時間を設定してもよい。また、制御部１７は、アクション部１５に対して実行を指示するアクションの候補として、複数種類のアクションを予め選択しておいてもよい。
【００６９】
実際の運用では、人物Ｐ１がロボットＲ１に接近した後でも、人物Ｐ１とロボットＲ１との間でなかなかアイコンタクトが成立しないために、精度の高い非言語情報を収集できない場合が発生することがある。このような場合に、ロボットＲ１に発話を伴うアクションやあくびなど比較的大きな動作を伴うアクションを実行させることにより、人物Ｐ１の注意を惹き付けることが可能である。そして、人物Ｐ１の注意をロボットＲ１にひきつけることにより、人物Ｐ１とロボットＲ１とのアイコンタクトが成立する可能性を高めることができる。
【００７０】
つまり、制御部１７を有する非言語情報収集装置１０によれば、人物Ｐ１からの働きかけの発生頻度が低い場合などに、ロボットＲ１からの働きかけを実行させることで、アクティブセンシングを起動し、非言語情報を収集する機会を増加させることができる。
【００７１】
ところで、ロボットＲ１が実行可能なアクションの中には、あくびやくしゃみのように、ロボットＲ１の首を大きく動かす動作を伴うために、人物Ｐ１とのアイコンタクトを成立させるまで時間がかかるアクションが含まれている。また、ロボットＲ１が個々のアクションを実行してから、人物Ｐ１がロボットＲ１に注目するまでの時間にもばらつきがある可能性がある。次に、ロボットＲ１が実行可能な喚起アクションそれぞれの特徴を考慮することにより、アクティブセンシングの際に、効率的に非言語情報を収集する手法について説明する。
【００７２】
図５は、非言語情報収集装置１０の別実施形態を示している。なお、図５に示した構成要素のうち、図２又は図４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００７３】
図５に示した第２検出部１６は、判別部１６１と判別テーブル１６２とを含んでいる。また、図５に示した収集部１４は、図２に示した蓄積バッファ１４１、第３検出部１４２、抽出部１４３および報告作成部１４４に加えて、収集制御部１４５と、遅延テーブル１４６とを含んでいる。
【００７４】
第２検出部１６に含まれる判別テーブル１６２は、例えば、アクション部１５にて実行可能な各アクションを示すアクション識別子(ＩＤ：IDentifier)に対応して、当該アクションが上述した喚起アクションであるか否かを示す種別情報を保持している。判別部１６１は、アクション部１５から実行対象のアクションを示すアクションＩＤを受け取り、受け取ったアクションＩＤに対応して判別テーブル１３２に保持された種別情報に基づいて、実行対象のアクションが喚起アクションであるか否かを判別する。また、判別部１６１は、実行対象のアクションが喚起アクションであると判別した場合に、収集部１４に対して、当該アクションに対応するアクションＩＤとともに、当該アクションの実行開始時刻を通知してもよい。
【００７５】
収集部１４に含まれる収集制御部１４５は、第１検出部１３および第２検出部１６から受け取った通知と遅延テーブル１４６に保持された情報とに基づいて、非言語情報を収集する処理を制御する。遅延テーブル１４６は、例えば、図６に示すように、喚起アクションに含まれる複数のアクションそれぞれに対応して、各アクションの実行開始から非言語情報の収集開始までの遅延時間を保持している。
【００７６】
図６は、遅延テーブル１４６の一例を示している。なお、図６において、符号Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６，Ｓ７，Ｓ８は、それぞれアクションＩＤを示している。
【００７７】
図６に例示したアクション「退屈そうな動作」や「あくび」、「くしゃみ」および「驚かせる動作」には、３０００ミリ秒〜３５００ミリ秒の長めの遅延時間が設定されている。これは、これらのアクションの実行には、ロボットＲ１の首の動きや姿勢の変更を伴うため、首の向きや姿勢などが標準的な状態に戻るまでの時間を考慮した遅延時間を設定しているためである。一方、図６に例示したアクション「挨拶」や「注意を引く動作」のように、人物Ｐ１の反応がアクションの開始直後に現れる可能性の高いアクションについては、０秒のような短い遅延時間を設定してもよい。また、両者の中間的な遅延時間を設定することもできる。例えば、図６に例示したアクション種別「怒った動作」や「嬉しそうな動作」のように、人物Ｐ１の反応が現れるタイミングの予想が難しいものについては、１０００ミリ秒から１５００ミリ秒の中間的な遅延時間を設定してもよい。なお、図６に例示した各アクションは、ロボットＲ１が人物Ｐ１に対する働きかけとして提示するアクションの一例であり、ロボットＲ１は、例示した以外のアクションを人物Ｐ１への働きかけとして提示してもよい。また、これらのアクションに対応する遅延時間も、図６の例示に限定されることはない。
【００７８】
図５に示した収集制御部１４５は、第１検出部１３から人物Ｐ１からロボットＲ１への働きかけを示す非言語反応を検出した旨が通知された場合に、即座に、第３検出部１４２に対して、アイコンタクトが成立するタイミングの検出を指示してもよい。一方、第２検出部１６から喚起アクションの実行を検出した旨が通知された場合に、収集制御部１４５は、まず、遅延テーブル１４６を参照し、通知で示されたアクションＩＤに対応する遅延時間を取得する。次に、収集制御部１４５は、取得した遅延時間の経過を待ってから、第３検出部１４２に対して、アイコンタクトが成立するタイミングの検出を指示すればよい。
【００７９】
上述した収集制御部１４５および遅延テーブル１４６を有する収集部１４によれば、アクション部１５が実行した喚起アクションに適した遅延時間が経過した後に、人物Ｐ１とロボットＲ１とのアイコンタクトの成立に応じた非言語情報の収集を行うことができる。これにより、アクティブセンシングの際に、人物Ｐ１とロボットＲ１とのアイコンタクトが成立する可能性の高いタイミングに狙いをつけて、非言語情報の収集のための処理を開始させることができる。
【００８０】
つまり、収集制御部１４５および遅延テーブル１４６を含む収集部１４を有する非言語情報収集装置１０によれば、ロボットＲ１が実行したアクションの特徴に合わせて非言語情報の収集タイミングを制御することでより効率の高い情報収集が可能である。
【００８１】
なお、図５に示した収集部１４においては、第３検出部１４２によるアイコンタクトの成立の検出が、非言語情報を収集する契機となっている。したがって、制御部１７は、第３検出部１４２による検出結果を監視することで、収集部１４によって非言語情報が収集される間隔を取得してもよい。
【００８２】
また、収集部１４は、図５に示すように、追従制御部１４７を含んでもよい。追従制御部１４７は、蓄積バッファ１４１から人物Ｐ１の顔の位置を示す計測値を読み出し、読み出した計測値に基づいて、アクション部１５に対して人物Ｐ１の顔に追従するようにロボットＲ１の首を動かす動作を指示する。追従制御部１４７は、例えば、収集制御部１４５を介して人物Ｐ１とロボットＲ１との相互作用の発生が通知されたときに、ロボットＲ１の首の向きを人物Ｐ１の顔の方向に追従させる制御を行ってもよい。
【００８３】
上述した追従制御部１４７を有する収集部１４によれば、人物Ｐ１とロボットＲ１との相対位置に応じて、ロボットＲ１の首の向きを調整することにより、図２に示したカメラ１１１によって人物Ｐ１を正面で捉えた画像を取得する可能性を高めることができる。これにより、人物Ｐ１とロボットＲ１とのアイコンタクトが成立する可能性を高めることができるので、人物Ｐ１がロボットＲ１との相互作用の際に表出する非言語反応を示す非言語情報を収集する上で有用である。
【００８４】
以上に説明した本件開示の非言語情報収集装置１０は、人物Ｐ１とロボットＲ１との相互作用が成立している状態という、一定のコンテクストにおいて、人物Ｐ１が表出する様々な非言語反応を示す非言語情報を収集できる。つまり、本件開示の非言語情報収集装置１０によれば、非言語情報の収集を行う場面を安定させることができるので、人物Ｐ１の感情を含む心的状態を表す情報を安定的に収集することができる。
【００８５】
また、本件開示の非言語情報収集装置１０がパッシブセンシングおよびアクティブセンシングの過程で収集する非言語情報は、人物Ｐ１がロボットＲ１と交流を持つ過程で表出する非言語反応を示している。したがって、本件開示の非言語情報収集装置１０が収集する非言語情報は、人物Ｐ１が他者とのコミュニケーションを行う能力の一部を反映している。
【００８６】
人物Ｐ１が他者とのコミュニケーションを行う能力を反映する情報は、人物Ｐ１の生活の質を評価する上で有用性の高い情報である。つまり、本件開示の非言語情報収集装置１０によれば、人物Ｐ１のコミュニケーション能力に着目した情報収集が可能であるので、収集した情報に基づいて、人物Ｐ１の生活の質に注目した見守りサービスを提供することが可能である。
【００８７】
以上に説明した本件開示の非言語情報収集装置１０は、例えば、パーソナルコンピュータなどのコンピュータ装置を用いて実現することができる。
【００８８】
図７は、非言語情報収集装置１０のハードウェア構成の一例を示している。なお、図７に示した構成要素のうち、図１又は図４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００８９】
コンピュータ装置２０は、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、表示装置２４と、入力装置２５と、光学ドライブ装置２６と、ロボットインタフェース２８とを含んでいる。図７に例示したプロセッサ２１と、メモリ２２と、ハードディスク装置２３と、表示装置２４と、入力装置２５と、光学ドライブ装置２６と、ロボットインタフェース２８とは、バスを介して互いに接続されている。
【００９０】
図７に例示したコンピュータ装置２０は、ロボットインタフェース２８を介して、ロボットＲ１に接続されている。そして、プロセッサ２１は、ロボットインタフェース２８を介して、このロボットＲ１に搭載されたセンサ部１１およびアクション部１５との間で情報の授受を行うことができる。なお、ロボットインタフェース２８とロボットＲ１との接続は、有線でもよいし、無線でもよい。また、図７に例示した非言語情報収集装置１０は、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、表示装置２４と、ロボットインタフェース２８と、ロボットＲ１とを含んでいる。
【００９１】
上述した光学ドライブ装置２６は、光ディスクなどのリムーバブルディスク２７を装着可能であり、装着したリムーバブルディスク２７に記録された情報の読出および記録を行う。
【００９２】
図７に例示した入力装置２５は、例えば、キーボードやマウスなどである。非言語情報収集装置１０の操作者は、入力装置２５を操作することにより、非言語情報収集装置１０に含まれる各部に対して、例えば、人物Ｐ１の見守りを開始させる旨の指示などを入力することができる。
【００９３】
図７に例示したメモリ２２は、コンピュータ装置２０のオペレーティングシステムとともに、上述した非言語情報を収集する処理を、プロセッサ２１が実行するためのアプリケーションプログラムを格納している。なお、非言語情報を収集する処理を実行するためのアプリケーションプログラムは、例えば、光ディスクなどのリムーバブルディスク２７に記録して頒布することができる。そして、このリムーバブルディスク２７を光学ドライブ装置２６に装着して読み込み処理を行うことにより、非言語情報を収集する処理を実行するためのアプリケーションプログラムを、メモリ２２およびハードディスク装置２３に格納させてもよい。また、インターネットなどのネットワークに接続する通信装置(図示せず)を介して、非言語情報を収集する処理を実行するためのアプリケーションプログラムをメモリ２２およびハードディスク装置２３に読み込ませることもできる。
【００９４】
プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムを実行することにより、図１に例示した生成部１２、第１検出部１３および収集部１４の各部と、図４に示した第２検出部１６および制御部１７の機能を果たしてもよい。
【００９５】
また、プロセッサ２１は、生成部１２の機能を実現した際に得られる非言語情報を、例えば、ハードディスク装置２３に設けた記憶領域に保持させることにより、ハードディスク装置２３を図２に示した蓄積バッファ１４１として機能させてもよい。
【００９６】
また、図５に示した判別テーブル１６２に含まれる情報および遅延テーブル１４６に含まれる情報は、それぞれハードディスク装置２３あるいはメモリ２２に設けた記憶領域に予め格納しておくことができる。また、プロセッサ２１が、判別テーブル１６２および遅延テーブル１４６に対応して設けられた記憶領域を参照することにより、ハードディスク装置２３あるいはメモリ２２により、判別テーブル１６２および遅延テーブル１４６の機能を実現することができる。
【００９７】
同様に、上述したパッシブセンシングを開始する条件を表す条件情報は、予めメモリ２２あるいはハードディスク装置２３に設けた記憶領域に保持させておくことができる。また、プロセッサ２１が、上述した条件情報に対応して設けられた記憶領域を参照することにより、ハードディスク装置２３あるいはメモリ２２を、図２に示した条件保持部１３２として機能させることができる。
【００９８】
なお、図７に示したロボットＲ１は、例えば、人物Ｐ１とロボットＲ１との相互作用が発生する可能性の高さなどによって複数の動作モードを切り替える機能を有してもよい。ロボットＲ１は、例えば、動作モードとして、人物Ｐ１との間の相互作用に向けた動作モードであるインタラクションモードと、ロボットＲ１の生物らしさを維持しつつ待機する動作モードである待機モードとを切り替える機能を有することが望ましい。また、ロボットＲ１は、人物Ｐ１がロボットＲ１の近傍に滞在している場合など、相互作用が発生する可能性が高い場合に、上述したインタラクションモードで動作することが望ましい。また、プロセッサ２１は、ロボットインタフェース２８を介して、ロボットＲ１の動作モードを示す情報を取得してもよい。
【００９９】
つまり、本件開示の非言語情報収集装置１０は、例えば、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、ロボットＲ１と、非言語情報収集処理のためのアプリケーションプログラムとの協働によって実現することができる。
【０１００】
図８は、非言語情報収集処理のフローチャートの一例を示している。図８に示したステップＳ３０１〜ステップＳ３１０の各処理は、非言語情報収集処理のためのアプリケーションプログラムに含まれる処理の一例である。また、これらのステップＳ３０１〜ステップＳ３１０の各処理は、図７に示したプロセッサ２１によって実行される。
【０１０１】
プロセッサ２１は、例えば、ロボットインタフェース２８を介して、ロボットＲ１の動作モードがインタラクションモードに切り替わった旨が通知されたときなどに、図８に示した非言語情報収集処理を開始する。
【０１０２】
まず、プロセッサ２１は、非言語情報の取得を実行した時刻を示す取得実行時刻Ｔｅに、初期値として現在の時刻を設定するとともに、センサ部１１で得られた観測データに基づく非言語情報の生成を開始する(ステップ３０１)。なお、プロセッサ２１は、ステップ３０１の処理で、非言語情報を生成する処理を開始した後は、以降に述べる各ステップの処理と並行して非言語情報を生成する処理を実行することが望ましい。また、プロセッサ２１は、例えば、ハードディスク装置２３に蓄積バッファ１４１に対応して設けられた記憶領域に、生成した非言語情報を保持させる処理も併せて実行することが望ましい。
【０１０３】
次いで、プロセッサ２１は、図９に示すようにして、人物Ｐ１からロボットＲ１への働きかけあるいはロボットＲ１から人物Ｐ１への働きかけを契機とした相互作用の発生を検出する処理を実行する(ステップ３０２)。
【０１０４】
図９は、相互作用の発生を検出する処理のフローチャートの一例を示している。図９に示したステップＳ３１１〜ステップＳ３１９の各処理は、図７に示したステップ３０２の処理のの一例である。また、これらのステップＳ３１１〜ステップＳ３１９の各処理は、図７に示したプロセッサ２１によって実行される。
【０１０５】
まず、プロセッサ２１は、図７に示したロボットインタフェース２８を介して、ロボットＲ１の状態を示す情報を取得し、取得した情報に基づいて、ロボットＲ１がアクションを実行中であるか否かを判定する(ステップ３１１)。ロボットＲ１がアクションの実行中である場合に、プロセッサ２１は、ステップ３１１の肯定判定ルートに従ってステップ３１２の処理に進み、ロボットＲ１が実行中のアクションが上述した喚起アクションであるか否かを判定する。プロセッサ２１は、例えば、ステップ３１１の処理の過程で、ロボットＲ１が実行中のアクションを示すアクションＩＤを取得してもよい。また、プロセッサ２１は、取得したアクションＩＤに基づいてメモリ２２あるいはハードディスク装置２３に設けられた判別テーブル１６２を参照することで、ステップ３１２の判定処理を行ってもよい。
【０１０６】
ロボットＲ１によって実行中のアクションが喚起アクションである場合に、プロセッサ２１は、ステップ３１２の肯定判定ルートに従ってステップ３１３の処理に進む。ステップ３１３において、プロセッサ２１は、ロボットＲ１から人物Ｐ１への働きかけを契機とする相互作用の発生を検出した旨を処理結果として出力することで、アクティブセンシングの実行を指示する。
【０１０７】
このように、プロセッサ２１が、ステップ３１１〜ステップ３１３の処理を実行することにより、図４に示した第２検出部１６の機能を実現することができる。
【０１０８】
一方、ロボットＲ１がアクションを実行中でない場合と(ステップ３１１の否定判定)、実行中のアクションが喚起アクションではない場合に(ステップ３１２の否定判定)、プロセッサ２１は、ステップ３１４の処理に進む。
【０１０９】
ステップ３１４において、プロセッサ２１は、ハードディスク装置２３に蓄積バッファ１４１に対応して設けられた記憶領域から、上述したパッシブセンシングを開始する条件にかかわる各計測値を取得する。プロセッサ２１は、例えば、ハードディスク装置２３に設けられた条件保持部１３２を参照することで、パッシブセンシングを開始する条件を取得する。また、パッシブセンシングを開始する条件として上述した６つの場合についての条件情報が保持されている場合に、プロセッサ２１は、これらの条件情報に対応する最新の計測値を、ハードディスク装置２３から読み出してもよい。なお、上述した６つの場合についての条件情報に対応する計測値は、例えば、人物Ｐ１の位置、視線の方向、笑顔度、手の動きの頻度、頷き動作の頻度および接触の頻度である。また、プロセッサ２１は、ステップ３１４の処理の過程で、最新の計測値とともに、それぞれの過去の計測値をハードディスク装置２３から読み出してもよい。
【０１１０】
次いで、プロセッサ２１は、上述した条件情報に基づいて、人物Ｐ１による働きかけを示す非言語反応の検出にかかわる各計測値の変化量を算出する(ステップ３１５)。例えば、プロセッサ２１は、笑顔度、手の動きの頻度、頷き動作の頻度および接触の頻度に関する条件情報に基づいて、過去の所定の期間に対応して得られた各計測値の平均値と対応する最新の計測値との差を変化量として算出してもよい。
【０１１１】
次に、プロセッサ２１は、ステップ３１４で取得した各計測値あるいはステップ３１５で算出した計測値の変化量が、上述したパッシブセンシングを開始する条件のそれぞれを満たすか否かを判定する(ステップ３１６)。
【０１１２】
次いで、プロセッサ２１は、ステップ３１６の処理において、少なくとも一つの条件が満たされているとする判定結果が得られたか否かを判定する(ステップ３１７)。少なくとも一つの条件が満たされていると判定した場合に、プロセッサ２１は、ステップ３１７の肯定判定ルートに従ってステップ３１８の処理に進む。ステップ３１８において、プロセッサ２１は、人物Ｐ１からの働きかけを契機とする相互作用を検出した旨を処理結果として出力する出力することで、パッシブセンシングの実行を指示する。
【０１１３】
このように、プロセッサ２１が、ステップ３１４〜ステップ３１８の処理を実行することにより、図１に示した第１検出部１３の機能を実現することができる。
【０１１４】
一方、いずれの条件も満たされていないと判断した場合に（ステップ３１７の否定判定ルート）、プロセッサ２１は、相互作用を検出しない旨を処理結果として出力する(ステップ３１９)。
【０１１５】
上述したステップ３１３、ステップ３１８、ステップ３１９のいずれかの処理の終了後に、プロセッサ２１は、相互作用を検出する処理を終了し、図８に示したステップ３０３の処理に進む。
【０１１６】
ステップ３０３において、プロセッサ２１は、ステップ３０２の処理で相互作用を検出した旨の処理結果が得られたか否かを判定する。相互作用が検出された場合に（ステップ３０３の肯定判定）、プロセッサ２１は、図１０に示すようにして、人物Ｐ１とロボットＲ１との相互作用の過程において、人物Ｐ１が表出する非言語反応を示す非言語情報を取得する(ステップ３０４)。
【０１１７】
図１０は、非言語情報を取得する処理のフローチャートの一例を示している。図１０に示したステップＳ３２１〜ステップＳ３３０の各処理は、図７に示したステップ３０４の処理の一例である。また、これらのステップＳ３２１〜ステップＳ３３０の各処理は、図７に示したプロセッサ２１によって実行される。
【０１１８】
まず、プロセッサ２１は、図９に示した相互作用の発生を検出する処理の過程で、アクティブセンシングの実行が指示されたか否かを判定する(ステップ３２１)。
【０１１９】
相互作用の発生を検出する処理の結果として、ロボットＲ１から人物Ｐ１への働きかけを契機とする相互作用の発生を検出した旨が得られている場合に、プロセッサ２１は、アクティブセンシングの実行が指示されたと判断する。この場合に、プロセッサ２１は、ステップ３２１の肯定判定ルートに従って、ステップ３２２の処理に進む。ステップ３２２において、プロセッサ２１は、まず、ハードディスク装置２３に設けられた遅延テーブル１４６から、ロボットＲ１が実行中の喚起アクションに対応する遅延時間を示す情報を取得する。次いで、プロセッサ２１は、ロボットＲ１がアクションの実行を開始してから上述した遅延時間が経過するまで待機する。
【０１２０】
プロセッサ２１は、ステップ３２１の肯定判定ルートにおいて、ステップ３２２における遅延時間分の待機後に、以降に述べるステップ３２３〜ステップ３３０の処理を実行することでアクティブセンシングを実行する。
【０１２１】
一方、ステップ３２１の否定判定ルートにおいて、プロセッサ２１は、ステップ３２２をスキップし、即座に、以降に述べるステップ３２３〜ステップ３３０の処理を実行することでパッシブセンシングを実行する。
【０１２２】
ステップ３２３において、プロセッサ２１は、ロボットＲ１の顔の向きを人物Ｐ１に追従させる制御を開始する。例えば、プロセッサ２１は、ロボットＲ１に搭載されたカメラで得られた画像における人物Ｐ１の顔の位置を示す最新の計測値と、画像の中央との差分を縮小させるように、ロボットＲ１の首の向き変更するための制御データを生成してもよい。また、プロセッサ２１は、生成した制御データを、図７に示したロボットインタフェース２８を介してロボットＲ１に渡すことにより、ロボットＲ１の首の動作を制御することができる。プロセッサ２１は、ロボットＲ１の顔の向きを人物Ｐ１に追従させる制御を非言語情報の取得処理が完了するまで継続することが望ましい。
【０１２３】
プロセッサ２１は、ステップ３２３の処理と並行して、上述したカメラで得られた画像における人物Ｐ１の顔の位置および顔の向きに基づいて、人物Ｐ１とロボットＲ１とのアイコンタクトの成立を検出する(ステップ３２４)。プロセッサ２１は、例えば、人物Ｐ１の顔の位置および顔の向きをそれぞれ示す最新の計測値により、人物Ｐ１の顔が画面の中央付近にあり、かつ、人物Ｐ１の顔が正面向きであることが示されたときに、アイコンタクトが成立したと判断すればよい。
【０１２４】
プロセッサ２１は、人物Ｐ１の顔にロボットＲ１の向きを追従させつつ、アイコンタクトの成立の検出を行う探索処理を、例えば、所定の探索時間にわたって継続的に実行してもよい。なお、探索時間は、例えば、ロボットＲ１の向きを人物Ｐ１の位置に合わせて調整するまでに要する平均的な時間などに基づいて予め設定してもよい。
【０１２５】
上述した探索処理の過程で、ステップ３２４の処理において、アイコンタクトの成立を検出した場合に(ステップ３２５の肯定判定)、プロセッサ２１は、ステップ３２６の処理に進む。
【０１２６】
ステップ３２６において、プロセッサ２１は、ステップ３２４の処理で取得した計測値に対応するサンプリング時刻に基づいて、このサンプリング時刻を含む所定の期間であるアイコンタクト期間を特定する。このように、プロセッサ２１が、ステップ３２４の肯定判定に応じて、ステップ３２６の処理を実行することにより、図２に示した第３検出部１４２の機能を実現することができる。
【０１２７】
次いで、プロセッサ２１は、ハードディスク装置２３に設けられた蓄積バッファ１４１から、上述したアイコンタクト期間に含まれるサンプリング時刻に対応して保持された各種の計測値を含む非言語情報を読み出す(ステップ３２７)。次に、プロセッサ２１は、ステップ３２７で読み出した非言語情報を、人物Ｐ１がロボットＲ１との相互作用の過程で表出した非言語反応を示す非言語情報として保存する(ステップ３２８)。プロセッサ２１は、例えば、ハードディスク装置２３に、上述した蓄積バッファ１４１に対応する記憶領域とは別の記憶領域を確保し、確保した記憶領域に、ステップ３２７で読み出した非言語情報を保存すればよい。このように、プロセッサ２１が、ステップ３２７およびステップ３２８の処理を実行することにより、図２に示した抽出部１４３の機能を実現することができる。
【０１２８】
ステップ３２４の肯定判定ルートにおいて、プロセッサ２１は、非言語情報の取得が成功した旨を処理結果として出力し(ステップ３２９)、その後、非言語情報を取得する処理を終了し、図７に示したステップ３０５の処理に進む。
【０１２９】
一方、ステップ３２３およびステップ３２４の処理による探索処理を所定の探索時間にわたって継続しても、人物Ｐ１とロボットＲ１とのアイコンタクトが検出されない場合もある。プロセッサ２１は、上述した探索時間が経過しても、ステップ３２４の処理でアイコンタクトの成立が検出されなかった場合に、ステップ３２５の否定判定ルートに従って、ステップ３３０の処理に進む。ステップ３３０において、プロセッサ２１は、非言語情報の取得が失敗した旨を処理結果として出力し、その後、非言語情報を取得する処理を終了し、図７に示したステップ３０５の処理に進む。
【０１３０】
ステップ３０５において、プロセッサ２１は、上述したステップ３０４の処理の過程で、非言語情報の取得が成功したか否かを判定する。
【０１３１】
ステップ３０４の処理の過程で、人物Ｐ１とロボットＲ１との相互作用の際に人物Ｐ１が表出した非言語反応を示す非言語情報の取得が成功した場合に、プロセッサ２１は、ステップ３０５の肯定判定ルートに従ってステップ３０６の処理に進む。そして、ステップ３０６において、プロセッサ２１は、例えば、現在時刻を用いて、取得実行時刻Ｔｅを更新する。その後、プロセッサ２１は、ステップ３０２の処理に戻り、新たな相互作用の発生に応じて、非言語情報を収集する処理を開始する。
【０１３２】
一方、ステップ３０４の処理の過程で非言語情報の取得に失敗した場合に、プロセッサ２１は、ステップ３０５の否定判定ルートに従ってステップ３０７の処理に進む。また、上述したステップ３０２の処理の過程で人物Ｐ１とロボットＲ１との相互作用の発生が検出されなかった場合に、プロセッサ２１は、ステップ３０３の否定判定ルートに従って、同じく、ステップ３０７の処理に進む。
【０１３３】
ステップ３０７において、プロセッサ２１は、現在時刻と取得実行時刻Ｔｅとの差に基づいて、取得実行時刻Ｔｅからの経過時間ｔを算出する。次いで、プロセッサ２１は、ステップ３０７で算出した経過時間ｔと、非言語情報の収集処理の終了を判定するための閾値Ｔｈｅとを比較する(ステップ３０８)。なお、閾値Ｔｈｅの値は、例えば、ロボットＲ１がインタラクションモードとなってから最初に人物Ｐ１とロボットＲ１との間の相互作用が検出されるまでの時間の平均値よりも長い時間を設定することが望ましい。
【０１３４】
取得実行時刻Ｔｅからの経過時間ｔが上述した閾値Ｔｈｅ以下である場合に（ステップ３０８の否定判定）、プロセッサ２１は、更に、経過時間ｔと、ロボットＲ１のアクション部１５によって喚起アクションを実行させるか否かを判定するための閾値Ｔｈａとを比較する(ステップ３０９)。なお、閾値Ｔｈａの値は、例えば、上述した閾値Ｔｈｅよりも短い時間であって、ロボットＲ１がインタラクションモードの場合に人物Ｐ１とロボットＲ１との間の相互作用が検出されるまでの平均的な時間よりも長い時間を設定することが望ましい。
【０１３５】
経過時間ｔが上述した閾値Ｔｈａ以下である場合に、プロセッサ２１は、ステップ３０９の否定判定ルートに従って、ステップ３０２の処理に戻り、相互作用の発生を契機として非言語情報を収集する処理を続行する。
【０１３６】
一方、経過時間ｔが上述した閾値Ｔｈａを超えた場合に、プロセッサ２１は、ステップ３０９の肯定判定ルートに従って、ステップ３１０の処理に進む。
【０１３７】
ステップ３０９の肯定判定ルートにおいて、プロセッサ２１は、まず、図７に示したロボットインタフェース２８を介して、ロボットＲ１に対して、上述した喚起アクションの実行を指示する(ステップ３１０)。プロセッサ２１は、例えば、図６に例示した８種類の喚起アクションのいずれかをランダムに選択し、選択した喚起アクションの実行を指示してもよい。次いで、プロセッサ２１は、ステップ３０２の処理に戻り、ステップ３１０の処理で実行させたアクションによって発生した相互作用を契機として、非言語情報の収集処理を実行する。このように、プロセッサ２１が、ステップ３０９の肯定判定に応じてステップ３１０の処理を実行することにより、図４に示した制御部１７の機能を実現することができる。
【０１３８】
一方、例えば、ロボットＲ１が再三にわたって上述した喚起アクションを実行したにもかかわらず、人物Ｐ１の注意を引けない場合もある。このような場合に、上述したステップ３０７で算出される経過時間ｔは、上述した閾値Ｔｈｅを超える値となり、これに応じて、プロセッサ２１は、ステップ３０８の肯定判定ルートに従って、非言語情報の収集処理を終了する。
【０１３９】
このように、人物Ｐ１がロボットＲ１に対して関心を示さない場合に、非言語情報の収集処理を一旦終了させることにより、人物Ｐ１がロボットＲ１を煩わしく思うことを防いでもよい。また、非言語情報の収集処理を終了した後にも、プロセッサ２１は、ロボットＲ１に搭載されたセンサ部１１による人物Ｐ１の観測および観測で得られた観測データに基づく非言語情報の生成処理を継続して実行してもよい。また、プロセッサ２１は、非言語情報の生成処理と併せて、図９に示した相互作用の発生を検出する処理を継続して実行してもよい。更に、プロセッサ２１は、相互作用の発生を検出する処理を実行する過程で、例えば、人物Ｐ１がロボットＲ１に接触するなどの働きかけを検出した場合に、再び、図８に示した非言語情報を収集する処理を再開してもよい。
【０１４０】
以上の説明に関して、更に、以下の各項を開示する。
(付記１)  人物の表情もしくは身振りを含む非言語反応を検出するセンサ部を有するロボットと、
前記センサ部で検出された非言語反応から、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成部と、
前記センサ部で検出された非言語反応から、前記人物から前記ロボットへの働きかけを示す非言語反応を検出する第１検出部と、
前記人物から前記ロボットへの働きかけを示す非言語反応が検出されたタイミングで、前記生成部で生成された前記非言語情報を収集する収集部と
を備えたことを特徴とする非言語情報収集装置。
(付記２)  付記１に記載の非言語情報収集装置において、
前記ロボットは、発話および身体動作の少なくとも一方を含むアクションを前記人物に対して行うアクション部を有し、
前記非言語情報収集装置は、更に、
前記アクション部による前記アクションの実行を検出したタイミングで、前記収集部に前記非言語情報を収集させる第２検出部を備えた
ことを特徴とする非言語情報収集装置。
(付記３)  付記２に記載の非言語情報収集装置において、
前記収集部前記非言語情報の収集間隔が所定の時間を超えた場合に、前記アクション部に対して前記アクションの実行を指示する制御部を有する
ことを特徴とする非言語情報収集装置。
(付記４)  付記１乃至付記３のいずれか１に記載の非言語情報収集装置において、
前記センサ部は、前記ロボットの視線方向に光軸が設定されたカメラを有し、
前記収集部は、
前記カメラで取得された画像に基づいて、前記ロボットの視線と前記人物の視線とが一致したタイミングを検出する第３検出部と、
前記第３検出部で検出されたタイミングを含む所定の長さの期間に前記生成部で生成された前記非言語情報を収集対象の非言語情報として抽出する抽出部とを有する
ことを特徴とする非言語情報収集装置。
(付記５)  付記１乃至付記４のいずれか１に記載の非言語情報収集装置において、
前記第１検出部は、前記センサ部によって検出される非言語反応に含まれる、前記人物が前記ロボットの位置を含む所定の範囲に進入する動作を、前記人物から前記ロボットへの働きかけを示す非言語反応として検出する
ことを特徴とする非言語情報収集装置。
(付記６)  付記１乃至付記５のいずれか１に記載の非言語情報収集装置において、
前記第１検出部は、前記センサ部によって検出される非言語反応に含まれる、前記人物が前記ロボットに接近する動作を、前記人物から前記ロボットへの働きかけを示す非言語反応として検出する
ことを特徴とする非言語情報収集装置。
(付記７)  付記１乃至付記６のいずれか１に記載の非言語情報収集装置において、
前記第１検出部は、前記センサ部によって検出される非言語反応に含まれる、前記人物の視線が前記ロボットに向けられる動作を、前記人物から前記ロボットへの働きかけを示す非言語反応として検出する
ことを特徴とする非言語情報収集装置。
(付記８)  付記１乃至付記７のいずれか１に記載の非言語情報収集装置において、
前記第１検出部は、前記センサ部によって検出される非言語反応に含まれる、前記人物の表情が笑顔である度合いを示す笑顔度が上昇に向かう変化を、前記人物から前記ロボットへの働きかけを示す非言語反応として検出する
ことを特徴とする非言語情報収集装置。
(付記９)  付記１乃至付記８のいずれか１に記載の非言語情報収集装置において、
前記第１検出部は、前記センサ部によって検出される非言語反応に含まれる、前記人物の身振り頻度と大きさとの少なくとも一方が増大に向かう変化を、前記人物から前記ロボットへの働きかけを示す非言語反応として検出する
ことを特徴とする非言語情報収集装置。
(付記１０)  付記１乃至付記９のいずれか１に記載の非言語情報収集装置において、
前記第１検出部は、前記センサ部によって検出される非言語反応に含まれる、前記人物による前記ロボットへの接触の頻度と大きさとの少なくとも一方が増大に向かう変化を、前記人物から前記ロボットへの働きかけを示す非言語反応として検出する
ことを特徴とする非言語情報収集装置。
(付記１１)  ロボットに設けられたセンサ部によって検出された人物の表情もしくは身振りを含む非言語反応から、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、
前記センサ部で検出された非言語反応から、前記人物から前記ロボットへの働きかけを示す非言語反応を検出し、
前記人物から前記ロボットへの働きかけを示す非言語反応が検出されたタイミングで生成された前記非言語情報を収集する
処理をコンピュータに実行させることを特徴とする非言語情報収集プログラム。
(付記１２)  付記１１に記載の非言語情報収集プログラムにおいて、
前記ロボットに備えられたアクション部による、発話および身振りの少なくとも一方を含むアクションの実行を検出し、
前記アクションを検出に応じて前記非言語情報を収集する
処理をコンピュータに実行させることを特徴とする非言語情報収集プログラム。
【符号の説明】
【０１４１】
１０…非言語情報収集装置；１１…センサ部；１２…生成部；１３…第１検出部；１４…収集部；１５…アクション部；１６…第２検出部；１７…制御部；１１１…カメラ；１１２…マイクロホン；１１３…接触センサ；１２１…画像データ処理部；１２２…音声データ処理部；１２３…接触データ処理部；１３１…監視部；１３２…条件保持部；１４１…蓄積バッファ；１４２…第３検出部；１４３…抽出部；１４４…報告作成部；１４５…収集制御部；１４６…遅延テーブル；１４７…追従制御部；１６１…判別部；１６２…判別テーブル；２１…プロセッサ；２２…メモリ；２３…ハードディスク装置(ＨＤＤ)；２４…表示装置；２５…入力装置；２６…光学ドライブ装置；２７…リムーバブルディスク；２８…ロボットインタフェース；Ｐ１…人物；Ｒ１…ロボット
【図１】
0005987473.tif 000002
【図２】
0005987473.tif 000003
【図３】
0005987473.tif 000004
【図４】
0005987473.tif 000005
【図５】
0005987473.tif 000006
【図６】
0005987473.tif 000007
【図７】
0005987473.tif 000008
【図８】
0005987473.tif 000009
【図９】
0005987473.tif 000010
【図１０】
0005987473.tif 000011