(57)【要約】【課題】人がロボットの視野の死角となる領域から近づいても、その人物を認識できるようにする。【解決手段】制御装置（１）は、ロボット（１００ａ）の周辺に設置され、カメラ（１０）の視野の死角に入る人物を撮像するカメラ（２０）が撮像した画像から上記人物を認識した結果を示す認識情報、および上記カメラ（２０）の位置を基準とした上記人物の位置を示す位置情報を取得する情報取得部（１１）と、上記認識情報に係る上記人物の上記位置情報を参照して、ロボット（１００ａ）の位置を基準とした上記人物の位置を特定する位置関係特定部（１２）と、を備える。【選択図】図１
2019125095.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置と制御装置とを備えたロボットであって、
上記制御装置は、
上記ロボットの周辺に設置され、上記撮像装置の視野の死角に入る人物を撮像するカメラが撮像した画像から上記人物を認識した結果を示す認識情報、および上記カメラの位置を基準とした上記人物の位置を示す位置情報を取得する処理と、
上記認識情報に係る上記人物の上記位置情報を参照して、上記ロボットの位置を基準とした上記人物の位置を特定する処理と、を行うことを特徴とするロボット。
【請求項２】
上記制御装置は、上記カメラを含む周辺のデバイスから当該デバイスの識別情報を受信した場合に、当該識別情報をデータベースに登録する処理を行うことを特徴とする請求項１に記載のロボット。
【請求項３】
上記制御装置は、上記撮像装置が上記カメラを撮像した撮像画像を分析して、上記ロボットと上記カメラとの位置関係を特定することを特徴とする請求項１または２に記載のロボット。
【請求項４】
上記制御装置は、上記カメラが撮像した画像から認識した人物が複数存在している場合に、予め設定された優先度が高い人物の位置を優先して特定することを特徴とする請求項１から３までの何れか１項に記載のロボット。
【請求項５】
上記制御装置は、上記カメラが複数存在している場合に、上記人物との距離が最も近いと判定したカメラからの上記認識情報に係る上記人物の上記位置情報を優先的に参照して、上記ロボットの位置を基準とした上記人物の位置を特定することを特徴とする請求項１から４までの何れか１項に記載のロボット。
【請求項６】
請求項１から５までの何れか１項に記載のロボットと、
上記カメラと、
人物の在不在を検知する人感センサと、を含み、
上記ロボットおよび上記カメラのそれぞれは、上記人感センサが人物を検知した場合に、電源状態をスリープ状態からアクティブ状態に遷移させることを特徴とする人物検知システム。
【請求項７】
撮像装置を備えるロボットの制御装置であって、
上記ロボットの周辺に設置され、上記撮像装置の視野の死角に入る人物を撮像するカメラが撮像した画像から上記人物を認識した結果を示す認識情報、および上記カメラの位置を基準とした上記人物の位置を示す位置情報を取得する情報取得部と、
上記認識情報に係る上記人物の上記位置情報を参照して、上記ロボットの位置を基準とした上記人物の位置を特定する位置関係特定部と、を備えることを特徴とする制御装置。
【請求項８】
請求項７に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、上記情報取得部および上記位置関係特定部としてコンピュータを機能させるための制御プログラム。
【請求項９】
撮像装置を備えるロボットの制御装置の制御方法であって、
上記ロボットの周辺に設置され、上記撮像装置の視野の死角に入る人物を撮像するカメラが撮像した画像から上記人物を認識した結果を示す認識情報、および上記カメラの位置を基準とした上記人物の位置を示す位置情報を取得する情報取得ステップと、
上記認識情報に係る上記人物の上記位置情報を参照して、上記ロボットの位置を基準とした上記人物の位置を特定する位置関係特定ステップと、を含むことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボット、人物検知システム、ロボットの制御装置、該制御装置としてコンピュータを機能させるための制御プログラム、および該制御装置の制御方法に関する。
【背景技術】
【０００２】
特許文献１には、自律移動可能で、カメラを搭載し、カメラによる撮像画像を画像認識処理することにより、来訪者の顔を認識し、来訪者に視線を向けたり、挨拶したりするなどして来訪者の受付対応を行うロボットが開示されている。
【０００３】
このロボットでは、ロボット本体に、来訪者を少なくとも画像情報に基づいて認識するための外部認識手段と、ロボットと通信可能でありかつ認識された来訪者を識別する情報のデータベースを有する管理データベース手段とが設けられている。また、このロボットは、上記外部認識手段と上記管理データベース手段との情報に基づいて来訪者を特定するようになっている。
【０００４】
これにより、来訪者をロボットで画像認識でき、その画像認識された来訪者をデータベースの情報と照合して認識することにより来訪者を特定することができる。このため、例えば、データベースに面会予定が対応して入力されていれば、その情報に基づいてロボットにより来訪者を面会待ち合わせ場所などに自動的に案内することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４-１１４１７８号公報（２００４年４月１５日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したような従来技術では、ロボットがカメラと外部認識手段とを備えており、それらを用いて人物の認識を行っているが、人がロボットの視野の死角となる領域から近づくと、その人物を認識することができないという問題がある。
【０００７】
本発明の一態様は、以上の問題点に鑑みて為されたものであり、その目的は、人がロボットの視野の死角となる領域から近づいても、その人物を認識できるようにすることができるロボットなどを提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様に係るロボットは、撮像装置と制御装置とを備えたロボットであって、上記制御装置は、上記ロボットの周辺に設置され、上記撮像装置の視野の死角に入る人物を撮像するカメラが撮像した画像から上記人物を認識した結果を示す認識情報、および上記カメラの位置を基準とした上記人物の位置を示す位置情報を取得する処理と、上記認識情報に係る上記人物の上記位置情報を参照して、上記ロボットの位置を基準とした上記人物の位置を特定する処理と、を行う構成である。
【０００９】
また、上記の課題を解決するために、本発明の一態様に係るロボットの制御装置は、撮像装置を備えるロボットの制御装置であって、上記ロボットの周辺に設置され、上記撮像装置の視野の死角に入る人物を撮像するカメラが撮像した画像から上記人物を認識した結果を示す認識情報、および上記カメラの位置を基準とした上記人物の位置を示す位置情報を取得する情報取得部と、上記認識情報に係る上記人物の上記位置情報を参照して、上記ロボットの位置を基準とした上記人物の位置を特定する位置関係特定部と、を備える構成である。
【００１０】
また、上記の課題を解決するために、本発明の一態様に係るロボットの制御装置の制御方法は、撮像装置を備えるロボットの制御装置の制御方法であって、上記ロボットの周辺に設置され、上記撮像装置の視野の死角に入る人物を撮像するカメラが撮像した画像から上記人物を認識した結果を示す認識情報、および上記カメラの位置を基準とした上記人物の位置を示す位置情報を取得する情報取得ステップと、上記認識情報に係る上記人物の上記位置情報を参照して、上記ロボットの位置を基準とした上記人物の位置を特定する位置関係特定ステップと、を含む方法である。
【発明の効果】
【００１１】
本発明の一態様によれば、人がロボットの視野の死角となる領域から近づいても、その人物を認識できるようにすることができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１に係る人物検知システムの構成を示すブロック図である。
【図２】（ａ）は、従来のロボットの視野の死角の問題を説明するための図であり、（ｂ）は、上記人物検知システムの動作の概要を説明するための図である。
【図３】ロボットから周辺のカメラへの問合せに係る処理の流れを示すフローチャートである。
【図４】周辺のカメラからの信号受信に係る処理の流れを示すフローチャートである。
【図５】（ａ）は、認識情報の一例を示す図であり、（ｂ）は、ロボットの動作のシナリオの一例を示す図である。
【図６】（ａ）は、本発明の実施形態２に係る人物検知システムの構成を示すブロック図であり、（ｂ）は、会議室や待合室などの部屋にロボット、カメラおよび人感センサを設置したときの状態を示す図である。
【図７】本発明の実施形態３に係る人物検知システムの構成を示すブロック図である。
【図８】上記人物検知システムの動作の流れを示すフローチャートである。
【図９】ロボットの動作のシナリオの別の例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、詳細に説明する。以下の特定の項目（実施形態）における構成について、それが他の項目で説明されている構成と同じである場合は、説明を省略する場合がある。また、説明の便宜上、各項目に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を繰り返さない。
【００１４】
〔実施形態１〕
以下では、本発明を適用することが可能な電子機器としてロボットを例にとって説明するが、これに限定されない。カメラなどの撮像装置を備えた電子機器であればどのような電子機器であっても良い。
【００１５】
図１は、本発明の実施形態１に係る人物検知システムの構成を示すブロック図である。同図に示すように本実施形態の人物検知システムは、ロボット１００ａ、カメラ制御装置２００、およびカメラ２０（カメラａ〜ｃ・・・；デバイス）を含んでいる。以下、カメラ制御装置２００およびカメラ２０を総称して周辺デバイスと呼ぶ場合がある。
【００１６】
本実施形態のロボット１００ａは、各種の動作（自律歩行や対話等）が可能なヒト型のロボットとして実現される。ロボット１００ａは二足歩行可能なロボットでもよいし、アニメキャラクタや動物などの形状のロボットでもよい。なお、ロボット１００ａの大きさは携帯可能な大きさである。
【００１７】
ロボット１００ａは、制御装置１、アンテナ２、無線通信装置３、マイク４、スピーカ５、充電装置６、内部バッテリー７、記憶装置８、駆動装置９およびカメラ（撮像装置）１０を備える。
【００１８】
制御装置１は、ロボット１００ａの各部を統括的に制御するものであり、情報取得部１１、位置関係特定部１２、応答決定部１３、音声認識部１４および音声合成部１５を含む。
【００１９】
情報取得部１１は、アンテナ２および無線通信装置３を介してカメラ制御装置２００からカメラ２０が撮像した人物を認識した結果を示す認識情報、およびカメラ２０の位置を基準とした上記人物の位置を示す位置情報を取得する（情報取得ステップ）。
【００２０】
位置関係特定部１２は、上記認識情報に係る上記人物の上記位置情報を参照して、ロボット１００ａの位置を基準とした上記人物の位置を特定する（位置関係特定ステップ）。なお、位置関係特定部１２は、カメラ２０が撮像した画像から認識した人物が複数存在している場合に、予め設定された優先度が高い人物の位置を優先して特定しても良い。これにより、例えば、面会を予約している人物のように、ロボット１００ａとコミュニケーションを図る必要性が高い人物の優先度を高くすることにより、ロボット１００ａとコミュニケーションを図る必要性が高い人物を優先して認識することができる。
【００２１】
また、位置関係特定部１２は、カメラ２０（カメラａ〜ｃ）が複数存在している場合に、上記人物との距離が最も近いと判定したカメラ（例えば、カメラａ）が撮像した画像からの上記認識情報に係る上記人物の上記位置情報を優先的に参照して、ロボット１００ａの位置を基準とした上記人物の位置を特定しても良い。これにより、カメラと人物との距離が遠い場合と比較して、ロボット１００ａの位置を基準とした上記人物の位置をより正確に特定することができる。
【００２２】
応答決定部１３は、位置関係特定部１２によってロボット１００ａの位置を基準とした位置が特定された人物の正面に近づくよう、駆動装置９などの動作を制御する。また、応答決定部１３は、後述する会話シナリオに従って発話するよう、音声合成部１５などの動作を制御する。また、応答決定部１３は、会釈やダンスなどのアクションを行ったりすることを決定し、駆動装置９などの動作を制御する。
【００２３】
音声認識部１４は、マイク４が受信した音声データをテキストデータ（文字情報）に変換する。応答決定部１３は、上記テキストデータと記憶装置８から読み出した会話シナリオとを参照し、応答内容を決定する。音声合成部１５は、決定した応答内容に従って発話音声を合成する。音声合成部１５は、合成した発話音声をスピーカ５に出力する。
【００２４】
無線通信装置３は、アンテナ２を介してカメラ制御装置２００から上述した認識情報および位置情報などの各種情報を受信する。マイク４は、取得した音声の音声データを音声認識部１４に出力する。スピーカ５は、音声データを含む情報を再生する機能と、音声出力機能とを有する再生部であり、音声合成部１５によって合成された発話音声を再生する。
【００２５】
内部バッテリー７には充電装置６が電気的に接続されており、充電装置６から内部バッテリー７に通電が行われる。記憶装置８には、会話シナリオなどの各種データやロボット１００ａを機能させるために必要なデータが格納される。
【００２６】
駆動装置９は、ロボット１００ａの各関節を駆動して、自律歩行、会釈およびダンスなどのロボット１００ａのアクションを制御する。カメラ１０は、制御装置１からの通知に従って撮影を行う。
【００２７】
次に、カメラ制御装置２００は、カメラ２０の動作を制御するものであり、ロボット１００ａの周辺に設置され、主としてロボット１００ａのカメラ１０の視野の死角に入る人物を撮像するカメラ２０が撮像した画像から人物を認識する機能を有する。カメラ制御装置２００は、無線通信装置１６、アンテナ１７、認識対象ＤＢ（データベース）１８、および制御装置１９を含む。無線通信装置１６は、アンテナ１７を介してロボット１００ａに上述した認識情報および位置情報などの各種情報を送信する。
【００２８】
制御装置１９は、カメラ制御装置２００の各部を統括的に制御するものであり、対象情報判定部１９１および画像認識部１９２を備える。画像認識部１９２は、カメラ２０（カメラａ〜ｃ）が撮像した画像情報を取得し、取得した画像情報に人の顔があるか否かを検出する。この顔画像の検出および認識の方法は、公知の方法を用いるものとする。例えば、人間の顔部分を撮像して得た画像情報に対して特徴点を抽出する処理を行い、認識対象ＤＢ１８に登録されている登録顔画像に係る特徴点とパターンマッチングを行い、予め登録されている人物の顔であるかを特定する。
【００２９】
対象情報判定部１９１は、画像認識部１９２が認識した人物を撮像したカメラ２０の位置を基準とした、その人物の存在位置を示す位置情報を生成する。また、対象情報判定部１９１は、画像認識部１９２が認識した人物について、その人物の優先度、カメラ２０の位置を基準とした方位および距離、その人物のカテゴリー情報や、その人物が事前にその場に来場する予約を行っていたか否か等の情報を判定し、認識情報として含める。
【００３０】
なお、カメラ制御装置２００は、画像認識部１９２と対象情報判定部１９１とにより認識対象ＤＢ１８に予め登録された認識対象が認識されたときは、ロボット１００ａに対して登録対象が認識されたことを通知できるものとする。また、ロボット１００ａとカメラ制御装置２００との通信には、ロボット１００ａからカメラ制御装置２００へ問い合わせるものと、カメラ制御装置２００からロボット１００ａへ通知を行うものとの両方を可能とする。
【００３１】
次に、図２の（ａ）は、従来のロボットの視野の死角の問題を説明するための図である。同図に示すように、従来は、ロボット１００ａの周辺にカメラａ，ｂを設置してなかった。そのため、受付カウンター３００の近くにいる来客（子供）４００、およびロボット１００ａのカメラ１０の視野の方向と反対側にいる来客（大人）５００は、ロボット１００ａの視野の範囲に入れないため、認識することができなかった。
【００３２】
一方、図２の（ｂ）は、上述した本実施形態に係る人物検知システムの動作の概要を説明するための図である。同図に示すように、ロボット１００ａの視野の範囲外に人がいたとしても、カメラ制御装置２００に接続されたカメラａおよびカメラｂによって、認識することができる。
【００３３】
来客４００は、カメラａの視野の範囲に入っており、来客５００は、カメラｂの視野の範囲に入っている。カメラ制御装置２００は、カメラａの位置を基準とした来客４００の位置を示す位置情報を生成し、カメラｂの位置を基準とした来客５００の位置を示す位置情報を生成し、これらの位置情報を、無線通信によりロボット１００ａに送信する。
【００３４】
また、カメラ制御装置２００は、来客４００を認識した結果を示す認識情報、および来客５００を認識した結果を示す認識情報を生成し、これらの認識情報を、無線通信によりロボット１００ａに送信する。なお、来客４００および来客５００のそれぞれの認識情報および位置情報は、互いに関連付けられている。
【００３５】
上記構成によれば、制御装置１は、カメラ１０の視野の死角に入る人物を撮像するカメラ２０が撮像した画像から上記人物を認識した結果を示す認識情報、およびカメラ２０の位置を基準とした上記人物の位置を示す位置情報を取得する。これにより、カメラ１０の視野の死角に入る人物に関する認識情報および位置情報を取得できる。また、制御装置１は、認識情報に係る上記人物の上記位置情報を参照して、ロボット１００ａの位置を基準とした上記人物の位置を特定する。これにより、ロボット１００ａの位置を基準とした上記人物の位置を認識することができる。このため、人がロボット１００ａの視野の死角となる領域から近づいても、その人物を認識できるようにすることができる。
【００３６】
ロボット１００ａは、外部のカメラ２０と連携し、外部のカメラ２０が撮像した画像に基づく人物の認識結果を元に、ロボット１００ａの位置を基準とした人物の位置を特定する。このため、人物（訪問客）がロボット１００ａの視野の死角となる領域から近づいても、その人物を認識することができる。また、ロボット１００ａの視野は、ロボット１００ａの大きさに制限されなくなり、人物がロボット１００ａの視野に収まるような動作に慣れることは不要となる。
【００３７】
また、登録対象がロボット１００ａにとっては相対位置的に認識できない領域に存在している場合にも、確実に登録対象に対応することができる。特にロボット１００ａとして小型のロボットを利用し、机や台等に置いて応対させる場合でも、外部のカメラ２０を適切に配置しておくことにより、机や台の上からは死角に入る小さい子供への応対が可能になる。
【００３８】
さらに、人が同じ部屋にいなくても、カメラ２０を人がいる部屋に設置しておくことで、その人がいることを認識することができる。また、カメラ制御装置２００として、近辺にある通信機能を持ったデバイスを利用することができ、人物検知システムを構築するコストや手間を削減することができる。
【００３９】
次に、図３は、ロボット１００ａからカメラ２０への問合せに係る処理の流れを示すフローチャートである。まず、ロボット１００ａやカメラ２０の全てのデバイスの制御状態が確立したアクティブ状態（待機状態）となったら、ステップＳ（以下、「ステップ」は省略する）１０１に進む。Ｓ１０１では、制御装置１が視野確認タイマー（不図示）を起動し、Ｓ１０２に進む。
【００４０】
Ｓ１０２では、視野確認タイマーがタイムアウトし、Ｓ１０３に進む。具体的には、カメラ制御装置２００は、画像認識部１９２で複数の人物（訪問客）を認識し、対象情報判定部１９１にてそれぞれの人物について優先度、方位、距離、人物のカテゴリー情報や、その人物が事前にその場に来場する予約を行っていたか否かの情報を判定する。また、カメラ制御装置２００は、ロボット１００ａの視野確認タイマーのタイムアウトによるロボット１００ａからの問い合わせがあった場合、ロボット１００ａに認識情報を送信する。
【００４１】
Ｓ１０３では、制御装置１が無線通信装置３およびアンテナ２を介して、カメラ制御装置２００に視野確認要求を送信し、Ｓ１０４に進む。Ｓ１０４では、アンテナ２および無線通信装置３を介して、カメラ２０が認識対象を認識したことを示す情報をカメラ制御装置２００から取得した場合は、Ｓ１０５に進む。一方、Ｓ１０４では、カメラ２０が対象を認識したことを示す情報をカメラ制御装置２００から取得していない場合は、Ｓ１０１に戻る。
【００４２】
Ｓ１０５では、情報取得部１１が、アンテナ２および無線通信装置３を介してカメラ制御装置２００から認識対象の情報（例えば、認識情報および位置情報）を取得し（情報取得ステップ）、Ｓ１０６に進む。Ｓ１０６では、応答決定部１３が、認識対象が複数存在している場合に、各認識対象に対して予め設定されている優先度を参照して、優先度が最も高い人物を応対対象と決定してＳ１０７に進む。
【００４３】
Ｓ１０７では、応答決定部１３が、応対対象の人物が予約ありの人物（予約人物）か否かを判定し、その人物が予約人物であった場合、Ｓ１０８に進む。一方、応対対象の人物が予約人物でない場合は、Ｓ１１０に進む。
【００４４】
Ｓ１０８では、応答決定部１３が駆動装置９を駆動して予約人物がロボット１００ａの正面となるようにロボット１００ａを移動させ、Ｓ１０９に進む。Ｓ１０９では、応答決定部１３が、音声合成部１５に予約ありの会話シナリオに係る音声データを合成させ、該音声データをスピーカ５に再生させてＳ１０１に戻る。Ｓ１１０では、応答決定部１３が認識対象の人物がどの対象カテゴリー〔図５の（ｂ）参照〕に属しているかを特定し、Ｓ１１１に進む。
【００４５】
Ｓ１１１では、応答決定部１３が駆動装置９を駆動して認識対象の人物がロボット１００ａの正面となるようにロボット１００ａを移動させ、Ｓ１１２に進む。より具体的には、ロボット１００ａの位置関係特定部１２は、人物を認識したカメラ２０の位置、カメラ制御装置２００からの人物についての方位、距離、および顔の向きの情報から、ロボット１００ａからその人物への方位および距離を算出する。すなわち、認識情報に係る人物の位置情報を参照して、ロボット１００ａの位置を基準とした上記人物の位置を特定する（位置関係特定ステップ）。
【００４６】
また、応答決定部１３は、その人物の方向へロボット１００ａの顔（視線）が向くよう駆動装置９を制御し、認識対象の人物がロボット１００ａの正面となるようにロボット１００ａが移動するよう、駆動装置９を制御する。これにより、ロボット１００ａは、ロボット１００ａの視野の死角に訪問客等の人物がいる場合でも、その人物に対して挨拶などの対応をとることができる。
【００４７】
Ｓ１１２では、音声合成部１５に、認識対象の人物の対象カテゴリーに応じた会話シナリオに係る音声データを合成させ、該音声データをスピーカ５に再生させてＳ１０１に戻る。例えば、ロボット１００ａは、図５の（ａ）に示す認識情報を取得し、応答決定部１３において最も優先度の高い人物の情報を抽出する。また、応答決定部１３は、情報を抽出した人物のカテゴリーや、来場の事前予約有無等を図５の（ｂ）に示すシナリオ表と照合し、所定のカテゴリーに対応する会話シナリオを発話したり、アクションを行ったりする制御を行う。
【００４８】
次に、図４は、カメラ２０からの信号受信に係る処理の流れを示すフローチャートである。まず、ロボット１００ａやカメラ２０の全てのデバイスの制御状態が確立したアクティブ状態（待機状態）となったら、Ｓ２０１に進む。
【００４９】
Ｓ２０１では、制御装置１がスリープの条件を満たしたか否かを判定し、スリープの条件を満たした場合は、Ｓ２０２に進む。一方、スリープの条件を満たしていない場合は、Ｓ２０１に戻る。
【００５０】
Ｓ２０２では、制御装置１がロボット１００ａをスリープ状態に移行してＳ２０３に進む。Ｓ２０３では、制御装置１がカメラ制御装置２００からの信号を受信したか否かを判定し、信号を受信した場合は、スリープ状態からアクティブ状態（待機状態）に移行してＳ２０４に進む。一方、カメラ制御装置２００からの信号を受信していない場合は、Ｓ２０２に戻る。
【００５１】
Ｓ２０４では、情報取得部１１が、アンテナ２および無線通信装置３を介してカメラ制御装置２００から認識対象の情報（例えば、認識情報および位置情報）を取得し、Ｓ２０５に進む。
【００５２】
Ｓ２０５では、応答決定部１３が、予約ありの人物（予約人物）がいるか否かを判定し、予約人物がいる場合、Ｓ２０６に進む。一方、予約人物がいない場合は、Ｓ２０８に進む。
【００５３】
Ｓ２０６では、応答決定部１３が駆動装置９を駆動して予約人物がロボット１００ａの正面となるようにロボット１００ａを移動させ、Ｓ２０７に進む。Ｓ２０７では、応答決定部１３が、音声合成部１５に予約ありの会話シナリオに係る音声データを合成させ、該音声データをスピーカ５に再生させてＳ１０１に戻る。
【００５４】
Ｓ２０８では、応答決定部１３が認識対象の人物がどの対象カテゴリーに属しているかを特定し〔図５の（ｂ）参照〕、Ｓ２０９に進む。Ｓ２０９では、応答決定部１３が駆動装置９を駆動して認識対象の人物がロボット１００ａの正面となるようにロボット１００ａを移動させ、Ｓ２１０に進む。Ｓ２１０では、音声合成部１５に、認識対象の人物の対象カテゴリーに応じた会話シナリオに係る音声データを合成させ、該音声データをスピーカ５に再生させてＳ２０１に戻る。
【００５５】
次に、図５の（ａ）は、認識情報の例を示す図である。同図に示すように認識情報は、優先度、方位、仰角、距離、カテゴリー、予約情報および個人情報などの各種情報を含む。優先度については、例えば、面会を予約している人物のように、ロボット１００ａとコミュニケーションを図る必要性が高い人物の優先度が高く設定される。方位は、カメラ２０の位置を基準とした人物の方位のことである。仰角は、カメラ２０からその人物を仰ぎ見たときの仰角のことである。距離は、カメラ２０の位置を基準とした人物の位置までの距離のことである。予約情報には、例えば、打合せの時刻や、打合せが行われる場所などの情報が含まれる。個人情報には、その人物の氏名などの情報が含まれる。
【００５６】
次に、図５の（ｂ）は、ロボット１００ａの動作のシナリオの一例を示す図である。同図に示すように、シナリオは、予約ありの人物、予約なしの大人、予約なしの子供、カスタム１、カスタム２、迷子、救急、不審、ロボットが認識、およびカメラが認識の各カテゴリーを含んでいる。このカテゴリー毎に、ロボット１００ａの発話内容（発言）およびアクションが設定されている。なお、カスタム１およびカスタム２に示すように、ユーザがロボット１００ａの発話内容（発言）およびアクションを予め設定できるようにしても良い。
【００５７】
〔変形例１〕
ロボット１００ａが撮像した画像から人物を認識したか、および周辺のカメラａ〜ｃの何れかが撮像した画像から人物を認識したかに応じてロボット１００ａの発話内容を切り替えても良い。例えば、図５の（ｂ）のカテゴリー「ロボットが認識」に示すようにロボット１００ａが人物を認識した場合は、「なんのご用件でしょうか？」と発話するようにする。一方、カテゴリー「カメラが認識」に示すように周辺のカメラａ〜ｃが人物を認識した場合は、「前に来て話して。」と発話するようにする。
【００５８】
〔変形例２〕
また、ロボット１００ａは、カメラ１０の動きに応じて周辺のカメラａ〜ｃ・・・をスリープ状態にしたり、アクティブ状態にしたりしても良い。例えば、ロボット１００ａのカメラ１０の視野と、周辺のカメラａ〜ｃ・・・の何れかのカメラの視野とが重なった場合に、そのカメラをスリープ状態にしても良い。より具体的には、ロボット１００ａのカメラ１０の撮影画像と、周辺のカメラａ〜ｃの撮影画像とを比較して、一定面積以上の画像の一致が検出されれば、その周辺のカメラをスリープ状態にすれば良い。
【００５９】
〔実施形態２〕
次に、本発明の実施形態２に係る人物検知システムについて説明する。図６の（ａ）は、本発明の実施形態２に係る人物検知システムの構成を示すブロック図である。同図に示すように、本実施形態の人物検知システムは、基本的な構成は、実施形態１に係る人物検知システムと同様であるが、ロボット１００ａおよびカメラ制御装置２００（カメラ２０は不図示）に加えて、人感センサ６００が追加されている点で異なっている。
【００６０】
なお、ここでは、人感センサ６００とカメラ制御装置２００およびロボット１００ａは無線通信を行うものとしているが、例えば、人感センサ６００とカメラ制御装置２００とは有線で接続されるものであっても良い。
【００６１】
人感センサ６００は、人物の在不在を検知するものであり、人物感知装置２２、無線通信装置２３およびアンテナ２４を備える。人物感知装置２２は、人体の近接を検知するセンサを指すものである。具体的には、人物感知装置２２は、自センサ周辺の温度を検知する温度センサであっても良い。なお、本実施形態の説明においては、人物感知装置２２は、温度センサとして説明するが、これに限定されず、例えば、赤外線、超音波、または可視光などを利用して人体の近接を検知するセンサであってもよい。
【００６２】
また、本実施形態の人物検知システムにおいては、人感センサ６００が人物を検知した場合に、人感センサ６００に近いカメラ２０およびロボット１００ａのそれぞれの電源状態をスリープ状態からアクティブ状態に遷移させても良い。これにより、人感センサ６００が反応していないときにロボット１００ａおよびカメラ２０をスリープ状態にすることで、ロボット１００ａおよびカメラ２０の消費電力を抑制することができる。
【００６３】
図６の（ｂ）は、会議室や待合室などの部屋にロボット１００ａ、カメラａ〜ｄおよび人感センサＡおよびＢを設置したときの状態を示す図である。本実施形態の人物検知システムは、会議室や待合室などの閉ざされた空間（部屋）で実施されることを前提としている。
【００６４】
また、図６の（ｂ）に示すように、上記の部屋の入り口ＡおよびＢのそれぞれに、人感センサＡおよびＢを設置し、人感センサＡおよびＢ／室内照明／ロボット１００ａを連動して動作させる。これにより、来場者が、部屋へ入るとともに、照明が点灯し、かつロボット１００ａが来場者の方を振り向くなど、インタラクティブ面の効果が期待される。また、「人感センサ」は、「カメラ」や「ロボット」よりも、時間あたりのバッテリー消費量が少ないものとする。
【００６５】
また、図６の（ｂ）に示すような会議室構成である場合、入口Ａ付近に設置されている人感センサＡにより、人物が部屋に入場してくることを検知した場合、入口Ａに近いカメラａとカメラｂ、およびロボット１００ａの電源状態を、スリープ状態からアクティブ状態へと遷移させる。なお、このとき、カメラｃとカメラｄの電源状態はスリープ状態のままとする。
【００６６】
上述した実施形態１および２では、カメラ画像の画像認識や対象（来訪者人物）の認識処理は、カメラ制御装置２００内で行っているが、これらの処理をカメラ制御装置２００に接続した外部サーバに行わせてもよい。また、認識対象ＤＢ１８もカメラ制御装置２００内に備えるが、外部サーバに備える構成であってもよい。
【００６７】
また、ロボット１００ａのカメラ１０のみで撮像すると、カメラ１０およびカメラ制御装置２００を使用することで内部バッテリー７を消費するため、稼働時間が短くなり、頻繁な充電が必要となる。また、充電中は充電ケーブルによりロボット１００ａの動作が制限される。
【００６８】
しかしながら、内部バッテリー７の消耗を抑えることにより、ロボット１００ａの稼働時間は、上述した実施形態１および２の構成を備えない場合と比べて長くなり、結果として充電ケーブルに接続される時間は短くなる。このため、ケーブル接続による動作の制約が少なくなり、より自由な動作を長時間取れるようになる。また、ロボット１００ａは、カメラ制御装置２００からの通知が無い場合は動作を休止できるため、より内部バッテリー７の節電効果を高めることができる。
【００６９】
〔実施形態３〕
次に、本発明の実施形態３に係る人物検知システムについて説明する。図７は、本発明の実施形態３に係る人物検知システムの構成を示すブロック図である。本実施形態のロボット１００ｂは、認識対象ＤＢ１８および周辺デバイスＤＢ（データベース）２８を備えており、制御装置１が対象情報判定部１９１および画像認識部１９２を備えている点で実施形態１のロボット１００ａと異なっている。また、本実施形態の人物検知システムでは、周辺デバイスとして、カメラデバイス（カメラ；デバイス）２００ａおよび人感デバイス（人感センサ；デバイス）６００ａを含んでいる点で、実施形態１の人物検知システムと異なっている。
【００７０】
本実施形態の人物検知システムでは、Bluetooth（登録商標）などの無線通信装置２６を備えたＷｅｂカメラ程度の簡易なカメラデバイス２００ａとロボット１００ｂが通信し、カメラデバイス２００ａが撮影した画像を通信によってロボット１００ｂに取り込む。また、ロボット１００ｂは、その画像を認識し、人が写っていた場合は、その人物の方に正面を向けて、話しかける等のシナリオを実施する。
【００７１】
通信するカメラデバイス２００ａが設置されている位置と向きは、予めユーザがロボット１００ｂに設定できるようにしてもよい。また、ロボット１００ｂが備えるカメラ１０で、ロボット１００ｂが周囲を撮影することにより、カメラデバイス２００ａとロボット１００ｂの位置関係、カメラデバイス２００ａの向きをロボット１００ｂが自動で把握できるようにしてもよい。
【００７２】
または、人物感知装置６１を備えた人感デバイス６００ａとBluetooth（登録商標）等の通信センサを備えたエアコンなどの機器とロボットとが通信し、人感デバイス６００ａの検知結果を通信によってロボット１００ｂに取り込む。
【００７３】
人感デバイス６００ａとしてエアコンと通信している場合は、検知結果が人物であるか、物や動物であるかを判定できないので、人が部屋に入ってきたものと判断して人感シナリオに従った応答をおこなう。なお、人感シナリオとは、図９に示す人感カテゴリーに含まれるシナリオのことである。
【００７４】
次に、図８は、本実施形態に係る人物検知システムの動作の流れを示すフローチャートである。まず、ロボット１００ｂ、カメラデバイス２００ａおよび人感デバイス６００ａなどの全てのデバイスの制御状態が確立したアクティブ状態（待機状態）となったら、Ｓ３０１に進む。
【００７５】
Ｓ３０１では、制御装置１が周辺デバイス確認タイマーを起動し、Ｓ３０２に進む。Ｓ３０２では、周辺デバイス確認タイマーがタイムアウトし、Ｓ３０３に進む。Ｓ３０３では、ロボット１００ｂが、無線通信装置３およびアンテナ２を介して周辺のデバイスに存在確認要求を送信し、Ｓ３０４に進む。
【００７６】
Ｓ３０４では、制御装置１が、周辺のデバイスからの応答があったか否かを確認し、応答があった場合は、Ｓ３０５に進む。一方、周辺のデバイスからの応答がなかった場合は、Ｓ３０１に戻る。なお、周辺のデバイスからの応答とは、周辺のデバイスからそのデバイスの識別情報を受信することである。
【００７７】
Ｓ３０５では、周辺のデバイスを周辺デバイスＤＢ（データベース）２８に登録してＳ３０６に進む。より具体的には、制御装置１は、カメラデバイス２００ａおよび人感デバイス６００ａを含む周辺のデバイスから当該デバイスの識別情報を受信した場合に、当該識別情報を周辺デバイスＤＢ２８に登録する処理を行う。これにより、ロボット１００ｂが周辺のデバイスの存在を認識することができる。
【００７８】
Ｓ３０６では、制御装置１は、登録済みの周辺のデバイスにデータ送信を要求してＳ３０７に進む。Ｓ３０７では、制御装置１が登録済みの周辺のデバイスからの応答があったか否かを確認し、応答があった場合は、Ｓ３０８に進む。一方、周辺のデバイスからの応答がなかった場合は、Ｓ３０１に戻る。
【００７９】
Ｓ３０８では、制御装置１は、カメラデバイス２００ａ（カメラ）の応答か否かを判定し、カメラデバイス２００ａの応答であった場合は、Ｓ３０９に進む。一方、カメラデバイス２００ａの応答でなかった場合は、Ｓ３１１に進む。
【００８０】
Ｓ３０９では、制御装置１の画像認識部１９２が人物を認識した場合は、Ｓ３１０に進む。一方、画像認識部１９２が人物を認識しなかった場合は、Ｓ３０１に戻る。
【００８１】
Ｓ３１０では、応答決定部１３が人物認識シナリオを実施し、Ｓ３０１に戻る。一方、Ｓ３１１では、応答決定部１３が人感シナリオを実施してＳ３０１に戻る。なお、人物認識シナリオとは、図９に示す「予約あり人物」、「予約なし大人」および「予約なし子供」の各カテゴリーに含まれるシナリオのことである。なお、図９に示すシナリオは、人感カテゴリーの項目が追加されている点で、図５の（ｂ）に示すシナリオと異なっている。
【００８２】
なお、本実施形態では、カメラ画像の画像認識や対象（来訪者人物）の認識処理は、ロボット１００ｂ内で行っているが、これらの処理をロボット１００ｂに接続した外部サーバに行わせてもよい。認識対象ＤＢ１８および周辺デバイスＤＢ２８もロボット１００ｂ内に備えるが、外部サーバに備える構成であってもよい。
【００８３】
また、近辺にある通信機能を持ったカメラや人感センサ等の周辺デバイスを、ロボット１００ｂが認識して認識対象ＤＢ１８に登録し、通信を行ってロボット１００ｂへカメラの撮影画像や人感センサの判定結果を送信するようにしてもよい。その場合、安価なウェブカメラや人感センサなどを備えた機器を周辺デバイスとして利用することができる。
【００８４】
また、制御装置１は、カメラ１０がカメラデバイス２００ａまたは人感デバイス６００ａを撮像した撮像画像を分析して、ロボット１００ｂとカメラデバイス２００ａまたは人感デバイス６００ａとの位置関係を特定しても良い。これにより、ロボット１００ｂとカメラデバイス２００ａまたは人感デバイス６００ａとの位置関係を自動的に認識することができる。
【００８５】
〔ソフトウェアによる実現例〕
制御装置１の制御ブロック（特に情報取得部１１、位置関係特定部１２および応答決定部１３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【００８６】
後者の場合、制御装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００８７】
〔まとめ〕
本発明の態様１に係るロボット（１００ａ）は、撮像装置（カメラ１０）と制御装置（１）とを備えたロボットであって、上記制御装置は、上記ロボットの周辺に設置され、上記撮像装置の視野の死角に入る人物を撮像するカメラ（２０）が撮像した画像から上記人物を認識した結果を示す認識情報、および上記カメラの位置を基準とした上記人物の位置を示す位置情報を取得する処理と、上記認識情報に係る上記人物の上記位置情報を参照して、上記ロボットの位置を基準とした上記人物の位置を特定する処理と、を行う構成である。
【００８８】
上記構成によれば、制御装置は、撮像装置の視野の死角に入る人物を撮像するカメラが撮像した画像から上記人物を認識した結果を示す認識情報、および上記カメラの位置を基準とした上記人物の位置を示す位置情報を取得する。これにより、撮像装置の視野の死角に入る人物に関する認識情報および位置情報を取得できる。また、制御装置は、認識情報に係る上記人物の上記位置情報を参照して、上記ロボットの位置を基準とした上記人物の位置を特定する。これにより、ロボットの位置を基準とした上記人物の位置を認識することができる。このため、人がロボットの視野の死角となる領域から近づいても、その人物を認識できるようにすることができる。
【００８９】
また、本発明の態様２に係るロボットは、上記態様１において、上記制御装置は、上記カメラを含む周辺のデバイスから当該デバイスの識別情報を受信した場合に、当該識別情報をデータベースに登録する処理を行っても良い。これにより、ロボットが周辺のデバイスの存在を認識することができる。
【００９０】
また、本発明の態様３に係るロボットは、上記態様１または２において、上記制御装置は、上記撮像装置が上記カメラを撮像した撮像画像を分析して、上記ロボットと上記カメラとの位置関係を特定しても良い。上記構成によれば、ロボットとカメラとの位置関係を自動的に把握することができる。
【００９１】
また、本発明の態様４に係るロボットは、上記態様１〜３の何れかにおいて、上記制御装置が、上記カメラが撮像した画像から認識した人物が複数存在している場合に、予め設定された優先度が高い人物の位置を優先して特定しても良い。上記構成によれば、例えば、面会を予約している人物のように、ロボットとコミュニケーションを図る必要性が高い人物の優先度を高くすることにより、ロボットとコミュニケーションを図る必要性が高い人物を優先して認識することができる。
【００９２】
また、本発明の態様５に係るロボットは、上記態様１〜４の何れかにおいて、上記制御装置が、上記制御装置は、上記カメラが複数存在している場合に、上記人物との距離が最も近いと判定したカメラからの上記認識情報に係る上記人物の上記位置情報を優先的に参照して、上記ロボットの位置を基準とした上記人物の位置を特定しても良い。上記構成によれば、カメラと人物との距離が遠い場合と比較して、ロボットの位置を基準とした上記人物の位置をより正確に特定することができる。
【００９３】
また、本発明の態様６に係る人物検知システムは、上記態様１〜５の何れかのロボットと、上記カメラと、人物の在不在を検知する人感センサ（６００）と、を含み、上記ロボットおよび上記カメラのそれぞれは、上記人感センサが人物を検知した場合に、電源状態をスリープ状態からアクティブ状態に遷移させても良い。上記構成によれば、人感センサが反応していないときにロボットおよびカメラをスリープ状態にすることで、ロボットおよびカメラの消費電力を抑制することができる。
【００９４】
また、本発明の態様７に係るロボット（１００ａ）の制御装置（１）は、撮像装置（カメラ１０）を備えるロボットの制御装置であって、上記ロボットの周辺に設置され、上記撮像装置の視野の死角に入る人物を撮像するカメラが撮像した画像から上記人物を認識した結果を示す認識情報、および上記カメラの位置を基準とした上記人物の位置を示す位置情報を取得する情報取得部（１１）と、上記認識情報に係る上記人物の上記位置情報を参照して、上記ロボットの位置を基準とした上記人物の位置を特定する位置関係特定部（１２）と、を備える構成である。上記構成によれば、上記態様１と同様の効果を得ることができる。
【００９５】
また、本発明の各態様に係るロボットの制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記制御装置が備える各部（ソフトウェア要素）として動作させることにより上記制御装置をコンピュータにて実現させる制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【００９６】
また、本発明の態様８に係る制御装置の制御方法は、撮像装置を備えるロボットの制御装置の制御方法であって、上記ロボットの周辺に設置され、上記撮像装置の視野の死角に入る人物を撮像するカメラが撮像した画像から上記人物を認識した結果を示す認識情報、および上記カメラの位置を基準とした上記人物の位置を示す位置情報を取得する情報取得ステップと、上記認識情報に係る上記人物の上記位置情報を参照して、上記ロボットの位置を基準とした上記人物の位置を特定する位置関係特定ステップと、を含む方法である。上記方法によれば、人がロボットの視野の死角となる領域から近づいても、その人物を認識できるようにすることができる。
【００９７】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【００９８】
１    制御装置
１０    カメラ（撮像装置）
１１    情報取得部
１２    位置関係特定部
２０    カメラ（カメラａ〜ｃ；デバイス）
２８    周辺デバイスＤＢ（データベース）
１００ａ  ロボット
２００    カメラ制御装置
２００ａ  カメラデバイス（カメラ；デバイス）
６００    人感センサ
６００ａ  人感デバイス（人感センサ；デバイス）
【図１】
2019125095.tif 000003
【図２】
2019125095.tif 000004
【図３】
2019125095.tif 000005
【図４】
2019125095.tif 000006
【図５】
2019125095.tif 000007
【図６】
2019125095.tif 000008
【図７】
2019125095.tif 000009
【図８】
2019125095.tif 000010
【図９】
2019125095.tif 000011