(57)【要約】【課題】特定人物に随伴して移動する際、特定人物が興味を示した興味対象物の情報を取得することができる自律移動型ロボットを提供する。【解決手段】モビルロボットは、特定人物を含む周辺状況をＣＣＤカメラ６Ａ，６Ｂにより撮影しつつ、その撮影画像データに基づき走行装置の駆動車輪をホイールインモータ制御部５Ｅにより制御することで、特定人物に随伴して移動する。その際、特定人物の視線の注視状態を注視状態判定部５Ｈが検出すると、特定人物が注視した興味対象物の撮影画像を興味対象物記憶部５Ｊが記憶する。その後、興味対象物報知部５Ｋにより、画像生成部５Ａで生成された周辺状況の画像が興味対象物記憶部５Ｊに記憶された興味対象物を含む画像と比較され、この周辺状況の画像に興味対象物と類似する画像が含まれている場合には、スピーカ７およびディスプレイ２により特定人物の興味対象物の存在が報知される。【選択図】図３
2007229817.tif 000002
【特許請求の範囲】
【請求項１】
特定人物を含む周辺状況を観測しつつその観測情報に基づき特定人物に随伴して移動可能な自律移動型ロボットにおいて、
特定人物の視線の注視状態を検出する注視状態検出手段と、
特定人物が注視した対象物を特定人物の興味対象物としてその興味対象物の観察情報を記憶する興味対象物記憶手段とを備えていることを特徴とする自律移動型ロボット。
【請求項２】
請求項１に記載の自律移動型ロボットであって、前記興味対象物記憶手段に記憶された興味対象物の観察情報を周辺状況の観測情報と比較し、この周辺状況の観測情報に前記興味対象物の観察情報と類似する情報が含まれている場合に興味対象物の存在を報知する興味対象物報知手段を備えていることを特徴とする自律移動型ロボット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定人物に随伴して移動可能な自律移動型ロボットに関するものである。
【背景技術】
【０００２】
近年、走行装置や歩行装置により自律的に移動して各種の作業を行うロボットの研究開発が盛んに行われており、その成果として各種の自律移動型ロボットが提案されている（例えば特許文献１、２参照）。
【０００３】
ここで、特許文献１には、特定の被案内者の歩行状態に応じて自律的に移動することで特定の被案内者を所定の案内先まで案内するロボットが提案されている。また、特許文献２には、駐車場内において車両の運転者に適切な情報を提供して車両を駐車区画へ誘導するロボットが提案されている。
【特許文献１】特開２００３−３４０７６４号公報
【特許文献２】特開２００５−２９０８１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１に記載された従来の自律移動型ロボットにおいては、被案内者を特定することはできても、その特定人物が興味を示した対象物を特定することができないため、特定人物が興味を示した興味対象物の情報を取得することができないという問題がある。特許文献２に記載された自律移動型ロボットにおいても同様の問題がある。
【０００５】
そこで、本発明は、特定人物に随伴して移動する際、特定人物が興味を示した興味対象物の情報を取得することができる自律移動型ロボットを提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明に係る自律移動型ロボットは、特定人物を含む周辺状況を観測しつつその観測情報に基づき特定人物に随伴して移動可能な自律移動型ロボットにおいて、特定人物の視線の注視状態を検出する注視状態検出手段と、特定人物が注視した対象物を特定人物の興味対象物としてその興味対象物の観察情報を記憶する興味対象物記憶手段とを備えていることを特徴とする。
【０００７】
本発明に係る自律移動型ロボットでは、特定人物を含む周辺状況を観測しつつその観測情報に基づき特定人物に随伴して移動する際、特定人物の視線の注視状態を注視状態検出手段が検出すると、特定人物が注視した興味対象物の観察情報を興味対象物記憶手段が記憶する。
【０００８】
本発明の自律移動型ロボットには、興味対象物記憶手段に記憶された興味対象物の観察情報を周辺状況の観測情報と比較し、この周辺状況の観測情報に興味対象物の観察情報と類似する情報が含まれている場合に興味対象物の存在を報知する興味対象物報知手段を備えることができる。
【０００９】
この興味対象物報知手段を備えた本発明の自律移動型ロボットでは、特定人物の興味対象物の存在を興味対象物報知手段が報知することにより、特定人物は周辺に興味対象物が存在することを認識することができる。
【発明の効果】
【００１０】
本発明に係る自律移動型ロボットでは、特定人物の視線の注視状態を注視状態検出手段が検出すると、特定人物が注視した興味対象物の観察情報を興味対象物記憶手段が記憶する。すなわち、本発明の自律移動型ロボットによれば、特定人物に随伴して移動する際、特定人物が興味を示した興味対象物の情報を取得することができる。
【００１１】
また、興味対象物報知手段を備えた本発明の自律移動型ロボットによれば、特定人物の興味対象物の存在を興味対象物報知手段が報知することにより、特定人物は周辺に興味対象物が存在することを認識することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明に係る自律移動型ロボットの実施形態を説明する。参照する図面において、図１は一実施形態に係る自律移動型ロボットとしてのモビルロボットおよびその主人としての特定人物を模式的に示す平面図、図２は図１に示したモビルロボットの構造を示す側面図、図３は図２に示した制御装置の構成を示すブロック図、図４は図３に示した制御装置による処理手順の一部を示すフローチャートである。
【００１３】
一実施形態に係る自律移動型ロボットは、図１に示すように、主人としての特定人物Ｍに随伴して移動可能なモビルロボットＲとして構成されている。このモビルロボットＲは、特定人物Ｍの近傍において、特定人物Ｍおよびその周辺状況を観測しつつその観測情報に基づいて特定人物Ｍを先導し、あるいは特定人物Ｍに追従する。
【００１４】
図２に示すように、モビルロボットＲは、走行装置１により移動可能なボディＲ１と、このボディＲ１に対して回転可能に接続されたヘッドＲ２とを備えており、ボディＲ１には、報知、警報、案内などの各種のメッセージを画像や文字により表示可能なディスプレイ２が設置されている。そして、このボディＲ１には、電源としてのバッテリ３、ヘッドＲ２を回転駆動するためのヘッド駆動モータ４の他、走行装置１、ディスプレイ２、ヘッド駆動モータ４などを制御するための制御装置５が内蔵されている。
【００１５】
一方、モビルロボットＲのヘッドＲ２には、特定人物Ｍおよびその周辺に存在する障害物（他の人物や動物、構造物、設置物、車両等）などを含む周辺状況をステレオ画像として観測するための左右一対のＣＣＤカメラ（または赤外線カメラ）６Ａ，６Ｂと、報知、警報、案内などの各種メッセージの音声を発声可能なスピーカ７とが設置されている。
【００１６】
図１および図２に示すように、走行装置１は、例えば、ホイールインモータ１Ａ，１Ｂにより回転方向および回転速度が左右独立に制御される左右一対の駆動車輪１Ｃ，１Ｄと、３６０度の旋回が可能なキャスタ車輪１Ｅとを有する。
【００１７】
この走行装置１は、左右一対の駆動車輪１Ｃ，１Ｄが同方向に前転駆動または後転駆動されることでモビルロボットＲを前進または後退させる。その際、左右一対の駆動車輪１Ｃ，１Ｄの回転速度が同速度であればモビルロボットＲを直進させ、左右一対の駆動車輪１Ｃ，１Ｄの回転速度に差があれば駆動車輪１Ｃ，１Ｄのうち回転速度の遅い側にモビルロボットＲを旋回させる。そして、この走行装置１は、左右一対の駆動車輪１Ｃ，１Ｄが同速度で相互に逆方向に回転駆動されると、モビルロボットＲをその場で左右の何れかに回転させる。
【００１８】
ここで、制御装置５は、ＥＣＵ（Electric Control Unit）等のマイクロコンピュータのハードウェアおよびソフトウェアを利用して構成されている。この制御装置５は、ホイールインモータ１Ａ，１Ｂやヘッド駆動モータ４の駆動回路、ディスプレイ２、ＣＣＤカメラ６Ａ，６Ｂ、スピーカ７等との間の入出力インターフェースＩ／ＯおよびＡ／Ｄコンバータの他、プログラムおよびデータを記憶したＲＯＭ（ReadOnly Memory）、入力データ等を一時記憶するＲＡＭ（Random Access Memory）、プログラムを実行するＣＰＵ（CentralProcessing Unit）等をハードウェアとして備えている。
【００１９】
そして、この制御装置５には、図３に示すように、画像生成部５Ａ、特定人物検出部５Ｂ、ヘッド駆動モータ制御部５Ｃ、障害物検出部５Ｄ、ホイールインモータ制御部５Ｅ、注視点検出部５Ｆ、注視点軌跡記録部５Ｇ、注視状態判定部５Ｈ、興味対象物記憶部５Ｊ、興味対象物報知部５Ｋがソフトウェアとして構成されている。
【００２０】
画像生成部５Ａには、ＣＣＤカメラ６Ａ，６Ｂから左右の撮影データが所定時間毎に計測時刻情報と共に入力される。この画像生成部５Ａは、所定時間毎に入力された左右の撮影データに基づいて各計測時刻におけるステレオ画像を順次生成し、その画像データを計測時刻情報と共に特定人物検出部５Ｂ、障害物検出部５Ｄ、注視点検出部５Ｆ、興味対象物記憶部５Ｊおよび興味対象物報知部５Ｋへ所定時間毎に繰り返して出力する。
【００２１】
特定人物検出部５Ｂは、画像生成部５Ａから所定時間毎に順次入力される画像データに基づいて撮影画像のエッジ処理を行い、予め記憶されている特定人物Ｍの輪郭モデルとのマッチング処理により特定人物Ｍを検出する。そして、この特定人物検出部５Ｂは、検出された特定人物Ｍのステレオ画像をステレオマッチング処理することにより、特定人物Ｍの３次元位置を三角測量の原理で所定時間毎に推測する。
【００２２】
ヘッド駆動モータ制御部５Ｃには、特定人物検出部５Ｂから特定人物Ｍの３次元位置データが所定時間毎に入力される。このヘッド駆動モータ制御部５Ｃは、入力された特定人物Ｍの３次元位置データに基づき、特定人物Ｍが例えば画像中央に位置するようにヘッド駆動モータ４の回転を制御してモビルロボットＲのヘッドＲ２を回転させる。
【００２３】
障害物検出部５Ｄは、画像生成部５Ａから所定時間毎に順次入力された画像データに基づいて撮影画像のエッジ処理を行うことにより、撮影画像中に存在する障害物（他の人物や動物、構造物、設置物、車両等）を検出する。そして、この障害物検出部５Ｄは、検出された障害物のステレオ画像をステレオマッチング処理することにより、障害物の３次元位置を三角測量の原理で所定時間毎に推測する。
【００２４】
ホイールインモータ制御部５Ｅには、特定人物検出部５Ｂから特定人物Ｍの３次元位置データが所定時間毎に入力されると共に、障害物検出部５Ｄから障害物の３次元位置データが所定時間毎に入力される。このホイールインモータ制御部５Ｅは、入力された特定人物Ｍおよび障害物の３次元位置データに基づき、モビルロボットＲが特定人物Ｍの近傍において障害物を避けつつ特定人物Ｍを先導し、あるいは特定人物Ｍに追従するように、ホイールインモータ１Ａ，１Ｂの回転を個別に制御して走行装置１の駆動車輪１Ｃ，１Ｄの回転方向および回転速度を個別に制御する。
【００２５】
ここで、ＣＣＤカメラ６Ａ，６Ｂ、画像生成部５Ａ、注視点検出部５Ｆ、注視点軌跡記録部５Ｇおよび注視状態判定部５Ｈにより本発明の注視状態検出手段が構成され、興味対象物記憶部５Ｊにより本発明の興味対象物記憶手段が構成され、興味対象物報知部５Ｋ、ディスプレイ２およびスピーカ７により本発明の興味対象物報知手段が構成されている。
【００２６】
注視点検出部５Ｆは、画像生成部５Ａから所定時間毎に順次入力される画像データに基づいて撮影画像中から特定人物Ｍの両眼の画像を抽出し、その画像にエッジ処理を施すことで両眼の黒目の位置を検出する。そして、この注視点検出部５Ｆは、検出した黒目の位置を予め記憶されている眼球モデルと比較することで両眼の注視点を３次元位置データとして所定時間毎に検出する。
【００２７】
注視点軌跡記録部５Ｇには、注視点検出部５Ｆから特定人物Ｍの両眼の注視点の検出データが所定時間（例えば５秒程度）入力される。そして、この注視点軌跡記録部５Ｇは、３次元位置データとして入力された検出データに基づき、特定人物Ｍの両眼の注視点の軌跡を記録する。
【００２８】
注視状態判定部５Ｈには、注視点軌跡記録部５Ｇから特定人物Ｍの両眼の注視点軌跡の記録データが入力される。そして、この注視状態判定部５Ｈは、入力された注視点軌跡の記録データに基づき、注視点が所定時間（例えば３秒程度）停留した場合、あるいは注視点の移動範囲が注視状態とみなせる程度に狭い場合には、特定人物Ｍの両眼が注視状態にあるものと判定して注視状態の判定信号を興味対象物記憶部５Ｊに出力する。
【００２９】
興味対象物記憶部５Ｊは、注視状態判定部５Ｈから注視状態の判定信号が入力されると、特定人物Ｍが注視した対象物Ｏを特定人物Ｍの興味対象物としてその興味対象物を含む周辺状況の観察情報を記憶する。すなわち、興味対象物記憶部５Ｊは、画像生成部５Ａから所定時間毎に順次入力される画像データのうち、特定人物Ｍが対象物Ｏを注視した計測時刻における画像データに基づいて撮影画像にエッジ処理を施し、そのエッジ処理された撮影画像のデータを記憶する。
【００３０】
興味対象物報知部５Ｋは、画像生成部５Ａから所定時間毎に順次入力される画像データに基づいて撮影画像にエッジ処理を施し、そのエッジ処理された周辺状況の撮影画像のデータと、興味対象物記憶部５Ｊにエッジ処理されて記憶されている興味対象物を含む撮影画像のデータとを比較する。その際、撮影画像中の輝度値の配列パターンも比較する。
【００３１】
この興味対象物報知部５Ｋは、比較される周辺状況の撮影画像データ中に興味対象物に類似する画像のデータが含まれている場合には、特定人物Ｍの周辺に興味対象物が存在することをスピーカ７およびディスプレイ２によって報知する。すなわち、興味対象物報知部５Ｋは、スピーカ７に所定の音声信号を出力して報知音または報知メッセージを発声させると共に、ディスプレイ２に所定の画像信号を出力して報知用の画像や文字のメッセージを表示させる。
【００３２】
ここで、図３に示した制御装置５を構成する画像生成部５Ａ、注視点検出部５Ｆ、注視点軌跡記録部５Ｇ、注視状態判定部５Ｈおよび興味対象物報知部５Ｋによる処理手順を図４に示すフローチャートに沿って説明する。
【００３３】
まず、ステップＳ１では、ＣＣＤカメラ６Ａ，６Ｂから所定時間毎に計測時刻情報と共に入力される左右の撮影データに基づき、各計測時刻における特定人物Ｍを含む周辺状況のステレオ画像を画像生成部５Ａが順次生成する。
【００３４】
つぎのステップＳ２では、画像生成部５Ａから所定時間毎に順次入力される画像データに基づき、特定人物Ｍの両眼の黒目の位置を注視点検出部５Ｆが検出する。そして、検出した黒目の位置を予め記憶されている眼球モデルと比較することにより、注視点検出部５Ｆが両眼の注視点を３次元位置データとして所定時間毎に検出する。
【００３５】
続くステップＳ３では、注視点検出部５Ｆから所定時間毎に入力される注視点の検出データに基づき、注視点軌跡記録部５Ｇが特定人物Ｍの両眼の注視点の軌跡を記録する。
【００３６】
つぎのステップＳ４では、注視点軌跡記録部５Ｇから入力される注視点軌跡の記録データに基づき、特定人物Ｍの両眼が注視状態にあるか否かを注視状態判定部５Ｈが判定する。この判定においては、注視点が所定時間（例えば３秒程度）停留した場合、あるいは注視点の移動範囲が注視状態とみなせる程度に狭い場合に注視状態であるものと判定し、それ以外の場合には注視状態でないものと判定する。
【００３７】
ステップＳ４の判定結果がＮＯであって注視状態でない場合には、ステップＳ１に戻るが、判定結果がＹＥＳであって注視状態である場合には、つぎのステップＳ５に進む。
【００３８】
つぎのステップＳ５では、注視状態判定部５Ｈから入力されるＹＥＳの判定信号に応じ、特定人物Ｍが注視した興味対象物を含む周辺状況の画像データとして画像生成部５Ａから入力される画像データを興味対象物記憶部５Ｊが記憶する。その際、興味対象物記憶部５Ｊは、特定人物Ｍが対象物Ｏを注視した計測時刻における画像データに基づいて撮影画像にエッジ処理を施し、そのエッジ処理された撮影画像のデータを記憶する。
【００３９】
続くステップＳ６では、画像生成部５Ａから興味対象物記憶部５Ｊに所定時間毎に順次入力されてエッジ処理された周辺状況の撮影画像データと、興味対象物記憶部５Ｊにエッジ処理されて記憶されている興味対象物を含む撮影画像データとを比較することにより、比較される周辺状況の撮影画像データ中に興味対象物に類似する画像のデータが含まれているか否かを興味対象物報知部５Ｋが判定する。
【００４０】
ステップＳ６の判定結果がＮＯであって周辺状況の撮影画像データ中に興味対象物に類似する画像データが含まれていない場合には、一連の処理を終了するが、判定結果がＹＥＳであって興味対象物に類似する画像データが含まれている場合には、つぎのステップＳ７に進む。
【００４１】
つぎのステップＳ７では、興味対象物報知部５Ｋがスピーカ７に所定の音声信号を出力して報知音または報知メッセージを発声させると共に、ディスプレイ２に所定の画像信号を出力して報知用の画像や文字のメッセージを表示させることにより、特定人物Ｍの周辺に興味対象物が存在することを報知する。
【００４２】
以上のように一実施形態の自律移動型ロボットとして構成されたモビルロボットＲ（図１、図２参照）は、特定人物Ｍを含む周辺状況をＣＣＤカメラ６Ａ，６Ｂにより撮影しつつ、その撮影画像のデータに基づいて走行装置１の左右一対の駆動車輪１Ｃ，１Ｄの回転方向および回転速度を左右独立に制御することにより、特定人物Ｍの近傍に随伴して障害物を避けつつ特定人物Ｍを先導し、あるいは特定人物Ｍに追従する。
【００４３】
その際、モビルロボットＲは、制御装置５の注視状態判定部５Ｈにより特定人物Ｍの視線の注視状態を検出すると、特定人物Ｍが注視した興味対象物を含む周辺状況のエッジ処理された撮影画像のデータを興味対象物記憶部５Ｊに記憶させる。
【００４４】
その後、モビルロボットＲは、制御装置５の興味対象物報知部５Ｋにより、画像生成部５Ａで生成された周辺状況の画像を興味対象物記憶部５Ｊに記憶された興味対象物を含む画像と比較する。そして、この比較処理の結果、画像生成部５Ａで生成された周辺状況の画像に興味対象物と類似する画像が含まれている場合、モビルロボットＲは、興味対象物報知部５Ｋからスピーカ７に所定の音声信号を出力して報知音または報知メッセージを発声させると共に、興味対象物報知部５Ｋからディスプレイ２に所定の画像信号を出力して報知用の画像や文字のメッセージを表示させ、特定人物Ｍの周辺に興味対象物が存在することを報知する。
【００４５】
従って、一実施形態の自律移動型ロボットとして構成されたモビルロボットＲによれば、特定人物Ｍが注視した興味対象物の情報を興味対象物記憶部５Ｊに記憶された画像データとして取得することができ、興味対象物記憶部５Ｊに記憶された画像データから特定人物Ｍが興味を示した興味対象物を認識することが可能となる。
【００４６】
また、このようなモビルロボットＲによれば、特定人物Ｍは、スピーカ７から発声される報知音または報知メッセージと、ディスプレイ２に表示される報知用の画像や文字とによって、自分にとって興味のある興味対象物が自分の周辺に存在することを認識することができる。
【００４７】
本発明に係る自律移動型ロボットは、前述した一実施形態に限定されるものではない。例えば、図２に示したモビルロボットＲのヘッドＲ２には、特定人物およびその周辺に存在する障害物までの距離やその表面の凹凸状態などを観測するためのミリ波レーダ（またはレーザレーダ）を設置してもよい。また、特定人物の周辺にいる他の人物や動物を観測するための赤外線センサ、特定人物の周辺の音を観測するための集音マイク、あるいは特定人物の周辺の温度を観測するための温度センサなどを設置してもよい。
【００４８】
ミリ波レーダ（またはレーザレーダ）、赤外線センサ、集音マイク、温度センサなどをヘッドＲ２に備えたモビルロボットＲにおいては、特定人物が注視状態にあるときの興味対象物の観察情報として、ＣＣＤカメラによるに観察情報に加えてミリ波レーダ（またはレーザレーダ）、赤外線センサ、集音マイク、温度センサからの観測情報を興味対象物記憶部に記憶させることができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の一実施形態に係る自律移動型ロボットとしてのモビルロボットおよびその主人としての特定人物を模式的に示す平面図である。
【図２】図１に示したモビルロボットの構造を示す側面図である。
【図３】図２に示した制御装置の構成を示すブロック図である。
【図４】図３に示した制御装置による処理手順の一部を示すフローチャートである。
【符号の説明】
【００５０】
１…走行装置、２…ディスプレイ、３…バッテリ、４…ヘッド駆動モータ、５…制御装置、５Ａ…画像生成部、５Ｂ…特定人物検出部、５Ｃ…ヘッド駆動モータ制御部、５Ｄ…障害物検出部、５Ｅ…ホイールインモータ制御部、５Ｆ…注視点検出部、５Ｇ…注視点軌跡記録部、５Ｈ…注視状態判定部、５Ｊ…興味対象物記憶部、５Ｋ…興味対象物報知部、６Ａ，６Ｂ…ＣＣＤカメラ、７…スピーカ、Ｒ…モビルロボット、Ｍ…特定人物。
【図１】
2007229817.tif 000003
【図２】
2007229817.tif 000004
【図３】
2007229817.tif 000005
【図４】
2007229817.tif 000006