(57)【要約】【課題】車などの移動体に同乗可能なロボットであって、ロボット自らが運転者の指示を認識して監視動作を行うようにした監視ロボットを提供する。【解決手段】音声認識および画像認識の処理結果に基づいて運転者の指示を認識し（Ｓ１０からＳ１４）、認識された指示に応じてＣＣＤカメラの撮影方向を指示し（Ｓ１６）、画像認識処理結果に基づいて監視結果を判断し（Ｓ１８）、認識された指示および判断された監視結果の少なくともいずれかに基づいてディスプレイによる報知、スピーカを通じての音声による報知、ロボット構成部位の駆動からなる、所定の報知動作群の中のいずれかを選択し（Ｓ２０）、選択された報知動作に従って監視結果を運転者に報知する（Ｓ２２）。【選択図】図１０
2006015436.tif 000002
【特許請求の範囲】
【請求項１】
移動体に運転者と共に同乗可能なロボットであって、
ａ．前記運転者の音声を含む周囲の音声を集音するマイクロフォン、
ｂ．前記マイクロフォンから出力される音声信号を入力して音声認識処理を行う音声認識部、
ｃ．周囲の環境を撮影するカメラ、
ｄ．前記カメラから出力される画像信号を入力して画像認識処理を行う画像認識部、
ｅ．前記音声認識部および画像認識部の少なくともいずれかの処理結果に基づいて前記運転者の指示を認識する運転者指示認識部、
ｆ．前記認識された指示に応じて前記カメラの撮影方向を指示する撮影方向指示部、
ｇ．前記画像認識処理結果に基づいて監視結果を判断する監視結果判断部、
ｈ．前記認識された指示および判断された監視結果の少なくともいずれかに基づいて所定の報知動作群の中のいずれかを選択する報知動作選択部、
および
ｉ．前記選択された報知動作に従って前記監視結果を前記運転者に報知する報知部、
を備えたことを特徴とする監視ロボット。
【請求項２】
前記移動体はディスプレイを備えると共に、前記所定の報知動作群が、前記ディスプレイに表示させることによる報知動作を含むことを特徴とする請求項１記載の監視ロボット。
【請求項３】
前記ロボットはスピーカを備えると共に、前記所定の報知動作群が、前記スピーカを介して音声出力する報知動作を含むことを特徴とする請求項１または２記載の監視ロボット。
【請求項４】
前記カメラが保護カバーの内側に収容されると共に、前記保護カバーの、前記カメラの受光孔に対応する位置に、前記受光孔と略同径の孔が穿設されることを特徴とする請求項１から３のいずれかに記載の監視ロボット。
【請求項５】
前記ロボットが、２足歩行して移動する２足歩行ロボットであることを特徴とする請求項１から４のいずれかに記載の監視ロボット。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は監視ロボットに関し、より具体的には車などの移動体に同乗し、運転者の指示に従って車の後方の死角などを監視するようにした監視ロボットに関する。
【背景技術】
【０００２】
監視ロボットとしては、例えば特許文献１に記載の技術が知られている。その技術にあっては、車の助手席などに配置されるペット型のロボットを備え、そのロボットに車の走行状態に応じて種々の反応行動をとらせることで運転者の孤独感を癒すと共に、死角監視カメラを操作するときの操作部材としても機能するように構成される。即ち、車に死角監視のための車外カメラを配置すると共に、運転者がペット型ロボットの頭部を左右に回すと、それに応じて車外カメラの撮影方向が変更されるように構成している。
【特許文献１】特開２００２−２３９９５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１記載の技術にあっては、運転者がロボットの頭部を回して車外カメラの向きを変える必要があると共に、車外カメラの向きを変えるには死角の方向を認識して行う必要があって、煩瑣であった。
【０００４】
従って、この発明の目的は上記した課題を解決し、移動体に同乗可能なロボットであって、ロボット自らが運転者の指示を認識して監視動作を行うようにした監視ロボットを提供することにある。
【課題を解決するための手段】
【０００５】
上記した課題を解決するために、請求項１に係る監視ロボットにあっては、移動体に運転者と共に同乗可能なロボットであって、前記運転者の音声を含む周囲の音声を集音するマイクロフォン、前記マイクロフォンから出力される音声信号を入力して音声認識処理を行う音声認識部、周囲の環境を撮影するカメラ、前記カメラから出力される画像信号を入力して画像認識処理を行う画像認識部、前記音声認識部および画像認識部の少なくともいずれかの処理結果に基づいて前記運転者の指示を認識する運転者指示認識部、前記認識された指示に応じて前記カメラの撮影方向を指示する撮影方向指示部、前記画像処理結果に基づいて監視結果を判断する監視結果判断部、前記認識された指示および判断された監視結果の少なくともいずれかに基づいて所定の報知動作群の中のいずれかを選択する報知動作選択部、および前記選択された報知動作に従って前記監視結果を前記運転者に報知する報知部を備える如く構成した。
【０００６】
請求項２に係る監視ロボットにあっては、前記移動体はディスプレイを備えると共に、前記所定の報知動作群が、前記ディスプレイに表示させることによる報知動作を含む如く構成した。
【０００７】
請求項３に係る監視ロボットにあっては、前記ロボットはスピーカを備えると共に、前記所定の報知動作群が、前記スピーカを介して音声出力する報知動作を含む如く構成した。
【０００８】
請求項４に係る監視ロボットにあっては、前記カメラが保護カバーの内側に収容されると共に、前記保護カバーの、前記カメラの受光孔に対応する位置に、前記受光孔と略同径の孔が穿設される如く構成した。
【０００９】
請求項５に係る監視ロボットにあっては、前記ロボットが、２足歩行して移動する２足歩行ロボットである如く構成した。
【発明の効果】
【００１０】
請求項１に係る監視ロボットにあっては、マイクロフォンから出力される音声信号を入力して音声認識処理を行う音声認識部とカメラから出力される画像信号を入力して画像認識処理を行う画像認識部の少なくともいずれかの処理結果に基づいて運転者の指示を認識し、認識された指示に応じてカメラの撮影方向を指示し、画像認識処理結果に基づいて監視結果を判断すると共に、認識された指示と判断された監視結果の少なくともいずれかに基づいて所定の報知動作群の中のいずれかを選択し、それに従って監視結果を運転者に報知する如く構成したので、ロボット自らが運転者の指示を認識して監視を行うこととなり、運転者は煩瑣な操作を行うことなく、音声あるいはジェスチャなどで指示するだけで死角に人あるいは障害物などが存在しないかどうかを容易に確認することができ、それによって事故の軽減を図ることができる。
【００１１】
また、認識された指示と判断された監視結果の少なくともいずれかに基づいて所定の報知動作群の中のいずれかを選択し、それに従って監視結果を運転者に報知する如く構成したので、例えば緊急の際、音声およびロボット構成部位の駆動などによって運転者の注意を強く喚起して回避動作を行なわせることも可能となり、よって一層確実に事故の軽減を図ることができる。
【００１２】
請求項２に係る監視ロボットにあっては、移動体はディスプレイを備えると共に、所定の報知動作群がディスプレイに表示させることによる報知動作を含む如く構成したので、上記した効果に加え、運転者に死角における情報を的確に報知することができる。
【００１３】
請求項３に係る監視ロボットにあっては、ロボットはスピーカを備えると共に、所定の報知動作群がスピーカを介して音声出力する報知動作を含む如く構成したので、上記した効果に加え、運転者に前方を注視させたまま、死角における情報を的確に報知することができる。また、緊急の際、運転者の注意を強く喚起することも可能となる。
【００１４】
請求項４に係る監視ロボットにあっては、カメラが保護カバーの内側に収容されると共に、その保護カバーのカメラの受光孔に対応する位置に受光孔と略同径の孔が穿設される如く構成したので、上記した効果に加え、保護カバーの外側にシールドを設けるときも、カメラの移動によってシールドを透過する光の屈折率が変化することがないことから、カメラから出力される画像信号に歪みが生じることがなく、常に鮮明な撮影画像を得ることができる。
【００１５】
請求項５に係る監視ロボットにあっては、ロボットが２足歩行して移動する２足歩行ロボットである如く構成したので、上記した効果に加え、車などの移動体に同乗するのが容易であると共に、腕部などを動作させて報知することも可能となり、監視効果を一層上げることができる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面に即してこの発明に係る監視ロボットを実施するための最良の形態について説明する。
【実施例１】
【００１７】
以下、添付図面を参照してこの発明の第１実施例に係る監視ロボットを説明する。
【００１８】
図１はこの実施の形態に係る監視ロボットの正面図、図２はその側面図である。尚、監視ロボットとしては、２個の脚部と２個の腕部を備え、２足歩行して移動するヒューマノイド型（人間型）の脚式移動ロボットを例にとる。
【００１９】
図１に示すように、監視ロボット（以下「ロボット」という）１は、複数個（本）、より具体的には２個（本）の脚部２を備えると共に、その上方には基体（上体）３が設けられる。基体３のさらに上方には頭部４が形成されると共に、基体３の両側には２個（本）の腕部５が連結される。また、図２に示すように、基体３の背部には格納部６が設けられ、その内部には電子制御ユニット（後述）およびバッテリなどが収容される。
【００２０】
尚、図１および図２に示すロボット１は、内部構造を保護するためのカバーで被覆される。
【００２１】
図３はロボット１をスケルトンで示す説明図である。同図を参照してその内部構造を関節を中心に説明すると、図示の如く、ロボット１は、左右それぞれの脚部２および腕部５に、１１個の電動モータで動力化された６個の関節を備える。
【００２２】
即ち、ロボット１は、腰部（股部）の股関節に、脚部２を鉛直軸（Ｚ軸あるいは鉛直軸）まわりに回転させる関節を駆動する電動モータ１０Ｒ，１０Ｌ（右側をＲ、左側をＬとする。左右対称であることから、以下Ｒ，Ｌの表記を省略する）と、脚部２をピッチ（進行）方向（Ｙ軸まわり）に揺動させる関節を駆動する電動モータ１２と、脚部２をロール（左右）方向（Ｘ軸まわり）に回転させる関節を駆動する電動モータ１４を備えると共に、膝部に脚部２の下部をピッチ方向（Ｙ軸まわり）に回転させる膝関節を駆動する電動モータ１６を備え、さらに足首に脚部２の先端側をピッチ方向（Ｙ軸まわり）に回転させる足（足首）関節を駆動する電動モータ１８とロール方向（Ｘ軸まわり）に回転させる足（足首）関節を駆動する電動モータ２０を備える。
【００２３】
上記したように、図３において、関節はそれを駆動する電動モータ（あるいは電動モータに接続されてその動力を伝動するプーリなどの伝動要素）の回転軸線で示す。尚、脚部２の先端には足部２２が取着される。
【００２４】
このように、脚部２の股関節には電動モータ１０，１２，１４がそれらの回転軸線が直交するように配置されると共に、足関節（足首関節）には電動モータ１８，２０がそれらの回転軸線が直交するように配置される。尚、股関節と膝関節は大腿リンク２４で、膝関節と足関節は下腿リンク２６で連結される。
【００２５】
脚部２は股関節を介して基体３に連結されるが、図３では基体３を基体リンク２８として簡略的に示す。前記したように、基体３には腕部５が連結される。
【００２６】
腕部５も、脚部２と同様に構成される。即ち、ロボット１は、肩部の肩関節に、腕部５をピッチ方向に回転させる関節を駆動する電動モータ３０とロール方向に回転させる関節を駆動する電動モータ３２を備えると共に、その自由端側を回転させる関節を駆動する電動モータ３４と、肘部にそれ以降の部位を回転させる関節を駆動する電動モータ３６を備え、さらにその先端側にそれを回転させる手首関節を駆動する電動モータ３８を備える。手首の先にはハンド（エンドエフェクタ）４０が取着される。
【００２７】
即ち、腕部５の肩関節には電動モータ３０，３２，３４がそれらの回転軸線が直交するように配置される。尚、肩関節と肘関節とは上腕リンク４２で、肘関節と手首関節とは下腕リンク４４で連結される。
【００２８】
図示は省略するが、ハンド４０は５本のフィンガ（指）４０ａの駆動機構を備え、フィンガ４０ａで物を把持するなどの作業ができるように構成される。
【００２９】
また、頭部４は、鉛直軸まわりの電動モータ（首関節を構成）４６と、それと直交する軸まわりに頭部４を回転させる頭部揺動機構４８を介して基体３に連結される。図３に示す如く、頭部４の内部には２個のＣＣＤカメラ（カメラ）５０がステレオ視自在に配置されると共に、音声入出力装置５２が配置される。音声入出力装置５２は、後で図６に示す如く、周囲の音声を集音するマイクロフォン（外界センサ）５２ａおよびスピーカ５２ｂを備える。
【００３０】
上記の構成により、脚部２は左右の足について６個の関節を備えて合計１２の自由度を与えられ、６個の関節を適宜な角度で駆動（関節変位）することで、脚部２に所望の動きを与えることができ、ロボット１を任意に３次元空間において歩行させることができる。また、腕部５も左右の腕について５個の関節を備えて合計１０の自由度を与えられ、５個の関節を適宜な角度で駆動（関節変位）することで所望の作業を行わせることができる。
【００３１】
さらに、頭部４は２つの自由度からなる関節あるいは揺動機構を与えられ、これらを適宜な角度で駆動することにより所望の方向に頭部４を向けることができる。
【００３２】
図４は、ロボット１が車（移動体）１４０の助手席に着座した状態を示す側面図である。このように、ロボット１は上記した関節を駆動することで、車１４０などの移動体に同乗可能に構成される。この実施例にあっては、ロボット１は、車１４０に運転者と共に同乗し、助手席に着座して死角の監視を行う。
【００３３】
電動モータ１０などのそれぞれにはロータリエンコーダ（図示せず）が設けられ、電動モータの回転軸の回転を通じて対応する関節の角度、角速度、および角加速度の少なくともいずれかを示す信号を出力する。
【００３４】
足部２２には公知の６軸力センサ（内界センサ。以下「力センサ」という）５６が取着され、ロボットに作用する外力の内、接地面からロボット１に作用する床反力の３方向成分Ｆｘ，Ｆｙ，Ｆｚとモーメントの３方向成分Ｍｘ，Ｍｙ，Ｍｚを示す信号を出力する。
【００３５】
手首関節とハンド４０の間には同種の力センサ（６軸力センサ）５８が取着され、ロボット１に作用する床反力以外の外力、具体的にはハンド４０に対象物から作用する外力（対象物反力）の３方向成分Ｆｘ，Ｆｙ，Ｆｚとモーメントの３方向成分Ｍｘ，Ｍｙ，Ｍｚを示す信号を出力する。
【００３６】
基体３には傾斜センサ（内界センサ）６０が設置され、鉛直軸に対する基体３の傾き（傾斜角度）とその角速度の少なくともいずれか、即ち、ロボット１の基体３の傾斜（姿勢）などの状態量を示す信号を出力する。
【００３７】
頭部４の内部には、上記したＣＣＤカメラ５０および音声入出力装置５２に加え、ＧＰＳ（Global Positioning System）からの信号を受信するＧＰＳ受信器６２およびジャイロ６４が配置される。
【００３８】
ここで、図５を参照して頭部４の頭部揺動機構４８とＣＣＤカメラ５０の取り付けについて説明すると、頭部揺動機構４８は、鉛直軸まわりに回転自在な第１の支持台４８ａと、ロール軸まわりに回転自在な第２の支持台４８ｂとからなる。
【００３９】
頭部揺動機構４８は、その第１の支持台４８ａを電動モータ（首関節）４６に結合しつつ、第２の支持台４８ｂを第１の支持台４８ａに結合してなり、ＣＣＤカメラ５０は第２の支持台４８ｂに取り付けられる。そして、ロータリアクチュエータ４８ｃ（および図示しない残りの１個）を含む、それら第１、第２の支持台４８ａ，４８ｂを覆う、頭部４を構成するヘルメット部４ａを、第２の支持台４８ｂと実質的に一体をなすステー４８ｄに紙面の前後方向において結合することで、頭部４が完成される。尚、図５で音声入出力装置５２の図示は省略した。
【００４０】
頭部４のヘルメット部４ａは、前面側でバイザ（保護カバー）４ｂに取り付けられると共に、その外側において透明のアクリル樹脂で曲面に形成されたシールド４ｃが同様にヘルメット部４ａに取り付けられる。ＣＣＤカメラ５０はバイザ４ｂの内側に収容され、バイザ４ｂのＣＣＤカメラ５０の受光孔が対応する位置、即ち、ＣＣＤカメラ５０のレンズ窓５０ａが覗く位置に対応するには、それと略同形の孔４ｂ１が穿設される。図示は省略するが、ＣＣＤカメラは２個設けられることから、孔４ｂ１も、人の眼窩と同様、２個穿設される。
【００４１】
かかる構成により、頭部４を構成するヘルメット部４ａは第２の支持台４８ｂと実質的に一体をなしているので、第２の支持台４８ｂに固定されるＣＣＤカメラ５０の受光方向とヘルメット部４ａの動きは常に一致する。さらに、シールド４ｃはヘルメット部４ａに取り付けられているので、ＣＣＤカメラ５０がどの方向を向いても、シールド４ｃを透過する光は常に同一の部位を通ることになる。その結果、シールド４ｃの曲面が厳密に均一でなくても、シールド４ｃを透過する光の屈折率が変化することがないことから、ＣＣＤカメラ５０から得られる撮影画像に歪みが生じることがなく、常に鮮明な撮影画像を得ることができる。
【００４２】
図３の説明に戻ると、これら力センサ５６などの出力群は、格納部６に収容されたマイクロコンピュータからなる電子制御ユニット（Electric Control Unit 。以下「ＥＣＵ」という）７０に送られる（図示の便宜のためロボット１の右側についてのみ、入出力を図示する）。
【００４３】
図６は、ＥＣＵ７０の構成を示すブロック図である。
【００４４】
図示の如く、ＥＣＵ７０はＣＰＵ１００ａ、記憶装置１００ｂおよび入出力インターフェース１００ｃからなるマイクロコンピュータ１００を備え、ロボット１が安定な姿勢で移動できるように、関節角変位指令を算出して各関節を構成する電動モータ１０などの駆動を制御する。また、ＥＣＵ７０は、後述するように死角監視に必要な種々の処理を行うが、それについては後述する。
【００４５】
図７は、ＥＣＵ７０のマイクロコンピュータ１００においてＣＰＵ１００ａが行う処理をブロック化して示すブロック図である。尚、図７でセンサなどの図示は多く省略した。
【００４６】
図７から明らかな如く、ＣＰＵ１００ａは、画像認識部１０２、音声認識部１０４、自己位置推定部１０６、地図データベース１０８、それらが出力する情報に基づいてロボット１の行動を決定する行動決定部１１０、および行動決定部１１０によって決定された行動に基づいてロボット１の行動を制御する動作制御部１１２などを備える。
【００４７】
以下、それぞれ説明すると、画像認識部１０２は、距離認識部１１０２ａ、移動体認識部１０２ｂ、ジェスチャ認識部１０２ｃ、姿勢認識部１０２ｄ、顔領域認識部１０２ｅ、および指示領域認識部１０２ｆからなる。尚、２個のＣＣＤカメラ５０で周囲の環境をステレオ視して得られた画像信号（撮影画像）は、画像入力部１１４から距離認識部１０２ａに入力される。
【００４８】
距離認識部１０２ａは入力した撮影画像の視差から撮影対象までの距離情報を算出し、距離画像を生成する。移動体認識部１０２ｂは、距離画像を入力し、複数フレーム間の撮像画像の差分を算出して人や車などの移動するものを認識（検出）する。
【００４９】
ジェスチャ認識部１０２ｃは、先に提案した特開２００３−０７７６７３号公報に記載される技術に基づいて人の手の動きを認識し、予め記憶されている手の特徴的な動きと比較して人が発話と共に行う、ジェスチャによる指示を認識する。この実施例にあっては死角の監視を行うことから、例えば左手の親指を後方に向けるジェスチャが運転者から示されたとき、後方の死角の監視を指示されたものと認識する。
【００５０】
姿勢認識部１０２ｄは、同様に先に提案した特開２００３−０３９３６５号に開示される技術に基づいて人の姿勢を認識する。また、顔領域認識部１０２ｅは、同様に先に提案した特開２００２−２１６１２９号に記載される技術に基づいて人の顔領域を認識する。また、指示領域認識部１０２ｆは、同様に先に提案した特開２００３−０９４２８８号に開示される技術に基づいて人が手などで指示する方向を認識する。
【００５１】
音声認識部１０４は指示範囲特定部１０４ａを備える。指示範囲特定部１０４ａは、音声入出力装置のマイクロフォン５２ａから入力された、運転者を含む人の音声などの音声信号を入力し、記憶装置１００ｂに予め記憶された語彙に基づき、人の指示を認識する。この実施例にあっては、例えば「後ろを見て」など監視に使用される語彙が予め収集されて記憶されているものとする。
【００５２】
尚、マイクロフォン５２ａから入力された音声は音源特定部１１６にも入力され、そこで音源の位置が特定されると共に、人の音声か否かが判別される。
【００５３】
自己位置推定部１０６は、ＧＰＳ受信器６２を介して受信されたＧＰＳ信号などを入力し、ロボット１の現在位置と、向いている方向を推定（検出）する。
【００５４】
地図データベース１０８は記憶装置１００ｂに格納されてなり、そこには周囲環境について障害物の位置が登録された地図データが予め作成されて記憶される。
【００５５】
行動決定部１１０は、特定位置決定部１１０ａ、移動容易度判断部１１０ｂ、運転者指示認識部１１０ｃ、撮影方向指示部１１０ｄ、監視結果判断部１１０ｅ、および報知動作選択部１１０ｆを備える。
【００５６】
特定位置決定部１１０ａは、画像認識部１０２で認識された人の指示領域と、音声認識部１０４で絞り込まれた指示領域とから、移動の目標値として人が特定した位置を決定する。
【００５７】
移動容易度判断部１１０ｂは、地図データ１０８から読み出されたロボット１の現在位置の周辺の地図データ上において障害物の位置を認識し、その付近を警戒領域として設定すると共に、設定された警戒領域から所定距離離れるまでの領域をマージン領域として設定し、それらから移動の容易度を「困難」、「要注意」などと判断する。
【００５８】
行動決定部１１０は、画像認識部１０２および音声認識部１０４の認識結果に基づき、特定位置決定部１１０ａによって決定された特定位置への移動が必要か否か判断する。さらに、行動決定部１１０は、移動容易度判断部１１０ｂによって判断された容易度に基づき、例えば「困難」と判断された場合、歩行速度を低下させるなどの決定を行うと共に、画像認識部１０２や音声認識部１０４などから入力される情報に応じてロボット１の次の行動を決定、例えば音源特定部１１６から音源の位置情報が出力された場合、ロボット１の向きを音源の方向に変えるなどの行動を決定する。
【００５９】
尚、運転者指示認識部１１０ｃなどについては後述する。
【００６０】
行動決定部１１０で決定された結果は、動作制御部１１２に送られる。動作制御部１１２は、決定された行動に応じ、移動制御部１３０や発話生成部１３２に監視に必要な行動の指示を出力する。
【００６１】
移動制御部１３０は、動作制御部１１２の指示に応じ、脚部２、頭部４、腕部５の電動モータ１０などに駆動信号を出力し、ロボット１の頭部４を移動（回転）させるなどの制御を行う。
【００６２】
発話生成部１３２は、動作制御部１１２の指示に従って記憶装置１００ｂに記憶された発話すべき文字列データから発話すべき音声信号を合成し、音声入出力装置５２のスピーカ５２ｂを駆動する。尚、発話すべき文字列データとしては、監視の都合上、「異常ありません」、「子供がいる。ストップ」などのデータを含む。
【００６３】
次いで、運転者指示認識部１１０ｃなどについて説明する。
【００６４】
上に述べた如く、この発明の目的は、車１４０などの移動体に同乗可能なロボットであって、ロボット自らが運転者の指示を認識して監視動作を行うようにした監視ロボット１を提供することにある。
【００６５】
その意図から、この実施例に係る監視ロボット１は、車１４０の運転者の音声を含む周囲の音声を集音するマイクロフォン５２ａ、マイクロフォン５２ａから出力される音声信号を入力して音声認識処理を行う音声認識部１０４、周囲の環境を撮影するＣＣＤカメラ５０、ＣＣＤカメラ５０から出力される画像信号を入力して画像認識処理を行う画像認識部１０２、音声認識部１０４および画像認識部１０２の少なくともいずれかの処理結果に基づいて運転者の指示を認識する運転者指示認識部１１０ｃ、認識された指示に応じてＣＣＤカメラ５０の撮影方向を指示する撮影方向指示部１１０ｄ、画像処理結果に基づいて監視結果を判断する監視結果判断部１１０ｅ、認識された指示および判断された監視結果の少なくともいずれかに基づいて所定の報知動作群の中のいずれかを選択する報知動作選択部１１０ｆを備えると共に、動作制御部１１２を、選択された報知動作に従って監視結果を前記運転者に報知する報知部として動作させる如く構成した。
【００６６】
他方、ロボット１が同乗する車（移動体）１４０にはナビゲーション装置１４２が設けられる。
【００６７】
図８はナビゲーション装置１４２の構成を示すブロック図である。図示の如く、ナビゲーション装置１４２は、ＣＰＵ１４２ａ、車１４０が走行すべき広範囲の道路地図を格納するＣＤ−ＲＯＭ１４２ｂ、アンテナ１４２ｃを介してＧＰＳ信号を受信する、ロボット１に内蔵されるＧＰＳ受信器６２と同様のＧＰＳ受信器１４２ｄ、およびディスプレイ１４２ｅを備える。ロボット１のＥＣＵ７０は、無線装置１４４を介して車１４０に搭載されるナビゲーション装置１４２に送信自在に接続される。
【００６８】
図９に示す如く、ナビゲーション装置１４２のディスプレイ１４２ｅは、車１４０の運転席付近で運転者が容易に視認できる位置に配置される。
【００６９】
次いで、図１０フロー・チャートを参照して図１に示すロボット１の動作を説明する。これは具体的には、ＥＣＵ７０のマイクロコンピュータ１００においてＣＰＵ１００ａが行う動作である。
【００７０】
尚、図示の処理は、図１１に示すように車１４０において運転者１４０ａの横にロボット１が同乗している状況を前提とする。
【００７１】
以下説明すると、Ｓ１０において音声認識部１０４と画像認識部１０２の処理結果を読み出し、Ｓ１２に進み、音声認識部１０４と画像認識部１０２の少なくともいずれかの処理結果に基づいて運転者の指示がなされたか否か判断し、肯定されるときはＳ１４に進み、その運転者の指示を認識する。
【００７２】
図１１に示す如く、運転者１４０ａにとって線ａ，ｂで囲まれる角度範囲Ｃは死角となる。他方、助手席に同乗するロボット１にとって頭部４を左後方に向けることにより、線ｄ，ｅで囲まれる角度範囲Ｆが視野、即ち、ＣＣＤカメラ５０によって撮影可能で監視できる範囲となり、よって範囲Ｇも監視できることになる。
【００７３】
運転者の指示は、例えば「後ろを見て」などの音声で、あるいは指で後ろを指すなどのジェスチャでなされるものとし、Ｓ１２では音声認識部１０４と画像認識部１０２の少なくともいずれか、より具体的にはその両者の処理結果から指示がなされたか否か判断し、なされたと判断されるとき、Ｓ１４に進み、その内容を認識する。尚、Ｓ１２で否定されるときは以降の処理をスキップする。
【００７４】
次いでＳ１６に進み、認識された指示に応じてＣＣＤカメラ５０の撮影方向を指示する。ＣＣＤカメラ５０は頭部４に装着されていることから、これは頭部４が該当する方向に向くように姿勢を制御するように指示することを意味する。
【００７５】
次いでＳ１８に進み、画像認識部１０２の画像認識処理結果に基づいて監視結果を判断する。具体的には、画像認識部１０２の距離認識部１０２ａ、移動体認識部１０２ｂなどの処理から車１４０の後方に障害物が存在するか、至近距離に子供などが存在するかなどを判断する。
【００７６】
次いでＳ２０に進み、認識された指示および判断された監視結果の少なくともいずれかに基づき、ディスプレイ１４２ｅによる報知、スピーカ５２ｂを通じての音声による報知、ロボット構成部位（例えば頭部４、腕部５、ハンド４０、フィンガ４０ａなど）の駆動からなる、所定の報知動作群の中のいずれかを選択し、Ｓ２２に進み、選択した報知動作に従って監視結果を報知する。
【００７７】
これは、具体的には、運転者の指示が、例えば「後ろを見て」などの音声であるいは指で後ろを指すなどのジェスチャでなされるときは、ディスプレイ１４２ｅに撮影画像を表示させるだけで行う。即ち、無線装置１４４を介して画像信号を出力し、車１４０のナビゲーション装置１４２のディスプレイ１４２ｅに表示し、運転者に視認させるだけとする。
【００７８】
ただし、運転者の指示が、例えば「後ろに何かあるか」あるいは「後ろ大丈夫か」などと監視結果の報告も期待されるときは、ディスプレイ１４２ｅへの表示に加え、スピーカ５２ｂを通じて「何もありません」あるいは「後ろは大丈夫です」などと音声による報知も行う。
【００７９】
さらに、監視結果の判断から、車１４０の後方に障害物が存在する場合、特に車１４０の後方の至近距離に子供が存在するような緊急動作が必要な場合、ディスプレイ１４２ｅによる表示に加え、スピーカ５２ｂを通じて「障害物があります」「ストップ。後ろに子供がいる」などと音声による報知を行うと共に、腕部４を上げてハンド４０のフィンガ４０ａを開き、人のストップ動作と同様な動作を行なう。
【００８０】
また、運転者の指示が、例えば指で後ろを指すと共に、指で大丈夫であることを示す丸印を作るなどのジェスチャでなされるとき、監視結果の判断から肯定される場合、ディスプレイ１４２ｅによる表示を省略し、腕部５を上げてハンド４０のフィンガ４０ａで同様に丸印を作ることのみで報知する。
【００８１】
尚、選択された報知動作に従って行われる報知は、具体的には上記したように、動作制御部１１２において、移動制御部１３０、発話生成部１３２に行動の指示を与えて電動モータ３０などを駆動させる、スピーカ５２ｂを駆動させる、あるいは無線装置１４４を介して車１４０に搭載されるナビゲーション装置１４２のディスプレイ１４２ｅに撮影画像を表示させることで行われる。
【００８２】
上記した如く、この実施例に係る監視ロボット１にあっては、車（移動体）１４０に運転者１４０ａと共に同乗可能なロボットであって、前記運転者の音声を含む周囲の音声を集音するマイクロフォン５２ａ、前記マイクロフォンから出力される音声信号を入力して音声認識処理を行う音声認識部１０４、周囲の環境を撮影するＣＣＤカメラ５０、前記カメラ５０から出力される画像信号を入力して画像認識処理を行う画像認識部１０２、前記音声認識部および画像認識部の少なくともいずれかの処理結果に基づいて前記運転者１４０ａの指示を認識する運転者指示認識部（ＣＰＵ１００ａ、運転者指示認識部１１０ｃ，Ｓ１０からＳ１４）、前記認識された指示に応じて前記ＣＣＤカメラ５０の撮影方向を指示する撮影方向指示部（ＣＰＵ１００ａ、撮影方向指示部１１０ｄ，Ｓ１６）、前記画像認識処理結果に基づいて監視結果を判断する監視結果判断部（ＣＰＵ１００ａ、監視結果判断部１１０ｅ，Ｓ１８）、前記認識された指示および判断された監視結果の少なくともいずれかに基づいてディスプレイ１４２ｅによる報知、スピーカ５２ｂを通じての音声による報知、ロボット構成部位（例えば頭部４、腕部５、ハンド４０、フィンガ４０ａなど）の駆動からなる、所定の報知動作群の中のいずれかを選択する報知動作選択手段（ＣＰＵ１００ａ、報知動作選択部１１０ｆ，Ｓ２０）、および前記選択された報知動作に従って前記監視結果を前記運転者１４０ａに報知する報知部（ＣＰＵ１００ａ、動作制御部１１２，Ｓ２２）を備える如く構成したので、ロボット１自らが運転者の指示を認識して監視を行うこととなり、運転者は煩瑣な操作を行うことなく、音声あるいはジェスチャなどで指示するだけで死角に人あるいは障害物などが存在しないかどうかを容易に確認することができ、それによって事故の軽減を図ることができる。
【００８３】
また、認識された指示と判断された監視結果の少なくともいずれかに基づいて所定の報知動作群の中のいずれかを選択し、それに従って監視結果を運転者に報知する如く構成したので、例えば緊急の際、音声および腕部５などのロボット構成部位の駆動などによって運転者の注意を強く喚起して回避動作を行なわせることも可能となり、よって一層確実に事故の軽減を図ることができる。
【００８４】
また、前記車（移動体）１４０はナビゲーション装置１４２のディスプレイ１４２ｅを備えると共に、前記所定の報知動作群が、前記ディスプレイに表示させることによる報知動作を含む如く構成したので、上記した効果に加え、運転者に死角における情報を的確に報知することができる。
【００８５】
また、前記ロボット１はスピーカ５２ｂを備えると共に、前記所定の報知動作群が、前記スピーカを介して音声出力する報知動作を含む如く構成したので、上記した効果に加え、運転者に前方を注視させたまま、死角における情報を的確に報知することができる。また、緊急の際、運転者の注意を強く喚起することも可能となる。
【００８６】
また、ＣＣＤカメラ５０がバイザ（保護カバー）４ｂの内側に収容されると共に、バイザ（保護カバー）４ｂの、ＣＣＤカメラ５０のレンズ窓（受光孔）５０ａに対応する位置に、受光孔と略同径の孔４ｂ１が穿設される如く構成したので、上記した効果に加え、バイザ（保護カバー）４ｂの外側にシールド４ｃを設けるときも、ＣＣＤカメラ５０の移動によってシールド４ｃを透過する光の屈折率が変化することがないことから、ＣＣＤカメラ（視覚センサ）５０から得られる撮影画像に歪みが生じることがなく、常に鮮明な撮影画像を得ることができる。
【００８７】
また、ロボット１が２足歩行して移動する２足歩行ロボットである如く構成したので、上記した効果に加え、車１４０などの移動体に同乗するのが容易であると共に、腕部５などを動作させて報知することも可能となり、監視効果を一層上げることができる。
【００８８】
尚、上記において、移動体の例として車１４０を例にとったが、この発明はそれに限られるものではなく、移動体は船舶、航空機などであっても良い。
【００８９】
また、上記においてロボットとして２足歩行ロボットを例示したが、それに限られるものではなく、３足以上のロボットであっても良い。さらには、脚式移動ロボットに限られるものではなく、車輪式やクローラ式のロボットであっても良い。
【図面の簡単な説明】
【００９０】
【図１】この発明の第１実施例に係る監視ロボットの正面図である。
【図２】図１に示す監視ロボットの側面図である。
【図３】図１に示す監視ロボットをスケルトンで示す説明図である。
【図４】図１に示す監視ロボットが車（移動体）に乗車した状態を示す説明図である。
【図５】図１に示す監視ロボットの頭部の内部構造を示す断面図である。
【図６】図３に示す電子制御ユニット（ＥＣＵ）の構成を示すブロック図である。
【図７】図６に示す電子制御ユニット（ＥＣＵ）のマイクロコンピュータの処理を構成として機能的に示すブロック図である。
【図８】図４に示す車に搭載されるナビゲーション装置の構成を示すブロック図である。
【図９】図８に示すナビゲーション装置のディスプレイの配置位置を示す、図４に示す車の運転席付近の説明図である。
【図１０】図１に示す監視ロボットの動作を示すフロー・チャートである。
【図１１】図１０の処理を説明する、運転車の横に図１に示すロボットが同乗している状況を示す、図４に示す車の上面説明図である。
【符号の説明】
【００９１】
１    ロボット（脚式移動ロボット、監視ロボット）
５０    ＣＣＤカメラ（カメラ）
５２ａ  マイクロフォン
７０    電子制御ユニット（ＥＣＵ）
１００    マイクロコンピュータ
１００ａ  ＣＰＵ
１０２    画像認識部
１０４    音声認識部
１１０    行動決定部
１１０ｃ  運転者指示認識部
１１０ｄ  撮影方向指示部
１１０ｅ  監視結果判断部
１１０ｆ  報知動作選択部
１１２    動作制御部（報知部）
１４０    車（移動体）
１４０ａ  運転者
１４２    ナビゲーション装置
１４２ｅ  ディスプレイ
１４４    無線装置
【図１】
2006015436.tif 000003
【図２】
2006015436.tif 000004
【図３】
2006015436.tif 000005
【図４】
2006015436.tif 000006
【図５】
2006015436.tif 000007
【図６】
2006015436.tif 000008
【図７】
2006015436.tif 000009
【図８】
2006015436.tif 000010
【図９】
2006015436.tif 000011
【図１０】
2006015436.tif 000012
【図１１】
2006015436.tif 000013