(57)【特許請求の範囲】
【請求項１】
移動可能な腕と、向きや傾きを変えることができる頭部と、カメラと、マイクロホンと、スピーカとを有し、第１の対象者と対面してコミュニケーションを行い、第２の対象者と通信手段を介してコミュニケーションを行うコミュニケーションロボットであって、
自律的に動作を行う第１のモードと、
前記第２の対象者から指示された動作を行う第２のモードと、
前記第２の対象者の動作を反映する動作を行い、前記第１の対象者と前記第２の対象者とのコミュニケーションを媒介する第３のモードと
を切り替えて実行する制御部を有し、
前記制御部は、
前記第２の対象者から前記通信手段を介して音声の指示が入力されると、前記第１のモードから前記第２のモードに移行して、前記通信手段を通じて取得した前記第２の対象者の顔方向または指差し方向に前記頭部を向けて、前記第２の対象者から指示された動作を実行し、前記動作が終了すると、前記第２のモードから前記第１のモードに移行し、
前記第１の対象者から当該コミュニケーションロボットに向けて問い掛けがあると、前記第１のモードから前記第３のモードに移行して、前記頭部及び腕の方向を、前記通信手段を通じて取得した前記第２の対象者の顔方向及び指差し方向に一致させながら、前記第２の対象者から前記通信手段を通じて送られてきた音声を前記スピーカから発声することにより、前記第１の対象者と前記第２の対象者とのコミュニケーションを媒介し、前記第１の対象者と前記第２の対象者とのやり取りが終了すると、前記第３のモードから前記第１のモードに移行する
ことを特徴とするコミュニケーションロボット。
【請求項２】
請求項１に記載のコミュニケーションロボットであって、前記第１のモードにおいて、前記カメラの画像から当該コミュニケーションロボットの方を見ている対象者を検出し、検出された対象者の方向に前記頭部を向け、前記カメラの画像から前記対象者の顔画像を抽出して、当該コミュニケーションロボットの方を見ている時間を計測し、前記時間が所定時間を超えた場合に、当該対象者に近付く動作を行うことを特徴とするコミュニケーションロボット。
【請求項３】
請求項１に記載のコミュニケーションロボットであって、前記第１のモードにおいて、前記カメラの画像から当該コミュニケーションロボットの方を見ている対象者を検出し、検出された対象者の方向に前記頭部を向け、前記カメラの画像から前記対象者の顔画像を抽出して、当該コミュニケーションロボットの方を見ている時間を計測し、前記時間が所定時間を超えた場合に、当該対象者に予め記録された音声データを前記スピーカから発声する動作を行うことを特徴とするコミュニケーションロボット。
【請求項４】
請求項１から３のいずれかに記載のコミュニケーションロボットであって、前記第２のモードにおいて、前記第２の対象者から指示されたパンフレット等を指示された対象者に渡す動作を行うことを特徴とするコミュニケーションロボット。
【請求項５】
移動可能な腕と、向きや傾きを変えることができる頭部と、カメラと、マイクロホンと、スピーカとを有し、第１の対象者と対面してコミュニケーションを行い、第２の対象者と通信手段を介してコミュニケーションを行うコミュニケーションロボットであって、
自律的に動作を行う第１のモードと、
前記第２の対象者から指示された動作を行う第２のモードと、
前記第２の対象者の動作を反映する動作を行い、前記第１の対象者と前記第２の対象者とのコミュニケーションを媒介する第３のモードと
を切り替えて実行する制御部を有し、
前記制御部は、
前記第２の対象者から前記通信手段を介して音声の指示が入力されると、前記第３のモードから前記第２のモードに移行して、前記第２の対象者から指示された動作を実行し、前記動作が終了すると、前記第２のモードから前記第３のモードに移行して、前記頭部及び腕の方向を、前記通信手段を通じて取得した前記第２の対象者の顔方向及び指差し方向に一致させながら、前記第２の対象者から前記通信手段を通じて送られてきた音声を前記スピーカから発声することにより、前記第１の対象者と前記第２の対象者とのコミュニケーションを媒介し、
移動中に障害物を発見すると、前記第３のモードから前記第１のモードに移行して、前記障害物の方に前記頭部を向け、前記通信手段を通じて取得した前記第２の対象者の顔方向が当該コミュニケーションロボットの前記頭部の向きに一致すると、前記第１のモードから前記第３のモードに移行する
ことを特徴とするコミュニケーションロボット。
【請求項６】
請求項５に記載のコミュニケーションロボットであって、前記第２のモードにおいて、前記第２の対象者から指示された場所を目標地点に設定し、当該第２のモードから移行した前記第３のモードにおいて、前記目標地点まで移動しながら前記第１の対象者と前記第２の対象者とのコミュニケーションを媒介することを特徴とするコミュニケーションロボット。
【請求項７】
請求項５に記載のコミュニケーションロボットであって、前記第２のモードにおいて、前記第２の対象者から指示された人物を同伴対象に設定し、当該第２のモードから移行した前記第３のモードにおいて、前記人物に従って移動しながら前記第１の対象者と前記第２の対象者とのコミュニケーションを媒介することを特徴とするコミュニケーションロボット。
【請求項８】
移動可能な腕と、向きや傾きを変えることができる頭部と、カメラと、マイクロホンと、スピーカとを有し、第１の対象者と対面してコミュニケーションを行い、第２の対象者と通信手段を介してコミュニケーションを行うコミュニケーションロボットと、前記第２の対象者が前記コミュニケーションロボットへのアクセスに使用する操作側装置とを備えるコミュニケーションロボットシステムであって、
前記コミュニケーションロボットは、請求項１から請求項７のいずれかに記載の構成を有し、
前記操作側装置は、前記コミュニケーションロボットから前記通信手段を通じて送られた画像を表示するモニタと、前記コミュニケーションロボットから前記通信手段を通じて送られた音声を出力するスピーカと、前記第２の対象者の音声を電気信号に変換するマイクロホンと、前記第２の対象者を撮影するカメラと、前記カメラの画像から前記第２の対象者の顔方向を検出する顔方向検出手段と、前記第２の対象者の指差し方向を検出する指差し方向検出手段と、を備え、前記マイクロホンから入力した前記第２の対象者の音声、前記顔方向検出手段で検出された前記第２の対象者の顔方向、及び、前記指差し方向検出手段で検出された前記第２の対象者の指差し方向が、前記通信手段を通じて前記コミュニケーションロボットに送られることを特徴とするコミュニケーションロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間とコミュニケーションを行うロボットに関し、特に、円滑なコミュニケーションの実現を図るものである。
【背景技術】
【０００２】
我が国では、ロボットに関する研究開発が盛んであり、多種類のロボットが製作されている。
下記特許文献１には、指示者が手振りや身振りで指示を出すと、その指示に応じた行動を始めるロボットが開示されている。このロボットは、指示者の姿勢と指示内容との関係が定義された設定ファイルを保持し、カメラで撮影した画像から人物の姿勢を認識して、その姿勢に対応した指示内容を実行する。
例えば、ロボットに付いて来るように合図すると、ロボットは、指示を出した人物に追従する。このとき、「ロボットが人間との距離を一定に保ちながら移動する場合に、安全を確保するための距離が第一の所定距離（例えば１５０ｃｍ）になるように移動する」、「人間との距離が第二の所定距離（例えば９０ｃｍ）未満になった場合は停止する」、「人間との距離が第二の所定距離（例えば、９０ｃｍ）以上〜第一の所定距離（例えば、１５０ｃｍ）未満になった場合は後退または歩調を合わせる」等の条件が設定されていると、ロボットの動作は、この条件を満たすように制御される。
【０００３】
また、下記特許文献２には、離れて位置する二人のコミュニケーションを支援するロボットが記載されている。このロボットは、自律動作のための走行手段、駆動手段、各種センサ、コントローラ等と共に、スピーカ、マイク、カメラ、表示画面を備え、さらに、このロボットを遠隔操作するコントロール装置との通信手段を具備している。
例えば、接客係の手許にコントロール装置が置かれ、入店者を映すロボットのカメラの映像がコントロール装置に表示される。接客係は、この映像から来客を発見すると、遠隔操作でロボットを客に近付ける。接客係の顔は、コントロール装置のカメラで撮影されてロボットの表示画面に表示され、接客係の声はロボットに送られてスピーカから音声出力される。一方、客の顔は、ロボットのカメラで撮影されてコントロール装置に表示され、客の音声は、ロボットのマイクで集音されて接客係側に送られる。
そのため、コミュニケーションロボットとコントロール装置との間で映像及び音声をリアルタイムに送受信することができ、コントロール装置の操作者とロボットに対面している人とは、コミュニケーションを行うことができる。
【特許文献１】特開２００４−７８３１６号公報
【特許文献２】特開２００４−２６１９４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
人と人とが対面してコミュニケーションを行う場面では、例えば、いきなり「それを取って」と言われても「それ」が何か分かることが多い。これは、受け手側が周囲の状況や相手の行動に関する情報を五感で得ているためである。
しかし、通信手段を介してコミュニケーションを行う場合は、通信手段を通じて伝送された情報しかコミュニケーションに利用することができない。それ故、通信手段を使用する場合に、円滑なコミュニケーションを如何にして実現するかが大きな課題となる。
人と人とがロボットを介してコミュニケーションを行う場合は、少なくとも一方の人がロボットに対面しているから、対面コミュニケーションの利点を活用することが可能である。
ただ、そのためには、ロボットが、対面する人の五感に訴えるパフォーマンスを示す必要があり、また、通信手段を介してロボットと情報を交換する他方の人が、ロボットとの間で円滑なコミュニケーションを実現する必要がある。
【０００５】
本発明は、こうした事情を考慮して創案したものであり、円滑なコミュニケーションを実現することができるコミュニケーションロボットと、それを用いるコミュニケーションロボットシステムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明は、移動可能な腕と、向きや傾きを変えることができる頭部と、カメラと、マイクロホンと、スピーカとを有し、第１の対象者と対面してコミュニケーションを行い、第２の対象者と通信手段を介してコミュニケーションを行うコミュニケーションロボットであって、自律的に動作を行う第１のモードと、第２の対象者から指示された動作を行う第２のモードと、第２の対象者の動作を反映する動作を行い、第１の対象者と第２の対象者とのコミュニケーションを媒介する第３のモードとを切り替えて実行する制御部を有し、前記制御部は、第２の対象者から通信手段を介して音声の指示が入力されると、第１のモードから第２のモードに移行して、通信手段を通じて取得した第２の対象者の顔方向または指差し方向に頭部を向けて、第２の対象者から指示された動作を実行し、前記動作が終了すると、第２のモードから第１のモードに移行し、第１の対象者から当該コミュニケーションロボットに向けて問い掛けがあると、第１のモードから第３のモードに移行して、頭部及び腕の方向を、通信手段を通じて取得した第２の対象者の顔方向及び指差し方向に一致させながら、第２の対象者から通信手段を通じて送られてきた音声をスピーカから発声することにより、第１の対象者と第２の対象者とのコミュニケーションを媒介し、第１の対象者と第２の対象者とのやり取りが終了すると、第３のモードから第１のモードに移行することを特徴とする。
このロボットに対面する第１の対象者は、ロボットの動作から、コミュニケーションの相手である第２の対象者の動作を知ることができる。第２の対象者は、通信手段を通じてロボットの行動及び周囲の状況を知ることにより、ロボットの位置に居た場合の動作を行うことができ、ロボットは、通信手段を通じて第２の対象者の動作の情報を得ることにより、第２の対象者が指示する方向に頭部を向けたり、第２の対象者の動作を真似たりすることができる。
【０００７】
また、本発明のコミュニケーションロボットは、第１のモードにおいて、カメラの画像から当該コミュニケーションロボットの方を見ている対象者を検出し、検出された対象者の方向に頭部を向け、カメラの画像から前記対象者の顔画像を抽出して、当該コミュニケーションロボットの方を見ている時間を計測し、前記時間が所定時間を超えた場合に、当該対象者に近付く動作を行うことができ、また、前記時間が所定時間を超えた場合に、当該対象者に予め記録された音声データをスピーカから発声する動作を行うことができる。
このロボットは、展示のガイドロボットとして動作することができる。
【０００８】
また、本発明のコミュニケーションロボットは、第２のモードにおいて、第２の対象者から指示されたパンフレット等を指示された対象者に渡す動作を行うことができる。
【０００９】
また、本発明のコミュニケーションロボットは、移動可能な腕と、向きや傾きを変えることができる頭部と、カメラと、マイクロホンと、スピーカとを有し、第１の対象者と対面してコミュニケーションを行い、第２の対象者と通信手段を介してコミュニケーションを行うコミュニケーションロボットであって、自律的に動作を行う第１のモードと、第２の対象者から指示された動作を行う第２のモードと、第２の対象者の動作を反映する動作を行い、第１の対象者と第２の対象者とのコミュニケーションを媒介する第３のモードとを切り替えて実行する制御部を有し、前記制御部は、第２の対象者から通信手段を介して音声の指示が入力されると、第３のモードから第２のモードに移行して、第２の対象者から指示された動作を実行し、前記動作が終了すると、第２のモードから第３のモードに移行して、頭部及び腕の方向を、通信手段を通じて取得した第２の対象者の顔方向及び指差し方向に一致させながら、第２の対象者から通信手段を通じて送られてきた音声をスピーカから発声することにより、第１の対象者と第２の対象者とのコミュニケーションを媒介し、移動中に障害物を発見すると、第３のモードから第１のモードに移行して、障害物の方に頭部を向け、通信手段を通じて取得した第２の対象者の顔方向が当該コミュニケーションロボットの頭部の向きに一致すると、第１のモードから第３のモードに移行することを特徴とする。
このロボットは、身体的事情などで会場に来られない第２の対象者に代わって、彼の友人等（第１の対象者）とともに会場内を見て周り、会場内の状況を第２の対象者に伝える動作を行うことができる。
【００１０】
また、本発明のコミュニケーションロボットは、第２のモードにおいて、第２の対象者から指示された場所を目標地点に設定し、当該第２のモードから移行した第３のモードにおいて、前記目標地点まで移動しながら第１の対象者と第２の対象者とのコミュニケーションを媒介することができる。
また、本発明のコミュニケーションロボットは、第２のモードにおいて、第２の対象者から指示された人物を同伴対象に設定し、当該第２のモードから移行した第３のモードにおいて、前記人物に従って移動しながら第１の対象者と第２の対象者とのコミュニケーションを媒介することができる。
【００１１】
また、本発明は、移動可能な腕と、向きや傾きを変えることができる頭部と、カメラと、マイクロホンと、スピーカとを有し、第１の対象者と対面してコミュニケーションを行い、第２の対象者と通信手段を介してコミュニケーションを行うコミュニケーションロボットと、第２の対象者がコミュニケーションロボットへのアクセスに使用する操作側装置とを備えるコミュニケーションロボットシステムであって、コミュニケーションロボットは、前述した構成を有し、操作側装置は、コミュニケーションロボットから通信手段を通じて送られた画像を表示するモニタと、コミュニケーションロボットから通信手段を通じて送られた音声を出力するスピーカと、第２の対象者の音声を電気信号に変換するマイクロホンと、第２の対象者を撮影するカメラと、カメラの画像から第２の対象者の顔方向を検出する顔方向検出手段と、第２の対象者の指差し方向を検出する指差し方向検出手段と、を備え、マイクロホンから入力した第２の対象者の音声、顔方向検出手段で検出された第２の対象者の顔方向、及び、指差し方向検出手段で検出された第２の対象者の指差し方向が、通信手段を通じてコミュニケーションロボットに送られることを特徴とする。
第２の対象者は、モニタに表示された画像やスピーカからの音声でロボットの行動及び周囲の状況を知り、ロボットの位置に居た場合の動作を行うことができ、ロボットは、顔方向検出手段で検出された第２の対象者の顔方向、及び、指差し方向検出手段で検出された第２の対象者の指差し方向の情報を得ることにより、第２の対象者が指示する方向に頭部を向けたり、第２の対象者の動作を真似たりすることができる。
【発明の効果】
【００１２】
本発明のコミュニケーションロボットは、対面する人に対して円滑なコミュニケーションを行うことができ、また、通信手段を介して接触する人との円滑なコミュニケーションが可能であり、さらに、対面する人と通信手段を介して接触する人との間の円滑なコミュニケーションを取り持つことができる。
【発明を実施するための最良の形態】
【００１３】
（第１の実施形態）
本発明の第１の実施形態では、博物館のガイド役を担当するコミュニケーションロボットについて説明する。
図１は、このコミュニケーションロボットと操作側装置とを示す模式図である。また、図２は、コミュニケーションロボットの構成を示すブロック図であり、図３は、操作側装置の構成を示すブロック図である。
【００１４】
図１に示すように、コミュニケーションロボット１０は、頭部１１と、首１６と、胴体１２と、台車１３と、車輪１４と、腕１５１、１５２とを備えている。また、頭部１１の頂点には頭部カメラ１７が設置され、胴体１２には、前側に三台、背側に三台の胴体カメラ２０１、２０２、２０３と、マイク２４と、スピーカ２５とが設置され、また、台車１３には複数の超音波センサ２３が設置されている。
腕１５１、１５２は、上げたり下げたりすることができる。頭部１１は、首１６の回転や傾斜により２自由度以上の自由度で動かすことができる。また、台車１３は、車輪１４の回転により任意の方向に移動することができる。
前側の胴体カメラ２０１〜２０３のうち、中央のカメラ２０２は正面を撮影範囲とし、右側のカメラ２０３は右方向を、また、左側のカメラ２０１は左方向をそれぞれ撮影範囲としている。そのため、前側の三台のカメラ２０１〜２０３によってロボット前方の全域が撮影される。同様に、背側の三台のカメラ（不図示）によってロボット１０の後ろ側の全域が撮影される。
【００１５】
また、操作側装置は、博物館の専門家４０の部屋に設置され、６個のモニタ５０１〜５０３、６０１〜６０３と、専門家４０を撮影するためのカメラ５１とを備えている。
６個のモニタの内、下列のモニタ５０１、５０２、５０３は、それぞれ、ロボット１０の前側に設置された胴体カメラ２０１、２０２、２０３の映像を表示し、上列のモニタ６０１、６０２、６０３は、それぞれ、背側に設置された三台の胴体カメラの映像を表示する。
また、頭部カメラ１７の撮影方向と一致する下列モニタ５０１、５０２、５０３の画像上に、頭部カメラ１７の画像５３が重ねて表示される。例えば、ロボット１０の頭部１１が左を向いたときは、頭部カメラ１７の画像５３が左側のモニタ５０１の画像上に表示され、頭部１１が右を向いたときは、頭部カメラ１７の画像５３が右側のモニタ５０３の画像上に表示される。
また、上列中央のモニタ６０２には、胴体カメラの画像に重ねて、ロボット１０のＣＧ像５２が表示される。
【００１６】
図２に示すように、コミュニケーションロボット１０は、頭部カメラ１７及び胴体カメラ２０１〜２０３の画像データを処理する画像処理部６３と、これらの画像を解析する画像解析部６２と、マイク２５及びスピーカ２４の音声を処理する音声処理部６６と、音声合成部６５と、音声認識部６４と、超音波センサ２３により障害物を検知する障害物検知部７０と、走行駆動部７１、腕駆動部７２及び首駆動部７３の駆動を制御する駆動制御部６９と、データ記憶部６７と、操作側装置との間で無線等によりデータを送受信する送受信部６１と、各部の動作を制御する制御部６８とを備えている。
この内、画像処理部６３、画像解析部６２、音声処理部６６、音声合成部６５、音声認識部６４、障害物検知部７０、駆動制御部６９及び制御部６８は、ロボット１０に内蔵されたコンピュータやＣＰＵがプログラムで規定された処理を実行することにより実現される。
【００１７】
走行駆動部７１は台車１３を動かし、腕駆動部７２は腕１５１、１５２を動かし、首駆動部７３は首１６を回転または傾斜させて頭部１１の向きや傾きを変える。
また、図３に示すように、操作側装置８０は、モニタ５０１〜５０３、６０１〜６０３の表示を制御する表示制御部９０と、ＣＧ像５２を作成するＣＧ作成部８９と、カメラ５１の画像データを処理する画像処理部８２と、カメラ５１の画像を解析して専門家４０の顔方向の検出８３１や指差し方向の検出８３２を行う画像解析部８３と、マイク８４と、スピーカ８５と、音声処理部８６と、データ記憶部８７と、ロボット１０との間で無線等によりデータを送受信する送受信部８１と、各部の動作を制御する制御部８８とを備えている。
この内、表示制御部９０、ＣＧ作成部８９、画像処理部８２、画像解析部８３及び制御部８８は、操作側装置８０に内蔵されたコンピュータやＣＰＵがプログラムで規定された処理を実行することにより実現される。
【００１８】
このコミュニケーションロボット１０は、図４に示すように、自律的に動作を行う「自律モード」、専門家４０（即ち、通信手段を通じて情報を交換する人）とコミュニケーションを行い、専門家４０の指示を実行する「対話モード」、及び、専門家４０と見学者とのコミュニケーションを媒介する「媒介モード」のいずれかを実行する。
このコミュニケーションロボット１０は、「自律モード」において、周囲の人３０１（見学者）と自律的にコミュニケーションを行う。通常、このロボット１０は、自律モードで動作し、状況に応じて対話モードや媒介モードに切替える。そして、それらのモードの動作が終了すると自律モードに戻る。
【００１９】
ロボット１０のデータ記憶部６７には、展示物説明用のデータや会場の地図データが格納され、さらに、自律モード、対話モード及び媒介モードの各モードにおいて実行すべき動作や、一つのモードから他のモードに移る際の条件などが設定されている。
例えば、自律モードでは、
（１）前側及び背側の胴体カメラ２０１〜２０３の画像から、展示物の近くにいて、ロボット１０の方を見ている人を検出する。
（２）（１）において該当者が検出されたときは、頭部１１をその人の顔の方に向け、頭部カメラ１７で顔を撮影する。
（３）頭部カメラ１７で撮影した顔がＳ１秒以上ロボット１０の方を見ていたら、その人の方へ移動して、その人からｄ１ｍ離れた位置で停止する。
（４）（３）に続いて、展示物の説明文を音声合成で発声する。
（５）説明文の発声時には、予め指定された重要な言葉の後、あるいは、文の区切り箇所で説明を聞く見学者の方にロボット１０の顔を向ける。
等の動作が設定される。
【００２０】
また、対話モードでは、
（１）操作側装置８０から指示された方向にロボット１０の頭部１１を向ける。
（２）操作側装置８０から指示されたパンフレットを、指示された人に渡す。
等の動作が設定される。
また、媒介モードでは、
（１）操作側装置８０側の人物の顔が向く方向に頭部１１を向ける。
（２）操作側装置８０側の人物が指差す方向に腕１５１、１５２を上げる。
（３）操作側装置８０から送られた音声を出力する。
等の動作が設定される。
【００２１】
また、モード間の移行の条件は、例えば、次のように設定される。
（１）操作側装置８０からロボット１０に対する音声の指示が入力したときは、自律モードから対話モードに移行し、指示された動作が終了したときは、対話モードから自律モードに移行する。
（２）ロボット１０の周囲の人からロボット１０に向けて質問（発話）があったときは、自律モードから媒介モードに移行し、質問のやり取りが終了したときは、媒介モードから自律モードに移行する。
一方、操作側装置８０のデータ記憶部８７には、ロボット１０の各種パラメータと実データとの関係を示すテーブル等が格納されている。
【００２２】
次に、このシステムの動作について説明する。
ロボット１０は、前側及び背側の胴体カメラ２０１〜２０３で映した映像、並びに、頭部カメラ１７で映した映像を、画像処理部６３で標本化、量子化等の処理を施した後、送受信部６１から操作側装置８０に送信する。また、マイク２５から入力した音声信号を音声処理部６６でデジタルデータに変換し、送受信部６１から操作側装置８０に送信する。さらに、駆動制御部６９が走行駆動部７１、腕駆動部７２及び首駆動部７３の駆動制御に用いた制御パラメータを送受信部６１から操作側装置８０に送信する。
操作側装置８０では、受信した前側及び背側の胴体カメラ２０１〜２０３の映像を表示制御部９０が６台のモニタ５０１〜５０３、６０１〜６０３に分けて表示する（ロボット１０の前側左の胴体カメラ２０１の映像を下列の向かって左のモニタ５０１に、前側中央の胴体カメラ２０２の映像を下列中央のモニタ５０２に、前側右の胴体カメラ２０３の映像を下列の向かって右のモニタ５０３に、胴体カメラ２０１の裏側の背側胴体カメラの映像を上列の向かって右のモニタ６０３に、胴体カメラ２０２の裏側の背側胴体カメラの映像を上列中央のモニタ６０２に、胴体カメラ２０３の裏側の背側胴体カメラの映像を上列の向かって左のモニタ６０１に、それぞれ表示する。）
【００２３】
また、表示制御部７０は、ロボット１０より受信した制御パラメータの中の首駆動部７３の制御パラメータを基に、データ記憶部８７に格納されたテーブルを参照して、ロボット１０の頭部１１の向き及び傾きを求め、頭部カメラ１７の撮影方向と一致する下列モニタ５０１、５０２、５０３の画像上に、頭部カメラ１７の画像５３を重ねて表示する。
また、ＣＧ作成部８９は、ロボット１０より受信した走行駆動部７１、腕駆動部７２及び首駆動部７３の制御パラメータから、データ記憶部８７のテーブルを参照して、ロボット１０の走行方向、腕１５１、１５２の角度、頭部１１の向き及び傾きを求め、ロボット１０のＣＧ画像を生成する。表示制御部７０は、作成されたＣＧ画像５２を上列中央のモニタ６０２の画像に重ねて表示する。
また、受信した音声データを音声処理部８６でアナログ信号に変換し、スピーカ８５から音声出力する。
専門家４０は、モニタ５０１〜５０３、６０１〜６０３に映る各種画像を見ることにより、ロボット１０の周りの状況や、ロボット１０の行動を知ることができる。
【００２４】
自律モードのロボット１０では、制御部６８が、データ記憶部６７に設定された自律モード時の動作を実行すべく各部を制御する。
画像解析部６２は、制御部６８の指示に基づいて、前側及び背側の胴体カメラ２０１〜２０３の映像を解析し、展示物の近くに居てロボット１０の方向に顔が向いている見学者を検出する。
画像解析により該当者が検出されると、制御部６８は、駆動制御部６９に対し、検出された方向に頭部１１を向けるように指示し、駆動制御部６９は、指示に従って首駆動部７３を駆動し、頭部１１の向きを変える。
画像解析部６２は、頭部カメラ１７の画像を解析し、見学者の顔を抽出する。制御部６８は、抽出された顔がロボット１０の方を向いている時間を計測し、その時間がＳ１秒を超えた場合に、ロボット１０はその見学者と目が合った（アイコンタクトが成立した）と判断し、その見学者との距離がｄ１ｍになるまで近付くように駆動制御部６９に指示する。駆動制御部６９は、データ記憶部６７の地図データを参照し、走行駆動部７１を制御して、その見学者の方向にロボット１０を進める。そして、障害物検知部７０がその見学者との距離をｄ１ｍと検知した時点で停止する。
【００２５】
ロボット１０が指示された位置まで移動すると、音声合成部６５は、制御部６８の指示に基づいて、データ記憶部６７に格納された説明文のデータを音声に合成し、合成された音声がスピーカ２４から発声される（この発声は操作側装置８０にも送信される）。
従って、ロボット１０と目が合った見学者は、ロボット１０から展示物の説明を受けることになる。
【００２６】
制御部６８は、この説明の間、画像解析部６２の解析結果から見学者の顔の現在位置を確認し、その説明中に予め指定された重要な言葉が発声されると、あるいは、文の区切り箇所に達すると、駆動制御部６９に対し、頭部１１を見学者の方に向けるように指示する。駆動制御部６９は、指示に従って首駆動部７３の回転や傾きを変え、頭部１１を見学者の方に向ける。
このようなロボット１０の動作は、一般のガイドが説明の途中で視線を見学者の方に移し、見学者の方も、それに応じてガイドの方を見る動作（即ち、ガイドが「分かりますか」と目で問い、見学者が「分かっています」と目で答える動作）と同じ効果を生むことができ、対面する見学者との円滑なコミュニケーションを可能にする。
操作側装置８０の専門家４０は、モニタ５０１〜５０３に表示された頭部カメラ１７の画像５３の位置と表示内容、モニタ６０１〜６０３に表示されたＣＧ像５２、スピーカ８５から流れる音声などにより、ロボット１０がどの方向を見て何をしているかが容易に分かる。
【００２７】
専門家４０は、モニタ５０１〜５０３、６０１〜６０３に映る胴体カメラ２０１〜２０３の映像から、ロボット１０の説明を聞きたがっている人を見つけた場合に、その人の存在にロボット１０が気付いていないときには、モニタ５０１〜５０３、６０１〜６０３に映るその人の方を向いて、あるいは、その人を指差して、「あの人に説明してあげて」と発声する。
専門家４０の音声は、操作側装置８０のマイク８４で電気信号に変換され、音声処理部８６でデジタルデータに変換される。制御部８８は、このときの専門家４０の姿を映したカメラ５１の画像を解析するように画像解析部８３に指示し、画像解析部８３は、この画像から顔方向の検出処理８３１または指差し方向の検出処理８３２を実施する。制御部８８は、検出された方向を示すデータと音声データとを、送受信部８１を通じてロボット１０に送信する。
【００２８】
これらのデータを受信したロボット１０では、制御部６８が、音声認識部６４に対して音声データの音声認識を指示する。音声認識部６４は、この音声データを文字列に変換する。制御部６８は、その文字列を予め保持した辞書の単語や文字列と照合し、ロボット１０に対する指示であることを識別すると、自律モードから対話モードに移行し、対話モードの動作を実行する。
制御部６８は、操作側装置８０から受信した方向を示すデータを駆動制御部６９に伝え、頭部１１を当該方向に向けるように指示する。駆動制御部６９は、指示に従って首駆動部７３を駆動し、頭部１１を指定された方向に向ける。その結果、頭部カメラ１７に、専門家４０が「あの人」と言った見学者が映ることになる。
ロボット１０は、対話モードにおいて設定されている動作が終了すると、自律モードに戻り、頭部カメラ１７の画像を解析して見学者の顔を抽出する。抽出された顔がロボット１０の方をＳ１秒以上向いているとき、その見学者との距離がｄ１ｍになるまで近付き、展示物の説明を開始する。
【００２９】
このように、このシステムでは、ロボット１０と直接対面していない専門家４０が、「この人」とか「あの人」とか言う表現でロボット１０とコミュニケーションを行うことができる。これは、ロボット１０と専門家４０との間で円滑なコミュニケーションが可能であることを示している。
また、ロボット１０に対してパンフレットの手渡しを指示する場合も、同様に、専門家４０は、モニタ５０１〜５０３、６０１〜６０３に映るパンフレットを見ることにより（または、指差すことにより）「そのパンフレットをあの人にあげて」との言い方で指示を出すことができる。
【００３０】
ロボット１０の説明を聞いた人から質問が出た場合は、その音声が、マイク２５で電気信号に変換され、音声処理部６６でデジタルデータに変換される。ロボット１０の制御部６８は、音声認識部６４に対して、この音声データの音声認識を指示する。音声認識部６４が音声データを文字列に変換すると、制御部６８は、その文字列を予め保持した辞書の単語や文字列と照合し、質問であることを識別すると、自律モードから媒介モードに移行して、媒介モードの動作を実行する。
ロボット１１の制御部６８は、まず、媒介モードに移行したことを操作側装置８０に伝える。例えば、特定の音を操作側装置８０のスピーカ２４から鳴らしたり、操作側装置８０のモニタ５０１〜５０３、６０１〜６０３の表示を特別の色の表示枠で囲んだりして、媒介モードへの移行を知らせる。
また、ロボット１１は、操作側装置８０から送られた回答の音声をスピーカ２４から発声する。
【００３１】
質問に回答する専門家４０の姿は、操作側装置８０のカメラ５１で撮影され、制御部８８の指示を受けた画像解析部８３により、この画像から顔の方向及び指差し方向が検出される。制御部８８は、検出された顔方向のデータと指差し方向のデータとを、送受信部８１を通じてロボット１０に送信する。
ロボット１１の制御部６８は、操作側装置８０から受信した専門家４０の顔方向のデータと指差し方向のデータとを駆動制御部６９に伝えて、頭部１１の向きを顔方向に一致させ、腕１５１、１５２の向きを指差し方向に一致させるように指示する。駆動制御部６９は、指示に従って首駆動部７３及び腕駆動部７２を駆動し、頭部１１及び腕１５１、１５２を指定された方向に向ける。その結果、ロボット１０は、専門家４０と同じような姿勢をとることになる。
【００３２】
例えば、見学者が「これはなんですか」と聞いた場合に、専門家４０がモニタ５０１〜５０３、６０１〜６０３に映る「これ」を指して「これは×××××です」と答えると、専門家４０の音声がロボット１０から流れるとともに、ロボット１０の頭部１１が「これ」の方を向き、ロボット１０の腕１５１、１５２が「これ」の方向を指すことになる。
そのため、見学者は、専門家４０と直接対面していないにも関わらず、ロボット１０を見ることにより、専門家４０と対面しているときのような円滑なコミュニケーションを行うことができる。また、専門家４０は、「これ」とか「あれ」とか言う表現で見学者と意思の疎通を図ることができる。これは、見学者と専門家４０との間で円滑なコミュニケーションが可能であることを示している。
質問のやり取りが終了すると、ロボット１０の制御部６８は、媒介モードから自律モードに戻る。
【００３３】
なお、ここでは、見学者から質問があると、直ちに媒介モードに移行したが、ロボット１０が回答できる質問の場合は、自律モードのロボット１０が回答し、ロボット１０に回答できない質問が出た場合に、媒介モードに移行するようにしても良い。
【００３４】
このように、このコミュニケーションロボット１０は、図４に示すように、自律モード、対話モード、及び、媒介モードの各モードに対応し、状況に応じて、そのモードを自ら切り替えている。こうした行動により、ロボット１０は、見学者と円滑なコミュニケーションを図ることができる。
ロボット１０によるモードの切り替えは自然に行われ、見学者には察知されない。そのため、見学者は、ロボットが高機能化していることを強く印象付けられることになる。
また、通信手段を介してロボット１０に接触する専門家４０は、ロボット１０の行動を画像から詳細に知ることができ、かつ、自らの顔や手の向きをロボット１０に伝えることができる。そのため、専門家４０とロボット１０との間では、対面しているときと同等の円滑なコミュニケーションが可能である。
また、ロボット１０の周囲の見学者は、ロボット１０を通じて専門家４０の動作を見ることができるため、専門家４０と対面している場合と同等の円滑なコミュニケーションが可能になる。
【００３５】
なお、操作側装置８０のモニタにＣＧ像５２を表示する方法として、図１に例示する以外の方法を採ることも可能である。ＣＧ像５２の表示の仕方には、
（１）ロボット１０を正面から見たときの像（正面像）を上列の中央モニタ６０２に表示
（２）正面像の左右を逆にした左右逆像を上列の中央モニタ６０２に表示
（３）左右逆像を下列の中央モニタ５０２に表示
（４）ロボット１０を背面から見たときの像（背面像）を下列の中央モニタ５０２に表示
（５）正面像を下列の中央モニタ５０２に表示
（６）背面像を上列の中央モニタ６０２に表示
等の方法が考えられる。
【００３６】
このうち、（１）の表示方法（図１の表示方法）は、ロボット１０の状態が、その場に実際に専門家４０がいてロボット１０を見たときと同じ背景の中に表示される利点がある。ただし、ロボット１０の顔や手の左右の動きは、前面のモニタ表示と一致しない。例えば、図１の状況ではロボット１０は左側を見ていて、ＣＧ像５２も左側を向いている（専門家４０から見ると右を向いている）が、頭部カメラ１７の画像５３は専門家４０から見ると左側のモニタ５０１に表示されている。
（２）の表示方法では、ロボット１０の顔や手の左右の動きは、前面のモニタ表示と一致するが、実際の動きと逆像が表示される。背景の映像が専門家４０から見て、左右が正しい画像なので、実際の状況と違う画像が表示されてしまう問題がある。
（３）の表示方法では、ロボット１０の視点からの画像を表示する下列の中央モニタ５０２に逆像のＣＧ像５２を表示するので、（２）の表示方法より違和感は減る。即ち、専門家４０は、このモニタ５０２を見る際に、ロボット１０の視点を意識しているからである。ただし、この場合は、一般に重要な情報の含まれる正面の画像の一部がＣＧ像により隠されてしまうという問題がある。
（４）の表示方法では、ロボット１０の動作とモニタ５０２の位置関係とが一致しており、この点は良い。ただし、後ろ向きの像が表示されるため動作が分かり難い。それを防ぐには少し斜め後ろからの像に変えてもよい。また、（３）と同様に、正面の画像の一部がＣＧ像により隠されてしまうという問題がある。また、ロボット１０が後ろ向きであるため、特に対話モードでは使用者に好感を持たれない場合がある。
（５）の表示方法は、ロボット１０が背側の胴体カメラを持たない場合には採用される表示方法であるが、その他の場合には特に利点がない。
（６）の表示方法は、ロボット１０が後方を見ているように見えて、不自然であり、特に利点はない。
このように、各表示方法には、それぞれ特徴がある。そのため、複数のＣＧ表示方法を用意して、使用者が好みにより選択できるようにしても良い。また、ロボット１０のモードに応じて、ＣＧ表示方法を切り替えるようにしても良い（例えば、対話モードでは、ＣＧ像を（１）（２）（３）（５）のいずれかの方法で表示し、媒介モードでは（４）または（６）の方法で表示し、自律モードでは、対話モードまたは媒介モードと同一の方法で表示する。）。
【００３７】
また、ここでは、操作側装置８０に６面のディスプレイを設けているが、一つのディスプレイの表示領域を六つに区画して、６面のディスプレイに表示していた内容を小さく表示するようにしても良い。こうすることにより、図５に示すように、専門家４０は、一人で複数台のロボットを扱うことが可能になる。但し、この場合、表示を見る専門家４０の顔の動きが小さくなるので、ロボット側では、それを拡大してロボットの頭部１１の動きに反映させる必要がある。
【００３８】
また、この場合、専門家４０の顔の向きを検出するためのカメラは、一台の広角カメラで代用することも可能ではあるが、図５のように、各ロボットに対応する表示器に一台ずつ設置することが望ましい。こうすると、専門家４０が注目するロボットを判断するとき、各カメラの画像の中で、専門家４０の顔がほぼ正面を向いている画像を探すだけで足りるため、簡単な処理で正しく判定できる。
【００３９】
また、ここでは、ロボット１０の頭部カメラ１７の映像５３を操作側装置８０のモニタ５０１〜５０３上に表示したが、頭部カメラ１７の設置を止め、ロボット１０の頭部１１の向きを示す記号（例えば、カーソルや頭部形状のマーク、矩形の枠など）をモニタ５０１〜５０３の対応位置に表示するようにしても良い。
【００４０】
また、専門家４０の顔や手の向きをカメラ画像から求める際に、専門家４０の頭部や腕にマークを付けて、それを検出するようにすれば、簡単な処理で確実な情報を得ることができる。また、顔や手の向きをカメラ画像から求める代わりに、磁気センサなどを用いて検出しても良い。この場合、専門家４０は、検出用の機器を装着する必要がある。
【００４１】
（第２の実施形態）
本発明の第２の実施形態では、博物館に行けない人に代わって博物館を見学するコミュニケーションロボットについて説明する。
図６は、在宅者３０２の友人３０３とロボット１０が連れ立って博物館を見学し、在宅者３０２が、ロボット１０のカメラに映る映像を家の操作側装置８０で見ている様子を模式的に示した図である。
【００４２】
博物館や美術館の見学は、単に作品を観賞するだけでなく、友人と語らいながら見るところに楽しみが生まれる。このコミュニケーションロボット１０は、病気や身体的理由により、こうした楽しみを味わえない在宅者３０２に代わって、友人３０３と博物館を見学し、在宅者３０２に見学の楽しさを感じさせることを目的としている。
ロボット１０の構成は、第１の実施形態（図２）と同じである。また、操作側装置８０の構成は、外形が小型になっているものの、機能的には第１の実施形態（図３）と変わりがない。
【００４３】
このコミュニケーションロボット１０は、通常、媒介モードで動作し、状況に応じて自律モードや対話モードに切り替わる。そして、それらのモードの動作が終了すると媒介モードに戻る。
ロボット１０のデータ記憶部６７には、自律モード、対話モード及び媒介モードの各モードにおいて実行すべき動作や、一つのモードから他のモードに移る際の条件が次のように設定される。
【００４４】
例えば、自律モードでは、
（１）移動中に障害物を発見したとき、障害物の方にロボット１０の頭部１１を向ける。
（２）発見した障害物を回避する。
等の動作が設定される。
また、対話モードでは、
（１）操作側装置８０から指定された場所を目標地点に設定する。
（２）操作側装置８０から指定された人を同伴対象に設定する。
等の動作が設定される。
また、媒介モードでは、
（１）操作側装置８０側の人物の顔が向く方向に頭部１１を向ける。
（２）操作側装置８０側の人物が指差す方向に腕１５１、１５２を上げる。
（３）操作側装置８０から送られた音声を出力する。
（４）設定された目標地点まで移動する。
（５）同伴対象に設定された人に従って移動する。
等の動作が設定される。
【００４５】
また、モード間の移行の条件は、例えば、次のように設定される。
（１）操作側装置８０からロボット１０に対する音声の指示が入力したときは、媒介モードから対話モードに移行し、指示された動作が終了したときは、対話モードから媒介モードに移行する。
（２）移動中に障害物を発見したときは、媒介モードから自律モードに移行し、ロボット１０の動作と操作側装置８０側の人物の動作とが一致したとき、自律モードから媒介モードに移行する。
【００４６】
次に、このシステムの動作について説明する。
在宅者３０２が、操作側装置８０の画面に映る展示を指差して「これを見たい」と発声すると、ロボット１０は、自身に対する指示であることを識別して、指示された場所を目標地点に設定する。また、在宅者３０２が、操作側装置８０の画面に映る友人３０３を指差して「この人と一緒に行く」と発声すると、ロボット１０は、自身に対する指示であることを識別して、その人を同伴対象に設定する。
ロボット１０は、媒介モードに移行し、目標地点への移動、または、友人３０３に従う移動を開始する。
【００４７】
媒介モードにおいて、在宅者３０２が発した声はロボット１０のスピーカ２４から発声され、友人３０３の声は、ロボット１０のマイク２５から入力して操作側装置８０のスピーカ８５から発声される。また、在宅者３０２の顔の向きや手の振りは、ロボット１０の頭部１１や腕１５１、１５２に再現され、友人３０３の仕草は、操作側装置８０の画面に表示される。そのため、在宅者３０２は、友人３０３と身振りや手振りを交えた会話を愉しみながら展示を見学することができる。
また、在宅者３０２が操作側装置８０の画面上で見たい箇所に顔を向けると、ロボット１０の頭部１１が同じ方向を向き、頭部カメラ１７が在宅者３０２の見たい方向を映し出す。
【００４８】
また、移動途中に障害物が存在すると、それを超音波センサ２３で検知したロボット１０は、自律モードに移行して、頭部１１を障害物の方向に向ける。在宅者３０２は、操作側装置８０の画面に表示されたＣＧ像の動きや、障害物を映す頭部カメラ１７の画像から障害物の存在に気付き、画面に表示された障害物を見る。この時点でロボット１０の頭部１１の動きと在宅者３０２の頭部の動きとが一致するため、ロボット１０は媒介モードに戻る。
ロボット１０が媒介モードに戻ると、在宅者３０２は、友人３０３と見学ルートの変更などを協議することになる。また、もしも、在宅者３０２が障害物に気付かなければ、自律モードのロボット１０が障害物との衝突を回避する。
【００４９】
このように、このコミュニケーションロボットは、博物館等に行けない人に見学の楽しさを感じさせることができる。
【産業上の利用可能性】
【００５０】
本発明のコミュニケーションロボットは、博物館や各種展示会等のガイドロボットとして、あるいは、病気や身体が不自由な人を支援する福祉サービスロボットとして、広く利用することができる。
【図面の簡単な説明】
【００５１】
【図１】本発明の第１の実施形態におけるロボットの使用形態を模式的に示す図
【図２】本発明の第１の実施形態におけるロボットの構成を示すブロック図
【図３】本発明の第１の実施形態における操作側装置の構成を示すブロック図
【図４】本発明の第１の実施形態におけるロボットのモードを説明する図
【図５】本発明の第１の実施形態におけるロボットの使用形態の変形例を示す図
【図６】本発明の第２の実施形態におけるロボットの使用形態を模式的に示す図
【符号の説明】
【００５２】
１０    コミュニケーションロボット
１１    頭部
１２    胴体
１３    台車
１４    車輪
１６    首
１７    頭部カメラ
２３    超音波センサ
２４    マイク
２５    スピーカ
４０    専門家
５１    カメラ
５２    ＣＧ像
６１    送受信部
６２    画像解析部
６３    画像処理部
６４    音声認識部
６５    音声合成部
６６    音声処理部
６７    データ記憶部
６８    制御部
６９    駆動制御部
７０    障害物検知部
７１    走行駆動部
７２    腕駆動部
７３    首駆動部
８０    操作側装置
８１    送受信部
８２    画像処理部
８３    画像解析部
８４    マイク
８５    スピーカ
８６    音声処理部
８７    データ記憶部
８８    制御部
８９    ＣＧ作成部
９０    表示制御部
１５１  腕
１５２  腕
２０１  胴体カメラ
２０２  胴体カメラ
２０３  胴体カメラ
３０１  見学者
３０２  在宅者
３０３  友人
５０１〜５０３  モニタ
６０１〜６０３  モニタ
８３１  顔方向検出
８３２  指差し方向検出
【図２】
0004512830.tif 000002
【図３】
0004512830.tif 000003
【図４】
0004512830.tif 000004
【図１】
0004512830.tif 000005
【図５】
0004512830.tif 000006
【図６】
0004512830.tif 000007