(57)【要約】【課題】自律移動型ロボットおよび内蔵されたカメラの姿勢を意識することなく、前記カメラの撮影画像から監視対象物を選択することで、自動的に該ロボットと該カメラの動作を可能にする遠隔監視システムを提供することにある。【解決手段】カメラを内蔵した自律移動型ロボットにおいて、画像撮影時の自律移動型ロボットの方向、内蔵カメラの方向および画角を記憶しておき、前記撮影画像の中から監視対象物の映っている位置を指定することで、自動的に前記自律移動型ロボットおよびカメラの移動制御を行ない、前記カメラの画面中央に前記監視対象物が映るようにする。【選択図】図３
2006139525.tif 000002
【特許請求の範囲】
【請求項１】
ユーザインターフェイスを備える入力端末と接続された自律移動型ロボットであって、
画像を撮像する撮像装置と、
上記撮像した画像を上記入力端末に送出する送信部と、
上記撮影時の上記自律移動型ロボットの進行方向、内蔵カメラの方向および画角を記憶する制御部と、
前記入力端末から前記撮影された画像中の対象物位置指定情報を受信する受信部とを有し、
前記制御部は前記自律移動型ロボットおよびカメラの移動制御を行ない、前記カメラの画面中央に前記監視対象物が映るようにすることを特徴とする自律移動型ロボット。
【請求項２】
上記対象物位置指定情報は、該対象物の存在する画像の識別番号と該画像中の指定された対象物の位置を特定する情報が含まれていることを特徴とする請求項１記載の自律移動型ロボット。
【請求項３】
前記撮像装置が上記送信部を介して送出する画像は、上記撮像部を介して取得した該自律移動型ロボットの周囲３６０度を撮像した動画像であることを特徴とする請求項１又は２に記載の自律移動型ロボット。
【請求項４】
さらに走行場所の地図情報を記憶する記憶部を有し、
前記制御部は障害物との距離が閾値以上もしくは最長となる位置を探索する手段を備えていることを特徴とする請求項１乃至３の何れかに記載の自律移動型ロボット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律移動型ロボットに内蔵されたカメラからの映像を用いて、外部操作端末による遠隔監視を行なうシステムに関する。
【背景技術】
【０００２】
移動機構とカメラを備え、自律的に移動するロボットを用いて、外部操作端末による遠隔監視を行なうシステムについては、従来から提案されている。
従来に提案されている技術は、ロボットに内蔵されたカメラで撮影した映像を外部操作端末に表示し、該映像を見て、ユーザーが該ロボットおよび該カメラの姿勢を認識し、ロボットの前進、後進、カメラのパン、チルトといった動作単位の指示を行なうことで監視対象物の映像を取得し、遠隔監視を実現するというものである（例えば、特許文献１又は２参照）。
【０００３】
【特許文献１】特開２００２−３２１１８０号公報
【０００４】
【特許文献２】特開２００３−６２７７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ユーザが視認するカメラ映像は、一般的に時間遅延を伴ない、該映像アングルや視野角は人間の視界と異なることから、該カメラが撮影した映像を基に該ロボットと該カメラの姿勢を認識し、ユーザが手動で該ロボットおよび該カメラの姿勢を制御し、監視対象物の映像を取得することは困難であった。
【０００６】
本発明の目的は、前記ロボットおよびカメラの姿勢をユーザが意識することなく、前記カメラ映像の中から監視対象物を選択することで、自動的に該ロボットと該カメラの動作操作を可能にする遠隔監視システムを提供することにある。
【課題を解決するための手段】
【０００７】
本願で開示する代表的な発明は以下の通りである。画像を撮像する撮像装置と、撮像された画像を上記入力端末に送出する送信部と、撮影時の上記自律移動型ロボットの進行方向と内蔵カメラの方向および画角を記憶する制御部と、入力端末から前記撮影された画像中の対象物位置指定情報を受信する受信部とを備えている自立移動型ロボットであって、制御部は前記自律移動型ロボットおよびカメラの移動制御を行ない、前記カメラの画面中央に前記監視対象物が映るように制御を行う。
【発明の効果】
【０００８】
本発明によれば、カメラを内蔵した自律移動型ロボットを用いた遠隔監視システムにおいて、ユーザが手動で該ロボットおよびカメラの姿勢制御を行なうことなく、効率的に監視対象物の映像を取得することができる。
【発明を実施するための最良の形態】
【０００９】
本発明の自律移動型ロボット１は、図１に示すように外部操作端末１００と通信手段２００を介して双方向通信を行なうことができる。
通信手段２００には、公衆電話回線、携帯電話回線、PHS回線、電力線、光ファイバ回線、ＡＤＳＬ回線などの公衆回線を利用することができる。さらに、通信手段２００には、専用線を利用することができる。また、通信手段２００の通信形態は、有線、無線のどちらでも可能である。また、通信手段２００は、中継器を介することで、より遠方への通信を可能にすることができる。
【００１０】
外部操作端末１００は、画像を表示する表示装置１０１と、監視対象物の位置を選択するユーザーインターフェース１０２を備えている。
また、外部操作端末１００には、自律移動型ロボット１から送信される画像を受信するための受信装置１０３を備えている。
また、外部操作端末１００には、監視対象物選択信号３０２、ロボット制御信号、カメラ制御信号、監視開始要求信号、監視終了要求信号を自律移動型ロボット１へ送信する送信装置１０４を備えている。
【００１１】
尚、携帯電話のほか、ＰＤＡ、汎用コンピュータ、専用装置等を外部操作端末１００として使用することができる。
又、ユーザーインターフェース１０２には、操作ボタン、ジョイスティック、タッチパネルを使用することができる。
【００１２】
本発明の自律移動型ロボットの構造を図２に示す。図２は、本発明の自律移動型ロボットの構造の一実施例を示す、上面図および側面図である。
自律移動型ロボット１は、本体２と、本体２を床面の上で移動させる移動手段である右および左の車輪３ａ、３ｂおよびそれらを駆動するモータ４ａ、４ｂと、本体２の移動を制御する制御手段である制御装置５と、システムに電力を供給する電力供給部６と、本体２の前方周囲を撮影するカメラ７を備えている。左右のモータ４ａ、４ｂには、車輪の回転数を検出するロータリーエンコーダ１３ａ、１３ｂが取付けられている。また、本体２の下面には、本体２を支持する補助輪１１が設けられている。本体全体は、側面カバー１２と上面カバー１４とで覆われている。モータ４ａ、４ｂは独立に制御することができ、それぞれの回転速度と回転方向を制御することにより、本体２を床面の上で、前進、後退、および旋回させることができる。
【００１３】
また、本体２には、方位角検出手段であるジャイロ８が搭載されている。ジャイロ８は、圧電振動ジャイロ等の角速度センサであり、本体２の床面上における旋回の速度を検出する。検出された角速度を制御装置５の内部で積分することにより、方位角が得られる。
また、本体２には、前方の障害物を検出する前方近接センサ９と、側方の障害物を検出する側方近接センサ１０が設けられている。前方近接センサ９および側方近接センサ１０は、対向する物体までの距離を検出する近接距離センサであり、赤外線ビームを発光し、対象物からの反射光の方向を検出することにより、距離を検出する。
【００１４】
また、本体２の下面前方には、段差センサ１５ａ、１５ｂ、１５ｃ、１５ｄが本体２に対して下向きに設けられている。段差センサ１５ａ、１５ｂ、１５ｃ、１５ｄは対向する物体までの距離を検出する近接距離センサであり、赤外線ビームを発光し、対象物からの反射光の方向を検出することにより、センサ正面から規定された距離以内の範囲の物体の有無を検出する。段差センサ１５ａ、１５ｂ、１５ｃ、１５ｄによって、自律移動型ロボット１の進行方向の床に落ち込みの段差が有る場合には検出が可能になる。
【００１５】
また、カメラ７には、カメラ７の左右の向きを移動させる為のモータ２０と、カメラ７の上下の向きを移動させる為のモータ２１と、カメラ７のレンズ倍率を変更する手段が備えられており、カメラ制御信号に基づいて制御することができる。
また、本体２は、外部操作端末１００にデータを送信するデータ送信装置１８を備え、カメラ７で撮影した画像３００を外部操作端末１００に送信することができる。
また、本体２は、データ受信装置１９を備え、外部操作端末１００から送られてくる監視対象物選択信号３０２、ロボット制御信号、カメラ制御信号、監視開始要求信号、監視終了要求信号を受信することができる。
【００１６】
また、側面カバー１２は、本体２と別体であり、ピアノ線１７によって本体２と結合され、相対的に水平方向へ変位するようになっている。側面カバー１２の内側には、側面カバー１２の水平方向変位によって押下される接触センサ１６ａ、１６ｂ、１６ｃ、１６ｄが本体２に固定される形で設けられており、側面カバー１２と外部の障害物との接触を検知する。側面カバーの一部は、光の透過性が高くなっており、カメラ７は、該側面カバーの一部を通して、周囲画像を撮影することができる。
【００１７】
また、制御装置５は、ＣＰＵ、メモリ、入出力回路を備える制御用コンピュータシステムであり、その制御アルゴリズムは、メモリに内蔵されたコンピュータプログラムにより実現される。前記メモリの一部は、画像３００の記憶に用いることができる。さらに、前記メモリの一部は、地図記憶手段として、部屋の地図情報を記憶するために使用することができる。
また、制御装置５は、ロータリーエンコーダ１３ａ、１３ｂ、ジャイロ８、前方近接センサ９、側方近接センサ１０、接触センサ１６ａ、１６ｂ、１６ｃ、１６ｄ、段差センサ１５ａ、１５ｂ、１５ｃ、１５ｄから得られるセンサ情報に基づいて、モータ４ａ、４ｂを制御して本体２を移動させることができる。
【００１８】
前記ロボット制御信号とは、本体２を移動させるのに必要なパラメータである、車輪の回転速度、回転方向、回転角度のことである。制御装置５は、前記ロボット制御信号に基づいてモータ４ａ、４ｂの制御を行ない、本体２の移動を実現することができる。また、前記カメラ制御信号とは、カメラ７の向きを移動させるのに必要なパラメータである、モータ２０、モータ２１の回転速度、回転方向、回転角度のことである。さらに、前記カメラ制御信号は、カメラ７のレンズ倍率を変更するのに必要なパラメータである、レンズ倍率値も含んでいる。制御装置５は、前記カメラ制御信号に基づいてモータ２０、モータ２１、カメラ７のレンズ倍率を制御し、カメラの向きの移動を実現することができる。また、制御装置５は、外部操作端末１００からの監視対象物選択信号３０２に基づいて、前記ロボット制御信号、および前記カメラ制御信号を自動的に生成し、該監視対象物がカメラ７の画面の中央に映るように、本体２、およびカメラ７を移動させることができる。ここで、カメラ７が水平方向に３６０度回転可能であり、このカメラ７の３６０度回転のみで、３６０度の周辺画像を取得できる場合は、カメラ制御信号のみで、監視対象物をカメラ７の画面の中央に映すことができる。
また、監視対象物選択信号３０２は、画像３００の一部を指定する信号であり、画像の識別番号と、その画像中での指定された対象物位置の画素位置、画素ブロック位置のいずれかを特定できる情報を含む形態となる。
【００１９】
以下、本発明の遠隔監視システムの処理について説明する。
図３は、外部操作端末１００から自律移動型ロボット１を操作し、監視対象物の映像を取得する処理における、自律移動型ロボット１側のフローチャートである。自律移動型ロボット１は、外部操作端末１００から監視開始要求信号を受信すると、ステップ４００に示すように、制御装置５によって本体２を３６０度その場旋回をしながらカメラ７によって複数の画像３００を撮影することで、３６０度周囲画像を取得する。また、前記３６０度周囲画像は、同一のレンズ倍率で撮影するものとし、その倍率値は制御装置５に記憶しておく。また、前記３６０度周囲画像を構成する複数の画像３００をそれぞれ撮影する瞬間の自律移動型ロボット１の方向３０７を制御装置５に記憶しておく。したがって、前記３６０度周囲画像を取得後においても、任意の方向を指定することで、自律移動型ロボット１は指定された方向を向くまで再びその場旋回行ない、その方向で撮像された画像を再撮影することができる。また、前記３６０度周囲画像を構成する複数の画像３００には、それぞれ画像を識別する為のＩＤが割当てられ、制御装置５に記憶される。そして、ステップ４０１に示すように、前記３６０度周囲画像を外部操作端末１００へ送信する。ここで、前記画像３００を撮影した時の方向３０７を用い、前記３６０度周囲画像を構成する複数の画像３００に対して射影変換を行ない、画像合成することで、加工画像（パノラマ画像）を生成することができる。この加工画像は、前期画像３００と同様に制御装置５へ記憶し、外部操作端末１００へ送信することができる。また、前記加工画像は、前記複数の画像３００に逆変換することが可能である。
【００２０】
外部操作端末１００は、受信した画像３００、あるいは加工画像を表示装置１０１にて表示し、ユーザーは前記表示画像の中から監視対象物を見つけてユーザインターフェイス１０２を介して該監視対象物を指定する。外部操作端末は指定された監視対象物の画像中の画素位置を監視対象物選択信号３０２として、自律移動型ロボット１に送信する。ここで、外部操作端末１００が画像３００を受信した場合、監視対象物選択信号３０２には、画像３００を識別するためのＩＤを含める。
【００２１】
そして、ステップ４０２に示すように、自律移動型ロボット１が、外部操作端末１００からの監視対象物選択信号３０２を受信すると、監視対象物選択信号３０２の示す画素位置がカメラ７の画面中央にくる為の、水平旋回角度Ａ１および垂直移動角度Ａ２を求める（ステップ４０３）。図４は、画像３００における、監視対象物選択信号３０２、水平旋回角度Ａ１、垂直移動角度Ａ２の関係を示している。水平旋回角度Ａ１は、画像３００の中心位置を始点とした監視対象物までの水平方向の角度であり、垂直移動角度Ａ２は、画像３００の中心位置を始点とした監視対象物までの垂直方向の角度である。また、図５は画像３００におけるカメラ７の倍率値と、画角Ａ１との関係を示しており、図５（ａ）は倍率値が１倍の時、図５（ｂ）は倍率値がα倍の時を示している。図５（ａ）の画角Ａ３は実世界の視野角と一致する角度であり、自律移動型ロボット１は、予め画角Ａ３の値を記憶している。
【００２２】
ここで、画角Ａ３は、カメラ７を構成するＣＣＤの画素数などに依存するため、搭載されるカメラ毎に異なる値となる。図５（ｂ）の画角Ａ４は、前記画角Ａ３に依存し、その値は一般的に（Ａ３／α）となる。図６は、画像３００の画素解像度(水平方向)と水平旋回角度Ａ５との関係を示している。水平方向の画素数３０９と前記画角の値を用いることで、１画素当たりの水平旋回角度Ａ５を算出することができる。このようにして、監視対象物選択信号３０２と１画素当たりの水平旋回角度Ａ５によって、水平旋回角度Ａ１を求めることができる。
【００２３】
図５、図６では、水平旋回角度についてのみ説明したが、垂直移動角度についても同様のことが言える。したがって、監視対象物選択信号３０２によって、垂直移動角度Ａ２を求めることができる。
【００２４】
そして、ステップ４０４に示すように、水平旋回角度Ａ１と垂直移動角度Ａ２から、ロボット制御信号、およびカメラ制御信号を生成する。水平旋回角度Ａ１からは、ロボット制御信号が生成され、ステップ４０５、ステップ４０６に示すように、ロボットを指定角度Ａ６だけ、本体２をその場旋回させる。図７は、指定角度Ａ６と自律移動ロボット１の現在の進行方向５００、水平旋回角度Ａ１、画像３００の方向３０７の関係を示している。図７において、監視対象物は、画像３００の方向３０７から水平旋回角度Ａ1だけ左旋回した方向に存在する。つまり、自律移動ロボット１の現在の進行方向５００から指定角度Ａ６だけ右旋回した方向である。監視対象物をカメラ画面中央に映す為には、指定角度Ａ６を求める必要があり、これは前記進行方向５００、画像３００の方向３０７、水平旋回角度Ａ１により算出できる。図７では、ロボット制御信号である指定角度Ａ６の生成についてのみ説明したが、カメラ制御信号についても同様に算出することができる。
【００２５】
上記実施例では、カメラ７が１台という想定であるが、２台以上のカメラを搭載している場合は、ステレオ視により自律移動型ロボット１と監視対象物との距離を算出することができる。すなわち、各カメラ画面中における監視対象物の位置の違い（視差）を用いて距離を算出できる。この監視対象物までの距離からロボット制御信号を自動生成することで、監視対象物から任意の距離まで自律移動型ロボット１を移動させることができる。
【００２６】
ロボット、およびカメラの制御が終了すると、ステップ４０９に示すように、カメラ７によって画像３００を撮影する。この画像３００の中央には、監視対象物選択信号３０２にて指定された監視対象物が映っていることとなる。そして、ステップ４０１に戻り、指定された対象物が中心に撮像されている画像を外部操作端末１００へ送信する。
また、ステップ４１０に示すように、自律移動型ロボット１が、外部操作端末１００から監視終了要求信号を受信すると、上記フローを終了する。
【００２７】
また、自律移動型ロボット１が外部操作端末１００から受信する信号は、既に外部の装置によって生成された、監視対象物選択信号３０２だけでなく、ロボット制御信号、およびカメラ制御信号を受信することができる。その場合は、図３において、ステップ４０２からステップ４０５へ進むこととなる。外部操作端末１００から送信されるロボット制御信号は、制御装置５により自律移動型ロボットを前進、後進、その場旋回させることができる。また、外部操作端末１００から送信されるカメラ制御信号は、モータ２０を介して、カメラ７の上、下、左、右への移動、およびレンズ倍率値の変更を行なうことができる。
本発明によれば、カメラを内蔵した自律移動型ロボットを用いた遠隔監視システムにおいて、撮影画像の中から監視対象物を選択することにより、自動的にロボットの移動制御、およびカメラ制御を行ない、ユーザが手動で該ロボットおよびカメラの姿勢制御を行なうことなく、効率的に監視対象物の画像を取得することができる。
【００２８】
図４、図５、図６、図７では、画像３００についての処理を説明を行なったが、加工画像についても同様の処理が可能である。すなわち、加工画像を複数の画像３００に逆変換すれば、上記処理と全く同じ処理を実行することができる。
また、上記のステップ４００の説明では、自律移動型ロボット１の現在位置にて、３６０度周囲画像を撮影するように記したが、自律移動型ロボット１の制御装置５に部屋の地図情報を記憶している場合は、３６０度周囲画像を取得するのに適した位置を探索し、該位置まで自律移動型ロボット１を移動させた後に、ステップ４００を実行することが可能である。前記３６０度周囲画像を取得するのに適した位置とは、例えば、自律移動型ロボット１と、該周囲に存在する障害物との距離のうち、最近距離が所定値より長い、もしくは最大となる位置であり、部屋全体の概観を撮影しやすい位置のことである。
【００２９】
上記の様に、上記の課題を解決するために、本発明の自律移動型ロボットは、本体と、前記本体を床面の上で移動させる移動手段と、前記移動手段を制御して前記本体の移動を実現する移動制御手段と、前記本体に設けられ前記ロボットの周囲を撮影可能なカメラと、前記カメラの向きおよびレンズ倍率の制御が可能なカメラ制御手段と、前記カメラの撮影した画像を外部操作端末へ送信する送信手段と、外部操作端末からの監視対象物選択信号、ロボット制御信号、カメラ制御信号を受信する受信手段とを備えている。前記監視対象物選択信号は、前記外部操作端末が受信した画像中の画素位置を示す信号である。また、前記ロボット制御信号は、前進、後進、その場旋回といった前記自律移動型ロボットの動作を指示する信号である。また、前記カメラ制御信号は、前記カメラの上、下、左、右への回転移動、およびレンズ倍率の変更を指示する信号である。
【００３０】
また、前記自律移動型ロボットは、その場で360度旋回を行なうことで、全周囲の映像を複数の画像として記録する全周囲画像取得手段を備えている。
また、前記自律移動型ロボットは、該ロボットの現在の位置、および方向を認識する手段と、部屋の地図情報を記憶する手段とを備えており、前記全周囲画像の取得に適した、部屋全体を監視できる位置を探索する手段を備えている。
【００３１】
また、前記自律移動型ロボットおよび前記カメラは、前記監視対象物選択信号に基づいて、該監視対象物が該カメラの画面中央に映るように、前記移動制御手段と前記カメラ制御手段を制御する監視制御手段を備えている。
また、前記自律移動型ロボットを遠隔操作するための外部操作端末は、前記カメラの撮影した画像を受信するための受信手段と、該画像を表示するための表示手段と、該表示画像から監視対象物を選択する監視対象物選択手段と、該監視対象物選択信号、およびロボット制御信号、カメラ制御信号を送信する送信手段とを備えている。
【図面の簡単な説明】
【００３２】
【図１】本願の遠隔監視システムの一構成を示す図。
【図２】本願の自律移動型ロボットの構造の一実施例を示す上面図および側面図。
【図３】本願の遠隔監視システム処理の一実施例のアルゴリズムを示すフローチャート。
【図４】本願のカメラ撮影画像と制御パラメータの説明図。
【図５】本願のカメラ撮影画像におけるレンズ倍率と画角の説明図。
【図６】本願のカメラ撮影画像における解像度と画素単位角度の説明図。
【図７】本願の自律移動型ロボットの旋回角度の説明図。
【符号の説明】
【００３３】
１    自律移動型ロボット
２    本体
３ａ、３ｂ    車輪
４ａ、４ｂ    車輪用モータ
５    制御装置
６    電池
７    カメラ
８    ジャイロ
９    前方近接センサ
１０    側方近接センサ
１１    補助輪
１２    本体側面カバー
１３ａ、１３ｂ    ロータリーエンコーダ
１４    本体上面カバー
１５ａ、１５ｂ、１５ｃ、１５ｄ    段差センサ
１６ａ、１６ｂ、１６ｃ、１６ｄ    接触スイッチセンサ
１７    側面カバー支持用ピアノ線
１８    データ送信装置
１９    データ受信装置
２０    カメラ駆動用モータ
１００    外部操作端末
１０１    表示装置
１０２    ユーザーインターフェース
１０３    データ受信装置
１０４    データ送信装置
２００    通信手段
３００    撮影画像
３０１    加工画像
３０２    監視対象物選択信号
３０３    ロボット制御信号
３０４    カメラ制御信号
３０５    監視開始要求信号
３０６    監視終了要求信号
３０７    撮影画像取得時のロボットの方向
３０８    レンズ倍率値
３０９    撮影画像における水平方向の画素数
５００    ロボットの現在の方向
Ａ１    水平旋回角度
Ａ２    垂直移動角度
Ａ３、Ａ４    水平方向の画角
Ａ５    １画素当たりの水平方向の画角
Ａ６    旋回指定角度。
【図１】
2006139525.tif 000003
【図２】
2006139525.tif 000004
【図３】
2006139525.tif 000005
【図４】
2006139525.tif 000006
【図５】
2006139525.tif 000007
【図６】
2006139525.tif 000008
【図７】
2006139525.tif 000009