(57)【要約】本発明は，移動可能なカメラを備えたロボットを用いて，遠隔モニタリングを行う場合に，環境カメラを用いて視野拡大を図ることを目的としている。そのため，地図を備えた空間情報処理部は，ロボットの位置と方向と前記地図とを参照して，前記ロボットのカメラの注視点位置を推定する。注視点位置に対して所定の相対位置を，環境カメラを用いて撮影し，表示画面にロボットの撮影した画像と並べて表示することで，ロボットの撮影した画像の外側で何が起こっているかをオペレータに提示することができる。
2014102995.tif 000002
【特許請求の範囲】
【請求項１】
遠隔操作可能なロボットが具備する第1のカメラで第1の画像を撮影するステップと、
前記第1の画像から、前記第1の画像の中心である注視点を算出するステップと、
前記注視点の周囲の拡張注視点を算出するステップと、
前記拡張注視点を撮影する第2のカメラを選択するステップと、
前記ロボットの操作者用の表示装置に、前記第1の画像と、前記第2のカメラで撮影された第2の画像とを並べて表示するステップとを有し、
前記拡張注視点は、前記第2の画像の中心であり、
前記第2のカメラは前記ロボットの移動する空間内に設けられていることを特徴とするモニタリング方法。
【請求項２】
請求項1記載のモニタリング方法において、
さらに、ロボットの移動経路を予測するステップと、
予測した前記ロボットの移動経路に基づいて、前記注視点の移動経路を予測するステップと、
予測した前記注視点の移動経路に基づいて、前記拡張注視点の移動経路を予測するステップと、を有することを特徴とするモニタリング方法。
【請求項３】
請求項2記載のモニタリング方法において、
さらに、前記第2のカメラを選択するステップは、
算出した移動経路に沿って移動する前記拡張注視点を、最も長い時間撮影可能なカメラを選択することを特徴とするモニタリング方法。
【請求項４】
請求項３記載のモニタリング方法において、
前記第２のカメラは、前記第１のカメラを具備するロボットとは異なるロボットが具備するカメラであることを特徴とするモニタリング方法。
【請求項５】
遠隔操作可能なロボットが具備する第1のカメラと、
前記第1のカメラで撮影した第1の画像から、前記第1の画像の中心である注視点と、前記注視点の周囲の拡張注視点と、を算出する算出部と、
前記拡張注視点を撮影する第2のカメラを選択するカメラ選択部と、
前記第1の画像と、前記第2のカメラで撮影された第2の画像とを並べて表示する、前記ロボットを操作する操作者が用いる表示装置とを有し、
前記拡張注視点は、前記第2の画像の中心であり、
前記第2のカメラは前記ロボットの移動する空間内に設けられていることを特徴とするモニタリングシステム。
【請求項６】
請求項5記載のモニタリングシステムにおいて、
さらに、ロボットの移動経路を予測する第1の経路予測部と、
予測した前記ロボットの移動経路に基づいて、前記注視点の移動経路を予測する第2の経路予測部と、
予測した前記注視点の移動経路に基づいて、前記拡張注視点の移動経路を予測する第3の経路予測部と、を有することを特徴とするモニタリングシステム。
【請求項７】
請求項6記載のモニタリングシステムにおいて、
さらに、前記カメラ選択部は、
算出した移動経路に沿って移動する前記拡張注視点を、最も長い時間撮影できるカメラを選択することを特徴とするモニタリングシステム。
【請求項８】
請求項7記載のモニタリングシステムにおいて、
前記第２のカメラは、前記第１のカメラを具備するロボットとは異なるロボットが具備するカメラであることを特徴とするモニタリングシステム。
【請求項９】
遠隔操作可能なロボットが具備する第1のカメラで第1の画像を撮影するステップと、
前記第1の画像から、前記第1の画像の中心である注視点を算出するステップと、
前記注視点の周囲の拡張注視点を算出するステップと、
前記拡張注視点を撮影する前記第1のカメラとは異なる第2のカメラを選択するステップと、
前記ロボットの操作者用の表示装置に、前記第1の画像と、前記第2のカメラで撮影された第2の画像とを並べて表示するステップと、をコンピュータに実行させるためのプログラムが記録され、
前記拡張注視点は、前記第2の画像の中心であることを特徴とするコンピュータ読取可能な情報記録媒体。
【請求項１０】
請求項9記載の情報記録媒体において、
さらに、ロボットの移動経路を予測するステップと、
予測した前記ロボットの移動経路に基づいて、前記注視点の移動経路を予測するステップと、
予測した前記注視点の移動経路に基づいて、前記拡張注視点の移動経路を予測するステップと、をコンピュータに実行させるためのプログラムが記録されていることを特徴とする情報記録媒体。
【請求項１１】
請求項10記載の情報記録媒体において、
さらに、前記第2のカメラを選択するステップは、
算出した移動経路に沿って移動する前記拡張注視点を、最も長い時間撮影可能なカメラを選択することを特徴とする情報記録媒体。
【請求項１２】
請求項11記載の情報記録媒体において、
前記第２のカメラは、前記第１のカメラを具備するロボットとは異なるロボットが具備するカメラであることを特徴とする情報記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，ロボットを用いた遠隔モニタリングシステムに関する。
【背景技術】
【０００２】
例えばカメラを備えたロボットを用いると，遠く離れた場所からロボットの操作者の要求に応じて，いろいろな場所を撮影し，閲覧することができる。このとき，操作性の向上，閲覧性の向上のために，広い視野角が要求される。【０００３】
一般的には，広角カメラ，魚眼カメラ，円筒状に全周を撮影できる広視野角カメラを用いることが多い。しかし，当然のことながら広視野角カメラは小さな物体，遠方にある物体を撮影するには不向きであり、視野は狭いが望遠で撮影できるカメラと組み合わせて使うことが好ましい。【０００４】
特許文献１には、車の視野拡張に関する技術が開示されており、特許文献２には、ロボット操作における、ロボットの経路予測についての方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２３０５５８号公報
【特許文献２】特開２０１１−５３７２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では，運転者の視野を拡張するため、バックミラーの両脇にディスプレイを設け、サイドミラー部に設けたカメラからの映像を、ディスプレイに映し出すことが開示されている。しかし駆動部への負荷，格納部のサイズ，デザインの関係から，そもそも躯体に２種類のカメラを設置できない場合には、当該技術ではロボットの視野を拡張することはできない。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、ロボットを用いたモニタリング方法であって、遠隔操作可能なロボットが具備する第１のカメラで第１の画像を撮影するステップと、第１の画像から、第１の画像の中心である注視点を算出するステップと、注視点の周囲の拡張注視点を算出するステップと、拡張注視点を撮影する第２のカメラを選択するステップと、ロボットの操作者用の表示装置に、第１の画像と、第２のカメラで撮影された第２の画像とを並べて表示するステップとを有し、拡張注視点は、第２の画像の中心であり、第２のカメラはロボットの移動する空間内に設けられていることを特徴とする。【０００８】
または、モニタリングシステムであって、遠隔操作可能なロボットが具備する第1のカメラと、第1のカメラで撮影した第1の画像から、第1の画像の中心である注視点と、注視点の周囲の拡張注視点と、を算出する算出部と、拡張注視点を撮影する第2のカメラを選択するカメラ選択部と、第1の画像と、第2のカメラで撮影された第2の画像とを並べて表示する、ロボットを操作する操作者が用いる表示装置とを有し、拡張注視点は、第2の画像の中心であり、第2のカメラは前記ロボットの移動する空間内に設けられていることを特徴とする。
【発明の効果】
【０００９】
本発明のシステムを用いることで、ロボットの視野を拡張することができ、ロボットの操作性が向上する。
【図面の簡単な説明】
【００１０】
【図１】実施例１におけるロボットの周辺環境と装置を示す図である。
【図２】実施例1におけるブロック図を示す図である。
【図３】３次元地図の例を示す図である。
【図４】環境カメラ情報の例を示す図である。
【図５】実施例１におけるモニタリング方法のフローを示す図である。
【図６】ロボットの注視点，拡張注視点を示す図である。
【図７】注視点位置の算出方法を示す図である。
【図８】撮影方向ベクトルの回転について示す図である。
【図９】経路履歴情報の例を示す図である。
【図１０】注視点，拡張注視点を示す図である。
【図１１】ロボット操作者用の表示画面の例を示す図である。
【図１２】ロボット操作者用の表示画面の例を示す図である。
【図１３】装置間で渡される情報を示す図である。
【図１４】装置間で渡される情報を示す図である。
【図１５】２次元地図の例を示す図である。
【図１６】装置間での情報の流れを示す図である。
【図１７】注視点，拡張注視点を示す図である。
【発明を実施するための形態】
【実施例１】
【００１１】
図１は，本発明を実施する環境の一例を表した図である。部屋１３０の中にロボット１００，環境カメラ１０１，設置物１４０，設置物１４１が設置されており，空間情報処理部１２０，遠隔操作処理部１２１，表示装置１２１，入力装置１２２が設置，接続されている。環境カメラ１０１は複数あることが望ましい。【００１２】
図２にブロック構成を示す。ロボット１００，環境カメラ１０１，空間情報処理部１２０，遠隔操作処理部１２１がネットワーク２３０により接続されている。表示装置１２１，入力装置１２２は，遠隔操作処理部１２１に接続されており，表示装置１２１はオペレータに情報を提供し，入力装置１２２はオペレータからの入力を受け付ける。遠隔操作処理部１２１は，空間情報処理部１２０からの指示に従い表示装置１２１に表示する画像の生成を行ったり，入力装置１２２からの情報を空間情報処理部１２０に伝えたりする。【００１３】
ロボット１００は，制御部２１０，カメラ２１１，位置方向推定部２１２，計測部２１３，駆動部２１４を備える。ここで計測部２１３はたとえばレーザレンジファインダ等のセンサであって，周囲の物体までの距離を計測することができる。位置方向推定部２１２は，計測した上記距離情報を用いて，例えばＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）と呼ばれる技術等によって，ロボットの位置と方向を推定することができる。【００１４】
また、計測部２１３は駆動部２１４の駆動状況を計測するセンサであってもよく，その場合，ロボットの駆動状況から位置方向推定部２１２はロボットの位置と方向を推定できる。【００１５】
さらに駆動部２１４はロボット１００のカメラ２１１を駆動させる機構を備えていてもよい。たとえば，ヒト型ロボットであれば，ロボットの頭部にカメラ２１１を搭載することが多い。その場合，駆動部２１４は，ロボットの頭部を駆動して，カメラ２１１の方向を変えることができる。この場合，位置方向推定部２１２は，駆動部２１４の駆動状況を計測部２１３によって計測し，カメラ２１１の方向も併せて推定する。【００１６】
さらに位置方向推定部２１２は，カメラ２１１の高さに関する情報を持つとよい。たとえば，駆動部２１４によりロボット１００の高さを変えることができ，カメラ２１１の高さも変わるならば，計測部２１３はさらにカメラ２１１の高さを計測するセンサも備えておくとよい。【００１７】
空間情報処理部１２０は，空間情報ＤＢ（Ｄａｔａ  Ｂａｓｅ）２２１を備える。空間情報ＤＢ２２１は，図３に示すような地図３００と，図４に示すような環境カメラ情報４００を保持する。地図３００は３次元地図であり，壁やデスクの表面といった，光を遮るような面が記録されている。地図情報３３０は部屋１３０に，地図情報３４０は設置物1４０に，地図情報３４１は設置物１４１に，それぞれ対応し，その表面情報が，たとえばポリゴンとして記録されている。【００１８】
地図３００には設計図を用いてもよいし，人手で作成してもよいし，レーザレンジファインダや，距離画像カメラといったデバイスで実際に計測した結果を用いてもよい。【００１９】
環境カメラ情報４００は，カメラごとに割り振られたカメラＩＤ４１０，地図３００上のＸ，Ｙ，Ｚで表されたカメラ位置４１１，地図３００上のφ，θで表されたカメラ方向４１２，現在のカメラ画角４１３，調整可能なカメラ方向の範囲であるカメラ方向調整範囲４１４，調整可能なカメラ画角の範囲であるカメラ画角範囲４１５を含む。固定カメラである場合，カメラ方向調整範囲４１４は，φ，θの調整範囲の幅が０となる。【００２０】
図５〜図１０を用いて，ロボットを用いた遠隔モニタリング用画像取得方法について説明する。この処理は，特に注釈のない限り，空間情報処理部１２０で処理される。処理が開始される（５０１）と，空間情報処理部１２０は，ロボット１００の位置方向推定部２１２からロボット１００の位置と方向，カメラ２１１の高さと方向の情報を取得する（５０２）。カメラ２１１の高さの情報が得られない場合は，所定の値を用いる。【００２１】
ここで図６を用いて，ロボットの注視点６０１，拡張注視点６０２について説明する。注視点６０１は，ロボットのカメラが撮影している画像の中心を示し，拡張注視点６０２は，注視点６０１の近傍にあり，環境カメラ１０１が撮影する画像の中心を示す。これにより，注視点６０１の周辺画像を取得することができる。なお，注視点を撮影しているロボット１００のカメラ２１１の撮影方向をベクトル６１０，拡張注視点を撮影している環境カメラ１０１の撮影方向をベクトル６１１，として図示している。【００２２】
次に、図７を用いて，注視点６０１の位置である注視点位置７２１の算出方法を説明する。空間情報処理部１２０は，ロボット１００の位置と方向およびカメラ２１１の高さと方向を取得しているので，地図３００上で，カメラ２１１の位置であるカメラ位置７００と，カメラ２１１の撮影方向である撮影方向ベクトル７０１がわかっている。カメラ位置７００から，撮影方向ベクトル７０１を伸ばしていき，何らかの面，図７でいえば設置物１４０に対応した地図情報３４０にぶつかるまで伸ばす。そのぶつかった点が，注視点位置７２１となる。ぶつからない場合は，所定の距離に面があったものとして処理をする。このようにして，空間情報処理部１２０はロボットの注視点６０１の位置を算出する（５０３）。【００２３】
続いて，拡張注視点６０２の位置である拡張注視点位置７２２を，次のように算出する（５０４）。まず，注視点６０１の位置７２１上に，撮影方向ベクトル７０１に垂直な平面７１０をおく。続いて，撮影方向ベクトル７０１を回転させたベクトルである拡張注視点ベクトル７０２を算出する。
撮影方向ベクトル７０１の回転は，図８に示すように実行する。まず，撮影方向ベクトル７０１の始点に，基底８００と基底８０１から張られる垂直な平面を仮定する。ただし，基底８００はＸＹ平面上にあり，基底８０１はＺ軸に平行である。【００２４】
回転後のベクトル７０２は，第一の回転８１０と，第二の回転８１１に従って回転されたものである。第一の回転８１０は，基底８００を基準とした，基底８００と基底８０１に張られる平面内の回転である。これは，カメラ位置７００から撮影方向ベクトル７０１の方向をみたとき，左回りの回転となり，拡張注視点を，注視点に対してどの方向に位置させるかを決めるパラメータとなる。拡張注視点を，注視点に対して水平な位置にしたければ，第一の回転８１０の大きさを０°もしくは１８０°にすればよい。【００２５】
第二の回転８１１は，撮影方向ベクトル７０１に平行な平面で，基底８００を第一の回転８１０で回転させたベクトルに平行な平面内の回転である。第二の回転８１１は，拡張注視点を，注視点に対してどれだけ離れた位置に設置するかを決めるパラメータとなる。第二の回転８１１の大きさは，カメラ２１１の画角と，拡張注視点６０２を撮影する環境カメラの画角に応じて決めるとよい。たとえば，ロボット１００のカメラ２１１で撮影した画像と環境カメラ１０１で撮影した画像との間に，撮影できていない範囲，つまり死角が発生しない値を，第二の回転８１１の値として設定すればよい。また，環境カメラ１０１で撮影した画像は，ロボット１００のカメラ２１１で撮影した画像とはなるべく異なる範囲を撮影したほうが，より広い範囲の画像をロボットの操作者に提供できる。よって，上記の値のうち，最小の値を用いることが望ましい。【００２６】
このようにして求めた拡張注視点ベクトル７０２を，平面７１０にぶつかるまで伸ばしていく。ぶつかった点が，拡張注視点位置７２２となる。ぶつからない場合は，所定の距離に面があったものとして処理をする。【００２７】
次は予測経路と予測注視点のずれの大きさの判定を行う（５０５）。予測経路とは，所定の時間経過後のロボット１００の位置を予測したもので，ここでは過去に予測した値と，現在のロボット位置との比較を行う。予測が誤っていた場合に，改めて予測経路の算出（５０６）を行う。予測注視点とは，注視点６０１の位置を予測したもので，ここでは過去の予測値と，現在の実際の注視点との比較を行う。予測が誤っていた場合に再び予測注視点の算出（５０７）を行う。なお，初期状態では予測は行っていないが，その場合判定５０５は，条件は真だったとみなして次の処理へ進む。【００２８】
次に、予測経路の算出（５０６）について説明する。ここでは二つの場合が考えられる。第一は，既に目的地が与えられ，目的地までの経路がすでに算出されている場合である。これを計画移動と呼ぶことにする。第二は，ロボット操作者が入力装置１２２を使って，ロボットをリアルタイムに制御している場合である。これをリアルタイム操作移動と呼ぶことにする。計画移動の場合は，既に経路が算出されているわけであるから，その経路を用いればよい。なお，目的地を与えた場合の経路の算出には，特許文献2に開示されている方法を用いればよい。経路はロボット１００の制御部２１０で算出してもよいし，空間情報処理部１２０で算出してもよい。ただし，経路自体は制御部２１０で保持している必要があるので，どちらの場合でも，空間情報処理部１２０は制御部２１０から経路を取得すればよいことになる。位置方向推定部２１１からカメラ２１１の高さを取得すれば，図１０に示すように，地図３００上での予測経路は，予測経路１０００のように表すことができる。【００２９】
リアルタイム操作移動の場合，空間情報ＤＢ内に，図９に示すような経路情報の履歴である経路履歴９００を備える。図９において経路履歴９１１は，上記第一の場合の経路情報の履歴であり，経路履歴９１２は第二の場合の経路情報の履歴であり，２次元座標情報群として格納されている。このとき，２次元座標情報は，座標そのものではなく，たとえば５０ｃｍ×５０ｃｍや，１ｍ×１ｍ等のように，離散化されたブロック状の位置を表すものでもよい。この経路履歴９１２に基づき，将来の移動先予測を行う技術としては，混合マルコフモデルに基づく歩行者動線解析方式，等が知られている。この移動先予測および，特許文献２６の技術に基づいてロボット１００の経路を改めて求める。これにより求めた経路が予測経路１０００となる。【００３０】
続いて，予測注視点を求める。計画移動については，ロボット１００の進行方向に対するカメラ２１１の相対方向が維持されることを前提に，予測注視点を求める。つまり，図１０に示すように，予測経路１０００上を所定間隔で予測実行点を設定する。それらの点における予測経路１０００の接線ベクトルを，カメラ２１１の相対方向だけ回転させた予測カメラ方向ベクトル１０１０を得る。予測カメラ方向ベクトル１０１０を伸ばし，何らかの面にぶつかった位置それぞれが予測注視点位置１０２０となる。ぶつからない場合は，所定の距離に面があったものとして処理をする。【００３１】
図示してはいないが、リアルタイム操作移動の場合は，ロボット１００の正面を見る必要がある。そのため，予測経路１０００上を所定間隔で予測実行点をうち，その点における予測経路１０００の接線ベクトルがそのまま予測カメラ方向ベクトル１０１０となる。計画移動の場合と同様，それらを伸ばし，何らかの面にぶつかった位置それぞれを予測注視点位置１０２０とする。ぶつからない場合は，所定の距離に面があったものとして処理をする。【００３２】
続いての処理は，予測拡張注視点の算出である（５０８）。図１７に図示するように，予測拡張注視点位置１６００は前述の予測注視点位置１０２０に対して，図７における拡張注視点位置７２２の算出と同様にして行う。【００３３】
次の処理は環境カメラ選択である（５０９）。環境カメラ選択の基準として
条件１：該当環境カメラ１０１は，現在の拡張注視点位置７２２を，パン・チルトの調整により撮影できること
条件２：該当環境カメラ１０１は，パン・チルトの調整によって予測拡張注視点１６００を撮影できること
条件３：予測拡張注視点位置１６００に対応した予測カメラ方向ベクトル１０１０と，予測拡張注視点位置１６００と環境カメラ１０１を結んだベクトルとの成す角が所定値以下であること
条件４：条件３を満たしている時間が最も長いものであること
という４つの条件を用いる。【００３４】
まず条件１についてはそもそもこの条件を満たせないと撮影できないので、これを満たしていないカメラを選択する意味がない。条件２〜４については，頻繁にカメラが切り替わると，利用者に混乱を生じる恐れがあるため，それを防ぐ目的がある。【００３５】
また，条件３の時間は次のように求めることができる。予測拡張注視点位置１６００を時系列順に並べる。ある環境カメラ１０１に対して，パン・チルトの調整によって予測拡張注視点位置１６００を撮影でき，かつ，予測拡張注視点位置１６００に対応した予測カメラ方向ベクトル１０１０と，予測拡張注視点位置１６００当環境カメラ１０１を結んだベクトルとの成す角が所定値以下である，という条件を満たすか否かを，各予測拡張注視点位置１６００に対して順に判定していく。条件を満たす拡張注視点位置１６００の数が，現時点以降連続して最も多いものを，条件４に当てはまる環境カメラ１０１とすればよい。ここではいずれの環境カメラ１０１を選択するかという問題であるため，必ずしも絶対時間を求める必要はない。【００３６】
なお，これらの条件を満たすか否かを判定するに当たり，空間情報処理部１２０は，環境カメラ１０１に関しての情報である保持情報４００を用いる。また，拡張注視点位置７２２が複数ある場合は，順番に条件１〜４を判定し，それぞれに対して環境カメラ１０１のうち一台を割り当てる。なお，ある拡張注視点位置７２２に割り当てられたカメラは，他の拡張注視点位置７２２に割り当てるカメラを探す際に，あらかじめ選択肢から除いておく。【００３７】
また，条件３の角度の違いに関しての所定値は，撮影対象が平面状であれば広めの値，たとえば６０°を設定し，撮影対象が複雑な立体形状であるときは，狭めの値，たとえば３０°を設定する。割り当てられるカメラがなくなった場合は，カメラ選択はその時点で終了する。【００３８】
続いて，環境カメラ制御を行う（５１０）。環境カメラ選択（５０９）で選択された環境カメラ１０１に対して，拡張注視点７２２の方向を向くよう，制御を行う。【００３９】
ここからは、以上の方法により撮影したカメラ２１１の画像と，拡張注視点位置７２２に向けたカメラで撮影した画像とを表示する方法について述べる。画像の作成は，遠隔操作処理部１２１が行い，表示装置１２２に表示する。たとえば図１１に示すように，表示装置１２１に，注視点６０１の画像１１００，拡張注視点６０２の画像１１０１と１１０２を並べて表示する。人から見れば，注視点６０１の周辺の画像も併せて見ることができ，疑似的な視野拡大が可能となる。【００４０】
図１２は別の表示方法について示している。図１１では，画像１１００，１１０１，１１０２は，２次元空間にそのまま張り付けた形式で，表示されていた。しかし，ロボット１００，環境カメラ１０１の位置はそれぞれ異なるので，それぞれの画像は異なる視点から撮影した画像になる。そのため，図６に示すように壁に書いてある文字を写した場合であっても，それぞれの画像は異なる歪み度合いとなる。一方，図１２では，画像１２００，１２０１，１２０２は，三次元コンピュータグラフィクス（ＣＧ）として表示されている。それぞれの画像は，カメラの撮影方向，垂直な平面上にあると仮定して，それをロボット１００から見た画像として透視変換した画像を表示している。こうすることで，操作者には，画像１２０１もしくは１２０２を撮影した環境カメラ１０１が，もともとどの方向にあるか感覚的に推測できるというメリットがある。また，図６に示すように、平面に書かれた文字を写した場合であれば，それぞれの文字の歪み度合いは同じになる，というメリットも得られる。【００４１】
遠隔モニタリング用画像生成を実行するときに，各ブロック間で渡される情報について図１３，図１４に示す。図１３には，ロボット１００から空間情報処理部１２０に渡される情報を示した。ロボット１００の位置方向推定部２１２から，ロボット１００の位置と方向，およびカメラ２１１の方向と高さの情報が渡される。図１４に示すように，空間情報処理部１２０からは遠隔操作処理部１２１に環境カメラで撮影１０１した画像と，そのカメラの位置と方向についての情報が渡される。遠隔情報処理部１２１では，その情報に基づき，図１１や図１２に示したような画面を生成し，その表示画面を表示装置１２２に渡す。【００４２】
以上述べた方式における，処理とデータの流れを図１６に示す。図１６は，主に空間情報処理部１２０の中で動作するプログラムと，データの流れを示す図である。図１６において，注視点算出部１６０３は注視点算出ステップ５０３と，拡張注視点算出部１６０４は拡張注視点算出ステップ５０４と，予測ずれ判定部１６０５は予測ずれ判定ステップ５０５と，予測経路算出部１６０６は予測経路の算出ステップ５０６と，予測注視点算出部１６０７は予測注視点の算出ステップ５０７と，予測拡張注視点算出部１６０８は予測拡張注視点の算出ステップ５０８と，環境カメラ選択部１６０９は環境カメラ選択ステップ５０９と，環境カメラ制御部１６１０は環境カメラ制御ステップ５１０とそれぞれ対応したプログラムである。【００４３】
以上を踏まえ、本発明のロボット制御用モニタリングシステムは、遠隔操作可能なロボットが具備する第１のカメラと、第１のカメラで撮影した第１の画像から、第１の画像の中心である注視点と、注視点の周囲の拡張注視点と、を算出する算出部と、拡張注視点を撮影する第２のカメラを選択するカメラ選択部と、第１の画像と、第２のカメラで撮影された第２の画像とを並べて表示する、ロボットを操作する操作者が用いる表示装置とを有し、拡張注視点は、第２の画像の中心であり、第２のカメラはロボットの移動する空間内に設けられていることを特徴とする。【００４４】
本発明によれば，ロボットの持つカメラの画角以上の視野の画像を，ロボットの操作者に提供することができ，ロボットの操作性が向上する。
【実施例２】
【００４５】
実施例１では，３次元地図を保持する場合について説明したが，図１５に示すような２次元地図１５００であっても同様の処理が可能である。図１５では，部屋１３０，設置物１４０，１４１にそれぞれ地図情報１５３０，１５４０，１５４１を示した。このとき，高さ情報がわからないが，各設置物は無限大の高さを持つと仮定することで，３次元地図として扱うことが可能である。【００４６】
本実施例では、実施例１の効果に加え、３次元地図を保持しなくともよくなるため、情報処理部の負荷を軽減することができる。
【実施例３】
【００４７】
実施例１では，ロボット１００が１台の構成であったが，ロボット１００が複数台であってもよい。この場合，操作対象ではない、カメラを具備するロボット１００の方向を制御することで，パン・チルト調整可能な環境カメラ１０１とみなして，利用することができる。【００４８】
本実施例では、他のロボットが具備するカメラを環境カメラとして用いることにより、環境カメラが移動可能となったため、条件４で規定されている撮影時間をより長くすることができる。したがって、操作者の視点変更を減らすことができ、実施例１よりも操作性を向上させることができる。
【符号の説明】
【００４９】
１００  ロボット
１０１  環境カメラ
１２０  空間情報処理部
１２１  遠隔操作処理部
１２２  入力装置
１３０  部屋
１４０  設置物
１４１  設置物
２３０  ネットワーク
２０１  ロボットの制御部
２１１  ロボットのカメラ  
２１２  位置方向推定部
２１３  ロボットの計測部  
２１４  ロボットの駆動部
２２１  空間情報ＤＢ
３００  地図
４００  環境カメラ情報
３３０  地図情報
３４０  地図情報
６０１  注視点
６０２  拡張注視点
７００  カメラ位置
７０１  撮影方向ベクトル
７２１  注視点位置
７２２  拡張注視点位置
８００  基底
８０１  基底
８１０  第一の回転
８２０  第二の回転
９００  経路履歴
１０００  予測経路
１０１０  予測カメラ方向ベクトル
１０２０  予測注視点位置
１１００  注視点の画像
１１０１  拡張注視点の画像
１１０２  拡張注視点の画像
１２００  ３次元表示した注視点の画像
１２０１  ３次元表示した拡張注視点の画像
１２０２  ３次元表示した拡張注視点の画像。
【図１】
2014102995.tif 000003
【図２】
2014102995.tif 000004
【図３】
2014102995.tif 000005
【図４】
2014102995.tif 000006
【図５】
2014102995.tif 000007
【図６】
2014102995.tif 000008
【図７】
2014102995.tif 000009
【図８】
2014102995.tif 000010
【図９】
2014102995.tif 000011
【図１０】
2014102995.tif 000012
【図１１】
2014102995.tif 000013
【図１２】
2014102995.tif 000014
【図１３】
2014102995.tif 000015
【図１４】
2014102995.tif 000016
【図１５】
2014102995.tif 000017
【図１６】
2014102995.tif 000018
【図１７】
2014102995.tif 000019
【国際調査報告】
2014102995.tif 000020
2014102995.tif 000021
2014102995.tif 000022
2014102995.tif 000023