(57)【要約】      （修正有）【課題】ビジュアルフィードバックを、複数のカメラを利用しながら行い、アクチュエータを制御・操作する遠隔制御方法を提供する。【解決手段】管理装置１２は、複数のカメラ１１で撮影した画像の全領域を非保証型ネットワークを介して制御装置１４に送信し、制御装置１４は、受信した複数のカメラ１１で撮影した画像のそれぞれに対応する領域について、制御対象１３が映っている画像内の切り取り領域を求めて設定し、管理装置１２は、設定された切り取り領域に基づきそれぞれのカメラ１１で撮影した画像から切り取った領域を統合し、該統合した画像をＲＯＩとして保証型ネットワークを介して制御装置１４に送信し、制御装置１４は、ＲＯＩに基づき制御対象１３を制御する制御信号を生成し、保証型ネットワークを介して管理装置１２に送信する。【選択図】図１
2014039201.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラで撮影した撮影画像を、非保証型ネットワークを介して制御装置に送信し、前記制御装置からカメラごとに設定された切り取り領域に基づき前記撮影画像から切り取った切り取り画像を制御対象が映っているＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）画像に統合し、保証型ネットワークを介して前記ＲＯＩ画像を前記制御装置に送信し、前記制御装置からの制御信号に従って前記制御対象を制御する管理装置と、
前記管理装置から受信した前記撮影画像から制御対象が映っている前記ＲＯＩ画像に含まれる前記切り取り領域をカメラごとに求め、前記ＲＯＩ及び前記切り取り領域を前記管理装置に送信して前記ＲＯＩ画像を保証型ネットワークを介して前記管理装置に送信させ、受信した前記ＲＯＩ画像に基づき前記制御対象を制御する制御信号を生成し、当該制御信号を保証型ネットワークを介して前記管理装置に送信することによって前記制御対象を制御する制御装置と、
を備える制御システム。
【請求項２】
制御装置が、複数のカメラで撮影した撮影画像を、非保証型ネットワークを介して管理装置に送信させる撮影画像取得手順と、
制御装置が、受信した撮影画像から制御対象が映っているＲＯＩに含まれる切り取り領域をカメラごとに求め、前記ＲＯＩ及び前記切り取り領域を前記管理装置に送信する切り取り領域送信手順と、
制御装置が、受信した前記切り取り領域に基づき前記撮影画像から切り取った切り取り画像を前記ＲＯＩ画像に統合させ、保証型ネットワークを介して前記管理装置に送信させるＲＯＩ画像取得手順と、
制御装置が、受信した前記ＲＯＩ画像に基づき前記制御対象を制御する制御信号を生成し、当該制御信号を保証型ネットワークを介して前記管理装置に送信することによって前記制御対象を制御する制御信号送信手順と、
を順に有する制御方法。
【請求項３】
複数のカメラで撮影した撮影画像を、非保証型ネットワークを介して管理装置から取得する撮影画像取得部と、
前記撮影画像から制御対象が映っているＲＯＩが含まれた切り取り領域をカメラごとに求め、前記ＲＯＩ及び前記切り取り領域を前記管理装置に送信するＲＯＩ検出部と、
前記切り取り領域に基づき前記撮影画像から切り取った切り取り画像を前記ＲＯＩ画像に統合させ、前記ＲＯＩ画像を保証型ネットワークを介して前記管理装置から取得するＲＯＩ画像取得部と、
前記ＲＯＩ画像に基づき前記制御対象を制御する制御信号を生成し、当該制御信号を保証型ネットワークを介して前記管理装置に送信する制御信号生成部と、
を備える制御装置。
【請求項４】
撮影画像取得部が、カメラで撮影した撮影画像を、非保証型ネットワークを介して管理装置から取得する撮影画像取得ステップと、
ＲＯＩ検出部が、前記撮影画像から制御対象が映っているＲＯＩが含まれた切り取り領域をカメラごとに求め、前記ＲＯＩ及び前記切り取り領域を前記管理装置に送信する切り取り領域検出ステップと、
ＲＯＩ検出部が、前記切り取り領域に基づき前記撮影画像から切り取った切り取り画像を前記ＲＯＩに統合したＲＯＩ画像を、保証型ネットワークを介して前記管理装置から取得するＲＯＩ画像取得ステップと、
制御信号生成部が、前記ＲＯＩ画像に基づき前記制御対象を制御する制御信号を生成し、当該制御信号を保証型ネットワークを介して前記管理装置に送信する制御信号生成ステップと、
を順にコンピュータに実行させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔でロボットやアクチュエータ、機械等の制御対象を制御、操作する方法に関する発明に関する。具体的には、制御対象の状況を複数のカメラで撮影し、その画像をネットワーク経由で遠隔地にある計算機上の制御装置に伝送する。そして、その画像データを処理し解析することによって制御対象の状態を推定し、推定した状態を制御・操作に利用する。
【背景技術】
【０００２】
ロボットや機械類等アクチュエータを制御する方法として、ビジュアルフィードバックという制御法が知られている（非特許文献１、２）。この方法は、画像処理や画像解析によって制御対象の状態を推定し、その情報を基に制御対象を制御する方法であるが、この推定に用いる画像を遠隔の高性能な計算機に転送することで、ビジュアルフィードバックを遠隔制御に応用することも可能である。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｙｏｓｈｉｈｉｒｏ  Ｎａｋａｂｏ，  Ｉｄａｋｕ  Ｉｓｈｉｉ，  ａｎｄ  Ｍａｓａｔｏｓｈｉ  Ｉｓｈｉｋａｗａ：  Ｈｉｇｈ  Ｓｐｅｅｄ  Ｔａｒｇｅｔ  Ｔｒａｃｋｉｎｇ  Ｕｓｉｎｇ  １ｍｓ  ｖｉｓｕａｌ  Ｆｅｅｄｂａｃｋ  Ｓｙｓｔｅｍ，  Ｖｉｄｅｏ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  Ｉｎｔ．  Ｃｏｎｆ．  Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ  （Ｍｉｎｎｅａｐｏｌｉｓ，  １９９６．４．２４−２６）
【非特許文献２】中坊嘉宏，石井抱，石川正俊：  超並列・超高速ビジョンを用いた１ｍｓターゲットトラッキングシステム，日本ロボット学会誌，Ｖｏｌ．１５，Ｎｏ．３，ｐｐ．４１７−４２１（１９９７）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、カメラが一台しか利用できない場合、カメラが撮影できる物理領域の限界、カメラとアクチュエータ等制御対象の間に障害物があることが想定され得ること、等から実環境における有効な場面が限定されると考えられる。そこで、ビジュアルフィードバックを、複数のカメラを利用しながら用いることができれば、より物理的に広範囲な領域や、アクチュエータの撮影に障害物があるような環境下でも、アクチュエータを制御・操作することが可能になると考えられる。
【０００５】
そこで、本発明は、ビジュアルフィードバックを、複数のカメラを利用しながら用いることを目的とする。
【課題を解決するための手段】
【０００６】
カメラで撮影された画像のうち、制御に必要となる処理や解析のために特に注目する画像領域（ＲＯＩ：Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）のみを、保証型ネットワークを介して高フレームレート、低遅延、低情報損失で転送し、ロボットや機械類を安定に遠隔制御、操作することを考える。ここで、複数のカメラから得られる画像を利用している場合、制御対象がそれぞれのカメラの撮影領域間を行き来するのに応じて、ＲＯＩを適切に各カメラの撮影領域間で引き継ぐ。この際、引き継ぎに関わる計算は、遠隔の計算機で行い、アクチュエータ側の計算機や管理装置に負荷がなるべく掛からないようにする。
【０００７】
本発明に係る制御システムは、複数のカメラで撮影した撮影画像を、非保証型ネットワークを介して制御装置に送信し、前記制御装置からカメラごとに設定された切り取り領域に基づき前記撮影画像から切り取った切り取り画像を制御対象が映っているＲＯＩ画像に統合し、保証型ネットワークを介して前記ＲＯＩ画像を前記制御装置に送信し、前記制御装置からの制御信号に従って前記制御対象を制御する管理装置と、前記管理装置から受信した前記撮影画像から制御対象が映っている前記ＲＯＩ画像に含まれる前記切り取り領域をカメラごとに求め、前記ＲＯＩ及び前記切り取り領域を前記管理装置に送信して前記ＲＯＩ画像を保証型ネットワークを介して前記管理装置に送信させ、受信した前記ＲＯＩ画像に基づき前記制御対象を制御する制御信号を生成し、当該制御信号を保証型ネットワークを介して前記管理装置に送信することによって前記制御対象を制御する制御装置と、を備える。
【０００８】
本発明に係る制御方法は、制御装置が、複数のカメラで撮影した撮影画像を、非保証型ネットワークを介して管理装置に送信させる撮影画像取得手順と、制御装置が、受信した撮影画像から制御対象が映っているＲＯＩに含まれる切り取り領域をカメラごとに求め、前記ＲＯＩ及び前記切り取り領域を前記管理装置に送信する切り取り領域送信手順と、制御装置が、受信した前記切り取り領域に基づき前記撮影画像から切り取った切り取り画像を前記ＲＯＩ画像に統合させ、保証型ネットワークを介して前記管理装置に送信させるＲＯＩ画像取得手順と、制御装置が、受信した前記ＲＯＩ画像に基づき前記制御対象を制御する制御信号を生成し、当該制御信号を保証型ネットワークを介して前記管理装置に送信することによって前記制御対象を制御する制御信号送信手順と、を順に有する。
【０００９】
本発明に係る制御装置は、複数のカメラで撮影した撮影画像を、非保証型ネットワークを介して管理装置から取得する撮影画像取得部と、前記撮影画像から制御対象が映っているＲＯＩが含まれた切り取り領域をカメラごとに求め、前記ＲＯＩ及び前記切り取り領域を前記管理装置に送信するＲＯＩ検出部と、前記切り取り領域に基づき前記撮影画像から切り取った切り取り画像を前記ＲＯＩ画像に統合させ、前記ＲＯＩ画像を保証型ネットワークを介して前記管理装置から取得するＲＯＩ画像取得部と、前記ＲＯＩ画像に基づき前記制御対象を制御する制御信号を生成し、当該制御信号を保証型ネットワークを介して前記管理装置に送信する制御信号生成部と、を備える。
【００１０】
本発明に係る制御プログラムは、撮影画像取得部が、カメラで撮影した撮影画像を、非保証型ネットワークを介して管理装置から取得する撮影画像取得ステップと、ＲＯＩ検出部が、前記撮影画像から制御対象が映っているＲＯＩが含まれた切り取り領域をカメラごとに求め、前記ＲＯＩ及び前記切り取り領域を前記管理装置に送信する切り取り領域検出ステップと、ＲＯＩ検出部が、前記切り取り領域に基づき前記撮影画像から切り取った切り取り画像を前記ＲＯＩに統合したＲＯＩ画像を、保証型ネットワークを介して前記管理装置から取得するＲＯＩ画像取得ステップと、制御信号生成部が、前記ＲＯＩ画像に基づき前記制御対象を制御する制御信号を生成し、当該制御信号を保証型ネットワークを介して前記管理装置に送信する制御信号生成ステップと、を順にコンピュータに実行させるための制御プログラム。
【発明の効果】
【００１１】
本発明によれば、ビジュアルフィードバックを、複数のカメラを利用しながら用いることができる。ＲＯＩを複数のカメラ間で引き継げるようになることで、カメラの台数分だけ広い物理領域を、アクチュエータを安定して動かせるようになる。特に本発明は、遠隔の計算機で引き継ぎに関わる計算を全て受け持つため、アクチュエータ側の計算負荷が小さい（管理装置の低コスト、省エネルギー化）、転送されるＲＯＩ画像自体はカメラ一台の場合と同じなため、ＲＯＩ画像用の通信容量は増大しない等、一台の場合の利点を失わずに実装することが可能である。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る制御システムの概要図及びシーケンス図である。
【図２】本実施形態に係る制御システムのブロック構成図である。
【図３】本実施形態に係る制御システムの各ブロックの説明図である。
【図４】制御対象が撮影画像に含まれる場合のＲＯＩ及びｓｕｂＲＯＩの設定処理の一例を示す。
【図５】制御対象が複数の撮影画像に跨る場合のＲＯＩ及びｓｕｂＲＯＩの設定処理の一例を示す。
【図６】制御対象が複数の撮影画像に跨る場合のｓｕｂＲＯＩの算出方法の一例を示す説明図である。
【発明を実施するための形態】
【００１３】
添付の図面を参照して本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施の例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
【００１４】
本発明のシステムの概要と全体の処理の流れを図１及び図２（システム概要図及びシーケンス図）に記す。機能ブロックとＲＯＩ、ｓｕｂＲＯＩに基づく処理の詳細を図３及び図４（機能ブロック図、及びＲＯＩとｓｕｂＲＯＩの処理について）に記す。また、ＲＯＩ検出のフローチャートを図５（ＲＯＩ，ｓｕｂＲＯＩ検出、設定のフローチャート例）に、２カメラ系におけるｓｕｂＲＯＩの設定フローチャートを図６（ｓｕｂＲＯＩ設定フローチャートの実装例（２カメラ系））にそれぞれ記す。
【００１５】
本実施形態に係る制御システムは、制御対象１３、及びその環境を複数のカメラ１１で観測し、その画像データをネットワーク経由で制御装置１４に送信し、制御装置１４においてその画像に処理、解析を行うことで、制御対象１３の状態をリアルタイムに推定する。この際、制御対象１３が複数のカメラ１１の撮影領域間に跨って存在している場合、推定から得られた制御対象１３に関する情報を利用して、制御に必要となる画像領域ＲＯＩを構築するために、ＲＯＩより小さなｓｕｂＲＯＩをそれぞれのカメラ１１に設定するための設定情報を、遠隔の計算機１５で生成し、その設定情報を制御対象１３が存在する側の管理装置１２に転送する。制御対象１３側の管理装置１２はそれぞれのカメラ１１にｓｕｂＲＯＩを設定し、それらｓｕｂＲＯＩを一つのＲＯＩとして統合して、遠隔の制御装置１４に転送する。
【００１６】
なお、画像解析および認識（制御対象１３の抽出）の処理は、複数のカメラ１１の画像を一つの画像に合成した画像に対して実行してもよい。この場合、各カメラ１１は固定であるため、画像の合成処理も固定的な演算で容易に実行可能である。また、画像の合成処理は、管理装置１２および制御装置１４のいずれで実行しても構わない。
【００１７】
制御装置１４は、非保証型ネットワーク９１の逆符号化部４１と、保証型ネットワーク９２の逆符号化部４２と、撮影画像取得部として機能する撮影画像の画像解析部４３と、ＲＯＩ検出部４４と、ＲＯＩ画像の画像解析部４５と、状態推定部４６と、制御信号生成部４７と、を備える。管理装置１２は、ＲＯＩ画像生成部２１と、非保証型ネットワーク９１の圧縮符号化部２２と、保証型ネットワーク９２の圧縮符号化部２３と、制御信号Ｉ／Ｆ２４と、を備える。
【００１８】
管理装置１２は、複数のカメラ１１で撮影した撮影画像を、非保証型ネットワーク９１を介して制御装置１４に送信し、制御装置１４からカメラ１１ごとに設定された切り取り領域に基づき撮影画像から切り取った切り取り画像を制御対象１３が映っているＲＯＩ画像に統合し、保証型ネットワーク９２を介してＲＯＩ画像を制御装置１４に送信し、制御装置１４からの制御信号に従って制御対象を制御する。
制御装置１４は、管理装置１２から受信した撮影画像から制御対象１３が映っているＲＯＩ画像に含まれる切り取り領域（ｓｕｂＲＯＩ）をカメラ１１ごとに求め、ＲＯＩ設定情報及びｓｕｂＲＯＩ設定情報を管理装置１２に送信してＲＯＩ画像を保証型ネットワーク９２を介して管理装置１２に送信させ、受信したＲＯＩ画像に基づき制御対象１３を制御する制御信号を生成し、当該制御信号を保証型ネットワーク９２を介して管理装置に送信することによって制御対象１３を制御する。
【００１９】
本実施形態に係る制御方法は、撮影画像取得手順（Ｓ１０１）と、切り取り領域送信手順（Ｓ１０２，Ｓ１０３，Ｓ１０４）と、ＲＯＩ画像取得手順（Ｓ１０５，Ｓ１０６，Ｓ１０７）と、制御信号送信手順（Ｓ１０８，Ｓ１０９）と、を順に有する。
【００２０】
管理装置１２が、カメラ１１で撮影した撮影画像を、非保証型ネットワーク９１を介して制御装置１４に送信する（Ｓ１０１）。ＲＯＩ検出部４４が、受信した撮影画像から制御対象１３が映っている領域を求める（Ｓ１０２）。ＲＯＩ検出部４４は、非保証型ネットワーク９１を経由して転送されてきたカメラ１１から得られた画像に対して、画像処理、画像解析等を行った後の、検出された制御対象１３の画面上での位置情報や大きさの情報、或いは制御対象１３の速度等の物理的な状態を基に、ＲＯＩ設定情報及びｓｕｂＲＯＩ設定情報を生成する。当該ＲＯＩ設定情報及びｓｕｂＲＯＩ設定情報を管理装置１２に送信する（Ｓ１０３）。ＲＯＩ設定情報及びｓｕｂＲＯＩ設定情報は、保証型ネットワーク９２を経由して管理装置１２へ転送され、ＲＯＩ画像生成部２１で用いられる。
【００２１】
ＲＯＩ画像生成部２１が、ＲＯＩ設定情報及びｓｕｂＲＯＩ設定情報に従ってＲＯＩ及びｓｕｂＲＯＩを設定する（Ｓ１０４）。ＲＯＩ画像生成部２１では、受け取ったＲＯＩ設定情報及びｓｕｂＲＯＩ設定情報に基づいて、複数のカメラ１１から得られる各画像の一部を切り取り、ＲＯＩ設定情報に基づいて切り取った画像を統合する。このときに、ＲＯＩ画像生成部２１は画像を複写してもよい。ステップＳ１０４以後、管理装置１２はカメラ１１で撮影した撮影画像を、非保証型ネットワーク９１を介してストリームとして制御装置１４に送信し続ける（Ｓ１０５）。同時に、管理装置１２は、前記切り取り及び統合された画像を、圧縮、符号化等の処理を通して、保証型ネットワーク９２を介してストリームとして制御装置１４に転送する（Ｓ１０６）。
【００２２】
非保証型ネットワーク９１は、カメラ１１から得られた画像を制御装置１４へ転送する（Ｓ３０１）。この画像は、モニタ等で利用者に提示される（Ｓ３０２）。画像解析部４３が画像処理及び解析を行い、ＲＯＩ検出部４４が制御対象１３の検出及び周辺領域の設定を行う（Ｓ３０６）。管理装置１２が実際にＲＯＩ及びｓｕｂＲＯＩを設定する（Ｓ３０８）。
【００２３】
保証型ネットワーク９２は、ＲＯＩ画像を制御装置１４へ転送し、制御装置１４内で生成された制御信号を管理装置１２へ転送し、制御装置１４内で生成されたＲＯＩ設定情報及びｓｕｂＲＯＩ設定情報を管理装置１２へ転送する（Ｓ３０３）。画像解析部４５がＲＯＩ画像の画像処理及び画像解析を行い、状態推定部４６が制御対象１３の状態を推定する（Ｓ１０７、Ｓ３０４）。制御信号生成部４７が、状態推定部４６の推定した状態に基づき、制御対象１３の制御信号を生成する（Ｓ１０８、Ｓ３０５）。制御信号生成部４７が、制御信号を管理装置１２に送信する。そして、管理装置１２が制御対象１３に制御信号を送信する（Ｓ１０９、Ｓ３０７）。
【００２４】
以後、カメラ１１から得られた画像に対してはＳ１０２、Ｓ１０３、Ｓ１０４を繰り返す。ＲＯＩ画像に対してはＳ１０７、Ｓ１０８、Ｓ１０９を繰り返す。この２つの繰り返しは独立に実行する。
【００２５】
制御対象１３そのものを制御して操作するためには、カメラ１１から得られる画像データにおいて制御対象１３及びその周辺領域が分かれば十分である。そこで本発明では、カメラ１１から得られた画像から、制御対象１３とその周辺だけに着目したＲＯＩ画像だけを個別に制御装置１４に送信する。これによって、カメラ１１そのものの撮像画像よりも小さい画像データがネットワークを経由することになる。また、小さい画像であれば、その符号化や圧縮に掛かる計算コストが小さい為、より圧縮率の高い符号化方式や圧縮方式を利用できる。従って、制御装置１４に送信する画像のデータ量をかなり小さくすることができ、必要な伝送容量が小さくなる。
【００２６】
このＲＯＩ画像のデータは、素早く正確に制御対象１３の状態を知るために、迅速に、かつ少ない情報損失で制御装置１４に伝送される必要がある。そこで、このＲＯＩ画像データの伝送路には保証型のネットワーク９２を用いる。実際に伝送されるデータ量は上記の処理により小さくなっている為、必要となる保証型ネットワーク９２の帯域は小さくすることが可能である。
【００２７】
また、カメラ１１から得られたそのものの撮像画像は、利用者が動作指示を決定する為、及び、システム起動時のＲＯＩを設定するために、制御装置１４側に転送される必要がある。但し、その画像に多少乱れが生じても、利用者自身が補正できること、及び、迅速に制御装置１４に伝送される必要はないので、インターネットのような、非保証型ネットワーク９１を経由して伝送される。
【００２８】
図４に、制御装置における画像領域の設定処理のフローを示す。
複数のカメラ１１からの撮像画像のデータを受信したか否かを判定する（Ｓ４０１）。受信していれば、逆符号化部４１が、データを逆符号化して撮像画像を復号する（Ｓ４０２）。
次に、画像解析部４３が、複数のカメラ１１で撮影した撮影画像を、非保証型ネットワーク９１を介して管理装置１２から取得し、色空間調整やフィルタ処理などの画像処理を行う（Ｓ４０３）。
次に、ＲＯＩ検出部４４が、制御対象１３を検出するために画像処理や画像解析を行う（Ｓ４０４）。
【００２９】
ステップＳ４０５において制御対象１３を認識した場合、ＲＯＩ検出部４４が、画像上における制御対象１３の中心の座標（ｘ，ｙ）、各軸方向の大きさ（ｘｌ，ｙｌ）を検出する（Ｓ４０６）。
次に、ＲＯＩ検出部４４が、制御対象１３の特性に応じて、適切な周辺領域εを計算する（Ｓ４０７）。ここで、周辺領域εは、例えば、制御対象１３の最大移動速度×切り取り画像フレーム周期×安全率を計算することによって算出する。
次に、ＲＯＩ検出部４４が、座標（ｘ，ｙ）を中心とする、大きさ（ｘｌ＋ε，ｙｌ＋ε）のＲＯＩを設定する（Ｓ４０８）。そして、設定したＲＯＩに対応するｓｕｂＲＯＩをカメラ１１ごとに計算する。ｓｕｂＲＯＩの計算方法については後述する。
次に、ＲＯＩ検出部４４が、ＲＯＩ設定情報と、それに対応したカメラ１１ごとのｓｕｂＲＯＩ設定情報を管理装置１２へ転送する（Ｓ４０９）。そして、ステップＳ４０１へ移行する。
【００３０】
ステップＳ４０１において撮像画像のデータを受信していない場合、ＲＯＩ検出部４４は、現在の制御対象１３の状態を状態推定部４６から取得して、速度や、ＲＯＩ画像内での位置を検出する（Ｓ４１０）。
次に、ＲＯＩ検出部４４は、ＲＯＩの更新が必要か否かを判定する（Ｓ４１１）。例えば、制御対象１３の座標値と、そこから最も近いＲＯＩ画像の端の距離が、ある一定の閾値以下になった場合、ＲＯＩの更新が必要であると判定する。また、（制御対象１３の現在の速度×切り取り画像フレーム）＋（現在の制御対象１３の座標）がｘ方向若しくはｙ方向に、ＲＯＩからはみ出す場合、ＲＯＩの更新が必要であると判定する。
【００３１】
ステップＳ４１１においてＲＯＩの更新が必要と判定した場合、制御対象１３の中心がＲＯＩ内の中心に来るように、ＲＯＩのシフトを行う（Ｓ４１２）。そして、設定したＲＯＩに対応するｓｕｂＲＯＩをカメラ１１ごとに計算する。ｓｕｂＲＯＩの計算方法については後述する。
次に、設定したＲＯＩと、それに対応したｓｕｂＲＯＩを管理装置１２へ転送する（Ｓ４１３）。そして、ステップＳ４０１へ移行する。
【００３２】
ステップＳ４１１においてＲＯＩの更新が必要でないと判定した場合、ステップＳ４０１へ移行する。
【００３３】
図５を参照しながら、ＲＯＩ検出部４４におけるＲＯＩ設定方法の具体例を説明する。
状態推定部４６から制御対象１３の状態情報を取得するとともに（Ｓ５０１）、ＲＯＩ設定情報を取得する（Ｓ５０２）。そして、ＲＯＩは複数画像に跨っているか否かを判定する（Ｓ５０３）。
ＲＯＩが複数画像に跨っている場合（Ｓ５０３においてＹｅｓ）、制御対象１３の移動方向を算出する（Ｓ５０４）。移動方向に応じて、各カメラ１１のｓｕｂＲＯＩを算出する（Ｓ５０５）。
ＲＯＩが複数画像に跨っていない場合（Ｓ５０３においてＮｏ）、ＲＯＩがどのカメラ１１に完全に収まるかを検出する（Ｓ５１０）。収まるカメラ１１のｓｕｂＲＯＩとＲＯＩを同一な領域として設定する（Ｓ５１１）。
ステップＳ５０５又はＳ５１１の後、ＲＯＩ設定情報及びｓｕｂＲＯＩ設定情報を管理装置１２に送信し（Ｓ５０６）、ＲＯＩ画像生成部２１がｓｕｂＲＯＩをカメラ１１ごとに設定し（Ｓ５０７）、カメラ１１からｓｕｂＲＯＩ画像を取得する（Ｓ５０８）。ＲＯＩ画像生成部２１は、複数のｓｕｂＲＯＩ画像を統合してＲＯＩ画像を生成し、制御装置１４へ送信する。これにより、制御装置１４は、管理装置１２からＲＯＩ画像を受信する。
【００３４】
ここで、各カメラ１１のｓｕｂＲＯＩは、以下のようにして算出することができる。図６に、制御対象１３がカメラ１からカメラ２に移動する場合の一例を示す。各カメラの撮像サイズをＸ×Ｙとする。ＲＯＩのサイズをＸｒ×Ｙｒとする。制御対象１３の座標を（ｘ，ｙ）とする。カメラ１の原点を（０，０）とし、カメラ２の原点を（ｘ２，ｙ２）とする。
【００３５】
カメラ１のｓｕｂＲＯＩの原点は（ｘ−Ｘｒ／２，ｙ−Ｙｒ／２）である。
カメラ１のｓｕｂＲＯＩの大きさは、ＲＯＩが２つの画像に跨っていない場合はＸｒ×Ｙｒであり、ＲＯＩが２つの画像に跨っている場合は（Ｘｒ／２＋（Ｘ−ｘ））×Ｙｒである。
【００３６】
カメラ２のｓｕｂＲＯＩの原点は（Ｘ，ｙ−Ｙｒ／２）である。
カメラ２のｓｕｂＲＯＩの大きさは、ＲＯＩが２つの画像に跨っていない場合は０×０であり、ＲＯＩが２つの画像に跨っている場合は（Ｘｒ／２−（Ｘ−ｘ））×Ｙｒである。
【００３７】
また、跨るかどうかは、Ｘｒ／２＞（Ｘ−ｘ）が成立する時は跨る、成立しない時は跨らないとして判断できる。跨らない時は、カメラ１のｓｕｂＲＯＩとＲＯＩは一致する。
【００３８】
以上説明したように、本発明では、管理装置１２が、制御対象１３を複数のカメラ１１で撮影した画像を非保証型ネットワーク９１を介して制御装置１４に送信し、制御装置１４が、受信した画像に基づき制御対象１３を制御する制御信号を生成し、保証型ネットワーク９２と管理装置１２を介して制御対象１３に送信する遠隔制御システムにおいて、管理装置１２は、複数のカメラ１１で撮影した画像の全領域を非保証型ネットワーク９１を介して制御装置１４に送信し、制御装置１４は、受信した複数のカメラ１１で撮影した画像のそれぞれに対応する領域について、制御対象１３が映っている画像内の切り取り領域を求めて設定し、管理装置１２は、設定された切り取り領域に基づきそれぞれのカメラ１１で撮影した画像から切り取った領域を統合し、該統合した画像をＲＯＩとして保証型ネットワーク９２を介して制御装置１４に送信し、制御装置１４は、ＲＯＩに基づき制御対象１３を制御する制御信号を生成し、保証型ネットワーク９２を介して管理装置に送信する。
【００３９】
カメラ１１は、遠隔地にあるロボットや機械、及びそれらの環境の状態を知る、汎的、安価なセンサとして現在、将来にわたり非常に有用であり、その特徴を生かしたアプリケーションが今後生まれると考えられる。但し、カメラ１１から得られる画像情報には不必要な情報、領域も多いため、そのままでは通信装置、ネットワーク等の負担が無駄に大きくなってしまう。本発明は、安価な保証型ネットワーク９２を用いた、リアルタイム性が高く精度の高い状態推定、制御を可能にし、新たなアプリケーションやサービス実現への寄与が期待できる。ここで、本発明を用いることによって、アクチュエータの状態推定にＲＯＩを利用する遠隔制御システムに、複数のカメラ１１を導入することが可能になる。これにより、一台のカメラ１１では撮影が困難な広い物理領域でアクチュエータを動作させる場合や、アクチュエータの撮影に障害物があるような環境に、システムを対応させることが可能となる。
【００４０】
さらに、本発明はｓｕｂＲＯＩの設定に関わる計算をすべて遠隔の計算機で行うため、アクチュエータ側の管理装置の負荷が小さい。従って、高価な装置の使用や、消費エネルギー増大を避けることも期待できる。また、本発明は転送されるＲＯＩ画像（ｓｕｂＲＯＩを統合したもの）自体は一つの画像として転送されるため、通信容量や通信のセッション数も増加しない。
【００４１】
なお、本発明の制御装置１４は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
【産業上の利用可能性】
【００４２】
本発明は情報通信産業に適用することができる。
【符号の説明】
【００４３】
１１：カメラ
１２：管理装置
１３：制御対象
１４：制御装置
１５：計算機
２１：ＲＯＩ画像生成部
２２、２３：圧縮符号化部
２４：制御信号Ｉ／Ｆ
４１、４２：逆符号化部
４３：画像解析部
４４：ＲＯＩ検出部
４５：画像解析部
４６：状態推定部
４７：制御信号生成部
９１：非保証型ネットワーク
９２：保証型ネットワーク
【図１】
2014039201.tif 000003
【図２】
2014039201.tif 000004
【図３】
2014039201.tif 000005
【図４】
2014039201.tif 000006
【図５】
2014039201.tif 000007
【図６】
2014039201.tif 000008