(57)【要約】      （修正有）【課題】環境内の変更可能な位置および向きを有する１組のモバイルセンサーの経路を計画する。【解決手段】各センサー１００は、プロセッサ１０１と、撮像システム１０２と、通信システム１０３とを備え、環境のカバレッジの所望の分解能が定義され、カバレッジの達成された分解能が初期化され、時点ごとおよびセンサーごとに、撮像システムを用いて環境の画像が取得され、達成された分解能は、画像に従って更新され、達成された分解能および所望の分解能に基づいて、センサーが次の位置および向きに移動され、環境のカバレッジを最適化するために、通信システムを用いて、センサーのローカル情報が他のセンサーに分散される。【選択図】図１
2015230729.tif 000002
【特許請求の範囲】
【請求項１】
環境内の１組のセンサーの経路を計画する方法であって、
前記センサーは、変更可能な位置および向きを有するモバイルセンサーであり、
各センサーは、プロセッサと、撮像システムと、通信システムとを備え、
該方法は、
前記環境のカバレッジの所望の分解能を定義するステップと、
前記カバレッジの達成された分解能を初期化するステップと、
を備え、
該方法は、各センサーの各プロセッサにおいて時点ごとに、
前記撮像システムを用いて前記環境の画像を取得するステップと、
前記画像に従って前記達成された分解能を更新するステップと、
前記達成された分解能および前記所望の分解能に基づいて、次の位置および向きに移動するステップと、
前記環境のカバレッジを最適化するために、前記通信システムを用いて、前記センサーのローカル情報を前記１組のセンサーにおける他のセンサーに分散させるステップと、
をさらに備えた、環境内の１組のセンサーの経路を計画する方法。
【請求項２】
前記撮像システムは、光学的撮像を用いる、
請求項１に記載の方法。
【請求項３】
前記撮像システムは、合成開口レーダーを用いる、
請求項１に記載の方法。
【請求項４】
前記撮像システムは、ハイパースペクトル撮像を用いる、
請求項１に記載の方法。
【請求項５】
前記撮像システムは、物理的開口レーダー撮像を用いる、
請求項１に記載の方法。
【請求項６】
情報は、前記位置、前記向きおよび前記達成された分解能からなる、
請求項１に記載の方法。
【請求項７】
屋内ドローン、屋外ドローン、飛行機、衛星、地上車、ロボットまたは水中機に前記センサーを配置するステップをさらに備えた、
請求項１に記載の方法。
【請求項８】
前記通信システムは、無線チャネルを含む、
請求項１に記載の方法。
【請求項９】
前記位置は、前記向きと異なるレートで更新される、
請求項１に記載の方法。
【請求項１０】
前記分解能のモデルは、劣加法性である、
請求項１に記載の方法。
【請求項１１】
目的関数を用いて、前記所望の分解能と前記達成された分解能との差を最小化するステップをさらに備えた、
請求項１に記載の方法。
【請求項１２】
前記目的関数は、前記所望の分解能からのずれにペナルティを科す関数を用いる、
請求項１１に記載の方法。
【請求項１３】
前記関数は、前記分解能が前記所望の分解能よりも低いかまたは高いときに、前記達成された分解能にペナルティを科す、
請求項１２に記載の方法。
【請求項１４】
前記関数は、前記達成された分解能が前記所望の分解能を達成していないときにのみ、前記達成された分解能にペナルティを科す、
請求項１２に記載の方法。
【請求項１５】
前記移動するステップは、負の位置勾配の方向に行われる、
請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはモバイルセンサーに関し、より詳細には、センサーのための分散型経路計画に関する。
【背景技術】
【０００２】
モバイルセンサーを用いて、画像を協調して取得することができる。そして、これらの画像を、監視、地図製作および環境モニタリング等の用途で用いることができる。そのようなシステムにおける１つの問題は、センサーが辿るべき経路を計画することであり、これは経路計画として知られる問題である。
【０００３】
制御可能な自由度が総自由度に等しい、ホロノミックロボットを用いる１つのそのようなシステムでは、制限されたフットプリントを有する異方性センサーが検討されている。Ｈｅｘｓｅｌ他「Ｄｉｓｔｒｉｂｕｔｅｄ  Ｃｏｖｅｒａｇｅ  Ｃｏｎｔｒｏｌ  ｆｏｒ  Ｍｏｂｉｌｅ  Ａｎｉｓｏｔｒｏｐｉｃ  Ｓｅｎｓｏｒ  Ｎｅｔｗｏｒｋｓ」Ｔｅｃｈ．  Ｒｅｐｏｒｔ  ＣＭＵ−ＲＩ−ＴＲ−１３−０１，  Ｒｏｂｏｔｉｃｓ  Ｉｎｓｔｉｔｕｔｅ，  Ｃａｒｎｅｇｉｅ  Ｍｅｌｌｏｎ  Ｕｎｉｖｅｒｓｉｔｙ，  Ｊａｎｕａｒｙ  ２０１３を参照されたい。そのシステムは、場合によっては障害物を含む多角形として２次元（２Ｄ）環境をモデル化する。固定の目的関数によって、物体を検出する同時確率が最大化される。この目的関数は、環境内の各点の重要度を表す事前に固定された密度関数を用いる。
【発明の概要】
【０００４】
本発明の実施形態は、例えば、空中、地上または水中にあり得る１組のモバイルセンサーの経路を計画する方法を提供する。各センサーは、環境を撮像するための撮像システムを備える。撮像システムは、例えば、光学的撮像、合成開口レーダー（ＳＡＲ）、ハイパースペクトル撮像、物理的開口レーダー撮像を用いることができる。センサーによって取得される画像は、中でも、監視用途、地図製作用途およびモニタリング用途において用いることができる。
【０００５】
任意の時点において、各センサーは、撮像システムの分解能を最適化するために次の位置および向きに移動し、環境内の各点における予め指定された所望の分解能に従って、環境の最適なカバレッジのための分解能を選択するのに用いられる。本明細書において用いられるとき、分解能は、画像内のピクセルのサイズおよび密度に依拠する。カバレッジは完全なものとすることもできるし、部分的なものとすることもでき、画像は重複することも重複しないこともできることに留意するべきである。
【０００６】
分散形式の場合、各センサーの動きおよび各センサーの向きは、予め指定された分解能と比較して、環境がどの程度良好に撮像されているかを特徴付けるコスト関数を最小化することによって最適化される。この最適化を実行するために、各センサーは近傍のセンサーと通信し、ローカル情報を交換する。センサーによって取得される画像を組み合わせて環境の全体画像にし、所望の分解能を達成することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態による例示的な空中モバイルセンサーシステムの概略図である。
【図２】本発明の実施形態による、センサー座標におけるセンサーおよび環境の側面図である。
【図３】本発明の実施形態によるモデルによって用いられる、変数、説明および例示的な値を与える表である。
【図４Ａ】本発明の実施形態による例示的環境の概略図である。
【図４Ｂ】不規則な例示的環境の概略図である。
【図５】本発明の実施形態による、センサー座標におけるセンサーフットプリントの上面図である。
【図６】本発明の実施形態による、図１に示すセンサーの経路を計画する方法の流れ図である。
【発明を実施するための形態】
【０００８】
図１は、本発明の実施形態による１組のモバイルセンサー１００を示している。センサーは、中でも、空中、地上または水中にあり得る。センサーは、例えば、屋内ドローンもしくは屋外ドローン、航空機または衛星に配置することができる。各センサーは、プロセッサ１０１と、撮像システム１０２と、通信システム１０３とを備える。撮像システムは、環境４００を撮像するための既知のフットプリントを有し、このフットプリントはセンサーの向きに依拠し得る。フットプリントは、カメラ画像平面またはレーダービームパターン等の撮像面を環境に投影したものである。撮像システムは、中でも、光学的撮像、合成開口レーダー（ＳＡＲ）、ハイパースペクトル撮像、物理的開口レーダー撮像を用いることができる。この理由により、「画像、撮像（ｉｍａｇｅ）」という用語は広く用いられる。
【０００９】
センサーは、環境４００を撮像するように経路１０２に沿って移動する。通信システムは、センサーがチャネル１０５を介して互いに通信することができるようにトランシーバを備える。好ましい実施形態では、チャネルは無線であり、例えば無線信号または光信号を用いる。近傍のセンサー、すなわち通信範囲内のセンサー間で情報を交換することによって、これらのセンサーは、分散形式で経路計画を実行することができる。しかしながら、他の通信技法も用いることができ、例えばセンサーのうちの幾つかまたは全てがデジタルファイン有線テザー（ｄｉｇｉｔａｌ  ｆｉｎｅ  ｗｉｒｅ  ｔｅｔｈｅｒ）を用いることができることを理解されたい。
【００１０】
環境内の各点において指定された値を達成する画像分解能を環境にわたって提供することが目的である。本明細書において用いられるとき、分解能は画像内のピクセルのサイズおよび密度に依拠する。モデルはフットプリント１０４を重複させることによって提供される分解能をモデル化するのに劣加法性関数を用いる。モデルはまた、時間とともに変動する目的関数を用いる。各時点ｊにおいて、目的関数は、所望の分解能と、前の時点ｊ−１までに達成された分解能との差の尺度を提供する。
【００１１】
センサーモデル
図２は、センサー座標におけるセンサーおよび環境の側面図である。環境内の点ｚは、角度γｖを二等分する線上に位置する。図３における表は、本発明のモデルによって用いられる、変数３０１、説明３０２および例示的な値３０３を与えている。変数は、センサーの高さ３１１と、水平方向の角度幅３１２と、垂直方向の角度幅３１３と、センサーの位置３１４と、傾斜角３１５およびアジマス角３１７とを含む。角度は、センサーの向きを指定する。説明される実施形態では２自由度が存在するが、３自由度も除外されない。
【００１２】
便宜上、後続の計算のほとんどは、傾斜を測定するのに角度ψ３１６を用いる。角度ψは、ψ＝９０°−φを用いて実際の傾斜角φに関係付けられている。図２においてラベル付けされた範囲は、以下の式によって与えられる。
【数１】
2015230729.tif 000003
【００１３】
図４Ａに示すように、例示的な規則的環境は、ｘｙ平面における１００×１００の多角形領域Ｑである。環境内の任意の点４０１がｑ∈Ｑをラベル付けされる。センサー座標において、環境はｚｙ平面であり、ｚｙ平面はｘｙ平面を平行移動および回転したものである。ｚｙ平面の原点の上方の高さＨに所与のセンサーが位置し、ｚ軸に対する角度ψが測定される。高さＨ、およびｘ，ｙロケーションはセンサーの位置を指定する。角度φおよびψは向きを指定する。
【００１４】
図４Ｂは、不規則な例の不規則な環境５００を示している。
【００１５】
各センサーは傾斜角φを有し、ψ＝９０°−φである。アジマス角θ＝０のとき、センサーのｚ軸は大域座標系のｘ軸と一直線になる。ｉ番目のセンサーと関連付けられた全ての変数は、センサーをインデックス付けするための上付き文字ｉを有する。
【００１６】
図５は、光学センサーに固有のセンサー座標におけるセンサーフットプリント１０４の上面図の例である。図２に示すように、フットプリントはＺｍｉｎからＺｍａｘに延在する。フットプリントは、４つのラベル付された頂点（１，２，３，４）によって画定される多角形である。センサー座標において、ｋ番目の頂点に対応するフットプリント頂点（ｚｋ，ｙｋ）は以下の式となる。
【数２】
2015230729.tif 000004
【００１７】
Ｓ（θ）を以下に定義する回転行列とする。
【数３】
2015230729.tif 000005
【００１８】
センサーフットプリント内の点（ｚ，ｙ）の大域座標（ｘ，ｙ）は、アジマス角θだけ点を回転させ、カメラロケーション（ｃｘ，ｃｙ）だけフットプリントを平行移動させることによって取得される。
【数４】
2015230729.tif 000006
【００１９】
センサーフットプリント１０４を定義する式（２）における４つの頂点は、式（４）を用いて大域座標に変換することができる。センサーフットプリントは、４つの変数（ｃｘ，ｃｙ，θ，φ）によって定義される。最初の２つの変数は、環境平面上へのセンサー位置の投影であり、最後の２つのパラメーターは水平方向の角度変数および垂直方向の角度変数である。他のセンサーは異なるフットプリント形状を有することができ、フットプリントの形状およびサイズはセンサーの向きに依拠する。
【００２０】
ほとんどの実際の実施形態において、位置パラメーターは、センサーの物理的位置に対応するので比較的低速な時間スケールで更新される一方、角度変数は、角度が値を迅速に変更する可能性があるので、比較的高速な時間スケールで更新される。しかしながら、幾つかの実施形態では、位置パラメーターおよび角度パラメーターは同じ時間スケールで値を変更する場合もあるし、角度パラメーターがより低速な時間スケールで値を変更する場合もある。
【００２１】
重なり合うセンサーの劣加法性結合
センサーｉがフットプリントＦｉ，ｉ＝１，．．．，ｎにおいて分解能ｒｉを与えると仮定する。問題は、完全にまたは部分的に重なり合うフットプリントの交差において取得される分解能をモデル化することである。最良であり、非現実的なほど楽観的な状況は、全体分解能が個々の分解能の和となることである。最悪の、非現実的なほど悲観的な状況は、全体分解能が個々のセンサー分解能の最大値に等しいことである。実際の全体分解能は、これらの極値間のどこかにある。
【００２２】
すなわち、
【数５】
2015230729.tif 000007
がＮ個のセンサーによって達成された分解能のベクトルである場合、センサーフットプリントの交差部の点において取得される全体分解能ｒｅｓ（ｒ）は以下の不等式を満たす。
【数６】
2015230729.tif 000008
【００２３】
この特性を満たす関数の１つの例は、ベクトルｒのｌｐノルム（１＜ｐ＜∞）であり、
【数７】
2015230729.tif 000009
ここで、１＜ｐ＜∞である。ｐ＝１のとき、ｌｐノルムは式（６）における上界に等しい。ｐ＝∞のとき、ｌｐノルムは式（６）における下界に等しい。このため、センサーを重ね合わせることによって取得される分解能のための劣加法性モデルの特定の例は、個々の分解能のベクトルのｌｐノルムであり、ここで１＜ｐ＜∞である。他の実施形態は、様々な劣加法性関数を用いて、異なる分解能の画像をどのように組み合わせるかをモデル化することができる。
【００２４】
目的関数および最適化
φｄ（ｑ）を、環境４００内の全ての点ｑ４０１において定義される所望の分解能とする。ｘｊを、時点ｊにおける全てのセンサーの位置変数のベクトルとする。ψｊおよびθｊを、全てのセンサーの垂直方向の（傾斜）角度変数および水平方向の（アジマス）角度変数にそれぞれ対応するベクトルとする。Ｒｉを、ｉ番目のセンサーによって、そのセンサーのフットプリントＦｉ内の全ての点において提供される分解能とする。これは、センサー変数（ｃｘｉ，ｃｙｉ，θｉ，ψｉ）によって以下のように定義される。
【数８】
2015230729.tif 000010
ここで、Ｋは、取得された画像におけるピクセル数に依拠するセンサー定数である。全てのセンサーが同じＫの値を有する場合、値は以下で説明する最適化のために重要でない。
【００２５】
任意の時点ｊにおいて、最小化する目的関数は、所望の分解能と、時点ｊ−１までに達成された分解能との差であり、以下の式に従う。
【数９】
2015230729.tif 000011
ここで、φｊ−１（ｑ）は時点ｊ−１までにセンサーによって達成された分解能であり、ｐは重なり合うフットプリントの劣加法性結合をモデル化するために用いられるノルムを定義し、ｆ（ｘ）は所望の分解能からのずれにペナルティを科すペナルティ関数である。
【００２６】
例えば、１つの実施形態では、ｆ（ｘ）＝ｘ２である。このペナルティ関数は、分解能が所望の分解能よりも低いかまたは高いときに、達成された分解能にペナルティを科す。これによって、センサーのうちの幾つかが十分な分解能にマッピングされているとき、センサーを異なる環境エリアに強制的に移動させる。
【００２７】
別の実施形態では、以下の式となる。
【数１０】
2015230729.tif 000012
【００２８】
このペナルティ関数は、所望の分解能に到達していないときにのみ、達成された分解能にペナルティを科す。これによって、センサーは、撮像されるエリアの分解能を、予め指定された所望の分解能を超えて改善し続けることが可能になる。当然ながら、他の実施形態は他のペナルティ関数を用いることができる。
【００２９】
経路計画
図６は、本発明の実施形態による経路計画方法を示している。定義により、初期の達成された分解能φ０（ｑ）は一様にゼロである。
【００３０】
勾配ベースの最適化は、以下の初期化および反復ステップによって説明される。各時点ｊにおいて、センサーの角度パラメーターに対し、完全な勾配ベースの最小化が行われる。一方、センサー位置は、単一の勾配ステップのみを用いて更新される。その理由は、センサーが移動し、新たなデータを取得した後、目的関数は変化しているからである。
【００３１】
初期化
所望の分解能φｄ（ｑ）および初期センサー位置のベクトルｘ０を所与とすると、以下の最適化６１１によって初期センサー角が求められる（６０５）。
【数１１】
2015230729.tif 000013
【００３２】
初期位置勾配ｇ０は、ｘ０において評価されるＧ０（ｘ，θ０，ψ０）のｘに対する勾配である。
【００３３】
時間ステップごとの各センサーにおける反復ｊ＝１，２，．．．（６５０）
全てのセンサー１００から画像６０１を取得し（６１０）、以下の式に従って、達成された分解能６２１を更新する（６２０）。
【数１２】
2015230729.tif 000014
【００３４】
達成された分解能および所望の分解能に基づいて、１組のセンサーを、センサーの次の位置および向きに移動させる（６３０）。この移動は、負の位置勾配６３１の方向に行われる。
【数１３】
2015230729.tif 000015
ここで、αはステップサイズであり、ｇｊ−１は位置ｘｊ−１において評価された前回の位置勾配である。次の位置および向きへの移動は「ゼロ」移動とすることができ、すなわち、センサーは、その位置にとどまる。
【００３５】
センサー角度パラメーターおよび位置勾配６４１を以下の式に従って更新し（６４０）、
【数１４】
2015230729.tif 000016
次の時点ｊ＝ｊ＋１について反復する。
【図１】
2015230729.tif 000017
【図２】
2015230729.tif 000018
【図３】
2015230729.tif 000019
【図４Ａ】
2015230729.tif 000020
【図４Ｂ】
2015230729.tif 000021
【図５】
2015230729.tif 000022
【図６】
2015230729.tif 000023
【外国語明細書】
2015230729.tif 000024
2015230729.tif 000025
2015230729.tif 000026
2015230729.tif 000027
2015230729.tif 000028
2015230729.tif 000029
2015230729.tif 000030
2015230729.tif 000031
2015230729.tif 000032
2015230729.tif 000033
2015230729.tif 000034
2015230729.tif 000035
2015230729.tif 000036
2015230729.tif 000037
2015230729.tif 000038
2015230729.tif 000039
2015230729.tif 000040
2015230729.tif 000041
2015230729.tif 000042
2015230729.tif 000043
2015230729.tif 000044
2015230729.tif 000045