(57)【要約】本発明は、実世界の物体の適切な動きを検出する検出方法に関し、該方法は、画像捕捉装置（ICD）によって、第１の時点（t1）において物体の第１の画像（I1）を獲得し、第２の時点（t2）において物体の第２の画像（I2）を獲得するステップと、該第１及び第２の時点（t1, t2）の間の、該画像捕捉装置（ICD）の順方向の運動学に基づいて推定された、該画像捕捉装置（ICD）自身の動きの効果（EMF）に基づいて、第３の（仮想）画像（I3）を得るステップと、第２の画像（I2）と第３の画像（I3）との間のオプティカルフロー（OF）を定めるステップと、該物体の適切な動きを定めるために、該オプティカルフロー（OF）及び自己の動きフロー（EMF）の不確実性を組み入れることによって、該オプティカルフロー（OF）を評価するステップと、を含む。【選択図】図１
2010535385.tif 000002
【特許請求の範囲】
【請求項１】
実世界の物体の適切な動きを検出する検出方法であって、
画像捕捉装置（ICD）によって、第１の時点（t1）において物体の第１の画像（I1）を獲得し、第２の時点（t2）において物体の第２の画像（I2）を獲得するステップと、
該第１及び第２の時点（t1, t2）の間の、該画像捕捉装置（ICD）の順方向の運動学に基づいて推定された、該画像捕捉装置（ICD）自身の動きの効果（EMF）に基づいて、第３の（仮想）画像（I3）を得るステップと、
第２の画像（I2）と第３の画像（I3）との間のオプティカルフロー（OF）を定めるステップと、
該物体の適切な動きを定めるために、該オプティカルフロー（OF）及び自己の動きフロー（EMF）の不確実性を組み入れることによって、該オプティカルフロー（OF）を評価するステップと、を含む検出方法。
【請求項２】
該画像捕捉装置（ICD）自身の動きの効果の推定が、第１の画像（I1）のそれぞれの画素の推定された深さ情報に基づいている請求項１に記載の検出方法。
【請求項３】
第１の画像（I1）に対する深さ情報が、両眼の差異に基づいて推定される請求項２に記載の検出方法。
【請求項４】
無効な推定された深さが、有効な推定された深さから得られた深さモデルによって置き換えられる請求項３に記載の検出方法。
【請求項５】
第３の画像（I3）を得るステップは、第１の画像（I1）をゆがめることを含む請求項１から４のいずれかに記載の検出方法。
【請求項６】
第３の画像（I3）を得るステップは、第２の画像（I2）をゆがめることを含む請求項１から４のいずれかに記載の検出方法。
【請求項７】
該オプティカルフロー（OF）及び自己の動きフロー（EMF）の不確実性を組み入れることによって、該オプティカルフロー（OF）を評価するステップは、該オプティカルフロー（OF）及び推定された効果（EMF）が、同一の物理的な速度と整合している尤度を定めることを含む請求項１から６のいずれかに記載の検出方法。
【請求項８】
請求項１から７のいずれかに記載の検出方法を使用して可動性の自律的な移動体を制御する方法。
【請求項９】
可動性の自律的な移動体が自律的なロボットである請求項８に記載の方法。
【請求項１０】
物体の適切な動きを検出するシステムであって、
画像捕捉装置（ICD）によって、第１の時点（t1）において物体の第１の画像（I1）を獲得し、第２の時点（t2）において物体の第２の画像（I2）を獲得する手段と、
該第１及び第２の時点（t1, t2）の間の、該画像捕捉装置（ICD）の順方向の運動学に基づいて推定された、該画像捕捉装置（ICD）自身の動きの効果（EMF）に基づいて、第３の（仮想）画像（I3）を得る手段と、
第２の画像（I2）と第３の画像（I3）との間のオプティカルフロー（OF）を定める手段と、
該物体の適切な動きを定めるために、該オプティカルフロー（OF）及び自己の動きフロー（EMF）の不確実性を組み入れることによって、該オプティカルフロー（OF）を評価する手段と、を含むシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オプティカルフロー、運動学及び深さ情報を使用して、物体の適切な動き（Object Proper Motion, OPM）を推定する方法及び対応する装置に関する。この方法及び装置は、ロボットや自動車など、自律的な可動性移動体に応用することができる。
【背景技術】
【０００２】
動きを視覚的に知覚する能力は、動的な環境の中を切り抜けるために非常に役立つと考えられている。したがって、運動が視覚的な注意をひきつける最も重要な手がかりの一つであることを理解することは、驚くべきことではない。興味深いことに、ほとんどの哺乳類は、頭や眼を回転させ、全身を動かし、動いている場合にも、あるいは、走っている場合にも、視覚的な動きを知覚することができる。集めた情報は、自身の運動を制御するために、あるいは、網膜の中心窩に動いている物体を維持することによって、動いている物体を追跡するために使用される。
【０００３】
一般的に、ロボットの自律的な運動によって、カメラは、突然の速度変更を伴う、３次元の並進及び回転運動を受ける。
【０００４】
ロボットによって生成される、オプティカルフロー（OF)における自己の動きの効果、いわゆる、自己の動きフロー（EMF）は、この仕事を困難にしている。第一に、これは、多数の自由度及びそれぞれのロボット・セグメントの、カメラの位置に対する複雑な影響によって生じる。たとえば、ひざを曲げることは、ある状況においては、ロボットしたがってカメラを、激しく横にシフト及び回転させる一方、他の状況においては、ロボットは他方の足で立っているかもしれないので、ひざを曲げることはカメラの位置に全く影響しない。
【０００５】
自己の動きの間の物体の適切な動き（OPM）の推定が通常行なわれる分野は、自動車分野である。自動車分野で、この推定は、観察している自動車に対する他の自動車の速度を測定し、他の自動車を最終的には障害物となりうるものとして識別するのに重要である。ほとんどのアプローチは、オプティカルフロー（OF)の計算に依拠している。オプティカルフローは、自己の動き（EM）によってもたらされる効果、いわゆる、自己の動きフロー（EMF）及び物体の適切な動き（OPM）の重ね合わせである。オプティカルフロー（OF)を分解し、所望の物体の適切な動き（OPM）を抽出する通常の手順は、視覚的なフローの場からカメラの運動を推定しようとする。視覚的なフローの場では、カメラの運動の基礎となるモデルは、複雑さが非常に異なる。
【０００６】
したがって、カメラの運動を適切に抽出するには、オプティカルフロー（OF)が、個別に動いている物体ではなく、主に自己の動き（EM）の効果によってもたらされていることが、非常に重要である。このことは、動いている人々に向いているロボットに仮定することはできない。並進的な自己の動き（EM）の、画面のポイントへの効果は、離れたポイントは、より近いポイントよりもより小さなフローベクトルを含むように、カメラへのポイントの距離によって大きく影響される。
【０００７】
従来技術のアプローチには、これらのポイントの距離を実際に測定するものもある。しかし、多数の方法は、全てのポイントが、カメラの位置及び視野における拡張焦点を通って伸びる面上に位置すると仮定している。この手順は、自動車の分野では適切かもしれないが、環境についての、そのような簡略化した仮定は、動的な場面で自律的に行動するロボットには適切ではない。このように、自己の動き（EM）を取り扱う異なった方法を見出す必要がある。
【０００８】
カメラの運動についての既存の知識を使用する一つのアイディアは、以下のとおりである。ロボットに円内を歩行させながら、模様わけされた地面上のロボットの運動の結果としてのオプティカルフロー（OF)を計算してもよい。ロボットの足どりの様相及び関節角度に関連して、自己の動きフロー（EMF）を学習するようにニューラルネットワークが訓練すされる。その後、自己の動きフロー（EMF）と測定されたオプティカルフロー（OF)との差を、ロボットの経路における障害物を検出するのに使用することができる。ロボットの運動は、非常に制限されているが、Fidelmanらは、より複雑な運動に対しても、自己の動きフロー（EMF）を学習することができることを明らかにした（非特許文献１）。彼らのアプローチにおいて、ニューラルネットワークは、ロボットの歩行の様相及び関節角度に加えて、最近のオプティカルフロー（OF)計算を供給される。ニューラルネットは、次の時間ステップのフローを予測し、それを実際に測定されたオプティカルフロー（OF)と比較できるようにし、差を、物体の適切な動き（OPM）として分類できるようにする。
【０００９】
カメラの運動を計算し、それを自己の動きフロー（EMF）を計算するのに使用するアイディアも、自動車に対して記述されている。特許文献１(Comaniciu, D.他)において、ジャイロスコープセンサまたはGPS信号からの読みが、カメラの運動を推定するのに使用するのに利用されている。自動車における他のアプローチと同様に、深さは測定されず、上述のように、面仮定から推定される。他のアプローチは、ニューラルネットワークを使用する代わりに、測定されたロボットの関節にしたがって、実際に自己の動きフロー（EMF）を計算する（非特許文献２）。
【００１０】
しかし、与えられたアプローチの全ての結果は、おそらく深さ情報の統合が欠けているため、非常に有望なものではない。Fidelmanらは、カメラへのポイントの距離に依存する、
計算されたオプティカルフロー（OF)フィールドを与えることにより、暗に深さ情報を含んでいる（非特許文献３）。しかし、このアプローチは、訓練フェーズにおける物体からの距離と異なる距離の物体を適切に処理することができない。距離の差によって、オプティカルフロー（OF)が、学習されたものから離れる。したがって、動いていないポイントも、物体の適切な動き（OPM）として分類されうる。距離情報を伴うロボットの運動についての知識と、オプティカルフロー（OF)測定値とを組み合わせることは、Overettらの論文に記載されている（非特許文献４）。Overettらは、ロボットにカメラを固定し、走行距離測定データを測定し、深さを考慮している、結果としての自己の動きフロー（EMF）を計算することを試みた。後で、このフローは、推定されたオプティカルフロー（OF)から引かれ、残りのベクトルが、物体の適切な動き（OPM）を示すのに使用される。残念なことに、走行距離測定からのノイズを多く含むデータのために、著者らはロボットが通過した距離を人手によって測定しなければならず、システムは実時間で動作することができない。
【００１１】
現在の方法で、カメラの運動を予め計算し、それを基準とした運動を求めるものはない。個別に動いている物体の効果と重ねあわされたカメラの運動の効果を獲得する際に、オプティカルフロー（OF)は、何組もの置き換えを必要とする。獲得された動きの範囲が大きいことは、計算時間を増加させるだけではなく、あいまいさを増加させることにより、オプティカルフロー（OF)推定をだめにする。ごく最近、Rabeらは、密深さ及びフローフィールドを推定する代わりに、画像において追跡された外観上の特徴からフロー及び差異を計算することによって、この問題への解決策を提案した（非特許文献５）。結果をカルマンフィルタによって融合することにより、ポイントの組の位置および動きについての６次元の情報が供給される。慣性センサからの読みとともにこの情報は、自己の動き（EM）効果を補償し、実際の３次元の物体の適切な動き（OPM）を得るのに使用される。結果は、少なくとも移動体の緩やかな運動に対しては非常に説得力のあるものである。しかし、物体の適切な動き（OPM）の信頼性のある推定を作成するように、深さ、オプティカルフロー（OF)及び脚を備えたロボットによって引き起こされるカメラの運動の激しい効果を組み合わせながら、これらを処理することのできる手順は明らかに存在しない。
【００１２】
Fardiらは、カメラの自己の動き（EM）の補償を含み、オプティカルフローの計算を含む、動いている移動体から歩行者を認識する方法を発表した（非特許文献６）。
【００１３】
Fardiらにおいて、問題にしている領域は、レーザースキャナの距離測定から計算され、問題にしている領域における全ての画素に使用される、一様な深さz（カメラへの距離）を有する面とみなされる。しかし、深さについてのこの仮定は、物体の適切な動きの正確な推定が所望されるすべての状況において、適用することができない。この効果は、カメラに近く、離れた背景の前面の物体に対してはより重要になる。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】US20040183905
【非特許文献】
【００１５】
【非特許文献１】Fidelman et al. , “Detecting motion in the environment with a moving quadruped robot,” in RoboCup-2006: Robot Soccer World Cup X, G. Lakemeyer, E. Sklar, D. Sorenti, and T. Takahashi, Eds. Berlin: Springer Verlag, 2007, vol. 4434/2007, pp. 219-231
【非特許文献２】del Solar J.R. et al, “Motion detection and tracking for an Aibo robot using camera motion compensation and Kalman filtering.” in RoboCup 2004: Robot Soccer World Cup VIII, ser. Lecture Notes in Computer Science, D. Nardi, M. Riedmiller, C. Sammut, and J. Santos-Victor, Eds. Berlin: Springer, March 2005, vol. 3276, pp. 619-627
【非特許文献３】Fidelman et al. , “Detecting motion in the world with a moving quadruped robot.” P. Fidelman, T. Coffman, R. Miikulainen, and P. Stone. Technical Report TR-05-37, Department of Computer Science, University of Texas, 2005
【非特許文献４】G. Overett and D. Austin, “Stereo vision motion detection from a moving platform,” in Proc. Australasian Conf. on Robotics and Automation, December 2004
【非特許文献５】Rabe et al.: “Fast detection of moving objects in complex scenarios,” in Proc. IEEE Symp. Intelligent Vehicles, June 2007, pp. 398-403
【非特許文献６】Fardi et al.,“Motion-based pedestrian recognition from a moving vehicle,” in Proc. IEEE Symp. Intelligent Vehicles, June 2006, pp. 219-224
【発明の概要】
【発明が解決しようとする課題】
【００１６】
したがって、深さ情報をより正確に扱うことによって物体の適切な動きを推定するための方法及び装置であって、画像シーケンスにおける全ての画素のOPM推定の信頼度を提供し、利用することのできる方法及び装置を提供することが、本発明の目的である。
【課題を解決するための手段】
【００１７】
この目的は、独立請求項による方法及び装置によって、本発明にしたがって達成される。有利な実施形態は、従属請求項に規定されている。
【００１８】
本発明のさらなる態様及び利点は、添付の図面に関連して、以下の本発明の詳細な説明を検討すればより明らかとなる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態によるシステムの概観を示す図である。
【図２ａ】カメラ及び世界座標におけるポイント
【数１】
2010535385.tif 000003
を示す図である。
【図２ｂ】カメラ変換を使用して時間ｎにおける静的なポイントの記述を示す図である。
【図３ａ】自己の動き（EM）が事前にキャンセルされない場合に、オプティカルフロー（OF)の動きのスペクトルを示す図である。実線は、２個の画素の想定された物体の適切な動き（OPM）を視覚化したものであり、点線は、３個の画素の想定された自己の動き（EM）の効果を示す。オプティカルフロー（OF)によって獲得する必要のある間隔は、上記の二つを重ね合わせたものである。
【図３ｂ】自己の動きフロー（EMF）を基準とする、探索のための減少されたスペクトルを示す図である。
【図４ａ】極端な体の運動の下で、画素ごとのゆがみの分裂した結果を示す図である。
【図４ｂ】平均したフローによって、自己の動きフロー（EMF）における穴を埋める効果を示す図である。
【図５】
【数２】
2010535385.tif 000004
及び
【数３】
2010535385.tif 000005
からの結果としての分布
【数４】
2010535385.tif 000006
の１次元のプロット及び尤度Lを示す図である。
【発明を実施するための形態】
【００２０】
図１は、本発明の実施形態によるシステムの概観を示す図である。
【００２１】
第１ステップにおいて、順方向の運動学が、ｍからｎ＝ｍ＋１までの時間間隔において生じるカメラの運動を計算するのに使用される。これを、両眼の差異からの深さ情報と組み合わせることにより、自己の動き（EM）により、時間ｍにおける、画像内の静的なポイントが動いた場所を推定し、自己の動きフロー（EMF）を得る。したがって、時間ｎにおける、画像内のポイントが、そこから発生した場所を知ることにより、第２のステップにおいて該ポイントをその発生の位置へ戻すことによって、自己の動き（EM）効果を補償し、結果として画像は、自己の動き（EM）効果の影響を受けなくなる。その後、この画像は、自己の動きフロー（EMF）を基準として測定された、オプティカルフロー（OF)の計算に使用してもよい。このステップごとの運動推定により、オプティカルフロー（OF)の探索範囲が縮小される。これは、計算時間を減少させるだけでなく、オプティカルフロー（OF)測定において生じうるあいまいさを低減し、そのため、質的によりよい結果に至る。理想的には、このようにして測定されたオプティカルフロー（OF)は、動いていない物体に対してはゼロであり、その他の場合には適切な動きを記述するはずである。
【００２２】
しかし、両眼の差異もオプティカルフロー（OF)も、特にノイズの多い信号であるので、フロー及び自己の動き（EM）ベクトルの信頼性に基づいて、誤った速度推定をフィルタによって除去するようにふさわしい方法が適用される。
【００２３】
自己の動きフロー（EMF）の計算
自己の動きフロー（EMF）の計算は、フローフィールド
【数５】
2010535385.tif 000007
をもたらす。フローフィールドは、画像 Im におけるポイントが、カメラの運動に起因して、画像 Im におけるどの場所へ移動したかを記述する。この計算のために、環境は静的であり、ポイントはそれら自身動かないと仮定する。
【００２４】
ベクトル
【数６】
2010535385.tif 000008
の絶対値が、カメラへの対応するポイントの距離に極めて依存するという事実を説明するために、カメラ運動の効果は、３次元のカメラに関する空間において計算してもよい。したがって、最初に、それぞれのポイント
【数７】
2010535385.tif 000009
は、画像において両眼の差異
【数８】
2010535385.tif 000010
と組み合わせて、一様な画像座標において
【数９】
2010535385.tif 000011
としてポイントを定義してもよい。
【００２５】
このポイントは、その後、カメラ座標から画像座標への一様な変換マトリクス
【数１０】
2010535385.tif 000012
を計算し、それに
【数１１】
2010535385.tif 000013
を乗ずることによって、カメラ座標において再び構築される。
【数１２】
2010535385.tif 000014
【００２６】
次の時間ステップにおいて、カメラについてのそれぞれのそのようなポイントの位置を計算するために、カメラの動き方を知る必要がある。この知識はロボットの運動学から得ることができる。この目的のために、時間ｍにおける、上体の位置および全ての関節の角度を含む、ロボットの状態ベクトル
【数１３】
2010535385.tif 000015
が使用される。このベクトルを使用して、当初の世界座標系から各ロボットセグメントへの変換を戻し、世界座標からカメラ座標への変換
【数１４】
2010535385.tif 000016
を含む、順方向運動学を計算することができる。
【００２７】
この変換を逆にすると、カメラ座標から世界座標への変換を記述する
【数１５】
2010535385.tif 000017
がもたらされる。さらに、現在の変換
【数１６】
2010535385.tif 000018
は、
【数１７】
2010535385.tif 000019
を適用することによって計算することができる。この計算は、上体の位置を含むので、結果としての変換は、回転マトリクスだけではなく、カメラ位置の並進的な変化もコード化する。
【００２８】
静的なポイント
【数１８】
2010535385.tif 000020
を仮定して、新しい位置
【数１９】
2010535385.tif 000021
は、最後の変換
【数２０】
2010535385.tif 000022
を乗じて、実際の変換
【数２１】
2010535385.tif 000023
を使用してカメラ座標に戻すことによって、ポイントを世界座標に変換することから計算することができる。
【数２２】
2010535385.tif 000024
この過程は図２に示されている。
【００２９】
ポイントの新たな３次元位置には関心がなく、画像における２次元フローに関心があるので、それぞれのポイントは、画像面へ投影し戻してもよい。これは、一様投影マトリクス
【数２３】
2010535385.tif 000025
を計算し、それに新しいポイント
【数２４】
2010535385.tif 000026
を乗じることによって行なわれる。
【数２５】
2010535385.tif 000027
が時間ステップの間で一定であるので、これらの一連の変換は、予め計算することができ、それぞれのポイント
【数２６】
2010535385.tif 000028
と乗じることのできる単一の変換マトリクスがもたらされる。
【数２７】
2010535385.tif 000029
を知って、カメラ運動による画像面におけるポイントの移動は、以下の式によって与えられる。
【数２８】
2010535385.tif 000030
この移動ベクトルの信頼性を表現するために、運動学の計算は、決定論的であるので、
【数２９】
2010535385.tif 000031
の測定された深さ
【数３０】
2010535385.tif 000032
の質だけを考慮する必要がある。
【数３１】
2010535385.tif 000033
の信頼性は、左及び右のカメラ画像の間の差異アルゴリズムによって見出される相関の量に関係する。これは、ある信頼度の値
【数３２】
2010535385.tif 000034
で表される。さらに、増加する距離にしたがって低下する正確さを考慮することができる。
【００３０】
差異からの深さ推定に対する感度は、距離の二乗にしたがって低下する。
【数３３】
2010535385.tif 000035
【００３１】
ここで、ｂはベースラインを、ｆは焦点距離を、ｑはカメラの画素サイズを示す。
【数３４】
2010535385.tif 000036
に対する尤度を何らかの確率分布の形で記述するのが望ましいので、増加する分散
【数３５】
2010535385.tif 000037
を
【数３６】
2010535385.tif 000038
として宣言して、信頼性の低下を増加する分散によって表してもよい。ここで、1は単位マトリクスである。スカラーweは、全分散の重み付けを表すのに使用することができ、この分散をオプティカルフロー（OF)からのものと比較するのに有益である（以下の記載を参照のこと）。さらに、
【数３７】
2010535385.tif 000039
は、信頼度または距離のいずれかの影響を強調するのに利用することができる。
【００３２】
自己の動きフロー（EMF）を基準としたフローの計算
自己の動き（EM）の効果は、画像上で計算されているので、この段階で、この自己の動きフロー（EMF）を基準とした、Im to Inの間のオプティカルフロー（OF)
【数３８】
2010535385.tif 000040
を計算することができる。オプティカルフロー（OF)の計算の後で、自己の動き（EM）の効果を相殺する他のアプローチと比較して、この方法は、獲得される動きのスペクトルを減少させる。図３に示されているこの効果は、計算時間を減少させるだけではなく、あいまいさを減少させることによりオプティカルフロー（OF)推定を向上させる。
【００３３】
自己の動き（EM）の効果は、画像をゆがめることによって補償することができる。本ケースでは、順方向マッピングを使用してゆがめることは、
【数３９】
2010535385.tif 000041
と記述することができる。ここで、
【数４０】
2010535385.tif 000042
は、旧画像
【数４１】
2010535385.tif 000043
に等しいが、測定された自己の動き（EM）の効果の影響を受けない。この種類の順方向マッピングは、二つの主要な欠点を有する。
【数４２】
2010535385.tif 000044
は、通常、実数値の移動をコード化するので、データポイント
【数４３】
2010535385.tif 000045
がグリッド内に存在せず、複雑な内挿が必要となる可能性がある。さらに、ゆがめられた画像におけるそれぞれのポイントは、元の位置および移動の和によってマッピングの対象とされている保証がないので、ゆがめられた画像に穴が生じる。
【００３４】
より柔軟な解決策は、実際の画像
【数４４】
2010535385.tif 000046
【数４５】
2010535385.tif 000047
へゆがめるのに逆方向マッピングを使用することである。
【数４６】
2010535385.tif 000048
【００３５】
データポイントとは、結果として生じる画像
【数４７】
2010535385.tif 000049
に対する引数としてわたされるので、画像における穴は生じない。実数値移動の問題は、ソース画像における双線形補間によって取り組んでもよい。誤った深さ測定値による偏差を別として、
【数４８】
2010535385.tif 000050
及び
【数４９】
2010535385.tif 000051
は、個別の物体の動きに伴うポイントにおいてのみ異なる。それにもかかわらず、激しい体の運動を伴うある状況においては、図４ａに示すように、深さ画像Dmにおける穴が、画素ごとにゆがめられた画像においてアーティファクトを生じることがある。これらのアーティファクトは、計算されたオプティカルフロー（OF)の誤差につながり、たとえ、周囲の領域が有効な深さ推定を有していても、周囲の領域に影響を与える。第１スステップにおいて、これらのアーティファクトは、有効な自己の動きフロー（EMF）の推定から得られた適切な仮定を使用して、無効な領域を埋めることによって減少させてもよい。
【００３６】
本発明の一実施形態において、有効な深さ推定から得られた、平均的な自己の動きフロー（EMF）
【数５０】
2010535385.tif 000052
は、ギャップを埋めるように使用してもよい（図４ｂ参照）。ゆがめられた画像、したがって、オプティカルフロー（OF)の、信頼性が減少することを明らかにするように、無効な深さ領域の近く及び内部で高く、その他で０であるペナルティマップを生成してもよい。
【００３７】
オプティカルフロー（OF)アルゴリズムへ、
【数５１】
2010535385.tif 000053
及び
【数５２】
2010535385.tif 000054
をわたすことによって、推定された自己の動きフロー（EMF）を基準として、それぞれのポイントに対して、速度推定
【数５３】
2010535385.tif 000055
が得られる。該アルゴリズムは、画素ごとの独立したガウスノイズを仮定して、オプティカルフローベクトルに対する信頼度測定を与える、共分散
【数５４】
2010535385.tif 000056
を計算してもよい。
【００３８】
ゆがみに基づくペナルティを含めるために、ポイント
【数５５】
2010535385.tif 000057
における複合分散
【数５６】
2010535385.tif 000058
を
【数５７】
2010535385.tif 000059
として計算してもよい。
【００３９】
無効なポイントに対して、
【数５８】
2010535385.tif 000060
を選択すると、信頼度に基づく分散の影響は無視しうるものである。これは、ゆがめられた画像において、アーティファクトは、特定の領域において構造を増加させ、オプティカルフロー（OF)アルゴリズムの高い信頼度測定に至るので、有益である。
【００４０】
空間的な積分の他に、提案された発明は、以前の推定を考慮することにより、構造化されていない画像領域における動きの信頼性のある計算を反復的に行なう能力を与えることにより、時間にわたる推定も可能とする。フローアルゴリズムの理想的な結果は、動いていない物体に対してゼロであり、そのほかに対して適切な動きを示す、ベクトルフィールドである。しかし、オプティカルフロー（OF)も差異からの深さ測定値も非常にノイズの多い信号なので、物体の適切な動き（OPM）の検出には、さらなるフィルタリングが必要である。
【００４１】
物体の適切な動き（OPM）の検出
前章において、画像フローの計算のための二つのアプローチを導入した。それらは非常に異なった方法を使用するので、異なった特徴を示す。自己の動きフロー（EMF）の計算は、差異と運動学に基づいているので、ポイントが動いていない限り、画像ポイント上で自己の動き（EM）の効果を獲得することができる。対照的に、オプティカルフロー（OF)は、動いているポイントに対しても機能する。相対的なオプティカルフロー（OF)に自己の動きフロー（EMF）を加えることにより、物体の適切な動き（OPM）及び自己の動きフロー（EMF）効果の複合した網膜の運動を示す、総合的なフローが得られる。動いていないポイントに対しては、このフローは自己の動きフロー（EMF）に等しく、動いているポイントに対しては、異なるはずである。この距離の大きさの測定値は、オプティカルフロー（OF)から、物体の適切な動き（OPM）ベクトルを抽出するために、導入し使用してもよい。
【００４２】
この測定値は、推定されたフロー、深さ及び画像についての統計的な仮定から導かれる。したがって、画像aにおけるそれぞれのポイント
【数５９】
2010535385.tif 000061
に対して何らかの統計的な変数を定義する必要がある。上述の総合的なフローのそれぞれのベクトルは、変数
【数６０】
2010535385.tif 000062
によって表現され、
【数６１】
2010535385.tif 000063
は、それぞれのポイント
【数６２】
2010535385.tif 000064
に対する自己の動きフロー（EMF）ベクトルを記述する。ランダムな変数  I = {Im,In}  及び  D = Dm  は、観察されたソース画像および深さを規定する。
【００４３】
本アプローチの主要なアイディアは、対応するポイントが静的であると仮定して、自己の動きフロー（EMF）及び複合的なオプティカルフロー（OF)から同じ速度viを測定する確率を推定することである。すなわち、あるポイントが動いていなければ、
【数６３】
2010535385.tif 000065
によって記述される速度は、
【数６４】
2010535385.tif 000066
とそれほど異なるはずはなく、両方の方法から何らかの同一の速度viを測定する尤度は高い。対照的に、動いているポイントは、
【数６５】
2010535385.tif 000067
及び
【数６６】
2010535385.tif 000068
の結果が異なるので、両方の方法から同一の速度viを測定する尤度は非常に低い。結論として、高い、結合確率
【数６７】
2010535385.tif 000069
は、静的なポイントを示し、低い確率は動いているポイントを示す。
【数６８】
2010535385.tif 000070
の従属性についての仮定を考慮すると、この結合分布は、以下のように分解することができる。
【数６９】
2010535385.tif 000071
ソース画像および深さについて、仮定はされていないので、対応する変数は一様に分布しており、したがって、分布に影響を与えない。自己の動きフロー（EMF）及びオプティカルフロー（OF)に対する予め計算された結果を使用して、条件付き分布は、平均値および分散を備えたガウス分布
【数７０】
2010535385.tif 000072
によって以下のように近似することができる。
【数７１】
2010535385.tif 000073
【００４４】
式（１２）の
【数７２】
2010535385.tif 000074
を加えることは、画像をゆがめることを説明し、
【数７３】
2010535385.tif 000075
は、自己の動きフロー（EMF）を基準としたフローを符号化し、
【数７４】
2010535385.tif 000076
及び
【数７５】
2010535385.tif 000077
の和は、フローを絶対値のフローとし、自己の動きフロー（EMF）との比較を可能とする。この近似により、結合分布は、２個のガウス分布の積に比例し、以下のように定義される。
【数７６】
2010535385.tif 000078
ここで
【数７７】
2010535385.tif 000079
この手順は、それぞれの時間ステップに対して同一であるので、時間のインデクスは、便宜上省いている。
【００４５】
この積を視覚化したものを図５に示す。結果としての分布の平均値
【数７８】
2010535385.tif 000080
は、両方のアルゴリズム、自己の動きフロー（EMF）及びオプティカルフロー（OF)によって測定される、最ももっともらしい同一の速度と解釈することができる。共通の速度の仮定に最もよく適合する値を見つけることは常に可能であるが、因子Lは、計算された変位及び分散に照らして、
【数７９】
2010535385.tif 000081
が、実際にどの程度適合するかを記述する基準である。物体の適切な動き（OPM）を評価するために、ベクトル
【数８０】
2010535385.tif 000082
の値よりも、そのようなベクトルが生じうるかどうかに関心がある。したがって、オプティカルフロー（OF)推定の拒絶は、この値Lを基礎としてもよく、Lに対数を適用することにより、さらに単純化することができる。
【数８１】
2010535385.tif 000083
【００４６】
すなわち、光学的に測定された速度を物体の適切な動き（OPM）として分類するかどうかの決定は、自己の動きフロー（EMF）及びオプティカルフロー（OF)の分散によってスケールを決められた、その速度の絶対値に基づく。
【数８２】
2010535385.tif 000084
をマハラノビス・ノルム
【数８３】
2010535385.tif 000085
と定義して、大きなマハラノビス・ノルムは、動いているポイントを示し、したがって、オプティカルフロー（OF)の計算を信頼することができる。正式には、このことは以下のように表現することができる。
【数８４】
2010535385.tif 000086
後続の処理段階において、信頼のおける測定可能な、物体の適切な動き（OPM）が生じる、視覚入力の領域を抽出するのに、
【数８５】
2010535385.tif 000087
を使用してもよい。
【００４７】
結論
本発明は、動いているプラットフォームから物体の適切な動き（OPM）を知覚することができる方法及びシステムを提供する。オプティカルフロー（OF)の計算に先立ち自己の動きフロー（EMF）を補償することを含む、ステップごとの運動の推定が、ロボットの安定した自己の動き（EM）に対するシステムのロバスト性のための中心的な態様と考えられる。深さ及びフロー推定におけるノイズに対するロバスト性は、サイズ及び信頼性に基づいて速度を無視する、確率的な拒絶メカニズムの結果である。
【００４８】
本方法及びシステムによって計算された、物体の適切な動きは、視覚的な注意をひきつけること及びリアルタイムの物体との相互作用に使用することができる。より詳細には、自律的なロボットまたは自動車は、本発明によって定められた、物体の適切な動きを使用して、たとえば、自身の運動を制御し、動いている物体を、検出体の視野の中心に維持することによって、その動いている物体を追跡するなど、制御することができる。
【図１】
2010535385.tif 000088
【図２ａ】
2010535385.tif 000089
【図２ｂ】
2010535385.tif 000090
【図３ａ】
2010535385.tif 000091
【図３ｂ】
2010535385.tif 000092
【図４ａ】
2010535385.tif 000093
【図４ｂ】
2010535385.tif 000094
【図５】
2010535385.tif 000095
【国際調査報告】
2010535385.tif 000096
2010535385.tif 000097
2010535385.tif 000098