(57)【特許請求の範囲】
【請求項１】
動的な視覚的シーンからの画像シーケンスにおいて背景領域から図領域を分離するための方法であって、
画像を取得するステップ（１２０）と、
画像の各位置において局所的動き推定および信頼度を計算するステップ（１３０）と、
局所的動き推定でレベルセット関数の作用する位置を動かし歪ませ且つ局所的動き信頼度に基づいてレベルセット関数の強さをスメアさせてレベルセット関数を修正し、それにより、前記画像と幾何学的に対応し且つ動き推定の信頼度が低い位置で強さが拡散した予測レベルセット関数をもたらすステップ（１４０）と、
前記画像の入力特徴を得るステップ（１５０）と、
修正されたレベルセット関数と得られた前記入力特徴とを使用して前記画像の背景領域から図領域を分離するマスクを計算するステップ（１６０）と、
前記画像から図領域を抽出するステップ（１７０）と、
終了基準が満たされるまで前記ステップを繰り返すステップ（１８０）と、
を備える方法。
【請求項２】
図領域のための全体的動きパターンを計算するステップを更に備え、局所的動き推定および全体的動きパターン計算からの結果が、レベルセット関数を修正する前記ステップ（１４０）で使用される、請求項１に記載の方法。
【請求項３】
ステップ（１３０）で得られる動き情報が画像の入力特徴に含まれる、請求項１または請求項２に記載の方法。
【請求項４】
赤外線カメラシステムから得られる入力特徴を含む、請求項３に記載の方法。
【請求項５】
画像取得は、ロボットまたは車などの移動プラットフォームに装着されるカメラを介して行なわれる、請求項１ないし請求項４の一項に記載の方法。
【請求項６】
入力画像及び／又は動き推定は、入力画像中の物体の予期される動き、したがって、レベルセット関数の予期される動きと、分離による物体輪郭とを補償する機構を含む、請求項１ないし請求項５の一項に記載の方法。
【請求項７】
図地分離ステップは、物体の予期される特徴形態または物体の輪郭特性に関する情報および制約を組み入れる、請求項１ないし請求項６の一項に記載の方法。
【請求項８】
コンピュータによって実行されるときに請求項１ないし請求項７の一項に記載の方法を実施する命令を記憶する機械可読媒体。
【請求項９】
ロボットを制御するための方法であって、請求項１ないし請求項７の一項に記載の方法を使用する方法。
【請求項１０】
動的な視覚的シーンからの画像シーケンスにおいて背景領域から図領域を分離するための装置であって、
画像を取得するための手段（５２０）と、
画像の各位置における局所的動き推定および信頼度を計算するための手段（５３０）と、
局所的動き推定を用いてレベルセット関数の作用する位置を動かし歪ませ且つ局所的動き信頼度に基づいてレベルセット関数の強さをスメアさせてレベルセット関数を修正し、それにより、画像と幾何学的に対応し且つ動き推定の信頼度が低い位置で強さが拡散される予測レベルセット関数をもたらす手段（１４０）と、
画像の入力特徴を得るための手段（５５０）と、
修正されたレベルセット関数と得られた入力特徴とを使用して画像の背景領域から図領域を分離するマスクを計算するための手段（５６０）と、
画像から図領域を抽出するための手段（５７０）と、
終了基準が満たされるかどうかをチェックするための手段（５８０）と、
を備える装置。
【請求項１１】
請求項１０に記載の装置を備える車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動的シーンにおいて背景から画像の一部を連続分離するための方法および装置に関する。
【背景技術】
【０００２】
画像処理用途およびコンピュータビジョン用途において、図地分離は、多くの後処理段階の質をかなりの程度まで決定する重要な処理ステップである。これらの後処理段階としては、例えば、物体検出、物体分類、物体特性の正確な推定、物体境界の決定、および、物体の重なり等が挙げられる。図地分離が十分に正確ではない場合には、物体分類が失敗する。これは、画像の一部が物体に属していない場合であっても、画像の一部が物体に属しているものとして解釈されるからである。
【０００３】
物体が移動し、変形し、その外観を変える動的なシーンにおいて、問題は、画像のどの部分が物体に属しているのかを正確に決定することだけではなく、これらの部分が経時的にどのように変化するのかを正確に決定することである。課題は、幾つか例を挙げると物体の位置、幾何学的外観、色、照度、および、反射のかなりの変化にかかわらず、「図」として識別される画像の部分領域を物体上でできる限り正確に維持することである。
【０００４】
１つの手法は、幾つかの他の視覚チャンネルによって測定される、物体の外観が実際にどのように変化しているのかに関するヒントを、図地分離システムに対して与えることである。図地分離のための多くの現在のシステムは、ａ）他のチャンネルからのこれらのヒントをうまく利用しておらず、または、ｂ）非常に簡単で限られたヒント（物体の仮定解釈のようなヒント）しか使用していない。
【０００５】
従来技術
コンピュータビジョンにおいて、図地分離は、画像を取得するとともに、対象の物体に対応する画像の部分または部分領域を対象の物体に対応しない画像の部分から分離するプロセスである。簡単に言えば、各画像ピクセル位置には、例えば値１または０をもつ二値ラベルが割り当てられる。この場合、１は物体を示しており、０は背景を示す。結果は、オリジナル画像と同じサイズを有するバイナリマスクであり、これは、背景によって生み出される効果を排除するために画像に適用される他のコンピュータビジョンプロセスのために使用でき、それにより、物体に関する特定の情報を抽出することに関与する全てのプロセスが向上される。
【０００６】
図地分離は、コンピュータビジョンの非常に良く研究された分野である。図地分離は、通常、物体領域にとって特有で且つこの領域を画像の残りの部分（地）から区別できるようにする局所的な特性または画像特徴を識別することから成る。一例として、そのような特徴は、特定のタイプの色またはテクスチャパターンであってもよいが、間接的に処理された特徴、例えば勾配の大きさ（例えば、特徴の変化の度合い）、または、動的なキュー（例えば、動きの一貫性）、または、更には、物体外観の所定のモデルであってもよい。
【０００７】
その後、図地分離のための現在のアルゴリズムは、物体を識別する特徴的な画像特徴を取得するとともに、全ての画像位置の画像特徴を現在利用できる画像で測定される特徴と比較する。比較は、各位置での「図」の程度を決定するスコアをもたらす。その後、タスクは、スコアが最大となる領域を見つけることである。これを行なうための１つの方法は、その後に図領域を変えることによって研究され得る、図領域の全ての位置にわたって「図」スコアを積算する数学関数（「図」部分を特徴付ける領域を表わす関数に依存する積分）をセットアップすることによるものである。この場合、現在の画像を最も良く特徴付ける図地分離は、全体的な「図」スコア関数の最大化によって得られる。そのような関数の最大化技術は、勾配上昇を最大機能スコアの方向へと果たすために「図」部分関数の局所的変化を表わす展開方程式をもたらす。エネルギ関数は、例えば曲率長および平滑性を考慮に入れて、領域境界で更なる制約を伴って延在できる。
【０００８】
この種の図地分離アルゴリズムにおける特に代表的なものは、画像分離のためのいわゆる２領域レベルセット方法である（［１、２］参照）。
【０００９】
コンピュータビジョンの第２の良く研究された分野は、光学的な動き推定である。ここでは、２つの画像フレーム間の局所的な変形が推定される。すなわち、目的は、局所的なパッチ間の一致を見つけ、それにより、第１の画像のパッチが第２の画像のパッチを構成するためにどのように移動し得たかを言及できるようにすることである。パッチの一致性を推定するためには、経時的なパッチ外観変化、特に第１の画像から第２の画像への変化についての一般的な仮定が必要とされる。標準的な仮定は、パッチの外観が変化せず、それにより、我々が異なる位置でのみ第２の画像中で第１の画像からの同じパッチを探すということであり、あるいは、パッチがそれらの外観をゆっくりと連続的に変えるということである。
【００１０】
動き推定は、その信号の性質（例えば動き絞り問題を引き起こす局所的なパッチ）の結果として本質的に曖昧である。このことは、推定が、想定し得る動きのための信頼度を示すことにより、完全に確率的に［３、４］あるいは減少された形式で表わすことができるパッチの複数の想定し得る動きをもたらすことを意味する。
【００１１】
オプティカルフローアルゴリズムは、それらが画面にわたって規定されるベクトル場を与え、それにより、例えば第１の画像の各ピクセルが、我々が第２の画像へ行くときにこのピクセルの周囲の局所的な画像パッチが移動した場所を示す対応するフローベクトルを伴うという意味で、２つの画像間の動きの近似を構成する。したがって、これらのアルゴリズムでは、複数の動き仮説が無視され、動きベクトルのための１つの信頼度だけが各位置において採用される。標準的なオプティカルフローアルゴリズムは例えば［５−７］に記載されている。
【００１２】
この発明に関連するコンピュータビジョンからの第３の分野は物体トラッキングである。物体トラッキングとは、連続画像のシーケンスにおいて物体の位置を見つけることであり、高レベルビデオ解析において基本的なタスクを構成する。［８］には、物体トラッキングアルゴリズムの包括的な調査が与えられている。ビジョンタスクに応じて、物体トラッキングアルゴリズムは、幾つかの物体表示（例えば、単一の点；矩形、楕円形、および、部分ベースの複数のパッチ；物体輪郭、および、シルエット）、物体検出方策（例えば、ポイント検出器、背景減算、および、画像分離）、および、物体位置確認のための予測方法（例えば、確率的および決定論的モデル、パラメトリックおよびノンパラメトリックモデル）に基づいている。非剛体物体変形（例えば、歩いている人）、複雑で急速な物体移動（例えば、遊んでいる子供）、全体の物体外観変化（例えば、前側  対  後側）、および、物体閉塞は、物体トラッキングの分野において多くの課題の一部を形成する。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】Osher, S., Sethian, J.A.: Fronts propagating with curvature-dependent speed: Algorithms based on Hamilton-Jacobi formulations. J. Comput. Phys. 79 (1988) 12-49
【非特許文献２】Rousson, M., Deriche, R.:A variational framework for active and adaptative segmentation of vector valued images. IEEE Workshop on Motion and Video Computing, Orland, Florida (December 2002)
【非特許文献３】Weiss, Y., Fleet, D.: Velocity likelihoods in biological and machine vision. In probabilistic Models of the Brain: Perception and Neural Function, MIT Press (2002) 77-96
【非特許文献４】Willert, V., Eggert, J., Adamy, J., Koerner, E.: Non-gaussian Velocity distributions integrated over space, time, and scales. In: IEEE Trans. Syst., Man, Cybern. B. Volume 36. (June 2006) 482-493
【非特許文献５】Horn, B.K.P., Schunck, B.G.: Determining optical flow. Artif. Intell. 17(1-3) (1981) 185-203
【非特許文献６】Breauchemin, S.S., Barron, J.L.: The computation of optical flow. ACM Comp. Surv. 27(3) (1995) 433-467
【非特許文献７】Singh, A.: An estimation-theoretic framework for image-flow computation. In: 3rd IEEE ICCV. (1990) 168-177
【非特許文献８】Yilmaz, A., Javed, O., Shah, M.: Object tracking: A survey. ACM Comput. Surv. 38(4)(2006) 13
【発明の概要】
【発明が解決しようとする課題】
【００１４】
したがって、本発明の目的は、図地分離のための方法および装置を提供することである。
【課題を解決するための手段】
【００１５】
本発明の目的は、特許請求の範囲の独立した組に係る方法および装置によって達成される。有利な実施形態が従属請求項に規定されている。
【００１６】
この発明において、画像シーケンスにおける２つの連続画像に関して計算される小さいパッチの移動情報は、物体の外観変化における更なるヒントとして使用される。この情報は、それを処理できる適切な図地分離方法との組み合わせによって十分に使用され、それにより、さもなければかなりの物体外観変化が正確な経時的図地分離を間違い易くし或いは計算的に非常に高価にする場合において経時的な分離プロセスが向上される。
【００１７】
本発明のこれらの態様および他の態様並びに利点は、本発明の以下の詳細な説明を図面に関連して検討すると、更に明らかになる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態に係る方法を示す図である。
【図２】本発明の第２の実施形態に係る方法を示す図である。
【図３】動き場によるレベルセット関数の幾何学的修正を示す図である。
【図４】動き信頼度によるレベルセット関数の修正を示す図である。
【図５】本発明の一実施形態に係る装置の概要を示す図である。
【発明を実施するための形態】
【００１９】
図１は本発明の第１の実施形態に係る方法を示す。画像は、２つの領域Ωｆ（図）およびΩｂ（背景）に分けられるようになっているものとする。
【００２０】
本方法の核心は、以下のように規定することによって図領域および背景領域Ωｆ、Ωｂを抽出できる高度場を表わすために使用されるレベルセット（ＬＳ）関数φ（ｘ、ｙ）である。
【数１】
0005006304.tif 000002
【００２１】
この場合、図領域は、ＬＳ関数が０よりも大きい全ての位置によって規定され、背景領域は、ＬＳ関数が０よりも小さい全ての位置によって規定される（ＬＳ関数が０に等しい部分は、図と地との間の境界を構成する）。
【００２２】
レベルセット関数は図地分離アルゴリズムの結果として修正され、それにより、図領域対地領域の改良された描写を付加的に与えるスコア関数を最適化する緩和アルゴリズムがもたらされる。また、レベルセット関数は、初期条件としてアルゴリズムを入力する。この場合、連続設定で、最後の時間ステップからのＬＳ関数の修正バージョンが使用され、現在の時間ステップの図地分離が開始される。
【００２３】
個々の方法ステップは以下の通りである。
【００２４】
ステップ１１０では、初期画像Ｉ０（ｘ、ｙ）および初期ＬＳ関数φ０（ｘ、ｙ）を与えることによって方法が初期化される。初期画像は、ユーザ相互作用によって、あるいは、例えば物体を含むように高い確率をもってシーンの「興味深い」領域を抽出するモジュールなどの他の視覚処理モジュールによって選択することができる。また、ＬＳ関数は、ユーザ相互作用によって、物体が存在するおおよその領域を描写することによって、あるいは、物体の位置および延在についての粗い推定を与える他の視覚処理モジュールによって設定することもできる。
【００２５】
ステップ１２０では、画像取得装置、例えばカメラによってシーンの画像Ｉｔ（ｘ、ｙ）が取得される。
【００２６】
ステップ１３０では、局所的な動きが計算される。すなわち、画像の各点毎に局所的動き仮説Ｍｔ（ｘ、ｙ）が抽出される。動き仮説は、画像位置（ｘ、ｙ）の周囲のパッチが第１の画像から第２の画像へ移動した可能性がある場所を表わす。動き推定情報は、図地分離との以後の組み合わせに関する何らかの最小信頼度データを必要とし、そのため、ここでは、これらを計算できる確率的動き抽出方法が使用されなければならない。
【００２７】
少なくとも２つの画像、すなわち、少なくとも１つの前回の画像、例えばＩｔ−１（ｘ、ｙ）と現在の画像Ｉｔ（ｘ、ｙ）は、第１の画像からのパッチが受けた移動を表わす局所的な動きを推定して、第２の画像の近似バージョンを結果として与えるために使用される。このことは、第１の画像がこの情報を用いて幾何学的に歪められる場合に第１の画像から第２の画像をどのように得ることができるのかを表わす起こり得る幾何学的な歪みが推定されることを意味する。局所的動き推定は、全体的な動きパターン制約の付加によって高めることができ、それにより、動き仮説
【数２】
0005006304.tif 000003
がもたらされる。その後、動き推定ストリームのジョブが基本的に行なわれる。
【００２８】
あるいは、近似として、標準的なオプティカルフロー法を使用できるが、それらの方法は、通常、動きベクトルに関する信頼度データを与えないため、このデータを適切なヒューリスティックスを介して何らかの他の手段によって抽出しなければならない（可能性は、例えば、画像中に内在する構造／テクスチャを見て、この構造が存在しない或いは曖昧な場合に更に低い信頼度を戻すことである）。
【００２９】
ステップ１４０では、ＬＳ関数（function、ファンクション、この明細書では図３，図４に示すレベルセットの強さの分布φ(x)をいう。）が修正される。最後の時間ステップ中に図が分離されたと仮定し、また、対応するＬＳ関数が利用できると仮定する。分離されなければならない物体がここで移動する場合、ＬＳ関数は適合せず、それにより、最終的に、分離アルゴリズムは物体を回復させない。したがって、現在の時間ステップにおけるよりよい近似ＬＳ関数を見つけるため、最後の時間ステップのＬＳ関数は、確率的な動き推定結果を用いてそれを歪ませスメア（smear、拡散させぼかすこと）を生じさせることによって更新される。結果として、動き推定にしたがってＬＳ関数がシフトされ、それにより、ＬＳ関数は、移動された物体と再び適合するとともに、動き情報が信頼できる場所および信頼できない場所を考慮に入れる。そのような初期条件を用いると、分離アルゴリズムによって物体を回復させる機会が非常に高められ、それにより、システムは、長い期間にわたって、かなりの幾何学的変化にもかかわらず、連続した図地分離を行なうことができる。
【００３０】
最後の時間ステップのＬＳ関数の修正は、方法の動き推定部分からの情報を組み入れることによって行なわれる。詳しくは、最後の時間ステップからのＬＳ関数φｔ−１（ｘ、ｙ）は、現在の時間ステップに関して予測された変換ＬＳ関数φｔ（ｘ、ｙ）を得るために歪まされ（移動され空間的にゆがめられ）、スメアが生じさせられる。これは、入力画像Ｉｔ（ｘ、ｙ）の現在の時間ステップの図地分離のための初期条件として使用され、それにより、背景から図を良好に分離する改良されたＬＳ関数φｔ（ｘ、ｙ）がもたらされる。図地分離自体は、入力画像を前処理することによって得られるが動き情報Ｍｔ（ｘ、ｙ）および
【数３】
0005006304.tif 000004
または画像Ｉｔ（ｘ、ｙ）からのカメラ座標系と位置合わせされた他のソースからの特徴マップも含むことができる特徴
【数４】
0005006304.tif 000005
の所定の組を使用する。
【００３１】
技術的に、最後の時間ステップのＬＳ関数の修正は、幾つかの方法で実施されてもよい。本発明の１つの実施形態では、完全確率的動き推定が使用され、ＬＳ関数が全ての可能な動き方向へシフトされるとともに、全てのシフトされたＬＳ関数のそれらのそれぞれの確率で重み付けられるピクセル単位加算が各位置で行なわれる。位置ごとに単一の動き仮説だけを戻すオプティカルフローアルゴリズムが使用される場合には、オプティカルフローベクトル場にしたがってＬＳ関数を歪ませ、その後、図領域境界で急勾配度を直接に調整することによって或いは動きベクトル信頼度により決定される位置依存空間拡散を適用することによって、低い信頼度の位置でＬＳ勾配を滑らかにする手続きを適用してもよい。この場合、低い信頼度は、大きい拡散定数、したがって、大きなスメアをもたらし、一方、高い信頼度は、小さい拡散定数、小さなスメアをもたらす。
【００３２】
ステップ１５０では、キュー
【数５】
0005006304.tif 000006
が計算される。ステップ１５０はステップ１４０から独立しているため、２つのステップは同時に行なわれてもよい。
【００３３】
ステップ１６０では、キューおよびＬＳ関数を使用して物体（「図」）および背景が分離される。
【００３４】
ステップ１７０では、物体が抽出される。これは、物体を覆う図領域の計算、および、物体の位置、速度および特性のような派生的測定、並びに、この情報を他の後処理モジュールへ送ることを伴う。
【００３５】
ステップ１８０では、方法が継続すべきかどうかが決定される。Ｙｅｓの場合、方法は、次の画像を取得するためにステップ１２０へジャンプして戻る。Ｎｏの場合には、方法が終了する。例えば方法がどの程度の確率で物体または所望の図領域を見失うのかを評価することによって、チェックが自動的であってもよい。あるいは、このステップは、他の処理モジュールによって或いはユーザ相互作用によって制御できる。
【００３６】
一般に、方法はコンピュータ上で実施されてもよい。場合により、前記方法の結果は、例えば物体トラッキングのため、専門モジュールへ出力されてもよい。また、動き推定システムは、図領域におけるより全体的な動き仮定によって高度化されて拡張されてもよい。これは、例えば、テクスチャが全く存在しない場合である、信頼できる局所的動き測定が不可能な、画像のそれらの位置において有益である。このとき、全体的動き仮定は、例えば並進、拡張および回転の混合を含む、したがって、局所的動き測定において低い信頼度を伴う位置に全体的動きパターンを課すアフィン動きパターンのグループの特定の種類の動き間パターンを制約する。
【００３７】
図２は、本発明の第２の実施形態に係る方法のフローチャートを示す。同じ参照符号を有する図１に関連して既に説明したステップの他に、フローチャートは、全体的動きパターンが抽出されるステップ２１０を更に備える。
【００３８】
このステップでは、全体的動きパターンの抽出のため、図領域からの局所的動き推定が取得され、これらと許容全体的動きパターンの組との間の最良適合が検索されるとともに、その後に局所的動き推定と合併され得る勝ち全体的動きパターン
【数６】
0005006304.tif 000007
が戻される。
【００３９】
次の物体輪郭の予測のための動き情報の検討は、外部ソースからの補償メカニズムの組み入れも可能にする。これは、例えば、ロボットや車のような移動プラットフォームから得られるカメラ画像に関して本方法を使用する場合であり、これらのカメラ画像から、それ自体のエゴモーションに関する何らかの情報を利用でき、その場合、予期される動きは、（全体的動きパターン
【数７】
0005006304.tif 000008
と同様の方法で）推定され、それに応じて入力画像を前処理するために使用されてもよく、あるいは、局所的動き測定と合併され、それにより、次のＬＦ関数のより良い予測を生み出してもよい。
【００４０】
図３は、動き場によるレベルセット関数の幾何学的修正を示す。
【００４１】
ＬＳに基づく分離方法は、それらの関数における局所極値（最大値）に影響され、そのため、異なる初期条件が、各時間ステップのための非常に異なる、時として誤った解へとシステムを導く可能性がある。２つの処理ストリーム間のクロストークは、動き測定を用いて一貫して（図地分離を担う）ＬＳ関数を空間的に移動させて歪めることにより図地分離システムのための初期条件を改善することができ、それにより、分離システムは、画像シーケンスにおいて動きと略同期した状態に維持される。これが図３の上側に概略的に示されている。この場合、図領域および地領域は、動き仮説Ｍｔ（ｘ、ｙ）および場合により
【数８】
0005006304.tif 000009
から得られるベクトル場にしたがって調整される。図３の下側には、水平な破線に沿うレベルセット関数の断面が示されている。図と地との間の境界は、ＬＳ関数がゼロレベル（破線）を横切る位置によって与えられる。動き測定は、基本的に、動きベクトルにしたがってレベルセット関数をシフトさせ、それにより、物体が移動しており且つその移動を動き推定システムによって取得できる場合、ＬＳ関数が物体と共に移動し続け、その結果、より良い初期条件が与えられ、したがって、分離が容易になる。
【００４２】
また、動き推定システムからの確率的測定または信頼度測定の組み入れにより、初期条件が新たな入力に最適に備えることができる。
【００４３】
図４は、動き信頼度によるレベルセット関数の修正を示す。信頼度が低い画像位置では、ＬＳ関数がその急勾配度（その勾配）を減少させ、それにより、現在入ってくる入力画像がその特徴からこれをサポートする場合には、セグメント化された領域の再調整が更に速くなる。それとは反対に、信頼度が高い画像位置では、ＬＳ関数がその急勾配度を増大させ、そのため、分離処理中の再調整が更に遅くなり、それにより、これらの位置は、分離プロセスを制約する信頼度アンカーとしての役割を果たす。ある意味では、信頼度は拡散フィルタとしての役目を果たし、その場合、低い信頼度が大きい拡散およびスメアをもたらし、また、高い信頼度が小さい拡散およびスメアをもたらす。これが図４に示されており、この場合、ＬＳ関数断面は（信頼度が低い）左側で小さな勾配を有するが、信頼度が高い右側では、勾配が急なままである。
【００４４】
動き、歪み、および、拡散変化を一緒に取得すると、より正確な解により速く到達するために緩和アルゴリズムを助ける図地分離のための改善された初期条件が得られ、それにより、計算時間および分離能力が向上される。前述した方法の数学的内容は添付の書面に記載されている。
【００４５】
また、本発明は、画像シーケンスにおいて図領域を背景領域から分離するための装置も備える。分離装置は、その後の画像間のパッチ対応を抽出するオプティカルフロー推定モジュールと、図分離モジュールと、オプティカルフロー推定からの結果に基づいた図分離モジュールの状態の適切な更新とを備えていてもよい。
【００４６】
図５は、本発明の１つの実施形態に係る装置の概要を示す。特に、装置は、画像を取得するための手段５２０と、画像の各位置における信頼度および局所的動き推定を計算するための手段５３０と、局所的動き推定および信頼度に基づいてレベルセット関数を修正するための手段５４０と、一連のキューを使用することによって画像の入力特徴を得るための手段５５０と、修正されたレベルセット関数と得られた入力特徴とを使用して画像の背景領域から図領域を分離するマスクを計算するための手段５６０と、画像から図領域を抽出するための手段５７０と、終了基準が満たされるかどうかをチェックするための手段５８０とを備える。
【００４７】
図５には、前述した方法ステップ１１０と同様に装置を初期化するための手段５１０が図示されていない。画像を取得するための手段５２０は、１または複数のカメラを備えていてもよい。また、該手段は、赤外線画像を与えることができる。
【００４８】
本発明に係る方法及び／又は装置は、１または複数の物体をオンラインで追跡できる能力を与える。これらは、例えばロボットまたは車など、この能力を必要とするシステムで使用されてもよい。ロボットにおいて、本発明に係る方法及び／又は装置は、特定の物体に近づき或いは該物体を把持するなど、ロボットの更なる動作を引き起こす際に使用されてもよい。車において、特定された物体は、例えば交通標識を認識できる能力を与える更なる画像分類方法を受けてもよい。この情報は、その後、例えば警告信号を発するため、または、自動速度制御のため、車のドライバ支援システムで使用されてもよい。
【００４９】
要約すると、本発明は、画像分離および確率的動き推定または信頼度測度によって高められる動き推定のそれぞれのためのレベルセット方法に基づく物体輪郭追従手法を提案する。物体検出のためのレベルセット方法を使用することにより、テンプレートドリフトに対する動的なテンプレート適合を伴うトラッキング用途および減少するロバスト性に対するテンプレート適合を伴わない用途につながる物体外観変化および非剛体物体変形によって課される問題を克服することができる。物体輪郭の予測のために確率的動き推定を利用することは、非剛体物体変形、複雑な物体移動、および、急速な物体移動を表わすことができ、したがって、匹敵する低いカメラフレームレートの存在下であってもレベルセット方法のロバストで急速な収束をもたらす信頼できる初期輪郭を分離方法に対して与えることができるノンパラメトリック予測モデルを構成する。また、レベルセット関数の値の新規な解釈が導入される。すなわち、物体およびその周囲を決定するためにレベルセット関数の符号を排他的に考慮する最新のレベルセット方法とは異なり、本発明は、予測された初期輪郭における信頼度を反映させるためにレベルセット関数の値を使用する。これは、高い初期信頼度を有する輪郭の領域でレベルセット方法のロバストで急速な収束をもたらすとともに、低い初期信頼度を有する領域で柔軟な殆ど拘束されない急速な収束をもたらす。
【００５０】
（書面）
提案された物体輪郭トラッキングフレームワークは、画像分離のための標準的な２領域レベルセット方法に基づいている。レベルセットフレームワークでは、画像面Ωを２つの互いに素な領域Ω１、Ω２へ分けるためにレベルセット関数φ∈Ω→Ｒが使用される。ここで、ｘ∈Ω１の場合、φ（ｘ）＞０であり、ｘ∈Ω２の場合、φ（ｘ）＜０である。ここで、我々は、Ω１が背景を示し且つΩ２が分離された物体を示すという約束事を採用する。以下の制約を組み入れるレベルセット関数φの汎関数を立てることができる。
−分離制約：各領域Ωｉ内のデータは、対応する領域記述子ρｉにできる限り類似していなければならない。
−平滑性制約：領域Ωｉを分離する輪郭の長さができる限り短くなければならない。
【００５１】
これは、以下の式２をもたらす。
【数９】
0005006304.tif 000010
【００５２】
ここで、ヘビサイド関数Ｈ（φ）であり、ｘ１＝Ｈ（φ）であり、ｘ２＝１−Ｈ（φ）である。すなわち、ｘｉは領域マスクとしての機能を果たし、ｘ∈Ωｉの場合には、ｘｉ＝１であり、それ以外の場合には、０である。第１の項は、あまり大きくない領域および滑らかな領域の境界を与える平滑性項としての機能を果たし、一方、第２の項は、位置ｘのピクセルが固有の領域割り当てを与える内側および外側領域Ω１、Ω２にそれぞれ属する割り当て確率ｐ１（ｘ）およびｐ２（ｘ）を含んでいる。
【００５３】
勾配降下を使用するレベルセット関数φに関するこの汎関数の最小化は、以下の式をもたらす。
【数１０】
0005006304.tif 000011
【００５４】
画像特徴ベクトルｆに依存する領域記述子ρｉ（ｆ）は、外側領域  対  内側領域の特性を表わす役目を果たす。各画像位置における割り当て確率ｐｉ（ｘ）は、ｐｉ（ｘ）：＝ρｉ（ｆ（ｘ））により画像特徴ベクトルに基づいて計算される。領域記述子ρｉ（ｆ）のパラメータは、領域ｉの全ての位置ｘ∈Ωｉで測定された特徴ベクトルｆ（ｘ）を使用して別個のステップで得られる。
（注１）Ｘ＞０においてはＨ（ｘ）＝１、Ｘ＜０においてはＨ（ｘ）＝０
（注２）φ、ｘｉ、ｐｉが画像位置ｘにわたる関数であることに留意されたい。
【００５５】
２．２  確率的オプティックフロー推定
時間ｔでの画像シーケンスＩ１：ｔにおける物体の特徴的な動きパターンは、物体を構成する領域内のオプティカルフローＶによって与えられる。
【００５６】
オプティカルフローＶ＝｛ｖｘ｝は、画像Ｉにおける全ての位置ｘでの全てのピクセルの速度ベクトルｖｘの組であり、そのため、各ピクセルの移動は、１つの速度仮説を用いて表わされる。この表示は、異なる種類の動き固有の一致問題（例えば絞り問題［１４］）と測定が基づくノイズの多いデータとに起因して殆どの場合にピクセル移動を確実に推定することができないという事実を無視する。特に、互いに重なり合い或いは互いに部分的に閉塞する透明な移動物体の場合においては、重なり合う領域内の画像移動を完全に表わすために幾つかの動き仮説が必要とされる。
【００５７】
幾人かの著者によって提案されて論じられているように、速度確率密度関数（ｐｄｆ’ｓ）は、幾つかの種類の動き不明確性を扱うのに良く適している。これらの考えにしたがって、我々は、以下のようにオプティカルフローＶの不確実性をモデリングする。
【数１１】
0005006304.tif 000012
【００５８】
ここで、オプティカルフローＰ（Ｖ｜Ｙｔ）における確率は、全ての画像位置ｘにおける局所的に独立した速度ｐｄｆ’ｓＰ（ｖｘ｜Ｙｔ）から成る。Ｐ（ｖｘ｜Ｙｔ）は、幾つかの標準的な方法を使用して計算できる。
【００５９】
これらのｐｄｆ’ｓは、（不）確実性を伴い且つ物体輪郭トラッキングのための確率的予測方法の基準としての役目を果たす、各位置ｘにおいて利用できる動き推定を完全に表わす。
【００６０】
物体輪郭トラッキングのための確率的予測方法
初期レベルセット関数の値の解釈
一般に、レベルセット方法は、物体およびその周囲を決定するためにレベルセット関数の符号を排他的に評価する。レベルセット関数の正確な値は、殆どの手法によって考慮されない。符合付き距離関数は、レベルセット関数の勾配の絶対値を１となるようにするため、レベルセット関数の値を調整する一般的な手段である。したがって、勾配の計算を必要とする多くのレベルセットアルゴリズムが更に簡単になるとともに、レベルセット関数の値が輪郭からの距離に一致する。
【００６１】
我々がこの論文で提案し且つ次の節で詳しく説明する手法においては、レベルセット関数の値の共通の「意味のない」理解を広げることが必要とされる。画像分離のために適用されるレベルセット方法の勾配降下性およびフロント伝搬を考慮すると、レベルセット関数の高さは、数値安定性のために必要とされる特に最大時間ステップ値の存在下でのゼロ交差（領域割り当ての変化）の発生までの時間（繰り返し数）に影響を与える。したがって、レベルセット関数の高い値をそれらの近傍で示す輪郭３の部分は、レベルセット関数の低い値をそれらの近傍で特徴付ける部分と比べてゆっくりと移動する。その考えにしたがって、分離アルゴリズムのための初期レベルセット関数の急な勾配は、輪郭のゆっくりとした移動をもたらし、一方、平坦な勾配は、ほとんど制約のない急速な移動をもたらす。要するに、これにより、画像分離のための標準的なレベルセットフレームワークのアルゴリズムの変化を何ら伴うことなく、伝搬されたフロントの速度を制御できる可能性が完全に組み込まれる。確かに、輪郭の速度の操向は、分離展開と重ね合わされる局所的変調パラメータによって導入されてもよいが、これは、計算量を更に多くするとともに、分離アルゴリズムの変更を必要とする。
（注３）輪郭は、それがゼロに等しいレベルセット関数の位置として規定されることに留意されたい。
【００６２】
画像シーケンスにおけるレベルセットに基づく分離
レベルセットに基づく物体トラッカを構築する自明な手法は、先行する画像φｔ−１の最終レベルセット関数を、現在の画像の初期レベルセット関数
【数１２】
0005006304.tif 000013
として使用することである。最小化プロセスの収束を加速させるため、以下のレベルセット関数の平滑化されたバージョンを使用してもよい。
【数１３】
0005006304.tif 000014
【００６３】
この手法の性能は、トラッキングされた（追跡された）物体の速度および変形によって決まる。該手法は小さな移動および変形の存在下で物体の追跡に成功するが、巨大な変形または大きな物体移動の下では失敗する可能性が高い。
【００６４】
前述した問題を回避するため、トラッキングアルゴリズムは、次のフレームにおける物体の位置を推定する予測段階を含んでいる。我々のレベルセットに基づくフレームワークにおける一次予測方法の導入は、最後の２つの分離結果Ｘ２ｔ−１およびＸ２ｔ−２を考慮して、それらの間の変化を測定するとともに、測定された変化に基づいて現在の分離を予測する。アフィン変換Ａに基づくパラメトリック手法は、４つのパラメータ、すなわち、並進ベクトルｔ＝（ｔｘ、ｔｙ）Ｔ、回転ω、および、トラッキング用語で状態ベクトルｓ＝（ｔｘ、ｔｙ、ω、ｓ）Ｔと呼ばれるスケールｓの推定を必要とする。レベルセットフレームワークにおいて、物体並進は、内側マスクＸ２ｔ−１、Ｘ２ｔ−２の質量中心の並進によって推定されてもよく、回転は、２つのマスクの主成分４の評価によって推定されてもよく、また、スケールは、マスクサイズ比の平方根によって推定されてもよい。
【数１４】
0005006304.tif 000015
【００６５】
「０次」予測を伴う前記手法とは対照的に、高い速度を伴う物体であっても、それらが想定モデルにある程度したがう限り、追跡することができる。物体モデルを破る物体移動、特に高い動力学的移動は、先と同様、失敗をもたらす。
（注４）  マスク内の点の位置の共分散行列の最大固有値への固有ベクトル
【００６６】
高い動的移動に対処するため、高次予測モデルが利用されてもよいが、それらは、依然として、想定モデルにほぼ従う移動に対して制限を与える。他の手法は、物体に属する全てのピクセル（オプティックフロー）の真の動きの測定を含んでおり、したがって、殆どの動きモデルがカバーできない高い動力学的移動の存在下であっても次のフレームにおける物体位置を正確に推定するための手段を与える。オプティックフローの測定による前記手法を拡張することにより、回帰解析Ｒによって達成されてもよい流れ場Ｖ（Ｉｔ−１、Ｉｔ）からの状態ベクトルｓ＝（ｔｘ、ｔｙ、ω、ｓ）Ｔの推定がなされる。
【数１５】
0005006304.tif 000016
【００６７】
物体内の実際のピクセル速度は、測定されて、物体位置の正確な予測のために使用されるが、アフィンモデルは、物体の輪郭の変形において使用される。物体の強い非アフィン変形は、依然として、分離のロバスト性および収束の速度を減少させる場合がある画像分離アルゴリズムの不正確な初期化をもたらす。
【００６８】
次の節では、物体位置のノンパラメトリック推定および物体変形のノンパラメトリック推定の両方を備える完全にノンパラメトリックな手法が導入される。
【００６９】
確率的予測方法
したがって、前の節で展開された物体トラッキングアルゴリズムの拡張は、物体位置の推定におけるだけでなく、物体の正確な変形を決定する際にも、オプティカルフロー測定を組み入れる。オプティックフローＶは、既に、必要とされる全ての情報を含んでいる。所与のベクトル場にしたがって画像内の各ピクセルを移動させる画像処理ワープアルゴリズムＷｖを利用することにより、我々は、現在の画像Ｉｔの分離のための初期レベルセット関数
【数１６】
0005006304.tif 000017
を完全にノンパラメトリックに予測することができる。
【数１７】
0005006304.tif 000018
【００７０】
現在の初期レベルセット関数
【数１８】
0005006304.tif 000019
に対して前の最終レベルセット関数
【数１９】
0005006304.tif 000020
を歪ませる際には、一見してみる価値がある２つの事柄が存在する。第１に、速度ベクトルが、歪まされたレベルセット関数における所与の位置へと指し示さないことが起こり得る場合があり、したがって、対応する値を設定する仕方が不明確である。この場合、２つの方策、すなわち、（i）値を、その近傍の値の補間によって推定すること、または、（ii）ゼロで初期化されない値を単に残すこと、レベルセット用語では、これは、内側にも外側にも属さず、したがって、レベルセット展開の第１の繰り返しによって１つの領域または他の領域に対して適度に割り当てられる場所に対応する、が妥当である。第２に、複数の速度ベクトルが１つの所与の場所を指し示す場合がある。ここでは、オプティカルフローに対応してその場所へと移動する全ての値の合計が妥当な解である。先に述べたように、レベルセット関数の高さは、領域割り当ての信頼度測度として機能を果たし、したがって、線形重ね合わせは、所与の場所の割り当て上に全ての仮説を積み重ねる。
【００７１】
最後のステップでは、提案されたアルゴリズムの更にロバストで速い収束を導入するため、予測段階において全速度ｐｄｆ  Ｐ（Ｖ|Ｙｔ）を利用して、正確な初期領域
【数２０】
0005006304.tif 000021
を決定するだけでなく、初期レベルセット関数
【数２１】
0005006304.tif 000022
の最適な勾配も与える。一方向だけではなく全ての可能な方向で画像内の各ピクセルを移動させ且つ所与のピクセルおよび方向における確率Ｐ（Ｖ|Ｙｔ）によって加重される全ての移動ピクセルを重ね合わせる加重ワーピングアルゴリズムＷＰを利用することにより、我々は、最適な初期領域
【数２２】
0005006304.tif 000023
および初期レベルセット関数
【数２３】
0005006304.tif 000024
の最適な勾配の両方を決定することができる。
【数２４】
0005006304.tif 000025
【００７２】
提案された手法は、動き曖昧性を維持するとともに、オプティカルフローからの情報が曖昧で且つ低い信頼度しか与えない輪郭の部分で初期レベルセット関数の平坦な勾配をもたらし、それにより、ほぼ制約のない急速な収束をもたらす。一方、オプティカルフローが高い信頼度を有する輪郭の部分では、初期レベルセット関数が急勾配を特徴とし、それにより、輪郭が僅かしか変化されない。
【００７３】
要するに、提案された手法によれば、予測およびレベルセット画像分離段階はいずれも、対応するアルゴリズムが他のアルゴリズムよりも優れている部分で、すなわち、僅かな構造を伴い、したがってオプティックフロー測定において僅かな信頼度しか有さない輪郭の部分で、輪郭の展開を引き継ぐことができ、分離段階が輪郭展開を促進させ、一方、オプティクフロー推定が非常に正確な部分では、輪郭展開に対する分離段階の影響が抑制される。
【図１】
0005006304.tif 000026
【図２】
0005006304.tif 000027
【図３】
0005006304.tif 000028
【図４】
0005006304.tif 000029
【図５】
0005006304.tif 000030