(57)【要約】  複数の画像を含む映像データを処理するための方法（１００）およびシステム（３００）について説明する。上記方法（１００）は、上記複数の画像のそれぞれについて、複数の領域にセグメント化するとともに、キーポイントのセットを取得する工程と、第１画像と後続の画像との間の少なくとも１つの領域をトラッキングする工程（１０８）であって、上記第１画像および上記後続の画像におけるキーポイント間のマッチングを考慮に入れ、上記後続の画像におけるマッチングした領域をもたらす工程（１０８）とを含む。これにより、領域における正確なトラッキングができる。さらに、上記方法は必要に応じて、キーポイントトラッキングを考慮に入れてラベル伝搬を行ってもよい。
2011501252.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を含む映像データを処理するための方法（１００）であって、上記方法（１００）は、
上記複数の画像のそれぞれについて、複数の領域にセグメント化するとともに、キーポイントのセットを取得する工程（１０４，１０６）と、
第１画像と後続の画像との間の少なくとも１つの領域を、上記少なくとも１つの領域の外観と上記後続の画像における領域の外観とに基づいてトラッキングする工程（１０８）と、
上記第１画像と上記後続の画像におけるキーポイント間のマッチングを考慮に入れて、上記後続の画像におけるマッチングした領域を見出す工程とを含むことを特徴とする方法（１００）。
【請求項２】
上記第１画像と上記後続の画像との間の少なくとも１つの領域をトラッキングする工程は、
少なくとも１つの第１キーポイントを、上記第１画像における上記少なくとも１つの領域に関連付ける工程（２０２）と、
上記後続の画像における後続のキーポイントを上記第１キーポイントにマッチングさせる工程（２０４）と、
上記少なくとも１つの領域と、上記後続の画像における後続の領域とのマッチングを、上記マッチングしたキーポイントに関する情報に基づいて決定する工程（２０６）とを含むことを特徴とする請求項１に記載の映像データを処理するための方法（１００）。
【請求項３】
上記後続のキーポイントを上記第１キーポイントにマッチングさせる工程は、双方向マッチングを含むことを特徴とする請求項２に記載の映像データを処理するための方法（１００）。
【請求項４】
上記トラッキング工程（１０８）は、上記第１領域と上記後続の領域とが類似し、または共通している程度を表す指標をさらに考慮に入れることを特徴とする請求項１ないし３のいずれか１項に記載の映像データを処理するための方法（１００）。
【請求項５】
上記第１画像からトラッキングされた領域と上記後続の画像からトラッキングされた領域とが、ゼロでない共通するマッチングキーポイントを多数有する場合、および、全体的な類似性または共通するものが所定の値より大きい場合、上記両領域はマッチングすることを特徴とする請求項４に記載の映像データを処理するための方法（１００）。
【請求項６】
上記トラッキング工程（１０８）は、上記第１画像および上記後続の画像の少なくともいずれかにおける、接続している領域の集合をさらに考慮に入れることを特徴とする、請求項１ないし５のいずれか１項に記載の映像データを処理するための方法（１００）。
【請求項７】
上記方法（１００）は、
上記第１画像における少なくとも１つの物体についてのラベルを取得する工程（１１０）であって、上記物体は領域またはキーポイントの少なくとも１つを含む、工程（１１０）と、
上記第１画像における上記少なくとも１つの領域またはキーポイントと、上記後続の画像における上記少なくとも１つの領域またはキーポイントとの間の対応を用いて、上記後続の画像における上記物体へ上記ラベルを伝搬する工程（１１２）とをさらに含むことを特徴とする請求項１ないし６のいずれか１項に記載の映像データを処理するための方法（１００）。
【請求項８】
上記ラベルを伝搬する工程（１１２）は、
上記物体の上記ラベルに基づいて、上記第１画像における上記物体における第１キーポイントについてのキーポイントラベルを取得する工程と、
上記第１キーポイントについての上記キーポイントラベルに基づいて、マッチングする後続のキーポイントに、対応するキーポイントラベルを関連付ける工程と、
上記後続の画像における上記後続のキーポイントの上記キーポイントラベルに基づいて、上記後続の画像における上記物体についてのラベルを導出する工程とを含むことを特徴とする請求項６に記載の映像データを処理するための方法（１００）。
【請求項９】
上記ラベルを伝搬する工程（１１２）は、
上記物体の上記ラベルに基づいて、上記第１画像における上記物体における第１領域についての領域ラベルを取得する工程と、
上記第１領域についての上記領域ラベルに基づいて、上記マッチングする後続の領域に、対応する領域ラベルを関連付ける工程と、
上記後続の画像における上記後続の領域の上記領域ラベルに基づいて、上記後続の画像における上記物体についてのラベルを導出する工程とを含むことを特徴とする請求項７または８に記載の映像データを処理するための方法（１００）。
【請求項１０】
上記画像におけるキーポイントは、画素位置と、平均半径を有する画素位置を囲む範囲とを含むことを特徴とする請求項１ないし９のいずれか１項に記載の映像データを処理するための方法（１００）。
【請求項１１】
上記セグメント化は、少なくとも１つの物体が複数のセグメントと対応する、上記画像のオーバーセグメンテーションであることを特徴とする請求項１ないし１０のいずれか１項に記載の映像データを処理するための方法（１００）。
【請求項１２】
複数の画像を含む映像データを処理するための処理システム（３００）であって、上記システムは、
上記映像データにおける上記複数の画像のそれぞれについて、複数の領域にセグメント化されている、セグメント化された画像を取得する手段（３０４）と、
上記映像データにおける上記複数の画像のそれぞれについてのキーポイントのセットを取得する手段（３０６）と、
第１画像と後続の画像との間の少なくとも１つの領域をトラッキングし、上記後続の画像においてマッチングした領域を得て、上記少なくとも１つの領域の外観と、上記後続の画像における上記領域の外観とを考慮に入れ、上記第１画像および上記後続の画像におけるキーポイント間のマッチングを考慮に入れる、領域トラッキング手段（３０８）とを含むことを特徴とする処理システム（３００）。
【請求項１３】
第１画像についての少なくとも１つのラベルを受信するラベル取得手段（３１０）と、
上記第１画像における上記少なくとも１つの領域またはキーポイントと、上記後続の画像における上記少なくとも１つの領域またはキーポイントとの間の対応を用いて、上記後続の画像における少なくとも１つのラベルを伝搬するラベル伝搬手段（３１２）とをさらに含むことを特徴とする請求項１２に記載の処理システム（３００）。
【請求項１４】
動作を行うためのアプリケーションシステム（５００）であって、上記アプリケーションシステムは、請求項１２または１３に記載の処理システム（３００）と、上記処理システム（３００）を用いて取得可能な上記映像データについてのトラッキングされた領域の情報を考慮に入れて上記動作を制御するためのコントローラ（５０２）とを含むことを特徴とするアプリケーションシステム（５００）。
【請求項１５】
上記処理システム（３００）は、請求項１３に係る処理システム（３００）であり、上記コントローラ（５０２）は、上記処理システム（３００）を用いて取得可能な映像データについての伝搬されたラベルの情報を考慮に入れて上記動作を制御するように適応していることを特徴とする請求項１４に記載のアプリケーションシステム（５００）。
【請求項１６】
上記アプリケーションシステムは自動車車両であることを特徴とする請求項１４または１５に記載のアプリケーションシステム（５００）。
【請求項１７】
アプリケーションシステム（５００）を制御するための方法であって、上記方法は、請求項１ないし１１のいずれか１項に記載の方法によって映像データを処理する工程と、上記アプリケーションシステム（５００）を制御するための制御指示を上記処理された映像データから導出する工程とを含むことを特徴とする方法。
【請求項１８】
上記アプリケーションシステムは自動車車両であり、制御指示を導出する工程は、走行指示を導出する工程を含むことを特徴とする請求項１７に記載の制御するための方法。
【請求項１９】
処理手段において実行されるとき、請求項１ないし１１のいずれか１項に記載の方法を実行することを特徴とするコンピュータプログラム製品。
【請求項２０】
請求項１９に記載のコンピュータプログラム製品を記憶することを特徴とする、機械読み取り可能なデータ記憶装置。
【請求項２１】
請求項１８に記載のコンピュータプログラム製品を、ローカルまたはワイドエリア遠隔通信ネットワークを介して送信することを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像画像における物体認識に特に適用されるような、映像データの処理を行うためのシステムおよび方法に関する。より具体的には、本発明は、例えば、領域のトラッキング、および／または、領域内の物体のラベルの伝搬等の映像データの半自動または自動処理、対応する処理システム、およびこのような処理のアプリケーションに関する。
【背景技術】
【０００２】
画像における物体の識別は、医療画像、内容分析、フィルム産業、輸送および車両制御における異なる応用に活かされる。しかしながら、物体が識別されるためには、少なくともシステムの調整の間に、典型的には人間である操作者がそれらに対して明確にラベル付けを施す。現在、自動物体認識アルゴリズムでさえ、それらが調整されるためには手作業でラベル付けが施される視覚データの生成を必要とする。手作業で物体にラベル付けを施すのは手間がかかり、任意の長さのシークエンスにて大量の個別の画像を有する映像においてはなおさらである。
【０００３】
ラベル伝搬は非常に難しい問題である。なぜなら、“視覚的な識別性”に乏しい物体領域のトラッキングを必要とするからである。１つのシークエンスにおける隣接する映像画像は、伝搬を本質的に不安定にする大きなノイズレベルを有することが多い。ラベル付けを施すことやセグメンテーションを行うことに関する異なる問題が文献において論じられ、これらの作業を容易なものにするための解決策が提案されてきた。１つの例としては、識別可能な前景の物体を正確にその背景から抽出するインタラクティブなアプローチを用いるものである。このアプローチでは、ユーザーが画像のセグメンテーションにおける精度に密接に関与する。ラベル伝搬に関する問題は、カラー化の問題である。階調映像画像におけるカラー化したわずかな動作を用いて、ユーザーはいかにしてそれを実物のようにカラー化するかを特定する。カラー化を行うことが広く普及する一方、生成された色をラベルマップに変換することは簡単なことではない。
【０００４】
ラベル付けされる領域を識別するために用いられるセグメンテーションによるいくつかの技術は、ラベル伝搬の問題をより直接的に解決しようとするものである。このようなシステムは、シークエンスを介して領域を伝搬するため、動きおよび色情報に依存することが多い。このような技術の比較は、ラベル付けされたグランドトゥルースデータが不在の場合、困難である。
【０００５】
他の局所的代表的なものとしては、最大安定外部領域（Ｍａｘｉｍａｌｌｙ  Ｓｔａｂｌｅ  Ｅｘｔｅｒｎａｌ  Ｒｅｇｉｏｎ）（ＭＳＥＲ）トラッキングまたはスケール不変特徴トラッキング（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｃｋｉｎｇ）（ＳＩＦＴ）トラッキング等、セグメンテーションや強いトラッキングを行うものが存在するが、それらは希薄な特徴であり、したがって、全領域をトラックするには不十分である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、映像データを処理するための良好な方法およびシステムを、それらを利用するアプリケーションに加えて提供することである。本発明に係る実施形態の有利な点は、正確な半自動または自動の映像データ処理を実現し、略正確なデータをもたらすシステムおよび方法が得られることである。本発明の実施形態に係る実施形態の有利な点は、映像データの効率的な処理が、略正確なデータを与える処理とともに得られることである。
【課題を解決するための手段】
【０００７】
上記目的は、本発明に係る方法および装置によって達成される。
【０００８】
本発明は、複数の画像を含む映像データを処理するための方法に関し、上記方法は、複数の画像を含む映像データを処理するための方法であって、上記方法は、上記複数の画像のそれぞれについて、複数の領域にセグメント化するとともに、キーポイントのセットを取得する工程と、第１画像と後続の画像との間の少なくとも１つの領域を、上記少なくとも１つの領域の外観と上記後続の画像における領域の外観とに基づいてトラッキングする工程と、上記第１画像と上記後続の画像におけるキーポイント間のマッチングを考慮に入れて、上記後続の画像におけるマッチングした領域を見出す工程とを含む方法である。外観によって後続の画像におけるマッチングした領域を見出すとき、領域における全ての画素が比較に用いられてもよく、一方、キーポイントマッチングは、限られた数の画素のみを用いる。本発明に係る実施形態の有利な点は、映像データの処理が、領域の伝搬を決定するための様々な方法で、キーポイントの使用と領域の外観とを組み合わせ、その結果、時間の効率化と略正確な処理をもたらすことである。本発明に係る実施形態の有利な点は、映像における物体に対する、単調な作業である手作業によるラベル付けの量を制限することができ、かつ／または、映像データを通して物体の良好な表示を実現しつつ、上記のラベル付け作業の量を低減しうることである。
【０００９】
第１画像および後続の画像の間における少なくとも１つの領域をトラッキングすることは、少なくとも１つの第１キーポイントを、上記第１画像における少なくとも１つの領域に関連付けさせることと、上記後続の画像における後続のキーポイントと、上記第１キーポイントとをマッチングさせることと、上記マッチングするキーポイントに関する情報に基づいて、上記少なくとも１つの領域と、上記後続の画像における後続の領域とのマッチング性を判定することを含みうる。本発明に係る実施形態の有利な点は、キーポイントトラッキングを用いることによって、領域のトラッキングを強い状態で行うことができることである。本発明に係る実施形態の有利な点は、単一のレベル付けがなされたフレームから始まるラベルの伝搬に加えて、自動化された、および／または自動的領域トラッキングを可能にするシステムおよび方法が提供されることである。
【００１０】
後続のキーポイントと第１キーポイントとのマッチングは、双方向マッチングを含みうる。これによって、双方向マッチングは、第１画像から始まり後続の画像へ進むマッチングをチェックすることと、後続の画像から始まり第１画像に進む全てのマッチングをチェックすることとを含みうる。両方の種類のマッチングを比較することができ、共通のマッチングが、強いマッチング、または適切なマッチングと考えられうる。本発明に係る実施形態の有利な点は、双方向のキーポイント検出またはマッチングを行うことによって、偽陽性の数が低減されることである。本発明に係る実施形態の有利な点は、多くの強いキーポイントマッチングが効率的に得られることである。
【００１１】
トラッキングはさらに、例えば類似性指標を用いたり、第１領域と後続の領域が共通している程度を用いたりすることによって、第１領域と後続の領域が外観において類似している程度を表現する指標を考慮に入れうる。このような指標は、異なる領域において類似する画素の数を示すヒストグラムに基づいてもよい。本発明に係る実施形態の有利な点は、領域間における包含類似性（ｉｎｃｌｕｓｉｏｎ  ｓｉｍｉｌａｒｉｔｙ）および接続された領域に基づきうる領域マッチングを可能にするシステムおよび方法が提供されることである。
【００１２】
上記第１画像からの領域と上記後続の画像からの領域とが、（ゼロでない）共通するマッチングキーポイントを多数有する場合、および、全体的類似性または共通するものが所定の値より大きい場合、上記両領域はマッチングしうる。上記マッチングは、マッチングするキーポイントの数が最大の場合により良くなる。
【００１３】
トラッキングはさらに、上記第１画像および／または上記後続の画像における、接続している領域の集合を考慮に入れてもよい。本発明に係る実施形態の有利な点は、オーバーセグメンテーションが適用されてもよく、２つの物体が混ざり合うリスクを低減することである。
【００１４】
上記方法は、上記第１画像における少なくとも１つの物体についてのラベルを取得する工程であって、上記物体は領域またはキーポイントの少なくとも１つを含む、工程と、上記第１画像における上記少なくとも１つの領域またはキーポイントと、上記後続の画像における上記少なくとも１つの領域またはキーポイントとの間の対応を用いて、上記後続の画像における上記物体へ上記ラベルを伝搬する工程とをさらに含む。本発明に係る実施形態の有利な点は、ラベルの効率的かつ略正確な伝搬が、自動的かつ／または自動化された方法で行われうることである。本発明に係る実施形態の有利な点は、このような伝搬が、ユーザーのインタラクションがより少なく、または全くない状態で行われうるということである。
【００１５】
上記ラベルを伝搬する工程は、上記物体の上記ラベルに基づいて、上記第１画像における上記物体における第１キーポイントについてのキーポイントラベルを取得する工程と、上記第１キーポイントについての上記キーポイントラベルに基づいて、マッチングする後続のキーポイントに、対応するキーポイントラベルを関連付ける工程と、上記後続の画像における上記後続のキーポイントの上記キーポイントラベルに基づいて、上記後続の画像における上記物体についてのラベルを導出する工程とを含む。本発明に係る実施形態の有利な点は、高い伝搬精度が得られ、そのためラベル付けを行う人間の作業を著しく低減することである。
【００１６】
上記ラベルを伝搬する工程は、上記物体の上記ラベルに基づいて、上記第１画像における上記物体における第１領域についての領域ラベルを取得する工程と、上記第１領域についての上記領域ラベルに基づいて、上記マッチングする後続の領域に、対応する領域ラベルを関連付ける工程と、上記後続の画像における上記後続の領域の上記領域ラベルに基づいて、上記後続の画像における上記物体についてのラベルを導出する工程とを含む。
【００１７】
上記画像におけるキーポイントは、画素位置と、平均半径を有する画素位置を囲む範囲とを含む。本発明に係る実施形態の有利な点は、領域トラッキング処理は、空間が著しく変化するセグメント化された領域にマッチングするには特に有利でありうることである。上記セグメンテーションは、画像におけるオーバーセグメンテーションであってもよい。
【００１８】
本発明は、複数の画像を含む映像データを処理するための処理システムに関し、上記システムは、上記映像データにおける上記複数の画像のそれぞれについて、複数の領域にセグメント化されている、セグメント化された画像を取得する手段と、上記映像データにおける上記複数の画像のそれぞれについてのキーポイントのセットを取得する手段と、第１画像と後続の画像との間の少なくとも１つの領域をトラッキングし、上記後続の画像においてマッチングした領域を得て、上記少なくとも１つの領域の外観と、上記後続の画像における上記領域の外観とを考慮に入れ、上記第１画像および上記後続の画像におけるキーポイント間のマッチングを考慮に入れる、領域トラッキング手段とを含む。その結果は、後続の画像におけるマッチングする領域である。１つは第１画像からのものであり、他方は後続の画像からのものである、２つの領域が、共通する（ゼロではない）多くのマッチングするキーポイントを有する場合、また、それらの全体的な類似性またはそれらが共通して有するものが所定の値よりも大きい場合、それらはマッチングされうる。上記マッチングは、マッチングするキーポイントの数が最大の場合により良くなる。
【００１９】
本発明に係る実施形態の有利な点は、キーポイントトラッキングと先進的な複数領域マッチングを組み合わせることによって、セグメント化された領域のトラッキングまたはラベルの伝搬を可能にするシステムおよび方法を提供することである。本発明に係る実施形態の有利な点は、上記方法およびシステムを、困難な場合にインタラクティブにエラーを訂正するユーザインタラクションと組み合わせることができ、その結果、性能を向上させ、完全なオクルージョンを扱うために規則性の制限をトラックに設けることである。本発明に係る実施形態の有利な点は、２つの局所的表示、すなわち、強さと密度から利益を得るために、トラッキングされたキーポイントと柔軟性のある領域類似性指標の両方を用いて領域をトラックすることである。
【００２０】
上記システムはさらに、第１画像についての少なくとも１つのラベルを受信するラベル取得手段と、上記第１画像における上記少なくとも１つの領域またはキーポイントと、上記後続の画像における上記少なくとも１つの領域またはキーポイントとの間の対応を用いて、上記後続の画像における少なくとも１つのラベルを伝搬するラベル伝搬手段とをさらに含む。
【００２１】
本発明はまた、動作を行うためのアプリケーションシステムであって、上記アプリケーションシステムは、上記の処理システムと、上記処理システムを用いて取得可能な上記映像データについてのトラッキングされた領域情報を考慮に入れて上記動作を制御するためのコントローラとを含むアプリケーションシステムに関する。
【００２２】
上記アプリケーションシステムは、上記処理システムを用いて取得可能な映像データについての伝搬されたラベルの情報を考慮に入れて上記動作を制御するように適応しうる。
【００２３】
上記アプリケーションシステムは、自動車車両であってもよい。
【００２４】
本発明はさらに、アプリケーションシステムを制御するための方法に関し、上記方法は、アプリケーションシステムを制御するための方法であって、上記方法は、上記の方法によって映像データを処理する工程と、上記アプリケーションシステムを制御するための制御指示を上記処理された映像データから導出する工程とを含む。
【００２５】
上記アプリケーションシステムは、自動車車両であってもよく、誘導制御指示は、走行指示を誘導することを含む。
【００２６】
本発明はまた、処理手段において実行されるとき、映像データを処理する方法を行うためのコンピュータプログラム製品に関する。
【００２７】
さらに、上記のようなコンピュータプログラム製品を、機械読み取り可能なデータ記憶装置が記憶し、このようなコンピュータプログラム製品を、ローカルまたはワイドエリア遠隔通信ネットワークを介して送信する。
【発明の効果】
【００２８】
本発明に係る実施形態の有利な点は、既存の、動きに基づくアプローチとは異なり、本発明の実施形態は、外観に基づくトラッキングのみに依存しうる。この本発明の実施形態は、動きモデルを無視する能力、および、物体が大きな変動をする場合や映像取得フレームレートが低い場合でも物体をトラックする能力を与える。
【００２９】
本発明に係る実施形態の有利な点は、独立した動きを有する複数の物体を含む走行映像シークエンスに対して、例示を通して示すように、高精度が得られることである。
【００３０】
本発明に係る実施形態の有利な点は、例えば、物体における突出部等のトラッキング領域が正確にトラックされうることである。この正確なトラッキングは、接合キーポイントトラッキングおよび領域トラッキングに基づきうる。
【００３１】
本発明に係る実施形態の有利な点は、柔軟であるが強い技術が、映像における物体ラベルの伝搬を自動化するために得られることである。上記伝搬は、接合キーポイントトラッキングおよび領域トラッキングに基づきうる。
【００３２】
本発明に係る有利な点は、例えば、ざらつき領域等の難しい物体部分が、オーバーセグメント化された領域に供される類似性指標を用いることによって効率的にトラックされうることでもある。
【００３３】
本発明に係る実施形態の有利な点は、セグメンテーションにおける変化が、複数の独立した動きおよび部分的なオクルージョンがある場合でも、適応され、補正されることである。
【００３４】
本発明における特定の、かつ好ましい側面は、添付の独立および従属項に記載される。従属項からの構成は、独立項の構成および他の従属項の構成と適切に組み合わされてもよく、請求項に記載される文言どおりのみではない。
【００３５】
本発明の上記、および他の特徴、構成、および有利な点は、例示として発明の原理を示す添付の図面を参照して、以下の詳細な説明から明らかになるであろう。この説明は、発明の範囲を限定することなく、例示のためのみに行われる。以下に引用される参照図面は、添付の図面に対応する。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施形態に係る映像データを処理するための例示的方法の模式的概要図である。
【図２】本発明の実施形態に基づいて用いられうるような画像のオーバーセグメンテーションを示す模式図である。
【図３】本発明の特定の実施形態に基づく、キーポイントマッチングおよび関連付けに基づく、後続の画像における領域をトラッキングするための例示的方法を示す図である。
【図４】本発明の実施形態に基づいて用いられうるような２つの連続フレームの間のあいまいなマッチングおよび複数領域マッチングのためのセグメント化された領域のマッチングを示す模式図である。
【図５】本発明の実施形態に係る実施例のために用いられうるような、映像データの最初の画像と、対応する、手作業でラベル付けされた画像とを示す図である。
【図６】本発明の実施形態に係る実施例において用いられるような、映像データの最後の画像と、対応する、手作業でラベル付けされた画像とを示す図である。
【図７】本発明の実施形態に係る映像データを処理する例示的システムを示す図である。
【図８】本発明の第１側面における実施形態に係る方法を実行できる処理システムを示す図である。
【図９】本発明の第３側面にかかるアプリケーションシステムを示す図である。
【図１０ａ】本発明の実施形態に係る方法で得られるような、シークエンスについてのフレーム毎の画像に対する多くの物体の相対的サイズを示す図である。
【図１０ｂ】本発明の実施形態に係る方法で得られるような、図１０ａの多くの物体のためのシークエンスについてのフレーム毎のラベル伝搬標準化精度を示す図である。
【図１１ａ】本発明の実施形態に係る方法で得られるような、シークエンスについてのフレーム毎の画像に対する多くの物体の相対的サイズを示す図である。
【図１１ｂ】本発明の実施形態に係る方法で得られるような、図１１ａの多くの物体のためのシークエンスについてのフレーム毎のラベル伝搬標準化精度を示す図である。
【図１２】本発明の実施形態に係る方法で得られるような、映像データのシークエンスについてのフレーム毎の全クラスにわたる全体的精度を示す模式図である。
【００３７】
異なる図面において、同じ参照符号は、同じまたは類似の要素を示す。
【発明を実施するための形態】
【００３８】
本発明は、特定の図面を参照して特定の実施形態について説明されるが、本発明はそれらに限定されず、請求項のみによって限定される。ここで示す図面は、模式的なものに過ぎず、何ら限定を行うものではない。図面において、いくつかの要素のサイズは誇張されて描かれうるが、表示目的でスケールに忠実に描かれるわけではない。寸法および相対的寸法は、本発明の実施に際して行われる実際のサイズの減縮に対応していない。
【００３９】
さらに、説明中および請求項における第１などの用語は、類似の要素を区別するために用いられ、必ずしも順序、時間的または空間的序列、またはその他の状態を説明するものではない。請求項において用いられる“含む”という用語は、その後に列挙される手段に限定して解釈してはならず、他の要素または工程を排除しないということを注意してもらいたい。したがって、説明する構成、部材、工程または構成要素の存在を特定するものと解釈されるべきであるが、１つ以上の他の構成、部材、工程、または構成要素、またはそれらの集合を排除するものではない。したがって、“ＡおよびＢを含む装置”という表現の範囲は、構成要素ＡおよびＢのみからなる装置に限定されるべきではない。これは、本発明について、装置において単に関連する構成要素にはＡとＢがあるということを意味している。
【００４０】
本明細書を通して“一実施形態”または“実施形態”と称することは、実施形態と関連して説明される特定の構成、構造、または特徴が、本発明における少なくとも１つの実施形態に含まれるということを意味する。したがって、本明細書を通して様々な箇所に現れる文言“一実施形態では”または“実施形態では”は、必ずしも全てが同じ実施形態を指すわけではないが、そうである場合もある。さらに、特定の構成、構造、または特徴は、１つ以上の実施形態において、この開示から当業者にとって明らかであるように、任意の適切な状態で組み合わされてもよい。
【００４１】
同様に、本発明の例示的実施形態の記載において、発明の様々な構成が１つの実施形態、図面、またはそれらの記載の中で、開示を簡素化し、様々な発明側面のうちの１つ以上のものの理解に役立てるために、グループ化されることがあることを理解しなければならない。開示におけるこの方法は、しかしながら、請求される発明が、各請求項に文言上記載されているものより多くの構成を必要とするという意図を反映するものとして解釈してはならない。むしろ、以下の請求項が反映するように、発明側面は、単一の上記開示される実施形態における全ての構成よりも少ないところにある。したがって、詳細な説明に伴う請求項はここで、この詳細な説明に文言上含まれ、各請求項は、それ自身が本発明の個々の実施形態として成立する。異なる実施形態における構成の組み合わせは、本発明の範囲内として意図され、当業者によって理解されるように、異なる実施形態を形成する。例えば、以下の請求項では、請求される実施形態のいずれかは、組み合わせて用いられうる。
【００４２】
ここで与えられる説明において、多くの特定の詳細が記載される。しかしながら、本発明の実施形態はこれらの特定の詳細がなくても実施しうる。他の例では、周知の方法、構造、および技術について、本発明の説明の理解があいまいにならないよう、詳細には示してこなかった。
【００４３】
“自動的に”という用語は、この説明においていくつかの部分で用いられることを注意されたい。いくつかの実施形態では、ユーザーが、例えば画像で示されるボタンをクリックする等してシステムにコマンドを与えた後に、自動的作業を行うことができ、他の実施形態では、例えば画像で示されるボタン等、明確なユーザーコマンドが無くても自動的作業は行われうる。“自動的な”および“自動的に”という用語は、どちらの場合も包含する。
【００４４】
“第１画像”という用語は、特定の処理工程における開始ポイントとして用いられる画像を意味する。それは、シークエンスにおける最初の画像である必要はない。後続の画像も用いられるが、本発明に係るシステムおよび方法は、通常の順で、かつ／または、例えば最後の画像およびトラッキング領域から始まるように、または後ろ向きにラベル付けを行うように、反転した順で、画像シークエンスに適用されてもよい。このため、“第１画像”という用語は、情報が取得される、または算出される画像、かつ、例えばトラッキングや伝搬等のさらなる処理が行われる画像を意味するために用いられるに過ぎない。
【００４５】
本発明を、発明のいくつかの実施形態の詳細な説明によってここで説明する。本発明の他の実施形態は、本発明の真の精神または技術的教示から逸脱することなく、当業者の知識に基づいて構成することができ、本発明が添付の請求項の用語によってのみ限定されることは明らかである。
【００４６】
第１の側面では、本発明は、複数の画像を含む映像データを処理するための方法に関する。映像データは、例えば、１つのシーンにおける１つ以上の物体の動きを示す画像のシークエンスを含みうる。映像データは、例えば、メモリ等の記憶位置から呼び出すことによって、例えばカメラ等の光検出または記録システムを用いて取得するなど、任意の適切な方法で取得されてもよい。映像データは、アナログ映像データまたはデジタル映像データを含んでもよい。映像データは、３次元映像データを含んでもよい。特に所定の映像データは、本発明がそれに限定されるわけではないが、例えば運転中の自動車等の動く物体から記録される映像データである。このことは特に関心を引くであろう。というのは、この処理の適用の一つとして、車両における自動化および安全面の理由から行う映像処理の使用に適用されるからである。映像データの適切な処理は、例えば、車両またはその運転手等、動く物体に関わる主要な物体の認識および報告のために用いられうる。所定の物体は、例示であって限定するわけではないが、道路、歩行者、車両、障害物、信号機等の任意の適切な物体であってもよい。映像データの処理は、リアルタイムで行われてもよく、または記憶された映像データ上で行われてもよい。本発明の実施形態に係る方法およびシステムは、小さな物体の移動または高い映像取得フレームレートを想定していない。
【００４７】
本発明の第１側面によると、方法は、複数の画像のそれぞれについて、複数の領域におけるセグメンテーションを行うことと、複数の画像のそれぞれについて、キーポイントのセットを取得することを含む。キーポイントは、画像における参照要素であってもよい。上記方法は、第１画像と後続の画像の間における少なくとも１つの領域をトラッキングすることを含み、その結果、後続の画像におけるマッチングする領域がもたらされる。後続の画像は、映像シークエンスにおける隣接する画像であってもよく、またはシークエンスにおける後の方の画像であってもよい。このトラッキングは、第１画像のキーポイントと後続の画像のキーポイントの間のマッチングを考慮に入れて行われる。言い換えると、映像データの画像シークエンスにおける領域のトラッキングは、キーポイントトラッキングと領域セグメンテーション分析とを組み合わせることによって行われてもよい。驚くべきことに、この組み合わせによると、計算的に効率的であることに加えて、良好な精度を有する、有利な領域トラッキングが可能となる。キーポイントマッチングを考慮に入れることは、キーポイントと領域を互いに関連させることによって行われてもよい。
【００４８】
図示するが、本発明はこれに限定されるわけではなく、映像データを処理するための方法１００における異なる標準および任意の工程を図１に示し、後により詳しく説明する。
【００４９】
本発明は、実際の映像データ、すなわち、実際の周囲について取得された映像画像に主に適用され、コンピュータで生成された映像データには適用されない。上記方法は、複数の画像を含む映像データ、すなわち、映像データの画像シークエンス上で作動する。この画像シークエンスは、方法１００の開始時にはすでに利用可能である。または、複数の画像を含む映像データを取得する任意の工程１０２がまず行われてもよい。このような取得は、例えば光ディスク上において、またはネットワークを介して、記憶された映像データを受け取ることであってもよく、または、カメラを用いて記録することによって映像データを取得することであってもよい。これにより、その時点で完全な映像データセットを取得することに加えて、リアルタイムまたはストリーミング映像が取得でき、その後、処理のために局所的に記憶できる。いくつかの実施形態では、画像シークエンスは叩き台から使用可能でありうる。この画像シークエンスは、例えば、映像データにおける物体の認識が実施される場合にそのシステムを鍛えるのに使用可能である。複数の画像は、当初記録されたような映像シークエンスにおける全てのフレームを含む必要はなく、所定の画像および処理において求められる精度によって、例えば、それらのうちの選択された部分のみであってもよい。映像データは連続する画像を含むことが有利であるが、異なる連続するフレームの間で経過する時間は、例えば、必要とされる精度の観点から選択されうる。一例では、連続するフレームの間で経過する時間は限定され、これによって画像の間の差がさらに小さくなりうる。その代わり、またはそれに加えて、サブサンプルを行うために、前処理的な平滑化を行ってもよい。これによって、シーンがより平易になるにつれて、システムはより小さな解像度で稼動することができる。解像度および／またはフレームレートは、車両がゆっくりと動く、または渋滞で動けなくなるとき、比較的低い状態でありうる。例示ではあるが、街中での通常走行における１秒につき３０フレームのフレームレートが良好である。本発明に係る実施形態の有利な点は、動きに基づく方法とは異なり、上記方法は本質的に高フレームレートに頼らない。上記方法は、工程１０４において、複数の画像のそれぞれについて、複数の領域におけるセグメンテーションを行うことを含む。この工程は、例えば、映像データの画像のセグメント化されたものを単に受け取るだけの工程としてもよく、セグメンテーション自体はこの方法の一部とせず別個の処理としてもよい。または、各画像についてセグメンテーションを行うことは、各画像についてセグメンテーションを行う実際の工程を含みうる。画像は、例えば、閾値化、エッジ検出、ジグザグ曲線、形態学的方法、集積性に基づく方法等、任意の適切なセグメンテーション技術を用いてセグメント化されてもよいが、本発明はこれらに限定されない。セグメンテーション技術は任意のものでありうる、すなわち、隣接する、かつ類似の画素を集合化する、または重複して、曲線（領域境界）を検出するものであってもよい。有利なやり方としては、選択されたセグメンテーション技術は、“オーバーセグメンテーション”するように調整され、これは、グルーピングにおける微細な粒状度（または曲線検出における高い感度）を設定することによって行われうる。アルゴリズムは、フレームにわたる繰り返し性について強いものが有利である。画像のセグメンテーション等の画像分析は、集中的に研究され、以下の文献に広く報告されている。例えば、“Ａ  ｒｅｖｉｅｗ  ｏｎ  ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｔｅｃｈｎｉｑｕｅｓ”、Ｎ．Ｒ．Ｐａｌ，２６，９  ｐｐ１２７７−１２９４、Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ、１９９３、Ｔｒａｉｔｅｍｅｎｔ  ｄｅ  ｌ‘ｉｍａｇｅ  ｓｕｒ  Ｍｉｃｒｏ−ｏｒｄｉｎａｔｅｕｒ”Ｊｅａｎ−Ｊａｃｑｕｅｓ  Ｔｏｕｍａｚｅｔ、Ｓｙｂｅｘ、１９８７、“Ｖａｒｉａｔｉｏｎａｌ  ｍｅｔｈｏｄｓ  ｉｎ  ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ”、Ｊ−Ｍ  Ｍｏｒｅａｌ  ａｎｄ  Ｓ  Ｓｏｌｉｍｉｎｉ、Ｂｉｒｋｈａｕｓｅｒ、１９９５、“Ｉｍａｇｅ  Ａｎａｌｙｓｉｓ”Ｌｅｓｚｅｋ  Ｗｏｊｍａｒ、ＣＲＣ  Ｐｒｅｓｓ  １９９９、“Ｉｎｔｅｌｌｉｇｅｎｔ  Ｖｉｓｉｏｎ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｉｎｄｕｓｔｒｙ”、Ｓｐｒｉｎｇｅｒ、１９９７。例えば、エッジ検出方法としては、最上層フィルタ、プルウィット演算子、ロバーツ演算子、ソーベル演算子、ラプラシアンフィルタ、ゼロ交差演算子、ウォーターシェッド検出が知られている。セグメンテーション技術は、例えば複雑さや、取り扱う映像データにおける画像のサイズまたは数といった、種類の機能として選択されうる。例えば、処理される映像データの量および困難性の観点から、セグメンテーション技術における計算的な効率が考慮に入れられてもよい。複数の画像のそれぞれは、個別にセグメント化される。１つの実施形態では、画像のオーバーセグメンテーションが行われてもよい。オーバーセグメント化された領域の例を図２に示す。図２は、いくつかの物体が１つのセグメントに十分収まっておらず、複数のセグメントの組み合わせに対応していることを示す。これによって、２つの基本的に別個の物体が互いに結合されるリスクを低減する。さらに、領域境界を平滑化するために、セグメント化された画像にメジアンフィルタを適用してもよい。
【００５０】
上記方法は、工程１０６において、複数の画像のそれぞれについて、キーポイントのセットを取得することをさらに含む。この工程は、例えば、画像のそれぞれについてキーポイントのセットを単に検出することであってもよく、キーポイントの検出およびマッチングはこの方法の一部ではなく別個の処理において行ってもよい。または、各画像に対するキーポイントのセットを取得することは、各画像についてのキーポイントのセットを実際に検出する／抽出することを含んでいてもよい。キーポイントは、例えば、フレームにわたる良好な繰り返し性を有する堅固なキーポイントであることが有利である。キーポイントは、限定するわけではないが例えば、スケール不変特徴トラッキング（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｃｋｉｎｇ）（ＳＩＦＴ）等の任意の適切な技術を用いて取得されうる。キーポイントのスケールを評価する場合、任意のキーポイント検出器が用いられうる。他の検出器としては、“ｄｕａｌ−ｔｒｅｅ複素ウェーブレット変換を用いるマルチスケールキーポイント検出”（Ｊ．Ｆａｕｑｕｅｒ，Ｎ．Ｋｉｎｇｓｂｕｒｙ，Ｒ．Ａｎｄｅｒｓｏｎ，ＩＣＩＰ  ２００６）または“スケール＆アフィン不変関心点検出器”（Ｋ．Ｍｉｋｏｌａｊｃｚｙｋ  Ｃ．Ｓｃｈｍｉｄ，ＩＪＣＶ  ２００４）が挙げられる。キーポイント検出は、状況依存キーポイント検出に基づいてもよい。いくつかの実施形態では、さらに各画像についてのキーポイントを取得することは、異なるフレームにわたって、必要に応じて、例えばフレームＡおよびフレームＢにわたるように、連続するフレームの各対にわたって、キーポイントをマッチングさせることを含みうる。有利な実施形態では、双方向のキーポイント検出およびマッチングが行われてもよく、すなわち、フレームＡに始まりフレームＢへと続き、またフレームＢに始まりフレームＡへと続くようにキーポイントをマッチングさせてもよく、相互のマッチングは、用いられるキーポイントに選択されてもよい。この実施形態では、キーポイントｋＢがキーポイントｋＡにマッチングする、またその逆の場合、ＢにおけるキーポイントｋＢにマッチングする、ＡにおけるキーポイントｋＡが維持される。この双方向マッチング技術は、多数の強いキーポイントマッチングを得るには非常に効果的であるということが分かっている。キーポイントのセットをさらに取得することは、それらのスケールの評価を取得することを含みうる。これは、キーポイントと領域の間の関連付けのためのスケールを用いるには有効でありうる。いくつかの実施形態では、２番目に近いマッチングするキーポイントまでの距離に基づいてキーポイントを排除するやり方も選択されうる。これによると、より正確なキーポイントマッチングを可能にする。いくつかの実施形態では、連続する画像におけるマッチングするキーポイントの間のキーポイント間距離が、画素の所定数よりも大きい、例えば、２００画素よりも大きいマッチングを排除しうる。セグメントを取得する工程およびキーポイントのセットを取得する工程は交換可能であるということに注意すべきである。
【００５１】
図１に示すように、本発明に係る方法はさらに、第１画像と後続の画像との間における少なくとも１つの領域をトラッキングする工程１０８を含み、その結果、後続の画像におけるマッチングする領域がもたらされる。このトラッキング工程は、第１画像と後続の画像におけるキーポイントの間のマッチングを考慮に入れて行われる。言い換えると、トラッキングするために領域の外観を用いるだけでなく、領域をトラッキングするためにキーポイントマッチングを考慮に入れる。例示ではあり、本発明はこれに限定されず、このトラッキング工程のためのいくつかの特定の特徴を、ここでまず、以下の特定の実施形態でさらに説明する。
【００５２】
処理におけるいくつかの特定の実施形態において用いられうる多数の記述子を説明する。連続するフレームにわたるセグメンテーションにおける変化は、ほとんどの領域が潜在的に多くの領域とマッチングするということを暗示しうる。領域をトラッキングすることは、領域の外観を比較することを含みうる。セグメント化された領域の外観を比較する、またはマッチングさせるために、特定の記述子および類似性指標が用いられうる。色について用いられうる記述子は、平均的な色や、色ヒストグラムでありうる。形状について用いられうる記述子は、簡潔さや偏心度でありうる。きめについて用いられうる記述子は、ガボールに基づく記述子でありうる。このような記述子は、非常に小さな領域にマッチングするに特にふさわしい。領域の全体的な外観については、他の記述子や類似性指標を用いるのが有利でありうる。このような記述子は、境界、範囲、および／または形状における変化のように、領域の幾何学上の目立った変化がある場合でさえ、用いることが可能である。領域のトラッキングについて用いられうる類似性指標は、領域がどのくらい全体的に類似しているかということよりもむしろ、どのくらい共通した部分を有しているかということの測定に基づきうる。この記述子の有利な点は、それがセグメント化された領域（互いの断片であるという特殊性を有する）に十分マッチングすることである。用いられうる１つの類似性指標、および、単純で効率的な手法は、ヒストグラム交差類似指標である。２つの領域ｒＡとｒＢおよびそれらのカラーヒストグラムｈＡおよびｈＢについて考えると、ヒストグラム交差ＨＩ（ｒＡ，ｒＢ）は、どのくらいたくさんの画像がｒＡとｒＢにおいて類似しているかをカウントする。
【００５３】
【数１】
2011501252.tif 000003
【００５４】
ｎは量子化された色の数を示す。古典的な測定とは異なり、ヒストグラム交差の強度は、異なるビンに落ち着く画像を完全に無視するためのものである。さらなる外観上の類似性が、ヒストグラム交差類似性指標から導出することができ、それは領域間の外観上の類似性における２つの異なる種類を形づくる。本発明の実施形態によると、正規化されたヒストグラム交差は、連続する画像における２つの領域ｒＡおよびｒＢの間の含有類似性指標として用いられうる。これは例えば以下のように定義されうる。
【００５５】
【数２】
2011501252.tif 000004
【００５６】
これは対称測定ではなく、間隔［０；１］における値を取り、第１領域ｒＡにおける全ての画素が、第２領域ｒＢにおける類似の画素を有する、すなわち、第１領域が、第２領域の完全部分である場合に、それは最大となる。
【００５７】
本発明の実施形態によると、全体的な類似性についての類似性指標も用いられてもよい。これは、以下のように定義されうる。
【００５８】
【数３】
2011501252.tif 000005
【００５９】
第１領域ｒＡおよび第２領域ｒＢが同じ数の類似画素を有する場合、この関数は最大である。すなわち、１と等しい。
【００６０】
本発明に係る１つの第１特定実施形態では、本発明はこれに限定されるわけではないが、第１画像と後続の画像との間の領域をトラッキングするためのトラッキング工程１０８は、少なくとも１つの第１キーポイントを、トラックされる第１画像における少なくとも１つの領域に関連付ける第１関連付け工程２０２と、後続の画像における後続のキーポイントと、第１キーポイントとをマッチングさせる工程２０４と、マッチングされたキーポイントに関する情報に基づいて、少なくとも１つの領域と、後続の画像における後続の領域とのマッチングを決定する決定工程２０６とを含む。この特定の実施形態において行われる工程は、例として図３に示されている。
【００６１】
少なくとも１つの第１キーポイントを、トラックされる第１画像における少なくとも１つの領域に関連付ける関連付け工程２０２を行う場合には、キーポイントを考慮するときにそのようなキーポイントの画素位置を考慮するだけでなく、それを取り囲む領域をも考慮することによって、行ってもよい。このため、キーポイントは、支持を規定するスケールによって決められる半径を有する円盤領域と見なしてもよい。その支持円盤の少なくとも半分が領域と交差すると、キーポイントは領域と関連付けられうる。効率のため、円盤全体というよりもむしろ円盤にはめ込まれた正方形も考慮に入れられうる。安定したマッチングとしては、少なくとも１つのキーポイントと安定したマッチングをしている領域に限定してもよい。このような関連付けは、本実施形態で説明したように、領域のトラッキングのために用いられうるが、さらに示されるように、ラベルの伝搬においても用いられうる。本発明は、キーポイントを単一の特定の画素位置のみと見なす、関連付け工程２０２や、例えば第１キーポイントを領域に関連付ける工程のような種類の工程を実行することに限定されるものではなく、キーポイントの画素位置を取り囲む領域を考慮することによって、強い関連付けをもたらす。
【００６２】
キーポイントのマッチング工程２０４は、すでに行われた選択自由な工程であってもよく、そのため、繰り返される必要はない。情報は例えばすでに利用可能なものであってもよく、例えば、上記のように、各画像についてのキーポイントのセットを取得する工程の間に取得されてもよい。その代わりに、またはそれに加えて、マッチング工程２０４は、処理を行うための方法１００における現段階で行われてもよく、例えば、上記のように双方向マッチングを用いて行われてもよい。
【００６３】
後続の画像における後続の領域を有する少なくとも１つの領域におけるマッチングを決定する工程２０６は、マッチングされたキーポイントに関する情報に基づく。上記のように、キーポイントは同じフレーム（工程２０２）におけるラベル付けされた領域と関連付けることができ、後続のフレーム（工程２０４）においてキーポイントとマッチングされうる。推移性によって、２つのフレームの間におけるマッチングされたキーポイントは、それらの対応する領域にマッチングするように用いられうる。したがって、第１キーポイントに関連付けられる領域は、対応するマッチングされたキーポイントと関連付けられる領域と関連させられる。
【００６４】
本特定実施形態は、どのように領域トラッキングにおいてキーポイント情報を考慮に入れるかということの例を示す。関連付けられたキーポイントを用いることによって、全体的なトラッキング処理におけるエラーおよび複雑さを低減することができる。領域が２つ以上のキーポイントを有することができるので、領域は、最もマッチングするキーポイントを供給するものとマッチングされてもよい。この方法は、２つの領域がシーンにおける共通の通路をカバーする（キーポイントマッチング精度まで）ことを確実にする十分な条件を備えている。さらに、それらの領域をマッチングするための全体的な類似性における制限が、例えばはるかに大きな領域をマッチングする小さな領域を避けるために追加されてもよい。式（３）において定義されるような全体的な外観上の類似性指標ｍＯ（ｒＡ，ｒＢ）が、全体的類似性における制限を表現するために用いられうる。したがって、２つの領域が最大数の共通のマッチングするキーポイント（ゼロではない）を有する場合、および、それらの全体的類似性が所定の値よりも大きい場合、すなわち、ｍＯ（ｒＡ，ｒＢ）≧τＯの場合、２つの領域は安定領域と見なされる。τＯ＝０．３の値は、思わしくないマッチングを排除するには十分であることが分かる。両方の領域は、互いに安定したマッチングを継続すると言われている。領域ｒについての安定したマッチングは、ＭＳ（ｒ）によって表現されうる。
【００６５】
本発明の第２の特定実施形態によると、第１の特定実施形態で説明したようにキーポイントを含むマッチング領域に加えて、本発明に係る方法は、他の領域をマッチングさせる工程を含んでいる。このような領域は、キーポイントを全く有さなくてもよい、または領域と関連付けられないキーポイントを有してもよい。このような領域は、“あいまいな領域”と称されうる。上記領域は、例えば、ほとんど変化を示さなくてもよく（空、芝生、道路、均一な領域等）、登録することがより困難である。それらは、オーバーセグメンテーションによって、フレームにわたって形状が大きく変化する領域に断片化される傾向にある。その結果、それらはマッチングする上で最も困難な領域である。これらの領域のマッチングは、異なる領域の間で共通の類似画素の数が決定される手順に基づきうる。２つの領域の間の共通の類似画素の数を数えることによって、含有類似性指標ｍＩは、異なるセグメンテーションから得られる類似領域をマッチングするための自然な解決法となる。フレームＡにおける領域ｒＡおよび後続のフレームＢにおける領域ｒＢを用いて、Ｂにおける領域に潜在的に含まれるＡにおける全ての不安定領域を決定することができ、領域Ａに最も近いものを以下のように定義する。
【００６６】
【数４】
2011501252.tif 000006
【００６７】
‖〜‖は、それらの塊の中央の間のユークリッド距離として定義される領域間距離を示す。領域間の空間的近似を測定するための、例えば領域位相を考慮に入れる距離を測定するための他の任意の距離が用いられてもよい。フレームＢについては逆に、Ｂにおける非安定領域を潜在的に決定でき、それらはＡにおける領域に含まれる。領域Ｂに最も近いものは以下のように定義される。
【００６８】
【数５】
2011501252.tif 000007
【００６９】
あいまい領域のマッチングは、所定の数の画素が、第１フレームの第１領域と後続のフレームの後続の領域との間で共通していることを求めることによって行われうる。このため、τＩ＝０．５に設定することによって、ｒＡがｒＢと共通する画素を少なくとも半分は有していることが求められうる。なお、あいまいなマッチングは非対称であり、一方、安定したマッチングは対称である。ｒＡがｒＢに対して安定マッチングであり、ｒＢがｒＢに対して安定マッチングであるが、あいまい領域ｒＡがｒＢとマッチングする（ｒＢは安定領域またはあいまい領域でありうる）場合、ｒＢは必ずしもｒＡに対してあいまいマッチングとはならない。
【００７０】
第３の特定実施形態では、領域に関して追加の状況情報が考慮に入れられ、複数のマッチング領域を統合し、トラッキングをアシストする。これによって、いくつかの誤りマッチングが持続する場合、それらを解消するアシストをするようにできる。特に、前の複数領域が（セグメンテーションにおける変化を扱うために）同じ領域とマッチングできるようにするため、同じ後続の／第１領域とマッチングする、接続している第１／後続の領域の最も良い集合のみが、トラッキングされた領域と見なすべきである。追加の状況情報を考慮に入れることは、このような複数のマッチング領域をマッチングするには特に適している。これについて、ここでより詳しく説明する。フレームＡにおける各領域について、後続のフレームＢにおける領域とマッチングする領域に加えて、領域とマッチングされるあいまい領域が考えられる。第１フレームの情報と、後続のフレームの情報との両方が用いられ、最良のマッチングをもたらすのはこの情報の組み合わせである。マッチング領域のこの集合は、Ｍで示される。それらの領域の間で、ヒストグラムが領域についての類似性を最大化する、接続しているマッチング領域の集合のみが考慮されうる。ワークフローは以下の通りである。
【００７１】
第１工程では、Ｂにおけるマッチング領域が挙げられる。各領域ｒＡについて、Ｍａ（ｒＡ）はそのあいまいマッチングを示す。ｒＡとマッチングするあいまい領域は、Ｍａ−１（ｒＡ）＝｛ｒＢ｜Ｍａ（ｒＢ）＝ｒＡ｝として示され、安定領域は、Ｍａ−１（ｒＡ）＝｛ｒＢ｜Ｍｓ（ｒＢ）＝ｒＡ｝として示される。したがって、ｒＡに対する潜在的なマッチングのセットは、以下に示す通りである。
【００７２】
【数６】
2011501252.tif 000008
【００７３】
第２工程では、Ｂにおける接続しているマッチング領域の集合が挙げられる。Ｍにおける領域の間において、（もしあれば）安定領域を含む接続している領域の集合のみを挙げる。このような集合は以下のように示される。
【００７４】
【数７】
2011501252.tif 000009
【００７５】
第３工程では、最良の隣接する集合が分かる。領域の最良の集合は、ｒＡと全ての集合Ｇとの間の全体的な外観上の類似性を最大化するセットＧ＊として定義される。Ｇ＊＝ａｒｇｍａｘ｛ｍＯ（ｒＡ，Ｇ）｝である。ｍＯ（ｒＡ，Ｇ）は、それゆえ、ｒＡと、以下に定義する領域セットＧとの間の類似性を示す。
【００７６】
【数８】
2011501252.tif 000010
【００７７】
Ｍ＼Ｇ＊における領域は、これらが“空隙”クラスとマッチングするときに開放されうる。
【００７８】
表示におけるＡとＢとを単純に交換することによって、同じワークフローが、フレームＡおよびＢの間に適用される。図示するが、本発明はこれに限定されるわけではなく、複数領域マッチングの例を図４に示す。異なる形状を有するが類似する外観を有する２つのセグメント化された道路領域が、２つの連続するフレーム（左右の図）について示される。接続された領域における最良の構成を選択することによって、接続された領域における２つの最終的にマッチングされた集合が、２つのより整合性のある領域を生成し、その結果、よりよいマッチングが得られる。本例では、上記識別される相互作用の３工程処理が示される。最上部領域は、それらの形状差にも関わらず、工程１（各フレームに適用される）において相互にマッチングされる。工程２および３においては、含有類似性指標および隣接する領域のグルーピング方法のため、多くの小さな接続された領域が、他のフレームにおける大きな領域にマッチングした。底部の列は、両方のフレームにおいて接続された領域（小さい領域および大きい領域）の集合の間における最終的な最適マッチングを示す。伝搬工程において、両方の集合は、初期の大きなもの単独よりもより整合している２つの単一領域として見なされるであろう。これは、この方法が可変領域を扱うことができ、最終セグメンテーションを向上させることができることを示している。なお、各フレームに個別に適用される伝統的な領域統合アルゴリズムでは、同じ性能を発揮することができなかった。なぜなら、２つの隣接する領域が同じ領域に属するかどうかを判断することがより困難だからである。
【００７９】
ここで、図１に示されるような例示的方法に戻ると、領域のトラッキングが、２つのフレームにわたる領域の間の関連付けをもたらす。このマッチング処理の終わりにおいて、わずかな領域があいまいすぎるので、または消失した物体にこのわずかな領域が属するのでこれらが上記基準を満たさないとき、これらわずかな領域はマッチングされないまま放置されうる。本発明に係る実施形態の有利な点は、上記の、領域およびキーポイントを抽出する工程およびマッチングする工程は、ユーザーの意図を必要とせず自動的に行われうることである。トラッキング工程１０８における領域トラッキングは、キーポイントを用いて領域をマッチングさせることと、あいまいな領域をそのままマッチングすることと、状況情報を用いて領域をマッチングすること、例えば、領域の接続性を考慮に入れることとの組み合わせを含みうる。
【００８０】
任意の工程として、第１画像における少なくとも１つの物体のラベルを取得する工程１１０が行われてもよく、後続の画像における物体にラベルを伝搬する工程１１２が行われてもよい。ラベルを取得する工程１１０は、前にラベル付けされた第１画像を取得することを含みうる。または、ラベル付けは上記方法内で行われてもよい。ラベルを取得する工程１１０は、ラベル付け、例えば、相互のラベル付け、第１画像における全ての物体を含みうる。ラベルの取得は、上記少なくとも１つのラベルを伝搬する前、または同時に行われる限り、上記方法の実行中のいかなる瞬間に行われてもよい。ラベルは、例えば、物体における選択されたクラス、例えば、歩行者、自転車、自動車、建物、道路、芝生、舗装道路等を示しうるが、本発明はそれに限定されない。
【００８１】
ラベルの伝搬工程１１２は、マッチングされるキーポイント情報を用いて行われうる。ラベルを後続の画像における物体に伝搬する工程１１２は、第１画像における上記少なくとも１つの領域またはキーポイント、および／または、後続の画像における上記少なくとも１つの領域またはキーポイントの間の対応を用いて行われてもよい。入力からのラベルは、第１フレームにおける領域およびキーポイントに関連付けられてもよく、ラベルは、トラッキングされたキーポイントおよび／またはトラッキングされた領域を用いて後続のフレームに伝搬されてもよい。ラベル伝搬は、工程１０８において説明したように、領域トラッキングを利用してもよい。１つの特定実施形態では、ラベルを伝搬することは、物体のラベルに基づいて、第１画像の上記物体における第１キーポイントについてのキーポイントラベルを取得することと、第１キーポイントについてのキーポイントラベルに基づいて、マッチングする後続のキーポイントに、対応するキーポイントラベルを関連付けることと、後続の画像における後続のキーポイントのキーポイントラベルに基づいて、後続の画像における物体についてのラベルを導き出すことを含みうる。その代わり、またはそれに加えて、ラベルを必要に応じて伝搬することはまた、物体のラベルに基づいて、第１画像の物体における第１領域についての領域ラベルを取得することと、第１領域についての領域ラベルに基づいて、マッチングする後続の領域に、対応する領域ラベルを関連付けることと、後続の画像における後続の領域の領域ラベルに基づいて、後続の画像における物体についてのラベルを導出することを含みうる。図示するが、本発明はこれに限定されるわけではなく、ラベル付けを行う、異なる工程の例をより詳しく説明する。Ａはフレームを示し、Ｂはその後続のフレームを示す。Ａに対応するラベル付けされたフレームＬＡについて考えると（それが直接ラベル付けをされたフレームか、または前に評価されたフレームかを考えると）、ラベル付けは、Ｂについて、評価され、かつラベル付けされたフレームＬＢを生成することを含む。ラベル付けされたマップは、色で各物体を識別する均一なカラーブロブからなってもよい。この例は図５および図６に示すが、例えば、１種類の色が、例えば建物に割り当てられうる。図５は、画像シークエンスにおける最初の標準（左）およびラベル付けされた（右）画像と対応し、図６は、画像シークエンスにおける最後の標準（左）およびラベル付けされた（右）画像と対応する。例えば黒のように、特定の色が“空隙”ラベルを示すために用いることができ、意味的にあいまいな領域を示すために用いられる。図示するが、本発明はこれに限定されるわけではなく、ラベルを伝搬するために用いられうる多数の異なる任意の特徴を、多数の特定実施形態において説明する。
【００８２】
第４の特定実施形態では、ラベルの伝搬は、少なくとも、フレームＡおよびＢにおけるラベル関連付けのためのキーポイントに基づく。第１フレームについて、キーポイントは、Ａにおけるそれらの支持領域と交差することによって、ラベルと関連付けることができ、上記のように、ラベル付けされたフレームＬＡと関連付けられうる。最も頻度の高いラベルがその支持領域の少なくとも半分に現れると、ラベルは例えば、キーポイントと関連付けられる。キーポイントマッチングが強く、それらの支持領域が小さいので、この関連付けは強いものでありうる。このため、フレームＢについてのキーポイントラベルの関連付けは、対応するマッチングキーポイントに基づいて直接行われうる。後続のフレームについて、キーポイントラベル関連付けは、前のフレームによって行われる。
【００８３】
第５の特定実施形態では、ラベルの伝搬は少なくとも、フレームＡにおけるラベル関連付けのための領域に基づく。同様に、第４の特定の例におけるように、Ａにおけるセグメント化されたマップとラベル付けされたフレームＬＡとを交差させることによって、各領域はその範囲内で最も頻度の高いラベルと関連付けられうる。Ａにおける多くの領域（ここではラベルを有する）は、前のマッチング処理から同じ領域ｒＢをマッチングする、すなわち、工程１０８で説明したように、領域マッチングまたはトラッキングを行う傾向にある。フレームＢｒＢにおける各領域について、ｒＢとマッチングするｒＡの間における最も頻度の高いラベル領域ｌＲが考慮されうる。ｒＢが、ラベルｌＫを割り当てられたキーポイントを含む場合、これらのラベルのなかで最も頻度の高いものがｒＢ内で考慮される。ほとんどの場合、ｌＲとｌＫは一致する。それらが一致しなくて、それらのうちの１つが“空隙”である場合、他のラベルにはｒＢが割り当てられる。それらが異なっていて、空隙でない場合、２つ以上のキーポイントがそのラベルを有する、または、ｌＲが割り当てられるとき、ｌＫが割り当てられる。
【００８４】
図１に示す方法１００に再び戻るが、取得した情報はさらに、工程１１４において、特にアプリケーションについて用いられてもよい。アプリケーションの一例は、車両の自動走行であってもよく、走行中に主要な物体を認識するために映像処理が行われうる。例えば、車両の運転手に関係する主要な物体、例えば道路、歩行者、および車両を認識するためであり、走行中に物体について取得された情報は、自動走行のため、例えば、道路上の進路を保つため、他の物体との衝突を避けるためなどにおいて、考慮に入れられる。上記方法は、例えば異なる方向で記録される複数の映像データのために用いることができ、取得される物体情報は、速度センサ、位置情報、音声センサ、動きセンサ等、他の種類の情報と組み合わされうる。代替のアプリケーションとしては、映像データにラベル付けを行うシステムまたは人を調整するためのラベル情報の使用であってもよい。
【００８５】
第２側面では、本発明は、画像における領域についてトラッキングされた領域情報を得るための複数の画像を含む映像データを処理するためのシステムに関わる。上記システムはさらに、複数の画像についてのラベル情報を取得するように適応されうる。このようなシステム３００の例を図７に示す。これは、標準的かつ任意のコンポーネントを示す。システム３００は、映像データを受信するための映像データ入力手段３０２を含みうる。上記システムは例えば、映像データを受信するための画像装置３０１と接続可能であってもよい。このような画像装置は、上記システムの一部であってもよいが、またその外部にあってもよい。本発明の第２側面によると、システム３００は、映像データにおける複数の画像のそれぞれについて、セグメント化された画像を取得する手段３０４を含み、セグメント化された画像は複数の領域においてセグメント化され、また、上記システム３００は、映像データにおける複数の画像のそれぞれについてキーポイントのセットを取得する手段３０６を含む。これらの取得手段のそれぞれは、外部ソースからこのような情報を受信するための入力手段であってもよいし、また、これらはセグメンテーションを行うための電源を処理すること、および／または、キーポイントのセットを導出することを含んでもよい。第２側面によると、上記システムはまた、第１画像と後続の画像との間における少なくとも１つの領域をトラッキングするための領域トラッキング手段３０８を含み、その結果、後続の画像におけるマッチングされた領域をもたらす。これによって、領域トラッキング手段３０８は、第１画像および後続の画像におけるキーポイントの間のマッチングを考慮に入れて、少なくとも１つの領域をトラッキングするように適応される。上記システムはさらに、第１側面における方法のトラッキング工程について挙げられる特徴または工程を行う機能性を有するコンポーネントを含んでもよい。必要に応じて、上記システム３００はさらに、ラベル付けされた第１画像を受信するためのラベル取得手段３１０と、物体についてのラベルを後続の画像に伝搬するためのラベル伝搬手段３１２とを含む。また、このようなラベル伝搬手段３１２は、第１側面について説明するように、ラベル伝搬工程の機能性を有してもよい。上記システム３００は必要に応じて、映像データについての領域またはラベル情報を出力するための出力手段３１４を含んでもよい。このような出力手段は、例えば車両システムまたはそこにおけるコントローラ等、取得した結果を利用するアプリケーションシステム３１５に情報を与えるために用いられうる。このようなアプリケーションシステムは、本側面における処理システムの一部であってもよいが、その外部にあってもよい。上記システムはさらに、必要に応じて、第１側面の方法実施形態における他の特性または工程の機能性を有する他のコンポーネントを有するように適応されてもよい。
【００８６】
システム３００における異なるコンポーネントは、それらの機能を実行するための処理電源を含んでもよい。システム３００における異なるコンポーネントの機能性、または、方法１００における異なる方法工程は、図８に示すように、個別に、または接合処理システム４００において実行されてもよい。図８は、例えばＲＡＭ、ＲＯＭ等、少なくとも１つの形態のメモリを含むメモリシステム４０５に連結される少なくとも１つのプログラマブルプロセッサ４０３を含む処理システム４００の１つの構成を示す。プロセッサ４０３またはプロセッサは汎用のものであってもよく、または専用プロセッサであってもよく、また、例えば、他の機能を実行する他のコンポーネントを有するチップ等の装置に内蔵されるものであってもよいことを注意されたい。したがって、本発明における１つ以上の側面は、デジタル電子回路において、またはコンピュータハードウェアにおいて、ファームウェア、ソフトウェア、またはそれらの組み合わせにおいて実行されうる。処理システムは、少なくとも１つのディスクドライブおよび／またはＣＤ-ＲＯＭドライブおよび／またはＤＶＤドライブを有する記憶サブシステム４０７を含みうる。いくつかの実行において、ユーザーが手作業で情報を入力できるように、表示システム、キーボード、およびポインティング装置がユーザーインターフェイスサブシステム４０９の一部として含まれうる。データの入出力を行うためのポートも含まれうる。ネットワーク接続、様々な装置へのインターフェイス等、より多くの素子が含まれうるが、図８には示さない。処理システム４００における様々な素子は、単純化のために単一のバスとして図８に示されるバスサブシステム４１３を介することを含めて様々な状態で連結されうるが、当業者には少なくとも１つのバスのシステムを含むものと理解されるであろう。メモリサブシステム４０５のメモリは時々、処理システム４００上で実行されるときにここで説明する方法実施形態の工程を実行するという指示のセットの一部または全て（４１１として示す場合）を保持しうる。したがって、図８に示すような処理システム４００が従来技術である一方、映像データを処理するための方法における側面を実行するための指示を含むシステムは従来技術ではなく、それゆえ、図８は従来技術として示されていない。
【００８７】
本発明はまた、演算装置において実行されるとき本発明に係る方法のうちのいずれかの機能性を提供するコンピュータプログラム製品を含む。このようなコンピュータプログラム製品は、プログラマブルプロセッサによって実行するための機械読み取り可能なコードを有するキャリア媒体において、はっきりと組み込まれうる。したがって、本発明は、演算手段において実行されるとき、上記のような方法のうちのいずれかを実行するための指示を与えるコンピュータプログラム製品を有するキャリア媒体に関する。“キャリア媒体”という用語は、実行するためのプロセッサに指示を与えることに関与する任意の媒体を意味する。このような媒体は、不揮発性媒体、伝達媒体を含むがこれらに限定されず、多くの形態を有してもよい。不揮発性媒体は、例えば、光または磁気ディスク、例えば、大容量記憶装置の一部である記憶装置等を含む。コンピュータ読み取り可能な媒体の共通形式は、ＣＤ-ＲＯＭ、ＤＶＤ、フレキシブルディスクまたはフロッピー（登録商標）ディスク、テープ、メモリチップ、またはカートリッジ、コンピュータが読み取る任意の他の媒体を含む。コンピュータ読み取り可能な媒体における様々な形態は、実行するプロセッサへの１つ以上の指示における１つ以上のシークエンスを実行することに関与しうる。コンピュータプログラム製品はまた、ＬＡＮ、ＷＡＮ、またはインターネット等のネットワークにおいて搬送波を介して送信されうる。送信媒体は、無線波および赤外線データ通信の間に生成されるような、音響または光波の形式を取りうる。送信媒体は、コンピュータ内にバスを有するワイヤを含めて、同軸ケーブル、銅ワイヤ、およびファイバーオプティックスを含む。
【００８８】
第３側面では、本発明は、例えば、その周囲における動く物体に関する情報を用いうる車両または任意の他のシステムまたは自動化されたシステム等、例えば演算システム、自動化されたシステム等のアプリケーションシステムに関する。アプリケーションシステムは、映像を処理するための第２側面において説明される処理システムを含み、取得した領域または映像データのためのラベル情報を用いるように適応されたコントローラをさらに含む。コントローラは、その機能を制御する際に制御するまたはアシストするためのこのようなデータを持ちうる。例えば、アプリケーションシステムが車両等の自動車システムであるとき、車両の走行を制御する際に制御を行う、またはアシストするための情報を用いうる。コントローラは、映像データ処理システム３００から情報を受信し、そこから走行指示を導出するように適応されうる。これらの走行指示は、例えば、速度、方向、車両におけるシステムインジケータ、車両における交通インジケータ等を制御するために、車両における自動化された制御のための車両の走行システムに伝達されうる。その代わり、またはそれに加えて、走行指示は、例えば書かれた、または話された指示を用いて車両のユーザーに伝達することができ、このため、動作を変える必要がある、または動作を行う必要があることを、ユーザーに示す。コントローラは、走行指示を、処理システム３００から得られた領域またはラベル情報から導出するための処理システムを含むのが有利である。このような処理システムは、神経ネットワーク、所定のアルゴリズム等に基づきうる。このため、このようなコントローラは、例えば、マイクロプロセッサまたはＦＰＧＡを含むが、本発明はこれに限定されない。図示するが、映像データ３００を処理するためのシステムと、取得されたラベルまたは領域情報から例えば走行指示等の指示を導出するためのコントローラ５０２を含むアプリケーションシステム５００の模式的概要を、図９に示す。
【００８９】
〔実施例〕
図示するが、本発明はこれに限定されず、第１側面の実施形態に係る映像処理についての例を示す。上記方法は、オープンＣＶライブラリを用い、２ＧＨｚ二重コアＰＣ上で作動するＣ＋＋で書かれたプログラムにおいて実行された。本実施例では、カメラまたは動く車両で記録された映像シークエンスである、映像データを利用した。カメラは、自動車における助手席に搭載された。高解像度デジタルカメラが用いられ、３０ｆｐｓで９６０×７２０の画素フレームを取得した。報告される結果は、１つおきのフレームにおいて（２０２フレームから）サブサンプルされた連続するフレームにおけるサブシークエンスで取得された。これは、連続走行における６秒間に対応する。シーンにおけるいずれの部分も静止した状態のままではなく、複数の動く物体を含めて様々な事象が発生する。２台の車が交差する（１台はターンする）。続いて、自転車を追い越す。３つの歩行者のグループが２つの方向に向かって歩き、離れた位置のバスがターンをする。最初および最後のフレームを、それらの対応するラベル付けされたフレームとともに、図５および図６に示す。
【００９０】
１０１のフレームを処理するための合計実行時間は、８２分（平均で約４９ｓ／フレーム）であり、そのうちの２３分は、セグメンテーション、キーポイント抽出、領域検出および記述に要した。領域トラッキングおよび伝搬は、残りの５９分を要し、そのほとんどは、多くの領域グルーピングが検査されるケースに費やされた。実際の伝搬工程は、一画像につき０．６ｓしかかからなかった。
【００９１】
映像データについて、手作業のラベル付けと自動的なラベル付けとの間の比較を可能にするために、関連するラベル付けが施されたグランドトゥルースを生成した。グランドトゥルースであるラベルセットは、１０１フレームについて手作業で生成した。領域は、特定のカラーパレットを有する３２個の物体の所定のリストに対応してペイントされた。手作業のラベル付けは、流し込みおよび手作業のペイント能力を伴って様々な自動的セグメンテーションを行うプログラムを用いて行った。ラベル付けされたシークエンスは、全く物体を残さずに、シークエンスにわたって“ラベル付けスタイル”が確実に一貫するように、修正された。各ストロークを記録したり時間を計ったりすることによって、１つのフレームについて手作業によるラベル付けの時間は、約２０〜２５分であると推測された（この時間は、シーンの複雑さによって大きく変化しうる）。第１のラベル付けされたフレームは、推測されるラベル付けされたマップを比較し、本発明に係る方法の精度を報告するために次の１００個が用いられる間、アルゴリズムを初期化するために用いられた。
【００９２】
〔セグメンテーション〕
本実施例では、ＦｅｌｚｅｎｓｅａｌｂおよびＨｕｔｔｅｎｌｏｃｈｅｒのグラフによるセグメンテーションを用いてセグメンテーションを行い、類似の色および構成の領域を取得するために適切な結果を生成した。画像サイズがかなり大きい（９６０×７２０画素）ことを考慮すると、その演算効率も有利であった。非常に均質の領域が同じ物体に属しているという仮定に基づいて、映像フレームについてオーバーセグメンテーションが行われた。これによって２つの物体が互いに結合されるリスクを低減し、一方、本実施例によると、手作業でラベル付けされた領域のより良好な近似が可能となった。セグメンテーション技術について、以下の数値が選択された。すなわち、ガウシアン平滑化の変化についてはσ＝０．８であり、粒度パラメータについてはｋ＝５０であり、また、５０画素の最小領域サイズである。平均して、このセグメンテーションは一画像について１８１１領域を生成した。比較すると、グランドトゥルースである手作業によりラベル付けされた画像は、同じシークエンスにおいて平均して１５０の、手作業によりラベル付けされた領域を有する。領域境界を平滑化するために、メジアンフィルタがセグメント化された画像に適用される。領域境界は、人が描画するとさらに規則正しくなる。
【００９３】
〔キーポイント検出〕
本実施例では、上記のように、スケール不変特徴トラッキング技術を用い、また、双方向キーポイントマッチングを用いて、キーポイント検出が行われた。さらに、マッチングの排除がマッチングについて行われ、これにより、画像空間におけるキーポイント間距離は２００画素よりも大きかった。本実施例の映像データにおける各フレームは非常に類似しているので、キーポイントマッチングでは偽陽性を非常に少ししか生成しなかったことに注意されたい。
【００９４】
〔領域トラッキング〕
本実施例では、ヒストグラム交差類似指標が、外観マッチング類似指標として用いられ、量子化された色の数は６３に設定され、Ｌｕｖ色空間における２１６の量子化された色と対応する。図１を参照して説明される領域トラッキング方法が用いられた。特に、キーポイントの使用は驚くことに、シーンにおける同じ位置への領域の非常に正確な登録へとつながり、したがって、ラベル付けのエラーにおける深刻な伝搬を避ける際に驚くほど正確にアシストされる。動きのモデルが全くない場合、動きの、また、繰り返しのパターン（例えば、レーンマーキングまたはフェンスの裏の外観等）のようなあいまいな場合において領域トラッキングを向上させた。キーポイントの使用およびヒストグラム交差は、例えば、複数の動く物体、部分的なオクルージョン、およびセグメンテーションにおける変化等、非常に困難な状態において、領域を正しくマッチングさせるために柔軟かつ効果的であることが分かった。マッチング不良の問題はたいてい、画像平面において接続され、１つの物体から他の物体へキーポイントまたは領域が切り替わる、２つの動く物体を含む。この種のエラーは、自動的に補正することができなかった。サインポール等の小さな物体は、小さなサイズおよび突起物の欠如により、ほとんどトラッキングされなかった。しかしながら、時々、単一のキーポイントが、重要な領域、例えば小さな店看板のトラッキングを促進することができた。領域トラッキング方法は、一貫して類似の、隣接する領域を、連続するフレームにおけるより大きな領域とそれらをマッチングさせることによって統合することができた。オーバーセグメンテーションにもかかわらず、それらが非常に類似する外観を有する場合、物体のある部分が背景に結合される状況がまだあった。この種のエラーは、任意の教師なしセグメンテーションアルゴリズムに固有のものであり、手作業によるインタラクションのみによってこの種のエラーを補正できる。
【００９５】
〔ラベル伝搬〕
本実施例では、図１を参照して説明されるようなラベル伝搬が用いられる。ラベル伝搬方法における全体的性能は、グランドトゥルースのラベル付けされたフレームと、評価されるラベル付けされた各フレームとの間の全ての物体クラスについてのコンフュージョンマトリックスに基づくものであった。伝搬精度比率が、物体サイズによって正規化される物体クラスについて測定された。言い換えると、この比率は、各フレームにおいて正しくラベル付けされた任意のクラスについての画素の率を示す。図１０ａないし図１１ｂでは、伝搬精度の上昇は、最も頻度の高いクラスのフレームを通じて、その個数が各フレームに対応するように示される。図１０ａおよび図１０ｂでは、伝搬精度の上昇および、フレームの機能としての個数（画像サイズの率において）の上昇が、建物６０２、道路６０４、自動車６０６、および歩道６０８について示される。図１１ａおよび図１１ｂでは、伝搬精度の上昇およびフレームの機能としての個数（画像サイズの率において）の上昇が、自転車６１０、走行レーンマーケーション６１２、トラックバス６１４、信号機６１６、および歩行者６１８について示される。正しい伝搬比率は、クラスによって、１％未満から９８％まで、シークエンスをわたって顕著に変化する。特に、最も高い比率は概ね、図１０ａおよび図１０ｂで分かるように、道路および建物等の最も大きな物体によって得られる。図１０ａおよび図１０ｂに示されるような自動車、また、図１１ａおよび図１１ｂに示されるような自転車はしかし、平均サイズにおけるほんの１％および２％しか示していないが、十分一定の基準に達している。それらのクラスは、走行環境における検出のためには特に重要である。図１１ａおよび図１１ｂでは、上記マーキングがシークエンスに存在するが、走行可能レーンマーキングについての精度の急激な低下が観察される。建物等の大きく連続した領域とは異なり、レーンマーキングは道路における断続性の類似するパッチからなり、それらのトラックは即座に失われる。報告された比率は、それらの個数で正規化される。
【００９６】
ラベル付けを行う人の観点から、図１２に示すように、正しく分類された画素の全体的な数が重要である。最後のフレームにおいて、それは９８％から５３％に低下する。これは、シークエンスにおける困難性およびシークエンスに対するユーザー入力が無いという点を考えれば、良好な結果である。この曲線の下の領域は、ユーサーがラベル付けをしなくてもよい画素の数として見なすことができる。それゆえ、これは、ラベル付けを行う時間に大きなゲインが得られることを示している。本実施例は、ラベル付けされた画素の大半は、百フレームの後でさえ正しく伝搬されうることを示している。実施例は、多くのフレームに対するこの自動的伝搬機構の性能によって、映像物体ラベル付けの作業におけるユーザーの労力を著しく低減するという有利な点を示している。
【００９７】
材料と同様に、好ましい実施形態、特定の構造、および構成が、本発明に係る装置についてここで説明されてきたが、形態および詳細における様々な変更や変形が、添付の請求項に規定されるような本発明の範囲から逸脱しないように行われてもよい。例えば、アプリケーションシステムが説明される一方で、本発明は、アプリケーションシステムを制御するための制御指示を処理し、処理された映像データから導出するための方法に基づいて、映像データを処理することによって、アプリケーションシステムを制御するための方法にも関する。
【００９８】
さらに、上記の式のいずれもが、用いられうる手順を表すものに過ぎない。機能性が追加されてもよく、または、ブロック図から削除されてもよく、操作は、機能ブロックの間で置き換えられてもよい。工程は、本発明の範囲内で、説明される方法に加えられてもよく、または削除されてもよい。
【図１】
2011501252.tif 000011
【図２】
2011501252.tif 000012
【図３】
2011501252.tif 000013
【図４】
2011501252.tif 000014
【図５】
2011501252.tif 000015
【図６】
2011501252.tif 000016
【図７】
2011501252.tif 000017
【図８】
2011501252.tif 000018
【図９】
2011501252.tif 000019
【図１０ａ】
2011501252.tif 000020
【図１０ｂ】
2011501252.tif 000021
【図１１ａ】
2011501252.tif 000022
【図１１ｂ】
2011501252.tif 000023
【図１２】
2011501252.tif 000024
【手続補正書】
【提出日】平成22年5月25日(2010.5.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の画像を含む映像データを処理するための方法（１００）であって、上記方法（１００）は、
上記複数の画像のそれぞれについて、複数の領域にセグメント化するとともに、キーポイントのセットを取得する工程（１０４，１０６）であって、上記画像におけるキーポイントは、画素位置と、平均半径を有する画素位置を囲む範囲とを含んでいる、工程と、
第１画像と後続の画像との間の少なくとも１つの領域を、上記少なくとも１つの領域の外観と上記後続の画像における領域の外観とに基づいてトラッキングし、上記第１画像と上記後続の画像におけるキーポイント間のマッチングを考慮に入れて、上記後続の画像におけるマッチングした領域を見出すトラッキング工程（１０８）とを含み、上記トラッキング工程（１０８）は、第１領域と後続の領域とが類似し、または共通している程度を表す指標をさらに考慮に入れ、上記第１画像からトラッキングされた領域と上記後続の画像からトラッキングされた領域とが、ゼロでない共通するマッチングキーポイントを多数有する場合、および、全体的な類似性または共通するものが所定の値より大きい場合、上記第１領域と上記後続の領域とはマッチングすることを特徴とする方法（１００）。
【請求項２】
上記第１画像と上記後続の画像との間の少なくとも１つの領域をトラッキングする工程は、
少なくとも１つの第１キーポイントを、上記第１画像における上記少なくとも１つの領域に関連付ける工程（２０２）と、
上記後続の画像における後続のキーポイントを上記第１キーポイントにマッチングさせる工程（２０４）と、
上記少なくとも１つの領域と、上記後続の画像における後続の領域とのマッチングを、上記マッチングしたキーポイントに関する情報に基づいて決定する工程（２０６）とを含むことを特徴とする請求項１に記載の映像データを処理するための方法（１００）。
【請求項３】
上記後続のキーポイントを上記第１キーポイントにマッチングさせる工程は、双方向マッチングを含むことを特徴とする請求項２に記載の映像データを処理するための方法（１００）。
【請求項４】
上記トラッキング工程（１０８）は、上記第１画像および上記後続の画像の少なくともいずれかにおける、接続している領域の集合をさらに考慮に入れることを特徴とする、請求項１ないし３のいずれか１項に記載の映像データを処理するための方法（１００）。
【請求項５】
上記方法（１００）は、
上記第１画像における少なくとも１つの物体についてのラベルを取得する工程（１１０）であって、上記物体は領域またはキーポイントの少なくとも１つを含む、工程（１１０）と、
上記第１画像における上記少なくとも１つの領域またはキーポイントと、上記後続の画像における上記少なくとも１つの領域またはキーポイントとの間の対応を用いて、上記後続の画像における上記物体へ上記ラベルを伝搬する工程（１１２）とをさらに含むことを特徴とする請求項１ないし４のいずれか１項に記載の映像データを処理するための方法（１００）。
【請求項６】
上記ラベルを伝搬する工程（１１２）は、
上記物体の上記ラベルに基づいて、上記第１画像における上記物体における第１キーポイントについてのキーポイントラベルを取得する工程と、
上記第１キーポイントについての上記キーポイントラベルに基づいて、マッチングする後続のキーポイントに、対応するキーポイントラベルを関連付ける工程と、
上記後続の画像における上記後続のキーポイントの上記キーポイントラベルに基づいて、上記後続の画像における上記物体についてのラベルを導出する工程とを含むことを特徴とする請求項４に記載の映像データを処理するための方法（１００）。
【請求項７】
上記ラベルを伝搬する工程（１１２）は、
上記物体の上記ラベルに基づいて、上記第１画像における上記物体における第１領域についての領域ラベルを取得する工程と、
上記第１領域についての上記領域ラベルに基づいて、上記マッチングする後続の領域に、対応する領域ラベルを関連付ける工程と、
上記後続の画像における上記後続の領域の上記領域ラベルに基づいて、上記後続の画像における上記物体についてのラベルを導出する工程とを含むことを特徴とする請求項５または６に記載の映像データを処理するための方法（１００）。
【請求項８】
上記セグメント化は、少なくとも１つの物体が複数のセグメントと対応する、上記画像のオーバーセグメンテーションであることを特徴とする請求項１ないし７のいずれか１項に記載の映像データを処理するための方法（１００）。
【請求項９】
複数の画像を含む映像データを処理するための処理システム（３００）であって、上記システムは、
上記映像データにおける上記複数の画像のそれぞれについて、複数の領域にセグメント化されている、セグメント化された画像を取得する手段（３０４）と、
上記映像データにおける上記複数の画像のそれぞれについてのキーポイントのセットを取得する手段（３０６）であって、上記画像におけるキーポイントは、画素位置と、平均半径を有する画素位置を囲む範囲とを含んでいる、手段と、
第１画像と後続の画像との間の少なくとも１つの領域をトラッキングし、上記後続の画像においてマッチングした領域を得て、上記少なくとも１つの領域の外観と、上記後続の画像における上記領域の外観とを考慮に入れ、上記第１画像および上記後続の画像におけるキーポイント間のマッチングを考慮に入れる、領域トラッキング手段（３０８）とを含み、上記トラッキング手段（３０８）は、第１領域と後続の領域とが類似し、または共通している程度を表す指標をさらに考慮に入れ、上記第１画像からトラッキングされた領域と上記後続の画像からトラッキングされた領域とが、ゼロでない共通するマッチングキーポイントを多数有する場合、および、全体的な類似性または共通するものが所定の値より大きい場合、上記第１領域と上記後続の領域とはマッチングすることを特徴とする処理システム（３００）。
【請求項１０】
第１画像についての少なくとも１つのラベルを受信するラベル取得手段（３１０）と、
上記第１画像における上記少なくとも１つの領域またはキーポイントと、上記後続の画像における上記少なくとも１つの領域またはキーポイントとの間の対応を用いて、上記後続の画像における少なくとも１つのラベルを伝搬するラベル伝搬手段（３１２）とをさらに含むことを特徴とする請求項９に記載の処理システム（３００）。
【請求項１１】
動作を行うためのアプリケーションシステム（５００）であって、上記アプリケーションシステムは、請求項９または１０に記載の処理システム（３００）と、上記処理システム（３００）を用いて取得可能な上記映像データについてのトラッキングされた領域の情報を考慮に入れて上記動作を制御するためのコントローラ（５０２）とを含むことを特徴とするアプリケーションシステム（５００）。
【請求項１２】
上記処理システム（３００）は、請求項１０に記載の処理システム（３００）であり、上記コントローラ（５０２）は、上記処理システム（３００）を用いて取得可能な映像データについての伝搬されたラベルの情報を考慮に入れて上記動作を制御するように適応していることを特徴とする請求項１１に記載のアプリケーションシステム（５００）。
【請求項１３】
上記アプリケーションシステムは自動車車両であることを特徴とする請求項１１または１２に記載のアプリケーションシステム（５００）。
【請求項１４】
アプリケーションシステム（５００）を制御するための方法であって、上記方法は、請求項１ないし８のいずれか１項に記載の方法によって映像データを処理する工程と、請求項１２または１３に記載のアプリケーションシステム（５００）を制御するための制御指示を上記処理された映像データから導出する工程とを含むことを特徴とする方法。
【請求項１５】
上記アプリケーションシステムは自動車車両であり、制御指示を導出する工程は、走行指示を導出する工程を含むことを特徴とする請求項１４に記載の制御するための方法。
【請求項１６】
処理手段において実行されるとき、請求項１ないし８のいずれか１項に記載の方法を実行することを特徴とするコンピュータプログラム製品。
【請求項１７】
請求項１６に記載のコンピュータプログラム製品を記憶することを特徴とする、機械読み取り可能なデータ記憶装置。
【国際調査報告】
2011501252.tif 000025
2011501252.tif 000026
2011501252.tif 000027