(57)【要約】【課題】映像データ内の画像のラベル付けを自動的に伝ぱさせる方法及びシステムを提供すること。【解決手段】本発明による方法（１００）及びシステム（３００）は，複数の画像を有する映像データを処理する。この方法及びシステムは，一連の画像内の複数の物体又は領域にラベルを付け，その後，推論ステップ及びモデルに基づいて，シーケンス内の他の画像にラベルを伝ぱさせる。【選択図】図１
2013537654.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を有する映像データを処理する方法（１００）であって，
前記複数の画像は映像シーケンスの先行フレーム及び後続フレームを有し，
前記複数の画像は，前記先行フレーム内の少なくとも第１の領域又はパッチと，前記後続フレーム内の少なくとも第２領域又はパッチとのラベルを有し，前記方法は，
前記複数の画像のモデルを取得するステップと，
前記第１及び／又は第２の領域又はパッチのラベルを，シーケンスの少なくとも一つのほかの画像に伝ぱさせるために，前記モデルを用いるステップであって，前記伝ぱは，有向グラフ法によって前記ほかの画像内のラベルを推定する確率的方法による，ステップと，を有する方法。
【請求項２】
前記モデルは前記複数の画像とそのラベルとの合同モデルであるか，
前記モデルは前記複数の画像とその対応するラベルとの生成確率モデルであるか，
前記モデルは後続画像又は先行画像を生成するために一つの画像を用いる順次生成モデルであるか，
前記モデルは順次生成潜在変数モデルであるか，又は
前記伝ぱは隠れマルコフモデルを用いる，請求項１に記載の方法。
【請求項３】
後続フレーム及び／又は先行フレームからの予測を用いて，前記推定されたラベル内の不確定性を判定する，請求項１又は２に記載の方法。
【請求項４】
前記画像は色チャネルを有し，各色チャネルは独立に処理される，請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記ほかの画像における前記ラベルの推定は，前記先行フレームからの前方転送と，前記後続フレームからの後方転送とを含む，請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記ほかの画像内のラベルは，前記先行画像又は前記後続画像内の複数の領域又はパッチから選択され，前記の推定された領域又はパッチは，前記先行画像又は前記後続画像内の領域又はパッチと，前記ほかの画像内の領域又はパッチとの間で最高の輝度一致を有する領域又はパッチである，請求項５に記載の方法。
【請求項７】
複数の画像を有する映像データを処理する処理システムであって，
前記複数の画像は先行フレーム及び後続フレームを有し，
前記複数の画像は，前記先行フレーム内の少なくとも第１の領域又はパッチと，前記後続フレーム内の少なくとも第２領域又はパッチとのラベルを有し，
メモリ内に記憶された前記複数の画像のモデルと，
前記第１及び／又は第２の領域又はパッチのラベルを，シーケンスの少なくとも一つのほかの画像に伝ぱさせるラベル伝ぱ手段であって，前記伝ぱは，有向グラフ法によって前記ほかの画像内のラベルを推定する，確率的方法による，手段と，を備えるシステム。
【請求項８】
前記モデルは前記複数の画像とそのラベルとの合同モデルであるか，
前記モデルは前記複数の画像とその対応するラベルとの生成確率モデルであるか，
前記モデルは後続画像又は先行画像を生成するために一つの画像を用いる順次生成モデルであるか，
前記モデルは順次生成潜在変数モデルであるか，又は
前記モデルは隠れマルコフモデルである，請求項７に記載のシステム。
【請求項９】
後続フレーム及び／又は先行フレームからの予測を用いて，前記推定されたラベル内の不確定性を判定する手段を備える，請求項７又は８に記載のシステム。
【請求項１０】
前記画像は色チャネルを有し，各色チャネルは独立に処理される，請求項７〜９のいずれか一項に記載のシステム。
【請求項１１】
前記ラベル伝ぱ手段は，前記先行フレームからの前方転送と，前記後続フレームからの後方転送とによって，前記ほかの画像における前記ラベルを推定するようになっている，請求項７〜１０のいずれか一項に記載のシステム。
【請求項１２】
処理手段上で実行したとき，請求項１〜６のいずれか一項に記載の方法を実行するための計算機プログラム製品。
【請求項１３】
請求項１２に記載の計算機プログラム製品を記憶する機械可読データ記憶装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像データ内の画像内の物体又は領域のラベル付け，特に映像内の領域又は物体認識に適用されるシステム及び方法に関する。より詳細に言えば，本発明は領域，物体又はそれらの画素に指定されたラベルの半自動又は自動伝ぱ，対応する処理システム及びそのような処理の応用に関する。
【背景技術】
【０００２】
映像内の物体の識別は，医用画像，内容分析，映画産業，運輸車両制御における種々の応用を有する。識別すべき物体に関しては，少なくともシステムの訓練中に，通常は人間のオペレータが明示的にラベル付けをする。すべての画像を手動でラベル付けするならば，時間が掛かる。
【０００３】
ラベル伝ぱは，「視覚的識別情報」がない物体領域を追跡する必要があるため，非常に挑戦的な課題である。シーケンス中の隣接画像はしばしば大きなノイズレベルを有し，ラベル伝ぱを本質的に不安定にする。ラベル付け及び分割実行に関係する種々の課題は文献において論じられ，これらの作業を容易にする方法が提案されている。一つの例は対話型方法の利用であり，それによって顕著な前景物体が背景から正確に抽出される。この方法においては，利用者は画像の分割の改善に緊密にかかわる。ラベル伝ぱに関係する課題は，色付け問題である。白黒の画像を二三回色でなでることによって，利用者は画像を現実的に色付けする方法を指定する。色付けの利用は広く普及しているが，生成された色をラベルマップに変換することは簡単ではない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
映像データを処理する良い方法及びシステム並びにそれらを利用する応用を提供することが本発明の目的である。本発明の実施形態の利点は，画像シーケンス内の物体，領域又は画素のグループに指定されたラベルの半自動的又は自動的な伝ぱを提供するシステム及び方法が得られることである。本発明による実施形態の利点は，十分正確なデータを提供する処理と組み合わせることによって，映像データの効率的な処理が得られることである。
【０００５】
上記の目的は，本発明による方法及び装置によって達成される。
【０００６】
本発明はラベル付けされたフレーム又は１を超えるラベル付けされたフレーム，例えば映像シーケンスのラベル付けされた開始及び終了フレーム，から始まる。どのようにこれらのラベルを取得するかは，本発明の制限事項とは考えられない。例えば，これらの初期ラベルは手で，例えば最初のフレーム及び最後のフレームに適用してもよい。本発明は，例えば，ここで参照する，共に係属中の特許出願，国際出願第２００９／０４７３６６号に記載されているような方法による最後のフレームのすべての形態のラベル付けを含む。
【０００７】
本発明は，映像シーケンス内のすべてのほかのフレームへクラスラベルを伝ぱさせる方法及び装置を提供する。ラベルは，画素ごと，物体ごと若しくは領域ごと，又はこれらの組合せによって適用される。本発明の一態様は，映像のモデル化及びその時系列の注釈である。本発明は，ラベルを推測する推論戦略を実現する方法及び装置を提供する。
【０００８】
本発明による実施形態の利点は，１又は複数の予めラベル付けされたフレームから始めて，自動化されたラベル伝ぱ及び／又は自動ラベル伝ぱを可能にするシステム及び方法が提供されることである。
【０００９】
本発明による方法は，画像内の少なくとも一つの画素，領域又は物体のラベルを取得するステップを更に有する。物体は，例えば少なくとも一つの領域又はキーポイントを有してもよい。この方法は後に続く画像又は先行する画像のラベルを伝ぱさせるステップを有する。本発明による実施形態の利点は，効率的かつ十分に正確なラベル伝ぱが自動及び／又は自動化された方法で行うことができることである。本発明による実施形態の利点は，このような伝ぱが，利用者との少ない対話又は対話なしで行えることである。
【００１０】
本発明は，本発明の任意の方法によって映像データを処理する処理システムに関係する。
【００１１】
本発明による実施形態の利点は，有向グラフモデル及び推論ステップを用いてラベル伝ぱを可能にするシステム及び方法が提供されることである。このモデルはフレームシーケンス及びそのラベルの合同モデルであってもよい。モデルはフレームシーケンス及びその対応するラベルの生成確率モデル（generative probabilistic model）であってもよい。モデルは後続画像又は先行画像を生成するために一つの画像を用いる順次生成モデル（sequential generative model）であってもよい。モデルは順次生成潜在変数モデルであってもよい。例えば，使用するモデルは結合（coupled）隠れマルコフモデル（ＨＭＭ）（図１参照）であってもよいが，このモデルは本発明に用いることができる種類のモデルの一例として提供されるに過ぎない。本発明の実施形態の利点は，方法及びシステムが，困難な場合において対話的誤差修正のための利用者対話と組み合せて性能を改善できることである。
【００１２】
本システムは，最初の画像の少なくとも一つのラベルを受信するラベル取得手段と，先行する（後方の）１又は複数の画像，又は後続の（前方の）１又は複数の画像内の上記の少なくとも一つのラベルを伝ぱするラベル伝ぱ手段と，を更に備えてもよい。システムの出力に基づいて操作を解釈又は実行する装置が提供される。これは，例えば車両制御システム，警報のような運転者支援システム，ロボットシステム，歩行者検出用監視システムなどであってよい。
【００１３】
本発明はまた，処理手段上で実行したとき，映像データを処理する方法を実行する計算機プログラム製品にも関係する。
【００１４】
さらに，本発明は，上記のような計算機プログラム製品を記憶する機械可読データ記憶装置と，構内通信網又は広域通信網を介して上記のような計算機プログラム製品を送信すること，にも関係する。
【００１５】
本発明による実施形態の利点は，映像内の領域，画素又は物体のラベルの伝ぱを自動化する，柔軟であるが堅固な技法が得られることである。
【００１６】
本発明の特定かつ好適な態様は，付属の独立請求項及び従属請求項に記載されている。従属請求項の特徴は，独立請求項の特徴及び適宜の，請求項には明示的に記載されていないほかの従属請求項の特徴と組み合せてもよい。
【００１７】
本発明のこれらの性質，特徴及び利点は，例として本発明の原理を示す，添付の図面と関係する以降の詳細な説明から明らかになるであろう。この説明は，例としてだけ与えられるものであり，本発明の範囲を制限するものではない。以降，引用される参照番号は添付の図面を指す。
【００１８】
別個の図面において，同一参照記号は同一又は類似の事象を指す。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態によるラベル伝ぱのＨＭＭモデルを概略示す図である。
【図２】本発明の実施形態によって使用できるＥステップ対応付け計算を概略示す図である。
【図３】後方メッセージ転送（右から左へ向かう矢印）及び前方メッセージ転送（左から右へ向かう矢印）の例示方法を示す図であって，本発明の特定の実施形態によって，「空ラベル」が後方メッセージ転送において得られることを示す図である。
【図４】本発明による映像シーケンスの概略図であって，上の行のフレーム１及び２５が利用者が与えたラベルであり，フレーム６，１２，１８のグランドトルースが上の行との比較のために提供されている図である。
【図５】本発明の実施形態による画像プロセッサ又は処理システムの図である。
【図６】本発明の第１態様の実施形態による方法が実現されている処理システムの図である。
【発明を実施するための形態】
【００２０】
本発明を特定の実施形態に関して，かつ一定の図面を参照して説明するが，本発明はそれらではなく，本願請求項だけによって限定される。説明する図面は概略に過ぎず，非限定的である。図面において，いくつかの要素の大きさは説明のために誇張されており，正確な縮尺で描かれてはいない。その寸法及び相対的寸法は，発明を実施するための実際の縮小には対応してない。
【００２１】
さらに，詳細な説明及び請求項における「第１」及びそれに類似する用語は，類似の要素を区別するために用いられ，必ずしも，時間，空間，序列又は任意のほかの順序を記述するものではない。請求項において用いられる「有する」又は「備える」（comprising）の用語は，その後に掲げた手段に制約されると解釈するべきではない。当該用語はほかの要素又はステップを除外するものではない。したがって，言及されたとおりに明言された特徴，整数，ステップ又は部品を指定し，そのほかの特徴，整数，ステップ若しくは部品又はそれらのグループを指定すると解釈するものとする。したがって，「手段Ａ及びＢを有するデバイス」という表現の範囲は，部品Ａ及びＢだけからなるデバイスに限定するのは望ましくない。本発明に関しては，上記表現はデバイスの唯一関係する部品がＡ及びＢであることを意味する。
【００２２】
この明細書を通じて，「一つの実施形態」又は「実施形態」とは，当該実施形態に関係して説明された特定の特徴，構造又は特性が，本発明の少なくとも一つの実施形態に含まれているということを意味する。したがって，本明細書を通じた種々の箇所に現れる「一つの実施形態において」又は「実施形態において」は，すべてが必ずしも同一の実施形態を指すわけではないが，そうであるかもしれない。さらに，上記の特定の特徴，構造又は特性は，当業者であればこの開示から明白であるように，１又は複数の実施形態において，任意の適した方法で組み合わされてもよい。
【００２３】
類似して，本発明の例示実施形態の説明において，開示を合理化し，種々の発明の態様のうち１又は複数を理解することを助けるために，本発明の種々の特徴が一つの実施形態，図面又は説明にまとめられることがあることを理解されたい。しかし，この開示方法は，主張する発明が，各請求項に明白に述べられているものより多くの特徴を必要とするという意図を反映していると解釈してはならない。むしろ，後続の請求項が表すとおり，発明の態様は，一つの先に開示された実施形態のすべての特徴より少ない。したがって，詳細な説明に続く請求項は，詳細な説明に明確に組み込まれ，各請求項はこの発明の別個の実施形態として独立している。別個の実施形態の特徴の組合せは本発明の範囲内であり，当業者には理解されるであろうが，別個の実施形態を形成する。例えば，後続の請求項において，いずれの主張された実施形態も，いずれの組合せでも用いることができる。
【００２４】
ここに記した説明において，多くの特定の詳細が言及されている。しかし，本発明の実施形態はこれら特定の詳細なしで実施してもよいことを理解されたい。別の例として，周知の方法，構造及び技法は，この説明の理解をあいまいにしないように，詳細には示していない。
【００２５】
「自動的に」という用語が詳細な説明のいくつかの点で用いられていることに注意されたい。いくつかの実施形態においては，利用者がシステムに，例えば図形として表示されたボタンをクリックすることによって指示した後，自動タスクが実行され，別の実施形態においては，図形として表示されたボタンをクリックすることのような明示的な利用者指示なしに自動タスクが実行されてもよい。「自動」及び「自動的に」の用語は双方の場合を包含する。
【００２６】
「最初の画像」という用語は，特定の処理ステップにおける開始点として用いられる画像を指す。当該画像はシーケンスの最初の画像である必要はない。後続の画像が用いられるが，本発明によるシステム及び方法は画像シーケンスに正順及び／又は，例えば最後の画像から始めて領域又はラベル付けを後方に追跡する，逆順に適用してもよい。したがって，「最初の画像」の用語は，情報が取得又は計算され，例えば追跡又は伝ぱのような更なる処理がそこから行われる画像を指すときだけに用いられる。
【００２７】
ここで，本発明のいくつかの実施形態の詳細な説明によって，本発明を説明する。当業者の知識によれば，本発明の真の精神又は技術的教示から逸脱することなく，本発明の別の実施形態を構成できることは明白であり，本発明は付属の請求項の表現によってのみ限定される。第１の態様において，本発明は複数の画像を有する映像データを処理する方法に関する。映像データは，例えばシーン内の１又は複数の物体の動きを示す一連の画像を有してもよい。映像データは，例えば，カメラのような光学検出又は記録システムを用いて取り込み，メモリ内の記憶された位置からデータを呼び出す，などの任意の適切な方法で取得することができる。映像データはアナログ映像データであってもよいし，デジタル映像データであってもよい。映像データは３次元映像データであってもよい。特に注目する映像データは，本発明はそれに限定するものではないが，例えば走行中の車のような移動物体で記録された映像データである。本処理の応用の一つは，車両内の自動化及びセキュリティのために映像処理を用いることであるため，後者が特に注目される。映像データの適切な処理は，移動物体，例えば車両又はその運転者に関係する主な物体の認識及び報告に用いてもよい。注目する物体は，例えば道路，歩行者，車両，障害物，交通信号灯，などの任意の物体であってよいが，それに限定するものではない。映像データの処理は実時間で行ってもよいし，記憶された映像データについて行ってもよい。本発明の実施形態による方法及びシステムは，小物体の変位又は高い映像取り込みフレームレートを想定しない。
【００２８】
本発明は，映像シーケンス内のラベル伝ぱのために有向グラフモデルを用いるラベル伝ぱの方法を提供する。このモデルはフレームシーケンス及びそのラベルの合同モデルであってもよい。モデルはフレームシーケンス及びその対応するラベルの生成確率モデルであってもよい。モデルは後続画像又は先行画像を生成するために一つの画像を用いる順次生成モデルであってもよい。モデルは順次生成潜在変数モデルであってもよい。例えば，使用するモデルは結合隠れマルコフモデル（ＨＭＭ）（図１参照）であってもよいが，このモデルは本発明に用いることができる種類のモデルの一例として提供されるに過ぎない。モデルは概念的に３層を含み，そのうち二つは連鎖である。上側層又は連鎖は画像シーケンスを順次，段階的生成でモデル化する。各時点において，潜在する又は隠れた画像が，現在観察されている画像のパッチと呼ばれる領域の集合から構成される。この領域又はパッチは画像内に意味を持つ必要はない。しかし，領域又はパッチは画像内の物体の一部であってもよい。潜在画像内のパッチは先行する画像内（前方転送（pass））又は後続の画像内（後方転送）の画像と対照される。潜在画像は，先行又は後続画像内のパッチのラベルからラベルを継承する。潜在画像内の画素又は領域へのラベルの指定は，当該ラベルが正しいラベルである一定の確率で行われる。この確率は，好適にはラベル自体と同様に記憶される。潜在画像は，次の画像を「こじつけ」（explain away）又は「生成」するために用いられる。本発明は，好適には，二つの推論ステップ及びモデルを利用する。第１ステップは，潜在画像内のパッチと，１又は複数の先行又は後続画像内のパッチとの対照を含む。第２ステップにおいて，先行又は後続画像から潜在画像への最適なラベル転送が決定される。このような２ステップ処理は，ＥＭベースの推論戦略であってよい。潜在画像は，類似性を見付けるために，時間等価な実像と比較される。次に，潜在画像のラベル付けが現在の実像に最適な方法で対応付けされる。下側層又は連鎖は，離散領域で潜在画像のラベル付けを同様にモデル化する。潜在画像の推論したラベルは，一連の画像のラベルとして用いることができる最終結果である。ラベルが正しい確率は，潜在画像内の画素又は領域ごとに記憶される。中間対応付け層は上側及び下側のマルコフ連鎖を接続，すなわち，画像層とラベル層とを接続する。メッセージ転送順序が図１に，サムネイル画像を用いた対応する効果の例と共に示されている。
【００２９】
現在の画像の例として，例えば道に沿った特定の位置，例えばＡ，Ｂ，Ｃに関係した既知の画像がある応用を検討する。ＡとＢとの間の位置に車両があるとき，車両はＡからの画像でもＢからの画像でもない，これら画像双方の一部を含む現在の画像を見るであろう。したがって，Ａで撮られた画像とＢで撮られた画像との間にはある重複がある。本発明は，この現在の画像と，過去に通過した位置（Ａ）で撮られた画像から前方向に伝ぱすることによって生成された潜在画像とを比較する（そして後にラベル付けする），及び／又はこの現在の画像と，将来通過する位置（Ｂ）で撮られた画像から後方向に伝ぱすることによって生成された画像とを比較する（そして後にラベル付けする）方法及び装置を提供する。本発明の種々の応用がある。自動車からの現在の画像が，ＡとＢとの間どこかの位置に基づいてラベル付けできるときは，自動車の位置が確認できる。Ａ及びＢのような点からの画像は，ＧＰＳナビゲーション装置のような自動車ナビゲーション装置内に記憶することができる。したがって，本発明はナビゲーションシステムの強化として用いることができる。代替として，本発明の生産物はほかのアルゴリズムを訓練するか又はほかのアルゴリズム，例えば歩行者検出アルゴリズムのために画像ラベルを提供する。Ａ及びＢのような点からの既存の静止画像は，自動車がＡとＢとの間にあるとき撮られた現在の画像中の既知の物体及び外来の物体を識別するために，本発明によって分析され，したがって，例えば歩行者のような外来の侵入物を検出するアルゴリズムの精度を増加させる。本発明の成果物に基づいて解釈又は行動するデバイスが提供される。例えば，本発明のラベル付けを用いた画像内の歩行者の検出は，警報又はほかの形態の警告を起動し，ブレーキをかける，などに用いることができる。これは，例えば車両制御システム，運転者支援システム，ロボットシステム，侵入者を検出するための監視システム，などに用いることができる。本発明は自動車に限定されない。
【００３０】
工程の方法は，前方転送２，すなわち開始画像から現在の画像へ，画像間の時間経過と同一の方向で最後の画像の方向へ進む，及び／又は後方転送１であってよいことに注意されたい。後方転送１において，方法は，時系列内で将来遭遇するであろう画像から始まり，現在の画像に向かって時間軸の後方に移動する。
【００３１】
図１は，ラベル伝ぱの結合ＨＭＭモデルを示すが，本発明に用いるモデルの特定の例に過ぎない。図１における観察された変数（網掛けしたノード）及び隠れた変数については，以降詳細に説明する。
【００３２】
１．Ｉ０：ｎは画像の観察されたシーケンスである。
２．Ｚｋは，「重複潜在色画像パッチ」，Ｚｋ＝｛Ｚｋ，ｊ｝Ωｊ＝１，ここでｊはパッチ集合Ωのパッチインデクス，からなる潜在色画像である。これらのパッチは座標を共有しているが互いに独立であると仮定する。しかし，例えばビタビ変分型近似を用いることによって，推論中に重複した部分の一致を強制する。この技法は扱いやすい条件付分布（式１）の規定を可能にし，推論（アルゴリズム１の１０行目）は，潜在画像パッチ間の相関の暗黙の再計算を可能にする。
３．Ｚａｋは，「重複潜在ラベル付きパッチ」，Ｚａｋ＝｛Ｚａｋ，ｊ｝Ωｊ＝１，からなる潜在ラベル付き画像である。パッチｊ内の各画素ｉ，Ｚｋ，ｊ，ｉ，は，Ｌ＋１個の相互に排他的な値，すなわち，空（未知のクラス）ラベル及びＬ個の既知クラスラベル，のうち一つをとる多項ランダム変数である。ラベル１は空のために予約されている。重複するパッチ間の相関はＺｋと同様に取得される。
４．Ａｋは画像サイズの２次元「格子」である。この格子の各座標において，Ｌ＋１個の連続非負実値ランダム変数の集合は合計が１である。例えば，座標ｖにおいて，
【数１】
2013537654.tif 000003
である。
５．Ｔｋ＝｛Ｔｋ，ｊ｝Ωｊ＝１は，上側及び下側マルコフ連鎖を結合する「パッチ対応付け」変数の集合である。Ｔｋ，ｊの実現値（instance）は画像パッチＺｋ，ｊをＩｋにおける同一サイズの観察されたパッチＩｋ−１，Ｔｋ，ｊに対応付けする。Ｔｋ，ｊの同一実現値はまた，潜在ラベル付きパッチＺａｋ，ｊを，格子Ａｋ−１上の同一サイズのパッチＡｋ−１，Ｔｋ，ｊに対応付けする。
【００３３】
【表１】
2013537654.tif 000004
【００３４】
【表２】
2013537654.tif 000005
【００３５】
１．潜在画像Ｚｋは，観察された画像Ｉｋから次のように予測される。
【数２】
2013537654.tif 000006
ここで，インデクスｊはすべての（重複する）潜在パッチＺｋ＝｛Ｚｋ，ｊ｝Ωｊ＝１に渡って変化する。Ｚｋ，ｊ，ｉは，時刻ｋにおけるパッチｊ内の画素ｉである。Ｔｋ，ｊ（ｉ）は，パッチＩｋ−１，Ｔｋ，ｊにおける画素Ｉｋ−１，Ｔｋ，ｊ（ｉ）を指す。
【数３】
2013537654.tif 000007
は平均値Ｉｋ−１，Ｔｋ，ｊ（ｉ）及び分散φｋ−１，Ｔｋ，ｊ（ｉ）を有するＺｋ，ｊ，ｉの正規化ガウス分布である。
【００３６】
２．観察された画像Ｉｋは，潜在画像Ｚｋによって次のように「こじつけ」られる。
【数４】
2013537654.tif 000008
ここで，Ｉｋ，ｖは画像サイズの格子Ｖにおける画素ｖの輝度を表す。ｊは画素ｖと重複するＺｋ内のパッチを指す。Ψｋ，ｖは正規化ガウス分布の分散である。
【００３７】
３．潜在ラベル付き画像Ｚａｋは，Ａｋ−１から次のように予測される。
【数５】
2013537654.tif 000009
ここで最初の二つの積のインデクスは式（１）と同一である。最後の項は，パッチＺａｋ，ｊ内の画素Ｚａｋ，ｊ，ｉの離散クラス確率分布である。
【００３８】
４．ＡｋはＺａｋから次のように予測される。
【数６】
2013537654.tif 000010
これは，（独立の）パラメータ｛ａｋ，ｖ｝ｖ∈Ｖにディリクレ事前分布を設定する。Γはパラメータ
【数７】
2013537654.tif 000011
ｌ＝１…Ｌ＋１，かつ
【数８】
2013537654.tif 000012
のガンマ関数を表す。ｊは，画像サイズの格子Ｖにおける画素インデクスｖと重複するＺａｋ内のパッチを指す。Ｎｖは総和内の要素数である。λは，無限大を避けるための実正定数（≧１．０）である。
【００３９】
隠れ変数の値を推定する推論戦略は，アルゴリズム１の擬似コードとして要約されている。
【００４０】
期待値最大化（ＥＭ）ベースの推論戦略を，本発明の実施形態（アルゴリズム１及び２参照）と共に用いることができる。この戦略は次に詳しく説明する二つの主なステップ，Ｅステップ及びＭステップを含んでもよい。
【００４１】
Ｅステップの計算
Ｅステップは，パッチ対パッチの対応付けを計算し，各一致の確率を指定する。対応付けは現在の潜在画像におけるパッチから１又は複数の先行画像内の複数のパッチへ行われる。これは，パッチ相互相関に相当する。図２にＥステップを図で示す。対応付け実現値Ｔｋ，ｊの各実現値には確率ｑ（Ｔｋ，ｊ）が指定される。確率Ｐ（Ｔｋ，ｊ）は，長方形探索範囲（ほかの形状の探索範囲も利用できる）に渡って均等確率である。フレームｋ−１におけるパッチは１，２，３，等とインデクスされる。それらの中心が網掛けされている。時刻ｋのパッチｊについて，変数Ｔｋ，ｊは，時刻ｋ−１の別のパッチへの対応付けを表す。パッチは順序付けられ，１とΩとの間の一意なスカラインデクスが指定される。したがって，Ｔｋ，ｊはインデクス値を有する。例えば，Ｔｋ，ｊ＝ｊ’は，時刻ｋにおける事象パッチｊが，時刻ｋ−１のパッチｊ’に対応付けされる事象を暗示する。
【００４２】
Ｅステップはアルゴリズム２の１行目から始まり，基本的に，二つのパッチ間の画素単位輝度一致（相互相関と類似）に比例した確率ｑ（Ｔｋ，ｊ）を指定する。１行目のｚ＊ｋは単にＩｋに初期化され，したがって，固定分散の正規分布が画素単位輝度一致を算出する。任意選択で，画像の各色チャネルが独立に取り扱われ，実効上，Ｒ，Ｇ及びＢチャネルにおける一致が乗算されて右辺の値を与える。
【００４３】
最初の反復において，ａｋ−１，Ｔｋ，ｊ（ｉ），ｉの値はすべて同一の値を有し（アルゴリズム１の初期化ステップを参照），右辺に影響しない。計算コストが高いため，Ｅステップは現在のところ１回実行することが望ましい（Ｃ＃による実装かつ８個のコアプロセッサを用いて，９０ｓ／フレームのコストである）。したがって，ａｋ−１，Ｔｋ，ｊ（ｉ），ｉはパッチ一致に影響しない。また，相互相関によって既知のとおり，時刻ｋ−１においてパッチｊの周囲の長方形範囲を探索してもよい。確率ｐ（Ｔｋ，ｊ）は演繹的に，等確率と考えられる長方形内で「平坦」，すなわち均等な対応付けを可能にするように保つのが望ましい。最後に，すべての取り得るＴｋ，ｊ値について，ｑ（Ｔｋ，ｊ）が１であるように正規化される。これによって，相互相関面に類似のものを生成するが，面上の値の合計が１に等しい。
【００４４】
計算コストを削減するため，アルゴリズム１の３行目において，最良の一致についてだけ合計することが望ましい。すなわち，最良の一致点においてデルタ関数によって一致面が近似され，確率１が指定される。５行目において時刻ｋ＋１からｋへの対応付け（Ｔｋ＋１，ｊ）が行われ，時刻ｋにおける特定のパッチへの最良一致を有する時刻ｋ＋１におけるすべてのパッチを考慮する必要がある。対応付けは１対１ではない。したがって，５行目の線形結合は時刻ｋ＋１におけるパッチについて行われ，対応する重みは一致確率ｑ（Ｔｋ＋１，ｊ）である。このようにして，分布ｑ（Ｔｋ，ｊ）の計算は不可避である。
【００４５】
実際の実装においては，ＲＧＢ各チャネルが独立に扱われるとき，画像は各色チャネルにおいて０．０〜１．０に調整される。アルゴリズム２においては，パッチサイズは各軸において画素によって偏移された，例えば７×７のパッチ中心に選んでもよく，先行するｐ（Ｔｋ，ｊ）を，パッチｊの中央に位置する例えば３０×４０画素の格子（長方形探索範囲）である長方形格子のような格子について均一に設定される。画像境界を越える探索範囲は切り捨ててもよい。すべてのガウス分布の分散は１．０に固定してもよい。
【００４６】
Ｍステップの計算
Ｍステップは，隠れ変数の最大確率値を決定するための二つの転送，すなわち時刻ｋ＝ｎ−１：１の後方メッセージ転送と，時刻ｋ＝１：ｎ−１の前方メッセージ転送からなる。本実施形態において，モデルは有向グラフであり，証拠（手動でラベル付けされたデータのような予めラベル付けされたデータ）をシーケンス内のすべて宇野ほかのフレームに伝ぱさせるために，二つのメッセージ転送が必要である。双方の転送において，Ｚａｋ及びＡｋを交互に推定するために，アルゴリズム２の４，５及び６行目がその順に実行される。図３は前方メッセージ転送及び後方メッセージ転送の効果を簡単に示している。
【００４７】
後方メッセージ転送
この転送においては，フレームｋからフレームｋ−１へラベルが転送される。Ｅステップの対応付けが因果方向で計算される。すなわち，フレームｋ内のパッチｊについて，フレームｋ−１において最良一致が計算される。対応付けにおけるこの時間非対称性のため，時刻ｋ−１におけるパッチは時刻ｋにおけるどのパッチとも最良一致でないことがあり得る。したがって，時刻ｋ−１においていくつかの画素にはどのラベルも転送されない（パッチが重複していることを思い出されたい）。これらの画素には空（void）（又は未知のラベル）が指定され，フレーム２まで後方に伝ぱされる。図３は，後方メッセージ転送効果における空効果を示す（図１のサムネイルも参照されたい）。後方伝ぱ法は時間軸の後方に向かって実行され，見えている部分に未知のラベルを正しく指定するため，この効果は後方伝ぱの望ましい性質である。この効果は「空伝ぱ」と呼ばれる。
【００４８】
前方メッセージ転送
この転送においては，フレームｋ−１からフレームｋへラベルが転送される。この方向においてもＥステップの対応付けが計算される。したがって，フレームｋ内のパッチｊに対して，フレームｋ−１に常に最良一致がある。このようにして，フレームｋからフレームｎ−１までの画素に既知のクラスラベルが転送される。この前方伝ぱステップはラベル「充填（fill）ステップ」と見なしてもよく，このステップでは後方伝ぱにおいて生成された空がいくつかの既知のクラスに設定される（図１参照）。これによって，映像シーケンス全体の円滑なラベル付けが行われ，見えているシーンのほとんどが最初のフレーム（手動でラベル付けされたフレーム）から，かろうじて見ることができる短シーケンス（２５〜５０フレーム）に非常に有効である。しかし，長シーケンスについては，これは既知のクラスラベルを「やみくもに」充填するという有害な効果であり得，特にシーケンスの中央に向かっては空（未知のクラス又は不確定のラベル）がより適切である。したがって，前方伝ぱは，後方転送において実行された望ましい空伝ぱを，ある程度軽減する。この負の充填効果は，対応付けの方向性（因果性）の直接的な結果である。したがって，提案モデルは，長シーケンスには適用しにくい時間非対称モデルである。
【００４９】
図４は，本発明の単純かつ効果的な方法が，例えば長方形パッチの一致に基づいて，ただ二つの予めラベル付けされたフレームを与えて，映像シーケンス内のフレームを自動的にラベル付けする方法を示している。図４において，上側の行のフレーム１及び２５は利用者が与えたラベルを有する。フレーム６，１２及び１８のグラウンドトルースが，上側の行の比較に提供される。提案した方法は，パンする動きの下でもかなり正確にラベルを伝ぱする。
【００５０】
本発明は主に，実際の映像データ，すなわち，計算機で生成された画像ではなく，実環境を撮影した画像に適用される。本方法は，複数の画像，すなわち映像データの画像シーケンスに作用する。この画像シーケンスは，本方法の開始時に既に利用可能であってもよい。代替として，複数の画像を有する映像データを取得する任意選択のステップを最小に実行してもよい。このような取得ステップは，例えば光ディスク上に記憶された映像データ又は通信網を介して映像データを受信してもよいし，カメラを用いて記録することによって映像データを取得してもよい。後者は一度にフル映像データセットを取得するだけでなく，実時間映像又はストリーミング映像を取得し，次いで処理のために局所的に記憶することになる。いくつかの実施形態において，画像シーケンスはテストベッドから得てもよい。後者は例えば，映像データ内の物体を認識するシステムの訓練を行うときに用いてもよい。これによって，複数の画像が当初記録された映像シーケンスのすべてのフレームを含む必要がなく，例えば，注目の画像及び必要な処理精度に応じて，選択した部分だけであってもよい。映像データは連続した画像を含むことが有利であるが，別個の連続するフレーム間の経過時間を，例えば必要な精度を勘案して選択してもよい。一例において，連続するフレーム間の経過時間が制限され，これは画像間のより小さな差になり得る。代替として，又は追加として，サブサンプルを行うために事前平滑化を行ってもよい。後者は，シーンが平易であればあるほど，システムは低い解像度で動作できるようにする。車両がゆっくり移動しているか，交通渋滞にはまったとき，解像度及び／又はフレームレートは比較的低くてもよい。例として，都市内の通常のドライブについては，毎秒３０フレームのフレームレートであってよい。本方法は動きベースの方法と比べて，高フレームレートに本質的に頼らないことが，本発明による実施形態の利点である。
【００５１】
得られたラベル情報はさらに，特定の応用に用いてもよい。応用の一例は，車両の自動運転であって，映像処理が走行中に主要物体を認識するために用いられ，該主要物体は例えば道路，歩行者及び車両のような車両運転者に関係するものであり，走行中の物体に関する得られた情報は，例えば道路を追跡するため，ほかの物体との衝突を避けるため，など，自動運転ために考慮に入れられる。そして本方法は，例えば種々の方向で記録された複数の映像データに例えば用いられ，得られた物体情報は速度センサ，位置情報，音響センサ，動きセンサ，などのようなほかの種類の情報と組み合せてもよい。代替応用は，映像データにラベル付けするため，システム又は人を訓練するためのラベル情報の利用であってもよい。
【００５２】
図５は，実施形態による画像プロセッサ又はプロセッサシステム１０を示す。図６は，この実施形態又はほかの実施形態によって実行されるステップを示す。画像プロセッサ又はプロセッサシステム１０は，例えば図示した各部品に特化した回路ブロックのようなハードウェアを備える１又は複数の集積回路として実現することもできるし，例えばサーバのようなはん用プロセッサによって順に実行されるソフトウェアモジュールとして実現することもできる。図示した部品は，ビデオカメラ，又はＤＶＤ  ＲＯＭ若しくはＣＤＲＯＭのような光ディスク，又はＵＳＢスティックのような固体メモリデバイスのような画像ソースデバイス５から入力画像又は（実時間又は非実時間の映像のフレームのような）画像ストリームを受信する入力インタフェース２０を含む。映像シーケンスの画像又はフレームは，メモリ３０の一部３４に記憶される。また，システムへの入力も，メモリ３０の一部３６に記憶された１又は複数のラベル付けした画像である。さらに，画像のモデルがメモリの一部３２に記憶される。このモデルは，フレームのシーケンス及びそのラベルの合同モデルであってよい。モデルは，フレームのシーケンス及び対応するラベルの生成確率モデルであってよい。モデルは，後続又は先行の画像を生成するために一つの画像を用いる順次生成モデルであってよい。モデルは，順次生成潜在変数モデルであってよい。例えば，使用されるモデルは結合隠れマルコフモデル（ＨＭＭ）であってよい。プロセッサ１０もまた，推論計算部４０を備える。この部分４０は，推論ステップを有する本発明の方法の任意の部分を実行するためのものである。例えば部分４０は，ラベルを伝ぱするために，メモリの一部３４及び３６にある画像データを処理する，Ｅステップ及びＭステップ計算部（それぞれ，４２，４４）を含んでもよい。デバイス５５は，本発明の出力に基づいて，解釈又は実行するために提供される。このような出力は，（例えば，歩行者と関係するラベルを有する画像のラベル付けによって得られるか，画像内の歩行者を検出し，本発明のラベル付けを，歩行者の識別をより正確にするために，画像内容についての追加情報として本発明のラベル付けを利用する，更なるアルゴリズムと関連して得られる）警報を供給するために用いてもよい。出力は，警報，ブレーキ効果，等であってよい。
【００５３】
更なる態様において，本発明は映像データを処理し，複数の画像のラベル情報を取得するようになっているシステムに関する。システムの種々の部品は，それらの機能を実行する処理能力を有する。システム３００の種々の部品の機能又は方法１００の種々の方法ステップは個別に実現してもよいし，図６に示すような合同処理システム４００で実現してもよい。図６は，少なくとも一つのメモリ形態，例えばＲＡＭ，ＲＯＭ，等を含むメモリサブシステム４０５に結合された，少なくとも一つのプログラム可能プロセッサ４０３を含む処理ステム４００の一つの構成を示す。プロセッサ４０３又は複数のプロセッサは，はん用プロセッサであってもよいし，特定用途プロセッサであってもよく，デバイス，例えばほかの機能を実行するほかの部品を備えるチップに含めてもよい。このように，本発明の１又は複数の態様は，デジタル電子回路又は計算機ハードウェア，ファームウェア，ソフトウェア若しくはそれらの組合せで実現してもよい。処理システムは，少なくとも一つのディスクドライブ及び／又は，ＣＤ−ＲＯＭドライブ及び／又はＤＶＤドライブを備える記憶サブシステム４０７を含んでもよい。いくつかの実施形態においては，利用者が手動で入力情報を供給するために，表示システム，キーボード及び指示デバイスを利用者インタフェースサブシステム４０９の一部として含んでもよい。データを入力及び出力するポートもまた含んでもよい。通信網接続，種々のデバイスとのインタフェースなどのような更なる要素を含んでもよいが，図６には図示していない。処理システム４００の種々の要素は，簡潔にするために単一バスとして図６に示されているバスサブシステム４１３を介することを含む種々の方法で結合してよいが，当業者であれば少なくとも一つのバスのシステムを含むことを理解するであろう。メモリサブシステム４０５のメモリは，ある時点で，処理システム４００上で実行したとき，ここに記載した方法の実施形態のステップを実現する命令セットの一部又はすべて（双方とも４１１として図示する）を保持する。このように，図６に示したような処理システム４００は先行技術であるが，映像データを処理する方法の態様を実現する命令を含むシステムは先行技術ではなく，したがって，図６は先行技術として分類されていない。
【００５４】
本発明はまた，計算デバイス上で実行したとき，本発明による方法のいずれかの機能を提供する計算機プログラム製品も含む。このような計算機プログラム製品は，プログラム可能プロセッサによって実行するための機械可読コードを搬送する搬送媒体に確実に組み込むことができる。したがって，本発明は，計算手段上で実行したとき，上述の方法のいずれかを実行する命令を提供する計算機プログラム製品を搬送する搬送媒体に関係する。「搬送媒体」という用語は，実装するためにプロセッサに命令を供給することに関係する任意の媒体に関係する。このような媒体は，不揮発性媒体及び伝送媒体を含むがそれに限定されない多くの形態をとってもよい。不揮発性媒体は，例えば，大容量記憶装置の一部である記憶デバイスのような，光ディスク又は磁気ディスクを含む。計算機可読媒体の共通形態は，ＣＤ−ＲＯＭ，ＤＶＤ，フレキシブルディスク又はフロッピー（登録商標）ディスク，テープ，メモリチップ若しくはカートリッジ又は計算機が読むことができる任意のほかの媒体を含む。計算機可読媒体の種々の形態は，プロセッサに実行させるための１又は複数の命令の１又は複数のシーケンスを搬送することに関係する。計算機プログラム製品はまた，ＬＡＮ，ＷＡＮ又はインターネットのような通信網において，搬送波を介して伝送される。伝送媒体は，無線波及び赤外データ通信の際に発生されるような音波又は光波の形態をとることができる。伝送媒体は同軸ケーブル，銅線及び光ファイバを含み，計算機内のバスをなす線を含む。
【００５５】
本発明によるデバイスとして，好適な実施形態，特定の構造及び構成並びに材料をここで説明したが，添付の請求項によって定義された本願発明の範囲から逸脱することなく，形態及び詳細に置ける種々の変更又は修正を行ってもよい。例えば，応用システムを説明したが，本発明はまた，処理の方法によって映像データを処理し，処理された映像データから，応用システムを制御するための制御命令を導出することによって，応用システムを制御する方法にも関する。
【００５６】
さらに，上述したどの公式も，使用できる手順を単に代表するものである。機能を追加し，ブロック図から機能を削除してもよいし，機能ブロック間で操作を交換してもよい。本願発明の範囲内で，記載された方法にステップを追加し，又は削除してもよい。
【図１】
2013537654.tif 000013
【図２】
2013537654.tif 000014
【図３】
2013537654.tif 000015
【図４】
2013537654.tif 000016
【図５】
2013537654.tif 000017
【図６】
2013537654.tif 000018
【国際調査報告】
2013537654.tif 000019
2013537654.tif 000020