"複数の画像を有する映像データを処理する方法100であって,前記複数の画像は映像シーケンスの先行フレーム及び後続フレームを有し,前記複数の画像は,前記先行フレーム内の少なくとも第1の領域又はパッチと,前記後続フレーム内の少なくとも第2領域又はパッチとのラベルを有し,前記方法は,前記複数の画像のモデルを取得するステップと,前記第1及び/又は第2の領域又はパッチのラベルを,シーケンスの少なくとも一つのほかの画像に伝ぱさせるために,前記モデルを用いるステップであって,前記伝ぱは,有向グラフ法によって前記ほかの画像内のラベルを推定する確率的方法による,ステップと,を有する方法。前記モデルは前記複数の画像とそのラベルとの合同モデルであるか,前記モデルは前記複数の画像とその対応するラベルとの生成確率モデルであるか,前記モデルは後続画像又は先行画像を生成するために一つの画像を用いる順次生成モデルであるか,前記モデルは順次生成潜在変数モデルであるか,又は前記伝ぱは隠れマルコフモデルを用いる,請求項1に記載の方法。後続フレーム及び/又は先行フレームからの予測を用いて,前記推定されたラベル内の不確定性を判定する,請求項1又は2に記載の方法。前記画像は色チャネルを有し,各色チャネルは独立に処理される,請求項1~3のいずれか一項に記載の方法。前記ほかの画像における前記ラベルの推定は,前記先行フレームからの前方転送と,前記後続フレームからの後方転送とを含む,請求項1~4のいずれか一項に記載の方法。前記ほかの画像内のラベルは,前記先行画像又は前記後続画像内の複数の領域又はパッチから選択され,前記の推定された領域又はパッチは,前記先行画像又は前記後続画像内の領域又はパッチと,前記ほかの画像内の領域又はパッチとの間で最高の輝度一致を有する領域又はパッチである,請求項5に記載の方法。複数の画像を有する映像データを処理する処理システムであって,前記複数の画像は先行フレーム及び後続フレームを有し,前記複数の画像は,前記先行フレーム内の少なくとも第1の領域又はパッチと,前記後続フレーム内の少なくとも第2領域又はパッチとのラベルを有し,メモリ内に記憶された前記複数の画像のモデルと,前記第1及び/又は第2の領域又はパッチのラベルを,シーケンスの少なくとも一つのほかの画像に伝ぱさせるラベル伝ぱ手段であって,前記伝ぱは,有向グラフ法によって前記ほかの画像内のラベルを推定する,確率的方法による,手段と,を備えるシステム。前記モデルは前記複数の画像とそのラベルとの合同モデルであるか,前記モデルは前記複数の画像とその対応するラベルとの生成確率モデルであるか,前記モデルは後続画像又は先行画像を生成するために一つの画像を用いる順次生成モデルであるか,前記モデルは順次生成潜在変数モデルであるか,又は前記モデルは隠れマルコフモデルである,請求項7に記載のシステム。後続フレーム及び/又は先行フレームからの予測を用いて,前記推定されたラベル内の不確定性を判定する手段を備える,請求項7又は8に記載のシステム。前記画像は色チャネルを有し,各色チャネルは独立に処理される,請求項7~9のいずれか一項に記載のシステム。前記ラベル伝ぱ手段は,前記先行フレームからの前方転送と,前記後続フレームからの後方転送とによって,前記ほかの画像における前記ラベルを推定するようになっている,請求項7~10のいずれか一項に記載のシステム。処理手段上で実行したとき,請求項1~6のいずれか一項に記載の方法を実行するための計算機プログラム製品。請求項12に記載の計算機プログラム製品を記憶する機械可読データ記憶装置。映像データを処理する良い方法及びシステム並びにそれらを利用する応用を提供することが本発明の目的である。本発明の実施形態の利点は,画像シーケンス内の物体,領域又は画素のグループに指定されたラベルの半自動的又は自動的な伝ぱを提供するシステム及び方法が得られることである。本発明による実施形態の利点は,十分正確なデータを提供する処理と組み合わせることによって,映像データの効率的な処理が得られることである。上記の目的は,本発明による方法及び装置によって達成される。本発明はラベル付けされたフレーム又は1を超えるラベル付けされたフレーム,例えば映像シーケンスのラベル付けされた開始及び終了フレーム,から始まる。どのようにこれらのラベルを取得するかは,本発明の制限事項とは考えられない。例えば,これらの初期ラベルは手で,例えば最初のフレーム及び最後のフレームに適用してもよい。本発明は,例えば,ここで参照する,共に係属中の特許出願,国際出願第2009/047366号に記載されているような方法による最後のフレームのすべての形態のラベル付けを含む。本発明は,映像シーケンス内のすべてのほかのフレームへクラスラベルを伝ぱさせる方法及び装置を提供する。ラベルは,画素ごと,物体ごと若しくは領域ごと,又はこれらの組合せによって適用される。本発明の一態様は,映像のモデル化及びその時系列の注釈である。本発明は,ラベルを推測する推論戦略を実現する方法及び装置を提供する。本発明による実施形態の利点は,1又は複数の予めラベル付けされたフレームから始めて,自動化されたラベル伝ぱ及び/又は自動ラベル伝ぱを可能にするシステム及び方法が提供されることである。本発明による方法は,画像内の少なくとも一つの画素,領域又は物体のラベルを取得するステップを更に有する。物体は,例えば少なくとも一つの領域又はキーポイントを有してもよい。この方法は後に続く画像又は先行する画像のラベルを伝ぱさせるステップを有する。本発明による実施形態の利点は,効率的かつ十分に正確なラベル伝ぱが自動及び/又は自動化された方法で行うことができることである。本発明による実施形態の利点は,このような伝ぱが,利用者との少ない対話又は対話なしで行えることである。本発明は,本発明の任意の方法によって映像データを処理する処理システムに関係する。本発明による実施形態の利点は,有向グラフモデル及び推論ステップを用いてラベル伝ぱを可能にするシステム及び方法が提供されることである。このモデルはフレームシーケンス及びそのラベルの合同モデルであってもよい。モデルはフレームシーケンス及びその対応するラベルの生成確率モデルgenerativeprobabilisticmodelであってもよい。モデルは後続画像又は先行画像を生成するために一つの画像を用いる順次生成モデルsequentialgenerativemodelであってもよい。モデルは順次生成潜在変数モデルであってもよい。例えば,使用するモデルは結合coupled隠れマルコフモデルHMM図1参照であってもよいが,このモデルは本発明に用いることができる種類のモデルの一例として提供されるに過ぎない。本発明の実施形態の利点は,方法及びシステムが,困難な場合において対話的誤差修正のための利用者対話と組み合せて性能を改善できることである。本システムは,最初の画像の少なくとも一つのラベルを受信するラベル取得手段と,先行する後方の1又は複数の画像,又は後続の前方の1又は複数の画像内の上記の少なくとも一つのラベルを伝ぱするラベル伝ぱ手段と,を更に備えてもよい。システムの出力に基づいて操作を解釈又は実行する装置が提供される。これは,例えば車両制御システム,警報のような運転者支援システム,ロボットシステム,歩行者検出用監視システムなどであってよい。本発明はまた,処理手段上で実行したとき,映像データを処理する方法を実行する計算機プログラム製品にも関係する。さらに,本発明は,上記のような計算機プログラム製品を記憶する機械可読データ記憶装置と,構内通信網又は広域通信網を介して上記のような計算機プログラム製品を送信すること,にも関係する。本発明による実施形態の利点は,映像内の領域,画素又は物体のラベルの伝ぱを自動化する,柔軟であるが堅固な技法が得られることである。本発明の特定かつ好適な態様は,付属の独立請求項及び従属請求項に記載されている。従属請求項の特徴は,独立請求項の特徴及び適宜の,請求項には明示的に記載されていないほかの従属請求項の特徴と組み合せてもよい。本発明のこれらの性質,特徴及び利点は,例として本発明の原理を示す,添付の図面と関係する以降の詳細な説明から明らかになるであろう。この説明は,例としてだけ与えられるものであり,本発明の範囲を制限するものではない。以降,引用される参照番号は添付の図面を指す。別個の図面において,同一参照記号は同一又は類似の事象を指す。本発明を特定の実施形態に関して,かつ一定の図面を参照して説明するが,本発明はそれらではなく,本願請求項だけによって限定される。説明する図面は概略に過ぎず,非限定的である。図面において,いくつかの要素の大きさは説明のために誇張されており,正確な縮尺で描かれてはいない。その寸法及び相対的寸法は,発明を実施するための実際の縮小には対応してない。さらに,詳細な説明及び請求項における第1及びそれに類似する用語は,類似の要素を区別するために用いられ,必ずしも,時間,空間,序列又は任意のほかの順序を記述するものではない。請求項において用いられる有する又は備えるcomprisingの用語は,その後に掲げた手段に制約されると解釈するべきではない。当該用語はほかの要素又はステップを除外するものではない。したがって,言及されたとおりに明言された特徴,整数,ステップ又は部品を指定し,そのほかの特徴,整数,ステップ若しくは部品又はそれらのグループを指定すると解釈するものとする。したがって,手段A及びBを有するデバイスという表現の範囲は,部品A及びBだけからなるデバイスに限定するのは望ましくない。本発明に関しては,上記表現はデバイスの唯一関係する部品がA及びBであることを意味する。この明細書を通じて,一つの実施形態又は実施形態とは,当該実施形態に関係して説明された特定の特徴,構造又は特性が,本発明の少なくとも一つの実施形態に含まれているということを意味する。したがって,本明細書を通じた種々の箇所に現れる一つの実施形態において又は実施形態においては,すべてが必ずしも同一の実施形態を指すわけではないが,そうであるかもしれない。さらに,上記の特定の特徴,構造又は特性は,当業者であればこの開示から明白であるように,1又は複数の実施形態において,任意の適した方法で組み合わされてもよい。類似して,本発明の例示実施形態の説明において,開示を合理化し,種々の発明の態様のうち1又は複数を理解することを助けるために,本発明の種々の特徴が一つの実施形態,図面又は説明にまとめられることがあることを理解されたい。しかし,この開示方法は,主張する発明が,各請求項に明白に述べられているものより多くの特徴を必要とするという意図を反映していると解釈してはならない。むしろ,後続の請求項が表すとおり,発明の態様は,一つの先に開示された実施形態のすべての特徴より少ない。したがって,詳細な説明に続く請求項は,詳細な説明に明確に組み込まれ,各請求項はこの発明の別個の実施形態として独立している。別個の実施形態の特徴の組合せは本発明の範囲内であり,当業者には理解されるであろうが,別個の実施形態を形成する。例えば,後続の請求項において,いずれの主張された実施形態も,いずれの組合せでも用いることができる。ここに記した説明において,多くの特定の詳細が言及されている。しかし,本発明の実施形態はこれら特定の詳細なしで実施してもよいことを理解されたい。別の例として,周知の方法,構造及び技法は,この説明の理解をあいまいにしないように,詳細には示していない。自動的にという用語が詳細な説明のいくつかの点で用いられていることに注意されたい。いくつかの実施形態においては,利用者がシステムに,例えば図形として表示されたボタンをクリックすることによって指示した後,自動タスクが実行され,別の実施形態においては,図形として表示されたボタンをクリックすることのような明示的な利用者指示なしに自動タスクが実行されてもよい。自動及び自動的にの用語は双方の場合を包含する。最初の画像という用語は,特定の処理ステップにおける開始点として用いられる画像を指す。当該画像はシーケンスの最初の画像である必要はない。後続の画像が用いられるが,本発明によるシステム及び方法は画像シーケンスに正順及び/又は,例えば最後の画像から始めて領域又はラベル付けを後方に追跡する,逆順に適用してもよい。したがって,最初の画像の用語は,情報が取得又は計算され,例えば追跡又は伝ぱのような更なる処理がそこから行われる画像を指すときだけに用いられる。ここで,本発明のいくつかの実施形態の詳細な説明によって,本発明を説明する。当業者の知識によれば,本発明の真の精神又は技術的教示から逸脱することなく,本発明の別の実施形態を構成できることは明白であり,本発明は付属の請求項の表現によってのみ限定される。第1の態様において,本発明は複数の画像を有する映像データを処理する方法に関する。映像データは,例えばシーン内の1又は複数の物体の動きを示す一連の画像を有してもよい。映像データは,例えば,カメラのような光学検出又は記録システムを用いて取り込み,メモリ内の記憶された位置からデータを呼び出す,などの任意の適切な方法で取得することができる。映像データはアナログ映像データであってもよいし,デジタル映像データであってもよい。映像データは3次元映像データであってもよい。特に注目する映像データは,本発明はそれに限定するものではないが,例えば走行中の車のような移動物体で記録された映像データである。本処理の応用の一つは,車両内の自動化及びセキュリティのために映像処理を用いることであるため,後者が特に注目される。映像データの適切な処理は,移動物体,例えば車両又はその運転者に関係する主な物体の認識及び報告に用いてもよい。注目する物体は,例えば道路,歩行者,車両,障害物,交通信号灯,などの任意の物体であってよいが,それに限定するものではない。映像データの処理は実時間で行ってもよいし,記憶された映像データについて行ってもよい。本発明の実施形態による方法及びシステムは,小物体の変位又は高い映像取り込みフレームレートを想定しない。本発明は,映像シーケンス内のラベル伝ぱのために有向グラフモデルを用いるラベル伝ぱの方法を提供する。このモデルはフレームシーケンス及びそのラベルの合同モデルであってもよい。モデルはフレームシーケンス及びその対応するラベルの生成確率モデルであってもよい。モデルは後続画像又は先行画像を生成するために一つの画像を用いる順次生成モデルであってもよい。モデルは順次生成潜在変数モデルであってもよい。例えば,使用するモデルは結合隠れマルコフモデルHMM図1参照であってもよいが,このモデルは本発明に用いることができる種類のモデルの一例として提供されるに過ぎない。モデルは概念的に3層を含み,そのうち二つは連鎖である。上側層又は連鎖は画像シーケンスを順次,段階的生成でモデル化する。各時点において,潜在する又は隠れた画像が,現在観察されている画像のパッチと呼ばれる領域の集合から構成される。この領域又はパッチは画像内に意味を持つ必要はない。しかし,領域又はパッチは画像内の物体の一部であってもよい。潜在画像内のパッチは先行する画像内前方転送pass又は後続の画像内後方転送の画像と対照される。潜在画像は,先行又は後続画像内のパッチのラベルからラベルを継承する。潜在画像内の画素又は領域へのラベルの指定は,当該ラベルが正しいラベルである一定の確率で行われる。この確率は,好適にはラベル自体と同様に記憶される。潜在画像は,次の画像をこじつけexplainaway又は生成するために用いられる。本発明は,好適には,二つの推論ステップ及びモデルを利用する。第1ステップは,潜在画像内のパッチと,1又は複数の先行又は後続画像内のパッチとの対照を含む。第2ステップにおいて,先行又は後続画像から潜在画像への最適なラベル転送が決定される。このような2ステップ処理は,EMベースの推論戦略であってよい。潜在画像は,類似性を見付けるために,時間等価な実像と比較される。次に,潜在画像のラベル付けが現在の実像に最適な方法で対応付けされる。下側層又は連鎖は,離散領域で潜在画像のラベル付けを同様にモデル化する。潜在画像の推論したラベルは,一連の画像のラベルとして用いることができる最終結果である。ラベルが正しい確率は,潜在画像内の画素又は領域ごとに記憶される。中間対応付け層は上側及び下側のマルコフ連鎖を接続,すなわち,画像層とラベル層とを接続する。メッセージ転送順序が図1に,サムネイル画像を用いた対応する効果の例と共に示されている。現在の画像の例として,例えば道に沿った特定の位置,例えばA,B,Cに関係した既知の画像がある応用を検討する。AとBとの間の位置に車両があるとき,車両はAからの画像でもBからの画像でもない,これら画像双方の一部を含む現在の画像を見るであろう。したがって,Aで撮られた画像とBで撮られた画像との間にはある重複がある。本発明は,この現在の画像と,過去に通過した位置Aで撮られた画像から前方向に伝ぱすることによって生成された潜在画像とを比較するそして後にラベル付けする,及び/又はこの現在の画像と,将来通過する位置Bで撮られた画像から後方向に伝ぱすることによって生成された画像とを比較するそして後にラベル付けする方法及び装置を提供する。本発明の種々の応用がある。自動車からの現在の画像が,AとBとの間どこかの位置に基づいてラベル付けできるときは,自動車の位置が確認できる。A及びBのような点からの画像は,GPSナビゲーション装置のような自動車ナビゲーション装置内に記憶することができる。したがって,本発明はナビゲーションシステムの強化として用いることができる。代替として,本発明の生産物はほかのアルゴリズムを訓練するか又はほかのアルゴリズム,例えば歩行者検出アルゴリズムのために画像ラベルを提供する。A及びBのような点からの既存の静止画像は,自動車がAとBとの間にあるとき撮られた現在の画像中の既知の物体及び外来の物体を識別するために,本発明によって分析され,したがって,例えば歩行者のような外来の侵入物を検出するアルゴリズムの精度を増加させる。本発明の成果物に基づいて解釈又は行動するデバイスが提供される。例えば,本発明のラベル付けを用いた画像内の歩行者の検出は,警報又はほかの形態の警告を起動し,ブレーキをかける,などに用いることができる。これは,例えば車両制御システム,運転者支援システム,ロボットシステム,侵入者を検出するための監視システム,などに用いることができる。本発明は自動車に限定されない。工程の方法は,前方転送2,すなわち開始画像から現在の画像へ,画像間の時間経過と同一の方向で最後の画像の方向へ進む,及び/又は後方転送1であってよいことに注意されたい。後方転送1において,方法は,時系列内で将来遭遇するであろう画像から始まり,現在の画像に向かって時間軸の後方に移動する。図1は,ラベル伝ぱの結合HMMモデルを示すが,本発明に用いるモデルの特定の例に過ぎない。図1における観察された変数網掛けしたノード及び隠れた変数については,以降詳細に説明する。1.I0:nは画像の観察されたシーケンスである。2.Zkは,重複潜在色画像パッチ,Zk={Zk,j}Ωj=1,ここでjはパッチ集合Ωのパッチインデクス,からなる潜在色画像である。これらのパッチは座標を共有しているが互いに独立であると仮定する。しかし,例えばビタビ変分型近似を用いることによって,推論中に重複した部分の一致を強制する。この技法は扱いやすい条件付分布式1の規定を可能にし,推論アルゴリズム1の10行目は,潜在画像パッチ間の相関の暗黙の再計算を可能にする。3.Zakは,重複潜在ラベル付きパッチ,Zak={Zak,j}Ωj=1,からなる潜在ラベル付き画像である。パッチj内の各画素i,Zk,j,i,は,L1個の相互に排他的な値,すなわち,空未知のクラスラベル及びL個の既知クラスラベル,のうち一つをとる多項ランダム変数である。ラベル1は空のために予約されている。重複するパッチ間の相関はZkと同様に取得される。4.Akは画像サイズの2次元格子である。この格子の各座標において,L1個の連続非負実値ランダム変数の集合は合計が1である。例えば,座標vにおいて,である。5.Tk={Tk,j}Ωj=1は,上側及び下側マルコフ連鎖を結合するパッチ対応付け変数の集合である。Tk,jの実現値instanceは画像パッチZk,jをIkにおける同一サイズの観察されたパッチIk-1,Tk,jに対応付けする。Tk,jの同一実現値はまた,潜在ラベル付きパッチZak,jを,格子Ak-1上の同一サイズのパッチAk-1,Tk,jに対応付けする。1.潜在画像Zkは,観察された画像Ikから次のように予測される。ここで,インデクスjはすべての重複する潜在パッチZk={Zk,j}Ωj=1に渡って変化する。Zk,j,iは,時刻kにおけるパッチj内の画素iである。Tk,jiは,パッチIk-1,Tk,jにおける画素Ik-1,Tk,jiを指す。は平均値Ik-1,Tk,ji及び分散φk-1,Tk,jiを有するZk,j,iの正規化ガウス分布である。2.観察された画像Ikは,潜在画像Zkによって次のようにこじつけられる。ここで,Ik,vは画像サイズの格子Vにおける画素vの輝度を表す。jは画素vと重複するZk内のパッチを指す。Ψk,vは正規化ガウス分布の分散である。3.潜在ラベル付き画像Zakは,Ak-1から次のように予測される。ここで最初の二つの積のインデクスは式1と同一である。最後の項は,パッチZak,j内の画素Zak,j,iの離散クラス確率分布である。4.AkはZakから次のように予測される。これは,独立のパラメータ{ak,v}v∈Vにディリクレ事前分布を設定する。Γはパラメータl=1...L1,かつのガンマ関数を表す。jは,画像サイズの格子Vにおける画素インデクスvと重複するZak内のパッチを指す。Nvは総和内の要素数である。λは,無限大を避けるための実正定数≧1.0である。隠れ変数の値を推定する推論戦略は,アルゴリズム1の擬似コードとして要約されている。期待値最大化EMベースの推論戦略を,本発明の実施形態アルゴリズム1及び2参照と共に用いることができる。この戦略は次に詳しく説明する二つの主なステップ,Eステップ及びMステップを含んでもよい。Eステップの計算Eステップは,パッチ対パッチの対応付けを計算し,各一致の確率を指定する。対応付けは現在の潜在画像におけるパッチから1又は複数の先行画像内の複数のパッチへ行われる。これは,パッチ相互相関に相当する。図2にEステップを図で示す。対応付け実現値Tk,jの各実現値には確率qTk,jが指定される。確率PTk,jは,長方形探索範囲ほかの形状の探索範囲も利用できるに渡って均等確率である。フレームk-1におけるパッチは1,2,3,等とインデクスされる。それらの中心が網掛けされている。時刻kのパッチjについて,変数Tk,jは,時刻k-1の別のパッチへの対応付けを表す。パッチは順序付けられ,1とΩとの間の一意なスカラインデクスが指定される。したがって,Tk,jはインデクス値を有する。例えば,Tk,j=j’は,時刻kにおける事象パッチjが,時刻k-1のパッチj’に対応付けされる事象を暗示する。Eステップはアルゴリズム2の1行目から始まり,基本的に,二つのパッチ間の画素単位輝度一致相互相関と類似に比例した確率qTk,jを指定する。1行目のzkは単にIkに初期化され,したがって,固定分散の正規分布が画素単位輝度一致を算出する。任意選択で,画像の各色チャネルが独立に取り扱われ,実効上,R,G及びBチャネルにおける一致が乗算されて右辺の値を与える。最初の反復において,ak-1,Tk,ji,iの値はすべて同一の値を有しアルゴリズム1の初期化ステップを参照,右辺に影響しない。計算コストが高いため,Eステップは現在のところ1回実行することが望ましいCによる実装かつ8個のコアプロセッサを用いて,90s/フレームのコストである。したがって,ak-1,Tk,ji,iはパッチ一致に影響しない。また,相互相関によって既知のとおり,時刻k-1においてパッチjの周囲の長方形範囲を探索してもよい。確率pTk,jは演繹的に,等確率と考えられる長方形内で平坦,すなわち均等な対応付けを可能にするように保つのが望ましい。最後に,すべての取り得るTk,j値について,qTk,jが1であるように正規化される。これによって,相互相関面に類似のものを生成するが,面上の値の合計が1に等しい。計算コストを削減するため,アルゴリズム1の3行目において,最良の一致についてだけ合計することが望ましい。すなわち,最良の一致点においてデルタ関数によって一致面が近似され,確率1が指定される。5行目において時刻k1からkへの対応付けTk1,jが行われ,時刻kにおける特定のパッチへの最良一致を有する時刻k1におけるすべてのパッチを考慮する必要がある。対応付けは1対1ではない。したがって,5行目の線形結合は時刻k1におけるパッチについて行われ,対応する重みは一致確率qTk1,jである。このようにして,分布qTk,jの計算は不可避である。実際の実装においては,RGB各チャネルが独立に扱われるとき,画像は各色チャネルにおいて0.0~1.0に調整される。アルゴリズム2においては,パッチサイズは各軸において画素によって偏移された,例えば7×7のパッチ中心に選んでもよく,先行するpTk,jを,パッチjの中央に位置する例えば30×40画素の格子長方形探索範囲である長方形格子のような格子について均一に設定される。画像境界を越える探索範囲は切り捨ててもよい。すべてのガウス分布の分散は1.0に固定してもよい。Mステップの計算Mステップは,隠れ変数の最大確率値を決定するための二つの転送,すなわち時刻k=n-1:1の後方メッセージ転送と,時刻k=1:n-1の前方メッセージ転送からなる。本実施形態において,モデルは有向グラフであり,証拠手動でラベル付けされたデータのような予めラベル付けされたデータをシーケンス内のすべて宇野ほかのフレームに伝ぱさせるために,二つのメッセージ転送が必要である。双方の転送において,Zak及びAkを交互に推定するために,アルゴリズム2の4,5及び6行目がその順に実行される。図3は前方メッセージ転送及び後方メッセージ転送の効果を簡単に示している。後方メッセージ転送この転送においては,フレームkからフレームk-1へラベルが転送される。Eステップの対応付けが因果方向で計算される。すなわち,フレームk内のパッチjについて,フレームk-1において最良一致が計算される。対応付けにおけるこの時間非対称性のため,時刻k-1におけるパッチは時刻kにおけるどのパッチとも最良一致でないことがあり得る。したがって,時刻k-1においていくつかの画素にはどのラベルも転送されないパッチが重複していることを思い出されたい。これらの画素には空void又は未知のラベルが指定され,フレーム2まで後方に伝ぱされる。図3は,後方メッセージ転送効果における空効果を示す図1のサムネイルも参照されたい。後方伝ぱ法は時間軸の後方に向かって実行され,見えている部分に未知のラベルを正しく指定するため,この効果は後方伝ぱの望ましい性質である。この効果は空伝ぱと呼ばれる。前方メッセージ転送この転送においては,フレームk-1からフレームkへラベルが転送される。この方向においてもEステップの対応付けが計算される。したがって,フレームk内のパッチjに対して,フレームk-1に常に最良一致がある。このようにして,フレームkからフレームn-1までの画素に既知のクラスラベルが転送される。この前方伝ぱステップはラベル充填fillステップと見なしてもよく,このステップでは後方伝ぱにおいて生成された空がいくつかの既知のクラスに設定される図1参照。これによって,映像シーケンス全体の円滑なラベル付けが行われ,見えているシーンのほとんどが最初のフレーム手動でラベル付けされたフレームから,かろうじて見ることができる短シーケンス25~50フレームに非常に有効である。しかし,長シーケンスについては,これは既知のクラスラベルをやみくもに充填するという有害な効果であり得,特にシーケンスの中央に向かっては空未知のクラス又は不確定のラベルがより適切である。したがって,前方伝ぱは,後方転送において実行された望ましい空伝ぱを,ある程度軽減する。この負の充填効果は,対応付けの方向性因果性の直接的な結果である。したがって,提案モデルは,長シーケンスには適用しにくい時間非対称モデルである。図4は,本発明の単純かつ効果的な方法が,例えば長方形パッチの一致に基づいて,ただ二つの予めラベル付けされたフレームを与えて,映像シーケンス内のフレームを自動的にラベル付けする方法を示している。図4において,上側の行のフレーム1及び25は利用者が与えたラベルを有する。フレーム6,12及び18のグラウンドトルースが,上側の行の比較に提供される。提案した方法は,パンする動きの下でもかなり正確にラベルを伝ぱする。本発明は主に,実際の映像データ,すなわち,計算機で生成された画像ではなく,実環境を撮影した画像に適用される。本方法は,複数の画像,すなわち映像データの画像シーケンスに作用する。この画像シーケンスは,本方法の開始時に既に利用可能であってもよい。代替として,複数の画像を有する映像データを取得する任意選択のステップを最小に実行してもよい。このような取得ステップは,例えば光ディスク上に記憶された映像データ又は通信網を介して映像データを受信してもよいし,カメラを用いて記録することによって映像データを取得してもよい。後者は一度にフル映像データセットを取得するだけでなく,実時間映像又はストリーミング映像を取得し,次いで処理のために局所的に記憶することになる。いくつかの実施形態において,画像シーケンスはテストベッドから得てもよい。後者は例えば,映像データ内の物体を認識するシステムの訓練を行うときに用いてもよい。これによって,複数の画像が当初記録された映像シーケンスのすべてのフレームを含む必要がなく,例えば,注目の画像及び必要な処理精度に応じて,選択した部分だけであってもよい。映像データは連続した画像を含むことが有利であるが,別個の連続するフレーム間の経過時間を,例えば必要な精度を勘案して選択してもよい。一例において,連続するフレーム間の経過時間が制限され,これは画像間のより小さな差になり得る。代替として,又は追加として,サブサンプルを行うために事前平滑化を行ってもよい。後者は,シーンが平易であればあるほど,システムは低い解像度で動作できるようにする。車両がゆっくり移動しているか,交通渋滞にはまったとき,解像度及び/又はフレームレートは比較的低くてもよい。例として,都市内の通常のドライブについては,毎秒30フレームのフレームレートであってよい。本方法は動きベースの方法と比べて,高フレームレートに本質的に頼らないことが,本発明による実施形態の利点である。得られたラベル情報はさらに,特定の応用に用いてもよい。応用の一例は,車両の自動運転であって,映像処理が走行中に主要物体を認識するために用いられ,該主要物体は例えば道路,歩行者及び車両のような車両運転者に関係するものであり,走行中の物体に関する得られた情報は,例えば道路を追跡するため,ほかの物体との衝突を避けるため,など,自動運転ために考慮に入れられる。そして本方法は,例えば種々の方向で記録された複数の映像データに例えば用いられ,得られた物体情報は速度センサ,位置情報,音響センサ,動きセンサ,などのようなほかの種類の情報と組み合せてもよい。代替応用は,映像データにラベル付けするため,システム又は人を訓練するためのラベル情報の利用であってもよい。図5は,実施形態による画像プロセッサ又はプロセッサシステム10を示す。図6は,この実施形態又はほかの実施形態によって実行されるステップを示す。画像プロセッサ又はプロセッサシステム10は,例えば図示した各部品に特化した回路ブロックのようなハードウェアを備える1又は複数の集積回路として実現することもできるし,例えばサーバのようなはん用プロセッサによって順に実行されるソフトウェアモジュールとして実現することもできる。図示した部品は,ビデオカメラ,又はDVDROM若しくはCDROMのような光ディスク,又はUSBスティックのような固体メモリデバイスのような画像ソースデバイス5から入力画像又は実時間又は非実時間の映像のフレームのような画像ストリームを受信する入力インタフェース20を含む。映像シーケンスの画像又はフレームは,メモリ30の一部34に記憶される。また,システムへの入力も,メモリ30の一部36に記憶された1又は複数のラベル付けした画像である。さらに,画像のモデルがメモリの一部32に記憶される。このモデルは,フレームのシーケンス及びそのラベルの合同モデルであってよい。モデルは,フレームのシーケンス及び対応するラベルの生成確率モデルであってよい。モデルは,後続又は先行の画像を生成するために一つの画像を用いる順次生成モデルであってよい。モデルは,順次生成潜在変数モデルであってよい。例えば,使用されるモデルは結合隠れマルコフモデルHMMであってよい。プロセッサ10もまた,推論計算部40を備える。この部分40は,推論ステップを有する本発明の方法の任意の部分を実行するためのものである。例えば部分40は,ラベルを伝ぱするために,メモリの一部34及び36にある画像データを処理する,Eステップ及びMステップ計算部それぞれ,42,44を含んでもよい。デバイス55は,本発明の出力に基づいて,解釈又は実行するために提供される。このような出力は,例えば,歩行者と関係するラベルを有する画像のラベル付けによって得られるか,画像内の歩行者を検出し,本発明のラベル付けを,歩行者の識別をより正確にするために,画像内容についての追加情報として本発明のラベル付けを利用する,更なるアルゴリズムと関連して得られる警報を供給するために用いてもよい。出力は,警報,ブレーキ効果,等であってよい。更なる態様において,本発明は映像データを処理し,複数の画像のラベル情報を取得するようになっているシステムに関する。システムの種々の部品は,それらの機能を実行する処理能力を有する。システム300の種々の部品の機能又は方法100の種々の方法ステップは個別に実現してもよいし,図6に示すような合同処理システム400で実現してもよい。図6は,少なくとも一つのメモリ形態,例えばRAM,ROM,等を含むメモリサブシステム405に結合された,少なくとも一つのプログラム可能プロセッサ403を含む処理ステム400の一つの構成を示す。プロセッサ403又は複数のプロセッサは,はん用プロセッサであってもよいし,特定用途プロセッサであってもよく,デバイス,例えばほかの機能を実行するほかの部品を備えるチップに含めてもよい。このように,本発明の1又は複数の態様は,デジタル電子回路又は計算機ハードウェア,ファームウェア,ソフトウェア若しくはそれらの組合せで実現してもよい。処理システムは,少なくとも一つのディスクドライブ及び/又は,CD-ROMドライブ及び/又はDVDドライブを備える記憶サブシステム407を含んでもよい。いくつかの実施形態においては,利用者が手動で入力情報を供給するために,表示システム,キーボード及び指示デバイスを利用者インタフェースサブシステム409の一部として含んでもよい。データを入力及び出力するポートもまた含んでもよい。通信網接続,種々のデバイスとのインタフェースなどのような更なる要素を含んでもよいが,図6には図示していない。処理システム400の種々の要素は,簡潔にするために単一バスとして図6に示されているバスサブシステム413を介することを含む種々の方法で結合してよいが,当業者であれば少なくとも一つのバスのシステムを含むことを理解するであろう。メモリサブシステム405のメモリは,ある時点で,処理システム400上で実行したとき,ここに記載した方法の実施形態のステップを実現する命令セットの一部又はすべて双方とも411として図示するを保持する。このように,図6に示したような処理システム400は先行技術であるが,映像データを処理する方法の態様を実現する命令を含むシステムは先行技術ではなく,したがって,図6は先行技術として分類されていない。本発明はまた,計算デバイス上で実行したとき,本発明による方法のいずれかの機能を提供する計算機プログラム製品も含む。このような計算機プログラム製品は,プログラム可能プロセッサによって実行するための機械可読コードを搬送する搬送媒体に確実に組み込むことができる。したがって,本発明は,計算手段上で実行したとき,上述の方法のいずれかを実行する命令を提供する計算機プログラム製品を搬送する搬送媒体に関係する。搬送媒体という用語は,実装するためにプロセッサに命令を供給することに関係する任意の媒体に関係する。このような媒体は,不揮発性媒体及び伝送媒体を含むがそれに限定されない多くの形態をとってもよい。不揮発性媒体は,例えば,大容量記憶装置の一部である記憶デバイスのような,光ディスク又は磁気ディスクを含む。計算機可読媒体の共通形態は,CD-ROM,DVD,フレキシブルディスク又はフロッピー登録商標ディスク,テープ,メモリチップ若しくはカートリッジ又は計算機が読むことができる任意のほかの媒体を含む。計算機可読媒体の種々の形態は,プロセッサに実行させるための1又は複数の命令の1又は複数のシーケンスを搬送することに関係する。計算機プログラム製品はまた,LAN,WAN又はインターネットのような通信網において,搬送波を介して伝送される。伝送媒体は,無線波及び赤外データ通信の際に発生されるような音波又は光波の形態をとることができる。伝送媒体は同軸ケーブル,銅線及び光ファイバを含み,計算機内のバスをなす線を含む。本発明によるデバイスとして,好適な実施形態,特定の構造及び構成並びに材料をここで説明したが,添付の請求項によって定義された本願発明の範囲から逸脱することなく,形態及び詳細に置ける種々の変更又は修正を行ってもよい。例えば,応用システムを説明したが,本発明はまた,処理の方法によって映像データを処理し,処理された映像データから,応用システムを制御するための制御命令を導出することによって,応用システムを制御する方法にも関する。さらに,上述したどの公式も,使用できる手順を単に代表するものである。機能を追加し,ブロック図から機能を削除してもよいし,機能ブロック間で操作を交換してもよい。本願発明の範囲内で,記載された方法にステップを追加し,又は削除してもよい。"