(57)【要約】入力画像（１０４）のピクセル群の動きベクトルを推定する動き推定ユニット（２００、３００）であって、前記入力画像（１０４）に適用可能であるオクルージョンマップ（１１６）を算出するオクルージョン検出ユニット（２０６）、前記ピクセル群について第１動きベクトルを前記入力画像（１０４）と前記入力画像の先行画像（１０２）とに基づいて、及び前記ピクセル群について第２動きベクトルを前記入力画像（１０４）と前記入力画像の後続画像（１０６）とに基づいて推定する中間動き推定ユニット、並びに前記オクルージョンマップに基づいて最終動きベクトルを動きベクトルとして割当てるための割当てユニットであり、該最終動きベクトルは前記第１動きベクトル又は前記第２動きベクトルから得られるような割当てユニット、を有する動き推定ユニット。
2005517251.tif 000002
【特許請求の範囲】
【請求項１】
入力画像のピクセル群の動きベクトルを推定する方法であって、
前記入力画像に適用可能であるオクルージョンマップを算出するオクルージョン検出のステップであって、前記オクルージョンマップは、前記入力画像のピクセル群が遮蔽領域、出現領域又は無遮蔽領域の領域の何れの領域のタイプに対応するかを示すステップ、
前記ピクセル群について、第１動きベクトルを前記入力画像と前記入力画像の先行画像とに基づいて推定する第１中間動き推定ステップ、
前記ピクセル群について、第２動きベクトルを前記入力画像と前記入力画像の後続画像とに基づいて推定する第２中間動き推定ステップ、及び
前記オクルージョンマップに基づいて、前記動きベクトルとして最終動きベクトルを割当てるための割当てステップであり、前記最終動きベクトルは第１動きベクトル又は第２動きベクトルから得られるような割当てステップ、
を有する方法。
【請求項２】
請求項１に記載の動きベクトルを推定する方法であって、前記割当てステップにおいて前記最終動きベクトルが、
前記ピクセル群の領域の前記タイプが遮蔽領域に対応している場合、前記第１動きベクトル、及び
前記ピクセル群の領域の前記タイプが出現領域に対応している場合、前記第２動きベクトル、
から得られることを特徴とする方法。
【請求項３】
請求項１に記載の動きベクトルを推定する方法であって、前記オクルージョンマップが動きベクトル場に基づいて算出されることを特徴とする方法。
【請求項４】
請求項３に記載の動きベクトルを推定する方法であって、前記動きベクトル場が前記入力画像に関係することを特徴とする方法。
【請求項５】
請求項３に記載の動きベクトルを推定する方法であって、前記動きベクトル場が前記先行画像に関係することを特徴とする方法。
【請求項６】
請求項３に記載の動きベクトルを推定する方法であって、前記オクルージョンマップが前記動きベクトル場の隣接動きベクトルを比較することよって算出されることを特徴とする方法。
【請求項７】
入力画像のピクセル群の動きベクトルを推定する動き推定ユニットであって、
前記入力画像に適用可能であるオクルージョンマップを算出するオクルージョン検出ユニットであって、前記オクルージョンマップは、入力画像のピクセル群が遮蔽領域、出現領域又は無遮蔽領域の何れの領域のタイプに対応するかを示す動き推定ユニット、
前記ピクセル群について前記入力画像と前記入力画像の先行画像とに基づいて第１動きベクトルを、及び前記ピクセル群について第２前記入力画像と前記入力画像の後続画像とに基づいて動きベクトルを推定する中間動き推定ユニット、並びに
前記オクルージョンマップに基づいて、最終動きベクトルを前記最終動きベクトルとして割当てるための割当てユニットであり、前記最終動きベクトルは前記第１動きベクトル又は前記第２動きベクトルから得られるような割当てユニット、
を有する動き推定ユニット。
【請求項８】
画像処理装置であって、
処理されるべき画像を表す信号を受信する受信手段、
前記画像の入力画像のピクセル群の動きベクトルを推定する動き推定ユニットであって、
＊  前記入力画像に適用可能であるオクルージョンマップを算出するオクルージョン検出ユニットであって、前記オクルージョンマップは、前記入力画像のピクセル群が遮蔽領域、出現領域又は無遮蔽領域の何れの領域のタイプに対応するかを示すようなオクルージョン検出ユニット、
＊  前記ピクセル群について前記入力画像と前記入力画像の先行画像とに基づいた第１動きベクトル、及び前記ピクセル群について前記入力画像と前記入力画像の後続画像とに基づいた第２動きベクトルを推定する動き推定ユニット、及び
＊  前記オクルージョンマップに基づいて、最終動きベクトルを前記最終動きベクトルとして割当てるため割当てユニットであり、前記最終動きベクトルは前記第１動きベクトル又は前記第２動きベクトルから得られるような割当てユニット、
を有する動き推定ユニット、並びに
動き補償画像処理ユニット、
を有する画像処理装置。
【請求項９】
ビデオ圧縮を実施できるように設計されていることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記動き補償画像処理ユニットが前記画像におけるノイズを軽減するように設計されていることを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記動き補償画像処理ユニットが前記画像をデインタレースできるように設計されていることを特徴とする請求項８に記載の画像処理装置。
【請求項１２】
前記動き補償画像処理ユニットが上方変換を実施できるように設計されていることを特徴とする請求項８に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像のピクセル群の動きベクトルを推定する方法に関する。
【０００２】
本発明は、更に詳細には、入力画像のピクセル群の動きベクトルを推定する、動き推定ユニットに関する。
【０００３】
本発明は、更に、
処理されるべき画像を表す信号を受信する受信手段、
上記のような動き推定ユニット、及び
動き補償画像処理ユニット、
を有する画像処理装置に関する。
【背景技術】
【０００４】
冒頭の段落に記述された種類の方法の実施例は、米国特許第６，０１１，５９６号で知られている。この特許は、背景オブジェクトの前で前景オブジェクトが動くようなシーンにおいては、該前景オブジェクトが該背景オブジェクトを覆うものと仮定すると記載されている。前記運動によって前景オブジェクトは、背景オブジェクトを覆うと共に出現させる。このシーンを表す画像は、覆いつつある領域（遮蔽領域）、出現させる領域（暴露領域）及び覆いつつはない領域（無遮蔽領域）の３タイプの領域を有する。これは、画像の一部が後続画像において覆われる、画像の一部が後続画像において出現させられる、及び残部は後続画像においても同じオブジェクトを表すことを意味する。順次の３画像において、中央の画像において見える何れもが、先行画像又は後続画像の何れか又は両方の中にあるべきである。
【０００５】
入力画像における実質的全ての動きを規定するために使用することができる動きベクトル組を生成するために、第１の動きベクトル組は、先行及び後続画像との比較によって得られる。次いで、これらの組を合成して入力画像への割当て用にベクトル組を生成する。一旦、前記動きベクトル組が得られたならば、これらは入力画像に割当てられ、所望の出力画像を生成するために投影されることができる。前記動きベクトルは、前記画像の領域即ちピクセル群に割当てられる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前述した発明の方法は、比較的複雑であって、比較的多くのメモリを必要とする。更に、これはロバストではない。前記２組のどの動きベクトルが選択されるべきであるかの決定は、これらの組の動きベクトルの対応する整合エラーに基づくものである。従って、先行画像によって算出された後方動きベクトルの整合エラーは、後続画像によって算出された前方動きベクトルの整合エラーと比較されるべきである。前記整合エラーの一時記憶が必要となる。
【０００７】
本発明の目的は、冒頭の段落に記述された種類の方法であって、比較的簡単な方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明の目的は、入力画像のピクセル群の動きベクトルを推定する方法が、
‐  前記入力画像に適用可能なオクルージョンマップを算出するオクルージョン検出ステップであって、該オクルージョンマップは、該入力画像のピクセル群が、遮蔽領域、出現領域又は無遮蔽領域の何れの領域のタイプに対応するかを示すオクルージョン検出ステップ、
‐  前記ピクセル群について、前記入力画像と前記入力画像の先行画像とに基づいて、第１動きベクトルを推定する、第１中間動き推定ステップ、
前記ピクセル群について、前記入力画像と前記入力画像の後続画像とに基づいて、第２動きベクトルを推定する、第２中間動き推定ステップ、及び
‐  前記オクルージョンマップに基づいて、前記動きベクトルとして最終動きベクトルを割当てるための割当てステップであり、該最終動きベクトルは第１動きベクトル又は第２動きベクトルから得られる、割当てステップ、
を有することによって、達成される。
【０００９】
前記ピクセル群はピクセルブロックに対応することが好ましい。本発明の重要な見地は、オクルージョンマップの使用である。この結果は、本発明による方法を実行するように設計された動き推定ユニットは比較的簡単であることである。事実、標準的動き推定ユニットを、前記第１及び第２中間動き推定ステップを実行することに使用することができる。標準的動き推定ユニットとは、画像対のピクセル値の比較に基づいて動きベクトルを推定するように設計されている標準的動き推定ユニットを意味する。標準的動き推定ユニットは、論文、Ｇ．デ・ハーン他著「３Ｄ回帰検索ブロック整合による真の動きの推定」ビデオ技術のための回路及びシステムについてのＩＥＥＥ会報第３巻・第５号・３６８-３７９頁（１９９３年１０月）で知られる動き推定ユニットであり得る。前記標準的動き推定ユニットによって算出される動きベクトル場、即ち中間動きベクトル場は、覆う及び／又は出現させることによって引き起こされる、誤り動きベクトルを含み得る。本発明による方法によって、これら中間動きベクトル場は合成されて１つの最終動きベクトル場になる。即ち、言い換えれば、遮蔽又出現領域に対応する誤り動きベクトルは、実質的に除かれる。従って、標準的動き推定ユニットによって決定される動きベクトル場は、一種の後処理によって改良される。標準的動き推定ユニットを適用する有利な点は、比較的少ないメモリを必要とすることである。典型的には、２つの画像のピクセルのみがメモリに同時に保持される。
【００１０】
オクルージョンマップを適用する有利な点は、比較的に少ないメモリしか必要としないことである。従来技術による方法では、整合エラーは動きベクトルの選択を制御するために使用される。整合エラー、例えば絶対差分の総和、を記憶するために、比較的多くのメモリが必要される。整合エラーの使用が、従来技術による方法がロバスト性に劣っている原因である。
【００１１】
先ず２つの中間動きベクトル場が算出され、次いでこれらが合成されることを上述した。これらの動きベクトル場の１つについてのみ、動きベクトルは、動きベクトルを必要とする前記画像のピクセル群の全てについて算出されるべきであると注意されるべきである。もう１つの中間動きベクトル場は、不完全であり得る。これは、動きベクトルが、遮蔽又は出現領域に位置されているピクセル群についてのみ算出されることを意味する。こうすることによって、コンピュータリソースの使用の縮小が達成される。
本発明による方法の実施例においては、前記最終動きベクトルは、
‐  前記タイプのピクセル群の領域が遮蔽領域に対応するならば前記第１動きベクトル、及び
‐  前記タイプのピクセル群の領域が出現領域に対応するならば前記第２動きベクトル、
から得られる。ピクセル群の領域のタイプが無遮蔽領域に対応するならば、前記最終動きベクトルが、前記第１動きベクトルから得られるか又は前記第２動きベクトルから得られるかについて如何なる違いも生じない。如何なる選択でもよい。得られるということは、
‐  前記最終動きベクトルが、中間動きベクトル、即ち第１動きベクトル又は第２動きベクトルに直接的に対応する、又は
‐  前記最終動きベクトルの長さが、中間動きベクトルの長さに対応するが、方向は反転している、
ということを意味する。
【００１２】
本発明による方法の実施例において、前記オクルージョンマップは動きベクトル場に基づいて算出される。動きベクトル場に基づいてオクルージョンマップを算出する手法は、「画像信号における問題領域の探索」というタイトルであり、国際公開第００／１１８６３号として出版されている特許出願に記述されている。この特許出願では、オクルージョンマップは動きベクトル場の隣接動きベクトルを比較することによって決定されると記述されている。隣接動きベクトルが実質的に等しい、即ち隣接動きベクトル間の絶対差分が所定のしきい値よりも小さい場合、該動きベクトルが対応するピクセル群は無遮蔽領域に位置される。しかしながら、該動きベクトルの１つが隣接動きベクトルよりもかなり大きいならば、ピクセル群は、遮蔽領域又は出現領域の何れか一方に位置されると見なされる。前記隣接動きベクトルの方向は、２タイプの領域の何れかを決定する。オクルージョン検出のこの方法の有利な点は、このロバスト性である。これは、従来技術、即ち整合エラーに基づいた米国特許第６，０１１，５９６号において適用されている方法よりも優れている。
【００１３】
前記オクルージョンマップが動きベクトル場に基づいて算出されるような本発明による方法の実施例においては、前記動きベクトル場は前記入力画像に関する。ここで考えている前記画像の動きベクトル場に基づいたオクルージョンマップは、おそらく、最良のオクルージョンマップである。
【００１４】
オクルージョンマップが動きベクトル場に基づいて算出されるような本発明による方法の実施例においては、前記動きベクトル場は前記先行画像に関する。この手法の有利な点は、本発明による上記動き推定ユニットの簡単な設計を可能とすることである。
【００１５】
前記画像処理装置の改造型及び変形型は、動き推定ユニット及び記述された方法についての改造型及び変形型に対応し得る。前記画像処理装置は、付加的構成要素、例えば、処理された画像を表示するディスプレイ装置を含み得る。前記動き補償画像処理ユニットは、以下のタイプの画像処理の１つ以上をサポートすることがある。：
‐  ビデオ圧縮、即ちエンコード化又はデコード化、例えばＭＰＥＧ規格によるビデオ圧縮；
‐  デインタレース：インタレースは、奇数又は偶数番号の画像ラインを交互に伝送する普通のビデオ放送方法である。デインタレースは、完全な垂直分解能の復元を図る、即ち奇数及び偶数ラインを各画像について同時に使用可能にする；
‐  上方変換：一連の元の入力画像から、より大きい一連の出力画像が算出される。出力画像は、時間的に２つの元の入力画像の間に位置される;及び
‐  時間ノイズ軽減：これは、空間／時間ノイズ軽減を結果として生じる空間処理も含むことができる。
【００１６】
本発明による方法及び画像処理装置の動き推定ユニットのこれら及び他の見地は、これから本明細書に記述され、添付した図面を参照する実施及び実施例から明らかになり、且つ解明されるであろう。符号の対応は、全ての図において同じ意味を持つ。
【発明を実施するための最良の形態】
【００１７】
図１は、本発明による方法の概念を模式的に示している。図１は、静止した背景の前でボールが右から左へ動くシーンを表す３つの連続画像１０２−１０６を示している。前記運動の方向は、矢印１１０で示されている。これら３つの連続画像１０２−１０６に基づいて、２つの動きベクトル場１１２及び１１４が推定される。動きベクトル場１１２は、画像１０４及び画像１０６に基づいている。動きベクトル場１１４は、画像１０４及び画像１０２に基づいている。これらは動き推定ユニットによって算出され、該動き推定ユニットは論文、Ｇ．デ・ハーン他著「３Ｄ回帰検索ブロック整合による真の動きの推定」ビデオ技術のための回路及びシステムについてのＩＥＥＥ会報第３巻・第５号・３６８-３７９頁（１９９３年１０月）で知られている。これら２つのベクトル場１１２及び１１４の動きベクトルの殆どは０に等しい。これらは、無運動の背景に対応する。これらの動きベクトルは、背景動きベクトルと呼ばれる。動きベクトル場１１２及び１１４の他の動きベクトルは、ボール１０８の動きに対応する。これら後者の動きベクトルは、それぞれ領域１１３と１１５に位置される。これら動きベクトルは前景動きベクトルと呼ばれる。しかしながら、前記割当てられた動きベクトルの幾つかは、正しくなく、領域１１３及び１１５は大きすぎる。これは、覆う又は出現させることによって引き起こされる。即ち、画像に見えている背景オブジェクトが、その次の画像では見えないこと、又は画像で見えている背景オブジェクトが先行画像では見えないこと、それぞれによって引き起こされる。これらの場合には、適切な動きベクトルを直接的に算出することは不可能である。
【００１８】
目標は、画像１０４に整合する動きベクトル場１２４を算出することである。これは、前記ボール１０８に対応するピクセルに前景動きベクトルが割当てられ、他のピクセルに背景動きベクトルが割当てられることを意味する。前者のピクセルは領域１２６に位置され、後者ピクセルは領域１２８に位置される。また、図１はオクルージョンマップ１１６を有する。前記オクルージョンマップ１１６は、成分のマトリックスであって、該成分は、画像１０４のそれぞれのピクセルが、遮蔽領域１１８、出現領域１２２又は無遮蔽領域１２０の何れに対応するかを示す。このオクルージョンマップは、国際特許出願公開第００／１１８６３号で公開されている「画像信号における問題領域の探索」と題された特許出願に記述されている手法によって算出され得る。前記オクルージョンマップは真のオクルードされた部分と正確に整合する必要は無いことに注意すべきである。しかしながら、前記オクルージョンマップの遮蔽領域及び出現領域は、好ましくは、真の遮蔽又は出現領域に等しい又はこれよりも大きい。
【００１９】
本発明による動きベクトルを推定する方法は、以下のように働く。前記動きベクトル場１１２及び１１４が、ピクセルブロックの動きベクトルを有するとする。さて、動きベクトル場１２４についての適切な動きベクトルを決定することが必要である。動きベクトル場１２４のピクセルブロックの各々について、以下のステップが実行される。
‐  このピクセルブロックについて、オクルージョンマップ１１６によって領域のタイプを決定するステップ、及び
‐  前記適切な動きベクトルをこのピクセルブロックに、以下のテストに基づいて割当てるステップ。該テストは以下に示す。
＊  領域のタイプが「遮蔽」に対応する場合、動きベクトル場１１４から動きベクトルを選択する。当該動きベクトルとは、ここで考えているピクセルブロックに属する動きベクトルを意味する。
＊  領域のタイプが「出現」に対応する場合、動きベクトル場１１２から動きベクトルを選択する。当該動きベクトルとは、ここで考えているピクセルブロックに属する動きベクトルを意味する。
＊  領域のタイプが無遮蔽に対応する場合、動きベクトル場１１２から動きベクトルを選択する。動きベクトル場１１４からの動きベクトルの選択も同じ結果を与えることに留意されたい。
【００２０】
図２は、本発明による動き推定ユニット２００の実施例を模式的に示している。前記推定ユニット２００は、
‐  中間動き推定ユニット２０２であって、前記画像１０４と前記画像１０４の先行画像１０２とに基づいて第１動きベクトル場１１４、及び該画像１０４と後続画像１０６とに基づいて第２動きベクトル場１１２を推定するユニット、
‐  ピクセル群の領域のタイプに基づいて、最終動きベクトルを推定すると共に、動きベクトルとして割当てるための割当てユニット２０４であり、該最終動きベクトルは第１動きベクトル又は第２動きベクトルから得られるような割当てユニット、
並びに
‐  動きベクトル場に基づいてオクルージョンマップ１１６を算出するためのオクルージョン検出ユニット２０６、
を有する。前記動きベクトル場は、接続２１４によって前記中間動き推定ユニット２０２、又は接続２１２を経由して前記割当てユニット２０４のいずれかによって与えられる。
【００２１】
入力コネクタ２０８において画像が供給される。前記動き推定ユニット２００は、出力コネクタ２１０において動きベクトルを供給する。前記動き推定ユニットの作用は、図１に関連して記述された方法に対応する。
【００２２】
図３は、再タイマユニット３０２と組み合わされた動き推定ユニット３００を模式的に示している。前記割当てユニット２０４の出力は、直接的に、例えばＭＰＥＧ圧縮に使用することができる。上方変換の場合、補間されるべき画像のための動きベクトルを持つことが必要となる。これは、前記動き推定ユニットに与えられた元の一連の画像において存在せず、しかし、前記一連の元の画像に基づいて算出されるべきである画像を意味する。前記動き推定ユニット３００は、これら新しい画像について動きベクトルを推定するように設計された再タイマユニット３０２を有する。再タイミングのための可能性のある方法は、１つの動きベクトルを投影し、続いて該動きベクトルをスケーリングすることに基づくものである。前記スケーリングは、元の画像と新しい画像との間の時間間隔の違いに依存する。
【００２３】
もう１つの手法は、２つの連続的動きベクトル場に基づいたものである。この手法では、対応する動きベクトルが互いに減算される。これらの入力動きベクトル間での違いが所定のしきい値よりも小さい場合、算出されるべき前記動きベクトルは２つの入力動きベクトルの平均に基づいたものになるであろう。前記しきい値が所定のしきい値よりも大きい場合、前記２つの入力動きベクトルの特定の１つが選択され、これは、とりわけ、補間されるべき画像の時間的位置に依存する。算出されるべき前記動きベクトルは、この入力動きベクトルに基づいたものになるであろう。前記選択は、オクルージョンマップ１１６によって制御され得る。
【００２４】
図４は、画像処理装置４００の構成要素を模式的に示しており、以下のものを有する。
‐幾つかの処理が実行された後に、表示されるべき画像を表す信号を受信する受信手段４０２。前記信号は、アンテナ又はケーブルを経由して受信される放送信号であり得るだけではなく、ＶＣＲ（ビデオカセットレコーダ）又はデジタル多用途ディスク（ＤＶＤ）のような記憶装置からの信号でもあり得る。前記信号は入力端子４１０で供給される。
‐  図２又は３に関連して前述されたような動き推定ユニット４０４、
‐  動き補償画像処理ユニット４０６、及び
‐  処理された画像を表示するディスプレイ装置４０８。このディスプレイ装置４０８は随意である。
【００２５】
前記動き補償画像処理ユニット４０６は、入力画像として画像及び動きベクトルを必要とする。
【００２６】
上述の実施例は、本発明の限定するよりは解説するものであること、及び当業者であれば添付請求項の範囲から逸脱することなしに、代替的な実施例を設計できることに留意されたい。前記請求項において、括弧内に置かれた如何なる符号も、請求項を限定するようにみなしてはならない。「有す」という語は、請求項に記載されていない構成要素又はステップの存在を排除するものではない。単数形の構成要素は、複数のこのような構成要素を排除するものではない。本発明は、幾つか別個の構成要素を有するハードウェアによって、及び適当にプログラムされたコンピュータによって実施化することができる。当該ユニットにおいて、いくつかの手段を列挙している装置請求項において、これらの手段の幾つかは１つの同じハードウェアの項目によって、実施化することができる。
【図面の簡単な説明】
【００２７】
【図１】図１は、本発明による方法を模式的に示している。
【図２】図２は、当該動き推定ユニットの実施例を模式的に示している。
【図３】図３は、再タイマユニットと組み合わされた当該動き推定ユニットの実施例を模式的に示している。
【図４】図４は、当該画像処置装置の実施例を模式的に示している。
【図１】
2005517251.tif 000003
【図２】
2005517251.tif 000004
【図３】
2005517251.tif 000005
【図４】
2005517251.tif 000006
【国際調査報告】
2005517251.tif 000007
2005517251.tif 000008
2005517251.tif 000009