(57)【要約】      （修正有）【課題】画像レジストレーション技術を用いたアプリケーションで動き検出を行う場合にアーティファクトの発生を防止する。【解決手段】ＭＥ値の最大、最小、ギャップ値をしきい値と比較し画像レジストレーション領域を承認するか否かを決定する。【効果】先行技術に比べて構造が単純であり、動き検出データのみを必要とするため、先行技術に比べ、少ないオクルージョンの発生を伴った領域の特定をより正確に行うことができる。さらに、レジストレーションすべきではない動的に変化するテクスチャや平滑化されたテクスチャの特定が可能である。結果として、先行技術に比べて画像レジストレーションが向上し、演算量が削減される。本方法は、ビデオ符号化、動画像分類等の、画像レジストレーション以外のアプリケーションにも適用が可能である。【選択図】図１
2008134732.tif 000002
【特許請求の範囲】
【請求項１】
画像レジストレーション用の領域承認可否決定方法であって、
１つの画像を複数の小領域へ分割するステップと、
ＭＥ（動き検出）データを検出するために、参照フレームのグループから、前記画像の動き検出を行うステップと、
動きベクトルと、ブロックサイズと、対象フレームにおける領域と動き検出によって算出された参照フレームにおける対応領域との整合性を示す信頼性測定値であるＭＥ値とを含む前記ＭＥデータをメモリに格納するステップと、
前記ＭＥ値を検索し比較することによって、最大値および最小値を検出するステップと、
ギャップ値を算出するステップと、
前記最小値、最大値、およびギャップ値にそれぞれしきい値を設け、前記画像レジストレーション用の領域の承認可否を決定するステップと
を有する画像レジストレーション用の領域承認可否決定方法。
【請求項２】
さらに、前記ＭＥデータメモリに格納する前に、前記ＭＥ値を正規化するステップを有する請求項１に記載の画像レジストレーション用の領域承認可否決定方法。
【請求項３】
前記最小値、最大値、およびギャップ値にそれぞれしきい値を設け、前記画像レジストレーション用の領域の承認可否を決定するステップは、さらに、
前記しきい値をメモリに格納し検索するステップと、
前記最小値、最大値、およびギャップ値をそれぞれのしきい値と比較することによって、画像レジストレーション領域の承認可否を決定するステップと
を有する、請求項１に記載の画像レジストレーション用の領域承認可否決定方法。
【請求項４】
前記最小値、最大値、およびギャップ値とそれぞれのしきい値とを比較することによって、前記画像レジストレーション用の領域の承認可否決定をするステップは、さらに、
前記ギャップ値がギャップ用しきい値より大きいか否かを調べ、大きい場合は、前記領域はばらつきがあると記録して前記領域の画像レジストレーションを否認するステップと、
前記最大値が最大値用しきい値より小さいか否かを調べ、小さい場合は、前記領域は平滑化されていると記録して前記領域の画像レジストレーションを否認するステップと、
上記領域が細部までばらつきのないテクスチャであると記録して前記領域の画像レジストレーション領域を承認するステップと
を有する、請求項３に記載の画像レジストレーション用の領域承認可否決定方法。
【請求項５】
前記最小値、最大値、およびギャップ値にそれぞれしきい値を設け、前記画像レジストレーション用の領域の承認可否を決定するステップにおいて、上記領域は１６×１６ブロック、８×８ブロック、４×４ブロック、またはその他のサイズや大きさのブロックから構成することができる、請求項１に記載の画像レジストレーション用の領域承認可否決定方法。
【請求項６】
請求項１に記載の画像レジストレーション用の領域承認可否決定方法は、画像処理またはビデオ符号化に用いることができ、特に前記ばらつきのある領域を符号化または処理するために用いられる、画像レジストレーション用の領域承認可否決定方法。
【請求項７】
請求項１に記載の画像レジストレーション用の領域承認可否決定方法は、ビデオおよび画像の分類に用いることができ、オクルージョン、平滑さ、および高い整合性を有するテクスチャを区別する、画像レジストレーション用の領域承認可否決定方法。
【請求項８】
画像レジストレーション用の領域承認可否決定装置であって、
１つの画像を複数の小領域に分割する手段と、
ＭＥ（動き検出）データを検出するために、参照フレームのグループから、前記画像の動き検出を行う手段と、
動きベクトル、ブロックサイズおよびＭＥ値を含む前記ＭＥデータをメモリに格納する手段と、
前記ＭＥ値を検索し比較することによって、最大値および最小値を検出する手段と、
ギャップ値を算出する手段と、
前記最小値、最大値、およびギャップ値にそれぞれしきい値を設け、前記画像レジストレーション用の領域の承認可否を決定する手段と
を備える画像レジストレーション用の領域承認可否決定装置。
【請求項９】
画像レジストレーション用の領域を承認するか否かの決定を行うための集積回路であって、
１つの画像を複数の小領域に分割するコンポーネントと、
ＭＥ（動き検出）データを検出するために、参照フレームのグループから、前記画像の動き検出を行うコンポーネントと、
動きベクトル、ブロックサイズ、およびＭＥ値を含む、前記ＭＥデータをメモリに格納するコンポーネントと、
前記ＭＥ値を検索し比較することによって、最大値および最小値を検出するコンポーネントと
ギャップ値を算出するコンポーネントと、
前記最小値、最大値、およびギャップ値にそれぞれしきい値を設け、前記画像レジストレーション領域の承認可否を決定するコンポーネントと
を備える集積回路。
【請求項１０】
画像レジストレーション用の領域を承認するか否かの決定を行うためのプログラムであって、
１つの画像を複数の小領域に分割するモジュールと、
ＭＥ（動き検出）データを検出するために、参照フレームのグループから、前記画像の動き検出を行うモジュールと、
動きベクトル、ブロックサイズ、およびＭＥ値を含む、前記ＭＥデータをメモリに格納するモジュールと、
前記ＭＥ値を検索し比較することによって、最大値および最小値を検出するモジュールと
ギャップ値を算出するモジュールと、
前記最小値、最大値、およびギャップ値にそれぞれしきい値を設け、前記画像レジストレーション領域の承認可否を決定するモジュールと
を備えるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像およびビデオ処理に関する。特に、本発明は、画像レジストレーションを伴った画像およびビデオ処理に関する。
【背景技術】
【０００２】
画像レジストレーションとは、複数の異なる画像からの画素を１つの共通座標へワーピングする画像処理技術である。画像レジストレーションを用いたアプリケーションは、画像スティッチング、画像モザイク、および超高解像度を含む。グローバル動き検出は、背景が静止画の場合に必要となる。ローカル動き検出は、背景が静止画でない場合、例えば移動物体を含む場合に必要となる。ローカル動き検出では、オクルージョンの発生や、海水のようにコンテンツが動的に変化する場合などの問題がある。これらの領域は、一緒にレジストレーションしてはならない。これらの領域には対象フレームデータのみを用いなければならない。さもなければ、画像中に目に見えるアーチファクトが生じてしまう。
【０００３】
上記課題を解決するために一般的な第１の先行技術は、動き検出の信頼性測定値の整合性をチェックする。本発明を説明する便宜上、上記「動き検出の信頼性測定値の整合性」は、一般的に「ＭＥ値」と知られている。このＭＥ値は、対象フレーム領域と動き検出によって算出された参照フレーム領域間の整合性の信頼性測定を示す。整合性が高ければ、ＭＥ値は高く、整合性が低ければ、ＭＥ値は低く、この逆も同様である。ＭＥ値の算出方法は、用いられた動き検出アルゴリズムによって異なる。例えば、ブロックマッチングアルゴリズムでは、ＭＥ値はＭＡＤ（mean absolute difference：差分絶対値和）またはＭＳＥ（mean squared error：平均２乗誤差）によって算出される。位相限定相関法では、ＭＥ値はピーク値に相当する。特徴マッチングアルゴリズムでは、ＭＥ値は、一致した特徴点の数であってもよい。例えば、ブロックマッチングアルゴリズムが用いられたと仮定する。ある特定のブロックのＭＡＤまたはＭＳＥがしきい値より大きい場合、整合性は悪く、当該ブロックまたは領域のレジストレーションは否認される。
【０００４】
上記課題を解決するための一般的な第２の先行技術は、レジストレーション画素と、同一位置の対照フレーム画素、近傍位置、または双三次補完補償とを比較することによって、画素レベルでしきい値を設定する。画素値における差異がしきい値より大きい場合、この画素は当該位置に属さないため否認される。
【０００５】
第３の先行技術である米国特許第6181832号明細書は、画像レジストレーションによって引き起こされたアーチファクトを取り除く方法およびシステムを開示している。この特許では、レジストレーション画像はレジストレーション後の訂正用語によって表示されており、回帰が行われる。この回帰の結果をレジストレーション画像から減算する。
【０００６】
第４の従来技術である米国特許出願公開第2004/0091171号明細書A1は、ビデオシークエンスからのモザイク復元を開示している。この特許において、ピクチャの輝度は、参照ピクチャモデルおよびピクチャペアモデルを用いて修正される。ピクチャモデルは、シークエンスに基づいて精製する必要がある。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記第１の従来技術は、特に対象フレームに時間的に近い参照フレームに対するコンテンツにおいてわずかなオクルージョンや変化を検出することが困難であるという課題がある。例えば、同一の値がわずかなオクルージョンを示してもよいが、これはわずかな回転、照度の変化、もしくは動きモデリングが考慮しなかったその他のパラメータによるものであってもよい。さらに、これはテクスチャ自体の特性やその動きに生じるものであってもよい。動きがサブ画素のシフトを含む場合は、補間処理を用いてもよく、補間誤差が例えばＳＡＤやＭＡＤ値に加算される。この誤差もまたテクスチャの複雑度に比例する。
【０００８】
上記第２の従来技術は、異常値を取り除くだけでなく、正確にレジストレーションした画素をも取り除いてしまうという課題がある。これは、異常値と正確にレジストレーションした画素がどちらもエッジやエイリアシングしたライン等の領域において大きく変化するためである。
【０００９】
上記第３および第４の従来技術は、追加的演算は、動きアーチファクトを有する領域を検出するための動き検出後に行われなければならない。同様の見解は、テクスチャ認識のようなさらに高度な演算を用いるその他の先行技術に適用される。
【００１０】
また、先行技術において、アーチファクトは物体の動きのオクルージョンによって引き起こされると仮定される。ここで、背景が海水のような動的に変化するテクスチャを有す可能性は考慮されていない。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、画像レジストレーションのための（領域を承認するか否かという）有効な決定をおこなう方法およびその装置を発明する。上記課題は、１つの参照フレームの代わりに参照フレームのグループからＭＥを処理することによって解決される。特に、参照フレームのグループ内における最小および最大ＭＥ値間の相対差異（ギャップ値）を算出する。これによって、フレームのグループ内のコンテンツが一貫性を有する。例えば、位相限定相関法では、低ピーク値はオクルージョンを示してもよいが、同一領域においてグループ内のフレームが全て低ピーク値を示す場合、低ピーク値はテクスチャ自体の特性によって引き起こされたものであり、オクルージョンによって引き起こされたものではないことを示す。
【発明の効果】
【００１２】
本発明が新規である点は、上記第２、３、および４の先行技術と比較して、画素データを用いたさらなる処理を必要とせず、少ない演算量で実現できる点である。ＭＥ値は、動き検出処理中に生成され、画像レジストレーションの基本要件である。
【００１３】
本発明がさらに新規である点は、動きによって発生するオクルージョンの特定に加えて、レジストレーションすべきでない平滑領域や動的に変化するテクスチャ領域を特定することができる点である。従来技術に比べて、誤った肯定的や否定的な決定が削減され、画像レジストレーションが向上する。
【発明を実施するための最良の形態】
【００１４】
図１は、新しく発明された決定手段を備える一般的な画像レジストレーションシステムを示す。上記システムは、フレームバッファ（１０２）、動き検出手段（１０４）、新しく発明された決定手段（１０８）、およびレジストレーション手段（１０６）を備える。
【００１５】
フレームデータ（Ｄ１２０）は、参照フレームとしてフレームバッファ（１０２）に格納される。格納されたフレームデータ（Ｄ１２２）は、動き検出手段（１０４）およびレジストレーション手段（１０６）によって、フレームバッファ（１０２）から検索される。動き検出手段は、対象フレームと参照フレームのグループとの間で動き検出をおこなう。動きベクトル、ブロックサイズ、およびＭＥ値等のＭＥ（動き検出）データ（Ｄ１２４）が生成される。ＭＥデータ（Ｄ１２４）は、参照フレームのどの領域をレジストレーションに用いるべきか、用いるべきではないかを決定する決定手段（１０８）によって用いられる。決定データ（Ｄ１２６）が生成される。決定データ（Ｄ１２６）は、動き検出手段（１０４）によって、ＭＥデータ（Ｄ１２４）をさらに精細化するために用いることができる。例えば、小さいブロックサイズが否認領域に対して用いられる。ＭＥデータ（Ｄ１２４）と決定データ（Ｄ１２６）は、レジストレーション手段（１０６）によって、レジストレーションされた画像データ（Ｄ１２８）を生成するために用いられる。
【００１６】
図２は、図１に示される新しく発明された決定手段（１０８）の構成要素を示す。決定手段（１０８）は、任意の正規化手段（２１０）、ＭＥデータメモリ（２０２）、比較手段（２０６）、加算器／減算器（２０４）、およびしきい値手段（２０８）を備える。
【００１７】
オプションの正規化手段（２１０）は、ＭＥデータ（Ｄ１２４）内にあるＭＥ値を正規化する。ＭＥ値は、０．０から１．０の範囲に正規化される。ここで、０．０は整合性が悪いことを示し、１．０は整合性が良いことを示す。この正規化はオプションであり、ＭＥ値は動き検出アルゴリズムによって既に正規化されていてもよい。
【００１８】
例えば、位相限定相関法（ＰＯＣ）を用いる場合、ピーク値は既に正規化されている。ピーク値はＭＥ値として直接用いることができる。ＰＯＣの使用についての詳細は、以下の技術誌、Kenji Takitaらによる“High-accuracy subpixel image registration based on phase-only correlation”に記載されている。ＭＥデータメモリ（２０２）は、上記正規化されたＭＥデータ（Ｄ２３４）を格納するために用いられる。対象フレームの各領域に対して、用いられた参照フレームの数に対応するＭＥ値のセットが存在する。例えば、４個の参照フレームがある場合、４個のＭＥ値が存在する。参照フレームは時間的な過去、未来、もしくはその両方から用いられてもよい。対象フレームは、複数の参照フレームのセットを用いてもよい。例えば、８個の参照フレームを用いてもよい。時間的に未来のフレームに属する４個を先にレジストレーションし、時間的に過去に属するその他の４個を後にレジストレーションしてもよい。
【００１９】
比較器（２０６）は、このＭＥ値（Ｄ２３６）のセットを比較し、最小値（Ｄ２３８）と最大値（Ｄ２４０）を出力する。加算器／減算器（２０４）は、最大値（Ｄ２４０）から最小値（Ｄ２３８）を減算した値である、ギャップ値（Ｄ２４２）を算出する。図６は上記処理を説明する図である。しきい値手段（２０８）は、決定データ（Ｄ１２６）を生成するために、最小値（Ｄ２３８）、最大値（Ｄ２４０）、およびギャップ値（Ｄ２４２）を用いてしきい値を設定する。この処理は各領域が決定されるまで繰り返し続けられる。
【００２０】
図３は、図２に示されるしきい値手段（２０８）の構成要素を説明する。しきい値（Ｄ３２０）は、しきい値メモリ（３２０）に格納され、それぞれ最小値（Ｄ２３８）、最大値（Ｄ２４０）、およびギャップ値（Ｄ２４２）と比較するために、比較器（３０４）によって検索される。ギャップ値（Ｄ２４２）がギャップ用しきい値より大きい場合は、領域はばらついており、否認される。最大値が最大値用しきい値より小さい場合は、領域が平滑化されており、否認される。それ以外は、領域が細部までばらつきがないため、承認される。
【００２１】
図４は、図３に示される比較器（３０４）におけるアルゴリズムのフローを説明する図である。例えば、以下のしきい値ギャップ用しきい値＝０．２および最大値用しきい値＝０．４が用いられる。またその他のしきい値が用いられてもよい。ステップ（Ｓ４０２）において、ギャップ値がギャップ用しきい値より大きいか否かを確認する。結果がyesである場合は、ステップ（Ｓ４０４）において、当該領域をばらつきのあるテクスチャであると記録し、否認する。ばらつきのあるテクスチャは、オクルージョン、および動的に変化するテクスチャを含む。結果がnoである場合は、ステップ（Ｓ４０６）において、最大値が最大しきい値より小さいか否かを確認する。結果がyesである場合は、ステップ（S４０８）において、当該領域を平滑化されたテクスチャであると記録し、否認する。その他の場合、ステップ（Ｓ４１０）において、領域を細部までばらつきのないテクスチャであると記録し、承認する。参照フレームにおける対応領域は、各動きベクトルおよび動きデータを用いてレジストレーションされる。図５は、このしきい値の例をギャップ値軸と最長値軸上のグラフに図示した図である。
【００２２】
（その他の適用例）
領域が承認される場合、当該領域に対応するＭＥデータも承認される。つまり、動きベクトルが承認される。同様に、領域が否認される場合、当該領域に対応するＭＥデータが否認される。つまり動きベクトルが否認される。本実施の形態において、本発明は、動き検出手段によって生成された動きベクトルが有効であるか否かを判定するために用いられる。このように、本発明は画像レジストレーション領域を決定する処理に限定されていない。例えば、本発明はオクルージョン検出にも用いることができる。
【００２３】
動きベクトルが有効であるか否かを検出する同一の方法が、高性能ビデオ符号化処理に適用される。ここで、動きベクトルが無効である場合、つまり対象となる対応領域に一致する領域を検出することができないので、ビット分配またはその他の処理手段はそのような領域に特別の処理を行うことが必要となる。図７はその例を示す。
【００２４】
（システムＬＳＩ）
フレームバッファ（１０２）、決定手段（１０８）、動き検出手段（１０４）、およびレジストレーション手段（１０６）の機能ブロックは、一般に集積回路またはＬＳＩ（Large Scale Integrated）回路で実現される。これらの各部位は、複数の単機能ＬＳＩ、または１つの集積ＬＳＩで実現される。なお、本発明ではＬＳＩを用いたが、これは集積の程度に応じて、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、またはウルトラＬＳＩと参照してもよい。
【００２５】
さらに、集積の実現方法は、ＬＳＩだけでなく、上記集積は特別回路または汎用プロセッサなどによっても実現が可能である。ＬＳＩを製造後にプログラミング可能なＦＰＧＡ（Field Programmable Gate Array）やＬＳＩの接続または構成を再構築することが可能な再構築可能なプロセッサを同一目的に用いることができる。
【００２６】
将来的には、製造技術の発展に伴い、全く新しい技術がＬＳＩに取って代わるかもしれない。本集積はその技術によって実現が可能である。バイオ技術への応用が１つの可能性として挙げられる。
【図面の簡単な説明】
【００２７】
【図１】概略的な画像レジストレーションシステムを示すブロック図である。
【図２】決定手段を示すブロック図である。
【図３】しきい値手段を説明するブロック図である。
【図４】しきい値処理の一例を示すフローチャートである。
【図５】前記しきい値処理を示すグラフである。
【図６】最小値、最大値、ギャップ値の検索処理を示す図である。
【図７】符号化アプリケーションにおける本発明の利用を示す図である。
【図１】
2008134732.tif 000003
【図２】
2008134732.tif 000004
【図３】
2008134732.tif 000005
【図４】
2008134732.tif 000006
【図５】
2008134732.tif 000007
【図６】
2008134732.tif 000008
【図７】
2008134732.tif 000009
【外国語明細書】
2008134732.tif 000010
2008134732.tif 000011
2008134732.tif 000012
2008134732.tif 000013
2008134732.tif 000014
2008134732.tif 000015
2008134732.tif 000016
2008134732.tif 000017
【図１】
2008134732.tif 000018
【図２】
2008134732.tif 000019
【図３】
2008134732.tif 000020
【図４】
2008134732.tif 000021
【図５】
2008134732.tif 000022
【図６】
2008134732.tif 000023
【図７】
2008134732.tif 000024