(57)【特許請求の範囲】
【請求項１】
局所的なブロックマッチングの結果のマッチング残差から重み係数を計算し、前記計算を探索領域中におけるすべてのマッチング残差から計算して重み分布を生成する工程と、
前記重み分布の全画素または全ブロックにおける結果を累積加算し、前記累積加算した全画素または全ブロックにおける重み分布の、グローバル動きベクトル量に相当するピーク値を探索する工程と、を有し、
前記ピーク値を探索する工程は、
何らのしきい値による判別を必要とせずに、局所ブロックマッチング処理の結果の残差の重み付け分布を累積加算平均した全画素による最小二乗法により分布の形に２次曲線を当てはめる処理を含み、
グローバル並進動きを局所ブロックマッチング残差の重み分布を累積加算することにより推定する処理と、アフィン変換動きパラメータを推定する処理とを組み合わせる
ことを特徴とするグローバル動き推定処理方法。
【請求項２】
請求項１に記載のグローバル動き推定処理方法において、
前記ピーク値を探索する工程は、
グローバル動きがサブピクセルの場合に、空間的に広がったピーク位置近傍領域の前記重み分布の値に対して、２次関数を当てはめて、その極大値の位置をグローバル動きベクトルとする処理をさらに含む
ことを特徴とするグローバル動き推定処理方法。
【請求項３】
請求項１または請求項２に記載のグローバル動き推定処理を遂行する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、局所ブロックマッチングによるグローバル動き推定処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
従来、グローバルな動き推定処理方法は、ブロック毎に得られた動きベクトルの平均値やメジアン値、最頻値を取る処理が簡易方法として用いられてきた。また、画面全体をひとつの大きなブロックとして画面全体の動きベクトルを推定する映像ぶれ補正装置が知られている。
【０００３】
下記特許文献１には、ＣＭＯＳセンサからの映像データ読み出し方法において、ある走査線の読み込み中に次の走査線の読み込みを開始する複数走査線の同時読み出し等の工夫をすることにより、歪みを軽減する撮像方式が開示されている。
【０００４】
また、下記特許文献２では、映像処理による歪み補正を行う方法が開示されているが、画像特徴点を用いる方法であり、映像の揺れによる平行移動成分と歪み成分の両者を別々に推定する技術思想が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１４２５９２号公報
【特許文献２】特開２０１３−０１７１５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ブロック毎に得られた動きベクトルの平均値やメジアン値を取る従来の処理では、映像中に局所的な移動物体が存在する場合、それが画面全体の動きとは異なる動きであると、単純な平均値やメジアン値を取る処理では画面全体の動きを推定できない。
【０００７】
ブロック毎に得られた動きベクトルのヒストグラムを計算して、その最頻値をなす動きベクトルをグローバル動きベクトルする方法も、テクスチャのないブロックにおける誤った動きベクトルの頻度数の影響により、正しいグローバル動きベクトルを推定できない。
【０００８】
また、画面全体をひとつの大きなブロックとして画面全体のグローバル動きベクトルを推定する方法は、専用の処理となるため、局所的な動きを推定するブロックマッチングとは別に行わなければならない。また、移動物体が存在する場合には、その動きの影響により正しいグローバル動きが推定できない場合が生じていた。
【０００９】
本発明は、上述の問題点に鑑み為されたものであり、画面全体の一様なグローバル動きをロバストに推定することが可能な局所ブロックマッチングによるグローバル動き推定処理方法及び画像処理装置を提案することを目的とする。
【課題を解決するための手段】
【００１０】
実施形態に示す方法は、局所的なブロックマッチングの結果のマッチング残差から重み係数を計算する。これを探索領域中におけるすべてのマッチング残差から計算して重み分布を生成する。そのような重み分布の全画素あるいは全ブロックにおける結果を累積加算する。そして、累積加算した全画素あるいは全ブロックにおける重み分布のピーク値を探索する。
【００１１】
そのピーク値の位置がグローバル動きベクトル量に相当する。グローバル動きがサブピクセルの場合、ピーク位置が空間的に広がるので、ピーク位置近傍領域の重み分布の値に対して、２次関数を当てはめて、その極大値の位置をグローバル動きベクトルとすることがより好ましい。
【発明の効果】
【００１２】
画面全体の一様なグローバル動きをロバストに推定することが可能な局所ブロックマッチングによるグローバル動き推定処理方法及び画像処理装置を提案できる。また、映像中にノイズが含まれていたり、映像間で輝度変動が存在したり、局所的な移動物体が存在するような場合でも、それらの影響を受けずにグローバル動きベクトルがサブピクセル精度で推定できる。
【００１３】
また、ロバストな推定結果を用いることにより、高精度な動き補正処理も可能となる。また、このために必要な処理は、局所的なブロックマッチング処理の結果を用いるため、専用の処理を行わずとも局所ブロックマッチング処理に加えた付加的な後処理により行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態の局所ブロックマッチングによるグローバル動き推定処理方法を説明する処理全体のブロック図である。
【図２】局所ブロックマッチング処理におけるブロックサイズとその近傍探索領域について説明する図である。
【図３】（ａ）は局所ブロックマッチング残差の重み分布によるグローバル動き推定について、第１フレーム（ノイズレベルσ＝１０）を示す図であり、（ｂ）はノイズが含まれている場合について、第１フレームに対して水平方向に−５画素、垂直方向に＋３画素シフトしている第２フレーム（ノイズレベルσ＝１０）を示す図であり、（ｃ）はノイズが含まれている場合の本実施形態の計算結果を説明する図である。
【図４】（ａ）は輝度変動がある場合について、第１フレームに対して、水平方向に−５画素、垂直方向に＋３画素シフトし、かつ輝度値が６０％である第２フレーム（ノイズレベルσ＝１０）を示す図であり、（ｂ）は輝度変動がある場合の本実施形態の計算結果を説明する図である。
【図５】（ａ）は輝度変動がある場合に、ＤｏＧフィルタによりエッジ検出し、第１フレームに対して、水平方向に−５画素、垂直方向に＋３画素シフトし、かつ輝度値が６０％である第２フレーム（ノイズレベルσ＝１０）を示す図であり、（ｂ）は輝度変動がある場合にエッジ画像による本実施形態の計算結果を説明する図である。
【図６】（ａ）は局所的なオクルージョンがある場合の、第１フレームに対して、水平方向に−５画素、垂直方向に＋３画素シフトし、画像サイズの約１０％領域のオクルージョンが存在する第２フレーム（ノイズレベルσ＝１０）を示す図であり、（ｂ）は局所的なオクルージョンがある場合の本実施形態による計算結果を示す図である。
【図７】（ａ）は局所ブロックマッチング残差の重み分布によるグローバル動き推定にかかる第１フレーム（ノイズレベルσ＝１０）を示す図であり、（ｂ）はサブピクセル移動の場合について、第１フレームに対して、水平方向に＋４．５画素、垂直方向に＋１．５画素シフトした第２フレーム（ノイズレベルσ＝１０）を示す図であり、（ｃ）はサブピクセル移動の場合の計算結果を説明する図である。
【図８】（ａ）はサブピクセル精度の動き推定について水平方向の結果を示す図であり、（ｂ）はサブピクセル精度の動き推定について垂直方向の結果を示す図である。
【図９】は階層画像による動き推定処理を説明するブロック図である。
【発明を実施するための形態】
【００１５】
本実施形態では、カメラのパンやチルトによる映像中における画面全体の一様なグローバル動きを推定する新しい方法を提案する。従来は、グローバル動き推定を行うために専用の処理を行ってきた。映像中の動きには、現実にはグローバル動きだけではなく、局所的な移動物体も存在する。そのような局所的な動きを推定するために、従来、局所的なブロックマッチングもグローバル動き推定と同時に行われてきた。
【００１６】
本実施形態に示す方法によれば、局所的なブロックマッチングの結果のマッチング残差から重み分布を計算し、それを全画素あるいは全ブロックに渡って累積加算することにより、ノイズや輝度変動、局所的な動き等に影響されないロバストなグローバル動き推定を実現できる。
【００１７】
本実施形態では、局所ブロックマッチングの結果のマッチング残差を用いて画面全体のグローバル動きベクトルを推定する構造を実現する。画面全体のグローバル動きベクトルを推定するための特別な処理を用いずに推定が可能であるため、画面全体をひとつのブロックと見なしてグローバル動きベクトルを推定する従来の処理と比較して、掛かるコストが少なくて済む。さらに、本実施形態は、ノイズや輝度変動、局所移動物体の影響を受けずにロバスト安定に動き補正処理が可能となる利点を有する。
【００１８】
本実施形態の手順として、１）画素毎あるいはブロック毎の局所的な動きを推定するブロックマッチング処理を遂行する。２）局所ブロックマッチング処理の結果のマッチング残差から重み係数を計算する処理を遂行する。３）探索領域中すべての重み係数からなる重み分布を全画素あるいは全ブロックに渡って累積加算する処理を遂行する。４）累積加算した重み分布からピーク値を探索して、ピーク値近傍領域に対して２次関数を当てはめる処理を遂行する。５）累積加算した重み分布のピーク値近傍領域に対して当てはめた２次関数の極大値の位置を計算する処理を遂行する。
【００１９】
また、画素毎あるいはブロック毎の局所的な動き推定処理には、推定結果の残差が計算できれば、ブロックマッチング、勾配法、位相相関法等、どのような方法を用いても、本発明を適用することが可能である。具体的な実現方法においても、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である。
【００２０】
また、局所ブロックマッチング処理の精度の向上や掛かる処理コストを低減するために、後述するような、階層画像を用いた階層動き推定処理を用いることができる。水平垂直方向の並進動きのみならず、より複雑な回転やスケール変化、変形運動に対応するために、本発明による並進運動の推定にロバスト推定手法を組み合わせることも可能である。図１は、このような本実施形態の局所ブロックマッチングによるグローバル動き推定処理方法を説明する処理全体のブロック図である。
【００２１】
図１に示すように、局所ブロックマッチング処理は、連続する２枚の画像中に、それぞれ（２Ｎ＋１）×（２Ｎ＋１）画素サイズのブロックを用意して、一方の画像のブロックが他方の画像において、どれくらい似ているかを計算するものである。具体的には、ブロックの近傍の（２Ｗ＋１）×（２Ｗ＋１）画素サイズの探索領域において、次のような計算を行う。
【００２２】
【数１】
0006530919.tif 000002
【００２３】
図２は、局所ブロックマッチング処理におけるブロックサイズとその近傍探索領域について説明する図である。
【００２４】
通常は、このような差分二乗総和ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）が最小となる値（ｕ，ｖ）をそのブロックにおけるローカル動きベクトルとして用いるが、グローバル動きベクトルの推定のために、次のような重み係数を計算する。
【００２５】
【数２】
0006530919.tif 000003
【００２６】
ここで、ｈはスケール定数である。ブロック間が完全に一致すると、ＳＳＤ（ｕ，ｖ）が０となり、重みｗ（ｕ，ｖ）は最大値１になる。異なるブロックでは重みは小さくなる。重みｗ（ｕ，ｖ）は、ブロック間の類似性を測るものである。このようなマッチング残差による重み係数を、探索領域すべての（ｕ，ｖ）について計算したものを重み分布と称する。
【００２７】
そのような重み分布を、全画素あるいは全ブロックにおいて計算したものを累積加算する。累積加算した重み分布におけるピーク値の座標位置がグローバル動きベクトルである。局所ブロックマッチング処理はブロックによっては、テクスチャ成分が十分ではない場合等、信頼性の高いローカル動きベクトルを計算することが難しい場合が往々にして生じる。
【００２８】
しかし、全画素あるいは全ブロックにおけるマッチング残差による重み係数の分布を累積加算することによって、そのような誤った推定結果のブロックの影響を低減して、ロバストなグローバル動きベクトルを推定することができる。
【００２９】
実際には、サブピクセル（整数画素以下）の精度の動きの場合には、累積加算した動き分布におけるピーク値は１点ではなく、空間的に広がる。そこで、累積加算重み分布のピーク値近傍の重み係数値に対して、２次関数を当てはめて、その極大値の位置をグローバル動きベクトルとすることが好ましい。
【００３０】
また、局所ブロックマッチング処理の精度の向上や処理コストを低減するために、階層画像（縮小画像）を生成して、階層画像間でのローカル／グローバル動き推定結果を上位の画像サイズの大きな階層画像へ伝播させることが好ましい。
【００３１】
図３（ａ）は局所ブロックマッチング残差の重み分布によるグローバル動き推定について、第１フレーム（ノイズレベルσ＝１０）を示す図であり、図３（ｂ）はノイズが含まれている場合について、第１フレームに対して水平方向に−５画素、垂直方向に＋３画素シフトしている第２フレーム（ノイズレベルσ＝１０）を示す図であり、図３（ｃ）はノイズが含まれている場合の本実施形態の計算結果を説明する図である。
【００３２】
具体的には、図３（ｃ）は、３×３画素ブロックにより、２１画素×２１画素探索領域をブロックマッチングした結果の残差による重み分布を全画素にわたって加算平均した結果を説明している。ここで、重み係数の計算［数２］におけるスケール定数ｈ＝８として計算した。
【００３３】
図３（ｃ−１）は、画素毎のマッチング残差による重み分布の全画素にわたる加算平均結果の画像表示を示しているが、最大値が白１００％になるように正規化しているものであり、図３（ｃ−２）は、画像（ｃ−１）の画素値をｚ軸とした３次元プロットで示した図である。
【００３４】
なお、図３（ｃ−１）画像中におけるピーク位置がグローバル動き量を示しており、そのピーク位置の画像座標は（１５，１３）になるが、当該図においては、原点が（１０，１０）である（すなわちフレームの中心）ことと、第２フレームを基準として局所ブロックマッチングを行っているので、動き量の符号が反転することに注意する必要がある。
【００３５】
また、図４（ａ）は輝度変動がある場合について、第１フレームに対して水平方向に−５画素垂直方向に＋３画素シフトし、かつ輝度値が第１フレームの６０％である第２フレーム（ノイズレベルσ＝１０）を示す図であり、図４（ｂ）は輝度変動がある場合の本実施形態の計算結果を説明する図である。
【００３６】
具体的には、図４（ｂ）は、３×３画素ブロックにより、２１画素×２１画素探索領域をブロックマッチングした結果の残差による重み分布を全画素にわたって加算平均した結果を説明している。ここで、重み係数の計算［数２］におけるスケール定数ｈ＝８として計算した。
【００３７】
図４（ｂ−１）は、画素毎のマッチング残差による重み分布の全画素にわたる加算平均結果の画像表示を示しているが、最大値が白１００％になるように正規化しているものであり、図４（ｂ−２）は、画像（ｂ−１）の画素値をｚ軸とした３次元プロットで示した図である。
【００３８】
なお、図４（ｂ−１）画像中におけるピーク位置がグローバル動き量を示しており、そのピーク位置の画像座標は（１５，１３）になるが、当該図においては、原点が（１０，１０）である（すなわちフレームの中心）ことと、第２フレームを基準として局所ブロックマッチングを行っているので、動き量の符号が反転することに注意する必要がある。
【００３９】
また、図５（ａ）は輝度変動がある場合に、ＤｏＧフィルタによりエッジ検出し、第１フレームに対して、水平方向に−５画素、垂直方向に＋３画素シフトし、かつ輝度値が６０％である第２フレーム（ノイズレベルσ＝１０）を示す図であり、図５（ｂ）は輝度変動がある場合にエッジ画像による本実施形態の計算結果を説明する図である。
【００４０】
具体的には、図５（ｂ）は、３×３画素ブロックにより、２１画素×２１画素探索領域をブロックマッチングした結果の残差による重み分布を全画素にわたって加算平均した結果を説明している。ここで、重み係数の計算［数２］におけるスケール定数ｈ＝８として計算した。
【００４１】
図５（ｂ−１）は、画素毎のマッチング残差による重み分布の全画素にわたる加算平均結果の画像表示を示しているが、最大値が白１００％になるように正規化しているものであり、図５（ｂ−２）は、画像（ｂ−１）の画素値をｚ軸とした３次元プロットで示した図である。
【００４２】
なお、図５（ｂ−１）画像中におけるピーク位置がグローバル動き量を示しており、そのピーク位置の画像座標は（１５，１３）になるが、当該図においては、原点が（１０，１０）である（すなわちフレームの中心である）ことと、第２フレームを基準として局所ブロックマッチングを行っているので、動き量の符号が反転することに注意する必要がある。図５に示すように、エッジ画像間での本実施形態に示すブロックマッチング処理を遂行することにより、さらに明瞭なピークが得られることが理解できる。
【００４３】
（局所正規化ブロックマッチング）
ＩｒａｎｉとＡｎａｎｄａｎは、赤外画像と可視光画像の位置合わせのために、各々の方向エッジニ乗画像の局所正規化相関（Ｌｏｃａｌ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ. ＬＮＣＣ）を最大化する補正パラメータを推定した。局所正規化相関は次のようになる。
【００４４】
【数３】
0006530919.tif 000004
【００４５】
ここで、
【００４６】
【数４】
0006530919.tif 000005
【００４７】
【数５】
0006530919.tif 000006
【００４８】
【数６】
0006530919.tif 000007
【００４９】
【数７】
0006530919.tif 000008
【００５０】
であり、
【００５１】
【数８】
0006530919.tif 000009
【００５２】
は、注目画素
【００５３】
【数９】
0006530919.tif 000010
【００５４】
を含む近傍の局所領域
【００５５】
【数１０】
0006530919.tif 000011
【００５６】
の画素数である。入力画像、テンプレート画像ともに、方向ｄによるエッジを二乗したものを用いており、エッジには、水平、垂直、斜め２方向の合計４方向を用いている。ｄ＝１，．．，４であるから、相関値は−４から４までの範囲を取り、４に近ければ近いほど類似度が高い。
【００５７】
これは、局所領域
【００５８】
【数１１】
0006530919.tif 000012
【００５９】
の画素値の平均値を引いて、標準偏差値によりレベル変換したもの同士の積であるが、次のような局所正規化ＳＳＤ（Ｌｏｃａｌ Ｎｏｒｍａｌｉｚｅｄ Ｓｕｍ ｏｆ Ｓｕｑａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ， ＬＮＳＳＤ）と本質的に等価である。（参考論文：松永  力，画像からの倍率色収差の自動推定補正，第２０回画像センシングシンポジウム（ＳＳＩＩ２０１４））講演論文集，横浜（パシフィコ横浜），２０１４年６月）
【００６０】
【数１２】
0006530919.tif 000013
【００６１】
連続する２画像
【００６２】
【数１３】
0006530919.tif 000014
【００６３】
の局所正規化ブロックマッチングは、次の式［数１４］のようになる
【００６４】
【数１４】
0006530919.tif 000015
【００６５】
（局所的なオクルージョンがある場合）
図６（ａ）は、局所的なオクルージョンがある場合の、第１フレームに対して、水平方向に−５画素、垂直方向に＋３画素シフトし、画像サイズの約１０％領域のオクルージョンが存在する第２フレーム（ノイズレベルσ＝１０）を示す図であり、図６（ｂ）は局所的なオクルージョンがある場合の本実施形態による計算結果を示す図である。
【００６６】
具体的には、図６（ｂ）は、３×３画素ブロックにより、２１画素×２１画素探索領域をブロックマッチングした結果の残差による重み分布を全画素にわたって加算平均した結果を説明している。ここで、重み係数の計算［数２］におけるスケール定数ｈ＝８として計算した。
【００６７】
図６（ｂ−１）は、画素毎のマッチング残差による重み分布の全画素にわたる加算平均結果の画像表示を示しているが、最大値が白１００％になるように正規化しているものであり、図６（ｂ−２）は、画像（ｂ−１）の画素値をｚ軸とした３次元プロットで示した図である。
【００６８】
なお、図６（ｂ−１）画像中におけるピーク位置がグローバル動き量を示しており、そのピーク位置の画像座標は（１５，１３）になるが、当該図においては、原点が（１０，１０）である（すなわちフレームの中心である）ことと、第２フレームを基準として局所ブロックマッチングを行っているので、動き量の符号が反転することに注意する必要がある。
【００６９】
（サブピクセル精度の動き推定）
図７（ａ）は局所ブロックマッチング残差の重み分布によるグローバル動き推定にかかる第１フレーム（ノイズレベルσ＝１０）を示す図であり、図７（ｂ）はサブピクセル移動の場合について、第１フレームに対して、水平方向に＋４．５画素、垂直方向に＋１．５画素シフトした第２フレーム（ノイズレベルσ＝１０）を示す図であり、図７（ｃ）はサブピクセル移動の場合の計算結果を説明する図である。
【００７０】
具体的には、図７（ｃ）は、３×３画素ブロックにより、２１画素×２１画素探索領域をブロックマッチングした結果の残差による重み分布を全画素にわたって加算平均した結果を説明している。ここで、重み係数の計算［数２］におけるスケール定数ｈ＝８として計算した。
【００７１】
図７（ｂ−１）は、画素毎のマッチング残差による重み分布の全画素にわたる加算平均結果の画像表示を示しているが、最大値が白１００％になるように正規化しているものであり、図７（ｂ−２）は、画像（ｂ−１）の画素値をｚ軸とした３次元プロットで示した図である。
【００７２】
なお、図７（ｂ−１）画像中におけるピーク位置がグローバル動き量を示しており、そのピークはサブピクセル移動により広がったものとなっていることが当該画像から理解できる。
【００７３】
サブピクセル精度の動き推定では、重み分布の最大値近傍の値に対して２次関数を最小二乗法により当てはめて、その極大値を求める。これを、水平垂直方向毎に行う。また、最小二乗法は次式［数１５］の目的関数を最小化する。
【００７４】
【数１５】
0006530919.tif 000016
【００７５】
ここで、
【００７６】
【数１６】
0006530919.tif 000017
【００７７】
は、重み分布画像の画素値であり、
【００７８】
【数１７】
0006530919.tif 000018
【００７９】
は、その位置座標である。また、上記式［数１５］では、水平垂直方向毎の１次元で処理していることに留意する必要がある。
【００８０】
数１５に示す目的関数Ｊを、ａ，ｂ，ｃで微分して０と置いた次式［数１８］の正規方程式を解く。
【００８１】
【数１８】
0006530919.tif 000019
【００８２】
推定結果の
【００８３】
【数１９】
0006530919.tif 000020
【００８４】
から、その極大値の位置座標
【００８５】
【数２０】
0006530919.tif 000021
【００８６】
は、次式［数２１］のようになる。
【００８７】
【数２１】
0006530919.tif 000022
【００８８】
正規方程式を解く際に、計算精度を考慮して、予め画像サイズ
【００８９】
【数２２】
0006530919.tif 000023
【００９０】
で位置座標
【００９１】
【数２３】
0006530919.tif 000024
【００９２】
を割って
【００９３】
【数２４】
0006530919.tif 000025
【００９４】
に揃えることが好ましい。
あるいは、連続する３点
【００９５】
【数２５】
0006530919.tif 000026
【００９６】
を通る２次関数
【００９７】
【数２６】
0006530919.tif 000027
【００９８】
の連立方程式
【００９９】
【数２７】
0006530919.tif 000028
【０１００】
を（ａ，ｂ，ｃ）について解けばよい。
【０１０１】
【数２８】
0006530919.tif 000029
【０１０２】
【数２９】
0006530919.tif 000030
【０１０３】
になるように２次関数を平行移動すると、
【０１０４】
【数３０】
0006530919.tif 000031
【０１０５】
となる。但し、
【０１０６】
【数３１】
0006530919.tif 000032
【０１０７】
であり、
【０１０８】
【数３２】
0006530919.tif 000033
【０１０９】
である。
【０１１０】
図８（ａ）はサブピクセル精度の動き推定について水平方向の結果を示す図であり、図８（ｂ）はサブピクセル精度の動き推定について垂直方向の結果を示す図である。図８（ａ）では、重み分布のピーク値近傍４点に対して最小二乗法により２次関数を当てはめて、その極大値の座標を求めるものであり、原点位置は１０だから５．４９６８−１０＝−４．５３２画素となる。また、図８（ｂ）では、重み分布のピーク値近傍４点に対して最小二乗法により２次関数を当てはめて、その極大値の座標を求めるものであり、原点位置は１０だから１０−１１．５０２８＝−１．５０２８画素となる。
【０１１１】
（階層画像による動き推定）
図９は、階層画像による動き推定処理を説明するブロック図である。連続する２枚の画像
【０１１２】
【数３３】
0006530919.tif 000034
【０１１３】
があるとき、
【０１１４】
【数３４】
0006530919.tif 000035
【０１１５】
をアフィン変換により変形すると、
【０１１６】
【数３５】
0006530919.tif 000036
【０１１７】
に重なるとする。このとき重なり部分では次式［数３６］の関係が成り立つ。
【０１１８】
【数３６】
0006530919.tif 000037
【０１１９】
ただし、次のように置いた。
【０１２０】
【数３７】
0006530919.tif 000038
【０１２１】
パラメータは微小であるとして、［数３６］の左辺をテイラー展開すると、
【０１２２】
【数３８】
0006530919.tif 000039
【０１２３】
は、
【０１２４】
【数３９】
0006530919.tif 000040
【０１２５】
と書ける。従って、アフィン変換パラメータ
【０１２６】
【数４０】
0006530919.tif 000041
【０１２７】
は、次式［数４２］の目的関数
【０１２８】
【数４１】
0006530919.tif 000042
【０１２９】
を最小化するものである。
【０１３０】
【数４２】
0006530919.tif 000043
【０１３１】
ここで、
【０１３２】
【数４３】
0006530919.tif 000044
【０１３３】
である。
【０１３４】
【数４４】
0006530919.tif 000045
【０１３５】
は、２画像の重複した領域中の全ての画素にわたる和を表す。［数４２］の
【０１３６】
【数４５】
0006530919.tif 000046
【０１３７】
をアフィン変換パラメータの各成分ａ１，ａ２，ａ３，ａ４，ａ５，ａ６で微分して、０と置いた正規方程式を解けばよい。
簡単のために、ａ１＝ａ４＝０と置いた４パラメータアフィン変換（並進歪み変換）により説明する。目的関数
【０１３８】
【数４６】
0006530919.tif 000047
【０１３９】
は、次式［数４７］のようになる。
【０１４０】
【数４７】
0006530919.tif 000048
【０１４１】
［数４７］の
【０１４２】
【数４８】
0006530919.tif 000049
【０１４３】
をａ２，ａ３，ａ５，ａ６で微分して０と置いた正規方程式は次式［数４９］のようになる。
【０１４４】
【数４９】
0006530919.tif 000050
【０１４５】
階層画像による動き推定処理の手順は次のようになる。
手順１．画素毎のブロツクマッチング残差による重み分布の累積加算の結果から並進パラメータを推定する。
手順２．推定した並進および歪みパラメータによる補正結果を計算する。その重複する領域中における画素毎の残差
【０１４６】
【数５０】
0006530919.tif 000051
【０１４７】
の絶対値のメジアン値（中央値）からスケールパラメータ
【０１４８】
【数５１】
0006530919.tif 000052
【０１４９】
を計算する。
【０１５０】
【数５２】
0006530919.tif 000053
【０１５１】
ここで、ｍｅｄはメジアン値を求める操作である。残差
【０１５２】
【数５３】
0006530919.tif 000054
【０１５３】
は、手順１による並進パラメータ
【０１５４】
【数５４】
0006530919.tif 000055
【０１５５】
と下位の階層における推定結果
【０１５６】
【数５５】
0006530919.tif 000056
【０１５７】
により、次のように計算する。
【０１５８】
【数５６】
0006530919.tif 000057
【０１５９】
ただし、最下位の階層画像の場合、
【０１６０】
【数５７】
0006530919.tif 000058
【０１６１】
とする。
手順３．スケールパラメータ
【０１６２】
【数５８】
0006530919.tif 000059
【０１６３】
により、次のようなアウトライヤ判定のための重み係数を計算する。
【０１６４】
【数５９】
0006530919.tif 000060
【０１６５】
ｃはアウトライヤ判定のためのしきい値である。
手順４．並進成分ａ３，ａ６以外の歪み成分ａ２，ａ５を推定するために、次のような重み付け正規方程式を解く。
【０１６６】
【数６０】
0006530919.tif 000061
【０１６７】
ここで、
【０１６８】
【数６１】
0006530919.tif 000062
【０１６９】
【数６２】
0006530919.tif 000063
【０１７０】
と略記した。
【０１７１】
【数６３】
0006530919.tif 000064
【０１７２】
は、２画像の重複した領域中の全ての画素にわたる和である。ただし、要求精度に応じて、上記式［数６０］の推定結果
【０１７３】
【数６４】
0006530919.tif 000065
【０１７４】
および手順１の推定結果
【０１７５】
【数６５】
0006530919.tif 000066
【０１７６】
による変換画像を生成し、その変換画像を用いて、上記手順２及び手順３により重み係数
【０１７７】
【数６６】
0006530919.tif 000067
【０１７８】
を計算し、上記式［数６０］の重み付け正規方程式を解く。そして、得られる解
【０１７９】
【数６７】
0006530919.tif 000068
【０１８０】
により
【０１８１】
【数６８】
0006530919.tif 000069
【０１８２】
と更新する。
【０１８３】
【数６９】
0006530919.tif 000070
【０１８４】
の絶対値が要求精度に応じた微小しきい値以下になるまで繰り返す。
【０１８５】
手順５．上記推定結果を上位の階層画像における推定のための初期値として使用して、最上位の画像の結果が得られるまで繰り返し推定処理を行う。このような階層画像を用いて動き推定処理を行うことにより、広範囲な動きにも対応することができる。回転やスケール変化、変形運動等の複雑な動きを推定することもできる。
【０１８６】
実際には、ガウシアンフィルタを掛けて間引くことにより階層画像を生成して、最も低解像度の画像間で推定したパラメータをより高解像度の画像間における動き推定処理に伝播させる階層動き推定処理を行う。
【０１８７】
図９は、実施例における階層動き推定処理を説明するブロック図である。図９に示すように、隣接する動き歪み２画像「Ｉｎ」と「Ｉｎ＋１」を入力する。それぞれにガウシアンフィルタＧσを掛けて画像サイズを１／２に間引く（↓２）。間引き処理を繰り返し行い画像サイズを１／４まで縮小する。原画像サイズをＬｅｖｅｌ０とすると、１／２画像サイズをＬｅｖｅｌ１、１／４画像サイズをＬｅｖｅｌ２と呼ぶ。
【０１８８】
４パラメータアフィン変換行列パラメータの初期値ａ（０）を与えて、１／４画像サイズのＩｎを４パラメータアフィン変換による補正処理（Ｗ）を行う。そして、１／４画像サイズのＩｎ＋１との間で、４パラメータアフィン変換行列を推定する（Ｍ）。その推定結果をａ（０）に加えた結果をａ（１）として、次の１／２画像サイズによるＬｅｖｅｌ１処理に用いる。
【０１８９】
４パラメータアフィン変換行列パラメータの初期値ａ（０）は、１／４画像サイズのＩｎ、Ｉｎ＋１において、例えばブロックマッチングによる並進パラメータとすればよい。その場合のａ（０）＝（ａ２、ａ３、ａ５、ａ６）＝（０、ｔｘ（０）、０、ｔｙ（０））である。ここで、（ｔｘ（０）、ｔｙ（０））がブロックマッチング残差の重み分布による並進パラメータである。
【０１９０】
１／４画像サイズによるＬｅｖｅｌ２処理同様に、１／２画像サイズによるＬｅｖｅｌ１処理は、４パラメータアフィン変換行列パラメータａ（１）による１／２画像サイズのＩｎを４パラメータアフィン変換による補正処理（Ｗ）を行う。そして、１／２画像サイズのＩｎ＋１との間で、４パラメータアフィン変換行列を推定する（Ｍ）。その推定結果をａ（１）に加えた結果をａ（２）として、次の原画像サイズによるＬｅｖｅｌ０処理に用いる。
【０１９１】
このとき、歪みパラメータａ２、ａ５に関する重み付け正規方程式を解いて、ａ２、ａ５を推定する。重み係数は推定パラメータによる補正結果の残差から決定される。
【０１９２】
１／２画像サイズによるＬｅｖｅｌ１処理同様に、原画像サイズによるＬｅｖｅｌ０処理は、４パラメータアフィン変換行列パラメータａ（２）による原画像サイズのＩｎを４パラメータアフィン変換による補正処理（Ｗ）を行う。そして、原画像サイズのＩｎ＋１との間で、４パラメータアフィン変換行列を推定する（Ｍ）。その推定結果をａ（２）に加えた結果のａ（３）が最終的な４パラメータアフィン変換行列の推定結果である。４パラメータアフィン変換行列により最終的に原画像サイズのＩｎ＋１を補正して出力する。
【０１９３】
並進パラメータａ３、ａ６に対して時系列処理を行い、その結果の並進パラメータにより再び合成した４パラメータアフィン変換行列により補正してもよい。
【産業上の利用可能性】
【０１９４】
本発明は、動き補正を用いた画像／映像分野全般に適用可能である。特に、映像ぶれ補正装置、動き補正方式変換装置、動き補正型ノイズリデューサー等に好適である。
【図１】
0006530919.tif 000071
【図２】
0006530919.tif 000072
【図３】
0006530919.tif 000073
【図４】
0006530919.tif 000074
【図５】
0006530919.tif 000075
【図６】
0006530919.tif 000076
【図７】
0006530919.tif 000077
【図８】
0006530919.tif 000078
【図９】
0006530919.tif 000079