(57)【特許請求の範囲】
【請求項１】
複数の対象画像を、１つの参照画像に対して位置合わせし、位置合わせ後の前記複数の対象画像を複数の動き補償画像として出力する動き補償装置であって、
前記複数の対象画像から代表画像を生成する代表画像生成手段と、
外部から前記参照画像と、前記参照画像内に設定された局所領域の入力を受け付け、前記代表画像内において、前記局所領域に対応する対応領域を求めることで、前記代表画像と前記参照画像との間の動きベクトル情報を求める動き推定手段と、
それぞれの前記対象画像に対応して、前記動きベクトル情報に基づいて当該対象画像を移動または変形し、その結果を前記動き補償画像として出力する画像変形手段と、
を備え、
前記代表画像生成手段が、
前記複数の対象画像において、画素位置ごとの画素値の代表値を演算して前記代表画像を生成する
ことを特徴とする動き補償装置。
【請求項２】
前記代表画像生成手段が、
前記画素位置ごとの画素値の代表値を、各画素値に対する重要度に応じて演算して前記代表画像を生成する
ことを特徴とする請求項１に記載の動き補償装置。
【請求項３】
前記代表画像生成手段が、
前記画素位置ごとの画素値の代表値として、画素値群の平均値、画素値群の加重平均値、画素値群の中央値、画素値群の最頻値、または画素値群の中から乱数により選択した画素値を用いて前記代表画像を生成する
ことを特徴とする請求項１または請求項２に記載の動き補償装置。
【請求項４】
複数の対象画像を、１つの参照画像に対して位置合わせし、位置合わせ後の前記複数の対象画像を複数の動き補償画像として出力する動き補償装置であって、
前記複数の対象画像から代表画像を生成する代表画像生成手段と、
外部から前記参照画像と、前記参照画像内に設定された局所領域の入力を受け付け、前記代表画像内において、前記局所領域に対応する対応領域を求めることで、前記代表画像と前記参照画像との間の動きベクトル情報を求める動き推定手段と、
それぞれの前記対象画像に対応して、前記動きベクトル情報に基づいて当該対象画像を移動または変形し、その結果を前記動き補償画像として出力する画像変形手段と、
を備え、
前記代表画像生成手段が、前記複数の対象画像の中から、前記それぞれの対象画像の画像特徴に基づいて１画像を選択して、前記代表画像として出力するか、または、前記複数の対象画像の中から乱数に基づいて１画像を選択して、前記代表画像として出力することを特徴とする動き補償装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを圧縮するための動き補償を行う装置であって、特に、複数の対象画像を参照画像に対して位置合わせする技術に関する。
【背景技術】
【０００２】
従来、動き補償の手法として、参照画像をブロックに分割し、各ブロックが対象画像のどこに対応するかを探索してブロックごとの動きベクトル情報を求め、この動きベクトル情報に基づいて対象画像内の対応領域を移動し、該当するブロック位置に貼り込む（ブロックマッチングを行う）ことが広く行われている。
【０００３】
そして、ブロックマッチングの演算量を削減する手法として、動きベクトル情報の探索を階層化する手法（例えば特許文献１、２）や、既に求められた別フレームの動きベクトル情報から現在の対象フレームの動きベクトル情報を予想し、探索領域を削減する手法（例えば特許文献３）がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１８０４２６号公報
【特許文献２】特開２００７−２６４５９号公報
【特許文献３】特開昭６２−２１３４９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１〜３に記載の従来の動き補償方法は、１枚の対象画像と１枚の参照画像との間で動き推定を行い、局所的な対応付けを行うものであった。このため、対象画像が複数枚存在する場合には、この対象画像の枚数と同じ回数だけ動き推定処理を行う必要があった。特に、複数枚の対象画像が全て同じ動き分布を有する場合（ただし、画素値パターンとしては雑音の差異などにより局所的なパターンが必ずしも一致しない場合を含む）であっても、同様の動き推定処理を対象画像の枚数と同じ回数だけ繰り返す必要があった。
【０００６】
そこで、本発明は、１枚の対象画像と１枚の参照画像との間で動き推定を行った結果を用いて、複数枚の対象画像の動き補償を行うことが可能な動き補償装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決した請求項１に係る動き補償装置は、複数の対象画像を、１つの参照画像に対して位置合わせし、位置合わせ後の複数の対象画像を複数の動き補償画像として出力する動き補償装置であって、代表画像生成手段と、動き推定手段と、画像変形手段とを備え、前記代表画像生成手段が、前記複数の対象画像において、画素位置ごとの画素値の代表値を演算して前記代表画像を生成することを特徴とする。
【０００８】
かかる構成によれば、動き補償装置は、代表画像生成手段によって、複数の対象画像から代表画像を生成する。このとき、対象画像内の画素ごとに代表値演算を行って代表画像を生成する。
また、動き補償装置は、動き推定手段によって、外部から参照画像と、参照画像内に設定された局所領域の入力を受け付け、代表画像内において、局所領域に対応する対応領域を求めることで、代表画像と参照画像との間の動きベクトル情報を求める。ここで、局所領域とは、参照画像内に設定された１または複数の領域である。なお、局所領域が１つの場合は、大局的に動き推定を行い、局所領域が複数の場合は、局所的に動き推定を行う。
そして、動き補償装置は、画像変形手段によって、それぞれの対象画像に対応して、動きベクトル情報に基づいて当該対象画像を移動または変形し、その結果を動き補償画像としてそれぞれ出力する。なお、局所領域が１つの場合は、対象画像を大局的に移動または変形し、局所領域が複数の場合は、対象画像を局所的に移動または変形することになる。
これによれば、代表画像と参照画像との間で動き推定を行った結果に基づいて、複数の対象画像の動き補償を行うことができるので、演算量を削減し、効率的な動き補償が実現できる。また、「移動または変形」とは、画像を幾何変換することを指し、画像変形手段による処理の前後で、画像の画素位置が、画像全体として、または、部分領域単位で、あるいは、画素単位で変更されることを示す
【００１０】
請求項２に係る動き補償装置は、請求項１に係る動き補償装置において、前記画素位置ごとの画素値の代表値を、各画素値に対する重要度に応じて演算して前記代表画像を生成することを特徴とする。
これによれば、複数の対象画像の画素位置ごとの画素値に対する重要度に応じて代表値を演算する。このため、複数の対象画像の特徴に適合した動き推定を行うことが可能となる。
【００１１】
請求項３に係る動き補償装置は、請求項１または請求項２に係る動き補償装置において、前記代表画像生成手段が、前記画素位置ごとの画素値の代表値として、画素値群の平均値、画素値群の加重平均値、画素値群の中央値、画素値群の最頻値、または画素値群の中から乱数により選択した画素値を用いることを特徴とする。
なお、ここでの平均値とは、全ての対象画像の画素位置ごとの画素値の平均値でもよいし、例えば全ての対象画像の画素位置ごとの画素値の中から最大側または最小側、あるいは、その両側から所定の個数の画素値を除いた残りの画素値の平均値でもよい。
【００１７】
請求項４に係る動き補償装置は、複数の対象画像を、１つの参照画像に対して位置合わせし、位置合わせ後の複数の対象画像を複数の動き補償画像として出力する動き補償装置であって、代表画像生成手段と、動き推定手段と、画像変形手段とを備え、前記代表画像生成手段が、前記それぞれの対象画像の画像特徴に基づいて、前記複数の対象画像の中から１画像を選択して、前記代表画像として出力するか、または、前記複数の対象画像の中から乱数に基づいて１画像を選択して、前記代表画像として出力することを特徴とする。
【発明の効果】
【００１９】
本発明によれば以下のような優れた効果を奏する。
請求項１に記載の発明によれば、代表画像と参照画像との間で動き推定を行った結果を用いて、複数の対象画像の動き推定を行うことができるので、演算量を削減することができ、処理時間を短縮化することが可能となるとともに、対象画像内の画素ごとに代表値演算を行うため、複数の異なる被写体の存在する画像において、この被写体ごとに適応的な動き推定ができ、動き推定を頑健化することが可能となる。
請求項２に記載の発明によれば、複数の対象画像の画素位置ごとの画素値に対する重要度に応じて代表値を演算するため、複数の対象画像の特徴に適合した動き推定を行うことが可能となる。
請求項３に記載の発明によれば、画素位置ごとの画素値の代表値として画素値群の平均値を用いる場合は、複数の対象画像の特徴を平均的に含んだ代表画像を生成し、この代表画像を用いて動き推定を行うため、全ての対象画像に対して中庸な動き推定を行うことが可能となる。
また、画素位置ごとの画素値の代表値として画素位置ごとの画素値の代表値として画素値群の加重平均値を用いる場合は、寄与度として、例えば信頼度や重要度が指定される場合、その信頼度や重要度に応じた動き推定を行うことが可能となる。
また、画素位置ごとの画素値の代表値として画素値群の中央値や画素値群の最頻値を用いる場合は、ノイズなどに頑健な動き推定を行うことが可能となる。
また画素位置ごとの画素値の代表値として画素値群の中から乱数により選択した画素値を用いる場合は、動き補償に確率過程を導入することができるので、モンテカルロ法などの確率統計的な演算法に適用するのに適した動き補償画像を得ることが可能となる。
請求項４に記載の発明によれば、動き推定を頑健化することが可能となるか、または演算量や記憶容量を極端に増加させることなく、動き推定処理において、集合平均的に複数の対象画像の情報を考慮することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る動き補償装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る動き補償装置の動作を説明するための概念図である。
【図３】本発明の実施形態に係る動き補償装置の動作を説明するための概念図である。
【図４】本発明の実施形態に係る動き補償装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００２１】
［動き補償装置の概要］
まず、本実施形態に係る動き補償装置の概要を説明する。
本実施形態に係る動き補償装置は、時系列に連続した画像である動画像に対して動き補償予測を行うことによって、動画像を符号化した符号化データを得る動画像符号化技術において、動き補償予測を行うためのものである。
【００２２】
本実施形態に係る動き補償装置は、Ｎ枚の対象画像と１枚の参照画像とを入力し、Ｎ枚の対象画像から代表画像を生成し、この代表画像と外部から入力された参照画像とを対比して動き推定を行い、動き推定結果に基づいて各対象画像を変形し、その画像変形結果を動き補償画像として出力するものである。ここで反映とは、各対象画像が参照画像を近似するように画像変形することを指す。つまり、動き補償装置は、Ｎ枚の対象画像に対応して、Ｎ枚の動き補償画像を出力するようになっている。
【００２３】
なお、各対象画像、参照画像、代表画像、各動き補償画像の形状および大きさは等しいものとする。画像が水平および垂直に格子状に配列された画素群から構成される場合、画像の大きさは、例えば画像の水平方向の画素数Ｗ（Ｗは自然数）および垂直方向の画素数Ｈ（Ｈは自然数）により定義することができる。
【００２４】
以下では、画像Ｉの画素位置（ｘ，ｙ）（ｘ＝１，２，…，Ｗ、ｙ＝１，２，…，Ｈ）における画素値（例えば、輝度値や色ベクトル値）を「Ｉ（ｘ，ｙ）」のように画像を表す文字（この例では「Ｉ」）の後に座標値を記述した丸括弧（この例では「（ｘ，ｙ）」）を付すことにより表現するものとする。
【００２５】
［動き補償装置の構成］
次に、本実施形態に係る動き補償装置１の構成について図１〜図３を参照して説明する。
本実施形態に係る動き補償装置１は、図１に示すように、Ｎ枚の対象画像Ｔ１，Ｔ２，…，ＴＮを入力し、このＮ枚の対象画像Ｔ１，Ｔ２，…，ＴＮから代表画像Ｄを生成する代表画像生成手段１０と、代表画像生成手段１０から入力された代表画像Ｄと参照画像生成手段４０から入力された参照画像Ｓとの間で動き推定を行う動き推定手段２０と、動き推定手段２０による動き推定結果に基づいて対象画像Ｔ１，Ｔ２，…，ＴＮを移動または変形させる複数の画像変形手段３０１，３０２，…，３０Ｎとを備えている。
【００２６】
ここで、動き補償装置１の各構成要素の説明に先立ち、参照画像生成手段４０について説明する。参照画像生成手段４０は、動き補償装置１の外部に設けられており、外部から画像Ｓ１，Ｓ２，…，ＳＭの入力を受け付け、このＭ枚の画像Ｓ１，Ｓ２，…，ＳＭから１枚の参照画像Ｓを生成するものである。本実施形態では、後記するように画像Ｓ１，Ｓ２，…，ＳＭは、対象画像Ｔ１，Ｔ２，…，ＴＮと異なる画像としているが、対象画像Ｔ１，Ｔ２，…，ＴＮと同じ画像とする場合もある。なお、対象画像Ｔ１，Ｔ２，…，ＴＮと異なるとは、例えば、対象画像Ｔ１，Ｔ２，…，ＴＮと時刻や位置や撮影手段が異なる場合などをいう。また、画像Ｓ１，Ｓ２，…，ＳＭの枚数は、対象画像Ｔ１，Ｔ２，…，ＴＮの枚数と同じであってもよいし、異なっていてもよい。
【００２７】
参照画像Ｓは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣなどにおける、現在符号化処理の対象となっている画像である。例えば、３板式のカメラで撮像された画像のＲ成分、Ｇ成分、Ｂ成分のそれぞれの値から生成した輝度画像を参照画像Ｓとする。また、参照画像生成手段４０は、参照画像Ｓを局所領域Ｌｋ（ｋ＝１，２，…，Ｋ、Ｋは局所領域の総数を表す自然数）に分割する機能を有する。参照画像生成手段４０は、生成した参照画像Ｓと局所領域Ｌｋを動き推定手段２０に出力するようになっている。
次に、動き補償装置１の各構成要素について説明する。
【００２８】
代表画像生成手段１０は、Ｎ枚の対象画像Ｔ１，Ｔ２，…，ＴＮを入力し、このＮ枚の対象画像Ｔ１，Ｔ２，…，ＴＮから１枚の代表画像Ｄを生成するものである。
Ｎ枚の対象画像Ｔ１，Ｔ２，…，ＴＮとは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣなどにおける、現在符号化処理の対象となっている画像の時間的に直前の画像である。例えば、３板式あるいは４板式のカメラで撮像された画像を分光して得られる色成分の値からそれぞれ生成した輝度画像を対象画像Ｔ１，Ｔ２，…，ＴＮとする。３板式のカメラで撮像した場合には、Ｒ（Ｒｅｄ）成分の値から生成した輝度画像を対象画像Ｔ１とし、Ｇ（Ｇｒｅｅｎ）成分の値から生成した輝度画像を対象画像Ｔ２とし、Ｂ（Ｂｌｕｅ）成分の値から生成した輝度画像を対象画像Ｔ３（図示せず）とすることができる。この対象画像Ｔ１〜Ｔ３（図示せず）は、被写体の位置は同じであるが、波長およびノイズが異なるものである。
【００２９】
代表画像生成手段１０は、例えば、次の式（１）に示すように、各画素位置（ｘ，ｙ）における対象画像Ｔ１，Ｔ２，…，ＴＮの画素値列（Ｔ１（ｘ，ｙ），Ｔ２（ｘ，ｙ），…，ＴＮ（ｘ，ｙ））に注目し、当該画素値列に基づいて１つの代表値を決定し、当該代表値を代表画像Ｄの画素位置（ｘ，ｙ）における画素値Ｄ（ｘ，ｙ）として設定することで、代表画像Ｄを生成するようになっている。
【００３０】
【数１】
0005346884.tif 000002
【００３１】
式（１）において、関数ｆは、Ｎ画像の画素ごとの代表値演算を行うための関数である。ここで、代表画像生成手段１０によって代表画像Ｄの画素値Ｄ（ｘ，ｙ）を求める方法を、例を挙げて説明する。
【００３２】
代表画像生成手段１０は、例えば、画素値列（Ｔ１（ｘ，ｙ），Ｔ２（ｘ，ｙ），…，ＴＮ（ｘ，ｙ））の平均値を代表画像Ｄの画素値Ｄ（ｘ，ｙ）とすることができる。この場合、関数ｆとして、次の式（２）を用いる。
【００３３】
【数２】
0005346884.tif 000003
【００３４】
また、代表画像生成手段１０は、画素値列（Ｔ１（ｘ，ｙ），Ｔ２（ｘ，ｙ），…，ＴＮ（ｘ，ｙ））の中央値または最頻値を代表画像Ｄの画素値Ｄ（ｘ，ｙ）としてもよい。
代表画像生成手段１０は、画素値列（Ｔ１（ｘ，ｙ），Ｔ２（ｘ，ｙ），…，ＴＮ（ｘ，ｙ））の乱数による標本抽出によって、当該画素値列（Ｔ１（ｘ，ｙ），Ｔ２（ｘ，ｙ），…，ＴＮ（ｘ，ｙ））の各項の中から画素値を１つ選択して代表画像Ｄの画素値Ｄ（ｘ，ｙ）としてもよい。
【００３５】
代表画像生成手段１０は、画素値列（Ｔ１（ｘ，ｙ），Ｔ２（ｘ，ｙ），…，ＴＮ（ｘ，ｙ））の中から、画素値が最大側、最小側、または、その両側から所定の個数の画素値を排除し、残った画素値列を用いて代表画像Ｄの画素値Ｄ（ｘ，ｙ）を求めてもよい。代表画像生成手段１０は、例えば、Ｎ≧３の場合において、次の式（３）を用いて、画素値列（Ｔ１（ｘ，ｙ），Ｔ２（ｘ，ｙ），…，ＴＮ（ｘ，ｙ））の中から、最大値および最小値をとる画素値をそれぞれ１標本ずつ除いた上で、残った画素値列の平均値を算出することによって、代表画像Ｄの画素値Ｄ（ｘ，ｙ）を求めることができる。なお、平均値に限らず、残った画素値列の中央値または最頻値、乱数による標本抽出の結果を代表画像Ｄの画素値Ｄ（ｘ，ｙ）としてもよい。
【００３６】
【数３】
0005346884.tif 000004
【００３７】
代表画像生成手段１０は、次の式（４）を用いて、画素値列（Ｔ１（ｘ，ｙ），Ｔ２（ｘ，ｙ），…，ＴＮ（ｘ，ｙ））の各項に対する重要度ｗ１（ｘ，ｙ），ｗ２（ｘ，ｙ），…，ｗＮ（ｘ，ｙ）を考慮してその演算を変化させてもよい。
【００３８】
【数４】
0005346884.tif 000005
【００３９】
式（４）において、ｇは画素値列（Ｔ１（ｘ，ｙ），Ｔ２（ｘ，ｙ），…，ＴＮ（ｘ，ｙ））および重要度列（ｗ１（ｘ，ｙ），ｗ２（ｘ，ｙ），…，ｗＮ（ｘ，ｙ））を引数にとる関数である。
【００４０】
代表画像生成手段１０は、例えば、画素値列（Ｔ１（ｘ，ｙ），Ｔ２（ｘ，ｙ），…，ＴＮ（ｘ，ｙ））の加重平均値を代表画像Ｄの画素値Ｄ（ｘ，ｙ）としてもよい。この場合、関数ｇとして、次の式（５）を用いる。
【００４１】
【数５】
0005346884.tif 000006
【００４２】
また例えば、代表画像生成手段１０は、画素値列（Ｔ１（ｘ，ｙ），Ｔ２（ｘ，ｙ），…，ＴＮ（ｘ，ｙ））の中から、乱数による標本抽出によって代表画像Ｄの画素値Ｄ（ｘ，ｙ）を求める場合に、重要度ｗｎ（ｘ，ｙ）に応じた確率で標本が抽出されるよう、乱数生成の確率モデルを設計してもよい。
【００４３】
なお、重要度ｗｎ（ｘ，ｙ）は、全画素位置に対して同一であってもよいし、変化させてもよい。また、重要度ｗｎ（ｘ，ｙ）は、例えば対象画像Ｔｎごとに重要度値（画素位置ごとに変化させる場合には重要度値のパターン）ｗｎ（ｘ，ｙ）をあらかじめ定めておいてもよいし、随時外部から指定するようにしてもよい。
【００４４】
随時外部から重要度値のパターンを指定する場合には、例えば、その時点における対象画像Ｔｎの取得、生成などの条件や状態、対象画像の特徴に応じて、重要度値のパターンを指定する。例えば、対象画像Ｔｎのコントラストを定量化し、コントラストの高いものほど重要度ｗｎ（ｘ，ｙ）が高くなるようにする。
【００４５】
さらに、代表画像生成手段１０は、複数の対象画像Ｔｎの中から、１枚の画像を選択して代表画像Ｄｎとして出力してもよい。
すなわち、次の式（６）を用いて、対象画像Ｔ１，Ｔ２，…，ＴＮを関数Ｆ（Ｔ１，Ｔ２，…，ＴＮ）により評価して、選択すべき対象画像のインデックスを求め、当該インデックスの対象画像を代表画像Ｄとして出力する。
【００４６】
【数６】
0005346884.tif 000007
【００４７】
例えば、関数Ｆは、各対象画像のコントラストを関数Ｆ（Ｔ１，Ｔ２，…，ＴＮ）により評価して、コントラストの最も高かった対象画像を代表画像Ｄとして出力する。
また例えば、関数Ｆは、各対象画像の中から、乱数により確率的に１枚を選択し、そのインデックスを出力してもよい。このとき、乱数を生成する確率過程は固定のもの（例えば一様乱数）であっても構わないし、各対象画像の評価結果（コントラスト等）に応じて出現頻度の変わるよう設計された確率過程に基づく乱数系列であっても構わない。
代表画像生成手段１０は、以上のいずれかの方法によって生成した代表画像Ｄを、動き推定手段２０に出力する。
【００４８】
動き推定手段２０は、参照画像生成手段４０から参照画像Ｓと局所領域Ｌｋの入力を受け付け、代表画像Ｄ内において、局所領域Ｌｋに対応する領域である対応領域Ｒｋ（ｋ＝１，２，…，Ｋ、Ｋは、対応領域の総数を示す自然数）を求めることで、代表画像Ｄと参照画像Ｓとの間の動きベクトル情報を求めるものである。
【００４９】
例えば、動き推定手段２０において、参照画像Ｓ内の局所領域Ｌｋが、代表画像Ｄのどこに対応するかを求める方法として、ブロックマッチング法を用いることができる。
ブロックマッチング法では、まず、代表画像Ｄ内に局所領域Ｍをとる。次に、参照画像Ｓにおける局所領域Ｌｋ内の画素値パターンと、代表画像Ｄ内における局所領域Ｍ内の画素値パターンとを比較し、評価値Ｅ（Ｓ，Ｌｋ；Ｄ，Ｍ）を求める。そして、代表画像Ｄ内において、評価値Ｅ（Ｓ，Ｌｋ；Ｄ，Ｍ）が最大（または最小）となる局所領域Ｍを探索し、当該局所領域を対応領域Ｒｋとする。
動き推定手段２０が、評価値Ｅ（Ｓ，Ｌｋ；Ｄ，Ｍ）を最大化する局所領域Ｌｋを対応領域Ｒｋとする場合には、対応領域Ｒｋを、次の式（７）により求めることができる。
【００５０】
【数７】
0005346884.tif 000008
【００５１】
一方、動き推定手段２０が、評価値Ｅ（Ｓ，Ｌｋ；Ｄ，Ｍ）を最小化する局所領域Ｌｋを対応領域Ｒｋとする場合には、対応領域Ｒｋを、次の式（８）により求めることができる。
【００５２】
【数８】
0005346884.tif 000009
【００５３】
ここで、評価値Ｅ（Ｓ，Ｌｋ；Ｄ，Ｍ）としては、例えば、画素値パターン対の絶対値誤差和や、自乗誤差和、相互相関関数、正規化相互相関関数などを用いることができる。
例えば、画素値パターン対の絶対値誤差和による場合、評価値Ｅ（Ｓ，Ｌｋ；Ｄ，Ｍ）を、次の式（９）により求めることができる。
【００５４】
【数９】
0005346884.tif 000010
【００５５】
式（９）において、上付きのＴは、ベクトルまたは行列の転置を意味する。また、［ｄｘ（Ｍ，Ｌ），ｄｙ（Ｍ，Ｌ）］Ｔは、領域Ｌの重心から領域Ｍの重心へ至るベクトルである。なお、画素値パターン対の絶対値誤差和、または、自乗誤差和による評価値Ｅ（Ｓ，Ｌｋ；Ｄ，Ｍ）を用いる場合、動き推定手段２０は、評価値Ｅ（Ｓ，Ｌｋ；Ｄ，Ｍ）を最小化するように動作するものとする。つまり、動き推定手段２０は、対応領域Ｒｋを、前記した式（８）により求める。
【００５６】
一方、画素値パターン対の相互相関係数、または、正規化相互相関係数による評価値Ｅ（Ｓ，Ｌｋ；Ｄ，Ｍ）を用いる場合、動き推定手段２０は、評価値Ｅ（Ｓ，Ｌｋ；Ｄ，Ｍ）を最大化するように動作するものとする。つまり、動き推定手段２０は、対応領域Ｒｋを、前記した式（７）により求める。
動き推定手段２０は、前記したいずれかの手法により求めた対応領域Ｒｋの情報を、画像変形手段３０１，３０２，…，３０Ｎに出力する。
【００５７】
画像変形手段３０１，３０２，…，３０Ｎは、対象画像Ｔ１，Ｔ２，…，ＴＮのそれぞれに対応して、動き推定手段２０で求められた対応領域Ｒｋに基づいて、画像変形をそれぞれ実行し、各画像変形結果を動き補償画像Ｃ１〜ＣＮとして出力するものである。
【００５８】
Ｎ個の画像変形手段３０１，３０２，…，３０Ｎの機能は同様であるので、ここでは、ｎ番目の画像変形手段３０ｎ（ｎ＝１，２，…，Ｎのいずれか）を例にとって説明する。
画像変形手段３０ｎは、対応領域Ｒｋに基づいて、対象画像Ｔｎに対して、参照画像Ｓに近似させるように画像変形を実行して、各画像変形結果を動き補償画像Ｃｎとして出力する。
【００５９】
例えば、画像変形手段３０ｎは、対象画像Ｔ１内の対応領域Ｒｋ内の画素値パターンを動き補償画像Ｃｎ内の局所領域にコピーすることで、動き補償画像Ｃｎを生成する。
つまり、画像変形手段３０ｎは、次に示す式（１０）により動き補償画像Ｃｎを生成する。画像変形手段３０ｎは、このようにして生成した動き補償画像Ｃｎを外部に出力する。
【００６０】
【数１０】
0005346884.tif 000011
【００６１】
［動き補償装置の動作］
次に、本実施形態に係る動き補償装置１の動作について図２〜図４および適宜図１を参照して説明する。
以下では、説明の便宜上、図２，３の紙面下側にそれぞれ示したような２枚の対象画像Ｔ１，Ｔ２を用いて説明する。２枚の対象画像Ｔ１，Ｔ２は被写体として、それぞれリンゴ，バナナ，メロン，オレンジを含むと共に、それぞれ異なるノイズを含んでいる。なおここでは、説明を分かりやすくするため、対象画像Ｔ１，Ｔ２においてノイズなどに起因する参照画像Ｓの対応する領域との差異を、蝶で表している。
【００６２】
また、参照画像生成手段４０では、外部から画像Ｓ１，Ｓ２の入力を受け付けると、１枚の参照画像Ｓを生成すると共に、参照画像Ｓ内に局所領域Ｌｋを設定し、参照画像Ｓと局所領域Ｌｋとを動き推定手段２０に出力する動作を実行する。
ここでは、画像Ｓ１，Ｓ２は、対象画像Ｔ１，Ｔ２と時刻が異なる画像とする。また、参照画像生成手段４０で生成された参照画像Ｓは、図２の紙面上側に示したように、被写体として、リンゴ，バナナ，メロン，オレンジを含むものとする。また、参照画像生成手段４０によって、参照画像Ｓを水平２分割、垂直３分割して、６個の正方形の部分領域（ブロック）群に分割し、その部分領域の一つ一つを局所領域Ｌ１〜Ｌ６と定義しているものとする。
次に、動き補償装置１の動作を説明する。
【００６３】
動き補償装置１は、動き推定手段２０によって、参照画像生成手段４０によって生成された参照画像Ｓおよび局所領域Ｌ１〜Ｌ６の入力を受け付ける（ステップＳ１）。
また、動き補償装置１は、代表画像生成手段１０によって、外部から対象画像Ｔ１，Ｔ２の入力を受け付ける（ステップＳ２）。
そして、動き補償装置１は、代表画像生成手段１０によって、対象画像Ｔ１，Ｔ２を用いて、前記したいずれかの方法を用いて代表画像Ｄの画素位置ごとの代表値Ｄ（ｘ，ｙ）を全ての画素位置について決定することで図２の紙面中央に示すような代表画像Ｄを生成する（ステップＳ３）。動き補償装置１は、代表画像生成手段１０によって、生成した代表画像Ｄを動き推定手段２０に出力する。
【００６４】
次に、動き補償装置１は、動き推定手段２０によって、代表画像生成手段１０で生成された代表画像Ｄの入力を受け付けると、この代表画像Ｄと、ステップＳ１で参照画像生成手段４０から入力を受け付けた参照画像Ｓとの間で動き推定を行う（ステップＳ４）。具体的には、動き補償装置１は、図２の紙面中央に示すように、代表画像Ｄ内において、局所領域Ｌ１〜Ｌ６に対応する対応領域Ｒ１〜Ｒ６を求める。動き補償装置１は、動き推定手段２０によって、対応領域Ｒ１〜Ｒ６の情報を画像変形手段３０１，３０２に出力する。
【００６５】
次に、動き補償装置１は、画像変形手段３０１，３０２によって、動き推定手段２０から対応領域Ｒ１〜Ｒ６の入力を受け付ける（ステップＳ５）。また、動き補償装置１は、画像変形手段３０１，３０２によって、外部から図３の紙面下側に示したような対象画像Ｔ１，Ｔ２の入力を受け付ける（ステップＳ６）。ここで、図３の紙面中程に示したのは、ステップＳ６で画像変形手段３０１，３０２に入力された対象画像Ｔ１，Ｔ２のそれぞれに、ステップＳ５で画像変形手段３０１，３０２に入力された対応領域Ｒ１〜Ｒ６を当てはめたものである。
【００６６】
画像変形手段３０１，３０２は、対象画像Ｔ１，Ｔ２を、それぞれ代表画像Ｄの対応領域Ｒ１〜Ｒ６に基づいて移動あるいは変形して、図３の紙面上側に示したような動き補償画像Ｃ１，Ｃ２を生成する（ステップＳ７）。
そして、動き補償装置１は、画像変形手段３０１，３０２によって、生成した動き補償画像Ｃ１，Ｃ２を外部に出力する（ステップＳ８）。
動き補償装置１は、以上のように動作する。
【００６７】
以上説明した本実施形態に係る動き補償装置１によれば、複数の対象画像Ｔ１，Ｔ２，…，ＴＮから生成した１枚の代表画像Ｄと参照画像Ｓとの間で動き推定を行った結果を用いて、複数の対象画像Ｔ１，Ｔ２，…，ＴＮの動き推定を行い、複数の動き補償画像Ｃ１，Ｃ２，…，を得ることができるので、演算量を削減することができ、処理時間を短縮化できる。
【００６８】
以上、本実施形態に係る動き補償装置１について説明したが、本発明は前記した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。以下、本実施形態に係る動き補償装置１の変形例について説明する。
【００６９】
前記した実施形態では、参照画像生成手段４０によって、参照画像Ｓを垂直３分割、水平２分割して、正方形の６つの局所領域Ｌ１〜Ｌ６に分割したが、これに限られるものではなく、適宜変更することができる。例えば、参照画像Ｓを長方形の部分領域群に分割して、この部分領域のそれぞれを局所領域としてもよい。また、局所領域Ｌｋの個数を１として、当該局所領域Ｌｋが画像全体であってもよい。また、局所領域Ｌｋの個数を２以上として、そのうちの１つの局所領域Ｌｋが画像全体であってもよい。さらに、局所領域Ｌｋの個数を１として、当該局所領域Ｌｋが画像の一部であってもよい。局所領域Ｌｋの個数を１とする場合、動き補償装置１によって大局的な動き推定を行う。
【００７０】
また、前記した実施形態では、Ｎ枚の対象画像Ｔ１，Ｔ２，…，ＴＮのそれぞれに対応させて、Ｎ個の画像変形手段３０１，３０２，…，３０Ｎを設けることとしたが、これに限られるものではなく、画像変形手段を一つとし、時分割的にＮ回処理を行うことにより等価的にＮ個の画像変形手段３０１，３０２，…，３０Ｎを設けたように動作させるようにしてもよい。
【００７１】
さらに、前記した実施形態では、３板式あるいは４板式のカメラで撮像した画像の各色成分を対象画像Ｔ１，Ｔ２，…，ＴＮとして説明したが、これに限られるものではない。例えば、超解像技術において、動き補償画像Ｃ１〜ＣＮにモンテカルロ法を適用する場合、対象画像Ｔ１，Ｔ２，…，ＴＮを候補（仮説）としてもよい。これによれば、複数の画素値パターンが仮説群をなすとき、当該仮説と参照画像の位置合わせを近似的に高速実行することが可能となる。また例えば、ハイダイナミックレンジ技法で撮像して得られた、被写体の位置は同じであるが輝度の異なる複数枚の画像をそれぞれ対象画像Ｔ１，Ｔ２，…，ＴＮとしてもよい。
【００７２】
またさらに、本実施形態の動き補償装置１における代表画像生成手段１０が、対象画像Ｔ１，Ｔ２，…，ＴＮに含まれていたノイズを除去する機能を有するようにしてもよいし、別途、対象画像Ｔ１，Ｔ２，…，ＴＮからノイズを除去して代表画像生成手段１０に入力するノイズ除去手段を有するようにしてもよい。以下、このような動き補償装置を動き補償装置１Ｂとして説明する。動き補償装置１Ｂは、代表画像生成手段１０が対象画像Ｔ１，Ｔ２，…，ＴＮからノイズを除去する機能を有するかあるいはノイズ除去手段を有するようにした点以外は、動き補償装置１と同様である。
【００７３】
動き補償装置１Ｂをこのように構成すると、代表画像生成手段１０あるいはノイズ除去手段によって、対象画像Ｔ１，Ｔ２，…，ＴＮに含まれていたノイズが除去されるので、代表画像生成手段１０によって、ノイズの無い対象画像Ｔ１，Ｔ２，…，ＴＮから代表画像Ｄを生成することができ、動き推定手段２０によって、ノイズの無い代表画像Ｄと参照画像Ｓとの間で動き推定を行うことができる。
【００７４】
次に、動き補償装置１Ｂの動作について簡単に説明する。なおここでは、参照画像生成手段４０においても画像Ｓ１，Ｓ２，…，ＳＭからノイズが無い参照画像Ｓが生成されるものとする。
まず、動き補償装置１Ｂは、動き推定手段２０によって、参照画像生成手段４０で生成されたノイズの無い参照画像Ｓおよび局所領域Ｌｋの入力を受け付ける。また、動き補償装置１Ｂは、代表画像生成手段１０あるいはノイズ除去手段によって、外部からノイズが含まれている対象画像Ｔ１，Ｔ２，…，ＴＮの入力を受け付ける。
【００７５】
次に、動き補償装置１Ｂは、代表画像生成手段１０あるいはノイズ除去手段によって、対象画像Ｔ１，Ｔ２，…，ＴＮに含まれているノイズを除去し、前記したいずれかの方法によって、代表画像Ｄを生成して、動き推定手段２０に出力する。そして、動き補償装置１Ｂは、動き推定手段２０によって、ノイズの無い代表画像Ｄと参照画像Ｓとの間で動き推定を行い、対応領域Ｒｋを画像変形手段３０１，３０２，…，３０Ｎに出力する。また、動き補償装置１Ｂは、画像変形手段３０１，３０２，…，３０Ｎによって、外部からノイズが含まれている対象画像Ｔ１，Ｔ２，…，ＴＮの入力を受け付ける。そして、動き補償装置１Ｂは、画像変形手段３０１，３０２，…，３０Ｎによって、対応領域Ｒｋに基づいて対象画像Ｔ１，Ｔ２，…，ＴＮのそれぞれを移動あるいは変形し、動き補償画像Ｃ１〜ＣＮを生成し、外部に出力する。
【００７６】
これによれば、動き推定手段２０において、ノイズの無い代表画像Ｄと参照画像Ｓとの間で動き推定を行うことができるため、動き推定精度を向上させることができ、また、対象画像間の差異を見えやすくすることができる。
また、動き補償画像Ｃ１〜ＣＮには、対象画像Ｔ１，Ｔ２，…，ＴＮ間の差異が含まれているので、この対象画像間の差異を利用した応用が可能である。例えば、様々な波長で動画像に含まれる欠陥を監視したい場合に、ノイズを波長ごとの違いを表す情報として利用できる。また例えば、超解像技術にモンテカルロ法を適用する場合に、乱数で摂動された画像群（仮説群）に対して、仮説間の差異を保存した動き補償を高速に実現するための装置として利用することができる。
【符号の説明】
【００７７】
１、１Ｂ      動き補償装置
１０      代表画像生成手段
２０      動き推定手段
３０１，３０２，…，３０Ｎ      画像変形手段
４０      参照画像生成手段
Ｔ１，Ｔ２，…，ＴＮ      対象画像
Ｓ      参照画像
Ｄ      代表画像
Ｌ１〜Ｌ６      局所領域
Ｒ１〜Ｒ６      対応領域
Ｃ１，Ｃ２  動き補償画像
４１１〜４１６、４２１〜４２６      局所領域
【図１】
0005346884.tif 000012
【図２】
0005346884.tif 000013
【図３】
0005346884.tif 000014
【図４】
0005346884.tif 000015