(57)【特許請求の範囲】
【請求項１】
動画像の動き推定値を求める動き推定装置であって、
処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出する周波数帯域分解処理手段と、
周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行う第１の動き推定手段と、
周波数帯域分解処理を施した各階層の水平低・垂直高周波画像群を用いて階層型動き推定を行う第２の動き推定手段と、
周波数帯域分解処理を施した各階層の水平高・垂直低周波画像群を用いて階層型動き推定を行う第３の動き推定手段と、
周波数帯域分解処理を施した各階層の水平高・垂直高周波画像群を用いて階層型動き推定を行う第４の動き推定手段と、
前記第１の動き推定手段、前記第２の動き推定手段、前記第３の動き推定手段及び前記第４の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定する手段と、
を備えることを特徴とする動き推定装置。
【請求項２】
動画像の動き推定値を求める動き推定装置であって、
処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出する周波数帯域分解処理手段と、
周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行う第１の動き推定手段と、
周波数帯域分解処理を施した１階層目の水平低・垂直高周波画像群を用いて動き推定を行う第２の動き推定手段と、
周波数帯域分解処理を施した１階層目の水平高・垂直低周波画像群を用いて動き推定を行う第３の動き推定手段と、
周波数帯域分解処理を施した１階層目の水平高・垂直高周波画像群を用いて動き推定を行う第４の動き推定手段と、
前記第１の動き推定手段、前記第２の動き推定手段、前記第３の動き推定手段及び前記第４の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定する手段と、
を備えることを特徴とする動き推定装置。
【請求項３】
前記周波数帯域分解処理は、ウェーブレット変換によるオクターブ分解処理とすることを特徴とする、請求項１又は２に記載の動き推定装置。
【請求項４】
動画像の動き推定値を求める動き推定装置として構成するコンピュータに、
処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出するステップと、
周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うステップと、
周波数帯域分解処理を施した各階層の水平低・垂直高周波画像群を用いて階層型動き推定を行うステップと、
周波数帯域分解処理を施した各階層の水平高・垂直低周波画像群を用いて階層型動き推定を行うステップと、
周波数帯域分解処理を施した各階層の水平高・垂直高周波画像群を用いて階層型動き推定を行うステップと、
前記第１の動き推定手段、前記第２の動き推定手段、前記第３の動き推定手段及び前記第４の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定するステップと、
を実行させるためのプログラム。
【請求項５】
動画像の動き推定値を求める動き推定装置として構成するコンピュータに、
処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出するステップと、
周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うステップと、
周波数帯域分解処理を施した１階層目の水平低・垂直高周波画像群を用いて動き推定を行うステップと、
周波数帯域分解処理を施した１階層目の水平高・垂直低周波画像群を用いて動き推定を行うステップと、
周波数帯域分解処理を施した１階層目の水平高・垂直高周波画像群を用いて動き推定を行うステップと、
前記第１の動き推定手段、前記第２の動き推定手段、前記第３の動き推定手段及び前記第４の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の時間方向及び空間方向のスペクトルパワーによって動画像の動き量を階層的に分析し、動画像の動きベクトルを高精度に検出する動き推定装置及びプログラムに関する。
【背景技術】
【０００２】
従来からの動き推定の基本的なやり方は、全探索ブロックマッチング法である。この全探索ブロックマッチング法を発展させたやり方として、動画像に対して空間方向の周波数帯域分解処理を行って異なる解像度の階層的画像を取得し、異なる解像度の階層的画像を用いて階層型動き推定を行う方法（例えば、特許文献１，２参照）や、ダイヤモンドサーチ法（例えば、特許文献３参照）などが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３３３４２７１号
【特許文献２】特許第４１９５９７８号
【特許文献３】特開２００７−３００１６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述したような階層型動き推定やダイヤモンドサーチ法は、動画像における大きな動き量を検出するために有効な技法であり、全探索ブロックマッチング法と比較して計算コストを低減する効果もある。
【０００５】
つまり、空間高周波成分の多い絵柄は、小さいブロックサイズ（例えば、２×２画素）を用いた動き推定装置が適している。一方、空間高周波成分が少ない絵柄は、小さいブロックサイズでは誤った動き推定装置となる可能性が高くなるため、大きなブロックサイズ（例えば、１６×１６画素）を用いた動き推定装置が有効である。このため、階層型動き推定を行うことで、等価的に複数種類のブロックサイズを用いた動き推定を行うこととなり、計算コストの低減に有利となる。
【０００６】
一方で、大きな動き量は、動領域の動きぼけ量が増し、空間高周波領域のパワー割合を低下させる。また、大きな動領域面積は、動領域の時間変動面積を増し、時間高周波領域のパワー割合を増加させる。したがって、空間周波領域のパワーに基づいて階層化するのみでは、大小様々な動き量を十分にカバーできるとは云えず、改善の余地がある。
【０００７】
そこで、本発明の目的は、動画像の時間方向及び空間方向（即ち、時空間方向）のスペクトルパワーによって動画像の動き量を階層的に分析し、動画像の動き推定情報を高精度且つ高確度に求める動き推定装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
前述のように、動き量と時空間方向の高周波領域のパワーとの間には一定の相関を持つことが多いため、動画像の時間及び空間スペクトルのパワー分析を行って、動き推定装置における適切なブロックサイズを推定するとともに、推定したブロックサイズを空間的に階層化して動きベクトルを検出することが有効である。
【０００９】
動画像の時空間方向のスペクトルを考察すると、動領域における空間方向の高周波領域のパワーは、動き量の面積が大きくなるにつれて減少する。即ち、大面積の動オブジェクトが大きな動き量を持つ動画像は、空間方向の高周波領域のパワーが小さくなるが、時間方向の高周波領域のパワーは大きくなる傾向がある。これは、画面中で大きな面積のオブジェクトが大きく動く場合は、時間方向の変動が大きくなることに起因する。
【００１０】
そこで、本発明の動き推定装置は、処理対象の動画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出し、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて第１の階層型動き推定を行い、周波数帯域分解処理を施した各階層（計算コストを考慮する場合、好適には１階層目）の水平低・垂直高周波画像群を用いて第２の階層型動き推定を行い、周波数帯域分解処理を施した各階層（計算コストを考慮する場合、好適には１階層目）の水平高・垂直低周波画像群を用いて第３の階層型動き推定を行い、周波数帯域分解処理を施した各階層（計算コストを考慮する場合、好適には１階層目）の水平高・垂直高周波画像群を用いて第４の階層型動き推定を行い、それぞれの動き推定によって得られる動き推定情報から、時空間方向の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定する。
【００１１】
即ち、本発明の動き推定装置は、動画像の動き推定値を求める動き推定装置であって、処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出する周波数帯域分解処理手段と、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行う第１の動き推定手段と、周波数帯域分解処理を施した各階層の水平低・垂直高周波画像群を用いて階層型動き推定を行う第２の動き推定手段と、周波数帯域分解処理を施した各階層の水平高・垂直低周波画像群を用いて階層型動き推定を行う第３の動き推定手段と、周波数帯域分解処理を施した各階層の水平高・垂直高周波画像群を用いて階層型動き推定を行う第４の動き推定手段と、前記第１の動き推定手段、前記第２の動き推定手段、前記第３の動き推定手段及び前記第４の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定する手段と、を備えることを特徴とする。
【００１２】
また、本発明の動き推定装置において、動画像の動き推定値を求める動き推定装置であって、処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出する周波数帯域分解処理手段と、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行う第１の動き推定手段と、周波数帯域分解処理を施した１階層目の水平低・垂直高周波画像群を用いて動き推定を行う第２の動き推定手段と、周波数帯域分解処理を施した１階層目の水平高・垂直低周波画像群を用いて動き推定を行う第３の動き推定手段と、周波数帯域分解処理を施した１階層目の水平高・垂直高周波画像群を用いて動き推定を行う第４の動き推定手段と、前記第１の動き推定手段、前記第２の動き推定手段、前記第３の動き推定手段及び前記第４の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定する手段と、を備えることを特徴とする。
【００１３】
また、本発明の動き推定装置において、前記周波数帯域分解処理は、ウェーブレット変換によるオクターブ分解処理とすることを特徴とする。
【００１４】
また、本発明のプログラムは、動画像の動き推定値を求める動き推定装置として構成するコンピュータに、処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出するステップと、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うステップと、周波数帯域分解処理を施した各階層の水平低・垂直高周波画像群を用いて階層型動き推定を行うステップと、周波数帯域分解処理を施した各階層の水平高・垂直低周波画像群を用いて階層型動き推定を行うステップと、周波数帯域分解処理を施した各階層の水平高・垂直高周波画像群を用いて階層型動き推定を行うステップと、前記第１の動き推定手段、前記第２の動き推定手段、前記第３の動き推定手段及び前記第４の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定するステップと、を実行させるためのプログラムとして構成される。
【００１５】
また、本発明のプログラムは、動画像の動き推定値を求める動き推定装置として構成するコンピュータに、処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出するステップと、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うステップと、周波数帯域分解処理を施した１階層目の水平低・垂直高周波画像群を用いて動き推定を行うステップと、周波数帯域分解処理を施した１階層目の水平高・垂直低周波画像群を用いて動き推定を行うステップと、周波数帯域分解処理を施した１階層目の水平高・垂直高周波画像群を用いて動き推定を行うステップと、前記第１の動き推定手段、前記第２の動き推定手段、前記第３の動き推定手段及び前記第４の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定するステップと、を実行させるためのプログラムとして構成される。
【発明の効果】
【００１６】
本発明によれば、時空間方向に周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うだけでなく、空間高周波成分を含む画像を用いた動き推定処理を行い、周波数帯域分解処理で得られた時空間方向の周波数帯域パワーの情報を用いて、空間低周波画像で求めた動き推定情報と空間高周波成分を含む画像で求めた動き推定情報に対する動き推定割合を制御して動き推定値を決定することで動き推定の精度を向上することが可能である。
【図面の簡単な説明】
【００１７】
【図１】本発明による一実施例の動き推定装置の概略図である。
【図２】本発明による一実施例の動き推定装置におけるブロック分割部の概略図である。
【図３】本発明による一実施例の動き推定装置における時空間帯域スペクトラム情報解析部の概略図である。
【図４】本発明による一実施例の動き推定装置における動き推定階数決定部の概略図である。
【図５】本発明による一実施例の動き推定装置における動き推定部の概略図である。
【図６】本発明による一実施例の動き推定装置の動作を示す動作フロー図である。
【図７】本発明による一実施例の動き推定装置におけるブロック分割列を示す図である。
【図８】本発明による一実施例の動き推定装置における時空間方向周波数分解を行う領域の説明図である。
【図９】本発明による一実施例の動き推定装置における時空間方向周波数分解の説明図である。
【図１０】（ａ），（ｂ）本発明による一実施例の動き推定装置に係る２次元２階離散ウェーブレット分解の説明図である。
【図１１】（ａ），（ｂ），（ｃ），（ｄ）本発明による一実施例の動き推定装置における階層型動き検出に係る説明図である。
【図１２】本発明による一実施例の動き推定装置に係る２次関数近似による小数画素位置のブロックマッチング法の説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明による一実施例の動き推定装置について説明する。
【００１９】
一実施例の動き推定装置１として、時間方向及び空間方向の周波数解析にウェーブレット変換によるオクターブ分解処理を用いる場合について説明する。尚、時間方向及び空間方向の周波数解析には、ウェーブレット変換を用いる場合以外に、他の直交変換又はＦＦＴ（Fast Fourier Transform）を用いることができるが、画像を低解像度化するにしたがってくり返し同じ処理を行って、時間方向及び空間方向の周波数解析を行う点を考慮すれば、ウェーブレット変換によるオクターブ分解処理を用いることが特に処理効率が向上する点で有利である。
【００２０】
[装置構成]
図１に、本発明による一実施例の動き推定装置１を示す。本実施例の動き推定装置１は、ブロック分割部１０と、時空間帯域スペクトラム情報検出部１１と、動き推定階数決定部１２と、動き推定部１３とを備える。尚、各構成要素で処理するのに必要な画像データは、動き推定装置１が備える記憶部（図示せず）に適宜格納して読み出すように構成することができる。
【００２１】
ブロック分割部１０は、フレーム画像をブロック分割する機能部であり、動き推定基準フレームの時間情報ｔｃと、時刻ｔｃにおけるフレーム画像Ｆ（ｔｃ）の情報と、予め指定されるブロックサイズ情報Ｂｘ，Ｂｙとを入力して、フレーム画像Ｆ（ｔｃ）を、ブロックサイズ水平Ｂｘ画素×垂直Ｂｙ画素のブロックに分割し、分割後の水平i番目及び垂直ｊ番目のブロック位置Ｂ（ｉ，ｊ，ｔｃ）を示す、ブロック分割情報を出力するブロック分割情報生成部１０１を有するように構成される（図２参照）。
【００２２】
時空間帯域スペクトラム情報検出部１１は、動き推定基準フレームの時間位置情報ｔｃと、動き推定参照フレームの時間位置情報ｔｒと、フレーム画像列Ｆ（ｔ）の情報と、ブロック位置Ｂ（ｉ，ｊ，ｔｃ）の情報（ブロック分割情報Ｂ（ｉ，ｊ，ｔｃ）とも表す）と、動き推定探索範囲情報Ｓｘ，Ｓｙと、予め定めた最大階層数情報Ｄとを入力して、フレーム画像Ｆ（ｔｃ）上のブロック位置Ｂ（ｉ，ｊ，ｔｃ）において、ブロック位置Ｂ（ｉ，ｊ，ｔｃ）の中心から±Ｓｘ，±Ｓｙ画素の空間領域をＳＡ（ｉ，ｊ，ｔ）とし、フレーム画像Ｆ（ｔｃ）の前後２Ｄ−１フレームの同じ空間領域ＳＡ（ｉ，ｊ，ｔ）；ｔｃ−２Ｄ−１≦ｔ≦ｔｃ＋２Ｄ−１を利用して時空間パワー検出を行なう機能部である。
【００２３】
より具体的には、図３に示すように、時空間帯域スペクトラム情報検出部１１は、分解階数・空間領域決定部１１１と、１次元Ｄ階ウェーブレット分解部１１２と、時空間帯域スペクトラム情報生成部１１３とを備える。
【００２４】
分解階数・空間領域決定部１１１は、ブロック位置Ｂ（ｉ，ｊ，ｔｃ）の情報と、動き推定探索範囲情報Ｓｘ，Ｓｙと、予め定めた最大階層数情報Ｄとを入力して、分解階数Ｄでオクターブ分解するよう１次元Ｄ階ウェーブレット分解部１１２に指示を送出するとともに、ブロック位置Ｂ（ｉ，ｊ，ｔｃ）を中心とした±Ｓｘ，±Ｓｙを動き探索空間領域情報ＳＡ（ｉ，ｊ，ｔｃ）として１次元Ｄ階ウェーブレット分解部１１２及び動き推定階数決定部１２に送出する。
【００２５】
１次元Ｄ階ウェーブレット分解部１１２は、分解階層Ｄで、フレーム画像Ｆ（ｔｃ）の前後２Ｄ−１フレームの同じ空間領域ＳＡ（ｉ，ｊ，ｔ）；ｔｃ−２Ｄ−１≦ｔ≦ｔｃ＋２Ｄ−１を利用して、入力されるフレーム画像列Ｆ（ｔ）における時間方向、水平方向、垂直方向の各々について１次元Ｄ階ウェーブレット分解を行ない、分解した時空間方向の周波数成分の情報を時空間帯域スペクトラム情報生成部１１３に送出する。
【００２６】
時空間帯域スペクトラム情報生成部１１３は、フレーム画像Ｆ（ｔｃ）の前後２Ｄ−１フレームの同じ空間領域ＳＡ（ｉ，ｊ，ｔ）；ｔｃ−２Ｄ−１≦ｔ≦ｔｃ＋２Ｄ−１における時間・水平・垂直方向の帯域スペクトラム情報Ｐτ（ｉ，ｊ，ｔ），Ｐμ（ｉ，ｊ，ｔ），Ｐｖ（ｉ，ｊ，ｔ）を生成し、動き推定階数決定部１２に送出する。
【００２７】
動き推定階数決定部１２は、時空間方向の帯域スペクトラム情報Ｐτ（ｉ，ｊ，ｔ），Ｐμ（ｉ，ｊ，ｔ），Ｐｖ（ｉ，ｊ，ｔ）と、動き探索の空間領域ＳＡ（ｉ，ｊ，ｔ）と、ブロック位置Ｂ（ｉ，ｊ，ｔｃ）の情報を入力し、時空間方向の各スペクトラムパワーと、時空間方向の各スペクトラムパワーに対してそれぞれ定めたスペクトラムパワー閾値とを比較して、動オブジェクトの動き量が大きいか否かを判別し、動オブジェクトの動き量が大きいと判断される場合には、予め定めた２つの階層数設定値（例えば、最大階層Ｄ＞１と１階層の２つの階層数）のうち大きい方を動き推定階層数として決定し、動オブジェクトの動き量が小さいと判断される場合には、当該予め定めた２つの階層数設定値のうち小さい方を動き推定階層数として決定する。
【００２８】
より具体的には、図４に示すように、動き推定階数決定部１２は、比較制御部１２１と、比較部１２２，１２３，１２４と、動き推定階層数決定部１２５とを備える。
【００２９】
比較制御部１２１は、動き探索の空間領域ＳＡ（ｉ，ｊ，ｔ）と、ブロック位置Ｂ（ｉ，ｊ，ｔｃ）の情報を入力して、比較部１２２，１２３，１２４にそれぞれ入力される時空間方向の帯域スペクトラム情報Ｐτ（ｉ，ｊ，ｔ），Ｐμ（ｉ，ｊ，ｔ），Ｐｖ（ｉ，ｊ，ｔ）とそれぞれ定めたスペクトラムパワー閾値Ｔｈτ（ｉ，ｊ），Ｔｈμ（ｉ，ｊ），Ｔｈｖ（ｉ，ｊ）との比較を制御する。
【００３０】
動き推定階層数決定部１２５は、比較部１２２，１２３，１２４による比較結果に基づいて、動オブジェクトの動き量が大きいか否かを判別し、動オブジェクトの動き量が大きいと判断される場合には、当該予め定めた２つの階層数設定値のうち大きい方を動き推定階層数として決定し、動オブジェクトの動き量が小さいと判断される場合には、当該予め定めた２つの階層数設定値のうち小さい方を動き推定階層数として決定し、決定した動き推定階層数の情報を動き推定階層数Ｒ（ｉ，ｊ，ｔｃ）として出力する。
【００３１】
例えば、フレーム画像列Ｆ（ｔ）上に存在する動オブジェクトの動き面積をＭＡ（ｉ，ｊ，ｔ）とし、動オブジェクトの静止時にアウトフォーカス等でぼけた画像ではないと想定すると、動オブジェクトの動き量が大きい場合と、動オブジェクトの動き量が小さい場合のいずれであるかの判別に、時空間方向の帯域スペクトラム情報Ｐτ（ｉ，ｊ，ｔ），Ｐμ（ｉ，ｊ，ｔ），Ｐｖ（ｉ，ｊ，ｔ）のそれぞれのパワー割合の大きさを４種類の場合分けによって行うようになる。
〔１．動オブジェクトの動き量が大きい場合〕
（１．１）空間領域ＳＡ（ｉ，ｊ，ｔ）の空間面積に対して大きな動オブジェクトの動き面積ＭＡ（ｉ，ｊ，ｔ）は、時間方向の高周波帯域のパワー割合が高く、且つ空間方向の高周波帯域のパワー割合が高い。
（１．２）空間領域ＳＡ（ｉ，ｊ，ｔ）の空間面積に対して小さな動オブジェクトの動き面積ＭＡ（ｉ，ｊ，ｔ）は、時間方向の高周波帯域のパワー割合が低く、且つ空間方向の高周波帯域のパワー割合が低い。
〔２．動オブジェクトの動き量が小さい場合〕
（２．１）空間領域ＳＡ（ｉ，ｊ，ｔ）の空間面積に対して大きな動オブジェクトの動き面積ＭＡ（ｉ，ｊ，ｔ）は、時間方向の高周波帯域のパワー割合が低く、且つ空間方向の高周波帯域のパワー割合が高い。
（２．２）空間領域ＳＡ（ｉ，ｊ，ｔ）の空間面積に対して小さな動オブジェクトの動き面積ＭＡ（ｉ，ｊ，ｔ）は、時間方向の高周波帯域のパワー割合が低く、且つ空間方向の高周波帯域のパワー割合が低い。
【００３２】
そこで、動き推定階数決定部１２は、上記の４種類の動オブジェクトの動きパターン（１．１）〜（２．２）に対応するために、時間方向のスペクトラムパワー閾値Ｔｈτ（ｉ，ｊ）、水平方向のスペクトラムパワー閾値Ｔｈμ（ｉ，ｊ）、垂直方向のスペクトラムパワー閾値Ｔｈｖ（ｉ，ｊ）をそれぞれ設定して基準にすることで、動オブジェクトの動き量が大きい場合と、動オブジェクトの動き量が小さい場合のいずれであるかの判別を行う。
【００３３】
動き推定階数決定部１２は、時空間方向の帯域スペクトラム情報Ｐτ（ｉ，ｊ，ｔ），Ｐμ（ｉ，ｊ，ｔ），Ｐｖ（ｉ，ｊ，ｔ）の各々が、動きパターン（１．１）及び（１．２）に該当する場合、動オブジェクトの動き量が大きいとして判別し、当該予め定めた２つの階層数設定値のうち大きい方を動き推定階層数として決定する。
【００３４】
動き推定階数決定部１２は、時空間方向の帯域スペクトラム情報Ｐτ（ｉ，ｊ，ｔ），Ｐμ（ｉ，ｊ，ｔ），Ｐｖ（ｉ，ｊ，ｔ）の各々が、動きパターン（２．１）及び（２．２）に該当する場合、動オブジェクトの動き量が小さいとして判別し、当該予め定めた２つの階層数設定値のうち小さい方を動き推定階層数として決定する。
【００３５】
このようにして、動き推定階数決定部１２は、決定した動き推定階層数Ｒ（ｉ，ｊ，ｔｃ）を出力することができる。
【００３６】
動き推定部１３は、水平方向及び垂直方向の帯域スペクトラム情報Ｐμ（ｉ，ｊ，ｔ），Ｐｖ（ｉ，ｊ，ｔ）と、動き推定基準フレームの時間位置情報ｔｃと、動き推定参照フレームの時間位置情報ｔｒと、フレーム画像列情報Ｆ（ｔ）と、動き推定階層数情報Ｒ（ｉ，ｊ，ｔｃ）と、ブロック分割情報Ｂ（ｉ，ｊ，ｔｃ）と、予め定めた最大階層数Ｄの情報を入力して、ブロックＢ（ｉ，ｊ，ｔｃ）ごとに、動き探索空間領域ＳＡ（ｉ，ｊ，ｔ）内で再構成した各階層の空間低周波画像群を用いて階層型動き推定を行い、０階層における動き推定情報を取得するとともに、さらに、１階層目（１階ウェーブレット分解）の水平低周波成分・垂直高周波成分からなる画像（以下、「水平低・垂直高周波画像」と称する）を再構成して動き推定を行い、１階層目（１階ウェーブレット分解）の水平高周波成分・垂直低周波成分からなる画像（以下、「水平高・垂直低周波画像」と称する）を再構成して動き推定を行い、１階層目（１階ウェーブレット分解）の水平高周波成分・垂直高周波成分からなる画像（以下、「水平高・垂直高周波画像」と称する）を再構成して動き推定を行うことにより、４種類の動き推定情報を取得し、この４種類の動き推定情報について、水平方向及び垂直方向の帯域スペクトラム情報Ｐμ（ｉ，ｊ，ｔ），Ｐｖ（ｉ，ｊ，ｔ）を用いて、４種類の動き推定情報に対応する周波数帯域パワーの割合を算出し、この周波数帯域パワーの割合に応じて４種類の動き推定情報を重み付け加算することにより、最終的な動き推定値を決定する。
【００３７】
より具体的には、図５に示すように、動き推定部１３は、階層型動き推定部１３１と、空間階層ウェーブレット再構成部１３２と、２次元Ｒ階ウェーブレット分解部１３３と、オクターブ分解パワー成分算出部１３４と、帯域別パワー推定部１３５と、空間１階ウェーブレット再構成部１３６と、１階ウェーブレット分解水平・垂直高周波成分抽出部１３７と、動きベクトル修正部１３８とを備える。
【００３８】
はじめに、動き推定部１３は、２次元Ｒ階ウェーブレット分解部１３３によって、まず、フレーム画像列Ｆ（ｔｃ），Ｆ（ｔｒ）について最大階層数Ｄの２次元Ｄ階ウェーブレット分解処理を施し、オクターブ分解パワー成分算出部１３４によって、低周波画像の各階層をｄ＝１，・・・，Ｄとすると、それぞれのフレーム画像についてオクターブ分解パワー成分Ｐ（ｄ）ＬＬ（ｔｃ），Ｐ（ｄ）ＬＨ（ｔｃ），Ｐ（ｄ）ＨＬ（ｔｃ），Ｐ（ｄ）ＨＨ（ｔｃ）と、Ｐ（ｄ）ＬＬ（ｔｒ），Ｐ（ｄ）ＬＨ（ｔｒ），Ｐ（ｄ）ＨＬ（ｔｒ），Ｐ（ｄ）ＨＨ（ｔｒ）を得る。ここで、ＬＬ，ＬＨ，ＨＬ，ＨＨは、それぞれ、水平低周波成分・垂直低周波成分からなる帯域成分、水平低周波成分・垂直高周波成分からなる帯域成分、水平高周波成分・垂直低周波成分からなる帯域成分、水平高周波成分・垂直高周波成分からなる帯域成分を示す。
【００３９】
次に、動き推定部１３は、階層型動き推定部１３１によって、フレーム画像Ｆ（ｔｃ）上のすべてのブロックＢ（ｉ，ｊ，ｔｃ）について、動き探索空間領域ＳＡ（ｉ，ｊ，ｔ）内で動き推定階層数情報Ｒ（ｉ，ｊ，ｔｃ）を基に再構成した各階層の空間画像群を用いて階層型動き推定を行い、各ブロックの動きベクトルｖｒ（ｉ，ｊ，ｔｃ）（ここで、ｒ＝０，・・・，Ｒ）を求める。ここで、２次元Ｒ階ウェーブレット分解部１３３によって、説明の便宜のために最大階層数Ｄの２次元Ｄ階ウェーブレット分解処理を施すものとして説明しているが、Ｒ≦Ｄであることから、予め２次元Ｒ階ウェーブレット分解処理を施巣用に構成してもよい。ｒ＝０は、フレーム原画像であるフレーム画像Ｆ（ｔｃ），Ｆ（ｔｒ）に相当する階層である。尚、空間階層ウェーブレット再構成部１３２は、動き推定階層数Ｒ（ｉ，ｊ，ｔｃ）とオクターブ分解パワー成分算出部１３４からのオクターブ分解パワー成分を用いて各階層の空間画像を再構成する。
【００４０】
例えば、階層型動き推定部１３１では、階層ｒ＝Ｒから動き推定を開始する。任意のブロックＢ（ｉ，ｊ，ｔｃ）について、Ｒ階ウェーブレット分解の水平低・垂直低周波帯域成分Ｐ（ｒ）ＬＬ（ｔｃ）の同じ空間位置のブロックを基準に、参照フレーム画像Ｆ（ｔｒ）のＲ階ウェーブレット分解の水平低・垂直低周波帯域成分Ｐ（ｒ）ＬＬ（ｔｒ）の当該同じ空間位置から式（１）に示すｖａｒ−１(２ｉ，２ｊ，ｔｃ)だけずらした場所を中心に、±Ｓｘ，±Ｓｙ画素の空間領域で探索し、得られた動き推定量にｖａｒ−１(２ｉ，２ｊ，ｔｃ)を加えたものをｖａｒ(ｉ，ｊ，ｔｃ)とする。これをｒ＝ｒ−１としながらｒ＝０となるまで繰り返すことにより階層型動き推定による動き推定情報を取得する。
【００４１】
ｖａｒ−１(２ｉ，２ｊ，ｔｃ)＝（ｖｒ−１(２ｉ，２ｊ，ｔｃ)
＋ｖｒ−１(２ｉ，２ｊ−１，ｔｃ)
＋ｖｒ−１(２ｉ−１，２ｊ，ｔｃ)
＋ｖｒ−１(２ｉ−１，２ｊ−１，ｔｃ)）／４  （１）
【００４２】
これにより、動き推定部１３は、各階層の空間低周波画像群を用いて階層型動き推定を行い、０階層における動き推定情報を取得することができる。尚、階層型動き推定は、パラボラフィッティングブロックマッチング法により、小数画素精度で行なう。つまり、階層型動き推定部１３１により、空間Ｒ階分解低周波数成分による階層型動き推定で、ブロックＢ（ｉ，ｊ，ｔｃ）の動きベクトルｖ０(ｉ，ｊ，ｔｃ)が求められる。
【００４３】
動き推定部１３は、階層型動き推定部１３１によってｒ＝０まで階層型動き推定を行なった後、この階層型動き推定で得られた動き推定情報（動きベクトルｖ０）の補正を行なうために、帯域別動き推定を行う。
【００４４】
より具体的には、動き推定部１３は、帯域別動き推定部１３５によって、まず、１階ウェーブレット分解の水平低・垂直高周波帯域画像情報を用いて動き推定を行う。帯域別動き推定部１３５は、ブロックＢ（ｉ，ｊ，ｔｃ）について、１階ウェーブレット分解の水平低・垂直高周波帯域成分Ｐ（１）ＬＨ（ｔｃ）の同じ空間位置のブロックを基準に、参照フレーム画像Ｆ（ｔｒ）のＲ階ウェーブレット分解の水平低・垂直高周波帯域成分Ｐ（１）ＬＨ（ｔｒ）の同じ空間位置から式（１）に示すｖａ２(２ｉ，２ｊ，ｔｃ)だけずらした場所を中心に、±Ｓｘ，±Ｓｙ画素の空間領域で探索し、得られた動き推定量にｖａ２(２ｉ，２ｊ，ｔｃ)を加えたものを動きベクトルｖ１ＬＨ(ｉ，ｊ，ｔｃ)として求める。尚、この動き推定は、パラボラフィッティングブロックマッチング法により、小数画素精度で行なう。尚、空間１階ウェーブレット再構成部１３６は、動き推定階層数Ｒ（ｉ，ｊ，ｔｃ）とオクターブ分解パワー成分算出部１３４からのオクターブ分解パワー成分を用いて１階層目の空間画像を再構成する。
【００４５】
さらに、帯域別動き推定部１３５は、同様にして、１階ウェーブレット分解の水平高・垂直低周波帯域画像情報を用いて動き推定を行い、動きベクトルｖ１ＨＬ(ｉ，ｊ，ｔｃ)を求め、さらに、同様に、１階ウェーブレット分解の水平高・垂直高周波帯域画像情報を用いて動き推定を行い、動きベクトルｖ１ＨＨ(ｉ，ｊ，ｔｃ)を求める。いずれも、この動き推定は、パラボラフィッティングブロックマッチング法により、小数画素精度で行なう。
【００４６】
また、１階ウェーブレット分解水平・垂直高周波成分抽出部１３７は、水平方向及び垂直方向の帯域スペクトラム情報Ｐμ（ｉ，ｊ，ｔ），Ｐｖ（ｉ，ｊ，ｔ）を入力して、１階ウェーブレット分解の水平高周波成分Ｐ１μと垂直高周波成分Ｐ１ｖを抽出する。
【００４７】
動きベクトル修正部１３８は、既算出の動きベクトルｖ０(ｉ，ｊ，ｔｃ)の水平方向動き量をｖｘ、垂直方向動き量をｖｙとし、既算出の動きベクトルｖ１ＬＨ(ｉ，ｊ，ｔｃ)，ｖ１ＨＬ(ｉ，ｊ，ｔｃ)，ｖ１ＨＨ(ｉ，ｊ，ｔｃ)と、水平高周波成分Ｐ１μと垂直高周波成分Ｐ１ｖを用いて、式（２）に従って、動きベクトルｖ０(ｉ，ｊ，ｔｃ)を微修正して動き推定情報ｖ０ＡＤＪ(ｉ，ｊ，ｔｃ)を算出する。
【００４８】
0005309097.tif 000002
【００４９】
式（２）にて、水平方向、垂直方向の動き量割合に応じて調整するための重み係数を乗じているのは、動オブジェクトの動いている方向の動きぼけ量が大きいことから動き方向を加味して重み割合を調整するためである。また、水平方向、垂直方向の帯域スペクトラム情報Ｐμ（ｉ，ｊ，ｔ），Ｐｖ（ｉ，ｊ，ｔ）における１階ウェーブレット分解の水平高周波成分Ｐ１μと垂直高周波成分Ｐ１ｖから水平方向、垂直方向の高周波帯域パワーの割合を算出するのは、高周波帯域パワーが高い方向の動きぼけ量が小さいことから高周波帯域パワーの方向を加味して重み割合を調整するためである。
【００５０】
このようにして、本実施例の動き推定装置１は、時空間方向に周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うだけでなく、空間高周波成分を含む画像を用いた動き推定処理を行い、周波数帯域分解処理で得られた時空間方向の周波数帯域パワーの情報を用いて、空間低周波画像で求めた動き推定情報と空間高周波成分を含む画像で求めた動き推定情報に対する動き推定割合を制御して動き推定値を決定することで動き推定の精度を向上させる。
【００５１】
以下、本発明による一実施例の動き推定装置１の動作について更に詳細に説明する。
【００５２】
[装置動作]
図６は、本発明による一実施例の動き推定装置の動作を示す動作フローである。ステップＳ１にて、動き推定装置１は、基準フレームＦ（ｔｃ）及び参照フレームＦ（ｔｒ）を含む、時刻ｔ＝ｔ０・・・ｔｍにおけるフレーム画像列Ｆ（ｔ０），・・・，Ｆ（ｔｃ），・・・，Ｆ（ｔｒ），・・・，Ｆ（ｔｍ）を入力して、動き推定装置１が備える記憶部（図示せず）に適宜読み出し可能に格納する。
【００５３】
ステップＳ２にて、ブロック分割部１０により、基準フレームＦ（ｔｃ）のブロック分割を実行する（図７参照）。
【００５４】
ステップＳ３にて、時空間帯域スペクトラム情報検出部１１により、ブロック位置Ｂ（ｉ，ｊ，ｔｃ）の情報と、動き推定探索範囲情報Ｓｘ，Ｓｙと、予め定めた最大階層数情報Ｄとを入力して、ブロック位置Ｂ（ｉ，ｊ，ｔｃ）を中心とした±Ｓｘ，±Ｓｙを動き探索空間領域情報ＳＡ（ｉ，ｊ，ｔｃ）として決定する（図８参照）。図８に示すように、フレーム画像Ｆ（ｔｃ）の前後２Ｄ−１フレームの同じ空間領域ＳＡ（ｉ，ｊ，ｔ）；ｔｃ−２Ｄ−１≦ｔ≦ｔｃ＋２Ｄ−１が決定される。
【００５５】
ステップＳ４にて、時空間帯域スペクトラム情報検出部１１により、入力されるフレーム画像列Ｆ（ｔ）における時間方向、水平方向、垂直方向の各々について１次元Ｄ階ウェーブレット分解を行ない、フレーム画像Ｆ（ｔｃ）の前後２Ｄ−１フレームの同じ空間領域ＳＡ（ｉ，ｊ，ｔ）；ｔｃ−２Ｄ−１≦ｔ≦ｔｃ＋２Ｄ−１における時間・水平・垂直方向の帯域スペクトラム情報Ｐτ（ｉ，ｊ，ｔ），Ｐμ（ｉ，ｊ，ｔ），Ｐｖ（ｉ，ｊ，ｔ）を生成する（図９参照）。
【００５６】
時空間帯域スペクトラム情報検出部１１は、フレーム画像列Ｆ（ｔ０），・・・，Ｆ（ｔｃ），・・・，Ｆ（ｔｒ），・・・，Ｆ（ｔｍ）における空間領域ＳＡ（ｉ，ｊ，ｔ）について、時空間方向に予め規定した最大階数（Ｄ階）の周波領域に分解した後、全画素における時空間方向周波数帯域毎のパワーを算出することができる。例えば、図９に示すように、前後２Ｄ−１フレームのフレーム画像列Ｆ（ｔ）を時空間方向にＤ階に分解するとすれば、Ｄ＝１では、低周波領域Ｌ１及び高周波領域Ｈ１として分割することができ（図９（ａ）参照）、Ｄ＝２では、低周波領域Ｌ２及び高周波領域Ｈ１，Ｈ２として分割することができ（図９（ｂ）参照）、Ｄ＝３では、低周波領域Ｌ３及び高周波領域Ｈ１，Ｈ２，Ｈ３として分割することができ（図９（ｃ）参照）、Ｄ＝４では、低周波領域Ｌ４及び高周波領域Ｈ１，Ｈ２，Ｈ３，Ｈ４として分割することができる（図９（ｄ）参照）。
【００５７】
ステップＳ５にて、動き推定階数決定部１２により、時空間方向の帯域スペクトラム情報Ｐτ（ｉ，ｊ，ｔ），Ｐμ（ｉ，ｊ，ｔ），Ｐｖ（ｉ，ｊ，ｔ）と、動き探索の空間領域ＳＡ（ｉ，ｊ，ｔ）と、ブロック位置Ｂ（ｉ，ｊ，ｔｃ）の情報を入力し、時空間方向の各スペクトラムパワーと、時空間方向の各スペクトラムパワーに対してそれぞれ定めたスペクトラムパワー閾値とを比較して、動オブジェクトの動き量が大きいか否かを判別し、動オブジェクトの動き量が大きいと判断される場合には、予め定めた２つの階層数設定値（例えば、最大階層Ｄ＞１と１階層の２つの階層数）のうち大きい方を動き推定階層数として決定し、動オブジェクトの動き量が小さいと判断される場合には、当該予め定めた２つの階層数設定値のうち小さい方を動き推定階層数として決定する。
【００５８】
ステップＳ６にて、動き推定部１３により、動き推定基準フレームの時間位置情報ｔｃと、動き推定参照フレームの時間位置情報ｔｒと、フレーム画像列情報Ｆ（ｔ）と、動き推定階層数情報Ｒ（ｉ，ｊ，ｔｃ）と、ブロック分割情報Ｂ（ｉ，ｊ，ｔｃ）に基づいて、空間Ｒ階分解低周波数成分による再構成画像を用いて、最上位の階層（即ち、元の画像レベル）となるまで順次階数をデクリメントして動き推定の処理を繰り返し（ステップＳ７）、小数画素位置のブロックマッチングの動きベクトル検出を実行し、動きベクトルｖ０(ｉ，ｊ，ｔｃ)を決定することができる（ステップＳ８）。
【００５９】
例えば、図１０（ａ）に示すように、基準フレームＦ（ｔｃ）の全画素に対して空間方向に２次元２階離散ウェーブレット分解を実行して、周波数帯域毎のパワー値を算出することができ、図１０（ｂ）に示すように、基準フレームＦ（ｔｃ）の空間方向の低周波領域（例えば、ＬＬ２）のみを抽出して基準フレームＦ（ｔｃ）の低周波領域のみの画像を再構成することができる。
【００６０】
つまり、図１１に示すように、空間Ｒ階分解低周波数成分による再構成画像を用いて、階層型の動き検出を行うことができる。例えば、Ｒ＝４のとき、動き検出開始階数ｎｓ＝４として４階層の低周波領域のみの画像を再構成することができる（図１１（ｄ）参照）。また、動き検出開始階数ｎｓ＝３として３階層の低周波領域（この場合、ＬＬ３）のみの画像を再構成することができる（図１１（ｃ）参照）。同様に、動き検出開始階数ｎｓ＝２として２階層の低周波領域（この場合、ＬＬ２）のみの画像を再構成することができ（図１１（ｂ）参照）、動き検出開始階数ｎｓ＝１として１階層の低周波領域（この場合、ＬＬ１）のみの画像を再構成することができる。
【００６１】
尚、２次関数近似による小数画素位置のブロックマッチング法を用いて行うのは、最上位の階数（即ち、１階）でのみ行うのが好適であり、式（３）で与えられる（図１２参照）。
【００６２】
0005309097.tif 000003
【００６３】
尚、探索位置における画素位置をxとしたとき、SSD(x)は、画素位置におけるＳＳＤ値（誤差二乗和）を表し、より具体的には、SSD(0)は中心位置におけるＳＳＤ値、SSD(−1)は中心位置から−Ｓｘ（Ｓｙ）画素の位置におけるＳＳＤ値、SSD(1)は中心位置から＋Ｓｘ（Ｓｙ）画素の位置におけるＳＳＤ値を表す。式（１）から、水平又は垂直方向の小数画素精度の画素位置（小数画素位置）をそれぞれ算出することができる。例えば、図１２の例では、式（３）から２次関数近似して、小数画素位置として例えば−０．３３を得ることができる。
【００６４】
ステップＳ９にて、動き推定部１３により、ブロックＢ（ｉ，ｊ，ｔｃ）ごとに、動き探索空間領域ＳＡ（ｉ，ｊ，ｔ）内で再構成した各階層の空間低周波画像群を用いて階層型動き推定を行い、０階層における動き推定情報を取得するとともに、さらに、１階層目（１階ウェーブレット分解）の水平低周波成分・垂直高周波成分からなる画像（「水平低・垂直高周波画像」）を再構成して動き推定を行い、１階層目（１階ウェーブレット分解）の水平高周波成分・垂直低周波成分からなる画像（「水平高・垂直低周波画像」）を再構成して動き推定を行い、１階層目（１階ウェーブレット分解）の水平高周波成分・垂直高周波成分からなる画像（「水平高・垂直高周波画像」）を再構成して動き推定を行うことにより、動きベクトルｖ１ＬＨ(ｉ，ｊ，ｔｃ)，ｖ１ＨＬ(ｉ，ｊ，ｔｃ)，ｖ１ＨＨ(ｉ，ｊ，ｔｃ)を算出する。
【００６５】
ステップＳ１０にて、動き推定部１３により、水平方向及び垂直方向の帯域スペクトラム情報Ｐμ（ｉ，ｊ，ｔ），Ｐｖ（ｉ，ｊ，ｔ）から、１階ウェーブレット分解の水平高周波成分Ｐ１μと垂直高周波成分Ｐ１ｖを抽出する。
【００６６】
ステップＳ１１にて、動き推定部１３により、既算出の動きベクトルｖ０(ｉ，ｊ，ｔｃ)と、既算出の動きベクトルｖ１ＬＨ(ｉ，ｊ，ｔｃ)，ｖ１ＨＬ(ｉ，ｊ，ｔｃ)，ｖ１ＨＨ(ｉ，ｊ，ｔｃ)と、水平高周波成分Ｐ１μと垂直高周波成分Ｐ１ｖを用いて、式（２）に従って、動きベクトルｖ０(ｉ，ｊ，ｔｃ)を微修正した動きベクトル、即ち動き推定情報ｖ０ＡＤＪ(ｉ，ｊ，ｔｃ)を算出する。
【００６７】
このように高精度で効率的に求めた動きベクトルを既存の符号化装置の符号化処理や超解像処理に適用することで、更なる高品質化が期待できる。
【００６８】
また、上述の実施例では、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行って得られた動きベクトルに対して、周波数帯域分解処理を施した１階層目の水平低・垂直高周波画像を用いて動き推定を行って得られた動きベクトルと、周波数帯域分解処理を施した１階層目の水平高・垂直低周波画像を用いて動き推定を行って得られた動きベクトルと、周波数帯域分解処理を施した１階層目の水平高・垂直高周波画像を用いて動き推定を行って得られた動きベクトルとを用いて、時空間の周波数帯域パワーの情報に基づいて修正する例を説明した。本発明は、これに限定されず、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行って得られた動きベクトルに対して、周波数帯域分解処理を施した各階層の水平低・垂直高周波画像群を用いて階層型動き推定を行って得られた動きベクトルと、周波数帯域分解処理を施した各階層の水平高・垂直低周波画像群を用いて階層型動き推定を行って得られた動きベクトルと、周波数帯域分解処理を施した各階層の水平高・垂直高周波画像群を用いて階層型動き推定を行って得られた動きベクトルとを用いて、時空間の周波数帯域パワーの情報に基づいて修正することも可能である。
【００６９】
更に、本発明の一態様として、本発明の動き推定装置をコンピュータとして構成させることができる。コンピュータに、前述した本発明の動き推定装置の各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。
【００７０】
また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。
【００７１】
また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
【００７２】
以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。
【産業上の利用可能性】
【００７３】
本発明によれば、フレーム内挿、画像符号化、画像超解像処理など、動画像の動き推定を用いるあらゆる技術に適用が可能である。
【符号の説明】
【００７４】
１  動き推定装置
１０  ブロック分割部
１１  時空間帯域スペクトラム情報検出部
１２  動き推定階数決定部
１３  動き推定部
１０１  ブロック分割情報生成部
１１１  分解階数・空間領域決定部
１１２  １次元Ｄ階ウェーブレット分解部
１１３  時空間帯域スペクトラム情報生成部
１２１  比較制御部
１２２，１２３，１２４  比較部
１２５  動き推定階層数決定部
１３１  階層型動き推定部
１３２  空間階層ウェーブレット再構成部
１３３  ２次元Ｒ階ウェーブレット分解部
１３４  オクターブ分解パワー成分算出部
１３５  帯域別パワー推定部
１３６  空間１階ウェーブレット再構成部
１３７  １階ウェーブレット分解水平・垂直高周波成分抽出部
１３８  動きベクトル修正部
【図１】
0005309097.tif 000004
【図２】
0005309097.tif 000005
【図３】
0005309097.tif 000006
【図４】
0005309097.tif 000007
【図５】
0005309097.tif 000008
【図６】
0005309097.tif 000009
【図７】
0005309097.tif 000010
【図８】
0005309097.tif 000011
【図９】
0005309097.tif 000012
【図１０】
0005309097.tif 000013
【図１１】
0005309097.tif 000014
【図１２】
0005309097.tif 000015