(57)【特許請求の範囲】
【請求項１】
映像信号の第１のフレームと、前記第１のフレームよりも時間的に前の第２のフレームとの間に補間フレームを生成するフレーム補間装置において、
前記第１のフレーム及び第２のフレームの画像信号を受けて、各々が互いに同じ解像度の参照画像から成り、互いに異なる解像度の複数の参照画像の組を生成する参照画像生成部と、
前記複数の参照画像の組に基づいて動き推定を行う動き推定部と、
前記動き推定部において、前記補間フレーム上の各画素について、最も高い解像度の参照画像の組を用いた動き推定の結果として得られた、１つ以上の動きベクトル候補に基づいて、前記補間フレームの画像信号を生成する補間フレーム合成部を有し、
前記動き推定部は、
最も低い解像度の参照画像を用いた動き推定から、最も高い解像度の参照画像を用いた動き推定までを順に行うことで、動き推定の結果を表す情報を順に生成し、
各解像度の参照画像の対を用いた動き推定における、前記第２のフレーム上の処理対象画素についての探索範囲の決定に当たり、
当該解像度よりも一段低い解像度の参照画像の組を用い、
当該処理対象画素について行った動き推定の結果として得られた動きベクトル候補を示す情報に加えて、
当該処理対象画素の周辺の画素についての動き推定の結果として得られた動きベクトル候補を示す情報をも利用し、
前記参照画像生成部は、
前記第２のフレームよりも時間的に前の第３のフレームの画像信号をも受けて、前記複数の参照画像の組を生成し、
前記複数の参照画像の組は、前記第１及び第２のフレームのみならず、前記第３のフレームの参照画像をも含み、
前記動き推定部は、
各解像度よりも一段低い解像度の参照画像の組を用い、当該処理対象画素の周辺の画素について推定された動きベクトル候補を示す情報から、所定の個数の情報を選択し探索範囲の決定に利用する動きベクトル候補情報選択手段を有し、
前記動きベクトル候補情報選択手段は、
各処理対象画素の周辺の画素について推定された動きベクトル候補を示す情報のうちの、
当該処理対象画素について推定された動きベクトル候補のうちの類似度が最大である動きベクトル候補との差分が最も大きいものを含む情報から順に、所定の個数を選択するとともに、
当該選択された所定の個数の情報に対応する周辺の画素と、当該処理対象画素を中心として点対称の位置にある画素について推定された動きベクトル候補を示す情報をも合わせて選択する
ことを特徴とするフレーム補間装置。
【請求項２】
前記動き推定部は、
前記動きベクトル候補情報選択手段で選択された前記複数の動きベクトル候補を示す情報に基づいて、探索範囲の決定を行う動き探索範囲限定手段をさらに備える
ことを特徴とする請求項１に記載のフレーム補間装置。
【請求項３】
前記探索範囲限定手段は、前記動きベクトル候補情報選択手段で選択された前記情報で示される動きベクトル候補に基づき移動した複数の位置をそれぞれ中心とする所定の範囲から成る領域を前記探索範囲とする
ことを特徴とする請求項２に記載のフレーム補間装置。
【請求項４】
前記参照画像生成部は、
前記第１のフレームの画像信号及び前記第２のフレームの画像信号に対し、所定の縮小率で縮小を繰り返すことで、前記互いに異なる解像度の複数の参照画像の組を生成し、
前記縮小は、複数の画素の平均を縮小後の画素の値とする
ことを特徴とする請求項１から３のいずれかに記載のフレーム補間装置。
【請求項５】
前記補間フレーム合成部は、
前記補間フレーム上の画素のうち、上記複数の動きベクトル候補のいずれを用いても、前記第２のフレーム上の画素の移動先とならない画素については、当該画素の周辺の画素についての動きベクトル候補を用いた補間により、当該画素についての動きベクトル候補を求める
ことを特徴とする請求項１から４のいずれかに記載のフレーム補間装置。
【請求項６】
前記補間フレーム合成部は、
前記補間フレーム上の各画素について２以上の動きベクトル候補が、前記動き推定部から出力された場合、それぞれの動きベクトル候補に基づいて決定された複数の参照位置の組のうちの、画素値の差分が最小となる参照画素の組を選択し、選択された参照画素の組の画素値に基づいて、前記補間フレーム上の画素の画素値を求める
ことを特徴とする請求項１から５のいずれかに記載のフレーム補間装置。
【請求項７】
映像信号の第１のフレームと、前記第１のフレームよりも時間的に前の第２のフレームとの間に補間フレームを生成するフレーム補間方法において、
前記第１のフレーム及び第２のフレームの画像信号を受けて、各々が互いに同じ解像度の参照画像から成り、互いに異なる解像度の複数の参照画像の組を生成する参照画像生成ステップと、
前記複数の参照画像の組に基づいて動き推定を行う動き推定ステップと、
前記動き推定ステップにおいて、前記補間フレーム上の各画素について、最も高い解像度の参照画像の組を用いた動き推定の結果として得られた、１つ以上の動きベクトル候補に基づいて、前記補間フレームの画像信号を生成する補間フレーム合成ステップを有し、
前記動き推定ステップは、
最も低い解像度の参照画像を用いた動き推定から、最も高い解像度の参照画像を用いた動き推定までを順に行うことで、動き推定の結果を表す情報を順に生成し、
各解像度の参照画像の対を用いた動き推定における、前記第２のフレーム上の処理対象画素についての探索範囲の決定に当たり、
当該解像度よりも一段低い解像度の参照画像の組を用い、
当該処理対象画素について行った動き推定の結果として得られた動きベクトル候補を示す情報に加えて、
当該処理対象画素の周辺の画素についての動き推定の結果として得られた動きベクトル候補を示す情報をも利用し、
前記参照画像生成ステップは、
前記第２のフレームよりも時間的に前の第３のフレームの画像信号をも受けて、前記複数の参照画像の組を生成し、
前記複数の参照画像の組は、前記第１及び第２のフレームのみならず、前記第３のフレームの参照画像をも含み、
前記動き推定ステップは、
各解像度よりも一段低い解像度の参照画像の組を用い、当該処理対象画素の周辺の画素について推定された動きベクトル候補を示す情報から、所定の個数の情報を選択し探索範囲の決定に利用する動きベクトル候補情報選択ステップを有し、
前記動きベクトル候補情報選択ステップは、
各処理対象画素の周辺の画素について推定された動きベクトル候補を示す情報のうちの、
当該処理対象画素について推定された動きベクトル候補のうちの類似度が最大である動きベクトル候補との差分が最も大きいものを含む情報から順に、所定の個数を選択するとともに、
当該選択された所定の個数の情報に対応する周辺の画素と、当該処理対象画素を中心として点対称の位置にある画素について推定された動きベクトル候補を示す情報をも合わせて選択する
ことを特徴とするフレーム補間方法。
【請求項８】
前記動き推定ステップは、
前記動きベクトル候補情報選択ステップで選択された前記複数の動きベクトル候補を示す情報に基づいて、探索範囲の決定を行う動き探索範囲限定ステップをさらに備える
ことを特徴とする請求項７に記載のフレーム補間方法。
【請求項９】
前記探索範囲限定ステップは、前記動きベクトル候補情報選択ステップで選択された前記情報で示される動きベクトル候補に基づき移動した複数の位置をそれぞれ中心とする所定の範囲から成る領域を前記探索範囲とする
ことを特徴とする請求項８に記載のフレーム補間方法。
【請求項１０】
前記参照画像生成ステップは、
前記第１のフレームの画像信号及び前記第２のフレームの画像信号に対し、所定の縮小率で縮小を繰り返すことで、前記互いに異なる解像度の複数の参照画像の組を生成し、
前記縮小は、複数の画素の平均を縮小後の画素の値とする
ことを特徴とする請求項７から９のいずれかに記載のフレーム補間方法。
【請求項１１】
前記補間フレーム合成ステップは、
前記補間フレーム上の画素のうち、上記複数の動きベクトル候補のいずれを用いても、前記第２のフレーム上の画素の移動先とならない画素については、当該画素の周辺の画素についての動きベクトル候補を用いた補間により、当該画素についての動きベクトル候補を求める
ことを特徴とする請求項７から１０のいずれかに記載のフレーム補間方法。
【請求項１２】
前記補間フレーム合成ステップは、
前記補間フレーム上の各画素について２以上の動きベクトル候補が、前記動き推定ステップから出力された場合、それぞれの動きベクトル候補に基づいて決定された複数の参照位置の組のうちの、画素値の差分が最小となる参照画素の組を選択し、選択された参照画素の組の画素値に基づいて、前記補間フレーム上の画素の画素値を求める
ことを特徴とする請求項７から１１のいずれかに記載のフレーム補間方法。
【請求項１３】
請求項７から１２のいずれかに記載の方法の各ステップの処理をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項１３のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号に含まれる複数のフレームの画像を用いて、相前後するフレームの間に補間フレームの画像を生成するフレーム補間装置及び方法に関する。本発明はさらに上記のフレーム補間方法を実施するためのプログラム及び該プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
液晶テレビなどのホールド型の画像表示装置は、１フレーム期間同じ画像を表示し続けており、画像中の動く物体に対して、人間の目の動きが動く物体に追従する一方、表示される位置は離散的であるために、エッジ部分がぼやけて見える問題がある。これに対し、フレームを補間することで表示フレーム数を増やし、物体を表示する離散的位置を物体の動きに追従させながら細かく変化させることで物体の動きを滑らかに表示することが考えられる。
【０００３】
また、フレームレートの異なる映像や、コンピュータ処理が施された映像をテレビ信号に変換して表示した場合、複数のフレームが同じ画像となることで動きのぼやけや動きがぎこちなくなるジャダーと呼ばれる現象が生じる問題がある。これも、フレームを補間し表示フレーム数を増やすことで、解決することができる。
【０００４】
補間フレームの合成方法として、前のフレームと同じ画像で補間する零次ホールド法や前後フレームの平均を補間フレームとする平均値補間法などが存在するが、零次ホールド法は、同じ画像で補間するため滑らかな動きを表示できず、ホールド型ディスプレイのぼやけの問題は解決されない。平均値補間法は、画像が２重像になる問題がある。
【０００５】
より自然な表示を可能とする補間フレームの合成方法として、補間フレームの各画素に対して、その画素を中心に点対称の位置にある前後フレーム上の画素間の相関が最も大きい画素対から補間フレームの補間画素を生成するものがある（例えば、特許文献１参照）。この方法では、画素単位という局所的な相関検出を行っているため、本来の画像とは異なる画素対が選択される可能性があり、正確な補間画像が得られない場合がある。
【０００６】
前後フレーム上の画素の比較ではなく、それぞれの画素を中心とする窓を設定し、その窓に含まれるすべての画素間の相関を求めることで局所的な相関検出による問題を解決することができる。しかし、各画素に対して、窓を設定し相関を求めると膨大な演算量となってしまう。そこで、縮小画像を生成し、探索範囲を段階的に限定しながら相関を求めることも提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１２９１８１号公報
【特許文献２】特開２００５−１８２８２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記の段階的なフレーム補間方法では、前段階で誤検出をした場合は、以降の段階に誤った情報が伝播し、正確な動きが予測できなくなることや、繰り返しパターンや異なる動きを持つ領域の境界部分などにおいては、動き推定が不正確になるなどの課題がある。不正確な動きの検出は、合成される補間フレームの画質を低下させ、或いは合成される補間フレームに破綻を生じることがある。
【課題を解決するための手段】
【０００９】
本発明は、映像に対し高画質の補間フレーム合成を行うために、フレーム間の動きベクトルを効率的且つ正確に決定することを目的とする。
【００１０】
本発明の一つの態様のフレーム補間装置は、
映像信号の第１のフレームと、前記第１のフレームよりも時間的に前の第２のフレームとの間に補間フレームを生成するフレーム補間装置において、
前記第１のフレーム及び第２のフレームの画像信号を受けて、各々が互いに同じ解像度の参照画像から成り、互いに異なる解像度の複数の参照画像の組を生成する参照画像生成部と、
前記複数の参照画像の組に基づいて動き推定を行う動き推定部と、
前記動き推定部において、前記補間フレーム上の各画素について、最も高い解像度の参照画像の組を用いた動き推定の結果として得られた、１つ以上の動きベクトル候補に基づいて、前記補間フレームの画像信号を生成する補間フレーム合成部を有し、
前記動き推定部は、
最も低い解像度の参照画像を用いた動き推定から、最も高い解像度の参照画像を用いた動き推定までを順に行うことで、動き推定の結果を表す情報を順に生成し、
各解像度の参照画像の対を用いた動き推定における、前記第２のフレーム上の処理対象画素についての探索範囲の決定に当たり、
当該解像度よりも一段低い解像度の参照画像の組を用い、
当該処理対象画素について行った動き推定の結果として得られた動きベクトル候補を示す情報に加えて、
当該処理対象画素の周辺の画素についての動き推定の結果として得られた動きベクトル候補を示す情報をも利用し、
前記参照画像生成部は、
前記第２のフレームよりも時間的に前の第３のフレームの画像信号をも受けて、前記複数の参照画像の組を生成し、
前記複数の参照画像の組は、前記第１及び第２のフレームのみならず、前記第３のフレームの参照画像をも含み、
前記動き推定部は、
各解像度よりも一段低い解像度の参照画像の組を用い、当該処理対象画素の周辺の画素について推定された動きベクトル候補を示す情報から、所定の個数の情報を選択し探索範囲の決定に利用する動きベクトル候補情報選択手段を有し、
前記動きベクトル候補情報選択手段は、
各処理対象画素の周辺の画素について推定された動きベクトル候補を示す情報のうちの、
当該処理対象画素について推定された動きベクトル候補のうちの類似度が最大である動きベクトル候補との差分が最も大きいものを含む情報から順に、所定の個数を選択するとともに、
当該選択された所定の個数の情報に対応する周辺の画素と、当該処理対象画素を中心として点対称の位置にある画素について推定された動きベクトル候補を示す情報をも合わせて選択する
ことを特徴とする。
本発明の他の態様のフレーム補間方法は、
映像信号の第１のフレームと、前記第１のフレームよりも時間的に前の第２のフレームとの間に補間フレームを生成するフレーム補間方法において、
前記第１のフレーム及び第２のフレームの画像信号を受けて、各々が互いに同じ解像度の参照画像から成り、互いに異なる解像度の複数の参照画像の組を生成する参照画像生成ステップと、
前記複数の参照画像の組に基づいて動き推定を行う動き推定ステップと、
前記動き推定ステップにおいて、前記補間フレーム上の各画素について、最も高い解像度の参照画像の組を用いた動き推定の結果として得られた、１つ以上の動きベクトル候補に基づいて、前記補間フレームの画像信号を生成する補間フレーム合成ステップを有し、
前記動き推定ステップは、
最も低い解像度の参照画像を用いた動き推定から、最も高い解像度の参照画像を用いた動き推定までを順に行うことで、動き推定の結果を表す情報を順に生成し、
各解像度の参照画像の対を用いた動き推定における、前記第２のフレーム上の処理対象画素についての探索範囲の決定に当たり、
当該解像度よりも一段低い解像度の参照画像の組を用い、
当該処理対象画素について行った動き推定の結果として得られた動きベクトル候補を示す情報に加えて、
当該処理対象画素の周辺の画素についての動き推定の結果として得られた動きベクトル候補を示す情報をも利用し、
前記参照画像生成ステップは、
前記第２のフレームよりも時間的に前の第３のフレームの画像信号をも受けて、前記複数の参照画像の組を生成し、
前記複数の参照画像の組は、前記第１及び第２のフレームのみならず、前記第３のフレームの参照画像をも含み、
前記動き推定ステップは、
各解像度よりも一段低い解像度の参照画像の組を用い、当該処理対象画素の周辺の画素について推定された動きベクトル候補を示す情報から、所定の個数の情報を選択し探索範囲の決定に利用する動きベクトル候補情報選択ステップを有し、
前記動きベクトル候補情報選択ステップは、
各処理対象画素の周辺の画素について推定された動きベクトル候補を示す情報のうちの、
当該処理対象画素について推定された動きベクトル候補のうちの類似度が最大である動きベクトル候補との差分が最も大きいものを含む情報から順に、所定の個数を選択するとともに、
当該選択された所定の個数の情報に対応する周辺の画素と、当該処理対象画素を中心として点対称の位置にある画素について推定された動きベクトル候補を示す情報をも合わせて選択する
ことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、繰り返しパターンや異なる動きの領域の境界において、動き推定の誤りに起因する補間フレームの破綻を抑制し、さらに動き推定精度を高め、高画質な補間フレームの合成を行うことが可能となる。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態のフレーム補間装置の構成を示すブロック図である。
【図２】参照画像ピラミッドＰＧを示す図である。
【図３】図１の参照画像生成部２０の構成例を示すブロック図である。
【図４】参照画像ピラミッドを構成するプロセスを示すフローチャートである。
【図５】平均による画像の縮小処理を示す図である。
【図６】図１の多重解像度動き推定部４０の構成例を示すブロック図である。
【図７】画素ブロックへの分割と画素ブロックの代表画素を示す図である。
【図８】類似度計算のための窓を示す図である。
【図９】類似度テーブルの一例を示す図である。
【図１０】２段階縮小された画像上での動き推定を示す図である。
【図１１】１段階縮小された画像上での上位階層の類似度テーブルを基にした動き推定を示す図である。
【図１２】入力画像サイズの画像上での上位階層の類似度テーブルを基にした動き推定を示す図である。
【図１３】多重解像度フレーム間動き推定プロセスを示すフローチャートである。
【図１４】図１の動き補償型補間フレーム合成部６０の構成例を示すブロック図である。
【図１５】動き補償型補間フレーム合成プロセスを示すフローチャートである。
【図１６】動きベクトルの移動を示す図である。
【図１７】動きベクトルの移動によるベクトルの衝突の例を示す図である。
【図１８】動きベクトルの移動によるベクトルの穴あきを示す図である。
【図１９】動きベクトルの穴あきの隣接８近傍点に基づく補間を示す図である。
【図２０】動きベクトルより第１及び第２参照フレームＦＡ及びＦＢの参照画素位置の決定を示す図である。
【図２１】第１及び第２参照フレームＦＡ及びＦＢの参照画素に基づく補間フレームＦＨの画素値の決定を示す図である。
【図２２】参照画像の対を３フレームで構成して行う動き推定を示す図である。
【図２３】フレーム補間装置の変形例の構成を示すブロック図である。
【図２４】本発明の実施の形態２の多重解像度動き推定部４０ｂの構成例を示すブロック図である。
【図２５】動きベクトル候補選択手段における処理を示すフローチャートである。
【図２６】本発明の実施の形態３の多重解像度動き推定部４０ｃの構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
以下、本発明の実施の形態１を図面により説明する。
図１は、本発明のフレーム補間装置のブロック図である。図示のフレーム補間装置においては、入力映像信号ＶＩが映像信号入力端子２に入力され、補間後の映像信号ＶＯが映像信号出力端子４から出力される。
【００１４】
入力映像信号ＶＩは、第１参照フレームの原画像乃至非縮小画像信号ＦＡ１としてフレームメモリ１０、参照画像生成部２０及び動き補償型補間フレーム合成部６０に供給される。
【００１５】
フレームメモリ１０は、第１参照フレームＦＡの原画像ＦＡ１を逐次蓄積するものであり、フレームメモリ１０に書き込まれた画像信号（非縮小画像信号）ＦＡ１は、１フレーム期間経過後に１フレーム期間前のフレーム（第２参照フレーム）ＦＢの画像信号（非縮小画像信号）ＦＢ１として読み出され、参照画像生成部２０及び動き補償型補間フレーム合成部６０に供給される。
【００１６】
参照画像生成部２０は第１参照フレームＦＡ及び第２参照フレームＦＢの非縮小画像信号ＦＡ１及びＦＢ１を受けて、縮小処理を繰り返し、縮小画像信号ＦＡ２〜ＦＡＮ、ＦＢ２〜ＦＢＮを生成する。非縮小画像ＦＡ１及びＦＢ１、並びに縮小画像ＦＡ２〜ＦＡＮ及びＦＢ２〜ＦＢＮはいずれも参照画像として用いられる。参照画像ＦＡｎ及びＦＢｎ（ここでｎは１〜Ｎのいずれか）で一つの参照画像の対乃至組ＧＦｎが構成される。同じ対の参照画像は互いに解像度が同じであり、異なる対の参照画像は解像度が互いに異なる。
【００１７】
参照画像の対ＧＦ１〜ＧＦＮを、解像度の順に、従って画面サイズ（画素数）の順に下から上へ並べると図２に示すようになる（図２ではＮ＝４としている）ので、複数の参照画像の対ＧＦ１〜ＧＦＮを纏めたものを、参照画像ピラミッドＰＧと呼び、ピラミッドＰＧを構成する参照画像の対ＧＦ１〜ＧＦＮをそれぞれ「階層」とも呼ぶ。最も解像度の低い画像の対は、参照画像ピラミッドＰＧの最上部に位置するので、最上位の階層と呼ばれ、各階層はピラミッドＰＧの上部からの順序に従って第ｎの階層（ｎは１〜Ｎ）と呼ばれる。従って、第ｎの階層は、第（Ｎ−ｎ＋１）の参照画像対で構成される。
【００１８】
多重解像度動き推定部４０は、参照画像ピラミッドＰＧを受けて、第１参照フレームＦＡと第２参照フレームＦＢの間の動きを推定し、推定結果ＶＣを出力する。
多重解像度動き推定部４０は、段階的乃至階層的動き推定を行う。ここで、階層的動き推定とは、解像度の最も低い参照画像を用いた動き推定から、解像度の最も高い参照画像を用いた動き推定までを順に行うものであり、本発明では、階層的動き推定において、動き推定の結果を表す情報を順に生成乃至更新し、各解像度の参照画像の対を用いて行なった動き推定の結果として得られる、複数の動きベクトル候補（各解像度の参照画像から推定された動きベクトル候補）を示す情報を、より高い解像度の参照画像の対を用いて行なう動き推定の際に、探索範囲を決定するために利用する。
【００１９】
動き補償型補間フレーム合成部６０は、多重解像度動き推定部４０からの動き推定結果ＶＣと参照画像の対ＧＦ１を基に補間画像ＦＨ１を生成する。生成された補間画像ＦＨ１はフレームメモリ１０に蓄積され、参照画像ＦＡ１、ＦＢ１の間に挿入され、参照画像ＦＡ１、ＦＢ１と補間画像ＦＨ１とが時刻順に映像信号出力端子４から出力される。
【００２０】
図３は、参照画像生成部２０の一例を示す。図示の参照画像生成部２０は、各々入力された画像を縮小して出力する（Ｎ−１）段の画像縮小手段２２−１〜２２−（Ｎ−１）を有する。
初段の画像縮小手段、即ち第１の画像縮小手段２２−１は、入力された、第１の参照画像の対ＧＦ１を縮小して、第２の参照画像の対ＧＦ２を出力する。
初段以外の各段の画像縮小手段、即ち第ｎの画像縮小手段２２−ｎ（ここでｎは２〜（Ｎ−１））は、前段の画像縮小手段、即ち、第（ｎ−１）の画像縮小手段２２−（ｎ−１）から出力された第（ｎ−１）の参照画像の対ＧＦ（ｎ−１）を縮小して、第ｎの参照画像の対ＧＦｎを出力する。
【００２１】
参照画像生成部２０における処理、即ち参照画像ピラミッド構築プロセスは図４に示されている。入力された参照画像の対ＧＦ１は元の解像度の参照画像の対ＧＦ１としてそのまま出力される（Ｓ２０１、Ｓ２０２）。
参照画像の対ＧＦ１はまた、画像縮小手段２１−１によって縮小され（Ｓ２０４）、縮小された参照画像の対ＧＦ２として出力される（Ｓ２０２）。縮小された参照画像の対ＧＦ２は次の画像縮小手段２１−２へと送られ再度縮小される。以下同様に縮小処理と出力を繰り返す（Ｓ２０３）。これにより、元の解像度を含む複数の解像度の参照画像の対ＧＦ１〜ＧＦＮを出力する。縮小処理を行う回数は、階層数よりも１だけ小さい。
【００２２】
画像縮小手段２１−１〜２１−（Ｎ−１）では、例えば、所定の数の画素をひとまとめにしてそれらの平均を新たな画像の画素値とすることで縮小処理を行う。図５は参照画像を縦横１／２に縮小するため、４個の画素の平均を取る例である。隣接する４つの画素３１１〜３１４の平均を求め、新たな画素３１５の値とする。すべての画素について平均値を求めることで縮小画像を得る。なお、縮小処理は、平均を取る方法の他に、単純な間引きを行う方法、中間値を取る方法、最頻値を取る方法などで行うこともできる。
【００２３】
平均による縮小処理は、ローパスフィルタの効果がありエイリアシングを防ぐことが期待できる。また、空間的に低周波数帯に限った画像処理が行える。これにより、縮小された参照画像の対における動き推定では安定的に大まかな動きを推定することが可能となる。
【００２４】
本実施の形態は、参照画像ピラミッドＰＧの構築の際の、１回の縮小処理で行われる画像の縮小率（以下、階層間縮小率と呼ぶ）を１／４（縦横ともに１／２）、縮小処理を行う回数を２としている。
なお、より大きな動きの推定に対応するために階層数を増加させることや、逆に演算量削減のために階層数を減らすことや、動き推定精度に応じて階層間縮小率を変更することも可能である。
【００２５】
図６は、多重解像度動き推定部４０の一例を示す。
図示の多重解像度動き推定部４０は、複数段、即ち第１乃至第Ｎの探索範囲限定手段４２−１〜４２−Ｎと、複数段、即ち第１乃至第Ｎの類似度計算手段４４−１乃至４４−Ｎと、動きベクトル候補決定手段４６を有する。
各段の類似度計算手段、即ち第ｎの類似度計算手段４４−ｎ（ｎは１〜Ｎ）は、対応する、第ｎの階層の参照画像の対、即ち、第（Ｎ−ｎ＋１）の参照画像の対ＧＦ（Ｎ−ｎ＋１）を入力として、当該対を構成する参照画像ＦＡ（Ｎ−ｎ＋１）及びＦＢ（Ｎ−ｎ＋１）上の画素間の相関、即ち類似度を計算する。より具体的には、第２参照画像ＦＢ（Ｎ−ｎ＋１）上の、動きベクトルを求めようとする画素（処理対象画素）と、第１参照画像ＦＡ（Ｎ−ｎ＋１）上の、探索範囲内の画素との相関、即ち類似度を求める。
【００２６】
初段以外の各段の探索範囲限定手段、即ち第ｎの探索範囲限定手段４２−ｎ（ｎは２〜Ｎ）は、前段の類似度計算手段、即ち、第（ｎ−１）の類似度計算手段４４−（ｎ−１）による動き推定の結果を示す後述の類似度テーブルに基づき探索範囲を決定する。
初段の探索範囲限定手段４２−１には、前段の類似度計算手段が存在しないので、空の類似度テーブル（図６で符号「０」で表されている）が与えられ、後述の所定の範囲を探索範囲として決定する。
【００２７】
第ｎの類似度計算手段４４−ｎ（ｎは１〜Ｎ）は、第ｎの探索範囲限定手段４２−ｎで決定された探索範囲内の動きベクトル候補に関し、対応する画素間の類似度の計算を行い、計算結果に基づき、動き推定を行う。即ち、第２参照フレームＦＢの画素と第１参照フレームＦＡの画素で構成される画素対の類似度を求めることで、第２参照フレームＦＢの各画素が第１参照フレームＦＡ上ではどの位置に移動しているか（相対位置）を求める。
【００２８】
ただし、各解像度の画像について、フレーム内のすべての画素について類似度を求めると、演算量が膨大となってしまうため、複数の画素から成る画素ブロックごとに動きを求める方法を用いることで演算量を抑制する。
例えば、第２参照フレームＦＢを画素ブロックに分割し、各画素ブロックを順次処理対象部画素ブロックとし、処理対象画素ブロックの代表点と第１参照フレームＦＡの各画素の類似度を求める。図７は、画像を４×４画素から成る画素ブロックへの分割を示したものである。図の各円は画素を表し、黒い円（例えば４０２）は画素ブロック（例えば４０１）の代表点を表す。
【００２９】
各ブロックの代表点について類似度を求める場合、単独の画素同士の比較により類似度を算出すると局所的な相関であるために正確な動き推定を行うことができないので、当該代表点を中心とする第２参照フレームＦＢの参照窓と、第１参照フレームＦＡの、各画素を中心として、第２参照フレームＦＢの参照窓と同じサイズの参照窓の各々との類似度を求め、それぞれ参照窓の代表点（参照窓の中心に位置する点）同士の類似度として用いる。この方法はブロックマッチングと呼ばれる。
【００３０】
具体的には、図８に示すように、第２参照フレームＦＢ上のブロックの代表点である画素４１１を中心とする窓４１２と第１参照フレームＦＡ上の画素４１３を中心とする窓４１４を設定し、窓内のすべての画素を用いて類似度を求める。窓のサイズは画素ブロックのサイズと同じであっても良く、異なっていても良い。図７に示すブロックサイズが４×４画素であるのに対して、図８に示す例では、窓のサイズが３×３画素である。
【００３１】
一般的な類似度の計算手法としては窓内の画素同士の画素値（例えば輝度値）の差分の総和（差分絶対値和）ＳＡＤを求める手法があげられる。差分絶対値和ＳＡＤが最も小さな窓間の相対位置を、画素４１１についての動きとして推定することができる。なお、上記の差分絶対値和ＳＡＤが小さいほど類似度が高いと言えるので、類似度は差分絶対値和ＳＡＤを所定の閾値ＴＨＲで極性を反転させた値とする。
即ち、類似度ＳＭＬは、
ＳＭＬ＝ＴＨＲ−ＳＡＤ
で与えられる。
【００３２】
画素４１１についての動き推定結果は、該画素４１１を代表点とするブロックについての動き推定結果として用いられ、該ブロックについての動き推定結果は、当該ブロック内のすべての画素についての動き推定結果としても用いられる。
【００３３】
画素ブロックのサイズは、階層ごとに異なっていても良く、階層間で同じであっても良い。例えば、一つの階層におけるブロックのサイズがｈ×ｖ画素である場合、その階層に対し縦横ともにｒ倍の解像度を有する他の階層では、ブロックのサイズをｒｈ×ｒｖとし、上記の一つの階層における各ブロック内の画素のすべてが、上記他の階層における対応するブロックに含まれるように、即ち上記二つの階層のブロックが１対１の対応関係を持つようにしても良い。
【００３４】
また、一つの階層におけるブロックのサイズがｈ×ｖ画素である場合、その階層に対し縦横ともにｒ倍の解像度を有する他の階層でも、ブロックのサイズをｈ×ｖとし、上記の一つの階層における各ブロック内の画素が、上記の他の階層において、ｒ×ｒ個のブロックに分割されるように、即ち上記二つの階層のブロックが１対（ｒ×ｒ）の対応関係を持つようにしても良い。
【００３５】
各階層において、ブロック間の類似度を求める場合、第ｎの類似度計算手段４４−ｎ（ｎは１〜Ｎ）は、第ｎの探索範囲限定手段４２−ｎで決定された探索範囲内の動きベクトルに限って、類似度の計算を行う。即ち、第ｎの類似度計算手段４４−ｎは、第（Ｎ−ｎ＋１）の参照画像の対ＧＦ（Ｎ−ｎ＋１）を構成する第２参照画像ＦＢ（Ｎ−ｎ＋１）の各ブロックの代表点と、第１参照画像ＦＡ（Ｎ−ｎ＋１）のうちの、第ｎの探索範囲限定手段４２−ｎで決定された探索範囲内の画素の各々との類似度（それぞれの画素を中心とする参照窓同士の類似度）を求める。
【００３６】
第ｎの類似度計算手段４４−ｎが各ブロック（の代表点）について計算した類似度は、第（ｎ＋１）の探索範囲限定手段４２−（ｎ＋１）において、上記各ブロックに対応する１つ又は複数のブロックについての探索範囲の決定に用いられる。
階層間でブロックのサイズが異なり、第ｎの階層と第（ｎ＋１）の階層が１対１の関係を有する場合には、第ｎの階層における、各ブロックについての類似度計算結果が第（ｎ＋１）階層の、対応する１つのブロックについての探索範囲の決定に用いられる。
階層間でブロックのサイズが同じであり、第ｎの階層と第（ｎ＋１）の階層が１対（ｒ×ｒ）の関係を有する場合には、第ｎの階層における、各ブロックについての類似度計算結果が第（ｎ＋１）階層のｒ×ｒ個のブロックについての探索範囲の決定に用いられる。
【００３７】
本実施の形態では、各解像度の参照画像を用いて、各画素について行なった動き推定の結果として、類似度が最大の画素対のみならず、それ以外の複数の画素対の各々についても、位置情報（相対位置乃至動きベクトルを表す情報）及び類似度を表す情報を互いに関係付けたものが出力され、上記情報を複数の画素対について纏めたものが類似度テーブルとして生成或いは更新され、より高い解像度の参照画像を用いて行なう動き推定のプロセスへ伝達される。多重解像度動き推定部４０における動き推定では、複数の動きベクトルが候補として求められるので、最終的に補間フレーム合成部６０で用いられる動きベクトルとの区別のため、「動きベクトル候補」と呼ばれる場合がある。最も高い解像度の画像を用いて行なう動き推定の結果により生成或いは更新された類似度テーブルは、補間フレームの生成に用いられる。
【００３８】
類似度テーブルの一例を図９に示す。画素対ごとの位置情報は、例えば、第２参照フレームＦＢ上の画素に対する、第１参照フレームＦＡ上の画素の相対位置（第２参照フレーム上の処理対象画素に対し、動きベクトル候補に基づき移動した位置）を表すものであり、これらの画素対について算出された類似度を表す情報が、当該位置情報に対応付けられている。
【００３９】
類似度テーブルに書き込まれる位置情報が、相対位置を画素数で表す場合には、階層間では解像度が異なることを考慮して、その値をスケーリングする必要がある。例えばある階層における相対位置（動きベクトル）が（ａ，ｂ）である場合、それよりも縦横ともにｒ倍の解像度を有する階層における相対位置は（ｒａ，ｒｂ）となる。各段の探索範囲限定手段４２−ｎが、上記のような変換を行なった後の値を書き込んだ類似度テーブルを次の段の類似度計算手段４４−（ｎ＋１）に供給しても良く、各段の探索範囲限定手段４２−ｎが、上記のような変換を行なう前の値を書き込んだ類似度テーブルを次の段の類似度計算手段４４−（ｎ＋１）に供給し、当該次の段の類似度計算手段４４−（ｎ＋１）で、上記の変換を行うこととしても良い。この場合、解像度の違いは予め分かっており、類似度計算手段４４−（ｎ＋１）で、解像度の違いに応じた係数を乗算することとしても良く、探索範囲限定手段４２−ｎで、当該階層の解像度を示す情報を、類似度テーブルとともに伝達し、類似度計算手段４４−（ｎ＋１）で、当該階層の解像度（予め設定されているものとする）の、探索範囲限定手段４２−ｎから送信された解像度に対する比を乗算することとしても良い。
【００４０】
探索範囲限定手段４２−１〜４２−Ｎの各々による探索範囲の決定は以下のように行われる。即ち、初段以外の各段階の探索範囲限定手段４２−２〜４２−Ｎでは、前段の類似度計算手段４４−１〜４４−（Ｎ−１）による類似度算出により推定された１又は２以上の動きベクトル候補に対応する位置を中心とする所定の範囲、例えば所定の距離以内の範囲を探索範囲と設定する。
初段では、伝達される類似度テーブルが存在しないため探索範囲限定手段４２−１へは空の類似度テーブルとして「０」が入力される。この結果、探索範囲限定手段４２−１は、第２参照フレームＦＢ上の代表点を中心とする所定の範囲、例えば所定の距離以内の範囲を探索範囲と定める。
【００４１】
先にも述べたように、初段以外の各段階の探索範囲限定手段４２−ｎ（ｎは２〜Ｎ）は、前段階の類似度計算手段４４−（ｎ−１）による類似度の算出結果に基づく動き推定結果を類似度テーブルという形で受けて、探索範囲を設定する。例えば、各処理対象画素についての類似度テーブルから所定の個数の画素対を抽出し、抽出された画素対の第１参照フレームＦＡ上の画素を中心とし、所定の範囲、例えば所定の距離以内の範囲を探索範囲として設定する。所定の範囲は、例えば、縦方向３画素、横方向３画素の範囲である。
以下に説明する例では、各処理対象画素についての類似度テーブルから所定の個数の画素対を抽出する方法として、類似度が大きいものから所定の個数、例えば２つを選ぶ方法を例にとるが、そのほかに類似度の分布を基に極大値を抽出する方法、類似度テーブルの伝達を受けた画像に類似度テーブルを投影し画素値も考慮して抽出する方法なども考えられる。
【００４２】
また、各代表点を処理対象画素として、当該処理対象画素についての探索範囲の決定に当たり、当該解像度よりも一段低い解像度の参照画像の対を用いた動き推定結果として、当該処理対象画素について推定された動きベクトル候補を示す情報を纏めた類似度テーブル（処理対象画素に対応する類似度テーブル）に加えて、当該処理対象画素の周辺の代表点（例えば隣接する代表点）について推定された動きベクトル候補を示す情報を纏めた類似度テーブルをも利用することができ、こうすることにより、動き推定精度を一層向上させることができる。
周辺の代表点の各々についての類似度テーブル（周辺の代表点の各々に対応する類似度テーブル）に基づき探索範囲を設定する場合、処理対象画素についての類似度テーブルの場合と同様、該類似度テーブルから所定の個数の画素対を抽出し、抽出された画素対の第１参照フレームＦＡ上の画素を中心とし、所定の範囲を探索範囲として設定することができる。
【００４３】
図１０〜図１２は階層間縮小率１／ｒを縦横ともに１／２とし、階層数を３とし、探索範囲を３×３画素とした例を示す。これらの図では、第１参照フレームＦＡ上の画素と第２参照フレームＦＢ上の画素が重ねて示されている。なお、階層間縮小率、階層数、探索範囲は、装置で処理可能な演算量や要求される推定精度に応じて変更しても良い。
【００４４】
図１２が入力画像（元の解像度の画像）を示し、図１１が１回縮小処理を行うことで得られる１／４縮小画像を示し、図１０が２回の縮小処理を行うことで得られる１／１６縮小画像を示す。
【００４５】
先にも述べたように、初段の探索範囲限定手段４２−１には「０」が入力されるので、処理対象画素である代表点を中心として所定の距離以内の範囲、例えば３×３画素の範囲が探索範囲とされる。従って、図１０に示す１／１６縮小画像において第２参照フレームＦＢ上の代表点４５１と同じ位置にある、第１参照フレームＦＡ上の画素４５１を中心とする３×３画素の範囲内の画素位置４５１及び４５２ａ〜４５２ｈを探索範囲として、これらの画素の各々と、第２参照フレームＦＢ上の代表点４５１の画素とで構成される９つの画素対の類似度を求める。求められた９つの画素対の類似度及び位置関係を示す情報は処理対象画素（４５１）についての類似度テーブルに登録され、図１１に示す次の段階に伝達される。
【００４６】
図１１に示す１／４縮小画像の段階では、図１０に示す１／１６縮小画像の段階より伝達された処理対象画素（４５１）についての類似度テーブルを基に、探索範囲限定手段４２−２が所定個数の画素対を抽出する。図１１では２つの画素対を抽出する例を示し、抽出された画素対の第１参照フレームＦＡ上の画素が符号４５２ｄ及び４５２ｆで表されている。それぞれ画素４５２ｄ及び４５２ｆを中心とする２つの所定の範囲、例えば３×３画素の範囲を探索範囲として設定し、探索範囲に含まれる第１参照フレームＦＡ上の画素４５２ｄ及び４５２ｆ並びに４５３ａ〜４５３ｎの各々と第２参照フレームＦＢ上の代表点４５１との画素対を得る。
１／１６縮小画像の段階と同様に、得られたすべての画素対の類似度と位置関係を表す情報で類似度テーブルを更新し、図１２が示す次の段階へ伝達する。
【００４７】
図１２が示す元の解像度の段階でも同様に、伝達された類似度テーブルから画素対を抽出し第１参照フレームＦＡ上の画素４５３ｂ及び４５３ｎを得る。得られた画素を中心とする２つの所定の範囲、例えば３×３画素の範囲を探索範囲として設定し、探索範囲に含まれる第１参照フレームＦＡ上の画素４５３ｂ及び４５３ｎ並びに４５４ａ〜４５４ｒの各々と第２参照フレームＦＢ上の代表点４５１との画素対を得る。最後に、得られたすべての画素対の類似度と位置関係を表す情報で類似度テーブルを更新し、類似度テーブルを確定する。
【００４８】
動きベクトル候補決定手段４６は、確定した類似度テーブルを基に所定の個数の画素対を抽出し、動きベクトル候補とする。画素対の抽出方法は、探索範囲限定手段（４２−２〜４２−Ｎ）の画素対抽出方法と同様である。ただし、動きベクトル候補決定手段４６の画素対抽出方法が探索範囲限定手段（４２−２〜４２−Ｎ）の画素対抽出方法とが同じでなくても良い。
なお、代表点以外の第２参照フレームＦＢ上の画素については、同じ画素ブロックの代表点と同じ動きベクトル候補を用いる。
【００４９】
さらに、各解像度の参照画像の対を用いた動き推定における、各代表点（処理対象画素）についての探索範囲の決定に当たり、当該解像度よりも一段低い解像度の参照画像の対を用いた動き推定結果として、当該処理対象画素について推定された動きベクトル候補を示す情報を纏めた類似度テーブルに加えて、当該処理対象画素の周辺の代表点（例えば隣接する代表点）について推定された動きベクトル候補に関する情報を纏めた類似度テーブルをも利用するようにすれば、動き推定精度を一層向上させることができる。
【００５０】
このようにする場合、探索範囲限定手段４２−ｎは、各解像度の参照画像の組を用いた動きベクトルの検出に当たり、第２参照フレームの処理対象画素に対し、当該解像度よりも一段低い解像度の参照画像の組を用い、当該処理対象画素について推定された複数の動きベクトル候補に対応する第１参照フレーム上の画素の各々を中心とする所定の範囲、言い換えると、上記複数の動きベクトル候補の各々に基づき移動した位置を中心とする所定の範囲、並びに当該処理対象画素の周辺の画素について推定された複数の動きベクトル候補に対応する第１参照フレーム上の画素の各々を中心とする所定の範囲、言い換えると、上記複数の動きベクトル候補の各々に基づき移動した位置を中心とする所定の範囲から成る領域を探索範囲とする。
【００５１】
図１０に示す１／１６縮小画像での動き推定から図１１に示す１／４縮小画像での動き推定に類似度テーブルを伝達する場合を例にとると、利用する隣接代表点を上下左右の４近傍点とした場合、例えば、図１０に示す１／１６縮小画像において第２参照フレームＦＢの代表点（処理対象画素）４５１についての類似度テーブルのみならず、代表点（処理対象画素の周辺の画素）４５２ｂ、４５２ｄ、４５２ｅ、及び４５２ｇについての類似度テーブルをも伝達し、これらに基づいて探索範囲の限定を行うこととする。
【００５２】
また、伝達された類似度テーブルごとに重み付けを行い、類似度算出手段４４において算出される類似度の値を変化させることも考えられる。例えば、図１０に示す１／１６縮小画像での動き推定から図１１に示す１／４縮小画像での動き推定に類似度テーブルを伝達する場合を例にとると、第２参照フレームＦＢの代表点４５１についての類似度テーブルによって設定される探索範囲に比べ、代表点４５２ｂ、４５２ｄ、４５２ｅ、及び４５２ｇについての類似度テーブルによって設定される探索範囲については、類似度計算手段４４において算出される画素対の類似度に対してより小さな重み付け係数を掛けること、或いは所定の値を減じたものとすることとする。代表点４５１に対し、代表点４５２ｂ、４５２ｄ、４５２ｅ、及び４５２ｇは周辺の代表点であるため、類似度から所定の値を減じることで、周辺より中心を重視した（処理対象画素である代表点４５１により近い他の代表点を優先的に選択する）探索が可能となる。
【００５３】
また、第２参照フレームＦＢの代表点４５１、４５２ｂ、４５２ｄ、４５２ｅ、及び４５２ｇの類似度テーブルの各々の中の最も高い類似度（最高類似度）の値によって、各類似度テーブルによって設定される探索範囲に重み付けを行なうことも考えられる。最高類似度が高い類似度テーブルを優先して探索することにより、より信頼性の高い動き推定の結果を後段に伝達することが可能となる。
【００５４】
このように、周辺の代表点（例えば隣接する代表点）の類似度テーブルも合わせて利用することで、既に求まっている正確な動き推定結果を利用でき、誤推定の修正が可能となり、また、２つの領域の境界付近では隣接する同じ領域内の他の画素の動きを参照することに相当するため、境界付近の正確な動き推定が可能となる。その結果、補間フレームＦＨにおいては、領域境界付近などにおける画像の破綻を抑制する効果がある。とりわけ、似通ったパターンが連続するため、本来の動きとは全く異なる位置に高い相関が現れ、誤推定を起こす可能性がある繰り返しパターンに対しては、周辺の情報を利用することで局所的な誤推定を回避することができる。
【００５５】
図１３は、多重解像度動き推定部４０で実行される動き推定プロセスの手順を示す。
処理開始（Ｓ２３０）後、最初に最上位階層を処理対象階層とし（Ｓ２２１）、処理対象階層の第２参照フレームＦＢ（第Ｎの参照画像ＦＢＮ）を画素ブロックに分割する（Ｓ２２２）。
次に、分割により生成された複数の画素ブロックの一つを指定して処理対象画素ブロックとし（Ｓ２２３）、処理対象画素ブロックに対応する類似度テーブル（処理対象画素ブロックの代表点（処理対象画素）に対応する類似度テーブル）及び処理対象画素ブロックの周辺の画素ブロックに対応する類似度テーブル（処理対象画素の周辺に位置する代表点に対応する類似度テーブル）を取得する（Ｓ２２４）。即ち、最上位以外の階層が処理対象階層であるときは、一段上位の階層から処理対象画素ブロックに対応する類似度テーブル及びその周辺の画素ブロックに対応する類似度テーブルを取得する。なお、最上位階層が処理対象階層であるときは、空の類似度テーブルが与えられる。
【００５６】
次に類似度テーブルに基づき、第１参照フレームＦＡ上に探索範囲を設定し（Ｓ２２５）、探索範囲内の画素と第２参照フレームＦＢ上の代表点との類似度（探索範囲内の画素を中心とする窓と代表点を中心とする窓との類似度）を求め（Ｓ２２６）、当該相対位置と、対応する類似度（当該相対位置について算出された類似度）とを関連付けて記憶する類似度テーブルを作成する（Ｓ２２７）。
【００５７】
次に、処理対象画素ブロックが第２参照フレームＦＢ上の最終画素ブロックか否かの判定を行い（Ｓ２２８）、最終画素ブロックでなければ、次のブロックを指定し（Ｓ２３１）、ステップＳ２２４に戻る。ステップＳ２２３における画素ブロックの指定の際は、例えば画像の左上隅のブロックを指定し、ステップＳ２３１における画素ブロックの指定は、例えば画像の左上隅から右下隅へと言う順で行われる。この場合、ステップＳ２２８における「最終画素ブロック」は、画像の右下隅のブロックである。
【００５８】
最終画素ブロックであれば、次に、処理を行った階層が最下位層か否かの判定を行い（Ｓ２２９）、最下位層でなければ、次の階層（より高い解像度に対応する階層）を指定して（Ｓ２３２）、ステップＳ２２２に戻る。
以下、同様の処理を繰り返す。
ステップＳ２２９で、最下位層となったら、最新の類似度テーブルから１又は２以上の動きベクトル候補を求め（Ｓ２３３）、処理を終了する（Ｓ２３５）。
【００５９】
以上のように、多重解像度動き推定部４０の各段階では、前の段階（より低い解像度の参照画像を用いた動き推定）から伝達された類似度テーブルを基に探索範囲を適応的に設定することで、より低い解像度の参照画像の対から推定された大まかな動きを基に、段階的により精細な動き推定を行うこととしており、これにより、動き推定全体の演算量を少なくすることを可能にしている。
【００６０】
また、各段階での動き推定結果として、各画素につき１つの動きベクトルのみを次の段階（１段階解像度の高い参照画像を用いた動き推定）で利用するのではなく、各段階で類似度を求めた２つ以上の画素対について、その位置情報と類似度を対応づけたデータをまとめて類似度テーブルとして、次の段階（１段階解像度の高い参照画像を用いた動き推定）で利用することとしている。
これにより、各段階での動き推定結果を１つの動きベクトルに限定することに起因する誤推定の伝播や境界付近の動きベクトルの統一による弊害を回避し、補間フレームＦＨの画像破綻を抑制することを可能としている。
【００６１】
即ち、解像度の低い段階で誤った動き推定結果を得た場合、誤った動き推定結果を基にそれ以降の推定を続けるため、以降の推定結果に悪影響を与えることが考えられ、また、互いに動きの異なる２つの領域の境界付近においては、元の解像度において別々の動きをする複数の画素が、解像度の低い段階では、１つの画素にまとめられている場合があり、１画素につき１つの動き推定結果を求め次の段階に伝達する方法では、一つの画素についての動き推定結果が他の画素の動き推定結果となってしまい、そのような動き推定結果を基に動き推定を続けるため、合成された補間フレームＦＨでは境界付近において画像の破綻が生じてしまう。
本発明では、上記のように、各段階における動き推定の結果として得られる、各画素についての２つ以上の動きベクトル候補の位置情報及び類似度情報を次の段階における動き推定で利用することにより、各段階での動き推定結果を１つの動きベクトルに限定することに起因する問題の解決を可能にしている。
【００６２】
なお、類似度テーブルは、上記のように、類似度を求めた画素対のすべてについてのデータを含むものとしても良いが、代わりに、類似度テーブルに含める画素対を、伝達する前に一部の画素対に絞っても良い。この場合、例えば、類似度が高い順に所定数の画素対を選択する。選択する画素対の数は、要求される動き推定の精度に応じて決めることとしても良い。
また、動き推定の結果を示す情報として、テーブル形式の情報（類似度テーブル）を類似度計算手段４４−ｎから探索範囲限定手段４２−ｎに伝えることとしているが、動き推定の結果を示す情報（動きベクトル候補情報）であれば他の形式の情報であっても良い。
【００６３】
また、上記の類似度計算手段４４−ｎ（ｎは１〜Ｎ）は、類似度計算のため、差分絶対値和ＳＡＤを求めるが、類似度計算手段４４−ｎが、差分絶対値和ＳＡＤ以外の値を求めることとしても良く、例えば、重み付けを行って画素値の差分を求めることとしても良く、画素値として輝度のほかに色差情報の差分を含めることとしても良く、一次微分やニ次微分によるエッジ情報を含めるなどによって類似度を計算することとしても良い。
また、窓のサイズを画素ブロックのサイズにかかわらず任意に設定しても良く、窓内のすべての画素を利用しないで類似度を求めることとしても良い。
【００６４】
次に、動き補償型補間フレーム合成部６０について説明する。
図１４は、ブロック単位の動きベクトル候補から補間フレームＦＨを合成する動き補償型補間フレーム合成部６０のブロック図である。図示の動き補償型補間フレーム合成部６０は、移動先決定手段６２、参照位置決定手段６４、及び補間画素値決定手段６６を備える。
【００６５】
なお、本実施の形態は、第１参照フレームＦＡと第２参照フレームＦＢの中間に１枚の補間フレームＦＨを配する例を示すが、２枚以上の複数の補間フレームを配する場合にも本発明を適用することができる。図１５は、図１４の動き補償型補間フレーム合成部６０で実行される補間フレーム合成プロセスの手順を示す。
【００６６】
移動先決定手段６２では、第２参照フレームＦＢ上の各画素の位置と、当該画素について求められた動きベクトル候補に基づいて、上記画素の、補間フレームＦＨ面上における移動先を決定する（Ｓ２４１）。具体的には、図１６に示すように、第２参照フレームＦＢ上での各画素位置５２１と、該位置５２１の画素の、当該画素について求められた動きベクトル候補による第１参照フレームＦＡ面上で移動先、即ち位置５２２との中間点５２３を、該位置５２１の画素の動きベクトル候補の補間フレームＦＨ面上の移動先とする。
【００６７】
このような方法で移動先を決定すると、補間フレームＦＨ上の一つの画素位置が、第２参照フレームＦＢ上の複数の動きベクトル候補による移動先となる場合、即ち「衝突」が発生する場合や、補間フレームＦＨ上のある画素位置が、第２参照フレームＦＢ上の動きベクトル候補のいずれによっても移動先とならない場合、即ち「穴あき」が発生する場合がある。そこで、それに対する対策のための処理を行う（Ｓ２４２）。
【００６８】
図１７は衝突の例を示す。図示のように、第２参照フレームＦＢ上の画素位置５４１の画素が第１参照フレームＦＡ上の画素位置５４２への動きベクトル候補ＶＡを持ち、第２参照フレームＦＢ上の画素位置５４３の画素が第１参照フレームＦＡ上の画素位置５４４への動きベクトル候補ＶＢを持つ場合、補間フレームＦＨ面において画素位置５４４が、動きベクトル候補ＶＡ及びＶＢの双方による移動先となり、衝突が起きる。このように衝突する動きベクトルの数が所定数を超えるときは、類似度の高いものから順に所定数の動きベクトルを選択する。上記の「所定数」は、補間フレームＦＨ上の各画素位置について予め定められたものである。
【００６９】
図１８は、穴あき画素が発生する例を示す。図１８には、それぞれ４×４の画素から成る画素ブロックＢＬ１〜ＢＬ９が示されている。そのうち画素ブロックＢＬ１〜ＢＬ５の画素は動きベクトル候補が（０，０）であり、画素ブロックＢＬ６〜ＢＬ９の画素は動きベクトル候補が（２，０）であるとする。３×３画素の領域Ａ１の画素５６１〜５６９のうち、画素５６１〜５６４、及び５６７が動きなし（０，０）、画素５６５、５６６、５６８、５６９が動き（２，０）となる。
【００７０】
このような動きベクトル候補による、補間フレームＦＨ上の移動先は、図１６を参照して説明したのと同様に、画素５６１〜５６４、及び５６７は第２参照フレームＦＢ上と同じであり、一方、画素５６５は、画素５６６の位置へ、画素５６８は画素５６９の位置へ移動し、画素５６６及び５６９はそれぞれのこの３×３画素の領域Ａ１の外へと移動する。その結果、画素５６５及び５６８の位置には移動先となる動きベクトル候補が存在せず、穴あきが発生する。同様に、３×３画素の領域Ａ２の画素５７１〜５７９のうち、画素５７２及び５７５の位置に穴あきが発生する。
【００７１】
このような穴あき画素に対しては、補間フレームＦＨ上の周辺の画素、例えば上下左右と斜め方向の隣接する８個の近傍点の動きベクトル候補を用いた補間、例えば多数決による補間により、動きベクトル候補を求める。図１９は穴あき画素５８９を埋める方法を示す。
【００７２】
図示の例では、８個の近傍点の画素のうち、画素５８１及び５８２は（１，１）の動きベクトル候補を持ち、画素５８３、５８４、５８５及び画素５８８は（１，０）の動きベクトル候補を持ち、画素５８６及び５８７は（１，−１）の動きベクトル候補を持ち、これらによる多数決の結果、（１，０）が画素５８９の動きベクトル候補とされ、これにより画素５８９の動きベクトル候補の補間を行う。なお、穴あき画素の動きベクトル候補を求める方法としては、隣接する８個の近傍点の平均、中央値、最頻値を用いても良く、所定の値を一意的に用いても良い。さらに、隣接する８個の近傍点ではなく、それ以外の周辺の所定の画素を用いてもよい。
【００７３】
このような処理を行う結果、移動先決定手段６２は、補間フレームＦＨ上の各画素について、１つ以上の動きベクトル候補を決定し、参照位置決定手段６４に出力する。このように、穴あき画素について、動きベクトル候補で穴埋めを行なうことで、補間フレームの周辺の画素値を基に（例えば平均や中央値を持って）決定する場合に比べ補間フレームの画素値を正確に求めることが可能となる。
【００７４】
参照位置決定手段６４は、補間フレームＦＨの各画素の動きベクトル候補を基に、当該画素の画素値の決定のために参照されるべき、第１及び第２参照フレームＦＡ及びＦＢ内の画素の位置（参照画素位置）を決定する。
具体的には、図２０に示すように、補間フレームＦＨ上の各画素６０２から、当該画素についての動きベクトル候補を２で除した値６０３分移動した、第１参照フレームＦＡ上の位置６０４と、該値６０３の極性を反転させた分移動した、第２参照フレームＦＢ上の位置６０１を参照位置として決定し、参照画素の対（６０４、６０１）を得る（Ｓ２４４）。
補間フレームＦＨ上の各画素について動きベクトル候補が複数個求められている場合には、動きベクトル候補の個数と同数の参照画素の対が得られることとなる。
【００７５】
補間画素値決定手段６６は、参照位置決定手段６４によって得た参照画素の対を基に補間フレームＦＨの各画素の画素値を決定し、補間フレームＦＨを生成する。補間フレームＦＨの画素値は参照画素の対を構成する第１参照フレームＦＡ上の画素値と第２参照フレームＦＢ上の画素値の平均を以って決定する。
例えば、図２１に示すように第２参照フレームＦＡ上の画素６０４と第２参照フレームＦＢ上の画素６０１の平均値を補間フレームＦＨの画素６２２の値とする。
【００７６】
上記のように、補間フレームＦＨの各画素について複数の動きベクトル候補が求められている場合、複数の参照画素の対のうちの一つを選択する必要がある。
補間画素値決定手段６６は、参照画素の対の中で、参照画素の対を構成する第１参照フレームＦＡ上の画素と第２参照フレームＦＢ上の画素の画素値の差分を求め（Ｓ２４５）、求めた差分の大きさで参照画素の対を選別する。例えば、差分が最も小さな参照画素の対を選択する。そして、選択した参照画素の対を用いて、平均値を算出し（Ｓ２４６）、算出した平均値を補間フレームＦＨの画素値として決定する（Ｓ２４７）。差分が最も小さい参照画素の対から求められる補間フレームＦＨの画素値は最も確からしい画素値であると言うことができ、補間フレームの画質向上が期待される。
【００７７】
なお、参照画素の対の選択は、参照画素の対を構成する第１参照フレームＦＡ上の画素と第２参照フレームＦＢ上の画素の画素値の差分の大きさに基づいて決定する方法に限定されず、例えば、色差情報やエッジ情報などその他の要素によって決定することとしても良い。
【００７８】
以上の処理を、画面上の左上隅の画素から、右下隅の画素まで順に行う（Ｓ２４３、Ｓ２４８、Ｓ２４９）。
【００７９】
以上のように、最終的な補間フレームＦＨの画素値を決定する段階まで動きベクトル候補１つに限定しないことにより、複数の動きが混在するような領域でも正確に補間フレームＦＨを合成することが可能となる。
【００８０】
上記の実施の形態では、第１参照フレームＦＡと第２参照フレームＦＢの２枚のフレームより動き推定を行っているが、代わりに、第１参照フレームＦＡ及び第２参照フレームＦＢを含む３枚以上のフレームより動きを求めることとしても良く、この場合には、各解像度の３枚以上のフレームの参照画像の組を用いて各階層における動き推定を行うことになる。
【００８１】
図２２は、第２参照フレームＦＢに時間的に隣接するさらに過去のフレーム、例えば第１参照フレームＦＡに対して２フレーム期間前のフレーム（以下、第３参照フレームと呼び、符号ＦＣで表す）を加えた３枚のフレームを用いて動きを求める例を示す。
【００８２】
第１〜第３参照フレームＦＡ〜ＦＣの参照画像を作成するためには、図１の構成の代わりに図２３の構成を用いる。
図２３の構成では、入力画像が第１参照フレームＦＡの非縮小画像ＦＡ１としてフレームメモリ１０、参照画像生成部２０、動き補償型補間フレーム合成部６０に供給され、フレームメモリ１０では、第１参照フレームＦＡの非縮小画像ＦＡ１として書き込まれたた後１フレーム期間経過後に第２参照フレームＦＢの非縮小画像ＦＢ１として読み出され、２フレーム期間経過後に第３参照フレームＦＣの非縮小画像ＦＣ１と読み出される。
【００８３】
参照画像生成部２０では、第１〜第３の参照フレームＦＡ〜ＦＣの非縮小画像を順次縮小して、第１乃至第Ｎの参照画像の組ＧＦ１〜ＧＦＮを生成する。
多重解像度動き推定部４０では、第１乃至第３の参照画像の組ＧＦ１〜ＧＦＮに基づいて動き推定を行う。
動き補償型補間フレーム合成部６０は、多重解像度動き推定部４０による動き推定の結果を用いて、第１参照画像の組を参照して、補間フレームを合成し、フレームメモリ１０に書き込む。
【００８４】
多重解像度動き推定部４０内の各段の類似度計算手段４４−ｎにおいて、３枚のフレーム上の画素の組に基づいて類似度を計算する際には、第２参照フレームＦＢ上の画素を中心とする窓４２２内の画素と、該画素を中心として、互いに点対称の位置にある、第１参照フレームＦＡ上の画素を中心とする窓４２３内の画素及び第３参照フレームＦＣ上の画素を中心とする窓４２１内の画素を組合せて用いる。
【００８５】
そして、例えば窓４２２内の画素と窓４２３内の画素の差分絶対値和ＳＡＤ１と、窓４２２内の画素と窓４２１内の画素の差分絶対値和ＳＡＤ２の和ＳＡＤ３を求め、該和ＳＡＤ３を基に類似度を決定することができる。例えば該和ＳＡＤ３が小さいほど類似度が高いとして扱う。第３参照フレームＦＣを加えることによりブロックマッチングの精度が向上し、より高精度の動き推定が可能となる。
【００８６】
実施の形態２．
以下、本発明の実施の形態２を図面により説明する。図２４は、実施の形態２における多重解像度動き推定部４０ｂの一例を示す。
図２４の多重解像度動き推定部４０ｂは、図６の多重解像度動き推定部４０に対して、動きベクトル候補情報選択手段４３−２〜４３−Ｎが付加されている点で異なる。即ち、図２４に示す多重解像度動き推定部４０ｂは、複数段の探索範囲限定手段４２−１〜４２−Ｎと、複数段の動きベクトル候補情報選択手段４３−２〜４３−Ｎと、複数段の類似度計算手段４４−１乃至４４−Ｎと、動きベクトル候補決定手段４６を有する。
【００８７】
各段の類似度計算手段、即ち第ｎの類似度計算手段４４−ｎ（ｎは１〜Ｎ）は、対応する、第ｎの階層の参照画像の対、即ち、第（Ｎ−ｎ＋１）の参照画像の対ＧＦ（Ｎ−ｎ＋１）を入力として、当該対を構成する参照画像ＦＡ（Ｎ−ｎ＋１）及びＦＢ（Ｎ−ｎ＋１）上の画素間の相関、即ち類似度を計算する。
【００８８】
第ｎの動きベクトル候補情報選択手段４３−ｎ（ｎは２〜Ｎ）は、前段、即ち第ｎ−１の類似度計算手段４４−（ｎ−１）による動き推定の結果を示す類似度テーブルから、所定の規則に従って、類似度テーブルを選択する。
【００８９】
この場合、各処理対象画素の周辺の画素に対応する類似度テーブル（動きベクトル候補を示す情報）のうちの、当該処理対象画素について推定された類似度が最大である動きベクトル候補との差分が最も大きいものを含む類似度テーブルから順に、所定の個数の類似度テーブルを選択するとともに、当該選択された所定の個数の類似度テーブルに対応する周辺の画素と、当該処理対象画素を中心として点対称の位置にある画素に対応する類似度テーブルをも合わせて選択する。
【００９０】
上記の動きベクトル候補情報選択手段４３−ｎの動作を図２５のフローチャートを参照してさらに説明する。
一つの代表点を処理対象画素として、該処理対象画素についての類似度計算の準備として、類似度テーブルの選択を開始（Ｓ２６０）すると、最初に、上記処理対象画素に対応する類似度テーブルを取得し、該テーブル内で類似度が最大の動きベクトル候補を抽出する（Ｓ２６１）。
次に、処理対象画素の周辺の画素に対応する類似度テーブルを取得し、各類似度テーブル内で類似度が最大の動きベクトル候補を抽出する（Ｓ２６２）。
【００９１】
各段の動きベクトル候補情報選択手段４３−ｎによりステップＳ２６１、Ｓ２６２で取得される類似度テーブルは、前段類似度計算手段４４−（ｎ−１）で生成乃至構成されるものである。
【００９２】
次に、ステップＳ２６２で抽出した、各動きベクトル候補（周辺の画素の各々に対応する各類似度テーブル内で類似度が最大の動きベクトル候補）と、ステップＳ２６１で抽出した動きベクトル候補（処理対象画素に対応する類似度テーブル内で類似度が最大の動きベクトル候補）との差分を求める（Ｓ２６３）。
【００９３】
次に、周辺の画素に対応する類似度テーブルのうち、ステップＳ２６３で求めた差分が最も大きい動きベクトル候補を含む類似度テーブルを一つ抽出する（Ｓ２６４）。
そして、それまでに抽出した類似度テーブルの個数が所定値に達したか否かを判断し（Ｓ２６５）、いまだ所定値に達していなければ、ステップＳ２６６に進み、（周辺の画素に対応する類似度テーブルのうち、）すでに抽出された類似度テーブル以外で、差分が最も大きい動きベクトル候補を含む類似度テーブルを一つ抽出し、その後、ステップＳ２６５に進む。
ステップＳ２６５で所定値に達したら、ステップＳ２６４又はＳ２６６で抽出された類似度テーブルに対応する画素の各々と、処理対象画素を中心として点対称位置にある画素に対応する類似度テーブルを抽出し（Ｓ２６７）、処理を終了する（Ｓ２６８）。
【００９４】
処理対象画素に対応する類似度テーブルと、ステップＳ２６４、Ｓ２６６、Ｓ２６７で抽出された類似度テーブルのすべてが、動きベクトル候補情報選択手段４３−ｎで選択された類似度テーブルとして、同じ段の探索範囲限定手段４２−ｎに供給される。
【００９５】
初段以外の各段の探索範囲限定手段、即ち第ｎの探索範囲限定手段４２−ｎ（ｎは２〜Ｎ）は、同じ段、即ち第ｎの動きベクトル候補情報選択手段４３−ｎ（ｎは２〜Ｎ）によって選択された動きベクトル候補情報、例えば類似度テーブルに基づき探索範囲を決定する。
初段の探索範囲限定手段４２−１には、同じ段の動きベクトル候補情報選択手段も、前段の類似度計算手段も存在しないので、空の類似度テーブル（図６で符号「０」で表されている）が与えられる。
【００９６】
第ｎの類似度計算手段４４−ｎ（ｎは１〜Ｎ）は、第ｎの探索範囲限定手段４２−ｎで決定された探索範囲内の動きベクトル候補に関し、対応する画素間の（第２参照フレームＦＢ上の処理対象画素と、該処理対象画素の位置を起点として、当該動きベクトル候補に相当する移動先に位置する、第１参照フレームＦＡ上の画素の間の）類似度の計算を行い、計算結果に基づき、動き推定を行う。即ち、第２参照フレームＦＢの画素と第１参照フレームＦＡの画素で構成される画素対の類似度を求めることで、第２参照フレームＦＢの各画素が第１参照フレームＦＡ上ではどの位置に移動しているか（相対位置、即ち動きベクトル）を求める。
【００９７】
実施の形態２における、動きベクトル候補情報選択手段４３−ｎ（ｎは２〜Ｎ）及び探索範囲限定手段４２−ｎ（ｎは１〜Ｎ）以外の構成、即ち、類似度計算手段４４−ｎ、及びその他のブロックは実施の形態１と同様である。
【００９８】
実施の形態１では、各解像度の参照画像の対を用いた動き推定における、各処理対象画素についての探索範囲の決定に当たり、当該解像度よりも一段低い解像度の参照画像の対を用いた各処理対象画素についての動き推定結果として、
当該処理対象画素に対応する類似度テーブルに加えて、当該処理対象画素の周辺の代表点（例えば隣接する代表点）に対応する類似度テーブルも利用することで精度の向上を図った。
【００９９】
本実施の形態２で用いられる動きベクトル候補情報選択手段４３−ｎ（ｎは２〜Ｎ）は、
周辺の代表点に対応する類似度テーブル（動きベクトル候補情報）のすべてを利用するのではなく、当該処理対象画素ごとに周辺の代表点に対応する類似度テーブル（動きベクトル候補情報）を所定の個数に限定する。
【０１００】
以下、周辺の代表点を当該処理対象画素に隣接する上下左右の４つの代表点とし、２つの類似度テーブルを選択するものとして説明するが、周辺代表点は上下左右に限定されるものではなく、選択する類似度テーブルも２つに限定されるものではない。
【０１０１】
動きベクトル候補情報選択手段４３−ｎ（ｎは２〜Ｎ）では、まず、周辺の代表点の類似度テーブルの中から、後述する基準で最適の動きベクトル候補を含むものを一つ選択する。さらに、最適の動きベクトル候補を含む類似度テーブルに対応する周辺の代表点と、当該処理対象画素を中心に点対称の位置にある周辺の代表点の類似度テーブルを選択する。このようにして選択された２つの類似度テーブルが動きベクトル候補情報選択手段４３−ｎから出力される。
【０１０２】
初段以外の各段の探索範囲限定手段、即ち第ｎの探索範囲限定手段４２−ｎ（ｎは２〜Ｎ）は、同じ段の動きベクトル候補情報選択手段４３−ｎで選択された類似度テーブルに基づき探索範囲を決定する。即ち、探索範囲限定手段４２−ｎでは、動きベクトル候補情報選択手段４３−ｎで選択された類似度テーブルに含まれる１又は２以上の動きベクトル候補に対応する移動先位置を中心とする所定の範囲、例えば所定の距離以内の範囲を探索範囲と設定する。
初段の探索範囲限定手段４２−１の動作は、実施の形態１と同様である。
【０１０３】
図１０に示す１／１６縮小画像での動き推定から図１１に示す１／４縮小画像での動き推定に類似度テーブルを伝達する場合を例にとると、利用する周辺代表点を上下左右の４近傍点とした場合、例えば、図１０に示す１／１６縮小画像において第２参照フレームＦＢの代表点（処理対象画素）４５１についての類似度テーブルに加え、最適の動きベクトル候補を含む類似度テーブルに対応する代表点（周辺の画素）が代表点４５２ｂとすると、点対称の位置にある代表点４５２ｇを加えた３つの類似度テーブルを探索範囲限定手段へと伝達する。
【０１０４】
最適の動きベクトル候補を含む類似度テーブルの選択の基準について以下に説明する。
処理対象画素に対応する類似度テーブルに基づいて限定される探索範囲と選択された周辺の画素に対応する類似度テーブルによって限定される探索範囲が異なっている或いは重なり度合いが少ない方が望ましい。そこで、周辺のそれぞれの代表点に対応する類似度テーブルに含まれる、最も高い類似度の動きベクトル候補の中で、当該処理対象画素に対応する類似度テーブルに含まれる、最も類似度が高い動きベクトル候補との差が最も大きな動きベクトル候補を含む類似度テーブルを上記の最適の動きベクトルを含む類似度テーブルとして選択する。
【０１０５】
このように、周辺の画素について推定された動きベクトル候補を含む類似度テーブルの中から、当該処理対象画素に対応する類似度テーブルに含まれる最高類似度の動きベクトル候補と最も差分の大きな最高類似度の動きベクトル候補を含む類似度テーブルを選択することにより、より多様な動きに対応した探索範囲を展開できる。
また、上記の差分が大きい最高類似度の動きベクトル候補（最適の動きベクトル候補）を含む類似度テーブルに対応する周辺の画素に対し、当該処理対象画素を中心に点対称の位置の画素の類似度テーブルをも選択することで、異なる動きを持つ２つの領域間の境界付近において、点対称の位置の代表点を選択することが可能となり、上記の境界をまたぎ、境界をはさんだ両側の動きベクトル候補を基に探索範囲を設定し、境界付近の動きベクトル検出精度の向上が期待される。
【０１０６】
なお、最適の動きベクトル候補を含む類似度テーブルは１つに限定せず、複数としてもよく、また、その選択方法は、前記方法以外でも本実施の形態は成立する。例えば、周辺の全代表点の類似度テーブルの中で、最も高い類似度を有する類似度テーブルを選択するなども考えられる。
【０１０７】
以上のように、周辺の代表点についての類似度テーブルをすべては利用せず、適切に選択して探索範囲を決定することで、探索範囲が必要以上の広くなるのを抑制し、処理量を削減することが可能となる。また、必要以上の探索範囲を設定しないことにより、動きの誤推定を減らすこともできる。
【０１０８】
実施の形態３．
以下、本発明の実施の形態３を図面により説明する。図２６は、実施の形態３における多重解像度動き推定部４０ｃの一例を示す。
図２６の多重解像度動き推定部４０ｃは、図２４の多重解像度動き推定部４０ｂに対して、ゼロ動き類似度計算手段４５が付加されており、動きベクトル候補決定手段４６の代わりに、動きベクトル候補決定手段４７が用いられている点で異なる。即ち、図２６に示す多重解像度動き推定部４０ｃは、複数段の探索範囲限定手段４２−１〜４２−Ｎと、複数段の動きベクトル候補情報選択手段４３−１〜４３−Ｎと、複数段の類似度計算手段４４−１乃至４４−Ｎと、ゼロ動き類似度計算手段４５と、動きベクトル候補決定手段４７を有する。
【０１０９】
ゼロ動き類似度計算手段４５は、動きベクトル０に対応する類似度を計算する。即ち、当該処理対象画素を中心とし１辺が１画素の（当該処理対象画素のみを内包する）探索範囲、即ち１×１画素の範囲（当該処理対象画素のみから成る範囲）内の動きベクトル候補について類似度を計算する類似度計算手段と同様に動作し、動き０の動きベクトルに対応した（１つのみの要素を持つ）類似度テーブルを伝達する。
【０１１０】
動きベクトル候補決定手段４７は、ゼロ動き類似度計算手段４５より伝達された類似度テーブルの類似度が所定の閾値より高ければ、動きベクトル候補をすべて０（動きなし）とする。上記類似度が上記閾値より低ければ、実施の形態２の動きベクトル候補決定手段４６と同様に動きベクトル候補を決定する。
【０１１１】
以上のように、動きなしの類似度を求め、必要に応じて動きベクトル候補を０とすることで、静止する物体が含まれる場合において、より高精度に動き推定を行うことが可能となる。
【０１１２】
以上本発明をフレーム補間装置として説明したが、該装置で実行されるフレーム補間方法も本発明の一部を成す。本発明はさらに、上記のフレーム補間装置またはフレーム補間方法における手順乃至各ステップの処理を実行するプログラムとしても成立し、該プログラムを記録したコンピュータで読み取り可能な記録媒体としても成立する。
【産業上の利用可能性】
【０１１３】
本発明の活用例として、テレビのフレーム周波数変換や、業務用モニターのフレーム周波数変換に適用できる。また、動きベクトルを用いたぼやけ補正などの映像処理への応用も可能である。
【符号の説明】
【０１１４】
２  映像信号入力端子、  ４  映像信号出力端子、  ２０  参照画像生成部、  ２１−１〜２１−（Ｎ−１）  画像縮小手段、  ４０  多重解像度動き推定部、  ４２−１〜４２−Ｎ  探索範囲限定手段、  ４３−２〜４３−Ｎ  動きベクトル候補情報選択手段、  ４４−１〜４４−Ｎ  類似度計算手段、  ４５  ゼロ動き類似度計算手段、  ４６  動きベクトル候補決定手段、  ４７  動きベクトル候補決定手段、  ６０  補間フレーム合成部、  ６２  移動先決定手段、  ６４  参照位置決定手段、  ６６  補間画素値決定手段。
【図１】
0005669523.tif 000002
【図２】
0005669523.tif 000003
【図３】
0005669523.tif 000004
【図４】
0005669523.tif 000005
【図５】
0005669523.tif 000006
【図６】
0005669523.tif 000007
【図７】
0005669523.tif 000008
【図８】
0005669523.tif 000009
【図９】
0005669523.tif 000010
【図１０】
0005669523.tif 000011
【図１１】
0005669523.tif 000012
【図１２】
0005669523.tif 000013
【図１３】
0005669523.tif 000014
【図１４】
0005669523.tif 000015
【図１５】
0005669523.tif 000016
【図１６】
0005669523.tif 000017
【図１７】
0005669523.tif 000018
【図１８】
0005669523.tif 000019
【図１９】
0005669523.tif 000020
【図２０】
0005669523.tif 000021
【図２１】
0005669523.tif 000022
【図２２】
0005669523.tif 000023
【図２３】
0005669523.tif 000024
【図２４】
0005669523.tif 000025
【図２５】
0005669523.tif 000026
【図２６】
0005669523.tif 000027