(57)【特許請求の範囲】
【請求項１】
原画像の基準フレームと参照フレームとの間の動きベクトルを検出する動きベクトル検出装置であって、
原画像を所定のサイズのブロックに分割したブロック画像を生成するブロック分割部と、
前記ブロック画像を空間周波数解析して空間周波数スペクトルを生成する空間周波数解析部と、
前記ブロック画像ごとに、基準フレームと参照フレームとの間の動きベクトルを検出する動きベクトル検出部と、
複数のブロック画像をブロックセット画像とし、前記ブロックセット画像内のブロック画像間の平均輝度の差分値を算出する平均輝度差分算出部と、
前記空間周波数スペクトルから、前記ブロックセット画像内の１つのブロック画像について空間周波数の高周波領域のパワーの割合を算出する空間方向高周波領域パワー算出部と、
前記ブロックセット画像について、前記平均輝度の差分値が第１の閾値以下であり、且つ、前記高周波領域のパワーの割合が第２の閾値以下である場合には、前記ブロックセット画像内のブロック画像を統合して統合ブロック画像とするブロックサイズ修正部と、
前記統合ブロック画像については、前記各ブロック画像の動きベクトルの平均値を統合動きベクトルとして出力し、統合されていないブロック画像については、前記動きベクトル検出部により検出されたブロック画像ごとの動きベクトルを出力するとともに、
該出力する統合動きベクトルに対応する統合ブロック画像のサイズ、又は該出力する動きベクトルに対応するブロック画像のサイズを示す動き検出ブロック情報を出力する動きベクトル修正部と、
を備えることを特徴とする動きベクトル検出装置。
【請求項２】
前記動きベクトル修正部は、前記統合ブロック画像については、統合ブロック画像内の統合前の各ブロック画像の動きベクトルの差分値を算出し、該動きベクトルの差分値が第３の閾値以下である場合には、前記統合前の各ブロック画像の動きベクトルの平均値を統合ブロック画像の動きベクトルとして出力し、該動きベクトルの差分値が前記第３の閾値を超える場合には、統合ブロック画像の統合を解除し、前記統合前のブロック画像ごとの動きベクトルを出力することを特徴とする、請求項１に記載の動きベクトル検出装置。
【請求項３】
前記動きベクトル検出部は、前記空間周波数スペクトルから空間周波数の高周波領域のパワーの割合を算出し、該算出した空間周波数の高周波領域のパワーの割合が高いほど動き探索範囲を狭く設定する動き探索範囲決定部と、
前記動きベクトルの探索範囲で、前記ブロック分割部により生成されたブロック画像ごとに動きベクトルを検出するブロックマッチング部と、
を備えることを特徴とする、請求項１又は２に記載の動きベクトル検出装置。
【請求項４】
前記動きベクトル検出部は、
前記原画像における複数フレームにわたる時間方向の高周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能、又は動画像における１フレームの空間方向の低周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能のテーブルを保持しており、
当該時間方向の高周波領域のパワーの割合又は空間方向の低周波領域のパワーの割合を検出して分解能の値を決定する分解能決定部と、
前記テーブルを参照して、前記分解能の値に対応するブロックサイズ及び動き探索範囲の大きさの階層から動きベクトル検出を開始して、次第に該ブロックサイズよりも小さいブロックサイズ及び該動き探索範囲の大きさよりも小さい動き探索範囲の大きさの階層での動きベクトル検出へと移行する階層型動きベクトル検出部と、
を備えることを特徴とする、請求項１又は２に記載の動きベクトル検出装置。
【請求項５】
請求項１〜４のいずれか一項に記載の動きベクトル検出装置を備え、
前記動きベクトル検出部から出力された動きベクトルの情報及び動き検出ブロック情報を符号化した符号化データを生成するとともに、該動きベクトルの情報及び該動き検出ブロック情報を用いて動き補償を行って前記原画像の符号化データを生成することを特徴とする符号化装置。
【請求項６】
コンピュータを、請求項１〜４のいずれか一項に記載の動きベクトル検出装置として機能させるための動きベクトル検出プログラム。
【請求項７】
コンピュータを、請求項５に記載の符号化装置として機能させるための符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の基準フレームと参照フレームとの間の動きベクトルを検出する動きベクトル検出装置、動きベクトル検出装置を用いた符号化装置、及びこれらのプログラムに関するものである。
【背景技術】
【０００２】
近年、撮像装置及び表示装置の高精細化が進んでおり、超解像（Super-Resolution）と称される動画像の高解像化技術が研究されている（例えば、特許文献１参照）。いわゆる８Ｋシステムと呼ばれるスーパーハイビジョン（ＳＨＶ）のような超高精細映像、又は４Ｋシステムと呼ばれるデジタルシネマのような高精細映像は、従来のハイビジョン（ＨＤＴＶ）映像の４倍ないし１６倍の高解像度を有するに至っている。
【０００３】
そこで、２枚の画像を利用して超解像を行う際、シーンチェンジ検出や画素の位置合わせに適さない画素領域のマスク処理などの前処理を行った後、画素再構成処理により超解像画像を作成する技法が知られている（例えば、特許文献２参照）。
【０００４】
また、２枚の画像を利用して超解像を行う際、移動元のブロックと移動先のブロックの画像内の平均輝度を計算し、移動先のブロックの輝度にオフセットを付加して照度変化除去を行なった後、移動元のブロックと移動先のブロックの類似度比較を行い、画素再構成処理により超解像画像を生成する技法が知られている（例えば、特許文献３参照）。
【０００５】
ＳＨＶ画面の映像フォーマットは、水平７６８０画素、垂直４３２０ライン、時間６０フレーム／秒であり、ＨＤＴＶ画面の映像フォーマットと比較して、水平及び垂直標本化周波数が、時間標本化周波数に対して相対的に増大している。
【０００６】
したがって、ＳＨＶ画面の動領域は、同じ画角で撮像された動画像で比較した場合、ＨＤＴＶ画面と比較して大きな動き量（フレーム単位の動きを示す画素数：画素／フレーム）を示し、動領域ではフレーム間の相関が低くなり時間方向の高周波領域のパワーが高くなることが想定されるとともに、動領域のボケ量が大きくなり、空間方向の高周波領域のパワーが低くなることが想定される。符号化処理や超解像処理における複数フレーム間での動き量を推定するには、これらの想定に基づく処理が有効となる。
【０００７】
そこで、時間方向の高周波領域のパワーの割合及び／又は空間方向の低周波領域のパワーの割合を検出して分解能の値を決定し、決定した分解能の値に対応するブロックサイズ及び動き探索範囲の大きさの階層から動きベクトル検出を開始して、次第に該ブロックサイズよりも小さいブロックサイズ及び該動き探索範囲の大きさよりも小さい動き探索範囲の大きさの階層での動きベクトル検出へと移行する階層型の動きベクトル検出を行う技法が知られている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−１０５４９０号公報
【特許文献２】特開２０１０−１３４５８２号公報
【特許文献３】特開２０１１−０８２７００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献３に記載の技法を用いると、画像の時空間周波数解析を行うことでおおよその動き量を推定し、階層型動き検出の階層数を決定することにより、高精度な動きベクトル検出を行うことができる。しかしながら、画像内には様々なオブジェクトが存在し、特に、ＳＨＶなどの広視野且つ高解像度の映像では、画像内に含まれるオブジェクトの数が非常に多くなるため、高画質な複数フレームの超解像を行うためには、画面内で動き検出ブロックサイズや動き探索範囲などのより細かい制御が必要となる。
【００１０】
本発明は、上述の課題を鑑みて為されたものであり、原画像のブロックごとに画像特徴を判定し、同一オブジェクトを捉えているブロックは統合することにより、ブロックサイズを最適化して動きベクトルの情報量を減らし、且つ、高精度な動きベクトル情報を得ることができる動きベクトル検出装置、動きベクトル検出装置を用いた符号化装置、及びこれらのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明に係る動きベクトル検出装置は、原画像の基準フレームと参照フレームとの間の動きベクトルを検出する動きベクトル検出装置であって、原画像を所定のサイズのブロックに分割したブロック画像を生成するブロック分割部と、前記ブロック画像を空間周波数解析して空間周波数スペクトルを生成する空間周波数解析部と、前記ブロック画像ごとに、基準フレームと参照フレームとの間の動きベクトルを検出する動きベクトル検出部と、複数のブロック画像をブロックセット画像とし、前記ブロックセット画像内のブロック画像間の平均輝度の差分値を算出する平均輝度差分算出部と、前記空間周波数スペクトルから、前記ブロックセット画像内の１つのブロック画像について空間周波数の高周波領域のパワーの割合を算出する空間方向高周波領域パワー算出部と、前記ブロックセット画像について、前記平均輝度の差分値が第１の閾値以下であり、且つ、前記高周波領域のパワーの割合が第２の閾値以下である場合には、前記ブロックセット画像内のブロック画像を統合して統合ブロック画像とするブロックサイズ修正部と、前記統合ブロック画像については、前記各ブロック画像の動きベクトルの平均値を統合ブロック画像の動きベクトルとして出力し、統合されていないブロック画像については、前記動きベクトル検出部により検出されたブロック画像ごとの動きベクトルを出力するとともに、該出力する統合動きベクトルに対応する統合ブロック画像のサイズ、又は該出力する動きベクトルに対応するブロック画像のサイズを示す動き検出ブロック情報を出力する動きベクトル修正部と、を備えることを特徴とする。
【００１２】
さらに、本発明に係る動きベクトル検出装置において、前記動きベクトル修正部は、前記統合ブロック画像については、統合ブロック画像内の統合前の各ブロック画像の動きベクトルの差分値を算出し、該動きベクトルの差分値が第３の閾値以下である場合には、前記統合前の各ブロック画像の動きベクトルの平均値を統合ブロック画像の動きベクトルとして出力し、該動きベクトルの差分値が前記第３の閾値を超える場合には、統合ブロック画像の統合を解除し、前記統合前のブロック画像ごとの動きベクトルを出力することを特徴とする。
【００１３】
さらに、本発明に係る動きベクトル検出装置において、前記動きベクトル検出部は、前記空間周波数スペクトルから空間周波数の高周波領域のパワーの割合を算出し、該算出した空間周波数の高周波領域のパワーの割合が高いほど動き探索範囲を狭く設定する動き探索範囲決定部と、前記動きベクトルの探索範囲で、前記ブロック分割部により生成されたブロック画像ごとに動きベクトルを検出するブロックマッチング部と、を備えることを特徴とする。
【００１４】
さらに、本発明に係る動きベクトル検出装置において、前記動きベクトル検出部は、前記原画像における複数フレームにわたる時間方向の高周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能、又は動画像における１フレームの空間方向の低周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能のテーブルを保持しており、当該時間方向の高周波領域のパワーの割合又は空間方向の低周波領域のパワーの割合を検出して分解能の値を決定する分解能決定部と、前記テーブルを参照して、前記分解能の値に対応するブロックサイズ及び動き探索範囲の大きさの階層から動きベクトル検出を開始して、次第に該ブロックサイズよりも小さいブロックサイズ及び該動き探索範囲の大きさよりも小さい動き探索範囲の大きさの階層での動きベクトル検出へと移行する階層型動きベクトル検出部と、を備えることを特徴とする。
【００１５】
また、上記課題を解決するため、本発明に係る符号化装置は、上述した動きベクトル検出装置を備え、前記動きベクトル検出部から出力された動きベクトルの情報及び動き検出ブロック情報を符号化した符号化データを生成するとともに、該動きベクトルの情報及び該動き検出ブロック情報を用いて動き補償を行って前記原画像の符号化データを生成することを特徴とする。
【００１７】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上述した動きベクトル検出装置、又は符号化装置として機能させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、原画像のブロックごとに画像特徴を判定し、同一オブジェクトを捉えているブロックは統合することにより、ブロックサイズを最適化して動きベクトルの情報量を減らし、且つ、高精度な動きベクトル情報を得ることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明による実施例１の動きベクトル検出装置の構成を示すブロック図である。
【図２】本発明による実施例１の動きベクトル検出装置における動きベクトル検出部の構成を示すブロック図である。
【図３】本発明による実施例１の動きベクトル検出装置における動きベクトル最適化部の構成を示すブロック図である。
【図４】本発明による実施例１の動きベクトル検出装置の平均輝度差分算出部におけるブロックセットを例示する図である
【図５】本発明による実施例１の動きベクトル検出装置のブロックサイズ修正部における処理を説明する図である。
【図６】本発明による実施例１の動きベクトル検出装置の動きベクトル修正部における動作を示すフローチャートである。
【図７】本発明による実施例１の動きベクトル検出装置の動きベクトル修正部に入力される、ブロックセット内のブロックごとの動きベクトルの一例を示す図である。
【図８】本発明による実施例１の符号化装置の構成を示すブロック図である。
【図９】本発明による実施例１の復号装置の構成を示すブロック図である。
【図１０】本発明による実施例１の超解像補助情報生成装置の構成を示すブロック図である。
【図１１】本発明による実施例２の動きベクトル検出装置の構成を示すブロック図である。
【図１２】本発明による実施例２の動きベクトル検出装置における動きベクトル検出部の構成を示すブロック図である。
【図１３】本発明による実施例２の動きベクトル検出装置における動きベクトル検出部の時間方向高周波領域パワー算出部の構成を示すブロック図である。
【図１４】本発明による実施例２の動きベクトル検出装置における動きベクトル検出部の空間方向低周波領域パワー算出部の構成を示すブロック図である。
【図１５】本発明による実施例２の動きベクトル検出装置における動きベクトル検出部の空間方向の低周波領域のパワーの割合と動き検出開始階数の関係を例示する図である。
【図１６】本発明による実施例２の動きベクトル検出装置における動きベクトル検出部の階層型動きベクトル検出部の構成を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して、本発明による実施形態を詳細に説明する。
【実施例１】
【００２１】
図１は、本発明による実施例１の動きベクトル検出装置のブロック図である。図１に示すように、動きベクトル検出装置１は、ブロック分割部１０と、空間周波数解析部２０と、動きベクトル検出部３０と、動きベクトル最適化部４０とを備える。
【００２２】
ブロック分割部１０は、入力される原画像を所定のサイズ（例えば、８画素×８ライン）のブロックに分割し、ブロック単位のブロック画像列を空間周波数解析部２０、動きベクトル検出部３０、及び動きベクトル最適化部４０に出力する。なお、ブロックサイズは、記憶部（図示せず）に格納して読み出すようにしてもよい。
【００２３】
空間周波数解析部２０は、ブロック分割部１０から入力される分割画像列（ブロック画像列）について空間周波数解析を行って空間周波数スペクトルを生成し、ブロック画像ごとの空間周波数スペクトルを動きベクトル検出部３０及び動きベクトル最適化部４０に出力する。空間周波数解析には、ウェーブレット分解や、離散コサイン変換（ＤＣＴ）などを用いる。
【００２４】
動きベクトル検出部３０は、ブロック画像ごとに、基準フレームと参照フレームとの間の動きベクトルを検出する。図２は、動きベクトル検出部３０の構成を示すブロック図である。図２に示すように、動きベクトル検出部３０は、動き探索範囲決定部３１と、ブロックマッチング部３２とを備える。
【００２５】
動き探索範囲決定部３１は、空間周波数解析部２０から入力される空間周波数スペクトルに応じて動きベクトルの探索範囲である動き探索範囲を決定し、動き探索範囲を示す動き探索範囲情報をブロックマッチング部３２に出力する。具体的には、動き探索範囲決定部３１は、空間周波数解析部２０から入力される空間周波数スペクトルから空間周波数の高周波領域のパワーの割合を算出し、空間周波数の高周波領域のパワーの割合が高い場合は、静止領域か微少動き量の動領域である可能性が高いと判断して動き探索範囲を狭く設定し、空間周波数の高周波領域のパワーの割合が低くなるほど、動き探索範囲を広く設定する。
【００２６】
空間周波数の高周波領域のパワーの割合は、例えば標本化周波数の半分を超える高周波領域のパワーの割合とする。また、動き探索範囲は、水平軸方向の探索範囲を最大で［ｘ１，ｘ２］とし、水平方向の高周波領域のパワーの割合をＰ＿ｘとすると、例えば水平軸方向の探索範囲を（１−Ｐ＿ｘ）×（ｘ２−ｘ１）とする。垂直軸方向も同様に、探索範囲を最大で［ｙ１，ｙ２］とし、水平方向の高周波領域のパワーの割合をＰ＿ｙとすると、例えば水平軸方向の探索範囲を（１−Ｐ＿ｙ）×（ｙ２−ｙ１）とする。
【００２７】
ブロックマッチング部３２は、ブロックごとに、動き探索範囲決定部３１により設定された動き探索範囲で少数画素精度の動きベクトルを検出し、検出した動きベクトルの情報（位置合わせ情報）を動きベクトル最適化部４０に出力する。なお、後述する動きベクトル修正部４４にて最終的な動きベクトルが決定される。
【００２８】
具体的には、ブロックマッチング部３２は、画像分割部１０から入力されるブロック分割された基準フレーム画像に対して、基準フレームの参照フレームの原画像を参照フレーム画像としてブロックマッチングを行い、ブロック画像ごとに、基準フレームと参照フレームとの間の動きベクトルを検出する。ブロックマッチングは、例えばＳＳＤ（Sum of Squared Difference）法やＳＡＤ（Sum of Absolute intensity Difference）法を用いる。また、ブロックマッチングは、例えば式（１）に示すパラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。
【００２９】
【数１】
0005727873.tif 000002
【００３０】
ここで、探索位置における画素位置をxとしたとき、ＳＳＤ(x)は、画素位置におけるＳＳＤ値を表し、より具体的には、ＳＳＤ（０)は中心位置（ＳＳＤ値を最小とする位置）におけるＳＳＤ値、ＳＳＤ(−1)は中心位置から−ｘ方向又は−ｙ方向の隣接画素の位置におけるＳＳＤ値、ＳＳＤ（１)は中心位置から＋ｘ方向又は＋ｙ方向の隣接画素の位置におけるＳＳＤ値を表す。式（１）から、水平又は垂直方向の小数画素精度の画素位置（小数画素位置）をそれぞれ算出することができる。
【００３１】
動きベクトル最適化部４０は、ブロック分割部１０から入力される分割画像列、及び空間周波数解析部２０から入力される空間周波数スペクトルに基づいて、動きベクトル検出部３０から入力される動きベクトルを修正して最適化する。図３は、動きベクトル最適化部４０の構成を示すブロック図である。図３に示すように、動きベクトル最適化部４０は、空間方向高周波領域パワー算出部４１と、平均輝度差分算出部４２と、ブロックサイズ修正部４３と、動きベクトル修正部４４とを備える。
【００３２】
平均輝度差分算出部４２は、複数の隣接するブロック画像からなるブロックセット画像を決定する。図４は、ブロックセット画像を例示する図である。図４では、ブロックセット画像Ｓは、斜線を施した代表ブロック画像Ａと、代表ブロック画像Ａに隣接する３個のブロック画像Ｂ，Ｃ，Ｄとから構成される。なお、ブロックセット画像Ｓのブロック数は４個に限られるものではなく、例えば８個や９個でもよい。また、代表ブロックは、ブロックセット画像内の１つのブロック画像であり、図４では、ブロックセット画像の左上に位置するブロック画像を代表ブロック画像としているが、代表ブロック画像の位置は左上に限られるものではない。
【００３３】
平均輝度差分算出部４２は、ブロック分割部１０から入力されるブロック画像ごとに平均輝度を算出し、次にブロックセット画像ごとにブロック画像間の平均輝度の差分値を算出する。差分値は、例えば、差の絶対値の和、差の絶対値の積、又は差の二乗和とする。図４のブロックセット画像Ｓについて、ブロック画像Ａの平均輝度をＡave、ブロック画像Ｂの平均輝度をＢave、ブロック画像Ｃの平均輝度をＣave、ブロック画像Ｄの平均輝度をＤaveとし、差分値を差の絶対値とした場合には、差分値は、｜Ａave−Ｂave｜＋｜Ａave−Ｃave｜＋｜Ａave−Ｄave｜＋｜Ｂave−Ｃave｜＋｜Ｂave−Ｄave｜＋｜Ｃave−Ｄave｜となる。
【００３４】
平均輝度差分算出部４２は、ブロックセット画像Ｓ内のブロック画像間の平均輝度の差分値が所定の閾値以下である場合には、代表ブロック画像Ａに対して、平均輝度の差分値が小さいことを示す平均輝度小差分フラグＦＬ＿Ｌ（ｉ，ｊ）をオンに設定し、ブロックセット画像Ｓ内のブロック画像間の平均輝度の差分値が所定の閾値を超える場合には、代表ブロック画像Ａに対して、平均輝度小差分フラグＦＬ＿Ｌ（ｉ，ｊ）をオフに設定する。ここで、（ｉ，ｊ）は、フレーム画像におけるブロック画像の位置を示すインデックスである。そして、平均輝度差分算出部４２は、ブロック画像ごとの平均輝度小差分フラグＦＬ＿Ｌ（ｉ，ｊ）をブロックサイズ修正部４３に出力する。
【００３５】
空間方向高周波領域パワー算出部４１は、空間周波数解析部２０から入力されるブロック画像ごとの空間周波数スペクトルから、代表ブロック画像について、空間周波数の高周波領域のパワーの割合を算出し、算出した空間周波数の高周波領域のパワーの割合が所定の閾値以下である場合には、代表ブロック画像に対して空間周波数が低いことを示す空間低周波フラグＦＬ＿Ｓ（ｉ，ｊ）をオン（真）に設定し、算出した空間周波数の高周波領域のパワーの割合が所定の閾値を超える場合には、空間低周波フラグＦＬ＿Ｓ（ｉ，ｊ）をオフ（偽）に設定する。ここで、（ｉ，ｊ）は、画像内のブロックの位置を示すインデックスである。そして、空間方向高周波領域パワー算出部４１は、ブロック画像ごとの空間低周波フラグＦＬ＿Ｓ（ｉ，ｊ）をブロックサイズ修正部４３に出力する。
【００３６】
ブロックサイズ修正部４３は、空間方向高周波領域パワー算出部４１から入力される空間低周波フラグＦＬ＿Ｓ（ｉ，ｊ）、及び平均輝度差分算出部４２から入力される平均輝度小差分フラグＦＬ＿Ｌ（ｉ，ｊ）に基づいて、ブロックセット画像内のブロック画像を統合するか否かを決定し、ブロック画像のサイズを修正する。図５は、ブロックサイズ修正部４３の処理を説明する図である。図５に示すように、ブロックサイズ修正部４３は、代表ブロック画像Ａについて、空間低周波フラグＦＬ＿Ｓ（ｉ，ｊ）がオン、且つ、平均輝度小差分フラグＦＬ＿Ｌ（ｉ，ｊ）がオンである場合には、ブロックセット画像Ｓ内のブロック画像Ａ，Ｂ，Ｃ，Ｄを統合して１つの統合ブロック画像Ｔとする。すなわち、統合ブロック画像ＴのブロックサイズはブロックセットＳのサイズとなる。ブロックサイズ修正部４３は、修正後のブロック画像（ブロック画像又は統合ブロック画像）のブロックサイズを示すブロック情報を動きベクトル修正部４４に出力する。なお、ブロック情報は、初期（統合前）のブロック画像ごとに統合されたか否かを示すフラグであってもよい。
【００３７】
つまり、代表ブロックの空間高周波領域のパワーが低い場合は、当該ブロック画像は静止領域や微少動き量の動領域におけるアウトフォーカス領域、又は大きな動き量で動きぼやけ量の大きい動領域の画像である可能性が高い。ブロックサイズ修正部４３は、小さなブロックサイズでは画像特徴を捉えられず動きベクトルの検出精度が低下するため、周囲のブロック画像との統合を検討する。そして、周囲のブロック画像との平均輝度差分が小さい場合は、周囲ブロックと同一オブジェクトを捉えている可能性が高いため、周囲ブロックとの統合を行う。これにより、動きベクトルの検出精度を高めることができる。
【００３８】
動きベクトル修正部４４は、ブロックマッチング部３２から入力されるブロック画像ごとの動きベクトル情報、及びブロックサイズ修正部４３から入力されるブロック情報から、動きベクトルを修正し、修正した動きベクトルを外部に出力するとともに、出力する動きベクトルに対応する画像のブロックサイズを示す動き検出ブロック情報を外部に出力する。図６は、動きベクトル修正部４４の動作を示すフローチャートである。図７は、ブロックセット画像内のブロック画像ごとの動きベクトルの一例を示す図である。図６及び図７を参照して動きベクトル修正部４４の動作を説明する。
【００３９】
まず、動きベクトル修正部４４は、ブロックサイズ修正部４３から入力されるブロック情報から各ブロック画像が統合されたか否かを判別する(ステップＳ１１)。ステップＳ１１にて、ブロック画像が統合されていないと判定された場合には、ブロックマッチング部３２から入力されるブロック画像ごとの動きベクトルをそのまま最終的な動きベクトルとして出力する(ステップＳ１６)。一方、ステップＳ１１にて、ブロック画像が統合されたと判定された場合には、統合ブロック画像Ｔ内の統合前の各ブロックの動きベクトルａ，ｂ，ｃ，ｄを取得する(ステップＳ１２)。次に、ステップＳ１２にて取得した動きベクトルａ，ｂ，ｃ，ｄ間の差分値を算出する(ステップＳ１３)。差分値は、例えば、差の絶対値の和、差の絶対値の積、又は差の二乗和とする。
【００４０】
そして、動きベクトル修正部４４は、ステップＳ１２にて算出した差分値が所定の閾値以下であるか否かを判定する（ステップＳ１４）。ステップＳ１４にて差分値が所定の閾値以下であると判定した場合には動きベクトルを統合し、動きベクトルａ，ｂ，ｃ，ｄの平均値を統合ブロック画像Ｔの動きベクトルとして出力する(ステップＳ１５)。一方、ステップＳ１４にて差分値が所定の閾値を超えると判定した場合には、ブロック画像の統合を解除し、統合前のブロック画像ごとの動きベクトルを出力する(ステップＳ１５)。また、動きベクトル修正部４４は、出力する動きベクトルに対応する画像（ブロック画像又は統合ブロック画像）のサイズを示す情報を動き検出ブロック情報として外部に出力する。なお、動き検出ブロック情報は、初期（統合前）のブロック画像ごとに統合されたか否かを示すフラグであってもよい。
【００４１】
なお、動きベクトル修正部４４は、ステップＳ１１にて、ブロック画像が統合されたと判定された場合には、統合ブロック画像内の統合前の各ブロックの動きベクトルａ，ｂ，ｃ，ｄを取得し(ステップＳ１２)、ステップＳ１３及びステップＳ１４の処理を行わずに動きベクトルａ，ｂ，ｃ，ｄの平均値を統合ブロック画像Ｔの動きベクトルとして出力してもよい。ただし、動きベクトルの高精度化を実現するためには、ステップＳ１３及びステップＳ１４の処理を行い、統合前の各ブロック画像の動き検出精度が高いと考えられる場合、つまり動きベクトルの差分値が所定の閾値以下の場合にのみ、動きベクトルを統合するのが好適である。
【００４２】
隣接する統合ブロック画像が存在し、ステップＳ１４にて各統合ブロック画像の動きベクトルが統合されている場合には、各統合ブロック画像の動きベクトルを取得し、取得した動きベクトルの差分値を算出し、算出した差分値が所定の閾値以下であるときには、統合ブロック画像同士を統合した画像を新たな統合ブロック画像とするとともに、取得した動きベクトルの平均値を新たな統合ブロック画像の動きベクトルとして出力してもよい。
【００４３】
なお、上述した動きベクトル検出装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、動きベクトル検出装置１の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵ（中央演算処理装置）によってこのプログラムを読み出して実行させることで実現することができる。
【００４４】
このように、動きベクトル検出装置１及びそのプログラムによれば、ブロックサイズを最適化して、動きベクトルの情報量を減らし、且つ、高精度な動きベクトル情報を得ることができる。
【００４５】
［符号化装置］
次に、上述した動きベクトル検出装置１を用いた符号化装置について説明する。図８は、本発明による実施例１の符号化装置の構成を示すブロック図である。図８に示すように、符号化装置６０は、動きベクトル検出装置１と、減算部６１と、量子化部６２と、可変長符号化部６３と、逆量子化部６４と、逆直交変換部６５と、加算部６６と、フレームメモリ６７と、動き補償部６８とを備える。
【００４６】
減算部６１は、原画像と動き補償部６８から入力される予測画像との差分画像を生成して動きベクトル検出装置１に出力する。
【００４７】
動きベクトル検出装置１を符号化装置６０に適用する場合には、動きベクトル検出装置１は、動きベクトル情報及び動き検出ブロック情報に加えて、空間周波数解析部２０にて生成した空間周波数スペクトル（例えば離散コサイン変換により生成した変換係数）も外部に出力する。動きベクトル検出装置１は、減算部６１から入力される差分画像に対して、上述した動きベクトル検出処理を行い、空間周波数スペクトルを量子化部６２に出力し、動きベクトル情報、及び動き検出ブロック情報を可変長符号化部６３及び動き補償部６８に出力する。
【００４８】
量子化部６２は、動きベクトル検出装置１から入力される空間周波数スペクトルに対して量子化処理を行い、可変長符号化部６３及び逆量子化部６４に出力する。
【００４９】
可変長符号化部６３は、量子化部６２から入力される空間周波数スペクトルの量子化データと、動きベクトル検出装置１から入力される動きベクトル情報及び動き検出ブロック情報に対して可変長符号化処理を行い、符号化データのビットストリームを生成し、復号側に出力する。
【００５０】
逆量子化部６４は、量子化部６２から入力される空間周波数スペクトルの量子化データに対して逆量子化処理を行い、逆直交変換部６５に出力する。
【００５１】
逆直交変換部６５は、逆量子化部６４から入力された空間周波数スペクトルに対して逆直交変換、（例えば、動きベクトル検出装置１の空間周波数解析部２０にて離散コサイン変換が施されていた場合には逆離散コサイン変換（ＩＤＣＴ））を施し、加算部６６に出力する。
【００５２】
加算部６６は、逆直交変換部６５から入力される画像と、動き補償部６８から得られる予測画像とを加算処理して復号画像を生成し、フレームメモリ６７に出力する。
【００５３】
動き補償部６８は、フレームメモリ６７に格納された参照フレーム画像に対し、動きベクトル検出装置１から入力される動きベクトル情報及び動き検出ブロック情報を用いて動き補償を行って予測画像を生成し、予測画像を減算部６１に出力する。
【００５４】
なお、上述した符号化装置６０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置６０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００５５】
このように、符号化装置６０及びそのプログラムによれば、最適化された高精度な動きベクトルを符号化して伝送することができるようになる。
【００５６】
［復号装置］
次に、上述した符号化装置６０によって符号化されたデータを復号する復号装置について説明する。図９は、本発明による実施例１の復号装置の構成を示すブロック図である。図９に示すように、復号装置７０は、可変長復号部７１と、逆量子化部７２と、逆直交変換部７３と、加算部７４と、フレームメモリ７５と、動き補償部７６とを備える。
【００５７】
可変長復号部７１は、符号化装置６０から入力される符号化データに対して可変長復号処理を施し、空間周波数スペクトルの量子化データを逆量子化部７２に出力し、動きベクトル情報及び動き検出ブロック情報を動き補償部７６に出力する。
【００５８】
逆量子化部７２は、可変長復号部７１から入力される空間周波数スペクトルの量子化データに対して逆量子化処理を行い、逆直交変換部７３に出力する。
【００５９】
逆直交変換部７３は、逆量子化部７２から入力される空間周波数スペクトルに対して逆直交変換（例えば、ＩＤＣＴ）を施し、得られる画像を加算部７４に出力する。
【００６０】
加算部７４は、逆直交変換部７３から入力される画像と、動き補償部７６から入力される予測画像とを加算して画像を復元し、復号画像をフレームメモリ７５及び外部に出力する。
【００６１】
動き補償部７６は、フレームメモリ７５に格納された参照フレーム画像に対し、可変長復号部７１から入力される動きベクトル情報を用いて動き補償を行って予測画像を生成し、予測画像を加算部７４に出力する。
【００６２】
なお、上述した復号装置７０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、復号装置７０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００６３】
このように、復号装置７０及びそのプログラムによれば、動きベクトル情報及び動き検出ブロック情報から高画質の画像を復号することができるようになる。
【００６４】
［超解像補助情報生成装置］
次に、上述した動きベクトル検出装置１を用いた超解像補助情報生成装置８０について説明する。図１０は、本発明による実施例１の超解像補助情報生成装置の構成を示すブロック図である。図１０に示すように、超解像補助情報生成装置８０は、動きベクトル検出装置１と、画像縮小部８１とを備える。
【００６５】
画像縮小部８１は、原画像列を入力し、予め定めた縮小率で縮小した縮小画像列を出力する。図１０では、ウェーブレット分解により縮小画像を生成する例を示しており、画像縮小部８１は、ウェーブレット分解部８１１と、縮小画像生成部８１２とを備える。
【００６６】
ウェーブレット分解部８１１は、ｎ階空間ウェーブレット分解法を用いて画像縮小を行う（ｎは、０を含む自然数）。ウェーブレット分解部８１１は、記憶部（図示せず）に予め格納されているマザーウェーブレット情報（つまり、マザーウェーブレットの分解係数を表すフィルタ係数の情報）と、画像縮小率の情報を読み出し、マザーウェーブレット情報を用いて当該画像縮小率に対応する分解能でウェーブレット分解を行い、ウェーブレット分解した画像を縮小画像生成部８１２に出力する。
【００６７】
縮小画像生成部８１２は、ウェーブレット分解した画像の低周波成分（例えば、ｎ＝１として、１階空間ウェーブレット分解を行った場合には、水平・垂直方向に低周波成分の画像）を抽出して、抽出した低周波成分に対応する縮小画像を生成する。なお、マザーウェーブレットを可変として、マザーウェーブレットを変化させることで縮小画像列に含まれる折り返し歪量を制御することもできるため、この場合、可変するマザーウェーブレットの情報をマザーウェーブレット情報として記憶部（図示せず）に格納する。
【００６８】
なお、上述した超解像補助情報生成装置８０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像補助情報生成装置８０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００６９】
超解像補助情報生成装置８０から出力される、動きベクトル、動き検出ブロック情報、及び複数の縮小画像を用いて、高精度な超解像画像を生成することができる。ここで、動きベクトル検出装置１の動きベクトル修正部４４により、統合ブロック画像内の統合前の各ブロック画像間の動きベクトル差分が小さい場合は、統合前の各ブロック画像の動きベクトルの平均を統合ブロック画像の動きベクトルとしているため、画像縮小部８１により生成された複数の縮小画像から超解像を生成する場合に、演算量を低減することができる。また、空間周波数の高周波領域のパワーの割合が低い領域では、高精度な位置調整を行わなくても画質に及ぼす影響は少ないため、動きベクトルの情報を低減しつつ、高品質な超解像画像を生成することができる。
【実施例２】
【００７０】
次に、本発明による実施例２の動きベクトル検出装置２について、図面を参照して詳細に説明する。図１１は、本発明による実施例２の動きベクトル検出装置のブロック図である。図１１に示すように、動きベクトル検出装置２は、ブロック分割部１０と、空間周波数解析部２０と、動きベクトル検出部５０と、動きベクトル最適化部４０とを備える。実施例２の動きベクトル検出装置２は、実施例１の動きベクトル検出装置１と比較して、動きベクトル検出部３０に代えて動きベクトル検出部５０を備える点が相違する。
【００７１】
図１２は、動きベクトル検出部５０の構成を示すブロック図である。図１２に示すように、動きベクトル検出部５０は、分解能決定部５６と、階層型動きベクトル検出部５５とを備える。動きベクトル検出部５０に入力する分割画像のブロックサイズは、例えば動き探索範囲の最大値（例えば、２５６画素×２５６ライン）とする。
【００７２】
分解能決定部５６は、原画像における複数フレームにわたる時間方向の高周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能、及び／又は動画像における１フレームの空間方向の低周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能のテーブルを保持しており、当該時間方向の高周波領域のパワーの割合及び／又は空間方向の低周波領域のパワーの割合を検出して分解能の値を決定する。具体的には、分解能決定部５６は、時間方向高周波領域パワー算出部５１と、空間分解階数決定部５２と、空間方向低周波領域パワー算出部５３と、動き検出開始分解能決定部５４とを備える。
【００７３】
時間方向高周波領域パワー算出部５１は、動きベクトルの検出を行う基準フレームＦ(ｔＣ)及び動き探索に用いる参照フレームＦ(ｔＲ)を含む、時刻ｔ＝ｔ０…ｔｍにおける複数フレームの分割画像列Ｆ(ｔ０)，…，Ｆ(ｔＣ)，…，Ｆ(ｔＲ)，…，Ｆ(ｔｍ)を入力し、基準フレームの分割画像Ｆ(ｔＣ)における全画素について、この複数フレームを時間方向に予め規定した最大階数の周波領域に分解した後、全画素における時間方向の周波数帯域ごとのパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出して空間分解階数決定部５２に出力する。
【００７４】
図１３は、時間方向高周波領域パワー算出部５１の構成を示すブロック図である。図１３に示すように、時間方向高周波領域パワー算出部５１は、時間方向１次元Ｎｍａｘ階離散ウェーブレット分解処理部５１１と、時間方向周波数帯域別パワー算出部５１２とを備える。
【００７５】
時間方向１次元Ｎｍａｘ階離散ウェーブレット分解処理部５１１は、基準フレームの分割画像Ｆ(ｔＣ)（以下、基準分割画像と称する）及び参照フレームの分割画像Ｆ(ｔＲ)（以下、参照分割画像と称する）を含む、時刻ｔ＝ｔ０…ｔｍにおける分割画像列を入力し、基準分割画像の全画素について時間方向に予め規定したＮｍａｘ階（例えば、４階）の離散ウェーブレット分解を行う。
【００７６】
時間方向周波数帯域別パワー算出部５１２は、基準分割画像の全画素における時間方向の周波数帯域ごとのパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出して空間分解階数決定部５２に出力する。
【００７７】
空間分解階数決定部５２は、時間方向高周波領域パワー算出部５１によって算出した時間方向の高周波領域のパワーの割合から、時間方向の高周波領域のパワーの割合が大きいほど、動領域面積が大きく、且つ動き量が大きいと判断し、時間方向の高周波領域のパワーの割合に応じて空間周波数の分解階数Ｎｓ（即ち、空間方向の分解能）を決定し、決定した空間周波数の分解階数Ｎｓの情報を空間方向低周波領域パワー算出部５３に出力する。
【００７８】
例えば、表１に示すように、時間方向の高周波領域のパワーの割合と空間周波数の分解階数Ｎｓとの間で規定されるテーブルを予め保持しておく。時間方向の高周波領域とは、例えば標本化周波数の１／２を超える範囲とする。
【００７９】
【表１】
0005727873.tif 000003
【００８０】
空間方向低周波領域パワー算出部５３は、基準分割画像及び参照分割画像と空間周波数の分解階数Ｎｓの情報とを入力し、空間周波数の分解階数Ｎｓに基づいて、基準分割画像及び／又は参照分割画像に対して空間Ｎｓ階離散ウェーブレット分解を実行し、空間周波数帯域ごとのパワーを算出し、算出した空間周波数帯域ごとのパワーから空間方向の低周波領域のパワーの割合を算出し、算出した空間方向の低周波領域のパワーの割合、及び空間Ｎｓ階離散ウェーブレット分解したデータを動き検出開始分解能決定部５４に出力する。
【００８１】
なお、基準分割画像及び参照分割画像の双方に対して空間Ｎｓ階離散ウェーブレット分解を実行することは、後の処理として、固定のブロックサイズ及び探索範囲の大きさで階層型動きベクトル検出を行う際のウェーブレット再構成を階層的に行うことにより、元画像に対して可変のブロックサイズ及び探索範囲の大きさとする階層型動きベクトル検出を行うことができる点で有利であり、特に、動きベクトル検出を階層的に行うための分解能の決定のためには、基準分割画像及び参照分割画像のうちの空間方向の低周波領域のパワーの割合が大きいほうを選定するのが好適となる。以下の説明では、基準分割画像及び参照分割画像の双方について空間Ｎｓ階離散ウェーブレット分解を行う例を説明する。
【００８２】
図１４は、空間方向低周波領域パワー算出部５３の構成を示すブロック図である。図１４に示すように、空間方向低周波領域パワー算出部５３は、空間方向２次元Ｎｓ階離散ウェーブレット分解処理部５３１と、空間方向周波数帯域別パワー算出部５３２とを備える。
【００８３】
空間方向２次元Ｎｓ階離散ウェーブレット分解処理部５３１は、基準分割画像及び参照分割画像を入力し、空間分解階数決定部５２によって決定した空間周波数の分解階数Ｎｓに基づいて、基準分割画像及び参照分割画像の各々の全画素に対して空間Ｎｓ階離散ウェーブレット分解を行う。
【００８４】
空間方向周波数帯域別パワー算出部５３２は、基準分割画像及び参照分割画像の各々における空間周波数帯域ごとのパワーを算出し、算出した空間周波数帯域ごとのパワーから基準分割画像及び参照分割画像の各々における空間方向の低周波領域のパワーの割合を算出し、算出した基準分割画像及び参照分割画像の各々における空間方向の低周波領域のパワーの割合の大きいほうの情報を動き検出開始分解能決定部５４に出力する。
【００８５】
動き検出開始分解能決定部５４は、空間方向低周波領域パワー算出部５３によって算出した空間方向の低周波領域のパワーの割合の情報から、空間方向の低周波領域のパワーの割合が大きいほど（空間方向の高周波領域のパワーの割合が小さいほど）、動領域面積が大きく、且つ動き量が大きいと判断し、動きベクトル検出を階層的に開始するための分解能（以下、「動き検出開始分解能」と称する）が小さい値（即ち、低解像度画像）となるように、空間方向の低周波領域のパワーの割合に応じて動き検出開始分解能を決定し、決定した階層的な動き検出開始分解能の情報を階層型動きベクトル検出部５５に出力する。例えば、動き検出開始分解能決定部５４は、空間方向の低周波領域のパワーの割合が大きいほど、動きベクトル検出を開始する階数（以下、「動き検出開始階数」と称する）ｎｓが大きな値となるように、空間方向の低周波領域のパワーの割合に応じて動き検出開始階数ｎｓを決定し、決定した動き検出開始階数ｎｓの情報を階層型動きベクトル検出部５５に出力する。ただし、ｎｓ≦Ｎｓである。
【００８６】
例えば、表２に示すように、空間方向の低周波領域のパワーの割合と動き検出開始分解能（又は動き検出開始階数ｎｓ）との間で規定されるテーブルを予め保持しておく。空間方向の低周波領域とは、例えばフレーム周波数の１／２以下の範囲とする。なお、動き検出開始階数ｎｓが大きくなるにつれて、元の画像が低解像度化することを意味しており、元の画像に対して相対的にブロックサイズ及び動き探索範囲の大きさが増大することを意味している。ここで、例えば、空間分解能１／１６は、元の画像における水平標本化周波数Ｈｓ及び垂直標本化周波数Ｖｓにおいて、１６画素を１画素として標本化する低解像度化を意味する。
【００８７】
【表２】
0005727873.tif 000004
【００８８】
つまり、図１５に示すように、空間方向の低周波領域のパワーの割合によって、動き検出開始階数ｎｓを関連付けることができる。例えば、Ｎｓ＝４のとき、低周波領域（ＬＬ４）及び高周波領域（ＬＬ４以外）のそれぞれのパワーを算出して、全体における低周波領域（ＬＬ４）の割合が、９９．５％以上であれば、動き検出開始階数ｎｓ＝４として４階層の低周波領域のみの画像を再構成することができる（図１５（ｄ）参照）。同様に、全体における低周波領域（ＬＬ４）の割合が、９８．０％以上９９．５％未満であれば、３階層の低周波領域（ＬＬ３）のみの画像を再構成でき（図１５（ｃ）参照）、全体における低周波領域（ＬＬ４）の割合が、９５．０％以上９８．０％未満であれば、２階層の低周波領域（ＬＬ２）のみの画像を再構成でき（図１５（ｂ）参照）、全体における低周波領域（ＬＬ４）の割合が、９５．０％未満であれば、１階層の低周波領域（ＬＬ１）のみの画像を再構成することができる（図１５（ａ）参照）。
【００８９】
階層型動きベクトル検出部５５は、動き検出開始階数ｎｓに応じた空間方向に低周波領域の基準分割画像及び参照分割画像の画像を生成するために、基準分割画像及び参照分割画像の空間方向２次元Ｎｓ階離散ウェーブレット分解したデータに対して、動き検出開始階数ｎｓに応じた空間ｎｓ階ウェーブレットの再構成を行い、予め定めたブロックサイズ及び探索範囲の大きさで動きベクトル検出を実行し、続いて空間ｎｓ−１階ウェーブレットの再構成を行い、当該予め定めたブロックサイズ及び探索範囲の大きさで動きベクトル検出を再度実行し、最上位の階層（即ち、元の画像レベル）にて当該予め定めたブロックサイズ及び探索範囲の大きさで動きベクトル検出を行うまで階数をデクリメントして繰り返す。
【００９０】
図１６は、階層型動きベクトル検出部５５の構成を示すブロック図である。図１６に示すように、階層型動きベクトル検出部５５は、ｎｓ階再構成動きベクトル検出部５５１と、空間１階ウェーブレット再構成部５５２とを有する。
【００９１】
ｎｓ階再構成動きベクトル検出部５５１は、動き検出開始階数ｎｓに応じた空間方向に低周波領域の基準分割画像及び参照分割画像を生成するために動き検出開始階数ｎｓに応じた空間ｎｓ階ウェーブレットの再構成を行い、予め定めたブロックサイズ及び探索範囲の大きさで小数画素精度のブロックマッチングによる動きベクトル検出を行う。
【００９２】
空間１階ウェーブレット再構成部５５２は、動きベクトル検出処理を最上位の階数に対応する元の画像レベルとなるまで階数をデクリメントして繰り返すために、空間方向低周波領域パワー算出部５３によって算出した空間Ｎｓ階離散ウェーブレット分解データに対して動き検出開始階数ｎｓよりも上位の階数の画像となるように空間方向に１階上位のウェーブレット再構成を実行してｎｓ階再構成動きベクトル検出部５５１に出力する。したがって、ｎｓ階再構成動きベクトル検出部５５１は、空間１階ウェーブレット再構成部５５２から得られる基準フレーム分割画像及び参照フレーム分割画像の再構成画像を用いて、動きベクトル検出の処理を階層的に繰り返し、最終的な動きベクトルを決定して出力する。
【００９３】
動きベクトル検出は、２次関数近似による小数画素位置のブロックマッチング法を用いて行うのは、最上位の階数（即ち、１階）でのみ行うのが好適である。例えば式（１）に示したパラボラフィッティングにより小数画素位置を算出する。
【００９４】
このように構成される実施例２の動きベクトル検出装置２は、実施例１と同様に、符号化装置、復号装置、超解像装置に適用することができる。
【００９５】
なお、上述した動きベクトル検出装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、動きベクトル検出装置２の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００９６】
このように、実施例２の動きベクトル検出装置２及びそのプログラムによれば、動きベクトル検出部５０により、空間ｎｓ階ウェーブレット分解及び再構成を経て順次繰り返すことによる階層型動きベクトル検出を行うため、階層に応じて順次可変にすべきブロックサイズ及び探索範囲の大きさを用意する必要がなく固定とすることができ、且つ画像シーンに応じた動き検出開始階数ｎｓに応じた動きベクトル検出を行い、この動きベクトルに基づいて動きベクトル最適化部４０で最適化を行うため、より動きベクトルを高精度化することができる。
【００９７】
上述の実施例は、代表的な例として説明したが、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施例ではウェーブレット分解によりダウンサンプリングを行っているが、オクターブ分解するものであれば、ウェーブレット分解には限定されない。
【産業上の利用可能性】
【００９８】
本発明は、高精度な動きベクトル情報を得ることができるため、動きベクトル情報を用いた画像処理（例えば符号化処理、復号処理、超解像画像生成処理）を行う任意の用途に有用である。
【符号の説明】
【００９９】
１，２  動きベクトル検出装置
１０    ブロック分割部
２０    空間周波数解析部
３０，５０  動きベクトル検出部
３１    動き探索範囲決定部
３２    ブロックマッチング部
４０    動きベクトル最適化部
４１    空間方向高周波領域パワー算出部
４２    平均輝度差分算出部
４３    ブロックサイズ修正部
４４    動きベクトル修正部
５１    時間方向高周波領域パワー算出部
５２    空間分解階数決定部
５３    空間方向低周波領域パワー算出部
５４    動き検出開始分解能決定部
５５    階層型動きベクトル検出部
５６    分解能決定部
５１１  時間方向１次元Ｎｍａｘ階離散ウェーブレット分解処理部
５１２  時間方向周波数帯域別パワー算出部
５３１  空間方向２次元Ｎｓ階離散ウェーブレット分解処理部
５３２  空間方向周波数帯域別パワー算出部
５５１  ｎｓ階再構成動きベクトル検出部
５５２  空間１階ウェーブレット再構成部
６１    減算部
６２    量子化部
６３    可変長符号化部
６４，７２  逆量子化部
６５，７３  逆直交変換部
６６，７４  加算部
６７，７５  フレームメモリ
６８，７６  動き補償部
７１    可変長復号部
【図１】
0005727873.tif 000005
【図２】
0005727873.tif 000006
【図３】
0005727873.tif 000007
【図４】
0005727873.tif 000008
【図５】
0005727873.tif 000009
【図６】
0005727873.tif 000010
【図７】
0005727873.tif 000011
【図８】
0005727873.tif 000012
【図９】
0005727873.tif 000013
【図１０】
0005727873.tif 000014
【図１１】
0005727873.tif 000015
【図１２】
0005727873.tif 000016
【図１３】
0005727873.tif 000017
【図１４】
0005727873.tif 000018
【図１５】
0005727873.tif 000019
【図１６】
0005727873.tif 000020