(57)【要約】【課第】  本発明は、現ブロックの候補動きベクトルおよび現ブロックに隣接した周辺ブロックの動きベクトル間の相関性を考慮して動きを推定することによってブロックアーチファクトを解除できる動き推定装置およびその方法を提供する。【解決手段】  現フレーム/フィールドを多数のブロックに分割し、分割された各ブロックの臨時動きベクトルを推定する全域探索部と、各ブロックのうち動き推定のための現ブロックに対してブロック整合方式を適用して多数の動き予測誤差値を算出した後、臨界値以下に当該する動き予測誤差値から現ブロックの補償のための少なくとも１つの候補動きベクトルを推定する候補動きベクトル推定部と、各候補動きベクトルと現ブロックに隣接した周辺ブロックの動きベクトルとの相関度を算出し、算出された相関度に応じて少なくとも１つの候補動きベクトルのいずれか１つを現ブロックの最終動きベクトルとして補正する動き補正部とを含む。【選択図】      図２
2005050338.tif 000002
【特許請求の範囲】
【請求項１】
現フレーム/フィールドを所定サイズのブロックに分割し、分割された前記各ブロックの臨時動きベクトルを全域探索方式により推定する全域探索部と、
前記各ブロックのうち動き推定のための現ブロックに対してブロック整合方式を適用して多数の動き予測誤差値を算出した後、所定の臨界値以下に当該する少なくとも１つの前記動き予測誤差値から前記現ブロックの補償のための少なくとも１つの候補動きベクトルを推定する候補動きベクトル推定部と、
前記各候補動きベクトルと前記現ブロックに隣接した周辺ブロックの動きベクトルとの相関度を算出し、算出された前記相関度に応じて前記少なくとも１つの候補動きベクトルのいずれか１つを前記現ブロックの最終動きベクトルとして補正する動き補正部とを含むことを特徴とするブロック間の相関性を考慮した動き推定装置。
【請求項２】
前記全域探索部は、前記現フレーム/フィールドの前記各ブロックに対して前記ブロック整合方式を適用し前記多数の動き予測誤差値を算出した後、最小動き予測誤差値を有する位置から前記各ブロックの前記臨時動きベクトルを推定することを特徴とする請求項１に記載のブロック間の相関性を考慮した動き推定装置。
【請求項３】
前記候補動きベクトル推定部は、前記現ブロックを基準とし前フレーム/フィールドに所定サイズの探索領域を設定した後、前記現ブロックおよび前記探索領域について前記ブロック整合方式を適用して前記多数の動き予測誤差値を算出し、前記多数の動き予測誤差値のうち最小値と所定の常数とを乗算して前記臨界値として設定することを特徴とする請求項１に記載のブロック間の相関性を考慮した動き推定装置。
【請求項４】
前記動き補正部は、
前記各候補動きベクトルと前記現ブロックに隣接した周辺ブロックの動きベクトルとの相関度を算出する相関度算出部と、
少なくとも１つの前記候補動きベクトルのうち最大相関度を有する候補動きベクトルを前記現ブロックの最終動きベクトルとして推定する最終動きベクトル推定部とを含むことを特徴とする請求項１に記載のブロック間の相関性を考慮した動き推定装置。
【請求項５】
前記相関度算出部は、次の式
【数１】
2005050338.tif 000021
（尚、
【数２】
2005050338.tif 000022
は前記各候補動きベクトルと前記周辺ブロックの動きベクトルとの前記相関度、
【数３】
2005050338.tif 000023
は前記各候補動きベクトル、
【数４】
2005050338.tif 000024
は前記各周辺ブロックの動きベクトル、そしてＭは前記周辺ブロックの個数を表す）
によって前記相関度を算出することを特徴とする請求項４に記載のブロック間の相関性を考慮した動き推定装置。
【請求項６】
前記相関度算出部は、前記現フレーム/フィールド以前に入力された前フレーム/フィールドにて前記現ブロックの相対的位置に対応する前ブロックおよび前記前ブロックに隣接している少なくとも１つのブロックを前記周辺ブロックに含めて、時間的な方向を考慮した前記相関度を算出することを特徴とする請求項４に記載のブロック間の相関性を考慮した動き推定装置。
【請求項７】
前記動き補正部は、
前記現ブロックと前記周辺ブロック間の類似している程度に応じて所定の重み値を割当てる重み値割当て部とをさらに含み、
前記相関度算出部は、次の式
【数５】
2005050338.tif 000025
（尚、
【数６】
2005050338.tif 000026
は前記各候補動きベクトルと前記周辺ブロックの動きベクトルとの前記相関度、Wｋは重み値、
【数７】
2005050338.tif 000027
は前記各候補動きベクトル、
【数８】
2005050338.tif 000028
は前記各周辺ブロックの動きベクトル、そしてＭは前記周辺ブロックの個数を表す）
によって前記重み値が割当てられた前記相関度を算出することを特徴とする請求項４に記載のブロック間の相関性を考慮した動き推定装置。
【請求項８】
前記動き予測誤差値は、ＳＡＤ（Sum  of  Absolute  Difference）、ＭＡＤ（Mean  Absolute  Difference）およびＭＳＥ（Mean  Square  Error）のいずれか１つによって算出されることを特徴とする請求項１に記載のブロック間の相関性を考慮した動き推定装置。
【請求項９】
現フレーム/フィールドを所定サイズのブロックに分割し、分割された前記各ブロックの臨時動きベクトルを全域探索方式により推定する全域探索ステップと、
前記各ブロックのうち動き推定のための現ブロックに対してブロック整合方式を適用し多数の動き予測誤差値を算出した後、所定の臨界値以下に当該する前記動き予測誤差値から前記現ブロックの補償のための少なくとも１つの候補動きベクトルを推定する候補動きベクトル推定ステップと、
前記各候補動きベクトルと前記現ブロックに隣接した周辺ブロックの動きベクトルとの相関度を算出する相関度算出ステップと、
少なくとも１つの前記候補動きベクトルのうち最大相関度を有する候補動きベクトルを前記現ブロックの最終動きベクトルとして推定する最終動きベクトル推定ステップとを含むことを特徴とするブロック間の相関性を考慮した動き推定方法。
【請求項１０】
前記全域探索ステップは、前記現フレーム/フィールドの前記各ブロックに対して前記ブロック整合方式を適用して前記多数の動き予測誤差値を算出した後、最小動き予測誤差値を有する位置から前記各ブロックの前記臨時動きベクトルを推定することを特徴とする請求項９に記載のブロック間の相関性を考慮した動き推定方法。
【請求項１１】
前記候補動きベクトル推定ステップは、前記現ブロックを基準とし前フレーム/フィールドに所定サイズの探索領域を設定した後、前記現ブロックおよび前記探索領域に対して前記ブロック整合方式を適用して前記多数の動き予測誤差値を算出し、前記多数の動き予測誤差値のうち最小値と所定の常数を乗算して前記臨界値として設定することを特徴とする請求項９に記載のブロック間の相関性を考慮した動き推定方法。
【請求項１２】
前記相関度算出ステップは、次の式
【数９】
2005050338.tif 000029
（尚、
【数１０】
2005050338.tif 000030
は前記各候補動きベクトルと前記周辺ブロックの動きベクトルとの前記相関度、
【数１１】
2005050338.tif 000031
は前記各候補動きベクトル、
【数１２】
2005050338.tif 000032
は前記各周辺ブロックの動きベクトル、そしてＭは前記周辺ブロックの個数を表す）
によって前記相関度を算出することを特徴とする請求項９に記載のブロック間の相関性を考慮した動き推定方法。
【請求項１３】
前記相関度算出ステップは、前記現フレーム/フィールド以前に入力された前フレーム/フィールドにて前記現ブロックの相対的位置に対応する前ブロックおよび前記前ブロックに隣接している少なくとも１つのブロックを前記周辺ブロックに含めて、時間的な方向を考慮した前記相関度を算出することを特徴とする請求項１２に記載のブロック間の相関性を考慮した動き推定方法。
【請求項１４】
前記相関度算出ステップの以前に、
前記現ブロックおよび前記周辺ブロック間の類似程度に応じて所定の重み値を割当てる重み値割当てステップをさらに含み、
前記相関度算出ステップは、次の式
【数１３】
2005050338.tif 000033
（尚、
【数１４】
2005050338.tif 000034
は前記各候補動きベクトルと前記周辺ブロックの動きベクトルとの前記相関度、Wｋは重み値、
【数１５】
2005050338.tif 000035
は前記各候補動きベクトル、
【数１６】
2005050338.tif 000036
は前記各周辺ブロックの動きベクトル、そしてＭは前記周辺ブロックの個数を表す）
によって前記重み値が割当てられた前記相関度を算出することを特徴とする請求項９に記載のブロック間の相関性を考慮した動き推定方法。
【請求項１５】
前記動き予測誤差値は、ＳＡＤ、ＭＡＤ、およびＭＳＥのいずれか１つによって算出されることを特徴とする請求項９に記載のブロック間の相関性を考慮した動き推定方法。
【請求項１６】
入力されるフレーム/フィールドを所定サイズのブロックに分割し、分割された前記各ブロックの動きベクトルを推定する第１の動き推定部と、
動き推定のための現ブロックと前記現ブロックに隣接した少なくとも１つの周辺ブロックの動きベクトルから所定サイズの第１の探索領域を設定した後、前記現ブロックを基準とし前記第１の探索領域に対してブロック整合方式を適用し前記現ブロックの最終動きベクトルを推定する第２の動き推定部とを含むことを特徴とするブロック間の相関性を考慮した動き推定装置。
【請求項１７】
前記第２の動き推定部は、
前記現ブロックと前記少なくとも１つの周辺ブロックとの動きベクトルの平均ベクトルを算出する平均ベクトル算出部と、
算出された前記平均ベクトルを中心とし前記第１の探索領域を設定した後、前記ブロック整合方式を適用して多数の動き予測誤差値を算出する動き予測誤差算出部と、
算出された前記多数の動き予測誤差値のうち最小動き予測誤差値に対応する位置から前記現ブロックの最終動きベクトルを推定する最終動きベクトル推定部とを含むことを特徴とする請求項１６に記載のブロック間の相関性を考慮した動き推定装置。
【請求項１８】
前記動き予測誤差値は、ＳＡＤ、ＭＡＤ、およびＭＳＥのいずれか１つによって算出されることを特徴とする請求項１７に記載のブロック間の相関性を考慮した動き推定装置。
【請求項１９】
前記第１の動き推定部は、前記フレーム/フィールドの分割された前記各ブロックを中心とし所定サイズの第２の探索領域を設定した後、全域探索ブロック整合方式によって前記各ブロックの動きベクトルを推定することを特徴とする請求項１６に記載のブロック間の相関性を考慮した動き推定装置。
【請求項２０】
前記第１の探索領域のサイズは、前記第２の探索領域より縮小されたサイズを有することを特徴とする請求項１９に記載のブロック間の相関性を考慮した動き推定装置。
【請求項２１】
入力されるフレーム/フィールドを所定サイズのブロックに分割し、分割された前記各ブロックの動きベクトルを推定する第１の動き推定ステップと、
動き推定のための現ブロックと前記現ブロックに隣接した少なくとも１つの周辺ブロックの動きベクトルから所定サイズの第１の探索領域を設定した後、前記現ブロックを基準とし前記第１の探索領域に対してブロック整合方式を適用して前記現ブロックの最終動きベクトルを推定する第２の動き推定ステップとを含むことを特徴とするブロック間の相関性を考慮した動き推定方法。
【請求項２２】
前記第２の動き推定ステップは、
前記現ブロックおよび前記少なくとも１つの周辺ブロックの動きベクトルの平均ベクトルを算出する平均ベクトル算出ステップと、
算出された前記平均ベクトルを中心とし前記第１の探索領域を設定した後、前記ブロック整合方式を適用して多数の動き予測誤差値を算出する動き予測誤差算出ステップと、
算出された前記多数の動き予測誤差値のうち最小動き予測誤差値に対応する位置から前記現ブロックの最終動きベクトルを推定する最終動きベクトル推定ステップとを含むことを特徴とする請求項２１に記載のブロック間の相関性を考慮した動き推定方法。
【請求項２３】
前記動き予測誤差値は、ＳＡＤ、ＭＡＤ、およびＭＳＥのいずれか１つによって算出されることを特徴とする請求項２２に記載のブロック間の相関性を考慮した動き推定方法。
【請求項２４】
前記第１の動き推定ステップは、前記フレーム/フィールドの分割された前記各ブロックを中心とし所定サイズの第２の探索領域を設定した後、全域探索ブロック整合方式によって前記各ブロックの動きベクトルを推定することを特徴とする請求項２１に記載のブロック間の相関性を考慮した動き推定方法。
【請求項２５】
前記第１の探索領域のサイズは、前記第２の探索領域より縮小されたサイズを有することを特徴とする請求項２４に記載のブロック間の相関性を考慮した動き推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ブロック間の相関性を考慮した動き推定装置およびその方法に関し、特に、現ブロックの候補動きベクトルおよび現ブロックに隣接した周辺ブロックの動きベクトル間の相関性を考慮して動きを推定する動き推定装置およびその方法に関する。
【背景技術】
【０００２】
ＦＲＣ（Frame  Rate  up−Conversion）、ＩＰＣ（Interaced  to  Progressive  Conversion）のような映像処理において、映像フレーム間の動き推定は必需的に行われている。動き推定は、動き補償のために動きベクトルを推定するものであって、一般にブロック整合アルゴリズム（以下ＢＭＡと称する）を用いて行う。
【０００３】
ＢＭＡは、連続して入力される２枚のフレーム/フィールドをブロック単位で比較しブロック当たり１つの動きベクトルを推定する。この際、動きベクトルは、予め公知された動き予測誤差値、例えば、ＳＡＤ（Sum  of  Absolute  Difference）値を用いて推定される。そして、動き補償過程においては、推定された動きベクトルを用いて動き補償を行う。
【０００４】
しかし、従来の動き推定において、ブロック別に推定されたそれぞれの動きベクトルは不正確に推定される場合が生じる。かかる場合、不正確に推定された動きベクトルを用いて動き補償、即ち、ＩＰＣ、ＦＲＣを行うと、図１に示したように、補間フレーム/フィールド映像におけるブロックアーチファクトが発生する。図１に示したブロックアーチファクトは、隣接したブロック間の境界が不連続的に見える現象であって、視覚的に障る映像を提供し、画質の劣化を招く。かかるブロックのアーチファクトは、隣接ブロックとの相関性を考慮しない状態で推定された動きベクトルを用いてブロック別に動き補償を行うことにより発生する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は前述した問第点を解決するために案出されたもので、本発明の目的は、現ブロックの候補動きベクトルおよび現ブロックに隣接した周辺ブロックの動きベクトルブロック間の相関性を考慮して動きを推定する動き推定装置およびその方法を提供することにある。
【課題を解決するための手段】
【０００６】
前述した目的を達成するための本発明に係るブロック間の相関性を考慮した動き推定装置は、現フレーム/フィールドを所定サイズのブロックに分割し、分割された前記各ブロックの臨時動きベクトルを全域探索方式により推定する全域探索部と、前記各ブロックのうち動き推定のための現ブロックに対してブロック整合方式を適用して多数の動き予測誤差値を算出した後、所定の臨界値以下に当該する少なくとも１つの前記動き予測誤差値から前記現ブロックの補償のための少なくとも１つの候補動きベクトルを推定する候補動きベクトル推定部と、前記各候補動きベクトルと前記現ブロックに隣接した周辺ブロックの動きベクトルとの相関度を算出し、算出された前記相関度に基づいて前記少なくとも１つの候補動きベクトルのいずれか１つを前記現ブロックの最終動きベクトルとして補正する動き補正部とを含む。
【０００７】
詳細には、前記全域探索部は、前記現フレーム/フィールドの前記各ブロックに対して前記ブロック整合方式を適用して前記多数の動き予測誤差値を算出した後、最小動き予測誤差値を有する位置から前記各ブロックの前記臨時動きベクトルを推定する。
【０００８】
好ましくは、前記候補動きベクトル推定部は、前記現ブロックを基準とし前フレーム/フィールドに所定サイズの探索領域を設定した後、前記現ブロックおよび前記探索領域に対して前記ブロック整合方式を適用して前記多数の動き予測誤差値を算出し、前記多数の動き予測誤差値のうち最小値と所定の常数とを乗算し前記臨界値として設定する。
【０００９】
また、前記動き補正部は、前記各候補動きベクトルと前記現ブロックに隣接した周辺ブロックの動きベクトルとの相関度を算出する相関度算出部と、少なくとも１つの前記候補動きベクトルのうち最大相関度を有する候補動きベクトルを前記現ブロックの最終動きベクトルとして推定する最終動きベクトル推定部とを含む。
【００１０】
詳細には、前記相関度算出部は、次の式によって前記相関度を算出する。
【００１１】
【数１７】
2005050338.tif 000003
尚、
【００１２】
【数１８】
2005050338.tif 000004
は前記各候補動きベクトルと前記周辺ブロックの動きベクトルとの前記相関度、
【００１３】
【数１９】
2005050338.tif 000005
は前記各候補動きベクトル、
【００１４】
【数２０】
2005050338.tif 000006
は前記各周辺ブロックの動きベクトル、そしてＭは前記周辺ブロックの個数を表す。
【００１５】
また、前記相関度算出部は、前記現フレーム/フィールド以前に入力された前フレーム/フィールドにて前記現ブロックの相対的位置に対応する前ブロックおよび前記前ブロックに隣接している少なくとも１つのブロックを前記周辺ブロックに含めて、時間的な方向を考慮した前記相関度を算出する。
【００１６】
好ましくは、前記動き補正部は、前記現ブロックおよび前記周辺ブロック間の類似している程度に応じて所定の重み値を割当てる重み値割当て部と、をさらに含み、前記相関度算出部は、次の式によって前記重み値が割当てられた前記相関度を算出する。
【００１７】
【数２１】
2005050338.tif 000007
尚、Wｋは重み値を表す。
【００１８】
一方、前述した技術的課第を解決するための本発明に係るブロック間の相関性を考慮した動き推定方法は、所定サイズのブロックに分割し、分割された前記各ブロックの臨時動きベクトルを全域探索方式により推定する全域探索ステップと、前記各ブロックのうち動き推定のための現ブロックに対してブロック整合方式を適用して多数の動き予測誤差値を算出した後、所定の臨界値以下に当該する前記動き予測誤差値から前記現ブロックの補償のための少なくとも１つの候補動きベクトルを推定する候補動きベクトル推定ステップと、前記各候補動きベクトルと前記現ブロックに隣接した周辺ブロックの動きベクトルとの相関度を算出する相関度算出ステップと、少なくとも１つの前記候補動きベクトルのうち最大相関度を有する候補動きベクトルを前記現ブロックの最終動きベクトルとして推定する最終動きベクトル推定ステップとを含む。
【００１９】
好ましくは、前記候補動きベクトル推定ステップは、前記現ブロックを基準とし前フレーム/フィールドに所定サイズの探索領域を設定した後、前記現ブロックおよび前記探索領域に対して前記ブロック整合方式を適用して前記多数の動き予測誤差値を算出し、前記多数の動き予測誤差値のうち最小値と所定の常数を乗算して前記臨界値として設定する。
【００２０】
尚、前述した技術的課第を解決するための、本発明に係るブロック間の相関性を考慮した動き装置は、入力されるフレーム/フィールドを所定サイズのブロックに分割し、分割された前記各ブロックの動きベクトルを推定する第１の動き推定部と、動き推定のための現ブロックと前記現ブロックに隣接した少なくとも１つの周辺ブロックの動きベクトルから所定サイズの第１の探索領域を設定した後、前記現ブロックを基準とし前記第１の探索領域に対してブロック整合方式を適用し前記現ブロックの最終動きベクトルを推定する第２の動き推定部とを含む。
【００２１】
より詳しくは、前記第２の動き推定部は、前記現ブロックおよび前記少なくとも１つの周辺ブロックの動きベクトルの平均ベクトルを算出する平均ベクトル算出部と、算出された前記平均ベクトルを中心とし前記第１の探索領域を設定した後、前記ブロック整合方式を適用して多数の動き予測誤差値を算出する動き予測誤差算出部と、算出された前記多数の動き予測誤差値のうち最小動き予測誤差値に対応する位置から前記現ブロックの最終動きベクトルを推定する最終動きベクトル推定部と、を含む。
【００２２】
また、前記第１の動き推定部は、前記フレーム/フィールドの分割された前記各ブロックを中心とし所定サイズの第２の探索領域を設定した後、全域探索ブロック整合方式によって前記各ブロックの動きベクトルを推定する。
【００２３】
一方、前述の技術的課第を解決するための、本発明に係るブロック間の相関性を考慮した動き推定方法は、入力されるフレーム/フィールドを所定サイズのブロックに分割し、分割された前記各ブロックの動きベクトルを推定する第１の動き推定ステップと、動き推定のための現ブロックと前記現ブロックに隣接した少なくとも１つの周辺ブロックの動きベクトルから所定サイズの第１の探索領域を設定した後、前記現ブロックを基準とし前記第１の探索領域に対してブロック整合方式を適用して前記現ブロックの最終動きベクトルを推定する第２の動き推定ステップと、を含む。
【００２４】
より詳細には、前記第２の動き推定ステップは、前記現ブロックおよび前記少なくとも１つの周辺ブロックの動きベクトルの平均ベクトルを算出する平均ベクトル算出ステップと、算出された前記平均ベクトルを中心とし前記第１の探索領域を設定した後、前記ブロック整合方式を適用して多数の動き予測誤差値を算出する動き予測誤差算出ステップと、算出された前記多数の動き予測誤差値のうち最小動き予測誤差値に対応する位置から前記現ブロックの最終動きベクトルを推定する動きベクトル推定ステップとを含む。
【００２５】
また、前記第１の動き推定ステップは、前記フレーム/フィールドの分割された前記各ブロックを中心とし所定サイズの第２の探索領域を設定した後、全域探索ブロック整合方式によって前記各ブロックの動きベクトルを推定する。
【発明の効果】
【００２６】
本発明によれば、本発明に係るブロック間の相関性を考慮した動きベクトル推定装置および方法によれば、不正確に推定された各ブロックの動きベクトルは、周辺ブロックの動きベクトルを用いることによって正確に補正/推定が可能となる。これは、互いに隣接したブロック間の動きが類似した場合不正確に推定された動きベクトルを実際の動きに近い動きベクトルの方へその補正が可能であり、従って、視覚的にも自然な補間映像を具現することができる。特に、ＩＰＣ、ＦＲＣなどに本発明を適用することでブロックアーチファクトを未然から防止したり、発生率を減らすことで画質が改善できる。
【発明を実施するための最良の形態】
【００２７】
以下、添付の図面を参照して本発明の好適な実施例を詳述する。
【実施例】
【００２８】
図２は本発明の好適な第１の実施例に係るブロック間の相関性を考慮した動き推定装置を概略的に示したブロック図であって、図３は現ブロック（Ｂ）および周辺ブロックを示した図である。
【００２９】
図２を参照すると、本発明に係るブロック間の相関性を考慮した動き推定装置２００は、全域探索部２１０、候補動きベクトル推定部２２０、動き補正部２３０、バッファ２４０を含む。
【００３０】
図３を参照すると、Ｂは現フレーム/フィールドの現ブロック、Ｂ１ないしＢ８は現ブロック（Ｂ）の周辺ブロックである。
【００３１】
全域探索部２１０は、入力される現フレーム/フィールド（以下、現フレームと称する）を所定サイズのブロックに分割し、分割された各ブロックの臨時動きベクトルを推定する。本発明では、全域探索部２１０は分割された各ブロックについてＢＭＡを適用し各ブロックごとに多数の動き予測誤差値を算出する。そして、全域探索部２１０は最小動き予測誤差値を有する位置から各ブロックの臨時動きベクトルを推定する。
【００３２】
動き予測誤差値は、ＳＡＤ、ＭＡＤ（Mean  Absolute  Difference）およびＭＳＥ（平均平方誤差）などの種々の方式によって算出されることができ、本発明ではＳＡＤ値を適用するので以下ではＳＡＤ値と称する。さらに、分割された各ブロックの臨時動きベクトルはＢＭＡだけでなく、動きベクトルを推定できる公知された技術によって推定されることは勿論である。
【００３３】
候補動きベクトル推定部２２０は、プレスクリーニング技法を用いて現ブロック（Ｂ）の候補動きベクトルを推定する。つまり、候補動きベクトル推定部２２０は、分割された各ブロックのうち所定の現ブロック（Ｂ）についてＢＭＡを再適用して現ブロック（Ｂ）の候補動きベクトルを少なくとも１つ推定する。
【００３４】
詳細に説明すると、候補動きベクトル推定部２２０は、現ブロック（Ｂ）を基準とし前フレーム/フィールド（以下、前フレームと称する）に所定サイズの探索領域を設定した後、現ブロック（Ｂ）および設定された探索領域についてＢＭＡを適用し多数のＳＡＤ値を算出する。そして、候補動きベクトル推定部２２０は、多数のＳＡＤ値のうち設定された臨界値以下の値を有するＳＡＤ値に応じる位置から現ブロック（Ｂ）の候補動きベクトルを推定する。即ち、候補動きベクトルの個数は、臨界値以下の値を有するＳＡＤ値の個数と同じである。本発明では臨界値は、算出された多数のＳＡＤ値のうち最小ＳＡＤ値と所定常数ａを乗算した値、つまり（ａ*最小ＳＡＤ値）を使用する。
【００３５】
これは、（ａ*最小ＳＡＤ値）以下のＳＡＤ値を有する候補動きベクトルのうち現ブロック（Ｂ）の実際動きを表す動きベクトルが含まれた可能性を排除しなかったことで、現ブロック（Ｂ）の最終動きベクトルをより正確に推定するためである。さらに、本発明におけるａ＝１．５を適用し、これは調整可能である。
【００３６】
動き補正部２３０は、相関度算出部２３２および最終動きベクトル推定部２３６を含む。
【００３７】
相関度算出部２３２は、推定された少なくとも１つの候補動きベクトルと周辺ブロック（Ｂ１ないしＢ８）の動きベクトルとの相関度を算出する。相関度算出部２３２は、プレスクリーニング技法によって推定された各候補動きベクトルと周辺ブロック（Ｂ１ないしＢ８）の動きベクトルとの相関度を測定する。ベクトル間の相関度を測定する尺度としてベクトルディスタンスが用いられ、相関度は式（１）によって算出される。
【００３８】
【数２２】
2005050338.tif 000008
尚、
【００３９】
【数２３】
2005050338.tif 000009
は各候補動きベクトルと周辺ブロック（Ｂ１ないしＢ８）の動きベクトルとの相関度、
【００４０】
【数２４】
2005050338.tif 000010
はベクトルディスタンス、
【００４１】
【数２５】
2005050338.tif 000011
は各候補動きベクトル、
【００４２】
【数２６】
2005050338.tif 000012
は各周辺ブロック（Ｂ１ないしＢ８）の動きベクトル、そしてＭは前記周辺ブロック（Ｂ１ないしＢ８）の個数を表す。また、周辺ブロック（Ｂ１ないしＢ８）は現ブロック（Ｂ）に隣接しているブロックであって、空間的な相関度のみを考慮した場合、図３に示したように現ブロック（Ｂ）と同一な現フレームに配するブロックを指す。
【００４３】
式（１）を参照すると、相関度は
【００４４】
【数２７】
2005050338.tif 000013
に反比例し、よって
【００４５】
【数２８】
2005050338.tif 000014
が小さいほど相関度は大きくなる。
【００４６】
一方、相関度算出部２３２は、空間的な方向だけでなく、図４に示した通りに時間的な方向を考慮して相関度を算出することができる。かかる場合、相関度算出部２３２は、現フレーム（Ｆｎ）以前に入力された前フレーム（Ｆｎ−１）において、現ブロック（Ｂ）の相対的な位置に対応する前ブロック（Ｂ’）および前ブロック（Ｂ’）に隣接した少なくとも１つのブロック（Ｂ１’ないしＢ８’）の動きベクトルも考慮して空間的および時間的相関度を算出する。
【００４７】
つまり、図３に示した周辺ブロック（Ｂ１ないしＢ８）だけではなく、前ブロック（Ｂ’）および前ブロック（Ｂ’）に隣接した少なくとも１つのブロック（Ｂ１’ないしＢ８’）も現ブロック（Ｂ）に隣接したブロックであると判断する。この際、前フレームの各ブロックの動きベクトルは後述する最終動きベクトル推定部２３６にて予め推定された各ブロックの動きベクトルを使用する。
【００４８】
さらに、相関度算出部２３２で用いられる周辺ブロックの個数は映像サンプリングの周波数および分割されたブロックのサイズに応じて適応的に調整できる。例えば、映像のサンプリング周波数が高周波、即ち、高解像度であり、分割されたブロックのサイズが小さければ相関度算出部２３２にて用いられる周辺ブロックは時間・空間的に拡張可能である。
【００４９】
最終動きベクトル推定部２３６は、数１から算出された相関度のなか最大相関度を有する候補動きベクトルを現ブロック（Ｂ）の最終動きベクトルとして推定する。これによって全域探索部２１０でＢＭＡにより推定された現ブロックの臨時動きベクトルを周辺ブロック（Ｂ１ないしＢ８、および/またはＢ１’ないしＢ８’）との相関性を考慮して補正することにより最終動きベクトルが推定される。
【００５０】
バッファ２４０には、最終動きベクトル推定部２３６で推定された現フレームの各ブロックの最終動きベクトルがフレーム単位で臨時格納される。臨時格納された最終動きベクトルは、前述の相関度算出部２３２にて時間的相関度を考慮する場合に使用される。言い換えれば、臨時格納された現フレームの各ブロックの最終動きベクトルは次フレームの各ブロックの最終動きベクトルを推定する場合に使用される。
【００５１】
一方、相関度算出部２３２は、現ブロック（Ｂ）および各周辺ブロック（Ｂ１ないしＢ８）間の類似している程度に応じて重み値を付与できる。このために本発明に係る動き補正部２３０は重み割当て部２３４をさらに含む。
【００５２】
重み割当て部２３４は、現ブロック（Ｂ）および各周辺ブロック（Ｂ１ないしＢ８）間の類似している程度に応じて所定の重み値を算出する。重み割当て部２３４は、現ブロック（Ｂ）と類似した映像特性を有している周辺ブロック（Ｂ１ないしＢ８）についてより大きい重み地を割当てる。映像特性の類似性程度は現ブロック（Ｂ）と周辺ブロック（Ｂ１ないしＢ８）が同一な動き、類似した動きまたは相違した動きのうちいずれか１つに属するかを判断する尺度である。
【００５３】
重み値割当て部２３４は、現ブロック（Ｂ）と各周辺ブロック（Ｂ１ないしＢ８）間の変化度（グラディエント）、テクスチャ、画素の平均値、画素の分散などを測定指標とし、映像特性の類似性程度を判断する。例えば、重み値割当て部２３４は、現ブロック（B）の変化度と各周辺ブロック（Ｂ１ないしＢ８）の変化度をそれぞれ算出した後、その差異に反比例する重み値を割当てる。即ち、重み値割当て部２３４は、前述した測定指標の差が小さければ、現ブロック（B）および周辺ブロック（Ｂ１ないしＢ８のうちいずれか１つ）は類似していると判断する。前述した重み値を算出するために重み値割当て部２３４には、現フレームおよび/または前フレームの画素情報、即ち、各画素の輝度値が提供されるべきである。同時に、テクスチャ、平均値、分散などを考慮する場合にも重み値割当て部２３４はその差に反比例する重み値を割当てる。
【００５４】
かかる重み値の付与は図５に示したように、互いに異なる動きを有する２つ物体を各ブロックの動きベクトルを推定する場合より適合に使用され得る。
【００５５】
同図を参照すると、まず、（１）の方向へ動く物体Ａについて見てみると、現ブロック（ａ）と周辺ブロックは同じ方向のベクトル成分を有する。よって、ノイズの影響で不正確に推定された現ブロック（ａ）の臨時動きベクトルを補正する場合、動き補正部２３０は周辺ブロックの臨時動きベクトルを用いて現ブロック（ａ）の臨時動きベクトルを重み値なしに補正することが可能となる。
【００５６】
一方、（２）の方向へ動く物体Ｂについて見ると次の通りである。動きの異なる２つの物体ＡとＢとが重なり合う現ブロック（ｂ）の臨時動きベクトルを補正する場合、各周辺ブロックが異なる物体ＡおよびＢに属しているため動き補正が正確に行われない。この場合、本発明に係る動き補正装置２３０は、現ブロック（ｂ）と類似した映像特性を有する周辺ブロックの動きベクトルにより大きい重み値を割当てることによって動き補正を正確に行うことができる。つまり、類似性の大きい周辺ブロックに多い重み値を割当てることで正確な動き補正を行う。
【００５７】
係る重み値は、物体の動きが相違しているだけでなく、２つの物体の動きが類似または同一の場合においても算出および割当てられることは勿論である。
【００５８】
再び図２を参照すると、現ブロック（Ｂ）と各周辺ブロック（Ｂ１ないしＢ８）の類似性情報に基づいて算出された重み値は相関度算出部２３２へ提供され、相関度算出部２３２は式（２）によって相関度を算出する。
【００５９】
【数２９】
2005050338.tif 000015
【００６０】
【数３０】
2005050338.tif 000016
は各候補動きベクトルと周辺ブロック（Ｂ１ないしＢ８）の動きベクトルとの相関度、Wｋは重み値、
【００６１】
【数３１】
2005050338.tif 000017
は各候補動きベクトル、
【００６２】
【数３２】
2005050338.tif 000018
は各周辺ブロック（Ｂ１ないしＢ８）の動きベクトル、そしてＭは周辺ブロック（Ｂ１ないしＢ８）の個数を表す。式（２）は式（１）に比較する際、重み値を割当てたこと意外には同一であるため式（２）についての詳細な説明は除く。
【００６３】
それと共に、重み割当て部２３４は、現フレームのみならず予め格納された前フレームの各ブロック（Ｂ、Ｂ１’ないしＢ８’）と現ブロック（Ｂ）の類似性程度を判断して式（２）に割当てるべき重み値を算出する。
【００６４】
最終動きベクトル推定部２３６は、式（２）から算出された相関度のうち、最大相関度を有する候補動きベクトルを現ブロック（Ｂ）の最終動きベクトルとして推定する。指定された各ブロックの最終動きベクトルは、バッファ２４０にフレーム単位で臨時格納される。
【００６５】
前述した本発明の第１の実施例に係る動き推定装置２００を使用することによって図６に示したようにブロックアーチファクト現象の減少された映像が提供できる。
【００６６】
図７は図２による動き推定方法を概略的に説明するための流れ図である。
【００６７】
図２ないし図７を参照すると、全域探索部２１０は現フレームを所定サイズのブロックに分割し、分割された各ブロックの臨時動きベクトルを全域探索ＢＭＡにより推定する（Ｓ７１０）。Ｓ７１０が行われると、候補動きベクトル推定部２２０は、所定の現ブロック（Ｂ）についてＢＭＡを再適用して多数の動き予測誤差値（例えば、ＳＡＤ値）を算出する（Ｓ７２０）。
【００６８】
そして、宝庫動きベクトル推定部２２０は、算出された多数のＳＡＤ値のうち所定の臨界値以下に当該する少なくとも１つのＳＡＤ値を有する位置から現ブロック（Ｂ）の補償のための少なくとも１つの候補動きベクトルを推定する（Ｓ７３０）。Ｓ７３０においての臨界値は、最小ＳＡＤ値に所定の常数を乗算した値であって、本発明ではａ＝１．５を適用する。
【００６９】
Ｓ７３０が行われると、重み値割当て部２３４は現ブロック（Ｂ）と各周辺ブロック（Ｂ１ないしＢ８）間の類似性程度に応じた重み値を算出する（Ｓ７４０）。
【００７０】
そして、相関度算出部２３２は、Ｓ７４０において算出および割当てられた重み値を考慮して各候補動きベクトルと周辺ブロック（Ｂ１ないしＢ８）動きベクトルとの相関度を算出する（Ｓ７５０）。即ち、式（２）によって相関度を算出するが、空間的相関度、且つ時間的相関度も考慮して算出する。
【００７１】
Ｓ７５０が行われると、最終動きベクトル推定部２３６は、少なくとも１つの候補動きベクトルのうち最大相関度を有する候補動きベクトルを現ブロック（Ｂ）の最終動きベクトルとして推定する（Ｓ７６０）。よってＳ７１０において推定された現ブロックの臨時動きベクトルを補正した最終動きベクトルが生成される。
【００７２】
一方、本発明の第１の実施例に係る他の動き推定方法において、現ブロック（Ｂ）と各周辺ブロック（Ｂ１ないしＢ８）間の類似性を考慮しなければ、Ｓ７４０は省略可能であり、Ｓ７５０は式（１）によって相関度を算出することが好ましい。
【００７３】
さらに、上述した本発明の第１の実施例に係る動き推定方法を使用することによって図６に示したようにブロックアーチファクト現象が減少された映像を提供することができる。
【００７４】
図８は本発明の好適な第２の実施例に係るブロック間の相関性を考慮した動き推定装置を概略的に示したブロック図であり、図９は図８の平均ベクトル算出部から算出された平均ベクトルによって最終動きベクトルを算出する場合を説明するための図である。
【００７５】
図８を参照すると、本発明に係るブロック間の相関性を考慮した動き推定装置８００は第１の動き推定部８１０および第２の動き推定部８２０を含んでなる。
【００７６】
第１の動き推定部８１０は、入力される現フレームを所定サイズのブロックで分割し、分割された各ブロックの動きベクトルを推定する。詳説すると、第１の動き推定部８１０は現フレームの分割された各ブロックについてＢＭＡを適用して各ブロックごとに多数のＳＡＤ値を算出する。そして、第１の動き推定部８１０は最小ＳＡＤ値を有する位置から各ブロックの動きベクトルを推定する。例えば、第１の動き推定部８１０は、現ブロック（Ｂ）を中心とし所定サイズの第１の探索領域（Ｓ１）を設定した後全域探索ＢＭＡにより現ブロック（Ｂ）の動きベクトルを推定する。
【００７７】
第２の動き推定部８２０は、現ブロック（Ｂ）および現ブロック（Ｂ）に隣接している少なくとも１つの周辺ブロック（図示せず）の動きベクトルを用いて所定サイズの第２の探索領域（Ｓ２）を設定する。そして、第２の動き推定部８２０は、現ブロック（Ｂ）を基準とし第２の探索領域（Ｓ２）についてＢＭＡを再適用し現ブロック（Ｂ）の最終動きベクトルを推定する。このため第２の動き推定部８２０は平均ベクトル算出部８２２、動き予測誤差算出部８２４、および最終動きベクトル推定部８２６を有する。
【００７８】
平均ベクトル算出部８２２は、現ブロック（Ｂ）および少なくとも１つの周辺ブロック（図示せず）の動きベクトルの平均ベクトルを式（３）により算出する。動きベクトルの平均は、現ブロック（Ｂ）および周辺ブロック（図示せず）の動きベクトルの垂直および水平成分を平均化ものである。周辺ブロック（図示せず）は現ブロック（Ｂ）に隣接したブロックとして同一な現フレーム内に配する。
【００７９】
【数３３】
2005050338.tif 000019
尚、Vｍは現ブロック（Ｂ）および少なくとも１つの周辺ブロック（図示せず）の動きベクトルの平均ベクトル、Nは現ブロック（Ｂ）および少なくとも１つの周辺ブロック（図示せず）の個数、
【００８０】
【数３４】
2005050338.tif 000020
は第１の動き推定部８１０にて推定された現ブロック（Ｂ）および少なくとも１つの周辺ブロック（図示せず）それぞれの動きベクトルを表す。
【００８１】
動き予測誤差算出部８２４は、図９に示したように平均ベクトルを中心とし第２の探索領域（Ｓ２）を設定した後、ＢＭＡを適用して多数の動き予測誤差値、例えばＳＡＤ値を算出する。この際、第２の探索領域（Ｓ２）のサイズは第２の探索領域（Ｓ１）に比べて縮小されたサイズを有し、動き推定装置８００の設置過程において設定されたサイズを有することが好ましい。
【００８２】
さらに第２の探索領域（Ｓ２）のサイズは、周辺ブロックの動きベクトル間の相関度に応じて可変的に調整できる。即ち、周辺ベクトルが全て一定の方向を示していると第２の探索領域（Ｓ２）を予め設定されたサイからを縮小することができ、相違であれば第２の探索領域（Ｓ２）のサイズを拡張することができる。同時に、第２の探索領域（Ｓ２）の拡張および縮小は図９に示したように水平方向（ｘｓ）および垂直方向（ｙｓ）を個別に調整することが可能である。このような第２の探索領域の拡張および縮小は設計メカニズムに応じて動き予測誤差算出部８２４にて適応的に調整可能である。
【００８３】
最終動きベクトル推定部８２６は、動き予測誤差算出部８２４から算出された多数のＳＡＤ値のうち最小ＳＡＤ値に対応する位置から現ブロック（Ｂ）の最終動きベクトルを推定する。
【００８４】
前述した本発明の第２の実施例に係る動き推定装置８００は、算出された平均ベクトルを中心とし縮小された第２の探索領域（Ｓ２）を設定した後、ＢＭＡを再適用して最終動きベクトルを推定する。即ち、算出された平均ベクトルを用いて実際に動きの発生が高い領域を予測して探索領域を縮小した後、縮小された探索領域内で現ブロック（Ｂ）の最終動きベクトルを推定する。従って、本発明に第２の実施例に係る動き推定装置８００および方法によると、平均ベクトルを用いて実際に動きが生じる可能性が高い領域を予測し探索領域を縮小させることによって動き推定エラーの可能性を未然に防止することができる。
【００８５】
図１１は、図８による動き推定方法を概略的に説明するための流れ図である。
【００８６】
図８ないし図１１を参照すると、第１の動き推定部８１０は入力される現フレームを所定サイズのブロックに分割し、分割された各ブロックの動きベクトルをＢＭＡにより推定する（Ｓ１１１０）例えば、Ｓ１１１０は、現ブロック（Ｂ）を中心に第１の探索領域（Ｓ１）を設定した後、全域探索ＢＭＡにより現ブロック（Ｂ）の動きベクトルを推定する。
【００８７】
Ｓ１１１０が行われると、平均ベクトル算出部８２２は現ブロック（Ｂ）および少なくとも１つの周辺ブロックの動きベクトルの平均ベクトルを式（３）により算出する（Ｓ１１２０）。それから動き予測算出部８２４は、算出された平均ベクトルを中心とし第２の探索領域（Ｓ２）を設定した後（Ｓ１１３０）、ＢＭＡを再適用して多数の動き予測誤差値（例えばＳＡＤ値）を算出する（Ｓ１１４０）。尚、第２の探索領域（Ｓ２）のサイズは、第１の探索領域（Ｓ１）より縮小され、第１の探索領域（Ｓ１）内に含まれることが好ましい。
【００８８】
Ｓ１１４０が行われると、最終動きベクトル推定部８２６は、算出された多数のＳＡＤ値のうち最小ＳＡＤ値に対応する位置から現ブロック（Ｂ）の最終動きベクトルを推定するＳ（１１５０）。
【００８９】
前述した本発明の第２の実施形態に係る動き推定装置８００およびその方法を使用することによって図１０に示したようにブロックアーチファクト現象が現象された映像が提供される。
【００９０】
以上、図面を参照して本発明の好適な実施形態を図示および説明してきたが本発明の保護範囲は、前述の実施形態に限定するものではなく、特許請求の範囲に記載された発明とその均等物にまで及ぶものである。
【産業上の利用可能性】
【００９１】
本発明は現ブロックの候補動きベクトルおよび現ブロックに隣接した周辺ブロックの動きベクトル間の相関性を考慮して動きを推定する動き推定装置および方法に利用可能である。
【図面の簡単な説明】
【００９２】
【図１】従来の動き推定方法によりブロックアーチファクトが生じた映像のシミュレーション例を示した図である。
【図２】本発明に好適な第１の実施例に係るブロック間の相関性を考慮した動き推定装置を示したブロック図である。
【図３】現ブロックおよび周辺ブロックを示したブロック図である。
【図４】図２の相関度算出部において時間的方向を考慮して相関度を算出した場合を説明するための図である。
【図５】図２の重み値割当て部にて動きの異なる２つの物体に重み値を割当てる場合を説明するための図である。
【図６】図２の動き推定装置によりブロックアーチファクトが減少された映像のシミュレーションの例を示した図である。
【図７】図２による動き推定方法をより概略的に説明するための流れ図である。
【図８】本発明の好適な実施例に係るブロック間の相関性を考慮した動き推定装置を示したブロック図である。
【図９】図８の平均ベクトル算出部から算出された平均ベクトルを用いて最終動きベクトルを推定する場合を説明するための図である。
【図１０】図８によりブロックアーチファクトが減少された映像のシミュレーション例を示した図である。
【図１１】図８による動き推定方法を概略的に説明するための流れ図である。
【符号の説明】
【００９３】
２００、８００  動き推定装置
２１０  全域探索部
２２０  候補動きベクトル推定部
２３０  動き補正部
２３２  相関度算出部
２３４  重み値割当て部
２３６、８２６  最終動きベクトル算出部
２４０  バッファ
８１０  第１の動き推定部
８２０  第２の動き推定部
８２２  平均ベクトル算出部
８２４  動き予測誤差算出部
【図１】
2005050338.tif 000037
【図２】
2005050338.tif 000038
【図３】
2005050338.tif 000039
【図４】
2005050338.tif 000040
【図５】
2005050338.tif 000041
【図６】
2005050338.tif 000042
【図７】
2005050338.tif 000043
【図８】
2005050338.tif 000044
【図９】
2005050338.tif 000045
【図１０】
2005050338.tif 000046
【図１１】
2005050338.tif 000047