(57)【要約】【課題】  所定ブロックの動きベクトルが不正確に推定されて発生するブロックアーティファクト現象を改善するため、所定ブロックのパターン如何を判断し、ブロック間の相関性を考慮して動きベクトルを補正できるパターン分析に基づく動きベクトル補正装置及び方法を提供する。【解決手段】  本発明は、動き推定部は現在フレームの現在ブロックと以前フレームに設定される探索領域を比較して複数の動き予測誤差値を算出した後、現在ブロックの仮動きベクトルを推定する。パターン判断部は、複数の動き予測誤差値を分析して現在ブロックのパターン映像如何を判断する。動き補正部は現在ブロックがパターン映像であると判断された場合、動き予測誤差値を利用して現在ブロックの補正動きベクトルを出力する。動きベクトル選択部は、パターン判断部の結果によって動き推定部で推定された仮動きベクトル及び動き補正部で補正された補正動きベクトルのいずれを最終動きベクトルとして選択する。【選択図】      図２
2005056410.tif 000002
【特許請求の範囲】
【請求項１】
現在フレーム/フィールドの現在ブロックと以前フレーム/フィールドに設定される所定の探索領域とを比較して複数の動き予測誤差値を算出した後、前記複数の動き予測誤差値に基づいて前記現在ブロックの仮動きベクトルを推定する動き推定部と、
算出された前記動き予測誤差値を分析して、前記現在ブロックがパターン映像であるか否かを判断するパターン判断部と、
前記現在ブロックが前記パターン映像であると判断された場合、前記複数の動き予測誤差値を利用して前記現在ブロックの補正動きベクトルを出力する動き補正部と、
前記パターン判断部の結果によって、前記動き推定部で推定された前記仮動きベクトル及び前記動き補正部で補正された前記補正動きベクトルのいずれかを最終動きベクトルとして選択する動きベクトル選択部とを備えることを特徴とするパターン分析に基づく動きベクトル補正装置。
【請求項２】
前記動き推定部は、
所定の大きさのブロックに分割された前記現在フレーム/フィールドの中で前記現在ブロックと前記探索領域に対してブロックマッチング方式を適用して、前記複数の動き予測誤差値を算出する動き予測誤差算出部と、
算出された前記複数の動き予測誤差値の中で最小動き予測誤差値を有する位置から前記現在ブロックの前記仮動きベクトルを推定する動きベクトル推定部とを備えることを特徴とする請求項１に記載のパターン分析に基づく動きベクトル補正装置。
【請求項３】
前記パターン判断部は、
前記複数の動き予測誤差値に対して累積投射を行って、複数の投射値を生成する累積投射部と、
複数の前記投射値の中で所定の第１及び第２投射値の間に位置し、前記第１及び第２投射値より小さな少なくとも１つの投射局部の最小値の個数を確認する投射値確認部と、
前記複数の投射値の中で順次的に発生する前記投射局部の最小値を少なくとも１つ含む周期の繰り返し回数を算出し、前記探索領域の長さを前記周期の繰り返し回数で割り算して前記周期を算出する周期算出部と、
確認された前記投射局部の最小値の個数及び算出された前記周期の繰り返し回数を分析して、前記現在ブロックがパターン映像であるか否かを判断するパターン判別部とを備えることを特徴とする請求項１に記載のパターン分析に基づく動きベクトル補正装置。
【請求項４】
前記累積投射の遂行部は、
前記複数の動き予測誤差値に対して垂直方向に累積投射を行うことにより、複数の垂直投射値を生成する垂直投射部と、
前記複数の動き予測誤差値に対して水平方向に累積投射を行うことにより、複数の水平投射値を生成する水平投射部とを備えることを特徴とする請求項３に記載のパターン分析に基づく動きベクトル補正装置。
【請求項５】
前記投射値確認部は、
生成された前記複数の垂直投射値の中で、所定の第１及び第２垂直投射値の間に位置し、前記第１及び第２垂直投射値より小さな垂直投射局部の最小値の個数を確認する垂直投射値確認部と、
生成された前記複数の水平投射値の中で、所定の第１及び第２水平投射値の間に位置し、前記第１及び第２水平投射値より小さな水平投射局部の最小値の個数を確認する水平投射値確認部とを備えることを特徴とする請求項４に記載のパターン分析に基づく動きベクトル補正装置。
【請求項６】
前記周期算出部は、
前記複数の垂直投射値の中で、順次的に発生する前記垂直投射局部の最小値を少なくとも１つ含む垂直周期の繰り返し回数を算出する垂直周期算出部と、
前記複数の水平投射値の中で、順次的に発生する前記水平投射局部の最小値を少なくとも１つ含む水平周期の繰り返し回数を算出する水平周期算出部とを備えることを特徴とする請求項５に記載のパターン分析に基づく動きベクトル補正装置。
【請求項７】
前記垂直周期算出部及び前記水平周期算出部は、次の式により前記垂直及び水平周期の繰り返し回数を算出することを特徴とする請求項６に記載のパターン分析に基づく動きベクトル補正装置。
【数１】
2005056410.tif 000015
ここで、γｖは前記垂直周期の繰り返し回数、Ｌｖ、ａは前記複数の垂直投射値の中で、隣接した２垂直投射値の間の絶対差を全て加算した垂直投射長さ、Ｌｖ、ｐは前記複数の垂直投射値の中で最大及び最小垂直投射値の絶対差、γｈは前記水平周期の繰り返し回数、Ｌｈ、ａは前記複数の水平投射値の中で隣接した２水平投射値の間の絶対差を全て加算した水平投射の長さ、Ｌｈ、Ｐは前記複数の水平投射値の中で最大及び最小水平投射値の絶対差である。
【請求項８】
前記垂直周期算出部は、
前記探索領域の水平長さを前記垂直周期の繰り返し回数で割り算して前記パターン映像の垂直周期を算出し、
前記水平周期算出部は、
前記探索領域の垂直長さを前記水平周期の繰り返し回数で割り算して前記パターン映像の水平周期を算出することを特徴とする請求項６に記載のパターン分析に基づく動きベクトル補正装置。
【請求項９】
前記パターン判別部は、前記投射局部の最小値の個数が少なくても２つであり、前記周期繰り返し回数が設定された所定の第１しきい値以上であれば、前記現在ブロックはパターン映像であると判断することを特徴とする請求項３に記載のパターン分析に基づく動きベクトル補正装置。
【請求項１０】
前記パターン映像であると判断された場合、前記探索領域の中心から最短距離に隣接した誤差局部の最小値の位置によって、前記パターン映像が前記現在ブロックの動きが零(０)である静的パターン映像と前記現在ブロックの動きにより発生した動的パターン映像のうち、いずれかであるかを分類するパターン分類部をさらに備えることを特徴とする請求項３に記載のパターン分析に基づく動きベクトル補正装置。
【請求項１１】
前記パターン分類部は、前記複数の動き予測誤差値の中で所定の第１及び第２誤差値の間に位置し、前記第１及び第２誤差値より小さな少なくとも１つの誤差局部の最小値の中で、前記探索領域の中心から最短距離に位置した誤差局部の最小値と前記周期算出部により算出された前記周期とを比較することにより、前記パターン映像を分類することを特徴とする請求項１０に記載のパターン分析に基づく動きベクトル補正装置。
【請求項１２】
前記パターン分類部は、次の条件を満足すれば前記パターン映像が前記静的パターン映像であると判断することを特徴とする請求項１１に記載のパターン分析に基づく動きベクトル補正装置。
【数２】
2005056410.tif 000016
ここで、uは前記最短距離に位置した誤差局部の最小値の位置、αは所定定数、pは前記周期算出部により算出された周期である。
【請求項１３】
前記動き補正部は、
前記静的パターン映像に分類された場合、前記探索領域の中心から最短距離に位置した誤差局部の最小値に対応される位置から前記補正動きベクトルを推定して出力する静的動き補正部と、
前記動的パターン映像に分類された場合、前記現在ブロックに隣接した周辺ブロックの動きベクトルの平均ベクトルを算出する平均ベクトル算出部と、
少なくとも１つの前記誤差局部の最小値の中で算出された前記平均ベクトルと最短距離に位置した誤差局部の最小値の位置から前記補正動きベクトルを推定して出力する動的動き補正部とを備えることを特徴とする請求項１１に記載のパターン分析に基づく動きベクトル補正装置。
【請求項１４】
前記パターン判断部で前記パターン映像であると判断されれば、前記動きベクトル選択部は、前記動き補正部で推定された前記補正動きベクトルを前記最終動きベクトルとして選択することを特徴とする請求項１に記載のパターン分析に基づく動きベクトル補正装置。
【請求項１５】
前記パターン分類部で前記パターン映像が前記静的パターン映像に分類されれば、前記動きベクトル選択部は、前記静的動き補正部で推定された補正動きベクトルを選択し、前記動的パターン映像に分類されれば、前記動きベクトル選択部は、前記動的動き補正部で推定された補正動きベクトルを選択することを特徴とする請求項１３に記載のパターン分析に基づく動きベクトル補正装置。
【請求項１６】
前記第１及び第２動き予測誤差値は、ＳＡＤ、ＭＡＤ及びＭＳＥのいずれかにより算出されることを特徴とする請求項１に記載のパターン分析に基づく動きベクトル補正装置。
【請求項１７】
現在フレーム/フィールドの現在ブロックと以前フレーム/フィールドとに設定される所定の探索領域とを比較して、複数の動き予測誤差値を算出した後、前記複数の動き予測誤差値に基づいて前記現在ブロックの仮動きベクトルを推定する動き推定ステップと、
算出された前記動き予測誤差値を分析して、前記現在ブロックがパターン映像であるか否かを判断するパターン判断ステップと、
前記現在ブロックが前記パターン映像であると判断された場合、前記複数の動き予測誤差値を利用して前記現在ブロックの補正動きベクトルを出力する動き補正ステップと、
前記パターン判断ステップの結果により、前記動き推定ステップで推定された前記仮動きベクトル及び前記動き補正ステップで補正された前記補正動きベクトルのいずれかを最終動きベクトルとして選択する動きベクトル選択ステップとを備えることを特徴とするパターン分析に基づく動きベクトル補正方法。
【請求項１８】
前記動き推定ステップは、
所定大きさのブロックに分割された前記現在フレーム/フィールドの中で前記現在ブロックと前記探索領域とに対してブロックマッチング方式を適用して、前記複数の動き予測誤差値を算出する動き予測誤差算出ステップと、
算出された前記複数の動き予測誤差値の中で最小動き予測誤差値を有する位置から前記現在ブロックの前記仮動きベクトルを推定する動きベクトル推定ステップとを備えることを特徴とする請求項１７に記載のパターン分析に基づく動きベクトル補正方法。
【請求項１９】
前記パターン判断ステップは、
前記複数の動き予測誤差値に対して累積投射を行って、複数の投射値を生成する累積投射ステップと、
複数の前記投射値の中で所定の第１及び第２投射値の間に位置し、前記第１及び第２投射値より小さな少なくとも１つの投射局部の最小値の個数を確認する投射値の確認ステップと、
前記複数の投射値の中で順次的に発生する前記投射局部の最小値を少なくとも１つを含む周期の繰り返し回数を算出し、前記探索領域の長さを前記周期の繰り返し回数で割り算して前記周期を算出する周期算出ステップと、
確認された前記投射局部の最小値の個数及び算出された前記周期繰り返し回数を分析して、前記現在ブロックがパターン映像であるか否かを判断するパターン判別ステップとを備えることを特徴とする請求項１７に記載のパターン分析に基づく動きベクトル補正方法。
【請求項２０】
前記累積投射の遂行ステップは、
前記複数の動き予測誤差値に対して垂直方向に累積投射を行って、複数の垂直投射値を生成する垂直投射ステップと、
前記複数の動き予測誤差値に対して水平方向に累積投射を行って、複数の水平投射値を生成する水平投射ステップとを備えることを特徴とする請求項１９に記載のパターン分析に基づく動きベクトル補正方法。
【請求項２１】
前記投射値の確認ステップは、
生成された前記複数の垂直投射値の中で所定の第１及び第２垂直投射値の間に位置し、前記第１及び第２垂直投射値より小さな垂直投射局部の最小値の個数を確認する垂直投射値の確認ステップと、
生成された前記複数の水平投射値の中で所定の第１及び第２水平投射値の間に位置し、前記第１及び第２水平投射値より小さな水平投射局部の最小値の個数を確認する水平投射値の確認ステップとを備えることを特徴とする請求項２０に記載のパターン分析に基づく動きベクトル補正方法。
【請求項２２】
前記周期算出ステップは、
前記複数の垂直投射値の中で、順次的に発生する前記垂直投射局部の最小値を少なくとも１つ含む垂直周期の繰り返し回数を算出する垂直周期算出ステップと、
前記複数の水平投射値の中で、順次的に発生する前記水平投射局部の最小値を少なくとも１つ含む水平周期の繰り返し回数を算出する水平周期算出ステップとを備えることを特徴とする請求項２１に記載のパターン分析に基づく動きベクトル補正方法。
【請求項２３】
前記垂直周期算出ステップ及び前記水平周期算出ステップは、各々次の式により前記垂直及び水平周期の繰り返し回数を算出することを特徴とする請求項２２に記載のパターン分析に基づく動きベクトル補正方法。
【数３】
2005056410.tif 000017
ここで、γｖは前記垂直周期の繰り返し回数、Ｌｖ、ａは前記複数の垂直投射値の中で隣接した２垂直投射値の間の絶対差を全て加算した垂直投射の長さ、Ｌｖ、ｐは前記複数の垂直投射値の中で最大及び最小垂直投射値の絶対差、γｈは前記水平周期の繰り返し回数、Ｌｈ、ａは前記複数の水平投射値の中で隣接した２水平投射値の間の絶対差を全て加算した水平投射の長さ、Ｌｈ、ｐは前記複数の水平投射値の中で最大及び最小水平投射値の絶対差である。
【請求項２４】
前記垂直周期算出ステップは、前記探索領域の水平長さを前記垂直周期の繰り返し回数で割り算して前記パターン映像の垂直周期を算出し、前記水平周期算出ステップは、前記探索領域の垂直長さを前記水平周期の繰り返し回数で割り算して前記パターン映像の水平周期を算出することを特徴とする請求項２２に記載のパターン分析に基づく動きベクトル補正方法。
【請求項２５】
前記パターン判別ステップは、前記投射局部の最小値の個数が少なくとも２つであり、前記周期繰り返し回数が設定された所定の第１しきい値以上であれば、前記現在ブロックはパターン映像であると判断することを特徴とする請求項１９に記載のパターン分析に基づく動きベクトル補正方法。
【請求項２６】
前記パターン判断ステップでパターン映像であると判断されれば、
前記探索領域の中心から最短距離に隣接した誤差局部の最小値の位置により、前記パターン映像が前記現在ブロックの動きが零(０)である静的パターン映像及び前記現在ブロックの動きにより発生した動的パターン映像のうち、いずれかであるかを分類するパターン分類ステップをさらに備えることを特徴とする請求項１９に記載のパターン分析に基づく動きベクトル補正方法。
【請求項２７】
前記パターン分類ステップは、前記複数の動き予測誤差値の中で所定の第１及び第２誤差値の間に位置し、前記第１及び第２誤差値より小さな少なくとも１つの誤差局部の最小値の中で、前記探索領域の中心から最短距離に位置した誤差局部の最小値と前記周期算出部により算出された前記周期とを比較して、前記パターン映像を分類することを特徴とする請求項２６に記載のパターン分析に基づく動きベクトル補正方法。
【請求項２８】
前記パターン分類ステップは、次の条件を満足すれば前記パターン映像が前記静的パターン映像であると判断することを特徴とする請求項２７に記載のパターン分析に基づく動きベクトル補正方法。
【数４】
2005056410.tif 000018
ここで、ｕは前記最短距離に位置した誤差局部の最小値の位置、αは所定定数、ｐは前記周期算出部により算出された周期である。
【請求項２９】
前記動き補正ステップは、
前記静的パターン映像に分類された場合、前記探索領域の中心から最短距離に位置した誤差局部の最小値に対応される位置から前記補正動きベクトルを推定して出力する静的動き補正ステップと、
前記動的パターン映像に分類された場合、前記現在ブロックに隣接した周辺ブロックの動きベクトルの平均ベクトルを算出する平均ベクトル算出ステップと、
少なくとも１つの前記誤差局部の最小値の中から算出された前記平均ベクトルと最短距離に位置した誤差局部の最小値の位置から前記補正動きベクトルを推定して出力する動的動き補正ステップとを備えることを特徴とする請求項２７に記載のパターン分析に基づく動きベクトル補正方法。
【請求項３０】
前記パターン判断ステップで前記パターン映像であると判断されれば、前記動きベクトル選択ステップは、前記動き補正部で推定された前記補正動きベクトルを前記最終動きベクトルとして選択することを特徴とする請求項１７に記載のパターン分析に基づく動きベクトル補正方法。
【請求項３１】
前記パターン分類ステップで前記パターン映像が前記静的パターン映像に分類されれば、前記動きベクトル選択ステップは前記静的動き補正ステップで推定された補正動きベクトルを選択し、前記動的パターン映像に分類されれば、前記動きベクトル選択ステップは前記動的動き補正部で推定された補正動きベクトルを選択することを特徴とする請求項２９に記載のパターン分析に基づく動きベクトル補正方法。
【請求項３２】
前記第１及び第２動き予測誤差値は、ＳＡＤ、ＭＡＤ及びＭＳＥのいずれかにより算出されることを特徴とする請求項１７に記載のパターン分析に基づく動きベクトル補正方法。
【請求項３３】
現在フレーム/フィールドの現在ブロックと以前フレーム/フィールドとに設定される所定の探索領域とを比較して複数の動き予測誤差値を算出した後、前記複数の動き予測誤差値に基づいて前記現在ブロックの仮動きベクトルを推定する動き推定部と、
算出された前記動き予測誤差値を分析して前記現在ブロックがパターン映像であるか否かを判断し、前記動き予測誤差値に対して累積投射を行って生成された複数の累積ベクトルの位置情報を確認するパターン判断部と、
前記現在ブロックが前記パターン映像であると判断された場合、前記複数の累積ベクトルの位置情報を利用して前記現在ブロックの補正動きベクトルを生成及び出力する動き補正部と、
前記パターン判断部の結果によって、前記動き推定部で推定された前記仮動きベクトル及び前記動き補正部で補正された前記補正動きベクトルのいずれかを最終動きベクトルとして選択する動きベクトル選択部とを備えることを特徴とするパターン分析に基づく動きベクトル補正装置。
【請求項３４】
前記パターン判断部は、
前記複数の動き予測誤差値に対して累積投射を行って、複数の投射値を生成する累積投射部と、
複数の前記投射値の中で所定の第１及び第２投射値に対応される動き予測誤差値より小さな動き予測誤差値を有する少なくとも１つの投射局部の最小値の個数及び前記複数の投射値の位置情報を確認する投射値確認部と、
前記複数の投射値の中で順次的に発生する前記投射局部の最小値を少なくとも１つ含む周期の繰り返し回数を算出し、前記探索領域の長さを前記周期の繰り返し回数で割り算して前記周期を算出する周期算出部と、
確認された前記投射局部の最小値の個数及び算出された前記周期繰り返し回数を分析して、前記現在ブロックがパターン映像であるか否かを判断するパターン判別部とを備えることを特徴とする請求項３３に記載のパターン分析に基づく動きベクトル補正装置。
【請求項３５】
前記パターン映像であると判断された場合、前記探索領域の中心から最短距離に隣接した投射局部の最小値の位置に基づいて、前記パターン映像が前記現在ブロックの動きが零(０)である静的パターン映像及び前記現在ブロックの動きにより発生した動的パターン映像のいずれかであるかを分類するパターン分類部をさらに備えることを特徴とする請求項３４に記載のパターン分析に基づく動きベクトル補正装置。
【請求項３６】
前記パターン判断部で前記パターン映像であると判断されれば、前記動きベクトル選択部は、前記動き補正部で推定された前記補正動きベクトルを前記最終動きベクトルとして選択することを特徴とする請求項３３に記載のパターン分析に基づく動きベクトル補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン分析に基づく動きベクトル補正装置及びその方法に関し、さらに詳細には、動き推定対象であるブロックのパターン如何を判断して既推定された動きベクトルを補正する動きベクトル補正装置及びその方法に関する。
【背景技術】
【０００２】
ＦＲＣ(Ｆｒａｍｅ  Ｒａｔｅ  ｕｐ−Ｃｏｎｖｅｒｓｉｏｎ)、ＩＰＣ(Ｉｎｔｅｒａｃｅｄ  ｔｏ  Ｐｒｏｇｒｅｓｓｉｖｅ  Ｃｏｎｖｅｒｓｉｏｎ)などのような映像処理において、映像フレーム間の動き推定は必需的に行われている。動き推定は動き補償のために動きベクトルを推定することであって、一般にブロックマッチングアルゴリズム(以下、「ＢＭＡ」と記す）を利用して推定される。
【０００３】
ＢＭＡは連続入力される２枚のフレーム/フィールドをブロック単位に比較してブロック当たり１つの動きベクトルを推定する。この場合、動きベクトルは既に公知された動き予測誤差値、例えば、ＳＡＤ(絶対差の和)値を利用して推定される。そして、動き補償過程では推定された動きベクトルを利用して動き補償を行う。
【０００４】
しかし、従来の動き推定において、ブロック別に推定された各々の動きベクトルは不正確に推定される場合が発生する。特に、図１Ａに示すように、同じ映像が周期的に繰り返される実際周期パターン映像は、ＢＭＡだけでは正確な動きベクトルが推定し難い。周期パターンは、所定映像が一定間隔に繰り返されるパターンであって、階段、縞馬、窓の格子などを例に上げることができる。
【０００５】
したがって、周期パターン映像において、ＢＭＡにより推定された動きベクトルを利用して動き補償を行うようになれば、図１Ｂに示すように、補間フレーム/フィールド映像ではブロックアーティファクトが発生する。ブロックアーティファクトは隣接したブロック間の境界が不連続的に見える現象であって、視覚的に目に障る映像を提供し、画質低下を招く。このようなブロックアーティファクトは、周辺ブロックとの相関性を考慮しない状態で推定された動きベクトルを利用してブロック別に動き補償を行なうことによって発生する。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は上述した問題点に鑑みてなされたものであって、その目的とするところは、所定ブロックの動きベクトルが不正確に推定されて発生するブロックアーティファクト現象を改善するために所定ブロックのパターン如何を判断し、ブロック間の相関性を考慮して動きベクトルを補正できるパターン分析に基づく動きベクトル補正装置及びその方法を提供するところである。
【課題を解決するための手段】
【０００７】
前記のような技術的課題を解決するため、本発明に係るパターン分析に基づく動きベクトル補正装置は、現在フレーム/フィールドの現在ブロックと以前フレーム/フィールドに設定される所定の探索領域とを比較して複数の動き予測誤差値を算出した後、前記複数の動き予測誤差値に基づいて前記現在ブロックの仮動きベクトルを推定する動き推定部と、算出された前記動き予測誤差値を分析して、前記現在ブロックがパターン映像であるか否かを判断するパターン判断部と、前記現在ブロックが前記パターン映像であると判断された場合、前記複数の動き予測誤差値を利用して前記現在ブロックの補正動きベクトルを出力する動き補正部と、前記パターン判断部の結果によって、前記動き推定部で推定された前記仮動きベクトル及び前記動き補正部で補正された前記補正動きベクトルのいずれかを最終動きベクトルとして選択する動きベクトル選択部とを備える。
【０００８】
さらに詳細には、前記動き推定部は、所定の大きさのブロックに分割された前記現在フレーム/フィールドの中で前記現在ブロックと前記探索領域に対してブロックマッチング方式を適用して、前記複数の動き予測誤差値を算出する動き予測誤差算出部と、算出された前記複数の動き予測誤差値の中で最小動き予測誤差値を有する位置から前記現在ブロックの前記仮動きベクトルを推定する動きベクトル推定部とを備える。
【０００９】
好ましくは、前記パターン判断部は、前記複数の動き予測誤差値に対して累積投射を行って、複数の投射値を生成する累積投射部と、複数の前記投射値の中で所定の第１及び第２投射値の間に位置し、前記第１及び第２投射値より小さな少なくとも１つの投射局部の最小値の個数を確認する投射値確認部と、前記複数の投射値の中で順次的に発生する前記投射局部の最小値を少なくとも１つ含む周期の繰り返し回数を算出し、前記探索領域の長さを前記周期の繰り返し回数で割り算して前記周期を算出する周期算出部と、確認された前記投射局部の最小値の個数及び算出された前記周期の繰り返し回数を分析して、前記現在ブロックがパターン映像であるか否かを判断するパターン判別部とを備える。
【００１０】
また、前記累積投射の遂行部は、前記複数の動き予測誤差値に対して垂直方向に累積投射を行うことにより、複数の垂直投射値を生成する垂直投射部と、前記複数の動き予測誤差値に対して水平方向に累積投射を行うことにより、複数の水平投射値を生成する水平投射部とを備える。
【００１１】
また、前記投射値確認部は、生成された前記複数の垂直投射値の中で、所定の第１及び第２垂直投射値の間に位置し、前記第１及び第２垂直投射値より小さな垂直投射局部の最小値の個数を確認する垂直投射値確認部と、生成された前記複数の水平投射値の中で、所定の第１及び第２水平投射値の間に位置し、前記第１及び第２水平投射値より小さな水平投射局部の最小値の個数を確認する水平投射値確認部とを備える。
【００１２】
また、前記周期算出部は、前記複数の垂直投射値の中で、順次的に発生する前記垂直投射局部の最小値を少なくとも１つ含む垂直周期の繰り返し回数を算出する垂直周期算出部と、前記複数の水平投射値の中で、順次的に発生する前記水平投射局部の最小値を少なくとも１つ含む水平周期の繰り返し回数を算出する水平周期算出部とを備える。
【００１３】
好ましくは、前記垂直周期算出部及び前記水平周期算出部は、次の式により前記垂直及び水平周期の繰り返し回数を算出する。
【００１４】
【数５】
2005056410.tif 000003
ここで、γｖは前記垂直周期の繰り返し回数、Ｌｖ、ａは前記複数の垂直投射値の中で、隣接した２垂直投射値の間の絶対差を全て加算した垂直投射長さ、Ｌｖ、ｐは前記複数の垂直投射値の中で最大及び最小垂直投射値の絶対差、γｈは前記水平周期の繰り返し回数、Ｌｈ、ａは前記複数の水平投射値の中で隣接した２水平投射値の間の絶対差を全て加算した水平投射の長さ、Ｌｈ、Ｐは前記複数の水平投射値の中で最大及び最小水平投射値の絶対差である。
【００１５】
また、前記垂直周期算出部は、前記探索領域の水平長さを前記垂直周期の繰り返し回数で割り算して前記パターン映像の垂直周期を算出し、前記水平周期算出部は、前記探索領域の垂直長さを前記水平周期の繰り返し回数で割り算して前記パターン映像の水平周期を算出する。
【００１６】
詳細には、前記パターン判別部は、前記投射局部の最小値の個数が少なくても２つであり、前記周期繰り返し回数が設定された所定の第１しきい値以上であれば、前記現在ブロックはパターン映像であると判断する。
【００１７】
さらに詳細には、前記パターン映像であると判断された場合、前記探索領域の中心から最短距離に隣接した誤差局部の最小値の位置によって、前記パターン映像が前記現在ブロックの動きが零(０)である静的パターン映像と前記現在ブロックの動きにより発生した動的パターン映像のうち、いずれかであるかを分類するパターン分類部をさらに備える。
【００１８】
また、前記パターン分類部は、前記複数の動き予測誤差値の中で所定の第１及び第２誤差値の間に位置し、前記第１及び第２誤差値より小さな少なくとも１つの誤差局部の最小値の中で、前記探索領域の中心から最短距離に位置した誤差局部の最小値と前記周期算出部により算出された前記周期とを比較することにより、前記パターン映像を分類する。
【００１９】
また、前記パターン分類部は、次の条件を満足すれば前記パターン映像が前記静的パターン映像であると判断する。
【００２０】
【数６】
2005056410.tif 000004
ここで、uは前記最短距離に位置した誤差局部の最小値の位置、αは所定定数、pは前記周期算出部により算出された周期である。
【００２１】
さらに詳細には、前記動き補正部は、前記静的パターン映像に分類された場合、前記探索領域の中心から最短距離に位置した誤差局部の最小値に対応される位置から前記補正動きベクトルを推定して出力する静的動き補正部と、前記動的パターン映像に分類された場合、前記現在ブロックに隣接した周辺ブロックの動きベクトルの平均ベクトルを算出する平均ベクトル算出部と、少なくとも１つの前記誤差局部の最小値の中で算出された前記平均ベクトルと最短距離に位置した誤差局部の最小値の位置から前記補正動きベクトルを推定して出力する動的動き補正部とを備える。
【００２２】
また、前記パターン判断部で前記パターン映像であると判断されれば、前記動きベクトル選択部は、前記動き補正部で推定された前記補正動きベクトルを前記最終動きベクトルとして選択する。
【００２３】
好ましくは、前記パターン分類部で前記パターン映像が前記静的パターン映像に分類されれば、前記動きベクトル選択部は、前記静的動き補正部で推定された補正動きベクトルを選択し、前記動的パターン映像に分類されれば、前記動きベクトル選択部は、前記動的動き補正部で推定された補正動きベクトルを選択する。
【００２４】
好ましくは、前記第１及び第２動き予測誤差値は、ＳＡＤ、ＭＡＤ(平均絶対差)及びＭＳＥ(平均平方誤差)のいずれかにより算出される。
【００２５】
一方、上述した技術的課題を解決するための本発明に係るパターン分析に基づく動きベクトル補正方法は、現在フレーム/フィールドの現在ブロックと以前フレーム/フィールドとに設定される所定の探索領域とを比較して、複数の動き予測誤差値を算出した後、前記複数の動き予測誤差値に基づいて前記現在ブロックの仮動きベクトルを推定する動き推定ステップと、算出された前記動き予測誤差値を分析して、前記現在ブロックがパターン映像であるか否かを判断するパターン判断ステップと、前記現在ブロックが前記パターン映像であると判断された場合、前記複数の動き予測誤差値を利用して前記現在ブロックの補正動きベクトルを出力する動き補正ステップと、前記パターン判断ステップの結果により、前記動き推定ステップで推定された前記仮動きベクトル及び前記動き補正ステップで補正された前記補正動きベクトルのいずれかを最終動きベクトルとして選択する動きベクトル選択ステップとを備える。
【００２６】
さらに詳細には、前記動き推定ステップは、所定大きさのブロックに分割された前記現在フレーム/フィールドの中で前記現在ブロックと前記探索領域とに対してブロックマッチング方式を適用して、前記複数の動き予測誤差値を算出する動き予測誤差算出ステップと、算出された前記複数の動き予測誤差値の中で最小動き予測誤差値を有する位置から前記現在ブロックの前記仮動きベクトルを推定する動きベクトル推定ステップとを備える。
【００２７】
また、前記パターン判断ステップは、前記複数の動き予測誤差値に対して累積投射を行って、複数の投射値を生成する累積投射ステップと、複数の前記投射値の中で所定の第１及び第２投射値の間に位置し、前記第１及び第２投射値より小さな少なくとも１つの投射局部の最小値の個数を確認する投射値の確認ステップと、前記複数の投射値の中で順次的に発生する前記投射局部の最小値を少なくとも１つを含む周期の繰り返し回数を算出し、前記探索領域の長さを前記周期の繰り返し回数で割り算して前記周期を算出する周期算出ステップと、確認された前記投射局部の最小値の個数及び算出された前記周期繰り返し回数を分析して、前記現在ブロックがパターン映像であるか否かを判断するパターン判別ステップとを備える。
【００２８】
また、前記累積投射の遂行ステップは、前記複数の動き予測誤差値に対して垂直方向に累積投射を行って、複数の垂直投射値を生成する垂直投射ステップと、前記複数の動き予測誤差値に対して水平方向に累積投射を行って、複数の水平投射値を生成する水平投射ステップとを備える。
【００２９】
また、前記投射値の確認ステップは、生成された前記複数の垂直投射値の中で所定の第１及び第２垂直投射値の間に位置し、前記第１及び第２垂直投射値より小さな垂直投射局部の最小値の個数を確認する垂直投射値の確認ステップと、生成された前記複数の水平投射値の中で所定の第１及び第２水平投射値の間に位置し、前記第１及び第２水平投射値より小さな水平投射局部の最小値の個数を確認する水平投射値の確認ステップとを備える。
【００３０】
また、前記周期算出ステップは、前記複数の垂直投射値の中で、順次的に発生する前記垂直投射局部の最小値を少なくとも１つ含む垂直周期の繰り返し回数を算出する垂直周期算出ステップと、前記複数の水平投射値の中で、順次的に発生する前記水平投射局部の最小値を少なくとも１つ含む水平周期の繰り返し回数を算出する水平周期算出ステップと、を備える。
【００３１】
好ましくは、前記垂直周期算出ステップ及び前記水平周期算出ステップは、各々次の式により前記垂直及び水平周期の繰り返し回数を算出する。
【００３２】
【数７】
2005056410.tif 000005
ここで、γｖは前記垂直周期の繰り返し回数、Ｌｖ、ａは前記複数の垂直投射値の中で隣接した２垂直投射値の間の絶対差を全て加算した垂直投射の長さ、Ｌｖ、ｐは前記複数の垂直投射値の中で最大及び最小垂直投射値の絶対差、γｈは前記水平周期の繰り返し回数、Ｌｈ、ａは前記複数の水平投射値の中で隣接した２水平投射値の間の絶対差を全て加算した水平投射の長さ、Ｌｈ、ｐは前記複数の水平投射値の中で最大及び最小水平投射値の絶対差である。
【００３３】
また、前記垂直周期算出ステップは、前記探索領域の水平長さを前記垂直周期の繰り返し回数で割り算して前記パターン映像の垂直周期を算出し、前記水平周期算出ステップは、前記探索領域の垂直長さを前記水平周期の繰り返し回数で割り算して前記パターン映像の水平周期を算出する。
【００３４】
前記パターン判別ステップは、前記投射局部の最小値の個数が少なくとも２つであり、前記周期繰り返し回数が設定された所定の第１しきい値以上であれば、前記現在ブロックはパターン映像であると判断する。
【００３５】
さらに詳細には、前記パターン判断ステップでパターン映像であると判断されれば、前記探索領域の中心から最短距離に隣接した誤差局部の最小値の位置により、前記パターン映像が前記現在ブロックの動きが零(０)である静的パターン映像及び前記現在ブロックの動きにより発生した動的パターン映像のうち、いずれかであるかを分類するパターン分類ステップをさらに備える。
【００３６】
また、前記パターン分類ステップは、前記複数の動き予測誤差値の中で所定の第１及び第２誤差値の間に位置し、前記第１及び第２誤差値より小さな少なくとも１つの誤差局部の最小値の中で、前記探索領域の中心から最短距離に位置した誤差局部の最小値と前記周期算出部により算出された前記周期とを比較して、前記パターン映像を分類する。
【００３７】
前記パターン分類ステップは、次の条件を満足すれば前記パターン映像が前記静的パターン映像であると判断する。
【００３８】
【数８】
2005056410.tif 000006
ここで、ｕは前記最短距離に位置した誤差局部の最小値の位置、αは所定定数、ｐは前記周期算出部により算出された周期である。
【００３９】
さらに詳細には、前記動き補正ステップは、前記静的パターン映像に分類された場合、前記探索領域の中心から最短距離に位置した誤差局部の最小値に対応される位置から前記補正動きベクトルを推定して出力する静的動き補正ステップと、前記動的パターン映像に分類された場合、前記現在ブロックに隣接した周辺ブロック等の動きベクトル等の平均ベクトルを算出する平均ベクトル算出ステップと、少なくとも１つの前記誤差局部の最小値の中から算出された前記平均ベクトルと最短距離に位置した誤差局部の最小値の位置から前記補正動きベクトルを推定して出力する動的動き補正ステップとを備える。
【００４０】
また、前記パターン判断ステップで前記パターン映像であると判断されれば、前記動きベクトル選択ステップは、前記動き補正部で推定された前記補正動きベクトルを前記最終動きベクトルとして選択する。
【００４１】
また、前記パターン分類ステップで前記パターン映像が前記静的パターン映像に分類されれば、前記動きベクトル選択ステップは前記静的動き補正ステップで推定された補正動きベクトルを選択し、前記動的パターン映像に分類されれば、前記動きベクトル選択ステップは前記動的動き補正部で推定された補正動きベクトルを選択する。
【発明の効果】
【００４２】
本発明に係るパターン分析に基づく動きベクトル補正装置及びその方法によれば、正確な動きベクトルの推定が困難なパターン領域で動き予測誤差値に基づいてパターンを分析し、周辺ブロック間の相関性を利用して正確な動きベクトルを推定することが可能である。したがって、ＦＲＣ、ＩＰＣなどに本発明を適用する場合、動きベクトルの推定エラーによって補間映像で発生するブロックアーティファクトのような画質低下現象を效果的に改善できる。
【発明を実施するための最良の形態】
【００４３】
本発明の実施例を図面を参照に説明する。
【実施例】
【００４４】
図２は、本発明の好ましい実施の形態に係るパターン分析に基づく動きベクトル補正装置を概略的に示すブロック図であり、図３は、図２に設けられたパターン判断部をさらに詳細に示すブロック図である。
【００４５】
図２を参照すれば、パターン分析に基づく動きベクトル補正装置２００は、動き推定部２１０、パターン判断部２２０、パターン分類部２３０、動き補正部２４０及び動きベクトル選択部２５０を備える。
【００４６】
動き推定部２１０は、動き予測誤差算出部２１２及び動きベクトル推定部２１４を備える。
【００４７】
動き予測誤差算出部２１２は、入力される現在フレーム/フィールド(以下、「現在フレーム」と記す)Ｆｎを所定大きさのブロックに分割し、各ブロックの動きベクトル(v)を推定する。詳細に説明すれば、動き予測誤差算出部２１２は、分割された各ブロックの中で、動きベクトルを推定する現在ブロックと以前フレーム/フィールド(以下、「以前フレーム」と記す)Ｆｎ−１に設定される探索領域とを比較して複数の動き予測誤差値を算出する。
【００４８】
この場合、複数の動き予測誤差値は両方向ＢＭＡ、単方向ＢＭＡ、または、動きベクトルを推定できる全ての公知された技術により推定できることもちろんである。また、動き予測誤差値はＳＡＤ、ＭＡＤ、ＭＳＥなど多様な方式により算出でき、本発明ではＳＡＤ値を適用するので、以下では「ＳＡＤ値」と記す。
【００４９】
動きベクトル推定部２１４は、算出された複数の動き予測誤差値の中で最小動き予測誤差値を有する位置から現在ブロックの仮動きベクトル(仮ＭＶ)を推定する。
【００５０】
このような方法で動き推定部２１０は分割された各ブロックのＳＡＤ値及び仮動きベクトルを推定する。
【００５１】
算出されたＳＡＤ値はＳＡＤマップに形成され、ＳＡＤマップの大きさは設定された探索領域(Ｋ×Ｋ）と同じである。図４は、算出されたＳＡＤマップの一部を３次元に形状化したグラフである。図４を参照すれば、ｘは探索領域の水平方向軸、ｙは探索領域の垂直方向軸を意味し、例えば、(x、y)=(０、５)に位置するＳＡＤ値は「１５００」であることが分かる。ここで、ＳＡＤマップをなす複数のＳＡＤ値は上述したようにＢＭＡにより算出された値である。
【００５２】
各ブロックの中で現在動き補償を行う現在ブロックのＳＡＤマップは、上述した動きベクトル推定部２１４及び後述するパターン判断部２２０、パターン分類部２３０及び動き補正部２４０に提供される。また、現在ブロックの仮動きベクトルは後述する動きベクトル選択部２５０に提供される。
【００５３】
パターン判断部２２０は、算出されたＳＡＤマップ、すなわち、探索領域をなす複数のＳＡＤ値を分析して現在ブロックがパターン映像であるか否かを判断する。パターン映像は、一定間隔繰り返される映像であって、「周期パターン映像」と称することもする。図３を参照すれば、パターン判断部２２０は、累積投射部２２２、投射値確認部２２４、周期算出部２２６及びパターン判別部２２８を備える。また、パターン判断部２２０は、ＳＡＤマップの垂直方向特性及び水平方向特性を各々考慮して周期パターン映像を判断する。以下では水平方向の周期パターンを判断するための各ブロックの動作をさらに詳細に説明し、垂直方向の周期パターン判断に対する説明は、水平方向の周期パターン判断とほぼ同じであるため説明の便宜上簡略に述べる。
【００５４】
累積投射部２２２は、現在ブロックのＳＡＤマップに対して累積投射(ｉｎｔｅｇｒａｌ  Ｐｒｏｊｅｃｔｉｏｎ)を行って、複数の累積ベクトル(以下、「投射値」と記す)を生成する。このような累積形式で投射値を生成することによってノイズによる画質低下の影響を最小化できる。
【００５５】
本発明において、累積投射部２２２は、垂直及び水平投射を行い、このため、垂直投射部２２２ａ及び水平投射部２２２ｂを有する。
【００５６】
垂直投射部２２２ａは、現在ブロックのＳＡＤマップに対して垂直方向に垂直累積投射を行って複数の垂直投射値を生成する。すなわち、垂直投射部２２２ａは、水平方向の周期パターンを判断するために垂直累積投射を行い、これによって、例えば、(Ｋ×Ｋ)行列を有するＳＡＤマップ(Ｋ×１)行列の垂直投射値に変換される。
【００５７】
図５は、図４のような所定ＳＡＤマップから生成された複数の垂直投射値の実施の形態を示すグラフである。
【００５８】
垂直累積投射により生成されたｘ番目での垂直投射値は、次の式（１）と同じである。
【００５９】
【数９】
2005056410.tif 000007
図５及び式（１）を参照すれば、ｘは探索領域の中で水平方向軸、Ｓｖ(ｘ）はｘ番目での垂直投射値、Ｅ(ｘ、ｙ）は動きベクトル(ｘ、ｙ)に相応するＳＡＤ値、Ｋは探索領域の中でｙ軸に位置するＳＡＤ値の総個数を意味する。
【００６０】
水平投射部２２２ｂは、現在ブロックのＳＡＤマップに対して水平方向に累積投射を行って複数の水平投射値を生成する。すなわち、水平投射部２２２ｂは垂直方向の周期パターンを判断するために水平累積投射を行い、これにより(Ｋ×Ｋ)行列を有するＳＡＤマップは(Ｋ×１)行列の水平投射値に変換される。水平累積投射により生成されたｙ番目での水平投射値は、次の式（２）のようである。
【００６１】
【数１０】
2005056410.tif 000008
式（２）を参照すれば、ｙは探索領域の中で垂直方向軸、Ｓｈ(ｙ）はｙ番目での水平投射値、Ｅ(ｘ、ｙ）は動きベクトル(ｘ、ｙ)に相応するＳＡＤ値、Ｋは探索領域の中でｘ軸に位置するＳＡＤ値の総個数を意味する。
【００６２】
生成された複数の垂直及び水平投射値は、投射値確認部２２４に提供される。
【００６３】
投射値確認部２２４は、累積投射部２２２から生成された複数の投射値の中で投射局部の最小値の個数(ｎ)を確認する。ここで、投射局部最小値は複数の投射値の中で所定の第１及び第２投射値間に位置し、第１及び第２投射値より小さな値をいう。確認された投射局部最小値は後述するパターン判別部２２８でパターン映像であるか否かを判別するのに用いられる。
【００６４】
本発明において、投射値確認部２２４は、垂直投射値確認部２２４ａ及び水平投射値確認部２２４ｂを有する。
【００６５】
垂直投射値確認部２２４ａは、生成された複数の垂直投射値の中で垂直投射局部の最小値の個数(ｎｖ)を確認する。垂直投射局部の最小値は、複数の垂直投射値の中で第１及び第２垂直投射値の間に位置し、第１及び第２垂直投射値より小さな値をいう。図５を参照して説明すれば、所定の垂直投射値Ｓｖ(ｘ)が隣接した２垂直投射Ｓｖ(ｘ−１）とＳｖ(ｘ+１)より小さな場合、Ｓｖ(ｘ）は垂直投射局部の最小値に該当する。
【００６６】
水平投射値確認部２２４ｂは、生成された複数の水平投射値の中で水平投射局部の最小値の個数(ｎｈ)を確認する。ここで、水平投射局部の最小値は、複数の水平投射値の中で第１及び第２水平投射値間に位置し、第１及び第２水平投射値より小さな値をいう。
【００６７】
また、垂直投射値確認部２２４ａ及び水平投射値確認部２２４ｂは、確認された各々の局部の最小値の位置情報を後述するパターン分類部２３０、静的動き補正部２４２及び動的動き補正部２４６に提供する。
【００６８】
周期算出部２２６は、累積投射部２２２から生成された複数の投射値の中で順次的に発生する投射局部の最小値を少なくとも１つ含む周期の繰り返し回数(γ)を算出する。また、周期算出部２２６は、探索領域の長さまたは大きさを算出された周期の繰り返し回数で割り算して周期(Ｔ)を算出する。
【００６９】
本発明において、周期算出部２２６は、垂直周期算出部２２６a及び水平周期算出部２２６bを有する。
【００７０】
垂直周期算出部２２６ａは、式（３）により垂直周期の繰り返し回数を算出する。ここで、垂直周期は、垂直投射部２２２ａから生成された複数の垂直投射値の中で順次的に発生する垂直投射局部の最小値を少なくとも１つ含む周期をいう。
【００７１】
【数１１】
2005056410.tif 000009
ここで、γvは垂直周期の繰り返し回数、Ｌv、aは複数の垂直投射値の中で隣接した２垂直投射値の間の絶対差を全て加算した垂直投射の長さ、Ｌv、pは複数の垂直投射値の中で最大及び最小垂直投射値(Ｓv、max、Ｓv、min）の絶対差を意味する。式（３）を参照すれば、垂直投射値の中で最大垂直投射値と最小垂直投射値との絶対差は、半周期に相応する垂直投射値の差を表すので、垂直周期の繰り返し回数は式（３）により算出可能である。したがって、(２・Ｌv、p）は１周期に相応する差を意味する。
【００７２】
また、垂直周期算出部２２６ａは、式（４）により垂直周期を算出する。
【００７３】
【数１２】
2005056410.tif 000010
ここで、Ｔvは垂直周期、Ｋは探索領域の水平方向長さ、γvは垂直周期の繰り返し回数を意味する。式（４）を参照すれば、垂直周期算出部２２６ａは探索領域の水平方向の長さを垂直周期の繰り返し回数で割り算して垂直周期を算出する。
【００７４】
一方、水平周期算出部２２６ｂは、式（５）により水平周期の繰り返し回数を算出する。ここで、水平周期は、水平投射部２２２ｂから生成された複数の水平投射値の中で順次的に発生する水平投射局部の最小値を少なくとも１つ含む周期を意味する。
【００７５】
【数１３】
2005056410.tif 000011
ここで、γhは水平周期の繰り返し回数、Ｌh、aは複数の水平投射値の中で隣接した２水平投射値の間の絶対差を全て加算した水平投射の長さ、Ｌh、pは複数の水平投射値の中で最大及び最小水平投射値(Ｓh、max、Ｓh、min）の絶対差を意味する。式（５）を参照すれば、水平投射値の中で最大水平投射値と最小水平投射値との差は、半周期に相応する水平投射値の差を表すので、水平周期の繰り返し回数は式（５）により算出可能である。したがって、(２・Ｌh、p）は１周期に相応する差を意味する。
【００７６】
また、水平周期算出部２２６ｂは式（６）により水平周期を算出する。
【００７７】
【数１４】
2005056410.tif 000012
ここで、Ｔhは水平周期、Ｋは探索領域の垂直方向の長さ、γhは水平周期の繰り返し回数を意味する。式（６）を参照すれば、水平周期算出部２２６ｂは探索領域の垂直方向の長さを水平周期の繰り返し回数で割り算して水平周期を算出する。
【００７８】
パターン判別部２２８は、投射値確認部２２４から確認された投射局部の最小値の個数(ｎ)及び周期算出部２２６から算出された周期繰り返し回数(γ)を分析して、現在ブロックがパターン映像であるか否かを判断する。詳細に説明すれば、パターン判別部２２８は、投射局部の最小値の個数が少なくても２つであり、周期繰り返し回数が設定された第１しきい値以上であれば現在ブロックは周期パターン映像であると判断する。
【００７９】
例えば、水平方向の周期パターンを判断しようとする場合、垂直投射値確認部２２４ａから確認された垂直投射局部の最小値の個数が少なくとも２つであり、垂直周期算出部２２６ａから算出された垂直周期が第１しきい値である「１.７５」以上であれば、パターン判別部２２８は現在ブロックが水平方向の周期パターン映像であると判断する。また、垂直方向の周期パターンを判断しようとする場合、設定された第１しきい値は上述した「１.７５」と同一または相違し得る。
【００８０】
また、パターン判別部２２８は判断された結果を後述するパターン分類部２３０、動き補正部２４０及び動きベクトル選択部２５０に提供する。
【００８１】
パターン分類部２３０は、パターン判別部２２８により現在ブロックがパターン映像であると判断された場合、動きがないことを意味する探索領域の中心(すなわち、ゼロベクトル)に最も近接した誤差局部の最小値の位置によってパターン映像を静的パターン映像及び動的パターン映像のいずれに分類する。ここで、静的パターン映像は、現在ブロックの実際動きがない(すなわち、ゼロモーション)周期パターン映像を言い、動的パターン映像は現在ブロックの実際動きにより発生した周期パターン映像をいう。
【００８２】
詳細に説明すれば、パターン分類部２３０は、少なくとも１つの誤差局部の最小値の中で探索領域の中心から最短距離に位置した誤差局部の最小値と周期算出部２２６により算出された周期パターン映像の周期とを比較して、垂直方向及び水平方向のパターン映像を分類する。誤差局部最小値は、ＳＡＤマップの中で所定の第１及び第２誤差値間に位置し、第１及び第２誤差値より小さな値をいう。
【００８３】
例えば、パターン分類部２３０は式（７）により水平方向の周期パターン映像を分類する。
【００８４】
【数１５】
2005056410.tif 000013
ここで、ｘ’は探索領域の中心と最短距離に位置した誤差局部の最小値の位置、Ｔｖは垂直周期を意味し、αは所定定数として本発明では「１/８」を使用するがこれに限定されることではない。
【００８５】
図６Ａは、静的パターン映像のＳＡＤマップ、図６Ｂは動的パターン映像のＳＡＤマップの実施の形態を説明するために示す分布図であって、図４のようなＳＡＤマップの中で探索領域の中心区間を２次元化した図である。
【００８６】
まず、式（７）及び図６Ａを参照すれば、Ｐ及びＲは誤差局部の最小値、Ｑは誤差全域の最小値であり、Ｃは探索領域の中心であって現在ブロックの動きがゼロである位置、Ｌは探索領域のＣから左右にα・Ｔｖだけ移動した範囲であって、パターン映像を分類するために既設政される範囲である。このような場合、パターン分類部２３０は、探索領域の中心であるＣに最も近接した誤差局部の最小値Ｒの位置がＬ内に含まれれば、パターン判断部２２０で判断された水平方向の周期パターン映像は静的パターン映像に分類する。ここで、誤差全域最小値は、ＳＡＤマップをなす複数の動き予測誤差値の中で最小動き予測誤差値をいう。
【００８７】
これに対し、式（７）及び図６Ｂを参照すれば、パターン分類部２３０は、探索区間の中心に最も近接した誤差局部の最小値Ｒの位置が決められた範囲Ｌ内に含まれていないと、パターン判断部２２０で判断された水平方向のパターン映像は動的パターン映像であると分類する。
【００８８】
一方、パターン分類部２３０は、式（８）により垂直方向の周期パターン映像を分類する。
【００８９】
【数１６】
2005056410.tif 000014
式（８）を参照すれば、ｙ’は探索領域の中心と最短距離に位置した誤差局部の最小値の位置、Ｔｈは水平周期を意味し、αは所定定数であって、本発明では「１/８」を使用するが、これに限定することではない。水平方向のパターン映像分類は、垂直方向のパターン映像を分類する方法と類似しているため、それに対する詳細な説明は省略する。
【００９０】
動き補正部２４０は現在ブロックがパターン映像であると判断された場合、ＳＡＤマップを利用して現在ブロックの補正動きベクトルを出力する。特に、動き補正部２４０は、パターン判断部２２０で判断された垂直方向及び水平方向のパターン映像によって適応的に補正された動きベクトルを生成する。周期パターンの誤差局部の最小値位置は周期パターンの動きによって移動するので、動き補正部２４０は周期パターンの動きを考慮した補正を行う。すなわち、動き補正部２４０はパターン分類部２３０で分類された結果によって適応的に動き補正を行う。このために、動き補正部２４０は静的動き補正部２４２、平均ベクトル算出部２４４及び動的動き補正部２４６を有する。
【００９１】
静的動き補正部２４２は、パターン分類部２３０で静的パターン映像であると判断された現在ブロックの補正動きベクトルを生成する。詳細に説明すれば、静的動き補正部２４２は、探索領域の中心から最短距離に位置した誤差局部の最小値(例えば、図６ＡのR）の位置から補正動きベクトルを生成する。これにより、他の誤差局部の最小値(例えば、図６ＡのＰ、Ｑ)に相応するベクトルを現在ブロックの最終動きベクトルとして決定することを防止する。静的動き補正部２４２による補正方法は、１つの周期パターンを形成している複数のブロックらで一貫した動きベクトルが決定されるようにする。したがって、推定されたベクトルを利用して映像を補間することにより、周期パターン映像で発生するブロック間のパターンのずれ、すなわち、ブロックアーティファクト現象を改善できる。
【００９２】
一方、パターン分類部２３０で現在ブロックのパターン映像が動的パターン映像であると判断されれば、補正動きベクトルを生成する前に平均ベクトル算出部２４４は現在ブロックに隣接した周辺ブロック等の動きベクトル等の平均ベクトルを算出する。この場合、各周辺ブロックの動きベクトルは後述する動きベクトル選択部２５０から提供される最終動きベクトルなどである。
【００９３】
動的動き補正部２４６は、上述したように、周辺ブロック等の動きベクトル等の平均ベクトルから現在ブロックの動きベクトルを近似的に予測する。図６Ｂを参照して詳細に説明すれば、動的動き補正部２４６は、少なくとも１つの誤差局部の最小値の中で算出された平均ベクトルと最短距離に位置した誤差局部の最小値Ｒの位置から補正動きベクトルとを生成する。これは、現在ブロックのパターン映像が動的パターン映像である場合、複数の誤差局部の最小値の中でどの値が実際動きを示しているかわからないので、周辺ブロック等の動きベクトル間の相関性を利用して、現在ブロックの補正された動きベクトル(補正ＭＶ)を生成する。
【００９４】
動きベクトル選択部２５０は、パターン判別部２２８の判別結果によって動き推定部２１０で推定された仮動きベクトル及び動き補正部２４０で補正された補正動きベクトルのいずれを最終動きベクトル(最終ＭＶ）として選択する。詳細に説明すれば、パターン判別部２２８で現在ブロックがパターン映像でないと判別されれば、動きベクトル選択部２５０は動き推定部２１０で推定された仮動きベクトルを最終動きベクトルとして選択する。
【００９５】
反面、パターン判別部２２８で現在ブロックがパターン映像であると判別されれば、動きベクトル選択部２５０は静的及び動的動き補正部２４２、２４６のいずれから生成された補正動きベクトルを最終動きベクトルとして選択する。すなわち、パターン判別部２２８で現在ブロックがパターン映像であると判別され、パターン分類部２３０でパターン映像が静的パターン映像であると分類されれば、動きベクトル選択部２５０は静的動き補正部２４２から生成された補正動きベクトルを最終動きベクトルとして選択する。また、パターン判別部２２８で現在ブロックがパターン映像であると判別され、パターン分類部２３０でパターン映像が動的パターン映像であると分類されれば、動きベクトル選択部２５０は、動的動き補正部２４６から生成された補正動きベクトルを最終動きベクトルとして選択する。
【００９６】
上述したように、動きベクトルを推定する現在ブロックのパターン如何を判断し最終動きベクトルを決定することにより、映像出力段(図示せず)では図７に示すように、図１Ａに比べてブロックアーティファクト現象が顕著に減少された映像を具現できる。
【００９７】
図８は、図２によるパターンにともなう動きベクトル補正方法を概略的に説明するためのフローチャートである。
【００９８】
図２ないし図８を参照すれば、まず、動き予測誤差算出部２１２は、現在ブロックと以前フレームに設定された探索領域を比較して、複数の動き予測誤差値を算出する(Ｓ８０５)。複数の動き予測誤差値として、ＳＡＤ、ＭＡＤ及びＭＳＥのいずれを使用することができ、本発明ではＳＡＤ値を適用する。したがって、算出された複数の動き予測誤差値は以下ではＳＡＤマップという。動きベクトル推定部２１４は、ＳＡＤマップの中で最小ＳＡＤ値を有する位置から現在ブロックの仮動きベクトルを推定する(Ｓ８１０)。
【００９９】
ＳＡＤマップが算出されれば、累積投射部２２２は、ＳＡＤマップに対して累積投射を行って複数の投射値を生成する(Ｓ８１５)。投射値確認部２２４はＳ８１５段階で生成された複数の投射値の中で投射局部の最小値の個数を確認する(Ｓ８２０)。これと共に、周期算出部２２６は、複数の投射値の中で順次的に発生する投射局部の最小値を少なくとも１つ含む周期の繰り返し回数を算出し、また、探索領域の長さを周期の繰り返し回数で割り算して実際周期を算出する(Ｓ８２５)。
【０１００】
Ｓ８２５段階が行われれば、パターン判別部２２８は、Ｓ８２０段階で確認された投射局部の最小値の個数及びＳ８２５段階で算出された周期繰り返し回数を分析して、現在ブロックのパターン映像如何を判別する(Ｓ８３０)。Ｓ８３０段階で現在ブロックがパターン映像でないと判別されれば、動きベクトル選択部２５０は、Ｓ８１０段階で推定された仮動きベクトルを現在ブロックの最終動きベクトルとして選択する(Ｓ８３５)。
【０１０１】
反面、Ｓ８３０段階で現在ブロックがパターン映像であると判別されれば、パータン分類部２３０は、パターン映像が静的及び動的パターン映像のうち、どのパターン映像であるか分類する(Ｓ８４０)。
【０１０２】
Ｓ８４０段階において、パターン映像が静的パターン映像であると分類されれば、静的動き補償部２４２は、探索領域の中心から最短距離に隣接した誤差局部の最小値の位置から補正動きベクトルを推定する(Ｓ８４５)。また、動きベクトル選択部２５０は、Ｓ８４５段階で推定された補正動きベクトルを現在ブロックの最終動きベクトルとして選択する(Ｓ８５０)。
【０１０３】
反面、Ｓ８４０段階でパターン映像が動的パターン映像であると分類されれば、平均ベクトル算出部２４４は現在ブロックに隣接した周辺ブロック等の動きベクトル等の平均ベクトルを算出する(Ｓ８５５)。Ｓ８５５段階が行われれば、動的動き補償部２４６は、ＳＡＤマップの中でＳ８５５段階で算出された平均ベクトルに最も近接した誤差局部最小値の位置から補正動きベクトルを推定する(Ｓ８６０)。また、動きベクトル選択部２５０は、Ｓ８６０段階で推定された補正動きベクトルを現在ブロックの最終動きベクトルとして選択する(Ｓ８６５)。
【０１０４】
一方、上述した本発明において、パターン判別部２２８で現在ブロックがパターン映像であると判別された場合、パターン分類部２３０、静的動き補正部２４０及び動的動き補正部２４０は、垂直投射値確認部２２４ａ及び水平投射値確認部２２４bで確認された各々の局部の最小値の位置情報を読み出して各々の動作を行うことができることは勿論である。
【０１０５】
パターン判別部２２８で現在ブロックがパターン映像であると判別された場合、パターン分類部２３０、静的動き補正部２４０及び動的動き補正部２４０は、垂直投射値確認部２２４ａ及び水平投射値確認部２２４bで確認された各々の投射局部の最小値の位置情報を抽出して各々の動作を行うことができることは勿論である。
【０１０６】
投射局部の最小値の位置情報を抽出して各々の動作を行う場合を図２を参照して説明すれば次のようである。
【０１０７】
動き推定部２１０は、上述したように分割された各ブロックのＳＡＤ値及び仮動きベクトルを推定する。そして、動き推定部２１０はＳＡＤ値からなるＳＡＤマップをパータン判断部２２０及びパターン分類部２３０に提供する。
【０１０８】
パターン判断部２２０は、提供されたＳＡＤマップを分析して現在ブロックがパターン映像であるか否かを判断する。このため、パターン判断部２２０の累積投射部２２２は、現在ブロックのＳＡＤマップに対して累積投射を行って複数の累積ベクトルを生成する。好ましくは。累積投射部２２２は垂直累積投射及び水平累積投射を行って各々複数の垂直累積ベクトル及び水平累積ベクトルを生成する。以下では、垂直累積ベクトルを「垂直投射値」、水平累積ベクトルを「水平投射値」と記す。
【０１０９】
そして、投射値確認部２２４は、生成された複数の垂直投射値の中で垂直投射局部の最小値の個数(ｎｖ)及び生成された複数の水平投射値の中で水平投射局部の最小値の個数(ｎｈ)を確認する。また、投射値確認部２２４は複数の垂直投射局部の最小値及び水平投射局部の最小値の位置情報を確認した後、パターン分類部２３０、静的動き補正部２４２及び動的動き補正部２４６に提供する。
【０１１０】
パターン分類部２３０は、パターン判別部２２８により現在ブロックがパターン映像であると判断されれば、動きがないことを意味する探索領域の中心に最も近接した投射局部の最小値の位置に基づいて、パターン映像を静的パターン映像及び動的パターン映像のいずれに分類する。
【０１１１】
詳細に説明すれば、パターン分類部２３０は、少なくとも１つの投射局部の最小値の中で探索領域の中心から最短距離に位置した投射局部の最小値と周期算出部２２６により算出された周期パターン映像の周期を比較して、垂直方向及び水平方向のパターン映像を分類する。投射局部最小値は、ＳＡＤ投射値の中で所定の第１及び第２投射値に対応されるＳＡＤ投射値より小さな値をいう。
【０１１２】
パターン分類部２３０で分類されるパターン映像は、図６Ａ及び図６Ｂを参照して説明した方法と類似しているため、詳細な説明は省略する。但し、図６Ａ及び図６Ｂにおいて、誤差全域の最小値は投射全域最小値として、誤差局部の最小値は投射局部の最小値として設定して現在ブロックのパターン映像を分類する。
【０１１３】
動き補正部２４０は、パターン分類部２３０の結果に基づいて動き補正を行う。特に、動き補正部２４０は現在ブロックがパターン映像であると判断された場合、投射値確認部２２４で確認された複数の累積ベクトル(すなわち、累積投射値）の位置情報を利用して、現在ブロックの補正動きベクトルを生成する。
【０１１４】
詳細に説明すれば、静的動き補正部２４２は、静的パターン映像と判断された現在ブロックの補正動きベクトルを複数の累積投射値の位置情報を利用して生成する。一方、動的動き補正部２４６は、動的パターン映像と判断された現在ブロックの補正動きベクトルを複数の累積投射値の位置情報及び平均ベクトル算出部２４４で算出された平均ベクトルを利用して生成する。
【０１１５】
動きベクトル選択部２５０は、パターン判別部２２８の判別結果に基づいて、動き推定部２１０で推定された仮動きベクトル及び動き補正部２４０で補正された補正動きベクトルのいずれを最終動きベクトル(最終ＭＶ）として選択する。
【０１１６】
すなわち、パターン判別部２２８で現在ブロックがパターン映像でないと判別されれば、動きベクトル選択部２５０は、動き推定部２１０で推定された仮動きベクトルを最終動きベクトルとして選択する。
【０１１７】
反面、パターン判別部２２８で現在ブロックがパターン映像であると判別されれば、動きベクトル選択部２５０は、静的及び動的動き補正部２４０のいずれから生成された補正動きベクトルを最終動きベクトルとして選択する。
【０１１８】
また、本発明において、垂直周期算出部２２６ａ及び水平周期算出部２２６ｂは、パターン判別部２２８の判別結果に関係なく垂直周期及び水平周期を算出したが、これとは異なりパターン判別部２２８でパターン映像であると判別された場合にだけ、垂直周期及び水平周期を算出することも可能である。
【０１１９】
尚、本発明は、上記した本実施の形態に限られるものではなく、本発明の技術的思想から逸脱しない範囲内で多様に変更して実施することが可能である。
【産業上の利用可能性】
【０１２０】
本発明は、動き推定対象であるブロックのパターン如何を判断して、既推定された動きベクトルを補正する動きベクトル補正装置及び方法に適用可能である。
【図面の簡単な説明】
【０１２１】
【図１Ａ】一般的な実際周期パターン映像の実施の形態を示す図である。
【図１Ｂ】従来の動き推定方法によりブロックアーティファクトが発生した周期パターン映像のシミュレーション例を示す図である。
【図２】本発明の好ましい実施の形態に係るパターンにともなう動きベクトル補正装置を概略的に示すブロック図である。
【図３】図２に設けられたパターン判断部をさらに詳細に示すブロック図である。
【図４】図２の動き予測誤差算出部で算出されたＳＡＤマップの一部を３次元に示すグラフである。
【図５】図４のような所定ＳＡＤマップから生成された複数の垂直投射値の実施の形態を示すグラフである。
【図６Ａ】静的パターン映像のＳＡＤマップである。
【図６Ｂ】動的パターン映像のＳＡＤマップを２次元に示す分布図である。
【図７】図２によりブロックアーティファクトが減少された映像のシミュレーション例を示す図である。
【図８】図２によるパターンにともなう動きベクトル補正方法を概略的に説明するためのフローチャートである。
【符号の説明】
【０１２２】
２００  動きベクトル補正装置
２１０  動き推定部
２２０  パターン判断部
２２２  累積投射部
２２４  投射値確認部
２２６  周期算出部
２２８  パターン判別部
２３０  パターン分類部
２４０  動き補正部
２４２  静的動き補正部
２４４  平均ベクトル算出部
２４６  動的動き補正部
２５０  動きベクトル選択部
【図１Ａ】
2005056410.tif 000019
【図１Ｂ】
2005056410.tif 000020
【図２】
2005056410.tif 000021
【図３】
2005056410.tif 000022
【図４】
2005056410.tif 000023
【図５】
2005056410.tif 000024
【図６Ａ】
2005056410.tif 000025
【図６Ｂ】
2005056410.tif 000026
【図７】
2005056410.tif 000027
【図８】
2005056410.tif 000028