(57)【要約】  本発明の実施形態は、マルチレベル両方向動き推定方法およびマルチレベル両方向動き推定デバイスを提供する。この方法は、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するステップと、第1の決定予定整合ブロックの対を決定するステップと、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であると決定された場合、補間予定フレームのM1×M1ブロックをM2×M2ブロックに分割して、補間予定フレームのM2×M2ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを再度探索するステップとを含む。したがって、動き推定の精度を効果的に改善することができ、画像品質を改善することができる。
2015518698.tif 000002
【特許請求の範囲】
【請求項１】
補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するステップであって、前記先行するフレームが前記補間予定フレームの前のフレームであり、前記現在のフレームが前記補間予定フレームの後のフレームであり、前記探索するステップに関するアルゴリズムが三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムを含む、探索するステップと、
前記補間予定フレームの前記M1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するステップであって、前記第1の決定予定整合ブロックの対が、前記現在のフレーム内および前記先行するフレーム内で探し出された整合ブロックのすべての対の中の2進絶対差SBAD値の最小和を有する整合ブロックの対である、決定するステップと、
前記第1の決定予定整合ブロックの対のSBAD値がSBADしきい値未満であると決定された場合、前記第1の決定予定整合ブロックの対の動きベクトルに従って、前記補間予定フレームの前記M1×M1ブロックの動きベクトルを決定するステップと、
前記第1の決定予定整合ブロックの対の前記SBAD値が前記SBADしきい値以上であると決定された場合、前記補間予定フレームの前記M1×M1ブロックをM2×M2ブロックに分割して、前記補間予定フレームの前記M2×M2ブロックをミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内で整合ブロックを再度探索するステップであって、前記整合ブロックを再度探索するためのSBADしきい値が前記整合ブロックを前回探索した際に適用された前記SBADしきい値の1/4であり、M1およびM2が両方とも2のm乗であり、mが正の整数であり、M2=M1/2である、再度探索するステップと
を含むマルチレベル両方向動き推定方法。
【請求項２】
前記補間予定フレームの前記M1×M1ブロックに対応する第1の決定予定整合ブロックの対を前記決定するステップの後に、
第1のSBAD値と、第2のSBAD値と、第3のSBAD値とを決定するステップであって、前記第1のSBAD値が前記現在のフレームと前記先行するフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記第2のSBAD値が前記現在のフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記第3のSBAD値が前記先行するフレームと前記次のフレームの前記後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記次のフレームの前記後のフレームが前記現在のフレームの後のフレームである、決定するステップをさらに含み、
補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを前記探索するステップが、
前記第1のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中で最小値であるとき、前記補間予定フレームの前記M1×M1ブロックを前記ミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内の前記整合ブロックを探索するステップ
を含む、請求項1に記載の方法。
【請求項３】
前記第2のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中の最小値であるとき、前記現在のフレームの対応する整合ブロックを外挿することによって、前記補間予定フレームの前記M1×M1ブロックが取得され、
前記第3のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中の最小値であるとき、前記先行するフレームの対応する整合ブロックを外挿することによって、前記補間予定フレームの前記M1×M1ブロックが取得される、
請求項2に記載の方法。
【請求項４】
オブジェクトが前記先行するフレームの境界に対して前記現在のフレームの境界でシーンに入るまたは出るとき、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを前記探索するステップの前に、前記方法が、
前記現在のフレームおよび前記先行するフレームの両方の境界画素値を非ゼロに設定して、前記現在のフレームおよび前記先行するフレームの前記境界をそれぞれM1個の画素だけ、円周方向に拡張するステップ
をさらに含む、請求項1から3のいずれか一項に記載の方法。
【請求項５】
シーンが前記先行するフレームに対して前記現在のフレームで切り替わるとき、前記整合ブロックが初めて探し出された後で、前記方法が、
すべての以下の決定予定整合ブロックの対、すなわち、前記補間予定フレームの前記M1×M1ブロックに対応し、かつ前記SBADしきい値以上のSBAD値を有する前記決定予定整合ブロックの対の数がプリセットされたしきい値を上回ると決定されたとき、外挿様式で前記補間予定フレームを取得するステップ
をさらに含む、請求項1から4のいずれか一項に記載の方法。
【請求項６】
複数のレベルの両方向動き推定のK個のレベルの動き推定が実行された後で、前記現在のフレームおよび前記先行するフレームの指定ゾーン内で第2の決定予定整合ブロックの対を探索するステップであって、前記指定ゾーンが前記現在のフレーム内および前記先行するフレーム内で前記補間に参加しないすべてのブロックであり、Kが2以上の正の整数である、探索するステップと、
前記第2の決定予定整合ブロックの対の動きベクトルに従って、前記補間予定フレームのM×Mブロックの動きベクトルを決定するステップであって、前記補間予定フレームの前記M×Mブロックが、第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数である、決定するステップと
をさらに含む、請求項1から5のいずれか一項に記載の方法。
【請求項７】
複数のレベルの両方向動き推定の前記K個のレベルの動き推定が実行された後で、前記第1の決定予定整合ブロックの対の前記SBAD値が前記SBADしきい値以上であると決定された場合、前記第1の決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って、前記補間予定フレームのM×Mブロックの前記動きベクトルを決定するステップであって、前記補間予定フレームの前記M×Mブロックが第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数であり、Kが2以上の正の整数である、決定するステップ
をさらに含む、請求項1から5のいずれか一項に記載の方法。
【請求項８】
補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを前記探索するステップが、
前記補間予定フレームの前記M1×M1ブロックをミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内で前記整合ブロックを2回探索するステップであって、前記整合ブロックを前記2回探索するステップが反対の探索順序を有する、2回探索するステップを含む、請求項1から7のいずれか一項に記載の方法。
【請求項９】
前記補間予定フレームの前記M1×M1ブロックに対応する第1の決定予定整合ブロックの対を前記決定するステップが、
ブロック整合基準に基づいて、前記補間予定フレームの前記M1×M1ブロックに対応する前記第1の決定予定整合ブロックの対を決定するステップであって、前記ブロック整合基準が、
【数１】
2015518698.tif 000006
であり、式中、前記SBADが前記整合ブロックの対の前記SBAD値であり、Bi,jが、前記補間予定フレームの前記M1×M1ブロックであり、sが前記補間予定フレームの画素点であり、vが変位ベクトルであり、fn-1が前記現在のフレームの画素値であり、fn+1が前記先行するフレームの画素値である、決定するステップを含む、請求項1から8のいずれか一項に記載の方法。
【請求項１０】
補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するように構成された整合探索ユニットであって、前記先行するフレームが前記補間予定フレームの前のフレームであり、前記現在のフレームが前記補間予定フレームの後のフレームであり、前記探索することに関するアルゴリズムが三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムを含む、整合探索ユニットと、
前記補間予定フレームの前記M1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するように構成された決定ユニットであって、前記第1の決定予定整合ブロックの対が前記現在のフレーム内および前記先行するフレーム内で前記整合探索ユニットによって探し出された整合ブロックのすべての対の中の2進絶対差SBAD値の最小和を有する整合ブロックの対である、決定ユニットと
を含むマルチレベル両方向動き推定デバイスであって、
前記決定ユニットが、前記第1の決定予定整合ブロックの対のSBAD値がSBADしきい値未満であると決定された場合、前記第1の決定予定整合ブロックの対の動きベクトルに従って、前記補間予定フレームの前記M1×M1ブロックの動きベクトルを決定するようにさらに構成され、
前記整合探索ユニットが、前記決定ユニットによって決定された、前記第1の決定予定整合ブロックの対の前記SBAD値が前記SBADしきい値以上である場合、前記補間予定フレームの前記M1×M1ブロックをM2×M2ブロックに分割して、前記補間予定フレームの前記M2×M2ブロックをミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内で整合ブロックを再度探索するように構成され、前記整合ブロックを再度探索するためのSBADしきい値が前記整合ブロックを前回探索した際に適用された前記SBADしきい値の1/4であり、M1およびM2が両方とも2のm乗であり、mが正の整数であり、M2=M1/2である、
マルチレベル両方向動き推定デバイス。
【請求項１１】
前記決定ユニットが、第1のSBAD値と、第2のSBAD値と、第3のSBAD値とを決定するようにさらに構成され、前記第1のSBAD値が前記現在のフレームと前記先行するフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記第2のSBAD値が前記現在のフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記第3のSBAD値が前記先行するフレームと前記次のフレームの前記後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記次のフレームの前記後のフレームが前記現在のフレームの後のフレームであり、
前記整合探索ユニットが、特に、前記第1のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中の最小値であるとき、前記補間予定フレームの前記M1×M1ブロックを前記ミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内で前記整合ブロックを探索するように構成された
請求項10に記載のデバイス。
【請求項１２】
前記決定ユニットが、前記第2のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中の最小値であるとき、前記現在のフレームの対応する整合ブロックを外挿することによって、前記補間予定フレームの前記M1×M1ブロックを取得するようにさらに構成され、
前記決定ユニットが、前記第3のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中の最小値であるとき、前記先行するフレームの対応する整合ブロックを外挿することによって、前記補間予定フレームの前記M1×M1ブロックを取得するようにさらに構成された
請求項11に記載のデバイス。
【請求項１３】
前記デバイスが拡張ユニットをさらに含み、
前記拡張ユニットが、オブジェクトが前記先行するフレームの境界に対して前記現在のフレームの境界でシーンに入るまたは出るとき、前記現在のフレームおよび前記先行するフレームの前記境界をそれぞれM1個の画素だけ円周方向に拡張するように構成され、前記現在のフレームおよび前記先行するフレームの両方の境界画素値が非ゼロである、請求項10から12のいずれか一項に記載のデバイス。
【請求項１４】
前記決定ユニットが、シーンが前記先行するフレームに対して前記現在のフレームで切り替わるとき、前記整合ブロックが初めて探し出された後で、すべての以下の決定予定整合ブロックの対、すなわち、前記補間予定フレームの前記M1×M1ブロックに対応し、かつ前記SBADしきい値以上のSBAD値を有する前記決定予定整合ブロックの対の数がプリセットされたしきい値を上回ると決定されたとき、外挿様式で前記補間予定フレームを取得するようにさらに構成された
請求項10から13のいずれか一項に記載のデバイス。
【請求項１５】
前記整合探索ユニットが、複数のレベルの両方向動き推定のK個のレベルの動き推定が実行された後で、前記決定ユニットによって決定された、前記第1の決定予定整合ブロックの対の前記SBAD値が前記SBADしきい値以上である場合、前記現在のフレームおよび前記先行するフレームの指定ゾーン内で第2の決定予定整合ブロックの対を探索するようにさらに構成され、前記指定ゾーンが前記現在のフレーム内および前記先行するフレーム内で前記補間に参加しないすべてのブロックであり、
前記決定ユニットが、前記整合探索ユニットによって探し出された前記第2の決定予定整合ブロックの対の動きベクトルに従って、前記補間予定フレームのM×Mブロックの動きベクトルを決定するようにさらに構成され、前記補間予定フレームの前記M×Mブロックが第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数であり、Kが2以上の正の整数である、
請求項10から14のいずれか一項に記載のデバイス。
【請求項１６】
前記決定ユニットが、前記複数のレベルの両方向動き推定の前記K個のレベルの動き推定が実行された後で、前記第1の決定予定整合ブロックの対の前記SBAD値が前記SBADしきい値以上であると決定された場合、前記第1の決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って、前記補間予定フレームのM×Mブロックの動きベクトルを決定するようにさらに構成され、前記補間予定フレームの前記M×Mブロックが、第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数であり、Kが2以上の正の整数である、
請求項10から14のいずれか一項に記載のデバイス。
【請求項１７】
前記整合探索ユニットが、特に、前記補間予定フレームの前記M1×M1ブロックをミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内で前記整合ブロックを2回探索するように構成され、前記整合ブロックを前記2回探索することが反対の探索順序を有する、
請求項10から16のいずれか一項に記載のデバイス。
【請求項１８】
前記決定ユニットが、特に、ブロック整合基準に基づいて、前記補間予定フレームの前記M1×M1ブロックに対応する前記第1の決定予定整合ブロックの対を決定するように構成され、前記ブロック整合基準が、
【数２】
2015518698.tif 000007
であり、式中、前記SBADが前記整合ブロックの対の前記SBAD値であり、Bi,jが、前記補間予定フレームの前記M1×M1ブロックであり、sが前記補間予定フレームの画素点であり、vが変位ベクトルであり、fn-1が前記現在のフレームの画素値であり、fn+1が前記先行するフレームの画素値である、
請求項10から17のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理技術の分野に関し、詳細には、マルチレベル両方向動き推定方法およびマルチレベル両方向動き推定デバイスに関する。
【背景技術】
【０００２】
高精細度デジタルテレビおよび高性能マルチメディア情報システムの開発に伴って、人々はビデオソースの視覚効果に対してますます高い要件を課している。したがって、より良好な視覚効果を達成するために、既存のビデオプログラムソースのフレームレートを高める必要がある。一方、ますます多くの帯域幅リソースが割り振られ、占有されるにつれて、大部分のビデオアプリケーションは、非常に限定された帯域幅リソースを得ることができるにすぎず、時間分解能は、一般に、帯域幅要件を満たすために、フレームを破棄することによってエンコーダ側で低減される必要があり、デコーダ側は、ビデオ品質を改善するために、フレームを補間することによって、破棄されたフレームを回復する。
【０００３】
ビデオフレーム補間技術、すなわち、フレームレートアップコンバージョン(Frame  Rate  Up-Conversion、FRUC)技術は、デコーダ側で2個の隣接するフレーム間の中間フレームを補間して、異なるフレームレート間で変換を実施することによって、ビデオの低フレームレートを高フレームレートに高める。
【０００４】
動き推定方法は、主に、単方向動き推定方法および両方向動き推定方法に分類される。単方向動き推定方法は、補間フレームの「重複」および「空隙(void)」の問題をもたらす可能性があり、両方向動き推定方法は、補間予定フレームをミラーセンタ(mirror  center)として使用し、これは、動き補償処理において補間フレームの「重複」および「空隙」の問題を防ぐ。先行技術の両方向動き推定方法では、三段階探索アルゴリズム(three-step  search  algorithm)およびダイアモンド探索アルゴリズム(diamond  search  algorithm)など、ビデオ圧縮における探索アルゴリズムが動き推定に適用される。しかし、ビデオ圧縮とは異なり、ビデオオブジェクトの動きの連続性により動きベクトル間に時空相関が存在し、ビデオ圧縮における探索アルゴリズムの使用は、動き補償の補間フレームに主観的視覚と不一致である画像情報を生成させる。したがって、推定された補間ブロックの動きベクトルの精度は低く、これは画像品質をも低下させる。
【発明の概要】
【課題を解決するための手段】
【０００５】
本発明の実施形態は、動き推定精度を効果的に改善して、画像品質を改善することができるマルチレベル両方向動き推定方法およびマルチレベル両方向動き推定デバイスを提供する。
【０００６】
第1の態様によれば、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するステップであって、先行するフレームが補間予定フレームの前のフレームであり、現在のフレームが補間予定フレームの後のフレームであり、探索するステップに関するアルゴリズムが三次元再帰的探索アルゴリズム(3-D  Recursive  Search、3-D  RS)または六角探索アルゴリズムを含む、探索するステップと、補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対(to-be-determined  matched  block  pair)を決定するステップであって、第1の決定予定整合ブロックの対が、現在のフレーム内および先行するフレーム内で探し出された整合ブロックのすべての対の中の2進絶対差値の最小和(Sum  of  Binary  Absolute  Difference、SBAD)を有する整合ブロックの対である、決定するステップと、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値未満であると決定された場合、第1の決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームのM1×M1ブロックの動きベクトルを決定するステップと、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であると決定された場合、補間予定フレームのM1×M1ブロックをM2×M2ブロックに分割して、補間予定フレームのM2×M2ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを再度探索するステップであって、整合ブロックを再度探索するためのSBADしきい値が、整合ブロックを前回探索した際に適用されたSBADしきい値の1/4であり、M1およびM2が両方とも2のm乗であり、mが正の整数であり、M2=M1/2である、再度探索するステップとを含むマルチレベル両方向動き推定方法が提供される。
【０００７】
第1の態様と、第1の態様の前述の実装様式とを参照して、第1の態様の別の実装様式では、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するステップの前に、第1のSBAD値と、第2のSBAD値と、第3のSBAD値とが決定され、第1のSBAD値は現在のフレームと先行するフレームとの間の両方向動き推定によって生成されたSBAD値であり、第2のSBAD値は、現在のフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、第3のSBAD値は、先行するフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、次のフレームの後のフレームは現在のフレームの後のフレームであり、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するステップが、第1のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するステップを含む。
【０００８】
第1の態様と、第1の態様の前述の実装様式とを参照して、第1の態様の別の実装様式では、第2のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、現在のフレームの対応する整合ブロックを外挿すること(extrapolating)によって補間予定フレームのM1×M1ブロックが取得され、第3のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、先行するフレームの対応する整合ブロックを外挿することによって補間予定フレームのM1×M1ブロックが取得される。
【０００９】
第1の態様と、第1の態様の前述の実装様式とを参照して、第1の態様の別の実装様式では、オブジェクトが先行するフレームの境界に対して現在のフレームの境界でシーンに入るまたは出るとき、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するステップの前に、この方法は、現在のフレームおよび先行するフレームの両方の境界画素値を非ゼロに設定して、現在のフレームおよび先行するフレームの境界をそれぞれM1個の画素だけ円周方向に拡張するステップをさらに含む。
【００１０】
第1の態様と、第1の態様の前述の実装様式とを参照して、第1の態様の別の実装様式では、シーンが先行するフレームに対して現在のフレームで切り替わるとき、整合ブロックが初めて探し出された後で、この方法は、すべての以下の決定予定整合ブロックの対、すなわち、補間予定フレームのM1×M1ブロックに対応し、かつSBADしきい値以上のSBAD値を有する決定予定整合ブロックの対の数がプリセットされたしきい値を上回ると決定されたとき、外挿様式で補間予定フレームを取得するステップをさらに含む。
【００１１】
第1の態様と、第1の態様の前述の実装様式とを参照して、第1の態様の別の実装様式では、複数のレベルの両方向動き推定のK個のレベルの動き推定が実行された後で、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であると決定された場合、現在のフレームおよび先行するフレームの指定ゾーン内で第2の決定予定整合ブロックの対が探索され、指定ゾーンは現在のフレーム内および先行するフレーム内で補間に参加しないすべてのブロックであり、Kは2以上の正の整数であり、
第2の決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームのM×Mブロックの動きベクトルが決定され、補間予定フレームのM×Mブロックは第K番目のレベルの動き推定に対応する整合ブロックであり、Mは2のm乗であり、mは正の整数である。
【００１２】
第1の態様と、第1の態様の前述の実装様式とを参照して、第1の態様の別の実装様式では、複数のレベルの両方向動き推定のK個のレベルの動き推定が実行された後で、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であると決定された場合、第1の決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って、補間予定フレームのM×Mブロックの動きベクトルが決定され、補間予定フレームのM×Mブロックは第K番目のレベルの動き推定に対応する整合ブロックであり、Mは2のm乗であり、mは正の整数である。
【００１３】
第1の態様と、第1の態様の前述の実装様式とを参照して、第1の態様の別の実装様式では、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するステップは、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを2回探索するステップであって、整合ブロックを2回探索するステップが反対の探索順序を有する、2回探索するステップを含む。
【００１４】
第1の態様と、第1の態様の前述の実装様式とを参照して、第1の態様の別の実装様式では、補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するステップは、ブロック整合基準に基づいて、補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するステップであって、ブロック整合基準が、
【００１５】
【数１】
2015518698.tif 000003
【００１６】
であり、式中、SBADが整合ブロックの対のSBAD値であり、Bi,jが補間予定フレームのM1×M1ブロックであり、sが補間予定フレームの画素点であり、vが変位ベクトルであり、fn-1が現在のフレームの画素値であり、fn+1が先行するフレームの画素値である、決定するステップを含む。
【００１７】
第2の態様によれば、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するように構成された整合探索ユニットであって、先行するフレームが補間予定フレームの前のフレームであり、現在のフレームが補間予定フレームの後のフレームであり、探索することに関するアルゴリズムが三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムを含む、整合探索ユニットと、補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するように構成された決定ユニットであって、第1の決定予定整合ブロックの対が、現在のフレーム内および先行するフレーム内で探索ユニットによって探し出された整合ブロックのすべての対の中の2進絶対差SBAD値の最小和を有する整合ブロックの対である、決定ユニットとを含むマルチレベル両方向動き推定デバイスであって、決定ユニットが、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値未満であると決定された場合、第1の決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームのM1×M1ブロックの動きベクトルを決定するようにさらに構成され、整合探索ユニットが、決定ユニットによって決定された、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上である場合、補間予定フレームのM1×M1ブロックをM2×M2ブロックに分割して、補間予定フレームのM2×M2ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを再度探索するようにさらに構成され、整合ブロックを再度探索するためのSBADしきい値が、整合ブロックを前回探索した際に適用されたSBADしきい値の1/4であり、M1およびM2が両方とも2のm乗であり、mが正の整数であり、M2=M1/2である、マルチレベル両方向動き推定デバイスが提供される。
【００１８】
第2の態様と、第2の態様の前述の実装様式とを参照して、第2の態様の別の実装様式では、決定ユニットは、第1のSBAD値と、第2のSBAD値と、第3のSBAD値とを決定するようにさらに構成され、第1のSBAD値が、現在のフレームと先行するフレームとの間の両方向動き推定によって生成されたSBAD値であり、第2のSBAD値が、現在のフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、第3のSBAD値が、先行するフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、次のフレームの後のフレームが、現在のフレームの後のフレームであり、整合探索ユニットは、特に、第1のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するように構成される。
【００１９】
第2の態様と、第2の態様の前述の実装様式とを参して、第2の態様の別の実装様式では、決定ユニットは、第2のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、現在のフレームの対応する整合ブロックを外挿することによって、補間予定フレームのM1×M1ブロックを取得するようにさらに構成され、決定ユニットは、第3のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の間の最小値であるとき、先行するフレームの対応する整合ブロックを外挿することによって、補間予定フレームのM1×M1ブロックを取得するようにさらに構成される。
【００２０】
第2の態様と、第2の態様の前述の実装様式とを参照して、第2の態様の別の実装様式では、このデバイスは拡張ユニットをさらに含み、この拡張ユニットは、オブジェクトが先行するフレームの境界に対して現在のフレームの境界でシーンに入るまたは出るとき、現在のフレームおよび先行するフレームの両方の境界画素値を非ゼロに設定して、現在のフレームおよび先行するフレームの境界をそれぞれM1個の画素だけ円周方向に拡張するように構成される。
【００２１】
第2の態様と、第2の態様の前述の実装様式とを参照して、第2の態様の別の実装様式では、決定ユニットは、シーンが先行するフレームに対して現在のフレームで切り替わるとき、整合ブロックが初めて探し出された後で、すべての以下の決定予定整合ブロックの対、すなわち、補間予定フレームのM1×M1ブロックに対応し、かつSBADしきい値以上のSBAD値を有する決定予定整合ブロックの対の数がプリセットされたしきい値を上回ると決定されたとき、外挿様式で補間予定フレームを取得するようにさらに構成される。
【００２２】
第2の態様と、第2の態様の前述の実装様式とを参照して、第2の態様の別の実装様式では、整合探索ユニットは、複数のレベルの両方向動き推定のK個のレベルの動き推定が実行された後で、決定ユニットによって決定された、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上である場合、現在のフレームおよび先行するフレームの指定ゾーン内で第2の決定予定整合ブロックの対を探索するようにさらに構成され、指定ゾーンが現在のフレーム内および先行するフレーム内で補間に参加しないすべてのブロックであり、決定ユニットは、整合探索ユニットによって探し出された第2の決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームのM×Mブロックの動きベクトルを決定するようにさらに構成され、補間予定フレームのM×Mブロックが第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数であり、Kが2以上の正の整数である。
【００２３】
第2の態様と、第2の態様の前述の実装様式とを参照して、第2の態様の別の実装様式では、決定ユニットは、複数のレベルの両方向動き推定のK個のレベルの動き推定が実行された後で、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であると決定された場合、第1の決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って、補間予定フレームのM×Mブロックの動きベクトルを決定するようにさらに構成され、補間予定フレームのM×Mブロックが、第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数であり、Kが2以上の正の整数である。
【００２４】
第2の態様と、第2の態様の前述の実装様式とを参照して、第2の態様の別の実装様式では、整合探索ユニットは、特に、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを2回探索するように構成され、整合ブロックを2回探索することが反対の探索順序を有する。
【００２５】
第2の態様と、第2の態様の前述の実装様式とを参照して、第2の態様の別の実装様式では、決定ユニットは、特に、ブロック整合基準に基づいて、補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するように構成され、ブロック整合基準が、
【００２６】
【数２】
2015518698.tif 000004
【００２７】
であり、式中、SBADが整合ブロックの対のSBAD値であり、Bi,jが補間予定フレームのM1×M1ブロックであり、sが補間予定フレームの画素点であり、vが変位ベクトルであり、fn-1が現在のフレームの画素値であり、fn+1が先行するフレームの画素値である。
【００２８】
本発明の実施形態では、両方向動き推定に基づいて、整合ブロックは、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、補間予定フレームの前後のフレーム(現在のフレームおよび先行するフレーム)内で探索され、整合ブロックのすべての探索された対の中の最小SBAD値を有する整合ブロックの対が第1の決定予定整合ブロックとして決定される。第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であるとき、M1×M1ブロックは、マルチレベル方法を参照して、M2×M2ブロックに分割され、整合ブロックが再度探索され、整合ブロックを再度探索するためのSBADしきい値は整合ブロックを前回探索した際に適用されたSBADしきい値の1/4である。したがって、マルチレベル方法を両方向動き推定と組み合わせて、補間予定フレームのM1×M1ブロックは徐々に分解され、動き情報がより正確に記述される。加えて、三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムが動き推定に適用され、したがって、平滑な動きベクトルフィールドを取得することができ、収束は高速であり、複雑性は低く、これは動き推定精度を効果的に改善し、画像品質を改善する。
【００２９】
本発明の実施形態の技術的解決策をより明瞭に記述するために、以下の説明は、これらの実施形態または先行技術を記述するために必要とされる添付の図面を手短に紹介する。明らかに、以下の説明において添付の図面は、本発明のいくつかの実施形態を単に示し、当業者は、創造的努力なしに、添付の図面から依然として他の図面を導出することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明のある実施形態によるマルチレベル両方向動き推定方法の流れ図である。
【図２Ａ】オブジェクトの長距離の動きシーン内の視像情報との不一致の補間概略図である。
【図２Ｂ】本発明のある実施形態による、オブジェクトの長距離の動きシーンの補間概略図である。
【図３】本発明のある実施形態によるマルチレベル両方向動き推定方法のプロセスの流れ図である。
【図４】本発明のある実施形態による3レベル補間予定フレームの整合ブロックの概略図である。
【図５】本発明のある実施形態によるマルチレベル両方向動き推定デバイスの構造ブロック図である。
【図６】本発明の別の実施形態によるマルチレベル両方向動き推定デバイスの構造ブロック図である。
【発明を実施するための形態】
【００３１】
以下の説明は、本発明の実施形態の添付の図面を参照して、本発明の実施形態の技術的解決策を明瞭かつ完全に記述する。明らかに、記述される実施形態は、本発明の実施形態のすべてではなく、その一部である。創造的努力なしに、本発明の実施形態に基づいて当業者によって取得されるすべてのその他の実施形態は、本発明の保護範囲内に該当すべきである。
【００３２】
図1は、本発明のある実施形態によるマルチレベル両方向動き推定方法の流れ図である。図1の方法は、マルチレベル両方向動き推定デバイスによって実行される。
【００３３】
101。補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索する。先行するフレームが補間予定フレームの前のフレームであり、現在のフレームが補間予定フレームの後のフレームであり、探索するステップに関するアルゴリズムが、三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムを含む。
【００３４】
102。補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定する。第1の決定予定整合ブロックの対が、現在のフレーム内および先行するフレーム内で探し出された整合ブロックのすべての対の中の最小SBAD値を有する整合ブロックの対である。
【００３５】
103。第1の決定予定整合ブロックの対のSBAD値がSBADしきい値未満であると決定された場合、第1の決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームのM1×M1ブロックの動きベクトルを決定する。
【００３６】
104。第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であると決定された場合、補間予定フレームのM1×M1ブロックをM2×M2ブロックに分割して、補間予定フレームのM2×M2ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを再度探索する。整合ブロックを再度探索するためのSBADしきい値が、整合ブロックを前回探索した際に適用されたSBADしきい値の1/4であり、M1およびM2の両方が2のm乗であり、mが正の整数であり、M2=M1/2である。
【００３７】
本発明の実施形態では、両方向動き推定に基づいて、整合ブロックは、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、補間予定フレームの前後のフレーム(現在のフレームおよび先行するフレーム)内で探索され、整合ブロックのすべての探索された対の中の最小SBAD値を有する整合ブロックの対が第1の決定予定整合ブロックとして決定される。第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上である場合、M1×M1ブロックは、マルチレベル方法を参照して、M2×M2ブロックに分割され、整合ブロックが再度探索され、整合ブロックを再度探索するためのSBADしきい値は整合ブロックを前回探索した際に適用されたSBADしきい値の1/4である。したがって、マルチレベル方法を両方向動き推定と組み合わせて、補間予定フレームのM1×M1ブロックは徐々に分解され、動き情報はより正確に記述される。加えて、三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムが動き推定に適用され、したがって、平滑な動きベクトルフィールドを取得することができ、収束は高速であり、複雑性は低く、これは動き推定精度を効果的に改善し、画像品質を改善する。
【００３８】
本発明の実施形態は、補間予定フレームが分割されるブロックの数、またはそれぞれの整合ブロックのサイズを限定しないことに留意されたい。補間予定フレームは1個または複数の整合ブロックに分割され、それぞれの整合ブロックはMi×Miブロックであり、Miは正の整数である。本発明の実施形態は、マルチレベル方法のいくつの(すなわち、K個のレベルの動き推定のKの値であり、2以上の正の整数であるKの値の)レベルの動き推定が適用されるかを限定しない。第i番目のレベルの動き推定のそれぞれの整合ブロックはM1×M1ブロックであり、第(i+1)番目のレベルの動き推定のそれぞれの整合ブロックはM2×M2ブロックであり、iは正の整数であると仮定する。
【００３９】
任意選択で、ある実施形態では、複数のレベルの両方向動き推定のK個のレベルの動き推定が実行された後で、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であると決定された場合、第1の決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って、補間予定フレームのM×Mブロックの動きベクトルが決定され、補間予定フレームのM×Mブロックは第K番目のレベルの動き推定に対応する整合ブロックであり、Mは2のm乗であり、mは正の整数である。例えば、Kの値は4にプリセットされ、すなわち、4個のレベルの動き推定が適用される。第4番目のレベルの動き推定で、補間予定フレームのM1×M1ブロックに対応する決定予定整合ブロックの対のSBAD値がSBADしきい値以上である場合、補間予定フレームのM1×M1ブロックはそれ以上分割されないことになり、すなわち、MはM1に等しく、補間予定フレームのM×Mブロックの動きベクトルは、対応する決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って決定される。
【００４０】
任意選択で、別の実施形態では、ステップ101で、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックが2回探索され、整合ブロックを2回探索することは反対の探索順序を有する。
【００４１】
任意選択で、別の実施形態では、ステップ102の後で、第1のSBAD値と、第2のSBAD値と、第3のSBAD値とが決定され、第1のSBAD値は現在のフレームと先行するフレームとの間の両方向動き推定によって生成されたSBAD値であり、第2のSBAD値は現在のフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、第3のSBAD値は先行するフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、次のフレームの後のフレームは現在のフレームの後のフレームである。
【００４２】
第1のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、ステップ103または104が実行される。
【００４３】
第2のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、現在のフレームの対応する整合ブロックを外挿することによって、補間予定フレームのM1×M1ブロックが取得され、すなわち、現在のフレームの対応する整合ブロックは、補間予定フレームのM1×M1ブロックとして複写される。
【００４４】
第3のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、補間予定フレームのM1×M1ブロックに対応する、現在のフレームの整合ブロックを外挿することによって、補間予定フレームのM1×M1ブロックが取得され、すなわち、先行するフレームの対応する整合ブロックは、補間予定フレームのM1×M1ブロックとして複写される。
【００４５】
前述の解決策は、オブジェクトの動きにより、背景が覆われるかまたは露出されたシーン(すなわち、「ブロッキング」の問題)に適応可能である。先行技術では、ブロックされたゾーンは先行するフレームと、現在のフレームと、先行するフレームの前のフレームとを使用して検出され、先行するフレームの前のフレームは先行するフレームの先行するフレームである。例えば、先行するフレームと先行するフレームの前のフレームとを使用することによって、先行するフレームに関して逆方向動き推定が実行されて、逆方向整合絶対差の和(Sum  of  Absolute  Difference、SAD)値を生成して、先行するフレームと現在のフレームとを使用することによって、先行するフレームに関して順方向動き推定が実行されて、順方向整合SAD値を生成する。先行するフレームで、順方向整合SAD値が逆方向整合SAD値を上回るブロックは覆われたゾーンであり、順方向整合SAD値がSAD値以下のブロックは露出ゾーンである。
【００４６】
したがって、本発明の実施形態の解決策がブロッキング処理に適用されるとき、動き推定を2回、すなわち、順方向動き推定と逆方向動き推定とを実行する必要はなく、それによって、計算量を削減する。加えて、先行技術は、補間予定フレームのブロックをどのように処理するかを指摘しない。ブロッキングシーンで、本実施形態のブロッキング処理によって取得される補間予定フレームは、画像品質を効果的に改善する。
【００４７】
任意選択で、別の実施形態では、オブジェクトが先行するフレームの境界に対して現在のフレームの境界でシーンに入るまたは出るとき、ステップ101の前に、現在のフレームおよび先行するフレームの両方の境界画素値を非ゼロに設定することができ、現在のフレームおよび先行するフレームの境界はそれぞれM1個の画素だけ円周方向に拡張される。
【００４８】
オブジェクトが画像の境界に入るまたは出るとき、先行技術の動き推定は、補間予定フレームの境界において「ブロック効果」をもたらすが、本発明の技術的解決策に従って取得された補間予定フレームは、境界において「ブロック効果」を削減して、画像品質を改善することができる。
【００４９】
任意選択で、別の実施形態では、シーンが先行するフレームに対して現在のフレームで切り替わるとき、整合ブロックが初めて探索された後で、すべての以下の決定予定整合ブロックの対、すなわち、補間予定フレームのM1×M1ブロックに対応し、かつSBADしきい値以上のSBAD値を有する決定予定整合ブロックの対の数がプリセットされたしきい値を上回ると決定されたとき、外挿様式で補間予定フレームが取得される。任意選択で、現在のフレームを補間予定フレームとして複写することが可能であるか、または先行するフレームを補間予定フレームとして複写すること可能である。
【００５０】
シーンが隣接するフレーム間で切り替わるとき、例えば、先行するフレームが「ロケット」画像であり、現在のフレームが「テーブル」画像であるとき、補間方法で、先行するフレームおよび現在のフレームの重複画像である補間予定フレームを取得することは合理的ではなく、外挿方法を使用して、例えば、先行するフレームの「ロケット」画像を複写して補間予定フレームを取得すること、または現在のフレームの「テーブル」画像を複写して補間予定フレームを取得することが適切である。加えて、複数のレベルの動き推定が実行されるまで、SBADしきい値以上のSBAD値を有する決定予定整合ブロックの対が計数されない場合、計算量は増大して、複数のレベルの動き推定は無益であるが、これは、補間予定フレームが外挿方法を使用することによって取得されると推定されるためである。したがって、整合ブロックに関する初めの探索の後で計数が実行される場合、計算量は効果的に削減される。
【００５１】
任意選択で、別の実施形態では、K個のレベルの動き推定が実行された後で、現在のフレームおよび先行するフレームの指定ゾーン内で第2の決定予定整合ブロックの対が探索され、指定ゾーンは、現在のフレーム内および先行するフレーム内で補間に参加しないすべてのブロックである。補間予定フレームのM×Mブロックの動きベクトルは第2の決定予定整合ブロックの対の動きベクトルに従って決定され、補間予定フレームのM×Mブロックは第K番目のレベルの動き推定に対応する整合ブロックであり、Mは2のm乗であり、mは正の整数である。
【００５２】
オブジェクトの動き範囲がオブジェクトのサイズよりもはるかに大きいとき(すなわち、長距離動き)、補間フレーム内で、図2Aに示されるように、オブジェクトが出現する、対応する領域は視像情報と不一致の背景を取得することになる。
【００５３】
オブジェクトの長距離の動きシーンで、すなわち、オブジェクトの動き振幅が整合探索範囲を上回るとき、本発明の実施形態では、第1の決定予定整合ブロックの対のSBAD値は、整合ブロックを複数回数にわたって再度探索する時点で、依然としてSBADしきい値以上であると決定される。詳細には、図2Bに示されるように、K個のレベルの動き推定が実行された後で、補間フレームの補間プロセスで、2個の連続フレームで補間に参加する(4×4個のブロックなど)M×Mブロックにフラグが立てられ、補間に参加しないブロックは「空隙」と定義される。2個の連続フレーム内で、集められた「空隙」ブロックは組み合わされて、指定ゾーンとして記録される。すなわち、先行するフレーム内および現在のフレーム内で補間に参加しないすべてのブロックが組み合わされて指定ゾーンになる。これに基づいて、何らかの長距離動きが発生するかどうかが決定される。一方で、指定ゾーン内で第2の決定予定整合ブロックの対が探索されて、第2の決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームのM×Mブロックの動きベクトルが決定される。
【００５４】
前述の技術的解決策に従って、オブジェクトの長距離動きが発生するとき、動き推定の精度を効果的に改善することができる。
【００５５】
任意選択で、別の実施形態では、ステップ102で、ブロック整合基準に基づいて、補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対が決定され、ブロック整合基準は、以下の式(1)、すなわち、
【００５６】
【数３】
2015518698.tif 000005
【００５７】
であってよく、式中、SBADは整合ブロックの対のSBAD値であり、Bi,jは補間予定フレームのM1×M1ブロックであり、sは補間予定フレームの画素点であり、vは変位ベクトルであり、fn-1は現在のフレームの画素値であり、fn+1は先行するフレームの画素値である。
【００５８】
理解できるように、本発明の実施形態の適用は限定されない。例えば、本発明の実施形態は、ビデオ通話および電話会議に適用可能である。本発明の実施形態は、フラットスクリーンテレビの画像品質を改善すること、例えば、液晶ディスプレイ(Liquid  Crystal  Display,  LCD)のディスプレイ内に存在する動きのぶれ、画像のジッタ、および画像の縞などの欠点を克服すること、または、プラズマディスプレイパネル(Plasma  Display  Panel、PDP)のディスプレイ内の重度のフリッカ(flicker)などの問題を克服することも可能である。
【００５９】
以下の説明は、図3の例を参照して、本発明をより詳細に記述する。図3の実施形態は、3(Kの値は3である)レベルの両方向動き推定を例として使用するが、これは、本発明の実施形態を限定すると解釈されるべきではない。
【００６０】
詳細には、図4に示されるように、第1のレベルの補間予定フレームFn内のそれぞれの整合ブロックは16×16ブロックであり、対応するSBADしきい値はV1であり、第2のレベルの補間予定フレームFn内の整合ブロックは8×8ブロックであり、対応するSBADしきい値はV1/4であり、第3のレベルの補間予定フレームFn内の整合ブロックは4×4ブロックであり、対応するSBADしきい値はV1/16である。
【００６１】
S301。第1のレベルの16×16ブロックの両方向動き推定。補間予定フレームFnの16×16ブロックのそれぞれをミラーセンタとして使用することによって、それぞれ、現在のフレームFn+1内および先行するフレームFn-1内で整合ブロックを探索して、補間予定フレームFnの16×16ブロックのそれぞれに対応する決定予定整合ブロックの対をそれぞれ決定し、それぞれの決定予定整合ブロックの対は、現在のフレームFn+1内および先行するフレームFn-1内で探し出された整合ブロックの対のすべての対の中の最小SBAD値を有する整合ブロックの対である。
【００６２】
条件が満たされるかどうかが決定される。決定予定整合ブロックの対のSBAD値がSBADしきい値V1と比較される。
【００６３】
決定予定整合ブロックの対のSBAD値がSBADしきい値V1未満である場合、決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームFnの対応する16×16ブロックの(決定予定整合ブロックの対の動きベクトルの平均値など)動きベクトルが決定される。
【００６４】
決定予定整合ブロックの対のSBAD値がSBADしきい値V1以上である場合、ステップS302が実行され、第2のレベルの8×8ブロックの両方向動き推定が実行される。
【００６５】
任意選択で、ステップS301が実行される前に、現在のフレームFn+1および先行するフレームFn-1の境界をそれぞれ16個の画素だけ円周方向に拡張することができ、現在のフレームFn+1および先行するフレームFn-1の両方の境界画素値は非ゼロである。このように、オブジェクトが画像の境界に入るまたは出るとき、本発明の技術的解決策に従って取得された補間予定フレームFnは、境界において「ブロック効果」を削減して、画像品質を改善することができる。
【００６６】
任意選択で、ブロックされたゾーンの検出時に、Fn+3によって示される、次のフレームの後のフレームを再度使用して、現在のフレームFn+1と先行するフレームFn-1との間の第1のレベルの16×16ブロックの両方向動き推定を実行して、第1のSBAD値を生成することと、現在のフレームFn+1と次のフレームの後のフレームFn+3との間の第1のレベルの16×16ブロックの両方向動き推定を実行して、第2のSBAD値を生成することと、先行するフレームFn-1と次のフレームの後のフレームFn+3との間の第1のレベルの16×16ブロックの両方向動き推定を実行して、第3のSBAD値を生成することとが可能である。
【００６７】
第1のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、整合条件が満たされるかどうかが決定されて、第1のSBAD値がSBADしきい値V1と比較される。第1のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値でないとき、ローカルエリア外挿方法を使用することによって、対応する16×16ブロックの動きベクトルを取得することができる。考えられる実装様式では、第2のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値と中の最小値であるとき、現在のフレームFn+1の対応する整合ブロックを外挿することによって、補間予定フレームFnのM1×M1ブロックが取得され、すなわち、現在のフレームFn+1の対応する整合ブロックが補間予定フレームFnのM1×M1ブロックとして複写される。別の考えられる実装様式では、第3のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、補間予定フレームFnのM1×M1ブロックは、補間予定フレームFnのM1×M1ブロックに対応する現在のフレームFn+1の整合ブロックを外挿することによって取得され、すなわち、先行するフレームFn-1の対応する整合ブロックが補間予定フレームFnのM1×M1ブロックとして複写される。したがって、本発明の実施形態の解決策がブロッキング処理に適用されるとき、動き推定を2回、すなわち、順方向動き推定と逆方向動き推定とを実行する必要はなく、それによって、計算量を削減する。加えて、ブロッキング処理によって取得される補間予定フレームFnは画像品質を効果的に改善する。
【００６８】
任意選択で、第1のレベルの16×16ブロックの両方向動き推定が実行された後で、シーン切替え検出が実行される。詳細には、すべての以下の決定予定整合ブロックの対、すなわち、補間予定フレームFnの16×16ブロックに対応し、かつSBADしきい値以上のSBAD値を有する決定予定整合ブロックの対の数がプリセットされたしきい値未満であると決定されたとき、シーン切替えは発生しないと決定され、ステップS302、すなわち、第2のレベルの8×8ブロックの両方向動き推定が実行される。すべての以下の決定予定整合ブロックの対、すなわち、補間予定フレームFnの16×16ブロックに対応し、かつSBADしきい値以上のSBAD値を有する、決定予定整合ブロックの対の数がプリセットされたしきい値を上回ると決定されたとき、シーン切替えが発生すると決定され、外挿様式で補間予定フレームFnが取得される。任意選択で、現在のフレームFn+1を補間予定フレームFnとして複写することが可能であり、または先行するフレームFn-1を補間予定フレームFnとして複写することが可能である。隣接するフレーム間でシーン切替えが発生するとき、複数のレベルの動き推定が実行されるまで、SBADしきい値以上のSBAD値を有する決定予定整合ブロックの対が計数されない場合、計算量は増大して、複数のレベルの動き推定は無益であるが、これは、補間予定フレームFnが外挿方法を使用することによって取得されると推定されるためである。したがって、第1のレベルの16×16ブロックの両方向動き推定が実行された後で計数が実行される場合、計算量は効果的に削減される。
【００６９】
S302。第2のレベルの8×8ブロックの両方向動き推定。対応する補間予定フレームFnの16×16ブロックを4個の8×8ブロックに分割して、補間予定フレームFnの8×8ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレームFn+1内および先行するフレームFn-1内で整合ブロックを再度探索し、整合ブロックを再度探索するためのSBADしきい値は、整合ブロックを前回探索した際に適用されたSBADしきい値V1の8/(2*16)=1/4、すなわち、V1/4である。
【００７０】
同様に、条件が満たされるかどうかが決定される。補間予定フレームFnの8×8ブロックに対応する決定予定整合ブロックの対のSBAD値がSBADしきい値V1/4未満である場合、決定予定整合ブロックの対の動きベクトルに従って、対応する補間予定フレームFnの8×8ブロックの動きベクトルが決定される。
【００７１】
S303。第3のレベルの4×4ブロックの両方向動き推定。補間予定フレームの8×8ブロックに対応する決定予定整合ブロックの対のSBAD値がSBADしきい値V1/4以上である場合、対応する補間予定フレームFnの8×8ブロックを4個の4×4ブロックに分割して、補間予定フレームFnの4×4ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレームFn+1内および先行するフレームFn-1内で整合ブロックを再度探索し、整合ブロックを再度探索するためのSBADしきい値は、整合ブロックを前回探索した際に適用されたSBADしきい値V1/4の4/(2*8)=1/4、すなわち、V1/16である。補間予定フレームFnの4×4ブロックに対応する決定予定整合ブロックの対のSBAD値がSBADしきい値V1/16未満である場合、決定予定整合ブロックの対の動きベクトルに従って、対応する補間予定フレームFnの4×4ブロックの動きベクトルが決定される。
【００７２】
任意選択で、補間予定フレームFnの4×4ブロックに対応する決定予定整合ブロックの対のSBAD値がSBADしきい値V1/16以上である場合、補間予定フレームFnの4×4ブロックに対応する決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って、補間予定フレームの4×4ブロックの動きベクトルを決定することができる。
【００７３】
S304。長距離動き検出を実行することができる。現在のフレームFn+1内および先行するフレームFn-1内で補間に参加しないすべてのブロック(例えば、補間に関してフラグが立てられていないブロック)を組み合わせて指定ゾーンにすることができる。これに基づいて、何らかの長距離動きが発生するかどうかが決定される。何らかの長距離動きが発生した場合、例えば、指定ゾーンが存在する場合、指定ゾーン内で決定予定整合ブロックの対を探索することができ、指定ゾーン内で探し出された決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームFnの4×4ブロックに対応する動きベクトルを決定することができる。したがって、オブジェクトの長距離動きが発生するとき、動き推定の精度を効果的に改善することができる。理解できるように、S304は任意選択である。
【００７４】
任意選択で、複数のレベルの両方向動き推定の実施形態では、補間予定フレームFnの16×16ブロックおよび8×8ブロックに3-D  RS探索アルゴリズムが適用され、補間予定フレームFnの4×4ブロックに六角探索アルゴリズムが適用され、これは、動きベクトルフィールドを平滑にすること、計算の複雑性を削減すること、および迅速に収束することが可能である。さらに、補間予定フレームFnの16×16ブロック、8×8ブロック、または4×4ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレームFn+1内および先行するフレームFn-1内で整合ブロックを2回探索することができ、整合ブロックを2回探索することは反対の探索順序を有する(例えば、探索はフレームに関して2回、すなわち、「左上から右下への」正順および「右下から左上への」逆順で実行される)。
【００７５】
任意選択で、上記の式(1)のブロック整合基準に基づいて、補間予定フレームFnの16×16ブロック、8×8ブロック、および4×4ブロックに対応する決定予定整合ブロックの対を決定することができる。
【００７６】
理解できるように、上の例は、単なる例示であり、本発明の範囲を限定することが意図されない。
【００７７】
前述の解決策のマルチレベル両方向動き推定は、動き情報をより正確に記述して、画像品質を効果的に改善する。
【００７８】
図5は、本発明のある実施形態によるマルチレベル両方向動き推定デバイスの構造ブロック図である。マルチレベル両方向動き推定デバイス500は、整合探索ユニット501と決定ユニット502とを含む。
【００７９】
整合探索ユニット501は、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するように構成され、先行するフレームが補間予定フレームの前のフレームであり、現在のフレームが補間予定フレームの後のフレームであり、探索することに関するアルゴリズムが三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムを含む。
【００８０】
決定ユニット502は、補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するように構成され、第1の決定予定整合ブロックの対が、現在のフレーム内および先行するフレーム内で探索ユニット501によって探し出された整合ブロックのすべての対の中の最小SBAD値を有する整合ブロックの対である。
【００８１】
決定ユニット502は、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値未満であると決定された場合、第1の決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームのM1×M1ブロックの動きベクトルを決定するようにさらに構成される。
【００８２】
整合探索ユニット501は、決定ユニット502によって決定された、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上である場合、補間予定フレームのM1×M1ブロックをM2×M2ブロックに分割して、補間予定フレームのM2×M2ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを再度探索するように構成され、整合ブロックを再度探索するためのSBADしきい値が、整合ブロックを前回探索する際に適用されたSBADしきい値の1/4であり、M1およびM2が両方とも2のm乗であり、mが正の整数であり、M2=M1/2である。
【００８３】
本発明の実施形態では、両方向動き推定に基づいて、整合ブロックは、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、補間予定フレームの前後のフレーム(現在のフレームおよび先行するフレーム)内で探索され、整合ブロックのすべての探索された対の中の最小SBAD値を有する整合ブロックの対が第1の決定予定整合ブロックとして決定される。第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上である場合、M1×M1ブロックは、マルチレベル方法を参照して、M2×M2ブロックに分割され、整合ブロックが再度探索され、整合ブロックを再度探索するためのSBADしきい値は整合ブロックを前回探索した際に適用されたSBADしきい値の1/4である。したがって、マルチレベル方法を両方向動き推定と組み合わせて、補間予定フレームのM1×M1ブロックは徐々に分解され、動き情報はより正確に記述される。加えて、三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムが動き推定に適用され、したがって、平滑な動きベクトルフィールドを取得することが可能であり、収束は高速であり、複雑性は低く、これは動き推定精度を効果的に改善し、画像品質を改善する。
【００８４】
マルチレベル両方向動き推定デバイス500は、図1から図7の実施形態を実施することができる。したがって、反復を避けるために、これ以上の詳細はここで与えられない。
【００８５】
本発明の実施形態は、補間予定フレームが分割されるブロックの数、またはそれぞれの整合ブロックのサイズを限定しないことに留意されたい。補間予定フレームは1個または複数の整合ブロックに分割され、それぞれの整合ブロックはMi×Miブロックであり、Miは正の整数である。本発明の実施形態は、マルチレベル方法のいくつの(すなわち、K個のレベルの動き推定のKの値であり、2以上の正の整数であるKの値の)レベルの動き推定が適用されるかを限定しない。第i番目のレベルの動き推定のそれぞれの整合ブロックはM1×M1ブロックであり、第(i+1)番目のレベルの動き推定のそれぞれの整合ブロックはM2×M2ブロックであり、iは正の整数であると仮定する。
【００８６】
任意選択で、別の実施形態では、決定ユニット502は、第1のSBAD値と、第2のSBAD値と、第3のSBAD値とを決定するようにさらに構成可能であり、第1のSBAD値が現在のフレームと先行するフレームとの間の両方向動き推定によって生成されたSBAD値であり、第2のSBAD値が現在のフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、第3のSBAD値が先行するフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、次のフレームの後のフレームが現在のフレームの後のフレームである。整合探索ユニット501は、特に、第1のSBAD値が、決定ユニット502によって決定された、第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するように構成される。
【００８７】
任意選択で、決定ユニット502は、第2のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、現在のフレームの対応する整合ブロックを外挿することによって、補間予定フレームのM1×M1ブロックを取得すること、すなわち、現在のフレームの対応する整合ブロックを補間予定フレームのM1×M1ブロックとして複写するようにさらに構成可能である。
【００８８】
任意選択で、決定ユニット502は、第3のSBAD値が第1のSBAD値、第2のSBAD値、および第3のSBAD値の中の最小値であるとき、先行するフレームの対応する整合ブロックを外挿することによって、補間予定フレームのM1×M1ブロックを取得すること、すなわち、先行するフレームの対応する整合ブロックを補間予定フレームのM1×M1ブロックとして複写するようにさらに構成可能である。
【００８９】
前述の解決策は、オブジェクトの動きにより、背景が覆われるかまたは露出されたシーン(すなわち、「ブロッキング」の問題)に適用可能である。本発明の実施形態の解決策がブロッキング処理に適用されるとき、動き推定を2回、すなわち、順方向動き推定と逆方向動き推定とを行う必要はなく、それによって、計算量を削減する。加えて、先行技術は、補間予定フレーム内のブロックをどのように処理するかを指摘しない。ブロッキングシーンで、本発明の実施形態のブロッキング処理によって取得される補間予定フレームは、ブロッキング処理なしで取得された補間予定フレームと比較して画像品質を効果的に改善する。
【００９０】
任意選択で、別の実施形態では、デバイス500は拡張ユニット503をさらに含む。拡張ユニット503は、オブジェクトが先行するフレームの境界に対して現在のフレームの境界でシーンに入るまたは出るとき、現在のフレームおよび先行するフレームの境界をそれぞれM1個の画素だけ円周方向に拡張するように構成され、現在のフレームおよび先行するフレームの両方の境界画素値が非ゼロである。
【００９１】
オブジェクトが画像の境界に入るまたは出るとき、先行技術の動き推定は、補間予定フレームの境界において「ブロック効果」をもたらすが、本発明の技術的解決策に従って取得された補間予定フレームは、境界において「ブロック効果」を削減して、画像品質を改善することができる。
【００９２】
任意選択で、別の実施形態では、決定ユニット502は、シーンが先行するフレームに対して現在のフレームで切り替わるとき、整合ブロックが初めて探索された後で、すべての以下の決定予定整合ブロックの対、すなわち、補間予定フレームのM1×M1ブロックに対応し、かつSBADしきい値以上のSBAD値を有する決定予定整合ブロックの対の数がプリセットされたしきい値を上回ると決定されたとき、外挿様式で補間予定フレームを取得するようにさらに構成可能である。任意選択で、現在のフレームを補間予定フレームとして複写することが可能であり、または先行するフレームを補間予定フレームとして複写することが可能である。
【００９３】
複数のレベルの動き推定が実行されるまで、SBADしきい値以上のSBAD値を有する決定予定整合ブロックの対が計数されない場合、計算量は増大して、複数のレベルの動き推定は無益であるが、これは、補間予定フレームが外挿方法を使用することによって取得されると推定されるためである。したがって、計数が整合ブロックの初めの探索の後で実行される場合、計算量は効果的に削減される。
【００９４】
任意選択で、別の実施形態では、整合探索ユニット501は、K個のレベルの動き推定が実行された後で、決定ユニット502によって決定された、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上である場合、現在のフレームおよび先行するフレームの指定ゾーン内で第2の決定予定整合ブロックの対を探索するようにさらに構成可能であり、指定ゾーンが現在のフレーム内および先行するフレーム内で補間に参加しないすべてのブロックである。決定ユニット502は、第2の決定予定整合ブロックの対の動きベクトルに従って、補間予定フレームのM×Mブロックの動きベクトルを決定するようにさらに構成可能であり、補間予定フレームのM×Mブロックが第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数である。
【００９５】
前述の技術的解決策に従って、オブジェクトの長距離動きが発生するとき、動き推定の精度を効果的に改善することができる。
【００９６】
任意選択で、ある実施形態では、決定ユニット502は、K個のレベルの動き推定が実行された後で、第1の決定予定整合ブロックの対のSBAD値がSBADしきい値以上であると決定された場合、第1の決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って、補間予定フレームのM×Mブロックの動きベクトルを決定するようにさらに構成可能であり、補間予定フレームのM×Mブロックが、第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数である。
【００９７】
任意選択で、別の実施形態では、整合探索ユニット501は、特に、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを2回探索するように構成され、整合ブロックを2回探索することが反対の探索順序を有する。
【００９８】
任意選択で、別の実施形態では、決定ユニット502は、特に、前述の式(1)のブロック整合基準に基づいて、補間予定フレームのM1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するように構成される。
【００９９】
理解できるように、本発明の実施形態の適用は限定されない。例えば、本発明の実施形態は、ビデオ通話および電話会議に適用可能である。本発明の実施形態は、フラットスクリーンテレビの画像品質を改善すること、例えば、液晶ディスプレイ(Liquid  Crystal  Display,  LCD)のディスプレイ内に存在する動きのぶれ、画像のジッタ、および画像の縞などの欠点を克服すること、または、プラズマディスプレイパネル(Plasma  Display  Panel、PDP)のディスプレイ内の重度のフリッカなどの問題を克服することも可能である。
【０１００】
図6は、本発明の別の実施形態によるマルチレベル両方向動き推定デバイスの構造ブロック図である。
【０１０１】
図6に示されるように、マルチレベル両方向動き推定デバイス600は、一般に、CPUなど、少なくとも1個のプロセッサ610と、少なくとも1個のポート620と、メモリ630と、少なくとも1個の通信バス640とを含む。通信バス640は、装置間の接続および通信を実施するように構成される。プロセッサ610は、メモリ630内に記憶された、コンピュータプログラムなど、実行可能モジュールを実行するように構成される。任意選択で、デバイス600はユーザインターフェース650を含むことが可能であり、ユーザインターフェース650は、ディスプレイ、キーボード、マウスなどのクリックデバイス、トラックボール(trackball)、タッチパッドまたはタッチスクリーンを含むが、これらに限定されない。メモリ630は、高速RAMメモリまたは不揮発性メモリ(non-volatile  memory)、例えば、少なくとも1個のディスクメモリを含むことが可能である。
【０１０２】
いくつかの実装様式では、メモリ630は、以下の要素、すなわち、実行可能モジュールもしくはデータ構造、またはそれらのサブセット、あるいはそれらの拡張セットを記憶する。
【０１０３】
オペレーティングシステム632は、様々なシステムプログラムを含み、様々な基本的なサービスを実施して、ハードウェアベースのタスクを処理するように構成される。
【０１０４】
アプリケーションモジュール634は、様々なアプリケーションを含み、様々なアプリケーションサービスを実施するように構成される。
【０１０５】
アプリケーションモジュール634は、整合探索ユニット501と、決定ユニット502と、拡張ユニット503とを含むが、これらに限定されない。
【０１０６】
アプリケーションモジュール634内のそれぞれのユニットの特定の実装に関しては、図6に示される実施形態の対応するユニットを参照し、ここでは何の記述もこれ以上繰り返さない。
【０１０７】
本明細書で開示された実施形態で記述された例と組み合わせて、電子ハードウェア、またはコンピュータソフトウェアと電子ハードウェアの組合せによって、ユニットおよびアルゴリズムステップを実施することが可能であることを当業者は認識されよう。これらの機能がハードウェアによって実行されるか、またはソフトウェアによって実行されるかは、特定の適用および技術的解決策の設計制約条件に依存する。当業者は、異なる方法を使用して、それぞれの特定の適用に関して記述された機能を実施することができるが、その実装は本発明の範囲を超えると見なすべきではない。
【０１０８】
好都合かつ手短に記述するために、前述のシステム、装置、およびユニットの詳細な動作プロセスに関して、前述の方法実施形態の対応するプロセスを参照することが可能であり、詳細は本明細書で再度記述されないことを当業者は明瞭に理解されよう。
【０１０９】
本出願に提供された、いくつかの実施形態において、開示されたシステム、装置、および方法はその他の様式で実装可能であることを理解されたい。例えば、記述された装置実施形態は単なる例示である。例えば、ユニット分割は、単なる論理的な機能分割であり、実際の実装では他の分割でありうる。例えば、複数のユニットもしくは構成要素を組み合わせるか、または統合して、別のシステムにすることが可能であり、あるいはいくつかの特徴を無視すること、または実行しないことも可能である。加えて、表示もしくは議論された相互的または直接的な結合あるいは通信接続は、いくつかのインターフェースを介して実施可能である。装置間もしくはユニット間の間接的な結合または通信接続は、電子形式、機械形式、あるいはその他の形式で実施可能である。
【０１１０】
別個の部分として記述されたユニットは、物理的に分離してよく、または物理的に分離していなくてもよく、ユニットとして表示された部分は、物理ユニットであってよく、また物理ユニットでなくてもよく、1つの位置に配置されてよく、または複数のネットワークユニット上に分散されてもよい。ユニットの一部またはすべては、これらの実施形態の解決策の目的を達成するための実際のニーズに従って選択されてよい。
【０１１１】
加えて、本発明の実施形態の機能ユニットは1個の処理ユニットに統合されてよく、もしくはユニットのそれぞれは物理的に単独で存在してよく、または2個以上のユニットが1個のユニットに統合されてもよい。
【０１１２】
これらの機能がソフトウェア機能ユニットの形態で実施され、独立した製品として販売または使用されるとき、これらの機能をコンピュータ可読記憶媒体内に記憶することが可能である。そのような理解に基づいて、本発明の技術的解決策は、本質的に、もしくは先行技術に貢献する部分、またはこれらの技術的解決策の部分をソフトウェア製品の形で実施することが可能である。ソフトウェア製品は、記憶媒体内に記憶され、本発明の実施形態で記述された方法のステップのすべてまたは一部を実行するように(パーソナルコンピュータ、サーバ、またはネットワークデバイスなどであってよい)コンピュータデバイスに命令するためのいくつかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、取り外し可能ハードディスク、読出し専用メモリ(ROM、Read-Only  Memory)、ランダムアクセスメモリ(RAM、Random  Access  Memory)、磁気ディスク、または光ディスクなど、プログラムコードを記憶することが可能な任意の媒体を含む。
【符号の説明】
【０１１３】
500  マルチレベル両方向動き推定デバイス、デバイス
501  整合探索ユニット
502  決定ユニット
503  拡張ユニット
600  マルチレベル両方向動き推定デバイス、デバイス
610  プロセッサ
620  ポート
630  メモリ
632  オペレーティングシステム
634  アプリケーションモジュール
640  通信バス
650  ユーザインターフェース
【図１】
2015518698.tif 000008
【図３】
2015518698.tif 000009
【図４】
2015518698.tif 000010
【図５】
2015518698.tif 000011
【図６】
2015518698.tif 000012
【図２Ａ】
2015518698.tif 000013
【図２Ｂ】
2015518698.tif 000014
【手続補正書】
【提出日】平成26年4月10日(2014.4.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するステップであって、前記先行するフレームが前記補間予定フレームの前のフレームであり、前記現在のフレームが前記補間予定フレームの後のフレームであり、前記探索するステップに関するアルゴリズムが三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムを含む、探索するステップと、
前記補間予定フレームの前記M1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するステップであって、前記第1の決定予定整合ブロックの対が、前記現在のフレーム内および前記先行するフレーム内で探し出された整合ブロックのすべての対の中の2進絶対差SBAD値の最小和を有する整合ブロックの対である、決定するステップと、
前記第1の決定予定整合ブロックの対のSBAD値がSBADしきい値未満であると決定された場合、前記第1の決定予定整合ブロックの対の動きベクトルに従って、前記補間予定フレームの前記M1×M1ブロックの動きベクトルを決定するステップと、
前記第1の決定予定整合ブロックの対の前記SBAD値が前記SBADしきい値以上であると決定された場合、前記補間予定フレームの前記M1×M1ブロックをM2×M2ブロックに分割して、前記補間予定フレームの前記M2×M2ブロックをミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内で整合ブロックを再度探索するステップであって、前記整合ブロックを再度探索するためのSBADしきい値が前記整合ブロックを前回探索した際に適用された前記SBADしきい値の1/4であり、M1およびM2が両方とも2のm乗であり、mが正の整数であり、M2=M1/2である、再度探索するステップと
を含むマルチレベル両方向動き推定方法。
【請求項２】
前記補間予定フレームの前記M1×M1ブロックに対応する第1の決定予定整合ブロックの対を前記決定するステップの前に、
第1のSBAD値と、第2のSBAD値と、第3のSBAD値とを決定するステップであって、前記第1のSBAD値が前記現在のフレームと前記先行するフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記第2のSBAD値が前記現在のフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記第3のSBAD値が前記先行するフレームと前記次のフレームの前記後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記次のフレームの前記後のフレームが前記現在のフレームの後のフレームである、決定するステップをさらに含み、
補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを前記探索するステップが、
前記第1のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中で最小値であるとき、前記補間予定フレームの前記M1×M1ブロックを前記ミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内の前記整合ブロックを探索するステップ
を含む、請求項1に記載の方法。
【請求項３】
前記第2のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中の最小値であるとき、前記現在のフレームの対応する整合ブロックを外挿して、前記補間予定フレームの前記M1×M1ブロックを取得するステップと、
前記第3のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中の最小値であるとき、前記先行するフレームの対応する整合ブロックを外挿して、前記補間予定フレームの前記M1×M1ブロックを取得するステップと
をさらに含む、請求項2に記載の方法。
【請求項４】
オブジェクトが前記先行するフレームの境界に対して前記現在のフレームの境界でシーンに入るまたは出るとき、補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを前記探索するステップの前に、前記方法が、
前記現在のフレームおよび前記先行するフレームの両方の境界画素値を非ゼロに設定して、前記現在のフレームおよび前記先行するフレームの前記境界をそれぞれM1個の画素だけ、円周方向に拡張するステップ
をさらに含む、請求項1から3のいずれか一項に記載の方法。
【請求項５】
シーンが前記先行するフレームに対して前記現在のフレームで切り替わるとき、前記整合ブロックが初めて探し出された後で、前記方法が、
すべての以下の決定予定整合ブロックの対、すなわち、前記補間予定フレームの前記M1×M1ブロックに対応し、かつ前記SBADしきい値以上のSBAD値を有する前記決定予定整合ブロックの対の数がプリセットされたしきい値を上回ると決定されたとき、外挿様式で前記補間予定フレームを取得するステップ
をさらに含む、請求項1から4のいずれか一項に記載の方法。
【請求項６】
複数のレベルの両方向動き推定のK個のレベルの動き推定が実行された後で、前記現在のフレームおよび前記先行するフレームの指定ゾーン内で第2の決定予定整合ブロックの対を探索するステップであって、前記指定ゾーンが前記現在のフレーム内および前記先行するフレーム内で前記補間に参加しないすべてのブロックであり、Kが2以上の正の整数である、探索するステップと、
前記第2の決定予定整合ブロックの対の動きベクトルに従って、前記補間予定フレームのM×Mブロックの動きベクトルを決定するステップであって、前記補間予定フレームの前記M×Mブロックが、第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数である、決定するステップと
をさらに含む、請求項1から5のいずれか一項に記載の方法。
【請求項７】
複数のレベルの両方向動き推定の前記K個のレベルの動き推定が実行された後で、前記第1の決定予定整合ブロックの対の前記SBAD値が前記SBADしきい値以上であると決定された場合、前記第1の決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って、前記補間予定フレームのM×Mブロックの前記動きベクトルを決定するステップであって、前記補間予定フレームの前記M×Mブロックが第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数であり、Kが2以上の正の整数である、決定するステップ
をさらに含む、請求項1から5のいずれか一項に記載の方法。
【請求項８】
補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを前記探索するステップが、
前記補間予定フレームの前記M1×M1ブロックをミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内で前記整合ブロックを2回探索するステップであって、前記整合ブロックを前記2回探索するステップが反対の探索順序を有する、2回探索するステップを含む、請求項1から7のいずれか一項に記載の方法。
【請求項９】
前記補間予定フレームの前記M1×M1ブロックに対応する第1の決定予定整合ブロックの対を前記決定するステップが、
ブロック整合基準に基づいて、前記補間予定フレームの前記M1×M1ブロックに対応する前記第1の決定予定整合ブロックの対を決定するステップであって、前記ブロック整合基準が、
【数１】
2015518698.tif 000015
であり、式中、前記SBADが前記整合ブロックの対の前記SBAD値であり、Bi,jが、前記補間予定フレームの前記M1×M1ブロックであり、sが前記補間予定フレームの画素点であり、vが変位ベクトルであり、fn-1が前記現在のフレームの画素値であり、fn+1が前記先行するフレームの画素値である、決定するステップを含む、請求項1から8のいずれか一項に記載の方法。
【請求項１０】
補間予定フレームのM1×M1ブロックをミラーセンタとして使用することによって、それぞれ、現在のフレーム内および先行するフレーム内で整合ブロックを探索するように構成された整合探索ユニットであって、前記先行するフレームが前記補間予定フレームの前のフレームであり、前記現在のフレームが前記補間予定フレームの後のフレームであり、前記探索することに関するアルゴリズムが三次元再帰的探索アルゴリズムまたは六角探索アルゴリズムを含む、整合探索ユニットと、
前記補間予定フレームの前記M1×M1ブロックに対応する第1の決定予定整合ブロックの対を決定するように構成された決定ユニットであって、前記第1の決定予定整合ブロックの対が前記現在のフレーム内および前記先行するフレーム内で前記整合探索ユニットによって探し出された整合ブロックのすべての対の中の2進絶対差SBAD値の最小和を有する整合ブロックの対である、決定ユニットと
を含むマルチレベル両方向動き推定デバイスであって、
前記決定ユニットが、前記第1の決定予定整合ブロックの対のSBAD値がSBADしきい値未満であると決定された場合、前記第1の決定予定整合ブロックの対の動きベクトルに従って、前記補間予定フレームの前記M1×M1ブロックの動きベクトルを決定するようにさらに構成され、
前記整合探索ユニットが、前記決定ユニットによって決定された、前記第1の決定予定整合ブロックの対の前記SBAD値が前記SBADしきい値以上である場合、前記補間予定フレームの前記M1×M1ブロックをM2×M2ブロックに分割して、前記補間予定フレームの前記M2×M2ブロックをミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内で整合ブロックを再度探索するように構成され、前記整合ブロックを再度探索するためのSBADしきい値が前記整合ブロックを前回探索した際に適用された前記SBADしきい値の1/4であり、M1およびM2が両方とも2のm乗であり、mが正の整数であり、M2=M1/2である、マルチレベル両方向動き推定デバイス。
【請求項１１】
前記決定ユニットが、第1のSBAD値と、第2のSBAD値と、第3のSBAD値とを決定するようにさらに構成され、前記第1のSBAD値が前記現在のフレームと前記先行するフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記第2のSBAD値が前記現在のフレームと次のフレームの後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記第3のSBAD値が前記先行するフレームと前記次のフレームの前記後のフレームとの間の両方向動き推定によって生成されたSBAD値であり、前記次のフレームの前記後のフレームが前記現在のフレームの後のフレームであり、
前記整合探索ユニットが、特に、前記第1のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中の最小値であるとき、前記補間予定フレームの前記M1×M1ブロックを前記ミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内で前記整合ブロックを探索するように構成された
請求項10に記載のデバイス。
【請求項１２】
前記決定ユニットが、前記第2のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中の最小値であるとき、前記現在のフレームの対応する整合ブロックを外挿することによって、前記補間予定フレームの前記M1×M1ブロックを取得するようにさらに構成され、
前記決定ユニットが、前記第3のSBAD値が前記第1のSBAD値、前記第2のSBAD値、および前記第3のSBAD値の中の最小値であるとき、前記先行するフレームの対応する整合ブロックを外挿することによって、前記補間予定フレームの前記M1×M1ブロックを取得するようにさらに構成された
請求項11に記載のデバイス。
【請求項１３】
前記デバイスが拡張ユニットをさらに含み、
前記拡張ユニットが、オブジェクトが前記先行するフレームの境界に対して前記現在のフレームの境界でシーンに入るまたは出るとき、前記現在のフレームおよび前記先行するフレームの両方の境界画素値を非ゼロに設定し、前記現在のフレームおよび前記先行するフレームの前記境界をそれぞれM1個の画素だけ円周方向に拡張するように構成される、請求項10から12のいずれか一項に記載のデバイス。
【請求項１４】
前記決定ユニットが、シーンが前記先行するフレームに対して前記現在のフレームで切り替わるとき、前記整合ブロックが初めて探し出された後で、すべての以下の決定予定整合ブロックの対、すなわち、前記補間予定フレームの前記M1×M1ブロックに対応し、かつ前記SBADしきい値以上のSBAD値を有する前記決定予定整合ブロックの対の数がプリセットされたしきい値を上回ると決定されたとき、外挿様式で前記補間予定フレームを取得するようにさらに構成された
請求項10から13のいずれか一項に記載のデバイス。
【請求項１５】
前記整合探索ユニットが、複数のレベルの両方向動き推定のK個のレベルの動き推定が実行された後で、前記決定ユニットによって決定された、前記第1の決定予定整合ブロックの対の前記SBAD値が前記SBADしきい値以上である場合、前記現在のフレームおよび前記先行するフレームの指定ゾーン内で第2の決定予定整合ブロックの対を探索するようにさらに構成され、前記指定ゾーンが前記現在のフレーム内および前記先行するフレーム内で前記補間に参加しないすべてのブロックであり、
前記決定ユニットが、前記整合探索ユニットによって探し出された前記第2の決定予定整合ブロックの対の動きベクトルに従って、前記補間予定フレームのM×Mブロックの動きベクトルを決定するようにさらに構成され、前記補間予定フレームの前記M×Mブロックが第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数であり、Kが2以上の正の整数である、
請求項10から14のいずれか一項に記載のデバイス。
【請求項１６】
前記決定ユニットが、前記複数のレベルの両方向動き推定の前記K個のレベルの動き推定が実行された後で、前記第1の決定予定整合ブロックの対の前記SBAD値が前記SBADしきい値以上であると決定された場合、前記第1の決定予定整合ブロックの対の周辺の整合ブロックの対の動きベクトルに従って、前記補間予定フレームのM×Mブロックの動きベクトルを決定するようにさらに構成され、前記補間予定フレームの前記M×Mブロックが、第K番目のレベルの動き推定に対応する整合ブロックであり、Mが2のm乗であり、mが正の整数であり、Kが2以上の正の整数である、
請求項10から14のいずれか一項に記載のデバイス。
【請求項１７】
前記整合探索ユニットが、特に、前記補間予定フレームの前記M1×M1ブロックをミラーセンタとして使用することによって、それぞれ、前記現在のフレーム内および前記先行するフレーム内で前記整合ブロックを2回探索するように構成され、前記整合ブロックを前記2回探索することが反対の探索順序を有する、
請求項10から16のいずれか一項に記載のデバイス。
【請求項１８】
前記決定ユニットが、特に、ブロック整合基準に基づいて、前記補間予定フレームの前記M1×M1ブロックに対応する前記第1の決定予定整合ブロックの対を決定するように構成され、前記ブロック整合基準が、
【数２】
2015518698.tif 000016
であり、式中、前記SBADが前記整合ブロックの対の前記SBAD値であり、Bi,jが、前記補間予定フレームの前記M1×M1ブロックであり、sが前記補間予定フレームの画素点であり、vが変位ベクトルであり、fn-1が前記現在のフレームの画素値であり、fn+1が前記先行するフレームの画素値である、
請求項10から17のいずれか一項に記載のデバイス。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正の内容】
【０１０１】
図6に示されるように、マルチレベル両方向動き推定デバイス600は、一般に、CPUなど、少なくとも1個のプロセッサ610と、少なくとも1個のポート620と、メモリ630と、少なくとも1個の通信バス640とを含む。通信バス640は、装置間の接続および通信を実施するように構成される。プロセッサ610は、メモリ630内に記憶された、コンピュータプログラムなど、実行可能モジュールを実行するように構成される。任意選択で、デバイス600はユーザインターフェース650を含むことが可能であり、ユーザインターフェース650は、ディスプレイ、キーボード、マウスなどのクリックデバイス、トラックボール(trackball)、タッチパッドまたはタッチスクリーンを含むが、これらに限定されない。メモリ630は、高速RAMまたは不揮発性メモリ(non-volatile  memory)、例えば、少なくとも1個のディスクメモリを含むことが可能である。
【国際調査報告】
2015518698.tif 000017
2015518698.tif 000018
2015518698.tif 000019
2015518698.tif 000020