(57)【要約】  動きベクトル検出装置は、ブロック単位の動きベクトル（ＭＶ０）を検出する動き推定部と動きベクトル細密化部（１３０）とを備える。動きベクトル細密化部（１３０）は、第１の動きベクトル生成部（１３４１）と第２の動きベクトル生成部（１３４２〜１３４Ｎ）と動きベクトル補正部（１３７１〜１３７Ｎ）とを含む。第１の動きベクトル生成部（１３４１）は、各ブロックを生成元として第１階層のサブブロックを生成し、第１階層の各サブブロックの動きベクトル（ＭＶ１）を生成する。第２の動きベクトル生成部（１３４２〜１３４Ｎ）は、第２階層乃至第Ｎ階層の各階層について、当該各階層の各サブブロックの動きベクトル（ＭＶｋ；ｋは２〜Ｎ）を生成する。動きベクトル補正部（１３７１〜１３７Ｎ）は、第１階層乃至第Ｎ階層のうちの補正対象階層のサブブロックの動きベクトルを補正する。
2012066866.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する一連のフレームにおける動きを検出する動きベクトル検出装置であって、
前記一連のフレームの中の着目フレームを複数のブロックに分割し、前記一連のフレームのうち前記着目フレームとは時間的に異なるフレームを参照フレームとして、前記着目フレームと前記参照フレームとの間における前記各ブロックの動きを推定してブロック単位の動きベクトルを検出する動き推定部と、
前記複数のブロックに基づいて第１階層乃至第Ｎ階層（Ｎは２以上の整数）に分類された複数のサブブロックを生成し、前記ブロック単位の動きベクトルに基づいて前記複数のサブブロック各々の動きベクトルを生成する動きベクトル細密化部と
を備え、
前記動きベクトル細密化部は、
前記複数のブロックの各々を生成元として前記第１階層の複数のサブブロックを生成し、前記ブロック単位の動きベクトルに基づいて前記第１階層の複数のサブブロック各々の動きベクトルを生成する第１の動きベクトル生成部と、
前記第１階層乃至第Ｎ階層のうちの第２階層乃至第Ｎ階層の各階層について、当該各階層よりも１つ上位の階層の複数のサブブロックの各々を生成元として当該各階層の複数のサブブロックを生成し、当該１つ上位の階層の複数のサブブロックの動きベクトルに基づいて、当該各階層の複数のサブブロック各々の動きベクトルを生成する第２の動きベクトル生成部と、
前記第１階層乃至第Ｎ階層のうちの少なくとも１つの補正対象階層について、当該補正対象階層の複数のサブブロックのそれぞれを補正対象サブブロックとし、前記補正対象サブブロックの周辺領域に位置する周辺サブブロックの動きベクトルと前記補正対象サブブロックの動きベクトルとを包含する集合に属する動きベクトルと前記補正対象サブブロックの動きベクトルとの間の距離の総和が最小となるように前記補正対象サブブロックの動きベクトルを補正する動きベクトル補正部と
を含み、
前記第２の動きベクトル生成部は、前記動きベクトル補正部により補正された動きベクトルを用いて、前記補正対象階層よりも１つ下位の階層の複数のサブブロック各々の動きベクトルを生成する
ことを特徴とする動きベクトル検出装置。
【請求項２】
請求項１に記載の動きベクトル検出装置であって、前記動きベクトル補正部は、前記集合に属する動きベクトルの中から前記距離の総和を最小にする動きベクトルを選択し、当該選択された動きベクトルで前記補正対象サブブロックの動きベクトルを置換することで前記補正対象サブブロックの動きベクトルを補正することを特徴とする動きベクトル検出装置。
【請求項３】
請求項１または２に記載の動きベクトル検出装置であって、
前記第１の動きベクトル生成部は、
前記第１階層の複数のサブブロックのそれぞれを第１階層の着目サブブロックとし、前記第１階層の着目サブブロックの生成元の動きベクトルと、前記複数のブロックのうち前記第１階層の着目サブブロックの生成元の周辺領域に位置するブロックの動きベクトルとを第１階層の候補ベクトルとして抽出する第１階層候補ベクトル抽出部と、
前記第１階層の候補ベクトルの各々について、前記第１階層の着目サブブロックのフレーム内位置に相当する前記参照フレーム内の位置から前記第１階層の候補ベクトル分ずれた位置にある参照サブブロックと前記第１階層の着目サブブロックとの間の類似度または非類似度を示す第１の評価値を算出する第１階層評価部と、
前記第１の評価値に基づいて、前記第１階層の候補ベクトルの中から前記第１階層の着目サブブロックの動きベクトルを選択することで前記第１階層の複数のサブブロック各々の当該動きベクトルを生成する第１階層動きベクトル決定部と
を有し、
前記第２の動きベクトル生成部は、
前記第２階層乃至第Ｎ階層の各階層の複数のサブブロックのそれぞれを当該各階層の着目サブブロックとし、当該各階層の着目サブブロックの生成元の動きベクトルと、当該各階層よりも１つ上位の階層の複数のサブブロックのうち当該各階層の着目サブブロックの生成元の周辺領域に位置するサブブロックの動きベクトルとを当該各階層の候補ベクトルとして抽出する候補ベクトル抽出部と、
当該各階層の候補ベクトルの各々について、当該各階層の着目サブブロックのフレーム内位置に相当する前記参照フレーム内の位置から当該各階層の候補ベクトル分ずれた位置にある参照サブブロックと当該各階層の着目サブブロックとの間の類似度または非類似度を示す第２の評価値を算出する評価部と、
前記第２の評価値に基づいて、当該各階層の候補ベクトルの中から当該各階層の着目サブブロックの動きベクトルを選択することで当該各階層の複数のサブブロック各々の動きベクトルを生成する動きベクトル決定部と
を有することを特徴とする動きベクトル検出装置。
【請求項４】
請求項３に記載の動きベクトル検出装置であって、
前記第１階層候補ベクトル抽出部は、前記第１階層の着目サブブロックの生成元に対する前記第１階層の着目サブブロックの相対位置を検出し、該相対位置を用いて前記第１階層の候補ベクトルを抽出し、
前記候補ベクトル抽出部は、当該各階層の着目サブブロックの生成元に対する当該各階層の着目サブブロックの相対位置を検出し、該相対位置を用いて当該各階層の候補ベクトルを抽出する
ことを特徴とする動きベクトル検出装置。
【請求項５】
請求項３または４に記載の動きベクトル検出装置であって、
前記第１階層動きベクトル決定部は、前記第１階層の着目サブブロックの動きベクトルとして、前記第１階層の候補ベクトルの中から信頼度の高い順に複数の動きベクトルを選択し、
前記動きベクトル決定部は、前記第２階層乃至第Ｎ−１階層の各階層の複数のサブブロックのそれぞれを当該各階層の着目サブブロックとするとき、当該各階層の着目サブブロックの動きベクトルとして、当該各階層の候補ベクトルの中から信頼度の高い順に複数の動きベクトルを選択する、
ことを特徴とする動きベクトル検出装置。
【請求項６】
請求項３から５のうちのいずれか１項に記載の動きベクトル検出装置であって、
前記第１階層の着目サブブロックの生成元の周辺領域に位置する当該ブロックは、当該生成元のブロックに対して、水平画素方向、垂直画素方向、右上がり斜め方向、右下がり斜め方向、左上がり斜め方向及び左下がり斜め方向にそれぞれ隣接する８個のブロックのうちから選択された２以上のブロックからなり、
当該各階層の着目サブブロックの生成元の周辺領域に位置する当該サブブロックは、当該生成元のサブブロックに対して、水平画素方向、垂直画素方向、右上がり斜め方向、右下がり斜め方向、左上がり斜め方向及び左下がり斜め方向にそれぞれ隣接する８個のサブブロックのうちから選択された２以上のサブブロックからなる
ことを特徴とする動きベクトル検出装置。
【請求項７】
請求項１から６のうちのいずれか１項に記載の動きベクトル検出装置であって、
前記第１階層の複数のサブブロックは、前記複数のブロックの各々を分割することにより生成され、
前記第２階層乃至第Ｎ階層の各階層の複数のサブブロックは、当該各階層よりも１つ上位の階層の複数のサブブロックの各々を分割することにより生成される
ことを特徴とする動きベクトル検出装置。
【請求項８】
請求項１から７のうちのいずれか１項に記載の動きベクトル検出装置であって、前記距離は、マンハッタン距離であることを特徴とする動きベクトル検出装置。
【請求項９】
請求項１から８のうちのいずれか１項に記載の動きベクトル検出装置であって、前記補正対象サブブロックの周辺領域に位置する当該周辺サブブロックは、前記各サブブロックと隣接するサブブロック、または、前記各サブブロックから所定範囲内にあるサブブロックであることを特徴とする動きベクトル検出装置。
【請求項１０】
請求項１から９のうちのいずれか１項に記載の動きベクトル検出装置であって、前記動き推定部は、前記各ブロックの動きを推定した結果に基づいて、信頼度の高い順にＭ個（Ｍは２以上の整数）の動きベクトルを前記ブロック単位の動きベクトルとして検出することを特徴とする動きベクトル検出装置。
【請求項１１】
請求項１０に記載の動きベクトル検出装置であって、
前記第Ｎ階層のサブブロックについてＭ個の前記動きベクトル細密化部により生成されたＭ個の動きベクトルの中から最も信頼度の高い動きベクトルを選択する動きベクトル選択部をさらに備え、
Ｍ個の前記動きベクトル細密化部は、前記動き推定部により検出された当該Ｍ個の動きベクトルに基づいて前記第Ｎ階層の各サブブロックの当該Ｍ個の動きベクトルをそれぞれ生成する
ことを特徴とする動きベクトル検出装置。
【請求項１２】
請求項１から１１のうちのいずれか１項に記載の動きベクトル検出装置であって、前記動き推定部は、前記一連のフレームのうち時間的に互いに前後する一対のフレームを入力とし、前記一対のフレームのうちの一方を前記複数のブロックに分割し、前記各ブロックの前記一対のフレーム間の動きを推定して前記ブロック単位の動きベクトルを検出することを特徴とする動きベクトル検出装置。
【請求項１３】
請求項１から１１のうちのいずれか１項に記載の動きベクトル検出装置であって、前記動き推定部は、前記一連のフレームのうち時間的に連続する少なくとも３枚のフレームを入力とし、前記３枚のフレームのうちの中間フレームを前記複数のブロックに分割し、前記少なくとも３枚のフレームにおける前記各ブロックの動きを推定して前記ブロック単位の動きベクトルを検出することを特徴とする動きベクトル検出装置。
【請求項１４】
請求項１から１３のうちのいずれか１項に記載の動きベクトル検出装置であって、前記第Ｎ階層のサブブロックの動きベクトルは、１画素精度の動きベクトルであることを特徴とする動きベクトル検出装置。
【請求項１５】
請求項１から１４のうちのいずれか１項に記載の動きベクトル検出装置と、
前記第Ｎ階層の複数のサブブロックの各々について前記動きベクトル検出装置により検出された動きベクトルに基づいて補間フレームを生成する補間部と
を備えることを特徴とするフレーム補間装置。
【請求項１６】
動画像を構成する一連のフレームの中の動きを検出する動きベクトル検出方法であって、
前記一連のフレームの中の着目フレームを複数のブロックに分割し、前記一連のフレームのうち前記着目フレームとは時間的に異なるフレームを参照フレームとして、前記着目フレームと前記参照フレームとの間における前記各ブロックの動きを推定してブロック単位の動きベクトルを検出する動き推定ステップと、
前記複数のブロックに基づいて第１階層乃至第Ｎ階層（Ｎは２以上の整数）に分類された複数のサブブロックを生成し、前記ブロック単位の動きベクトルに基づいて前記複数のサブブロック各々の動きベクトルを生成する動きベクトル細密化ステップと
を備え、
前記動きベクトル細密化ステップは、
前記複数のブロックの各々を生成元として前記第１階層の複数のサブブロックを生成し、前記ブロック単位の動きベクトルに基づいて前記第１階層の複数のサブブロック各々の動きベクトルを生成する第１の動きベクトル生成ステップと、
前記第１階層乃至第Ｎ階層のうちの第２階層乃至第Ｎ階層の各階層について、当該各階層よりも１つ上位の階層の複数のサブブロックの各々を生成元として当該各階層の複数のサブブロックを生成し、当該１つ上位の階層の複数のサブブロックの動きベクトルに基づいて、当該各階層の複数のサブブロック各々の動きベクトルを生成する第２の動きベクトル生成ステップと、
前記第１階層乃至第Ｎ階層のうちの少なくとも１つの補正対象階層について、当該補正対象階層の複数のサブブロックのそれぞれを補正対象サブブロックとし、前記補正対象サブブロックの周辺領域に位置する周辺サブブロックの動きベクトルと前記補正対象サブブロックの動きベクトルとを包含する集合に属する動きベクトルと前記補正対象サブブロックの動きベクトルとの間の距離の総和が最小となるように前記補正対象サブブロックの動きベクトルを補正する補正ステップと
を含み、
前記第２の動きベクトル生成ステップでは、当該補正された動きベクトルを用いて、前記補正対象階層よりも１つ下位の階層の複数のサブブロック各々の動きベクトルが生成される
ことを特徴とする動きベクトル検出方法。
【請求項１７】
請求項１６に記載の動きベクトル検出方法であって、
前記補正ステップは、
前記集合に属する動きベクトルの中から前記距離の総和を最小にする動きベクトルを選択するステップと、
当該選択された動きベクトルで前記補正対象サブブロックの動きベクトルを置換することで前記補正対象サブブロックの動きベクトルを補正するステップと
を含むことを特徴とする動きベクトル検出方法。
【請求項１８】
請求項１６または１７に記載の動きベクトル検出方法であって、
前記第１の動きベクトル生成ステップは、
前記第１階層の複数のサブブロックのそれぞれを第１階層の着目サブブロックとし、前記第１階層の着目サブブロックの生成元の動きベクトルと、前記複数のブロックのうち前記第１階層の着目サブブロックの生成元の周辺領域に位置するブロックの動きベクトルとを第１階層の候補ベクトルとして抽出する第１の抽出ステップと、
前記第１階層の候補ベクトルの各々について、前記第１階層の着目サブブロックのフレーム内位置に相当する前記参照フレーム内の位置から前記第１階層の候補ベクトル分ずれた位置にある参照サブブロックと前記第１階層の着目サブブロックとの間の類似度または非類似度を示す第１の評価値を算出する第１の評価ステップと、
前記第１の評価値に基づいて、前記第１階層の候補ベクトルの中から前記第１階層の着目サブブロックの動きベクトルを選択することで前記第１階層の複数のサブブロック各々の当該動きベクトルを生成する第１の選択ステップと
を有し、
前記第２の動きベクトル生成ステップは、
前記第２階層乃至第Ｎ階層の各階層の複数のサブブロックのそれぞれを当該各階層の着目サブブロックとし、当該各階層の着目サブブロックの生成元の動きベクトルと、当該各階層よりも１つ上位の階層の複数のサブブロックのうち当該各階層の着目サブブロックの生成元の周辺領域に位置するサブブロックの動きベクトルとを当該各階層の候補ベクトルとして抽出する第２の抽出ステップと、
当該各階層の候補ベクトルの各々について、当該各階層の着目サブブロックのフレーム内位置に相当する前記参照フレーム内の位置から当該各階層の候補ベクトル分ずれた位置にある参照サブブロックと当該各階層の着目サブブロックとの間の類似度または非類似度を示す第２の評価値を算出する第２の評価ステップと、
前記第２の評価値に基づいて、当該各階層の候補ベクトルの中から当該各階層の着目サブブロックの動きベクトルを選択することで当該各階層の複数のサブブロック各々の動きベクトルを生成する第２の選択ステップと
を有することを特徴とする動きベクトル検出方法。
【請求項１９】
請求項１８に記載の動きベクトル検出方法であって、
前記第１の抽出ステップは、
前記第１階層の着目サブブロックの生成元に対する前記第１階層の着目サブブロックの相対位置を検出するステップと、
該相対位置を用いて前記第１階層の候補ベクトルを抽出するステップと
を含み、
前記第２の抽出ステップは、
当該各階層の着目サブブロックの生成元に対する当該各階層の着目サブブロックの相対位置を検出するステップと、
該相対位置を用いて当該各階層の候補ベクトルを抽出するステップと
を含むことを特徴とする動きベクトル検出方法。
【請求項２０】
請求項１５から１９のうちのいずれか１項に記載の動きベクトル検出方法が備える動き推定ステップ及び動きベクトル細密化ステップと、
前記第Ｎ階層のサブブロックについて前記動きベクトル細密化ステップで生成された動きベクトルを用いて補間フレームを生成するステップと
を備えることを特徴とするフレーム補間方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号に含まれる一連のフレームに基づいて動きベクトルを検出する技術に関する。
【背景技術】
【０００２】
液晶表示装置（ＬＣＤ）に代表されるホールド型表示装置は、同一の表示画像を一定期間（たとえば、１フレーム期間）保持（ホールド）し表示し続けるため、視聴者には、動画像中の移動する物体がぼやけて見えるという特有の問題がある。具体的には、視聴者の視点は、ホールド型表示装置の表示画面中の移動する物体に追随して移動するが、この物体は一定期間ホールドされている間は移動しないので、この物体の実際の表示位置と視聴者の視点との間にズレが発生し、このことが、当該物体がぼやけて見える原因となる。この種の動画像のぼけを軽減する手段としては、フレーム間に補間フレームを内挿して単位時間当たりの表示フレーム数を増やすフレーム補間技術が知られている。また、解像度の低い複数のフレームから解像度の高いフレームを生成し、これら高解像度フレームを用いて補間フレームを生成することにより、より高精細な映像を提供する技術もある。【０００３】
このようなフレーム補間技術では、フレーム間の画素対応、すなわち、フレーム間における物体の動きを推定する必要がある。フレーム間の物体の動きを推定する方法としては、各フレームを複数のブロックに分割し、ブロックごとの動きを推定するブロックマッチング法が広く使用されている。ブロックマッチング法は、一般に、時間的に連続する２つのフレームの一方を複数のブロックに分割し、これら複数のブロックのそれぞれを順次着目ブロックとして、他方のフレームの中から着目ブロックと最も相関の高い参照ブロックを探索するものである。そして、最も相関の高い参照ブロックと当該着目ブロックとの位置のズレが動きベクトルとして検出される。たとえば、着目ブロックと参照ブロックとの間の画素の輝度差の絶対値を算出し、算出された絶対値の総和を算出して、この総和が最小となる参照ブロックを最も相関の高い参照ブロックとすることができる。【０００４】
従来のブロックマッチング法では、各ブロックは８×８画素や１６×１６画素といったサイズを有するため、ブロックマッチング法による動きベクトルを用いて生成した補間フレームでは、ブロック境界部で画像の乱れが発生して画質が低下するという問題がある。この問題は、画素単位（１画素精度）の動きベクトルを正確に検出することができれば、解決可能なものである。しかしながら、画素単位の動きベクトルの推定精度を向上させることはむずかしいという問題がある。たとえば、ブロックごとに検出された動きベクトルを、当該ブロック内の画素１つ１つの動きベクトルとすることも可能ではあるが、この場合は、当該ブロックに属する画素が全て同じ動きを示すため、画素単位の動きベクトルを正確に検出したことにはならない。また、画素単位の動きベクトルを検出するためにブロックサイズを小さくすると、動きベクトルの推定精度が向上しないことが知られている。さらに、ブロックサイズを小さくすると演算量が膨大となるという問題もある。【０００５】
特許第４４１９０６２号公報（特許文献１）、特許第４３７４０４８号公報（特許文献２）及び特開平１１−１７７９４０号公報（特許文献３）には、ブロック単位の動きベクトルに基づいて画素単位の動きベクトルを生成する技術が開示されている。特許文献１乃至３に開示されている方法は、時間的に前後する２つのフレームのうちの一方のフレームにおける注目画素が存在するブロック（注目ブロック）の動きベクトルと、当該注目ブロックに隣接する周辺ブロックの動きベクトルとを候補とし、他方のフレームにおいて当該注目画素に対応する位置から動きベクトルの候補分移動した位置の画素と当該着目画素との間の画素値の差分を求める。そして、動きベクトルの候補のなかから当該差分が最小となる動きベクトルが、当該注目画素の動きベクトル（画素単位の動きベクトル）として選択される。特許文献２の方法は、既に画素単位の動きベクトルが決定された際に最多適用された画素単位の動きベクトルを候補に加えることで、さらなる検出精度の向上を図るものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４４１９０６２号公報（図５〜図１２、段落００５７〜００９３など）
【特許文献２】特許第４３７４０４８号公報（図３〜図６、段落００１９〜００４０など）
【特許文献３】特開平１１−１７７９４０号公報（図１，図１８、段落００２５〜００３９など）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述のとおり、特許文献１乃至３の方法は、ブロック単位の動きベクトルの候補の中から、注目画素の動きベクトルを選択するものである。しかしながら、画像中に空間的な周期パターン（たとえば、空間周波数の高い縞模様などの繰り返しパターン）やノイズが存在すると、動きベクトルの候補の中から推定精度の高い正確な動きベクトルを選択することが妨げられるという問題がある。【０００８】
上記に鑑みて本発明の目的は、画像中に現れる空間的な周期パターンやノイズの影響により画素単位の動きベクトルの推定精度が低下することを抑制することができる動きベクトル検出装置、動きベクトル検出方法、フレーム補間装置及びフレーム補間方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明の第１の態様による動きベクトル検出装置は、動画像を構成する一連のフレームにおける動きを検出する動きベクトル検出装置であって、前記一連のフレームの中の着目フレームを複数のブロックに分割し、前記一連のフレームのうち前記着目フレームとは時間的に異なるフレームを参照フレームとして、前記着目フレームと前記参照フレームとの間における前記各ブロックの動きを推定してブロック単位の動きベクトルを検出する動き推定部と、前記複数のブロックに基づいて第１階層乃至第Ｎ階層（Ｎは２以上の整数）に分類された複数のサブブロックを生成し、前記ブロック単位の動きベクトルに基づいて前記複数のサブブロック各々の動きベクトルを生成する動きベクトル細密化部とを備え、前記動きベクトル細密化部は、前記複数のブロックの各々を生成元として前記第１階層の複数のサブブロックを生成し、前記ブロック単位の動きベクトルに基づいて前記第１階層の複数のサブブロック各々の動きベクトルを生成する第１の動きベクトル生成部と、前記第１階層乃至第Ｎ階層のうちの第２階層乃至第Ｎ階層の各階層について、当該各階層よりも１つ上位の階層の複数のサブブロックの各々を生成元として当該各階層の複数のサブブロックを生成し、当該１つ上位の階層の複数のサブブロックの動きベクトルに基づいて、当該各階層の複数のサブブロック各々の動きベクトルを生成する第２の動きベクトル生成部と、前記第１階層乃至第Ｎ階層のうちの少なくとも１つの補正対象階層について、当該補正対象階層の複数のサブブロックのそれぞれを補正対象サブブロックとし、前記補正対象サブブロックの周辺領域に位置する周辺サブブロックの動きベクトルと前記補正対象サブブロックの動きベクトルとを包含する集合に属する動きベクトルと前記補正対象サブブロックの動きベクトルとの間の距離の総和が最小となるように前記補正対象サブブロックの動きベクトルを補正する動きベクトル補正部とを含み、前記第２の動きベクトル生成部は、前記動きベクトル補正部により補正された動きベクトルを用いて、前記補正対象階層よりも１つ下位の階層の複数のサブブロック各々の動きベクトルを生成する。【００１０】
本発明の第２の態様によるフレーム補間装置は、上記第１の態様による動きベクトル検出装置と、前記動きベクトル検出装置で検出されたサブブロック単位の動きベクトルに基づいて補間フレームを生成する補間部とを備える。【００１１】
本発明の第３の態様による動きベクトル検出方法は、動画像を構成する一連のフレームの中の動きを検出する動きベクトル検出方法であって、前記一連のフレームの中の着目フレームを複数のブロックに分割し、前記一連のフレームのうち前記着目フレームとは時間的に異なるフレームを参照フレームとして、前記着目フレームと前記参照フレームとの間における前記各ブロックの動きを推定してブロック単位の動きベクトルを検出する動き推定ステップと、前記複数のブロックに基づいて第１階層乃至第Ｎ階層（Ｎは２以上の整数）に分類された複数のサブブロックを生成し、前記ブロック単位の動きベクトルに基づいて前記複数のサブブロック各々の動きベクトルを生成する動きベクトル細密化ステップとを備え、前記動きベクトル細密化ステップは、前記複数のブロックの各々を生成元として前記第１階層の複数のサブブロックを生成し、前記ブロック単位の動きベクトルに基づいて前記第１階層の複数のサブブロック各々の動きベクトルを生成する第１の動きベクトル生成ステップと、前記第１階層乃至第Ｎ階層のうちの第２階層乃至第Ｎ階層の各階層について、当該各階層よりも１つ上位の階層の複数のサブブロックの各々を生成元として当該各階層の複数のサブブロックを生成し、当該１つ上位の階層の複数のサブブロックの動きベクトルに基づいて、当該各階層の複数のサブブロック各々の動きベクトルを生成する第２の動きベクトル生成ステップと、前記第１階層乃至第Ｎ階層のうちの少なくとも１つの補正対象階層について、当該補正対象階層の複数のサブブロックのそれぞれを補正対象サブブロックとし、前記補正対象サブブロックの周辺領域に位置する周辺サブブロックの動きベクトルと前記補正対象サブブロックの動きベクトルとを包含する集合に属する動きベクトルと前記補正対象サブブロックの動きベクトルとの間の距離の総和が最小となるように前記補正対象サブブロックの動きベクトルを補正する補正ステップとを含み、前記第２の動きベクトル生成ステップでは、当該補正された動きベクトルを用いて、前記補正対象階層よりも１つ下位の階層の複数のサブブロック各々の動きベクトルが生成される。【００１２】
本発明の第４の態様によるフレーム補間方法は、上記第３の態様による動きベクトル検出方法が備える動き推定ステップ及び動きベクトル細密化ステップと、前記動きベクトル細密化ステップで検出されたサブブロック単位の動きベクトルを用いて補間フレームを生成するステップとを備える。
【発明の効果】
【００１３】
本発明によれば、画像中に現れる空間的な周期パターンやノイズの影響により画素単位の動きベクトルの推定精度が低下することを効果的に抑制することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る実施の形態１の動きベクトル検出装置の構成を概略的に示す機能ブロック図である。
【図２】実施の形態１に係る動き推定に使用される一対のフレームの時間軸上の配置例を概略的に示す図である。
【図３】実施の形態１に係る階層的な分割により第１階層から第３階層に分類されたサブブロックを概念的に例示する図である。
【図４】実施の形態１の動きベクトル細密化部の構成を概略的に示す機能ブロック図である。
【図５】実施の形態１の動きベクトル生成部の構成を概略的に示す機能ブロック図である。
【図６】実施の形態１の候補ベクトル抽出部により実行される候補ベクトル抽出処理の手順を概略的に示すフローチャートである。
【図７】（Ａ）及び（Ｂ）は、実施の形態１に係る候補ベクトル抽出処理の一例を説明するための図である。
【図８】実施の形態１に係る候補ベクトル抽出処理の他の例を説明するための図である。
【図９】（Ａ）及び（Ｂ）は、実施の形態１に係る候補ベクトル抽出処理のさらに他の例を説明するための図である。
【図１０】実施の形態１に係る候補ベクトルの選択に使用される一対のフレームの時間軸上の配置例を概略的に示す図である。
【図１１】（Ａ）及び（Ｂ）は、実施の形態１に係る動きベクトル補正方法の一例を説明するための図である。
【図１２】実施の形態１の動きベクトル補正部により実行される動きベクトル補正処理の手順を概略的に示す図である。
【図１３】本発明に係る実施の形態２の動きベクトル検出装置の構成を概略的に示す機能ブロック図である。
【図１４】実施の形態２に係る動き推定に使用される３枚のフレームの時間軸上の配置例を概略的に示す図である。
【図１５】本発明に係る実施の形態３の動きベクトル検出装置の構成を概略的に示す機能ブロック図である。
【図１６】実施の形態３に係る動き推定に使用される一対のフレームの時間軸上の配置例を概略的に示す図である。
【図１７】実施の形態３の動きベクトル細密化部の構成を概略的に示す機能ブロック図である。
【図１８】実施の形態３の動きベクトル生成部の構成を概略的に示す機能ブロック図である。
【図１９】第ｋ階層におけるサブブロック画像に現れる移動物体を示す図である。
【図２０】本発明に係る実施の形態４の動きベクトル検出装置の構成を概略的に示す機能ブロック図である。
【図２１】本発明に係る実施の形態５の動きベクトル検出装置における動きベクトル細密化部の構成を概略的に示す機能ブロック図である。
【図２２】実施の形態５の動きベクトル生成部の構成を概略的に示す機能ブロック図である。
【図２３】実施の形態５の候補ベクトル抽出部により実行される候補ベクトル抽出処理の手順を概略的に示すフローチャートである。
【図２４】本発明に係る実施の形態５のフレーム補間装置の構成を概略的に示す機能ブロック図である。
【図２５】フレーム補間方法の一例である線形補間法を説明するための図である。
【図２６】フレーム補間装置のハードウェア構成の一例を概略的に示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明に係る種々の実施の形態について図面を参照しつつ説明する。
【００１６】
実施の形態１．
図１は、本発明に係る実施の形態１の動きベクトル検出装置１０の構成を概略的に示す機能ブロック図である。動きベクトル検出装置１０は、動画像を構成する一連のフレームのうち時間的に互いに前後する第１及び第２フレームＦａ，Ｆｂがそれぞれ入力される入力部１００ａ，１００ｂを備えている。また、動きベクトル検出装置１０は、入力された第１及び第２フレームＦａ，Ｆｂからブロック単位の動きベクトルＭＶ０を検出する動き推定部１２０と、ブロック単位の動きベクトルＭＶ０に基づいて画素単位（１画素精度）の動きベクトルＭＶを生成する動きベクトル細密化部１３０とを備える。動きベクトルＭＶは、出力部１５０から外部に出力される。
【００１７】
図２は、第１フレームＦａと第２フレームＦｂの時間軸上の配置例を概略的に示す図である。第１フレームＦａと第２フレームＦｂには、それぞれ、タイムスタンプ情報で特定される時刻ｔａ，ｔｂが割り当てられている。本実施の形態では、動きベクトル検出装置１０は、第２フレームＦｂを着目フレームとし、この第２フレームＦｂよりも時間的に後に入力する第１フレームＦａを参照フレームとして利用するが、これに限定されるものではない。第１フレームＦａを着目フレームとし、第２フレームＦｂを参照フレームとして利用することもできる。
【００１８】
動き推定部１２０は、図２に概略的に示されるように着目フレームＦｂを複数のブロック（たとえば、８×８画素や１６×１６画素）ＭＢ（１），ＭＢ（２），ＭＢ（３），…に分割し、これら複数のブロックＭＢ（１），ＭＢ（２），ＭＢ（３），…のそれぞれを順次着目ブロックＣＢ０として、着目フレームＦｂから参照フレームＦａへの着目ブロックＣＢ０の動きを推定する。具体的には、動き推定部１２０は、着目フレームＦｂ内の着目ブロックＣＢ０と最も相関の高い参照ブロックＲＢｆを参照フレームＦａの中から探索し、着目ブロックＣＢ０と当該参照ブロックＲＢｆとの間の空間方向（水平画素方向Ｘと垂直画素方向Ｙとで定まる方向）のズレを着目ブロックＣＢ０の動きベクトルとして検出する。このようにして動き推定部１２０は、ＭＢ（１），ＭＢ（２），ＭＢ（３），…のそれぞれの動きベクトルＭＶ０（１），ＭＶ０（２），ＭＶ０（３），…を検出する。
【００１９】
このような動きベクトルＭＶ０（１），ＭＶ０（２），ＭＶ０（３），…（動きベクトルＭＶ０）の検出法としては、公知のブロックマッチング法を使用することができる。ブロックマッチング法では、参照ブロックＲＢｆと着目ブロックＣＢ０との間の相関の程度を評価するために、これら２つのブロック間の類似度または非類似度に基づいた評価値が求められる。評価値の算出方法には様々なものが提案されているが、たとえば、ブロック間の画素ごとの輝度値の差分の絶対値を算出し、その総和を絶対値差分和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）として求め、絶対値差分和を評価値とする方法を用いることができる。ＳＡＤが小さいほど、対比される両ブロック間の類似度は大きくなる（言い換えれば、両ブロック間の非類似度は小さくなる）。
【００２０】
なお、参照ブロックＲＢｆの探索範囲は、参照フレームＦａの全体を網羅することが理想的であるが、その全体の位置について評価値を算出するには、膨大な演算量が必要となるため、着目ブロックＣＢ０のフレーム内位置に相当する位置を中心とする一定の範囲で探索することが好ましい。
【００２１】
また、本実施の形態では、動きベクトルの好適な検出法としてブロックマッチング法を使用するが、これに限定されずに、ブロックマッチング法以外の方法を使用することも可能である。たとえば、動き推定部１２０は、ブロックマッチング法に代えて、公知の勾配法（たとえば、Ｌｕｃａｓ−Ｋａｎａｄｅ法）によりブロック単位の動きベクトルＭＶ０を高速に生成してもよい。
【００２２】
動きベクトル細密化部１３０は、着目フレームＦｂから派生するブロックＭＢ（１），ＭＢ（２），ＭＢ（３），…の各々を階層的に分割して第１階層から第Ｎ階層（Ｎは２以上の整数）に分類された複数のサブブロックを生成する。動きベクトル細密化部１３０は、階層ごとに各サブブロックの動きベクトルを生成する機能を有する。
【００２３】
図３は、第１階層から第３階層に分類されたサブブロックＳＢ１（１），ＳＢ１（２），…，ＳＢ２（１），ＳＢ２（２），…，ＳＢ３（１），ＳＢ３（２），…を概念的に例示する図である。図３に示されるように、第１階層の４つのサブブロックＳＢ１（１），ＳＢ１（２），ＳＢ１（３），ＳＢ１（４）は、１つ上位の階層（第０階層）のブロックＭＢ（ｐ）（ｐは正整数）を水平画素方向Ｘ及び垂直画素方向Ｙの縮小率１／２で４分割することで得られる。また、第０階層における複数のブロックの複数の動きベクトルに基づいて第１階層のサブブロックＳＢ１（１），ＳＢ１（２），ＳＢ１（３），ＳＢ１（４），…のそれぞれの動きベクトルＭＶ１（１），ＭＶ１（２），ＭＶ１（３），ＭＶ１（４），…が求められる。また、第２階層のサブブロックＳＢ２（１），ＳＢ２（２），ＳＢ２（３），ＳＢ２（４），…は、１つ上位の第１階層のサブブロックＳＢ１（１），ＳＢ１（２），…の各々を縮小率１／２で４分割することで得られる。これらサブブロックＳＢ２（１），ＳＢ２（２），ＳＢ２（３），ＳＢ２（４），…のそれぞれの動きベクトルは、第１階層における複数のサブブロックの複数の動きベクトルに基づいて求められる。そして、第３階層のサブブロックＳＢ３（１），ＳＢ３（２），ＳＢ３（３），…は、１つ上位の第２階層のサブブロックＳＢ２（１），ＳＢ２（２），…の各々を縮小率１／２で４分割することで得られる。これらサブブロックＳＢ３（１），ＳＢ３（２），ＳＢ３（３），ＳＢ３（４），…のそれぞれの動きベクトルは、第２階層における複数のサブブロックの複数の動きベクトルに基づいて求められる。このように、動きベクトル細密化部１３０は、第０階層のブロックの各々を再帰的に分割して第１階層から第３階層のサブブロックＳＢ１（１），ＳＢ１（２），…，ＳＢ２（１），ＳＢ２（２），…，ＳＢ３（１），ＳＢ３（２），…を生成しつつ、第０階層における密度（単位画素当たりの動きベクトルの数）の低い動きベクトルから、より密度の高い動きベクトルを段階的に生成する機能を有している。
【００２４】
なお、図３の例では、ブロックＭＢ（ｐ）及びサブブロックＳＢ１（１），ＳＢ１（２），…，ＳＢ２（１），ＳＢ２（２），…の分割の際に使用される縮小率はすべて１／２であったが、これに限定されるものではない。分割のそれぞれの段階で縮小率を個別に設定することが可能である。
【００２５】
また、サブブロックのサイズと縮小率によっては、分割の過程で、サブブロックのサイズ（水平画素数と垂直画素数）が整数値とならない場合がある。かかる場合は、そのサイズの少数点以下の数値を切り捨てもしくは切り上げる処理を行うことができる。さらに、互いに異なる複数の生成元（ブロックまたはサブブロック）から分割により生成された複数のサブブロックが同一フレーム内で互いに重複する場合がある。かかる場合は、複数の生成元のうちの１つを選択し、選択された生成元から生成されたサブブロックを選択すればよい。
【００２６】
図４は、動きベクトル細密化部１３０の構成を概略的に示す機能ブロック図である。図４に示されるように、動きベクトル細密化部１３０は、ブロック単位の動きベクトルＭＶ０が入力される入力部１３２と、参照フレームＦａ及び着目フレームＦｂが入力される入力部１３１ａ，１３１ｂと、第１乃至第Ｎの階層処理部１３３１〜１３３Ｎ（Ｎは２以上の整数）と、画素単位の動きベクトルＭＶを出力する出力部１３８とを有する。各階層処理部１３３ｋ（ｋは１〜Ｎのいずれかの整数）は、動きベクトル生成部１３４ｋと動きベクトル補正部１３７ｋとを有している。
【００２７】
図５は、動きベクトル生成部１３４ｋの構成を概略的に示す機能ブロック図である。図５に示されるように、動きベクトル生成部１３４ｋは、前段から入力された動きベクトルＭＶｋ−１を受ける入力部１４１ｋと、参照フレームＦａ及び着目フレームＦｂが入力される入力部１４０Ａｋ，１４０Ｂｋと、候補ベクトル抽出部１４２ｋと、評価部１４３ｋと、動きベクトル決定部１４４ｋとを有している。
【００２８】
階層処理部１３３１〜１３３Ｎの基本的な動作は同じである。以下、第１の階層処理部１３３１で処理されるブロックＭＢ（１），ＭＢ（２），…を第０階層のサブブロックＳＢ０（１），ＳＢ０（２），…とみなして、各階層処理部１３３ｋの処理について詳細に説明する。
【００２９】
動きベクトル生成部１３４ｋにおいては、候補ベクトル抽出部１４２ｋは、サブブロックＳＢｋ（１），ＳＢｋ（２），ＳＢｋ（３），…のそれぞれを順次着目サブブロックＣＢｋとし、この着目サブブロックＣＢｋに対して、１つ上位の階層のサブブロックＳＢｋ−１（１），ＳＢｋ−１（２），ＳＢｋ−１（３），…の動きベクトル群の中から少なくとも１つの候補ベクトルＣＶｋを抽出する。抽出された候補ベクトルＣＶｋは、評価部１４３ｋに与えられる。
【００３０】
図６は、候補ベクトル抽出部１４２ｋにより実行される候補ベクトル抽出処理の手順を概略的に示すフローチャートである。図６に示されるように、候補ベクトル抽出部１４２ｋは、まず、サブブロック番号ｊを初期値「１」に設定し（ステップＳ１０）、ｊ番目のサブブロックＳＢｋ（ｊ）を着目サブブロックＣＢｋに設定する（ステップＳ１１）。次いで、候補ベクトル抽出部１４２ｋは、１つ上位の第ｋ−１階層のサブブロック群のうち、着目サブブロックＣＢｋの生成元であるサブブロックＳＢｋ−１（ｉ）を選択し（ステップＳ１２）、このサブブロックＳＢｋ−１（ｉ）の動きベクトルＭＶｋ−１（ｉ）を候補ベクトル集合Ｖｋ（ｊ）に登録する（ステップＳ１３）。
【００３１】
その後、候補ベクトル抽出部１４２ｋは、第ｋ−１階層における生成元のサブブロックＳＢｋ−１（ｉ）の周辺領域のサブブロック群を選択し（ステップＳ１４）、このサブブロック群の動きベクトルを候補ベクトル集合Ｖｋ（ｊ）に登録する（ステップＳ１５）。
【００３２】
次に、候補ベクトル抽出部１４２ｋは、サブブロック番号ｊが、第ｋ階層に属するサブブロックの総数Ｎｋに達したか否かを判定し（ステップＳ１６）、サブブロック番号ｊが総数Ｎｋに達していない場合（ステップＳ１６のＮＯ）には、サブブロック番号ｊを１だけインクリメントし（ステップＳ１７）、ステップＳ１１に処理を戻す。他方で、サブブロック番号ｊが総数Ｎｋに達している場合（ステップＳ１６のＹＥＳ）には、候補ベクトル抽出処理は終了する。
【００３３】
図７（Ａ），（Ｂ）は、候補ベクトル抽出処理の手順の一例を説明するための図である。図７（Ａ）に示される第ｋ−１階層の各サブブロックを縮小率α＝１／２（＝０．５）で分割することにより、図７（Ｂ）に示される第ｋ階層のサブブロックＳＢｋ（１），ＳＢｋ（２），ＳＢｋ（３），…が生成されている。図７（Ｂ）のサブブロックＳＢｋ（ｊ）が着目サブブロックＣＢｋとされたときは、この着目サブブロックＣＢｋに対応する生成元のサブブロックＳＢｋ−１（ｉ）が選択される（ステップＳ１２）。次に、このサブブロックＳＢｋ−１（ｉ）の動きベクトルＭＶｋ−１（ｉ）が候補ベクトル集合Ｖｋ（ｊ）に登録される（ステップＳ１３）。また、生成元のサブブロックＳＢｋ−１（ｉ）に対して水平画素方向、垂直画素方向、右上がり斜め方向、右下がり斜め方向、左上がり斜め方向及び左下がり斜め方向という８方向にそれぞれ隣接する周辺領域の８個のサブブロックＳＢｋ−１（ａ）〜ＳＢｋ−１（ｈ）が選択される（ステップＳ１４）。次に、これらサブブロックＳＢｋ−１（ａ）〜ＳＢｋ−１（ｈ）の動きベクトルが候補ベクトル集合Ｖｋ（ｊ）に登録される（ステップＳ１５）。結果として、第ｋ階層の１つの着目サブブロックＣＢｋに対して、第ｋ−１階層における９個のサブブロックＳＢｋ−１（ｉ），ＳＢｋ−１（ａ）〜ＳＢｋ−１（ｈ）の９個の動きベクトルが候補ベクトルとして抽出され、候補ベクトル集合Ｖｋ（ｊ）に登録される。
【００３４】
なお、ステップＳ１４において、生成元のサブブロックＳＢｋ−１（ｉ）に隣接するサブブロックＳＢｋ−１（ａ）〜ＳＢｋ−１（ｈ）の全てを選択しない場合もありうる。また、生成元のサブブロックＳＢｋ−１（ｉ）に対して隣接しない周辺のサブブロックを選択する場合や、生成元のサブブロックＳＢｋ−１（ｉ）が属するフレームＦｂに対して時間的に隣接する他のフレーム上のサブブロック（たとえば、当該サブブロックＳＢｋ−１（ｉ）のフレーム内位置に相当する位置を有するサブブロック）を選択する場合にも、本実施の形態は成立し得る。
【００３５】
また、ステップＳ１４においては、生成元のサブブロックＳＢｋ−１（ｉ）に対して８方向に隣接する領域以外の領域のサブブロックが選択されてもよい。たとえば、図８に示されるように、生成元のサブブロックＳＢｋ−１（ｉ）に対して、８方向に２サブブロック分離れた８個のサブブロックＳＢｋ−１（ｍ）〜ＳＢｋ−１（ｔ）の中からサブブロックを選択してもよい。このように、隣接サブブロックに限定せずに離れたサブブロックを選択することで、誤検出された動きベクトルを有する複数のサブブロックが局在している場合（複数のサブブロックが固まって存在している場合）でも、これらの誤検出された動きベクトル以外の正しい動きベクトルを候補ベクトル集合に加えることができる。
【００３６】
さらに、縮小率αは１／２に限定されない。図９（Ａ），（Ｂ）は、候補ベクトル抽出処理の手順の他の例を説明するための図である。図９（Ａ）に示される第ｋ−１階層の各サブブロックを縮小率α＝１／４（＝０．２５）で分割することにより、図９（Ｂ）に示される第ｋ階層のサブブロックＳＢｋ（１），ＳＢｋ（２），ＳＢｋ（３），ＳＢｋ（４），…が生成されている。図９（Ｂ）のサブブロックＳＢｋ（ｊ）が着目サブブロックＣＢｋとされたときは、この着目サブブロックＣＢｋに対応する生成元のサブブロックＳＢｋ−１（ｉ）が選択される（ステップＳ１２）。次に、このサブブロックＳＢｋ−１（ｉ）の動きベクトルＭＶｋ−１（ｉ）が候補ベクトル集合Ｖｋ（ｊ）に登録される（ステップＳ１３）。また、生成元のサブブロックＳＢｋ−１（ｉ）に対して周辺の隣接サブブロックＳＢｋ−１（ａ）〜ＳＢｋ−１（ｈ）の中からサブブロックを選択し（ステップＳ１４）、選択されたサブブロックの動きベクトルを候補ベクトル集合Ｖｋ（ｊ）に登録することができる（ステップＳ１５）。ステップＳ１４では、生成元のサブブロックＳＢｋ−１（ｉ）の境界４辺のうち、着目サブブロックＣＢｋと空間方向に最も近い２辺に隣接するサブブロックＳＢｋ−１（ｃ）〜ＳＢｋ−１（ｇ）を選択してもよい。
【００３７】
上記のごとく候補ベクトルが抽出された後、評価部１４３ｋは、着目サブブロックＣＢｋのフレーム内位置ｐｏｓ＝（Ｘｃ，Ｙｃ）に相当する参照フレームＦａ内の位置（Ｘｒ，Ｙｒ）から候補ベクトルＣＶｋの分ずれた位置（Ｘｒ＋ＣＶｘ，Ｙｒ＋ＣＶｙ）にある参照サブブロックＲＢを抽出する。ここで、ＣＶｘ，ＣＶｙは、それぞれ、候補ベクトルＣＶｋの水平画素方向成分（Ｘ成分）と垂直画素方向成分（Ｙ成分）であり、参照サブブロックＲＢのサイズは、着目サブブロックＣＢｋのサイズと同じである。たとえば、図１０に示されるように、着目フレームＦｂ内の着目サブブロックＣＢｋに対して、４個の候補ベクトルＣＶｋ（１）〜ＣＶｋ（４）が抽出された場合、これら候補ベクトルＣＶｋ（１）〜ＣＶｋ（４）で指定される４個の参照サブブロックＲＢ（１）〜ＲＢ（４）を抽出することができる。
【００３８】
さらに、評価部１４３ｋは、抽出された参照サブブロックＲＢと着目サブブロックＣＢｋとのブロック対の類似度または非類似度を算出し、この算出結果に基づいて候補ベクトルの評価値Ｅｄを求める。たとえば、ブロック対の絶対値差分和（ＳＡＤ）を評価値Ｅｄとして算出することができる。図１０の例では、着目サブブロックＣＢｋと、４個の参照サブブロックＲＢ（１）〜ＲＢ（４）との間で４つのブロック対が形成されるので、評価部１４３ｋは、ブロック対それぞれについて候補ベクトルの評価値Ｅｄを算出することとなる。これら評価値Ｅｄと候補ベクトルＣＶｋの組は、動きベクトル決定部１４４ｋに与えられる。
【００３９】
そして、動きベクトル決定部１４４ｋは、評価値Ｅｄに基づいて、候補ベクトル集合Ｖｋ（ｊ）の中から最も確からしい動きベクトルを、着目サブブロックＣＢｋ（＝ＳＢｋ（ｊ））の動きベクトルＭＶｋとして選択する。この動きベクトルＭＶｋは出力部１４５ｋを介して後段に出力される。
【００４０】
動きベクトル決定部１４４ｋは、次式（１）を用いて動きベクトルを選択することができる。
【数１】
2012066866.tif 000003
【００４１】
ここで、ｖｉは、候補ベクトル集合Ｖｋの要素である候補ベクトルであり、ｆａ（ｘ）は、位置ベクトルｘで指定される参照フレームＦａ内の画素の値であり、ｆｂ（ｘ）は、位置ベクトルｘで指定される着目フレームＦｂ内の画素の値であり、Ｂは、着目サブブロック内の位置を示す位置ベクトルの集合であり、ｐｏｓは、集合Ｂの要素である位置ベクトルである。また、ＳＡＤ（ｖｉ）は、候補ベクトルｖｉで指定される参照フレームＦａ内の参照サブブロックと着目サブブロックとの対の差分絶対値和（ＳＡＤ）を出力する関数である。ａｒｇｍｉｎ（ＳＡＤ（ｖｉ））は、ＳＡＤ（ｖｉ）を最小にするｖｉ（＝ｖｔ）を与える。
【００４２】
このようにして、ＳＡＤに基づいて真の動きベクトルに対して最も確からしい動きベクトルＭＶｋ（＝ｖｔ）を選ぶことができる。なお、評価値ＥｄをＳＡＤとは異なる定義を用いて算出してもよい。
【００４３】
次に、図４の動きベクトル補正部１３７ｋについて説明する。
【００４４】
動きベクトル補正部１３７ｋは、第ｋ階層のサブブロックＳＢｋ（１），…，ＳＢｋ（Ｎｋ）のそれぞれを順次着目サブブロックとし、この着目サブブロックの周辺領域に位置する周辺サブブロックの動きベクトルに基づいて、当該着目サブブロックの動きベクトルを補正するフィルタ機能を有する。このフィルタ機能により、動きベクトル生成部１３４ｋから誤った動きベクトルＭＶｋが出力されたとき、その誤った動きベクトルＭＶｋが後段の階層処理部１３３ｋ＋１または出力部１３８に伝達されることを防止することができる。
【００４５】
ここで、着目サブブロックの動きベクトルがその周辺領域のサブブロックの動きベクトルとは明らかに異なる場合にその動きベクトルを排除し、サブブロック単位の動きベクトルの分布を滑らかにするには、平滑化フィルタを使用することが考えられる。しかしながら、平滑化フィルタを適用すると、本来存在しない動きベクトルが出現する場合がある。
【００４６】
たとえば、着目サブブロックの動きベクトルが誤検出により（９，９）となり、着目サブブロックに隣接する８個のサブブロックの動きベクトルがすべて（０，０）であった場合に、当該着目サブブロックに対して、３×３個のサブブロックを適用範囲（フィルタ窓）とする単純な平滑化フィルタ（複数の動きベクトルの算術平均を行う平均化フィルタ）を適用すると、この平滑化フィルタの出力は（１，１）となる。この出力は、より確からしい（０，０）とは異なり、本来存在しない動きベクトルが出力されてしまう。動きベクトルを利用した補間フレーム生成や超解像においては、周辺に全く存在しないベクトルを出力することを回避することが好ましい。
【００４７】
そこで、本実施の形態の動きベクトル補正部１３７ｋは、当該着目サブブロック（補正対象サブブロック）とこの着目サブブロックを中心とする周辺サブブロックとを含む適用範囲（フィルタ窓）内の複数のサブブロックの複数の動きベクトルを補正候補ベクトルｖｃとし、補正候補ベクトルｖｃの中から、周辺サブブロックの動きベクトルと着目サブブロックの動きベクトルとの間の距離（ｄｉｓｔａｎｃｅ）の総和を最小とする補正候補ベクトルを選択し、当該選択された補正候補ベクトルで着目サブブロックの動きベクトルを置き換えるというフィルタ機能を有する。ここで、２つの動きベクトル間の距離としては、ユークリッド距離、マンハッタン距離並びにチェビシェフ距離など、数学的な様々な概念が知られている。
【００４８】
本実施の形態の場合、周辺サブブロックの動きベクトルと当該着目サブブロックの動きベクトルとの間の距離として、マンハッタン距離が採用される。マンハッタン距離を採用した場合、次式（２）を用いて、着目サブブロックの新たな動きベクトルｖｎを生成することができる。
【数２】
2012066866.tif 000004
【００４９】
ここで、ｖｃは、補正候補ベクトルであり、Ｖｆは、フィルタ窓内のサブブロックの動きベクトルからなる集合であり、ｘｃ，ｙｃは、それぞれ、補正候補ベクトルｖｃの水平画素方向成分（Ｘ成分）及び垂直画素方向成分（Ｙ成分）であり、ｘｉ，ｙｉは、それぞれ、集合Ｖｆに属する動きベクトルｖｉのＸ成分及びＹ成分である。そして、ｄｉｆ（ｖｃ）は、動きベクトルｖｃ，ｖｉ間のマンハッタン距離の総和を出力する関数である。ａｒｇｍｉｎ（ｄｉｆ（ｖｃ））は、ｄｉｆ（ｖｃ）を最小するｖｃを補正ベクトルｖｎとして与える。このようにして集合Ｖｆに属する補正候補ベクトルｖｃから補正ベクトルｖｎを選択することで、本来存在しない動きベクトルを補正ベクトルとして生成することを確実に回避することができる。なお、フィルタ窓内のサブブロックの位置に応じて、サブブロックの動きベクトルに重み付けを行うといった最適化処理を行うこともできる。また、フィルタ窓内のサブブロックの動きベクトルの空間分布によっては、補正候補ベクトルｖｃが集合Ｖｆに属するとの制限を外して補正ベクトルｖｎを算出する処理を実行してもよい。
【００５０】
図１１（Ａ），（Ｂ）は、３×３画素分のフィルタ窓Ｆｗを有する動きベクトル補正部１３７ｋを用いて着目サブブロックＣＢｋを補正する様子を概略的に示す図である。図１１（Ａ）が補正前の状態を表し、図１１（Ｂ）が補正後の状態を表している。図１１（Ａ）に示されるように、着目サブブロックＣＢｋの動きベクトルＭＶｃの方向は、周辺サブブロックＣＢｋ（ａ）〜ＣＢｋ（ｈ）の動きベクトルと比べて大きく外れている。周辺サブブロックＣＢｋ（ａ）〜ＣＢｋ（ｈ）の動きベクトルに基づくフィルタ処理（補正）を行うと、図１１（Ｂ）に示されるように、着目サブブロックＣＢｋは、周辺サブブロックＣＢｋ（ａ）〜ＣＢｋ（ｃ）の動きベクトルとほぼ同じ方向の動きベクトルＭＶｃを有するようになる。
【００５１】
図１２は、動きベクトル補正部１３７ｋにより実行される動きベクトル補正処理の手順を概略的に示す図である。図１２に示されるように、動きベクトル補正部１３７ｋは、まず、サブブロック番号ｉを初期値「１」に設定し（ステップＳ２０）、ｉ番目のサブブロックＳＢｋ（ｉ）を着目サブブロックＣＢｋに設定する（ステップＳ２１）。次いで、動きベクトル補正部１３７ｋは、着目サブブロックＣＢｋを中心とするフィルタ窓内の周辺サブブロックの動きベクトルを集合Ｖｆに登録する（ステップＳ２２）。次に、動きベクトル補正部１３７ｋは、集合Ｖｆに属する動きベクトルと着目サブブロックＣＢｋの動きベクトルとの間の距離の総和を算出し、この総和を最小にする補正ベクトルを求める（ステップＳ２３）。そして、動きベクトル補正部１３７ｋは、着目サブブロックＣＢｋの動きベクトルを補正ベクトルで置換する（ステップＳ２４）。
【００５２】
その後、動きベクトル補正部１３７ｋは、サブブロック番号ｉが、第ｋ階層に属するサブブロックの総数Ｎｋに達したか否かを判定し（ステップＳ２５）、サブブロック番号ｉが総数Ｎｋに達していない場合（ステップＳ２５のＮＯ）には、サブブロック番号ｉを１だけインクリメントし（ステップＳ２６）、ステップＳ２１に処理を戻す。他方で、サブブロック番号ｉが総数Ｎｋに達している場合（ステップＳ２５のＹＥＳ）には、動きベクトル補正処理は終了する。
【００５３】
上記したように各階層処理部１３３ｋは、前段から入力された動きベクトルＭＶｋ−１に基づいて、より密度の高い動きベクトルＭＶｋを生成し後段に出力する。最終段の階層処理部１３３Ｎは、画素単位の動きベクトルＭＶＮを動きベクトルＭＶとして出力する。
【００５４】
以上に説明したように実施の形態１の動きベクトル細密化部１３０は、ブロックＭＢ（１），ＭＢ（２），…の各々を階層的に分割することにより複数階層のサブブロックＳＢ１（１），ＳＢ１（２），…，ＳＢ２（１），ＳＢ２（２），…，ＳＢＮ（１），ＳＢＮ（２），…を生成しつつ、密度の粗い動きベクトルＭＶ０から、階層が増すにつれて密度が次第に細かくなる動きベクトルＭＶ１，ＭＶ２，…，ＭＶＮを段階的に生成する。このため、画像中に現れるノイズや空間的な周期パターンの影響が抑制された細密な動きベクトルＭＶを生成することができる。
【００５５】
また、複数階層で求められた動きベクトルＭＶ１，ＭＶ２，…，ＭＶＮは、動きベクトル補正部１３７１〜１３７Ｎで補正されるので、各階層における誤った動きベクトルを後段に伝達することを防止することができる。したがって、ブロック単位の動きベクトルＭＶ０に基づいて、推定精度の高い細密な動きベクトル（画素単位の動きベクトル）ＭＶを生成することができる。
【００５６】
なお、図４に示したように、本実施の形態の動きベクトル細密化部１３０は、複数の階層処理部１３３１〜１３３Ｎを有しているが、これら階層処理部１３３１〜１３３Ｎは、ハードウェア構成を有する複数個の処理ユニットで実現されてもよいし、あるいは、再帰的な処理を行う単一の処理ユニットで実現されてもよい。
【００５７】
実施の形態２．
次に、本発明に係る実施の形態２について説明する。図１３は、実施の形態２の動きベクトル検出装置２０の構成を概略的に示す機能ブロック図である。
【００５８】
この動きベクトル検出装置２０は、動画像を構成する一連のフレームのうち時間的に連続する３枚のフレームＦａ，Ｆｂ，Ｆｃがそれぞれ入力される入力部２００ａ，２００ｂ，２００ｃを備えている。また、動きベクトル検出装置２０は、入力されたフレームＦａ，Ｆｂ，Ｆｃからブロック単位の動きベクトルＭＶ０を検出する動き推定部２２０と、ブロック単位の動きベクトルＭＶ０に基づいて画素単位（１画素精度）の動きベクトルＭＶを生成する動きベクトル細密化部２３０と、動きベクトルＭＶを出力する出力部２５０とを備える。動きベクトル細密化部２３０の機能は、上記実施の形態１の動きベクトル細密化部１３０の機能と同じである。
【００５９】
図１４は、３枚のフレームＦａ，Ｆｂ，Ｆｃの時間軸上の配置例を概略的に示す図である。フレームＦａ，Ｆｂ，Ｆｃには、それぞれ、タイムスタンプ情報で特定される時刻ｔａ，ｔｂ，ｔｃが等間隔で割り当てられている。本実施の形態では、動き推定部２２０は、フレームＦｂを着目フレームとし、このフレームＦｂよりも時間的に前後する２つのフレームＦａ，Ｆｃを参照フレームとして利用する。
【００６０】
動き推定部２２０は、図１４に概略的に示されるように着目フレームＦｂを複数のブロック（たとえば、８×８画素や１６×１６画素）ＭＢ（１），ＭＢ（２），ＭＢ（３），…に分割し、これら複数のブロックＭＢ（１），ＭＢ（２），ＭＢ（３），…のそれぞれを順次着目ブロックＣＢ０として、時刻ｔｃ〜ｔａにおける着目ブロックＣＢ０の動きを推定する。具体的には、動き推定部２２０は、着目フレームＦｂ内の着目ブロックＣＢ０と最も相関の高い一対の参照ブロックＲＢｆ，ＲＢｂをそれぞれ参照フレームＦａ，Ｆｃの中から探索し、着目ブロックＣＢ０と当該参照ブロックＲＢｆ，ＲＢｂのいずれか一方との間の空間方向のズレを着目ブロックＣＢ０の動きベクトルＭｖｆまたはＭｖｂとして検出する。ここで、着目ブロックＣＢ０と参照ブロックＲＢｆ，ＲＢｂとは、時空間（時間軸、Ｘ軸及びＹ軸で定まる空間）上で一直線上に配列されているので、参照ブロックＲＢｆ，ＲＢｂのうちの一方の位置が定まると、他方の位置が定まることとなる。また、参照ブロックＲＢｆ，ＲＢｂは、着目ブロックＣＢ０を中心として点対称に位置する。
【００６１】
このような動きベクトルＭｖｆまたはＭｖｂの検出法としては、上記実施の形態１の場合と同様に、公知のブロックマッチング法を使用することができる。ブロックマッチング法では、一対の参照ブロックＲＢｆ，ＲＢｂと着目ブロックＣＢ０との間の相関の程度を評価するために、類似度または非類似度に基づいた評価値が求められる。本実施の形態では、参照ブロックＲＢｆと着目ブロックＣＢ０との間の類似度と、参照ブロックＲＢｂと着目ブロックＣＢ０との間の類似度とを加算した値を評価値として利用するか、あるいは、参照ブロックＲＢｆと着目ブロックＣＢ０との間の非類似度と、参照ブロックＲＢｂと着目ブロックＣＢ０との間の非類似度とを加算した値を評価値として利用することができる。参照ブロックＲＢｆ，ＲＢｂの探索範囲については、演算量の低減のため、着目ブロックＣＢ０のフレーム内位置に相当する位置を中心とする一定の範囲で探索することが好ましい。
【００６２】
なお、フレームＦａ，Ｆｂ，Ｆｃは、時間軸上に等間隔で配列されていなくてもよい。この場合は、フレームＦａ，Ｆｃ上の参照ブロックＲＢｆ，ＲＢｂの位置は、着目ブロックＣＢ０に関して点対称の位置とならない。また、着目ブロックＣＢ０がこれらフレームＦａ，Ｆｂ，Ｆｃにおいて等速直線運動をすると仮定して、参照ブロックＲＢｆ，ＲＢｂの位置を定めることが望ましい。ただし、フレームＦａ，Ｆｂ，Ｆｃが、動きが大きく変化するタイミングをまたいで存在すると、動きの推定精度が低下する可能性が高くなるので、時間間隔ｔａ−ｔｂ，ｔｂ−ｔｃを短くし、両時間間隔の差を小さくすることが好ましい。
【００６３】
上記したように実施の形態２の動きベクトル検出装置３０は、３枚のフレームＦａ，Ｆｂ，Ｆｃを用いて、推定精度の高い動きベクトルＭＶ０を生成するので、動きベクトル細密化部３３０は、実施の形態１の場合と比べると、より推定精度の高い細密な動きベクトルＭＶを生成することができる。
【００６４】
なお、本実施の形態の動き推定部２２０は、３枚のフレームＦａ，Ｆｂ，Ｆｃに基づいて動き推定を行っているが、この代わりに、４枚以上のフレームに基づいて動き推定を行うようにその構成を変更してもよい。
【００６５】
実施の形態３．
次に、本発明に係る実施の形態３について説明する。図１５は、実施の形態３の動きベクトル検出装置３０の構成を概略的に示す機能ブロック図である。
【００６６】
この動きベクトル検出装置３０は、動画像を構成する一連のフレームのうち時間的に互いに前後する第１及び第２フレームＦａ，Ｆｂがそれぞれ入力される入力部３００ａ，３００ｂを備えている。また、動きベクトル検出装置３０は、入力された第１及び第２フレームＦａ，Ｆｂからブロック単位の動きベクトルＭＶＡ０，ＭＶＢ０を検出する動き推定部３２０と、これら動きベクトルＭＶＡ０，ＭＶＢ０に基づいて画素単位（１画素精度）の動きベクトルＭＶを生成する動きベクトル細密化部３３０と、動きベクトルＭＶを外部に出力する出力部３５０とを備える。
【００６７】
図１６は、第１フレームＦａと第２フレームＦｂの時間軸上の配置例を概略的に示す図である。第１フレームＦａと第２フレームＦｂには、それぞれ、タイムスタンプ情報で特定される時刻ｔａ，ｔｂが割り当てられている。本実施の形態の動きベクトル検出装置３０は、第２フレームＦｂを着目フレームとし、この第２フレームＦｂよりも時間的に後に入力する第１フレームＦａを参照フレームとして利用する。
【００６８】
動き推定部３２０は、図１６に概略的に示されるように着目フレームＦｂを複数のブロック（たとえば、８×８画素や１６×１６画素）ＭＢ（１），ＭＢ（２），ＭＢ（３），…に分割する。そして、動き推定部３２０は、これら複数のブロックＭＢ（１），ＭＢ（２），ＭＢ（３），…のそれぞれを順次着目ブロックＣＢ０とし、着目フレームＦｂから参照フレームＦａへの着目ブロックＣＢ０の動きを推定して信頼度の高い順に上位２つの動きベクトルＭＶＡ０，ＭＶＢ０を検出する。具体的には、動き推定部３２０は、着目ブロックＣＢ０と最も相関の高い参照ブロックＲＢ１と、２番目に相関の高い参照ブロックＲＢ２とを参照フレームＦａの中から探索する。そして、着目ブロックＣＢ０と当該参照ブロックＲＢ１との間の空間方向のズレが動きベクトルＭＶＡ０として検出され、着目ブロックＣＢ０と当該参照ブロックＲＢ２との間の空間方向のズレが動きベクトルＭＶＢ０として検出される。
【００６９】
動きベクトルＭＶＡ０，ＭＶＢ０の検出法としては、公知のブロックマッチング法を使用すればよい。たとえば、サブブロック対の非類似度を表す差分絶対値和（ＳＡＤ）を使用する場合は、ＳＡＤが最も小さい動きベクトルを１位の動きベクトルＭＶＡ０とし、ＳＡＤが２番目の小さい動きベクトルを２位の動きベクトルＭＶＢ０とすることができる。
【００７０】
動きベクトル細密化部３３０は、実施の形態１の動きベクトル細密化部１３０と同様に、着目フレームＦｂから派生したブロックＭＢ（１），ＭＢ（２），…の各々を分割して、第１階層から第Ｎ階層に分類された複数のサブブロックを生成する。動きベクトル細密化部３３０は、さらに、ブロック単位の動きベクトルＭＶＡ０，ＭＶＢ０に基づいて、最終段の第Ｎ階層を除く階層ごとに各サブブロックについて信頼度の高い順に上位２つの動きベクトルを生成し、最終段の第Ｎ階層では、最も信頼度の高い動きベクトルＭＶを生成する。ここで、動きベクトルの信頼度は、当該動きベクトルの検出に使用された参照サブブロックと着目サブブロックとの類似度または非類似度に基づいて定められるものである。サブブロック対の類似度が高いほど（言い換えれば、サブブロック対の非類似度が低いほど）、動きベクトルの信頼度も高くなる。
【００７１】
図１７は、動きベクトル細密化部３３０の構成を概略的に示す機能ブロック図である。図１７に示されるように、動きベクトル細密化部３３０は、上位２つの動きベクトルＭＶＡ０，ＭＶＢ０がそれぞれ入力される入力部３３２ａ，３３２ｂと、参照フレームＦａ及び着目フレームＦｂがそれぞれ入力される入力部３３１ａ，３３１ｂと、第１乃至第Ｎの階層処理部３３３１〜３３３Ｎ（Ｎは２以上の整数）と、細密化された動きベクトルＭＶを出力する出力部３３８とを有する。さらに、各階層処理部３３３ｋ（ｋは１〜Ｎのいずれかの整数）は、動きベクトル生成部３３４ｋと動きベクトル補正部３３７ｋとを有している。
【００７２】
階層処理部３３３１〜３３３Ｎの基本的な動作は同じである。以下、第１の階層処理部３３３１で処理されるブロックＭＢ（１），ＭＢ（２），…を第０階層のサブブロックＳＢ０（１），ＳＢ０（２），…とみなして、階層処理部３３３１〜３３３Ｎの処理について詳細に説明する。
【００７３】
図１８は、階層処理部３３３ｋにおける動きベクトル生成部３３４ｋの構成を概略的に示す機能ブロック図である。図１８に示されるように、動きベクトル生成部３３４ｋは、前段から入力された上位２つの動きベクトルＭＶＡｋ−１，ＭＶＢｋ−１を受ける入力部３４１Ａｋ，３４１Ｂｋと、参照フレームＦａ及び着目フレームＦｂが入力される入力部３４０Ａｋ，３４０Ｂｋと、候補ベクトル抽出部３４２ｋと、評価部３４３ｋと、動きベクトル決定部３４４ｋとを有している。
【００７４】
候補ベクトル抽出部３４２ｋは、サブブロックＳＢｋ（１），ＳＢｋ（２），…のそれぞれを順次着目サブブロックＣＢｋとし、この着目サブブロックＣＢｋに対して、１つ上位の階層のサブブロックＳＢｋ−１（１），ＳＢｋ−１（２），…の１位の動きベクトル群ＭＶＡｋ−１の中から候補ベクトルＣＶＡｋを抽出する。これと並行して、候補ベクトル抽出部３４２ｋは、着目サブブロックＣＢｋに対して、１つ上位の階層のサブブロックＳＢｋ−１（１），ＳＢｋ−１（２），…の２位の動きベクトル群ＭＶＢｋ−１の中から候補ベクトルＣＶＢｋを抽出する。抽出された候補ベクトルＣＶＡｋ，ＣＶＢｋは、評価部３４３ｋに与えられる。候補ベクトルＣＶＡｋ，ＣＶＢｋの抽出方法は、実施の形態１の候補ベクトル抽出部１４２ｋ（図５）による抽出方法と同じである。
【００７５】
候補ベクトルＣＶＡｋ，ＣＶＢｋが抽出された後、評価部３４３ｋは、一方の候補ベクトルＣＶＡｋを用いて参照フレームＦａ内の参照サブブロックを抽出し、当該参照サブブロックと着目サブブロックＣＢｋとの間の類似度または非類似度に基づいた評価値Ｅｄａを算出する。これと並行して、評価部３４３ｋは、他方の候補ベクトルＣＶＢｋを用いて参照フレームＦａ内の参照サブブロックを抽出し、当該参照サブブロックと着目サブブロックＣＢｋとの間の類似度または非類似度に基づいた評価値Ｅｄｂを算出する。これら評価値Ｅｄａ，Ｅｄｂの算出方法は、実施の形態１の評価部１４３ｋ（図５）による評価値Ｅｄの算出方法と同じである。
【００７６】
そして、動きベクトル決定部３４４ｋは、評価値Ｅｄａ，Ｅｄｂに基づいて、候補ベクトルＣＶＡｋ，ＣＶＢｋの中から、最も信頼度の高い１位の動きベクトルＭＶＡｋと、２番目に信頼度の高い２位の動きベクトルＭＶＢｋとを選択する。これら動きベクトルＭＶＡｋ，ＭＶＢｋは、それぞれ、出力部３４５Ａｋ，３４５Ｂｋを介して後段に出力される。ただし、最終段の階層処理部３３３Ｎにおける動きベクトル決定部３４４Ｎは、前段から供給されたＣＶＡＮ，ＣＶＢＮの中から最も信頼度の高い動きベクトルＭＶを選択し、出力する。
【００７７】
図１７の動きベクトル補正部３３７ｋは、動きベクトルＭＶＡｋを補正する処理と、動きベクトルＭＶＢｋを補正する処理とを並行に実行するフィルタ機能を有する。これら動きベクトルＭＶＡｋ，ＭＶＢｋの補正方法は、上記実施の形態１の動きベクトル補正部３３７ｋによる動きベクトルＭＶｋの補正方法と同じである。このフィルタ機能により、動きベクトル生成部３３４ｋから誤った動きベクトルＭＶＡｋ，ＭＶＢｋが出力されたとしても、このような動きベクトルＭＶＡｋ，ＭＶＢｋが後段の階層処理部３３３ｋ＋１に伝達されることを防止することができる。
【００７８】
上記したように各階層処理部３３３ｋは、前段から入力された上位２つの動きベクトルＭＶＡｋ−１，ＭＶＢｋ−１に基づいて、より密度の高い動きベクトルＭＶＡｋ，ＭＶＢｋを生成し後段に出力する。最終段の階層処理部３３３Ｎは、最も信頼度の高い動きベクトルを画素単位の動きベクトルＭＶとして出力する。
【００７９】
以上に説明したように実施の形態３の動きベクトル細密化部３３０は、ブロックＭＢ（１），ＭＢ（２），…の各々を階層的に分割することにより複数階層のサブブロックＳＢ１（１），ＳＢ１（２），…，ＳＢ２（１），ＳＢ２（２），…，ＳＢＮ（１），ＳＢＮ（２），…を生成しつつ、密度の粗い動きベクトルＭＶＡ０，ＭＶＢ０から、階層が増すにつれて密度が次第に細かくなる動きベクトルＭＶＡ１，ＭＶＢ１，ＭＶＡ２，ＭＶＢ２，…，ＭＶＡＮ−１，ＭＶＢＮ−１，ＭＶを段階的に生成する。このため、画像中に現れるノイズや空間的な周期パターンの影響が抑制された細密な動きベクトルＭＶを生成することができる。
【００８０】
また、複数階層で求められた動きベクトルＭＶＡ１，ＭＶＢ１，ＭＶＡ２，ＭＶＢ２，…，ＭＶＡＮ−１，ＭＶＢＮ−１，ＭＶは、動きベクトル補正部３３７１〜３３７Ｎで補正されるので、各階層における誤った動きベクトルを後段に伝達することを防止することができる。したがって、ブロック単位の動きベクトルＭＶＡ０，ＭＶＢ０に基づいて、推定精度の高い細密な動きベクトル（画素単位の動きベクトル）ＭＶを生成することができる。
【００８１】
さらに、上述したように、動き推定部３２０は、ブロックＭＢ（１），ＭＢ（２），…の各々について上位２つの動きベクトルＭＶＡ０，ＭＶＢ０を検出し、動きベクトル細密化部３３０の各階層処理部３３３ｋ（ｋ＝１〜Ｎ−１）も、サブブロックＳＢｋ（１），ＳＢｋ（２），…の各々について上位２つの動きベクトルＭＶＡｋ，ＭＶＢｋを生成している。これにより、図１８の動きベクトル決定部３４４ｋは、実施の形態１の場合と比べると、より多くの候補ベクトルＣＶＡｋ，ＣＶＢｋの中から、より確からしい動きベクトルを選択することができるので、動きベクトルの推定精度を向上させることができる。
【００８２】
また、図１９に示されるように、サブブロックの境界と画像中の物体Ｏ１，Ｏ２の境界とは必ずしも一致せず、物体Ｏ１，Ｏ２の移動方向が互いに異なる場合がある。このような場合に、サブブロックＳＢｋ（１），ＳＢｋ（２），…の各々について単一の動きベクトルを生成すると、物体Ｏ１，Ｏ２の２つの移動方向に関する情報が失われてしまう可能性がある。これに対し、本実施の形態の動きベクトル検出装置３０は、ブロックＭＢ（１），ＭＢ（２），…及びサブブロックＳＢｋ（１），ＳＢｋ（２），ＳＢｋ（３），…（ｋ＝１〜Ｎ−１）の各々について信頼度の高い上位２つの動きベクトルを生成するので、ブロックＭＢ（１），ＭＢ（２），…またはサブブロックＳＢｋ（１），ＳＢｋ（２），…に存在し得る複数方向の動きに関する情報が失われることを防止することができる。したがって、実施の形態１と比べると、動きベクトルの推定精度をより向上させることができる。
【００８３】
なお、動き推定部３２０及び階層処理部３３３ｋ（ｋ＝１〜Ｎ−１）は、それぞれ、上位２つの動きベクトルを生成しているが、これに限定されるものではない。動き推定部３２０及び階層処理部３３３ｋは、それぞれ、信頼度の高い順に上位３つ以上の動きベクトルを生成してもよい。
【００８４】
また、本実施の形態の動き推定部３２０は、２枚のフレームＦａ，Ｆｂに基づいてブロック単位の動きベクトルＭＶＡ０，ＭＶＢ０を検出しているが、この代わりに、上記実施の形態２の動き推定部２２０のように３枚以上のフレームに基づいて動きベクトルＭＶＡ０，ＭＶＢ０を検出してもよい。
【００８５】
実施の形態４．
次に、本発明に係る実施の形態４について説明する。図２０は、実施の形態４の動きベクトル検出装置４０の構成を概略的に示す機能ブロック図である。
【００８６】
この動きベクトル検出装置４０は、動画像を構成する一連のフレームのうち時間的に互いに前後する第１及び第２フレームＦａ，Ｆｂがそれぞれ入力される入力部４００ａ，４００ｂと、入力された第１及び第２フレームＦａ，Ｆｂからブロック単位の動きベクトルＭＶＡ０，ＭＶＢ０を検出する動き推定部４２０とを備えている。動き推定部４２０の機能は、上記実施の形態３の動き推定部３２０の機能と同じである。
【００８７】
また、動きベクトル検出装置４０は、最も信頼度の高い動きベクトルＭＶＡ０に基づいて画素単位（１画素精度）の候補ベクトルＭＶａを生成する動きベクトル細密化部４３０Ａと、２番目に信頼度の高い動きベクトルＭＶＢ０に基づいて画素単位の候補ベクトルＭＶｂを生成する動きベクトル細密化部４３０Ｂと、候補ベクトルＭＶａ，ＭＶｂのうちの一方を動きベクトルＭＶとして選択する動きベクトル選択部４４０と、動きベクトルＭＶを外部に出力する出力部４５０とを備える。
【００８８】
動きベクトル細密化部４３０Ａは、上記実施の形態１の動きベクトル細密化部１３０（図１）と同様に、着目フレームＦｂから派生したブロックＭＢ（１），ＭＢ（２），…の各々を階層的に分割して第１階層から第Ｎ階層に分類された複数のサブブロックを生成し、ブロック単位の動きベクトルＭＶＡ０に基づいて、階層ごとに各サブブロックの動きベクトルを生成する機能を有する。他方、動きベクトル細密化部（副動きベクトル細密化部）４３０Ｂも、上記実施の形態１の動きベクトル細密化部１３０と同様に、着目フレームＦｂから派生したブロックＭＢ（１），ＭＢ（２），…の各々を階層的に分割して第１階層から第Ｎ階層に分類された複数のサブブロックを生成し、ブロック単位の動きベクトルＭＶＢ０に基づいて、階層ごとに各サブブロックの動きベクトルを生成する機能を有する。
【００８９】
動きベクトル選択部４４０は、候補ベクトルＭＶａ，ＭＶｂのうちの一方を動きベクトルＭＶとして選択し、この動きベクトルＭＶを出力部４５０を介して外部に出力する。たとえば、動きベクトル細密化部４３０Ａ，４３０Ｂの最終階層で得られた、参照サブブロックと着目サブブロックとの間の類似度または非類似度に基づいて、候補ベクトルＭＶａ，ＭＶｂのうち信頼度が高い方を動きベクトルＭＶとして選択することができるが、これに限定されるものではない。
【００９０】
上記したように実施の形態４の動きベクトル検出装置４０は、ブロックＭＢ（１），ＭＢ（２），…の各々について上位２つの動きベクトルＭＶＡ０，ＭＶＢ０を検出して２つの細密な候補ベクトルＭＶａ，ＭＶｂを生成するので、これら候補ベクトルＭＶａ，ＭＶｂのうち信頼度の高い方を動きベクトルＭＶとして出力することができる。また、実施の形態３の場合と同様に、ブロックＭＢ（１），ＭＢ（２），…の各々に存在し得る複数方向の動きに関する情報が失われることを防止することができる。したがって、実施の形態１と比べると、動きベクトルの推定精度をより向上させることができる。
【００９１】
なお、動き推定部４２０は、上位２つの動きベクトルＭＶＡ０，ＭＶＢ０を生成しているが、これに限定されるものではない。動き推定部４２０は、信頼度の高い順にＭ個以上（Ｍは３以上の整数）の動きベクトルを生成してもよい。この場合は、Ｍ個の動きベクトルに基づいてＭ個の細密な候補ベクトルを生成するＭ個の動きベクトル細密化部を組み込めばよい。
【００９２】
実施の形態５．
次に、本発明に係る実施の形態５について説明する。図２１は、実施の形態５の動きベクトル検出装置における動きベクトル細密化部１６０の構成を概略的に示す機能ブロック図である。本実施の形態の動きベクトル検出装置は、図１の動きベクトル細密化部１３０の代わりに図２１の動きベクトル細密化部１６０を有する点を除いて、実施の形態１の動きベクトル検出装置１０と同じ構成を有する。
【００９３】
図２１に示されるように、動きベクトル細密化部１６０は、ブロック単位の動きベクトルＭＶ０が入力される入力部１６２と、参照フレームＦａ及び着目フレームＦｂが入力される入力部１６１ａ，１６１ｂと、第１乃至第Ｎの階層処理部１６３１〜１６３Ｎ（Ｎは２以上の整数）と、画素単位の動きベクトルＭＶを出力する出力部１６８とを有する。各階層処理部１６３ｋ（ｋは１〜Ｎのいずれかの整数）は、動きベクトル生成部１３４ｋと動きベクトル補正部１３７ｋとを有しており、図２１の動きベクトル補正部１３７ｋは、図４の動きベクトル補正部１３７ｋと同じ構成を有する。
【００９４】
図２２は、図２１の動きベクトル細密化部１６０におけるｋ番目の動きベクトル生成部１６４ｋの構成を概略的に示す機能ブロック図である。図２２に示されるように、動きベクトル生成部１６４ｋは、前段から入力された動きベクトルＭＶｋ−１を受ける入力部１７１ｋと、参照フレームＦａ及び着目フレームＦｂが入力される入力部１７０Ａｋ，１７０Ｂｋと、候補ベクトル抽出部１７２ｋと、評価部１４３ｋと、動きベクトル決定部１４４ｋとを有しており、図２２の評価部１４３ｋ及び動きベクトル決定部１４４ｋは、図５の評価部１４３ｋ及び動きベクトル決定部１４４ｋと同じ構成を有する。本実施の形態の候補ベクトル抽出部１７２ｋは、着目サブブロックの生成元（１つ上位の階層のサブブロック）に対する当該着目サブブロックの相対位置を検出する相対位置検出部１７２ａを有している。
【００９５】
図２３は、候補ベクトル抽出部１７２ｋにより実行される候補ベクトル抽出処理の手順を概略的に示すフローチャートである。図２３に示されるように、候補ベクトル抽出部１７２ｋは、まず、サブブロック番号ｊを初期値「１」に設定し（ステップＳ１０）、ｊ番目のサブブロックＳＢｋ（ｊ）を着目サブブロックＣＢｋに設定する（ステップＳ１１）。次いで、候補ベクトル抽出部１７２ｋは、１つ上位の第ｋ−１階層のサブブロック群のうち、着目サブブロックＣＢｋの生成元であるサブブロックＳＢｋ−１（ｉ）を選択する（ステップＳ１２）。次いで、候補ベクトル抽出部１７２ｋは、サブブロックＳＢｋ−１（ｉ）の動きベクトルＭＶｋ−１（ｉ）を候補ベクトル集合Ｖｋ（ｊ）に登録する（ステップＳ１３）。
【００９６】
その後、候補ベクトル抽出部１７２ｋの相対位置検出部１７２ａは、上位階層のサブブロックＳＢｋ−１（ｉ）に対する着目サブブロックＣＢｋの相対位置を検出する（ステップＳ１３Ａ）。たとえば、図７（Ａ），（Ｂ）の場合には、第ｋ階層の着目サブブロックＣＢｋの生成元は、第ｋ−１階層のサブブロックＳＢｋ−１（ｉ）である。この場合、相対位置検出部１７２ａは、第ｋ−１階層のサブブロックＳＢｋ−１（ｉ）の中心に対して着目サブブロックＣＢｋが右下方に位置することを検出することができる。また、図９（Ａ），（Ｂ）の場合、着目サブブロックＣＢｋは、サブブロックＳＢｋ−１（ｉ）の境界に相当する点線の枠の頂点に接しない位置に配置されている。この場合、相対位置検出部１７２ａは、着目サブブロックＣＢｋと空間的に最も近い枠の頂点の位置情報を出力することができる。
【００９７】
次に、候補ベクトル抽出部１４２ｋは、ステップＳ１３Ａで検出された相対位置を用いて、第ｋ−１階層における生成元のサブブロックＳＢｋ−１（ｉ）の周辺領域のサブブロック群を選択し（ステップＳ１４Ｍ）、このサブブロック群の動きベクトルを候補ベクトル集合Ｖｋ（ｊ）に登録する（ステップＳ１５）。たとえば、図７（Ａ），（Ｂ）の場合、候補ベクトル抽出部１４２ｋは、ステップＳ１３Ａで検出された相対位置を用いて、着目サブブロックＣＢｋの生成元であるサブブロックＳＢｋ−１（ｉ）に隣接する周辺サブブロックＳＢｋ−１（ａ）〜ＳＢｋ−１（ｈ）の中から、当該サブブロックＳＢｋ−１（ｉ）の境界４辺のうち当該境界の右下の頂点を含む２辺に隣接するサブブロックＳＢｋ−１（ｃ）〜ＳＢｋ−１（ｇ）を選択することができる（ステップＳ１４Ｍ）。図９（Ａ），（Ｂ）の場合にも同様に、ステップＳ１３Ａで検出された相対位置を用いて、サブブロックＳＢｋ−１（ｉ）に隣接する周辺サブブロックＳＢｋ−１（ａ）〜ＳＢｋ−１（ｈ）の中からサブブロックＳＢｋ−１（ｃ）〜ＳＢｋ−１（ｇ）を選択することが可能である（ステップＳ１４Ｍ）。なお、ステップＳ１４Ｍで選択されるサブブロックは、サブブロックＳＢｋ−１（ｉ）と隣接するサブブロックＳＢｋ−１（ｄ）〜ＳＢｋ−１（ｆ）に限定されているが、これに限定されず、サブブロックＳＢｋ−１（ｉ）と隣接しないサブブロックが選択されてもよい。
【００９８】
ステップＳ１５の後、候補ベクトル抽出部１７２ｋは、サブブロック番号ｊが、第ｋ階層に属するサブブロックの総数Ｎｋに達したか否かを判定し（ステップＳ１６）、サブブロック番号ｊが総数Ｎｋに達していない場合（ステップＳ１６のＮＯ）には、サブブロック番号ｊを１だけインクリメントし（ステップＳ１７）、ステップＳ１１に処理を戻す。他方で、サブブロック番号ｊが総数Ｎｋに達している場合（ステップＳ１６のＹＥＳ）には、候補ベクトル抽出処理は終了する。
【００９９】
以上に説明したように実施の形態５の候補ベクトル抽出部１７２ｋは、相対位置検出部１７２ａによる検出結果を用いて、着目サブブロックＣＢｋの生成元ＳＢｋ−１（ｉ）の周辺領域に位置するサブブロックの中から、着目サブブロックＣＢｋと空間的に比較的近いサブブロックを選択することができる（ステップＳ１４Ｍ）。したがって、実施の形態１の候補ベクトル抽出処理（図６）と比べると、候補ベクトルの数を減らすことができ、後段の評価部１４３ｋの処理負荷の軽減あるいは演算速度の向上を図ることができる。また、候補ベクトル抽出部１７２ｋがハードウエアで構成されている場合には、回路規模を削減することができる。
【０１００】
なお、本実施の形態の動きベクトル細密化部１６０の構成は、上記実施の形態２，３，４の動きベクトル細密化部２３０，３３０，４３０Ａ，４３０Ｂに適用することができる。
【０１０１】
実施の形態６．
次に、本発明に係る実施の形態６について説明する。図２４は、実施の形態６のフレーム補間装置１の構成を概略的に示す機能ブロック図である。
【０１０２】
図２４に示されるように、このフレーム補間装置１は、図示されない外部装置から入力部２を介して入力された映像信号１３を一時的に格納するフレームバッファ１１と、動きベクトル検出装置６０と、補間部１２とを備えている。動きベクトル検出装置６０の構成は、上記実施の形態１〜４の動きベクトル検出装置１０，２０，３０，４０及び上記実施の形態５の動きベクトル検出装置のうちのいずれかの構成と同じである。
【０１０３】
フレームバッファ１１は、動画像を構成する一連のフレームを表す映像信号１４を、２フレーム単位または３フレーム単位で動きベクトル検出装置６０に出力する。動きベクトル検出装置６０は、フレームバッファ１１から読み出され入力された映像信号１４に基づいて画素単位（１画素精度）の動きベクトルＭＶを生成し、補間部１２に出力する。
【０１０４】
補間部１２は、フレームバッファ１１から読み出された時間的に連続するフレームのデータ１５を用い、細密な動きベクトルＭＶに基づいてフレーム間に補間フレーム（内挿補間フレームあるいは外挿補間フレーム）を生成する機能を有する。補間フレームを含む補間映像信号１６は、出力部３を介して外部に出力される。
【０１０５】
図２５は、フレーム補間方法の一例である線形補間法を説明するための図である。図２５に示されるように、時間的に前後するフレームＦｋ＋１，Ｆｋの間に補間フレームＦｉが生成（線形補間）される。フレームＦｋ＋１，Ｆｋにはそれぞれ時刻ｔｋ＋１，ｔｋが割り当てられており、補間フレームＦｉの時刻ｔｉは、時刻ｔｋよりもΔｔ１だけ先方にあり、時刻ｔｋ＋１よりもΔｔ２だけ後方にある。フレームＦｋ＋１上の画素Ｐｋ＋１の位置は、フレームＦｋ＋１上の画素Ｐｋの位置が動きベクトルＭＶ＝（Ｖｘ，Ｖｙ）の分だけ移動したものである。
【０１０６】
補間フレームＦｉ上の補間画素Ｐｉの位置は、フレームＦｋ上の画素Ｐｋの位置が動きベクトルＭＶｉ＝（Ｖｘｉ，Ｖｙｉ）の分だけ移動したものである。動きベクトルＭＶｉのＸ成分及びＹ成分については、以下の式が成立する。
Ｖｘｉ＝Ｖｘ・（１−Δｔ２／ΔＴ）
Ｖｙｉ＝Ｖｙ・（１−Δｔ２／ΔＴ）
【０１０７】
ここで、ΔＴ＝Δｔ１＋Δｔ２、である。補間画素Ｐｉの画素値は、フレームＦｋ上の画素Ｐｋの画素値とすることができる。
【０１０８】
なお、フレーム補間方法は、線形補間法に限定されず、画素の動き方に適した他の補間法を使用してもよい。
【０１０９】
上記したように実施の形態６のフレーム補間装置１は、動きベクトル検出装置６０で生成された推定精度の高い細密な動きベクトルＭＶを用いてフレーム補間を行うことができるので、補間フレーム内に現れる物体の境界部分におけるブロックノイズなどの画像の乱れを抑制することができ、高画質の補間フレームを生成することができる。
【０１１０】
なお、フレームバッファ１１は、解像度の高い補間フレームＦｉを生成するために、入力された映像信号１３に含まれるフレーム各々の解像度をより高い解像度に変換する機能を有していてもよい。これにより、フレーム補間装置１は、フレームレートが高く、且つ、解像度も高い高品質な映像信号１６を出力することができる。
【０１１１】
また、動きベクトル検出装置６０及び補間部１２の機能の全部または一部は、ハードウェア構成で実現されてもよいし、あるいは、マイクロプロセッサにより実行されるコンピュータプログラムで実現されてもよい。
【０１１２】
図２６は、当該機能の全部または一部をコンピュータプログラムで実現する場合のフレーム補間装置１の構成を概略的に示す図である。図２６のフレーム補間装置１は、ＣＰＵ（ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）を含むプロセッサ７１、専用処理ユニット７２、入出力インタフェース７３、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）７４、不揮発性メモリ７５、記録媒体７６及びバス８０を備えている。記録媒体７６としては、たとえば、ハードディスク（磁気ディスク）、光ディスクまたはフラッシュメモリが挙げられる。
【０１１３】
入出力インタフェース７３内には図２４のフレームバッファ１１を組み込むことができ、動きベクトル検出装置６０及び補間部１２は、プロセッサ７１または専用処理ユニット７２で実現することができる。プロセッサ７１は、不揮発性メモリ７５または記録媒体７６からコンピュータプログラムをロードし実行することによって動きベクトル検出装置６０の機能や補間部１２の機能を実現することができる。
【０１１４】
実施の形態１〜６の変形例．
以上、図面を参照して本発明の実施の形態について述べたが、これらは本発明の例示であり、上記以外の様々な形態を採用することもできる。たとえば、上記実施の形態１〜５では、いずれも、最終的に出力される動きベクトルＭＶの精度は１画素精度であるが、これに限定されるものではない。半画素精度や１／４画素精度や１．５画素精度といった、整数画素精度以外の画素精度の動きベクトルＭＶを生成するように各実施の形態の構成を変更することも可能である。
【０１１５】
また、上記実施の形態１の動きベクトル細密化部１３０では、図４に示されるように、全ての階層処理部１３３１〜１３３Ｎが動きベクトル補正部１３７１〜１３７Ｎを有しているが、これに限定されるものではない。階層処理部１３３１〜１３３Ｎのうちの少なくとも１つの階層処理部１３３ｍ（ｍは１〜Ｎのうちのいずれか）が動きベクトル補正部１３７ｍを有し、その他の階層処理部１３３ｎ（ｎ≠ｍ）が動きベクトル補正部を有していない形態もあり得る。また、実施の形態３の動きベクトル細密化部３３０についても、階層処理部３３３１〜３３３Ｎのうちの少なくとも１つの階層処理部１３３ｐ（ｐは１〜Ｎのうちのいずれか）が動きベクトル補正部１３７ｐを有し、その他の階層処理部１３３ｑ（ｑ≠ｐ）が動きベクトル補正部を有していない形態があり得る。実施の形態２，４，５の動きベクトル細密化部２３０，４３０Ａ，４３０Ｂ，１６０についても同様である。
【０１１６】
また、上記サブブロックＳＢｋ（ｊ）へのサブブロック番号ｊの割り当て法は、特に限定されるものではなく、任意の割り当て法を採用することができる。
【符号の説明】
【０１１７】
１  フレーム補間装置、  ２  入力部、  ３  出力部、  １０，２０，３０，４０，５０  動きベクトル検出装置、  １２０，２２０，３２０，４２０  動き推定部、  １３０，２３０，３３０，４３０Ａ，４３０Ｂ  動きベクトル細密化部、  １３３１〜１３３Ｎ，３３３１〜３３３Ｎ  階層処理部、  １３４１〜１３４Ｎ，３３４１〜３３４Ｎ  動きベクトル生成部、  １３７１〜１３７Ｎ，３３７１〜３３７Ｎ  動きベクトル補正部、  １４２ｋ，３４２ｋ  候補ベクトル抽出部、  １４３ｋ，３４３ｋ  評価部、  １４４ｋ，３４４ｋ  動きベクトル決定部、  ４４０  動きベクトル選択部、  １１  フレームバッファ、  １２  補間部、  ７１  プロセッサ、  ７２  専用処理ユニット、  ７３  入出力インタフェース、  ７４  ＲＡＭ、  ７５  不揮発性メモリ、  ７６  記録媒体、  ８０  バス。
【図１】
2012066866.tif 000005
【図２】
2012066866.tif 000006
【図３】
2012066866.tif 000007
【図４】
2012066866.tif 000008
【図５】
2012066866.tif 000009
【図６】
2012066866.tif 000010
【図７】
2012066866.tif 000011
【図８】
2012066866.tif 000012
【図９】
2012066866.tif 000013
【図１０】
2012066866.tif 000014
【図１１】
2012066866.tif 000015
【図１２】
2012066866.tif 000016
【図１３】
2012066866.tif 000017
【図１４】
2012066866.tif 000018
【図１５】
2012066866.tif 000019
【図１６】
2012066866.tif 000020
【図１７】
2012066866.tif 000021
【図１８】
2012066866.tif 000022
【図１９】
2012066866.tif 000023
【図２０】
2012066866.tif 000024
【図２１】
2012066866.tif 000025
【図２２】
2012066866.tif 000026
【図２３】
2012066866.tif 000027
【図２４】
2012066866.tif 000028
【図２５】
2012066866.tif 000029
【図２６】
2012066866.tif 000030
【手続補正書】
【提出日】平成25年3月25日(2013.3.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画像を構成する一連のフレームにおける動きを検出する動きベクトル検出装置であって、
前記一連のフレームの中の着目フレームを複数のブロックに分割し、前記一連のフレームのうち前記着目フレームとは時間的に異なるフレームを参照フレームとするとともに前記複数のブロックの各々を着目ブロックとして、前記参照フレームの中から前記着目ブロックと最も相関の高い参照ブロックを探索し、前記参照ブロックと前記着目サブブロックとの間の空間方向のズレを前記着目ブロックの動きベクトルとして検出する動き推定部と、
前記複数のブロックを第０階層の複数のサブブロックとみなし、前記第０階層の複数のサブブロックの各々を階層的に分割して第１階層乃至第Ｎ階層（Ｎは２以上の整数）に分類された複数のサブブロックを生成し、前記第１階層乃至第Ｎ階層の各階層ごとに前記複数のサブブロック各々の動きベクトルを生成する動きベクトル細密化部と
を備え、
前記動きベクトル細密化部は、
前記各階層よりも１つ上位の階層の当該サブブロックを生成元として当該各階層のサブブロックを生成し、前記複数のサブブロックの各々を着目サブブロックとして前記着目サブブロックの生成元である生成元サブブロックの動きベクトルを候補ベクトル集合に登録するとともに、前記生成元サブブロックの同一階層における周辺領域に位置するサブブロックの動きベクトルをも前記候補ベクトル集合に登録し、前記候補ベクトル集合から前記着目サブブロックの動きベクトルを選択する動きベクトル生成部と、
前記第１階層乃至第Ｎ階層のうちの少なくとも１つの補正対象階層について、当該補正対象階層の複数のサブブロックのそれぞれを補正対象サブブロックとし、前記補正対象サブブロックの周辺領域に位置する周辺サブブロックの動きベクトルに基づいて、前記補正対象サブブロックの動きベクトルを補正する動きベクトル補正部と
を含み、
前記動きベクトル補正部は、前記補正対象サブブロックの動きベクトル及び前記周辺サブブロックの動きベクトルの中から、前記補正対象サブブロックの動きベクトルと前記周辺サブブロックの動きベクトルとの間の距離の総和を最小とする補正候補ベクトルを選択し、前記補正候補ベクトルの動きベクトルで前記補正対象サブブロックの動きベクトルを置き換えることによって前記補正対象サブブロックの動きベクトルを補正する
ことを特徴とする動きベクトル検出装置。
【請求項２】
前記動きベクトル生成部は、前記動きベクトル補正部により補正された動きベクトルを用いて、前記補正対象階層よりも１つ下位の階層の複数のサブブロック各々の動きベクトルを生成することを特徴とする請求項１に記載の動きベクトル検出装置。
【請求項３】
前記動きベクトル生成部は、前記着目サブブロックの動きベクトルとして、前記候補ベクトル集合の中から信頼度の高い順に複数の動きベクトルを選択することを特徴とする請求項１または２に記載の動きベクトル検出装置。
【請求項４】
前記第１階層乃至第Ｎ階層の各階層の複数のサブブロックは、当該各階層よりも１つ上位の階層の複数のサブブロックの各々を分割することにより生成される
ことを特徴とする請求項１から３のうちのいずれか１項に記載の動きベクトル検出装置。
【請求項５】
前記動き推定部は、前記各ブロックの動きを推定した結果に基づいて、信頼度の高い順にＭ個（Ｍは２以上の整数）の動きベクトルを前記着目ブロックの動きベクトルとして検出することを特徴とする請求項１から４のうちのいずれか１項に記載の動きベクトル検出装置。
【請求項６】
前記第Ｎ階層のサブブロックの各々についてＭ個の前記動きベクトル細密化部により生成されたＭ個の動きベクトルの中から最も信頼度の高い動きベクトルを選択する動きベクトル選択部をさらに備え、
Ｍ個の前記動きベクトル細密化部は、前記動き推定部により検出された当該Ｍ個の動きベクトルに基づいて前記第Ｎ階層の各サブブロックの当該Ｍ個の動きベクトルをそれぞれ生成する
ことを特徴とする請求項５に記載の動きベクトル検出装置。
【請求項７】
前記動き推定部は、前記一連のフレームのうち時間的に互いに前後する一対のフレームを入力とし、前記一対のフレームのうちの一方を前記複数のブロックに分割し、前記各ブロックの前記一対のフレーム間の動きを推定して前記着目ブロックの動きベクトルを検出することを特徴とする請求項１から６のうちのいずれか１項に記載の動きベクトル検出装置。
【請求項８】
前記動き推定部は、前記一連のフレームのうち時間的に連続する少なくとも３枚のフレームを入力とし、前記３枚のフレームのうちの中間フレームを前記複数のブロックに分割し、前記少なくとも３枚のフレームにおける前記各ブロックの動きを推定して前記着目ブロックの動きベクトルを検出することを特徴とする請求項１から６のうちのいずれか１項に記載の動きベクトル検出装置。
【請求項９】
前記第Ｎ階層のサブブロックの動きベクトルは、１画素精度の動きベクトルであることを特徴とする請求項１から８のうちのいずれか１項に記載の動きベクトル検出装置。
【請求項１０】
請求項１から９のうちのいずれか１項に記載の動きベクトル検出装置と、
前記第Ｎ階層の複数のサブブロックの各々について前記動きベクトル検出装置により検出された動きベクトルに基づいて補間フレームを生成する補間部と
を備えることを特徴とするフレーム補間装置。
【請求項１１】
動画像を構成する一連のフレームの中の動きを検出する動きベクトル検出方法であって、
前記一連のフレームの中の着目フレームを複数のブロックに分割し、前記一連のフレームのうち前記着目フレームとは時間的に異なるフレームを参照フレームとするとともに前記複数のブロックの各々を着目ブロックとして、前記参照フレームの中から前記着目ブロックと最も相関の高い参照ブロックを探索し、前記参照ブロックと前記着目サブブロックとの間の空間方向のズレを前記着目ブロックの動きベクトルとして検出する動き推定ステップと、
前記複数のブロックを第０階層の複数のサブブロックとみなし、前記第０階層の複数のサブブロックの各々を階層的に分割して第１階層乃至第Ｎ階層（Ｎは２以上の整数）に分類された複数のサブブロックを生成し、前記第１階層乃至第Ｎ階層の各階層ごとに前記複数のサブブロック各々の動きベクトルを生成する動きベクトル細密化ステップと
を備え、
前記動きベクトル細密化ステップは、
前記各階層よりも１つ上位の階層の当該サブブロックを生成元として当該各階層のサブブロックを生成し、前記複数のサブブロックの各々を着目サブブロックとして前記着目サブブロックの生成元である生成元サブブロックの動きベクトルを候補ベクトル集合に登録するとともに、前記生成元サブブロックの同一階層における周辺領域に位置するサブブロックの動きベクトルをも前記候補ベクトル集合に登録し、前記候補ベクトル集合から前記着目サブブロックの動きベクトルを選択する動きベクトル生成ステップと、
前記第１階層乃至第Ｎ階層のうちの少なくとも１つの補正対象階層について、当該補正対象階層の複数のサブブロックのそれぞれを補正対象サブブロックとし、前記補正対象サブブロックの周辺領域に位置する周辺サブブロックの動きベクトルに基づいて、前記補正対象サブブロックの動きベクトルを補正する補正ステップと
を含み、
前記動きベクトル補正ステップは、
前記補正対象サブブロックの動きベクトル及び前記周辺サブブロックの動きベクトルの中から、前記補正対象サブブロックの動きベクトルと前記周辺サブブロックの動きベクトルとの間の距離の総和を最小とする補正候補ベクトルを選択するステップと、
前記補正候補ベクトルの動きベクトルで前記補正対象サブブロックの動きベクトルを置き換えることによって前記補正対象サブブロックの動きベクトルを補正するステップと
を含むことを特徴とする動きベクトル検出方法。
【請求項１２】
前記動きベクトル生成ステップは、当該補正された動きベクトルを用いて、前記補正対象階層よりも１つ下位の階層の複数のサブブロック各々の動きベクトルを生成するステップを含むことを特徴とする請求項１１に記載の動きベクトル検出方法。
【請求項１３】
前記動きベクトル生成ステップは、前記着目サブブロックの動きベクトルとして、前記候補ベクトル集合の中から信頼度の高い順に複数の動きベクトルを選択するステップを含むことを特徴とする請求項１１または１２に記載の動きベクトル検出方法。
【請求項１４】
前記第１階層乃至第Ｎ階層の各階層の複数のサブブロックは、当該各階層よりも１つ上位の階層の複数のサブブロックの各々を分割することにより生成されることを特徴とする請求項１１から１３のうちのいずれか１項に記載の動きベクトル検出方法。
【請求項１５】
前記動き推定ステップは、前記各ブロックの動きを推定した結果に基づいて、信頼度の高い順にＭ個（Ｍは２以上の整数）の動きベクトルを前記着目ブロックの動きベクトルとして検出するステップを含むことを特徴とする請求項１１から１４のうちのいずれか１項に記載の動きベクトル検出方法。
【請求項１６】
前記第Ｎ階層のサブブロックの各々について生成されたＭ個の当該動きベクトルの中から最も信頼度の高い動きベクトルを選択するステップをさらに備えることを特徴とする請求項１５に記載の動きベクトル検出装置。
【請求項１７】
前記動き推定ステップは、前記一連のフレームのうち時間的に互いに前後する一対のフレームを入力とし、前記一対のフレームのうちの一方を前記複数のブロックに分割し、前記各ブロックの前記一対のフレーム間の動きを推定して前記着目ブロックの動きベクトルを検出するステップを含むことを特徴とする請求項１１から１６のうちのいずれか１項に記載の動きベクトル検出方法。
【請求項１８】
前記動き推定ステップは、前記一連のフレームのうち時間的に連続する少なくとも３枚のフレームを入力とし、前記３枚のフレームのうちの中間フレームを前記複数のブロックに分割し、前記少なくとも３枚のフレームにおける前記各ブロックの動きを推定して前記着目ブロックの動きベクトルを検出するステップを含むことを特徴とする請求項１１から１６のうちのいずれか１項に記載の動きベクトル検出方法。
【請求項１９】
前記第Ｎ階層のサブブロックの動きベクトルは、１画素精度の動きベクトルであることを特徴とする請求項１１から１８のうちのいずれか１項に記載の動きベクトル検出方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の第１の態様による動きベクトル検出装置は、動画像を構成する一連のフレームにおける動きを検出する動きベクトル検出装置であって、前記一連のフレームの中の着目フレームを複数のブロックに分割し、前記一連のフレームのうち前記着目フレームとは時間的に異なるフレームを参照フレームとするとともに前記複数のブロックの各々を着目ブロックとして、前記参照フレームの中から前記着目ブロックと最も相関の高い参照ブロックを探索し、前記参照ブロックと前記着目サブブロックとの間の空間方向のズレを前記着目ブロックの動きベクトルとして検出する動き推定部と、前記複数のブロックを第０階層の複数のサブブロックとみなし、前記第０階層の複数のサブブロックの各々を階層的に分割して第１階層乃至第Ｎ階層（Ｎは２以上の整数）に分類された複数のサブブロックを生成し、前記第１階層乃至第Ｎ階層の各階層ごとに前記複数のサブブロック各々の動きベクトルを生成する動きベクトル細密化部とを備え、前記動きベクトル細密化部は、前記各階層よりも１つ上位の階層の当該サブブロックを生成元として当該各階層のサブブロックを生成し、前記複数のサブブロックの各々を着目サブブロックとして前記着目サブブロックの生成元である生成元サブブロックの動きベクトルを候補ベクトル集合に登録するとともに、前記生成元サブブロックの同一階層における周辺領域に位置するサブブロックの動きベクトルをも前記候補ベクトル集合に登録し、前記候補ベクトル集合から前記着目サブブロックの動きベクトルを選択する動きベクトル生成部と、前記第１階層乃至第Ｎ階層のうちの少なくとも１つの補正対象階層について、当該補正対象階層の複数のサブブロックのそれぞれを補正対象サブブロックとし、前記補正対象サブブロックの周辺領域に位置する周辺サブブロックの動きベクトルに基づいて、前記補正対象サブブロックの動きベクトルを補正する動きベクトル補正部とを含み、前記動きベクトル補正部は、前記補正対象サブブロックの動きベクトル及び前記周辺サブブロックの動きベクトルの中から、前記補正対象サブブロックの動きベクトルと前記周辺サブブロックの動きベクトルとの間の距離の総和を最小とする補正候補ベクトルを選択し、前記補正候補ベクトルの動きベクトルで前記補正対象サブブロックの動きベクトルを置き換えることによって前記補正対象サブブロックの動きベクトルを補正することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の第３の態様による動きベクトル検出方法は、動画像を構成する一連のフレームの中の動きを検出する動きベクトル検出方法であって、前記一連のフレームの中の着目フレームを複数のブロックに分割し、前記一連のフレームのうち前記着目フレームとは時間的に異なるフレームを参照フレームとするとともに前記複数のブロックの各々を着目ブロックとして、前記参照フレームの中から前記着目ブロックと最も相関の高い参照ブロックを探索し、前記参照ブロックと前記着目サブブロックとの間の空間方向のズレを前記着目ブロックの動きベクトルとして検出する動き推定ステップと、前記複数のブロックを第０階層の複数のサブブロックとみなし、前記第０階層の複数のサブブロックの各々を階層的に分割して第１階層乃至第Ｎ階層（Ｎは２以上の整数）に分類された複数のサブブロックを生成し、前記第１階層乃至第Ｎ階層の各階層ごとに前記複数のサブブロック各々の動きベクトルを生成する動きベクトル細密化ステップとを備え、前記動きベクトル細密化ステップは、前記各階層よりも１つ上位の階層の当該サブブロックを生成元として当該各階層のサブブロックを生成し、前記複数のサブブロックの各々を着目サブブロックとして前記着目サブブロックの生成元である生成元サブブロックの動きベクトルを候補ベクトル集合に登録するとともに、前記生成元サブブロックの同一階層における周辺領域に位置するサブブロックの動きベクトルをも前記候補ベクトル集合に登録し、前記候補ベクトル集合から前記着目サブブロックの動きベクトルを選択する動きベクトル生成ステップと、前記第１階層乃至第Ｎ階層のうちの少なくとも１つの補正対象階層について、当該補正対象階層の複数のサブブロックのそれぞれを補正対象サブブロックとし、前記補正対象サブブロックの周辺領域に位置する周辺サブブロックの動きベクトルに基づいて、前記補正対象サブブロックの動きベクトルを補正する補正ステップとを含み、前記動きベクトル補正ステップは、前記補正対象サブブロックの動きベクトル及び前記周辺サブブロックの動きベクトルの中から、前記補正対象サブブロックの動きベクトルと前記周辺サブブロックの動きベクトルとの間の距離の総和を最小とする補正候補ベクトルを選択するステップと、前記補正候補ベクトルの動きベクトルで前記補正対象サブブロックの動きベクトルを置き換えることによって前記補正対象サブブロックの動きベクトルを補正するステップとを含むことを特徴とする。
【国際調査報告】
2012066866.tif 000031
2012066866.tif 000032
2012066866.tif 000033
2012066866.tif 000034