(57)【要約】【課題】動きベクトル予測の候補となるブロックが有意な動き情報を持たない場合にも、動きベクトルの予測効率を向上させ、差分動きベクトルの符号化効率を向上させることができる動画像符号化装置、動画像復号装置を提供する。【解決手段】  動画像符号化装置１００において、動きベクトル予測器１１４は、フレームメモリ１０４に格納されている符号化済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たないなどの場合には、既再生の画素信号からなるテンプレート領域との相関が高い領域を対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と対象領域との間の空間的な位置関係に基づいて予測動きベクトルを生成する。そして、この予測動きベクトルを用いて差分動きベクトルを算出することができる。【選択図】  図１
2010093646.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を複数の領域に分割する領域分割手段と、
複数の既再生画像を参照画像として格納するための格納手段と、
前記複数の領域のうち処理対象である対象領域との相関が高い領域を前記格納手段に格納されている複数の参照画像から探索し、前記対象領域の動きベクトルを生成する動き推定手段と、
前記動き推定手段により探索された参照画像を指示する参照フレーム番号と、前記対象領域と探索された領域との間の空間的な位置関係を示す動きベクトルとに基づいて、前記対象領域の予測信号を生成する予測信号生成手段と、
１つ以上の符号化済みの動きベクトルから予測動きベクトルを生成し、前記動き推定手段により生成された動きベクトルと該予測動きベクトルとの差分動きベクトルを生成する動きベクト予測手段と、
前記対象領域の予測信号と前記対象領域の対象画素信号との残差信号を生成する残差信号生成手段と、
前記残差信号と前記参照フレーム番号と前記動きベクトル予測手段にて生成された差分動きベクトルとを符号化する符号化手段と、
前記符号化された残差信号を復元した上で前記予測信号に加算し、再生画像を生成し、前記格納手段に参照画像として記憶させる復元手段と、を備え、
前記動きベクトル予測手段は、
符号化済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を、前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成することを特徴とする動画像符号化装置。
【請求項２】
前記テンプレート領域を対象領域に隣接する既再生の画素信号からなる対象隣接領域とすることを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記テンプレート領域を前記動きベクトル予測手段にて選択された領域に隣接する既再生の隣接画素信号からなる対象隣接領域とすることを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
前記予測生成手段は、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成手段を含んでおり、
前記予測動きベクトル予測手段は、さらに、前記複数の参照画像について、前記予測信号合成手段により探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、
前記選択された領域の予測信号が前記予測信号合成手段により生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることを特徴とする請求項１から請求項３のいずれか一項に記載の動画像符号化装置。
【請求項５】
圧縮データの中から処理対象である対象領域の差分動きベクトルと参照フレーム番号と残差信号の符号化データとを復号するデータ復号手段と、
複数の既再生画像を参照画像として格納するための格納手段と
前記残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、
１つ以上の復元済みの動きベクトルから予測動きベクトルを生成し、前記データ復号手段にて復号した差分動きベクトルと該予測動きベクトルを加算して動きベクトルを復元する動きベクトル予測手段と、
前記動きベクトル予測手段にて復元した動きベクトルと前記対象領域の参照フレーム番号に基づいて、前記対象領域の予測信号を生成する予測信号生成手段と、
前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、を備え、
前記動きベクトル予測手段は、
復号済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成することを特徴とする動画像復号装置。
【請求項６】
前記テンプレート領域を対象領域に隣接する既再生の画素信号からなる対象隣接領域とすることを特徴とする請求項５に記載の動画像復号装置。
【請求項７】
前記テンプレート領域を前記動きベクトル予測手段にて選択された領域に隣接する既再生の隣接画素信号からなる対象隣接領域とすることを特徴とする請求項５に記載の動画像復号装置。
【請求項８】
前記予測生成手段は、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成手段を含んでおり、
前記予測動きベクトル予測手段は、さらに、前記複数の参照画像について、前記予測信号合成手段により探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、
前記選択された領域の予測信号が前記予測信号合成手段により生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることを特徴とする請求項５から請求項７のいずれか一項に記載の動画像復号装置。
【請求項９】
入力画像を複数の領域に分割する領域分割ステップと、
前記複数の領域のうち処理対象である対象領域との相関が高い領域を、格納手段に格納されている複数の参照画像から探索し、前記対象領域の動きベクトルを生成する動き推定ステップと、
前記動き推定ステップにより探索された参照画像を指示する参照フレーム番号と、前記対象領域と探索された領域との間の空間的な位置関係を示す動きベクトルとに基づいて、前記対象領域の予測信号を生成する予測信号生成ステップと、
１つ以上の符号化済みの動きベクトルから予測動きベクトルを生成し、前記動き推定ステップにおいて生成された動きベクトルと該予測動きベクトルとの差分動きベクトルを生成する動きベクト予測ステップと、
前記対象領域の予測信号と前記対象領域の対象画素信号との残差信号を生成する残差信号生成ステップと、
前記残差信号と前記参照フレーム番号と前記動きベクトル予測ステップにて生成された差分動きベクトルとを符号化する符号化ステップと、
前記符号化された残差信号を復元した上で前記予測信号に加算し、再生画像を生成し、前記格納手段に参照画像として記憶させる復元ステップと、を備え、
前記動きベクトル予測ステップは、
符号化済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を、前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成することを特徴とする動画像符号化方法。
【請求項１０】
前記予測生成ステップは、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成ステップを含んでおり、
前記予測動きベクトル予測ステップは、さらに、前記複数の参照画像について、前記予測信号合成ステップにおいて探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、
前記選択された領域の予測信号が前記予測信号合成ステップにおいて生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることを特徴とする請求項９に記載の動画像符号化方法。
【請求項１１】
圧縮データの中から処理対象である対象領域の差分動きベクトルと参照フレーム番号と残差信号の符号化データとを復号するデータ復号ステップと、
複数の既再生画像を参照画像として格納するための格納ステップと
前記残差信号の符号化データから再生残差信号を復元する残差信号復元ステップと、
１つ以上の復元済みの動きベクトルから予測動きベクトルを生成し、前記データ復号ステップにて復号した差分動きベクトルと該予測動きベクトルを加算して動きベクトルを復元する動きベクトル予測ステップと、
前記動きベクトル予測ステップにて復元した動きベクトルと前記対象領域の参照フレーム番号に基づいて、前記対象領域の予測信号を生成する予測信号生成ステップと、
前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の画素信号を復元し、格納手段に参照画像として格納せる画像復元ステップと、を備え、
前記動きベクトル予測ステップは、
復号済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成することを特徴とする動画像復号方法。
【請求項１２】
前記予測生成ステップは、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成ステップを含んでおり、
前記予測動きベクトル予測ステップは、さらに、前記複数の参照画像について、前記予測信号合成ステップにおいて探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、
前記選択された領域の予測信号が前記予測信号合成ステップにおいて生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることを特徴とする請求項１１に記載の動画像復号方法。
【請求項１３】
入力画像を複数の領域に分割する領域分割モジュールと、
前記複数の領域のうち処理対象である対象領域との相関が高い領域を、格納手段に格納されている複数の参照画像から探索し、前記対象領域の動きベクトルを生成する動き推定モジュールと、
前記動き推定モジュールにより探索された参照画像を指示する参照フレーム番号と、前記対象領域と探索された領域との間の空間的な位置関係を示す動きベクトルとに基づいて、前記対象領域の予測信号を生成する予測信号生成モジュールと、
１つ以上の符号化済みの動きベクトルから予測動きベクトルを生成し、前記動き推定モジュールにおいて生成された動きベクトルと該予測動きベクトルとの差分動きベクトルを生成する動きベクト予測モジュールと、
前記対象領域の予測信号と前記対象領域の対象画素信号との残差信号を生成する残差信号生成モジュールと、
前記残差信号と前記参照フレーム番号と前記動きベクトル予測モジュールにて生成された差分動きベクトルとを符号化する符号化モジュールと、
前記符号化された残差信号を復元した上で前記予測信号に加算し、再生画像を生成し、前記格納手段に参照画像として記憶させる復元モジュールと、を備え、
前記動きベクトル予測モジュールは、
符号化済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を、前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成することを特徴とする動画像符号化プログラム。
【請求項１４】
前記予測生成モジュールは、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成モジュールを含んでおり、
前記予測動きベクトル予測モジュールは、さらに、前記複数の参照画像について、前記予測信号合成モジュールにより探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、
前記選択された領域の予測信号が前記予測信号合成モジュールにより生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることを特徴とする請求項１３に記載の動画像符号化プログラム。
【請求項１５】
圧縮データの中から処理対象である対象領域の差分動きベクトルと参照フレーム番号と残差信号の符号化データとを復号するデータ復号モジュールと、
複数の既再生画像を参照画像として格納するための格納モジュールと
前記残差信号の符号化データから再生残差信号を復元する残差信号復元モジュールと、
１つ以上の復元済みの動きベクトルから予測動きベクトルを生成し、前記データ復号モジュールにて復号した差分動きベクトルと該予測動きベクトルを加算して動きベクトルを復元する動きベクトル予測モジュールと、
前記動きベクトル予測モジュールにて復元した動きベクトルと前記対象領域の参照フレーム番号に基づいて、前記対象領域の予測信号を生成する予測信号生成モジュールと、
前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の画素信号を復元し、格納手段に参照画像として格納せる画像復元モジュールと、を備え、
前記動きベクトル予測モジュールは、
復号済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成することを特徴とする動画像復号プログラム。
【請求項１６】
前記予測生成モジュールは、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成モジュールを含んでおり、
前記予測動きベクトル予測モジュールは、さらに、前記複数の参照画像について、前記予測信号合成モジュールにより探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、
前記選択された領域の予測信号が前記予測信号合成モジュールにより生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることを特徴とする請求項１５に記載の動画像復号プログラム。
【請求項１７】
請求項１〜４のいずれか一項に記載の動画像符号化装置と、請求項５〜８のいずれか一項に記載の動画像復号装置と、を備える画像処理システムであって、
前記動画像符号化装置において符号化されたデータを、前記動画像復号装置が復号することを特徴とする動画像処理システム。
【請求項１８】
請求項９に記載の動画像符号化方法と、請求項１０に記載の動画像復号方法と、を備える画像処理方法であって、
前記動画像符号化方法において符号化されたデータを、前記動画像復号方法において復号することを特徴とする動画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像処理システムおよび動画像処理方法に関するもので、とりわけ、フレーム間予測に伴う動きベクトルの予測符号化に関するものである。
【背景技術】
【０００２】
静止画像や動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ−１〜４やＩＴＵ（International Telecommunication Union）Ｈ．２６１〜Ｈ．２６４の方式が広く用いられている。
【０００３】
これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化・復号処理を行う。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（圧縮された画像データが復元されたもの）を用いて予測信号を生成した上で、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある隣接する既再生の画像信号を参照し、動きの補正を行ない、予測信号を生成し、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。
【０００４】
例えば、Ｈ．２６４の画面内予測符号化では、符号化の対象となるブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。図３２は、ＩＴＵ  Ｈ．２６４に用いられる画面内予測方法を説明するための模式図である。図３２（Ａ）において、対象ブロック１８０２は符号化の対象となるブロックであり、その対象ブロック１８０２の境界に隣接する画素Ａ〜Ｍからなる画素群１８０１は隣接領域であり、過去の処理において既に再生された画像信号である。
【０００５】
この場合、対象ブロック１８０２の真上にある隣接画素である画素群１８０１を下方に引き伸ばして予測信号を生成する。また図３２（Ｂ）では、対象ブロック１８０４の左にある既再生画素（Ｉ〜Ｌ）を右に引き伸ばして予測信号を生成する。予測信号を生成する具体的な方法はたとえば特許文献１に記載されている。このように図３２（Ａ）〜（Ｉ）に示す方法で生成された９つの予測信号のそれぞれを対象ブロックの画素信号との差分をとり、差分値が最も小さいものを最適の予測信号とする。
【０００６】
通常の画面間予測符号化では、符号化の対象となるブロックについて、その画素信号に類似する信号を既に再生済みの画面から探索するという方法で予測信号を生成する。そして、対象ブロックと探索した信号が構成する領域との間の空間的な変位量である動きベクトルと、対象ブロックの画素信号と予測信号との残差信号とを符号化する。このようにブロック毎に動きベクトルを探索する手法はブロックマッチングと呼ばれる。
【０００７】
図２は、ブロックマッチング処理を説明するための模式図である。ここでは、符号化対象の画面４００上の対象ブロック５０１を例に対象ブロックの予測信号生成手順を説明する。画面４０１は既に再生済みであり、領域５１１は対象ブロック５０１と空間的に同一位置の領域である。ブロックマッチングでは、領域５１１を囲む探索範囲８１１を設定し、この探索範囲の画素信号から対象ブロック５０１の画素信号との絶対値誤差和が最小となる領域７０１を検出する。この領域７０１の信号が予測信号となり、領域５１１から領域７０１への変位量が動きベクトル６０１として検出される。
【０００８】
Ｈ．２６４では、予測性能を高めるため、複数の再生済み画像を参照画像として画面間予測を実施する。この場合、上記の図２で説明したブロックマッチングを、画面４０１を含む複数の参照画像に対して実施し、符号化効率の高い予測信号を検出する。また、画像の局所的な特徴の変化に対応するため、動きベクトルを符号化するブロックサイズが異なる複数の予測タイプを用意している。Ｈ．２６４の予測タイプについては、例えば特許文献２に記載されている。
【０００９】
動画像データの圧縮符号化では、各画面（フレーム、フィールド）の符号化順序は任意でよい。そのため、再生済み画面を参照して予測信号を生成する画面間予測にも、符号化順序について３種類の手法がある。第１の手法は、再生順で過去の再生済み画面を参照して予測信号を生成する前方向予測であり、第２の手法は、再生順で未来の再生済み画面を参照して後方向予測であり、第３の手法は、前方向予測と後方向予測を共に行い、２つの予測信号を平均化する双方向予測である。画面間予測の種類については、例えば特許文献３に記載されている。
【００１０】
画面間予測にて検出された動きベクトルは予測符号化される。具体的には、隣接ブロックの動きベクトルから生成される予測動きベクトルと対象ブロックの動きベクトルとの間の差分ベクトルが符号化される。Ｈ．２６４では、対象ブロックの直上、直左、そして右上の符号化済みブロックの動きベクトルを候補として、それぞれ水平成分と垂直成分の中間値を求め予測動きベクトルとする。そして、差分動きベクトルと参照画像を指示する情報（参照フレーム番号と呼ぶ, reference index）を符号化する。
【００１１】
動きベクトル予測の候補とする符号化済みブロック（予測対象ブロック）に付随する参照フレーム番号と、符号化対象の動きベクトルに付随する参照フレーム番号は一致するとは限らない。異なる参照画像に対する動きベクトルはフレーム間隔が異なるため、その差分値は通常大きくなる。そこで、特許文献４では、対象ブロックの参照フレーム番号と予測対象ブロックの参照フレーム番号が一致しない場合、予測対象ブロックの動きベクトルを、対象ブロックの参照フレーム番号にて指示される参照画像上にスケーリングした後、スケーリングした動きベクトルを動きベクトル予測に用いている。
【特許文献１】米国特許公報第６７６５９６４号
【特許文献２】米国特許公報第７００３０３５号
【特許文献３】米国特許公報第６２５９７３９号
【特許文献４】日本公開特許２００４−３３６３６９
【発明の開示】
【発明が解決しようとする課題】
【００１２】
特許文献４を含む背景技術で示した動きベクトル予測では、予測対象ブロックの動きベクトル値が０であるとき、予測動きベクトルの値は０となる。また、予測対象ブロックの予測信号生成方法が動きベクトルを伴わない方法（例えば、画面内予測）の場合にも、予測動きベクトルの値は０となる。このように、動きベクトル予測の候補となるブロックの動きベクトルが有意な情報を持たない場合には、動きベクトル予測の効率を向上できないという課題がある。
【００１３】
また、特許文献４は、スケーリング処理はフレーム間の動きの速度が一定であることを前提としていため、フレーム間の実際の動きが等速でない場合、スケーリング処理により差分動きベクトル値が大きくなり、差分動きベクトルの符号化効率が低下する可能性が残る。
【００１４】
そこで、本発明は、上述の課題を解決するために、予測対象ブロックの予測動きベクトルが０などであっても、動きベクトル予測を効率的に行うことができる動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の動画像符号化装置は、入力画像を複数の領域に分割する領域分割手段と、複数の既再生画像を参照画像として格納するための格納手段と、前記複数の領域のうち処理対象である対象領域との相関が高い領域を前記格納手段に格納されている複数の参照画像から探索し、前記対象領域の動きベクトルを生成する動き推定手段と、前記動き推定手段により探索された参照画像を指示する参照フレーム番号と、前記対象領域と探索された領域との間の空間的な位置関係を示す動きベクトルとに基づいて、前記対象領域の予測信号を生成する予測信号生成手段と、１つ以上の符号化済みの動きベクトルから予測動きベクトルを生成し、前記動き推定手段により生成された動きベクトルと該予測動きベクトルとの差分動きベクトルを生成する動きベクト予測手段と、前記対象領域の予測信号と前記対象領域の対象画素信号との残差信号を生成する残差信号生成手段と、前記残差信号と前記参照フレーム番号と前記動きベクトル予測手段にて生成された差分動きベクトルとを符号化する符号化手段と、前記符号化された残差信号を復元した上で前記予測信号に加算し、再生画像を生成し、前記格納手段に参照画像として記憶させる復元手段と、を備え、前記動きベクトル予測手段は、符号化済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を、前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成するように構成されている。
【００１６】
また、本発明の動画像符号化装置は、前記テンプレート領域を対象領域に隣接する既再生の画素信号からなる対象隣接領域とすることが好ましい。
【００１７】
また、本発明の動画像符号化装置は、前記テンプレート領域を前記動きベクトル予測手段にて選択された領域に隣接する既再生の隣接画素信号からなる対象隣接領域とすることが好ましい。
【００１８】
本発明によれば、対象領域に隣接する既再生の予測対象ブロックの動きベクトルが０であった場合や、または動きベクトルを伴わない予測方法を用いられた場合であっても、対象領域における動きベクトルの予測を効率的に行い、また符号化効率を向上させることができる。
【００１９】
また、本発明の動画像符号化装置において、前記予測生成手段は、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成手段を含んでおり、前記予測動きベクトル予測手段は、さらに、前記複数の参照画像について、前記予測信号合成手段により探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、前記選択された領域の予測信号が前記予測信号合成手段により生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることが好ましい。
【００２０】
本発明によれば、予測対象領域の予測信号がテンプレートマッチングにて生成された場合には、その際に検出される動きベクトルを用いることでテンプレートマッチング処理効率を向上させることができる。
【００２１】
また、本発明の動画像復号装置は、圧縮データの中から処理対象である対象領域の差分動きベクトルと参照フレーム番号と残差信号の符号化データとを復号するデータ復号手段と、複数の既再生画像を参照画像として格納するための格納手段と前記残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、１つ以上の復元済みの動きベクトルから予測動きベクトルを生成し、前記データ復号手段にて復号した差分動きベクトルと該予測動きベクトルを加算して動きベクトルを復元する動きベクトル予測手段と、前記動きベクトル予測手段にて復元した動きベクトルと前記対象領域の参照フレーム番号に基づいて、前記対象領域の予測信号を生成する予測信号生成手段と、
【００２２】
前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、を備え、前記動きベクトル予測手段は、復号済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成するように構成されている。
【００２３】
また、本発明の動画像復号装置は、前記テンプレート領域を対象領域に隣接する既再生の画素信号からなる対象隣接領域とすることが好ましい。
【００２４】
また、本発明の動画像復号装置は、前記テンプレート領域を前記動きベクトル予測手段にて選択された領域に隣接する既再生の隣接画素信号からなる対象隣接領域とすることが好ましい。
【００２５】
本発明によれば、対象領域に隣接する既再生の予測対象ブロックの動きベクトルが０であった場合や、または動きベクトルを伴わない予測方法を用いられた場合であっても、対象領域における動きベクトルの予測を効率的に行わせ、また符号化効率を向上させることができ、よってそのように符号化されたデータを復号することができる。
【００２６】
また、本発明の動画像復号装置において、前記予測生成手段は、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成手段を含んでおり、前記予測動きベクトル予測手段は、さらに、前記複数の参照画像について、前記予測信号合成手段により探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、前記選択された領域の予測信号が前記予測信号合成手段により生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることが好ましい。
【００２７】
本発明によれば、予測対象領域の予測信号がテンプレートマッチングにて生成された場合には、その際に検出される動きベクトルを用いることでテンプレートマッチング処理効率を向上させることができる。
【００２８】
ところで、本発明は、上記のように動画像符号化装置または動画像復号装置の発明として記述できる他に、以下のように、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラムの発明としても記述することができる。これらはカテゴリーが異なるだけで、実質的に同一の発明であり、同様の作用・効果を奏する。
【００２９】
すなわち、本発明の動画像符号化方法は、入力画像を複数の領域に分割する領域分割ステップと、前記複数の領域のうち処理対象である対象領域との相関が高い領域を、格納手段に格納されている複数の参照画像から探索し、前記対象領域の動きベクトルを生成する動き推定ステップと、前記動き推定ステップにより探索された参照画像を指示する参照フレーム番号と、前記対象領域と探索された領域との間の空間的な位置関係を示す動きベクトルとに基づいて、前記対象領域の予測信号を生成する予測信号生成ステップと、１つ以上の符号化済みの動きベクトルから予測動きベクトルを生成し、前記動き推定ステップにおいて生成された動きベクトルと該予測動きベクトルとの差分動きベクトルを生成する動きベクト予測ステップと、前記対象領域の予測信号と前記対象領域の対象画素信号との残差信号を生成する残差信号生成ステップと、前記残差信号と前記参照フレーム番号と前記動きベクトル予測ステップにて生成された差分動きベクトルとを符号化する符号化ステップと、前記符号化された残差信号を復元した上で前記予測信号に加算し、再生画像を生成し、前記格納手段に参照画像として記憶させる復元ステップと、を備え、前記動きベクトル予測ステップは、符号化済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を、前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成する。
【００３０】
また、本発明の動画像符号化方法において、前記予測生成ステップは、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成ステップを含んでおり、前記予測動きベクトル予測ステップは、さらに、前記複数の参照画像について、前記予測信号合成ステップにおいて探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、前記選択された領域の予測信号が前記予測信号合成ステップにおいて生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることが好ましい。
【００３１】
また、本発明の動画像復号方法は、圧縮データの中から処理対象である対象領域の差分動きベクトルと参照フレーム番号と残差信号の符号化データとを復号するデータ復号ステップと、複数の既再生画像を参照画像として格納するための格納ステップと、前記残差信号の符号化データから再生残差信号を復元する残差信号復元ステップと、１つ以上の復元済みの動きベクトルから予測動きベクトルを生成し、前記データ復号ステップにて復号した差分動きベクトルと該予測動きベクトルを加算して動きベクトルを復元する動きベクトル予測ステップと、前記動きベクトル予測ステップにて復元した動きベクトルと前記対象領域の参照フレーム番号に基づいて、前記対象領域の予測信号を生成する予測信号生成ステップと、前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の画素信号を復元し、格納手段に参照画像として格納せる画像復元ステップと、を備え、前記動きベクトル予測ステップは、復号済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成する。
【００３２】
また、本発明の動画像復号方法において、前記予測生成ステップは、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成ステップを含んでおり、前記予測動きベクトル予測ステップは、さらに、前記複数の参照画像について、前記予測信号合成ステップにおいて探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、前記選択された領域の予測信号が前記予測信号合成ステップにおいて生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることが好ましい。
【００３３】
また、本発明の動画像符号化プログラムは、入力画像を複数の領域に分割する領域分割モジュールと、前記複数の領域のうち処理対象である対象領域との相関が高い領域を、格納手段に格納されている複数の参照画像から探索し、前記対象領域の動きベクトルを生成する動き推定モジュールと、前記動き推定モジュールにより探索された参照画像を指示する参照フレーム番号と、前記対象領域と探索された領域との間の空間的な位置関係を示す動きベクトルとに基づいて、前記対象領域の予測信号を生成する予測信号生成モジュールと、１つ以上の符号化済みの動きベクトルから予測動きベクトルを生成し、前記動き推定モジュールにおいて生成された動きベクトルと該予測動きベクトルとの差分動きベクトルを生成する動きベクト予測モジュールと、前記対象領域の予測信号と前記対象領域の対象画素信号との残差信号を生成する残差信号生成モジュールと、前記残差信号と前記参照フレーム番号と前記動きベクトル予測モジュールにて生成された差分動きベクトルとを符号化する符号化モジュールと、前記符号化された残差信号を復元した上で前記予測信号に加算し、再生画像を生成し、前記格納手段に参照画像として記憶させる復元モジュールと、を備え、前記動きベクトル予測モジュールは、符号化済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を、前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成するように構成されている。
【００３４】
また、本発明の動画像符号化プログラムにおいて、前記予測生成モジュールは、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成モジュールを含んでおり、前記予測動きベクトル予測モジュールは、さらに、前記複数の参照画像について、前記予測信号合成モジュールにより探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、前記選択された領域の予測信号が前記予測信号合成モジュールにより生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることが好ましい。
【００３５】
本発明の動画像復号プログラムは、圧縮データの中から処理対象である対象領域の差分動きベクトルと参照フレーム番号と残差信号の符号化データとを復号するデータ復号モジュールと、複数の既再生画像を参照画像として格納するための格納モジュールと、前記残差信号の符号化データから再生残差信号を復元する残差信号復元モジュールと、１つ以上の復元済みの動きベクトルから予測動きベクトルを生成し、前記データ復号モジュールにて復号した差分動きベクトルと該予測動きベクトルを加算して動きベクトルを復元する動きベクトル予測モジュールと、前記動きベクトル予測モジュールにて復元した動きベクトルと前記対象領域の参照フレーム番号に基づいて、前記対象領域の予測信号を生成する予測信号生成モジュールと、前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の画素信号を復元し、格納手段に参照画像として格納せる画像復元モジュールと、を備え、前記動きベクトル予測モジュールは、復号済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成するように構成されている。
【００３６】
また、本発明の動画像復号プログラムにおいて、前記予測生成モジュールは、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成モジュールを含んでおり、前記予測動きベクトル予測モジュールは、さらに、前記複数の参照画像について、前記予測信号合成モジュールにより探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、前記選択された領域の予測信号が前記予測信号合成モジュールにより生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることが好ましい。
【００３７】
また、本発明の画像処理システムは、上記動画像符号化装置と、上記動画像復号装置と、を備える画像処理システムであって、前記動画像符号化装置において符号化されたデータを、前記動画像復号装置が復号するように構成されている。
【００３８】
また、本発明の画像処理方法は、上記動画像符号化方法と、上記動画像復号方法と、を備える画像処理方法であって、前記動画像符号化方法において符号化されたデータを、前記動画像復号方法において復号する。
【発明の効果】
【００３９】
本発明によれば、対象領域の周辺の符号化済み信号からなる領域を用いて対象領域の動きベクトルを生成することができるため、対象領域に隣接する予測対象領域が有意な値の動きベクトルを持たない場合においても、値の小さい差分動きベクトルを生成することができる。また、フレーム間の動きが等速でない場合においても、対象領域の参照フレーム番号にて指示される参照画像上を探索することにより、値の小さい差分動きベクトルが生成できる。よって、符号化効率を高める予測動きベクトルを生成でき、符号化効率を向上させるという効果がある。
【発明を実施するための最良の形態】
【００４０】
以下、添付図面を参照しながら本実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【００４１】
図１は、本実施形態の動きベクトル予測処理に係る動画像符号化装置１００を示すブロック図である。この動画像符号化装置１００は、入力端子１０１、ブロック分割器１０２（領域分割手段）、予測信号生成器１０３、フレームメモリ１０４（格納手段）、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、出力端子１１２、予測信号推定器１１３（動き推定手段）及び動きベクトル予測器１１４（動きベクトル予測手段）を備えている。変換器１０６、量子化器１０７及びエントロピー符号化器は、符号化手段として機能する。また、逆量子化器１０８、逆変換器１０９、および加算器１１０は、復元手段として機能する。
【００４２】
入力端子１０１は、複数枚の画像からなる動画像の信号を入力する端子である。
【００４３】
ブロック分割器１０２は、入力端子１０１から入力された信号で表される、符号化の対象なる画像を複数の領域に分割する。本実施形態では、８ｘ８の画素からなるブロックに分割するが、それ以外のブロックの大きさ又は形に分割してもよい。
【００４４】
予測信号推定器１１３は、符号化処理の対象となる対象領域（対象ブロック）の予測信号を生成するために必要となる動きベクトルなどの付加情報を検出する。この予測信号推定器１１３の具体的な処理は後述する。
【００４５】
動きベクトル予測器１１４では、付加情報に含まれる動きベクトルから予測動きベクトルを減算し、差分動きベクトルを生成する。差分動きベクトルは付加情報として、エントロピー符号化器１１１に出力される。動きベクトル予測器１１４の具体的な処理については後述する。
【００４６】
予測信号生成器１０３は、ライン１１３を経由して入力された付加情報およびラインＬ１１４を経由して得られたフレームメモリ１０４に記憶されている参照画像に基づいて対象ブロックの予測信号を生成し、減算器１０５に出力する。
【００４７】
減算器１０５は、ラインＬ１０２を経由して入力されたブロック分割器１０２で分割されて得られた対象ブロックから、ラインＬ１０３を経由して入力された予測信号生成器１０３にて生成された予測信号を減算して、残差信号を生成する部分である。減算器１０５は、減算して得た残差信号を、ラインＬ１０５を経由して変換器１０６に出力する。
【００４８】
変換器１０６は、減算して得られた残差信号を離散コサイン変換する部分である。また、量子化器１０７は、変換器１０６により離散コサイン変換された変換係数を量子化する部分である。エントロピー符号化器１１１は、量子化器１０７により量子化された変換係数を符号化するとともに予測方法に関する付加情報を符号化し、符号化された情報をラインＬ１１１経由で出力する。出力端子１１２は、エントロピー符号化器１１１から入力した情報を外部に出力する。
【００４９】
逆量子化器１０８は、量子化された変換係数を逆量子化する。逆変換器１０９は、逆離散コサイン変換により残差信号を復元する。加算器１１０は、復元された残差信号とラインＬ１０３から送られた予測信号とを加算し、対象ブロックの信号を再生し、フレームメモリ１０４に格納する。本実施形態では、変換器１０６と逆変換器１０９とを用いているが、これらの変換器に代わる他の変換処理を用いてもよい。また、変換器１０６及び逆変換器１０９は必須ではない。このように、後続の対象ブロックに対する画面内予測もしくは画面間予測を行うために、圧縮された対象ブロックの画素信号は、復元されフレームメモリ１０４に参照画像として記憶される。
【００５０】
次に、予測信号推定器１１３と動きベクトル予測器１１４について説明する。
【００５１】
予測信号推定器１１３では、符号化処理の対象となる対象ブロックの画像信号に類似する予測信号を生成するための予測方法ならびに予測パラメータの決定処理を行なう。予測方法には大きく分けて画面内予測あるいは画面間予測があり、複数の予測方法にて対象ブロックの候補予測信号を生成し、符号化効率が最も高いと判断される予測信号を選択する。
【００５２】
画面内予測方法では、例えば、図３２（Ａ）に示すように、対象ブロック１８０２に隣接する画素Ａ〜Ｍからなる画素群１８０１のうち、対象ブロック１８０２の真上にある隣接画素である画素群１８０１を下方に引き伸ばして予測信号を生成する。画素群１８０１は過去の処理において既に再生された画像信号である。また図３２（Ｂ）では、対象ブロック１８０４の左にある既再生画素（Ｉ〜Ｌ）を右に引き伸ばして予測信号を生成する。予測信号を生成する具体的な方法はたとえば特許文献１に記載されている。このように図３２（Ａ）〜（Ｉ）に示す方法で生成された９つの候補予測信号が生成できる。
【００５３】
画面間予測方法では、フレームメモリ１０４に記憶されている既再生信号から符号化処理の対象となる対象ブロックに類似する候補予測信号を探索し、探索した候補予測信号を既再生信号から取得するために必要となる動き情報を抽出する。この手法はブロックマッチングと呼ばれる。
【００５４】
図２は、ブロックマッチング処理を説明するための模式図である。ここでは、符号化対象の画面４００上の対象ブロック５０１を例に対象ブロックの予測信号生成手順を説明する。画面４０１は既に再生済みであり、領域５１１は対象ブロック５０１と空間的に同一位置の領域である。ブロックマッチングでは、領域５１１を囲む探索範囲８１１を設定し、この探索範囲の画素信号から対象ブロック５０１の画素信号との絶対値誤差和が最小となる領域７０１を検出する。この領域７０１の信号が候補予測信号となり、領域５１１から領域７０１への変位量が動きベクトル６０１として検出される。さらに、予測性能を高めるため、複数の再生済み画像を参照画像として画面間予測を実施する。具体的には、上記の図２で説明したブロックマッチングを、画面４０１を含む複数の参照画像に対して実施し、最も符号化効率の高いと判断される予測信号を候補予測信号として検出する。
【００５５】
予測信号推定器１１３は、これらの候補予測信号のそれぞれと対象ブロックの画素信号との差分をとり、差分値が最も小さい候補予測信号を最適の予測信号と判断する。この際、予測信号の生成に用いる付加情報の符号化に要する符号量を計算し、上記の差分値に換算して加えても良い。付加情報には、候補予測信号を選択した予測モードに加えて、画面間予測の場合、動きベクトルと検出した参照画像を指示する参照フレーム番号が含まれる。これらの付加情報は、予信号生成器１０３と動きベクトル予測器１１４に送られる。
【００５６】
［動きベクトル予測器の説明］
図３に、本実施形態の動きベクトル予測処理を実施する動きベクトル予測器１１４のブロック図を示す。動きベクトル予測器１１４は、入力された付加情報を保存するメモリ２０１、予測対象ブロック選択器２０２、予測動きベクトル探索器２０３、差分器２０４及び分離器２０６を含む。
【００５７】
入力された付加情報、すなわち予測モード、動きベクトルおよび参照フレーム番号は、Ｌ１１３経由でメモリ２０１に格納されると共に、分離器２０６、予測対象ブロック選択器２０２および差分器２０４に送られる。
【００５８】
予測対象ブロック選択器２０２では、対象ブロックに隣接する既再生のブロックから動きベクトル予測に用いるブロック（予測対象ブロック）を選択する。図４を用いて、予測対象ブロック選択器２０２の処理を説明する。ここでは、対象ブロック５０１に隣接する符号化対象画像内の２つの隣接ブロック５０２と５０４から動きベクトル予測に用いる予測対象ブロックを選択する手法を考える。ブロック選択の方法としては、例えば、対象ブロックの動きベクトル（ＭＶ）と２つの隣接ブロックの動きベクトルの各成分について差分値を取り、その絶対値差分和が小さい方を選択する。選択したブロックを特定するための情報（例えば、対象ブロックとの位置関係を示す情報）は、予測ベクトル選択情報として付加情報に含めて符号化される。なお、２つの隣接ブロックの動きベクトルの参照フレーム番号が同じ場合には予測ベクトル選択情報を符号化する必要はない。ここでは、隣接ブロック５０２を予測対象ブロックとして選択したものと仮定する。
【００５９】
選択された隣接ブロックの付加情報は、Ｌ２０２経由で予測動きベクトル探索器２０３に入力される。同時に、分離器２０６では、対象ブロックの付加情報から参照フレーム番号が抽出され、Ｌ２０６経由で予測動きベクトル探索器２０３に入力される。予測動きベクトル探索器２０３では、対象ブロック５０１の参照フレーム番号と予測対象ブロック５０２の参照フレーム番号とを比較する。参照フレーム番号が同じ場合には、予測対象ブロック５０２の動きベクトル（ＭＶａ）を予測動きベクトルとして出力する。参照フレーム番号が異なる場合には、対象ブロック５０１の参照フレーム番号にて指示される参照画像をＬ１０４経由で取得する。そして、この参照画像を用いて、予測対象ブロック５０２の動きベクトル（ＭＶａ）を、スケーリング処理などで加工したのち、予測動きベクトルとして差分器２０３に出力する。動きベクトルの加工方法については後述する。
【００６０】
差分器２０４では、対象ブロック５０１の動きベクトルの各成分とＬ２０３経由で入力される予測動きベクトルの各成分との差分を取り、差分動きベクトルを算出する。そして、付加情報として、予測モード、参照フレーム番号（対象ブロック５０１の参照フレーム番号）、差分動きベクトルならびに予測動きベクトル選択情報をエントロピー符号化器１１１に出力する。
【００６１】
図５に予測動きベクトル探索器２０３の内部構成のブロック図を示す。予測動きベクトル探索器は、判定器２３１と切り替え器２３２とテンプレートマッチング器２３３を備えている。
【００６２】
まず、判定器２３１は、入力される対象ブロック５０１の参照フレーム番号および予測対象ブロック５０２の参照フレーム番号を、Ｌ２０６およびＬ２０２経由で入力し、それらを比較する。２つの参照フレーム番号が同じ場合には、Ｌ２３１経由で切り替え器２３２に制御信号を送り、Ｌ２０２経由で入力される予測モード、参照フレーム番号、動きベクトルならびに予測動きベクトル選択情報をＬ２０３経由で差分器２０４に出力する。一方、２つの参照フレーム番号の値が異なる場合には、Ｌ２３１経由で切り替え器２３２に制御信号を送り、Ｌ２０２経由で入力される予測モード、参照フレーム番号、動きベクトルならびに予測動きベクトル選択情報をＬ２３２経由でテンプレートマッチング器２３３に出力する。
【００６３】
テンプレートマッチング器２３３では、対象ブロックに隣接する再生済み画素信号から構成されるテンプレート領域（詳細は後述）に類似する信号領域を、対象ブロック５０１の参照フレーム番号で指示される参照画像からテンプレートマッチングを用いて探索する（Ｌ２０１経由）。そして、検出された信号領域とテンプレート領域との間の空間的な変位量を算出し、予測動きベクトルとする。
【００６４】
次に、図６〜８を用いて、テンプレートマッチング器２３３におけるテンプレートマッチング処理を説明する。
【００６５】
図６にテンプレートマッチング器２３３の内部構成のブロック図を示す。テンプレートマッチング器２３３は、探索領域設定器２４０、対象領域取得器２４１、予測隣接領域取得器２４２及び候補予測領域選択器２４３を備えている。
【００６６】
本実施形態におけるテンプレートマッチングでは、予測対象ブロックの動きベクトルに基づいてテンプレートマッチングの探索領域を設定した後（図７）、その探索領域内を探索して、テンプレート領域に類似する信号領域を検出する(図８)。
【００６７】
探索領域設定器２４０における探索領域の設定処理では、まず、予測対象ブロックの動きベクトルに時間方向のスケーリング処理を施すことにより、予測対象ブロックの動きベクトルを対象ブロック５０１の参照フレーム番号で指示される参照画像上にスケールする。そして、スケールした動きベクトルを探索中心として、その周囲に探索領域を設定する。より具体的に説明する。
【００６８】
探索領域設定器２４０には、予測対象ブロック５０２の予測モード、参照フレーム番号ならびに動きベクトルと、対象ブロック５０１の参照フレーム番号がそれぞれＬ２３２とＬ２０６経由で入力される。探索領域設定器２４０では、まず、予測対象ブロック５０２の動きベクトル６０２（ＭＶａ）を対象ブロックの参照フレーム番号が指示する参照画像上にスケーリングし、スケーリング動きベクトル６０２Ｓ（Ｓｃａｌｅｄ  ＭＶａ）を算出する。そして、図８に示すように探索中心６０２Bと探索領域６０２Rとを設定する。具体的には、対象ブロック５０１の左上の頂点と空間的に同一位置にある画面４０１（対象ブロック５０１の参照フレーム番号で指示される参照画像）上の画素（ブロック５１１の左上の頂点）からスケーリング動きベクトル６０２Ｓの分だけ移動した位置６０２Ｂを探索中心とし、その周囲に探索領域６０２Ｒを設定する。探索領域の大きさ（探索範囲）は予め決めておいても良いし、シーケンス単位や画面単位で符号化しても良い。探索範囲の伝送は、探索に要するコストを低減する効果がある。スケーリング動きベクトル６０２Ｓの水平・垂直成分の値が１/２画素、１/４画素等の小数値でも良いし、整数値に丸めてもよい。設定した探索領域６０２Rに関する情報はL２４０経由で予測隣接領取得器４２４に出力される。
【００６９】
ここで、図７を用いて、動きベクトルのスケーリング方法の説明を加えておく。図７（Ａ）は、対象ブロック５０１の参照フレーム番号と予測対象ブロック５０２の参照フレーム番号とを、いずれも符号化対象の画面４００に対して時間的に過去の画面とする例である。この例では、符号化対象の画面４００の時刻をｔ、対象ブロック５０１の参照フレーム番号が指示する画面４０１の時刻をｔ−１、予測対象ブロック５０２の参照フレーム番号が指示する画面４０２の時刻をｔ−２と示すことにする。図７では、ブロック５０１の予測領域７０１と動きベクトル（ＭＶ）６０１が表されており、ブロック５０２の予測領域７０２と動きベクトル（ＭＶａ）６０２が表されている。画面４００と画面４０１との間の経過時間をｔ１、画面４００と画面４０２との間の経過時間をｔ２としたとき、動きベクトル６０２（ＭＶａ）を画面４０１上にスケーリングした動きベクトル６０２Ｓ（Ｓｃａｌｅｄ  ＭＶa）は、Ｓｃａｌｅｄ  ＭＶa＝（ｔ２ｘMVａｘ／ｔ１，ｔ２ｘMVａｙ／ｔ１）により計算できる。なおここで、ＭＶａ＝（ＭＶａｘ，ＭＶａｙ）とする。
【００７０】
図７（Ｂ）は、予測対象ブロック５０２の参照フレーム番号が、符号化対象の画面４００に対して時間的に未来の画面とする例である。この例では、予測対象ブロック５０２の参照フレーム番号が指示する画面４０４の時刻をｔ＋１と示し、画面４００と４０４間の経過時間をｔ４（ｔ１、ｔ２とは符号の正負が異なる）と示すことにする。動きベクトル６０２（ＭＶａ）を画面４０１上にスケーリングした動きベクトル６０２Ｓ（Ｓｃａｌｅｄ  ＭＶa）は、Ｓｃａｌｅｄ  ＭＶa＝（ｔ４ｘMVａｘ／ｔ１，ｔ４ｘMVａｙ／ｔ１）により計算できる。
【００７１】
先に説明したように、スケーリングした動きベクトル６０２Ｓに基づいて対象ブロック５０１の参照フレーム番号で指示される参照画像（４０１）上にテンプレートマッチングの探索領域６０２Ｒを設定する（図８）。
【００７２】
このように探索領域設定器２４０にて探索領域が設定されると、次に、対象隣接領域取得器２４１は、図８に示すように、Ｌ１０４経由で対象ブロック５０１に隣接する既再生の対象隣接領域５０１Ｔ（テンプレート領域）をフレームメモリ１０４から取得する。取得したテンプレート領域はＬ２４１経由で、予測隣接領域取得器２４２と候補予測領域選択器２４３とに出力される。なお、本実施形態では、対象ブロック５０１に隣接する既再生の画素群（逆Ｌ文字の領域）５０１Ｔを対象隣接領域としているが、この対象隣接領域は、対象ブロックの周囲の再生済み画素で構成されていれば良く、形と画素数は予め定めておけば任意でよい。なお、この場合、シーケンス単位や画面単位やブロック単位でテンプレートの形状とサイズ（画素数）を決定し、符号化してもよい。
【００７３】
さらに、予測隣接領域取得器２４２では、対象隣接領域５０１Ｔと同じ形状を有する探索領域内の画素群を、Ｌ１０４経由で、参照画面４０１上の探索領域６０２Ｒから順次取得する。取得した画素群はＬ２４２経由で候補予測領域選択器２４３に出力される。
【００７４】
加えて、候補予測領域選択器２４３では、Ｌ２４１経由で入力される対象隣接領域５０１Ｔと、Ｌ２４２経由で入力される対象隣接領域５０１Ｔと同じ形状の画素群との間で、誤差の絶対値和（ＳＡＤ）を順次求め、ＳＡＤが最も小さい領域５０１Ｍ（予測隣接領域）を検出する。最後に候補予測領域選択器２４３は、画面４０１上のブロック５１１（対象ブロック５０１と空間的に同一位置にある）と、探索された予測隣接領域５０１Ｍとの間の空間的な変位量６０２Ｐを予測動きベクトルとして算出し、Ｌ２０３経由で差分器２０４に出力する。なお、探索領域６０２Ｒ内の画素精度は整数画素単位でもよいし、１/２画素、１/４画素等の小数精度の画素を用意し、小数画素精度で探索を行なってもよい。
【００７５】
このように、予測対象ブロック５０２の動きベクトル６０２と対象ブロックに隣接する対象隣接領域５０１Tに基づいて対象ブロックの参照フレーム番号により指示される参照画像上を探索することにより、対象ブロック５０１の予測動きベクトル６０２Ｐを生成する。
【００７６】
［対象ブロックと予測対象ブロックの参照フレーム番号が同じ場合］
上記の例では、予測対象ブロック５０２の動きベクトル６０２を参照フレーム番号により指示される参照画像上にスケーリングすることにより、テンプレートマッチングの探索領域を設定しているが、探索領域の設定方法はこの手法には限定されない。例えば、動きベクトルのスケーリングを行なわず、動きベクトル６０２に基づいて探索中心を決めても良い。また、予測対象ブロックの動きベクトルを用いず、対象ブロック５０１の左上の頂点と空間的に同一位置（ブロック５１１の左上の頂点）の参照画像４０１上の画素を探索中心としてもよい。つまり、スケーリング処理は探索領域を小さくする効果があるが、本実施形態の効果を得るためには、必ずしも必要ではない。さらに、探索中心の設定方法を符号化器にて決定し、符号化により明示的に復号器に伝えてもよい。したがって、探索中心の設定方法と探索範囲を符号化することにより、予測動きベクトルの探索に要するコストを効率的に減らすことが可能である。
【００７７】
上記では、対象ブロック５０１と予測対象ブロック５０２の参照フレーム番号が異なる場合にテンプレートマッチング処理を行なっていたが、２つのブロックの参照フレーム番号が同じ場合でもテンプレートマッチング処理を行なう効果がある。つまり、差分動きベクトルの大きさを小さくし、差分動きベクトルの符号量を削減する効果がある。この場合、予測対象ブロック５０２の動きベクトルは、対象ブロック５０１の参照フレーム番号にて指示される参照画像に対する動きベクトルであるため、動きベクトルのスケーリング処理は不要である。
【００７８】
［動きベクトル予測；予測対象ブロックの予測モードが画面内予測の場合］
別例として、動きベクトル予測の対象予測ブロックがイントラブロック（画面内予測により予測信号を生成）の場合、つまり図３の予測対象ブロック選択器２０２にて図４のブロック５０４を動きベクトル予測の予測対象ブロックとして選択した場合について考える。ブロック５０４の予測信号は画面内予測にて生成されており、予測対象ブロック５０４の付加情報には動きベクトルと参照フレーム番号が含まれていない。図３の予測対象ブロック選択器２０２、図５の判定器２３１ならびに図６の探索領域設定器２４０は、この情報を、予測対象ブロック５０４の付加情報に含まれる予測モードから識別できる（予測対象ブロック５０４の予測モードが画面内予測であり、動きベクトルと参照フレーム番号を有していない）。図９と図１０にて、この別例における探索中心の設定方法を説明する。
【００７９】
図９では、予測対象ブロック５０４（図４参照）の動きベクトルの各成分を０と考える。この場合、動きベクトルをスケーリングしても値は変わらないため、対象ブロック５０１の左上の頂点と空間的に同一位置（ブロック５１１の左上の頂点）の参照画像４０１上の画素を探索中心６０４Ｐとする。
【００８０】
図１０では、予測対象ブロック５０４に隣接する符号化済みブロックの動きベクトルを利用してテンプレートマッチングの探索中心を決める方法を考える。ここでは、予測対象ブロック５０４に隣接するブロック５０５の参照フレーム番号が対象ブロック５０１と同じ参照フレーム番号と同じであると仮定する。この場合、探索領域設定器２４０は、予測対象ブロック５０４の予測モードをＬ２３２経由で取得すると共に、Ｌ２０１を経由してブロック５０５の予測モード、動きベクトルならびに参照フレーム番号を取得する（図３では、Ｌ２０１を経由してメモリ２０１から予測動きベクトル探索器２０３にブロック５０５の付加情報が入力される。続いて図５では、Ｌ２０１を経由してテンプレートマッチング器２３３にこれらの情報が入力される）。探索領域設定器２４０は、図１０に示すように、ブロック５０５の動きベクトル６０５に基づいて、探索中心６０５Bと探索領域６０４Rを設定する。具体的には、対象ブロック５０１の左上の頂点と空間的に同一位置にある画面４０１（対象ブロック５０１の参照フレーム番号で指示される参照画像）上の画素（ブロック５１１の左上の頂点）から動きベクトル６０５だけ移動した位置６０５Ｂを探索中心とし、その周囲に探索領域６０４Ｒを設定する。その後、図６で説明したテンプレートマッチング処理により、テンプレート領域である、対象隣接領域５０１Ｔに類似する予測隣接領域５０１Ｍを検出し、予測動きベクトル６０４Ｐを生成する。なお、この図１０の例では、説明を簡単にするため、ブロック５０５と対象ブロック５０１の参照フレーム番号を同じとしたが、異なっていても良い。その場合は、動きベクトル５０５に対してスケーリング処理を施し、スケーリングした動きベクトルに基づいてテンプレートマッチングの探索中心を決めても良い。
【００８１】
なお、この例は、予測対象ブロックの予測信号が動きベクトルを持たない予測方法にて生成されている場合には適用できる。例えば、予め決められた予測手順や自動生成される予測動きベクトルに基づいて対象ブロック内の予測信号を生成するスキップブロックと呼ばれる予測方法にも適用できる。
【００８２】
［動きベクトル予測；予測対象ブロックの隣接信号をテンプレート（対象隣接領域）とする場合］
これまでは、テンプレートマッチングにおけるテンプレート（対象隣接領域）を対象ブロック５０１の再生済み隣接信号により構成していたが、予測対象ブロックの隣接信号をテンプレートとしてもよい。図１１を例として説明する。図１１では、予測対象ブロック選択器２０２にてブロック５０２を動きベクトル予測の予測対象ブロックとして選択したものと仮定する。また、予測対象ブロックの予測信号は動きベクトルを有しない予測方法にて生成されていると考える。
【００８３】
この予測対象ブロック５０２に隣接するブロック５０５の参照フレーム番号が対象ブロック５０１と同じ参照フレーム番号であった場合、探索領域設定器２４０は、予測対象ブロック５０２の予測モードをＬ２３２経由で取得すると共に、Ｌ２０１を経由してブロック５０５の予測モード、動きベクトルならびに参照フレーム番号を取得する（図３では、Ｌ２０１を経由してメモリ２０１から予測動きベクトル探索器２０３にブロック５０５の付加情報が入力される。続いて図５では、Ｌ２０１を経由してテンプレートマッチング器２３３にこれらの情報が入力される）。探索領域設定器２４０は、図１１に示すようにブロック５０５の動きベクトル６０５に基づいて、探索中心６０５Bと探索領域６０２Rを設定する。具体的には、予測対象ブロック５０２の左上の頂点と空間的に同一位置にある画面４０１（対象ブロック５０１の参照フレーム番号で指示される参照画像）上の画素（ブロック５１２の左上の頂点）から動きベクトル６０５だけ移動した位置６０５Ｂを探索中心とし、その周囲に探索領域６０２Ｒを設定する。設定した探索領域６０２Rに関する情報はL２４０経由で予測隣接領取得器４２４に出力される。
【００８４】
その後、対象領域取得器２４１はＬ１０４を経由して予測対象ブロック５０２に隣接する既再生の対象隣接領域５０２Ｔ（テンプレート領域）をフレームメモリ１０４から予め決められた方法で取得する。取得したテンプレート領域の画素信号はＬ２４１を経由して、予測隣接領域取得器２４２と候補予測領域選択器２４３に出力される。
【００８５】
さらに、予測隣接領域取得器２４２では、対象隣接領域５０２Ｔと同じ形状を有する探索領域内の画素群を、L１０４経由で、参照画面４０１上の探索領域６０２Ｒから順次取得する。取得した画素群はＬ２４２経由で候補予測領域選択器２４３に出力される。加えて、候補予測領域選択器２４３では、Ｌ２４１経由で入力された対象隣接領域５０２Ｔと、Ｌ２４２経由で入力される対象隣接領域５０２Ｔと同じ形状の画素群との間で、対応する画素間の絶対誤差値の和（ＳＡＤ）を順次求め、ＳＡＤが最も小さい領域５０２Ｍを検出する。最後に、候補予測領域選択器２４３は、画面４０１上のブロック５１２（予測対象ブロック５０２と空間的に同一位置にある）と、探索された予測隣接領域５０２Ｍとの間の空間的な変位量６０２Ｐを予測動きベクトルとして算出し、Ｌ２０３経由で差分器２０４に出力する。
【００８６】
なお、この図１１の例では、説明を簡単にするため、ブロック５０５と対象ブロック５０１との参照フレーム番号を同じとしたが、異なっていても良い。その場合は、動きベクトル５０５にスケーリング処理を施し、スケーリングした動きベクトルに基づいてテンプレートマッチングの探索中心を決めても良い。また、ブロック５０２が動きベクトルと参照フレーム番号とを持つ場合には、ブロック５０５ではなく、ブロック５０２の動きベクトルと参照フレーム番号とを用いてテンプレートマッチングの探索領域を設定する。
【００８７】
［動きベクトル予測；予測対象ブロックの予測信号がテンプレートマッチングにて生成される場合］
次に、図１１で説明した動きベクトルの予測対象ブロックの隣接信号をテンプレート（対象隣接領域）とする場合の別例として、予測対象ブロックの予測信号がテンプレートマッチングにて生成されている場合を考える。テンプレートマッチングを用いた予測信号の生成方法としては、例えば特許文献５に記されている。
［特許文献５］特開２００７−３００３８０号公報
【００８８】
この場合、予測信号推定器１１３と予測信号生成器１０３における予測信号生成処理時に、すでに予測対象ブロックに対するテンプレートマッチングが全ての参照画像に対して実施されており、この探索結果を用いて予測動きベクトルが生成できる。図３０と図３１を用いて具体的に説明する
【００８９】
図２の予測信号推定器１１３にて選択された予測モードがテンプレートマッチングを伴う予測方法であった場合、予測信号生成器１０３では図３０に示す処理が実施される。この場合、この予測信号生成器１０３は、予測信号合成手段として機能する。
【００９０】
最初にステップ１５２にて、対象ブロック５０１に隣接する対象隣接領域５０１Ｔを用いたテンプレートマッチングにより複数の参照画像を探索する。続いて、ステップ１５３にて、対象隣接領域５０１ＴとのＳＡＤが最小となるＮ個の領域を検出する。これらＮ個の候補予測信号を平均化して、対象ブロック５０１の予測信号を生成する。ステップ１５４では、各参照画像の探索時に、対象隣接領域５０１ＴとのＳＡＤが最小となるとなる領域をそれぞれ抽出しておく。そして、対象領域５０１Ｔと検出した領域との空間的な変位量を各参照画像（各参照フレーム番号）に対応する動きベクトルとして図３のメモリ２０１に保存しておく。なお、この場合、図１にて予測信号生成器１０３から動きベクトル予測器１１４のメモリ２０１へのデータパスの追加が必要となる。
【００９１】
続いて予測動きベクトル探索器２０３にて、図３１に示す処理が実施される。
【００９２】
最初に、予測動きベクトル探索器２０３は、判定器２３１にて予測対象ブロックの予測モードをＬ２０２経由で入手し（ステップ２３２）、テンプレートマッチングを伴う予測モードであるかを判定する（ステップ２３３）。テンプレートマッチングを伴う予測モードでない場合には、予測対象ブロックの動きベクトルを予測動きベクトルとして選択する（ステップ２６１）。なお、ステップ２６１の代わりに後述するステップ２０５（図２０にて説明）、つまり図４〜図１１で説明したような「対象ブロックに隣接するブロックの動きベクトルに基づいたテンプレートマッチング」により予測動きベクトルを生成しても良い。
【００９３】
テンプレートマッチングを伴う予測モードの場合には、判定器２３１が、対象ブロックの参照フレーム番号を取得する（ステップ２３５）。続いて、テンプレートマッチング器２３３は、メモリ２０１よりＬ２０１経由で、予測対象ブロックの予測信号生成処理にて実施したテンプレートマッチング（図３０にて実施）の際に検出した動きベクトルを取得する（ステップ２６２）。最後に、取得した予測対象ブロックの動きベクトルから、ステップ２３５にて取得した対象ブロックの参照フレーム番号に対応する動きベクトルを検出し、対象ブロックの予測動きベクトルとする（ステップ２６３）。
【００９４】
このように、予測対象ブロックの予測信号がテンプレートマッチングにて生成されている場合には、その際に検出される動き情報を用いることで、テンプレートマッチング処理コストを削減できる。
【００９５】
［予測対象ブロック選択処理の別例］
・予測対象ブロックの種類
上記では、予測対象ブロックの候補となるブロックはブロック５０２とブロック５０４には限定されない。例えば、図１２に示すように画面４００内の対象ブロック５０１に隣接するブロック５０２、５０４、５０５、５０７を候補としても良いし、加えて画面４０１のブロックであり、対象ブロック５０１と空間的に同一位置であるブロック５１１を候補に含めても良い。さらにブロック５１１に隣接するブロック５１２、５１３、５１４、５１５、５１６、５１７、５１８、５１９まで候補に含めても良い。
【００９６】
・テンプレートマッチング処理の適用対象ブロック
ここまでは、予測対象ブロック選択器２０２にて予測対象ブロックを選択し、選択された予測対象ブロックの動きベクトルに基づいて、対象ブロックの予測動きベクトルをテンプレートマッチングにて生成する手法について説明してきた。別の方法として、対象ブロックに隣接する複数の符号化済みブロックの動きベクトルに、図４〜図１１で説明したようなテンプレートマッチング処理を施し、その後、対象ブロックの予測動きベクトルを選択してもよい。この場合、図３において、予測動きベクトル探索器２０３は、メモリ２０１と予測対象ブロック選択器２０２の間に構成される。この際、テンプレートマッチング処理に用いる対象隣接領域（テンプレート）が固定であれば、予測対象ブロックの選択は、結局、テンプレートマッチングの探索中心を選択する処理を行うことになる。
【００９７】
一方、予測モードや隣接ブロックの位置によって、テンプレートマッチング実施の可否を切り替えても良いし、テンプレートマッチング処理に用いる対象隣接領域（テンプレート）の形状や位置（対象ブロックの隣接信号、あるいは隣接ブロックの隣接信号）を切り替えても良い。それ以外に、隣接ブロックとその隣接信号間の相関によって、テンプレートの位置を切り替えてもよい。
【００９８】
・予測対象ブロックの選択方法
予測対象ブロックの選択方法についても、符号化装置で選択し、予測動きベクトル選択情報として復号装置に明示的に通知する方法には限定されない。対象ブロックに隣接する複数の隣接ブロックの動きベクトルあるいは隣接ブロックのスケーリング動きベクトルあるいは隣接ブロックの動きベクトルに基づいてテンプレートマッチングにより生成した動きベクトルを用いて、計算によって予測動きベクトルを生成してもよい。この場合、予測動きベクトル選択情報の符号化は不要である。
【００９９】
また、予め定めた手法により、複数の隣接ブロックの動きベクトルから予測対象ブロックを自動的に選択してもよい。例えば、ブロック５０２、５０４、５０７の動きベクトルの中央値を動きベクトルの成分毎に選択してもよい。
【０１００】
動きベクトルの自動選択と予測動きベクトル選択情報の符号化を組み合わせても良い。例えば、図１２に示した１３個の隣接ブロックについて、３個のブロックの組み合わせを複数設定し、中央値予測によりそれぞれ１個のブロックを選択する。そして、複数の組み合わせの中から１つを選択し、その選択情報を予測動きベクトル選択情報として符号化する。この場合、予測動きベクトル探索器２０３では、ここで選択した動きベクトルに基づいてテンプレートマッチングの探索領域を決定する。
【０１０１】
それ以外にも、図１３に示すように、ブロック５０２、５０４、５０７の動きベクトルにより中央値予測にて生成される中央値動きベクトル６０１Ｈ（参照フレーム番号が参照画面４０１を示す）に基づいて動きベクトルを拡張しても良い。すなわち、動きベクトル６０１Ｈが指示する画面４０１上のブロック位置７０１の動きベクトル６０１Ｆを加算する方法も考えられる。この場合、６０１Ｈ＋６０１Ｆにより生成される動きベクトルに基づいてテンプレートマッチングの探索領域を決定する。また、中央値動きベクトル６０１Ｈに、ブロック５１１の動きベクトル６１１を加算し、６０１Ｈ＋６１１により生成される動きベクトルに基づいてテンプレートマッチングの探索領域を決定しても良い。
【０１０２】
このように、本実施形態における動きベクトル予測器１１４によれば、テンプレートマッチングを用いることで予測動きベクトルを対象ブロックの参照フレーム番号が指示する参照画像に対する動きベクトルに修正できるため、差分動きベクトル値が小さくなり、差分動きベクトルの符号化効率が向上するという効果がある。
【０１０３】
次に、本実施形態の動きベクトル予測処理に係る動画像復号装置３００について説明する。図１４は、本実施形態の動きベクトル予測処理に係る動画像復号装置３００を示すブロック図である。この動画像復号装置３００は、入力端子３０１、エントロピー復号器３０２、逆量子化器３０３、逆変換器３０４、加算器３０５、出力端子３０６、フレームメモリ１０４、予測信号生成器１０３及び動きベクトル予測器３０７を備えている。逆量子化器３０３及び逆変換器３０４による復号手段は、これらのもの以外を用いて行ってもよい。
【０１０４】
入力端子３０１は、上述した動画像符号化装置で圧縮符号化された圧縮データを入力する。この圧縮データには、画像を複数のブロックに分割された対象ブロックを予測し符号化された残差信号情報及び付加情報が含まれている。ここで付加情報には、画面内・画面間予測などを識別する予測モード、差分動きベクトル、参照フレーム番号ならびに予測動きベクトル選択情報が含まれる。それ以外に、テンプレートマッチングにおける探索領域の大きさ、探索中心の設定方法、テンプレートの形状や位置の情報が含まれる場合がある。
【０１０５】
エントロピー復号器３０２は、入力端子３０１に入力された圧縮データをエントロピー復号することにより、対象ブロックの残差信号情報、付加情報を抽出する。
【０１０６】
逆量子化器３０３は、対象ブロックの残差信号情報をラインＬ３０２a経由で入力し、逆量子化する。逆変換器３０４は、逆量子化したデータを逆離散コサイン変換し、対象ブロックの残差信号を復元する。
【０１０７】
動きベクトル予測器３０７は、エントロピー復号器３０２からラインＬ３０２ｂ経由で付加情報を入力する。動きベクトル予測器３０７では、付加情報に含まれる予測動きベクトル選択情報に基づいて予測動きベクトルを生成する。そして、差分動きベクトルに予測動きベクトルを加算し、対象ブロックの動きベクトルを再生する。再生された動きベクトルは、Ｌ３０７経由で、予測モード、参照フレーム番号と共に予測信号生成器１０３に入力される。動きベクトル予測器３０７の具体的な処理については後述する。
【０１０８】
予測信号生成器１０３には、Ｌ３０７経由で予測モード、参照フレーム番号ならびに動きベクトルが入力される。予測信号生成器１０３は、これらの情報に基づいて、フレームメモリ１０４から参照画像を取得し、予測信号を生成する。予測信号生成器１０３は、生成した予測信号をラインＬ１０３経由で加算器３０５に出力する。
【０１０９】
加算器３０５は、予測信号生成器１０３で生成された予測信号を、逆量子化器３０３および逆変換器３０４により復元された残差信号に加算して、対象ブロックの再生画素信号を生成し、ラインＬ３０５経由で出力端子３０６およびフレームメモリ１０４に出力する。出力端子３０６は、外部に（例えばディスプレイ）出力する。
【０１１０】
フレームメモリ１０４は、つぎの復号処理のための参照用の再生画像として、加算器３０５から出力された再生画像を参照画像として記憶する。
【０１１１】
図１５に、本実施形態の動きベクトル予測処理を実施する動きベクトル予測器３０７のブロック図を示す。動きベクトル予測器３０７は、入力された付加情報を保存するメモリ２０１、予測対象ブロック選択器２０２、予測動きベクトル探索器２０３、加算器３１２及び分離器２０６を含む。
【０１１２】
動きベクトル予測器３０７の動作は、基本的に図３の動きベクトル予測器１１４と同じある。図３の動きベクトル予測器１１４との違いは入力される付加情報における動きベクトルが差分動きベクトルに置き変わっている点と、差分器２０４が加算器３１２に置き変わっている点である。
【０１１３】
すなわち、入力された付加情報、すなわち予測モード、差分動きベクトルおよび参照フレーム番号は、Ｌ３０２ｂ経由でメモリ２０１に格納されると共に、分離器２０６、予測対象ブロック選択器２０２および加算器３１２に送られる。
【０１１４】
分離器２０６では、対象ブロックの付加情報から参照フレーム番号が抽出され、Ｌ２０６経由で予測動きベクトル探索器２０３に入力される。
【０１１５】
予測対象ブロック選択器２０２では、対象ブロックに隣接する既再生のブロックから動きベクトル予測に用いるブロック（予測対象ブロック）を選択する。
【０１１６】
予測動きベクトル探索器２０３では、対象ブロック５０１の参照フレーム番号と予測対象ブロック５０２の参照フレーム番号とを比較する。参照フレーム番号が同じ場合には、予測対象ブロック５０２の動きベクトル（ＭＶａ）を予測動きベクトルとして出力する。参照フレーム番号が異なる場合には、対象ブロック５０１の参照フレーム番号にて指示される参照画像をＬ１０４経由で取得する。そして、この参照画像を用いて、予測対象ブロック５０２の動きベクトル（ＭＶａ）を、スケーリング処理などで加工したのち、予測動きベクトルとして加算器３１２に出力する。
【０１１７】
加算器３１２では、Ｌ３０２ａ経由で入力される差分動きベクトルとＬ２０３経由で入力される予測動きベクトルとを加算し、対象ブロックの動きベクトルを再生する。再生された動きベクトルは、Ｌ３０７経由で、予測モード、参照フレーム番号と共に予測信号生成器１０３に出力される。さらに、再生された動きベクトルはＬ３１２経由でメモリ２０１に出力され、Ｌ３０２ｂ経由で入力された差分動きベクトルと置き換えられる。
【０１１８】
メモリ２０１、予測対象ブロック選択器２０２、予測動きベクトル探索器２０３及び分離器２０６の動作は、上記の「動きベクトル予測器１１４の説明」で示した内容と同じであり、その概要は上述の通りであるため、詳細な説明を割愛する。「対象ブロックと予測対象ブロックの参照フレーム番号が同じ場合」、「動きベクトル予測；予測対象ブロックの予測モードが画面内予測の場合」、「動きベクトル予測；予測対象ブロックの隣接信号をテンプレート（対象隣接領域）とする場合」、「動きベクトル予測；対象予測ブロックの予測信号がテンプレートマッチングにて生成される場合」や「予測対象ブロック選択処理の別例」で示した変形も適用可能である。但し、対象予測ブロックの予測信号がテンプレートマッチングにて生成されている場合には、予測信号生成器１０３から動きベクトル予測器３０７のメモリ２０１へのデータパスが必要になる。
【０１１９】
図１６は、本実施形態の動きベクトル予測処理に係る動画像符号化装置１００における動画像符号化方法の手順を示すフローチャートである。まず、予測信号推定器１１３が符号化処理の対象となる対象ブロックの予測信号を生成するために必要となる動きベクトルなどの付加情報を決定し、この付加情報に基づいて予測信号生成器１０３にて予測信号を生成する（ステップ１０２）。付加情報には、画面内予測（図３２）や画面間予測（図２）などを指示する予測モード、動きベクトル、参照フレーム番号が含まれる。
【０１２０】
動きベクトル予測器１１４は、付加情報に含まれる動きベクトルから予測動きベクトルを減算し、差分動きベクトルを生成する。差分動きベクトルは付加情報の一部としてエントロピー符号化器１１１にて符号化される（ステップ１０３）。ステップ１０３の詳細は後述する。
【０１２１】
減算器１０５は、対象ブロックの画素信号から予測信号を減算し、残差信号を生成する。生成された残差信号は変換器１０６と量子化器１０７にて量子化変換係数に圧縮され、エントロピー符号化器１１１にて符号化される（ステップ１０４）。そして、符号化された残差信号及び付加情報が出力端子１１２を介して出力される（ステップ１０５）。
【０１２２】
これら処理の後に又はこれらの処理と並行して、符号化された残差信号（量子化変換係数）が逆量子化器１０８及び逆変換器１０９により復号される。そして、加算器１１０により、復号された残差信号に予測信号が加算され、対象ブロックの信号が再生され、フレームメモリ１０４に参照画面として記憶される（ステップ１０６）。そして、すべての対象ブロックの処理が完了していない場合にはステップ１０２に戻り、次の対象ブロックに対する処理が行わる。すべての対象ブロックの処理が完了している場合には、処理を終了する（ステップ１０７とステップ１０８）。
【０１２３】
図１７は、動きベクトル予測器１１４にて実施されるステップ１０３における予測動きベクトルの生成ならびに付加情報符号化方法の詳細手順を示すフローチャートである。
【０１２４】
メモリ２０１は、入力された付加情報、すなわち予測モード、動きベクトルおよび参照フレーム番号を格納する（ステップ２０２）。
【０１２５】
次に、予測候補ブロック選択器２０２は、対象ブロックの予測モードから動きベクトルの符号化が必要か否かを判定する。動きベクトルの符号化が不要の場合（画面内予測、スキップ予測あるいはテンプレートマッチングによる予測）はステップ２０７に進み、動きベクトルの符号化が必要の場合はステップ２０４に進む（ステップ２０３）。続いて予測候補ブロック選択器２０２は、動きベクトル予測に用いる予測対象ブロックを選択する（ステップ２０４）。予測対象ブロックの選択方法については、図３と図４にて説明済みのため、ここでは割愛するが、選択したブロックの情報は予測ベクトル選択情報として付加情報に追加される。
【０１２６】
予測動きベクトル探索器２０３では、予測対象ブロックの動きベクトルを加工し、予測動きベクトルを生成する（ステップ２０５）。動きベクトルの加工方法については、後述する。
【０１２７】
差分器２０４は、対象ブロックの動きベクトルと予測動きベクトルの各成分の差分を取り、差分動きベクトルを算出する（ステップ２０６）。
【０１２８】
生成された付加情報（予測モード、参照フレーム番号、差分動きベクトルならびに予測動きベクトル選択情報）はエントロピー符号化器１１１にて符号化される（ステップ２０７）。
【０１２９】
図１８は、分離器２０６と予測動きベクトル探索器２０３にて実施されるステップ２０５における動きベクトル加工方法（予測動きベクトル探索方法）の詳細手順を示すフローチャートである。
【０１３０】
まず、予測動きベクトル探索器２０３は、予測対象ブロックの予測モードを取得する（ステップ２３２）。そして、予測モードから予測対象ブロックが動きベクトルを持つか否かを判定する（ステップ２３３）。
【０１３１】
予測対象ブロックが動きベクトルを持たない場合には、分離器２０６にて対象ブロックの参照フレーム番号を取得すると共に、予測動きベクトル探索器２０３がメモリ２０１から予測対象ブロックに隣接するブロックから動きベクトルを含む付加情報を取得し、ステップ２３７に進む（ステップ２３５）。
【０１３２】
予測対象ブロックが動きベクトルを持つ場合には、判定器２３１が対象ブロックと予測対象ブロックの参照フレーム番号を取得し（ステップ２３４）、さらにそれらが一致するか否かを判定する（ステップ２３６）。切り替え器２３２は、２つの参照フレーム番号が一致する場合は、予測対象ブロックの動きベクトルを予測動きベクトルとして処理を終了し（ステップ２３８）、一致しない場合はステップ２３７に進むように制御される。
【０１３３】
予測動きベクトル探索器２０３は、ステップ２３４あるいはステップ２３５にて得られた情報に基づいてテンプレートマッチングを実施する（ステップ２３７）。
【０１３４】
図１９は、テンプレートマッチング器２３３にて実施されるステップ２３７におけるテンプレートマッチング方法の詳細手順を示すフローチャートである。
【０１３５】
探索領域設定器２４０では、まず、予測対象ブロックあるいは予測対象ブロックに隣接するブロックの動きベクトルを対象ブロックの参照フレーム番号にて指示される参照画面上に対してスケーリングし、探索中心と探索領域を決定する。動きベクトルのスケーリング方法については、図７にて説明済みのため、ここでは説明を割愛する。
【０１３６】
対象隣接領域取得器２４１では、対象ブロックあるいは予測対象ブロックに隣接する対象隣接領域（テンプレート領域）をフレームメモリ１０４から取得する。
【０１３７】
予測隣接領域２４２と候補予測領域選択器２４３は探索領域から対象隣接領域との相関の高い領域を検索する。そして、検出された信号領域とテンプレート領域との間の空間的な変位量を予測動きベクトルとする。テンプレートマッチングの探索領域を設定方法とテンプレート領域に類似する信号領域を検出方法の詳細については、図８〜図１１を用いて説明済みであるため、ここでは説明を割愛する。また、図３０と図３１で説明した「対象予測ブロックの予測信号がテンプレートマッチングにて生成される場合」の別例も適用可能である。さらに、図３１のステップ２６１をＳ２０５に置き換えれば、ステップ２０５に「対象予測ブロックの予測信号がテンプレートマッチングにて生成されるケース」にも対応できる。なお、図１２と図１３を用いて説明した「予測対象ブロック選択処理の別例」も動画像符号化方法に適用可能である。
【０１３８】
このように、本実施形態の動きベクトル予測方法によれば、テンプレートマッチングを用いることで予測動きベクトルを対象ブロックの参照フレーム番号が指示する参照画像に対する動きベクトルに修正できるため、差分動きベクトル値が小さくなり、差分動きベクトルの符号化効率が向上するという効果がある。
【０１３９】
次に、図２０を用いて、本実施形態の動きベクトル予測処理に係る動画像復号装置３００における動画像復号方法を説明する。まず、入力端子３０１を介して、圧縮された圧縮データが入力される（ステップ３０２）。そして、エントロピー復号器３０２において、圧縮データに対しエントロピー復号が行われ、量子化された変換係数、付加情報が抽出される（ステップ３０３）。
【０１４０】
動きベクトル予測器３０７は予測動きベクトルを生成し、付加情報に含まれる差分動きベクトルと加算して動きベクトルを復号する（ステップ３０４）。ステップ３０４の詳細は後述する。
【０１４１】
再生された動きベクトルと付加情報（予測モード、参照フレーム番号）に基づいて、予測信号生成器１０３にて予測信号が生成される（ステップ３０５）。
【０１４２】
一方、量子化された変換係数は、逆量子化器３０３において量子化パラメータを用いて逆量子化され、逆変換器３０４において逆変換が行われ、再生残差信号が生成される（ステップ３０６）。そして、生成された予測信号と再生残差信号とが加算されることで再生信号が生成され、この再生信号が次の対象ブロックを再生するためにフレームメモリ１０４に格納される（ステップ３０７）。次の圧縮データがある場合には、再度このプロセスを繰り返し（ステップ３０８）、全てデータが処理された時点で終了となる（ステップＳ３０９）。なお、必要に応じてステップＳ３０２に戻り、圧縮データを取り込むようにしてもよい。
【０１４３】
図２１は、動きベクトル予測器３０７にて実施されるステップ３０４における予測動きベクトルの生成ならびに動きベクトルの復号方法の詳細手順を示すフローチャートである。
【０１４４】
メモリ２０１は、入力された付加情報、すなわち予測モード、差分動きベクトル、参照フレーム番号および予測動きベクトル選択情報を格納する（ステップ２０２）。
【０１４５】
次に、予測候補ブロック選択器２０２は、対象ブロックの予測モードから動きベクトルの再生が必要か否かを判定する。動きベクトルの再生が不要の場合（画面内予測、スキップモードあるいはテンプレートマッチングによる予測）はステップ３１６に進み、動きベクトルの再生が必要の場合はステップ３１４に進む（ステップ３１３）。続いて予測候補ブロック選択器２０２は、再生した予測動きベクトル選択情報に基づいて動きベクトル予測に用いる予測対象ブロックを選択する（ステップ３１４）。予測対象ブロックの選択方法については、図３と図４にて説明済みのため、ここでは割愛するが、選択したブロックの情報は予測ベクトル選択情報として付加情報に追加される。
【０１４６】
予測動きベクトル探索器２０３では、予測対象ブロックの動きベクトルを加工し、予測動きベクトルを生成する（ステップ２０５）。動きベクトルの加工方法については、図１８と図１９ならびに図８〜図１１を用いて説明済みのため、ここでは説明を割愛する。なお、図３０と図３１にて説明した「対象予測ブロックの予測信号がテンプレートマッチングにて生成される場合」や図１２と図１３を用いて説明した「予測対象ブロック選択処理の別例」も動画像復号方法に適用可能である。
【０１４７】
加算器２０４は、対象ブロックの差分ベクトルと予測動きベクトルの各成分の差分を取り、動きベクトルを再生する（ステップ３１５）。
【０１４８】
再生された動きベクトルは他の付加情報（予測モード、参照フレーム番号）と共にメモリ２０１に保存される（ステップ３１７）。
【０１４９】
本実施形態に係る動画像符号化方法及び動画像復号方法を、プログラムとして記録媒体に格納されて提供することもできる。記録媒体としては、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。
【０１５０】
図２２は、動画像符号化方法を実行することができるプログラムのモジュールを示すブロック図である。動画像符号化プログラムＰ１００は、ブロック分割モジュールＰ１０１、予測信号推定モジュールＰ１０２、予測信号生成モジュールＰ１０３、動きベクトル予測モジュールＰ１０４、記憶モジュールＰ１０５、減算モジュールＰ１０６、変換モジュールＰ１０７、量子化モジュールＰ１０８、逆量子化モジュールＰ１０９、逆変換モジュールＰ１１０、加算モジュールＰ１１１及びエントロピー符号化モジュールＰ１１２を備えている。動きベクトル予測モジュールＰ１０４は、図２３に示すように、予測候補ブロック選択モジュールＰ２０１、予測動きベクトル探索モジュールＰ２０２、差分モジュールＰ２０３及び動きベクトル記憶モジュールＰ２０４を備えている。さらに図２４に示すように予測動きベクトル探索モジュールＰ２０２は、判定モジュールＰ２３１、切り替えモジュール２３２、テンプレートマッチングモジュールＰ２３３を備えており、図２５に示すようにテンプレートマッチングモジュールＰ２３３は、探索領域設定モジュールＰ２４１、予測領域取得モジュール２４３及び候補予測領域選択モジュールを備えている。
【０１５１】
上記各モジュールが実行されることにより実現される機能は、上述した動画像符号化装置１００の機能と同じである。すなわち、動画像符号化プログラムＰ１００の各モジュールの機能は、ブロック分割器１０２、予測信号推定装置１１３、予測信号生成器１０３、動きベクトル予測器１１４、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、予測候補ブロック選択器２０２、予測動きベクトル探索器２０３、差分器２０４、メモリ２１０、判定器２３１、切り替え器２３２、テンプレートマッチング器２３３、探索領域設定器２４０、対象隣接領域取得器２４１、予測隣接領域取得器２４２、及び候補予測領域選択器候補２４３の機能と同様である。
【０１５２】
また、図２６は、動画像復号方法を実行することができるプログラムのモジュールを示すブロック図である。画像復号プログラムＰ３００は、エントロピー復号モジュールＰ３０２、逆量子化モジュールＰ３０３、逆変換モジュールＰ３０４、加算モジュールＰ３０５、予測信号生成モジュール１０３、動きベクトル予測モジュールＰ３０６及び記憶モジュールＰ１０５を備えている。さらに図２７に示すように動きベクトル予測モジュールＰ３０６は、予測候補ブロック選択モジュールＰ２０１、予測動きベクトル探索モジュールＰ２０２、加算モジュールＰ３１１及び動きベクトル記憶モジュールＰ２０４を備えている。
【０１５３】
上記各モジュールが実行されることにより実現される機能は、上述した動画像復号装置３００の各構成要素と同じである。すなわち、動画像復号プログラムＰ３００の各モジュールの機能は、エントロピー復号器３０２、逆量子化器３０３、逆変換器３０４、加算器３０５、予測信号生成器１０３、動きベクトル予測器３０７、フレームメモリ１０４、予測候補ブロック選択器２０２、予測動きベクトル探索器２０３、加算３１２及びメモリ２０１の機能と同様である。
【０１５４】
このように構成された動画像符号化プログラムＰ１００または動画像復号プログラムＰ３００は、記録媒体１０に記憶され、後述するコンピュータで実行される。
【０１５５】
図２８は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図２９は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。なお、記録媒体に記憶されたプログラムを実行するものはコンピュータに限定されず、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などでもよい。
【０１５６】
図２８に示すように、コンピュータ３０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された動画像符号化・復号プログラムにアクセス可能になり、当該動画像符号化・復号プログラムによって、本実施形態に係る動画像符号化装置または動画像復号装置として動作することが可能になる。
【０１５７】
図２９に示すように、動画像符号化プログラム及び動画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像符号化プログラムもしくは動画像復号プログラをメモリ１６に格納し、当該動画像符号化プログラムもしくは動画像復号プログラムを実行することができる。
【０１５８】
つぎに、本実施形態の動画像符号化装置１００および動画像復号装置３００の作用効果について説明する。
【０１５９】
本実施形態における動画像符号化装置１００において、フレームメモリ１０４は、符号化済みの画像である、複数の既再生画像を参照画像として格納しておき、ブロック分割器１０２が入力画像を複数の領域に分割し、予測信号推定器１１３が、分割された複数の領域のうち処理対象である対象領域との相関が高い領域をフレームメモリ１０４に格納されている複数の参照画像から探索し、動きベクトルを生成する。
【０１６０】
予測信号生成器１０３は、予測信号推定器１１３により探索された参照画像を指示する参照フレーム番号と、処理対象である対象領域と予測信号推定器１１３により探索された領域との間の空間的な位置関係を示す動きベクトルとに基づいて、対象領域の予測信号を生成する。
【０１６１】
そして、動きベクトル予測器１１４は、１つ以上の符号化済みの動きベクトルから予測動きベクトルを生成し、予測信号推定器１１３により生成された動きベクトルと該予測動きベクトルとの差分動きベクトルを生成する。
【０１６２】
減算器１０５は、対象領域の予測信号と対象領域の対象画素信号との残差信号を生成し、変換器１０６、量子化器１０７、エントロピー符号化器１１１からなる符号化処理部は、残差信号と参照フレーム番号と動きベクトル予測器１１４にて生成された差分動きベクトルとを符号化する。
【０１６３】
一方、逆量子化器１０８、逆変換器１０９からなる復元処理部は、符号化処理部にて符号化された残差信号を復元した上で、予測信号生成器１０３において生成された予測信号に加算し、再生画像を生成し、フレームメモリ１０４に参照画像として記憶させる。
【０１６４】
さらに動きベクトル予測器１１４について、図８を参照してその動作を説明すると、以下の通りとなる。すなわち、上述動きベクトル予測器１１４は、符号化済み領域から１つの領域（例えば、図４の予測対象ブロック５０２）を選択し、選択された領域が参照フレーム番号を持たない場合、あるいは対象領域の参照フレーム番号と選択された領域の参照フレーム番号とが異なる場合には、対象領域（対象ブロック５０１）の周辺に位置する既再生の画素信号からなるテンプレート領域（例えば対象ブロック５０１に隣接する対象隣接領域５０１Ｔ）との相関が高い領域を、対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、当該探索した領域（予測隣接領域５０１Ｍ）とテンプレート領域（対象隣接領域５０１Ｔ）との間の空間的な位置関係に基づいて予測動きベクトル（動きベクトル６０２Ｐ）を生成する。
【０１６５】
なお、テンプレート領域を対象領域に隣接する既再生の画素信号からなる対象隣接領域５０１Ｔとすることのほか、図１１に示されるように、テンプレート領域を動きベクトル予測器１１４にて選択された領域（予測対象ブロック５０２）に隣接する既再生の隣接画素信号からなる対象隣接領域５０２Ｔとするようにしてもよい。
【０１６６】
この発明によれば、対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を、対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、当該探索した領域とテンプレート領域との間の空間的な位置関係に基づいて予測動きベクトルを生成することができる。よって、対象領域に隣接する既再生の予測対象ブロックの動きベクトルが０であった場合や、または動きベクトルを伴わない予測方法を用いられた場合であっても、対象領域における動きベクトルの予測を効率的に行い、また符号化効率を向上させることができる。
【０１６７】
また、本実施形態の動画像符号化装置１００において、予測信号生成器１０３は、予測信号合成手段として機能しており、この予測信号生成器１０３は、対象領域（対象ブロック５０１）に隣接する既再生の隣接画素信号からなる対象隣接領域（対象隣接領域５０１Ｔ）との相関が高い予測隣接領域（予測隣接領域５０１Ｍ）を複数の参照画像から１つ以上探索し、１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する。例えば、Ｎ個の予測隣接領域を検出し、Ｎ個の候補予測信号を平均化することにより予測信号を加工する。
【０１６８】
そして、予測動きベクトル予測器１１４は、さらに、複数の参照画像について、予測信号生成器１０３により探索された予測隣接領域（予測隣接領域５０１Ｍ）と対象隣接領域（予測隣接領域５０１Ｔ）との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存する。選択された領域の予測信号が予測信号生成器１０３により生成されている場合、保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを予測動きベクトルとする。
【０１６９】
この発明によれば、予測対象領域の予測信号がテンプレートマッチングにて生成された場合には、その際に検出される動きベクトルを用いることでテンプレートマッチング処理効率を向上させることができる。
【０１７０】
また、本実施形態の動画像復号装置３００は、エントロピー復号器３０２が、入力端子３０１を介して入力された圧縮データの中から処理対象である対象領域の差分動きベクトルと参照フレーム番号と残差信号の符号化データとを復号する。
【０１７１】
そして、逆量子化器３０３、および逆変換器３０４は、前記残差信号の符号化データから再生残差信号を復元し、加算器３０５は、予測信号生成器１０３において生成された予測信号と復元された再生残差信号とを加算することによって、対象領域の画素信号を復元し、フレームメモリ１０４に格納させる。フレームメモリ１０４は、複数の既再生画像を参照画像として格納することになる。
【０１７２】
一方、動きベクトル予測器３０７は、１つ以上の復元済みの動きベクトルから予測動きベクトルを生成し、エントロピー復号器３０２にて復号した差分動きベクトルと該予測動きベクトルを加算して動きベクトルを復元する。そして、予測信号生成器１０３は、動きベクトル予測器３０７にて復元した動きベクトルと対象領域の参照フレーム番号に基づいて、対象領域の予測信号を生成する。
【０１７３】
さらに、詳細には、動きベクトル予測器３０７は、符号化済み領域から１つの領域（例えば、図４の予測対象ブロック５０２）を選択し、選択された領域が参照フレーム番号を持たない場合、あるいは対象領域の参照フレーム番号と選択された領域の参照フレーム番号とが異なる場合には、対象領域（対象ブロック５０１）の周辺に位置する既再生の画素信号からなるテンプレート領域（例えば対象ブロック５０１に隣接する対象隣接領域５０１Ｔ）との相関が高い領域を、対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、当該探索した領域（予測隣接領域５０１Ｍ）とテンプレート領域（対象隣接領域５０１Ｔ）との間の空間的な位置関係に基づいて予測動きベクトル（動きベクトル６０２Ｐ）を生成する。
【０１７４】
この発明によれば、対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を、対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、当該探索した領域とテンプレート領域との間の空間的な位置関係に基づいて予測動きベクトルを生成することができる。よって、対象領域に隣接する既再生の予測対象ブロックの動きベクトルが０である場合や、または動きベクトルを伴わない予測方法を用いられた場合であっても、対象領域における動きベクトルの予測を効率的に行わせ、また符号化効率を向上させることができ、よってそのように符号化されたデータを復号することができる。
【０１７５】
なお、テンプレート領域を対象領域に隣接する既再生の画素信号からなる対象隣接領域５０１Ｔとすることのほか、図１１に示されるように、テンプレート領域を動きベクトル予測器１１４にて選択された領域（予測対象ブロック５０２）に隣接する既再生の隣接画素信号からなる対象隣接領域５０２Ｔとするようにしてもよい。
【０１７６】
また、本実施形態の動画像復号装置３００において、予測信号生成器１０３は、予測信号合成手段として機能しており、この予測信号生成器１０３は、対象領域（対象ブロック５０１）に隣接する既再生の隣接画素信号からなる対象隣接領域（対象隣接領域５０１Ｔ）との相関が高い予測隣接領域（予測隣接領域５０１Ｍ）を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する。例えば、Ｎ個の予測隣接領域を検出し、Ｎ個の候補予測信号を平均化することにより予測信号を加工する。
【０１７７】
そして、予測動きベクトル予測器３０７は、さらに、複数の参照画像について、予測信号生成器１０３により探索された予測隣接領域（予測隣接領域５０１Ｍ）と対象隣接領域（予測隣接領域５０１Ｔ）との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存する。
【０１７８】
選択された領域の予測信号が予測信号生成器１０３により生成されている場合、保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを予測動きベクトルとする。
【０１７９】
この発明によれば、予測対象領域の予測信号がテンプレートマッチングにて生成された場合には、その際に検出される動きベクトルを用いることでテンプレートマッチング処理効率を向上させることができる。
【０１８０】
また、本実施形態の動画像符号化装置１００と動画像復号装置３００とを備えた画像処理システムを構成することができる。この場合、動画像符号化装置１００が符号化したデータを動画像復号装置３００が復号することができるように構成されている。この動画像符号化装置１００と動画像復号装置３００とは、ネットワークを介して接続された画像処理システムとして構成しても良いし、一つの装置(例えばコンピュータ、携帯端末など)に動画像符号化装置１００と動画像復号装置３００とを備えたものとしてもよい。
【図面の簡単な説明】
【０１８１】
【図１】本実施形態に係る動画像符号化装置１００を示すブロック図である。
【図２】ブロックマッチング処理を説明するための模式図であり、（Ａ）は参照画面を示し、（Ｂ）は符号化対象の画面を示す。
【図３】図１における動きベクトル予測器を示すブロック図である。
【図４】対象ブロックと予測対象ブロックの関係を説明するための模式図である。
【図５】図３における予測動きベクトル探索器を示すブロック図である。
【図６】図５におけるテンプレートマッチング器を説明するためのブロック図である。
【図７】動きベクトルのスケーリング処理を説明するためのブロック図である。
【図８】予測動きベクトル生成処理におけるテンプレートマッチング処理に関する模式図の第１例であり、（Ａ）は参照画面を示し、（Ｂ）は符号化対象の画面を示す。
【図９】予測動きベクトル生成処理におけるテンプレートマッチング処理に関する模式図の第２例であり、（Ａ）は参照画面を示し、（Ｂ）は符号化対象の画面を示す。
【図１０】予測動きベクトル生成処理におけるテンプレートマッチング処理に関する模式図の第３例であり、（Ａ）は参照画面を示し、（Ｂ）は符号化対象の画面を示す。
【図１１】予測動きベクトル生成処理におけるテンプレートマッチング処理に関する模式図の第４例であり、（Ａ）は参照画面を示し、（Ｂ）は符号化対象の画面を示す。
【図１２】対象ブロックと予測対象ブロックの関係を説明するための模式図の別例である。
【図１３】予測動きベクトル生成処理における時間方向への動きベクトル拡張処理を説明するための模式図である。
【図１４】本実施形態に係る動画像復号装置３００を示すブロック図である。
【図１５】図１４における動きベクトル予測器を示すブロック図である。
【図１６】本実施形態に係る動画像符号化方法の手順を示すフローチャートである。
【図１７】図１６の動画像符号化方法に含まれる動きベクトル予測方法の手順を説明するためのフローチャートである。
【図１８】テンプレートマッチングを伴う動きベクトル探索処理の手順を説明するためのフローチャートである。
【図１９】テンプレートマッチング処理の手順を説明するためのフローチャートである。
【図２０】本実施形態に係る動画像復号方法の手順を示すフローチャートである。
【図２１】図２０の動画像復号方法に含まれる動きベクトル予測方法の手順を説明するためのフローチャートである。
【図２２】本実施形態に係る動画像符号化方法を実行することができるプログラムのモジュールを示すブロック図である。
【図２３】図２２のモジュールに含まれる動きベクトル予測モジュールを示すブロック図である。
【図２４】図２３のモジュールに含まれる予測動きベクトル探索モジュールを示すブロック図である。
【図２５】図２４のモジュールに含まれるテンプレートマッチングモジュールを説明するためのブロック図である。
【図２６】本実施形態に係る動画像復号方法を実行することができるプログラムのモジュールを示すブロック図である。
【図２７】図２６のモジュールに含まれる動きベクトル予測モジュールを示すブロック図である。
【図２８】記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。
【図２９】記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。
【図３０】予測信号生成器にて実施されるテンプレートマッチング処理手順を説明するためのフローチャートである。
【図３１】予測動きベクトル探索器におけるテンプレートマッチングを伴わない予測動きベクトル決定処理を説明するためのフローチャートである。
【図３２】従来の画面内予測方法を説明するための模式図である。
【符号の説明】
【０１８２】
１０…記録媒体、１２…読み取り装置、１４…作業用メモリ、１６…メモリ、１８…ディスプレイ、２０…マウス、２２…キーボード、２４…通信装置、３０…コンピュータ、４０…コンピュータデータ信号、１００…動画像符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、１１３…予測信号推定器、１１４…動きベクトル予測器、２０１…メモリ、２０２…予測対象ブロック選択器、２０３…予測動きベクトル探索器、２０４…差分器、２３１…判定器、２３２…切り替え器、２３４…テンプレートマッチング器、２４０…探索領域設定器、２４１…対象隣接領域取得器、２４２…予測隣接領域取得器、２４３…候補予測領域選択器、３０１…入力端子、３０２…エントロピー復号器、３０３…逆量子化器、３０４…逆変換器、３０５…加算器、３０６…出力端子、３０７…動きベクトル予測器、３１２…加算器。
【図１】
2010093646.tif 000003
【図２】
2010093646.tif 000004
【図３】
2010093646.tif 000005
【図４】
2010093646.tif 000006
【図５】
2010093646.tif 000007
【図６】
2010093646.tif 000008
【図７】
2010093646.tif 000009
【図８】
2010093646.tif 000010
【図９】
2010093646.tif 000011
【図１０】
2010093646.tif 000012
【図１１】
2010093646.tif 000013
【図１２】
2010093646.tif 000014
【図１３】
2010093646.tif 000015
【図１４】
2010093646.tif 000016
【図１５】
2010093646.tif 000017
【図１６】
2010093646.tif 000018
【図１７】
2010093646.tif 000019
【図１８】
2010093646.tif 000020
【図１９】
2010093646.tif 000021
【図２０】
2010093646.tif 000022
【図２１】
2010093646.tif 000023
【図２２】
2010093646.tif 000024
【図２３】
2010093646.tif 000025
【図２４】
2010093646.tif 000026
【図２５】
2010093646.tif 000027
【図２６】
2010093646.tif 000028
【図２７】
2010093646.tif 000029
【図２８】
2010093646.tif 000030
【図２９】
2010093646.tif 000031
【図３０】
2010093646.tif 000032
【図３１】
2010093646.tif 000033
【図３２】
2010093646.tif 000034