(57)【要約】  【課題】複数の参照画像を用いた予測符号化・復号方法では、どの参照画像を用いて予測信号を生成するかに関する情報を合わせて符号化する必要があり、補助情報の符号量が増加する課題がある。  【解決手段】複数の符号化参照画像を参照して生成された予測信号に基づき圧縮符号化された画像データと、予測信号を生成するための動き情報に関するデータとを含む圧縮符号化データを入力する入力手段と、圧縮符号化データを復号し再生画像を生成する復号手段と、再生画像を復号参照画像として格納する記憶手段と、を具備する動画像復号装置であって、復号手段は、動き情報を用いて、記憶手段に格納されている複数の復号参照画像のそれぞれに対し候補予測信号を生成し、所定の評価基準に基づき複数の候補予測信号から最適参照画像を選択し、最適参照画像に対して最適予測信号を生成し、最適予測信号によって再生画像を復号する。【選択図】図１
2006108932.tif 000002
【特許請求の範囲】
【請求項１】
複数の符号化参照画像を参照して生成された予測信号に基づき圧縮符号化された画像データと、前記予測信号を生成するための動き情報に関するデータとを含む圧縮符号化データを入力する入力手段と、
前記圧縮符号化データを復号し再生画像を生成する復号手段と、
前記再生画像を復号参照画像として格納する記憶手段と、を具備する動画像復号装置であって、
前記復号手段は、
前記動き情報を用いて、前記記憶手段に格納されている複数の前記復号参照画像のそれぞれに対し候補予測信号を生成し、
所定の評価基準に基づき複数の前記候補予測信号から最適参照画像を選択し、
前記最適参照画像に対して最適予測信号を生成し、
前記最適予測信号によって前記再生画像を復号することを特徴とする動画像復号装置。
【請求項２】
画像を複数の部分符号化領域に分割し、前記部分符号化領域に対しＫ枚（Ｋは２より大きい整数）の符号化参照画像を参照して予測信号を生成し、前記予測信号に基づき複数の前記部分符号化領域を圧縮符号化して得られた画像データと、前記予測信号を生成するための動き情報に関するデータとを含む圧縮符号化データを入力する入力手段と、
前記圧縮符号化データを復号し再生画像を生成する復号手段と、
前記再生画像を復号参照画像として格納する記憶手段と、を具備する動画像復号装置であって、
前記復号手段は、
複数の部分復号領域と前記部分復号領域に隣接する複数の再生された既知の画素とを含む復号対象領域に対し、前記動き情報を用いて前記記憶手段に格納されているＫ枚の参照画像のそれぞれより、前記復号対象領域と同じサイズの第ｋ予測領域（ｋ＝１，２，…，Ｋ）を取得し、
前記復号対象領域に含まれる前記既知の画素と前記既知の画素に対応する前記第ｋ予測領域にある画素とから第ｋ誤差量を生成し、
前記Ｋ個の誤差量の中から、誤差量の最も少ない最適予測領域を決定し、
前記部分復号領域に対応する前記最適予測領域に含まれる複数の画素を最適予測信号として生成し、
前記最適予測信号を用いて前記部分復号領域を復号することを特徴とする動画像復号装置。
【請求項３】
前記復号手段はさらに、前記動き情報を所定の関数でＫ枚の前記符号化参照画像のそれぞれに対応する第ｋ動きベクトル（ｋ＝１，２，…，Ｋ）に変換し、前記第ｋ動きベクトルを用いて前記第ｋ予測領域を取得することを特徴とする請求項２に記載の動画像復号装置。
【請求項４】
複数の符号化参照画像を参照して生成された予測信号に基づき圧縮符号化された画像データと、前記予測信号を生成するための動き情報に関するデータとを含む圧縮符号化データを入力する入力ステップと、
前記圧縮符号化データを復号し再生画像を生成する復号ステップと、
前記再生画像を復号参照画像として格納する記憶ステップと、を具備する動画像復号方法であって、
前記復号ステップでは、
前記動き情報を用いて、前記記憶ステップにて格納された複数の前記復号参照画像のそれぞれに対し候補予測信号を生成し、
所定の評価基準に基づき複数の前記候補予測信号から最適参照画像を選択し、
前記最適参照画像に対して最適予測信号を生成し、
前記最適予測信号によって前記再生画像を復号することを特徴とする動画像復号方法。
【請求項５】
動画像を構成する複数画像に対し、処理対象となる符号化対象画像を入力する入力手段と、
前記符号化対象画像を複数の部分符号化領域に分割し、前記部分符号化領域に対する最適予測信号を生成する予測手段と、
前記最適予測信号に基づき前記部分符号化領域を圧縮符号化し、圧縮領域データを生成する符号化手段と、
前記最適予測信号に基づき前記圧縮領域データを復号し、部分再生領域を生成する復号手段と、
前記部分再生領域から構成される再生画像を符号化参照画像として格納する記憶手段と、
を具備する動画像符号化装置であって、
前記予測手段は、
前記記憶手段に格納されているＫ枚（Ｋは２より大きい整数）の前記符号化参照画像の中から、前記部分符号化領域に対する誤差量の最も少ない第１予測信号に関する情報と前記第１予測信号を与える最適参照画像に関する情報と動き情報とを第１予測情報として決定し、
前記部分符号化領域及び前記部分符号化領域に隣接する複数の再生された既知の画素を含む符号化対象領域に対し、前記動き情報を用いてＫ枚の前記符号化参照画像のそれぞれより、前記符号化対象領域と同じサイズの第ｋ予測領域（ｋ＝１，２，…，Ｋ）を取得し、
前記符号化対象領域に含まれる前記既知の画素と前記既知の画素に対応する前記第ｋ予測領域にある画素とから第ｋ誤差量を生成し、
前記第ｋ誤差量（ｋ＝１，２，…，Ｋ）の中から、誤差量の最も少ない最適予測領域を決定し、
前記部分符号化領域に対応する前記最適予測領域に含まれる複数の画素を第２予測信号として生成し、
前記第２予測信号に関する情報と前記動き情報とを第２予測情報として決定し、
前記第１予測信号もしくは前記第２予測信号のいずれかを前記最適予測信号とし、
前記符号化手段は、前記第１予測情報と前記第２予測情報の少なくとも一方を用いて圧縮符号化することを特徴とする動画像符号化装置。
【請求項６】
前記予測手段はさらに、前記第１予測信号と前記第２予測信号とを比較し、誤差の少ないものを前記最適予測信号とし、
前記第１予測信号が前記最適予測信号として選ばれた場合、前記最適予測信号と前記動き情報に関する情報と前記最適参照画像を識別するための情報とを符号化し、
前記第２予測信号が前記最適予測信号として選ばれた場合、前記最適予測信号と前記動き情報に関する情報を符号化することを特徴とする請求項５に記載の動画像符号化装置。
【請求項７】
動画像を構成する複数画像に対し、処理対象となる符号化対象画像を入力する入力ステップと、
前記符号化対象画像を複数の部分符号化領域に分割し、前記部分符号化領域に対する最適予測信号を生成する予測ステップと、
前記最適予測信号に基づき前記部分符号化領域を圧縮符号化し、圧縮領域データを生成する符号化ステップと、
前記最適予測信号に基づき前記圧縮領域データを復号し、部分再生領域を生成する復号ステップと、
前記部分再生領域から構成される再生画像を符号化参照画像として格納する記憶ステップと、
を具備する動画像符号化方法であって、
前記予測ステップでは、
前記記憶ステップにて格納されたＫ枚（Ｋは２より大きい整数）の前記符号化参照画像の中から、前記部分符号化領域に対する誤差量の最も少ない第１予測信号に関する情報と前記第１予測信号を与える最適参照画像に関する情報と動き情報とを第１予測情報として決定し、
前記部分符号化領域及び前記部分符号化領域に隣接する複数の再生された既知の画素を含む符号化対象領域に対し、前記動き情報を用いてＫ枚の前記符号化参照画像のそれぞれより、前記符号化対象領域と同じサイズの第ｋ予測領域（ｋ＝１，２，…，Ｋ）を取得し、
前記符号化対象領域に含まれる前記既知の画素と前記既知の画素に対応する前記第ｋ予測領域にある画素とから第ｋ誤差量を生成し、
前記第ｋ誤差量（ｋ＝１，２，…，Ｋ）の中から、誤差量の最も少ない最適予測領域を決定し、
前記部分符号化領域に対応する前記最適予測領域に含まれる複数の画素を第２予測信号として生成し、
前記第２予測信号に関する情報と前記動き情報とを第２予測情報として決定し、
前記第１予測信号もしくは前記第２予測信号のいずれかを前記最適予測信号とし、
前記符号化ステップでは、前記第１予測情報と前記第２予測情報の少なくとも一方を用いて圧縮符号化することを特徴とする動画像符号化方法。
【請求項８】
請求項７に記載の動画像符号化方法に係る処理をコンピュータに実行させるための動画像符号化プログラム。
【請求項９】
請求項４に記載の動画像復号方法に係る処理をコンピュータに実行させるための動画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化・復号装置、動画像符号化・復号方法及びプログラムに関するもので、特に複数の参照画像を用いた動画像符号化・復号方法に関するものである。
【背景技術】
【０００２】
動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合はＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。動画像の符号化では、時間的に隣接するほかの画像を用いて符号化の対象となる対象画像の予測信号を生成して、対象画像と予測信号との差分を符号化することにより、データ量の削減を実現する。この手法をフレーム間符号化という。
【０００３】
例えばＨ．２６４では、１フレームの画像を１６ｘ１６画素からなるブロックの領域に分割し、画像をこのブロック単位で符号化処理を行う。フレーム間符号化では、対象画像にある対象ブロックに対し、符号化済で復元された他のフレーム（以下、既再生画像とよぶ）を参照画像とした動き予測を行うことによって予測信号を生成する。次にこの対象ブロックと該予測信号との差分値を求めて、離散コサイン変換と量子化処理を行ない、符号化データを生成する。
【０００４】
参照画像として、対象画像にすぐ隣接する既再生画像が用いられる。ＭＰＥＧ−２では、片方向予測方式の場合は対象画像の直前にある一枚の既再生画像を、また双方向予測方式の場合は対象画像の前後にある二枚の既再生画像を、参照画像として用いる。さらにＨ．２６４では、片方向予測方式の場合は直前にある一枚の既再生画像に加えて、対象画像を処理する前に再生されたほかの再生画像を参照画像として用いることができる。複数枚の参照画像を参照して予測信号を生成することにより、対象画像と予測信号との差分がさらに削減できて符号化効率を高めることができる。
【０００５】
複数の参照画像を参照する動画像符号化装置及び動画像復号装置としては、
動画像符号化装置において動画像の復号に際して参照すべき参照画像を識別するための参照画像番号を含むデータを符号化し、動画像復号装置において符号化データに含まれる参照画像番号に基づいて参照画像を選択することが知られている（例えば、特許文献１参照）。
【特許文献１】特開２００４−２２１７４４号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した複数枚の参照画像を用いた予測符号化・復号方法では、どの参照画像を用いて予測信号を生成するかに関する情報を合わせて符号化する必要があり、補助情報の符号量が増加する課題がある。
【０００７】
本発明は、上記の課題を解決し、複数参照画像を用いた予測符号化・復号方式に伴う補助情報を削減する動画像符号化・復号装置、方法及びプログラムを提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明に係る動画像復号装置は、複数の符号化参照画像を参照して生成された予測信号に基づき圧縮符号化された画像データと、予測信号を生成するための動き情報に関するデータとを含む圧縮符号化データを入力する入力手段と、圧縮符号化データを復号し再生画像を生成する復号手段と、再生画像を復号参照画像として格納する記憶手段と、を具備する動画像復号装置であって、復号手段は、動き情報を用いて、記憶手段に格納されている複数の復号参照画像のそれぞれに対し候補予測信号を生成し、所定の評価基準に基づき複数の候補予測信号から最適参照画像を選択し、最適参照画像に対して最適予測信号を生成し、最適予測信号によって再生画像を復号する。
なお、「符号化参照画像」とは画像データの圧縮符号化に用いられる参照画像を意味し、「復号参照画像」とは圧縮符号化データの復号に用いられる参照画像を意味する。圧縮符号化された画像データの復号においては、対応する「符号化参照画像」と「復号参照画像」とは同じ画像であり、そのような参照画像が複数組用いられる。
【０００９】
また、本発明に係る動画像復号装置は、画像を複数の部分符号化領域に分割し、部分符号化領域に対しＫ枚（Ｋは２より大きい整数）の符号化参照画像を参照して予測信号を生成し、予測信号に基づき複数の部分符号化領域を圧縮符号化して得られた画像データと、予測信号を生成するための動き情報に関するデータとを含む圧縮符号化データを入力する入力手段と、圧縮符号化データを復号し再生画像を生成する復号手段と、再生画像を復号参照画像として格納する記憶手段と、を具備する動画像復号装置であって、復号手段は、複数の部分復号領域と部分復号領域に隣接する複数の再生された既知の画素とを含む復号対象領域に対し、動き情報を用いて記憶手段に格納されているＫ枚の参照画像のそれぞれより、復号対象領域と同じサイズの第ｋ予測領域（ｋ＝１，２，…，Ｋ）を取得し、復号対象領域に含まれる既知の画素と既知の画素に対応する第ｋ予測領域にある画素とから第ｋ誤差量を生成し、Ｋ個の誤差量の中から、誤差量の最も少ない最適予測領域を決定し、部分復号領域に対応する最適予測領域に含まれる複数の画素を最適予測信号として生成し、最適予測信号を用いて部分復号領域を復号する。
【００１０】
復号手段はさらに、動き情報を所定の関数でＫ枚の符号化参照画像のそれぞれに対応する第ｋ動きベクトル（ｋ＝１，２，…，Ｋ）に変換し、第ｋ動きベクトルを用いて第ｋ予測領域を取得してもよい。
【００１１】
また、本発明に係る動画像復号方法は、複数の符号化参照画像を参照して生成された予測信号に基づき圧縮符号化された画像データと、予測信号を生成するための動き情報に関するデータとを含む圧縮符号化データを入力する入力ステップと、圧縮符号化データを復号し再生画像を生成する復号ステップと、再生画像を復号参照画像として格納する記憶ステップと、を具備する動画像復号方法であって、復号ステップでは、動き情報を用いて、記憶ステップにて格納された複数の復号参照画像のそれぞれに対し候補予測信号を生成し、所定の評価基準に基づき複数の候補予測信号から最適参照画像を選択し、最適参照画像に対して最適予測信号を生成し、最適予測信号によって再生画像を復号する。
【００１２】
また、本発明に係る動画像符号化装置は、動画像を構成する複数画像に対し、処理対象となる符号化対象画像を入力する入力手段と、符号化対象画像を複数の部分符号化領域に分割し、部分符号化領域に対する最適予測信号を生成する予測手段と、最適予測信号に基づき部分符号化領域を圧縮符号化し、圧縮領域データを生成する符号化手段と、最適予測信号に基づき圧縮領域データを復号し、部分再生領域を生成する復号手段と、部分再生領域から構成される再生画像を符号化参照画像として格納する記憶手段と、を具備する動画像符号化装置であって、予測手段は、記憶手段に格納されているＫ枚（Ｋは２より大きい整数）の符号化参照画像の中から、部分符号化領域に対する誤差量の最も少ない第１予測信号に関する情報と第１予測信号を与える最適参照画像に関する情報と動き情報とを第１予測情報として決定し、部分符号化領域及び部分符号化領域に隣接する複数の再生された既知の画素を含む符号化対象領域に対し、動き情報を用いてＫ枚の符号化参照画像のそれぞれより、符号化対象領域と同じサイズの第ｋ予測領域（ｋ＝１，２，…，Ｋ）を取得し、符号化対象領域に含まれる既知の画素と既知の画素に対応する第ｋ予測領域にある画素とから第ｋ誤差量を生成し、第ｋ誤差量（ｋ＝１，２，…，Ｋ）の中から、誤差量の最も少ない最適予測領域を決定し、部分符号化領域に対応する最適予測領域に含まれる複数の画素を第２予測信号として生成し、第２予測信号に関する情報と動き情報とを第２予測情報として決定し、第１予測信号もしくは第２予測信号のいずれかを最適予測信号とし、前記符号化手段は第１予測情報と第２予測情報の少なくとも一方を用いて圧縮符号化する。
【００１３】
予測手段はさらに、第１予測信号と第２予測信号とを比較し、誤差の少ないものを最適予測信号とし、第１予測信号が最適予測信号として選ばれた場合、最適予測信号と動き情報に関する情報と最適参照画像を識別するための情報とを符号化し、第２予測信号が最適予測信号として選ばれた場合、最適予測信号と動き情報に関する情報を符号化しても良い。
【００１４】
また、本発明に係る動画像符号化方法は、動画像を構成する複数画像に対し、処理対象となる符号化対象画像を入力する入力ステップと、符号化対象画像を複数の部分符号化領域に分割し、部分符号化領域に対する最適予測信号を生成する予測ステップと、最適予測信号に基づき部分符号化領域を圧縮符号化し、圧縮領域データを生成する符号化ステップと、最適予測信号に基づき圧縮領域データを復号し、部分再生領域を生成する復号ステップと、部分再生領域から構成される再生画像を符号化参照画像として格納する記憶ステップと、を具備する動画像符号化方法であって、予測ステップでは、記憶ステップにて格納されたＫ枚（Ｋは２より大きい整数）の符号化参照画像の中から、部分符号化領域に対する誤差量の最も少ない第１予測信号に関する情報と第１予測信号を与える最適参照画像に関する情報と動き情報とを第１予測情報として決定し、部分符号化領域及び部分符号化領域に隣接する複数の再生された既知の画素を含む符号化対象領域に対し、動き情報を用いてＫ枚の符号化参照画像のそれぞれより、符号化対象領域と同じサイズの第ｋ予測領域（ｋ＝１，２，…，Ｋ）を取得し、符号化対象領域に含まれる既知の画素と既知の画素に対応する第ｋ予測領域にある画素とから第ｋ誤差量を生成し、第ｋ誤差量（ｋ＝１，２，…，Ｋ）の中から、誤差量の最も少ない最適予測領域を決定し、部分符号化領域に対応する最適予測領域に含まれる複数の画素を第２予測信号として生成し、第２予測信号に関する情報と動き情報とを第２予測情報として決定し、第１予測信号もしくは第２予測信号のいずれかを最適予測信号とし、符号化ステップでは第１予測情報と第２予測情報の少なくとも一方を用いて圧縮符号化する。
【００１５】
さらに、本発明に係る動画像符号化プログラムは、上記の動画像符号化方法に係る処理をコンピュータに実行させる。
【００１６】
また、本発明に係る動画像復号化プログラムは、上記の動画像復号方法に係る処理をコンピュータに実行させる。
【００１７】
なお、本発明において、動き情報とは、例えば、動きベクトル（もしくは動き量）があり、予測信号を生成するために利用することができる情報をいう。
【発明の効果】
【００１８】
本発明によれば、復号側で受信した圧縮符号化データに含まれている動き情報を用いて、複数の参照画像のそれぞれに対し候補予測信号を生成し、所定の評価基準に基づき複数の候補予測信号から最適予測信号を生成するための参照画像を決定した上で最適予測信号を生成することにより、どの参照画像を用いて最適予測信号を生成するかに関する情報を符号化する必要がなくなり、補助情報の符号量を削減する効果がある。結果として、補助情報をおさえながら予測性能を向上させるための参照画像を一層増やすことが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について、図１から図１２を用いて説明する。
【００２０】
図１は本発明の実施形態による動画像復号装置のブロック図を示す。１０１は入力端子、１０２はデータ解析器、１０３は復号化器、１０４は加算器、１０５はフレームメモリ、１０６は動き補償器、１０７は予測信号決定器、１０８は切り替えスイッチ、１０９ａと１０９ｂは予測信号出力端子、１１０は出力端子である。なお、１１１は特許請求の範囲における復号手段に相当する。
【００２１】
以上のように構成された復号装置について、以下その動作を述べる。図１において入力端子１０１より動画像の圧縮符号化データが入力される。本実施の形態では圧縮符号化データは次のように生成される。符号化の対象となる画像を１６ｘ１６画素からなるブロックに分割し、処理対象となる対象ブロックに対してＫ枚の参照画像を参照して最適予測信号を生成する。ここではＫ＝５とするがこれに限るものではない。ここにある参照画像は前段階の符号化・復号処理により生成された再生画像であり、フレームメモリ１０５に格納されている。
【００２２】
本実施の形態では、符号化に際して、ブロックマッチングの手法を用いた動き検出の手段で、参照画像ｋから誤差の最も少ない候補予測信号ｋを求める。次に候補予測信号ｋと対象ブロックとから対応する画素値間の差分値の絶対値和を求めて、誤差量ｋとする。（ここで、変数ｋはｋ番目の参照画像に対応することを意味し、Ｋ＝５の場合は、ｋは１から５までの変数となる。）このように５枚の参照画像のそれぞれに対し得られた誤差量１から誤差量５の中で誤差量が最も小さい候補予測信号を最適予測信号とする。この最適予測信号を与える参照画像を識別するための参照画像識別情報及び動きベクトル（または動き量という）を記憶しておく。次に対象ブロックと最適予測信号とから差分信号を生成し、離散コサイン変換を施した上で量子化する。量子化された差分信号は、参照画像識別情報及び動きベクトルと共にエントロピー符号化される。本実施の形態では、可変長符号を用いてエントロピー符号化する。また参照画像識別情報としてフレームメモリにある各画像のインデックスを用いて符号化し、動きベクトルは差分値を取らないで符号化される。
【００２３】
データ解析器１０２は入力されたデータを解析しながら可変長復号を施した上で可変長符号化する前の数値に復号する。復号された信号はラインＬ１０２を経由して送出される。復号対象となるブロックの差分信号は復号化器１０３に入力される。本実施の形態では、差分信号は逆量子化されたのちに逆離散コサイン変換され、空間領域の復元差分信号に変換される。
【００２４】
本実施の形態では、対象ブロックに対し二通りの方法で最適予測信号を生成することができる。これらの方法を区別するために予測モード情報を各ブロックの符号化データに付加する。第１予測モードは従来と同じように、どの参照画像を参照するかを示す参照画像識別情報と対応する動きベクトルを用いて予測信号を生成する。第２予測モードは動きベクトルのみを用いて各参照画像より複数の候補予測信号を生成し、その中から所定の方法で最適予測信号を決定する。この動作について以下で説明する。
【００２５】
復号された信号の中で、対象ブロックの予測モード情報はラインＬ１０９経由で切り替えスイッチ１０８に送られる。予測モードが第１予測モードを示す場合スイッチ１０８は端子１０９ａに倒される。同時に予測信号を生成するための参照画像識別情報と動きベクトルはラインＬ１０８経由で動き補償器１０６に送られる。動き補償器１０６では、フレームメモリ１０５にある参照画像の中から、参照画像識別情報で指定された参照画像にアクセスし、動きベクトルで指定されたブロックの信号を取得し、最適予測信号としてラインＬ６０７経由で加算器１０４に送られる。
【００２６】
一方、予測モードが第２予測モードを示す場合スイッチ１０８は端子１０９ｂに倒される。同時に予測信号を生成するための動きベクトルはラインＬ１１０経由で予測信号決定器１０７に送られる。予測信号決定器１０７の動作は後述するが、ここで生成された最適予測信号はラインＬ６０７経由で加算器１０４に送られる。
【００２７】
加算器１０４では、ラインＬ１０３経由で送られる復元差分信号と最適予測信号とを加算し、対象ブロックの再生画像信号を生成する。このように得られる再生画像は端子１１０経由で外部に送られると同時に、次段階の復号処理を行うための参照画像としてフレームメモリ１０５に格納される。
【００２８】
本実施の形態では第１と第２予測モードを利用しているが、第１予測モードがなくてもよい。この場合動き切り替えスイッチ１０８と動き補償器１０６がなくてもよい。
【００２９】
図２と図４を用いて対象ブロックに対する予測信号を生成する際における予測信号決定器１０７の動作を説明する。図２は予測信号決定器１０７の第１実施形態のブロック図を示し、２０１は誤差量計算器、２０２は誤差量比較器である。図４は最適予測信号の決定を説明するための模式図を示す。画像４０１は復号の対象となる対象画像である。４０６は既に再生された既知の画素の領域で、フレームメモリに格納されている。４０７はこれから復元する画素の領域を示す。４０２、４０３と４０４はフレームメモリ１０５にある参照画像である。４０８は復号の対象となる対象ブロックである。
【００３０】
まず対象ブロック４０８の動きベクトルはラインＬ１１０経由で誤差計算器２０１に送られる。誤差計算器２０１は、ラインＬ１０６経由でフレームメモリ１０５にある対象ブロック４０８に隣接する既再生の複数画素（すなわち、複数の既知の画素）を取得する。図４の４０９は隣接する既に再生された複数の既知の画素を示す。ここで対象ブロック４０８とそれに隣接する複数の既知の画素４０９とを組み合わさった領域を対象領域４１０とよぶ。対象領域４１０は図４と同じ正方形の形状をする必要がなくて長方形にしてもよい。同時に動きベクトルに基づき、フレームメモリ１０５に格納されている参照画像４０２にある候補予測領域４１１を取得する。この候補予測信号４１１は対象領域４１０と同じ大きさと形を有する。同じ方法で参照画像４０３と４０４より候補予測領域を取得する。次に対象領域に含まれる複数の既知の画素４０９とそれに対応する候補予測領域４１１にある画素群４１２とから誤差量を生成する。ここに誤差量は対応する画素間の差分の絶対値和で求められる。
【００３１】
このように求められた複数の誤差量はラインＬ２０１経由で誤差量比較器２０２に送られる。誤差量比較器２０２では複数の誤差量を比較して、その中で誤差の最も小さいものを決定する。このように決定された最小誤差量に対応する予測信号４１３をラインＬ２０１経由で誤差量計算器２０１から取得し最適予測信号としてラインＬ２０２経由で出力される。
【００３２】
すなわち本発明では、復号の対象となる対象ブロックに隣接する既知の画素値を用いて、複数の参照画像より最も相関の高い領域を求めた上で、対象ブロック４０８に対応する予測信号４１３を決定するために、参照画像を識別するための識別情報は不必要となる。
【００３３】
なお、既知の画素がない状態、すなわち、処理の初期段階では、上述した第１予測モードを用いて予測信号を決定すればよい。
【００３４】
図３は本発明の実施形態による予測信号決定器１０７の処理の流れ図を示す。この処理は対象ブロック（例：図４の４０８）に対し、Ｋ枚の参照画像の中から最適な予測信号を決定するための処理である。ステップ３０２では参照画像のインデックスｋを０と設定する。以下、ｋ番目の参照画像に対応する画像、領域、量、信号、ベクトル等に関連する事項をインデックスｋと同じ変数ｋを用いつつ説明する。ステップ３０４では対象ブロックの動きベクトルに基づき参照画像ｋから、対象ブロック（例：図４の４０８）及び対象ブロックに隣接する複数の既知の画素（例：図４の４０９）を含む対象領域（例：図４の４１０）に対応する候補予測領域ｋ（例：図４の４１１）を取得する。次にステップ３０５では対象領域（例：図４の４１０）に含まれる複数の既知の画素（例：図４の４０９）とそれらの画素に対応する候補予測領域ｋにある画素群（例：図４の４１２）とから誤差量ｋを求める。ステップ３０６では誤差量ｋと誤差量（ｋ−１）を比較する。誤差量ｋが小さい場合ステップ３０７に進み参照画像ｋを最適参照画像、予測信号ｋ（例：図４の４１３）を最適予測信号とする。そうでなければステップ３０８に進む。なお、ステップ３０６において、インデックスｋが０のときは、比較の対象となる誤差量（ｋ−１）が存在しないため、ステップ３０７に進む。ステップ３０９では参照画像のインデックスｋを１増分する。この処理はすべての参照画像より得られる候補予測領域を評価するように繰り返される（ステップ３１０）。最後に最適予測信号を出力する（ステップ３１１）。
【００３５】
次に予測信号決定器の別の例について説明する。図５は予測信号決定器１０７Ｓのブロック図を示し、５０１は動きベクトル計算器、５０２は誤差量計算器、５０３は誤差量比較器である。図５は図２と似ているが図２の実施形態は動きベクトルを求める必要のない場合である。図５の実施形態では動き情報は差分値として送られる場合であり、その場合動きベクトルを計算する必要がある。本実施の形態では、動きベクトル計算器５０１にて各参照画像に対するそれぞれの動きベクトルを求めてラインＬ５０１経由で誤差量計算器５０２に送られる。誤差量計算器５０２は、送られた動きベクトルを元に図２の誤差量計算器２０１と同じ処理を行う。
【００３６】
図６は本発明の実施形態による予測信号決定器の別の例について処理の流れ図を示す。以下、ｋ番目の参照画像に対応する画像、領域、量、信号、ベクトル等に関連する事項をインデックスｋと同じ変数ｋを用いつつ説明する。ステップ６０２では参照画像のインデックスｋを０と設定する。ステップ６０４では参照画像ｋに対応する動きベクトルｋを求める。ステップ６０４の詳細については後述する。ステップ６０５では動きベクトルｋに基づき参照画像ｋから対象ブロック（例：図４の４０８）及び対象ブロックに隣接する複数の既知の画素（例：図４の４０９）を含む対象領域（例：図４の４１０）に対応する候補予測領域ｋ（例：図４の４１１）を取得する。次にステップ６０６では対象領域（例：図４の４１０）に含まれる複数の既知の画素（例：図４の４０９）とそれらの画素に対応する候補予測領域ｋにある画素群（例：図４の４１２）とから誤差量ｋを求める。ステップ６０７では誤差量ｋと誤差量（ｋ−１）を比較する。誤差量ｋが小さい場合ステップ６０８に進み参照画像ｋを最適参照画像、予測信号ｋ（例：図４の４１３）を最適予測信号、動きベクトルｋを最適動きベクトルとする。そうでなければステップ６０９に進む。なお、ステップ６０７において、インデックスｋが０のときは、比較の対象となる誤差量（ｋ−１）が存在しないため、ステップ６０８に進む。ステップ６１０では参照画像のインデックスを１増分する。この処理はすべての参照画像より得られる候補予測領域の評価が完了するまで繰り返す（ステップ６１１）。最後に最適予測信号を出力すると同時に最適動きベクトル及び最適参照画像に関する情報を記憶する（ステップ６１２）。最適動きベクトルは次の対象ブロックの予測信号を生成するために必要となる。
【００３７】
図７は予測信号決定器１０７Ｓの処理における動きベクトルを求める方法の流れ図を示す。この実施の形態では、対象ブロックに隣接する既に再生されたブロックの動きベクトルを用いて対象ブロックの動きベクトルを求める。図８はこの動きベクトルを求める方法を説明するための模式図である。ブロック８０１は復号の対象となるブロック、ブロック８０２、８０３、８０４はブロック８０１に隣接する前段階の復号処理で再生されたブロックである。
【００３８】
まず図７のステップ７０２では、参照画像ｋに対応する動きベクトルｋを求めるために必要となるデータを入力する。ブロックＸの差分動きベクトル、ブロックＡ、Ｂ、Ｃそれぞれの動きベクトルと参照画像への距離情報が入力される。ブロックＡ、Ｂ、Ｃに関する情報はそれぞれのブロックを復号する際に、図６のステップ６１２にて記憶されている。参照画像への距離情報はそれぞれのブロックの最適参照画像と現在の画像との間隔で求められる。次に参照画像ｋに対しブロックＡ，Ｂ，Ｃの動きベクトルを正規化する（ステップ７０３）。ブロックＡ、Ｂ、Ｃは異なる参照画像を参照し最適予測信号を生成することが一般的であるため、正規化することによりブロックＸの動きベクトルを効率よく予測符号化できる。ステップ７０４では参照画像ｋを基準とした場合の予測動きベクトルＭＶＰを求め、ステップ７０５でブロックＸの動きベクトルを算出して出力する（ステップ７０６）。
【００３９】
このようにして動きベクトルを差分符号化する実施形態では、参照画像を識別するための参照画像識別情報を符号化しなくても、再生側で正しい動きベクトルに復元することができる。
【００４０】
図９は本発明の実施形態による動画像復号方法の処理の流れ図を示す。ステップ９０３では入力された圧縮符号化データより、対象画像を構成する対象ブロックに対し、上述した方法で差分信号と動きベクトルを復元する。次に対象ブロックについて動きベクトルを用いて複数の参照画像より最適予測信号を決定する（ステップ９０４）。具体的な方法は図３、６、７で説明したとおりである。ステップ９０５では最適予測信号と差分信号を加算し再生ブロックを生成した上で、その再生ブロックを出力する。この処理は圧縮符号化データの最後まで繰り返される。
【００４１】
次に、本発明による符号化装置と方法を説明する。図１０は本発明の実施形態による動画像符号化装置のブロック図を示す。１００１は入力端子、１００２は加算器、１００３は符号化器、１００４は出力端子、１００５は復号化器、１００６は加算器、１００７はフレームメモリ、１００８は動き検出器、１００９は動き補償器、１０１０は予測信号決定器、１０１１は比較器、１０１２は切り替えスイッチである。
【００４２】
以上のように構成された符号化装置について以下その動作を述べる。入力１００１より動画像を構成する複数の画像を入力する。符号化の対象となる画像を１６ｘ１６画素からなるブロックに分割する。処理対象となる対象ブロックは後述する方法で最適予測信号を生成し、加算器１００２にて対象ブロックと最適予測信号との差分を求める。この差分信号は符号化器１００３にて離散コサイン変換を施した上で量子化し、圧縮差分信号を生成する。一方復号化器１００５にて圧縮差分信号を逆量子化、逆離散コサイン変換を施し、再生差分信号を生成する。加算器１００６にて再生差分信号と最適予測信号を加算することにより画像を復元する。復元された再生画像はフレームメモリ１００７に格納される。
【００４３】
次に最適予測信号を生成する方法について説明する。本実施の形態では、フレームメモリ１００７に格納されているＫ枚の参照画像を参照して最適予測信号を生成する。ここではＫ＝５とするがこれに限るものではない。まず動き検出器１００８にてブロックマッチングの手法を用いて複数の参照画像から誤差の最も少ない第１最適予測信号を求め、その誤差を第１予測誤差とする。この第１最適予測信号を与える参照画像を識別するための識別情報及び動きベクトルを記憶しておく。この動きベクトルはラインＬ１００９経由で動き補償器１００９に送られ、動き補償器１００９はフレームメモリ１００７より第１予測信号を取得し、端子１０１３に出力する。動き補償器１００９の代わりに動き検出器１００８で求められた第１予測信号をそのまま端子１０１３に出力してもよい。
【００４４】
次に同じ動きベクトルをラインＬ１００９経由で予測信号決定器１０１０に送られる。予測信号決定器１０１０は、この動きベクトルを用いて、フレームメモリ１００７にある複数の参照画像を元に第２最適予測信号を決定し、その誤差を第２予測誤差とする。予測信号決定器１０１０の処理は図３にて説明したとおりである。
【００４５】
比較器１０１１はラインＬ１００９経由で送られた第１予測誤差とラインＬ１０１１経由で送られた第２予測誤差とを比較し、小さい方を最適予測モードとして決定し、予測モード情報としてラインＬ１０１２経由でスイッチ１０１２を制御する。この予測モード情報は可変長符号化した上でほかの符号化データと共に伝送される。比較の結果、第１予測誤差が小さい場合スイッチ１０１２を端子１０１３に倒し第１最適予測信号を加算器１００２に送る。同時に対応する動きベクトルや参照画像識別情報を可変長符号で符号化する（図１０には示していない）。第２予測誤差が小さい場合スイッチ１０１２を端子１０１４に倒し第２最適予測信号を加算器１００２に送る。同時に対応する動きベクトルを可変長符号で符号化する（図１０には示していない）。
【００４６】
なお、本実施の形態にある動き補償器１００９、比較器１０１１とスイッチ１０１２をなくし、予測信号決定器１０１０の出力を加算器１００２に送るようにしてもよい。この場合、予測モード情報を符号化する必要がない。
【００４７】
図１１は本発明の実施形態による動画像符号化方法の処理の流れ図を示す。ステップ１１０２では画像を入力する。入力画像を１６ｘ１６画素からなるブロックに分割して、各ブロックに対し複数の参照画像を参照して第１最適予測信号及び動きベクトルを決定する（ステップ１１０３）。これは従来の動き検出・動き補償の方法で行う。ステップ１１０４では、求められた動きベクトルに基づき複数の参照画像より対象ブロックに隣接する複数の既知の画素を用いて第２最適予測信号を決定する（詳細は図３にて説明済み）。ステップ１１０５では第１最適予測信号による差分信号と第２最適予測信号による差分信号とを比較する。第１最適予測信号の誤差が少ない場合ステップ１１０７に送られ、第１予測情報として、予測モードに関する情報と動きベクトルと参照画像識別情報と共に差分信号を可変長符号化して出力する。そうでない場合、第２予測情報として、差分信号と動きベクトルと予測モードに関する情報を可変長符号化して出力する。このようにして、第２最適予測信号で符号化する場合には、参照画像識別情報を送る必要がないので補助情報を削減することができる。なお、ステップ１１０６では、動画像符号化処理の初期の段階のように、既知の画素がないもしくは十分ではない場合は、ステップ１１０７に送るようにしても良い。
【００４８】
具体的には、Ｈ．２６４では、画像を１６ｘ１６画素に分割したブロックに対し、複数の参照画像に基づいて最適な予測信号を決定し符号化処理を行う。復号側で複数の参照画像の中から、符号化側と同じ最適な予測信号を生成するには、各ブロック単位に当該最適予測信号を生成するために用いられる参照画像を識別する情報を合わせて符号化する必要がある。実測結果では、約３％から５％の符号量が参照画像を識別するための補助情報で占められている。参照画像の枚数を増やせば増やすほどこの補助情報の符号量はさらに多くなっていく。しかしながら、本発明では、補助情報の符号量を削減することができる。
【００４９】
図１２は、上記実施形態の動き補償付き時間方向帯域分割を用いた符号化方法のプログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合を説明するための図である。
【００５０】
図１２（ｂ） は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１２（ａ） は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしてのデータが記録されている。
【００５１】
また、図１２（ｃ） は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記符号化あるいは復号化装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００５２】
なお、上記説明では、データ記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。またコンピュータとして、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施形態による動画像復号装置を示すブロック図である。
【図２】本発明の実施形態による動画像復号装置に用いられる予測信号決定器を示すブロック図である。
【図３】本発明の実施形態による第１予測信号決定器の処理を示す流れ図である。
【図４】本発明の実施形態による最適予測信号の決定を示す模式図である。
【図５】本発明の実施形態による動画像復号装置に用いられる予測信号決定器の別の例を示すブロック図である。
【図６】本発明の実施形態による予測信号決定器の別の例の処理を示す流れ図である。
【図７】本発明の実施形態による予測信号決定器の別の例の処理における動きベクトルを求める方法を示す流れ図である。
【図８】本発明の実施形態による第２予測信号決定器の処理における動きベクトルを求める方法を説明するための模式図である。
【図９】本発明の実施形態による動画像復号方法の処理を示す流れ図である。
【図１０】本発明の実施形態による動画像符号化装置を示すブロック図である。
【図１１】本発明の実施形態による動画像符号化方法の処理を示す流れ図である。
【図１２】図１２（ａ）（ｂ）（ｃ）は、上記実施の形態の画像信号処理方法をコンピュータシステムにより実現するためのプログラムを格納するためのデータ記憶媒体について説明するための図である。
【符号の説明】
【００５４】
１０１…入力端子、１０２…データ解析器、１０３…復号化器、１０４…加算器、１０５…フレームメモリ、１０６…動き補償器、１０７…予測信号決定器、１０８…切り替えスイッチ、１０９…予測信号出力端子、１１０…出力端子
【図１】
2006108932.tif 000003
【図２】
2006108932.tif 000004
【図３】
2006108932.tif 000005
【図４】
2006108932.tif 000006
【図５】
2006108932.tif 000007
【図６】
2006108932.tif 000008
【図７】
2006108932.tif 000009
【図８】
2006108932.tif 000010
【図９】
2006108932.tif 000011
【図１０】
2006108932.tif 000012
【図１１】
2006108932.tif 000013
【図１２】
2006108932.tif 000014