(57)【要約】【課題】スケーラブル映像符号化における圧縮率を高めるシステムおよびその方法の提供。【解決手段】このシステムおよびその方法では、時間フィルタリングおよび空間離散ウェーブレット変換を行なった後に、画像グループ内の時間低サブバンド画像の空間低サブバンドについて予測映像符号化を行なう。これにより、実際の映像符号化の主基準として、エネルギーが最も高い時間低サブバンド画像の最適予測モードと関連情報とを決定する。【選択図】図１
2006115459.tif 000002
【特許請求の範囲】
【請求項１】
ＳＶＣ構造に基づく、スケーラブル映像符号化（ＳＶＣ）の圧縮率を高めるシステムであって、画像グループ（ＧＯＰ）内の画像間の動きベクトルに関する予測を行なう動き予測ユニットと、時間フィルタリングにより時間低サブバンド画像を含む時間画像を生成する動き補償時間フィルタリングユニットと、空間ＤＷＴ法を用いて前記時間低サブバンド画像を処理し、１つ以上の空間低サブバンドを生成する離散ウェーブレット変換（ＤＷＴ）ユニットと、前記動きベクトルの映像符号化を行なう動きベクトル符号化ユニットと、エントロピー符号化を行う映像符号化ユニットと、映像符号化の内容を一時的に保存するバッファユニットと、を有し、さらに、
前記ＤＷＴユニットと前記映像符号化ユニットとの間の映像符号化予測ユニットであって、前記空間低サブバンドのそれぞれを同じ大きさのＭ＊Ｍの予測ブロックに分割し、前記空間低サブバンド画像の前記Ｍ＊Ｍの予測ブロックを順に読み取り、映像符号化予測モードに従って前記Ｍ＊Ｍの予測ブロック内のすべてのピクセルについて予測を行なうことにより、前記空間低サブバンドの前記予測ブロックのそれぞれについて予測値を生成し、前記空間低サブバンドの前記予測ブロックのそれぞれに関連付けられる実際値を計算し、それを前記関連付けられる予測値と比較することにより、前記空間低サブバンドの前記予測ブロックのそれぞれについて最適予測モードおよび対応する差とを決定し、予測がすべて行われた後、前記時間低サブバンド画像に対するエントロピー符号化を行なう目的で、前記空間低サブバンド画像の前記予測ブロックすべての最適予測モードおよび対応する差を順に出力する、前記映像符号化予測ユニット、
を備えている、システム。
【請求項２】
前記Ｍ＊Ｍの予測ブロックが４＊４の大きさを有する、請求項１に記載のシステム。
【請求項３】
前記Ｍ＊Ｍの予測ブロック内の前記ピクセルのすべてに対する前記映像符号化予測が、前記ピクセルのＤＷＴ係数に対して行われる、請求項１に記載のシステム。
【請求項４】
前記映像符号化予測モードが、平均予測、水平予測、垂直予測、右下斜め予測、左下斜め予測、垂直左予測、垂直右予測、水平上予測、水平下予測、から成るグループから選択される、請求項１に記載のシステム。
【請求項５】
前記最適予測モードが、最小の対応する差を有する、請求項１に記載のシステム。
【請求項６】
前記対応する差が、すべての係数の前記予測値と前記実際値との間の差分絶対和（ＳＡＤ）である、請求項１に記載のシステム。
【請求項７】
ＳＶＣ構造に基づく、スケーラブル映像符号化（ＳＶＣ）の圧縮率を高めるシステムであって、画像グループ（ＧＯＰ）内の画像間の動きベクトルに関する予測を行なう動き予測ユニットと、時間フィルタリングにより時間低サブバンド画像を含む時間画像を生成する動き補償時間フィルタリングユニットと、空間ＤＷＴ法を用いて前記時間低サブバンド画像を処理し、１つ以上の空間低サブバンドを生成する離散ウェーブレット変換（ＤＷＴ）ユニットと、前記動きベクトルの映像符号化を行なう動きベクトル符号化ユニットと、エントロピー符号化を行う映像符号化ユニットと、映像符号化の内容を一時的に保存するバッファユニットと、を有し、さらに、
前記ＤＷＴユニットと前記映像符号化ユニットとの間の映像符号化予測ユニットであって、前記空間低サブバンドのそれぞれを同じ大きさのＭ＊Ｍの予測ブロックに分割し、前記空間低サブバンド画像の前記Ｍ＊Ｍの予測ブロックの１つを読み取り、映像符号化予測モードに従って前記Ｍ＊Ｍの予測ブロック内のすべてのピクセルについて予測を行なうことにより、前記空間低サブバンドの前記予測ブロックのそれぞれについて予測値を生成し、前記空間低サブバンドの前記予測ブロックのそれぞれに関連付けられる実際値を計算し、それを前記関連付けられる予測値と比較することにより、前記空間低サブバンドの前記予測ブロックのそれぞれについて最適予測モードおよび対応する差とを決定し、前記最適予測モードを収集して代表的最適モードを決定し、前記時間低サブバンド画像に対するエントロピー符号化を行なう目的で、前記代表最適予測モードおよび前記対応する差を順に出力する、前記映像符号化予測ユニット、
を備えている、システム。
【請求項８】
前記Ｍ＊Ｍの予測ブロックが４＊４の大きさを有する、請求項７に記載のシステム。
【請求項９】
前記Ｍ＊Ｍの予測ブロック内の前記ピクセルすべてに対する映像符号化予測が、前記ピクセルのＤＷＴ係数に対して行われる、請求項７に記載のシステム。
【請求項１０】
映像符号化予測モードが、平均予測、水平予測、垂直予測、右下斜め予測、左下斜め予測、垂直左予測、垂直右予測、水平上予測、水平下予測、から成るグループから選択される、請求項７に記載のシステム。
【請求項１１】
前記最適予測モードが、最小の対応する差を有する、請求項７に記載のシステム。
【請求項１２】
前記対応する差が、前記予測値と前記実際値との間の差分絶対和（ＳＡＤ）である、請求項７に記載のシステム。
【請求項１３】
前記代表的最適モードが、前記空間低サブバンドの前記予測ブロックの中で使用頻度が最も高い前記最適予測モードである、請求項７に記載のシステム。
【請求項１４】
ＳＶＣ構造における符号化データを減少させることによりＳＶＣ圧縮率を高める方法であって、ＧＯＰに対する時間フィルタリングと空間ＤＷＴの後に生成される時間低サブバンド画像内の複数の空間低サブバンドに対してイントラ予測を行うことにより実現され、
（ａ）前記空間低サブバンドのそれぞれを同じ大きさのＭ＊Ｍの予測ブロックに分割するステップと、
（ｂ）前記空間低サブバンドの前記Ｍ＊Ｍの予測ブロックを順に読み取り、映像符号化予測モードに従って前記Ｍ＊Ｍの予測ブロック内のすべてのピクセルについて映像符号化予測を行い、それにより前記空間低サブバンドの前記予測ブロックのそれぞれの予測値を生成するステップと、
（ｃ）前記空間低サブバンドの前記予測ブロックのそれぞれに関連付けられる実際値を計算し、それを前記関連付けられる予測値と比較することにより、前記空間低サブバンドの前記予測ブロックのそれぞれについて最適予測モードと対応する差とを決定するステップと、
（ｄ）前記時間低サブバンド画像に対してエントロピー符号化を行なう目的で、前記空間低サブバンドの前記予測ブロックのそれぞれと、前記関連付けられる最適予測モードと、前記対応する差とを、順に出力するステップと、
を含んでおり、
前記空間低サブバンドに対して行われていない予測が存在する場合に、ステップ（ｂ）および（ｃ）を繰り返し、前記空間低サブバンドの予測すべてが行われるまでステップ（ｄ）が実行されない、
方法。
【請求項１５】
前記Ｍ＊Ｍの予測ブロックが４＊４の大きさを有する、請求項１４に記載の方法。
【請求項１６】
前記Ｍ＊Ｍの前記予測ブロック内の前記ピクセルすべてに対する映像符号化予測が、前記ピクセルのＤＷＴ係数に対して行われる、請求項１４に記載の方法。
【請求項１７】
前記映像符号化予測モードが、平均予測、水平予測、垂直予測、右下斜め予測、左下斜め予測、垂直左予測、垂直右予測、水平上予測、水平下予測、から成るグループから選択される、請求項１４に記載の方法。
【請求項１８】
前記最適予測モードが、最小の対応する差を有する、請求項１４に記載の方法。
【請求項１９】
前記対応する差が、前記係数すべての予測値と実際値との間の差分絶対和（ＳＡＤ）である、請求項１４に記載の方法。
【請求項２０】
ＳＶＣ構造における符号化データを減少させることによりＳＶＣ圧縮率を高める方法であって、ＧＯＰに対する時間フィルタリングと空間ＤＷＴとの後に生成される時間低サブバンド画像内の複数の空間低サブバンドに対してイントラ予測を行うことにより実現され、
（ａ）前記空間低サブバンドのそれぞれを同じ大きさのＭ＊Ｍの予測ブロックに分割するステップと、
（ｂ）前記空間低サブバンド画像の前記Ｍ＊Ｍの予測ブロックの１つを読み取り、映像符号化予測モードに従って前記Ｍ＊Ｍの予測ブロック内のすべてのピクセルに対して映像符号化予測を行い、それにより前記空間低サブバンドの前記予測ブロックのそれぞれの予測値を生成するステップと、
（ｃ）前記空間低サブバンドの前記予測ブロックのそれぞれに関連付けられる実際値を計算し、それを前記関連付けられる予測値と比較することにより、前記空間低サブバンドの前記予測ブロックのそれぞれについて最適予測モードと対応する差とを求めるステップと、
（ｄ）前記時間低サブバンド画像に対するエントロピー符号化を行なう目的で、前記最適予測モードを収集して代表的最適モードを生成し、前記代表最適予測モードと前記対応する差とを順に出力するステップと、
を含む、方法。
【請求項２１】
前記Ｍ＊Ｍの予測ブロックが４＊４の大きさを有する、請求項２０に記載の方法。
【請求項２２】
前記Ｍ＊Ｍの予測ブロック内の前記ピクセルすべてに対する映像符号化予測が、ピクセルのＤＷＴ係数に対して行われる、請求項２０に記載の方法。
【請求項２３】
前記映像符号化予測モードが、平均予測、水平予測、垂直予測、右下斜め予測、左下斜め予測、垂直左予測、垂直右予測、水平上予測、水平下予測、より成るグループから選択される、請求項２０に記載の方法。
【請求項２４】
前記最適予測モードが、最小の対応する差を有する、請求項２０に記載の方法。
【請求項２５】
前記対応する差が、前記予測値と前記実際値との間の差分絶対和（ＳＡＤ）である、請求項２０に記載の方法。
【請求項２６】
前記代表的最適モードが、前記空間低サブバンドの前記予測ブロックの中で使用頻度が最も高い最適予測モードである、請求項２０の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化システムおよびその方法に関する。特に、本発明は、最も高いエネルギーを有する時間低サブバンド画像（ｔｅｍｐｏｒａｌ  ｌｏｗ  ｓｕｂ−ｂａｎｄ  ｐｉｃｔｕｒｅ）の最適予測を通じて符号化データを低減させることにより、スケーラブル映像符号化（ＳＶＣ）の圧縮率を高めることのできるシステム、およびその方法に関する。
【背景技術】
【０００２】
スケーラブル映像符号化（ＳＶＣ）は、最新の映像符号化標準である。その主たる目的は、伝送環境に応じて映像の解像度、画質、および１秒あたりの伝送速度を調整することである。スケーラビリティを実現するための一般的方法として、空間離散ウェーブレット変換（ＤＷＴ）は、離散コサイン変換（ＤＣＴ）よりも実現が容易である。そのためＤＷＴは、ＳＶＣ構造における変換符号化技術の主流をなしている。
【０００３】
ＳＶＣ構造の例として、ＭＣＴＦ＿ＥＺＢＣ（動き補償時間フィルタリング構造）をあげると、ＭＣＴＦ＿ＥＺＢＣでは、圧縮の基本単位として主として画像グループ（ＧＯＰ）を用いる。ＭＣＴＦ＿ＥＺＢＣでは、最初に、動き予測を実行し、連続する２つの画像の各々における動きベクトルを調べる。その後、画像の運動方向に沿って時間フィルタリングを行い、時間高バンド画像（ｔｅｍｐｏｒａｌ  ｈｉｇｈ−ｂａｎｄ  ｐｉｃｔｕｒｅ）および時間低バンド画像（ｔｅｍｐｏｒａｌ  ｌｏｗ−ｂａｎｄ  ｐｉｃｔｕｒｅ）を生成し、時間冗長性を低減することにより、データ圧縮を低減するという目標が達成される。これを連続するレベルで実行することにより、ＧＯＰのうち１つの時間低サブバンド画像（図２の１０）が残る。解像度のスケーラビリティを満足するため、ＳＶＣ構造は、空間フィルタリング後に、すべての画像に対して空間ウェーブレット分解をさらに実行する。レベル数が多いほど、解像度におけるスケーラブルレベルの数が多くなる。ＤＷＴの各レベルが終了するたびに、各画像には空間軸に４つのサブバンドが生成される。ＤＷＴの次のレベルが終了すると、各々の低サブバンドはさらに４つのサブバンドに分割される。さまざまなスケーラビリティ条件に応じて、このような処理を連続することができる（例えば図３は３レベルの処理を示している）。最後に、ＤＷＴから得られた係数をエントロピー符号化を用いて処理する。さらに、係数間の相関関係を符号化することにより、全体の圧縮率が高まる。
【０００４】
上述した例は、完全なスケーラブルＳＶＣ構造であるが、時間フィルタリングから最後に１つ残った時間低サブバンド画像については、符号化の処理があまり多く行なわれない。そのため、従来の技術においては、データ量が最も多い時間低サブバンド画像について圧縮率を最適化することができない。その結果、全体の圧縮率が低下する。
【０００５】
関連する従来の技術、例えばＨ．２６４のＳＶＣ構造においては、Ｉ画像に対して内部予測を行なうことにより、Ｉ画像の圧縮率を高める手法が提案されている。さらに、米国特許第２００４／０００８７７１Ａ１号明細書では、単一のデジタル画像の符号化手法が提案されている。この手法では、主として、デジタル画像を同じ大きさのいくつかのブロックに分割する。各ブロックを符号化する前に、まず、隣接するブロックに使用される予測モードを求める。隣接するブロックに使用される予測モードの使用頻度を用いて、現在のブロックの予測モードを決定し、これによって単一デジタル画像の効率的な符号化を達成する。
【０００６】
そのため、ＳＶＣ構造が急速に発展している状況下では、この分野における研究開発の主たる方向は、画質を犠牲にすることなくＳＶＣ構造の符号化データを効率的に低減し、それと同時にＳＶＣ構造のスケーラビリティを維持することにより、圧縮率を高める方法である。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記に鑑み、本発明の目的は、新規のＳＶＣシステムとその方法を提供することである。本発明では、時間フィルタリングおよび空間ＤＷＴ処理を行なった後に、ＧＯＰ内の時間低サブバンド画像の空間低サブバンドに対して予測映像符号化を実行し、データ量が最も多い時間低サブバンド画像の最適な予測モードおよび関連情報を求めて、それらを実際の映像符号化の基準として用いる。このことは、符号化データを低減し、映像符号化の圧縮率を高めるという目的を達成するうえで有効である。
【課題を解決するための手段】
【０００８】
前述の目的を達成するため、開示するシステムは、動き予測ユニットと、動き補償時間フィルタリングユニットと、ＤＷＴユニットと、動きベクトル符号化ユニットと、映像符号化ユニットと、バッファユニットと、を含む。このシステムは、時間低サブバンド画像に対する映像符号化予測を行う目的で、ＤＷＴユニットと映像符号化ユニットの間に映像符号化予測ユニットが挿入されており、この映像符号化予測ユニットによって符号化データが減少し、圧縮率が高まる、ことを特徴としている。
【０００９】
本明細書の第１の実施例においては、本発明の方法は、以下のステップ、すなわち、空間低サブバンドを同じ大きさのいくつかの予測ブロックに分割するステップと、予測ブロックを順に読み取り、音声符号化予測モードに従って予測ブロック内のすべてのピクセルに対して映像符号化予測を行い、それにより予測ブロックの各々について予測を生成するステップと、予測ブロックに関連付けられる実際値を計算して予測と比較し、それにより予測ブロックの最適モードおよび対応する差を決定するステップと、予測ブロックに関連付けられる最適予測モードおよび差を、時間低サブバンド画像に対する映像符号化の主基準として出力するステップと、を含んでいる。
【００１０】
本明細書に開示する第２の実施例においては、単一の空間低サブバンドのみについて、第１の実施例のように予測ブロックに対する映像符号化予測（ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｐｒｅｓｅｔｔｉｎｇ）を行なう。空間低サブバンドのすべての予測ブロックの最適予測モードについて統計的分析を行なった後、最も代表的な最適予測モードを決定し、それを時間低サブバンド画像に対する映像符号化の主基準として用いる。
【発明の効果】
【００１１】
映像符号化時のデータ量を大幅に低減し、ＳＶＣ構造の圧縮率を高める効果を達成することができる。
【発明を実施するための最良の形態】
【００１２】
本発明は、以下に示す詳細な説明から、さらに完全に理解されるであろう。以下の詳細な説明は、例示を目的としているのみであり、本発明の範囲を制限するものではない。
【００１３】
図１に図示した、開示するシステム構造は、ＳＶＣ構造に基づくＧＯＰのうち最大のデータ量を有する時間低サブバンド画像１０に対して映像符号化予測処理を行なう。このシステム構造は、以下の部分を含む。
【００１４】
（ａ）動き予測ユニット２０。このユニットは、ＧＯＰ内の画像間の動きベクトルを予測する。
【００１５】
（ｂ）動き補償時間フィルタリングユニット３０。時間フィルタリングを用いて、連続した２つの画像の各々について、動きベクトル方向に沿って時間高サブバンド画像と時間低サブバンド画像を生成する。この動き補償時間フィルタリングユニット３０は、第１レベルの時間フィルタリングの後、高サブバンド画像を保持し、次のレベルの時間フィルタリングのための時間低サブバンド画像を残す。図２に示したように、いくつかのレベルの時間フィルタリングを行なった後（図２は４レベルの時間フィルタリング後の結果を示している）、１つの時間高サブバンド画像と１つの時間低サブバンド画像１０のみが保持される。
【００１６】
（ｃ）ＤＷＴユニット４０。このユニットは、ＤＷＴ法を使用して、動き補償時間フィルタリングユニット３０によって生成された時間低サブバンド画像を処理し、図３に示したように、１つ以上の空間低サブバンドを生成する。時間低サブバンド画像１０が１レベルのＤＷＴを経ると、４つの空間サブバンドが形成される。さらに１レベルのＤＷＴを経ると、元のサブバンドの各々がさらに４つのサブバンドに分割される。システムは、スケーラビリティ条件に応じてこの処理を繰り返すことができる。処理のレベル数が多いほど、システムのスケーラビリティは高くなる（図３は、３レベルの処理後の結果を示している）。
【００１７】
（ｄ）映像符号化予測ユニット５０。このユニットは、本発明の主要な特徴であり、ＤＷＴユニット４０と映像符号化ユニット６０の間に位置している。このユニットは、映像符号化を行なう前に、時間低サブバンド画像１０から生成される空間低サブバンドに対する予測を行なう目的で用いられる。その動作は、以下の２つの実施例に記載してある。
【００１８】
（１）図６は、この動作の第１の実施例を示している。まず、時間低サブバンド画像１０の個々の空間低サブバンドを、同じ大きさのＭ＊Ｍの予測ブロックに分割する（ステップ２００）。空間低サブバンドのＭ＊Ｍの予測ブロックを、順に読み取る。Ｍ＊Ｍの予測ブロック内の個々のピクセルに対して、映像符号化予測を行なう。すなわち、すべてのピクセルのＤＷＴ係数に対して予測が行なわれ、空間低サブバンドの個々の予測ブロックについて予測値が生成される（ステップ３００）。空間低サブバンドの個々の予測ブロックに関連付けられる実際値と、対応する予測値とを比較し、空間低サブバンドの個々の予測ブロックについて、最適予測モードとそれに対応する差とを決定する（ステップ４００）。その後、すべての空間低サブバンドについて予測が完了したかどうかを判定する（ステップ５００）。予測の行なわれていない空間低サブバンドが残っている場合は、動作はステップ３００に戻り、ステップ３００とステップ４００を繰り返す。すべての予測が完了すると、時間低サブバンド画像１０の映像符号化を行なう目的で、個々の空間低サブバンドに関連付けられる予測ブロック、最適予測モード、および差を順に出力する（ステップ６００）。
【００１９】
この実施例では、時間低サブバンド画像１０の個々の空間低サブバンドを分割することにより得られた予測ブロックに対して、個別に予測を行なう。そのため、個々の予測ブロックに対して１回の予測が行なわれ、その後、対応する最適予測モードと差とが出力される。
【００２０】
（２）図７は、第２の実施例の手順を示している。このステップは、おおむね第１の実施例と同じである。まず、時間低サブバンド画像１０の個々の空間低サブバンドを、同じ大きさのＭ＊Ｍの予測ブロックに分割する（ステップ２００）。１つの空間低サブバンドのＭ＊Ｍの予測ブロックを読み取り、前述した映像符号化予測モードに従って、予測ブロック内の全てのピクセルに対して映像符号化予測を行なう。すなわち、個々のピクセルのＤＷＴ係数に対して予測を行い、空間低サブバンドの個々の予測ブロックに関連付けられる予測値を生成する（ステップ３１０）。空間低サブバンドの個々の予測ブロックの実際値を、対応する予測値と比較し、空間低サブバンドの個々の予測ブロックに関連付けられる最適予測モードと対応する差とを決定する（ステップ４００）。最適予測モードを収集し、代表的最適予測モードを決定する。時間低サブバンド画像の映像符号化を行なう目的で、代表的最適予測モードと、対応する差とを順に出力する（ステップ７００）。
【００２１】
第２の実施例と第１の実施例の違いは、ステップ３１０において、時間低サブバンド画像１０の空間低サブバンドの１つのみにおいて読み取りを行い、予測ブロックに対して個別の予測を行なう点である。ステップ７００においては、予測ブロックの中で最も使用頻度の高い最適予測モード（すなわち代表的最適予測モード）と対応する差とが、時間低サブバンド画像１０のすべての空間低サブバンドの出力として用いられる。これにより、映像符号化予測ユニット５０が予測を行なうために必要な処理手順とデータを大幅に低減することができる。これにより、予測時の効率と映像符号化全体の効率が高まる。
【００２２】
一般的には、予測ブロックのサイズは１６＊１６または４＊４である（例としてＨ．２６４を用いる）。１６＊１６の予測ブロックは、通常、ピクセル値がなめらかに変化するブロックの予測に用いられる。４＊４の予測ブロックはピクセル値が急激に変化するブロックの予測に用いられる。これら２つの方法の目的は異なる。以下では、４＊４の予測ブロックを用いて、映像符号化予測モードを詳細に説明する。
【００２３】
図４に示したように、映像符号化予測モードとは、以下の９つの計算基準方位（すなわち予測方位）における予測ブロックに対する予測処理を意味する。すなわち垂直予測（モード０）、水平予測（モード１）、平均予測（モード２、図示していない）、左下斜め予測（モード３）、右下斜め予測（モード４）、垂直右予測（モード５）、水平下予測（モード６）、垂直左予測（モード７）、および水平上予測（モード８）である。
【００２４】
上述の９つの計算基準方位と以下の計算法とを使用して、すべての映像符号化予測モードの予測値を得ることができる。図５において、ａ、ｂ、ｃ、ｄ、…ｍ、ｎ、ｏ、ｐは、４＊４の予測ブロックの１６のピクセル値を表しており、Ａ、Ｂ、Ｃ、Ｄ、…Ｍ、Ｎ、Ｏ、Ｐは、４＊４の予測ブロックの周囲の基準ピクセル値を示している。（これらの基準ピクセル値は、同じ画像および同じ空間低サブバンドに属しているという基本条件を満たしていなければならない）。予測値は、以下の計算法を用いて予測される。
（１）垂直予測（モード０）
Ａを参照して、ａ、ｅ、ｉ、ｍの予測を行なう。
Ｂを参照して、ｂ、ｆ、ｊ、ｎの予測を行なう。
Ｃを参照して、ｃ、ｇ、ｋ、ｏの予測を行なう。
Ｄを参照して、ｄ、ｈ、ｌ、ｐの予測を行なう。
（２）水平予測（モード１）
Ｉを参照して、ａ、ｂ、ｃ、ｄの予測を行なう。
Ｊを参照して、ｅ、ｆ、ｇ、ｈの予測を行なう。
Ｋを参照して、ｉ、ｊ、ｋ、ｌの予測を行なう。
Ｌを参照して、ｍ、ｎ、ｏ、ｐの予測を行なう。
（３）平均予測（モード２）
すべての基準ピクセル値が存在する場合は、（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｉ＋Ｊ＋Ｋ＋Ｌ＋４）＞＞３を参照して、ａ、ｂ、ｃ、ｄ、…、ｍ、ｎ、ｏ、ｐの予測を行なう。
Ａ、Ｂ、Ｃ、Ｄのみが存在する場合は、（Ａ＋Ｂ＋Ｃ＋Ｄ＋２）＞＞２を参照してａ、ｂ、ｃ、ｄ、…、ｍ、ｎ、ｏ、ｐの予測を行なう。
Ｉ、Ｊ、Ｋ、Ｌのみが存在する場合は、（Ｉ＋Ｊ＋Ｋ＋Ｌ＋２）＞＞２を参照してａ、ｂ、ｃ、ｄ、…、ｍ、ｎ、ｏ、ｐの予測を行なう。
（４）左下斜め予測（モード３）
ａは（Ａ＋２Ｂ＋Ｃ＋Ｉ＋２Ｊ＋Ｋ＋４）＞＞３により表される。
ｂおよびｅは（Ｂ＋２Ｃ＋Ｄ＋Ｊ＋２Ｋ＋Ｌ＋４）＞＞３により表される。
ｃ、ｆ、ｉは（Ｃ＋２Ｄ＋Ｅ＋Ｋ＋２Ｌ＋Ｍ＋４）＞＞３により表される。
ｄ、ｇ、ｊ、ｍは（Ｄ＋２Ｅ＋Ｆ＋Ｌ＋２Ｍ＋Ｎ＋４）＞＞３により表される。
ｈ、ｋ、ｎは（Ｅ＋２Ｆ＋Ｇ＋Ｍ＋２Ｎ＋Ｏ＋４）＞＞３により表される。
ｌ、ｏは（Ｆ＋２Ｇ＋Ｈ＋Ｎ＋２Ｏ＋Ｐ＋４）＞＞３により表される。
ｐは（Ｇ＋Ｈ＋Ｏ＋Ｐ＋２）＞＞２により表される。
（５）右下斜め予測（モード４）
ｍは（Ｊ＋２Ｋ＋Ｌ＋２）＞＞２により表される。
ｉ、ｎは（Ｉ＋２Ｊ＋Ｋ＋２）＞＞２により表される。
ｅ、ｊ、ｏは（Ｑ＋２Ｉ＋Ｊ＋２）＞＞２により表される。
ａ、ｆ、ｋ、ｐは（Ａ＋２Ｑ＋Ｉ＋２）＞＞２により表される。
ｂ、ｇ、ｌは（Ｑ＋２Ａ＋Ｂ＋２）＞＞２により表される。
ｃ、ｈは（Ａ＋２Ｂ＋Ｃ＋２）＞＞２により表される。
ｄは（Ｂ＋２Ｃ＋Ｄ＋２）＞＞２により表される。
（６）垂直右予測（モード５）
ａ、ｊは（Ｑ＋Ａ＋１）＞＞１により表される。
ｂ、ｋは（Ａ＋Ｂ＋１）＞＞１により表される。
ｃ、ｌは（Ｂ＋Ｃ＋１）＞＞１により表される。
ｄは（Ｃ＋Ｄ＋１）＞＞１により表される。
ｅ、ｎは（Ｉ＋２Ｑ＋Ａ＋２）＞＞２により表される。
ｆ、ｏは（Ｑ＋２Ａ＋Ｂ＋２）＞＞２により表される。
ｇ、ｐは（Ａ＋２Ｂ＋Ｃ＋２）＞＞２により表される。
ｈは（Ｂ＋２Ｃ＋Ｄ＋２）＞＞２により表される。
ｉは（Ｑ＋２Ｉ＋Ｊ＋２）＞＞２により表される。
ｍは（Ｉ＋２Ｊ＋Ｋ＋２）＞＞２により表される。
（７）水平下予測（モード６）
ａ、ｇは（Ｑ＋Ｉ＋１）＞＞１により表される。
ｂ、ｈは（Ｉ＋２Ｑ＋Ａ＋２）＞＞２により表される。
ｃはＱ＋２Ａ＋Ｂ＋２）＞＞２により表される。
ｄは（Ａ＋２Ｂ＋Ｃ＋２）＞＞２により表される。
ｅ、ｋは（Ｉ＋Ｊ＋１）＞＞１により表される。
ｆ、ｌは（Ｑ＋２Ｉ＋Ｊ＋２）＞＞２により表される。
ｉ、ｏは（Ｊ＋Ｋ＋１）＞＞１により表される。
ｊ、ｐは（Ｉ＋２Ｊ＋Ｋ＋２）＞＞２により表される。
ｍは（Ｋ＋Ｌ＋１）＞＞１により表される。
ｎは（Ｊ＋２Ｋ＋Ｌ＋２）＞＞２により表される。
（８）垂直左予測（モード７）
ａは（２Ａ＋２Ｂ＋Ｊ＋２Ｋ＋Ｌ＋４）＞＞４により表される。
ｂ、ｉは（Ｂ＋Ｃ＋１）＞＞１により表される。
ｃ、ｊは（Ｃ＋Ｄ＋１）＞＞１により表される。
ｄ、ｋは（Ｄ＋Ｅ＋１）＞＞１により表される。
ｌは（Ｅ＋Ｆ＋１）＞＞１により表される。
ｅは（Ａ＋２Ｂ＋Ｃ＋Ｋ＋２Ｌ＋Ｍ＋４）＞＞４により表される。
ｆ、ｍは（Ｂ＋２Ｃ＋Ｄ＋２）＞＞２により表される。
ｇ、ｎは（Ｃ＋２Ｄ＋Ｅ＋２）＞＞２により表される。
ｈ、ｏは（Ｄ＋２Ｅ＋Ｆ＋２）＞＞２により表される。
ｐは（Ｅ＋２Ｆ＋Ｇ＋２）＞＞２により表される。
（９）水平上予測（モード８）
ａは（Ｂ＋２Ｃ＋Ｄ＋２Ｉ＋２Ｊ＋４）＞＞３により表される。
ｂは（Ｃ＋２Ｄ＋Ｅ＋Ｉ＋２Ｊ＋Ｋ＋４）＞＞３により表される。
ｃ、ｅは（Ｊ＋Ｋ＋１）＞＞１により表される。
ｄ、ｆは（Ｊ＋２Ｋ＋Ｌ＋２）＞＞２により表される。
ｇ、ｉは（Ｋ＋Ｌ＋１）＞＞１により表される。
ｈ、ｊはＫ＋２Ｌ＋Ｍ＋２）＞＞２により表される。
ｌ、ｎは（Ｌ＋２Ｍ＋Ｎ＋２）＞＞２により表される。
ｋ、ｍは（Ｌ＋Ｍ＋１）＞＞１により表される。
ｏは（Ｍ＋Ｎ＋１）＞＞１により表される。
ｐは（Ｍ＋２Ｎ＋Ｏ＋２）＞＞２により表される。
【００２５】
個々の予測ブロックの映像符号化予測モードの各々に関連付けられる予測値の計算を行なった後に、引き続き、予測ブロック内のすべてのピクセルの予測値のそれぞれと実際値とを比較し、それにより予測ブロックに関連付けられる最適予測モードと対応する差とを決定する。対応する差とは、個々のピクセルの予測値と実際値との間の差分絶対和（ＳＡＤ）を意味する。最適予測モードは、ＳＡＤが最も小さい予測モードである。
【００２６】
第２の実施例においては、いわゆる代表的最適予測モードに言及した。代表的最適予測モードは、いくつかの最適予測モードの使用の回数を累算することにより求められる。最も使用回数の多い最適予測モードが、空間低サブバンド全体に用いる最適予測モードとなる。
【００２７】
（ｅ）映像符号化ユニット６０。このユニットは、ＤＷＴユニット４０において予測符号化によって処理されていない空間低サブバンドの係数と、映像符号化予測ユニット５０により生成された予測エラーとに対して、エントロピー符号化を行なう。
【００２８】
（ｆ）動きベクトル符号化ユニット７０。このユニットは、２つの連続する画像の各々から、動き予測ユニット２０により予測される動きベクトルに対する映像符号化を行なう。
【００２９】
（ｇ）バッファユニット８０。このユニットは、空間低サブバンド、予測ブロック、最適予測モード、および対応する差など、映像符号化の内容を一時的に保持する。
【００３０】
最もデータ量の多い時間低サブバンド画像１０に基づいて前述のシステムおよび方法を実施することにより、映像符号化の基礎として用いられる、個々の空間低サブバンドの最適予測モードと対応する差とを求める。これによって、映像符号化時のデータ量を大幅に低減し、ＳＶＣ構造の圧縮率を高める効果を達成することができる。
【００３１】
当業者には、請求項に定義されている本発明の精神および範囲内であるとみなされる変更が明らかであろう。
【図面の簡単な説明】
【００３２】
【図１】本発明のシステム構造を示す図である。
【図２】本発明による動き補償時間フィルタリングユニットにおける時間フィルタリングの概略図である。
【図３】本発明による離散ウェーブレット変換ユニットにおける空間ウェーブレット分解の概略図である。
【図４】開示した符号化予測モードによる計算基準方位の概略図である。
【図５】開示した符号化予測モードによる計算基準の概略図である。
【図６】本発明の第１の実施例のフローチャートである。
【図７】本発明の第２の実施例のフローチャートである。
【符号の説明】
【００３３】
２０  動き予測ユニット
３０  動き補償時間フィルタリングユニット
４０  ＤＷＴユニット
５０  映像符号化予測ユニット
６０  映像符号化ユニット
７０  動きベクトル符号化ユニット
８０  バッファユニット
【図１】
2006115459.tif 000003
【図２】
2006115459.tif 000004
【図３】
2006115459.tif 000005
【図４】
2006115459.tif 000006
【図５】
2006115459.tif 000007
【図６】
2006115459.tif 000008
【図７】
2006115459.tif 000009