(57)【要約】  本発明は、一連のオリジナル画像から第１の符号化方法により一連の復号化画像を形成し、一連のオリジナル画像の画像群から第２の符号化方法のインター符号化モードにより一連の第２の画像を形成する画像符号化方法に関する。ここで本発明によれば、基準画像として少なくとも１つの復号化画像が使用されるが、この基準画像は符号化すべき画像領域の第２の画像によって表されるオリジナル画像とは異なるオリジナル画像を表す。また本発明は画像符号化方法を実行可能な画像符号化装置、および、画像復号化方法を実行可能な画像復号化装置に関する。
2008524949.tif 000002
【特許請求の範囲】
【請求項１】
例えば独国出願第１０２００４０３１４０７．１号明細書の請求項１から８までのいずれか１項記載の画像符号化方法において、
ａ）一連のオリジナル画像（０１〜０Ｎ）から第１の符号化方法（ＣＶ１）により一連の復号化画像（Ｄ１〜ＤＭ）を形成するステップ、および、
ｂ）一連のオリジナル画像（０１〜０Ｎ）の画像群（ＧＯＰ）から第２の符号化方法（ＣＶ２）により一連の第２の画像（Ｚ１〜Ｚ３，Ａ３）を形成するステップ
を有しており、
ここで第２の画像（Ｚ１）のうち少なくとも１つの画像領域を第２の符号化方法（ＣＶ２）のインター符号化モードにより符号化し、インター符号化モードにより基準画像（ＲＢ）として少なくとも１つの復号化画像（Ｄ５）を使用し、基準画像（ＲＢ）として使用される復号化画像（Ｄ５）は符号化すべき画像領域の第２の画像（Ｚ１）によって表されるオリジナル画像（０４）とは異なるオリジナル画像（０５）を表す
ことを特徴とする画像符号化方法。
【請求項２】
第２の画像（Ｚ３）を符号化するために少なくとも２つの復号化画像（Ｄ４，Ｄ５）を考慮し、ここで、形成すべき第２の画像（Ｚ３）と同じオリジナル画像（０５）を表す復号化画像（Ｄ５）を付加的に基準画像（ＲＢ）として用いる、請求項１記載の方法。
【請求項３】
第２の画像（Ｚ１〜Ｚ３，Ａ３）の少なくとも１つの画像領域を符号化する前に、第１の画像サイズ（ＢＧ１）を有する復号化画像（Ｄ１〜ＤＭ）の少なくとも１つの部分領域を第２の画像サイズ（ＢＧ２）へ拡大または縮小する、請求項１または２記載の方法。
【請求項４】
イントラ符号化モードおよび／またはインター符号化モードおよび／または双方向予測符号化モードによる第１の符号化方法（ＣＶ１）を用いて少なくとも１つの復号化画像（Ｄ１〜ＤＭ）を形成する、請求項１から３までのいずれか１項記載の方法。
【請求項５】
第１の符号化方法（ＣＶ１）により第１の画像反復周波数（ＢＷＦ１）を有する一連の復号化画像（Ｄ１〜ＤＭ）を形成し、第２の符号化方法（ＣＶ２）により第２の画像反復周波数（ＢＷＦ２）を有する一連の第２の画像（Ｚ１〜Ｚ３，Ａ３）を形成する、請求項１から４までのいずれか１項記載の方法。
【請求項６】
第１の符号化方法（ＣＶ１）により一連の復号化画像（Ｄ１＿Ｑ１，Ｄ１＿Ｑ２，…，ＤＭ＿Ｑ１，ＤＭ＿Ｑ２）を複数の第１の画像品質段階（Ｑ１，Ｑ２）で形成し、第２の符号化方法（ＣＶ２）により一連の第２の画像（Ｚ１〜Ｚ３，Ａ３）を複数の第２の画像品質段階で形成し、ここで一連の第２の画像（Ｚ１〜Ｚ３，Ａ３）を形成するために例えば最も高い第１の画像品質段階（Ｑ２）を有する一連の復号化画像を考慮する、請求項１から５までのいずれか１項記載の方法。
【請求項７】
第１の符号化方法（ＣＶ１）および第２の符号化方法（ＣＶ２）として同一の符号化方法を使用するか、または、２つの異なる符号化方法、例えば第１の符号化方法（ＣＶ１）として動き補償予測符号化法、第２の符号化方法（ＣＶ２）として動き補償時間フィルタリング部分帯域符号化法を使用する、請求項１から６までのいずれか１項記載の方法。
【請求項８】
画像符号化プロセスにおいて、少なくとも１つの第２の画像（Ｚ１，Ａ３）を形成する際に少なくとも１つの復号化画像（Ｄ１，Ｄ１＿Ｑ１，Ｄ１＿Ｑ２）が使用されていることを表す少なくとも１つの識別子（ＫＮ）を含むビットストリーム（ＢＳ）を形成する、請求項１から７までのいずれか１項記載の方法。
【請求項９】
例えば独国出願第１０２００４０３１４０７．１号明細書の請求項８記載の画像復号化方法において、
前記請求項１から８までのいずれか１項記載の画像符号化方法にしたがって符号化された少なくとも１つの画像、例えば少なくとも１つの第２の画像（Ｚ１〜Ｚ３，Ａ３）を復号化するために、第２の復号化方法（ＤＶ２）により一連の第２の画像（Ｚ１〜Ｚ３，Ａ３）から一連のオリジナル再構成画像（Ｋ１〜ＫＮ）を形成するステップを有しており、
ここで、第２の画像（Ｚ１）のうち少なくとも１つの画像領域を第２の符号化方法（ＣＶ２）のインター復号化モードにより復号化し、インター復号化モードにより基準画像（ＲＢ）として第１の符号化方法（ＣＶ１）で形成された少なくとも１つの復号化画像（Ｄ５）を使用し、基準画像（ＲＢ）として使用される復号化画像（Ｄ５）は復号化すべき画像領域の第２の画像（Ｚ１）によって表されるオリジナル画像（０４）とは異なるオリジナル画像（０５）を表す
ことを特徴とする画像復号化方法。
【請求項１０】
画像復号化プロセスにおいて、少なくとも１つの第２の画像（Ｚ１，Ａ３）を形成する際に少なくとも１つの復号化画像（Ｄ１，Ｄ１＿Ｑ１，Ｄ１＿Ｑ２）が使用されていることを表す少なくとも１つの識別子（ＫＮ）を含むビットストリーム（ＢＳ）を復号化する、請求項９記載の方法。
【請求項１１】
例えば独国出願第１０２００４０３１４０７．１号明細書の請求項９記載の画像符号化装置（ＥＶ）において、
前記請求項１から８までのいずれか１項記載の画像符号化方法を実行する手段、すなわちａ）一連のオリジナル画像（０１〜０Ｎ）から第１の符号化方法（ＣＶ１）により一連の復号化画像（Ｄ１〜ＤＭ）を形成する第１の手段（Ｍ１）、および、ｂ）一連のオリジナル画像（０１〜０Ｎ）の画像群（ＧＯＰ）から第２の符号化方法（ＣＶ２）により一連の第２の画像（Ｚ１〜Ｚ３，Ａ３）を形成する第２の手段（Ｍ２）を有しており、
ここで第２の画像（Ｚ１）のうち少なくとも１つの画像領域が第２の符号化方法（ＣＶ２）のインター符号化モードにより符号化され、インター符号化モードにより基準画像（ＲＢ）として少なくとも１つの復号化画像（Ｄ５）が使用され、基準画像（ＲＢ）として使用される復号化画像（Ｄ５）により、符号化すべき画像領域の第２の画像（Ｚ１）によって表されるオリジナル画像（０４）とは異なるオリジナル画像（０５）が表される
ことを特徴とする画像符号化装置。
【請求項１２】
少なくとも１つの識別子（ＫＮ）を含むビットストリーム（ＢＳ）を形成して送信する送信手段（ＭＳ）が設けられており、該識別子は少なくとも１つの第２の画像（Ｚ１，Ａ３）を形成する際に少なくとも１つの復号化画像（Ｄ１，Ｄ１＿Ｑ１，Ｄ１＿Ｑ２）が使用されていることを表す、請求項１０記載の装置。
【請求項１３】
例えば独国出願第１０２００４０３１４０７．１号明細書の請求項１０記載の画像復号化装置（ＤＶ）において、
前記請求項９または１０記載の画像復号化方法を実行する手段を有しており、さらに第２の復号化方法（ＤＶ２）により一連の第２の画像（Ｚ１〜Ｚ３，Ａ３）から一連のオリジナル再構成画像（Ｋ１〜ＫＮ）を形成する第３の手段（Ｍ３）を有しており、
ここで第２の画像（Ｚ１）のうち少なくとも１つの画像領域が第２の復号化方法（ＤＶ２）のインター復号化モードにより復号化され、インター復号化モードにより基準画像（ＲＢ）として第１の符号化方法（ＣＶ１）で形成された少なくとも１つの復号化画像（Ｄ５）が使用され、基準画像（ＲＢ）として使用される復号化画像（Ｄ５）により、復号化すべき画像領域の第２の画像（Ｚ１）によって表されるオリジナル画像（０４）とは異なるオリジナル画像（０５）が表される
ことを特徴とする画像復号化装置。
【請求項１４】
少なくとも１つの第２の画像（Ｚ１，Ａ３）を形成する際に少なくとも１つの復号化画像（Ｄ１，Ｄ１＿Ｑ１，Ｄ１＿Ｑ２）が使用されていることを表す少なくとも１つの識別子（ＫＮ）を含むビットストリーム（ＢＳ）を受信する受信手段（ＭＥ）が設けられている、請求項１３記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は請求項１の上位概念に記載されている画像符号化方法、請求項９の上位概念に記載されている画像復号化方法、請求項１１の上位概念に記載されている画像符号化装置、および、請求項１１の上位概念に記載されている画像復号化装置に関する。
【０００２】
参考文献［１］によれば、一連の画像を効率的に符号化するためのビデオ符号化方法は固有の信号特性を利用している。ここでは、個々の画像または個々のピクセルの空間依存性および時間依存性が考慮される。ビデオ符号化方法が個々の画像間または個々のピクセル間の依存性を良好に利用できるようになっていれば、それだけ達成可能な圧縮係数が大きくなる。
【０００３】
ビデオ符号化のためのこんにちの技術では、ハイブリッド符号化プロセス、例えば参考文献［２］［３］に示されているＩＴＵ−Ｔ Ｈ．２６３規格またはＩＴＵ−Ｔ H.２６４規格と、いわゆる３次元周波数符号化プロセスとが区別される。これらのプロセスは双方とも、一連の画像から成るビデオ信号を空間的および時間的に符号化しようとするものであるが、ハイブリッド符号化プロセスではまず時間方向で動き補償予測が行われ、続いて形成された差画像の２次元変換が例えば２次元離散余弦変換ＤＣＴにより行われる。これにより差画像内の隣接するピクセルのあいだの空間的相関が解除される。
【０００４】
これに対して３次元周波数符号化プロセス、例えば動き補償時間フィルタリング部分帯域符号化プロセスでは、ハイブリッド符号化プロセスとは異なって時間予測は行われず、時間軸方向での"純粋な"変換が行われ、これにより連続する画像のあいだの時間的相関が利用される。このような部分帯域符号化プロセスでは、２次元の空間的相関を解除する前に、一連の画像が、複数の時間的周波数帯域、例えば２つの周波数帯域すなわち時間的な高周波数の画像成分に対する高周波数帯域と低周波数の画像成分に対する低周波数帯域とへ符号化される。スペクトル分解ではこれらの周波数帯域において発生する周波数の分布はビデオ信号に発生している動きの大きさに強く依存する。ここで考察しているビデオ信号が動きの要素または可変の要素を有さないのであれば、全ての高周波数"時間スペクトル成分"は０に等しく、全エネルギは低周波数帯域へ集中する。ただし通常の場合、一連の画像においてつねに画像の時間変化分、例えば局所的なオブジェクトの移動、オブジェクトのサイズ変化またはシーン転換などが認められる。このため、複数のスペクトル係数にわたるエネルギ分布が生じ、このとき高周波数成分も発生する。
【０００５】
時間的高周波数帯域でのスペクトル成分を低減し、エネルギを時間的低周波数帯域へ集中させるために、ビデオ信号を複数の時間的周波数帯域へ時間フィルタリングする前に、時間フィルタリングすべき画像の空間的な動き推定および動き補償が行われる。
【０００６】
参考文献［４］によれば、動き補償時間フィルタリング部分帯域符号化プロセスはスケーラブルビデオストリームを形成するために使用することもできる。こうして時間的、定性的または空間的なスケーラビリティが得られる。また参考文献［４］の第３．２．４章には、コンビネーションスケーリングの手法が説明されている。ここではハイブリッド符号化プロセスを用いて２つの異なる基本品質が達成される。画像品質の改善を達成するために、付加的にスケーリングされたビデオデータストリームが用いられる。参考文献［４］では、付加的にスケーリングされたビデオデータストリームは動き補償時間フィルタリング部分帯域符号プロセスにより形成される。したがって、動き補償予測符号化による第１の符号化方法と、動き補償時間フィルタリング部分帯域符号化による第２の符号化方法とを用いて、スケーラブルビデオストリームを形成することができる。
【０００７】
独国出願第１０２００４０３１４０７．１号明細書には、スケーラブルビデオストリームを形成するために、３次元周波数符号化を用いたハイブリッド符号化プロセスを使用することが記載されている。
【０００８】
したがって本発明の基礎とする課題は、第１の符号化方法および第２の符号化方法を利用して画像の符号化または復号化を効率的に実現できる画像符号化方法、画像復号化方法、画像符号化装置および画像復号化装置を提供することである。
【０００９】
この課題は請求項１の特徴部分に記載された構成を有する画像符号化方法、および、請求項９の特徴部分に記載された構成を有する画像復号化方法により解決される。さらに、この課題は、請求項１１の特徴部分に記載された構成を有する画像符号化装置、および、請求項１３の特徴部分に記載された構成を有する画像復号化装置により解決される。
【００１０】
例えば独国出願第１０２００４０３１４０７．１号明細書の請求項１から８までのいずれか１項記載の画像符号化方法では、一連のオリジナル画像から第１の符号化方法により一連の復号化画像が形成され、一連のオリジナル画像の画像群から第２の符号化方法により一連の第２の画像が形成され、ここで第２の画像のうち少なくとも１つの画像領域が第２の符号化方法のインター符号化モードにより符号化され、インター符号化モードにより基準画像として少なくとも１つの復号化画像が使用され、基準画像として使用される復号化画像は符号化すべき画像領域の第２の画像によって表されるオリジナル画像とは異なるオリジナル画像を表す。
【００１１】
本発明の画像符号化方法によれば、第２の画像を形成する際に少なくとも１つの復号化画像が考慮される。これにより、第２の符号化方法のインター符号化モードによる第２の画像の形成時に予測の改善が達成されるので、符号化効率が高められる。
【００１２】
有利には、第２の画像を符号化するために少なくとも２つの復号化画像が考慮され、ここで、形成すべき第２の画像と同じオリジナル画像を表す復号化画像が付加的に基準画像として用いられる。これにより良好な表現が得られ、予測ないしは圧縮のさらなる改善が達成される。
【００１３】
第２の画像の少なくとも１つの画像領域を符号化する前に、第１の画像サイズを有する復号化画像の少なくとも１つの部分領域を第２の画像サイズへ拡大または縮小するように構成すれば、第２の画像の画像サイズが復号化画像の画像サイズと異なる場合でも本発明の画像符号化方法を使用することができる。これによりさらに予測および圧縮の改善が達成される。
【００１４】
イントラ符号化モードおよび／またはインター符号化モードおよび／または双方向予測符号化モードによる第１の符号化方法を用いて少なくとも１つの復号化画像を形成するように構成すれば、第２の画像を形成する際の符号化効率をさらに向上させることができる。
【００１５】
また、第１の符号化方法により第１の画像反復周波数を有する一連の復号化画像が形成され、第２の符号化方法により第２の画像反復周波数を有する一連の第２の画像が形成される。これにより第２の画像の画像反復周波数と復号化画像の画像反復周波数とが異なる場合にも本発明の画像符号化方法を使用して圧縮率を高めることができる。
【００１６】
有利には、第１の符号化方法により一連の復号化画像が複数の第１の画像品質段階で形成され、第２の符号化方法により一連の第２の画像が複数の第２の画像品質段階で形成され、ここで一連の第２の画像を形成するために例えば最も高い第１の画像品質段階を有する一連の復号化画像が考慮される。これにより本発明の画像符号化方法はスケーラビリティ段を支援する第１の符号化方法および／または第２の符号化方法においても使用可能となる。このことは圧縮率の向上につながる。
【００１７】
さらに有利には、第１の符号化方法および第２の符号化方法として同一の符号化方法または２つの異なる符号化方法が使用され、例えば第１の符号化方法として動き補償予測符号化法が適用され、第２の符号化方法として動き補償時間フィルタリング部分帯域符号化法が適用される。このようにすれば、一連のオリジナル画像を符号化する方法として、同一の符号化方法または２つの異なる符号化方法を本発明の符号化方法において使用することができる。
【００１８】
本発明の方法のさらなる選択手段によれば、画像符号化プロセスにおいて、少なくとも１つの第２の画像を形成する際に少なくとも１つの復号化画像が使用されていることを表す少なくとも１つの識別子を含むビットストリームが形成される。これにより画像符号化装置が本発明の方法にしたがって形成されたビットストリームを画像復号化装置へ伝達することができる。ここでビットストリームは第２の画像の形成時の第２の画像と少なくとも１つの第１の復号化画像との依存関係を詳細に記述している。
【００１９】
例えば独国出願第１０２００４０３１４０７．１号明細書の請求項８記載の画像復号化方法では、画像符号化方法によって符号化された少なくとも１つの画像、例えば少なくとも１つの第２の画像を復号化するステップが設けられており、第２の復号化方法により一連の第２の画像から一連のオリジナル再構成画像が形成され、第２の画像のうち少なくとも１つの画像領域が第２の復号化方法のインター復号化モードにより復号化され、インター復号化モードにより基準画像として少なくとも１つの復号化画像が使用され、基準画像として使用される復号化画像は復号化すべき画像領域の第２の画像によって表されるオリジナル画像とは異なるオリジナル画像を表す。本発明の画像復号化方法により本発明の画像符号化方法によって形成された復号化画像または第２の画像を復号化することができる。この場合、第２の復号化方法により、第２の符号化方法によって形成された第２の画像が復号化される。ここで第２の復号化方法は少なくとも１つのインター復号化モード、イントラ復号化モードおよび／または双方向予測復号化モードを含む。
【００２０】
有利には、画像復号化プロセスにおいて、少なくとも１つの第２の画像を形成する際に少なくとも１つの復号化画像が使用されることを表す少なくとも１つの識別子を含むビットストリームが復号化される。これにより本発明の方法にしたがって形成されたビットストリームが受信および復号化される。ここでビットストリームは第２の画像の形成時の少なくとも１つの第１の復号化画像との依存関係を詳細に記述する。
【００２１】
さらに、例えば独国出願第１０２００４０３１４０７．１号明細書の請求項９記載の画像符号化装置では、画像符号化方法を実行するために、一連のオリジナル画像から第１の符号化方法により一連の復号化画像を形成する第１の手段、および、一連のオリジナル画像の画像群から第２の符号化方法により一連の第２の画像を形成する第２の手段が設けられており、ここで第２の画像のうち少なくとも１つの画像領域が第２の符号化方法のインター符号化モードにより符号化され、インター符号化モードにより基準画像として少なくとも１つの復号化画像が使用され、基準画像として使用される復号化画像により、符号化すべき画像領域の第２の画像によって表されるオリジナル画像とは異なるオリジナル画像が表される。本発明の画像符号化装置により本発明の画像符号化方法が実行される。
【００２２】
有利には、画像符号化装置は、少なくとも１つの第２の画像を形成する際に少なくとも１つの復号化画像が使用されていることを表す少なくとも１つの識別子を含むビットストリームを形成して送信する送信手段を含む。これにより画像符号化装置から画像復号化装置へビットストリームを送信することができる。
【００２３】
さらに、例えば独国出願第１０２００４０３１４０７．１号明細書の請求項１０記載の画像復号化装置では、画像復号化方法を実行するために、第２の復号化方法により一連の第２の画像から一連のオリジナル再構成画像を形成する第３の手段が設けられており、ここで第２の画像のうち少なくとも１つの画像領域が第２の復号化方法のインター復号化モードにより復号化され、インター復号化モードにより基準画像として少なくとも１つの復号化画像が使用され、基準画像として使用される復号化画像により、復号化すべき画像領域の第２の画像によって表されるオリジナル画像とは異なるオリジナル画像が表される。本発明の画像復号化装置により本発明の画像復号化方法が装置として実現される。画像符号化装置および／または画像復号化装置は、無線機器、特にＵＭＴＳ（Universal Mobile Telecommunication System）規格および／またはＧＳＭ（Gloal System for Mobile Communication）規格に準拠した無線機器、または例えばイントラネットおよび／またはインタネットに接続された固定網機器として実現され使用される。
【００２４】
有利には、少なくとも１つの第２の画像を形成する際に少なくとも１つの復号化画像が使用されていることを表す少なくとも１つの識別子を含むビットストリームを受信する受信手段が画像復号化装置に設けられており、これによりビットストリームを受信および処理することができる。
【００２５】
本発明のさらなる特徴および利点を図１〜図９に即して詳細に説明する。図１には、一連のオリジナル画像から第１の符号化方法すなわち動き補償予測符号化法により復号化画像を形成し、第２の符号化方法すなわち動き補償時間フィルタリング部分帯域符号化法により復号化画像を考慮して第２の画像を符号化する符号化プロセスの概略図が示されている。図２には、符号化プロセスにおける第２の画像と復号化画像との依存関係が示されている。図３には、各第２の画像が少なくとも２つの復号化画像から予測される場合の符号化プロセスにおける第２の画像と復号化画像との依存関係が示されている。図４には、符号化画像の画像サイズの拡大により第１の符号化方法の後に復号化画像が得られる場合の符号化プロセスにおける第２の画像と復号化画像との依存関係が示されている。図５には、一連の復号化画像が一連の第２の画像よりも低い画像反復周波数を有する場合の符号化プロセスにおける第２の画像と復号化画像との依存関係が示されている。図６には、本発明の方法を実行する符号化装置および復号化装置を含む移動端末機が示されている。図７には、本発明の方法を実行する符号化装置および復号化装置を含むネットワークユニットを有するネットワークが示されている。図８には、符号化プロセスにおける第２の画像と復号化画像の第１の画像品質段階との依存関係が示されている。図９には本発明の方法を実行する伝送網に接続された符号化装置および復号化装置が示されている。
【００２６】
同様の機能および作用を有する要素には図１〜図９を通して同一の参照記号を付してある。
【００２７】
図１には本発明の方法の実施例が示されている。ここでは、一連のオリジナル画像０１〜０Ｎが第１の符号化方法ＣＶ１および第２の符号化方法ＣＶ２を用いて圧縮される。オリジナル画像０１〜０Ｎは例えばカメラによって形成され、１つのルミナンス成分および２つのクロミナンス成分のカラーフォーマットおよび６４０×４８０ピクセルのサイズで形成される。さらにオリジナル画像０１〜０Ｎは符号化の前に画像前処理、例えばノイズ抑圧またはエッジ鮮鋭化の処理にかけられる。
【００２８】
まず、オリジナル画像０１〜０Ｎに対して第１の符号化方法ＣＶ１すなわち動き補償予測符号化が行われる。参考文献［５］から例えばＩＴＵ−Ｔ Ｈ２６３規格の動き補償予測符号化法が公知である。これにより、オリジナル画像０１〜０Ｎから、例えばイントラ符号化モードおよび／またはインター符号化モードを用いて符号化画像Ｂ１〜ＢＭが形成される。イントラ符号化モードでは各オリジナル画像０１〜０Ｎの個々の画像ブロックが他のオリジナル画像０１〜０Ｎを考慮せずに符号化される。これに対して、インター符号化モードでは各オリジナル画像０１〜０Ｎの個々の画像ブロックが１つまたは複数の符号化画像Ｂ１〜ＢＭないしは１つまたは複数の基準画像ＲＢとしての復号化画像Ｄ１〜Ｄ４を考慮して圧縮される。またインター符号化モードでは、有利には、符号化の前に符号化すべきオリジナル画像０１〜０Ｎの画像ブロックの動き推定が行われ、動き補償が行われてから当該の画像ブロックが符号化される。動き推定または動き補償の手法は参考文献［５］から公知である。また、符号化画像Ｂ１〜ＢＭの個数Ｍはオリジナル画像０１〜０Ｎの個数Ｎとは異なっていてもよい。これは必ずしも全てのオリジナル画像０１〜０Ｎを符号化しなければならないわけではないからである。
【００２９】
次のステップでは、符号化画像Ｂ１〜ＢＭから第１の符号化方法ＣＶ１により一連の復号化画像Ｄ１〜ＤＭが形成される。さらに、復号化画像Ｄ１〜ＤＭごとに、各復号化画像Ｄ１〜ＤＭの画像ブロックが例えばイントラ符号化モードまたはインター符号化モードのいずれによって符号化されたかを表す固有の復号化リストが形成される。復号化画像Ｄ１〜ＤＭは後続の第２の符号化方法ＣＶ２の処理ステップにおいて考慮される。図１の実施例では、復号化画像Ｄ１〜ＤＭは、全ての画像ブロックがイントラ符号化モードによって符号化された場合には"Ｉ"、少なくとも１つの画像ブロックがインター符号化モードによって符号化された場合には"Ｐ"、少なくとも１つの画像ブロックが双方向予測符号化モードによって符号化された場合には"Ｂ"を付して示されている。
【００３０】
次のステップでは、各画像群ＧＯＰの連続する全てのオリジナル画像０１〜０Ｎが第２の符号化方法ＣＶ２により符号化される。図示の実施例では３つの異なる画像群ＧＯＰ１〜ＧＯＰ３が認められる。この場合、第２の画像群ＧＯＰ２の符号化すべきオリジナル画像の数は４つに選定されている。画像群ＧＯＰあたりの符号化すべきオリジナル画像の数は変更することもできる。例えば各画像群ＧＯＰ１〜ＧＯＰ３において最初２つ、次に４つ、さらに８つのオリジナル画像が符号化される。例えば、第２の画像群ＧＯＰ２のうち第１の符号化すべきオリジナル画像は第３のオリジナル画像０３である。
【００３１】
復号化画像Ｄ１〜Ｄ４とは、例えば対応する各符号化画像Ｂ１〜Ｂ４を完全に復号化した画像であるか、または、対応する各符号化画像Ｂ１〜Ｂ４、例えばブロックタイプ、マクロブロックタイプまたは動きベクトルから１つまたは複数のシンタクスエレメントを抽出した画像であると解されたい。
【００３２】
本発明では、動き補償時間フィルタリング部分帯域符号化とは、複数の解像度レベルＲ１，Ｒ２で少なくとも２つの入力画像からそれぞれ少なくとも１つの出力画像Ａ１’，Ａ３を形成する符号化方法のことである。付加的に中間画像Ｚ２’，Ｚ１〜Ｚ３が形成される。各中間画像は第１の部分帯域の対応する入力画像の動き補償成分を表している。各出力画像は第２の部分帯域の対応する入力画像の動き補償成分を表している。第１の部分帯域は例えば高周波数成分であり、第２の部分帯域は低周波数成分である。低い解像度レベルＲ２では高い解像度レベルＲ１の出力画像Ａ１，Ａ２が入力画像Ｅ５，Ｅ６となる。
【００３３】
図１に示されている第２の符号化方法ＣＶ２は第２の画像群ＧＯＰ２内で２つの解像度レベルＲ１，Ｒ２から成る。第１の解像度レベルＲ１では、２つずつの入力画像Ｅ１，Ｅ２およびＥ３，Ｅ４およびこれに対応する復号化画像Ｄ４，Ｄ６から１つずつの中間画像Ｚ１，Ｚ２および出力画像Ａ１，Ａ２が形成される。２つの出力画像Ａ１，Ａ２は第２の解像度レベルＲ２の入力画像Ｅ５，Ｅ６として使用される。この実施例では低い解像度レベルに相当する第２の解像度レベルＲ２において、入力画像Ｅ５，Ｅ６から復号化画像Ｄ３，Ｄ５によって第３の中間画像Ｚ３および第３の出力画像Ａ３が形成される。この実施例では、低いほうの解像度レベルＲ２は最も低い解像度に等しい。最も低い解像度とは、画像群ＧＯＰ内で唯一の出力画像のみを形成する解像度レベルであると解されたい。低い解像度レベルＲ２の出力画像Ａ１’，Ａ３および中間画像Ｚ２’，Ｚ１〜Ｚ３は第２の画像と称される。
【００３４】
図２には、図１に則して説明した第２の画像Ｚ１〜Ｚ３，Ａ３と復号化画像Ｄ３〜Ｄ６との関係が簡単化されて示されている。所定の第２の画像の符号化の際に考慮される復号化画像は矢印でマークしてある。例えば第２の画像Ａ３を形成する際には第３の復号化画像Ｄ３が考慮される。この場合、第３の復号化画像Ｄ３は例えば第２の画像Ａ３の予測イントラ符号化の際に基準画像ＲＢとして用いられる。図２では、オリジナル画像０１〜０Ｎについて、各復号化画像または第２の画像が時間的にどのオリジナル画像に対応するかということのみ示されている。例えば第２の画像Ｚ３および復号化画像Ｄ５はオリジナル画像０５に対応する。
【００３５】
第１の符号化方法ＣＶ１の符号化モード、例えばイントラ符号化モードで使用された復号化画像Ｄ３と図１，図２の第２の画像Ａ３との対応は単なる実施例の１つに過ぎない。第２の画像Ａ３をイントラ符号化モードとは異なる符号化モード、例えば双方向予測符号モードで使用された復号化画像Ｄ３により形成することもできる。
【００３６】
図３には本発明の画像符号化方法が示されている。ここでは、１つ置きの画像が少なくとも１つの復号化画像を用いて第２の符号化方法ＣＶ２にしたがって形成される。第２の画像Ｚ１を形成する際には復号化画像Ｄ５が考慮される。ここで復号化画像Ｄ１〜ＤＭは基準画像ＲＢと称され、例えば時間予測をともなうインター符号化の際に第２の画像Ｚ３の形成に用いられる。基本的に、第２の画像の形成に用いられる復号化画像の数はあらかじめ定められた値、例えば１または３には固定されない。また第２の画像を形成する際に考慮すべき復号化画像の数を変更することもできる。第２の画像Ａ３を形成する際には２つの復号化画像Ｄ１，Ｄ４が考慮され、第２の画像Ｚ３を形成する際には３つの復号化画像Ｄ４〜Ｄ６が考慮される。第２の画像の形成に隣接する復号化画像を用いる必要はない。例えば復号化画像Ｄ１は第２の画像Ａ３を形成する際に考慮される。本発明によれば、少なくとも１つの復号化画像が第２の画像を形成する際に考慮される。ただしこのとき、基準画像ＲＢとして、第２の画像Ｚ１によって表されるオリジナル画像０４とは異なるオリジナル画像０５を表す少なくとも１つの復号化画像Ｄ５が用いられる。
【００３７】
また本発明においては、画像全体すなわち符号化すべき全ての画像領域を同一の基準画像ＲＢを用いて符号化する必要がない。したがって第２の画像Ｚ１の第１の画像領域は基準画像ＲＢである復号化画像Ｄ１を用いて形成され、第２の画像領域は基準画像ＲＢである復号化画像Ｄ１，Ｄ３を用いて形成される。画像領域は任意の数のピクセル、例えば８×８ピクセルの画像ブロックおよび／または１６×１６ピクセルのマクロブロックを含み、任意の形状の画像領域を含むことができる。
【００３８】
さらに、第２の画像を形成する際に、形成すべき第２の画像と同じオリジナル画像を表す復号化画像を考慮すると有利である。例えば第２の画像Ｚ３を形成する際には第５の復号化画像Ｄ５が考慮される。この手段は、形成すべき第２の画像Ｚ３と同じオリジナル画像０５を表す復号化画像Ｄ５において予測に対する最良の相関が見出され、高い圧縮率が達成されるので有利である。
【００３９】
本発明の画像符号化方法の別の実施例では、第２の画像Ｚ１〜Ｚ３，Ａ３が形成される前に、第１の画像サイズＢＧ１を有する復号化画像Ｄ１〜ＤＭの少なくとも１つの部分領域が第２の画像サイズＢＧ２へ拡大または縮小される。こうした部分領域はピクセル数を記述しており、ここで部分領域は任意の形状を取りうる。以下の実施例では、部分領域は完全に復号化された画像を含む。この実施例を良好に理解してもらうために、図４では復号化画像Ｄ１〜ＤＭに対応する符号化画像Ｂ１〜ＢＭが示されている。符号化画像Ｂ１〜ＢＭの第１の画像サイズＢＧ１は例えば１００×１２０ピクセルである。第２の画像を形成する際に１つまたは複数の復号化画像が第２の画像サイズＢＧ２を有すると有利である。第２の画像サイズＢＧ２は例えば２００×２４０ピクセルである。符号化画像Ｂ１〜ＢＭはまず復号化され、続いてスケーリング手段を用いて、第１の画像サイズＢＧ１から第２の画像サイズＢＧ２へ拡大される。ここで拡大された復号化画像は復号化画像Ｄ１〜ＤＭである。別の実施例では、有利には、第２の画像が形成される前に、復号化画像の少なくとも１つの部分領域の縮小が行われる。さらに、符号化画像Ｂ１〜Ｂ４の部分領域に対して復号化後に縮小を行い、残りの符号化画像Ｂ５〜ＢＭの少なくとも１つの部分領域に対して復号化後に拡大を行うこともできる（これについては図示されていない）。
【００４０】
別の実施例では、イントラ符号化モードまたはインター符号化モードおよび／または双方向予測符号化モードによる第１の符号化方法ＣＶ１を用いて少なくとも１つの復号化画像Ｄ１〜ＤＭが形成される。双方向予測符号化モードでは、復号化画像ないしは符号化画像は２つ以上の復号化画像を予測することにより形成される。双方向予測符号化モードを用いると、復号化画像の数はオリジナル画像の数よりも大きくなる。したがって第２の画像を形成する際には、双方向予測符号化モードを用いて形成された復号化画像も考慮される。このことは圧縮率の向上につながる。さらに階層的なＢ画像を少なくとも１つの第２の画像の形成時に使用してもよい。階層的なＢ画像はそのつど２つのＢ画像により形成される。
【００４１】
さらに、第１の符号化方法ＣＶ１により第１の画像反復周波数ＢＷＦ１を有する一連の復号化画像Ｄ１〜ＤＭが形成され、第２の符号化方法ＣＶ２により第２の画像反復周波数ＢＷＦ２を有する一連の第２の画像Ｚ１〜Ｚ３，Ａ３が形成されると有利である。このことを図５に即して詳細に説明する。図５には一連の復号化画像が１つ置きのオリジナル画像に対して形成されている。したがってオリジナル画像０２，０４，０６については対応する復号化画像が存在しない。第２の画像を形成するには存在する復号化画像にアクセスするのみでよい。例えば第２の画像Ｚ２を形成するために復号化画像Ｄ７，Ｄ５が考慮される。第２の画像の全てを形成した後の様子が図５に示されている。ここでは第２の画像反復周波数ＢＷＦ２は第１の画像反復周波数ＢＷＦ１の２倍である。なぜなら、形成される第２の画像の個数が復号化画像の個数の２倍となっているからである。
【００４２】
図８に示されている本発明の画像符号化方法の別の実施例では、第１の符号化方法ＣＶ１により一連の復号化画像Ｄ１＿Ｑ１，Ｄ１＿Ｑ２，…，ＤＭ＿Ｑ１，ＤＭ＿Ｑ２が複数の第１の画像品質段階Ｑ１，Ｑ２で形成され、第２の符号化方法ＣＶ２により一連の第２の画像Ｚ１〜Ｚ３，Ａ３が複数の第２の画像品質段階Ｑ１’，Ｑ２’で形成され、ここで一連の第２の画像Ｚ１〜Ｚ３，Ａ３を形成するために例えば最も高い第１の画像品質段階Ｑ２を有する一連の復号化画像が考慮される。例えば復号化画像Ｄ１〜ＤＭごとに２つの異なる第１の品質段階、例えばＤ１＿Ｑ１，Ｄ１＿Ｑ２が適用される。復号化画像Ｄ１＿Ｑ１には第１の品質段階すなわち基本品質段階が与えられており、復号化画像Ｄ１＿Ｑ２にはそれよりも高い第２の品質段階が与えられている。したがって第１の品質段階の数は２である。また復号化画像Ｄ１＿Ｑ１〜ＤＭ＿Ｑ２ごとの品質段階の数は異なっていてもよい。有利には、第２の画像Ａ３，Ｚ１〜Ｚ３を形成する際に、復号化画像のうち最も高い第１の画像品質段階に相応する品質段階が考慮される。例えば復号化画像Ｄ１＿Ｑ２は最も高い第２の画像品質段階Ｑ２を有する。また第２の画像Ｚ１〜Ｚ３，Ａ３に複数の品質段階、例えば３つの品質段階Ｑ１’〜Ｑ３’を与えることもできる。この場合、第２の品質段階の数は３である。
【００４３】
本発明によれば、第１の符号化方法ＣＶ１および第２の符号化方法ＣＶ２に対して、唯一の符号化プロセスを用いてもよいし、２つの異なる符号化プロセスを用いてもよい。また本発明は、２つの符号化プロセスすなわち第１の符号化方法および第２の符号化方法のみに制限されず、３つ以上の符号化プロセスを使用することもできる。例えばオリジナル画像は第１の符号化方法および第２の符号化方法により符号化され、第１の符号化方法および／または第２の符号化方法による符号化画像ないしは復号化画像から第２の画像を形成する際に第３の符号化方法は第３の符号化方法が用いられる。
【００４４】
画像符号化方法は画像符号化装置ＥＶによって実行される。画像符号化方法は画像符号化装置ＥＶの第１の手段Ｍ１および第２の手段Ｍ２により実現される。さらに画像符号化装置は送信手段ＭＳを含む。これにより、符号化装置ＥＶで形成され、少なくとも１つの識別子ＫＮ，復号化画像Ｄ１および少なくとも１つの第２の画像Ｚ１を含むビットストリームＢＳが伝送網ＵＥを介して復号化装置ＤＶへ送信される。
【００４５】
本発明はさらに、前述した画像符号化方法にしたがって符号化された少なくとも１つの符号化画像、特に第２の画像Ｚ１〜Ｚ３，Ａ３のいずれかを復号化する１つまたは複数のステップを実行する画像復号化方法に関する。本発明の画像復号化方法によれば、第２の画像から１つまたは複数のオリジナル再構成画像Ｋ１〜ＫＮが取得される。ここでオリジナル再構成画像Ｋ１〜ＫＮは１つまたは複数のオリジナル画像０１〜０Ｎを表す。画像復号化方法が実行される際には、第２の画像を形成する際に使用された復号化画像Ｄ１〜ＤＭが基準画像ＲＢとして考慮される。画像復号化方法は画像復号化装置ＤＶによって実行される。また、復号化装置はビットストリームＢＳを受信する受信モジュールＭＥを含む。このビットストリームは、少なくとも１つの識別子ＫＮ、復号化画像Ｄ１および少なくとも１つの第２の画像Ｚ１を含む。画像復号化方法は本発明の方法を実行する第３の手段を含む画像復号化装置ＤＶにより実現される。
【００４６】
図６には移動端末機ＭＧが示されている。画像符号化装置ＥＶおよび／または画像復号化装置ＤＶが端末機ＭＧ内に組み込まれており、本発明の画像符号化方法または画像復号化方法が実現されている。移動端末機ＭＧは特にＧＳＭ規格（GSM- Global System for Mobile）に準拠した移動端末機である。
【００４７】
図７にはネットワークＮＥＴが示されている。ネットワークＮＥＴは例えば画像符号化装置ＥＶおよび／または画像復号化装置ＤＶを実現したネットワークユニットＮＥを含む。また、ネットワークＮＥＴ内には付加的に第１のネットワークエレメントＮＷ１および第２のネットワークエレメントＥＷ２が設けられており、これらは相互に、および／またはネットワークユニットＮＥに接続されている。画像符号化装置ＥＶおよび／または画像復号化装置ＤＶを含むネットワークユニットＮＥはこれらの装置により本発明の画像符号化方法または画像復号化方法を実行することができる。
【００４８】
図９には、第１の手段Ｍ１と第２の手段Ｍ２と送信手段ＭＳとを含む画像符号化装置ＥＶが示されている。送信手段は少なくとも１つの識別子ＫＮ，復号化画像Ｄ１および少なくとも１つの第２の画像Ｚ１を含むビットストリームＢＳを形成する。図９にはさらに、第３の手段Ｍ３とビットストリームＢＳを受信する受信手段ＭＥとを含む画像復号化装置ＤＶが示されている。画像符号化装置ＥＶおよび画像復号化装置ＤＶは伝送網ＵＥを介して利用データおよび監視データを交換するために相互に接続されている。伝送網ＵＥは例えばＧＳＭ規格および／またはＩＳＤＮ（Integrated Subscriber Digital Network）規格に準拠して構成されている。
【００４９】
参考文献
［１］K. Hanke, RWTH-Aachen, http;/www.ient.rwth-aachen.de/forschung/pdf/SD-videocodierung.pdf
［２］Videocodierstandard ITU-T H.263, "Videocoding for Low Bitrate Communication", 02/1998
［３］Videocodierstandard ITU-T H.264, "Advanced Video Coding for Generic Audio Visual Services", 05/2003
［４］H.Schwarz, D.Marpe und T.Wigand, Fraunhofer Institut fuer Telekommunikation, Heinrich Herz Institut, "Scalable Extension of H.264/AVC", ISO/IEC JTC1/SC29/WG11, MPEG04/M10569/S03, March 2004
［５］S.Jun, S. Huifang, "Image and Video Compression for Multimedia Engineering", CRC-Press, 2000
【図面の簡単な説明】
【００５０】
【図１】符号化プロセスの概略図である。
【図２】符号化プロセスにおける第２の画像と復号化画像との依存関係を示す図である。
【図３】各第２の画像が少なくとも２つの復号化画像から予測される場合の符号化プロセスにおける第２の画像と復号化画像との依存関係を示す図である。
【図４】符号化画像の画像サイズの拡大により第１の符号化方法の後に復号化画像が得られる場合の符号化プロセスにおける第２の画像と復号化画像との依存関係を示す図である。
【図５】一連の復号化画像が一連の第２の画像よりも低い画像反復周波数を有する場合の符号化プロセスにおける第２の画像と復号化画像との依存関係を示す図である。
【図６】本発明の方法を実行する符号化装置および復号化装置を含む移動端末機を示す図である。
【図７】本発明の方法を実行する符号化装置および復号化装置を含むネットワークユニットを有するネットワークを示す図である。
【図８】符号化プロセスにおける第２の画像と復号化画像の第１の画像品質段階との依存関係を示す図である。
【図９】本発明の方法を実行する伝送網に接続された符号化装置および復号化装置を示す図である。
【図１】
2008524949.tif 000003
【図２】
2008524949.tif 000004
【図３】
2008524949.tif 000005
【図４】
2008524949.tif 000006
【図５】
2008524949.tif 000007
【図６】
2008524949.tif 000008
【図７】
2008524949.tif 000009
【図８】
2008524949.tif 000010
【図９】
2008524949.tif 000011
【国際調査報告】
2008524949.tif 000012
2008524949.tif 000013
2008524949.tif 000014
2008524949.tif 000015