(57)【要約】【課題】各画像の同数ビットでの符号化が要求される場合の画像再構成の品質を改善する。【解決手段】成分ごとに、Ｎ＋１個の画像を時間分解して１個の低周波数画像およびＮ個の高周波数画像を形成し、１個の低周波数画像およびＮ個の高周波数画像をそれぞれＮ＋１個の画像部分へ分割し、Ｎ＋１個の画像部分をインタリーブしてＮ＋１個のインタリーブ画像から成るシーケンスを形成し、その際に各インタリーブ画像が低周波数の画像部分を１個ずつ含むようにこの低周波数の画像部分をＮ＋１個のインタリーブ画像間に分散させ、Ｎ＋１個のインタリーブ画像を同数のビットによりそれぞれ独立に符号化する。【選択図】図３
2006345521.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの成分を含むＮ＋１個の画像の符号化方法において、
成分ごとに、Ｎ＋１個の画像を時間分解して１個の低周波数画像およびＮ個の高周波数画像を形成する時間分解ステップ（１０）と、
成分ごとに、前記１個の低周波数画像および前記Ｎ個の高周波数画像をそれぞれＮ＋１個の画像部分へ分割する分割ステップ（１６）と、
成分ごとに、前記Ｎ＋１個の画像部分をインタリーブしてＮ＋１個のインタリーブ画像から成るシーケンスを形成し、その際に各インタリーブ画像が低周波数の画像部分を１個ずつ含むように該低周波数の画像部分をＮ＋１個のインタリーブ画像間に分散させるインタリーブステップ（１６）と、
成分ごとに、Ｎ＋１個のインタリーブ画像を同数のビットによりそれぞれ独立に符号化する符号化ステップ（１７）と
を有する
ことを特徴とする画像の符号化方法。
【請求項２】
符号化ステップ（１７）をＪＰＥＧ２０００符号化規格に基づいて行う、請求項１記載の方法。
【請求項３】
時間分解ステップ（１０）は動き補償時間フィルタリングから成る、請求項１または２記載の方法。
【請求項４】
時間フィルタリングではHaar型フィルタおよびDaubechies 5-7型フィルタを含むグループに属するフィルタを用いる、請求項３記載の方法。
【請求項５】
Ｍ個の境界によってＮ＋１個の画像部分に分割された少なくとも２つのグループの画像に連続的に前述の方法を適用し、Ｍ個の境界を少なくとも２つのグループ間で所定の空間方向へオフセットする、請求項１から４までのいずれか１項記載の方法。
【請求項６】
Ｎは１であり、Ｍは１である、請求項５記載の方法。
【請求項７】
少なくとも２つのグループの画像の開始部において前記境界をあらかじめ定められたオフセットウィンドウ内で一定の数のピクセルだけオフセットし、前記境界がオフセットウィンドウを外れてしまう場合には前記境界を該オフセットウィンドウのあらかじめ定められた位置へ移動させる、請求項５記載の方法。
【請求項８】
請求項１から７までのいずれか１項記載の画像の符号化方法にしたがって符号化され、データストリームの形態を有する符号化画像の復号化方法において、
成分ごとに、データストリームまたはその一部を復号化してＮ＋１個のインタリーブ画像を形成する復号化ステップ（４２）と、
成分ごとに、Ｎ＋１個のインタリーブ画像をデインタリーブして１個の低周波数画像およびＮ個の高周波数画像を形成するデインタリーブステップ（４３）と、
１個の低周波数画像およびＮ個の高周波数画像を時間合成し、Ｎ＋１個の復号化画像を形成する時間合成ステップ（４５）と
を有する
ことを特徴とする符号化画像の復号化方法。
【請求項９】
少なくとも１つの成分を含むＮ＋１個の画像の符号化装置において、
成分ごとに、Ｎ＋１個の画像を時間分解して１個の低周波数画像およびＮ個の高周波数画像を形成する時間分解モジュール（２１）と、
成分ごとに、前記１個の低周波数画像および前記Ｎ個の高周波数画像をそれぞれＮ＋１個の画像部分へ分割し、該Ｎ＋１個の画像部分をインタリーブしてＮ＋１個のインタリーブ画像から成るシーケンスを形成し、その際に各インタリーブ画像が低周波数の画像部分を１個ずつ含むように該低周波数の画像部分をＮ＋１個のインタリーブ画像間に分散させる処理モジュール（２４）と、
成分ごとに、Ｎ＋１個のインタリーブ画像を同数のビットによりそれぞれ独立に符号化する少なくとも１つの符号化モジュール（２５）と
が設けられている
ことを特徴とする画像の符号化装置。
【請求項１０】
少なくとも１つの符号化モジュールはＪＰＥＧ２０００規格に基づく画像符号化器である、請求項９記載の装置。
【請求項１１】
請求項９記載の符号化装置により符号化され、データストリームの形態を有する符号化画像の復号化装置において、
成分ごとに、データストリームまたはその一部を復号化してＮ＋１個のインタリーブ画像を形成する復号化モジュール（３３）と、
Ｎ＋１個のインタリーブ画像を処理して１個の低周波数画像およびＮ個の高周波数画像を形成する処理モジュール（３４）と、
１個の低周波数画像およびＮ個の高周波数画像を時間合成し、Ｎ＋１個の復号化画像を形成する時間合成モジュール（３５）と
が設けられている
ことを特徴とする符号化された符号化画像の復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の符号化方法、符号化画像の復号化方法、画像の符号化装置および符号化画像の復号化装置に関する。
【背景技術】
【０００２】
画像シーケンスの符号化方法、例えばＭＰＥＧまたはｔ＋２Ｄウェーブレット法（すなわち時間分解ｔおよび空間分解２Ｄを用いる手法）では、たいていの場合、第１のステップの時間分解により連続画像間の時間冗長性が低減され、第２のステップの空間分解により空間冗長性が低減される。こうした手法は図１に示されている。シーケンスの各画像は少なくとも１つの成分、例えば１つのルミナンス成分および２つのクロミナンス成分を含む。ソース画像と称される画像シーケンスはふつう符号化前に複数のピクチャグループＧＯＰまたはフレームグループＧＯＰへ分割され、図２のＧＯＦ１〜ＧＯＦ３のようになっている。符号化方法において、動き補償画像シーケンスの時間分解ステップ１０は例えば動き補償時間フィルタリングＭＣＴＦから成り、種々の時間周波数帯域その他がＩＳＯ／ＩＥＣ１３８１８−２ "Information technology---Generic coding of moving pictures and associated audio information: Video"）に定義されたＭＰＥＧ２規格に基づく符号化スキーマでの予測により得られる。このステップはふつう画像の成分ごとに個別に適用される。次に動き予測ステップ１１で動き補償用の動きベクトルＭＶが形成される。このステップは例えば従来のブロックマッチングによる予測であってもよい。動きベクトルは、シーケンス内の或る画像から次の画像へオブジェクトの位置が移動している場合に送信情報量を低減するために用いられる。その後、時間分解から得られた画像が符号化ステップ１７で符号化される。このステップは一般に、例えば離散コサイン変換ＤＣＴまたは離散ウェーブレット変換ＤＷＴを用いることにより空間冗長性を低減する空間分解ステップ１２と、得られた空間‐時間係数を符号化するエントロピー符号化ステップ１３とを含む。マルチプレクスステップ１５では、あらかじめ動きベクトル符号化ステップ１４で符号化された動きベクトルと空間‐時間係数に関する符号化データとが結合され、１つのデータストリームが形成される。エントロピー符号化ステップ１３で各画像の符号化に使用されるビット数を適合化できない場合には、全ての画像シーケンスが同数のビットによって符号化される。各画像の符号化に使用されるビット数が適合化されないと、復号化後の画像シーケンスの再構成の品質が低下してしまう。ディジタルシネマなどの所定の分野では高品質の再構成が要求され、こうしたデグラデーションは許されない。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明の課題は、上述の欠点を回避し、符号化方法および相応の装置によって各画像の同数ビットでの符号化が要求される場合の画像再構成の品質を改善することである。
【課題を解決するための手段】
【０００４】
本発明は少なくとも１つの成分を含むＮ＋１個の画像の符号化方法に関している。ここで本発明の画像の符号化方法は、前述の課題を解決するため、成分ごとに、Ｎ＋１個の画像を時間分解して１個の低周波数画像およびＮ個の高周波数画像を形成する時間分解ステップと、成分ごとに、１個の低周波数画像およびＮ個の高周波数画像をそれぞれＮ＋１個の画像部分へ分割する分割ステップと、成分ごとに、Ｎ＋１個の画像部分をインタリーブしてＮ＋１個のインタリーブ画像から成るシーケンスを形成し、その際に各インタリーブ画像が低周波数の画像部分を１個ずつ含むようにこの低周波数の画像部分をＮ＋１個のインタリーブ画像間に分散させるインタリーブステップと、成分ごとに、Ｎ＋１個のインタリーブ画像を同数のビットによりそれぞれ独立に符号化する符号化ステップとを有する。
【発明を実施するための最良の形態】
【０００５】
有利には、符号化ステップはＪＰＥＧ２０００符号化規格に基づいて行われる。
【０００６】
有利には、時間分解ステップは動き補償時間フィルタリングから成る。
【０００７】
有利には、時間フィルタリングではHaar型フィルタおよびDaubechies 5-7型フィルタを含むグループに属するフィルタが用いられる。
【０００８】
有利には、前述の方法はＭ個の境界によってＮ＋１個の画像部分に分割された少なくとも２つのグループの画像に連続的に適用され、Ｍ個の境界は少なくとも２つの画像グループ間で所定の空間方向へオフセットされる。
【０００９】
ここで有利には、Ｎは１であり、Ｍは１である。
【００１０】
有利には、少なくとも２つの画像グループの開始部において境界があらかじめ定められたオフセットウィンドウ内で一定の数のピクセルだけオフセットされ、境界がオフセットウィンドウを外れてしまう場合にはこの境界はオフセットウィンドウのあらかじめ定められた位置へ移動される。
【００１１】
本発明はまた、前述の画像の符号化方法にしたがって符号化され、データストリームの形態を有する符号化画像の復号化方法に関する。ここで本発明の符号化画像の復号化方法は、成分ごとに、データストリームまたはその一部を復号化してＮ＋１個のインタリーブ画像を形成する復号化ステップと、成分ごとに、Ｎ＋１個のインタリーブ画像をデインタリーブして１個の低周波数画像およびＮ個の高周波数画像を形成するデインタリーブステップと、１個の低周波数画像およびＮ個の高周波数画像を時間合成し、Ｎ＋１個の復号化画像を形成する時間合成ステップとを有する。
【００１２】
本発明はまた、少なくとも１つの成分を含むＮ＋１個の画像の符号化装置に関する。ここで本発明の画像の符号化装置には、成分ごとに、Ｎ＋１個の画像を時間分解して１個の低周波数画像およびＮ個の高周波数画像を形成する時間分解モジュールと、成分ごとに、１個の低周波数画像およびＮ個の高周波数画像をそれぞれＮ＋１個の画像部分へ分割し、Ｎ＋１個の画像部分をインタリーブしてＮ＋１個のインタリーブ画像から成るシーケンスを形成し、その際に各インタリーブ画像が低周波数の画像部分を１個ずつ含むようにこの低周波数の画像部分をＮ＋１個のインタリーブ画像間に分散させる処理モジュールと、成分ごとに、Ｎ＋１個のインタリーブ画像を同数のビットによりそれぞれ独立に符号化する少なくとも１つの符号化モジュールとが設けられている。
【００１３】
有利には、少なくとも１つの符号化モジュールはＪＰＥＧ２０００規格に基づく画像符号化器である。
【００１４】
本発明はさらに、前述の符号化装置にしたがって符号化され、データストリームの形態を有する符号化画像の復号化装置に関する。ここで本発明の符号化画像の復号化装置には、成分ごとに、データストリームまたはその一部を復号化してＮ＋１個のインタリーブ画像を形成する復号化モジュールと、Ｎ＋１個のインタリーブ画像を処理して１個の低周波数画像およびＮ個の高周波数画像を形成する処理モジュールと、１個の低周波数画像およびＮ個の高周波数画像を時間合成し、Ｎ＋１個の復号化画像を形成する時間合成モジュールとが設けられている。
【実施例】
【００１５】
本発明は添付図に示されている有利な実施例についての以下の説明により良好に理解されるはずである。ただし実施例は本発明を限定するものではない。
【００１６】
本発明はソース画像のシーケンスを符号化してデータストリームを形成する方法、およびこの符号化によって形成されたデータストリームを復号化する方法に関する。ソース画像は少なくとも１つの成分、例えば１つのルミナンス成分Ｙおよび２つのクロミナンス成分Ｕ，Ｖを含む。各成分は、複数のピクセルまたは複数の画点から成る１つの画像の形態で表され、各ピクセルまたは各画点はそれぞれ１つの値（例えばルミナンス値Ｙまたはクロミナンス値Ｕ，Ｖ）に対応する。本発明の符号化方法は図３に示されているが、これは図１に示されている従来技術の方法に類似したステップを含むので、相応するステップには相応の参照番号を付してある。一般にソース画像のシーケンスは、符号化前に、図２に示されているようなＮ＋１個の画像から成る画像グループＧＯＦへ分割される。第１の実施例によれば、シーケンスは２個の画像から成るＧＯＦに分割される。
【００１７】
ステップ１０において、各ＧＯＦは例えば動き補償時間フィルタリングＭＣＴＦにより時間分解される。このステップは一般に画像の各成分に対してそれぞれ独立に適用される。動き非補償の時間フィルタリングを用いることもできる。このような時間フィルタリングは従来のたたみ込みプロシージャを用いて行われるか、または連続した予測ステップおよび更新ステップを含むリフティングプロシージャと称される特定のプロシージャにより行われる。フィルタリングそのものはウェーブレット法、例えばHaar型フィルタによるショートフィルタリングスキーマまたはDaubechies 9-7型フィルタによるロングフィルタリングスキーマに基づく。一般に、空間ドメインでは、時間ウェーブレット変換は低周波数での再帰２項フィルタリングから成る。したがって、所定のレベルでの時間分解により、２ｐ個の画像グループは２ｐ−１個の低周波数および高周波数の画像から成る２つのグループへ変換される。低周波数画像は新たなレベルの時間分解を行う同じ手法にしたがってさらに分解される。
【００１８】
図４には２個の画像Ａ，Ｂから成るＧＯＦの時間分解スキーマ、すなわちHaar型フィルタに基づくリフティングプロシージャが示されている。この図では、時間分解は２レベルにわたって行われる。つまりシーケンスのソース画像Ａ，Ｂに相応する第１の時間分解レベルＮ０と、高周波数画像Ｈおよび低周波数画像Ｌに相応する第２の時間分解レベルＮ１とである。時間分解法はハイパスフィルタおよびローパスフィルタに適用され、時間的高周波数を表す画像Ｈと時間的低周波数を表す画像Ｌとが得られる。フィルタリングを作用させるために、フィルタリングすべき画像対のあいだの動きフィールドがステップ１１で例えばｐｅｌ再帰型予測器またはブロックマッチング型予測器により予測される。この２回のフィルタリングステップは式
【００１９】
【数１】
2006345521.tif 000003
に相応する。ここでＭＣＡ←Ｂ（Ｆ）は画像Ｆの動き補償に相応し、ＩＭＣＡ←Ｂ（Ｈ）は画像Ｈの動き“非”補償に相応する。
【００２０】
高周波数画像Ｈを得るには、画像Ｂから画像Ａへの動きフィールドが予測される。より詳細に云えば、高周波数画像Ｈは画像Ｂと動き補償された画像Ａとのポイントごとの差形成により得られる。つまり画像Ｂの１ピクセルから、必要であれば適切に補間されて、画像Ｂから画像Ａへの動き予測において計算された動きベクトルにより指示される画像Ａの所定の値が導出される。低周波数画像Ｌを得るには、画像Ａから画像Ｂへの動きフィールドが予測される。より詳細に云えば、低周波数画像Ｌは画像Ａと逆変換された動き補償画像Ｈとの加算により導出される。つまり、必要であれば適切に補間されて、画像Ａの１ピクセル（正確には画像Ａの所定ピクセルのルミナンス値の正規化値）に、画像Ａから画像Ｂへの動き予測において計算された動きベクトルにより指示される高周波数画像Ｈの所定の値が加算される。一般には、一方の動きフィールド、例えば画像Ｂから画像Ａへの動きフィールドのみが予測され、他方の動きフィールドは第１の動きフィールドを直接に逆変換することにより導出される。
【００２１】
ＧＯＦが２個を超える画像から成る場合、このフィルタリングはさらに低周波数画像に対して適用される。詳細に云えば、図５に示されている方法では４個の画像Ａ１，Ｂ１，Ａ２，Ｂ２から成るＧＯＦが処理されている。時間分解により種々のレベルの時間分解Ｎ０，Ｎ１，Ｎ２に相応に、４個の画像、すなわち１個の低周波数画像Ｌ３および３個の高周波数画像Ｈ１，Ｈ２，Ｈ３が得られる。図では、第１のレベルの時間分解Ｎ０はシーケンスのソース画像Ａ，Ｂに相応し、第２の時間分解レベルＮ１は高周波数画像Ｈ１，Ｈ２および低周波数画像Ｌ１，Ｌ２に相応し、第３の時間分解レベルＮ２は高周波数画像Ｈ３および低周波数画像Ｌ３に相応する。この時間分解法は、付加的な分解レベルを形成すれば、４個を超える画像から成るＧＯＦにも直接に拡張することができる。前述したように、時間フィルタリング法は動き補償を用いなくてもよい。２個の画像から成るＧＯＦでは、高周波数画像Ｈおよび低周波数画像Ｌは
【００２２】
【数２】
2006345521.tif 000004
のように形成される。
【００２３】
ソース画像が複数の成分、例えばＹ，Ｕ，Ｖを含む場合、時間分解ステップは各成分に対してそれぞれ独立に適用される。したがって、２個の画像から成るＧＯＦの場合、ステップ１０は成分ｘ当たり画像Ｌｘおよび画像Ｈｘを形成する。一般に、ルミナンス成分について予測された動きベクトルはスケーリング後に直接にクロミナンス成分について用いられる。スケーリングは例えば４２０フォーマットの場合動きベクトルの２個の成分による分割として行われる。
【００２４】
図３のステップ１６では、ステップ１０で得られた画像が境界によって複数の画像部分に分割され、特定のパターンにしたがった低周波数および高周波数の画像部分のインタリーブが準備される。より詳細に云えば、１個の低周波数画像およびＮ個の高周波数画像がそれぞれＮ＋１個の画像部分へ分割される。つまり例えば４個の画像から成るＧＯＦの場合、１個の低周波数画像Ｌ３および３個の高周波数画像がそれぞれ４個ずつの画像部分Ｈ１，Ｈ２，Ｈ３へ分割される。ここで４個の画像は、図６に示されているような４個ずつの画像部分Ｘ＿ＮＷ，Ｘ＿ＮＥ，Ｘ＿ＳＷ，Ｘ＿ＳＥへ分割される。ここでＸは符号化すべき４個の画像Ｈ１，Ｈ２，Ｈ３，Ｌ３を表す。画像のインタリーブには、インタリーブ画像と称される４個の新たな画像を所定の順序のシーケンスとして形成するステップから成る。各インタリーブ画像はそれぞれ低周波数画像Ｌ３の１つの画像部分を含むように形成される。
【００２５】
有利には、各画像部分は図７に示されているようにインタリーブされる。第１のインタリーブ画像Ｉ１は低周波数画像Ｌ３に属する１個の画像部分と高周波数画像Ｈ１に属する３個の画像部分とを含み、第２のインタリーブ画像Ｉ２は低周波数画像Ｌ３に属する１個の画像部分と高周波数画像Ｈ２に属する３個の画像部分とを含み、第３のインタリーブ画像Ｉ１は低周波数画像Ｌ３に属する１個の画像部分と高周波数画像Ｈ３に属する３個の画像部分とを含み、第４のインタリーブ画像Ｉ１は低周波数画像Ｌ３および高周波数画像Ｈ１，Ｈ２，Ｈ３に属する画像部分を１つずつ含む。図８に示されている第２の例では、各インタリーブ画像は時間フィルタリングにより得られた４個の各画像に属する画像部分を１つずつ含んでいる。画像部分のインタリーブは、各インタリーブ画像に低周波数の画像部分が１つずつ含まれるように分散されれば、どのように行ってもよい。すなわち、１個の低周波数画像およびＮ個の高周波数画像がそれぞれＮ＋１個の画像部分に分割され、さらにこれらの画像部分が、低周波数の画像部分が１つずつ各インタリーブ画像に含まれるように分散されてインタリーブされる。特に、低周波数画像は、エネルギが他の画像よりも大きいので、シーケンス再構成に用いられる情報を高周波数画像よりも多く含む。再構成の品質を向上させるには、正確に符号化を行わなければならない。本発明によれば、低周波数の各画像部分はこれら４つの画像部分が同じ画像として符号化される場合よりも多くのビット数で符号化されている。
【００２６】
第２の実施例によれば、２個の画像から成るＧＯＰが図４に示されているように用いられる。前述のように時間分解により低周波数画像Ｌおよび高周波数画像Ｈの２つが形成される。各画像はそれぞれ図９に示されているような２つの画像部分Ｘ＿Ｗ，Ｘ＿Ｅに分割される（ここでＸは画像Ｌ，Ｈのいずれかを表す）。図１０には、特定のパターンにしたがったインタリーブの後、第１の画像Ｉ１および第２の画像Ｉ２が形成されることが示されている。ソース画像が複数の成分を含む場合、所定の成分Ｃに対応する画像ＬＣ，ＨＣが相互にインタリーブされる。インタリーブステップは各成分に対して独立に適用される。ただし、インタリーブパターンは、ソース画像のフォーマットに依存したスケーリングにしたがって、全成分に対して等しくなければならない。４２０フォーマットのシーケンスにおいて、ルミナンス成分Ｙに関する第１のインタリーブ画像すなわち１次画像が画像ＬＹに属するＫピクセル幅の部分および画像ＨＹに属するＭピクセル幅の部分を含む場合、第１のクロミナンス成分Ｕに関する第１のインタリーブ画像すなわち１次画像は画像ＬＵに属するＫ／２ピクセル幅の部分および画像ＨＵに属するＭ／２ピクセル幅の部分を含む。同じことが第２のクロミナンス成分Ｖに関する第２のインタリーブ画像すなわち２次画像にも当てはまる。２個を超える画像から成るＧＯＦにおいても同じプロシージャが適用される。このように、所定の成分に関する所定次の各インタリーブ画像に対して、他の成分の同次のインタリーブ画像が相応し、それぞれの同次のインタリーブ画像は同パターンにしたがってインタリーブされる。
【００２７】
有利には、ぼやけ効果を低減するために、種々の画像部分間の境界を修正することができる。２個の画像から成るＧＯＦにおいて、画像部分の境界の位置は、ＧＯＦごとに図１１に示されているような特定のパターンにしたがって修正される。この境界は、新たなＧＯＦのたびに、初期位置から右方へ所定の位置まで１ピクセル（またはそれ以上）ずつオフセットされ、そこから左方へ初期位置まで１ピクセル（またはそれ以上）ずつオフセットされる。別の実施例によれば、境界は、ピクセルの中央列に合わせて置かれた有限のオフセットウィンドウ内で一定の数のピクセルだけ右方へオフセットされる。一定の数のピクセルずつオフセットしていって、境界の現在位置がオフセットウィンドウを外れる場合には、その境界はウィンドウの開始部に再び位置決めされる。画像シーケンスがＨＤフォーマットである場合、ルミナンス成分に対しては、オフセットウィンドウのサイズ１４６ピクセル、一定のピクセル数４０が適している。４２０フォーマットの場合には、クロミナンス成分に対してこれらの値は１／２となる。一般に、２個を超える画像から成るＧＯＦでは、境界はＧＯＦごとに所定の空間方向へオフセットされる。境界のオフセットプロセスは符号化法および復号化法によって既知でなければならない。このために、図１２に示されているような所定数のＧＯＦを含む構造のマルチＧＯＦを形成することができる。ソース画像のシーケンスはマルチＧＯＦへ分割され、これがさらに複数のＧＯＦへ分割される。各マルチＧＯＦの開始部では境界位置が再イニシャライズされる。別の実施例によれば、同期信号がデータストリーム内へ非周期的に挿入され、この同期信号が復号化方法により復号化されるときに境界位置が再イニシャライズされる。
【００２８】
図３に戻って、ステップ１７では、所定の成分に関するインタリーブ画像がそれぞれ独立に符号化され、その際、各インタリーブ画像の符号化には同数のビットが用いられる。ステップ１７は、画像の空間冗長性を低減するための空間分解ステップ１２およびエントロピー符号化ステップ１３を含む。有利には、符号化ステップ１７は、ISO/IEC 15444-1:2002 "Information Technology - JPEG 2000 image coding System"に記載され、特に離散ウェーブレット変換およびビットプレーンエントロピー符号化器を用いるＪＰＥＧ２０００規格に基づく。この手法により特に１ｂｉｔ内の目標スループットを達成することができる。有利には、このスループットは、ＪＰＥＧ２０００規格に基づく符号化法で形成されたバイナリのストリームのヘッダ内のデータの一部を除去することによりさらに低減することができる。例えば、画像のサイズに関する情報は画像ごとに送信する必要はなく、ＧＯＦまたはマルチＧＯＦごとに開始時に送信すればよい。特にソース画像が複数の成分を含む場合、ステップ１７では成分ごとにインタリーブ画像がそれぞれ独立に符号化される。ただし、例えばＪＰＥＧ２０００規格に基づく符号化法により、全成分に関する相応のインタリーブ画像を同時に符号化することもできる。低周波数画像および高周波数画像のインタリーブにより、特に、復号化後の再構成の品質ひいては符号化効率を向上させることができる。
【００２９】
ステップ１４では、場合によりステップ１１で予測された動きベクトルＭＶが、例えば可変長符号化法ＶＬＣまたはエントロピー符号化その他により符号化される。
【００３０】
ステップ１５では、動きベクトルに関するデータと空間‐時間係数に関するデータとが結合され、１つのデータストリームが形成される。
【００３１】
ステップ１１，１４，１５は任意に付加可能なステップである。特に、本発明によれば、時間フィルタリングは動き補償を用いなくてもよい。
【００３２】
本発明はさらに、Ｎ＋１個の画像から成るＧＯＦを前述の方法にしたがって符号化したことにより形成されたデータストリームを復号化する方法にも関する。本発明の復号化方法は図１３に示されている。復号化方法のステップ４１では、ストリームの動きデータと空間‐時間係数に関するデータとが分離される。ステップ４２では空間‐時間係数に関するデータストリームの一部が復号化される。一般にステップ４２はエントロピー復号化ステップ４２０および空間合成ステップ４２１を含む。符号化方法で前述のＪＰＥＧ２０００規格に基づくステップ１７を使用している場合、復号化方法でもＪＰＥＧ２０００規格に基づく復号化ステップ４２を用いる。このステップによりＮ＋１個のインタリーブ画像が形成される。デインタリーブステップ４３では１個の低周波数画像およびＮ個の高周波数画像が形成される。データストリームが動きに関するデータを含む場合、動きベクトル形成ステップ４４でこの動きが復号化される。動きベクトルＭＶ、低周波数画像および高周波数画像は、時間合成ステップ４５で時間フィルタリングにかけられ、復号化画像のシーケンスが形成される。データストリームの形成に使用されたソース画像が複数の成分を含む場合には、ステップ４３で成分ごとに１個の低周波数画像およびＮ個の高周波数画像が形成される。
【００３３】
本発明はさらに図１４の符号化装置２に関する。符号化装置２は、少なくとも１つの成分を含むソース画像を成分ごとに１個の低周波数画像およびＮ個の高周波数画像へ分解する時間分解モジュール２１を有する。この時間分解モジュールには動きベクトルＭＶを形成する動き予測モジュール２２を接続することができる。この場合、符号化装置２は動きベクトル符号化モジュール２３も含む。動きベクトル符号化モジュール２３は例えば可変長符号化法または算術符号化法に基づく符号化プロセスを行う。また符号化装置２は、１個の低周波数画像およびＮ個の高周波数画像をそれぞれＮ＋１個の画像部分へ分割し、これを前述のようにインタリーブし、所定の順序のＮ＋１個のインタリーブ画像を形成する処理モジュール２４を含む。符号化装置２はさらに、少なくとも１つの固定画像符号化装置２５を含み、この固定画像符号化装置は空間分解モジュール２５０およびエントロピー符号化器２５１を含む。符号化装置２はさらに符号化モジュール２３，２５から供給されるデータストリームを結合して１つのデータストリームとするマルチプレクサモジュール２６を含む。モジュール２２，２３，２６は任意に付加可能なモジュールである。とりわけ画像シーケンスの時間分解には動き補償が用いられなくてもよい。有利には、固定画像符号化装置２５はＪＰＥＧ２０００規格に基づいて離散ウェーブレット変換およびビットプレーンエントロピー符号化器を用いている。本発明によれば、他の固定画像の符号化法を用いる装置を使用することもできる。
【００３４】
実施例によれば、固定画像符号化装置２５により種々の成分Ｙ，Ｕ，Ｖに関するインタリーブ画像を任意の順序で一緒に符号化することができる。別の実施例によれば、第１の固定画像符号化装置がルミナンス成分Ｙに関するインタリーブ画像を符号化し、第２の固定画像符号化装置がクロミナンス成分Ｕ，Ｖに関するインタリーブ画像を任意の順序で符号化するために用いられる。
【００３５】
本発明はさらに、Ｎ＋１個の画像から成るＧＯＦを前述の符号化方法にしたがって符号化することにより形成されたデータストリームを復号化する図１５の復号化装置３にも関している。復号化装置３によって受信されたデータストリームは、デマルチプレクサモジュール３１の入力側へ送信され、このモジュールにより空間‐時間係数に関するデータと動きベクトルに関するデータとが分離される。動きベクトルに関するデータは、例えばエントロピー復号化器である動き復号化モジュール３２へ送信される。空間‐時間係数に関するデータは固定画像復号化装置３３へ送信される。固定画像復号化装置３３はエントロピー復号化器３３０および空間合成モジュール３３１を含む。固定画像復号化装置３３は符号化装置２の固定画像符号化装置２５に対して逆の動作を行う。特にこの固定画像復号化装置はインタリーブ画像を種々の時間周波数帯域に相応に再構成する。このように復号化されたインタリーブ画像は処理モジュール３４でデインタリーブされ、１個の低周波数画像およびＮ個の高周波数画像が形成される。処理モジュール３４は符号化装置２の処理モジュール２４に対して逆の動作を行う。復号化装置３で受信されたデータストリーム（使用されたソース画像）が複数の成分を含む場合には、処理モジュール３４は成分ごとに１個の低周波数画像およびＮ個の高周波数画像を形成する。動き復号化モジュール３２で復号化された動きベクトルＭＶおよび処理モジュール３４から供給された低周波数画像および高周波数画像は、時間合成モジュール３５へ送信され、そこで時間合成フィルタリングに基づいて出力画像として再構成される。付加的に、時間合成モジュールを後処理回路へ接続してもよく、この場合、後処理回路の出力が復号化装置３の出力となる。後処理回路では例えばポストフィルタリングが行われ、ブロック効果などの障害が低減される。なお符号化装置２が前述のモジュール２２，２３，２６を含まない場合には、相応に復号化装置３はモジュール３１，３２を含まない。
【００３６】
もちろん本発明は上述した実施例のみに限定されない。特に当該分野の技術者であれば、これらの実施例を変更したり組み合わせたりして、そのバリエーションから容易に種々の利点を導出することができるであろう。例えば、ＧＯＦの２つの画像Ｌ，Ｈのあいだの境界は、垂直線に代えて水平線であってもよい。
【００３７】
本発明は特にディジタルシネマで用いられるワイヤレスカメラに適している。
【図面の簡単な説明】
【００３８】
【図１】従来技術の符号化方法を示す図である。
【図２】従来技術の画像シーケンスのグループ画像ＧＯＦの構造を示す図である。
【図３】本発明の符号化方法を示す図である。
【図４】２画像から成るＧＯＦの画像シーケンスをウェーブレット変換ベースで時間分解する従来技術の手法を示す図である。
【図５】４画像から成るＧＯＦの画像シーケンスをウェーブレット変換ベースで時間分解する従来技術の手法を示す図である。
【図６】４画像から成るＧＯＦの画像シーケンスの時間分解から得られた低周波数画像および高周波数画像を画像部分へ分割した様子を示す図である。
【図７】図６の低周波数および高周波数の画像部分のインタリーブの第１の例を示す図である。
【図８】図６の低周波数および高周波数の画像部分のインタリーブの第２の例を示す図である。
【図９】２画像から成るＧＯＦの画像シーケンスの時間分解から得られた低周波数画像および高周波数画像を画像部分へ分割した様子を示す図である。
【図１０】図９の低周波数および高周波数の画像部分のインタリーブを示す図である。
【図１１】ＧＯＦごとの画像部分境界のオフセットを示す図である。
【図１２】画像シーケンスのマルチＧＯＦ構造を示す図である。
【図１３】本発明の復号化方法を示す図である。
【図１４】本発明の符号化装置を示す図である。
【図１５】本発明の復号化装置を示す図である。
【符号の説明】
【００３９】
２  符号化装置、  ２１  時間分解モジュール、  ２２  動き予測モジュール、  ２３  動きベクトル符号化モジュール、  ２４  処理モジュール、  ２５  固定画像符号化装置、  ２５０  空間分解モジュール、  ２５１  エントロピー符号化器、  ２６  マルチプレクサモジュール、  ３  復号化装置、  ３１  デマルチプレクサモジュール、  ３２  動き復号化モジュール、  ３３  固定画像復号化装置、  ３３０  エントロピー復号化器、  ３３１  空間合成モジュール、  ３４  処理モジュール、  ３５  時間合成モジュール
【図１】
2006345521.tif 000005
【図２】
2006345521.tif 000006
【図３】
2006345521.tif 000007
【図４】
2006345521.tif 000008
【図５】
2006345521.tif 000009
【図６】
2006345521.tif 000010
【図７】
2006345521.tif 000011
【図８】
2006345521.tif 000012
【図９】
2006345521.tif 000013
【図１０】
2006345521.tif 000014
【図１１】
2006345521.tif 000015
【図１２】
2006345521.tif 000016
【図１３】
2006345521.tif 000017
【図１４】
2006345521.tif 000018
【図１５】
2006345521.tif 000019