(57)【特許請求の範囲】
【請求項１】
データブロックの第１の列と、上記データブロックの第１の列に関連するデータブロックの第２の列とを符号化する方法であって、
上記第１の列のうちのＩ及びＰピクチャタイプの幾つかのデータブロックを上記第１の列のうちの他のデータブロックを予測符号化するための基準として上記データブロックの第１の列をＩ、Ｐ及びＢピクチャタイプを用いて符号化する段階を含み、
上記第２の列の全てのデータブロックが上記第１の列のうちの上記基準となるデータブロックのみについて予測符号化されるよう上記データブロックの第２の列を符号化する段階を含むことを特徴とする方法。
【請求項２】
データブロックの第１の列と、上記データブロックの第１の列に関連するデータブロックの第２の列とを符号化する符号化器であって、
上記第１の列のうちのＩ及びＰピクチャタイプの幾つかのデータブロックを上記第１の列のうちの他のデータブロックを予測符号化するための基準として上記データブロックの第１の列をＩ、Ｐ及びＢピクチャタイプを用いて符号化する手段を含み、
上記第２の列の全てのデータブロックが上記第１の列のうちの上記基準となるデータブロックのみについて予測符号化されるよう上記データブロックの第２の列を符号化する手段を含むことを特徴とする符号化器。
【請求項３】
データブロックの符号化された第１の列と上記データブロックの第１の列に関連するデータブロックの符号化された第２の列とを多重化した多重化データを復号化する復号化器であって、
上記第１の列のうちのＩ及びＰピクチャタイプの幾つかのデータブロックを上記第１の列のうちの他のデータブロックを予測復号化するための基準として上記データブロックの第１の列をＩ、Ｐ及びＢピクチャタイプを用いて復号化する手段を含み、
上記第２の列の全てのデータブロックが上記第１の列のうちの上記基準となるデータブロックのみについて予測復号化されるよう上記データブロックの第２の列を復号化する手段を含むことを特徴とする復号化器。
【発明の詳細な説明】
【０００１】
［発明の分野］
本発明は、データブロックの第１の列とデータブロックの第１の列に関連するデータブロックの第２の列とを符号化する方法に関する。本発明は、例えば立体（３Ｄ）ビデオの符号化に適用されうる。
【０００２】
［発明の背景］
データブロックのうちの幾つかのデータブロックを列のうちの他のデータブロックを予測符号化するための基準とするような方法でデータブロックの第１の列を符号化することが可能である。この技術は、例えばMoving Picture Expert Group（ＭＰＥＧ）標準に従ってビデオフレームを符号化するために適用されうる。
【０００３】
幾つかの適用では、２つの互いに関連するデータブロックの列が符号化されねばならない。このような適用は、例えば、立体ビデオの符号化である。立体（３Ｄ）ビデオは、一般的には左目ビデオフレーム列と右目ビデオフレーム列を含む。左目ビデオフレーム列及び右目ビデオフレーム列は、夫々、データブロックの第１の列及びデータブロックの第２の列であると理解されうる。これらの列は互いに関連している。
【０００４】
立体ビデオは、以下のように符号化されうる。左目ビデオフレーム列は、この列が通常のビデオ信号であるかのようにＭＰＥＧビデオ符号化技術に従って符号化される。これは、幾つかの左目ビデオフレームが他の左目ビデオフレームの予測符号化のための基準となることを意味する。右目ビデオフレーム列について、各右目ビデオフレームは対応する左目ビデオフレームについて予測符号化される。これは、各左目ビデオフレームが対応する右目ビデオフレームの予測符号化のための基準となることを意味する。このような立体ビデオの符号化方法は、欧州特許出願第０６３９０３１号により開示されているようである。
【０００５】
［発明の概要］
本発明は、費用を削減することを目的とする。本発明は以下の点を考慮する。予測符号化されたデータブロックを復号化するために、その予測符号化のための基準として用いられた各データブロックが利用可能でなくてはならない。従って復号化側では、他のデータブロックの予測符号化のための基準として用いられたデータブロックを一時的に記憶する必要がある。
【０００６】
従来技術によれば、各右目ビデオフレームは対応する左目ビデオフレームについて予測符号化される。これは、各左目ビデオフレームが復号化側で一時的に記憶される必要があることを意味する。この記憶は、特にビデオフレームは一般的に比較的多くのビットを含むため、比較的大きいメモリを必要とする。
【０００７】
本発明によれば、データブロックの第１の列は、第１の列のうちの幾つかのデータブロックが第１の列のうちの他のデータブロックの予測符号化の基準となるよう符号化される。データブロックの第１の列に関連するデータブロックの第２の列は、全てのデータブロックが、基準とされる第１の列のデータブロックについて予測符号化されるよう符号化される。
【０００８】
従って、復号化側では、従来技術では第１の列に含まれる全てのデータブロックを記憶することが必要であったのに対して、本発明では第１の列に含まれる全てのデータブロックを記憶することが必要でない。第１の列のうちの基準としてのデータブロックのみを記憶すれば十分である。従って、本発明による復号化器は、従来技術による復号化器よりも少ない記憶容量のみを必要とする。従って、本発明によれば費用が削減される。
【０００９】
本発明の他の利点は、以下の面に関するものである。予測符号化は、必然的に幾らかの不正確さを伴い、予測が１００％正しいことは稀である。これらの不正確さは、一般的には復号化側で得られるデータの質に対して悪影響を及ぼす。従来技術によれば、第２の列のうちの幾つかのデータブロックは、それ自体が予測符号化の結果として生じた第１の列のデータブロックについて予測符号化される。これは、従来技術によれば、幾つかのデータブロックの符号化の場合に、２つの予測符号化演算が連続して行われることを意味する。これにより、不正確さは積み重なっていく。従って、本発明によれば、かかる不正確さの積み重ねが生じないよう、第２の列の全てのデータブロックは第１の列のうちの基準としてのデータブロックについて予測符号化される。これにより、本発明によれば、よりよい質が得られることが可能となる。
【００１０】
以下、添付の図面を参照して本発明の上述及び他の面について詳述する。
【００１１】
［発明の実施例］
まず、参照符号について説明する。全ての図面を通して、同様の実体には同様の符号を付すものとする。１つの図中に幾つかの同様な実体が示されうる。その場合、同様の実体を区別するため、符号に数字又は添え字を付すものとする。数字又は添え字を、便宜上省略するか、その値が重要でない（無視されうる値である）場合はアスタリスクで置き換える場合がある。これは、発明の詳細な説明及び請求の範囲に適用される。
【００１２】
図１は、上述の本発明の基本的な特徴を示す図である。データブロック［ＤＢ１−＊］の第１の列［ＳＱ１］及びデータブロック［ＤＢ２−＊］の第２の列［ＳＱ２］がある。データブロック［ＤＢ２−＊］の第２の列［ＳＱ２］は、データブロック［ＤＢ１−＊］の第１の列［ＳＱ１］に関連する。データブロック［ＤＢ１−＊］の第１の列［ＳＱ１］は、第１の列［ＳＱ１］のうちの幾つかのデータブロックを第１の列［ＳＱ１］の他のデータブロックの予測符号化［ＰＥ］のための基準［ＲＥＦ］として符号化される。データブロック［ＤＢ２−＊］の第２の列［ＳＱ２］は、データブロック［ＤＢ２−＊］が第１の列［ＳＱ１］のうちの基準［ＲＥＦ］であるデータブロック［ＤＢ１−＊］について予測符号化［ＰＥ］されるよう符号化される。
【００１３】
図１に示される特徴は、例えば立体（３Ｄ）ビデオを符号化するために適用されうる。その場合、図１に示されるデータブロックは、例えばビデオフレームに対応する。予測符号化は、非立体ビデオのＭＰＥＧビデオ符号化に現在適用されている動き推定及び補償技術の両方に基づくものでありうる。
【００１４】
図２は、本発明による立体ビデオのための符号化器を示す図である。符号化器は、左目ビデオフレーム列［ＶＬ］及び右目ビデオフレーム列［ＶＲ］を受信し、これに応じて、符号化された立体ビデオデータ［ＣＳＶ］を与える。符号化器は、プリプロセッサ［ＰＲＥＰ］、コア符号化器［ＣＥＮＣ］、可変長符号化器［ＶＬＣ］、フォーマッタ［ＦＲＭＴ］及び制御器［ＣＮＴＲＬ］を含む。更に特定的には、コア符号化器［ＣＥＮＣ］は、動き推定器及び補償器［ＭＣＥ］、減算器［ＳＵＢ］、離散コサイン変換器及び量子化器［ＤＣＴＱ］、逆離散コサイン変換器及び量子化器［ＩＤＣＴＱ］、加算器［ＡＤＤ］及びメモリ［ＭＥＭ］を含む。
【００１５】
図２に示される符号化器は、基本的には以下のように動作する。プリプロセッサ［ＰＲＥＰ］は、ＭＰＥＧ標準に従って左目ビデオフレームの順序を変更する。これは、左目ビデオフレームの順序が、これらのビデオフレームが非立体ビデオ信号に属するものであるかのように変更されることを意味する。プリプロセッサ［ＰＲＥＰ］は、変更された順序で、左目ビデオフレームを右目ビデオフレームと組み合わせる。従って、プリプロセッサは、左目ビデオフレーム及び右目ビデオフレームを多重化した多重化信号をコア符号化器［ＣＥＮＣ］に与える。
【００１６】
コア符号化器［ＣＥＮＣ］は、これらのビデオフレームが非立体ビデオ信号に属するものであるかのように、ＭＰＥＧ標準に従って左目ビデオフレームを符号化する。従って、左目ビデオフレームは、列における夫々の位置と、適用されるＭＰＥＧ符号化の種類とに依存して、Ｉ，Ｐ又はＢ符号化のいずれかを受ける。これに対して、全ての右目ビデオフレームは、予測符号化であるＢ符号化を受ける。更に特定的には、各右目ビデオフレームはＩ符号化又はＰ符号化のいずれかを受けた左目ビデオフレームに対しては予測符号化されるが、Ｂ符号化を受けた左目ビデオフレームに対しては予測符号化されない。これは、コア符号化器［ＣＥＮＣ］が各右目ビデオフレームをＢ符号化を受けるべき左目ビデオフレームであるかのように符号化することを意味する。コア符号化器［ＣＥＮＣ］は、コア符号化器［ＣＥＮＣ］において符号化される左目又は右目の各ビデオフレームに対する量子化された係数［ＣＦ］を与える。ビデオフレームが予測符号化されていれば、コア符号化器［ＣＥＮＣ］は予測符号化パラメータ［ＰＰ］を与える。
【００１７】
可変長符号化器［ＶＬＣ］は、量子化された係数［ＣＦ］及び予測符号化パラメータ［ＰＰ］を可変長コードワードへ変換する。フォーマッタ［ＦＲＭＴ］は、発生源の異なるコードワードと、識別子といった復号化側で必要となる任意の他のデータとを組み合わせる。フォーマッタ［ＦＲＭＴ］は、これらの全てのデータを適切なフォーマットとする。従って、フォーマッタ［ＦＲＭＴ］は、符号化された立体ビデオデータ［ＣＳＶ］を与える。制御器［ＣＮＴＲＬ］は、符号化器の中の種々の実体に対して制御信号を供給しこれらの実体に上述の機能を行わせるよう、適切にプログラムされることは言うまでもない。
【００１８】
図３は、左目ビデオフレーム及び右目ビデオフレームの符号化について示す図である。矩形は、符号化されるべきビデオフレームを表わす。４つの左目ビデオフレーム［Ｌ］と４つの右目ビデオフレーム［Ｒ］が示される。ビデオフレームの参照符号の添え字は、図２に示される符号化器によって受信される列［ＶＬ，ＶＲ］中のビデオフレームの位置を示す。矩形の中の文字Ｉ，Ｐ又はＢは、関連するビデオフレームが受ける符号化の種類を示す。
【００１９】
図３中、予測符号化を矢印によって示す。矢印が出発しているビデオフレームは、予測符号化されるビデオフレームである。矢印が指しているビデオフレームは、この予測符号化のための基準としてのビデオフレームである。例えば、左目ビデオフレームＬ（ｎ＋１）及びＬ（ｎ＋２）は、左目ビデオフレームＬ（ｎ）及びＬ（ｎ＋３）について予測符号化される。全ての右目ビデオフレーム［Ｒ］は、左目ビデオフレームＬ（ｎ）及びＬ（ｎ＋３）について予測符号化される。プリプロセッサ［ＰＲＥＰ］は、以下の順序で左目及び右目ビデオフレームをコア符号化器［ＣＥＮＣ］に与えうる：Ｌ（ｎ），Ｌ（ｎ＋３），Ｒ（ｎ），Ｌ（ｎ＋１），Ｒ（ｎ＋１），Ｌ（ｎ＋２），Ｒ（ｎ＋２），Ｒ（ｎ＋３）。
【００２０】
図４は、図２に示す符号化器が供給する符号化された立体ビデオデータ［ＣＳＶ］を表わす図である。符号化された立体ビデオデータ［ＣＳＶ］は、矩形として示される符号化された左目及び右目ビデオフレーム［Ｌｃ，Ｒｃ］を含む。符号化された左目及び右目ビデオフレーム［Ｌｃ，Ｒｃ］は、図３に示す左目及び右目ビデオフレーム［Ｌ，Ｒ］の符号化によって生ずる。符号化された左目又は右目ビデオフレーム［Ｌｃ，Ｒｃ］の参照符号の添え字は、夫々、符号化された左目又は右目ビデオフレーム［Ｌ，Ｒ］を示す。矩形の中の文字Ｉ，Ｐ又はＢは、適用された符号化の種類を示す。例えば、符号化された左目ビデオフレームＬｃ（ｎ＋１）は、図３に示す左目ビデオフレームＬ（ｎ＋１）のＢ符号化された変形である。
【００２１】
図５は、本発明による立体ビデオ用の復号化器を示す図である。復号化器は、図示しない伝送路を通じて図４に示す符号化された立体ビデオデータ［ＣＳＶ］を受信する。復号化器は、これに応じて、復号化された左目ビデオフレームの列［ＶＬ’］及び復号化された右目ビデオフレームの列［ＶＲ’］を供給する。復号化器は、デフォーマッタ［ＤＦＲＭＴ］、可変長復号化器［ＶＬＤ］、コア復号化器［ＣＤＥＣ］、立体ビデオデマルチプレクサ［ＳＴＤＥＭＵＸ］及び制御器［ＣＮＴＲＬ］を含む。更に特定的には、コア復号化器［ＣＤＥＣ］は、逆離散コサイン変換器及び量子化器［ＩＤＣＴＱ］、動き補償器［ＭＣ］及びメモリ［ＭＥＭ］を含む。図５に示される復号化器は、基本的には以下のように動作する。デフォーマッタ［ＤＦＲＭＴ］は、可変長復号化されるべきデータを可変長復号化されるべきでないデータと区別する。可変長復号化されるべきでないデータは、制御器［ＣＮＴＲＬ］へ与えられる。データは、例えば左目ビデオフレームと右目ビデオフレームを区別するために立体ビデオデマルチプレクサ［ＳＴＤＥＭＵＸ］によって使用されうる。可変長復号化器［ＶＬＤ］は、コードワードを、図２に示される符号化器で決定された量子化された係数［ＣＦ］及び予測符号化されたパラメータ［ＰＰ］へ戻す。
【００２２】
コア復号化器［ＣＤＥＣ］は、量子化された係数［ＣＦ］及び予測符号化されたパラメータ［ＰＰ］に基づいて左目及び右目ビデオフレームを再び発生させる。更に特定的には、コア復号化器［ＣＤＥＣ］は、左目ビデオフレームを、標準的な非立体のＭＰＥＧ符号化されたビデオ信号から生じたものであるかのように再び発生させる。コア復号化器［ＣＤＥＣ］は、右目ビデオフレームを、Ｂ符号化された左目ビデオフレームであるかのように再び発生させる。図３を参照するに、図３に示される全てのビデオフレームを復号化するために、メモリ［ＭＥＭ］はＩ符号化されたビデオフレームＬ（ｎ）及びＰ符号化されたビデオフレームＬ（ｎ＋３）を一時的に記憶するだけで十分である。
【００２３】
立体ビデオデマルチプレクサ［ＳＴＤＥＭＵＸ］は、コア復号化器［ＣＤＥＣ］によって与えられる左目ビデオフレームの順序を並べ替える。また、左目ビデオフレーム及び右目ビデオフレームをデマルチプレックスする。例えば、図３を参照するに、コア復号化器［ＣＤＥＣ］は、ビデオフレームＬ（ｎ），Ｌ（ｎ＋３），Ｒ（ｎ），Ｌ（ｎ＋１），Ｒ（ｎ＋１），Ｌ（ｎ＋２），Ｒ（ｎ＋２），Ｒ（ｎ＋３）の復号化された変形を順次に与える。一定の遅延の後、立体ビデオデマルチプレクサ［ＳＴＤＥＭＵＸ］は、左目ビデオフレーム［Ｌ］の復号化された変形を順次に供給し、これと並列に、右目ビデオフレーム［Ｒ］の復号化された変形を供給する。従って、左目ビデオフレームの復号化された列［ＶＬ’］及び右目ビデオフレームの復号化された列［ＶＲ’］が得られる。制御器［ＣＮＴＲＬ］は、復号化器の中で種々の実体に制御信号を供給し、これらの実体に上述の機能を行わせるよう適切にプログラムされることは言うまでもない。
【００２４】
図面及び上述の説明は本発明の例として示されるものであって、本発明を制限するものでない。請求の範囲に含まれる多数の変形例が存在することが明らかとなろう。これについて以下に説明する。
【００２５】
符号化された立体ビデオをフォーマットするには種々の方法がある。図４は、そのうちの１つの可能なフォーマットを示すものであって、符号化されたフレームの順序はＬｃ（ｎ／Ｉ），Ｌｃ（ｎ＋３／Ｐ），Ｒｃ（ｎ／Ｂ），Ｌｃ（ｎ＋１／Ｂ），Ｒｃ（ｎ＋１／Ｂ），Ｌｃ（ｎ＋２／Ｂ），Ｒｃ（ｎ＋２／Ｂ），Ｒｃ（ｎ＋３／Ｂ）である。標準ＭＰＥＧ符号化に多くの異なるフォーマットがあるように、多くの異なるフォーマットが可能である。
【００２６】
符号化された立体ビデオを符号化器から復号化器へ転送するには種々の方法がある。例えば、図２に示される符号化器は、符号化された立体ビデオデータ［ＣＳＶ］を搬送する伝送路を通じて図５に示される復号化器に接続されうる。他の可能な実施は、例えば、符号化器が記録装置の一部とされるものであり、これは符号化された立体ビデオデータ［ＣＳＶ］が担体上に記録されることを意味する。復号化器は、同一の記録装置の一部であっても、符号化された立体データ［ＣＳＶ］を担体から取り出す他の装置であってもよい。
【００２７】
ハードウエア又はソフトウエア又はその両方の要素によって機能を実施する多くの方法がある。これに関して、図面は概略的なものであり、夫々が本発明の１つの可能な実施例のみを示している。従って、図面は異なる機能を異なるブロックとして示しているが、これはハードウエア又はソフトウエアの単一の要素が幾つかの機能を実行する場合について排除するものではない。また、ハードウエア及び／又はソフトウエアの組合せが１つの機能を実行する場合を排除するものではない。
【００２８】
請求の範囲の参照符号は、請求の範囲を限定するものと理解されるべきではない。「含む」という動詞は、請求の範囲に定義されるに任意の他の要素又は段階の使用を排除するものではない。単数形で記載された要素又は段階は、かかる要素又は段階が複数存在する場合について排除するものではない。
【図面の簡単な説明】
【図１】  本発明の基本的な特徴について示す概念的な図である。
【図２】  本発明による立体ビデオ用の符号化器を示すブロック図である。
【図３】  本発明による左目ビデオフレーム及び右目ビデオフレームを符号化する方法について示す図である。
【図４】  図２に示す符号化器によって与えられる符号化された立体ビデオデータを表わす図である。
【図５】  本発明による立体ビデオ用の復号化器を示すブロック図である。
【図１】
0005032730.tif 000002
【図２】
0005032730.tif 000003
【図３】
0005032730.tif 000004
【図４】
0005032730.tif 000005
【図５】
0005032730.tif 000006