(57)【要約】  符号化されたビデオデータ信号が少なくともプライマリビデオデータ信号及び少なくともセカンダリビデオデータ信号を含むように、ビデオデータ信号は符号化される。プライマリビデオデータ信号及びセカンダリビデオデータ信号は一緒に圧縮される。プライマリビデオデータ信号は自己完結的に圧縮され、そしてセカンダリビデオデータ信号はプライマリビデオデータ信号からのデータを使用して圧縮される。一緒に圧縮されたビデオデータ信号は、プライマリビデオデータ信号のためのデータを含む少なくとも一つのプライマリビットストリームとセカンダリビデオデータ信号のためのデータを含む少なくとも一つのセカンダリビットストリームとの別々のビットストリームに分割され(BSS)、その後、プライマリビットストリーム及びセカンダリビットストリームは多重化信号に多重化され、そしてプライマリ信号及びセカンダリ信号は別々の符号0x1B, 0x20を与えられる。
2011515874.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータ信号を符号化する方法であって、ビデオデータ信号は符号化され、符号化されるビデオデータ信号は、プライマリビデオデータ信号及びセカンダリビデオデータ信号を少なくとも有し、プライマリビデオデータ信号及びセカンダリビデオデータ信号は一緒に圧縮され、プライマリビデオデータ信号は自己完結的に圧縮され、セカンダリビデオデータ信号はプライマリビデオデータ信号からのデータを用いて圧縮され、一緒に圧縮されたビデオデータ信号は、別々のビットストリームに分割され、当該ビットストリームは、プライマリビデオデータ信号のためのデータを含むプライマリビットストリーム及びセカンダリビデオデータ信号のためのデータを含むセカンダリビットストリームを有し、その後、プライマリビットストリーム及びセカンダリビットストリームは多重化信号へと多重化され、プライマリ信号及びセカンダリ信号は別々の符号を与えられる方法。
【請求項２】
請求項１に記載のビデオデータ信号を符号化する方法であって、ビデオデータ信号は符号化され、符号化されるビデオデータ信号は、フレームの第１セット及び少なくとも一つの第２セットを有し、第１セット及び第２セットのフレームがインターリーブされたビデオシーケンスを構成するようにインターリーブされるか、又は、フレームの第１セット及び第２セットを有するインターリーブされたビデオデータ信号が受信され、インターリーブされたビデオシーケンスは圧縮ビデオデータ信号へと圧縮され、第１セットのフレームは、第２セットのフレームを用いることなく符号化及び圧縮され、第２セットのフレームは第１セットのフレームを用いて符号化及び圧縮され、圧縮ビデオデータ信号は続いてプライマリビットストリーム及び少なくとも一つのセカンダリビットストリームへと分割され、各ビットストリームはフレームを有し、プライマリビットストリームは第１セットの圧縮されたフレームを有し、セカンダリビットストリームは第２セットの圧縮されたフレームを有し、プライマリビットストリーム及びセカンダリビットストリームは別々のビットストリームを構成し、その後、プライマリビットストリーム及びセカンダリビットストリームは多重化信号に多重化され、プライマリ信号及びセカンダリ信号は別々の符号を与えられる方法。
【請求項３】
請求項２に記載の方法であって、プライマリビットストリームが三次元ビデオデータ信号のビューのうちの一つのビューのフレームのためのデータを有し、セカンダリビットストリームが前記三次元ビデオデータ信号の他のビューのフレームのためのデータを有するように前記ビデオデータ信号が符号化される方法。
【請求項４】
請求項２に記載の方法であって、プライマリビットストリームが異なる視点からの三つ以上のビューのうちの一つのビューのフレームのためのデータを有し、一つより多くのセカンダリビットストリームが生成され、セカンダリビットストリームが他のビューのうちの一つのビューのフレームのためのデータを有するように、前記ビデオデータ信号が符号化される方法。
【請求項５】
請求項２に記載の方法であって、プライマリビットストリームがフレームの低周波数のセットのためのデータを有し、セカンダリビットストリームがフレームの高周波数のセットのためのデータを有するように、前記ビデオデータ信号が符号化される方法。
【請求項６】
請求項１に記載の方法であって、多重化信号中のプライマリビットストリームが、ベースレイヤのためのデータを有し、異なる符合を与えられた多重化信号中のセカンダリビットストリームが、拡張レイヤのためのビデオデータを有する方法。
【請求項７】
請求項１から請求項６のいずれか一項に記載の方法であって、プライマリビットストリームは、セカンダリビットストリームよりも小さい量子化係数で圧縮される方法。
【請求項８】
請求項２に記載の方法であって、フレームの第１セット及び第２セットが定期的に入れ替えられる方法。
【請求項９】
ビデオデータ信号を符号化するための符号化システムであって、
少なくともプライマリビデオデータ信号及びセカンダリビデオデータ信号を生成する発生器又は少なくともそれらを受信する受信機、
プライマリビデオデータ信号及びセカンダリビデオデータ信号を一緒に圧縮するための圧縮機であって、プライマリビデオデータ信号を自己完結的に圧縮し、セカンダリビデオデータ信号をプライマリビデオデータ信号からのデータを用いて圧縮する圧縮機、
一緒に圧縮されたビデオデータ信号を、プライマリビデオデータ信号のためのデータを有するプライマリビットストリームとセカンダリビデオデータ信号のためのデータを有するセカンダリビットストリームとの別々のビットストリームに分割するスプリッタ、並びに、
プライマリビットストリーム及びセカンダリビットストリームを多重化信号に多重化し、プライマリ信号及びセカンダリ信号に別々の符号を与える多重化装置、
を有するシステム。
【請求項１０】
請求項９に記載の拡張ビデオデータ信号を符号化する符号化システムであって、
当該システムは、インターリーブされたビデオシーケンスを構成するために第１ビュー及び第２ビューからのフレームをインターリーブするインターリーバを有するか、又は、フレームの第１セット及び第２セットを含むインターリーブされたビデオシーケンスを受信する受信機を有し、
当該システムはさらに、前記インターリーブされたビデオシーケンスを符号化する符号化器を有し、前記符号化器は、第１ビューのフレームを第２ビューのフレームを用いずに圧縮し、第２ビューのフレームを第１ビューのフレームを用いて圧縮する圧縮機を有し、
当該システムはさらに、圧縮されたビデオデータ信号をプライマリビットストリーム及びセカンダリビットストリームへと分割するスプリッタを有し、各々のビットストリームはフレームを有し、プライマリビットストリームは第１セットのための圧縮されたフレームを有し、セカンダリビットストリームは第２セットのための圧縮されたフレームを有し、プライマリビットストリーム及びセカンダリビットストリームは別々のビットストリームを構成し、
当該符号化システムはさらに、プライマリビットストリーム及びセカンダリビットストリームを多重化し、プライマリビットストリーム及びセカンダリビットストリームに別々の符号を与える多重化装置を有するシステム。
【請求項１１】
請求項１０に記載の符号化システムであって、前記インターリーバが一組のステレオビューの左及び右のビューをインターリーブするシステム。
【請求項１２】
請求項１１に記載の符号化システムであって、前記インターリーバが二つより多くのビューのフレームをインターリーブするシステム。
【請求項１３】
請求項９に記載の符号化システムであって、高周波数カメラからフレームを受信するシステム。
【請求項１４】
請求項９から請求項１３のいずれか一項に記載の符号化システムを有する記録装置。
【請求項１５】
コンピュータ上で実行される場合に請求項１から請求項８のいずれか一項に記載の符号化方法を実行するためのプログラムコードを有するコンピュータプログラム。
【請求項１６】
請求項１から請求項８のいずれか一項に記載の符号化方法を実行するためのコンピュータ可読媒体上に記録されたプログラムコードを有するコンピュータプログラム製品。
【請求項１７】
ビデオデータ信号を復号する方法であって、多重化信号が受信され、当該多重化信号は、別々の符号を有する少なくとも二つのビデオデータ信号を有し、第１ビデオデータ信号は自己完結的なビデオデータ信号であり、少なくとも一つの第２ビデオデータ信号は自己完結的ではなく、前記二つの信号は逆多重化されて統合され、統合された信号は復号されて伸長され、自己完結的なビデオデータ信号の伸長には、当該自己完結的なビデオデータ信号からのデータのみが用いられ、第２ビデオデータ信号の伸長には、第１ビデオデータ信号のデータが用いられる方法。
【請求項１８】
請求項１７に記載の復号方法であって、前記統合された信号は、インターリーブされたフレームのセットを構成し、伸長の後、前記フレームは二つ以上のビューを提供するようにデインターリーブされる方法。
【請求項１９】
請求項１８に記載の復号方法であって、左及び右のビューが形成される方法。
【請求項２０】
請求項１８に記載の復号方法であって、マルチビューのうちの一つより多くのビューが形成される方法。
【請求項２１】
請求項１７に記載の復号方法であって、第１ビデオデータ信号がベースレイヤに関するデータを有し、第２ビデオデータ信号が拡張レイヤに関するデータを有する方法。
【請求項２２】
ビデオデータ信号を復号する復号システムであって、多重化信号を受信する受信機を有し、前記多重化信号は別々の符号を有する少なくとも二つのビデオデータ信号を含み、第１ビデオデータ信号は自己完結的なビデオデータ信号であり、少なくとも一つの第２ビデオデータ信号は自己完結的ではなく、
当該システムはさらに、前記多重化信号を逆多重化する逆多重化装置、少なくとも二つの逆多重化された信号を組み合わされた信号へと統合する統合装置、及び、前記組み合わされた信号を復号及び伸長する復号器を有し、
前記復号器は、自己完結的なビデオデータ信号の伸長において、当該自己完結的なビデオデータ信号からのデータのみが用いられ、第２ビデオデータ信号の伸長において、第１ビデオデータ信号のデータが用いられるように構成されるシステム。
【請求項２３】
請求項２２に記載の復号システムであって、前記統合された信号がインターリーブされたフレームのセットを構成し、当該システムは、二つ以上のビューを提供するために、伸長の後で前記フレームをデインターリーブするデインターリーバを有するシステム。
【請求項２４】
請求項２２又は請求項２３に記載の復号システムを有するディスプレイ装置。
【請求項２５】
コンピュータ上で実行される場合に請求項１７から請求項２１のいずれか一項に記載の復号方法を実行するためのプログラムコードを有するコンピュータプログラム。
【請求項２６】
請求項１７から請求項２１のいずれか一項に記載の復号方法を実行するためのコンピュータ可読媒体上に記録されたプログラムコードを有するコンピュータプログラム製品。
【請求項２７】
別々の符号を有する少なくとも二つの関連するビデオデータ信号を含み、第１ビデオデータ信号は自己完結的なビデオデータ信号であり、少なくとも一つの第２ビデオデータ信号は自己完結的ではない、多重化ビデオデータ信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ符号化及び復号化の分野に関し、ビデオデータ信号を符号化するための方法及びシステムを示す。本発明はさらに、符号化されたビデオデータ信号に関する。本発明はさらに、ビデオデータ信号を復号するための方法及び復号するためのシステムに関する。
【背景技術】
【０００２】
最近、さらなるビデオの可能性(例えば三次元画像ディスプレイ上の三次元画像)を提供することに多くの関心が集まっている。三次元イメージングは、カラーイメージング後の、イメージングにおける次の大きな革新であると信じられている。現在、消費者市場への自動立体視ディスプレイの導入が始まっている。
【０００３】
基本的に、三次元印象は、立体写真(すなわち観察者の二つの目に向けられる二つの僅かに異なる画像)を用いることにより創作されることができる。
【０００４】
どんな種類のディスプレイが用いられたとしても、三次元画像情報がディスプレイ装置に提供されなければならない。これは通常、デジタルデータからなるビデオデータ信号の形で実行され、多くの場合、左のビュー及び右のビューのためのデータ、又は、複数のビューが生成される場合には複数のビューのためのデータを有する。
【０００５】
さらなるビデオの可能性の他の例は、高周波数ビデオ(例えば標準の倍のフレーム表示周波数を有するビデオ)を提供することが可能なビデオデータ信号を提供することである。
【０００６】
さらに別の例は、改善された分解能のビデオデータ信号を提供することである。
【０００７】
デジタルイメージングに特有の莫大な量のデータのために、デジタル画像信号の処理及び/又は伝送は、重大な問題を生ずる。多くの状況において、利用可能な処理パワー及び/又は伝送容量は、高品質なビデオデータ信号を処理及び/又は送信するには不十分である。より詳しくは、各々のデジタル画像フレームは、ピクセルのアレイから形成される静止画像である。この問題は全てのビデオに存在するが、三次元ビデオイメージングに対して増大し、２倍の周波数のビデオデータ信号が生成される場合、又は、改善された分解能のビデオデータ信号が生成される場合、同様の問題の増大が発生する。
【０００８】
生デジタル情報(raw digital information)の量は通常莫大であり、常に利用可能であるとは限らない大きな処理パワー及び/又は大きな伝送速度を必要とする。送信されるべきデータの量を低減するために、例えばMPEG-2, MPEG-4及びH.263を含むさまざまな圧縮方法が提案されている。
【０００９】
既知の圧縮方法は、本来は標準的な二次元画像のために構成されている。
【００１０】
例えば三次元情報が取得側で生成される場合、この情報は送信される必要があり、そしてビットレートに関して余分なオーバーヘッドを少なくするために、三次元情報の圧縮が必要とされる。好ましくは、比較的わずかな調整のみを伴う既存の圧縮規格を用いて三次元情報の圧縮が実施されることができるように、三次元情報の圧縮(又は符号化)が実行される。倍の周波数信号又は改善された分解能に関する情報を有するという意味においてビデオデータ信号が拡張される場合、同じことが当てはまる。
【００１１】
さらに、改善されたビデオ信号は、好ましくは下位互換性を持ち、すなわち、好ましくは、従来の標準的なビデオ装置が、改善されたビデオ信号から「良好な」ビデオ画像を表示することができなければならない。例えば、三次元ステレオ信号は、好ましくは、二次元下位互換性を持ち、すなわち、好ましくは、従来の二次元装置が、三次元信号から「良好な」二次元画像を表示することができなければならない。高周波数の100Hzのビデオデータ信号は、標準的な50Hzのビデオ装置において、その装置自体は100Hzの信号を表示することができない場合であっても、表示されることができなければならない。同様に、改善された分解能のビデオデータ信号(HDTV：High Definition TV)は、標準的なTV装置で表示されることができなければならない。
【００１２】
単にステレオ画像を二つ別々に圧縮すると、ビットレートの大きな増加につながる。立体写真の左(L)及び右(R)のビューを別々に符号化すると、同じ品質を保証することを望む場合、モノラルシステム(単一のビュー)と比べて、事実上、ビットレートが倍になる。したがって、そのような方法は、二次元装置が画像を表示できることを保証するが、ビットレートを倍にすることを必要とする。
【００１３】
二つより多くのビューが生成されるマルチビューシステムを利用する場合、データの量はさらに増加する。
【００１４】
より高周波数のビデオデータ信号に関する情報を含むことによってビデオデータ信号が拡張される場合、同じことが当てはまる。倍の周波数はデータを倍にする。分解能を増加させることは、同じ問題を引き起こす。
【００１５】
符号化効率の点でより良好な方法は、二つのステレオ像(左及び右)若しくはより多くのビューを一緒に圧縮すること、高周波数及び低周波数のビデオデータ信号を一緒に圧縮すること、又は、低分解能及び高分解能のビデオデータ信号を一緒に圧縮することである。このソリューションは、一般的に、左及び右のフレームでは、二つのビューが一緒に圧縮される場合、（個別のビューの符号化の場合における約１００%多くの帯域と比べて）単一ビューの場合より５０%多くの帯域の使用につながる。これは、「偽の」二次元シーケンスを形成するために各々のステレオビューからの左及び右のフレームをインターリーブすることによって従来の二次元ビデオ圧縮符号化器を用いて達成されることができる。読み出し側において、二次元フレームはデインターリーブされ、そして各々のビューが読み出されて表示される。例えば、二つのビュー(L及びR)は、ビデオ符号化器に入る前に、フレームピクチャとしてインターリーブされることができる。
【００１６】
しかしながら、例えばステレオのための標準的な技術を用いて、ビデオは、別個のビューを圧縮するよりもさらに(1.5*利得)効率的に一緒に圧縮されることができ、結果として生じるビットストリームは適切な三次元装置上で表示されることができるが、本発明者らは、この結果は、通常の二次元システム上で良好に表示されることができない一ビットストリームであることに気が付いた。一つのインターリーブされたビットストリームが(二次元復号器及び二次元スクリーンを伴う)従来の二次元受信機に到達すると、表示されるビデオシーケンスは、ステレオのインターリーブから生じるので、見苦しく、目に見える欠陥を示す。したがって、この方法は、下位互換性を持たない。同じことが、一緒に圧縮されるマルチビュー信号又は他の改善されたビデオデータ信号に当てはまる。
【発明の概要】
【発明が解決しようとする課題】
【００１７】
したがって、本発明の目的は、限度内で符号化データ中のデータの量を維持しつつ下位互換性を提供する、送信側において改善された画像データを符号化する方法を提供することである。好ましくは、符号化効率が高い。さらに好ましくは、本方法は、既存の符号化規格と互換性がある。
【００１８】
ビデオデータ信号を符号化するための改善された符号化器及びビデオデータ信号を提供することが更なる目的である。
【課題を解決するための手段】
【００１９】
この目的のために、本発明によるビデオデータ信号を符号化する方法は、ビデオデータ信号が符号化され、符号化されたビデオデータ信号は少なくともプライマリビデオデータ信号と少なくともセカンダリビデオデータ信号とを有し、プライマリビデオデータ信号及びセカンダリビデオデータ信号は一緒に圧縮され、プライマリビデオデータ信号は自己完結的に圧縮され、セカンダリビデオデータ信号はプライマリビデオデータ信号からのデータを用いて圧縮され、一緒に圧縮されたビデオデータ信号は別々のビットストリームに分割され、前記ビットストリームは、少なくとも、プライマリビデオデータ信号のためのデータを有するプライマリビットストリーム及びセカンダリビデオデータ信号のためのデータを有するセカンダリビットストリームを有し、その後、プライマリビットストリーム及びセカンダリビットストリームは多重化信号に多重化され、プライマリ信号及びセカンダリ信号は別々の符号を与えられる。
【００２０】
本発明の方法は、従来の方法の利点を、それぞれの欠点を回避しつつ組み合わせる。それは、二つ以上のビデオデータ信号を一緒に圧縮し、その後、一つの圧縮されたビットストリームを二つ以上の(プライマリ及びセカンダリの)別々のビットストリームに分割することを含む。"プライマリ"ビットストリームは自己完結的で、従来のビデオ復号器によって決定可能であり、一つ以上の"セカンダリ"フレームセット(いわゆる補助ビデオ表示ストリーム)は、プライマリビットストリームに依存する。別個のビットストリームは多重化され、プライマリビットストリーム及びセカンダリビットストリームは、別々の符号を与えられて送信される別個のビットストリームである。一見したところ、信号を最初に一緒に圧縮して、圧縮後に再びそれらを分割してそれらに別々の符号を提供することは余分であり労力の無駄に見えるかもしれない。全ての既知の技術において、圧縮されたビデオデータ信号は、多重化装置において一つの符号を与えられる。一見すると、本発明は、ビデオデータ信号の符号化に無用の複雑度を加えるように見える。
【００２１】
しかしながら、本発明者らは、プライマリビットストリーム及びセカンダリビットストリームを分割して、多重化信号にパッケージングする(すなわち、多重化装置においてプライマリビットストリーム及びセカンダリビットストリームに別々の符号を与える)ことによって、一方では、従来のビデオシステム中の標準的な逆多重化装置が、その符号によってプライマリビットストリームを認識して、標準的なビデオ復号器がプライマリストリームのみを受信し、セカンダリストリームは逆多重化装置を通過しないように、復号器にそれを送信し、したがって標準的なビデオ復号器が、標準的なビデオデータ信号(例えば標準的な二次元ビデオデータ信号及び/若しくは標準的な50Hzのビデオデータ信号、又は基本の分解能の信号)として正しくそれを処理することができ、他方では、専用システム(例えば三次元システム又は100Hzのディスプレイシステム又は高分解能ビデオ復号器)が、例えばステレオ復号器、100Hz復号器又はHTV復号器にそれを送信する前に、符号化プロセスを完全に逆戻りして元の改善されたビットストリームを再形成することができることに気が付いた。
【００２２】
伝えられるところでは、多くの下位互換性を持つシステム及び方法は本質的に、入力ビットストリームを適切に分析するためになんらかの類の適応が従来のビデオシステムに行われることを必要とし、そのような適応なしでは適切な復号化は難しいか又は不可能である。本発明者らは、問題の根源は、従来の復号器が、改善されたビデオデータ信号を受信するものの、その改善されたビデオデータ信号用の装備を持たないことであることを認識した。復号器を適応させても、復号器が拡張された信号(ひいては通常よりも多くのビット)を受信し、増加したビットレートを扱うことができないために拡張された信号に対処することができない可能性があることによって、問題が発生する場合がある。標準的な復号器に対する任意の適応は、さらに、ビデオデータ信号への特定の拡張(三次元、100Hz、高分解能)に対して固有でなければならず、他の拡張に対して機能しない可能性があり、又は、拡張されていないビデオデータ信号が受信される場合に動作を劣化させる可能性がある。
【００２３】
本発明において、プライマリビットストリーム及びセカンダリビットストリームは別々のビットストリームであり、プライマリビットストリームは、自己完結的なビットストリームである。これは、プライマリビットストリームに、標準的なビデオデータ信号に対応する符号を与えつつ、セカンダリビットストリームに、標準的なビデオデータ信号として標準的な逆多重化装置が認識することができない符号を与えることを可能にする。受信端において、標準的な逆多重化装置は、標準的なビデオデータ信号としてプライマリビットストリームを認識して、ビデオ復号器にそれを渡す。標準的な逆多重化装置はセカンダリビットストリームを拒否し、標準的なビデオデータ信号としてそれらを認識しない。ビデオ復号器自体は、"標準的なビデオデータ信号"のみを受信する。したがって、ビデオ復号器自体によって受信されるビットの量は、自己完結的で、標準的なビデオデータ信号の形であり、標準的なビデオ装置によって解釈可能であって、標準的なビデオ装置が対処することができるビットレートを有するプライマリビットストリームに制限される。ビデオ復号器は、それが扱うことができるビットによってオーバーロードされない。
【００２４】
プライマリビットストリームが自己完結的であるので、標準的なビデオ復号器はこれを標準的な復号化ビデオデータ信号に復号することができる。
【００２５】
本発明は、さまざまな態様で実施されることができる。二次元-三次元のために又は通常の周波数-高周波数での使用のために特に有用な実施の形態において、ビデオフレームが符号化器においてインターリーブされるか又はインターリーブされた信号が符号化器に提供される。
【００２６】
そのような実施の形態において、符号化のための本方法は、ビデオデータ信号が符号化され、符号化された拡張信号は、フレームの第１セット及び少なくとも一つの第２セットを有し、インターリーブされたビデオシーケンスを形成するために、第１及び第２セットのフレームがインターリーブされることを特徴とするか、又は、フレームの第１及び第２セットを有するインターリーブされたビデオデータ信号が受信され、インターリーブされたビデオシーケンスが、圧縮されたビデオデータ信号へと圧縮されることを特徴とし、第１セットのフレームは、第２セットのフレームを用いることなく符号化及び圧縮され、第２セットのフレームは、第１セットのフレームを用いて符号化及び圧縮され、そしてその後、圧縮されたビデオデータ信号は、プライマリビットストリーム及び少なくとも一つのセカンダリビットストリームに分割されて、各々のビットストリームはフレームを有し、プライマリビットストリームは第１セットのための圧縮されたフレームを有し、セカンダリビットストリームは第２セットのための圧縮されたフレームを有し、プライマリビットストリーム及びセカンダリビットストリームは別々のビットストリームを形成し、その後、プライマリビットストリーム及びセカンダリビットストリームは多重化信号に多重化され、プライマリビットストリーム及びセカンダリビットストリームは、別々の符号を与えられる。
【００２７】
この実施例において、最も広義の本発明のように、単一の圧縮されたビットストリームは二つ以上の別々の(プライマリ及びセカンダリ)ビットストリームに分割される。"プライマリ"ビットストリームは、フレームのセットのうちの一つのみを完全に含み(したがって自己完結的であり)、そして従来のビデオ復号器によって決定可能であり、一つ以上の"セカンダリ"フレームセット(いわゆる補助ビデオ表示ストリーム)は、フレームのプライマリセットに依存する。フレームは、システムレベルでインターリーブされるか又はインターリーブされたフォーマットでシステムに提供され、多重化されて、プライマリビットストリーム及びセカンダリビットストリームは、別々の符号を与えられて送信される別々のビットストリームである。
【００２８】
重要な要件は、インターリーブの後、少なくとも一つのセット(すなわちプライマリビットストリームのフレームのセット)が、"自己完結的な"信号として圧縮されることである。これは、この自己完結的なフレームセットに属するフレームが、他のセカンダリビットストリームからの(例えば動き補償又は任意の他の予測スキームを介した)いかなる情報をも必要としないことを意味する。
【００２９】
重要な態様は、さらに、プライマリビットストリーム及びセカンダリビットストリームが、別々のビットストリームを形成して、上で説明された理由のために別々の符号によって多重化されることである。
【００３０】
実施の形態において、プライマリビットストリームは三次元ビデオデータ信号のビューのうちの一つのフレームのためのデータを有し、セカンダリビットストリームは三次元ビデオデータ信号の他のビューのフレームのためのデータを有する。
【００３１】
実施の形態において、プライマリビットストリームは、三つ以上のビューのうちの一つのフレームのためのデータを有し、そして複数のセカンダリビットストリームが生成され、セカンダリビットストリームは、他のビューのうちの一つのフレームのためのデータを有する。
【００３２】
実施の形態において、プライマリビットストリームは低い周波数のフレームセットのためのデータを有し、一方、セカンダリビットストリームは、より高い周波数のフレームのためのデータを有する。実施の形態において、プライマリビットストリームは、セカンダリビットストリームより小さい量子化係数によって圧縮される。
【００３３】
プライマリビットストリーム及びセカンダリビットストリームが二つのステレオビューを表す場合、プライマリビットストリームは、二つのビュー(左又は右)のうちのどちらかを示す。
【００３４】
実施の形態において、どのビューがプライマリビットストリームに対応するビューであるかに関する指定は、変化することができる。例えば、場面変化において、プライマリビューは、左から右に変化することができ、逆もまた同じである。これは、特にプライマリビューがセカンダリビューと異なる量子化係数によって圧縮される場合に有利である。
【００３５】
本発明はさらに、ビデオデータ信号を符号化する符号化システムにおいて実施され、このシステムは、少なくともプライマリビデオデータ信号及びセカンダリビデオデータ信号を生成するための発生器又は少なくともプライマリビデオデータ信号及びセカンダリビデオデータ信号を受信するための受信機、プライマリビデオデータ信号及びセカンダリビデオデータ信号を一緒に圧縮するための圧縮機であって、プライマリビデオデータ信号を自己完結的に圧縮し、セカンダリビデオデータ信号をプライマリビデオデータ信号からのデータを用いて圧縮するように配置される圧縮機、一緒に圧縮されたビデオデータ信号を、プライマリビデオデータ信号のためのデータを有するプライマリビットストリーム及びセカンダリビデオデータ信号のためのデータを有するセカンダリビットストリームの別々のビットストリームに分割するためのスプリッタ、並びに、プライマリビットストリーム及びセカンダリビットストリームを多重化信号に多重化し、別々の符号を有するプライマリ信号及びセカンダリ信号を提供するための多重化装置を有する。
【００３６】
本発明の実施の形態による符号化システムは、インターリーブされたビデオシーケンスを形成するために第１のビュー及び第２のビューからのフレームをインターリーブするためのインターリーバ(VI)を有し、又は符号化システムは、第１及び第２のフレームセットから成るインターリーブされたビデオシーケンスを受信するための受信機を有し、符号化システムは、インターリーブされたビデオシーケンスを符号化するための符号化器を有し、符号化器は、第２のビューのフレームを用いることなく第１のビューのフレームを圧縮し、そして第１のビューのフレームを用いて第２のビューのフレームを圧縮するための圧縮機を有し、そして本システムは、圧縮されたビデオデータ信号をプライマリビットストリーム及びセカンダリビットストリームに分割するためのスプリッタを有し、各ビットストリームはフレームを有し、プライマリビットストリームは、第１セットのための圧縮されたフレームを有し、セカンダリビットストリームは、第２セットのための圧縮されたフレームを有し、プライマリビットストリーム及びセカンダリビットストリームは別々のビットストリームを形成し、符号化システムはさらに、プライマリビットストリーム及びセカンダリビットストリームを多重化して、そして別々の符号を有するプライマリビットストリーム及びセカンダリビットストリームを提供するための多重化装置を有する。
【００３７】
好ましくは、圧縮機は、階層的スキームでフレームを圧縮するように配置され、より高いレベルは、第１のビューのフレームに対応し、より低い又は最も低いレベルは、第２のビューのフレームに対応する。
【００３８】
実施の形態において、符号化システムは、三次元ビデオデータ信号のビューのうちの一つのフレームのためのデータを有するプライマリビットストリーム、及び、三次元ビデオデータ信号の他のビューのフレームのためのデータを有するセカンダリビットストリームを提供するように配置される。
【００３９】
本発明のこれらの及び更なる態様は、一例として、添付の図面を参照して、より詳細に説明される。図は、尺度通りに描かれていない。一般に、同一の構成要素は、図において同じ参照符号によって示される。
【図面の簡単な説明】
【００４０】
【図１】三次元ビデオのための従来技術の符号化方法の例を示す図。
【図２】符号化効率の観点から、改善された方法を示す図。
【図３Ａ】本発明の符号化のための方法及び復号のための方法、並びに、符号化器及び復号器を示す図。
【図３Ｂ】本発明の符号化のための方法及び復号のための方法、並びに、符号化器及び復号器を示す図。
【図４】二つのビュー(左(L)及び右(R))のインターリーブを示す図。
【図５】階層的Bフレームを用いたいわゆる二進時間構造を示す図。
【図６】ビットストリームスプリッタのダイアグラムを示す図。
【図７】単一の符号化ビットストリーム及びその分割バージョンの例を示す図。
【図８】従来の技術や本発明を示す図。
【図９】従来の技術や本発明を示す図。
【図１０】従来の技術や本発明を示す図。
【図１１】三つのインターリーブされたビュー信号がある状況を示す図。
【図１２】高周波数ビデオのための本発明の実施の形態を示す図。
【図１３】高周波数ビデオのための本発明の実施の形態を示す図。
【図１４Ａ】高周波数ビデオのための本発明の実施の形態を示す図。
【図１４Ｂ】高周波数ビデオのための本発明の実施の形態を示す図。
【図１５】高分解能ビデオのための本発明の実施の形態を示す図。
【図１６Ａ】高分解能ビデオのための本発明の実施の形態を示す図。
【図１６Ｂ】高分解能ビデオのための本発明の実施の形態を示す図。
【発明を実施するための形態】
【００４１】
図1は、両方のビューが別々に処理されて圧縮されるビデオ情報の圧縮を示す。左(L)及び右(R)のビューのビデオデータ信号1及び2は、本質的に二次元の二つの画像2D(L)及び2D(R)を提供する。これらの信号の両方は、標準的な二次元ビデオ符号化器3及び4において符号化されて圧縮される。二つの信号は、図1で概略的にTによって示されるように送信されて、受信機側で受信される。受信機は、二次元ビデオ復号器3'及び4'を用いて二つの信号を復号して、二つの二次元信号1'及び2'を提供する。そしてこれらの二つの信号は、三次元画像を提供するために三次元ビデオディスプレイにおいて組み合わせられる準備ができている。任意の二次元ビデオディスプレイ装置は、単に左又は右のビューのいずれかを用いて動作することができる。このスキームは機能するが、実際的には、ステレオペアの左(L)及び右(R)のビューを別々に符号化することは、同じ品質を保証することを望む場合、モノラルシステム(単一のビュー)と比較してビットレートが倍になる。したがって、この標準的な方法は、二次元装置が画像を表示することができることを保証するが、ビットレートの倍増を必要とする。
【００４２】
図2は、符号化効率の観点から、改善された方法を示す。符号化の前に、二つのビューのフレームは、組み合わされたL+Rビデオデータ信号を提供するために、ビューインターリーバVIにおいてインターリーブされる。インターリーブは、標準的な二次元信号に似た組み合わされた信号を提供する。前記信号は、二次元ビデオ符号化器5において、従来の二次元ビデオ圧縮を用いて圧縮されることができる。そして、この圧縮された信号が送信されることができる。受信機側で、圧縮された信号は、二次元ビデオ復号器6において伸長されて、デインターリーバDVIを用いてデインターリーブされる。例えば、二つのビュー(L及びR)は、ビデオ符号化器5に入る前に、フレームピクチャとしてインターリーブされることができる。それゆえに、所与のマクロブロック(MB)を予測するために使用される一時的な参考画像に応じて、予測は、"本当に"一時的であるか(同じビューから異なる時刻)又は他のビューからあることができる。このメカニズムは、受信端のステレオ復号器が一方のビューを他方のビューと区別してデインターリーブを実行することができるように、実行されたインターリーブに関する情報を含むいわゆる「ステレオビデオ情報」SEIメッセージを通して通知されることができる。
【００４３】
そのような方法は、単一の符号化ストリームが(二次元復号器及び二次元スクリーンを備えた)従来の二次元受信機に到達する場合、ビットレートを(図1の方法と比べて約25%)低減するが、表示されるビデオシーケンスは、ステレオシーケンスのインターリーブから生じるので、見苦しい。この問題は、"ステレオビデオ情報"SEIメッセージを有するAVC(Advanced Stereo Coding)の場合にも存在する。実際、SEIメッセージの使用は必須ではなく、準拠する復号器はそれらを完全に無視することができる。図2の方法からの単一のビットストリームは通常の二次元ディスプレイシステムで正しく再生されることができず、これは大きな不都合である。したがって、図２の方法も二次元下位互換性を持たない。圧倒的多数のディスプレイが、少なくとも三次元ビデオの導入の間、標準的な二次元ビデオ装置のままであるので、二次元下位互換性の欠如は、人々に三次元ビデオデータ信号及びシステムを用いることを大いに思いとどまらせる。新たな方法は、好ましくは下位互換性を持ち、すなわち、標準的なビデオ装置が新たな方法によって生成される信号に対処することができなければならない。
【００４４】
したがって、本発明の目的は、一方では、両方のビューを完全に及び別々に符号化することに比べてビットレートを低減しつつ、他方では標準的なビデオと下位互換性を持つ方法を提供することである。
【００４５】
この目的のために、本発明によるビデオデータ信号を符号化する方法は、ビデオデータ信号が符号化され、符号化されたビデオデータ信号は、少なくともプライマリビデオデータ信号及び少なくともセカンダリビデオデータ信号を有し、プライマリビデオデータ信号及びセカンダリビデオデータ信号は一緒に圧縮され、プライマリビデオデータ信号は自己完結的に圧縮され、セカンダリビデオデータ信号はプライマリビデオデータ信号からのデータを用いて圧縮され、一緒に圧縮されたビデオデータ信号は別々のビットストリームに分割され、このビットストリームは、少なくとも、プライマリビデオデータ信号のためのデータを有するプライマリビットストリーム、及び、セカンダリビデオデータ信号のためのデータを有するセカンダリビットストリームを有し、その後、プライマリビットストリーム及びセカンダリビットストリームは多重化信号に多重化され、プライマリ信号及びセカンダリ信号は別々の符号が与えられる。
【００４６】
本発明の方法は、従来の方法の利点を、それらのそれぞれの欠点を回避しつつ組み合わせる。それは、二つ以上のビデオデータ信号を一緒に圧縮し、その後、単一の圧縮されたビットストリームを、二つ以上の別々の(プライマリ及びセカンダリ)ビットストリームに分割する。"プライマリ"ビットストリームは、自己完結的であり、従来のビデオ復号器によって決定可能であり、一つ以上の"セカンダリ"フレームセット(いわゆる補助ビデオ表示ストリーム)はプライマリビットストリームに依存する。別個のビットストリームは多重化され、プライマリビットストリーム及びセカンダリビットストリームは、別々の符号を与えられて送信される別々のビットストリームである。一見したところ、信号を最初に一緒に圧縮して、圧縮後に再びそれらを分割してそれらに別々の符号を提供することは余分であり労力の無駄に見えるかもしれない。全ての既知の技術において、圧縮されたビデオデータ信号は、多重化装置において単一の符号を与えられる。一見すると、本発明は、ビデオデータ信号の符号化に無用の複雑度を加えるように見える。
【００４７】
しかしながら、本発明者らは、プライマリビットストリーム及びセカンダリビットストリームを分割して、多重化信号にパッケージングする(すなわち、多重化装置においてプライマリビットストリーム及びセカンダリビットストリームに別々の符号を与える)ことによって、一方では、従来のビデオシステム中の標準的な逆多重化装置がその符号によってプライマリビットストリームを認識して、標準的なビデオ復号器がプライマリストリームのみを受信し、セカンダリストリームは逆多重化装置を通過しないように、復号器にそれを送信し、したがって標準的なビデオ復号器が標準的なビデオデータ信号(例えば標準的な二次元ビデオデータ信号及び/若しくは標準的な50Hzのビデオデータ信号、又は基本の分解能の信号)として正しくそれを処理することができ、他方では、専用システム(例えば三次元システム又は100Hzのディスプレイシステム又は高分解能ビデオ復号器)が、例えばステレオ復号器、100Hz復号器又はHTV復号器にそれを送信する前に、符号化プロセスを完全に逆戻りして元の改善されたビットストリームを再構成することができることに気が付いた。
【００４８】
本発明の方法の実施の形態において、ビデオデータ信号が符号化され、符号化されたビデオデータ信号は、フレームを有する第１のビュー及び少なくとも一つの第２のビューを有し、第１のビュー及び第２のビューのフレームはインターリーブされたビデオシーケンスを構成するようにインターリーブされ、その後、インターリーブされたビデオシーケンスは圧縮され、第１のビューのフレームは、第２のビューのフレームを用いずに符号化及び圧縮され、第２のビューのフレームは、第１のビューのフレームを用いて符号化及び圧縮され、圧縮された拡張ビデオデータ信号は、プライマリビットストリーム及びセカンダリビットストリームに分割され、各々のビットストリームはフレームを有し、プライマリビットストリームは、第１のビューのための圧縮されたフレームを有し、セカンダリビットストリームは、第２のビューのための圧縮されたフレームを有し、プライマリビットストリーム及びセカンダリビットストリームは、別々のビットストリームを形成し、その後、プライマリビットストリーム及びセカンダリビットストリームは、多重信号に多重化され、プライマリビットストリーム及びセカンダリビットストリームは、別々の符号を与えられる。
【００４９】
図3A及び3Bは、本発明の上述の実施の形態の方法、符号化システム及び復号化システムを示す。図3Aは、本発明の符号化システム7及び本発明の復号化システム8が用いられる状況を示し、符号化及び復号化システムの機構は、点線の長方形中の要素によって概略的に示されている。図3Bは、標準的な復号器が用いられる状況を示す。
【００５０】
左及び右のビューのフレームは、組み合わされた信号を提供するために、VIにおいてインターリーブされる。組み合わされた信号は、二次元信号に似ている。二次元ビデオ符号化器5は、組み合わせてインターリーブされた信号を符号化して圧縮する。圧縮の特徴は、ビューのうちの一方のフレームが自己完結系を形成することであり、すなわち、圧縮において、他方のビューからの情報は圧縮に用いられない。他方のビューのフレームは、第１のビューのフレームからの情報を使用して圧縮される。本発明は、二つのビューを対等に処理するという自然な傾向から逸脱する。実際に、二つのビューは、圧縮中に同じように処理されない。ビューのうちの一方はプライマリビューになり、その圧縮の間、他方のビューからの情報は用いられず、他方のビューはセカンダリである。プライマリビューのフレーム及びセカンダリビューのフレームは、ビットストリームスプリッタBSSによってプライマリビットストリーム及びセカンダリビットストリームに分割される。符号化システムは、プライマリビットストリームに、ビデオビットストリームとして標準的なビデオに認識可能な符号(例えばMPEGに対して0x01又はH.264に対して0x1B)を割り当てて、そしてセカンダリストリームに異なる符号(例えば0x20)を割り当てる多重化装置MUXを有する。多重化された信号は送信される(T)。図3Aにおいて、信号は、本発明による復号化システムによって受信される。逆多重化装置は、二つのビットストリーム、(プライマリストリームとして)0x01又は0x1B及び(セカンダリストリームとして)0x20を認識し、そして、プライマリストリーム及びセカンダリストリームを再び統合するビットストリーム統合装置(Bit Stream Merger：BSM)にそれら両方を送信し、組み合わされたビデオシーケンスは、復号器中で、符号化方法を逆転させることによって復号される。三次元ディスプレイ装置と組み合わせた復号化システム8は、本発明による表示装置の例を形成する。
【００５１】
図3Bは、多重化信号が標準的なビデオシステム9によって受信される状況を示す。標準的な逆多重化装置は、ビットストリーム0x01又は0x1Bをビデオデータ信号として認識し、それを標準的な復号器に送信する。ビットストリーム0x20は、認識されずに拒絶され、図3Bにおいてくず入れWBにビットストリームを送信することによって概略的に示される。復号器によって受信される信号は、標準的な復号器が扱うことができるビットレートを持ち、標準的な復号器が管理することができる形式である。
【００５２】
プライマリストリーム0x1Bが完全に自己完結的な信号であるので、標準的な二次元ビデオシステムがプライマリ信号のビューを表示するとき、図2の方法と関連した問題は生じない。したがって、図3の方法は、二次元下位互換性を持つ。
【００５３】
本発明の符号化の方法は、二つのビューを別々に圧縮することに比べて、ビットレートの低減を可能にする。したがって、二次元下位互換性とビットレートの低減の両方が達成される。
【００５４】
図4は、各々フレーム0〜7から成る二つのビュー（左(L)及び右(R)）の、フレーム0〜15を持つインターリーブされた組み合わせ信号へのインターリーブを示す。信号のインターリーブは、画像処理において周知のプロセスである。
【００５５】
図5は、階層的Bフレームを用いた、いわゆる二進時間構造(dyadic temporal structure)を示す。通常のビデオ処理において、異なる種類のフレームI, フレームB及びPフレームが多くの場合用いられる。いくつかのフレームは、符号化のために他のフレームを必要とする。図5に示されるスキームにおいて、どのフレームが他のフレームの符号化及び圧縮に用いられるかは、矢印によって示される。これらのスキームにおいて、I0/P0フレームはB1フレームの符号化/圧縮に用いられ、B1フレームはB2フレームの符号化/圧縮に用いられ、そしてB2フレームは、B3フレームの符号化/圧縮に用いられる。したがって、階層構造が存在し、階層構造の最も低いレベルはB3フレームである。B3フレームは、符号化されるために(又は受信機端で復号されるために)、高いレベルの階層フレーム(I0/P0、B1、B2)を必要とするが、それ自身は、より高いレベルの階層フレームを符号化又は復号するために必要とされない。
【００５６】
図4のインターリーブスキームが図5の依存スキームと組み合わせられる場合、ビューのうちの一つ(左又は右のビューのいずれか)のフレームが階層構造のB3レベル上のフレームに対応し、他のビューのフレームが階層構造のより高いレベルに対応することが明らかとなる。このビューは、復号されるために他のビューのフレームを必要とせず、したがって自己完結的な信号である。図5において、これは、矢印がB3フレームからB2, B1又はI0/P0フレームのいずれにも伸びていないことに対応する。他のビューのためのフレーム(B3)は、自己完結的な信号を形成せず、当該ビューは、復号されるために自己完結的なビューの情報を必要とする。B3フレームは互いに依存する場合がある。
【００５７】
左及び右のビューのフレームをインターリーブし、ビューのうちの一つのための一つの自己完結的な信号を提供する圧縮スキームによってそれらを圧縮し、そして、(自己完結的な信号を含む)プライマリビットストリーム及び(非自己完結的な信号を含む)セカンダリビットストリームへと再び信号を分割することによって、完全な動作上の二次元下位互換信号を提供しつつ、ビットレート低減が達成される。ビットストリームスプリッタは、第１のビューの全てのアクセスユニット(アクセスユニットは少なくとも一つのフレームのためのデータを有する)をプライマリストリームへと連結することによってプライマリストリーム(0x1B)を生成し、そして第２のビューの全てのアクセスユニット(AU)をセカンダリビットストリームへと連結することによってセカンダリストリームを生成する。そして多重化装置は、プライマリストリーム及びセカンダリストリームに、異なる符号を割り当てる。
【００５８】
図6は、ビットストリームスプリッタの例示的なダイアグラムを示す。これは、AVC(Advanced Video Coding)符号化スキームと互換性があるビットストリーム分割メカニズムを提供する。AVC符号化スキームにおいて、SEIメッセージが与えられる場合がある。"ステレオビデオ情報"SEIメッセージは、受け側のステレオ復号器が一つのビューを他のビューと区別してデインターリーブを実行することができるように、実行されたインターリーブに関する情報を含む。
【００５９】
本発明のこの実施例において、SEIメッセージは、符号化システム内で用いられる。
【００６０】
アクセスユニットは、ステップ60において取得される。
【００６１】
第１のステップ61において、現在のアクセスユニットがSEIメッセージを含むかどうかが確認される。
【００６２】
アクセスユニットがSEIメッセージを含まない場合、この特定の例において、アクセスユニットが属するフレームのセットに関する情報は、以前に受け取られた情報から導き出される。例えば、この以前に受け取られた情報が、「あるアクセスユニットがセットAに属する場合、その次はセットBに属する」であった場合、各々のアクセスユニットにSEI情報を提供する必要は無い。
【００６３】
アクセスユニットがSEIメッセージを含む場合、ステップ62において、そのSEIメッセージの有効性が以前のSEIメッセージに関して確認される。
【００６４】
SEIメッセージは、通常は既知のシーケンスであるインターリーブに関する情報を与える。SEIメッセージが無効な場合、エラーとなる(63)。
【００６５】
SEIメッセージが有効な場合、次のステップ64が行われる。
【００６６】
アクセスユニットの各々に対して、SEIメッセージが無かったこと(この場合、前のアクセスユニットに対するSEIメッセージの変更は無い)、又は、アクセスユニットが有効なSEIメッセージを持つことのいずれかによって、適切なインターリーブ情報が利用可能である。
【００６７】
次のステップ64において、アクセスユニットがプライマリビューの一部を形成するかどうかが確認され、形成する場合、それは、ステップ65においてプライマリビューのビットストリームに追加され、形成しない場合、ステップ66においてセカンダリビューのビットストリームに追加される。この順序は逆でもよいことは明らかである。一旦、アクセスユニットが処理されて、プライマリビットストリーム又はセカンダリビットストリームのいずれかに追加されると、ステップ67において次のアクセスユニットが取得され、処理が繰り返される。図6はスプリッタの例示的な実施の形態であることに注意すべきである。さまざまな態様で、符号化された信号は分割されることができる。分割に関する情報は、例えば一定のシーケンスが符号化に用いられる場合には暗黙のものであることができ、又は、例えばNAL符号のSEIメッセージを用いることによって明示的であることができ、あるいはそれらの組み合わせであることができる。アクセスユニット0及び8中のさまざまな略記号は以下を表すが、SEI以外は本発明にとって重要ではない。
- SPS(Sequence Parameter Set):シーケンスパラメータセット
- PPS(Picture Parameter Set):ピクチャパラメータセット
- IDR(Instantaneous Decoder Refresh):即時復号器リフレッシュ
- Slice: MB(マクロブロック16*16ピクセル)のグループ
- SEI(Supplemental Enhancement Information):補足拡張情報
【００６８】
図7は、一つの符号化ビットストリーム及びその分割バージョンの例を示す。ビデオ情報を含むアクセスユニット0及び8は、プライマリビットストリームの一部として作成されることに留意する必要がある。プライマリビットストリームの全てのアクセスユニット(AU8, AU0, AU4, AU2, AU6)は、ストリームの一つに対応するSEIメッセージを持ち、自己完結的な信号であり、他のアクセスユニットは、セカンダリビットストリームに関するSEIメッセージを持つ。
【００６９】
二つのビットストリームは、例えば、MPEG-2トランスポートストリーム(ブロードキャストアプリケーション)又はMPEG-4ファイルフォーマット(ファイル記憶アプリケーション)におけるDTS(Decoding Time Stamp)フラグのおかげで、システムレベルで同期を維持される。システムレベルの構文要素は、セカンダリビットストリームがプライマリビットストリームに依存していることを示すために用いられることができる。
【００７０】
セカンダリストリームは、それ自体は有効なストリームではないことに留意されたい。多くの場合、これは問題ではない。問題が生じる場合、ビットレートをほとんど増加させないように空のフレームをセカンダリストリームに挿入することができる。統合処理の前に、これらの空のフレームは先ず取り除かれなければならない。
【００７１】
実施の形態において、プライマリ信号及びセカンダリ信号の定期的な変更が行われることができる。本方法において、二つのビューは同様に処理されない。第１のビューは自己完結的なビューであり、一方、第２のビューは、第１のビューから導き出される。これは、左と右のビューの間の品質におけるわずかな差につながる場合があり、それはやがて、画像を受け取る左及び右目の僅かに異なる挙動につながる可能性がある。例えば場面変化の際にプライマリビューを左から右に定期的に変えることによって、これは回避されることができる。
【００７２】
実施の形態において、圧縮の量子化係数は、プライマリビットストリーム及びセカンダリビットストリーム(三次元の例ではプライマリビュー及びセカンダリビュー)で異なってもよい。特に複数のセカンダリビューがある場合、以下で説明されるように、セカンダリビューより多くの帯域幅をプライマリビューに割り当てることが有用である場合がある。
【００７３】
図8〜10は、従来技術及び本発明を概略的に示す。従来技術(図8を参照)において、ビデオ符号化器、この例ではAVC(Advanced Video coding)ビデオ符号化器Vencは、ビデオデータ信号を符号化し、オーディオ符号化器は、オーディオ信号を符号化する。多重化装置MUXは多重化信号を生成し、ビデオビットストリームは例えば符号0x1Bを得て、オーディオビットストリームは符号0x03を得る。二次元逆多重化装置2D demuxは、二つの構成ビットストリームを多重化信号から抽出し、そして、ビデオビットストリームをビデオ復号器に送信し、オーディオビットストリームをオーディオ復号器に送信する。したがって、ビデオ復号器は、それを扱うことができるかにかかわらず、ビデオビットストリームの全体を得る。
【００７４】
図9は、符号化側で本発明の符号化方法及び符号化システムが使用され、復号側で標準的なビデオ装置が使用される場合の状況を示す。
【００７５】
符号化の後、スプリッタは、符号化ストリームをプライマリストリームprim及びセカンダリストリームsecに分割する。多重化装置muxは、プライマリビューのためのビットストリーム0x1B、セカンダリビューのための別のビットストリーム0x20、及び図8の場合のようにオーディオビットストリーム0x03を含む多重化信号を生成する。
【００７６】
標準的な装置は、プライマリビットストリームをその符号によって認識してビットストリーム0x20を拒絶して、プライマリビットストリーム0x1Bを多重化信号から抽出する逆多重化装置を含む。ビデオ復号器は、プライマリビットストリーム0x1Bを受け取る。これが「通常の」ビットレートを有する自己完結的なビットストリームであるので、ビデオ復号器は大きな問題を伴わずにビットストリームを復号することができる。したがって、この符号化方法及びシステムは、下位互換性を持つ。
【００７７】
図10は、本発明による復号システムが使用される状況を示す。
【００７８】
復号器側で、復号器は、三次元逆多重化装置3D demuxを含む。この逆多重化装置は、オーディオビットストリーム0x03をオーディオ復号器に送信し、二つのビデオビットストリーム0x1B(プライマリビットストリーム)及び0x02(セカンダリビットストリーム)を多重化信号から抽出し、そして、ビットストリーム統合装置(BSM)のそれらのそれぞれの入力に二つのビデオビットストリームを送信し、BSMはプライマリストリーム及びセカンダリストリームを再び統合する。統合されたビデオストリームは、三次元ビデオデータ信号を提供する逆符号化方法を用いて統合されたビットストリームを復号する復号器に送信される。
【００７９】
したがって、専用の三次元ビデオ復号化システムが三次元ビデオデータ信号を復号することができる一方で、標準的な二次元ビデオ復号化システムが高品質の画像を提供することもできる。
【００８０】
上記の例において、拡張ビデオデータ信号は、二つのビュー（左及び右のビュー）を含む三次元信号であった。それがこの状況に非常に適するが、本発明はこの状況に制限されない。本発明は、二つのビューの代わりにマルチビュー信号が生成される場合に、さらに有用である。
【００８１】
図11は、三つのインターリーブされたビュー信号（ビットストリームが自己完結的であり、図5の自己完結的なLビュービットストリームに相当する第１の中央ビュー、及び、各々のビットストリームが中央ビューデータに依存して符号化されて圧縮される二つのセカンダリビュービットストリームB3及びB3'）がある状況を示す。
【００８２】
この例では、三つのビューがあり、プライマリビュー(例えば中央ビュー) 並びに複数のセカンダリビュー(例えば左及び右のビュー)がある。中央ビューに対して、自己完結的なビットストリームが生成される。二つのセカンダリビュー(例えば左及び右のビュー)に対して、自己完結的でないセカンダリビットストリームが生成される。
【００８３】
この実施例において、特に、多くのセカンダリビューがある場合、圧縮中に、セカンダリビューフレーム用とは異なる量子化係数を中央ビューフレームに用いることは有用だろう。
【００８４】
この実施の形態は、MVC(マルチビュー符号化)符号化器を用いたマルチビュー信号の生成にとって有用である。図11の例では、三つのビュー（一つのプライマリビュー及び二つのセカンダリビュー）が生成される。二つより多くのセカンダリビューが、生成されているビューの多重度に応じて、生成されることができる。複雑な実施の形態では、複数のプライマリビュー及びさらに多くのセカンダリビューが生成されることができる。
【００８５】
本発明の別の実施例が図12に例示される。
【００８６】
拡張ビデオデータ信号の他のカテゴリは、より高い周波数(例えば100Hz)の信号が生成されるものである。ステレオ信号に対して上で説明された問題は、そのようなビデオデータ信号に対しても同様に発生する。大部分のビデオ表示装置は標準的な周波数で動作し、復号器はそのような周波数に対して設計される。
【００８７】
図12は、高速度カメラCAM 100Hzによって生成され、100Hzのフレームレートで多数のフレームを含む信号を示す。そのような信号は、標準的な50HzのTVシステムにおける表示に適さない。それは、通常のフレーム分布及び高速フレーム分布を含むと考えられる。
【００８８】
専用のビデオ復号器において、フレームは、図5に示されるスキームと同じスキームで圧縮されることができる。これは図13に示される。高速度カメラから生じる信号は、インターリーブされたフレームの二つのセット(すなわち奇数番及び偶数番)の信号を提供すると見なされることができ、そしてこれらの二つは圧縮され、偶数番のフレームは、50Hzの周波数で自己完結的なフレームセットを構成するように圧縮され、奇数番のフレームは、偶数番のフレームのセットに依存して圧縮される。フレームセットのインターリーブが符号化器に提供される信号に内在するという点で、この例は以前の例と異なる。しかしながら、標本原理が適用される。偶数のフレームはプライマリビットストリームを構成し、奇数のフレームはセカンダリビットストリームを構成し、逆もまた同様である。もちろん、例えば200Hzのカメラが用いられてさらに高周波数の信号が提供される場合、セットの数は４にされることが可能であり、一つのプライマリ50Hzビットストリームが生成され、三つのセカンダリビットストリームが生成される。
【００８９】
図14A及び14Bは、図12及び13に概略的に示される実施の形態のための符号化及び復号化スキームを示す。これらのスキームは、図3A及び3Bのスキームと大部分において同様である。図14Aにおいて、専用の復号器が用いられる状況が概略的に示される。100HzのカメラCAM 100Hzは、図12に概略的に示されるような信号を提供し、SVC(Scalable Video Coding)符号化器において、図13に概略的に示されるような符号化スキームが実行される。したがって、カメラは、インターリーブされた(すなわち100Hzの偶数及び奇数のフレーム)信号を提供し、この信号は符号化システム7によって受信され、符号化システム7は、100Hzのカメラによって提供されるインターリーブされた信号中に含まれるセットのうちの一つを、自己完結的な圧縮フレームのセットに圧縮するための符号化器を含む。スプリッタBSSにおいて、フレームはプライマリビットストリーム0x1B又はセカンダリビットストリーム0x20に追加されて、そして多重化装置において、二つのビットストリームは異なる符号を与えられる。復号器8側で逆順が実行される。STBはセットトップボックスを表す。最終的な復号された信号は、100HzのTVに供給される。本発明のこの実施例によるディスプレイ装置は、復号化システム8及び100HzのTVを含む。本発明のこの実施例による記録装置は、符号化器7及びカメラを含む。
【００９０】
図14Bは、対応する従来の復号化システムを有する50HzのTVが用いられる状況を示す。標準的な逆多重化装置は、プライマリビットストリームを認識及び受理して、それを50HzのTVへ送信する。このビットストリームは、自己完結的で、適切なフォーマット及び周波数を持ち、50HzのTV上で適切な画像品質を提供する。セカンダリビットストリームは拒絶されて、50HzのTVシステムの通常の動作に干渉しない。
【００９１】
上述の実施の形態において、SVCストリームは、周波数(時間軸)に沿って分割される。SVCはさらに、分解能及び/若しくは量子化軸(SNR, CGS(coarse Grain scalability), FGS(Fine grain scalability))に沿って、並びに/又は、カラーサンプリング軸(4:4:4,4:2:0,4:2:2)に沿って、フレームを分割することを可能にする。そのような実施の形態において、上述の問題、すなわち標準的なビデオ復号器が入力ビットストリームを処理するという問題が同様に発生し、言い換えると、互換性問題が発生する。
【００９２】
本発明の枠組の中で、最も広義には、ビデオストリームは、少なくとも二つのビットストリーム(プライマリビットストリーム及びセカンダリビデオストリーム)に分割され(図15を参照)、プライマリビデオストリームは自己完結的であり、セカンダリビデオストリームは復号化のためにプライマリビデオストリームを必要とし、そして多重化装置において、プライマリビデオストリームは標準的な符号(0x1B)を与えられ、セカンダリビデオストリームは異なる符号(0x20)を与えられる。ビデオデータ信号は、分解能軸に沿って分割されることができ、多重化信号中のプライマリビットストリームはベースレイヤのためのデータを含み、異なる符号が与えられる多重化信号中のセカンダリビットストリームは、一つの拡張レイヤ又は複数の拡張レイヤのためのビデオデータを含む。
【００９３】
プライマリストリームに提供される符号は、標準的な符号(例えば0x1B又は0x01)であり、したがって、任意の通常の標準的な非スケーラブルなMPEG(0x01)又はH.264(0x1B)ビデオ復号器9によって決定可能であり、一方、本発明による専用の復号器8は、スケーラビリティ符号化の利点を最大限に引き出すことができる。図16A及び図16Bは本発明の実施の形態を示し、この実施の形態は、図16Bに示されるようにSDTVビデオデータ信号をSDTV(Standard Definition TV)に供給するため、及び、図16Aに示されるようにHDTVビデオデータ信号をHDTV(High Definition TV)に供給するために適用されることができる。
【００９４】
本発明はさらに、本発明による方法又は装置のための任意のコンピュータプログラム製品として実施される。コンピュータプログラム製品の下で、(中間言語及び最終的なプロセッサ言語への翻訳の様な中間の変換ステップを含む場合がある)一連のロードステップ後、一般的な又は特定用途向けのプロセッサがコマンドをプロセッサに入れて、本発明の任意の特徴的な機能を実行することを可能にするコマンドの集合の任意の物理的実現が理解されなければならない。特に、コンピュータプログラム製品は、例えばディスク若しくはテープのような担体上のデータ、メモリに存在するデータ、(有線若しくは無線の)ネットワーク接続を通じて移動するデータ、又は紙の上のプログラムコードとして実現されることができる。プログラムコードとは別に、プログラムのために必要とされる特徴的なデータも、コンピュータプログラム製品として実施されることができる。
【００９５】
本発明はさらに、三次元ビデオ記録装置又は高分解能ビデオ記録装置のような、本発明による符号化システムを含む装置に関する。
【００９６】
本発明はさらに、本発明による復号化システムを含むディスプレイ装置に関する。そのような装置は、例えば三次元ビデオ表示装置、HDTVディスプレイ装置又はさらなる分解能を有するディスプレイ装置であることができる。
【００９７】
本発明はさらに、別々の符号(0x01, 0x1B, 0x20)を有する少なくとも二つの関連するビデオデータ信号を含む多重化ビデオデータ信号に関し、第１のビデオデータ信号(0x01、0x1B)は自己完結的なビデオデータ信号であり、そして少なくとも一つの第２のビデオデータ信号(0x20)はそうではない。逆多重化装置を用いることにより、区別するために復号器を用いることを必要とせずに、二つの関連した異なるビデオデータ信号を異なって処理することは容易である。標準的な二次元ビデオ表示装置又はSDTV装置のような標準的な装置にとって、第１の自己完結的な信号は復号器に転送されることができ、第２の信号で復号器に負担をかけすぎることがない。専用のビデオシステムは、二つのビデオデータ信号中のデータを最大限に利用することができる。
【００９８】
要するに、本発明は以下のように説明されることができる。
【００９９】
ビデオデータ信号は符号化され、符号化されたビデオデータ信号は、少なくともプライマリビデオデータ信号及び少なくともセカンダリビデオデータ信号を含む。プライマリビデオデータ信号及びセカンダリビデオデータ信号は一緒に圧縮される。プライマリビデオデータ信号は自己完結的に圧縮され、そしてセカンダリビデオデータ信号はプライマリビデオデータ信号からのデータを使用して圧縮される。一緒に圧縮されたビデオデータ信号は、プライマリビデオデータ信号のためのデータを含む少なくとも一つのプライマリビットストリーム及びセカンダリビデオデータ信号のためのデータを含む少なくとも一つのセカンダリビットストリームの別々のビットストリームに分割され、その後、プライマリビットストリーム及びセカンダリビットストリームは多重化信号に多重化され、そしてプライマリ信号及びセカンダリ信号は別々の符号を与えられる。
【０１００】
上述の実施の形態は本発明を制限ではなく説明し、当業者は、添付の請求の範囲から逸脱することなく、多くの代わりの実施の形態を設計することができる。
【０１０１】
請求項において、括弧間に配置される任意の参照符号は、請求項を制限するものとして解釈されてはならない。
【０１０２】
「有する」「含む」といった用語は、請求項中に挙げられたもの以外の他の要素又はステップの存在を除外しない。本発明は、上述の様々な異なる好ましい実施の形態の特徴の任意の組み合わせによって実施されることができる。
【図１】
2011515874.tif 000003
【図２】
2011515874.tif 000004
【図３Ａ】
2011515874.tif 000005
【図３Ｂ】
2011515874.tif 000006
【図４】
2011515874.tif 000007
【図５】
2011515874.tif 000008
【図６】
2011515874.tif 000009
【図７】
2011515874.tif 000010
【図８】
2011515874.tif 000011
【図９】
2011515874.tif 000012
【図１０】
2011515874.tif 000013
【図１１】
2011515874.tif 000014
【図１２】
2011515874.tif 000015
【図１３】
2011515874.tif 000016
【図１４Ａ】
2011515874.tif 000017
【図１４Ｂ】
2011515874.tif 000018
【図１５】
2011515874.tif 000019
【図１６Ａ】
2011515874.tif 000020
【図１６Ｂ】
2011515874.tif 000021
【国際調査報告】
2011515874.tif 000022
2011515874.tif 000023
2011515874.tif 000024