(57)【要約】【課題】Dependent streamのピクチャのビットストリーム上の境界を容易に検出する。【解決手段】ビットストリーム上においては、各AU(Access Unite)の開始位置にはAD(AU Delimiter)が配置され、Dependent streamのピクチャの境界にはDD(Dependent Delimiter)が配置される。スタートコードを検出することによってNAL unitの先頭が検出され、先頭を検出したnal_unit_typeの値が１８であることをチェックすることによって、DD、すなわち、Dependent streamのピクチャの境界（先頭）が検出される。本発明は、立体画像信号を処理する装置に適用することができる。【選択図】図１６
2010245766.tif 000002
【特許請求の範囲】
【請求項１】
複数視点の画像信号から構成される立体画像信号を符号化したビットストリームを復号する画像信号復号装置において、
１つの視点の画像に符号化されている、所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を復号し、前記所定の時刻の符号化データの開始を識別し、
他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を復号し、前記他の視点の画像信号の符号化データの開始を識別してビットストリームを復号する復号手段を備える
画像信号復号装置。
【請求項２】
前記複数視点の画像信号は２視点の画像信号であり、１本のビットストリームとして構成される
請求項１に記載の画像信号復号装置。
【請求項３】
複数視点の画像信号は２視点の画像信号であり、２本のビットストリームとして構成される
請求項１に記載の画像信号復号装置。
【請求項４】
前記復号手段は、一方の視点の画像に符号化されている、前記所定の時刻の全視点の画像符号化ビットストリームが開始することを示す前記第１固有のデータ列を復号して、前記所定の時刻の符号化データの開始を識別し、
他方の視点の画像の符号化ビットストリームの先頭に符号化されている、前記所定の時刻の前記他方の視点の画像符号化ビットストリームが開始することを示す、前記第２の固有データ列を復号し、前記他方の視点の画像信号の符号化データの開始を識別してビットストリームを復号する
請求項３に記載の画像信号復号装置。
【請求項５】
正しく復号を開始できる位置にアクセスする場合、
前記復号手段は、１つの視点の画像に符号化されている、前記所定の時刻の全視点の画像符号化ビットストリームが開始することを示す前記第１の固有データ列を復号して、前記１つの視点の前記所定の時刻の符号化データの開始を識別し、
前記他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す前記第２の固有データ列を復号して、前記他の視点の画像信号の符号化データの開始を識別して、識別した開始位置から、ビットストリームを復号する
請求項１に記載の画像信号復号装置。
【請求項６】
複数視点の画像信号から構成される立体画像信号を符号化したビットストリームを復号する画像信号復号方法において、
１つの視点の画像に符号化されている、所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を復号し、前記所定の時刻の符号化データの開始を識別し、
他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を復号し、前記他の視点の画像信号の符号化データの開始を識別してビットストリームを復号する
ステップを含む画像信号復号方法。
【請求項７】
複数視点の画像信号から構成される立体画像信号を符号化したビットストリームを復号する処理をコンピュータに実行させるプログラムにおいて、
１つの視点の画像に符号化されている、所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を復号し、前記所定の時刻の符号化データの開始を識別し、
他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を復号し、前記他の視点の画像信号の符号化データの開始を識別してビットストリームを復号する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項８】
複数視点の画像信号から構成される立体画像信号を符号化する画像信号符号化装置において、
１つの視点の画像に所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を符号化し、
他の視点の画像の符号化ビットストリームの先頭には、それぞれ、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を符号化する符号化手段を備える
画像信号符号化装置。
【請求項９】
前記符号化手段は、全ての視点の符号化データを１本のビットストリーム中に多重化する
請求項８に記載の画像信号符号化装置。
【請求項１０】
前記符号化手段は、全ての視点の符号化データを２本のビットストリーム中にそれぞれ含める
請求項８に記載の画像信号符号化装置。
【請求項１１】
前記複数視点の画像信号は２視点の画像信号である
請求項８に記載の画像信号符号化装置。
【請求項１２】
複数視点の画像信号から構成される立体画像信号を符号化する画像信号符号化方法において、
１つの視点の画像に所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を符号化し、
他の視点の画像の符号化ビットストリームの先頭には、それぞれ、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を符号化する
ステップを含む画像信号符号化方法。
【請求項１３】
複数視点の画像信号から構成される立体画像信号を符号化する処理をコンピュータに実行させるプログラムにおいて、
１つの視点の画像に所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を符号化し、
他の視点の画像の符号化ビットストリームの先頭には、それぞれ、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を符号化する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号復号装置、画像信号復号方法、画像信号符号化装置、画像信号符号化方法、およびプログラムに関し、特に、Dependent streamのピクチャのビットストリーム上の境界を容易に検出することができるようにした画像信号復号装置、画像信号復号方法、画像信号符号化装置、画像信号符号化方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEGなどの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、MPEG2(ISO/IEC 13818-2)は汎用画像符号化方式として定義されており、飛び越し走査画像および順次走査画像の双方、並びに標準解像度画像および高精細画像を網羅する標準規格である。プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。
【０００４】
MPEG2を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4〜8Mbps符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。また、1920×1088画素を持つ高解像度の飛び越し走査画像であれば18〜22Mbpsの符号量を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG１より低い符号量、つまり、より高い圧縮率の符号化方式には対応していなかった。
【０００６】
携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG４符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。
【０００７】
更に、H.264/AVC(MPEG-4 part 10、ISO/IEC 14496-10 | ITU-T H.264)という標準の規格化が行われている。ITU-TとISO/IECの間で、共同でビデオ符号化の標準化を行うJVT(Joint Video Team)という団体を設立し、この団体で規格化を進めている。
【０００８】
H.264/AVCは、MPEG2やMPEG４といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
【０００９】
［H.264/AVC］
図１は、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報符号化装置の構成例を示すブロック図である。
【００１０】
１はA／D変換部、２は画面並べ替えバッファ、３は加算部、４は直交変換部、５は量子化部、６は可逆符号化部、７は蓄積バッファ、８は逆量子化部、９は逆直交変換部、１０はフレームメモリ、１１は動き予測・補償部、１２はレート制御部である。
【００１１】
入力となる画像信号は、まず、A/D変換部１においてデジタル信号に変換される。
【００１２】
次に、出力となる画像圧縮情報のGOP(Group of Pictures）構造に応じ、画面並べ替えバッファ２においてフレームの並べ替えが行われる。
【００１３】
イントラ符号化が行われる画像に関しては、フレーム全体の画像情報が直交変換部４に入力され、ここで離散コサイン変換、カルーネン・レーベ変換等の直交変換が施される。
【００１４】
直交変換係数４の出力となる変換係数は、量子化部５において量子化処理が施される。
【００１５】
量子化部５の出力となる量子化された変換係数は、可逆符号化部６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、蓄積バッファ７に蓄積され、画像圧縮情報として出力される。量子化部５の挙動は、レート制御部１２によって制御される。
【００１６】
同時に、量子化部５の出力となる量子化された変換係数は、逆量子化部８に入力され、更に、逆直交変換部９において逆直交変換処理が施されて、復号画像情報となり、その情報はフレームメモリ１０に蓄積される。
【００１７】
インター符号化が行われる画像に関しては、まず、画面並べ替えバッファ２から動き予測・補償部１１に入力される。
【００１８】
同時に、参照となる画像情報がフレームメモリ１０より取り出され、動き予測・補償処理が施され、参照画像情報が生成される。
【００１９】
参照画像情報は加算部３に送られ、ここで、当該画像情報との差分信号に変換される。
【００２０】
動き補償・予測部１１は、同時に、動きベクトル情報を可逆符号化部６に出力する。動きベクトル情報に対しては、可変長符号化、算術符号化といった可逆符号化処理が施され、画像圧縮情報のヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像圧縮情報と同様である。
【００２１】
図２は、画像情報復号装置の構成例を示すブロック図である。
【００２２】
２１は蓄積バッファ、２２は可逆符号復号部、２３は逆量子化部、２４は逆直交変換部、２５は加算部、２６は画面並べ替えバッファ、２７はD/A変換部、２８はフレームメモリ、２９は動き予測・補償部である。
【００２３】
入力となる画像圧縮情報（ビットストリーム）は、まず、蓄積バッファ２１に格納された後、可逆符号復号部２２に転送される。
【００２４】
可逆符号復号部２２においては、定められた画像圧縮情報のフォーマットに基づき、可変長復号、算術復号等の処理が行われる。
【００２５】
同時に、当該フレームがインター符号化されたものである場合には、可逆符号復号部２２においては、画像圧縮情報のヘッダ部に格納された動きベクトル情報も復号され、その情報が動き予測・補償部２９に出力される。
【００２６】
可逆符号復号部２２の出力となる量子化された変換係数は、逆量子化部２３に入力され、ここで変換係数として出力される。
【００２７】
変換係数に対しては、逆直交変換部２４において、定められた画像圧縮情報のフォーマットに基づき、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換が施される。
【００２８】
当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、画面並べ替えバッファ２６に格納され、D/A変換処理の後に出力される。
【００２９】
当該フレームがインター符号化されたものである場合には、可逆復号処理が施された動きベクトル情報、およびフレームメモリ２８に格納された画像情報を元に参照画像が生成される。この参照画像と、逆直交変換部２４の出力とが、加算部２５において合成される。その他の処理はイントラ符号化されたフレームと同様である。
【００３０】
先に述べたJVTで規格化されたAVCは、MPEG2やMPEG４と同様に、動き補償と離散コサイン変換から構成されるハイブリッド符号化方式である。
【００３１】
離散コサイン変換は、実数の離散コサイン変換を近似した整数変換であっても良い。離散コサイン変換の変換方法が４×４ブロックサイズの整数係数を用いた方法であったり、動き補償の際のブロックサイズが可変であるなど、詳細な方式は異なるが、基本的な方式は図１の構成で実現される符号化方式と同様である。
【００３２】
ところで、近年、立体画像の撮像、表示技術の進歩から、H.264/AVCを立体画像信号の符号化に拡張する検討が進められている。
【００３３】
複数の撮像装置で撮像された多視点の画像を符号化するMVC(Multiview Video Coding)の標準化が進められている。
【００３４】
２視点の撮像、表示を想定した画像はステレオ画像と呼ばれる。裸眼の立体ディスプレイでは多視点の表示に対応することが可能である。
【００３５】
以下、主に、２視点のステレオ画像の例について説明するが、同様にして３視点以上の多視点の画像にも適応することが可能である。
【００３６】
［MVC］
図３は、多視点符号化装置を示す図である。
【００３７】
多視点符号化装置４１においては、２つの撮像装置である撮像装置３１と撮像装置３２から供給されたビデオ信号が符号化され、符号化によって生成されたビットストリームが出力される。２視点の画像のデータからなるビットストリームは、１本のストリームに多重化されて出力されるようにしてもよいし、２またはそれ以上の数のビットストリームとして出力されるようにしてもよい。
【００３８】
図４は、図３の多視点符号化装置４１の構成例を示すブロック図である。
【００３９】
多視点符号化装置４１においては、多視点の画像のうち１視点の画像がBase streamとして符号化され、他の画像がDependent stream(依存ストリーム)として符号化される。
【００４０】
ステレオ画像の場合、L画像（左視点画像）とR画像（右視点画像）のうちのどちらか一方の画像がBase streamとして符号化され、他方の画像がDependent streamとして符号化される。
【００４１】
Base streamは、H.264 AVC/High Profileなどで符号化された、既存のAVCと同様のビットストリームである。従って、Base streamは、H.264 AVC/High Profileに対応した既存のAVCのデコーダで復号可能なストリームとなる。
【００４２】
Base streamとして符号化する画像は、並べ替えバッファ５１に入力され、Ｉピクチャ、Ｐピクチャ、Ｂピクチャとして符号化するのに適切な順番に並び替えられる。並び替えられた画像はビデオ符号化部５２に出力される。
【００４３】
ビデオ符号化部５２は、図１の画像情報符号化装置と同様の構成を有している。ビデオ符号化部５２においては、例えばH.264 AVC/High Profileに準じて符号化が行われ、得られたビットストリームが多重化部５７に出力される。また、局所復号画像がフレームメモリ５３に保存され、次のピクチャ、もしくは、Dependent streamのピクチャの符号化の際の参照画像として用いられる。
【００４４】
一方、Dependent streamとして符号化する画像は、並べ替えバッファ５４に入力され、Ｉピクチャ、Ｐピクチャ、Ｂピクチャとして符号化するのに適切な順番に並び替えられる。並び替えられた画像は依存ストリーム符号化部５５に出力される。
【００４５】
依存ストリーム符号化部５５では、通常のAVCの符号化に追加して、フレームメモリ５３に記憶されているBase streamの局所復号画像を参照画像として用いた符号化が行われ、ビットストリームが多重化部５７に出力される。また、局所復号画像がフレームメモリ５６に保存され、次のピクチャの符号化の際の参照画像として用いられる。
【００４６】
多重化部５７では、Base stream、およびDependent streamが１本のビットストリームに多重化されて出力される。Base streamとDependent streamがそれぞれ別々のビットストリームとして出力されるようにしてもよい。
【００４７】
図５は、MVCの参照画像の例を示す図である。
【００４８】
Base streamは、通常のAVCと同様に時間方向の予測だけを行って符号化が行われる。
【００４９】
Dependent streamは、通常のAVCと同様の同一視点画像内での時間方向の予測に追加して、同時刻のBase streamの画像を参照画像とした予測を行って符号化が行われる。時間方向の予測を適切に行うことができない場合においても、同時刻の他の視点の画像を参照可能とすることにより、符号化効率を改善することができる。
【００５０】
図６は、Base streamを生成する図４のビデオ符号化部５２の構成とフレームメモリ５３を示すブロック図である。
【００５１】
図６に示す構成は、フレームメモリ５３に保存されている画像が依存ストリーム符号化部５５から参照されるようになっている点を除いて、図１の画像情報符号化装置の構成と同様である。
【００５２】
図７は、Dependent streamを生成する図４の依存ストリーム符号化部５５の構成とフレームメモリ５６を示すブロック図である。
【００５３】
図７に示す構成は、フレームメモリ５３に保存されている画像を参照できるようになっている点を除いて、図１の画像情報符号化装置の構成と同様である。フレームメモリ５３から読み出された参照画像は動き予測・補償部９０に入力され、動き予測、動き補償に用いられる。
【００５４】
図８は、多視点復号装置１０１の構成例を示すブロック図である。
【００５５】
ネットワークや記録媒体を介して多視点符号化装置４１から供給されたBase streamはバッファ１１１に入力され、Dependent streamはバッファ１１４に入力される。１本のストリームに多重化されて供給された場合、Base streamとDependent streamに分離され、バッファ１１１とバッファ１１４にそれぞれ入力される。
【００５６】
所定の時間だけバッファ１１１において遅延したBase streamは、ビデオ復号部１１２に出力される。
【００５７】
ビデオ復号部１１２においては、AVCに従ってBase streamの復号が行われ、得られた復号画像がフレームメモリ１１３に保存される。フレームメモリ１１３に保存された復号画像は、次のピクチャ、もしくは、Dependent streamのピクチャの復号の際の参照画像として用いられる。
【００５８】
ビデオ復号部１１２により得られた復号画像は、所定のタイミングでビデオ信号として3Dディスプレイ１０２に出力される。
【００５９】
一方、所定の時間だけバッファ１１４において遅延したDependent streamは依存ストリーム復号部１１５に出力される。
【００６０】
依存ストリーム復号部１１５においては、Dependent streamの復号が行われ、得られた復号画像がフレームメモリ１１６に保存される。フレームメモリ１１６に保存された復号画像は、次のピクチャの復号の際の参照画像として用いられる。
【００６１】
依存ストリーム復号部１１５においては、適宜、ビットストリーム中の情報（フラグなど）に基づいて、フレームメモリ１１３に保存されている画像が参照画像として使用される。
【００６２】
依存ストリーム復号部１１５により得られた復号画像は、所定のタイミングでビデオ信号として3Dディスプレイ１０２に出力される。
【００６３】
3Dディスプレイ１０２においては、ビデオ復号部１１２から供給されたビデオ信号と、依存ストリーム復号部１１５から供給されたビデオ信号に基づいてステレオ画像の表示が行われる。
【００６４】
図９は、Base streamの復号を行う図８のビデオ復号部１１２の構成とフレームメモリ１１３を示す図である。
【００６５】
図９に示す構成は、フレームメモリ１１３に保存されている画像が依存ストリーム復号部１１５から参照されるようになっている点を除いて、図２の画像情報復号装置の構成と同様である。
【００６６】
図１０は、Dependent streamを復号する図８の依存ストリーム復号部１１５の構成とフレームメモリ１１６を示すブロック図である。
【００６７】
図１０に示す構成は、フレームメモリ１１３に保存されている画像を参照できるようになっている点を除いて、図２の画像情報復号装置の構成と同様である。フレームメモリ１１３から読み出された参照画像は動き予測・補償部１４８に入力され、動き予測、動き補償に用いられる。
【先行技術文献】
【特許文献】
【００６８】
【特許文献１】特開２００７−２０８９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【００６９】
AVCおよびMVCでは、バッファオーバーフロー、アンダーフローを防ぐため、復号装置側のバッファの動作を模した仮想バッファモデルを定義している。
【００７０】
符号化装置側では、仮想バッファをオーバーフロー、アンダーフローさせないように符号化が行われる。このようにして符号化されたビットストリームであれば、復号装置はバッファを破綻させることなく復号することができる。
【００７１】
仮想バッファモデルについて説明する。
【００７２】
図１１は、仮想バッファモデルの例を示す図である。
【００７３】
入力されたビットストリームはまずバッファ１５１に供給される。バッファ１５１からは、AU（アクセスユニット）と呼ばれる単位でビットストリームが瞬時に読み出され、ビデオ復号部１５２に供給される。
【００７４】
ビデオ復号部１５２においては、バッファ１５１から読み出されたデータが瞬時に復号されて復号画像が生成される。このような仮定が仮想バッファモデルではなされる。
【００７５】
なお、図１１のバッファ１５１は、図８の多視点復号装置１０１においては、バッファ１１１とバッファ１１４に対応する。また、図１１のビデオ復号部１５２は、図８の多視点復号装置１０１においては、ビデオ復号部１１２と依存ストリーム復号部１１５に対応する。
【００７６】
AVCの場合、１AUには１ピクチャのデータが格納される。
【００７７】
MVCの場合、１AUには、同一時刻の全てのview（Base streamおよびDependent stream）のデータが格納される。ここで、viewとは各視点の画像である。
【００７８】
このような仮想バッファモデルでのバッファ１５１の振る舞いを図１２に示す。図１２の縦軸はバッファ占有量を表し、横軸は時刻を表す。
【００７９】
図１２に示すように、バッファ１５１には所定のビットレートでビットストリームが供給される。また、各AUの読み出し時刻に、バッファ１５１からそのAUに格納されているビットストリームが引き抜かれる。時刻ｔ1，ｔ2，ｔ3，・・・はそれぞれバッファ１５１からの読み出し時刻である。
【００８０】
図１３は、MVCで符号化されたビットストリームのAUの構成を示す図である。
【００８１】
図１３の上段にはAU＃１，＃２，＃３が示されている。
【００８２】
AU＃１は、同一時刻のピクチャであるBase streamのピクチャＰ1とDependent streamのピクチャＰ2から構成される（ピクチャのデータが格納される）。
【００８３】
AU＃２は、同一時刻のピクチャであるBase streamのピクチャＰ3とDependent streamのピクチャＰ4から構成される。
【００８４】
AU＃３は、同一時刻のピクチャであるBase streamのピクチャＰ5とDependent streamのピクチャＰ6から構成される。
【００８５】
図１３の下段にビットストリームの構成を示す。
【００８６】
図１３のビットストリームは、Base streamとDependent streamを多重化して構成される１本のストリームである。各AUの先頭にはAD(AU Delimiter)と呼ばれるNAL unitが挿入される。ADは、ある固有のデータ列である。
【００８７】
ADは、同時刻のBase streamのピクチャとDependent streamのピクチャのデータの開始位置を表すことになる。
【００８８】
図１３に示すように、ビットストリーム上では、AU＃１は、AD＃１、ピクチャＰ1、およびピクチャＰ2から構成される。
【００８９】
AU＃２は、AD＃２、ピクチャＰ3、およびピクチャＰ4から構成される。
【００９０】
AU＃３は、AD＃３、ピクチャＰ5、およびピクチャＰ6から構成される。
【００９１】
ADを検索することにより、AUの先頭を探し出し、所定のピクチャへのアクセスを容易に行うことができるようになっている。
【００９２】
図１４は、ビットストリームの構造の例を示す図である。
【００９３】
図１４Ａは、Base streamとDependent streamを１本のビットストリームに多重化した場合の構造を示す。図１４Ａのビットストリームの構造は、図１３のビットストリームの構造と同じである。
【００９４】
図１４Ｂは、Base streamとDependent streamを、それぞれ別の、合計２本のビットストリームに含めた場合の構造を示す。図１４Ａに示す部分と対応する部分には同じ符号を付してある。
【００９５】
図１４Ｂに示すように、Base streamは、AD＃１、ピクチャＰ1、AD＃２、ピクチャＰ3、AD＃３、およびピクチャＰ5がその順番で配置されることによって構成される。
【００９６】
一方、Dependent streamは、ピクチャＰ2、ピクチャＰ4、およびピクチャＰ6がその順番で配置されることによって構成される。
【００９７】
図１４のビットストリームを対象とした復号処理について図１１の構成を用いて説明する。
【００９８】
例えば、図１４Ａのビットストリームが供給された場合、図１１のビデオ復号部１５２は、AD＃１を検出した後、Base streamのピクチャＰ1、Dependent streamのピクチャＰ2を順次読み出し、それぞれ復号する。
【００９９】
また、図１４Ｂのビットストリームが供給された場合、ビデオ復号部１５２は、Base streamの１つ目のAUについては、AD＃１を検出してピクチャＰ1を読み出して復号する。また、ビデオ復号部１５２は、２つ目のAUについては、AD＃２を検出してピクチャＰ3を読み出して復号する。
【０１００】
Dependent streamの方にはADが存在しないため、各ピクチャを読み出すには、ビットストリーム中のシンタクスを解析し、ピクチャＰ2，Ｐ4，Ｐ6の境界を判定する必要がある。従って、処理が非常に複雑になる。
【０１０１】
ここで、ピクチャの先頭を容易に検出することができるように、Base streamと同様にして、Dependent streamの各ピクチャの先頭にADを単純に追加した場合を考える。
【０１０２】
この場合、例えばBase streamとDependent streamを１本のビットストリームに多重化したときには、ビデオ復号部１５２は、Base streamのAUとDependent streamのAUを別のAUとして認識してしまうことになる。これにより、仮想バッファモデルの動作を正しく再現することができない。
【０１０３】
本発明はこのような状況に鑑みてなされたものであり、Dependent streamのピクチャのビットストリーム上の境界を容易に検出することができるようにするものである。
【課題を解決するための手段】
【０１０４】
本発明の一側面の画像信号復号装置は、複数視点の画像信号から構成される立体画像信号を符号化したビットストリームを復号する画像信号復号装置において、１つの視点の画像に符号化されている、所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を復号し、前記所定の時刻の符号化データの開始を識別し、他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を復号し、前記他の視点の画像信号の符号化データの開始を識別してビットストリームを復号する復号手段を備える。
【０１０５】
前記複数視点の画像信号は２視点の画像信号であり、１本のビットストリームとして構成されるようにすることができる。
【０１０６】
複数視点の画像信号は２視点の画像信号であり、２本のビットストリームとして構成されるようにすることができる。
【０１０７】
前記復号手段には、一方の視点の画像に符号化されている、前記所定の時刻の全視点の画像符号化ビットストリームが開始することを示す前記第１固有のデータ列を復号して、前記所定の時刻の符号化データの開始を識別し、他方の視点の画像の符号化ビットストリームの先頭に符号化されている、前記所定の時刻の前記他方の視点の画像符号化ビットストリームが開始することを示す、前記第２の固有データ列を復号し、前記他方の視点の画像信号の符号化データの開始を識別してビットストリームを復号させることができる。
【０１０８】
正しく復号を開始できる位置にアクセスする場合、前記復号手段には、１つの視点の画像に符号化されている、前記所定の時刻の全視点の画像符号化ビットストリームが開始することを示す前記第１の固有データ列を復号して、前記１つの視点の前記所定の時刻の符号化データの開始を識別し、前記他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す前記第２の固有データ列を復号して、前記他の視点の画像信号の符号化データの開始を識別して、識別した開始位置から、ビットストリームを復号させることができる。
【０１０９】
本発明の一側面の画像信号復号方法は、複数視点の画像信号から構成される立体画像信号を符号化したビットストリームを復号する画像信号復号方法において、１つの視点の画像に符号化されている、所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を復号し、前記所定の時刻の符号化データの開始を識別し、他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を復号し、前記他の視点の画像信号の符号化データの開始を識別してビットストリームを復号するステップを含む。
【０１１０】
本発明の一側面のプログラムは、複数視点の画像信号から構成される立体画像信号を符号化したビットストリームを復号する処理をコンピュータに実行させるプログラムにおいて、１つの視点の画像に符号化されている、所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を復号し、前記所定の時刻の符号化データの開始を識別し、他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を復号し、前記他の視点の画像信号の符号化データの開始を識別してビットストリームを復号するステップを含む処理をコンピュータに実行させる。
【０１１１】
本発明の他の側面の画像信号符号化装置は、複数視点の画像信号から構成される立体画像信号を符号化する画像信号符号化装置において、１つの視点の画像に所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を符号化し、他の視点の画像の符号化ビットストリームの先頭には、それぞれ、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を符号化する符号化手段を備える。
【０１１２】
前記符号化手段には、全ての視点の符号化データを１本のビットストリーム中に多重化させることができる。
【０１１３】
前記符号化手段には、全ての視点の符号化データを２本のビットストリーム中にそれぞれ含ませることができる。
【０１１４】
前記複数視点の画像信号は２視点の画像信号であるようにすることができる。
【０１１５】
本発明の他の側面の画像信号符号化方法は、複数視点の画像信号から構成される立体画像信号を符号化する画像信号符号化方法において、１つの視点の画像に所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を符号化し、他の視点の画像の符号化ビットストリームの先頭には、それぞれ、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を符号化するステップを含む。
【０１１６】
本発明の他の側面のプログラムは、複数視点の画像信号から構成される立体画像信号を符号化する処理をコンピュータに実行させるプログラムにおいて、１つの視点の画像に所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を符号化し、他の視点の画像の符号化ビットストリームの先頭には、それぞれ、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を符号化するステップを含む処理をコンピュータに実行させる。
【０１１７】
本発明の一側面においては、１つの視点の画像に符号化されている、所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列が復号され、前記所定の時刻の符号化データの開始が識別される。また、他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列が復号され、前記他の視点の画像信号の符号化データの開始が識別されてビットストリームが復号される。
【０１１８】
本発明の他の側面においては、１つの視点の画像に所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列が符号化され、他の視点の画像の符号化ビットストリームの先頭には、それぞれ、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列が符号化される。
【発明の効果】
【０１１９】
本発明の一側面によれば、Dependent streamのピクチャのビットストリーム上の境界を容易に検出することができる。
【図面の簡単な説明】
【０１２０】
【図１】画像情報符号化装置の構成例を示すブロック図である。
【図２】画像情報復号装置の構成例を示すブロック図である。
【図３】多視点符号化装置を示す図である。
【図４】図３の多視点符号化装置の構成例を示すブロック図である。
【図５】MVCの参照画像の例を示す図である。
【図６】図４のビデオ符号化部の構成とフレームメモリを示すブロック図である。
【図７】図４の依存ストリーム符号化部の構成とフレームメモリを示すブロック図である。
【図８】多視点復号装置の構成例を示すブロック図である。
【図９】図８のビデオ復号部の構成とフレームメモリを示す図である。
【図１０】図８の依存ストリーム復号部の構成とフレームメモリを示すブロック図である。
【図１１】仮想バッファモデルの例を示す図である。
【図１２】図１１のバッファの振る舞いを示す図である。
【図１３】MVCで符号化されたビットストリームのAUの構成を示す図である。
【図１４】ビットストリームの構造の例を示す図である。
【図１５】本発明の一実施形態に係る多視点符号化装置の一部である依存ストリーム符号化部の構成例を示すブロック図である。
【図１６】ビットストリームの構造の例を示す図である。
【図１７】NAL unitの構成例を示す図である。
【図１８】NAL unitのシンタクスを示す図である。
【図１９】nal_unit_typeの定義を示す図である。
【図２０】nal_unit_typeの定義を示す図である。
【図２１】NAL unitのシンタクスを簡略化して示す図である。
【図２２】NAL unitを含むシンタクスを示す図である。
【図２３】図２２のシンタクスを簡略化して示す図である。
【図２４】本発明の一実施形態に係る多視点復号装置の一部である依存ストリーム復号部の構成例を示すブロック図である。
【図２５】仮想バッファモデルの例を示す図である。
【図２６】AUの先頭にアクセスする方法の例を示す図である。
【図２７】シンタクス解析部の動作について説明するフローチャートである。
【図２８】従来の解析処理について説明するフローチャートである。
【図２９】３視点の映像をMVCで符号化して得られたビットストリームのAUの構成を示す図である。
【図３０】ビットストリームの構造の例を示す図である。
【図３１】ビットストリームの構造の例を示す図である。
【図３２】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【０１２１】
［多視点符号化装置の構成］
図１５は、本発明の一実施形態に係る多視点符号化装置の一部である依存ストリーム符号化部の構成例を示すブロック図である。
【０１２２】
本発明の一実施形態に係る多視点符号化装置においては、Base streamにはAUの境界を示す情報が符号化され、Dependent streamには、Dependent streamのピクチャ間の境界を示す情報が符号化される。
【０１２３】
これにより、多視点復号装置は、立体画像のビットストリームを復号する際、簡単な処理でAUの境界等を判定し、仮想バッファモデルに基づいて復号動作を行うことが可能になる。
【０１２４】
多視点符号化装置は図４の構成と同じ構成を有する。図１５は、図４の依存ストリーム符号化部５５の構成例を示す。本発明の一実施形態に係る多視点符号化装置４１のビデオ符号化部５２は、図６の構成と同じ構成を有する。同じ構成については同じ符号を付してある。
【０１２５】
図１５に示す依存ストリーム符号化部５５の構成は、DD符号化部２０１が設けられる点と、DD符号化部２０１の出力が可逆符号化部８６に供給されるようになっている点を除いて、図７の構成と同じ構成である。
【０１２６】
DD符号化部２０１は、Dependent streamの各ピクチャの先頭にDD(Dependent delimiter)と呼ばれるNAL unitを挿入する。DDは、ADと同様に固有のデータ列であるが、ADとは異なる値を持つ。
【０１２７】
可逆符号化部８６は、DD符号化部２０１により生成されたDDのNAL unitを各ピクチャの先頭に挿入して符号化し、DDが挿入されたDependent streamを出力する。
【０１２８】
図１６は、図１５の依存ストリーム符号化部５５を含む多視点符号化装置４１により生成されたビットストリームの構造の例を示す図である。
【０１２９】
図１６Ａは、Base streamとDependent streamを１本のビットストリームに多重化した場合の構造の例を示す。
【０１３０】
図１６Ｂは、Base streamとDependent streamをそれぞれ、別の、合計２本のビットストリームに含めた場合の構造の例を示す。図１６Ａに示す部分と対応する部分には同じ符号を付してある。
【０１３１】
図１６Ａのビットストリームを生成する場合、多視点符号化装置４１は、AD＃１を符号化した後、Base streamのピクチャＰ1を符号化する。次に、多視点符号化装置４１は、Dependent streamのピクチャを符号化する前にDD＃１を符号化し、その後にDependent streamのピクチャＰ2を符号化する。
【０１３２】
次のAUに処理対象を切り替えたとき、多視点符号化装置４１は、AD＃２を符号化し、Base streamのピクチャＰ3を符号化する。次に、多視点符号化装置４１は、Dependent streamのピクチャを符号化する前にDD＃２を符号化し、その後にDependent streamのピクチャＰ4を符号化する。
【０１３３】
同様にして、多視点符号化装置４１は、Dependent streamのピクチャを符号化する前にDDを符号化し、DDの直後にDependent streamのピクチャを配置する。
【０１３４】
この例においても、AUの先頭にはADが配置される。１つ目のAUはAD＃１、ピクチャＰ1、DD＃１、およびピクチャＰ2から構成され、２つ目のAUはAD＃２、ピクチャＰ3、DD＃２、およびピクチャＰ4から構成される。３つ目のAUはAD＃３、ピクチャＰ5、DD＃３、およびピクチャＰ6から構成される。
【０１３５】
図１６Ｂのビットストリームを生成する場合、多視点符号化装置４１は、Base streamについては、AD＃１を符号化した後、Base streamのピクチャＰ1を符号化する。次のAUに処理対象を切り替えたとき、多視点符号化装置４１は、AD＃２を符号化し、Base streamのピクチャＰ3を符号化する。
【０１３６】
また、多視点符号化装置４１は、Dependent streamについては、DD＃１を符号化した後、Dependent streamのピクチャＰ2を符号化する。次のAUに処理対象を切り替えたとき、多視点符号化装置４１は、DD＃２を符号化し、Dependent streamのピクチャＰ4を符号化する。
【０１３７】
同様にして、多視点符号化装置４１は、Dependent streamのピクチャを符号化する前にDDを符号化し、DDの直後にDependent streamのピクチャを配置する。
【０１３８】
図１６Ｂに示すように、Base streamは、AD＃１、ピクチャＰ1、AD＃２、ピクチャＰ3、AD＃３、およびピクチャＰ5がその順番で配置されることによって構成される。
【０１３９】
一方、Dependent streamは、DD＃１、ピクチャＰ2、DD＃２、ピクチャＰ4、DD＃３、およびピクチャＰ6がその順番で配置されることによって構成される。
【０１４０】
図１６Ｂの例においても、１つ目のAUはAD＃１、ピクチャＰ1、DD＃１、およびピクチャＰ2から構成され、２つ目のAUはAD＃２、ピクチャＰ3、DD＃２、およびピクチャＰ4から構成される。３つ目のAUはAD＃３、ピクチャＰ5、DD＃３、およびピクチャＰ6から構成される。
【０１４１】
ADは、同時刻のBase streamのピクチャとDependent streamのピクチャのデータの開始位置、すなわち、所定の時刻の全視点の画像符号化ビットストリームの開始位置を表す。また、DDは、Dependent streamのピクチャのデータの境界位置、すなわち、Dependent streamの画像符号化ビットストリームの開始位置を表す。
【０１４２】
［シンタクスについて］
DDのシンタクスについて説明する。
【０１４３】
ADや各ピクチャを含む全ての符号化データは、NAL unitと呼ばれるユニットに格納され、所定の順番に並び替えられてビットストリームが構成される。詳細はISO/IEC 14496-10 | ITU-T H.264に記載されている。
【０１４４】
DDについても、NAL unitに格納されることになる。
【０１４５】
図１７は、NAL unitの構成例を示す図である。
【０１４６】
符号化データやヘッダはバイト単位で取り扱われる。NAL_BytesInNALunitはそのNAL unitのサイズをバイト単位で示すパラメータであり、NAL unitの境界を識別するのに必要となる。
【０１４７】
NAL unitの境界を識別する一つの方法として、スタートコードを検索する方法がある。それ以外の場合、何らかの手法でNAL unitのサイズをデコーダに伝送する必要がある。rbsp_byte[]は、NAL unitに格納される符号化データやヘッダである。
【０１４８】
図１８は、NAL unitのシンタクスを示す図である。
【０１４９】
forbidden_zero_bitは１ビットのデータであり常に０である。
【０１５０】
nal_ref_idcは２ビットのデータであり、この値が０以外の値である場合、当該NAL unitが、他のNAL unitからデータを参照されることを示す。nal_ref_idcの値が０である場合、他のNAL unitからは参照されない。
【０１５１】
nal_unit_typeは５ビットのデータであり、当該NAL unitの中身が何であるかを示す。
【０１５２】
forbidden_zero_bit、nal_ref_idc、nal_unit_typeが、図１７のヘッダ（Header）を構成する。
【０１５３】
図１９および図２０は、nal_unit_typeの定義を示す図である。
【０１５４】
図１９に示すように、nal_unit_type=9は、当該NAL unitの中身がADであることを示す。
【０１５５】
図２０に示すように、nal_unit_type=18は、当該NAL unitの中身がDDであることを示す。
【０１５６】
図１８のNAL unitのシンタクスを簡略化すると図２１に示すようなものになる。
【０１５７】
NAL unitは、図２２に示すシンタクスに基づき、スタートコードを付加して、バイトストリームと呼ばれるストリームを構成する。このバイトストリームが、上述したビットストリームに相当する。
【０１５８】
図２２の３byte（0x000001）のstartcode_prefix（start_code_prefix_one_3bytes）が、NAL unitの先頭に付加されるスタートコードである。startcode_prefixは、バイトストリーム中で他の場所に出現してはいけない、固有のコードである。
【０１５９】
バイトストリーム中のstartcode_prefixを検索することで、NAL unitの先頭を検出することができる。また、先頭を検出したNAL unitのヘッダにあるnal_unit_typeをチェックすることで、所望のNAL unitにアクセスすることが可能になる。
【０１６０】
図２２のシンタクスを簡略化すると図２３に示すようなものになる。
【０１６１】
このように、Dependent streamの各ピクチャの境界には、Dependent streamがBase streamとともに１本のビットストリームに多重化される場合であっても、別のビットストリームに含まれる場合であっても、DDが配置される。
【０１６２】
DDを格納するNAL unitの先頭にはスタートコードが付加され、そのnal_unit_typeの値として、中身がDDであることを表す値である１８が設定される。
【０１６３】
多視点復号装置は、スタートコードを検出することによってNAL unitの先頭を検出することができる。また、先頭を検出したnal_unit_typeの値が１８であることをチェックすることによって、DD、すなわち、Dependent streamのピクチャの境界（先頭）を検出することが可能になる。
【０１６４】
［多視点復号装置］
図２４は、本発明の一実施形態に係る多視点復号装置の一部である依存ストリーム復号部の構成例を示すブロック図である。
【０１６５】
本発明の一実施形態に係る多視点復号装置は図８の構成と同じ構成を有する。図２４は、図８の依存ストリーム復号部１１５の構成例を示す。本発明の一実施形態に係る多視点復号装置１０１のビデオ復号部１１２は、図９の構成と同じ構成を有する。
【０１６６】
図２４に示す依存ストリーム復号部１１５の構成は、DDが可逆符号復号部１４２から出力されるようになっている点を除いて、図１０の構成と同じ構成である。
【０１６７】
可逆符号復号部１４２は、Dependent streamに含まれるDDを復号し、出力する。出力されたDDに基づいて、上位のアプリケーションなどにより、ランダムアクセス時のデコードの開始位置などが特定される。
【０１６８】
MVCの仮想バッファモデルについて説明する。
【０１６９】
図２５は、MVCのビットストリームがBase streamとDependent streamの２本で構成される場合の仮想バッファモデルの例を示す図である。
【０１７０】
入力されたBase streamはバッファ１５１Ａに格納され、Dependent streamはバッファ１５１Ｂに格納される。バッファ１５１Ａ，１５１Ｂから、AU単位でビットストリームが瞬時に読み出され、ビデオ復号装置１５２において瞬時に復号される。
【０１７１】
なお、図２５のバッファ１５１Ａは、図８の多視点復号装置１０１においてはバッファ１１１に対応し、図２５のバッファ１５１Ｂは、図８の多視点復号装置１０１においてはバッファ１１４に対応する。また、図２５のビデオ復号部１５２は、図８の多視点復号装置１０１においては、ビデオ復号部１１２と依存ストリーム復号部１１５に対応する。
【０１７２】
例えば、図１６ＢのBase streamがバッファ１５１Ａに格納され、Dependent streamがバッファ１５１Ｂに格納された場合、あるタイミングでは、AD＃１に基づいて、バッファ１５１ＡからピクチャＰ1が読み出され、DD＃１に基づいてバッファ１５１ＢからピクチャＰ2が読み出される。読み出されたピクチャはビデオ復号部１５２により復号される。
【０１７３】
また、次のタイミングでは、AD＃２に基づいて、バッファ１５１ＡからピクチャＰ3が読み出され、DD＃２に基づいてバッファ１５１ＢからピクチャＰ4が読み出される。
【０１７４】
MVCのビットストリームがBase streamとDependent streamの１本で構成される場合の仮想バッファモデルは図１１に示すものと同じになる。
【０１７５】
例えば、図１６Ａのビットストリームが図１１のバッファ１５１に格納された場合、あるタイミングでは、AD＃１に基づいて、バッファ１５１からピクチャＰ1とＰ2が読み出される。
【０１７６】
また、次のタイミングでは、AD＃２に基づいて、バッファ１５１からピクチャＰ3とＰ4が読み出される。
【０１７７】
次に、ランダムアクセス時やエラー発生時などに、所定のAUの先頭にアクセスする方法の例について図２６を参照して説明する。
【０１７８】
入力されたビットストリームは、まず、バッファ２１１に供給され、一時的に記憶された後、スタートコード検出部２１２とデコーダ２１４に供給される。
【０１７９】
スタートコード検出部２１２は、固有のデータ列を持つスタートコードを検出する。スタートコードを検出した場合、スタートコード検出部２１２は、それに続くデータをシンタクス解析部２１３に出力する。
【０１８０】
シンタクス解析部２１３は、スタートコード検出部２１２から供給されたデータを解析する。スタートコードに続くデータであるから、スタートコード検出部２１２から供給されたデータはNAL unitのデータになる。
【０１８１】
シンタクス解析部２１３は、NAL unitのヘッダ等の解析を行うことによってAUの開始位置を識別した場合、デコーダ２１４とバッファ２１１にAUの開始位置であることを示す信号を出力する。
【０１８２】
ADが存在する場合（NAL unitのデータが供給された場合）、シンタクス解析部２１３はnal_unit_type=9であるかどうかをチェックする。nal_unit_type=9である場合、そのNAL unitの中身は上述したようにADであり、これにより、AUの先頭であることが検出される。
【０１８３】
同様に、ADが存在する場合、シンタクス解析部２１３はnal_unit_type=18であるかどうかをチェックする。nal_unit_type=18である場合、そのNAL unitの中身は上述したようにDDであり、これにより、Dependent streamのピクチャの先頭であることが検出される。
【０１８４】
デコーダ２１４とバッファ２１１は、シンタクス解析部２１３からの信号に基づき、以降、AU単位で、各ピクチャの復号を通常通り行う。
【０１８５】
図２７のフローチャートを参照して、Dependent streamのピクチャの先頭を検出する動作について説明する。
【０１８６】
ここでは、図１６Ｂに示すようにBase streamとDependent streamがそれぞれ別のビットストリームを構成し、Dependent streamにはDDが符号化されているものとする。
【０１８７】
ステップＳ１において、スタートコード検出部２１２はスタートコードの検索を行う。
【０１８８】
スタートコードが検出された後、ステップＳ２において、シンタクス解析部２１３は、nal_unit_type=18であるかどうかをチェックする。
【０１８９】
nal_unit_type=18であるとステップＳ２において判定された場合、ステップＳ３において、シンタクス解析部２１３は、検出したスタートコードが付加されているNAL unitがDDを格納するユニットであり、Dependent streamのピクチャの先頭であることを検出する。
【０１９０】
図１４Ｂに示すように２本のビットストームで構成され、また、従来のMVCのようにDependent streamにDDがない場合の動作を図２８に示す。
【０１９１】
図２８に示すように、Dependent streamにDDがない場合、スライスヘッダまで復号し、多数の条件判定を経て、ようやくステップＳ２３においてAUの先頭（ピクチャの先頭）であることを検出することが可能になる。
【０１９２】
図２８において、ステップＳ２３までの各判定に用いられる値は、NAL unitのRBSP（図１７）に格納されているスライスヘッダに記述されている情報である。上述したnal_unit_type=18のように、NAL unitのヘッダに記述されている情報ではないから、解析処理が複雑になる。
【０１９３】
［３視点のビットストリーム］
３視点のビットストリームについて説明する。
【０１９４】
図２９は、３視点の映像をMVCで符号化して得られたAUの構成を示す図である。
【０１９５】
上述したように、MVCの場合、１AUには同一時刻の全てのviewのデータが格納される。視点の数が３の場合であっても同じである。
【０１９６】
図２９のAU＃１１は、Base streamのピクチャＰ11、Dependent stream1のピクチャＰ12、およびDependent stream2のピクチャＰ13から構成される。
【０１９７】
AU＃１２は、Base streamのピクチャＰ14、Dependent stream1のピクチャＰ15、およびDependent stream2のピクチャＰ16から構成される。
【０１９８】
AU＃１３は、Base streamのピクチャＰ17、Dependent stream1のピクチャＰ18、およびDependent stream2のピクチャＰ19から構成される。
【０１９９】
図３０は、ビットストリームの構造の例を示す図である。
【０２００】
図３０に示すビットストリームにはDDが含まれていない。
【０２０１】
図３０Ａは、Base streamとDependent stream1とDependent stream2を１本のビットストリームに多重化した場合の構造の例を示す。
【０２０２】
図３０Ｂは、Base streamとDependent stream1とDependent stream2とを、それぞれ別の、合計３本のビットストリームに含めた場合の構造の例を示す。図３０Ａに示す部分と対応する部分には同じ符号を付してある。
【０２０３】
例えば、図３０Ａのビットストリームが供給された場合、ビデオ復号部１５２は、AD＃１１を検出した後、Base streamのピクチャＰ11、Dependent stream1のピクチャＰ12、Dependent stream2のピクチャＰ13を順次読み出し、それぞれ復号する。
【０２０４】
また、図３０Ｂのビットストリームが供給された場合、ビデオ復号部１５２は、Base streamの１つ目のAUについては、AD＃１１を検出してピクチャＰ11を読み出して復号する。また、ビデオ復号部１５２は、２つ目のAUについては、AD＃１２を検出してピクチャＰ14を読み出して復号する。
【０２０５】
Dependent stream1,2の方にはDDが存在しない。従って、各ピクチャを読み出すには、ビットストリーム中のシンタクスを図２８の処理に従って解析し、ピクチャＰ12，Ｐ13，Ｐ15，Ｐ16，Ｐ18，Ｐ19の境界を検出する必要があることになる。
【０２０６】
図３１は、本発明の一実施形態に係る多視点符号化装置１０１により生成されたビットストリームの構造の例を示す図である。
【０２０７】
図３１Ａは、Base streamとDependent stream1とDependent stream2とを１本のビットストリームに多重化した場合の構造の例を示す。
【０２０８】
図３１Ｂは、Base streamとDependent stream1とDependent stream2とを、それぞれ別の、合計３本のビットストリームに含めた場合の構造の例を示す。
【０２０９】
図３１Ａのビットストリームが供給された場合、ビデオ復号部１５２は、AD＃１１を検出した後、Base streamのピクチャＰ11、Dependent stream1のピクチャＰ12、Dependent stream2のピクチャＰ13を順次読み出し、それぞれ復号する。
【０２１０】
図３１Ｂのビットストリームが供給された場合、ビデオ復号部１５２は、Base streamの１つ目のAUについては、AD＃１１を検出した後、ピクチャＰ11を復号する。ビデオ復号部１５２は、２つ目のAUについては、AD＃１２を検出した後、ピクチャＰ14を復号する。
【０２１１】
また、ビデオ復号部１５２は、Dependent stream1については、DD＃１１を検出した後、ピクチャＰ12を復号する。また、ビデオ復号部１５２は、DD＃１２を検出した後、ピクチャＰ15を復号する。
【０２１２】
さらに、ビデオ復号部１５２は、Dependent stream2については、DD＃２１を検出した後、ピクチャＰ13を復号する。また、ビデオ復号部１５２は、DD＃２２を検出した後、ピクチャＰ16を復号する。
【０２１３】
このように、多視点復号装置１０１においては、AUの境界を示す情報であるADと、Dependent streamのピクチャ間の境界を示す情報であるDDに基づいて、所望のAUを検出して復号し、立体画像を表示させることが行われる。
【０２１４】
Dependent streamのあるピクチャの開始位置を検出する場合にスライスヘッダの解析を行う必要がないため、高速なランダムアクセスを実現することが可能になる。
【０２１５】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２１６】
図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２１７】
CPU(Central Processing Unit)３０１、ROM(Read Only Memory)３０２、RAM(Random Access Memory)３０３は、バス３０４により相互に接続されている。
【０２１８】
バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続される。また、バス３０４には、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、リムーバブルメディア３１１を駆動するドライブ３１０が接続される。
【０２１９】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを入出力インタフェース３０５およびバス３０４を介してRAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０２２０】
CPU３０１が実行するプログラムは、例えばリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部３０８にインストールされる。
【０２２１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２２２】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２２３】
４１  多視点符号化装置，  ５１  並べ替えバッファ，  ５２  ビデオ符号化部，  ５３  フレームメモリ，  ５４  並べ替えバッファ，  ５５  依存ストリーム符号化部，  ５６  フレームメモリ，  ５７  多重化部，  １０１  多視点復号装置，  １０２  3Dディスプレイ，  １１１  バッファ，  １１２  ビデオ復号部，  １１３  フレームメモリ，  １１４  バッファ，  １１５  依存ストリーム復号部，  １１６  フレームメモリ，  ２０１  DD符号化部
【図１】
2010245766.tif 000003
【図２】
2010245766.tif 000004
【図３】
2010245766.tif 000005
【図４】
2010245766.tif 000006
【図５】
2010245766.tif 000007
【図６】
2010245766.tif 000008
【図７】
2010245766.tif 000009
【図８】
2010245766.tif 000010
【図９】
2010245766.tif 000011
【図１０】
2010245766.tif 000012
【図１１】
2010245766.tif 000013
【図１２】
2010245766.tif 000014
【図１３】
2010245766.tif 000015
【図１４】
2010245766.tif 000016
【図１５】
2010245766.tif 000017
【図１６】
2010245766.tif 000018
【図１７】
2010245766.tif 000019
【図１８】
2010245766.tif 000020
【図１９】
2010245766.tif 000021
【図２０】
2010245766.tif 000022
【図２１】
2010245766.tif 000023
【図２２】
2010245766.tif 000024
【図２３】
2010245766.tif 000025
【図２４】
2010245766.tif 000026
【図２５】
2010245766.tif 000027
【図２６】
2010245766.tif 000028
【図２７】
2010245766.tif 000029
【図２８】
2010245766.tif 000030
【図２９】
2010245766.tif 000031
【図３０】
2010245766.tif 000032
【図３１】
2010245766.tif 000033
【図３２】
2010245766.tif 000034