(57)【要約】【課題】複数階層をもつオブジェクト単位のスケーラブルビットストリームをテクスチャマッピングできるようにする。【解決手段】逆多重化回路によりシーン記述子SD、オブジェクト記述子ODおよび各ビットストリームESを分離し、デコーダ２０７−１乃至２０７−ｎで各ビットストリームをデコードする。デコーダからの出力データのうち、同一のオブジェクト記述子ODである出力データ（同一のオブジェクトを構成する出力データ）が、混合回路２６１で混合される。その後、混合された出力データが対応するノードが供給される合成回路２５２のオブジェクト合成回路２７１−ｉに供給される。そして、オブジェクト合成回路２７１−ｉでは、１つのオブジェクトに１つの画像を対応させ、テクスチャマッピングを行う。【選択図】      図１
2010119143.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトを構成するビットストリームが多重化された多重化ビットストリームから、オブジェクトを記述する空間構成情報を示すシーン記述子とオブジェクトに関する情報を示すオブジェクト記述子とを取得する取得手段と、
前記取得手段により取得されたオブジェクト記述子を解析して、オブジェクト記述子に記述されているビットストームを復号して画像データを生成する復号手段と、
前記取得手段により取得されたオブジェクト記述子とシーン記述情報とを解析してオブジェクトの対応関係を照合することにより、前記復号手段により生成された画像データを合成して出力画像を生成する合成手段と
を備える画像処理装置。
【請求項２】
前記オブジェクト記述子および前記シーン記述子には、オブジェクトを識別する識別情報が記述されており、
前記合成手段は、前記オブジェクト記述子に記述された識別情報と前記シーン記述子に記述された識別情報とを照合して、前記復号手段により生成された画像データを合成する
請求項１に記載の画像処理装置。
【請求項３】
前記シーン記述子は、画像全体に各オブジェクトをどのように配置するかを記述したノードから構成されており、
前記ノードと前記識別情報とは１対１対応している
請求項２に記載の画像処理装置。
【請求項４】
前記オブジェクト記述子は、前記オブジェクトを記述している空間構成情報を示すフラグ、前記ビットストリームの数を示すフラグ、または前記ビットストリームを復号する際に必要な情報の少なくとも１つを含む
請求項１に記載の画像処理装置。
【請求項５】
前記オブジェクト記述子は、前記ビットストリームを復号する際に別のビットストリームが必要か、または、前記ビットストリームを復号する際にどのビットストリームが必要かを示す依存情報を含む
請求項１に記載の画像処理装置。
【請求項６】
前記取得手段は、前記多重化ビットストリームからスタートコードを検出することにより、前記シーン記述子と前記オブジェクト記述子とを取得する
請求項１に記載の画像処理装置。
【請求項７】
画像処理装置による、
オブジェクトを構成するビットストリームが多重化された多重化ビットストリームから、オブジェクトを記述する空間構成情報を示すシーン記述子とオブジェクトに関する情報を示すオブジェクト記述子とを取得する取得ステップと、
前記取得ステップで取得されたオブジェクト記述子を解析して、オブジェクト記述子に記述されているビットストームを復号して画像データを生成する復号手段と、
前記取得ステップで取得されたオブジェクト記述子とシーン記述情報とを解析してオブジェクトの対応関係を照合することにより、前記復号ステップで生成された画像データを合成して出力画像を生成する合成ステップと
を含む画像処理方法。
【請求項８】
コンピュータを、
オブジェクトを構成するビットストリームが多重化された多重化ビットストリームから、オブジェクトを記述する空間構成情報を示すシーン記述子とオブジェクトに関する情報を示すオブジェクト記述子とを取得する取得手段と、
前記取得手段により取得されたオブジェクト記述子を解析して、オブジェクト記述子に記述されているビットストームを復号して画像データを生成する復号手段と、
前記取得手段により取得されたオブジェクト記述子とシーン記述情報とを解析してオブジェクトの対応関係を照合することにより、前記復号手段により生成された画像データを合成して出力画像を生成する合成手段と
して機能させるプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および記録媒体に関し、特に、光磁気ディスクや磁気テープなどの記録媒体に記録したり、その記録媒体から再生され、ディスプレイに表示されるデータや、テレビ会議システム、テレビ電話システム、放送用機器、マルチメディアデータベース検索システムなどのように、伝送路を介して送信側から受信側に伝送し、受信側において表示されたり、あるいは編集、記録されるデータに適用して好適な画像処理装置、画像処理方法、および記録媒体に関する。
【背景技術】
【０００２】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化すようになされている。
【０００３】
また、近年においてはコンピュータの処理能力が向上したことから、コンピュータを用いた動画像情報端末も普及しつつある。こうしたシステムでは、ネットワークなどの伝送路を通じて情報を遠隔地に伝送する。この場合も同様に、伝送路を効率よく利用するために、伝送する画像信号、音響信号、データなどの信号が圧縮符号化して伝送される。
【０００４】
端末側では、所定の方法に基づき伝送された圧縮信号を復号し、元の画像信号、音響信号、データなどを復元し、端末が備えるディスプレイやスピーカなどに出力する。従来の技術では、伝送されてきた画像信号などをそのまま表示端末に出力するのみであったが、コンピュータを用いた情報端末においては、そうした複数の画像信号、音響信号およびデータを変換処理した後、２次元または３次元空間に表示することが可能になってきている。このような処理は、送信側において、２次元および３次元空間の情報を所定の方法で記述し、端末がその記述に従って、例えば、画像信号などに対して所定の変換処理行い、表示することにより実現することができる。
【０００５】
こうした空間情報の記述の方式として代表的なものに、例えば、VRML（Virtual Reality Modeling Language）がある。これは、ISO-IEC/JTC1/SC2 4においても標準化され、最新版のVRML2.0は、IS14772に記載されている。VRMLは、３次元空間を記述する言語であり、３次元空間の属性や形状などを記述するためのデータの集まりが定義されている。このデータの集まりをノードと呼ぶ。３次元空間を記述するためには、予め規定されているこれらのノードをどのように組み合わせるのかを記述することになる。ノードには、色やテクスチャなどの属性を示すものや、ポリゴンの形状を示すものなどが定義されている。
【０００６】
コンピュータによる情報端末では、こうしたVRMLなどの記述に従い、ＣＧ（Computer Graphics）により、ポリゴンなどを用いて所定のオブジェクトを生成する。VRMLでは、また、こうして生成したポリゴンから構成される３次元オブジェクトに対してテクスチャを貼り付けることが可能である。貼りつけるテクスチャが静止画像の場合にはTexture、動画像の場合にはMovieTextureと呼ばれるノードが定義されており、このノードに貼り付けるテクスチャに関する情報（ファイル名、表示開始時間、表示終了時間など）が記載されている。
【０００７】
ここで、図１４を用いて、テクスチャの貼り付け（以下、適宜テクスチャマッピングという）について説明する。まず、外部より、貼り付けるテクスチャ（画像信号）とその透過度を表す信号（key信号）、および３次元オブジェクト情報が入力され、メモリ群１５１の所定の記憶領域に記憶される。テクスチャはテクスチャメモリ１５２に、透過度を表す信号はグレースケールメモリ１５３に、また３次元オブジェクト情報は３次元情報メモリ１５４に記憶される。ここで、３次元オブジェクト情報とはポリゴンの形成情報や照明情報などである。
【０００８】
レンダリング回路１５５は、メモリ群１５１に記録されている、所定の３次元オブジェクト情報に基づき、３次元オブジェクトをポリゴンにより形成する。レンダリング回路１５５は、３次元オブジェクト情報に基づきメモリ１５２およびメモリ１５３より、所定のテクスチャおよび透過度を示す信号を読み込み、生成した３次元オブジェクトに貼り付ける。透過度を表す信号は、対応する位置のテクスチャの透過度を示しており、対応する位置のテクスチャが貼り付けられた位置のオブジェクトの透明度を示すことになる。レンダリング回路１５５は、テクスチャを貼り付けたオブジェクトの信号を２次元変換回路１５６に供給する。
【０００９】
２次元変換回路１５６では、外部より供給される視点情報に基づき、３次元オブジェクトを２次元平面に写像して得られる２次元画像信号に変換する。２次元画像信号に変換された３次元オブジェクトは、さらに外部に出力される。なお、テクスチャは静止画でも良いし、動画でもよい。動画の場合、貼り付ける動画の画像フレームが変更される毎に、上記操作が行われる。
【００１０】
VRMLにおいては、貼り付けるテクスチャのフォーマットとして、静止画の高能率符号化方式の１つであるJPEG(Joint Photographic Experts Group)や動画像符号化方式の１つであるMPEG(Moving Picture Experts Group)といった圧縮された画像フォーマットもサポートされている。この場合、所定の圧縮方式に基づいた復号処理によりテクスチャ（画像）が復号され、復画像信号がメモリ群１５１におけるメモリ１５２に記録されることになる。
【００１１】
レンダリング回路１５５では、画像のフォーマット、動画であるか静止画であるか、また、その内容に拘らず、メモリ１５２に記録されているテクスチャを貼り付ける。ある１つのポリゴンに貼り付けることが可能なのは、常にメモリに記憶されている１つのテクスチャであり、１つのポリゴンに複数のテクスチャを貼ることはできない。
【００１２】
ところで、伝送路を経由して、こうした３次元情報やテクスチャ情報を伝送する場合、伝送路を効率よく利用するためには、情報を圧縮して送る必要がある。特に、動画像を３次元オブジェクトに貼り付ける場合などは、動画像を圧縮して伝送することが必須である。
【００１３】
例えば、上述したMPEG方式は、ISO-IEC/JTC1/SC2/WG11にて議論され、標準案
として提案されたものであり、動き補償予測符号化とDCT（Discrete Cosine Transform）符号化を組み合わせたハイブリッド方式が採用されている。MPEGでは様々なアプリケーションや機能に対応するために、いくつかのプロファイルおよびレベルが定義されている。最も基本となるのが、メインプロファイル メインレ
ベル（MP@ML)である。
【００１４】
図１５を参照して、MPEG方式の MP@ML のエンコーダの構成例について説明する。入力画像信号は、まずフレームメモリ群１に入力され、所定の順番で記憶される。符号化されるべき画像データは、マクロブロック単位で動きベクトル検出回路（ＭＥ）２に入力される。動きベクトル検出回路２は、予め設定されている所定のシーケンスに従って、各フレームの画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして処理する。シーケンシャルに入力される各フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するかは、予め定められている（例えば、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐの順番で処理される）。
【００１５】
動きベクトル検出回路２は、予め定められた所定の参照フレームを参照して動き補償を行い、その動きベクトルを検出する。動き補償（フレーム間予測）には前方予測、後方予測、両方向予測の３種類のモードがある。Ｐピクチャの予測モードは前方予測のみであり、Ｂピクチャの予測モードは前方予測、後方予測、両方向予測の３種類である。動きベクトル検出回路２は予測誤差を最小にする予測モードを選択し、その際の予測ベクトルを発生する。
【００１６】
この際、予測誤差は、例えば、符号化するマクロブロックの分散と比較され、マクロブロックの分散の方が小さい場合、そのマクロブロックでは予測は行わず、フレーム内符号化が行われる。この場合、予測モードは、画像内符号化（イントラ）となる。動きベクトルおよび上記予測モードは、可変長符号化回路６および動き補償回路（ＭＣ）１２に入力される。
【００１７】
動き補償回路１２では、入力された動きベクトルに基づいて予測画像データを生成し、その予測画像データが演算回路３に入力される。演算回路３では、符号化するマクロブロックの値と予測画像の値の差分データを演算し、 DCT 回路４に出力する。イントラマクロブロックの場合、演算回路３は符号化するマクロブロックの信号を、そのまま DCT 回路４に出力する。
【００１８】
DCT回路４では、入力された信号が、DCT（離散コサイン変換）処理され、DCT係数に変換される。このDCT係数は、量子化回路（Ｑ）５に入力され、送信バッファ７のデータ蓄積量（バッファ蓄積量）に対応した量子化ステップで量子化された後、量子化データが可変長符号化回路（VLC）６に入力される。
【００１９】
可変長符号化回路６は、量子化回路５より供給される量子化ステップ（スケール）に対応して、量子化回路５より供給される量子化データ（例えば、Ｉピクチャのデータ）を、例えばハフマン符号などの可変長符号に変換し、送信バッファ７に出力する。可変長符号化回路６にはまた、量子化回路５より量子化ステップ（スケール）、動きベクトル検出回路２より予測モード（画像内予測、前方予測、後方予測、または両方向予測のいずれが設定されたかを示すモード）、および動きベクトル、が入力されており、これらも可変長符号化される。
【００２０】
送信バッファ７は、入力された符号化データを一時蓄積し、蓄積量に対応するデータを量子化回路５に出力する。送信バッファ７は、そのデータ残量が許容上限値まで増量すると、量子化制御信号によって量子化回路５の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、データ残量が許容下限値まで減少すると、送信バッファ７は、量子化制御信号によって量子化回路５の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バッファ７のオーバフローまたはアンダフローが防止される。そして、送信バッファ７に蓄積された符号化データは、所定のタイミングで読み出され、ビットストリーム（bitstream）として伝送路に出力される。
【００２１】
一方、量子化回路５より出力された量子化データは、逆量子化回路（ＩＱ）８に入力され、量子化回路５より供給される量子化ステップに対応して逆量子化される。逆量子化回路８の出力データ（逆量子化されることにより得られたDCT係数）は、IDCT（逆DCT）回路９に入力される。IDCT回路９は、入力されたDCT係数を逆DCT処理し、得られた出力データ（差分データ）が演算回路１０に供給される。演算回路１０は、差分データと動き補償回路１２からの予測画像データを加算し、その出力画像データがフレームメモリ(FM)群１１に記憶される。なお、イントラマクロブロックの場合には、演算回路１０は、IDCT回路９からの出力データをそのままフレームメモリ群１１に供給する。
【００２２】
次に、図１６を用いて、MPEG の MP@ML のデコーダの構成例を説明する。伝送路を介して伝送されてきた符号化されている画像データ（ビットストリーム）は、図示せぬ受信回路で受信されたり、再生装置で再生され、受信バッファ２１に一時記憶された後、符号化データとして可変長復号回路（IVLC）２２に供給される。可変長復号回路２２は、受信バッファ２１より供給された符号化データを可変長復号し、動きベクトルと予測モードを動き補償回路２７に、また、量子化ステップを逆量子化回路（ＩＱ）２３に、それぞれ出力するとともに、復号された量子化データを逆量子化回路２３に出力する。
【００２３】
逆量子化回路２３は、可変長復号回路２２より供給された量子化データを、同じく可変長復号回路２２より供給された量子化ステップに従って逆量子化し、出力データ（逆量子化されることにより得られたDCT係数）をIDCT回路２４に出力する。逆量子化回路２３より出力された出力データ（DCT係数）は、IDCT回路２４で逆DCT処理され、出力データ（差分データ）が演算回路２５に供給される。
【００２４】
IDCT回路２４より出力された出力データが、Ｉピクチャのデータである場合、その出力データが画像データとして演算回路２５より出力され、演算回路２５に後に入力される画像データ（ＰまたはＢピクチャのデータ）の予測画像データ生成のために、フレームメモリ群２６に供給されて、記憶される。また、この画像データは、そのまま、再生画像として外部に出力される。また、IDCT回路２４より出力されたデータがＰまたはＢピクチャの場合、動き補償回路２７は可変長復号回路２２より供給される、動きベクトルおよび予測モードに従って、フレームメモリ群２６に記憶されている画像データから予測画像データを生成し、演算回路２５に出力する。演算回路２５では IDCT 回路２４より入力される出力データ（差分データ）と動き補償回路２７より供給される予測画像データを加算し、出力画像データとする。またＰピクチャの場合、演算回路２５の出力データはまた、フレームメモリ群２６に予測画像データとして記憶され、次に復号する画像信号の参照画像とされる。
【００２５】
MPEGではMP@MLの他に、様々なプロファイルおよびレベルが定義され、また各種ツールが用意されている。スケーラビリティも、こうしたツールの１つである。また、MPEGでは、異なる画像サイズやフレームレートに対応する、スケーラビリティを実現するスケーラブル符号化方式が導入されている。例えば、空間スケーラビリティの場合、下位レイヤのビットストリームのみを復号する場合、画像サイズの小さい画像信号を復号し、下位レイヤおよび上位レイヤのビットストリームを復号する場合、画像サイズの大きい画像信号を復号する。
【００２６】
図１７を用いて空間スケーラビリティのエンコーダを説明する。空間スケーラビリティの場合、下位レイヤは画像サイズの小さい画像信号、また上位レイヤは画像サイズの大きい画像信号に対応する。
【００２７】
下位レイヤの画像信号は、まずフレームメモリ群１に入力され、MP@ML と同様に符号化される。ただし、演算回路１０の出力データは、フレームメモリ群１１に供給され、下位レイヤの予測画像データとして用いられるだけでなく、画像拡大回路（up sampling）３１により上位レイヤの画像サイズと同一の画像サイズに拡大された後、上位レイヤの予測画像データにも用いられる。
【００２８】
上位レイヤの画像信号はまず、フレームメモリ群５１に入力される。動きベクトル検出回路５２は MP@ML と同様に、動きベクトルおよび予測モードを決定する。動き補償回路６２は、動きベクトル検出回路５２によって決定された動きベクトルおよび予測モードに従って、予測画像データを生成し、重み付加回路（Ｗ）３４に出力する。重み付加回路３４では予測画像データに対して重みＷを乗算し、重み予測画像データを演算回路３３に出力する。
【００２９】
演算回路１０の出力データ（画像データ）は、上述したようにフレームメモリ群１１および画像拡大回路３１に入力される。画像拡大回路３１では演算回路１０によって生成された画像データを拡大して上位レイヤの画像サイズと同一の大きさにして、重み付加回路（1-W）３２に出力する。重み付加回路３２では、画像拡大回路３１の出力データに、重み (1-W) を乗算し、重み予測画像データとして演算回路３３に出力する。
【００３０】
演算回路３３は、重み付加回路３２の出力データおよび重み付加回路３４の出力データを加算し、予測画像データとして演算回路５３に出力する。演算回路３３の出力データはまた、演算回路６０に入力され、逆 DCT 回路５９の出力データと加算された後、フレームメモリ群６１に入力され、その後、符号化される画像データの予測参照データフレームとして用いられる。演算回路５３は、符号化する画像データと演算回路３３の出力データ（予測画像データ）との差分を計算し、差分データとして出力する。ただし、フレーム内符号化マクロブロックの場合、演算回路５３は符号化する画像データを、そのまま DCT 回路５４に出力する。
【００３１】
DCT 回路５４は、演算回路５３の出力データを DCT（離散コサイン変換）処理し、DCT係数を生成し、そのDCT係数を量子化回路５５に出力する。量子化回路５５では MP@ML の場合と同様に、送信バッファ５７のデータ蓄積量などから決定された量子化スケールに従って DCT 係数を量子化し、量子化データを可変長符号化回路５６に出力する。可変長符号化回路５６は、量子化データ（量子化された DCT 係数）を可変長符号化した後、送信バッファ５７を介して上位レイヤのビットストリームとして出力する。
【００３２】
量子化回路５５の出力データはまた、量子化回路５５で用いた量子化スケールで逆量子化回路５８により逆量子化される。逆量子化回路５８の出力データ（逆量子化されることにより選られたDCT係数）は、IDCT回路５９に供給され、IDCT 回路５９で逆DCT処理された後、演算回路６０に入力される。演算回路６０では、演算回路３３の出力データと逆 DCT 回路５９の出力データ（差分データ）を加算し、その出力データがフレームメモリ群６１に入力される。
【００３３】
可変長符号化回路５６ではまた、動きベクトル検出回路５２で検出された動きベクトルおよび予測モード、量子化回路５５で用いた量子化スケール、並びに重み付加回路３４および３２で用いた重みＷが入力され、それぞれ符号化され、符号化データとしてバッファ５７に供給される。その符号化データがバッファ５７を介してビットストリームとして伝送される。
【００３４】
次に、図１８を用いて空間スケーラビリティのデコーダの一例を説明する。下位レイヤのビットストリームは受信バッファ２１に入力された後、MP@MLと同様に復号される。ただし、演算回路２５の出力データは外部に出力され、またフレームメモリ群２６に蓄えられて、それ以後復号する画像信号の予測画像データとして用いられるだけでなく、画像信号拡大回路８１により、上位レイヤの画像信号と同一の画像サイズに拡大された後、上位レイヤの予測画像データとしても用いられる。
【００３５】
上位レイヤのビットストリームは、受信バッファ７１を介して可変長復号回路７２に供給され、可変長符号が復号される。このとき、DCT 係数とともに、量子化スケール、動きベクトル、予測モードおよび重み係数が復号される。可変長復号回路７２により復号された 量子化データは、復号された量子化スケールを用いて逆量子化回路７３において逆量子化された後、DCT係数（逆量子化されることにより得られたDCT係数）がIDCT回路７４に供給される。そして、DCT係数は、IDCT 回路７４により逆DCT処理された後、出力データが演算回路７５に供給される。
【００３６】
動き補償回路７７は、復号された動きベクトルおよび予測モードに従って、予測画像データを生成し、重み付加回路８４に入力する。重み付加回路８４では、復号された重みＷを、動き補償回路７７の出力データに乗算し、演算回路８３に出力する。
【００３７】
演算回路２５の出力データは、下位レイヤの再生画像データとして出力され、またフレームメモリ群２６に出力されると同時に、画像信号拡大回路８１により上位レイヤの画像サイズと同一の画像サイズに拡大された後、重み付加回路８２に出力される。重み付加回路８２では、画像信号拡大回路８１の出力データに、復号された重みＷを用いて(1-W)を乗算し、演算回路８３に出力する。
【００３８】
演算回路８３は、重み付加回路８４の出力データおよび重み付加回路８２の出力データを加算し、演算回路７５に出力する。演算回路７５ではIDCT 回路７４の出力データおよび演算回路８３の出力データを加算して、上位レイヤの再生画像として出力するとともに、フレームメモリ群７６に供給して、その後、復号する画像データの予測画像データとして使用する。
【００３９】
また、以上においては、輝度信号の処理について説明したが、色差信号の処理も同様に行われる。但し、この場合、動きベクトルは、輝度信号用のものを、垂直方向および水平方向に１／２にしたものが用いられる。
【００４０】
以上、MPEG 方式について説明したが、この他にも様々な動画像の高能率符号化方式が標準化されている。例えば、ITU-T では主に通信用の符号化方式として、H.261やH.263という方式を規定している。このH.261やH.263も基本的にはMPEG方式と同様に動き補償予測符号化と DCT 変換符号化を組み合わせたものであり、ヘッダ情報などの詳細は異なるが、画像信号符号化装置（エンコーダ）や画像信号復号化装置（デコーダ）は同様の構成となる。
【００４１】
また、上述したMPEG方式においても、MPEG４と呼ばれる、新たな動画像信号の高能率符号化方式の標準化が進められている。このMPEG４の大きな特徴は、画像をオブジェクト単位で符号化し（複数の画像に分けて符号化し）、加工することが可能であることである。復号側では、各オブジェクトの画像信号、即ち複数の画像信号を合成して１つの画像を再構成する。
【００４２】
複数の画像を合成して１つの画像を構成する画像合成システムには、例えば、クロマキーという方法が用いられる。これは所定の物体を、青などの特定の一様な色の背景の前で撮影し、青以外の領域をそこから抽出し、別の画像に合成する方法である。このとき、抽出した領域を示す信号をkey信号と呼ぶ。
【００４３】
次に、図１９を参照して合成画像を符号化する方法を示す。画像F１は背景であり、また画像F２は前景である。前景F２は特定の色の背景の前で撮影し、その色以外の領域を抽出することによって生成した画像である。その際、抽出した領域を示す信号がkey信号K１である。合成画像F３は、これらF１、F２、K１を用いて合成したものである。この画像を符号化する場合、通常、F３をそのまま、MPEGなどの符号化方式で符号化することになる。このときkey信号などの情報は失われ、前景F２はそのままで、背景F１のみを変更する、といった画像の再編集、再合成は困難となる。
【００４４】
これに対して、図２０に示すように、画像F１、F２およびkey信号 K１を、それぞれ別々に符号化し、それぞれのビットストリームを多重化することにより画像F３のビットストリームを構成することも可能である。
【００４５】
図２０のようにして、構成したビットストリームを復号して合成画像F３を得る方法を図２１に示す。ビットストリームは逆多重化により、F１、F２およびK１のビットストリームに分解され、それぞれが復号され、復号画像F１'，F２'、および復号key信号 K１'が得られる。このとき、F１'とF２'をkey信号K１'に従って合成すれば、復号合成画像F３'を得ることができる。この場合、ビットストリームのままで、前景F２'をそのままにして、背景F１'のみを変更するといった、再編集および再合成が可能となる。
【００４６】
上述したように、MPEG４においては、画像F１、F２といった合成画像を構成する各画像シーケンスをVO(VideoObject)と呼ぶ。また、VOのある時刻における画像フレームをVOP（VideoObject Plane）と呼ぶ。VOPは輝度および色差信号と、並びにkey信号から構成される。画像フレームは、所定の時刻における１枚の画像を意味し、画像シーケンスは異なる時刻の画像フレームの集合を意味する。即ち、各VOは異なる時刻のVOPの集合である。各VOは時間によって大きさや位置が異なる。即ち、同じVOに属するVOPでも大きさおよび位置が異なる。
【００４７】
上述したオブジェクト単位で符号化および復号するエンコーダおよびデコーダの構成を図２２と図２３に示す。図２２はエンコーダの一例である。入力画像信号は、まずVO構成回路１０１に入力される。VO構成回路１０１は、入力画像を物体ごとに分割して各物体（VO）を表わす画像信号を出力する。各VOの画像信号は、画像信号とkey信号から構成される。VO構成回路１０１から出力される画像信号は、各VO毎に、VOP構成回路１０２−０乃至１０２−ｎに出力される。例えば、VO０の画像信号およびkey信号は、VOP構成回路１０２−０に入力され、VO１の画像信号およびkey信号は、VOP構成回路１０２−１に入力され、以下同様に、VOｎの画像信号およびkey信号は、VOP構成回路１０２−ｎに入力される。
【００４８】
VO構成回路１０１では、例えば、図２０に示すようにクロマキーで生成された画像信号の場合、VOは、そのまま各画像信号およびそのkey信号で構成される。key信号がないか、失われた画像に対しては、画像領域分割が行われ、所定の領域が抽出され、key信号が生成され、VOとされる。
【００４９】
VOP構成回路１０２−０乃至１０２−ｎは、各画像フレームから画像中の物体を含む最小の長方形の部分を抽出する。ただし、このとき長方形の水平および垂直方向の画素数は１６の倍数とされる。VOP 構成回路１０２−０乃至１０２−ｎは、上述した長方形に含まれる画像信号（輝度および色差信号）およびkey信号を抽出し、それらを出力する。またVOPの大きさを示すフラグ（VOP size）およびそのVOPの絶対座標における位置を示すフラグ(VOP POS)を出力する。
【００５０】
VOP構成回路１０２−０乃至１０２−ｎの出力信号は、VOP符号化回路１０３−０乃至１０３−ｎに入力され、符号化される。VOP 符号化回路１０３−０乃至１０３−ｎの出力は多重化回路１０４に入力され、１つのビットストリームに構成され、ビットストリームとして外部に出力される。
【００５１】
図２３は、デコーダの一例を示している。多重化されたビットストリームは、逆多重化回路１１１により逆多重化され、各 VOのビットストリームに分解される。各VOのビットストリームは、それぞれVOP復号化回路１１２−０乃至１１２−ｎに入力され、復号される。VOP 復号化回路１１２−０乃至１１２−ｎは、各VOPの画像信号、key 信号 、VOP の大きさを示すフラグ(VOP size)、VOP の絶対座標における位置を示すフラグ(VOP POS)を復号し、画像再構成回路１１３に入力する。画像再構成回路１１３は、各VOPの画像信号、key 信号、大きさを示すフラグ(VOP size)、絶対座標における位置を示すフラグ(VOP POS)を用い、画像を合成し、再生画像を出力する。
【００５２】
次に、図２４を用いて、VOP符号化回路１０３−０（他のVOP符号化回路１０３−１乃至１０３−ｎも同様に構成されている）の一例を説明する。各VOPを構成する画像信号とkey信号は、画像信号符号化回路１２１とkey信号符号化回路１２２にそれぞれ入力される。画像信号符号化回路１２１は、例えばMPEG方式やH.263 といった方式で符号化処理を行う。key 信号符号化回路１２２は、例えば DPCMなどにより符号化処理を行う。また、key信号を符号化する際に、画像信号符号化回路１２１によって検出された動きベクトルを用いて動き補償を行い、差分信号を符号化する方法もある。key 信号符号化によって発生したビット量は、画像信号符号化回路１２１に入力され、所定のビットレートになるように制御される。
【００５３】
符号化された画像信号（動きベクトルおよびテクスチャ情報）のビットストリームおよびkey信号のビットストリームは、多重化回路１２３に入力され、１つのビットストリームに構成され、送信バッファ１２４を介して出力される。
【００５４】
図２５は、VOP復号化回路１１２−０（他のVOP復号化回路１１２−１乃至１１２−ｎも同様に構成されている）の構成例を表している。ビットストリームはまず、逆多重化回路１３１に入力され、画像信号（動きベクトルおよびテクスチャ情報）のビットストリームとkey信号のビットストリームに分解され、画像信号復号化回路１３２とkey信号復号化回路１３３により、それぞれ復号される。この場合において、key信号を動き補償して符号化が行われているとき、画像信号復号化回路１３２によって復号された動きベクトルは、key信号復号化回路１３３に入力され、復号に用いられる。
【００５５】
以上、画像をVOPごとに符号化する方法を述べたが、こうした方式は、ISO-IEC/JTC1/SC29/WG11において、MPEG4として、現在標準化作業が進められている段階である。しかし、上述したような各VOPを効率よく符号化する方法は、現在確立しておらず、またスケーラビリティといった機能も現在確立していない。
【００５６】
以下、画像をオブジェクト単位でスケーラブル符号化する方法に関して説明する。上述したように、レンダリング回路１５５では、画像のフォーマット、動画であるか静止画であるか、また、その内容に拘らず、テクスチャメモリ１５２に記録されているテクスチャをポリゴンに貼り付ける。１つのポリゴンに貼り付けることが可能なのは、常にメモリに記憶されている１つのテクスチャであり、１つのポリゴンに複数のテクスチャを貼り付けることはできない。また、多くの場合、画像は圧縮して伝送され、端末側で圧縮ビットストリームを復号した後、所定のテクスチャ貼り付け用のメモリに格納される。
【００５７】
従来の場合、ビットストリームを復号することにより生成される画像信号は、常に１つである。例えば、MPEGにおけるMP@MLのビットストリームを復号した場合、１つの画像シーケンスが復号される。また、MPEG２におけるスケーラビリティの場合、下位レイヤのビットストリームを復号した場合、低画質の画像が得られ、下位および上位レイヤのビットストリームを復号した場合には高画質の画像信号が得られる。いずれの場合にも１つの画像シーケンスが復号されることになる。
【００５８】
ところが、画像をオブジェクト単位で符号化するMPEG４などの方式の場合は、状況が異なる。即ち、１つのオブジェクトを複数のビットストリームで構成する場合があり、このような場合、各ビットストリーム毎に、複数の画像が得られる。従って、例えば、VRMLなどで記述される３次元オブジェクトにテクスチャを貼りつけることが出来ない。
【００５９】
これを解決する方法として、１つの画像オブジェクト（VO）に１つのVRMLノード（ポリゴン）を割り当てることが考えられる。例えば、図２１の場合、背景F１'を１つのノードに割り当て、また前景F２'およびkey信号K１'を１つのノードに割り当てることが考えられる。しかし、１つの画像オブジェクトが複数のビットストリームから構成され、復号時に、複数の画像が生成される場合、以下のような問題点がある。これを図２６乃至図３１を用いて説明する。
【００６０】
３階層のスケーラブル符号化を例にとって説明する。３階層のスケーラブル符号化の場合、下位レイヤ（ベースレイヤ）以外に２つの上位レイヤが、即ち、第１の上位レイヤ（エンハンスメントレイヤ１、以下、適宜上位レイヤ１という）と第２の上位レイヤ（エンハンスメントレイヤ２、以下、適宜上位レイヤ２という）が存在する。第１の上位レイヤまで復号した画像と比較して、第２の上位レイヤまで復号した画像は、より画質が向上している。ここで画質の向上とは、空間スケーラブル符号化の場合、空間解像度であり、時間スケーラブル符号化の場合には、フレームレートであり、またSNR(Single to Noise Ratio)スケーラブル符号化の場合、画像のSNRである。
【００６１】
オブジェクト単位で符号化するMPEG４の場合、第１の上位レイヤと第２の上位レイヤの関係は次のいずれかとなる。
（１）第２の上位レイヤは第１の上位レイヤの全ての領域を含む。
（２）第２の上位レイヤは第１の上位レイヤの一部の領域に対応する。
（３）第２の上位レイヤは第１の上位レイヤよりも広い領域に対応する。
【００６２】
（３）の関係は３階層以上のスケーラブル符号化を行う場合に存在する。これは、第１の上位レイヤは下位レイヤの一部領域に対応し、かつ第２の上位レイヤは下位レイヤの全ての領域を含む場合、または第１の上位レイヤは下位レイヤの一部領域に対応し、第２の上位レイヤは第１の上位レイヤよりも広い領域に対応し、かつ、下位レイヤの一部の領域に対応する場合である。（３）の関係の場合、第１の上位レイヤまで復号すると、下位レイヤの画像の一部のみが画質改善され、第２の上位レイヤまで復号すると、さらに広い領域または下位レイヤの画像の全ての領域の画質が改善される。（３）の関係においては、VOPの形状は長方形であっても、任意形状であってもよい。
【００６３】
図２６乃至図３１は３階層の空間スケーラブル符号化の例を示している。図２６は、（１）の関係における空間スケーラビリティでVOPの形状がいずれも長方形である場合の一例を示している。また、図２７は、（２）の関係における空間スケーラビリティで、VOPの形状が長方形である場合の一例を示している。さらに、図２８は、（３）の関係における空間スケーラビリティで、全てのレイヤのVOPの形状が長方形である場合の一例を示している。また、図２９は、（３）の関係における空間スケーラビリティで、第１の上位レイヤのVOPの形状が任意の形状であり、下位レイヤと第２の上位レイヤのVOPの形状が長方形である場合の一例を示している。図３０と図３１は、（１）の関係における空間スケーラビリティで、VOPの形状が、それぞれ長方形と任意の形状である場合の一例を示している。
【００６４】
ここで、図２６に示すように、画像全体の画質が向上する場合は、従来のMPEG２などのスケーラブル符号化と同様で、最も高い画質の画像を１枚表示すれば十分である。しかし、オブジェクト単位で符号化するMPEG４には、図２７、図２８、図２９に示すような場合が存在する。例えば、図２７の場合、下位レイヤおよび上位レイヤ１，２のビットストリームを復号した場合、下位レイヤおよび上位レイヤ１の画像を解像度変換した後、解像度変換後の２つの画像シーケンスを、上位レイヤ２の復号画像シーケンスと合成して画像全体を再構成することになる。また、図２９の場合、上位レイヤ１および下位レイヤのみを復号し、上位レイヤ１の画像のみを出力し、他のビットストリームから復号される別の画像シーケンスと合成してもよい。
【発明の概要】
【発明が解決しようとする課題】
【００６５】
上述したように、オブジェクト単位で画像を符号化する場合、単に、１つのオブジェクトに１つのノードを割り当てるだけの方法では、１つのオブジェクトに対して複数の画像が生成されると、その画像をテクスチャとしてオブジェクトに貼り付けることができないことがあった。
【００６６】
本発明はこのような状況に鑑みてなされたものであり、１つのオブジェクトに対して複数の画像が生成された場合においても、その画像をテクスチャとしてオブジェクトに確実に貼り付けることができるようにするものである。
【課題を解決するための手段】
【００６７】
本発明の一側面である画像処理装置は、オブジェクトを構成するビットストリームが多重化された多重化ビットストリームから、オブジェクトを記述する空間構成情報を示すシーン記述子とオブジェクトに関する情報を示すオブジェクト記述子とを取得する取得手段と、前記取得手段により取得されたオブジェクト記述子を解析して、オブジェクト記述子に記述されているビットストームを復号して画像データを生成する復号手段と、前記取得手段により取得されたオブジェクト記述子とシーン記述情報とを解析してオブジェクトの対応関係を照合することにより、前記復号手段により生成された画像データを合成して出力画像を生成する合成手段とを備える。
【００６８】
前記オブジェクト記述子および前記シーン記述子には、オブジェクトを識別する識別情報が記述されており、前記合成手段は、前記オブジェクト記述子に記述された識別情報と前記シーン記述子に記述された識別情報とを照合して、前記復号手段により生成された画像データを合成するようにすることができる。
【００６９】
前記シーン記述子は、画像全体に各オブジェクトをどのように配置するかを記述したノードから構成されており、前記ノードと前記識別情報とは１対１対応しているようにすることができる。
【００７０】
前記オブジェクト記述子は、前記オブジェクトを記述している空間構成情報を示すフラグ、前記ビットストリームの数を示すフラグ、または前記ビットストリームを復号する際に必要な情報の少なくとも１つを含むようにすることができる。
【００７１】
前記オブジェクト記述子は、前記ビットストリームを復号する際に別のビットストリームが必要か、または、前記ビットストリームを復号する際にどのビットストリームが必要かを示す依存情報を含むようにすることができる。
【００７２】
前記取得手段は、前記多重化ビットストリームからスタートコードを検出することにより、前記シーン記述子と前記オブジェクト記述子とを取得するようにすることができる。
【００７３】
本発明の一側面である画像処理方法は、画像処理装置による、オブジェクトを構成するビットストリームが多重化された多重化ビットストリームから、オブジェクトを記述する空間構成情報を示すシーン記述子とオブジェクトに関する情報を示すオブジェクト記述子とを取得する取得ステップと、前記取得ステップで取得されたオブジェクト記述子を解析して、オブジェクト記述子に記述されているビットストームを復号して画像データを生成する復号手段と、前記取得ステップで取得されたオブジェクト記述子とシーン記述情報とを解析してオブジェクトの対応関係を照合することにより、前記復号ステップで生成された画像データを合成して出力画像を生成する合成ステップとを含む。
【００７４】
本発明の一側面である記録媒体は、コンピュータを、オブジェクトを構成するビットストリームが多重化された多重化ビットストリームから、オブジェクトを記述する空間構成情報を示すシーン記述子とオブジェクトに関する情報を示すオブジェクト記述子とを取得する取得手段と、前記取得手段により取得されたオブジェクト記述子を解析して、オブジェクト記述子に記述されているビットストームを復号して画像データを生成する復号手段と、前記取得手段により取得されたオブジェクト記述子とシーン記述情報とを解析してオブジェクトの対応関係を照合することにより、前記復号手段により生成された画像データを合成して出力画像を生成する合成手段として機能させるプログラムが記録されている。
【００７５】
本発明の一側面においては、オブジェクトを構成するビットストリームが多重化された多重化ビットストリームから、オブジェクトを記述する空間構成情報を示すシーン記述子とオブジェクトに関する情報を示すオブジェクト記述子とが取得され、取得されたオブジェクト記述子が解析されて、オブジェクト記述子に記述されているビットストームが復号されて画像データが生成され、取得されたオブジェクト記述子とシーン記述情報とが解析されてオブジェクトの対応関係が照合されることにより、生成された画像データが合成されて出力画像が生成される。
【発明の効果】
【００７６】
本発明の一側面によれば、多重化側と接続されていないような環境下においても、独自にビットストリームを復元して利用することができる。
【図面の簡単な説明】
【００７７】
【図１】本発明の画像信号多重化装置および画像信号逆多重化装置の構成例を示すブロック図である。
【図２】図１の多重化回路２０３の構成例を示すブロック図である。
【図３】図１の逆多重化回路２０５の構成例を示すブロック図である。
【図４】画像を再構成するための各信号の対応関係および図１の再構成回路２０９を示す図である。
【図５】画像を再構成するための各信号の対応関係および図１の再構成回路２０９を示す図である。
【図６】図５の合成回路２５２の構成例を示すブロック図である。
【図７】オブジェクト記述子の構成を示す図である。
【図８】ES_Descriptorの構成を示す図である。
【図９】ESConfigParamsの構成を示す図である。
【図１０】動画用のシーン記述子の構成を示す図である。
【図１１】静止画用のシーン記述子の構成を示す図である。
【図１２】本発明の画像信号多重化装置および画像信号逆多重化装置の他の構成例を示すブロック図である。
【図１３】ES_Descriptorの構成を示す図である。
【図１４】従来のオブジェクト合成回路の構成例を示すブロック図である。
【図１５】従来の画像信号符号化装置の構成例を示すブロック図である。
【図１６】従来の画像信号復号化装置の構成例を示すブロック図である。
【図１７】従来の画像信号符号化装置の他の構成例を示すブロック図である。
【図１８】従来の画像信号復号化装置の他の構成例を示すブロック図である。
【図１９】従来の画像の合成を説明する図である。
【図２０】画像の合成を説明する図である。
【図２１】画像の合成を説明する図である。
【図２２】従来の画像信号符号化装置のさらに他の構成例を示すブロック図である。
【図２３】従来の画像信号復号化装置のさらに他の構成例を示すブロック図である。
【図２４】図２２のVOP符号化回路１０３−０の構成例を示すブロック図である。
【図２５】図２３のVOP復号化回路１１２−０の構成例を示すブロック図である。
【図２６】画像オブジェクトを説明する図である。
【図２７】画像オブジェクトを説明する図である。
【図２８】画像オブジェクトを説明する図である。
【図２９】画像オブジェクトを説明する図である。
【図３０】画像オブジェクトを説明する図である。
【図３１】画像オブジェクトを説明する図である。
【発明を実施するための形態】
【００７８】
以下に本発明の実施の形態を説明する。まず、第１の実施の形態におけるビットストリーム多重化装置および逆多重化装置を図１を用いて説明する。なお、以下の説明においては、符号化されたオーディオおよびビデオのビットストリーム（Elementary Stream（ＥＳ））は、予め、所定の記憶装置２０２に記録されているものとして説明するが、ビデオおよびオーディオの符号化装置から、記憶装置２０２を通さずに、ビットストリームを多重化回路２０３に直接入力してもよい。また、以下、符号化および復号化方式は、MPEG４方式を想定して説明するが、画像を複数画像に分割して符号化する方式であれば、全て同様に適用可能である。
【００７９】
記憶装置２０２には、各AV（オーディオおよびビデオ）オブジェクトに対応しているビットストリームES(Elementary Stream)、各ビットストリームをデコードするために必要なオブジェクトストリーム情報OI、および２次元または３次元のシーン（伝送する画像により構成される仮想的空間）を記述するシーン記述子SD（Scene Descriptor）が記録されている。ここで、オブジェクトストリーム情報OIは、例えば、デコードするために必要なバッファサイズ、各アクセスユニット（フレームあるいはVOP）のタイムスタンプなどを含んでいる。詳細については後述する。
【００８０】
オブジェクトストリーム情報OIには、各AV（オーディオおよびビデオ）オブジェクトに対応しているビットストリームＥＳの情報が全て記載されている。オブジェクト記述子発生回路２０４は、記憶装置２０２より供給されるオブジェクトストリーム情報OIに対応して、オブジェクト記述子OD（Object Descriptor）を発生する。
【００８１】
多重化回路２０３は、記憶装置２０２に記録されているビットストリームＥＳおよびシーン記述子SD、並びに、オブジェクト記述子発生回路２０４より供給されるオブジェクト記述子ODを、所定の順番で多重化し、多重化ビットストリームＦＳを伝送する。
【００８２】
ここで、各オブジェクトを形成するビットストリームの構成について説明する。例えば図２１に示されるようなシーンは、背景F１'および前景F２'の２つのオブジェクトから構成される。ただし、key信号K1' および前景F２'は１つのビットストリームＥＳで構成される。従って、図２１の場合、２つのビデオオブジェクトVOから構成され、スケーラブル符号化を用いない場合、それぞれのVOは１つのビットストリームＥＳから構成される。
【００８３】
また、図２６乃至図２９の場合、フレームは１つのビデオオブジェクトVOから構成される。ただし、この場合、スケーラブル符号化を行っているため、１つのビデオオブジェクトVOは３つのビットストリームＥＳから構成される。図２６乃至図２９は、３階層のスケーラブル符号化の例を示しているが、階層の数は任意で良い。
【００８４】
また、図３０および図３１では、シーンが背景（図３０）および前景（図３１）の２つのビデオオブジェクトVOから構成され、それぞれのビデオオブジェクトVOは、３つのビットストリームＥＳから構成されている。
【００８５】
ユーザは端末から要求信号を送ることにより、どのビデオオブジェクトを表示するか、またスケーラブル符号化の場合、どのレイヤを表示するかを、任意に設定することが可能である。
【００８６】
図１の実施の形態においては、ユーザは図示せぬ外部の端末より、必要なビデオオブジェクトとビットストリームを特定する要求信号ＲＥＱを送信側に送信する。要求信号ＲＥＱは、ストリームコントロール回路２０１に供給される。各ビデオオブジェクトのビットストリームのオブジェクトストリーム情報OIは記憶装置２０２に記録されている。上述したように、オブジェクトストリーム情報OIは、例えば所定のオブジェクトが、幾つのビットストリームから構成されているかを示す情報、各ビットストリームを復号するために必要な情報、バッファサイズ、復号に際して他にどのビットストリームが必要か、といった情報を含んでいる。
【００８７】
ストリームコントロール回路２０１は、要求信号ＲＥＱに従って、記憶装置２０２から供給されるオブジェクトストリーム情報OIを参照して、どのビットストリームを伝送するかを決定し、ストリーム要求信号ＳＲＥＱを多重化回路２０３、記憶装置２０２、およびオブジェクト記述子発生回路２０４に供給する。また、記憶装置２０２は、ストリーム要求信号ＳＲＥＱに従って、所定のビットストリームＥＳおよびシーン記述子SDを読み出し、多重化回路２０３に出力する。
【００８８】
オブジェクト記述子発生回路２０４は、ストリーム要求信号ＳＲＥＱに従って、記憶装置２０２に記録されている各オブジェクト（VO）のビットストリームに関するオブジェクトストリーム情報OIを読み出し、ストリーム要求信号ＳＲＥＱにより要求されたビットストリームの情報のみをオブジェクト記述子ODとして抽出する。また、オブジェクト記述子発生回路２０４は、どのオブジェクトに対応するかを示すID番号OD_IDを生成して、オブジェクト記述子ODに書き込む。例えば、図２６の場合で、所定のオブジェクトに対して、下位レイヤおよび上位レイヤ１のみが要求されたとき、オブジェクト記述子発生回路２０４は、下位レイヤおよび上位レイヤ１の情報のみをオブジェクトストリーム情報OIから抽出し、オブジェクト記述子ODとするとともに、そのオブジェクトを示すID番号OD_IDを生成して、それをオブジェクト記述子ODに書き込む。そして、このように生成されたオブジェクト記述子ODが多重化回路２０３に供給される。オブジェクト記述子ODおよびオブジェクトストリーム情報OIのシンタクス、並びにシーン記述子SDの詳細は後述する。
【００８９】
次に、図２を用いて多重化回路２０３の動作を説明する。多重化回路２０３には、ストリーム要求信号ＳＲＥＱに従って、伝送するビットストリームＥＳ１乃至ＥＳｎが供給される。各ビットストリームＥＳ１乃至ＥＳｎはスイッチ２３１に供給される。またシーン記述子SDおよびオブジェクト記述子ODも同様に、スイッチ２３１に供給される。さらに、多重化回路２０３にはスタートコード発生回路２３２が設けられており、スタートコード発生回路２３２にて発生されたスタートコードもスイッチ２３１に供給される。スイッチ２３１は、所定の順番で接続を切り替えことにより得られたデータを多重化ビットストリームＦＳとして外部に出力する。
【００９０】
多重化ビットストリームＦＳとして、まず、スタートコード発生回路２３２で発生したスタートコードが出力される。次に、スイッチ２３１の接続が切り替えられ、シーン記述子SDが出力される。シーン記述子SDが出力された後、スイッチ２３１の接続が再び切り替えられ、オブジェクト記述子ODが出力される。オブジェクト記述子ODは、オブジェクトの数だけ存在するため、そのオブジェクトの数だけオブジェクト記述子が出力される。図２には、オブジェクトの数が３個である場合が示されている。オブジェクト記述子ODが出力された後、スイッチ２３１の接続が再び切り替えられ、ビットストリームＥＳ１乃至ＥＳｎがそれぞれ所定のデータサイズ毎に選択され、出力される。多重化されたビットストリームＥＳは、図１に示されるように、所定の伝送路を経由した後、逆多重化回路２０５に供給される。
【００９１】
次に、逆多重化回路２０５の詳細について図３を用いて説明する。まず、多重化ビットストリームＦＳがスイッチ２４１に供給される。スイッチ２４１は、まず、スタートコードを検出することにより、以降の各データを認識する。スタートコードを検出した後、スイッチ２４１からシーン記述子SDが読み出されて出力される。次に、スイッチ２４１の接続が変更され、オブジェクト記述子ODが読み出されて出力される。オブジェクト記述子ODは、オブジェクトの数だけ存在し、順次出力される。全てのオブジェクト記述子ODが出力された後、スイッチ２４１の接続が再び変更され、各ビットストリームＥＳ１乃至ＥＳｎが所定の接続に従って読み出されて出力される。
【００９２】
読み出されたシーン記述子SDは、図１に示されるように、構文解析回路（パーサ）２０８に供給され、解析される。構文解析されたシーン記述は、３次元オブジェクト情報として再構成回路２０９に供給される。３次元オブジェクト情報は、実際には、ノードやポリゴンなどの情報から構成されているが、以下の説明では、適宜ノードと記載して説明する。
【００９３】
また、読み出されたオブジェクト記述子ODは、図１に示されるように、構文解析回路（パーサ）２０６に供給され、解析される。構文解析回路２０６は、必要なデコーダの種類と数を同定し、必要なデコーダ２０７−１乃至２０７−ｎに各ビットストリームＥＳ１乃至ＥＳｎを逆多重化回路２０５から供給させるようにする。また、オブジェクト記述子ODから各ビットストリームを復号するために必要なバッファ量などが読み出され、構文解析回路２０６から各デコーダ２０７−１乃至２０７−ｎに出力される。各デコーダ２０７−１乃至２０７−ｎは、構文解析回路２０６から供給された（つまり、オブジェクト記述子ODにより伝送された）バッファサイズなどの初期化情報に基づき、初期化される。また、構文解析回路２０６は、各ビットストリームＥＳ１乃至ＥＳｎが、どのオブジェクトに所属するものなのかを同定するために、各オブジェクト記述子ODのID番号OD_IDを読み出す。そして、各オブジェクト記述子ODのＩＤ番号OD_IDが、構文解析回路２０６からオブジェクト記述子ODに記載されているビットストリームを復号するデコーダ２０７−１乃至２０７−ｎに対して、出力される。
【００９４】
各デコーダ２０７−１乃至２０７−ｎは、エンコードに対応する所定のデコード方法に基づきビットストリームを復号し、ビデオまたはオーディオ信号を、再構成回路２０９に出力する。また、各デコーダ２０７−１乃至２０７−ｎは、その画像がどのオブジェクトに所属するものかを示すID番号OD_IDを再構成回路２０９に出力する。また、各デコーダ２０７−１乃至２０７−ｎは、画像信号の場合、その位置および大きさを示す信号（POS, SZ）をビットストリームから復号し、再構成回路２０９に出力する。さらに、デコーダ２０７−１乃至２０７−ｎは、画像信号の場合、透過度を示す信号（key信号）をビットストリームから復号し、再構成回路２０９に出力する。
【００９５】
次に、画像を再構成するための各信号の対応関係および再構成回路２０９について、図４および図５を用いて説明する。図４はスケーラブル符号化を行わない場合の例を示し、また図５はスケーラブル符号化を行った場合の例を示す。
【００９６】
図４において、再構成回路２０９は、合成回路２５２から構成されており、その合成回路２５２に生成された画像信号がディスプレイ２５１に供給されて表示される。なお、図４において、合成回路２５２とディスプレイ２５１が再構成回路２０９として示されているが、これは合成回路２５２で構成された画像がどのようにディスプレイ２５１に示されるかを示すためであり、実際には、再構成回路２０９に中にディスプレイは含まれない。
【００９７】
図４では、ディスプレイ２５１の画面に、長方形の画像シーケンスとＣＧにより生成された３角錐が表示されている。３角錐のオブジェクトにはまた、復号されたテクスチャが貼り付けられている。ここで、テクスチャは動画でもよいし、静止画でもよい。
【００９８】
図４には、シーン記述子SDと出力画面との対応が示されている。シーン記述子SDとしては、例えば、VRMLなどの記述子が用いられる。シーン記述子SDは、ノードと呼ばれる記述群から構成される。画像全体に各オブジェクトをどのように配置するかを記述した親（ルート）ノードSD０がある。その子ノードとして、３角錐に関する情報を記述するノードSD１がある。また、ルートノードSD０の子ノードとしてのノードSD２に、画像が貼り付けられる長方形の平面に関する情報が記載されている。図４の例の場合、画像信号が３つのビデオオブジェクトVOから構成されている。第１のビデオオブジェクトVOとしての背景に関する情報はノードSD２に記載されている。また、第２のビデオオブジェクトVOとしての太陽を貼り付けるための平面に関する情報がノードSD３に記載されている。さらに第３のビデオオブジェクトVOとしての人物を貼り付ける平面に関する情報がノードSD４に記載されている。ノードSD３およびSD４はノードSD２の子ノードとなる。
【００９９】
従って、ノードSD０乃至SD４により１つのシーン記述子SDが構成されている。各ノードSD０乃至SD４はそれぞれ１つの３次元または２次元のオブジェクトに対応する。図４の例の場合、ノードSD０はシーン全体のオブジェクトに、ノードSD１は３角錐のオブジェクトに、ノードSD２は背景のオブジェクトに、ノードSD３は太陽のオブジェクトに、ノードSD４は人物のオブジェクトに、それぞれ対応している。各ノードにテクスチャを貼り付ける場合、それぞれのノードにどのビットストリームが対応するかを示すフラグが必要となる。これを同定するために、各ノードには、対応するビットストリームのデコーダから供給されるオブジェクト記述子のＩＤ番号OD_IDが記載される。これにより１つのノードには１つのオブジェクト記述子ODが対応することになる。これにより、１つの２次元または３次元オブジェクトには１つのビデオオブジェクトVOが貼り付けられることになる。
【０１００】
シーン記述子SDを構成する各ノードSD０乃至SD４は、構文解析回路２０８により解釈され、３次元オブジェクト情報として再構成回路２０９の合成回路２５２に供給される。また、各デコーダ２０７−１乃至２０７−４には、逆多重化回路２０５よりビットストリームＥＳ１乃至ＥＳ４が供給され、また、構文解析回路２０６から対応するオブジェクト記述子ODのＩＤ番号OD_IDが供給される。各デコーダ２０７−１乃至２０７−４はビットストリームを復号した後、ID番号OD_IDと復号信号（画像もしくはオーディオ）の他、画像の場合、key信号、並びに画像の位置および大きさを示す信号(POS, SZ)を復号信号として再構成回路２０９の合成回路２５２に供給する。ここで、画像の位置とは、そのノードの属する１つ上の親ノードとの相対位置を意味する。
【０１０１】
合成回路２５２の構成例は図６に示されている。なお、図６において、図１４に示した場合と対応する部分には、同一の符号を付してある。入力される３次元オブジェクト情報（ノードSD０乃至SD４や各ポリゴン情報を含む）、画像信号（Texture）、key信号（key signal）、ID番号OD_ID、位置および大きさを示す信号(POS, SZ)は、それぞれ、オブジェクト合成回路２７１−１乃至２７１−ｎに供給される。１つのノードSDｉには１つのオブジェクト合成回路２７１−ｉが対応する（ｉ＝１，２，３，・・・，ｎ）。オブジェクト合成回路２７１−ｉはノードSDｉに示されるID番号OD_IDを持つ復号信号をデコーダ２０７−ｉより受け取り、画像信号の場合、生成する２次元または３次元のオブジェクトに貼り付ける。なお、上述したように、ID番号OD_IDと復号信号が対応するオブジェクト合成回路２７１−ｉに供給される際に、各復号信号がどのノードに対応するかを探索しなければならない。従って、再構成回路２０９に供給されたID番号OD_IDとノードが含まれているID番号OD_IDとを照合することにより、対応関係を認識する。そして、その認識結果に基づいて、復号信号が対応するノードが供給されるオブジェクト合成回路２７１−ｉに供給される。
【０１０２】
デコーダ２０７−ｉより供給される、貼り付けるテクスチャ（画像信号）とその透過度を表す信号（key信号）およびその位置と大きさを示す信号（VOP,SZ）は、メモリ群１５１−ｉの所定の領域に記憶される。また同様に、構文解析回路２０８から供給されるノード（２次元または３次元オブジェクト情報）はメモリ群１５１−ｉの所定の記憶領域に記憶される。テクスチャ（画像信号）はテクスチャメモリ１５２−ｉに、透過度を表す信号(key signal)およびID番号OD_IDはグレースケールメモリ１５３−ｉに、またノードは３次元情報メモリ１５４−ｉに、それぞれ記憶される。ID番号OD_IDは、オブジェクトを識別するために供給され、使用される。さらに、位置および大きさを示す信号(POS,SZ)は、いずれのメモリに記憶されてもよいが、例えば、この例の場合、グレースケールメモリ１５３−ｉに記憶される。ここで、３次元オブジェクト情報とは、ポリゴンの形成情報や照明情報などである。位置および大きさを示す信号は、メモリ群１５１−ｉ中の所定の位置に記憶される。
【０１０３】
レンダリング回路１５５−ｉは３次元情報メモリ１５４−ｉに記録されているノードに基づき、２次元または３次元オブジェクトをポリゴンにより形成する。レンダリング回路１５５−ｉは、テクスチャメモリ１５２−ｉおよびグレースケールメモリ１５３−ｉより所定のテクスチャおよび透過度を示す信号を読み込み、生成した３次元オブジェクトに貼り付ける。透過度を表す信号は、対応する位置のテクスチャの透過度を示しており、対応する位置のテクスチャが貼り付けられた位置のオブジェクトの透明度を示すことになる。レンダリング回路１５５−ｉはテクスチャを貼り付けた信号を２次元変換回路１５６に供給する。また画像の位置および大きさを示す信号（親ノードとの相対位置）は、同様に、メモリ群１５１−ｉの所定の位置（この例の場合、グレースケールメモリ１５３−ｉ）から読み出され、２次元変換回路１５６に出力される。
【０１０４】
２次元変換回路１５６には、ノードの数だけのオブジェクト合成回路２７１−１乃至２７１−ｎから、テクスチャを貼り付けた２次元または３次元のオブジェクトが供給される。２次元変換回路１５６では、外部より供給される視点情報並びに画像の位置および大きさを示す信号(POS,SZ)に基づき、３次元オブジェクトを２次元平面に写像して、２次元画像信号に変換する。２次元画像信号に変換された３次元オブジェクトは、さらにディスプレイ２５１に出力され、表示される。なお、全てのオブジェクトが２次元オブジェクトの場合、各レンダリング回路１５５−１乃至１５５−ｎからの出力データが、その透過度（key信号）並びに画像の位置および大きさを示す信号に従って合成され、出力される。この場合、視点による変換は行われない。
【０１０５】
次に、図５のスケーラブル符号化を行った場合の例を説明する。この場合、再構成回路２０９は、混合回路２６１および合成回路２５２から構成されており、その混合回路２６１および合成回路２５２で生成された画像信号がディスプレイ２５１に供給されて表示される。なお、図５においても図４と同様に、混合回路２６１および合成回路２５２とディスプレイ２５１が再構成回路２０９として示されているが、これは混合回路２６１および合成回路２５２で構成された画像がどのようにディスプレイ２５１に示されるかを示すためであり、実際には、再構成回路２０９中にディスプレイは含まれない。また、図５の例では、ディスプレイ２５１に、長方形の画像シーケンスと、ＣＧにより生成された３角錐が表示されている。３角錐のオブジェクトにはまた、復号されたテクスチャが貼り付けられている。ここで、テクスチャは動画でもよいし、静止画でもよい。
【０１０６】
図５には、シーン記述子SDと出力画面との対応が示されている。図５の場合、画像全体に各オブジェクトをどのように配置するかを記述した親ノードSD０がある。それの子ノードとして、３角錐に関する情報が記述されているノードSD１、および画像が貼り付けられる長方形の平面に関する情報が記述されているノードSD２が存在する。この図５のノードSD２が対応する画像信号は図４の例の場合とは異なり、１つのビデオオブジェクトVOから構成されている。ただし、図５の場合、ノードSD２が対応する画像は、３階層のスケーラブル符号化が行われており、３つのビデオオブジェクトレイヤからビデオオブジェクトVOが構成されているものとする。なお、図５では３階層の例を説明するが階層の数は任意で良い。
【０１０７】
シーン記述子SDを構成する各ノードSD０乃至SD２は、構文解析回路２０８により解釈され、解析結果が合成回路２５２に供給される。各デコーダ２０７−１乃至２０７−４には、逆多重化回路２０５よりビットストリームＥＳ１乃至ＥＳｎが供給されるとともに、対応するオブジェクト記述子ODのＩＤ番号OD_IDが構文解析回路２０６から供給される。各デコーダ２０７−１乃至２０７−４はビットストリームを復号した後、復号信号の他、画像の場合、key信号、画像の位置および大きさを示す信号（VOP,SZ）、倍率を示す信号ＦＲを混合回路２６１に供給する。ここで、画像の位置とは同一ビデオオブジェクトVOでの各レイヤの相対位置を意味する。また各デコーダ２０７−１乃至２０７−４はID番号OD_IDを合成回路２５２に供給する。合成回路２５２の構成は図６に示すものと同様であるため、ここでは、その説明を省略する。
【０１０８】
なお、上述したように、ID番号OD_IDと復号信号が対応するオブジェクト合成回路２７１−ｉに供給される際に、各復号信号がどのノードに対応するかを探索しなければならない。従って、再構成回路２０９に供給されたID番号OD_IDとノードに含まれているID番号OD_IDとを照合することにより、対応関係を認識する。そして、その認識結果に基づいて、復号信号が対応するノードが供給されるオブジェクト合成回路２７１−ｉに供給される。
【０１０９】
スケーラブル符号化の場合、各レイヤ（VOL）のビットストリームは同一のビデオオブジェクトVOに所属するため、同一のID番号OD_IDを持つ。１つのノードには１つのビデオオブジェクトVOが対応し、またそれに対応して合成回路２５２中に、１つのテクスチャメモリ１５２−ｉが対応する。従って、スケーラブル符号化の場合、各レイヤの出力（デコーダ２０７−２乃至２０７−４の出力）を一度混合回路２６１に供給し、１つの画像シーケンスに合成する。
【０１１０】
混合回路２６１は、各デコーダ２０７−２乃至２０７−４から供給される画像信号、key信号、倍率を示す信号、画像の位置および大きさを示す信号に基づき、各レイヤの画像を先に合成した後、合成回路２５２に出力する。従って、合成回路２５２では、１つのオブジェクトに対して１つの画像シーケンスを対応させることができる。
【０１１１】
例えば、図２９に示すようなスケーラブル符号化が行われ、かつ下位レイヤおよび上位レイヤ１が伝送され、それらが復号された場合、下位レイヤの画像信号は倍率を示す信号ＦＲに基づき解像度変換される。次に、この画像に対し、上位レイヤ１の復号画像が対応する位置にkey信号に従って、合成される。
【０１１２】
混合回路２６１により合成された画像シーケンスは、合成回路２５２に供給される。合成回路２５２では、図４の場合と同様に画像を構成し、ディスプレイ２５１に出力して最終的な出力画像を得る。
【０１１３】
このように、この例では、１つのノードに対して、１つのオブジェクト（ビデオの場合ビデオオブジェクトVO）を割り当て、レンダリング回路１５５におけるテクスチャや３次元情報などを記憶するメモリ群１５１の前段に混合回路２６１を設け、複数の画像を所定のkey信号に従って混合した後、テクスチャメモリ１５２に記録し、複数解像度からなる画像信号をテクスチャマッピングすることを可能にする。
【０１１４】
また、このように、図１の例では、あるオブジェクトに対して、そのオブジェクトを構成するビットストリームのシステム情報を記録した記述子を生成し、その際、必ず復号しなければならないビットストリームの情報のみを記憶し、その記述子に記載されているビットストリームは全て復号することにより、復号可能なビットストリームの組み合わせを同定し、所定の信号を復号することを可能とする。この場合、上記記述子は、送信側と受信側で１対１で生成され、伝送される。
【０１１５】
次に、図７乃至図９にオブジェクト記述子ODの構成を示す。図７はオブジェクト記述子ODの全体構成（シンタックス）を示す。
【０１１６】
Node IDは、その記述子のＩＤ番号を示す１０ビットのフラグである。上記したOD_IDに相当する。また、streamCountは、８ビットのフラグで、そのオブジェクト記述子に含まれるビット ストリームＥＳの数を示す。この数だけ、ビットストリームＥＳの復号時に必要な情報、ES_Descriptorが伝送される。さらに、extentionFlagは、その他の記述子を伝送するかどうかを示すフラグで、この値が１ の場合、その他の記述子が伝送される。
【０１１７】
ES_Descriptorは、各ビットストリームに関する情報を示す記述子である。図８にES_Descriptorの構成（シンタックス）を示す。ES_Numberはそのビットストリームを識別するためのＩＤ番号を示す５ビットのフラグである。また、streamTypeは、そのビットストリームのフォーマット、例えばMPEG２ビデオなど、を示す８ビットのフラグである。さらに、QoS_Descriptorは、伝送の際にネットワークへの要求を示す８ビットのフラグである。
【０１１８】
ESConfigParamsはそのビットストリームを復号するのに必要な情報が記載されている記述子であり、その構成（シンタックス）を図９に示す。ESConfigParamの詳細は、MPEG4 System VMに記述されている。
【０１１９】
図１０に動画を貼り付けるためのシーン記述子を示す。SFObjectIDは、貼り付けるテクスチャのオブジェクト記述子のＩＤであるID番号OD_IDを示すフラグである。また、図１１には静止画を貼り付けるためのシーン記述子を示す。SFObjectIDは、貼り付けるテクスチャのオブジェクト記述子のＩＤ番号OD_IDを示すフラグである。なお、図１０と図１１の書式は、VRMLのノード記述に準拠している。
【０１２０】
次に、第２の実施の形態におけるビットストリーム多重化装置および逆多重化装置を図１２に示す。この実施の形態においては、オブジェクトに所属するビットストリームが全て多重化され伝送される。図１の第１の実施の形態においては、受信側から要求されたビットストリームだけを多重化して伝送するようになされていた。その際、伝送するビットストリームに合わせてオブジェクト記述子ODを発生させていた。受信側ではオブジェクト記述子ODに記載されているビットストリームは全て復号したため、ビットストリーム間での情報の依存関係を特に伝送する必要が無かった。
【０１２１】
これに対して、第２の実施の形態では、あらかじめ、オブジェクト記述子ODが記憶装置２０２に記憶されており、送信側ではこのオブジェクト記述子ODに記録されているビットストリームは全て多重化して伝送する。この時、第２の実施の形態におけるオブジェクト記述子ODは、ビットストリーム間の情報の依存関係が記載されている点が第１の実施の形態と異なる。それ以外の点では第１の実施の形態と同様である。
【０１２２】
多重化回路２０３では、記憶装置２０２に記録されているシーン記述子SD、オブジェクト記述子OD、およびビットストリーム群ＥＳを読み込み、所定の順番で多重化し、伝送する。伝送順や、多重化回路２０３の構成は、第１の実施の形態と同様である。多重化ビットストリームＦＳは伝送路を経由して、逆多重化回路２０５に供給される。
【０１２３】
ユーザは、どのオブジェクトを表示させたいかを表す要求信号ＲＥＱを端末から入力する。要求信号ＲＥＱは、逆多重化回路２０５、構文解析回路２０６、および再構成回路２０９に供給される。構文解析回路２０６では、伝送されてきた各オブジェクト記述子ODを解析し、必要なビットストリームを要求する信号ＳＲＥＱを生成し、逆多重化回路２０５に供給する。ユーザが所定のビットストリームを要求した場合、それを復号するために必要なその他のビットストリームが存在するか、またどのビットストリームが必要かは、オブジェクト記述子ODに記録されている。
【０１２４】
逆多重化回路２０５は、ユーザからの要求信号ＲＥＱおよび必要なビットストリームを要求する信号ＳＲＥＱに従って、必要なビットストリームのみをデコーダ２０７−１乃至２０７−ｎに供給するとともに、必要なオブジェクト記述子ODを構文解析回路２０６に供給する。構文解析回路２０６は、オブジェクト記述子ODを解析し、オブジェクト記述子ODおよびユーザからの要求信号ＲＥＱに基づき、デコーダ２０７−１乃至２０７−ｎの初期化情報およびID番号OD_IDを各デコーダ２０７−１乃至２０７−ｎに出力する。以下、第１の実施の形態と同様に復号、合成、表示がなされる。
【０１２５】
このようにこの例では、あるオブジェクトに対して、そのオブジェクトを構成するビットストリームのシステム情報を記録した記述子（オブジェクト記述子）を生成し、その際、各ビットストリームを復号するのに必要なビットストリームを示すフラグを記録し、その記述子に記載されているフラグに従って所定のビットストリームを復号することにより、復号可能なビットストリームの組み合わせを同定し、所定の信号を復号することを可能とする。この場合、上記、記述子は送信側で１度生成された後、全ての受信者に共通の記述子が伝送される。
【０１２６】
第２の実施の形態においては、オブジェクト記述子ODが第１の実施の形態とは異なり、所定のビットストリームを復号する際に必要な、別ビットストリームを同定するための情報が記載されている。第２の実施の形態におけるオブジェクト記述子ODを説明する。オブジェクト記述子ODの全体構成は、図７に示した第１の実施の形態における場合と同様である。
【０１２７】
図１３に各ビットストリームに関する情報を記述するES_Descriptorを示す。isOtherStreamは、１ビットのフラグで、このビットストリームを復号するために他のビットストリームが必要かどうかを示す。この値が０の場合、このビットストリームは単独で復号可能である。isOtherStreamの値が１である場合、このビットストリームは単独では復号できない。
【０１２８】
streamCountは、他に幾つのビットストリームが必要かを示す５ビットのフラグである。streamCountに基づき、その数だけ、ES_Numberが伝送される。
【０１２９】
ES_Numberは、復号に必要なビットストリームを識別するためのＩＤである。なお、ES_Descriptorのその他の構成は第１の実施の形態と同様である。また、各ビットストリームを復号するために必要な情報を表すESConfigParamsの構成は、図９に示した第１の実施の形態における場合と同様である。
【０１３０】
なお、上述したような処理（多重化および逆多重化）はプログラムで実現でき、そのプログラムをユーザに伝送（提供）することが可能であり、伝送媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。また、上述した処理は、プログラムとして実現できる他、ハードウェアとして実現できることは言うまでもない。
【０１３１】
なお、本発明の主旨を逸脱しない範囲において、さまざまな変形や応用例が考えうる。従って、本発明の要旨は、実施の形態に限定されるものではない。
【符号の説明】
【０１３２】
２０１  ストリームコントロール回路，  ２０２  記憶装置，  ２０３  多重化回路，  ２０４  オブジェクト記述子発生回路，  ２０５  逆多重化回路，  ２０６  構文解析回路，  ２０７−１乃至２０７−ｎ  デコーダ，  ２０８  構文解析回路，  ２０９  再構成回路
【図１】
2010119143.tif 000003
【図２】
2010119143.tif 000004
【図３】
2010119143.tif 000005
【図４】
2010119143.tif 000006
【図５】
2010119143.tif 000007
【図６】
2010119143.tif 000008
【図７】
2010119143.tif 000009
【図８】
2010119143.tif 000010
【図９】
2010119143.tif 000011
【図１０】
2010119143.tif 000012
【図１１】
2010119143.tif 000013
【図１２】
2010119143.tif 000014
【図１３】
2010119143.tif 000015
【図１４】
2010119143.tif 000016
【図１５】
2010119143.tif 000017
【図１６】
2010119143.tif 000018
【図１７】
2010119143.tif 000019
【図１８】
2010119143.tif 000020
【図１９】
2010119143.tif 000021
【図２０】
2010119143.tif 000022
【図２１】
2010119143.tif 000023
【図２２】
2010119143.tif 000024
【図２３】
2010119143.tif 000025
【図２４】
2010119143.tif 000026
【図２５】
2010119143.tif 000027
【図２６】
2010119143.tif 000028
【図２７】
2010119143.tif 000029
【図２８】
2010119143.tif 000030
【図２９】
2010119143.tif 000031
【図３０】
2010119143.tif 000032
【図３１】
2010119143.tif 000033