(57)【要約】【課題】ステレオ画像の符号化ストリームを、既存のモノラル画像用の復号装置で復号する。【解決手段】視点が異なる第１画像と第２画像とにより構成されるステレオ画像が符号化された符号化ストリームを復号する画像復号装置５００において、参照構造解析部５０２は、符号化ストリームに含まれるピクチャの参照構造を解析する。リオーダリングコマンド作成部５０３は、参照構造解析部５０２により解析された参照構造に応じて、モノラル画像用の復号部で符号化ストリームを復号可能にするためのリオーダリングコマンドを作成する。リオーダリングコマンド挿入部５０４は、リオーダリングコマンド作成部５０３により作成された作成したリオーダリングコマンドを、符号化ストリームに挿入する。【選択図】図５
2012028960.tif 000002
【特許請求の範囲】
【請求項１】
ステレオ画像が符号化された符号化ストリームに含まれるピクチャの参照構造を解析する参照構造解析部と、
前記参照構造解析部により解析された参照構造に応じて、参照ピクチャリストの並び替えを行うリオーダリングコマンドを作成するリオーダリングコマンド作成部と、
前記リオーダリングコマンド作成部により作成されたリオーダリングコマンドを、前記符号化ストリームに挿入するリオーダリングコマンド挿入部と、
前記リオーダリングコマンド挿入部によりリオーダリングコマンドが挿入された前記符号化ストリームを復号するモノラル画像用の復号部と、
を備え、
前記リオーダリングコマンド作成部は、前記モノラル画像用の復号部で前記符号化ストリームを復号させるための前記リオーダリングコマンドを作成する、
ことを特徴とする画像復号装置。
【請求項２】
前記ステレオ画像の符号化ストリームは、ＭＶＣ（Multiview Video Coding）符号化方式の符号化ストリームであり、
前記参照構造解析部は、ＭＶＣ符号化ストリームのＤＰＢ（Decoded Picture Buffer）処理を擬似的に実行してその参照構造を特定するとともに、前記ＭＶＣ符号化ストリームと同じピクチャ構造のＡＶＣ（Advanced Video Coding）符号化ストリームのＤＰＢ処理を擬似的に実行してその参照構造を特定し、両者を比較してリオーダリングコマンドを作成することを特徴とする請求項１に記載の画像復号装置。
【請求項３】
ステレオ画像が符号化された符号化ストリームに含まれるピクチャの参照構造を解析する参照構造解析ステップと、
前記参照構造解析ステップにより解析された参照構造に応じて、参照ピクチャリストの並び替えを行うリオーダリングコマンドを作成するリオーダリングコマンド作成ステップと、
前記リオーダリングコマンド作成ステップにより作成されたリオーダリングコマンドを、前記符号化ストリームに挿入するリオーダリングコマンド挿入ステップと、
前記リオーダリングコマンド挿入ステップによりリオーダリングコマンドが挿入された前記符号化ストリームを復号するモノラル画像用の復号ステップと、
を備え、
前記リオーダリングコマンド作成ステップは、前記モノラル画像用の復号ステップで前記符号化ストリームを復号させるための前記リオーダリングコマンドを作成する、
ことを特徴とする画像復号方法。
【請求項４】
ステレオ画像が符号化された符号化ストリームに含まれるピクチャの参照構造を解析する参照構造解析処理と、
前記参照構造解析処理により解析された参照構造に応じて、参照ピクチャリストの並び替えを行うリオーダリングコマンドを作成するリオーダリングコマンド作成処理と、
前記リオーダリングコマンド作成処理により作成されたリオーダリングコマンドを、前記符号化ストリームに挿入するリオーダリングコマンド挿入処理と、
前記リオーダリングコマンド挿入処理によりリオーダリングコマンドが挿入された前記符号化ストリームを復号するモノラル画像用の復号処理と、
をコンピュータに実行させ、
前記リオーダリングコマンド作成処理は、前記モノラル画像用の復号処理で前記符号化ストリームを復号させるための前記リオーダリングコマンドを作成する、
画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像の符号化ストリームを復号するための画像復号装置、画像復号方法およびそのプログラムに関する。
【背景技術】
【０００２】
視聴者に立体画像を認識させることができるディスプレイやプロジェクタの開発が進められている。視聴者に立体画像を認識させるには、視差画像を表示または投写する必要がある。人間の両目は数ｃｍほど離れているため、右目と左目で得られる像には位置ずれがある。人間の脳はこの位置ずれを一つの手がかりとして奥行きを認識している。逆にいえば、この両目に写すべき像の位置ずれ量を調整することにより、脳に擬似的に奥行きを認識させることができる。視差画像は、左右方向に位置ずれを持つ右目用画像と左目用画像とで構成される。以下、本明細書では視差画像をステレオ画像と表記する。ステレオ画像は、たとえば、Ｈ．２６４／ＭＶＣ（Multiview Video Coding）に準拠して符号化することが可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１２４２００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ステレオ画像のコンテンツは、まだ、広く普及しているとはいえない段階であり、多くのユーザはモノラル画像用の復号装置しか所持していないのが現状である（２０１０年６月現在）。たとえば、現在普及している復号装置は、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）に準拠したモノラル画像の符号化ストリームには対応するが、Ｈ．２６４／ＭＶＣに準拠した多視点画像の符号化ストリームには対応していないものがほとんどである。
【０００５】
本発明はこうした状況に鑑みなされたものであり、その目的は、ステレオ画像の符号化ストリームを、既存のモノラル画像用の復号装置で復号可能にする技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様の画像復号装置は、ステレオ画像が符号化された符号化ストリームに含まれるピクチャの参照構造を解析する参照構造解析部と、参照構造解析部により解析された参照構造に応じて、参照ピクチャリストの並び替えを行うリオーダリングコマンドを作成するリオーダリングコマンド作成部と、リオーダリングコマンド作成部により作成されたリオーダリングコマンドを、符号化ストリームに挿入するリオーダリングコマンド挿入部と、リオーダリングコマンド挿入部によりリオーダリングコマンドが挿入された符号化ストリームを復号するモノラル画像用の復号部と、を備える。リオーダリングコマンド作成部は、モノラル画像用の復号部で符号化ストリームを復号させるためのリオーダリングコマンドを作成する。
【０００７】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラム等の間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００８】
ステレオ画像の符号化ストリームを、既存のモノラル画像用の復号装置で復号できるようになる。
【図面の簡単な説明】
【０００９】
【図１】ＡＶＣ／Ｈ．２６４符号化方式の画像復号装置の構成例を示す図である。
【図２】インタービュー予測符号化を説明するための図である。
【図３】ＭＶＣ符号化方式で符号化された多視点画像の参照関係の一例を示す図である。
【図４】図３において、対象ピクチャがＶｉｅｗ２のＢピクチャＢ１である場合の参照ピクチャリストを示す図である。
【図５】本発明の実施の形態に係る画像復号装置の構成を示す図である。
【図６】ベースビューに設定された左視点画像の符号化ストリームと、ビューオーダーインデックス１に設定された右視点画像の符号化ストリームの構成例を示す図である。
【図７】図６に示した左視点画像の符号化ストリームと、右視点画像の符号化ストリームとを組み合わせたステレオ画像の符号化ストリームの構成例を示す図である。
【図８】図７に示したステレオ画像の符号化ストリームに含まれるピクチャの、復号画像、復号に用いる参照ピクチャリストおよび復号後のバッファの状態を示す図である。
【図９】図７に示したステレオ画像の符号化ストリームに含まれるピクチャと同じピクチャ構造のＡＶＣ符号化方式に準拠した符号化ストリームを復号する場合の、復号画像、復号に用いる参照ピクチャリストおよび復号後のバッファの状態を示す図である。
【図１０】図７に示したステレオ画像の符号化ストリームから得られるＭＶＣ符号化方式の参照リストと、ＡＶＣ符号化方式の参照リスト、そのときに作成されるリオーダリングコマンド、およびリオーダリング後の参照リストを示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態に係る画像復号装置の詳細を説明する前に、そこで用いられる前提技術について説明する。
【００１１】
現在、ＭＰＥＧ（Moving Picture Experts Group）などの符号化方式に準拠した装置およびシステムが普及している。そのような符号化方式では、時間軸上に連続する複数の画像をデジタル信号の情報として取り扱う。その際、効率の高い情報の放送、伝送または蓄積などを目的とし、時間方向の冗長性を利用した動き補償予測、および空間方向の冗長性を利用した離散コサイン変換などの直交変換を用いて圧縮符号化する。
【００１２】
１９９５年にはＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式が、汎用の動画像圧縮符号化方式として制定され、ＤＶＤ（Digital Versatile Disk）およびＤ−ＶＨＳ（登録商標）規格のデジタルＶＴＲによる磁気テープなどの蓄積メディア、ならびにデジタル放送などのアプリケーションとして広く用いられている。
【００１３】
さらに、２００３年に、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＭＰＥＧ−４  ＡＶＣ／Ｈ.２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ−ＴではＨ.２６４の規格番号がつけられている。以下、これをＡＶＣ／Ｈ.２６４符号化方式と呼ぶ）が国際標準として制定された。
【００１４】
図１は、ＡＶＣ／Ｈ.２６４符号化方式の画像復号装置１００の構成例を示す図である。なお、図１に示す画像復号装置の１００構成は、後述する図５に示す本発明の実施の形態に係る画像復号装置５００の構成と大部分が共通するため、すなわち、図１に示すストリームバッファ１０１およびメイン復号部１５０と、図５に示すストリームバッファ５０１およびメイン復号部５５０がそれぞれ共通するため、ここではそれらの説明を省略する。このＡＶＣ／Ｈ.２６４符号化方式では、従来のＭＰＥＧ−２などの符号化方式に比べ、より高い符号化効率を実現している。
【００１５】
これらの符号化方式では、フレーム間予測符号化が用いられる。フレーム間予測符号化では、まず、１画面相当のデジタル画像データをいくつかの画素を含むブロック（たとえば、マクロブロック）に分割し、ブロック毎に画像間の動きを示す動きベクトルを検出する。つぎに、その動きベクトルを用いて動き補償して予測画像の生成を行い、得られた予測画像と符号化対象画像との差分値を符号化する。
【００１６】
この予測画像の生成方法によって、ピクチャはいくつかのタイプに分けられる。参照画像を持たず、画面内の予測のみを用いるものをＩピクチャと呼び、１枚の参照画像を用いて画面間予測符号化を行うものをＰピクチャと呼び、２枚の参照画像を用いて画面間予測符号化を行うものをＢピクチャと呼ぶ。
【００１７】
ＭＰＥＧ−２のＰピクチャでは、表示順序で直前のＩピクチャまたはＰピクチャのみから動き補償予測を行う。これに対して、ＡＶＣ／Ｈ.２６４では、複数のピクチャを参照ピクチャとして用いることができ、この中からブロック毎に最適なものを選択して動き補償を行うことができる。また、表示順序で先行するピクチャに加えて、既に符号化済みの表示順序で後続のピクチャも参照することができる。
【００１８】
また、ＭＰＥＧ−２のＢピクチャでは、表示順序で前方１枚の参照ピクチャ、後方１枚の参照ピクチャ、またはその２枚の参照ピクチャを平均化したピクチャを、予測ピクチャとし、対象ピクチャと予測ピクチャとの差分データを符号化することができる。これに対して、ＡＶＣ／Ｈ.２６４では、表示順序で前方１枚、後方１枚という制約にとらわれず、前方や後方に関係なく任意の参照ピクチャを予測のために参照することができる。さらに、Ｂピクチャを参照ピクチャとして参照することもできる。
【００１９】
このように、ＡＶＣ／Ｈ．２６４では任意に離れたピクチャを参照することが可能なため、復号した画像をＤＰＢ（図１、５参照）に格納して管理する。
【００２０】
ＤＰＢ（Decoded Picture Buffer）には、復号後の出力待ちピクチャおよび他のピクチャから参照される参照ピクチャが格納される。各ピクチャはヘッダ情報として送られるピクチャ・オーダー・カウント（以下、ＰＯＣと表記する）と呼ばれる表示順序を示す情報（より具体的には、表示順序を示す番号）が付与され管理される。また、参照ピクチャにはフレームナンバ（以下、ＦＮと表記する）と呼ばれる番号が付与され管理される。
【００２１】
ＡＶＣ／Ｈ．２６４では、このＤＰＢに格納されているピクチャを後述する方法で並べて参照ピクチャリストを作成し、符号化ストリームにそのインデックスを記述することにより、参照ピクチャを指定している。
【００２２】
Ｐピクチャでは、ＤＰＢ内のピクチャをピクチャ・ナンバ（以下、ＰＮと表記する）の小さい順に並べる。ここで、ＰＮとは、ＦＮをもとにフィールド順を加味したものである。
【００２３】
Ｂピクチャでは、二つの参照ピクチャリストを用いる。一つはＬ０予測のリストであり、対象ピクチャよりＰＯＣの小さいピクチャをＰＯＣの大きな順に並べ、その後に対象ピクチャよりＰＯＣの大きなピクチャをＰＯＣの小さい順に並べたものである。
【００２４】
もう一つはＬ１予測のリストであり、対象ピクチャよりＰＯＣの大きなピクチャをＰＯＣの小さい順に並べ、その後に対象ピクチャよりＰＯＣの小さいピクチャをＰＯＣの大きな順に並べたものである。
【００２５】
また、スライス毎に付加されるスライスヘッダ内にリオーダリングコマンドを挿入することにより、参照ピクチャリストを変更するための情報を送ることができ、参照ピクチャリストを並び替えることも可能である。
【００２６】
リオーダリングコマンドは、参照画像のＰＮと、その参照画像を挿入すべき参照ピクチャリストのインデックスを指定することにより、並び替えを行うためのコマンドである。
【００２７】
一方、２眼式立体テレビジョンにおいては、２台のカメラにより異なる２方向から撮影され、左目用画像および右目用画像が生成される。これらを同一画面上に表示することにより、立体画像を見せることができる。この場合、左目用画像および右目用画像はそれぞれ独立した画像として別個に伝送あるいは記録されることもある。
【００２８】
その場合、単一の２次元画像の約２倍の情報量が必要となってしまう。そこで、左右いずれか一方の画像を主画像とし、他方の画像を副画像として、一般的な圧縮符号化方式によって圧縮して情報量を抑える手法が提案されている。たとえば、下記に説明するＭＶＣ符号化方式を用いて圧縮符号化する手法が提案されている。
【００２９】
１９９６年に単視点画像の符号化国際標準であるＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ１４４９６−２）符号化方式に、マルチビュープロファイルと呼ばれるステレオ画像の符号化方式が追加された（ＩＳＯ／ＩＥＣ  １４４９６−２／ＡＭＤ３）。さらに、２００８年には、ＭＰＥＧ−４  ＡＶＣ／Ｈ.２６４符号化方式（ＩＳＯ／ＩＥＣ １４４９６−１０・ＩＴＵ−Ｔ Ｈ.２６４）のＡｎｎｅｘ Ｈ（付録Ｈ）として、多視点画像符号化（＝ＭＶＣ符号化方式）の最終勧告案が決定された。
【００３０】
ＭＶＣ符号化方式では、対象の画像を「ビュー」と呼び、複数の画像を扱うことが可能である。また、Ｈ．２６４／ＡＶＣ符号化方式とマクロブロック以下の処理が共通であり、さらに ベースビューと呼ばれるＨ．２６４／ＡＶＣ符号化方式に準拠したビューが必ず含まれる。
【００３１】
ＭＶＣ符号化方式では、画像の予測効率を上げるために、Ｈ．２６４／ＡＶＣ符号化方式に加え、ビュー間のフレーム間予測符号化（以下、インタービュー予測符号化と表記する）を行うことができる。
【００３２】
図２は、インタービュー予測符号化を説明するための図である。横軸が時間方向を示しており、一つの行が一つのビューに対応する。実線の矢印で示したものが時間方向のフレーム間予測符号化であり、点線の矢印で示したものがインタービュー予測符号化である。また、インタービュー予測符号化では、フレーム間予測符号化においては参照ピクチャに用いることができない非参照ピクチャも、参照ピクチャとして用いることができる。この参照ピクチャをインタービュー限定参照ピクチャと呼ぶ。
【００３３】
ＭＶＣ符号化方式では、インタービュー予測符号化を行うため、Ｈ．２６４／ＡＶＣ符号化方式で用いていた参照ピクチャリストに、インタービュー予測符号化用のピクチャを追加する。このインタービュー予測符号化用のピクチャは、対象ピクチャと同じＰＯＣを持ち、かつ、ビューの並び順を示すビューオーダーインデックスの値が対象ピクチャのビューオーダーインデッククスの値より小さな参照ピクチャであるか、インタービュー限定参照ピクチャである。
【００３４】
つぎに、ＭＶＣ符号化方式で用いる参照ピクチャリストの一例を図３および図４を参照しながら説明する。
図３は、ＭＶＣ符号化方式で符号化された多視点画像の参照関係の一例を示す図である。横軸は時間方向を示しており、一つの行が一つのビューに対応する。ここで、Ｖｉｅｗという表記の後ろに添えられている数字は、ビューオーダーインデックスの値である。また、各ピクチャに添えられた数字はＰＯＣを表している。
【００３５】
図４は、図３において、対象ピクチャがＶｉｅｗ２のＢピクチャＢ１である場合の参照ピクチャリストを示す図である。すなわち、参照インデックス０、１は、Ｈ．２６４／ＡＶＣ符号化方式で用いられる参照ピクチャリスト作成方法にしたがい、対象ピクチャと同じビューのピクチャのＰＯＣをもとに作成されたものである。参照インデックス２、３に係るピクチャは、同じＰＯＣを持つ異なるビューのピクチャで、対象ピクチャのビューオーダーインデックスより小さいビューオーダーインデックスを持つピクチャである。
【００３６】
ここで、インタービュー予測符号化に用いる参照ピクチャの並び順は、新規に追加されたＮＡＬ（Network Abstraction Layer）のＳｕｂｓｅｔ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ（ＳｕｂｓｅｔＳＰＳ）内に記述される、ＭＶＣ用のシーケンスパラメータセット（ＳＰＳ）拡張データの中に記述される。
【００３７】
以上の前提技術を踏まえて、以下、本発明の実施の形態を詳細に説明する。
図５は、本発明の実施の形態に係る画像復号装置５００の構成を示す図である。本発明の実施の形態に係る画像復号装置５００は、左視点画像と右視点画像とにより構成されるステレオ画像が符号化された符号化ストリームを復号する。
【００３８】
実施の形態に係る画像復号装置５００は、ストリームバッファ５０１、参照構造解析部５０２、リオーダリングコマンド作成部５０３、リオーダリングコマンド挿入部５０４、ヘッダ情報変更部５０５およびメイン復号部５５０を備える。メイン復号部５５０は、逆ＶＬＣ部５０６、逆量子化部５０７、逆ＤＣＴ部５０８、ＭＣ部５０９、加算器５１０、デブロックフィルタ５１１、ＤＰＢ制御部５１２およびＤＰＢ５１３を含む。
【００３９】
これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。また、ファームウェアやソフトウェアとして上記機能を実現するプログラムを、コンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【００４０】
以下、図５を用いて本発明の実施の形態に係る画像復号装置５００の動作、すなわちステレオ映像符号化データの復号方法について説明する。
【００４１】
画像復号装置５００において、外部から入力された符号化データは一時的にストリームバッファ５０１に蓄積された後、参照構造解析部５０２に入力される。本実施の形態では、符号化ストリームは、ＭＶＣ符号化方式に準拠するものとし、ベースビューに左視点画像、ビューオーダーインデックス１に右視点画像が設定されているとする。
【００４２】
図６は、ベースビューに設定された左視点画像の符号化ストリームと、ビューオーダーインデックス１に設定された右視点画像の符号化ストリームの構成例を示す図である。図７は、図６に示した左視点画像の符号化ストリームと、右視点画像の符号化ストリームとを組み合わせたステレオ画像の符号化ストリームの構成例を示す図である。図７に示すように、左視点画像と右視点画像が交互に挿入された、ステレオ画像の符号化ストリームが生成される。ここでは、ＰピクチャがＢピクチャより時間的に前にくるように並べ替えられている。
【００４３】
図５に戻り、参照構造解析部５０２は、ステレオ画像の符号化ストリームのヘッダ情報を復号し、入力されたステレオ画像の符号化ストリームの参照構造を解析する。すなわち、当該ヘッダ情報から得られる情報を用いてＭＶＣ符号化方式で規定されるＤＰＢ処理、具体的にはマーキングやＤＰＢからの画像の消去などを擬似的に行い、参照ピクチャリストを作成する。ここで、参照構造解析部５０２で行うＤＰＢ処理は、画像のマーキングやＤＰＢへの格納、消去などを擬似的に行うのみであり、実際の画像データの復号は行わない。なお、ＤＰＢ処理の詳細な説明については、既存の一般的な処理と同様であるため、その詳細な説明を省略する。
【００４４】
図８は、図７に示したステレオ画像の符号化ストリームに含まれるピクチャの、復号画像、復号に用いる参照ピクチャリストおよび復号後のバッファの状態を示す図である。ＭＶＣ符号化方式では、各ビュー毎に独立してＤＰＢ処理を行うため、ステレオ画像の復号を行う場合には、図８に示すように二つのＤＰＢ（ＤＰＢ０、ＤＰＢ１）の処理を行うことになる。ＤＰＢ０は復号された左視点画像を格納し、ＤＰＢ１は復号された右視点画像を格納する。右視点画像は、左視点画像を参照画像としてインタービュー予測符号化を行うことができる。
【００４５】
図５に戻り、参照構造解析部５０２は、上記処理とともに、上記ステレオ画像の符号化ストリームと同じピクチャ構造のＡＶＣ符号化方式に準拠した符号化ストリームを復号した場合の、ＤＰＢの処理を擬似的に行い、参照ピクチャリストを作成する。ＭＶＣ符号化方式に準拠する符号化ストリームの拡張ヘッダ情報には、ＡＶＣ符号化方式と同一形式のヘッダ情報が含まれているため、参照構造解析部５０２はそのヘッダ情報を用いる。
【００４６】
図９は、図７に示したステレオ画像の符号化ストリームに含まれるピクチャと同じピクチャ構造のＡＶＣ符号化方式に準拠した符号化ストリームを復号する場合の、復号画像、復号に用いる参照ピクチャリストおよび復号後のバッファの状態を示す図である。なお、「ｒ」はリファレンスを意味しており、「ＬＢｒ１」は左視点画像のＢピクチャ１であり、かつ参照画像であることを示す。
【００４７】
ここで行うＤＰＢ処理に関しても、画像のマーキングやＤＰＢへの格納、消去などを擬似的に行うのみであり、実際の画像データの復号は行わない。
【００４８】
図５に戻り、リオーダリングコマンド作成部５０３は、参照構造解析部５０２により作成されたＭＶＣ符号化方式参照リストと、ＡＶＣ符号化方式参照リストとを比較し、ＡＶＣ符号化方式参照リストをＭＶＣ符号化方式参照リストと同一の並び順にするためのリオーダリングコマンドを作成する。
【００４９】
図１０は、図７に示したステレオ画像の符号化ストリームから得られるＭＶＣ符号化方式の参照リストと、ＡＶＣ符号化方式の参照リスト、そのときに作成されるリオーダリングコマンド、およびリオーダリング後の参照リストを示す。リオーダリング後の参照リストが、ＡＶＣ符号化方式の参照リストと同一になることが分かる。
【００５０】
図５に戻り、リオーダリングコマンド挿入部５０４は、リオーダリングコマンド作成部５０３により作成されたリオーダリングコマンドを、ＡＶＣ符号化方式で規定される所定の位置に挿入する。
【００５１】
ヘッダ情報変更部５０５は、ヘッダ情報を変更する。具体的には、ＭＶＣ符号化方式で用いられる拡張ヘッダから拡張部分を削除して、ＡＶＣ符号化方式と共通形式のヘッダ情報に変更する。また、ヘッダ情報に記述されているレベル値から算出されるＤＰＢのサイズを、元のサイズの２倍となるようにレベル値を修正する。また、ＰＯＣやＦＮなど、左視点画像と右視点画像で同一の値となっている情報を、ピクチャの並びに整合するように修正する。すなわち、本実施の形態では、右視点画像の値が左視点画像の値よりも大きな値となるように修正する。
【００５２】
逆ＶＬＣ部５０６は、ヘッダ情報変更部５０５から入力された符号化ストリーム内のデータに逆ＶＬＣ処理を施し、その結果を量子化ステップとともに、逆量子化部５０７に出力する。それとともに、逆ＶＬＣ部５０６は、動きベクトル情報をＭＣ部５０９を出力する。また、タイミング情報をＤＰＢ制御部５１２に出力する。
【００５３】
逆量子化部５０７は、指示された量子化ステップにしたがって、入力されたデータに逆量子化処理を施し、その結果を逆ＤＣＴ部５０８に入力する。逆ＤＣＴ部５０８は、入力されたデータに逆ＤＣＴ処理を施して差分画像を作成し、加算器５１０に出力する。
【００５４】
ＤＰＢ５１３は、復号画像を保持するためのバッファである。ＭＣ部５０９は、ＤＰＢ５１３からＤＰＢ制御部５１２を介して入力される参照ピクチャと、逆ＶＬＣ部５０６から入力される動きベクトルを用いて予測画像を作成して加算器５１０に出力する。
【００５５】
加算器５１０は、逆ＤＣＴ部５０８から入力される差分画像と、ＭＣ部１０９から入力される予測画像を加算して復号画像を作成し、デブロックフィルタ５１１を介してＤＰＢ制御部５１２に出力する。ＤＰＢ制御部５１２は、当該復号画像をＤＰＢ５１３に格納するとともに、格納された復号画像を所定のタイミングで外部（たとえば、表示装置）に出力する。また、上記タイミング情報に応じて、ＤＰＢ５１３に格納された復号画像を参照ピクチャとしてＭＣ部５０９に出力する。
【００５６】
以上説明したように本実施の形態によれば、ステレオ画像の符号化ストリームの参照構造を解析し、リオーダリングコマンドを作成、挿入することにより、ステレオ画像の符号化ストリームを、既存のモノラル画像用の復号装置で復号できるようにすることができる。具体的には、ＭＶＣ符号化方式のビットストリームの予測構造を維持したまま、ＡＶＣ符号化方式に準拠したビットストリームの形態に変更することにより、従来のＨ．２６４／ＡＶＣ符号化方式の復号装置を用いて、ＭＶＣ符号化方式で符号化された多視点映像、特にステレオ映像のビットストリームを復号化して、ステレオ映像の出力を得ることができる。
【００５７】
以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００５８】
５００  画像復号装置、  ５５０  メイン復号部、  ５０１  ストリームバッファ、  ５０２  参照構造解析部、  ５０３  リオーダリングコマンド作成部、  ５０４  リオーダリングコマンド挿入部、  ５０５  ヘッダ情報変更部、  ５０６  逆ＶＬＣ部、  ５０７  逆量子化部、  ５０８  逆ＤＣＴ部、  ５０９  ＭＣ部、  ５１０  加算器、  ５１１  デブロックフィルタ、  ５１２  ＤＰＢ制御部、  ５１３  ＤＰＢ。
【図１】
2012028960.tif 000003
【図２】
2012028960.tif 000004
【図３】
2012028960.tif 000005
【図４】
2012028960.tif 000006
【図５】
2012028960.tif 000007
【図６】
2012028960.tif 000008
【図７】
2012028960.tif 000009
【図８】
2012028960.tif 000010
【図９】
2012028960.tif 000011
【図１０】
2012028960.tif 000012