(57)【特許請求の範囲】
【請求項１】
第１視点の第１画像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の第２画像信号が符号化された第２符号化信号とを復号する画像復号装置であって、
前記第１符号化信号及び前記第２符号化信号を、参照画像を参照して復号することにより第１復号画像信号及び第２復号画像信号を生成する画像復号部と、
前記第１復号画像信号及び前記第２復号画像信号を前記参照画像として格納するためのフレームメモリとを備え、
前記画像復号部は、前記第１復号画像信号を前記参照画像として参照して前記第１符号化信号を復号し、前記第１復号画像信号及び前記第２復号画像信号を前記参照画像として参照して前記第２符号化信号を復号し、
前記画像復号装置は、さらに、
前記第１復号画像信号が格納される前記フレームメモリの領域を特定するための第１管理情報と、前記第２復号画像信号が格納される前記フレームメモリの領域を特定するための第２管理情報とを格納する管理情報格納部と、
前記第１管理情報を参照して、前記画像復号部に前記第１符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を通知し、前記第１管理情報及び前記第２管理情報を参照して、前記画像復号部に前記第２符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を通知する制御部とを備える
画像復号装置。
【請求項２】
前記第１管理情報は、
前記第１復号画像信号ごとに、前記第１符号化信号に含まれ、前記第１復号画像信号を特定するための第１シンタックス情報と、当該第１シンタックス情報に対応付けられた第１識別番号とを含む第１シンタックス情報リストと、
前記第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す第１マッピングリストとを含み、
前記制御部は、前記第１シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、
前記第２管理情報は、
前記第２復号画像信号ごとに、前記第２符号化信号に含まれ、前記第２復号画像信号を特定するための第２シンタックス情報と、当該第２シンタックス情報に対応付けられた第２識別番号とを含む第２シンタックス情報リストと、
前記第２復号画像信号ごとに、前記第２識別番号と前記フレームメモリの領域との対応関係を示す第２マッピングリストとを含み、
前記制御部は、前記第２シンタックス情報リストを参照することにより、前記第２復号画像信号に対応する前記第２識別番号を取得し、前記第２マッピングリストを参照することにより、前記第２識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知する
請求項１記載の画像復号装置。
【請求項３】
前記第１シンタックス情報及び第２シンタックス情報は、Ｈ．２６４規格で定義される復号ピクチャバッファ（ＤＰＢ）を更新する際に必要なシンタックス情報である
請求項２記載の画像復号装置。
【請求項４】
前記第１シンタックス情報リストは、
前記画像復号部による前記第１符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１シンタックス情報と前記第１識別番号とを含む視点内参照用シンタックス情報リストと、
前記画像復号部による前記第２符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１シンタックス情報と前記第１識別番号とを含む視点間参照用シンタックス情報リストとを含み、
前記制御部は、
前記画像復号部が前記第１符号化信号を復号する際には、前記視点内参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、
前記画像復号部が前記第２符号化信号を復号する際には、前記視点間参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知する
請求項２記載の画像復号装置。
【請求項５】
前記第１マッピングリストは、
前記画像復号部による前記第１符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す視点内参照用マッピングリストと、
前記画像復号部による前記第２符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す視点間参照用マッピングリストとを含み、
前記制御部は、
前記画像復号部が前記第１符号化信号を復号する際には、前記視点内参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記視点内参照用マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、
前記画像復号部が前記第２符号化信号を復号する際には、前記視点間参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記視点間参照用マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知する
請求項４記載の画像復号装置。
【請求項６】
前記画像復号装置は、さらに、
前記フレームメモリに格納されている前記第１復号画像信号及び前記第２復号画像信号を外部に出力する画像表示部を備え、
前記第１マッピングリストは、さらに、前記第１復号画像信号ごとに、当該第１復号画像信号が前記画像表示部により外部に出力されたか否かを示す第１画像表示情報と、当該第１復号画像信号が前記参照画像として用いられるか否かを示す第１参照情報とを含み、
前記制御部は、前記第１画像表示情報により当該第１復号画像信号が外部に出力されたことが示され、かつ、前記第１参照情報により当該第１復号画像信号が前記参照画像として用いられないことが示される場合、当該第１復号画像信号が格納されている前記フレームメモリの領域に、前記画像復号部により新たに復号された第１復号画像信号を格納する
請求項２記載の画像復号装置。
【請求項７】
前記画像復号部は、
前記第１符号化信号を復号することにより第１復号画像信号を生成する第１復号部と、
前記第２符号化信号を復号することにより第２復号画像信号を生成する第２復号部とを備え、
前記制御部は、
前記第１復号部及び前記第２復号部により、前記第１符号化信号及び前記第２符号化信号の予め定められた復号処理単位の復号処理が共に完了した後、前記第１復号部及び前記第２復号部に次の復号処理単位の復号処理を開始させる
請求項１記載の画像復号装置。
【請求項８】
前記画像復号装置は、さらに、
第１完了フラグ及び第２完了フラグを格納するためのフラグ格納部を備え、
前記制御部は、
前記第１復号部を制御するとともに、前記第１復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第１完了フラグを格納する第１制御部と、
前記第２復号部を制御するとともに、前記第２復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第２完了フラグを格納する第２制御部とを備え、
前記第１制御部は、前記第１復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了し、かつ、前記フラグ格納部に前記第２完了フラグが格納されている場合、次の復号処理単位の前記第１符号化信号の復号処理を前記第１復号部に開始させ、
前記第２制御部は、前記第２復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了し、かつ、前記フラグ格納部に前記第１完了フラグが格納されている場合、次の復号処理単位の前記第２符号化信号の復号処理を前記第２復号部に開始させる
請求項７記載の画像復号装置。
【請求項９】
前記画像復号部は、
前記第１符号化信号及び前記第２符号化信号の一方を選択する選択部と、
前記選択部により選択された前記第１符号化信号又は前記第２符号化信号を復号する復号部とを備え、
前記制御部は、前記選択部に前記第１符号化信号及び前記第２符号化信号のうちの一方の信号を選択させ、当該一方の信号の予め定められた復号処理単位の復号処理が完了した後、前記選択部に前記第１符号化信号及び前記第２符号化信号のうちの他方の信号を選択させる
請求項１記載の画像復号装置。
【請求項１０】
前記画像復号装置は、さらに、
第１完了フラグ及び第２完了フラグを格納するためのフラグ格納部を備え、
前記制御部は、
前記復号部を制御するとともに、前記復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第１完了フラグを格納する第１制御部と、
前記復号部を制御するとともに、前記復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第２完了フラグを格納する第２制御部とを備え、
前記第１制御部は、前記フラグ格納部に前記第２完了フラグが格納されている場合、次の復号処理単位の前記第１符号化信号の復号処理を前記復号部に開始させ、
前記第２制御部は、前記フラグ格納部に前記第１完了フラグが格納されている場合、次の復号処理単位の前記第２符号化信号の復号処理を前記復号部に開始させる
請求項９記載の画像復号装置。
【請求項１１】
前記画像復号装置は、さらに、
前記第１符号化信号と前記第２符号化信号とを予め定められた符号化単位ごとに交互に配置することにより１つの第３符号化信号を生成する結合部を備え、
前記画像復号部は、前記第３符号化信号に含まれる前記第１符号化信号及び前記第２符号化信号を前記符号化単位ごとに交互に復号する
請求項１記載の画像復号装置。
【請求項１２】
前記符号化単位は、フレーム単位、フィールド単位及びスライス単位のうちのいずれかである
請求項１１記載の画像復号装置。
【請求項１３】
前記結合部は、前記符号化単位の対応する前記第１符号化信号と前記第２符号化信号とのうち、前記符号化単位の前記第１符号化信号を配置した後に、当該第１符号化信号に対応する、前記符号化単位の前記第２符号化信号を配置することにより前記第３符号化信号を生成する
請求項１１記載の画像復号装置。
【請求項１４】
前記復号処理単位は、フレーム単位、フィールド単位、ヘッダ復号処理単位、及びスライス単位のうちのいずれかである
請求項７〜１０のいずれか１項に記載の画像復号装置。
【請求項１５】
第１視点の第１画像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の第２画像信号が符号化された第２符号化信号とを復号する画像復号方法であって、
前記第１符号化信号及び前記第２符号化信号を、参照画像を参照して復号することにより第１復号画像信号及び第２復号画像信号を生成する画像復号ステップと、
前記第１復号画像信号及び前記第２復号画像信号を前記参照画像としてフレームメモリに格納する格納ステップとを含み、
前記画像復号ステップでは、前記第１復号画像信号を前記参照画像として参照して前記第１符号化信号を復号し、前記第１復号画像信号及び前記第２復号画像信号を前記参照画像として参照して前記第２符号化信号を復号し、
前記画像復号方法は、さらに、
前記第１復号画像信号が格納される前記フレームメモリの領域を特定するための第１管理情報と、前記第２復号画像信号が格納される前記フレームメモリの領域を特定するための第２管理情報とを格納する管理情報格納ステップと、
前記第１管理情報を参照して、前記第１符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を特定し、前記第１管理情報及び前記第２管理情報を参照して、前記第２符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を特定する制御ステップとを含む
画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号装置及び画像復号方法に関し、特に、第１視点の第１画像信号が符号化された第１符号化信号と、第２視点の第２画像信号が符号化された第２符号化信号とを復号する画像復号装置に関する。
【背景技術】
【０００２】
近年、高品位画像システムとして、デジタル放送及びパッケージメディアを中心とした立体画像システムに対する期待が高まっている。一般的に、人間は、両眼の視差によって奥行きを知覚できることが知られている。立体画像システムでは、これを利用し、この視差に相当する画像のずれを有する２つの画像を、左眼及び右眼それぞれに独立に映し出すことで立体感を生み出す。
【０００３】
左眼及び右眼へ、それぞれ独立に視差のある画像を与える方法に関しては、これまで様々な方式が提案されている。例えば、左眼用の二次元画像と右眼用の二次元画像とを同一画面に交互に表示する。さらに、その表示タイミングに同期して、液晶シャッタ等を内蔵したメガネ等を用いて左眼及び右眼のシャッタを切り替える。これにより、視聴者に、視差画像を与える方法がある。なお、より臨場感を出すためには、左眼と右眼とのそれぞれに対して、二次元画像システムと同等の表示コマ数を与える必要がある。
【０００４】
すなわち、このような立体画像システムにおいては、左眼用及び右眼用といった複数のビットストリームを同時に復号処理することが必要になる。つまり、立体画像システムは、二次元画像システムに比べて大きな画像復号処理性能が必要となり、これによりコストが増大する。
【０００５】
このようなコストの増大を軽減しつつ、複数のビットストリームを同時に復号する方法としては、特許文献１に、複数の画像復号部を用いて並列に複数のビットストリームを復号する技術が開示されている。
【０００６】
図３０は、特許文献１記載の画像復号装置５００の構成を示すブロック図である。
【０００７】
図３０に示す画像復号装置５００は、入力部５０２と、ヘッダ解析部５０３と、復号制御部５０４とを備える。さらに、画像復号装置５００は、復号制御部５０４の後段に、複数の算術復号部５０５、５０６及び５０７と、複数の記憶部５０８、５０９及び５１０と、複数の画像復号部５１１、５１２及び５１３とをそれぞれ並列に備える。また、画像復号装置５００には、複数のビットストリームＡ、Ｂ及びＣが入力される。
【０００８】
復号制御部５０４は、ヘッダ解析部５０３での解析結果を受けて、算術復号部５０５、５０６及び５０７での算術復号処理の開始タイミング、及びビットストリーム中の算術復号処理の開始位置などを、算術復号部５０５、５０６及び５０７に通知する。
【０００９】
算術復号部５０５、５０６及び５０７は、入力するビットストリームＡ、Ｂ及びＣに対応して、それぞれ個別に設けられる。この算術復号部５０５、５０６及び５０７は、それぞれビットストリームＡ、Ｂ、Ｃの算術復号処理を同時並行的に行い、生成された算術復号データを記憶部５０８、５０９及び５１０にそれぞれ出力する。
【００１０】
画像復号部５１１、５１２及び５１３は、記憶部５０８、５０９及び５１０に格納された算術復号データを、実際の画像データに復号することにより、複数のデータストリームを同時再生する。
【００１１】
また、特許文献２には、単一の画像復号部を用いて、時分割処理により複数のビットストリームを同時に復号する方法が開示されている。
【００１２】
図３１は、特許文献２記載の画像復号装置６００の構成を示すブロック図である。
【００１３】
図３１に示す画像復号装置６００は、複数のＶＢＶバッファ６０１と、可変長復号器６０２と、逆量子化器６０３と、ＩＤＣＴ器６０４と、加算器６０５と、画像メモリ６０６と、動き補償予測器６０７と、多重分離器６１１と、信号切替器６１２、６１３及び６１４と、復号制御器６２１と、表示制御器６２２と、スイッチ制御器６２３とを備える。
【００１４】
画像復号装置６００では、可変長復号器６０２と、逆量子化器６０３と、ＩＤＣＴ器６０４と、加算器６０５と、動き補償予測器６０７とが、それぞれ単一の資源で構成されている。また、画像復号装置６００は、これらの回路に複数のビットストリームを時分割で入力し、復号処理を行う。
【００１５】
具体的には、複数のチャネルの画像ビットストリームが多重化されているトランスポートストリームが、前段の多重分離器６１１に入力される。多重分離器６１１は、当該トランスポートストリームを各チャネルのビットストリームに分離する。分離された各チャネルのビットストリームは、対応するＶＢＶバッファ６０１（ＶＢＶバッファ１からＶＢＶバッファＮ）にそれぞれ蓄積される。
【００１６】
多重分離処理後は、ＶＢＶバッファ１からＶＢＶバッファＮに格納されているＮ本のビットストリームを同時復号する処理を行う必要がある。これに対して、特定のチャネルに対応するＶＢＶバッファ６０１内のビットストリームが、スイッチ制御器６２３からのスイッチ切替信号に基づき信号切替器６１２により選択される。この選択されたビットストリームが可変長復号器６０２に入力される。その後、このビットストリームは、可変長復号器６０２、逆量子化器６０３、ＩＤＣＴ器６０４及び動き補償予測器６０７により復号処理される。この復号処理された画像データは、加算器６０５から信号切替器６１３に入力される。信号切替器６１３は、この画像データを、スイッチ制御器６２３の出力するスイッチ切替信号に基づいて、複数の画像メモリ６０６（画像メモリ１から画像メモリＮ）のうちの、対応するチャネルのメモリに格納する。
【００１７】
表示制御器６２２は、所定の表示タイミングで、画像メモリ１から画像メモリＮの中のそれぞれのチャネルの画像データを同時に読み出し表示するように制御を行う。これにより、表示制御器６２２は、チャネル間の同期を取り、複数のビットストリームを同時再生する。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２００７−１５０５６９号公報
【特許文献２】特開２０００−１６５８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
上述したように立体画像システムでは、視聴者に対して臨場感を与えるため、左眼用画像及び右眼用画像はそれぞれ独立した画像として個別に伝送、又は記録されることが必要になる。よって、立体画像システムは、単一の二次元画像システムに比べて、約２倍の情報量が必要となってしまう。これは、伝送系システムでは膨大な転送帯域が必要になり、また蓄積系になると、これに加えて膨大な記憶容量が必要となる。これにより、システムとしてのコストの増大を招く。
【００２０】
これを鑑み、立体画像システムを実現するためのデータ量を軽減するために、画像符号化方式も工夫されようとしている。Ｈ．２６４−ＭＶＣ（Ｍｕｌｔｉ  Ｖｉｅｗ  Ｃｏｄｉｎｇ）規格では、各視点の映像間には相関が存在する場合が多いことを利用し、Ｈ．２６４規格をベースに、図３２に示すような視点間の予測構造を持たせる。これにより、冗長性を取り除くことで、圧縮効率を高めることができる。
【００２１】
各視点は、ｖｉｅｗ＿ｉｄなる視点ＩＤが付与され、ビューという形で管理されるとともに、区別される。このビューには、他のビューから参照される対象になるベースビューと、ベースビューを参照するノンベースビューとが存在する。つまり、視点間予測時はベースビューの画像を予測画像として、ノンベースビューの符号化を行うことにより符号化効率を上げている。
【００２２】
しかしながら、このような視点間予測を用いて符号化された符号データが、ビューごとに個別のビットストリームとして提供されるシステムにおいては、これら複数のビットストリームを復号する上で、従来技術では、ノンベースビューが参照すべき画像の特定に関する課題が存在する。
【００２３】
具体的には、Ｈ．２６４−ＭＶＣ規格では、ノンベースビューからは、同一時刻（同一アクセスユニット）に復号されたベースビューの画像のみ参照が許可されている。よって、ビットストリーム中のシンタックス情報では、各ノンベースビューに対し、参照すべきビュー（ベースビュー）のｖｉｅｗ＿ｉｄのみが指定される。
【００２４】
つまり、ノンベースビューの復号に際しては、ｖｉｅｗ＿ｉｄにより参照対象となるビュー（ベースビュー）を知り、そのベースビューの復号後画像が格納されているフレームメモリの中から、どれが参照対象画像であるか（どれが同一アクセスユニットの画像であるか）を知る必要がある。
【００２５】
しかしながら、従来技術のように、各チャネルの画像の復号処理を、他のチャネルの復号情報を考慮することなく、それぞれ独立に実施する構成であると、各チャネルが参照すべき画像の特定が行えず、正しく復号処理が行えないという課題が発生する。
【００２６】
本発明は、この課題を解決するためになされたものであり、その目的は、視点間予測を用いて符号化された複数のビットストリームを復号できるとともに、各チャネルが参照すべき画像を特定できる画像復号装置を提供することである。
【課題を解決するための手段】
【００２７】
上記目的を達成するために、本発明の一形態に係る画像復号装置は、第１視点の第１画像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の第２画像信号が符号化された第２符号化信号とを復号する画像復号装置であって、前記第１符号化信号及び前記第２符号化信号を、参照画像を参照して復号することにより第１復号画像信号及び第２復号画像信号を生成する画像復号部と、前記第１復号画像信号及び前記第２復号画像信号を前記参照画像として格納するためのフレームメモリとを備え、前記画像復号部は、前記第１復号画像信号を前記参照画像として参照して前記第１符号化信号を復号し、前記第１復号画像信号及び前記第２復号画像信号を前記参照画像として参照して前記第２符号化信号を復号し、前記画像復号装置は、さらに、前記第１復号画像信号が格納される前記フレームメモリの領域を特定するための第１管理情報と、前記第２復号画像信号が格納される前記フレームメモリの領域を特定するための第２管理情報とを格納する管理情報格納部と、前記第１管理情報を参照して、前記画像復号部に前記第１符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を通知し、前記第１管理情報及び前記第２管理情報を参照して、前記画像復号部に前記第２符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を通知する制御部とを備える。
【００２８】
この構成によれば、本発明の一形態に係る画像復号装置は、第１管理情報を用いて、第２符号化信号の復号の際に参照される第１復号画像信号を特定できる。このように、本発明の一形態に係る画像復号装置は、視点間予測を用いて符号化された複数のビットストリームを復号できるとともに、各チャネルが参照すべき画像を特定できる。
【００２９】
また、前記第１管理情報は、前記第１復号画像信号ごとに、前記第１符号化信号に含まれ、前記第１復号画像信号を特定するための第１シンタックス情報と、当該第１シンタックス情報に対応付けられた第１識別番号とを含む第１シンタックス情報リストと、前記第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す第１マッピングリストとを含み、前記制御部は、前記第１シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、前記第２管理情報は、前記第２復号画像信号ごとに、前記第２符号化信号に含まれ、前記第２復号画像信号を特定するための第２シンタックス情報と、当該第２シンタックス情報に対応付けられた第２識別番号とを含む第２シンタックス情報リストと、前記第２復号画像信号ごとに、前記第２識別番号と前記フレームメモリの領域との対応関係を示す第２マッピングリストとを含み、前記制御部は、前記第２シンタックス情報リストを参照することにより、前記第２復号画像信号に対応する前記第２識別番号を取得し、前記第２マッピングリストを参照することにより、前記第２識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知してもよい。
【００３０】
この構成によれば、本発明の一形態に係る画像復号装置は、第１シンタックス情報リスト及び第１マッピングリストを用いて、第２符号化信号の復号の際に参照される第１復号画像信号を特定できる。
【００３１】
また、前記第１シンタックス情報及び第２シンタックス情報は、Ｈ．２６４規格で定義される復号ピクチャバッファ（ＤＰＢ）を更新する際に必要なシンタックス情報であってもよい。
【００３２】
また、前記第１シンタックス情報リストは、前記画像復号部による前記第１符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１シンタックス情報と前記第１識別番号とを含む視点内参照用シンタックス情報リストと、前記画像復号部による前記第２符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１シンタックス情報と前記第１識別番号とを含む視点間参照用シンタックス情報リストとを含み、前記制御部は、前記画像復号部が前記第１符号化信号を復号する際には、前記視点内参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、前記画像復号部が前記第２符号化信号を復号する際には、前記視点間参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知してもよい。
【００３３】
この構成によれば、本発明の一形態に係る画像復号装置は、視点内の参照に用いられる視点内参照用シンタックス情報リストと、視点間の参照に用いられる視点間参照用シンタックス情報リストとを個別に設けることにより、視点内の参照と、視点間の参照とを個別に管理及び制御できる。これにより、本発明の一形態に係る画像復号装置は、視点間の参照画像の管理及び制御を好適に行える。
【００３４】
また、前記第１マッピングリストは、前記画像復号部による前記第１符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す視点内参照用マッピングリストと、前記画像復号部による前記第２符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す視点間参照用マッピングリストとを含み、前記制御部は、前記画像復号部が前記第１符号化信号を復号する際には、前記視点内参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記視点内参照用マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、前記画像復号部が前記第２符号化信号を復号する際には、前記視点間参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記視点間参照用マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知してもよい。
【００３５】
この構成によれば、本発明の一形態に係る画像復号装置は、視点内の参照に用いられる視点内参照用マッピングリストと、視点間の参照に用いられる視点間参照用マッピングリストとを個別に設けることにより、視点内の参照と、視点間の参照とを個別に管理及び制御できる。これにより、本発明の一形態に係る画像復号装置は、視点間の参照画像の管理及び制御を好適に行える。
【００３６】
また、前記画像復号装置は、さらに、前記フレームメモリに格納されている前記第１復号画像信号及び前記第２復号画像信号を外部に出力する画像表示部を備え、前記第１マッピングリストは、さらに、前記第１復号画像信号ごとに、当該第１復号画像信号が前記画像表示部により外部に出力されたか否かを示す第１画像表示情報と、当該第１復号画像信号が前記参照画像として用いられるか否かを示す第１参照情報とを含み、前記制御部は、前記第１画像表示情報により当該第１復号画像信号が外部に出力されたことが示され、かつ、前記第１参照情報により当該第１復号画像信号が前記参照画像として用いられないことが示される場合、当該第１復号画像信号が格納されている前記フレームメモリの領域に、前記画像復号部により新たに復号された第１復号画像信号を格納してもよい。
【００３７】
この構成によれば、本発明の一形態に係る画像復号装置は、第１マッピングリストを用いて、フレームメモリの空き領域の管理を好適に行える。
【００３８】
また、前記画像復号部は、前記第１符号化信号を復号することにより第１復号画像信号を生成する第１復号部と、前記第２符号化信号を復号することにより第２復号画像信号を生成する第２復号部とを備え、前記制御部は、前記第１復号部及び前記第２復号部により、前記第１符号化信号及び前記第２符号化信号の予め定められた復号処理単位の復号処理が共に完了した後、前記第１復号部及び前記第２復号部に次の復号処理単位の復号処理を開始させてもよい。
【００３９】
この構成によれば、本発明の一形態に係る画像復号装置は、第１符号化信号の復号処理と第２符号化信号の復号処理との同期を取ることができる。
【００４０】
また、前記画像復号装置は、さらに、第１完了フラグ及び第２完了フラグを格納するためのフラグ格納部を備え、前記制御部は、前記第１復号部を制御するとともに、前記第１復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第１完了フラグを格納する第１制御部と、前記第２復号部を制御するとともに、前記第２復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第２完了フラグを格納する第２制御部とを備え、前記第１制御部は、前記第１復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了し、かつ、前記フラグ格納部に前記第２完了フラグが格納されている場合、次の復号処理単位の前記第１符号化信号の復号処理を前記第１復号部に開始させ、前記第２制御部は、前記第２復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了し、かつ、前記フラグ格納部に前記第１完了フラグが格納されている場合、次の復号処理単位の前記第２符号化信号の復号処理を前記第２復号部に開始させてもよい。
【００４１】
この構成によれば、本発明の一形態に係る画像復号装置は、第１符号化信号の復号処理と第２符号化信号の復号処理とを個別に制御することにより、復号処理の制御の複雑化を抑制できる。
【００４２】
また、前記画像復号部は、前記第１符号化信号及び前記第２符号化信号の一方を選択する選択部と、前記選択部により選択された前記第１符号化信号又は前記第２符号化信号を復号する復号部とを備え、前記制御部は、前記選択部に前記第１符号化信号及び前記第２符号化信号のうちの一方の信号を選択させ、当該一方の信号の予め定められた復号処理単位の復号処理が完了した後、前記選択部に前記第１符号化信号及び前記第２符号化信号のうちの他方の信号を選択させてもよい。
【００４３】
この構成によれば、本発明の一形態に係る画像復号装置は、第１符号化信号の復号処理と第２符号化信号の復号処理との同期を取ることができる。
【００４４】
また、前記画像復号装置は、さらに、第１完了フラグ及び第２完了フラグを格納するためのフラグ格納部を備え、前記制御部は、前記第１復号部を制御するとともに、前記第１復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第１完了フラグを格納する第１制御部と、前記第２復号部を制御するとともに、前記第２復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第２完了フラグを格納する第２制御部とを備え、前記第１制御部は、前記フラグ格納部に前記第２完了フラグが格納されている場合、次の復号処理単位の前記第１符号化信号の復号処理を前記復号部に開始させ、前記第２制御部は、前記フラグ格納部に前記第１完了フラグが格納されている場合、次の復号処理単位の前記第２符号化信号の復号処理を前記復号部に開始させてもよい。
【００４５】
この構成によれば、本発明の一形態に係る画像復号装置は、第１符号化信号の復号処理と第２符号化信号の復号処理とを個別に制御することにより、復号処理の制御の複雑化を抑制できる。
【００４６】
また、前記画像復号装置は、さらに、前記第１符号化信号と前記第２符号化信号とを予め定められた符号化単位ごとに交互に配置することにより１つの第３符号化信号を生成する結合部を備え、前記画像復号部は、前記第３符号化信号に含まれる前記第１符号化信号及び前記第２符号化信号を前記符号化単位ごとに交互に復号してもよい。
【００４７】
この構成によれば、本発明の一形態に係る画像復号装置は、第１符号化信号の復号処理と第２符号化信号の復号処理との同期を取ることができる。
【００４８】
また、前記符号化単位は、フレーム単位、フィールド単位及びスライス単位のうちのいずれかであってもよい。
【００４９】
また、前記結合部は、前記符号化単位の対応する前記第１符号化信号と前記第２符号化信号とのうち、前記符号化単位の前記第１符号化信号を配置した後に、当該第１符号化信号に対応する、前記符号化単位の前記第２符号化信号を配置することにより前記第３符号化信号を生成してもよい。
【００５０】
この構成によれば、本発明の一形態に係る画像復号装置は、第２符号化信号の復号処理の際に参照される第１符号化信号を常に先に復号できる。
【００５１】
また、前記復号処理単位は、フレーム単位、フィールド単位、ヘッダ復号処理単位、及びスライス単位のうちのいずれかであってもよい。
【００５２】
なお、本発明は、このような画像復号装置として実現できるだけでなく、画像復号装置に含まれる特徴的な手段をステップとする画像復号方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【００５３】
さらに、本発明は、このような画像復号装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像復号装置を備える画像再生装置等として実現したり、このような画像復号装置を含む画像表示システムとして実現したりできる。
【発明の効果】
【００５４】
以上のように、本発明は、視点間予測を用いて符号化された複数のビットストリームを復号できるとともに、各チャネルが参照すべき画像を特定できる画像復号装置を提供できる。
【図面の簡単な説明】
【００５５】
【図１】本発明の実施の形態１に係る画像復号装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係る画像復号装置の構成を示すブロック図である。
【図３】本発明の実施の形態１に係る画像復号部のブロック図である。
【図４】本発明の実施の形態１に係る参照ピクチャ番号を示す図である。
【図５】本発明の実施の形態１に係るシンタックス情報の構成を示す図である。
【図６】本発明の実施の形態１に係るＤＰＢリストの構成を示す図である。
【図７】本発明の実施の形態１に係るフレームメモリマッピングリストの構成を示す図である。
【図８】実施の形態１に係る参照ピクチャ番号とベースアドレスとの対応関係を示す図である。
【図９】本発明の実施の形態１に係る制御部の処理を示す図である。
【図１０】本発明の実施の形態１に係る画像表示タイミングを示す図である。
【図１１】本発明の実施の形態１に係るストリーム構造を示す図である。
【図１２】本発明の実施の形態１に係る画像復号装置による復号処理のフローチャートである。
【図１３】本発明の実施の形態１に係る画像復号装置による復号処理のフローチャートである。
【図１４】本発明の実施の形態１に係るＬ側復号処理及びＲ側復号処理の同期関係を示す図である。
【図１５】本発明の実施の形態１に係る画像復号装置の動作例を示す図である。
【図１６】本発明の実施の形態２に係る画像復号装置の構成を示すブロック図である。
【図１７】本発明の実施の形態２に係る画像表示タイミングを示す図である。
【図１８】本発明の実施の形態２におけるＬ側復号処理及びＲ側復号処理の同期関係を示す図である。
【図１９】本発明の実施の形態２に係る画像復号装置の動作例を示す図である。
【図２０】本発明の実施の形態３に係る画像復号装置の構成を示すブロック図である。
【図２１】本発明の実施の形態３に係るフレームメモリマッピングリストの構成を示す図である。
【図２２】本発明の実施の形態３に係る画像復号装置の動作例を示す図である。
【図２３】本発明の実施の形態４に係る画像復号装置の構成を示すブロック図である。
【図２４】本発明の実施の形態５に係る画像復号装置の構成を示すブロック図である。
【図２５】本発明の実施の形態６に係る画像復号装置の構成を示すブロック図である。
【図２６】本発明の実施の形態６に係る制御部の処理を示す図である。
【図２７】本発明の実施の形態６に係る画像復号装置による復号処理のフローチャートである。
【図２８】本発明の実施の形態６に係る画像復号装置による復号処理のフローチャートである。
【図２９】本発明の実施の形態７に係る画像復号装置の構成を示すブロック図である。
【図３０】従来技術の画像復号装置の構成を示すブロック図である。
【図３１】従来技術の画像復号装置の構成を示すブロック図である。
【図３２】Ｈ．２６４−ＭＶＣ規格における参照関係を示す図である。
【発明を実施するための形態】
【００５６】
以下、本発明に係る画像復号装置の実施の形態について、図面を参照しながら詳細に説明する。
【００５７】
（実施の形態１）
本発明の実施の形態１に係る画像復号装置は、第１符号化ビットストリームを復号した第１復号画像信号が格納される領域を特定するための第１管理情報を用いて、第２ビットストリームの復号の際に参照される参照画像が格納されている領域を特定する。これにより、本発明の実施の形態１に係る画像復号装置は、視点間予測を用いて符号化された複数のビットストリームを復号できるとともに、各チャネルが参照すべき画像を特定できる。
【００５８】
まず、本発明の実施の形態に係る画像復号装置１００の構成を説明する。
【００５９】
図１は、本発明の実施の形態１に係る画像復号装置１００の構成を示すブロック図である。
【００６０】
図１に示す画像復号装置１００は、符号化ビットストリーム１１０及び符号化ビットストリーム１１１を復号することにより出力画像信号１１２を生成する。
【００６１】
符号化ビットストリーム１１０及び１１１は、それぞれ、互いに視差を有する画像が符号化されたデータを含むストリームデータである。言い換えると、符号化ビットストリーム１１０は、第１視点で撮影された第１画像信号が符号化された第１符号化信号である。また、符号化ビットストリーム１１１は、第１視点と異なる第２視点で撮影された第２画像信号が符号化された第２符号化信号である。
【００６２】
なお、本実施の形態では、Ｈ．２６４規格で符号化されているビットストリームの復号処理を例に説明する。例えば、符号化ビットストリーム１１０及び１１１は、Ｈ．２６４−ＭＶＣ規格に準拠して符号化されている。また、符号化ビットストリーム１１０は左眼用ビットストリーム（Ｌ側）である。また、符号化ビットストリーム１１１は右眼用ビットストリーム（Ｒ側）である。また、符号化ビットストリーム１１０（Ｌ側）及び１１１（Ｒ側）は２本の独立した符号化ビットストリームとして、画像復号装置１００に入力される。
【００６３】
また、Ｌ側符号化ビットストリーム１１０はベースビューであり、Ｒ側符号化ビットストリームはノンベースビューであるとする。
【００６４】
この画像復号装置１００は、画像復号部１２０と、制御部１３０と、管理情報格納部１４０と、フレームメモリ管理部１５０と、画像表示部１６０とを、フレームメモリ１７０とを備える。
【００６５】
画像復号部１２０は、符号化ビットストリーム１１０及び符号化ビットストリーム１１１を、参照画像を参照して復号することにより第１復号画像信号（以下、Ｌ側復号ピクチャ）及び第２復号画像信号（以下、Ｒ側復号ピクチャ）を生成する。なお、Ｌ側復号ピクチャ及びＲ側復号ピクチャを特に区別しない場合には、単に「復号ピクチャ」とも記す。
【００６６】
フレームメモリ１７０は、画像復号部１２０により生成された復号後の画像データ（Ｌ側復号ピクチャ及びＲ側復号ピクチャ）を格納する。
【００６７】
また、符号化ビットストリーム１１０がベースビューなので、画像復号部１２０は、Ｌ側復号ピクチャのみを参照画像として参照して符号化ビットストリーム１１０を復号する。また、符号化ビットストリーム１１１がノンベースビューなので、画像復号部１２０は、Ｌ側復号ピクチャ及びＲ側復号ピクチャを参照画像として参照して符号化ビットストリーム１１１を復号する。
【００６８】
なお、以下では、ノンベースビューのピクチャがベースビューのピクチャを参照することをビュー間参照と記す。また、ピクチャが同じビュー（ベースビュー又はノンベースビュー）内のピクチャを参照することをビュー内参照と記す。
【００６９】
制御部１３０は、画像復号部１２０による符号化ビットストリーム１１０及び１１１の復号処理を制御する。
【００７０】
管理情報格納部１４０は、画像復号部１２０による復号処理に用いられるピクチャ管理情報を格納する。このピクチャ管理情報は、Ｌ側復号ピクチャ及びＲ側復号ピクチャが格納されるフレームメモリ１７０の領域（ベースアドレス）を特定するための情報である。また、このピクチャ管理情報は、Ｌ側復号ピクチャが格納されるベースアドレスを特定するためのＬ側管理情報と、Ｒ側復号ピクチャが格納されるベースアドレスを特定するためのＲ側管理情報とを含む。
【００７１】
また、制御部１３０は、Ｌ側管理情報を参照して、符号化ビットストリーム１１０の復号の際に参照する参照画像が格納されているベースアドレスを画像復号部１２０に通知する。また、制御部１３０は、Ｌ側管理情報及びＲ側管理情報を参照して、符号化ビットストリーム１１１の復号の際に参照する参照画像が格納されているベースアドレスを画像復号部１２０に通知する。
【００７２】
フレームメモリ管理部１５０は、フレームメモリ１７０を管理する。
【００７３】
画像表示部１６０は、フレームメモリ１７０に格納されたＬ側復号ピクチャ及びＲ側復号ピクチャを含む出力画像信号１１２を生成し、生成した出力画像信号１１２を外部に出力する。
【００７４】
図２は、画像復号装置１００の詳細な構成を示すブロック図である。
【００７５】
図２に示すように、画像復号部１２０は、第１復号部１２１と、第２復号部１２２とを備える。
【００７６】
第１復号部１２１は、符号化ビットストリーム１１０をリアルタイムで復号することによりＬ側復号ピクチャを生成する。
【００７７】
第２復号部１２２は、符号化ビットストリーム１１１をリアルタイムで復号することによりＲ側復号ピクチャを生成する。
【００７８】
管理情報格納部１４０は、ピクチャ管理情報として、ＤＰＢ（復号ピクチャバッファ）リスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４とを格納する。ここで、ＤＰＢリスト１４１ａ、フレームメモリマッピングリスト１４２ａ、ビュー間参照用シンタックス情報リスト１４３及びビュー間参照用フレームメモリマッピングリスト１４４は、Ｌ側復号ピクチャが格納されるベースアドレスを特定するためのＬ側管理情報である。また、ＤＰＢリスト１４１ｂ及びフレームメモリマッピングリスト１４２ｂは、Ｒ側復号ピクチャが格納されるベースアドレスを特定するためのＲ側管理情報である。
【００７９】
ＤＰＢリスト１４１ａは、符号化ビットストリーム１１０から生成されたＬ側復号ピクチャのビュー内参照用のシンタックス情報を含む。また、ＤＰＢリスト１４１ｂは、符号化ビットストリーム１１１から生成されたＬ側復号ピクチャのビュー内参照用のシンタックス情報を含む。ここでシンタックス情報とは、規格で定められたパラメータ（変数）を含む。
【００８０】
ビュー間参照用シンタックス情報リスト１４３は、ビュー間参照用のシンタックス情報を含む。
【００８１】
フレームメモリマッピングリスト１４２ａ及び１４２ｂは、フレームメモリ１７０のベースアドレスを管理するために用いられる。
【００８２】
ビュー間参照用フレームメモリマッピングリスト１４４は、ビュー間参照用ピクチャのベースアドレスを管理するために用いられる。
【００８３】
フレームメモリ管理部１５０は、制御部１３０及び画像表示部１６０から得られる情報をもとにフレームメモリマッピングリスト１４２ａ及び１４２ｂを更新することにより、フレームメモリ１７０のベースアドレスを管理する。
【００８４】
制御部１３０は、第１制御部１３１と、第２制御部とを含む。
【００８５】
第１制御部１３１は、Ｌ側符号化ビットストリーム１１０の復号処理を担当する。また、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理を担当する。
【００８６】
第１制御部１３１は、管理情報格納部１４０に格納されている、ＤＰＢリスト１４１ａと、ビュー間参照用シンタックス情報リスト１４３と、フレームメモリマッピングリスト１４２ａと、ビュー間参照用フレームメモリマッピングリスト１４４とを用いて、第１復号部１２１の復号処理を制御する。
【００８７】
第２制御部１３２は、管理情報格納部１４０に格納されている、ＤＰＢリスト１４１ｂと、ビュー間参照用シンタックス情報リスト１４３と、フレームメモリマッピングリスト１４２ｂと、ビュー間参照用フレームメモリマッピングリスト１４４とを用いて、第２復号部１２２の復号処理を制御する。
【００８８】
つまり、ビュー間参照用シンタックス情報リスト１４３及びビュー間参照用フレームメモリマッピングリスト１４４は、第１制御部１３１と第２制御部１３２との両方からアクセス可能である。
【００８９】
また、画像復号装置１００は、さらに、フラグ格納部１８０を備える。
【００９０】
このフラグ格納部１８０は、第１制御部１３１及び第２制御部１３２に用いられる第１完了フラグ及び第２完了フラグを格納する。
【００９１】
また、第１制御部１３１は、１ピクチャの復号処理が完了した際に第１完了フラグをフラグ格納部１８０に格納する。第２制御部１３２は１ピクチャの復号処理が完了した際に第２完了フラグをフラグ格納部１８０に格納する。フラグ格納部１８０は、第１制御部１３１と第２制御部１３２との両方からアクセス可能である。よって、第１制御部１３１及び第２制御部１３２は、フラグ格納部１８０を介してお互いの復号処理が完了したことを確認することができる。
【００９２】
画像表示部１６０は、フレームメモリ１７０に格納されている復号ピクチャのうち、表示対象ピクチャが格納されているベースアドレスをフレームメモリ管理部１５０から取得する。画像表示部１６０は、取得したベースアドレスに格納される表示対象ピクチャをフレームメモリ１７０から読み出し、読み出した表示対象ピクチャを表示出力する。また、画像表示部１６０は、表示が完了したことをフレームメモリ管理部１５０に通知する。
【００９３】
以下、第１復号部１２１及び第２復号部１２２の構成を説明する。
【００９４】
図３は、第１復号部１２１の構成を示すブロック図である。なお、第２復号部１２２の構成も第２復号部１２２と同様である。
【００９５】
図３に示すように、第１復号部１２１は、ヘッダ解析部１２３と、エントロピー復号部１２４と、逆量子化部１２５と、逆直交変換部１２６と、イントラ予測部１２７と、動き補償部１２８と、デブロッキングフィルタ処理部１２９とを備える。
【００９６】
ヘッダ解析部１２３は、シーケンス層／ピクチャ層／スライス層などのヘッダ解析を行う。また、ヘッダ解析部１２３は、符号化ビットストリーム１１０に含まれる、復号対象画像のシンタックス情報１１３を取得する。
【００９７】
また、第１復号部１２１は、マクロブロック層以下の復号機能を備えている。具体的には、エントロピー復号部１２４、逆量子化部１２５、逆直交変換部１２６、イントラ予測部１２７、動き補償部１２８及びデブロッキングフィルタ処理部１２９により、Ｈ．２６４規格に準拠した一連の復号処理が行われる。
【００９８】
なお、動き補償部１２８は、過去に復号した画像をフレームメモリ１７０から読み出すことで参照を行い、復号後の画像をフレームメモリ１７０に格納する。
【００９９】
また、フレームメモリ１７０に対する読み出し及び書き込みに際して、第１制御部１３１は、ベースアドレスをフレームメモリ管理部１５０から取得し第１復号部１２１に設定する。また、第２制御部１３２はベースアドレスをフレームメモリ管理部１５０から取得し第２復号部１２２に設定する。
【０１００】
以上のように構成された画像復号装置１００の具体的な動作の説明を容易にするために、以下、Ｈ．２６４規格で定義されている用語と、本実施の形態の構成要素との対応関係を説明する。
【０１０１】
まず、Ｈ．２６４規格で定義されている復号ピクチャバッファ（Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ：ＤＰＢ）と、本実施の形態の構成要素であるＤＰＢリスト１４１ａ及び１４１ｂとの関係を説明する。
【０１０２】
Ｈ．２６４規格では、複数の復号ピクチャを参照ピクチャとして用いることができる。また、Ｈ．２６４規格では、複数の参照ピクチャの中から動き補償ブロックごとに、異なるピクチャを選択して動き補償処理が行われる。この参照ピクチャを指定するために、各復号ピクチャに割り当てられた識別番号を参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）と言う。Ｈ．２６４規格では、符号化時に、動き補償ブロックごとに参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）が付与され、復号時にはこの参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）を用いて、参照ピクチャが特定される。
【０１０３】
ここで、参照ピクチャ枚数を増やすと符号化効率が上がる一方、多くの復号ピクチャをメモリに確保しておく必要がある。この複数の参照ピクチャに加えて、動き補償時に参照されない復号ピクチャである非参照ピクチャも、その表示時刻までメモリに確保しておく必要がある。これにより、非常に多くのメモリ容量が必要となる。また、これらピクチャの管理も複雑になる。
【０１０４】
そこで、Ｈ．２６４規格では、復号ピクチャバッファ（ＤＰＢ）というメモリを概念的に準備し、このＤＰＢに復号ピクチャを格納する。また、Ｓｌｉｄｉｎｇ  Ｗｉｎｄｏｗ又はＭＭＣＯ（Ｍｅｍｏｒｙ  Ｍａｎａｇｅｍｅｎｔ  Ｃｏｎｔｒｏｌ  Ｏｐｅｒａｔｉｏｎ）といった方法でピクチャを統一的に管理する。これにより、Ｈ．２６４規格では、メモリを効率良く利用できる。
【０１０５】
また、Ｓｌｉｄｉｎｇ  Ｗｉｎｄｏｗ又はＭＭＣＯは、ピクチャのシンタックス情報１１３を用いて処理を行う。
【０１０６】
図４は、ピクチャの参照関係を示す図である。
【０１０７】
前述のように、参照ピクチャを指定するために参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）が付与されているが、図４に示すように復号対象ピクチャごとに、参照ピクチャ番号に対応する参照ピクチャの割り当てを変えることができる。また、ＤＰＢに確保されている参照ピクチャと、参照ピクチャ番号との対応付けには、参照ピクチャリスト（Ｒｅｆｅｒｅｎｃｅ  Ｐｉｃｔｕｒｅ  Ｌｉｓｔ：ＲＰＬ）というリストが用いられる。
【０１０８】
なお、このＲＰＬはピクチャごとにシンタックス情報１１３をもとに作成される。
【０１０９】
本実施の形態においては、このようなＨ．２６４規格の柔軟な参照構造に対応するために、前述のようにＤＰＢリスト１４１ａ及び１４１ｂを管理情報格納部１４０に格納し、このＤＰＢリスト１４１ａ及び１４１ｂの情報を用いることにより、Ｈ．２６４規格で規定される復号ピクチャバッファ（ＤＰＢ）に格納されるべきピクチャの特定及び管理を実現している。
【０１１０】
図５は、各ピクチャのシンタックス情報１１３の構成を示す図である。このシンタックス情報１１３は、参照ピクチャとして用いる復号ピクチャを特定するために用いられる。
【０１１１】
図５に示すように、例えば、シンタックス情報１１３は、ｓｈｏｒｔ  ｔｅｒｍ／ｌｏｎｇ  ｔｅｒｍと、ｎａｌ＿ｒｅｆ＿ｉｄｃと、ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇと、ｉｎ
ｔｅｒ＿ｖｉｅｗ＿ｆｌａｇと、ｆｒａｍｅ＿ｎｕｍと、ｖｉｅｗ＿ｉｄとを含む。なお、シンタックス情報１１３には、これらの情報の一部のみが含まれていてもよいし、これら以外の情報が含まれていてもよい。
【０１１２】
ｓｈｏｒｔ  ｔｒｅｍ／ｌｏｎｇ  ｔｅｒｍは、当該ピクチャがｓｈｏｒｔ  ｔｅｒｍ  ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅかｌｏｎｇ  ｔｅｒｍ  ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅかを示す。ｓｈｏｒｔ  ｔｅｒｍ  ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとはＳｌｉｄｉｎｇ  Ｗｉｎｄｏｗによって管理できるピクチャであり、ｌｏｎｇ  ｔｅｒｍ  ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとはＳｌｉｄｉｎｇ  Ｗｉｎｄｏｗでは管理できない時間的に離れた位置に存在するピクチャである。
【０１１３】
ｎａｌ＿ｒｅｆ＿ｉｄｃは、当該ピクチャがビュー内参照されるか否かを示す。
【０１１４】
ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇは、当該ピクチャの方式がフィールド（インタレース）であるかフレーム（プログレッシブ）であるかを示す。
【０１１５】
ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇは、当該ピクチャがビュー間参照されるか否かを示す。
【０１１６】
ｆｒａｍｅ＿ｎｕｍは、当該ピクチャの番号を示す。
【０１１７】
ｖｉｅｗ＿ｉｄは、当該ピクチャが含まれるビューの識別子である。例えば、ベースビューに含まれるピクチャには「０」が付与され、ノンベースビューに含まれるピクチャには、「１、２、・・・」が付与される。
【０１１８】
図６は、ＤＰＢリスト１４１ａ（１４１ｂ）の構成を示す図である。
【０１１９】
ＤＰＢリスト１４１ａ及び１４１bは、ビュー内参照の参照画像として用いられる復号ピクチャのシンタックス情報１１３を含む。
【０１２０】
図６に示すように、復号ピクチャごとに、シンタックス情報２０２と、当該シンタックス情報２０２に対応付けられた識別番号であるインデックス２０１とを含む。このシンタックス情報２０２は、図５に示すシンタックス情報１１３に相当する。
【０１２１】
また、このＤＰＢリスト１４１ａ及び１４１ｂに含まれるシンタックス情報２０２の数は、各ピクチャがビュー内参照可能な参照ピクチャの数により決定される。
【０１２２】
また、ＤＰＢリスト１４１ａ及び１４１ｂは、マクロブロック層の復号処理のみならず、Ｈ．２６４規格で規定される復号ピクチャバッファ（ＤＰＢ）の更新、及び、おなじくＨ．２６４規格で規定される参照ピクチャリスト（ＲＰＬ）の作成時にも使用される。
【０１２３】
また、ビュー間参照用シンタックス情報リスト１４３は、ビュー間参照の参照画像として用いられる復号ピクチャのシンタックス情報１１３を含む。例えば、ビュー間参照用シンタックス情報リスト１４３の構成も図６と同様である。
【０１２４】
また、このビュー間参照用シンタックス情報リスト１４３に含まれるシンタックス情報２０２の数は、各ピクチャがビュー間参照可能な参照ピクチャの数により決定される。
【０１２５】
次に、Ｈ．２６４規格で定義されている復号ピクチャバッファ（ＤＰＢ）と、本実施の形態の構成要素であるフレームメモリマッピングリスト１４２ａ及び１４２ｂとの関係を説明する。
【０１２６】
Ｈ．２６４規格では、参照されるピクチャは、必ず復号ピクチャバッファ（ＤＰＢ）に格納される。また、１ピクチャの復号処理が完了するたびに復号ピクチャバッファの内容が更新される。
【０１２７】
この復号ピクチャバッファ（ＤＰＢ）の更新手順も、Ｈ．２６４規格で規定されており、以下の手順で行われる。
【０１２８】
（ステップ１）ピクチャを復号する。
（ステップ２）所定のルール（Ｓｌｉｄｉｎｇ  Ｗｉｎｄｏｗ又はＭＭＣＯ）により、復号ピクチャバッファ（ＤＰＢ）を更新し、開放対象ピクチャを決定する。
（ステップ３）（ステップ２）の開放対象ピクチャの代わりに、（ステップ１）で復号したピクチャを復号ピクチャバッファ（ＤＰＢ）に格納する。
【０１２９】
上記のように、規格上では、（ステップ１）で復号が完了したピクチャは、（ステップ２）で開放対象ピクチャが決まるまで、一旦、テンポラリバッファに確保される。また、この復号が完了したピクチャは、（ステップ３）において実際に復号ピクチャバッファ（ＤＰＢ）に格納される。このような手順になっているため、実装上は復号ピクチャバッファ（ＤＰＢ）に相当するメモリ容量とは別に、復号中のピクチャが格納できるテンポラリバッファを余分に確保しなければならない。
【０１３０】
本実施の形態では、このテンポラリバッファとしても、フレームメモリ１７０を用いる。つまり、復号対象ピクチャ（復号中のピクチャ）はフレームメモリ１７０に格納される。
【０１３１】
このように、フレームメモリ１７０内には、Ｈ．２６４規格において規定されるピクチャ（ＤＰＢ内のピクチャ）と、実装形態に依存したピクチャ（復号中のピクチャ）が混在する。また、これらの中で表示が完了したピクチャが格納されていたフレームメモリ領域が次のピクチャの格納用として開放される。よって、これらをまとめて管理する必要がある。
【０１３２】
本実施の形態においては、このような管理に柔軟に対応するために、前述のようにフレームメモリマッピングリスト１４２ａ及び１４２ｂを、管理情報格納部１４０内に格納する。また、フレームメモリ１７０内のフレームメモリ領域ごとに、ＤＰＢリスト１４１ａ及び１４１ｂにおいて参照ピクチャとして指定されているか否か、及び画像表示対象として指定されているか否か、といった状態管理をする。これらにより、次のピクチャの格納用として開放すべきフレームメモリ領域の特定を実現する。
【０１３３】
図７は、フレームメモリマッピングリスト１４２ａの構成を示す図である。例えば、フレームメモリマッピングリスト１４２ａは、図７に示すようなテーブル形式である。なお、フレームメモリマッピングリスト１４２ｂの構成も図７と同様である。
【０１３４】
図７に示すように、フレームメモリマッピングリスト１４２ａは、復号ピクチャごとに対応付けられた複数のエントリを含む。なお、フレームメモリマッピングリスト１４２ａでは、各エントリは、ビュー内参照の参照ピクチャとして用いられる復号ピクチャと、ビュー間参照の参照ピクチャとして用いられる復号ピクチャと、参照ピクチャとして用いられない復号中又は復号済みピクチャとのいずれかに対応する。また、フレームメモリマッピングリスト１４２ｂでは、各エントリは、ビュー内参照の参照ピクチャとして用いられる復号ピクチャと、参照ピクチャとして用いられない復号中又は復号済みピクチャとのいずれかに対応する。
【０１３５】
各エントリは、フレームメモリアドレス２０３と、ＤＰＢリストインデックス２０４と、ビュー間参照用シンタックス情報インデックス２０５と、画像表示ステータス２０６と、状態情報２０７とを含む。
【０１３６】
フレームメモリアドレス２０３は、当該復号ピクチャが格納されているフレームメモリ１７０のベースアドレスを示す。
【０１３７】
ＤＰＢリストインデックス２０４は、当該復号ピクチャに対応するＤＰＢリスト１４１ａのインデックス２０１を示す。また、ＤＰＢリストインデックス２０４は、当該復号ピクチャが視点内参照の参照ピクチャとして用いられるか否かを示す。具体的には、ＤＰＢリストインデックス２０４に、ＤＰＢリスト１４１ａのインデックス２０１が設定されている場合には、当該復号ピクチャが視点内参照の参照ピクチャとして用いられることが示される。また、ＤＰＢリストインデックス２０４に、ＤＰＢリスト１４１ａのインデックス２０１が設定されていない場合（図７における「なし」の場合）には、当該復号ピクチャが視点内参照の参照ピクチャとして用いられないことが示される。
【０１３８】
ビュー間参照用シンタックス情報インデックス２０５は、当該復号ピクチャに対応するビュー間参照用シンタックス情報リスト１４３のインデックス２０１を示す。また、ビュー間参照用シンタックス情報インデックス２０５は、当該復号ピクチャが視点間参照の参照ピクチャとして用いられるか否かを示す。具体的には、ビュー間参照用シンタックス情報インデックス２０５に、ビュー間参照用シンタックス情報リスト１４３のインデックス２０１が設定されている場合には、当該復号ピクチャが視点間参照の参照ピクチャとして用いられることが示される。また、ビュー間参照用シンタックス情報インデックス２０５に、ビュー間参照用シンタックス情報リスト１４３のインデックス２０１が設定されていない場合（図７における「なし」の場合）には、当該復号ピクチャが視点内参照の参照ピクチャとして用いられないことが示される。
【０１３９】
画像表示ステータス２０６は、当該復号ピクチャが画像表示済み（出力画像信号１１２として出力済み）であるか画像表示されていない（未表示）かを示す。
【０１４０】
状態情報２０７は、当該エントリが使用中であるか未使用であるかを示す。具体的には、ＤＰＢリストインデックス２０４及びビュー間参照用シンタックス情報インデックス２０５がともに「なし」であり、かつ、画像表示ステータス２０６が表示済み「０」の場合に、状態情報２０７は「未使用」であり、それ以外の場合、状態情報２０７は「使用中」となる。
【０１４１】
また、制御部１３０は、状態情報２０７が「未使用」のベースアドレスに画像復号部１２０により新たに復号された復号ピクチャを格納するように、画像復号部１２０に通知する。
【０１４２】
図７に示す例では、フレームメモリアドレス２０３が「０」のエントリは、復号ピクチャバッファ（ＤＰＢ）として使用されており、ＤＰＢリスト１４１ａに付与されている該当インデックス２０１が割り当てられている。また、フレームメモリアドレス２０３が「２」のエントリは、ビュー間参照用ピクチャが格納されており、ビュー間参照用シンタックス情報リスト１４３に付与されている該当インデックス２０１が割り当てられている。また、フレームメモリアドレス２０３が「３」のエントリは、テンポラリバッファとして用いられている（画像表示されていないピクチャが格納されている）ため使用することができない。よって、この例では復号ピクチャバッファ（ＤＰＢ）として使用されておらず、かつテンポラリバッファとしても使用されていないフレームメモリアドレス２０３が「１」のエントリが未使用であると特定できる。
【０１４３】
なお、Ｈ．２６４規格で定義されている参照ピクチャリスト（ＲＰＬ）については、本実施の形態では、マクロブロック層の復号の際に、符号化ビットストリーム１１０から得られる各参照ピクチャのシンタックス情報１１３と、第１制御部１３１又は第２制御部１３２から与えられるＤＰＢリスト１４１ａ又は１４１ｂの内容をもとに第１復号部１２１又は第２復号部１２２が作成し、第１復号部１２１又は第２復号部１２２の内部で保持する。
【０１４４】
なお、ビュー間参照用フレームメモリマッピングリスト１４４の構成も図７と同様である。また、ビュー間参照用フレームメモリマッピングリスト１４４では、各エントリは、ビュー間参照の参照ピクチャとして用いられる復号ピクチャに対応する。
【０１４５】
また、ビュー間参照用フレームメモリマッピングリスト１４４は、ビュー間参照の際にしか参照されないので、フレームメモリアドレス２０３とビュー間参照用シンタックス情報インデックス２０５とのみを含んでもよい。
【０１４６】
また、Ｒ側復号ピクチャがビュー間参照の参照画像として用いられない場合には、フレームメモリマッピングリスト１４２ｂは、ビュー間参照用シンタックス情報インデックス２０５を含まなくてもよい。
【０１４７】
以上のように、Ｈ．２６４規格で定義されている復号ピクチャバッファ（ＤＰＢ）及び参照ピクチャリスト（ＲＰＬ）１１４と、本実施の形態の各構成要素とを対応づけることにより、図８のように、動き補償ブロックごとに符号化ビットストリーム１１０から得られる参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）から、フレームメモリ１７０のベースアドレスを特定することができる。
【０１４８】
具体的には、第１制御部１３１は、動き補償ブロックごとに符号化ビットストリーム１１０から得られる参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）を取得する。次に、第１制御部１３１は、ＲＰＬ１１４を参照し、参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）に対応するｐｉｃｔｕｒｅ  ｎｕｍｂｅｒを特定する。次に、第１制御部１３１は、ＤＰＢリスト１４１ａを参照し、特定したｐｉｃｔｕｒｅ  ｎｕｍｂｅｒに対応するシンタックス情報２０２のインデックス２０１を特定する。次に、第１制御部１３１は、フレームメモリマッピングリスト１４２ａを参照して、特定したインデックス２０１に対応するベースアドレス（フレームメモリアドレス２０３）を特定する。
【０１４９】
また、第２制御部１３２は、動き補償ブロックごとに符号化ビットストリーム１１０から得られる参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）を取得する。次に、第２制御部１３２は、ＲＰＬ１１４を参照し、参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）に対応するｐｉｃｔｕｒｅ  ｎｕｍｂｅｒを特定する。次に、第２制御部１３２は、ＤＰＢリスト１４１ｂ及びビュー間参照用シンタックス情報リスト１４３を参照し、特定したｐｉｃｔｕｒｅ  ｎｕｍｂｅｒに対応するシンタックス情報２０２のインデックス２０１を特定する。次に、第２制御部１３２は、フレームメモリマッピングリスト１４２ｂ及びビュー間参照用フレームメモリマッピングリスト１４４を参照して、特定したインデックス２０１に対応するベースアドレス（フレームメモリアドレス２０３）を特定する。
【０１５０】
さて、Ｈ．２６４−ＭＶＣは、前述のような柔軟な構造を持つＨ．２６４を、多視点符号化方式として拡張したものである。つまり、Ｈ．２６４−ＭＶＣは、各視点をビューとして符号化を行い、視点間の相関性を利用したビュー間参照をすることにより高い情報圧縮を実現する技術である。
【０１５１】
各ビューはビューＩＤ（ｖｉｅｗ＿ｉｄ）でそれぞれ識別され、他のビューを参照しないビューをベースビューと言い、他のビューを参照するビューをノンベースビューと言う。ノンベースビューの各ピクチャは、同じビュー内のピクチャに加え、同じ時間の異なるビューのピクチャを参照することができることを大きな特徴とする。
【０１５２】
本実施の形態では、Ｌ側符号化ビットストリーム１１０がベースビューであり、Ｒ側符号化ビットストリーム１１１がノンベースビューである。つまり、Ｒ側符号化ビットストリーム１１１の復号の際は、Ｌ側符号化ビットストリーム１１０の復号ピクチャをビュー間参照することが可能である。
【０１５３】
ビュー間参照用シンタックス情報リスト１４３は、ベースビューであるＬ側符号化ビットストリーム１１１の参照ピクチャのシンタックス情報１１３を格納している。
【０１５４】
第２制御部１３２は、ノンベースビューであるＲ側符号化ビットストリーム１１１の復号時には、ビュー内参照用のシンタックス情報１１３を含むＤＰＢリスト１４１ｂに加えて、ビュー間参照用のシンタックス情報１１３を含むビュー間参照用シンタックス情報リスト１４３を取得する。これらをもとに、第２復号部１２２は、ビュー間参照ピクチャを含めたＲＰＬを作成する。
【０１５５】
図９は、第１制御部１３１及び第２制御部１３２の処理を示す図である。
【０１５６】
具体的には、第１制御部１３１は、図９の例ようにＬ側のＤＰＢリスト１４１ａのインデックス番号「１」に格納される情報を、Ｒ側から参照可能なビュー間参照用シンタックス情報リスト１４３にも格納する。
【０１５７】
これにより、フレームメモリ管理部１５０は、フレームメモリ１７０内のフレームメモリ領域ごとに、ＤＰＢリスト１４１ａ及び１４１ｂにおいて参照ピクチャとして指定されているか否か、及び画像表示対象として指定されているか否か、といった状態を管理する。さらに、フレームメモリ管理部１５０は、ビュー間参照用シンタックス情報リスト１４３においてビュー間参照に用いられる参照ピクチャとして指定されているか否かといった状態を管理する。これにより、フレームメモリ管理部１５０は、次のピクチャの格納用として開放すべきフレームメモリ１７０の領域を特定できる。
【０１５８】
また、ビュー間参照は同じアクセスユニット内のピクチャのみ参照することができるため、本実施の形態ではビュー間参照用シンタックス情報リスト１４３及びビュー間参照用フレームメモリマッピングリスト１４４は少なくとも１ピクチャ分の情報が格納できればよい。ただし、本実施の形態では、第１復号部１２１及び第２復号部１２２が同時に動作するため第１復号部１２１からの書き込み用と第２復号部１２２からの読み出し用とでビュー間参照用シンタックス情報リスト１４３及びビュー間参照用フレームメモリマッピングリスト１４４のそれぞれに２ピクチャ分の領域を確保する。
【０１５９】
上記のようにＨ．２６４規格及びＨ．２６４−ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態１の画像復号装置１００について、その動作を説明する。
【０１６０】
以下では１ストリームにつき参照に必要なピクチャ枚数は３枚とする。また、前述のように復号中のピクチャの格納用に１枚必要である。
【０１６１】
さらに、画像表示は同一アクセスユニットに属するＬ側のピクチャとＲ側のピクチャとが復号完了したあとに図１０のようなタイミングで表示されるものとする。具体的には、期間Ｔ０１において、Ｌ側のピクチャＬ１の復号処理が行われる。次に、期間Ｔ０２において、Ｌ側のピクチャＬ２とＲ側のピクチャＲ１との復号処理が行われる。次に、期間Ｔ０３において、ピクチャＬ１及びピクチャＲ１が表示される。なお、ピクチャＬ１及びピクチャＲ１は同一のアクセスユニットに含まれるピクチャである。
【０１６２】
このように、表示までの間にも次のピクチャの復号処理を開始させるため、格納領域を表示用に１枚設ける。
【０１６３】
したがって、フレームメモリ１７０は、合計１０枚（Ｌ側５枚、Ｒ側５枚）のピクチャが格納できる領域を備えているものとする。
【０１６４】
また、入力される符号化ビットストリーム１１０及び１１１は、前述のようにＨ．２６４−ＭＶＣにより多視点符号化されている。また、図１１に示すようにＬ側符号化ビットストリーム１１０はＩ／Ｐ１／Ｐ２／Ｂ１／Ｐ３／Ｂ２の順に符号化されているものとする。同様にＲ側符号化ビットストリーム１１１はＩ／Ｐ１／Ｐ２／Ｂ１／Ｐ３／Ｂ２の順に符号化されているものとする。なお、図１１に示す「Ｉ」は当該ピクチャがＩピクチャであることを示す。また、「Ｐ１、Ｐ２、Ｐ３」は当該ピクチャがＰピクチャであることを示す。また、「Ｂ」は当該ピクチャがＢピクチャであることを示す。また、Ｉピクチャとは、ビュー内参照を行わない画面内符号化が行われたピクチャである。Ｐピクチャ及びＢピクチャは、ビュー内参照を行って符号化されたピクチャである。また、Ｉピクチャ及びＰピクチャは、他のピクチャからビュー内参照されるピクチャであり、本実施例においては、Ｂピクチャは他のピクチャからビュー内参照されないピクチャとする（ｎａｌ＿ｒｅｆ＿ｉｄｃ＝０）。
【０１６５】
また、Ｌ側符号化ビットストリーム１１０はベースビューであり、Ｒ側符号化ビットストリームはノンベースビューであるとする。
【０１６６】
まず、画像復号装置１００は、Ｌ側符号化ビットストリーム１１０から復号処理を開始する。また、第１制御部１３１と第２制御部１３２は次のように１ピクチャごとに同時に起動し完了待ち合わせをすることで符号化ビットストリーム１１０及び１１１の復号処理の同期をとる。
【０１６７】
まず、Ｌ側のピクチャの復号処理について説明する。
【０１６８】
第１制御部１３１は、以下の処理ステップで、第１復号部１２１を制御することにより、Ｌ側符号化ビットストリーム１１０のピクチャ復号処理を行う。
【０１６９】
図１２は、画像復号装置１００によるＬ側の復号処理のフローチャートである。
【０１７０】
まず、第１制御部１３１は、フラグ格納部１８０に格納されている第１完了フラグをクリアする（Ｓ１０１）。
【０１７１】
次に、第１制御部１３１は、復号対象ピクチャの復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ１０２）。
【０１７２】
次に、第１制御部１３１は、Ｌ側のＤＰＢリスト１４１ａを管理情報格納部１４０から取得する（Ｓ１０３）。
【０１７３】
次に、第１制御部１３１は、フレームメモリマッピングリスト１４２ａを取得する。また、第１制御部１３１は、取得したＤＰＢリスト１４１ａ及びフレームメモリマッピングリスト１４２ａを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ１０４）。
【０１７４】
次に、第１制御部１３１は、上記ステップＳ１０２〜Ｓ１０４で得られた復号対象ピクチャ及び参照ピクチャのベースアドレス、及びＤＰＢリスト１４１ａを第１復号部１２１に設定し、第１復号部１２１を起動する（Ｓ１０５）。
【０１７５】
次に、第１復号部１２１は、ステップＳ１０５で設定された参照ピクチャのベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１０を復号することにより復号ピクチャを生成する。また、第１復号部１２１は、生成した復号ピクチャを、ステップＳ１０５で設定された復号対象ピクチャのベースアドレスに格納する。また、第１復号部１２１は、第１制御部１３１に当該復号対象ピクチャの復号処理が完了したことを通知する（Ｓ１０６）。
【０１７６】
次に、第１制御部１３１は、ステップＳ１０６で復号処理が完了したピクチャのシンタックス情報１１３を第１復号部１２１から取得する（Ｓ１０７）。
【０１７７】
次に、第１制御部１３１は、ステップＳ１０５で復号処理が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ステップＳ１０７で取得したシンタックス情報１１３を用いて、管理情報格納部１４０内のＤＰＢリスト１４１ａを更新する（Ｓ１０８）。具体的には、第１制御部１３１は、ステップＳ１０７で取得したシンタックス情報１１３をＤＰＢリスト１４１ａに加える。
【０１７８】
次に、第１制御部１３１は、ステップＳ１０８におけるＤＰＢリスト１４１ａの更新により、ＤＰＢリスト１４１ａから外れたピクチャが存在する場合、ＤＰＢリスト１４１ａの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第１制御部１３１からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ａを更新する（Ｓ１０９）。具体的には、フレームメモリ管理部１５０は、通知されたインデックス２０１に対応するＤＰＢリストインデックス２０４を「なし」に変更する。また、フレームメモリ管理部１５０は、復号処理が完了したピクチャの情報をフレームメモリマッピングリスト１４２ａに加える。
【０１７９】
次に、第１制御部１３１は、ステップＳ１０７で得られたシンタックス情報１１３をビュー間参照用のシンタックス情報としてビュー間参照用シンタックス情報リスト１４３に格納する（Ｓ１１０）。
【０１８０】
次に、第１制御部１３１は、復号処理が完了したピクチャの情報をビュー間参照用フレームメモリマッピングリスト１４４に格納する（Ｓ１１１）。
【０１８１】
次に、第１制御部１３１は、Ｌ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第１完了フラグをセットする（Ｓ１１２）。
【０１８２】
次に、Ｒ側のピクチャの復号処理について説明する。
【０１８３】
第２制御部１３２は、以下の処理ステップで、第２復号部１２２を制御することにより、Ｒ側符号化ビットストリーム１１１の復号処理を行う。
【０１８４】
図１３は、画像復号装置１００によるＲ側の復号処理のフローチャートである。
【０１８５】
まず、第２制御部１３２は、フラグ格納部１８０に格納されている第２完了フラグをクリアする（Ｓ２０１）。
【０１８６】
次に、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理で参照できるＬ側の復号ピクチャのシンタックス情報をビュー間参照用シンタックス情報リスト１４３から取得することにより、ビュー間参照用の参照ピクチャを特定する（Ｓ２０２）。
【０１８７】
次に、第２制御部１３２は、ビュー間参照用フレームメモリマッピングリスト１４４を参照し、ステップＳ２０２で取得したシンタックス情報に対応するベースアドレスを取得する。つまり、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理で参照できるＬ側の復号ピクチャのベースアドレスを取得する（Ｓ２０３）。
【０１８８】
次に、第２制御部１３２は、復号対象ピクチャ（Ｒ側ピクチャ）の復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ２０４）。
【０１８９】
次に、第２制御部１３２は、Ｒ側のＤＰＢリスト１４１ｂを管理情報格納部１４０から取得する（Ｓ２０５）。
【０１９０】
次に、第２制御部１３２は、フレームメモリマッピングリスト１４２ｂを取得する。また、第２制御部１３２は、取得したＤＰＢリスト１４１ｂ及びフレームメモリマッピングリスト１４２ｂを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ２０６）。
【０１９１】
次に、第２制御部１３２は、ステップＳ２０３、Ｓ２０４、Ｓ２０５及びＳ２０６で得られた復号対象ピクチャ、ビュー内参照用の参照ピクチャ及びビュー間参照用の参照ピクチャのベースアドレスと、復号対象ピクチャのＤＰＢリスト１４１ｂとを第２復号部１２２に設定し、第２復号部１２２を起動する（Ｓ２０７）。
【０１９２】
第２復号部１２２は、ステップＳ２０７で設定されたビュー内参照用又はビュー間参照用のベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１１を復号することにより復号ピクチャを生成する。また、第２復号部１２２は、生成した復号ピクチャを、ステップＳ２０７で設定された復号対象ピクチャのベースアドレスに格納する。また、第２復号部１２２は、第２制御部１３２に当該ピクチャの復号処理が完了したことを通知する（Ｓ２０８）。
【０１９３】
次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャのシンタックス情報１１３を第２復号部１２２から取得する（Ｓ２０９）。
【０１９４】
次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ＤＰＢリスト１４１ｂを更新する（Ｓ２１０）。具体的には、第２制御部１３２は、ステップＳ２０９で取得したシンタックス情報１１３をＤＰＢリスト１４１ｂに加える。
【０１９５】
次に、第２制御部１３２は、ステップＳ２１０におけるＤＰＢリスト１４１ｂの更新により、ＤＰＢリストから外れたピクチャが存在する場合、ＤＰＢリスト１４１ｂの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第２制御部１３２からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ｂを更新する（Ｓ２１１）。具体的には、フレームメモリ管理部１５０は、通知されたインデックス２０１に対応するＤＰＢリストインデックス２０４を「なし」に変更する。また、フレームメモリ管理部１５０は、復号処理が完了したピクチャの情報をフレームメモリマッピングリスト１４２ｂに加える。
【０１９６】
次に、第２制御部１３２は、Ｒ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第２完了フラグをセットする（Ｓ２１２）。
【０１９７】
以上のように、第１制御部１３１及び第２制御部１３２を１ピクチャごとに同時に起動し完了待ち合わせをすることで、図１４のように符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
【０１９８】
例えば、図１４に示す時刻ｔ０１において、Ｌ側の復号処理及びＲ側の復号処理が同時に開始される。つまり、上述した図１２及び図１３に示す処理が行われる。また、時刻ｔ０２においてＲ側の復号処理が終了する。時刻ｔ０２の時点では、Ｌ側の復号処理が完了していないので、第１完了フラグがセットされていない。よって、第２制御部１３２は、Ｌ側の復号処理が完了するまで、次のピクチャの復号処理を開始しない。
【０１９９】
時刻ｔ０３において、Ｌ側の復号処理が完了する。よって、時刻ｔ０３において、Ｌ側及びＲ側の両方の復号処理が完了したので、画像復号部１２０は、次のピクチャの復号処理を同時に開始する。
【０２００】
また、時刻ｔ０４においてＬ側の復号処理が完了するが、Ｒ側の復号処理が完了していないので、第１制御部１３１は、Ｒ側の復号処理が完了するまで、次のピクチャの復号処理を開始しない。
【０２０１】
時刻ｔ０５において、Ｒ側の復号処理が完了する。よって、時刻ｔ０５において、Ｌ側及びＲ側の両方の復号処理が完了したので、画像復号部１２０は、次のピクチャの復号処理を同時に開始する。
【０２０２】
このように、制御部１３０は、第１復号部１２１及び第２復号部１２２により、符号化ビットストリーム１１０及び１１１の予め定められた復号処理単位（ピクチャ単位）の復号処理が共に完了した後、第１復号部１２１及び第２復号部１２２に次の復号処理単位の復号処理を開始させる。
【０２０３】
具体的には、第１制御部１３１は、第１復号部１２１による符号化ビットストリーム１１０の復号処理単位の復号処理が完了し、かつ、フラグ格納部１８０に第２完了フラグが格納されている場合、次の復号処理単位の符号化ビットストリーム１１０の復号処理を第１復号部１２１に開始させる。
【０２０４】
また、第２制御部１３２は、第２復号部１２２による符号化ビットストリーム１１１の復号処理単位の復号処理が完了し、かつ、フラグ格納部１８０に第１完了フラグが格納されている場合、次の復号処理単位の符号化ビットストリーム１１１の復号処理を第２復号部１２２に開始させる。
【０２０５】
なお、ここでは、Ｒ側の復号処理が完了するまで、Ｌ側の次のピクチャの復号処理を待機させ、Ｌ側の復号処理が完了するまで、Ｒ側の次のピクチャの復号処理を待機させているが、Ｌ側の復号処理がＲ側の復号処理より先に完了した場合に、Ｒ側の復号処理の完了を待たずに、Ｌ側の次のピクチャの復号処理を行なってもよい。なぜなら、Ｒ側はＬ側の復号ピクチャを参照ピクチャとして用いるが、Ｌ側はＲ側の復号ピクチャを参照ピクチャとして用いないので、先行して復号処理を行っても参照ピクチャが復号されていない等の問題は発生しない。
【０２０６】
ただし、Ｌ側の復号処理が大きく先行した場合、表示のためにＬ側の復号ピクチャを格納するための格納領域が多く必要となる。または、Ｒ側での使用完了を含めたフレームメモリの空き状況を管理し、できるところまでＬ側の復号処理を先行させる制御を行うことも考えられるが制御が複雑になる。よって、図１４に示すように、Ｒ側の復号処理が完了するまで、Ｌ側の次のピクチャの復号処理を待機させ、Ｌ側の復号処理が完了するまで、Ｒ側の次のピクチャの復号処理を待機させていることが好ましい。
【０２０７】
ここで、従来の画像復号装置では、複数のビットストリームの復号処理に関する同期の課題が存在する。
【０２０８】
具体的には、Ｈ．２６４−ＭＶＣのような視点間予測を用いた符号化方式で圧縮された画像データを復号する過程において、ノンベースビューの画像の復号には、同じ表示時刻のベースビューの復号後画像を動き補償時の参照画像とする場合がある。よって、ベースビューの復号処理タイミングとノンベースビューの復号処理タイミングとには依存関係が存在する。なお、３視点以上の場合、ノンベースビューの画像の復号には、同じ表示時刻の異なるノンベースビュー又はベースビューの復号画像を動き補償時の参照画像とする場合もある。
【０２０９】
よって、所定の単位ごとに、各チャネルの復号処理の同期を取りながら、複数ビットストリームの復号を行う必要があるため、従来の画像復号装置のように、各チャネルの画像の復号タイミングは、お互いに他のチャネルの復号状況を考慮することなく任意とし、表示の際に各チャネルの同期を取って再生する構成の場合、復号時の各チャネル間の参照が上手く行われず、正しく復号処理が行えないという課題が発生する。
【０２１０】
一方で、本発明の実施の形態１に係る画像復号装置１００は、第１制御部１３１と第２制御部１３２とを同時に起動するとともに、完了の待ち合わせを行うことにより、符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
【０２１１】
また、本発明の実施の形態１に係る画像復号装置１００は、Ｒ側符号化ビットストリーム１１１の復号処理の際に共通でアクセスできるビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリームの参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００は、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
【０２１２】
次に、ＤＰＢリスト１４１ａ及び１４１ｂとフレームメモリマッピングリスト１４２ａ及び１４２ｂと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係について、図１５を用いて説明する。
【０２１３】
（期間Ｔ１０）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＩピクチャ（Ｌ−Ｉ）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録される。
【０２１４】
また、ビュー間参照用シンタックス情報リスト１４３にＩピクチャ（Ｌ−Ｉ）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＩピクチャ（Ｌ−Ｉ）のベースアドレスが登録される。
【０２１５】
（Ｒ側符号化ビットストリーム１１１の復号処理）
ビュー間参照が発生する可能性があるため、期間Ｔ１０ではＲ側符号化ビットストリームの処理は行わずに、期間Ｔ１１から開始する。
【０２１６】
（期間Ｔ１１）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ１）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「１」にＰピクチャ（Ｐｌ１）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「１」にＰピクチャ（Ｌ−Ｐｌ）のベースアドレスが登録される。
【０２１７】
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＩピクチャ（Ｒ−Ｉ）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録される。
【０２１８】
（期間Ｔ１２）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ２）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「２」に登録される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ２）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ２）のベースアドレスが登録される。
【０２１９】
（Ｒ側符号化ビットストリーム１１１の復号処理)
復号されたＰピクチャ（Ｒ−Ｐ１）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録される。
【０２２０】
（期間Ｔ１３）
（Ｌ側符号化ビットストリーム１１０の復号処理)
復号されたＢピクチャ（Ｌ−Ｂ１）がフレームメモリ１７０に格納され、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「３」に登録される。しかし、当該Ｂピクチャ（Ｌ−Ｂ１）は後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ａにはシンタックス情報１１３は登録されない。
【０２２１】
また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「１」にＢピクチャ（Ｌ−Ｂ１）が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「１」にＰピクチャ（Ｌ−Ｂ１）のベースアドレスが登録される。
【０２２２】
（Ｒ側符号化ビットストリーム１１１の復号処理)
復号されたＰピクチャ（Ｒ−Ｐ２）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「２」に登録される。
【０２２３】
（Ｌ側符号化ビットストリーム１１０の画像表示）
Ｉピクチャ（Ｌ−Ｉ）は画像表示されるが、当該Ｉピクチャ（Ｌ−１）は、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されているベースアドレスは削除されない。
【０２２４】
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｐピクチャ（Ｒ−Ｐ１）は画像表示されるが、当該Ｐピクチャ（Ｒ−Ｐ１）は、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録されているベースアドレスは削除されない。
【０２２５】
（期間Ｔ１４）
（Ｌ側符号化ビットストリーム１１０の復号処理)
復号されたＰピクチャ（Ｌ−Ｐ３）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「４」に登録される。その際、ＤＰＢリスト１４１ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報１１３、及びフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のベースアドレスが登録される。
【０２２６】
（Ｒ側符号化ビットストリーム１１１の復号処理)
復号されたＢピクチャ（Ｒ−Ｂ１）がフレームメモリ１７０に格納され、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録される。また、当該Ｂピクチャ（Ｒ−Ｂ１）は、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ｂにはシンタックス情報１１３は登録されない。
【０２２７】
（Ｌ側符号化ビットストリーム１１０の画像表示）
Ｐピクチャ（Ｌ−Ｐ１）は画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「１」に登録されているシンタックス情報は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録されているベースアドレスは削除されない。
【０２２８】
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｐピクチャ（Ｒ−Ｐ１）は画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「１」に登録されているシンタックス情報は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録されているベースアドレスは削除されない。
【０２２９】
（期間Ｔ１５）
（Ｌ側符号化ビットストリーム１１０の復号処理)
復号されたＢピクチャ（Ｌ−Ｂ２）がフレームメモリ１７０に格納され、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録される。また、当該Ｂピクチャ（Ｌ−Ｂ２）は、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ａにはシンタックス情報１１３は登録されない。
【０２３０】
また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「１」にＢピクチャ（Ｌ−Ｂ２）が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「１」にＢピクチャ（Ｌ−Ｂ２）のベースアドレスが登録される。
【０２３１】
（Ｒ側符号化ビットストリーム１１１の復号処理)
復号されたＰピクチャ（Ｒ−Ｐ３）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「４」に登録される。その際、ＤＰＢリスト１４１ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報１１３、及びフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。
【０２３２】
（Ｌ側符号化ビットストリーム１１０の画像表示）
Ｂピクチャ（Ｌ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｌ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「３」から登録されていたベースアドレスが削除される。
【０２３３】
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｂピクチャ（Ｒ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｒ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ｂのインデックス番号「３」から登録されていたベースアドレスが削除される。
【０２３４】
（期間Ｔ１６）
（Ｌ側符号化ビットストリーム１１０の復号処理)
復号されたＰピクチャ（Ｌ−Ｐ４）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録される。その際、ＤＰＢリスト１４１ａのインデックス番号「１」に登録されていたＰピクチャ（Ｌ−Ｐ１）のシンタックス情報１１３、及びフレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録されていたＩピクチャ（Ｌ−Ｐ１）のベースアドレスが削除される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ４）が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のベースアドレスが登録される。
【０２３５】
（Ｒ側符号化ビットストリーム１１１の復号処理)
復号されたＢピクチャ（Ｒ−Ｂ２）がフレームメモリ１７０に格納され、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録される。また、当該Ｂピクチャ（Ｒ−Ｂ２）は後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ｂにはシンタックス情報１１３は登録されない。
【０２３６】
（Ｌ側符号化ビットストリーム１１０の画像表示）
Ｐピクチャ（Ｌ−Ｐ２）は画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「２」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「２」に登録されているベースアドレスは削除されない。
【０２３７】
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｐピクチャ（Ｒ−Ｐ２）は画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「２」に登録されているシンタックス情報は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「２」に登録されているベースアドレスは削除されない。
【０２３８】
このように、本発明の実施の形態１に係る画像復号装置１００は、第１制御部１３１と第２制御部１３２とを同時に起動するとともに、完了の待ち合わせを行うことにより、符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
【０２３９】
なお、本発明の実施の形態１に係る画像復号装置１００は、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
【０２４０】
また、本実施の形態では、第１制御部１３１と第２制御部１３２とはピクチャ単位（フレーム単位）で待ち合わせを行うことで同期を取っているが、フィールド構造などの場合は２フィールドピクチャ単位での同期としてもよい。また、第１制御部１３１と第２制御部１３２とは、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で同期をとってもよい。
【０２４１】
また、本実施の形態で述べている第１制御部１３１及び第２制御部１３２は、実際はプロセッサを２個搭載してもよいし、論理的な２つのスレッドであってもよい。
【０２４２】
また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
【０２４３】
また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
【０２４４】
また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとのうちの少なくとも一方を１つのリストによって管理し、統一したインデックスを付与してもよい。
【０２４５】
また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
【０２４６】
（実施の形態２）
図１６は、本発明の実施の形態２に係る画像復号装置１００Ａの構成を示す図である。
【０２４７】
以下、本発明の実施の形態２に係る画像復号装置１００Ａの構成について説明する。なお、図２と同様の要素には同様の符号を付しており、重複する説明は省略する。
【０２４８】
具体的には、図１６に示す画像復号装置１００Ａは、画像復号部２２０の構成が、図２に示す画像復号部１２０の構成と異なる。
【０２４９】
画像復号部２２０は、選択部２２１と、復号部２２２とを備える。
【０２５０】
選択部２２１は、符号化ビットストリーム１１０及び１１１のうち一方を選択し、選択した符号化ビットストリームを復号部２２２へ出力する。
【０２５１】
復号部２２２は、選択部２２１により出力された符号化ビットストリームを復号する。なお、復号部２２２の内部構成は、実施の形態１で説明した第１復号部１２１及び第２復号部１２２と同じ構成である。
【０２５２】
本実施の形態の画像復号装置に入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４−ＭＶＣを用いて符号化されている。また、Ｈ．２６４−ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
【０２５３】
上記のようにＨ．２６４規格及びＨ．２６４−ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態２の画像復号装置１００Ａについて、その動作を説明する。
【０２５４】
本実施の形態では１ストリームにつき参照に必要なピクチャ枚数は３枚とする。また、前述のように復号中の画像の格納用に１枚必要である。
【０２５５】
さらに、画像表示は同一アクセスユニットに属するＬ側のピクチャとＲ側のピクチャが復号完了したあとに図１７のようなタイミングで表示されるものとする。具体的には、期間Ｔ２１において、Ｌ側のピクチャＬ１の復号処理が行われる。次に、期間Ｔ２２において、Ｒ側のピクチャＲ１の復号処理が行われる。次に、期間Ｔ２３において、Ｌ側のピクチャＬ１の復号処理が行われる。また、期間Ｔ２４において、ピクチャＬ１及びピクチャＲ１が表示される。なお、ピクチャＬ１及びピクチャＲ１は同一のアクセスユニットに含まれるピクチャである。
【０２５６】
このように、表示中に次のピクチャの復号処理を開始させるため、格納領域を表示用に１枚設ける。
【０２５７】
したがって、フレームメモリ１７０は、合計１０枚（Ｌ側５枚、Ｒ側５枚）のピクチャが格納できる領域を備えているものとする。
【０２５８】
本実施の形態において、復号部２２２が符号化ビットストリーム１１０と符号化ビットストリーム１１１との復号処理を交互に行うため、ビュー間参照用シンタックス情報リスト１４３及びビュー間参照用フレームメモリマッピングリスト１４４には１ピクチャ分の領域を確保する。
【０２５９】
また、入力される符号化ビットストリーム１１０及び１１１の構成も実施の形態１と同様である。
【０２６０】
まず、本実施の形態の画像復号装置１００Ａは、Ｌ側符号化ビットストリーム１１０から復号処理を開始する。また、第１制御部１３１及び第２制御部１３２は次のように交互に動作することで符号化ビットストリーム１１０及び１１１の復号処理の同期をとる。
【０２６１】
まず、Ｌ側のピクチャの復号処理について説明する。
【０２６２】
第１制御部１３１は、以下の処理ステップで、復号部２２２を制御し、Ｌ側符号化ビットストリーム１１０のピクチャ復号処理を行う。なお、第１制御部１３１による処理手順は、図１２に示す処理と同様なので、図１２を用いて説明を行う。
【０２６３】
まず、第１制御部１３１は、フラグ格納部１８０に格納されている第１完了フラグをクリアする（Ｓ１０１）。
【０２６４】
次に、第１制御部１３１は、復号対象ピクチャの復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ１０２）。
【０２６５】
次に、第１制御部１３１は、Ｌ側のＤＰＢリスト１４１ａを管理情報格納部１４０から取得する（Ｓ１０３）。
【０２６６】
次に、第１制御部１３１は、フレームメモリマッピングリスト１４２ａを取得する。また、第１制御部１３１は、取得したＤＰＢリスト１４１ａ及びフレームメモリマッピングリスト１４２ａを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ１０４）。
【０２６７】
次に、第１制御部１３１は、上記ステップＳ１０２〜Ｓ１０４で得られた復号対象ピクチャ及び参照ピクチャのベースアドレス、及びＤＰＢリスト１４１ａを第１復号部１２１に設定する。また、第１制御部１３１は、Ｌ側符号化ビットストリーム１１０を選択するように選択部２２１を設定する。また、第１制御部１３１は、復号部２２２を起動する（Ｓ１０５）。
【０２６８】
次に、復号部２２２は、ステップＳ１０５で設定された参照ピクチャのベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１０を復号することにより復号ピクチャを生成する。また、復号部２２２は、生成した復号ピクチャを、ステップＳ１０５で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部２２２は、第１制御部１３１に当該復号対象ピクチャの復号処理が完了したことを通知する（Ｓ１０６）。
【０２６９】
次に、第１制御部１３１は、ステップＳ１０６で復号処理が完了したピクチャのシンタックス情報１１３を復号部２２２から取得する（Ｓ１０７）。
【０２７０】
次に、第１制御部１３１は、ステップＳ１０５で復号処理が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ステップＳ１０７で取得したシンタックス情報１１３を用いて、管理情報格納部１４０内のＤＰＢリスト１４１ａを更新する（Ｓ１０８）。
【０２７１】
次に、第１制御部１３１は、ステップＳ１０８におけるＤＰＢリスト１４１ａの更新により、ＤＰＢリスト１４１ａから外れたピクチャが存在する場合、ＤＰＢリスト１４１ａの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第１制御部１３１からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ａを更新する（Ｓ１０９）。
【０２７２】
次に、第１制御部１３１は、ステップＳ１０７で得られたシンタックス情報１１３をビュー間参照用のシンタックス情報としてビュー間参照用シンタックス情報リスト１４３に格納する（Ｓ１１０）。
【０２７３】
次に、第１制御部１３１は、ステップＳ１０２で得られたベースアドレスをビュー間参照用フレームメモリマッピングリスト１４４に格納する（Ｓ１１１）。
【０２７４】
次に、第１制御部１３１は、Ｌ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第１完了フラグをセットする（Ｓ１１２）。
【０２７５】
次に、Ｒ側のピクチャの復号処理について説明する。
【０２７６】
上記ステップＳ１０１〜Ｓ１１２で、一連のＬ側符号化ビットストリーム１１０の復号処理が完了した後、第２制御部１３２は、以下の処理ステップで、復号部２２２を制御し、Ｒ側符号化ビットストリーム１１１の復号処理を行う。
【０２７７】
なお、第２制御部１３２による処理手順は、図１３に示す処理と同様なので、図１３を用いて説明を行う。
【０２７８】
まず、第２制御部１３２は、フラグ格納部１８０に格納されている第２完了フラグをクリアする（Ｓ２０１）。
【０２７９】
次に、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのシンタックス情報１１３を、管理情報格納部１４０内のビュー間参照用シンタックス情報リスト１４３から取得し、ビュー間参照ピクチャを特定する（Ｓ２０２）。
【０２８０】
次に、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのベースアドレスを、管理情報格納部１４０内のビュー間参照用フレームメモリマッピングリスト１４４から取得する（Ｓ２０３）。
【０２８１】
次に、第２制御部１３２は、復号対象ピクチャ（Ｒ側ピクチャ）の復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ２０４）。
【０２８２】
次に、第２制御部１３２は、Ｒ側のＤＰＢリスト１４１ｂを管理情報格納部１４０から取得する（Ｓ２０５）。
【０２８３】
次に、第２制御部１３２は、フレームメモリマッピングリスト１４２ｂを取得する。また、第２制御部１３２は、取得したＤＰＢリスト１４１ｂ及びフレームメモリマッピングリスト１４２ｂを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ２０６）。
【０２８４】
次に、第２制御部１３２は、ステップＳ２０３、Ｓ２０４、Ｓ２０５及びＳ２０６で得られた復号対象ピクチャ、ビュー内参照用の参照ピクチャ及びビュー間参照用の参照ピクチャのベースアドレスと、復号対象ピクチャのＤＰＢリスト１４１ｂとを復号部２２２に設定する。また、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１を選択するように選択部２２１を設定する。また、第２制御部１３２は、復号部２２２を起動する（Ｓ２０７）。
【０２８５】
次に、復号部２２２は、ステップＳ２０７で設定されたビュー内参照用又はビュー間参照用のベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１１を復号することにより復号ピクチャを生成する。また、復号部２２２は、生成した復号ピクチャを、ステップＳ２０７で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部２２２は、第２制御部１３２に当該ピクチャの復号処理が完了したことを通知する（Ｓ２０８）。
【０２８６】
次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャのシンタックス情報１１３を復号部２２２から取得する（Ｓ２０９）。
【０２８７】
次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ＤＰＢリスト１４１ｂを更新する（Ｓ２１０）。
【０２８８】
次に、第２制御部１３２は、ステップＳ２１０におけるＤＰＢリスト１４１ｂの更新により、ＤＰＢリストから外れたピクチャが存在する場合、ＤＰＢリスト１４１ｂの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第２制御部１３２からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ｂを更新する（Ｓ２１１）。
【０２８９】
次に、第２制御部１３２は、Ｒ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第２完了フラグをセットする（Ｓ２１２）。
【０２９０】
以上のように、第１制御部１３１と第２制御部１３２とを交互に動作させることで、図１８のように符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
【０２９１】
例えば、図１８に示す時刻ｔ１１において、Ｌ側の復号処理が開始される。つまり、上述した図１２に示す処理が行われる。また、時刻ｔ１２においてＬ側の復号処理が終了し、次に、Ｒ側の復号処理が開始される。つまり、上述した図１３に示す処理が行われる。また、時刻ｔ１３においてＲ側の復号処理が終了し、次に、Ｌ側の復号処理が開始される。
【０２９２】
このように、制御部１３０は、選択部２２１に符号化ビットストリーム１１０及び１１１のうちの一方の信号を選択させる。また、制御部１３０は、当該一方の信号の予め定められた復号処理単位の復号処理が完了した後、選択部２２１に符号化ビットストリーム１１０及び１１１のうちの他方の信号を選択させる。
【０２９３】
具体的には、第１制御部１３１は、フラグ格納部１８０に第２完了フラグが格納されている場合、次の復号処理単位の符号化ビットストリーム１１０の復号処理を復号部２２２に開始させる。
【０２９４】
また、第２制御部１３２は、フラグ格納部１８０に第１完了フラグが格納されている場合、次の復号処理単位の符号化ビットストリーム１１１の復号処理を復号部２２２に開始させる。
【０２９５】
次に、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係について、図１９を用いて説明する。
【０２９６】
（期間Ｔ３０）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＩピクチャ（Ｌ−Ｉ）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録される。
【０２９７】
また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＩピクチャ（Ｌ−Ｉ）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｉ）のベースアドレスが登録される。
【０２９８】
（期間Ｔ３１）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＩピクチャ（Ｒ−Ｉ）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録される。
【０２９９】
（期間Ｔ３２）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ１）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録される。
【０３００】
また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ１）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ１）のベースアドレスが登録される。
【０３０１】
（期間Ｔ３３）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ１）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録される。
【０３０２】
（期間Ｔ３４）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ２）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「２」に登録される。
【０３０３】
また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ２）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ２）のベースアドレスが登録される。
【０３０４】
（Ｌ側符号化ビットストリーム１１０の画像表示）
Ｉピクチャ（Ｌ−Ｉ）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されているベースアドレスは削除されない。
【０３０５】
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｉピクチャ（Ｒ−Ｉ）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録されているベースアドレスは削除されない。
【０３０６】
（期間Ｔ３５）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ２）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「２」に登録される。
【０３０７】
（期間Ｔ３６）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＢピクチャ（Ｌ−Ｂ１）がフレームメモリに格納され、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「３」に登録されるが、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ａにはシンタックス情報１１３は登録されない。
【０３０８】
（Ｌ側符号化ビットストリーム１１０の画像表示）
Ｉピクチャ（Ｌ−Ｐ１）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「１」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録されているベースアドレスは削除されない。
【０３０９】
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｉピクチャ（Ｒ−Ｐ１）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「１」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録されているベースアドレスは削除されない。
【０３１０】
（期間Ｔ３７）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＢピクチャ（Ｒ−Ｂ１）がフレームメモリに格納され、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録されるが、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ｂにはシンタックス情報１１３は登録されない。
【０３１１】
（期間Ｔ３８）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ３）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「４」に登録される。その際、ＤＰＢリスト１４１ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報１１３、及びフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のベースアドレスが登録される。
【０３１２】
（Ｌ側符号化ビットストリーム１１１の画像表示）
Ｂピクチャ（Ｌ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｌ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「３」から登録されていたベースアドレスが削除される。
【０３１３】
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｂピクチャ（Ｒ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｒ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「３」から登録されていたベースアドレスが削除される。
【０３１４】
（期間Ｔ３９）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ３）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「４」に登録される。その際、ＤＰＢリスト１４１ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報、及びフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。
【０３１５】
このように、本発明の実施の形態２に係る画像復号装置１００Ａは、第１制御部１３１と第２制御部１３２とを交互に動作させることで、符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
【０３１６】
また、本発明の実施の形態２に係る画像復号装置１００Ａは、Ｒ側符号化ビットストリーム１１１の復号処理の際に共通でアクセスできるビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ａは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
【０３１７】
なお、本発明の実施の形態２に係る画像復号装置１００Ａは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
【０３１８】
また、本実施の形態では、第１制御部１３１と第２制御部１３２とはピクチャ単位（フレーム単位）で待ち合わせを行うことで同期を取っているが、フィールド構造などの場合は２フィールドピクチャ単位での同期としてもよい。また、第１制御部１３１と第２制御部１３２とは、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で同期をとってもよい。
【０３１９】
また、本実施の形態で述べている第１制御部１３１及び第２制御部１３２は、実際はプロセッサを２個搭載してもよいし、論理的な２つのスレッドであってもよい。
【０３２０】
また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
【０３２１】
また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
【０３２２】
また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとのうちの少なくとも一方を１つのリストによって管理し、統一したインデックスを付与してもよい。
【０３２３】
また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
【０３２４】
（実施の形態３）
図２０は、本発明の実施の形態３に係る画像復号装置１００Ｂの構成を示す図である。
【０３２５】
以下、本発明の実施の形態３に係る画像復号装置１００Ｂの構成について説明する。なお、図１６と同様の要素には同様の符号を付しており、重複する説明は省略する。
【０３２６】
具体的には、図２０に示す画像復号装置１００Ｂは、管理情報格納部２４０の構成が、図１６に示す管理情報格納部１４０の構成と異なる。さらに具体的には、管理情報格納部２４０は、図１６に示すフレームメモリマッピングリスト１４２ａ及び１４２ｂの代わりにフレームメモリマッピングリスト１４２ｃを格納する。
【０３２７】
本実施の形態ではこのフレームメモリマッピングリスト１４２ｃを用いてフレームメモリ１７０の状態を管理する。
【０３２８】
図２１は、フレームメモリマッピングリスト１４２ｃの構成を示す図である。例えば、フレームメモリマッピングリスト１４２ｃは、図２１に示すようなテーブル形式である。なお、図７と同様の要素には同様の符号を付している。
【０３２９】
図２１に示すように、フレームメモリマッピングリスト１４２ａは、復号ピクチャごとに対応付けられた複数のエントリを含む。各エントリは、フレームメモリアドレス２０３と、ＤＰＢリストインデックス２０４ａ及び２０４ｂと、ビュー間参照用シンタックス情報インデックス２０５と、画像表示ステータス２０６と、状態情報２０７とを含む。
【０３３０】
ＤＰＢリストインデックス２０４ａは、当該復号ピクチャに対応するＤＰＢリスト１４１ａのインデックス２０１を示す。
【０３３１】
ＤＰＢリストインデックス２０４ｂは、当該復号ピクチャに対応するＤＰＢリスト１４１ｂのインデックス２０１を示す。
【０３３２】
図２１に示す例では、フレームメモリアドレス２０３が「０」及び「３」のエントリは、Ｌ側復号処理の復号ピクチャバッファ（ＤＰＢ）として使用されており、ＤＰＢリスト１４１ａに付与されている該当インデックス２０１が割り当てられている。また、フレームメモリアドレス２０３が「１」及び「４」のエントリは、Ｒ側復号処理の復号ピクチャバッファ（ＤＰＢ）として使用されており、ＤＰＢリスト１４１ｂに付与されている該当インデックス２０１が割り当てられている。また、フレームメモリアドレス２０３が「５」のエントリは、ビュー間参照用ピクチャとして使用されており、ビュー間参照用シンタックス情報リスト１４３に付与されている該当インデックス２０１が割り当てられている。また、フレームメモリアドレス２０３が「６」のエントリは、テンポラリバッファとして用いられている（画像表示されていないピクチャが格納されている）ため使用することができない。よって、この例では復号ピクチャバッファ（ＤＰＢ）として使用されておらず、かつテンポラリバッファとしても使用されていないフレームメモリアドレス２０３が「１」及び「６」のエントリが未使用であると特定できる。
【０３３３】
本実施の形態の画像復号装置１００Ｂに入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４−ＭＶＣを用いて符号化されている。また、Ｈ．２６４−ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
【０３３４】
上記のようにＨ．２６４規格及びＨ．２６４−ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態３の画像復号装置１００Ｂについて、その動作を説明する。
【０３３５】
本実施の形態では、実施の形態２と同様に、１ストリームにつき参照に必要なピクチャ枚数は３枚とする。また、前述のように復号中のピクチャの格納用に１枚必要とする。さらに、画像表示は同一アクセスユニットに属するＬ側のピクチャとＲ側のピクチャが復号完了したあとに図１７のようなタイミングで表示されるものとする。よって、表示中に次のピクチャの復号処理を開始させるため、格納領域を表示用に１枚設ける。ただし、この格納領域を、Ｌ側符号化ビットストリームとＲ側符号化ビットストリームとで共通に管理することで、上記実施の形態２に比べ、格納領域を１枚分削減できる。よって、フレームメモリ１７０は、合計９枚のピクチャが格納できる領域を備えているものとする。
【０３３６】
まず、本実施の形態の画像復号装置１００Ｂは、Ｌ側符号化ビットストリーム１１０から復号処理を開始する。また、第１制御部１３１と第２制御部１３２とは実施の形態２と同様に交互に動作することで符号化ビットストリーム１１０及び１１１の復号処理の同期をとる。
【０３３７】
以下、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ｃと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係について、図２２を用いて説明する。
【０３３８】
（期間Ｔ４０）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＩピクチャ（Ｌ−Ｉ）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録される。
【０３３９】
また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＩピクチャ（Ｌ−Ｉ）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｉ）のベースアドレスが登録される。
【０３４０】
（期間Ｔ４１）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＩピクチャ（Ｒ−Ｉ）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録される。
【０３４１】
（期間Ｔ４２）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ１）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「２」に登録される。
【０３４２】
また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ１）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ１）のベースアドレスが登録される。
【０３４３】
（期間Ｔ４３）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ１）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録される。
【０３４４】
（期間Ｔ４４）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ２）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「４」に登録される。
【０３４５】
また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ２）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ２）のベースアドレスが登録される。
【０３４６】
（Ｌ側符号化ビットストリーム１１０の画像表示）
Ｉピクチャ（Ｌ−Ｉ）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されているベースアドレスは削除されない。
【０３４７】
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｉピクチャ（Ｒ−Ｉ）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録されているベースアドレスは削除されない。
【０３４８】
（期間Ｔ４５）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ２）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「５」に登録される。
【０３４９】
（期間Ｔ４６）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＢピクチャ（Ｌ−Ｂ１）がフレームメモリに格納され、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「６」に登録されるが、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ａにはシンタックス情報１１３は登録されない。
【０３５０】
（Ｌ側符号化ビットストリーム１１０の画像表示）
Ｉピクチャ（Ｌ−Ｐ１）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「１」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「２」に登録されているベースアドレスは削除されない。
【０３５１】
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｉピクチャ（Ｒ−Ｐ１）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「１」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録されているベースアドレスは削除されない。
【０３５２】
（期間Ｔ４７）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＢピクチャ（Ｒ−Ｂ１）がフレームメモリに格納され、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「７」に登録されるが、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ｂにはシンタックス情報１１３は登録されない。
【０３５３】
（期間Ｔ４８）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ３）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「８」に登録される。その際、ＤＰＢリスト１４１ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報、及びフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のベースアドレスが登録される。
【０３５４】
（Ｌ側符号化ビットストリーム１１１の画像表示）
Ｂピクチャ（Ｌ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｌ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「６」から登録されていたベースアドレスが削除される。
【０３５５】
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｂピクチャ（Ｒ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｒ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「７」から登録されていたベースアドレスが削除される。
【０３５６】
（期間Ｔ４９）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ３）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録される。その際、ＤＰＢリスト１４１ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報、及びフレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。
【０３５７】
このように、本発明の実施の形態３に係る画像復号装置１００Ｂは、第１制御部１３１と第２制御部１３２とを交互に動作させることで、符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
【０３５８】
また、本発明の実施の形態３に係る画像復号装置１００Ｂは、Ｒ側符号化ビットストリーム１１１の復号処理の際に共通でアクセスできるビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ｂは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
【０３５９】
さらに、画像復号装置１００Ｂは、フレームメモリマッピングリスト１４２ｃをＬ側符号化ビットストリーム１１０とＲ側符号化ビットストリーム１１１で共通に管理することでフレームメモリ１７０の容量を削減することができる。よって、画像復号装置１００Ｂは、コストを下げることができる。
【０３６０】
なお、本発明の実施の形態３に係る画像復号装置１００Ｂは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
【０３６１】
また、本実施の形態では、第１制御部１３１と第２制御部１３２とはピクチャ単位（フレーム単位）で待ち合わせを行うことで同期を取っているが、フィールド構造などの場合は２フィールドピクチャ単位での同期としてもよい。また、第１制御部１３１と第２制御部１３２とは、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で同期をとってもよい。
【０３６２】
また、本実施の形態で述べている第１制御部１３１及び第２制御部１３２は、実際はプロセッサを２個搭載してもよいし、論理的な２つのスレッドであってもよい。
【０３６３】
また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
【０３６４】
また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
【０３６５】
また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、１つのリストによって管理し統一したインデックスを付与してもよい。
【０３６６】
また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
【０３６７】
（実施の形態４）
図２３は、本発明の実施の形態４に係る画像復号装置１００Ｃの構成を示すブロック図である。なお、図２と同様の要素には同様の符号を付しており、重複する説明は省略する。
【０３６８】
図２３に示す画像復号装置１００Ｃは、図２に示す画像復号装置１００の構成に加え、さらに、ストリーム結合部１９０を備える。また、画像復号装置１００Ｃは、画像復号部１２０の代わりに画像復号部３２０を備える。
【０３６９】
ストリーム結合部１９０は、符号化ビットストリーム１１０及び符号化ビットストリーム１１１を１つの符号化ビットストリーム３１０に結合する。具体的には、ストリーム結合部１９０は、符号化ビットストリーム１１０と符号化ビットストリーム１１１とを予め定められた符号化単位ごとに交互に配置することにより１つの符号化ビットストリーム３１０を生成する。
【０３７０】
画像復号部３２０は、復号部３２１を備える。復号部３２１は、符号化ビットストリーム３１０に含まれる符号化ビットストリーム１１０及び符号化ビットストリーム１１１を上記符号化単位ごとに交互に復号する。なお、復号部３２１の構成は、図２に示す第１復号部１２１及び第２復号部１２２の構成と同様である。
【０３７１】
本実施の形態の画像復号装置１００Ｃに入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４−ＭＶＣを用いて符号化されている。また、Ｈ．２６４−ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
【０３７２】
ここで、Ｈ．２６４−ＭＶＣのストリームの構造について補足する。
【０３７３】
Ｈ．２６４規格において、符号化された情報をＮＡＬユニットと呼ばれるレイヤに分離することが定義されている。それぞれのＮＡＬユニットにはスタートコードと呼ばれる識別可能な符号が付与されている。また、スタートコードに後続するＮＡＬヘッダによってＮＡＬユニットの種類を判別することができるようになっている。ＮＡＬユニットの種類とは、例えば、シーケンスパラメータセット、ピクチャパラメータセット、及びスライスなどがある。
【０３７４】
Ｈ．２６４−ＭＶＣにおいては、ＮＡＬヘッダを解析することで前述のシーケンスパラメータセット、ピクチャパラメータセット、及びスライスなどが属するビュー（ベースビュー又はノンベースビュー）を判別できるようになっている。
【０３７５】
ストリーム結合部１９０は、符号化ビットストリーム１１０及び１１１のストリーム解析を行い、符号化ビットストリーム１１０及び１１１を所定の単位で符号化ビットストリームの状態で交互に出力することで符号化ビットストリーム３１０を生成する。本実施の形態では、ストリーム結合部１９０は、Ｌ側符号化ビットストリーム１１０を先頭に、１ピクチャ単位で符号化ビットストリーム１１０及び１１１を交互に出力することでピクチャインターリーブされた符号化ビットストリーム３１０を生成する。言い換えると、ストリーム結合部１９０は、同一アクセスユニットに含まれる１ピクチャ単位の符号化ビットストリーム１１０と符号化ビットストリーム１１１とのうち、１ピクチャ単位の符号化ビットストリーム１１０を配置した後に、１ピクチャ単位の符号化ビットストリーム１１１を配置することにより符号化ビットストリーム３１０を生成する。
【０３７６】
以下、上記のようにＨ．２６４規格及びＨ．２６４−ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態４の画像復号装置１００Ｃについて、その動作を説明する。
【０３７７】
本実施の形態の画像復号装置１００Ｃでは、第１制御部１３１と第２制御部１３２とは次のように動作することで符号化ビットストリーム３１０の復号処理の同期をとる。
【０３７８】
まず、Ｌ側のピクチャの復号処理について説明する。
【０３７９】
第１制御部１３１は、以下の処理ステップで、画像復号部３２０を制御し、符号化ビットストリーム３１０に結合されたＬ側符号化ビットストリーム１１０のピクチャ復号処理を行う。
【０３８０】
なお、第１制御部１３１による処理手順は、図１２に示す処理と同様なので、図１２を用いて説明を行う。
【０３８１】
まず、第１制御部１３１は、フラグ格納部１８０に格納されている第１完了フラグをクリアする（Ｓ１０１）。
【０３８２】
次に、第１制御部１３１は、復号対象ピクチャの復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ１０２）。
【０３８３】
次に、第１制御部１３１は、Ｌ側のＤＰＢリスト１４１ａを管理情報格納部１４０から取得する（Ｓ１０３）。
【０３８４】
次に、第１制御部１３１は、フレームメモリマッピングリスト１４２ａを取得する。また、第１制御部１３１は、取得したＤＰＢリスト１４１ａ及びフレームメモリマッピングリスト１４２ａを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ１０４）。
【０３８５】
次に、第１制御部１３１は、上記ステップＳ１０２〜Ｓ１０４で得られた復号対象ピクチャ及び参照ピクチャのベースアドレス、及びＤＰＢリスト１４１ａを設定し、復号部３２１を起動する（Ｓ１０５）。なお、ストリームは１本に結合されているため、実施の形態２のような復号対象ストリームの設定は不要となる。
【０３８６】
次に、復号部３２１は、ステップＳ１０５で設定された参照ピクチャのベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１０を復号することにより復号ピクチャを生成する。また、復号部３２１は、生成した復号ピクチャを、ステップＳ１０５で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部３２１は、第１制御部１３１に当該復号対象ピクチャの復号処理が完了したことを通知する（Ｓ１０６）。
【０３８７】
次に、第１制御部１３１は、ステップＳ１０６で復号処理が完了したピクチャのシンタックス情報１１３を復号部３２１から取得する（Ｓ１０７）。
【０３８８】
次に、第１制御部１３１は、ステップＳ１０５で復号処理が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ステップＳ１０７で取得したシンタックス情報１１３を用いて、管理情報格納部１４０内のＤＰＢリスト１４１ａを更新する（Ｓ１０８）。
【０３８９】
次に、第１制御部１３１は、ステップＳ１０８におけるＤＰＢリスト１４１ａの更新により、ＤＰＢリスト１４１ａから外れたピクチャが存在する場合、ＤＰＢリスト１４１ａの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第１制御部１３１からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ａを更新する（Ｓ１０９）。
【０３９０】
次に、第１制御部１３１は、ステップＳ１０７で得られたシンタックス情報１１３をビュー間参照用のシンタックス情報としてビュー間参照用シンタックス情報リスト１４３に格納する（Ｓ１１０）。
【０３９１】
次に、第１制御部１３１は、ステップＳ１０２で得られたベースアドレスをビュー間参照用フレームメモリマッピングリスト１４４に格納する（Ｓ１１１）。
【０３９２】
次に、第１制御部１３１は、入力される符号化ビットストリームがＲ側符号化ビットストリームのデータであれば、Ｌ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第１完了フラグをセットする（Ｓ１１２）。
【０３９３】
次に、Ｒ側のピクチャの復号処理について説明する。
【０３９４】
上記ステップＳ１０１〜Ｓ１１２の後、第２制御部１３２は、以下の処理ステップで、画像復号部３２０を制御し、符号化ビットストリーム３１０に結合されたＲ側符号化ビットストリーム１１１の復号処理を行う。
【０３９５】
なお、第２制御部１３２による処理手順は、図１３に示す処理と同様なので、図１３を用いて説明を行う。
【０３９６】
まず、第２制御部１３２は、フラグ格納部１８０に格納されている第２完了フラグをクリアする（Ｓ２０１）。
【０３９７】
次に、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのシンタックス情報１１３を、管理情報格納部１４０内のビュー間参照用シンタックス情報リスト１４３から取得し、ビュー間参照ピクチャを特定する（Ｓ２０２）。
【０３９８】
次に、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのベースアドレスを、管理情報格納部１４０内のビュー間参照用フレームメモリマッピングリスト１４４から取得する（Ｓ２０３）。
【０３９９】
次に、第２制御部１３２は、復号対象ピクチャ（Ｒ側ピクチャ）の復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ２０４）。
【０４００】
次に、第２制御部１３２は、Ｒ側のＤＰＢリスト１４１ｂを管理情報格納部１４０から取得する（Ｓ２０５）。
【０４０１】
次に、第２制御部１３２は、フレームメモリマッピングリスト１４２ｂを取得する。また、第２制御部１３２は、取得したＤＰＢリスト１４１ｂ及びフレームメモリマッピングリスト１４２ｂを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ２０６）。
【０４０２】
次に、第２制御部１３２は、ステップＳ２０３、Ｓ２０４、Ｓ２０５及びＳ２０６で得られた復号対象ピクチャ、ビュー内参照用の参照ピクチャ及びビュー間参照用の参照ピクチャのベースアドレスと、復号対象ピクチャのＤＰＢリスト１４１ｂとを復号部３２１に設定し、復号部３２１を起動する（Ｓ２０７）。なお、ストリームは１本に結合されているため、実施の形態２のような復号対象ストリームの設定は不要となる。
【０４０３】
次に、復号部３２１は、ステップＳ２０７で設定されたビュー内参照用又はビュー間参照用のベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１１を復号することにより復号ピクチャを生成する。また、復号部３２１は、生成した復号ピクチャを、ステップＳ２０７で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部３２１は、第２制御部１３２に当該ピクチャの復号処理が完了したことを通知する（Ｓ２０８）。
【０４０４】
次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャのシンタックス情報１１３を復号部３２１から取得する（Ｓ２０９）。
【０４０５】
次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャが、後続のピクチャの復号時に参照ピクチャにとして用いられる場合は、ＤＰＢリスト１４１ｂを更新する（Ｓ２１０）。
【０４０６】
次に、第２制御部１３２は、ステップＳ２１０におけるＤＰＢリスト１４１ｂの更新により、ＤＰＢリストから外れたピクチャが存在する場合、ＤＰＢリスト１４１ｂの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第２制御部１３２からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ｂを更新する（Ｓ２１１）。
【０４０７】
次に、第２制御部１３２は、入力される符号化ビットストリームがＬ側符号化ビットストリームのデータであれば、Ｒ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第２完了フラグをセットする（Ｓ２１２）。
【０４０８】
なお、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係については実施の形態２と同様である。
【０４０９】
このように、本発明の実施の形態４に係る画像復号装置１００Ｃは、符号化ビットストリーム１１０及び１１１を結合して１本の符号化ビットストリーム３１０とすることで復号処理の同期をとることができる。
【０４１０】
また、本発明の実施の形態４に係る画像復号装置１００Ｃは、Ｒ側符号化ビットストリーム１１１の復号処理の際に、共通でアクセスできるビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ｃは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
【０４１１】
なお、本発明の実施の形態４に係る画像復号装置１００Ｃは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
【０４１２】
また、本実施の形態では、ストリーム結合部１９０は符号化ビットストリーム１１０と１１１とをピクチャ単位（フレーム単位）で交互に出力することにより符号化ビットストリーム３１０を生成しているが、フィールド構造などの場合は２フィールドピクチャ単位で交互に出力してもよい。また、ストリーム結合部１９０は、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で符号化ビットストリーム１１０と１１１とを交互に出力してもよい。
【０４１３】
また、本実施の形態で述べている第１制御部１３１及び第２制御部１３２は、実際はプロセッサを２個搭載してもよいし、論理的な２つのスレッドであってもよい。
【０４１４】
また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
【０４１５】
また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
【０４１６】
また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとのうちの少なくとも一方を１つのリストによって管理し、統一したインデックスを付与してもよい。
【０４１７】
また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
【０４１８】
また、本実施の形態ではＮＡＬヘッダの解析によって、符号化ビットストリーム１１０のデータか１１１のデータかを判別しているが、例えば、復号部３２１が識別可能なスタートコードと異なるビット列をストリーム結合部１９０が符号化ビットストリーム３１０に挿入してもよい。
【０４１９】
（実施の形態５）
図２４は、本発明の実施の形態５に係る画像復号装置１００Ｄの構成を示すブロック図である。なお、図２３と同様の要素には同様の符号を付しており、重複する説明は省略する。
【０４２０】
具体的には、図２４に示す画像復号装置１００Ｄは、管理情報格納部２４０の構成が、図２３に示す管理情報格納部１４０の構成と異なる。さらに具体的には、管理情報格納部２４０は、図２３に示すフレームメモリマッピングリスト１４２ａ及び１４２ｂの代わりにフレームメモリマッピングリスト１４２ｃを格納する。言い換えると、管理情報格納部２４０の構成は、図２０に示す管理情報格納部２４０と同様である。
【０４２１】
本実施の形態の画像復号装置１００Ｄに入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４−ＭＶＣを用いて符号化されている。また、Ｈ．２６４−ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
【０４２２】
上記のようにＨ．２６４規格及びＨ．２６４−ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態５の画像復号装置１００Ｄについて、その動作を説明する。
【０４２３】
本実施の形態では、実施の形態３と同様に、フレームメモリは合計９枚のピクチャが格納できる領域を備えているものとする。
【０４２４】
まず、本実施の形態５に係る画像復号装置１００Ｄは、Ｌ側符号化ビットストリーム１１０から復号処理を開始する。また、第１制御部１３１と第２制御部１３２とは実施の形態４と同様に交互に動作することで符号化ビットストリーム１１０及び１１１の復号処理の同期をとる。
【０４２５】
また、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ｃと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係は図２２と同様である。
【０４２６】
このように、本発明の実施の形態５に係る画像復号装置１００Ｄは、符号化ビットストリーム１１０及び１１１を結合して１本の符号化ビットストリーム３１０とすることで復号処理の同期をとることができる。
【０４２７】
また、本発明の実施の形態５に係る画像復号装置１００Ｄは、Ｒ側符号化ビットストリーム１１１の復号処理の際に、共通でアクセスできるビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ｄは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
【０４２８】
さらに、本発明の実施の形態５に係る画像復号装置１００Ｄは、フレームメモリマッピングリスト１４２ｃをＬ側符号化ビットストリーム１１０とＲ側符号化ビットストリーム１１１とで共通に管理することでフレームメモリ容量を削減することができ、コストを下げることができる。
【０４２９】
なお、本発明の実施の形態５に係る画像復号装置１００Ｄは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
【０４３０】
また、本実施の形態では、ストリーム結合部１９０は符号化ビットストリーム１１０と１１１とをピクチャ単位（フレーム単位）で交互に出力することにより符号化ビットストリーム３１０を生成しているが、フィールド構造などの場合は２フィールドピクチャ単位で交互に出力してもよい。また、ストリーム結合部１９０は、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で符号化ビットストリーム１１０と１１１とを交互に出力してもよい。
【０４３１】
また、本実施の形態で述べている第１制御部１３１及び第２制御部１３２は、実際はプロセッサを２個搭載してもよいし、論理的な２つのスレッドであってもよい。
【０４３２】
また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
【０４３３】
また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
【０４３４】
また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、１つのリストによって管理し統一したインデックスを付与してもよい。
【０４３５】
また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
【０４３６】
また、本実施の形態ではＮＡＬヘッダの解析によって、符号化ビットストリーム１１０のデータか１１１のデータかを判別しているが、例えば、復号部３２１が識別可能なスタートコードと異なるビット列をストリーム結合部１９０が符号化ビットストリーム３１０に挿入してもよい。
【０４３７】
（実施の形態６）
図２５は、本発明の実施の形態６に係る画像復号装置１００Ｅの構成を示すブロック図である。なお、図２３と同様の要素には同様の符号を付しており、重複する説明は省略する。
【０４３８】
図２５に示す画像復号装置１００Ｅは、制御部２３０の構成が、図２３に示す制御部１３０の構成と異なる。また、画像復号装置１００Ｅは、フラグ格納部１８０を備えない点が図２３に示す画像復号装置１００Ｃと異なる。
【０４３９】
制御部２３０は、第１制御部２３１を備える。
【０４４０】
第１制御部２３１は、符号化ビットストリーム１１０及び符号化ビットストリーム１１１が結合された符号化ビットストリーム３１０の復号処理を制御する。
【０４４１】
第１制御部２３１は、ＤＰＢリスト１４１ａ及びビュー間参照用シンタックス情報リスト１４３と、フレームメモリマッピングリスト１４２ａと、ビュー間参照用フレームメモリマッピングリスト１４４とをもとに、符号化ビットストリーム３１０に結合された符号化ビットストリーム１１０の復号処理の制御を行う。また、第１制御部２３１は、ＤＰＢリスト１４１ｂ及びビュー間参照用シンタックス情報リスト１４３と、フレームメモリマッピングリスト１４２ｂと、ビュー間参照用フレームメモリマッピングリスト１４４とをもとに、符号化ビットストリーム３１０に結合された符号化ビットストリーム１１１の復号処理の制御を行う。
【０４４２】
図２６は、第１制御部２３１の処理を示す図である。
【０４４３】
図２６のように、第１制御部２３１は、ベースビューであるＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス情報１１３をビュー間参照用シンタックス情報リスト１４３に格納する。また、第１制御部２３１は、ノンベースビューであるＲ側符号化ビットストリーム１１１の復号時には、ビュー間参照用シンタックス情報リスト１４３を取得する。
【０４４４】
本実施の形態の画像復号装置１００Ｅに入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４−ＭＶＣを用いて符号化されている。また、Ｈ．２６４−ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
【０４４５】
上記のようにＨ．２６４規格及びＨ．２６４−ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態６の画像復号装置１００Ｅについて、その動作を説明する。
【０４４６】
本実施の形態の画像復号装置１００Ｅは、次のように動作することで符号化ビットストリーム３１０の復号処理を行う。
【０４４７】
まず、Ｌ側のピクチャの復号処理について説明する。
【０４４８】
第１制御部２３１は、以下の処理ステップで、復号部３２１を制御し、符号化ビットストリーム３１０に結合されたＬ側符号化ビットストリーム１１０のピクチャ復号処理を行う。
【０４４９】
図２７は、画像復号装置１００ＥによるＬ側の復号処理のフローチャートである。
【０４５０】
まず、第１制御部２３１は、復号対象ピクチャの復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ３０１）。
【０４５１】
次に、第１制御部２３１は、Ｌ側のＤＰＢリスト１４１ａを管理情報格納部１４０から取得する（Ｓ３０２）。
【０４５２】
次に、第１制御部２３１は、フレームメモリマッピングリスト１４２ａを取得する。また、第１制御部２３１は、取得したＤＰＢリスト１４１ａ及びフレームメモリマッピングリスト１４２ａを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ３０３）。
【０４５３】
次に、第１制御部２３１は、上記ステップＳ３０１〜Ｓ３０３で得られた復号対象ピクチャ及び参照ピクチャのベースアドレス、及びＤＰＢリスト１４１ａを設定し、復号部３２１を起動する（Ｓ３０４）。
【０４５４】
次に、復号部３２１は、ステップＳ３０４で設定された参照ピクチャのベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１０を復号することにより復号ピクチャを生成する。また、復号部３２１は、生成した復号ピクチャを、ステップＳ３０４で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部３２１は、第１制御部２３１に当該復号対象ピクチャの復号処理が完了したことを通知する（Ｓ３０５）。
【０４５５】
次に、第１制御部２３１は、ステップＳ３０５で復号処理が完了したピクチャのシンタックス情報１１３を復号部３２１から取得する（Ｓ３０６）。
【０４５６】
次に、第１制御部２３１は、ステップＳ３０４で復号処理が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ステップＳ３０６で取得したシンタックス情報１１３を用いて、管理情報格納部１４０内のＤＰＢリスト１４１ａを更新する（Ｓ３０７）。
【０４５７】
次に、第１制御部２３１は、ステップＳ３０７におけるＤＰＢリスト１４１ａの更新により、ＤＰＢリスト１４１ａから外れたピクチャが存在する場合、ＤＰＢリスト１４１ａの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第１制御部２３１からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ａを更新する（Ｓ３０８）。
【０４５８】
次に、第１制御部２３１は、ステップＳ３０６で得られたシンタックス情報１１３をビュー間参照用のシンタックス情報としてビュー間参照用シンタックス情報リスト１４３に格納する（Ｓ３０９）。
【０４５９】
次に、第１制御部２３１は、ステップＳ３０１で得られたベースアドレスをビュー間参照用フレームメモリマッピングリスト１４４に格納する（Ｓ３１０）。
【０４６０】
また、第１制御部２３１は、入力される符号化ビットストリームがＲ側符号化ビットストリームのデータであれば、次に、Ｒ側の復号処理を開始する。
【０４６１】
次に、Ｒ側のピクチャの復号処理について説明する。
【０４６２】
上記ステップＳ４０１〜Ｓ４１０の後、第１制御部２３１は、以下の処理ステップで、画像復号部３２０を制御し、符号化ビットストリーム３１０に結合されたＲ側符号化ビットストリーム１１１の復号処理を行う。
【０４６３】
図２８は、画像復号装置１００ＥによるＲ側の復号処理のフローチャートである。
【０４６４】
まず、第１制御部２３１は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのシンタックス情報１１３を、管理情報格納部１４０内のビュー間参照用シンタックス情報リスト１４３から取得し、ビュー間参照ピクチャを特定する（Ｓ４０１）。
【０４６５】
次に、第１制御部２３１は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのベースアドレスを、管理情報格納部１４０内のビュー間参照用フレームメモリマッピングリスト１４４から取得する（Ｓ４０２）。
【０４６６】
次に、第１制御部２３１は、復号対象ピクチャ（Ｒ側ピクチャ）の復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ４０３）。
【０４６７】
次に、第１制御部２３１は、Ｒ側のＤＰＢリスト１４１ｂを管理情報格納部１４０から取得する（Ｓ４０４）。
【０４６８】
次に、第１制御部２３１は、フレームメモリマッピングリスト１４２ｂを取得する。また、第１制御部２３１は、取得したＤＰＢリスト１４１ｂ及びフレームメモリマッピングリスト１４２ｂを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ４０５）。
【０４６９】
次に、第１制御部２３１は、ステップＳ４０２、Ｓ４０３、Ｓ４０４及びＳ４０５で得られた復号対象ピクチャ、ビュー内参照用の参照ピクチャ及びビュー間参照用の参照ピクチャのベースアドレスと、復号対象ピクチャのＤＰＢリスト１４１ｂとを復号部３２１に設定し、復号部３２１を起動する（Ｓ４０６）。
【０４７０】
次に、復号部３２１は、ステップＳ４０６で設定されたビュー内参照用又はビュー間参照用のベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１１を復号することにより復号ピクチャを生成する。また、復号部３２１は、生成した復号ピクチャを、ステップＳ４０６で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部３２１は、第１制御部２３１に当該ピクチャの復号処理が完了したことを通知する（Ｓ４０７）。
【０４７１】
次に、第１制御部２３１は、ステップＳ４０７で復号が完了したピクチャのシンタックス情報１１３を復号部３２１から取得する（Ｓ４０８）。
【０４７２】
次に、第１制御部２３１は、ステップＳ４０７で復号が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ＤＰＢリスト１４１ｂを更新する（Ｓ４０９）。
【０４７３】
次に、第１制御部２３１は、ステップＳ４０９におけるＤＰＢリスト１４１ｂの更新により、ＤＰＢリストから外れたピクチャが存在する場合、ＤＰＢリスト１４１ｂの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第１制御部２３１からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ｂを更新する（Ｓ４１０）。
【０４７４】
また、第１制御部２３１は、入力される符号化ビットストリームがＬ側符号化ビットストリームのデータであれば、次に、Ｌ側の復号処理を開始する。
【０４７５】
なお、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係については実施の形態２と同様である。
【０４７６】
このように、本発明の実施の形態６に係る画像復号装置１００Ｅは、符号化ビットストリーム１１０及び１１１を結合して１本の符号化ビットストリーム３１０とすることで復号処理の同期をとることができる。
【０４７７】
また、本発明の実施の形態６に係る画像復号装置１００Ｅは、１つの第１制御部２３１で符号化ビットストリーム１１０及び１１１の制御を行うことでビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ｅは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
【０４７８】
なお、本発明の実施の形態６に係る画像復号装置１００Ｅは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
【０４７９】
また、本実施の形態では、ストリーム結合部１９０は符号化ビットストリーム１１０と１１１とをピクチャ単位（フレーム単位）で交互に出力することにより符号化ビットストリーム３１０を生成しているが、フィールド構造などの場合は２フィールドピクチャ単位で交互に出力してもよい。また、ストリーム結合部１９０は、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で符号化ビットストリーム１１０と１１１とを交互に出力してもよい。
【０４８０】
また、本実施の形態で述べている第１制御部２３１は、実際はプロセッサを１個搭載してもよいし、論理的な１つのスレッドであってもよい。
【０４８１】
また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
【０４８２】
また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
【０４８３】
また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとのうちの少なくとも一方を１つのリストによって管理し、統一したインデックスを付与してもよい。
【０４８４】
また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
【０４８５】
また、本実施の形態ではＮＡＬヘッダの解析によって、符号化ビットストリーム１１０のデータか１１１のデータかを判別しているが、例えば、復号部３２１が識別可能なスタートコードと異なるビット列をストリーム結合部１９０が符号化ビットストリーム３１０に挿入してもよい。
【０４８６】
（実施の形態７）
図２９は、本発明の実施の形態７に係る画像復号装置１００Ｆの構成を示すブロック図である。なお、図２５と同様の要素には同様の符号を付しており、重複する説明は省略する。
【０４８７】
具体的には、図２９に示す画像復号装置１００Ｆは、管理情報格納部２４０の構成が、図２５に示す管理情報格納部１４０の構成と異なる。さらに具体的には、管理情報格納部２４０は、図２５に示すフレームメモリマッピングリスト１４２ａ及び１４２ｂの代わりにフレームメモリマッピングリスト１４２ｃを格納する。言い換えると、管理情報格納部２４０の構成は、図２０に示す管理情報格納部２４０と同様である。
【０４８８】
本実施の形態の画像復号装置１００Ｆに入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４−ＭＶＣを用いて符号化されている。また、Ｈ．２６４−ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
【０４８９】
上記のようにＨ．２６４規格及びＨ．２６４−ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態７の画像復号装置１００Ｆについて、その動作を説明する。
【０４９０】
本実施の形態では、実施の形態３と同様に、フレームメモリ１７０は合計９枚のピクチャが格納できる領域を備えているものとする。
【０４９１】
まず、本実施の形態の画像復号装置１００Ｆは、Ｌ側符号化ビットストリーム１１０から復号処理を開始する。第１制御部２３１は実施の形態６と同様に動作することで符号化ビットストリーム３１０の復号処理を行う。
【０４９２】
なお、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ｃと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係は図２２と同様である。
【０４９３】
このように、本発明の実施の形態７に係る画像復号装置１００Ｆは、符号化ビットストリーム１１０及び１１１を結合して１本の符号化ビットストリーム３１０とすることで復号処理の同期をとることができる。
【０４９４】
また、本発明の実施の形態７に係る画像復号装置１００Ｆは、１つの第１制御部２３１で符号化ビットストリーム１１０及び１１１の制御を行うことでビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリームの参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ｆは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
【０４９５】
さらに、本発明の実施の形態７に係る画像復号装置１００Ｆは、フレームメモリマッピングリスト１４２ｃをＬ側符号化ビットストリームとＲ側符号化ビットストリームで共通に管理することでフレームメモリ１７０の容量を削減することができる。よって、画像復号装置１００Ｆは、コストを下げることができる。
【０４９６】
なお、本発明の実施の形態７に係る画像復号装置１００Ｆは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
【０４９７】
また、本実施の形態では、ストリーム結合部１９０は符号化ビットストリーム１１０と１１１とをピクチャ単位（フレーム単位）で交互に出力することにより符号化ビットストリーム３１０を生成しているが、フィールド構造などの場合は２フィールドピクチャ単位で交互に出力してもよい。また、ストリーム結合部１９０は、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で符号化ビットストリーム１１０と１１１とを交互に出力してもよい。
【０４９８】
また、本実施の形態で述べている第１制御部２３１は、実際はプロセッサを１個搭載してもよいし、論理的な１つのスレッドであってもよい。
【０４９９】
また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
【０５００】
また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
【０５０１】
また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、１つのリストによって管理し統一したインデックスを付与してもよい。
【０５０２】
また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
【０５０３】
また、本実施の形態ではＮＡＬヘッダの解析によって、符号化ビットストリーム１１０のデータか１１１のデータかを判別しているが、例えば、復号部３２１が識別可能なスタートコードと異なるビット列をストリーム結合部１９０が符号化ビットストリーム３１０に挿入してもよい。
【０５０４】
また、上記実施の形態１〜７に係る画像復号装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
【０５０５】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０５０６】
また、本発明の実施の形態１〜７に係る、画像復号装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【０５０７】
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０５０８】
また、上記実施の形態１〜７に係る、画像復号装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【０５０９】
また、上記で用いた数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。
【０５１０】
また、上記画像復号装置の構成は、本発明を具体的に説明するために例示するためのものであり、本発明に係る画像復号装置は、上記構成の全てを必ずしも備える必要はない。言い換えると、本発明に係る画像復号装置は、本発明の効果を実現できる最小限の構成のみを備えればよい。
【０５１１】
同様に、上記の画像復号装置による画像復号方法は、本発明を具体的に説明するために例示するためのものであり、本発明に係る画像復号方法は、上記ステップの全てを必ずしも含む必要はない。言い換えると、本発明に係る画像復号方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０５１２】
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
【産業上の利用可能性】
【０５１３】
本発明は、画像復号装置に適用でき、特に、Ｈ．２６４−ＭＶＣのような視点間予測を用いた符号化方式で圧縮された複数の符号化ビットストリームを用いる立体画像システムに有用である。例えば、本発明は、光ディスク再生装置、光ディスク記録装置、デジタルテレビジョン受信装置、ムービー装置及び携帯電話に有用である。
【符号の説明】
【０５１４】
１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆ、５００、６００  画像復号装置
１１０、１１１、３１０  符号化ビットストリーム
１１２  出力画像信号
１１３  シンタックス情報
１１４  ＲＰＬ
１２０、２２０、３２０  画像復号部
１２１  第１復号部
１２２  第２復号部
１２３  ヘッダ解析部
１２４  エントロピー復号部
１２５  逆量子化部
１２６  逆直交変換部
１２７  イントラ予測部
１２８  動き補償部
１２９  デブロッキングフィルタ処理部
１３０、２３０  制御部
１３１、２３１  第１制御部
１３２  第２制御部
１４０、２４０  管理情報格納部
１４１ａ、１４１ｂ  ＤＰＢリスト
１４２ａ、１４２ｂ、１４２ｃ  フレームメモリマッピングリスト
１４３  ビュー間参照用シンタックス情報リスト
１４４  ビュー間参照用フレームメモリマッピングリスト
１５０  フレームメモリ管理部
１６０  画像表示部
１７０  フレームメモリ
１８０  フラグ格納部
１９０  ストリーム結合部
２０１  インデックス
２０２  シンタックス情報
２０３  フレームメモリアドレス
２０４、２０４ａ、２０４ｂ  ＤＰＢリストインデックス
２０５  ビュー間参照用シンタックス情報インデックス
２０６  画像表示ステータス
２０７  状態情報
２２１  選択部
２２２、３２１  復号部
５０２  入力部
５０３  ヘッダ解析部
５０４  復号制御部
５０５、５０６、５０７  算術復号部
５０８、５０９、５１０  記憶部
５１１、５１２、５１３  画像復号部
６０１  ＶＢＶバッファ
６０２  可変長復号器
６０３  逆量子化器
６０４  ＩＤＣＴ器
６０５  加算器
６０６  画像メモリ
６０７  動き補償予測器
６１１  多重分離器
６１２、６１３、６１４  信号切替器
６２１  復号制御器
６２２  表示制御器
６２３  スイッチ制御器
【図１】
0005524594.tif 000002
【図２】
0005524594.tif 000003
【図３】
0005524594.tif 000004
【図４】
0005524594.tif 000005
【図５】
0005524594.tif 000006
【図６】
0005524594.tif 000007
【図７】
0005524594.tif 000008
【図８】
0005524594.tif 000009
【図９】
0005524594.tif 000010
【図１０】
0005524594.tif 000011
【図１１】
0005524594.tif 000012
【図１２】
0005524594.tif 000013
【図１３】
0005524594.tif 000014
【図１４】
0005524594.tif 000015
【図１５】
0005524594.tif 000016
【図１６】
0005524594.tif 000017
【図１７】
0005524594.tif 000018
【図１８】
0005524594.tif 000019
【図１９】
0005524594.tif 000020
【図２０】
0005524594.tif 000021
【図２１】
0005524594.tif 000022
【図２２】
0005524594.tif 000023
【図２３】
0005524594.tif 000024
【図２４】
0005524594.tif 000025
【図２５】
0005524594.tif 000026
【図２６】
0005524594.tif 000027
【図２７】
0005524594.tif 000028
【図２８】
0005524594.tif 000029
【図２９】
0005524594.tif 000030
【図３０】
0005524594.tif 000031
【図３１】
0005524594.tif 000032
【図３２】
0005524594.tif 000033