(57)【要約】  本技術は、多視点画像を効率よく生成することができるようにする画像処理装置および画像処理方法に関する。ノンベース符号化部の設定部は、ディペンデントビューのディペンデント画像を符号化する際にデコードピクチャバッファに記憶させる、ベースビューのベース画像を管理するビュー方向管理情報を設定する。ノンベース符号化部の符号化部は、ベース画像とディペンデント画像とを符号化して符号化データを生成する。ノンベース符号化部の伝送部は、設定されたビュー方向管理情報と、生成された符号化データとを伝送する。本技術は、例えば、多視点画像を符号化する画像処理装置に適用できる。
2013115023.tif 000002
【特許請求の範囲】
【請求項１】
ディペンデントビューのディペンデント画像を符号化する際にデコードピクチャバッファに記憶させる、ベースビューのベース画像を管理するビュー方向管理情報を設定する設定部と、
前記ベース画像と前記ディペンデント画像とを符号化して符号化データを生成する符号化部と、
前記設定部により設定されたビュー方向管理情報と、前記符号化部により生成された符号化データとを伝送する伝送部と
を備える画像処理装置。
【請求項２】
前記設定部は、前記ディペンデント画像を符号化する際に前記デコードピクチャバッファに記憶させる時間方向の画像を管理する時間方向管理情報が、前記ベース画像の時間方向管理情報と同一であることを示す同一情報を設定し、
前記伝送部は、前記設定部により設定された同一情報を伝送する
請求項１に記載の画像処理装置。
【請求項３】
前記設定部は、前記ビュー方向管理情報を、RPSとして設定する
請求項１に記載の画像処理装置。
【請求項４】
画像処理装置が、
ディペンデントビューのディペンデント画像を符号化する際にデコードピクチャバッファに記憶させる、ベースビューのベース画像を管理するビュー方向管理情報を設定する設定ステップと、
前記ベース画像と前記ディペンデント画像とを符号化して符号化データを生成する符号化ステップと、
前記設定ステップにより設定されたビュー方向管理情報と、前記符号化ステップにより生成された符号化データとを伝送する伝送ステップと
を含む画像処理方法。
【請求項５】
ディペンデントビューのディペンデント画像を復号する際にデコードピクチャバッファに記憶させる、ベースビューのベース画像を管理するビュー方向管理情報と、前記ベース画像と前記ディペンデント画像とが符号化された符号化データを受け取る受け取り部と、
符号化された前記符号化データを復号し、前記ビュー方向管理情報に基づいて前記デコードピクチャバッファの前記ベース画像を管理する復号部と
を備える画像処理装置。
【請求項６】
前記受け取り部は、前記ディペンデント画像を復号する際に前記デコードピクチャバッファに記憶させる時間方向の画像を管理する時間方向管理情報が、前記ベース画像の時間方向管理情報と同一であることを示す同一情報と、前記ベース画像の時間方向管理情報を受け取り、
前記復号部は、前記ベース画像の時間方向管理情報を用いて、前記デコードピクチャバッファに記憶させる前記時間方向の画像を管理する
請求項５に記載の画像処理装置。
【請求項７】
前記受け取り部は、前記ビュー方向管理情報を、RPSとして受け取る
請求項５に記載の画像処理装置。
【請求項８】
画像処理装置が、
ディペンデントビューのディペンデント画像を復号する際にデコードピクチャバッファに記憶させる、ベースビューのベース画像を管理するビュー方向管理情報と、前記ベース画像と前記ディペンデント画像とが符号化された符号化データを受け取る受け取りステップと、
符号化された前記符号化データを復号し、前記ビュー方向管理情報に基づいて前記デコードピクチャバッファの前記ベース画像を管理する復号ステップと
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および画像処理方法に関し、特に、多視点画像を効率よく生成することができるようにする画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
現在、AVC（Advanced Video Coding）方式より更なる符号化効率の向上を目的として、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められており、HEVCにおいて、RPS(Reference Picture Set)が提案されている（非特許文献１，２）。RPSとは、ピクチャごとに、デコードピクチャバッファの状態を明示する機能である。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,GaryJ.Sullivian,"WD4:Working Draft4 of High-Efficiency Video Coding",JCTVC-F_803_d5,Torino,IT 14-22 July,2011
【非特許文献２】"JCT-VC AHG report:Reference picture buffering and list construction(AHG21)",Joint Collaborative Team on Video Codeing(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,Geneva,CH,21-30 November,2011
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、現状のRPSでは、多視点画像については考慮されていないため、多視点画像の生成には適用できない。【０００５】
本技術は、このような状況に鑑みてなされたものであり、多視点画像を効率よく生成することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の第１の側面の画像処理装置は、ディペンデントビューのディペンデント画像を符号化する際にデコードピクチャバッファに記憶させる、ベースビューのベース画像を管理するビュー方向管理情報を設定する設定部と、前記ベース画像と前記ディペンデント画像とを符号化して符号化データを生成する符号化部と、前記設定部により設定されたビュー方向管理情報と、前記符号化部により生成された符号化データとを伝送する伝送部とを備える。【０００７】
本技術の第１の側面の画像処理方法は、画像処理装置が、ディペンデントビューのディペンデント画像を符号化する際にデコードピクチャバッファに記憶させる、ベースビューのベース画像を管理するビュー方向管理情報を設定する設定ステップと、前記ベース画像と前記ディペンデント画像とを符号化して符号化データを生成する符号化ステップと、前記設定ステップにより設定されたビュー方向管理情報と、前記符号化ステップにより生成された符号化データを伝送する伝送ステップとを含む。【０００８】
本技術の第１の側面においては、ディペンデントビューのディペンデント画像を符号化する際にデコードピクチャバッファに記憶させる、ベースビューのベース画像を管理するビュー方向管理情報が設定され、前記ベース画像と前記ディペンデント画像とを符号化して符号化データが生成され、設定されたビュー方向管理情報と、生成された符号化データとが伝送される。【０００９】
本技術の第２の側面の画像処理装置は、ディペンデントビューのディペンデント画像を復号する際にデコードピクチャバッファに記憶させる、ベースビューのベース画像を管理するビュー方向管理情報と、前記ベース画像と前記ディペンデント画像とが符号化された符号化データを受け取る受け取り部と、符号化された前記符号化データを復号し、前記ビュー方向管理情報に基づいて前記デコードピクチャバッファの前記ベース画像を管理する復号部とを備える。【００１０】
本技術の第２の側面の画像処理方法は、画像処理装置が、ディペンデントビューのディペンデント画像を復号する際にデコードピクチャバッファに記憶させる、ベースビューのベース画像を管理するビュー方向管理情報と、前記ベース画像と前記ディペンデント画像とが符号化された符号化データを受け取る受け取りステップと、符号化された前記符号化データを復号し、前記ビュー方向管理情報に基づいて前記デコードピクチャバッファの前記ベース画像を管理する復号ステップとを含む。【００１１】
本技術の第２の側面においては、ディペンデントビューのディペンデント画像を復号する際にデコードピクチャバッファに記憶させる、ベースビューのベース画像を管理するビュー方向管理情報と、前記ベース画像と前記ディペンデント画像とが符号化された符号化データが受け取られ、符号化された前記符号化データが復号され、前記ビュー方向管理情報に基づいて前記デコードピクチャバッファの前記ベース画像が管理される。【００１２】
なお、第１の側面および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。【００１３】
また、第１の側面および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１４】
本技術の第１の側面によれば、多視点画像を効率的に生成する符号化データを生成することができる。【００１５】
また、本技術の第２の側面によれば、多視点画像を効率的に生成する符号化データを復号することができる。
【図面の簡単な説明】
【００１６】
【図１】本技術を適用した画像処理装置としての符号化装置の一実施の形態の構成例を示すブロック図である。
【図２】ノンベース符号化部の構成例を示すブロック図である。
【図３】符号化部の構成例を示すブロック図である。
【図４】SPSのシンタックスの例を示す図である。
【図５】スライスヘッダのシンタックスの例を示す図である。
【図６】PPSのシンタックスの例を示す図である。
【図７】RPSのシンタックスの例を示す図である。
【図８】符号化の例を説明する図である。
【図９】参照インデックスの割り当て処理を説明する図である。
【図１０】符号化処理を説明するフローチャートである。
【図１１】符号化処理を説明するフローチャートである。
【図１２】RPS情報符号化処理を説明するフローチャートである。
【図１３】RPS情報生成処理を説明するフローチャートである。
【図１４】設定処理を説明するフローチャートである。
【図１５】本技術を適用した画像処理装置としての復号装置の一実施の形態の構成例を示すブロック図である。
【図１６】ノンベース復号部の構成例を示すブロック図である。
【図１７】復号部の構成例を示すブロック図である。
【図１８】分離処理を説明するフローチャートである。
【図１９】復号処理を説明するフローチャートである。
【図２０】管理処理を説明するフローチャートである。
【図２１】SPSのシンタックスのその他の例を示す図である。
【図２２】コンピュータの一実施の形態の構成例を示す図である。
【図２３】本技術を適用したテレビジョン装置の概略構成例を示す図である。
【図２４】本技術を適用した携帯電話機の概略構成例を示す図である。
【図２５】本技術を適用した記録再生装置の概略構成例を示す図である。
【図２６】本技術を適用した撮像装置の概略構成例を示す図である。
【発明を実施するための形態】
【００１７】
［符号化装置の一実施の形態の構成例］
図１は、本技術を適用した画像処理装置としての符号化装置の一実施の形態の構成例を示すブロック図である。
【００１８】
図１の符号化装置１０は、多視点画像の画像データを符号化する装置であり、ベース符号化部１１とノンベース符号化部１２とで構成される。
【００１９】
ベース符号化部１１は、多視点画像の画像データのうち、所定の視点（ベースビュー）の画像（以下、ベース画像という。）を、HEVC方式で符号化し、出力する。ベース符号化部１１は、符号化の際に得られる、ベース画像の復号画像とRPS(Reference Picture Set)情報をノンベース符号化部１２に供給する。
【００２０】
ノンベース符号化部１２は、多視点画像の画像データのうち、ベース画像の視点（ベースビュー）とは異なる視点（ディペンデントビュー）の画像（以下、ディペンデント画像という。）を、HEVC方式に準じた方式で符号化し、出力する。
【００２１】
ノンベース符号化部１２は、ベース符号化部１１からベース画像の復号画像とRPS情報を受け取って、それらを用いた符号化を行う。以下では、HEVC方式に準じた方式で符号化が行われる、ノンベース符号化部１２の符号化について説明する。
【００２２】
［ノンベース符号化部１２の構成例］
図２は、図１のノンベース符号化部１２の構成例を示すブロック図である。
【００２３】
ノンベース符号化部１２は、符号化部３１と設定部３２により構成される。
【００２４】
符号化部３１は、入力されるディペンデント画像に対して、HEVC方式に準じた方式でスライス単位の符号化を行う。符号化部３１は、符号化の結果得られるスライス単位の符号化データ等を設定部３２に供給する。また、符号化部３１は、ディペンデント画像の符号化に際し、DPB（デコードピクチャバッファ）１３２（図３）の状態をピクチャごとに管理する管理情報としてのRPS情報を生成し、設定部３２に供給する。
【００２５】
設定部３２は、ディペンデント画像に対する、SPS、PPS、スライスヘッダを設定（生成）する。SPS、PPS、スライスヘッダについては、図５乃至図７等を参照して後述する。そして、設定部３２は、シーケンス単位で、PPSが付加された符号化データにSPSを付加し、その結果得られるビットストリームを符号化ビットストリームとして伝送する。設定部３２は、伝送部として機能する。
【００２６】
［符号化部３１の構成例］
図３は、図２の符号化部３１の構成例を示すブロック図である。
【００２７】
図３の符号化部３１は、A/D変換部１２１、画面並べ替えバッファ１２２、演算部１２３、直交変換部１２４、量子化部１２５、可逆符号化部１２６、蓄積バッファ１２７、逆量子化部１２８、逆直交変換部１２９、加算部１３０、デブロックフィルタ１３１、DPB１３２、画面内予測部１３３、動き予測・補償部１３４、選択部１３５、RPS生成部１３６、およびレート制御部１３７により構成される。
【００２８】
符号化部３１のA/D変換部１２１は、ベース画像とは異なる視点方向の画像であるディペンデント画像をA/D変換し、画面並べ替えバッファ１２２に出力して記憶させる。画面並べ替えバッファ１２２は、記憶した表示の順番のフレーム単位のディペンデント画像を、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替え、演算部１２３、画面内予測部１３３、および動き予測・補償部１３４に出力する。
【００２９】
演算部１２３は、符号化部として機能し、選択部１３５から供給される予測画像と、画面並べ替えバッファ１２２から出力された符号化対象のディペンデント画像の差分を演算することにより、符号化対象のディペンデント画像を符号化する。具体的には、演算部１２３は、画面並べ替えバッファ１２２から出力された符号化対象のディペンデント画像から、選択部１３５から供給される予測画像を減算する。演算部１２３は、減算の結果得られる画像を、残差情報として直交変換部１２４に出力する。なお、選択部１３５から予測画像が供給されない場合、演算部１２３は、画面並べ替えバッファ１２２から読み出されたディペンデント画像をそのまま残差情報として直交変換部１２４に出力する。
【００３０】
直交変換部１２４は、演算部１２３からの残差情報に対して離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その結果得られる係数を量子化部１２５に供給する。
【００３１】
量子化部１２５は、直交変換部１２４から供給される係数を量子化する。量子化された係数は、可逆符号化部１２６に入力される。
【００３２】
可逆符号化部１２６は、量子化部１２５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行う。可逆符号化部１２６は、可逆符号化の結果得られる符号化データを蓄積バッファ１２７に供給し、蓄積させる。
【００３３】
蓄積バッファ１２７は、可逆符号化部１２６から供給される符号化データを、一時的に記憶し、スライス単位で設定部３２（図２）に供給する。
【００３４】
また、量子化部１２５より出力された、量子化された係数は、逆量子化部１２８にも入力され、逆量子化された後、逆直交変換部１２９に供給される。
【００３５】
逆直交変換部１２９は、逆量子化部１２８から供給される係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部１３０に供給する。
【００３６】
加算部１３０は、逆直交変換部１２９から供給される復号対象のディペンデント画像としての残差情報と、選択部１３５から供給される予測画像を加算して、局部的に復号されたディペンデント画像を得る。なお、選択部１３５から予測画像が供給されない場合、加算部１３０は、逆直交変換部１２９から供給される残差情報を局部的に復号されたディペンデント画像とする。加算部１３０は、局部的に復号されたディペンデント画像をデブロックフィルタ１３１に供給する。
【００３７】
デブロックフィルタ１３１は、加算部１３０から供給される局部的に復号されたディペンデント画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１３１は、その結果得られるディペンデント画像を画面内予測部１３３とDPB１３２に供給し、蓄積させる。
【００３８】
DPB（デコードピクチャバッファ）１３２は、デブロックフィルタ１３１から供給される局部的に復号されたディペンデント画像を記憶する。また、DPB１３２には、ベース符号化部１１から供給されたベース画像の復号画像も供給され、記憶される。DPB１３２に蓄積されたディペンデント画像およびベース画像は、参照画像として動き予測・補償部１３４に供給される。
【００３９】
画面内予測部１３３は、参照画像としてデブロックフィルタ１３１から供給された、ブロック歪除去後のディペンデント画像を用いて、候補となる全てのイントラ予測モードの画面内予測を行い、予測画像を生成する。
【００４０】
また、画面内予測部１３３は、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、画面内予測部１３３は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。画面内予測部１３３は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部１３５に供給する。画面内予測部１３３は、選択部１３５から最適イントラ予測モードで生成された予測画像の選択が通知された場合、最適イントラ予測モード等を示す画面内予測情報を図２の設定部３２に供給する。この画面内予測情報は、符号化に関する情報としてスライスヘッダに含まれる。
【００４１】
なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウェアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。
【００４２】
具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式（３）で表わされるコスト関数値が各予測モードに対して算出される。
【００４３】
Cost(Mode)=D＋λ・R                                  ・・・（３）
【００４４】
Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。
【００４５】
一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式（４）で表わされるコスト関数が各予測モードに対して算出される。
【００４６】
Cost(Mode)=D＋QPtoQuant(QP)・Header_Bit              ・・・（４）
【００４７】
Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
【００４８】
Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。なお、ここでは、コスト関数値の算出手法としてHigh Complexity モードが採用されるものとする。
【００４９】
動き予測・補償部１３４は、画面並べ替えバッファ１２２から供給されるディペンデント画像と、DPB１３２から供給される参照画像とに基づいて、候補となる全てのインター予測モードの動き予測処理を行い、動きベクトルを生成する。具体的には、動き予測・補償部１３４は、インター予測モードごとに、参照画像と、画面並べ替えバッファ１２２から供給されるディペンデント画像のマッチングを行い、動きベクトルを生成する。
【００５０】
なお、インター予測モードとは、インター予測の対象とするブロックのサイズ、予測方向、および参照インデックスを表す情報である。予測方向には、インター予測の対象とするディペンデント画像よりも表示時刻が早い参照画像を用いた前方向の予測（L0予測）、インター予測の対象とするディペンデント画像よりも表示時刻が遅い参照画像を用いた後方向の予測（L1予測）、およびインター予測の対象とするディペンデント画像よりも表示時刻が早い参照画像と遅い参照画像を用いた両方向の予測（Bi-prediction）がある。また、参照インデックスとは、参照画像を特定するための番号であり、例えば、インター予測の対象とするディペンデント画像に近い画像の参照インデックスほど番号が小さい。
【００５１】
また、動き予測・補償部１３４は、予測画像生成部として機能し、インター予測モードごとに、生成された動きベクトルに基づいて、DPB１３２から参照画像を読み出すことにより、動き補償処理を行う。動き予測・補償部１３４は、その結果生成される予測画像を選択部１３５に供給する。
【００５２】
また、動き予測・補償部１３４は、予測画像を用いて、各インター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部１３４は、最適インター予測モードで生成された予測画像とコスト関数値とを選択部１３５に供給する。
【００５３】
さらに、動き予測・補償部１３４は、選択部１３５から最適インター予測モードで生成された予測画像の選択が通知された場合、動き情報を図２の設定部３２に出力する。この動き情報は、最適インター予測モード、予測ベクトルインデックス、現在の動きベクトルから予測ベクトルインデックスが表す動きベクトルを減算した差分である動きベクトル残差等により構成される。なお、予測ベクトルインデックスとは、復号済みのディペンデント画像の予測画像の生成に用いられた候補となる動きベクトルのうちの1つの動きベクトルを特定する情報である。動き情報は、符号化に関する情報としてスライスヘッダに含まれる。
【００５４】
選択部１３５は、画面内予測部１３３および動き予測・補償部１３４から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのいずれかを、最適予測モードに決定する。そして、選択部１３５は、最適予測モードの予測画像を、演算部１２３および加算部１３０に供給する。また、選択部１３５は、最適予測モードの予測画像の選択を画面内予測部１３３または動き予測・補償部１３４に通知する。
【００５５】
RPS生成部１３６は、参照画像としてDPB１３２に蓄積されているディペンデント画像およびベース画像を制御する。具体的には、RPS生成部１３６は、DPB１３２に蓄積されているディペンデント画像およびベース画像（の復号画像）から、動き予測・補償部１３４に参照画像として供給する画像を決定し、動き予測・補償部１３４に供給させる。また、RPS生成部１３６は、RPS生成部１３６は、DPB１３２に蓄積されているピクチャ（ディペンデント画像およびベース画像）から、不要なピクチャを決定し、消去する。
【００５６】
また、RPS生成部１３６は、符号化対象のディペンデント画像のDPB１３２の状態を示すRPS情報を生成し、図２の設定部３２に供給する。RPS生成部１３６は、符号化対象のディペンデント画像のRPS情報を設定する設定部として機能する。
【００５７】
レート制御部１３７は、蓄積バッファ１２７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１２５の量子化動作のレートを制御する。
【００５８】
［SPSとスライスヘッダの構造例]
図４は、SPS（＝seq_parameter_set_rbsp()）のシンタックスの例を、図５は、スライスヘッダ（＝Slice_header()）のシンタックスの例を示す図である。
【００５９】
RPS情報としてのRPSのリストはPPSまたはスライスヘッダで定義される。複数のピクチャから参照されるRPSのリストはPPSで定義され、特定のピクチャに特化したRPSのリストはスライスヘッダで定義される。スライスヘッダにおいて、図５に示されるスライスヘッダのref_pic_set_multiview_pps_flagが「０」である場合（！ref_pic_set_multiview_pps_flagが「１」である場合）、multiview_ref_pic_set(multiview_num_ref_pic_sets)が読み出される。すなわち、ref_pic_set_multiview_pps_flagが「０」である場合、特定のピクチャに特化したRPSとして、スライスヘッダに記述されたRPSのリストが参照される。
【００６０】
一方、ref_pic_set_multiview_pps_flagが「１」である場合、multiview_ref_pic_set_idxが示すインデックスで特定される、複数のピクチャに共通のPPSに記述されたRPSのリストが参照される。すなわち、ref_pic_set_multiview_pps_flagが「１」である場合、複数のピクチャに共通のものとしてPPSに記述されたRPSのリストのうち、multiview_ref_pic_set_idxが示すインデックスで特定されるRPSのリストが参照される。
【００６１】
［PPSの構造例]
図６は、PPS（＝pic_parameter_set_rbsp()）のシンタックスの例を示す図である。
【００６２】
図６に示される、multiview_num_ref_pic_setsが、RPSのリスト（RPSリスト）の総数を示している。図６のfor文のmultiview_ref_pic_set(idx)のidxに所定のインデックス（RPSのリストを示す番号）が入力され、multiview_ref_pic_set(idx)、すなわち、RPSのリストが呼び出される。multiview_ref_pic_set(idx)の引数のidxは、０≦idx<multiview_num_ref_pic_setsの範囲内の値である。
【００６３】
［RPSの構造例]
図７は、RPS（＝multiview_ref_pic_set(idx)）のシンタックスの例を示す図である。
【００６４】
図７において、最初のref_pic_set_temporal_same_flagは、DPB１３２に保持するピクチャのパターンが、ベース画像で定義したRPSリストのいずれかと同一かどうかを示す情報（フラグ）である。
【００６５】
ベース画像で定義したRPSリストのいずれかと同じである場合、ref_pic_set_temporal_same_flagは、「１」となる。したがって、ref_pic_set_temporal_same_flag＝「１」である場合、ベース画像のRPSリストのいずれか（のパターン）と同一であるので、そのRPSリストが、ref_pic_set_idxで特定されている。この場合、RPS生成部１３６は、ベース符号化部１１から供給されたベース画像のRPS情報、具体的には、ベース画像の複数のRPSリストのうち、同一とされたRPSリストを用いて、DPB１３２に保持される時間方向のピクチャを管理（制御）する。
【００６６】
一方、ベース画像で定義したRPSリストのいずれのパターンとも異なる場合、ref_pic_set_temporal_same_flagは、「０」となる。したがって、ref_pic_set_temporal_same_flag＝「０」である場合、RPS生成部１３６により、DPB１３２に保持される時間方向のピクチャが定義される。したがって、図７に示されるRPSのref_pic_set_temporal_same_flagからnum_negative_viewidx_picsの上段までは、DPB１３２に保持される時間方向のピクチャ（ディペンデント画像）を管理する時間方向管理情報と言える。
【００６７】
一方、num_negative_viewidx_picsおよびnum_positive_viewidx_pics以下の記載は、ベース符号化部１１から供給される、ディペンデント画像とは異なるビュー方向（視点方向）のベース画像を管理するための記述である。換言すれば、図７に示されるnum_negative_viewidx_picsおよびnum_positive_viewidx_pics以下の記載は、DPB１３２に保持される、異なるビュー方向（視点方向）のピクチャ（ベース画像）を管理するビュー方向管理情報と言える。
【００６８】
異なるビュー方向（視点方向）のピクチャを管理するために、ビュー方向がViewIdx（＝viewidx）で特定される。換言すれば、ViewIdxは、POC(Picture Order Count)に対応する視点方向のインデックスで、例えば、多視点画像（ベース画像およびディペンデント画像）を撮像した複数のカメラを、一番左から右方向に順に割り当てた番号などとされる。したがって、ViewIdxを使ってビュー方向のピクチャを明示的に指定することができる。ViewIdxを使ったピクチャの管理は、RPS生成部１３６において、図８を参照して後述するPOCの場合と同様に行われる。ただし、本実施の形態では、異なるビュー方向のピクチャ（ベース画像）は、DPB１３２に保持される復号ピクチャと同じ時刻（同じPOC）のピクチャに制限される。
【００６９】
num_negative_viewidx_picsは、復号ピクチャよりビュー方向が前のピクチャの数を表す。num_positive_viewidx_picsは、復号ピクチャよりビュー方向が後のピクチャの数を表す。num_negative_viewidx_picsとnum_positive_viewidx_picsの和が、復号ピクチャを復号する時点におけるDPB１３２のビュー方向のピクチャの総数を表す。
【００７０】
delta_viewidx_s0_minus1[i]およびdelta_viewidx_s1_minus1[i]は、DPB１３２に保持するビュー方向のピクチャを特定するための、復号ピクチャと対象ピクチャのビュー方向（ViewIdx）の差分値-1の値を示す。delta_viewidx_s0_minus1[i]が前方向のビュー方向の差分値-1に相当し、delta_viewidx_s1_minus1[i]が後方向のビュー方向の差分値-1に相当する。delta_viewidx_s0_minus1[i]およびdelta_viewidx_s1_minus1[i]は簡略的に△ViewIdxとも記述する。
【００７１】
used_by_curr_pic_s0_flag[i]およびused_by_curr_pic_s1_flag[i]は、対象ピクチャが復号ピクチャから参照されるピクチャであるか否かを示すフラグである。used_by_curr_pic_s0_flag[i]またはused_by_curr_pic_s1_flag[i]が「１」であるとき、その対象ピクチャは参照ピクチャであることを示す。used_by_curr_pic_s0_flag[i]またはused_by_curr_pic_s1_flag[i]が「０」であるとき、その対象ピクチャは参照ピクチャではないが、将来使用されために保持されることを示す。used_by_curr_pic_s0_flag[i]が前方向のビュー方向であり、used_by_curr_pic_s1_flag[i]が後方向のビュー方向であることは△ViewIdxと同様である。
【００７２】
なお、num_negative_viewidx_picsからused_by_curr_pic_s1_flag[i]までの記述は、ビュー方向が２つの場合、すなわち、２視点の場合には、DPB１３２に異なるビュー方向のピクチャが保持されているか否かを示すフラグのみで表すことができる。そのフラグがDPB１３２に保持されていることを示している場合、その異なるビュー方向のピクチャは必然的に参照されるピクチャ（参照ピクチャ）となる。
【００７３】
［符号化の例］
図８は、時間方向（POC）の符号化の例を示している。
【００７４】
図８は、カレントピクチャが、L0方向またはL1方向に参照できるピクチャ数は１枚、DPB１３２で保持されるピクチャの総数が３枚、RPSのリストの総数が４つである場合の符号化の例である。
【００７５】
図８において、例えば、POC＝２のBsピクチャがカレントピクチャ（復号ピクチャ）である場合、RPS＃０からRPS＃３までの４つのRPSリストのうち、RPS＃０のRPSリストが読み出される。POC＝２のBsピクチャは、時間的に前方向（L0方向）には、POC＝０のIピクチャを参照するので、カレントピクチャのPOC−対象ピクチャのPOC−１＝２−０−１＝１となる。また、時間的に後方向（L1方向）には、POC＝４のPピクチャを参照するので、カレントピクチャのPOC−対象ピクチャのPOC−１＝４−２−１＝１となる。
【００７６】
例えば、POC＝４のPピクチャがカレントピクチャである場合、RPS＃０からRPS＃３までの４つのRPSリストのうち、RPS＃２のRPSリストが読み出される。POC＝４のPピクチャは、時間的に前方向（L0方向）のPOC＝０のIピクチャのみを参照するので、L0方向が、カレントピクチャのPOC−対象ピクチャのPOC−１＝４−０−１＝３となる。
【００７７】
POC＝５のBピクチャがカレントピクチャである場合、RPS＃０からRPS＃３までの４つのRPSリストのうち、RPS＃１のRPSリストが読み出される。POC＝５のBピクチャは、時間的に前方向（L0方向）には、POC＝４のPピクチャを参照するので、カレントピクチャのPOC−対象ピクチャのPOC−１＝５−４−１＝０となる。また、時間的に後方向（L1方向）には、POC＝６のBsピクチャを参照するので、カレントピクチャのPOC−対象ピクチャのPOC−１＝６−５−１＝０となる。ここで、時間的に後方向（L1方向）のPOC＝８のPピクチャに対応する値である、カレントピクチャのPOC−対象ピクチャのPOC−１＝８−５−１＝２に、カッコ（）が付されている。このカッコは、図７のused_by_curr_pic_s1_flag[i]に対応し、DPB１３２に保持されてはいるが参照されない非参照ピクチャであることを示す。
【００７８】
以上の説明は、時間方向（POC）の符号化の説明であるが、ビュー方向においても、ViewIdxを使って時間方向の場合と同様に行われる。ViewIdxを使ってPOCの場合と同様にピクチャを管理することで、複数のビュー（視点）においても、DPB１３２に存在するピクチャを特定することができ、かつ、参照ピクチャと非参照ピクチャを区別することができる。
【００７９】
図９は、参照インデックスの割り当て処理のプログラムを示している。
【００８０】
図９において、num_ref_idx_l0_active_minus1は、時間的に前のL0方向の参照ピクチャ数を表し、num_ref_idx_l1_active_minus1は、時間的に後ろのL1方向の参照ピクチャ数を表す。
【００８１】
図９に示されるプログラムによれば、AVC（Advanced Video Coding）のBピクチャと同じようにPOC順で、L0方向では、復号ピクチャより時間的に前のピクチャで、△POCの小さいピクチャへ、小さい参照インデックスが割り当てられる。L1方向では、復号ピクチャより時間的に後のピクチャで、△POCの小さいピクチャへ、小さい参照インデックスが割り当てられる。ビュー方向の参照インデックスについても、この時間方向の参照インデックスの割り当てと同様に割り当てが行われる。
【００８２】
［符号化処理の説明]
図１０および図１１は、図３の符号化部３１の符号化処理を説明するフローチャートである。
【００８３】
図１０のステップＳ１１において、符号化部３１のA/D変換部１２１は、入力された所定の視点のフレーム単位のディペンデント画像をA/D変換し、画面並べ替えバッファ１２２に出力して記憶させる。
【００８４】
ステップＳ１２において、画面並べ替えバッファ１２２は、記憶した表示の順番のフレームのディペンデント画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１２２は、並べ替え後のフレーム単位のディペンデント画像を、演算部１２３、画面内予測部１３３、および動き予測・補償部１３４に供給する。
【００８５】
ステップＳ１３において、RPS生成部１３６は、GOP構造等に応じて、DPB１３２内のピクチャのPOCを決定する。
【００８６】
ステップＳ１４において、RPS生成部１３６は、DPB１３２から不要なピクチャを消去する。
【００８７】
ステップＳ１５において、RPS生成部１３６は、RPS情報を符号化するRPS情報符号化処理を行う。この処理は、図１２を参照して詳述する。
【００８８】
ステップＳ１６において、RPS生成部１３６は、DPB１３２内のピクチャのなかから、動き予測・補償部１３４に参照画像として供給するピクチャを決定し、動き予測・補償部１３４に供給させる。
【００８９】
ステップＳ１７において、画面内予測部１３３は、加算部１３０から供給される参照画像を用いて、候補となる全てのイントラ予測モードの画面内予測処理を行う。このとき、画面内予測部１３３は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、画面内予測部１３３は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。画面内予測部１３３は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部１３５に供給する。
【００９０】
ステップＳ１８において、動き予測・補償部１３４は、画面並べ替えバッファ１２２から供給されるディペンデント画像と、DPB１３２から供給される参照画像とに基づいて、動き予測・補償処理を行う。
【００９１】
具体的には、動き予測・補償部１３４は、画面並べ替えバッファ１２２から供給されるディペンデント画像と、DPB１３２から供給される参照画像とに基づいて、候補となる全てのインター予測モードの動き予測処理を行い、動きベクトルを生成する。また、動き予測・補償部１３４は、インター予測モードごとに、生成された動きベクトルに基づいて、DPB１３２から参照画像を読み出すことにより、動き補償処理を行う。動き予測・補償部１３４は、その結果生成される予測画像を選択部１３５に供給する。
【００９２】
ステップＳ１９において、動き予測・補償部１３４は、各インター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部１３４は、最適インター予測モードで生成された予測画像とコスト関数値とを選択部１３５に供給する。
【００９３】
ステップＳ２０において、選択部１３５は、画面内予測部１３３および動き予測・補償部１３４から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、選択部１３５は、最適予測モードの予測画像を、演算部１２３および加算部１３０に供給する。
【００９４】
ステップＳ２１において、選択部１３５は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ２１で最適予測モードが最適インター予測モードであると判定された場合、選択部１３５は、最適インター予測モードで生成された予測画像の選択を、動き予測・補償部１３４に通知する。
【００９５】
そして、ステップＳ２２において、動き予測・補償部１３４は、動き情報を設定部３２（図２）に出力し、処理をステップＳ２４に進める。
【００９６】
一方、ステップＳ２１で、最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、選択部１３５は、最適イントラ予測モードで生成された予測画像の選択を、画面内予測部１３３に通知する。
【００９７】
そして、ステップＳ２３において、画面内予測部１３３は、画面内予測情報を設定部３２に出力し、処理をステップＳ２４に進める。
【００９８】
ステップＳ２４において、演算部１２３は、画面並べ替えバッファ１２２から供給されるディペンデント画像から、選択部１３５から供給される予測画像を減算する。演算部１２３は、減算の結果得られる画像を、残差情報として直交変換部１２４に出力する。
【００９９】
ステップＳ２５において、直交変換部１２４は、演算部１２３からの残差情報に対して直交変換を施し、その結果得られる係数を量子化部１２５に供給する。
【０１００】
ステップＳ２６において、量子化部１２５は、直交変換部１２４から供給される係数を量子化する。量子化された係数は、可逆符号化部１２６と逆量子化部１２８に入力される。
【０１０１】
ステップＳ２７において、可逆符号化部１２６は、量子化部１２５から供給される量子化された係数を可逆符号化する。
【０１０２】
図１１のステップＳ２８において、可逆符号化部１２６は、可逆符号化処理の結果得られる符号化データを蓄積バッファ１２７に供給し、蓄積させる。
【０１０３】
ステップＳ２９において、蓄積バッファ１２７は、蓄積されている符号化データを設定部３２に出力する。
【０１０４】
ステップＳ３０において、逆量子化部１２８は、量子化部１２５から供給される量子化された係数を逆量子化する。
【０１０５】
ステップＳ３１において、逆直交変換部１２９は、逆量子化部１２８から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１３０に供給する。
【０１０６】
ステップＳ３２において、加算部１３０は、逆直交変換部１２９から供給される残差情報と、選択部１３５から供給される予測画像を加算し、局部的に復号されたディペンデント画像（復号ピクチャ）を得る。加算部１３０は、得られたディペンデント画像をデブロックフィルタ１３１に供給する。
【０１０７】
ステップＳ３３において、デブロックフィルタ１３１は、加算部１３０から供給される局部的に復号されたディペンデント画像に対してフィルタリングを行うことにより、ブロック歪を除去する。
【０１０８】
ステップＳ３４において、デブロックフィルタ１３１は、フィルタリング後のディペンデント画像をDPB１３２に供給し、蓄積させ、処理は終了する。DPB１３２に蓄積されたディペンデント画像は、RPS制御部１３６の制御により、参照画像として動き予測・補償部１３４に出力される。
【０１０９】
なお、図１０および図１１のステップＳ１７乃至Ｓ３４の処理は、例えば、コーディングユニット単位で行われる。また、図１０および図１１の符号化処理では、説明を簡単化するため、常に、画面内予測処理と動き補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。
【０１１０】
［RPS情報符号化処理の説明］
図１２を参照して、図１０のステップＳ１５のRPS情報符号化処理について説明する。
【０１１１】
初めに、ステップＳ５１において、RPS生成部１３６は、ベース画像のRPS情報を取得する。
【０１１２】
ステップＳ５２において、RPS生成部１３６は、DPB１３２内のピクチャのPOCが、ベース画像のRPS情報が表すPOCと同一であるかどうかを判定する。ステップＳ５２で、DPB１３２内のピクチャのPOCが、ベース画像のRPS情報が表すPOCと同一であると判定された場合、処理はステップＳ５３に進み、RPS生成部１３６は、ベース画像のRPS情報のインデックスを符号化する。
【０１１３】
一方、ステップＳ５２で、DPB１３２内のピクチャのPOCが、ベース画像のRPS情報が表すPOCと同一ではないと判定された場合、処理はステップＳ５４に進み、RPS生成部１３６は、図１３で後述するRPS情報生成処理を実行する。
【０１１４】
ステップＳ５５において、RPS生成部１３６は、カレントピクチャのViewIdxより小さいViewIdxのピクチャの総数を符号化する。
【０１１５】
ステップＳ５６において、RPS生成部１３６は、カレントピクチャのViewIdxより大きいViewIdxのピクチャの総数を符号化する。
【０１１６】
ステップＳ５７において、RPS生成部１３６は、まだ処理対象とされていないDPB１３２内のピクチャを対象ピクチャとする。
【０１１７】
そして、ステップＳ５８において、RPS生成部１３６は、カレントピクチャのViewIdxが、対象ピクチャのViewIdxより大きいかどうかを判定する。
【０１１８】
ステップＳ５８で、カレントピクチャのViewIdxが対象ピクチャのViewIdxより大きいと判定された場合、処理はステップＳ５９に進み、RPS生成部１３６は、△ViewIdx＝delta_viewidx_s0_minus1[i]、すなわち、カレントピクチャのViewIdxから対象ピクチャのViewIdxを引いた差分−１を符号化する。
【０１１９】
そして、ステップＳ６０において、RPS生成部１３６は、対象ピクチャの参照可否フラグ（＝used_by_curr_pic_s0_flag[i]）を符号化する。
【０１２０】
一方、ステップＳ５８で、カレントピクチャのViewIdxが対象ピクチャのViewIdxより小さいと判定された場合、処理はステップＳ６１に進み、RPS生成部１３６は、△ViewIdx＝delta_viewidx_s1_minus1[i]、すなわち、対象ピクチャのViewIdxからカレントピクチャのViewIdxを引いた差分−１を符号化する。
【０１２１】
そして、ステップＳ６２において、RPS生成部１３６は、対象ピクチャの参照可否フラグ（＝used_by_curr_pic_s1_flag[i]）を符号化する。
【０１２２】
ステップＳ６３で、RPS生成部１３６は、DPB１３２内の全てのピクチャを対象ピクチャとしたかどうかを判定する。
【０１２３】
ステップＳ６３で、DPB１３２内の全てのピクチャを対象ピクチャとしていないと判定された場合、処理はステップＳ５７に戻り、それ以降の処理が繰り返される。
【０１２４】
一方、ステップＳ６３で、DPB１３２内の全てのピクチャを対象ピクチャとしたと判定された場合、処理は図１０に戻る。
【０１２５】
［RPS情報生成処理の説明］
図１３は、図１２のステップＳ５４のRPS情報生成処理のフローチャートである。
【０１２６】
このRPS情報生成処理では、ステップＳ８１において、RPS生成部１３６は、カレントピクチャのPOCより小さいPOCのピクチャの総数を符号化する。
【０１２７】
ステップＳ８２において、RPS生成部１３６は、カレントピクチャのPOCより大きいPOCのピクチャの総数を符号化する。
【０１２８】
ステップＳ８３において、RPS生成部１３６は、まだ処理対象とされていないDPB１３２内のピクチャを対象ピクチャとする。
【０１２９】
そして、ステップＳ８４において、RPS生成部１３６は、カレントピクチャのPOCが、対象ピクチャのPOCより大きいかどうかを判定する。
【０１３０】
ステップＳ８４で、カレントピクチャのPOCが対象ピクチャのPOCより大きいと判定された場合、処理はステップＳ８５に進み、RPS生成部１３６は、△POC＝delta_poc_s0_minus1[i]、すなわち、カレントピクチャのPOCから対象ピクチャのPOCを引いた差分−１を符号化する。
【０１３１】
そして、ステップＳ８６において、RPS生成部１３６は、対象ピクチャの参照可否フラグ（＝used_by_curr_pic_s0_flag[i]）を符号化する。
【０１３２】
一方、ステップＳ８４で、カレントピクチャのPOCが対象ピクチャのPOCより小さいと判定された場合、処理はステップＳ８７に進み、RPS生成部１３６は、△POC＝delta_poc_s1_minus1[i]、すなわち、対象ピクチャのPOCからカレントピクチャのPOCを引いた差分−１を符号化する。
【０１３３】
そして、ステップＳ８８において、RPS生成部１３６は、対象ピクチャの参照可否フラグ（＝used_by_curr_pic_s1_flag[i]）を符号化する。
【０１３４】
ステップＳ８９において、RPS生成部１３６は、DPB１３２内の全てのピクチャを対象ピクチャとしたかどうかを判定する。
【０１３５】
ステップＳ８９で、DPB１３２内の全てのピクチャを対象ピクチャとしていないと判定された場合、処理はステップＳ８３に戻り、それ以降の処理が繰り返される。
【０１３６】
一方、ステップＳ８９で、DPB１３２内の全てのピクチャを対象ピクチャとしたと判定された場合、処理は図１２に戻る。
【０１３７】
［設定処理の説明］
図１４は、図２の設定部３２による設定処理のフローチャートである。
【０１３８】
設定処理では、初めに、ステップＳ１０１において、設定部３２は、SPSを設定する。
【０１３９】
ステップＳ１０２において、設定部３２は、PPSを設定する。
【０１４０】
ステップＳ１０３において、設定部３２は、スライスヘッダを設定する。
【０１４１】
ステップＳ１０４において、設定部３２は、SPS、PPS、スライスヘッダが付加された符号化データの符号化ビットストリームを出力し、処理を終了する。
【０１４２】
以上のように、符号化装置１０（のノンベース符号化部１２）は、ディペンデント画像のRPSを、ベース画像のRPSを参照する形で記述し、伝送する。これにより、ディペンデント画像におけるRPSの符号量を削減することができる。すなわち、ディペンデント画像のRPS情報を効率的に伝送することができる。ベース画像とディペンデント画像の参照関係が同じときに有効である。
【０１４３】
また、符号化装置１０のノンベース符号化部１２では、DPB１３２に保持する、異なるビュー方向のベース画像を、ViewIdxを使ってPOCの場合と同様に管理（制御）する。これにより、複数のビュー（視点）においても、DPB１３２の管理を実現できる。すなわち、DPB１３２に存在する異なるビュー方向のピクチャを特定することができ、かつ、参照ピクチャと非参照ピクチャを区別することができる。
【０１４４】
［復号装置の一実施の形態の構成例]
図１５は、本技術を適用した画像処理装置としての復号装置の一実施の形態の構成例を示すブロック図である。
【０１４５】
図１５の復号装置２０１は、図１の符号化装置１０から伝送される符号化ビットストリームを復号する装置であり、ベース復号部２１１とノンベース復号部２１２とで構成される。
【０１４６】
ベース復号部２１１は、図１のベース符号化部１１で符号化されて伝送されてくるベース画像の符号化ビットストリームを復号し、その結果得られるベース画像を生成し、出力する。ベース復号部２１１は、ベース画像の符号化ビットストリームの復号の際に得られる、ベース画像の復号画像とRPS情報をノンベース復号部２１２に供給する。
【０１４７】
ノンベース復号部２１２は、図１のノンベース符号化部１２で符号化されて伝送されてくるディペンデント画像の符号化ビットストリームを復号し、その結果得られるディペンデント画像を生成し、出力する。ノンベース復号部２１２は、ベース復号部２１２から供給されるベース画像の復号画像とRPS情報を受け取って、それらを用いた復号を行う。
【０１４８】
［ノンベース復号部２１２の構成例］
図１６は、図１５のノンベース復号部２１２の構成例を示すブロック図である。
【０１４９】
ノンベース復号部２１２は、受け取り部２３１と復号部２３２により構成される。
【０１５０】
受け取り部２３１は、図１のノンベース符号化部１２で符号化されて伝送されてくるディペンデント画像の符号化ビットストリームを受け取り、その符号化ビットストリームに対して、SPS、PPS、スライスヘッダ、および符号化データに分離する処理を行って復号部２３２に供給する。また、受け取り部２３１は、ベース復号部２１２から供給されるベース画像の復号画像とRPS情報を受け取る。そして、受け取り部２３１は、分離された符号化ビットストリーム等と、ベース復号部２１２からのベース画像の復号画像とRPS情報を復号部２３２に供給する。
【０１５１】
復号部２３２は、ディペンデント画像のSPS、PPS、スライスヘッダ、および符号化データ、並びに、ベース画像の復号画像とRPS情報に基づいて、符号化部３１（図２）における符号化方式に対応する方式で、スライス単位のディペンデント画像の符号化データを復号する。復号部２３２は、復号の結果得られるディペンデント画像を出力する。
【０１５２】
［復号部２３２の構成例］
図１７は、図１６の復号部２３２の構成例を示すブロック図である。
【０１５３】
図１７の復号部２３２は、蓄積バッファ２５１、可逆復号部２５２、逆量子化部２５３、逆直交変換部２５４、加算部２５５、デブロックフィルタ２５６、画面並べ替えバッファ２５７、D/A変換部２５８、DPB２５９、画面内予測部２６０、動きベクトル生成部２６１、動き補償部２６２、スイッチ２６３、およびRPS処理部２６４により構成される。
【０１５４】
蓄積バッファ２５１は、図１６の受け取り部２３１から、スライス単位のディペンデント画像の符号化データを受け取り、蓄積する。蓄積バッファ２５１は、蓄積されている符号化データを可逆復号部２５２に供給する。
【０１５５】
可逆復号部２５２は、蓄積バッファ２５１からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数を得る。可逆復号部２５２は、量子化された係数を逆量子化部２５３に供給する。
【０１５６】
逆量子化部２５３、逆直交変換部２５４、加算部２５５、デブロックフィルタ２５６、DPB２５９、画面内予測部２６０、および動き補償部２６２は、図３の逆量子化部１２８、逆直交変換部１２９、加算部１３０、デブロックフィルタ１３１、DPB１３２、画面内予測部１３３、および動き予測・補償部１３４とそれぞれ同様の処理を行い、これにより、ディペンデント画像が復号される。
【０１５７】
具体的には、逆量子化部２５３は、可逆復号部２５２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部２５４に供給する。
【０１５８】
逆直交変換部２５４は、逆量子化部２５３からの係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部２５５に供給する。
【０１５９】
加算部２５５は、復号部として機能し、逆直交変換部２５４から供給される復号対象のディペンデント画像としての残差情報と、スイッチ２６３から供給される予測画像を加算することにより、復号対象のディペンデント画像を復号する。加算部２５５は、その結果得られるディペンデント画像をデブロックフィルタ２５６に供給する。なお、スイッチ２６３から予測画像が供給されない場合、加算部２５５は、逆直交変換部２５４から供給される残差情報であるディペンデント画像をデブロックフィルタ２５６に供給する。
【０１６０】
デブロックフィルタ２５６は、加算部２５５から供給されるディペンデント画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ２５６は、その結果得られるディペンデント画像を画面並べ替えバッファ２５７に供給し、蓄積させる。また、デブロックフィルタ２５６は、ブロック歪除去後のディペンデント画像を、DPB２５９に供給して蓄積させるととともに、画面内予測部２６０にも供給する。
【０１６１】
画面並べ替えバッファ２５７は、デブロックフィルタ２５６から供給されるディペンデント画像をフレーム単位で記憶する。画面並べ替えバッファ２５７は、記憶した符号化のための順番のフレーム単位のディペンデント画像を、元の表示の順番に並び替え、D/A変換部２５８に供給する。
【０１６２】
D/A変換部２５８は、画面並べ替えバッファ２５７から供給されるフレーム単位のディペンデント画像をD/A変換し、所定の視点のディペンデント画像として出力する。
【０１６３】
DPB（デコードピクチャバッファ）２５９は、デブロックフィルタ２５６から供給されるディペンデント画像を蓄積する。また、DPB２５９には、図１６の受け取り部２３１からのベース画像の復号画像も供給され、蓄積される。DPB２５９に蓄積されたディペンデント画像およびベース画像の復号画像は、RPS処理部２６４によって管理（制御）され、参照画像として動き補償部２６２に供給される。
【０１６４】
画面内予測部２６０は、デブロックフィルタ２５６から供給されるブロック歪除去後のディペンデント画像を用いて、図１６の受け取り部２３１から供給される画面内予測情報が表す最適イントラ予測モードの画面内予測を行い、予測画像を生成する。そして、画面内予測部２６０は、予測画像をスイッチ２６３に供給する。
【０１６５】
動きベクトル生成部２６１は、保持されている動きベクトルのうちの、図１６の受け取り部２３１から供給される動き情報に含まれる予測ベクトルインデックスが表す動きベクトルと、動きベクトル残差とを加算し、動きベクトルを復元する。動きベクトル生成部２６１は、復元された動きベクトルを保持する。また、動きベクトル生成部２６１は、復元された動きベクトルと、動き情報に含まれる最適インター予測モード等を動き補償部２６２に供給する。
【０１６６】
動き補償部２６２は、予測画像生成部として機能し、動きベクトル生成部２６１から供給される動きベクトルと最適インター予測モードに基づいて、DPB２５９から参照画像を読み出すことにより、動き補償処理を行う。動き補償部２６２は、その結果生成される予測画像をスイッチ２６３に供給する。
【０１６７】
スイッチ２６３は、画面内予測部２６０から予測画像が供給された場合、その予測画像を加算部２５５に供給し、動き補償部２６２から予測画像が供給された場合、その予測画像を加算部２５５に供給する。
【０１６８】
RPS処理部２６４は、図１６の受け取り部２３１から供給されるディペンデント画像のRPS情報とベース画像のRPS情報を取得する。また、RPS処理部２６４は、参照画像としてDPB２５９に蓄積されるディペンデント画像およびベース画像の復号画像を制御する。具体的には、RPS処理部２６４は、DPB２５９に蓄積されているディペンデント画像およびベース画像の復号画像から、動き補償部２６２に参照画像として供給する画像を決定し、動き補償部２６２に供給させる。また、RPS処理部２６４は、DPB１３２に蓄積されているピクチャ（ディペンデント画像およびベース画像の復号画像）から、不要なピクチャを決定し、消去する。
【０１６９】
［分離処理の説明］
図１８は、図１６の受け取り部２３１による分離処理を説明するフローチャートである。
【０１７０】
分離処理では、初めに、ステップＳ１４１において、受け取り部２３１は、ノンベース符号化部１２で符号化されて伝送されてくるディペンデント画像の符号化ビットストリームを受け取る。
【０１７１】
ステップＳ１４２において、受け取り部２３１は、受け取ったディペンデント画像の符号化ビットストリームからSPSを分離して、復号部２３２に供給する。
【０１７２】
ステップＳ１４３において、受け取り部２３１は、符号化ビットストリームからPPSを分離して、復号部２３２に供給する。PPSに含まれるディペンデント画像のRPS情報は、復号部２３２のRPS処理部２６４に供給される。
【０１７３】
ステップＳ１４４において、受け取り部２３１は、符号化ビットストリームから、スライスヘッダを分離して、復号部２３２に供給する。スライスヘッダに含まれるディペンデント画像のRPS情報は、復号部２３２のRPS処理部２６４に供給される。
【０１７４】
ステップＳ１４５において、受け取り部２３１は、符号化ビットストリームから、符号化データを分離して、復号部２３２に供給する。
【０１７５】
［復号処理の説明］
図１９は、図１７の復号部２３２の復号処理を説明するフローチャートである。この復号処理は、視点ごとに行われる。
【０１７６】
図１９のステップＳ１６１において、復号部２３２の蓄積バッファ２５１は、図１６の受け取り部２３１からディペンデント画像のスライス単位の符号化データを受け取り、蓄積する。蓄積バッファ２５１は、蓄積されている符号化データを可逆復号部２５２に供給する。
【０１７７】
ステップＳ１６２において、可逆復号部２５２は、蓄積バッファ２５１から供給される符号化データを可逆復号し、その結果得られる量子化された係数を逆量子化部２５３に供給する。
【０１７８】
ステップＳ１６３において、逆量子化部２５３は、可逆復号部２５２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部２５４に供給する。
【０１７９】
ステップＳ１６４において、逆直交変換部２５４は、逆量子化部２５３からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部２５５に供給する。
【０１８０】
ステップＳ１６５において、動きベクトル生成部２６１は、図１６の受け取り部２３１から動き情報が供給されたかどうかを判定する。ステップＳ１６５で動き情報が供給されたと判定された場合、処理はステップＳ１６６に進む。
【０１８１】
ステップＳ１６６において、動きベクトル生成部２６１は、動き情報と保持している動きベクトルに基づいて動きベクトルを復元し、保持する。動きベクトル生成部２６１は、復元された動きベクトルと、動き情報に含まれる最適インター予測モード等を動き補償部２６２に供給する。
【０１８２】
ステップＳ１６７において、RPS処理部２６４は、DPB２５９に蓄積されているピクチャ（ディペンデント画像およびベース画像の復号画像）を管理する管理処理を実行する。管理処理の詳細は図２０を参照して後述するが、取得されたRPS情報に基づいて、DPB２５９に蓄積されているピクチャから、動き補償部２６２に参照画像として供給するピクチャが決定される。
【０１８３】
ステップＳ１６８において、動き補償部２６２は、動きベクトル生成部２６１から供給される動きベクトルと最適インター予測モードに基づいて、DPB２５９から参照画像を読み出すことにより動き補償処理を行う。動き補償部２６２は、動き補償処理の結果生成される予測画像をスイッチ２６３に供給する。スイッチ２６３において動き補償部２６２の出力が選択されているとき、動き補償部２６２からの予測画像が加算部２５５に供給される。
【０１８４】
一方、ステップＳ１６５で動き情報が供給されていないと判定された場合、即ち画面内予測情報が、受け取り部２３１から画面内予測部２６０に供給された場合、処理はステップＳ１６９に進む。
【０１８５】
ステップＳ１６９において、画面内予測部２６０は、加算部２５５から供給される参照画像を用いて、受け取り部２３１から供給される画面内予測情報が示す最適イントラ予測モードの画面内予測処理を行う。画面内予測部２６０は、その結果生成される予測画像を、スイッチ２６３に供給する。スイッチ２６３において画面内予測部２６０の出力が選択されているとき、画面内予測部２６０からの予測画像が加算部２５５に供給される。
【０１８６】
ステップＳ１７０において、加算部２５５は、逆直交変換部２５４から供給される残差情報と、スイッチ２６３から供給される予測画像を加算する。加算部２５５は、その結果得られるディペンデント画像をデブロックフィルタ２５６に供給する。
【０１８７】
ステップＳ１７１において、デブロックフィルタ２５６は、加算部２５５から供給されるディペンデント画像に対してフィルタリングを行い、ブロック歪を除去する。
【０１８８】
ステップＳ１７２において、デブロックフィルタ２５６は、フィルタリング後のディペンデント画像を画面並べ替えバッファ２５７とDPB２５９に供給し、蓄積させるとともに、画面内予測部２６０に供給する。
【０１８９】
ステップＳ１７３において、画面並べ替えバッファ２５７は、デブロックフィルタ２５６から供給されるディペンデント画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位のディペンデント画像を、元の表示の順番に並び替え、D/A変換部２５８に供給する。
【０１９０】
ステップＳ１７４において、D/A変換部２５８は、画面並べ替えバッファ２５７から供給されるフレーム単位のディペンデント画像をD/A変換し、所定の視点のディペンデント画像として出力する。
【０１９１】
［管理処理の説明］
図２０は、図１９のステップＳ１６７の管理処理を説明するフローチャートである。
【０１９２】
ステップＳ２０１において、RPS処理部２６４は、ベース画像の各RPSのPOCを取得する。
【０１９３】
ステップＳ２０２において、RPS処理部２６４は、ディペンデント画像のRPSのref_pic_set_temporal_same_flagを参照し、ディペンデント画像のPOCがベース画像のRPSと同一であるかどうかを判定する。
【０１９４】
ステップＳ２０２で、ディペンデント画像のPOCがベース画像のRPSのPOCと同一であると判定された場合、処理はステップＳ２０３に進み、RPS処理部２６４は、同一であるベース画像のRPSのPOCを、ディペンデント画像のPOCに設定する。
【０１９５】
ステップＳ２０２で、ディペンデント画像のPOCがベース画像のRPSのPOCと同一ではないと判定された場合、処理はステップＳ２０４に進み、RPS処理部２６４は、△POCからディペンデント画像のPOCを算出する。
【０１９６】
ステップＳ２０５において、RPS処理部２６４は、ディペンデント画像のRPSに基づいて、△ViewIdxからViewIdxを算出する。
【０１９７】
ステップＳ２０６において、RPS処理部２６４は、DPB２５９に保持するピクチャ（ベース画像およびディペンデント画像の復号画像）を決定する。
【０１９８】
ステップＳ２０７において、RPS処理部２６４は、DPB２５９に保持しない（保持する必要のない）ピクチャを、DPB２５９から消去する。
【０１９９】
ステップＳ２０８において、RPS処理部２６４は、DPB２５９に蓄積されているピクチャから、動き補償部２６２に参照画像として供給する画像を決定する。
【０２００】
ステップＳ２０９において、RPS処理部２６４は、参照インデックスを割り当てて、図１９に戻る。
【０２０１】
以上のように、復号装置２０１（のノンベース復号部２１２）は、符号化装置１０（のノンベース符号化部１２）により符号化された符号化ビットストリームを復号する。すなわち、ディペンデント画像のRPS情報を、ベース画像のRPS情報を参照することができるように符号化効率が向上されたディペンデント画像の符号化ビットストリームを受け取り、復号することができる。
【０２０２】
また、ノンベース復号部２１２は、DPB２５９に保持する、異なるビュー方向のベース画像を、ViewIdxを使ってPOCの場合と同様に管理（制御）する。これにより、複数のビュー（視点）においても、DPB２５９の管理を実現できる。すなわち、DPB２５９に存在する異なるビュー方向のピクチャを特定することができ、かつ、参照ピクチャと非参照ピクチャを区別することができる。
【０２０３】
［その他の例］
図２１は、ディペンデント画像のSPS（＝seq_parameter_set_rbsp()）のシンタックスのその他の例を示している。
【０２０４】
図２１では、一番下のref_pic_set_same_flagが新たに追加されている。ref_pic_set_same_flagは、ベース画像とディペンデント画像のRPSが同じであることを表す情報（フラグ）である。ref_pic_set_same_flagにより、ベース画像とディペンデント画像のRPSが同じである場合、ディペンデント画像側では、常にベース画像と同じRPSが参照される。
【０２０５】
本技術は、上述したHEVC方式以外のAVC（Advanced Video Coding）,MVC（Multiview Video Coding）等の符号化方式にも適用することができる。
【０２０６】
＜第２実施の形態＞
[コンピュータの説明]
上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２０７】
そこで、図２２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２０８】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部８０８やROM（Read Only Memory）８０２に予め記録しておくことができる。
【０２０９】
あるいはまた、プログラムは、リムーバブルメディア８１１に格納（記録）しておくことができる。このようなリムーバブルメディア８１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア８１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２１０】
なお、プログラムは、上述したようなリムーバブルメディア８１１からドライブ８１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部８０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２１１】
コンピュータは、CPU(Central Processing Unit)８０１を内蔵しており、CPU８０１には、バス８０４を介して、入出力インタフェース８０５が接続されている。
【０２１２】
CPU８０１は、入出力インタフェース８０５を介して、ユーザによって、入力部８０６が操作等されることにより指令が入力されると、それに従って、ROM８０２に格納されているプログラムを実行する。あるいは、CPU８０１は、記憶部８０８に格納されたプログラムを、RAM(Random Access Memory)８０３にロードして実行する。
【０２１３】
これにより、CPU８０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU８０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース８０５を介して、出力部８０７から出力、あるいは、通信部８０９から送信、さらには、記憶部８０８に記録等させる。
【０２１４】
なお、入力部８０６は、キーボードや、マウス、マイク等で構成される。また、出力部８０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２１５】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２１６】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２１７】
本技術は、衛星放送、ケーブルTV（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して通信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置および復号装置に適用することができる。
【０２１８】
また、上述した符号化装置および復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。
【０２１９】
＜第３実施の形態＞
［テレビジョン装置の構成例］
図２３は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
【０２２０】
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
【０２２１】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、EPG（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【０２２２】
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
【０２２３】
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
【０２２４】
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
【０２２５】
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのD/A変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
【０２２６】
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
【０２２７】
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
【０２２８】
制御部９１０は、CPU(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ、EPGデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
【０２２９】
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
【０２３０】
このように構成されたテレビジョン装置では、デコーダ９０４に本願の復号装置（復号方法）の機能が設けられる。このため、異なるビュー方向のベース画像についてもDPBの管理を実現でき、ベース画像のRPSを参照するようにして符号量を削減することで、符号化効率が改善されたディペンデント画像の符号化ビットストリームを復号することができる。
【０２３１】
＜第４実施の形態＞
［携帯電話機の構成例］
図２４は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
【０２３２】
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
【０２３３】
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０２３４】
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
【０２３５】
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
【０２３６】
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアである。
【０２３７】
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
【０２３８】
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
【０２３９】
このように構成された携帯電話装置では、画像処理部９２７に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、異なるビュー方向のベース画像についてもDPBの管理を実現でき、ベース画像のRPSを参照するようにして符号量を削減することで、符号化効率が改善されたディペンデント画像の符号化ビットストリームを生成することができる。また、異なるビュー方向のベース画像についてもDPBの管理を実現でき、ベース画像のRPSを参照するようにして符号量を削減することで、符号化効率が改善されたディペンデント画像の符号化ビットストリームを復号することができる。
【０２４０】
＜第５実施の形態＞
［記録再生装置の構成例］
図２５は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【０２４１】
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、HDD（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
【０２４２】
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
【０２４３】
外部インタフェース部９４２は、IEEE1394インタフェース、ネットワークインタフェース部、USBインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
【０２４４】
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
【０２４５】
HDD部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【０２４６】
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばDVDディスク（DVD−Ｖｉｄｅｏ、DVD−ＲＡＭ、DVD−Ｒ、DVD−ＲＷ、DVD＋Ｒ、DVD＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。
【０２４７】
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、HDD部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、HDD部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
【０２４８】
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをOSD部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
【０２４９】
OSD部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
【０２５０】
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
【０２５１】
制御部９４９は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
【０２５２】
このように構成された記録再生装置では、デコーダ９４７に本願の復号装置（復号方法）の機能が設けられる。このため、異なるビュー方向のベース画像についてもDPBの管理を実現でき、ベース画像のRPSを参照するようにして符号量を削減することで、符号化効率が改善されたディペンデント画像の符号化ビットストリームを復号することができる。
【０２５３】
＜第６実施の形態＞
［撮像装置の構成例］
図２６は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【０２５４】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、OSD部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、OSD部９６９、制御部９７０等は、バス９７２を介して接続されている。
【０２５５】
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCDまたはCMOSイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
【０２５６】
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
【０２５７】
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、OSD部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
【０２５８】
OSD部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
【０２５９】
外部インタフェース部９６６は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
【０２６０】
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
【０２６１】
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０２６２】
制御部９７０は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
【０２６３】
このように構成された撮像装置では、画像データ処理部９６４に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、異なるビュー方向のベース画像についてもDPBの管理を実現でき、ベース画像のRPSを参照するようにして符号量を削減することで、符号化効率が改善されたディペンデント画像の符号化ビットストリームを生成することができる。また、異なるビュー方向のベース画像についてもDPBの管理を実現でき、ベース画像のRPSを参照するようにして符号量を削減することで、符号化効率が改善されたディペンデント画像の符号化ビットストリームを復号することができる。
【０２６４】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２６５】
なお、本技術は、以下のような構成もとることができる。
【０２６６】
（１）
ディペンデントビューのディペンデント画像を符号化する際にデコードピクチャバッファに記憶させる、ベースビューのベース画像を管理するビュー方向管理情報を設定する設定部と、
前記ベース画像と前記ディペンデント画像とを符号化して符号化データを生成する符号化部と、
前記設定部により設定されたビュー方向管理情報と、前記符号化部により生成された符号化データとを伝送する伝送部と
を備える画像処理装置。
（２）
前記設定部は、前記ディペンデント画像を符号化する際に前記デコードピクチャバッファに記憶させる時間方向の画像を管理する時間方向管理情報が、前記ベース画像の時間方向管理情報と同一であることを示す同一情報を設定し、
前記伝送部は、前記設定部により設定された同一情報を伝送する
前記（１）に記載の画像処理装置。
（３）
前記設定部は、前記ビュー方向管理情報を、RPSとして設定する
前記（１）または（２）に記載の画像処理装置。
（４）
画像処理装置が、
ディペンデントビューのディペンデント画像を符号化する際にデコードピクチャバッファに記憶させる、ベースビューのベース画像を管理するビュー方向管理情報を設定する設定ステップと、
前記ベース画像と前記ディペンデント画像とを符号化して符号化データを生成する符号化ステップと、
前記設定ステップにより設定されたビュー方向管理情報と、前記符号化ステップにより生成された符号化データとを伝送する伝送ステップと
を含む画像処理方法。
（５）
ディペンデントビューのディペンデント画像を復号する際にデコードピクチャバッファに記憶させる、ベースビューのベース画像を管理するビュー方向管理情報と、前記ベース画像と前記ディペンデント画像とが符号化された符号化データを受け取る受け取り部と、
符号化された前記符号化データを復号し、前記ビュー方向管理情報に基づいて前記デコードピクチャバッファの前記ベース画像を管理する復号部と
を備える画像処理装置。
（６）
前記受け取り部は、前記ディペンデント画像を復号する際に前記デコードピクチャバッファに記憶させる時間方向の画像を管理する時間方向管理情報が、前記ベース画像の時間方向管理情報と同一であることを示す同一情報と、前記ベース画像の時間方向管理情報を受け取り、
前記復号部は、前記ベース画像の時間方向管理情報を用いて、前記デコードピクチャバッファに記憶させる前記時間方向の画像を管理する
前記（５）に記載の画像処理装置。
（７）
前記受け取り部は、前記ビュー方向管理情報を、RPSとして受け取る
前記（５）または（６）に記載の画像処理装置。
（８）
画像処理装置が、
ディペンデントビューのディペンデント画像を復号する際にデコードピクチャバッファに記憶させる、ベースビューのベース画像を管理するビュー方向管理情報と、前記ベース画像と前記ディペンデント画像とが符号化された符号化データを受け取る受け取りステップと、
符号化された前記符号化データを復号し、前記ビュー方向管理情報に基づいて前記デコードピクチャバッファの前記ベース画像を管理する復号ステップと
を含む画像処理方法。
【符号の説明】
【０２６７】
１０  符号化装置，  １２  ノンベース符号化部，  ３１  符号化部，  ３２  設定部，  １３２  DPB（デコードピクチャバッファ），  １３６  RPS生成部，  ２０１  復号装置，  ２１２  ノンベース復号部，  ２３１  受け取り部，  ２３２  復号部，  ２５９  DPB（デコードピクチャバッファ），  ２６４  RPS処理部
【図１】
2013115023.tif 000003
【図２】
2013115023.tif 000004
【図３】
2013115023.tif 000005
【図４】
2013115023.tif 000006
【図５】
2013115023.tif 000007
【図６】
2013115023.tif 000008
【図７】
2013115023.tif 000009
【図８】
2013115023.tif 000010
【図９】
2013115023.tif 000011
【図１０】
2013115023.tif 000012
【図１１】
2013115023.tif 000013
【図１２】
2013115023.tif 000014
【図１３】
2013115023.tif 000015
【図１４】
2013115023.tif 000016
【図１５】
2013115023.tif 000017
【図１６】
2013115023.tif 000018
【図１７】
2013115023.tif 000019
【図１８】
2013115023.tif 000020
【図１９】
2013115023.tif 000021
【図２０】
2013115023.tif 000022
【図２１】
2013115023.tif 000023
【図２２】
2013115023.tif 000024
【図２３】
2013115023.tif 000025
【図２４】
2013115023.tif 000026
【図２５】
2013115023.tif 000027
【図２６】
2013115023.tif 000028
【国際調査報告】
2013115023.tif 000029
2013115023.tif 000030
2013115023.tif 000031
2013115023.tif 000032