(57)【要約】  本開示は、階層間に関連する処理をスムーズに行うことができるようにする画像符号化装置および方法、並びに画像復号装置および方法に関する。エンハンスメントレイヤ画像符号化部は、他のレイヤの復号画像を参照ピクチャとした場合、そのピクチャがスキップピクチャであるか否かを示す階層間情報、または６４以上の階層を持つ場合の階層依存関係を示す階層間情報を設定する。エンハンスメントレイヤ画像符号化部は、設定した階層間情報に基づいて、動き予測を行い、その階層間情報を符号化する。本開示は、例えば、画像データをスケーラブル符号化処理する画像符号化装置および画像データをスケーラブル復号処理する画像復号装置に適用することができる。
2015098563.tif 000002
【特許請求の範囲】
【請求項１】
３以上の複数階層を有する画像を符号化処理する際に、符号化処理の対象となる対象画像が参照する参照階層の画像がスキップモードであるか否かを示す階層間情報を取得する取得部と、
前記取得部により取得された階層間情報を参照して、前記参照階層の画像がスキップモードである場合、前記対象画像をスキップモードとして符号化処理することを禁止する階層間情報設定部と
を備える画像符号化装置。
【請求項２】
前記取得部は、符号化処理の対象となる対象ピクチャが参照する参照階層のピクチャがスキップピクチャであるか否かを示す階層間情報を取得し、
前記階層間情報設定部は、前記参照階層のピクチャがスキップピクチャである場合、前記対象ピクチャをスキップピクチャとして符号化処理することを禁止する
請求項１に記載の画像符号化装置。
【請求項３】
前記取得部は、符号化処理の対象となる対象スライスが参照する参照階層のスライスがスキップスライスであるか否かを示す階層間情報を取得し、
前記階層間情報設定部は、前記参照階層のスライスがスキップスライスである場合、前記対象スライスをスキップスライスとして符号化処理することを禁止する
請求項１に記載の画像符号化装置。
【請求項４】
前記取得部は、符号化処理の対象となる対象タイルが参照する参照階層のタイルがスキップタイルであるか否かを示す階層間情報を取得し、
前記階層間情報設定部は、前記参照階層のタイルがスキップタイルである場合、前記対象タイルをスキップタイルとして符号化処理することを禁止する
請求項１に記載の画像符号化装置。
【請求項５】
前記参照階層と符号化処理の対象となる対象階層がスペーシャルスケーラビリティである場合のみ、前記階層間情報設定部は、前記参照階層の画像がスキップモードであるとき、前記対象画像をスキップモードとして符号化処理することを禁止する
請求項１に記載の画像符号化装置。
【請求項６】
前記参照階層と符号化処理の対象となる対象階層がスペーシャルスケーラビリティであるが、前記参照階層と、さらにそれが参照する階層がSNRスケーラビリティである場合、前記階層間情報設定部は、前記参照階層の画像がスキップモードであっても、前記対象画像をスキップモードとして符号化処理することを許可する
請求項１に記載の画像符号化装置。
【請求項７】
画像符号化装置が、
３以上の複数階層を有する画像を符号化処理する際に、符号化処理の対象となる対象画像が参照する参照階層の画像がスキップモードであるか否かを示す階層間情報を取得し、
取得された階層間情報を参照して、前記参照階層の画像がスキップモードである場合、前記対象画像をスキップモードとして符号化することを禁止する
画像符号化方法。
【請求項８】
３以上の複数階層を有する画像が符号化されているビットストリームを復号処理する際に、復号処理の対象となる対象画像が参照する参照階層の画像がスキップモードであるか否かを示す階層間情報を取得する取得部と、
前記取得部により取得された階層間情報を参照して、前記参照階層の画像がスキップモードである場合、前記対象画像をスキップモードとして復号処理することを禁止する階層間情報設定部と
を備える画像復号装置。
【請求項９】
前記取得部は、復号処理の対象となる対象ピクチャが参照する参照階層のピクチャがスキップピクチャであるか否かを示す階層間情報を取得し、
前記階層間情報設定部は、前記参照階層のピクチャがスキップピクチャである場合、前記対象ピクチャをスキップピクチャとして復号処理することを禁止する
請求項８に記載の画像復号装置。
【請求項１０】
前記取得部は、復号処理の対象となる対象スライスが参照する参照階層のスライスがスキップスライスであるか否かを示す階層間情報を取得し、
前記階層間情報設定部は、前記参照階層のスライスがスキップスライスである場合、前記対象スライスをスキップスライスとして復号処理することを禁止する
請求項８に記載の画像復号装置。
【請求項１１】
前記取得部は、復号処理の対象となる対象タイルが参照する参照階層のタイルがスキップタイルであるか否かを示す階層間情報を取得し、
前記階層間情報設定部は、前記参照階層のタイルがスキップタイルである場合、前記対象タイルをスキップタイルとして復号処理することを禁止する
請求項８に記載の画像復号装置。
【請求項１２】
前記参照階層と復号処理の対象となる対象階層がスペーシャルスケーラビリティである場合のみ、前記階層間情報設定部は、前記参照階層の画像がスキップモードであるとき、前記対象画像をスキップモードとして復号処理することを禁止する
請求項８に記載の画像復号装置。
【請求項１３】
前記参照階層と復号処理の対象となる対象階層がスペーシャルスケーラビリティであるが、前記参照階層と、さらにそれが参照する階層がSNRスケーラビリティである場合、前記階層間情報設定部は、前記参照階層の画像がスキップモードであっても、前記対象画像をスキップモードとして復号処理することを許可する
請求項８に記載の画像復号装置。
【請求項１４】
画像復号装置が、
３以上の複数階層を有する画像が符号化されているビットストリームを復号処理する際に、復号処理の対象となる対象画像が参照する参照階層の画像がスキップモードであるか否かを示す階層間情報を取得し、
取得された階層間情報を参照して、前記参照階層の画像がスキップモードである場合、前記対象画像をスキップモードとして復号処理することを禁止する
画像復号方法。
【請求項１５】
６４以上の複数階層を有する画像を符号化処理する際に、前記画像の階層数を示す階層間情報を取得する取得部と、
前記取得部により取得された階層間情報を参照して、VPS_extensionにおいて、拡張された階層数に関する情報を設定する階層間情報設定部と
を備える画像符号化装置。
【請求項１６】
前記階層間情報設定部は、前記VPS_extensionにおいて、シンタクス要素layer_extension_factor_minus1を設定し、(vps_max_layers_minus1+1)*(layer_extension_factor_minus1+1)が、前記画像における階層数である
請求項１５に記載の画像符号化装置。
【請求項１７】
前記階層間情報設定部は、前記layer_extension_factor_minus1の値が０以外である場合、VPS_extensionにおいて、階層セットに関する情報を設定する
請求項１６に記載の画像符号化装置。
【請求項１８】
前記階層間情報設定部は、VPSにおいて、layer_extension_flagを設定し、layer_extension_flagの値が１のときのみ、前記VPS_extensionにおいて、シンタクス要素layer_extension_factor_minus1を設定する
請求項１６に記載の画像符号化装置。
【請求項１９】
画像符号化装置が、
６４以上の複数階層を有する画像を符号化処理する際に、前記画像の階層数を示す階層間情報を取得し、
取得された階層間情報を参照して、VPS_extensionにおいて、拡張された階層数に関する情報を設定する
画像符号化方法。
【請求項２０】
６４以上の複数階層を有する画像が符号化されているビットストリームから、VPS_extensionにおいて設定されている拡張された階層数に関する情報を受け取る受け取り部と、
前記受け取り部により受け取られた拡張された階層数に関する情報を参照して、復号処理を行う復号部と
を備える画像復号装置。
【請求項２１】
前記受け取り部は、前記VPS_extensionにおいて、シンタクス要素layer_extension_factor_minus1を受け取り、(vps_max_layers_minus1+1)*(layer_extension_factor_minus1+1)が、前記画像における階層数である
請求項２０に記載の画像復号装置。
【請求項２２】
前記受け取り部は、前記layer_extension_factor_minus1の値が０以外である場合、前記VPS_extensionにおいて、階層セットに関する情報を受け取る
請求項２１に記載の画像復号装置。
【請求項２３】
前記受け取り部は、VPSにおいて、layer_extension_flagを受け取り、layer_extension_flagの値が１のときのみ、前記VPS_extensionにおいて、シンタクス要素layer_extension_factor_minus1を受け取る
請求項２１に記載の画像復号装置。
【請求項２４】
画像復号装置が、
６４以上の複数階層を有する画像が符号化されているビットストリームから、VPS_extensionにおいて設定されている拡張された階層数に関する情報を受け取り、
受け取られた拡張された階層数に関する情報を参照して、復号処理を行う
画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像符号化装置および方法、並びに画像復号装置および方法に関し、特に、階層間に関連する処理をスムーズに行うことができるようにした画像符号化装置および方法、並びに画像復号装置および方法に関する。
【背景技術】
【０００２】
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）やH．264及びMPEG-4 Part10 （Advanced Video Coding、以下 AVCと記す）などがある。【０００３】
そして、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている（非特許文献１参照）。【０００４】
ところで、これまでの、MPEG-2やAVCといった画像符号化方式は、画像を複数のレイヤに階層化して符号化するスケーラビリティ（scalability）機能を有していた。【０００５】
すなわち、例えば携帯電話機のような、処理能力の低い端末に対しては、ベースレイヤ（base layer）のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ（base layer）に加えて、エンハンスメントレイヤ（enhancement layer）の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。【０００６】
HEVCに関するスケーラブル拡張は、非特許文献２において規定されている。非特許文献１および非特許文献２においては、NAL_unit_headerにおいてlayer_idが指定され、また、VPS(Video Parameter Set)において、階層数が指定される。階層に関するシンタクスは、u(6)で表わされている。すなわち、その最大値は26-1=63ということになる。また、VPSにおいては、Layer_id_included_flagによって、階層セットが規定される。さらに、VPS_extensionにおいて、direct_dependency_flagにより、階層間に直接の依存関係があるかどうかに関する情報が伝送される。【０００７】
ところで、非特許文献３においては、スキップピクチャが提案されている。すなわち、スケーラブル符号化処理が行われる際、エンハンスメントレイヤにおいて、スキップピクチャが指定されると、ベースレイヤのアップサンプル画像がそのまま出力され、ピクチャに対する復号処理が行われない。【０００８】
これにより、エンハンスメントレイヤにおいて、CPUの負荷が高いとき、演算量を削減し、リアルタイム動作することを可能にしたり、バッファのオーバフローを起こしそうなとき、当該ピクチャに対する情報の伝送をおこなわないとき、オーバフローを回避するといったことが可能となる。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Benjamin Bross, Woo-Jin Han, Gary J. Sullivan, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, " High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Consent)", JCTVC-L1003_v4, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 14-23 Jan. 2013
【非特許文献２】Jianle Chen, Jill Boyce,Yan Ye, Miska M. Hannuksela, "High efficiency video coding (HEVC) scalable extension draft 3",JCTVC-N1008_v3,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Vienna, AT, 25 July-2 Aug. 2013
【非特許文献３】Jill Boyce,Xiaoyu Xiu, Yong He, Yan Ye,"SHVC SKIPPED PICTURE INDICATION",JCTVC-N0209,2013年7月
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、特にスペーシャルスケーラビリティのとき、スキップピクチャの参照元がさらにスキップピクチャであるとき、アップサンプル処理を２度、もしくは、それ以上施した画像が、当該エンハンスメントレイヤにおいて出力されることがあった。すなわち、当該階層に比して、極めて解像度が低い画像が復号画像として出力されてしまうことがあった。このように階層間に関連する処理をスムーズに行うことが難しいことがあった。【００１１】
本開示は、このような状況に鑑みてなされたものであり、階層間に関連する処理をスムーズに行うことができるものである。
【課題を解決するための手段】
【００１２】
本開示の第１の側面の画像符号化装置は、３以上の複数階層を有する画像を符号化処理する際に、符号化処理の対象となる対象画像が参照する参照階層の画像がスキップモードであるか否かを示す階層間情報を取得する取得部と、前記取得部により取得された階層間情報を参照して、前記参照階層の画像がスキップモードである場合、前記対象画像をスキップモードとして符号化処理することを禁止する階層間情報設定部とを備える。【００１３】
本開示の第１の側面の画像符号化方法は、画像符号化装置が、３以上の複数階層を有する画像を符号化処理する際に、符号化処理の対象となる対象画像が参照する参照階層の画像がスキップモードであるか否かを示す階層間情報を取得し、取得された階層間情報を参照して、前記参照階層の画像がスキップモードである場合、前記対象画像をスキップモードとして符号化することを禁止する。【００１４】
本開示の第２の側面の画像復号装置は、３以上の複数階層を有する画像が符号化されているビットストリームを復号処理する際に、復号処理の対象となる対象画像が参照する参照階層の画像がスキップモードであるか否かを示す階層間情報を取得する取得部と、前記取得部により取得された階層間情報を参照して、前記参照階層の画像がスキップモードである場合、前記対象画像をスキップモードとして復号処理することを禁止する階層間情報設定部とを備える。【００１５】
本開示の第２の側面の画像復号方法は、画像復号装置が、３以上の複数階層を有する画像が符号化されているビットストリームを復号処理する際に、復号処理の対象となる対象画像が参照する参照階層の画像がスキップモードであるか否かを示す階層間情報を取得し、取得された階層間情報を参照して、前記参照階層の画像がスキップモードである場合、前記対象画像をスキップモードとして復号処理することを禁止する。【００１６】
本開示の第３の側面の画像符号化装置は、６４以上の複数階層を有する画像を符号化処理する際に、前記画像の階層数を示す階層間情報を取得する取得部と、前記取得部により取得された階層間情報を参照して、VPS_extensionにおいて、拡張された階層数に関する情報を設定する階層間情報設定部とを備える。【００１７】
本開示の第３の側面の画像符号化方法は、画像符号化装置が、６４以上の複数階層を有する画像を符号化処理する際に、前記画像の階層数を示す階層間情報を取得し、取得された階層間情報を参照して、VPS_extensionにおいて、拡張された階層数に関する情報を設定する。【００１８】
本開示の第４の側面の画像復号装置は、６４以上の複数階層を有する画像が符号化されているビットストリームから、VPS_extensionにおいて設定されている拡張された階層数に関する情報を受け取る受け取り部と、前記受け取り部により受け取られた拡張された階層数に関する情報を参照して、復号処理を行う復号部とを備える。【００１９】
本開示の第４の側面の画像復号方法は、画像復号装置が、６４以上の複数階層を有する画像が符号化されているビットストリームから、VPS_extensionにおいて設定されている拡張された階層数に関する情報を受け取り、受け取られた拡張された階層数に関する情報を参照して、復号処理を行う。【００２０】
本開示の第１の側面においては、３以上の複数階層を有する画像を符号化処理する際に、符号化処理の対象となる対象画像が参照する参照階層の画像がスキップモードであるか否かを示す階層間情報が取得される。そして、取得された階層間情報を参照して、前記参照階層の画像がスキップモードである場合、前記対象画像をスキップモードとして符号化することが禁止される。【００２１】
本開示の第２の側面においては、３以上の複数階層を有する画像が符号化されているビットストリームを復号処理する際に、復号処理の対象となる対象画像が参照する参照階層の画像がスキップモードであるか否かを示す階層間情報が取得される。そして、取得された階層間情報を参照して、前記参照階層の画像がスキップモードである場合、前記対象画像をスキップモードとして復号処理することが禁止される。【００２２】
本開示の第３の側面においては、６４以上の複数階層を有する画像を符号化処理する際に、前記画像の階層数を示す階層間情報が取得される。そして、取得された階層間情報を参照して、VPS_extensionにおいて、拡張された階層数に関する情報が設定される。【００２３】
本開示の第４の側面においては、６４以上の複数階層を有する画像が符号化されているビットストリームから、VPS_extensionにおいて設定されている拡張された階層数に関する情報が受け取られる。そして、受け取られた拡張された階層数に関する情報を参照して、復号処理が行われる。【００２４】
なお、上述の画像符号化装置は、独立した装置であっても良いし、１つの画像処理装置や画像符号化装置を構成している内部ブロックであってもよい。同様に、上述の画像復号装置は、独立した装置であっても良いし、１つの画像処理装置や画像復号装置を構成している内部ブロックであってもよい。
【発明の効果】
【００２５】
本開示の第１および第３の側面によれば、画像を符号化することができる。特に、階層間に関連する処理をスムーズに行うことができる。【００２６】
本開示の第２および第４の側面によれば、画像を復号することができる。特に、階層間に関連する処理をスムーズに行うことができる。
【図面の簡単な説明】
【００２７】
【図１】コーディングユニットの構成例を説明する図である。
【図２】スペーシャルなスケーラブル符号化の例を説明する図である。
【図３】テンポラルなスケーラブル符号化の例を説明する図である。
【図４】信号雑音比のスケーラブル符号化の例を説明する図である。
【図５】NAL_unit_headerのシンタクスの例を示す図である。
【図６】VPSのシンタクスの例を示す図である。
【図７】VPS_extensionのシンタクスの例を示す図である。
【図８】VPS_extensionのシンタクスの例を示す図である。
【図９】スケーラブル符号化装置の主な構成例を示すブロック図である。
【図１０】ベースレイヤ画像符号化部の主な構成例を示すブロック図である。
【図１１】エンハンスメントレイヤ画像符号化部の主な構成例を示すブロック図である。
【図１２】スキップピクチャについて説明する図である。
【図１３】スキップピクチャについて説明する図である。
【図１４】スキップピクチャについて説明する図である。
【図１５】階層間情報設定部の主な構成例を示すブロック図である。
【図１６】符号化処理の流れの例を説明するフローチャートである図である。
【図１７】ベースレイヤ符号化処理の流れの例を説明するフローチャートである。
【図１８】エンハンスメントレイヤ符号化処理の流れの例を説明するフローチャートである。
【図１９】階層間情報設定処理の流れの例を説明するフローチャートである。
【図２０】本技術によるVPS_extensionのシンタクスの例を示す図である。
【図２１】本技術によるVPS_extensionのシンタクスの例を示す図である。
【図２２】階層間情報設定部の主な構成例を示すブロック図である。
【図２３】階層間情報設定処理の流れの例を説明するフローチャートである。
【図２４】スケーラブル復号装置の主な構成例を示すブロック図である。
【図２５】ベースレイヤ画像復号部の主な構成例を示すブロック図である。
【図２６】エンハンスメントレイヤ画像復号部の主な構成例を示すブロック図である。
【図２７】階層間情報受信部の主な構成例を示すブロック図である。
【図２８】復号処理の流れの例を説明するフローチャートである。
【図２９】ベースレイヤ復号処理の流れの例を説明するフローチャートである。
【図３０】エンハンスメントレイヤ復号処理の流れの例を説明するフローチャートである。
【図３１】階層間情報受信処理の流れの例を説明するフローチャートである。
【図３２】階層間情報受信部の主な構成例を示すブロック図である。
【図３３】階層間情報受信処理の流れの例を説明するフローチャートである。
【図３４】階層画像符号化方式の例を示す図である。
【図３５】多視点画像符号化方式の例を示す図である。
【図３６】コンピュータの主な構成例を示すブロック図である。
【図３７】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図３８】携帯電話機の概略的な構成の一例を示すブロック図である。
【図３９】記録再生装置の概略的な構成の一例を示すブロック図である。
【図４０】撮像装置の概略的な構成の一例を示すブロック図である。
【図４１】スケーラブル符号化利用の一例を示すブロック図である。
【図４２】スケーラブル符号化利用の他の例を示すブロック図である。
【図４３】スケーラブル符号化利用のさらに他の例を示すブロック図である。
【図４４】ビデオセットの概略的な構成の一例を示すブロック図である。
【図４５】ビデオプロセッサの概略的な構成の一例を示すブロック図である。
【図４６】ビデオプロセッサの概略的な構成の他の例を示すブロック図である。
【発明を実施するための形態】
【００２８】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
０．概要
１．第１の実施の形態（スケーラブル符号化装置）
２．第２の実施の形態（スケーラブル復号装置）
３．その他
４．第３の実施の形態（コンピュータ）
５．応用例
６．スケーラブル符号化の応用例
７．第４の実施の形態（セット・ユニット・モジュール・プロセッサ）
【００２９】
＜０．概要＞
＜符号化方式＞
以下においては、HEVC（High Efficiency Video Coding）方式の画像符号化・復号に適用する場合を例に、本技術を説明する。
【００３０】
＜コーディングユニット＞
AVC（Advanced Video Coding）方式においては、マクロブロックとサブマクロブロックによる階層構造が規定されている。しかしながら、１６画素×１６画素のマクロブロックでは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；４０００画素×２０００画素）といった大きな画枠に対して最適ではない。
【００３１】
これに対して、HEVC方式においては、図１に示されるように、コーディングユニット（CU（Coding Unit））が規定されている。
【００３２】
CUは、Coding Tree Block（CTB）とも呼ばれ、AVC方式におけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。
【００３３】
例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（SCU（Smallest Coding Unit））が規定される。
【００３４】
それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。図１の例では、LCUの大きさが１２８であり、最大階層深度が５となる。２Ｎ×２Ｎの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのCUに分割される。
【００３５】
更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。現在、HEVC方式においては、４×４及び８×８に加え、１６×１６及び３２×３２直交変換を用いることが可能である。
【００３６】
以上のHEVC方式のように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、AVC方式におけるマクロブロックはLCUに相当し、ブロック（サブブロック）はCUに相当すると考えることができる。また、AVC方式における動き補償ブロックは、PUに相当すると考えることができる。ただし、CUは、階層構造を有するので、その最上位階層のLCUのサイズは、例えば128×128画素のように、AVC方式のマクロブロックより大きく設定されることが一般的である。
【００３７】
よって、以下、LCUは、AVC方式におけるマクロブロックをも含むものとし、CUは、AVC方式におけるブロック（サブブロック）をも含むものとする。つまり、以下の説明に用いる「ブロック」は、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。つまり、「ブロック」には、例えば、TU、PU、SCU、CU、LCU、サブブロック、マクロブロック、またはスライス等任意の領域（処理単位）が含まれる。もちろん、これら以外の部分領域（処理単位）も含まれる。サイズや処理単位等を限定する必要がある場合は、適宜説明する。
【００３８】
また、本明細書において、CTU（Coding Tree Unit）は、LCU(最大数のCU)のCTB（Coding Tree Block）と、そのLCUベース（レベル）で処理するときのパラメータを含む単位であるとする。また、CTUを構成するCU（Coding Unit）は、CB(Coding Block)と、そのCUベース（レベル）で処理するときのパラメータを含む単位であるとする。
【００３９】
＜モード選択＞
ところで、AVCそしてHEVC符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。
【００４０】
かかる選択方式の例として、JM (Joint Model) と呼ばれるH.264/MPEG-4 AVCの参照ソフトウエア (http://iphome.hhi.de/suehring/tml/index.htm において公開されている)に実装されている方法を挙げることが出来る。
【００４１】
JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの2通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。
【００４２】
High Complexity Modeにおけるコスト関数は、以下の式（１）のように示される。
【００４３】
【数１】
2015098563.tif 000003
【００４４】
ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合、Dは、当該予測モードで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Ｒは、直交変換係数を含んだ、当該モードで符号化した場合の総符号量である。
【００４５】
つまり、High Complexity Modeでの符号化を行うには、上記パラメータＤ及びＲを算出するため、全ての候補モードにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
【００４６】
Low Complexity Modeにおけるコスト関数は、以下の式（２）のように示される。
【００４７】
【数２】
2015098563.tif 000004
【００４８】
ここで、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。QP2Quant(QP)は、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。
【００４９】
すなわち、Low Complexity Modeにおいては、それぞれの候補モードに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。
【００５０】
＜階層符号化＞
ところで、これまでの、MPEG2、AVCといった画像符号化方式は、図２乃至図４に示されるような、スケーラビリティ（scalability）機能を有していた。スケーラブル符号化（階層符号化）とは、画像を複数レイヤ化（階層化）し、レイヤ毎に符号化する方式である。
【００５１】
画像の階層化においては、所定のパラメータを基準として１の画像が複数の画像（レイヤ）に分割される。基本的に各レイヤは、冗長性が低減されるように、差分データにより構成される。例えば、１の画像をベースレイヤとエンハンスメントレイヤに２階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとエンハンスメントレイヤのデータを合成することで、元の画像（すなわち高品質な画像）が得られる。
【００５２】
このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話機のような、処理能力の低い端末に対しては、ベースレイヤ（base layer）のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ（base layer）に加えて、エンハンスメントレイヤ（enhancement layer）の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。
【００５３】
このようなスケーラビリティ性を持たせるパラメータとして、例えば、図２に示されるような、空間解像度がある（spatial scalability）。このスペーシャルスケーラビリティ（spatial scalability）の場合、レイヤ毎に解像度が異なる。つまり、図２に示されるように、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤの画像と合成することにより元の画像（元の空間解像度）が得られるエンハンスメントレイヤの２階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
【００５４】
また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、図３に示されるような、時間解像度がある（temporal scalability）。このテンポラルスケーラビリティ（temporal scalability）の場合、レイヤ毎にフレームレートが異なる。つまり、この場合、図３に示されるように、互いに異なるフレームレートのレイヤに階層化されており、低フレームレートのレイヤに、高フレームレートのレイヤを加えることで、より高フレームレートの動画像を得ることができ、全てのレイヤを加えることで、元の動画像（元のフレームレート）を得ることができる。この階層数は一例であり、任意の階層数に階層化することができる。
【００５５】
また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、信号雑音比（SNR（Signal to Noise ratio））がある（SNR scalability）。このSNRスケーラビリティ（SNR scalability）の場合、レイヤ毎にSN比が異なる。つまり、図４に示されるように、各ピクチャが、元の画像よりSNRの低いベースレイヤと、ベースレイヤの画像と合成することにより元の画像（元のSNR）が得られるエンハンスメントレイヤの２階層に階層化される。すなわち、ベースレイヤ（base layer）画像圧縮情報においては、低PSNRの画像に関する情報が伝送されており、これに、エンハンスメントレイヤ（enhancement layer）画像圧縮情報を加えることで、高SNR画像を再構築することが可能である。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
【００５６】
スケーラビリティ性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、ベースレイヤ（base layer）が8ビット（bit）画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、10ビット（bit）画像が得られるビット深度スケーラビリティ（bit-depth scalability）がある。
【００５７】
また、ベースレイヤ（base layer）が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるクロマスケーラビリティ（chroma scalability）がある。
【００５８】
さらに、スケーラビリティ性を持たせるパラメータとして、マルチビューがある。この場合、互いに異なるビュー（視点）のレイヤに階層化されている。
【００５９】
本実施の形態に記載のレイヤは、上述した、スケーラビリティ符号化のスペーシャル、テンポラル、SNR、ビット深度、カラー、ビューなどを含む。
【００６０】
なお、本明細書において使われているレイヤの用語は、上述したスケーラブル（階層）符号化のレイヤと、さらに、多視点のマルチビューを考えたときの各ビューを含むものである。
【００６１】
さらに、本明細書において使われているレイヤの用語は、主（サブに対応する）レイヤ、およびサブレイヤを含むものとする。具体例としては、主レイヤがスペーシャルスケーラビリティのレイヤであり、そのサブレイヤとしては、テンポラルスケーラビリティのレイヤで構成される場合があげられる。
【００６２】
また、本実施の形態においては、階層とレイヤは同意であるため、適宜、階層をレイヤとして説明される。
【００６３】
＜スケーラブル拡張におけるシンタクス＞
HEVCにおけるスケーラブル拡張は、非特許文献２において規定されている。非特許文献１および非特許文献２において、図５に示されるように、NAL_unit_headerにおいて、layer_idが指定され、また、図６に示されるように、VPS(Video_Parameter_Set)において階層数が指定される。
【００６４】
図５は、NAL_unit_headerのシンタクスの例を示す図である。左側の数字は、説明の便宜上設けられたものである。図５の例において、第４行目に、レイヤidを指定するためのnuh_layer_idが記述されている。
【００６５】
図６は、VPSのシンタクスの例を示す図である。左側の数字は、説明の便宜上設けられたものである。図６の例において、第４行目に、ビットストリームに含まれるレイヤの最大数を指定するためのvps_max_layers_minus1が記述されている。第７行目には、vps_extension_offsetが記述されている。
【００６６】
また、第１６行目乃至第１８行目には、vps_num_layer_sets_minus1として、レイヤセットの数が記述されている。第１９行目には、階層セットを規定するためのlayer_id_included_flagが記述されている。また、第３７行目乃至第４１行目には、さらに、vpe_extensionに関する情報が記述されている。
【００６７】
図５の第４行目および図６の第４行目に示されるように、階層に関するシンタクスは、u(6)で表わされる。すなわち、その最大値は、26-1=63ということになる。また、図６の第１９行目に示されるように、VPSにおいては、layer_id_included_flagによって、階層セットが規定される。
【００６８】
さらに、次の図７に示されるように、VPS_extensionにおいて、direct_dependency_flagにより、階層間に直接の依存関係があるかどうかに関する情報が伝送される。
【００６９】
図７および図８は、VPS_extensionのシンタクスの例を示す図である。左側の数字は、説明の便宜上設けられたものである。図７および図８の例において、第２３行目乃至第２５行目には、上述した階層間に直接の依存関係があるかどうかに関する情報であるdirect_dependency_flagが記述されている。
【００７０】
以上のように、非特許文献２において規定されている階層符号化方式は、階層数が最大63までしか設定することができなかった。すなわち、超多眼画像といった63以上の階層を含むアプリケーションに対応していなかった。
【００７１】
＜スキップピクチャ＞
また、非特許文献３においては、以下のようなスキップピクチャが提案されている。すなわち、スケーラブル符号化処理が行われる際、エンハンスメントレイヤにおいて、スキップピクチャが指定されると、ベースレイヤのアップサンプル画像がそのまま出力され、ピクチャに対する復号処理が行われない。
【００７２】
これにより、エンハンスメントレイヤにおいて、CPUの負荷が高いとき、演算量を削減し、リアルタイム動作することを可能にしたり、バッファのオーバフローを起こしそうなとき、当該ピクチャに対する情報の伝送を行わないとき、オーバフローを回避するといったことが可能になる。
【００７３】
しかしながら、スペーシャルスケーラビリティのとき、スキップピクチャの参照元がスキップピクチャであるとき、アップサンプル処理を２回、もしくは、それ以上施した画像が、当該エンハンスメントレイヤにおいて出力されることになってしまう。この場合、当該階層に比して、極めて解像度が低い画像が復号画像として出力してしまう。
【００７４】
以上のように、階層数が多くなることで、今までの規格では対応することが困難であり、レイヤ間（階層間）情報を設定することが必要となってきた。そこで、本技術においては、必要な階層間情報が設定される。
【００７５】
＜１．第１の実施の形態＞
＜スケーラブル符号化装置＞
図９は、スケーラブル符号化装置の主な構成例を示すブロック図である。
【００７６】
図９に示されるスケーラブル符号化装置１００は、画像データをスケーラブル符号化する画像情報処理装置であり、ベースレイヤとエンハンスメントレイヤに階層化された画像データの各レイヤを符号化する。
【００７７】
この階層化の基準として用いるパラメータ（スケーラビリティを持たせるパラメータ）は任意である。スケーラブル符号化装置１００は、共通情報生成部１０１、符号化制御部１０２、ベースレイヤ画像符号化部１０３、エンハンスメントレイヤ画像符号化部１０４−１、およびエンハンスメントレイヤ画像符号化部１０４−２を有する。なお、特に区別する必要のない場合、エンハンスメントレイヤ画像符号化部１０４−１および１０４−２は、まとめてエンハンスメントレイヤ画像符号化部１０４と称する。図９の例においては、エンハンスメントレイヤ画像符号化部１０４が２台の例が示されているが、さらに多くの台数で構成される場合がある。
【００７８】
共通情報生成部１０１は、例えばNALユニットに格納するような画像データの符号化に関する情報を取得する。また、共通情報生成部１０１は、必要に応じて、ベースレイヤ画像符号化部１０３、およびエンハンスメントレイヤ画像符号化部１０４などから必要な情報を取得する。共通情報生成部１０１は、それらの情報を基に全レイヤに関する情報である共通情報を生成する。共通情報には、例えば、ビデオパラメータセット等が含まれる。共通情報生成部１０１は、生成した共通情報を、例えばNALユニットとして、スケーラブル符号化装置１００の外部に出力する。なお、共通情報生成部１０１は、生成した共通情報を、符号化制御部１０２にも供給する。さらに、共通情報生成部１０１は、必要に応じて、生成した共通情報の一部若しくは全部をベースレイヤ画像符号化部１０３およびエンハンスメントレイヤ画像符号化部１０４にも供給する。
【００７９】
符号化制御部１０２は、共通情報生成部１０１から供給される共通情報に基づいて、ベースレイヤ画像符号化部１０３およびエンハンスメントレイヤ画像符号化部１０４を制御することにより、各レイヤの符号化を制御する。
【００８０】
ベースレイヤ画像符号化部１０３は、ベースレイヤの画像情報（ベースレイヤ画像情報）を取得する。ベースレイヤ画像符号化部１０３は、他のレイヤの情報を利用せずに、そのベースレイヤ画像情報を符号化し、ベースレイヤの符号化データ（ベースレイヤ符号化データ）を生成し、出力する。
【００８１】
エンハンスメントレイヤ画像符号化部１０４は、エンハンスメントレイヤの画像情報（エンハンスメントレイヤ画像）を取得し、そのエンハンスメントレイヤ画像情報を符号化する。ただし、説明の便宜上、エンハンスメントレイヤは、処理中のカレントレイヤと、カレントレイヤにおいて参照される参照レイヤとに分けられる。
【００８２】
エンハンスメントレイヤ画像符号化部１０４は、カレントレイヤ（エンハンスメントレイヤ）の画像情報（カレントレイヤ画像情報）を取得し、必要に応じて、他のレイヤ（ベースレイヤまたはエンハンスメントレイヤのうち先に符号化されたレイヤ）を参照し、そのカレントレイヤ画像情報を符号化する。
【００８３】
エンハンスメントレイヤ画像符号化部１０４は、階層間で処理を行う上で必要な階層間情報、すなわち、他のレイヤの復号画像を参照ピクチャとした場合、そのピクチャがスキップピクチャであるか否かを示す階層間情報、または６４以上の階層を持つ場合の階層依存関係を示す階層間情報を設定する。
【００８４】
エンハンスメントレイヤ画像符号化部１０４は、設定した階層間情報に基づいて、動き予測の際、スキップピクチャモードを用いて、または、禁止して、動き予測を行い、その階層間情報を符号化する。あるいは、エンハンスメントレイヤ画像符号化部１０４は、設定した階層間情報に基づいて、動き予測を行うとともに、その階層間情報を符号化する。
【００８５】
なお、エンハンスメントレイヤの画像情報を符号化する際、エンハンスメントレイヤ画像符号化部１０４は、他のエンハンスメントレイヤ復号画像（またはベースレイヤ復号画像）を取得し、それをアップサンプルしてから、動き予測のための参照ピクチャの１つとして用いる。
【００８６】
エンハンスメントレイヤ画像符号化部１０４は、このような符号化により、エンハンスメントレイヤの符号化データを生成し、出力する。
【００８７】
[ベースレイヤ画像符号化部]
図１０は、図９のベースレイヤ画像符号化部１０３の主な構成例を示すブロック図である。図１０に示されるように、ベースレイヤ画像符号化部１０３は、A/D変換部１１１、画面並べ替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可逆符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、および逆直交変換部１１９を有する。また、ベースレイヤ画像符号化部１０３は、演算部１２０、デブロッキングフィルタ１２１、フレームメモリ１２２、選択部１２３、イントラ予測部１２４、動き予測・補償部１２５、予測画像選択部１２６、およびレート制御部１２７を有する。さらに、ベースレイヤ画像符号化部１０３は、デブロッキングフィルタ１２１とフレームメモリ１２２との間に、適応オフセットフィルタ１２８を有する。
【００８８】
A/D変換部１１１は、入力された画像データ（ベースレイヤ画像情報）をA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１１２に供給し、記憶させる。画面並べ替えバッファ１１２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部１１３に供給する。また、画面並べ替えバッファ１１２は、フレームの順番を並び替えた画像を、イントラ予測部１２４および動き予測・補償部１２５にも供給する。
【００８９】
演算部１１３は、画面並べ替えバッファ１１２から読み出された画像から、予測画像選択部１２６を介してイントラ予測部１２４若しくは動き予測・補償部１２５から供給される予測画像を減算し、その差分情報を直交変換部１１４に出力する。例えば、イントラ符号化が行われる画像の場合、演算部１１３は、画面並べ替えバッファ１１２から読み出された画像から、イントラ予測部１２４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１１３は、画面並べ替えバッファ１１２から読み出された画像から、動き予測・補償部１２５から供給される予測画像を減算する。
【００９０】
直交変換部１１４は、演算部１１３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部１１４は、その変換係数を量子化部１１５に供給する。
【００９１】
量子化部１１５は、直交変換部１１４から供給される変換係数を量子化する。量子化部１１５は、レート制御部１２７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部１１５は、量子化された変換係数を可逆符号化部１１６に供給する。
【００９２】
可逆符号化部１１６は、量子化部１１５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１２７の制御の下で量子化されているので、この符号量は、レート制御部１２７が設定した目標値となる（若しくは目標値に近似する）。
【００９３】
また、可逆符号化部１１６は、イントラ予測のモードを示す情報などをイントラ予測部１２４から取得し、インター予測のモードを示す情報や差分動きベクトル情報などを動き予測・補償部１２５から取得する。さらに、可逆符号化部１１６は、シーケンスパラメータセット（SPS）、およびピクチャパラメータセット（PPS）等を含むベースレイヤのNALユニットを適宜生成する。なお、図示されないが、可逆符号化部１１６は、エンハンスメントレイヤ画像符号化部１０４−１が階層間情報を設定するのに必要な情報を、エンハンスメントレイヤ画像符号化部１０４−１に供給する。
【００９４】
可逆符号化部１１６は、これらの各種情報を任意の符号化方式で符号化し、符号化データ（符号化ストリームとも称する）の一部とする（多重化する）。可逆符号化部１１６は、符号化して得られた符号化データを蓄積バッファ１１７に供給して蓄積させる。
【００９５】
可逆符号化部１１６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
【００９６】
蓄積バッファ１１７は、可逆符号化部１１６から供給された符号化データ（ベースレイヤ符号化データ）を、一時的に保持する。蓄積バッファ１１７は、所定のタイミングにおいて、保持しているベースレイヤ符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。すなわち、蓄積バッファ１１７は、符号化データを伝送する伝送部でもある。
【００９７】
また、量子化部１１５において量子化された変換係数は、逆量子化部１１８にも供給される。逆量子化部１１８は、その量子化された変換係数を、量子化部１１５による量子化に対応する方法で逆量子化する。逆量子化部１１８は、得られた変換係数を、逆直交変換部１１９に供給する。
【００９８】
逆直交変換部１１９は、逆量子化部１１８から供給された変換係数を、直交変換部１１４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１２０に供給される。
【００９９】
演算部１２０は、逆直交変換部１１９から供給された逆直交変換結果である、復元された差分情報に、予測画像選択部１２６を介してイントラ予測部１２４若しくは動き予測・補償部１２５からの予測画像を加算し、局部的に復号された画像（復号画像）を得る。その復号画像は、デブロッキングフィルタ１２１またはフレームメモリ１２２に供給される。
【０１００】
デブロッキングフィルタ１２１は、演算部１２０から供給される再構成画像に対して、デブロックフィルタ処理を行うことにより再構成画像のブロック歪を除去する。デブロッキングフィルタ１２１は、フィルタ処理が施された画像を、適応オフセットフィルタ１２８に供給する。
【０１０１】
適応オフセットフィルタ１２８は、デブロッキングフィルタ１２１からのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、主にリンギングを除去する適応オフセットフィルタ(SAO: Sample adaptive offset)処理を行う。
【０１０２】
より詳細には、適応オフセットフィルタ１２８は、最大の符号化単位であるLCU（Largest Coding Unit）ごとに適応オフセットフィルタ処理の種類を決定し、その適応オフセットフィルタ処理で用いられるオフセットを求める。適応オフセットフィルタ１２８は、求められたオフセットを用いて、適応デブロックフィルタ処理後の画像に対して、決定された種類の適応オフセットフィルタ処理を行う。そして、適応オフセットフィルタ１２８は、適応オフセットフィルタ処理後の画像（以下、復号画像と称する）をフレームメモリ１２２に供給する。
【０１０３】
なお、デブロッキングフィルタ１２１および適応オフセットフィルタ１２８は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１１６に供給し、それを符号化させるようにすることもできる。また、適応オフセットフィルタ１２８の後段に、適応ループフィルタを備えるようにしてもよい。
【０１０４】
フレームメモリ１２２は、演算部１２０から供給される再構成画像と、適応オフセットフィルタ１２８から供給される復号画像とをそれぞれ記憶する。フレームメモリ１２２は、所定のタイミングにおいて、若しくは、イントラ予測部１２４等の外部からの要求に基づいて、記憶している再構成画像を、選択部１２３を介してイントラ予測部１２４に供給する。また、フレームメモリ１２２は、所定のタイミングにおいて、若しくは、動き予測・補償部１２５等の外部からの要求に基づいて、記憶している復号画像を、選択部１２３を介して、動き予測・補償部１２５に供給する。
【０１０５】
フレームメモリ１２２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部１２３に供給する。なお、フレームメモリ１２２のベースレイヤ復号画像は、必要に応じて、参照ピクチャとして、エンハンスメントレイヤ画像符号化部１０４−１やエンハンスメントレイヤ画像符号化部１０４−２に供給される。
【０１０６】
選択部１２３は、フレームメモリ１２２から供給される参照画像の供給先を選択する。例えば、イントラ予測の場合、選択部１２３は、フレームメモリ１２２から供給される参照画像（カレントピクチャ内の画素値）を動き予測・補償部１２５に供給する。また、例えば、インター予測の場合、選択部１２３は、フレームメモリ１２２から供給される参照画像を動き予測・補償部１２５に供給する。
【０１０７】
イントラ予測部１２４は、選択部１２３を介してフレームメモリ１２２から供給される参照画像であるカレントピクチャ内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１２４は、予め用意された複数のイントラ予測モードでこのイントラ予測を行う。
【０１０８】
イントラ予測部１２４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１１２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１２４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１２６に供給する。
【０１０９】
また、上述したように、イントラ予測部１２４は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部１１６に供給し、符号化させる。
【０１１０】
動き予測・補償部１２５は、画面並べ替えバッファ１１２から供給される入力画像と、選択部１２３を介してフレームメモリ１２２から供給される参照画像とを用いて動き予測（インター予測）を行う。動き予測・補償部１２５は、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部１２５は、予め用意された複数のインター予測モードでこのようなインター予測を行う。
【０１１１】
動き予測・補償部１２５は、候補となる全てのインター予測モードで予測画像を生成する。動き予測・補償部１２５は、画面並べ替えバッファ１１２から供給される入力画像と、生成した差分動きベクトルの情報などを用いて、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部１２５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１２６に供給する。
【０１１２】
動き予測・補償部１２５は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部１１６に供給し、符号化させる。必要な情報としては、例えば、生成された差分動きベクトルの情報や、予測動きベクトル情報として、予測動きベクトルのインデックスを示すフラグなどがある。
【０１１３】
予測画像選択部１２６は、演算部１１３や演算部１２０に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部１２６は、予測画像の供給元としてイントラ予測部１２４を選択し、そのイントラ予測部１２４から供給される予測画像を演算部１１３や演算部１２０に供給する。また、例えば、インター符号化の場合、予測画像選択部１２６は、予測画像の供給元として動き予測・補償部１２５を選択し、その動き予測・補償部１２５から供給される予測画像を演算部１１３や演算部１２０に供給する。
【０１１４】
レート制御部１２７は、蓄積バッファ１１７に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１１５の量子化動作のレートを制御する。
【０１１５】
[エンハンスメントレイヤ画像符号化部]
図１１は、図９のエンハンスメントレイヤ画像符号化部１０４−２の主な構成例を示すブロック図である。なお、エンハンスメントレイヤ画像符号化部１０４−１は、図１１のエンハンスメントレイヤ画像符号化部１０４−２と同じ構成であるので、その説明は省略される。また、図１１に示されるように、エンハンスメントレイヤ画像符号化部１０４−２は、図１０のベースレイヤ画像符号化部１０３と基本的に同様の構成を有する。
【０１１６】
ただし、エンハンスメントレイヤ画像符号化部１０４−２の各部は、ベースレイヤではなく、エンハンスメントレイヤのうち、カレントレイヤ画像情報の符号化についての処理を行う。つまり、エンハンスメントレイヤ画像符号化部１０４−２のA/D変換部１１１は、カレントレイヤ画像情報をA/D変換し、エンハンスメントレイヤ画像符号化部１０４−２の蓄積バッファ１１７は、カレントレイヤ符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。また、図示されないが、エンハンスメントレイヤ画像符号化部１０４−２が参照レイヤとなる場合、可逆符号化部１１６は、エンハンスメントレイヤ画像符号化部１０４−３が階層間情報を設定するのに必要な情報を、例えば、エンハンスメントレイヤ画像符号化部１０４−３に供給する。また、その場合、フレームメモリ１２２の復号画像は、必要に応じて、参照ピクチャとして、エンハンスメントレイヤ画像符号化部１０４−３に供給される。
【０１１７】
また、エンハンスメントレイヤ画像符号化部１０４−２は、動き予測・補償部１２５の代わりに、動き予測・補償部１３５を有する。さらに、べースレイヤ画像符号化部１０３と異なり、エンハンスメントレイヤ画像符号化部１０４−２には、階層間情報設定部１４０およびアップサンプル部１４１が追加されている。
【０１１８】
動き予測・補償部１３５は、階層間情報設定部１４０により設定された階層間情報に応じて、動き予測・補償を行う。すなわち、動き予測・補償部１３５は、階層間情報設定部１４０により設定された階層間情報を参照すること以外は、動き予測・補償部１２５と基本的に同様の処理を行う。
【０１１９】
階層間情報設定部１４０は、エンハンスメントレイヤ画像符号化部１０４−１（またはベースレイヤ画像符号化部１０３）からの参照レイヤに関する情報を取得し、取得した参照レイヤに関する情報に基づいて、参照レイヤとカレントレイヤとの階層間において処理する際に必要な情報である階層間情報を設定する。階層間情報設定部１４０は、設定した階層間情報を、動き予測・補償部１３５および可逆符号化部１１６に供給する。可逆符号化部１１６は、階層間情報設定部１４０からの階層間情報に基づいて、VPSやVPS_extensionを適宜生成する。
【０１２０】
アップサンプル部１４１は、エンハンスメントレイヤ画像符号化部１０４−１からの参照レイヤ復号画像を、参照ピクチャとして取得し、取得した参照ピクチャをアップサンプルする。アップサンプル部１４１は、アップサンプルした参照ピクチャを、フレームメモリ１２２に記憶させる。
【０１２１】
＜スキップピクチャに関する処理＞
次に、図１２を参照して、本技術による階層間情報の１つとしてのスキップピクチャについて説明する。図１２の例においては、四角がピクチャを表し、四角に示されるバツが、そのピクチャがスキップピクチャであることを表している。
【０１２２】
図１２に示されるように、Layer2において、スキップピクチャが存在するとすると、このピクチャの出力は、Layer1のアップサンプル画像がそのまま使われることになる。ここで、Layer2のピクチャの参照ピクチャとなるLayer1のピクチャもスキップピクチャであるとすると、Layer2のピクチャとして、Layer1の参照階層であるLayer0のアップサンプル画像が出力されることになる。
【０１２３】
つまり、図１２の例においては、Layer2のスキップピクチャに関しては、Layer0のアップサンプル画像をさらにアップサンプルした画像が出力されることになるため、その出力画像は、Layer2の他のピクチャに比して、著しく解像度の低いピクチャとなってしまう。すなわち、Layer2においては、ピクチャ間の解像度の違いが、画質劣化として観測されてしまう恐れがある。
【０１２４】
そこで、本技術においては、階層間情報の１つとしてのスキップピクチャに関する設定を行うことで、スキップピクチャの参照元がスキップピクチャであることを禁止する。
【０１２５】
したがって、図１３に示すように、Layer1とLayer2におけるスキップピクチャの交互設定は可能である。
【０１２６】
なお、このような解像度の低下は、SNRスケーラビリティにおいては存在しないため、上記の制限は、図１４のＡに示されるように、当該階層（Layer2）と参照階層(Layer1)がSNRスケーラビリティのときに適用されないとしてもよい。すなわち、SNRスケーラビリティの場合、スキップピクチャの参照元がスキップピクチャであってもよい。
【０１２７】
また、図１４のＢに示されるように、当該階層（Layer2）と参照階層(Layer1)は、スペーシャルスケーラビリティであるが、参照階層(Layer1)と、さらにこれを参照する階層(Layer0)の間がSNRスケーラビリティのときは、本技術による制限が適用されないとしてもよい。
【０１２８】
なお、上述の処理は、スキップピクチャのみだけでなく、スキップスライス、あるいはスキップタイルなど、スキップモード全般に適用することができる。
【０１２９】
以上の方法により、スキップピクチャの２次以上の予測によって出力となる当該階層の画質の劣化を防ぐことができる。
【０１３０】
上述した本技術を実現する階層間情報設定部は、次のように構成される。
【０１３１】
＜階層間情報設定部の構成例＞
図１５は、図１１の階層間情報設定部１４０の主な構成例を示すブロック図である。
【０１３２】
図１５に示されるように、階層間情報設定部１４０は、参照階層ピクチャタイプバッファ１５１およびスキップピクチャ設定部１５２を有する。
【０１３３】
エンハンスメントレイヤ画像符号化部１０４−１から参照階層ピクチャタイプバッファ１５１に、参照階層におけるピクチャがスキップピクチャであるかどうかに関する情報が供給される。すなわち、参照階層ピクチャタイプバッファ１５１は、参照階層におけるピクチャがスキップピクチャであるかどうかに関する情報を取得する。その情報は、さらに、スキップピクチャ設定部１５２に供給される。
【０１３４】
参照階層におけるピクチャがスキップピクチャではない場合、スキップピクチャ設定部１５２は、階層間情報として、当該階層におけるピクチャがスキップピクチャであるかに関する設定を行う。そして、スキップピクチャ設定部１５２は、その設定された情報を、動き予測・補償部１３５および可逆符号化部１１６に供給する。
【０１３５】
参照階層におけるピクチャがスキップピクチャの場合、スキップピクチャ設定部１５２は、階層間情報として、当該階層におけるピクチャがスキップピクチャであるかに関する設定を行わない。すなわち、当該階層におけるピクチャがスキップピクチャとなることが禁止される。
【０１３６】
動き予測・補償部１３５は、スキップピクチャ設定部１５２からの当該階層におけるピクチャがスキップピクチャであるかに関する情報に基づいて、動き予測・補償処理を行う。可逆符号化部１１６は、当該階層におけるピクチャがスキップピクチャであるかに関する情報を、インター予測のモードを示す情報として復号側に送信するために符号化する。
【０１３７】
＜符号化処理の流れ＞
次に、以上のようなスケーラブル符号化装置１００により実行される各処理の流れについて説明する。最初に、図１６のフローチャートを参照して、符号化処理の流れの例を説明する。スケーラブル符号化装置１００は、ピクチャ毎にこの符号化処理を実行する。
【０１３８】
符号化処理が開始されると、ステップＳ１０１において、スケーラブル符号化装置１００の符号化制御部１０２は、最初のレイヤを処理対象とする。
【０１３９】
ステップＳ１０２において、符号化制御部１０２は、処理対象であるカレントレイヤがベースレイヤであるか否かを判定する。カレントレイヤがベースレイヤであると判定された場合、処理は、ステップＳ１０３に進む。
【０１４０】
ステップＳ１０３において、ベースレイヤ画像符号化部１０３は、ベースレイヤ符号化処理を行う。ステップＳ１０３の処理が終了すると、処理は、ステップＳ１０６に進む。
【０１４１】
また、ステップＳ１０２において、カレントレイヤがエンハンスメントレイヤであると判定された場合、処理は、ステップＳ１０４に進む。ステップＳ１０４において、符号化制御部１０２は、カレントレイヤに対応する（すなわち、参照先とする）参照レイヤを決定する。なお、図示はされていないが、参照レイヤがベースレイヤであることもある。
【０１４２】
ステップＳ１０５において、エンハンスメントレイヤ画像符号化部１０４−１またはエンハンスメントレイヤ画像符号化部１０４−２は、カレントレイヤ符号化処理を行う。ステップＳ１０５の処理が終了すると、処理は、ステップＳ１０６に進む。
【０１４３】
ステップＳ１０６において、符号化制御部１０２は、全てのレイヤを処理したか否かを判定する。未処理のレイヤが存在すると判定された場合、処理は、ステップＳ１０７に進む。
【０１４４】
ステップＳ１０７において、符号化制御部１０２は、次の未処理のレイヤを処理対象（カレントレイヤ）とする。ステップＳ１０７の処理が終了すると、処理は、ステップＳ１０２に戻る。ステップＳ１０２乃至ステップＳ１０７の処理が繰り返し実行され、各レイヤが符号化される。
【０１４５】
そして、ステップＳ１０６において、全てのレイヤが処理されたと判定された場合、符号化処理が終了する。
【０１４６】
＜ベースレイヤ符号化処理の流れ＞
次に、図１７のフローチャートを参照して、図１５のステップＳ１０３において実行されるベースレイヤ符号化処理の流れの例を説明する。
【０１４７】
ステップＳ１２１において、ベースレイヤ画像符号化部１０３のA/D変換部１１１は入力されたベースレイヤの画像情報（画像データ）をA/D変換する。ステップＳ１２２において、画面並べ替えバッファ１１２は、A/D変換されたベースレイヤの画像情報（デジタルデータ）を記憶し、各ピクチャを、表示する順番から符号化する順番へ並べ替える。
【０１４８】
ステップＳ１２３において、イントラ予測部１２４は、イントラ予測モードのイントラ予測処理を行う。ステップＳ１２４において、動き予測・補償部１２５は、インター予測モードでの動き予測や動き補償を行う動き予測・補償処理を行う。ステップＳ１２５において、予測画像選択部１２６は、イントラ予測部１２４および動き予測・補償部１２５から出力された各コスト関数値に基づいて、最適なモードを決定する。つまり、予測画像選択部１２６は、イントラ予測部１２４により生成された予測画像と、動き予測・補償部１２５により生成された予測画像のいずれか一方を選択する。ステップＳ１２６において、演算部１１３は、ステップＳ１２２の処理により並び替えられた画像と、ステップＳ１２５の処理により選択された予測画像との差分を演算する。差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
【０１４９】
ステップＳ１２７において、直交変換部１１４は、ステップＳ１２６の処理により生成された差分情報に対する直交変換処理を行う。ステップＳ１２８において、量子化部１１５は、レート制御部１２７により算出された量子化パラメータを用いて、ステップＳ１２７の処理により得られた直交変換係数を量子化する。
【０１５０】
ステップＳ１２８の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１２９において、逆量子化部１１８は、ステップＳ１２８の処理により生成された量子化された係数（量子化係数とも称する）を、量子化部１１５の特性に対応する特性で逆量子化する。ステップＳ１３０において、逆直交変換部１１９は、ステップＳ１２７の処理により得られた直交変換係数を逆直交変換する。ステップＳ１３１において、演算部１２０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１１３への入力に対応する画像）を生成する。
【０１５１】
ステップＳ１３２においてデブロッキングフィルタ１２１は、ステップＳ１３１の処理により生成された画像に対してデブロッキングフィルタ処理を行う。これによりブロック歪み等が除去される。ステップＳ１３３において、適応オフセットフィルタ１２８は、デブロッキングフィルタ１２１からのデブロックフィルタ処理結果に対して、主にリンギングを除去する適応オフセットフィルタ処理を行う。
【０１５２】
ステップＳ１３４において、フレームメモリ１２２は、ステップＳ１３３の処理によりリンギングの除去等が行われた画像を記憶する。なお、フレームメモリ１２２にはデブロッキングフィルタ１２１および適応オフセットフィルタ１２８によりフィルタ処理されていない画像も演算部１２０から供給され、記憶される。このフレームメモリ１２２に記憶された画像は、ステップＳ１２３の処理やステップＳ１２４の処理に利用され、さらに、エンハンスメントレイヤ画像符号化部１０４−１にも供給される。
【０１５３】
ステップＳ１３５において、ベースレイヤ画像符号化部１０３の可逆符号化部１１６は、ステップＳ１２８の処理により量子化された係数を符号化する。すなわち、差分画像に対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。
【０１５４】
また、このとき、可逆符号化部１１６は、ステップＳ１２５の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１１６は、イントラ予測部１２４から供給される最適イントラ予測モード情報、または、動き予測・補償部１２５から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。なお、可逆符号化部１１６は、必要に応じて、エンハンスメントレイヤ画像符号化部１０４−１が階層間情報を設定するのに必要な情報（当該階層のピクチャがスキップピクチャであるかどうかの情報や、当該階層における依存関係に関する情報など）を、エンハンスメントレイヤ画像符号化部１０４−１に供給する。
【０１５５】
ステップＳ１３６において蓄積バッファ１１７は、ステップＳ１３５の処理により得られたベースレイヤ符号化データを蓄積する。蓄積バッファ１１７に蓄積されたベースレイヤ符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。
【０１５６】
ステップＳ１３７においてレート制御部１２７は、ステップＳ１３６において蓄積バッファ１１７に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１１５の量子化動作のレートを制御する。
【０１５７】
ステップＳ１３７の処理が終了すると、ベースレイヤ符号化処理が終了し、処理は図１６に戻る。ベースレイヤ符号化処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してベースレイヤ符号化処理が実行される。ただし、ベースレイヤ符号化処理内の各処理は、それぞれの処理単位毎に行われる。
【０１５８】
＜エンハンスメントレイヤ符号化処理の流れ＞
次に、図１８のフローチャートを参照して、図１５のステップＳ１０５において実行されるエンハンスメントレイヤ符号化処理の流れの例を説明する。
【０１５９】
エンハンスメントレイヤ符号化処理のステップＳ１５１乃至ステップＳ１５３、並びに、ステップＳ１５５乃至ステップＳ１６８の各処理は、図１７のベースレイヤ符号化処理のステップＳ１２１乃至ステップＳ１３７の各処理と同様に実行される。ただし、エンハンスメントレイヤ符号化処理の各処理は、エンハンスメントレイヤ画像符号化部１０４の各処理部により、エンハンスメントレイヤ画像情報に対して行われる。
【０１６０】
なお、ステップＳ１５４において、エンハンスメントレイヤ画像符号化部１０４の階層間情報設定部１４０は、参照レイヤに関する情報に基づいて、参照レイヤとカレントレイヤとの階層間において処理する際に必要な情報である階層間情報を設定する。この階層間情報設定処理の詳細については図１９を参照して後述する。
【０１６１】
ステップＳ１６８の処理が終了すると、エンハンスメントレイヤ符号化処理が終了され、処理は図１６に戻る。エンハンスメントレイヤ符号化処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してエンハンスメントレイヤ符号化処理が実行される。ただし、エンハンスメントレイヤ符号化処理内の各処理は、それぞれの処理単位毎に行われる。
【０１６２】
＜階層間情報設定処理の流れ]
次に、図１９のフローチャートを参照して、図１８のステップＳ１５４において実行される階層間情報設定処理の流れの例を説明する。
【０１６３】
エンハンスメントレイヤ画像符号化部１０４−１から参照階層ピクチャタイプバッファ１５１に、参照階層におけるピクチャがスキップピクチャであるかどうかに関する情報が供給される。その情報は、さらに、スキップピクチャ設定部１５２に供給される。
【０１６４】
スキップピクチャ設定部１５２は、ステップＳ１７１において、参照階層ピクチャタイプバッファ１５１からの情報を参照して、参照ピクチャがスキップピクチャであるか否かを判定する。ステップＳ１７１において、参照ピクチャがスキップピクチャであると判定された場合、ステップＳ１７２はスキップされ、階層間情報設定処理は終了され、処理は、図１８に戻る。
【０１６５】
一方、ステップＳ１７１において、参照ピクチャがスキップピクチャであると判定されなかった場合、処理は、ステップＳ１７２に進む。ステップＳ１７２において、スキップピクチャ設定部１５２は、当該階層におけるピクチャがスキップピクチャであるかに関する設定を行う。そして、スキップピクチャ設定部１５２は、その情報を、動き予測・補償部１３５および可逆符号化部１１６に供給する。その後、階層間情報設定処理は終了され、処理は、図１８に戻る。
【０１６６】
動き予測・補償部１３５は、図１８のステップＳ１５５において、スキップピクチャ設定部１５２からの当該階層におけるピクチャがスキップピクチャであるかに関する情報に基づいて、動き予測・補償処理を行う。可逆符号化部１１６は、図１８のステップＳ１６６において、当該階層におけるピクチャがスキップピクチャであるかに関する情報を、インター予測のモードを示す情報として復号側に送信するために符号化する。
【０１６７】
以上のように、本技術のスケーラブル符号化装置においては、参照レイヤのピクチャがスキップピクチャだった場合に、当該レイヤの画像がスキップピクチャとなることを禁止するようにしたので、出力となるカレント画像の画質の低下を抑制することができる。
【０１６８】
＜６４位以上の階層に関する処理＞
次に、本技術による階層間情報の１つとして、スケーラブル符号化を行う際、64以上の階層を符号化する方法について説明する。
【０１６９】
図２０および図２１は、本技術によるVPS_extensionのシンタクスの例を示す図である。左側の数字は、説明の便宜上設けられたものである。
【０１７０】
例えば、上述した図６のVPSにおいて、第４行目のvps_max_layers_minus1によって、当該画像圧縮情報の階層数が60であると指定されるとする。また、VPS_extensionにおいて、図２０の第５行目のlayer_extension_factor_minus1によって、拡張因子が3であると指定されるとする。この場合、当該画像圧縮情報においては、(vps_max_layers_minus1+1)*(layer_extension_factor_minus1+1)＝60×3=180の階層を持つことが可能となる。
【０１７１】
同一の階層数を足し算により増大させるとすると、VPS_extensionにおいては、180-60=120という値を指定しなければならず、本技術によるように、layer_extension_factorによる拡張処理を行う方が、より少ないビット数により階層数の拡張を行うことが可能である。
【０１７２】
なお、本技術においては、図２０および図２１に示されるように、layer_extension_factorは、その値から1を引いた値が、layer_extension_factor_minus1として符号化される。また、本技術においては、図２０および図２１に示されるように、layer_extension_factorによって拡張された階層数に対して、VPS_extensionで改めて階層セットが定義される。すなわち、layer_extension_factor_minus1の値が０以外である場合、VPS_extensionにおいて、階層セットに関する情報を設定される。
【０１７３】
以上の方法により、64以上の階層を含むスケーラブル符号化処理を行うことができる。なお、例えば、VPSにおいて、layer_extension_flagを設定し、layer_extension_flagの値が１のときのみ、VPS_extensionにおいて、シンタクス要素layer_extension_factor_minus1を設定するようにしてもよい。
【０１７４】
上述した本技術を実現する階層間情報設定部は、次のように構成される。
【０１７５】
＜階層間情報設定部の他の構成例＞
図２２は、図１１の階層間情報設定部１４０の主な構成例を示すブロック図である。
【０１７６】
図２２に示されるように、階層間情報設定部１４０は、階層依存関係バッファ１８１および拡張階層設定部１８２を有する。
【０１７７】
エンハンスメントレイヤ画像符号化部１０４−１から階層依存関係バッファ１８１に参照階層における依存関係に関する情報が供給される。すなわち、階層依存関係バッファ１８１は、参照階層における依存関係に関する情報を取得する。その情報は、さらに、拡張階層設定部１８２に供給される。
【０１７８】
拡張階層設定部１８２は、階層間情報として、図２０および図２１を参照して上述した本技術による方法に基づき、拡張階層に関する設定を行う。すなわち、拡張階層設定部１８２は、64以上の階層を持つ場合、VPSでlayer_extension_flagを１とし、VPS_extensionで拡張階層に関する情報を設定する。一方、拡張階層設定部１８２は、64以上の階層を持たない場合、VPSでlayer_extension_flagを0とし、VPS_extensionでの設定を行わない。そして、拡張階層設定部１８２は、その設定された拡張階層に関する情報を、動き予測・補償部１３５および可逆符号化部１１６に供給する。
【０１７９】
動き予測・補償部１３５は、拡張階層設定部１８２からの拡張階層に関する情報に基づいて、動き予測・補償処理を行う。可逆符号化部１１６は、拡張階層に関する情報を、インター予測のモードを示す情報として復号側に送信するためにVPSやVPS_extensionを生成し、符号化する。
【０１８０】
＜階層間情報設定処理の流れ＞
次に、図２３のフローチャートを参照して、図１８のステップＳ１５４において実行される階層間情報設定処理の流れの例を説明する。
【０１８１】
エンハンスメントレイヤ画像符号化部１０４−１から階層依存関係バッファ１８１に参照階層における依存関係に関する情報が供給される。その情報は、さらに、拡張階層設定部１８２に供給される。
【０１８２】
拡張階調設定部１８２は、ステップＳ１９１において、64以上の階層を持つか否かを判定する。ステップＳ１９１において、64以上の階層を持つと判定された場合、処理は、ステップＳ１９２に進む。
【０１８３】
拡張階調設定部１８２は、ステップＳ１９２において、図６に示されるようなVPSでlayer_extension_flagを１とする。ステップＳ１９３において、拡張階調設定部１８２は、VPS_extensionで拡張階層に関する情報を設定する。そして、拡張階調設定部１８２は、その情報を、動き予測・補償部１３５および可逆符号化部１１６に供給する。その後、階層間情報設定処理は終了され、処理は、図１８に戻る。
【０１８４】
一方、ステップＳ１９１において、64以上の階層を持たないと判定された場合、処理は、ステップＳ１９４に進む。
【０１８５】
拡張階調設定部１８２は、ステップＳ１９２において、図６に示されるようなVPSでlayer_extension_flagを０とする。そして、拡張階調設定部１８２は、その情報を、動き予測・補償部１３５および可逆符号化部１１６に供給する。その後、階層間情報設定処理は終了され、処理は、図１８に戻る。
【０１８６】
動き予測・補償部１３５は、図１８のステップＳ１５５において、拡張階調設定部１８２からの拡張階層に関する情報に基づいて、動き予測・補償処理を行う。可逆符号化部１１６は、図１８のステップＳ１６６において、拡張階調設定部１８２からの拡張階層に関する情報を、インター予測のモードを示す情報として復号側に送信するために符号化する。
【０１８７】
以上のように、本技術のスケーラブル符号化においては、VPSとVPS_extensionを設定することで、64以上の階層について定義することができるようになったので、64以上の階層を含むスケーラブル符号化処理を行うことが可能になる。
【０１８８】
＜２．第２の実施の形態＞
＜スケーラブル復号装置＞
次に、以上のようにスケーラブル符号化（階層符号化）された符号化データ（ビットストリーム）の復号について説明する。図２４は、図９のスケーラブル符号化装置１００に対応するスケーラブル復号装置の主な構成例を示すブロック図である。図２４に示されるスケーラブル復号装置２００は、例えばスケーラブル符号化装置１００により画像データがスケーラブル符号化されて得られた符号化データを、その符号化方法に対応する方法でスケーラブル復号する。
【０１８９】
図２４に示されるように、スケーラブル復号装置２００は、共通情報取得部２０１、復号制御部２０２、ベースレイヤ画像復号部２０３、エンハンスメントレイヤ画像復号部２０４−１、およびエンハンスメントレイヤ画像復号部２０４−２を有する。なお、特に区別する必要のない場合、エンハンスメントレイヤ画像復号部２０４−１および２０４−２は、まとめてエンハンスメントレイヤ画像復号部２０４と称する。図２４の例においては、エンハンスメントレイヤ画像復号部２０４が２台の例が示されているが、さらに多くの台数で構成される場合がある。
【０１９０】
共通情報取得部２０１は、符号化側から伝送される共通情報（例えば、ビデオパラメータセット（VPS））を取得する。共通情報取得部２０１は、取得した共通情報より復号に関する情報を抽出し、それを復号制御部２０２に供給する。また、共通情報取得部２０１は、共通情報の一部若しくは全部を、ベースレイヤ画像復号部２０３乃至エンハンスメントレイヤ画像復号部２０４−２に適宜供給する。
【０１９１】
復号制御部２０２は、共通情報取得部２０１から供給された復号に関する情報を取得し、その情報に基づいて、ベースレイヤ画像復号部２０３乃至エンハンスメントレイヤ画像復号部２０４−２を制御することにより、各レイヤの復号を制御する。
【０１９２】
ベースレイヤ画像復号部２０３は、ベースレイヤ画像符号化部１０３に対応する画像復号部であり、例えばベースレイヤ画像符号化部１０３によりベースレイヤ画像情報が符号化されて得られたベースレイヤ符号化データを取得する。ベースレイヤ画像復号部２０３は、他のレイヤの情報を利用せずに、そのベースレイヤ符号化データを復号し、ベースレイヤ画像情報を再構築し、出力する。
【０１９３】
エンハンスメントレイヤ画像復号部２０４は、エンハンスメントレイヤ画像符号化部１０４に対応する画像復号部であり、例えばエンハンスメントレイヤ画像符号化部１０４によりエンハンスメントレイヤ画像情報が符号化されて得られたエンハンスメントレイヤ符号化データを取得する。エンハンスメントレイヤ画像復号部２０４は、そのエンハンスメントレイヤ符号化データを復号する。その際、エンハンスメントレイヤ画像復号部２０４は、符号化側から伝送された階層間情報を受け取り、復号処理を行う。階層間情報とは、上述したように、階層間で処理を行う上で必要な階層間情報、すなわち、そのピクチャがスキップピクチャであるか否かを示す階層間情報、または６４以上の階層を持つ場合の階層依存関係を示す階層間情報などである。
【０１９４】
エンハンスメントレイヤ画像復号部２０４は、このような受信された階層間情報を用いて動き補償を行い、予測画像を生成し、その予測画像を用いてエンハンスメントレイヤ画像情報を再構築し、出力する。
【０１９５】
なお、エンハンスメントレイヤの画像情報を復号する際、エンハンスメントレイヤ画像復号部２０４は、他のエンハンスメントレイヤ復号画像（またはベースレイヤ復号画像）を取得し、それをアップサンプルしてから、動き予測のための参照ピクチャの１つとして用いる。
【０１９６】
[ベースレイヤ画像復号部]
図２５は、図２４のベースレイヤ画像復号部２０３の主な構成例を示すブロック図である。図２５に示されるようにベースレイヤ画像復号部２０３は、蓄積バッファ２１１、可逆復号部２１２、逆量子化部２１３、逆直交変換部２１４、演算部２１５、デブロッキングフィルタ２１６、画面並べ替えバッファ２１７、およびD/A変換部２１８を有する。また、ベースレイヤ画像復号部２０３は、フレームメモリ２１９、選択部２２０、イントラ予測部２２１、動き補償部２２２、および選択部２２３を有する。さらに、ベースレイヤ画像復号部２０３は、デブロッキングフィルタ２１６と、画面並べ替えバッファ２１７およびフレームメモリ２１９との間に、適応オフセットフィルタ２２４を有する。
【０１９７】
蓄積バッファ２１１は、伝送されてきたベースレイヤ符号化データを受け取る受け取り部でもある。蓄積バッファ２１１は、伝送されてきたベースレイヤ符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部２１２に供給する。このベースレイヤ符号化データには、予測モード情報などの復号に必要な情報が付加されている。
【０１９８】
可逆復号部２１２は、蓄積バッファ２１１より供給された、可逆符号化部１１６により符号化された情報を、可逆符号化部１１６の符号化方式に対応する方式で復号する。可逆復号部２１２は、復号して得られた差分画像の量子化された係数データを、逆量子化部２１３に供給する。
【０１９９】
また、可逆復号部２１２は、ベースレイヤ符号化データに含まれるビデオパラメータセット（VPS）、シーケンスパラメータセット（SPS）、およびピクチャパラメータセット（PPS）等を含むNALユニットを適宜抽出し、取得する。可逆復号部２１２は、それらの情報から、最適な予測モードに関する情報を抽出し、その情報に基づいて最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部２２１および動き補償部２２２の内、選択されたと判定したモードの方に供給する。つまり、例えば、ベースレイヤ画像符号化部１０３において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報がイントラ予測部２２１に供給される。また、例えば、ベースレイヤ画像符号化部１０３において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報が動き補償部２２２に供給される。なお、図示されないが、可逆復号部２１２は、エンハンスメントレイヤ画像復号部２０４−１が階層間情報を設定するのに必要な情報を、エンハンスメントレイヤ画像復号部２０４−１に供給する。
【０２００】
また、可逆復号部２１２は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報をNALユニット等から抽出し、それを逆量子化部２１３に供給する。
【０２０１】
逆量子化部２１３は、可逆復号部２１２により復号されて得られた量子化された係数データを、量子化部１１５の量子化方式に対応する方式で逆量子化する。なお、この逆量子化部２１３は、逆量子化部１１８と同様の処理部である。つまり、逆量子化部２１３の説明は、逆量子化部１１８にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。逆量子化部２１３は、得られた係数データを逆直交変換部２１４に供給する。
【０２０２】
逆直交変換部２１４は、逆量子化部２１３から供給される係数データを、直交変換部１１４の直交変換方式に対応する方式で逆直交変換する。なお、この逆直交変換部２１４は、逆直交変換部１１９と同様の処理部である。つまり、逆直交変換部２１４の説明は、逆直交変換部１１９にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。
【０２０３】
逆直交変換部２１４は、この逆直交変換処理により、直交変換部１１４において直交変換される前の残差データに対応する復号残差データを得る。逆直交変換されて得られた復号残差データは、演算部２１５に供給される。また、演算部２１５には、選択部２２３を介して、イントラ予測部２２１若しくは動き補償部２２２から予測画像が供給される。
【０２０４】
演算部２１５は、その復号残差データと予測画像とを加算し、演算部１１３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部２１５は、その復号画像データをデブロッキングフィルタ２１６に供給する。
【０２０５】
デブロッキングフィルタ２１６は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロッキングフィルタ２１６は、フィルタ処理が施された画像を、適応オフセットフィルタ２２４に供給する。
【０２０６】
適応オフセットフィルタ２２４は、デブロッキングフィルタ２１６からのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、主にリンギングを除去する適応オフセットフィルタ(SAO: Sample adaptive offset)処理を行う。
【０２０７】
適応オフセットフィルタ２２４は、図示せぬ可逆復号部２１２からの最大の符号化単位であるLCU（Largest Coding Unit）ごとの適応オフセットフィルタ処理の種類とオフセットを受信する。適応オフセットフィルタ２２４は、受信したオフセットを用いて、適応デブロックフィルタ処理後の画像に対して、受信した種類の適応オフセットフィルタ処理を行う。そして、適応オフセットフィルタ２２４は、適応オフセットフィルタ処理後の画像（以下、復号画像と称する）を、画面並べ替えバッファ２１７およびフレームメモリ２１９に供給する。
【０２０８】
なお、演算部２１５から出力される復号画像は、デブロッキングフィルタ２１６や適応オフセットフィルタ２２４を介さずに画面並べ替えバッファ２１７やフレームメモリ２１９に供給することができる。つまり、デブロッキングフィルタ２１６によるフィルタ処理の一部若しくは全部は省略することができる。また、適応オフセットフィルタ２２４の後段に、適応ループフィルタを備えるようにしてもよい。
【０２０９】
画面並べ替えバッファ２１７は、復号画像の並べ替えを行う。すなわち、画面並べ替えバッファ１１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２１８は、画面並べ替えバッファ２１７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
【０２１０】
フレームメモリ２１９は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、イントラ予測部２２１や動き補償部２２２等の外部の要求に基づいて、記憶している復号画像を参照画像として、選択部２２０に供給する。なお、フレームメモリ２１９の復号画像は、必要に応じて、参照ピクチャとして、エンハンスメントレイヤ画像復号部２０４−１やエンハンスメントレイヤ画像復号部２０４−２に供給される。
【０２１１】
選択部２２０は、フレームメモリ２１９から供給される参照画像の供給先を選択する。選択部２２０は、イントラ符号化された画像を復号する場合、フレームメモリ２１９から供給される参照画像をイントラ予測部２２１に供給する。また、選択部２２０は、インター符号化された画像を復号する場合、フレームメモリ２１９から供給される参照画像を動き補償部２２２に供給する。
【０２１２】
イントラ予測部２２１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部２１２から適宜供給される。イントラ予測部２２１は、イントラ予測部１２４において用いられたイントラ予測モードで、フレームメモリ２１９から取得した参照画像を用いてイントラ予測を行い、予測画像を生成する。イントラ予測部２２１は、生成した予測画像を選択部２２３に供給する。
【０２１３】
動き補償部２２２は、ヘッダ情報を復号して得られた情報（最適予測モード情報、参照画像情報等）を可逆復号部２１２から取得する。
【０２１４】
動き補償部２２２は、可逆復号部２１２から取得された最適予測モード情報が示すインター予測モードで、フレームメモリ２１９から取得した参照画像を用いて動き補償を行い、予測画像を生成する。
【０２１５】
動き補償部２２２は、生成した予測画像を選択部２２３に供給する。
【０２１６】
選択部２２３は、イントラ予測部２２１からの予測画像または動き補償部２２２からの予測画像を、演算部２１５に供給する。そして、演算部２１５においては、動きベクトルが用いられて生成された予測画像と逆直交変換部２１４からの復号残差データ（差分画像情報）とが加算されて元の画像が復号される。
【０２１７】
＜エンハンスメントレイヤ画像復号部＞
図２６は、図２４のエンハンスメントレイヤ画像復号部２０４−２の主な構成例を示すブロック図である。なお、エンハンスメントレイヤ画像復号部２０４−１は、図２６のエンハンスメントレイヤ画像符号化部１０４−２と同じ構成であるので、その説明は省略される。また、図２６に示されるように、エンハンスメントレイヤ画像復号部２０４−２は、図２５のベースレイヤ画像復号部２０３と基本的に同様の構成を有する。
【０２１８】
ただし、エンハンスメントレイヤ画像復号部２０４−２の各部は、ベースレイヤではなく、エンハンスメントレイヤ符号化データの復号についての処理を行う。つまり、エンハンスメントレイヤ画像復号部２０４−２の蓄積バッファ２１１は、エンハンスメントレイヤ符号化データを記憶し、エンハンスメントレイヤ画像復号部２０４−２のD/A変換部２１８は、エンハンスメントレイヤ画像情報を、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。また、図示されないが、エンハンスメントレイヤ画像復号部２０４−２が参照レイヤとなる場合、可逆復号部２１２は、エンハンスメントレイヤ画像復号部２０４−３が階層間情報を設定するのに必要な情報を、例えば、エンハンスメントレイヤ画像復号部２０４−３に供給する。また、その場合、フレームメモリ２１９の復号画像は、必要に応じて、参照ピクチャとして、エンハンスメントレイヤ画像復号部２０４−３に供給される。
【０２１９】
また、エンハンスメントレイヤ画像復号部２０４−２は、動き補償部２２２の代わりに、動き補償部２３２を有する。さらに、べースレイヤ画像復号部２０３と異なり、エンハンスメントレイヤ画像符号化部２０４−２には、階層間情報受信部２４０およびアップサンプル部２４１が追加されている。
【０２２０】
動き補償部２３２は、階層間情報設定部２４０により設定された階層間情報に応じて、動き補償を行う。すなわち、動き補償部２３２は、階層間情報受信部２４０により受信された階層間情報を参照すること以外は、動き補償部２２２と基本的に同様の処理を行う。
【０２２１】
階層間情報受信部２４０は、可逆復号部２１２から供給される階層間情報を受信し、受信した階層間情報を、動き補償部２３２に供給する。
【０２２２】
アップサンプル部２４１は、エンハンスメントレイヤ画像復号部２０４−１からの参照レイヤ復号画像を、参照ピクチャとして、取得し、取得した参照ピクチャをアップサンプルする。アップサンプル部２４１は、アップサンプルした参照ピクチャを、フレームメモリ２１９に記憶させる。
【０２２３】
＜階層間情報受信部＞
図２７は、図２６の階層間情報受信部２４０の主な構成例を示すブロック図である。なお、図２７の階層間情報受信部２４０は、図１５の階層間情報設定部１４０に対応する構成を有している。
【０２２４】
すなわち、図２７に示されるように、階層間情報受信部２４０は、参照階層ピクチャタイプバッファ２５１およびスキップピクチャ受信部２５２を有する。
【０２２５】
エンハンスメントレイヤ画像復号部２０４−１から参照階層ピクチャタイプバッファ２５１に、参照階層におけるピクチャがスキップピクチャであるかどうかに関する情報が供給される。その情報は、さらに、スキップピクチャ受信部２５２に供給される。なお、図２７の例においては構成されているが、復号側において、ビットストリームから得られる情報から当該階層のピクチャがスキップピクチャである場合、符号化側で参照階層のピクチャがスキップピクチャではないことがわかっているので、参照階層ピクチャタイプバッファ２５１はなくてもよい。
【０２２６】
参照階層におけるピクチャがスキップピクチャではない場合、スキップピクチャ受信部２５２は、階層間情報として、当該階層におけるピクチャがスキップピクチャであるかに関する情報を、可逆復号部２１２から受信する。そして、スキップピクチャ受信部２５２は、その受信された情報を、動き補償部２３２に供給する。
【０２２７】
参照階層におけるピクチャがスキップピクチャの場合、スキップピクチャ受信部２５２は、階層間情報として、当該階層におけるピクチャがスキップピクチャであるかに関する情報を、可逆復号部２１２からの受信を行わない。すなわち、当該階層におけるピクチャがスキップピクチャとなることが禁止される。
【０２２８】
動き補償部２３２は、スキップピクチャ受信部２５２からの当該階層におけるピクチャがスキップピクチャであるかに関する情報に基づいて、動き補償処理を行う。
【０２２９】
＜復号処理の流れ＞
次に、以上のようなスケーラブル復号装置２００により実行される各処理の流れについて説明する。最初に、図２８のフローチャートを参照して、復号処理の流れの例を説明する。スケーラブル復号装置２００は、ピクチャ毎にこの復号処理を実行する。
【０２３０】
復号処理が開始されると、ステップＳ４０１において、スケーラブル復号装置２００の復号制御部２０２は、最初のレイヤを処理対象とする。
【０２３１】
ステップＳ４０２において、復号制御部２０２は、処理対象であるカレントレイヤがベースレイヤであるか否かを判定する。カレントレイヤがベースレイヤであると判定された場合、処理は、ステップＳ４０３に進む。
【０２３２】
ステップＳ４０３において、ベースレイヤ画像復号部２０３は、ベースレイヤ復号処理を行う。ステップＳ４０３の処理が終了すると、処理は、ステップＳ４０６に進む。
【０２３３】
また、ステップＳ４０２において、カレントレイヤがエンハンスメントレイヤであると判定された場合、処理はステップＳ４０４に進む。ステップＳ４０４において、復号制御部２０２は、カレントレイヤに対応する（すなわち、参照先とする）参照レイヤを決定する。なお、図示はされていないが、参照レイヤがベースレイヤであることもある。
【０２３４】
ステップＳ４０５において、エンハンスメントレイヤ画像復号部２０４は、エンハンスメントレイヤ復号処理を行う。ステップＳ４０５の処理が終了すると、処理はステップＳ４０６に進む。
【０２３５】
ステップＳ４０６において、復号制御部２０２は、全てのレイヤを処理したか否かを判定する。未処理のレイヤが存在すると判定された場合、処理はステップＳ４０７に進む。
【０２３６】
ステップＳ４０７において、復号制御部２０２は、次の未処理のレイヤを処理対象（カレントレイヤ）とする。ステップＳ４０７の処理が終了すると、処理はステップＳ４０２に戻る。ステップＳ４０２乃至ステップＳ４０７の処理が繰り返し実行され、各レイヤが復号される。
【０２３７】
そして、ステップＳ４０６において、全てのレイヤが処理されたと判定された場合、復号処理が終了する。
【０２３８】
＜ベースレイヤ復号処理の流れ＞
次に、図２９のフローチャートを参照して、図２８のステップＳ４０３において実行されるベースレイヤ復号処理の流れの例を説明する。
【０２３９】
ベースレイヤ復号処理が開始されると、ステップＳ４２１において、ベースレイヤ画像復号部２０３の蓄積バッファ２１１は、符号化側から伝送されたベースレイヤのビットストリームを蓄積する。ステップＳ４２２において、可逆復号部２１２は、蓄積バッファ２１１から供給されるベースレイヤのビットストリーム（符号化された差分画像情報）を復号する。すなわち、可逆符号化部１１６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。このとき、ヘッダ情報などのビットストリームに含められた差分画像情報以外の各種情報も復号される。なお、可逆復号部２１２は、必要に応じて、エンハンスメントレイヤ画像復号部２０４−１が階層間情報を設定するのに必要な情報（当該階層のピクチャがスキップピクチャであるかどうかの情報や、当該階層における依存関係に関する情報など）を、エンハンスメントレイヤ画像復号部２０４−１に供給する。
【０２４０】
ステップＳ４２３において、逆量子化部２１３は、ステップＳ４２２の処理により得られた、量子化された係数を逆量子化する。
【０２４１】
ステップＳ４２４において、逆直交変換部２１４は、カレントブロック（カレントTU）を逆直交変換する。
【０２４２】
ステップＳ４２５において、イントラ予測部２２１若しくは動き補償部２２２は、予測処理を行い、予測画像を生成する。つまり、可逆復号部２１２において判定された、符号化の際に適用された予測モードで予測処理が行われる。より具体的には、例えば、符号化の際にイントラ予測が適用された場合、イントラ予測部２２１が、符号化の際に最適とされたイントラ予測モードで予測画像を生成する。また、例えば、符号化の際にインター予測が適用された場合、動き補償部２２２が、符号化の際に最適とされたインター予測モードで予測画像を生成する。
【０２４３】
ステップＳ４２６において、演算部２１５は、ステップＳ４２４の逆直交変換処理により生成された差分画像情報に、ステップＳ４２５において生成された予測画像を加算する。これにより元の画像が復号される。
【０２４４】
ステップＳ４２７において、デブロッキングフィルタ２１６は、ステップＳ４２６において得られた復号画像に対して、デブロッキングフィルタ処理を行う。これによりブロック歪み等が除去される。ステップＳ４２８において、適応オフセットフィルタ２２４は、デブロッキングフィルタ２１６からのデブロックフィルタ処理結果に対して、主にリンギングを除去する適応オフセットフィルタ処理を行う。
【０２４５】
ステップＳ４２９において、画面並べ替えバッファ２１７は、ステップＳ４２８においてリンギングの除去などが行われた画像の並べ替えを行う。すなわち画面並べ替えバッファ１１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０２４６】
ステップＳ４３０において、D/A変換部２１８は、ステップＳ４２９においてフレームの順序が並べ替えられた画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
【０２４７】
ステップＳ４３１において、フレームメモリ２１９は、ステップＳ４２８において適応オフセットフィルタ処理された画像を記憶する。このフレームメモリ２１９に記憶された画像は、ステップＳ４２５の処理に利用され、さらに、エンハンスメントレイヤ画像復号部２０４−１にも供給される。
【０２４８】
ステップＳ４３１の処理が終了すると、ベースレイヤ復号処理が終了し、処理は図２８に戻る。ベースレイヤ復号処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してベースレイヤ復号処理が実行される。ただし、ベースレイヤ復号処理内の各処理は、それぞれの処理単位毎に行われる。
【０２４９】
＜エンハンスメントレイヤ復号処理の流れ＞
次に、図３０のフローチャートを参照して、図２８のステップＳ４０５において実行されるエンハンスメントレイヤ復号処理の流れの例を説明する。
【０２５０】
エンハンスメントレイヤ復号処理のステップＳ４５１乃至ステップＳ４５４、並びに、ステップＳ４５６乃至ステップＳ４６２の各処理は、ベースレイヤ復号処理のステップＳ４２１乃至ステップＳ４３１の各処理と同様に実行される。ただし、エンハンスメントレイヤ復号処理の各処理は、エンハンスメントレイヤ画像復号部２０４の各処理部により、エンハンスメントレイヤ符号化データに対して行われる。
【０２５１】
なお、ステップＳ４５５において、エンハンスメントレイヤ画像復号部２０４の階層間情報受信部２４０は、参照レイヤに関する情報に基づいて、参照レイヤとカレントレイヤとの階層間において処理する際に必要な情報である階層間情報を受信する。この階層間情報受信処理の詳細については図３１を参照して後述する。
【０２５２】
ステップＳ４６２の処理が終了すると、エンハンスメントレイヤ復号処理が終了され、処理は図２８に戻る。エンハンスメントレイヤ復号処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してエンハンスメントレイヤ復号処理が実行される。ただし、エンハンスメントレイヤ復号処理内の各処理は、それぞれの処理単位毎に行われる。
【０２５３】
＜階層間情報受信処理の流れ＞
次に、図３１のフローチャートを参照して、図３０のステップＳ４５５において実行される階層間情報受信処理の流れの例を説明する。
【０２５４】
エンハンスメントレイヤ画像復号部２０４−１から参照階層ピクチャタイプバッファ２５１に、参照階層におけるピクチャがスキップピクチャであるかどうかに関する情報が供給される。その情報は、さらに、スキップピクチャ受信部２５２に供給される。
【０２５５】
スキップピクチャ受信部２５２は、ステップＳ４７１において、参照階層ピクチャタイプバッファ２５１からの情報を参照して、参照ピクチャがスキップピクチャであるか否かを判定する。ステップＳ４７１において、参照ピクチャがスキップピクチャであると判定された場合、ステップＳ４７２はスキップされ、階層間情報受信処理は終了され、処理は、図３０に戻る。
【０２５６】
一方、ステップＳ４７１において、参照ピクチャがスキップピクチャであると判定されなかった場合、処理は、ステップＳ４７２に進む。ステップＳ４７２において、スキップピクチャ受信部２５２は、当該階層におけるピクチャがスキップピクチャであるかに関する情報を、可逆復号部２１２から受信する。そして、スキップピクチャ受信部２５２は、その情報を、動き補償部２３２に供給する。その後、階層間情報設定処理は終了され、処理は、図３０に戻る。
【０２５７】
動き補償部２３２は、図３０のステップＳ４５６において、スキップピクチャ受信部２５２からの当該階層におけるピクチャがスキップピクチャであるかに関する情報に基づいて、動き補償処理を行う。
【０２５８】
以上のように、本技術のスケーラブル復号装置においては、参照レイヤのピクチャがスキップピクチャだった場合に、当該レイヤの画像がスキップピクチャとなることを禁止するようにしたので、出力となるカレント画像の画質の低下を抑制することができる。
【０２５９】
＜階層間情報設定部の他の構成例＞
図３２は、図２６の階層間情報受信部２４０の主な構成例を示すブロック図である。なお、図３２の階層間情報受信部２４０は、図２２の階層間情報設定部１４０に対応する構成を有している。
【０２６０】
図３２に示されるように、階層間情報受信部２４０は、階層依存関係バッファ２８１および拡張階層受信部２８２を有する。
【０２６１】
エンハンスメントレイヤ画像復号部２０４−１から階層依存関係バッファ２８１に参照階層における依存関係に関する情報が供給される。その情報は、さらに、拡張階層受信部２８２に供給される。なお、図３２の例においては構成されているが、復号側において参照階層における依存関係に関する情報はビットストリームより得られるため、階層依存関係バッファ２８１はなくてもよい。
【０２６２】
拡張階層受信部２８２は、階層間情報として、拡張階層に関する情報を、可逆復号部２１２から受信する。まず、拡張階層受信部２８２は、可逆復号部２１２から、VPSにおいて、layer_extension_flagを受信する。
【０２６３】
拡張階層受信部２８２は、layer_extension_flag=1の場合、可逆復号部２１２から、VPS_extensionで拡張階層に関する情報を受信する。そして、拡張階層受信部２８２は、その受信された拡張階層に関する情報を、動き補償部２３２に供給する。
【０２６４】
拡張階層受信部２８２は、layer_extension_flag=0の場合、可逆復号部２１２から、VPS_extensionで拡張階層に関する情報の受信を行わない。すなわち、その情報の受信が禁止される。
【０２６５】
動き補償部２３２は、拡張階層受信部２８２からの拡張階層に関する情報に基づいて、動き補償処理を行う。
【０２６６】
＜階層間情報受信処理の流れ＞
次に、図３３のフローチャートを参照して、図３０のステップＳ４５５において実行される階層間情報受信処理の流れの例を説明する。
【０２６７】
エンハンスメントレイヤ画像復号部２０４−１から階層依存関係バッファ２８１に参照階層における依存関係に関する情報が供給される。その情報は、さらに、拡張階層受信部２８２に供給される。
【０２６８】
拡張階層受信部２８２は、ステップＳ４９１において、可逆復号部２１２から、VPSにおいて、layer_extension_flagを受信する。
【０２６９】
拡張階層受信部２８２は、ステップＳ４９２において、layer_extension_flagが１であるか否かを判定する。ステップＳ４９２において、layer_extension_flagが１であると判定された場合、処理は、ステップＳ４９３に進む。ステップＳ４９３において、拡張階層受信部２８２は、可逆復号部２１２から、VPS_extensionで拡張階層に関する情報を受信する。そして、拡張階層受信部２８２は、その受信された拡張階層に関する情報を、動き補償部２３２に供給する。その後、階層間情報受信処理は終了され、処理は、図３０に戻る。
【０２７０】
一方、ステップＳ４９２において、layer_extension_flagが０であると判定された場合、処理は、ステップＳ４９３をスキップする。その後、階層間情報受信処理は終了され、処理は、図３０に戻る。
【０２７１】
動き補償部２３２は、図３０のステップＳ４５５において、拡張階層受信部２８２からの拡張階層に関する情報に基づいて、動き補償処理を行う。
【０２７２】
以上のように、本技術のスケーラブル復号装置においては、VPSとVPS_extensionを設定することで、64以上の階層について定義することができるようになったので、64以上の階層を含むスケーラブル符号化処理を行うことが可能になる。
【０２７３】
本技術によれば、階層間に関連する処理をスムーズに行うことができる。すなわち、出力となるカレント画像の画質の低下を抑制することができる。または、64以上の階層を含むスケーラブル符号化処理を行うことが可能になる。
【０２７４】
＜３．その他＞
以上においては、スケーラブル符号化により画像データが階層化されて複数レイヤ化されるように説明したが、そのレイヤ数は任意である。また、例えば、図３４の例に示されるように、一部のピクチャが階層化されるようにしてもよい。また、以上においては、符号化・復号において、エンハンスメントレイヤは、ベースレイヤの情報を利用して処理されるように説明したが、これに限らず、エンハンスメントレイヤが、処理済の他のエンハンスメントレイヤの情報を利用して処理されるようにしてもよい。
【０２７５】
また、以上に説明したレイヤには、多視点画像符号化・復号におけるビューも含まれる。つまり、本技術は、多視点画像符号化・多視点画像復号に適用することができる。図３５は、多視点画像符号化方式の一例を示す。
【０２７６】
図３５に示されるように、多視点画像は、複数の視点（ビュー）の画像を含み、その複数の視点のうちの所定の１つの視点の画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の画像は、ノンベースビューの画像として扱われる。
【０２７７】
図３５のような多視点画像を符号化・復号する場合、各ビューの画像を符号化・復号するが、この各ビューの符号化・復号に対して、上述した方法を適用するようにしてもよい。つまり、階層（ビュー）間情報等を、このような多視点符号化・復号における複数のビューにおいて設定するようにしてもよい。
【０２７８】
このようにすることにより、上述した階層符号化・復号の場合と同様に、多視点符号化・復号においても、階層間に関連する処理をスムーズに行うことができる。すなわち、出力となるカレント画像の画質の低下を抑制することができる。または、64以上の階層を含むスケーラブル符号化処理を行うことが可能になる。
【０２７９】
以上のように、本技術の適用範囲は、スケーラブルな符号化・復号方式に基づくあらゆる画像符号化装置及び画像復号装置に適用することができる。
【０２８０】
また、本技術は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
【０２８１】
＜４．第３の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０２８２】
図３６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２８３】
図３６に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
【０２８４】
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
【０２８５】
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
【０２８６】
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２８７】
コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２８８】
コンピュータでは、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８１４で受信し、記憶部８１３にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくことができる。
【０２８９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２９０】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２９１】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２９２】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０２９３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２９４】
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２９５】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２９６】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２９７】
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０２９８】
＜５．応用例＞
＜第１の応用例：テレビジョン受像機＞
図３７は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０２９９】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
【０３００】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０３０１】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０３０２】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０３０３】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
【０３０４】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０３０５】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
【０３０６】
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０３０７】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０３０８】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０３０９】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係るスケーラブル復号装置２００の機能を有する。それにより、テレビジョン装置９００での画像の復号に際し、階層間に関連する処理をスムーズに行うことができる。すなわち、出力となるカレント画像の画質の低下を抑制することができる。または、64以上の階層を含むスケーラブル符号化処理を行うことが可能になる。
【０３１０】
＜第２の応用例：携帯電話機＞
図３８は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０３１１】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０３１２】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０３１３】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０３１４】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０３１５】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０３１６】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
【０３１７】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０３１８】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係るスケーラブル符号化装置１００及びスケーラブル復号装置２００の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際し、階層間に関連する処理をスムーズに行うことができる。すなわち、出力となるカレント画像の画質の低下を抑制することができる。または、64以上の階層を含むスケーラブル符号化処理を行うことが可能になる。
【０３１９】
＜第３の応用例：記録再生装置＞
図３９は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０３２０】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０３２１】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。
【０３２２】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送部としての役割を有する。
【０３２３】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０３２４】
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０３２５】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
【０３２６】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０３２７】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０３２８】
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
【０３２９】
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０３３０】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０３３１】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係るスケーラブル符号化装置１００の機能を有する。また、デコーダ９４７は、上述した実施形態に係るスケーラブル復号装置２００の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際し、階層間に関連する処理をスムーズに行うことができる。すなわち、出力となるカレント画像の画質の低下を抑制することができる。または、64以上の階層を含むスケーラブル符号化処理を行うことが可能になる。
【０３３２】
＜第４の応用例：撮像装置＞
図４０は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０３３３】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０３３４】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
【０３３５】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０３３６】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０３３７】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０３３８】
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０３３９】
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送部としての役割を有する。
【０３４０】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
【０３４１】
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０３４２】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０３４３】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係るスケーラブル符号化装置１００及びスケーラブル復号装置２００の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際し、階層間に関連する処理をスムーズに行うことができる。すなわち、出力となるカレント画像の画質の低下を抑制することができる。または、64以上の階層を含むスケーラブル符号化処理を行うことが可能になる。
【０３４４】
＜６．スケーラブル符号化の応用例＞
＜第１のシステム＞
次に、スケーラブル符号化（階層符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図４１に示される例のように、伝送するデータの選択のために利用される。
【０３４５】
図４１に示されるデータ伝送システム１０００において、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク１００３を介して、パーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置に配信する。
【０３４６】
その際、配信サーバ１００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ１００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ１００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。
【０３４７】
例えば、スケーラブル符号化データ記憶部１００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）１０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）１０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。
【０３４８】
配信サーバ１００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ１００２は、処理能力の高いパーソナルコンピュータ１００４やタブレットデバイス１００６に対しては、高品質なスケーラブル符号化データ（BL+EL）１０１１をスケーラブル符号化データ記憶部１００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ１００２は、処理能力の低いAV機器１００５や携帯電話機１００７に対しては、スケーラブル符号化データ（BL+EL）１０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）１０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）１０１１よりも低品質なスケーラブル符号化データ（BL）１０１２として伝送する。
【０３４９】
このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）１０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部１００１の記憶領域をより効率よく使用することができる。
【０３５０】
なお、パーソナルコンピュータ１００４乃至携帯電話機１００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク１００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。
【０３５１】
そこで、配信サーバ１００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク１００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ１００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。
【０３５２】
なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１から、ベースレイヤのスケーラブル符号化データ（BL）１０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。
【０３５３】
もちろん、スケーラブル符号化データ記憶部１００１、配信サーバ１００２、ネットワーク１００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ１００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム１０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。
【０３５４】
そして、以上のようなデータ伝送システム１０００においても、第１の実施の形態および第２の実施の形態において上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、第１の実施の形態および第２の実施の形態において上述した効果と同様の効果を得ることができる。
【０３５５】
＜第２のシステム＞
また、スケーラブル符号化は、例えば、図４２に示される例のように、複数の通信媒体を介する伝送のために利用される。
【０３５６】
図４２に示されるデータ伝送システム１１００において、放送局１１０１は、地上波放送１１１１により、ベースレイヤのスケーラブル符号化データ（BL）１１２１を伝送する。また、放送局１１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク１１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する（例えばパケット化して伝送する）。
【０３５７】
端末装置１１０２は、放送局１１０１が放送する地上波放送１１１１の受信機能を有し、この地上波放送１１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）１１２１を受け取る。また、端末装置１１０２は、ネットワーク１１１２を介した通信を行う通信機能をさらに有し、このネットワーク１１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を受け取る。
【０３５８】
端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
【０３５９】
また、端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１と、ネットワーク１１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
【０３６０】
以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。
【０３６１】
また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）１１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する通信媒体を、ネットワーク１１１２とするか、地上波放送１１１１とするかを、ネットワーク１１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。
【０３６２】
このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。
【０３６３】
もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置１１０２の数も任意である。さらに、以上においては、放送局１１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム１１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。
【０３６４】
そして、以上のようなデータ伝送システム１１００においても、第１の実施の形態および第２の実施の形態において上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、第１の実施の形態および第２の実施の形態において上述した効果と同様の効果を得ることができる。
【０３６５】
＜第３のシステム＞
また、スケーラブル符号化は、例えば、図４３に示される例のように、符号化データの記憶に利用される。
【０３６６】
図４３に示される撮像システム１２００において、撮像装置１２０１は、被写体１２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）１２２１として、スケーラブル符号化データ記憶装置１２０２に供給する。
【０３６７】
スケーラブル符号化データ記憶装置１２０２は、撮像装置１２０１から供給されるスケーラブル符号化データ（BL+EL）１２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置１２０２は、スケーラブル符号化データ（BL+EL）１２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置１２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）１２２１のまま記憶する。
【０３６８】
このようにすることにより、スケーラブル符号化データ記憶装置１２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。
【０３６９】
例えば、撮像装置１２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体１２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。
【０３７０】
なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置１２０２が、画像を解析することにより判定しても良い。また、撮像装置１２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置１２０２に伝送するようにしてもよい。
【０３７１】
なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。
【０３７２】
また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。
【０３７３】
また、撮像装置１２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置１２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置１２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）１２２１を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。
【０３７４】
以上においては、監視カメラを例に説明したが、この撮像システム１２００の用途は任意であり、監視カメラに限定されない。
【０３７５】
そして、以上のような撮像システム１２００においても、第１の実施の形態および第２の実施の形態において上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、第１の実施の形態および第２の実施の形態において上述した効果と同様の効果を得ることができる。
【０３７６】
＜７．第４の実施の形態＞
＜実施のその他の例＞
以上において本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
【０３７７】
＜ビデオセット＞
本技術をセットとして実施する場合の例について、図４４を参照して説明する。図４４は、本技術を適用したビデオセットの概略的な構成の一例を示している。
【０３７８】
近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。
【０３７９】
図４４に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
【０３８０】
図４４に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。
【０３８１】
モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。
【０３８２】
図４４の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。
【０３８３】
プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。
【０３８４】
図４４のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。
【０３８５】
ビデオプロセッサ１３３２は、画像の符号化・復号（その一方若しくは両方）に関する機能を有するプロセッサである。
【０３８６】
ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信に関する処理を行うプロセッサ（若しくはモジュール）である。例えば、ブロードバンドモデム１３３３は、送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。例えば、ブロードバンドモデム１３３３は、ビデオプロセッサ１３３２が処理する画像データや画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報をデジタル変調・復調することができる。
【０３８７】
RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。
【０３８８】
なお、図４４において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。
【０３８９】
外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。
【０３９０】
パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。
【０３９１】
フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図４４に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。
【０３９２】
アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。
【０３９３】
コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。
【０３９４】
例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。
【０３９５】
なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。
【０３９６】
カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。
【０３９７】
センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。
【０３９８】
以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。
【０３９９】
以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。
【０４００】
＜ビデオプロセッサの構成例＞
図４５は、本技術を適用したビデオプロセッサ１３３２（図４４）の概略的な構成の一例を示している。
【０４０１】
図４５の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。
【０４０２】
図４５に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。
【０４０３】
ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図４４）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１（図４４）等に出力する。
【０４０４】
フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。
【０４０５】
メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。
【０４０６】
エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。
【０４０７】
ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。
【０４０８】
オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。
【０４０９】
オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１（図４４）等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１（図４４）等に供給する。
【０４１０】
多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。
【０４１１】
逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図４４）から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により（図４４）各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。
【０４１２】
ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４４）等に供給する。
【０４１３】
また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１（図４４）等に供給し、各種記録媒体に記録させる。
【０４１４】
さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図４４）を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
【０４１５】
また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１（図４４）等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
【０４１６】
次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１（図４４）等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。
【０４１７】
また、コネクティビティ１３２１（図４４）等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。
【０４１８】
ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４４）等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１（図４４）等に出力され、各種記録媒体に記録される。
【０４１９】
また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４４）等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１（図４４）等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。
【０４２０】
オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。
【０４２１】
このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、第１の実施の形態に係るスケーラブル符号化装置１００（図９）や第２の実施の形態に係るスケーラブル復号装置２００（図２４）の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。
【０４２２】
なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、上述した各実施形態に係るスケーラブル符号化装置やスケーラブル復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
【０４２３】
＜ビデオプロセッサの他の構成例＞
図４６は、本技術を適用したビデオプロセッサ１３３２（図４４）の概略的な構成の他の例を示している。図４６の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能とを有する。
【０４２４】
より具体的には、図４６に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。
【０４２５】
制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。
【０４２６】
図４６に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。
【０４２７】
ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１（図４４）等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１（図４４）のモニタ装置等に出力する。
【０４２８】
ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。
【０４２９】
画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。
【０４３０】
内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。
【０４３１】
コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。
【０４３２】
図４６に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。
【０４３３】
MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。
【０４３４】
MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。
【０４３５】
メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４若しくはコーデックエンジン１５１６）に供給される。
【０４３６】
多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。
【０４３７】
ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１（いずれも図４４）等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２（いずれも図４４）等向けのインタフェースである。
【０４３８】
次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４４）等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図４４）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１（図４４）等に出力され、各種記録媒体に記録される。
【０４３９】
さらに、例えば、コネクティビティ１３２１（図４４）等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図４４）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４４）等に供給され図示せぬ他の装置に伝送される。
【０４４０】
なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。
【０４４１】
このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、第１の実施の形態に係るスケーラブル符号化装置１００（図９）や第２の実施の形態に係るスケーラブル復号装置２００（図２４）を実現する機能ブロックを有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。
【０４４２】
なお、コーデックエンジン１５１６において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
【０４４３】
以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。
【０４４４】
＜装置への適用例＞
【０４４５】
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図３７）、携帯電話機９２０（図３８）、記録再生装置９４０（図３９）、撮像装置９６０（図４０）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。
【０４４６】
また、ビデオセット１３００は、例えば、図４１のデータ伝送システム１０００におけるパーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置、図４２のデータ伝送システム１１００における放送局１１０１および端末装置１１０２、並びに、図４３の撮像システム１２００における撮像装置１２０１およびスケーラブル符号化データ記憶装置１２０２等にも組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。
【０４４７】
なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。
【０４４８】
つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図３７）、携帯電話機９２０（図３８）、記録再生装置９４０（図３９）、撮像装置９６０（図４０）、図４１のデータ伝送システム１０００におけるパーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置、図４２のデータ伝送システム１１００における放送局１１０１および端末装置１１０２、並びに、図４３の撮像システム１２００における撮像装置１２０１およびスケーラブル符号化データ記憶装置１２０２等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。
【０４４９】
なお、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えば、後述するMPEG DASH等のようなHTTPストリーミングのコンテンツ再生システムやWi-Fi規格の無線通信システムにも適用することができる。
【０４５０】
また、本明細書では、各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０４５１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０４５２】
なお、本技術は以下のような構成も取ることができる。
（１）  ３以上の複数階層を有する画像を符号化処理する際に、符号化処理の対象となる対象画像が参照する参照階層の画像がスキップモードであるか否かを示す階層間情報を取得する取得部と、
前記取得部により取得された階層間情報を参照して、前記参照階層の画像がスキップモードである場合、前記対象画像をスキップモードとして符号化処理することを禁止する階層間情報設定部と
を備える画像符号化装置。
（２）  前記取得部は、符号化処理の対象となる対象ピクチャが参照する参照階層のピクチャがスキップピクチャであるか否かを示す階層間情報を取得し、
前記階層間情報設定部は、前記参照階層のピクチャがスキップピクチャである場合、前記対象ピクチャをスキップピクチャとして符号化処理することを禁止する
前記（１）に記載の画像符号化装置。
（３）  前記取得部は、符号化処理の対象となる対象スライスが参照する参照階層のスライスがスキップスライスであるか否かを示す階層間情報を取得し、
前記階層間情報設定部は、前記参照階層のスライスがスキップスライスである場合、前記対象スライスをスキップスライスとして符号化処理することを禁止する
前記（１）に記載の画像符号化装置。
（４）  前記取得部は、符号化処理の対象となる対象タイルが参照する参照階層のタイルがスキップタイルであるか否かを示す階層間情報を取得し、
前記階層間情報設定部は、前記参照階層のタイルがスキップタイルである場合、前記対象タイルをスキップタイルとして符号化処理することを禁止する
前記（１）に記載の画像符号化装置。
（５）  前記参照階層と符号化処理の対象となる対象階層がスペーシャルスケーラビリティである場合のみ、前記階層間情報設定部は、前記参照階層の画像がスキップモードであるとき、前記対象画像をスキップモードとして符号化処理することを禁止する
前記（１）乃至（４）のいずれかに記載の画像符号化装置。
（６）  前記参照階層と符号化処理の対象となる対象階層がスペーシャルスケーラビリティであるが、前記参照階層と、さらにそれが参照する階層がSNRスケーラビリティである場合、前記階層間情報設定部は、前記参照階層の画像がスキップモードであっても、前記対象画像をスキップモードとして符号化処理することを許可する
前記（１）乃至（５）のいずれかに記載の画像符号化装置。
（７）  画像符号化装置が、
３以上の複数階層を有する画像を符号化処理する際に、符号化処理の対象となる対象画像が参照する参照階層の画像がスキップモードであるか否かを示す階層間情報を取得し、
取得された階層間情報を参照して、前記参照階層の画像がスキップモードである場合、前記対象画像をスキップモードとして符号化することを禁止する
画像符号化方法。
（８）  ３以上の複数階層を有する画像が符号化されているビットストリームを復号処理する際に、復号処理の対象となる対象画像が参照する参照階層の画像がスキップモードであるか否かを示す階層間情報を取得する取得部と、
前記取得部により取得された階層間情報を参照して、前記参照階層の画像がスキップモードである場合、前記対象画像をスキップモードとして復号処理することを禁止する階層間情報設定部と
を備える画像復号装置。
（９）  前記取得部は、復号処理の対象となる対象ピクチャが参照する参照階層のピクチャがスキップピクチャであるか否かを示す階層間情報を取得し、
前記階層間情報設定部は、前記参照階層のピクチャがスキップピクチャである場合、前記対象ピクチャをスキップピクチャとして復号処理することを禁止する
前記（８）に記載の画像復号装置。
（１０）  前記取得部は、復号処理の対象となる対象スライスが参照する参照階層のスライスがスキップスライスであるか否かを示す階層間情報を取得し、
前記階層間情報設定部は、前記参照階層のスライスがスキップスライスである場合、前記対象スライスをスキップスライスとして復号処理することを禁止する
前記（８）に記載の画像復号装置。
（１１）  前記取得部は、復号処理の対象となる対象タイルが参照する参照階層のタイルがスキップタイルであるか否かを示す階層間情報を取得し、
前記階層間情報設定部は、前記参照階層のタイルがスキップタイルである場合、前記対象タイルをスキップタイルとして復号処理することを禁止する
前記（８）に記載の画像復号装置。
（１２）  前記参照階層と復号処理の対象となる対象階層がスペーシャルスケーラビリティである場合のみ、前記階層間情報設定部は、前記参照階層の画像がスキップモードであるとき、前記対象画像をスキップモードとして復号処理することを禁止する
前記（８）乃至（１１）のいずれかに記載の画像復号装置。
（１３）  前記参照階層と復号処理の対象となる対象階層がスペーシャルスケーラビリティであるが、前記参照階層と、さらにそれが参照する階層がSNRスケーラビリティである場合、前記階層間情報設定部は、前記参照階層の画像がスキップモードであっても、前記対象画像をスキップモードとして復号処理することを許可する
前記（８）乃至（１１）のいずれかに記載の画像復号装置。
（１４）  画像復号装置が、
３以上の複数階層を有する画像が符号化されているビットストリームを復号処理する際に、復号処理の対象となる対象画像が参照する参照階層の画像がスキップモードであるか否かを示す階層間情報を取得し、
取得された階層間情報を参照して、前記参照階層の画像がスキップモードである場合、前記対象画像をスキップモードとして復号処理することを禁止する
画像復号方法。
（１５）  ６４以上の複数階層を有する画像を符号化処理する際に、前記画像の階層数を示す階層間情報を取得する取得部と、
前記取得部により取得された階層間情報を参照して、VPS_extensionにおいて、拡張された階層数に関する情報を設定する階層間情報設定部と
を備える画像符号化装置。
（１６）  前記階層間情報設定部は、前記VPS_extensionにおいて、シンタクス要素layer_extension_factor_minus1を設定し、(vps_max_layers_minus1+1)*(layer_extension_factor_minus1+1)が、前記画像における階層数である
前記（１５）に記載の画像符号化装置。
（１７）  前記階層間情報設定部は、前記layer_extension_factor_minus1の値が０以外である場合、VPS_extensionにおいて、階層セットに関する情報を設定する
前記（１６）に記載の画像符号化装置。
（１８）  前記階層間情報設定部は、VPSにおいて、layer_extension_flagを設定し、layer_extension_flagの値が１のときのみ、前記VPS_extensionにおいて、シンタクス要素layer_extension_factor_minus1を設定する
前記（１６）に記載の画像符号化装置。
（１９）  画像符号化装置が、
６４以上の複数階層を有する画像を符号化処理する際に、前記画像の階層数を示す階層間情報を取得し、
取得された階層間情報を参照して、VPS_extensionにおいて、拡張された階層数に関する情報を設定する
画像符号化方法。
（２０）  ６４以上の複数階層を有する画像が符号化されているビットストリームから、VPS_extensionにおいて設定されている拡張された階層数に関する情報を受け取る受け取り部と、
前記受け取り部により受け取られた拡張された階層数に関する情報を参照して、復号処理を行う復号部と
を備える画像復号装置。
（２１）  前記受け取り部は、前記VPS_extensionにおいて、シンタクス要素layer_extension_factor_minus1を受け取り、(vps_max_layers_minus1+1)*(layer_extension_factor_minus1+1)が、前記画像における階層数である
前記（２０）に記載の画像復号装置。
（２２）  前記受け取り部は、前記layer_extension_factor_minus1の値が０以外である場合、前記VPS_extensionにおいて、階層セットに関する情報を受け取る
前記（２１）に記載の画像復号装置。
（２３）  前記受け取り部は、VPSにおいて、layer_extension_flagを受け取り、layer_extension_flagの値が１のときのみ、前記VPS_extensionにおいて、シンタクス要素layer_extension_factor_minus1を受け取る
前記（２１）に記載の画像復号装置。
（２４）  画像復号装置が、
６４以上の複数階層を有する画像が符号化されているビットストリームから、VPS_extensionにおいて設定されている拡張された階層数に関する情報を受け取り、
受け取られた拡張された階層数に関する情報を参照して、復号処理を行う
画像復号方法。
【符号の説明】
【０４５３】
１００  スケーラブル符号化装置，  １０１  共通情報生成部，  １０２  符号化制御部，  １０３  ベースレイヤ画像符号化部，  １０４  動き情報符号化部，  １０４，１０４−１，１０４−２  エンハンスメントレイヤ画像符号化部，  １１６  可逆符号化部，  １２５  動き予測・補償部，  １３５  動き予測・補償部，  １４０  階層間情報設定部，  １５１  参照階層ピクチャタイプバッファ，  １５２  スキップピクチャ設定部，  １８１  階層依存関係バッファ，  １８２  拡張階層設定部，  ２００  スケーラブル復号装置，  ２０１  共通情報取得部，  ２０２  復号制御部，  ２０３  ベースレイヤ画像復号部，  ２０４，２０４−１，２０４−２  エンハンスメントレイヤ画像復号部，  ２１２  可逆復号部，  ２２２  動き補償部，  ２３２  動き補償部，  ２４０  階層間情報受信部，  ２５１  参照階層ピクチャタイプバッファ，  ２５２  スキップピクチャ受信部，  ２８１  階層依存関係バッファ，  ２８２  拡張階層受信部
【図１】
2015098563.tif 000005
【図２】
2015098563.tif 000006
【図３】
2015098563.tif 000007
【図４】
2015098563.tif 000008
【図５】
2015098563.tif 000009
【図６】
2015098563.tif 000010
【図７】
2015098563.tif 000011
【図８】
2015098563.tif 000012
【図９】
2015098563.tif 000013
【図１０】
2015098563.tif 000014
【図１１】
2015098563.tif 000015
【図１２】
2015098563.tif 000016
【図１３】
2015098563.tif 000017
【図１４】
2015098563.tif 000018
【図１５】
2015098563.tif 000019
【図１６】
2015098563.tif 000020
【図１７】
2015098563.tif 000021
【図１８】
2015098563.tif 000022
【図１９】
2015098563.tif 000023
【図２０】
2015098563.tif 000024
【図２１】
2015098563.tif 000025
【図２２】
2015098563.tif 000026
【図２３】
2015098563.tif 000027
【図２４】
2015098563.tif 000028
【図２５】
2015098563.tif 000029
【図２６】
2015098563.tif 000030
【図２７】
2015098563.tif 000031
【図２８】
2015098563.tif 000032
【図２９】
2015098563.tif 000033
【図３０】
2015098563.tif 000034
【図３１】
2015098563.tif 000035
【図３２】
2015098563.tif 000036
【図３３】
2015098563.tif 000037
【図３４】
2015098563.tif 000038
【図３５】
2015098563.tif 000039
【図３６】
2015098563.tif 000040
【図３７】
2015098563.tif 000041
【図３８】
2015098563.tif 000042
【図３９】
2015098563.tif 000043
【図４０】
2015098563.tif 000044
【図４１】
2015098563.tif 000045
【図４２】
2015098563.tif 000046
【図４３】
2015098563.tif 000047
【図４４】
2015098563.tif 000048
【図４５】
2015098563.tif 000049
【図４６】
2015098563.tif 000050
【国際調査報告】
2015098563.tif 000051
2015098563.tif 000052
2015098563.tif 000053
2015098563.tif 000054
2015098563.tif 000055
2015098563.tif 000056
2015098563.tif 000057
2015098563.tif 000058