(57)【要約】  本開示は、符号化・復号に必要な記憶容量の増大を抑制することができるようにする画像処理装置および方法に関する。カレントレイヤの復号において動き補償を行う動き補償部と、前記動き補償部により再構築され、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルを圧縮する第１の圧縮部とを備える。若しくは、カレントレイヤの符号化において動き予測・補償を行う動き予測・補償部と、前記動き予測・補償部により生成され、他のレイヤの符号化における前記動き予測・補償に利用される、前記カレントレイヤの動きベクトルを圧縮する第１の圧縮部とを備える。本開示は、例えば、画像処理装置に適用することができる。
2014034480.tif 000002
【特許請求の範囲】
【請求項１】
カレントレイヤの復号において動き補償を行う動き補償部と、
前記動き補償部により再構築され、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルを圧縮する第１の圧縮部と
を備える画像処理装置。
【請求項２】
前記動き補償部により再構築された前記カレントレイヤの動きベクトルを、前記第１の圧縮部よりも高圧縮率に圧縮する第２の圧縮部をさらに備え、
前記動き補償部は、前記第２の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの復号における前記動き補償を行う
請求項１に記載の画像処理装置。
【請求項３】
前記第２の圧縮部は、前記第１の圧縮部により圧縮された前記動きベクトルをさらに圧縮する
請求項２に記載の画像処理装置。
【請求項４】
前記動き補償部は、前記第１の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの復号における前記動き補償を行う
請求項１に記載の画像処理装置。
【請求項５】
他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを示すフラグを受け取る受け取り部と、
前記受け取り部により受け取られた前記フラグが動きベクトルを圧縮することを示す値である場合、前記第１の圧縮部により圧縮された前記動きベクトルを、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルとして選択し、前記受け取り部により受け取られた前記フラグが動きベクトルを圧縮しないことを示す値である場合、前記第１の圧縮部により圧縮される前の前記動きベクトルを、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルとして選択する選択部と
をさらに備える請求項１に記載の画像処理装置。
【請求項６】
前記動き補償部は、前記受け取り部により受け取られた前記フラグの値に関わらず、前記第１の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの復号における前記動き補償を行う
請求項５に記載の画像処理装置。
【請求項７】
前記第１の圧縮部は、前記動き補償部により再構築された複数の動きベクトルから、代表値とする動きベクトルを選択することにより、前記カレントレイヤの動きベクトルを圧縮する
請求項１に記載の画像処理装置。
【請求項８】
前記第１の圧縮部は、前記動き補償部により再構築された複数の動きベクトルを用いて、代表値とする動きベクトル算出することにより、前記カレントレイヤの動きベクトルを圧縮する
請求項１に記載の画像処理装置。
【請求項９】
前記動き補償部は、他のレイヤの復号における前記動き補償において再構築された動きベクトルを用いて前記動き補償を行う
請求項１に記載の画像処理装置。
【請求項１０】
画像処理装置の画像処理方法において、
前記画像処理装置が、
カレントレイヤの復号において動き補償を行い、
前記動き補償により再構築され、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルを圧縮する
画像処理方法。
【請求項１１】
カレントレイヤの符号化において動き予測・補償を行う動き予測・補償部と、
前記動き予測・補償部により生成され、他のレイヤの符号化における前記動き予測・補償に利用される、前記カレントレイヤの動きベクトルを圧縮する第１の圧縮部と
を備える画像処理装置。
【請求項１２】
前記動き予測・補償部により生成された前記カレントレイヤの動きベクトルを、前記第１の圧縮部よりも高圧縮率に圧縮する第２の圧縮部をさらに備え、
前記動き予測・補償部は、前記第２の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行う
請求項１１に記載の画像処理装置。
【請求項１３】
前記第２の圧縮部は、前記第１の圧縮部により圧縮された前記動きベクトルをさらに圧縮する
請求項１２に記載の画像処理装置。
【請求項１４】
前記動き予測・補償部は、前記第１の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行う
請求項１１に記載の画像処理装置。
【請求項１５】
他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを制御する制御部と、
前記制御部の制御に従って、前記第１の圧縮部により圧縮される前の前記動きベクトルと、前記第１の圧縮部により圧縮された前記動きベクトルとのいずれか一方を、他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルとして選択する選択部と、
前記制御部の制御に従って、他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを示すフラグを生成する生成部と、
前記生成部により生成された前記フラグを伝送する伝送部と
をさらに備える請求項１１に記載の画像処理装置。
【請求項１６】
前記動き予測・補償部は、前記制御部の制御に関わらず、前記第１の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行う
請求項１５に記載の画像処理装置。
【請求項１７】
前記第１の圧縮部は、前記動き予測・補償部により生成された複数の動きベクトルから、代表値とする動きベクトルを選択することにより、前記カレントレイヤの動きベクトルを圧縮する
請求項１１に記載の画像処理装置。
【請求項１８】
前記第１の圧縮部は、前記動き予測・補償部により生成された複数の動きベクトルを用いて、代表値とする動きベクトル算出することにより、前記カレントレイヤの動きベクトルを圧縮する
請求項１１に記載の画像処理装置。
【請求項１９】
前記動き予測・補償部は、他のレイヤの符号化における前記動き予測・補償において生成された動きベクトルを用いて前記動き予測・補償を行う
請求項１１に記載の画像処理装置。
【請求項２０】
画像処理装置の画像処理方法において、
前記画像処理装置が、
カレントレイヤの符号化において動き予測・補償を行い、
前記動き予測・補償により生成され、他のレイヤの符号化における前記動き予測・補償に利用される、前記カレントレイヤの動きベクトルを圧縮する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は画像処理装置および方法に関し、特に、符号化・復号に必要な記憶容量の増大を抑制することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）などがある。【０００３】
特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720x480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920x1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22Mbpsの符号量（ビットレート）が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。【０００４】
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。【０００５】
更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L （ITU-T（International Telecommunication Union Telecommunication Standardization Sector） Q6/16 VCEG（Video Coding Expert Group））という標準の規格化が進められた。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われた。【０００６】
標準化のスケジュールとしては、２００３年３月にはH.264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）という名の元に国際標準となった。【０００７】
しかしながら、マクロブロックサイズを16x16画素とするのは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；4000x2000画素）といった大きな画枠に対しては、最適ではない恐れがあった。【０００８】
そこで、現在、H.264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC（Joint Collaboration Team-Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている。HEVC規格については、２０１２年２月に最初のドラフト版仕様であるCommittee draftが発行されている（例えば、非特許文献１参照）。【０００９】
ところで、従来、HEVCの3D拡張の１つとして、CUレベルを変更して、ノンベースビューの符号化性能を改善する方式が検討されている。本方式の１つのツールとして、異なるビューの符号化済みベクトルをノンベースビューの予測ベクトルの候補にするInter-view motion prediction（IVMP）がある（例えば、非特許文献２参照）。【００１０】
例えば、HEVC Ver.1の規格では、異なる時刻のピクチャの動きベクトルを予測ベクトルの候補にすることができるツールTemporal MVP（TMVP）がある。このツールを用いる場合、TMVPのために符号化済みピクチャの動きベクトル（MV）が保持される。この動きベクトル（MV）は、最小で4x4単位で符号化されるが、TMVPで参照されるまでの間に、16x16単位に情報圧縮される。この圧縮により、動きベクトル（MV）の予測精度が低下するが、動きベクトルを保持するメモリの容量を1/16に減らすことができる。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Thomas Wiegand,"High efficiency video coding(HEVC) text specification draft 6",JCTVC-H1003 ver20,2012.2.17
【非特許文献２】Yoshiya Yamamoto, Tomohiro Ikai, Tadashi Uchiumi, "3D-CE5.h related: Simplification of AMVP", JCT2-A0014, Joint Collaborative Team on 3D Video Coding Extension Developmentof ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 111st Meeting: Stockholm, SE, 16-20 July 2012
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、IVMPにおいては、このような動きベクトルの圧縮機能は用意されていなかった。つまり、IVMPの場合、動きベクトルは、他のレイヤにおいて、符号化される際の精度のままで参照されていた。例えば、動きベクトルが、最小4x4単位で符号化される場合、IVMP用に4x4精度の動きベクトルを保持するテンポラルバッファ（Temporal buffer）が必要であった。【００１３】
つまり、このテンポラルバッファには、１ビュー（view）につき、少なくとも、「4x4精度の動きベクトルを１画面」分記憶することができる容量が必要である。したがって、このテンポラルバッファには、16x16精度まで圧縮されるTMVPのための動きベクトルを記憶する場合の16倍（16 picture分）の容量が必要であった。【００１４】
つまり、IVMPのために、符号化・復号に必要な記憶容量が増大する恐れがあった。【００１５】
本開示は、このような状況に鑑みてなされたものであり、符号化・復号に必要な記憶容量の増大を抑制することができるようにするものである。
【課題を解決するための手段】
【００１６】
本技術の一側面は、カレントレイヤの復号において動き補償を行う動き補償部と、前記動き補償部により再構築され、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルを圧縮する第１の圧縮部とを備える画像処理装置である。【００１７】
前記動き補償部により再構築された前記カレントレイヤの動きベクトルを、前記第１の圧縮部よりも高圧縮率に圧縮する第２の圧縮部をさらに備え、前記動き補償部は、前記第２の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの復号における前記動き補償を行うことができる。【００１８】
前記第２の圧縮部は、前記第１の圧縮部により圧縮された前記動きベクトルをさらに圧縮することができる。【００１９】
前記動き補償部は、前記第１の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの復号における前記動き補償を行うことができる。【００２０】
他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを示すフラグを受け取る受け取り部と、前記受け取り部により受け取られた前記フラグが動きベクトルを圧縮することを示す値である場合、前記第１の圧縮部により圧縮された前記動きベクトルを、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルとして選択し、前記受け取り部により受け取られた前記フラグが動きベクトルを圧縮しないことを示す値である場合、前記第１の圧縮部により圧縮される前の前記動きベクトルを、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルとして選択する選択部とをさらに備えることができる。【００２１】
前記動き補償部は、前記受け取り部により受け取られた前記フラグの値に関わらず、前記第１の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの復号における前記動き補償を行うことができる。【００２２】
前記第１の圧縮部は、前記動き補償部により再構築された複数の動きベクトルから、代表値とする動きベクトルを選択することにより、前記カレントレイヤの動きベクトルを圧縮することができる。【００２３】
前記第１の圧縮部は、前記動き補償部により再構築された複数の動きベクトルを用いて、代表値とする動きベクトル算出することにより、前記カレントレイヤの動きベクトルを圧縮することができる。【００２４】
前記動き補償部は、他のレイヤの復号における前記動き補償において再構築された動きベクトルを用いて前記動き補償を行うことができる。【００２５】
本技術の一側面は、また、画像処理装置の画像処理方法において、前記画像処理装置が、カレントレイヤの復号において動き補償を行い、前記動き補償により再構築され、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルを圧縮する画像処理方法である。【００２６】
本技術の他の側面は、カレントレイヤの符号化において動き予測・補償を行う動き予測・補償部と、前記動き予測・補償部により生成され、他のレイヤの符号化における前記動き予測・補償に利用される、前記カレントレイヤの動きベクトルを圧縮する第１の圧縮部とを備える画像処理装置である。【００２７】
前記動き予測・補償部により生成された前記カレントレイヤの動きベクトルを、前記第１の圧縮部よりも高圧縮率に圧縮する第２の圧縮部をさらに備え、前記動き予測・補償部は、前記第２の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行うことができる。【００２８】
前記第２の圧縮部は、前記第１の圧縮部により圧縮された前記動きベクトルをさらに圧縮することができる。【００２９】
前記動き予測・補償部は、前記第１の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行うことができる。【００３０】
他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを制御する制御部と、前記制御部の制御に従って、前記第１の圧縮部により圧縮される前の前記動きベクトルと、前記第１の圧縮部により圧縮された前記動きベクトルとのいずれか一方を、他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルとして選択する選択部と、前記制御部の制御に従って、他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを示すフラグを生成する生成部と、前記生成部により生成された前記フラグを伝送する伝送部とをさらに備えることができる。【００３１】
前記動き予測・補償部は、前記制御部の制御に関わらず、前記第１の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行うことができる。【００３２】
前記第１の圧縮部は、前記動き予測・補償部により生成された複数の動きベクトルから、代表値とする動きベクトルを選択することにより、前記カレントレイヤの動きベクトルを圧縮することができる。【００３３】
前記第１の圧縮部は、前記動き予測・補償部により生成された複数の動きベクトルを用いて、代表値とする動きベクトル算出することにより、前記カレントレイヤの動きベクトルを圧縮することができる。【００３４】
前記動き予測・補償部は、他のレイヤの符号化における前記動き予測・補償において生成された動きベクトルを用いて前記動き予測・補償を行うことができる。【００３５】
本技術の他の側面は、また、画像処理装置の画像処理方法において、前記画像処理装置が、カレントレイヤの符号化において動き予測・補償を行い、前記動き予測・補償により生成され、他のレイヤの符号化における前記動き予測・補償に利用される、前記カレントレイヤの動きベクトルを圧縮する画像処理方法である。【００３６】
本技術の一側面においては、カレントレイヤの復号において動き補償が行われ、その動き補償により再構築され、他のレイヤの復号における動き補償に利用されるカレントレイヤの動きベクトルが圧縮される。【００３７】
本技術の他の側面においては、カレントレイヤの符号化において動き予測・補償が行われ、その動き予測・補償により生成され、他のレイヤの符号化における動き予測・補償に利用される、カレントレイヤの動きベクトルが圧縮される。【００３８】
なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
【発明の効果】
【００３９】
本開示によれば、画像を符号化・復号することができる。特に、符号化・復号に必要な記憶容量の増大を抑制することができる。
【図面の簡単な説明】
【００４０】
【図１】コーディングユニットの構成例を説明する図である。
【図２】多視点画像符号化方式の例を示す図である。
【図３】IVMPの様子の例を説明する図である。
【図４】従来の動きベクトル参照の様子の例を説明する図である。
【図５】本技術を適用した動きベクトル参照の様子の例を説明する図である。
【図６】V0画像符号化装置の主な構成例を示すブロック図である。
【図７】V1画像符号化装置の主な構成例を示すブロック図である。
【図８】V2画像符号化装置の主な構成例を示すブロック図である。
【図９】符号化処理の流れの例を説明するフローチャートである。
【図１０】V0符号化処理の流れの例を説明するフローチャートである。
【図１１】V0インター動き予測処理の流れの例を説明するフローチャートである。
【図１２】V1符号化処理の流れの例を説明するフローチャートである。
【図１３】V1インター動き予測処理の流れの例を説明するフローチャートである。
【図１４】V2符号化処理の流れの例を説明するフローチャートである。
【図１５】V2インター動き予測処理の流れの例を説明するフローチャートである。
【図１６】V0画像復号装置の主な構成例を示すブロック図である。
【図１７】V1画像復号装置の主な構成例を示すブロック図である。
【図１８】V2画像復号装置の主な構成例を示すブロック図である。
【図１９】復号処理の流れの例を説明するフローチャートである。
【図２０】V0復号処理の流れの例を説明するフローチャートである。
【図２１】V0動き補償処理の流れの例を説明するフローチャートである。
【図２２】V1復号処理の流れの例を説明するフローチャートである。
【図２３】V1動き補償処理の流れの例を説明するフローチャートである。
【図２４】V2復号処理の流れの例を説明するフローチャートである。
【図２５】V2動き補償処理の流れの例を説明するフローチャートである。
【図２６】本技術を適用した動きベクトル参照の様子の例を説明する図である。
【図２７】V0画像符号化装置の主な構成例を示すブロック図である。
【図２８】V1画像符号化装置の主な構成例を示すブロック図である。
【図２９】V2画像符号化装置の主な構成例を示すブロック図である。
【図３０】V0符号化処理の流れの例を説明するフローチャートである。
【図３１】V1符号化処理の流れの例を説明するフローチャートである。
【図３２】V1インター動き予測処理の流れの例を説明するフローチャートである。
【図３３】V2符号化処理の流れの例を説明するフローチャートである。
【図３４】V2インター動き予測処理の流れの例を説明するフローチャートである。
【図３５】V0画像復号装置の主な構成例を示すブロック図である。
【図３６】V1画像復号装置の主な構成例を示すブロック図である。
【図３７】V2画像復号装置の主な構成例を示すブロック図である。
【図３８】V0復号処理の流れの例を説明するフローチャートである。
【図３９】V1復号処理の流れの例を説明するフローチャートである。
【図４０】V1動き補償処理の流れの例を説明するフローチャートである。
【図４１】V2復号処理の流れの例を説明するフローチャートである。
【図４２】V2動き補償処理の流れの例を説明するフローチャートである。
【図４３】本技術を適用した動きベクトル参照の様子の例を説明する図である。
【図４４】シンタクスの例を説明する図である。
【図４５】V0画像符号化装置の主な構成例を示すブロック図である。
【図４６】V1画像符号化装置の主な構成例を示すブロック図である。
【図４７】V2画像符号化装置の主な構成例を示すブロック図である。
【図４８】符号化処理の流れの例を説明するフローチャートである。
【図４９】V0符号化処理の流れの例を説明するフローチャートである。
【図５０】V0符号化処理の流れの例を説明する、図４９に続くフローチャートである。
【図５１】V1符号化処理の流れの例を説明するフローチャートである。
【図５２】V1符号化処理の流れの例を説明する、図５１に続くフローチャートである。
【図５３】V1インター動き予測処理の流れの例を説明するフローチャートである。
【図５４】V2符号化処理の流れの例を説明するフローチャートである。
【図５５】V2符号化処理の流れの例を説明する、図５４に続くフローチャートである。
【図５６】V2インター動き予測処理の流れの例を説明するフローチャートである。
【図５７】V0画像復号装置の主な構成例を示すブロック図である。
【図５８】V1画像復号装置の主な構成例を示すブロック図である。
【図５９】V2画像復号装置の主な構成例を示すブロック図である。
【図６０】復号処理の流れの例を説明するフローチャートである。
【図６１】V0復号処理の流れの例を説明するフローチャートである。
【図６２】V0復号処理の流れの例を説明する、図６１に続くフローチャートである。
【図６３】V1復号処理の流れの例を説明するフローチャートである。
【図６４】V1復号処理の流れの例を説明する、図６４に続くフローチャートである。
【図６５】V1動き補償処理の流れの例を説明するフローチャートである。
【図６６】V2復号処理の流れの例を説明するフローチャートである。
【図６７】V2復号処理の流れの例を説明する、図６６に続くフローチャートである。
【図６８】V2動き補償処理の流れの例を説明するフローチャートである。
【図６９】階層画像符号化方式の例を示す図である。
【図７０】スペーシャルなスケーラブル符号化の例を説明する図である。
【図７１】テンポラルなスケーラブル符号化の例を説明する図である。
【図７２】信号雑音比のスケーラブル符号化の例を説明する図である。
【図７３】動きベクトルの間引きの様子の例を説明する図である。
【図７４】動きベクトルの間引きの様子の、他の例を説明する図である。
【図７５】アンギュラー（Angular）予測の例を説明する図である。
【図７６】プレイナー（Planar）予測の例を説明する図である。
【図７７】モストプロバブルモード（MostProbableMode）の例を説明する図である。
【図７８】MDIS（Mode Dependent Intra Smoothing）の例を説明する図である。
【図７９】バウンダリバリュースムージング（Boundary Value Smoothing）処理の例を説明する図である。
【図８０】イントラ予測モードの間引きの様子の例を示す図である。
【図８１】スケーラブル符号化装置の主な構成例を示すブロック図である。
【図８２】ベースレイヤ画像符号化部の主な構成例を示すブロック図である。
【図８３】エンハンスメントレイヤ画像符号化部の主な構成例を示すブロック図である。
【図８４】イントラ予測モード提供部の主な構成例を示すブロック図である。
【図８５】共通情報生成処理の流れの例を説明するフローチャートである。
【図８６】符号化処理の流れの例を説明するフローチャートである。
【図８７】ベースレイヤ符号化処理の流れの例を説明するフローチャートである。
【図８８】エンハンスメントレイヤ符号化処理の流れの例を説明するフローチャートである。
【図８９】スケーラブル復号装置の主な構成例を示すブロック図である。
【図９０】ベースレイヤ画像復号部の主な構成例を示すブロック図である。
【図９１】エンハンスメントレイヤ画像復号部の主な構成例を示すブロック図である。
【図９２】イントラ予測モード提供部の主な構成例を示すブロック図である。
【図９３】共通情報取得処理の流れの例を説明するフローチャートである。
【図９４】復号処理の流れの例を説明するフローチャートである。
【図９５】ベースレイヤ復号処理の流れの例を説明するフローチャートである。
【図９６】エンハンスメントレイヤ復号処理の流れの例を説明するフローチャートである。
【図９７】予測処理の流れの例を説明するフローチャートである。
【図９８】スライスヘッダのシンタクスの例を示す図である。
【図９９】スライスヘッダのシンタクスの例を示す、図９８に続く図である。
【図１００】スライスヘッダのシンタクスの例を示す、図９９に続く図である。
【図１０１】スライスヘッダのシンタクスの他の例を示す図である。
【図１０２】スライスヘッダのシンタクスの他の例を示す、図１０１に続く図である。
【図１０３】スライスヘッダのシンタクスの他の例を示す、図１０２に続く図である。
【図１０４】画像符号化装置の主な構成例を示すブロック図である。
【図１０５】ベースレイヤ画像符号化部の主な構成例を示すブロック図である。
【図１０６】エンハンスメントレイヤ画像符号化部の主な構成例を示すブロック図である。
【図１０７】インター予測部の主な構成例を示すブロック図である。
【図１０８】画像符号化処理の流れの例を説明するフローチャートである。
【図１０９】ベースレイヤ符号化処理の流れの例を説明するフローチャートである。
【図１１０】エンハンスメントレイヤ符号化処理の流れの例を説明するフローチャートである。
【図１１１】ベースレイヤ動き情報参照処理の流れの例を説明するフローチャートである。
【図１１２】画像復号装置の主な構成例を示すブロック図である。
【図１１３】ベースレイヤ画像復号部の主な構成例を示すブロック図である。
【図１１４】エンハンスメントレイヤ画像復号部の主な構成例を示すブロック図である。
【図１１５】インター予測部の主な構成例を示すブロック図である。
【図１１６】画像復号処理の流れの例を説明するフローチャートである。
【図１１７】ベースレイヤ復号処理の流れの例を説明するフローチャートである。
【図１１８】エンハンスメントレイヤ復号処理の流れの例を説明するフローチャートである。
【図１１９】コンピュータの主な構成例を示すブロック図である。
【図１２０】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図１２１】携帯電話機の概略的な構成の一例を示すブロック図である。
【図１２２】記録再生装置の概略的な構成の一例を示すブロック図である。
【図１２３】撮像装置の概略的な構成の一例を示すブロック図である。
【図１２４】スケーラブル符号化利用の一例を示すブロック図である。
【図１２５】スケーラブル符号化利用の他の例を示すブロック図である。
【図１２６】スケーラブル符号化利用のさらに他の例を示すブロック図である。
【図１２７】ビデオセットの概略的な構成の一例を示すブロック図である。
【図１２８】ビデオプロセッサの概略的な構成の一例を示すブロック図である。
【図１２９】ビデオプロセッサの概略的な構成の他の例を示すブロック図である。
【図１３０】コンテンツ再生システムの構成を示した説明図である。
【図１３１】コンテンツ再生システムにおけるデータの流れを示した説明図である。
【図１３２】MPDの具体例を示した説明図である。
【図１３３】コンテンツ再生システムのコンテンツサーバの構成を示した機能ブロック図である。
【図１３４】コンテンツ再生システムのコンテンツ再生装置の構成を示した機能ブロック図である。
【図１３５】コンテンツ再生システムのコンテンツサーバの構成を示した機能ブロック図である。
【図１３６】無線通信システムの各装置による通信処理例を示すシーケンスチャートである。
【図１３７】無線通信システムの各装置による通信処理例を示すシーケンスチャートである。
【図１３８】無線通信システムの各装置による通信処理において送受信されるフレームフォーマット（frame format）の構成例を模式的に示す図である。
【図１３９】無線通信システムの各装置による通信処理例を示すシーケンスチャートである。
【発明を実施するための形態】
【００４１】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
０．概要
１．第１の実施の形態（画像符号化装置、画像復号装置）
２．第２の実施の形態（画像符号化装置、画像復号装置）
３．第３の実施の形態（画像符号化装置、画像復号装置）
４．第４の実施の形態（階層画像符号化・復号）
５．概要２（イントラ予測）
６．第５の実施の形態（スケーラブル画像符号化装置）
７．第６の実施の形態（スケーラブル画像復号装置）
８．概要３（予測方向制御）
９．第７の実施の形態（画像符号化装置）
１０．第８の実施の形態（画像復号装置）
１１．第９の実施の形態（コンピュータ）
１２．応用例
１３．スケーラブル符号化の応用例
１４．セット・ユニット・モジュール・プロセッサ
１５． MPEG-DASHのコンテンツ再生システムの応用例
１６． Wi-Fi規格の無線通信システムの応用例
【００４２】
＜０．概要＞
＜符号化方式＞
以下においては、HEVC（High Efficiency Video Coding）方式の画像符号化・復号に適用する場合を例に、本技術を説明する。AVC（Advanced Video Coding）やHEVC等の画像符号化においては、時間方向（フレーム間）の相関を利用した動き予測が行われる。
【００４３】
＜コーディングユニット＞
AVC方式においては、マクロブロックとサブマクロブロックによる階層構造が規定されている。しかしながら、16x16画素のマクロブロックでは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；4000x2000画素）といった大きな画枠に対して最適ではない。
【００４４】
これに対して、HEVC方式においては、図１に示されるように、コーディングユニット（CU（Coding Unit））が規定されている。
【００４５】
CUは、Coding Tree Block（CTB）とも呼ばれ、AVC方式におけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、16x16画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。
【００４６】
例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（（SCU（Smallest Coding Unit））が規定される。
【００４７】
それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。図１の例では、LCUの大きさが１２８であり、最大階層深度が５となる。2Nx2Nの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、NxNの大きさのCUに分割される。
【００４８】
更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。現在、HEVC方式においては、4x4及び8x8に加え、16x16及び32x32直交変換を用いることが可能である。
【００４９】
以上のHEVC方式のように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、AVC方式におけるマクロブロックはLCUに相当し、ブロック（サブブロック）はCUに相当すると考えることができる。また、AVC方式における動き補償ブロックは、PUに相当すると考えることができる。ただし、CUは、階層構造を有するので、その最上位階層のLCUのサイズは、例えば128x128画素のように、AVC方式のマクロブロックより大きく設定されることが一般的である。
【００５０】
よって、以下、LCUは、AVC方式におけるマクロブロックをも含むものとし、CUは、AVC方式におけるブロック（サブブロック）をも含むものとする。つまり、以下の説明に用いる「ブロック」は、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。つまり、「ブロック」には、例えば、TU、PU、SCU、CU、LCU、サブブロック、マクロブロック、またはスライス等任意の領域（処理単位）が含まれる。もちろん、これら以外の部分領域（処理単位）も含まれる。サイズや処理単位等を限定する必要がある場合は、適宜説明する。
【００５１】
＜モード選択＞
ところで、AVCそしてHEVC符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。
【００５２】
かかる選択方式の例として、JM (Joint Model) と呼ばれるH.264/MPEG-4 AVCの参照ソフトウエア (http://iphome.hhi.de/suehring/tml/index.htm において公開されている) に実装されている方法を挙げることが出来る。
【００５３】
JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの2通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。
【００５４】
High Complexity Modeにおけるコスト関数は、以下の式（１）のように示される。
【００５５】
【数１】
2014034480.tif 000003
【００５６】
ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合、Dは、当該予測モードで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Ｒは、直交変換係数を含んだ、当該モードで符号化した場合の総符号量である。
【００５７】
つまり、High Complexity Modeでの符号化を行うには、上記パラメータＤ及びＲを算出するため、全ての候補モードにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
【００５８】
Low Complexity Modeにおけるコスト関数は、以下の式（２）のように示される。
【００５９】
【数２】
2014034480.tif 000004
【００６０】
ここで、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。QP2Quant(QP)は、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。
【００６１】
すなわち、Low Complexity Modeにおいては、それぞれの候補モードに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。
【００６２】
＜多視点画像＞
ところで、HEVCでは、図２に示される多視点画像のような複数のレイヤからなる動画像を符号化・復号することができる。多視点動画像は、各ピクチャが、互いに視差を有する複数の画像よりなる。各視点の画像群（動画像）をビュー（レイヤ）と称する。図２の例の場合、動画像は、ビュー０乃至ビュー２の３つのビューよりなる。つまり、あるPOCのピクチャは、ビュー０の画像、ビュー１の画像、およびビュー２の画像よりなる。図２において、ビュー０（view_id=0）は、ベースビュー（Base view）とも称する。また、ビュー１（view_id=1）やビュー２（view_id=2）は、ノンベースビュー（non-base view）とも称する。
【００６３】
＜予測動きベクトル＞
また、HEVCでは、画像を符号化・復号する際に、符号化効率の向上のために動き予測・補償処理が利用されるが、さらに、符号化効率を向上させるために、その動き予測・補償処理においては、処理対象であるカレントブロックの動きベクトルを周辺のブロックの動きベクトルを用いて予測し、カレントブロックの動きベクトルとその予測動きベクトルとの差分動きベクトルを求め、その差分動きベクトルを伝送する。
【００６４】
動きベクトルの予測は、周辺のブロックの動きベクトルから複数の候補を生成し、その中から最適なものを選択することにより行われる。
【００６５】
HEVCでは、カレントブロックの、空間的に周辺のブロックの動きベクトルを用いて、予測動きベクトルの候補を生成することができる。空間的に周辺のブロックとは、カレントブロックと同一の画像（同一のPOCの同一ビューの画像）内の、カレントブロック近傍のブロックである。
【００６６】
また、HEVCでは、カレントブロックの、時間的に周辺のブロックの動きベクトルを用いて、予測動きベクトルの候補を生成することもできる（TMVP（Temporal Motion Vector Prediction））。時間的に周辺のブロックとは、カレントブロックと同一ビューの異なるPOCの画像の、カレントブロックに対応する（例えば同一の位置の）ブロック（コロケーテッドブロックとも称する）である。
【００６７】
さらに、図２に示されるような多視点画像を符号化する場合、HEVCでは、カレントブロックの、ビュー（レイヤ）間的に周辺のブロックの動きベクトルを用いて、予測動きベクトルの候補を生成することもできる（IVMP（Inter-view motion prediction））。ビュー（レイヤ）間的に周辺のブロックとは、カレントブロックと同一POCの異なるビューの画像の、カレントブロックに対応する（例えば同一の位置の）ブロック（コロケーテッドブロックとも称する）である。例えば図３に示されるように、ビュー間の相関性を利用して、１つ前に処理されたビューの動きベクトルが参照される。
【００６８】
以上のようにして、より予測精度の高い、より多くの候補を得ることができるようにすることにより、より予測精度の高い予測ベクトルを得ることができ、より符号化効率を向上させることができる。
【００６９】
しかしながら、TMVPやＩＶＭＰでは、カレントピクチャのカレントビューの画像以外の動きベクトルが参照される。したがって、TMVPやＩＶＭＰでは、符号化や復号の際に得られる各ブロックの動きベクトルを、参照されなくなるまで（例えば、次のビューの画像の動き予測・補償処理や動き補償処理が終了するまで）、保持する必要がある。そして、そのためのメモリの容量は、想定される最大値以上を用意する必要がある。
【００７０】
HEVCの場合、TMVPのために保持する動きベクトルを圧縮し、動きベクトルの精度を低減させることができる。しかしながら、IVMPで参照される動きベクトルは、圧縮せずに利用されていた。したがって、IVMPのための動きベクトルは、圧縮せずに保持する必要があった。そのため、IVMPのための動きベクトルを保持するメモリは、TMVPのために動きベクトルを保持するメモリと比べて増大する恐れがあった。つまり、符号化・復号に必要な記憶容量の増大を抑制する恐れがあった。
【００７１】
図４にその具体例を示す。図４に示されるように、TMVPにおいては、カレントレイヤ（ビュー）の動きベクトル（圧縮後MV）が利用され、IVMPにおいては、１つ前のレイヤ（他のレイヤ）の動きベクトル（圧縮前MV）が利用される。
【００７２】
したがって、この場合、TMVP用の、16x16精度の動きベクトルを記憶するメモリ（V0 MV Memory乃至V1 MV Memory）の他に、IVMP用の動きベクトルを記憶するメモリが必要になる。しかも、その動きベクトルは圧縮されていないため、TMVPで参照される動きベクトルを記憶するメモリよりも大きな容量が必要であった。
【００７３】
メモリに必要な容量が増大することにより、設計や製造のコストが増大する恐れがあった。また、消費電力の増大や、負荷の増大を招く恐れがあった。
【００７４】
＜IVMP用の動きベクトルの圧縮＞
そこで、IVMP用の動きベクトルも、圧縮する（例えば、所定の間引き率で間引く）ようにする。
【００７５】
例えば復号の場合、カレントレイヤの復号において動き補償を行い、その動き補償により再構築され、他のレイヤの復号における動き補償に利用されるカレントレイヤの動きベクトルを圧縮する（例えば、所定の間引き率で間引く）ようにする。換言するに、他のレイヤの復号における動き補償において再構築されて圧縮された（例えば、所定の間引き率で間引かれた）動きベクトルを用いて、カレントレイヤの復号における動き補償を行うようにする。
【００７６】
また、例えば符号化の場合、カレントレイヤの符号化において動き予測・補償を行い、その動き予測・補償により生成され、他のレイヤの符号化における動き予測・補償に利用されるカレントレイヤの動きベクトルを圧縮する（例えば、所定の間引き率で間引く）ようにする。換言するに、他のレイヤの符号化における動き予測・補償において生成されて圧縮された（例えば、所定の間引き率で間引かれた）動きベクトルを用いて、カレントレイヤの符号化における動き予測・補償を行うようにする。
【００７７】
このようにすることにより、IVMP用の動きベクトルを記憶するために必要なメモリの容量の増大を抑制することができる。つまり、符号化・復号に必要な記憶容量の増大を抑制することができる。
【００７８】
＜１．第１の実施の形態＞
＜IVMP用の動きベクトルの圧縮＞
以上のような動きベクトルの圧縮において、図５に示されるように、IVMP用の動きベクトルもTMVP用の動きベクトルと同じ圧縮率で圧縮する（例えば、TMVP用の動きベクトルと同じ間引き率で間引く）ようにしてもよい。つまり、圧縮により、IVMP用の動きベクトルとTMVP用の動きベクトルとを同じ精度にするようにしてもよい。このようにすることにより、TMVP用の動きベクトルとIVMP用の動きベクトルを共通化することができ、必要なメモリの容量の増大を抑制することができる。
【００７９】
例えば、図４の例の場合、デコーダ（V0 (Base) Decoder, V1 (Depend) Decorder, V2 (Depend) Decorder）は、復号により最高4x4精度の動きベクトルを再構築し、動きベクトル圧縮部（(V0乃至V2) MV Compressor）は、それを16x16精度に圧縮する。したがって、IVMP用の動きベクトルを記憶するメモリ（(V0乃至V2) Tempral MV Memory）は、4x4精度の動きベクトルを１画面分記憶することができる容量が必要である。
【００８０】
図５に示される例のように、IVMP用の動きベクトルも、動きベクトル圧縮部（(V0乃至V2) MV Compressor）によって16x16精度に圧縮する（例えば間引く）ことにより、この、4x4精度の動きベクトルを１画面分記憶することができる容量のメモリ（（V0乃至V2） Temporal MV Memory）を省略することができる。
【００８１】
なお、このような動きベクトルの共通化により、圧縮処理（例えば間引き処理）も共通化することができるので、動きベクトルの圧縮処理による負荷の増大を抑制することができる。
【００８２】
以下に、この圧縮方法について、より具体的に説明する。
【００８３】
なお、以下においては、符号化・復号対象の動画像は、図２に示されるように、ビュー０乃至ビュー２の３ビュー（レイヤ）の動画像であるものとする。また、この動画像の各ピクチャは所定の順に処理され、各ピクチャにおいて、ビュー０の画像、ビュー１の画像、およびビュー２の画像は、この順に処理されるものとする。
【００８４】
＜画像符号化装置＞
図６は、V0画像符号化装置の主な構成例を示すブロック図である。図７は、V1画像符号化装置の主な構成例を示すブロック図である。図８は、V2画像符号化装置の主な構成例を示すブロック図である。
【００８５】
図示せぬ画像符号化装置１００は、図２に示される多視点画像のような複数レイヤよりなる動画像を符号化する。この画像符号化装置１００は、多視点画像の各ビューを符号化するために、図６のV0画像符号化装置１００−０、図７のV1画像符号化装置１００−１、および図８のV2画像符号化装置１００−３を有する。V0画像符号化装置１００−０は、ビュー０の画像を符号化する。V1画像符号化装置１００−１は、ビュー１の画像を符号化する。V2画像符号化装置１００−２は、ビュー２の画像を符号化する。
【００８６】
図６に示されるように、V0画像符号化装置１００−０は、A/D変換部１０１−０、画面並べ替えバッファ１０２−０、演算部１０３−０、直交変換部１０４−０、量子化部１０５−０、可逆符号化部１０６−０、蓄積バッファ１０７−０、逆量子化部１０８−０、および逆直交変換部１０９−０を有する。また、V0画像符号化装置１００−０は、演算部１１０−０、ループフィルタ１１１−０、デコードピクチャバッファ１１２−０、画面内予測部１１３−０、動き予測・補償部１１４−０、予測画像選択部１１５−０、およびレート制御部１１６−０を有する。
【００８７】
また、図７に示されるように、V1画像符号化装置１００−１は、A/D変換部１０１−１、画面並べ替えバッファ１０２−１、演算部１０３−１、直交変換部１０４−１、量子化部１０５−１、可逆符号化部１０６−１、蓄積バッファ１０７−１、逆量子化部１０８−１、および逆直交変換部１０９−１を有する。また、V1画像符号化装置１００−１は、演算部１１０−１、ループフィルタ１１１−１、デコードピクチャバッファ１１２−１、画面内予測部１１３−１、動き予測・補償部１１４−１、予測画像選択部１１５−１、およびレート制御部１１６−１を有する。
【００８８】
さらに、図８に示されるように、V2画像符号化装置１００−２は、A/D変換部１０１−２、画面並べ替えバッファ１０２−２、演算部１０３−２、直交変換部１０４−２、量子化部１０５−２、可逆符号化部１０６−２、蓄積バッファ１０７−２、逆量子化部１０８−２、および逆直交変換部１０９−２を有する。また、V2画像符号化装置１００−２は、演算部１１０−２、ループフィルタ１１１−２、デコードピクチャバッファ１１２−２、画面内予測部１１３−２、動き予測・補償部１１４−２、予測画像選択部１１５−２、およびレート制御部１１６−２を有する。
【００８９】
以下において、A/D変換部１０１−０乃至A/D変換部１０１−２を互いに区別して説明する必要が無い場合、単に、A/D変換部１０１と称する。また、画面並べ替えバッファ１０２−０乃至画面並べ替えバッファ１０２−２を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ１０２と称する。さらに、演算部１０３−０乃至演算部１０３−２を互いに区別して説明する必要が無い場合、単に、演算部１０３と称する。また、直交変換部１０４−０乃至直交変換部１０４−２を互いに区別して説明する必要が無い場合、単に、直交変換部１０４と称する。さらに、量子化部１０５−０乃至量子化部１０５−２を互いに区別して説明する必要が無い場合、単に、量子化部１０５と称する。また、可逆符号化部１０６−０乃至可逆符号化部１０６−２を互いに区別して説明する必要が無い場合、単に、可逆符号化部１０６と称する。さらに、蓄積バッファ１０７−０乃至蓄積バッファ１０７−２を互いに区別して説明する必要が無い場合、単に、蓄積バッファ１０７と称する。また、逆量子化部１０８−０乃至逆量子化部１０８−２を互いに区別して説明する必要が無い場合、単に、逆量子化部１０８と称する。さらに、逆直交変換部１０９−０乃至逆直交変換部１０９−２を互いに区別して説明する必要が無い場合、単に、逆直交変換部１０９と称する。
【００９０】
また、演算部１１０−０乃至演算部１１０−２を互いに区別して説明する必要が無い場合、単に、演算部１１０と称する。さらに、ループフィルタ１１１−０乃至ループフィルタ１１１−２を互いに区別して説明する必要が無い場合、単に、ループフィルタ１１１と称する。また、デコードピクチャバッファ１１２−０乃至デコードピクチャバッファ１１２−２を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ１１２と称する。さらに、画面内予測部１１３−０乃至画面内予測部１１３−２を互いに区別して説明する必要が無い場合、単に、画面内予測部１１３と称する。また、動き予測・補償部１１４−０乃至動き予測・補償部１１４−２を互いに区別して説明する必要が無い場合、単に、動き予測・補償部１１４と称する。さらに、予測画像選択部１１５−０乃至予測画像選択部１１５−２を互いに区別して説明する必要が無い場合、単に、予測画像選択部１１５と称する。また、レート制御部１１６−０乃至レート制御部１１６−２を互いに区別して説明する必要が無い場合、単に、レート制御部１１６と称する。
【００９１】
V0画像符号化装置１００−０は、さらに、V0動きベクトル圧縮部１２１−０およびV0動きベクトルメモリ１２２−０を有する。V1画像符号化装置１００−１は、さらに、V1動きベクトル圧縮部１２１−１およびV1動きベクトルメモリ１２２−１を有する。V2画像符号化装置１００−２は、さらに、V2動きベクトル圧縮部１２１−２およびV2動きベクトルメモリ１２２−２を有する。
【００９２】
A/D変換部１０１は、入力された画像データ（A/D変換部１０１−０の場合ビュー０の画像データ、A/D変換部１０１−１の場合ビュー１の画像データ、A/D変換部１０１−２の場合ビュー２の画像データ）をA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１０２に供給し、記憶させる。
【００９３】
画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替える。つまり、画面並べ替えバッファ１０２は、POC順に並ぶ各ピクチャを、処理順に並び替える。画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、演算部１０３に供給する。また、画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、画面内予測部１１３および動き予測・補償部１１４にも供給する。
【００９４】
演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、予測画像選択部１１５を介して画面内予測部１１３若しくは動き予測・補償部１１４から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。例えば、イントラ符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、画面内予測部１１３から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、動き予測・補償部１１４から供給される予測画像を減算する。
【００９５】
直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部１０４は、その変換係数を量子化部１０５に供給する。
【００９６】
量子化部１０５は、直交変換部１０４から供給される変換係数を量子化する。量子化部１０５は、レート制御部１１６から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。
【００９７】
可逆符号化部１０６は、量子化部１０５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１１６の制御の下で量子化されているので、この符号量は、レート制御部１１６が設定した目標値となる（若しくは目標値に近似する）。
【００９８】
また、可逆符号化部１０６は、イントラ（画面内）予測のモードを示す情報などを画面内予測部１１３から取得し、インター（画面間）予測のモードを示す情報や差分動きベクトル情報などを動き予測・補償部１１４から取得する。
【００９９】
可逆符号化部１０６は、これらの各種情報を任意の符号化方式で符号化し、符号化データ（符号化ストリームとも称する）のヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。
【０１００】
可逆符号化部１０６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
【０１０１】
蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持する。蓄積バッファ１０７は、所定のタイミングにおいて、保持している符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。すなわち、蓄積バッファ１０７は、符号化データを伝送する伝送部でもある。
【０１０２】
また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。
【０１０３】
逆直交変換部１０９は、逆量子化部１０８から供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１１０に供給される。
【０１０４】
演算部１１０は、逆直交変換部１０９から供給された逆直交変換結果である、復元された差分情報に、予測画像選択部１１５を介して画面内予測部１１３若しくは動き予測・補償部１１４からの予測画像を加算し、局部的に復号された画像（復号画像）を得る。その復号画像は、ループフィルタ１１１に供給される。
【０１０５】
ループフィルタ１１１は、デブロックフィルタや適応ループフィルタ等を含み、演算部１１０から供給される復号画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ１１１は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ１１１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
【０１０６】
なお、ループフィルタ１１１が、復号画像に対して任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１１１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１０６に供給し、それを符号化させるようにすることもできる。
【０１０７】
ループフィルタ１１１は、フィルタ処理結果（以下、復号画像と称する）をデコードピクチャバッファ１１２に供給する。また、ループフィルタ１１１は、演算部１１０から供給される再構成画像を、画面内予測部１１３に供給する。
【０１０８】
デコードピクチャバッファ１１２は、ループフィルタ１１１から供給される復号画像をそれぞれ記憶する。また、デコードピクチャバッファ１１２は、その画像のビューIDおよびPOCを記憶する。
【０１０９】
デコードピクチャバッファ１１２は、所定のタイミングにおいて、若しくは、動き予測・補償部１１４等の外部からの要求に基づいて、記憶している復号画像（並びに、その画像のビューIDおよびPOC）を、当該ビュー用の動き予測・補償部１１４に供給する。
【０１１０】
また、デコードピクチャバッファ１１２は、所定のタイミングにおいて、若しくは、動き予測・補償部１１４等の外部からの要求に基づいて、記憶している復号画像（並びに、その画像のビューIDおよびPOC）を、次に処理されるビュー用の動き予測・補償部１１４にも供給する。例えば、デコードピクチャバッファ１１２−０は、復号画像を、動き予測・補償部１１４−０および動き予測・補償部１１４−１に供給する。また、例えば、デコードピクチャバッファ１１２−１は、復号画像を、動き予測・補償部１１４−１および動き予測・補償部１１４−２に供給する。ただし、ビュー２は、最後に処理されるビューであるので、デコードピクチャバッファ１１２−２は、復号画像を、動き予測・補償部１１４−２に供給する。
【０１１１】
画面内予測部１１３は、ループフィルタ１１１から、処理対象領域（カレントブロック）の周辺に位置する周辺領域（周辺ブロック）の画像を取得すると、その周辺ブロックの画像の画素値を用いて、基本的にプレディクションユニット（PU）を処理単位として予測画像を生成するイントラ予測（画面内予測）を行う。画面内予測部１１３は、予め用意された複数のモード（イントラ予測モード）でこのイントラ予測を行う。
【０１１２】
画面内予測部１１３は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１０２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。画面内予測部１１３は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１５に供給する。
【０１１３】
また、画面内予測部１１３は、最適なイントラ予測モード等、イントラ予測に関する情報を含むイントラ予測情報を、適宜可逆符号化部１０６に供給し、符号化させる。
【０１１４】
動き予測・補償部１１４は、カレントブロックについて動き予測を行って動きベクトルを生成し、生成された動きベクトルに応じて補償処理を行ってカレントブロックの予測画像（インター予測画像情報）を生成する。この動き予測・補償処理において、動き予測・補償部１１４は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部１１４は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１５に供給する。
【０１１５】
動き予測・補償部１１４は、デコードピクチャバッファ１１２から取得したデコード画像を用いて、以上のような動き予測・補償処理を行う。
【０１１６】
最初に処理されるビューの場合、動き予測・補償部１１４は、当該ビューの画像を記憶するデコードピクチャバッファ１１２から取得したデコード画像を用いて、動き予測・補償処理を行う。例えば、動き予測・補償部１１４−０は、デコードピクチャバッファ１１２−０から取得したデコード画像を用いて、動き予測・補償処理を行う。
【０１１７】
２番目以降に処理されるビューの場合、動き予測・補償部１１４は、当該ビューの画像を記憶するデコードピクチャバッファ１１２、および、１つ前に処理されたビューの画像を記憶するデコードピクチャバッファ１１２から取得したデコード画像を用いて、動き予測・補償処理を行う。例えば、動き予測・補償部１１４−１は、デコードピクチャバッファ１１２−０およびデコードピクチャバッファ１１２−１から取得したデコード画像を用いて、動き予測・補償処理を行う。また、例えば、動き予測・補償部１１４−２は、デコードピクチャバッファ１１２−１およびデコードピクチャバッファ１１２−２から取得したデコード画像を用いて、動き予測・補償処理を行う。
【０１１８】
また、動き予測・補償部１１４は、インター予測が採用された場合、最適なインター予測モード等、インター予測に関する情報を含むインター予測情報を可逆符号化部１０６に供給し、伝送させる。
【０１１９】
動き予測・補償部１１４は、このインター予測情報として、復号側で動き補償を行うために、最適なモードの動きベクトルを伝送させる。実際には、動き予測・補償部１１４は、符号化効率をより向上させるために、動きベクトルの代わりに、動きベクトルと予測動きベクトルとの差分である差分動きベクトルを伝送させる。つまり、動き予測・補償部１１４は、カレントブロックの動きベクトルの予測を行って予測動きベクトルを生成し、カレントブロックの動きベクトルと予測動きベクトルとの差分である差分動きベクトルを生成する。動き予測・補償部１１４は、この差分動きベクトルをインター予測情報の一部として復号側に伝送させる。
【０１２０】
このような動きベクトルの予測において、動き予測・補償部１１４は、カレントブロックの周辺のブロックの動きベクトルを用いて、カレントブロックの予測動きベクトルを生成する。その際、動き予測・補償部１１４は、予測動きベクトルの予測精度をより向上させ、符号化効率をより向上させるために、予測動きベクトルの候補を複数生成し、各候補についてのコスト関数値を求め、それらのコスト関数値に基づいて、その候補の中から最適なものを選択することができる。つまり、動き予測・補償部１１４は、予測動きベクトルの候補を、複数の方法で生成することができる。
【０１２１】
例えば、動き予測・補償部１１４は、カレントブロックの、空間的、時間的、および、ビュー間的に周辺のブロックの動きベクトルを参照して、カレントブロックの予測動きベクトルを生成することができる。なお、動き予測・補償部１１４は、この予測動きベクトルとしてどの候補を選択したかを示す情報（つまり、予測動きベクトルのモード情報）をインター予測情報の一部として復号側に伝送させる。
【０１２２】
動き予測・補償部１１４は、当該ビューに対応する動きベクトルメモリから、空間的に周辺のブロックの動きベクトルを取得する。例えば、動き予測・補償部１１４−０は、V0動きベクトルメモリ１２２−０から動きベクトルを取得する。また、例えば、動き予測・補償部１１４−１は、V1動きベクトルメモリ１２２−１から動きベクトルを取得する。さらに、例えば、動き予測・補償部１１４−２は、V2動きベクトルメモリ１２２−２から動きベクトルを取得する。
【０１２３】
２番目以降に処理されるビューにおいては、動き予測・補償部１１４は、さらに、過去の処理されたビューに対応する動きベクトルメモリから、ビュー間的に周辺のブロックの動きベクトルも取得する。例えば、動き予測・補償部１１４−１は、V0動きベクトルメモリ１２２−０から動きベクトルを取得する。さらに、例えば、動き予測・補償部１１４−２は、V1動きベクトルメモリ１２２−1から動きベクトルを取得する。
【０１２４】
これらの動きベクトルは、圧縮されている。つまり、他のレイヤの符号化における動き予測・補償において生成されて圧縮された動きベクトルを用いて、カレントレイヤの符号化における動き予測・補償が行われる。つまり、符号化に必要な記憶容量の増大を抑制することができる。
【０１２５】
動き予測・補償部１１４−０は、動き予測・補償処理において生成したカレントブロックの動きベクトル（最適モードの動きベクトル）を、V0動きベクトル圧縮部１２１−０に供給する。また、動き予測・補償部１１４−１は、生成したカレントブロックの動きベクトルを、V1動きベクトル圧縮部１２１−１に供給する。さらに、動き予測・補償部１１４−２は、生成したカレントブロックの動きベクトルを、V2動きベクトル圧縮部１２１−２に供給する。
【０１２６】
予測画像選択部１１５は、演算部１０３や演算部１１０に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部１１５は、予測画像の供給元として画面内予測部１１３を選択し、その画面内予測部１１３から供給される予測画像を演算部１０３や演算部１１０に供給する。また、例えば、インター符号化の場合、予測画像選択部１１５は、予測画像の供給元として動き予測・補償部１１４を選択し、その動き予測・補償部１１４から供給される予測画像を演算部１０３や演算部１１０に供給する。
【０１２７】
レート制御部１１６は、蓄積バッファ１０７に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
【０１２８】
V0動きベクトル圧縮部１２１−０は、動き予測・補償部１１４−０から取得した、最高4x4精度の動きベクトル（圧縮前V0動きベクトルとも称する）を、16x16精度に圧縮し（1/16圧縮とも称する）、その圧縮後の動きベクトル（1/16圧縮後V0動きベクトルとも称する）をV0動きベクトルメモリ１２２−０に供給する。
【０１２９】
この動きベクトルの圧縮方法は任意である。例えば、V0動きベクトル圧縮部１２１−０が、動き予測・補償部１１４−０から取得した複数の動きベクトルの中から、その代表値とする動きベクトルを選択するようにしてもよい。例えば、4x4精度の１６個の動きベクトル（4x4個の各ブロックの動きベクトル）から、代表値とする動きベクトルが１つ選択されるようにしてもよい。この圧縮により、動きベクトルの精度は、16x16精度となる。
【０１３０】
なお、この動きベクトルの選択方法は任意である。例えば左上端のブロック等、所定の位置のブロックの動きベクトルを選択するようにしてもよいし、例えば画像内の位置に応じてブロックを選択する等、所定の方法で定められた位置のブロックの動きベクトルを選択するようにしてもよい。
【０１３１】
また、選択する動きベクトルの数は、任意であり、２つ以上であってもよい。
【０１３２】
また、V0動きベクトル圧縮部１２１−０は、例えば、各動きベクトルを用いた所定の演算により代表値を算出するようにしてもよい。この代表値の算出方法は、任意である。例えば、各ブロックの動きベクトルの平均値や中央値を代表値としてもよい。なお、算出する代表値の数は、任意であり、２つ以上であってもよい。
【０１３３】
以上のように求められた1/16圧縮後V0動きベクトル（動きベクトルの代表値）は、V0動きベクトルメモリ１２２−０に供給され、記憶される。V0動きベクトルメモリ１２２−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部１１４−０に供給する。また、V0動きベクトルメモリ１２２−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き予測・補償部１１４−１に供給する。
【０１３４】
V1動きベクトル圧縮部１２１−１は、動き予測・補償部１１４−１から取得した、最高4x4精度の動きベクトル（圧縮前V1動きベクトルとも称する）を1/16圧縮し、その圧縮後の動きベクトル（1/16圧縮後V1動きベクトルとも称する）をV1動きベクトルメモリ１２２−１に供給し、記憶させる。V1動きベクトルメモリ１２２−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部１１４−１に供給する。また、V1動きベクトルメモリ１２２−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き予測・補償部１１４−２に供給する。
【０１３５】
V2動きベクトル圧縮部１２１−２は、動き予測・補償部１１４−２から取得した、最高4x4精度の動きベクトル（圧縮前V2動きベクトルとも称する）を1/16圧縮し、その圧縮後の動きベクトル（1/16圧縮後V2動きベクトルとも称する）をV2動きベクトルメモリ１２２−２に供給し、記憶させる。V2動きベクトルメモリ１２２−２は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部１１４−２に供給する。
【０１３６】
なお、V1動きベクトル圧縮部１２１−１およびV2動きベクトル圧縮部１２１−２による動きベクトルの圧縮方法は、V0動きベクトル圧縮部１２１−０の場合と同様であるので、その説明は省略する。
【０１３７】
V0動きベクトル圧縮部１２１−０、V1動きベクトル圧縮部１２１−１、およびV2動きベクトル圧縮部１２１−２は、所定の単位毎に、以上のような動きベクトルの圧縮を行う。例えば、V0動きベクトル圧縮部１２１−０、V1動きベクトル圧縮部１２１−１、およびV2動きベクトル圧縮部１２１−２が、LCU毎に、以上のような動きベクトルの圧縮を行うようにしてもよい。なお、この処理単位は、V0動きベクトル圧縮部１２１−０、V1動きベクトル圧縮部１２１−１、およびV2動きベクトル圧縮部１２１−２において統一されていてもよいし、統一されていなくてもよい。また、この処理単位がシーケンス中において可変としても良い。
【０１３８】
さらに、V0動きベクトル圧縮部１２１−０、V1動きベクトル圧縮部１２１−１、およびV2動きベクトル圧縮部１２１−２のそれぞれによる、動きベクトルの圧縮方法は、互いに同一であっても良いし、同一でなくてもよい。
【０１３９】
以上のように、V0動きベクトル圧縮部１２１−０、V1動きベクトル圧縮部１２１−１、およびV2動きベクトル圧縮部１２１−２が、動きベクトルの数を減らすことにより、動きベクトルの情報量を低減させる（すなわち圧縮する）ことができる。これにより、V0動きベクトルメモリ１２２−０、V1動きベクトルメモリ１２２−１、およびV2動きベクトルメモリ１２２−２の容量を低減させることができる。
【０１４０】
また、上述したように、動き予測・補償部１１４は、V0動きベクトルメモリ１２２−０、V1動きベクトルメモリ１２２−１、およびV2動きベクトルメモリ１２２−２に格納された動きベクトルを、TMVP用の動きベクトルとして参照するだけでなく、IVMP用の動きベクトルとして参照することができる。このようにTMVP用の動きベクトルとIVMP用の動きベクトルとを共通化することにより、符号化に必要な記憶容量を低減させることができる。また、動きベクトルの圧縮による負荷の増大を抑制することができる。これにより、画像符号化装置１００の、製造や開発のコストの低減、装置の小型化、並びに、消費電力の低減等を実現することができる。
【０１４１】
＜符号化処理の流れ＞
次に、以上のような画像符号化装置１００により実行される処理の流れについて説明する。図９のフローチャートを参照して、画像符号化装置１００による符号化処理の流れの例を説明する。
【０１４２】
符号化処理が開始されると、V0画像符号化装置１００−０は、カレントピクチャについて、ステップＳ１００１において、V0符号化処理を行う。ステップＳ１００２において、V1画像符号化装置１００−１は、カレントピクチャについて、V1符号化処理を行う。ステップＳ１００３において、V2画像符号化装置１００−２は、カレントピクチャについて、V2符号化処理を行う。
【０１４３】
ステップＳ１００４において、画像符号化装置１００は、全てのピクチャを処理したか否かを判定し、未処理のピクチャが存在すると判定した場合、処理をステップＳ１００１に戻し、それ以降の処理を繰り返す。
【０１４４】
各ピクチャについて、ステップＳ１００１乃至ステップＳ１００４の処理が繰り返され、ステップＳ１００４において、全てのピクチャが処理されたと判定された場合、画像符号化装置１００は、符号化処理を終了する。
【０１４５】
＜V0符号化処理の流れ＞
次に、図１０のフローチャートを参照して、図９のステップＳ１００１において実行される、ビュー０の符号化を行うV0符号化処理の流れの例を説明する。
【０１４６】
ステップＳ１１０１においてA/D変換部１０１−０は、入力された画像をA/D変換する。ステップＳ１１０２において、画面並べ替えバッファ１０２−０は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。ステップＳ１１０３において、画面内予測部１１３−０は、イントラ予測モードのイントラ予測処理を行う。
【０１４７】
ステップＳ１１０４において、動き予測・補償部１１４−０は、インター予測モードでの動き予測や動き補償を行うV0インター動き予測処理を行う。
【０１４８】
ステップＳ１１０５において、予測画像選択部１１５−０は、画面内予測部１１３−０により生成された予測画像と、動き予測・補償部１１４−０により生成された予測画像のいずれか一方を選択する。
【０１４９】
ステップＳ１１０６において、V0動きベクトル圧縮部１２１−０は、ステップＳ１１０４の処理により生成されたビュー０のカレントピクチャの動きベクトルであり、最高4x4精度の圧縮前V0動きベクトルを、16x16精度に圧縮する（1/16圧縮）。この1/16圧縮は、例えば、LCU（例えば16x16画素）毎に行われる。例えば、V0動きベクトル圧縮部１２１−０は、16x16画素の左上端のブロックのV0動きベクトルを、この16x16画素の代表値（すなわち16x16精度のV0動きベクトル）として選択する。
【０１５０】
ステップＳ１１０７において、V0動きベクトルメモリ１２２−０は、ステップＳ１１０６の処理により生成された1/16圧縮後V0動きベクトルを記憶する。
【０１５１】
ステップＳ１１０８において、演算部１０３−０は、ステップＳ１１０２の処理により並び替えられた画像から、ステップＳ１１０５の処理により選択された予測画像を減算する。この演算により得られる差分データ（ステップＳ１１０２の処理により並び替えられた画像と、ステップＳ１１０５の処理により選択された予測画像との差分画像のデータ）は、元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
【０１５２】
ステップＳ１１０９において、直交変換部１０４−０は、ステップＳ１１０８の処理により生成された差分データに対する直交変換処理を行う。
【０１５３】
ステップＳ１１１０において、量子化部１０５−０は、レート制御部１１６−０により算出された量子化パラメータを用いて、ステップＳ１１０９の処理により得られた直交変換係数を量子化する。
【０１５４】
ステップＳ１１１１において、可逆符号化部１０６−０は、ステップＳ１１１０の処理により量子化された係数を符号化する。すなわち、差分画像に対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。
【０１５５】
また、このとき、可逆符号化部１０６−０は、ステップＳ１１０５の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１０６−０は、画面内予測部１１３−０から供給される最適イントラ予測モード情報、または、動き予測・補償部１１４−０から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。
【０１５６】
ステップＳ１１１２において蓄積バッファ１０７−０は、ステップＳ１１１１の処理により得られた符号化データを蓄積する。蓄積バッファ１０７−０に蓄積された符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。
【０１５７】
ステップＳ１１１０の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１１１３において、逆量子化部１０８−０は、ステップＳ１１１０の処理により生成された量子化された直交変換係数（量子化係数とも称する）を量子化部１０５−０の特性に対応する特性で逆量子化する。ステップＳ１１１４において、逆直交変換部１０９−０は、ステップＳ１１１３の処理により得られた直交変換係数を、直交変換部１０４−０の特性に対応する特性で逆直交変換する。これにより差分画像が復元される。
【０１５８】
ステップＳ１１１５において、演算部１１０−０は、ステップＳ１１０５において選択された予測画像を、ステップＳ１１１４において復元された差分画像に加算し、局部的に復号された復号画像（再構成画像）を生成する。
【０１５９】
V0画像符号化装置１００−０は、処理対象であるカレントLCU内の各ブロックについて、ステップＳ１１０３乃至ステップＳ１１１５の各処理を行う。ステップＳ１１１６において、V0画像符号化装置１００−０は、全てのLCUを処理したか否かを判定する。未処理のLCUが存在すると判定した場合、処理は、ステップＳ１１０３に戻り、それ以降の処理を繰り返す。カレントピクチャのビュー０の画像の各LCUについて、ステップＳ１１０３乃至ステップＳ１１１５の各処理が実行され、ステップＳ１１１６において、全てのLCUが処理されたと判定された場合、処理は、ステップＳ１１１７に進む。
【０１６０】
ステップＳ１１１７において、ループフィルタ１１１−０は、ステップＳ１１１５の処理により得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行い、復号画像を生成する。
【０１６１】
ステップＳ１１１８において、デコードピクチャバッファ１１２−０は、ステップＳ１１１７の処理により生成された復号画像を記憶する。
【０１６２】
ステップＳ１１１９においてレート制御部１１６−０は、ステップＳ１１１８の処理により蓄積バッファ１０７−０に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１０５−０の量子化動作のレートを制御する。また、レート制御部１１６−０は、量子化パラメータに関する情報を、量子化部１０５−０に供給する。
【０１６３】
ステップＳ１１１９の処理が終了すると、V0符号化処理が終了し、処理は図９に戻る。
【０１６４】
＜V0インター動き予測処理の流れ＞
次に、図１０のステップＳ１１０４において実行されるV0インター動き予測処理の流れの例を、図１１のフローチャートを参照して説明する。
【０１６５】
V0インター動き予測処理が開始されると、動き予測・補償部１１４−０は、ステップＳ１１３１において、動き探索処理を行い、カレントブロックの動きベクトルを生成する。
【０１６６】
ステップＳ１１３２において、動き予測・補償部１１４−０は、ピクチャ内の圧縮前V0動きベクトルを用いて、空間予測動きベクトル候補を決定する。空間予測動きベクトル候補とは、カレントブロックの空間的に周辺のブロックの動きベクトルから生成される予測動きベクトルの候補である。つまり、動き予測・補償部１１４−０は、カレントブロックの空間的に周辺のブロックのV0動きベクトルを用いて空間予測動きベクトル候補を決定する。このV0動きベクトルは、カレントピクチャ内の動きベクトルであるので、動き予測・補償部１１４−０により非圧縮（最高4x4精度）の状態で保持されている。したがって、動き予測・補償部１１４−０は、その圧縮前V0動きベクトルを用いて、空間予測動きベクトル候補を決定する。
【０１６７】
ステップＳ１１３３において、動き予測・補償部１１４−０は、他のピクチャの1/16圧縮後V0動きベクトルを用いて、時間予測動きベクトル候補を決定する。時間予測動きベクトル候補とは、カレントブロックの時間的に周辺のブロックの動きベクトルから生成される予測動きベクトルの候補である。つまり、動き予測・補償部１１４−０は、カレントブロックの時間的に周辺のピクチャのコロケーテッドブロックのV0動きベクトルを用いて空間予測動きベクトル候補を決定する。このV0動きベクトルは、カレントピクチャとは同一ビューの異なるピクチャ内の動きベクトルであるので、圧縮された（16x16精度）の状態でV0動きベクトルメモリ１２２−０に保持されている。したがって、動き予測・補償部１１４−０は、V0動きベクトルメモリ１２２−０から、その1/16圧縮後V0動きベクトルを読み出し、それを用いて時間予測動きベクトル候補を決定する。
【０１６８】
ビュー０は、最初に処理されるビューであるので、ビュー間の相関性を利用した予測動きベクトル候補の生成は行われない。
【０１６９】
ステップＳ１１３４において、動き予測・補償部１１４−０は、ステップＳ１１３２およびステップＳ１１３３において生成された各候補について、コスト関数値を算出する。
【０１７０】
ステップＳ１１３５において、動き予測・補償部１１４−０は、ステップＳ１１３４において算出された各コスト関数値に基づいて、最適な予測モードを判定する。このとき、動き予測・補償部１１４−０は、予測動きベクトル（のモード）も決定する。
【０１７１】
ステップＳ１１３６において、動き予測・補償部１１４−０は、ステップＳ１１３５において判定された最適なモードで動き補償を行い、予測画像を生成する。また、動き予測・補償部１１４−０は、最適なインター予測モード、差分動きベクトル、予測動きベクトルのモード等を含むインター予測情報を生成する。
【０１７２】
ステップＳ１１３７において、動き予測・補償部１１４−０は、最適モードの動きベクトルを圧縮前V0動きベクトルとしてバッファに記憶する。ステップＳ１１３７の処理が終了すると、V0インター動き予測処理が終了し、処理は、図１０に戻る。
【０１７３】
＜V1符号化処理の流れ＞
次に、図１２のフローチャートを参照して、図９のステップＳ１００２において実行される、ビュー１の符号化を行うV1符号化処理の流れの例を説明する。
【０１７４】
ビュー０に対する処理と、ビュー１に対する処理の違いは、主に、インター動き予測処理にある。したがって、図１２に示されるように、V1符号化処理は、V1画像符号化装置１００−１によって、ビュー０に対する符号化処理（図１０のV0符号化処理）の場合と基本的に同様に実行される。つまり、図１２のステップＳ１２０１乃至ステップＳ１２１９の各処理は、図１０のステップＳ１１０１乃至ステップＳ１１１９の各処理と基本的に同様に実行される。したがって、図１２の説明は、図１０の説明におけるV0画像符号化装置１００−０の各部をV1画像符号化装置１００−１の各部に置き換え、図１０においてビュー０に対する処理との説明を、ビュー１に対する処理に置き換えるだけでよいので、その説明は省略する。
【０１７５】
＜V1インター動き予測処理の流れ＞
次に、図１２のステップＳ１２０４において実行されるV1インター動き予測処理の流れの例を、図１３のフローチャートを参照して説明する。
【０１７６】
V1インター動き予測処理が開始されると、ステップＳ１２３１乃至ステップＳ１２３３の各処理は、図１１のステップＳ１１３１乃至ステップＳ１１３３の各処理と基本的に同様に実行される。ただし、V1インター動き予測処理は、動き予測・補償部１１４−１が実行する。また、図１３の各処理は、ビュー１に対して行われるので、ステップＳ１２３２においては、非圧縮のビュー１の動きベクトルである圧縮前V1動きベクトルが用いられる。また、ステップＳ１２３３においては、1/16圧縮された1/16圧縮後V1動きベクトルが用いられる。
【０１７７】
ビュー１に対するインター動き予測処理においては、空間予測による候補と時間予測による候補の生成に加えて、ビュー間の相関性を利用した予測動きベクトル候補（IVMPによる候補）の生成も行われる。
【０１７８】
つまり、ステップＳ１２３４において、動き予測・補償部１１４−１は、1/16圧縮後V0動きベクトルを用いて、IVMP予測動きベクトル候補を決定する。IVMP予測動きベクトル候補とは、カレントブロックのビュー間的に周辺のブロックの動きベクトルから生成される予測動きベクトルの候補である。つまり、動き予測・補償部１１４−１は、カレントブロックと同一ピクチャの異なるビューの画像のコロケーテッドブロックのV0動きベクトルを用いてIVMP予測動きベクトル候補を決定する。このV0動きベクトルは、カレントピクチャと同一のピクチャの異なるビューの動きベクトルであるので、圧縮された（16x16精度）の状態でV0動きベクトルメモリ１２２−０に保持されている。したがって、動き予測・補償部１１４−１は、V0動きベクトルメモリ１２２−０から、その1/16圧縮後V0動きベクトルを読み出し、それを用いてビュー間予測動きベクトル候補を決定する。
【０１７９】
ステップＳ１２３５乃至ステップＳ１２３８の各処理は、図１１のステップＳ１１３４乃至ステップＳ１１３７の各処理と同様に実行される。ステップＳ１２３８の処理が終了すると、V1インター動き予測処理が終了し、処理は、図１２に戻る。
【０１８０】
＜V2符号化処理の流れ＞
次に、図１４のフローチャートを参照して、図９のステップＳ１００３において実行される、ビュー２の符号化を行うV2符号化処理の流れの例を説明する。
【０１８１】
ビュー２に対する処理は、ビュー１に対する処理と同様に実行される。したがって、図１４に示されるように、V2符号化処理は、V2画像符号化装置１００−２によって、ビュー１に対する符号化処理（図１２のV1符号化処理）の場合と基本的に同様に実行される。つまり、図１４のステップＳ１３０１乃至ステップＳ１３１９の各処理は、図１２のステップＳ１２０１乃至ステップＳ１２１９の各処理と基本的に同様に実行される。したがって、図１４の説明は、図１２の説明におけるV1画像符号化装置１００−１の各部をV2画像符号化装置１００−２の各部に置き換え、図１２においてビュー１に対する処理との説明を、ビュー２に対する処理に置き換えるだけでよいので、その説明は省略する。
【０１８２】
＜V2インター動き予測処理の流れ＞
次に、図１４のステップＳ１３０４において実行されるV2インター動き予測処理の流れの例を、図１５のフローチャートを参照して説明する。
【０１８３】
図１５に示されるように、V2インター動き予測処理は、動き予測・補償部１１４−２によって、ビュー１に対するインター動き予測処理（図１３のV1インター動き予測処理）の場合と基本的に同様に実行される。つまり、図１５のステップＳ１３３１乃至ステップＳ１３３８の各処理は、図１３のステップＳ１２３１乃至ステップＳ１２３８の各処理と基本的に同様に実行される。
【０１８４】
ただし、ステップＳ１３３２においては、非圧縮のビュー２の動きベクトルである圧縮前V2動きベクトルが用いられる。また、ステップＳ１３３３においては、1/16圧縮された1/16圧縮後V2動きベクトルが用いられる。さらに、ステップＳ１３３４においては、1/16圧縮された1/16圧縮後V1動きベクトルが用いられる。
【０１８５】
ステップＳ１３３８の処理が終了すると、V2インター動き予測処理が終了し、処理は、図１４に戻る。
【０１８６】
以上のように各処理を実行することにより、画像符号化装置１００は、IVMP用の動きベクトルのために必要なメモリ容量を低減させることができ、符号化・復号に必要な記憶容量の増大を抑制することができる。
【０１８７】
＜画像復号装置＞
次に、以上のように符号化された符号化データ（符号化ストリーム）の復号について説明する。図１６は、V0画像復号装置の主な構成例を示すブロック図である。図１７は、V1画像復号装置の主な構成例を示すブロック図である。図１８は、V2画像復号装置の主な構成例を示すブロック図である。
【０１８８】
図示せぬ画像復号装置２００は、画像符号化装置１００により符号化された、図２に示される多視点画像のような複数レイヤよりなる動画像の符号化データを、その符号化方法に対応する復号方法で復号する。この画像復号装置２００は、多視点画像の各ビューの符号化データを復号するために、図１６のV0画像復号装置２００−０、図１７のV1画像復号装置２００−１、および図１８のV2画像復号装置２００−２を有する。V0画像復号装置２００−０は、V0画像符号化装置１００−０により符号化されたビュー０の画像の符号化データを復号する。V1画像復号装置２００−１は、V1画像符号化装置１００−１により符号化されたビュー１の画像の符号化データを復号する。V2画像復号装置２００−２は、V2画像符号化装置１００−２により符号化されたビュー２の画像の符号化データを復号する。
【０１８９】
図１６に示されるように、V0画像復号装置２００−０は、蓄積バッファ２０１−０、可逆復号部２０２−０、逆量子化部２０３−０、逆直交変換部２０４−０、演算部２０５−０、ループフィルタ２０６−０、画面並べ替えバッファ２０７−０、およびD/A変換部２０８−０を有する。また、V0画像復号装置２００−０は、デコードピクチャバッファ２０９−０、画面内予測部２１０−０、動き補償部２１１−０、および選択部２１２−０を有する。
【０１９０】
また、図１７に示されるように、V1画像復号装置２００−１は、蓄積バッファ２０１−１、可逆復号部２０２−１、逆量子化部２０３−１、逆直交変換部２０４−１、演算部２０５−１、ループフィルタ２０６−１、画面並べ替えバッファ２０７−１、およびD/A変換部２０８−１を有する。また、V1画像復号装置２００−１は、デコードピクチャバッファ２０９−１、画面内予測部２１０−１、動き補償部２１１−１、および選択部２１２−１を有する。
【０１９１】
さらに、図１８に示されるように、V2画像復号装置２００−２は、蓄積バッファ２０１−２、可逆復号部２０２−２、逆量子化部２０３−２、逆直交変換部２０４−２、演算部２０５−２、ループフィルタ２０６−２、画面並べ替えバッファ２０７−２、およびD/A変換部２０８−２を有する。また、V2画像復号装置２００−２は、デコードピクチャバッファ２０９−２、画面内予測部２１０−２、動き補償部２１１−２、および選択部２１２−２を有する。
【０１９２】
以下において、蓄積バッファ２０１−０乃至蓄積バッファ２０１−２を互いに区別して説明する必要が無い場合、単に、蓄積バッファ２０１と称する。また、可逆復号部２０２−０乃至可逆復号部２０２−２を互いに区別して説明する必要が無い場合、単に、可逆復号部２０２と称する。さらに、逆量子化部２０３−０乃至逆量子化部２０３−２を互いに区別して説明する必要が無い場合、単に、逆量子化部２０３と称する。また、逆直交変換部２０４−０乃至逆直交変換部２０４−２を互いに区別して説明する必要が無い場合、単に、逆直交変換部２０４と称する。さらに、演算部２０５−０乃至演算部２０５−２を互いに区別して説明する必要が無い場合、単に、演算部２０５と称する。
【０１９３】
また、ループフィルタ２０６−０乃至ループフィルタ２０６−２を互いに区別して説明する必要が無い場合、単に、ループフィルタ２０６と称する。さらに、画面並べ替えバッファ２０７−０乃至画面並べ替えバッファ２０７−２を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ２０７と称する。また、D/A変換部２０８−０乃至D/A変換部２０８−２を互いに区別して説明する必要が無い場合、単に、D/A変換部２０８と称する。さらに、デコードピクチャバッファ２０９−０乃至デコードピクチャバッファ２０９−２を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ２０９と称する。
【０１９４】
また、画面内予測部２１０−０乃至画面内予測部２１０−２を互いに区別して説明する必要が無い場合、単に、画面内予測部２１０と称する。さらに、動き補償部２１１−０乃至動き補償部２１１−２を互いに区別して説明する必要が無い場合、単に、動き補償部２１１と称する。また、選択部２１２−０乃至選択部２１２−２を互いに区別して説明する必要が無い場合、単に、選択部２１２と称する。
【０１９５】
V0画像復号装置２００−０は、さらに、V0動きベクトル圧縮部２２１−０およびV0動きベクトルメモリ２２２−０を有する。V1画像復号装置２００−１は、さらに、V1動きベクトル圧縮部２２１−１およびV1動きベクトルメモリ２２２−１を有する。V2画像復号装置２００−２は、さらに、V2動きベクトル圧縮部２２１−２およびV2動きベクトルメモリ２２２−２を有する。
【０１９６】
蓄積バッファ２０１は、伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ２０１は、伝送されてきた符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部２０２に供給する。符号化データには、予測モード情報などの復号に必要な情報が付加されている。可逆復号部２０２は、蓄積バッファ２０１から供給された、可逆符号化部１０６（図６乃至図８）により符号化された情報を、可逆符号化部１０６の符号化方式に対応する方式で復号する。可逆復号部２０２は、復号して得られた差分画像の量子化された係数データを、逆量子化部２０３に供給する。
【０１９７】
また、可逆復号部２０２は、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、画面内予測部２１０および動き補償部２１１の内、選択されたと判定したモードの方に供給する。つまり、例えば、符号化側において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報が画面内予測部２１０に供給される。また、例えば、符号化側において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報が動き補償部２１１に供給される。
【０１９８】
さらに、可逆復号部２０２は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報を逆量子化部２０３に供給する。
【０１９９】
逆量子化部２０３は、可逆復号部２０２により復号されて得られた量子化された係数データを、量子化部１０５の量子化方式に対応する方式で逆量子化する。なお、この逆量子化部２０３は、逆量子化部１０８と同様の処理部である。つまり、逆量子化部２０３の説明は、逆量子化部１０８にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。
【０２００】
逆量子化部２０３は、得られた係数データを逆直交変換部２０４に供給する。
【０２０１】
逆直交変換部２０４は、逆量子化部２０３から供給される直交変換係数を、直交変換部１０４の直交変換方式に対応する方式で逆直交変換する。なお、この逆直交変換部２０４は、逆直交変換部１０９と同様の処理部である。つまり、逆直交変換部２０４の説明は、逆直交変換部１０９にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。
【０２０２】
逆直交変換部２０４は、この逆直交変換処理により、画像符号化装置１００において直交変換される前の残差データ（差分画像）に対応する復号残差データ（差分画像）を得る。逆直交変換されて得られた差分画像は、演算部２０５に供給される。また、演算部２０５には、選択部２１２を介して、画面内予測部２１０若しくは動き補償部２１１から予測画像が供給される。
【０２０３】
演算部２０５は、その差分画像と予測画像とを加算し、演算部１０３により予測画像が減算される前の画像データに対応する再構成画像を得る。演算部２０５は、その再構成画像をループフィルタ２０６に供給する。
【０２０４】
ループフィルタ２０６は、供給された再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施して復号画像を生成する。例えば、ループフィルタ２０６は、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。また、例えば、ループフィルタ２０６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
【０２０５】
なお、ループフィルタ２０６が行うフィルタ処理の種類は任意であり、上述した以外のフィルタ処理を行ってもよい。また、ループフィルタ２０６が、画像符号化装置１００から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。
【０２０６】
ループフィルタ２０６は、フィルタ処理結果である復号画像を画面並べ替えバッファ２０７およびデコードピクチャバッファ２０９に供給する。また、ループフィルタ２０６は、演算部２０５の出力（再構成画像）を、フィルタ処理せずに、画面内予測部２１０に供給する。例えば、画面内予測部２１０は、この画像に含まれる画素の画素値を周辺画素の画素値として利用する。
【０２０７】
画面並べ替えバッファ２０７は、供給された復号画像の並べ替えを行う。すなわち、画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２０８は、画面並べ替えバッファ２０７から供給された復号画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
【０２０８】
デコードピクチャバッファ２０９は、供給される復号画像（並びに、その画像のビューIDおよびPOC）を記憶する。また、デコードピクチャバッファ２０９は、所定のタイミングにおいて、若しくは、動き補償部２１１等の外部の要求に基づいて、記憶している復号画像（並びに、その画像のビューIDおよびPOC）を動き補償部２１１に供給する。
【０２０９】
画面内予測部２１０は、画面内予測部１１３と基本的に同様の処理を行う。ただし、画面内予測部２１０は、符号化の際にイントラ予測により予測画像が生成された領域に対してのみ、イントラ予測を行う。画面内予測部２１０は、予測処理単位の領域毎に、生成した予測画像を、選択部２１２を介して演算部２０５に供給する。
【０２１０】
動き補償部２１１は、可逆復号部２０２から供給されるインター予測情報に基づいて、符号化の際にインター予測が行われた領域に対して、符号化の際に採用されたインター予測モードで動き補償を行い、予測画像を生成する。動き補償部２１１は、予測処理単位の領域毎に、生成した予測画像を、選択部２１２を介して演算部２０５に供給する。
【０２１１】
動き補償部２１１は、デコードピクチャバッファ２０９から取得したデコード画像を用いて、以上のような動き補償処理を行う。
【０２１２】
最初に処理されるビューの場合、動き補償部２１１は、当該ビューの画像を記憶するデコードピクチャバッファ２０９から取得したデコード画像を用いて、動き補償処理を行う。例えば、動き補償部２１１−０は、デコードピクチャバッファ２０９−０から取得したデコード画像を用いて、動き補償処理を行う。
【０２１３】
２番目以降に処理されるビューの場合、動き補償部２１１は、当該ビューの画像を記憶するデコードピクチャバッファ２０９、および、１つ前に処理されたビューの画像を記憶するデコードピクチャバッファ２０９から取得したデコード画像を用いて、動き補償処理を行う。例えば、動き補償部２１１−１は、デコードピクチャバッファ２０９−０およびデコードピクチャバッファ２０９−１から取得したデコード画像を用いて、動き補償処理を行う。また、例えば、動き補償部２１１−２は、デコードピクチャバッファ２０９−１およびデコードピクチャバッファ２０９−２から取得したデコード画像を用いて、動き補償処理を行う。
【０２１４】
動き補償部２１１は、インター予測情報として符号化側から伝送された差分動きベクトルから、カレントブロックの動きベクトルを再構築する。その際、動き補償部２１１は、可逆復号部２０２から供給されるインター予測情報に基づいて、動き予測・補償部１１４と同様の方法（モード）でカレントブロックの動きベクトルの予測を行い、予測動きベクトルを生成する。動き補償部２１１は、差分動きベクトルに予測動きベクトルを加算することにより、カレントブロックの動きベクトルを再構築する。
【０２１５】
つまり、動き補償部２１１は、カレントブロックの、空間的、時間的、若しくはビュー間的に周辺のブロックの動きベクトルを参照して、カレントブロックの予測動きベクトルを生成する。
【０２１６】
空間的に周辺のブロックの動きベクトルは、動き補償部２１１により保持されている。また、時間的に周辺のブロックの動きベクトルを参照する場合、動き補償部２１１は、当該ビューに対応する動きベクトルメモリから動きベクトルを取得する。例えば、動き補償部２１１−０は、V0動きベクトルメモリ２２２−０から時間的に周辺のブロックの動きベクトルを取得する。また、例えば、動き補償部２１１−１は、V1動きベクトルメモリ２２２−１から時間的に周辺のブロックの動きベクトルを取得する。さらに、例えば、動き補償部２１１−２は、V2動きベクトルメモリ２２２−２から時間的に周辺のブロックの動きベクトルを取得する。
【０２１７】
また、ビュー的に周辺のブロックの動きベクトルを参照する場合、動き補償部２１１は、過去に処理されたビューに対応する動きベクトルメモリから動きベクトルを取得する。例えば、動き補償部２１１−１は、V0動きベクトルメモリ２２２−０からビュー間的に周辺のブロックの動きベクトルを取得する。さらに、例えば、動き補償部２１１−２は、V1動きベクトルメモリ２２２−1からビュー間的に周辺のブロックの動きベクトルを取得する。
【０２１８】
これらの動きベクトルメモリから取得する動きベクトルは、1/16圧縮されている。つまり、他のレイヤの復号における動き補償において再構築されて圧縮された動きベクトルを用いて、カレントレイヤの復号における動き補償が行われる。つまり、復号に必要な記憶容量の増大を抑制することができる。
【０２１９】
動き補償部２１１は、動き予測・補償処理において生成したカレントブロックの動きベクトル（最適モードの動きベクトル）を、V0動きベクトル圧縮部２２１−０に供給する。また、動き補償部２１１−１は、生成したカレントブロックの動きベクトルを、V1動きベクトル圧縮部２２１−１に供給する。さらに、動き補償部２１１−２は、生成したカレントブロックの動きベクトルを、V2動きベクトル圧縮部２２１−２に供給する。
【０２２０】
選択部２１２は、画面内予測部２１０から供給される予測画像、若しくは、動き補償部２１１から供給される予測画像を演算部２０５に供給する。
【０２２１】
V0動きベクトル圧縮部２２１−０は、動き補償部２１１−０から取得した、最高4x4精度の圧縮前V0動きベクトルを、16x16精度に1/16圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ２２２−０に供給する。
【０２２２】
この動きベクトルの圧縮方法は、V0動きベクトル圧縮部１２１−０と同一の方法である限り、任意である。例えば、複数のブロックの動きベクトルの中からそれらの代表値とする動きベクトルを選択することにより、動きベクトルを圧縮する場合、この動きベクトルの選択方法は、V0動きベクトル圧縮部１２１−０と同一の方法である限り、任意である。さらに、選択する動きベクトルの数も、V0動きベクトル圧縮部１２１−０と同一の方法である限り、任意であり、２つ以上であってもよい。
【０２２３】
また、例えば、複数のブロックの動きベクトルを用いて所定の演算を行い、それらの代表値を算出することにより、動きベクトルを圧縮する場合、この代表値の算出方法は、V0動きベクトル圧縮部１２１−０と同一の方法である限り、任意である。
【０２２４】
以上のように求められた1/16圧縮後V0動きベクトル（動きベクトルの代表値）は、V0動きベクトルメモリ２２２−０に供給され、記憶される。V0動きベクトルメモリ２２２−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部２１１−０に供給する。また、V0動きベクトルメモリ２２２−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き補償部２１１−１に供給する。
【０２２５】
V1動きベクトル圧縮部２２１−１は、動き補償部２１１−１から取得した圧縮前V1動きベクトルを1/16圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ２２２−１に供給し、記憶させる。V1動きベクトルメモリ２２２−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部２１１−１に供給する。また、V1動きベクトルメモリ２２２−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き補償部２１１−２に供給する。
【０２２６】
V2動きベクトル圧縮部２２１−２は、動き補償部２１１−２から取得した圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ２２２−２に供給し、記憶させる。V2動きベクトルメモリ２２２−２は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部２１１−２に供給する。
【０２２７】
なお、V1動きベクトル圧縮部２２１−１およびV2動きベクトル圧縮部２２１−２による動きベクトルの圧縮方法は、V0動きベクトル圧縮部２２１−０の場合と同様であるので、その説明は省略する。
【０２２８】
V0動きベクトル圧縮部２２１−０、V1動きベクトル圧縮部２２１−１、およびV2動きベクトル圧縮部２２１−２は、所定の単位毎に、以上のような動きベクトルの圧縮を行う。例えば、V0動きベクトル圧縮部２２１−０、V1動きベクトル圧縮部２２１−１、およびV2動きベクトル圧縮部２２１−２が、LCU毎に、以上のような動きベクトルの圧縮を行うようにしてもよい。なお、この処理単位は、V0動きベクトル圧縮部２２１−０、V1動きベクトル圧縮部２２１−１、およびV2動きベクトル圧縮部２２１−２において統一されていてもよいし、統一されていなくてもよい。また、この処理単位がシーケンス中において可変としても良い。
【０２２９】
さらに、V0動きベクトル圧縮部２２１−０、V1動きベクトル圧縮部２２１−１、およびV2動きベクトル圧縮部２２１−２のそれぞれによる、動きベクトルの圧縮方法は、互いに同一であっても良いし、同一でなくてもよい。
【０２３０】
以上のように、V0動きベクトル圧縮部２２１−０、V1動きベクトル圧縮部２２１−１、およびV2動きベクトル圧縮部２２１−２が、動きベクトルの数を減らすことにより、動きベクトルの情報量を低減させる（すなわち圧縮する）ことができる。これにより、V0動きベクトルメモリ２２２−０、V1動きベクトルメモリ２２２−１、およびV2動きベクトルメモリ２２２−２の容量を低減させることができる。
【０２３１】
また、上述したように、動き補償部２１１は、V0動きベクトルメモリ２２２−０、V1動きベクトルメモリ２２２−１、およびV2動きベクトルメモリ２２２−２に格納された動きベクトルを、TMVP用の動きベクトルとして参照するだけでなく、IVMP用の動きベクトルとして参照することができる。このようにTMVP用の動きベクトルとIVMP用の動きベクトルとを共通化することにより、符号化に必要な記憶容量を低減させることができる。また、動きベクトルの圧縮による負荷の増大を抑制することができる。これにより、画像復号装置２００の、製造や開発のコストの低減、装置の小型化、並びに、消費電力の低減等を実現することができる。
【０２３２】
＜復号処理の流れ＞
次に、以上のような画像復号装置２００により実行される処理の流れについて説明する。図１９のフローチャートを参照して、画像復号装置２００による復号処理の流れの例を説明する。
【０２３３】
復号処理が開始されると、カレントピクチャについて、V0画像復号装置２００−０は、ステップＳ１４０１においてV0復号処理を行い、V1画像復号装置２００−１は、ステップＳ１４０２においてV1復号処理を行い、V2画像復号装置２００−２は、ステップＳ１４０３においてV2復号処理を行う。
【０２３４】
ステップＳ１４０４において、画像復号装置２００は、全てのピクチャを処理したか否かを判定し、未処理のピクチャが存在すると判定した場合、処理をステップＳ１４０１に戻し、それ以降の処理を繰り返す。
【０２３５】
各ピクチャについて、ステップＳ１４０１乃至ステップＳ１４０４の処理が繰り返され、ステップＳ１４０４において、全てのピクチャが処理されたと判定された場合、画像復号装置２００は、復号処理を終了する。
【０２３６】
＜V0復号処理の流れ＞
次に、図２０のフローチャートを参照して、図１９のステップＳ１４０１において実行される、ビュー０の符号化データを復号するV0復号処理の流れの例を説明する。
【０２３７】
V0復号処理が開始されると、ステップＳ１５０１において、蓄積バッファ２０１−０は、伝送されてきたビュー０のビットストリームを蓄積する。ステップＳ１５０２において、可逆復号部２０２−０は、蓄積バッファ２０１−０から供給されるビュー０のビットストリーム（符号化された差分画像情報）を復号する。すなわち、可逆符号化部１０６−０により符号化されたビュー０の各ピクチャ（Ｉピクチャ、Ｐピクチャ、並びにＢピクチャ）が復号される。このとき、ヘッダ情報などのビットストリームに含められた差分画像情報以外の各種情報も復号される。
【０２３８】
ステップＳ１５０３において、逆量子化部２０３−０は、ステップＳ１５０３の処理により得られた、量子化された係数を逆量子化する。
【０２３９】
ステップＳ１５０４において、逆直交変換部２０４−０は、ステップＳ１５０３の処理により逆量子化された係数を必要に応じて逆直交変換する。
【０２４０】
ステップＳ１５０５において、可逆復号部２０２−０は、符号化の際に適用された予測モードがインター予測か否かを判定する。インター予測であると判定された場合、処理は、ステップＳ１５０６に進む。
【０２４１】
ステップＳ１５０６において、動き補償部２１１−０は、V0動き補償処理を行い、予測画像を生成する。ステップＳ１５０６の処理が終了すると、処理はステップＳ１５０８に進む。また、ステップＳ１５０５において、イントラ予測であると判定された場合、処理は、ステップＳ１５０７に進む。ステップＳ１５０７において、画面内予測部２１０−０は、イントラ予測処理を行い、予測画像を生成する。ステップＳ１５０７の処理が終了すると、処理はステップＳ１５０８に進む。
【０２４２】
ステップＳ１５０８において、演算部２０５−０は、ステップＳ１５０４の処理において逆直交変換されて得られた差分画像情報に、ステップＳ１５０６の処理若しくはステップＳ１５０７の処理により生成された予測画像を加算する。これにより再構成画像が生成される。
【０２４３】
ステップＳ１５０９において、V0動きベクトル圧縮部２２１−０は、V0動きベクトル圧縮部１２１−０の場合と同様に、ステップＳ１５０６の処理により生成された圧縮前V0動きベクトルを1/16圧縮する。ステップＳ１５１０において、V0動きベクトルメモリ２２２−０は、V0動きベクトルメモリ１２２−０の場合と同様に、ステップＳ１５０９の処理により生成された1/16圧縮後V0動きベクトルを記憶する。
【０２４４】
V0画像復号装置２００−０は、処理対象であるカレントLCU内の各ブロックについて、ステップＳ１５０１乃至ステップＳ１５１０の各処理を行う。ステップＳ１５１１において、V0画像復号装置２００−０は、全てのLCUを処理したか否かを判定する。未処理のLCUが存在すると判定した場合、処理は、ステップＳ１５０１に戻り、それ以降の処理を繰り返す。カレントピクチャのビュー０の画像の各LCUについて、ステップＳ１５０１乃至ステップＳ１５１０の各処理が実行され、ステップＳ１５１１において、全てのLCUが処理されたと判定された場合、処理は、ステップＳ１５１２に進む。
【０２４５】
ステップＳ１５１２において、ループフィルタ２０６−０は、ステップＳ１５０８において得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。
【０２４６】
ステップＳ１５１３において、画面並べ替えバッファ２０７−０は、ステップＳ１５１２においてフィルタ処理されて生成された復号画像の並べ替えを行う。すなわち画面並べ替えバッファ１０２−０により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０２４７】
ステップＳ１５１４において、D/A変換部２０８−０は、フレームの順序が並べ替えられたビュー０の復号画像をD/A変換する。この復号画像が図示せぬディスプレイに出力され、表示される。
【０２４８】
ステップＳ１５１５において、デコードピクチャバッファ２０９−０は、ステップＳ１５１２においてフィルタ処理されて得られた復号画像を記憶する。この復号画像は、インター予測処理において参照画像として利用される。
【０２４９】
ステップＳ１５１５の処理が終了すると、復号処理が終了し、処理は、図１９に戻る。
【０２５０】
＜V0動き補償処理の流れ＞
次に、図２０のステップＳ１５０６において実行されるV0動き補償処理の流れの例を、図２１のフローチャートを参照して説明する。
【０２５１】
V0動き補償処理が開始されると、ステップＳ１５３１において、動き補償部２１１−０は、差分動き情報（差分動きベクトル）を取得する。ステップＳ１５３２において、動き補償部２１１−０は、インター予測情報に基づいて、予測動きベクトルのモードが空間予測であるか否かを判定する。空間予測であると判定された場合、処理は、ステップＳ１５３３に進む。
【０２５２】
ステップＳ１５３３において、動き補償部２１１−０は、ピクチャ内の圧縮前V0動きベクトル（カレントブロックに対して空間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ１５３５に進む。
【０２５３】
また、ステップＳ１５３２において、空間予測でないと判定された場合、処理は、ステップＳ１５３４に進む。
【０２５４】
ステップＳ１５３４において、動き補償部２１１−０は、他のピクチャ内の1/16圧縮後V0動きベクトル（カレントブロックに対して空間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ１５３５に進む。
【０２５５】
ステップＳ１５３５において、動き補償部２１１−０は、ステップＳ１５３３若しくはステップＳ１５３４の処理により生成された予測動きベクトルを用いて、動きベクトルを再構築する。
【０２５６】
ステップＳ１５３６において、動き補償部２１１−０は、動き補償を行い、予測画像を生成する。なお、動き補償部２１１−０は、再構築された動きベクトルを記憶する。ステップＳ１５３６の処理が終了すると、V0動き補償処理が終了し、処理は、図２０に戻る。
【０２５７】
＜V1復号処理の流れ＞
次に、図２２のフローチャートを参照して、図１９のステップＳ１４０２において実行される、ビュー１の符号化データを復号するV1復号処理の流れの例を説明する。
【０２５８】
ビュー０に対する処理と、ビュー１に対する処理の違いは、主に、動き補償処理にある。したがって、図２２に示されるように、V1復号処理は、V1画像復号装置２００−１によって、ビュー０に対する復号処理（図２０のV0復号処理）の場合と基本的に同様に実行される。つまり、図２２のステップＳ１６０１乃至ステップＳ１６１５の各処理は、図２０のステップＳ１５０１乃至ステップＳ１５１５の各処理と基本的に同様に実行される。したがって、図２２の説明は、図２０の説明におけるV0画像復号装置２００−０の各部をV1画像復号装置２００−１の各部に置き換え、図２０におけるビュー０に対する処理との説明を、ビュー１に対する処理に置き換えるだけでよいので、その説明は省略する。
【０２５９】
＜V1動き補償処理の流れ＞
次に、図２２のステップＳ１６０６において実行されるV1動き補償処理の流れの例を、図２３のフローチャートを参照して説明する。
【０２６０】
V1動き補償処理が開始されると、ステップＳ１６３１において、動き補償部２１１−１は、差分動き情報（差分動きベクトル）を取得する。ステップＳ１６３２において、動き補償部２１１−１は、インター予測情報に基づいて、予測動きベクトルのモードが空間予測であるか否かを判定する。空間予測であると判定された場合、処理は、ステップＳ１６３３に進む。
【０２６１】
ステップＳ１６３３において、動き補償部２１１−１は、ピクチャ内の圧縮前V1動きベクトル（カレントブロックに対して空間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ１６３５に進む。
【０２６２】
また、ステップＳ１６３２において、空間予測でないと判定された場合、処理は、ステップＳ１６３４に進む。
【０２６３】
ビュー１の場合、最初に処理されるビューではないので、予測動きベクトルのモードがビュー間予測（IVMP）である可能性もある。
【０２６４】
ステップＳ１６３４において、動き補償部２１１−１は、インター予測情報に基づいて、予測動きベクトルのモードが時間予測であるか否かを判定する。時間予測であると判定された場合、処理は、ステップＳ１６３５に進む。
【０２６５】
ステップＳ１６３５において、動き補償部２１１−１は、他のピクチャ内の1/16圧縮後V1動きベクトル（カレントブロックに対して空間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ１６３７に進む。
【０２６６】
また、ステップＳ１６３４において、時間予測でないと判定された場合、処理は、ステップＳ１６３６に進む。
【０２６７】
ステップＳ１６３６において、動き補償部２１１−１は、1/16圧縮後V0動きベクトル（ビュー０の画像のコロケーテッドブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ１６３７に進む。
【０２６８】
ステップＳ１６３７において、動き補償部２１１−１は、ステップＳ１６３３、ステップＳ１６３５、若しくはステップＳ１６３６において生成された予測動きベクトルを用いて、動きベクトルを再構築する。
【０２６９】
ステップＳ１６３８において、動き補償部２１１−１は、動き補償を行い、予測画像を生成する。なお、動き補償部２１１−１は、ステップＳ１６３７において再構築された動きベクトルを記憶する。ステップＳ１６３８の処理が終了すると、V1動き補償処理が終了し、処理は、図２２に戻る。
【０２７０】
＜V2復号処理の流れ＞
次に、図２４のフローチャートを参照して、図１９のステップＳ１４０３において実行される、ビュー２の符号化データを復号するV2復号処理の流れの例を説明する。
【０２７１】
ビュー１に対する処理と、ビュー２に対する処理の違いは、主に、動き補償処理にある。したがって、図２４に示されるように、V2復号処理は、V2画像復号装置２００−２によって、ビュー１に対する復号処理（図２２のV1復号処理）の場合と基本的に同様に実行される。つまり、図２４のステップＳ１７０１乃至ステップＳ１７１５の各処理は、図２２のステップＳ１６０１乃至ステップＳ１６１５の各処理と基本的に同様に実行される。したがって、図２４の説明は、図２２の説明におけるV1画像復号装置２００−１の各部をV2画像復号装置２００−２の各部に置き換え、図２２におけるビュー１に対する処理との説明を、ビュー２に対する処理に置き換えるだけでよいので、その説明は省略する。
【０２７２】
＜V2動き補償処理の流れ＞
次に、図２４のステップＳ１７０６において実行されるV2動き補償処理の流れの例を、図２５のフローチャートを参照して説明する。
【０２７３】
図２５に示されるように、V2動き補償処理は、V1動き補償処理（図２３）と基本的に同様に行われる。つまり、図２５のステップＳ１７３１乃至ステップＳ１７３８の各処理は、それぞれ、図２３のステップＳ１６３１乃至ステップＳ１６３８の各処理と基本的に同様に実行される。ただし、V1動き補償処理は、動き補償部２１１−１が実行するのに対して、V2動き補償処理は、動き補償部２１１−２が実行する。
【０２７４】
また、V2動き補償処理の処理対象は、ビュー１の画像ではなくビュー２の画像である。したがって、ステップＳ１７３３において、動き補償部２１１−２は、ピクチャ内の圧縮前V2動きベクトル（カレントブロックに対して空間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。
【０２７５】
また、ステップＳ１７３５において、動き補償部２１１−２は、他のピクチャの1/16圧縮後V2動きベクトル（カレントブロックに対して時間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。
【０２７６】
さらに、ステップＳ１７３６において、動き補償部２１１−２は、1/16圧縮後V1動きベクトル（カレントブロックに対してビュー間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。
【０２７７】
なお、ステップＳ１７３１、ステップＳ１７３２、ステップＳ１７３４，ステップＳ１７３７、およびステップＳ１７３８の各処理は、図２３のステップＳ１６３１、ステップＳ１６３２、ステップＳ１６３４，ステップＳ１６３７、およびステップＳ１６３８の各処理と同様に実行される。
【０２７８】
ステップＳ１７３８の処理が終了すると、V2動き補償処理が終了し、処理は、図２４に戻る。
【０２７９】
以上のように各処理を実行することにより、画像復号装置２００は、IVMP用の動きベクトルのために必要なメモリ容量を低減させることができ、符号化・復号に必要な記憶容量の増大を抑制することができる。
【０２８０】
なお、以上においては、動きベクトルの精度が、非圧縮の状態で最高4x4精度であり、圧縮後、16x16精度となるように説明したが、これは一例であり、動きベクトルの精度は任意である。また、動きベクトルの圧縮率も任意である。つまり、各ビューの、空間予測動きベクトル候補、時間予測動きベクトル候補、IVMP予測動きベクトル候補、および予測動きベクトルの精度も任意である。精度や圧縮率が全てのビューで統一されていてもよいし、されていなくてもよい。
【０２８１】
＜２．第２の実施の形態＞
＜IVMP用の動きベクトルの圧縮＞
以上のような動きベクトルの圧縮において、図２６に示されるように、IVMP用の動きベクトルとTMVP用の動きベクトルとをそれぞれ圧縮する（例えば間引く）ようにしてもよい。つまり、IVMP用の動きベクトルの精度とTMVP用の動きベクトルの精度とが互いに異なるようにしてもよい。
【０２８２】
より具体的には、例えば、4x4精度の動きベクトルを、次のビューの処理（符号化・復号）が開始されるまでにＩＶＭＰ用に8x8精度に圧縮し（例えば間引き）、次のピクチャの処理（符号化・復号）が開始されるまでにTMVP用に16x16精度に圧縮する（例えば間引く）。つまり、ＩＶＭＰは8x8精度の動きベクトルを参照し、TMVPは、16x16精度の動きベクトルを参照する。このようにすることにより、従来の方法と比較して、必要なメモリの容量の増大を抑制することができる。また、第１の実施の形態において説明した方法と比較して、IVMPの動きベクトルの精度を高くすることができる。
【０２８３】
例えば、図２６に示される例のように、IVMP用の動きベクトルは、動きベクトル圧縮部（(V0乃至V2) MV Compressor A）によって8x8精度に圧縮し（例えば間引き）、テンポラル動きベクトルメモリ（(V0乃至V2) Temporal MV Memory）に記憶する。IVMPは、このテンポラル動きベクトルメモリの動きベクトルを参照するようにする。この圧縮（例えば間引き）により、テンポラル動きベクトルメモリの容量の増大を抑制することができる。
【０２８４】
そして、TMVP用の動きベクトルは、テンポラル動きベクトルメモリの動きベクトルを、さらに、動きベクトル圧縮部（(V0乃至V2) MV Compressor B）によって16x16精度に圧縮し（例えば間引き）、動きベクトルメモリ（(V0乃至V2) MV Memory）に記憶する。TMVPは、この動きベクトルメモリの動きベクトルを参照するようにする。このようにすることにより、圧縮処理の圧縮率（例えば間引き処理の間引き率）をどちらも1/4とすることができる。つまり、同じ圧縮処理（例えば間引き処理）を２度行うだけでよく、実現が容易である。
【０２８５】
以下に、この圧縮方法について、より具体的に説明する。なお、以下においては、動きベクトルの精度が、非圧縮の状態で最高4x4精度であるとする。また、その圧縮前の動きベクトルが、IVMP用に、8x8精度に圧縮（1/4圧縮）されるものとする。さらに、その1/4圧縮後の動きベクトル（8x8精度の動きベクトル）が、TMVP用に、16x16精度に圧縮（1/4圧縮）されるものとする。
【０２８６】
＜画像符号化装置＞
図２７は、V0画像符号化装置の主な構成例を示すブロック図である。図２８は、V1画像符号化装置の主な構成例を示すブロック図である。図２９は、V2画像符号化装置の主な構成例を示すブロック図である。
【０２８７】
図示せぬ画像符号化装置３００は、図２に示される多視点画像のような複数レイヤよりなる動画像を符号化する。この画像符号化装置３００は、多視点画像の各ビューを符号化するために、図２７のV0画像符号化装置３００−０、図２８のV1画像符号化装置３００−１、および図２９のV2画像符号化装置３００−３を有する。V0画像符号化装置３００−０は、ビュー０の画像を符号化する。V1画像符号化装置３００−１は、ビュー１の画像を符号化する。V2画像符号化装置３００−２は、ビュー２の画像を符号化する。
【０２８８】
図２７に示されるように、V0画像符号化装置３００−０は、A/D変換部３０１−０、画面並べ替えバッファ３０２−０、演算部３０３−０、直交変換部３０４−０、量子化部３０５−０、可逆符号化部３０６−０、蓄積バッファ３０７−０、逆量子化部３０８−０、および逆直交変換部３０９−０を有する。また、V0画像符号化装置３００−０は、演算部３１０−０、ループフィルタ３１１−０、デコードピクチャバッファ３１２−０、画面内予測部３１３−０、動き予測・補償部３１４−０、予測画像選択部３１５−０、およびレート制御部３１６−０を有する。
【０２８９】
また、図２８に示されるように、V1画像符号化装置３００−１は、A/D変換部３０１−１、画面並べ替えバッファ３０２−１、演算部３０３−１、直交変換部３０４−１、量子化部３０５−１、可逆符号化部３０６−１、蓄積バッファ３０７−１、逆量子化部３０８−１、および逆直交変換部３０９−１を有する。また、V1画像符号化装置３００−１は、演算部３１０−１、ループフィルタ３１１−１、デコードピクチャバッファ３１２−１、画面内予測部３１３−１、動き予測・補償部３１４−１、予測画像選択部３１５−１、およびレート制御部３１６−１を有する。
【０２９０】
さらに、図２９に示されるように、V2画像符号化装置３００−２は、A/D変換部３０１−２、画面並べ替えバッファ３０２−２、演算部３０３−２、直交変換部３０４−２、量子化部３０５−２、可逆符号化部３０６−２、蓄積バッファ３０７−２、逆量子化部３０８−２、および逆直交変換部３０９−２を有する。また、V2画像符号化装置３００−２は、演算部３１０−２、ループフィルタ３１１−２、デコードピクチャバッファ３１２−２、画面内予測部３１３−２、動き予測・補償部３１４−２、予測画像選択部３１５−２、およびレート制御部３１６−２を有する。
【０２９１】
以下において、A/D変換部３０１−０乃至A/D変換部３０１−２を互いに区別して説明する必要が無い場合、単に、A/D変換部３０１と称する。また、画面並べ替えバッファ３０２−０乃至画面並べ替えバッファ３０２−２を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ３０２と称する。さらに、演算部３０３−０乃至演算部３０３−２を互いに区別して説明する必要が無い場合、単に、演算部３０３と称する。また、直交変換部３０４−０乃至直交変換部３０４−２を互いに区別して説明する必要が無い場合、単に、直交変換部３０４と称する。さらに、量子化部３０５−０乃至量子化部３０５−２を互いに区別して説明する必要が無い場合、単に、量子化部３０５と称する。また、可逆符号化部３０６−０乃至可逆符号化部３０６−２を互いに区別して説明する必要が無い場合、単に、可逆符号化部３０６と称する。さらに、蓄積バッファ３０７−０乃至蓄積バッファ３０７−２を互いに区別して説明する必要が無い場合、単に、蓄積バッファ３０７と称する。また、逆量子化部３０８−０乃至逆量子化部３０８−２を互いに区別して説明する必要が無い場合、単に、逆量子化部３０８と称する。さらに、逆直交変換部３０９−０乃至逆直交変換部３０９−２を互いに区別して説明する必要が無い場合、単に、逆直交変換部３０９と称する。
【０２９２】
また、演算部３１０−０乃至演算部３１０−２を互いに区別して説明する必要が無い場合、単に、演算部３１０と称する。さらに、ループフィルタ３１１−０乃至ループフィルタ３１１−２を互いに区別して説明する必要が無い場合、単に、ループフィルタ３１１と称する。また、デコードピクチャバッファ３１２−０乃至デコードピクチャバッファ３１２−２を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ３１２と称する。さらに、画面内予測部３１３−０乃至画面内予測部３１３−２を互いに区別して説明する必要が無い場合、単に、画面内予測部３１３と称する。また、動き予測・補償部３１４−０乃至動き予測・補償部３１４−２を互いに区別して説明する必要が無い場合、単に、動き予測・補償部３１４と称する。さらに、予測画像選択部３１５−０乃至予測画像選択部３１５−２を互いに区別して説明する必要が無い場合、単に、予測画像選択部３１５と称する。また、レート制御部３１６−０乃至レート制御部３１６−２を互いに区別して説明する必要が無い場合、単に、レート制御部３１６と称する。
【０２９３】
A/D変換部３０１は、A/D変換部１０１に対応し、基本的にA/D変換部１０１と同様の処理を行う。画面並べ替えバッファ３０２は、画面並べ替えバッファ１０２に対応し、基本的に画面並べ替えバッファ１０２と同様の処理を行う。演算部３０３は、演算部１０３に対応し、基本的に演算部１０３と同様の処理を行う。直交変換部３０４は、直交変換部１０４に対応し、基本的に直交変換部１０４と同様の処理を行う。量子化部３０５は、量子化部１０５に対応し、基本的に量子化部１０５と同様の処理を行う。可逆符号化部３０６は、可逆符号化部１０６に対応し、基本的に可逆符号化部１０６と同様の処理を行う。蓄積バッファ３０７は、蓄積バッファ１０７に対応し、基本的に蓄積バッファ１０７と同様の処理を行う。
【０２９４】
逆量子化部３０８は、逆量子化部１０８に対応し、基本的に逆量子化部１０８と同様の処理を行う。逆直交変換部３０９は、逆直交変換部１０９に対応し、基本的に逆直交変換部１０９と同様の処理を行う。演算部３１０は、演算部１１０に対応し、基本的に演算部１１０と同様の処理を行う。ループフィルタ３１１は、ループフィルタ１１１に対応し、基本的にループフィルタ１１１と同様の処理を行う。デコードピクチャバッファ３１２は、デコードピクチャバッファ１１２に対応し、基本的にデコードピクチャバッファ１１２と同様の処理を行う。
【０２９５】
画面内予測部３１３は、画面内予測部１１３に対応し、基本的に画面内予測部１１３と同様の処理を行う。動き予測・補償部３１４は、動き予測・補償部１１４に対応し、基本的に動き予測・補償部１１４と同様の処理を行う。予測画像選択部３１５は、予測画像選択部１１５に対応し、基本的に予測画像選択部１１５と同様の処理を行う。
【０２９６】
V0画像符号化装置３００−０は、さらに、V0動きベクトル圧縮部３２１−０、V0テンポラルメモリ３２２−０、V0動きベクトル圧縮部３２３−０、V0動きベクトル圧縮部３２３−０、およびV0動きベクトルメモリ３２４−０を有する。
【０２９７】
V1画像符号化装置３００−１は、さらに、V1動きベクトル圧縮部３２１−１、V1テンポラルメモリ３２２−１、V1動きベクトル圧縮部３２３−１、V1動きベクトル圧縮部３２３−１、およびV1動きベクトルメモリ３２４−１を有する。
【０２９８】
V2画像符号化装置３００−２は、さらに、V2動きベクトル圧縮部３２１−２、V2テンポラルメモリ３２２−２、V2動きベクトル圧縮部３２３−２、V2動きベクトル圧縮部３２３−２、およびV2動きベクトルメモリ３２４−２を有する。
【０２９９】
なお、動き予測・補償部３１４−０は、動き予測により生成したカレントブロックの圧縮前V0動きベクトル（最高4x4精度）を、V0動きベクトル圧縮部３２１−０に供給する。また、動き予測・補償部３１４−０は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V0動きベクトルメモリ３２４−０に記憶されている1/16圧縮後V0動きベクトルを取得する。
【０３００】
また、動き予測・補償部３１４−１は、動き予測により生成したカレントブロックの圧縮前V1動きベクトル（最高4x4精度）を、V1動きベクトル圧縮部３２１−１に供給する。また、動き予測・補償部３１４−１は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V1動きベクトルメモリ３２４−１に記憶されている1/16圧縮後V1動きベクトルを取得する。さらに、動き予測・補償部３１４−１は、カレントブロックのビュー間的に周辺のブロックの動きベクトルとして、V0動きベクトルメモリ３２４−０に記憶されている1/16圧縮後V0動きベクトルを取得する。
【０３０１】
さらに、動き予測・補償部３１４−２は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル（最高4x4精度）を、V2動きベクトル圧縮部３２１−２に供給する。また、動き予測・補償部３１４−２は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V2動きベクトルメモリ３２４−２に記憶されている1/16圧縮後V2動きベクトルを取得する。さらに、動き予測・補償部３１４−２は、カレントブロックのビュー間的に周辺のブロックの動きベクトルとして、V1動きベクトルメモリ３２４−１に記憶されている1/16圧縮後V1動きベクトルを取得する。
【０３０２】
V0動きベクトル圧縮部３２１−０は、動き予測・補償部３１４−０から供給された圧縮前V0動きベクトルを8x8精度に圧縮し（1/4圧縮とも称する）、その圧縮後の動きベクトル（1/4圧縮後V0動きベクトルとも称する）をV0テンポラルメモリ３２２−０に供給する。つまり、V0動きベクトル圧縮部３２１−０は、圧縮率が異なるだけで、V0動きベクトル圧縮部１２１−０と同様の圧縮を行う。したがって、この動きベクトルの圧縮方法は、V0動きベクトル圧縮部１２１−０の場合と同様に任意である。
【０３０３】
V0テンポラルメモリ３２２−０は、供給された1/4圧縮後V0動きベクトルを記憶する。V0テンポラルメモリ３２２−０は、適宜、記憶している1/4圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き予測・補償部３１４−１に供給する。また、V0テンポラルメモリ３２２−０は、適宜、記憶している1/4圧縮後V0動きベクトルを、V0動きベクトル圧縮部３２３−０に供給する。
【０３０４】
V0動きベクトル圧縮部３２３−０は、V0テンポラルメモリ３２２−０から1/4圧縮後V0動きベクトルを読み出し、16x16精度に圧縮し（1/4圧縮とも称する）、その圧縮後の動きベクトル（すなわち、1/16圧縮後V0動きベクトル）をV0動きベクトルメモリ３２４−０に供給する。このV0動きベクトル圧縮部３２３−０は、V0動きベクトル圧縮部３２１−０と同様の処理を行う。つまり、２回に分けて、同じ1/4圧縮が行われる。したがって、V0動きベクトル圧縮部１２１−０が生成するのと同様の1/16圧縮後V0動きベクトルが生成される。
【０３０５】
なお、V0動きベクトル圧縮部３２１−０とV0動きベクトル圧縮部３２３−０とで圧縮方法を互いに異なるようにしてももちろんよい。また、V0動きベクトル圧縮部３２３−０は、V0動きベクトル圧縮部１２１−０のように、動き予測・補償部３１４−０により生成される圧縮前V0動きベクトルを1/16圧縮するようにしてもよい。
【０３０６】
V0動きベクトルメモリ３２４−０は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ３２４−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部３１４−０に供給する。
【０３０７】
V1動きベクトル圧縮部３２１−１は、V0動きベクトル圧縮部３２１−０と同様の処理部である。V1動きベクトル圧縮部３２１−１は、動き予測・補償部３１４−１から供給された圧縮前V1動きベクトルを1/4圧縮し、その圧縮後の動きベクトル（1/4圧縮後V１動きベクトルとも称する）をV1テンポラルメモリ３２２−１に供給する。
【０３０８】
V1テンポラルメモリ３２２−１は、V0テンポラルメモリ３２２−０と同様の処理部である。V1テンポラルメモリ３２２−１は、供給された1/4圧縮後V1動きベクトルを記憶する。V1テンポラルメモリ３２２−１は、適宜、記憶している1/4圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き予測・補償部３１４−２に供給する。また、V1テンポラルメモリ３２２−１は、適宜、記憶している1/4圧縮後V1動きベクトルを、V1動きベクトル圧縮部３２３−１に供給する。
【０３０９】
V1動きベクトル圧縮部３２３−１は、V0動きベクトル圧縮部３２３−０と同様の処理部である。V1動きベクトル圧縮部３２３−１は、V1テンポラルメモリ３２２−１から1/4圧縮後V1動きベクトルを読み出し、1/4圧縮し、その圧縮後の動きベクトル（すなわち、1/16圧縮後V1動きベクトル）をV1動きベクトルメモリ３２４−１に供給する。
【０３１０】
V1動きベクトルメモリ３２４−１は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ３２４−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部３１４−１に供給する。
【０３１１】
V2動きベクトル圧縮部３２１−２は、V0動きベクトル圧縮部３２１−０と同様の処理部である。V2動きベクトル圧縮部３２１−２は、動き予測・補償部３１４−２から供給された圧縮前V2動きベクトルを1/4圧縮し、その圧縮後の動きベクトル（1/4圧縮後V2動きベクトルとも称する）をV2テンポラルメモリ３２２−２に供給する。
【０３１２】
V2テンポラルメモリ３２２−２は、V0テンポラルメモリ３２２−０と同様の処理部である。V2テンポラルメモリ３２２−２は、供給された1/4圧縮後V2動きベクトルを記憶する。V2テンポラルメモリ３２２−２は、適宜、記憶している1/4圧縮後V2動きベクトルを、V2動きベクトル圧縮部３２３−２に供給する。
【０３１３】
V2動きベクトル圧縮部３２３−２は、V0動きベクトル圧縮部３２３−０と同様の処理部である。V2動きベクトル圧縮部３２３−２は、V2テンポラルメモリ３２２−２から1/4圧縮後V2動きベクトルを読み出し、1/4圧縮し、その圧縮後の動きベクトル（すなわち、1/16圧縮後V2動きベクトル）をV2動きベクトルメモリ３２４−２に供給する。
【０３１４】
V2動きベクトルメモリ３２４−２は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ３２４−２は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部３１４−２に供給する。
【０３１５】
なお、V2画像符号化装置３００−２は、最後に処理されるビュー２の画像を符号化するので、動き予測・補償部３１４−２において得られた動きベクトルは、他のビューで利用されない。したがって、V2動きベクトル圧縮部３２１−２乃至V2動きベクトルメモリ３２４−２の代わりに、V2画像符号化装置１００−２のように、V2動きベクトル圧縮部１２１−２およびV2動きベクトルメモリ１２２−２を適用するようにしてもよい。
【０３１６】
以上のように、V0動きベクトル圧縮部３２１−０、V1動きベクトル圧縮部３２１−１、およびV2動きベクトル圧縮部３２１−２が、動きベクトルの数を減らすことにより、動きベクトルの情報量を低減させる（すなわち圧縮する）ことができる。これにより、V0テンポラルメモリ３２２−０、V1テンポラルメモリ３２２−１、およびV2テンポラルメモリ３２２−２の容量を低減させることができる。
【０３１７】
また、その際、IVMP用の動きベクトルの精度をTMVP用の動きベクトルの精度よりも高くするように圧縮率を抑制することにより、IVMP用の動きベクトルの精度をTMVP用の動きベクトルの精度と同等とする場合より、IVMPの予測精度を向上させることができる。
【０３１８】
これにより、画像符号化装置３００の、製造や開発のコストの低減、装置の小型化、並びに、消費電力の低減等を実現することができる。
【０３１９】
＜V0符号化処理の流れ＞
次に、以上のような画像符号化装置１００により実行される処理の流れについて説明する。なお、画像符号化装置３００による符号化処理の流れは、第１の実施の形態の場合（図９）と同様であるのでその説明を省略する。
【０３２０】
次に、図３０のフローチャートを参照して、図９のステップＳ１００１において実行される、ビュー０の符号化を行うV0符号化処理の流れの例を説明する。
【０３２１】
ステップＳ２１０１乃至ステップＳ２１０５の各処理は、V0画像符号化装置３００−０の各処理部により、図１０のステップＳ１１０１乃至ステップＳ１１０５の各処理と同様に行われる。
【０３２２】
ステップＳ２１０６において、V0動きベクトル圧縮部３２１−０は、ステップＳ２１０４の処理により生成されたビュー０のカレントピクチャの動きベクトルであり、最高4x4精度の圧縮前V0動きベクトルを、8x8精度に圧縮する（1/4圧縮）。この1/4圧縮は、例えば、LCU（例えば16x16画素）毎に行われる。
【０３２３】
ステップＳ２１０７において、V0テンポラルメモリ３２２−０は、ステップＳ２１０６の処理により生成された1/4圧縮後V0動きベクトルを記憶する。
【０３２４】
ステップＳ２１０８乃至ステップＳ２１１９の各処理は、V0画像符号化装置３００−０の各処理部により、図１０のステップＳ１１０８乃至ステップＳ１１１９の各処理と同様に行われる。
【０３２５】
ステップＳ２１２０において、V0動きベクトル圧縮部３２３−０は、ステップＳ２１０７の処理により記憶された1/4圧縮後V0動きベクトルを、V0テンポラルメモリ３２２−０から読み出し、さらに1/4圧縮する。
【０３２６】
ステップＳ２１２１において、V0動きベクトルメモリ３２４−０は、ステップＳ２１０６の処理により生成された1/16圧縮後V0動きベクトルを記憶する。
【０３２７】
ステップＳ２１２１の処理が終了すると、V0符号化処理が終了し、処理は図９に戻る。なお、図３０のステップＳ２１０４において実行されるV0インター動き予測処理は、動き予測・補償部３１４−０により、第１の実施の形態の場合（図１１）と同様に行われるのでその説明を省略する。
【０３２８】
＜V1符号化処理の流れ＞
次に、図３１のフローチャートを参照して、図９のステップＳ１００２において実行される、ビュー１の符号化を行うV1符号化処理の流れの例を説明する。
【０３２９】
ビュー０に対する処理と、ビュー１に対する処理の違いは、主に、インター動き予測処理にある。したがって、図３１に示されるように、ビュー１に対するV1符号化処理は、V1画像符号化装置３００−１によって、ビュー０に対するV0符号化処理（図３０）の場合と基本的に同様に実行される。つまり、図３１のステップＳ２２０１乃至ステップＳ２２２１の各処理は、図３０のステップＳ２１０１乃至ステップＳ２１２１の各処理と基本的に同様に実行される。したがって、図３１の説明は、図３０の説明におけるV0画像符号化装置３００−０の各部をV1画像符号化装置３００−１の各部に置き換え、図３０においてビュー０に対する処理としてした説明を、ビュー１に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。
【０３３０】
＜V1インター動き予測処理の流れ＞
次に、図３１のステップＳ２２０４において実行されるV1インター動き予測処理の流れの例を、図３２のフローチャートを参照して説明する。
【０３３１】
ステップＳ２２４１乃至ステップＳ２２４３の各処理は、動き予測・補償部３１４−１により、図１３のステップＳ１２３１乃至ステップＳ１２３３の各処理と同様に行われる。
【０３３２】
ステップＳ２２４４において、動き予測・補償部１１４−１は、V0テンポラルメモリ３２２−０から1/4圧縮後V0動きベクトルを取得し、それを用いてIVMP予測動きベクトル候補を決定する。
【０３３３】
ステップＳ２２４５乃至ステップＳ２２４８の各処理は、動き予測・補償部３１４−１により、図１３のステップＳ１２３５乃至ステップＳ１２３８の各処理と同様に行われる。ステップＳ２２４８の処理が終了すると、V1インター動き予測処理が終了し、処理は、図３１に戻る。
【０３３４】
＜V2符号化処理の流れ＞
次に、図３３のフローチャートを参照して、図９のステップＳ１００３において実行される、ビュー２の符号化を行うV2符号化処理の流れの例を説明する。
【０３３５】
ビュー２に対する処理は、ビュー１に対する処理と同様に実行される。したがって、図３３に示されるように、V2符号化処理は、V2画像符号化装置３００−２によって、ビュー１に対するV1符号化処理（図３１）の場合と基本的に同様に実行される。つまり、図３３のステップＳ２３０１乃至ステップＳ２３２１の各処理は、図３１のステップＳ２２０１乃至ステップＳ２２２１の各処理と基本的に同様に実行される。したがって、図３３の説明は、図３１の説明におけるV1画像符号化装置３００−１の各部をV2画像符号化装置３００−２の各部に置き換え、図３１においてビュー１に対する処理としてした説明を、ビュー２に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。
【０３３６】
なお、ステップＳ２３０６において、圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルを、ステップＳ２３０７において記憶するようにし、ステップＳ２３２０およびステップＳ２３２１の処理を省略するようにしてもよい。このようにすることにより、圧縮処理の回数が低減されるので、圧縮による負荷の増大を抑制することができる。ただし、図３３に示されるように、1/4圧縮を2回行うことにより、他のビューと同様に圧縮を行うことができ、制御が容易になる。
【０３３７】
＜V2インター動き予測処理の流れ＞
次に、図３３のステップＳ２３０４において実行されるV2インター動き予測処理の流れの例を、図３４のフローチャートを参照して説明する。
【０３３８】
図３４に示されるように、V2インター動き予測処理は、動き予測・補償部３１４−２によって、ビュー１に対するV1インター動き予測処理（図３２）の場合と基本的に同様に実行される。つまり、図３４のステップＳ２３４１乃至ステップＳ２３４８の各処理は、図３２のステップＳ３２４１乃至ステップＳ２２４８の各処理と基本的に同様に実行される。
【０３３９】
ただし、ステップＳ２３４２においては、非圧縮のビュー２の動きベクトルである圧縮前V2動きベクトルが用いられる。また、ステップＳ２３４３においては、1/16圧縮された1/16圧縮後V2動きベクトルが用いられる。さらに、ステップＳ２３４４においては、1/4圧縮された1/4圧縮後V1動きベクトルが用いられる。
【０３４０】
ステップＳ２３４８の処理が終了すると、V2インター動き予測処理が終了し、処理は、図３３に戻る。
【０３４１】
以上のように各処理を実行することにより、画像符号化装置３００は、IVMP用の動きベクトルのために必要なメモリ容量を低減させることができ、符号化・復号に必要な記憶容量の増大を抑制することができる。
【０３４２】
＜画像復号装置＞
次に、以上のように符号化された符号化データ（符号化ストリーム）の復号について説明する。図３５は、V0画像復号装置の主な構成例を示すブロック図である。図３６は、V1画像復号装置の主な構成例を示すブロック図である。図３７は、V2画像復号装置の主な構成例を示すブロック図である。
【０３４３】
図示せぬ画像復号装置４００は、画像符号化装置３００により符号化された、図２に示される多視点画像のような複数レイヤよりなる動画像の符号化データを、その符号化方法に対応する復号方法で復号する。この画像復号装置４００は、多視点画像の各ビューの符号化データを復号するために、図３５のV0画像復号装置４００−０、図３６のV1画像復号装置４００−１、および図３７のV2画像復号装置４００−２を有する。V0画像復号装置４００−０は、V0画像符号化装置３００−０により符号化されたビュー０の画像の符号化データを復号する。V1画像復号装置４００−１は、V1画像符号化装置３００−１により符号化されたビュー１の画像の符号化データを復号する。V2画像復号装置４００−２は、V2画像符号化装置３００−２により符号化されたビュー２の画像の符号化データを復号する。
【０３４４】
図３５に示されるように、V0画像復号装置４００−０は、蓄積バッファ４０１−０、可逆復号部４０２−０、逆量子化部４０３−０、逆直交変換部４０４−０、演算部４０５−０、ループフィルタ４０６−０、画面並べ替えバッファ４０７−０、およびD/A変換部４０８−０を有する。また、V0画像復号装置４００−０は、デコードピクチャバッファ４０９−０、画面内予測部４１０−０、動き補償部４１１−０、および選択部４１２−０を有する。
【０３４５】
また、図３６に示されるように、V1画像復号装置４００−１は、蓄積バッファ４０１−１、可逆復号部４０２−１、逆量子化部４０３−１、逆直交変換部４０４−１、演算部４０５−１、ループフィルタ４０６−１、画面並べ替えバッファ４０７−１、およびD/A変換部４０８−１を有する。また、V1画像復号装置４００−１は、デコードピクチャバッファ４０９−１、画面内予測部４１０−１、動き補償部４１１−１、および選択部４１２−１を有する。
【０３４６】
さらに、図３７に示されるように、V2画像復号装置４００−２は、蓄積バッファ４０１−２、可逆復号部４０２−２、逆量子化部４０３−２、逆直交変換部４０４−２、演算部４０５−２、ループフィルタ４０６−２、画面並べ替えバッファ４０７−２、およびD/A変換部４０８−２を有する。また、V2画像復号装置４００−２は、デコードピクチャバッファ４０９−２、画面内予測部４１０−２、動き補償部４１１−２、および選択部４１２−２を有する。
【０３４７】
以下において、蓄積バッファ４０１−０乃至蓄積バッファ４０１−２を互いに区別して説明する必要が無い場合、単に、蓄積バッファ４０１と称する。また、可逆復号部４０２−０乃至可逆復号部４０２−２を互いに区別して説明する必要が無い場合、単に、可逆復号部４０２と称する。さらに、逆量子化部４０３−０乃至逆量子化部４０３−２を互いに区別して説明する必要が無い場合、単に、逆量子化部４０３と称する。また、逆直交変換部４０４−０乃至逆直交変換部４０４−２を互いに区別して説明する必要が無い場合、単に、逆直交変換部４０４と称する。さらに、演算部４０５−０乃至演算部４０５−２を互いに区別して説明する必要が無い場合、単に、演算部４０５と称する。
【０３４８】
また、ループフィルタ４０６−０乃至ループフィルタ４０６−２を互いに区別して説明する必要が無い場合、単に、ループフィルタ４０６と称する。さらに、画面並べ替えバッファ４０７−０乃至画面並べ替えバッファ４０７−２を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ４０７と称する。また、D/A変換部４０８−０乃至D/A変換部４０８−２を互いに区別して説明する必要が無い場合、単に、D/A変換部４０８と称する。さらに、デコードピクチャバッファ４０９−０乃至デコードピクチャバッファ４０９−２を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ４０９と称する。
【０３４９】
また、画面内予測部４１０−０乃至画面内予測部４１０−２を互いに区別して説明する必要が無い場合、単に、画面内予測部４１０と称する。さらに、動き補償部４１１−０乃至動き補償部４１１−２を互いに区別して説明する必要が無い場合、単に、動き補償部４１１と称する。また、選択部４１２−０乃至選択部４１２−２を互いに区別して説明する必要が無い場合、単に、選択部４１２と称する。
【０３５０】
蓄積バッファ４０１は、蓄積バッファ２０１に対応し、基本的に蓄積バッファ２０１と同様の処理を行う。可逆復号部４０２は、可逆復号部２０２に対応し、基本的に可逆復号部２０２と同様の処理を行う。逆量子化部４０３は、逆量子化部２０３に対応し、基本的に逆量子化部２０３と同様の処理を行う。逆直交変換部４０４は、逆直交変換部２０４に対応し、基本的に逆直交変換部２０４と同様の処理を行う。演算部４０５は、演算部２０５に対応し、基本的に演算部２０５と同様の処理を行う。
【０３５１】
ループフィルタ４０６は、ループフィルタ２０６に対応し、基本的にループフィルタ２０６と同様の処理を行う。画面並べ替えバッファ４０７は、画面並べ替えバッファ２０７に対応し、基本的に画面並べ替えバッファ２０７と同様の処理を行う。D/A変換部４０８は、D/A変換部２０８に対応し、基本的にD/A変換部２０８と同様の処理を行う。デコードピクチャバッファ４０９は、デコードピクチャバッファ２０９に対応し、基本的にデコードピクチャバッファ２０９と同様の処理を行う。
【０３５２】
画面内予測部４１０は、画面内予測部２１０に対応し、基本的に画面内予測部２１０と同様の処理を行う。動き補償部４１１は、動き補償部２１１に対応し、基本的に動き補償部２１１と同様の処理を行う。選択部４１２は、選択部２１２に対応し、基本的に選択部２１２と同様の処理を行う。
【０３５３】
V0画像復号装置４００−０は、さらに、V0動きベクトル圧縮部４２１−０、V0テンポラルメモリ４２２−０、V0動きベクトル圧縮部４２３−０、V0動きベクトル圧縮部４２３−０、およびV0動きベクトルメモリ４２４−０を有する。
【０３５４】
V1画像復号装置４００−１は、さらに、V1動きベクトル圧縮部４２１−１、V1テンポラルメモリ４２２−１、V1動きベクトル圧縮部４２３−１、V1動きベクトル圧縮部４２３−１、およびV1動きベクトルメモリ４２４−１を有する。
【０３５５】
V2画像復号装置４００−２は、さらに、V2動きベクトル圧縮部４２１−２、V2テンポラルメモリ４２２−２、V2動きベクトル圧縮部４２３−２、V2動きベクトル圧縮部４２３−２、およびV2動きベクトルメモリ４２４−２を有する。
【０３５６】
なお、動き補償部４１１−０は、動き予測により生成したカレントブロックの圧縮前V0動きベクトル（最高4x4精度）を、V0動きベクトル圧縮部４２１−０に供給する。また、動き補償部４１１−０は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V0動きベクトルメモリ４２４−０に記憶されている1/16圧縮後V0動きベクトルを取得する。
【０３５７】
また、動き補償部４１１−１は、動き予測により生成したカレントブロックの圧縮前V1動きベクトル（4x4精度）を、V1動きベクトル圧縮部４２１−１に供給する。また、動き補償部４１１−１は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V1動きベクトルメモリ４２４−１に記憶されている1/16圧縮後V1動きベクトルを取得する。さらに、動き補償部４１１−１は、カレントブロックのビュー間的に周辺のブロックの動きベクトルとして、V0テンポラルメモリ４２２−０に記憶されている1/4圧縮後V0動きベクトルを取得する。
【０３５８】
さらに、動き補償部４１１−２は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル（4x4精度）を、V2動きベクトル圧縮部４２１−２に供給する。また、動き補償部４１１−２は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V2動きベクトルメモリ４２４−２に記憶されている1/16圧縮後V2動きベクトルを取得する。さらに、動き補償部４１１−２は、カレントブロックのビュー間的に周辺のブロックの動きベクトルとして、V1テンポラルメモリ４２２−１に記憶されている1/4圧縮後V1動きベクトルを取得する。
【０３５９】
V0動きベクトル圧縮部４２１−０は、動き補償部４１１−０から供給された圧縮前V0動きベクトルを1/4圧縮し、得られた1/4圧縮後V0動きベクトルをV0テンポラルメモリ４２２−０に供給する。この動きベクトルの圧縮方法は、V0動きベクトル圧縮部３２１−０と同一の方法である限り、任意である。
【０３６０】
V0テンポラルメモリ４２２−０は、供給された1/4圧縮後V0動きベクトルを記憶する。V0テンポラルメモリ４２２−０は、適宜、記憶している1/4圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き補償部４１１−１に供給する。また、V0テンポラルメモリ４２２−０は、適宜、記憶している1/4圧縮後V0動きベクトルを、V0動きベクトル圧縮部４２３−０に供給する。
【０３６１】
V0動きベクトル圧縮部４２３−０は、V0テンポラルメモリ４２２−０から1/4圧縮後V0動きベクトルを読み出して1/4圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ４２４−０に供給する。この動きベクトルの圧縮方法は、V0動きベクトル圧縮部３２３−０と同一の方法である限り、任意である。
【０３６２】
例えば、V0動きベクトル圧縮部４２１−０とV0動きベクトル圧縮部４２３−０とで圧縮方法を互いに異なるようにしてももちろんよい。また、V0動きベクトル圧縮部４２３−０は、V0動きベクトル圧縮部２２１−０のように、動き補償部４１１−０により生成される圧縮前V0動きベクトルを1/16圧縮するようにしてもよい。
【０３６３】
V0動きベクトルメモリ４２４−０は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ４２４−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部４１１−０に供給する。
【０３６４】
V1動きベクトル圧縮部４２１−１は、V0動きベクトル圧縮部４２１−０と同様の処理部である。V1動きベクトル圧縮部４２１−１は、動き補償部４１１−１から供給された圧縮前V1動きベクトルを1/4圧縮し、得られた1/4圧縮後V１動きベクトルをV1テンポラルメモリ４２２−１に供給する。
【０３６５】
V1テンポラルメモリ４２２−１は、V0テンポラルメモリ４２２−０と同様の処理部である。V1テンポラルメモリ４２２−１は、供給された1/4圧縮後V1動きベクトルを記憶する。V1テンポラルメモリ４２２−１は、適宜、記憶している1/4圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き補償部４１１−２に供給する。また、V1テンポラルメモリ４２２−１は、適宜、記憶している1/4圧縮後V1動きベクトルを、V1動きベクトル圧縮部４２３−１に供給する。
【０３６６】
V1動きベクトル圧縮部４２３−１は、V0動きベクトル圧縮部４２３−０と同様の処理部である。V1動きベクトル圧縮部４２３−１は、V1テンポラルメモリ４２２−１から1/4圧縮後V1動きベクトルを読み出し、1/4圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ４２４−１に供給する。
【０３６７】
V1動きベクトルメモリ４２４−１は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ４２４−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部４１１−１に供給する。
【０３６８】
V2動きベクトル圧縮部４２１−２は、V0動きベクトル圧縮部４２１−０と同様の処理部である。V2動きベクトル圧縮部４２１−２は、動き補償部４１１−２から供給された圧縮前V2動きベクトルを1/4圧縮し、得られた1/4圧縮後V2動きベクトルをV2テンポラルメモリ４２２−２に供給する。
【０３６９】
V2テンポラルメモリ４２２−２は、V0テンポラルメモリ４２２−０と同様の処理部である。V2テンポラルメモリ４２２−２は、供給された1/4圧縮後V2動きベクトルを記憶する。V2テンポラルメモリ４２２−２は、適宜、記憶している1/4圧縮後V2動きベクトルを、V2動きベクトル圧縮部４２３−２に供給する。
【０３７０】
V2動きベクトル圧縮部４２３−２は、V0動きベクトル圧縮部４２３−０と同様の処理部である。V2動きベクトル圧縮部４２３−２は、V2テンポラルメモリ４２２−２から1/4圧縮後V2動きベクトルを読み出し、1/4圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ４２４−２に供給する。
【０３７１】
V2動きベクトルメモリ４２４−２は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ４２４−２は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部４１１−２に供給する。
【０３７２】
なお、V2画像復号装置４００−２は、最後に処理されるビュー２の画像の符号化データを復号するので、動き補償部４１１−２において得られた動きベクトルは、他のビューで利用されない。したがって、V2動きベクトル圧縮部４２１−２乃至V2動きベクトルメモリ４２４−２の代わりに、V2画像復号装置２００−２のように、V2動きベクトル圧縮部２２１−２およびV2動きベクトルメモリ２２２−２を適用するようにしてもよい。
【０３７３】
以上のように、V0動きベクトル圧縮部４２１−０、V1動きベクトル圧縮部４２１−１、およびV2動きベクトル圧縮部４２１−２が、動きベクトルの数を減らすことにより、動きベクトルの情報量を低減させる（すなわち圧縮する）ことができる。これにより、V0テンポラルメモリ４２２−０、V1テンポラルメモリ４２２−１、およびV2テンポラルメモリ４２２−２の容量を低減させることができる。
【０３７４】
また、その際、IVMP用の動きベクトルの精度をTMVP用の動きベクトルの精度よりも高くするように圧縮率を抑制することにより、IVMP用の動きベクトルの精度をTMVP用の動きベクトルの精度と同等とする場合より、IVMPの予測精度を向上させることができる。
【０３７５】
これにより、画像復号装置４００の、製造や開発のコストの低減、装置の小型化、並びに、消費電力の低減等を実現することができる。
【０３７６】
＜V0復号処理の流れ＞
次に、以上のような画像復号装置４００により実行される処理の流れについて説明する。なお、画像復号装置４００による復号処理の流れは、第１の実施の形態の場合（図１９）と同様であるのでその説明を省略する。
【０３７７】
次に、図３８のフローチャートを参照して、図１９のステップＳ１４０１において実行される、ビュー０の復号を行うV0復号処理の流れの例を説明する。
【０３７８】
ステップＳ２５０１乃至ステップＳ２５０８の各処理は、V0画像復号装置４００−０の各処理部により、図２０のステップＳ１５０１乃至ステップＳ１５０８の各処理と同様に行われる。
【０３７９】
ステップＳ２５０９において、V0動きベクトル圧縮部４２１−０は、ステップＳ２５０６の処理により生成されたビュー０のカレントピクチャの動きベクトルであり、最高4x4精度の圧縮前V0動きベクトルを、8x8精度に圧縮する（1/4圧縮）。この1/4圧縮は、例えば、LCU（例えば16x16画素）毎に行われる。
【０３８０】
ステップＳ２５１０において、V0テンポラルメモリ４２２−０は、ステップＳ２５０９の処理により生成された1/4圧縮後V0動きベクトルを記憶する。
【０３８１】
ステップＳ２５１１乃至ステップＳ２５１５の各処理は、V0画像復号装置４００−０の各処理部により、図２０のステップＳ１５１１乃至ステップＳ１５１５の各処理と同様に行われる。
【０３８２】
ステップＳ２５１６において、V0動きベクトル圧縮部４２３−０は、ステップＳ２５１０の処理により記憶された1/4圧縮後V0動きベクトルを、V0テンポラルメモリ４２２−０から読み出し、さらに1/4圧縮する。
【０３８３】
ステップＳ２５１７において、V0動きベクトルメモリ４２４−０は、ステップＳ２５１６の処理により生成された1/16圧縮後V0動きベクトルを記憶する。
【０３８４】
ステップＳ２５１７の処理が終了すると、V0符号化処理が終了し、処理は図１９に戻る。なお、図３８のステップＳ２５０６において実行されるV0動き補償処理は、動き補償部４１１−０により、第１の実施の形態の場合（図２１）と同様に行われるのでその説明を省略する。
【０３８５】
＜V1復号処理の流れ＞
次に、図３９のフローチャートを参照して、図１９のステップＳ１４０２において実行される、ビュー１の符号化データを復号するV1復号処理の流れの例を説明する。
【０３８６】
ビュー０に対する処理と、ビュー１に対する処理の違いは、主に、動き補償処理にある。したがって、図３９に示されるように、ビュー１に対するV1復号処理は、V1画像復号装置４００−１によって、ビュー０に対するV0復号処理（図３８）の場合と基本的に同様に実行される。つまり、図３９のステップＳ２６０１乃至ステップＳ２６１７の各処理は、図３８のステップＳ２５０１乃至ステップＳ２５１７の各処理と基本的に同様に実行される。したがって、図３９の説明は、図３８の説明におけるV0画像復号装置４００−０の各部をV1画像復号装置４００−１の各部に置き換え、図３８においてビュー０に対する処理としてした説明を、ビュー１に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。
【０３８７】
＜V1動き補償処理の流れ＞
次に、図３９のステップＳ２６０６において実行されるV1動き補償処理の流れの例を、図４０のフローチャートを参照して説明する。
【０３８８】
ステップＳ２６３１乃至ステップＳ２６３５の各処理は、動き補償部４１１−１により、図２３のステップＳ１６３１乃至ステップＳ１６３５の各処理と同様に行われる。
【０３８９】
ステップＳ２６３６において、動き補償部４１１−１は、1/4圧縮後V0動きベクトル（ビュー０の画像のコロケーテッドブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ２６３７に進む。
【０３９０】
ステップＳ２６３７およびステップＳ２６３８の各処理は、動き補償部４１１−１により、図２３のステップＳ１６３７およびステップＳ１６３８の各処理と同様に行われる。ステップＳ２６３８の処理が終了すると、V1動き補償処理が終了し、処理は、図２２に戻る。
【０３９１】
＜V2復号処理の流れ＞
次に、図４１のフローチャートを参照して、図１９のステップＳ１４０３において実行される、ビュー２の符号化データを復号するV2復号処理の流れの例を説明する。
【０３９２】
ビュー１に対する処理と、ビュー２に対する処理の違いは、主に、動き補償処理にある。したがって、図４１に示されるように、V2復号処理は、V2画像復号装置４００−２によって、ビュー１に対するV1復号処理（図３９）の場合と基本的に同様に実行される。つまり、図４１のステップＳ２７０１乃至ステップＳ２７１７の各処理は、図３９のステップＳ２６０１乃至ステップＳ２６１７の各処理と基本的に同様に実行される。したがって、図４１の説明は、図３９の説明におけるV1画像復号装置４００−１の各部をV2画像復号装置４００−２の各部に置き換え、図３９におけるビュー１に対する処理との説明を、ビュー２に対する処理に置き換えるだけでよいので、その説明は省略する。
【０３９３】
＜V2動き補償処理の流れ＞
次に、図４１のステップＳ２７０６において実行されるV2動き補償処理の流れの例を、図４２のフローチャートを参照して説明する。
【０３９４】
ステップＳ２７３１乃至ステップＳ２７３５の各処理は、動き補償部４１１−２により、図２５のステップＳ１７３１乃至ステップＳ１７３５の各処理と同様に行われる。
【０３９５】
ステップＳ２７３６において、動き補償部４１１−２は、1/4圧縮後V1動きベクトル（ビュー１の画像のコロケーテッドブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ２７３７に進む。
【０３９６】
ステップＳ２７３７およびステップＳ２７３８の各処理は、動き補償部４１１−２により、図２５のステップＳ１７３７およびステップＳ１７３８の各処理と同様に行われる。ステップＳ２７３８の処理が終了すると、V1動き補償処理が終了し、処理は、図４１に戻る。
【０３９７】
以上のように各処理を実行することにより、画像復号装置４００は、IVMP用の動きベクトルのために必要なメモリ容量を低減させることができ、符号化・復号に必要な記憶容量の増大を抑制することができる。
【０３９８】
なお、以上においては、動きベクトルの精度が、非圧縮の状態で最高4x4精度であり、IVMP用に8x8精度に圧縮し、さらに、TMVP用に16x16精度に圧縮するように説明したが、これは一例であり、動きベクトルの精度は任意である。また、各圧縮の圧縮率も任意である。つまり、各ビューの、空間予測動きベクトル候補、時間予測動きベクトル候補、IVMP予測動きベクトル候補、および予測動きベクトルの精度も任意である。精度や圧縮率が全てのビューで統一されていてもよいし、されていなくてもよい。
【０３９９】
＜３．第３の実施の形態＞
＜IVMP用の動きベクトルの圧縮＞
以上のような動きベクトルの圧縮（例えば間引き）において、図４３に示されるように、IVMP用の動きベクトルを圧縮するか否か（例えば間引くか否か）を制御することができるようにしてもよい。つまり、図４を参照して説明した従来の方法と、図５を参照して説明した（第1の実施の形態において説明した）方法のいずれか一方を選択することができるようにしてもよい。
【０４００】
より具体的には、例えば、デコーダ（V1 (Depend) Decorder, V2 (Depend) Decorder）は、テンポラル動きベクトルメモリ（V0 Temporal MV Memory, V1 Temporal MV Memory）から非圧縮の動きベクトル（圧縮前MV）を取得し、それを用いてIVMPを行うか、動きベクトルメモリ（V0 MV Memory, V1 MV Memory）から1/16圧縮された（例えば間引かれた）動きベクトル（圧縮後MV）を取得し、それを用いてIVMPを行うかを、スイッチ（V0SW, V1SW）により選択することができる。
【０４０１】
このようにすることにより、メモリの容量、CPUの処理能力、現在の負荷状況等、任意の条件に応じて、より適応的に処理量やメモリ使用量等を制御しながら符号化や復号を行うことができる。
【０４０２】
以下に、この圧縮方法について、より具体的に説明する。なお、以下においては、動きベクトルの精度が、非圧縮の状態で最高4x4精度であるとする。また、その圧縮前の動きベクトルが、TMVP用（若しくは、TMVPおよびＩＶＭＰ用）に、16x16精度に圧縮（1/4圧縮）されるものとする。
【０４０３】
＜シンタックス＞
このように複数の方法からいずれかを選択する場合、符号化側と復号側で同じ方法を選択する必要がある。そこで、いずれの方法を選択するかを、符号化側と復号側とで共有するために、いずれの方法を選択するかを示す情報（例えばフラグ）を、符号化側から復号側に伝送するようにしてもよい。例えば、図４の方法を用いるか、図５の方法を用いるかを示す１ビットのフラグを符号化側において生成し、復号側に伝送するようにしてもよい。復号側では、そのフラグの値に基づいて復号を行うことにより、符号化側において採用された方法と同じ方法を選択し、適切に復号することができる。
【０４０４】
その場合、そのフラグは、任意の方法で伝送することができる。例えば、図４４に示されるシンタックスのように、シーケンスパラメータセット（Sep_parameter_set）において伝送するようにしてもよい。
【０４０５】
図４４の例の場合、画像符号化装置において、このフラグが生成され、「sps_mv_compression_flag」として、シーケンスからメータセットに格納されて伝送される。画像復号装置においては、ビットストリームからこの「sps_mv_compression_flag」を抽出し、その値を参照して、画像符号化装置において採用されたのと同じ方法を選択する。
【０４０６】
＜画像符号化装置＞
図４５は、V0画像符号化装置の主な構成例を示すブロック図である。図４６は、V1画像符号化装置の主な構成例を示すブロック図である。図４７は、V2画像符号化装置の主な構成例を示すブロック図である。
【０４０７】
図示せぬ画像符号化装置５００は、図２に示される多視点画像のような複数レイヤよりなる動画像を符号化する。この画像符号化装置５００は、多視点画像の各ビューを符号化するために、図４５のV0画像符号化装置５００−０、図４６のV1画像符号化装置５００−１、および図４７のV2画像符号化装置５００−３を有する。V0画像符号化装置５００−０は、ビュー０の画像を符号化する。V1画像符号化装置５００−１は、ビュー１の画像を符号化する。V2画像符号化装置５００−２は、ビュー２の画像を符号化する。
【０４０８】
図４５に示されるように、V0画像符号化装置５００−０は、A/D変換部５０１−０、画面並べ替えバッファ５０２−０、演算部５０３−０、直交変換部５０４−０、量子化部５０５−０、可逆符号化部５０６−０、蓄積バッファ５０７−０、逆量子化部５０８−０、および逆直交変換部５０９−０を有する。また、V0画像符号化装置５００−０は、演算部５１０−０、ループフィルタ５１１−０、デコードピクチャバッファ５１２−０、画面内予測部５１３−０、動き予測・補償部５１４−０、予測画像選択部５１５−０、およびレート制御部５１６−０を有する。
【０４０９】
また、図４６に示されるように、V1画像符号化装置５００−１は、A/D変換部５０１−１、画面並べ替えバッファ５０２−１、演算部５０３−１、直交変換部５０４−１、量子化部５０５−１、可逆符号化部５０６−１、蓄積バッファ５０７−１、逆量子化部５０８−１、および逆直交変換部５０９−１を有する。また、V1画像符号化装置５００−１は、演算部５１０−１、ループフィルタ５１１−１、デコードピクチャバッファ５１２−１、画面内予測部５１３−１、動き予測・補償部５１４−１、予測画像選択部５１５−１、およびレート制御部５１６−１を有する。
【０４１０】
さらに、図４７に示されるように、V2画像符号化装置５００−２は、A/D変換部５０１−２、画面並べ替えバッファ５０２−２、演算部５０３−２、直交変換部５０４−２、量子化部５０５−２、可逆符号化部５０６−２、蓄積バッファ５０７−２、逆量子化部５０８−２、および逆直交変換部５０９−２を有する。また、V2画像符号化装置５００−２は、演算部５１０−２、ループフィルタ５１１−２、デコードピクチャバッファ５１２−２、画面内予測部５１３−２、動き予測・補償部５１４−２、予測画像選択部５１５−２、およびレート制御部５１６−２を有する。
【０４１１】
以下において、A/D変換部５０１−０乃至A/D変換部５０１−２を互いに区別して説明する必要が無い場合、単に、A/D変換部５０１と称する。また、画面並べ替えバッファ５０２−０乃至画面並べ替えバッファ５０２−２を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ５０２と称する。さらに、演算部５０３−０乃至演算部５０３−２を互いに区別して説明する必要が無い場合、単に、演算部５０３と称する。また、直交変換部５０４−０乃至直交変換部５０４−２を互いに区別して説明する必要が無い場合、単に、直交変換部５０４と称する。さらに、量子化部５０５−０乃至量子化部５０５−２を互いに区別して説明する必要が無い場合、単に、量子化部５０５と称する。また、可逆符号化部５０６−０乃至可逆符号化部５０６−２を互いに区別して説明する必要が無い場合、単に、可逆符号化部５０６と称する。さらに、蓄積バッファ５０７−０乃至蓄積バッファ５０７−２を互いに区別して説明する必要が無い場合、単に、蓄積バッファ５０７と称する。また、逆量子化部５０８−０乃至逆量子化部５０８−２を互いに区別して説明する必要が無い場合、単に、逆量子化部５０８と称する。さらに、逆直交変換部５０９−０乃至逆直交変換部５０９−２を互いに区別して説明する必要が無い場合、単に、逆直交変換部５０９と称する。
【０４１２】
また、演算部５１０−０乃至演算部５１０−２を互いに区別して説明する必要が無い場合、単に、演算部５１０と称する。さらに、ループフィルタ５１１−０乃至ループフィルタ５１１−２を互いに区別して説明する必要が無い場合、単に、ループフィルタ５１１と称する。また、デコードピクチャバッファ５１２−０乃至デコードピクチャバッファ５１２−２を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ５１２と称する。さらに、画面内予測部５１３−０乃至画面内予測部５１３−２を互いに区別して説明する必要が無い場合、単に、画面内予測部５１３と称する。また、動き予測・補償部５１４−０乃至動き予測・補償部５１４−２を互いに区別して説明する必要が無い場合、単に、動き予測・補償部５１４と称する。さらに、予測画像選択部５１５−０乃至予測画像選択部５１５−２を互いに区別して説明する必要が無い場合、単に、予測画像選択部５１５と称する。また、レート制御部５１６−０乃至レート制御部５１６−２を互いに区別して説明する必要が無い場合、単に、レート制御部５１６と称する。
【０４１３】
A/D変換部５０１は、A/D変換部１０１に対応し、基本的にA/D変換部１０１と同様の処理を行う。画面並べ替えバッファ５０２は、画面並べ替えバッファ１０２に対応し、基本的に画面並べ替えバッファ１０２と同様の処理を行う。演算部５０３は、演算部１０３に対応し、基本的に演算部１０３と同様の処理を行う。直交変換部５０４は、直交変換部１０４に対応し、基本的に直交変換部１０４と同様の処理を行う。量子化部５０５は、量子化部１０５に対応し、基本的に量子化部１０５と同様の処理を行う。可逆符号化部５０６は、可逆符号化部１０６に対応し、基本的に可逆符号化部１０６と同様の処理を行う。蓄積バッファ５０７は、蓄積バッファ１０７に対応し、基本的に蓄積バッファ１０７と同様の処理を行う。
【０４１４】
逆量子化部５０８は、逆量子化部１０８に対応し、基本的に逆量子化部１０８と同様の処理を行う。逆直交変換部５０９は、逆直交変換部１０９に対応し、基本的に逆直交変換部１０９と同様の処理を行う。演算部５１０は、演算部１１０に対応し、基本的に演算部１１０と同様の処理を行う。ループフィルタ５１１は、ループフィルタ１１１に対応し、基本的にループフィルタ１１１と同様の処理を行う。デコードピクチャバッファ５１２は、デコードピクチャバッファ１１２に対応し、基本的にデコードピクチャバッファ１１２と同様の処理を行う。
【０４１５】
画面内予測部５１３は、画面内予測部１１３に対応し、基本的に画面内予測部１１３と同様の処理を行う。動き予測・補償部５１４は、動き予測・補償部１１４に対応し、基本的に動き予測・補償部１１４と同様の処理を行う。予測画像選択部５１５は、予測画像選択部１１５に対応し、基本的に予測画像選択部１１５と同様の処理を行う。
【０４１６】
V0画像符号化装置５００−０は、さらに、制御部５２１、フラグ生成部５２２、V0選択部５３１−０、V0テンポラルメモリ５３２−０、V0動きベクトル圧縮部５３３−０、V0動きベクトルメモリ５３４−０、およびV0選択部５３５−０を有する。
【０４１７】
V1画像符号化装置５００−１は、さらに、V1選択部５３１−１、V1テンポラルメモリ５３２−１、V1動きベクトル圧縮部５３３−１、V1動きベクトルメモリ５３４−１、およびV1選択部５３５−１を有する。
【０４１８】
V2画像符号化装置５００−２は、さらに、V2選択部５３１−２、V2テンポラルメモリ５３２−２、V2動きベクトル圧縮部５３３−２、およびV2動きベクトルメモリ５３４−２を有する。
【０４１９】
制御部５２１は、ユーザや他の装置等の外部からの指示や、所定の条件判定結果等に基づいて、IVMP用の動きベクトルを圧縮するか否かを決定する。つまり、制御部５２１は、図４に示される方法を選択するか、図５に示される方法を選択するかを決定する。圧縮するか否かを決定すると、制御部５２１は、その旨をフラグ生成部５２２に供給する。
【０４２０】
フラグ生成部５２２は、制御部５２１から通知された方法を示すフラグを生成する。フラグ生成部５２２は、生成したフラグを可逆符号化部５０６−０に供給する。可逆符号化部５０６−０は、供給されたフラグをシーケンスパラメータセットに含めて、復号側に伝送させる。
【０４２１】
また、制御部５２１は、決定した方法に従って、V0選択部５３１−０、V0選択部５３５−０、V1選択部５３１−１、V1選択部５３５−１、および、V2選択部５３１−２の選択（スイッチング）を制御する。
【０４２２】
制御部５２１が、IVMP用の動きベクトルを圧縮する方法を選択した場合、V0選択部５３１−０は、制御部５２１の制御に従って、V0動きベクトル圧縮部５３３−０を選択し、V0選択部５３５−０は、制御部５２１の制御に従って、V0動きベクトルメモリ５３４−０を選択する。また、V1選択部５３１−１は、制御部５２１の制御に従って、V1動きベクトル圧縮部５３３−１を選択し、V1選択部５３５−１は、制御部５２１の制御に従って、V1動きベクトルメモリ５３４−１を選択する。さらに、V2選択部５３１−２は、制御部５２１の制御に従って、V2動きベクトル圧縮部５３３−２を選択する。
【０４２３】
この場合、動き予測・補償部５１４−０は、動き予測により生成したカレントブロックの圧縮前V0動きベクトル（最高4x4精度）を、V0選択部５３１−０を介して、V0動きベクトル圧縮部５３３−０に供給する。V0動きベクトル圧縮部５３３−０は、動き予測・補償部５１４−０から供給された圧縮前V0動きベクトルを1/16圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ５３４−０に供給する。V0動きベクトルメモリ５３４−０は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ５３４−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部５１４−０に供給する。また、V0動きベクトルメモリ５３４−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V0選択部５３５−０を介して、動き予測・補償部５１４−１に供給する。
【０４２４】
また、動き予測・補償部５１４−１は、動き予測により生成したカレントブロックの圧縮前V1動きベクトル（最高4x4精度）を、V1選択部５３１−１を介して、V1動きベクトル圧縮部５３３−１に供給する。V1動きベクトル圧縮部５３３−１は、動き予測・補償部５１４−１から供給された圧縮前V1動きベクトルを1/16圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ５３４−１に供給する。V1動きベクトルメモリ５３４−１は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ５３４−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部５１４−１に供給する。また、V1動きベクトルメモリ５３４−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V1選択部５３５−１を介して、動き予測・補償部５１４−２に供給する。
【０４２５】
さらに、動き予測・補償部５１４−２は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル（最高4x4精度）を、V2選択部５３１−２を介して、V2動きベクトル圧縮部５３３−２に供給する。V2動きベクトル圧縮部５３３−２は、動き予測・補償部５１４−２から供給された圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ５３４−２に供給する。V2動きベクトルメモリ５３４−２は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ５３４−２は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部５１４−２に供給する。
【０４２６】
つまり、この場合、画像符号化装置５００は、第1の実施の形態において説明した方法の場合（例えば図５）と同様の構成となる。
【０４２７】
制御部５２１が、IVMP用の動きベクトルを圧縮しない方法を選択した場合、V0選択部５３１−０およびV0選択部５３５−０は、制御部５２１の制御に従って、V0テンポラルメモリ５３２−０を選択する。また、V1選択部５３１−１およびV1選択部５３５−１は、制御部５２１の制御に従って、V1テンポラルメモリ５３２−０を選択する。さらに、V2選択部５３１−２は、制御部５２１の制御に従って、V2テンポラルメモリ５３２−２を選択する。
【０４２８】
この場合、動き予測・補償部５１４−０は、動き予測により生成したカレントブロックの圧縮前V0動きベクトル（最高4x4精度）を、V0選択部５３１−０を介して、V0テンポラルメモリ５３２−０に供給する。V0テンポラルメモリ５３２−０は、適宜、記憶している圧縮前V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V0選択部５３５−０を介して、動き予測・補償部５１４−１に供給する。また、V0テンポラルメモリ５３２−０は、適宜、記憶している圧縮前V0動きベクトルを、V0動きベクトル圧縮部５３３−０に供給する。V0動きベクトル圧縮部５３３−０は、V0テンポラルメモリ５３２−０から圧縮前V0動きベクトルを読み出し、1/16圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ５３４−０に供給する。V0動きベクトルメモリ５３４−０は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ５３４−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部５１４−０に供給する。
【０４２９】
また、動き予測・補償部５１４−１は、動き予測により生成したカレントブロックの圧縮前V1動きベクトル（最高4x4精度）を、V1選択部５３１−１を介して、V1テンポラルメモリ５３２−１に供給する。V1テンポラルメモリ５３２−１は、適宜、記憶している圧縮前V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V1選択部５３５−１を介して、動き予測・補償部５１４−２に供給する。また、V1テンポラルメモリ５３２−１は、適宜、記憶している圧縮前V1動きベクトルを、V1動きベクトル圧縮部５３３−１に供給する。V1動きベクトル圧縮部５３３−１は、V1テンポラルメモリ５３２−１から供給された圧縮前V1動きベクトルを1/16圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ５３４−１に供給する。V1動きベクトルメモリ５３４−１は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ５３４−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部５１４−１に供給する。
【０４３０】
さらに、動き予測・補償部５１４−２は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル（最高4x4精度）を、V2選択部５３１−２を介して、V2テンポラルメモリ５３２−２に供給する。V2テンポラルメモリ５３２−２は、適宜、記憶している圧縮前V2動きベクトルを、V2動きベクトル圧縮部５３３−２に供給する。V2動きベクトル圧縮部５３３−２は、V2テンポラルメモリ５３２−２から供給された圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ５３４−２に供給する。V2動きベクトルメモリ５３４−２は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ５３４−２は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部５１４−２に供給する。
【０４３１】
つまり、この場合、画像符号化装置５００は、従来の方法の場合（例えば図４）と同様の構成となる。
【０４３２】
以上のように、動きベクトルの圧縮方法を制御することができるようにすることにより、符号化・復号に必要な記憶容量の増大を適応的に抑制することができる。
【０４３３】
＜符号化処理の流れ＞
次に、以上のような画像符号化装置５００により実行される処理の流れについて説明する。図４８のフローチャートを参照して、画像符号化装置５００による符号化処理の流れの例を説明する。
【０４３４】
符号化処理が開始されると、V0画像符号化装置５００−０の制御部５２１は、ステップＳ３００１において、IVMPの動きベクトルの圧縮の設定（IVMP用の動きベクトルを圧縮するか否かの設定）を行う。ステップＳ３００２において、フラグ生成部５２２は、ステップＳ３００１の設定に従って、IVMP用の動きベクトルを圧縮するか否かを示す動きベクトル圧縮フラグを生成する。この動きベクトル圧縮フラグは、可逆符号化部５０６−０において符号化される。ステップＳ３００３において、動きベクトル圧縮フラグの符号化データは、蓄積バッファ５０７−０に供給されて保持され、所定のタイミングにおいて、復号側に伝送される。
【０４３５】
カレントピクチャについて、V0画像符号化装置５００−０は、ステップＳ３００４においてV0符号化処理を行い、V1画像符号化装置５００−１は、ステップＳ３００５においてV1符号化処理を行い、V2画像符号化装置５００−２は、ステップＳ３００６においてV2符号化処理を行う。
【０４３６】
ステップＳ３００７において、画像符号化装置５００は、全てのピクチャを処理したか否かを判定する。未処理のピクチャが存在すると判定した場合、処理は、ステップＳ３００４に戻り、それ以降の処理を繰り返す。
【０４３７】
各ピクチャについて、ステップＳ３００４乃至ステップＳ３００７の処理が繰り返され、ステップＳ３００７において、全てのピクチャが処理されたと判定された場合、符号化処理が終了する。
【０４３８】
＜V0符号化処理の流れ＞
次に、図４９および図５０のフローチャートを参照して、図４８のステップＳ３００４において実行される、ビュー０の符号化を行うV0符号化処理の流れの例を説明する。
【０４３９】
図４９のステップＳ３１０１乃至ステップＳ３１０５の各処理は、V0画像符号化装置５００−０の各処理部により、図１０のステップＳ１１０１乃至ステップＳ１１０５の各処理と同様に実行される。
【０４４０】
ステップＳ３１０６において、V0選択部５３１−０は、制御部５２１の制御に従って、圧縮前V0動きベクトルを圧縮するか否かを判定する。圧縮すると判定された場合、処理はステップＳ３１０７に進む。
【０４４１】
ステップＳ３１０７において、V0動きベクトル圧縮部５３３−０は、圧縮前V0動きベクトルを1/16圧縮する。ステップＳ３１０８において、V0動きベクトルメモリ５３４−０は、ステップＳ３１０７の処理により生成された1/16圧縮後V0動きベクトルを記憶する。ステップＳ３１０８の処理が終了すると、処理はステップＳ３１１０に進む。
【０４４２】
また、ステップＳ３１０６において、圧縮前V0動きベクトルを圧縮しないと判定された場合、処理はステップＳ３１０９に進む。ステップＳ３１０９において、V0テンポラルメモリ５３２−０は、圧縮前V0動きベクトルを記憶する。ステップＳ３１０９の処理が終了すると、処理は、ステップＳ３１１０に進む。
【０４４３】
図４９のステップＳ３１１０乃至ステップＳ３１１２、図５０のステップＳ３１２１乃至ステップＳ３１２９の各処理は、画像符号化装置５００−０の各処理部により、図１０のステップＳ１１０８乃至ステップＳ１１１９の各処理と同様に行われる。
【０４４４】
次に、図５０のステップＳ３１３０において、V0選択部５３５−０は、制御部５２１の制御に従って、IVMPの動きベクトルを圧縮するか否かを判定する。この判定は、図４９のステップＳ３１０６と同様に行われる。圧縮しないと判定された場合、すなわち、図４９のステップＳ３１０６においても、動きベクトルを圧縮すると判定されなかった場合、処理はステップＳ３１３１に進む。
【０４４５】
この場合、図４９のステップＳ３１０９の処理により圧縮前V0動きベクトルがVOテンポラルメモリ５３２−０に記憶されている。そこで、ステップＳ３１３１において、V0動きベクトル圧縮部５３３−０は、V0テンポラルメモリ５３２−０からその圧縮前V0動きベクトルを読み出し、1/16圧縮を行う。ステップＳ３１３２において、V0動きベクトルメモリ５３４−０は、ステップＳ３１３１において算出された1/16圧縮後V0動きベクトルを記憶する。
【０４４６】
この場合、VOテンポラルメモリ５３２−０に記憶された圧縮前V0動きベクトルは、動き予測・補償部５１４−１において、IVMPに利用される。また、V0動きベクトルメモリ５３４−０に記憶された1/16圧縮後V0動きベクトルは、動き予測・補償部５１４−０において、TMVPに利用される。
【０４４７】
ステップＳ３１３２の処理が終了すると、V0符号化処理が終了し、処理は図４８に戻る。
【０４４８】
また、図５０のステップＳ３１３０において、動きベクトルを圧縮すると判定された場合、すなわち、図４９のステップＳ３１０６においても、動きベクトルを圧縮すると判定された場合、V0符号化処理が終了し、処理は図４８に戻る。
【０４４９】
この場合、V0動きベクトルメモリ５３４−０に記憶された1/16圧縮後V0動きベクトルは、動き予測・補償部５１４−０において、TMVPに利用されるとともに、動き予測・補償部５１４−１において、IVMPに利用される。
【０４５０】
なお、図４９のステップＳ３１０４において実行されるV0インター動き予測処理は、動き予測・補償部５１４−０により、第１の実施の形態の場合（図１１）と同様に行われるのでその説明を省略する。
【０４５１】
＜V1符号化処理の流れ＞
次に、図５１および図５２のフローチャートを参照して、図４８のステップＳ３００５において実行される、ビュー１の符号化を行うV1符号化処理の流れの例を説明する。
【０４５２】
ビュー０に対する処理と、ビュー１に対する処理の違いは、主に、インター動き予測処理にある。したがって、図５１に示されるように、ビュー１に対するV1符号化処理は、V1画像符号化装置５００−１によって、ビュー０に対するV0符号化処理（図４９および図５０）の場合と基本的に同様に実行される。つまり、図５１のステップＳ３２０１乃至ステップＳ３２１２、並びに、図５２のステップＳ３２２１乃至ステップＳ３２３２の各処理は、図４９のステップＳ３１０１乃至ステップＳ３１１２、並びに、図５０のステップＳ３１２１乃至ステップＳ３１３２の各処理と基本的に同様に実行される。したがって、図５１および図５２の説明は、図４９および図５０の説明におけるV0画像符号化装置５００−０の各部をV1画像符号化装置５００−１の各部に置き換え、図４９および図５０においてビュー０に対する処理としてした説明を、ビュー１に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。
【０４５３】
＜V1インター動き予測処理の流れ＞
次に、図５１のステップＳ３２０４において実行されるV1インター動き予測処理の流れの例を、図５３のフローチャートを参照して説明する。
【０４５４】
V1インター動き予測処理が開始されると、ステップＳ３２５１乃至ステップＳ３２５３の各処理は、図１３のステップＳ１２３１乃至ステップＳ１２３３の各処理と基本的に同様に実行される。ただし、この場合のV1インター動き予測処理は、動き予測・補償部５１４−１が実行する。
【０４５５】
また、この場合、IVMP用の動きベクトルを圧縮するか否かが選択される。つまり、図５３のステップＳ３２５４において、動き予測・補償部５１４−１は、制御部５２１の制御（つまり、制御部５２１により制御されるV0選択部５３５−０の選択）に従って、動きベクトルを圧縮するか否かを判定する。圧縮すると判定された場合、処理は、ステップＳ３２５５に進む。
【０４５６】
ステップＳ３２５５において、動き予測・補償部５１４−１は、V0動きベクトルメモリ５３４−０から取得した1/16圧縮後V0動きベクトルを用いて、IVMP予測動きベクトル候補を決定する。候補が決定されると、処理は、ステップＳ３２５７に進む。
【０４５７】
また、ステップＳ３２５４において、動きベクトルを圧縮しないと判定された場合、処理は、ステップＳ３２５６に進む。
【０４５８】
ステップＳ３２５６において、動き予測・補償部５１４−１は、V0テンポラルメモリ５３２−０から取得した圧縮前V0動きベクトルを用いて、IVMP予測動きベクトル候補を決定する。候補が決定されると、処理は、ステップＳ３２５７に進む。
【０４５９】
図５３のステップＳ３２５７乃至ステップＳ３２６０の各処理は、図１３のステップＳ１２３５乃至ステップＳ１２３８の各処理と同様に実行される。ステップＳ３２６０の処理が終了すると、V1インター動き予測処理が終了し、処理は、図５１に戻る。
【０４６０】
＜V2符号化処理の流れ＞
次に、図５４および図５５のフローチャートを参照して、図４８のステップＳ３００６において実行される、ビュー２の符号化を行うV2符号化処理の流れの例を説明する。
【０４６１】
ビュー２に対する処理は、ビュー１に対する処理と同様に実行される。したがって、図５４および図５５に示されるように、V2符号化処理は、V2画像符号化装置５００−２によって、ビュー１に対するV1符号化処理（図５１および図５２）の場合と基本的に同様に実行される。つまり、図５４のステップＳ３３０１乃至ステップＳ３３１２、並びに、図５５のステップＳ３３２１乃至ステップＳ３３３２の各処理は、図５１のステップＳ３２０１乃至ステップＳ３２１２、並びに、図５２のステップＳ３２２１乃至ステップＳ３２３２の各処理と基本的に同様に実行される。したがって、図５４および図５５の説明は、図５１および図５２の説明におけるV1画像符号化装置５００−１の各処理部をV2画像符号化装置５００−２の各処理部に置き換え、図５１および図５２においてビュー１に対する処理との説明を、ビュー２に対する処理に置き換えるだけでよいので、その説明は省略する。
【０４６２】
なお、ビュー２は、ビュー０乃至ビュー２の中で最後に処理されるビューであるので、生成されたV2動きベクトルは、IVMPに利用されない。したがって、図５４のステップＳ３３０７およびステップＳ３３０８、または、図５５のステップＳ３３３１およびステップＳ３３３８のいずれか一方を行えばよい。したがって、その他方と、図５４のステップＳ３３０６およびステップＳ３３３０の判定処理は、省略することができる。
【０４６３】
＜V2インター動き予測処理の流れ＞
次に、図５４のステップＳ３３０４において実行されるV2インター動き予測処理の流れの例を、図５６のフローチャートを参照して説明する。
【０４６４】
V2インター動き予測処理が開始されると、ステップＳ３３５１乃至ステップＳ３３５３の各処理は、図１５のステップＳ１３３１乃至ステップＳ１３３３の各処理と基本的に同様に実行される。ただし、この場合のV2インター動き予測処理は、動き予測・補償部５１４−２が実行する。
【０４６５】
また、この場合、IVMP用の動きベクトルを圧縮するか否かが選択される。つまり、図５６のステップＳ３３５４において、動き予測・補償部５１４−２は、制御部５２１の制御（つまり、制御部５２１により制御されるV1選択部５３５−１の選択）に従って、動きベクトルを圧縮するか否かを判定する。圧縮すると判定された場合、処理は、ステップＳ３３５５に進む。
【０４６６】
ステップＳ３３５５において、動き予測・補償部５１４−２は、V1動きベクトルメモリ５３４−１から取得した1/16圧縮後V1動きベクトルを用いて、IVMP予測動きベクトル候補を決定する。候補が決定されると、処理は、ステップＳ３３５７に進む。
【０４６７】
また、ステップＳ３３５４において、動きベクトルを圧縮しないと判定された場合、処理は、ステップＳ３３５６に進む。
【０４６８】
ステップＳ３３５６において、動き予測・補償部５１４−２は、V1テンポラルメモリ５３２−１から取得した圧縮前V1動きベクトルを用いて、IVMP予測動きベクトル候補を決定する。候補が決定されると、処理は、ステップＳ３３５７に進む。
【０４６９】
図５６のステップＳ３３５７乃至ステップＳ３３６０の各処理は、図１５のステップＳ１３３５乃至ステップＳ１３３８の各処理と同様に実行される。ステップＳ３３６０の処理が終了すると、V2インター動き予測処理が終了し、処理は、図５４に戻る。
【０４７０】
以上のように各処理を実行することにより、画像符号化装置５００は、より適応的に、IVMP用の動きベクトルのために必要なメモリ容量を低減させることができ、符号化・復号に必要な記憶容量の増大を、より適応的に抑制することができる。
【０４７１】
＜画像復号装置＞
次に、以上のように符号化された符号化データ（符号化ストリーム）の復号について説明する。図５７は、V0画像復号装置の主な構成例を示すブロック図である。図５８は、V1画像復号装置の主な構成例を示すブロック図である。図５９は、V2画像復号装置の主な構成例を示すブロック図である。
【０４７２】
図示せぬ画像復号装置６００は、画像符号化装置５００により符号化された、図２に示される多視点画像のような複数レイヤよりなる動画像の符号化データを、その符号化方法に対応する復号方法で復号する。この画像復号装置６００は、多視点画像の各ビューの符号化データを復号するために、図５７のV0画像復号装置６００−０、図５８のV1画像復号装置６００−１、および図５９のV2画像復号装置６００−２を有する。V0画像復号装置６００−０は、V0画像符号化装置５００−０により符号化されたビュー０の画像の符号化データを復号する。V1画像復号装置６００−１は、V1画像符号化装置５００−１により符号化されたビュー１の画像の符号化データを復号する。V2画像復号装置６００−２は、V2画像符号化装置５００−２により符号化されたビュー２の画像の符号化データを復号する。
【０４７３】
図５７に示されるように、V0画像復号装置６００−０は、蓄積バッファ６０１−０、可逆復号部６０２−０、逆量子化部６０３−０、逆直交変換部６０４−０、演算部６０５−０、ループフィルタ６０６−０、画面並べ替えバッファ６０７−０、およびD/A変換部６０８−０を有する。また、V0画像復号装置６００−０は、デコードピクチャバッファ６０９−０、画面内予測部６１０−０、動き補償部６１１−０、および選択部６１２−０を有する。
【０４７４】
また、図５８に示されるように、V1画像復号装置６００−１は、蓄積バッファ６０１−１、可逆復号部６０２−１、逆量子化部６０３−１、逆直交変換部６０４−１、演算部６０５−１、ループフィルタ６０６−１、画面並べ替えバッファ６０７−１、およびD/A変換部６０８−１を有する。また、V1画像復号装置６００−１は、デコードピクチャバッファ６０９−１、画面内予測部６１０−１、動き補償部６１１−１、および選択部６１２−１を有する。
【０４７５】
さらに、図５９に示されるように、V2画像復号装置６００−２は、蓄積バッファ６０１−２、可逆復号部６０２−２、逆量子化部６０３−２、逆直交変換部６０４−２、演算部６０５−２、ループフィルタ６０６−２、画面並べ替えバッファ６０７−２、およびD/A変換部６０８−２を有する。また、V2画像復号装置６００−２は、デコードピクチャバッファ６０９−２、画面内予測部６１０−２、動き補償部６１１−２、および選択部６１２−２を有する。
【０４７６】
以下において、蓄積バッファ６０１−０乃至蓄積バッファ６０１−２を互いに区別して説明する必要が無い場合、単に、蓄積バッファ６０１と称する。また、可逆復号部６０２−０乃至可逆復号部６０２−２を互いに区別して説明する必要が無い場合、単に、可逆復号部６０２と称する。さらに、逆量子化部６０３−０乃至逆量子化部６０３−２を互いに区別して説明する必要が無い場合、単に、逆量子化部６０３と称する。また、逆直交変換部６０４−０乃至逆直交変換部６０４−２を互いに区別して説明する必要が無い場合、単に、逆直交変換部６０４と称する。さらに、演算部６０５−０乃至演算部６０５−２を互いに区別して説明する必要が無い場合、単に、演算部６０５と称する。
【０４７７】
また、ループフィルタ６０６−０乃至ループフィルタ６０６−２を互いに区別して説明する必要が無い場合、単に、ループフィルタ６０６と称する。さらに、画面並べ替えバッファ６０７−０乃至画面並べ替えバッファ６０７−２を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ６０７と称する。また、D/A変換部６０８−０乃至D/A変換部６０８−２を互いに区別して説明する必要が無い場合、単に、D/A変換部６０８と称する。さらに、デコードピクチャバッファ６０９−０乃至デコードピクチャバッファ６０９−２を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ６０９と称する。
【０４７８】
また、画面内予測部６１０−０乃至画面内予測部６１０−２を互いに区別して説明する必要が無い場合、単に、画面内予測部６１０と称する。さらに、動き補償部６１１−０乃至動き補償部６１１−２を互いに区別して説明する必要が無い場合、単に、動き補償部６１１と称する。また、選択部６１２−０乃至選択部６１２−２を互いに区別して説明する必要が無い場合、単に、選択部６１２と称する。
【０４７９】
蓄積バッファ６０１は、蓄積バッファ２０１に対応し、基本的に蓄積バッファ２０１と同様の処理を行う。可逆復号部６０２は、可逆復号部２０２に対応し、基本的に可逆復号部２０２と同様の処理を行う。逆量子化部６０３は、逆量子化部２０３に対応し、基本的に逆量子化部２０３と同様の処理を行う。逆直交変換部６０４は、逆直交変換部２０４に対応し、基本的に逆直交変換部２０４と同様の処理を行う。演算部６０５は、演算部２０５に対応し、基本的に演算部２０５と同様の処理を行う。
【０４８０】
ループフィルタ６０６は、ループフィルタ２０６に対応し、基本的にループフィルタ２０６と同様の処理を行う。画面並べ替えバッファ６０７は、画面並べ替えバッファ２０７に対応し、基本的に画面並べ替えバッファ２０７と同様の処理を行う。D/A変換部６０８は、D/A変換部２０８に対応し、基本的にD/A変換部２０８と同様の処理を行う。デコードピクチャバッファ６０９は、デコードピクチャバッファ２０９に対応し、基本的にデコードピクチャバッファ２０９と同様の処理を行う。
【０４８１】
画面内予測部６１０は、画面内予測部２１０に対応し、基本的に画面内予測部２１０と同様の処理を行う。動き補償部６１１は、動き補償部２１１に対応し、基本的に動き補償部２１１と同様の処理を行う。選択部６１２は、選択部２１２に対応し、基本的に選択部２１２と同様の処理を行う。
【０４８２】
V0画像復号装置６００−０は、さらに、制御部６２１、V0選択部６３１−０、V0テンポラルメモリ６３２−０、V0動きベクトル圧縮部６３３−０、V0動きベクトルメモリ６３４−０、およびV0選択部６３５−０を有する。
【０４８３】
V1画像復号装置６００−１は、さらに、V1選択部６３１−１、V1テンポラルメモリ６３２−１、V1動きベクトル圧縮部６３３−１、V1動きベクトルメモリ６３４−１、およびV1選択部６３５−１を有する。
【０４８４】
V2画像復号装置６００−２は、さらに、V2選択部６３１−２、V2テンポラルメモリ６３２−２、V2動きベクトル圧縮部６３３−２、およびV2動きベクトルメモリ６３４−２を有する。
【０４８５】
可逆復号部６０２−０は、符号化側から供給された、IVMP用の動きベクトルを圧縮するか否かを示すフラグを、例えばシーケンスパラメータセットから抽出し、制御部６２１に供給する。
【０４８６】
制御部６２１は、可逆復号部６０２から取得したフラグの値に基づいて、すなわち、符号化側において採用された方法（制御部５２１によって決定された方法）に従って、V0選択部６３１−０、V0選択部６３５−０、V1選択部６３１−１、V1選択部６３５−１、および、V2選択部６３１−２の選択（スイッチング）を制御する。
【０４８７】
IVMP用の動きベクトルを圧縮する場合、V0選択部６３１−０は、制御部６２１の制御に従って、V0動きベクトル圧縮部６３３−０を選択し、V0選択部６３５−０は、制御部６２１の制御に従って、V0動きベクトルメモリ６３４−０を選択する。また、V1選択部６３１−１は、制御部６２１の制御に従って、V1動きベクトル圧縮部６３３−１を選択し、V1選択部６３５−１は、制御部６２１の制御に従って、V1動きベクトルメモリ６３４−１を選択する。さらに、V2選択部６３１−２は、制御部６２１の制御に従って、V2動きベクトル圧縮部６３３−２を選択する。
【０４８８】
この場合、動き補償部６１１−０は、再構築したカレントブロックの圧縮前V0動きベクトル（最高4x4精度）を、V0選択部６３１−０を介して、V0動きベクトル圧縮部６３３−０に供給する。V0動きベクトル圧縮部６３３−０は、動き補償部６１１−０から供給された圧縮前V0動きベクトルを1/16圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ６３４−０に供給する。V0動きベクトルメモリ６３４−０は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ６３４−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部６１１−０に供給する。また、V0動きベクトルメモリ６３４−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V0選択部６３５−０を介して、動き補償部６１１−１に供給する。
【０４８９】
また、動き補償部６１１−１は、再構築したカレントブロックの圧縮前V1動きベクトル（最高4x4精度）を、V1選択部６３１−１を介して、V1動きベクトル圧縮部６３３−１に供給する。V1動きベクトル圧縮部６３３−１は、動き補償部６１１−１から供給された圧縮前V1動きベクトルを1/16圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ６３４−１に供給する。V1動きベクトルメモリ６３４−１は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ６３４−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部６１１−１に供給する。また、V1動きベクトルメモリ６３４−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V1選択部６３５−１を介して、動き補償部６１１−２に供給する。
【０４９０】
さらに、動き補償部６１１−２は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル（最高4x4精度）を、V2選択部６３１−２を介して、V2動きベクトル圧縮部６３３−２に供給する。V2動きベクトル圧縮部６３３−２は、動き補償部６１１−２から供給された圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ６３４−２に供給する。V2動きベクトルメモリ６３４−２は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ６３４−２は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部６１１−２に供給する。
【０４９１】
つまり、この場合、画像復号装置６００は、第1の実施の形態において説明した方法の場合（例えば図５）と同様の構成となる。
【０４９２】
IVMP用の動きベクトルが圧縮されない場合、V0選択部６３１−０およびV0選択部６３５−０は、制御部６２１の制御に従って、V0テンポラルメモリ６３２−０を選択する。また、V1選択部６３１−１およびV1選択部６３５−１は、制御部６２１の制御に従って、V1テンポラルメモリ６３２−０を選択する。さらに、V2選択部６３１−２は、制御部６２１の制御に従って、V2テンポラルメモリ６３２−２を選択する。
【０４９３】
この場合、動き補償部６１１−０は、動き予測により生成したカレントブロックの圧縮前V0動きベクトル（最高4x4精度）を、V0選択部６３１−０を介して、V0テンポラルメモリ６３２−０に供給する。V0テンポラルメモリ６３２−０は、適宜、記憶している圧縮前V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V0選択部６３５−０を介して、動き補償部６１１−１に供給する。また、V0テンポラルメモリ６３２−０は、適宜、記憶している圧縮前V0動きベクトルを、V0動きベクトル圧縮部６３３−０に供給する。V0動きベクトル圧縮部６３３−０は、V0テンポラルメモリ６３２−０から圧縮前V0動きベクトルを読み出し、1/16圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ６３４−０に供給する。V0動きベクトルメモリ６３４−０は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ６３４−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部６１１−０に供給する。
【０４９４】
また、動き補償部６１１−１は、動き予測により生成したカレントブロックの圧縮前V1動きベクトル（最高4x4精度）を、V1選択部６３１−１を介して、V1テンポラルメモリ６３２−１に供給する。V1テンポラルメモリ６３２−１は、適宜、記憶している圧縮前V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V1選択部６３５−１を介して、動き補償部６１１−２に供給する。また、V1テンポラルメモリ６３２−１は、適宜、記憶している圧縮前V1動きベクトルを、V1動きベクトル圧縮部６３３−１に供給する。V1動きベクトル圧縮部６３３−１は、V1テンポラルメモリ６３２−１から供給された圧縮前V1動きベクトルを1/16圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ６３４−１に供給する。V1動きベクトルメモリ６３４−１は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ６３４−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部６１１−１に供給する。
【０４９５】
さらに、動き補償部６１１−２は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル（最高4x4精度）を、V2選択部６３１−２を介して、V2テンポラルメモリ６３２−２に供給する。V2テンポラルメモリ６３２−２は、適宜、記憶している圧縮前V2動きベクトルを、V2動きベクトル圧縮部６３３−２に供給する。V2動きベクトル圧縮部６３３−２は、V2テンポラルメモリ６３２−２から供給された圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ６３４−２に供給する。V2動きベクトルメモリ６３４−２は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ６３４−２は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部６１１−２に供給する。
【０４９６】
つまり、この場合、画像復号装置６００は、従来の方法の場合（例えば図４）と同様の構成となる。
【０４９７】
以上のように、動きベクトルの圧縮方法を制御することができるようにすることにより、符号化・復号に必要な記憶容量の増大を適応的に抑制することができる。
【０４９８】
＜復号処理の流れ＞
次に、以上のような画像復号装置６００により実行される処理の流れについて説明する。図６０のフローチャートを参照して、画像復号装置６００による復号処理の流れの例を説明する。
【０４９９】
復号処理が開始されると、制御部６２１は、ステップＳ３４０１において、符号化側から伝送された、IVMP用の動きベクトルを圧縮するか否かを示す動きベクトル圧縮フラグを受け取る。
【０５００】
カレントピクチャについて、V0画像復号装置６００−０は、ステップＳ３４０２においてV0復号処理を行い、V1画像復号装置６００−１は、ステップＳ３４０３においてV1復号処理を行い、V2画像復号装置６００−２は、ステップＳ３４０４においてV2復号処理を行う。
【０５０１】
ステップＳ３４０５において、画像復号装置６００は、全てのピクチャを処理したか否かを判定し、未処理のピクチャが存在すると判定した場合、処理をステップＳ３４０２に戻し、それ以降の処理を繰り返す。
【０５０２】
各ピクチャについて、ステップＳ３４０２乃至ステップＳ３４０５の処理が繰り返され、ステップＳ３４０５において、全てのピクチャが処理されたと判定された場合、画像復号装置６００は、復号処理を終了する。
【０５０３】
＜V0復号処理の流れ＞
次に、図６１および図６２のフローチャートを参照して、図６０のステップＳ３４０２において実行される、ビュー０の復号を行うV0復号処理の流れの例を説明する。
【０５０４】
ステップＳ３５０１乃至ステップＳ３５０８の各処理は、V0画像復号装置６００−０の各処理部により、図２０のステップＳ１５０１乃至ステップＳ１５０８の各処理と同様に行われる。
【０５０５】
ステップＳ３５０９において、V0選択部６３１−０は、制御部６２１の制御に従って、圧縮前V0動きベクトルを圧縮するか否かを判定する。圧縮すると判定された場合、処理はステップＳ３５１０に進む。
【０５０６】
ステップＳ３５１０において、V0動きベクトル圧縮部６３３−０は、圧縮前V0動きベクトルを1/16圧縮する。ステップＳ３５１１において、V0動きベクトルメモリ６３４−０は、ステップＳ３５１０の処理により生成された1/16圧縮後V0動きベクトルを記憶する。ステップＳ３５１１の処理が終了すると、処理は図６２のステップＳ３５２１に進む。
【０５０７】
また、図６１のステップＳ３５０９において、圧縮前V0動きベクトルを圧縮しないと判定された場合、処理はステップＳ３５１２に進む。ステップＳ３５１２において、V0テンポラルメモリ６３２−０は、圧縮前V0動きベクトルを記憶する。ステップＳ３５１２の処理が終了すると、処理は、図６２のステップＳ３５２１に進む。
【０５０８】
図６２のステップＳ３５２１乃至ステップＳ３５２５の各処理は、画像復号装置６００−０の各処理部により、図２０のステップＳ１５１１乃至ステップＳ１５１５の各処理と同様に行われる。
【０５０９】
図６２のステップＳ３５０９において、V0選択部６３５−０は、制御部６２１の制御に従って、IVMPの動きベクトルを圧縮するか否かを判定する。この判定は、図６１のステップＳ３５０９と同様に行われる。圧縮しないと判定された場合、すなわち、図６１のステップＳ３５０９においても、動きベクトルを圧縮すると判定されなかった場合、処理は図６２のステップＳ３５２７に進む。
【０５１０】
この場合、図６１のステップＳ３５１２の処理により圧縮前V0動きベクトルがVOテンポラルメモリ６３２−０に記憶されている。そこで、ステップＳ３５２７において、V0動きベクトル圧縮部６３３−０は、V0テンポラルメモリ６３２−０からその圧縮前V0動きベクトルを読み出し、1/16圧縮を行う。ステップＳ３５２８において、V0動きベクトルメモリ６３４−０は、ステップＳ３５２７において算出された1/16圧縮後V0動きベクトルを記憶する。
【０５１１】
この場合、VOテンポラルメモリ６３２−０に記憶された圧縮前V0動きベクトルは、動き補償部６１１−１において、IVMPに利用される。また、V0動きベクトルメモリ６３４−０に記憶された1/16圧縮後V0動きベクトルは、動き補償部６１１−０において、TMVPに利用される。
【０５１２】
ステップＳ３５２８の処理が終了すると、V0復号処理が終了し、処理は図６０に戻る。
【０５１３】
また、図６２のステップＳ３５２６において、動きベクトルを圧縮すると判定された場合、すなわち、図６１のステップＳ３５０９においても、動きベクトルを圧縮すると判定された場合、V0符号化処理が終了し、処理は図６０に戻る。
【０５１４】
この場合、V0動きベクトルメモリ６３４−０に記憶された1/16圧縮後V0動きベクトルは、動き補償部６１１−０において、TMVPに利用されるとともに、動き補償部６１１−１において、IVMPに利用される。
【０５１５】
なお、図６１のステップＳ３５０６において実行されるV0動き補償処理は、動き補償部６１１−０により、第１の実施の形態の場合（図２１）と同様に行われるのでその説明を省略する。
【０５１６】
＜V1復号処理の流れ＞
次に、図６３および図６４のフローチャートを参照して、図６０のステップＳ３４０３において実行される、ビュー１の符号化データを復号するV1復号処理の流れの例を説明する。
【０５１７】
ビュー０に対する処理と、ビュー１に対する処理の違いは、主に、動き補償処理にある。したがって、図６３および図６４に示されるように、ビュー１に対するV1復号処理は、V1画像復号装置６００−１によって、ビュー０に対するV0復号処理（図６１および図６２）の場合と基本的に同様に実行される。つまり、図６３のステップＳ３６０１乃至ステップＳ３６１２、並びに、図６４のステップＳ３６２１乃至ステップＳ３６２８の各処理は、図６１のステップＳ３５０１乃至ステップＳ３５１２、並びに、図６２のステップＳ３５２１乃至ステップＳ３５２８の各処理と基本的に同様に実行される。したがって、図６３および図６４の説明は、図６１および図６２の説明におけるV0画像復号装置６００−０の各部をV1画像復号装置６００−１の各部に置き換え、図６１および図６２においてビュー０に対する処理としてした説明を、ビュー１に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。
【０５１８】
＜V1動き補償処理の流れ＞
次に、図６３のステップＳ３６０６において実行されるV1動き補償処理の流れの例を、図６５のフローチャートを参照して説明する。
【０５１９】
V1動き補償処理が開始されると、ステップＳ３６４１において、動き補償部６１１−１は、差分動き情報（差分動きベクトル）を取得する。ステップＳ３６４２において、動き補償部６１１−１は、インター予測情報に基づいて、予測動きベクトルのモードが空間予測であるか否かを判定する。空間予測であると判定された場合、処理は、ステップＳ３６４３に進む。
【０５２０】
ステップＳ３６４３において、動き補償部６１１−１は、ピクチャ内の圧縮前V1動きベクトル（カレントブロックに対して空間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ３６４９に進む。
【０５２１】
また、ステップＳ３６４２において、空間予測でないと判定された場合、処理は、ステップＳ３６４４に進む。
【０５２２】
ビュー１の場合、最初に処理されるビューではないので、予測動きベクトルのモードがビュー間予測（IVMP）である可能性もある。
【０５２３】
ステップＳ３６４４において、動き補償部６１１−１は、インター予測情報に基づいて、予測動きベクトルのモードが時間予測であるか否かを判定する。時間予測であると判定された場合、処理は、ステップＳ３６４５に進む。
【０５２４】
ステップＳ３６４５において、動き補償部６１１−１は、他のピクチャ内の1/16圧縮後V1動きベクトル（カレントブロックに対して空間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ３６４９に進む。
【０５２５】
また、ステップＳ３６４４において、時間予測でないと判定された場合、処理は、ステップＳ３６４６に進む。
【０５２６】
本実施の形態の場合、符号化側においてIVMP用の動きベクトルが圧縮される場合とされていない場合がある。
【０５２７】
ステップＳ３６４６において、動き補償部６１１−１は、制御部６２１の制御に基づいて、動きベクトルを圧縮するか否かを判定する。圧縮しないと判定された場合、処理は、ステップＳ３６４７に進む。
【０５２８】
ステップＳ３６４７において、動き補償部６１１−１は、圧縮前V0動きベクトルを用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ３６４９に進む。
【０５２９】
また、ステップＳ３６４６において、圧縮すると判定された場合、処理は、ステップＳ３６４８に進む。
【０５３０】
ステップＳ３６４８において、動き補償部６１１−１は、1/16圧縮後V0動きベクトルを用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ３６４９に進む。
【０５３１】
ステップＳ３６４９において、動き補償部６１１−１は、ステップＳ３６４３、ステップＳ３６４５、ステップＳ３６４７、若しくは、ステップＳ３６４８において生成された予測動きベクトルを用いて、動きベクトルを再構築する。
【０５３２】
ステップＳ３６５０において、動き補償部６１１−１は、動き補償を行い、予測画像を生成する。なお、動き補償部６１１−１は、ステップＳ３６４９において再構築された動きベクトルを記憶する。ステップＳ３６５０の処理が終了すると、V1動き補償処理が終了し、処理は、図６３に戻る。
【０５３３】
＜V2復号処理の流れ＞
次に、図６６および図６７のフローチャートを参照して、図６０のステップＳ３４０４において実行される、ビュー２の符号化データを復号するV2復号処理の流れの例を説明する。
【０５３４】
ビュー０に対する処理と、ビュー２に対する処理の違いは、主に、動き補償処理にある。したがって、図６６および図６７に示されるように、ビュー２に対するV2復号処理は、V2画像復号装置６００−２によって、ビュー０に対するV0復号処理（図６１および図６２）の場合と基本的に同様に実行される。つまり、図６６のステップＳ３７０１乃至ステップＳ３７１２、並びに、図６７のステップＳ３７２１乃至ステップＳ３７２８の各処理は、図６１のステップＳ３５０１乃至ステップＳ３５１２、並びに、図６２のステップＳ３５２１乃至ステップＳ３５２８の各処理と基本的に同様に実行される。したがって、図６６および図６７の説明は、図６１および図６２の説明におけるV0画像復号装置６００−０の各部をV2画像復号装置６００−２の各部に置き換え、図６１および図６２においてビュー０に対する処理としてした説明を、ビュー２に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。
【０５３５】
＜V2動き補償処理の流れ＞
次に、図６６のステップＳ３７０６において実行されるV2動き補償処理の流れの例を、図６８のフローチャートを参照して説明する。
【０５３６】
図６８に示されるように、V2動き補償処理は、V1動き補償処理（図６５）と基本的に同様に行われる。つまり、図６８のステップＳ３７４１乃至ステップＳ３７５０の各処理は、それぞれ、図６５のステップＳ３６３１乃至ステップＳ３６５０の各処理と基本的に同様に実行される。ただし、V1動き補償処理は、動き補償部６１１−１が実行するのに対して、V2動き補償処理は、動き補償部６１１−２が実行する。
【０５３７】
また、V2動き補償処理の処理対象は、ビュー１の画像ではなくビュー２の画像である。したがって、ステップＳ３７４３において、動き補償部６１１−２は、ピクチャ内の圧縮前V2動きベクトル（カレントブロックに対して空間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。
【０５３８】
また、ステップＳ３７４５において、動き補償部６１１−２は、他のピクチャの1/16圧縮後V2動きベクトル（カレントブロックに対して時間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。
【０５３９】
さらに、ステップＳ３７４７において、動き補償部６１１−２は、圧縮前V1動きベクトル（カレントブロックに対してビュー間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。
【０５４０】
また、ステップＳ３７４８において、動き補償部６１１−２は、1/16圧縮後V1動きベクトル（カレントブロックに対してビュー間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。
【０５４１】
ステップＳ３７５０の処理が終了すると、V2動き補償処理が終了し、処理は、図６６に戻る。
【０５４２】
以上のように各処理を実行することにより、画像復号装置６００は、IVMP用の動きベクトルのために必要なメモリ容量を、適応的に低減させることができ、符号化・復号に必要な記憶容量の増大を、適応的に抑制することができる。
【０５４３】
＜４．第４の実施の形態＞
＜階層画像点符号化・階層画像復号への適用＞
以上においては、多視点画像の符号化・復号について説明したが、レイヤは、視点（ビュー）に限らない。例えば、解像度、コンポーネント、ビット深度等のスケーラブルな符号化・復号における階層も、このレイヤに含まれる。本技術は、複数レイヤの符号化・復号であれば、どのような符号化・復号にも適用することができる。例えば、上述した一連の処理は、階層画像符号化・階層画像復号に適用することができる。図６９は、階層画像符号化方式の一例を示す。
【０５４４】
階層画像符号化（スケーラブル符号化）は、画像データを、所定のパラメータについてスケーラビリティ（scalability）機能を有するように、画像を複数レイヤ化（階層化）し、レイヤ毎に符号化するものである。階層画像復号は、その階層画像符号化（スケーラブル復号）は、その階層画像符号化に対応する復号である。
【０５４５】
図６９に示されるように、画像の階層化においては、スケーラビリティ機能を有する所定のパラメータを基準として１の画像が複数の画像（レイヤ）に分割される。つまり、階層化された画像（階層画像）は、その所定のパラメータの値が互いに異なる複数の階層（レイヤ）の画像を含む。この階層画像の複数のレイヤは、他のレイヤの画像を利用せずに自身のレイヤの画像のみを用いて符号化・復号を行うベースレイヤと、他のレイヤの画像を利用して符号化・復号を行うノンベースレイヤ（エンハンスメントレイヤとも称する）とによりなる。ノンベースレイヤは、ベースレイヤの画像を利用するようにしても良いし、他のノンベースレイヤの画像を利用するようにしてもよい。
【０５４６】
一般的に、ノンベースレイヤは、冗長性が低減されるように、自身の画像と、他のレイヤの画像との差分画像のデータ（差分データ）により構成される。例えば、１の画像をベースレイヤとノンベースレイヤ（エンハンスメントレイヤとも称する）に２階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとノンベースレイヤのデータを合成することで、元の画像（すなわち高品質な画像）が得られる。
【０５４７】
このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤ（base layer）のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ（base layer）に加えて、エンハンスメントレイヤ（enhancement layer）の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。
【０５４８】
このようなスケーラビリティ性を持たせるパラメータとして、例えば、図７０に示されるような、空間解像度がある（spatial scalability）。このスペーシャルスケーラビリティ（spatial scalability）の場合、レイヤ毎に解像度が異なる。つまり、図７０に示されるように、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤの画像と合成することにより元の画像（元の空間解像度）が得られるエンハンスメントレイヤの２階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
【０５４９】
また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、図７１に示されるような、時間解像度がある（temporal scalability）。このテンポラルスケーラビリティ（temporal scalability）の場合、レイヤ毎にフレームレートが異なる。つまり、この場合、図３に示されるように、互いに異なるフレームレートのレイヤに階層化されており、低フレームレートのレイヤに、高フレームレートのレイヤを加えることで、より高フレームレートの動画像を得ることができ、全てのレイヤを加えることで、元の動画像（元のフレームレート）を得ることができる。この階層数は一例であり、任意の階層数に階層化することができる。
【０５５０】
また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、信号雑音比（SNR（Signal to Noise ratio））がある（SNR scalability）。このSNRスケーラビリティ（SNR scalability）の場合、レイヤ毎にSN比が異なる。つまり、図７２に示されるように、各ピクチャが、元の画像よりSNRの低いベースレイヤと、ベースレイヤの画像と合成することにより元の画像（元のSNR）が得られるエンハンスメントレイヤの２階層に階層化される。すなわち、ベースレイヤ（base layer）画像圧縮情報においては、低PSNRの画像に関する情報が伝送されており、これに、エンハンスメントレイヤ（enhancement layer）画像圧縮情報を加えることで、高PSNR画像を再構築することが可能である。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
【０５５１】
スケーラビリティ性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、ベースレイヤ（base layer）が8ビット（bit）画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、10ビット（bit）画像が得られるビット深度スケーラビリティ（bit-depth scalability）がある。
【０５５２】
また、ベースレイヤ（base layer）が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるクロマスケーラビリティ（chroma scalability）がある。
【０５５３】
このような階層画像符号化・復号において、各階層の画像を符号化・復号する際、上述した多視点符号化・復号の場合と同様に、動きベクトルの予測にレイヤ間の相関性の高さを利用することができる。つまり、他のレイヤの処理済み（符号化済み若しくは復号済み）の動きベクトルを用いて予測動きベクトルの生成若しくは再構築を行うことができる。
【０５５４】
その場合、あるレイヤの符号化・復号において得られた動きベクトルを、次以降に処理されるレイヤの符号化・復号において利用することができるように保持する必要がある。
【０５５５】
そこで、そのためのメモリ容量の増大を抑制するために、他のレイヤの符号化・復号において利用されるカレントレイヤの動きベクトルを圧縮するようにしてもよい。この圧縮の具体的な方法は、多視点符号化・復号の説明において上述したのと同様である。
【０５５６】
例えば、図５のように動きベクトルを圧縮して（間引いて）参照するようにするためには、画像符号化装置は、図６乃至図８のような構成を有し、図９乃至図１５のフローチャートのような各処理を実行するようにすればよい。また、画像復号装置は、図１６乃至図１８のような構成を有し、図１９乃至図２５のフローチャートのような各処理を実行するようにすればよい。
【０５５７】
また、例えば、図２６のように動きベクトルを圧縮して（間引いて）参照するようにするためには、画像符号化装置は、図２７乃至図２９のような構成を有し、図３０乃至図３４のフローチャートのような各処理を実行するようにすればよい。また、画像復号装置は、図３５乃至図３７のような構成を有し、図３８乃至図４２のフローチャートのような各処理を実行するようにすればよい。
【０５５８】
さらに、例えば、図４３のように動きベクトルを圧縮して（間引いて）参照するようにするためには、画像符号化装置は、図４５乃至図４７のような構成を有し、図４８乃至図５６のフローチャートのような各処理を実行するようにすればよい。また、画像復号装置は、図５７乃至図５９のような構成を有し、図６０乃至図６８のフローチャートのような各処理を実行するようにすればよい。
【０５５９】
また、このような階層画像符号化・復号において、例えば、レイヤ１（layer_id=1）の符号化・復号において、レイヤ０（layer_id=0）の動きベクトルを利用する。このとき、レイヤ０の動きベクトルの精度は、圧縮しなくても、レイヤ１の動きベクトルの精度よりも低い。しかしながら、レイヤ０の動きベクトルをさらに圧縮することにより、その動きベクトルを保持するのに必要な記憶容量をより低減させることができる。
【０５６０】
なお、このようなレイヤ間の動きベクトルの精度の比を考慮して圧縮率を決定するようにしてもよい。例えば、所定の圧縮率を基準圧縮率として定め、レイヤ間の動きベクトルの精度の比（レイヤ間の解像度の比）に応じて実際の圧縮率を決めるようにしてもよい。例えば、レイヤ１のIVMPに用いるレイヤ０の動きベクトルの基準圧縮率が1/16であるとする。このとき、レイヤ０の解像度がレイヤ１の1/4であるならば、実際の圧縮率は1/4に設定され、レイヤ０の解像度がレイヤ１の1/8であるならば、実際の圧縮率は1/2に設定されるようにしてもよい。このようにすることにより、所望の圧縮率（基準圧縮率）を実現することができ、符号化・復号に必要な記憶容量の増大を十分に抑制することができる。
【０５６１】
また、例えば、図７３のＡに示されるように、ベースレイヤ（BL）の動きベクトルを1/4に間引くようにすると、その動きベクトルの予測精度の低減が大き過ぎて、エンハンスメントレイヤ（EL）において符号化効率が低減する恐れがある。しかしながら、逆に、図７３のＢに示されるように、ベースレイヤ（BL）の動きベクトルを間引かずにエンハンスメントレイヤに提供するようにすると、符号化・復号に必要な記憶容量が増大してしまう恐れがある。
【０５６２】
そこで、例えば、図７４に示されるように、動きベクトルを、ベースレイヤからエンハンスメントレイヤに提供する際に1/2に間引き（圧縮し）、エンハンスメントレイヤからベースレイヤに戻す際にさらに1/2に間引く（圧縮する）ようにしてもよい。つまり、階層画像符号化・復号の場合も、図２６等を参照して説明した多視点画像符号化・復号の場合と同様の方法で動きベクトルを間引く（圧縮する）ことができる。
【０５６３】
以上のように、画像の複数レイヤ化は、任意のパラメータに基づいて行うことができ、本技術は、そのパラメータに依らず、複数レイヤの画像の符号化・復号に適用することができる。すなわち、階層画像符号化・階層画像復号に本技術を適用する場合も、必要な記憶容量の増大を抑制することができる。
【０５６４】
＜その他＞
以上においては、レイヤ数が３（０乃至２）の場合を例に説明したが、レイヤ数は任意であり、２レイヤであってもよいし、４レイヤ以上であってもよい。
【０５６５】
また、以上においては、符号化における動き予測・動き補償、若しくは、復号における動き補償において、１つ前に処理されるレイヤの動きベクトルを利用するように説明したが、これに限らず、任意の他のレイヤの動きベクトルを利用することができる。
【０５６６】
例えば、全てのノンベースレイヤの符号化・復号において、ベースレイヤの動きベクトルを利用するようにしてもよい。また、複数のノンベースレイヤが１のノンベースレイヤの動きベクトルを利用するようにしてもよい。
【０５６７】
＜５．概要２＞
＜イントラ予測＞
ところで、HEVCにおいては、AVC等と同様に、カレントブロックの周辺画素を用いて予測画像を生成するイントラ予測が規定されている。
【０５６８】
AVCではイントラ4x4予測、イントラ8x8予測、並びに、イントラ16x16予測が存在するのに対し、HEVCでは、4x4乃至64x64画素ブロックについて、図７５に示されるような、アンギュラー（Angular）予測が適用される。
【０５６９】
すなわち、AVCでは、図７５のＡに示されるように、８方向＋直流予測によりイントラ予測処理が行われるのに対し、HEVCでは図７５のＢに示されるように、32方向＋直流予測によりイントラ予測が行なわれる。これにより、予測精度が向上する。
【０５７０】
また、HEVCにおいては、図７６に示されるような、プレイナー（Planar）予測が規定されている。
【０５７１】
プレイナー（Planar）予測処理においては、処理対象であるカレントブロックの周辺画素（既に符号化済みの画素）から、バイリニアインターポレーション（bi-linear interpolation）により、カレントブロックに含まれる予測画素が生成される。プレイナー（Planar）予測処理は、グラデーション（gradation）のあるような領域の符号化効率を向上させることができる。
【０５７２】
HEVCにおいては、図７７に示されるように、３つのモストプロバブルモード（MostProbableMode）を用いたイントラ予測モードの符号化処理が行われる。すなわち、カレントブロックの上に隣接する周辺ブロックのイントラ予測モード（Above）、カレントブロックの左に隣接する周辺ブロックのイントラ予測モード（Left）、および、それらの周辺ブロック（AboveおよびLeft）におけるイントラ予測モードの組み合わせにより決定されるモードを、イントラ予測モードの候補（候補モードとも称する）とし、この３つの候補モードの中から、最適なものをカレントブロックのイントラ予測モードとして採用する。
【０５７３】
カレントブロックの予測モードと、モストプロバブルモード（MostProbableMode）のどれかが同一である場合には、そのインデックス（index）番号を伝送する。そうでない場合には、予測ブロックのモード情報を、５ビットの固定長により伝送する。
【０５７４】
＜イントラ予測におけるフィルタ処理＞
図７８は、HEVCにおいて規定されているMDIS（Mode Dependent Intra Smoothing）を説明する図である。
【０５７５】
AVCの場合、イントラ8x8予測モードにおいて、カレントブロックの周辺画素に対して、図７８に示されるように、[1 2 1]/4フィルタ処理が行われる。これに対して、HEVCにおいては、ブロックサイズと予測モードに応じて、このフィルタ処理のオン・オフ（on/off）（すなわち、このフィルタ処理を適用するか否か）が決定される。
【０５７６】
より具体的には、カレントブロックのブロックサイズが4x4の場合、このフィルタ処理は適用されない。カレントブロックのブロックサイズが8x8の場合、45度方向の予測モードに対して、このフィルタ処理が適用される。カレントブロックのブロックサイズが16x16の場合、水平（horizontal）に近い３方向、並びに、垂直（vertical）に近い３方向以外の方向の予測モードに対して、このフィルタ処理が適用される。カレントブロックのブロックサイズが32x32の場合、水平（horizontal）および垂直（vertical）以外の方向の予測モードに対して、このフィルタ処理が適用される。
【０５７７】
更に、また、HEVCにおいては、予測モードが直流（DC）モード、水平（Horizontal）モード、垂直（Vertical）モードである場合のブロック歪の低減を目的として、図７９に示されるようなバウンダリバリュースムージング（Boundary Value Smoothing）処理が規定されている。
【０５７８】
例えば、予測モードが直流（DC）モードである予測（DC予測）の場合、処理対象であるカレントブロックの上辺（Top）に隣接する周辺画素、および、カレントブロックの左辺（Left）に隣接する周辺画素の両方について、図７９に示されるフィルタ処理（スムージング（Smoothing）処理）を行う。また、予測モードが水平（Horizontal）モードである予測（Horizontal予測）の場合、カレントブロックの上辺（Top）に隣接する周辺画素について、図７９に示されるフィルタ処理（スムージング（Smoothing）処理）を行う。予測モードが垂直（Vertical）モードである予測（Vertical予測）の場合、カレントブロックの左辺（Left）に隣接する周辺画素について、図７９に示されるフィルタ処理（スムージング（Smoothing）処理）を行う。
【０５７９】
ところで、Vadim Seregin, Patrice Onno, Shan Liu, Tammy Lee, Chulkeun Kim, Haitao Yang, Haricharan Laksman, "Description of Tool Experiment C5: Inter-layer syntax prediction using HEVC base layer", JCTVC-K1105, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 1111th Meeting: Shanghai, CN, 1019 Oct. 2012 においては、ベースレイヤ（Baselayer）のイントラ予測モードに関する情報を用いて、エンハンスメントレイヤ（Enhancementlayer）におけるイントラ予測モード情報を符号化する方法が提案されている。しかしながら、HEVCにおいては、worst caseで4x4ブロックに対して1つのイントラ予測モード情報を保持しておかなければならないため、符号化・復号に必要な記憶容量が増大してしまう恐れがあった。
【０５８０】
また、Jill Boyce, Kawamura Kei, Haricharan Lakshman, "TE6: Inter-layer syntax prediction from AVC base layer", JCTVC-K1106v2, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 1111th Meeting: Shanghai, CN, 1019 Oct. 2012 においては、ベースレイヤにおいてAVCの符号化（Baselayer AVC）を行い、エンハンスメントレイヤにおいてHEVCの符号化（Enhancementlayer HEVC）を行うスケーラブル（scalable）符号化を行う際、ベースレイヤ（Baselayer）の動き情報を用いたエンハンスメントレイヤ（Enhancementlayer）の動き情報の符号化が提案されている。この場合も、上述したのと同様に、ベースレイヤのイントラ予測モード情報を用いたエンハンスメントレイヤのイントラ予測モード情報の符号化を行うことが考えられる。その場合にも、上述した場合と同様に、符号化・復号に必要な記憶容量が増大してしまう恐れがあった。
【０５８１】
そこで、本技術は、ベースレイヤにおけるイントラ予測モード（を示す情報）をメモリに格納する際、そのイントラ予測モード（を示す情報）の間引き処理を行うようにする。このようにすることにより、イントラ予測モード（を示す情報）を格納するのに必要な記憶容量の増大を抑制することができる。すなわち、符号化・復号に必要な記憶容量の増大を抑制することができる。以下においては、説明の便宜上、イントラ予測モードを示す情報のこともイントラ予測モードと称する。
【０５８２】
図８０は、このような本技術について説明する図である。
【０５８３】
このイントラ予測モードの間引き処理は、例えば、所定の領域（エリア）毎に行われるようにしてもよい。間引き処理は、複数イントラ予測モードの内、一部のイントラ予測モードを残し、その他のイントラ予測モードを破棄する処理である。すなわち、この場合、間引き処理の処理単位となるエリアは、イントラ予測の処理単位となるブロックの複数個分の範囲となる。例えば、図８０の左側に示されるように、イントラ予測の処理単位であるブロック０乃至ブロック１５の１６個のブロックを、間引き処理の処理単位（エリア）とする。この場合、ブロック０乃至ブロック１５のそれぞれにイントラ予測モードが設定される。すなわち、間引き処理の処理対象であるカレントエリアに、I0乃至I15の１６個のイントラ予測モードが存在するとする。
【０５８４】
間引き処理では、カレントエリア内の各ブロックのイントラ予測モードの内、一部のイントラ予測モードをそのエリアの代表として残して（選択して）バッファメモリに記憶し、その他のイントラ予測モードを破棄する。例えば、間引き率が4:1である場合、このような１６個のイントラ予測モードの内、いずれか１つのイントラ予測モードのみが選択され、バッファに格納される（その他の１５個のイントラ予測モードは破棄される）。
【０５８５】
どのイントラ予測モードをエリアの代表とするかは任意である。例えば、カレントエリア内のブロックの内、最初にイントラ予測が行われるブロック（例えばブロック０）のイントラ予測モード（例えばI0）を、カレントエリアの代表とするようにしてもよい。また、例えば、カレントエリアの中央付近に位置するブロック（例えば、ブロック５、６、９、１０等のいずれか）のイントラ予測モード（例えば、I5,I6,I9.I10のいずれか）を、カレントエリアの代表とするようにしても良い。
【０５８６】
エンハンスメントレイヤにおいて、このブロック０乃至ブロック１５をコロケーテッドブロック（Collocated Block）とするブロック（PU）の符号化処理には、このバッファに格納されたベースレイヤのイントラ予測モード（代表値）が用いられる。つまり、エンハンスメントレイヤのイントラ予測には、カレントブロックに対応するベースレイヤのエリアのイントラ予測モード（代表値）が用いられる。
【０５８７】
このようにすることにより、イントラ予測モードを記憶するバッファの容量の増大を抑制することができる。
【０５８８】
なお、間引き率の値は任意であり、上述した例（4:1）に限らない。例えば2:1であってもよいし、8:1や16:1等であってもよいし、それ以外であってもよい。間引き処理の処理単位である上述したエリアの広さは、この間引き率によって決定されるものとしてもよい。また、１のエリアから間引き率に応じた数のイントラ予測モードがそのエリアの代表として選択されるようにしてもよい（つまり、１のエリアから複数のイントラ予測モードを代表として選択することができるようにしてもよい）。また、この間引き率の設定方法は、任意である。例えば、予め定められた所定の値としてもよいし、ユーザ等の外部からの指示に従って設定されるようにしても良いし、イントラ予測モードを格納するバッファメモリとして使用可能な記憶容量やバス帯域幅等の、ハードウエア等の条件に基づいて設定されるようにしても良いし、画像データのベースレイヤとエンハンスメントレイヤの解像度比等のソフトウエア等の条件に基づいて設定されるようにしても良い。さらに、複数種類の条件を総合的に考慮して設定されるようにしても良い。さらに、この間引き率は、出力となる画像圧縮情報（ビットストリーム）中の任意の位置において伝送されるようにしても良い。例えば、ビデオパラメータセット（VPS（Video Parameter Set））において伝送されるようにしても良い。また、例えば、エンハンスメントレイヤのシーケンスパラメータセット（SPS（Sequence Parameter Set））、ピクチャパラメータセット（PPS（Picture Parameter Set））、若しくはスライスヘッダ（SliceHeader）等において伝送されるようにしても良い。
【０５８９】
なお、スペーシャルスケーラビリティ（Spatial Scalability）の場合、レイヤ毎に解像度が異なるので、間引き率を指定するレイヤを予め決めておくのが望ましい。例えば、この間引き率が、ベースレイヤにおける比率で設定されるようにしてもよい。
【０５９０】
例えば、スペーシャルスケーラビリティ（Spatial Scalability）比が、1:2である場合、ベースレイヤでの4x4ブロックは、エンハンスメントレイヤでは8x8ブロックに相当する。ここで、間引き率2:1とは、ベースレイヤ解像度では8x8ブロック単位で、エンハンスメントレイヤ解像度では16x16ブロック単位で、ベースレイヤのイントラ予測モードが格納されていることになる。
【０５９１】
以上のような処理を行うことにより、エンハンスメントレイヤにおいてイントラ予測モード符号化を行うための、ベースレイヤのイントラ予測モード情報を格納するために必要な記憶容量の増大を抑制することができる。
【０５９２】
なお、本技術においては、ベースレイヤの画像圧縮情報は、AVCに基づくものであっても良い。
【０５９３】
次に、以上のような本技術について、具体的な装置への適用例について説明する。
【０５９４】
＜６．第５の実施の形態＞
＜スケーラブル符号化装置＞
図８１は、スケーラブル符号化装置の主な構成例を示すブロック図である。
【０５９５】
図８１に示されるスケーラブル符号化装置１１００は、画像データをスケーラブル符号化する画像情報処理装置であり、ベースレイヤとエンハンスメントレイヤに階層化された画像データの各レイヤを符号化する。この階層化の基準として用いるパラメータ（スケーラビリティを持たせるパラメータ）は任意である。スケーラブル符号化装置１１００は、共通情報生成部１１０１、符号化制御部１１０２、ベースレイヤ画像符号化部１１０３、イントラ予測モード提供部１１０４、およびエンハンスメントレイヤ画像符号化部１１０５を有する。
【０５９６】
共通情報生成部１１０１は、例えばNALユニットに格納するような画像データの符号化に関する情報を取得する。また、共通情報生成部１１０１は、必要に応じて、ベースレイヤ画像符号化部１１０３、イントラ予測モード提供部１１０４、およびエンハンスメントレイヤ画像符号化部１１０５などから必要な情報を取得する。共通情報生成部１１０１は、それらの情報を基に全レイヤに関する情報である共通情報を生成する。共通情報には、例えば、ビデオパラメータセット等が含まれる。共通情報生成部１１０１は、生成した共通情報を、例えばNALユニットとして、スケーラブル符号化装置１１００の外部に出力する。なお、共通情報生成部１１０１は、生成した共通情報を、符号化制御部１１０２にも供給する。さらに、共通情報生成部１１０１は、必要に応じて、生成した共通情報の一部若しくは全部をベースレイヤ画像符号化部１１０３乃至エンハンスメントレイヤ画像符号化部１１０５にも供給する。
【０５９７】
符号化制御部１１０２は、共通情報生成部１１０１から供給される共通情報に基づいて、ベースレイヤ画像符号化部１１０３乃至エンハンスメントレイヤ画像符号化部１１０５を制御することにより、各レイヤの符号化を制御する。
【０５９８】
ベースレイヤ画像符号化部１１０３は、ベースレイヤの画像情報（ベースレイヤ画像情報）を取得する。ベースレイヤ画像符号化部１１０３は、他のレイヤの情報を利用せずに、そのベースレイヤ画像情報を符号化し、ベースレイヤの符号化データ（ベースレイヤ符号化データ）を生成し、出力する。また、ベースレイヤ画像符号化部１１０３は、符号化の際に行われたイントラ予測のイントラ予測モードを、ベースレイヤのイントラ予測モードとして、イントラ予測モード提供部１１０４に供給する。
【０５９９】
イントラ予測モード提供部１１０４は、ベースレイヤ画像符号化部１１０３におけるイントラ予測において得られたイントラ予測モードを、エンハンスメントレイヤ画像符号化部１１０５におけるイントラ予測に提供する処理を行う。その際、イントラ予測モード提供部１１０４は、ベースレイヤ画像符号化部１１０３から取得したベースレイヤのイントラ予測モードを、所定の間引き率で間引いて記憶する。そして、エンハンスメントレイヤの符号化が行われる際に、イントラ予測モード提供部１１０４は、記憶しているベースレイヤのイントラ予測モードを、エンハンスメントレイヤ画像符号化部１１０５に供給する。また、イントラ予測モード提供部１１０４は、このイントラ予測モードの間引き率を設定することができるようにしてもよい。
【０６００】
エンハンスメントレイヤ画像符号化部１１０５は、エンハンスメントレイヤの画像情報（エンハンスメントレイヤ画像情報）を取得する。エンハンスメントレイヤ画像符号化部１１０５は、そのエンハンスメントレイヤ画像情報を符号化する。なお、エンハンスメントレイヤ画像符号化部１１０５は、イントラ予測モード提供部１１０４から、ベースレイヤのイントラ予測モードを取得し、そのベースレイヤのイントラ予測モードを用いて、エンハンスメントレイヤのイントラ予測を行い、エンハンスメントレイヤの画像を符号化する。そして、エンハンスメントレイヤ画像符号化部１１０５は、得られた符号化データ（エンハンスメントレイヤ符号化データ）を出力する。このようにベースレイヤのイントラ予測モードを用いてエンハンスメントレイヤのイントラ予測を行うようにすることにより、復号側においても、同様に、ベースレイヤのイントラ予測モードを用いてイントラ予測を行うことができる。つまり、イントラ予測モードに関する情報は、ベースレイヤの情報を伝送すれば良く、エンハンスメントレイヤの情報を伝送する必要が無くなる。したがって、その分、符号化効率の増大を抑制することができる。そして、ベースレイヤのイントラ予測モードを、エンハンスメントレイヤのイントラ予測に利用するために記憶する際に、上述したように、間引き処理を行うことにより、そのために必要な記憶容量を低減させることができ、符号化・復号の負荷を低減させることができる。
【０６０１】
＜ベースレイヤ画像符号化部＞
図８２は、図８１のベースレイヤ画像符号化部１１０３の主な構成例を示すブロック図である。図８２に示されるように、ベースレイヤ画像符号化部１１０３は、A/D変換部１１１１、画面並べ替えバッファ１１１２、演算部１１１３、直交変換部１１１４、量子化部１１１５、可逆符号化部１１１６、蓄積バッファ１１１７、逆量子化部１１１８、および逆直交変換部１１１９を有する。また、ベースレイヤ画像符号化部１１０３は、演算部１１２０、ループフィルタ１１２１、フレームメモリ１１２２、選択部１１２３、イントラ予測部１１２４、動き予測・補償部１１２５、予測画像選択部１１２６、およびレート制御部１１２７を有する。
【０６０２】
A/D変換部１１１１は、入力された画像データ（ベースレイヤ画像情報）をA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１１１２に供給し、記憶させる。画面並べ替えバッファ１１１２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部１１１３に供給する。また、画面並べ替えバッファ１１１２は、フレームの順番を並び替えた画像を、イントラ予測部１１２４および動き予測・補償部１１２５にも供給する。
【０６０３】
演算部１１１３は、画面並べ替えバッファ１１１２から読み出された画像から、予測画像選択部１１２６を介してイントラ予測部１１２４若しくは動き予測・補償部１１２５から供給される予測画像を減算し、その差分情報を直交変換部１１１４に出力する。例えば、イントラ符号化が行われる画像の場合、演算部１１１３は、画面並べ替えバッファ１１１２から読み出された画像から、イントラ予測部１１２４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１１１３は、画面並べ替えバッファ１１１２から読み出された画像から、動き予測・補償部１１２５から供給される予測画像を減算する。
【０６０４】
直交変換部１１１４は、演算部１１１３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部１１１４は、その変換係数を量子化部１１１５に供給する。
【０６０５】
量子化部１１１５は、直交変換部１１１４から供給される変換係数を量子化する。量子化部１１１５は、レート制御部１１２７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部１１１５は、量子化された変換係数を可逆符号化部１１１６に供給する。
【０６０６】
可逆符号化部１１１６は、量子化部１１１５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１１２７の制御の下で量子化されているので、この符号量は、レート制御部１１２７が設定した目標値となる（若しくは目標値に近似する）。
【０６０７】
また、可逆符号化部１１１６は、イントラ予測のモードを示す情報などをイントラ予測部１１２４から取得し、インター予測のモードを示す情報や差分動きベクトル情報などを動き予測・補償部１１２５から取得する。さらに、可逆符号化部１１１６は、シーケンスパラメータセット（SPS）、およびピクチャパラメータセット（PPS）等を含むベースレイヤのNALユニットを適宜生成する。
【０６０８】
可逆符号化部１１１６は、これらの各種情報を任意の符号化方式で符号化し、符号化データ（符号化ストリームとも称する）の一部とする（多重化する）。可逆符号化部１１１６は、符号化して得られた符号化データを蓄積バッファ１１１７に供給して蓄積させる。
【０６０９】
可逆符号化部１１１６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
【０６１０】
蓄積バッファ１１１７は、可逆符号化部１１１６から供給された符号化データ（ベースレイヤ符号化データ）を、一時的に保持する。蓄積バッファ１１１７は、所定のタイミングにおいて、保持しているベースレイヤ符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。すなわち、蓄積バッファ１１１７は、符号化データを伝送する伝送部でもある。
【０６１１】
また、量子化部１１１５において量子化された変換係数は、逆量子化部１１１８にも供給される。逆量子化部１１１８は、その量子化された変換係数を、量子化部１１１５による量子化に対応する方法で逆量子化する。逆量子化部１１１８は、得られた変換係数を、逆直交変換部１１１９に供給する。
【０６１２】
逆直交変換部１１１９は、逆量子化部１１１８から供給された変換係数を、直交変換部１１１４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１１２０に供給される。
【０６１３】
演算部１１２０は、逆直交変換部１１１９から供給された逆直交変換結果である、復元された差分情報に、予測画像選択部１１２６を介してイントラ予測部１１２４若しくは動き予測・補償部１１２５からの予測画像を加算し、局部的に復号された画像（復号画像）を得る。その復号画像は、ループフィルタ１１２１またはフレームメモリ１１２２に供給される。
【０６１４】
ループフィルタ１１２１は、デブロックフィルタや適応ループフィルタ等を含み、演算部１１２０から供給される再構成画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ１１２１は、再構成画像に対してデブロックフィルタ処理を行うことにより再構成画像のブロック歪を除去する。また、例えば、ループフィルタ１１２１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。ループフィルタ１１２１は、フィルタ処理結果（以下、復号画像と称する）をフレームメモリ１１２２に供給する。
【０６１５】
なお、ループフィルタ１１２１が、再構成画像に対してさらに、他の任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１１２１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１１１６に供給し、それを符号化させるようにすることもできる。
【０６１６】
フレームメモリ１１２２は、演算部１１２０から供給される再構成画像と、ループフィルタ１１２１から供給される復号画像とをそれぞれ記憶する。フレームメモリ１１２２は、所定のタイミングにおいて、若しくは、イントラ予測部１１２４等の外部からの要求に基づいて、記憶している再構成画像を、選択部１１２３を介してイントラ予測部１１２４に供給する。また、フレームメモリ１１２２は、所定のタイミングにおいて、若しくは、動き予測・補償部１１２５等の外部からの要求に基づいて、記憶している復号画像を、選択部１１２３を介して、動き予測・補償部１１２５に供給する。
【０６１７】
フレームメモリ１１２２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部１１２３に供給する。
【０６１８】
選択部１１２３は、フレームメモリ１１２２から供給される参照画像の供給先を選択する。例えば、イントラ予測の場合、選択部１１２３は、フレームメモリ１１２２から供給される参照画像（カレントピクチャ内の画素値）を動き予測・補償部１１２５に供給する。また、例えば、インター予測の場合、選択部１１２３は、フレームメモリ１１２２から供給される参照画像を動き予測・補償部１１２５に供給する。
【０６１９】
イントラ予測部１１２４は、選択部１１２３を介してフレームメモリ１１２２から供給される参照画像であるカレントピクチャ内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１２４は、予め用意された複数のイントラ予測モードでこのイントラ予測を行う。
【０６２０】
イントラ予測部１１２４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１１１２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１１２４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１２６に供給する。
【０６２１】
また、上述したように、イントラ予測部１１２４は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部１１１６に供給し、符号化させる。
【０６２２】
動き予測・補償部１１２５は、画面並べ替えバッファ１１１２から供給される入力画像と、選択部１１２３を介してフレームメモリ１１２２から供給される参照画像とを用いて動き予測（インター予測）を行う。動き予測・補償部１１２５は、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部１１２５は、予め用意された複数のインター予測モードでこのようなインター予測を行う。
【０６２３】
動き予測・補償部１１２５は、候補となる全てのインター予測モードで予測画像を生成する。動き予測・補償部１１２５は、画面並べ替えバッファ１１１２から供給される入力画像と、生成した差分動きベクトルの情報などを用いて、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部１１２５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１２６に供給する。
【０６２４】
動き予測・補償部１１２５は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部１１１６に供給し、符号化させる。必要な情報としては、例えば、生成された差分動きベクトルの情報や、予測動きベクトル情報として、予測動きベクトルのインデックスを示すフラグなどがある。
【０６２５】
予測画像選択部１１２６は、演算部１１１３や演算部１１２０に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部１１２６は、予測画像の供給元としてイントラ予測部１１２４を選択し、そのイントラ予測部１１２４から供給される予測画像を演算部１１１３や演算部１１２０に供給する。また、例えば、インター符号化の場合、予測画像選択部１１２６は、予測画像の供給元として動き予測・補償部１１２５を選択し、その動き予測・補償部１１２５から供給される予測画像を演算部１１１３や演算部１１２０に供給する。
【０６２６】
レート制御部１１２７は、蓄積バッファ１１１７に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１１１５の量子化動作のレートを制御する。
【０６２７】
なお、イントラ予測部１１２４は、採用されたイントラ予測モードを、ベースレイヤのイントラ予測モードとして、イントラ予測モード提供部１１０４に供給する。また、可逆符号化部１１１６は、ベースレイヤの解像度を示す情報を、イントラ予測モード提供部１１０４に供給する。
【０６２８】
＜エンハンスメントレイヤ画像符号化部＞
図８３は、図８１のエンハンスメントレイヤ画像符号化部１１０５の主な構成例を示すブロック図である。図８３に示されるように、エンハンスメントレイヤ画像符号化部１１０５は、図８２のベースレイヤ画像符号化部１１０３と基本的に同様の構成を有する。
【０６２９】
ただし、エンハンスメントレイヤ画像符号化部１１０５の各部は、ベースレイヤではなく、エンハンスメントレイヤ画像情報の符号化についての処理を行う。つまり、エンハンスメントレイヤ画像符号化部１１０５のA/D変換部１１１１は、エンハンスメントレイヤ画像情報をA/D変換し、エンハンスメントレイヤ画像符号化部１１０５の蓄積バッファ１１１７は、エンハンスメントレイヤ符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。
【０６３０】
また、エンハンスメントレイヤ画像符号化部１１０５は、イントラ予測部１１２４の代わりに、イントラ予測部１１３４を有する。
【０６３１】
イントラ予測部１１３４は、イントラ予測モード提供部１１０４に記憶されているベースレイヤのイントラ予測モード（の代表値）の内、カレントブロックに対応するイントラ予測モードを取得し（読み出し）、そのイントラ予測モードを用いて、エンハンスメントレイヤのイントラ予測を行い、予測画像を生成する。イントラ予測は、イントラ予測部１１２４の場合と同様に行われる。
【０６３２】
また、イントラ予測部１１２４の場合と同様に、イントラ予測部１１３４は、採用されたイントラ予測モードを示すエンハンスメントレイヤのイントラ予測モード情報等を、適宜可逆符号化部１１１６に供給し、符号化させる。
【０６３３】
なお、エンハンスメントレイヤ画像符号化部１１０５の可逆符号化部１１１６は、エンハンスメントレイヤの解像度を示す情報を、イントラ予測モード提供部１１０４に供給する。また、この可逆符号化部１１１６は、イントラ予測モード提供部１１０４から供給される、ベースレイヤのイントラ予測モードの間引き率を示す情報を取得し、それを符号化して、例えば、エンハンスメントレイヤのシーケンスパラメータセット（SPS（Sequence Parameter Set））、ピクチャパラメータセット（PPS（Picture Parameter Set））、若しくはスライスヘッダ（SliceHeader）等において復号側に伝送させる。
【０６３４】
なお、この間引き率を示す情報は、例えばビデオパラメータセット（VPS（Video Parameter Set））において伝送させるようにしてもよい。その場合、この間引き率を示す情報は、共通情報生成部１１０１に供給される。
【０６３５】
＜イントラ予測モード提供部＞
図８４は、図８１のイントラ予測モード提供部１１０４の主な構成例を示すブロック図である。
【０６３６】
図８４に示されるように、イントラ予測モード提供部１１０４は、間引き率設定部１１５１、間引き処理部１１５２、およびイントラ予測モードバッファ１１５３を有する。
【０６３７】
間引き率設定部１１５１は、ベースレイヤのイントラ予測モードの間引き率を設定する。この設定方法は任意である。例えば、間引き率設定部１１５１が、ユーザ等の外部の指示に基づいて間引き率を設定するようにしてもよい。その際、間引き率は、ベースレイヤにおける比率で設定されるようにしてもよい。
【０６３８】
また、例えば、間引き率設定部１１５１は、ベースレイヤ画像符号化部１１０３の可逆符号化部１１１６からベースレイヤ解像度を取得し、エンハンスメントレイヤ画像符号化部１１０５の可逆符号化部１１１６からエンハンスメントレイヤ解像度を取得するようにしてもよい。例えば、間引き率設定部１１５１が、それらの解像度を示す情報を、モニタ等に表示したり、スピーカなどから音声出力したりすることにより、ユーザに提示するようにしてもよい。その場合、ユーザは、各レイヤの解像度を参考にしながら、間引き率を設定することができる。
【０６３９】
また、例えば、ユーザが、エンハンスメントレイヤにおけるイントラ予測モードのブロックサイズを指定し、間引き率設定部１１５１が、取得した各レイヤの解像度に基づいて、その指定された情報を、間引き率に換算するようにしてもよい。このようにすることにより、ユーザにとって分かり易い情報で間引き率の設定を行うようにすることができ、間引き率の設定をより容易にすることができる。
【０６４０】
間引き率設定部１１５１は、このように設定した間引き率を示す情報を間引き処理部１１５２に供給する。また、間引き率設定部１１５１は、このように設定した間引き率を示す情報を、エンハンスメントレイヤ画像符号化部１１０５の可逆符号化部１１１６（若しくは共通情報生成部１１０１）にも供給し、復号側に伝送させる。
【０６４１】
間引き処理部１１５２は、ベースレイヤ画像符号化部１１０３のイントラ予測部１１２４から供給されるベースレイヤのイントラ予測モードを取得し、間引き率設定部１１５１により設定された間引き率で、そのイントラ予測モードを間引く。例えば、上述したように、所定のエリア毎にイントラ予測モードの間引き処理を行い、各エリアの代表（イントラ予測モード）を選択する。このように間引かれて残った（選択された）ベースレイヤのイントラ予測モードは、イントラ予測モードバッファ１１５３に供給される。
【０６４２】
イントラ予測モードバッファ１１５３は、間引き処理部１１５２から供給された、選択されたベースレイヤイントラ予測モードを記憶する。イントラ予測モードバッファ１１５３は、記憶している、選択されたベースレイヤイントラ予測モードの中から、エンハンスメントレイヤ画像符号化部１１０５のイントラ予測部１１３４において行なわれるエンハンスメントレイヤのイントラ予測のカレントブロックに対応するエリアのイントラ予測モードを、イントラ予測部１１３４に供給する。
【０６４３】
上述したように、イントラ予測部１１３４は、イントラ予測モードバッファ１１５３から読み出したベースレイヤのイントラ予測モード（選択されたベースレイヤイントラ予測モード）を用いて、エンハンスメントレイヤのカレントブロックのイントラ予測を行い、予測画像を生成する。
【０６４４】
以上のように、スケーラブル符号化装置１１００は、エンハンスメントレイヤの符号化におけるイントラ予測において、ベースレイヤのイントラ予測モードを用いることができるので、符号化効率の低減を抑制することができる。これにより、スケーラブル符号化装置１１００は、符号化・復号による画質の低減を抑制することができる。また、そのベースレイヤのイントラ予測モードをエンハンスメントレイヤに提供する際に、そのイントラ予測モードを所定の間引き率で間引くので、スケーラブル符号化装置１１００は、符号化・復号に必要な記憶容量の増大を抑制することができる。
【０６４５】
＜共通情報生成処理の流れ＞
次に、以上のようなスケーラブル符号化装置１１００により実行される各処理の流れについて説明する。最初に、図８５のフローチャートを参照して、共通情報生成処理の流れの例を説明する。
【０６４６】
共通情報生成処理が開始されると、イントラ予測モード提供部１１０４の間引き率設定部１１５１は、ステップＳ４１０１において、ベースレイヤイントラ予測モードの間引き率を設定する。
【０６４７】
ステップＳ４１０２において、共通情報生成部１１０１は、ステップＳ４１０１において設定された間引き率を示す情報を含むビデオパラメータセットを生成する。
【０６４８】
ステップＳ４１０３において、共通情報生成部１１０１は、ステップＳ４１０２において生成されたビデオパラメータセットを共通情報として、復号側に伝送（供給）する。ステップＳ４１０３の処理が終了すると、共通情報生成処理が終了する。
【０６４９】
＜符号化処理の流れ＞
次に、図８６のフローチャートを参照して、符号化処理の流れの例を説明する。スケーラブル符号化装置１１００は、ピクチャ毎にこの符号化処理を実行する。
【０６５０】
符号化処理が開始されると、ステップＳ４１２１において、スケーラブル符号化装置１１００の符号化制御部１１０２は、最初のレイヤを処理対象とする。
【０６５１】
ステップＳ４１２２において、符号化制御部１１０２は、処理対象であるカレントレイヤがベースレイヤであるか否かを判定する。カレントレイヤがベースレイヤであると判定された場合、処理は、ステップＳ４１２３に進む。
【０６５２】
ステップＳ４１２３において、ベースレイヤ画像符号化部１１０３およびイントラ予測モード提供部１１０４は、ベースレイヤ符号化処理を行う。ステップＳ４１２３の処理が終了すると、処理は、ステップＳ４１２６に進む。
【０６５３】
また、ステップＳ４１２２において、カレントレイヤがエンハンスメントレイヤであると判定された場合、処理は、ステップＳ４１２４に進む。ステップＳ４１２４において、符号化制御部１１０２は、カレントレイヤに対応する（すなわち、参照先とする）ベースレイヤを決定する。
【０６５４】
ステップＳ４１２５において、エンハンスメントレイヤ画像符号化部１１０５は、エンハンスメントレイヤ符号化処理を行う。ステップＳ４１２５の処理が終了すると、処理は、ステップＳ４１２６に進む。
【０６５５】
ステップＳ４１２６において、符号化制御部１１０２は、全てのレイヤを処理したか否かを判定する。未処理のレイヤが存在すると判定された場合、処理は、ステップＳ４１２７に進む。
【０６５６】
ステップＳ４１２７において、符号化制御部１１０２は、次の未処理のレイヤを処理対象（カレントレイヤ）とする。ステップＳ４１２７の処理が終了すると、処理は、ステップＳ４１２２に戻る。ステップＳ４１２２乃至ステップＳ４１２７の処理が繰り返し実行され、各レイヤが符号化される。
【０６５７】
そして、ステップＳ４１２６において、全てのレイヤが処理されたと判定された場合、符号化処理が終了する。
【０６５８】
＜ベースレイヤ符号化処理の流れ＞
次に、図８７のフローチャートを参照して、図８６のステップＳ４１２３において実行されるベースレイヤ符号化処理の流れの例を説明する。
【０６５９】
ステップＳ４１４１において、ベースレイヤ画像符号化部１１０３のA/D変換部１１１１は入力されたベースレイヤの画像情報（画像データ）をA/D変換する。ステップＳ４１４２において、画面並べ替えバッファ１１１２は、A/D変換されたベースレイヤの画像情報（デジタルデータ）を記憶し、各ピクチャを、表示する順番から符号化する順番へ並べ替える。
【０６６０】
ステップＳ４１４３において、イントラ予測部１１２４は、イントラ予測モードのイントラ予測処理を行う。ステップＳ４１４４において、動き予測・補償部１１２５は、インター予測モードでの動き予測や動き補償を行う動き予測・補償処理を行う。ステップＳ４１４５において、予測画像選択部１１２６は、イントラ予測部１１２４および動き予測・補償部１１２５から出力された各コスト関数値に基づいて、最適なモードを決定する。つまり、予測画像選択部１１２６は、イントラ予測部１１２４により生成された予測画像と、動き予測・補償部１１２５により生成された予測画像のいずれか一方を選択する。ステップＳ４１４６において、演算部１１１３は、ステップＳ４１４２の処理により並び替えられた画像と、ステップＳ４１４５の処理により選択された予測画像との差分を演算する。差分データは元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
【０６６１】
ステップＳ４１４７において、直交変換部１１１４は、ステップＳ４１４６の処理により生成された差分情報に対する直交変換処理を行う。ステップＳ４１４８において、量子化部１１１５は、レート制御部１１２７により算出された量子化パラメータを用いて、ステップＳ４１４７の処理により得られた直交変換係数を量子化する。
【０６６２】
ステップＳ４１４８の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ４１４９において、逆量子化部１１１８は、ステップＳ４１４８の処理により生成された量子化された係数（量子化係数とも称する）を、量子化部１１１５の特性に対応する特性で逆量子化する。ステップＳ４１５０において、逆直交変換部１１１９は、ステップＳ４１４７の処理により得られた直交変換係数を逆直交変換する。ステップＳ４１５１において、演算部１１２０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１１１３への入力に対応する画像）を生成する。
【０６６３】
ステップＳ４１５２においてループフィルタ１１２１は、ステップＳ４１５１の処理により生成された画像をフィルタリングする。これによりブロック歪み等が除去される。ステップＳ４１５３において、フレームメモリ１１２２は、ステップＳ４１５２の処理によりブロック歪みの除去等が行われた画像を記憶する。なお、フレームメモリ１１２２にはループフィルタ１１２１によりフィルタ処理されていない画像も演算部１１２０から供給され、記憶される。このフレームメモリ１１２２に記憶された画像は、ステップＳ４１４３の処理やステップＳ４１４４の処理に利用される。
【０６６４】
ステップＳ４１５４において、イントラ予測モード提供部１１０４の間引き処理部１１５２は、ベースレイヤのイントラ予測モードを、図８５のステップＳ４１０１において設定された間引き率で間引く。
【０６６５】
ステップＳ４１５５において、イントラ予測モード提供部１１０４のイントラ予測モードバッファ１１５３は、ステップＳ４１５４の処理により間引かれて選択されたベースレイヤのイントラ予測モードを記憶する。
【０６６６】
ステップＳ４１５６において、ベースレイヤ画像符号化部１１０３の可逆符号化部１１１６は、ステップＳ４１４８の処理により量子化された係数を符号化する。すなわち、差分画像に対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。
【０６６７】
また、このとき、可逆符号化部１１１６は、ステップＳ４１４５の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１１１６は、イントラ予測部１１２４から供給される最適イントラ予測モード情報、または、動き予測・補償部１１２５から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。
【０６６８】
ステップＳ４１５７において蓄積バッファ１１１７は、ステップＳ４１５６の処理により得られたベースレイヤ符号化データを蓄積する。蓄積バッファ１１１７に蓄積されたベースレイヤ符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。
【０６６９】
ステップＳ４１５８においてレート制御部１１２７は、ステップＳ４１５７において蓄積バッファ１１１７に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１１１５の量子化動作のレートを制御する。
【０６７０】
ステップＳ４１５８の処理が終了すると、ベースレイヤ符号化処理が終了し、処理は図８６に戻る。ベースレイヤ符号化処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してベースレイヤ符号化処理が実行される。ただし、ベースレイヤ符号化処理内の各処理は、それぞれの処理単位毎に行われる。
【０６７１】
＜エンハンスメントレイヤ符号化処理の流れ＞
次に、図８８のフローチャートを参照して、図８６のステップＳ４１２５において実行されるエンハンスメントレイヤ符号化処理の流れの例を説明する。
【０６７２】
エンハンスメントレイヤ符号化処理のステップＳ４１７１およびステップＳ４１７２、並びに、ステップＳ４１７５乃至ステップＳ４１８７の各処理は、図８７のベースレイヤ符号化処理のステップＳ４１４１およびステップＳ４１４２、ステップＳ４１４４乃至ステップＳ４１５３、並びに、ステップＳ４１５６乃至ステップＳ４１５８の各処理と同様に実行される。ただし、エンハンスメントレイヤ符号化処理の各処理は、エンハンスメントレイヤ画像符号化部１１０５の各処理部により、エンハンスメントレイヤ画像情報に対して行われる。
【０６７３】
なお、ステップＳ４１７３において、エンハンスメントレイヤ画像符号化部１１０５のイントラ予測部１１３４は、イントラ予測モード提供部１１０４のイントラ予測モードバッファ１１５３から、カレントブロックに対応するベースレイヤのイントラ予測モード（選択されたベースレイヤのイントラ予測モード）を取得する。
【０６７４】
ステップＳ４１７４において、イントラ予測部１１３４は、ステップＳ４１７３において取得された、選択されたベースレイヤのイントラ予測モードを用いて、エンハンスメントレイヤのイントラ予測処理を行う。
【０６７５】
ステップＳ４１８７の処理が終了すると、エンハンスメントレイヤ符号化処理が終了され、処理は図８６に戻る。エンハンスメントレイヤ符号化処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してエンハンスメントレイヤ符号化処理が実行される。ただし、エンハンスメントレイヤ符号化処理内の各処理は、それぞれの処理単位毎に行われる。
【０６７６】
以上のように各処理を実行することにより、スケーラブル符号化装置１１００は、エンハンスメントレイヤの符号化におけるイントラ予測において、ベースレイヤのイントラ予測モードを用いることができるので、符号化効率の低減を抑制することができる。これにより、スケーラブル符号化装置１１００は、符号化・復号による画質の低減を抑制することができる。また、そのベースレイヤのイントラ予測モードをエンハンスメントレイヤに提供する際に、そのイントラ予測モードを所定の間引き率で間引くので、スケーラブル符号化装置１１００は、符号化・復号に必要な記憶容量の増大を抑制することができる。
【０６７７】
＜７．第６の実施の形態＞
＜スケーラブル復号装置＞
次に、以上のようにスケーラブル符号化（階層符号化）された符号化データ（ビットストリーム）の復号について説明する。図８９は、図８１のスケーラブル符号化装置１１００に対応するスケーラブル復号装置の主な構成例を示すブロック図である。図８９に示されるスケーラブル復号装置１２００は、例えばスケーラブル符号化装置１１００により画像データがスケーラブル符号化されて得られた符号化データを、その符号化方法に対応する方法でスケーラブル復号する。
【０６７８】
図８９に示されるように、スケーラブル復号装置１２００は、共通情報取得部１２０１、復号制御部１２０２、ベースレイヤ画像復号部１２０３、イントラ予測モード提供部１２０４、およびエンハンスメントレイヤ画像復号部１２０５を有する。
【０６７９】
共通情報取得部１２０１は、符号化側から伝送される共通情報（例えば、ビデオパラメータセット（VPS））を取得する。共通情報取得部１２０１は、取得した共通情報より復号に関する情報を抽出し、それを復号制御部１２０２に供給する。また、共通情報取得部１２０１は、共通情報の一部若しくは全部を、ベースレイヤ画像復号部１２０３乃至エンハンスメントレイヤ画像復号部１２０５に適宜供給する。
【０６８０】
例えば、間引き率を示す情報がビデオパラメータセット（VPS）において符号化側から伝送される場合、共通情報取得部１２０１は、符号化側から伝送されたビデオパラメータセットから間引き率を示す情報を取得し、イントラ予測モード提供部１２０４に供給する。
【０６８１】
復号制御部１２０２は、共通情報取得部１２０１から供給された復号に関する情報を取得し、その情報に基づいて、ベースレイヤ画像復号部１２０３乃至エンハンスメントレイヤ画像復号部１２０５を制御することにより、各レイヤの復号を制御する。
【０６８２】
ベースレイヤ画像復号部１２０３は、ベースレイヤ画像符号化部１１０３に対応する画像復号部であり、例えばベースレイヤ画像符号化部１１０３によりベースレイヤ画像情報が符号化されて得られたベースレイヤ符号化データを取得する。ベースレイヤ画像復号部１２０３は、他のレイヤの情報を利用せずに、そのベースレイヤ符号化データを復号し、ベースレイヤ画像情報を再構築し、出力する。このようなベースレイヤの復号において、ベースレイヤ画像復号部１２０３は、符号化の際にイントラ予測が行われブロックについて、符号化側から伝送されるイントラ予測モード情報により指定されるイントラ予測モード（つまり、符号化の際と同じモード）でイントラ予測を行い、予測画像を生成し、その予測画像を用いて復号画像を生成する。また、ベースレイヤ画像復号部１２０３は、このようなベースレイヤのイントラ予測のイントラ予測モードを、イントラ予測モード提供部１２０４に供給する。例えば、ベースレイヤ画像復号部１２０３が、符号化側から伝送されたイントラ予測モード情報を、イントラ予測モード提供部１２０４に供給するようにしてもよい。
【０６８３】
イントラ予測モード提供部１２０４は、ベースレイヤ画像復号部１２０３から供給されるイントラ予測モードを、エンハンスメントレイヤ画像復号部１２０５におけるイントラ予測に提供する処理を行う。その際、イントラ予測モード提供部１２０４は、ベースレイヤ画像復号部１２０３から取得したベースレイヤのイントラ予測モードを、所定の間引き率で間引いて記憶する。そして、エンハンスメントレイヤの符号化が行われる際に、イントラ予測モード提供部１２０４は、記憶しているベースレイヤのイントラ予測モードを、エンハンスメントレイヤ画像復号部１２０５に供給する。すなわち、エンハンスメントレイヤ画像復号部１２０５には、イントラ予測モード提供部１２０４により選択されたイントラ予測モードが提供される。
【０６８４】
エンハンスメントレイヤ画像復号部１２０５は、エンハンスメントレイヤ画像符号化部１１０５に対応する画像復号部であり、例えばエンハンスメントレイヤ画像符号化部１１０５によりエンハンスメントレイヤ画像情報が符号化されて得られたエンハンスメントレイヤ符号化データを取得する。エンハンスメントレイヤ画像復号部１２０５は、イントラ予測モード提供部１２０４から取得したベースレイヤのイントラ予測モードを用いてイントラ予測を行い、予測画像を生成し、その予測画像を用いてエンハンスメントレイヤ画像情報を再構築し、出力する。
【０６８５】
＜ベースレイヤ画像復号部＞
図９０は、図８９のベースレイヤ画像復号部１２０３の主な構成例を示すブロック図である。図９０に示されるようにベースレイヤ画像復号部１２０３は、蓄積バッファ１２１１、可逆復号部１２１２、逆量子化部１２１３、逆直交変換部１２１４、演算部１２１５、ループフィルタ１２１６、画面並べ替えバッファ１２１７、およびD/A変換部１２１８を有する。また、ベースレイヤ画像復号部１２０３は、フレームメモリ１２１９、選択部１２２０、イントラ予測部１２２１、動き補償部１２２２、および選択部１２２３を有する。
【０６８６】
蓄積バッファ１２１１は、伝送されてきたベースレイヤ符号化データを受け取る受け取り部でもある。蓄積バッファ１２１１は、伝送されてきたベースレイヤ符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部１２１２に供給する。このベースレイヤ符号化データには、予測モード情報などの復号に必要な情報が付加されている。
【０６８７】
可逆復号部１２１２は、蓄積バッファ１２１１より供給された、可逆符号化部１１１６により符号化された情報を、可逆符号化部１１１６の符号化方式に対応する方式で復号する。可逆復号部１２１２は、復号して得られた差分画像の量子化された係数データを、逆量子化部１２１３に供給する。
【０６８８】
また、可逆復号部１２１２は、ベースレイヤ符号化データに含まれるビデオパラメータセット（VPS）、シーケンスパラメータセット（SPS）、およびピクチャパラメータセット（PPS）等を含むNALユニットを適宜抽出し、取得する。可逆復号部１２１２は、それらの情報から、最適な予測モードに関する情報を抽出し、その情報に基づいて最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部１２２１および動き補償部１２２２の内、選択されたと判定したモードの方に供給する。つまり、例えば、ベースレイヤ画像符号化部１１０３において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報がイントラ予測部１２２１に供給される。また、例えば、ベースレイヤ画像符号化部１１０３において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報が動き補償部１２２２に供給される。
【０６８９】
さらに、可逆復号部１２１２は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報をNALユニット等から抽出し、それを逆量子化部１２１３に供給する。
【０６９０】
逆量子化部１２１３は、可逆復号部１２１２により復号されて得られた量子化された係数データを、量子化部１１１５の量子化方式に対応する方式で逆量子化する。なお、この逆量子化部１２１３は、逆量子化部１１１８と同様の処理部である。つまり、逆量子化部１２１３の説明は、逆量子化部１１１８にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。逆量子化部１２１３は、得られた係数データを逆直交変換部１２１４に供給する。
【０６９１】
逆直交変換部１２１４は、逆量子化部１２１３から供給される係数データを、直交変換部１１１４の直交変換方式に対応する方式で逆直交変換する。なお、この逆直交変換部１２１４は、逆直交変換部１１１９と同様の処理部である。つまり、逆直交変換部１２１４の説明は、逆直交変換部１１１９にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。
【０６９２】
逆直交変換部１２１４は、この逆直交変換処理により、直交変換部１１１４において直交変換される前の残差データに対応する復号残差データを得る。逆直交変換されて得られた復号残差データは、演算部１２１５に供給される。また、演算部１２１５には、選択部１２２３を介して、イントラ予測部１２２１若しくは動き補償部１２２２から予測画像が供給される。
【０６９３】
演算部１２１５は、その復号残差データと予測画像とを加算し、演算部１１１３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部１２１５は、その復号画像データをループフィルタ１２１６に供給する。
【０６９４】
ループフィルタ１２１６は、供給された復号画像に対して、デブロックフィルタや適応ループフィルタ等を含むフィルタ処理を適宜施し、それを画面並べ替えバッファ１２１７およびフレームメモリ１２１９に供給する。例えば、ループフィルタ１２１６は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ１２１６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。なお、このループフィルタ１２１６は、ループフィルタ１１２１と同様の処理部である。
【０６９５】
なお、演算部１２１５から出力される復号画像は、ループフィルタ１２１６を介さずに画面並べ替えバッファ１２１７やフレームメモリ１２１９に供給することができる。つまり、ループフィルタ１２１６によるフィルタ処理の一部若しくは全部は省略することができる。
【０６９６】
画面並べ替えバッファ１２１７は、復号画像の並べ替えを行う。すなわち、画面並べ替えバッファ１１１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部１２１８は、画面並べ替えバッファ１２１７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
【０６９７】
フレームメモリ１２１９は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、イントラ予測部１２２１や動き補償部１２２２等の外部の要求に基づいて、記憶している復号画像を参照画像として、選択部１２２０に供給する。
【０６９８】
選択部１２２０は、フレームメモリ１２１９から供給される参照画像の供給先を選択する。選択部１２２０は、イントラ符号化された画像を復号する場合、フレームメモリ１２１９から供給される参照画像をイントラ予測部１２２１に供給する。また、選択部１２２０は、インター符号化された画像を復号する場合、フレームメモリ１２１９から供給される参照画像を動き補償部１２２２に供給する。
【０６９９】
イントラ予測部１２２１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部１２１２から適宜供給される。イントラ予測部１２２１は、イントラ予測部１１２４において用いられたイントラ予測モードで、フレームメモリ１２１９から取得した参照画像を用いてイントラ予測を行い、予測画像を生成する。イントラ予測部１２２１は、生成した予測画像を選択部１２２３に供給する。
【０７００】
動き補償部１２２２は、ヘッダ情報を復号して得られた情報（最適予測モード情報、参照画像情報等）を可逆復号部１２１２から取得する。
【０７０１】
動き補償部１２２２は、可逆復号部１２１２から取得された最適予測モード情報が示すインター予測モードで、フレームメモリ１２１９から取得した参照画像を用いて動き補償を行い、予測画像を生成する。動き補償部１２２２は、生成した予測画像を選択部１２２３に供給する。
【０７０２】
選択部１２２３は、イントラ予測部１２２１からの予測画像または動き補償部１２２２からの予測画像を、演算部１２１５に供給する。そして、演算部１２１５においては、動きベクトルが用いられて生成された予測画像と逆直交変換部１２１４からの復号残差データ（差分画像情報）とが加算されて元の画像が復号される。
【０７０３】
なお、イントラ予測部１２２１は、採用されたイントラ予測モード（すなわち、符号化側により指定されたイントラ予測モード）を、ベースレイヤのイントラ予測モードとして、イントラ予測モード提供部１２０４に供給する。
【０７０４】
＜エンハンスメントレイヤ画像符号化部＞
図９１は、図８９のエンハンスメントレイヤ画像復号部１２０５の主な構成例を示すブロック図である。図９１に示されるように、エンハンスメントレイヤ画像復号部１２０５は、図９０のベースレイヤ画像復号部１２０３と基本的に同様の構成を有する。
【０７０５】
ただし、エンハンスメントレイヤ画像復号部１２０５の各部は、ベースレイヤではなく、エンハンスメントレイヤ符号化データの復号についての処理を行う。つまり、エンハンスメントレイヤ画像復号部１２０５の蓄積バッファ１２１１は、エンハンスメントレイヤ符号化データを記憶し、エンハンスメントレイヤ画像復号部１２０５のD/A変換部１２１８は、エンハンスメントレイヤ画像情報を、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。
【０７０６】
また、エンハンスメントレイヤ画像復号部１２０５は、イントラ予測部１２２１の代わりに、イントラ予測部１２３１を有する。
【０７０７】
イントラ予測部１２３１は、イントラ予測モード提供部１２０４が記憶するベースレイヤのイントラ予測モード（の代表値）の内、カレントブロックに対応するイントラ予測モードを取得し（読み出し）、そのイントラ予測モードを用いて、エンハンスメントレイヤのイントラ予測を行い、予測画像を生成する。イントラ予測は、イントラ予測部１２２１の場合と同様に行われる。
【０７０８】
なお、エンハンスメントレイヤ画像復号部１２０５の可逆復号部１２１２は、例えば、エンハンスメントレイヤのシーケンスパラメータセット（SPS（Sequence Parameter Set））、ピクチャパラメータセット（PPS（Picture Parameter Set））、若しくはスライスヘッダ（SliceHeader）等において、間引き率を示す情報が符号化側から伝送される場合、その符号化側から伝送された間引き率を示す情報を、イントラ予測モード提供部１２０４に供給する。
【０７０９】
なお、この間引き率を示す情報は、例えばビデオパラメータセット（VPS（Video Parameter Set））において伝送させるようにしてもよい。その場合、この間引き率を示す情報は、共通情報取得部１２０１からイントラ予測モード提供部１２０４に供給される。
【０７１０】
＜イントラ予測モード提供部＞
図９２は、図８９のイントラ予測モード提供部１２０４の主な構成例を示すブロック図である。
【０７１１】
図９２に示されるように、イントラ予測モード提供部１２０４は、間引き率取得部１２５１、間引き処理部１２５２、およびイントラ予測モードバッファ１２５３を有する。
【０７１２】
間引き率取得部１２５１は、エンハンスメントレイヤ画像復号部１２０５の可逆復号部１２１２（若しくは共通情報取得部１２０１）から、符号化側から伝送された、ベースレイヤのイントラ予測モードの間引き率を取得する。間引き率設定部１２５１は、取得した間引き率を示す情報を間引き処理部１２５２に供給する。
【０７１３】
間引き処理部１２５２は、ベースレイヤ画像復号部１２０３のイントラ予測部１２２１から供給されるベースレイヤの各ブロックのイントラ予測モードを取得し、間引き率取得部１２５１から供給された間引き率で、そのイントラ予測モードを間引く。例えば、上述したように、所定のエリア毎にイントラ予測モードの間引き処理を行い、各エリアの代表（イントラ予測モード）を選択する。このように間引かれて選択されたベースレイヤのイントラ予測モードは、イントラ予測モードバッファ１２５３に供給される。
【０７１４】
イントラ予測モードバッファ１２５３は、間引き処理部１２５２から供給された、選択されたベースレイヤイントラ予測モードを記憶する。イントラ予測モードバッファ１２５３は、記憶している、選択されたベースレイヤイントラ予測モードの中から、エンハンスメントレイヤ画像復号部１２０５のイントラ予測部１２３１において行なわれるイントラ予測のカレントブロックに対応するブロックのイントラ予測モードを、イントラ予測部１２３１に供給する。
【０７１５】
上述したように、イントラ予測部１２３１は、イントラ予測モードバッファ１２５３から読み出したベースレイヤのイントラ予測モード（選択されたベースレイヤイントラ予測モード）を用いて、エンハンスメントレイヤのカレントブロックのイントラ予測を行い、予測画像を生成する。
【０７１６】
以上のように、スケーラブル復号装置１２００は、エンハンスメントレイヤの符号化におけるイントラ予測において、ベースレイヤのイントラ予測モードを用いることができるので、符号化効率の低減を抑制することができる。これにより、スケーラブル復号装置１２００は、符号化・復号による画質の低減を抑制することができる。また、そのベースレイヤのイントラ予測モードをエンハンスメントレイヤに提供する際に、そのイントラ予測モードを所定の間引き率で間引くので、スケーラブル復号装置１２００は、符号化・復号に必要な記憶容量の増大を抑制することができる。
【０７１７】
＜共通情報取得処理の流れ＞
次に、以上のようなスケーラブル復号装置１２００により実行される各処理の流れについて説明する。最初に、図９３のフローチャートを参照して、共通情報取得処理の流れの例を説明する。
【０７１８】
共通情報取得処理が開始されると、共通情報取得部１２０１は、ステップＳ４２０１において、符号化側から伝送されたビデオパラメータセットを取得する。
【０７１９】
ステップＳ４２０２において、イントラ予測モード提供部１２０４の間引き率取得部１２５１は、ステップＳ４２０１において取得されたビデオパラメータセットから、ベースレイヤイントラ予測モードの間引き率を取得する。
【０７２０】
ステップＳ４２０２の処理が終了すると、共通情報取得処理が終了する。
【０７２１】
＜復号処理の流れ＞
次に、図９４のフローチャートを参照して、復号処理の流れの例を説明する。スケーラブル復号装置１２００は、ピクチャ毎にこの復号処理を実行する。
【０７２２】
復号処理が開始されると、ステップＳ４２２１において、スケーラブル復号装置１２００の復号制御部１２０２は、最初のレイヤを処理対象とする。
【０７２３】
ステップＳ４２２２において、復号制御部１２０２は、処理対象であるカレントレイヤがベースレイヤであるか否かを判定する。カレントレイヤがベースレイヤであると判定された場合、処理は、ステップＳ４２２３に進む。
【０７２４】
ステップＳ４２２３において、ベースレイヤ画像復号部１２０３およびイントラ予測モード提供部１２０４は、ベースレイヤ復号処理を行う。ステップＳ４２２３の処理が終了すると、処理は、ステップＳ４２２６に進む。
【０７２５】
また、ステップＳ４２２２において、カレントレイヤがエンハンスメントレイヤであると判定された場合、処理はステップＳ４２２４に進む。ステップＳ４２２４において、復号制御部１２０２は、カレントレイヤに対応する（すなわち、参照先とする）ベースレイヤを決定する。
【０７２６】
ステップＳ４２２５において、エンハンスメントレイヤ画像復号部１２０５は、エンハンスメントレイヤ復号処理を行う。ステップＳ４２２５の処理が終了すると、処理はステップＳ４２２６に進む。
【０７２７】
ステップＳ４２２６において、復号制御部１２０２は、全てのレイヤを処理したか否かを判定する。未処理のレイヤが存在すると判定された場合、処理はステップＳ４２２７に進む。
【０７２８】
ステップＳ４２２７において、復号制御部１２０２は、次の未処理のレイヤを処理対象（カレントレイヤ）とする。ステップＳ４２２７の処理が終了すると、処理はステップＳ４２２２に戻る。ステップＳ４２２２乃至ステップＳ４２２７の処理が繰り返し実行され、各レイヤが復号される。
【０７２９】
そして、ステップＳ４２２６において、全てのレイヤが処理されたと判定された場合、復号処理が終了する。
【０７３０】
＜ベースレイヤ復号処理の流れ＞
次に、図９５のフローチャートを参照して、図９４のステップＳ４２２３において実行されるベースレイヤ復号処理の流れの例を説明する。
【０７３１】
ベースレイヤ復号処理が開始されると、ステップＳ４２４１において、ベースレイヤ画像復号部１２０３の蓄積バッファ１２１１は、符号化側から伝送されたベースレイヤのビットストリームを蓄積する。ステップＳ４２４２において、可逆復号部１２１２は、蓄積バッファ１２１１から供給されるベースレイヤのビットストリーム（符号化された差分画像情報）を復号する。すなわち、可逆符号化部１１１６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。このとき、ヘッダ情報などのビットストリームに含められた差分画像情報以外の各種情報も復号される。
【０７３２】
ステップＳ４２４３において、逆量子化部１２１３は、ステップＳ４２４２の処理により得られた、量子化された係数を逆量子化する。
【０７３３】
ステップＳ４２４４において、逆直交変換部１２１４は、カレントブロック（カレントTU）を逆直交変換する。
【０７３４】
ステップＳ４２４５において、イントラ予測部１２２１若しくは動き補償部１２２２は、予測処理を行い、予測画像を生成する。つまり、可逆復号部１２１２において判定された、符号化の際に適用された予測モードで予測処理が行われる。より具体的には、例えば、符号化の際にイントラ予測が適用された場合、イントラ予測部１２２１が、符号化の際に最適とされたイントラ予測モードで予測画像を生成する。また、例えば、符号化の際にインター予測が適用された場合、動き補償部１２２２が、符号化の際に最適とされたインター予測モードで予測画像を生成する。
【０７３５】
ステップＳ４２４６において、演算部１２１５は、ステップＳ４２４４の逆直交変換処理により生成された差分画像情報に、ステップＳ４２４５において生成された予測画像を加算する。これにより元の画像が復号される。
【０７３６】
ステップＳ４２４７において、ループフィルタ１２１６は、ステップＳ４２４６において得られた復号画像に対して、ループフィルタ処理を適宜行う。
【０７３７】
ステップＳ４２４８において、画面並べ替えバッファ１２１７は、ステップＳ４２４７においてフィルタ処理された画像の並べ替えを行う。すなわち画面並べ替えバッファ１１１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０７３８】
ステップＳ４２４９において、D/A変換部１２１８は、ステップＳ４２４８においてフレームの順序が並べ替えられた画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
【０７３９】
ステップＳ４２５０において、フレームメモリ１２１９は、ステップＳ４２４７においてループフィルタ処理された復号画像を記憶する。
【０７４０】
ステップＳ４２５１において、イントラ予測モード提供部１２０４の間引き処理部１２５２は、ステップＳ４２４５において、イントラ予測部１２２１のイントラ予測処理により得られたベースレイヤのイントラ予測モードを、図９３のステップＳ４２０２において取得された間引き率に従って間引く。
【０７４１】
ステップＳ４２５２において、イントラ予測モード提供部１２０４のイントラ予測モードバッファ１２５３は、ステップＳ４２５１において間引かれることにより選択されたベースレイヤのイントラ予測モードを記憶する。
【０７４２】
ステップＳ４２５２の処理が終了すると、ベースレイヤ復号処理が終了し、処理は図９４に戻る。ベースレイヤ復号処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してベースレイヤ復号処理が実行される。ただし、ベースレイヤ復号処理内の各処理は、それぞれの処理単位毎に行われる。
【０７４３】
＜エンハンスメントレイヤ復号処理の流れ＞
次に、図９６のフローチャートを参照して、図９４のステップＳ４２２５において実行されるエンハンスメントレイヤ復号処理の流れの例を説明する。
【０７４４】
エンハンスメントレイヤ復号処理のステップＳ４２７１乃至ステップＳ４２７４、並びに、ステップＳ４２７６乃至ステップＳ４２８０の各処理は、ベースレイヤ復号処理のステップＳ４２４１乃至ステップＳ４２４４、並びに、ステップＳ４２４６乃至ステップＳ４２５０の各処理と同様に実行される。ただし、エンハンスメントレイヤ復号処理の各処理は、エンハンスメントレイヤ画像復号部１２０５の各処理部により、エンハンスメントレイヤ符号化データに対して行われる。
【０７４５】
なお、ステップＳ４２７５において、エンハンスメントレイヤ画像復号部１２０５のイントラ予測部１２３１および動き補償部１２２２は、エンハンスメントレイヤ符号化データに対して、予測処理を行う。
【０７４６】
ステップＳ４２８０の処理が終了すると、エンハンスメントレイヤ復号処理が終了され、処理は図９４に戻る。エンハンスメントレイヤ復号処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してエンハンスメントレイヤ復号処理が実行される。ただし、エンハンスメントレイヤ復号処理内の各処理は、それぞれの処理単位毎に行われる。
【０７４７】
＜予測処理の流れ＞
次に、図９７のフローチャートを参照して、図９６のステップＳ４２７５において実行される予測処理の流れの例を説明する。
【０７４８】
予測処理が開始されると、エンハンスメントレイヤ画像復号部１２０５のイントラ予測部１２３１は、ステップＳ４３０１において、予測モードがイントラ予測であるか否かを判定する。イントラ予測であると判定した場合、処理はステップＳ４３０２に進む。
【０７４９】
ステップＳ４３０２において、イントラ予測部１２３１は、イントラ予測モード提供部１２０４のイントラ予測モードバッファ１２５３に記憶されている、選択されたベースレイヤのイントラ予測モードの内、カレントブロックに対応するブロックのイントラ予測モードを取得する。
【０７５０】
ステップＳ４３０３において、イントラ予測部１２３１は、ステップＳ４３０２において取得したイントラ予測モード（選択されたベースレイヤのイントラ予測モード）を用いて、イントラ予測処理を行い、予測画像を生成する。ステップＳ４３０３の処理が終了すると、予測処理が終了し、処理は図９６に戻る。
【０７５１】
また、ステップＳ４３０１において、インター予測であると判定された場合、処理はステップＳ４３０４に進む。ステップＳ４３０４において、動き補償部１２２２は、符号化の際に採用されたインター予測モードである最適インター予測モードで動き補償を行い、予測画像を生成する。ステップＳ４３０４の処理が終了すると、予測処理が終了し、処理は図９６に戻る。
【０７５２】
以上のように各処理を実行することにより、スケーラブル復号装置１２００は、エンハンスメントレイヤの復号におけるイントラ予測において、ベースレイヤのイントラ予測モードを用いることができるので、符号化効率の低減を抑制することができる。これにより、スケーラブル復号装置１２００は、符号化・復号による画質の低減を抑制することができる。また、そのベースレイヤのイントラ予測モードをエンハンスメントレイヤに提供する際に、そのイントラ予測モードを、符号化側から供給された所定の間引き率で間引くので、スケーラブル復号装置１２００は、スケーラブル符号化装置１１００の場合と同様に、符号化・復号に必要な記憶容量の増大を抑制することができる。
【０７５３】
以上において、第５の実施の形態および第６の実施の形態等において説明したスケーラブル符号化・復号に関する本技術は、当然、第１の実施の形態乃至第３の実施の形態において説明したような多視点画像符号化・復号についても同様に適用することができる。
【０７５４】
つまり、多視点画像符号化に本技術を適用する場合も、画像符号化装置が図８１乃至図８４のような構成を有し、図８５乃至図８８のフローチャートを参照して説明したような各処理を実行するようにすればよい。
【０７５５】
また、多視点画像復号に本技術を適用する場合も、画像復号装置が図８９乃至図９２のような構成を有し、図９３乃至図９７のフローチャートを参照して説明したような各処理を実行するようにすればよい。
【０７５６】
＜８．概要３＞
＜予測方向制御＞
ところで、従来、HEVCにおいては、動きベクトルの符号化（mv_coding）のためにテンポラル動きベクトル（temporal_motion_vector）を利用することができ、さらに、L0方向とL1方向とのいずれか一方のみを利用することができる。つまり、テンポラル動きベクトル（temporal_motion_vector）は、L0方向とL1方向とのいずれか一方のみを保存すればよい。
【０７５７】
図９８乃至図１００は、従来のスライスセグメントヘッダのシンタクスの様子を示す図である。図９９に示されるフラグ情報（collocated_from_l0_flag）は、L0方向のテンポラル動きベクトル（temporal_motion_vector）を保存するか否かを示すフラグ情報である。このフラグ情報の値が「１（真）」の場合、L0方向のテンポラル動きベクトル（temporal_motion_vector）が保存され、このフラグ情報の値が「０（偽）」の場合、L1方向のテンポラル動きベクトル（temporal_motion_vector）が保存される。
【０７５８】
ところで、Vadim Seregin, Patrice Onno, Shan Liu, Elena Alshina, Chulkeun Kim, Haitao Yang, "Description of Core Experiment SCE5: Inter-layer syntax prediction using HEVC base layer", JCTVC-L1105, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 1112th Meeting: Geneva, CH, 14-23 Jan. 2013では、スケーラブル（Scalable）符号化のための動きベクトル符号化方式として、ベースレイヤ（Baselayer）における動き情報を利用するレイヤ間シンタクス予測（Inter-layer syntax prediction）が提案されている。
【０７５９】
このレイヤ間シンタクス予測においては、エンハンスメントレイヤ（Enhancementlayer）のL0動きベクトル符号化処理のためには、ベースレイヤのL0動き情報が用いられ、エンハンスメントレイヤのL1動きベクトル符号化のためには、ベースレイヤのL1動き情報が用いられる。したがって、L0方向およびL1方向の両方の動き情報をバッファに格納しなければならず、符号化・復号に必要な記憶容量が増大する恐れがあった。
【０７６０】
そこで、複数レイヤよりなる画像データの、処理対象であるカレントレイヤの符号化に用いる他のレイヤの動き情報の予測方向を設定し、他のレイヤから、設定された予測方向の動き情報のみを取得するようにする。例えば、画像データを階層符号化する場合、エンハンスメントレイヤの符号化の、ベースレイヤの動き情報を利用するレイヤ間シンタクス予測において、そのレイヤ間シンタクス予測に利用するベースレイヤの動き情報の予測方向を設定し、その予測方向の動き情報のみを取得し、バッファに格納するようにする。例えば、ベースレイヤのL0方向若しくはL1方向のいずれか一方の動き情報のみを取得し、バッファに格納するようにする。そして、エンハンスメントレイヤの符号化におけるレイヤ間シンタクス予測において、そのバッファに格納したベースレイヤの動き情報を読み出して利用するようにする。
【０７６１】
このようにすることにより、ベースレイヤの全ての予測方向（例えばL0方向およびL1方向）の動き情報を取得する場合よりも、ベースレイヤの動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、符号化に必要な記憶容量の増大を抑制することができる。
【０７６２】
また、ベースレイヤの動き情報の予測方向の設定を示す制御情報を、復号側に伝送するようにする。そして、復号側では、符号化側から伝送されてきた制御情報の設定に従って、ベースレイヤの、制御情報により指定された予測方向（例えばL0方向若しくはL1方向）の動き情報のみを取得し、バッファに格納するようにする。そして、エンハンスメントレイヤの復号におけるレイヤ間シンタクス予測において、そのバッファに格納したベースレイヤの動き情報を読み出して利用するようにする。
【０７６３】
このようにすることにより、ベースレイヤの全ての予測方向（例えばL0方向およびL1方向）の動き情報を取得する場合よりも、ベースレイヤの動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、復号に必要な記憶容量の増大を抑制することができる。
【０７６４】
＜シンタクス例＞
図１０１乃至図１０３は、このようにする場合のスライスセグメントヘッダのシンタクスの様子を示す図である。図１０２に示されるように、上述した制御情報として、フラグ情報（colbasemv_from_l0_flag）が伝送される。このフラグ情報は、ベースレイヤのL0方向の動き情報を保存するか否かを示すフラグ情報である。このフラグ情報の値が「１（真）」の場合、ベースレイヤからL0方向の動き情報が取得され、バッファに格納される。また、このフラグ情報の値が「０（偽）」の場合、ベースレイヤからL1方向の動き情報が取得され、バッファに格納される。このようにバッファに格納されたベースレイヤの動き情報が、エンハンスメントレイヤのレイヤ間予測において利用される。
【０７６５】
このような制御情報を伝送することにより、復号側において、符号化側と同様のレイヤ間シンタクス予測を行うことができる。したがって、復号に必要な記憶容量の増大を抑制することができる。
【０７６６】
このように、レイヤ間予測に利用するベースレイヤの動き情報の予測方向を示す制御情報は、その予測方向が所定の方向（例えばL0方向）であるかを示す情報としてもよい。制御情報をこのようなフラグ情報とすることにより、この制御情報の情報量を少なくすることができる（例えば１ビットにすることができる）。したがって、符号化効率の低減を抑制することができる。
【０７６７】
もちろん、この方向はL0方向に限らない。例えば、制御情報が、レイヤ間予測に利用するベースレイヤの動き情報の予測方向がL1方向であるかを示す情報であってもよい。また、この方向を選択することができるようにしてもよい。例えば、スライス、ピクチャ、シーケンス等、任意の単位毎にこの方向を選択することができるようにしてもよい。
【０７６８】
また、制御情報はフラグ情報に限らない。例えば、制御情報が、レイヤ間予測に利用するベースレイヤの動き情報の予測方向がL0方向であるか、L1方向であるかを示す情報であってもよい。
【０７６９】
なお、図１０１乃至図１０３の例では、この制御情報をスライスヘッダにおいて伝送するように説明したが、これに限らない。すなわち、この制御情報は、例えば、シーケンス、ピクチャ、またはLCU等、任意の単位で伝送するようにしてもよい。換言するに、この制御情報の制御単位も、スライスに限らない。例えば、シーケンス、ピクチャ、またはLCU等、任意の単位で制御するようにしてもよい。
【０７７０】
なお、レイヤ間予測には、ベースレイヤの、エンハンスメントレイヤの処理対象のカレント領域（エリア）に対応する所定のエリアの動き情報が利用される。
【０７７１】
また、ベースレイヤから取得した動き情報の予測方向が、利用時の予測方向と異なる場合、変換することができる。例えば、バッファに格納したベースレイヤのL0方向の動き情報を、エンハンスメントレイヤのL1方向の予測に用いる場合、そのベースレイヤの動き情報がL1方向に変換される。このような変換は、符号化側においても復号側においても同様に行うことができる。
【０７７２】
また、ベースレイヤから取得した動き情報は、必要に応じて、スケーラブルなパラメータをエンハンスメントレイヤ基準とするように変換することができる。例えば、解像度がスケーラブルな場合、ベースレイヤとエンハンスメントレイヤの解像度比に応じて、取得したベースレイヤの動き情報のスケールを変換（アップサンプル）してもよい。なお、このような変換は、バッファに格納する前に行っても良いし、バッファから読み出した後に行っても良い。このような変換は、符号化側においても復号側においても同様に行うことができる。
【０７７３】
次に、以上のような本技術について、具体的な装置への適用例について説明する。
【０７７４】
＜９．第７の実施の形態＞
＜画像符号化装置＞
図１０４は、本技術を適用した画像処理装置の一態様である、画像符号化装置を示す図である。図１０４に示される画像符号化装置１３００は、階層画像符号化を行う装置である。図１０４に示されるように、画像符号化装置１３００は、ベースレイヤ画像符号化部１３０１、エンハンスメントレイヤ画像符号化部１３０２、および多重化部１３０３を有する。
【０７７５】
ベースレイヤ画像符号化部１３０１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。エンハンスメントレイヤ画像符号化部１３０２は、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤ画像符号化ストリームを生成する。多重化部１３０３は、ベースレイヤ画像符号化部１３０１において生成されたベースレイヤ画像符号化ストリームと、エンハンスメントレイヤ画像符号化部１３０２において生成されたエンハンスメントレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。多重化部１３０３は、生成した階層画像符号化ストリームを復号側に伝送する。
【０７７６】
ベースレイヤ画像符号化部１３０１は、他のレイヤを参照せずにベースレイヤ画像を符号化する。これに対してエンハンスメントレイヤ画像符号化部１３０２は、エンハンスメントレイヤ画像の符号化において、ベースレイヤを参照し、レイヤ間予測を行う。例えば、エンハンスメントレイヤ画像符号化部１３０２は、ベースレイヤ画像符号化部１３０１がベースレイヤ画像を符号化する際に生成されたベースレイヤの動き情報を取得し、そのベースレイヤの動き情報を用いてレイヤ間シンタクス予測（Inter-layer syntax prediction）を行う。
【０７７７】
その際、エンハンスメントレイヤ画像符号化部１３０２は、ベースレイヤ画像符号化部１３０１から取得する動き情報の予測方向を設定し、その設定した予測方向の動き情報のみを取得し、バッファに格納する。そして、エンハンスメントレイヤ画像符号化部１３０２は、そのバッファに格納されているベースレイヤの動き情報（すなわち、設定された予測方向の動き情報）を用いてレイヤ間予測を行う。
【０７７８】
また、エンハンスメントレイヤ画像符号化部１３０２は、その予測方向の設定内容を示す制御情報を、多重化部１３０３を介して（階層画像符号化ストリームとして）、復号側に伝送する。
【０７７９】
＜ベースレイヤ画像符号化部＞
図１０５は、図１０４のベースレイヤ画像符号化部１３０１の主な構成例を示すブロック図である。図１０５に示されるように、ベースレイヤ画像符号化部１３０１は、A/D変換部１３１１、画面並べ替えバッファ１３１２、演算部１３１３、直交変換部１３１４、量子化部１３１５、可逆符号化部１３１６、蓄積バッファ１３１７、逆量子化部１３１８、および逆直交変換部１３１９を有する。また、ベースレイヤ画像符号化部１３０１は、演算部１３２０、ループフィルタ１３２１、フレームメモリ１３２２、選択部１３２３、イントラ予測部１３２４、インター予測部１３２５、予測画像選択部１３２６、およびレート制御部１３２７を有する。
【０７８０】
A/D変換部１３１１は、入力された画像データ（ベースレイヤ画像情報）をA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１３１２に供給し、記憶させる。画面並べ替えバッファ１３１２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部１３１３に供給する。また、画面並べ替えバッファ１３１２は、フレームの順番を並び替えた画像を、イントラ予測部１３２４およびインター予測部１３２５にも供給する。
【０７８１】
演算部１３１３は、画面並べ替えバッファ１３１２から読み出された画像から、予測画像選択部１３２６を介してイントラ予測部１３２４若しくはインター予測部１３２５から供給される予測画像を減算し、その差分情報を直交変換部１３１４に出力する。例えば、イントラ符号化が行われる画像の場合、演算部１３１３は、画面並べ替えバッファ１３１２から読み出された画像から、イントラ予測部１３２４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１３１３は、画面並べ替えバッファ１３１２から読み出された画像から、インター予測部１３２５から供給される予測画像を減算する。
【０７８２】
直交変換部１３１４は、演算部１３１３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部１３１４は、その変換係数を量子化部１３１５に供給する。
【０７８３】
量子化部１３１５は、直交変換部１３１４から供給される変換係数を量子化する。量子化部１３１５は、レート制御部１３２７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部１３１５は、量子化された変換係数を可逆符号化部１３１６に供給する。
【０７８４】
可逆符号化部１３１６は、量子化部１３１５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１３２７の制御の下で量子化されているので、この符号量は、レート制御部１３２７が設定した目標値となる（若しくは目標値に近似する）。
【０７８５】
また、可逆符号化部１３１６は、イントラ予測のモードを示す情報などをイントラ予測部１３２４から取得し、インター予測のモードを示す情報や差分動きベクトル情報などをインター予測部１３２５から取得する。さらに、可逆符号化部１３１６は、シーケンスパラメータセット（SPS）、およびピクチャパラメータセット（PPS）等を含むベースレイヤのNALユニットを適宜生成する。
【０７８６】
また、可逆符号化部１３１６は、ベースレイヤ領域分割設定部により設定されたベースレイヤの領域（例えばタイルやスライス等）分割に関する情報（ベースレイヤ領域分割情報とも称する）を符号化する。
【０７８７】
可逆符号化部１３１６は、これらの各種情報を任意の符号化方式で符号化し、符号化データ（符号化ストリームとも称する）の一部とする（多重化する）。可逆符号化部１３１６は、符号化して得られた符号化データを蓄積バッファ１３１７に供給して蓄積させる。
【０７８８】
可逆符号化部１３１６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
【０７８９】
蓄積バッファ１３１７は、可逆符号化部１３１６から供給された符号化データ（ベースレイヤ符号化データ）を、一時的に保持する。蓄積バッファ１３１７は、所定のタイミングにおいて、保持しているベースレイヤ符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。すなわち、蓄積バッファ１３１７は、符号化データを伝送する伝送部でもある。
【０７９０】
また、量子化部１３１５において量子化された変換係数は、逆量子化部１３１８にも供給される。逆量子化部１３１８は、その量子化された変換係数を、量子化部１３１５による量子化に対応する方法で逆量子化する。逆量子化部１３１８は、得られた変換係数を、逆直交変換部１３１９に供給する。
【０７９１】
逆直交変換部１３１９は、逆量子化部１３１８から供給された変換係数を、直交変換部１３１４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１３２０に供給される。
【０７９２】
演算部１３２０は、逆直交変換部１３１９から供給された逆直交変換結果である、復元された差分情報に、予測画像選択部１３２６を介してイントラ予測部１３２４若しくはインター予測部１３２５からの予測画像を加算し、局部的に復号された画像（復号画像）を得る。その復号画像は、ループフィルタ１３２１またはフレームメモリ１３２２に供給される。
【０７９３】
ループフィルタ１３２１は、デブロックフィルタや適応ループフィルタ等を含み、演算部１３２０から供給される再構成画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ１３２１は、再構成画像に対してデブロックフィルタ処理を行うことにより再構成画像のブロック歪を除去する。また、例えば、ループフィルタ１３２１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。ループフィルタ１３２１は、フィルタ処理結果（以下、復号画像と称する）をフレームメモリ１３２２に供給する。
【０７９４】
なお、ループフィルタ１３２１が、再構成画像に対してさらに、他の任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１３２１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１３１６に供給し、それを符号化させるようにすることもできる。
【０７９５】
フレームメモリ１３２２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部１３２３に供給する。
【０７９６】
より具体的には、フレームメモリ１３２２は、演算部１３２０から供給される再構成画像と、ループフィルタ１３２１から供給される復号画像とをそれぞれ記憶する。フレームメモリ１３２２は、所定のタイミングにおいて、若しくは、イントラ予測部１３２４等の外部からの要求に基づいて、記憶している再構成画像を、選択部１３２３を介してイントラ予測部１３２４に供給する。また、フレームメモリ１３２２は、所定のタイミングにおいて、若しくは、インター予測部１３２５等の外部からの要求に基づいて、記憶している復号画像を、選択部１３２３を介して、インター予測部１３２５に供給する。
【０７９７】
選択部１３２３は、フレームメモリ１３２２から供給される参照画像の供給先を選択する。例えば、イントラ予測の場合、選択部１３２３は、フレームメモリ１３２２から供給される参照画像（カレントピクチャ内の画素値）をイントラ予測部１３２４に供給する。また、例えば、インター予測の場合、選択部１３２３は、フレームメモリ１３２２から供給される参照画像をインター予測部１３２５に供給する。
【０７９８】
イントラ予測部１３２４は、処理対象のフレームの画像であるカレントピクチャについて、予測処理を行い、予測画像を生成する。イントラ予測部１３２４は、この予測処理を、所定のブロック毎に（ブロックを処理単位として）行う。つまり、イントラ予測部１３２４は、カレントピクチャの、処理対象であるカレントブロックの予測画像を生成する。その際、イントラ予測部１３２４は、選択部１３２３を介してフレームメモリ１３２２から参照画像として供給される再構成画像を用いて予測処理（画面内予測（イントラ予測とも称する））を行う。つまり、イントラ予測部１３２４は、再構成画像に含まれる、カレントブロックの周辺の画素値を用いて予測画像を生成する。このイントラ予測に利用される周辺画素値は、カレントピクチャの、過去に処理された画素の画素値である。このイントラ予測には（すなわち、予測画像の生成の仕方には）、複数の方法（イントラ予測モードとも称する）が、候補として予め用意されている。イントラ予測部１３２４は、この予め用意された複数のイントラ予測モードでこのイントラ予測を行う。
【０７９９】
イントラ予測部１３２４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１３１２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１３２４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１３２６に供給する。
【０８００】
また、上述したように、イントラ予測部１３２４は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部１３１６に供給し、符号化させる。
【０８０１】
インター予測部１３２５は、カレントピクチャについて、予測処理を行い、予測画像を生成する。インター予測部１３２５は、この予測処理を、所定のブロック毎に（ブロックを処理単位として）行う。つまり、インター予測部１３２５は、カレントピクチャの、処理対象であるカレントブロックの予測画像を生成する。その際、インター予測部１３２５は、画面並べ替えバッファ１３１２から供給される入力画像の画像データと、フレームメモリ１３２２から参照画像として供給される復号画像の画像データとを用いて、予測処理を行う。この復号画像は、カレントピクチャより前に処理されたフレームの画像（カレントピクチャでない他のピクチャ）である。つまり、インター予測部１３２５は、他のピクチャの画像を用いて予測画像を生成する予測処理（画面間予測（インター予測とも称する））を行う。
【０８０２】
このインター予測は、動き予測と動き補償よりなる。より具体的には、インター予測部１３２５は、入力画像と参照画像を用いて、カレントブロックについて動き予測を行い、動きベクトルを検出する。そして、インター予測部１３２５は、参照画像を用いて、検出された動きベクトルに応じて動き補償処理を行い、カレントブロックの予測画像（インター予測画像情報）を生成する。このインター予測には（すなわち、予測画像の生成の仕方には）、複数の方法（インター予測モードとも称する）が、候補として予め用意されている。インター予測部１３２５は、この予め用意された複数のインター予測モードでこのようなインター予測を行う。
【０８０３】
インター予測部１３２５は、候補となる全てのインター予測モードで予測画像を生成する。インター予測部１３２５は、画面並べ替えバッファ１３１２から供給される入力画像と、生成した差分動きベクトルの情報などを用いて、各予測画像のコスト関数値を評価し、最適なモードを選択する。インター予測部１３２５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１３２６に供給する。
【０８０４】
インター予測部１３２５は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部１３１６に供給し、符号化させる。必要な情報としては、例えば、生成された差分動きベクトルの情報や、予測動きベクトル情報として予測動きベクトルのインデックスを示すフラグなどがある。
【０８０５】
予測画像選択部１３２６は、演算部１３１３や演算部１３２０に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部１３２６は、予測画像の供給元としてイントラ予測部１３２４を選択し、そのイントラ予測部１３２４から供給される予測画像を演算部１３１３や演算部１３２０に供給する。また、例えば、インター符号化の場合、予測画像選択部１３２６は、予測画像の供給元としてインター予測部１３２５を選択し、そのインター予測部１３２５から供給される予測画像を演算部１３１３や演算部１３２０に供給する。
【０８０６】
レート制御部１３２７は、蓄積バッファ１３１７に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１３１５の量子化動作のレートを制御する。
【０８０７】
なお、ベースレイヤ画像符号化部１３０１は、他のレイヤを参照せずに符号化を行う。つまり、イントラ予測部１３２４およびインター予測部１３２５は、他のレイヤの符号化に関する情報（例えば、復号画像、イントラ予測モード情報、インター予測モード情報、および動き情報等）を参照しない。
【０８０８】
また、インター予測部１３２５は、エンハンスメントレイヤ画像符号化部１３０２により要求された予測方向（例えばL0方向若しくはL1方向）の動き情報をエンハンスメントレイヤ画像符号化部１３０２に供給する。
【０８０９】
＜エンハンスメントレイヤ画像符号化部＞
図１０６は、図１０４のエンハンスメントレイヤ画像符号化部１３０２の主な構成例を示すブロック図である。図１０６に示されるように、エンハンスメントレイヤ画像符号化部１３０２は、図１０５のベースレイヤ画像符号化部１３０１と基本的に同様の構成を有する。
【０８１０】
つまり、エンハンスメントレイヤ画像符号化部１３０２は、図１０６に示されるように、A/D変換部１３３１、画面並べ替えバッファ１３３２、演算部１３３３、直交変換部１３３４、量子化部１３３５、可逆符号化部１３３６、蓄積バッファ１３３７、逆量子化部１３３８、および逆直交変換部１３３９を有する。また、エンハンスメントレイヤ画像符号化部１３０２は、演算部１３４０、ループフィルタ１３４１、フレームメモリ１３４２、選択部１３４３、イントラ予測部１３４４、インター予測部１３４５、予測画像選択部１３４６、およびレート制御部１３４７を有する。
【０８１１】
これらのA/D変換部１３３１乃至レート制御部１３４７は、図１０５のA/D変換部１３１１乃至レート制御部１３２７に対応し、それぞれ、対応する処理部と同様の処理を行う。ただし、エンハンスメントレイヤ画像符号化部１３０２の各部は、ベースレイヤではなく、エンハンスメントレイヤ画像情報の符号化についての処理を行う。したがって、A/D変換部１３３１乃至レート制御部１３４７の処理の説明として、上述した図１０５のA/D変換部１３１１乃至レート制御部１３２７についての説明を適用することができるが、その場合、処理するデータは、ベースレイヤのデータではなく、エンハンスメントレイヤのデータであるものとする必要がある。また、データの入力元や出力先の処理部は、適宜、A/D変換部１３３１乃至レート制御部１３４７の中の、対応する処理部に置き換えて読む必要がある。
【０８１２】
ただし、インター予測部１３４５は、ベースレイヤ画像符号化部１３０１から取得する動き情報の予測方向（例えばL0方向若しくはL1方向）を設定し、その設定した予測方向のベースレイヤの動き情報を、ベースレイヤ画像符号化部１３０１から取得し、内蔵するバッファに格納する。インター予測部１３４５は、このバッファに格納したベースレイヤの動き情報を用いてレイヤ間シンタクス予測を行う。
【０８１３】
＜インター予測部＞
図１０７は、図１０６のインター予測部１３４５の主な構成例を示すブロック図である。図１０７に示されるように、インター予測部１３４５は、ベースレイヤ参照予測方向設定部１３７１、ベースレイヤ動き情報バッファ１３７２、動き情報変換部１３７３、動き予測部１３７４、および動き補償部１３７５を有する。
【０８１４】
ベースレイヤ参照予測方向設定部１３７１は、参照する（レイヤ間シンタクス予測で利用する）ベースレイヤの動き情報の予測方向を設定する。例えば、ベースレイヤ参照予測方向設定部１３７１は、ベースレイヤの、L0方向の動き情報、若しくは、L1方向の動き情報のいずれを参照するかを選択する。
【０８１５】
なお、ベースレイヤ参照予測方向設定部１３７１は、この予測方向の設定内容を示す制御情報を生成し、それをベースレイヤ動き情報バッファ１３７２および動き情報変換部１３７３に供給することにより、この設定を、ベースレイヤ動き情報バッファ１３７２および動き情報変換部１３７３に反映させる。
【０８１６】
この制御情報は、例えば、＜８．概要３＞で上述したようにどのような情報であってもよい。図１０７の例においては、ベースレイヤ参照予測方向設定部１３７１は、ベースレイヤのL0方向の動き情報を参照するかを示すフラグ情報（colbasemv_from_l0_flag）を制御情報として生成し、ベースレイヤ動き情報バッファ１３７２および動き情報変換部１３７３に供給する。また、ベースレイヤ参照予測方向設定部１３７１は、このフラグ情報（colbasemv_from_l0_flag）を、可逆符号化部１３３６に供給し、符号化させ、復号側に伝送させる。
【０８１７】
ベースレイヤ動き情報バッファ１３７２は、ベースレイヤ画像符号化部１３０１からベースレイヤの動き情報（ベースレイヤ動き情報とも称する）を取得し、格納（保持）する。その際、ベースレイヤ動き情報バッファ１３７２は、ベースレイヤ参照予測方向設定部１３７１の設定に従って、すなわち、ベースレイヤ参照予測方向設定部１３７１から供給された制御情報（フラグ情報（colbasemv_from_l0_flag））により示される予測方向のベースレイヤ動き情報を取得する。このように取得するベースレイヤ動き情報の予測方向を制限することにより、そのベースレイヤ動き情報を格納するベースレイヤ動き情報バッファ１３７２の記憶容量を低減させることができる。
【０８１８】
動き情報変換部１３７３は、動き予測部１３７４がレイヤ間予測を行う場合、ベースレイヤ動き情報バッファ１３７２に格納されているベースレイヤ動き情報を読み出して動き予測部１３７４に供給する。その際、動き情報変換部１３７３は、読みだしたベースレイヤ動き情報に対して、適宜、変換処理を行い、変換後のベースレイヤ動き情報を動き予測部１３７４に供給する。
【０８１９】
例えば、動き情報変換部１３７３は、ベースレイヤ参照予測方向設定部１３７１の設定に従って、すなわち、ベースレイヤ参照予測方向設定部１３７１から供給された制御情報（フラグ情報（colbasemv_from_l0_flag））により示される予測方向が、動き予測部１３７４のレイヤ間予測の予測方向と一致しない場合、ベースレイヤ動き情報の予測方向を変換（例えば、L0方向の動き情報をL1方向に変換したり、L1方向の動き情報をL0方向に変換したり）する。
【０８２０】
また、例えば、動き情報変換部１３７３は、ベースレイヤ動き情報の、階層間でスケーラブルなパラメータを、ベースレイヤ基準からエンハンスメントレイヤ基準に変換（換算）することもできる。
【０８２１】
動き予測部１３７４は、候補となる全てのインター予測モードで動き予測を行う。例えば、動き予測部１３７４は、画面並べ替えバッファ１３３２から供給される入力画像、および、フレームメモリ１３４２から供給される参照画像を用いて動き予測を行う。また、例えば、動き予測部１３７４は、動き情報変換部１３７３から供給されるベースレイヤ動き情報を用いてレイヤ間シンタクス予測を行う。
【０８２２】
このように全ての候補のモードで予測を行うと、動き予測部１３７４は、各予測結果についてコスト関数値を評価し、その評価結果に基づいて最適なモードを選択する。動き予測部１３７４は、最適なモードとして選択したモードの動き情報を最適動き情報として動き補償部１３７５に供給する。また、動き予測部１３７４は、最適なモードとして選択したモードの動き予測に関する情報である最適インター予測情報を可逆符号化部１３３６に供給し、符号化させ、復号側に伝送させる。この最適インター予測情報には、例えば、最適なモードを示す情報、並びに、最適動き情報若しくは最適動き情報を符号化した情報（例えば差分動き情報）等が含まれる。
【０８２３】
動き補償部１３７５は、動き補償部１３７５は、動き予測部１３７４から供給される最適動き情報と、フレームメモリ１３４２から供給される参照画像とを用いて、動き補償を行い、予測画像を生成する。動き補償部１３７５は、生成した予測画像を予測画像選択部１３４６に供給する。
【０８２４】
＜画像符号化処理の流れ＞
次に、以上のような画像符号化装置１３００により実行される各処理の流れについて説明する。最初に、図１０８のフローチャートを参照して、画像符号化処理の流れの例を説明する。
【０８２５】
画像符号化処理が開始されると、ステップＳ５１０１において、画像符号化装置１３００のベースレイヤ画像符号化部１３０１は、ベースレイヤの画像データを符号化する。
【０８２６】
ステップＳ５１０２において、エンハンスメントレイヤ画像符号化部１３０２は、エンハンスメントレイヤの画像データを符号化する。
【０８２７】
ステップＳ５１０３において、多重化部１３０３は、ステップＳ５１０１の処理により生成されたベースレイヤ画像符号化ストリームと、ステップＳ５１０２の処理により生成されたエンハンスメントレイヤ画像符号化ストリームとを（すなわち、各レイヤのビットストリームを）多重化し、１系統の階層画像符号化ストリームを生成する。
【０８２８】
ステップＳ５１０３の処理が終了すると、画像符号化装置１３００は、画像符号化処理を終了する。このような画像符号化処理により１ピクチャ（若しくは１スライス）が処理される。したがって、画像符号化装置１３００は、このような画像符号化処理を階層化された動画像データのピクチャ（若しくはスライス）毎に繰り返し実行する。
【０８２９】
＜ベースレイヤ符号化処理の流れ＞
次に、図１０８のステップＳ５１０１において、ベースレイヤ画像符号化部１３０１により実行されるベースレイヤ符号化処理の流れの例を、図１０９のフローチャートを参照して説明する。
【０８３０】
ベースレイヤ符号化処理が開始されると、ベースレイヤ画像符号化部１３０１のA/D変換部１３１１は、ステップＳ５１２１において、入力された動画像の各フレーム（ピクチャ）の画像をA/D変換する。
【０８３１】
ステップＳ５１２２において、画面並べ替えバッファ１３１２は、ステップＳ５１２１においてA/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
【０８３２】
ステップＳ５１２３において、イントラ予測部１３２４は、イントラ予測モードのイントラ予測処理を行う。
【０８３３】
ステップＳ５１２４において、インター予測部１３２５は、インター予測モードでの動き予測や動き補償等を行うインター予測処理を行う。つまり、インター予測部１３２５は、全ての候補となるモードについて動き予測を行い、その予測結果についてコスト関数値を算出して評価し、その評価結果に基づいて最適なインター予測モードを選択する。そして、インター予測部１３２５は、その最適なインター予測モードで動き補償を行い、予測画像を生成する。なお、ベースレイヤ画像符号化部１３０１は、他のレイヤの情報を参照しないので、インター予測部１３２５は、レイヤ間予測を行わない。
【０８３４】
ステップＳ５１２５において、予測画像選択部１３２６は、コスト関数値等に基づいて、予測画像を選択する。つまり、予測画像選択部１３２６は、ステップＳ５１２３のイントラ予測により生成された予測画像と、ステップＳ５１２４のインター予測により生成された予測画像のいずれか一方を選択する。
【０８３５】
ステップＳ５１２６において、演算部１３１３は、ステップＳ５１２２の処理によりフレーム順を並び替えられた入力画像と、ステップＳ５１２５の処理により選択された予測画像との差分を演算する。つまり、演算部１３１３は、入力画像と予測画像との差分画像の画像データを生成する。このようにして求められた差分画像の画像データは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
【０８３６】
ステップＳ５１２７において、直交変換部１３１４は、ステップＳ５１２８の処理により生成された差分画像の画像データを直交変換する。
【０８３７】
ステップＳ５１２８において、量子化部１３１５は、レート制御部１３２７により算出された量子化パラメータを用いて、ステップＳ５１２７の処理により得られた直交変換係数を量子化する。
【０８３８】
ステップＳ５１２９において、逆量子化部１３１８は、ステップＳ５１２８の処理により生成された量子化された係数（量子化係数とも称する）を、量子化部１３１５の特性に対応する特性で逆量子化する。
【０８３９】
ステップＳ５１３０において、逆直交変換部１３１９は、ステップＳ５１２９の処理により得られた直交変換係数を逆直交変換する。
【０８４０】
ステップＳ５１３１において、演算部１３２０は、ステップＳ５１３０の処理により復元された差分画像に、ステップＳ５１２５の処理により選択された予測画像を加算することにより、再構成画像の画像データを生成する。
【０８４１】
ステップＳ５１３２においてループフィルタ１３２１は、ステップＳ５１３１の処理により生成された再構成画像の画像データにループフィルタ処理を行う。これにより、再構成画像のブロック歪み等が除去される。
【０８４２】
ステップＳ５１３３において、フレームメモリ１３２２は、ステップＳ５１３２の処理により得られた復号画像やステップＳ５１３１の処理により得られた再構成画像等のデータを記憶する。
【０８４３】
ステップＳ５１３４において、可逆符号化部１３１６は、ステップＳ５１２８の処理により得られた、量子化された係数を符号化する。すなわち、差分画像に対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。
【０８４４】
また、このとき、可逆符号化部１３１６は、ステップＳ５１２５の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１３１６は、イントラ予測部１３２４から供給される最適イントラ予測モード情報、または、インター予測部１３２５から供給される最適インター予測情報なども符号化し、符号化データに付加する。
【０８４５】
さらに、可逆符号化部１３１６は、各種ナルユニット等のシンタクス要素も設定し、符号化し、符号化データに付加する。
【０８４６】
ステップＳ５１３５において蓄積バッファ１３１７は、ステップＳ５１３４の処理により得られた符号化データを蓄積する。蓄積バッファ１３１７に蓄積された符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。
【０８４７】
ステップＳ５１３６においてレート制御部１３２７は、ステップＳ５１３５の処理により蓄積バッファ１３１７に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１３１５の量子化動作のレートを制御する。また、レート制御部１３２７は、量子化パラメータに関する情報を、量子化部１３１５に供給する。
【０８４８】
ステップＳ５１３６の処理が終了すると、ベースレイヤ符号化処理が終了し、処理は図１０８に戻る。
【０８４９】
＜エンハンスメントレイヤ符号化処理の流れ＞
次に、図１０８のステップＳ５１０２において、エンハンスメントレイヤ画像符号化部１３０２により実行されるエンハンスメントレイヤ符号化処理の流れの例を、図１１０のフローチャートを参照して説明する。
【０８５０】
エンハンスメントレイヤ符号化処理が開始されると、エンハンスメントレイヤ画像符号化部１３０２のベースレイヤ参照予測方向設定部１３７１は、ステップＳ５１５１において、参照するベースレイヤ動き情報の予測方向を設定する。
【０８５１】
ステップＳ５１５２において、ベースレイヤ参照予測方向設定部１３７１は、ステップＳ５１５１において行った設定の内容を示す制御情報を可逆符号化部１３３６に供給し、符号化させ、復号側に伝送させる。
【０８５２】
ステップＳ５１５３において、ベースレイヤ動き情報バッファ１３７２は、ステップＳ５１５１において設定された予測方向のベースレイヤ動き情報を、ベースレイヤ画像符号化部１３０１から取得し、保持する。
【０８５３】
ステップＳ５１５４乃至ステップＳ５１６９の各処理は、図１０９のステップＳ５１２１乃至ステップＳ５１３６の各処理に対応し、それらの処理と基本的に同様に実行される。
【０８５４】
ただし、ステップＳ５１５７のインター予測処理では、候補モードにレイヤ間予測も含まれる。つまり、ステップＳ５１５７において、動き予測部１３７４は、候補モードの１つとして、動き情報変換部１３７３を介してベースレイヤ動き情報バッファ１３７２から読み出したベースレイヤ動き情報を用いて、レイヤ間シンタクス予測を行う。動き予測部１３７４は、そのレイヤ間シンタクス予測も含めた全ての候補モードの中から最適なインター予測モードを選択し、その予測画像を生成する。
【０８５５】
ステップＳ５１６９の処理が終了すると、エンハンスメントレイヤ符号化処理が終了し、処理は、図１０８に戻る。
【０８５６】
以上のように各処理を実行することにより、エンハンスメントレイヤ画像符号化部１３０２は、ベースレイヤの全ての予測方向（例えばL0方向およびL1方向）の動き情報を取得する場合よりも、ベースレイヤの動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、画像符号化装置１３００は、符号化に必要な記憶容量の増大を抑制することができる。
【０８５７】
また、画像符号化装置１３００は、ベースレイヤ動き情報の予測方向の設定を示す制御情報を復号側に伝送するので、復号側においても、符号化側と同様に、ベースレイヤ動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、復号に必要な記憶容量の増大を抑制することができる。
【０８５８】
＜ベースレイヤ動き情報参照処理の流れ＞
上述したように、図１１０のステップＳ５１５７のインター予測処理においては、レイヤ間予測のために、ベースレイヤ動き情報バッファ１３７２に保持されているベースレイヤ動き情報が読み出される。このベースレイヤ動き情報を読み出すベースレイヤ動き情報参照処理の流れの例を、図１１１のフローチャートを参照して説明する。
【０８５９】
ベースレイヤ動き情報参照処理が開始されると、インター予測部１３４５の動き情報変換部１３７３は、ステップＳ５１８１において、参照するベースレイヤ動き情報を、ベースレイヤ動き情報バッファ１３７２から読み出す。
【０８６０】
ステップＳ５１８２において、動き情報変換部１３７３は、レイヤ間予測の予測方向と、ベースレイヤ参照予測方向設定部１３７１により設定された予測方向（すなわち、ステップＳ５１８１において読み出された動き情報の予測方向）とが一致するか否かを判定する。一致しないと判定された場合、処理はステップＳ５１８３に進む。
【０８６１】
ステップＳ５１８３において、動き情報変換部１３７３は、ステップＳ５１８１において読み出されたベースレイヤ動き情報を反転する。例えば、レイヤ間予測の予測方向がL0方向であり、ステップＳ５１８１において読み出されたベースレイヤ動き情報の予測方向がL1方向である場合、動き情報変換部１３７３は、ベースレイヤ動き情報の予測方向をL0方向に変換する。また、例えば、レイヤ間予測の予測方向がL1方向であり、ステップＳ５１８１において読み出されたベースレイヤ動き情報の予測方向がL0方向である場合、動き情報変換部１３７３は、ベースレイヤ動き情報の予測方向をL1方向に変換する。
【０８６２】
ステップＳ５１８３の処理が終了すると、処理はステップＳ５１８４に進む。
【０８６３】
また、ステップＳ５１８２において予測方向が一致すると判定された場合、処理はステップＳ５１８４に進む。つまり、予測方向の変換処理が省略される。
【０８６４】
ステップＳ５１８４において、動き予測部１３７４は、このように読み出され、適宜変換処理されたベースレイヤ動き情報を用いてエンハンスメントレイヤの動き予測を行う。
【０８６５】
ステップＳ５１８４の処理が終了すると、ベースレイヤ動き情報参照処理が終了する。
【０８６６】
以上のように、インター予測部１３４５は、ベースレイヤ動き情報バッファ１３７２から読み出したベースレイヤ動き情報の予測方向を、レイヤ間予測の予測方向に合わせることができる。したがって、ベースレイヤ動き情報バッファ１３７２には、一方の予測方向のベースレイヤ動き情報を格納すればよい。したがって、ベースレイヤ動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、符号化に必要な記憶容量の増大を抑制することができる。
【０８６７】
なお、以上のようなベースレイヤ動き情報参照処理において、動き情報変換部１３７３が、ベースレイヤ動き情報バッファ１３７２から読み出したベースレイヤ動き情報に対して、スケーラブルなパラメータをベースレイヤ基準からエンハンスメントレイヤ基準に変換する変換処理を行うようにしてもよい。この変換処理は、ステップＳ５１８２の前に行われるようにしてもよいし、ステップＳ５１８４の前に行われるようにしてもよい。
【０８６８】
＜１０．第８の実施の形態＞
＜画像復号装置＞
次に、以上のように符号化された符号化データの復号について説明する。図１１２は、本技術を適用した画像処理装置の一態様である、図１０４の画像符号化装置１３００に対応する画像復号装置の主な構成例を示すブロック図である。
【０８６９】
図１１２に示される画像復号装置１４００は、画像符号化装置１３００が生成した符号化データを、その符号化方法に対応する復号方法で復号する（すなわち、階層符号化された符号化データを階層復号する）。
【０８７０】
図１１２に示されるように、画像復号装置１４００は、逆多重化部１４０１、ベースレイヤ画像復号部１４０２、およびエンハンスメントレイヤ画像復号部１４０３を有する。
【０８７１】
逆多重化部１４０１は、符号化側から伝送された、ベースレイヤ画像符号化ストリームとエンハンスメントレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを受け取り、それを逆多重化し、ベースレイヤ画像符号化ストリームと、エンハンスメントレイヤ画像符号化ストリームとを抽出する。ベースレイヤ画像復号部１４０２は、逆多重化部１４０１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。エンハンスメントレイヤ画像復号部１４０３は、逆多重化部１４０１により抽出されたエンハンスメントレイヤ画像符号化ストリームを復号し、エンハンスメントレイヤ画像を得る。
【０８７２】
ベースレイヤ画像復号部１４０２は、他のレイヤを参照せずにベースレイヤ画像符号化ストリームを復号する。これに対してエンハンスメントレイヤ画像復号部１４０３は、エンハンスメントレイヤ画像符号化ストリームの復号において、ベースレイヤを参照し、レイヤ間予測を行う。例えば、エンハンスメント画像復号部１４０３は、ベースレイヤ画像復号部１４０２がベースレイヤ画像符号化ストリームを復号する際に復元されたベースレイヤの動き情報を取得し、そのベースレイヤの動き情報を用いてレイヤ間シンタクス予測（Inter-layer syntax prediction）を行う。
【０８７３】
その際、エンハンスメントレイヤ画像復号部１４０３は、符号化側から伝送された制御情報（すなわち、符号化側において（符号化の際に）行われた設定）により指定される予測方向のベースレイヤ動き情報のみを取得し、バッファに格納する。そして、エンハンスメントレイヤ画像復号部１４０３は、そのバッファに格納されているベースレイヤ動き情報（すなわち、符号化の際に用いられたのと同じ予測方向の動き情報）を用いてレイヤ間予測を行う。
【０８７４】
＜ベースレイヤ画像復号部＞
図１１３は、図１１２のベースレイヤ画像復号部１４０２の主な構成例を示すブロック図である。図１１３に示されるようにベースレイヤ画像復号部１４０２は、蓄積バッファ１４１１、可逆復号部１４１２、逆量子化部１４１３、逆直交変換部１４１４、演算部１４１５、ループフィルタ１４１６、画面並べ替えバッファ１４１７、およびD/A変換部１４１８を有する。また、ベースレイヤ画像復号部１４０２は、フレームメモリ１４１９、選択部１４２０、イントラ予測部１４２１、インター予測部１４２２、および予測画像選択部１４２３を有する。
【０８７５】
蓄積バッファ１４１１は、伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ１４１１は、伝送されてきた符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部１４１２に供給する。符号化データには、予測モード情報などの復号に必要な情報が付加されている。可逆復号部１４１２は、蓄積バッファ１４１１より供給された、可逆符号化部１３１６により符号化された情報を、その符号化方式に対応する復号方式で復号する。可逆復号部１４１２は、復号して得られた差分画像の量子化された係数データを、逆量子化部１４１３に供給する。
【０８７６】
また、可逆復号部１４１２は、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部１４２１およびインター予測部１４２２の内、選択されたと判定したモードの方に供給する。つまり、例えば、符号化側において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報がイントラ予測部１４２１に供給される。また、例えば、符号化側において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報がインター予測部１４２２に供給される。
【０８７７】
さらに、可逆復号部１４１２は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報を逆量子化部１４１３に供給する。
【０８７８】
逆量子化部１４１３は、可逆復号部１４１２により復号されて得られた量子化された係数データを、量子化部１３１５の量子化方式に対応する方式で逆量子化する。なお、この逆量子化部１４１３は、逆量子化部１３１８と同様の処理部である。逆量子化部１４１３は、得られた係数データを逆直交変換部１４１４に供給する。
【０８７９】
逆直交変換部１４１４は、逆量子化部１４１３から供給される直交変換係数を、必要に応じて、直交変換部１３１４の直交変換方式に対応する方式で逆直交変換する。なお、この逆直交変換部１４１４は、逆直交変換部１３１９と同様の処理部である。
【０８８０】
この逆直交変換処理により差分画像の画像データが復元される。この復元された差分画像の画像データは、画像符号化装置において直交変換される前の差分画像の画像データに対応する。以下においては、この、逆直交変換部１４１４の逆直交変換処理により得られた、復元された差分画像の画像データを、復号残差データとも称する。逆直交変換部１４１４は、この復号残差データを、演算部１４１５に供給する。また、演算部１４１５には、予測画像選択部１４２３を介して、イントラ予測部１４２１若しくはインター予測部１４２２から予測画像の画像データが供給される。
【０８８１】
演算部１４１５は、この復号残差データと予測画像の画像データとを用いて、差分画像と予測画像とを加算した再構成画像の画像データを得る。この再構成画像は、演算部１３１３により予測画像が減算される前の入力画像に対応する。演算部１４１５は、その再構成画像をループフィルタ１４１６に供給する。
【０８８２】
ループフィルタ１４１６は、供給された再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施して復号画像を生成する。例えば、ループフィルタ１４１６は、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。また、例えば、ループフィルタ１４１６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
【０８８３】
なお、ループフィルタ１４１６が行うフィルタ処理の種類は任意であり、上述した以外のフィルタ処理を行ってもよい。また、ループフィルタ１４１６が、符号化側から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。さらに、ループフィルタ１４１６が、このようなフィルタ処理を省略し、入力されたデータをフィルタ処理せずに出力することもできる。
【０８８４】
ループフィルタ１４１６は、フィルタ処理結果である復号画像（若しくは再構成画像）を画面並べ替えバッファ１４１７およびフレームメモリ１４１９に供給する。
【０８８５】
画面並べ替えバッファ１４１７は、復号画像についてフレームの順番の並べ替えを行う。すなわち、画面並べ替えバッファ１４１７は、画面並べ替えバッファ１３１２により符号化順に並べ替えられた各フレームの画像を、元の表示順に並べ替える。つまり、画面並べ替えバッファ１４１７は、符号化順に供給される各フレームの復号画像の画像データを、その順に記憶し、符号化順に記憶した各フレームの復号画像の画像データを、表示順に読み出してD/A変換部１４１８に供給する。D/A変換部１４１８は、画面並べ替えバッファ１４１７から供給された各フレームの復号画像（デジタルデータ）をD/A変換し、アナログデータとして、図示せぬディスプレイに出力し、表示させる。
【０８８６】
フレームメモリ１４１９は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、イントラ予測部１４２１やインター予測部１４２２等の外部の要求に基づいて、記憶している復号画像を参照画像として、選択部１４２０を介してイントラ予測部１４２１やインター予測部１４２２に供給する。
【０８８７】
イントラ予測部１４２１には、イントラ予測モード情報等が可逆復号部１４１２から適宜供給される。イントラ予測部１４２１は、イントラ予測部１３２４において用いられたイントラ予測モード（最適イントラ予測モード）でイントラ予測を行い、予測画像を生成する。その際、イントラ予測部１４２１は、選択部１４２０を介してフレームメモリ１４１９から供給される再構成画像の画像データを用いてイントラ予測を行う。すなわち、イントラ予測部１４２１は、この再構成画像を参照画像（周辺画素）として利用する。イントラ予測部１４２１は、生成した予測画像を予測画像選択部１４２３に供給する。
【０８８８】
インター予測部１４２２には、最適予測モード情報や動き情報等が可逆復号部１４１２から適宜供給される。インター予測部１４２２は、可逆復号部１４１２から取得された最適予測モード情報が示すインター予測モード（最適インター予測モード）で、フレームメモリ１４１９から取得した復号画像（参照画像）を用いてインター予測を行い、予測画像を生成する。
【０８８９】
予測画像選択部１４２３は、イントラ予測部１４２１から供給される予測画像またはインター予測部１４２２から供給される予測画像を、演算部１４１５に供給する。そして、演算部１４１５においては、その予測画像と逆直交変換部１４１４からの復号残差データ（差分画像情報）とが加算されて再構成画像が得られる。
【０８９０】
なお、ベースレイヤ画像復号部１４０２は、他のレイヤを参照せずに復号を行う。つまり、イントラ予測部１４２１およびインター予測部１４２２は、他のレイヤの符号化に関する情報（例えば、復号画像、イントラ予測モード情報、インター予測モード情報、および動き情報等）を参照しない。
【０８９１】
また、インター予測部１４２２は、エンハンスメントレイヤ画像復号部１４０３により要求された予測方向（例えばL0方向若しくはL1方向）の動き情報をエンハンスメントレイヤ画像復号部１４０３に供給する。
【０８９２】
＜エンハンスメントレイヤ画像復号部＞
図１１４は、図１１２のエンハンスメントレイヤ画像復号部１４０３の主な構成例を示すブロック図である。図１１４に示されるように、エンハンスメントレイヤ画像復号部１４０３は、図１１３のベースレイヤ画像復号部１４０２と基本的に同様の構成を有する。
【０８９３】
つまり、エンハンスメントレイヤ画像復号部１４０３は、図１１４に示されるように、蓄積バッファ１４３１、可逆復号部１４３２、逆量子化部１４３３、逆直交変換部１４３４、演算部１４３５、ループフィルタ１４３６、画面並べ替えバッファ１４３７、およびD/A変換部１４３８を有する。また、エンハンスメントレイヤ画像復号部１４０３は、フレームメモリ１４３９、選択部１４４０、イントラ予測部１４４１、インター予測部１４４２、および予測画像選択部１４４３を有する。
【０８９４】
これらの蓄積バッファ１４３１乃至予測画像選択部１４４３は、図１１３の蓄積バッファ１４１１乃至予測画像選択部１４２３に対応し、それぞれ、対応する処理部と同様の処理を行う。ただし、エンハンスメントレイヤ画像復号部１４０３の各部は、ベースレイヤではなく、エンハンスメントレイヤ画像情報の符号化についての処理を行う。したがって、蓄積バッファ１４３１乃至予測画像選択部１４４３の処理の説明として、上述した図１１３の蓄積バッファ１４１１乃至予測画像選択部１４２３についての説明を適用することができるが、その場合、処理するデータは、ベースレイヤのデータではなく、エンハンスメントレイヤのデータであるものとする必要がある。また、データの入力元や出力先の処理部は、適宜、エンハンスメントレイヤ画像復号部１４０３の、対応する処理部に置き換えて読む必要がある。
【０８９５】
ただし、可逆復号部１４３２は、例えば、スライスヘッダに含まれる、符号化側から供給された、ベースレイヤ画像復号部１４０２から取得するベースレイヤ動き情報の予測方向の制御情報（例えば、ベースレイヤのL0方向の動き情報を保存するか否かを示すフラグ情報（colbasemv_from_l0_flag））等を、インター予測部１４４２に供給する。
【０８９６】
インター予測部１４４２は、その制御情報により指定される予測方向のベースレイヤ動き情報を、ベースレイヤ画像復号部１４０２から取得し、内蔵するバッファに格納する。インター予測部１４４２は、レイヤ間シンタクス予測を行う場合、このバッファに格納したベースレイヤの動き情報を用いる。
【０８９７】
＜インター予測部＞
図１１５は、図１１４のインター予測部１４４２の主な構成例を示すブロック図である。図１１５に示されるように、インター予測部１４４２は、ベースレイヤ動き情報バッファ１４７１、動き情報変換部１４７２、および動き補償部１４７３を有する。
【０８９８】
ベースレイヤ動き情報バッファ１４７１は、可逆復号部１４３２から供給される制御情報（フラグ情報（colbasemv_from_l0_flag））を取得する。ベースレイヤ動き情報バッファ１４７１は、その制御情報により示される予測方向のベースレイヤ動き情報を取得して格納する。つまり、ベースレイヤ動き情報バッファ１４７１は、符号化の際と同一の予測方向のベースレイヤ動き情報を取得する。このように取得するベースレイヤ動き情報の予測方向を制限することにより、そのベースレイヤ動き情報を格納するベースレイヤ動き情報バッファ１４７１の記憶容量を低減させることができる。
【０８９９】
動き情報変換部１４７２は、可逆復号部１４３２から供給される制御情報（フラグ情報（colbasemv_from_l0_flag））を取得する。また、動き情報変換部１４７２は、動き補償部１４７３がレイヤ間予測により動き情報を再構築する場合、ベースレイヤ動き情報バッファ１４７１に格納されているベースレイヤ動き情報を読み出して動き補償部１４７３に供給する。その際、動き情報変換部１４７２は、読みだしたベースレイヤ動き情報に対して、適宜、変換処理を行い、変換後のベースレイヤ動き情報を動き補償部１４７３に供給する。
【０９００】
例えば、動き情報変換部１４７２は、可逆復号部１４３２から供給される制御情報（フラグ情報（colbasemv_from_l0_flag））により示される予測方向が、動き補償部１４７３のレイヤ間予測の予測方向と一致しない場合、ベースレイヤ動き情報の予測方向を変換（例えば、L0方向の動き情報をL1方向に変換したり、L1方向の動き情報をL0方向に変換したり）する。
【０９０１】
また、例えば、動き情報変換部１４７２は、ベースレイヤ動き情報の、階層間でスケーラブルなパラメータを、ベースレイヤ基準からエンハンスメントレイヤ基準に変換（換算）することもできる。
【０９０２】
動き補償部１４７３は、可逆復号部１４３２から供給される最適インター予測情報により示される最適なインター予測モード（符号化の際に採用されたインター予測モード）で動き補償を行い、予測画像を生成する。例えば、動き補償部１４７３は、可逆復号部１４３２から供給される最適インター予測情報に含まれる符号化された動き情報（例えば差分動き情報等）を復号してカレントブロックの動き情報を再構築する。そして、動き補償部１４７３は、再構築した動き情報に対応するフレームメモリ１４３９から参照画像を取得し、予測画像を生成する。動き補償部１４７３は、生成した予測画像を、予測画像選択部１４４３に供給する。
【０９０３】
なお、例えば、最適なインター予測モードがレイヤ間シンタクス予測である場合、動き補償部１４７３は、動き情報変換部１４７２から供給されるベースレイヤ動き情報を用いてカレントブロックの動き情報を再構築し、予測画像を生成する。
【０９０４】
＜画像復号処理の流れ＞
次に、以上のような画像復号装置１４００により実行される各処理の流れについて説明する。最初に、図１１６のフローチャートを参照して、画像復号処理の流れの例を説明する。
【０９０５】
画像復号処理が開始されると、ステップＳ５２０１において、画像復号装置１４００の逆多重化部１４０１は、符号化側から伝送される階層画像符号化ストリームをレイヤ毎に逆多重化する。
【０９０６】
ステップＳ５２０２において、ベースレイヤ画像復号部１４０２は、ステップＳ５２０１の処理により抽出されたベースレイヤ画像符号化ストリームを復号する。ベースレイヤ画像復号部１４０２は、この復号により生成されたベースレイヤ画像のデータを出力する。
【０９０７】
ステップＳ５２０３において、エンハンスメントレイヤ画像復号部１４０３は、ステップＳ５２０１の処理により抽出されたエンハンスメントレイヤ画像符号化ストリームを復号する。エンハンスメントレイヤ画像復号部１４０３は、この復号により生成されたエンハンスメントレイヤ画像のデータを出力する。
【０９０８】
ステップＳ５２０３の処理が終了すると、画像復号装置１４００は、画像復号処理を終了する。このような画像復号処理により１ピクチャ（若しくは１スライス）が処理される。したがって、画像復号装置１４００は、このような画像復号処理を階層化された動画像データのピクチャ（若しくはスライス）毎に繰り返し実行する。
【０９０９】
＜ベースレイヤ復号処理の流れ＞
次に、図１１６のステップＳ５２０２において、ベースレイヤ画像復号部１４０２により実行されるベースレイヤ復号処理の流れの例を、図１１７のフローチャートを参照して説明する。
【０９１０】
ベースレイヤ復号処理が開始されると、ベースレイヤ画像復号部１４０２の蓄積バッファ１４１１は、ステップＳ５２２１において、伝送されてきたビットストリーム（符号化データ）を蓄積する。ステップＳ５２２２において、可逆復号部１４１２は、蓄積バッファ１４１１から供給されるビットストリーム（符号化データ）を復号する。すなわち、可逆符号化部１３１６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャ等の画像データが復号される。このとき、ヘッダ情報などのビットストリームに含められた画像データ以外の各種情報も復号される。
【０９１１】
ステップＳ５２２３において、逆量子化部１４１３は、ステップＳ５２２２の処理により得られた、量子化された係数を逆量子化する。
【０９１２】
ステップＳ５２２４において、逆直交変換部１４１４は、ステップＳ５２２３において逆量子化された係数を逆直交変換する。
【０９１３】
ステップＳ５２２５において、イントラ予測部１４２１若しくはインター予測部１４２２は、予測画像を生成する。つまり、可逆復号部１４１２において判定された、符号化の際に適用された予測モードで動き補償が行われる。より具体的には、例えば、符号化の際にイントラ予測が適用された場合、イントラ予測部１４２１が、符号化の際に最適とされたイントラ予測モードで予測画像を生成する。また、例えば、符号化の際にインター予測が適用された場合、インター予測部１４２２が、符号化の際に最適とされたインター予測モードで予測画像を生成する。
【０９１４】
ステップＳ５２２６において、演算部１４１５は、ステップＳ５２２４において逆直交変換されて得られた差分画像に、ステップＳ５２２５において生成された予測画像を加算する。これにより再構成画像の画像データが得られる。
【０９１５】
ステップＳ５２２７において、ループフィルタ１４１６は、ステップＳ５２２６の処理により得られた再構成画像の画像データに対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。
【０９１６】
ステップＳ５２２８において、画面並べ替えバッファ１４１７は、ステップＳ５２２７においてフィルタ処理された再構成画像の各フレームの並べ替えを行う。すなわち、符号化の際に並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０９１７】
ステップＳ５２２９において、D/A変換部１４１８は、ステップＳ５２２８においてフレームの順序が並べ替えられた画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
【０９１８】
ステップＳ５２３０において、フレームメモリ１４１９は、ステップＳ５２２７の処理により得られた復号画像やステップＳ５２２６の処理により得られた再構成画像等のデータを記憶する。
【０９１９】
ステップＳ５２３０の処理が終了すると、ベースレイヤ復号処理が終了し、処理は図１１６に戻る。
【０９２０】
＜エンハンスメントレイヤ復号処理の流れ＞
次に、図１１６のステップＳ５２０３において、エンハンスメントレイヤ画像復号部１４０３により実行されるエンハンスメントレイヤ復号処理の流れの例を、図１１８のフローチャートを参照して説明する。
【０９２１】
エンハンスメントレイヤ復号処理が開始されると、エンハンスメントレイヤ画像復号部１４０３のインター予測部１４２２は、ステップＳ５２５１において、可逆復号部１４１２を介して、符号化側から伝送された制御情報（フラグ情報（colbasemv_from_l0_flag））を取得する。
【０９２２】
ステップＳ５２５２において、インター予測部１４２２は、ステップＳ５２５１において取得された制御情報により指定される予測方向のベースレイヤ動き情報を、ベースレイヤ画像復号部１４０２から取得し、バッファに格納する。
【０９２３】
ステップＳ５２５３乃至ステップＳ５２６２の各処理は、図１１７のステップＳ５２２１乃至ステップＳ５２３０の各処理に対応し、それらの処理と基本的に同様に実行される。
【０９２４】
ただし、ステップＳ５２５７の予測画像の生成において、最適予測モードがインター予測のレイヤ間シンタクス予測の場合、インター予測部１４４２は、ベースレイヤ画像復号部１４０２から取得したベースレイヤ動き情報を用いて予測画像を生成する。
【０９２５】
ステップＳ５２６２の処理が終了すると、エンハンスメントレイヤ復号処理が終了し、処理は、図１１６に戻る。
【０９２６】
以上のように各処理を実行することにより、エンハンスメントレイヤ画像復号部１４０３は、ベースレイヤの全ての予測方向（例えばL0方向およびL1方向）の動き情報を取得する場合よりも、ベースレイヤの動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、画像復号装置１４００は、復号に必要な記憶容量の増大を抑制することができる。
【０９２７】
＜ベースレイヤ動き情報参照処理の流れ＞
なお、上述したように、最適予測モードがインター予測のレイヤ間予測の場合、図１１８のステップＳ５２５７の予測画像の生成の際に、ベースレイヤ動き情報バッファ１４７１に保持されているベースレイヤ動き情報が読み出される。このベースレイヤ動き情報を読み出すベースレイヤ動き情報参照処理は、符号化の場合と同様に実行される。すなわち、図１１１のフローチャートの説明を、復号側の処理にも適用することができる。したがって、この処理の説明は省略する。
【０９２８】
本技術の適用範囲は、スケーラブルな符号化・復号方式に基づくあらゆる画像符号化装置及び画像復号装置に適用することができる。
【０９２９】
また、本技術は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
【０９３０】
＜１１．第９の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０９３１】
図１１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０９３２】
図１１９に示されるコンピュータ１８００において、CPU（Central Processing Unit）１８０１、ROM（Read Only Memory）１８０２、RAM（Random Access Memory）１８０３は、バス１８０４を介して相互に接続されている。
【０９３３】
バス１８０４にはまた、入出力インタフェース１８１０も接続されている。入出力インタフェース１８１０には、入力部１８１１、出力部１８１２、記憶部１８１３、通信部１８１４、およびドライブ１８１５が接続されている。
【０９３４】
入力部１８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部１８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部１８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部１８１４は、例えば、ネットワークインタフェースよりなる。ドライブ１８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１８２１を駆動する。
【０９３５】
以上のように構成されるコンピュータでは、CPU１８０１が、例えば、記憶部１８１３に記憶されているプログラムを、入出力インタフェース１８１０およびバス１８０４を介して、RAM１８０３にロードして実行することにより、上述した一連の処理が行われる。RAM１８０３にはまた、CPU１８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０９３６】
コンピュータ（CPU１８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１８２１に記録して適用することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０９３７】
コンピュータでは、プログラムは、リムーバブルメディア１８２１をドライブ１８１５に装着することにより、入出力インタフェース１８１０を介して、記憶部１８１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１８１４で受信し、記憶部１８１３にインストールすることができる。その他、プログラムは、ROM１８０２や記憶部１８１３に、あらかじめインストールしておくことができる。
【０９３８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０９３９】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０９４０】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０９４１】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０９４２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０９４３】
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０９４４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０９４５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０９４６】
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０９４７】
＜１２．応用例＞
＜第１の応用例：テレビジョン受像機＞
図１２０は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置１９００は、アンテナ１９０１、チューナ１９０２、デマルチプレクサ１９０３、デコーダ１９０４、映像信号処理部１９０５、表示部１９０６、音声信号処理部１９０７、スピーカ１９０８、外部インタフェース１９０９、制御部１９１０、ユーザインタフェース１９１１、及びバス１９１２を備える。
【０９４８】
チューナ１９０２は、アンテナ１９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ１９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ１９０３へ出力する。即ち、チューナ１９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置１９００における伝送部としての役割を有する。
【０９４９】
デマルチプレクサ１９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ１９０４へ出力する。また、デマルチプレクサ１９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部１９１０に供給する。なお、デマルチプレクサ１９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０９５０】
デコーダ１９０４は、デマルチプレクサ１９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ１９０４は、復号処理により生成される映像データを映像信号処理部１９０５へ出力する。また、デコーダ１９０４は、復号処理により生成される音声データを音声信号処理部１９０７へ出力する。
【０９５１】
映像信号処理部１９０５は、デコーダ１９０４から入力される映像データを再生し、表示部１９０６に映像を表示させる。また、映像信号処理部１９０５は、ネットワークを介して供給されるアプリケーション画面を表示部１９０６に表示させてもよい。また、映像信号処理部１９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部１９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０９５２】
表示部１９０６は、映像信号処理部１９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
【０９５３】
音声信号処理部１９０７は、デコーダ１９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ１９０８から音声を出力させる。また、音声信号処理部１９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０９５４】
外部インタフェース１９０９は、テレビジョン装置１９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース１９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ１９０４により復号されてもよい。即ち、外部インタフェース１９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置１９００における伝送部としての役割を有する。
【０９５５】
制御部１９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置１９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース１９１１から入力される操作信号に応じて、テレビジョン装置１９００の動作を制御する。
【０９５６】
ユーザインタフェース１９１１は、制御部１９１０と接続される。ユーザインタフェース１９１１は、例えば、ユーザがテレビジョン装置１９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース１９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部１９１０へ出力する。
【０９５７】
バス１９１２は、チューナ１９０２、デマルチプレクサ１９０３、デコーダ１９０４、映像信号処理部１９０５、音声信号処理部１９０７、外部インタフェース１９０９及び制御部１９１０を相互に接続する。
【０９５８】
このように構成されたテレビジョン装置１９００において、デコーダ１９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置１９００での画像の復号に際して、復号に必要な記憶容量の増大の抑制を実現することができる。
【０９５９】
＜第２の応用例：携帯電話機＞
図１２１は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機１９２０は、アンテナ１９２１、通信部１９２２、音声コーデック１９２３、スピーカ１９２４、マイクロホン１９２５、カメラ部１９２６、画像処理部１９２７、多重分離部１９２８、記録再生部１９２９、表示部１９３０、制御部１９３１、操作部１９３２、及びバス１９３３を備える。
【０９６０】
アンテナ１９２１は、通信部１９２２に接続される。スピーカ１９２４及びマイクロホン１９２５は、音声コーデック１９２３に接続される。操作部１９３２は、制御部１９３１に接続される。バス１９３３は、通信部１９２２、音声コーデック１９２３、カメラ部１９２６、画像処理部１９２７、多重分離部１９２８、記録再生部１９２９、表示部１９３０、及び制御部１９３１を相互に接続する。
【０９６１】
携帯電話機１９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０９６２】
音声通話モードにおいて、マイクロホン１９２５により生成されるアナログ音声信号は、音声コーデック１９２３に供給される。音声コーデック１９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック１９２３は、圧縮後の音声データを通信部１９２２へ出力する。通信部１９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部１９２２は、生成した送信信号を、アンテナ１９２１を介して基地局（図示せず）へ送信する。また、通信部１９２２は、アンテナ１９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部１９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック１９２３へ出力する。音声コーデック１９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック１９２３は、生成した音声信号をスピーカ１９２４に供給して音声を出力させる。
【０９６３】
また、データ通信モードにおいて、例えば、制御部１９３１は、操作部１９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部１９３１は、文字を表示部１９３０に表示させる。また、制御部１９３１は、操作部１９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部１９２２へ出力する。通信部１９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部１９２２は、生成した送信信号を、アンテナ１９２１を介して基地局（図示せず）へ送信する。また、通信部１９２２は、アンテナ１９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部１９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部１９３１へ出力する。制御部１９３１は、表示部１９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部１９２９の記憶媒体に記憶させる。
【０９６４】
記録再生部１９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０９６５】
また、撮影モードにおいて、例えば、カメラ部１９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部１９２７へ出力する。画像処理部１９２７は、カメラ部１９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部１９２９の記憶媒体に記憶させる。
【０９６６】
また、テレビ電話モードにおいて、例えば、多重分離部１９２８は、画像処理部１９２７により符号化された映像ストリームと、音声コーデック１９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部１９２２へ出力する。通信部１９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部１９２２は、生成した送信信号を、アンテナ１９２１を介して基地局（図示せず）へ送信する。また、通信部１９２２は、アンテナ１９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部１９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部１９２８へ出力する。多重分離部１９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部１９２７、音声ストリームを音声コーデック１９２３へ出力する。画像処理部１９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部１９３０に供給され、表示部１９３０により一連の画像が表示される。音声コーデック１９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック１９２３は、生成した音声信号をスピーカ１９２４に供給して音声を出力させる。
【０９６７】
このように構成された携帯電話機１９２０において、画像処理部１９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機１９２０での画像の符号化及び復号に際して、符号化・復号に必要な記憶容量の増大を抑制することができる。
【０９６８】
＜第３の応用例：記録再生装置＞
図１２２は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置１９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置１９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置１９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置１９４０は、音声データ及び映像データを復号する。
【０９６９】
記録再生装置１９４０は、チューナ１９４１、外部インタフェース１９４２、エンコーダ１９４３、HDD（Hard Disk Drive）１９４４、ディスクドライブ１９４５、セレクタ１９４６、デコーダ１９４７、OSD（On-Screen Display）１９４８、制御部１９４９、及びユーザインタフェース１９５０を備える。
【０９７０】
チューナ１９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ１９４１は、復調により得られた符号化ビットストリームをセレクタ１９４６へ出力する。即ち、チューナ１９４１は、記録再生装置１９４０における伝送部としての役割を有する。
【０９７１】
外部インタフェース１９４２は、記録再生装置１９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース１９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース１９４２を介して受信される映像データ及び音声データは、エンコーダ１９４３へ入力される。即ち、外部インタフェース１９４２は、記録再生装置１９４０における伝送部としての役割を有する。
【０９７２】
エンコーダ１９４３は、外部インタフェース１９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ１９４３は、符号化ビットストリームをセレクタ１９４６へ出力する。
【０９７３】
HDD１９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD１９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０９７４】
ディスクドライブ１９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ１９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
【０９７５】
セレクタ１９４６は、映像及び音声の記録時には、チューナ１９４１又はエンコーダ１９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD１９４４又はディスクドライブ１９４５へ出力する。また、セレクタ１９４６は、映像及び音声の再生時には、HDD１９４４又はディスクドライブ１９４５から入力される符号化ビットストリームをデコーダ１９４７へ出力する。
【０９７６】
デコーダ１９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ１９４７は、生成した映像データをOSD１９４８へ出力する。また、デコーダ１９０４は、生成した音声データを外部のスピーカへ出力する。
【０９７７】
OSD１９４８は、デコーダ１９４７から入力される映像データを再生し、映像を表示する。また、OSD１９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
【０９７８】
制御部１９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置１９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース１９５０から入力される操作信号に応じて、記録再生装置１９４０の動作を制御する。
【０９７９】
ユーザインタフェース１９５０は、制御部１９４９と接続される。ユーザインタフェース１９５０は、例えば、ユーザが記録再生装置１９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース１９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部１９４９へ出力する。
【０９８０】
このように構成された記録再生装置１９４０において、エンコーダ１９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ１９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置１９４０での画像の符号化及び復号に際して、符号化・復号に必要な記憶容量の増大を抑制することができる。
【０９８１】
＜第４の応用例：撮像装置＞
図１２３は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置１９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０９８２】
撮像装置１９６０は、光学ブロック１９６１、撮像部１９６２、信号処理部１９６３、画像処理部１９６４、表示部１９６５、外部インタフェース１９６６、メモリ１９６７、メディアドライブ１９６８、OSD１９６９、制御部１９７０、ユーザインタフェース１９７１、及びバス１９７２を備える。
【０９８３】
光学ブロック１９６１は、撮像部１９６２に接続される。撮像部１９６２は、信号処理部１９６３に接続される。表示部１９６５は、画像処理部１９６４に接続される。ユーザインタフェース１９７１は、制御部１９７０に接続される。バス１９７２は、画像処理部１９６４、外部インタフェース１９６６、メモリ１９６７、メディアドライブ１９６８、OSD１９６９、及び制御部１９７０を相互に接続する。
【０９８４】
光学ブロック１９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック１９６１は、被写体の光学像を撮像部１９６２の撮像面に結像させる。撮像部１９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部１９６２は、画像信号を信号処理部１９６３へ出力する。
【０９８５】
信号処理部１９６３は、撮像部１９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部１９６３は、カメラ信号処理後の画像データを画像処理部１９６４へ出力する。
【０９８６】
画像処理部１９６４は、信号処理部１９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部１９６４は、生成した符号化データを外部インタフェース１９６６又はメディアドライブ１９６８へ出力する。また、画像処理部１９６４は、外部インタフェース１９６６又はメディアドライブ１９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部１９６４は、生成した画像データを表示部１９６５へ出力する。また、画像処理部１９６４は、信号処理部１９６３から入力される画像データを表示部１９６５へ出力して画像を表示させてもよい。また、画像処理部１９６４は、OSD１９６９から取得される表示用データを、表示部１９６５へ出力する画像に重畳してもよい。
【０９８７】
OSD１９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部１９６４へ出力する。
【０９８８】
外部インタフェース１９６６は、例えばUSB入出力端子として構成される。外部インタフェース１９６６は、例えば、画像の印刷時に、撮像装置１９６０とプリンタとを接続する。また、外部インタフェース１９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置１９６０にインストールされ得る。さらに、外部インタフェース１９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース１９６６は、撮像装置１９６０における伝送部としての役割を有する。
【０９８９】
メディアドライブ１９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ１９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
【０９９０】
制御部１９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置１９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース１９７１から入力される操作信号に応じて、撮像装置１９６０の動作を制御する。
【０９９１】
ユーザインタフェース１９７１は、制御部１９７０と接続される。ユーザインタフェース１９７１は、例えば、ユーザが撮像装置１９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース１９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部１９７０へ出力する。
【０９９２】
このように構成された撮像装置１９６０において、画像処理部１９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置１９６０での画像の符号化及び復号に際して、符号化・復号に必要な記憶容量の増大を抑制することができる。
【０９９３】
＜１３．スケーラブル符号化の応用例＞
＜第１のシステム＞
次に、スケーラブル符号化（階層符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図１２４に示される例のように、伝送するデータの選択のために利用される。
【０９９４】
図１２４に示されるデータ伝送システム２０００において、配信サーバ２００２は、スケーラブル符号化データ記憶部２００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク２００３を介して、パーソナルコンピュータ２００４、AV機器２００５、タブレットデバイス２００６、および携帯電話機２００７等の端末装置に配信する。
【０９９５】
その際、配信サーバ２００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ２００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ２００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ２００２は、スケーラブル符号化データ記憶部２００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。
【０９９６】
例えば、スケーラブル符号化データ記憶部２００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）２０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）２０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。
【０９９７】
配信サーバ２００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ２００２は、処理能力の高いパーソナルコンピュータ２００４やタブレットデバイス２００６に対しては、高品質なスケーラブル符号化データ（BL+EL）２０１１をスケーラブル符号化データ記憶部２００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ２００２は、処理能力の低いAV機器２００５や携帯電話機２００７に対しては、スケーラブル符号化データ（BL+EL）２０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）２０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）２０１１よりも低品質なスケーラブル符号化データ（BL）２０１２として伝送する。
【０９９８】
このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）２０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部２００１の記憶領域をより効率よく使用することができる。
【０９９９】
なお、パーソナルコンピュータ２００４乃至携帯電話機２００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク２００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。
【１０００】
そこで、配信サーバ２００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク２００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ２００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。
【１００１】
なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ２００４が、伝送されたスケーラブル符号化データ（BL+EL）２０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ２００４が、伝送されたスケーラブル符号化データ（BL+EL）２０１１から、ベースレイヤのスケーラブル符号化データ（BL）２０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。
【１００２】
もちろん、スケーラブル符号化データ記憶部２００１、配信サーバ２００２、ネットワーク２００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ２００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム２０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。
【１００３】
そして、以上のようなデータ伝送システム２０００においても、第４の実施の形態乃至第８の実施の形態において上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、第４の実施の形態乃至第８の実施の形態において上述した効果と同様の効果を得ることができる。
【１００４】
＜第２のシステム＞
また、スケーラブル符号化は、例えば、図１２５に示される例のように、複数の通信媒体を介する伝送のために利用される。
【１００５】
図１２５に示されるデータ伝送システム２１００において、放送局２１０１は、地上波放送２１１１により、ベースレイヤのスケーラブル符号化データ（BL）２１２１を伝送する。また、放送局２１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク２１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）２１２２を伝送する（例えばパケット化して伝送する）。
【１００６】
端末装置２１０２は、放送局２１０１が放送する地上波放送２１１１の受信機能を有し、この地上波放送２１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）２１２１を受け取る。また、端末装置２１０２は、ネットワーク２１１２を介した通信を行う通信機能をさらに有し、このネットワーク２１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）２１２２を受け取る。
【１００７】
端末装置２１０２は、例えばユーザ指示等に応じて、地上波放送２１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）２１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
【１００８】
また、端末装置２１０２は、例えばユーザ指示等に応じて、地上波放送２１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）２１２１と、ネットワーク２１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）２１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
【１００９】
以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。
【１０１０】
また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）２１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）２１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）２１２２を伝送する通信媒体を、ネットワーク２１１２とするか、地上波放送２１１１とするかを、ネットワーク２１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。
【１０１１】
このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。
【１０１２】
もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置２１０２の数も任意である。さらに、以上においては、放送局２１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム２１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。
【１０１３】
そして、以上のようなデータ伝送システム２１００においても、第４の実施の形態乃至第８の実施の形態において上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、第４の実施の形態乃至第８の実施の形態において上述した効果と同様の効果を得ることができる。
【１０１４】
＜第３のシステム＞
また、スケーラブル符号化は、例えば、図１２６に示される例のように、符号化データの記憶に利用される。
【１０１５】
図１２６に示される撮像システム２２００において、撮像装置２２０１は、被写体２２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）２２２１として、スケーラブル符号化データ記憶装置２２０２に供給する。
【１０１６】
スケーラブル符号化データ記憶装置２２０２は、撮像装置２２０１から供給されるスケーラブル符号化データ（BL+EL）２２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置２２０２は、スケーラブル符号化データ（BL+EL）２２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）２２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置２２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）２２２１のまま記憶する。
【１０１７】
このようにすることにより、スケーラブル符号化データ記憶装置２２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。
【１０１８】
例えば、撮像装置２２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体２２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。
【１０１９】
なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置２２０２が、画像を解析することにより判定しても良い。また、撮像装置２２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置２２０２に伝送するようにしてもよい。
【１０２０】
なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。
【１０２１】
また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。
【１０２２】
また、撮像装置２２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置２２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）２２２２を生成し、スケーラブル符号化データ記憶装置２２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置２２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）２２２１を生成し、スケーラブル符号化データ記憶装置２２０２に供給するようにしてもよい。
【１０２３】
以上においては、監視カメラを例に説明したが、この撮像システム２２００の用途は任意であり、監視カメラに限定されない。
【１０２４】
そして、以上のような撮像システム２２００においても、第４の実施の形態乃至第８の実施の形態において上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、第４の実施の形態乃至第８の実施の形態において上述した効果と同様の効果を得ることができる。
【１０２５】
＜１４．セット・ユニット・モジュール・プロセッサ＞
＜実施のその他の例＞
以上において本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
【１０２６】
＜ビデオセット＞
本技術をセットとして実施する場合の例について、図１２７を参照して説明する。図１２７は、本技術を適用したビデオセットの概略的な構成の一例を示している。
【１０２７】
近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。
【１０２８】
図１２７に示されるビデオセット２３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
【１０２９】
図１２７に示されるように、ビデオセット２３００は、ビデオモジュール２３１１、外部メモリ２３１２、パワーマネージメントモジュール２３１３、およびフロントエンドモジュール２３１４等のモジュール群と、コネクティビティ２３２１、カメラ２３２２、およびセンサ２３２３等の関連する機能を有するデバイスとを有する。
【１０３０】
モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。
【１０３１】
図１２７の例の場合、ビデオモジュール２３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム２３３３、およびRFモジュール２３３４を有する。
【１０３２】
プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。
【１０３３】
図１２７のアプリケーションプロセッサ２３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ２３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ２３３２等、ビデオモジュール２３１１内外の構成を必要に応じて制御することもできる。
【１０３４】
ビデオプロセッサ２３３２は、画像の符号化・復号（その一方若しくは両方）に関する機能を有するプロセッサである。
【１０３５】
ブロードバンドモデム２３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信により送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、その広帯域通信により受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。ブロードバンドモデム２３３３は、例えば、ビデオプロセッサ２３３２が処理する画像データ、画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報を処理する。
【１０３６】
RFモジュール２３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール２３３４は、ブロードバンドモデム２３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール２３３４は、フロントエンドモジュール２３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。
【１０３７】
なお、図１２７において点線２３４１に示されるように、アプリケーションプロセッサ２３３１とビデオプロセッサ２３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。
【１０３８】
外部メモリ２３１２は、ビデオモジュール２３１１の外部に設けられた、ビデオモジュール２３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ２３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。
【１０３９】
パワーマネージメントモジュール２３１３は、ビデオモジュール２３１１（ビデオモジュール２３１１内の各構成）への電力供給を管理し、制御する。
【１０４０】
フロントエンドモジュール２３１４は、RFモジュール２３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図１２７に示されるように、フロントエンドモジュール２３１４は、例えば、アンテナ部２３５１、フィルタ２３５２、および増幅部２３５３を有する。
【１０４１】
アンテナ部２３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部２３５１は、増幅部２３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ２３５２に供給する。フィルタ２３５２は、アンテナ部２３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール２３３４に供給する。増幅部２３５３は、RFモジュール２３３４から供給されるRF信号を増幅し、アンテナ部２３５１に供給する。
【１０４２】
コネクティビティ２３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ２３２１の物理構成は、任意である。例えば、コネクティビティ２３２１は、ブロードバンドモデム２３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。
【１０４３】
例えば、コネクティビティ２３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ２３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ２３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。
【１０４４】
なお、コネクティビティ２３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ２３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ２３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。
【１０４５】
カメラ２３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ２３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ２３３２に供給されて符号化される。
【１０４６】
センサ２３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ２３２３により検出されたデータは、例えば、アプリケーションプロセッサ２３３１に供給されてアプリケーション等により利用される。
【１０４７】
以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。
【１０４８】
以上のような構成のビデオセット２３００において、後述するようにビデオプロセッサ２３３２に本技術を適用することができる。したがって、ビデオセット２３００は、本技術を適用したセットとして実施することができる。
【１０４９】
＜ビデオプロセッサの構成例＞
図１２８は、本技術を適用したビデオプロセッサ２３３２（図１２７）の概略的な構成の一例を示している。
【１０５０】
図１２８の例の場合、ビデオプロセッサ２３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。
【１０５１】
図１２８に示されるように、ビデオプロセッサ２３３２は、ビデオ入力処理部２４０１、第１画像拡大縮小部２４０２、第２画像拡大縮小部２４０３、ビデオ出力処理部２４０４、フレームメモリ２４０５、およびメモリ制御部２４０６を有する。また、ビデオプロセッサ２３３２は、エンコード・デコードエンジン２４０７、ビデオES（Elementary Stream）バッファ２４０８Ａおよび２４０８Ｂ、並びに、オーディオESバッファ２４０９Ａおよび２４０９Ｂを有する。さらに、ビデオプロセッサ２３３２は、オーディオエンコーダ２４１０、オーディオデコーダ２４１１、多重化部（MUX（Multiplexer））２４１２、逆多重化部（DMUX（Demultiplexer））２４１３、およびストリームバッファ２４１４を有する。
【１０５２】
ビデオ入力処理部２４０１は、例えばコネクティビティ２３２１（図１２７）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部２４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部２４０３は、画像データに対して、ビデオ出力処理部２４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部２４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部２４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ２３２１（図１２７）等に出力する。
【１０５３】
フレームメモリ２４０５は、ビデオ入力処理部２４０１、第１画像拡大縮小部２４０２、第２画像拡大縮小部２４０３、ビデオ出力処理部２４０４、およびエンコード・デコードエンジン２４０７によって共用される画像データ用のメモリである。フレームメモリ２４０５は、例えばDRAM等の半導体メモリとして実現される。
【１０５４】
メモリ制御部２４０６は、エンコード・デコードエンジン２４０７からの同期信号を受けて、アクセス管理テーブル２４０６Ａに書き込まれたフレームメモリ２４０５へのアクセススケジュールに従ってフレームメモリ２４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル２４０６Ａは、エンコード・デコードエンジン２４０７、第１画像拡大縮小部２４０２、第２画像拡大縮小部２４０３等で実行される処理に応じて、メモリ制御部２４０６により更新される。
【１０５５】
エンコード・デコードエンジン２４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン２４０７は、フレームメモリ２４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ２４０８Ａに順次書き込む。また、例えば、ビデオESバッファ２４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ２４０５に順次書き込む。エンコード・デコードエンジン２４０７は、これらの符号化や復号において、フレームメモリ２４０５を作業領域として使用する。また、エンコード・デコードエンジン２４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部２４０６に対して同期信号を出力する。
【１０５６】
ビデオESバッファ２４０８Ａは、エンコード・デコードエンジン２４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）２４１２に供給する。ビデオESバッファ２４０８Ｂは、逆多重化部（DMUX）２４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン２４０７に供給する。
【１０５７】
オーディオESバッファ２４０９Ａは、オーディオエンコーダ２４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）２４１２に供給する。オーディオESバッファ２４０９Ｂは、逆多重化部（DMUX）２４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ２４１１に供給する。
【１０５８】
オーディオエンコーダ２４１０は、例えばコネクティビティ２３２１（図１２７）等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ２４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ２４０９Ａに順次書き込む。オーディオデコーダ２４１１は、オーディオESバッファ２４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ２３２１（図１２７）等に供給する。
【１０５９】
多重化部（MUX）２４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）２４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）２４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）２４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）２４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。
【１０６０】
逆多重化部（DMUX）２４１３は、多重化部（MUX）２４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）２４１３は、ストリームバッファ２４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）２４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）２４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）２４１３は、例えばコネクティビティ２３２１やブロードバンドモデム２３３３等（いずれも図１２７）から供給されたトランスポートストリームを、ストリームバッファ２４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）２４１３は、例えばコネクティビティ２３２１（図１２７）により各種記録媒体から読み出されたファイルデータを、ストリームバッファ２４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。
【１０６１】
ストリームバッファ２４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ２４１４は、多重化部（MUX）２４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ２３２１やブロードバンドモデム２３３３（いずれも図１２７）等に供給する。
【１０６２】
また、例えば、ストリームバッファ２４１４は、多重化部（MUX）２４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ２３２１（図１２７）等に供給し、各種記録媒体に記録させる。
【１０６３】
さらに、ストリームバッファ２４１４は、例えばコネクティビティ２３２１やブロードバンドモデム２３３３等（いずれも図１２７）を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）２４１３に供給する。
【１０６４】
また、ストリームバッファ２４１４は、例えばコネクティビティ２３２１（図１２７）等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）２４１３に供給する。
【１０６５】
次に、このような構成のビデオプロセッサ２３３２の動作の例について説明する。例えば、コネクティビティ２３２１（図１２７）等からビデオプロセッサ２３３２に入力されたビデオ信号は、ビデオ入力処理部２４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ２４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部２４０２または第２画像拡大縮小部２４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ２４０５に書き込まれる。この画像データは、エンコード・デコードエンジン２４０７によって符号化され、ビデオストリームとしてビデオESバッファ２４０８Ａに書き込まれる。
【１０６６】
また、コネクティビティ２３２１（図１２７）等からビデオプロセッサ２３３２に入力されたオーディオ信号は、オーディオエンコーダ２４１０によって符号化され、オーディオストリームとして、オーディオESバッファ２４０９Ａに書き込まれる。
【１０６７】
ビデオESバッファ２４０８Ａのビデオストリームと、オーディオESバッファ２４０９Ａのオーディオストリームは、多重化部（MUX）２４１２に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部（MUX）２４１２により生成されたトランスポートストリームは、ストリームバッファ２４１４にバッファされた後、例えばコネクティビティ２３２１やブロードバンドモデム２３３３（いずれも図１２７）等を介して外部ネットワークに出力される。また、多重化部（MUX）２４１２により生成されたファイルデータは、ストリームバッファ２４１４にバッファされた後、例えばコネクティビティ２３２１（図１２７）等に出力され、各種記録媒体に記録される。
【１０６８】
また、例えばコネクティビティ２３２１やブロードバンドモデム２３３３（いずれも図１２７）等を介して外部ネットワークからビデオプロセッサ２３３２に入力されたトランスポートストリームは、ストリームバッファ２４１４にバッファされた後、逆多重化部（DMUX）２４１３により逆多重化される。また、例えばコネクティビティ２３２１（図１２７）等において各種記録媒体から読み出され、ビデオプロセッサ２３３２に入力されたファイルデータは、ストリームバッファ２４１４にバッファされた後、逆多重化部（DMUX）２４１３により逆多重化される。つまり、ビデオプロセッサ２３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）２４１３によりビデオストリームとオーディオストリームとに分離される。
【１０６９】
オーディオストリームは、オーディオESバッファ２４０９Ｂを介してオーディオデコーダ２４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ２４０８Ｂに書き込まれた後、エンコード・デコードエンジン２４０７により順次読み出されて復号されてフレームメモリ２４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部２４０３によって拡大縮小処理されて、フレームメモリ２４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部２４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。
【１０７０】
このように構成されるビデオプロセッサ２３３２に本技術を適用する場合、エンコード・デコードエンジン２４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン２４０７が、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ２３３２は、図１乃至図１１８を参照して上述した効果と同様の効果を得ることができる。
【１０７１】
なお、エンコード・デコードエンジン２４０７において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
【１０７２】
＜ビデオプロセッサの他の構成例＞
図１２９は、本技術を適用したビデオプロセッサ２３３２（図１２７）の概略的な構成の他の例を示している。図１２９の例の場合、ビデオプロセッサ２３３２は、ビデオデータを所定の方式で符号化・復号する機能とを有する。
【１０７３】
より具体的には、図１２９に示されるように、ビデオプロセッサ２３３２は、制御部２５１１、ディスプレイインタフェース２５１２、ディスプレイエンジン２５１３、画像処理エンジン２５１４、および内部メモリ２５１５を有する。また、ビデオプロセッサ２３３２は、コーデックエンジン２５１６、メモリインタフェース２５１７、多重化・逆多重化部（MUX DMUX）２５１８、ネットワークインタフェース２５１９、およびビデオインタフェース２５２０を有する。
【１０７４】
制御部２５１１は、ディスプレイインタフェース２５１２、ディスプレイエンジン２５１３、画像処理エンジン２５１４、およびコーデックエンジン２５１６等、ビデオプロセッサ２３３２内の各処理部の動作を制御する。
【１０７５】
図１２９に示されるように、制御部２５１１は、例えば、メインCPU２５３１、サブCPU２５３２、およびシステムコントローラ２５３３を有する。メインCPU２５３１は、ビデオプロセッサ２３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU２５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU２５３２は、メインCPU２５３１の補助的な役割を果たす。例えば、サブCPU２５３２は、メインCPU２５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ２５３３は、メインCPU２５３１およびサブCPU２５３２が実行するプログラムを指定する等、メインCPU２５３１およびサブCPU２５３２の動作を制御する。
【１０７６】
ディスプレイインタフェース２５１２は、制御部２５１１の制御の下、画像データを例えばコネクティビティ２３２１（図１２７）等に出力する。例えば、ディスプレイインタフェース２５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ２３２１（図１２７）のモニタ装置等に出力する。
【１０７７】
ディスプレイエンジン２５１３は、制御部２５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。
【１０７８】
画像処理エンジン２５１４は、制御部２５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。
【１０７９】
内部メモリ２５１５は、ディスプレイエンジン２５１３、画像処理エンジン２５１４、およびコーデックエンジン２５１６により共用される、ビデオプロセッサ２３３２の内部に設けられたメモリである。内部メモリ２５１５は、例えば、ディスプレイエンジン２５１３、画像処理エンジン２５１４、およびコーデックエンジン２５１６の間で行われるデータの授受に利用される。例えば、内部メモリ２５１５は、ディスプレイエンジン２５１３、画像処理エンジン２５１４、またはコーデックエンジン２５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン２５１３、画像処理エンジン２５１４、またはコーデックエンジン２５１６に供給する。この内部メモリ２５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ２３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。
【１０８０】
コーデックエンジン２５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン２５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン２５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。
【１０８１】
図１２９に示される例において、コーデックエンジン２５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video２５４１、AVC/H.264２５４２、HEVC/H.265２５４３、HEVC/H.265(Scalable)２５４４、HEVC/H.265(Multi-view)２５４５、およびMPEG-DASH２５５１を有する。
【１０８２】
MPEG-2 Video２５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264２５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265２５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)２５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)２５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。
【１０８３】
MPEG-DASH２５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH２５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video２５４１乃至HEVC/H.265(Multi-view)２５４５を利用する。
【１０８４】
メモリインタフェース２５１７は、外部メモリ２３１２用のインタフェースである。画像処理エンジン２５１４やコーデックエンジン２５１６から供給されるデータは、メモリインタフェース２５１７を介して外部メモリ２３１２に供給される。また、外部メモリ２３１２から読み出されたデータは、メモリインタフェース２５１７を介してビデオプロセッサ２３３２（画像処理エンジン２５１４若しくはコーデックエンジン２５１６）に供給される。
【１０８５】
多重化・逆多重化部（MUX DMUX）２５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）２５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）２５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）２５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）２５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。
【１０８６】
ネットワークインタフェース２５１９は、例えばブロードバンドモデム２３３３やコネクティビティ２３２１（いずれも図１２７）等向けのインタフェースである。ビデオインタフェース２５２０は、例えばコネクティビティ２３２１やカメラ２３２２（いずれも図１２７）等向けのインタフェースである。
【１０８７】
次に、このようなビデオプロセッサ２３３２の動作の例について説明する。例えば、例えばコネクティビティ２３２１やブロードバンドモデム２３３３（いずれも図１２７）等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース２５１９を介して多重化・逆多重化部（MUX DMUX）２５１８に供給されて逆多重化され、コーデックエンジン２５１６により復号される。コーデックエンジン２５１６の復号により得られた画像データは、例えば、画像処理エンジン２５１４により所定の画像処理が施され、ディスプレイエンジン２５１３により所定の変換が行われ、ディスプレイインタフェース２５１２を介して例えばコネクティビティ２３２１（図１２７）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン２５１６の復号により得られた画像データは、コーデックエンジン２５１６により再符号化され、多重化・逆多重化部（MUX DMUX）２５１８により多重化されてファイルデータに変換され、ビデオインタフェース２５２０を介して例えばコネクティビティ２３２１（図１２７）等に出力され、各種記録媒体に記録される。
【１０８８】
さらに、例えば、コネクティビティ２３２１（図１２７）等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース２５２０を介して多重化・逆多重化部（MUX DMUX）２５１８に供給されて逆多重化され、コーデックエンジン２５１６により復号される。コーデックエンジン２５１６の復号により得られた画像データは、画像処理エンジン２５１４により所定の画像処理が施され、ディスプレイエンジン２５１３により所定の変換が行われ、ディスプレイインタフェース２５１２を介して例えばコネクティビティ２３２１（図１２７）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン２５１６の復号により得られた画像データは、コーデックエンジン２５１６により再符号化され、多重化・逆多重化部（MUX DMUX）２５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース２５１９を介して例えばコネクティビティ２３２１やブロードバンドモデム２３３３（いずれも図１２７）等に供給され図示せぬ他の装置に伝送される。
【１０８９】
なお、ビデオプロセッサ２３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ２５１５や外部メモリ２３１２を利用して行われる。また、パワーマネージメントモジュール２３１３は、例えば制御部２５１１への電力供給を制御する。
【１０９０】
このように構成されるビデオプロセッサ２３３２に本技術を適用する場合、コーデックエンジン２５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン２５１６が、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ２３３２は、図１乃至図１１８を参照して上述した効果と同様の効果を得ることができる。
【１０９１】
なお、コーデックエンジン２５１６において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
【１０９２】
以上にビデオプロセッサ２３３２の構成を２例示したが、ビデオプロセッサ２３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ２３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。
【１０９３】
＜装置への適用例＞
ビデオセット２３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット２３００は、テレビジョン装置１９００（図１２０）、携帯電話機１９２０（図１２１）、記録再生装置１９４０（図１２２）、撮像装置１９６０（図１２３）等に組み込むことができる。ビデオセット２３００を組み込むことにより、その装置は、図１乃至図１１８を参照して上述した効果と同様の効果を得ることができる。
【１０９４】
また、ビデオセット２３００は、例えば、図１２４のデータ伝送システム２０００におけるパーソナルコンピュータ２００４、AV機器２００５、タブレットデバイス２００６、および携帯電話機２００７等の端末装置、図１２５のデータ伝送システム２１００における放送局２１０１および端末装置２１０２、並びに、図１２６の撮像システム２２００における撮像装置２２０１およびスケーラブル符号化データ記憶装置２２０２等にも組み込むことができる。ビデオセット２３００を組み込むことにより、その装置は、図１乃至図１１８を参照して上述した効果と同様の効果を得ることができる。
【１０９５】
なお、上述したビデオセット２３００の各構成の一部であっても、ビデオプロセッサ２３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ２３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線２３４１により示されるプロセッサやビデオモジュール２３１１等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール２３１１、外部メモリ２３１２、パワーマネージメントモジュール２３１３、およびフロントエンドモジュール２３１４を組み合わせ、本技術を適用したビデオユニット２３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図１１８を参照して上述した効果と同様の効果を得ることができる。
【１０９６】
つまり、ビデオプロセッサ２３３２を含むものであればどのような構成であっても、ビデオセット２３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ２３３２、点線２３４１により示されるプロセッサ、ビデオモジュール２３１１、または、ビデオユニット２３６１を、テレビジョン装置１９００（図１２０）、携帯電話機１９２０（図１２１）、記録再生装置１９４０（図１２２）、撮像装置１９６０（図１２３）図１２４のデータ伝送システム２０００におけるパーソナルコンピュータ２００４、AV機器２００５、タブレットデバイス２００６、および携帯電話機２００７等の端末装置、図１２５のデータ伝送システム２１００における放送局２１０１および端末装置２１０２、並びに、図１２６の撮像システム２２００における撮像装置２２０１およびスケーラブル符号化データ記憶装置２２０２等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット２３００の場合と同様に、図１乃至図１１８を参照して上述した効果と同様の効果を得ることができる。
【１０９７】
＜１５．MPEG-DASHのコンテンツ再生システムの応用例＞
＜MPEG-DASHの応用例＞
なお、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えば、後述するMPEG DASH等のようなHTTPストリーミングのコンテンツ再生システムやWi-Fi規格の無線通信システムにも適用することができる。
【１０９８】
＜コンテンツ再生システムの概要＞
まず、図１３０乃至図１３２を参照し、本技術を適用可能なコンテンツ再生システムについて概略的に説明する。
【１０９９】
以下では、まず、このような各実施形態において共通する基本構成について図１３０および図１３１を参照して説明する。
【１１００】
図１３０は、コンテンツ再生システムの構成を示した説明図である。図１３０に示したように、コンテンツ再生システムは、コンテンツサーバ２６１０、２６１１と、ネットワーク２６１２と、コンテンツ再生装置２６２０（クライアント装置）とを備える。
【１１０１】
コンテンツサーバ２６１０、２６１１とコンテンツ再生装置２６２０は、ネットワーク２６１２を介して接続されている。このネットワーク２６１２は、ネットワーク２６１２に接続されている装置から送信される情報の有線、または無線の伝送路である。
【１１０２】
例えば、ネットワーク２６１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet（登録商標）を含む各種のLAN（Local Area Network）、WAN（Wide Area Network）などを含んでもよい。また、ネットワーク２６１２は、IP-VPN（Internet Protocol-Virtual Private Network）などの専用回線網を含んでもよい。
【１１０３】
コンテンツサーバ２６１０は、コンテンツデータを符号化し、符号化データおよび符号化データのメタ情報を含むデータファイルを生成して記憶する。なお、コンテンツサーバ２６１０がMP4形式のデータファイルを生成する場合、符号化データは「mdat」に該当し、メタ情報は「moov」に該当する。
【１１０４】
また、コンテンツデータは、音楽、講演およびラジオ番組などの音楽データや、映画、テレビジョン番組、ビデオプログラム、写真、文書、絵画および図表などの映像データや、ゲームおよびソフトウエアなどであってもよい。
【１１０５】
ここで、コンテンツサーバ２６１０は、同一コンテンツに関し、異なるビットレートで複数のデータファイルを生成する。またコンテンツサーバ２６１１は、コンテンツ再生装置２６２０からのコンテンツの再生要求に対して、コンテンツサーバ２６１０のURLの情報に、コンテンツ再生装置２６２０で当該URLに付加させるパラメータの情報を含めてコンテンツ再生装置２６２０に送信する。以下、図１３１を参照して当該事項について具体的に説明する。
【１１０６】
図１３１は、図１３０のコンテンツ再生システムにおけるデータの流れを示した説明図である。コンテンツサーバ２６１０は、同一のコンテンツデータを異なるビットレートで符号化し、図１３１に示したように例えば２MbpsのファイルＡ、１．５MbpsのファイルＢ、１MbpsのファイルＣを生成する。相対的に、ファイルＡはハイビットレートであり、ファイルＢは標準ビットレートであり、ファイルＣはロービットレートである。
【１１０７】
また、図１３１に示したように、各ファイルの符号化データは複数のセグメントに区分されている。例えば、ファイルＡの符号化データは「Ａ１」、「Ａ２」、「Ａ３」、・・・「Ａｎ」というセグメントに区分されており、ファイルＢの符号化データは「Ｂ１」、「Ｂ２」、「Ｂ３」、・・・「Ｂｎ」というセグメントに区分されており、ファイルＣの符号化データは「Ｃ１」、「Ｃ２」、「Ｃ３」、・・・「Ｃｎ」というセグメントに区分されている。
【１１０８】
なお、各セグメントはMP4のシンクサンプル（たとえば、AVC/H．264の映像符号化ではIDR−ピクチャ）で始まる単独で再生可能な１または２以上の映像符号化データおよび音声符号化データより構成サンプルで構成されてもよい。例えば、一秒３０フレームのビデオデータが１５フレーム固定長のGOP（Group of Picture）にて符号化されていた場合、各セグメントは、４GOPに相当する２秒分の映像ならびに音声符号化データであっても、２０GOPに相当する１０秒分の映像ならびに音声符号化データであってもよい。
【１１０９】
また、各ファイルにおける配置順番が同一のセグメントによる再生範囲（コンテンツの先頭からの時間位置の範囲）は同一である。例えば、セグメント「Ａ２」、セグメント「Ｂ２」、およびセグメント「Ｃ２」の再生範囲は同一であり、各セグメントが２秒分の符号化データである場合、セグメント「Ａ２」、セグメント「Ｂ２」、およびセグメント「Ｃ２」の再生範囲は、いずれもコンテンツの２秒乃至４秒である。
【１１１０】
コンテンツサーバ２６１０は、このような複数のセグメントから構成されるファイルＡ乃至ファイルＣを生成すると、ファイルＡ乃至ファイルＣを記憶する。そして、コンテンツサーバ２６１０は、図１３１に示したように、異なるファイルを構成するセグメントをコンテンツ再生装置２６２０に順次に送信し、コンテンツ再生装置２６２０は、受信したセグメントをストリーミング再生する。
【１１１１】
ここで、本実施形態によるコンテンツサーバ２６１０は、各符号化データのビットレート情報およびアクセス情報を含むプレイリストファイル（以下、MPD：Media Presentation Description）をコンテンツ再生装置２６２０に送信し、コンテンツ再生装置２６２０は、MPDに基づき、複数のビットレートのうちのいずれかのビットレートを選択し、選択したビットレートに対応するセグメントの送信をコンテンツサーバ２６１０に要求する。
【１１１２】
図１３０では、１つのコンテンツサーバ２６１０のみが図示されているが、本開示は係る例に限定されないことは言うまでもない。
【１１１３】
図１３２は、MPDの具体例を示した説明図である。図１３２に示したように、MPDには、異なるビットレート（BANDWIDTH）を有する複数の符号化データに関するアクセス情報が含まれる。例えば、図１３２に示したMPDは、２５６Kbps、１．０２４Mbps、１．３８４Mbps、１．５３６Mbps、２．０４８Mbpsの各々の符号化データが存在することを示す共に、各符号化データに関するアクセス情報を含む。コンテンツ再生装置２６２０は、かかるMPDに基づき、ストリーミング再生する符号化データのビットレートを動的に変更することが可能である。
【１１１４】
なお、図１３０にはコンテンツ再生装置２６２０の一例として携帯端末を示しているが、コンテンツ再生装置２６２０はかかる例に限定されない。例えば、コンテンツ再生装置２６２０は、PC（Personal Computer）、家庭用映像処理装置（DVDレコーダ、ビデオデッキなど）、PDA（Personal Digital Assistants）、家庭用ゲーム機器、家電機器などの情報処理装置であってもよい。また、コンテンツ再生装置２６２０は、携帯電話、PHS（Personal Handyphone System）、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器などの情報処理装置であってもよい。
【１１１５】
＜コンテンツサーバ２６１０の構成＞
以上、図１３０乃至図１３２を参照し、コンテンツ再生システムの概要を説明した。続いて、図１３３を参照し、コンテンツサーバ２６１０の構成を説明する。
【１１１６】
図１３３は、コンテンツサーバ２６１０の構成を示した機能ブロック図である。図１３３に示したように、コンテンツサーバ２６１０は、ファイル生成部２６３１と、記憶部２６３２と、通信部２６３３とを備える。
【１１１７】
ファイル生成部２６３１は、コンテンツデータを符号化するエンコーダ２６４１を備え、同一のコンテンツでビットレートが異なる複数の符号化データ、および上述したMPDを生成する。例えば、ファイル生成部２６３１は、２５６Kbps、１．０２４Mbps、１．３８４Mbps、１．５３６Mbps、２．０４８Mbpsの各々の符号化データを生成した場合、図１３２に示したようなMPDを生成する。
【１１１８】
記憶部２６３２は、ファイル生成部２６３１により生成されたビットレートが異なる複数の符号化データおよびMPDを記憶する。この記憶部２６３２は、不揮発性メモリ、磁気ディスク、光ディスク、およびMO（Magneto  Optical）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、EEPROM（Electrically Erasable Programmable Read-Only Memory）、EPROM（Erasable Programmable ROM）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、CD（Compact Disc、DVD-R（Digital Versatile Disc Recordable）およびBD（Blu-Ray Disc（登録商標））などがあげられる。
【１１１９】
通信部２６３３は、コンテンツ再生装置２６２０とのインタフェースであって、ネットワーク２６１２を介してコンテンツ再生装置２６２０と通信する。より詳細には、通信部２６３３は、HTTPに従ってコンテンツ再生装置２６２０と通信するHTTPサーバとしての機能を有する。例えば、通信部２６３３は、MPDをコンテンツ再生装置２６２０に送信し、HTTPに従ってコンテンツ再生装置２６２０からMPDに基づいて要求された符号化データを記憶部２６３２から抽出し、HTTPレスポンスとしてコンテンツ再生装置２６２０に符号化データを送信する。
【１１２０】
＜コンテンツ再生装置２６２０の構成＞
以上、本実施形態によるコンテンツサーバ２６１０の構成を説明した。続いて、図１３４を参照し、コンテンツ再生装置２６２０の構成を説明する。
【１１２１】
図１３４は、コンテンツ再生装置２６２０の構成を示した機能ブロック図である。図１３４に示したように、コンテンツ再生装置２６２０は、通信部２６５１と、記憶部２６５２と、再生部２６５３と、選択部２６５４と、現在地取得部２６５６とを備える。
【１１２２】
通信部２６５１は、コンテンツサーバ２６１０とのインタフェースであって、コンテンツサーバ２６１０に対してデータを要求し、コンテンツサーバ２６１０からデータを取得する。より詳細には、通信部２６５１は、HTTPに従ってコンテンツ再生装置２６２０と通信するHTTPクライアントとしての機能を有する。例えば、通信部２６５１は、HTTP Rangeを利用することにより、コンテンツサーバ２６１０からMPDや符号化データのセグメントを選択的に取得することができる。
【１１２３】
記憶部２６５２は、コンテンツの再生に関する種々の情報を記憶する。例えば、通信部２６５１によりコンテンツサーバ２６１０から取得されるセグメントを順次にバッファリングする。記憶部２６５２にバッファリングされた符号化データのセグメントは、FIFO（First In First Out）で再生部２６５３へ順次に供給される。
【１１２４】
また記憶部２６５２は、後述のコンテンツサーバ２６１１から要求された、MPDに記述されているコンテンツのURLへのパラメータの付加指示に基づき、通信部２６５１でURLにパラメータを付加して、そのURLへアクセスするための定義を記憶する。
【１１２５】
再生部２６５３は、記憶部２６５２から供給されるセグメントを順次に再生する。具体的には、再生部２６５３は、セグメントのデコード、DA変換、およびレンダリングなどを行う。
【１１２６】
選択部２６５４は、MPDに含まれるいずれのビットレートに対応する符号化データのセグメントを取得するかを同一コンテンツ内で順次に選択する。例えば、選択部２６５４がネットワーク２６１２の帯域に応じてセグメント「Ａ１」、「Ｂ２」、「Ａ３」を順次に選択すると、図１３１に示したように、通信部２６５１がコンテンツサーバ２６１０からセグメント「Ａ１」、「Ｂ２」、「Ａ３」を順次に取得する。
【１１２７】
現在地取得部２６５６は、コンテンツ再生装置２６２０の現在の位置を取得するものであり、例えばGPS（Global Positioning System）受信機などの現在地を取得するモジュールで構成されていても良い。また現在地取得部２６５６は、無線ネットワークを使用してコンテンツ再生装置２６２０の現在の位置を取得するものであってもよい。
【１１２８】
＜コンテンツサーバ２６１１の構成＞
図１３５は、コンテンツサーバ２６１１の構成例を示す説明図である。図１３５に示したように、コンテンツサーバ２６１１は、記憶部２６７１と、通信部２６７２とを備える。
【１１２９】
記憶部２６７１は、MPDのURLの情報を記憶する。MPDのURLの情報は、コンテンツの再生を要求するコンテンツ再生装置２６２０からの求めに応じ、コンテンツサーバ２６１１からコンテンツ再生装置２６２０へ送信される。また記憶部２６７１は、コンテンツ再生装置２６２０へのMPDのURLの情報を提供する際に、当該MPDに記述されているURLにコンテンツ再生装置２６２０でパラメータを付加させる際の定義情報を記憶する。
【１１３０】
通信部２６７２は、コンテンツ再生装置２６２０とのインタフェースであって、ネットワーク２６１２を介してコンテンツ再生装置２６２０と通信する。すなわち通信部２６７２は、コンテンツの再生を要求するコンテンツ再生装置２６２０から、MPDのURLの情報の要求を受信し、コンテンツ再生装置２６２０へMPDのURLの情報を送信する。通信部２６７２から送信されるMPDのURLには、コンテンツ再生装置２６２０でパラメータを付加させるための情報が含まれる。
【１１３１】
コンテンツ再生装置２６２０でMPDのURLに付加させるパラメータについては、コンテンツサーバ２６１１およびコンテンツ再生装置２６２０で共有する定義情報で様々に設定することが出来る。一例を挙げれば、コンテンツ再生装置２６２０の現在位置、コンテンツ再生装置２６２０を使用するユーザのユーザID、コンテンツ再生装置２６２０のメモリサイズ、コンテンツ再生装置２６２０のストレージの容量などの情報を、コンテンツ再生装置２６２０でMPDのURLに付加させることが出来る。
【１１３２】
以上のような構成のコンテンツ再生システムにおいて、図１乃至図１１８を参照して上述したような本技術を適用することにより、図１乃至図１１８を参照して上述した効果と同様の効果を得ることができる。
【１１３３】
すなわち、コンテンツサーバ２６１０のエンコーダ２６４１は、上述した実施形態に係る画像符号化装置の機能を有する。また、コンテンツ再生装置２６２０の再生部２６５３は、上述した実施形態に係る画像復号装置の機能を有する。それにより、符号化・復号に必要な記憶容量の増大を抑制することができる。
【１１３４】
また、コンテンツ再生システムにおいて、本技術により符号化されたデータを送受信することにより、符号化・復号に必要な記憶容量の増大を抑制することができる。
【１１３５】
＜１６．Wi-Fi規格の無線通信システムの応用例＞
＜Wi-Fi規格の無線通信システムの応用例＞
本技術を適用可能な無線通信システムにおける無線通信装置の基本動作例について説明する。
【１１３６】
＜無線通信装置の基本動作例＞
最初に、P2P（Peer to Peer）接続を確立して特定のアプリケーションを動作させるまでの無線パケット送受信がなされる。
【１１３７】
次に、第２層で接続する前に、使用する特定のアプリケーションを指定してからP2P接続を確立して特定のアプリケーションを動作させるまでの無線パケット送受信がなされる。その後、第２層での接続後に、特定のアプリケーションを起動する場合の無線パケット送受信がなされる。
【１１３８】
＜特定のアプリケーション動作開始時における通信例＞
図１３６および図１３７は、上述したP2P（Peer to Peer）接続を確立して特定のアプリケーションを動作させるまでの無線パケット送受信の例であり、無線通信の基礎となる各装置による通信処理例を示すシーケンスチャートである。具体的には、Wi-Fi Allianceにおいて標準化されているWi-Fiダイレクト（Direct）規格（Wi-Fi P2Pと呼ばれることもある）での接続に至るダイレクト接続の確立手順の一例を示す。
【１１３９】
ここで、Wi-Fiダイレクトでは、複数の無線通信装置が互いの存在を検出する（Device Discovery、Service Discovery）。そして、接続機器選択を行うとその選択された機器間において、WPS（Wi-Fi Protected Setup）で機器認証を行うことによりダイレクト接続を確立する。また、Wi-Fiダイレクトでは、複数の無線通信装置が親機（Group Owner）または子機（Client）の何れとしての役割を担うかを決定して通信グループを形成する。
【１１４０】
ただし、この通信処理例では、一部のパケット送受信については省略して示す。例えば、初回接続時には、上述したように、WPSを使うためのパケット交換が必要であり、AuthenticationRequest／Responseのやり取り等においてもパケット交換が必要となる。しかしながら、図１３６および図１３７では、これらのパケット交換についての図示を省略し、２回目以降の接続についてのみを示す。
【１１４１】
なお、図１３６および図１３７では、第１無線通信装置２７０１および第２無線通信装置２７０２間における通信処理例を示すが、他の無線通信装置間における通信処理についても同様である。
【１１４２】
最初に、第１無線通信装置２７０１および第２無線通信装置２７０２間においてDevice Discoveryが行われる（２７１１）。例えば、第１無線通信装置２７０１は、Probe request（応答要求信号）を送信し、このProbe requestに対するProbe response（応答信号）を第２無線通信装置２７０２から受信する。これにより、第１無線通信装置２７０１および第２無線通信装置２７０２は、互いの存在を発見することができる。また、Device Discoveryにより、相手のデバイス名や種類（TV、PC、スマートフォン等）を取得することができる。
【１１４３】
続いて、第１無線通信装置２７０１および第２無線通信装置２７０２間においてService Discoveryが行われる（２７１２）。例えば、第１無線通信装置２７０１は、Device Discoveryで発見した第２無線通信装置２７０２が対応しているサービスを問い合わせるService Discovery Queryを送信する。そして、第１無線通信装置２７０１は、Service Discovery Responseを第２無線通信装置２７０２から受信することにより、第２無線通信装置２７０２が対応しているサービスを取得する。すなわち、Service Discoveryにより、相手が実行可能なサービス等を取得することができる。相手が実行可能なサービスは、例えば、service、protocol（DLNA（Digital Living Network Alliance） DMR（Digital Media Renderer）等）である。
【１１４４】
続いて、ユーザにより接続相手の選択操作（接続相手選択操作）が行われる（２７１３）。この接続相手選択操作は、第１無線通信装置２７０１および第２無線通信装置２７０２の何れか一方のみに発生することもある。例えば、第１無線通信装置２７０１の表示部に接続相手選択画面が表示され、この接続相手選択画面において接続相手として第２無線通信装置２７０２がユーザ操作により選択される。
【１１４５】
ユーザにより接続相手選択操作が行われると（２７１３）、第１無線通信装置２７０１および第２無線通信装置２７０２間においてGroup Owner Negotiationが行われる（２７１４）。図１３６および図１３７では、Group Owner Negotiationの結果により、第１無線通信装置２７０１がグループオーナー（Group Owner）２７１５になり、第２無線通信装置２７０２がクライアント（Client）２７１６になる例を示す。
【１１４６】
続いて、第１無線通信装置２７０１および第２無線通信装置２７０２間において、各処理（２７１７乃至２７２０）が行われることにより、ダイレクト接続が確立される。すなわち、Association（Ｌ２（第２層） link確立）（２７１７）、Secure link確立（２７１８）が順次行われる。また、IP Address Assignment（２７１９）、SSDP（Simple Service Discovery Protocol）等によるＬ３上でのＬ４ setup（２７２０）が順次行われる。なお、Ｌ２（layer2）は、第２層（データリンク層）を意味し、Ｌ３（layer3）は、第３層（ネットワーク層）を意味し、Ｌ４（layer4）は、第４層（トランスポート層）を意味する。
【１１４７】
続いて、ユーザにより特定のアプリケーションの指定または起動操作（アプリ指定・起動操作）が行われる（２７２１）。このアプリ指定・起動操作は、第１無線通信装置２７０１および第２無線通信装置２７０２の何れか一方のみに発生することもある。例えば、第１無線通信装置２７０１の表示部にアプリ指定・起動操作画面が表示され、このアプリ指定・起動操作画面において特定のアプリケーションがユーザ操作により選択される。
【１１４８】
ユーザによりアプリ指定・起動操作が行われると（２７２１）、このアプリ指定・起動操作に対応する特定のアプリケーションが第１無線通信装置２７０１および第２無線通信装置２７０２間において実行される（２７２２）。
【１１４９】
ここで、Wi-Fi Direct規格以前の仕様（IEEE802.11で標準化された仕様）の範囲内で、AP（Access Point）−STA（Station）間の接続を行う場合を想定する。この場合には、第２層で接続する前（IEEE802.11用語ではassociation前）には、どのようなデバイスと繋ごうとしているのかを事前に知ることができなかった。
【１１５０】
これに対して、図１３６および図１３７に示すように、Wi-Fi Directでは、Device discoveryやService Discovery（option）において、接続候補相手を探す際に、接続相手の情報を取得することができる。この接続相手の情報は、例えば、基本的なデバイスのタイプや、対応している特定のアプリケーション等である。そして、その取得された接続相手の情報に基づいて、ユーザに接続相手を選択させることができる。
【１１５１】
この仕組みを拡張して、第２層で接続する前に特定のアプリケーションを指定して、接続相手を選択し、この選択後に、自動的に特定のアプリケーションを起動させる無線通信システムを実現することも可能である。このような場合の接続に至るシーケンスの一例を、図１３９に示す。また、この通信処理において送受信されるフレームフォーマット（frame format）の構成例を図１３８に示す。
【１１５２】
＜フレームフォーマットの構成例＞
図１３８は、本技術の基礎となる各装置による通信処理において送受信されるフレームフォーマット（frame format）の構成例を模式的に示す図である。すなわち、図１３８には、第２層での接続を確立するためのMAC frameの構成例を示す。具体的には、図１３９に示すシーケンスを実現するためのAssociation Request/Response（２７８７）のフレームフォーマットの一例である。
【１１５３】
図１３８に示されるように、MAC frameは、Frame Control（２７５１）乃至FCS（２７５８）よりなり、その内、Frame Control（２７５１）からSequence Control（２７５６）までは、MACヘッダである。また、Association Requestを送信する際には、Frame Control（２７５１）において、Ｂ３Ｂ２＝"０ｂ００"、かつ、Ｂ７Ｂ６Ｂ５Ｂ４＝"０ｂ００００"が設定される。また、Association Responseをencapsulateする際には、Frame Control（２７５１）において、Ｂ３Ｂ２＝"０ｂ００"、かつ、Ｂ７Ｂ６Ｂ５Ｂ４＝"０ｂ０００１"が設定される。なお、「０ｂ００」は、２進法で「００」であることを示し、「０ｂ００００」は、２進法で「００００」であることを示し、「０ｂ０００１」は、２進法で「０００１」であることを示す。
【１１５４】
ここで、図１３８に示すMAC frame（Frame body（２７５７））は、基本的には、IEEE802.11-2007仕様書section7.2．3.4節と7.2．3.5節に記載のAssociation Request/Responseframe formatである。ただし、IEEE802.11仕様書内で定義されているInformation Element（以下、IEと省略）（２７５９）だけでなく、独自に拡張したIEを含めている点が異なる。
【１１５５】
また、Vendor Specific IE（２７６０）であることを示すため、IE Type（Information Element ID（２７６１））には、１０進数で１２７がセットされる。この場合、IEEE802.11−2007仕様7.3．2.26節により、Lengthフィールド（２７６２）と、OUIフィールド（２７６３）が続き、この後にvendor specific content（２７６４）が配置される。
【１１５６】
Vendor specific content（２７６４）の内容としては、最初にvendor specific IEのtypeを示すフィールド（IE type（２７６５））を設ける。そして、この後に、複数のsubelement（２７６６）を格納することができる構成とすることが考えられる。
【１１５７】
subelement（２７６６）の内容として、使われるべき特定のアプリケーションの名称（２７６７）や、その特定のアプリケーション動作時のデバイスの役割（２７６８）を含めることが考えられる。また、特定のアプリケーション、または、その制御のために使われるポート番号等の情報（Ｌ４セットアップのための情報）（２７６９）や、特定のアプリケーション内でのCapabilityに関する情報（Capability情報）（２７７０）を含めることが考えられる。ここで、Capability情報は、例えば、指定する特定のアプリケーションがDLNAの場合に、音声送出／再生に対応している、映像送出／再生に対応している等を特定するための情報である。
【１１５８】
以上のような構成の無線通信システムにおいて、図１乃至図１１８を参照して上述したような本技術を適用することにより、図１乃至図１１８を参照して上述した効果と同様の効果を得ることができる。すなわち、符号化・復号に必要な記憶容量の増大を抑制することができる。また、上述した無線通信システムにおいて、本技術により符号化されたデータを送受信することにより、符号化・復号に必要な記憶容量の増大を抑制することができる。
【１１５９】
なお、本明細書では、画像データの符号化データ以外の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【１１６０】
また、本明細書において、CTU（Coding Tree Unit）は、LCU(最大数のCU)のCTB（Coding Tree Block）と、そのLCUベース（レベル）で処理するときのパラメータを含む単位であるとする。また、CTUを構成するCU（Coding Unit）は、CB(Coding Block)と、そのCUベース（レベル）で処理するときのパラメータを含む単位であるとする。
【１１６１】
なお、本技術は以下のような構成も取ることができる。
（１）  カレントレイヤの復号において動き補償を行う動き補償部と、
前記動き補償部により再構築され、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルを圧縮する第１の圧縮部と
を備える画像処理装置。
（２）  前記動き補償部により再構築された前記カレントレイヤの動きベクトルを、前記第１の圧縮部よりも高圧縮率に圧縮する第２の圧縮部をさらに備え、
前記動き補償部は、前記第２の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの復号における前記動き補償を行う
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（３）  前記第２の圧縮部は、前記第１の圧縮部により圧縮された前記動きベクトルをさらに圧縮する
前記（２）に記載の画像処理装置。
（４）  前記動き補償部は、前記第１の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの復号における前記動き補償を行う
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（５）  他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを示すフラグを受け取る受け取り部と、
前記受け取り部により受け取られた前記フラグが動きベクトルを圧縮することを示す値である場合、前記第１の圧縮部により圧縮された前記動きベクトルを、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルとして選択し、前記受け取り部により受け取られた前記フラグが動きベクトルを圧縮しないことを示す値である場合、前記第１の圧縮部により圧縮される前の前記動きベクトルを、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルとして選択する選択部と
をさらに備える前記（１）乃至（９）のいずれかに記載の画像処理装置。
（６）  前記動き補償部は、前記受け取り部により受け取られた前記フラグの値に関わらず、前記第１の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの復号における前記動き補償を行う
前記（５）に記載の画像処理装置。
（７）  前記第１の圧縮部は、前記動き補償部により再構築された複数の動きベクトルから、代表値とする動きベクトルを選択することにより、前記カレントレイヤの動きベクトルを圧縮する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（８）  前記第１の圧縮部は、前記動き補償部により再構築された複数の動きベクトルを用いて、代表値とする動きベクトル算出することにより、前記カレントレイヤの動きベクトルを圧縮する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（９）  前記動き補償部は、他のレイヤの復号における前記動き補償において再構築された動きベクトルを用いて前記動き補償を行う
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）  画像処理装置の画像処理方法において、
前記画像処理装置が、
カレントレイヤの復号において動き補償を行い、
前記動き補償により再構築され、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルを圧縮する
画像処理方法。
（１１）  カレントレイヤの符号化において動き予測・補償を行う動き予測・補償部と、
前記動き予測・補償部により生成され、他のレイヤの符号化における前記動き予測・補償に利用される、前記カレントレイヤの動きベクトルを圧縮する第１の圧縮部と
を備える画像処理装置。
（１２）  前記動き予測・補償部により生成された前記カレントレイヤの動きベクトルを、前記第１の圧縮部よりも高圧縮率に圧縮する第２の圧縮部をさらに備え、
前記動き予測・補償部は、前記第２の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行う
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１３）  前記第２の圧縮部は、前記第１の圧縮部により圧縮された前記動きベクトルをさらに圧縮する
前記（１２）に記載の画像処理装置。
（１４）  前記動き予測・補償部は、前記第１の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行う
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１５）  他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを制御する制御部と、
前記制御部の制御に従って、前記第１の圧縮部により圧縮される前の前記動きベクトルと、前記第１の圧縮部により圧縮された前記動きベクトルとのいずれか一方を、他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルとして選択する選択部と、
前記制御部の制御に従って、他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを示すフラグを生成する生成部と、
前記生成部により生成された前記フラグを伝送する伝送部と
をさらに備える前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１６）  前記動き予測・補償部は、前記制御部の制御に関わらず、前記第１の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行う
前記（１５）に記載の画像処理装置。
（１７）  前記第１の圧縮部は、前記動き予測・補償部により生成された複数の動きベクトルから、代表値とする動きベクトルを選択することにより、前記カレントレイヤの動きベクトルを圧縮する
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１８）  前記第１の圧縮部は、前記動き予測・補償部により生成された複数の動きベクトルを用いて、代表値とする動きベクトル算出することにより、前記カレントレイヤの動きベクトルを圧縮する
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１９）  前記動き予測・補償部は、他のレイヤの符号化における前記動き予測・補償において生成された動きベクトルを用いて前記動き予測・補償を行う
前記（１１）乃至（１８）のいずれかに記載の画像処理装置。
（２０）  画像処理装置の画像処理方法において、
前記画像処理装置が、
カレントレイヤの符号化において動き予測・補償を行い、
前記動き予測・補償により生成され、他のレイヤの符号化における前記動き予測・補償に利用される、前記カレントレイヤの動きベクトルを圧縮する
画像処理方法。
（２１）  複数階層化された画像データが符号化された階層画像符号化データを受け取る受け取り部と、
前記受け取り部により受け取られた前記階層画像符号化データのベースレイヤのカレントエリアについて、イントラ予測モードを間引く間引き処理部と、
前記間引き処理部により間引かれて残ったベースレイヤのイントラ予測モードを前記カレントエリアの代表として記憶する記憶部と、
前記記憶部に記憶されているベースレイヤのイントラ予測モードの内、前記受け取り部により受け取られた前記階層画像符号化データのエンハンスメントレイヤのカレントブロックに対応するベースレイヤのイントラ予測モードを前記記憶部から読み出し、読み出した前記イントラ予測モードを用いてイントラ予測を行い、前記エンハンスメントレイヤの前記カレントブロックの予測画像を生成するイントラ予測部と、
前記イントラ予測部により生成された前記予測画像を用いて、前記受け取り部により受け取られた前記階層画像符号化データのエンハンスメントレイヤを復号する復号部と
を備える画像処理装置。
（２２）  前記間引き処理部は、前記カレントエリア内の最初にイントラ予測が行われるブロックのイントラ予測モードを前記カレントエリアの代表とし、前記カレントエリア内のその他のブロックのイントラ予測モードを破棄する
（２１）、（２３）乃至（２９）のいずれかに記載の画像処理装置。
（２３）  前記間引き処理部は、前記カレントエリアの中心付近のブロックのイントラ予測モードを前記カレントエリアの代表とし、前記カレントエリア内のその他のブロックのイントラ予測モードを破棄する
（２１）、（２２）、（２４）乃至（２９）のいずれかに記載の画像処理装置。
（２４）  前記受け取り部は、さらに間引き率を受け取り、
前記間引き処理部は、前記受け取り部により受け取られた前記間引き率で前記ベースレイヤのイントラ予測モードを間引く
（２１）乃至（２３）、（２５）乃至（２９）のいずれかに記載の画像処理装置。
（２５）  前記間引き率は、ベースレイヤの解像度を基準に設定されている
（２１）乃至（２４）、（２６）乃至（２９）のいずれかに記載の画像処理装置。
（２６）  前記間引き率は、前記階層画像符号化データの所定の位置に格納されて伝送される
（２１）乃至（２５）、（２７）乃至（２９）のいずれかに記載の画像処理装置。
（２７）  前記間引き率は、ビデオパラメータセットにおいて伝送される
（２１）乃至（２６）、（２８）、（２９）のいずれかに記載の画像処理装置。
（２８）  前記間引き率は、前記階層画像符号化データのエンハンスメントレイヤのシーケンスパラメータセット、ピクチャパラメータセット、若しくはスライスヘッダにおいて伝送される
（２１）乃至（２７）、（２９）のいずれかに記載の画像処理装置。
（２９）  前記復号部は、さらに、前記階層画像符号化データのエンハンスメントレイヤと異なる符号化方式で符号化された前記階層画像符号化データのベースレイヤを復号する
（２１）乃至（２８）のいずれかに記載の画像処理装置。
（３０）  複数階層化された画像データが符号化された階層画像符号化データを受け取り、
受け取られた前記階層画像符号化データのベースレイヤのカレントエリアについて、イントラ予測モードを間引き、
間引かれて残ったベースレイヤのイントラ予測モードを前記カレントエリアの代表として記憶部に記憶し、
前記記憶部に記憶されているベースレイヤのイントラ予測モードの内、受け取られた前記階層画像符号化データのエンハンスメントレイヤのカレントブロックに対応するベースレイヤのイントラ予測モードを前記記憶部から読み出し、読み出した前記イントラ予測モードを用いてイントラ予測を行い、前記エンハンスメントレイヤの前記カレントブロックの予測画像を生成し、
生成された前記予測画像を用いて、受け取られた前記階層画像符号化データのエンハンスメントレイヤを復号する
画像処理方法。
（３１）  複数階層化された画像データのベースレイヤのカレントエリアについて、イントラ予測モードを間引く間引き処理部と、
前記間引き処理部により間引かれて残ったベースレイヤのイントラ予測モードを前記カレントエリアの代表として記憶する記憶部と、
前記記憶部に記憶されているベースレイヤのイントラ予測モードの内、前記画像データのエンハンスメントレイヤのカレントブロックに対応するベースレイヤのイントラ予測モードを前記記憶部から読み出し、読み出した前記イントラ予測モードを用いてイントラ予測を行い、前記エンハンスメントレイヤの前記カレントブロックの予測画像を生成するイントラ予測部と、
前記イントラ予測部により生成された前記予測画像を用いて、前記画像データのエンハンスメントレイヤを符号化する符号化部と、
前記符号化部により前記画像データが符号化されて得られた階層画像符号化データを伝送する伝送部と
を備える画像処理装置。
（３２）  前記間引き処理部は、前記カレントエリア内の最初にイントラ予測が行われるブロックのイントラ予測モードを前記カレントエリアの代表とし、前記カレントエリア内のその他のブロックのイントラ予測モードを破棄する
（３１）、（３３）乃至（３９）のいずれかに記載の画像処理装置。
（３３）  前記間引き処理部は、前記カレントエリアの中心付近のブロックのイントラ予測モードを前記カレントエリアの代表とし、前記カレントエリア内のその他のブロックのイントラ予測モードを破棄する
（３１）、（３２）、（３４）乃至（３９）のいずれかに記載の画像処理装置。
（３４）  間引き率を設定する間引き率設定部をさらに備え、
前記間引き処理部は、前記間引き率設定部により設定された前記間引き率で前記ベースレイヤのイントラ予測モードを間引く
（３１）乃至（３３）、（３５）乃至（３９）のいずれかに記載の画像処理装置。
（３５）  前記間引き率設定部は、前記間引き率を、ベースレイヤの解像度を基準に設定する
（３１）乃至（３４）、（３６）乃至（３９）のいずれかに記載の画像処理装置。
（３６）  前記伝送部は、前記間引き率を、前記階層画像符号化データの所定の位置に格納して伝送する
（３１）乃至（３５）、（３７）乃至（３９）のいずれかに記載の画像処理装置。
（３７）  前記伝送部は、前記間引き率を、ビデオパラメータセットにおいて伝送する
（３１）乃至（３６）、（３８）、（３９）のいずれかに記載の画像処理装置。
（３８）  前記伝送部は、前記間引き率を、前記階層画像符号化データのエンハンスメントレイヤのシーケンスパラメータセット、ピクチャパラメータセット、若しくはスライスヘッダにおいて伝送する
（３１）乃至（３７）、（３９）のいずれかに記載の画像処理装置。
（３９）  前記符号化部は、さらに、前記画像データのエンハンスメントレイヤと異なる符号化方式で、前記画像データのベースレイヤを符号化する
（３１）乃至（３８）のいずれかに記載の画像処理装置。
（４０）  複数階層化された画像データのベースレイヤのカレントエリアについて、イントラ予測モードを間引き、
間引かれて残ったベースレイヤのイントラ予測モードを前記カレントエリアの代表として記憶部に記憶し、
前記記憶部に記憶されているベースレイヤのイントラ予測モードの内、前記画像データのエンハンスメントレイヤのカレントブロックに対応するベースレイヤのイントラ予測モードを前記記憶部から読み出し、読み出した前記イントラ予測モードを用いてイントラ予測を行い、前記エンハンスメントレイヤの前記カレントブロックの予測画像を生成し、
生成された前記予測画像を用いて、前記画像データのエンハンスメントレイヤを符号化し、
前記画像データが符号化されて得られた階層画像符号化データを伝送する
画像処理方法。
（４１）  複数レイヤよりなる画像データのカレントレイヤの符号化データと、前記画像データのカレントレイヤの復号に用いる他のレイヤの動き情報の予測方向を示す制御情報とを受け取る受け取り部と、
前記他のレイヤの、前記受け取り部により受け取られた前記制御情報により示される前記予測方向の動き情報を取得する動き情報取得部と、
前記動き情報取得部により取得された前記他のレイヤの前記予測方向の動き情報を用いて動き予測を行い、前記カレントレイヤの予測画像を生成する予測画像生成部と、
前記予測画像生成部により生成された前記予測画像を用いて前記カレントレイヤの符号化データを復号する復号部と
を備える画像復号装置。
（４２）  前記制御情報は、前記予測方向がL0方向であるかを示す情報である
（４１）、（４３）乃至（４９）のいずれかに記載の画像復号装置。
（４３）  前記制御情報は、前記予測方向がL1方向であるかを示す情報である
（４１）、（４２）、（４４）乃至（４９）のいずれかに記載の画像復号装置。
（４４）  前記制御情報は、前記予測方向がL0方向であるか、L1方向であるかを示す情報である
（４１）乃至（４３）、（４５）乃至（４９）のいずれかに記載の画像復号装置。
（４５）  前記制御情報は、前記予測方向を、ピクチャを複数に分割するスライス毎に示す情報である
（４１）乃至（４４）、（４６）乃至（４９）のいずれかに記載の画像復号装置。
（４６）  前記受け取り部は、前記制御情報を前記スライス毎に受け取る
（４１）乃至（４５）、（４７）乃至（４９）のいずれかに記載の画像復号装置。
（４７）  前記動き情報取得部により取得された前記他のレイヤの動き情報の予測方向が、使用時の予測方向と異なる場合、前記他のレイヤの動き情報の予測方向を変換する変換部をさらに備える
（４１）乃至（４６）、（４８）、（４９）のいずれかに記載の画像復号装置。
（４８）  前記変換部は、さらに、前記動き情報取得部により取得された前記他のレイヤの動き情報を前記カレントレイヤ基準に変換する
（４１）乃至（４７）、（４９）のいずれかに記載の画像復号装置。
（４９）  前記動き情報取得部は、前記他のレイヤの、前記カレントレイヤのカレントエリアに対応するエリアの、前記制御情報により示される予測方向の動き情報を取得する
（４１）乃至（４８）のいずれかに記載の画像復号装置。
（５０）  複数レイヤよりなる画像データのカレントレイヤの符号化データと、前記画像データのカレントレイヤの復号に用いる他のレイヤの動き情報の予測方向を示す制御情報とを受け取り、
前記他のレイヤの、受け取られた前記制御情報により示される前記予測方向の動き情報を取得し、
取得された前記他のレイヤの前記予測方向の動き情報を用いて動き予測を行い、前記カレントレイヤの予測画像を生成し、
生成された前記予測画像を用いて前記カレントレイヤの符号化データを復号する
画像復号方法。
（５１）  複数レイヤよりなる画像データのカレントレイヤの符号化に用いる他のレイヤの動き情報の予測方向を設定する予測方向設定部と、
前記他のレイヤの、前記予測方向設定部により設定された予測方向の動き情報を取得する動き情報取得部と、
前記動き情報取得部により取得された前記他のレイヤの前記予測方向の動き情報を用いて動き予測を行い、前記カレントレイヤの予測画像を生成する予測画像生成部と、
前記予測画像生成部により生成された前記予測画像を用いて前記画像データのカレントレイヤを符号化する符号化部と、
前記符号化部により生成された前記画像データの符号化データと、前記予測方向設定部により設定された前記予測方向を示す制御情報とを伝送する伝送部と
を備える画像符号化装置。
（５２）  前記制御情報は、前記予測方向設定部により設定された予測方向がL0方向であるかを示す情報である
（５１）、（５３）乃至（５９）のいずれかに記載の画像符号化装置。
（５３）  前記制御情報は、前記予測方向設定部により設定された予測方向がL1方向であるかを示す情報である
（５１）、（５２）、（５４）乃至（５９）のいずれかに記載の画像符号化装置。
（５４）  前記制御情報は、前記予測方向設定部により設定された予測方向がL0方向であるか、L1方向であるかを示す情報である
（５１）乃至（５３）、（５５）乃至（５９）のいずれかに記載の画像符号化装置。
（５５）  前記予測方向設定部は、前記予測方向を、ピクチャを複数に分割するスライス毎に設定する
（５１）乃至（５４）、（５６）乃至（５９）のいずれかに記載の画像符号化装置。
（５６）  前記伝送部は、前記制御情報を前記スライス毎に伝送する
（５１）乃至（５５）、（５７）乃至（５９）のいずれかに記載の画像符号化装置。
（５７）  前記動き情報取得部により取得された前記他のレイヤの動き情報の予測方向が、使用時の予測方向と異なる場合、前記他のレイヤの動き情報の予測方向を変換する変換部をさらに備える
（５１）乃至（５６）、（５８）、（５９）のいずれかに記載の画像符号化装置。
（５８）  前記変換部は、さらに、前記動き情報取得部により取得された前記他のレイヤの動き情報を前記カレントレイヤ基準に変換する
（５１）乃至（５７）、（５９）のいずれかに記載の画像符号化装置。
（５９）  前記動き情報取得部は、前記他のレイヤの、前記カレントレイヤのカレントエリアに対応するエリアの、前記予測方向設定部により設定された予測方向の動き情報を取得する
（５１）乃至（５８）のいずれかに記載の画像符号化装置。
（６０）  複数レイヤよりなる画像データのカレントレイヤの符号化に用いる他のレイヤの動き情報の予測方向を設定し、
前記他のレイヤの、設定された予測方向の動き情報を取得し、
取得された前記他のレイヤの前記予測方向の動き情報を用いて動き予測を行い、前記カレントレイヤの予測画像を生成し、
生成された前記予測画像を用いて前記画像データのカレントレイヤを符号化し、
前記画像データが符号化されて生成された符号化データと、設定された前記予測方向を示す制御情報とを伝送する
画像符号化方法。
【符号の説明】
【１１６２】
１００  画像符号化装置，  １１４  動き予測・補償部，  １２１  動きベクトル圧縮部，  １２２  動きベクトルメモリ，  ２００  画像復号装置，  ２１１  動き補償部，  ２２１  動きベクトル圧縮部，  ２２２  動きベクトルメモリ，  ３００  画像符号化装置，  ３１４  動き予測・補償部，  ３２１  動きベクトル圧縮部，  ３２２  テンポラルメモリ，  ３２３  動きベクトル圧縮部，  ３２４  動きベクトルメモリ，  ４００  画像復号装置，  ４１１  動き補償部，  ４２１  動きベクトル圧縮部，  ４２２  テンポラルメモリ，  ４２３  動きベクトル圧縮部，  ４２４  動きベクトルメモリ，  ５００  画像符号化装置，  ５１４  動き予測・補償部，  ５０６  可逆符号化部，  ５０７  蓄積バッファ，  ５２１  制御部，  ５２２  フラグ生成部，  ５３１  選択部，  ５３２  テンポラルメモリ，  ５３３  動きベクトル圧縮部，  ５３４  動きベクトルメモリ，  ５３５  選択部，  ６００  画像復号装置，  ６０１  蓄積バッファ，  ６０２  可逆復号部，  ６２１  制御部，  ６３１  選択部，  ６３２  テンポラルメモリ，  ６３３  動きベクトル圧縮部，  ６３４  動きベクトルメモリ，  ６３５  選択部
【図１】
2014034480.tif 000005
【図２】
2014034480.tif 000006
【図３】
2014034480.tif 000007
【図４】
2014034480.tif 000008
【図５】
2014034480.tif 000009
【図６】
2014034480.tif 000010
【図７】
2014034480.tif 000011
【図８】
2014034480.tif 000012
【図９】
2014034480.tif 000013
【図１０】
2014034480.tif 000014
【図１１】
2014034480.tif 000015
【図１２】
2014034480.tif 000016
【図１３】
2014034480.tif 000017
【図１４】
2014034480.tif 000018
【図１５】
2014034480.tif 000019
【図１６】
2014034480.tif 000020
【図１７】
2014034480.tif 000021
【図１８】
2014034480.tif 000022
【図１９】
2014034480.tif 000023
【図２０】
2014034480.tif 000024
【図２１】
2014034480.tif 000025
【図２２】
2014034480.tif 000026
【図２３】
2014034480.tif 000027
【図２４】
2014034480.tif 000028
【図２５】
2014034480.tif 000029
【図２６】
2014034480.tif 000030
【図２７】
2014034480.tif 000031
【図２８】
2014034480.tif 000032
【図２９】
2014034480.tif 000033
【図３０】
2014034480.tif 000034
【図３１】
2014034480.tif 000035
【図３２】
2014034480.tif 000036
【図３３】
2014034480.tif 000037
【図３４】
2014034480.tif 000038
【図３５】
2014034480.tif 000039
【図３６】
2014034480.tif 000040
【図３７】
2014034480.tif 000041
【図３８】
2014034480.tif 000042
【図３９】
2014034480.tif 000043
【図４０】
2014034480.tif 000044
【図４１】
2014034480.tif 000045
【図４２】
2014034480.tif 000046
【図４３】
2014034480.tif 000047
【図４４】
2014034480.tif 000048
【図４５】
2014034480.tif 000049
【図４６】
2014034480.tif 000050
【図４７】
2014034480.tif 000051
【図４８】
2014034480.tif 000052
【図４９】
2014034480.tif 000053
【図５０】
2014034480.tif 000054
【図５１】
2014034480.tif 000055
【図５２】
2014034480.tif 000056
【図５３】
2014034480.tif 000057
【図５４】
2014034480.tif 000058
【図５５】
2014034480.tif 000059
【図５６】
2014034480.tif 000060
【図５７】
2014034480.tif 000061
【図５８】
2014034480.tif 000062
【図５９】
2014034480.tif 000063
【図６０】
2014034480.tif 000064
【図６１】
2014034480.tif 000065
【図６２】
2014034480.tif 000066
【図６３】
2014034480.tif 000067
【図６４】
2014034480.tif 000068
【図６５】
2014034480.tif 000069
【図６６】
2014034480.tif 000070
【図６７】
2014034480.tif 000071
【図６８】
2014034480.tif 000072
【図６９】
2014034480.tif 000073
【図７０】
2014034480.tif 000074
【図７１】
2014034480.tif 000075
【図７２】
2014034480.tif 000076
【図７３】
2014034480.tif 000077
【図７４】
2014034480.tif 000078
【図７５】
2014034480.tif 000079
【図７６】
2014034480.tif 000080
【図７７】
2014034480.tif 000081
【図７８】
2014034480.tif 000082
【図７９】
2014034480.tif 000083
【図８０】
2014034480.tif 000084
【図８１】
2014034480.tif 000085
【図８２】
2014034480.tif 000086
【図８３】
2014034480.tif 000087
【図８４】
2014034480.tif 000088
【図８５】
2014034480.tif 000089
【図８６】
2014034480.tif 000090
【図８７】
2014034480.tif 000091
【図８８】
2014034480.tif 000092
【図８９】
2014034480.tif 000093
【図９０】
2014034480.tif 000094
【図９１】
2014034480.tif 000095
【図９２】
2014034480.tif 000096
【図９３】
2014034480.tif 000097
【図９４】
2014034480.tif 000098
【図９５】
2014034480.tif 000099
【図９６】
2014034480.tif 000100
【図９７】
2014034480.tif 000101
【図９８】
2014034480.tif 000102
【図９９】
2014034480.tif 000103
【図１００】
2014034480.tif 000104
【図１０１】
2014034480.tif 000105
【図１０２】
2014034480.tif 000106
【図１０３】
2014034480.tif 000107
【図１０４】
2014034480.tif 000108
【図１０５】
2014034480.tif 000109
【図１０６】
2014034480.tif 000110
【図１０７】
2014034480.tif 000111
【図１０８】
2014034480.tif 000112
【図１０９】
2014034480.tif 000113
【図１１０】
2014034480.tif 000114
【図１１１】
2014034480.tif 000115
【図１１２】
2014034480.tif 000116
【図１１３】
2014034480.tif 000117
【図１１４】
2014034480.tif 000118
【図１１５】
2014034480.tif 000119
【図１１６】
2014034480.tif 000120
【図１１７】
2014034480.tif 000121
【図１１８】
2014034480.tif 000122
【図１１９】
2014034480.tif 000123
【図１２０】
2014034480.tif 000124
【図１２１】
2014034480.tif 000125
【図１２２】
2014034480.tif 000126
【図１２３】
2014034480.tif 000127
【図１２４】
2014034480.tif 000128
【図１２５】
2014034480.tif 000129
【図１２６】
2014034480.tif 000130
【図１２７】
2014034480.tif 000131
【図１２８】
2014034480.tif 000132
【図１２９】
2014034480.tif 000133
【図１３０】
2014034480.tif 000134
【図１３１】
2014034480.tif 000135
【図１３２】
2014034480.tif 000136
【図１３３】
2014034480.tif 000137
【図１３４】
2014034480.tif 000138
【図１３５】
2014034480.tif 000139
【図１３６】
2014034480.tif 000140
【図１３７】
2014034480.tif 000141
【図１３８】
2014034480.tif 000142
【図１３９】
2014034480.tif 000143
【国際調査報告】
2014034480.tif 000144
2014034480.tif 000145
2014034480.tif 000146
2014034480.tif 000147