(57)【要約】  本技術は、階層構造を有する画像の参照画像に関する情報を共有または予測することができるようにする符号化装置および符号化方法、並びに、復号装置および復号方法に関する。エンハンスメント符号化部は、エンハンスメント画像を符号化する際に用いる参照画像に関する情報としての参照画像特定情報と、ベース画像の参照画像に関する情報としての参照画像特定情報とを用いて、エンハンスメント画像の参照画像特定情報の生成に用いる参照画像特定生成情報を設定する。エンハンスメント符号化部は、エンハンスメント画像を、参照画像を用いて符号化し、符号化データを生成する。伝送部は、符号化データと参照画像特定生成情報を伝送する。本技術は、例えば、符号化装置に適用することができる。
2014050748.tif 000002
【特許請求の範囲】
【請求項１】
階層構造を有する画像の第１の階層の画像を符号化する際に用いる第１の参照画像に関する情報である第１の参照画像情報と、第２の階層の画像の第２の参照画像に関する情報である第２の参照画像情報とを用いて、前記第１の参照画像情報の生成に用いる参照画像生成情報を設定する設定部と、
前記第１の階層の画像を前記第１の参照画像を用いて符号化し、符号化データを生成する符号化部と、
前記符号化部により生成された前記符号化データと、前記設定部により設定された前記参照画像生成情報を伝送する伝送部と
を備える符号化装置。
【請求項２】
前記設定部は、前記第１の参照画像情報と前記第２の参照画像情報が同一である場合、前記参照画像生成情報として、前記第１の参照画像情報として前記第２の参照画像情報を用いることを表す情報を設定する
請求項１に記載の符号化装置。
【請求項３】
前記設定部は、前記第１の参照画像情報と前記第２の参照画像情報が同一ではない場合、前記参照画像生成情報として、前記第１の参照画像情報と前記第２の参照画像情報の差分と、前記第２の参照画像情報と前記差分とから前記第１の参照画像情報を予測することを表す情報とを設定する
請求項１に記載の符号化装置。
【請求項４】
前記伝送部は、前記第１の階層を特定する情報を伝送する
請求項１に記載の符号化装置。
【請求項５】
前記第１の参照画像情報は、前記第１の参照画像を特定する情報であり、
前記第２の参照画像情報は、前記第２の参照画像を特定する情報である
請求項１に記載の符号化装置。
【請求項６】
重み係数を含む重み付け情報を用いて前記第１の参照画像に対して重み付けを行う重み付け処理部
をさらに備え、
前記第１の参照画像情報は、前記第１の参照画像の前記重み付け情報であり、
前記第２の参照画像情報は、前記第２の参照画像の重み付け情報であり、
前記符号化部は、前記重み付け処理部により重み付けが行われた前記第１の参照画像を用いて前記第１の階層の画像を符号化する
請求項１に記載の符号化装置。
【請求項７】
前記重み付け処理部は、前記第２の参照画像に対して重み付けが行われた場合、前記第１の参照画像に対して前記重み付けを行う
請求項６に記載の符号化装置。
【請求項８】
符号化装置が、
階層構造を有する画像の第１の階層の画像を符号化する際に用いる第１の参照画像に関する情報である第１の参照画像情報と、第２の階層の画像の第２の参照画像に関する情報である第２の参照画像情報とを用いて、前記第１の参照画像情報の生成に用いる参照画像生成情報を設定する設定ステップと、
前記第１の階層の画像を前記第１の参照画像を用いて符号化し、符号化データを生成する符号化ステップと、
前記符号化ステップの処理により生成された前記符号化データと、前記設定ステップの処理により設定された前記参照画像生成情報を伝送する伝送ステップと
を含む符号化方法。
【請求項９】
階層構造を有する画像の第１の階層の画像を符号化する際に用いる第１の参照画像に関する情報である第１の参照画像情報と、第２の階層の画像の第２の参照画像に関する情報である第２の参照画像情報とを用いて生成された、前記第１の参照画像情報の生成に用いる参照画像生成情報と、前記第１の階層の画像の符号化データとを受け取る受け取り部と、
前記参照画像生成情報を用いて前記第１の参照画像情報を生成する生成部と、
前記生成部により生成された前記第１の参照画像情報に基づいて、前記第１の階層の画像の符号化データを前記第１の参照画像を用いて復号する復号部と
を備える復号装置。
【請求項１０】
前記受け取り部は、前記参照画像生成情報として、前記第１の参照画像情報として前記第２の参照画像情報を用いることを表す情報を受け取り、
前記生成部は、前記受け取り部により受け取られた前記参照画像生成情報に基づいて、前記第２の参照画像情報を前記第１の参照画像情報として生成する
請求項９に記載の復号装置。
【請求項１１】
前記受け取り部は、前記参照画像生成情報として、前記第１の参照画像情報と前記第２の参照画像情報の差分と、前記第２の参照画像情報と前記差分とから前記第１の参照画像情報を予測することを表す情報とを受け取り、
前記生成部は、前記受け取り部により受け取られた前記情報に基づいて、前記第２の参照画像情報と前記受け取り部により受け取られた前記差分とを加算し、その結果得られる加算値を前記第１の参照画像情報として生成する
請求項９に記載の復号装置。
【請求項１２】
前記受け取り部は、前記第１の階層を特定する情報を受け取り、
前記生成部は、前記受け取り部により受け取られた前記第１の階層を特定する情報に基づいて前記第１の参照画像情報を生成する
請求項９に記載の復号装置。
【請求項１３】
前記第１の参照画像情報は、前記第１の参照画像を特定する情報であり、
前記第２の参照画像情報は、前記第２の参照画像を特定する情報である
請求項９に記載の復号装置。
【請求項１４】
重み係数を含む重み付け情報を用いて前記第１の参照画像に対して重み付けを行う重み付け処理部
をさらに備え、
前記第１の参照画像情報は、前記第１の参照画像の前記重み付け情報であり、
前記第２の参照画像情報は、前記第２の参照画像の重み付け情報であり、
前記重み付け処理部は、前記生成部により生成された前記第１の参照画像情報を用いて前記第１の参照画像に対して重み付けを行い、
前記復号部は、前記重み付け処理部により重み付けが行われた前記第１の参照画像を用いて前記第１の階層の画像の符号化データを復号する
請求項９に記載の復号装置。
【請求項１５】
前記重み付け処理部は、前記第２の参照画像に対して重み付けが行われた場合、前記第１の参照画像に対して前記重み付けを行う
請求項１４に記載の復号装置。
【請求項１６】
復号装置が、
階層構造を有する画像の第１の階層の画像を符号化する際に用いる第１の参照画像に関する情報である第１の参照画像情報と、第２の階層の画像の第２の参照画像に関する情報である第２の参照画像情報とを用いて生成された前記第１の参照画像情報の生成に用いる参照画像生成情報と、前記第１の階層の画像の符号化データとを受け取る受け取りステップと、
前記参照画像生成情報を用いて前記第１の参照画像情報を生成する生成ステップと、
前記生成ステップの処理により生成された前記第１の参照画像情報に基づいて、前記第１の階層の画像の符号化データを前記第１の参照画像を用いて復号する復号ステップと
を含む復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、符号化装置および符号化方法、並びに、復号装置および復号方法に関し、特に、階層構造を有する画像の参照画像に関する情報を共有または予測することができるようにした符号化装置および符号化方法、並びに、復号装置および復号方法に関する。
【背景技術】
【０００２】
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group phase）などの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。【０００３】
特に、MPEG2（ISO/IEC 13818−2）方式は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。MPEG2方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbps、1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22MBpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。【０００４】
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。MPEG4の画像符号化方式に関しては、1998年12月にISO/IEC 14496−2として規格が国際標準に承認された。【０００５】
更に、近年、当初テレビ会議用の画像符号化を目的として、H．26L （ITU−T Q6/16 VCEG）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。【０００６】
また、現在、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced−Compression Video Codingとして行われている。この標準化は、2003年3月にH．264及びMPEG−4 Part10（AVC（Advanced Video Coding））という名の元に国際標準化された。【０００７】
更に、その拡張として、RGBやYUV422、YUV444といった、業務用に必要な符号化ツールや、MPEG−2で規定されていた8×8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension)の標準化が2005年2月に完了した。これにより、AVC方式が、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となり、ＢＤ（Blu−ray（登録商標） Disc ）等の幅広いアプリケーションに用いられる運びとなった。【０００８】
しかしながら、昨今、ハイビジョン画像の4倍の4000×2000画素程度の画像を圧縮したい、または、インターネットのような限られた伝送容量の環境においてハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、ITU−T傘下のVCEG(Video Coding Expert Group)において、符号化効率の改善に関する検討が継続されている。【０００９】
また、現在、AVCより更なる符号化効率の向上を目的として、ITU−Tと、ISO/IECの共同の標準化団体であるJCTVC(Joint Collaboration Team − Video Coding)により、HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている。2012年8月現在、Draftとして非特許文献１が発行されている。【００１０】
ところで、MPEG−2、AVCといった画像符号化方式は、画像を階層化して符号化するscalable機能を有していた。scalable機能によれば、トランスコード処理を行うことなく、復号側の処理能力に応じた符号化データを伝送することができる。【００１１】
具体的には、例えば携帯電話のような処理能力の低い端末に対しては、ベースとなる階層であるベースレイヤ（base layer）の画像の符号化ストリームのみを伝送することができる。一方、テレビジョン受像機やパーソナルコンピュータのような処理能力の高い端末に対しては、ベースレイヤと、ベースレイヤ以外の階層であるエンハンスメントレイヤ（enhancement layer）の画像の符号化ストリームを伝送することができる。【００１２】
また、HEVC方式においてもscalable機能は備えられており、非特許文献１に記載されているように、HEVC方式では、SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)に加え、scalable機能に関するパラメータを含むVPS(Video Parameter Set)が規定されている。【００１３】
図１は、HEVC version1におけるVPSのシンタックスの一例を示す図である。【００１４】
HEVC version1においては、画像をフレームレートで階層化して符号化するscalable機能（以下、temporal scalabilityという）のみが備えられているため、図１に示すように、VPSでは、temporal scalabilityに関するパラメータのみが定義されている。【００１５】
なお、HEVC version2においては、temporal scalability以外のscalable機能にも対応するための標準化が行われる予定である。
【先行技術文献】
【非特許文献】
【００１６】
【非特許文献１】Benjamin Bross，Woo−Jin Han，Jens−Rainer Ohm，Gary J. Sullivan， Thomas Wiegand，"High efficiency video coding (HEVC) text specification draft 8"， JCTVC−I1003_d7，2012.7.11−7.20
【発明の概要】
【発明が解決しようとする課題】
【００１７】
scalable機能を用いて符号化が行われる場合、ベースレイヤの画像とエンハンスメントレイヤの画像が対応しているとき、両方の画像の参照画像に関する情報は相関性が高いと考えられる。【００１８】
しかしながら、従来のHEVC方式では、階層ごとに参照画像に関する情報が設定されるため、符号化効率が悪い。【００１９】
本技術は、このような状況に鑑みてなされたものであり、階層構造を有する画像の参照画像に関する情報を共有または予測することができるようにするものである。
【課題を解決するための手段】
【００２０】
本技術の第１の側面の符号化装置は、階層構造を有する画像の第１の階層の画像を符号化する際に用いる第１の参照画像に関する情報である第１の参照画像情報と、第２の階層の画像の第２の参照画像に関する情報である第２の参照画像情報とを用いて、前記第１の参照画像情報の生成に用いる参照画像生成情報を設定する設定部と、前記第１の階層の画像を前記第１の参照画像を用いて符号化し、符号化データを生成する符号化部と、前記符号化部により生成された前記符号化データと、前記設定部により設定された前記参照画像生成情報を伝送する伝送部とを備える符号化装置である。【００２１】
本技術の第１の側面の符号化方法は、本技術の第１の側面の符号化装置に対応する。【００２２】
本技術の第１の側面においては、階層構造を有する画像の第１の階層の画像を符号化する際に用いる第１の参照画像に関する情報である第１の参照画像情報と、第２の階層の画像の第２の参照画像に関する情報である第２の参照画像情報とを用いて、前記第１の参照画像情報の生成に用いる参照画像生成情報が設定され、前記第１の階層の画像が前記第１の参照画像を用いて符号化されて、符号化データが生成され、前記符号化データと前記参照画像生成情報が伝送される。【００２３】
本技術の第２の側面の復号装置は、階層構造を有する画像の第１の階層の画像を符号化する際に用いる第１の参照画像に関する情報である第１の参照画像情報と、第２の階層の画像の第２の参照画像に関する情報である第２の参照画像情報とを用いて生成された前記第１の参照画像情報の生成に用いる参照画像生成情報と、前記第１の階層の画像の符号化データとを受け取る受け取り部と、前記参照画像生成情報を用いて前記第１の参照画像情報を生成する生成部と、前記生成部により生成された前記第１の参照画像情報に基づいて、前記第１の階層の画像の符号化データを前記第１の参照画像を用いて復号する復号部とを備える復号装置である。【００２４】
本技術の第２の側面の復号方法は、本技術の第２の側面の復号装置に対応する。【００２５】
本技術の第２の側面においては、階層構造を有する画像の第１の階層の画像を符号化する際に用いる第１の参照画像に関する情報である第１の参照画像情報と、第２の階層の画像の第２の参照画像に関する情報である第２の参照画像情報とを用いて生成された前記第１の参照画像情報の生成に用いる参照画像生成情報と、前記第１の階層の画像の符号化データとが受け取られ、前記参照画像生成情報を用いて前記第１の参照画像情報が生成され、生成された前記第１の参照画像情報に基づいて、前記第１の階層の画像の符号化データが前記第１の参照画像を用いて復号される。【００２６】
なお、第１の側面の符号化装置及び第２の側面の復号装置は、コンピュータにプログラムを実行させることにより実現することができる。【００２７】
また、第１の側面の符号化装置および第２の側面の復号装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。【００２８】
第１の側面の符号化装置及び第２の側面の復号装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００２９】
本技術によれば、階層構造を有する画像の参照画像に関する情報を共有または予測することができる。
【図面の簡単な説明】
【００３０】
【図１】HEVC version1におけるVPSのシンタックスの一例を示す図である。
【図２】spatial scalabilityを説明する図である。
【図３】temporal scalabilityを説明する図である。
【図４】SNR scalabilityを説明する図である。
【図５】本技術を適用した第１実施の形態の概要を説明する図である。
【図６】本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。
【図７】ベースストリームのSPSのシンタックスの例を示す図である。
【図８】ベースストリームのSPSのシンタックスの例を示す図である。
【図９】ベースストリームのスライスヘッダのシンタックスの例を示す図である。
【図１０】ベースストリームのスライスヘッダのシンタックスの例を示す図である。
【図１１】ベースストリームのスライスヘッダのシンタックスの例を示す図である。
【図１２】ベースストリームのRPSのシンタックスの例を示す図である。
【図１３】図６のエンハンスメント符号化部の構成例を示すブロック図である。
【図１４】図１３の符号化部の構成例を示すブロック図である。
【図１５】CUを説明する図である。
【図１６】図１４の参照画像設定部の構成例を示すブロック図である。
【図１７】図１３の設定部により設定されるSPSのシンタックスの例を示す図である。
【図１８】図１３の設定部により設定されるSPSのシンタックスの例を示す図である。
【図１９】エンハンスメントストリームのスライスヘッダのシンタックスの構成例を示す図である。
【図２０】エンハンスメントストリームのスライスヘッダのシンタックスの構成例を示す図である。
【図２１】エンハンスメントストリームのスライスヘッダのシンタックスの構成例を示す図である。
【図２２】エンハンスメントストリームのRPSのシンタックスの例を示す図である。
【図２３】VPSのシンタックスの例を示す図である。
【図２４】図６の符号化装置の階層符号化処理を説明するフローチャートである。
【図２５】図２４のエンハンスメントストリーム生成処理の詳細を説明するフローチャートである。
【図２６】図２５の符号化処理の詳細を説明するフローチャートである。
【図２７】図２５の符号化処理の詳細を説明するフローチャートである。
【図２８】図２６の生成処理の詳細を説明するフローチャートである。
【図２９】本技術を適用した復号装置の第１実施の形態の構成例を示すブロック図である。
【図３０】図２９のエンハンスメント復号部の構成例を示すブロック図である。
【図３１】図３０の復号部の構成例を示すブロック図である。
【図３２】図３１の参照画像設定部の構成例を示すブロック図である。
【図３３】図２９の復号装置の階層復号処理を説明するフローチャートである。
【図３４】図３０のエンハンスメント画像生成処理を説明するフローチャートである。
【図３５】図３４の復号処理の詳細を説明するフローチャートである。
【図３６】図３５の生成処理の詳細を説明するフローチャートである。
【図３７】本技術を適用した第２実施の形態の概要を説明する図である。
【図３８】重み付け予測を説明する図である。
【図３９】本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。
【図４０】AVC方式におけるPPSのシンタックスの例を示す図である。
【図４１】AVC方式におけるPPSのシンタックスの例を示す図である。
【図４２】ベースストリームのPPSのシンタックスの例を示す図である。
【図４３】ベースストリームのPPSのシンタックスの例を示す図である。
【図４４】AVC方式におけるスライスヘッダのシンタックスの例を示す図である。
【図４５】AVC方式におけるスライスヘッダのシンタックスの例を示す図である。
【図４６】AVC方式における重み付け情報のシンタックスの例を示す図である。
【図４７】ベースストリームの重み付け情報のシンタックスの例を示す図である。
【図４８】図３９のエンハンスメント符号化部の構成例を示すブロック図である。
【図４９】図４８の符号化部の構成例を示すブロック図である。
【図５０】図４９の重みバッファと重み設定部の構成例を示すブロック図である。
【図５１】エンハンスメントストリームの重み付け情報のシンタックスの例を示す図である。
【図５２】エンハンスメントストリームの重み付け情報のシンタックスの例を示す図である。
【図５３】図４８のエンハンスメントストリーム生成処理を説明するフローチャートである。
【図５４】図５３の符号化処理の詳細を説明するフローチャートである。
【図５５】図５３の符号化処理の詳細を説明するフローチャートである。
【図５６】図５４の生成処理の詳細を説明するフローチャートである。
【図５７】本技術を適用した復号装置の第２実施の形態の構成例を示すブロック図である。
【図５８】図５７のエンハンスメント復号部の構成例を示すブロック図である。
【図５９】図５８の復号部の構成例を示すブロック図である。
【図６０】図５９の重みバッファと重み設定部の構成例を示すブロック図である。
【図６１】図５７の復号装置の階層復号処理を説明するフローチャートである。
【図６２】図５９の復号部の復号処理の詳細を説明するフローチャートである。
【図６３】図６２の生成処理の詳細を説明するフローチャートである。
【図６４】本技術を適用した第３実施の形態の概要を説明する図である。
【図６５】本技術を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。
【図６６】図６５のエンハンスメント符号化部の構成例を示すブロック図である。
【図６７】図６６の符号化部の構成例を示すブロック図である。
【図６８】図６６の設定部により設定されるSPSのシンタックスの例を示す図である。
【図６９】エンハンスメントストリームのスライスヘッダのシンタックスの例を示す図である。
【図７０】符号化装置における効果を説明する図である。
【図７１】図６５の符号化装置の階層符号化処理を説明するフローチャートである。
【図７２】図７１の階層符号化処理におけるSPS設定処理の詳細を説明するフローチャートである。
【図７３】図７１のエンハンスメント符号化処理におけるコピーフラグ設定処理の詳細を説明するフローチャートである。
【図７４】本開示を適用した復号装置の第３実施の形態の構成例を示すブロック図である。
【図７５】図７４のエンハンスメント復号部の構成例を示すブロック図である。
【図７６】図７５の復号部の構成例を示すブロック図である。
【図７７】図７４のエンハンスメント復号部のエンハンスメント画像生成処理を説明するフローチャートである。
【図７８】図７７のSPS抽出処理の詳細を説明するフローチャートである。
【図７９】図７７のエンハンスメント復号処理における生成処理の詳細を説明するフローチャートである。
【図８０】別コピーフラグ設定時のSPSのシンタックスの例を示す図である。
【図８１】別コピーフラグ設定時のエンハンスメントストリームのスライスヘッダのシンタックスの例を示す図である。
【図８２】別コピーフラグ設定時のSPS設定処理を説明するフローチャートである。
【図８３】別コピーフラグ設定時のコピーフラグ設定処理を説明するフローチャートである。
【図８４】別コピーフラグ設定時のSPS抽出処理を説明するフローチャートである。
【図８５】別コピーフラグ設定時の生成処理を説明するフローチャートである。
【図８６】第３の実施の形態におけるVPSの拡張部のシンタックスの例を示す図である。
【図８７】設定モード使用時のSPSのシンタックスの例を示す図である。
【図８８】設定モード使用時のエンハンスメントストリームのスライスヘッダのシンタックスの例を示す図である。
【図８９】設定モード使用時のSPS設定処理を説明するフローチャートである。
【図９０】設定モード使用時のコピーフラグ設定処理を説明するフローチャートである。
【図９１】設定モード使用時のSPS抽出処理を説明するフローチャートである。
【図９２】設定モード使用時の生成処理を説明するフローチャートである。
【図９３】符号化方式に基づく共通コピーフラグ設定時のSPSのシンタックスの例を示す図である。
【図９４】本技術を適用した符号化装置の第４実施の形態の構成例を示すブロック図である。
【図９５】図９４のエンハンスメント符号化部の構成例を示すブロック図である。
【図９６】図９５の符号化部の構成例を示すブロック図である。
【図９７】図９５の設定部により設定されるSPSのシンタックスの例を示す図である。
【図９８】エンハンスメントストリームのスライスヘッダのシンタックスの例を示す図である。
【図９９】一部RPSコピーフラグ用のRPSのシンタックスの例を示す図である。
【図１００】図９４の符号化装置のSPS設定処理を説明するフローチャートである。
【図１０１】図９４の符号化装置のコピーフラグ設定処理の詳細を説明するフローチャートである。
【図１０２】本開示を適用した復号装置の第４実施の形態の構成例を示すブロック図である。
【図１０３】図１０２のエンハンスメント復号部の構成例を示すブロック図である。
【図１０４】図１０３の復号部の構成例を示すブロック図である。
【図１０５】図１０２の復号装置のSPS抽出処理の詳細を説明するフローチャートである。
【図１０６】図１０２の復号装置の生成処理の詳細を説明するフローチャートである。
【図１０７】共通RPS設定時のRPSのシンタックスの例を示す図である。
【図１０８】共通RPS設定時のSPS設定処理を説明するフローチャートである。
【図１０９】共通RPS設定時のコピーフラグ設定処理の詳細を説明するフローチャートである。
【図１１０】共通RPS設定時のSPS抽出処理を説明するフローチャートである。
【図１１１】多視点画像符号化方式の例を示す図である。
【図１１２】Scalable機能による符号化の他の例を示す。
【図１１３】コンピュータのハードウエアの構成例を示すブロック図である。
【図１１４】本技術を適用したテレビジョン装置の概略構成例を示す図である。
【図１１５】本技術を適用した携帯電話機の概略構成例を示す図である。
【図１１６】本技術を適用した記録再生装置の概略構成例を示す図である。
【図１１７】本技術を適用した撮像装置の概略構成例を示す図である。
【図１１８】スケーラブル符号化利用の一例を示すブロック図である。
【図１１９】スケーラブル符号化利用の他の例を示すブロック図である。
【図１２０】スケーラブル符号化利用のさらに他の例を示すブロック図である。
【発明を実施するための形態】
【００３１】
＜scalable機能の説明＞
（spatial scalabilityの説明）
図２は、spatial scalabilityを説明する図である。
【００３２】
図２に示すように、spatial scalabilityは、画像を空間解像度で階層化して符号化するscalable機能である。具体的には、spatial scalabilityでは、低解像度の画像がベースレイヤの画像として符号化され、高解像度の画像と低解像度の画像の差分の画像がエンハンスメントレイヤの画像として符号化される。
【００３３】
従って、符号化装置は、処理能力の低い復号装置に対してベースレイヤの画像の符号化データのみを伝送することにより、復号装置は、低解像度の画像を生成することができる。また、符号化装置は、処理能力の高い復号装置に対してベースレイヤとエンハンスメントレイヤの画像の符号化データを伝送することにより、復号装置は、ベースレイヤとエンハンスメントレイヤの画像を復号して合成し、高解像度の画像を生成することができる。
【００３４】
（temporal scalabilityの説明）
図３は、temporal scalabilityを説明する図である。
【００３５】
上述したように、temporal scalabilityは、画像をフレームレートで階層化して符号化するscalable機能である。具体的には、図３に示すように、temporal scalabilityでは、例えば、低フレームレート（図３の例では7.5fps）の画像がベースレイヤの画像として符号化される。また、中フレームレート（図３の例では15fps）の画像と低フレームレートの画像の差分の画像がエンハンスメントレイヤの画像として符号化される。さらに、高フレームレート（図３の例では30fps）の画像と中フレームレートの画像の差分の画像がエンハンスメントレイヤの画像として符号化される。
【００３６】
従って、符号化装置は、処理能力の低い復号装置に対してベースレイヤの画像の符号化データのみを伝送することにより、復号装置は、低フレームレートの画像を生成することができる。また、符号化装置は、処理能力の高い復号装置に対してベースレイヤとエンハンスメントレイヤの画像の符号化データを伝送することにより、復号装置は、ベースレイヤとエンハンスメントレイヤの画像を復号して合成し、高フレームレートまたは中フレームレートの画像を生成することができる。
【００３７】
（SNR scalabilityの説明）
図４は、SNR scalabilityを説明する図である。
【００３８】
図４に示すように、SNR scalabilityは、画像をSNR(signal−noise ratio)で階層化して符号化するscalable機能である。具体的には、SNR scalabilityでは、低SNRの画像がベースレイヤの画像として符号化され、高SNRの画像と低SNRの画像の差分の画像がエンハンスメントレイヤの画像として符号化される。
【００３９】
従って、符号化装置は、処理能力の低い復号装置に対してベースレイヤの画像の符号化データのみを伝送することにより、復号装置は、低SNRの画像、即ち低画質の画像を生成することができる。また、符号化装置は、処理能力の高い復号装置に対してベースレイヤとエンハンスメントレイヤの画像の符号化データを伝送することにより、復号装置は、ベースレイヤとエンハンスメントレイヤの画像を復号して合成し、高SNRの画像、即ち高画質の画像を生成することができる。
【００４０】
なお、図示は省略するが、scalable機能としては、spatial scalability， temporal scalability、SNR scalabilityの他にも存在する。
【００４１】
例えば、scalable機能としては、画像をビット数で階層化して符号化するbit−depth scalabilityもある。この場合、例えば、8bitビデオの画像がベースレイヤの画像とされ、10bitビデオの画像と8bitビデオの画像の差分がエンハンスメントレイヤの画像とされ、符号化される。
【００４２】
また、scalable機能としては、画像を色差信号のフォーマットで階層化して符号化するchroma scalabilityもある。この場合、例えば、YUV420の画像がベースレイヤの画像とされ、YUV422の画像とYUV420の画像の差分の画像がエンハンスメントレイヤの画像とされ、符号化される。
【００４３】
なお、以下では、説明の便宜上、エンハンスメントレイヤが１つである場合について説明する。
【００４４】
＜第１実施の形態＞
（第１実施の形態の概要の説明）
図５は、本技術を適用した第１実施の形態の概要を説明する図である。
【００４５】
図５に示すように、第１実施の形態では、参照画像に関する情報としての参照画像を特定する情報（以下、参照画像特定情報という）が、同一階層間だけでなく、異なる階層間で共有または予測される。
【００４６】
（符号化装置の第１実施の形態の構成例）
図６は、本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。
【００４７】
図６の符号化装置１０は、ベース符号化部１１、エンハンスメント符号化部１２、合成部１３、および伝送部１４により構成され、scalable機能を用いてHEVC方式に準ずる方式で画像を符号化する。
【００４８】
符号化装置１０のベース符号化部１１には、外部からベースレイヤの画像（以下、ベース画像という）が入力される。ベース符号化部１１は、従来のHEVC方式の符号化装置と同様に構成され、ベース画像をHEVC方式で符号化する。但し、ベース符号化部１１は、ベース画像の符号化時に用いられた参照画像の参照画像特定情報をエンハンスメント符号化部１２に供給する。ベース符号化部１１は、符号化の結果得られる符号化データ、SPS，PPS等を含む符号化ストリームを、ベースストリームとして合成部１３に供給する。
【００４９】
エンハンスメント符号化部１２には、外部からエンハンスメントレイヤの画像（以下、エンハンスメント画像という）が入力される。エンハンスメント符号化部１２は、エンハンスメント画像をHEVC方式に準ずる方式で符号化する。また、エンハンスメント符号化部１２は、ベース画像の参照画像特定情報と、エンハンスメント画像の符号化時に用いられた参照画像の参照画像特定情報とを用いて、エンハンスメント画像の参照画像特定情報の生成に用いる参照画像特定生成情報（参照画像生成情報）を生成する。
【００５０】
エンハンスメント符号化部１２は、エンハンスメント画像の符号化データに参照画像特定生成情報等を付加して符号化ストリームを生成し、エンハンスメントストリームとして合成部１３に供給する。
【００５１】
合成部１３は、ベース符号化部１１から供給されるベースストリームとエンハンスメント符号化部１２から供給されるエンハンスメントストリームを合成し、VPSなどを付加して、全階層の符号化ストリームを生成する。合成部１３は、全階層の符号化ストリームを伝送部１４に供給する。
【００５２】
伝送部１４は、合成部１３から供給される全階層の符号化ストリームを後述する復号装置に伝送する。
【００５３】
なお、ここでは、符号化装置１０は、全階層の符号化ストリームを伝送するものとするが、必要に応じて、ベースストリームのみを伝送することもできる。
【００５４】
（ベースストリームのSPSのシンタックスの例）
図７および図８は、ベースストリームに含まれるSPSのシンタックスの例を示す図である。
【００５５】
図８の９行目乃至１１行目に示すように、ベースストリームのSPSには、そのSPSに対応するGOP（Group of Picture）のshort termの参照画像特定情報であるRPS(reference picture set)に関する情報が含まれる。具体的には、SPSには、そのSPSに含まれるRPSの数(num_short_term_ref_pic_sets)と、RPS（short_term_ref_pic_set）が含まれる。RPSには、0から順にインデックスが付与されている。
【００５６】
また、１２行目乃至１７行目に示すように、SPSには、long termの参照画像特定情報に関する情報が記述される。具体的には、SPSには、long termの参照画像が使用可能であるかどうかを示すlong termフラグ(long_term_ref_pics_present_flag)が含まれる。
【００５７】
また、long termフラグが、long termの参照画像が使用可能であることを示す1である場合、SPSには、そのSPSに含まれるlong termの参照画像特定情報の数(num_long_term_ref_pics_sps)が含まれる。また、long termの参照画像特定情報としての参照画像のPOC（Picture Order Count）の最下位ビットを示す情報（lt_ref_pic_poc_lsb_sps）が含まれる。さらに、参照画像特定情報で特定される参照画像が自分自身によって参照されないかどうかを示す参照フラグ(used_by_curr_pic_lt_sps_flag)が記述される。long termの参照画像特定情報には0から順にインデックスが付与される。
【００５８】
なお、以下では、RPSとlong termの参照画像特定情報を特に区別する必要がない場合、単に、参照画像特定情報という。
【００５９】
（ベースストリームのスライスヘッダのシンタックスの例）
図９乃至図１１は、ベースストリームに含まれる符号化データにスライス単位で付加されるヘッダであるスライスヘッダのシンタックスの例を示す図である。
【００６０】
図９の１８行目に示すように、ベースストリームのスライスヘッダには、対応するスライスのRPSがSPSに含まれるRPSであることを示すRPSフラグ（short_term_ref_pic_set_sps_flag）が含まれる。
【００６１】
また、１９行目と２０行目に示すように、RPSフラグが、対応するスライスのRPSがSPSに含まれるRPSではないことを示す0である場合、スライスヘッダには、対応するスライスのRPSが、インデックスがnum_short_term_ref_pic_setsであるRPS(short_term_ref_pic_set(num_short_term_ref_pic_sets))として含まれる。
【００６２】
２１行目および２２行目に示すように、RPSフラグが、対応するスライスのRPSがSPSに含まれるRPSであることを示す1である場合、スライスヘッダには、対応するスライスのRPSのインデックス（short_term_ref_pic_set_idx）が含まれる。
【００６３】
また、２３行目乃至２６行目に示すように、スライスヘッダには、対応するSPSに含まれるlong termフラグが1である場合、そのSPSに含まれるlong termの参照画像特定情報の数であるSPS内数(num_long_term_sps)と、そのスライスヘッダに含まれるlong termの参照画像特定情報の数であるSPS外数(num_long_term_pics)が含まれる。
【００６４】
さらに、２７行目乃至２９行目に示すように、スライスヘッダには、対応するスライスにおけるlong termの参照画像特定情報のうちの、SPSに含まれるlong termの参照画像特定情報のインデックス（lt_idx_sps）が含まれる。また、３０行目乃至３２行目に示すように、スライスヘッダには、対応するスライスにおけるlong termの参照画像特定情報のうちの、SPSに含まれないlong termの参照画像特定情報としての参照画像のPOCの最下位ビットを示す情報（poc_lsb_sps）と参照フラグ(used_by_curr_pic_lt_flag)が含まれる。
【００６５】
（ベースストリームのRPSのシンタックスの例）
図１２は、ベースストリームのRPSのシンタックスの例を示す図である。
【００６６】
図１２の２行目に示すように、RPSには、inter_ref_pic_set_prediction_flagが含まれる。inter_ref_pic_set_prediction_flagは、符号化対象の画像のGOP内の符号化対象の画像より符号化順で前の画像である前画像の参照画像特定情報を、符号化対象の画像の参照画像特定情報として用いるかを示す参照情報である。
【００６７】
参照情報は、前画像の参照画像特定情報を符号化対象の画像の参照画像特定情報として用いることを示す場合１であり、前画像の参照画像特定情報を符号化対象の画像の参照画像特定情報として用いないことを示す場合０である。
【００６８】
図１２の３行目乃至５行目に示すように、inter_ref_pic_set_prediction_flagが１である場合、RPSには、前画像を特定する前画像特定情報（delta_idx_minus1）が含まれる。delta_idx_minus1は、具体的には、符号化対象の画像の符号化番号（Coding Order）から前画像の符号化番号を減算した値から１を減算した値である。ここで、符号化番号とは、GOP内の各画像に対して、符号化順に、小さい値から付与される番号である。
【００６９】
また、図１２の６行目と７行目に示すように、RPSには、前画像の参照画像特定情報（のPOC）と符号化対象の画像の参照画像特定情報（のPOC）の差分の符号（delta_rps_sign）、その差分の絶対値（abs_delta_rps_minus1）が含まれる。
【００７０】
また、図１２の８行目と９行目に示すように、RPSには、参照画像特定情報で特定される参照画像を使用するかどうかを表すフラグ（used_by_curr_pic_lt_flag）が含まれる。また、１０行目と１１行目に示すように、フラグ（used_by_curr_pic_lt_flag）が、参照画像特定情報で特定される参照画像を使用しないことを表す0である場合、RPSには、その参照画像がRPSに含まれるかどうかを表すフラグ（use_delta_flag）が含まれる。
【００７１】
また、図１２の１４行目乃至２３行目に示すように、inter_ref_pic_set_prediction_flagが０である場合、RPSには、参照画像の数やPOCを示す情報等が含まれる。
【００７２】
（エンハンスメント符号化部の構成例）
図１３は、図６のエンハンスメント符号化部１２の構成例を示すブロック図である。
【００７３】
図１３のエンハンスメント符号化部１２は、符号化部２１と設定部２２により構成される。
【００７４】
エンハンスメント符号化部１２の符号化部２１は、外部から入力されるフレーム単位のエンハンスメント画像を入力信号とする。符号化部２１は、ベース符号化部１１からの参照画像特定情報、設定部２２からの参照画像特定生成情報などを参照して、HEVC方式に準ずる方式で入力信号を符号化する。符号化部２１は、その結果得られる符号化データを設定部２２に供給する。
【００７５】
設定部２２は、参照画像特定生成情報を設定する。この参照画像特定生成情報のうちの参照画像特定情報や参照画像特定情報の差分には、0から順にインデックスが付与されている。設定部２２は、参照画像特定生成情報を符号化部２１に供給する。また、設定部２２は、参照画像特定生成情報を含むSPS，PPSなどを設定する。
【００７６】
設定部２２は、設定されたSPSおよびPPSと、符号化部２１から供給される符号化データとから符号化ストリームを生成し、エンハンスメントストリームとして合成部１３に供給する。
【００７７】
（符号化部の構成例）
図１４は、図１３の符号化部２１の構成例を示すブロック図である。
【００７８】
図１４の符号化部２１は、A/D変換部３１、画面並べ替えバッファ３２、演算部３３、直交変換部３４、量子化部３５、可逆符号化部３６、蓄積バッファ３７、逆量子化部３８、逆直交変換部３９、加算部４０、デブロックフィルタ４１、適応オフセットフィルタ４２、適応ループフィルタ４３、フレームメモリ４４、スイッチ４５、イントラ予測部４６、動き予測・補償部４７、予測画像選択部４８、参照バッファ４９、参照画像設定部５０、およびレート制御部５１により構成される。
【００７９】
具体的には、符号化部２１のA/D変換部３１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ３２に出力して記憶させる。画面並べ替えバッファ３２は、記憶した表示の順番のフレーム単位の画像を、GOP構造に応じて、符号化のための順番に並べ替え、演算部３３、イントラ予測部４６、および動き予測・補償部４７に出力する。
【００８０】
演算部３３は、符号化部として機能し、予測画像選択部４８から供給される予測画像と、画面並べ替えバッファ３２から出力された符号化対象の画像の差分を演算することにより符号化を行う。具体的には、演算部３３は、画面並べ替えバッファ３２から出力された符号化対象の画像から、予測画像選択部４８から供給される予測画像を減算することにより符号化を行う。演算部３３は、その結果得られる画像を、残差情報として直交変換部３４に出力する。なお、予測画像選択部４８から予測画像が供給されない場合、演算部３３は、画面並べ替えバッファ３２から読み出された画像をそのまま残差情報として直交変換部３４に出力する。
【００８１】
直交変換部３４は、演算部３３からの残差情報を直交変換し、生成された直交変換係数を量子化部３５に供給する。
【００８２】
量子化部３５は、直交変換部３４から供給される直交変換係数に対して量子化を行い、その結果得られる係数を、可逆符号化部３６に供給する。
【００８３】
可逆符号化部３６は、最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）をイントラ予測部４６から取得する。また、可逆符号化部３６は、動き予測・補償部４７から供給される最適インター予測モードを示す情報（以下、インター予測モード情報という）と動きベクトルなどを動き予測・補償部４７から取得する。さらに、可逆符号化部３６は、参照画像特定生成情報、RPSフラグなどを参照画像設定部５０から取得する。
【００８４】
また、可逆符号化部３６は、適応オフセットフィルタ４２からオフセットフィルタに関するオフセットフィルタ情報を取得し、適応ループフィルタ４３からフィルタ係数を取得する。
【００８５】
可逆符号化部３６は、量子化部３５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context−Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context−Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行う。
【００８６】
また、可逆符号化部３６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、参照画像特定生成情報、およびRPSフラグ、オフセットフィルタ情報、並びにフィルタ係数を、符号化に関する符号化情報として可逆符号化する。可逆符号化部３６は、可逆符号化された符号化情報をスライスヘッダとし、可逆符号化された係数を符号化データとして、符号化データにスライスヘッダを付加する。可逆符号化部３６は、スライスヘッダが付加された符号化データを蓄積バッファ３７に供給し、蓄積させる。
【００８７】
蓄積バッファ３７は、可逆符号化部３６から供給される符号化データを、一時的に記憶する。また、蓄積バッファ３７は、記憶している符号化データを、図１３の設定部２２に供給する。
【００８８】
また、量子化部３５より出力された、量子化された係数は、逆量子化部３８にも入力される。逆量子化部３８は、量子化部３５により量子化された係数に対して逆量子化を行い、その結果得られる直交変換係数を逆直交変換部３９に供給される。
【００８９】
逆直交変換部３９は、逆量子化部３８から供給される直交変換係数に対して4次の逆直交変換を行い、その結果得られる残差情報を加算部４０に供給する。
【００９０】
加算部４０は、逆直交変換部３９から供給される残差情報と、予測画像選択部４８から供給される予測画像を加算して、局部的に復号された画像を得る。なお、予測画像選択部４８から予測画像が供給されない場合、加算部４０は、逆直交変換部３９から供給される残差情報を局部的に復号された画像とする。加算部４０は、局部的に復号された画像をデブロックフィルタ４１に供給するとともに、フレームメモリ４４に供給して蓄積させる。
【００９１】
デブロックフィルタ４１は、加算部４０から供給される局部的に復号された画像に対して、ブロック歪を除去する適応デブロックフィルタ処理を行い、その結果得られる画像を適応オフセットフィルタ４２に供給する。
【００９２】
適応オフセットフィルタ４２は、デブロックフィルタ４１による適応デブロックフィルタ処理後の画像に対して、主にリンギングを除去する適応オフセットフィルタ(SAO（Sample adaptive offset)）処理を行う。
【００９３】
具体的には、適応オフセットフィルタ４２は、最大の符号化単位であるLCU（Largest Coding Unit）ごとに適応オフセットフィルタ処理の種類を決定し、その適応オフセットフィルタ処理で用いられるオフセットを求める。適応オフセットフィルタ４２は、求められたオフセットを用いて、適応デブロックフィルタ処理後の画像に対して、決定された種類の適応オフセットフィルタ処理を行う。そして、適応オフセットフィルタ４２は、適応オフセットフィルタ処理後の画像を適応ループフィルタ４３に供給する。
【００９４】
また、適応オフセットフィルタ４２は、オフセットを格納するバッファを有している。適応オフセットフィルタ４２は、LCUごとに、適応オフセットフィルタ処理に用いられたオフセットが既にバッファに格納されているかどうかを判定する。
【００９５】
適応オフセットフィルタ４２は、適応オフセットフィルタ処理に用いられたオフセットが既にバッファに格納されていると判定した場合、オフセットがバッファに格納されているかを示す格納フラグを、オフセットがバッファに格納されていることを示す値（ここでは１）に設定する。
【００９６】
そして、適応オフセットフィルタ４２は、LCUごとに、１に設定された格納フラグ、バッファにおけるオフセットの格納位置を示すインデックス、および、行われた適応オフセットフィルタ処理の種類を示す種類情報を、オフセットフィルタ情報として可逆符号化部３６に供給する。
【００９７】
一方、適応オフセットフィルタ４２は、適応オフセットフィルタ処理に用いられたオフセットがまだバッファに格納されていない場合、そのオフセットをバッファに格納する。また、適応オフセットフィルタ４２は、格納フラグを、オフセットがバッファに格納されていないことを示す値（ここでは０）に設定する。そして、適応オフセットフィルタ４２は、LCUごとに、０に設定された格納フラグ、オフセット、および種類情報を、オフセットフィルタ情報として可逆符号化部３６に供給する。
【００９８】
適応ループフィルタ４３は、例えば、２次元のウィナーフィルタ（Wiener Filter）により構成される。適応ループフィルタ４３は、適応オフセットフィルタ４２から供給される適応オフセットフィルタ処理後の画像に対して、例えば、LCUごとに、適応ループフィルタ（ALF(Adaptive Loop Filter)）処理を行う。
【００９９】
具体的には、適応ループフィルタ４３は、LCUごとに、画面並べ替えバッファ３２から出力される画像である原画像と適応ループフィルタ処理後の画像の残差が最小となるように、適応ループフィルタ処理で用いられるフィルタ係数を算出する。そして、適応ループフィルタ４３は、適応オフセットフィルタ処理後の画像に対して、算出されたフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。
【０１００】
適応ループフィルタ４３は、適応ループフィルタ処理後の画像をフレームメモリ４４に供給する。また、適応ループフィルタ４３は、フィルタ係数を可逆符号化部３６に供給する。
【０１０１】
なお、ここでは、適応ループフィルタ処理は、LCUごとに行われるものとするが、適応ループフィルタ処理の処理単位は、LCUに限定されない。但し、適応オフセットフィルタ４２と適応ループフィルタ４３の処理単位を合わせることにより、処理を効率的に行うことができる。
【０１０２】
フレームメモリ４４は、適応ループフィルタ４３から供給される画像と、加算部４０から供給される画像を蓄積する。フレームメモリ４４に蓄積された画像は、参照画像としてスイッチ４５を介してイントラ予測部４６または動き予測・補償部４７に出力される。
【０１０３】
イントラ予測部４６は、フレームメモリ４４からスイッチ４５を介して読み出された参照画像を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。
【０１０４】
また、イントラ予測部４６は、画面並べ替えバッファ３２から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部４６は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。
【０１０５】
イントラ予測部４６は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部４８に供給する。イントラ予測部４６は、予測画像選択部４８から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部３６に供給する。
【０１０６】
なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。なお、H．264/AVC方式における参照ソフトウエアは、http://iphome.hhi.de/suehring/tml/index.htmにおいて公開されている。
【０１０７】
具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に復号までが行われ、次の式（１）で表わされるコスト関数値が各予測モードに対して算出される。
【０１０８】
【数１】
2014050748.tif 000003
【０１０９】
Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ未定乗数である。
【０１１０】
一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、予測画像の生成、および、符号化情報の符号量の算出が行われ、次の式（２）で表わされるコスト関数が各予測モードに対して算出される。
【０１１１】
【数２】
2014050748.tif 000004
【０１１２】
Dは、原画像と予測画像の差分（歪）、Header_Bitは、符号化情報の符号量、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
【０１１３】
Low Complexity モードにおいては、全ての予測モードに対して、予測画像を生成するだけでよく、復号画像を生成する必要がないため、演算量が少なくて済む。
【０１１４】
動き予測・補償部４７は、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部４７は、画面並べ替えバッファ３２から供給される画像と、フレームメモリ４４からスイッチ４５を介して読み出される参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。なお、参照画像は、例えば、ユーザにより設定される。動き予測・補償部４７は、検出された動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。
【０１１５】
このとき、動き予測・補償部４７は、画面並べ替えバッファ３２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部４７は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部４８に供給する。また、動き予測・補償部４７は、予測画像選択部４８から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトルなどを可逆符号化部３６に出力し、参照画像特定情報を参照画像設定部５０に出力する。
【０１１６】
予測画像選択部４８は、イントラ予測部４６および動き予測・補償部４７から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部４８は、最適予測モードの予測画像を、演算部３３および加算部４０に供給する。また、予測画像選択部４８は、最適予測モードの予測画像の選択をイントラ予測部４６または動き予測・補償部４７に通知する。
【０１１７】
参照バッファ４９は、図６のベース符号化部１１から供給されるベース画像の符号化時に用いられた参照画像の参照画像特定情報を記憶する。
【０１１８】
参照画像設定部５０は、動き予測・補償部４７から供給される参照画像特定情報と、参照バッファ４９に記憶されている参照画像特定情報を比較し、エンハンスメント画像の参照画像特定情報の予測モードを決定する。ここでは、参照画像特定情報の予測モードとしては、コピーモード、差分予測モード、および非予測モードがあるものとする。
【０１１９】
コピーモードとは、エンハンスメント画像の参照画像特定情報として、参照する他のレイヤ（ここでは、ベースレイヤ）である参照レイヤの参照画像特定情報を用いる予測モードである。差分予測モードとは、エンハンスメント画像の参照画像特定情報と参照レイヤの参照画像特定情報の差分と、参照レイヤの参照画像特定情報とを加算することにより、エンハンスメント画像の参照画像特定情報を予測する予測モードである。非予測モードとは、エンハンスメント画像の参照画像特定情報を参照レイヤの参照画像特定情報と独立して設定する予測モードである。
【０１２０】
参照画像設定部５０は、参照画像特定情報の予測モードがコピーモードである場合、図１３の設定部２２から供給される参照画像特定生成情報としての参照画像特定情報の予測モードがコピーモードであるとき、RPSフラグとしての1を可逆符号化部３６に供給する。一方、設定部２２から供給される参照画像特定生成情報としての参照画像特定情報の予測モードがコピーモードではないとき、RPSフラグとしての0を可逆符号化部３６に供給するとともに、コピーモードを参照画像特定生成情報として設定し、可逆符号化部３６に供給する。
【０１２１】
また、参照画像設定部５０は、参照画像特定情報の予測モードが差分予測モードである場合、エンハンスメント画像の参照画像特定情報とベース画像の参照画像特定情報の差分を演算する。そして、参照画像設定部５０は、演算された参照画像特定情報の差分と、設定部２２から供給される参照画像特定生成情報としての参照画像特定情報の差分とを比較する。
【０１２２】
そして、参照画像設定部５０は、両方の差分が同一である場合、対応するインデックスを認識し、RPSフラグとしての1を可逆符号化部３６に供給するとともに、インデックスを参照画像特定生成情報として設定し、可逆符号化部３６に供給する。
【０１２３】
一方、両方の差分が同一ではない場合、参照画像設定部５０は、RPSフラグとしての0を可逆符号化部３６に供給するとともに、演算された参照画像特定情報の差分を参照画像特定生成情報として設定し、可逆符号化部３６に供給する。
【０１２４】
また、参照画像設定部５０は、参照画像特定情報の予測モードが非予測モードである場合、エンハンスメント画像の参照画像特定情報と、設定部２２から供給される参照画像特定生成情報としての参照画像特定情報とを比較する。そして、参照画像設定部５０は、両方の参照画像特定情報が同一である場合、対応するインデックスを認識し、RPSフラグとしての1を可逆符号化部３６に供給するとともに、インデックスを参照画像特定生成情報として設定し、可逆符号化部３６に供給する。
【０１２５】
一方、両方の参照画像特定情報が同一ではない場合、参照画像設定部５０は、RPSフラグとしての0を可逆符号化部３６に供給するとともに、エンハンスメント画像の参照画像特定情報を参照画像特定生成情報として設定し、可逆符号化部３６に供給する。
【０１２６】
レート制御部５１は、蓄積バッファ３７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部３５の量子化動作のレートを制御する。
【０１２７】
（符号化処理単位の説明）
図１５は、HEVC方式における符号化単位であるCoding UNIT(CU)を説明する図である。
【０１２８】
HEVC方式では、4000画素×2000画素のUHD（Ultra High Definition）などのような大きな画枠の画像も対象としているため、符号化単位のサイズを16画素×16画素に固定することは最適ではない。従って、HEVC方式では、符号化単位としてCUが定義されている。
【０１２９】
CUは、Coding Tree Block（CTB）とも呼ばれ、AVC方式におけるマクロブロックと同様の役割を果たす。具体的には、CUは、イントラ予測またはインター予測の単位であるPrediction Unit(PU)に分割されたり、直交変換の単位であるTransform Unit(TU)に分割されたりする。但し、CUのサイズは、シーケンスごとに可変の、2のべき乗画素で表される正方形である。また、現在、HEVC方式においては、TUのサイズとして、4×4画素、8×8画素のほか、16×16画素および32×32画素も用いることが可能である。
【０１３０】
図１５の例では、最大のサイズのCUであるLCU(Largest Coding Unit)のサイズが128であり、最小のサイズのCUであるSCU(Smallest Coding Unit)のサイズが8である。従って、Nごとに階層化された2N×2NのサイズのCUの階層深度（depth）は0乃至4となり、階層深度数は5となる。また、2N×2NのサイズのCUは、split_flagの値が1である場合、1つ下の階層である、N×NのサイズのCUに分割される。
【０１３１】
LCUとSCUのサイズを指定する情報は、SPSに含められる。なお、CUの詳細については、非特許文献１に記載されている。
【０１３２】
（参照画像設定部の構成例）
図１６は、図１４の参照画像設定部５０の構成例を示すブロック図である。
【０１３３】
図１６の参照画像設定部５０は、取得部７１、判定部７２、および生成部７３により構成される。
【０１３４】
参照画像設定部５０の取得部７１は、図１４の動き予測・補償部４７から参照画像特定情報を取得し、判定部７２と生成部７３に供給する。
【０１３５】
判定部７２は、参照バッファ４９からベース画像の参照画像特定情報を読み出す。判定部７２は、読み出されたベース画像の参照画像特定情報と、取得部７１から供給される参照画像特定情報を比較する。そして、判定部７２は、読み出されたベース画像の参照画像特定情報と、取得部７１から供給される参照画像特定情報が同一である場合、参照画像特定情報の予測モードをコピーモードに決定する。判定部７２は、コピーモードを生成部７３に供給する。
【０１３６】
また、判定部７２は、図１３の設定部２２から参照画像特定生成情報として供給される参照画像特定情報の予測モードがコピーモードであるかどうかを判定する。参照画像特定生成情報として供給される参照画像特定情報の予測モードがコピーモードであると判定された場合、判定部７２は、RPSフラグとしての1を図１４の可逆符号化部３６に供給する。一方、参照画像特定生成情報として供給される参照画像特定情報の予測モードがコピーモードではないと判定された場合、判定部７２は、RPSフラグとしての0を可逆符号化部３６に供給するとともに、コピーモードを参照画像特定生成情報として可逆符号化部３６に供給する。
【０１３７】
生成部７３は、判定部７２からコピーモードが供給されない場合、参照バッファ４９からベース画像の参照画像特定情報を読み出す。生成部７３は、ユーザからの入力に基づいて、参照画像特定情報の予測モードを差分予測モードまたは非予測モードに決定し、参照画像特定生成情報として可逆符号化部３６に供給する。
【０１３８】
参照画像特定情報の予測モードが差分予測モードに決定された場合、生成部７３は、読み出されたベース画像の参照画像特定情報と、取得部７１から供給される参照画像特定情報の差分を演算する。そして、生成部７３は、演算された参照画像特定情報の差分と、設定部２２から供給される参照画像特定生成情報としての参照画像特定情報の差分とを比較する。
【０１３９】
生成部７３は、両方の差分が同一である場合、対応するインデックスを認識し、RPSフラグとしての1を可逆符号化部３６に供給するとともに、インデックスを参照画像特定生成情報として可逆符号化部３６に供給する。
【０１４０】
一方、両方の差分が同一ではない場合、生成部７３は、RPSフラグとしての0を可逆符号化部３６に供給するとともに、演算された差分を参照画像特定生成情報として可逆符号化部３６に供給する。
【０１４１】
また、参照画像特定情報の予測モードが非予測モードに決定された場合、生成部７３は、取得部７１から供給される参照画像特定情報と、設定部２２から供給される参照画像特定生成情報としての参照画像特定情報とを比較する。そして、生成部７３は、両方の参照画像特定情報が同一である場合、対応するインデックスを認識し、RPSフラグとしての1を可逆符号化部３６に供給するとともに、インデックスを参照画像特定生成情報として可逆符号化部３６に供給する。
【０１４２】
一方、両方の参照画像特定情報が同一ではない場合、生成部７３は、RPSフラグとしての0を可逆符号化部３６に供給するとともに、取得部７１から供給される参照画像特定情報を参照画像特定生成情報として可逆符号化部３６に供給する。
【０１４３】
（エンハンスメントストリームのSPSのシンタックスの例）
図１７および図１８は、図１３の設定部２２により設定されるSPSのシンタックスの例を示す図である。
【０１４４】
図１８の９行目に示すように、SPSには、参照画像特定生成情報として、RPSの予測モードを表すRPS予測モード情報(short_term_ref_pic_pred_mode)が含まれる。RPS予測モード情報は、コピーモードを表す場合0であり、差分予測モードを表す場合1であり、非予測モードを表す場合2である。
【０１４５】
１０行目乃至１３行目に示すように、RPS予測モード情報が0以外である場合、SPSには、RPSの予測モードごとにRPSやRPSの差分が含まれる。RPSやRPSの差分には、0から順にインデックスが付与されている。
【０１４６】
１５行目に示すように、SPSには、ベースストリームのSPSと同様に、long termフラグ(long_term_ref_pics_present_flag)が含まれる。１６行目と１７行目に示すように、long termフラグが1である場合、SPSには、参照画像特定生成情報として、long termの参照画像特定情報の予測モードを表すlong term予測モード情報(long_term_ref_pic_pred_mode)が含まれる。long term予測モード情報(long_term_ref_pic_pred_mode)は、コピーモードを表す場合0であり、差分予測モードを表す場合1であり、非予測モードを表す場合2である。
【０１４７】
１８行目乃至２２行目に示すように、long term予測モード情報が2である場合、SPSには、ベースストリームのSPSと同様のlong termの参照画像特定情報の数、long termの参照画像特定情報、および参照フラグが、参照画像特定生成情報として含まれる。long termの参照画像特定情報には0から順にインデックスが付与される。
【０１４８】
一方、long term予測モード情報が1である場合、２４乃至２７行目に示すように、SPSには、そのSPSに含まれるlong termの参照画像特定情報の数と参照レイヤのSPSに含まれるlong termの参照画像特定情報の数との差分（diff_num_long_term_ref_pics_sps）、同一のインデックスが付与された、long termの参照画像特定情報と参照レイヤのSPSに含まれるlong termの参照画像特定情報の差分（diff_lt_ref_pic_poc_lsb_sps）が、参照画像特定生成情報として含まれる。
【０１４９】
なお、long term予測モード情報が1である場合、エンハンスメントストリームのSPSには参照フラグは含まれず、参照フラグは、参照レイヤの参照フラグとされる。
【０１５０】
（エンハンスメントストリームのスライスヘッダのシンタックスの例）
図１９乃至図２１は、エンハンスメントストリームのスライスヘッダのシンタックスの構成例を示す図である。
【０１５１】
図１９の１８行目に示すように、エンハンスメントストリームのスライスヘッダには、ベースストリームのスライスヘッダと同様に、RPSフラグが含まれる。また、１９行目と２０行目に示すように、RPSフラグが0である場合、スライスヘッダには、対応するスライスのRPSモード情報が参照画像特定生成情報として含まれる。
【０１５２】
図１９の２１行目と２２行目に示すように、RPS予測モード情報が0以外である場合、スライスヘッダには、対応するスライスのRPSまたはRPSの差分が、RPSの予測モードごとに、インデックスがnum_short_term_ref_pic_setsであるshort_term_ref_pic_setとして含まれる。
【０１５３】
また、図１９の２３行目と２４行目に示すように、RPS予測モード情報が0以外であり、RPSフラグが1である場合、スライスヘッダには、対応するスライスのRPSまたはRPSの差分のインデックス（short_term_ref_pic_set_idx）が含まれる。
【０１５４】
また、図１９の２５行目と２６行目に示すように、SPSに含まれるlong termフラグが1である場合、スライスヘッダには、参照画像特定生成情報としてlong term予測モード情報が含まれる。
【０１５５】
図１９の２７行目乃至３０行目に示すように、long term予測モード情報が2である場合、スライスヘッダには、ベースストリームと同様に、SPS内数とSPS外数が参照画像特定生成情報として含まれる。
【０１５６】
また、図１９の３１行目乃至３６行目に示すように、スライスヘッダには、ベースストリームと同様に、インデックス（lt_idx_sps）、情報（poc_lsb_sps）、および参照フラグ(used_by_curr_pic_lt_flag)が参照画像特定生成情報として含まれる。
【０１５７】
また、図１９の３８行目に示すように、スライスヘッダには、long termの参照画像のPOCの最上位ビットを示す最上位ビット情報（delta_poc_msb_cycle_lt）が存在するかどうかを表す最上位ビットフラグ（delta_poc_msb_present_flag）が含まれる。また、３９行目と４０行目に示すように、最上位ビットフラグが、最上位ビット情報が存在することを表す1である場合、スライスヘッダには、最上位ビット情報が含まれる。
【０１５８】
一方、図１９の４２行目乃至４５行目に示すように、long term予測モード情報が1である場合、スライスヘッダには、対応するスライスのSPS内数と参照レイヤのSPS内数の差分（diff_num_long_term_sps）と、対応するスライスのSPS外数と参照レイヤのSPS外数の差分（diff_num_long_term_pics）とが参照画像特定生成情報として含まれる。
【０１５９】
また、図１９の４６行目および図２０の１行目乃至４行目に示すように、スライスヘッダには、インデックス（lt_idx_sps）と、情報(poc_lsb_lt)と参照レイヤの情報(poc_lsb_lt)との差分(diff_poc_lsb_lt)が、参照画像特定生成情報として含まれる。
【０１６０】
なお、long term予測モード情報が1である場合、エンハンスメントストリームのスライスヘッダには、参照フラグと最上位ビットフラグは含まれず、参照フラグと最上位ビットフラグは、それぞれ、参照レイヤの参照フラグ、最上位ビットフラグとされる。
【０１６１】
また、図２０の６行目と７行目に示すように、最上位ビットフラグが1である場合、スライスヘッダには、対応するスライスの最上位ビット情報と参照レイヤの最上位ビット情報との差分（diff_delta_poc_msb_cycle_lt）が含まれる。
【０１６２】
（エンハンスメントストリームのRPSのシンタックスの例）
図２２は、エンハンスメントストリームのRPSのシンタックスの例を示す図である。
【０１６３】
図２２の２行目に示すように、エンハンスメントストリームのRPSには、ベースストリームのRPSと同様に参照情報が含まれる。３行目乃至１３行目に示すように、参照情報が1であり、RPS予測モードが2である場合、エンハンスメントストリームのRPSには、ベースストリームのRPSと同様に、前画像特定情報、符号（delta_rps_sign）、絶対値（abs_delta_rps_minus1）、フラグ（used_by_curr_pic_lt_flag）、およびフラグ（use_delta_flag）が参照画像特定生成情報として含まれる。
【０１６４】
また、１４行目乃至１７行目に示すように、参照情報が1であり、RPS予測モードが1である場合、RPSには、対応するスライスの前画像特定情報と参照レイヤの前画像特定情報の差分(diff_delta_idx_minus1)、および、対応するスライスの絶対値(abs_delta_rps_minus1）と参照レイヤの絶対値(abs_delta_rps_minus1）の差分（diff_abs_delta_rps_minus1）が含まれる。
【０１６５】
なお、long term予測モード情報が1である場合、エンハンスメントストリームのスライスヘッダには、符号（delta_rps_sign）、フラグ（used_by_curr_pic_lt_flag）、およびフラグ（use_delta_flag）は含まれず、符号（delta_rps_sign）、フラグ（used_by_curr_pic_lt_flag）、およびフラグ（use_delta_flag）は、それぞれ、参照レイヤの符号（delta_rps_sign）、フラグ（used_by_curr_pic_lt_flag）、およびフラグ（use_delta_flag）とされる。
【０１６６】
一方、２１行目乃至３２行目に示すように、参照情報が0であり、RPS予測モードが2である場合、RPSには、ベースストリームのRPSと同様に、参照画像の数やPOC等の情報が含まれる。また、３３行目乃至４０行目に示すように、参照情報が0であり、RPS予測モードが1である場合、RPSには、対応するスライスの参照画像の数やPOC等の情報と、参照レイヤの参照画像の数やPOC等の情報との差分が含まれる。
【０１６７】
（VPSのシンタックスの例）
図２３は、VPSのシンタックスの例を示す図である。
【０１６８】
図２３の６行目に示すように、VPSには、scalabilityのレイヤ数を示す情報(vps_max_layer_minus1）が含まれる。また、７行目に示すように、VPSには、従来と同様に、temporal scalabilityのレイヤ数を示す情報（vps_max_sub_layer_minus1）が含まれる。
【０１６９】
また、１５行目に示すように、VPSには、インデックスが0であるベースレイヤを特定する情報としてのベースレイヤと参照レイヤの差分(diff_ref_layer[0]）として0が含まれる。さらに、１６行目および１７行目に示すように、VPSには、各エンハンスメントレイヤの差分（diff_ref_layer）が含まれる。
【０１７０】
ここで、現在のレイヤをcurr_layerとし、参照レイヤをref_layerとすると、参照レイヤref_layerは、差分diff_ref_layerを用いて以下の式（３）で表される。
【０１７１】
【数３】
2014050748.tif 000005
【０１７２】
従って、エンハンスメントレイヤの差分（diff_ref_layer）が0である場合、エンハンスメントストリームは、ベースストリームと同様に、他のレイヤの参照画像特定情報等を参照せずに生成される。
【０１７３】
（符号化装置の処理の説明）
図２４は、図６の符号化装置１０の階層符号化処理を説明するフローチャートである。この階層符号化処理は、外部からベース画像とエンハンスメント画像が入力されたとき、開始される。
【０１７４】
図２４のステップＳ１において、符号化装置１０のベース符号化部１１は、外部から入力されたベース画像をHEVC方式で符号化する。ベース符号化部１１は、ベース画像の符号化時に用いられた参照画像の参照画像特定情報をエンハンスメント符号化部１２に供給する。ベース符号化部１１は、符号化の結果得られる符号化データ、SPS，PPS等を含むベースストリームを、ベースストリームとして合成部１３に供給する。
【０１７５】
ステップＳ２において、エンハンスメント符号化部１２は、外部から入力されたエンハンスメント画像からエンハンスメントストリームを生成するエンハンスメントストリーム生成処理を行う。このエンハンスメントストリーム生成処理の詳細は、後述する図２５を参照して説明する。
【０１７６】
ステップＳ３において、合成部１３は、ベース符号化部１１から供給されるベースストリームとエンハンスメント符号化部１２から供給されるエンハンスメントストリームを合成し、VPSなどを付加して、全階層の符号化ストリームを生成する。合成部１３は、全階層の符号化ストリームを伝送部１４に供給する。
【０１７７】
ステップＳ４において、伝送部１４は、合成部１３から供給される全階層の符号化ストリームを後述する復号装置に伝送する。
【０１７８】
図２５は、図２４のステップＳ２のエンハンスメントストリーム生成処理の詳細を説明するフローチャートである。
【０１７９】
図２５のステップＳ１０において、エンハンスメント符号化部１２の設定部２２は、参照画像特定生成情報を設定し、符号化部２１に供給する。ステップＳ１１において、符号化部２１は、外部から入力信号として入力されるフレーム単位のエンハンスメント画像をHEVC方式に準ずる方式で符号化する符号化処理を行う。この符号化処理の詳細は、後述する図２６および図２７を参照して説明する。
【０１８０】
ステップＳ１２において、設定部２２は、ステップＳ１０で設定された参照画像特定生成情報を含むSPSを設定する。ステップＳ１３において、設定部２２は、PPSを設定する。ステップＳ１４において、設定部２２は、設定されたSPSおよびPPSと、符号化部２１から供給される符号化データとから、エンハンスメントストリームを生成する。
【０１８１】
ステップＳ１５において、設定部２２は、エンハンスメントストリームを合成部１３に供給し、処理を終了する。
【０１８２】
図２６および図２７は、図２５のステップＳ１１の符号化処理の詳細を説明するフローチャートである。
【０１８３】
図２６のステップＳ３１において、符号化部２１のA/D変換部３１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ３２に出力して記憶させる。
【０１８４】
ステップＳ３２において、画面並べ替えバッファ３２は、記憶した表示の順番のフレームの画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ３２は、並べ替え後のフレーム単位の画像を、演算部３３、イントラ予測部４６、および動き予測・補償部４７に供給する。
【０１８５】
ステップＳ３３において、イントラ予測部４６は、候補となる全てのイントラ予測モードのイントラ予測処理を行う。また、イントラ予測部４６は、画面並べ替えバッファ３２から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部４６は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部４６は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部４８に供給する。
【０１８６】
また、動き予測・補償部４７は、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部４７は、画面並べ替えバッファ３２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部４７は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部４８に供給する。
【０１８７】
ステップＳ３４において、予測画像選択部４８は、ステップＳ３３の処理によりイントラ予測部４６および動き予測・補償部４７から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部４８は、最適予測モードの予測画像を、演算部３３および加算部４０に供給する。
【０１８８】
ステップＳ３５において、予測画像選択部４８は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ３５で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部４８は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部４７に通知する。
【０１８９】
そして、ステップＳ３６において、動き予測・補償部４７は、インター予測モード情報と動きベクトルを可逆符号化部３６に供給する。ステップＳ３７において、参照バッファ４９は、ベース符号化部１１から供給されるベース画像の参照画像特定情報を記憶する。ステップＳ３８において、参照画像設定部５０は、動き予測・補償処理において用いられた参照画像の参照画像特定生成情報を生成する生成処理を行う。この生成処理の詳細は、後述する図２８を参照して説明する。
【０１９０】
一方、ステップＳ３５で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部４８は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部４６に通知する。そして、ステップＳ３９において、イントラ予測部４６は、イントラ予測モード情報を可逆符号化部３６に供給し、処理をステップＳ４０に進める。
【０１９１】
ステップＳ４０において、演算部３３は、画面並べ替えバッファ３２から供給される画像から、予測画像選択部４８から供給される予測画像を減算することにより符号化を行う。演算部３３は、その結果得られる画像を、残差情報として直交変換部３４に出力する。
【０１９２】
ステップＳ４１において、直交変換部３４は、演算部３３からの残差情報に対して直交変換を施し、その結果得られる直交変換係数を量子化部３５に供給する。
【０１９３】
ステップＳ４２において、量子化部３５は、直交変換部３４から供給される係数を量子化し、その結果得られる係数を可逆符号化部３６と逆量子化部３８に供給する。
【０１９４】
図２７のステップＳ４３において、逆量子化部３８は、量子化部３５から供給される量子化された係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部３９に供給する。
【０１９５】
ステップＳ４４において、逆直交変換部３９は、逆量子化部３８から供給される直交変換係数に対して逆直交変換を施し、その結果得られる残差情報を加算部４０に供給する。
【０１９６】
ステップＳ４５において、加算部４０は、逆直交変換部３９から供給される残差情報と、予測画像選択部４８から供給される予測画像を加算し、局部的に復号された画像を得る。加算部４０は、得られた画像をデブロックフィルタ４１に供給するとともに、フレームメモリ４４に供給する。
【０１９７】
ステップＳ４６において、デブロックフィルタ４１は、加算部４０から供給される局部的に復号された画像に対して、デブロッキングフィルタ処理を行う。デブロックフィルタ４１は、その結果得られる画像を適応オフセットフィルタ４２に供給する。
【０１９８】
ステップＳ４７において、適応オフセットフィルタ４２は、デブロックフィルタ４１から供給される画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ４２は、その結果得られる画像を適応ループフィルタ４３に供給する。また、適応オフセットフィルタ４２は、LCUごとに、格納フラグ、インデックスまたはオフセット、および種類情報を、オフセットフィルタ情報として可逆符号化部３６に供給する。
【０１９９】
ステップＳ４８において、適応ループフィルタ４３は、適応オフセットフィルタ４２から供給される画像に対して、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ４３は、その結果得られる画像をフレームメモリ４４に供給する。また、適応ループフィルタ４３は、適応ループフィルタ処理で用いられたフィルタ係数を可逆符号化部３６に供給する。
【０２００】
ステップＳ４９において、フレームメモリ４４は、適応ループフィルタ４３から供給される画像と加算部４０から供給される画像を蓄積する。フレームメモリ４４に蓄積された画像は、参照画像としてスイッチ４５を介してイントラ予測部４６または動き予測・補償部４７に出力される。
【０２０１】
ステップＳ５０において、可逆符号化部３６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、参照画像特定生成情報、およびRPSフラグ、オフセットフィルタ情報、並びにフィルタ係数を、符号化情報として可逆符号化する。
【０２０２】
ステップＳ５１において、可逆符号化部３６は、量子化部３５から供給される量子化された係数を可逆符号化する。そして、可逆符号化部３６は、ステップＳ５０の処理で可逆符号化された符号化情報と可逆符号化された係数から、符号化データを生成し、蓄積バッファ３７に供給する。
【０２０３】
ステップＳ５２において、蓄積バッファ３７は、可逆符号化部３６から供給される符号化データを、一時的に蓄積する。
【０２０４】
ステップＳ５３において、レート制御部５１は、蓄積バッファ３７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部３５の量子化動作のレートを制御する。
【０２０５】
ステップＳ５４において、蓄積バッファ３７は、記憶している符号化データを、図１３の設定部２２に出力する。そして、処理は、図２５のステップＳ１１に戻り、ステップＳ１２に進む。
【０２０６】
なお、図２６および図２７の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き予測・補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。
【０２０７】
図２８は、図２６のステップＳ３８の生成処理の詳細を説明するフローチャートである。
【０２０８】
図２８のステップＳ７０において、参照画像設定部５０の取得部７１は、動き予測・補償部４７からエンハンスメント画像の参照画像特定情報を取得し、判定部７２と生成部７３に供給する。ステップＳ７１において、判定部７２と生成部７３は、参照バッファ４９からベース画像の参照画像特定情報を読み出す。
【０２０９】
ステップＳ７２において、判定部７２は、エンハンスメント画像の参照画像特定情報がベース画像の参照画像特定情報と同一であるかどうかを判定する。ステップＳ７２で、エンハンスメント画像の参照画像特定情報がベース画像の参照画像特定情報と同一であると判定された場合、ステップＳ７３において、判定部７２は、参照画像特定情報の予測モードをコピーモードに決定する。
【０２１０】
ステップＳ７４において、判定部７２は、図１３の設定部２２から参照画像特定生成情報としてコピーモードが供給されたかどうかを判定する。ステップＳ７４で参照画像特定生成情報としてコピーモードが供給されたと判定された場合、ステップＳ７５において、判定部７２は、RPSフラグを1に設定し、図１４の可逆符号化部３６に供給する。そして、処理は、図２６のステップＳ３８に戻り、ステップＳ４０に進む。
【０２１１】
一方、ステップＳ７４で参照画像特定生成情報としてコピーモードが供給されていないと判定された場合、処理はステップＳ７６に進む。ステップＳ７６において、判定部７２は、RPSフラグを0に設定して可逆符号化部３６に供給するとともに、コピーモードを参照画像特定生成情報として可逆符号化部３６に供給する。そして、処理は、図２６のステップＳ３８に戻り、ステップＳ４０に進む。
【０２１２】
一方、ステップＳ７２で、エンハンスメント画像の参照画像特定情報がベース画像の参照画像特定情報と同一ではないと判定された場合、処理はステップＳ７７に進む。ステップＳ７７において、生成部７３は、ユーザからの入力に基づいて、参照画像特定情報の予測モードを差分予測モードにするかどうかを判定する。
【０２１３】
ステップＳ７７で参照画像特定情報の予測モードを差分予測モードにすると判定した場合、処理はステップＳ７８に進む。ステップＳ７８において、生成部７３は、参照画像特定情報の予測モードを差分予測モードに決定する。
【０２１４】
ステップＳ７９において、生成部７３は、ベース画像とエンハンスメント画像の参照画像特定情報の差分を求める。ステップＳ８０において、生成部７３は、ステップＳ７９で演算された差分が、設定部２２から供給されるインデックスが付与された参照画像特定情報の差分と同一であるかどうかを判定する。
【０２１５】
ステップＳ８０で、ステップＳ７９で演算された差分が、インデックスが付与された参照画像特定情報の差分と同一であると判定された場合、処理はステップＳ８１に進む。ステップＳ８１において、生成部７３は、RPSフラグを1に設定して可逆符号化部３６に供給するとともに、ステップＳ７９で演算された参照画像特定情報の差分と同一の差分に対応するインデックスを可逆符号化部３６に供給する。そして、処理は、図２６のステップＳ３８に戻り、ステップＳ４０に進む。
【０２１６】
一方、ステップＳ８０で、ステップＳ７９で演算された差分が、インデックスが付与された参照画像特定情報の差分と同一ではないと判定された場合、処理はステップＳ８２に進む。ステップＳ８２において、生成部７３は、RPSフラグを0に設定して可逆符号化部３６に供給するとともに、差分予測モードとステップＳ７９で演算された参照画像特定情報の差分を可逆符号化部３６に供給する。そして、処理は、図２６のステップＳ３８に戻り、ステップＳ４０に進む。
【０２１７】
また、ステップＳ７７で参照画像特定情報の予測モードを差分予測モードにしないと判定した場合、生成部７３は、参照画像特定情報の予測モードを非予測モードに決定し、処理をステップＳ８３に進める。
【０２１８】
ステップＳ８３において、生成部７３は、エンハンスメント画像の参照画像特定情報は、設定部２２から供給されるインデックスが付与された参照画像特定情報と同一であるかどうかを判定する。ステップＳ８３で、エンハンスメント画像の参照画像特定情報が、インデックスが付与された参照画像特定情報と同一であると判定された場合、処理はステップＳ８４に進む。
【０２１９】
ステップＳ８４において、生成部７３は、RPSフラグを1に設定して可逆符号化部３６に供給するとともに、エンハンスメント画像の参照画像特定情報と同一の参照画像特定情報に対応するインデックスを可逆符号化部３６に供給する。そして、処理は、図２６のステップＳ３８に戻り、ステップＳ４０に進む。
【０２２０】
一方、ステップＳ８３で、エンハンスメント画像の参照画像特定情報が、インデックスが付与された参照画像特定情報と同一ではないと判定された場合、処理はステップＳ８５に進む。ステップＳ８５において、生成部７３は、RPSフラグを0に設定して可逆符号化部３６に供給するとともに、非予測モードと参照画像特定情報を可逆符号化部３６に供給する。そして、処理は、図２６のステップＳ３８に戻り、ステップＳ４０に進む。
【０２２１】
以上のように、符号化装置１０は、参照画像特定生成情報を設定するので、ベースレイヤとエンハンスメントレイヤの間で参照画像特定情報を共有または予測することができる。従って、エンハンスメントストリームの情報量を削減し、符号化効率を向上させることができる。
【０２２２】
（復号装置の第１実施の形態の構成例）
図２９は、図６の符号化装置１０から伝送される全階層の符号化ストリームを復号する、本技術を適用した復号装置の第１実施の形態の構成例を示すブロック図である。
【０２２３】
図２９の復号装置９０は、受け取り部９１、分離部９２、ベース復号部９３、およびエンハンスメント復号部９４により構成される。
【０２２４】
受け取り部９１は、図６の符号化装置１０から伝送されてくる全階層の符号化ストリームを受け取り、分離部９２に供給する。
【０２２５】
分離部９２は、受け取り部９１から供給される全階層の符号化ストリームからVPSを抽出し、そのVPSに含まれる差分（diff_ref_layer）に基づいて、エンハンスメントストリームの参照レイヤの有無を認識する。ここでは、符号化装置１０がベースレイヤをエンハンスメントストリームの参照レイヤとしているため、分離部９２は、参照レイヤの有りを認識する。
【０２２６】
分離部９２は、参照レイヤの有りを認識した場合、参照レイヤの符号化ストリームを復号するベース復号部９３に、エンハンスメントストリームを復号するエンハンスメント復号部９４への参照画像特定情報の供給を指示する。
【０２２７】
また、分離部９２は、全階層の符号化ストリームからベースストリームを分離してベース復号部９３に供給し、エンハンスメントストリームを分離してエンハンスメント復号部９４に供給する。
【０２２８】
ベース復号部９３は、従来のHEVC方式の復号装置と同様に構成され、分離部９２から供給されるベースストリームをHEVC方式で復号し、ベース画像を生成する。但し、ベース復号部９３は、ベース画像の復号時に用いられた参照画像の参照画像特定情報をエンハンスメント復号部９４に供給する。ベース復号部９３は、生成されたベース画像を出力する。
【０２２９】
エンハンスメント復号部９４は、分離部９２から供給されるエンハンスメントストリームをHEVC方式に準ずる方式で復号し、エンハンスメント画像を生成する。このとき、エンハンスメント復号部９４は、ベース復号部９３から供給される参照画像特定情報を参照してエンハンスメントストリームを復号する。エンハンスメント復号部９４は、生成されたエンハンスメント画像を出力する。
【０２３０】
（エンハンスメント復号部の構成例）
図３０は、図２９のエンハンスメント復号部９４の構成例を示すブロック図である。
【０２３１】
図３０のエンハンスメント復号部９４は、抽出部１１１と復号部１１２により構成される。
【０２３２】
エンハンスメント復号部９４の抽出部１１１は、図２９の分離部９２から供給されるエンハンスメントストリームから、SPS，PPS、符号化データ等を抽出し、復号部１１２に供給する。
【０２３３】
復号部１１２は、図２９のベース復号部９３から供給されるベース画像の参照画像特定情報を参照して、抽出部１１１から供給される符号化データをHEVC方式に準ずる方式で復号する。このとき、復号部１１２は、必要に応じて、抽出部１１１から供給されるSPSやPPS等も参照する。復号部１１２は、復号の結果得られる画像を、エンハンスメント画像として出力する。
【０２３４】
（復号部の構成例）
図３１は、図３０の復号部１１２の構成例を示すブロック図である。
【０２３５】
図３１の復号部１１２は、蓄積バッファ１３１、可逆復号部１３２、逆量子化部１３３、逆直交変換部１３４、加算部１３５、デブロックフィルタ１３６、適応オフセットフィルタ１３７、適応ループフィルタ１３８、画面並べ替えバッファ１３９、D/A変換部１４０、フレームメモリ１４１、スイッチ１４２、イントラ予測部１４３、参照バッファ１４４、参照画像設定部１４５、動き補償部１４６、およびスイッチ１４７により構成される。
【０２３６】
復号部１１２の蓄積バッファ１３１は、図３０の抽出部１１１から符号化データを受け取り、蓄積する。蓄積バッファ１３１は、蓄積されている符号化データを可逆復号部１３２に供給する。
【０２３７】
可逆復号部１３２は、蓄積バッファ１３１からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数と符号化情報を得る。可逆復号部１３２は、量子化された係数を逆量子化部１３３に供給する。また、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給し、動きベクトル、インター予測モード情報などを動き補償部１４６に供給する。
【０２３８】
また、可逆復号部１３２は、符号化情報としての参照画像特定生成情報、RPSフラグなどを参照画像設定部１４５に供給する。さらに、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１４７に供給する。可逆復号部１３２は、符号化情報としてのオフセットフィルタ情報を適応オフセットフィルタ１３７に供給し、フィルタ係数を適応ループフィルタ１３８に供給する。
【０２３９】
逆量子化部１３３、逆直交変換部１３４、加算部１３５、デブロックフィルタ１３６、適応オフセットフィルタ１３７、適応ループフィルタ１３８、フレームメモリ１４１、スイッチ１４２、イントラ予測部１４３、および、動き補償部１４６は、図１４の逆量子化部３８、逆直交変換部３９、加算部４０、デブロックフィルタ４１、適応オフセットフィルタ４２、適応ループフィルタ４３、フレームメモリ４４、スイッチ４５、イントラ予測部４６、および、動き予測・補償部４７とそれぞれ同様の処理を行い、これにより、画像が復号される。
【０２４０】
具体的には、逆量子化部１３３は、可逆復号部１３２からの量子化された係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部１３４に供給する。
【０２４１】
逆直交変換部１３４は、逆量子化部１３３からの直交変換係数に対して逆直交変換を行う。逆直交変換部１３４は、逆直交変換の結果得られる残差情報を加算部１３５に供給する。
【０２４２】
加算部１３５は、復号部として機能し、逆直交変換部１３４から供給される復号対象の画像としての残差情報と、スイッチ１４７から供給される予測画像を加算することにより、復号を行う。加算部１３５は、復号の結果得られる画像をデブロックフィルタ１３６に供給するとともに、フレームメモリ１４１に供給する。なお、スイッチ１４７から予測画像が供給されない場合、加算部１３５は、逆直交変換部１３４から供給される残差情報である画像を復号の結果得られる画像として、デブロックフィルタ１３６に供給するとともに、フレームメモリ１４１に供給して蓄積させる。
【０２４３】
デブロックフィルタ１３６は、加算部１３５から供給される画像に対して適応デブロックフィルタ処理を行い、その結果得られる画像を適応オフセットフィルタ１３７に供給する。
【０２４４】
適応オフセットフィルタ１３７は、可逆復号部１３２から供給されるオフセットを順に格納するバッファを有する。また、適応オフセットフィルタ１３７は、LCUごとに、可逆復号部１３２から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ１３６による適応デブロックフィルタ処理後の画像に対して、適応オフセットフィルタ処理を行う。
【０２４５】
具体的には、オフセットフィルタ情報に含まれる格納フラグが０である場合、適応オフセットフィルタ１３７は、LCU単位のデブロックフィルタ処理後の画像に対して、そのオフセットフィルタ情報に含まれるオフセットを用いて、種類情報が示す種類の適応オフセットフィルタ処理を行う。
【０２４６】
一方、オフセットフィルタ情報に含まれる格納フラグが１である場合、適応オフセットフィルタ１３７は、LCU単位のデブロックフィルタ処理後の画像に対して、そのオフセットフィルタ情報に含まれるインデックスが示す位置に格納されるオフセットを読み出す。そして、適応オフセットフィルタ１３７は、読み出されたオフセットを用いて、種類情報が示す種類の適応オフセットフィルタ処理を行う。適応オフセットフィルタ１３７は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ１３８に供給する。
【０２４７】
適応ループフィルタ１３８は、適応オフセットフィルタ１３７から供給される画像に対して、可逆復号部１３２から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ１３８は、その結果得られる画像をフレームメモリ１４１および画面並べ替えバッファ１３９に供給する。
【０２４８】
画面並べ替えバッファ１３９は、適応ループフィルタ１３８から供給される画像をフレーム単位で記憶する。画面並べ替えバッファ１３９は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１４０に供給する。
【０２４９】
D/A変換部１４０は、画面並べ替えバッファ１３９から供給されるフレーム単位の画像をD/A変換し、エンハンスメント画像として出力する。フレームメモリ１４１は、適応ループフィルタ１３８から供給される画像と加算部１３５から供給される画像を蓄積する。フレームメモリ１４１に蓄積された画像は参照画像として読み出され、スイッチ１４２を介してイントラ予測部１４３または動き補償部１４６に供給される。
【０２５０】
イントラ予測部１４３は、フレームメモリ１４１からスイッチ１４２を介して読み出された参照画像を用いて、可逆復号部１３２から供給されるイントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部１４３は、その結果生成される予測画像をスイッチ１４７に供給する。
【０２５１】
参照バッファ１４４は、図２９のベース復号部９３から供給されるベース画像の符号化データの復号時に用いられた参照画像の参照画像特定情報を記憶する。
【０２５２】
参照画像設定部１４５は、可逆復号部１３２から供給されるRPSフラグに基づいて、抽出部１１１から供給されるSPSに含まれる参照画像特定生成情報、または、可逆復号部１３２から供給される参照画像特定生成情報を、復号対象の符号化データの参照画像特定生成情報とする。参照画像設定部１４５は、必要に応じて、参照バッファ１４４からベース画像の参照画像特定情報を読み出す。参照画像設定部１４５は、復号対象の符号化データの参照画像特定生成情報と、読み出されたベース画像の参照画像特定情報とに基づいて、参照画像特定情報を生成し、動き補償部１４６に供給する。
【０２５３】
動き補償部１４６は、フレームメモリ１４１からスイッチ１４２を介して、参照画像設定部１４５から供給される参照画像特定情報により特定される参照画像を読み出す。動き補償部１４６は、可逆復号部１３２から供給される動きベクトルと参照画像を用いて、可逆復号部１３２から供給されるインター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部１４６は、その結果生成される予測画像をスイッチ１４７に供給する。
【０２５４】
スイッチ１４７は、可逆復号部１３２からイントラ予測モード情報が供給された場合、イントラ予測部１４３から供給される予測画像を加算部１３５に供給する。一方、可逆復号部１３２からインター予測モード情報が供給された場合、スイッチ１４７は、動き補償部１４６から供給される予測画像を加算部１３５に供給する。
【０２５５】
（参照画像設定部の構成例）
図３２は、図３１の参照画像設定部１４５の構成例を示すブロック図である。
【０２５６】
図３２の参照画像設定部１４５は、情報バッファ１６１、モードバッファ１６２、および生成部１６３により構成される。
【０２５７】
情報バッファ１６１は、図３１の可逆復号部１３２から参照画像特定生成情報として供給される参照画像特定情報の予測モード以外の情報とRPSフラグを記憶する。モードバッファ１６２は、可逆復号部１３２から参照画像特定生成情報として供給される参照画像特定情報の予測モードを記憶する。
【０２５８】
生成部１６３は、情報バッファ１６１からRPSフラグを読み出す。生成部１６３は、RPSフラグに基づいて、図３０の抽出部１１１から供給される参照画像特定生成情報、または、可逆復号部１３２から供給される参照画像特定生成情報を、復号対象の符号化データの参照画像特定生成情報に決定する。生成部１６３は、復号対象の符号化データの参照画像特定生成情報が可逆復号部１３２から供給される参照画像特定生成情報である場合、情報バッファ１６１から参照画像特定情報の予測モード以外の情報を読み出し、モードバッファ１６２から参照画像特定情報の予測モードを読み出す。
【０２５９】
生成部１６３は、復号対象の符号化データの参照画像特定生成情報としての参照画像特定情報の予測モードがコピーモードまたは差分予測モードである場合、参照バッファ１４４からベース画像の参照画像特定情報を読み出す。生成部１６３は、参照画像特定情報の予測モードがコピーモードである場合、読み出されたベース画像の参照画像特定情報を、エンハンスメント画像の参照画像特定情報として生成し、図３１の動き補償部１４６に供給する。
【０２６０】
一方、参照画像特定情報の予測モードが差分予測モードであり、参照画像特定情報の予測モード以外の情報がインデックスである場合、生成部１６３は、図３０の抽出部１１１から参照画像特定生成情報として供給される、そのインデックスが付与された参照画像特定情報の差分を認識する。生成部１６３は、認識された参照画像特定情報の差分と、読み出されたベース画像の参照画像特定情報とを加算し、その結果得られる加算値をエンハンスメント画像の参照画像特定情報として生成し、動き補償部１４６に供給する。
【０２６１】
また、参照画像特定情報の予測モードが差分予測モードであり、参照画像特定情報の予測モード以外の情報が参照画像特定情報の差分である場合、生成部１６３は、その差分と、読み出されたベース画像の参照画像特定情報とを加算する。生成部１６３は、その結果得られる加算値をエンハンスメント画像の参照画像特定情報として生成し、動き補償部１４６に供給する。
【０２６２】
また、参照画像特定情報の予測モードが非予測モードであり、参照画像特定情報の予測モード以外の情報がインデックスである場合、生成部１６３は、図３０の抽出部１１１から参照画像特定生成情報として供給される、そのインデックスが付与された参照画像特定情報を認識する。生成部１６３は、認識された参照画像特定情報をエンハンスメント画像の参照画像特定情報として生成し、動き補償部１４６に供給する。
【０２６３】
また、参照画像特定情報の予測モードが非予測モードであり、参照画像特定情報の予測モード以外の情報が参照画像特定情報である場合、生成部１６３は、その参照画像特定情報を、エンハンスメント画像の参照画像特定情報として生成し、動き補償部１４６に供給する。
【０２６４】
（復号装置の処理の説明）
図３３は、図２９の復号装置９０の階層復号処理を説明するフローチャートである。
【０２６５】
図３３のステップＳ１００において、復号装置９０の受け取り部９１は、図６の符号化装置１０から伝送されてくる全階層の符号化ストリームを受け取り、分離部９２に供給する。ステップＳ１０１において、分離部９２は、受け取り部９１から供給される符号化ストリームからVPSを抽出する。
【０２６６】
ステップＳ１０２において、分離部９２は、VPSに含まれる差分（diff_ref_layer）に基づいて、エンハンスメントストリームの参照レイヤの有りを認識する。ステップＳ１０３において、分離部９２は、参照レイヤの符号化ストリームを復号するベース復号部９３に、エンハンスメントストリームを復号するエンハンスメント復号部９４への参照画像特定情報の供給を指示する。
【０２６７】
ステップＳ１０４において、分離部９２は、全階層の符号化ストリームからベースストリームとエンハンスメントストリームを分離する。分離部９２は、ベースストリームをベース復号部９３に供給し、エンハンスメントストリームをエンハンスメント復号部９４に供給する。
【０２６８】
ステップＳ１０５において、ベース復号部９３は、分離部９２から供給されるベースストリームをHEVC方式で復号し、ベース画像を生成する。このとき、ベース復号部９３は、ベース画像の復号時に用いられた参照画像の参照画像特定情報をエンハンスメント復号部９４に供給する。ベース復号部９３は、生成されたベース画像を出力する。
【０２６９】
ステップＳ１０６において、エンハンスメント復号部９４は、ベース復号部９３から供給される参照画像特定情報を参照して、分離部９２から供給されるエンハンスメントストリームからエンハンスメント画像を生成するエンハンスメント画像生成処理を行う。このエンハンスメント画像生成処理の詳細は、後述する図３４を参照して説明する。
【０２７０】
図３４は、図３０のエンハンスメント復号部９４のエンハンスメント画像生成処理を説明するフローチャートである。
【０２７１】
図３４のステップＳ１１１において、エンハンスメント復号部９４の抽出部１１１は、分離部９２から供給されるエンハンスメントストリームから、SPS，PPS、符号化データ等を抽出し、復号部１１２に供給する。
【０２７２】
ステップＳ１１２において、復号部１１２は、必要に応じて抽出部１１１から供給されるSPSやPPS、ベース復号部９３から供給される参照画像特定情報などを参照して、抽出部１１１から供給される符号化データをHEVC方式に準ずる方式で復号する復号処理を行う。この復号処理の詳細は、後述する図３５を参照して説明する。そして、処理は終了する。
【０２７３】
図３５は、図３４のステップＳ１１２の復号処理の詳細を説明するフローチャートである。
【０２７４】
図３５のステップＳ１３１において、エンハンスメント復号部１１２の蓄積バッファ１３１は、図３０の抽出部１１１からフレーム単位の符号化データを受け取り、蓄積する。蓄積バッファ１３１は、蓄積されている符号化データを可逆復号部１３２に供給する。
【０２７５】
ステップＳ１３２において、可逆復号部１３２は、蓄積バッファ１３１からの符号化データを可逆復号し、量子化された係数と符号化情報を得る。可逆復号部１３２は、量子化された係数を逆量子化部１３３に供給する。また、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給し、動きベクトル、インター予測モード情報などを動き補償部１４６に供給する。
【０２７６】
また、可逆復号部１３２は、符号化情報としての参照画像特定生成情報、RPSフラグなどを参照画像設定部１４５に供給する。さらに、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１４７に供給する。可逆復号部１３２は、符号化情報としてのオフセットフィルタ情報を適応オフセットフィルタ１３７に供給し、フィルタ係数を適応ループフィルタ１３８に供給する。
【０２７７】
ステップＳ１３３において、逆量子化部１３３は、可逆復号部１３２からの量子化された係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部１３４に供給する。
【０２７８】
ステップＳ１３４において、動き補償部１４６は、可逆復号部１３２からインター予測モード情報が供給されたかどうかを判定する。ステップＳ１３４でインター予測モード情報が供給されたと判定された場合、処理はステップＳ１３５に進む。
【０２７９】
ステップＳ１３５において、参照バッファ１４４は、図２９のベース復号部９３から供給されるベース画像の符号化データの復号時に用いられた参照画像の参照画像特定情報を記憶する。
【０２８０】
ステップＳ１３６において、参照画像設定部１４５は、可逆復号部１３２から供給される参照画像特定生成情報、RPSフラグ、参照バッファ１４４に記憶されているベース画像の参照画像特定情報などに基づいて、エンハンスメント画像の参照画像特定情報を生成する生成処理を行う。この生成処理の詳細は、後述する図３６を参照して説明する。
【０２８１】
ステップＳ１３７において、動き補償部１４６は、参照画像設定部１４５から供給される参照画像特定情報に基づいて参照画像を読み出し、動きベクトルと参照画像を用いて、インター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部１４６は、その結果生成される予測画像を、スイッチ１４７を介して加算部１３５に供給し、処理をステップＳ１３９に進める。
【０２８２】
一方、ステップＳ１３４でインター予測モード情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部１４３に供給された場合、処理はステップＳ１３８に進む。
【０２８３】
ステップＳ１３８において、イントラ予測部１４３は、フレームメモリ１４１からスイッチ１４２を介して読み出された参照画像を用いて、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部１４３は、イントラ予測処理の結果生成される予測画像を、スイッチ１４７を介して加算部１３５に供給し、処理をステップＳ１３９に進める。
【０２８４】
ステップＳ１３９において、逆直交変換部１３４は、逆量子化部１３３からの直交変換係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１３５に供給する。
【０２８５】
ステップＳ１４０において、加算部１３５は、逆直交変換部１３４から供給される残差情報と、スイッチ１４７から供給される予測画像を加算する。加算部１３５は、その結果得られる画像をデブロックフィルタ１３６に供給するとともに、フレームメモリ１４１に供給する。
【０２８６】
ステップＳ１４１において、デブロックフィルタ１３６は、加算部１３５から供給される画像に対してデブロッキングフィルタ処理を行い、ブロック歪を除去する。デブロックフィルタ１３６は、その結果得られる画像を適応オフセットフィルタ１３７に供給する。
【０２８７】
ステップＳ１４２において、適応オフセットフィルタ１３７は、可逆復号部１３２から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ１３６によるデブロックフィルタ処理後の画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ１３７は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ１３８に供給する。
【０２８８】
ステップＳ１４３において、適応ループフィルタ１３８は、適応オフセットフィルタ１３７から供給される画像に対して、可逆復号部１３２から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ１３８は、その結果得られる画像をフレームメモリ１４１および画面並べ替えバッファ１３９に供給する。
【０２８９】
ステップＳ１４４において、フレームメモリ１４１は、加算部１３５から供給される画像と、適応ループフィルタ１３８から供給される画像を蓄積する。フレームメモリ１４１に蓄積された画像は、参照画像としてスイッチ１４２を介してイントラ予測部１４３または動き補償部１４６に供給される。
【０２９０】
ステップＳ１４５において、画面並べ替えバッファ１３９は、適応ループフィルタ１３８から供給される画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１４０に供給する。
【０２９１】
ステップＳ１４６において、D/A変換部１４０は、画面並べ替えバッファ１３９から供給されるフレーム単位の画像をD/A変換し、エンハンスメント画像として出力する。そして、処理は、図３４のステップＳ１１２に戻り、終了する。
【０２９２】
図３６は、図３５のステップＳ１３６の生成処理の詳細を説明するフローチャートである。
【０２９３】
図３６のステップＳ１６１において、参照画像設定部１４５の情報バッファ１６１（図３２）は、図３１の可逆復号部１３２から参照画像特定生成情報として供給されるRPSフラグと参照画像特定情報の予測モード以外の情報とを記憶する。ステップＳ１６２において、モードバッファ１６２は、可逆復号部１３２から参照画像特定生成情報として供給される参照画像特定情報の予測モードを記憶する。
【０２９４】
ステップＳ１６３において、生成部１６３は、情報バッファ１６１からRPSフラグを読み出す。ステップＳ１６４において、生成部１６３は、RPSフラグが1であるかどうかを判定する。
【０２９５】
ステップＳ１６４でRPSフラグが1であると判定された場合、ステップＳ１６５において、生成部１６３は、図３０の抽出部１１１から供給される参照画像特定生成情報を復号対象の符号化データの参照画像特定生成情報に決定する。
【０２９６】
ステップＳ１６６において、生成部１６３は、情報バッファ１６１から参照画像特定情報の予測モード以外の情報を読み出し、モードバッファ１６２から参照画像特定情報の予測モードを読み出す。そして、処理はステップＳ１６８に進む。
【０２９７】
一方、ステップＳ１６４でRPSフラグが1ではない、即ち0であると判定された場合、ステップＳ１６７において、生成部１６３は、可逆復号部１３２から供給される参照画像特定生成情報を、復号対象の符号化データの参照画像特定生成情報に決定する。そして、処理はステップＳ１６８に進む。
【０２９８】
ステップＳ１６８において、生成部１６３は、復号対象の符号化データの参照画像特定生成情報としての参照画像特定情報の予測モードが非予測モードであるかどうかを判定する。ステップＳ１６８で参照画像特定情報の予測モードが非予測モードであると判定された場合、ステップＳ１６９において、生成部１６３は、参照バッファ１４４からベース画像の参照画像特定情報を読み出す。
【０２９９】
ステップＳ１７０において、生成部１６３は、参照画像特定情報の予測モードがコピーモードであるかどうかを判定する。
【０３００】
ステップＳ１７０で参照画像特定情報の予測モードがコピーモードであると判定された場合、ステップＳ１７１において、生成部１６３は、読み出されたベース画像の参照画像特定情報を、エンハンスメント画像の参照画像特定情報に決定する。生成部１６３は、決定されたエンハンスメント画像の参照画像特定情報を図３１の動き補償部１４６に供給する。そして、処理は、図３５のステップＳ１３６に戻り、ステップＳ１３７に進む。
【０３０１】
一方、ステップＳ１７０で参照画像特定情報の予測モードがコピーモードではない、即ち差分予測モードであると判定された場合、ステップＳ１７２において、生成部１６３は、参照画像特定情報の予測モード以外の情報がインデックスであるかどうかを判定する。
【０３０２】
ステップＳ１７２で参照画像特定情報の予測モード以外の情報がインデックスであると判定された場合、処理はステップＳ１７３に進む。ステップＳ１７３において、生成部１６３は、抽出部１１１から参照画像特定生成情報として供給される、そのインデックスが付与された参照画像特定情報の差分を認識し、処理をステップＳ１７４に進める。
【０３０３】
一方、ステップＳ１７２で参照画像特定情報の予測モード以外の情報がインデックスではない、即ち参照画像特定情報の差分であると判定された場合、処理はステップＳ１７４に進む。
【０３０４】
ステップＳ１７４において、生成部１６３は、参照画像特定情報の差分と、読み出されたベース画像の参照画像特定情報とを加算し、その結果得られる加算値をエンハンスメント画像の参照画像特定情報に決定する。生成部１６３は、決定されたエンハンスメント画像の参照画像特定情報を動き補償部１４６に供給する。そして、処理は、図３５のステップＳ１３６に戻り、ステップＳ１３７に進む。
【０３０５】
また、ステップＳ１６８で参照画像特定情報の予測モードが非予測モードであると判定された場合、ステップＳ１７５において、生成部１６３は、参照画像特定情報の予測モード以外の情報がインデックスであるかどうかを判定する。
【０３０６】
ステップＳ１７５で参照画像特定情報の予測モード以外の情報がインデックスであると判定された場合、処理はステップＳ１７６に進む。ステップＳ１７６において、生成部１６３は、抽出部１１１から参照画像特定生成情報として供給される、そのインデックスが付与された参照画像特定情報を認識し、処理をステップＳ１７７に進める。
【０３０７】
一方、ステップＳ１７５で参照画像特定情報の予測モード以外の情報がインデックスではない、即ち参照画像特定情報の予測モード以外の情報が参照画像特定情報であると判定された場合、処理はステップＳ１７７に進む。
【０３０８】
ステップＳ１７７において、生成部１６３は、ステップＳ１７５で認識された参照画像特定情報または参照画像特定情報の予測モード以外の情報としての参照画像特定情報を、エンハンスメント画像の参照画像特定情報として動き補償部１４６に供給する。そして、処理は、図３５のステップＳ１３６に戻り、ステップＳ１３７に進む。
【０３０９】
以上のように、復号装置９０は、参照画像特定生成情報を用いてエンハンスメント画像の参照画像特定情報を生成するので、ベースレイヤとエンハンスメントレイヤの間で参照画像特定情報を共有または予測することができる。従って、エンハンスメントストリームの情報量を削減し、符号化効率を向上させることができる。
【０３１０】
なお、第１実施の形態において、scalable機能の種類に応じて参照レイヤの有無が決定されるようにしてもよい。この場合、例えば、scalable機能が、階層間でピクチャタイプのalignmentを取るユースケースが多く、ピクチャの参照関係が階層間で同一である可能性の高い、SNR Scalability，Spatial Scalability，Chroma Format Scalability，Bit Scalability、またはDepth Scalabilityである場合、参照レイヤが設定される。
【０３１１】
＜第２実施の形態＞
（第２実施の形態の概要の説明）
図３７は、本技術を適用した第２実施の形態の概要を説明する図である。
【０３１２】
図３７に示すように、第２実施の形態では、参照画像に関する情報としての、重み付け予測（Weighted Prediction）における重み係数とオフセット値からなる重み付け情報が、異なる階層間で共有または予測される。
【０３１３】
図３８は、重み付け予測を説明する図である。
【０３１４】
図３８に示すように、AVC方式やHEVC方式では、インター予測時に重み付け予測が行われる。重み付け予測とは、参照画像に対して重み付けを行って予測画像を生成する処理である。具体的には、例えば、符号化対象のフレームXより符号化順で前の2つのフレームY1とフレームY0の復号画像が参照画像として用いられる場合、重み付け予測では、フレームXの予測画像X'が、以下の式（４）により求められる。
【０３１５】
【数４】
2014050748.tif 000006
【０３１６】
なお、式（４）において、w0とw1は重み係数であり、dはオフセット値である。この重み係数は、AVC方式におけるImplicit Weighted Predictionという重み付け予測ではPOCから算出される。一方、AVC方式におけるExplicit Weighted Predictionという重み付け予測、または、HEVC方式における重み付け予測では、重み係数とオフセット値は符号化ストリームに含められて伝送される。
【０３１７】
重み付け予測を行うことにより、フェードイン、フェードアウト、クロスフェード等により、参照画像と符号化対象の画像の間で輝度の変化が発生する場合であっても、予測画像と符号化対象の画像の差分を削減することができる。その結果、符号化効率を向上させることができる。
【０３１８】
これに対して、重み付け予測が行われない場合、フェードイン、フェードアウト、クロスフェード等により参照画像と符号化対象の画像の間で発生する輝度の変化が、そのまま予測画像と符号化対象の画像の差分となり、符号化効率が悪い。
【０３１９】
ここで、scalable機能による符号化において、各階層の画像では、SNR、空間解像度、フレームレート、ビット数（bit depth）、色差信号のフォーマットなどが異なるものの、内容は同一であると考えられる。
【０３２０】
従って、ある階層の画像に対してフェードイン、フェードアウト、クロスフェード等が施されている場合、他の階層の画像に対してもフェードイン、フェードアウト、クロスフェード等が施されていると考えられる。よって、各階層の画像に適した重み付け情報には相関があると考えられる。そこで、第２実施の形態では、重み付け情報を異なる階層間で共有または予測することにより、符号化効率を向上させる。
【０３２１】
（符号化装置の第２実施の形態の構成例）
図３９は、本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。
【０３２２】
図３９に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０３２３】
図３９の符号化装置１８０の構成は、ベース符号化部１１の代わりにベース符号化部１８１が設けられる点、エンハンスメント符号化部１２の代わりにエンハンスメント符号化部１８２が設けられる点、およびVPSが図１に示したVPSである点が図６の構成と異なる。符号化装置１８０は、エンハンスメント画像の重み付け情報の生成に用いる重み付け生成情報（参照画像生成情報）を生成し、エンハンスメントストリームに含める。
【０３２４】
具体的には、符号化装置１８０のベース符号化部１８１には、外部からベース画像が入力される。ベース符号化部１８１は、従来のHEVC方式の符号化装置と同様に構成され、ベース画像をHEVC方式で符号化する。但し、ベース符号化部１８１は、ベース画像の符号化時に用いられた重み付け情報等をエンハンスメント符号化部１８２に供給する。ベース符号化部１８１は、符号化の結果得られる符号化データ、SPS，PPS等を含む符号化ストリームを、ベースストリームとして合成部１３に供給する。
【０３２５】
エンハンスメント符号化部１８２には、外部からエンハンスメント画像が入力される。エンハンスメント符号化部１８２は、エンハンスメント画像をHEVC方式に準ずる方式で符号化する。また、エンハンスメント符号化部１８２は、ベース画像の重み付け情報と、エンハンスメント画像の符号化時に用いられた重み付け情報とを用いて、重み付け情報生成情報を生成する。
【０３２６】
エンハンスメント符号化部１８２は、エンハンスメント画像の符号化データに重み付け情報等を付加して符号化ストリームを生成し、エンハンスメントストリームとして合成部１３に供給する。
【０３２７】
（ベースストリームのPPSのシンタックスの例）
図４０および図４１は、AVC方式におけるPPSのシンタックスの例を示す図であり、図４２および図４３は、ベースストリームのPPSのシンタックスの例を示す図である。
【０３２８】
図４０の２８行目に示すように、AVC方式のPPSには、Pスライスに対して重み付け予測を行うかどうかを表すフラグ（weighted_pred_flag）が含まれる。また、２９行目に示すように、AVC方式のPPSには、Bスライスに対して双方向の重み付け予測を行うかどうかを表す情報（weighted_bipred_idc）が含まれる。なお、双方向の重み付け予測とは、符号化対象の画像より符号化順で前の画像と後ろの画像を参照画像とする重み付け予測である。
【０３２９】
また、図４２の１７行目に示すように、ベースストリームのPPSには、フラグ（weighted_pred_flag）が含まれる。また、１８行目に示すように、ベースストリームのPPSには、Bスライスに対して重み付け予測を行うかどうかを表すフラグ（weighted_bipred_flag）が含まれる。
【０３３０】
（ベースストリームのスライスヘッダのシンタックスの例）
図４４および図４５は、AVC方式におけるスライスヘッダのシンタックスの例を示す図である。ベースストリームのスライスヘッダのシンタックスは、図９乃至図１１のシンタックスと同様である。
【０３３１】
図４４の４２行目に示すように、AVC方式のスライスヘッダには、重み付け情報に関する情報（pred_weight_table）が含まれる。
【０３３２】
また、図１０の１９行目に示したように、ベースストリームのスライスヘッダにも、重み付け情報に関する情報（pred_weight_table）が含まれる。
【０３３３】
（ベースストリームの重み付け情報のシンタックスの例）
図４６は、AVC方式における重み付け情報のシンタックスの例を示す図であり、図４７は、ベースストリームの重み付け情報のシンタックスの例を示す図である。
【０３３４】
図４６の２行目に示すように、AVC方式における重み付け情報には、輝度信号の重み係数の分母（luma_log2_weight_denom）が含まれる。また、４行目に示すように、AVC方式における重み付け情報には、色差信号の重み係数の分母（chroma_log2_weight_denom）が含まれる。
【０３３５】
これに対して、図４７の２行目に示すように、ベースストリームの重み付け情報にも、輝度信号の重み係数の分母（luma_log2_weight_denom）が含まれる。また、４行目に示すように、ベースストリームの重み付け情報には、輝度信号の重み係数と色差信号の重み係数の分母の差分（delta_chroma_log2_weight_denom）が含まれる。この差分（delta_chroma_log2_weight_denom）を用いて、色差信号の重み係数（chroma_log2_weight_denom）は、以下の式（５）で演算される。
【０３３６】
【数５】
2014050748.tif 000007
【０３３７】
また、図４６の６行目と２２行目に示すように、AVC方式における重み付け情報には、輝度信号に対する重み付け情報が存在するかどうかを表すフラグ（luma_weight_l0_flag，luma_weight_l1_flag）が含まれる。
【０３３８】
７行目および８行目並びに２３行目および２４行目に示すように、フラグ（luma_weight_l0_flag，luma_weight_l1_flag）が、輝度信号に対する重み付け情報が存在することを表す1である場合、AVC方式における重み付け情報には、輝度信号の重み係数（luma_weight_l0，luma_weight_l1）が含まれる。また、９行目および２５行目に示すように、輝度信号のオフセット（luma_offset_l0，luma_offset_l1）が含まれる。
【０３３９】
これに対して、図４７の６行目と２３行目に示すように、ベースストリームの重み付け情報にも、フラグ（luma_weight_l0_flag，luma_weight_l1_flag）が含まれる。１１行目および１２行目並びに２８行目および２９行目に示すように、フラグ（luma_weight_l0_flag，luma_weight_l1_flag）が1である場合、ベースストリームの重み付け情報には、輝度信号の重み係数の情報（delta_luma_weight_l0，delta_luma_weight_l1）が含まれる。
【０３４０】
この輝度信号の重み係数の情報（delta_luma_weight_l0，delta_luma_weight_l1）を用いて、輝度信号の重み係数（luma_weight_l0，luma_weight_l1）は、以下の式（６）で演算される。
【０３４１】
【数６】
2014050748.tif 000008
【０３４２】
また、図４７の１３行目および３０行目に示すように、ベースストリームの重み付け情報にも、輝度信号のオフセット（luma_offset_l0，luma_offset_l1）が含まれる。
【０３４３】
また、図４６の１２行目と２８行目に示すように、AVC方式における重み付け情報には、色差信号に対する重み付け情報が存在するかどうかを表すフラグ（chroma_weight_l0_flag，chroma_weight_l1_flag）が含まれる。
【０３４４】
フラグ（chroma_weight_l0_flag，chroma_weight_l1_flag）が、色差信号に対する重み付け情報が存在することを表す1である場合、１３行目乃至１５行目および２９行目乃至３１行目に示すように、AVC方式における重み付け情報には、色差信号の重み係数（chroma_weight_l0，chroma_weight_l1）が含まれる。また、１６行目およびに３２行目に示すように、色差信号のオフセット（chroma_offset_l0，chroma_offset_l1）が含まれる。
【０３４５】
これに対して、図４７の９行目と２６行目に示すように、ベースストリームの重み付け情報にも、フラグ（chroma_weight_l0_flag，chroma_weight_l1_flag）が含まれる。１５行目乃至１７行目および３２行目乃至３４行目に示すように、フラグ（chroma_weight_l0_flag，chroma_weight_l1_flag）が1である場合、ベースストリームの重み付け情報には、色差信号の重み係数の情報（delta_chroma_weight_l0，delta_chroma_weight_l1）が含まれる。
【０３４６】
この色差信号の重み係数の情報（delta_chroma_weight_l0，delta_chroma_weight_l1）を用いて、色差信号の重み係数（chroma_weight_l0，chroma_weight_l1）は、以下の式（７）で演算される。
【０３４７】
【数７】
2014050748.tif 000009
【０３４８】
また、図４７の１８行目および３５行目に示すように、ベースストリームの重み付け情報には、色差信号のオフセットの情報（delta_chroma_offset_l0，delta_chroma_offset_l1）が含まれる。この色差信号のオフセットの情報（delta_chroma_offset_l0，delta_chroma_offset_l1）を用いて、色差信号のオフセット（chroma_offset_l0，chroma_offset_l1）は、以下の式（８）で演算される。
【０３４９】
【数８】
2014050748.tif 000010
【０３５０】
（エンハンスメント符号化部の構成例）
図４８は、図３９のエンハンスメント符号化部１８２の構成例を示すブロック図である。
【０３５１】
図４８のエンハンスメント符号化部１８２は、符号化部２０１と設定部２０２により構成される。
【０３５２】
エンハンスメント符号化部１８２の符号化部２０１は、外部から入力されるフレーム単位のエンハンスメント画像を入力信号とする。符号化部２０１は、ベース符号化部１１からの重み付け情報などを参照して、HEVC方式に準ずる方式で入力信号を符号化する。符号化部２０１は、その結果得られる符号化データを設定部２０２に供給する。
【０３５３】
設定部２０２は、SPS，PPSなどを設定する。なお、このPPSには、フラグ（weighted_pred_flag）とフラグ（weighted_bipred_flag）が含まれず、参照レイヤの符号化ストリームであるベースストリームのPPSに含まれるフラグ（weighted_pred_flag）とフラグ（weighted_bipred_flag）が、エンハンスメント画像のフラグ（weighted_pred_flag）とフラグ（weighted_bipred_flag）として用いられる。
【０３５４】
従って、ベース画像の参照画像に対して重み付けが行われた場合、エンハンスメント画像の参照画像に対して重み付けが行われ、ベース画像の参照画像に対して重み付けが行われない場合、エンハンスメント画像の参照画像に対して重み付けが行われない。
【０３５５】
設定部２０２は、設定されたSPSおよびPPSと、符号化部２０１から供給される符号化データとから符号化ストリームを生成し、エンハンスメントストリームとして合成部１３に供給する。
【０３５６】
（符号化部の構成例）
図４９は、図４８の符号化部２０１の構成例を示すブロック図である。
【０３５７】
図４９に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０３５８】
図４９の符号化部２０１の構成は、動き予測・補償部４７、参照バッファ４９、参照画像設定部５０、可逆符号化部３６の代わりに、動き予測・補償部２２１、重みバッファ２２２、重み設定部２２３、可逆符号化部２２４が設けられる点が図１４の構成と異なる。
【０３５９】
動き予測・補償部２２１は、重み付け処理部として機能し、重み設定部２２３からの重み付け予測の指示に基づいて、候補となる全てのインター予測モードの重み付け予測を用いた動き予測・補償処理を行う。具体的には、動き予測・補償部２２１は、画面並べ替えバッファ３２から供給される画像と、フレームメモリ４４からスイッチ４５を介して読み出される参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。なお、参照画像は、例えば、ユーザにより設定される。
【０３６０】
動き予測・補償部２２１は、検出された動きベクトルに基づいて参照画像に補償処理を施す。動き予測・補償部２２１は、重み付け予測における重み付け情報を算出する。動き予測・補償部２２１は、算出された重み付け情報を用いて補償処理後の参照画像に対して重み付け予測を行い、予測画像を生成する。
【０３６１】
このとき、動き予測・補償部２２１は、画面並べ替えバッファ３２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部２２１は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部４８に供給する。
【０３６２】
さらに、動き予測・補償部２２１は、予測画像選択部４８から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像特定情報などを可逆符号化部２２４に出力する。また、動き予測・補償部２２１は、重み付け予測における重み付け情報を重み設定部２２３に供給する。
【０３６３】
重みバッファ２２２は、図３９のベース符号化部１８１から供給されるベースストリームのPPSに含まれるフラグ（weighted_bipred_ flag）とフラグ（weighted_pred_flag）を記憶する。また、重みバッファ２２２は、ベース符号化部１８１から供給されるベースストリームのスライスヘッダに含まれる重み付け情報を記憶する。
【０３６４】
重み設定部２２３は、重みバッファ２２２からフラグ（weighted_pred_flag）とフラグ（weighted_bipred_ flag）を読み出す。重み設定部２２３は、フラグ（weighted_pred_flag）、フラグ（weighted_bipred_ flag）、および現在の符号化対象の画像のスライスの種類に基づいて、動き予測・補償部２２１に重み付け予測を指示する。
【０３６５】
重み設定部２２３は、動き予測・補償部２２１から供給される重み付け情報と、重みバッファ２２２に記憶されている重み付け情報を比較し、エンハンスメント画像の重み付け情報の予測モードを決定する。ここでは、重み付け情報の予測モードとしては、コピーモード、差分予測モード、および非予測モードがあるものとする。
【０３６６】
コピーモードとは、エンハンスメント画像の重み付け情報として、参照レイヤ（ここでは、ベースレイヤ）の重み付け情報を用いる予測モードである。差分予測モードとは、エンハンスメント画像と参照レイヤの重み付け情報の差分と、参照レイヤの重み付け情報とを加算することにより、エンハンスメント画像の重み付け情報を生成する予測モードである。非予測モードとは、エンハンスメント画像の重み付け情報を参照レイヤの重み付け情報と独立して設定する予測モードである。
【０３６７】
重み設定部２２３は、重み付け情報の予測モードがコピーモードである場合、コピーモードを重み付け生成情報として設定し、可逆符号化部２２４に供給する。また、重み設定部２２３は、重み付け情報の予測モードが差分予測モードである場合、エンハンスメント画像の重み付け情報とベース画像の重み付け情報の差分を演算する。そして、重み設定部２２３は、演算された重み付け情報の差分と差分予測モードとを、重み付け生成情報として設定し、可逆符号化部２２４に供給する。
【０３６８】
また、重み設定部２２３は、重み付け情報の予測モードが非予測モードである場合、エンハンスメント画像の重み付け情報を重み付け生成情報として設定し、可逆符号化部２２４に供給する。
【０３６９】
可逆符号化部２２４は、図１４の可逆符号化部３６と同様に、イントラ予測モード情報をイントラ予測部４６から取得する。また、可逆符号化部２２４は、動き予測・補償部２２１から供給されるインター予測モード情報、動きベクトル、参照画像特定情報などを動き予測・補償部２２１から取得する。さらに、可逆符号化部２２４は、重み付け生成情報を重み設定部２２３から取得する。
【０３７０】
また、可逆符号化部２２４は、可逆符号化部３６と同様に、適応オフセットフィルタ４２からオフセットフィルタ情報を取得し、適応ループフィルタ４３からフィルタ係数を取得する。
【０３７１】
可逆符号化部２２４は、可逆符号化部３６と同様に、量子化部３５から供給される量子化された係数に対して可逆符号化を行う。また、可逆符号化部２２４は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、参照画像特定情報、および重み付け生成情報、オフセットフィルタ情報、並びにフィルタ係数を、符号化に関する符号化情報として可逆符号化する。
【０３７２】
可逆符号化部２２４は、可逆符号化部３６と同様に、可逆符号化された符号化情報をスライスヘッダとし、可逆符号化された係数を符号化データとして、符号化データにスライスヘッダを付加する。可逆符号化部２２４は、可逆符号化部３６と同様に、スライスヘッダが付加された符号化データを蓄積バッファ３７に供給し、蓄積させる。
【０３７３】
（重みバッファと重み設定部の構成例）
図５０は、図４９の重みバッファ２２２と重み設定部２２３の構成例を示すブロック図である。
【０３７４】
図５０の重みバッファ２２２は、情報バッファ２４１とフラグバッファ２４２により構成される。
【０３７５】
重みバッファ２２２の情報バッファ２４１は、図３９のベース符号化部１８１から供給されるベースストリームのスライスヘッダに含まれる重み付け情報を記憶する。フラグバッファ２４２は、ベース符号化部１８１から供給されるベースストリームのPPSに含まれるフラグ（weighted_bipred_flag）とフラグ（weighted_pred_flag）を記憶する。
【０３７６】
図５０の重み設定部２２３は、制御部２６１、情報バッファ２６２、判定部２６３、および設定部２６４により構成される。
【０３７７】
重み設定部２２３の制御部２６１は、フラグバッファ２４２からフラグ（weighted_pred_flag）とフラグ（weighted_bipred_flag）を読み出す。重み設定部２２３は、フラグ（weighted_pred_flag）、フラグ（weighted_bipred_flag）、および現在の符号化対象の画像のスライスの種類に基づいて、図４９の動き予測・補償部２２１に重み付け予測を指示する。
【０３７８】
情報バッファ２６２は、動き予測・補償部２２１から重み付け情報を取得し、記憶する。判定部２６３は、情報バッファ２４１からベース画像の重み付け情報を読み出し、情報バッファ２６２からエンハンスメント画像の重み付け情報を読み出す。判定部２６３は、読み出されたベース画像の重み付け情報とエンハンスメント画像の重み付け情報を比較する。
【０３７９】
そして、判定部２６３は、ベース画像の重み付け情報とエンハンスメント画像の重み付け情報が同一である場合、重み付け情報の予測モードをコピーモードに決定する。判定部２６３は、コピーモードを設定部２６４に供給する。また、判定部２６３は、コピーモードを重み付け生成情報として設定し、図４９の可逆符号化部２２４に供給する。
【０３８０】
設定部２６４は、判定部２６３からコピーモードが供給されない場合、情報バッファ２４１からベース画像の重み付け情報を読み出し、情報バッファ２６２からエンハンスメント画像の重み付け情報を読み出す。設定部２６４は、ユーザからの入力に基づいて、重み付け情報の予測モードを差分予測モードまたは非予測モードに決定する。
【０３８１】
重み付け情報の予測モードが差分予測モードに決定された場合、設定部２６４は、読み出されたベース画像の重み付け情報とエンハンスメント画像の重み付け情報の差分を演算する。そして、重み設定部２２３は、演算された重み付け情報の差分と差分予測モードを重み付け生成情報として設定し、可逆符号化部２２４に供給する。
【０３８２】
一方、重み付け情報の予測モードが非予測モードに決定された場合、設定部２６４は、エンハンスメント画像の重み付け情報と非予測モードを重み付け生成情報として設定し、可逆符号化部３６に供給する。
【０３８３】
（エンハンスメントストリームのスライスヘッダのシンタックス）
エンハンスメントストリームのスライスヘッダのシンタックスは、重み付け情報を除いて、ベースストリームのスライスヘッダのシンタックスと同様であるので、重み付け情報に関する情報（pred_weight_table）のシンタックスについてのみ説明する。
【０３８４】
図５１および図５２は、エンハンスメントストリームの重み付け情報のシンタックスの例を示す図である。
【０３８５】
図５１の２行目に示すように、重み付け情報に関する情報には、重み付け情報の予測モード（pred_mode）が含まれる。重み付け情報の予測モードは、コピーモードを表す場合0であり、差分予測モードを表す場合1であり、非予測モードを表す場合2である。
【０３８６】
３行目と４行目に示すように、重み付け情報の予測モードが2以外である場合、即ち重み付け情報の予測モードがコピーモードまたは差分予測モードである場合、ベースレイヤと参照レイヤの差分（diff_ref_layer_minus1）が含まれる。ここで、現在のレイヤをcurr_layerとし、参照レイヤをref_layerとすると、参照レイヤref_layerは、差分diff_ref_layer_minus1を用いて以下の式（９）で表される。
【０３８７】
【数９】
2014050748.tif 000011
【０３８８】
また、５行目および６行目に示すように、重み付け情報の予測モードが1である場合、重み付け情報に関する情報には、対応するスライスと参照レイヤの分母（luma_log2_weight_denom）の差分（diff_luma_log2_weight_denom）が含まれる。また、８行目に示すように、対応するスライスと参照レイヤの差分（delta_chroma_log2_weight_denom）の差分（diff_delta_chroma_log2_weight_denom）が含まれる。
【０３８９】
なお、重み付け情報に関する情報には、フラグ（luma_weight_l0_flag，luma_weight_l1_flag）とフラグ（chroma_weight_l0_flag，chroma_weight_l1_flag）は含まれない。
【０３９０】
即ち、上述したように、scalable機能による符号化では、ある階層の画像に対してフェードイン、フェードアウト、クロスフェード等が施されている場合、他の階層の画像に対してもフェードイン、フェードアウト、クロスフェード等が施されていると考えられる。従って、参照レイヤのベース画像に対して重み付け予測が行われる場合には、エンハンスメント画像に対しても重み付け予測が行われることが符号化効率上望ましい。
【０３９１】
よって、エンハンスメント画像のフラグ（luma_weight_l0_flag，luma_weight_l1_flag）とフラグ（chroma_weight_l0_flag，chroma_weight_l1_flag）は伝送されず、参照レイヤのフラグ（luma_weight_l0_flag，luma_weight_l1_flag）とフラグ（chroma_weight_l0_flag，chroma_weight_l1_flag）が用いられる。
【０３９２】
また、１０行目乃至１２行目と２２行目乃至２４行目に示すように、参照レイヤのフラグ（luma_weight_l0_flag，luma_weight_l1_flag）が1である場合、重み付け情報に関する情報には、対応するスライスと参照レイヤの輝度信号の重み係数の情報（delta_luma_weight_l0，delta_luma_weight_l1）の差分（diff_delta_luma_weight_l0，diff_delta_luma_weight_l1）が含まれる。また、対応するスライスと参照レイヤの輝度信号のオフセット（luma_offset_l0，luma_offset_l1）の差分（diff_luma_offset_l0，diff_luma_offset_l1）が含まれる。
【０３９３】
また、１４行目乃至１７行目行目と２６行目乃至２９行目行目に示すように、参照レイヤのフラグ（chroma_weight_l0_flag，chroma_weight_l1_flag）が1である場合、重み付け情報に関する情報には、対応するスライスと参照レイヤとの色差信号の重み係数の情報（delta_chroma_weight_l0，delta_chroma_weight_l1）の差分（diff_delta_chroma_weight_l0，diff_delta_chroma_weight_l1）が含まれる。また、対応するスライスと参照レイヤの色差信号のオフセット（chroma_offset_l0，chroma_offset_l1）の差分（diff_chroma_offset_l0，diff_chroma_offset_l1）が含まれる。
【０３９４】
一方、重み付け情報の予測モードが2である場合、図５１の３３行目乃至３７行目および図５２に示すように、重み付け情報に関する情報には、ベースストリームの重み付け情報と同様の情報が含まれる。
【０３９５】
なお、重み付け情報に関する情報（pred_weight_table）は、VPS，SPS等のスライスヘッダより上の階層に階層単位で含まれるようにしてもよい。
【０３９６】
（符号化装置の処理の説明）
図３９の符号化装置１８０の階層符号化処理は、ベース符号化部１８１からエンハンスメント符号化部１８２に供給される情報が、重み付け情報、フラグ（weighted_pred_flag）、およびフラグ（weighted_bipred_flag）である点、および、図２４のステップＳ２のエンハンスメントストリーム生成処理を除いて図２４の階層符号化処理と同様であるので、エンハンスメントストリーム生成処理についてのみ説明する。
【０３９７】
図５３は、図４８のエンハンスメント符号化部１８２のエンハンスメントストリーム生成処理を説明するフローチャートである。
【０３９８】
図５３のステップＳ１９１において、エンハンスメント符号化部１８２の符号化部２０１は、外部から入力信号として入力されるフレーム単位のエンハンスメント画像をHEVC方式に準ずる方式で符号化する符号化処理を行う。この符号化処理の詳細は、後述する図５４および図５５を参照して説明する。
【０３９９】
ステップＳ１９２において、設定部２０２は、SPSを設定する。ステップＳ１９３において、設定部２０２は、フラグ（weighted_pred_flag）とフラグ（weighted_bipred_ flag）を含まないPPSを設定する。ステップＳ１９４およびＳ１９５の処理は、図２５のステップＳ１４および１５の処理と同様であるので、説明は省略する。
【０４００】
図５４および図５５は、図５３のステップＳ１９１の符号化処理の詳細を説明するフローチャートである。
【０４０１】
図５４のステップＳ２１１およびＳ２１２の処理は、図２６のステップＳ３１およびＳ３２の処理と同様であるので説明は省略する。
【０４０２】
ステップＳ２１３において、重みバッファ２２２の情報バッファ２４１は、図３９のベース符号化部１８１から供給される重み付け情報を記憶し、フラグバッファ２４２は、フラグ（weighted_bipred_ flag）とフラグ（weighted_pred_flag）を記憶する。
【０４０３】
ステップＳ２１４において、制御部２６１は、フラグバッファ２４２に記憶されているフラグ（weighted_pred_flag）およびフラグ（weighted_bipred_ flag）並びに現在の符号化対象の画像のスライスの種類に基づいて、重み付け予測を行うかどうかを判定する。
【０４０４】
ステップＳ２１４で重み付け予測を行うと判定された場合、制御部２６１は、動き予測・補償部２２１に重み付け予測を指示し、処理をステップＳ２１５に進める。
【０４０５】
ステップＳ２１５において、イントラ予測部４６は、候補となる全てのイントラ予測モードのイントラ予測処理を行う。また、イントラ予測部４６は、画面並べ替えバッファ３２から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部４６は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部４６は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部４８に供給する。
【０４０６】
また、動き予測・補償部２２１は、候補となる全てのインター予測モードの重み付け予測を用いた動き予測・補償処理を行う。また、動き予測・補償部２２１は、画面並べ替えバッファ３２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部２２１は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部４８に供給する。
【０４０７】
一方、ステップＳ２１４で重み付け予測を行わないと判定された場合、制御部２６１は、処理をステップＳ２１６に進める。
【０４０８】
ステップＳ２１６において、イントラ予測部４６は、ステップＳ２１５の処理と同様に、候補となる全てのイントラ予測モードのイントラ予測処理を行い、コスト関数値を算出する。そして、イントラ予測部４６は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定し、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部４８に供給する。
【０４０９】
また、動き予測・補償部２２１は、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部２２１は、画面並べ替えバッファ３２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部２２１は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部４８に供給する。
【０４１０】
ステップＳ２１５およびＳ２１６の処理後、処理はステップＳ２１７に進む。ステップＳ２１７およびＳ２１８の処理は、図２６のステップＳ３４およびＳ３５の処理と同様であるので、説明は省略する。
【０４１１】
ステップＳ２１９において、動き予測・補償部２２１は、インター予測モード情報、動きベクトル、および参照画像特定情報を可逆符号化部３６に供給する。ステップＳ２２０において、動き予測・補償部２２１は、重み付け予測を行ったかどうかを判定する。ステップＳ２２０で重み付け予測を行ったと判定された場合、ステップＳ２２１において、動き予測・補償部２２１は、その重み付け予測における重み付け情報を重み設定部２２３に供給する。
【０４１２】
ステップＳ２２２において、重み設定部２２３は、重み付け生成情報を生成する生成処理を行う。この生成処理の詳細は、後述する図５６を参照して説明する。ステップＳ２２２の処理後、処理はステップＳ２２４に進む。
【０４１３】
一方、ステップＳ２２０で重み付け予測を行っていないと判定された場合、ステップＳ２２１およびＳ２２２の処理はスキップされ、処理はステップＳ２２４に進む。
【０４１４】
ステップＳ２２３乃至Ｓ２３８の処理は、符号化情報がイントラ予測モード情報、または、インター予測モード情報、動きベクトル、参照画像特定情報、および重み付け生成情報、オフセットフィルタ情報、並びにフィルタ係数である点を除いて、図２６および図２７のステップＳ３９乃至Ｓ５４の処理と同様であるので、説明は省略する。
【０４１５】
図５６は、図５４のステップＳ２２２の生成処理の詳細を説明するフローチャートである。
【０４１６】
図５６のステップＳ２５１において、重み設定部２２３の情報バッファ２６２は、図４９の動き予測・補償部４７からエンハンスメント画像の重み付け情報を取得し、記憶する。ステップＳ２５２において、判定部２６３は、情報バッファ２６２に記憶されているエンハンスメント画像の重み付け情報が、情報バッファ２４１に記憶されているベース画像の重み付け情報と同一であるかどうかを判定する。
【０４１７】
ステップＳ２５２でエンハンスメント画像の重み付け情報がベース画像の重み付け情報と同一であると判定された場合、ステップＳ２５３において、判定部２６３は、重み付け情報の予測モードをコピーモードに決定する。ステップＳ２５４において、判定部２６３は、コピーモードを設定部２６４に供給する。また、判定部２６３は、コピーモードを重み付け生成情報に設定し、図４９の可逆符号化部２２４に供給する。そして、処理は、図５４のステップＳ２２２に戻り、ステップＳ２２４に進む。
【０４１８】
一方、ステップＳ２５２でエンハンスメント画像の重み付け情報がベース画像の重み付け情報と同一ではないと判定された場合、処理はステップＳ２５５に進む。ステップＳ２５５において、設定部２６４は、ユーザからの入力に基づいて、重み付け情報の予測モードを差分予測モードにするかどうかを判定する。
【０４１９】
ステップＳ２５５で重み付け情報の予測モードを差分予測モードにすると判定された場合、ステップＳ２５６において、設定部２６４は、重み付け情報の予測モードを差分予測モードに決定する。
【０４２０】
ステップＳ２５７において、設定部２６４は、エンハンスメント画像の重み付け情報とベース画像の重み付け情報との差分を求める。ステップＳ２５８において、重み設定部２２３は、ステップＳ２５７で求められた重み付け情報の差分と差分予測モードを重み付け生成情報として設定し、可逆符号化部２２４に供給する。そして、処理は、図５４のステップＳ２２２に戻り、ステップＳ２２４に進む。
【０４２１】
一方、ステップＳ２５５で重み付け情報の予測モードを差分予測モードにしないと判定された場合、ステップＳ２５９において、設定部２６４は、重み付け情報の予測モードを非予測モードに決定する。
【０４２２】
ステップＳ２６０において、設定部２６４は、エンハンスメント画像の重み付け情報と非予測モードを重み付け生成情報として設定し、可逆符号化部３６に供給する。そして、処理は、図５４のステップＳ２２２に戻り、ステップＳ２２４に進む。
【０４２３】
以上のように、符号化装置１８０は、重み付け生成情報を設定するので、ベースレイヤとエンハンスメントレイヤの間で重み付け情報を共有または予測することができる。従って、エンハンスメントストリームの情報量を削減し、符号化効率を向上させることができる。
【０４２４】
（復号装置の第２実施の形態の構成例）
図５７は、図３９の符号化装置１８０から伝送される全階層の符号化ストリームを復号する、本技術を適用した復号装置の第２実施の形態の構成例を示すブロック図である。
【０４２５】
図５７に示す構成のうち、図２９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０４２６】
図５７の復号装置２８０の構成は、分離部９２、ベース復号部９３、エンハンスメント復号部９４の代わりに、分離部２８１、ベース復号部２８２、エンハンスメント復号部２８３が設けられる点が図２９の構成と異なる。
【０４２７】
復号装置２８０の分離部２８１は、受け取り部９１から供給される全階層の符号化ストリームからベースストリームを分離してベース復号部２８２に供給し、エンハンスメントストリームを分離してエンハンスメント復号部２８３に供給する。
【０４２８】
ベース復号部２８２は、従来のHEVC方式の復号装置と同様に構成され、分離部２８１から供給されるベースストリームをHEVC方式で復号し、ベース画像を生成する。但し、ベース復号部２８２は、ベース画像の復号時に用いられた重み付け情報、並びに、ベースストリームのPPSに含まれるフラグ（weighted_bipred_flag）およびフラグ（weighted_pred_flag）を、エンハンスメント復号部２８３に供給する。ベース復号部２８２は、生成されたベース画像を出力する。
【０４２９】
エンハンスメント復号部２８３は、分離部２８１から供給されるエンハンスメントストリームをHEVC方式に準ずる方式で復号し、エンハンスメント画像を生成する。このとき、エンハンスメント復号部２８３は、ベース復号部２８２から供給される重み付け情報、フラグ（weighted_bipred_ flag）、およびフラグ（weighted_pred_flag）を参照してエンハンスメントストリームを復号する。エンハンスメント復号部２８３は、生成されたエンハンスメント画像を出力する。
【０４３０】
（エンハンスメント復号部の構成例）
図５８は、図５７のエンハンスメント復号部２８３の構成例を示すブロック図である。
【０４３１】
図５８のエンハンスメント復号部２８３は、抽出部３０１と復号部３０２により構成される。
【０４３２】
エンハンスメント復号部２８３の抽出部３０１は、図５７の分離部２８１から供給されるエンハンスメントストリームから、SPS，PPS、符号化データ等を抽出し、復号部３０２に供給する。
【０４３３】
復号部３０２は、図５７のベース復号部２８２から供給されるベース画像の重み付け情報、フラグ（weighted_bipred_ flag）、およびフラグ（weighted_pred_flag）を参照して、抽出部３０１から供給される符号化データをHEVC方式に準ずる方式で復号する。このとき、復号部３０２は、必要に応じて、抽出部３０１から供給されるSPSやPPS等も参照する。復号部３０２は、復号の結果得られる画像を、エンハンスメント画像として出力する。
【０４３４】
（復号部の構成例）
図５９は、図５８の復号部３０２の構成例を示すブロック図である。
【０４３５】
図５９に示す構成のうち、図３１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０４３６】
図５９の復号部３０２の構成は、可逆復号部１３２、参照バッファ１４４、参照画像設定部１４５、動き補償部１４６の代わりに、可逆復号部３２０、重みバッファ３２１、重み設定部３２２、動き補償部３２３が設けられる点が図３１の構成と異なる。
【０４３７】
復号部３０２の可逆復号部３２０は、蓄積バッファ１３１からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数と符号化情報を得る。可逆復号部３２０は、量子化された係数を逆量子化部１３３に供給する。また、可逆復号部３２０は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給し、動きベクトル、インター予測モード情報、参照画像特定情報などを動き補償部１４６に供給する。
【０４３８】
また、可逆復号部３２０は、符号化情報としての重み付け生成情報を重み設定部３２２に供給する。さらに、可逆復号部３２０は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１４７に供給する。可逆復号部３２０は、符号化情報としてのオフセットフィルタ情報を適応オフセットフィルタ１３７に供給し、フィルタ係数を適応ループフィルタ１３８に供給する。
【０４３９】
重みバッファ３２１は、図５７のベース復号部２８２から供給されるベース画像の重み付け情報、フラグ（weighted_bipred_flag）、およびフラグ（weighted_pred_flag）を記憶する。
【０４４０】
重み設定部３２２は、重みバッファ３２１に記憶されているフラグ（weighted_bipred_ flag）およびフラグ（weighted_pred_flag）、並びに、現在の復号対象の画像のスライスの種類に基づいて、動き補償部３２３に重み付け予測を指示する。
【０４４１】
また、重み設定部３２２は、重みバッファ３２１に記憶されているベース画像の重み付け情報と、可逆復号部３２０から供給される重み付け生成情報とに基づいて、エンハンスメント画像の重み付け情報を生成する。重み設定部３２２は、生成された重み付け情報を動き補償部３２３に供給する。
【０４４２】
動き補償部３２３は、フレームメモリ１４１からスイッチ１４２を介して、可逆復号部３２０から供給される参照画像特定情報により特定される参照画像を読み出す。動き補償部３２３は、重み設定部３２２から供給される重み付け予測の指示に基づいて、動きベクトル、参照画像、および重み設定部３２２からの重み付け情報を用いて、インター予測モード情報が示す最適インター予測モードの重み付け予測を用いた動き補償処理を行う。
【０４４３】
具体的には、動き補償部３２３は、重み付け処理部として機能し、動きベクトルに基づいて参照画像に補償処理を施し、重み付け情報を用いて補償処理後の参照画像に対して重み付け予測を行い、予測画像を生成する。動き補償部３２３は、予測画像をスイッチ１４７に供給する。
【０４４４】
（重みバッファと重み設定部の構成例）
図６０は、図５９の重みバッファ３２１と重み設定部３２２の構成例を示すブロック図である。
【０４４５】
図６０の重みバッファ３２１は、情報バッファ３４１とフラグバッファ３４２により構成される。
【０４４６】
重みバッファ３２１の情報バッファ３４１は、図５７のベース復号部２８２から供給されるベースストリームのスライスヘッダに含まれる重み付け情報を記憶する。フラグバッファ３４２は、ベース復号部２８２から供給されるベースストリームのPPSに含まれるフラグ（weighted_bipred_ flag）とフラグ（weighted_pred_flag）を記憶する。
【０４４７】
図６０の重み設定部３２２は、制御部３５１、モードバッファ３５２、情報バッファ３５３、および生成部３５４により構成される。
【０４４８】
重み設定部３２２の制御部３５１は、フラグバッファ３４２からフラグ（weighted_pred_flag）とフラグ（weighted_bipred_ flag）を読み出す。重み設定部３２２は、フラグ（weighted_pred_flag）、フラグ（weighted_bipred_ flag）、および現在の復号対象の画像のスライスの種類に基づいて、動き補償部３２３に重み付け予測を指示する。
【０４４９】
モードバッファ３５２は、図５９の可逆復号部３２０から供給される重み付け生成情報のうちの重み付け情報の予測モードを取得し、記憶する。情報バッファ３５３は、可逆復号部３２０から供給される重み付け生成情報のうちの重み付け情報または重み付け情報の差分を取得し、記憶する。
【０４５０】
生成部３５４は、モードバッファ３５２から重み付け情報の予測モードを読み出す。生成部３５４は、重み付け情報の予測モードがコピーモードまたは差分予測モードである場合、情報バッファ３４１からベース画像の重み付け情報を読み出す。重み付け情報の予測モードがコピーモードである場合、生成部３５４は、ベース画像の重み付け情報をエンハンスメント画像の重み付け情報として生成する。
【０４５１】
一方、重み付け情報の予測モードが差分予測モードである場合、生成部３５４は、情報バッファ３５３から重み付け情報の差分を読み出す。生成部３５４は、重み付け情報の差分とベース画像の重み付け情報を加算し、その結果得られる加算値をエンハンスメント画像の重み付け情報として生成する。
【０４５２】
また、重み付け情報の予測モードが非予測モードである場合、生成部３５４は、情報バッファ３５３から重み付け情報を読み出し、その重み付け情報をエンハンスメント画像の重み付け情報として生成する。生成部３５４は、生成されたエンハンスメント画像の重み付け情報を動き補償部３２３に供給する。
【０４５３】
（復号装置の処理の説明）
図６１は、図５７の復号装置２８０の階層復号処理を説明するフローチャートである。
【０４５４】
図６１のステップＳ２８０において、復号装置２８０の受け取り部９１は、図３９の符号化装置１８０から伝送されてくる全階層の符号化ストリームを受け取り、分離部２８１に供給する。
【０４５５】
ステップＳ２８１において、分離部２８１は、全階層の符号化ストリームからベースストリームとエンハンスメントストリームを分離する。分離部２８１は、ベースストリームをベース復号部２８２に供給し、エンハンスメントストリームをエンハンスメント復号部２８３に供給する。
【０４５６】
ステップＳ２８２において、ベース復号部２８２は、分離部２８１から供給されるベースストリームをHEVC方式で復号し、ベース画像を生成する。このとき、ベース復号部２８２は、ベース画像の復号時に用いられた重み付け情報、並びに、ベースストリームのPPSに含まれるフラグ（weighted_bipred_flag）およびフラグ（weighted_pred_flag）を、エンハンスメント復号部２８３に供給する。ベース復号部２８２は、生成されたベース画像を出力する。
【０４５７】
ステップＳ２８３において、エンハンスメント復号部２８３は、ベース復号部２８２から供給される重み付け情報、フラグ（weighted_bipred_ flag）、およびフラグ（weighted_pred_flag）を参照して、エンハンスメント画像生成処理を行う。このエンハンスメント画像生成処理は、図３４のステップＳ１１２の復号処理を除いて図３４のエンハンスメント画像生成処理と同様であるので、以下では、復号処理についてのみ説明する。
【０４５８】
図６２は、図５９の復号部３０２の復号処理の詳細を説明するフローチャートである。
【０４５９】
図６２のステップＳ３０１において、エンハンスメント復号部２８３の蓄積バッファ１３１は、図５８の抽出部３０１からフレーム単位の符号化データを受け取り、蓄積する。蓄積バッファ１３１は、蓄積されている符号化データを可逆復号部３２０に供給する。
【０４６０】
ステップＳ３０２において、可逆復号部３２０は、蓄積バッファ１３１からの符号化データを可逆復号し、量子化された係数と符号化情報を得る。可逆復号部３２０は、量子化された係数を逆量子化部１３３に供給する。また、可逆復号部３２０は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給し、動きベクトル、インター予測モード情報、参照画像特定情報などを動き補償部３２３に供給する。
【０４６１】
また、可逆復号部３２０は、符号化情報としての重み付け生成情報を重み設定部３２２に供給する。さらに、可逆復号部３２０は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１４７に供給する。可逆復号部３２０は、符号化情報としてのオフセットフィルタ情報を適応オフセットフィルタ１３７に供給し、フィルタ係数を適応ループフィルタ１３８に供給する。
【０４６２】
ステップＳ３０３およびＳ３０４の処理は、図３５のステップＳ１３３およびＳ１３４の処理と同様であるので、説明は省略する。
【０４６３】
ステップＳ３０５において、重みバッファ３２１の情報バッファ３４１（図６０）は、図５７のベース復号部２８２から供給されるベース画像の重み付け情報を記憶し、フラグバッファ３４２は、フラグ（weighted_bipred_flag）とフラグ（weighted_pred_flag）を記憶する。
【０４６４】
ステップＳ３０６において、制御部３５１は、フラグバッファ３４２に記憶されているフラグ（weighted_bipred_ flag）およびフラグ（weighted_pred_flag）、並びに、現在の復号対象の画像のスライスの種類に基づいて、重み付け予測を行うかどうかを判定する。
【０４６５】
ステップＳ３０６で重み付け予測を行うと判定された場合、制御部３５１は、動き補償部３２３に重み付け予測を指示し、処理をステップＳ３０７に進める。ステップＳ３０７において、重み設定部３２２は、可逆復号部３２０から供給される重み付け生成情報、重みバッファ３２１に記憶されているベース画像の重み付け情報などに基づいて、エンハンスメント画像の重み付け情報を生成する生成処理を行う。この生成処理の詳細は、後述する図６３を参照して説明する。
【０４６６】
ステップＳ３０８において、動き補償部３２３は、可逆復号部３２０から供給される参照画像特定情報に基づいて参照画像を読み出し、動きベクトル、参照画像、および重み設定部３２２からの重み付け情報を用いて、インター予測モード情報が示す最適インター予測モードの重み付け予測を用いた動き補償処理を行う。動き補償部１４６は、その結果生成される予測画像を、スイッチ１４７を介して加算部１３５に供給し、処理をステップＳ３１１に進める。
【０４６７】
一方、ステップＳ３０６で重み付け予測を行わないと判定された場合、ステップＳ３０９において、動き補償部３２３は、可逆復号部３２０から供給される参照画像特定情報に基づいて参照画像を読み出し、動きベクトルと参照画像を用いて、インター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部１４６は、その結果生成される予測画像を、スイッチ１４７を介して加算部１３５に供給し、処理をステップＳ３１１に進める。
【０４６８】
ステップＳ３１０乃至Ｓ３１８の処理は、図３５のステップＳ１３８乃至Ｓ１４６の処理と同様であるので、説明は省略する。
【０４６９】
図６３は、図６２のステップＳ３０７の生成処理の詳細を説明するフローチャートである。
【０４７０】
図６３のステップＳ３３０において、重み設定部３２２のモードバッファ３５２は、図５９の可逆復号部３２０から供給される重み付け生成情報のうちの重み付け情報の予測モードを取得し、記憶する。
【０４７１】
ステップＳ３３１において、生成部３５４は、モードバッファ３５２に記憶されている重み付け情報の予測モードが非予測モードであるかどうかを判定する。
【０４７２】
ステップＳ３３１で重み付け情報の予測モードが非予測モードではないと判定された場合、即ち重み付け情報の予測モードがコピーモードまたは差分予測モードである場合、処理はステップＳ３３２に進む。ステップＳ３３２において、情報バッファ３４１からベース画像の重み付け情報を読み出す。
【０４７３】
ステップＳ３３３において、生成部３５４は、重み付け情報の予測モードがコピーモードであるかどうかを判定する。ステップＳ３３３で重み付け情報の予測モードがコピーモードであると判定された場合、ステップＳ３３４において、生成部３５４は、ベース画像の重み付け情報をエンハンスメント画像の重み付け情報として生成し、動き補償部３２３に供給する。そして、生成処理は終了する。
【０４７４】
一方、ステップＳ３３３で重み付け情報の予測モードがコピーモードではないと判定された場合、即ち重み付け情報の予測モードが差分予測モードである場合、処理はステップＳ３３５に進む。ステップＳ３３５において、情報バッファ３５３は、可逆復号部３２０から供給される重み付け生成情報のうちの重み付け情報の差分を取得し、記憶する。ステップＳ３３６において、生成部３５４は、情報バッファ３５３から重み付け情報の差分を読み出す。
【０４７５】
ステップＳ３３７において、生成部３５４は、重み付け情報の差分とベース画像の重み付け情報を加算し、その結果得られる加算値をエンハンスメント画像の重み付け情報として生成する。生成部３５４は、生成されたエンハンスメント画像の重み付け情報を動き補償部３２３に供給し、生成処理を終了する。
【０４７６】
また、ステップＳ３３１で重み付け情報の予測モードが非予測モードであると判定された場合、ステップＳ３３８において、情報バッファ３５３は、可逆復号部３２０から供給される重み付け生成情報のうちの重み付け情報を取得し、記憶する。ステップＳ３３９において、生成部３５４は、情報バッファ３５３から重み付け情報を読み出す。
【０４７７】
ステップＳ３４０において、生成部３５４は、ステップＳ３３９で読み出された重み付け情報をエンハンスメント画像の重み付け情報として生成し、動き補償部３２３に供給する。そして、生成処理は終了する。
【０４７８】
以上のように、復号装置２８０は、重み付け生成情報を用いてエンハンスメント画像の重み付け情報を生成するので、ベースレイヤとエンハンスメントレイヤの間で重み付け情報を共有または予測することができる。従って、エンハンスメントストリームの情報量を削減し、符号化効率を向上させることができる。
【０４７９】
なお、第２実施の形態においても、第１実施の形態と同様に、VPSが、図２３に示したVPSであるようにしてもよい。
【０４８０】
また、第１実施の形態および第２実施の形態では、レイヤ数は2であるものとしたが、レイヤ数は2以上であってもよい。また、参照レイヤは、ピクチャ単位で設定されてもよいし、GOP単位で設定されてもよい。これらのことは、後述する第３および第４実施の形態においても同様である。
【０４８１】
さらに、第１実施の形態および第２実施の形態では、ベース画像がHEVC方式で符号化されたが、AVC方式で符号化されるようにしてもよい。この場合、第２実施の形態では、式（５）乃至式（８）により、ベース画像のAVC方式における重み付け情報に関する情報（pred_weight_table）が、HEVC方式における重み付け情報に関する情報（pred_weight_table)に変換されて用いられる。
【０４８２】
＜第３実施の形態＞
(第３実施の形態の概要の説明)
図６４は、本技術を適用した第３実施の形態の概要を説明する図である。
【０４８３】
図６４に示すように、ベース画像(BL)とエンハンスメント画像（EL）のGOP（Group of Picture）構造は同一である場合が多い。即ち、同時刻のベース画像とエンハンスメント画像のスライスタイプおよび時間方向の参照関係は通常同一である。従って、第３実施の形態では、参照画像特定情報が、異なる階層間で共有される。具体的には、エンハンスメント画像の所定のスライスの参照画像特定情報として、そのスライスとコロケーテッドなベース画像のスライスの参照画像特定情報が用いられる。
【０４８４】
なお、コロケーテッドとは、画面上の位置が対応することを意味する。例えば、エンハンスメント画像のスライスとコロケーテッドなベース画像のスライスは、そのエンハンスメント画像のスライスの先頭のLCUと画面上の位置が対応するベース画像のLCUを含むスライスである。
【０４８５】
（符号化装置の第３実施の形態の構成例）
図６５は、本技術を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。
【０４８６】
図６５に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０４８７】
図６５の符号化装置４００の構成は、エンハンスメント符号化部１２の代わりにエンハンスメント符号化部４１１が設けられる点が図６の構成と異なる。符号化装置４００は、参照画像特定情報の全てをベース画像とエンハンスメント画像の間で共有する。
【０４８８】
具体的には、符号化装置４００のエンハンスメント符号化部４１１には、外部からエンハンスメント画像が入力される。エンハンスメント符号化部４１１は、エンハンスメント画像をHEVC方式に準ずる方式で符号化する。
【０４８９】
また、エンハンスメント符号化部４１１は、ベース符号化部１１から供給されるベース画像の参照画像特定情報を用いて、コピーフラグを参照画像特定生成情報（参照画像生成情報）として設定する。そして、エンハンスメント符号化部４１１は、コピーフラグ等を符号化結果に付加して符号化データを生成する。なお、コピーフラグとは、ベース画像の参照画像特定情報の全てをエンハンスメント画像の参照画像特定情報として用いるかどうかを示すフラグである。
【０４９０】
エンハンスメント符号化部４１１は、符号化データ、SPS,PPS等を含む符号化ストリームを、エンハンスメントストリームとして合成部１３に供給する。
【０４９１】
なお、ここでは、符号化装置４００は、全階層の符号化ストリームを伝送するものとするが、必要に応じて、ベースストリームのみを伝送することもできる。
【０４９２】
（エンハンスメント符号化部の構成例）
図６６は、図６５のエンハンスメント符号化部４１１の構成例を示すブロック図である。
【０４９３】
図６６のエンハンスメント符号化部４１１は、設定部４３１と符号化部４３２により構成される。
【０４９４】
エンハンスメント符号化部４１１の設定部４３１は、必要に応じて、コピーフラグを含むSPS,PPSなどのパラメータセットを設定する。設定部４３１は、設定されたパラメータセットを符号化部４３２に供給する。
【０４９５】
符号化部４３２は、外部から入力されるフレーム単位のエンハンスメント画像を入力信号とし、HEVC方式に準ずる方式で符号化する。また、符号化部４３２は、符号化時に用いられた参照画像特定情報と、ベース符号化部１１からの参照画像特定情報とに基づいて、コピーフラグを設定する。
【０４９６】
符号化部４３２は、設定されたコピーフラグと設定部４３１から供給されるSPSに含まれるコピーフラグとに基づいて、符号化結果にコピーフラグ等を付加し、符号化データを生成する。そして、符号化部４３２は、符号化データと設定部４３１から供給されるパラメータセットとからエンハンスメントストリームを生成し、図６５の合成部１３に供給する。
【０４９７】
（符号化部の構成例）
図６７は、図６６の符号化部４３２の構成例を示すブロック図である。
【０４９８】
図６７に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０４９９】
図６７の符号化部４３２の構成は、可逆符号化部３６、蓄積バッファ３７、参照画像設定部５０の代わりに、可逆符号化部４５１、蓄積バッファ４５２、参照画像設定部４５３が設けられる点が図１４の構成と異なる。
【０５００】
可逆符号化部４５１は、イントラ予測モード情報をイントラ予測部４６から取得する。また、可逆符号化部４５１は、動き予測・補償部４７から供給されるインター予測モード情報と動きベクトルなどを動き予測・補償部４７から取得する。さらに、可逆符号化部４５１は、RPSフラグ、コピーフラグなどを参照画像設定部４５３から取得する。また、可逆符号化部４５１は、適応オフセットフィルタ４２からオフセットフィルタ情報を取得し、適応ループフィルタ４３からフィルタ係数を取得する。
【０５０１】
可逆符号化部４５１は、量子化部３５から供給される量子化された係数に対して可逆符号化を行う。また、可逆符号化部４５１は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、RPSフラグ、およびコピーフラグ、オフセットフィルタ情報、並びにフィルタ係数を、符号化情報として可逆符号化する。可逆符号化部４５１は、可逆符号化された符号化情報を可逆符号化された係数に付加し、符号化データとする。可逆符号化部４５１は、符号化データを蓄積バッファ４５２に供給し、蓄積させる。
【０５０２】
蓄積バッファ４５２は、可逆符号化部４５１から供給される符号化データを、一時的に記憶する。また、蓄積バッファ４５２は、記憶している符号化データを、図６６の設定部４３１から供給されるパラメータセットとともに、エンハンスメントストリームとして合成部１３（図６５）に供給する。
【０５０３】
参照画像設定部４５３は、動き予測・補償部４７から供給される参照画像特定情報と、参照バッファ４９に記憶されている参照画像特定情報を比較してコピーフラグを設定する。そして、参照画像設定部４５３は、設定されたコピーフラグが設定部４３１から供給されるSPSに含まれるコピーフラグと異なる場合、設定されたコピーフラグを可逆符号化部４５１に供給する。
【０５０４】
また、参照画像設定部４５３は、設定されたコピーフラグに基づいて、動き予測・補償部４７から供給される参照画像特定情報とSPSに含まれる参照画像特定情報を比較してRPSフラグを設定し、可逆符号化部４５１に供給する。さらに、参照画像設定部４５３は、RPSフラグに基づいて、動き予測・補償部４７から供給される参照画像特定情報を可逆符号化部４５１に供給したり、その参照画像特定情報と同一のSPSに含まれる参照画像特定情報を特定するインデックスを可逆符号化部４５１に供給したりする。
【０５０５】
（エンハンスメントストリームのSPSのシンタックスの第１の例）
図６８は、図６６の設定部４３１により設定されるSPSのシンタックスの例を示す図である。
【０５０６】
図６８の３行目に示すように、エンハンスメントストリームのSPSには、コピーフラグ（inter_layer_copy_flag）が設定される。コピーフラグは、ベース画像の参照画像特定情報をエンハンスメント画像の参照画像特定情報として用いることを示す場合１であり、ベース画像の参照画像特定情報をエンハンスメント画像の参照画像特定情報として用いないことを示す場合０である。
【０５０７】
また、図６８の４乃至１４行目に示すように、コピーフラグが０である場合、ベースストリームのSPSと同様に、RPSに関する情報とlong termの参照画像特定情報に関する情報が設定される。
【０５０８】
（エンハンスメントストリームのスライスヘッダのシンタックスの第１の例）
図６９は、エンハンスメントストリームのスライスヘッダのシンタックスの例を示す図である。
【０５０９】
図６９の５行目に示すように、エンハンスメントストリームのスライスヘッダには、対応するスライスのコピーフラグがSPSに含まれるコピーフラグと異なる場合、コピーフラグが設定される。また、６乃至１５行目に示すように、対応するスライスのコピーフラグが０である場合、ベースストリームのスライスヘッダと同様に、RPSフラグとRPSまたはRPSのインデックスとが設定され、long termフラグに応じてlong termの参照画像特定情報が設定される。
【０５１０】
（効果の説明）
図７０は、符号化装置４００における効果を説明する図である。
【０５１１】
上述したように、符号化装置４００では、コピーフラグがSPSに設定され、各スライスのコピーフラグがSPSのコピーフラグと異なる場合、そのスライスのスライスヘッダにコピーフラグが設定される。従って、後述する復号装置は、スライスヘッダにコピーフラグが含まれる場合にのみコピーフラグを更新すれば済むため、コピーフラグを用いた参照画像特定情報の認識処理を容易に行うことができる。
【０５１２】
これに対して、Do-Kyoung Kwon,Madhukar Budagavi,Minhua Zhou,”Inter-layer slice header syntax element prediction in SHVC”,JCTVC-L0231,2013.1.14-1.23では、SPSにコピーフラグを設定せず、図７０の５行目に示すように、各スライスヘッダに常にコピーフラグ（inter_layer_rps_prediction_flag）を設定することが提案されている。この場合、復号装置は、スライス単位でコピーフラグを更新する必要があるため、コピーフラグを用いた参照画像特定情報の認識処理が複雑になる。
【０５１３】
（符号化装置の処理の第１の例の説明）
図７１は、図６５の符号化装置４００の階層符号化処理を説明するフローチャートである。
【０５１４】
図７１のステップＳ３６１において、符号化装置４００のベース符号化部１１は、外部から入力されたベース画像をHEVC方式で符号化し、パラメータセットを付加することによりベースストリームを生成する。そして、ベース符号化部１１は、ベースストリームを合成部１３に供給する。
【０５１５】
ステップＳ３６２において、ベース符号化部１１は、ベース画像の参照画像特定情報をエンハンスメント符号化部４１１に出力する。
【０５１６】
ステップＳ３６３において、エンハンスメント符号化部４１１の設定部４３１（図６６）は、エンハンスメント画像のパラメータセットを設定する。ステップＳ３６４において、符号化部４３２は、外部から入力されたエンハンスメント画像を符号化するエンハンスメント符号化処理を行う。
【０５１７】
このエンハンスメント符号化処理は、図２６のステップＳ３８の生成処理の代わりにコピーフラグ等を設定するコピーフラグ設定処理を行う点、および、図２７のステップＳ５４の処理が行われない点を除いて、図２６および図２７の符号化処理と同様である。従って、コピーフラグ設定処理についてのみ、後述する図７３を参照して詳細に説明する。
【０５１８】
ステップＳ３６５において、符号化部４３２の蓄積バッファ４５２（図６７）は、ステップＳ３６４で生成された符号化データと、設定部４３１から供給されるパラメータセットからエンハンスメントストリームを生成し、合成部１３に出力する。
【０５１９】
ステップＳ３６６において、合成部１３は、ベース符号化部１１から供給されるベースストリームとエンハンスメント符号化部４１１から供給されるエンハンスメントストリームを合成し、VPSなどを付加して、全階層の符号化ストリームを生成する。合成部１３は、全階層の符号化ストリームを伝送部１４に供給する。
【０５２０】
ステップＳ３６７において、伝送部１４は、合成部１３から供給される全階層の符号化ストリームを後述する復号装置に伝送し、処理を終了する。
【０５２１】
図７２は、図７１のステップＳ３６３の処理のうちのSPSを設定するSPS設定処理の詳細を説明するフローチャートである。
【０５２２】
図７２のステップＳ３８１において、設定部４３１は、コピーフラグをSPSに設定する。ステップＳ３８２において、設定部４３１は、SPSに設定されたコピーフラグが１であるかどうかを判定する。
【０５２３】
ステップＳ３８２でコピーフラグが１ではないと判定された場合、即ちコピーフラグが０である場合、ステップＳ３８３において、設定部４３１は、RPSをSPSに設定する。
【０５２４】
ステップＳ３８４において、設定部４３１は、long termフラグをSPSに設定する。ステップＳ３８５において、設定部４３１は、SPSに設定されたlong termフラグが１であるかどうかを判定する。ステップＳ３８５でlong termフラグが１であると判定された場合、ステップＳ３８６において、設定部４３１は、long termの参照画像特定情報を設定し、処理を終了する。
【０５２５】
一方、ステップＳ３８２でコピーフラグが１であると判定された場合、または、ステップＳ３８５でlong termフラグが１ではないと判定された場合、処理は終了する。
【０５２６】
図７３は、図７１のステップＳ３６４のエンハンスメント符号化処理におけるコピーフラグ設定処理の詳細を説明するフローチャートである。このコピーフラグ設定処理は、例えば、スライス単位で行われる。
【０５２７】
図７３のステップＳ３９０において、図６７の参照画像設定部４５３は、動き予測・補償部４７からエンハンスメント画像の参照画像特定情報を取得する。ステップＳ３９１において、参照画像設定部４５３は、参照バッファ４９からベース画像の参照画像特定情報を読み出す。
【０５２８】
ステップＳ３９２において、参照画像設定部４５３は、エンハンスメント画像の参照画像特定情報がベース画像の参照画像特定情報と同一であるかどうかを判定する。ステップＳ３９２でエンハンスメント画像とベース画像の参照画像特定情報が同一であると判定された場合、ステップＳ３９３において、参照画像設定部４５３は、コピーフラグを１に設定する。
【０５２９】
ステップＳ３９４において、参照画像設定部４５３は、図６６の設定部４３１から供給されるSPSのコピーフラグが１であるかどうかを判定する。ステップＳ３９４でコピーフラグが１であると判定された場合、処理は終了する。
【０５３０】
一方、ステップＳ３９４でコピーフラグが１ではないと判定された場合、参照画像設定部４５３は、設定されたコピーフラグを可逆符号化部４５１に供給し、処理を終了する。
【０５３１】
一方、ステップＳ３９２でエンハンスメント画像とベース画像の参照画像特定情報が同一ではないと判定された場合、ステップＳ３９６において、参照画像設定部４５３は、コピーフラグを０に設定する。ステップＳ３９７において、参照画像設定部４５３は、設定部４３１から供給されるSPSのコピーフラグが１であるかどうかを判定する。
【０５３２】
ステップＳ３９７でSPSのコピーフラグが１であると判定された場合、ステップＳ３９８において、参照画像設定部４５３は、設定されたコピーフラグを可逆符号化部４５１に供給し、処理をステップＳ３９９に進める。
【０５３３】
一方、ステップＳ３９７でSPSのコピーフラグが１ではないと判定された場合、即ちSPSのコピーフラグが、設定されたコピーフラグと同一の０である場合、ステップＳ３９８の処理はスキップし、処理はステップＳ３９９に進む。
【０５３４】
ステップＳ３９９において、参照画像設定部４５３は、動き予測・補償部４７から供給される参照画像特定情報のうちのRPSがSPSのRPSと同一であるかどうかを判定する。ステップＳ３９９で動き予測・補償部４７からのRPSがSPSのRPSと同一であると判定された場合、ステップＳ４００において、参照画像設定部４５３は、RPSフラグを１に設定する。
【０５３５】
ステップＳ４０１において、参照画像設定部４５３は、動き予測・補償部４７からのRPSと同一のSPSのRPSのインデックスを可逆符号化部４５１に供給し、処理をステップＳ４０４に進める。
【０５３６】
一方、ステップＳ３９９で動き予測・補償部４７からのRPSがSPSのRPSと同一ではないと判定された場合、ステップＳ４０２において、参照画像設定部４５３は、RPSフラグを０に設定する。
【０５３７】
ステップＳ４０３において、参照画像設定部４５３は、動き予測・補償部４７からのRPSを可逆符号化部４５１に供給し、処理をステップＳ４０４に進める。
【０５３８】
ステップＳ４０４において、参照画像設定部４５３は、SPSに含まれるlong termフラグが１であるかどうかを判定する。ステップＳ４０４でlong termフラグが１であると判定された場合、処理はステップＳ４０５に進む。
【０５３９】
ステップＳ４０５において、参照画像設定部４５３は、動き予測・補償部４７から供給される参照画像特定情報のうちのlong termの参照画像特定情報等を可逆符号化部４５１に供給する。具体的には、参照画像設定部４５３は、動き予測・補償部４７からのlong termの参照画像特定情報のうちのSPSのlong termの参照画像特定情報と異なるものと、同一のもののインデックスを可逆符号化部４５１に供給する。そして、処理は終了する。
【０５４０】
以上のように、符号化装置４００は、コピーフラグを設定するので、ベースレイヤとエンハンスメントレイヤの間で参照画像特定情報を共有することができる。従って、エンハンスメントストリームの情報量を削減し、符号化効率を向上させることができる。
【０５４１】
（復号装置の第３実施の形態の構成例）
図７４は、図６５の符号化装置４００から伝送される全階層の符号化ストリームを復号する、本開示を適用した復号装置の第３実施の形態の構成例を示すブロック図である。
【０５４２】
図７４に示す構成のうち、図２９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０５４３】
図７４の復号装置４７０の構成は、エンハンスメント復号部９４の代わりにエンハンスメント復号部４７１が設けられる点が、図２９の復号装置９０の構成と異なる。
【０５４４】
復号装置４７０のエンハンスメント復号部４７１は、分離部９２から供給されるエンハンスメントストリームをHEVC方式に準ずる方式で復号し、エンハンスメント画像を生成する。このとき、エンハンスメント復号部４７１は、ベース復号部９３から供給されるベース画像の参照画像特定情報とSPSやスライスヘッダに含まれるコピーフラグ等を参照する。エンハンスメント復号部４７１は、生成されたエンハンスメント画像を出力する。
【０５４５】
（エンハンスメント復号部の構成例）
図７５は、図７４のエンハンスメント復号部４７１の構成例を示すブロック図である。
【０５４６】
図７５に示す構成のうち、図３０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０５４７】
図７５のエンハンスメント復号部４７１の構成は、復号部１１２の代わりに復号部４９１が設けられる点が、図３０のエンハンスメント復号部９４の構成と異なる。
【０５４８】
エンハンスメント復号部４７１の復号部４９１は、図７４のベース復号部９３からのベース画像の参照画像特定情報と、抽出部１１１からのSPSやスライスヘッダに含まれるコピーフラグを参照して、抽出部１１１からの符号化データをHEVC方式に準ずる方式で復号する。復号部４９１は、復号の結果得られる画像を、エンハンスメント画像として出力する。
【０５４９】
（復号部の構成例）
図７６は、図７５の復号部４９１の構成例を示すブロック図である。
【０５５０】
図７６に示す構成のうち、図３１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０５５１】
図７６の復号部４９１の構成は、可逆復号部１３２の代わりに可逆復号部５１１が設けられる点、および、参照画像設定部１４５の代わりに参照画像設定部５１２が設けられる点が図３１の復号部１１２の構成と異なる。
【０５５２】
復号部４９１の可逆復号部５１１は、蓄積バッファ１３１からの符号化データに対して可逆復号を施すことで、量子化された係数と符号化情報を得る。可逆復号部５１１は、量子化された係数を逆量子化部１３３に供給する。また、可逆復号部５１１は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給し、動きベクトル、インター予測モード情報などを動き補償部１４６に供給する。
【０５５３】
また、可逆復号部５１１は、符号化情報としてのコピーフラグ、RPSフラグ、参照画像特定情報、RPSのインデックスなどを参照画像設定部５１２に供給する。さらに、可逆復号部５１１は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１４７に供給する。可逆復号部５１１は、符号化情報としてのオフセットフィルタ情報を適応オフセットフィルタ１３７に供給し、フィルタ係数を適応ループフィルタ１３８に供給する。
【０５５４】
参照画像設定部５１２は、図７５の抽出部１１１から供給されるSPSに含まれるコピーフラグと参照画像特定情報を保持する。参照画像設定部５１２は、可逆復号部５１１からコピーフラグ、参照画像特定情報が供給されたとき、保持しているコピーフラグ、参照画像特定情報を更新する。
【０５５５】
そして、参照画像設定部５１２は、保持しているコピーフラグに基づいて、参照バッファ１４４からベース画像の参照画像特定情報を読み出し、処理対象のスライスの参照画像特定情報に決定する。また、参照画像設定部５１２は、コピーフラグと可逆復号部５１１からのRPSフラグに基づいて、更新後の参照画像特定情報、または、保持している可逆復号部５１１からのインデックスの参照画像特定情報を、処理対象のスライスの参照画像特定情報に決定する。
【０５５６】
（復号装置の処理の第１の例の説明）
図７４の復号装置４７０の階層復号処理は、図３３のステップＳ１０６のエンハンスメント画像生成処理を除いて図３３の階層復号処理と同様である。従って、以下では、エンハンスメント画像生成処理についてのみ説明する。
【０５５７】
図７７は、図７４のエンハンスメント復号部４７１のエンハンスメント画像生成処理を説明するフローチャートである。
【０５５８】
図７７のステップＳ４３１において、エンハンスメント復号部４７１の抽出部１１１は、図７４の分離部９２から供給されるエンハンスメントストリームから、SPS，PPS等のパラメータセットと符号化データを抽出し、復号部４９１に供給する。
【０５５９】
ステップＳ４３２において、復号部４９１の参照画像設定部５１２は、抽出部１１１から供給されるSPSからコピーフラグ等を抽出するSPS抽出処理を行う。このSPS抽出処理の詳細は、後述する図７８を参照して説明する。
【０５６０】
ステップＳ４３３において、復号部４９１は、SPSやスライスヘッダに含まれるコピーフラグ、ベース復号部９３からの参照画像特定情報などを参照して、抽出部１１１からの符号化データをHEVC方式に準ずる方式で復号するエンハンスメント復号処理を行う。このエンハンスメント復号処理は、図３５のステップＳ１３６の生成処理を除いて図３５の復号処理と同様である。従って、以下では、生成処理についてのみ、後述する図７９を参照して詳細に説明する。
【０５６１】
図７８は、図７７のステップＳ４３２のSPS抽出処理の詳細を説明するフローチャートである。
【０５６２】
図７８のステップＳ４５１において、参照画像設定部５１２は、抽出部１１１から供給されるSPSからコピーフラグを抽出し、保持する。ステップＳ４５２において、参照画像設定部５１２は、抽出されたコピーフラグが１であるかどうかを判定する。
【０５６３】
ステップＳ４５２でコピーフラグが１ではないと判定された場合、即ちコピーフラグが０である場合、ステップＳ４５３において、参照画像設定部５１２は、SPSからRPSを抽出し、保持する。ステップＳ４５４において、参照画像設定部５１２は、SPSからlong termフラグを抽出する。
【０５６４】
ステップＳ４５５において、参照画像設定部５１２は、long termフラグが１であるかどうかを判定し、１であると判定した場合、処理をステップＳ４５６に進める。ステップＳ４５６において、参照画像設定部５１２は、SPSからlong termの参照画像特定情報を抽出し、保持する。そして、処理は、図７７のステップＳ４３２に戻り、ステップＳ４３３に進む。
【０５６５】
一方、ステップＳ４５２でコピーフラグが１であると判定された場合、または、ステップＳ４５５でlong termフラグが１ではないと判定された場合、処理は図７７のステップＳ４３２に戻り、ステップＳ４３３に進む。
【０５６６】
図７９は、図７７のステップＳ４３３のエンハンスメント復号処理における生成処理の詳細を説明するフローチャートである。この生成処理は、例えば、スライス単位で行われる。
【０５６７】
図７９のステップＳ４７１において、参照画像設定部５１２は、可逆復号部５１１からコピーフラグが供給されたかどうかを判定する。ステップＳ４７１でコピーフラグが供給されたと判定された場合、ステップＳ４７２において、参照画像設定部５１２は、保持しているSPSに含まれるコピーフラグを、可逆復号部５１１からのコピーフラグに更新する。そして、処理はステップＳ４７３に進む。
【０５６８】
一方、ステップＳ４７１でコピーフラグが供給されていないと判定された場合、処理はステップＳ４７３に進む。
【０５６９】
ステップＳ４７３において、参照画像設定部５１２は、保持されているコピーフラグが１であるかどうかを判定し、コピーフラグが１であると判定した場合、処理をステップＳ４７４に進める。
【０５７０】
ステップＳ４７４において、参照画像設定部５１２は、参照バッファ１４４からベース画像の参照画像特定情報を読み出す。ステップＳ４７５において、参照画像設定部５１２は、ベース画像の参照画像特定情報を処理対象のスライスの参照画像特定情報に決定する。そして、参照画像設定部５１２は、決定された参照画像特定情報を動き補償部１４６に供給し、処理を終了する。
【０５７１】
一方、ステップＳ４７３でコピーフラグが１ではないと判定された場合、即ちコピーフラグが０である場合、処理はステップＳ４７６に進む。ステップＳ４７６において、参照画像設定部５１２は、RPSフラグが１であるかどうかを判定する。ステップＳ４７６でRPSフラグが１であると判定された場合、ステップＳ４７７において、参照画像設定部５１２は、可逆復号部５１１から供給される参照画像特定情報のインデックスを取得する。
【０５７２】
ステップＳ４７８において、参照画像設定部５１２は、保持しているSPSに含まれる参照画像特定情報のうちの取得されたインデックスが付与された参照画像特定情報を処理対象のスライスの参照画像特定情報に決定し、動き補償部１４６に供給する。
【０５７３】
なお、このとき、SPSに含まれるlong termフラグが１である場合には、可逆復号部５１１から供給されるlong termの参照画像特定情報も、処理対象のスライスの参照画像特定情報として決定され、動き補償部１４６に供給される。ステップＳ４７８の処理後、処理は終了する。
【０５７４】
一方、ステップＳ４７６でRPSフラグが１ではないと判定された場合、ステップＳ４７９において、参照画像設定部５１２は、可逆復号部５１１から供給される参照画像特定情報を取得する。そして、参照画像設定部５１２は、この参照画像特定情報に、保持しているSPSに含まれる参照画像特定情報を更新する。
【０５７５】
ステップＳ４８０において、参照画像設定部５１２は、更新後の参照画像特定情報を処理対象のスライスの参照画像特定情報に決定し、動き補償部１４６に供給する。そして、処理は終了する。
【０５７６】
生成処理の終了後、参照画像設定部５１２に保持されているコピーフラグおよび参照画像特定情報は、SPSに含まれるコピーフラグおよび参照画像特定情報に戻される。
【０５７７】
以上のように、復号装置４７０は、コピーフラグを用いてエンハンスメント画像の参照画像特定情報を生成するので、ベースレイヤとエンハンスメントレイヤの間で参照画像特定情報を共有することができる。従って、ベースレイヤとエンハンスメントレイヤの間で参照画像特定情報を共有することにより符号化効率を向上させたエンハンスメントストリームを復号することができる。
【０５７８】
なお、上述した説明では、RPSとlong termの参照画像特定情報に共通のコピーフラグが設定されたが、別々にコピーフラグが設定されるようにすることもできる。この場合を第３実施の形態の第２の例として以下に説明する。なお、以下では、第３実施の形態の第２の例の場合を、別コピーフラグ設定時といい、第１の例の場合を、共通コピーフラグ設定時という。
【０５７９】
（エンハンスメントストリームのSPSのシンタックスの第２の例）
図８０は、別コピーフラグ設定時に図６６の設定部４３１により設定されるSPSのシンタックスの例を示す図である。
【０５８０】
図８０の３行目に示すように、SPSには、RPS用のコピーフラグであるRPSコピーフラグ（inter_layer_short_copy_flag）が設定される。RPSコピーフラグは、ベース画像のRPSをエンハンスメント画像のRPSとして用いることを示す場合１であり、ベース画像のRPSをエンハンスメント画像のRPSとして用いないことを示す場合０である。
【０５８１】
また、図８０の４乃至８行目に示すように、RPSコピーフラグが０である場合、SPSには、ベースストリームのSPSと同様に、RPSに関する情報が設定される。
【０５８２】
図８０の９行目に示すように、SPSにはlong termフラグが設定される。１０行目および１１行目に示すように、long termフラグが１である場合、long termの参照画像特定情報用のコピーフラグであるlong termコピーフラグ（inter_layer_long_copy_flag）が設定される。
【０５８３】
long termコピーフラグは、ベース画像のlong termの参照画像特定情報をエンハンスメント画像のlong termの参照画像特定情報として用いることを示す場合１である。一方、ベース画像のlong termの参照画像特定情報をエンハンスメント画像のlong termの参照画像特定情報として用いないことを示す場合０である。
【０５８４】
図８０の１２乃至１７行目に示すように、long termコピーフラグが０である場合、SPSには、long termの参照画像特定情報の数(num_long_term_ref_pics_sps)とlong termの参照画像特定情報が設定される。
【０５８５】
（エンハンスメントストリームのスライスヘッダのシンタックスの第２の例）
図８１は、別コピーフラグ設定時のエンハンスメントストリームのスライスヘッダのシンタックスの例を示す図である。
【０５８６】
図８１の５行目に示すように、エンハンスメントストリームのスライスヘッダには、対応するスライスのRPSコピーフラグがSPSに含まれるRPSコピーフラグと異なる場合、RPSコピーフラグが設定される。また、図８１の６乃至１２行目に示すように、対応するスライスのRPSコピーフラグが０である場合、ベースストリームのスライスヘッダと同様に、RPSフラグと、RPSまたはRPSのインデックスが設定される。
【０５８７】
また、図８１の１３乃至１７行目に示すように、long termフラグが１である場合、スライスヘッダには、long termコピーフラグが設定され、long termコピーフラグが０である場合long termの参照画像特定情報が設定される。
【０５８８】
（符号化装置の処理の第２の例の説明）
別コピーフラグ設定時の階層符号化処理は、SPS設定処理とコピーフラグ設定処理を除いて、図７１の階層符号化処理と同様である。従って、以下では、SPS設定処理とコピーフラグ設定処理についてのみ説明する。
【０５８９】
図８２は、別コピーフラグ設定時のSPS設定処理を説明するフローチャートである。
【０５９０】
図８２のステップＳ５０１において、設定部４３１は、RPSコピーフラグをSPSに設定する。ステップＳ５０２において、設定部４３１は、SPSに設定されたRPSコピーフラグが１であるかどうかを判定する。
【０５９１】
ステップＳ５０２でRPSコピーフラグが１ではないと判定された場合、即ちRPSコピーフラグが０である場合、ステップＳ５０３において、設定部４３１は、RPSをSPSに設定し、処理をステップＳ５０４に進める。一方、ステップＳ５０２でRPSコピーフラグが１であると判定された場合、処理はステップＳ５０４に進む。
【０５９２】
ステップＳ５０４において、設定部４３１は、long termフラグをSPSに設定する。ステップＳ５０５において、設定部４３１は、SPSに設定されたlong term フラグが１であるかどうかを判定する。ステップＳ５０５でlong termフラグが１であると判定された場合、ステップＳ５０６において、設定部４３１は、long termコピーフラグをSPSに設定する。
【０５９３】
ステップＳ５０７においてSPSに設定されたlong termコピーフラグが１であるかどうかを判定する。ステップＳ５０７でlong termコピーフラグが１ではないと判定された場合、即ちlong termコピーフラグが０である場合、ステップＳ５０８において、設定部４３１は、long termの参照画像特定情報を設定し、処理を終了する。
【０５９４】
一方、ステップＳ５０５でlong termフラグが１ではないと判定された場合、または、ステップＳ５０７でlong termコピーフラグが１であると判定された場合、処理は終了する。
【０５９５】
図８３は、別コピーフラグ設定時のコピーフラグ設定処理を説明するフローチャートである。このコピーフラグ設定処理は、例えば、スライス単位で行われる。
【０５９６】
図８３のステップＳ５２１およびＳ５２２の処理は、図７３のステップＳ３９０およびＳ３９１の処理と同様であるので、説明は省略する。また、ステップＳ５２３乃至Ｓ５３４の処理は、コピーフラグがRPSコピーフラグに代わる点、および、参照画像特定情報がRPSに代わる点を除いて図７３のステップＳ３９２乃至Ｓ４０３の処理と同様であるので、説明は省略する。
【０５９７】
ステップＳ５２５でSPSのRPSコピーフラグが１であると判定された場合、および、ステップＳ５２６，Ｓ５３２，Ｓ５３４の処理後、処理はステップＳ５３５に進む。
【０５９８】
ステップＳ５３５において、図６７の参照画像設定部４５３は、エンハンスメント画像のlong termの参照画像特定情報がベース画像のlong termの参照画像特定情報と同一であるかどうかを判定する。ステップＳ５３５でエンハンスメント画像とベース画像のlong termの参照画像特定情報が同一であると判定された場合、ステップＳ５３６において、参照画像設定部４５３は、long termコピーフラグを１に設定する。
【０５９９】
ステップＳ５３７において、参照画像設定部４５３は、図６６の設定部４３１から供給されるSPSのlong termコピーフラグが１であるかどうかを判定する。ステップＳ５３７でSPSのlong termコピーフラグが１であると判定された場合、処理は終了する。
【０６００】
一方、ステップＳ５３７でSPSのlong termコピーフラグが１ではないと判定された場合、即ちSPSのlong termコピーフラグが０である場合、ステップＳ５３８において、参照画像設定部４５３は、設定されたlong termコピーフラグを可逆符号化部４５１に供給する。そして、処理は終了する。
【０６０１】
また、ステップＳ５３５でエンハンスメント画像とベース画像のlong termの参照画像特定情報が同一ではないと判定された場合、ステップＳ５３９において、参照画像設定部４５３は、long termコピーフラグを０に設定する。
【０６０２】
ステップＳ５４０において、参照画像設定部４５３は、SPSのlong termコピーフラグが１であるかどうかを判定する。ステップＳ５４０でSPSのlong termコピーフラグが１であると判定された場合、ステップＳ５４１において、参照画像設定部４５３は、設定されたlong termコピーフラグを可逆符号化部４５１に供給し、処理をステップＳ５４２に進める。
【０６０３】
一方、ステップＳ５４０でSPSのlong termコピーフラグが１ではないと判定された場合、即ちSPSのlong termコピーフラグが０である場合、処理はステップＳ５４２に進む。
【０６０４】
ステップＳ５４２およびＳ５４３の処理は、図７３のステップＳ４０４およびＳ４０５の処理と同様であるので、説明は省略する。ステップＳ５４３の処理後、処理は終了する。
【０６０５】
（復号装置の処理の第２の例の説明）
別コピーフラグ設定時の階層復号処理は、SPS抽出処理と生成処理を除いて、共通コピーフラグ設定時の階層復号処理と同様である。従って、以下では、SPS抽出処理と生成処理についてのみ説明する。
【０６０６】
図８４は、別コピーフラグ設定時のSPS抽出処理を説明するフローチャートである。
【０６０７】
図８４のステップＳ５６１において、参照画像設定部５１２は、抽出部１１１から供給されるSPSからRPSコピーフラグを抽出し、保持する。ステップＳ５６２において、参照画像設定部５１２は、抽出されたRPSコピーフラグが１であるかどうかを判定する。
【０６０８】
ステップＳ５６２でRPSコピーフラグが１ではないと判定された場合、即ちRPSコピーフラグが０である場合、ステップＳ５６３において、参照画像設定部５１２は、SPSからRPSを抽出し、保持する。そして処理はステップＳ５６４に進む。
【０６０９】
一方、ステップＳ５６２でRPSコピーフラグが１であると判定された場合、処理はステップＳ５６４に進む。
【０６１０】
ステップＳ５６４において、参照画像設定部５１２は、SPSからlong termフラグを抽出する。
【０６１１】
ステップＳ５６５において、参照画像設定部５１２は、抽出されたlong termフラグが１であるかどうかを判定し、１であると判定した場合、処理をステップＳ５６６に進める。ステップＳ５６６において、参照画像設定部５１２は、SPSからlong termコピーフラグを抽出し、保持する。
【０６１２】
ステップＳ５６７において、参照画像設定部５１２は、long termコピーフラグが１であるかどうかを判定し、１ではないと判定した場合、即ち０である場合、処理をステップＳ５６８に進める。ステップＳ５６８において、参照画像設定部５１２は、SPSからlong termの参照画像特定情報を抽出して保持し、処理を終了する。
【０６１３】
一方、ステップＳ５６５でlong termフラグが１ではないと判定された場合、または、ステップＳ５６７でlong termコピーフラグが１であると判定された場合、処理は終了する。
【０６１４】
図８５は、別コピーフラグ設定時の生成処理を説明するフローチャートである。この生成処理は、例えば、スライス単位で行われる。
【０６１５】
図８５のステップＳ５８１において、参照画像設定部５１２は、可逆復号部５１１からRPSコピーフラグが供給されたかどうかを判定する。ステップＳ５８１でRPSコピーフラグが供給されたと判定された場合、ステップＳ５８２において、参照画像設定部５１２は、保持しているSPSに含まれるRPSコピーフラグを、可逆復号部５１１からのRPSコピーフラグに更新する。そして、処理はステップＳ５８３に進む。
【０６１６】
一方、ステップＳ５８１でRPSコピーフラグが供給されていないと判定された場合、処理はステップＳ５８３に進む。
【０６１７】
ステップＳ５８３において、参照画像設定部５１２は、可逆復号部５１１からlong termコピーフラグが供給されたかどうかを判定する。ステップＳ５８３でlong termコピーフラグが供給されたと判定された場合、ステップＳ５８４において、参照画像設定部５１２は、保持しているSPSに含まれるlong termコピーフラグを、可逆復号部５１１からのlong termコピーフラグに更新する。そして、処理はステップＳ５８５に進む。
【０６１８】
一方、ステップＳ５８３でlong termコピーフラグが供給されていないと判定された場合、処理はステップＳ５８５に進む。
【０６１９】
ステップＳ５８５乃至Ｓ５９２の処理は、コピーフラグがRPSコピーフラグに代わる点、参照画像特定情報がRPSに代わる点、および処理対象のスライスのlong termの参照画像特定情報が決定されない点を除いて、図７９のステップＳ４７３乃至Ｓ４８０の処理と同様であるので、説明は省略する。
【０６２０】
ステップＳ５８７，Ｓ５９０、およびＳ５９２の処理後、処理はステップＳ５９３に進む。
【０６２１】
ステップＳ５９３において、参照画像設定部５１２は、long termコピーフラグが１であるかどうかを判定する。ステップＳ５９３でlong termコピーフラグが１であると判定された場合、ステップＳ５９４において、参照画像設定部５１２は、参照バッファ１４４からベース画像のlong termの参照画像特定情報を読み出す。
【０６２２】
ステップＳ５９５において、参照画像設定部５１２は、ベース画像のlong termの参照画像特定情報を処理対象のスライスのlong termの参照画像特定情報に決定する。そして、参照画像設定部５１２は、決定されたlong termの参照画像特定情報を動き補償部１４６に供給し、処理を終了する。
【０６２３】
一方、ステップＳ５９３でlong termコピーフラグが１ではないと判定された場合、即ちlong termコピーフラグが０である場合、処理はステップＳ５９６に進む。ステップＳ５９６において、参照画像設定部５１２は、可逆復号部５１１から供給されるlong termの参照画像特定情報のインデックスを取得する。
【０６２４】
ステップＳ５９７において、参照画像設定部５１２は、保持しているSPSに含まれるlong termの参照画像特定情報のうちの取得されたインデックスが付与されたlong termの参照画像特定情報を、処理対象のスライスのlong termの参照画像特定情報に決定する。また、参照画像設定部５１２は、可逆復号部５１１から供給されるlong termの参照画像特定情報も処理対象のスライスのlong termの参照画像特定情報に決定する。そして、参照画像設定部５１２は、処理対象のスライスのlong termの参照画像特定情報を動き補償部１４６に供給し、処理を終了する。
【０６２５】
生成処理の終了後、参照画像設定部５１２に保持されているRPSコピーフラグ、long termコピーフラグ、および参照画像特定情報は、SPSに含まれるRPSコピーフラグ、long termコピーフラグ、および参照画像特定情報に戻される。
【０６２６】
以上のように、別コピーフラグ設定時には、ベース画像のRPSとlong termの参照画像特定情報のいずれか一方のみがエンハンスメント画像のものとして用いられるときに、その一方を重複して設定する必要がない。従って、符号化効率が向上する。
【０６２７】
ここで、ベース画像のRPSとlong termの参照画像特定情報のいずれか一方のみがエンハンスメント画像のものとして用いられる場合としては、例えば、ref_idx_frameworkモードでエンハンスメント画像の参照画像が設定される場合がある。この場合、ベース画像がエンハンスメント画像のlong termの参照画像として用いられるため、RPSがベース画像とエンハンスメント画像間で同一であっても、long termの参照画像特定情報は、ベース画像とエンハンスメント画像間で異なる。
【０６２８】
また、この場合、エンハンスメント画像のlong termの参照画像の数がベース画像に比べて多くなり、フレームメモリ４４（１４１）のサイズが増大する。従って、そのサイズを抑制するためにエンハンスメント画像のlong termの参照画像の一部を削除することが考えられるが、削除される参照画像は高精度の予測が可能なベース画像以外の参照画像である。よって、この場合にも、long termの参照画像特定情報は、ベース画像とエンハンスメント画像間で異なる。
【０６２９】
また、エンハンスメント画像の解像度がベース画像の解像度より大きく、フレームメモリ４４（１４１）のサイズを抑制するために、エンハンスメント画像のshort termまたはlong termのいずれか一方の参照画像を削減する場合もある。この場合、short termまたはlong termのいずれか一方の参照画像特定情報が、ベース画像とエンハンスメント画像間で異なる。
【０６３０】
さらに、ベース画像が参照画像として用いられる場合、ベース画像により高精度の予測を行うことができる可能性が高いため、エンハンスメント画像のshort termまたはlong termのいずれか一方の参照画像を削減することにより、フレームメモリ４４（１４１）のサイズを抑制する場合もある。この場合、short termまたはlong termのいずれか一方の参照画像特定情報が、ベース画像とエンハンスメント画像間で異なる。
【０６３１】
上述したように、ref_idx_frameworkモードでエンハンスメント画像の参照画像が設定される場合、long termの参照画像特定情報は、ベース画像とエンハンスメント画像間で異なる。
【０６３２】
従って、RPSとlong termの参照画像特定情報で別々にコピーフラグを設定するのではなく、ref_idx_frameworkモード時にlong termの参照画像特定情報に対するコピーフラグを無効にすることにより、コピーフラグが０にされることによるRPSの重複設定を回避するようにしてもよい。この場合を第３実施の形態の第３の例として以下に説明する。なお、以下では、第３実施の形態の第３の例の場合を、設定モード使用時という。
【０６３３】
（VPSのシンタックスの例）
図８６は、第３の実施の形態におけるVPSの拡張部(vps_extension)のシンタックスの例を示す図である。
【０６３４】
なお、第３実施の形態におけるVPSのVPS拡張部以外のシンタックスは、第１および第２実施の形態におけるVPSと同様である。
【０６３５】
図８６の４行目に示すように、VPSの拡張部には、ベース画像の符号化方式がAVC方式であるかどうかを示すAVCフラグ（avc_base_layer_flag）が設定される。AVCフラグは、ベース画像の符号化方式がAVC方式である場合１であり、HEVC方式である場合０である。
【０６３６】
また、７行目に示すように、VPSの拡張部には、エンハンスメント画像の参照画像の設定モードとして用いられているscalable機能特有の設定モードの種類を示す設定モード情報（scalavility_mask）が設定される。設置モード情報は、例えば、エンハンスメント画像の参照画像の設定モードとしてref_idx_frameworkモードが用いられている場合１である。
【０６３７】
このように、エンハンスメント画像の参照画像の設定モードがref_idx_frameworkモードであるかどうかを表す情報は、設定モード情報としてVPSに設定される。従って、この設定モード情報を用いて、long termの参照画像特定情報に対するコピーフラグを無効にすることができる。
【０６３８】
（エンハンスメントストリームのSPSのシンタックスの第３の例）
図８７は、設定モード使用時に図６６の設定部４３１により設定されるSPSのシンタックスの例を示す図である。
【０６３９】
図８７の３行目に示すように、エンハンスメントストリームのSPSには、図６８の場合と同様にコピーフラグ（inter_layer_copy_flag）が設定される。また、４乃至８行目に示すように、SPSには、図６８の場合と同様に、RPSに関する情報が設定される。
【０６４０】
また、９乃至１７行目に示すように、コピーフラグが０であるか、または、設定モード情報が１である場合、SPSには、図６８の場合と同様にlong termの参照画像特定情報に関する情報が設定される。即ち、コピーフラグが１であっても、設定モード情報が１である場合には、コピーフラグが無効にされ、SPSには、long termの参照画像特定情報に関する情報が設定される。
【０６４１】
（エンハンスメントストリームのスライスヘッダのシンタックスの第３の例）
図８８は、設定モード使用時のエンハンスメントストリームのスライスヘッダのシンタックスの例を示す図である。
【０６４２】
図８８の５行目に示すように、エンハンスメントストリームのスライスヘッダには、対応するスライスのコピーフラグがSPSに含まれるコピーフラグと異なる場合、図６９の場合と同様に、コピーフラグが設定される。また、図８８の６乃至１２行目に示すように、図６９の場合と同様に、対応するスライスのコピーフラグが０である場合、RPSフラグとRPSまたはRPSのインデックスとが設定される。
【０６４３】
また、図８８の１３乃至１６行目に示すように、long termフラグが１である場合、コピーフラグが０であるか、または、設定モード情報が１であるとき、long termの参照画像特定情報が設定される。
【０６４４】
（符号化装置の処理の第３の例の説明）
設定モード使用時の階層符号化処理は、SPS設定処理とコピーフラグ設定処理を除いて、図７１の階層符号化処理と同様である。従って、以下では、SPS設定処理とコピーフラグ設定処理についてのみ説明する。
【０６４５】
図８９は、設定モード使用時のSPS設定処理を説明するフローチャートである。
【０６４６】
図８９のステップＳ６１１乃至Ｓ６１３の処理は、RPSコピーフラグがコピーフラグに代わる点を除いて、図８２のステップＳ５０１乃至Ｓ５０３の処理と同様であるので説明は省略する。
【０６４７】
ステップＳ６１３の処理後、または、ステップＳ６１２でコピーフラグが１であると判定された場合、処理はステップＳ６１４に進む。
【０６４８】
ステップＳ６１４において、設定部４３１は、コピーフラグが０であるか、または、VPSに設定された設定モード情報が１であるかどうかを判定する。
【０６４９】
ステップＳ６１４でコピーフラグが０であるか、または、設定モード情報が１であると判定された場合、処理はステップＳ６１５に進む。ステップＳ６１５乃至Ｓ６１７の処理は、図７２のステップＳ３８４乃至Ｓ３８６の処理と同様であるので、説明は省略する。
【０６５０】
一方、ステップＳ６１４で、コピーフラグが０ではなく、かつ、設定モード情報が１ではないと判定された場合、即ちコピーフラグが１であり、かつ、設定モード情報が０である場合、処理は終了する。
【０６５１】
図９０は、設定モード使用時のコピーフラグ設定処理を説明するフローチャートである。このコピーフラグ設定処理は、例えば、スライス単位で行われる。
【０６５２】
図９０のステップＳ６３１およびＳ６３２の処理は、図７３のステップＳ３９０およびＳ３９１の処理と同様であるので、説明は省略する。
【０６５３】
ステップＳ６３３において、図６７の参照画像設定部４５３は、設定部４３１から供給されるVPSに設定されている設定モード情報が１であるかどうかを判定する。ステップＳ６３３で設定モード情報が１であると判定された場合、ステップＳ６３４において、参照画像設定部４５３は、エンハンスメント画像のRPSがベース画像のRPSと同一であるかどうかを判定する。
【０６５４】
ステップＳ６３４でエンハンスメント画像とベース画像のRPSが同一であると判定された場合、ステップＳ６３５において、参照画像設定部４５３は、コピーフラグを１に設定し、処理をステップＳ６４０に進める。
【０６５５】
一方、ステップＳ６３４でエンハンスメント画像とベース画像のRPSが同一ではないと判定された場合、ステップＳ６３６において、参照画像設定部４５３は、コピーフラグを０に設定し、処理をステップＳ６４０に進める。
【０６５６】
また、ステップＳ６３３で設定モード情報が１ではないと判定された場合、即ち設定モード情報が０である場合、処理はステップＳ６３７に進む。ステップＳ６３７乃至Ｓ６３９の処理は、図７３のステップＳ３９２、Ｓ３９３、およびＳ３９６の処理と同様であるので、説明は省略する。ステップＳ６３８およびＳ６３９の処理後、処理はステップＳ６４０に進む。
【０６５７】
ステップＳ６４０において、参照画像設定部４５３は、設定部４３１から供給されるSPSのコピーフラグと設定されたコピーフラグが同一であるかどうかを判定する。ステップＳ６４０でSPSのコピーフラグと設定されたコピーフラグが同一であると判定された場合、処理はステップＳ６４２に進む。
【０６５８】
一方、ステップＳ６４０でSPSのコピーフラグと設定されたコピーフラグが同一ではないと判定された場合、ステップＳ６４１において、参照画像設定部４５３は、設定されたコピーフラグを可逆符号化部４５１に供給し、処理をステップＳ６４２に進める。
【０６５９】
ステップＳ６４２において、参照画像設定部４５３は、設定されたコピーフラグが１であるかどうかを判定する。ステップＳ６４２で設定されたコピーフラグが１であると判定された場合、ステップＳ６４３において、参照画像設定部４５３は、設定モード情報が１であるかどうかを判定する。
【０６６０】
ステップＳ６４３で設定モード情報が１ではないと判定された場合、即ち設定モード情報が０である場合、処理は終了する。一方、ステップＳ６４３で設定モード情報が１であると判定された場合、処理はステップＳ６４９に進む。
【０６６１】
また、ステップＳ６４２で設定されたコピーフラグが１ではないと判定された場合、即ち設定されたコピーフラグが０である場合、処理はステップＳ６４４に進む。ステップＳ６４４乃至Ｓ６５０の処理は、図７３のステップＳ３９９乃至Ｓ４０５の処理と同様であるので、説明は省略する。
【０６６２】
以上のように、設定モード使用時には、設定モード情報が１であるとき、long termの参照画像特定情報に対するコピーフラグが無効にされるので、RPSがベース画像とエンハンスメント画像間で同一であるかどうかによってコピーフラグを設定することができる。従って、設定モード情報が１であるためにlong termの参照画像特定情報がベース画像とエンハンスメント画像の間で異なる場合、コピーフラグを１に設定し、RPSをベース画像とエンハンスメント画像の間で共有することができる。その結果、符号化効率が向上する。
【０６６３】
（復号装置の処理の第３の例の説明）
設定モード使用時の階層復号処理は、SPS抽出処理と生成処理を除いて、共通コピーフラグ設定時の階層復号処理と同様である。従って、以下では、SPS抽出処理と生成処理についてのみ説明する。
【０６６４】
図９１は、設定モード使用時のSPS抽出処理を説明するフローチャートである。
【０６６５】
図９１のステップＳ６７１乃至Ｓ６７３の処理は、図７８のステップＳ４５１乃至Ｓ４５３の処理と同様であるので、説明は省略する。
【０６６６】
ステップＳ６７３の処理後、または、ステップＳ６７２でコピーフラグが１であると判定された場合、処理はステップＳ６７４に進む。
【０６６７】
ステップＳ６７４において、参照画像設定部５１２は、抽出部１１１から供給されるSPSに含まれるコピーフラグが０であるか、または、VPSに含まれる設定モード情報が１であるかどうかを判定する。
【０６６８】
ステップＳ６７４でコピーフラグが０であるか、または、設定モード情報が１であると判定された場合、処理はステップＳ６７５に進む。ステップＳ６７５乃至Ｓ６７７の処理は、図７８のステップＳ４５４乃至Ｓ４５６の処理と同様であるので、説明は省略する。
【０６６９】
一方、ステップＳ６７４でコピーフラグが０ではなく、かつ、設定モード情報が１ではないと判定された場合、即ち、コピーフラグが１であり、かつ、設定モード情報が０である場合、処理は終了する。
【０６７０】
図９２は、設定モード使用時の生成処理を説明するフローチャートである。この生成処理は、例えば、スライス単位で行われる。
【０６７１】
図９２のステップＳ６９１およびＳ６９２の処理は、図７９のステップＳ４７１およびＳ４７２の処理と同様であるので、説明は省略する。ステップＳ６９３乃至Ｓ７００の処理は、RPSコピーフラグがコピーフラグに代わる点を除いて、図８５のステップＳ５８５乃至Ｓ５９２の処理と同様であるので、説明は省略する。
【０６７２】
ステップＳ７０１において、参照画像設定部５１２は、分離部９２により抽出されたVPSに含まれる設定モード情報が１であるかどうかを判定する。ステップＳ７０１で設定モード情報が１ではないと判定された場合、即ち設定モード情報が０である場合、処理はステップＳ７０２に進む。
【０６７３】
ステップＳ７０２乃至Ｓ７０６の処理は、long termコピーフラグがコピーフラグに代わる点を除いて、図８５のステップＳ５９３乃至Ｓ５９７の処理と同様であるので、説明は省略する。
【０６７４】
一方、ステップＳ７０１で設定モード情報が１であると判定された場合、処理はステップＳ７０５に進む。
【０６７５】
なお、上述した説明では、ベース画像の符号化方式は、HEVC方式であるものとしたが、AVC方式等のHEVC方式以外の符号化方式であるようにすることもできる。この場合、ベース画像とエンハンスメント画像の参照画像特定情報を共有することはできない。従って、ベース画像とエンハンスメント画像の符号化方式が同一である場合にのみコピーフラグが設定され、ベース画像とエンハンスメント画像の参照画像特定情報が共有されるようにしてもよい。
【０６７６】
この場合を第３実施の形態の第４の例として以下に説明する。なお、ここでは、共通コピーフラグ設定時の場合について説明するが、別コピーフラグ設定時や設定モード使用時の場合においても同様に行うことができる。また、以下では、第３実施の形態の第４の例を符号化方式に基づく共通コピーフラグ設定時という。
【０６７７】
（エンハンスメントストリームのSPSのシンタックスの第４の例）
図９３は、符号化方式に基づく共通コピーフラグ設定時に図６６の設定部４３１により設定されるSPSのシンタックスの例を示す図である。
【０６７８】
図９３の２行目および３行目に示すように、図８６のVPSの拡張部に設定されるAVCフラグ（avc_base_layer_flag）が０である場合、即ち符号化方式がAVC方式ではない場合、SPSには、コピーフラグが設定される。また、４行目１４行目に示すように、AVCフラグが１であるか、または、コピーフラグが０である場合、SPSには、ベースストリームのSPSと同様に、RPSに関する情報とlong termの参照画像特定情報に関する情報が設定される。
【０６７９】
（符号化装置の処理の第４の例の説明）
符号化方式に基づく共通コピーフラグ設定時の階層符号化処理は、SPS設定処理とコピーフラグ設定処理を除いて、図７１の階層符号化処理と同様である。
【０６８０】
符号化方式に基づく共通コピーフラグ設定時のSPS設定処理は、図７２のSPS設定処理の前に設定部４３１がVPSに設定されるAVCフラグが１であるかどうかを判定する点を除いて、図７２のSPS設定処理と同様である。AVCフラグが１ではないと判定された場合図７２のSPS設定処理が行われ、AVCフラグが０であると判定された場合、処理はステップＳ３８３に進む。
【０６８１】
また、符号化方式に基づく共通コピーフラグ設定時のコピーフラグ設定処理は、図７３のコピーフラグ設定処理の前に参照画像設定部４５３が設定部４３１から供給されるVPSに設定されるAVCフラグが１であるかどうかを判定する点を除いて、図７３のコピーフラグ設定処理と同様である。AVCフラグが１ではないと判定された場合図７３のコピーフラグ設定処理が行われ、AVCフラグが１であると判定された場合、処理はステップＳ３９９に進む。
【０６８２】
（復号装置の処理の第４の例の説明）
符号化方式に基づく共通コピーフラグ設定時の階層復号処理は、SPS抽出処理と生成処理を除いて、共通コピーフラグ設定時の階層復号処理と同様である。
【０６８３】
符号化方式に基づく共通コピーフラグ設定時のSPS抽出処理は、図７８のSPS抽出処理の前に参照画像設定部５１２が分離部９２により抽出されたVPSに含まれるAVCフラグが１であるかどうかを判定する点を除いて、図７８のSPS抽出処理と同様である。AVCフラグが１ではないと判定された場合図７８のSPS抽出処理が行われ、AVCフラグが０であると判定された場合処理はステップＳ４５３に進む。
【０６８４】
また、符号化方式に基づく共通コピーフラグ設定時の生成処理は、図７９の生成処理の前に参照画像設定部５１２が、AVCフラグが１であるかどうかを判定する点を除いて、図７９の生成処理と同様である。AVCフラグが１ではないと判定された場合、図７９の生成処理が行われ、AVCフラグが１であると判定された場合、処理はステップＳ４７６に進む。
【０６８５】
＜第４実施の形態＞
（符号化装置の第４実施の形態の構成例）
図９４は、本技術を適用した符号化装置の第４実施の形態の構成例を示すブロック図である。
【０６８６】
図９４に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０６８７】
図９４の符号化装置５３０の構成は、エンハンスメント符号化部１２の代わりにエンハンスメント符号化部５３１が設けられる点が図６の構成と異なる。符号化装置５３０は、RPSの少なくとも一部をベース画像とエンハンスメント画像の間で共有する。
【０６８８】
具体的には、符号化装置５３０のエンハンスメント符号化部５３１には、外部からエンハンスメント画像が入力される。エンハンスメント符号化部５３１は、エンハンスメント画像をHEVC方式に準ずる方式で符号化する。
【０６８９】
また、エンハンスメント符号化部５３１は、ベース符号化部１１から供給されるベース画像のRPSを用いて、一部RPSコピーフラグを参照画像特定生成情報（参照画像生成情報）として設定する。そして、エンハンスメント符号化部５３１は、一部RPSコピーフラグ等を符号化結果に付加して符号化データを生成する。なお、一部RPSコピーフラグは、ベース画像のRPSの少なくとも一部をエンハンスメント画像のRPSとして用いるかどうかを示すフラグである。
【０６９０】
エンハンスメント符号化部５３１は、符号化データ、SPS,PPS等を含む符号化ストリームを、エンハンスメントストリームとして合成部１３に供給する。
【０６９１】
なお、ここでは、符号化装置５３０は、全階層の符号化ストリームを伝送するものとするが、必要に応じて、ベースストリームのみを伝送することもできる。
【０６９２】
（エンハンスメント符号化部の構成例）
図９５は、図９４のエンハンスメント符号化部５３１の構成例を示すブロック図である。
【０６９３】
図９５のエンハンスメント符号化部５３１は、設定部５５１と符号化部５５２により構成される。
【０６９４】
エンハンスメント符号化部５３１の設定部５５１は、必要に応じて、一部RPSコピーフラグを含むSPS,PPSなどのパラメータセットを設定する。設定部５５１は、設定されたパラメータセットを符号化部５５２に供給する。
【０６９５】
符号化部５５２は、外部から入力されるフレーム単位のエンハンスメント画像を入力信号とし、HEVC方式に準ずる方式で符号化する。また、符号化部５５２は、符号化時に用いられたRPSとベース符号化部１１からのRPSとに基づいて、一部RPSコピーフラグを設定する。
【０６９６】
符号化部５５２は、設定された一部RPSコピーフラグと設定部５５１から供給されるSPSに含まれる一部RPSコピーフラグとに基づいて、符号化結果に一部RPSコピーフラグ等を付加し、符号化データを生成する。そして、符号化部５５２は、符号化データと設定部５５１から供給されるパラメータセットとからエンハンスメントストリームを生成し、図９４の合成部１３に供給する。
【０６９７】
（符号化部の構成例）
図９６は、図９５の符号化部５５２の構成例を示すブロック図である。
【０６９８】
図９６に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０６９９】
図９６の符号化部５５２の構成は、可逆符号化部３６、蓄積バッファ３７、参照画像設定部５０の代わりに、可逆符号化部５７１、蓄積バッファ４５２、参照画像設定部５７２が設けられる点が図１４の構成と異なる。
【０７００】
可逆符号化部５７１は、イントラ予測モード情報をイントラ予測部４６から取得する。また、可逆符号化部５７１は、動き予測・補償部４７から供給されるインター予測モード情報と動きベクトルなどを動き予測・補償部４７から取得する。さらに、可逆符号化部５７１は、RPSフラグ、一部RPSコピーフラグなどを参照画像設定部５７２から取得する。また、可逆符号化部５７１は、適応オフセットフィルタ４２からオフセットフィルタ情報を取得し、適応ループフィルタ４３からフィルタ係数を取得する。
【０７０１】
可逆符号化部５７１は、量子化部３５から供給される量子化された係数に対して可逆符号化を行う。また、可逆符号化部５７１は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、RPSフラグ、および一部RPSコピーフラグ、オフセットフィルタ情報、並びにフィルタ係数を、符号化情報として可逆符号化する。可逆符号化部５７１は、可逆符号化された符号化情報を可逆符号化された係数に付加し、符号化データとする。可逆符号化部５７１は、符号化データを蓄積バッファ４５２に供給し、蓄積させる。
【０７０２】
参照画像設定部５７２は、動き予測・補償部４７から供給されるRPSと、参照バッファ４９に記憶されているRPSを比較して一部RPSコピーフラグを設定する。そして、参照画像設定部５７２は、設定された一部RPSコピーフラグが図９５の設定部５５１から供給されるSPSに含まれる一部RPSコピーフラグと異なる場合、設定された一部RPSコピーフラグを可逆符号化部５７１に供給する。
【０７０３】
また、参照画像設定部５７２は、動き予測・補償部４７から供給されるRPS、ベース画像のRPS、および一部RPSコピーフラグに基づいて、その一部RPSコピーフラグ用のRPSを生成する。そして、参照画像設定部５７２は、生成された一部RPSコピーフラグ用のRPSとSPSに含まれる一部RPSコピーフラグ用のRPSとを比較してRPSフラグを設定し、可逆符号化部５７１に供給する。さらに、参照画像設定部５７２は、RPSフラグに基づいて、生成された一部RPSコピーフラグ用のRPSを可逆符号化部５７１に供給したり、そのRPSと同一のSPSに含まれる一部RPSコピーフラグ用のRPSを特定するインデックスを可逆符号化部５７１に供給したりする。
【０７０４】
（エンハンスメントストリームのSPSのシンタックスの第１の例）
図９７は、図９５の設定部５５１により設定されるSPSのシンタックスの例を示す図である。
【０７０５】
図９７の３行目に示すように、エンハンスメントストリームのSPSには、一部RPSコピーフラグ（inter_layer_prediction_flag）が設定される。一部RPSコピーフラグは、ベース画像のRPSの少なくとも一部をエンハンスメント画像のRPSとして用いることを示す場合１であり、ベース画像のRPSの全てをエンハンスメント画像のRPSとして用いないことを示す場合０である。
【０７０６】
また、４行目に示すように、ベースストリームのSPSと同様に、そのSPSに含まれるRPSの数(num_short_term_ref_pic_sets)が設定される。また、５行目および６行目に示すように、SPSに設定される一部RPSコピーフラグ用のRPS(shrot_term_ref_pic_set(i,inter_layer_prediction_flag)が設定される。さらに、７乃至１３行目に示すように、ベースストリームのRPSと同様に、long termの参照画像特定情報に関する情報が設定される。
【０７０７】
（エンハンスメントストリームのスライスヘッダのシンタックスの第１の例）
図９８は、エンハンスメントストリームのスライスヘッダのシンタックスの例を示す図である。
【０７０８】
図９８の５行目に示すように、エンハンスメントストリームのスライスヘッダには、対応するスライスの一部RPSコピーフラグがSPSに含まれる一部RPSコピーフラグと異なる場合、一部RPSコピーフラグが設定される。６行目に示すように、ベースストリームのスライスヘッダと同様に、RPSフラグが設定される。
【０７０９】
また、７行目および８行目に示すように、RPSフラグが０である場合、対応するスライスの一部RPSコピーフラグ用のRPSが設定される。９行目および１０行目に示すように、RPSフラグが１である場合、対応するスライスの一部RPSコピーフラグ用のRPSと同一の、SPSに含まれる一部RPSコピーフラグ用のRPSのインデックスが設定される。また、１１行目および１２行目に示すように、ベースストリームのスライスヘッダと同様に、long termフラグに応じてlong termの参照画像特定情報が設定される。
【０７１０】
（RPSのシンタックスの第１の例）
図９９は、一部RPSコピーフラグ用のRPSのシンタックスの例を示す図である。
【０７１１】
図９９の３行目に示すように、一部RPSコピーフラグ用のRPSには、参照情報（inter_ref_pic_set_prediction_flag）が設定される。ここでは、参照情報は、同一レイヤ間だけでなく、異なるレイヤ間の参照の有無を示す。即ち、参照情報が１である場合、参照情報は、前画像またはベース画像のRPSをエンハンスメント画像のRPSとして用いることを示す。一方、参照情報が０である場合、参照情報は、前画像およびベース画像のRPSをエンハンスメント画像のRPSとして用いないことを示す。
【０７１２】
４乃至１０行目に示すように、参照情報が１であり、かつ、一部RPSコピーフラグが０である場合、即ち、前画像のRPSをエンハンスメント画像のRPSとして用いる場合、前画像特定情報（delta_idx_minus1）、符号（delta_rps_sign）、および絶対値（abs_delta_rps_minus1）が設定される。
【０７１３】
また、１１乃至１４行目に示すように、参照情報が１である場合、フラグ（used_by_curr_pic_lt_flag（used_by_curr_pic_flag））が設定され、フラグ（used_by_curr_pic_flag）が0である場合、さらにフラグ（use_delta_flag）が設定される。一方、１５乃至２５行目に示すように、参照情報が０である場合、参照画像の数やPOCを示す情報等が設定される。
【０７１４】
以上により、一部RPSコピーフラグが０である場合用のRPSには、参照情報が１である場合、前画像特定情報（delta_idx_minus1）、符号（delta_rps_sign）、および絶対値（abs_delta_rps_minus1）が設定される。また、フラグ（used_by_curr_pic_lt_flag）が設定されるとともに、フラグ（used_by_curr_pic_flag）に応じてフラグ（use_delta_flag）が設定される。参照情報が０である場合には、一部RPSコピーフラグが０である場合用のRPSには、参照画像の数やPOCを示す情報等が設定される。
【０７１５】
一方、一部RPSコピーフラグが１である場合用のRPSには、フラグ（used_by_curr_pic_flag）が設定されるとともに、フラグ（used_by_curr_pic_flag）に応じてフラグ（use_delta_flag）が設定される。
【０７１６】
即ち、一部RPSコピーフラグが１である場合、RPSの参照先の画像は同時刻のベース画像に固定されているため、ベース画像を特定する情報は設定されない。また、この場合、ベース画像のRPSの少なくとも一部がエンハンスメント画像のRPSとしてそのまま用いられるため、RPSの差分に関する符号（delta_rps_sign）と絶対値（abs_delta_rps_minus1）も設定されない。その結果、符号化効率が向上する。
【０７１７】
また、一部RPSコピーフラグが１である場合、フラグ（used_by_curr_pic_flag）（使用情報）が設定される。これにより、ベース画像の参照画像ごとに、その参照画像のRPSがエンハンスメント画像のRPSとして用いられるかを指定することができる。
【０７１８】
なお、一部RPSコピーフラグが１である場合参照情報は必ず１となるため、参照情報が０である場合は存在しない。
【０７１９】
（符号化装置の処理の第１の例の説明）
図９４の符号化装置５３０の階層符号化処理は、SPS設定処理とコピーフラグ設定処理を除いて、図７１の階層符号化処理と同様である。従って、以下では、SPS設定処理とコピーフラグ設定処理についてのみ説明する。
【０７２０】
図１００は、符号化装置５３０のSPS設定処理を説明するフローチャートである。
【０７２１】
図１００のステップＳ７２１において、図９５の設定部５５１は、一部RPSコピーフラグをSPSに設定する。ステップＳ７２２において、設定部５５１は、一部RPSコピーフラグが１であるかどうかを判定する。ステップＳ７２２で一部RPSコピーフラグが１であると判定された場合、ステップＳ７２３において、設定部５５１は、RPSの数(num_short_term_ref_pic_sets)の一部RPSコピーフラグが１である場合用のRPSをSPSに設定する。
【０７２２】
具体的には、設定部５５１は、参照情報としての１とフラグ（used_by_curr_pic_lt_flag）を含む一部RPSコピーフラグ用のRPSを、RPSの数(num_short_term_ref_pic_sets)だけSPSに設定する。なお、フラグ（used_by_curr_pic_flag）が０である場合、フラグ（use_delta_flag）も一部RPSコピーフラグ用のRPSに設定される。
【０７２３】
一方、ステップＳ７２２で一部RPSコピーフラグが１ではないと判定された場合、即ち一部RPSコピーフラグが０である場合、処理はステップＳ７２４に進む。ステップＳ７２４において、設定部５５１は、RPSの数(num_short_term_ref_pic_sets)の一部RPSコピーフラグが０である場合用のRPSをSPSに設定する。
【０７２４】
具体的には、設定部５５１は、参照情報を含み、参照情報が１である場合前画像特定情報（delta_idx_minus1）、符号（delta_rps_sign）、絶対値（abs_delta_rps_minus1）、およびフラグ（used_by_curr_pic_flag）を含み、参照情報が０である場合参照画像の数やPOCを示す情報等を含む一部RPSコピーフラグ用のRPSをRPSの数(num_short_term_ref_pic_sets)だけSPSに設定する。なお、フラグ（used_by_curr_pic_flag）が０である場合、フラグ（use_delta_flag）も一部RPSコピーフラグ用のRPSに設定される。
【０７２５】
ステップＳ７２３またはＳ７２４の処理後、処理はステップＳ７２５に進む。ステップＳ７２５乃至Ｓ７２７の処理は、図７２のステップＳ３８４乃至Ｓ３８６の処理と同様であるので、説明は省略する。
【０７２６】
図１０１は、符号化装置５３０のコピーフラグ設定処理の詳細を説明するフローチャートである。このコピーフラグ設定処理は、例えば、スライス単位で行われる。
【０７２７】
図１０１のステップＳ７４１およびＳ７４２の処理は、参照画像特定情報がRPSに代わる点を除いて、図７３のステップＳ３９０およびＳ３９１の処理と同様であるので、説明は省略する。
【０７２８】
ステップＳ７４３において、参照画像設定部５７２は、エンハンスメント画像のRPSの全てがベース画像のRPSに含まれているかどうかを判定する。ステップＳ７４３でエンハンスメント画像のRPSの全てがベース画像のRPSに含まれていると判定された場合、ステップＳ７４４において、参照画像設定部５７２は、一部RPSコピーフラグを１に設定する。
【０７２９】
また、参照画像設定部５７２は、エンハンスメント画像のRPSとベース画像のRPSから、エンハンスメント画像の一部RPSコピーフラグが１である場合用のRPSを生成する。
【０７３０】
具体的には、参照画像設定部５７２は、ベース画像のRPSで特定される参照画像のうちの、エンハンスメント画像のRPSで特定される参照画像と同一の参照画像のフラグ（used_by_curr_pic_flag）を１に設定し、異なる参照画像のフラグ（used_by_curr_pic_flag）を０に設定した一部RPSコピーフラグが１である場合用のRPSを生成する。
【０７３１】
そして、ステップＳ７４５において、参照画像設定部５７２は、図９５の設定部５５１から供給されるSPSの一部RPSコピーフラグが１であるかどうかを判定する。ステップＳ７４５で一部RPSコピーフラグが１であると判定された場合、処理はステップＳ７４６に進む。
【０７３２】
ステップＳ７４６において、参照画像設定部５７２は、SPSの一部RPSコピーフラグが１である場合用のRPSと、エンハンスメント画像の一部RPSコピーフラグが１である場合用のRPSが同一であるかどうかを判定する。ステップＳ７４６でSPSとエンハンスメント画像のRPSが同一であると判定された場合、ステップＳ７４７に進む。
【０７３３】
ステップＳ７４７において、参照画像設定部５７２は、RPSフラグとしての１とエンハンスメント画像のRPSと同一のSPSの一部RPSコピーフラグが１である場合用のRPSのインデックスを可逆符号化部５７１に供給し、処理を終了する。
【０７３４】
一方、ステップＳ７４５で一部RPSコピーフラグが１ではないと判定された場合、即ち、一部RPSコピーフラグが０である場合、処理はステップＳ７４８に進む。ステップＳ７４８において、参照画像設定部５７２は、設定された一部RPSコピーフラグとしての０を可逆符号化部５７１に供給し、処理をステップＳ７４９に進める。
【０７３５】
また、ステップＳ７４６でSPSとエンハンスメント画像のRPSが同一ではないと判定された場合、処理はステップＳ７４９に進む。
【０７３６】
ステップＳ７４９において、参照画像設定部５７２は、RPSフラグとしての０と一部RPSコピーフラグが１である場合用のRPSを可逆符号化部５７１に供給し、処理を終了する。
【０７３７】
一方、ステップＳ７４３でエンハンスメント画像のRPSの少なくとも一部がベース画像のRPSに含まれていないと判定された場合、ステップＳ７５０において、参照画像設定部５７２は、一部RPSコピーフラグを０に設定する。また、参照画像設定部５７２は、エンハンスメント画像のRPSと前画像のRPSから、エンハンスメント画像の一部RPSコピーフラグが０である場合用のRPSを生成する。
【０７３８】
ステップＳ７５１において、参照画像設定部５７２は、設定部５５１から供給されるSPSの一部RPSコピーフラグが０であるかどうかを判定する。
【０７３９】
ステップＳ７５１でSPSの一部RPSコピーフラグが０であると判定された場合、処理はステップＳ７５２に進む。一方、ステップＳ７５１でSPSの一部RPSコピーフラグが０ではないと判定された場合、即ちSPSの一部RPSコピーフラグが１であると判定された場合、処理はステップＳ７５４に進む。
【０７４０】
ステップＳ７５２乃至Ｓ７５５の処理は、一部RPSコピーフラグが１である場合用のRPSが、一部RPSコピーフラグが０である場合用のRPSに代わる点を除いて、ステップＳ７４６乃至Ｓ７４９の処理と同様であるので、説明は省略する。
【０７４１】
以上のように、符号化装置５３０は、一部RPSコピーフラグを設定する。従って、ベース画像とエンハンスメント画像のRPSが完全に一致しない場合であっても、エンハンスメント画像のRPSがベース画像のRPSに含まれている場合には、ベースレイヤとエンハンスメントレイヤの間でRPSを共有することができる。その結果、エンハンスメントストリームの情報量を削減し、符号化効率を向上させることができる。
【０７４２】
また、符号化装置５３０は、フラグ（used_by_curr_pic_flag）を設定するので、ベースレイヤとエンハンスメントレイヤで共有するRPSの部分を指定することができる。
【０７４３】
（復号装置の第４実施の形態の構成例）
図１０２は、図９４の符号化装置５３０から伝送される全階層の符号化ストリームを復号する、本開示を適用した復号装置の第４実施の形態の構成例を示すブロック図である。
【０７４４】
図１０２に示す構成のうち、図２９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０７４５】
図１０２の復号装置５９０の構成は、エンハンスメント復号部９４の代わりにエンハンスメント復号部５９１が設けられる点が、図２９の復号装置９０の構成と異なる。
【０７４６】
復号装置５９０のエンハンスメント復号部５９１は、分離部９２から供給されるエンハンスメントストリームをHEVC方式に準ずる方式で復号し、エンハンスメント画像を生成する。このとき、エンハンスメント復号部５９１は、ベース復号部９３から供給されるベース画像のRPSとSPSやスライスヘッダに含まれる一部RPSコピーフラグ等を参照する。エンハンスメント復号部５９１は、生成されたエンハンスメント画像を出力する。
【０７４７】
（エンハンスメント復号部の構成例）
図１０３は、図１０２のエンハンスメント復号部５９１の構成例を示すブロック図である。
【０７４８】
図１０３に示す構成のうち、図３０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０７４９】
図１０３のエンハンスメント復号部５９１の構成は、復号部１１２の代わりに復号部６１１が設けられる点が、図３０のエンハンスメント復号部９４の構成と異なる。
【０７５０】
エンハンスメント復号部５９１の復号部６１１は、図１０２のベース復号部９３から供給されるベース画像のRPSと、抽出部１１１からのSPSやスライスヘッダに含まれる一部RPSコピーフラグを参照して、抽出部１１１からの符号化データをHEVC方式に準ずる方式で復号する。復号部６１１は、復号の結果得られる画像を、エンハンスメント画像として出力する。
【０７５１】
（復号部の構成例）
図１０４は、図１０３の復号部６１１の構成例を示すブロック図である。
【０７５２】
図１０４に示す構成のうち、図３１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０７５３】
図１０４の復号部６１１の構成は、可逆復号部１３２の代わりに可逆復号部６３１が設けられる点、および、参照画像設定部１４５の代わりに参照画像設定部６３２が設けられる点が図３１の復号部１１２の構成と異なる。
【０７５４】
復号部６１１の可逆復号部６３１は、蓄積バッファ１３１からの符号化データに対して可逆復号を施すことで、量子化された係数と符号化情報を得る。可逆復号部６３１は、量子化された係数を逆量子化部１３３に供給する。また、可逆復号部６３１は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給し、動きベクトル、インター予測モード情報などを動き補償部１４６に供給する。
【０７５５】
また、可逆復号部６３１は、符号化情報としての一部RPSコピーフラグ、RPSフラグ、その一部RPSコピーフラグ用のRPSまたはRPSのインデックスなどを、参照画像設定部６３２に供給する。さらに、可逆復号部６３１は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１４７に供給する。可逆復号部６３１は、符号化情報としてのオフセットフィルタ情報を適応オフセットフィルタ１３７に供給し、フィルタ係数を適応ループフィルタ１３８に供給する。
【０７５６】
参照画像設定部６３２は、図１０３の抽出部１１１から供給されるSPSに含まれる一部RPSコピーフラグと、その一部RPSコピーフラグ用のRPSとを保持する。参照画像設定部６３２は、可逆復号部６３１から一部RPSコピーフラグ、一部RPSコピーフラグ用のRPSが供給されたとき、保持している一部RPSコピーフラグ、一部RPSコピーフラグ用のRPSを更新する。
【０７５７】
そして、参照画像設定部６３２は、保持している一部RPSコピーフラグに基づいて、参照バッファ１４４からベース画像のRPSを読み出す。また、参照画像設定部６３２は、可逆復号部６３１からのRPSフラグに基づいて、保持している一部RPSコピーフラグ用のRPS、または、保持している可逆復号部６３１から供給されるインデックスの一部RPSコピーフラグ用のRPSを取得する。
【０７５８】
参照画像設定部６３２は、一部RPSコピーフラグが１である場合、ベース画像のRPSと一部RPSコピーフラグが１である場合用のRPSとに基づいて、ベース画像のRPSのうちの少なくとも一部を処理対象のスライスのRPSに決定する。一方、参照画像設定部６３２は、一部RPSコピーフラグが０である場合、一部RPSコピーフラグが０である場合用のRPSを処理対象のスライスのRPSに決定する。
【０７５９】
（復号装置の処理の第１の例の説明）
図１０２の復号装置５９０の階層復号処理は、SPS抽出処理と生成処理を除いて復号装置４７０の階層復号処理と同様である。従って、以下では、SPS抽出処理と生成処理についてのみ説明する。
【０７６０】
図１０５は、復号装置５９０のSPS抽出処理の詳細を説明するフローチャートである。
【０７６１】
図１０５のステップＳ７７１において、図１０４の参照画像設定部６３２は、一部RPSコピーフラグをSPSから抽出し、保持する。
【０７６２】
ステップＳ７７２において、参照画像設定部６３２は、一部RPSコピーフラグが１であるかどうかを判定する。ステップＳ７７２で一部RPSコピーフラグが１であると判定された場合、ステップＳ７７３において、参照画像設定部６３２は、RPSの数(num_short_term_ref_pic_sets)の一部RPSコピーフラグが１である場合用のRPSをSPSから抽出し、保持する。
【０７６３】
一方、ステップＳ７７２で一部RPSコピーフラグが１ではないと判定された場合、即ち一部RPSコピーフラグが０である場合、処理はステップＳ７７４に進む。ステップＳ７７４において、参照画像設定部６３２は、RPSの数(num_short_term_ref_pic_sets)の一部RPSコピーフラグが０である場合用のRPSをSPSから抽出し、保持する。
【０７６４】
ステップＳ７７３またはＳ７７４の処理後、処理はステップＳ７７５に進む。ステップＳ７７５乃至Ｓ７７７の処理は、図７８のステップＳ４５４乃至Ｓ４５６の処理と同様であるので、説明は省略する。
【０７６５】
図１０６は、復号装置５９０の生成処理の詳細を説明するフローチャートである。この生成処理は、例えば、スライス単位で行われる。
【０７６６】
図１０６のステップＳ８００乃至Ｓ８０２の処理は、コピーフラグが一部RPSコピーフラグに代わる点を除いて、図７９のステップＳ４７１乃至Ｓ４７３の処理と同様であるので、説明は省略する。
【０７６７】
ステップＳ８０２で一部RPSコピーフラグが１であると判定された場合、ステップＳ８０３において、参照画像設定部６３２は、参照バッファ１４４からベース画像のRPSを読み出す。
【０７６８】
ステップＳ８０４において、参照画像設定部６３２は、可逆復号部６３１から供給されるRPSフラグが１であるかどうかを判定する。
【０７６９】
ステップＳ８０４でRPSフラグが１であると判定された場合、ステップＳ８０５において、参照画像設定部６３２は、可逆復号部６３１から供給されるRPSのインデックスを取得する。
【０７７０】
ステップＳ８０６において、参照画像設定部６３２は、保持しているRPSのうちの、取得されたインデックスが付与された一部RPSコピーフラグが１である場合用のRPSに基づいて、ベース画像のRPSから処理対象のスライスのRPSを決定する。具体的には、参照画像設定部６３２は、ベース画像のRPSのうちの、一部RPSコピーフラグが１である場合用のRPSに含まれるフラグ（used_by_curr_pic_lt_flag）が１である参照画像を特定する情報のみを、処理対象のスライスのRPSに決定する。そして、処理は終了する。
【０７７１】
一方、ステップＳ８０４でRPSフラグが１ではないと判定された場合、即ちRPSフラグが０である場合、ステップＳ８０７において、参照画像設定部６３２は、可逆復号部６３１から供給される一部RPSコピーフラグが１である場合用のRPSを取得する。このRPSにより、参照画像設定部６３２に保持されているSPSに含まれる一部RPSコピーフラグ用のRPSが更新される。
【０７７２】
ステップＳ８０８において、参照画像設定部６３２は、更新後の一部RPSコピーフラグが１である場合用のRPSに基づいて、ステップＳ８０６の処理と同様に、ベース画像のRPSから処理対象のスライスのRPSを決定する。そして、処理は終了する。
【０７７３】
一方、ステップＳ８０２で一部RPSコピーフラグが１ではないと判定された場合、即ち一部RPSコピーフラグが０である場合、処理はステップＳ８０９に進む。ステップＳ８０９，Ｓ８１０、およびステップＳ８１２の処理は、一部RPSコピーフラグが１である場合用のRPSが、一部RPSコピーフラグが０である場合用のRPSに代わる点を除いて、ステップＳ８０４，Ｓ８０５、およびＳ８０７の処理と同一であるので、説明は省略する。
【０７７４】
ステップＳ８１０の処理後、ステップＳ８１１において、参照画像設定部６３２は、保持しているRPSのうちの、取得されたインデックスが付与された一部RPSコピーフラグが０である場合用のRPSを、処理対象のスライスのRPSに決定する。そして、処理は終了する。
【０７７５】
一方、ステップＳ８１２の処理後、ステップＳ８１３において、参照画像設定部６３２は、更新後の一部RPSコピーフラグが０である場合用のRPSを、処理対象のスライスのRPSに決定する。そして、処理は終了する。
【０７７６】
なお、生成処理の終了後、参照画像設定部６３２に保持されている一部RPSコピーフラグおよびRPSは、SPSに含まれる一部RPSコピーフラグおよびRPSに戻される。
【０７７７】
以上のように、復号装置５９０は、一部RPSコピーフラグを用いてエンハンスメント画像のRPSを生成する。従って、ベース画像とエンハンスメント画像のRPSが完全に一致しない場合であっても、エンハンスメント画像のRPSがベース画像のRPSに含まれている場合には、ベースレイヤとエンハンスメントレイヤの間でRPSを共有することにより符号化効率を向上させたエンハンスメントストリームを復号することができる。
【０７７８】
また、復号装置５９０は、フラグ（used_by_curr_pic_flag）を受け取るので、ベースレイヤとエンハンスメントレイヤで共有するRPSの部分を認識することができる。
【０７７９】
なお、上述した説明では、RPSが、一部RPSコピーフラグが１である場合用のRPSと一部RPSコピーフラグが０である場合用のRPSに区別されて設定されたが、区別されずに設定されるようにすることもできる。この場合を第４実施の形態の第２の例として以下に説明する。なお、以下では、第４実施の形態の第２の例の場合を、共通RPS設定時という。
【０７８０】
（RPSのシンタックスの第２の例）
図１０７は、共通RPS設定時のRPSのシンタックスの例を示す図である。
【０７８１】
共通RPS設定時には、図９７のSPSや図９８のスライスヘッダの一部RPSコピーフラグ用のRPSとして、図１０７のRPSが設定される。
【０７８２】
図１０７のRPSでは、３行目に示すように、図９９の場合と同様に、参照情報（inter_ref_pic_set_prediction_flag）が設定される。また、４行目および５行目に示すように、参照情報が１である場合、RPSには、一部RPSコピーフラグが設定される。即ち、参照情報が０である場合一部RPSコピーフラグは必ず０であるため、参照情報が１である場合にのみ、一部RPSコピーフラグが設定される。
【０７８３】
また、６乃至１１行目に示すように、一部RPSコピーフラグが０である場合、即ち参照情報が１であり、かつ、一部RPSコピーフラグが０である場合、図９９の場合と同様に、RPSには、前画像特定情報（delta_idx_minus1）、符号（delta_rps_sign）、および絶対値（abs_delta_rps_minus1）が設定される。
【０７８４】
また、１２乃至１５行目に示すように、参照情報が１である場合、RPSには、図９９の場合と同様に、フラグ（used_by_curr_pic_flag）と、フラグ（used_by_curr_pic_flag）に応じたフラグ（use_delta_flag）とが設定される。
【０７８５】
また、１６乃至２７行目に示すように、参照情報が０である場合、RPSには、図９９の場合と同様に、参照画像の数やPOCを示す情報等が設定される。
【０７８６】
（符号化装置の処理の第２の例の説明）
共通RPS設定時の階層符号化処理は、SPS設定処理とコピーフラグ設定処理を除いて、図７１の階層符号化処理と同様である。従って、以下では、SPS設定処理とコピーフラグ設定処理についてのみ説明する。
【０７８７】
図１０８は、共通RPS設定時のSPS設定処理を説明するフローチャートである。
【０７８８】
図１０８のステップＳ８３１において、図９５の設定部５５１は、一部RPSコピーフラグをSPSに設定する。ステップＳ８３２において、設定部５５１は、RPSの数(num_short_term_ref_pic_sets)のRPSをSPSに設定する。具体的には、設定部５５１は、参照情報が設定され、参照情報が１である場合一部RPSコピーフラグが設定され、参照情報と一部RPSコピーフラグに応じた情報が設定されるRPSをRPSの数(num_short_term_ref_pic_sets)だけSPSに設定する。
【０７８９】
ステップＳ８３３乃至Ｓ８３５の処理は、図７２のステップＳ３８４乃至Ｓ３８６の処理と同様であるので、説明は省略する。
【０７９０】
図１０９は、共通RPS設定時のコピーフラグ設定処理の詳細を説明するフローチャートである。このコピーフラグ設定処理は、例えば、スライス単位で行われる。
【０７９１】
図１０９のステップＳ８５１乃至Ｓ８５５の処理は、図１０１のステップＳ７４１乃至Ｓ７４４およびＳ７５０の処理と同様であるので、説明は省略する。
【０７９２】
ステップＳ８５４またはＳ８５５の処理後、処理はステップＳ８５６に進む。ステップＳ８５６において、参照画像設定部５７２は、図９５の設定部５５１から供給されるSPSの一部RPSコピーフラグと、ステップＳ８５４またはステップＳ８５５で設定された一部RPSコピーフラグが同一であるかどうかを判定する。
【０７９３】
ステップＳ８５６で一部RPSコピーフラグが同一であると判定された場合、ステップＳ８５７において、参照画像設定部５７２は、SPSのRPSとエンハンスメント画像のRPSが同一であるかどうかを判定する。ステップＳ８５７でSPSとエンハンスメント画像のRPSが同一であると判定された場合、ステップＳ８５８に進む。
【０７９４】
ステップＳ８５８において、参照画像設定部５７２は、RPSフラグとしての１とRPSのインデックスを可逆符号化部５７１に供給し、処理を終了する。
【０７９５】
一方、ステップＳ８５６で一部RPSコピーフラグが同一ではないと判定された場合、ステップＳ８５９において、参照画像設定部５７２は、設定された一部RPSコピーフラグを可逆符号化部５７１に供給し、処理をステップＳ８６０に進める。
【０７９６】
また、ステップＳ８５７でSPSとエンハンスメント画像のRPSが同一ではないと判定された場合、処理はステップＳ８６０に進む。
【０７９７】
ステップＳ８６０において、参照画像設定部５７２は、RPSフラグとしての０とRPSを可逆符号化部５７１に供給し、処理を終了する。
【０７９８】
（復号装置の処理の第２の例の説明）
共通RPS設定時の階層復号処理は、SPS抽出処理と生成処理を除いて、復号装置４７０の階層復号処理と同様である。従って、以下では、SPS抽出処理と生成処理についてのみ説明する。
【０７９９】
図１１０は、共通RPS設定時のSPS抽出処理を説明するフローチャートである。
【０８００】
図１１０のステップＳ８８１において、図１０４の参照画像設定部６３２は、一部RPSコピーフラグをSPSから抽出し、保持する。ステップＳ８８２において、参照画像設定部６３２は、RPSをSPSから抽出し、保持する。
【０８０１】
ステップＳ８８３乃至Ｓ８８５の処理は、図７８のステップＳ４５４乃至Ｓ４５６の処理と同様であるので、説明は省略する。
【０８０２】
共通RPS設定時の生成処理は、一部RPSコピーフラグが１である場合用のRPSと一部RPSコピーフラグが０である場合用のRPSが、RPSに代わる点を除いて、図１０６の生成処理と同様である。
【０８０３】
なお、第４実施の形態においても、第３実施の形態と同様に、ベース画像の符号化方式を、AVC方式等のHEVC方式以外の符号化方式にすることもできる。この場合、ベース画像とエンハンスメント画像の符号化方式が同一である場合にのみ一部RPSコピーフラグが設定され、ベース画像とエンハンスメント画像のRPSの少なくとも一部が共有される。
【０８０４】
＜多視点画像符号化・多視点画像復号への適用＞
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図１１１は、多視点画像符号化方式の一例を示す。
【０８０５】
図１１１に示されるように、多視点画像は、複数の視点の画像を含み、その複数の視点のうちの所定の１つの視点の画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の画像は、ノンベースビューの画像として扱われる。Scalable機能により多視点画像符号化が行われる場合、ベースビューの画像は、ベースレイヤ画像として符号化され、ノンベースビューの画像がエンハンスメント画像として符号化される。
【０８０６】
図１１１のような多視点画像符号化を行う場合、各ビュー（同一ビュー）において、量子化パラメータの差分をとることもできる：
(1)base−view：
(1−1) Dqp(base view)＝Current_CU_QP(base view)−LCU_QP(base view)
(1−2) dQP(base view)＝Current_CU_QP(base view)−Previsous_CU_QP(base view)
(1−3) dQP(base view)＝Current_CU_QP(base view)−Slice_QP(base view)
(2)non−base−view：
(2−1) dQP(non−base view)＝Current_CU_QP(non−base view)−LCU_QP(non−base view)
(2−2) dQP(non−base view)＝CurrentQP(non−base view)−PrevisousQP(non−base view)
(2−3) dQP(non−base view)＝Current_CU_QP(non−base view)−Slice_QP(non−base view)
【０８０７】
多視点画像符号化を行う場合、各ビュー(異なるビュー)において、量子化パラメータの差分をとることもできる：
(3)base−view/ non−base view：
(3−1) dQP(inter−view)＝Slice_QP(base view)−Slice_QP(non−base view)
(3−2) dQP(inter−view)＝LCU_QP(base view)−LCU_QP(non−base view)
(4)non−base view / non−base view ：
(4−1) dQP(inter−view)＝Slice_QP(non−base view i)−Slice_QP(non−base view j)
(4−2) dQP(inter−view)＝LCU_QP(non−base view i)−LCU_QP(non−base view j)
【０８０８】
この場合、上記(1)乃至(4)を組み合わせて用いることもできる。たとえば、ノンベースビューでは、ベースビューとノンベースビューとの間においてスライスレベルで量子化パラメータの差分をとる手法(3−1と2−3とを組み合わせる)、ベースビューとノンベースビューとの間においてLCUレベルで量子化パラメータの差分をとる手法(3−2と2−1とを組み合わせる)、が考えられる。このように、差分を繰り返して適用することにより、多視点符号化を行った場合においても、符号化効率を向上させることができる。
【０８０９】
上述した手法と同様に、上記の各dQPに対して、値が0でないdQPが存在するか否かを識別するフラグをセットすることもできる。
【０８１０】
＜Scalable機能による符号化の他の例＞
図１１２は、Scalable機能による符号化の他の例を示す。
【０８１１】
図１１２に示されるように、Scalable機能による符号化では、各レイヤ(同一レイヤ)において、量子化パラメータの差分をとることもできる：
(1)base−layer：
(1−1)dQP(base layer)＝Current_CU_QP(base layer)−LCU_QP(base layer)
(1−2)dQP(base layer)＝Current_CU_QP(base layer)−Previsous_CU_QP(base layer)
(1−3)dQP(base layer)＝Current_CU_QP(base layer)−Slice_QP(base layer)
(2)non−base−layer：
(2−1)dQP(non−base layer)＝Current_CU_QP(non−base layer)−LCU_QP(non−base layer)
(2−2)dQP(non−base layer)＝CurrentQP(non−base layer)−PrevisousQP(non−base layer)
(2−3)dQP(non−base layer)＝Current_CU_QP(non−base layer)−Slice_QP(non−base layer)
【０８１２】
また、各レイヤ(異なるレイヤ)において、量子化パラメータの差分をとることもできる：
(3)base−layer/ non−base layer：
(3−1)dQP(inter−layer)＝Slice_QP(base layer)−Slice_QP(non−base layer)
(3−2)dQP(inter−layer)＝LCU_QP(base layer)−LCU_QP(non−base layer)
(4)non−base layer / non−base layer ：
(4−1)dQP(inter−layer)＝Slice_QP(non−base layer i)−Slice_QP(non−base layer j)
(4−2)dQP(inter−layer)＝LCU_QP(non−base layer i)−LCU_QP(non−base layer j)
【０８１３】
この場合、上記(1)乃至(4)を組み合わせて用いることもできる。たとえば、ノンベースレイヤでは、ベースレイヤとノンベースレイヤとの間においてスライスレベルで量子化パラメータの差分をとる手法(3−1と2−3とを組み合わせる)、ベースレイヤとノンベースレイヤとの間においてLCUレベルで量子化パラメータの差分をとる手法(3−2と2−1とを組み合わせる)、が考えられる。このように、差分を繰り返して適用することにより、階層符号化を行った場合においても、符号化効率を向上させることができる。
【０８１４】
上述した手法と同様に、上記の各dQPに対して、値が0でないdQPが存在するか否かを識別するフラグをセットすることもできる。
【０８１５】
＜第５実施の形態＞
（本技術を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０８１６】
図１１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０８１７】
コンピュータにおいて、CPU（Central Processing Unit）８０１，ROM（Read Only Memory）８０２，RAM（Random Access Memory）８０３は、バス８０４により相互に接続されている。
【０８１８】
バス８０４には、さらに、入出力インタフェース８０５が接続されている。入出力インタフェース８０５には、入力部８０６、出力部８０７、記憶部８０８、通信部８０９、及びドライブ８１０が接続されている。
【０８１９】
入力部８０６は、キーボード、マウス、マイクロホンなどよりなる。出力部８０７は、ディスプレイ、スピーカなどよりなる。記憶部８０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部８０９は、ネットワークインタフェースなどよりなる。ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア８１１を駆動する。
【０８２０】
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８０８に記憶されているプログラムを、入出力インタフェース８０５及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。
【０８２１】
コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０８２２】
コンピュータでは、プログラムは、リムーバブルメディア８１１をドライブ８１０に装着することにより、入出力インタフェース８０５を介して、記憶部８０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８０９で受信し、記憶部８０８にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８０８に、あらかじめインストールしておくことができる。
【０８２３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０８２４】
＜第６実施の形態＞
（テレビジョン装置の構成例）
図１１４は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
【０８２５】
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
【０８２６】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【０８２７】
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
【０８２８】
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
【０８２９】
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
【０８３０】
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
【０８３１】
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
【０８３２】
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
【０８３３】
制御部９１０は、ＣＰＵ（Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
【０８３４】
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
【０８３５】
このように構成されたテレビジョン装置では、デコーダ９０４に本願の復号装置（復号方法）の機能が設けられる。このため、階層構造を有する画像の参照画像に関する情報を共有または予測することができる。
【０８３６】
＜第７実施の形態＞
（携帯電話機の構成例）
図１１５は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
【０８３７】
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
【０８３８】
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０８３９】
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
【０８４０】
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
【０８４１】
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
【０８４２】
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
【０８４３】
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
【０８４４】
このように構成された携帯電話装置では、画像処理部９２７に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、階層構造を有する画像の参照画像に関する情報を共有または予測することができる。
【０８４５】
＜第８実施の形態＞
（記録再生装置の構成例）
図１１６は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【０８４６】
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On−Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
【０８４７】
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
【０８４８】
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
【０８４９】
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
【０８５０】
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【０８５１】
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙ（登録商標）ディスク等である。
【０８５２】
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
【０８５３】
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
【０８５４】
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
【０８５５】
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
【０８５６】
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
【０８５７】
このように構成された記録再生装置では、デコーダ９４７に本願の復号装置（復号方法）の機能が設けられる。このため、階層構造を有する画像の参照画像に関する情報を共有または予測することができる。
【０８５８】
＜第９実施の形態＞
（撮像装置の構成例）
図１１７は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【０８５９】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
【０８６０】
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
【０８６１】
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
【０８６２】
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
【０８６３】
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
【０８６４】
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メディアドライブ９６８から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
【０８６５】
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触IC（Integrated Circuit）カード等であってもよい。
【０８６６】
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０８６７】
制御部９７０は、ＣＰＵを用いて構成されている。メモリ部９６７は、制御部９７０により実行されるプログラムや制御部９７０が処理を行う上で必要な各種のデータ等を記憶する。メモリ部９６７に記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングで制御部９７０により読み出されて実行される。制御部９７０は、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
【０８６８】
このように構成された撮像装置では、画像データ処理部９６４に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、階層構造を有する画像の参照画像に関する情報を共有または予測することができる。
【０８６９】
＜スケーラブル符号化の応用例＞
（第１のシステム）
次に、scalable機能による符号化であるスケーラブル符号化（階層符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図１１８に示される例のように、伝送するデータの選択のために利用される。
【０８７０】
図１１８に示されるデータ伝送システム１０００において、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク１００３を介して、パーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置に配信する。
【０８７１】
その際、配信サーバ１００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ１００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバーフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ１００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。
【０８７２】
例えば、スケーラブル符号化データ記憶部１００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）１０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）１０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。
【０８７３】
配信サーバ１００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ１００２は、処理能力の高いパーソナルコンピュータ１００４やタブレットデバイス１００６に対しては、高品質なスケーラブル符号化データ（BL+EL）１０１１をスケーラブル符号化データ記憶部１００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ１００２は、処理能力の低いAV機器１００５や携帯電話機１００７に対しては、スケーラブル符号化データ（BL+EL）１０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）１０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）１０１１よりも低品質なスケーラブル符号化データ（BL）１０１２として伝送する。
【０８７４】
このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバーフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）１０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部１００１の記憶領域をより効率よく使用することができる。
【０８７５】
なお、パーソナルコンピュータ１００４乃至携帯電話機１００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク１００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。
【０８７６】
そこで、配信サーバ１００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク１００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ１００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。
【０８７７】
なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１から、ベースレイヤのスケーラブル符号化データ（BL）１０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。
【０８７８】
もちろん、スケーラブル符号化データ記憶部１００１、配信サーバ１００２、ネットワーク１００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ１００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム１０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。
【０８７９】
（第２のシステム）
また、スケーラブル符号化は、例えば、図１１９に示される例のように、複数の通信媒体を介する伝送のために利用される。
【０８８０】
図１１９に示されるデータ伝送システム１１００において、放送局１１０１は、地上波放送１１１１により、ベースレイヤのスケーラブル符号化データ（BL）１１２１を伝送する。また、放送局１１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク１１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する（例えばパケット化して伝送する）。
【０８８１】
端末装置１１０２は、放送局１１０１が放送する地上波放送１１１１の受信機能を有し、この地上波放送１１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）１１２１を受け取る。また、端末装置１１０２は、ネットワーク１１１２を介した通信を行う通信機能をさらに有し、このネットワーク１１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を受け取る。
【０８８２】
端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
【０８８３】
また、端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１と、ネットワーク１１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
【０８８４】
以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバーフローの発生を抑制することができる。
【０８８５】
また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）１１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する通信媒体を、ネットワーク１１１２とするか、地上波放送１１１１とするかを、ネットワーク１１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。
【０８８６】
このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。
【０８８７】
もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置１１０２の数も任意である。さらに、以上においては、放送局１１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム１１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。
【０８８８】
（第３のシステム）
また、スケーラブル符号化は、例えば、図１２０に示される例のように、符号化データの記憶に利用される。
【０８８９】
図１２０に示される撮像システム１２００において、撮像装置１２０１は、被写体１２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）１２２１として、スケーラブル符号化データ記憶装置１２０２に供給する。
【０８９０】
スケーラブル符号化データ記憶装置１２０２は、撮像装置１２０１から供給されるスケーラブル符号化データ（BL+EL）１２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置１２０２は、スケーラブル符号化データ（BL+EL）１２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置１２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）１２２１のまま記憶する。
【０８９１】
このようにすることにより、スケーラブル符号化データ記憶装置１２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。
【０８９２】
例えば、撮像装置１２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体１２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。
【０８９３】
なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置１２０２が、画像を解析することにより判定しても良い。また、撮像装置１２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置１２０２に伝送するようにしてもよい。
【０８９４】
なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。
【０８９５】
また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。
【０８９６】
また、撮像装置１２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置１２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置１２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）１２２１を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。
【０８９７】
以上においては、監視カメラを例に説明したが、この撮像システム１２００の用途は任意であり、監視カメラに限定されない。
【０８９８】
なお、本明細書では、参照画像特定情報や重み付け生成情報などの各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０８９９】
本技術は、MPEG，H.26ｘ等のように、離散コサイン変換等の直交変換と動き補償によって圧縮されたビットストリームを、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して受信する際、または光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置や復号装置に適用することができる。
【０９００】
また、本明細書では、HEVC方式に準ずる方式で符号化および復号する場合を例にして説明したが、本技術の適用範囲はこれに限らない。Spatial Scalability、SNR Scalabilityのように、ベース画像とエンハンスメント画像が1対1で対応するように符号化対象の画像を階層化し、インター予測を用いて符号化する符号化装置、および、対応する復号装置であれば、他の方式の符号化装置および復号装置に適用することもできる。
【０９０１】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０９０２】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０９０３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０９０４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０９０５】
また、第１実施の形態と第２実施の形態を組み合わせてもよい。この場合、階層間で参照画像特定情報と重み付け情報が共有または予測される。
【０９０６】
なお、本技術は、以下のような構成もとることができる。
【０９０７】
（１）
階層構造を有する画像の第１の階層の画像を符号化する際に用いる第１の参照画像に関する情報である第１の参照画像情報と、第２の階層の画像の第２の参照画像に関する情報である第２の参照画像情報とを用いて、前記第１の参照画像情報の生成に用いる参照画像生成情報を設定する設定部と、
前記第１の階層の画像を前記第１の参照画像を用いて符号化し、符号化データを生成する符号化部と、
前記符号化部により生成された前記符号化データと、前記設定部により設定された前記参照画像生成情報を伝送する伝送部と
を備える符号化装置。
（２）
前記設定部は、前記第１の参照画像情報と前記第２の参照画像情報が同一である場合、前記参照画像生成情報として、前記第１の参照画像情報として前記第２の参照画像情報を用いることを表す情報を設定する
前記（１）に記載の符号化装置。
（３）
前記設定部は、前記第１の参照画像情報と前記第２の参照画像情報が同一ではない場合、前記参照画像生成情報として、前記第１の参照画像情報と前記第２の参照画像情報の差分と、前記第２の参照画像情報と前記差分とから前記第１の参照画像情報を予測することを表す情報とを設定する
前記（１）または（２)に記載の符号化装置。
（４）
前記伝送部は、前記第１の階層を特定する情報を伝送する
前記（１）乃至（３）のいずれかに記載の符号化装置。
（５）
前記第１の参照画像情報は、前記第１の参照画像を特定する情報であり、
前記第２の参照画像情報は、前記第２の参照画像を特定する情報である
前記（２）に記載の符号化装置。
（６）
前記設定部は、前記参照画像生成情報をSPS（Sequence Parameter Set）単位で設定する
請求項（５）に記載の符号化装置。
（７）
前記設定部は、
short termの前記第１の参照画像を特定する情報である第１の参照画像特定情報と、short termの前記第２の参照画像を特定する情報である第２の参照画像特定情報が同一である場合、short termの前記参照画像生成情報として、前記short termの第１の参照画像特定情報として前記short termの第２の参照画像特定情報を用いることを表す情報を設定し、
long termの前記第１の参照画像特定情報とlong termの前記第２の参照画像特定情報が同一である場合、long termの前記参照画像生成情報として、前記long termの第１の参照画像特定情報として前記long termの第２の参照画像特定情報を用いることを表す情報を設定する
前記（５）または（６）に記載の符号化装置。
（８）
前記設定部は、前記第１の参照画像の設定モードに基づいて、short termの前記第１の参照画像を特定する情報である第１の参照画像特定情報と、short termの前記第２の参照画像を特定する情報である第２の参照画像特定情報が同一である場合、前記参照画像生成情報として、前記第１の参照画像特定情報として前記第２の参照画像特定情報を用いることを表す情報を設定する
前記（５）または（６）に記載の符号化装置。
（９）
前記設定部は、前記第２の階層の画像の符号化方式に基づいて、前記参照画像生成情報を設定する
前記（５）乃至（８）のいずれかに記載の符号化装置。
（１０）
前記設定部は、short termの前記第１の参照画像を特定する情報である第１の参照画像特定情報の全てが、short termの前記第２の参照画像を特定する情報である第２の参照画像特定情報に含まれる場合、前記参照画像生成情報として、前記short termの第１の参照画像特定情報として前記short termの第２の参照画像特定情報の一部を用いることを表す情報を設定する
前記（５）または（６）に記載の符号化装置。
（１１）
前記設定部は、前記short termの第１の参照画像特定情報の全てが、前記short termの第２の参照画像特定情報に含まれる場合、前記第２の参照画像ごとに、前記short termの第２の参照画像特定情報が前記short termの第１の参照画像特定情報として用いられるかを示す使用情報を設定し、
前記伝送部は、前記設定部により設定された前記使用情報を伝送する
前記（１０）に記載の符号化装置。
（１２）
重み係数を含む重み付け情報を用いて前記第１の参照画像に対して重み付けを行う重み付け処理部
をさらに備え、
前記第１の参照画像情報は、前記第１の参照画像の前記重み付け情報であり、
前記第２の参照画像情報は、前記第２の参照画像の重み付け情報であり、
前記符号化部は、前記重み付け処理部により重み付けが行われた前記第１の参照画像を用いて前記第１の階層の画像を符号化する
前記（１）乃至（４）のいずれかに記載の符号化装置。
（１３）
前記重み付け処理部は、前記第２の参照画像に対して重み付けが行われた場合、前記第１の参照画像に対して前記重み付けを行う
前記（１２）に記載の符号化装置。
（１４）
符号化装置が、
階層構造を有する画像の第１の階層の画像を符号化する際に用いる第１の参照画像に関する情報である第１の参照画像情報と、第２の階層の画像の第２の参照画像に関する情報である第２の参照画像情報とを用いて、前記第１の参照画像情報の生成に用いる参照画像生成情報を設定する設定ステップと、
前記第１の階層の画像を前記第１の参照画像を用いて符号化し、符号化データを生成する符号化ステップと、
前記符号化ステップの処理により生成された前記符号化データと、前記設定ステップの処理により設定された前記参照画像生成情報を伝送する伝送ステップと
を含む符号化方法。
（１５）
階層構造を有する画像の第１の階層の画像を符号化する際に用いる第１の参照画像に関する情報である第１の参照画像情報と、第２の階層の画像の第２の参照画像に関する情報である第２の参照画像情報とを用いて生成された、前記第１の参照画像情報の生成に用いる参照画像生成情報と、前記第１の階層の画像の符号化データとを受け取る受け取り部と、
前記参照画像生成情報を用いて前記第１の参照画像情報を生成する生成部と、
前記生成部により生成された前記第１の参照画像情報に基づいて、前記第１の階層の画像の符号化データを前記第１の参照画像を用いて復号する復号部と
を備える復号装置。
（１６）
前記受け取り部は、前記参照画像生成情報として、前記第１の参照画像情報として前記第２の参照画像情報を用いることを表す情報を受け取り、
前記生成部は、前記受け取り部により受け取られた前記参照画像生成情報に基づいて、前記第２の参照画像情報を前記第１の参照画像情報として生成する
前記（１５）に記載の復号装置。
（１７）
前記受け取り部は、前記参照画像生成情報として、前記第１の参照画像情報と前記第２の参照画像情報の差分と、前記第２の参照画像情報と前記差分とから前記第１の参照画像情報を予測することを表す情報とを受け取り、
前記生成部は、前記受け取り部により受け取られた前記情報に基づいて、前記第２の参照画像情報と前記受け取り部により受け取られた前記差分とを加算し、その結果得られる加算値を前記第１の参照画像情報として生成する
前記（１５）または（１６)に記載の復号装置。
（１８）
前記受け取り部は、前記第１の階層を特定する情報を受け取り、
前記生成部は、前記第１の階層を特定する情報に基づいて前記第１の参照画像情報を生成する
前記（１５）乃至（１７)のいずれかに記載の復号装置。
（１９）
前記第１の参照画像情報は、前記第１の参照画像を特定する情報であり、
前記第２の参照画像情報は、前記第２の参照画像を特定する情報である
前記（１６)に記載の復号装置。
（２０）
前記受け取り部は、SPS（Sequence Parameter Set）単位で設定された前記参照画像生成情報を受け取る
請求項（１９）に記載の復号装置。
（２１）
前記受け取り部は、short termの前記第１の参照画像を特定する情報である第１の参照画像特定情報として、short termの前記第２の参照画像を特定する情報である第２の参照画像特定情報を用いることを表すshort termの前記参照画像生成情報と、long termの前記第１の参照画像特定情報として、long termの前記第２の参照画像特定情報を用いることを表すlong termの前記参照画像生成情報とを受け取り、
前記生成部は、前記受け取り部により受け取られたshort termの前記参照画像生成情報に基づいて、前記short termの第２の参照画像特定情報を前記short termの第１の参照画像特定情報として生成し、前記受け取り部により受け取られたlong termの前記参照画像生成情報に基づいて、前記long termの第２の参照画像特定情報を前記long termの第１の参照画像特定情報として生成する
前記（１９）または（２０）に記載の復号装置。
（２２）
前記受け取り部は、前記第１の参照画像の設定モードに基づいて設定された、short termの前記第１の参照画像を特定する情報である第１の参照画像特定情報として、short termの前記第２の参照画像を特定する情報である第２の参照画像特定情報を用いることを表す情報を、前記参照画像生成情報として受け取り、
前記生成部は、前記受け取り部により受け取られた前記参照画像生成情報に基づいて、前記short termの第２の参照画像特定情報を前記short termの第１の参照画像特定情報として生成し、前記参照画像生成情報と前記設定モードに基づいて、前記long termの第２の参照画像特定情報を前記long termの第１の参照画像特定情報として生成する
前記（１９）または（２０）に記載の復号装置。
（２３）
前記受け取り部は、前記第２の階層の画像の符号化方式に基づいて設定された前記参照画像生成情報を受け取る
前記（１９）乃至（２２）のいずれかに記載の復号装置。
（２４）
前記受け取り部は、short termの前記第１の参照画像を特定する情報である第１の参照画像特定情報として、short termの前記第２の参照画像を特定する情報である第２の参照画像特定情報の一部を用いることを表す情報を前記参照画像生成情報として受け取り、
前記生成部は、前記受け取り部により受け取られた前記参照画像生成情報に基づいて、前記short termの第２の参照画像特定情報の一部を前記short termの第１の参照画像特定情報として生成する
前記（１９）または（２０）に記載の復号装置。
（２５）
前記受け取り部は、前記第２の参照画像ごとに、前記short termの第２の参照画像特定情報が前記short termの第１の参照画像特定情報として用いられるかを示す使用情報を受け取り、
前記生成部は、前記受け取り部により受け取られた前記参照画像生成情報と使用情報に基づいて、前記short termの第２の参照画像特定情報の一部を前記short termの第１の参照画像特定情報として生成する
前記（２４）に記載の復号装置。
（２６）
重み係数を含む重み付け情報を用いて前記第１の参照画像に対して重み付けを行う重み付け処理部
をさらに備え、
前記第１の参照画像情報は、前記第１の参照画像の前記重み付け情報であり、
前記第２の参照画像情報は、前記第２の参照画像の重み付け情報であり、
前記重み付け処理部は、前記生成部により生成された前記第１の参照画像情報を用いて前記第１の参照画像に対して重み付けを行い、
前記復号部は、前記重み付け処理部により重み付けが行われた前記第１の参照画像を用いて前記第１の階層の画像の符号化データを復号する
前記（１５）乃至（１８)のいずれかに記載の復号装置。
（２７）
前記重み付け処理部は、前記第２の参照画像に対して重み付けが行われた場合、前記第１の参照画像に対して前記重み付けを行う
前記（２６）に記載の復号装置。
（２８）
復号装置が、
階層構造を有する画像の第１の階層の画像を符号化する際に用いる第１の参照画像に関する情報である第１の参照画像情報と、第２の階層の画像の第２の参照画像に関する情報である第２の参照画像情報とを用いて生成された前記第１の参照画像情報の生成に用いる参照画像生成情報と、前記第１の階層の画像の符号化データとを受け取る受け取りステップと、
前記参照画像生成情報を用いて前記第１の参照画像情報を生成する生成ステップと、
前記生成ステップの処理により生成された前記第１の参照画像情報に基づいて、前記第１の階層の画像の符号化データを前記第１の参照画像を用いて復号する復号ステップと
を含む復号方法。
【符号の説明】
【０９０８】
１０  符号化装置，  １４  伝送部，  ３３  演算部，  ５０  参照画像設定部，  ９０  復号装置，  ９１  受け取り部，  １３５  加算部，  １６３  生成部，  １８０  符号化装置，  ２２１  動き予測・補償部  ２２３  重み設定部，  ２８０  復号装置，  ３２３  動き補償部，  ３５４  生成部
【図１】
2014050748.tif 000012
【図２】
2014050748.tif 000013
【図３】
2014050748.tif 000014
【図４】
2014050748.tif 000015
【図５】
2014050748.tif 000016
【図６】
2014050748.tif 000017
【図７】
2014050748.tif 000018
【図８】
2014050748.tif 000019
【図９】
2014050748.tif 000020
【図１０】
2014050748.tif 000021
【図１１】
2014050748.tif 000022
【図１２】
2014050748.tif 000023
【図１３】
2014050748.tif 000024
【図１４】
2014050748.tif 000025
【図１５】
2014050748.tif 000026
【図１６】
2014050748.tif 000027
【図１７】
2014050748.tif 000028
【図１８】
2014050748.tif 000029
【図１９】
2014050748.tif 000030
【図２０】
2014050748.tif 000031
【図２１】
2014050748.tif 000032
【図２２】
2014050748.tif 000033
【図２３】
2014050748.tif 000034
【図２４】
2014050748.tif 000035
【図２５】
2014050748.tif 000036
【図２６】
2014050748.tif 000037
【図２７】
2014050748.tif 000038
【図２８】
2014050748.tif 000039
【図２９】
2014050748.tif 000040
【図３０】
2014050748.tif 000041
【図３１】
2014050748.tif 000042
【図３２】
2014050748.tif 000043
【図３３】
2014050748.tif 000044
【図３４】
2014050748.tif 000045
【図３５】
2014050748.tif 000046
【図３６】
2014050748.tif 000047
【図３７】
2014050748.tif 000048
【図３８】
2014050748.tif 000049
【図３９】
2014050748.tif 000050
【図４０】
2014050748.tif 000051
【図４１】
2014050748.tif 000052
【図４２】
2014050748.tif 000053
【図４３】
2014050748.tif 000054
【図４４】
2014050748.tif 000055
【図４５】
2014050748.tif 000056
【図４６】
2014050748.tif 000057
【図４７】
2014050748.tif 000058
【図４８】
2014050748.tif 000059
【図４９】
2014050748.tif 000060
【図５０】
2014050748.tif 000061
【図５１】
2014050748.tif 000062
【図５２】
2014050748.tif 000063
【図５３】
2014050748.tif 000064
【図５４】
2014050748.tif 000065
【図５５】
2014050748.tif 000066
【図５６】
2014050748.tif 000067
【図５７】
2014050748.tif 000068
【図５８】
2014050748.tif 000069
【図５９】
2014050748.tif 000070
【図６０】
2014050748.tif 000071
【図６１】
2014050748.tif 000072
【図６２】
2014050748.tif 000073
【図６３】
2014050748.tif 000074
【図６４】
2014050748.tif 000075
【図６５】
2014050748.tif 000076
【図６６】
2014050748.tif 000077
【図６７】
2014050748.tif 000078
【図６８】
2014050748.tif 000079
【図６９】
2014050748.tif 000080
【図７０】
2014050748.tif 000081
【図７１】
2014050748.tif 000082
【図７２】
2014050748.tif 000083
【図７３】
2014050748.tif 000084
【図７４】
2014050748.tif 000085
【図７５】
2014050748.tif 000086
【図７６】
2014050748.tif 000087
【図７７】
2014050748.tif 000088
【図７８】
2014050748.tif 000089
【図７９】
2014050748.tif 000090
【図８０】
2014050748.tif 000091
【図８１】
2014050748.tif 000092
【図８２】
2014050748.tif 000093
【図８３】
2014050748.tif 000094
【図８４】
2014050748.tif 000095
【図８５】
2014050748.tif 000096
【図８６】
2014050748.tif 000097
【図８７】
2014050748.tif 000098
【図８８】
2014050748.tif 000099
【図８９】
2014050748.tif 000100
【図９０】
2014050748.tif 000101
【図９１】
2014050748.tif 000102
【図９２】
2014050748.tif 000103
【図９３】
2014050748.tif 000104
【図９４】
2014050748.tif 000105
【図９５】
2014050748.tif 000106
【図９６】
2014050748.tif 000107
【図９７】
2014050748.tif 000108
【図９８】
2014050748.tif 000109
【図９９】
2014050748.tif 000110
【図１００】
2014050748.tif 000111
【図１０１】
2014050748.tif 000112
【図１０２】
2014050748.tif 000113
【図１０３】
2014050748.tif 000114
【図１０４】
2014050748.tif 000115
【図１０５】
2014050748.tif 000116
【図１０６】
2014050748.tif 000117
【図１０７】
2014050748.tif 000118
【図１０８】
2014050748.tif 000119
【図１０９】
2014050748.tif 000120
【図１１０】
2014050748.tif 000121
【図１１１】
2014050748.tif 000122
【図１１２】
2014050748.tif 000123
【図１１３】
2014050748.tif 000124
【図１１４】
2014050748.tif 000125
【図１１５】
2014050748.tif 000126
【図１１６】
2014050748.tif 000127
【図１１７】
2014050748.tif 000128
【図１１８】
2014050748.tif 000129
【図１１９】
2014050748.tif 000130
【図１２０】
2014050748.tif 000131
【国際調査報告】
2014050748.tif 000132
2014050748.tif 000133
2014050748.tif 000134
2014050748.tif 000135