(57)【要約】  本開示は、符号化効率の低減を抑制することができるようにする画像処理装置および方法に関する。複数のレイヤを有する画像が符号化された符号化データと、前記複数のレイヤで共有する、直交変換処理のスキップに関する情報とを受け取る受け取り部と、前記複数のレイヤのそれぞれについて、前記受け取り部により受け取られた前記直交変換処理のスキップに関する情報を用いて、前記受け取り部により受け取られた前記符号化データを復号する復号部とを備える。本開示は、例えば、画像処理装置に適用することができる。
2014050731.tif 000002
【特許請求の範囲】
【請求項１】
複数のレイヤを有する画像が符号化された符号化データと、前記複数のレイヤで共有する、直交変換処理のスキップに関する情報とを受け取る受け取り部と、
前記複数のレイヤのそれぞれについて、前記受け取り部により受け取られた前記直交変換処理のスキップに関する情報を用いて、前記受け取り部により受け取られた前記符号化データを復号する復号部と
を備える画像処理装置。
【請求項２】
前記直交変換処理のスキップに関する情報は、ピクチャ内において直交変換処理のスキップを許可するかを指定するスキップ許可情報を含む
請求項１に記載の画像処理装置。
【請求項３】
前記直交変換処理のスキップに関する情報は、直交変換処理をスキップするかを指定するスキップ識別情報を含む
請求項１に記載の画像処理装置。
【請求項４】
前記復号部は、カレントブロックの復号において、前記カレントブロックと異なるレイヤの、前記カレントブロックに対応するブロックの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックの逆直交変換処理を行うかを制御する
請求項１に記載の画像処理装置。
【請求項５】
前記復号部は、カレントレイヤの複数のブロックに対してリファレンスレイヤの１のブロックが対応する場合、前記カレントレイヤの複数のブロックの全ての復号において、前記リファレンスレイヤの１のブロックの前記直交変換処理のスキップに関する情報を用いて、逆直交変換処理を行うかを制御する
請求項４に記載の画像処理装置。
【請求項６】
前記復号部は、カレントブロックに対してリファレンスレイヤの複数のブロックが対応する場合、前記リファレンスレイヤの複数のブロックのそれぞれの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックに対する前記直交変換処理のスキップに関する情報を求め、求めた前記直交変換処理のスキップに関する情報を用いて、逆直交変換処理を行うかを制御する
請求項４に記載の画像処理装置。
【請求項７】
前記復号部は、カレントレイヤが参照するレイヤを判定し、前記カレントレイヤが他のレイヤを参照する場合、カレントブロックの復号において、前記他のレイヤの、前記カレントブロックに対応するブロックの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックの逆直交変換処理を行うかを制御する
請求項１に記載の画像処理装置。
【請求項８】
前記受け取り部は、カレントレイヤが参照するレイヤを示す情報をさらに受け取り、
前記復号部は、前記受け取り部により受け取られた前記カレントレイヤが参照するレイヤを示す情報に基づいて、前記カレントレイヤが参照するレイヤを判定する
請求項７に記載の画像処理装置。
【請求項９】
前記符号化データは、空間解像度が階層化されたスペーシャルスケーラビリティ、フレームレートが階層化されたテンポラルスケーラビリティ、信号雑音比が階層化されたSNRスケーラビリティ、ビット深度が階層化されたビット深度スケーラビリティ、映像信号のコンポーネントのフォーマットが階層化されたクロマスケーラビリティ、若しくは、視点が階層化されたビュースケーラビリティにスケーラブル符号化されたスケーラブル符号化データである
請求項１に記載の画像処理装置。
【請求項１０】
画像処理装置の画像処理方法において、
前記画像処理装置が、
複数のレイヤを有する画像が符号化された符号化データと、前記複数のレイヤで共有する、直交変換処理のスキップに関する情報とを受け取り、
前記複数のレイヤのそれぞれについて、受け取られた前記直交変換処理のスキップに関する情報を用いて、受け取られた前記符号化データを復号する
画像処理方法。
【請求項１１】
複数のレイヤを有する画像を、前記複数のレイヤで共有する、直交変換処理のスキップに関する情報を用いて符号化する符号化部と、
前記符号化部により符号化されて得られた符号化データと、前記直交変換処理のスキップに関する情報とを伝送する伝送部と
を備える画像処理装置。
【請求項１２】
前記直交変換処理のスキップに関する情報は、ピクチャ内において直交変換処理のスキップを許可するかを指定するスキップ許可情報を含む
請求項１１に記載の画像処理装置。
【請求項１３】
前記直交変換処理のスキップに関する情報は、直交変換処理をスキップするかを指定するスキップ識別情報を含む
請求項１１に記載の画像処理装置。
【請求項１４】
前記符号化部は、カレントブロックの符号化において、前記カレントブロックと異なるレイヤの、前記カレントブロックに対応するブロックの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックの直交変換処理を行うかを制御する
請求項１１に記載の画像処理装置。
【請求項１５】
前記符号化部は、カレントレイヤの複数のブロックに対してリファレンスレイヤの１のブロックが対応する場合、前記カレントレイヤの複数のブロックの全ての符号化において、前記リファレンスレイヤの１のブロックの前記直交変換処理のスキップに関する情報を用いて、直交変換処理を行うかを制御する
請求項１４に記載の画像処理装置。
【請求項１６】
前記符号化部は、カレントブロックに対してリファレンスレイヤの複数のブロックが対応する場合、前記リファレンスレイヤの複数のブロックのそれぞれの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックに対する前記直交変換処理のスキップに関する情報を求め、求めた前記直交変換処理のスキップに関する情報を用いて、直交変換処理を行うかを制御する
請求項１４に記載の画像処理装置。
【請求項１７】
前記符号化部は、カレントレイヤが参照するレイヤを判定し、前記カレントレイヤが他のレイヤを参照する場合、カレントブロックの符号化において、前記他のレイヤの、前記カレントブロックに対応するブロックの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックの直交変換処理を行うかを制御する
請求項１１に記載の画像処理装置。
【請求項１８】
前記伝送部は、前記符号化部が判定した前記カレントレイヤが参照する前記他のレイヤを示す情報をさらに伝送する
請求項１７に記載の画像処理装置。
【請求項１９】
前記符号化部は、前記画像を、空間解像度が階層化されたスペーシャルスケーラビリティ、フレームレートが階層化されたテンポラルスケーラビリティ、信号雑音比が階層化されたSNRスケーラビリティ、ビット深度が階層化されたビット深度スケーラビリティ、映像信号のコンポーネントのフォーマットが階層化されたクロマスケーラビリティ、若しくは、視点が階層化されたビュースケーラビリティにスケーラブル符号化する
請求項１１に記載の画像処理装置。
【請求項２０】
画像処理装置の画像処理方法において、
前記画像処理装置が、
複数のレイヤを有する画像を、前記複数のレイヤで共有する、直交変換処理のスキップに関する情報を用いて符号化し、
符号化されて得られた符号化データと、前記直交変換処理のスキップに関する情報とを伝送する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は画像処理装置および方法に関し、特に、符号化効率の低減を抑制することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）などがある。【０００３】
特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量（ビットレート）が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。【０００４】
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。【０００５】
更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L （ITU-T（International Telecommunication Union Telecommunication Standardization Sector） Q6/16 VCEG（Video Coding Expert Group））という標準の規格化が進められた。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われた。【０００６】
標準化のスケジュールとしては、２００３年３月にはH.264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）という名の元に国際標準となった。【０００７】
さらに、このH．264/AVCの拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が２００５年２月に完了した。これにより、H．264/AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc（商標）等の幅広いアプリケーションに用いられる運びとなった。【０００８】
しかしながら、昨今、ハイビジョン画像の4倍の、4000×2000画素程度の画像を圧縮したい、あるいは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEGにおいて、符号化効率の改善に関する検討が継続され行なわれている。【０００９】
そこで、現在、AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IECの共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている。HEVC規格については、2012年2月に最初のドラフト版仕様であるCommittee draftが発行されている（例えば、非特許文献１参照）。【００１０】
ところで、非特許文献１に記載のHEVC規格では、”Intra Transform Skipping”という手法が採用されている（例えば、非特許文献２参照）。【００１１】
すなわち、まず、PPS（Picture Parameter Set：ピクチャパラメータセット）に、Transform Skip（トランスフォームスキップ。直交変換スキップとも称する）を、当該シーケンスに適用することが可能であるかどうかに関するフラグ（flag）が伝送される。【００１２】
その値が１である時、TransformSkipを、4x4直交変換ブロック（TU）に適用することが可能である。【００１３】
そのブロック毎に、TransformSkipのオン／オフ（on/off）に関するフラグ（flag）が伝送される。【００１４】
TransformSkipが適用されるブロックについて、エントロピ符号化、量子化、ループフィルタ等の処理に変更はない。【００１５】
この直交変換スキップ（TransformSkip）は、特に、CG画やキャプション等のスクリーンコンテンツにおける画質を改善する効果がある。
【先行技術文献】
【非特許文献】
【００１６】
【非特許文献１】Benjamin Bross， Woo-Jin Han， Jens-Rainer Ohm， Gary J. Sullivan， Thomas Wiegand， "High efficiency video coding (HEVC) text specification draft 6"， JCTVC-H1003 ver21， Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG117th Meeting: Geneva， CH， 21-30 November， 2011
【非特許文献２】Cuiling Lan， Jizheng Xu， Gary J. Sullivan， Feng Wu， "Intra transform skipping"， JCTVC-I0408， Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 119th Meeting: Geneva， CH， 27 April - 7 May 2012
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら、従来の方法では、この直交変換スキップの、スケーラブル（scalable）符号化（階層符号化）方式への応用は考慮されていなかった。そのため、スケーラブル符号化を適用する場合、レイヤ毎に直交変換スキップ（Transform Skip）に関する情報を伝送する必要があり、その直交変換スキップに関する情報により符号量が増大し、符号化効率が低減する恐れがあった。【００１８】
本開示は、このような状況に鑑みてなされたものであり、符号化効率の低減を抑制することができるようにするものである。
【課題を解決するための手段】
【００１９】
本技術の一側面は、複数のレイヤを有する画像が符号化された符号化データと、前記複数のレイヤで共有する、直交変換処理のスキップに関する情報とを受け取る受け取り部と、前記複数のレイヤのそれぞれについて、前記受け取り部により受け取られた前記直交変換処理のスキップに関する情報を用いて、前記受け取り部により受け取られた前記符号化データを復号する復号部とを備える画像処理装置である。【００２０】
前記直交変換処理のスキップに関する情報は、ピクチャ内において直交変換処理のスキップを許可するかを指定するスキップ許可情報であるようにすることができる。【００２１】
前記直交変換処理のスキップに関する情報は、直交変換処理をスキップするかを指定するスキップ識別情報であるようにすることができる。【００２２】
前記復号部は、カレントブロックの復号において、前記カレントブロックと異なるレイヤの、前記カレントブロックに対応するブロックの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックの逆直交変換処理を行うかを制御することができる。【００２３】
前記復号部は、カレントレイヤの複数のブロックに対してリファレンスレイヤの１のブロックが対応する場合、前記カレントレイヤの複数のブロックの全ての復号において、前記リファレンスレイヤの１のブロックの前記直交変換処理のスキップに関する情報を用いて、逆直交変換処理を行うかを制御することができる。【００２４】
前記復号部は、カレントブロックに対してリファレンスレイヤの複数のブロックが対応する場合、前記リファレンスレイヤの複数のブロックのそれぞれの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックに対する前記直交変換処理のスキップに関する情報を求め、求めた前記直交変換処理のスキップに関する情報を用いて、逆直交変換処理を行うかを制御することができる。【００２５】
前記復号部は、カレントレイヤが参照するレイヤを判定し、前記カレントレイヤが他のレイヤを参照する場合、カレントブロックの復号において、前記他のレイヤの、前記カレントブロックに対応するブロックの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックの逆直交変換処理を行うかを制御することができる。【００２６】
前記受け取り部は、カレントレイヤが参照するレイヤを示す情報をさらに受け取り、前記復号部は、前記受け取り部により受け取られた前記カレントレイヤが参照するレイヤを示す情報に基づいて、前記カレントレイヤが参照するレイヤを判定することができる。【００２７】
前記符号化データは、空間解像度が階層化されたスペーシャルスケーラビリティ、フレームレートが階層化されたテンポラルスケーラビリティ、信号雑音比が階層化されたSNRスケーラビリティ、ビット深度が階層化されたビット深度スケーラビリティ、映像信号のコンポーネントのフォーマットが階層化されたクロマスケーラビリティ、若しくは、視点が階層化されたビュースケーラビリティにスケーラブル符号化されたスケーラブル符号化データであるようにすることができる。【００２８】
本技術の一側面は、また、画像処理装置の画像処理方法において、前記画像処理装置が、複数のレイヤを有する画像が符号化された符号化データと、前記複数のレイヤで共有する、直交変換処理のスキップに関する情報とを受け取り、前記複数のレイヤのそれぞれについて、受け取られた前記直交変換処理のスキップに関する情報を用いて、受け取られた前記符号化データを復号する画像処理方法である。【００２９】
本技術の他の側面は、複数のレイヤを有する画像を、前記複数のレイヤで共有する、直交変換処理のスキップに関する情報を用いて符号化する符号化部と、前記符号化部により符号化されて得られた符号化データと、前記直交変換処理のスキップに関する情報とを伝送する伝送部とを備える画像処理装置である。【００３０】
前記直交変換処理のスキップに関する情報は、ピクチャ内において直交変換処理のスキップを許可するかを指定するスキップ許可情報であるようにすることができる。【００３１】
前記直交変換処理のスキップに関する情報は、直交変換処理をスキップするかを指定するスキップ識別情報であるようにすることができる。【００３２】
前記符号化部は、カレントブロックの符号化において、前記カレントブロックと異なるレイヤの、前記カレントブロックに対応するブロックの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックの直交変換処理を行うかを制御することができる。【００３３】
前記符号化部は、カレントレイヤの複数のブロックに対してリファレンスレイヤの１のブロックが対応する場合、前記カレントレイヤの複数のブロックの全ての符号化において、前記リファレンスレイヤの１のブロックの前記直交変換処理のスキップに関する情報を用いて、直交変換処理を行うかを制御することができる。【００３４】
前記符号化部は、カレントブロックに対してリファレンスレイヤの複数のブロックが対応する場合、前記リファレンスレイヤの複数のブロックのそれぞれの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックに対する前記直交変換処理のスキップに関する情報を求め、求めた前記直交変換処理のスキップに関する情報を用いて、直交変換処理を行うかを制御することができる。【００３５】
前記符号化部は、カレントレイヤが参照するレイヤを判定し、前記カレントレイヤが他のレイヤを参照する場合、カレントブロックの符号化において、前記他のレイヤの、前記カレントブロックに対応するブロックの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックの直交変換処理を行うかを制御することができる。【００３６】
前記伝送部は、前記符号化部が判定した前記カレントレイヤが参照する前記他のレイヤを示す情報をさらに伝送することができる。【００３７】
前記符号化部は、前記画像を、空間解像度が階層化されたスペーシャルスケーラビリティ、フレームレートが階層化されたテンポラルスケーラビリティ、信号雑音比が階層化されたSNRスケーラビリティ、ビット深度が階層化されたビット深度スケーラビリティ、映像信号のコンポーネントのフォーマットが階層化されたクロマスケーラビリティ、若しくは、視点が階層化されたビュースケーラビリティにスケーラブル符号化することができる。【００３８】
本技術の他の側面は、また、画像処理装置の画像処理方法において、前記画像処理装置が、複数のレイヤを有する画像を、前記複数のレイヤで共有する、直交変換処理のスキップに関する情報を用いて符号化し、符号化されて得られた符号化データと、前記直交変換処理のスキップに関する情報とを伝送する画像処理方法である。【００３９】
本技術の一側面においては、複数のレイヤを有する画像が符号化された符号化データと、複数のレイヤで共有する、直交変換処理のスキップに関する情報とが受け取られ、複数のレイヤのそれぞれについて、受け取られた直交変換処理のスキップに関する情報を用いて、受け取られた符号化データが復号される。【００４０】
本技術の他の側面においては、複数のレイヤを有する画像が、複数のレイヤで共有する、直交変換処理のスキップに関する情報を用いて符号化され、符号化されて得られた符号化データと、直交変換処理のスキップに関する情報とが伝送される。
【発明の効果】
【００４１】
本開示によれば、画像を符号化・復号することができる。特に、符号化効率の低減を抑制することができる。
【図面の簡単な説明】
【００４２】
【図１】コーディングユニットの構成例を説明する図である。
【図２】スペーシャルなスケーラブル符号化の例を説明する図である。
【図３】テンポラルなスケーラブル符号化の例を説明する図である。
【図４】信号雑音比のスケーラブル符号化の例を説明する図である。
【図５】ピクチャパラメータセットのシンタクスの例を説明する図である。
【図６】残差符号のシンタクスの例を説明する図である。
【図７】ビデオパラメータセットのシンタクスの例を説明する図である。
【図８】レイヤ間のTUの対応関係の例を説明する図である。
【図９】レイヤ間のTUの対応関係の、他の例を説明する図である。
【図１０】レイヤ間のTUの対応関係の、さらに他の例を説明する図である。
【図１１】ビデオパラメータセットのシンタクスの、他の例を説明する図である。
【図１２】ピクチャパラメータセットのシンタクスの、他の例を説明する図である。
【図１３】残差符号のシンタクスの、他の例を説明する図である。
【図１４】スケーラブル符号化装置の主な構成例を示すブロック図である。
【図１５】ベースレイヤ画像符号化部の主な構成例を示すブロック図である。
【図１６】エンハンスメントレイヤ画像符号化部の主な構成例を示すブロック図である。
【図１７】直交変換スキップ部およびベースレイヤ直交変換スキップバッファの主な構成例を示すブロック図である。
【図１８】符号化処理の流れの例を説明するフローチャートである。
【図１９】ベースレイヤ符号化処理の流れの例を説明するフローチャートである。
【図２０】ベースレイヤ直交変換スキップ制御処理の流れの例を説明するフローチャートである。
【図２１】直交変換処理の流れの例を説明するフローチャートである。
【図２２】エンハンスメントレイヤ符号化処理の流れの例を説明するフローチャートである。
【図２３】エンハンスメントレイヤ直交変換スキップ制御処理の流れの例を説明するフローチャートである。
【図２４】スケーラブル復号装置の主な構成例を示すブロック図である。
【図２５】ベースレイヤ画像復号部の主な構成例を示すブロック図である。
【図２６】エンハンスメントレイヤ画像復号部の主な構成例を示すブロック図である。
【図２７】逆直交変換スキップ部およびベースレイヤ直交変換スキップバッファの主な構成例を示すブロック図である。
【図２８】復号処理の流れの例を説明するフローチャートである。
【図２９】ベースレイヤ復号処理の流れの例を説明するフローチャートである。
【図３０】ベースレイヤ逆直交変換スキップ制御処理の流れの例を説明するフローチャートである。
【図３１】逆直交変換処理の流れの例を説明するフローチャートである。
【図３２】エンハンスメントレイヤ復号処理の流れの例を説明するフローチャートである。
【図３３】エンハンスメントレイヤ逆直交変換スキップ制御処理の流れの例を説明するフローチャートである。
【図３４】階層画像符号化方式の例を示す図である。
【図３５】多視点画像符号化方式の例を示す図である。
【図３６】コンピュータの主な構成例を示すブロック図である。
【図３７】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図３８】携帯電話機の概略的な構成の一例を示すブロック図である。
【図３９】記録再生装置の概略的な構成の一例を示すブロック図である。
【図４０】撮像装置の概略的な構成の一例を示すブロック図である。
【図４１】スケーラブル符号化利用の一例を示すブロック図である。
【図４２】スケーラブル符号化利用の他の例を示すブロック図である。
【図４３】スケーラブル符号化利用のさらに他の例を示すブロック図である。
【発明を実施するための形態】
【００４３】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
０．概要
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．その他
４．第３の実施の形態（コンピュータ）
５．応用例
６．スケーラブル符号化の応用例
【００４４】
＜０．概要＞
［符号化方式］
以下においては、HEVC（High Efficiency Video Coding）方式の画像符号化・復号に適用する場合を例に、本技術を説明する。
【００４５】
［コーディングユニット］
AVC（Advanced Video Coding）方式においては、マクロブロックとサブマクロブロックによる階層構造が規定されている。しかしながら、１６画素×１６画素のマクロブロックでは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；４０００画素×２０００画素）といった大きな画枠に対して最適ではない。
【００４６】
これに対して、HEVC方式においては、図１に示されるように、コーディングユニット（CU（Coding Unit））が規定されている。
【００４７】
CUは、Coding Tree Block（CTB）とも呼ばれ、AVC方式におけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。
【００４８】
例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（（SCU（Smallest Coding Unit））が規定される。
【００４９】
それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。図１の例では、LCUの大きさが１２８であり、最大階層深度が５となる。２Ｎ×２Ｎの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのCUに分割される。
【００５０】
更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。現在、HEVC方式においては、４×４及び８×８に加え、１６×１６及び３２×３２直交変換を用いることが可能である。
【００５１】
以上のHEVC方式のように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、AVC方式におけるマクロブロックはLCUに相当し、ブロック（サブブロック）はCUに相当すると考えることができる。また、AVC方式における動き補償ブロックは、PUに相当すると考えることができる。ただし、CUは、階層構造を有するので、その最上位階層のLCUのサイズは、例えば128×128画素のように、AVC方式のマクロブロックより大きく設定されることが一般的である。
【００５２】
よって、以下、LCUは、AVC方式におけるマクロブロックをも含むものとし、CUは、AVC方式におけるブロック（サブブロック）をも含むものとする。つまり、以下の説明に用いる「ブロック」は、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。つまり、「ブロック」には、例えば、TU、PU、SCU、CU、LCU、サブブロック、マクロブロック、またはスライス等任意の領域（処理単位）が含まれる。もちろん、これら以外の部分領域（処理単位）も含まれる。サイズや処理単位等を限定する必要がある場合は、適宜説明する。
【００５３】
［モード選択］
ところで、AVCそしてHEVC符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。
【００５４】
かかる選択方式の例として、JM (Joint Model) と呼ばれるH.264/MPEG-4 AVCの参照ソフトウエア (http://iphome.hhi.de/suehring/tml/index.htm において公開されている) に実装されている方法を挙げることが出来る。
【００５５】
JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの2通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。
【００５６】
High Complexity Modeにおけるコスト関数は、以下の式（１）のように示される。
【００５７】
Cost(Mode∈Ω) = D + λ＊R  ・・・（１）
【００５８】
ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合、Dは、当該予測モードで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Ｒは、直交変換係数を含んだ、当該モードで符号化した場合の総符号量である。
【００５９】
つまり、High Complexity Modeでの符号化を行うには、上記パラメータＤ及びＲを算出するため、全ての候補モードにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
【００６０】
Low Complexity Modeにおけるコスト関数は、以下の式（２）のように示される。
【００６１】
Cost(Mode∈Ω) = D + QP2Quant(QP) ＊ HeaderBit  ・・・（２）
【００６２】
ここで、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。QP2Quant(QP)は、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。
【００６３】
すなわち、Low Complexity Modeにおいては、それぞれの候補モードに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。
【００６４】
［階層符号化］
ところで、これまでの、MPEG2、AVCといった画像符号化方式は、図２乃至図４に示されるような、スケーラビリティ（scalability）機能を有していた。スケーラブル符号化（階層符号化）とは、画像を複数レイヤ化（階層化）し、レイヤ毎に符号化する方式である。
【００６５】
画像の階層化においては、所定のパラメータを基準として１の画像が複数の画像（レイヤ）に分割される。基本的に各レイヤは、冗長性が低減されるように、差分データにより構成される。例えば、１の画像をベースレイヤとエンハンスメントレイヤに２階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとエンハンスメントレイヤのデータを合成することで、元の画像（すなわち高品質な画像）が得られる。
【００６６】
このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤ（base layer）のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ（base layer）に加えて、エンハンスメントレイヤ（enhancement layer）の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。
【００６７】
このようなスケーラビリティ性を持たせるパラメータとして、例えば、図２に示されるような、空間解像度がある（spatial scalability）。このスペーシャルスケーラビリティ（spatial scalability）の場合、レイヤ毎に解像度が異なる。つまり、図２に示されるように、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤの画像と合成することにより元の画像（元の空間解像度）が得られるエンハンスメントレイヤの２階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
【００６８】
また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、図３に示されるような、時間解像度がある（temporal scalability）。このテンポラルスケーラビリティ（temporal scalability）の場合、レイヤ毎にフレームレートが異なる。つまり、この場合、図３に示されるように、互いに異なるフレームレートのレイヤに階層化されており、低フレームレートのレイヤに、高フレームレートのレイヤを加えることで、より高フレームレートの動画像を得ることができ、全てのレイヤを加えることで、元の動画像（元のフレームレート）を得ることができる。この階層数は一例であり、任意の階層数に階層化することができる。
【００６９】
また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、信号雑音比（SNR（Signal to Noise ratio））がある（SNR scalability）。このSNRスケーラビリティ（SNR scalability）の場合、レイヤ毎にSN比が異なる。つまり、図４に示されるように、各ピクチャが、元の画像よりSNRの低いベースレイヤと、ベースレイヤの画像と合成することにより元の画像（元のSNR）が得られるエンハンスメントレイヤの２階層に階層化される。すなわち、ベースレイヤ（base layer）画像圧縮情報においては、低PSNRの画像に関する情報が伝送されており、これに、エンハンスメントレイヤ（enhancement layer）画像圧縮情報を加えることで、高PSNR画像を再構築することが可能である。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
【００７０】
スケーラビリティ性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、ベースレイヤ（base layer）が8ビット（bit）画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、10ビット（bit）画像が得られるビット深度スケーラビリティ（bit-depth scalability）がある。
【００７１】
また、ベースレイヤ（base layer）が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるクロマスケーラビリティ（chroma scalability）がある。
【００７２】
［直交変換スキップ］
ところで、HEVC規格では、非特許文献２において提案されている"Intra Transform Skipping"の手法が採用されている。直交変換スキップ（Transform Skip）とは、直交変換処理を省略（スキップ）する手法である。
【００７３】
一般的には、画像データ（差分画像データ）に対して、ブロック毎に直交変換処理を行って、ブロック内の空間領域の情報を周波数領域の情報に変換することにより、ブロック内の係数を低域に集中させ、偏りを大きくすることができる。これにより、符号化効率が向上する。
【００７４】
しかしながら、ブロック内の絵柄によっては、そのような偏りが生じにくい場合も考えられる。例えば、CG画やキャプション等人工的な画像の場合、自然画に比べて、グラデーションや強いエッジが発生し易い。そのため、高域成分が生じ易く、直交変換処理を行っても偏りが生じにくい。そこで、そのようなブロックに対しては、直交変換処理のスキップを認めるようにすることにより、さらなる符号化効率の向上を図ることができる。
【００７５】
なお、以下において、直交変換処理をスキップ（省略）することを直交変換スキップ（Transform Skip）と称する。
【００７６】
この手法においては、符号化の際に直交変換スキップ（Transform Skip）を行ったブロック（TU）は、復号の際にも、逆直交変換処理をスキップ（省略）する必要がある。したがって、符号化側において、処理対象のブロック（カレントブロック）に直交変換スキップ（Transform Skip）に関する情報が生成され、その情報が復号側に伝送される。復号側においては、その直交変換スキップ（Transform Skip）に関する情報に基づいて、逆直交変換処理をスキップするか否かが制御される。
【００７７】
この直交変換処理のスキップに関する情報には、例えば、所定の範囲について直交変換スキップ（Transform Skip）を許可するか否か（enable/disable）を示すスキップ許可情報（transform_skip_enable_flag）や、カレントブロックに対して直交変換スキップを適用したか否かを示すスキップ識別情報（transform_skip_flag）が含まれる。
【００７８】
スキップ許可情報（transform_skip_enable_flag）は、直交変換処理の単位より大きな範囲毎に直交変換スキップ（Transform Skip）を許可するか否か（enable/disable）を示す情報である。例えば、スキップ許可情報（transform_skip_enable_flag）の値が偽（例えば「０」）である場合、その値に対応する範囲のブロックにおいては、直交変換スキップ（Transform Skip）は禁止される（直交変換処理が必ず行われる）。つまり、復号側においては、スキップ許可情報（transform_skip_enable_flag）の値が偽（例えば「０」）である場合、その値に対応する範囲のブロックにおいては、必ず逆直交変換処理を行う。
【００７９】
また、例えば、スキップ許可情報（transform_skip_enable_flag）の値が真（例えば「１」）である場合、その値に対応する範囲のブロックにおいては、直交変換スキップ（Transform Skip）が許可される（直交変換処理がスキップされ得る）。
【００８０】
このスキップ許可情報（transform_skip_enable_flag）は、例えば、ユーザ等により設定される。このスキップ許可情報（transform_skip_enable_flag）は、例えばピクチャ毎に設定される。つまり、このスキップ許可情報（transform_skip_enable_flag）は、図５に示されるピクチャパラメータセット（PPS（Picture Parameter Set））のシンタクスの例のように、ピクチャパラメータセット（PPS）において伝送される。
【００８１】
スキップ許可情報（transform_skip_enable_flag）の値が真（例えば「１」）である場合、所定のサイズ（例えば４×４サイズ）のブロック（TU）においては、直交変換スキップ（Transform Skip）が適用され得る。したがって、この場合、図６に示される残差符号のシンタクスの例のように、４×４サイズの各ブロック（TU）について、スキップ識別情報（transform_skip_flag）が伝送される。
【００８２】
スキップ識別情報（transform_skip_flag）は、処理対象であるカレントブロック（TU）について、符号化の際に直交変換スキップが行われたか否かを示す情報である。この値が、偽（例えば「０」）である場合、カレントブロックにおいては、直交変換スキップ（Transform Skip）が行われていない（直交変換処理が行われた）。つまり、復号側においては、スキップ識別情報（transform_skip_flag）の値が偽（例えば「０」）である場合、カレントブロックに対して逆直交変換処理を行う。
【００８３】
逆に、この値が、真（例えば「１」）である場合、カレントブロックにおいては、直交変換スキップ（Transform Skip）が行われる。つまり、復号側においては、スキップ識別情報（transform_skip_flag）の値が真（例えば「１」）である場合、カレントブロックに対する逆直交変換処理をスキップ（省略）する。
【００８４】
［ビデオパラメータセット］
ところで、HEVCにおいては、シーケンスパラメータセット（SPS（Sequence Parameter Set））、ピクチャパラメータセット（PPS）に加え、図７に示されるような、ビデオパラメータセット（VPS（Video Parameter Set））が規定されている。
【００８５】
ビデオパラメータセット（VPS）は、スケーラブル符号化された符号化データ全体に対して生成される。このビデオパラメータセット（VPS）には、全てのレイヤに関する情報が格納される。
【００８６】
シーケンスパラメータセット（SPS）は、レイヤ毎に生成される。このシーケンスパラメータセット（SPS）には、当該レイヤに関する情報が格納される。
【００８７】
ピクチャパラメータセット（PPS）は、各レイヤのピクチャ毎に生成される。このピクチャパラメータセットには、当該レイヤの当該ピクチャに関する情報が格納される。
【００８８】
［スケーラブル符号化の直交変換スキップ］
しかしながら、従来の方法では、直交変換スキップの、スケーラブル（scalable）符号化（階層符号化）方式への応用は考慮されていなかった。そのため、スケーラブル符号化を適用する場合、レイヤ毎に直交変換スキップ（Transform Skip）に関する情報を伝送する必要があり、その直交変換スキップに関する情報により符号量が増大し、符号化効率が低減する恐れがあった。
【００８９】
そこで、符号化効率の低減を抑制するために、直交変換処理のスキップに関する情報（例えば、transform_skip_enable_flagやtransform_skip_flag）を、上述したようなスケーラブル符号化（階層符号化）された画像データの複数レイヤで共有するようにする。
【００９０】
以下においては、他のレイヤに依存せず、自身のレイヤのみで画像が形成されるレイヤをベースレイヤと称し、他のレイヤのデータと合成されることにより画像が得られるレイヤをエンハンスメントレイヤと称する。スケーラブル符号化により階層化された符号化データのレイヤ数は任意である。以下においては、各レイヤがベースレイヤか若しくはエンハンスメントレイヤに設定され、各エンハンスメントレイヤには、いずれかのベースレイヤが参照先として設定されるものとする。
【００９１】
［ベースレイヤの直交変換スキップ］
ベースレイヤの符号化は、他のレイヤのデータを用いずに行うことができる。つまり、ベースレイヤの符号化は、従来の１階層の画像データの符号化と基本的に同様に行われる。つまり、ベースレイヤの符号化においては、直交変換処理のスキップに関する情報（transform_skip_enable_flagやtransform_skip_flag）が適宜生成され、復号側に伝送される。例えば、スキップ許可情報（transform_skip_enable_flag）は、ピクチャ毎に設定され、図５を参照して上述したように、ピクチャパラメータセットにおいて伝送される。また、例えば、スキップ識別情報（transform_skip_flag）は、４×４サイズのブロック（TU）毎に設定され、図６を参照して上述したように、４×４サイズの各ブロック（TU）について伝送される。
【００９２】
したがって、ベースレイヤの復号も、従来の１階層の画像データの符号化と基本的に同様に行われる。つまり、ベースレイヤの復号においては、符号化側においてベースレイヤのデータについて生成され、伝送された直交変換処理のスキップに関する情報が利用される。例えば、処理対象であるカレントピクチャについて逆直交変換処理のスキップを許可するか否かの制御は、処理対象であるカレントベースレイヤ（自身のベースレイヤ）のピクチャパラメータセットにおいて伝送されたスキップ許可情報（transform_skip_enable_flag）の値に基づいて行われる。また、例えば、処理対象である４×４サイズのカレントブロック（カレントTU）について逆直交変換処理をスキップするか否かの制御は、カレントブロックについて伝送されたスキップ識別情報（transform_skip_flag）の値に基づいて行われる。
【００９３】
［エンハンスメントレイヤの直交変換スキップ］
これに対して、エンハンスメントレイヤの符号化は、基本的にベースレイヤと同様に行われるが、直交変換処理のスキップに関する情報は、ベースレイヤの情報が参照される。例えば、カレントピクチャについて直交変換処理のスキップを許可するか否かの制御は、処理対象であるカレントエンハンスメントレイヤに対応するベースレイヤのスキップ許可情報（transform_skip_enable_flag）の値に基づいて行われる。
【００９４】
つまり、スキップ許可情報（transform_skip_enable_flag）は、ベースレイヤとエンハンスメントレイヤで共有される。したがって、エンハンスメントレイヤについてのスキップ許可情報（transform_skip_enable_flag）は伝送されない。つまり、エンハンスメントレイヤの復号においては、カレントピクチャについて逆直交変換処理のスキップを許可するか否かの制御は、対応するベースレイヤのピクチャパラメータセットにおいて伝送されたスキップ許可情報（transform_skip_enable_flag）の値に基づいて行われる。
【００９５】
例えば、ベースレイヤのスキップ許可情報（transform_skip_enable_flag）の値が偽（例えば「０」）である場合、ベースレイヤだけでなく、エンハンスメントレイヤにおいても、逆直交変換のスキップが適用（許可）されない。逆に、ベースレイヤのスキップ許可情報（transform_skip_enable_flag）の値が真（例えば「１」）である場合、ベースレイヤだけでなく、エンハンスメントレイヤにおいても、逆直交変換のスキップが適用され得る（許可される）。
【００９６】
また、例えば、エンハンスメントレイヤの符号化において、カレントブロック（カレントTU）について直交変換処理をスキップするか否かの制御は、カレントエンハンスメントレイヤに対応するベースレイヤのスキップ識別情報（transform_skip_flag）の値に基づいて行われる。
【００９７】
つまり、スキップ識別情報（transform_skip_flag）は、ベースレイヤとエンハンスメントレイヤで共有される。したがって、エンハンスメントレイヤについてのスキップ識別情報（transform_skip_flag）は伝送されない。つまり、エンハンスメントレイヤの復号においては、カレントブロックについて逆直交変換処理をスキップするか否かの制御は、対応するベースレイヤのカレントブロックに対応するブロック（TU）について伝送されたスキップ識別情報（transform_skip_flag）の値に基づいて行われる。
【００９８】
例えば、エンハンスメントレイヤの復号において、カレントブロックに対応するベースレイヤのブロック（４×４サイズ）のスキップ識別情報（transform_skip_flag）の値が偽（例えば「０」）である場合、ベースレイヤだけでなく、エンハンスメントレイヤにおいても、逆直交変換のスキップが適用されない（すなわち、逆直交変換処理が行われる）。逆に、エンハンスメントレイヤの復号において、カレントブロックに対応するベースレイヤのブロック（４×４サイズ）のスキップ識別情報（transform_skip_flag）の値が真（例えば「１」）である場合、ベースレイヤだけでなく、エンハンスメントレイヤにおいても、逆直交変換のスキップが適用され得る（逆直交変換処理がスキップされる）。
【００９９】
［１対１に対応する場合］
エンハンスメントレイヤのカレントブロックに、ベースレイヤの１のブロックが対応する場合、このように処理が行われる。例えば、SNRスケーラビリティ（SNR Scalability）やビット深度スケーラビリティ（bit depth scalability）の場合、輝度信号および色差信号のいずれについても、ベースレイヤ（Baselayer）における単一のブロック（TU）が、エンハンスメントレイヤ（Enhancementlayer）における単一のブロック（TU）に対応する。
【０１００】
［多対１に対応する場合］
また、ベースレイヤとエンハンスメントレイヤの解像度が１対２である1:2スペーシャルスケーラビリティ（1:2 spatial scalability）の場合（つまり、エンハンスメントレイヤの複数ブロックに対して、ベースレイヤの単一ブロックが対応する場合）、図８に示されるように、ベースレイヤ（Baselayer）における単一の４×４サイズのブロック（TU）は、エンハンスメントレイヤ（Enhancementlayer）における４つの４×４サイズのブロック（TU）か、若しくは、単一の８×８サイズのブロック（TU）に対応する。
【０１０１】
単一の８×８サイズのブロック（TU）には、直交変換スキップは適用されない。
【０１０２】
また、ベースレイヤの単一の４×４サイズのブロック（TU）が、エンハンスメントレイヤの４つの４×４サイズのブロック（TU）に対応する場合、そのベースレイヤのブロックのスキップ識別情報（transform_skip_flag）の値が、エンハンスメントレイヤの４つのブロックのそれぞれに適用される。
【０１０３】
つまり、例えば、ベースレイヤのブロックのスキップ識別情報（transform_skip_flag）の値が偽（例えば「０」）である場合、そのブロックに対応するエンハンスメントレイヤの４つのブロックのそれぞれについて、直交変換処理（逆直交変換処理）が行われる（スキップされない）。
【０１０４】
逆に、例えば、ベースレイヤのブロックのスキップ識別情報（transform_skip_flag）の値が真（例えば「１」）である場合、そのブロックに対応するエンハンスメントレイヤの４つのブロックのそれぞれについて、直交変換処理（逆直交変換処理）がスキップされる（実行されない）。
【０１０５】
つまり、処理対象であるカレントレイヤ（上述の例の場合、エンハンスメントレイヤ）の複数のブロックに対して参照先であるリファレンスレイヤ（上述の例の場合、ベースレイヤ）の１のブロックが対応する場合、そのカレントレイヤの複数のブロックの全ての処理（復号・符号化）において、リファレンスレイヤの１のブロックについての直交変換処理のスキップに関する情報を用いて、直交変換処理（若しくは逆直交変換処理）を行うか否かが制御される。
【０１０６】
［非整数比若しくは１対多に対応する場合］
なお、本技術の適用範囲はこの限りでなく、例えば、1:1.5等、任意の比のスペーシャルスケーラビリティ（spatial scalability）に適用することが可能である。
【０１０７】
例えば、ベースレイヤとエンハンスメントレイヤにおける解像度がそれぞれ1280×720、1920×1080である場合、その比は1:1.5ということになる。つまり、エンハンスメントレイヤの単一ブロックに対応するベースレイヤのブロックが単一でない（非整数比若しくは１対多に対応する）。
【０１０８】
この時、図９に示されるように、ベースレイヤにおける４×４サイズのブロック（TU）であるB0，B1，B2，B3が、エンハンスメントレイヤにおける４×４サイズのブロック（TU）であるE0，E1，E2，E3，E4，E5，E6，E7，E8，E9に対応するものとする。
【０１０９】
つまり、この場合、B0とE0、B1とE2、B2とE6、B3とE8との間で、それぞれ、スキップ識別情報（transform_skip_flag）を共有する。例えば、E0には、B0のスキップ識別情報（transform_skip_flag）の値を適用し、E0についてスキップ識別情報（transform_skip_flag）は伝送しない。同様に、E2には、B1のスキップ識別情報（transform_skip_flag）の値を適用し、E6には、B2のスキップ識別情報（transform_skip_flag）の値を適用し、E8には、B3のスキップ識別情報（transform_skip_flag）の値を適用する。E2，E6、およびE8については、スキップ識別情報（transform_skip_flag）は伝送しない。
【０１１０】
また、エンハンスメントレイヤにおける４×４サイズのブロック（TU）であるE1，E3，E5，E7は、それぞれ、ベースレイヤにおける４×４サイズのブロック（TU）であるB0とB1、B0とB2、B1とB3、B2とB3に対応するものとする。つまり、この場合、B0およびB1とE1、B0およびB2とE3、B1およびB3とE5、B2およびB3とE7との間で、それぞれ、スキップ識別情報（transform_skip_flag）を共有する。
【０１１１】
例えば、E1には、B0のスキップ識別情報（transform_skip_flag）とB1のスキップ識別情報（transform_skip_flag）の両方に基づく値が適用される。より具体的には、例えば、B0とB1のスキップ識別情報（transform_skip_flag）の、少なくともいずれか一方の値が真（例えば「１」）である場合、E1における直交変換（若しくは逆直交変換）のスキップが適用される。
【０１１２】
また、例えば、E3には、B0のスキップ識別情報（transform_skip_flag）とB2のスキップ識別情報（transform_skip_flag）の両方に基づく値が適用される。より具体的には、例えば、B0とB2のスキップ識別情報（transform_skip_flag）の、少なくともいずれか一方の値が真（例えば「１」）である場合、E3における直交変換（若しくは逆直交変換）のスキップが適用される。
【０１１３】
また、例えば、E5には、B1のスキップ識別情報（transform_skip_flag）とB3のスキップ識別情報（transform_skip_flag）の両方に基づく値が適用される。より具体的には、例えば、B1とB3のスキップ識別情報（transform_skip_flag）の、少なくともいずれか一方の値が真（例えば「１」）である場合、E5における直交変換（若しくは逆直交変換）のスキップが適用される。
【０１１４】
また、例えば、E7には、B2のスキップ識別情報（transform_skip_flag）とB3のスキップ識別情報（transform_skip_flag）の両方に基づく値が適用される。より具体的には、例えば、B2とB3のスキップ識別情報（transform_skip_flag）の、少なくともいずれか一方の値が真（例えば「１」）である場合、E7における直交変換（若しくは逆直交変換）のスキップが適用される。
【０１１５】
E1，E3，E5、およびE7については、スキップ識別情報（transform_skip_flag）は伝送しない。
【０１１６】
また、エンハンスメントレイヤにおける４×４サイズのブロック（TU）であるE4は、それぞれ、ベースレイヤにおける４×４サイズのブロック（TU）であるB0乃至B3に対応するものとする。つまり、この場合、B0乃至B3とE4との間で、スキップ識別情報（transform_skip_flag）を共有する。
【０１１７】
例えば、E4には、B0のスキップ識別情報（transform_skip_flag）乃至B3のスキップ識別情報（transform_skip_flag）の全てに基づく値が適用される。より具体的には、例えば、B0乃至B3のスキップ識別情報（transform_skip_flag）の、少なくともいずれか１の値、若しくは、全ての値が真（例えば「１」）である場合、E4における直交変換（若しくは逆直交変換）のスキップが適用される。E4については、スキップ識別情報（transform_skip_flag）は伝送しない。
【０１１８】
すなわち、ベースレイヤの複数のブロックのスキップ識別情報から、エンハンスメントレイヤの１のブロックのスキップ識別情報を、所定の方法により求めるようにしてもよい。なお、この求め方は任意であり、上述した例に限らない。例えば、ベースレイヤの複数のブロックのスキップ識別情報の値を用いて所定の演算を行うことにより、エンハンスメントレイヤの１のブロックのスキップ識別情報を、算出するようにしてもよい。また、上述した例のように、複数の方法を組み合わせることにより、より多様なブロック比の対応関係において、直交変換スキップに関する情報を共有させることができ、符号化効率の低減を抑制することができる。
【０１１９】
以上のように、カレントブロックに対してリファレンスレイヤの複数のブロックが対応する場合、リファレンスレイヤの複数のブロックのそれぞれの直交変換処理のスキップに関する情報を用いて、カレントブロックに対する直交変換処理のスキップに関する情報を求め、求めた直交変換処理のスキップに関する情報を用いて、直交変換処理や逆直交変換処理を行うか否かを制御するようにしてもよい。
【０１２０】
［クロマフォーマットスケーラビリティの直交変換スキップ］
また、同様の方法を、色差信号に適用することにより、クロマフォーマットスケーラビリティ（chroma format scalability）にも適用することが可能である。
【０１２１】
例えば、図１０の左端の例の場合、ベースレイヤのコンポーネントのフォーマットが4:2:0であり、エンハンスメントレイヤのコンポーネントのフォーマットが4:2:2である。この場合、ベースレイヤにおける４×４サイズのブロック（TU）であるB0が、エンハンスメントレイヤにおける４×４サイズのブロック（TU）であるE0とE1に対応するとする。つまり、この例の場合、E0およびE1における直交変換処理（逆直交変換処理）のスキップの制御は、B0に対するスキップ識別情報（transform_skip_flag）を用いて行われる。なお、この場合、E0およびE1についてのスキップ識別情報（transform_skip_flag）は伝送されない。
【０１２２】
また、図１０の中央の例の場合、ベースレイヤのコンポーネントのフォーマットが4:2:0であり、エンハンスメントレイヤのコンポーネントのフォーマットが4:4:4である。この場合、ベースレイヤにおける４×４サイズのブロック（TU）であるB0が、エンハンスメントレイヤにおける４×４サイズのブロック（TU）であるE0，E1，E2，およびE3に対応するとする。つまり、この例の場合、E0乃至E3における直交変換処理（逆直交変換処理）のスキップの制御は、それぞれ、B0に対するスキップ識別情報（transform_skip_flag）を用いて行われる。なお、この場合、E0乃至E3についてのスキップ識別情報（transform_skip_flag）は伝送されない。
【０１２３】
さらに、図１０の右端の例の場合、ベースレイヤのコンポーネントのフォーマットが4:2:0で、エンハンスメントレイヤのコンポーネントのフォーマットが4:4:4である。この場合、ベースレイヤにおける４×４サイズのブロック（TU）であるB0が、エンハンスメントレイヤにおける４×４サイズのブロック（TU）であるE0とE1に対応し、B1が、E2およびE3に対応するとする。つまり、この例の場合、E0およびE1における直交変換処理（逆直交変換処理）のスキップの制御は、それぞれ、B0に対するスキップ識別情報（transform_skip_flag）を用いて行われ、E2およびE3における直交変換処理（逆直交変換処理）のスキップの制御は、それぞれ、B1に対するスキップ識別情報（transform_skip_flag）を用いて行われる。なお、この場合、E0乃至E3についてのスキップ識別情報（transform_skip_flag）は伝送されない。
【０１２４】
以上のように、クロマフォーマットスケーラビリティ（chroma format scalability）においても、本技術を適用し、直交変換スキップに関する情報をレイヤ間で共有させることができ、符号化効率の低減を抑制することができる。
【０１２５】
［シンタクス］
本技術によるシンタクスを、図１１乃至図１３に示す。
【０１２６】
［ビデオパラメータセット］
図１１にビデオパラメータセット（VPS（Video Parameter Set））のシンタクスの例を示す。図１１の上から６行目のパラメータvps_max_layer_minus1は、スケーラビリティ符号化の主レイヤの数（階層数）を示している。また、図１１の上から７行目のパラメータvps_max_sub_layer_minus1は、スケーラビリティ符号化の各主レイヤに含まれるサブレイヤの最大数（最大サブレイヤ数）を示す。
【０１２７】
また、図１１の上から１５行目に示されるように、階層（主レイヤ）毎に、参照先のレイヤを示すパラメータdiff_ref_layerが定義されている。このdiff_ref_layerは、現在の階層をカレントレイヤ（curr_layer）とし、参照する階層をリファレンスレイヤ（ref_layer）とすると、以下の式のように算出される。
【０１２８】
ref_layer = curr_layer - diff_ref_layer
【０１２９】
diff_ref_layerの値が０である時、当該レイヤは、スケーラブル符号化でなく、単独に符号化処理がなされている画像圧縮情報であることを意味する。つまり、ベースレイヤに対するdiff_ref_layerの値は０である。
【０１３０】
このように、ビデオパラメータセット（VPS）において、各レイヤがどのレイヤを参照するかを示す情報を伝送する。これにより、各レイヤがベースレイヤであるかエンハンスメントレイヤであるかを容易に識別することができる。したがって、より容易に、レイヤの種類に応じた適切な符号化・復号を行うことができる。つまり、符号化効率の低減を抑制することができる。
【０１３１】
［ピクチャパラメータセット］
図１２にピクチャパラメータセット（PPS）のシンタクスの例を示す。ピクチャパラメータセット（PPS）においては、図１２の上から１０行目および１１行目に示されるように、パラメータdiff_ref_layerの値が０の場合、すなわち、単一階層若しくはベースレイヤの場合、スキップ許可情報（transform_skip_enable_flag）が生成され、伝送される。
【０１３２】
これに対して、パラメータdiff_ref_layerの値が０でない場合、すなわち、エンハンスメントレイヤの場合、図１２の上から１２行目および１３行目に示されるように、参照先とするベースレイヤ（ref_layer）のピクチャパラメータセットに格納されるスキップ許可情報（transform_skip_enable_flag）が参照される。つまり、このレイヤについては、スキップ許可情報（transform_skip_enable_flag）は伝送されない。
【０１３３】
［残差符号］
図１３に残差符号（residual_coding）のシンタクスの例を示す。残差符号（residual_coding）についても、基本的にピクチャパラメータセット（PPS）の場合と同様である。つまり、図１３の上から３行目および４行目に示されるように、パラメータdiff_ref_layerの値が０の場合、すなわち、単一階層若しくはベースレイヤの場合、所定のサイズ（例えば４×４サイズ）のブロック（TU）についてのスキップ識別情報（transform_skip_flag）が生成され、伝送される。
【０１３４】
これに対して、パラメータdiff_ref_layerの値が０でない場合、すなわち、エンハンスメントレイヤの場合、図１３の上から５行目および６行目に示されるように、参照先とするベースレイヤ（ref_layer）の、カレントピクチャに対応するピクチャ（リファレンスピクチャ）の、カレントブロック（カレントTU）対応するブロック（TU）（リファレンスブロック（リファレンスTU））についてのスキップ識別情報（transform_skip_flag）が参照される。つまり、このレイヤについては、スキップ識別情報（transform_skip_flag）は伝送されない。
【０１３５】
なお、スキップ識別情報（transform_skip_flag）の生成および伝送、並びに参照は、スキップ許可情報（transform_skip_enable_flag）が真であり、かつ、カレントブロックのサイズが所定のサイズ（例えば４×４サイズ）である場合に限ることは言うまでも無い（図１３の２行目）。
【０１３６】
以上のようなシンタクスを適用することにより、直交変換スキップに関する情報をレイヤ間で共有することができ、符号化効率の低減を抑制することができる。
【０１３７】
次に、以上のような本技術について、具体的な装置への適用例について説明する。
【０１３８】
＜１．第１の実施の形態＞
［スケーラブル符号化装置］
図１４は、スケーラブル符号化装置の主な構成例を示すブロック図である。
【０１３９】
図１４に示されるスケーラブル符号化装置１００は、ベースレイヤとエンハンスメントレイヤに階層化された画像データの各レイヤを符号化する。この階層化の基準として用いるパラメータは任意である。スケーラブル符号化装置１００は、ベースレイヤ画像符号化部１０１、ベースレイヤ直交変換スキップバッファ１０２、およびエンハンスメントレイヤ画像符号化部１０３を有する。
【０１４０】
ベースレイヤ画像符号化部１０１は、ベースレイヤの画像情報（ベースレイヤ画像情報）を取得する。ベースレイヤ画像符号化部１０１は、他のレイヤを参照せずに、そのベースレイヤ画像情報を符号化し、ベースレイヤの符号化データ（ベースレイヤ符号化データ）を生成し、出力する。また、ベースレイヤ画像符号化部１０１は、符号化の際に得られた直交変換スキップに関する情報をベースレイヤ直交変換スキップバッファ１０２に供給する。
【０１４１】
ベースレイヤ直交変換スキップバッファ１０２は、ベースレイヤ画像符号化部１０１から供給される直交変換スキップに関する情報を記憶する。ベースレイヤ直交変換スキップバッファ１０２は、要求に応じて、その記憶している直交変換スキップに関する情報を、エンハンスメントレイヤ画像符号化部１０３に供給する。
【０１４２】
エンハンスメントレイヤ画像符号化部１０３は、エンハンスメントレイヤの画像情報（エンハンスメントレイヤ画像情報）を取得する。エンハンスメントレイヤ画像符号化部１０３は、ベースレイヤ直交変換スキップバッファ１０２から、ベースレイヤの直交変換スキップに関する情報を取得し、その情報を参照して、エンハンスメントレイヤ画像情報を符号化する。エンハンスメントレイヤ画像符号化部１０３は、その符号化により、エンハンスメントレイヤの符号化データ（エンハンスメントレイヤ符号化データ）を生成し、出力する。
【０１４３】
エンハンスメントレイヤ画像符号化部１０３は、符号化の際に、以上のように、ベースレイヤの直交変換スキップに関する情報を参照して、直交変換処理のスキップの制御を行う。そして、エンハンスメントレイヤ画像符号化部１０３は、エンハンスメントレイヤについての、直交変換スキップに関する情報を伝送しない。つまり、復号側においても、同様に、ベースレイヤの直交変換スキップに関する情報を参照してエンハンスメントレイヤの逆直交変換処理のスキップの制御が行われるようにする。
【０１４４】
したがって、スケーラブル符号化装置１００は、エンハンスメントレイヤの直交変換スキップに関する情報の伝送を省略することができ、符号化効率の低減を抑制することができる。
【０１４５】
［ベースレイヤ画像符号化部］
図１５は、図１４のベースレイヤ画像符号化部１０１の主な構成例を示すブロック図である。図１５に示されるように、ベースレイヤ画像符号化部１０１は、A/D変換部１１１、画面並べ替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可逆符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、および逆直交変換部１１９を有する。また、ベースレイヤ画像符号化部１０１は、演算部１２０、ループフィルタ１２１、フレームメモリ１２２、選択部１２３、イントラ予測部１２４、動き予測・補償部１２５、予測画像選択部１２６、およびレート制御部１２７を有する。
【０１４６】
ベースレイヤ画像符号化部１０１は、さらに、直交変換スキップ部１３１を有する。
【０１４７】
A/D変換部１１１は、入力された画像データ（ベースレイヤ画像情報）をA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１１２に供給し、記憶させる。画面並べ替えバッファ１１２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部１１３に供給する。また、画面並べ替えバッファ１１２は、フレームの順番を並び替えた画像を、イントラ予測部１２４および動き予測・補償部１２５にも供給する。
【０１４８】
演算部１１３は、画面並べ替えバッファ１１２から読み出された画像から、予測画像選択部１２６を介してイントラ予測部１２４若しくは動き予測・補償部１２５から供給される予測画像を減算し、その差分情報を直交変換部１１４に出力する。例えば、イントラ符号化が行われる画像の場合、演算部１１３は、画面並べ替えバッファ１１２から読み出された画像から、イントラ予測部１２４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１１３は、画面並べ替えバッファ１１２から読み出された画像から、動き予測・補償部１２５から供給される予測画像を減算する。
【０１４９】
直交変換部１１４は、演算部１１３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部１１４は、その変換係数を量子化部１１５に供給する。
【０１５０】
量子化部１１５は、直交変換部１１４から供給される変換係数を量子化する。量子化部１１５は、レート制御部１２７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部１１５は、量子化された変換係数を可逆符号化部１１６に供給する。
【０１５１】
可逆符号化部１１６は、量子化部１１５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１２７の制御の下で量子化されているので、この符号量は、レート制御部１２７が設定した目標値となる（若しくは目標値に近似する）。
【０１５２】
また、可逆符号化部１１６は、イントラ予測のモードを示す情報などをイントラ予測部１２４から取得し、インター予測のモードを示す情報や差分動きベクトル情報などを動き予測・補償部１２５から取得する。さらに、可逆符号化部１１６は、ビデオパラメータセット（VPS）、シーケンスパラメータセット（SPS）、およびピクチャパラメータセット（PPS）等を含むNALユニットを適宜生成する。
【０１５３】
可逆符号化部１１６は、これらの各種情報を任意の符号化方式で符号化し、符号化データ（符号化ストリームとも称する）の一部とする（多重化する）。可逆符号化部１１６は、符号化して得られた符号化データを蓄積バッファ１１７に供給して蓄積させる。
【０１５４】
可逆符号化部１１６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
【０１５５】
蓄積バッファ１１７は、可逆符号化部１１６から供給された符号化データ（ベースレイヤ符号化データ）を、一時的に保持する。蓄積バッファ１１７は、所定のタイミングにおいて、保持しているベースレイヤ符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。すなわち、蓄積バッファ１１７は、符号化データを伝送する伝送部でもある。
【０１５６】
また、量子化部１１５において量子化された変換係数は、逆量子化部１１８にも供給される。逆量子化部１１８は、その量子化された変換係数を、量子化部１１５による量子化に対応する方法で逆量子化する。逆量子化部１１８は、得られた変換係数を、逆直交変換部１１９に供給する。
【０１５７】
逆直交変換部１１９は、逆量子化部１１８から供給された変換係数を、直交変換部１１４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１２０に供給される。
【０１５８】
演算部１２０は、逆直交変換部１１９から供給された逆直交変換結果である、復元された差分情報に、予測画像選択部１１６を介してイントラ予測部１２４若しくは動き予測・補償部１２５からの予測画像を加算し、局部的に復号された画像（復号画像）を得る。その復号画像は、ループフィルタ１２１またはフレームメモリ１２２に供給される。
【０１５９】
ループフィルタ１２１は、デブロックフィルタや適応ループフィルタ等を含み、演算部１２０から供給される再構成画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ１２１は、再構成画像に対してデブロックフィルタ処理を行うことにより再構成画像のブロック歪を除去する。また、例えば、ループフィルタ１２１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。ループフィルタ１２１は、フィルタ処理結果（以下、復号画像と称する）をフレームメモリ１２２に供給する。
【０１６０】
なお、ループフィルタ１２１が、再構成画像に対してさらに、他の任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１２１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１１６に供給し、それを符号化させるようにすることもできる。
【０１６１】
フレームメモリ１２２は、演算部１２０から供給される再構成画像と、ループフィルタ１２１から供給される復号画像とをそれぞれ記憶する。フレームメモリ１２２は、所定のタイミングにおいて、若しくは、イントラ予測部１２４等の外部からの要求に基づいて、記憶している再構成画像を、選択部１２３を介してイントラ予測部１２４に供給する。また、フレームメモリ１２２は、所定のタイミングにおいて、若しくは、動き予測・補償部１２５等の外部からの要求に基づいて、記憶している復号画像を、選択部１２３を介して、動き予測・補償部１２５に供給する。
【０１６２】
フレームメモリ１２２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部１２３に供給する。
【０１６３】
選択部１２３は、フレームメモリ１２２から供給される参照画像の供給先を選択する。例えば、イントラ予測の場合、選択部１２３は、フレームメモリ１２２から供給される参照画像（カレントピクチャ内の画素値）を動き予測・補償部１２５に供給する。また、例えば、インター予測の場合、選択部１２３は、フレームメモリ１２２から供給される参照画像を動き予測・補償部１２５に供給する。
【０１６４】
イントラ予測部１２４は、選択部１２３を介してフレームメモリ１２２から供給される参照画像であるカレントピクチャ内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１２４は、予め用意された複数のイントラ予測モードでこのイントラ予測を行う。
【０１６５】
イントラ予測部１２４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１１２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１２４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１２６に供給する。
【０１６６】
また、上述したように、イントラ予測部１２４は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部１１６に供給し、符号化させる。
【０１６７】
動き予測・補償部１２５は、画面並べ替えバッファ１１２から供給される入力画像と、選択部１２３を介してフレームメモリ１２２から供給される参照画像とを用いて動き予測（インター予測）を行う。動き予測・補償部１２５は、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部１２５は、予め用意された複数のインター予測モードでこのようなインター予測を行う。
【０１６８】
動き予測・補償部１２５は、候補となる全てのインター予測モードで予測画像を生成する。動き予測・補償部１２５は、画面並べ替えバッファ１１２から供給される入力画像と、生成した差分動きベクトルの情報などを用いて、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部１２５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１２６に供給する。
【０１６９】
動き予測・補償部１２５は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部１１６に供給し、符号化させる。必要な情報としては、例えば、生成された差分動きベクトルの情報や、予測動きベクトル情報として、予測動きベクトルのインデックスを示すフラグなどがある。
【０１７０】
予測画像選択部１２６は、演算部１１３や演算部１２０に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部１２６は、予測画像の供給元としてイントラ予測部１２４を選択し、そのイントラ予測部１２４から供給される予測画像を演算部１１３や演算部１２０に供給する。また、例えば、インター符号化の場合、予測画像選択部１２６は、予測画像の供給元として動き予測・補償部１２５を選択し、その動き予測・補償部１２５から供給される予測画像を演算部１１３や演算部１２０に供給する。
【０１７１】
レート制御部１２７は、蓄積バッファ１１７に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１１５の量子化動作のレートを制御する。
【０１７２】
直交変換スキップ部１３１は、ベースレイヤ画像符号化部１０１の、直交変換部１１４における直交変換処理の実行、並びに、逆直交変換部１１９における逆直交変換処理の実行を制御する。例えば、直交変換スキップ部１３１は、直交変換部１１４から直交変換係数および直交変換前の差分値を取得する。また、例えば、直交変換スキップ部１３１は、可逆符号化部１１６からスキップ許可情報を取得する。直交変換スキップ部１３１は、これらの情報に基づいて、直交変換処理（若しくは逆直交変換処理）をスキップ（省略）するか否かを決定する。
【０１７３】
直交変換スキップ部１３１は、その決定に基づいて、ベースレイヤ画像符号化部１０１の直交変換部１１４や逆直交変換部１１９を制御する。つまり、ベースレイヤ画像符号化部１０１の直交変換部１１４は、その直交変換スキップ部１３１の制御に従って、直交変換処理を行うか若しくはスキップする。同様に、ベースレイヤ画像符号化部１０１の逆直交変換部１１９も、その直交変換スキップ部１３１の制御に従って、逆直交変換処理を行うか若しくはスキップする。
【０１７４】
また、直交変換スキップ部１３１は、その決定した内容、すなわち、直交変換処理（逆直交変換処理）をスキップするか否かを示すスキップ識別情報を生成し、それをベースレイヤ画像符号化部１０１の可逆符号化部１１６に供給する。ベースレイヤ画像符号化部１０１の可逆符号化部１１６は、そのスキップ識別情報を、例えば、ベースレイヤ符号化データに含めて復号側に伝送する。なお、このスキップ識別情報は、ベースレイヤ符号化データとは別のデータとして復号側に伝送されるようにしてもよい。
【０１７５】
さらに、直交変換スキップ部１３１は、得られたスキップ許可情報やスキップ識別情報を含む直交変換スキップに関する情報を、ベースレイヤ直交変換スキップバッファ１０２に供給する。
【０１７６】
［エンハンスメントレイヤ画像符号化部］
図１６は、図１４のエンハンスメントレイヤ画像符号化部１０３の主な構成例を示すブロック図である。図１６に示されるように、エンハンスメントレイヤ画像符号化部１０３は、図１５のベースレイヤ画像符号化部１０１と基本的に同様の構成を有する。つまり、エンハンスメントレイヤ画像符号化部１０３は、A/D変換部１１１乃至レート制御部１２７を有する。
【０１７７】
ただし、エンハンスメントレイヤ画像符号化部１０３の各部は、ベースレイヤではなく、エンハンスメントレイヤ画像情報の符号化についての処理を行う。つまり、A/D変換部１１１は、エンハンスメントレイヤ画像情報をA/D変換し、蓄積バッファ１１７は、エンハンスメントレイヤ符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。
【０１７８】
また、エンハンスメントレイヤ画像符号化部１０３は、直交変換スキップ部１３１の代わりに、直交変換スキップ部１３２を有する。
【０１７９】
直交変換スキップ部１３２は、エンハンスメントレイヤ画像符号化部１０３の、直交変換部１１４における直交変換処理の実行、並びに、逆直交変換部１１９における逆直交変換処理の実行を制御する。例えば、直交変換スキップ部１３２は、ベースレイヤ直交変換スキップバッファ１０２から、ベースレイヤの直交変換スキップに関する情報を取得する。
【０１８０】
直交変換スキップ部１３２は、その直交変換スキップに関する情報に基づいて、エンハンスメントレイヤ画像符号化部１０３の直交変換部１１４や逆直交変換部１１９を制御する。つまり、エンハンスメントレイヤ画像符号化部１０３の直交変換部１１４は、その直交変換スキップ部１３２の制御に従って、直交変換処理を行うか若しくはスキップする。同様に、エンハンスメントレイヤ画像符号化部１０３の逆直交変換部１１９も、その直交変換スキップ部１３２の制御に従って、逆直交変換処理を行うか若しくはスキップする。
【０１８１】
なお、エンハンスメントレイヤについての直交変換スキップに関する情報は伝送されない。つまり、エンハンスメントレイヤ画像符号化部１０３の場合、可逆符号化部１１６は、スキップ許可情報を生成したり、直交変換スキップ部１３２に対してそのスキップ許可情報を供給したり、直交変換スキップ部１３２からスキップ識別情報を取得したり、それを復号側に伝送させたりしない。
【０１８２】
［直交変換スキップ部とベースレイヤ直交変換スキップバッファ］
図１７は、直交変換スキップ部１３１、直交変換スキップ部１３２、並びにベースレイヤ直交変換スキップバッファ１０２の主な構成例を示すブロック図である。
【０１８３】
図１７に示されるように、直交変換スキップ部１３１は、スキップ符号化部１４１およびスキップ決定部１４２を有する。また、ベースレイヤ直交変換スキップバッファ１０２は、transform_skip_enable_flagバッファ１５１およびtransform_skip_flagバッファ１５２を有する。さらに、直交変換スキップ部１３２は、transform_skip_enable_flag制御部１６１およびtransform_skip_flag制御部１６２を有する。
【０１８４】
スキップ符号化部１４１は、ベースレイヤ画像符号化部１０１の直交変換部１１４から、直交変換係数および直交変換前差分値を取得し、それらを用いて、直交変換を行う場合と、直交変換をスキップする場合とで、それぞれ、コスト関数値を算出する。スキップ符号化部１４１は、算出したコスト関数値をスキップ決定部１４２に供給する。
【０１８５】
スキップ決定部１４２は、ベースレイヤ画像符号化部１０１の可逆符号化部１１６から、スキップ許可情報（transform_skip_enable_flag）を取得する。スキップ決定部１４２は、そのスキップ許可情報（transform_skip_enable_flag）と、スキップ符号化部１４１から供給されたコスト関数値とに基づいて、カレントブロック（カレントTU）に対する直交変換処理および逆直交変換処理をスキップするか否かを決定する。スキップ決定部１４２は、その決定に応じた制御を行う制御信号を、ベースレイヤ画像符号化部１０１の直交変換部１１４および逆直交変換部１１９に供給し、直交変換処理および逆直交変換処理の実行を制御する。
【０１８６】
スキップ決定部１４２は、さらに、その決定に応じたスキップ識別情報（transform_skip_flag）を生成し、それをベースレイヤ画像符号化部１０１の可逆符号化部１１６に供給し、復号側に伝送させる。
【０１８７】
また、スキップ決定部１４２は、スキップ許可情報（transform_skip_enable_flag）とスキップ識別情報（transform_skip_flag）を、直交変換スキップに関する情報として、ベースレイヤ直交変換スキップバッファ１０２に供給する。
【０１８８】
ベースレイヤ直交変換スキップバッファ１０２のtransform_skip_enable_flagバッファ１５１は、スキップ決定部１４２から供給されるベースレイヤのスキップ許可情報（transform_skip_enable_flag）を記憶する。transform_skip_enable_flagバッファ１５１は、直交変換スキップ部１３２からの要求に応じて、記憶しているベースレイヤのスキップ許可情報（transform_skip_enable_flag）を直交変換スキップ部１３２に供給する。
【０１８９】
ベースレイヤ直交変換スキップバッファ１０２のtransform_skip_flagバッファ１５２は、スキップ決定部１４２から供給されるベースレイヤのスキップ識別情報（transform_skip_flag）を記憶する。transform_skip_flagバッファ１５２は、直交変換スキップ部１３２からの要求に応じて、記憶しているベースレイヤのスキップ識別情報（transform_skip_flag）を直交変換スキップ部１３２に供給する。
【０１９０】
直交変換スキップ部１３２のtransform_skip_enable_flag制御部１６１は、transform_skip_enable_flagバッファ１５１から、カレントピクチャに対応するベースレイヤのピクチャのスキップ許可情報（transform_skip_enable_flag）を取得し、その値に応じた制御信号を、エンハンスメントレイヤ画像符号化部１０３の直交変換部１１４および逆直交変換部１１９に供給し、直交変換処理および逆直交変換処理の実行を制御する。
【０１９１】
また、直交変換スキップ部１３２のtransform_skip_flag制御部１６２は、transform_skip_flagバッファ１５２から、カレントブロック（カレントTU）に対応するベースレイヤのブロック（TU）のスキップ識別情報（transform_skip_flag）を取得し、その値に応じた制御信号を、エンハンスメントレイヤ画像符号化部１０３の直交変換部１１４および逆直交変換部１１９に供給し、直交変換処理および逆直交変換処理の実行を制御する。
【０１９２】
このようにすることにより、スケーラブル符号化装置１００は、直交変換スキップに関する情報をレイヤ間で共有することができ、エンハンスメントレイヤについての直交変換スキップに関する情報を、出力となる画像圧縮情報において伝送する必要がなくなり、符号化効率を向上させることができる。
【０１９３】
［符号化処理の流れ］
次に、以上のようなスケーラブル符号化装置１００により実行される各処理の流れについて説明する。最初に、図１８のフローチャートを参照して、符号化処理の流れの例を説明する。
【０１９４】
符号化処理が開始されると、ステップＳ１０１において、スケーラブル符号化装置１００は、画像データの複数のレイヤの内、最初のレイヤを処理対象とする。
【０１９５】
ステップＳ１０２において、スケーラブル符号化装置１００は、ビデオパラメータセット（VPS）を参照する。ステップＳ１０３において、スケーラブル符号化装置１００は、パラメータdiff_ref_layerの値に基づいて、処理対象であるカレントレイヤがベースレイヤであるか否かを判定する。
【０１９６】
カレントレイヤのdiff_ref_layerの値が０であり、ベースレイヤであると判定された場合、処理は、ステップＳ１０４に進む。
【０１９７】
ステップＳ１０４において、ベースレイヤ画像符号化部１０１は、ベースレイヤ画像情報を符号化するベースレイヤ符号化処理を実行する。ステップＳ１０４の処理が終了すると、処理は、ステップＳ１０８に進む。
【０１９８】
また、ステップＳ１０３において、カレントレイヤのdiff_ref_layerの値が０でなく、エンハンスメントレイヤであると判定された場合、処理は、ステップＳ１０５に進む。
【０１９９】
ステップＳ１０５において、スケーラブル符号化装置１００は、カレントレイヤに対応するベースレイヤを決定する。
【０２００】
ステップＳ１０６において、スケーラブル符号化装置１００は、ビデオパラメータセット（VPS）のパラメータに基づいて、ベースレイヤとエンハンスメントレイヤの間のブロック（TU）の対応関係を決定する。例えば、ベースレイヤとエンハンスメントレイヤの解像度比やコンポーネントのフォーマット等に応じて、図８乃至図１０を参照して説明した例のようなTUの対応関係が決定される。
【０２０１】
ステップＳ１０７において、エンハンスメントレイヤ画像符号化部１０３は、エンハンスメントレイヤ画像情報を符号化するエンハンスメントレイヤ符号化処理を実行する。ステップＳ１０７の処理が終了すると、処理は、ステップＳ１０８に進む。
【０２０２】
ステップＳ１０８において、スケーラブル符号化装置１００は、全てのレイヤを処理したか否かを判定する。未処理のレイヤが存在すると判定された場合、処理は、ステップＳ１０９に進む。
【０２０３】
ステップＳ１０９において、スケーラブル符号化装置１００は、次の未処理のレイヤを新たな処理対象とする。
【０２０４】
新たな処理対象のレイヤが決定すると、処理は、ステップＳ１０２に戻る。すなわち、ステップＳ１０２乃至ステップＳ１０９の処理が繰り返し実行されることにより、各レイヤに対する符号化処理が行われる。
【０２０５】
そして、ステップＳ１０８において、全てのレイヤが処理されたと判定された場合、符号化処理が終了する。
【０２０６】
［ベースレイヤ符号化処理の流れ］
次に、図１９のフローチャートを参照して、図１８のステップＳ１０４において実行されるベースレイヤ符号化処理の流れの例を説明する。
【０２０７】
ステップＳ１２１において、ベースレイヤ画像符号化部１０１の可逆符号化部１１６は、例えばユーザ指示等に基づいて、カレントレイヤであるベースレイヤのカレントピクチャについて、スキップ許可情報（transform_skip_enable_flag）を生成する。
【０２０８】
ステップＳ１２２において、スキップ決定部１４２は、可逆符号化部１１６から、このスキップ許可情報（transform_skip_enable_flag）を取得し、ベースレイヤ直交変換スキップバッファ１０２のtransform_skip_enable_flagバッファ１５１に供給し、記憶させる。
【０２０９】
ステップＳ１２３において、A/D変換部１１１は入力されたベースレイヤの画像情報（画像データ）をA/D変換する。ステップＳ１２４において、画面並べ替えバッファ１１２は、A/D変換されたベースレイヤの画像情報（デジタルデータ）を記憶し、各ピクチャを、表示する順番から符号化する順番へ並べ替える。ステップＳ１２５において、イントラ予測部１２４は、イントラ予測モードのイントラ予測処理を行う。
【０２１０】
ステップＳ１２６において、動き予測・補償部１２５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。
【０２１１】
ステップＳ１２７において、予測画像選択部１２６は、イントラ予測部１２４および動き予測・補償部１２５から出力された各コスト関数値に基づいて、最適なモードを決定する。つまり、予測画像選択部１２６は、イントラ予測部１２４により生成された予測画像と、動き予測・補償部１２５により生成された予測画像のいずれか一方を選択する。
【０２１２】
ステップＳ１２８において、演算部１１３は、ステップＳ１２４の処理により並び替えられた画像と、ステップＳ１２７の処理により選択された予測画像との差分を演算する。差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
【０２１３】
ステップＳ１２９において、直交変換スキップ部１３１は、ベースレイヤ直交変換スキップ制御処理を行う。
【０２１４】
ステップＳ１３０において、直交変換部１１４は、ステップＳ１２９の処理結果に従って、ステップＳ１２８の処理により生成された差分情報に対する直交変換処理を行う。
【０２１５】
ステップＳ１３１において、量子化部１１５は、レート制御部１２７により算出された量子化パラメータを用いて、ステップＳ１３０の処理により得られた直交変換係数若しくは直交変換前差分値を量子化する。
【０２１６】
ステップＳ１３１の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１３２において、逆量子化部１１８は、ステップＳ１３１の処理により生成された量子化された係数（量子化係数とも称する）を、量子化部１１５の特性に対応する特性で逆量子化する。ステップＳ１３３において、逆直交変換部１１９は、ステップＳ１３２の処理により得られた直交変換係数若しくは直交変換前差分値に対する逆直交変換処理を、ステップＳ１２９の処理結果に従って行う。
【０２１７】
ステップＳ１３３の処理の詳細についての説明は、後述する復号処理において実行される同様の処理の説明を準用することができるので、省略する。
【０２１８】
ステップＳ１３４において、演算部１２０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１１３への入力に対応する画像）を生成する。
【０２１９】
ステップＳ１３５においてループフィルタ１２１は、ステップＳ１３４の処理により生成された画像をフィルタリングする。これによりブロック歪み等が除去される。
【０２２０】
ステップＳ１３６において、フレームメモリ１２２は、ステップＳ１３５の処理によりブロック歪みの除去等が行われた画像を記憶する。なお、フレームメモリ１２２にはループフィルタ１２１によりフィルタ処理されていない画像も演算部１２０から供給され、記憶される。このフレームメモリ１２２に記憶された画像は、ステップＳ１２５の処理やステップＳ１２６の処理に利用される。
【０２２１】
ステップＳ１３７において、可逆符号化部１１６は、ステップＳ１３１の処理により量子化された係数を符号化する。すなわち、差分画像に対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。
【０２２２】
また、このとき、可逆符号化部１１６は、ステップＳ１２７の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１１６は、イントラ予測部１２４から供給される最適イントラ予測モード情報、または、動き予測・補償部１２５から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。
【０２２３】
なお、可逆符号化部１１６は、さらに、例えばスキップ識別情報（transform_skip_flag）等のような直交変換スキップに関する情報等も、適宜符号化し、符号化データに付加する。
【０２２４】
ステップＳ１３８において蓄積バッファ１１７は、ステップＳ１３７の処理により得られたベースレイヤ符号化データを蓄積する。蓄積バッファ１１７に蓄積されたベースレイヤ符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。
【０２２５】
ステップＳ１３９においてレート制御部１２７は、ステップＳ１３８の処理により蓄積バッファ１１７に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１１５の量子化動作のレートを制御する。また、レート制御部１２７は、量子化パラメータに関する情報を、量子化部１１５に供給する。
【０２２６】
ステップＳ１３９の処理が終了すると、ベースレイヤ符号化処理が終了し、処理は図１８に戻る。ベースレイヤ符号化処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してベースレイヤ符号化処理が実行される。ただし、ベースレイヤ符号化処理内の各処理は、それぞれの処理単位毎に行われる。
【０２２７】
［ベースレイヤ直交変換スキップ制御処理の流れ］
次に、図１９のステップＳ１２９において実行されるベースレイヤ直交変換スキップ制御処理の流れの例を、図２０のフローチャートを参照して説明する。
【０２２８】
ベースレイヤ直交変換スキップ制御処理が開始されると、スキップ決定部１４２は、ステップＳ１５１において、処理対象であるカレントピクチャについて、可逆符号化部１１６から取得したベースレイヤのスキップ許可情報（transform_skip_enable_flag）に基づいて、直交変換スキップが許可されているか否かを判定する。
【０２２９】
直交変換スキップが許可されていると判定された場合、処理は、ステップＳ１５２に進む。ステップＳ１５２において、スキップ符号化部１４１は、カレントピクチャについて、直交変換スキップを行うモードである直交変換スキップモードを、予測モードの候補である候補モードの１つに含める。ステップＳ１５２の処理が終了すると、処理は、ステップＳ１５４に進む。
【０２３０】
また、ステップＳ１５１において、直交変換スキップが許可されていないと判定された場合、処理は、ステップＳ１５３に進む。ステップＳ１５３において、スキップ符号化部１４１は、直交変換スキップモードをカレントピクチャの候補モードから外す。ステップＳ１５３の処理が終了すると、処理は、ステップＳ１５４に進む。
【０２３１】
ステップＳ１５４において、スキップ符号化部１４１は、カレントピクチャの未処理の候補モードを選択する。
【０２３２】
ステップＳ１５５において、スキップ符号化部１４１は、その選択したモードが直交変換スキップモードであるか否か（すなわち、直交変換スキップを行うか否か）を判定する。直交変換スキップモードであると判定された場合、処理は、ステップＳ１５６に進む。
【０２３３】
ステップＳ１５６において、スキップ符号化部１４１は、直交変換部１１４から直交変換前差分値を取得し、その直交変換前差分値を用いて符号化を行い、コスト関数値を算出する。すなわち、スキップ符号化部１４１は、直交変換処理をスキップして符号化を行い、そのコスト関数値を算出する。スキップ符号化部１４１は、算出した直交変換モードのコスト関数値をスキップ決定部１４２に供給する。ステップＳ１５６の処理が終了すると、処理は、ステップＳ１５９に進む。
【０２３４】
また、ステップＳ１５５において、選択されたモードが直交変換スキップモードでないと判定された場合、処理は、ステップＳ１５７に進む。ステップＳ１５７において、直交変換部１１４は、直交変換前差分値を直交変換し、直交変換係数を得る。ステップＳ１５８において、スキップ符号化部１４１は、直交変換部１１４からその直交変換係数を取得し、その直交変換前差分値を用いて符号化を行い、コスト関数値を算出する。すなわち、スキップ符号化部１４１は、直交変換処理をスキップして符号化を行い、そのコスト関数値を算出する。スキップ符号化部１４１は、算出した直交変換モードのコスト関数値をスキップ決定部１４２に供給する。ステップＳ１５６の処理が終了すると、処理は、ステップＳ１５９に進む。
【０２３５】
ステップＳ１５９において、スキップ符号化部１４１は、全ての候補モードを処理したか否かを判定する。未処理の候補モードが存在すると判定された場合、処理は、ステップＳ１５４に戻る。ステップＳ１５４乃至ステップＳ１５９の処理を繰り返し、ステップＳ１５９において全ての候補モードを処理したと判定された場合、処理は、ステップＳ１６０に進む。
【０２３６】
ステップＳ１６０において、スキップ決定部１４２は、候補モードの中から最適モードを判定する。最適モードと判定されたモードが実際の符号化モードとして適用される。したがって、スキップ決定部１４２は、この最適モードに応じた制御信号を、ベースレイヤ画像符号化部１０１の直交変換部１１４および逆直交変換部１１９に供給する。
【０２３７】
ステップＳ１６１において、スキップ決定部１４２は、最適モードに応じたスキップ識別情報（transform_skip_flag）を生成する。ステップＳ１６２において、スキップ決定部１４２は、ステップＳ１６１において生成されたスキップ識別情報（transform_skip_flag）をベースレイヤ直交変換スキップバッファ１０２のtransform_skip_flagバッファ１５２に供給し、記憶させる。
【０２３８】
ステップＳ１６２の処理が終了すると、ベースレイヤ直交変換スキップ制御処理が終了し、処理は図１９に戻る。なお、このベースレイヤ直交変換スキップ制御処理は、任意の処理単位毎に行われる（例えば、LCU毎に行われる）。ただし、ベースレイヤ直交変換スキップ制御処理内の各処理は、それぞれの処理単位毎に行われる。
【０２３９】
［直交変換処理の流れ］
次に、図１９のステップＳ１３０において実行される直交変換処理の流れの例を、図２１のフローチャートを参照して説明する。
【０２４０】
直交変換処理が開始されると、直交変換部１１４は、ステップＳ１８１において、スキップ決定部１４２の制御に従って、カレントブロックについて直交変換をスキップするか否かを判定する。直交変換をスキップすると判定された場合、処理は、ステップＳ１８２に進む。
【０２４１】
ステップＳ１８２において、直交変換部１１４は、カレントブロックの直交変換処理をスキップし、カレントブロックの直交変換前差分値を出力する。ステップＳ１８２の処理が終了すると、処理は、図１９に戻る。
【０２４２】
また、図２１のステップＳ１８１において、カレントブロックについて直交変換をスキップしないと判定された場合、処理は、ステップＳ１８３に進む。
【０２４３】
ステップＳ１８３において、直交変換部１１４は、カレントブロックの直交変換前差分値を直交変換する。ステップＳ１８４において、直交変換部１１４は、得られた直交変換係数を出力する。ステップＳ１８４の処理が終了すると、直交変換処理が終了し、処理は図１９に戻る。
【０２４４】
なお、この直交変換処理は、任意の処理単位毎に行われる（例えば、TU毎に行われる）。ただし、直交変換処理内の各処理は、それぞれの処理単位毎に行われる。
【０２４５】
［エンハンスメントレイヤ符号化処理の流れ］
次に、図２２のフローチャートを参照して、図１８のステップＳ１０７において実行されるエンハンスメントレイヤ符号化処理の流れの例を説明する。
【０２４６】
ステップＳ２０１において、エンハンスメントレイヤ画像符号化部１０３のtransform_skip_enable_flag制御部１６１は、カレントレイヤであるベースレイヤのカレントピクチャについてのスキップ許可情報（transform_skip_enable_flag）を、ベースレイヤ直交変換スキップバッファ１０２のtransform_skip_enable_flagバッファ１５１から取得する。
【０２４７】
ステップＳ２０２乃至ステップＳ２０７の各処理は、ベースレイヤ符号化処理（図１９）のステップＳ１２３乃至ステップＳ１２８の各処理と同様に実行される。ただし、ステップＳ２０２乃至ステップＳ２０７の各処理は、エンハンスメントレイヤ画像符号化部１０３の各処理部により、エンハンスメントレイヤ画像情報に対して行われる。
【０２４８】
ステップＳ２０８において、直交変換スキップ部１３２は、エンハンスメントレイヤ直交変換スキップ制御処理を行う。
【０２４９】
ステップＳ２０９において、エンハンスメントレイヤ画像符号化部１０３の直交変換部１１４は、ステップＳ２０８の処理結果に従って、ステップＳ２０７の処理により生成された差分情報に対する直交変換処理を行う。この処理は、エンハンスメントレイヤ画像符号化部１０３の直交変換部１１４が、直交変換スキップ部１３２の制御に従って、エンハンスメントレイヤのデータに対して行うことと、直交変換処理の終了後、処理が図２２に戻ること以外、図２１のフローチャートを参照して上述した直交変換処理と同様に実行される。したがって、その説明は省略する。
【０２５０】
ステップＳ２１０およびステップＳ２１１の各処理は、ベースレイヤ符号化処理（図１９）のステップＳ１３１およびステップＳ１３２の各処理と同様に実行される。ただし、ステップＳ２１０およびステップＳ２１１の各処理は、エンハンスメントレイヤ画像符号化部１０３の各処理部により、エンハンスメントレイヤ画像情報に対して行われる。
【０２５１】
ステップＳ２１２において、エンハンスメントレイヤ画像符号化部１０３の逆直交変換部１１９は、ステップＳ２０８の処理結果に従って、ステップＳ２１１の処理により得られた直交変換係数若しくは直交変換前差分値に対する逆直交変換処理を行う。この処理は、エンハンスメントレイヤ画像符号化部１０３の逆直交変換部１１９が、直交変換スキップ部１３２の制御に従って、エンハンスメントレイヤのデータに対して行うことと、逆直交変換処理の終了後、処理が図２２に戻ること以外、図１９のステップＳ１３３において実行される逆直交変換処理と同様に実行される。したがって、その説明は省略する。
【０２５２】
ステップＳ２１３乃至ステップＳ２１８の各処理は、ベースレイヤ符号化処理（図１９）のステップＳ１３４乃至ステップＳ１３９の各処理と同様に実行される。ただし、ステップＳ２１３乃至ステップＳ２１８の各処理は、エンハンスメントレイヤ画像符号化部１０３の各処理部により、エンハンスメントレイヤ画像情報に対して行われる。
【０２５３】
ステップＳ２１８の処理が終了すると、エンハンスメントレイヤ符号化処理が終了され、処理は図１８に戻る。エンハンスメントレイヤ符号化処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してエンハンスメントレイヤ符号化処理が実行される。ただし、エンハンスメントレイヤ符号化処理内の各処理は、それぞれの処理単位毎に行われる。
【０２５４】
［エンハンスメントレイヤ直交変換スキップ制御処理の流れ］
次に、図２２のステップＳ２０８において実行されるエンハンスメントレイヤ直交変換スキップ制御処理の流れの例を、図２３のフローチャートを参照して説明する。
【０２５５】
エンハンスメントレイヤ直交変換スキップ制御処理が開始されると、ステップＳ２３１において、transform_skip_enable_flag制御部１６１は、処理対象であるカレントピクチャについて、transform_skip_enable_flagバッファ１５１から取得したベースレイヤのスキップ許可情報（transform_skip_enable_flag）に基づいて、直交変換スキップが許可されているか否かを判定する。
【０２５６】
直交変換スキップが許可されていると判定された場合、処理は、ステップＳ２３２に進む。ステップＳ２３２において、transform_skip_flag制御部１６２は、カレントブロック（カレントTU）に対応するベースレイヤのブロック（TU）のスキップ識別情報（transform_skip_flag）を、transform_skip_flagバッファ１５２から取得する。
【０２５７】
ステップＳ２３３において、transform_skip_flag制御部１６２は、ステップＳ２３２において取得されたスキップ識別情報（transform_skip_flag）に従って、カレントブロック（カレントTU）において直交変換処理および逆直交変換処理をスキップするか否かを決定する。transform_skip_flag制御部１６２は、その決定に応じた制御信号を、エンハンスメントレイヤ画像符号化部１０３の直交変換部１１４および逆直交変換部１１９に供給する。
【０２５８】
ステップＳ２３４において、カレントピクチャについて全てのブロック（TU）を処理したか否かを判定する。未処理のブロック（TU）が存在すると判定した場合、処理はステップＳ２３５に進む。ステップＳ２３５において、transform_skip_flag制御部１６２は、カレントブロック（カレントTU）を次の未処理のブロック（TU）に更新する。
【０２５９】
ステップＳ２３５の処理が終了すると、処理は、ステップＳ２３２に戻る。ステップＳ２３２乃至ステップＳ２３５の各処理が繰り返し実行され、各ブロック（TU）が処理される。ステップＳ２３４において全てのブロック（TU）が処理されたと判定された場合、エンハンスメントレイヤ直交変換スキップ制御処理が終了し、処理は、図２２に戻る。
【０２６０】
また、図２３のステップＳ２３１において、直交変換スキップが許可されていないと判定された場合、処理は、ステップＳ２３６に進む。
【０２６１】
ステップＳ２３６において、transform_skip_enable_flag制御部１６１は、カレントピクチャの全てのブロック（TU）の直交変換スキップを禁止する。transform_skip_enable_flag制御部１６１は、その旨を示す制御信号を、エンハンスメントレイヤ画像符号化部１０３の直交変換部１１４および逆直交変換部１１９に供給する。
【０２６２】
ステップＳ２３６の処理が終了すると、エンハンスメントレイヤ直交変換スキップ制御処理が終了し、処理は、図２２に戻る。なお、このエンハンスメントレイヤ直交変換スキップ制御処理は、任意の処理単位毎に行われる（例えば、ピクチャ毎に行われる）。ただし、エンハンスメントレイヤ直交変換スキップ制御処理内の各処理は、それぞれの処理単位毎に行われる。
【０２６３】
以上のように各処理を実行することにより、スケーラブル符号化装置１００は、符号化効率の低減を抑制し、符号化・復号による画質の低減を抑制することができる。
【０２６４】
＜２．第２の実施の形態＞
［スケーラブル復号装置］
次に、以上のようにスケーラブル符号化（階層符号化）された符号化データ（ビットストリーム）の復号について説明する。図２４は、図１４のスケーラブル符号化装置１００に対応するスケーラブル復号装置の主な構成例を示すブロック図である。図２４に示されるスケーラブル復号装置２００は、例えばスケーラブル符号化装置１００により画像データがスケーラブル符号化されて得られた符号化データを、その符号化方法に対応する方法でスケーラブル復号する。
【０２６５】
スケーラブル復号装置２００は、ベースレイヤ画像復号部２０１、ベースレイヤ直交変換スキップバッファ２０２、およびエンハンスメントレイヤ画像復号部２０３を有する。
【０２６６】
ベースレイヤ画像復号部２０１は、ベースレイヤ画像符号化部１０１に対応する画像復号部であり、例えばベースレイヤ画像符号化部１０１によりベースレイヤ画像情報が符号化されて得られたベースレイヤ符号化データを取得する。ベースレイヤ画像復号部２０１は、他のレイヤを参照せずに、そのベースレイヤ符号化データを復号し、ベースレイヤ画像情報を再構築し、出力する。また、ベースレイヤ画像復号部２０１は、符号化側から伝送された直交変換スキップに関する情報を取得し、それをベースレイヤ直交変換スキップバッファ２０２に供給する。
【０２６７】
ベースレイヤ直交変換スキップバッファ２０２は、ベースレイヤ画像復号部２０１から供給される直交変換スキップに関する情報を記憶する。ベースレイヤ直交変換スキップバッファ２０２は、要求に応じて、その記憶している直交変換スキップに関する情報を、エンハンスメントレイヤ画像復号部２０３に供給する。
【０２６８】
エンハンスメントレイヤ画像復号部２０３は、エンハンスメントレイヤ画像符号化部１０３に対応する画像復号部であり、例えばエンハンスメントレイヤ画像符号化部１０３によりエンハンスメントレイヤ画像情報が符号化されて得られたエンハンスメントレイヤ符号化データを取得する。エンハンスメントレイヤ画像復号部２０３は、ベースレイヤ直交変換スキップバッファ２０２から、ベースレイヤの直交変換スキップに関する情報を取得し、その情報を参照して、エンハンスメントレイヤ符号化データを復号する。エンハンスメントレイヤ画像復号部２０３は、その復号により、エンハンスメントレイヤ画像情報を再構築し、出力する。
【０２６９】
エンハンスメントレイヤ画像復号部２０３は、復号の際に、以上のように、符号化側から伝送されたベースレイヤの直交変換スキップに関する情報を参照して、逆直交変換処理のスキップの制御を行う。
【０２７０】
したがって、スケーラブル復号装置２００は、エンハンスメントレイヤの直交変換スキップに関する情報の伝送を省略することができ、符号化効率の低減を抑制することができる。
【０２７１】
［ベースレイヤ画像復号部］
図２５は、図２４のベースレイヤ画像復号部２０１の主な構成例を示すブロック図である。図２５に示されるようにベースレイヤ画像復号部２０１は、蓄積バッファ２１１、可逆復号部２１２、逆量子化部２１３、逆直交変換部２１４、演算部２１５、ループフィルタ２１６、画面並べ替えバッファ２１７、およびD/A変換部２１８を有する。また、ベースレイヤ画像復号部２０１は、フレームメモリ２１９、選択部２２０、イントラ予測部２２１、動き予測・補償部２２２、および選択部２２３を有する。
【０２７２】
さらに、ベースレイヤ画像復号部２０１は、逆直交変換スキップ部２３１を有する。
【０２７３】
蓄積バッファ２１１は、伝送されてきたベースレイヤ符号化データを受け取る受け取り部でもある。蓄積バッファ２１１は、伝送されてきたベースレイヤ符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部２１２に供給する。このベースレイヤ符号化データには、予測モード情報や直交変換スキップに関する情報（例えば、スキップ許可情報やスキップ識別情報を含む）などの復号に必要な情報が付加されている。
【０２７４】
可逆復号部２１２は、蓄積バッファ２１１より供給された、可逆符号化部１１６により符号化された情報を、可逆符号化部１１６の符号化方式に対応する方式で復号する。可逆復号部２１２は、復号して得られた差分画像の量子化された係数データを、逆量子化部２１３に供給する。
【０２７５】
また、可逆復号部２１２は、ベースレイヤ符号化データに含まれるビデオパラメータセット（VPS）、シーケンスパラメータセット（SPS）、およびピクチャパラメータセット（PPS）等を含むNALユニットを適宜抽出し、取得する。可逆復号部２１２は、それらの情報から、最適な予測モードに関する情報を抽出し、その情報に基づいて最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部２２１および動き予測・補償部２２２の内、選択されたと判定したモードの方に供給する。つまり、例えば、ベースレイヤ画像符号化部１０１において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報がイントラ予測部２２１に供給される。また、例えば、ベースレイヤ画像符号化部１０１において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報が動き予測・補償部２２２に供給される。
【０２７６】
さらに、可逆復号部２１２は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報をNALユニット等から抽出し、それを逆量子化部２１３に供給する。さらに、可逆復号部２１２は、例えば、スキップ許可情報（transform_skip_enable_flag）やスキップ識別情報（transform_skip_flag）等を含む直交変換スキップに関する情報を、NALユニット等から抽出し、逆直交変換スキップ部２３１に供給する。
【０２７７】
逆量子化部２１３は、可逆復号部２１２により復号されて得られた量子化された係数データを、量子化部１１５の量子化方式に対応する方式で逆量子化する。なお、この逆量子化部２１３は、逆量子化部１１８と同様の処理部である。つまり、逆量子化部２１３の説明は、逆量子化部１１８にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。
【０２７８】
逆量子化部２１３は、得られた係数データを逆直交変換部２１４に供給する。
【０２７９】
逆直交変換部２１４は、逆直交変換スキップ部２３１の制御に基づいて、逆量子化部２１３から供給される係数データ（直交変換係数若しくは直交変換前の差分値）を、必要に応じて、直交変換部１１４の直交変換方式に対応する方式で逆直交変換する。なお、この逆直交変換部２１４は、逆直交変換部１１９と同様の処理部である。つまり、逆直交変換部２１４の説明は、逆直交変換部１１９にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。
【０２８０】
逆直交変換部２１４は、この逆直交変換処理により、直交変換部１１４において直交変換される前の残差データに対応する復号残差データを得る。逆直交変換されて得られた復号残差データは、演算部２１５に供給される。また、演算部２１５には、選択部２２３を介して、イントラ予測部２２１若しくは動き予測・補償部２２２から予測画像が供給される。
【０２８１】
演算部２１５は、その復号残差データと予測画像とを加算し、演算部１１３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部２１５は、その復号画像データをループフィルタ２１６に供給する。
【０２８２】
ループフィルタ２１６は、供給された復号画像に対して、デブロックフィルタや適応ループフィルタ等を含むフィルタ処理を適宜施し、それを画面並べ替えバッファ２１７およびフレームメモリ２１９に供給する。例えば、ループフィルタ２１６は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ２１６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。なお、このループフィルタ２１６は、ループフィルタ１２１と同様の処理部である。
【０２８３】
なお、演算部２１５から出力される復号画像は、ループフィルタ２１６を介さずに画面並べ替えバッファ２１７やフレームメモリ２１９に供給することができる。つまり、ループフィルタ２１６によるフィルタ処理の一部若しくは全部は省略することができる。
【０２８４】
画面並べ替えバッファ２１７は、復号画像の並べ替えを行う。すなわち、画面並べ替えバッファ１１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２１８は、画面並べ替えバッファ２１７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
【０２８５】
フレームメモリ２１９は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、イントラ予測部２２１や動き予測・補償部２２２等の外部の要求に基づいて、記憶している復号画像を参照画像として、選択部２２０に供給する。
【０２８６】
選択部２２０は、フレームメモリ２１９から供給される参照画像の供給先を選択する。選択部２２０は、イントラ符号化された画像を復号する場合、フレームメモリ２１９から供給される参照画像をイントラ予測部２２１に供給する。また、選択部２２０は、インター符号化された画像を復号する場合、フレームメモリ２１９から供給される参照画像を動き予測・補償部２２２に供給する。
【０２８７】
イントラ予測部２２１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部２１２から適宜供給される。イントラ予測部２２１は、イントラ予測部１２４において用いられたイントラ予測モードで、フレームメモリ２１９から取得した参照画像を用いてイントラ予測を行い、予測画像を生成する。イントラ予測部２２１は、生成した予測画像を選択部２２３に供給する。
【０２８８】
動き予測・補償部２２２は、ヘッダ情報を復号して得られた情報（最適予測モード情報、参照画像情報等）を可逆復号部２１２から取得する。
【０２８９】
動き予測・補償部２２２は、可逆復号部２１２から取得された最適予測モード情報が示すインター予測モードで、フレームメモリ２１９から取得した参照画像を用いてインター予測を行い、予測画像を生成する。
【０２９０】
選択部２２３は、イントラ予測部２２１からの予測画像または動き予測・補償部２２２からの予測画像を、演算部２１５に供給する。そして、演算部２１５においては、動きベクトルが用いられて生成された予測画像と逆直交変換部２１４からの復号残差データ（差分画像情報）とが加算されて元の画像が復号される。
【０２９１】
逆直交変換スキップ部２３１は、符号化側から供給される直交変換スキップに関する情報（例えばスキップ許可情報やスキップ識別情報）を、可逆復号部２１２を介して取得し、その情報に基づいて、逆直交変換処理をスキップ（省略）するか否かを決定し、その決定に従ってベースレイヤ画像復号部２０１の逆直交変換部２１４における逆直交変換処理の実行を制御する。
【０２９２】
ベースレイヤ画像復号部２０１の逆直交変換部２１４は、その逆直交変換スキップ部２３１の制御に従って、逆直交変換処理を行うか若しくはスキップする。
【０２９３】
逆直交変換スキップ部２３１は、得られたスキップ許可情報やスキップ識別情報を含む直交変換スキップに関する情報を、ベースレイヤ直交変換スキップバッファ２０２に供給する。
【０２９４】
［エンハンスメントレイヤ画像復号部］
図２６は、図２４のエンハンスメントレイヤ画像復号部２０３の主な構成例を示すブロック図である。図２６に示されるように、エンハンスメントレイヤ画像復号部２０３は、図２５のベースレイヤ画像復号部２０１と基本的に同様の構成を有する。つまり、エンハンスメントレイヤ画像復号部２０３は、蓄積バッファ２１１乃至選択部２２３を有する。
【０２９５】
ただし、エンハンスメントレイヤ画像復号部２０３の各部は、ベースレイヤではなく、エンハンスメントレイヤ符号化データの復号についての処理を行う。つまり、蓄積バッファ２１１は、エンハンスメントレイヤ符号化データを受け取って蓄積し、D/A変換部２１８は、エンハンスメントレイヤ画像情報（復号画像）を、例えば、後段の図示せぬ記録装置（記録媒体）や表示部などに出力する。
【０２９６】
また、エンハンスメントレイヤ画像復号部２０３は、逆直交変換スキップ部２３１の代わりに、逆直交変換スキップ部２３２を有する。
【０２９７】
逆直交変換スキップ部２３２は、エンハンスメントレイヤ画像復号部２０３の、逆直交変換部２１４における逆直交変換処理の実行を制御する。例えば、逆直交変換スキップ部２３２は、ベースレイヤ直交変換スキップバッファ２０２から、ベースレイヤの直交変換スキップに関する情報を取得する。
【０２９８】
逆直交変換スキップ部２３２は、その直交変換スキップに関する情報に基づいて、エンハンスメントレイヤ画像復号部２０３の逆直交変換部２１４を制御する。つまり、エンハンスメントレイヤ画像復号部２０３の逆直交変換部２１４は、その逆直交変換スキップ部２３２の制御に従って、逆直交変換処理を行うか若しくはスキップする。
【０２９９】
なお、エンハンスメントレイヤについての直交変換スキップに関する情報は伝送されない。つまり、エンハンスメントレイヤ画像復号部２０３の場合、可逆復号部２１２は、直交変換に関する情報（スキップ許可情報やスキップ識別情報）を取得したり、それを逆直交変換スキップ部２３２に供給したりしない。
【０３００】
［逆直交変換スキップ部とベースレイヤ直交変換スキップバッファ］
図２７は、逆直交変換スキップ部２３１、逆直交変換スキップ部２３２、並びにベースレイヤ直交変換スキップバッファ２０２の主な構成例を示すブロック図である。
【０３０１】
図２７に示されるように、逆直交変換スキップ部２３１は、逆直交変換スキップ制御部２４１を有する。また、ベースレイヤ直交変換スキップバッファ２０２は、transform_skip_enable_flagバッファ２５１およびtransform_skip_flagバッファ２５２を有する。さらに、逆直交変換スキップ部２３２は、transform_skip_enable_flag制御部２６１およびtransform_skip_flag制御部２６２を有する。
【０３０２】
逆直交変換スキップ制御部２４１は、ベースレイヤ画像復号部２０１の可逆復号部２１２から、符号化側から伝送された直交変換スキップに関する情報（例えば、スキップ許可情報（transform_skip_enable_flag）やスキップ識別情報（transform_skip_flag））を取得する。
【０３０３】
逆直交変換スキップ制御部２４１は、その直交変換スキップに関する情報の値に従って、逆直交変換処理をスキップするか否かを決定する。逆直交変換スキップ制御部２４１は、その決定に応じた制御を行う制御信号を、ベースレイヤ画像復号部２０１の逆直交変換部２１４に供給し、逆直交変換処理の実行を制御する。
【０３０４】
逆直交変換スキップ制御部２４１は、さらに、可逆復号部２１２から取得した直交変換スキップに関する情報（例えば、スキップ許可情報（transform_skip_enable_flag）やスキップ識別情報（transform_skip_flag））を、ベースレイヤ直交変換スキップバッファ２０２に供給する。
【０３０５】
ベースレイヤ直交変換スキップバッファ２０２のtransform_skip_enable_flagバッファ２５１は、逆直交変換スキップ制御部２４１から供給されるベースレイヤのスキップ許可情報（transform_skip_enable_flag）を記憶する。transform_skip_enable_flagバッファ２５１は、transform_skip_enable_flag制御部２６１からの要求に応じて、記憶しているベースレイヤのスキップ許可情報（transform_skip_enable_flag）をtransform_skip_enable_flag制御部２６１に供給する。
【０３０６】
ベースレイヤ直交変換スキップバッファ２０２のtransform_skip_flagバッファ２５２は、逆直交変換スキップ制御部２４１から供給されるベースレイヤのスキップ識別情報（transform_skip_flag）を記憶する。transform_skip_flagバッファ２５２は、transform_skip_flag制御部２６２からの要求に応じて、記憶しているベースレイヤのスキップ識別情報（transform_skip_flag）をtransform_skip_flag制御部２６２に供給する。
【０３０７】
逆直交変換スキップ部２３２のtransform_skip_enable_flag制御部２６１は、transform_skip_enable_flagバッファ２５１から、カレントピクチャに対応するベースレイヤのピクチャのスキップ許可情報（transform_skip_enable_flag）を取得し、その値に応じた制御信号を、エンハンスメントレイヤ画像復号部２０３の逆直交変換部２１４に供給し、逆直交変換処理の実行を制御する。
【０３０８】
また、逆直交変換スキップ部２３２のtransform_skip_flag制御部２６２は、transform_skip_flagバッファ２５２から、カレントブロック（カレントTU）に対応するベースレイヤのブロック（TU）のスキップ識別情報（transform_skip_flag）を取得し、その値に応じた制御信号を、エンハンスメントレイヤ画像復号部２０３の逆直交変換部２１４に供給し、逆直交変換処理の実行を制御する。
【０３０９】
このようにすることにより、スケーラブル復号装置２００は、直交変換スキップに関する情報をレイヤ間で共有することができ、エンハンスメントレイヤについての直交変換スキップに関する情報を、出力となる画像圧縮情報において伝送する必要がなくなり、符号化効率を向上させることができる。
【０３１０】
［復号処理の流れ］
次に、以上のようなスケーラブル復号装置２００により実行される各処理の流れについて説明する。最初に、図２８のフローチャートを参照して、復号処理の流れの例を説明する。
【０３１１】
符号化処理が開始されると、ステップＳ３０１において、スケーラブル復号装置２００は、符号化データの複数のレイヤの内、最初のレイヤを処理対象とする。
【０３１２】
ステップＳ３０２において、スケーラブル復号装置２００は、符号化側から伝送されるビデオパラメータセット（VPS）を取得する。ステップＳ３０３において、スケーラブル復号装置２００は、取得したビデオパラメータセット（VPS）を参照し、その中に含まれるカレントレイヤについてのパラメータdiff_ref_layerの値に基づいて、処理対象であるカレントレイヤがベースレイヤであるか否かを判定する。
【０３１３】
カレントレイヤのdiff_ref_layerの値が０であり、ベースレイヤであると判定された場合、処理は、ステップＳ３０４に進む。
【０３１４】
ステップＳ３０４において、ベースレイヤ画像復号部２０１は、ベースレイヤ符号化データを復号するベースレイヤ復号処理を実行する。ステップＳ３０４の処理が終了すると、処理は、ステップＳ３０８に進む。
【０３１５】
また、ステップＳ３０３において、カレントレイヤのdiff_ref_layerの値が０でなく、エンハンスメントレイヤであると判定された場合、処理は、ステップＳ３０５に進む。
【０３１６】
ステップＳ３０５において、スケーラブル復号装置２００は、カレントレイヤに対応するベースレイヤを決定する。
【０３１７】
ステップＳ３０６において、スケーラブル復号装置２００は、ビデオパラメータセット（VPS）のパラメータに基づいて、ベースレイヤとエンハンスメントレイヤの間のブロック（TU）の対応関係を決定する。
【０３１８】
ステップＳ３０７において、エンハンスメントレイヤ画像復号部２０３は、エンハンスメントレイヤ符号化データを復号するエンハンスメントレイヤ復号処理を実行する。ステップＳ３０７の処理が終了すると、処理は、ステップＳ３０８に進む。
【０３１９】
ステップＳ３０８において、スケーラブル復号装置２００は、全てのレイヤを処理したか否かを判定する。未処理のレイヤが存在すると判定された場合、処理は、ステップＳ３０９に進む。
【０３２０】
ステップＳ３０９において、スケーラブル復号装置２００は、次の未処理のレイヤを新たな処理対象とする。
【０３２１】
新たな処理対象のレイヤが決定すると、処理は、ステップＳ３０２に戻る。すなわち、ステップＳ３０２乃至ステップＳ３０９の処理が繰り返し実行されることにより、各レイヤに対する復号処理が行われる。
【０３２２】
そして、ステップＳ３０８において、全てのレイヤが処理されたと判定された場合、復号処理が終了する。
【０３２３】
［ベースレイヤ復号処理の流れ］
次に、図２９のフローチャートを参照して、図２８のステップＳ３０４において実行されるベースレイヤ復号処理の流れの例を説明する。
【０３２４】
ベースレイヤ復号処理が開始されると、ステップＳ３２１において、ベースレイヤ画像復号部２０１の蓄積バッファ２１１は、符号化側から伝送されたベースレイヤのビットストリームを蓄積する。ステップＳ３２２において、可逆復号部２１２は、蓄積バッファ２１１から供給されるベースレイヤのビットストリーム（符号化された差分画像情報）を復号する。すなわち、可逆符号化部１１６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。このとき、ヘッダ情報などのビットストリームに含められた差分画像情報以外の各種情報も復号される。
【０３２５】
ステップＳ３２３において、逆直交変換スキップ制御部２４１は、可逆復号部２１２においてベースレイヤの符号化データから抽出された、スキップ許可情報（transform_skip_enable_flag）を取得する。ステップＳ３２４において、逆直交変換スキップ制御部２４１は、ステップＳ３２３において取得したスキップ許可情報（transform_skip_enable_flag）を、transform_skip_enable_flagバッファ２５１に供給し、記憶させる。
【０３２６】
ステップＳ３２５において、逆量子化部２１３は、ステップＳ３２２の処理により得られた、量子化された係数を逆量子化する。
【０３２７】
ステップＳ３２６において、逆直交変換スキップ制御部２４１は、ベースレイヤ逆直交変換スキップ制御処理を行う。ステップＳ３２７において逆直交変換部２１４は、ステップＳ３２６の制御に従って、カレントブロック（カレントTU）についての逆直交変換処理を行う。
【０３２８】
ステップＳ３２８において、イントラ予測部２２１若しくは動き予測・補償部２２２は、予測処理を行い、予測画像を生成する。つまり、可逆復号部２１２において判定された、符号化の際に適用された予測モードで予測処理が行われる。より具体的には、例えば、符号化の際にイントラ予測が適用された場合、イントラ予測部２２１が、符号化の際に最適とされたイントラ予測モードで予測画像を生成する。また、例えば、符号化の際にインター予測が適用された場合、動き予測・補償部２２２が、符号化の際に最適とされたインター予測モードで予測画像を生成する。
【０３２９】
ステップＳ３２９において、演算部２１５は、ステップＳ３２７の逆直交変換処理により差分画像情報に、ステップＳ３２８において生成された予測画像を加算する。これにより元の画像が復号される。
【０３３０】
ステップＳ３３０において、ループフィルタ２１６は、ステップＳ３２９において得られた復号画像に対して、ループフィルタ処理を適宜行う。
【０３３１】
ステップＳ３３１において、画面並べ替えバッファ２１７は、ステップＳ３３０においてフィルタ処理された画像の並べ替えを行う。すなわち画面並べ替えバッファ１１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０３３２】
ステップＳ３３２において、D/A変換部２１８は、ステップＳ３３１においてフレームの順序が並べ替えられた画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
【０３３３】
ステップＳ３３３において、フレームメモリ２１９は、ステップＳ３３０においてループフィルタ処理された画像を記憶する。
【０３３４】
ステップＳ３３３の処理が終了すると、ベースレイヤ復号処理が終了し、処理は図２８に戻される。
【０３３５】
［ベースレイヤ逆直交変換スキップ制御処理の流れ］
次に、図３０のフローチャートを参照して、図２９のステップＳ３２６において実行されるベースレイヤ逆直交変換スキップ制御処理の流れの例を説明する。
【０３３６】
ベースレイヤ逆直交変換スキップ制御処理が開始されると、ステップＳ３５１において、逆直交変換スキップ制御部２４１は、図２９のステップＳ３２３の処理において取得したスキップ許可情報（transform_skip_enable_flag）に基づいて、カレントピクチャにおける逆直交変換処理のスキップが許可されているか否かを判定する。
【０３３７】
逆直交変換処理のスキップが許可されていると判定された場合、処理は、ステップＳ３５２に進む。ステップＳ３５２において、逆直交変換スキップ制御部２４１は、カレントブロック（カレントTU）のスキップ識別情報（transform_skip_flag）を、ベースレイヤ画像復号部２０１の可逆復号部２１２から取得する。
【０３３８】
ステップＳ３５３において、逆直交変換スキップ制御部２４１は、ステップＳ３５２において取得されたスキップ識別情報（transform_skip_flag）を、transform_skip_flagバッファ２５２に供給し、記憶させる。
【０３３９】
ステップＳ３５４において、逆直交変換スキップ制御部２４１は、カレントブロック（カレントTU）において逆直交変換処理をスキップするか否かを決定する。逆直交変換スキップ制御部２４１は、その決定に応じた制御信号を、ベースレイヤ画像復号部２０１の逆直交変換部２１４に供給する。
【０３４０】
ステップＳ３５５において、逆直交変換スキップ制御部２４１は、カレントピクチャについて全てのブロック（TU）を処理したか否かを判定する。未処理のブロック（TU）が存在すると判定した場合、処理はステップＳ３５６に進む。ステップＳ３５６において、逆直交変換スキップ制御部２４１は、カレントブロック（カレントTU）を次の未処理のブロック（TU）に更新する。
【０３４１】
ステップＳ３５６の処理が終了すると、処理は、ステップＳ３５２に戻る。ステップＳ３５２乃至ステップＳ３５６の各処理が繰り返し実行され、各ブロック（TU）が処理される。ステップＳ３５５において全てのブロック（TU）が処理されたと判定された場合、ベースレイヤ直交変換スキップ制御処理が終了し、処理は、図２９に戻る。
【０３４２】
また、図３０のステップＳ３５１において、逆直交変換のスキップが許可されていないと判定された場合、処理は、ステップＳ３５７に進む。
【０３４３】
ステップＳ３５７において、逆直交変換スキップ制御部２４１は、カレントピクチャの全てのブロック（TU）の直交変換スキップを禁止する。逆直交変換スキップ制御部２４１は、その旨を示す制御信号を、ベースレイヤ画像復号部２０１の逆直交変換部２１４に供給する。
【０３４４】
ステップＳ３５７の処理が終了すると、ベースレイヤ逆直交変換スキップ制御処理が終了し、処理は、図２９に戻る。なお、このベースレイヤ逆直交変換スキップ制御処理は、任意の処理単位毎に行われる（例えば、ピクチャ毎に行われる）。ただし、ベースレイヤ逆直交変換スキップ制御処理内の各処理は、それぞれの処理単位毎に行われる。
【０３４５】
［逆直交変換処理の流れ］
次に、図２９のステップＳ３２７において実行される逆直交変換処理の流れの例を、図３１のフローチャートを参照して説明する。
【０３４６】
逆直交変換処理が開始されると、逆直交変換部２１４は、ステップＳ３７１において、逆直交変換スキップ制御部２４１の制御に従って、カレントブロックについて逆直交変換をスキップするか否かを判定する。逆直交変換をスキップすると判定された場合、逆直交変換処理が終了し、処理は、図２９に戻る。
【０３４７】
また、図３１のステップＳ３７１において、カレントブロックについて逆直交変換をスキップしないと判定された場合、処理は、ステップＳ３７２に進む。
【０３４８】
ステップＳ３７２において、逆直交変換部２１４は、カレントブロックの直交変換係数を逆直交変換する。ステップＳ３７２の処理が終了すると、逆直交変換処理が終了し、処理は図２９に戻る。
【０３４９】
なお、この逆直交変換処理は、任意の処理単位毎に行われる（例えば、TU毎に行われる）。ただし、逆直交変換処理内の各処理は、それぞれの処理単位毎に行われる。
【０３５０】
［エンハンスメントレイヤ符号化処理の流れ］
次に、図３２のフローチャートを参照して、図２８のステップＳ３０７において実行されるエンハンスメントレイヤ復号処理の流れの例を説明する。
【０３５１】
ステップＳ４０１およびステップＳ４０２の各処理は、ベースレイヤ復号処理（図２９）のステップＳ３２１およびステップＳ３２２の各処理と同様に実行される。ただし、ステップＳ４０１およびステップＳ４０２の各処理は、エンハンスメントレイヤ画像復号部２０３の各処理部により、エンハンスメントレイヤ符号化データに対して行われる。
【０３５２】
ステップＳ４０３において、エンハンスメントレイヤ画像復号部２０３のtransform_skip_enable_flag制御部２６１は、カレントレイヤであるベースレイヤのカレントピクチャについてのスキップ許可情報（transform_skip_enable_flag）を、ベースレイヤ直交変換スキップバッファ２０２のtransform_skip_enable_flagバッファ２５１から取得する。
【０３５３】
ステップＳ４０４の処理は、ベースレイヤ符号化処理（図２９）のステップＳ３２５の処理と同様に実行される。ただし、ステップＳ４０４の処理は、エンハンスメントレイヤ画像復号部２０３の各処理部により、エンハンスメントレイヤのデータに対して行われる。
【０３５４】
ステップＳ４０５において、逆直交変換スキップ部２３２は、エンハンスメントレイヤ逆直交変換スキップ制御処理を行う。
【０３５５】
ステップＳ４０６において、エンハンスメントレイヤ画像復号部２０３の逆直交変換部２１４は、ステップＳ４０５の処理結果に従って、ステップＳ４０４の処理により生成された差分情報に対する直交変換処理を行う。この処理は、エンハンスメントレイヤ画像復号部２０３の逆直交変換部２１４が、逆直交変換スキップ部２３２の制御に従って、エンハンスメントレイヤのデータに対して行うことと、逆直交変換処理の終了後、処理が図３２に戻ること以外、図３１のフローチャートを参照して上述した逆直交変換処理と同様に実行される。したがって、その説明は省略する。
【０３５６】
ステップＳ４０７乃至ステップＳ４１２の各処理は、ベースレイヤ復号処理（図２９）のステップＳ３２８乃至ステップＳ３３３の各処理と同様に実行される。ただし、ステップＳ４０７乃至ステップＳ４１２の各処理は、エンハンスメントレイヤ画像復号部２０３の各処理部により、エンハンスメントレイヤのデータに対して行われる。
【０３５７】
ステップＳ４１２の処理が終了すると、エンハンスメントレイヤ復号処理が終了され、処理は図２８に戻る。エンハンスメントレイヤ復号処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してエンハンスメントレイヤ復号処理が実行される。ただし、エンハンスメントレイヤ復号処理内の各処理は、それぞれの処理単位毎に行われる。
【０３５８】
［エンハンスメントレイヤ逆直交変換スキップ制御処理の流れ］
次に、図３２のステップＳ４０５において実行されるエンハンスメントレイヤ逆直交変換スキップ制御処理の流れの例を、図３３のフローチャートを参照して説明する。
【０３５９】
エンハンスメントレイヤ逆直交変換スキップ制御処理が開始されると、ステップＳ４３１において、transform_skip_enable_flag制御部２６１は、処理対象であるカレントピクチャについて、transform_skip_enable_flagバッファ２５１から取得したベースレイヤのスキップ許可情報（transform_skip_enable_flag）に基づいて、逆直交変換処理のスキップが許可されているか否かを判定する。
【０３６０】
逆直交変換処理のスキップが許可されていると判定された場合、処理は、ステップＳ４３２に進む。ステップＳ４３２において、transform_skip_flag制御部２６２は、カレントブロック（カレントTU）に対応するベースレイヤのブロック（TU）のスキップ識別情報（transform_skip_flag）を、transform_skip_flagバッファ２５２から取得する。
【０３６１】
ステップＳ４３３において、transform_skip_flag制御部２６２は、ステップＳ４３２において取得されたスキップ識別情報（transform_skip_flag）に従って、カレントブロック（カレントTU）において逆直交変換処理をスキップするか否かを決定する。transform_skip_flag制御部２６２は、その決定に応じた制御信号を、エンハンスメントレイヤ画像復号部２０３の逆直交変換部２１４に供給する。
【０３６２】
ステップＳ４３４において、transform_skip_flag制御部２６２は、カレントピクチャについて全てのブロック（TU）を処理したか否かを判定する。未処理のブロック（TU）が存在すると判定した場合、処理はステップＳ４３５に進む。ステップＳ４３５において、transform_skip_flag制御部２６２は、カレントブロック（カレントTU）を次の未処理のブロック（TU）に更新する。
【０３６３】
ステップＳ４３５の処理が終了すると、処理は、ステップＳ４３２に戻る。ステップＳ４３２乃至ステップＳ４３５の各処理が繰り返し実行され、各ブロック（TU）が処理される。ステップＳ４３４において全てのブロック（TU）が処理されたと判定された場合、エンハンスメントレイヤ逆直交変換スキップ制御処理が終了し、処理は、図３２に戻る。
【０３６４】
また、図３３のステップＳ４３１において、逆直交変換処理のスキップが許可されていないと判定された場合、処理は、ステップＳ４３６に進む。
【０３６５】
ステップＳ４３６において、transform_skip_enable_flag制御部２６１は、カレントピクチャの全てのブロック（TU）について逆直交変換処理のスキップを禁止する。transform_skip_enable_flag制御部２６１は、その旨を示す制御信号を、エンハンスメントレイヤ画像復号部２０３の逆直交変換部２１４に供給する。
【０３６６】
ステップＳ４３６の処理が終了すると、エンハンスメントレイヤ逆直交変換スキップ制御処理が終了し、処理は、図３２に戻る。なお、このエンハンスメントレイヤ逆直交変換スキップ制御処理は、任意の処理単位毎に行われる（例えば、ピクチャ毎に行われる）。ただし、エンハンスメントレイヤ逆直交変換スキップ制御処理内の各処理は、それぞれの処理単位毎に行われる。
【０３６７】
以上のように各処理を実行することにより、スケーラブル復号装置２００は、符号化効率の低減を抑制し、符号化・復号による画質の低減を抑制することができる。
【０３６８】
＜３．その他＞
以上においては、スケーラブル符号化により画像データが階層化されて複数レイヤ化されるように説明したが、そのレイヤ数は任意である。また、例えば、図３４の例に示されるように、一部のピクチャが階層化されるようにしてもよい。また、以上においては、符号化・復号において、エンハンスメントレイヤは、ベースレイヤを参照して処理されるように説明したが、これに限らず、エンハンスメントレイヤが、処理済の他のエンハンスメントレイヤを参照して処理されるようにしてもよい。
【０３６９】
また、以上に説明したレイヤには、多視点画像符号化・復号におけるビューも含まれる。つまり、本技術は、多視点画像符号化・多視点画像復号に適用することができる。図３５は、多視点画像符号化方式の一例を示す。
【０３７０】
図３５に示されるように、多視点画像は、複数の視点（ビュー）の画像を含み、その複数の視点のうちの所定の１つの視点の画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の画像は、ノンベースビューの画像として扱われる。
【０３７１】
図３５のような多視点画像を符号化・復号する場合、各ビューの画像を符号化・復号するが、この各ビューの符号化・復号に対して、上述した方法を適用するようにしてもよい。つまり、直交変換スキップに関する情報を、このような多視点符号化・復号における複数のビューにおいて共有するようにしてもよい。
【０３７２】
例えば、ベースビューについては、他のビューの直交変換スキップに関する情報を参照せずに符号化・復号を行うようにし、ノンベースビューについては、ベースビューの直交変換スキップに関する情報を参照して符号化・復号を行うようにする。そして、ベースビューについての直交変換スキップに関する情報のみを伝送するようにする。
【０３７３】
このようにすることにより、上述した階層符号化・復号の場合と同様に、多視点符号化・復号においても、符号化効率の低減を抑制することができる。
【０３７４】
以上のように、本技術の適用範囲は、直交変換スキップ（Transform Skip）を用いる符号化・復号方式に基づくあらゆる画像符号化装置及び画像復号装置に適用することができる。
【０３７５】
また、本技術は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本技術は、それらの画像符号化装置および画像復号装置などに含まれる直交変換装置若しくは逆直交変換装置にも適用することができる。
【０３７６】
＜４．第３の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０３７７】
図３６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０３７８】
図３６に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
【０３７９】
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
【０３８０】
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
【０３８１】
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０３８２】
コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０３８３】
コンピュータでは、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８１４で受信し、記憶部８１３にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくことができる。
【０３８４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３８５】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３８６】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０３８７】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０３８８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０３８９】
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３９０】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３９１】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３９２】
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０３９３】
＜５．応用例＞
［第１の応用例：テレビジョン受像機］
図３７は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０３９４】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
【０３９５】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０３９６】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０３９７】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０３９８】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
【０３９９】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０４００】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
【０４０１】
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０４０２】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０４０３】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０４０４】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係るスケーラブル復号装置２００の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、符号化効率の低減の抑制を実現し、符号化・復号による画質の低減の抑制を実現することができることができる。
【０４０５】
［第２の応用例：携帯電話機］
図３８は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０４０６】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０４０７】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０４０８】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０４０９】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０４１０】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０４１１】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
【０４１２】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０４１３】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係るスケーラブル符号化装置１００及びスケーラブル復号装置２００の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、符号化効率の低減を抑制し、符号化・復号による画質の低減を抑制することができる。
【０４１４】
［第３の応用例：記録再生装置］
図３９は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０４１５】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０４１６】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。
【０４１７】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送部としての役割を有する。
【０４１８】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０４１９】
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０４２０】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
【０４２１】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０４２２】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０４２３】
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
【０４２４】
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０４２５】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０４２６】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係るスケーラブル符号化装置１００の機能を有する。また、デコーダ９４７は、上述した実施形態に係るスケーラブル復号装置２００の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、符号化効率の低減を抑制し、符号化・復号による画質の低減を抑制することができる。
【０４２７】
［第４の応用例：撮像装置］
図４０は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０４２８】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０４２９】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
【０４３０】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０４３１】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０４３２】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０４３３】
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０４３４】
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送部としての役割を有する。
【０４３５】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
【０４３６】
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０４３７】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０４３８】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係るスケーラブル符号化装置１００及びスケーラブル復号装置２００の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、符号化効率の低減を抑制し、符号化・復号による画質の低減を抑制することができる。
【０４３９】
＜６．スケーラブル符号化の応用例＞
［第１のシステム］
次に、スケーラブル符号化（階層符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図４１に示される例のように、伝送するデータの選択のために利用される。
【０４４０】
図４１に示されるデータ伝送システム１０００において、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク１００３を介して、パーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置に配信する。
【０４４１】
その際、配信サーバ１００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ１００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ１００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。
【０４４２】
例えば、スケーラブル符号化データ記憶部１００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）１０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）１０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。
【０４４３】
配信サーバ１００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ１００２は、処理能力の高いパーソナルコンピュータ１００４やタブレットデバイス１００６に対しては、高品質なスケーラブル符号化データ（BL+EL）１０１１をスケーラブル符号化データ記憶部１００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ１００２は、処理能力の低いAV機器１００５や携帯電話機１００７に対しては、スケーラブル符号化データ（BL+EL）１０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）１０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）１０１１よりも低品質なスケーラブル符号化データ（BL）１０１２として伝送する。
【０４４４】
このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）１０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部１００１の記憶領域をより効率よく使用することができる。
【０４４５】
なお、パーソナルコンピュータ１００４乃至携帯電話機１００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク１００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。
【０４４６】
そこで、配信サーバ１００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク１００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ１００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。
【０４４７】
なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１から、ベースレイヤのスケーラブル符号化データ（BL）１０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。
【０４４８】
もちろん、スケーラブル符号化データ記憶部１００１、配信サーバ１００２、ネットワーク１００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ１００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム１０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。
【０４４９】
［第２のシステム］
また、スケーラブル符号化は、例えば、図４２に示される例のように、複数の通信媒体を介する伝送のために利用される。
【０４５０】
図４２に示されるデータ伝送システム１１００において、放送局１１０１は、地上波放送１１１１により、ベースレイヤのスケーラブル符号化データ（BL）１１２１を伝送する。また、放送局１１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク１１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する（例えばパケット化して伝送する）。
【０４５１】
端末装置１１０２は、放送局１１０１が放送する地上波放送１１１１の受信機能を有し、この地上波放送１１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）１１２１を受け取る。また、端末装置１１０２は、ネットワーク１１１２を介した通信を行う通信機能をさらに有し、このネットワーク１１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を受け取る。
【０４５２】
端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
【０４５３】
また、端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１と、ネットワーク１１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
【０４５４】
以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。
【０４５５】
また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）１１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する通信媒体を、ネットワーク１１１２とするか、地上波放送１１１１とするかを、ネットワーク１１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。
【０４５６】
このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。
【０４５７】
もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置１１０２の数も任意である。さらに、以上においては、放送局１１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム１１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。
【０４５８】
［第３のシステム］
また、スケーラブル符号化は、例えば、図４３に示される例のように、符号化データの記憶に利用される。
【０４５９】
図４３に示される撮像システム１２００において、撮像装置１２０１は、被写体１２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）１２２１として、スケーラブル符号化データ記憶装置１２０２に供給する。
【０４６０】
スケーラブル符号化データ記憶装置１２０２は、撮像装置１２０１から供給されるスケーラブル符号化データ（BL+EL）１２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置１２０２は、スケーラブル符号化データ（BL+EL）１２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置１２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）１２２１のまま記憶する。
【０４６１】
このようにすることにより、スケーラブル符号化データ記憶装置１２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。
【０４６２】
例えば、撮像装置１２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体１２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。
【０４６３】
なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置１２０２が、画像を解析することにより判定しても良い。また、撮像装置１２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置１２０２に伝送するようにしてもよい。
【０４６４】
なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。
【０４６５】
また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。
【０４６６】
また、撮像装置１２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置１２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置１２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）１２２１を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。
【０４６７】
以上においては、監視カメラを例に説明したが、この撮像システム１２００の用途は任意であり、監視カメラに限定されない。
【０４６８】
なお、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えばMPEG DASH等のようなHTTPストリーミングにも適用することができる。つまり、このような複数の符号化データ間で、直交変換スキップに関する情報を共有することもできる。
【０４６９】
また、本明細書では、スキップ許可情報やスキップ識別情報などの各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０４７０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０４７１】
なお、本技術は以下のような構成も取ることができる。
（１）  複数のレイヤを有する画像が符号化された符号化データと、前記複数のレイヤで共有する、直交変換処理のスキップに関する情報とを受け取る受け取り部と、
前記複数のレイヤのそれぞれについて、前記受け取り部により受け取られた前記直交変換処理のスキップに関する情報を用いて、前記受け取り部により受け取られた前記符号化データを復号する復号部と
を備える画像処理装置。
（２）  前記直交変換処理のスキップに関する情報は、ピクチャ内において直交変換処理のスキップを許可するかを指定するスキップ許可情報を含む
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（３）  前記直交変換処理のスキップに関する情報は、直交変換処理をスキップするかを指定するスキップ識別情報を含む
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（４）  前記復号部は、カレントブロックの復号において、前記カレントブロックと異なるレイヤの、前記カレントブロックに対応するブロックの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックの逆直交変換処理を行うかを制御する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（５）  前記復号部は、カレントレイヤの複数のブロックに対してリファレンスレイヤの１のブロックが対応する場合、前記カレントレイヤの複数のブロックの全ての復号において、前記リファレンスレイヤの１のブロックの前記直交変換処理のスキップに関する情報を用いて、逆直交変換処理を行うかを制御する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（６）  前記復号部は、カレントブロックに対してリファレンスレイヤの複数のブロックが対応する場合、前記リファレンスレイヤの複数のブロックのそれぞれの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックに対する前記直交変換処理のスキップに関する情報を求め、求めた前記直交変換処理のスキップに関する情報を用いて、逆直交変換処理を行うかを制御する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（７）  前記復号部は、カレントレイヤが参照するレイヤを判定し、前記カレントレイヤが他のレイヤを参照する場合、カレントブロックの復号において、前記他のレイヤの、前記カレントブロックに対応するブロックの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックの逆直交変換処理を行うかを制御する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（８）  前記受け取り部は、カレントレイヤが参照するレイヤを示す情報をさらに受け取り、
前記復号部は、前記受け取り部により受け取られた前記カレントレイヤが参照するレイヤを示す情報に基づいて、前記カレントレイヤが参照するレイヤを判定する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（９）  前記符号化データは、空間解像度が階層化されたスペーシャルスケーラビリティ、フレームレートが階層化されたテンポラルスケーラビリティ、信号雑音比が階層化されたSNRスケーラビリティ、ビット深度が階層化されたビット深度スケーラビリティ、映像信号のコンポーネントのフォーマットが階層化されたクロマスケーラビリティ、若しくは、視点が階層化されたビュースケーラビリティにスケーラブル符号化されたスケーラブル符号化データである
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１０）  画像処理装置の画像処理方法において、
前記画像処理装置が、
複数のレイヤを有する画像が符号化された符号化データと、前記複数のレイヤで共有する、直交変換処理のスキップに関する情報とを受け取り、
前記複数のレイヤのそれぞれについて、受け取られた前記直交変換処理のスキップに関する情報を用いて、受け取られた前記符号化データを復号する
画像処理方法。
（１１）  複数のレイヤを有する画像を、前記複数のレイヤで共有する、直交変換処理のスキップに関する情報を用いて符号化する符号化部と、
前記符号化部により符号化されて得られた符号化データと、前記直交変換処理のスキップに関する情報とを伝送する伝送部と
を備える画像処理装置。
（１２）  前記直交変換処理のスキップに関する情報は、ピクチャ内において直交変換処理のスキップを許可するかを指定するスキップ許可情報を含む
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１３）  前記直交変換処理のスキップに関する情報は、直交変換処理をスキップするかを指定するスキップ識別情報を含む
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１４）  前記符号化部は、カレントブロックの符号化において、前記カレントブロックと異なるレイヤの、前記カレントブロックに対応するブロックの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックの直交変換処理を行うかを制御する
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１５）  前記符号化部は、カレントレイヤの複数のブロックに対してリファレンスレイヤの１のブロックが対応する場合、前記カレントレイヤの複数のブロックの全ての符号化において、前記リファレンスレイヤの１のブロックの前記直交変換処理のスキップに関する情報を用いて、直交変換処理を行うかを制御する
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１６）  前記符号化部は、カレントブロックに対してリファレンスレイヤの複数のブロックが対応する場合、前記リファレンスレイヤの複数のブロックのそれぞれの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックに対する前記直交変換処理のスキップに関する情報を求め、求めた前記直交変換処理のスキップに関する情報を用いて、直交変換処理を行うかを制御する
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１７）  前記符号化部は、カレントレイヤが参照するレイヤを判定し、前記カレントレイヤが他のレイヤを参照する場合、カレントブロックの符号化において、前記他のレイヤの、前記カレントブロックに対応するブロックの前記直交変換処理のスキップに関する情報を用いて、前記カレントブロックの直交変換処理を行うかを制御する
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１８）  前記伝送部は、前記符号化部が判定した前記カレントレイヤが参照する前記他のレイヤを示す情報をさらに伝送する
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１９）  前記符号化部は、前記画像を、空間解像度が階層化されたスペーシャルスケーラビリティ、フレームレートが階層化されたテンポラルスケーラビリティ、信号雑音比が階層化されたSNRスケーラビリティ、ビット深度が階層化されたビット深度スケーラビリティ、映像信号のコンポーネントのフォーマットが階層化されたクロマスケーラビリティ、若しくは、視点が階層化されたビュースケーラビリティにスケーラブル符号化する
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（２０）  画像処理装置の画像処理方法において、
前記画像処理装置が、
複数のレイヤを有する画像を、前記複数のレイヤで共有する、直交変換処理のスキップに関する情報を用いて符号化し、
符号化されて得られた符号化データと、前記直交変換処理のスキップに関する情報とを伝送する
画像処理方法。
【符号の説明】
【０４７２】
１００  スケーラブル符号化装置，  １０１  ベースレイヤ画像符号化部，  １０２  ベースレイヤ直交変換スキップバッファ，  １０３  エンハンスメントレイヤ画像符号化部，  １１４  直交変換部，  １１６  可逆符号化部，  １３１  直交変換スキップ部，  １３２  直交変換スキップ部，  １４１  スキップ符号化部，  １４２  スキップ決定部，  １５１  transform_skip_enable_flagバッファ，  １５２  transform_skip_flagバッファ，  １６１  transform_skip_enable_flag制御部，  １６２  transform_skip_flag制御部，  ２００  スケーラブル復号装置，  ２０１  ベースレイヤ画像復号部，  ２０２  ベースレイヤ直交変換スキップバッファ，  ２０３  エンハンスメントレイヤ画像復号部，  ２１２  可逆復号部，  ２１４  逆直交変換部，  ２３１  逆直交変換スキップ部，  ２３２  逆直交変換スキップ部，  ２４１  逆直交変換スキップ制御部，  ２５１  transform_skip_enable_flagバッファ，  ２５２  transform_skip_flagバッファ，  ２６１  transform_skip_enable_flag制御部，  ２６２  transform_skip_flag制御部
【図１】
2014050731.tif 000003
【図２】
2014050731.tif 000004
【図３】
2014050731.tif 000005
【図４】
2014050731.tif 000006
【図５】
2014050731.tif 000007
【図６】
2014050731.tif 000008
【図７】
2014050731.tif 000009
【図８】
2014050731.tif 000010
【図９】
2014050731.tif 000011
【図１０】
2014050731.tif 000012
【図１１】
2014050731.tif 000013
【図１２】
2014050731.tif 000014
【図１３】
2014050731.tif 000015
【図１４】
2014050731.tif 000016
【図１５】
2014050731.tif 000017
【図１６】
2014050731.tif 000018
【図１７】
2014050731.tif 000019
【図１８】
2014050731.tif 000020
【図１９】
2014050731.tif 000021
【図２０】
2014050731.tif 000022
【図２１】
2014050731.tif 000023
【図２２】
2014050731.tif 000024
【図２３】
2014050731.tif 000025
【図２４】
2014050731.tif 000026
【図２５】
2014050731.tif 000027
【図２６】
2014050731.tif 000028
【図２７】
2014050731.tif 000029
【図２８】
2014050731.tif 000030
【図２９】
2014050731.tif 000031
【図３０】
2014050731.tif 000032
【図３１】
2014050731.tif 000033
【図３２】
2014050731.tif 000034
【図３３】
2014050731.tif 000035
【図３４】
2014050731.tif 000036
【図３５】
2014050731.tif 000037
【図３６】
2014050731.tif 000038
【図３７】
2014050731.tif 000039
【図３８】
2014050731.tif 000040
【図３９】
2014050731.tif 000041
【図４０】
2014050731.tif 000042
【図４１】
2014050731.tif 000043
【図４２】
2014050731.tif 000044
【図４３】
2014050731.tif 000045
【国際調査報告】
2014050731.tif 000046
2014050731.tif 000047
2014050731.tif 000048
2014050731.tif 000049