(57)【要約】符号化効率を向上させることができるようにする画像処理装置および方法に関する。本技術の画像処理装置は、符号化する画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報を生成する生成部と、前記生成部により生成された前記スケーリングリストに関する情報を符号化する符号化部と、前記符号化部により生成された前記スケーリングリストに関する情報の符号化データを伝送する伝送部とを備える。本技術は画像処理装置に適用することができる。
2013154028.tif 000002
【特許請求の範囲】
【請求項１】
符号化する画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報を生成する生成部と、
前記生成部により生成された前記スケーリングリストに関する情報を符号化する符号化部と、
前記符号化部により生成された前記スケーリングリストに関する情報の符号化データを伝送する伝送部と
を備える画像処理装置。
【請求項２】
前記識別情報は、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられる
請求項１に記載の画像処理装置。
【請求項３】
前記識別情報は、予め用意された複数のスケーリングリストの中の、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられる
請求項２に記載の画像処理装置。
【請求項４】
前記識別情報は、数値によって対象を識別する識別番号よりなり、前記画像データの量子化に用いられるスケーリングリストに対して小さい識別番号が割り当てられる
請求項３に記載の画像処理装置。
【請求項５】
前記識別情報は、前記画像データの色フォーマットがモノクロームの場合、輝度成分に対するスケーリングリストに対してのみ割り当てられる
請求項１に記載の画像処理装置。
【請求項６】
通常モードの場合、
前記生成部は、前記識別情報が割り当てられた前記スケーリングリストとその予測値との差分データを生成し、
前記符号化部は、前記生成部により生成された前記差分データを符号化し、
前記伝送部は、前記符号化部により生成された前記差分データの符号化データを伝送する
請求項１に記載の画像処理装置。
【請求項７】
コピーモードの場合、
前記生成部は、参照先であるリファレンススケーリングリストを示す情報を生成し、
前記符号化部は、前記生成部により生成された前記リファレンススケーリングリストを示す情報を符号化し、
前記伝送部は、前記符号化部により生成された前記リファレンススケーリングリストを示す情報の符号化データを伝送する
請求項１に記載の画像処理装置。
【請求項８】
前記生成部は、前記リファレンススケーリングリストの候補が複数存在する場合のみ、前記リファレンススケーリングリストを示す情報を生成する
請求項７に記載の画像処理装置。
【請求項９】
前記画像データを符号化する画像データ符号化部と、
前記画像データ符号化部により生成された前記画像データの符号化データを伝送する符号化データ伝送部と
をさらに備える請求項１に記載の画像処理装置。
【請求項１０】
符号化する画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報を生成し、
生成された前記スケーリングリストに関する情報を符号化し、
生成された前記スケーリングリストに関する情報の符号化データを伝送する
画像処理方法。
【請求項１１】
符号化された画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報の符号化データを取得する取得部と、
前記取得部により取得された前記スケーリングリストに関する情報の符号化データを復号する復号部と、
前記復号部により生成された前記スケーリングリストに関する情報に基づいて、処理対象であるカレントスケーリングリストを生成する生成部と
を備える画像処理装置。
【請求項１２】
前記識別情報は、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられる
請求項１１に記載の画像処理装置。
【請求項１３】
前記識別情報は、予め用意された複数のスケーリングリストの中の、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられる
請求項１２に記載の画像処理装置。
【請求項１４】
前記識別情報は、数値によって対象を識別する識別番号よりなり、前記画像データの量子化に用いられるスケーリングリストに対して小さい識別番号が割り当てられる
請求項１３に記載の画像処理装置。
【請求項１５】
前記識別情報は、前記画像データの色フォーマットがモノクロームの場合、輝度成分に対するスケーリングリストに対してのみ割り当てられる
請求項１１に記載の画像処理装置。
【請求項１６】
通常モードの場合、
前記取得部は、前記識別情報が割り当てられた前記スケーリングリストとその予測値との差分データの符号化データを取得し、
前記復号部は、前記取得部により取得された前記差分データの符号化データを復号し、
前記生成部は、前記復号部により生成された前記差分データに基づいて前記カレントスケーリングリストを生成する
請求項１１に記載の画像処理装置。
【請求項１７】
コピーモードの場合、
前記取得部は、参照先であるリファレンススケーリングリストを示す情報の符号化データを取得し、
前記復号部は、前記取得部により取得された前記リファレンススケーリングリストを示す情報の符号化データを復号し、
前記生成部は、前記復号部により生成された前記リファレンススケーリングリストを示す情報を用いて、前記カレントスケーリングリストを生成する
請求項１１に記載の画像処理装置。
【請求項１８】
前記生成部は、前記リファレンススケーリングリストを示す情報が伝送されない場合、前記リファレンススケーリングリストの識別情報に「０」をセットする
請求項１７に記載の画像処理装置。
【請求項１９】
前記画像データの符号化データを取得する符号化データ取得部と、
前記符号化データ取得部により取得された前記画像データの符号化データを復号する画像データ復号部と
をさらに備える請求項１１に記載の画像処理装置。
【請求項２０】
符号化された画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報の符号化データを取得し、
取得された前記スケーリングリストに関する情報の符号化データを復号し、
生成された前記スケーリングリストに関する情報に基づいて、処理対象であるカレントスケーリングリストを生成する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及した。【０００３】
近年、H.264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）より更なる符号化効率の向上を目的として、ITU-T（International Telecommunication Union Telecommunication Standardization Sector）と、ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission）の共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている。HEVC規格については、2012年2月に最初のドラフト版仕様であるCommittee draftが発行されている（例えば、非特許文献１参照）。【０００４】
これらの符号化方式においては、符号化の際の量子化に用いられる量子化行列（スケーリングリスト（Scaling List））に関する情報を、復号側に伝送することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand," High efficiency video coding (HEVC) text specification draft 6 ", JCTVC-H1003 ver20, 2012.2.17
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、これらの符号化方式では、スケーリングリストに関する情報の伝送において、画像の色フォーマットを考慮していなかった。そのため、例えば、輝度成分のみの（色成分が存在しない）モノクローム画像（白黒画像）を符号化する場合であっても、不要な、色成分に対するスケーリングリストに関する情報が伝送されていた。このような不要な情報の伝送により、符号化効率が低減してしまう恐れがあった。【０００７】
本技術は、このような状況に鑑みて提案されたものであり、符号化効率を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
本技術の一側面は、符号化する画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報を生成する生成部と、前記生成部により生成された前記スケーリングリストに関する情報を符号化する符号化部と、前記符号化部により生成された前記スケーリングリストに関する情報の符号化データを伝送する伝送部とを備える画像処理装置である。【０００９】
前記識別情報は、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられるようにすることができる。【００１０】
前記識別情報は、予め用意された複数のスケーリングリストの中の、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられるようにすることができる。【００１１】
前記識別情報は、数値によって対象を識別する識別番号よりなり、前記画像データの量子化に用いられるスケーリングリストに対して小さい識別番号が割り当てられるようにすることができる。【００１２】
前記識別情報は、前記画像データの色フォーマットがモノクロームの場合、輝度成分に対するスケーリングリストに対してのみ割り当てられるようにすることができる。【００１３】
通常モードの場合、前記生成部は、前記識別情報が割り当てられた前記スケーリングリストとその予測値との差分データを生成し、前記符号化部は、前記生成部により生成された前記差分データを符号化し、前記伝送部は、前記符号化部により生成された前記差分データの符号化データを伝送することができる。【００１４】
コピーモードの場合、前記生成部は、参照先であるリファレンススケーリングリストを示す情報を生成し、前記符号化部は、前記生成部により生成された前記リファレンススケーリングリストを示す情報を符号化し、前記伝送部は、前記符号化部により生成された前記リファレンススケーリングリストを示す情報の符号化データを伝送することができる。【００１５】
前記生成部は、前記リファレンススケーリングリストの候補が複数存在する場合のみ、前記リファレンススケーリングリストを示す情報を生成することができる。【００１６】
前記画像データを符号化する画像データ符号化部と、前記画像データ符号化部により生成された前記画像データの符号化データを伝送する符号化データ伝送部とをさらに備えることができる。【００１７】
本技術の一側面は、また、符号化する画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報を生成し、生成された前記スケーリングリストに関する情報を符号化し、生成された前記スケーリングリストに関する情報の符号化データを伝送する画像処理方法である。【００１８】
本技術の他の側面は、符号化された画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報の符号化データを取得する取得部と、前記取得部により取得された前記スケーリングリストに関する情報の符号化データを復号する復号部と、前記復号部により生成された前記スケーリングリストに関する情報に基づいて、処理対象であるカレントスケーリングリストを生成する生成部とを備える画像処理装置である。【００１９】
前記識別情報は、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられるようにすることができる。【００２０】
前記識別情報は、予め用意された複数のスケーリングリストの中の、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられるようにすることができる。【００２１】
前記識別情報は、数値によって対象を識別する識別番号よりなり、前記画像データの量子化に用いられるスケーリングリストに対して小さい識別番号が割り当てられるようにすることができる。【００２２】
前記識別情報は、前記画像データの色フォーマットがモノクロームの場合、輝度成分に対するスケーリングリストに対してのみ割り当てられるようにすることができる。【００２３】
通常モードの場合、前記取得部は、前記識別情報が割り当てられた前記スケーリングリストとその予測値との差分データの符号化データを取得し、前記復号部は、前記取得部により取得された前記差分データの符号化データを復号し、前記生成部は、前記復号部により生成された前記差分データに基づいて前記カレントスケーリングリストを生成することができる。【００２４】
コピーモードの場合、前記取得部は、参照先であるリファレンススケーリングリストを示す情報の符号化データを取得し、前記復号部は、前記取得部により取得された前記リファレンススケーリングリストを示す情報の符号化データを復号し、前記生成部は、前記復号部により生成された前記リファレンススケーリングリストを示す情報を用いて、前記カレントスケーリングリストを生成することができる。【００２５】
前記生成部は、前記リファレンススケーリングリストを示す情報が伝送されない場合、前記リファレンススケーリングリストの識別情報に「０」をセットすることができる。【００２６】
前記画像データの符号化データを取得する符号化データ取得部と、前記符号化データ取得部により取得された前記画像データの符号化データを復号する画像データ復号部とをさらに備えることができる。【００２７】
本技術の他の側面は、また、符号化された画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報の符号化データを取得し、取得された前記スケーリングリストに関する情報の符号化データを復号し、生成された前記スケーリングリストに関する情報に基づいて、処理対象であるカレントスケーリングリストを生成する画像処理方法である。【００２８】
本技術の一側面においては、符号化する画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられたスケーリングリストに関する情報が生成され、生成されたスケーリングリストに関する情報が符号化され、生成されたスケーリングリストに関する情報の符号化データが伝送される。【００２９】
本技術の他の側面においては、符号化された画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられたスケーリングリストに関する情報の符号化データが取得され、取得されたスケーリングリストに関する情報の符号化データが復号され、生成されたスケーリングリストに関する情報に基づいて、処理対象であるカレントスケーリングリストが生成される。
【発明の効果】
【００３０】
本技術によれば、画像を処理することが出来る。特に、符号化効率を向上させることができる。
【図面の簡単な説明】
【００３１】
【図１】スケーリングリストのシンタクスの例を説明する図である。
【図２】色フォーマットの例を説明する図である。
【図３】スケーリングリストのシンタクスの他の例を説明する図である。
【図４】MatrixIDの割り当ての例を説明する図である。
【図５】MatrixIDの割り当ての例を説明する図である。
【図６】スケーリングリストのシンタクスの例を説明する図である。
【図７】画像符号化装置の主な構成例を示すブロック図である。
【図８】直交変換・量子化部の主な構成例を示すブロック図である。
【図９】行列処理部の主な構成例を示すブロック図である。
【図１０】符号化処理の流れの例を説明するフローチャートである。
【図１１】直交変換量子化処理の流れの例を説明するフローチャートである。
【図１２】スケーリングリスト符号化処理の流れの例を説明するフローチャートである。
【図１３】スケーリングリスト符号化処理の流れの例を説明する、図１２に続くフローチャートである。
【図１４】画像復号装置の主な構成例を示すブロック図である。
【図１５】逆量子化・逆直交変換部の主な構成例を示すブロック図である。
【図１６】行列生成部の主な構成例を示すブロック図である。
【図１７】復号処理の流れの例を説明するフローチャートである。
【図１８】逆量子化・逆直交変換処理の流れの例を説明するフローチャートである。
【図１９】スケーリングリスト復号処理の流れの例を説明するフローチャートである。
【図２０】スケーリングリスト復号処理の流れの例を説明する、図１９に続くフローチャートである。
【図２１】スケーリングリストのシンタクスの例を説明する図である。
【図２２】スケーリングリスト符号化処理の流れの例を説明するフローチャートである。
【図２３】スケーリングリスト符号化処理の流れの例を説明する、図２２に続くフローチャートである。
【図２４】スケーリングリスト復号処理の流れの例を説明するフローチャートである。
【図２５】スケーリングリスト復号処理の流れの例を説明する、図２４に続くフローチャートである。
【図２６】スケーリングリストのシンタクスの例を説明する図である。
【図２７】スケーリングリスト符号化処理の流れの例を説明するフローチャートである。
【図２８】スケーリングリスト符号化処理の流れの例を説明する、図２７に続くフローチャートである。
【図２９】スケーリングリスト復号処理の流れの例を説明するフローチャートである。
【図３０】スケーリングリスト復号処理の流れの例を説明する、図２９に続くフローチャートである。
【図３１】多視点画像符号化方式の例を示す図である。
【図３２】本技術を適用した多視点画像符号化装置の主な構成例を示す図である。
【図３３】本技術を適用した多視点画像復号装置の主な構成例を示す図である。
【図３４】階層画像符号化方式の例を示す図である。
【図３５】本技術を適用した階層画像符号化装置の主な構成例を示す図である。
【図３６】本技術を適用した階層画像復号装置の主な構成例を示す図である。
【図３７】コンピュータの主な構成例を示すブロック図である。
【図３８】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図３９】携帯電話機の概略的な構成の一例を示すブロック図である。
【図４０】記録再生装置の概略的な構成の一例を示すブロック図である。
【図４１】撮像装置の概略的な構成の一例を示すブロック図である。
【図４２】スケーラブル符号化利用の一例を示すブロック図である。
【図４３】スケーラブル符号化利用の他の例を示すブロック図である。
【図４４】スケーラブル符号化利用のさらに他の例を示すブロック図である。
【発明を実施するための形態】
【００３２】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（他のシンタクス）
４．第４の実施の形態（さらに他のシンタクス）
５. 第５の実施の形態（多視点画像符号化装置、多視点画像復号装置）
６. 第６の実施の形態（階層画像符号化装置、階層画像復号装置）
７．第７の実施の形態（コンピュータ）
８．応用例
９. スケーラブル符号化の応用例
【００３３】
＜１．第１の実施の形態＞
＜１−１色フォーマットとマトリクスID＞
H.264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）やHEVC（High Efficiency Video Coding）等の符号化方式においては、符号化の際の量子化に用いられる量子化行列（スケーリングリスト（Scaling List））に関する情報を、復号側に伝送することができる。復号側では、符号化側から伝送されたスケーリングリストに関する情報を用いて逆量子化を行うことができる。
【００３４】
図１は、AVCにおけるスケーリングリストのシンタクスの例を説明する図である。AVCの場合、伝送されるスケーリングリストに関する情報に対する処理において、図１に示されるシンタクスの上から３行目のように、符号化対象の画像データの色フォーマットを示す識別情報であるchroma_format_idcが参照される。
【００３５】
ただし、chroma_format_idcが「３」以外の場合、全て同様に処理が行われる。chroma_format_idcは、図２に示される表のように割り当てられている。つまり、chroma_format_idcが「０」（すなわち、色フォーマットがモノクローム）の場合も、そうでない場合と同様に、色成分（色差成分）に対するスケーリングリストについての処理が行われる。したがって、その分、符号化処理や復号処理が増大する恐れがあった。また、色フォーマットがモノクロームの場合も、そうでない場合と同様に、色成分（色差成分）に対するスケーリングリストに関する情報が伝送されることになるので、符号化効率が低減する恐れがあった。
【００３６】
また、図３は、HEVCにおけるスケーリングリストのシンタクスの他の例を説明する図である。HEVCの場合、伝送されるスケーリングリストに関する情報に対する処理において、図３に示されるシンタクスの上から５行目のように、マトリクスID（MatrixID）に応じて、実行する処理が制御される。
【００３７】
マトリクスID（MatrixID）は、スケーリングリストの種類を示す識別情報である。例えば、マトリクスIDは、数値によって識別する識別番号を含む。図４に、そのマトリクスID（MatrixID）の割り当ての例を示す。図４の例の場合、マトリクスIDは、サイズID（SizeID）、プレディクションタイプ（Prediction Type）、および色コンポーネントの種類（Colour component）の組み合わせ毎に割り当てられている。
【００３８】
サイズIDは、スケーリングリストのサイズを示す。プレディクションタイプは、ブロックの予測方法（例えば、イントラ予測かインター予測か）を示す。
【００３９】
HEVCの場合も、AVCの場合と同様に、符号化対象の画像データの色フォーマット（chroma_format_idc）が、図２に示される表のように割り当てられている。
【００４０】
しかしながら、図３のシンタクスの上から５行目に示されるように、この処理条件の判定においては、色フォーマット（chroma_format_idc）は、考慮（参照）されていない。つまり、chroma_format_idcが「０」（色フォーマットがモノクローム）の場合も、そうでない場合と同様に、色成分（色差成分）に対するスケーリングリストについての処理が行われる。したがって、その分、符号化処理や復号処理が増大する恐れがあった。
【００４１】
また、色フォーマットがモノクロームの場合も、そうでない場合と同様に、色成分（色差成分）に対するスケーリングリストに関する情報が伝送されることになるので、符号化効率が低減する恐れがあった。
【００４２】
そこで、スケーリングリストに関する情報の伝送において、量子化や逆量子化に用いられない不要な情報を伝送しないように制御する。例えば、符号化・復号対象の画像データ（または、伝送する画像データ）のフォーマットに応じて、スケーリングリストに関する情報の伝送、および、その伝送に関する処理の実行を制御する。換言するに、予め用意された複数のスケーリングリストの中の、量子化や逆量子化に用いられるスケーリングリストに関する情報のみを伝送するように制御する。
【００４３】
このようにすることにより、スケーリングリストに関する情報の伝送による符号量の増大を抑制し、符号化効率を向上させることができる。また、不要な情報の伝送に関する処理の実行を抑制することにより、符号化処理や復号処理の負荷を低減させることができる。
【００４４】
例えば、色成分についてのスケーリングリストに関する情報が不要な場合は、それを伝送しないようにする。換言するに、色成分についてのスケーリングリストに関する情報は、必要な場合のみ伝送されるようにする。
【００４５】
色成分についてのスケーリングリストに関する情報が不要であるか否かは、例えば、色フォーマットに応じて決定されるようにしてもよい。例えば、符号化される画像データの色フォーマットがモノクロームの場合、色成分についてのスケーリングリストに関する情報が伝送されないようにしてもよい。換言するに、符号化される画像データの色フォーマットがモノクロームでない場合、色成分についてのスケーリングリストに関する情報が伝送されるようにしてもよい。
【００４６】
このようにすることにより、色成分についてのスケーリングリストに関する情報の不要な伝送を抑制し、符号化効率を向上させることができる。また、色成分についてのスケーリングリストに関する情報の不要な伝送による、符号化処理や復号処理の負荷の増大を抑制することができる。
【００４７】
例えば、色成分についてのスケーリングリストに関する情報が不要であるか否かが、色フォーマットの識別情報（chroma_format_idc）の値に基づいて決定されるようにしてもよい。例えば、図２の表のように割り当てられたchroma_format_idcを参照し、その値が「０」である場合、色成分についてのスケーリングリストに関する情報が伝送されないようにしてもよい。換言するに、chroma_format_idcの値が「０」でない場合、色成分についてのスケーリングリストに関する情報が伝送されるようにしてもよい。このようにすることにより、色成分についてのスケーリングリストに関する情報の伝送が必要であるか否かを容易に判定することができる。
【００４８】
また、例えば、サイズID（SizeID）が大きい場合（例えば「３」の場合）、色成分についてのスケーリングリストに関する情報が伝送されないようにしてもよい。換言するに、サイズID（SizeID）が大きくない場合（例えば「２」以下の場合）、色成分についてのスケーリングリストに関する情報が伝送されるようにしてもよい。このようにすることにより、色成分についてのスケーリングリストに関する情報の不要な伝送を抑制し、符号化効率を向上させることができる。
【００４９】
スケーリングリストに関する情報の伝送の制御や、その伝送に関する処理の実行の制御は、スケーリングリストに対する識別情報であるマトリクスID（MatrixID）の割り当てを制御することにより行うようにしてもよい。
【００５０】
例えば、HEVCの場合、マトリクスIDは、図４に示されるように割り当てられている。しかしながら、色成分に対するスケーリングリストの伝送が不要な場合、その色成分についてのスケーリングリストに対するマトリクスIDの割り当ても不要である。そこで、このような場合、色成分についてのスケーリングリスト（図５のＡの斜線部分）に対するマトリクスIDの割り当てを省略し、輝度成分についてのスケーリングリストに対してのみマトリクスIDを割り当てるようにしてもよい。
【００５１】
その場合のマトリクスIDの割り当ては、図５のＢに示されるような表のようになる。このようにマトリクスIDの割り当てを制御し、マトリクスIDを用いて処理実行を制御するようにする。このようにすることにより、マトリクスIDが割り当てられていないスケーリングリストの伝送、およびその伝送に関する処理を、容易に省略することができる。
【００５２】
なお、上述したように、マトリクスIDは、識別番号を含むことができる。例えば、各スケーリングリストに対して、若い値から連番で互いに異なる識別番号が割り当てられる。その場合、マトリクスIDの割り当てを制御し、伝送しないスケーリングリストに対する割り当てを省略することにより、各スケーリングリストに割り当てるマトリクスIDの値をより小さくすることができる。これにより符号量を低減させることができる。特に、マトリクスIDを指数ゴロム符号化する場合、マトリクスIDの値を小さくすることにより、その符号量をより低減させることができる。
【００５３】
ところで、HEVCの場合、スケーリングリストに関する情報の伝送には、通常モードとコピーモード（copy mode）が存在する。通常モードの場合、スケーリングリストに関する情報として、量子化に用いられたスケーリングリストとその予測値との差分値が符号化されて伝送される。例えば、差分値は、DPCM（Differential Pulse Code Modulation）符号化され、さらに符号無し指数ゴロム符号化（unsigned exponential golomb coding）されて伝送される。
【００５４】
このようなHEVCと同様のスケーリングリストの伝送の通常モードにおいて、色成分についてのスケーリングリストとその予測値との差分値の符号化データの伝送、および、その伝送に関する処理の実行を、上述したように制御することにより、この符号化データを必要な場合のみ伝送する（不要な場合に伝送しない）ようにすることができる。
【００５５】
例えば、色成分についてのスケーリングリストに対するマトリクスIDの割り当てを制御することにより、chroma_format_idcの値が「０」でない場合や、サイズID（SizeID）が「２」以下の場合のみ、その符号化データが伝送されるようにしてもよい。このようにすることにより、通常モードにおけるスケーリングリストに関する情報の伝送による符号量の増大を抑制し、符号化効率を向上させることができる。また、符号化処理や復号処理の負荷を低減させることができる。
【００５６】
これに対して、コピーモードの場合、スケーリングリストに関する情報として、scaling_list_pred_matrix_id_deltaが伝送される。
【００５７】
scaling_list_pred_matrix_id_deltaは、処理対象のスケーリングリスト（カレントスケーリングリスト）のマトリクスID（MatrixID）と、参照するスケーリングリスト（リファレンススケーリングリスト）のマトリクスID（RefMatrixID）から「１」減算したものとの差分値である。つまり、scaling_list_pred_matrix_id_deltaは、以下の式（１）のように表すことができる。
【００５８】
2013154028.tif 000003
【００５９】
このscaling_list_pred_matrix_id_deltaは、符号無し指数ゴロム符号化（unsigned exponential golomb coding）されて伝送される。
【００６０】
このようなHEVCと同様のスケーリングリストの伝送のコピーモードにおいて、上述したようにマトリクスIDの割り当てを制御することにより、コピーモードにおいて伝送されるパラメータであるscaling_list_pred_matrix_id_deltaの値を制御するようにしてもよい。
【００６１】
例えば、上述したように、chroma_format_idcの値が「０」でない場合、図４に示されるように、マトリクスIDを、輝度成分についてのスケーリングリストと、色成分についてのスケーリングリストの両方に対して割り当てるようにしてもよい。換言するに、chroma_format_idcの値が「０」の場合、例えば、図５のＢに示されるように、輝度成分についてのスケーリングリストに対してのみマトリクスIDを割り当てるようにしてもよい。
【００６２】
図５のＢに示される割り当てパターンの場合、InterのマトリクスがIntraのとき、scaling_list_pred_matrix_id_deltaが「０」になる。つまり、図４に示される割り当てパターンの場合よりも、scaling_list_pred_matrix_id_deltaの伝送による符号量の増大を抑制し、符号化効率を向上させることができる。
【００６３】
また、このようにマトリクスIDの割り当てを制御することにより、色成分についてのスケーリングリストに関する情報の伝送が必要である場合も、そうでない場合も、マトリクスIDをより小さくすることができる。これにより、scaling_list_pred_matrix_id_deltaの値をより小さくすることができ、scaling_list_pred_matrix_id_deltaの伝送による符号量の増大を抑制し、符号化効率を向上させることができる。
【００６４】
特に、scaling_list_pred_matrix_id_deltaを、符号無し指数ゴロム符号化（unsigned exponential golomb coding）して伝送する場合、scaling_list_pred_matrix_id_deltaの値をより小さくすることで、符号量の増大をより抑制することができ、符号化効率をさらに向上させることができる。
【００６５】
なお、サイズID（SizeID）が「３」以上の場合、図４および図５のＢのいずれに示される割り当てパターンの場合も、マトリクスIDは、輝度成分に対してのみ割り当てられる。したがって、この場合、どちらのパターンが選択されるとしてもよい（図４のパターンが選択されるとみなすこともできるし、図５のＢのパターンが選択されるとみなすこともできる）。
【００６６】
以上のようにマトリクスIDの割り当てを制御することにより、スケーリングリストに関する情報の伝送、および、その伝送に関する処理の実行を制御する場合のシンタクスの例を図６に示す。図６の例の場合、シンタクスの上から第１行目において、色フォーマットの識別情報（chroma_format_idc）が取得され、上から第５行目において、その値が確認されている。そして、その値に応じて、条件におけるマトリクスIDの上限値が制御されている。
【００６７】
例えば、chroma_format_idcの値が「０」である場合（画像データの色フォーマットがモノクロームの場合）、マトリクスID（MatrixID）は、図５のＢのように割り当てられるので、「２」より小さい値に制限される。
【００６８】
また、例えば、サイズID（sizeID）が「３」である場合も、マトリクスIDは、図４若しくは図５のＢのように割り当てられるので、「２」より小さい値に制限される。
【００６９】
さらに、例えば、chroma_format_idcの値が「０」でなく、かつ、サイズIDが「３」でない場合、マトリクスIDは、図４のように割り当てられるので、「６」より小さい値に制限される。
【００７０】
このような制御に従って、通常モードの場合、図６のシンタクスの上から１０行目の処理が行われ、コピーモードの場合、図６のシンタクスの上から８行目の処理が行われる。
【００７１】
つまり、通常モードの場合も、コピーモードの場合も、画像データの色フォーマットがモノクロームであるか否かに応じて、上述したように処理が制御される。
【００７２】
なお、マトリクスIDは、予め設定されていても良い。例えば、マトリクスIDが予め図５のＢに示されるように設定されていてもよい。また、例えば、マトリクスIDが、符号化される画像データのフォーマット毎に、例えば図４や図５のＢのように、そのフォーマットに応じたパターンで設定されていても良い。その場合、例えば、用意された複数パターンの中から１パターンが、フォーマットに応じて選択されて使用される。
【００７３】
このようにすることにより、符号化効率を向上させることができる。また、符号化処理や復号処理の負荷を低減させることができる。スケーリングリストの伝送についてこのような制御を行う画像処理装置について以下に説明する。
【００７４】
＜１−２画像符号化装置＞
図７は、本技術を適用した画像処理装置としての画像符号化装置の主な構成例を示すブロック図である。
【００７５】
図７に示される画像符号化装置１００は、入力された画像データを符号化し、得られた符号化データを出力する、本技術を適用した画像処理装置である。画像符号化装置１００は、A/D（Analogue to Digital）変換部１０１（A/D）、並べ替えバッファ１０２、演算部１０３、直交変換・量子化部１０４、可逆符号化部１０５、蓄積バッファ１０６、逆量子化部１０７、逆直交変換部１０８、演算部１０９、デブロックフィルタ１１０、フレームメモリ１１１、セレクタ１１２、イントラ予測部１１３、動き探索部１１４、モード選択部１１５、およびレート制御部１１６を有する。
【００７６】
A/D変換部１０１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並べ替えバッファ１０２へ出力する。
【００７７】
並べ替えバッファ１０２は、A/D変換部１０１から入力される一連の画像データに含まれる画像を並べ替える。並べ替えバッファ１０２は、符号化処理に係るGOP（Group of Pictures）構造に応じて画像を並べ替えた後、並べ替え後の画像データを演算部１０３、イントラ予測部１１３、および動き探索部１１４へ出力する。
【００７８】
演算部１０３には、並べ替えバッファ１０２から入力される画像データ、および、後に説明するモード選択部１１５により選択される予測画像データが供給される。演算部１０３は、並べ替えバッファ１０２から入力される画像データとモード選択部１１５から入力される予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換・量子化部１０４へ出力する。
【００７９】
直交変換・量子化部１０４は、演算部１０３から入力される予測誤差データについて直交変換および量子化を行い、量子化された変換係数データ（以下、量子化データという）を可逆符号化部１０５および逆量子化部１０７へ出力する。直交変換・量子化部１０４から出力される量子化データのビットレートは、レート制御部１１６からのレート制御信号に基づいて制御される。直交変換・量子化部１０４の詳細な構成について、後にさらに説明する。
【００８０】
可逆符号化部１０５には、直交変換・量子化部１０４から入力される量子化データ、スケーリングリスト（量子化行列）に関する情報、並びに、モード選択部１１５により選択されるイントラ予測またはインター予測に関する情報が供給される。イントラ予測に関する情報は、例えば、ブロック毎の最適なイントラ予測モードを示す予測モード情報を含み得る。また、インター予測に関する情報は、例えば、ブロック毎の動きベクトルの予測のための予測モード情報、差分動きベクトル情報、および参照画像情報等を含み得る。
【００８１】
可逆符号化部１０５は、量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１０５による可逆符号化は、例えば、可変長符号化または算術符号化等であってよい。また、可逆符号化部１０５は、スケーリングリストに関する情報を、符号化ストリームの所定の位置に多重化する。さらに、可逆符号化部１０５は、上述したイントラ予測またはインター予測に関する情報を、符号化ストリームのヘッダ内に多重化する。そして、可逆符号化部１０５は、生成した符号化ストリームを蓄積バッファ１０６へ出力する。
【００８２】
蓄積バッファ１０６は、可逆符号化部１０５から入力される符号化ストリームを半導体メモリ等の記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１０６は、蓄積した符号化ストリームを、伝送路（または画像符号化装置１００からの出力線）の帯域に応じたレートで出力する。
【００８３】
逆量子化部１０７は、直交変換・量子化部１０４から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部１０７は、逆量子化処理により取得される変換係数データを、逆直交変換部１０８へ出力する。
【００８４】
逆直交変換部１０８は、逆量子化部１０７から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部１０８は、復元した予測誤差データを演算部１０９へ出力する。
【００８５】
演算部１０９は、逆直交変換部１０８から入力される復元された予測誤差データとモード選択部１１５から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、演算部１０９は、生成した復号画像データをデブロックフィルタ１１０およびフレームメモリ１１１へ出力する。
【００８６】
デブロックフィルタ１１０は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ１１０は、演算部１０９から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し（または少なくとも減少し）、フィルタリング後の復号画像データをフレームメモリ１１１へ出力する。
【００８７】
フレームメモリ１１１は、演算部１０９から入力される復号画像データ、および、デブロックフィルタ１１０から入力されるフィルタリング後の復号画像データを、記憶媒体を用いて記憶する。
【００８８】
セレクタ１１２は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ１１１から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部１１３に供給する。また、セレクタ１１２は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ１１１から読み出し、読み出した復号画像データを参照画像データとして動き探索部１１４に供給する。
【００８９】
イントラ予測部１１３は、並べ替えバッファ１０２から入力される符号化対象の画像データ、および、セレクタ１１２を介して供給される復号画像データに基づいて、各イントラ予測モードのイントラ予測処理を行う。
【００９０】
例えば、イントラ予測部１１３は、各イントラ予測モードによる予測結果を所定のコスト関数を用いて評価する。そして、イントラ予測部１１３は、コスト関数値が最小となるイントラ予測モード、即ち圧縮率が最も高くなるイントラ予測モードを、最適なイントラ予測モードとして選択する。
【００９１】
イントラ予測部１１３は、当該最適なイントラ予測モードを示す予測モード情報、予測画像データ、およびコスト関数値などのイントラ予測に関する情報を、モード選択部１１５へ出力する。
【００９２】
動き探索部１１４は、並べ替えバッファ１０２から入力される符号化対象の画像データ、および、セレクタ１１２を介して供給される復号画像データに基づいて、インター予測処理（フレーム間予測処理）を行う。
【００９３】
例えば、動き探索部１１４は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部１１４は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部１１４は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部１１４は、選択した最適な予測モードを表す予測モード情報を含むインター予測に関する情報、予測画像データ、および、コスト関数値等のインター予測に関する情報を、モード選択部１１５へ出力する。
【００９４】
モード選択部１１５は、イントラ予測部１１３から入力されるイントラ予測に関するコスト関数値と動き探索部１１４から入力されるインター予測に関するコスト関数値とを比較する。そして、モード選択部１１５は、イントラ予測およびインター予測のうちコスト関数値がより少ない予測手法を選択する。
【００９５】
例えば、モード選択部１１５は、イントラ予測を選択した場合、イントラ予測に関する情報を可逆符号化部１０５へ出力するとともに、予測画像データを演算部１０３および演算部１０９へ出力する。また、例えば、モード選択部１１５は、インター予測を選択した場合、インター予測に関する上述した情報を可逆符号化部１０５へ出力するとともに、予測画像データを演算部１０３および演算部１０９へ出力する。
【００９６】
レート制御部１１６は、蓄積バッファ１０６の空き容量を監視する。そして、レート制御部１１６は、蓄積バッファ１０６の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を直交変換・量子化部１０４へ出力する。例えば、レート制御部１１６は、蓄積バッファ１０６の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１１６は、蓄積バッファ１０６の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【００９７】
＜１−３直交変換・量子化部＞
図８は、図７に示される画像符号化装置１００の直交変換・量子化部１０４の詳細な構成の一例を示すブロック図である。図８に示されるように、直交変換・量子化部１０４は、選択部１３１、直交変換部１３２、量子化部１３３、スケーリングリストバッファ１３４、および行列処理部１３５を有する。
【００９８】
選択部１３１は、サイズの異なる複数の変換単位から、符号化される画像データの直交変換のために使用される変換単位（TU）を選択する。選択部１３１により選択され得る変換単位のサイズの候補は、例えば、AVCでは4x4および8x8を含み、HEVCでは4x4（sizeID==0）、8x8（sizeID==1）、16x16（sizeID==2）、および32x32（sizeID==3）を含む。選択部１３１は、例えば、符号化される画像のサイズ若しくは画質、または、画像符号化装置１００の性能等に応じていずれかの変換単位を選択してよい。選択部１３１による変換単位の選択は、画像符号化装置１００を開発するユーザによってハンドチューニングされてもよい。そして、選択部１３１は、選択した変換単位のサイズを指定する情報を、直交変換部１３２、量子化部１３３、可逆符号化部１０５、および逆量子化部１０７へ出力する。
【００９９】
直交変換部１３２は、選択部１３１により選択された変換単位で、演算部１０３から供給される画像データ（即ち、予測誤差データ）を直交変換する。直交変換部１３２により実行される直交変換は、例えば、離散コサイン変換（DCT（Discrete Cosine Transform））またはカルーネン・レーベ変換などであってよい。そして、直交変換部１３２は、直交変換処理により取得される変換係数データを量子化部１３３へ出力する。
【０１００】
量子化部１３３は、選択部１３１により選択された変換単位に対応するスケーリングリストを用いて、直交変換部１３２により生成された変換係数データを量子化する。また、量子化部１３３は、レート制御部１１６からのレート制御信号に基づいて量子化ステップサイズを切り替えることにより、出力される量子化データのビットレートを変化させる。
【０１０１】
また、量子化部１３３は、選択部１３１により選択され得る複数の変換単位にそれぞれ対応するスケーリングリストのセットを、スケーリングリストバッファ１３４に記憶させる。例えば、HEVCのように4x4、8x8、16x16及び32x32という４種類のサイズ（sizeID==0乃至3）の変換単位の候補が存在する場合、これら４種類のサイズにそれぞれ対応する４種類のスケーリングリストのセットが、スケーリングリストバッファ１３４により記憶され得る。
【０１０２】
なお、あるサイズについて既定のスケーリングリストが使用される場合、既定のスケーリングリストが使用されること（ユーザにより定義されたスケーリングリストを使用しないこと）を示すフラグのみが、当該サイズと関連付けてスケーリングリストバッファ１３４により記憶されるようにしてもよい。
【０１０３】
量子化部１３３により使用される可能性のあるスケーリングリストのセットは、典型的には、符号化ストリームのシーケンス毎に設定され得る。また、量子化部１３３は、シーケンス毎に設定したスケーリングリストのセットを、ピクチャ毎に更新してもよい。このようなスケーリングリストのセットの設定および更新を制御するための情報は、例えば、シーケンスパラメータセットおよびピクチャパラメータセットに挿入され得る。
【０１０４】
スケーリングリストバッファ１３４は、半導体メモリなどの記憶媒体を用いて、選択部１３１により選択され得る複数の変換単位にそれぞれ対応するスケーリングリストのセットを一時的に記憶する。スケーリングリストバッファ１３４により記憶されるスケーリングリストのセットは、次に説明する行列処理部１３５による処理に際して参照される。
【０１０５】
行列処理部１３５は、スケーリングリストバッファ１３４に記憶される、符号化（量子化）に用いられるスケーリングリストの伝送に関する処理を行う。例えば、行列処理部１３５は、スケーリングリストバッファ１３４に記憶されるスケーリングリストの符号化を行う。そして、行列処理部１３５により生成されたスケーリングリストの符号化データ（以下において、スケーリングリスト符号化データとも称する）は、可逆符号化部１０５へ出力され、符号化ストリームのヘッダ内に挿入され得る。
【０１０６】
＜１−４行列処理部＞
図９は、図８の行列処理部１３５の主な構成例を示すブロック図である。図９に示されるように、行列処理部１３５は、予測部１６１、差分行列生成部１６２、差分行列サイズ変換部１６３、エントロピ符号化部１６４、復号部１６５、および出力部１６６を有する。
【０１０７】
予測部１６１は、予測行列を生成する。図９に示されるように、予測部１６１は、コピー部１７１および予測行列生成部１７２を有する。
【０１０８】
コピー部１７１は、コピーモードにおける処理を行う。コピーモードの場合、復号側においては、他のスケーリングリストを複製することにより、処理対象のスケーリングリストを生成する。つまり、コピーモードの場合、複製する他のスケーリングリストを指定する情報を伝送すればよい。したがって、コピー部１７１は、コピーモードにおいて動作し、処理対象のスケーリングリストと構成が同一の、他のスケーリングリストを、複製するスケーリングリスト（参照先）として指定する。
【０１０９】
より具体的には、コピー部１７１は、参照先とするスケーリングリストのマトリクスID（RefMatrixID）（以下、リファレンスマトリクスIDとも称する）を、復号部１６５の記憶部２０２から取得する。
【０１１０】
マトリクスID（MatrixID）は、図４若しくは図５のＢに示されるように割り当てられている。つまり、リファレンスマトリクスID（RefMatrixID）により、参照先であるリファレンスブロックのサイズ（sizeID）、予測タイプ（Prediction type）（イントラ予測であるかインター予測であるか）、および成分（Colour component）（輝度成分であるか色（色差）成分であるか）が示される。
【０１１１】
コピー部１７１は、処理対象であるカレントスケーリングリストのサイズ（sizeID）、予測タイプ（Prediction type）、および成分（Colour component）から、そのマトリクスID（MatrixID）（以下、カレントマトリクスIDとも称する）を求める。コピー部１７１は、そのカレントマトリクスID（MatrixID）と、リファレンスマトリクスID（RefMatrixID）とを用いて、パラメータscaling_list_pred_matrix_id_deltaを、例えば式（１）のように算出する。
【０１１２】
コピー部１７１は、算出したパラメータscaling_list_pred_matrix_id_deltaを、エントロピ符号化部１６４のexpG部１９３に供給して、符号無し指数ゴロム符号化（unsigned exponential golomb coding）させ、出力部１６６から行列処理部１３５の外部（可逆符号化部１０５や逆量子化部１０７）に出力させる。つまり、この場合、スケーリングリストの参照先を示すパラメータscaling_list_pred_matrix_id_deltaが、スケーリングリストに関する情報として、復号側に伝送される（符号化データに含められる）。したがって、画像符号化装置１００は、スケーリングリストに関する情報を伝送するための符号量の増大を抑制することができる。
【０１１３】
また通常モードの場合、予測行列生成部１７２は、過去に伝送したスケーリングリスト（リファレンススケーリングリストとも称する）を復号部１６５の記憶部２０２から取得し、そのスケーリングリストを用いて予測行列を生成する（カレントスケーリングリストを予測する）。予測行列生成部１７２は、生成した予測行列を差分行列生成部１６２に供給する。
【０１１４】
差分行列生成部１６２は、予測部１６１（予測行列生成部１７２）から供給された予測行列と、行列処理部１３５に入力されるスケーリングリストとの差分である差分行列（残差行列）を生成する。図９に示されるように、差分行列生成部１６２は、予測行列サイズ変換部１８１、演算部１８２、および量子化部１８３を有する。
【０１１５】
予測行列サイズ変換部１８１は、予測行列生成部１７２から供給される予測行列のサイズを、必要に応じて、行列処理部１３５に入力されるスケーリングリストのサイズに合わせるように変換（以下、コンバートとも称する）する。
【０１１６】
例えば、予測行列のサイズがカレントスケーリングリストのサイズより大きい場合、予測行列サイズ変換部１８１は、予測行列を縮小変換（以下、ダウンコンバートとも称する）する。より具体的には、例えば、予測行列が16x16であり、カレントスケーリングリストが8x8の場合、予測行列サイズ変換部１８１は、予測行列を8x8にダウンコンバートする。なお、このダウンコンバートの方法は、任意である。例えば、予測行列サイズ変換部１８１が、フィルタを用いて（演算により）予測行列の要素の数を減らすようにしてもよい（以下、ダウンサンプルとも称する）。また、例えば、予測行列サイズ変換部１８１が、フィルタを用いずに、一部の要素（例えば、２次元の要素の偶数部分のみ）を間引くことにより、予測行列の要素の数を減らすようにしてもよい（以下、サブサンプルとも称する）。
【０１１７】
また、例えば、予測行列のサイズがカレントスケーリングリストのサイズより小さい場合、予測行列サイズ変換部１８１は、予測行列を拡大変換（以下、アップコンバートとも称する）する。より具体的には、例えば、予測行列が8x8であり、カレントスケーリングリストが16x16の場合、予測行列サイズ変換部１８１は、予測行列を16x16にアップコンバートする。なお、このアップコンバートの方法は、任意である。例えば、予測行列サイズ変換部１８１が、フィルタを用いて（演算により）予測行列の要素の数を増やすようにしてもよい（以下、アップサンプルとも称する）。また、例えば、予測行列サイズ変換部１８１が、フィルタを用いずに、予測行列の各要素を複製することにより、予測行列の要素の数を増やすようにしてもよい（以下、逆サブサンプルとも称する）。
【０１１８】
予測行列サイズ変換部１８１は、サイズをカレントスケーリングリストに合わせた予測行列を演算部１８２に供給する。
【０１１９】
演算部１８２は、予測行列サイズ変換部１８１から供給される予測行列から、カレントスケーリングリストを減算し、差分行列（残差行列）を生成する。演算部１８２は、算出した差分行列を量子化部１８３に供給する。
【０１２０】
量子化部１８３は、演算部１８２から供給された差分行列を量子化する。量子化部１８３は、その差分行列の量子化結果を、差分行列サイズ変換部１６３に供給する。また、量子化部１８３は、この量子化に用いた量子化パラメータ等の情報を、出力部１６６に供給し、行列処理部１３５の外部（可逆符号化部１０５や逆量子化部１０７）に出力させる。なお、この量子化部１８３を省略する（つまり、差分行列の量子化を行わない）ようにしてもよい。
【０１２１】
差分行列サイズ変換部１６３は、差分行列生成部１６２（量子化部１８３）から供給される差分行列（量子化データ）のサイズを、必要に応じて、伝送の際に許容される最大サイズ（以下、伝送サイズとも称する）以下にコンバートする。この最大サイズは、任意であるが、例えば、8x8である。
【０１２２】
画像符号化装置１００から出力される符号化データは、例えば、伝送路や記憶媒体を介して、画像符号化装置１００に対応する画像復号装置に伝送され、その画像復号装置により復号される。例えば、画像符号化装置１００においては、このような伝送における、すなわち、画像符号化装置１００から出力される符号化データにおける、差分行列（量子化データ）のサイズの上限（最大サイズ）が設定されている。差分行列サイズ変換部１６３は、差分行列のサイズが、この最大サイズより大きい場合、最大サイズ以下となるように、差分行列をダウンコンバートする。
【０１２３】
なお、このダウンコンバートの方法は、上述した予測行列のダウンコンバートの場合と同様に任意である。例えば、フィルタ等を用いるダウンサンプルであってもよいし、要素を間引くサブサンプルであってもよい。
【０１２４】
また、ダウンコンバート後の差分行列のサイズは、最大サイズより小さければどのサイズであってもよい。ただし、一般的には、コンバート前後のサイズ差が大きいほど誤差が大きくなるので、最大サイズにダウンコンバートするのが望ましい。
【０１２５】
差分行列サイズ変換部１６３は、ダウンコンバートした差分行列を、エントロピ符号化部１６４に供給する。なお、差分行列のサイズが最大サイズより小さい場合、このダウンコンバートは不要であるので、差分行列サイズ変換部１６３は、入力された差分行列をそのままエントロピ符号化部１６４に供給する（つまり、ダウンコンバートが省略される）。
【０１２６】
エントロピ符号化部１６４は、差分行列サイズ変換部１６３から供給された差分行列（量子化データ）を所定の方法で符号化する。図９に示されるようにエントロピ符号化部１６４は、重複判定部１９１、DPCM部１９２、およびexpG部１９３を有する。
【０１２７】
重複判定部１９１は、差分行列サイズ変換部１６３から供給された差分行列の対称性を判定し、その残差（差分行列）が１３５度の対称行列である場合、重複しているデータである対称部分のデータ（行列要素）を削除する。残差が１３５度の対称行列でない場合、重複判定部１９１は、このデータ（行列要素）の削除を省略する。重複判定部１９１は、必要に応じて対称部分が削除された差分行列のデータを、DPCM部１９２に供給する。
【０１２８】
DPCM部１９２は、重複判定部１９１から供給された、必要に応じて対称部分が削除された差分行列のデータをDPCM符号化し、DPCMデータを生成する。DPCM部１９２は、生成したDPCMデータを、expG部１９３に供給する。
【０１２９】
expG部１９３は、DPCM部１９２から供給されるDPCMデータに対して、符号つき・符号なしのexponential golomb符号（以下、指数ゴロム符号とも称する）を行う。expG部１９３は、その符号化結果を復号部１６５および出力部１６６に供給する。
【０１３０】
なお、expG部１９３は、上述したように、コピー部１７１から供給される、パラメータscaling_list_pred_matrix_id_deltaを、符号無し指数ゴロム符号化（unsigned exponential golomb coding）する。expG部１９３は、生成した符号無し指数ゴロム符号を出力部１６６に供給する。
【０１３１】
復号部１６５は、expG部１９３から供給されるデータから、カレントスケーリングリストを復元する。復号部１６５は、復元したカレントスケーリングリストに関する情報を、過去に伝送したスケーリングリストとして、予測部１６１に供給する。
【０１３２】
図９に示されるように、復号部１６５は、スケーリングリスト復元部２０１および記憶部２０２を有する。
【０１３３】
スケーリングリスト復元部２０１は、エントロピ符号化部１６４（expG部１９３）から供給される指数ゴロム符号を復号し、行列処理部１３５に入力されるスケーリングリストを復元する。例えば、スケーリングリスト復元部２０１は、指数ゴロム符号をエントロピ符号化部１６４の符号化方法に対応する方法で復号し、差分行列サイズ変換部１６３によるサイズ変換の逆変換を行い、量子化部１８３による量子化に対応する逆量子化を行い、得られた差分行列を、予測行列から減算することにより、カレントスケーリングリストを復元する。
【０１３４】
スケーリングリスト復元部２０１は、復元したカレントスケーリングリストを記憶部２０２に供給し、そのマトリクスID（MatrixID）と関連付けて記憶させる。
【０１３５】
記憶部２０２は、スケーリングリスト復元部２０１から供給されるスケーリングリストに関する情報を記憶する。この記憶部２０２に記憶されるスケーリングリストに関する情報は、時間的に後に処理される他の直交変換単位の予測行列生成に利用される。つまり、記憶部２０２は、記憶しているスケーリングリストに関する情報を、過去に伝送したスケーリングリストに関する情報（リファレンススケーリングリストに関する情報）として、予測部１６１に供給する。
【０１３６】
なお、記憶部２０２は、このように復元されたカレントスケーリングリストに関する情報を記憶する代わりに、行列処理部１３５に入力されるカレントスケーリングリストに関する情報を、そのマトリクスID（MatrixID）と関連付けて記憶するようにしてもよい。その場合、スケーリングリスト復元部２０１を省略することができる。
【０１３７】
出力部１６６は、供給される各種情報を行列処理部１３５の外部に出力する。例えば、コピーモードの場合、出力部１６６は、expG部１９３から供給される、スケーリングリストの参照先を示すパラメータscaling_list_pred_matrix_id_deltaの符号無し指数ゴロム符号を、可逆符号化部１０５および逆量子化部１０７に供給する。また、例えば、通常モードの場合、出力部１６６は、expG部１９３から供給される指数ゴロム符号、および、量子化部１８３から供給される量子化パラメータを、可逆符号化部１０５および逆量子化部１０７に供給する。
【０１３８】
可逆符号化部１０５は、このように供給されるスケーリングリストに関する情報を符号化ストリームに含め、復号側に提供する。例えば、可逆符号化部１０５は、scaling_list_present_flagやscaling_list_pred_mode_flag等のスケーリングリストパラメータを、例えば、APS（Adaptation parameter set）に格納する。もちろん、スケーリングリストパラメータの格納場所は、APSに限らない。例えば、SPS（Sequence parameter set）やPPS（Picture parameter set）等、任意の位置に格納するようにしてもよい。
【０１３９】
また、行列処理部１３５は、制御部２１０をさらに有する。制御部２１０は、スケーリングリストの符号化のモード（例えば、通常モードおよびコピーモード）を制御したり、マトリクスIDの割り当てパターンを制御したりする。
【０１４０】
図９に示されるように、制御部２１０は、マトリクスID制御部２１１およびモード制御部２１２を有する。マトリクスID制御部２１１は、例えば、VUI（Video usability information）からchroma_format_idcを取得し、その値に基づいて、マトリクスIDの割り当てパターンを制御する。
【０１４１】
例えば、上述したように、マトリクスIDの割り当てパターンとして、輝度成分と色成分の両方に対してマトリクスIDを割り当てるパターン（図４）と、輝度成分に対してのみマトリクスIDを割り当てるパターン（図５のＢ）とが用意されるとする。マトリクスID制御部２１１は、例えば、chroma_format_idcの値が「０」の場合、輝度成分に対してのみマトリクスIDを割り当てるパターンを選択し、それ以外の場合、輝度成分と色成分の両方に対してマトリクスIDを割り当てるパターンを選択する。
【０１４２】
なお、マトリクスID制御部２１１は、例えば、サイズID（sizeID）が「３」以上である場合、輝度成分に対してのみマトリクスIDを割り当てるパターン（図４および図５のＢ）を選択する。
【０１４３】
マトリクスID制御部２１１は、以上のように選択したマトリクスIDの割り当てパターンを示す制御情報を予測部１６１に供給する。
【０１４４】
予測部１６１のコピー部１７１若しくは予測行列生成部１７２（選択されたモードに対応する方）は、この割り当てパターンに従って、上述した処理を行う。これにより、コピー部１７１および予測行列生成部１７２は、色成分に対するスケーリングリストに関する処理を、必要な場合のみ行うことができ、符号化効率を向上させることができるだけでなく、それぞれが行う処理の負荷を低減させることができる。つまり、符号化処理の負荷が低減される。
【０１４５】
モード制御部２１２は、スケーリングリストの符号化のモードを制御する。例えば、モード制御部２１２は、スケーリングリストの符号化を、通常モードで行うか、コピーモードで行うかを選択する。例えば、モード制御部２１２は、スケーリングリストの符号化のモードを示すフラグscaling_list_pred_mode_flagを設定し、それを予測部１６１に供給する。予測部１６１のコピー部１７１および予測行列生成部１７２の内、そのモードを示すフラグscaling_list_pred_mode_flagの値に対応する方が、スケーリングリストを処理する。
【０１４６】
また、例えば、モード制御部２１２は、スケーリングリストの符号化を行うか否かを示すフラグscaling_list_present_flagの生成も行う。モード制御部２１２は、生成したスケーリングリストの符号化を行うか否かを示すフラグscaling_list_present_flag、並びに、スケーリングリストの符号化のモードを示すフラグscaling_list_pred_mode_flagを出力部１６６に供給する。
【０１４７】
出力部１６６は、供給されたそれらのフラグ情報を、可逆符号化部１０５に供給する。可逆符号化部１０５は、このように供給されるスケーリングリストに関する情報を符号化ストリーム（例えばAPS等）に含め、復号側に提供する。
【０１４８】
復号側の装置は、これらのフラグ情報に基づいて、スケーリングリストの符号化が行われたか否か、行われた場合、そのモードは何であるかを、容易かつ正確に把握することができる。
【０１４９】
以上のように、予測部１６１乃至出力部１６６が、制御部２１０により選択されたモードにおいて必要な場合のみ、色成分に対するスケーリングリストについての処理を行い、その色成分に対するスケーリングリストに関する情報を伝送させる。したがって、画像符号化装置１００は、スケーリングリストに関する情報を伝送するための符号量の増大を抑制し、符号化効率を向上させることができる。また、画像符号化装置１００は、符号化処理の負荷の増大を抑制することができる。
【０１５０】
＜１−５符号化処理の流れ＞
次に、画像符号化装置１００により実行される各種処理について説明する。最初に、図１０のフローチャートを参照して、符号化処理の流れの例を説明する。
【０１５１】
ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
【０１５２】
ステップＳ１０３において、イントラ予測部１１３は、イントラ予測モードのイントラ予測処理を行う。ステップＳ１０４において、動き探索部１１４は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。
【０１５３】
ステップＳ１０５において、モード選択部１１５は、イントラ予測部１１３および動き探索部１１４から出力された各コスト関数値に基づいて、最適予測モードを決定する。つまり、モード選択部１１５は、イントラ予測部１１３により生成された予測画像と、動き探索部１１４により生成された予測画像のいずれか一方を選択する。
【０１５４】
ステップＳ１０６において、演算部１０３は、ステップＳ１０２の処理により並び替えられた画像と、ステップＳ１０５の処理により選択された予測画像との差分を演算する。差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
【０１５５】
ステップＳ１０７において、直交変換・量子化部１０４は、直交変換量子化処理を実行し、ステップＳ１０６の処理により生成された差分情報を直交変換し、さらにその直交変換を量子化する。
【０１５６】
ステップＳ１０７の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０８において、逆量子化部１０７は、ステップＳ１０７の処理により量子化された直交変換係数を、その量子化に対応する方法で逆量子化する。ステップＳ１０９において、逆直交変換部１０８は、ステップＳ１０８の処理により得られた直交変換係数を、ステップＳ１０７の処理に対応する方法で逆直交変換する。
【０１５７】
ステップＳ１１０において、演算部１０９は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１０３への入力に対応する画像）を生成する。ステップＳ１１１においてデブロックフィルタ１１０は、ステップＳ１１０の処理により生成された画像をフィルタリングする。これによりブロック歪み等が除去される。
【０１５８】
ステップＳ１１２において、フレームメモリ１１１は、ステップＳ１１１の処理によりブロック歪みの除去等が行われた画像を記憶する。なお、フレームメモリ１１１には、デブロックフィルタ１１０によりフィルタ処理されていない画像も演算部１０９から供給され、記憶される。
【０１５９】
このフレームメモリ１１１に記憶された画像は、ステップＳ１０３の処理やステップＳ１０４の処理に利用される。
【０１６０】
ステップＳ１１３において、可逆符号化部１０５は、ステップＳ１０７の処理により量子化された変換係数を符号化し、符号化データを生成する。すなわち、差分画像（インターの場合、２次差分画像）に対して、可変長符号化や算術符号化等の可逆符号化が行われる。
【０１６１】
なお、可逆符号化部１０５は、ステップＳ１０５の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。例えば、イントラ予測モードが選択された場合、可逆符号化部１０５は、イントラ予測モード情報を符号化する。また、例えば、インター予測モードが選択された場合、可逆符号化部１０５は、インター予測モード情報を符号化する。これらの情報は、例えばヘッダ情報等として符号化データに付加（多重化）される。
【０１６２】
ステップＳ１１４において蓄積バッファ１０６は、ステップＳ１１３の処理により生成された符号化データを蓄積する。蓄積バッファ１０６に蓄積された符号化データは、適宜読み出され、任意の伝送路（通信路だけでなく記憶媒体等も含む）を介して復号側の装置に伝送される。
【０１６３】
ステップＳ１１５においてレート制御部１１６は、ステップＳ１１４の処理により蓄積バッファ１０６に蓄積された圧縮画像に基づいて、オーバフローあるいはアンダフローが発生しないように、直交変換・量子化部１０４の量子化動作のレートを制御する。
【０１６４】
ステップＳ１１５の処理が終了すると、符号化処理が終了される。
【０１６５】
＜１−６直交変換量子化処理の流れ＞
次に、図１１のフローチャートを参照して、図１０のステップＳ１０７において実行される直交変換量子化処理の流れの例を説明する。
【０１６６】
直交変換量子化処理が開始されると、ステップＳ１３１において、選択部１３１は、カレントブロックのサイズを決定する。ステップＳ１３２において、直交変換部１３２は、ステップＳ１３１において決定されたサイズのカレントブロックの予測誤差データを直交変換する。
【０１６７】
ステップＳ１３３において、量子化部１３３は、ステップＳ１３２において得られた、カレントブロックの予測誤差データの直交変換係数を量子化する。
【０１６８】
ステップＳ１３３の処理が終了すると、処理は、図１０に戻る。
【０１６９】
＜１−７スケーリングリスト符号化処理の流れ＞
次に、図１２および図１３のフローチャートを参照して、行列処理部１３５により実行されるスケーリングリスト符号化処理の流れの例を説明する。スケーリングリスト符号化処理は、量子化に用いられるスケーリングリストに関する情報を符号化して伝送する処理である。
【０１７０】
処理が開始されると、モード制御部２１２（図９）は、図１２のステップＳ１５１において、scaling_list_present_flagやscaling_list_pred_mode_flag等のフラグ情報を含むスケーリングリストパラメータを設定する。
【０１７１】
ステップＳ１５２において、マトリクスID制御部２１１は、VUIからchroma_format_idcを取得する。ステップＳ１５３において、マトリクスID制御部２１１は、chroma_format_idcが「０」であるか否かを判定する。chroma_format_idcが「０」であると判定された場合、処理は、ステップＳ１５４に進む。
【０１７２】
ステップＳ１５４において、マトリクスID制御部２１１は、MatrixIDをモノクローム仕様に変更する。つまり、マトリクスID制御部２１１は、図５のＢに示されるような、輝度成分に対してのみマトリクスIDを割り当てるパターンを選択する。ステップＳ１５４の処理が終了すると、処理は、ステップＳ１５５に進む。
【０１７３】
また、ステップＳ１５３において、chroma_format_idcが「０」でない（モノクロームでない）と判定された場合、処理は、ステップＳ１５５に進む。
【０１７４】
ステップＳ１５５において、出力部１６６は、スケーリングリストに関する情報を伝送することを示すscaling_list_present_flagを伝送する。もちろん、スケーリングリストに関する情報を伝送しない場合、この処理は省略される。つまり、ステップＳ１５１において、scaling_list_present_flagが設定された場合、そのscaling_list_present_flagが伝送され、設定されなかった場合、この処理は省略される。
【０１７５】
ステップＳ１５６において、出力部１６６は、scaling_list_present_flagを伝送したか否かを判定する。ステップＳ１５５においてscaling_list_present_flagを伝送していないと判定された場合、つまり、スケーリングリストに関する情報を伝送しない場合、スケーリングリスト符号化処理が終了する。
【０１７６】
また、ステップＳ１５６において、scaling_list_present_flagを伝送したと判定された場合、つまり、スケーリングリストに関する情報を伝送する場合、処理は、図１３に進む。
【０１７７】
図１３のステップＳ１６１において、マトリクスID制御部２１１は、サイズIDおよびマトリクスIDを初期値（例えば「０」）に設定する（sizeID=0 , MatrixID=0）。
【０１７８】
ステップＳ１６２において、出力部１６６は、通常モードの場合、現在のsizeIDおよびMatrixIDに対応する（カレントスケーリングリストの）scaling_list_pred_mode_flagの伝送を行う。もちろん、ステップＳ１５１においてscaling_list_pred_mode_flagが設定されていない場合、すなわち、コピーモードの場合は、この処理は省略される。
【０１７９】
ステップＳ１６３において、出力部１６６は、scaling_list_pred_mode_flagを伝送したか否かを判定する。ステップＳ１６２においてscaling_list_pred_mode_flagが伝送されたと判定された場合、すなわち、通常モードの場合、処理は、ステップＳ１６４に進む。
【０１８０】
ステップＳ１６４において、通常モードの処理が行われる。例えば、予測行列生成部１７２、差分行列生成部１６２、差分行列サイズ変換部１６３、エントロピ符号化部１６４、復号部１６５、および出力部１６６等の各処理部は、カレントスケーリングリスト（つまり、現在のsizeIDおよびMatrixIDに対応するスケーリングリスト）を符号化し、可逆符号化部１０５に伝送させる。ステップＳ１６４の処理が終了すると、処理は、ステップＳ１６６に進む。
【０１８１】
また、ステップＳ１６３において、コピーモードの場合、すなわち、ステップＳ１６２においてscaling_list_pred_mode_flagが伝送されていないと判定された場合、処理は、ステップＳ１６５に進む。
【０１８２】
ステップＳ１６５において、コピーモードの処理が行われる。例えば、コピー部１７１が、上述した式（１）のようにしてscaling_list_pred_matrix_id_deltaを生成し、出力部１６６が、そのscaling_list_pred_matrix_id_deltaを可逆符号化部１０５に伝送させる。ステップＳ１６５の処理が終了すると、処理は、ステップＳ１６６に進む。
【０１８３】
ステップＳ１６６において、マトリクスID制御部２１１は、サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）か否かを判定する。
【０１８４】
サイズIDが「３」でない（sizeID!=3）、若しくは、マトリクスIDが「１」でない（matrixID!=1）と判定された場合、処理は、ステップＳ１６７に進む。
【０１８５】
ステップＳ１６７において、マトリクスID制御部２１１は、chroma_format_idcが「０」であり（chroma_format_idc==0）、かつ、マトリクスIDが「１」である（matrixID==1）か、マトリクスIDが「５」である（matrixID==5）か、または、そのいずれにも該当しないかを判定する。
【０１８６】
chroma_format_idcが「０」であり（chroma_format_idc==0）、かつ、マトリクスIDが「１」である（matrixID==1）と判定された場合、または、マトリクスIDが「５」である（matrixID==5）と判定された場合、処理は、ステップＳ１６８に進む。
【０１８７】
この場合、現在のsizeIDに対する全てのマトリクスIDが処理済みである。そこで、マトリクスID制御部２１１は、ステップＳ１６８において、サイズIDを「＋１」インクリメントし（sizeID++）、マトリクスIDを「０」にする（MatrixID=0）。
【０１８８】
ステップＳ１６８の処理が終了すると、処理は、ステップＳ１６２に戻る。
【０１８９】
また、ステップＳ１６７において、chroma_format_idcが「０」であるもののマトリクスIDが「１」でない（「０」である）と判定された場合、若しくは、chroma_format_idcが「０」でなく（「１」以上であり）、かつ、マトリクスIDが「５」でない（「４」以下である）と判定された場合、処理は、ステップＳ１６９に進む。
【０１９０】
この場合、現在のsizeIDに対して未処理のマトリクスIDが存在する。そこで、マトリクスID制御部２１１は、ステップＳ１６９において、マトリクスIDを「＋１」インクリメントする（MatrixID++）。
【０１９１】
ステップＳ１６９の処理が終了すると、処理は、ステップＳ１６２に戻る。
【０１９２】
つまり、ステップＳ１６２乃至ステップＳ１６７、並びに、ステップＳ１６９の各処理が繰り返し実行され、現在のサイズIDに対する全てマトリクスIDのスケーリングリストが処理される。
【０１９３】
また、ステップＳ１６２乃至ステップＳ１６９の各処理が繰り返し実行され、全てのスケーリングリストが処理される。
【０１９４】
ステップＳ１６６において、サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）と判定された場合、全てのスケーリングリストが処理されたので、スケーリングリスト符号化処理が終了する。
【０１９５】
以上のように、サイズIDとマトリクスIDを用いて、スケーリングリストの符号化処理が制御されるので、画像符号化装置１００は、不要なスケーリングリストに関する情報についての処理や伝送を省略することができ、符号化効率を低減させることができるとともに、符号化処理の負荷を低減させることができる。
【０１９６】
＜２．第２の実施の形態＞
＜２−１画像復号装置＞
図１４は、本技術を適用した画像処理装置である画像復号装置の主な構成例を示すブロック図である。図１４に示される画像復号装置３００は、画像符号化装置１００（図７）により生成された符号化データを復号する、本技術を適用した画像処理装置である。図１４に示されるように、画像復号装置３００は、蓄積バッファ３０１、可逆復号部３０２、逆量子化・逆直交変換部３０３、演算部３０４、デブロックフィルタ３０５、並べ替えバッファ３０６、D/A（Digital to Analogue）変換部３０７、フレームメモリ３０８、セレクタ３０９、イントラ予測部３１０、動き補償部３１１、並びにセレクタ３１２を有する。
【０１９７】
蓄積バッファ３０１は、伝送路を介して入力される符号化ストリームを、記憶媒体を用いて一時的に蓄積する。
【０１９８】
可逆復号部３０２は、蓄積バッファ３０１から符号化ストリームを読み出し、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部３０２は、符号化ストリームに多重化されている情報を復号する。符号化ストリームに多重化されている情報とは、例えば、上述したスケーリングリストに関する情報、並びに、ブロックヘッダ内のイントラ予測に関する情報およびインター予測に関する情報を含み得る。可逆復号部３０２は、復号後の量子化データおよびスケーリングリストを生成するための情報を、逆量子化・逆直交変換部３０３に供給する。また、可逆復号部３０２は、イントラ予測に関する情報をイントラ予測部３１０に供給する。また、可逆復号部３０２は、インター予測に関する情報を動き補償部３１１に供給する。
【０１９９】
逆量子化・逆直交変換部３０３は、可逆復号部３０２から供給される量子化データについて逆量子化および逆直交変換を行うことにより、予測誤差データを生成する。そして、逆量子化・逆直交変換部３０３は、生成した予測誤差データを演算部３０４に供給する。
【０２００】
演算部３０４は、逆量子化・逆直交変換部３０３から供給される予測誤差データと、セレクタ３１２から供給される予測画像データとを加算することにより、復号画像データを生成する。そして、演算部３０４は、生成した復号画像データをデブロックフィルタ３０５およびフレームメモリ３０８に供給する。
【０２０１】
デブロックフィルタ３０５は、演算部３０４から供給される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並べ替えバッファ３０６およびフレームメモリ３０８に供給する。
【０２０２】
並べ替えバッファ３０６は、デブロックフィルタ３０５から供給される画像を並べ替えることにより、時系列の一連の画像データを生成する。そして、並べ替えバッファ３０６は、生成した画像データをD/A変換部３０７に供給する。
【０２０３】
D/A変換部３０７は、並べ替えバッファ３０６から供給されるデジタル形式の画像データをアナログ形式の画像信号に変換し、そのアナログ形式の画像信号を、画像復号装置３００の外部に出力する。例えば、D/A変換部３０７は、画像復号装置３００と接続されるディスプレイ（図示せず）にアナログ形式の画像信号を出力することにより、画像を表示させる。
【０２０４】
フレームメモリ３０８は、演算部３０４から供給されるフィルタリング前の復号画像データ、および、デブロックフィルタ３０５から供給されるフィルタリング後の復号画像データを、記憶媒体を用いて記憶する。
【０２０５】
セレクタ３０９は、可逆復号部３０２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ３０８からの画像データの出力先をイントラ予測部３１０と動き補償部３１１との間で切り替える。例えば、セレクタ３０９は、イントラ予測モードが指定された場合、フレームメモリ３０８から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部３１０に供給する。また、セレクタ３０９は、インター予測モードが指定された場合、フレームメモリ３０８から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部３１１に供給する。
【０２０６】
イントラ予測部３１０は、可逆復号部３０２から供給されるイントラ予測に関する情報とフレームメモリ３０８から供給される参照画像データとに基づいて画素値の画面内予測を行い、予測画像データを生成する。そして、イントラ予測部３１０は、生成した予測画像データをセレクタ３１２に供給する。
【０２０７】
動き補償部３１１は、可逆復号部３０２から供給されるインター予測に関する情報とフレームメモリ３０８からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部３１１は、生成した予測画像データをセレクタ３１２に供給する。
【０２０８】
セレクタ３１２は、可逆復号部３０２により取得されるモード情報に応じて、画像内のブロックごとに、演算部３０４に供給すべき予測画像データの出力元をイントラ予測部３１０と動き補償部３１１との間で切り替える。例えば、セレクタ３１２は、イントラ予測モードが指定された場合、イントラ予測部３１０から出力される予測画像データを演算部３０４に供給する。また、セレクタ３１２は、インター予測モードが指定された場合、動き補償部３１１から出力される予測画像データを演算部３０４に供給する。
【０２０９】
＜２−２逆量子化・逆直交変換部＞
図１５は、図１４の逆量子化・逆直交変換部３０３の主な構成例を示すブロック図である。
【０２１０】
図１５に示されるように、逆量子化・逆直交変換部３０３は、行列生成部３３１、選択部３３２、逆量子化部３３３、および逆直交変換部３３４を有する。
【０２１１】
行列生成部３３１は、可逆復号部３０２においてビットストリームから抽出され、供給されたスケーリングリストに関する情報の符号化データを復号し、スケーリングリストを生成する。行列生成部３３１は、生成したスケーリングリストを逆量子化部３３３に供給する。
【０２１２】
選択部３３２は、サイズの異なる複数の変換単位から、復号される画像データの逆直交変換のために使用される変換単位（TU）を選択する。選択部３３２により選択され得る変換単位のサイズの候補は、例えば、H.264/AVCでは4x4および8x8を含み、HEVCでは4x4（sizeID==0）、8x8（sizeID==1）、16x16（sizeID==2）、および32x32（sizeID==3）を含む。選択部３３２は、例えば、符号化ストリームのヘッダ内に含まれるLCU、SCU、およびsplit_flagに基づいて、変換単位を選択してもよい。そして、選択部３３２は、選択した変換単位のサイズを指定する情報を、逆量子化部３３３および逆直交変換部３３４に供給する。
【０２１３】
逆量子化部３３３は、選択部３３２により選択された変換単位に対応するスケーリングリストを用いて、画像の符号化の際に量子化された変換係数データを逆量子化する。そして、逆量子化部３３３は、逆量子化した変換係数データを逆直交変換部３３４に供給する。
【０２１４】
逆直交変換部３３４は、符号化の際に使用された直交変換方式に従い、逆量子化部３３３により逆量子化された変換係数データを上記選択された変換単位で逆直交変換することにより、予測誤差データを生成する。そして、逆直交変換部３３４は、生成した予測誤差データを演算部３０４に供給する。
【０２１５】
＜２−３行列生成部＞
図１６は、図１５の行列生成部３３１の主な構成例を示すブロック図である。図１６に示されるように、行列生成部３３１は、パラメータ解析部３５１、予測部３５２、エントロピ復号部３５３、スケーリングリスト復元部３５４、出力部３５５、および記憶部３５６を有する。
【０２１６】
パラメータ解析部３５１は、可逆復号部３０２（図１４）から供給される、スケーリングリストに関する各種フラグやパラメータを解析する。また、パラメータ解析部３５１は、その解析結果に従って、各部を制御する。
【０２１７】
例えば、パラメータ解析部３５１は、scaling_list_pred_mode_flagが存在しない場合、コピーモードであると判断する。パラメータ解析部３５１は、その場合、例えば、エントロピ復号部３５３のexpG部３７１にscaling_list_pred_matrix_id_deltaの指数ゴロム符号を供給する。パラメータ解析部３５１は、例えば、expG部３７１を制御し、その符号無し指数ゴロム符号を復号させる。また、パラメータ解析部３５１は、例えば、expG部３７１を制御し、復号して得られたscaling_list_pred_matrix_id_deltaを予測部３５２のコピー部３６１に供給させる。
【０２１８】
また、パラメータ解析部３５１は、コピーモードであると判定した場合、例えば、予測部３５２のコピー部３６１を制御し、scaling_list_pred_matrix_id_deltaからリファレンスマトリクスID（RefMatrixID）を算出させる。さらに、パラメータ解析部３５１は、例えば、コピー部３６１を制御し、算出したリファレンスマトリクスIDを用いて、リファレンススケーリングリストを特定し、そのリファレンススケーリングリストを複製してカレントスケーリングリストを生成させる。さらに、パラメータ解析部３５１は、例えば、コピー部３６１を制御し、生成されたカレントスケーリングリストを出力部３５５に供給させる。
【０２１９】
また、パラメータ解析部３５１は、例えば、scaling_list_pred_mode_flagが存在する場合、通常モードであると判断する。パラメータ解析部３５１は、その場合、例えば、エントロピ復号部３５３のexpG部３７１に、量子化に用いられたスケーリングリストとその予測値との差分値の指数ゴロム符号を供給する。また、パラメータ解析部３５１は、予測行列生成部３６２を制御して予測行列を生成させる。
【０２２０】
予測部３５２は、パラメータ解析部３５１の制御に従って、予測行列やカレントスケーリングリストを生成する。図１６に示されるように、予測部３５２は、コピー部３６１および予測行列生成部３６２を有する。
【０２２１】
コピー部３６１は、コピーモードの場合、リファレンススケーリングリストを複製し、それをカレントスケーリングリストとする。より具体的には、コピー部３６１は、expG部３７１から供給されたscaling_list_pred_matrix_id_deltaからリファレンスマトリクスID（RefMatrixID）を算出し、そのリファレンスマトリクスIDに対応するリファレンススケーリングリストを記憶部３５６から読み出す。コピー部３６１は、そのリファレンススケーリングリストを複製してカレントスケーリングリストを生成する。コピー部３６１は、このように生成したカレントスケーリングリストを出力部３５５に供給する。
【０２２２】
予測行列生成部３６２は、通常モードの場合、過去に伝送されたスケーリングリストを用いて予測行列を生成する（予測する）。つまり、予測行列生成部３６２は、画像符号化装置１００の予測行列生成部１７２（図７）が生成する予測行列と同様の予測行列を生成する。予測行列生成部３６２は、生成した予測行列をスケーリングリスト復元部３５４の予測行列サイズ変換部３８１に供給する。
【０２２３】
エントロピ復号部３５３は、パラメータ解析部３５１から供給される指数ゴロム符号を復号する。図１６に示されるように、エントロピ復号部３５３は、expG部３７１、逆DPCM部３７２、および逆重複判定部３７３を有する。
【０２２４】
expG部３７１は、符号つき若しくは符号なしのexponential golomb復号（以下、指数ゴロム復号とも称する）を行い、DPCMデータを復元する。expG部３７１は、復元したDPCMデータを、逆DPCM部３７２に供給する。
【０２２５】
また、expG部３７１は、scaling_list_pred_matrix_id_deltaの符号無し指数ゴロム符号を復号し、参照先を示すパラメータであるscaling_list_pred_matrix_id_deltaを得る。scaling_list_pred_matrix_id_deltaを得ると、expG部３７１は、その参照先を示すパラメータであるscaling_list_pred_matrix_id_deltaを、予測部３５２のコピー部３６１に供給する。
【０２２６】
逆DPCM部３７２は、重複部分が削除されたデータに対してDPCM復号して、DPCMデータから残差データを生成する。逆DPCM部３７２は、生成した残差データを、逆重複判定部３７３に供給する。
【０２２７】
逆重複判定部３７３は、残差データが１３５度の対称行列の、重複する対称部分のデータ（行列要素）が削除されたものである場合、その対称部分のデータを復元する。つまり、１３５度の対称行列の差分行列が復元される。なお、残差データが１３５度の対称行列でない場合、逆重複判定部３７３は、対称部分のデータの復元を行わずに、その残差データを差分行列とする。逆重複判定部３７３は、このようにして復元した差分行列をスケーリングリスト復元部３５４（差分行列サイズ変換部３８２）に供給する。
【０２２８】
スケーリングリスト復元部３５４は、スケーリングリストを復元する。図１６に示されるように、スケーリングリスト復元部３５４は、予測行列サイズ変換部３８１、差分行列サイズ変換部３８２、逆量子化部３８３、および演算部３８４を有する。
【０２２９】
予測行列サイズ変換部３８１は、予測部３５２（予測行列生成部３６２）から供給される予測行列のサイズが、復元されるカレントスケーリングリストのサイズと異なる場合、その予測行列のサイズをコンバートする。
【０２３０】
例えば、予測行列のサイズがカレントスケーリングリストのサイズより大きい場合、予測行列サイズ変換部３８１は、予測行列をダウンコンバートする。また、例えば、予測行列のサイズがカレントスケーリングリストのサイズより小さい場合、予測行列サイズ変換部３８１は、予測行列をアップコンバートする。コンバートの方法は、画像符号化装置１０の予測行列サイズ変換部１８１（図９）と同一の方法が選択される。
【０２３１】
予測行列サイズ変換部３８１は、サイズをスケーリングリストに合わせた予測行列を演算部３８４に供給する。
【０２３２】
差分行列サイズ変換部３８２は、伝送された差分行列のサイズがカレントスケーリングリストのサイズより小さい場合、その差分行列のサイズをカレントスケーリングリストサイズにアップコンバートする。アップコンバートの方法は、任意である。例えば、画像符号化装置１００の差分行列サイズ変換部１６３（図９）が行ったダウンコンバートの方法に対応するようにしてもよい。
【０２３３】
例えば、差分行列サイズ変換部１６３が、差分行列をダウンサンプルした場合、差分行列サイズ変換部３８２は、その差分行列をアップサンプルするようにしてもよい。また、差分行列サイズ変換部１６３が、差分行列をサブサンプルした場合、差分行列サイズ変換部３８２は、その差分行列を逆サブサンプルするようにしてもよい。
【０２３４】
なお、差分行列が量子化処理に用いられたときのサイズで伝送される場合、差分行列サイズ変換部３８２は、差分行列のアップコンバートを省略する（若しくは、１倍のアップコンバートを行うようにしてもよい）。
【０２３５】
差分行列サイズ変換部３８２は、このように必要に応じてアップコンバートした差分行列を、逆量子化部３８３に供給する。
【０２３６】
逆量子化部３８３は、画像符号化装置１００の量子化部１８３（図９）の量子化に対応する方法で、供給された差分行列（量子化データ）を逆量子化し、逆量子化された差分行列を演算部３８４に供給する。なお、量子化部１８３が省略される場合、すなわち、差分行列サイズ変換部３８２から供給される差分行列が量子化データでない場合、この逆量子化部３８３を省略することができる。
【０２３７】
演算部３８４は、予測行列サイズ変換部３８１から供給される予測行列と、逆量子化部３８３から供給される差分行列とを加算し、カレントスケーリングリストを復元する。演算部３８４は、復元したスケーリングリストを出力部３５５および記憶部３５６に供給する。
【０２３８】
出力部３５５は、供給される情報を行列生成部３３１の外部に出力する。例えば、コピーモードの場合、出力部３５５は、コピー部３６１から供給されるカレントスケーリングリストを、逆量子化部３８３に供給する。また、例えば、通常モードの場合、出力部３５５は、スケーリングリスト復元部３５４（演算部３８４）から供給されるカレント領域のスケーリングリストを、逆量子化部３８３に供給する。
【０２３９】
記憶部３５６は、スケーリングリスト復元部３５４（演算部３８４）から供給されるスケーリングリストを、そのマトリクスID（MatrixID）とともに記憶する。この記憶部３５６に記憶されるスケーリングリストに関する情報は、時間的に後に処理される他の直交変換単位の予測行列生成に利用される。つまり、記憶部３５６は、記憶しているスケーリングリストに関する情報を、リファレンススケーリングリストに関する情報として、予測部３５２等に供給する。
【０２４０】
さらに、行列生成部３３１は、マトリクスID制御部３９１を有する。マトリクスID制御部３９１は、例えば、VUI（Video usability information）からchroma_format_idcを取得し、その値に基づいて、マトリクスIDの割り当てパターンを制御する。
【０２４１】
例えば、上述したように、マトリクスIDの割り当てパターンとして、輝度成分と色成分の両方に対してマトリクスIDを割り当てるパターン（図４）と、輝度成分に対してのみマトリクスIDを割り当てるパターン（図５のＢ）とが用意されるとする。マトリクスID制御部３９１は、例えば、chroma_format_idcの値が「０」の場合、輝度成分に対してのみマトリクスIDを割り当てるパターンを選択し、それ以外の場合、輝度成分と色成分の両方に対してマトリクスIDを割り当てるパターンを選択する。
【０２４２】
なお、マトリクスID制御部３９１は、例えば、サイズID（sizeID）が「３」以上である場合、輝度成分に対してのみマトリクスIDを割り当てるパターン（図４および図５のＢ）を選択する。
【０２４３】
マトリクスID制御部３９１は、以上のように選択したマトリクスIDの割り当てパターンを示す制御情報を予測部３５２に供給する。
【０２４４】
予測部３５２のコピー部３６１若しくは予測行列生成部３６２（選択されたモードに対応する方）は、この割り当てパターンに従って、上述した処理を行う。これにより、コピー部３６１および予測行列生成部３６２は、色成分に対するスケーリングリストに関する処理を、必要な場合のみ行うことができ、符号化効率の向上を実現させることができるだけでなく、それぞれが行う処理の負荷を低減させることができる。つまり、復号処理の負荷が低減される。
【０２４５】
以上のように、パラメータ解析部３５１乃至記憶部３５６が、パラメータ解析部３５１により特定されたモードにおいて必要な場合のみ、色成分に対するスケーリングリストについての処理を行う。したがって、画像復号装置３００は、スケーリングリストに関する情報を伝送するための符号量の増大の抑制を実現し、符号化効率の向上を実現させることができる。また、画像復号装置３００は、復号処理の負荷の増大を抑制することができる。
【０２４６】
＜２−４復号処理の流れ＞
次に、画像復号装置３００により実行される各種処理について説明する。最初に、図１７のフローチャートを参照して、復号処理の流れの例を説明する。
【０２４７】
復号処理が開始されると、ステップＳ３０１において、蓄積バッファ３０１は、伝送されてきた符号化データを蓄積する。ステップＳ３０２において、可逆復号部３０２は、蓄積バッファ３０１から供給される符号化データを復号する。すなわち、図７の可逆符号化部１０５により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
【０２４８】
このとき、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）、並びに、量子化に関するパラメータ等の情報も復号される。
【０２４９】
ステップＳ３０３において、逆量子化・逆直交変換部３０３は、逆量子化逆直交変換処理を行い、ステップＳ３０２の処理により得られた、量子化された直交変換係数を逆量子化し、得られた直交変換係数をさらに逆直交変換する。
【０２５０】
これにより図７の直交変換・量子化部１０４の入力（演算部１０３の出力）に対応する差分情報が復号されたことになる。
【０２５１】
ステップＳ３０４において、イントラ予測部３１０または動き補償部３１１は、可逆復号部３０２から供給される予測モード情報に対応して画像の予測処理を行う。すなわち、可逆復号部３０２からイントラ予測モード情報が供給された場合、イントラ予測部３１０は、イントラ予測モードのイントラ予測処理を行う。また、可逆復号部３０２からインター予測モード情報が供給された場合、動き補償部３１１は、インター予測処理（動き予測および動き補償を含む）を行う。
【０２５２】
ステップＳ３０５において、演算部３０４は、ステップＳ３０３の処理により得られた差分情報に、ステップＳ３０４の処理により得られた予測画像を加算する。これにより元の画像データ（再構成画像）が復号される。
【０２５３】
ステップＳ３０６において、デブロックフィルタ３０５は、ステップＳ３０５の処理により得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。
【０２５４】
ステップＳ３０７において、画面並べ替えバッファ３０６は、復号画像データのフレームの並べ替えを行う。すなわち、復号画像データの、画像符号化装置１００の画面並べ替えバッファ１０２（図７）により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０２５５】
ステップＳ３０８において、D/A変換部３０７は、画面並べ替えバッファ３０６においてフレームが並べ替えられた復号画像データをD/A変換する。この復号画像データは、例えば、図示せぬディスプレイに出力され、その画像が表示される。
【０２５６】
ステップＳ３０９において、フレームメモリ３０８は、ステップＳ３０６の処理によりフィルタリングされた復号画像を記憶する。
【０２５７】
＜２−５逆量子化・逆直交変換処理の流れ＞
次に、図１８のフローチャートを参照して、図１７のステップＳ３０３において実行される逆量子化・逆直交変換処理の流れの例を説明する。
【０２５８】
逆量子化処理が開始されると、ステップＳ３２１において、選択部３３２は、符号化側から伝送されたサイズ情報を可逆復号部３０２から取得し、カレントブロックのTUサイズを特定する。
【０２５９】
ステップＳ３２２において、逆量子化部３３３は、ステップＳ３２１において得られたTUサイズのカレントブロックについて、符号化側から伝送された量子化データを可逆復号部３０２から取得し、逆量子化する。
【０２６０】
ステップＳ３２３において、逆直交変換部３３４は、ステップＳ３２２において逆量子化されて得られた、直交変換係数を逆直交変換する。
【０２６１】
ステップＳ３２３の処理が終了すると、処理は、図１７に戻る。
【０２６２】
＜２−６スケーリングリスト復号処理の流れ＞
次に、図１９および図２０のフローチャートを参照して、行列生成部３３１により実行されるスケーリングリスト復号処理の流れの例を説明する。スケーリングリスト復号処理は、符号化された、量子化に用いられるスケーリングリストに関する情報を復号する処理である。
【０２６３】
処理が開始されると、マトリクスID制御部３９１は、図１９のステップＳ３４１において、VUIからchroma_format_idcを取得する。ステップＳ３４２において、マトリクスID制御部３９１は、chroma_format_idcが「０」であるか否かを判定する。chroma_format_idcが「０」であると判定された場合、処理は、ステップＳ３４３に進む。
【０２６４】
ステップＳ３４３において、マトリクスID制御部３９１は、MatrixIDをモノクローム仕様に変更する。つまり、マトリクスID制御部３９１は、図５のＢに示されるような、輝度成分に対してのみマトリクスIDを割り当てるパターンを選択する。ステップＳ３４３の処理が終了すると、処理は、ステップＳ３４４に進む。
【０２６５】
また、ステップＳ３４２において、chroma_format_idcが「０」でない（モノクロームでない）と判定された場合、処理は、ステップＳ３４４に進む。つまり、この場合、図４に示されるような、輝度成分および色差成分に対してマトリクスIDを割り当てるパターンを選択する。
【０２６６】
ステップＳ３４４において、パラメータ解析部３５１は、スケーリングリストに関する情報を伝送することを示すscaling_list_present_flagを取得する。例えば、可逆復号部３０２は、APSからscaling_list_present_flagを抽出し、行列生成部３３１に供給する。パラメータ解析部３５１は、そのscaling_list_present_flagを取得する。
【０２６７】
なお、スケーリングリストに関する情報が伝送されない場合、このスケーリングリストに関する情報を伝送することを示すscaling_list_present_flagは伝送されない。つまり、その場合、ステップＳ３４４の処理は失敗に終わる（取得することができない）。
【０２６８】
ステップＳ３４５において、パラメータ解析部３５１は、ステップＳ３４４の処理結果を判定する。つまり、パラメータ解析部３５１は、scaling_list_present_flagが存在する否か（ステップＳ３４４においてscaling_list_present_flagを取得することができたか否か）を判定する。
【０２６９】
scaling_list_present_flagが存在しないと判定された場合、処理は、ステップＳ３４６に進む。
【０２７０】
この場合、スケーリングリストに関する情報を伝送されないので、出力部３５５は、ステップＳ３４６において、予め用意された所定のスケーリングリストであるデフォルトマトリクスをカレントスケーリングリストとしてセットし、出力する。ステップＳ３４６の処理が終了すると、スケーリングリスト復号処理が終了する。
【０２７１】
また、ステップＳ３４５において、scaling_list_present_flagが存在する、すなわち、ステップＳ３４４において、scaling_list_present_flagの取得に成功したと判定された場合、処理は、図２０に進む。
【０２７２】
図２０のステップＳ３５１において、マトリクスID制御部３９１は、サイズIDおよびマトリクスIDを初期値（例えば「０」）に設定する（sizeID=0 , MatrixID=0）。
【０２７３】
ステップＳ３５２において、パラメータ解析部３５１は、通現在のsizeIDおよびMatrixIDに対応する（カレントスケーリングリストの）scaling_list_pred_mode_flagを取得する。
【０２７４】
例えば、可逆復号部３０２は、APSからscaling_list_pred_mode_flagを抽出し、行列生成部３３１に供給する。パラメータ解析部３５１は、そのscaling_list_pred_mode_flagを取得する。
【０２７５】
なお、コピーモードの場合、このscaling_list_pred_mode_flagは伝送されない。つまり、その場合、ステップＳ３５２の処理は失敗に終わる（取得することができない）。
【０２７６】
ステップＳ３５３において、パラメータ解析部３５１は、ステップＳ３５２の処理結果を判定する。つまり、パラメータ解析部３５１は、scaling_list_pred_mode_flagが存在する否か（ステップＳ３５２においてscaling_list_pred_mode_flagを取得することができたか否か）を判定する。
【０２７７】
scaling_list_pred_mode_flagが存在しないと判定された場合、処理は、ステップＳ３５４に進む。
【０２７８】
この場合、通常モードである。したがって、ステップＳ３５４において、通常モードの処理が行われる。例えば、予測行列生成部３６２、エントロピ復号部３５３、スケーリングリスト復元部３５４、出力部３５５、および記憶部３５６等の各処理部は、カレントスケーリングリスト（つまり、現在のsizeIDおよびMatrixIDに対応するスケーリングリスト）の符号化データを復号して、カレントスケーリングリストを得る。カレントスケーリングリストが得られると、出力部３５５は、そのカレントスケーリングリストを、逆量子化部３３３に供給する。
【０２７９】
ステップＳ３５４の処理が終了すると、処理は、ステップＳ３５７に進む。
【０２８０】
また、ステップＳ３５３において、scaling_list_pred_mode_flagが存在する、すなわち、ステップＳ３５２において、scaling_list_pred_mode_flagの取得に成功したと判定された場合、処理は、ステップＳ３５５に進む。
【０２８１】
この場合、コピーモードである。したがって、ステップＳ３５５およびステップＳ３５６において、コピーモードの処理が行われる。
【０２８２】
ステップＳ３５５において、コピー部３６１は、scaling_list_pred_matrix_id_deltaを取得する。例えば、可逆復号部３０２は、画像符号化装置１００から伝送された符号化データからscaling_list_pred_matrix_id_deltaを抽出し、行列生成部３３１に供給する。コピー部３６１は、そのscaling_list_pred_matrix_id_deltaを取得する。
【０２８３】
ステップＳ３５６において、コピー部３６１は、リファレンスマトリクスID（RefMatrixID）として、（MatrixID-scaling_list_pred_matrix_id_delta-1）をセットする。コピー部３６１は、そのリファレンスマトリクスID（RefMatrixID）が示すリファレンススケーリングリストを記憶部３５６から取得し、複製して、カレントスケーリングリストとする。出力部３５５は、そのカレントスケーリングリストを逆量子化部３３３に供給する。
【０２８４】
ステップＳ３５６の処理が終了すると、処理は、ステップＳ３５７に進む。
【０２８５】
ステップＳ３５７において、マトリクスID制御部３９１は、サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）か否かを判定する。
【０２８６】
サイズIDが「３」でない（sizeID!=3）、若しくは、マトリクスIDが「１」でない（matrixID!=1）と判定された場合、処理は、ステップＳ３５８に進む。
【０２８７】
ステップＳ３５８において、マトリクスID制御部３９１は、chroma_format_idcが「０」であり（chroma_format_idc==0）、かつ、マトリクスIDが「１」である（matrixID==1）か、マトリクスIDが「５」である（matrixID==5）か、または、そのいずれにも該当しないかを判定する。
【０２８８】
chroma_format_idcが「０」であり（chroma_format_idc==0）、かつ、マトリクスIDが「１」である（matrixID==1）と判定された場合、または、マトリクスIDが「５」である（matrixID==5）と判定された場合、処理は、ステップＳ３５９に進む。
【０２８９】
この場合、現在のsizeIDに対する全てのマトリクスIDが処理済みである。そこで、マトリクスID制御部３９１は、ステップＳ３５９において、サイズIDを「＋１」インクリメントし（sizeID++）、マトリクスIDを「０」にする（MatrixID=0）。
【０２９０】
ステップＳ３５９の処理が終了すると、処理は、ステップＳ３５２に戻る。
【０２９１】
また、ステップＳ３５８において、chroma_format_idcが「０」であるもののマトリクスIDが「１」でない（「０」である）と判定された場合、若しくは、chroma_format_idcが「０」でなく（「１」以上であり）、かつ、マトリクスIDが「５」でない（「４」以下である）と判定された場合、処理は、ステップＳ３６０に進む。
【０２９２】
この場合、現在のsizeIDに対して未処理のマトリクスIDが存在する。そこで、マトリクスID制御部３９１は、ステップＳ３６０において、マトリクスIDを「＋１」インクリメントする（MatrixID++）。
【０２９３】
ステップＳ３６０の処理が終了すると、処理は、ステップＳ３５２に戻る。
【０２９４】
つまり、ステップＳ３５２乃至ステップＳ３５８、並びに、ステップＳ３６０の各処理が繰り返し実行され、現在のサイズIDに対する全てマトリクスIDのスケーリングリストの符号化データが復号される。
【０２９５】
また、ステップＳ３５２乃至ステップＳ３６０の各処理が繰り返し実行され、全てのスケーリングリストの符号化データが復号される。
【０２９６】
ステップＳ３５７において、サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）と判定された場合、全てのスケーリングリストの符号化データが復号されたので、スケーリングリスト復号処理が終了する。
【０２９７】
以上のように、サイズIDとマトリクスIDを用いて、スケーリングリストの復号処理が制御されるので、画像復号装置３００は、不要なスケーリングリストに関する情報についての処理や伝送の省略を実現することができ、符号化効率の低減を実現させることができるとともに、復号処理の負荷を低減させることができる。
【０２９８】
＜３．第３の実施の形態＞
＜３−１シンタクスの他の例＞
以上に説明したように、コピーモードの場合、リファレンススケーリングリストを示す情報としてscaling_list_pred_matrix_id_deltaが伝送される。ただし、リファレンススケーリングリストとなり得るスケーリングリストが１つしか存在しない場合（つまり参照先の候補が１つしか存在しない場合）、scaling_list_pred_matrix_id_deltaが存在しなくても、画像復号装置３００は、参照先（リファレンススケーリングリスト）を特定することができる。
【０２９９】
例えば、chroma_format_idcが「０」であり、マトリクスIDの割り当てパターンが図５のＢのように設定される場合、スケーリングリストが２つしか存在しない。このような場合、リファレンススケーリングリストとなり得るスケーリングリストは、他方のスケーリングリストの１つのみである。したがって、このような場合、参照先を示すパラメータであるscaling_list_pred_matrix_id_deltaは不要である。
【０３００】
このようにリファレンススケーリングリストが明らかである場合、リファレンススケーリングリストを特定するための情報であるscaling_list_pred_matrix_id_deltaの伝送を省略するようにしてもよい。図２１は、この場合のスケーリングリストのシンタクスの例を説明する図である。
【０３０１】
図２１の例のシンタクスの場合、図６の例の場合と同様の制御に加え、上から第７行目において、色フォーマットの識別情報（chroma_format_idc）の値が確認され、chroma_format_idcが「０」でない場合、scaling_list_pred_matrix_id_deltaが取得され、chroma_format_idcが「０」である場合、scaling_list_pred_matrix_id_deltaが取得されないように制御されている。
【０３０２】
換言するに、画像符号化装置１００は、このシンタクスに従うように、色フォーマットがモノクロームでない場合、scaling_list_pred_matrix_id_deltaを伝送し、色フォーマットがモノクロームである場合、scaling_list_pred_matrix_id_deltaを伝送しない。
【０３０３】
そして、画像復号装置３００は、このシンタクスに従って、色フォーマットがモノクロームでない場合、scaling_list_pred_matrix_id_deltaを取得し、色フォーマットがモノクロームである場合、scaling_list_pred_matrix_id_deltaを取得しない。
【０３０４】
このように、scaling_list_pred_matrix_id_deltaの伝送を省略することにより、画像符号化装置１００は、符号化効率をさらに向上させることができる。また、画像符号化装置１００は、scaling_list_pred_matrix_id_deltaの算出も省略することができるので、符号化処理の負荷を、さらに低減させることができる。
【０３０５】
また、このように、scaling_list_pred_matrix_id_deltaの伝送を省略することにより、画像復号装置３００は、さらなる符号化効率の向上を実現させることができる。また、画像復号装置３００は、scaling_list_pred_matrix_id_deltaの取得も省略することができるので、復号処理の負荷を、さらに低減させることができる。
【０３０６】
＜３−２スケーリングリスト符号化処理の流れ＞
図２２および図２３のフローチャートを参照して、この場合の、画像符号化装置１００によるスケーリングリスト符号化処理の流れの例を説明する。
【０３０７】
図２２および図２３に示されるように、この場合も各処理は、図１２および図１３のフローチャートを参照して説明した場合と基本的に同様に実行される。
【０３０８】
例えば、図２２のステップＳ４０１乃至ステップＳ４０６の各処理は、図１２のステップＳ１５１乃至ステップＳ１５６の各処理と同様に実行される。
【０３０９】
また、図２３のステップＳ４１１乃至ステップＳ４１４の各処理も、図１３のステップＳ１６１乃至ステップＳ１６４の各処理と同様に実行される。
【０３１０】
ただし、図２３のステップＳ４１３において、コピーモードの場合、すなわち、scaling_list_pred_mode_flagを伝送していないと判定された場合、処理は、ステップＳ４１５に進む。
【０３１１】
ステップＳ４１５において、マトリクスID制御部２１１は、chroma_format_idcが「０」であるか否かを判定する。ここで、chroma_format_idcが「０」でないと判定された場合（chroma_format_idc!=0）、処理は、ステップＳ４１６に進む。
【０３１２】
ステップＳ４１６の処理は、図１３のステップＳ１６５の処理と同様に実行される。ステップＳ４１６の処理が終了すると、処理は、ステップＳ４１７に進む。
【０３１３】
また、ステップＳ４１５において、chroma_format_idcが「０」であると判定された場合（chroma_format_idc==0）、ステップＳ４１６の処理は省略され、処理は、ステップＳ４１７に進む。
【０３１４】
以上のように、chroma_format_idcが「０」でないと判定された場合のみ、参照先を示すパラメータscaling_list_pred_matrix_id_deltaが伝送される。
【０３１５】
それ以外の処理は、図１２および図１３の例の場合と同様であり、ステップＳ４１７乃至ステップＳ４２０の各処理も、図１３のステップＳ１６６乃至ステップＳ１６９の各処理と同様に実行される。
【０３１６】
このように制御することにより、画像符号化装置１００は、符号化効率を向上させることができ、符号化処理の負荷を低減させることができる。
【０３１７】
＜３−３スケーリングリスト復号処理の流れ＞
図２４および図２５のフローチャートを参照して、この場合の、画像復号装置３００によるスケーリングリスト復号処理の流れの例を説明する。
【０３１８】
図２４および図２５に示されるように、この場合も各処理は、図１９および図２０のフローチャートを参照して説明した場合と基本的に同様に実行される。
【０３１９】
例えば、図２４のステップＳ４５１乃至ステップＳ４５６の各処理は、図１９のステップＳ３４１乃至ステップＳ３４６の各処理と同様に実行される。
【０３２０】
また、図２５のステップＳ４６１乃至ステップＳ４６４の各処理も、図２０のステップＳ３５１乃至ステップＳ３５４の各処理と同様に実行される。
【０３２１】
ただし、図２５のステップＳ４６３において、コピーモードの場合、すなわち、scaling_list_pred_mode_flagが存在しないと判定された場合、処理は、ステップＳ４６５に進む。
【０３２２】
ステップＳ４６５において、マトリクスID制御部３９１は、chroma_format_idcが「０」であるか否かを判定する。ここで、chroma_format_idcが「０」であると判定された場合（chroma_format_idc==0）、処理は、ステップＳ４６６に進む。
【０３２３】
ステップＳ４６６において、コピー部３６１は、scaling_list_pred_matrix_id_deltaが伝送されていないので、リファレンスマトリクスID（RefMatrixID）として、「０」をセットする。ステップＳ４６６の処理が終了すると、処理は、ステップＳ４６９に進む。
【０３２４】
また、ステップＳ４６５において、chroma_format_idcが「０」でないと判定された場合（chroma_format_idc!=0）、処理は、ステップＳ４６７に進む。
【０３２５】
ステップＳ４６７およびステップＳ４６８の各処理は、図２０のステップＳ３５５およびステップＳ３５６の各処理と同様に行われる。
【０３２６】
つまり、chroma_format_idcが「０」でないと判定された場合のみ、参照先を示すパラメータscaling_list_pred_matrix_id_deltaが伝送される。そして、その参照先を示すパラメータであるscaling_list_pred_matrix_id_deltaに基づいてリファレンススケーリングリストが特定される。chroma_format_idcが「０」であると判定された場合、参照先を示すパラメータscaling_list_pred_matrix_id_deltaが伝送されないが、リファレンススケーリングリストとなることが自明のスケーリングリストが設定される。
【０３２７】
それ以外の処理は、図１９および図２０の例の場合と同様であり、ステップＳ４６９乃至ステップＳ４７２の各処理も、図２０のステップＳ３５７乃至ステップＳ３６０の各処理と同様に実行される。
【０３２８】
このように制御することにより、画像復号装置３００は、符号化効率の向上を実現させることができ、復号処理の負荷を低減させることができる。
【０３２９】
＜４．第４の実施の形態＞
＜４−１シンタクスの他の例＞
なお、図４に示されるように、サイズIDが「３」の場合、マトリクスIDは２つ割り当てられる。したがって、サイズIDが「３」であり、かつ、マトリクスIDが「１」の場合、scaling_list_pred_matrix_id_deltaの伝送を省略するようにしてもよい。図２６は、この場合のスケーリングリストのシンタクスの例を説明する図である。
【０３３０】
図２６の例のシンタクスの場合、図３の例の場合と同様の制御に加え、上から第７行目において、scaling_list_pred_mode_flagの存在だけでなく、サイズIDが「３」であり、かつ、マトリクスIDが「１」であるか否か（!(sizeID==3&&matrixID==1)）が確認される。
【０３３１】
そして、コピーモードであって、かつ、サイズIDが「３」以外であるか、若しくは、マトリクスIDが「１」以外である場合、scaling_list_pred_matrix_id_deltaが取得され、通常モードである場合、または、サイズIDが「３」であり、かつ、マトリクスIDが「１」である場合、scaling_list_pred_matrix_id_deltaが取得されないように制御される。
【０３３２】
換言するに、画像符号化装置１００は、このような条件に従って、scaling_list_pred_matrix_id_deltaを伝送するか否かを制御する。そして、画像復号装置３００は、こような条件に従って、scaling_list_pred_matrix_id_deltaを取得するか否かを制御する。
【０３３３】
このように、scaling_list_pred_matrix_id_deltaの伝送を省略することにより、画像符号化装置１００は、符号化効率をさらに向上させることができる。また、画像符号化装置１００は、scaling_list_pred_matrix_id_deltaの算出も省略することができるので、符号化処理の負荷を、さらに低減させることができる。
【０３３４】
また、このように、scaling_list_pred_matrix_id_deltaの伝送を省略することにより、画像復号装置３００は、さらなる符号化効率の向上を実現させることができる。また、画像復号装置３００は、scaling_list_pred_matrix_id_deltaの取得も省略することができるので、復号処理の負荷を、さらに低減させることができる。
【０３３５】
＜４−２スケーリングリスト符号化処理の流れ＞
図２７および図２８のフローチャートを参照して、この場合の、画像符号化装置１００によるスケーリングリスト符号化処理の流れの例を説明する。
【０３３６】
図２７および図２８に示されるように、この場合も各処理は、図１２および図１３のフローチャートを参照して説明した場合と基本的に同様に実行される。
【０３３７】
例えば、図２７のステップＳ５０１乃至ステップＳ５０３の各処理は、図１２のステップＳ１５１、ステップＳ１５５、およびステップＳ１５６の各処理と同様に実行される。
【０３３８】
つまり、図２７の例の場合、図１２のステップＳ１５２乃至ステップＳ１５４の処理が省略されている。もちろん、図２７の例においても、図１２の場合と同様に、ステップＳ１５２乃至ステップＳ１５４の各処理と同様の処理を行うようにしてもよい。
【０３３９】
また、図２８のステップＳ５１１乃至ステップＳ５１４の各処理も、図１３のステップＳ１６１乃至ステップＳ１６４の各処理と同様に実行される。
【０３４０】
ただし、図２８のステップＳ５１３において、コピーモードの場合、すなわち、scaling_list_pred_mode_flagを伝送していないと判定された場合、処理は、ステップＳ５１５に進む。
【０３４１】
ステップＳ５１５において、マトリクスID制御部２１１は、サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）か否かを判定する。
【０３４２】
サイズIDが「３」でない（sizeID!=3）、若しくは、マトリクスIDが「１」でない（matrixID!=1）と判定された場合、処理は、ステップＳ５１６に進む。
【０３４３】
ステップＳ５１６の処理は、図１３のステップＳ１６５の処理と同様に実行される。ステップＳ５１６の処理が終了すると、処理は、ステップＳ５１７に進む。また、ステップＳ５１５において、サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）と判定された場合、ステップＳ５１６の処理は省略され、処理は、ステップＳ５１７に進む。
【０３４４】
つまり、サイズIDが「３」でないと判定された場合、若しくは、マトリクスIDが「１」でないと判定された場合のみ、scaling_list_pred_matrix_id_deltaが伝送される。
【０３４５】
それ以外の処理は、図１２および図１３の例の場合と同様であり、ステップＳ５１７乃至ステップＳ５２０の各処理も、図１３のステップＳ１６６乃至ステップＳ１６９の各処理と同様に実行される。
【０３４６】
このように制御することにより、画像符号化装置１００は、符号化効率を向上させることができ、符号化処理の負荷を低減させることができる。
【０３４７】
＜４−３スケーリングリスト復号処理の流れ＞
図２９および図３０のフローチャートを参照して、この場合の、画像復号装置３００によるスケーリングリスト復号処理の流れの例を説明する。
【０３４８】
図２９および図３０に示されるように、この場合も各処理は、図１９および図２０のフローチャートを参照して説明した場合と基本的に同様に実行される。
【０３４９】
例えば、図２９のステップＳ５５１乃至ステップＳ５５３の各処理は、図１９のステップＳ３４４乃至ステップＳ３４６の各処理と同様に実行される。
【０３５０】
つまり、図２９の例の場合、図１９のステップＳ３４１乃至ステップＳ３４３の処理が省略されている。もちろん、図２９の例においても、図１９の場合と同様に、ステップＳ３４１乃至ステップＳ３４３の各処理と同様の処理を行うようにしてもよい。
【０３５１】
また、図３０のステップＳ５６１乃至ステップＳ５６４の各処理も、図２０のステップＳ３５１乃至ステップＳ３５４の各処理と同様に実行される。
【０３５２】
ただし、図３０のステップＳ５６３において、コピーモードの場合、すなわち、scaling_list_pred_mode_flagが存在しないと判定された場合、処理は、ステップＳ５６５に進む。
【０３５３】
ステップＳ５６５において、マトリクスID制御部３９１は、サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）か否かを判定する。
【０３５４】
サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）と判定された場合、処理は、ステップＳ５６６に進む。
【０３５５】
ステップＳ５６６において、コピー部３６１は、scaling_list_pred_matrix_id_deltaが伝送されていないので、リファレンスマトリクスID（RefMatrixID）として、「０」をセットする。ステップＳ５６６の処理が終了すると、処理は、ステップＳ５６９に進む。
【０３５６】
また、ステップＳ５６５において、サイズIDが「３」でない（sizeID!=3）、若しくは、マトリクスIDが「１」でない（matrixID!=1）と判定された場合、処理は、ステップＳ５６７に進む。
【０３５７】
ステップＳ５６７およびステップＳ５６８の各処理は、図２０のステップＳ３５５およびステップＳ３５６の各処理と同様に行われる。
【０３５８】
つまり、サイズIDが「３」でない（sizeID!=3）、若しくは、マトリクスIDが「１」でない（matrixID!=1）と判定された場合のみ、scaling_list_pred_matrix_id_deltaが伝送され、そのscaling_list_pred_matrix_id_deltaに基づいてリファレンススケーリングリストが特定される。サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）と判定された場合、scaling_list_pred_matrix_id_deltaが伝送されないが、リファレンススケーリングリストとなることが自明のスケーリングリストが設定される。
【０３５９】
それ以外の処理は、図１９および図２０の例の場合と同様であり、ステップＳ５６９乃至ステップＳ５７２の各処理も、図２０のステップＳ３５７乃至ステップＳ３６０の各処理と同様に実行される。
【０３６０】
このように制御することにより、画像復号装置３００は、符号化効率の向上を実現させることができ、復号処理の負荷を低減させることができる。
【０３６１】
＜５．第５の実施の形態＞
＜多視点画像符号化・多視点画像復号への適用＞
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図３１は、多視点画像符号化方式の一例を示す。
【０３６２】
図３１に示されるように、多視点画像は、複数の視点（ビュー（view））の画像を含む。この多視点画像の複数のビューは、他のビューの画像を利用せずに自身のビューの画像のみを用いて符号化・復号を行うベースビューと、他のビューの画像を利用して符号化・復号を行うノンベースビューとによりなる。ノンベースビューは、ベースビューの画像を利用するようにしても良いし、他のノンベースビューの画像を利用するようにしてもよい。
【０３６３】
図３１のような多視点画像を符号化・復号する場合、各ビューの画像を符号化・復号するが、この各ビューの符号化・復号に対して、以上の各実施の形態において説明した方法を適用するようにしてもよい。このようにすることにより、各ビューの符号化効率を向上させることができる。
【０３６４】
さらに、各ビューの符号化・復号において、以上の各実施の形態において説明した方法において使用されるフラグやパラメータを共有するようにしてもよい。このようにすることにより、符号化効率を向上させることができる。
【０３６５】
より具体的には、例えば、スケーリングリストに関する情報（例えばパラメータやフラグ等）を、各ビューの符号化・復号において共有するようにしてもよい。
【０３６６】
もちろん、これら以外の必要な情報も、各ビューの符号化・復号において共有するようにしてもよい。
【０３６７】
例えば、スケーリングリストやスケーリングリストに関する情報をシーケンスパラメータセット（SPS（Sequence Parameter Set））やピクチャパラメータセット（PPS（Picture Parameter Set））において伝送する場合、それら（SPSやPPS）がビュー間で共有されるのであれば、スケーリングリストやスケーリングリストに関する情報も自ずと共有されることになる。このようにすることにより、符号化効率を向上させることができる。
【０３６８】
また、ベースビューのスケーリングリスト（量子化マトリクス）の行列要素をビュー間の視差値に応じて変更するようにしても良い。さらに、ベースビューのスケーリングリスト（量子化マトリクス）の行列要素に関してノンベースビュー用の行列要素を調整するためのオフセット値を伝送するようにしてもよい。これらのようにすることにより、符号化効率を向上させることができる。
【０３６９】
例えば、ビュー毎のスケーリングリストを予め別途伝送するようにしてもよい。ビュー毎にスケーリングリストを変更する場合、その予め伝送したスケーリングリストとの差分を示す情報のみを伝送すればよい。この差分を示す情報は、任意である。例えば、4x4や8x8を単位とする情報であってもよいし、行列同士の差分であってもよい。
【０３７０】
なお、ビュー間で、SPSやPPSを共有しないが、スケーリングリストやスケーリングリストに関する情報を共有するときは、他のビューのSPSやPPSを参照することができる（つまり、他のビューの、スケーリングリストやスケーリングリストに関する情報を利用することができる）ようにしてもよい。
【０３７１】
また、このような多視点画像を、YUVの各画像と、ビュー間の視差量に対応する奥行き画像（Depth）とをそれぞれコンポーネントとする画像として表す場合、各コンポーネント（Ｙ,Ｕ,Ｖ,Depth）の画像に対して互いに独立したスケーリングリストやスケーリングリストに関する情報を用いるようにしてもよい。
【０３７２】
例えば、奥行き画像（Depth）は、エッジの画像であるので、スケーリングリストは不要である。したがって、SPSやPPSにおいてスケーリングリストの利用が指定されている場合であっても、奥行き画像（Depth）に対しては、スケーリングリストを適用しない（若しくは行列要素が全て同一（FLAT）なスケーリングリストを適用する）ようにしてもよい。
【０３７３】
＜多視点画像符号化装置＞
図３２は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図３２に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。
【０３７４】
符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。
【０３７５】
この多視点画像符号化装置６００の符号化部６０１および符号化部６０２に対して、画像符号化装置１００（図７）を適用することができる。つまり、各ビューに対する符号化において、符号化効率を向上させることができ、各ビューの画質の低減を抑制することができる。また、符号化部６０１および符号化部６０２は、互いに同一のフラグやパラメータを用いて、量子化や逆量子化等の処理を行うことができる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率を向上させることができる。
【０３７６】
＜多視点画像復号装置＞
図３３は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図３３に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。
【０３７７】
逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。
【０３７８】
この多視点画像復号装置６１０の復号部６１２および復号部６１３に対して、画像復号装置３００（図１４）を適用することができる。つまり、各ビューに対する復号において、符号化効率を向上させることができ、各ビューの画質の低減を抑制することができる。また、復号部６１２および復号部６１３は、互いに同一のフラグやパラメータを用いて、量子化や逆量子化等の処理を行うことができる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率を向上させることができる。
【０３７９】
＜６．第６の実施の形態＞
＜階層画像符号化・階層画像復号への適用＞
上述した一連の処理は、階層画像符号化・階層画像復号（スケーラブル符号化・スケーラブル復号）に適用することができる。図３４は、階層画像符号化方式の一例を示す。
【０３８０】
階層画像符号化（スケーラブル符号化）は、画像データを、所定のパラメータについてスケーラビリティ（scalability）機能を有するように、画像を複数レイヤ化（階層化）し、レイヤ毎に符号化するものである。階層画像復号は、その階層画像符号化（スケーラブル復号）は、その階層画像符号化に対応する復号である。
【０３８１】
図３４に示されるように、画像の階層化においては、スケーラビリティ機能を有する所定のパラメータを基準として１の画像が複数の画像（レイヤ）に分割される。つまり、階層化された画像（階層画像）は、その所定のパラメータの値が互いに異なる複数の階層（レイヤ）の画像を含む。この階層画像の複数のレイヤは、他のレイヤの画像を利用せずに自身のレイヤの画像のみを用いて符号化・復号を行うベースレイヤと、他のレイヤの画像を利用して符号化・復号を行うノンベースレイヤ（エンハンスメントレイヤとも称する）とによりなる。ノンベースレイヤは、ベースレイヤの画像を利用するようにしても良いし、他のノンベースレイヤの画像を利用するようにしてもよい。
【０３８２】
一般的に、ノンベースレイヤは、冗長性が低減されるように、自身の画像と、他のレイヤの画像との差分画像のデータ（差分データ）により構成される。例えば、１の画像をベースレイヤとノンベースレイヤ（エンハンスメントレイヤとも称する）に２階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとノンベースレイヤのデータを合成することで、元の画像（すなわち高品質な画像）が得られる。
【０３８３】
このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤ（base layer）のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ（base layer）に加えて、エンハンスメントレイヤ（enhancement layer）の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。
【０３８４】
図３４の例のような階層画像を符号化・復号する場合、各レイヤの画像を符号化・復号するが、この各レイヤの符号化・復号に対して、以上の各実施の形態において説明した方法を適用するようにしてもよい。このようにすることにより、各レイヤの符号化効率を向上させることができる。
【０３８５】
さらに、各レイヤの符号化・復号において、以上の各実施の形態において説明した方法において使用されるフラグやパラメータを共有するようにしてもよい。このようにすることにより、符号化効率を向上させることができる。
【０３８６】
より具体的には、例えば、スケーリングリストに関する情報（例えば、パラメータやフラグ等）を、各レイヤの符号化・復号において共有するようにしてもよい。
【０３８７】
もちろん、これら以外の必要な情報も、各レイヤの符号化・復号において共有するようにしてもよい。
【０３８８】
このような階層画像の例として、空間解像度によって階層化したもの（空間解像度スケーラビリティとも称する）がある（spatial scalability）。空間解像度スケーラビリティを有する階層画像の場合、階層毎に画像の解像度が異なる。例えば、空間的に最も低解像度の画像の階層をベースレイヤとされ、ベースレイヤよりも高解像度の画像の階層をノンベースレイヤ（エンハンスメントレイヤ）とされる。
【０３８９】
ノンベースレイヤ（エンハンスメントレイヤ）の画像データは、他の階層から独立したデータとし、ベースレイヤの場合と同様に、その画像データのみによりその階層の解像度の画像を得ることができるようにしてもよいが、その階層の画像と他の階層（例えば１つ下の階層）の画像との差分画像に対応するデータとするのが一般的である。この場合、ベースレイヤの階層の解像度の画像は、そのベースレイヤの画像データのみにより得られるが、ノンベースレイヤ（エンハンスメントレイヤ）の階層の解像度の画像は、その階層の画像データと、他の階層（例えば１つ下の階層）の画像データを合成することにより得られる。このようにすることにより、階層間の画像データの冗長性を抑制することができる。
【０３９０】
このような空間解像度スケーラビリティを有する階層画像は、階層毎に画像の解像度が異なるので、各階層の符号化・復号の処理単位の解像度も互いに異なる。したがって、各階層の符号化・復号においてスケーリングリスト（量子化マトリクス）を共有する場合、スケーリングリスト（量子化マトリクス）を各階層の解像度比に応じてアップコンバートするようにしてもよい。
【０３９１】
例えば、ベースレイヤの画像の解像度が２Ｋ（例えば1920x1080）とし、ノンベースレイヤ（エンハンスメントレイヤ）の画像の解像度が４Ｋ（例えば、3840x2160）とする。この場合、例えば、ベースレイヤの画像（２Ｋ画像）の16x16は、ノンベースレイヤの画像（４Ｋ画像）の32x32に相当する。スケーリングリスト（量子化マトリクス）もこのような解像度比に応じて適宜アップコンバートする。
【０３９２】
例えば、ベースレイヤの量子化・逆量子化に用いられる4x4のスケーリングリストは、ノンベースレイヤの量子化・逆量子化において8x8にアップコンバートされて使用される。同様に、ベースレイヤの8x8のスケーリングリストは、ノンベースレイヤにおいて16x16にアップコンバートされる。同様に、ベースレイヤにおいて16x16にアップコンバートされて使用されるスケーリングリストは、ノンベースレイヤにおいて32x32にアップコンバートされる。
【０３９３】
なお、スケーラビリティ性を持たせるパラメータは、空間解像度に限らず、例えば、時間解像度がある（temporal scalability）。時間解像度スケーラビリティを有する階層画像の場合、階層毎に画像のフレームレートが異なる。また、その他にも、例えば、階層毎に画像データのビット深度が異なるビット深度スケーラビリティ（bit-depth scalability）や、階層毎にコンポーネントのフォーマットが異なるクロマスケーラビリティ（chroma scalability）等がある。
【０３９４】
また、その他にも、例えば、階層毎に画像の信号雑音比（SNR（Signal to Noise ratio））が異なるSNRスケーラビリティ（SNR scalability）がある。
【０３９５】
画質向上のためには、信号雑音比が低い画像程、量子化誤差をより小さくするのが望ましい。そのため、SNRスケーラビリティの場合、各階層の量子化・逆量子化には、信号雑音比に応じた、互いに異なるスケーリングリスト（共通でないスケーリングリスト）が用いられるようにするのが望ましい。そのため、上述したようにスケーリングリストを階層間で共有する場合、ベースレイヤのスケーリングリストの行列要素に関して、エンハンスメントレイヤの行列要素を調整するためのオフセット値を伝送するようにしてもよい。より具体的には、その共通のスケーリングリストと、実際に用いられるスケーリングリストとの差分を示す情報を、階層毎に伝送するようにしてもよい。例えば、各階層のシーケンスパラメータセット（SPS（Sequence Parameter Set））やピクチャパラメータセット（PPS（Picture Parameter Set））において、その差分を示す情報を伝送するようにしてもよい。この差分を示す情報は、任意である。例えば、両スケーリングリストの要素毎の差分値を要素とする行列であってもよいし、差分を示す関数であってもよい。
【０３９６】
＜階層画像符号化装置＞
図３５は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図３５に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。
【０３９７】
符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。
【０３９８】
この階層画像符号化装置６２０の符号化部６２１および符号化部６２２に対して、画像符号化装置１００（図７）を適用することができる。つまり、各レイヤに対する符号化において、符号化効率を向上させることができ、各レイヤの画質の低減を抑制することができる。また、符号化部６２１および符号化部６２２は、互いに同一のフラグやパラメータを用いて、量子化や逆量子化等の処理を行うことができる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率を向上させることができる。
【０３９９】
＜階層画像復号装置＞
図３６は、上述した階層画像復号を行う階層画像復号装置を示す図である。図３６に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。
【０４００】
逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。
【０４０１】
この階層画像復号装置６３０の復号部６３２および復号部６３３に対して、画像復号装置３００（図１４）を適用することができる。つまり、各レイヤに対する復号において、符号化効率を向上させることができ、各レイヤの画質の低減を抑制することができる。また、復号部６３２および復号部６３３は、互いに同一のフラグやパラメータを用いて、量子化や逆量子化等の処理を行うことができる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率を向上させることができる。
【０４０２】
＜７．第７の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータ等が含まれる。
【０４０３】
図３７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０４０４】
図３７に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
【０４０５】
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
【０４０６】
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
【０４０７】
以上のように構成されるコンピュータ８００では、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を解して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０４０８】
コンピュータ８００（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０４０９】
コンピュータ８００では、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８１４で受信し、記憶部８１３にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくことができる。
【０４１０】
なお、コンピュータ８００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０４１１】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４１２】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０４１３】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０４１４】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０４１５】
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０４１６】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４１７】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４１８】
上述した実施形態に係る画像符号化装置１００（図７）および画像復号装置３００（図１４）は、衛星放送、ケーブルTV（テレビジョン放送）などの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０４１９】
＜８．応用例＞
＜８−１．テレビジョン装置＞
図３８は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０４２０】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
【０４２１】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０４２２】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０４２３】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０４２４】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
【０４２５】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０４２６】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
【０４２７】
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０４２８】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０４２９】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０４３０】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置３００（図１４）の機能を有する。したがって、テレビジョン装置９００は、符号化効率の向上を実現することができる。
【０４３１】
＜８−２．携帯電話機＞
図３９は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０４３２】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０４３３】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０４３４】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０４３５】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０４３６】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０４３７】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
【０４３８】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０４３９】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１００（図７）の機能、および、画像復号装置３００（図１４）の機能を有する。従って、携帯電話機９２０は、符号化効率を向上させることができる。
【０４４０】
また、以上においては携帯電話機９２０として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機９２０と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機９２０の場合と同様に、本技術を適用した画像符号化装置および画像復号装置を適用することができる。
【０４４１】
＜８−３．記録再生装置＞
図４０は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０４４２】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０４４３】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。
【０４４４】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送部としての役割を有する。
【０４４５】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０４４６】
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０４４７】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
【０４４８】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４またはディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４またはディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０４４９】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９４７は、生成した音声データを外部のスピーカへ出力する。
【０４５０】
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
【０４５１】
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０４５２】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０４５３】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１００（図７）の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置３００（図１４）の機能を有する。従って、記録再生装置９４０は、符号化効率を向上させることができる。
【０４５４】
＜８−４．撮像装置＞
図４１は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像データを生成し、画像データを符号化して記録媒体に記録する。
【０４５５】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０４５６】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
【０４５７】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD又はCMOSなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０４５８】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０４５９】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０４６０】
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０４６１】
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送部としての役割を有する。
【０４６２】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
【０４６３】
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０４６４】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０４６５】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１００（図７）の機能、および、画像復号装置３００（図１４）の機能を有する。従って、撮像装置９６０は、符号化効率を向上させることができる。
【０４６６】
＜９．スケーラブル符号化の応用例＞
＜９−１．データ伝送システム＞
次に、スケーラブル符号化（階層（画像）符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図５７に示される例のように、伝送するデータの選択のために利用される。
【０４６７】
図４２に示されるデータ伝送システム１０００において、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク１００３を介して、パーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置に配信する。
【０４６８】
その際、配信サーバ１００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ１００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ１００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。
【０４６９】
例えば、スケーラブル符号化データ記憶部１００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）１０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）１０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。
【０４７０】
配信サーバ１００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ１００２は、処理能力の高いパーソナルコンピュータ１００４やタブレットデバイス１００６に対しては、高品質なスケーラブル符号化データ（BL+EL）１０１１をスケーラブル符号化データ記憶部１００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ１００２は、処理能力の低いAV機器１００５や携帯電話機１００７に対しては、スケーラブル符号化データ（BL+EL）１０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）１０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）１０１１よりも低品質なスケーラブル符号化データ（BL）１０１２として伝送する。
【０４７１】
このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）１０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部１００１の記憶領域をより効率よく使用することができる。
【０４７２】
なお、パーソナルコンピュータ１００４乃至携帯電話機１００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク１００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。
【０４７３】
そこで、配信サーバ１００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク１００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ１００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。
【０４７４】
なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１から、ベースレイヤのスケーラブル符号化データ（BL）１０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。
【０４７５】
もちろん、スケーラブル符号化データ記憶部１００１、配信サーバ１００２、ネットワーク１００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ１００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム１０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。
【０４７６】
そして、以上のような図４２のようなデータ伝送システム１０００においても、図３４乃至図３６を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図３４乃至図３６を参照して上述した効果と同様の効果を得ることができる。
【０４７７】
＜９−２．データ伝送システム＞
また、スケーラブル符号化は、例えば、図４３に示される例のように、複数の通信媒体を介する伝送のために利用される。
【０４７８】
図４３に示されるデータ伝送システム１１００において、放送局１１０１は、地上波放送１１１１により、ベースレイヤのスケーラブル符号化データ（BL）１１２１を伝送する。また、放送局１１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク１１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する（例えばパケット化して伝送する）。
【０４７９】
端末装置１１０２は、放送局１１０１が放送する地上波放送１１１１の受信機能を有し、この地上波放送１１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）１１２１を受け取る。また、端末装置１１０２は、ネットワーク１１１２を介した通信を行う通信機能をさらに有し、このネットワーク１１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を受け取る。
【０４８０】
端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
【０４８１】
また、端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１と、ネットワーク１１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
【０４８２】
以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。
【０４８３】
また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）１１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する通信媒体を、ネットワーク１１１２とするか、地上波放送１１１１とするかを、ネットワーク１１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。
【０４８４】
このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。
【０４８５】
もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置１１０２の数も任意である。さらに、以上においては、放送局１１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム１１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。
【０４８６】
そして、以上のような図４３のようなデータ伝送システム１１００においても、図３４乃至図３６を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図３４乃至図３６を参照して上述した効果と同様の効果を得ることができる。
【０４８７】
＜９−３．撮像システム＞
また、スケーラブル符号化は、例えば、図４４に示される例のように、符号化データの記憶に利用される。
【０４８８】
図４４に示される撮像システム１２００において、撮像装置１２０１は、被写体１２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）１２２１として、スケーラブル符号化データ記憶装置１２０２に供給する。
【０４８９】
スケーラブル符号化データ記憶装置１２０２は、撮像装置１２０１から供給されるスケーラブル符号化データ（BL+EL）１２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置１２０２は、スケーラブル符号化データ（BL+EL）１２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置１２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）１２２１のまま記憶する。
【０４９０】
このようにすることにより、スケーラブル符号化データ記憶装置１２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。
【０４９１】
例えば、撮像装置１２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体１２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。
【０４９２】
なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置１２０２が、画像を解析することにより判定しても良い。また、撮像装置１２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置１２０２に伝送するようにしてもよい。
【０４９３】
なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。
【０４９４】
また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。
【０４９５】
また、撮像装置１２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置１２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置１２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）１２２１を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。
【０４９６】
以上においては、監視カメラを例に説明したが、この撮像システム１２００の用途は任意であり、監視カメラに限定されない。
【０４９７】
そして、以上のような図４４のような撮像システム１２００においても、図３４乃至図３６を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図３４乃至図３６を参照して上述した効果と同様の効果を得ることができる。
【０４９８】
なお、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えばMPEG DASH等のようなHTTPストリーミングにも適用することができる。つまり、このような複数の符号化データ間で、符号化や復号に関する情報を共有することもできる。
【０４９９】
もちろん、本技術を適用した画像符号化装置および画像復号装置は、上述した装置以外の装置やシステムにも適用可能である。
【０５００】
なお、本明細書では、スケーリングリストに関する情報が、符号化側から復号側へ伝送される例について説明した。スケーリングリストに関する情報を伝送する手法は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０５０１】
なお、本技術は以下のような構成も取ることができる。
（１）  符号化する画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報を生成する生成部と、
前記生成部により生成された前記スケーリングリストに関する情報を符号化する符号化部と、
前記符号化部により生成された前記スケーリングリストに関する情報の符号化データを伝送する伝送部と
を備える画像処理装置。
（２）  前記識別情報は、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられる
前記（１）に記載の画像処理装置。
（３）  前記識別情報は、予め用意された複数のスケーリングリストの中の、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられる
前記（２）に記載の画像処理装置。
（４）前記識別情報は、数値によって対象を識別する識別番号よりなり、前記画像データの量子化に用いられるスケーリングリストに対して小さい識別番号が割り当てられる
前記（３）に記載の画像処理装置。
（５）  前記識別情報は、前記画像データの色フォーマットがモノクロームの場合、輝度成分に対するスケーリングリストに対してのみ割り当てられる
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）  通常モードの場合、
前記生成部は、前記識別情報が割り当てられた前記スケーリングリストとその予測値との差分データを生成し、
前記符号化部は、前記生成部により生成された前記差分データを符号化し、
前記伝送部は、前記符号化部により生成された前記差分データの符号化データを伝送する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）  コピーモードの場合、
前記生成部は、参照先であるリファレンススケーリングリストを示す情報を生成し、
前記符号化部は、前記生成部により生成された前記リファレンススケーリングリストを示す情報を符号化し、
前記伝送部は、前記符号化部により生成された前記リファレンススケーリングリストを示す情報の符号化データを伝送する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）  前記生成部は、前記リファレンススケーリングリストの候補が複数存在する場合のみ、前記リファレンススケーリングリストを示す情報を生成する
前記（７）に記載の画像処理装置。
（９）  前記画像データを符号化する画像データ符号化部と、
前記画像データ符号化部により生成された前記画像データの符号化データを伝送する符号化データ伝送部と
をさらに備える前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）  符号化する画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報を生成し、
生成された前記スケーリングリストに関する情報を符号化し、
生成された前記スケーリングリストに関する情報の符号化データを伝送する
画像処理方法。
（１１）  符号化された画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報の符号化データを取得する取得部と、
前記取得部により取得された前記スケーリングリストに関する情報の符号化データを復号する復号部と、
前記復号部により生成された前記スケーリングリストに関する情報に基づいて、処理対象であるカレントスケーリングリストを生成する生成部と
を備える画像処理装置。
（１２）  前記識別情報は、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられる
前記（１１）に記載の画像処理装置。
（１３）  前記識別情報は、予め用意された複数のスケーリングリストの中の、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられる
前記（１２）に記載の画像処理装置。
（１４）  前記識別情報は、数値によって対象を識別する識別番号よりなり、前記画像データの量子化に用いられるスケーリングリストに対して小さい識別番号が割り当てられる
前記（１３）に記載の画像処理装置。
（１５）  前記識別番号は、前記画像データの色フォーマットがモノクロームの場合、輝度成分に対するスケーリングリストに対してのみ割り当てられる
前記（１１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）  通常モードの場合、
前記取得部は、前記識別情報が割り当てられた前記スケーリングリストとその予測値との差分データの符号化データを取得し、
前記復号部は、前記取得部により取得された前記差分データの符号化データを復号し、
前記生成部は、前記復号部により生成された前記差分データに基づいて前記カレントスケーリングリストを生成する
前記（１１）乃至（１５）のいずれかに記載の画像処理装置。
（１７）  コピーモードの場合、
前記取得部は、参照先であるリファレンススケーリングリストを示す情報の符号化データを取得し、
前記復号部は、前記取得部により取得された前記リファレンススケーリングリストを示す情報の符号化データを復号し、
前記生成部は、前記復号部により生成された前記リファレンススケーリングリストを示す情報を用いて、前記カレントスケーリングリストを生成する
前記（１１）乃至（１４）のいずれかに記載の画像処理装置。
（１８）  前記生成部は、前記リファレンススケーリングリストを示す情報が伝送されない場合、前記リファレンススケーリングリストの識別情報に「０」をセットする
前記（１７）に記載の画像処理装置。
（１９）  前記画像データの符号化データを取得する符号化データ取得部と、
前記符号化データ取得部により取得された前記画像データの符号化データを復号する画像データ復号部と
をさらに備える前記（１１）乃至（１８）のいずれかに記載の画像処理装置。
（２０）  符号化された画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報の符号化データを取得し、
取得された前記スケーリングリストに関する情報の符号化データを復号し、
生成された前記スケーリングリストに関する情報に基づいて、処理対象であるカレントスケーリングリストを生成する
画像処理方法。
【符号の説明】
【０５０２】
１００  画像符号化装置，  １０４  直交変換・量子化部，  １３１  選択部，  １３２  直交変換部，  １３３  量子化部，  １３４  スケーリングリストバッファ，  １３５  行列処理部，  １６１  予測部，  １６６  出力部，  １７１  コピー部，  １７２  予測行列生成部，  ２１０  制御部，  ２１１  マトリクスID制御部，  ２１２  モード制御部，  ３００  画像復号装置，  ３０３  逆量子化・逆直交変換部，  ３３１  行列生成部，  ３３２  選択部，  ３３３  逆量子化部，  ３３４  逆直交変換部，  ３５１  パラメータ解析部，  ３５２  予測部，  ３５５  出力部，  ３６１  コピー部，  ３６２  予測行列生成部，  ３９１  マトリクスID制御部
【図１】
2013154028.tif 000004
【図２】
2013154028.tif 000005
【図３】
2013154028.tif 000006
【図４】
2013154028.tif 000007
【図５】
2013154028.tif 000008
【図６】
2013154028.tif 000009
【図７】
2013154028.tif 000010
【図８】
2013154028.tif 000011
【図９】
2013154028.tif 000012
【図１０】
2013154028.tif 000013
【図１１】
2013154028.tif 000014
【図１２】
2013154028.tif 000015
【図１３】
2013154028.tif 000016
【図１４】
2013154028.tif 000017
【図１５】
2013154028.tif 000018
【図１６】
2013154028.tif 000019
【図１７】
2013154028.tif 000020
【図１８】
2013154028.tif 000021
【図１９】
2013154028.tif 000022
【図２０】
2013154028.tif 000023
【図２１】
2013154028.tif 000024
【図２２】
2013154028.tif 000025
【図２３】
2013154028.tif 000026
【図２４】
2013154028.tif 000027
【図２５】
2013154028.tif 000028
【図２６】
2013154028.tif 000029
【図２７】
2013154028.tif 000030
【図２８】
2013154028.tif 000031
【図２９】
2013154028.tif 000032
【図３０】
2013154028.tif 000033
【図３１】
2013154028.tif 000034
【図３２】
2013154028.tif 000035
【図３３】
2013154028.tif 000036
【図３４】
2013154028.tif 000037
【図３５】
2013154028.tif 000038
【図３６】
2013154028.tif 000039
【図３７】
2013154028.tif 000040
【図３８】
2013154028.tif 000041
【図３９】
2013154028.tif 000042
【図４０】
2013154028.tif 000043
【図４１】
2013154028.tif 000044
【図４２】
2013154028.tif 000045
【図４３】
2013154028.tif 000046
【図４４】
2013154028.tif 000047
【国際調査報告】
2013154028.tif 000048
2013154028.tif 000049
2013154028.tif 000050
2013154028.tif 000051