(57)【特許請求の範囲】
【請求項１】
算術復号処理の初期化を行う際に用いる初期化パラメータが、符号化ストリームのシンタクスにおいてまとめて配置された符号化ストリームから、前記初期化パラメータをパースするパース部と、
前記符号化ストリームを算術復号する算術復号部と、
前記パース部によりパースされた初期化パラメータを参照して、前記算術復号処理を初期化するように、前記算術復号部の算術復号処理を制御する制御部と
を備える画像処理装置。
【請求項２】
前記初期化パラメータは、前記符号化ストリームのスライスヘッダのトップにまとめて配置される
請求項１に記載の画像処理装置。
【請求項３】
前記算術復号部により生成された量子化データを逆量子化して変換係数データを生成する逆量子化部と、
前記逆量子化部により生成された変換係数データを逆直交変換して画像データを生成する逆直交変換部と、
前記逆直交変換部により生成された画像データに対してフィルタを行うフィルタ部と
をさらに備え、
復号処理を行う際に用いるフィルタのパラメータが算術符号化された算術符号化パラメータは、前記符号化ストリームのシンタクスにおいてまとめて配置されており、
前記パース部は、前記算術符号化パラメータをパースし、
前記フィルタ部は、前記パース部によりパースされた算術符号化パラメータを用いて、前記画像データに対してフィルタ処理を行う
請求項２に記載の画像処理装置。
【請求項４】
前記フィルタのパラメータは、適応オフセットフィルタのパラメータであり、
前記適応オフセットフィルタのパラメータは、スライスデータのトップにまとめて配置されており、
前記パース部は、前記符号化ストリームの前記スライスデータのトップから、前記適応オフセットフィルタのパラメータをパースする
請求項３に記載の画像処理装置。
【請求項５】
前記フィルタのパラメータは、適応ループフィルタのパラメータであり、
前記適応ループフィルタのパラメータは、スライスデータのトップにまとめて配置されており、
前記パース部は、前記符号化ストリームの前記スライスデータのトップから、前記適応ループフィルタのパラメータをパースする
請求項３に記載の画像処理装置。
【請求項６】
前記フィルタのパラメータは、適応オフセットフィルタのパラメータであり、
前記適応オフセットフィルタのパラメータは、スライスヘッダのエンドにまとめて配置されており、
前記パース部は、前記符号化ストリームの前記スライスヘッダのエンドから、前記適応オフセットフィルタのパラメータをパースする
請求項３に記載の画像処理装置。
【請求項７】
前記フィルタのパラメータは、適応ループフィルタのパラメータであり、
前記適応ループフィルタのパラメータは、スライスヘッダのエンドにまとめて配置されており、
前記パース部は、前記符号化ストリームの前記スライスヘッダのエンドから、前記適応ループフィルタのパラメータをパースする
請求項３に記載の画像処理装置。
【請求項８】
前記パース部は、前記初期化パラメータを可変長復号処理する
請求項１に記載の画像処理装置。
【請求項９】
前記パース部は、前記算術符号化パラメータを算術復号処理する
請求項３に記載の画像処理装置。
【請求項１０】
画像処理装置が、
算術復号処理の初期化を行う際に用いる初期化パラメータが、符号化ストリームのシンタクスにおいてまとめて配置された符号化ストリームから、前記初期化パラメータをパースし、
前記符号化ストリームを算術復号し、
パースされた初期化パラメータを参照して、 前記算術復号処理を初期化するように、前記算術復号処理を制御する
画像処理方法。
【請求項１１】
算術復号処理の初期化を行う際に用いる初期化パラメータが、符号化ストリームのシンタクスにおいてまとめて配置された符号化ストリームから、前記初期化パラメータをパースするパース部と、
前記符号化ストリームを算術復号する算術復号部と、
前記パース部によりパースされた初期化パラメータを参照して、 前記算術復号処理を初期化するように、前記算術復号部の算術復号処理を制御する制御部と
して、コンピュータを機能させるプログラム。
【請求項１２】
請求項１１に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、画像の符号化処理や復号処理を高速に行うことができるようにした画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来、H．264/AVC規格の画像符号化方式では、エントロピ符号化としてCABAC（Context-Adaptive Binary Arithmetic Coding）とCAVLC（Context-Adaptive Variable Length Coding）が定義されている。このうち、CABACは、周囲の状況（コンテキスト（Context）に応じて適応的に符号化を行う２値化の算術符号方式である。【０００３】
H．264/AVC規格において、CABACは、スライスデータをパース処理する際に、スライスデータの先頭においてコンテキストの値と符号化処理エンジン、復号処理エンジンとを初期化する（例えば、非特許文献１参照）。【０００４】
現在、H．264/AVC規格より更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている。HEVCにおいては、ドラフトとして非特許文献２が発行されている。【０００５】
現時点において、HEVCのドラフトでは、適応ループフィルタ（例えば、非特許文献３参照）と適応オフセットフィルタ（例えば、非特許文献４参照）が採用されている。HEVCにおいて、適応オフセットフィルタは、デブロックフィルタと適応ループフィルタの間に設けられる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】”ITU-T Recommendation H.264 Advanced video coding for generic audiovisual”, March 2010
【非特許文献２】Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J. Sullivian,”WD3:Working Draft3 of High-Efficiency Video Coding”, JCTVc-E603_d5(version5), 2011年5月20日
【非特許文献３】Takeshi Chujoh,Goki Yasuda,Naofumi Wada,Takashi Watanabe,Tomoo Yamakage,"Block-based Adaptive Loop Filter",VCEG-AI18,ITU - Telecommunications Standardization SectorSTUDY GROUP 16 Question 6Video Coding Experts Group (VCEG)35th Meeting: Berlin, Germany, 16-18 July, 2008
【非特許文献４】”CE8 Subtest 3:Picture Quality Adaptive Offset”,JCTVC-D122,2011年１月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献２において提案されている方法は、ヘッダをパース処理（算術符号化処理または算術復号処理）する際に、算術符号化処理または算術復号処理のタイミングが十分考慮されていない。そのため、非特許文献２において提案されている方法を行おうとすると、算術符号化処理または算術復号処理に伴う遅延が生じる。【０００８】
本開示は、このような状況に鑑みてなされたものであり、画像の符号化処理や復号処理を高速に行うことができるものである。
【課題を解決するための手段】
【０００９】
本開示の第１の側面の画像処理装置は、算術復号処理の初期化を行う際に用いる初期化パラメータが、符号化ストリームのシンタクスにおいてまとめて配置された符号化ストリームから、前記初期化パラメータをパースするパース部と、前記符号化ストリームを算術復号する算術復号部と、前記パース部によりパースされた初期化パラメータを参照して、 前記算術復号処理を初期化するように、前記算術復号部の算術復号処理を制御する制御部とを備える。
【００１０】
前記初期化パラメータは、前記符号化ストリームのスライスヘッダのトップにまとめて配置される。
【００１１】
前記算術復号部により生成された量子化データを逆量子化して変換係数データを生成する逆量子化部と、前記逆量子化部により生成された変換係数データを逆直交変換して画像データを生成する逆直交変換部と、前記逆直交変換部により生成された画像データに対してフィルタを行うフィルタ部とをさらに備え、復号処理を行う際に用いるフィルタのパラメータが算術符号化された算術符号化パラメータは、前記符号化ストリームのシンタクスにおいてまとめて配置されており、前記パース部は、前記算術符号化パラメータをパースし、前記フィルタ部は、前記パース部によりパースされた算術符号化パラメータを用いて、前記画像データに対してフィルタ処理を行うことができる。
【００１２】
前記フィルタのパラメータは、適応オフセットフィルタのパラメータであり、前記適応オフセットフィルタのパラメータは、前記適応オフセットフィルタが適用されるスライスデータのトップにまとめて配置されており、前記パース部は、前記符号化ストリームの前記スライスデータのトップから、前記適応オフセットフィルタのパラメータをパースすることができる。
【００１３】
前記フィルタのパラメータは、適応ループフィルタのパラメータであり、
前記適応ループフィルタのパラメータは、前記適応ループフィルタが適用されるスライスデータのトップにまとめて配置されており、
前記パース部は、前記符号化ストリームの前記スライスデータから、前記適応ループフィルタのパラメータをパースする。
【００１５】
前記フィルタのパラメータは、適応オフセットフィルタのパラメータであり、前記適応オフセットフィルタのパラメータは、前記適応オフセットフィルタが適用されるスライスヘッダのエンドにまとめて配置されており、前記パース部は、前記符号化ストリームの前記スライスヘッダのエンドから、前記適応オフセットフィルタのパラメータをパースすることができる。
【００１６】
前記フィルタのパラメータは、適応ループフィルタのパラメータであり、
前記適応ループフィルタのパラメータは、前記適応ループフィルタが適用されるスライスヘッダのエンドにまとめて配置されており、前記パース部は、前記符号化ストリームの前記スライスヘッダのエンドから、前記適応ループフィルタのパラメータをパースすることができる。
【００１８】
前記パース部は、前記初期化パラメータを可変長復号処理することができる。
【００１９】
前記パース部は、前記算術符号化パラメータを算術復号処理することができる。
【００２０】
本開示の第１の側面の画像処理方法は、画像処理装置が、算術復号処理の初期化を行う際に用いる初期化パラメータが、符号化ストリームのシンタクスにおいてまとめて配置された符号化ストリームから、前記初期化パラメータをパースし、前記符号化ストリームを算術復号し、パースされた初期化パラメータを参照して、 前記算術復号処理を初期化するように、前記算術復号処理を制御する。
【００２１】
本開示の第１の側面のプログラムとプログラムが記録された記録媒体は、算術復号処理の初期化を行う際に用いる初期化パラメータが、符号化ストリームのシンタクスにおいてまとめて配置された符号化ストリームから、前記初期化パラメータをパースするパース部と、前記符号化ストリームを算術復号する算術復号部と、前記パース部によりパースされた初期化パラメータを参照して、 前記算術復号処理を初期化するように、前記算術復号部の算術復号処理を制御する制御部として、コンピュータを機能させる。
【００２２】
本開示の第１の側面においては、算術復号処理の初期化を行う際に用いる初期化パラメータが、符号化ストリームのシンタクスにおいてまとめて配置された符号化ストリームから、前記初期化パラメータがパースされ、前記符号化ストリームが算術復号される。そして、パースされた初期化パラメータを参照して、 前記算術復号処理を初期化するように、前記算術復号処理が制御される。
【００３１】
なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
【発明の効果】
【００３２】
本開示の第１および第３の側面によれば、画像を復号することができる。特に、復号処理を高速に行うことができる。
【図面の簡単な説明】
【００３４】
【図１】画像符号化装置の主な構成例を示すブロック図である。
【図２】可逆符号化部の構成例を説明する図である。
【図３】従来のストリーム構成の例を示す図である。
【図４】画像符号化装置のストリーム構成の例を示す図である。
【図５】画像符号化装置のストリーム構成の他の例を示す図である。
【図６】画像符号化装置のストリーム構成のさらに他の例を示す図である。
【図７】画像符号化装置のストリーム構成の他の例を示す図である。
【図８】従来の処理のタイミングを説明するタイミングチャートである。
【図９】画像符号化装置の処理のタイミングの例を説明するタイミングチャートである。
【図１０】画像符号化装置の処理のタイミングの他の例を説明するタイミングチャートである。
【図１１】画像符号化装置の処理のタイミングの他の例を説明するタイミングチャートである。
【図１２】符号化処理全体の流れの例を説明するフローチャートである。
【図１３】可逆符号化部による符号化処理の流れの例を説明するフローチャートである。
【図１４】画像復号装置の主な構成例を示すブロック図である。
【図１５】可逆復号部の構成例を示すブロック図である。
【図１６】復号処理全体の流れの例を説明するフローチャートである。
【図１７】可逆復号部による復号処理の流れの例を説明するフローチャートである。
【図１８】スライスヘッダのシンタックスの例を示す図である。
【図１９】sao_param()のシンタックスの例を示す図である。
【図２０】スライスデータのシンタックスの例を示す図である。
【図２１】スライスヘッダのシンタックスの他の例を示す図である。
【図２２】スライスヘッダのシンタックスのさらに他の例を示す図である。
【図２３】alf_cu_control_param()のシンタックスの例を示す図である。
【図２４】多視点画像符号化方式の例を示す図である。
【図２５】本技術を適用した多視点画像符号化装置の主な構成例を示す図である。
【図２６】本技術を適用した多視点画像復号装置の主な構成例を示す図である。
【図２７】階層画像符号化方式の例を示す図である。
【図２８】本技術を適用した階層画像符号化装置の主な構成例を示す図である。
【図２９】本技術を適用した階層画像復号装置の主な構成例を示す図である。
【図３０】コンピュータの主な構成例を示すブロック図である。
【図３１】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図３２】携帯電話機の概略的な構成の一例を示すブロック図である。
【図３３】記録再生装置の概略的な構成の一例を示すブロック図である。
【図３４】撮像装置の概略的な構成の一例を示すブロック図である。
【発明を実施するための形態】
【００３５】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（多視点画像符号化・多視点画像復号装置）
４．第４の実施の形態（階層画像符号化・階層画像復号装置）
５．第５の実施の形態（コンピュータ）
６．第６の実施の形態（応用例）
【００３６】
＜１．第１の実施の形態＞
［画像符号化装置の構成例］
図１は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
【００３７】
図１に示される画像符号化装置１００は、予測処理を用いて画像データを符号化する。ここで、符号化方式としては、例えば、H．264及びMPEG（Moving Picture Experts Group）４ Part１０（AVC（Advanced Video Coding））（以下H．264/AVCと称する）方式や、HEVC（High Efficiency Video Coding）方式などが用いられる。
【００３８】
図１の例において、画像符号化装置１００は、A/D（Analog / Digital）変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、画像符号化装置１００は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、デブロックフィルタ１１１、フレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測・補償部１１５、予測画像選択部１１６、およびレート制御部１１７を有する。
【００３９】
画像符号化装置１００は、さらに、適応オフセット部１２１および適応ループフィルタ１２２を有する。
【００４０】
A/D変換部１０１は、入力された画像データをA/D変換し、画面並べ替えバッファ１０２に出力し、記憶させる。
【００４１】
画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、演算部１０３に供給する。また、画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、イントラ予測部１１４および動き予測・補償部１１５にも供給する。
【００４２】
演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、予測画像選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。
【００４３】
例えば、イントラ符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、イントラ予測部１１４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、動き予測・補償部１１５から供給される予測画像を減算する。
【００４４】
直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部１０５に供給する。
【００４５】
量子化部１０５は、直交変換部１０４が出力する変換係数を量子化する。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。
【００４６】
可逆符号化部１０６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。
【００４７】
可逆符号化部１０６は、イントラ予測モードを示す情報などのパラメータをイントラ予測部１１４から取得し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部１１５から取得する。可逆符号化部１０６は、適応オフセットフィルタのパラメータを、適応オフセット部１２１から取得し、適応ループフィルタのパラメータを適応ループフィルタ１２２から取得する。
【００４８】
可逆符号化部１０６は、量子化された変換係数を符号化するとともに、取得した各パラメータ（シンタクス要素）を符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。
【００４９】
例えば、可逆符号化部１０６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、CAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。CABACは、周囲の状況（コンテキスト（Context）に応じて適応的に符号化を行う２値化の算術符号方式である。
【００５０】
上述した、復号側に送るパラメータのうち、スライスまたはピクチャ単位で符号化処理をコントロールするパラメータは、可変長符号化や固定長符号化レベルの伝送ではデータが膨大となるため、算術符号化(CABAC)して圧縮して伝送することが望ましい。これに対して、if文などのパラメータは、可変長符号化や固定長符号化されることが望ましい。
【００５１】
可逆符号化部１０６は、パラメータのうち、算術符号化が必要なパラメータに対しては、算術符号化を行い、それ以外のパラメータに対しては可変長符号化や固定長符号化を行う。
【００５２】
蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
【００５３】
また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。
【００５４】
逆直交変換部１０９は、供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１１０に供給される。
【００５５】
演算部１１０は、逆直交変換部１０９より供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。
【００５６】
例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部１１０は、その差分情報にイントラ予測部１１４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部１１０は、その差分情報に動き予測・補償部１１５から供給される予測画像を加算する。
【００５７】
その加算結果は、デブロックフィルタ１１１およびフレームメモリ１１２に供給される。
【００５８】
デブロックフィルタ１１１は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ１１１は、そのフィルタ処理結果を適応オフセット部１２１に供給する。
【００５９】
フレームメモリ１１２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部１１３を介してイントラ予測部１１４または動き予測・補償部１１５に出力する。
【００６０】
例えば、イントラ符号化が行われる画像の場合、フレームメモリ１１２は、参照画像を、選択部１１３を介してイントラ予測部１１４に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ１１２は、参照画像を、選択部１１３を介して動き予測・補償部１１５に供給する。
【００６１】
選択部１１３は、フレームメモリ１１２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部１１４に供給する。また、選択部１１３は、フレームメモリ１１２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部１１５に供給する。
【００６２】
イントラ予測部１１４は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１４は、複数のモード（イントラ予測モード）によりイントラ予測を行う。
【００６３】
イントラ予測部１１４は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部１１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１６を介して演算部１０３や演算部１１０に供給する。
【００６４】
また、上述したように、イントラ予測部１１４は、採用したイントラ予測モードを示すイントラ予測モード情報等のパラメータを、適宜可逆符号化部１０６に供給する。
【００６５】
動き予測・補償部１１５は、インター符号化が行われる画像について、画面並べ替えバッファ１０２から供給される入力画像と、選択部１１３を介してフレームメモリ１１２から供給される参照画像とを用いて、動き予測を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。
【００６６】
動き予測・補償部１１５は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き予測・補償部１１５は、生成された予測画像を、予測画像選択部１１６を介して演算部１０３や演算部１１０に供給する。
【００６７】
また、動き予測・補償部１１５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報などのパラメータを可逆符号化部１０６に供給する。
【００６８】
予測画像選択部１１６は、イントラ符号化を行う画像の場合、イントラ予測部１１４の出力を演算部１０３や演算部１１０に供給し、インター符号化を行う画像の場合、動き予測・補償部１１５の出力を演算部１０３や演算部１１０に供給する。
【００６９】
レート制御部１１７は、蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
【００７０】
適応オフセット部１２１は、デブロックフィルタ１１１からの復号画像（ローカルデコード後のベースバンド情報）に対するオフセットフィルタ処理を行う。すなわち、適応オフセット部１２１は、復号画像を用いて、quad-treeによる領域分割を行い、分割された領域毎に、オフセットの種類を決定することで、quad-tree 構造を決定する。オフセットの種類は、バンドオフセット２種類、エッジオフセット６種類、オフセットなしの計９種類がある。適応オフセット部１２１は、quad-tree 構造を参照して、分割された領域毎に、オフセット値を算出する。  
【００７１】
適応オフセット部１２１は、決定したquad-tree構造とオフセット値を用いて、デブロックフィルタ１１１からの復号画像に対してオフセット処理を行う。そして、適応オフセット部１２１は、オフセット処理後の画像を、適応ループフィルタ１２２に供給する。また、適応オフセット部１２１は、決定したquad-tree構造と、算出したオフセット値を、適応オフセットフィルタのパラメータとして、可逆符号化部１０６に供給する。
【００７２】
適応ループフィルタ１２２は、画面並べ替えバッファ１０２からの原画像との残差を最小とするよう、適応ループフィルタ係数の算出を行い、この適応ループフィルタ係数を用いて、適応オフセット部１２１からの復号画像にフィルタ処理を行う。このフィルタとして、例えば、ウィナーフィルタ（Wiener Filter）が用いられる。適応ループフィルタ１２２は、フィルタ後の画像を、フレームメモリ１１２に供給する。
【００７３】
また、適応ループフィルタ１２２は、算出した適応ループフィルタ係数を、適応ループフィルタのパラメータとして、可逆符号化部１０６に送る。
【００７４】
［可逆符号化部の構成例］
次に、画像符号化装置１００の各部について説明する。図２は、可逆符号化部１０６の構成例を示すブロック図である。
【００７５】
図２の例において、可逆符号化部１０６は、VLC(Variable Length Coding）符号化部１３１、符号化制御部１３２、設定部１３３、およびCABAC（Context-Adaptive Binary Arithmetic Coding）符号化部１３４を含むように構成される。
【００７６】
可逆符号化部１０６を構成する各部のうち、VLC符号化部１３１、符号化制御部１３２、および設定部１３３は、図示せぬCPUなどにより実行されることで、ファームウエア１４１として実現される。可逆符号化部１０６を構成する各部のうち、比較的重い処理を行うCABAC符号化部１３４は、ロジックを組むことなどにより、ハードウエア１４２として実現される。
【００７７】
VLC符号化部１３１には、量子化部１０５からの変換係数が供給される。VLC符号化部１３１には、イントラ予測部１１４、動き予測・補償部１１５、適応オフセット部１２１、および適応ループフィルタ１２２などから符号化処理をコントロールするパラメータが供給される。
【００７８】
例えば、イントラ予測部１１４は、イントラ予測モードを示す情報などのイントラ予測に関するパラメータをVLC符号化部１３１に供給する。例えば、動き予測・補償部１１５は、インター予測モードを示す情報、動きベクトル情報、参照フレーム情報、およびフラグ情報などの動き予測に関するパラメータをVLC符号化部１３１に供給する。
【００７９】
例えば、適応オフセット部１２１は、quad-tree構造やオフセット値などの適応オフセットフィルタに関するパラメータをVLC符号化部１３１に供給する。例えば、適応ループフィルタ１２２は、適応ループフィルタ係数などの適応ループフィルタに関するパラメータをVLC符号化部１３１に供給する。なお、図示は省略されているが、量子化部１０５からの量子化パラメータなども供給される。
【００８０】
これらのパラメータのうち、適応オフセットフィルタに関するパラメータや、適応ループフィルタに関するパラメータは、両者ともフィルタのパラメータである。また、これらのパラメータは、画面全体に適用するようなパラメータ、すなわち、スライスまたはピクチャ単位で符号化処理を制御するパラメータである。このようなパラメータは、算術符号化したほうが復号側に送るデータ量が小さくなる。
【００８１】
そこで、VLC符号化部１３１は、供給されるパラメータのうち、スライスまたはピクチャ単位で符号化処理を制御するパラメータ以外のパラメータに対して、可変長符号化、または固定長符号化処理を行う。VLC符号化部１３１は、符号化したデータを、設定部１３３に供給する。
【００８２】
VLC符号化部１３１は、量子化部１０５からの量子化された変換係数をCABAC符号化部１３４に供給する。VLC符号化部１３１は、供給されるパラメータのうち、スライスまたはピクチャ単位で符号化処理を制御するパラメータをCABAC符号化部１３４に供給し、その旨を符号化制御部１３２に通知する。VLC符号化部１３１は、CABAC符号化部１３４の初期化に必要なパラメータが揃ったとき、それらのパラメータをCABAC符号化部１３４に供給し、その旨を符号化制御部１３２に通知する。
【００８３】
符号化制御部１３２は、VLC符号化部１３１からの通知に対応して、CABAC符号化部１３４に初期化処理や符号化処理を開始させる。符号化制御部１３２は、CABAC符号化部１３４からの通知に対応して、VLC符号化部１３１に符号化処理を開始させたり、設定部１３３に設定を開始させる。
【００８４】
設定部１３３は、符号化制御部１３２の制御のもと、VLC符号化部１３１またはCABAC符号化部１３４により符号化されたパラメータ、CABAC符号化部１３４により符号化されたデータを、所定の順番に並べて配置し、スライスヘッダおよびスライスデータを生成する。設定部１３３は、生成したスライスヘッダおよびスライスデータを、蓄積バッファ１０７に供給する。
【００８５】
CABAC符号化部１３４は、符号化制御部１３２の制御のもと、VLC符号化部１３１からの初期化に必要なパラメータを用いて初期化する。CABAC符号化部１３４は、符号化制御部１３２の制御のもと、VLC符号化部１３１からの量子化された変換係数、および各パラメータを算術符号化する。CABAC符号化部１３４は、算術符号化されたデータ（変換係数）およびパラメータを設定部１３３に供給する。
【００８６】
［従来のストリーム構成］
図３は、従来のストリームのうち、スライスヘッダとスライスデータの一部の構成例を示す図である。
【００８７】
図３の例においては、スライスヘッダのトップ辺りには、スライスのタイプを示すslice_typeが配置されている。スライスヘッダの中央より少し下部には、slice_qp_deltaが配置されている。slice_typeとslice_qp_deltaは、可変長または固定長符号化または復号が施される、CABACの初期化に必要なパラメータ（以下、適宜、初期化パラメータとも称する）である。
【００８８】
スライスヘッダの中央下部におけるslice_qp_deltaの直後には、適応オフセットフィルタのパラメータであるsao_param()が配置されている。スライスヘッダのエンドには、適応ループフィルタのパラメータであるalf_cu_control_param()が配置されている。スライスデータは、そのalf_cu_control_param()の後、スライスヘッダのエンドの後に続いている。
【００８９】
適応オフセットフィルタのパラメータであるsao_param()と、適応ループフィルタのパラメータalf_cu_control_param()は、画面全体においてオンまたはオフを制御するパラメータである。このように、スライスまたはピクチャ単位で符号化処理を制御するパラメータは、データが大きいため、このようなパラメータには、算術符号化および算術復号が施される。
【００９０】
また、H．264/AVC方式においては、スライスヘッダにおいて算術符号化および算術復号が施されるパラメータが存在しなかったので、スライスデータの前に、CABACの初期化が行われていればよかった。
【００９１】
これに対して、HEVC方式においては、上述したパラメータに算術符号化および算術復号が行われるので、スライスヘッダにおけるこれらのパラメータの前に、CABACの初期化が行われていなければならない。しかしながら、そのCABACの初期化に必要な初期化パラメータのうち、slice_typeは、スライスヘッダのトップ辺りに配置されているが、slice_qp_deltaは、適応オフセットフィルタのパラメータであるsao_param()の直前に配置されている。したがって、少なくとも復号側においては、slice_qp_deltaが復号されなければ、CABACの初期化を行うことが困難であり、従来においては、sao_param()の直前にCABACの初期化が行われることとなる。
【００９２】
CABACの初期化が行われている間は、算術符号化および算術復号を行うことができないので、算術符号化および算術復号の処理に待ちが発生してしまう。また、算術符号化が必要な、適応オフセットフィルタのパラメータであるsao_param()と、適応ループフィルタのパラメータalf_cu_control_param()は、スライスヘッダにおいて離れた位置に存在することから、算術符号化および算術復号のためのやり取りが分散されてしまう。その結果、処理にディレイが生じることがある。
【００９３】
そこで、設定部１３３は、矢印１に示されるように、CABACの初期化に必要なslice_qp_deltaを、スライスヘッダのトップ辺りにあるSlice_typeの後に配置する。
【００９４】
また、設定部１３３は、矢印２に示されるように、適応オフセットフィルタのパラメータであるsao_param()を、適応ループフィルタのパラメータalf_cu_control_param()が配置されているスライスヘッダのエンドに配置する。
【００９５】
［本技術のストリーム構成例］
図４は、本技術のストリームのうち、スライスヘッダとスライスデータの一部の構成例を示す図である。図４の例において、斜線のハッチは、図３を参照して上述した従来との差異を表している。
【００９６】
図４の例においては、スライスヘッダのトップ辺りには、slice_typeと、図３の例においてスライスヘッダの中央下部にあったslice_qp_deltaが並んで（まとめて）配置されている。
【００９７】
これにより、スライスヘッダのトップ以降、CABACの初期化パラメータである、slice_typeとslice_qp_deltaが揃ったところで、どこでも、CABACの初期化を行うことができる。その結果、パラメータの算術符号化および算術復号を初期化により待たせることがない。
【００９８】
また、スライスヘッダのエンドには、適応ループフィルタのパラメータであるalf_cu_control_param()と、図３の例においてスライスヘッダの中央部にあった適応オフセットフィルタのパラメータであるsao_param()が並んで配置されている。
【００９９】
これにより、算術符号化および算術復号が必要なパラメータが、スライスデータの前、スライスヘッダのエンドにまとめて配置される。その結果、スライスヘッダのエンドからスライスデータにかけて、算術符号化および算術復号の処理をまとめて効率的に行うことができる。
【０１００】
なお、以下、実施例において、算術符号化が必要なパラメータ、すなわち、算術符号化（復号）する符号化パラメータを、算術符号化パラメータと称する。これに対して、可変長符号化（復号）または固定長符号化（復号）するパラメータを、単に、符号化パラメータと称する。また、図４の例においては、算術符号化および算術復号が必要である算術符号化パラメータを、スライスヘッダのエンドに配置する例を示したが、図５に示すように、スライスデータのトップに配置するようにしてもよい。
【０１０１】
［本技術のストリーム構成の他の例］
図５は、本技術のストリームのうち、スライスヘッダとスライスデータの一部の他の構成例を示す図である。図５の例において、斜線のハッチは、図３を参照して上述した従来との差異を表している。
【０１０２】
図５の例においては、スライスヘッダのトップ辺りには、slice_typeが配置されている。また、スライスヘッダの中央部には、cabac_init_idcと、図３の例においてスライスヘッダの中央下部にあったslice_qp_deltaが並んで配置されている。
【０１０３】
cabac_init_idcは、H．264/AVC方式においてcabacのテーブルの設定に用いられたが、現在のところ、HEVC方式においてはその使用が決まっていない。用いられる場合には、cabac_init_idc とまとめるために、slice_qp_deltaを、図５のように、cabac_init_idcの直後においてもよい。また、cabac_init_idcも、slice_qp_deltaと一緒に、図４のslice_typeの直後におくようにしてもよい。
【０１０４】
この場合も、slice_type、slice_qp_delta、cabac_init_idcが揃ったところで、どこでも、CABACの初期化を行うことができる。その結果、算術符号化パラメータの算術符号化および算術復号を初期化により待たせることがない。
【０１０５】
図５の例においては、スライスヘッダのエンドではなく、スライスデータのトップに、適応ループフィルタのパラメータであるalf_cu_control_param()と、適応オフセットフィルタのパラメータであるsao_param()が並んで配置されている。alf_cu_control_param()およびsao_param()はどちらも算術符号化パラメータである。
【０１０６】
これにより、算術符号化および算術復号が必要な算術符号化パラメータが、スライスデータ内、データそのものの直前にまとめて配置されるので、両者の算術符号化パラメータから、データそのものにかけて、算術符号化および算術復号の処理をまとめて効率的に行うことができる。
【０１０７】
なお、図４および図５の例においては、適応ループフィルタのパラメータであるalf_cu_control_param()の直後に、適応オフセットフィルタのパラメータであるsao_param()を配置する例を示したが、それに限定されない。すなわち、スライスヘッダのエンドまたはスライスデータのトップであれば、算術符号化パラメータ同士の順番はどちらでもよい。したがって、適応オフセットフィルタのパラメータであるsao_param()の直後に、適応ループフィルタのパラメータであるalf_cu_control_param()を配置させてもよい。
【０１０８】
なお、図４および図５の例においては、算術符号化および算術復号が必要な算術符号化パラメータがスライスヘッダおよびスライスデータにまとめて配置される例を説明したが、符号化ストリームのシンタックスとして設定されていれば、算術符号化パラメータの配置場所は限定されない。
【０１０９】
［本技術のストリーム構成の他の例］
図６は、本技術のストリームのうち、シンタックスの一部の構成例を示す図である。
【０１１０】
図６に示されるシンタックスにおいては、可変長符号化または固定長符号化を行う符号化パラメータがまとめて配置されている。さらに、シンタックスにおいては、符号化パラメータの後に、適応オフセットフィルタのパラメータであるsao_param()、および適応ループフィルタのパラメータであるalf_cu_control_param()からなる算術符号化パラメータがまとめて配置されている。
【０１１１】
図６の場合も、算術符号化および算術復号が必要な算術符号化パラメータが、シンタックスの所定の位置にまとめて配置されるので、算術符号化および算術復号の処理をまとめて効率的に行うことができる。
【０１１２】
なお、算術符号化および算術復号が必要な算術符号化パラメータは、適応オフセットフィルタのパラメータであるsao_param()、および適応ループフィルタのパラメータであるalf_cu_control_param()に限定されない。例えば、図７に示されるように、量子化マトリックスのパラメータであるqmatrix_param()も、算術符号化および算術復号が必要な算術符号化パラメータとして、適応オフセットフィルタのパラメータであるsao_param()、および適応ループフィルタのパラメータであるalf_cu_control_param()とまとめて配置するようにしてもよい。
【０１１３】
また、各算術符号化パラメータの配置順は、図６および図７の例に限定されない。
【０１１４】
ここで、算術符号化および算術復号が必要な算術符号化パラメータである、適応ループフィルタのパラメータ、適応オフセットフィルタのパラメータ、および量子化マトリックスのパラメータについて詳しく説明する。
【０１１５】
まず、適応ループフィルタは、HEVC方式で用いられている符号化処理であり、AVC方式では採用されていない。復号側に送られる適応ループフィルタのパラメータは、２次元フィルタの係数とCU単位のOn/Offの制御信号であり、ピクチャ毎に更新され、そのサイズは、大きい。
【０１１６】
適応ループフィルタは、最も符号化画像が原画像に近づくような２次元フィルタを伝送し、フィルタ処理することで符号化効率を高めるものである。しかしながら、パラメータセットが非常に大きいため、符号量の多いＩピクチャでは、パラメータを送る。これに対して、符号量の小さいＢピクチャでは、パラメータを伝送するオーバーヘッドに見合うだけのゲインが得られない場合があるので、この場合については、パラメータは送られない。
【０１１７】
このように、適応ループフィルタのパラメータは、各ピクチャの符号量に応じて切り替わり、ピクチャ毎に値が変わるものである。また、適応ループフィルタのパラメータは、その値自体が絵柄に依存するため、同じ値が繰り返し使用される頻度が低い。
【０１１８】
次に、適応オフセットフィルタは、適応ループフィルタと同様に、HEVC方式で用いられている符号化処理であり、AVC方式では採用されていない。復号側に送られる適応オフセットフィルタのパラメータは、オフセットの種類とピクチャをある単位で分割したときのOn/Offの制御信号であり、ピクチャ毎に更新され、そのサイズは、比較的大きい。
【０１１９】
適応オフセットフィルタは、あるピクセル値に対してオフセットをつけるものである。適応オフセットフィルタは、適応ループフィルタと比較すると、パラメータのサイズが小さいため、比較的、ピクチャ毎に伝送することが可能である。
【０１２０】
ただし、絵柄に対して、オフセットが変わりにくい性質があるので、適応オフセットフィルタのパラメータは、算術符号化する必要がある。各ピクチャで似たようなパラメータとなる可能性があるので、以前のパラメータを使いまわすことが可能なパラメータといえる。
【０１２１】
さらに、量子化マトリックスは、AVC方式から採用されているものであるが、ブロックサイズが大きくなると、サイズが大きくなってしまう。復号側に送られる量子化マトリックスのパラメータは、ピクチャ単位の量子化マトリックスであり、ピクチャ毎、ピクチャタイプ毎、またはＧＯＰ毎に更新され、そのサイズは大きい。
【０１２２】
量子化マトリックスは、絵柄が変わらなければ、変更する必要がない可能性が高い。また、量子化マトリックスのパラメータは、サイズが大きいが、送らないという選択肢はない。
【０１２３】
なお、量子化マトリックスのパラメータは、Ｉピクチャ、Ｂピクチャ、Ｐピクチャで別々な値を使いまわすような場合もある。その場合、量子化マトリックスのパラメータは、適応ループフィルタや適応オフセットフィルタなど、ピクチャ毎に変更されるパラメータと組み合わせると相性が悪いという特徴がある。
【０１２４】
以上のように、適応ループフィルタのパラメータ、適応オフセットフィルタのパラメータ、および量子化マトリックスのパラメータは、それぞれ特徴があるが、どれも、サイズが大きく、ピクチャ毎などに送られるため、算術符号化する必要がある。
【０１２５】
[従来の処理のタイミングチャート]
図８は、図３を参照して上述した従来のストリームを処理する場合のタイミングチャートを示す図である。図８の例においては、例えば、復号処理する例が示されている。なお、復号側においても、符号化側と同様に、復号処理は、ファームウエアとハードウエアの処理に分かれる。左が、ＦＷ（ファームウエア）の可変長、固定長復号処理を表し、右が、ＨＷ（ハードウエア）の算術復号の処理を表している。
【０１２６】
まず、スライスヘッダのトップ辺りにおいて、ファームウエアは、符号化パラメータであって、初期化パラメータであるslice_typeを可変長（または固定長）復号し、以降、他の符号化パラメータも可変長（または固定長）復号する。そして、ファームウエアが、符号化パラメータであって、初期化パラメータであるslice_qp_deltaを復号したところで、ようやく、CABACの初期化に必要な初期化パラメータであるslice_typeおよびslice_qp_deltaが揃うので、CABACのハードウエアは初期化される。
【０１２７】
初期化の終了を待ち、この初期化が終わったところで、算術符号化パラメータであり、適応オフセットフィルタのパラメータであるsao_param()が配置されているので、ファームウエアは、ハードウエアにsao_param()の算術復号を行わせる。ハードウエアは、算術復号が終わったところで、復号済みのsao_param()を、ファームウエアに返す。
【０１２８】
その後、ファームウエアは、スライスヘッダのエンドのalf_cu_control_param()の直前まで、他の符号化パラメータの可変長（または固定長）復号を行う。スライスヘッダのエンドに、算術符号化パラメータであり、適応ループフィルタのパラメータであるalf_cu_control_param()が配置されているので、ファームウエアは、ハードウエアにalf_cu_control_param()の算術復号を行わせる。ハードウエアは、算術復号が終わったところで、復号済みのalf_cu_control_param()を、ファームウエアに返す。
【０１２９】
そして、次に、スライスデータの復号になるので、ファームウエアは、ハードウエアにスライスデータの算術復号を行わせる。
【０１３０】
このように、従来の場合、ファームウエアとハードウエアのやり取りが分散されており、さらに、初期化による待ち時間が発生していた。ファームウエアとハードウエアのやり取りには、データの受け渡しなど、調整などが必要であり、符号化および復号の処理の効率がよくなかった。
【０１３１】
[本技術の処理のタイミングチャート]
図９は、図４を参照して上述した本技術のストリームを処理する場合のタイミングチャートを示す図である。図９の例においては、例えば、復号処理する例が示されている。図１５を参照して後述するが、復号側においても、復号処理は、ファームウエアとハードウエアの処理に分かれる。左が、ＦＷ（ファームウエア）の可変長、固定長復号処理を表し、右が、ＨＷ（ハードウエア）の算術復号の処理を表している。
【０１３２】
まず、スライスヘッダのトップ辺りにおいて、ファームウエアは、初期化パラメータであるslice_typeを可変長（または固定長）復号し、ついで、初期化パラメータであるslice_qp_deltaを復号する。ここで、符号化パラメータであって、CABACの初期化に必要な初期化パラメータであるslice_typeおよびslice_qp_deltaが揃うので、これ以降、どこででも、CABACのハードウエアの初期化を行うことができる。例えば、図９の例においては、slice_typeおよびslice_qp_deltaが揃ったタイミングでCABACのハードウエアの初期化が行われる。
【０１３３】
CABACのハードウエアの初期化後、スライスヘッダのエンドのalf_cu_control_param()の直前まで、ファームウエアは、他の符号化パラメータも可変長（または固定長）復号する。
【０１３４】
スライスヘッダのエンドに、算術符号化パラメータであり、適応ループフィルタのパラメータであるalf_cu_control_param()と、算術符号化パラメータであり、適応オフセットフィルタのパラメータであるsao_param()が配置されている。ファームウエアは、ハードウエアにalf_cu_control_param()の算術復号を行わせる。ハードウエアは、算術復号が終わったところで、復号済みのalf_cu_control_param()を、ファームウエアに返す。
【０１３５】
また、同様に、ファームウエアは、ハードウエアにsao_param()の算術復号を行わせる。ハードウエアは、算術復号が終わったところで、復号済みのsao_param()を、ファームウエアに返す。
【０１３６】
そして、次に、スライスデータの復号になるので、ファームウエアは、ハードウエアにスライスデータの算術復号を行わせる。
【０１３７】
以上のように、初期化の待ち時間がなくなり、ファームウエアとハードウエアのやり取りがまとめて行われるので、復号の処理の効率がよくなり、処理を高速化することができる。
【０１３８】
なお、図９の例においては、復号の処理について説明したが、符号化処理についても同様な効果を得ることができる。また、図９の例においては、算術復号毎に、指令を出し、結果（復号済みパラメータ）をファームウエアに返す例を示したが、sao_param()とalf_cu_control_param()の指令と結果の返しを一度に行うようにしてもよい。
【０１３９】
図１０は、図６を参照して上述した本技術のストリームを処理する場合のタイミングチャートを示す図である。図１０の例においては、例えば、復号処理する例が示されている。図１５を参照して後述するが、復号側においても、復号処理は、ファームウエアとハードウエアの処理に分かれる。左が、ＦＷ（ファームウエア）の可変長、固定長復号処理を表し、右が、ＨＷ（ハードウエア）の算術復号の処理を表している。
【０１４０】
図１０の例の場合、図６のシンタックスにおいては、まず、可変長符号化または固定長符号化が行われている符号化パラメータがまとめて配置されているので、ファームウエアは、符号化パラメータを復号する。
【０１４１】
次に、シンタックスには、算術符号化パラメータであり、適応ループフィルタのパラメータであるalf_cu_control_param()と、算術符号化パラメータであり、適応オフセットフィルタのパラメータであるsao_param()がまとめて配置されている。
【０１４２】
したがって、ファームウエアによる符号化パラメータの復号が終わると、ファームウエアは、ハードウエアにalf_cu_control_param()の算術復号を行わせる。ハードウエアは、算術復号が終わったところで、復号済みのalf_cu_control_param()を、ファームウエアに返す。また、ファームウエアは、ハードウエアにsao_param()の算術復号を行わせる。ハードウエアは、算術復号が終わったところで、復号済みのsao_param()を、ファームウエアに返す。
【０１４３】
すなわち、ハードウエアは、算術符号化パラメータの復号をまとめて行う。
【０１４４】
図１１は、図７を参照して上述した本技術のストリームを処理する場合のタイミングチャートを示す図である。図７に示されるシンタックスの場合も同様である。すなわち、図１１の例の場合、図７のシンタックスにおいては、まず、可変長符号化または固定長符号化が行われている符号化パラメータがまとめて配置されているので、ファームウエアは、符号化パラメータを復号する。
【０１４５】
次に、シンタックスには、適応ループフィルタのパラメータであるalf_cu_control_param()と、適応オフセットフィルタのパラメータであるsao_param()と、量子化マトリックスパラメータであるqmatrix_param()とがまとめて配置されている。alf_cu_control_param()、sao_param()、およびqmatrix_param()の、いずれのパラメータも、算術符号化パラメータである。
【０１４６】
したがって、ファームウエアによる符号化パラメータの復号が終わると、ファームウエアは、ハードウエアにalf_cu_control_param()の算術復号を行わせる。ハードウエアは、算術復号が終わったところで、復号済みのalf_cu_control_param()を、ファームウエアに返す。また、ファームウエアは、ハードウエアにsao_param()の算術復号を行わせる。ハードウエアは、算術復号が終わったところで、復号済みのsao_param()を、ファームウエアに返す。さらに、ファームウエアは、ハードウエアに量子化マトリックスパラメータであるqmatrix_param()の算術復号を行わせる。ハードウエアは、算術復号が終わったところで、復号済みのqmatrix_param()を、ファームウエアに返す。
【０１４７】
すなわち、ハードウエアは、算術符号化パラメータの復号をまとめて行う。
【０１４８】
以上のように、図１０および図１１の例の場合も、シンタックスにおいてまとめて配置された符号化パラメータがまとめて可変長（固定長）復号処理される。同様に、シンタックスにおいてまとめて配置された算術符号化パラメータがまとめて算術復号処理される。したがって、ファームウエアとハードウエアのやり取りがまとめて行われるので、復号の処理の効率がよくなり、処理を高速化することができる。
【０１４９】
ここで、算術符号化パラメータをまとめて（並べて）配置するとは、ファームウエア（ＦＷ)処理とハードウエア（ＨＷ）処理において、処理のやりとりがまとめて行われるように、算術符号化パラメータのシンタックスを配置することである。すなわち、算術符号化パラメータ（例えば、alf_cu_control_param()/sao_param()）をまとめて（並べて）配置するとは、図６および図７などに示されているように、算術符号化または算術復号を行う算術符号化パラメータの間に、可変長（または固定長）符号化・復号を行う符号化パラメータが配置されていない状態を意味する。
【０１５０】
同様に、可変長（または固定長）符号化・復号を行う符号化パラメータをまとめて（並べて）配置するとは、ファームウエア（ＦＷ)処理とハードウエア（ＨＷ）処理において、処理のやりとりがまとめて行われるように、可変長（または固定長）符号化・復号を行う符号化パラメータのシンタックスを配置することである。すなわち、符号化パラメータをまとめて（並べて）配置するとは、可変長（または固定長）符号化、または可変長（または固定長）復号を行う符号化パラメータの間に、算術符号化・復号を行う算術符号化パラメータが配置されていない状態を意味する。
【０１５１】
これにより、符号化パラメータを符号化、復号する際に、算術符号化・復号と可変長（固定長）符号化・可変長（固定長）復号の処理が集約されるため、符号化処理・復号処理の遅延を短縮することができる。
【０１５２】
［符号化処理全体の流れ］
次に、以上のような画像符号化装置１００により実行される各処理の流れについて説明する。最初に、図１２のフローチャートを参照して、画像符号化装置１００による符号化処理全体の流れの例を説明する。
【０１５３】
ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
【０１５４】
画面並べ替えバッファ１０２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ１１２から読み出され、選択部１１３を介してイントラ予測部１１４に供給される。
【０１５５】
これらの画像に基づいて、ステップＳ１０３において、イントラ予測部１１４は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロックフィルタ１１１、適応オフセット部１２１、および適応ループフィルタ１２２によりフィルタされていない画素が用いられる。
【０１５６】
この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部１１６に供給される。
【０１５７】
画面並べ替えバッファ１０２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ１１２から読み出され、選択部１１３を介して動き予測・補償部１１５に供給される。これらの画像に基づいて、ステップＳ１０４において、動き予測・補償部１１５は、動き予測・補償処理を行う。
【０１５８】
この処理により、候補となる全てのインター予測モードで動き予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出され、算出したコスト関数値に基づいて、最適インター予測モードが決定される。そして、最適インター予測モードにより生成された予測画像とそのコスト関数値が予測画像選択部１１６に供給される。
【０１５９】
ステップＳ１０５において、予測画像選択部１１６は、イントラ予測部１１４および動き予測・補償部１１５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部１１６は、決定した最適予測モードの予測画像を選択し、演算部１０３，１１０に供給する。この予測画像は、後述するステップＳ１０６，Ｓ１１１の演算に利用される。
【０１６０】
なお、この予測画像の選択情報は、イントラ予測部１１４または動き予測・補償部１１５に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部１１４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測に関するパラメータ）を、可逆符号化部１０６に供給する。
【０１６１】
最適インター予測モードの予測画像が選択された場合、動き予測・補償部１１５は、最適インター予測モードを示す情報と、最適インター予測モードに応じた情報（すなわち、動き予測に関するパラメータ）を可逆符号化部１０６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報や参照フレーム情報などがあげられる。
【０１６２】
ステップＳ１０６において、演算部１０３は、ステップＳ１０２で並び替えられた画像と、ステップＳ１０５で選択された予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部１１５から、イントラ予測する場合はイントラ予測部１１４から、それぞれ予測画像選択部１１６を介して演算部１０３に供給される。
【０１６３】
差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
【０１６４】
ステップＳ１０７において、直交変換部１０４は演算部１０３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。
【０１６５】
ステップＳ１０８において、量子化部１０５は変換係数を量子化する。この量子化に際しては、後述するステップＳ１１８の処理で説明されるように、レートが制御される。
【０１６６】
以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０９において、逆量子化部１０８は、量子化部１０５により量子化された変換係数を量子化部１０５の特性に対応する特性で逆量子化する。ステップＳ１１０において、逆直交変換部１０９は、逆量子化部１０８により逆量子化された変換係数を直交変換部１０４の特性に対応する特性で逆直交変換する。
【０１６７】
ステップＳ１１１において、演算部１１０は、予測画像選択部１１６を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された（すなわち、ローカルデコードされた）画像（演算部１０３への入力に対応する画像）を生成する。
【０１６８】
ステップＳ１１２においてデブロックフィルタ１１１は、演算部１１０より出力された画像に対して、デブロックフィルタ処理を行う。これによりブロック歪みが除去される。デブロックフィルタ１１１からの復号画像は、適応オフセット部１２１に出力される。
【０１６９】
ステップＳ１１３において、適応オフセット部１２１は、適応オフセット処理を行う。すなわち、適応オフセット部１２１は、デブロックフィルタ１１１からの復号画像を基に、quad-tree構造を決定し、quad-tree分割された領域のオフセット値を算出する。適応オフセット部１２１は、quad-tree分割された領域に対して、オフセットフィルタ処理を施し、オフセット後の画素値を適応ループフィルタ１２２に供給する。
【０１７０】
適応オフセット部１２１は、quad-tree構造とオフセット値を、適応オフセットフィルタのパラメータとして、可逆符号化部１０６に供給する。
【０１７１】
ステップＳ１１４において、適応ループフィルタ１２２は、適応フィルタ係数を算出し算出した適応フィルタ係数を用いて、オフセット処理後の画素値に対して、適応ループフィルタ処理を行う。適応フィルタ処理後の画素値は、フレームメモリ１１２に出力される。
【０１７２】
適応ループフィルタ１２２は、算出した適応フィルタ係数を、適応ループフィルタのパラメータとして、可逆符号化部１０６に供給する。
【０１７３】
ステップＳ１１５においてフレームメモリ１１２は、フィルタリングされた画像を記憶する。なお、フレームメモリ１１２には、デブロックフィルタ１１１、適応オフセット部１２１、および適応ループフィルタ１２２によりフィルタされていない画像も演算部１１０から供給され、記憶される。
【０１７４】
一方、上述したステップＳ１０８において量子化された変換係数は、可逆符号化部１０６にも供給される。ステップＳ１１６において、可逆符号化部１０６は、量子化部１０５より出力された量子化された変換係数と、供給された各パラメータを符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。
【０１７５】
この符号化処理の詳細は、図１３を参照して後述するが、供給されたパラメータのうち、スライスまたはピクチャ単位で符号化処理を制御する算術符号化パラメータ以外の符号化パラメータは、可変長（または固定長）符号化され、所定の順でヘッダに付加される。一方、供給されたパラメータのうち、スライスまたはピクチャ単位で符号化処理を制御する算術符号化パラメータは、算術符号化され、スライスヘッダのエンドまたはスライスデータのトップに付加される。
【０１７６】
ステップＳ１１７において蓄積バッファ１０７は、符号化された差分画像（すなわち、符号化ストリーム）を、圧縮画像として蓄積する。蓄積バッファ１０７に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。
【０１７７】
ステップＳ１１８においてレート制御部１１７は、蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
【０１７８】
ステップＳ１１８の処理が終了すると、符号化処理が終了される。
【０１７９】
［符号化処理の流れ］
次に、図１３のフローチャートを参照して、図１２のステップＳ１１６において実行される可逆符号化部１０６による符号化処理の流れの例を説明する。
【０１８０】
画像符号化装置１００の各部から、各種パラメータが、VLC符号化部１３１に供給される。例えば、イントラ予測部１１４は、イントラ予測モードを示す情報などのイントラ予測に関するパラメータをVLC符号化部１３１に供給する。例えば、動き予測・補償部１１５は、インター予測モードを示す情報、動きベクトル情報、参照フレーム情報、フラグ情報などの動き予測に関するパラメータをVLC符号化部１３１に供給する。
【０１８１】
例えば、適応オフセット部１２１は、quad-tree構造やオフセット値などの適応オフセットフィルタに関するパラメータをVLC符号化部１３１に供給する。例えば、適応ループフィルタ１２２は、適応ループフィルタ係数などの適応ループフィルタに関するパラメータをVLC符号化部１３１に供給する。なお、図示は省略されているが、slice_typeやslice_qp_deltaも供給され、量子化部１０５からの量子化パラメータなども供給される。
【０１８２】
また、量子化部１０５は、量子化された変換係数もVLC符号化部１３１に供給する。
【０１８３】
VLC符号化部１３１は、ステップＳ１３１において、供給されたパラメータにおいて、CABACの初期化に必要な初期化パラメータであるslice_typeおよびslice_qp_deltaが揃うまで待機している。VLC符号化部１３１は、ステップＳ１３１において、slice_typeおよびslice_qp_deltaが揃ったと判定した場合、slice_typeおよびslice_qp_deltaのパラメータを、CABAC符号化部１３４に供給し、符号化制御部１３２にその通知を行う。
【０１８４】
これに対応して、符号化制御部１３２は、ステップＳ１３２において、CABAC符号化部１３４に初期化を行わせる。CABAC符号化部１３４は、初期化を終了すると、それを、符号化制御部１３２に通知する。これ以降、どのタイミングでも、CABAC符号化を行うことができる。
【０１８５】
ステップＳ１３３において、VLC符号化部１３１は、供給されたパラメータから、符号化対象のパラメータを取得する。VLC符号化部１３１は、ステップＳ１３４において、取得したパラメータが、適応オフセットフィルタのパラメータであるsao_param()または適応ループフィルタのパラメータalf_cu_control_param()であるか否かを判定する。すなわち、ステップＳ１３４においては、取得したパラメータが、算術符号化パラメータであるか否かが判定される。
【０１８６】
ステップＳ１３４において、取得したパラメータが、適応オフセットフィルタのパラメータであるsao_param()および適応ループフィルタのパラメータalf_cu_control_param()（すなわち、算術符号化パラメータ）ではないと判定された場合、処理は、ステップＳ１３５に進む。
【０１８７】
ステップＳ１３５において、VLC符号化部１３１は、ステップＳ１３３において取得したパラメータを、VLC符号化（可変長または固定長符号化）する。VLC符号化部１３１は、符号化した符号化パラメータを、設定部１３３に供給する。
【０１８８】
ステップＳ１３４において、取得したパラメータが、適応オフセットフィルタのパラメータであるsao_param()または適応ループフィルタのパラメータalf_cu_control_param()（すなわち、算術符号化パラメータ）であると判定された場合、処理は、ステップＳ１３６に進む。VLC符号化部１３１は、ステップＳ１３３で取得したパラメータを、CABAC符号化部１３４に供給するとともに、符号化制御部１３２にその旨を通知する。
【０１８９】
ステップＳ１３６において、CABAC符号化部１３４は、符号化制御部１３２の制御のもと、ステップＳ１３３で取得したパラメータを、CABAC符号化（算術符号化）する。すなわち、ここで算術符号化されるパラメータは、算術符号化パラメータであって、適応オフセットフィルタのパラメータsao_param()または適応ループフィルタのパラメータalf_cu_control_param()である。CABAC符号化部１３４は、符号化した算術符号化パラメータを、設定部１３３に供給するとともに、符号化の終了を、符号化制御部１３２に通知する。符号化制御部１３２は、VLC符号化部１３１に、終了を通知する。
【０１９０】
ステップＳ１３７において、VLC符号化部１３１は、パラメータの符号化がすべて終了したか否かを判定し、まだ終了していないと判定した場合、処理は、ステップＳ１３３に戻り、それ以降の処理が繰り返される。
【０１９１】
ステップＳ１３７において、パラメータの符号化がすべて終了したと判定された場合、処理は、ステップＳ１３８に進む。VLC符号化部１３１は、量子化部１０５からの変換係数を、CABAC符号化部１３４に供給するとともに、符号化制御部１３２にその旨を通知する。
【０１９２】
ステップＳ１３８において、CABAC符号化部１３４は、符号化制御部１３２の制御のもと、データ（変換係数）をCABAC符号化（算術符号化）し、符号化したデータを、設定部１３３に供給するとともに、符号化の終了を、符号化制御部１３２に通知する。
【０１９３】
設定部１３３には、VLC符号化部１３１により符号化された符号化パラメータ、CABAC符号化部１３４により符号化された算術符号化パラメータ、または、CABAC符号化部１３４により符号化されたデータが供給されている。ステップＳ１３９において、設定部１３３は、符号化されたパラメータおよび符号化されたデータを、図４または図５の順番に設定して、配置し、スライスヘッダおよびスライスデータを生成する。
【０１９４】
設定部１３３は、生成したスライスヘッダおよびスライスデータを、蓄積バッファ１０７に供給する。ステップＳ１３９の処理の後、処理は、図１２のステップＳ１１６に戻る。
【０１９５】
以上のように、スライスまたはピクチャ単位で符号化処理を制御する算術符号化パラメータをスライスヘッダのエンドまたはスライスデータのトップに配置することにより、符号化処理を高速化することができる。
【０１９６】
＜２．第２の実施の形態＞
［画像復号装置］
図１４は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図１４に示される画像復号装置２００は、図１の画像符号化装置１００に対応する復号装置である。
【０１９７】
画像符号化装置１００より符号化された符号化データは、所定の伝送路を介して、この画像符号化装置１００に対応する画像復号装置２００に伝送され、復号されるものとする。
【０１９８】
図１４に示されるように、画像復号装置２００は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、デブロックフィルタ２０６、画面並べ替えバッファ２０７、およびD/A変換部２０８を有する。また、画像復号装置２００は、フレームメモリ２０９、選択部２１０、イントラ予測部２１１、動き予測・補償部２１２、および選択部２１３を有する。
【０１９９】
さらに、画像復号装置２００は、適応オフセット部２２１および適応ループフィルタ２２２を有する。
【０２００】
蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。この符号化データは、画像符号化装置１００により符号化されたものである。可逆復号部２０２は、蓄積バッファ２０１から所定のタイミングで読み出された符号化データを、図１の可逆符号化部１０６の符号化方式に対応する方式で復号する。可逆復号部２０２は、スライスヘッダおよびスライスデータの順に復号する。
【０２０１】
すなわち、可逆復号部２０２は、符号化側からのパラメータのうち、スライスまたはピクチャ単位で復号処理をコントロールする算術符号化パラメータに対しては、算術符号化されているので、算術復号を行う。可逆復号部２０２は、それ以外の符号化パラメータに対しては可変長または固定長符号化されているので、可変長または固定長復号を行う。
【０２０２】
可逆復号部２０２は、復号されたイントラ予測モードを示す情報などのパラメータをイントラ予測部２１１に供給し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部２１２に供給する。可逆復号部２０２は、適応オフセットフィルタのパラメータを、適応オフセット部２２１に供給し、適応ループフィルタのパラメータを適応ループフィルタ２２２に供給する。
【０２０３】
逆量子化部２０３は、可逆復号部２０２により復号されて得られた係数データ（量子化係数）を、図１の量子化部１０５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部２０３は、画像符号化装置１００から供給された量子化パラメータを用いて、図１の逆量子化部１０８と同様の方法で量子化係数の逆量子化を行う。
【０２０４】
逆量子化部２０３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部２０４に供給する。逆直交変換部２０４は、図１の直交変換部１０４の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置１００において直交変換される前の残差データに対応する復号残差データを得る。
【０２０５】
逆直交変換されて得られた復号残差データは、演算部２０５に供給される。また、演算部２０５には、選択部２１３を介して、イントラ予測部２１１若しくは動き予測・補償部２１２から予測画像が供給される。
【０２０６】
演算部２０５は、その復号残差データと予測画像とを加算し、画像符号化装置１００の演算部１０３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部２０５は、その復号画像データをデブロックフィルタ２０６に供給する。
【０２０７】
デブロックフィルタ２０６は、画像符号化装置１００のデブロックフィルタ１１１と基本的に同様に構成される。デブロックフィルタ２０６は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ２０６は、そのフィルタ処理結果を、適応オフセット部２２１に供給する。
【０２０８】
画面並べ替えバッファ２０７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２０８は、画面並べ替えバッファ２０７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
【０２０９】
デブロックフィルタ２０６の出力は、さらに、フレームメモリ２０９に供給される。
【０２１０】
フレームメモリ２０９、選択部２１０、イントラ予測部２１１、動き予測・補償部２１２、および選択部２１３は、画像符号化装置１００のフレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測・補償部１１５、および予測画像選択部１１６にそれぞれ対応する。
【０２１１】
選択部２１０は、インター処理される画像と参照される画像をフレームメモリ２０９から読み出し、動き予測・補償部２１２に供給する。また、選択部２１０は、イントラ予測に用いられる画像をフレームメモリ２０９から読み出し、イントラ予測部２１１に供給する。
【０２１２】
イントラ予測部２１１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部２０２から適宜供給される。イントラ予測部２１１は、この情報に基づいて、フレームメモリ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。
【０２１３】
動き予測・補償部２１２には、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）が可逆復号部２０２から供給される。
【０２１４】
動き予測・補償部２１２は、可逆復号部２０２から供給されるそれらの情報に基づいて、フレームメモリ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。
【０２１５】
選択部２１３は、動き予測・補償部２１２またはイントラ予測部２１１により生成された予測画像を選択し、演算部２０５に供給する。
【０２１６】
適応オフセット部２２１には、可逆復号部２０２からの適応オフセットパラメータであるquad-tree構造およびオフセット値が供給される。適応オフセット部２２１は、それらの情報を用いて、デブロックフィルタ２０６からの復号画像の画素値に対してオフセットフィルタ処理を行う。適応オフセット部２２１は、オフセット処理後の画像を、適応ループフィルタ２２２に供給する。
【０２１７】
適応ループフィルタ２２２は、可逆復号部２０２から供給された適応ループフィルタのパラメータである適応フィルタ係数を用いて、適応オフセット部２２１からの復号画像にフィルタ処理を行う。このフィルタとして、例えば、ウィナーフィルタ（Wiener Filter）が用いられる。適応ループフィルタ２２２は、フィルタ後の画像を、画面並べ替えバッファ２０７およびフレームメモリ２０９に供給する。
【０２１８】
［可逆復号部の構成例］
次に、画像復号装置２００の各部について説明する。図１５は、可逆復号部２０２の構成例を示すブロック図である。
【０２１９】
図１５の例において、可逆復号部２０２は、VLC(Variable Length Coding）復号部２３１、復号制御部２３２、取得部２３３、およびCABAC（Context-Adaptive Binary Arithmetic Coding）復号部２３４を含むように構成される。なお、取得部２３３は、VLC復号部２３１に内蔵されている。
【０２２０】
可逆復号部２０２を構成する各部のうち、VLC復号部２３１、復号制御部２３２、および取得部２３３は、図示せぬCPUなどにより実行されることで、ファームウエア２４１として実現される。可逆復号部２０２を構成する各部のうち、比較的重い処理を行うCABAC復号部２３４は、ロジックを組むことなどにより、ハードウエア２４２として実現される。
【０２２１】
VLC復号部２３１には、蓄積バッファ２０１から所定のタイミングで読み出された符号化データが供給される。
【０２２２】
VLC復号部２３１には、取得部２３３が内蔵されている。取得部２３３は、符号化データから、復号対象の符号化されているパラメータを取得する。VLC復号部２３１は、取得部２３３により取得されたスライスまたはピクチャ単位で復号処理を制御する算術符号化パラメータ以外の符号化パラメータに対して、図２のVLC符号化部１３１の符号化に対応する、可変長復号または固定長復号処理を行う。
【０２２３】
VLC復号部２３１は、取得部２３３により取得されたパラメータのうち、スライスまたはピクチャ単位で復号処理を制御する算術符号化パラメータをCABAC復号部２３４に供給し、その旨を復号制御部２３２に通知する。VLC復号部２３１は、符号化パラメータでもある、初期化パラメータをCABAC復号部２３４に供給し、その旨を復号制御部２３２に通知する。
【０２２４】
VLC復号部２３１は、CABAC復号部２３４により算術復号されたパラメータを受け取る。VLC復号部２３１は、復号したパラメータおよびCABAC復号部２３４により算術復号されたパラメータを画像復号装置２００の対応する各部に供給する。
【０２２５】
例えば、予測モード情報がイントラ予測モード情報である場合、可変長復号または固定長復号された予測モード情報は、イントラ予測部２１１に供給される。予測モード情報がインター予測モード情報である場合、可変長復号または固定長復号された予測モード情報と対応する動きベクトル情報などは、動き予測・補償部２１２に供給される。
【０２２６】
例えば、算術復号された適応オフセットフィルタに関するパラメータは、適応オフセット部２２１に供給される。算術復号された適応ループフィルタに関するパラメータは、適応ループフィルタ２２２に供給される。
【０２２７】
復号制御部２３２は、VLC復号部２３１からの通知に対応して、CABAC復号部２３４に初期化処理や復号処理を開始させる。復号制御部２３２は、CABAC復号部２３４からの通知に対応して、VLC復号部２３１に復号処理を開始させる。
【０２２８】
CABAC復号部２３４は、復号制御部２３２の制御のもと、VLC復号部２３１からの初期化に必要な初期化パラメータを用いて初期化する。CABAC復号部２３４は、復号制御部２３２の制御のもと、VLC復号部２３１からの符号化された算術符号化パラメータおよびデータ（変換係数）を、図２のCABAC符号化部１３４の算術符号化に対応する算術復号を行う。CABAC復号部２３４は、算術復号されたパラメータを、VLC復号部２３１に供給する。
【０２２９】
CABAC復号部２３４は、算術復号されたデータ（量子化された直交変換係数）を、逆量子化部２０３に供給する。
【０２３０】
［復号処理全体の流れ］
次に、以上のような画像復号装置２００により実行される各処理の流れについて説明する。最初に、図１６のフローチャートを参照して、画像復号装置２００の復号処理全体の流れの例を説明する。
【０２３１】
復号処理が開始されると、ステップＳ２０１において、蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。ステップＳ２０２において、可逆復号部２０２は、蓄積バッファ２０１から供給される符号化データを復号する。この復号処理の詳細は、図１７を参照して後述するが、図１の可逆符号化部１０６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
【０２３２】
ピクチャの復号に先立ち、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）、並びに、適応オフセットフィルタおよび適応ループフィルタのパラメータ等のパラメータの情報も復号される。このとき、スライスヘッダに付加されているパラメータのうち、スライスまたはピクチャ単位で符号化処理を制御する算術符号化パラメータ以外の符号化パラメータは、可変長（または固定長）復号される。一方、スライスヘッダのエンドまたはスライスデータのトップに付加されている、スライスまたはピクチャ単位で復号処理を制御する算術符号化パラメータは、算術復号される。スライスまたはピクチャ単位で復号処理を制御する算術符号化パラメータは、図２を参照して上述したように、適応オフセットフィルタに関するパラメータや、適応ループフィルタに関するパラメータなどである。
【０２３３】
予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部２１１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報などは、動き予測・補償部２１２に供給される。適応オフセットフィルタに関するパラメータは、適応オフセット部２２１に供給される。適応ループフィルタに関するパラメータは、適応ループフィルタ２２２に供給される。
【０２３４】
ステップＳ２０３において、イントラ予測部２１１または動き予測・補償部２１２は、可逆復号部２０２から供給される予測モード情報に対応して、それぞれ、予測画像生成処理を行う。
【０２３５】
すなわち、可逆復号部２０２からイントラ予測モード情報が供給された場合、イントラ予測部２１１は、Most Probable Modeの生成を行い、並列処理により、イントラ予測モードのイントラ予測画像を生成する。可逆復号部２０２からインター予測モード情報が供給された場合、動き予測・補償部２１２は、インター予測モードの動き予測・補償処理を行い、インター予測画像を生成する。
【０２３６】
この処理により、イントラ予測部２１１により生成された予測画像（イントラ予測画像）、または動き予測・補償部２１２により生成された予測画像（インター予測画像）が選択部２１３に供給される。
【０２３７】
ステップＳ２０４において、選択部２１３は予測画像を選択する。すなわち、イントラ予測部２１１により生成された予測画像、または動き予測・補償部２１２により生成された予測画像が供給される。したがって、供給された予測画像が選択されて演算部２０５に供給され、後述するステップＳ２０７において逆直交変換部２０４の出力と加算される。
【０２３８】
上述したステップＳ２０２において、可逆復号部２０２により復号された変換係数は、逆量子化部２０３にも供給される。ステップＳ２０５において、逆量子化部２０３は可逆復号部２０２により復号された変換係数を、図１の量子化部１０５の特性に対応する特性で逆量子化する。
【０２３９】
ステップＳ２０６において逆直交変換部１０９は、逆量子化部１０８により逆量子化された変換係数を、図１の直交変換部１０４の特性に対応する特性で逆直交変換する。これにより図１の直交変換部１０４の入力（演算部１０３の出力）に対応する差分情報が復号されたことになる。
【０２４０】
ステップＳ２０７において、演算部２０５は、上述したステップＳ２０４の処理で選択され、選択部２１３を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。ステップＳ２０８においてデブロックフィルタ２０６は、演算部１１０より出力された画像に対して、デブロックフィルタ処理を行う。これにより、画面全体におけるブロック歪みが除去される。フィルタ後の画像は、適応オフセット部２２１に供給される。
【０２４１】
ステップＳ２０９において、適応オフセット部２２１は、適応オフセット処理を行う。この処理により、可逆復号部２０２からの適応オフセットフィルタのパラメータであるquad-tree構造およびオフセット値が用いられて、デブロック後の画像にオフセットフィルタ処理が施される。オフセット後の画素値は、適応ループフィルタ２２２に供給される。
【０２４２】
ステップＳ２１０において、適応ループフィルタ２２２は、可逆復号部２０２からの適応ループフィルタのパラメータである適応フィルタ係数を用いて、オフセット処理後の画素値に対して、適応ループフィルタ処理を行う。適応フィルタ処理後の画素値は、画面並べ替えバッファ２０７およびフレームメモリ２０９に出力される。
【０２４３】
ステップＳ２１１においてフレームメモリ２０９は、適応フィルタリングされた画像を記憶する。
【０２４４】
ステップＳ２１２において、画面並べ替えバッファ２０７は、適応ループフィルタ２２２後の画像の並べ替えを行う。すなわち画像符号化装置１００の画面並べ替えバッファ１０２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０２４５】
ステップＳ２１３において、D/A変換部２０８は、画面並べ替えバッファ２０７からの画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
【０２４６】
ステップＳ２１３の処理が終了すると、復号処理が終了される。
【０２４７】
［復号処理の流れ］
次に、図１７のフローチャートを参照して、図１６のステップＳ２０２において実行される可逆復号部２０２による復号処理の流れの例を説明する。
【０２４８】
蓄積バッファ２０１から所定のタイミングで読み出された符号化データが、VLC復号部２３１に供給される。符号化データのスライスヘッダおよびスライスデータは、上述した図４または図５のように構成されている。
【０２４９】
ステップＳ２３１において、VLC復号部２３１の取得部２３３は、スライスヘッダから、復号対象の符号化されている符号化パラメータを取得する。VLC復号部２３１は、ステップＳ２３２において、取得部２３３により取得された符号化パラメータを、VLC復号する。
【０２５０】
ステップＳ２３３において、VLC復号部２３１は、符号化パラメータであって、CABACの初期化に必要な初期化パラメータであるslice_typeおよびslice_qp_deltaが揃ったか否かを判定する。例えば、図４のように、スライスヘッダが構成されていれば、トップ辺りで、slice_typeおよびslice_qp_deltaの復号が終わり、slice_typeおよびslice_qp_deltaが揃う。
【０２５１】
ステップＳ２３３において、slice_typeおよびslice_qp_deltaが揃ってないと判定された場合、処理は、ステップＳ２３１に戻り、それ以降の処理が繰り返される。ステップＳ２３３において、slice_typeおよびslice_qp_deltaが揃ったと判定された場合、slice_typeおよびslice_qp_deltaのパラメータを、CABAC復号部２３４に供給し、復号制御部２３２にその通知を行う。
【０２５２】
これに対応して、復号制御部２３２は、ステップＳ２３４において、CABAC復号部２３４に初期化を行わせる。CABAC復号部２３４は、初期化を終了すると、それを、復号制御部２３２に通知する。これ以降、どのタイミングでも、CABAC復号を行うことができる。
【０２５３】
ステップＳ２３５において、さらに、取得部２３３は、スライスヘッダから、復号対象の符号化されているパラメータを取得する。VLC復号部２３１は、ステップＳ２３６において、取得部２３３により取得されたパラメータが、適応オフセットフィルタのパラメータであるsao_param()または適応ループフィルタのパラメータalf_cu_control_param()（すなわち、算術符号化パラメータ）であるか否かを判定する。適応オフセットフィルタのパラメータであるsao_param()または適応ループフィルタのパラメータalf_cu_control_param()は、スライスヘッダのエンドかスライスデータのトップに設定されている。したがって、取得部２３３がこれらのパラメータを取得するのは、スライスヘッダのエンドかスライスデータのトップからである。
【０２５４】
ステップＳ２３６において、取得したパラメータが、適応オフセットフィルタのパラメータであるsao_param()および適応ループフィルタのパラメータalf_cu_control_param()（すなわち、算術符号化パラメータ）ではないと判定された場合、処理は、ステップＳ２３７に進む。
【０２５５】
ステップＳ２３７において、VLC復号部２３１は、ステップＳ２３５において取得したパラメータを、VLC復号（可変長または固定長復号）する。
【０２５６】
ステップＳ２３６において、取得したパラメータが、適応オフセットフィルタのパラメータであるsao_param()または適応ループフィルタのパラメータalf_cu_control_param()（すなわち、算術符号化パラメータ）であると判定された場合、処理は、ステップＳ２３８に進む。VLC復号部２３１は、ステップＳ２３５で取得したパラメータを、CABAC復号部２３４に供給するとともに、復号制御部２３２にその旨を通知する。
【０２５７】
ステップＳ２３８において、CABAC復号部２３４は、復号制御部２３２の制御のもと、ステップＳ２３５で取得したパラメータを、CABAC復号（算術復号）する。すなわち、ここで算術復号されるパラメータは、算術符号化パラメータであって、適応オフセットフィルタのパラメータsao_param()または適応ループフィルタのパラメータalf_cu_control_param()である。CABAC復号部２３４は、復号したパラメータを、VLC復号部２３１に供給するとともに、復号の終了を、復号制御部２３２に通知する。復号制御部２３２は、VLC復号部２３１に、終了を通知する。
【０２５８】
ステップＳ２３９において、VLC復号部２３１は、パラメータの復号がすべて終了したか否かを判定し、まだ終了していないと判定した場合、処理は、ステップＳ２３５に戻り、それ以降の処理が繰り返される。
【０２５９】
ステップＳ２３９において、パラメータの復号がすべて終了したと判定された場合、処理は、ステップＳ２４０に進む。VLC復号部２３１は、蓄積バッファ２０１からの符号化されたデータである変換係数を、CABAC復号部２３４に供給するとともに、復号制御部２３２にその旨を通知する。
【０２６０】
なお、復号されたパラメータは、VLC復号部２３１において蓄積され、変換係数の復号にも利用される。この復号されたパラメータは、パラメータの復号がすべて終わったこのときに、画像復号装置２００の対応する各部へ供給されるようにしてもよいし、復号が終わったその都度、画像復号装置２００の対応する各部へ供給されるようにしてもよい。
【０２６１】
ステップＳ２４０において、CABAC復号部２３４は、復号制御部２３２の制御のもと、データ（変換係数）をCABAC復号（算術復号）し、復号したデータを、逆量子化部２０３に供給するとともに、復号の終了を、復号制御部２３２に通知する。ステップＳ２４０の処理の後、処理は、図１６のステップＳ２０２に戻る。
【０２６２】
なお、図１７の例においては、ステップＳ２３６において、sao_param()またはalf_cu_control_param()であるか否かを判定するようにしたが、単に、算術符号化されているか、可変長（固定長）符号化されているか、符号化の種類で判定するようにしてもよい。
【０２６３】
以上のように、スライスまたはピクチャ単位で符号化処理または復号処理を制御する算術符号化パラメータをスライスヘッダのエンドまたはスライスデータのトップに配置することにより、復号処理を高速化することができる。
【０２６４】
［シンタックスの例］
図１８は、画像符号化装置１００により生成されるスライスヘッダのシンタックスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
【０２６５】
図１８のシンタックスにおいては、スライスまたはピクチャ単位で符号化処理または復号処理を制御する算術符号化パラメータが、スライスデータのトップにまとめて配置されている例が示されている。
【０２６６】
図１８の例において、第４行目にslice_typeが設定されている。このslice_typeは、このスライスがＩスライス、Ｐスライス、およびＢスライスのうちのどのスライスであるかを示すものであり、上述したように、CABACの初期化に必要なパラメータである。
【０２６７】
第２５行目に、cabac_init_idcが設定されている。cabac_init_idc は、H．264/AVC方式においてcabacのテーブルの設定に用いられたが、現在のところ、HEVC方式においてはその使用が決まっていない。
【０２６８】
第３０行目にslice_qp_deltaが設定されている。このslice_qp_deltaは、上述したように、CABACの初期化に必要なパラメータである。
【０２６９】
第３１乃至第３２行目にif(sample_adaptive_offset_enabled_flag)sao_param()として、sao_param()が設定されている。このsao_param()は、適応オフセットフィルタのパラメータである。すなわち、図１８の例においては、このパラメータすべてではなく、このパラメータのうち、スライスまたはピクチャ単位で符号化処理または復号処理を制御するパラメータが、スライスデータのトップに配置が変更されている。その詳細については、図１９および図２０を参照して後述される。
【０２７０】
第４４行目にalf_param()が設定されている。従来の例においては、このalf_param()の後に、alf_cu_control_param()が設定されていたが、図１８の例においては、スライスデータのトップに配置が移動されている。
【０２７１】
なお、図１８の例においては、sao_param()のうち、スライスまたはピクチャ単位で符号化処理を制御する算術符号化パラメータが、スライスデータのトップに配置が変更されている。したがって、第３０行目にslice_qp_deltaがあっても、その直後に、スライスまたはピクチャ単位で符号化処理または復号処理を制御するパラメータがないので、第３０行目のslice_qp_deltaは、あえて移動されていない。
【０２７２】
図１９は、画像符号化装置１００により生成されるsao_param()のシンタックスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
【０２７３】
図１９の例においては、第２行目のsample_adaptive_offset_flagは、適応オフセットフィルタを行うか否かのフラグである。従来は、このフラグの直後に、スライスまたはピクチャ単位で符号化処理または復号処理を制御する算術符号化パラメータがあったが、図１９の例においては、移動されている。
【０２７４】
すなわち、図１９のsao_param()のうち、if文はVLC符号化したほうがいいので、単に読むだけの、後述する図２０の第６乃至第９行目のパラメータをスライスデータのトップに移動し、sample_adaptive_offset_flagはそのままの位置に設定されている。
【０２７５】
図２０は、画像符号化装置１００により生成されるスライスデータのシンタックスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
【０２７６】
図２０の例においては、第４および第５行目に、if(adaptive_loop_filter_enabled_flag) alf_cu_control_param()として、alf_cu_control_param()が設定されている。このalf_cu_control_param()は、適応ループフィルタのパラメータのうち、スライスまたはピクチャ単位で符号化処理または復号処理を制御する算術符号化パラメータであり、スライスデータのトップに設定されている。
【０２７７】
第６乃至第９行目に、if(sample_adaptive_offset_flag){sao_split_param(0,0,0) sao_offset_param(0,0,0)}として、sao_split_param(0,0,0) sao_offset_param(0,0,0)が設定されている。このパラメータが、適応オフセットフィルタのパラメータのうち、スライスまたはピクチャ単位で符号化処理または復号処理を制御する算術符号化パラメータであり、スライスデータのトップに設定されている。
【０２７８】
［シンタックスの他の例］
図２１は、画像符号化装置１００により生成されるスライスヘッダのシンタックスの他の例を示す図である。各行の左端の数字は説明のために付した行番号である。
【０２７９】
図２１のシンタックスにおいては、スライスまたはピクチャ単位で符号化処理または復号処理を制御する算術符号化パラメータが、スライスヘッダのエンドにまとめて配置されている例が示されている。
【０２８０】
図２１の例において、第４行目にslice_typeが設定されている。このslice_typeは、このスライスがＩスライス、Ｐスライス、およびＢスライスのうちのどのスライスであるかを示すものであり、上述したように、CABACの初期化に必要なパラメータである。
【０２８１】
第２５行目に、cabac_init_idcが設定されている。cabac_init_idc は、H．264/AVC方式においてcabacのテーブルの設定に用いられたが、現在のところ、HEVC方式においてはその使用が決まっていない。
【０２８２】
第３０行目にslice_qp_deltaが設定されている。このslice_qp_deltaは、上述したように、CABACの初期化に必要なパラメータである。
【０２８３】
第４３行目に、alf_cu_control_param()が設定されている。このalf_cu_control_param()は、適応ループフィルタのパラメータのうち、スライスまたはピクチャ単位で符号化処理または復号処理を制御する算術符号化パラメータであり、スライスヘッダのエンドに設定されている。
【０２８４】
第４５および第４６行目にif(sample_adaptive_offset_enabled_flag)sao_param()として、sao_param()が設定されている。このsao_param()は、適応オフセットフィルタのパラメータであり、スライスまたはピクチャ単位で符号化処理または復号処理を制御する算術符号化パラメータであり、スライスヘッダのエンドに設定されている。
【０２８５】
なお、図２１の例においては、sao_param()が、スライスヘッダのエンドに配置が変更されている。したがって、第３０行目にslice_qp_deltaがあっても、その直後に、スライスまたはピクチャ単位で符号化処理または復号処理を制御するパラメータがないので、第３０行目のslice_qp_deltaは、あえて移動されていない。
【０２８６】
［シンタックスの他の例］
図２２は、画像符号化装置１００により生成されるスライスヘッダのシンタックスのさらに他の例を示す図である。各行の左端の数字は説明のために付した行番号である。
【０２８７】
図２２のシンタックスにおいては、スライスまたはピクチャ単位で符号化処理または復号処理を制御する算術符号化パラメータが、スライスヘッダのエンドにまとめて配置されている例が示されている。また、図２２のシンタックスにおいては、slice_qp_deltaの配置が移動され、CABACの初期化に必要なパラメータであるパラメータがまとめてヘッダのトップ付近にまとめて配置されている。
【０２８８】
図２２の例において、第４行目にslice_typeが設定されている。このslice_typeは、このスライスがＩスライス、Ｐスライス、およびＢスライスのうちのどのスライスであるかを示すものであり、上述したように、CABACの初期化に必要なパラメータである。
【０２８９】
第５行目にslice_qp_deltaが設定されている。このslice_qp_deltaは、slice_typeと同様に、CABACの初期化に必要なパラメータである。
【０２９０】
第２５行目に、cabac_init_idcが設定されている。cabac_init_idc は、H．264/AVC方式においてcabacのテーブルの設定に用いられたが、現在のところ、HEVC方式においてはその使用が決まっていない。なお、用いられる場合には、cabac_init_idc とまとめるために、slice_qp_deltaを、上述した図５に示したように、cabac_init_idcの直後においてもよい。また、cabac_init_idcも、slice_qp_deltaと一緒にslice_typeの直後におくようにしてもよい。
【０２９１】
第４３行目に、alf_cu_control_param()が設定されている。このalf_cu_control_param()は、適応ループフィルタのパラメータのうち、スライスまたはピクチャ単位で符号化処理または復号処理を制御する算術符号化パラメータであり、スライスヘッダのエンドに設定されている。
【０２９２】
第４５および第４６行目にif(sample_adaptive_offset_enabled_flag)sao_param()として、sao_param()が設定されている。このsao_param()は、適応オフセットフィルタのパラメータであり、スライスまたはピクチャ単位で符号化処理または復号処理を制御する算術符号化パラメータであり、スライスヘッダのエンドに設定されている。
【０２９３】
なお、上述した図１８乃至図２０の例においては、sao_param()の一部だけがスライスデータのトップに配置されていた。alf_cu_control_param()の場合も、図１８乃至図２０の例と同じようにすることができる。
【０２９４】
［シンタックスの他の例］
図２３は、alf_cu_control_param()のシンタックスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
【０２９５】
図２３の例においては、第７および第８行目に、for(i=0;i＜NumAlfCuFlag;i++)alf_cu_flag[i]として、alf_cu_flag[i]が設定されている。alf_cu_control_param()においては、このalf_cu_flag[i]だけが、スライスまたはピクチャ単位で符号化処理または復号処理を制御する算術符号化パラメータである。
【０２９６】
したがって、上述した図１８の例においては、alf_cu_control_param()をスライスデータのトップに配置したが、alf_cu_control_param()全体ではなく、alf_cu_control_param()のうちのalf_cu_flag[i]だけをスライスデータのトップに配置してもよい。このように、alf_cu_control_param()のうち、他のif文などがあるパラメータについては、VLC符号化することもできる。もちろん、図１８の例のように、alf_cu_control_param()をスライスデータのトップに配置したとしても、VLCとCABACを混在させてもいいし、すべてをスライスデータのトップに配置して、すべてをCABAC符号化するようにしてもよい。
【０２９７】
なお、図１８乃至図２３の例においては、スライスデータのエンドまたはスライスヘッダのトップにおいて、適応ループフィルタのパラメータalf_cu_control_param()の次に、適応オフセットフィルタのパラメータsao_param()を配置するようにした。ただし、これらは、一例であり、スライスデータのエンドまたはスライスヘッダのトップであれば、適応ループフィルタのパラメータの前に、適応オフセットフィルタのパラメータを配置するようにしてもよい。
【０２９８】
また、上記説明においては、スライスまたはピクチャ単位で符号化処理を制御する算術符号化パラメータとして、適応ループフィルタのパラメータalf_cu_control_param()と、適応オフセットフィルタのパラメータsao_param()を用いて説明したが、これらに限定されない。すなわち、本技術は、スライスまたはピクチャ単位で符号化処理または復号処理を制御するパラメータであって、算術符号化する算術符号化パラメータであれば、他のパラメータにも適用される。
【０２９９】
このような算術符号化パラメータを、スライスヘッダのエンドやスライスデータのトップにまとめておくよることにより、処理の高速化を図ることができる。スライスまたはピクチャ単位で符号化処理または復号処理を制御する他の算術符号化パラメータとしては、例えば、量子化マトリックスなどのパラメータがあげられる。
【０３００】
以上においては、符号化方式としてH．264/AVC方式やHEVC方式をベースに用いるようにした。ただし、本開示はこれに限らず、動き予測・補償ループ内に適応オフセットフィルタおよび適応ループフィルタの少なくともどちらか一方を含む、その他の符号化方式／復号方式を適用することができる。
【０３０１】
なお、本開示は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本開示は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
【０３０２】
＜３．第３の実施の形態＞
［多視点画像符号化・多視点画像復号への適用］
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図２４は、多視点画像符号化方式の一例を示す。
【０３０３】
図２４に示されるように、多視点画像は、複数の視点の画像を含み、その複数の視点のうちの所定の１つの視点の画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の画像は、ノンベースビューの画像として扱われる。
【０３０４】
図２４のような多視点画像符号化を行う場合、各ビュー（同一ビュー）において、算術符号化パラメータをまとめて配置することができる。また、各ビュー(異なるビュー)において、他のビューでまとめて配置された算術符号化パラメータを共有することもできる。
【０３０５】
この場合、ベースビューにおいてまとめて配置された算術符号化パラメータが、少なくとも１つのノンベースビューで用いられる。あるいは、例えば、ノンベースビュー(view_id=0)においてまとめて配置された算術符号化パラメータが、ベースビューおよびノンベースビュー(view_id=1)の少なくともどちらか一方で用いられる。
【０３０６】
さらに、各ビュー（同一ビュー）において、可変長（または固定長）符号化パラメータをまとめて配置することもできる。また、各ビュー（異なるビュー）において、他のビューでまとめて配置された可変長（または固定長）符号化パラメータを共有することもできる。
【０３０７】
この場合、ベースビューにおいてまとめて配置された可変長（または固定長）符号化パラメータが、少なくとも１つのノンベースビューで用いられる。あるいは、例えば、ノンベースビュー(view_id=0)においてまとめて配置された可変長（または固定長）符号化パラメータが、ベースビューおよびノンベースビュー(view_id=1)の少なくともどちらか一方で用いられる。
【０３０８】
これにより、算術符号化および算術復号の処理をまとめて効率的に行うことができる。また、可変長（固定長）符号化および可変長（固定長）復号の処理をまとめて効率的に行うことができる。
【０３０９】
［多視点画像符号化装置］
図２５は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図２５に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。
【０３１０】
符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。
【０３１１】
この多視点画像符号化装置６００の符号化部６０１および符号化部６０２に対して、画像符号化装置１００（図１）を適用することができる。この場合、多視点画像符号化装置６００は、符号化部６０１がまとめて配置した算術符号化パラメータと、符号化部６０２がまとめて配置した算術符号化パラメータとを設定して伝送させる。
【０３１２】
なお、上述したように符号化部６０１がまとめて配置した算術符号化パラメータを、符号化部６０１および符号化部６０２で共有して用いるように設定して伝送させるようにしてもよい。逆に、符号化部６０２がまとめて配置した算術符号化パラメータを、符号化部６０１および符号化部６０２で共有して用いるように設定して伝送させるようにしてもよい。以上のことは、可変長（または固定長）符号化パラメータの場合も同様である。
【０３１３】
［多視点画像復号装置］
図２６は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図２６に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。
【０３１４】
逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。
【０３１５】
この多視点画像復号装置６１０の復号部６１２および復号部６１３に対して、画像復号装置２００（図１４）を適用することができる。この場合、多視点画像復号装置６１０は、符号化部６０１がまとめて配置し、復号部６１２が復号した算術符号化パラメータと、符号化部６０２がまとめて配置し、復号部６１３が復号した算術符号化パラメータを用いて処理を行う。
【０３１６】
なお、上述したように符号化部６０１（または、符号化６０２）がまとめて配置した算術符号化パラメータを、符号化部６０１および符号化部６０２で共有して用いるように設定して伝送されている場合がある。この場合、多視点画像復号装置６１０においては、符号化部６０１（または、符号化６０２）がまとめて配置し、復号部６１２（または復号部６１３）が復号した算術符号化パラメータを用いて処理が行われる。以上のことは、可変長（または固定長）符号化パラメータの場合も同様である。
【０３１７】
＜４．第４の実施の形態＞
［階層画像符号化・階層画像復号への適用］
上述した一連の処理は、階層画像符号化・階層画像復号に適用することができる。図２７は、階層画像符号化方式の一例を示す。
【０３１８】
図２７に示されるように、階層画像は、複数の階層(解像度)の画像を含み、その複数の解像度のうちの所定の１つの階層の画像が、ベースレイヤの画像に指定されている。ベースレイヤの画像以外の各階層の画像は、ノンベースレイヤの画像として扱われる。
【０３１９】
図２７のような階層画像符号化(空間スケーラビリティ)を行う場合、各レイヤ(同一レイヤ)において、算術符号化パラメータをまとめて配置することができる。また、各レイヤ(異なるレイヤ)において、他のレイヤででまとめて配置された算術符号化パラメータをまとめて配置することができる。
【０３２０】
この場合、ベースレイヤにおいてまとめて配置された算術符号化パラメータが、少なくとも１つのノンベースレイヤで用いられる。あるいは、例えば、ノンベースレイヤ(layer _id=0)においてまとめて配置された算術符号化パラメータが、ベースレイヤおよびノンベースレイヤ(layer_id=1)の少なくともどちらか一方で用いられる。
【０３２１】
さらに、各レイヤ（同一レイヤ）において、可変長（または固定長）符号化パラメータをまとめて配置することもできる。また、各レイヤ（異なるレイヤ）において、他のレイヤでまとめて配置された可変長（または固定長）符号化パラメータを共有することもできる。
【０３２２】
この場合、ベースレイヤにおいてまとめて配置された可変長（または固定長）符号化パラメータが、少なくとも１つのノンベースレイヤで用いられる。あるいは、例えば、ノンベースレイヤ(layer _id=0)においてまとめて配置された可変長（または固定長）符号化パラメータが、ベースレイヤおよびノンベースレイヤ(layer_id=1)の少なくともどちらか一方で用いられる。
【０３２３】
これにより、算術符号化および算術復号の処理をまとめて効率的に行うことができる。また、可変長（固定長）符号化および可変長（固定長）復号の処理をまとめて効率的に行うことができる。
【０３２４】
［階層画像符号化装置］
図２８は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図２８に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。
【０３２５】
符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。
【０３２６】
この階層画像符号化装置６２０の符号化部６２１および符号化部６２２に対して、画像符号化装置１００（図１）を適用することができる。この場合、階層画像符号化装置６２０は、符号化部６２１がまとめて配置した算術符号化パラメータと、符号化部６０２がまとめて配置した算術符号化パラメータとを設定して伝送させる。
【０３２７】
なお、上述したように符号化部６２１がまとめて配置した算術符号化パラメータを、符号化部６２１および符号化部６２２で共有して用いるように設定して伝送させるようにしてもよい。逆に、符号化部６２２がまとめて配置した算術符号化パラメータを、符号化部６２１および符号化部６２２で共有して用いるように設定して伝送させるようにしてもよい。以上のことは、可変長（または固定長）符号化パラメータの場合も同様である。
【０３２８】
［階層画像復号装置］
図２９は、上述した階層画像復号を行う階層画像復号装置を示す図である。図２９に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。
【０３２９】
逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。
【０３３０】
この階層画像復号装置６３０の復号部６３２および復号部６３３に対して、画像復号装置２００（図１４）を適用することができる。この場合、階層画像復号装置６３０は、符号化部６２１がまとめて配置し、復号部６３２が復号した算術符号化パラメータと、符号化部６２２がまとめて配置し、復号部６３３が復号した算術符号化パラメータを用いて処理を行う。
【０３３１】
なお、上述したように符号化部６２１（または、符号化６２２）がまとめて配置した算術符号化パラメータを、符号化部６２１および符号化部６２２で共有して用いるように設定して伝送されている場合がある。この場合、階層画像復号装置６３０においては、符号化部６２１（または、符号化６２２）がまとめて配置し、復号部６３２（または、復号部６３３）が復号した算術符号化パラメータを用いて処理が行われる。以上のことは、可変長（または固定長）符号化パラメータの場合も同様である。
【０３３２】
＜５．第５の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【０３３３】
図３０において、コンピュータ８００のCPU（Central Processing Unit）８０１は、ROM（Read Only Memory）８０２に記憶されているプログラム、または記憶部８１３からRAM（Random Access Memory）８０３にロードされたプログラムに従って各種の処理を実行する。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０３３４】
CPU８０１、ROM８０２、およびRAM８０３は、バス８０４を介して相互に接続されている。このバス８０４にはまた、入出力インタフェース８１０も接続されている。
【０３３５】
入出力インタフェース８１０には、キーボード、マウスなどよりなる入力部８１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部８１２、ハードディスクなどより構成される記憶部８１３、モデムなどより構成される通信部８１４が接続されている。通信部８１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０３３６】
入出力インタフェース８１０にはまた、必要に応じてドライブ８１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部８１３にインストールされる。
【０３３７】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０３３８】
この記録媒体は、例えば、図３０に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア８２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM８０２や、記憶部８１３に含まれるハードディスクなどで構成される。
【０３３９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３４０】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３４１】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０３４２】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３４３】
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０３４４】
＜６．第６の実施の形態＞  
［第１の応用例：テレビジョン受像機］
図２５は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０３４５】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０３４６】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０３４７】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０３４８】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０３４９】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
【０３５０】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０３５１】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０３５２】
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０３５３】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０３５４】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０３５５】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、処理を高速に行うことができる。
【０３５６】
［第２の応用例：携帯電話機］
図２６は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０３５７】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０３５８】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０３５９】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０３６０】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０３６１】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０３６２】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
【０３６３】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０３６４】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、処理を高速に行うことができる。
【０３６５】
［第３の応用例：記録再生装置］
図２７は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０３６６】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０３６７】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０３６８】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０３６９】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０３７０】
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０３７１】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
【０３７２】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０３７３】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０３７４】
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
【０３７５】
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０３７６】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０３７７】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、処理を高速に行うことができる。
【０３７８】
［第４の応用例：撮像装置］
図２８は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０３７９】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０３８０】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
【０３８１】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０３８２】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０３８３】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０３８４】
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０３８５】
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０３８６】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
【０３８７】
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０３８８】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０３８９】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、処理を高速に行うことができる。
【０３９０】
なお、本明細書では、下記に示される各パラメータ等の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。各パラメータとは、例えば、適応ループフィルタ、適応オフセットフィルタ、および量子化マトリックスの算術符号化パラメータ、可変長（固定長）符号化（復号）を行う符号化パラメータ、またはCABACの初期化に必要な初期化（符号化）パラメータなどである。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０３９１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【符号の説明】
【０３９３】
１００  画像符号化装置，  １０５  量子化部，  １０６  可逆符号化部，１１４  イントラ予測部，  １１５  動き予測・補償部，  １２１  適応オフセット部，  １２２  適応ループフィルタ，１３１  VLC符号化部，  １３２  符号化制御部，  １３３  設定部，  １３４  CABAC符号化部，  １４１  ファームウエア，  １４２  ハードウエア，  ２００  画像復号装置，  ２０２  可逆復号部，  ２０３  逆量子化部，  ２１１  イントラ予測部，  ２１２  動き予測・補償部，  ２２１  適応オフセット部，  ２２２  適応ループフィルタ，  ２３１  VLC復号部，  ２３２  復号制御部，  ２３３  取得部，  ２３４  CABAC復号部，  ２４１  ファームウエア，  ２４２  ハードウエア
【図１】
0005999449.tif 000002
【図２】
0005999449.tif 000003
【図３】
0005999449.tif 000004
【図４】
0005999449.tif 000005
【図５】
0005999449.tif 000006
【図６】
0005999449.tif 000007
【図７】
0005999449.tif 000008
【図８】
0005999449.tif 000009
【図９】
0005999449.tif 000010
【図１０】
0005999449.tif 000011
【図１１】
0005999449.tif 000012
【図１２】
0005999449.tif 000013
【図１３】
0005999449.tif 000014
【図１４】
0005999449.tif 000015
【図１５】
0005999449.tif 000016
【図１６】
0005999449.tif 000017
【図１７】
0005999449.tif 000018
【図１８】
0005999449.tif 000019
【図１９】
0005999449.tif 000020
【図２０】
0005999449.tif 000021
【図２１】
0005999449.tif 000022
【図２２】
0005999449.tif 000023
【図２３】
0005999449.tif 000024
【図２４】
0005999449.tif 000025
【図２５】
0005999449.tif 000026
【図２６】
0005999449.tif 000027
【図２７】
0005999449.tif 000028
【図２８】
0005999449.tif 000029
【図２９】
0005999449.tif 000030
【図３０】
0005999449.tif 000031
【図３１】
0005999449.tif 000032
【図３２】
0005999449.tif 000033
【図３３】
0005999449.tif 000034
【図３４】
0005999449.tif 000035