(57)【要約】  本開示は、符号化・復号の並列度の低減を抑制することができるようにする画像処理装置および方法に関する。画像に関する係数データを、変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に符号化し、各ラインの符号化を、１つ上のラインの符号化に対して１符号化ツリーユニット遅延して実行する。また、画像に関する係数データが符号化された符号化データを、変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に復号し、各ラインの復号を、１つ上のラインの復号に対して１符号化ツリーユニット遅延して実行する。本開示は、例えば、画像処理装置、画像符号化装置、または画像復号装置等に適用することができる。
2020129698.tif 000002
【特許請求の範囲】
【請求項１】
画像に関する係数データを、変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に符号化し、
各ラインの符号化を、１つ上のラインの符号化に対して１符号化ツリーユニット遅延して実行する
符号化部
を備える画像処理装置。
【請求項２】
前記符号化部は、前記画像に関する係数データの符号化ツリーユニットの各ラインを、左の符号化ツリーユニットから順に１符号化ツリーユニットずつ符号化する
請求項１に記載の画像処理装置。
【請求項３】
前記符号化部は、各符号化ツリーユニットを、変換ブロック毎に符号化する
請求項２に記載の画像処理装置。
【請求項４】
前記符号化部は、各変換ブロックを、１つ前の変換ブロックのエントロピ符号化により導出された生起確率を用いてエントロピ符号化する
請求項３に記載の画像処理装置。
【請求項５】
前記符号化部は、
前記画像の１番上の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最初の変換ブロックを、生起確率の初期値を用いてエントロピ符号化し、
前記画像の上から２番目以降の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最初の変換ブロックを、１つ上の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最後の変換ブロックのエントロピ符号化により導出された生起確率を用いてエントロピ符号化する
請求項４に記載の画像処理装置。
【請求項６】
前記変換ブロックは、VPDU（Virtual pipeline data Unit）である
請求項１に記載の画像処理装置。
【請求項７】
前記画像のイントラ予測を行う予測部をさらに備え、
前記予測部は、符号化ツリーユニットの右上の変換ブロックのイントラ予測において、右上の変換ブロックの参照を無効とする
請求項１に記載の画像処理装置。
【請求項８】
前記画像のインター予測を行う予測部をさらに備え、
前記予測部は、符号化ツリーユニットの右上の変換ブロックのインター予測において、右上の変換ブロックの参照を無効とする
請求項１に記載の画像処理装置。
【請求項９】
前記画像のインター予測を行う予測部をさらに備え、
前記予測部は、前記インター予測の処理単位であり、水平方向の長さが符号化ツリーユニットと同一である予測ブロックのインター予測において、右上の変換ブロックの参照を無効とする
請求項１に記載の画像処理装置。
【請求項１０】
画像に関する係数データを、変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に符号化し、
各ラインの符号化を、１つ上のラインの符号化に対して１符号化ツリーユニット遅延して実行する
画像処理方法。
【請求項１１】
画像に関する係数データが符号化された符号化データを、変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に復号し、
各ラインの復号を、１つ上のラインの復号に対して１符号化ツリーユニット遅延して実行する
復号部
を備える画像処理装置。
【請求項１２】
前記復号部は、前記画像に関する係数データの符号化ツリーユニットの各ラインの符号化データを、左の符号化ツリーユニットから順に１符号化ツリーユニットずつ復号する
請求項１１に記載の画像処理装置。
【請求項１３】
前記復号部は、各符号化ツリーユニットの符号化データを、変換ブロック毎に復号する
請求項１２に記載の画像処理装置。
【請求項１４】
前記復号部は、各変換ブロックの符号化データを、１つ前の変換ブロックの符号化データのエントロピ復号により導出された生起確率を用いてエントロピ復号する
請求項１３に記載の画像処理装置。
【請求項１５】
前記復号部は、
前記画像の１番上の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最初の変換ブロックの符号化データを、生起確率の初期値を用いてエントロピ復号し、
前記画像の上から２番目以降の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最初の変換ブロックの符号化データを、１つ上の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最後の変換ブロックの符号化データのエントロピ復号により導出された生起確率を用いてエントロピ復号する
請求項１４に記載の画像処理装置。
【請求項１６】
前記変換ブロックは、VPDU（Virtual pipeline data Unit）である
請求項１１に記載の画像処理装置。
【請求項１７】
前記画像のイントラ予測を行う予測部をさらに備え、
前記予測部は、符号化ツリーユニットの右上の変換ブロックのイントラ予測において、右上の変換ブロックの参照を無効とする
請求項１１に記載の画像処理装置。
【請求項１８】
前記画像のインター予測を行う予測部をさらに備え、
前記予測部は、符号化ツリーユニットの右上の変換ブロックのインター予測において、右上の変換ブロックの参照を無効とする
請求項１１に記載の画像処理装置。
【請求項１９】
前記画像のインター予測を行う予測部をさらに備え、
前記予測部は、前記インター予測の処理単位であり、水平方向の長さが符号化ツリーユニットと同一である予測ブロックのインター予測において、右上の変換ブロックの参照を無効とする
請求項１１に記載の画像処理装置。
【請求項２０】
画像に関する係数データが符号化された符号化データを、変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に復号し、
各ラインの復号を、１つ上のラインの復号に対して１符号化ツリーユニット遅延して実行する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、符号化・復号の並列度の低減を抑制することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、HEVC（High Efficiency Video Coding）では、符号化効率をできる限りに落とすことなく、CABAC（Context-based Adaptive Binary Arithmetic Code）符号化をCTU（Coding Tree Unit）ライン毎に並列化するツールWPP（Wavefront Parallel Processing）が導入された（例えば、非特許文献１参照）。【０００３】
また、輝度成分は64x64のブロック、色差成分は32x32のブロックを処理単位として、符号化（復号）、変換・量子化（逆量子化・逆変換）、デブロッキング（de-blocking）、SAO（Sample Adaptive Offset）等の各処理をパイプライン化する方法も提案された（例えば、非特許文献２および非特許文献３参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016
【非特許文献２】Tzu-Der Chuang, Ching-Yeh Chen, Yu-Wen Huang, Shaw-Min Lei, "CE1-related: Separate tree partitioning at 64x64-luma/32x32-chroma unit level", JVET-K0230-v3, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting: Ljubljana, SI, 10-18 July 2018
【非特許文献３】Chia-Ming Tsai, Chih-Wei Hsu, Tzu-Der Chuang, Ching-Yeh Chen, Yu-Wen Huang, Shaw-Min Lei, "CE1.2.1: Constraint for binary and ternary partitions", JVET-L0081-v2, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macao, CN, 3-12 Oct. 2018
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、近年、画像の高解像度化に伴い、符号化においてもより大きなCTUサイズに対応することが求められている。例えば、非特許文献１に記載のHEVCの場合、CTUサイズは最大64x64であったが、非特許文献２や非特許文献３に記載の方法の場合、CTUサイズは最大128x128である。【０００６】
WPPでは、同一の画像（すなわち解像度が同一の場合）において、このようにCTUサイズを増大させると、1フレームのCTUライン数が低減する。そのため、符号化・復号の並列度（つまり並行して処理されるCTUの数）が低減し、並列パイプラインの遅延が増大する（すなわち、処理時間が増大する）おそれがあった。【０００７】
また、非特許文献２および非特許文献３に記載の方法では、より小さなサイズのブロックを処理単位として、符号化（復号）、変換・量子化（逆量子化・逆変換）、デブロッキング、SAO等の各処理をパイプライン化することはできるものの、符号化・復号をそのブロック毎に並列パイプライン化することは困難であった。【０００８】
本開示は、このような状況に鑑みてなされたものであり、符号化・復号の並列度の低減を抑制することができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の一側面の画像処理装置は、画像に関する係数データを、変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に符号化し、各ラインの符号化を、１つ上のラインの符号化に対して１符号化ツリーユニット遅延して実行する符号化部を備える画像処理装置である。【００１０】
本技術の一側面の画像処理方法は、画像に関する係数データを、変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に符号化し、各ラインの符号化を、１つ上のラインの符号化に対して１符号化ツリーユニット遅延して実行する画像処理方法である。【００１１】
本技術の他の側面の画像処理装置は、画像に関する係数データが符号化された符号化データを、変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に復号し、各ラインの復号を、１つ上のラインの復号に対して１符号化ツリーユニット遅延して実行する復号部を備える画像処理装置である。【００１２】
本技術の他の側面の画像処理方法は、画像に関する係数データが符号化された符号化データを、変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に復号し、各ラインの復号を、１つ上のラインの復号に対して１符号化ツリーユニット遅延して実行する画像処理方法である。【００１３】
本技術の一側面の画像処理装置および方法においては、画像に関する係数データが、変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に符号化され、各ラインの符号化が、１つ上のラインの符号化に対して１符号化ツリーユニット遅延して実行される。【００１４】
本技術の他の側面の画像処理装置および方法においては、画像に関する係数データが符号化された符号化データが、変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に復号され、各ラインの復号が、１つ上のラインの復号に対して１符号化ツリーユニット遅延して実行される。
【図面の簡単な説明】
【００１５】
【図１】WPPの例について説明する図である。
【図２】並列度とブロックサイズの関係の例について説明する図である。
【図３】VPDUの例について説明する図である。
【図４】VPDUを用いたパイプライン化の例について説明する図である。
【図５】符号化・復号の並列パイプライン化の方法について説明する図である。
【図６】VPDUを利用したCTUライン毎の並列化の例について説明する図である。
【図７】各スレッドの処理タイミングの例について説明する図である。
【図８】イントラ予測の参照制限の例について説明する図である。
【図９】イントラ予測の参照制限の例について説明する図である。
【図１０】イントラ予測の参照制限の例について説明する図である。
【図１１】インター予測の参照制限の例について説明する図である。
【図１２】インター予測の参照制限の例について説明する図である。
【図１３】画像符号化装置の主な構成例を示すブロック図である。
【図１４】画像符号化処理の流れの例を説明するフローチャートである。
【図１５】予測処理の流れの例を説明するフローチャートである。
【図１６】符号化処理の流れの例を説明するフローチャートである。
【図１７】CTU処理の流れの例を説明するフローチャートである。
【図１８】CTU処理の流れの例を説明するフローチャートである。
【図１９】画像復号装置の主な構成例を示すブロック図である。
【図２０】画像復号処理の流れの例を説明するフローチャートである。
【図２１】復号処理の流れの例を説明するフローチャートである。
【図２２】CTU処理の流れの例を説明するフローチャートである。
【図２３】CTU処理の流れの例を説明するフローチャートである。
【図２４】CTU処理の流れの例を説明する、図２３に続くフローチャートである。
【図２５】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．技術内容・技術用語をサポートする文献等
２．WPP、VPDU
３．コンセプト
４．方法１
５．第１の実施の形態（画像符号化装置・画像復号装置）
６．付記
【００１７】
＜１．技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施例に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
【００１８】
非特許文献１：（上述）
非特許文献２：（上述）
非特許文献３：（上述）
非特許文献４：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017
非特許文献５：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
非特許文献６：Benjamin Bross, Jianle Chen, Shan Liu, "Versatile Video Coding (Draft 2)", JVET-K1001-v7, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting: Ljubljana, SI, 10-18 July 2018
【００１９】
つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献１に記載されているQuad-Tree Block Structure、非特許文献５に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structureが実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。
【００２０】
また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、上述の非特許文献１乃至非特許文献６に記載のTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。
【００２１】
また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
【００２２】
また、本明細書において、符号化とは、画像をビットストリームに変換する全体の処理だけではなく、一部の処理も含む。例えば、予測処理、直交変換、量子化、算術符号化等を包括した処理を含むだけではなく、量子化と算術符号化とを総称した処理、予測処理と量子化と算術符号化とを包括した処理、などを含む。同様に、復号とは、ビットストリームを画像に変換する全体の処理だけではなく、一部の処理も含む。例えば、逆算術復号、逆量子化、逆直交変換、予測処理等を包括した処理を含むだけではなく、逆算術復号と逆量子化とを包括した処理、逆算術復号と逆量子化と予測処理とを包括した処理、などを含む。
【００２３】
＜２．WPP、VPDU＞
＜WPP＞
従来、例えば、非特許文献１に記載のように、HEVC（High Efficiency Video Coding）では、符号化効率をできる限りに落とすことなく、CABAC（Context-based Adaptive Binary Arithmetic Code）符号化をCTU（Coding Tree Unit）ライン毎に並列化するツールWPP（Wavefront Parallel Processing）が導入された。
【００２４】
例えば、図１は、符号化対象の画像の一部を示しており、各四角がCTUを示している。CTUは、図１に示されるように行列状に配置されており、WPPが適用される場合、符号化・復号（エントロピ符号化・エントロピ復号）は、このCTUの行（CTUラインとも称する）毎に並列化される（CTUライン毎の処理が並列に実行される）。各CTUラインにおいては、図中点線矢印のように、左端のCTUから１CTUずつ処理（エントロピ符号化・エントロピ復号）される。
【００２５】
各CTUは、１つ前のCTUの処理の際に導出された生起確率をコンテキストとして用いて処理される。ただし、画像の１番上のCTUラインの左端のCTUは、初期値のコンテキストを用いて処理される。また、上から２番目以降のCTUラインの左端のCTUは、図１において黒四角と矢印により示されるように、処理対象のCTUライン（カレントCTUラインとも称する）の１つ上のCTUラインの２番目のCTUの処理の際に導出された生起確率（学習済み生起確率とも称する）をコンテキストとして用いて処理される。つまり、図１においてグレーの四角で示されるように、各CTUラインは、１つ上のCTUラインに対して2CTUずつ遅延して処理される。
【００２６】
このようにすることにより、各CTUラインを並列に処理することができる（タイミングのずれはあるものの、少なくとも互いに処理タイミングの一部が重複する（複数のCTUラインのCTUを処理する時刻が存在する）ように処理することができる）。したがって、画像の全CTUを直列に処理する場合よりも高速に符号化・復号することができる。
【００２７】
＜並列度の低減＞
しかしながら、近年、画像の高解像度化に伴い、符号化においてもより大きなCTUサイズに対応することが求められている。例えば、非特許文献１に記載のHEVCの場合、CTUサイズは最大64x64であったが、非特許文献２や非特許文献３に記載の方法の場合、CTUサイズは最大128x128である。
【００２８】
WPPでは、同一の画像（すなわち解像度が同一の場合）において、このようにCTUサイズを増大させると、1フレームのCTUライン数が低減する。そのため、符号化・復号の並列度（つまり並行して処理されるCTUの数）が低減し、並列パイプラインの遅延が増大する（すなわち、処理時間が増大する）おそれがあった。
【００２９】
例えば、各CTUの処理時間が全て同一であるとする。同時刻に処理されるCTUの最大数を示す最大並列度を以下の式（１）のように定義する。式（１）において、CTUwは、処理対象の画像に存在する水平方向のCTU数を示す。またCTUhは、処理対象の画像に存在する垂直方向のCTU数を示す。さらに、関数ceilは、小数点以下の切り上げを示す。
【００３０】
【数１】
2020129698.tif 000003
【００３１】
また、同時刻に処理されるCTUの平均数を示す平均並列度を以下の式（２）のように定義する。式（２）において、p(x, y)は、CTU(x, y)を処理するときの並列度を示す。また、CTUwおよびCTUhは、式（１）と同様である。
【００３２】
【数２】
2020129698.tif 000004
【００３３】
例えば、4K画像（解像度3840×2160の画像）を、CTUサイズが最大64x64の場合と、最大128x128の場合とでWPPで処理したときの、最大並列度および平均並列度を比較した結果を図２の表に示す。
【００３４】
図２の表に示されるように、CTUサイズが最大64x64の場合、CTUwおよびCTUhは、それぞれ60と34である。したがって、上述の式（１）および式（２）から、最大並列度は30であり、平均並列度は21.2である。これに対して、CTUサイズが最大128x128の場合、CTUwおよびCTUhは、それぞれ30と17である。したがって、上述の式（１）および式（２）から、最大並列度は15であり、平均並列度は10.6である。このように、並列度（最大並列度および平均並列度）は、半減してしまう。そのため、CTUサイズが最大128x128の場合、上述のように、CTUサイズが最大64x64の場合に比べて、並列パイプラインの遅延が増大し、処理時間が増大するおそれがあった。
【００３５】
また、並列に処理される各CTUの処理負荷にバラツキが存在すると、各CTUラインの処理タイミングを揃えるため、待機時間が生じるおそれがあった。CTUサイズが増大する程、並列の粒度が大きくなるため、CTU処理負荷のバラツキの分散がより困難になる。つまり、CTUサイズが増大する程、このバラツキによる待機時間が増大するおそれがあり、その待機時間の増大により、実並列度はさらに低減し、処理時間がさらに増大してしまうおそれがあった。
【００３６】
＜VPDU＞
また、非特許文献２や非特許文献３に記載のように、輝度成分は64x64のブロック、色差成分は32x32のブロックを処理単位として、符号化（復号）、変換・量子化（逆量子化・逆変換）、デブロッキング（de-blocking）、SAO（Sample Adaptive Offset）等の各処理をパイプライン化する方法も提案された。
【００３７】
例えば、図３に示されるように、輝度成分は、128x128のCTBを４分割（縦２分割、横２分割）し、64x64のブロック（VPDU（Virtual pipeline data Unit）とも称する）を処理単位とする。また、色差成分は、64x64のCTBを４分割（縦２分割、横２分割）し、32x32のブロック（VPDUとも称する）を処理単位とする。
【００３８】
図４に示される例のように、符号化（復号）と、変換・量子化（逆量子化・逆変換）と、デブロッキングと、SAOと等の各処理が、このようなVPDUを処理単位としてパイプライン化される。このようにすることにより、全体の処理時間の増大を抑制することができる。
【００３９】
しかしながら、この方法では、符号化・復号をそのブロック毎に並列パイプライン化することは困難であった。
【００４０】
＜３．コンセプト＞
＜変換ブロックライン毎のWPP＞
そこで、図５の表の上から１段目に記載の方法１のように、VPDUに対応したWPP、すなわち、VPDUを利用したCTUライン毎の並列化を実現するようにする。変換ブロックは、画像データに対する直交変換等の変換処理の処理単位であり、CTUラインは、行列状に並ぶCTUの行（ライン）を示す。
【００４１】
図５の表の上から２段目に記載の方法１−１のように、VPDUを含むCTUのライン毎に符号化・復号を並列化し、各ライン間の遅延（パイプライン遅延）を1CTUとしてもよい。
【００４２】
例えば、画像に関する係数データを、単数または複数の変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に符号化し、各ラインの符号化を、１つ上のラインの符号化に対して１符号化ツリーユニット遅延して実行するようにする。また、例えば、画像処理装置において、画像に関する係数データを、単数または複数の変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に符号化し、各ラインの符号化を、１つ上のラインの符号化に対して１符号化ツリーユニット遅延して実行する符号化部を備えるようにする。このようにすることにより、HEVCのWPPよりもCTUライン間の遅延が低減されるので、符号化の並列度の低減を抑制することができる。これにより、符号化の処理時間の増大を抑制することができる。
【００４３】
また例えば、画像に関する係数データの符号化ツリーユニットの各ラインを、左の符号化ツリーユニットから順に１符号化ツリーユニットずつ符号化するようにしてもよい。
【００４４】
また例えば、各符号化ツリーユニットを、変換ブロック毎に符号化するようにしてもよい。
【００４５】
また例えば、各変換ブロックを、１つ前の変換ブロックのエントロピ符号化により導出された生起確率を用いてエントロピ符号化するようにしてもよい。
【００４６】
また例えば、画像の１番上の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最初の変換ブロックを、生起確率の初期値を用いてエントロピ符号化するようにしてもよい。さらに例えば、画像の上から２番目以降の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最初の変換ブロックを、１つ上の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最後の変換ブロックのエントロピ符号化により導出された生起確率を用いてエントロピ符号化するようにしてもよい。
【００４７】
また例えば、変換ブロックが、VPDU（Virtual pipeline data Unit）であるようにしてもよい。
【００４８】
また、例えば、画像に関する係数データが符号化された符号化データを、単数または複数の変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に復号し、各ラインの復号を、１つ上のラインの復号に対して１符号化ツリーユニット遅延して実行するようにする。また、例えば、画像処理装置において、画像に関する係数データが符号化された符号化データを、単数または複数の変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に復号し、各ラインの復号を、１つ上のラインの復号に対して１符号化ツリーユニット遅延して実行する復号部を備えるようにする。このようにすることにより、HEVCのWPPよりもCTUライン間の遅延が低減されるので、復号の並列度の低減を抑制することができる。これにより、復号の処理時間の増大を抑制することができる。
【００４９】
また例えば、画像に関する係数データの符号化ツリーユニットの各ラインの符号化データを、左の符号化ツリーユニットから順に１符号化ツリーユニットずつ復号するようにしてもよい。
【００５０】
また例えば、各符号化ツリーユニットの符号化データを、変換ブロック毎に復号するようにしてもよい。
【００５１】
また例えば、各変換ブロックの符号化データを、１つ前の変換ブロックの符号化データのエントロピ復号により導出された生起確率を用いてエントロピ復号するようにしてもよい。
【００５２】
また例えば、画像の１番上の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最初の変換ブロックの符号化データを、生起確率の初期値を用いてエントロピ復号するようにしてもよい。さらに例えば、画像の上から２番目以降の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最初の変換ブロックの符号化データを、１つ上の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最後の変換ブロックの符号化データのエントロピ復号により導出された生起確率を用いてエントロピ復号するようにしてもよい。
【００５３】
また例えば、変換ブロックが、VPDU（Virtual pipeline data Unit）であるようにしてもよい。
【００５４】
また、図５の表の上から３段目に記載の方法１−２のように、イントラ予測について制限を加えるようにしてもよい。例えば、図５の表の上から４段目に記載の方法１−２−１のように、処理対象のCTU（カレントCTUとも称する）の右上のVPDUのイントラ予測について、その右上のVPDU（CTU）の参照を不可（無効（unavailable））とするようにしてもよい。
【００５５】
例えば、符号化ツリーユニットの右上の変換ブロックのイントラ予測において、その右上の変換ブロックの参照を無効とするようにしてもよい。このようにすることにより、イントラ予測の参照によるCTUライン間の依存関係を低減させ、待機時間の増大を抑制することができる。
【００５６】
また、図５の表の上から５段目に記載の方法１−３のように、インター予測について制限を加えるようにしてもよい。例えば、図５の表の上から６段目に記載の方法１−３−１のように、カレントCTUの右上のVPDUを処理対象の予測ブロック（カレント予測ブロックとも称する）とするインター予測について、その予測ブロックの右上のVPDU（CTU）の参照を不可（無効（unavailable））とするようにしてもよい。つまり、上述した方法１−２−１（つまりイントラ予測に対する制限）と同様の制限を行うようにしてもよい。
【００５７】
例えば、符号化ツリーユニットの右上の変換ブロックのインター予測において、その右上の変換ブロックの参照を無効とするようにしてもよい。このようにすることにより、インター予測の参照によるCTUライン間の依存関係を低減させ、待機時間の増大を抑制することができる。
【００５８】
また、図５の表の上から７段目に記載の方法１−３−２のように、カレント予測ブロックのブロックサイズが128xNのインター予測について、右上のブロックの参照を不可（無効（unavailable））とするようにしてもよい。
【００５９】
例えば、インター予測の処理単位であり、水平方向の長さが符号化ツリーユニットと同一である予測ブロックのインター予測において、右上の変換ブロックの参照を無効とするようにしてもよい。このようにすることにより、インター予測の参照によるCTUライン間の依存関係を低減させ、待機時間の増大を抑制することができる。
【００６０】
＜４．方法１＞
＜４−１：方法１−１＞
次に、上述した「方法１」についてより詳細に説明する。図６は、符号化対象の画像の一部を示している。画像は、ツリー構造の符号化ブロックの最上位であるCTU１１１に分割される。図６において太線四角形で囲まれた各領域がCTU１１１である。HEVCのWPPでは、このCTU１１１のライン毎に処理（エントロピ符号化・エントロピ復号）が並列化される。各CTUラインについては、CTU１１１−１、CTU１１１−２、CTU１１１−３、CTU１１１−４のように、CTUラインに沿って左から右に向かって1CTU１１１ずつ処理される。
【００６１】
また各CTU１１１がVPDU１２１に分割される。図６において細線四角形で囲まれた各領域がVPDU１２１である。この例の場合、各CTU１１１は、４分割（垂直方向・水平方向にそれぞれ２分割）される。例えば、CTU１１１−１は、VPDU１２１−１、VPDU１２１−２、VPDU１２１−３、およびVPDU１２１−４に分割される。つまり、1CTUラインに2VPDUラインが形成されている。なお、CTU１１１のサイズは任意である。VPDU１２１のサイズもCTU１１１より小さければ任意である。本明細書においては、CTUサイズを128x128とし、VPDUサイズを64x64として説明する。
【００６２】
方法１−１では、図６の点線矢印のように、VPDU１２１を含むCTU１１１のライン毎に処理（エントロピ符号化・エントロピ復号）が並列化される。そして、各CTUラインの処理は、左端のCTUから１CTUずつ処理される。また、各CTUラインの処理は、その１つ上のCTUラインに対して、1CTUだけ遅延して実行される。
【００６３】
図６において、各VPDU１２１内の数字は、処理順を示している。つまり、各CTU１１１は、VPDU１２１毎に処理（エントロピ符号化・エントロピ復号）される。
【００６４】
ここで、エントロピ符号化・エントロピ復号は、１つ前の処理により導出された生起確率をコンテキストとして用いる可逆符号化・可逆復号である。例えば、CABAC等の算術号化・算術復号であってもよい。本明細書では、CABACが適用されるものとして説明する。つまり、各VPDUは、その1つ前のVPDUの処理により導出された生起確率をコンテキストとして用いて処理される。
【００６５】
ただし、画像の１番上のCTUラインの左端のCTUの最初のVPDU（左上のVPDU）は、初期値のコンテキストを用いて処理される。また、上から２番目以降のCTUラインの左端のCTUの最初のVPDU（左上のVPDU）は、図６において黒四角と矢印により示されるように、処理対象のCTUライン（カレントCTUラインとも称する）の１つ上のCTUラインの左端のCTUの最後のVPDU（右下のVPDU）の処理の際に導出された生起確率（学習済み生起確率とも称する）をコンテキストとして用いて処理される。
【００６６】
したがって、図７に示されるように、各CTUラインの処理スレッド（Thread）は、１つ上のCTUラインの処理スレッドに対して1CTUずつ遅延している。このようにタイミングが互いにずれるものの、複数のスレッドが並行して実行される。
【００６７】
また、イントラ予測やインター予測に制限を加えることにより、CTUライン間の遅延を1CTUとすることができる。これにより、CTUサイズが増大することによる符号化・復号の並列度の低減を抑制することができる。したがって、並列パイプラインの遅延の増大を抑制し、処理時間の増大を抑制することができる。例えば4K画サイズ（3840x2160）の画像を処理対象とする場合の最大並列度は17となり、平均並列度は13.8となる。
【００６８】
なお、上述のように符号化・復号を、複数のVPDUにより構成されるCTUのライン毎に並列化する場合、予測ブロックや変換ブロックについて、非特許文献２や非特許文献３に記載のようなVPDUのパイプライン処理の場合と同様の制限が適用される。
【００６９】
＜４−２：方法１−２＞
方法１−２では、イントラ予測において一部のモードが制限される。処理対象のブロックがイントラ予測モードの場合、そのモード（mode）は、隣接するブロックのイントラ予測モードを参照して予測され、予測画像は、隣接するブロックのピクセルを参照して作成される。
【００７０】
＜４−２−１：方法１−２−１＞
方法１−２−１では、図８において点線矢印で示されるように、CTUの右上のVPDUのイントラ予測において、その右上のVPDU（CTU）の参照が無効（unavailable）とされる。すなわち、図８の点線矢印で示されるイントラ予測モードと予測ピクセルの参照が禁止される。
【００７１】
例えば、符号化・復号を並列化しない場合（WPP OFF時）、図９のＡに示されるように、カレントCTU１１１の右上のVPDU１２１であるVPDU[b]のイントラ予測において、VPDU[a]、VPDU[f]、VPDU[g]、およびVPDU[h]のイントラ予測モードと隣接ピクセル（図中黒帯の部分）とが参照の対象となる。この場合、イントラ予測のブロックサイズは64x64以下（VPDU１２１以下）であるので、イントラ予測のブロックサイズがVPDU１２１に等しいときに参照範囲が最大となる。
【００７２】
これに対して、方法１−２−１では、方法１−１のようにVPDUを含むCTUのライン毎に符号化・復号を並列化する場合（VPDU対応WPP時）、図８のＢに示されるように、CTU１１１の右上のVPDU１２１であるVPDU[b]のイントラ予測において、VPDU[h]のイントラ予測モードと隣接ピクセルの参照が禁止される（無効（unavailable）とされる）。
【００７３】
方法１−１の場合、CTUライン毎に処理が並列化され、ライン間の遅延が1CTUであるので、VPDU[b]のCTUとVPDU[h]のCTUとを同時に処理することができるが、上述の参照関係のためにVPDU[h]の処理が終了するまでVPDU[b]の処理を待機しなければならなくなるおそれがある（つまり待機時間が増大するおそれがある）。
【００７４】
方法１−２−１のようにこの参照を制限することにより、このようなイントラ予測の参照関係を生じさせないようにする（VPDU[h]とは独立にVPDU[b]のイントラ予測を行う）ことができるので、待機時間の増大を抑制することができる。
【００７５】
CTU１１１のその他のVPDU１２１については、VPDU対応WPP時においても、WPP OFF時と同様の参照が可能である。例えば、カレントCTU１１１の左上のVPDU１２１であるVPDU[a]のイントラ予測においては、WPP OFF時においてもVPDU対応WPP時においても、図１０のＡに示されるように、VPDU[e]、VPDU[f]、VPDU[g]、VPDU[i]、およびVPDU[j]のイントラ予測モードと隣接ピクセル（図中黒帯の部分）とが参照の対象となる。VPDU[a]の右上のVPDU[g]はVPDU対応WPP時においてもVPDU[a]よりも前に処理されるので、参照が可能である。
【００７６】
また例えば、カレントCTU１１１の左下のVPDU１２１であるVPDU[c]のイントラ予測においては、WPP OFF時においてもVPDU対応WPP時においても、図１０のＢに示されるように、VPDU[a]、VPDU[b]、VPDU[i]、およびVPDU[j]のイントラ予測モードと隣接ピクセル（図中黒帯の部分）とが参照の対象となる。VPDU[c]の右上のVPDU[b]はVPDU対応WPP時においてもVPDU[c]よりも前に処理されるので、参照が可能である。
【００７７】
また例えば、カレントCTU１１１の右下のVPDU１２１であるVPDU[d]のイントラ予測においては、WPP OFF時においてもVPDU対応WPP時においても、図１０のＣに示されるように、VPDU[a]、VPDU[b]、およびVPDU[c]のイントラ予測モードと隣接ピクセル（図中黒帯の部分）とが参照の対象となる。VPDU[d]の右上のVPDUは、WPP OFF時においてもVPDU対応WPP時においても、VPDU[d]よりも処理順が後になるので、参照できない。
【００７８】
＜４−３：方法１−３＞
方法１−３では、インター予測において制限が行われる。処理対象のブロックがインター予測モードの場合、そのモード（mode）は、隣接するブロックのインター予測モードを参照して予測され、動きベクトルは、隣接するブロックの動きベクトルを参照して予測される。
【００７９】
＜４−３−１：方法１−３−１＞
方法１−４−１では、図８において点線矢印で示されるように、CTUの右上のVPDUをカレント予測ブロックとするインター予測において、その右上のVPDUの参照が無効（unavailable）とされる。すなわち、図８の点線矢印で示されるインター予測モードと動きベクトルの参照が禁止される。つまり、イントラ予測の場合と同様の参照関係が無効（unavailable）とされる（方法１−２−１と同様の制限が行われる）。
【００８０】
このようにすることにより、このようなインター予測の参照関係を生じさせないようにすることができるので、待機時間の増大を抑制することができる。
【００８１】
CTU１１１のその他のVPDU１２１をカレント予測ブロックとするインター予測については、イントラ予測の場合（図１０）と同様に、VPDU対応WPP時においても、WPP OFF時と同様の参照が可能である。なお、インター予測のブロックサイズが64x64以下（VPDU１２１以下）の場合、この方法１−４−１の参照制限を行えばよい。
【００８２】
ただし、インター予測の場合、予測ブロックのブロックサイズは、例えば、128x64、64x128、128x128等のように、64x64よりも大きく設定することもできる。
【００８３】
＜４−３−２：方法１−３−２＞
方法１−３−２では、カレント予測ブロックのブロックサイズが128xNの場合、その右上の参照が無効（unavailable）とされる。
【００８４】
例えば、ブロックサイズ128x64の予測ブロックのインター予測において、その右上のブロックのインター予測モードや動きベクトルの参照が禁止される（無効（unavailable）とされる）。例えば、図１１のＡに示されるカレントCTU１１１の左上のVPDU[a]および右上のVPDU[b]からなる予測ブロック[ab]がカレント予測ブロック１３１であるとする。この場合、WPP OFF時、図１１のＡに示されるように、VPDU[e]、VPDU[f]、VPDU[g]、VPDU[h]、VPDU[i]、およびVPDU[j]のインター予測モードと動きベクトルとが参照の対象となる。
【００８５】
これに対して、方法１−３−２では、VPDU対応WPP時、図１１のＢに示されるように、予測ブロック[ab]のインター予測において、その右上のVPDU[h]のインター予測モードと動きベクトルの参照が禁止される（無効（unavailable）とされる）。
【００８６】
方法１−１の場合、CTUライン毎に処理が並列化されており、ライン間の遅延が1CTUであるので、VPDU[a]（すなわち予測ブロック[ab]）とVPDU[h]とを同時に処理することが可能であるが、上述の参照関係のために、VPDU[h]の処理が終了するまで予測ブロック[ab]の処理を待機しなければならなくなるおそれがある（つまり待機時間が増大するおそれがある）。
【００８７】
方法１−３−２のようにこの参照を制限することにより、このようなインター予測の参照関係を生じさせないようにする（VPDU[h]とは独立に予測ブロック[ab]のインター予測を行う）ことができるので、待機時間の増大を抑制することができる。
【００８８】
また、例えば、ブロックサイズ128x128の予測ブロックのインター予測においても同様に、その右上のブロックのインター予測モードや動きベクトルの参照が禁止される（無効（unavailable）とされる）。例えば、図１１のＣに示されるカレントCTU１１１の全VPDU（VPDU[a]、VPDU[b]、VPDU[c]、およびVPDU[d]）からなる予測ブロック[abcd]がカレント予測ブロック１３１であるとする。この場合、WPP OFF時、図１１のＣに示されるように、VPDU[e]、VPDU[f]、VPDU[g]、VPDU[h]、VPDU[i]、およびVPDU[j]のインター予測モードと動きベクトルとが参照の対象となる。
【００８９】
これに対して、方法１−３−２では、VPDU対応WPP時、図１１のＤに示されるように、予測ブロック[abcd]のインター予測において、その右上のVPDU[h]のインター予測モードと動きベクトルの参照が禁止される（無効（unavailable）とされる）。
【００９０】
方法１−１の場合、CTUライン毎に処理が並列化されており、ライン間の遅延が1CTUであるので、VPDU[a]（すなわち予測ブロック[abcd]）とVPDU[h]とを同時に処理することが可能であるが、上述の参照関係のために、VPDU[h]の処理が終了するまで予測ブロック[abcd]の処理を待機しなければならなくなるおそれがある（つまり待機時間が増大するおそれがある）。
【００９１】
方法１−３−２のようにこの参照を制限することにより、このようなインター予測の参照関係を生じさせないようにする（VPDU[h]とは独立に予測ブロック[abcd]のインター予測を行う）ことができるので、待機時間の増大を抑制することができる。
【００９２】
なお、カレントCTU１１１の左下のVPDU[c]および右下のVPDU[d]からなる予測ブロック[cd]をカレント予測ブロック１３１とする場合、図１２に示されるように、VPDU対応WPP時においても、WPP OFF時と同様の参照（VPDU[a]、VPDU[b]、VPDU[i]、およびVPDU[j]のインター予測モードと動きベクトルの参照）が可能である（右上のブロックは処理順が後になるのでWPP OFF時においても参照されない）。
【００９３】
＜５．第１の実施の形態＞
＜５−１：画像符号化装置＞
以上に説明した本技術は、任意の装置、デバイス、システム等に適用することができる。例えば、画像データを符号化する画像符号化装置に、上述した本技術を適用することができる。
【００９４】
図１３は、本技術を適用した画像処理装置の一態様である画像符号化装置の構成の一例を示すブロック図である。図１３に示される画像符号化装置５００は、動画像の画像データを符号化する装置である。例えば、画像符号化装置５００は、非特許文献１乃至非特許文献６に記載されている技術を実装し、それらの文献のいずれかに記載された規格に準拠した方法で動画像の画像データを符号化する。
【００９５】
なお、図１３においては、処理部やデータの流れ等の主なものを示しており、図１３に示されるものが全てとは限らない。つまり、画像符号化装置５００において、図１３においてブロックとして示されていない処理部が存在したり、図１３において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
【００９６】
図１３に示されるように画像符号化装置５００は、制御部５０１、並べ替えバッファ５１１、演算部５１２、直交変換部５１３、量子化部５１４、符号化部５１５、蓄積バッファ５１６、逆量子化部５１７、逆直交変換部５１８、演算部５１９、インループフィルタ部５２０、フレームメモリ５２１、予測部５２２、およびレート制御部５２３を有する。
【００９７】
＜制御部＞
制御部５０１は、外部、または予め指定された処理単位のブロックサイズに基づいて、並べ替えバッファ５１１により保持されている動画像データを処理単位のブロック（CU,PU, 変換ブロックなど）へ分割する。また、制御部５０１は、各ブロックへ供給する符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）を、例えば、RDO(Rate-Distortion Optimization)に基づいて、決定する。
【００９８】
これらの符号化パラメータの詳細については後述する。制御部５０１は、以上のような符号化パラメータを決定すると、それを各ブロックへ供給する。具体的には、以下の通りである。
【００９９】
ヘッダ情報Hinfoは、各ブロックに供給される。予測モード情報Pinfoは、符号化部５１５と予測部５２２とに供給される。変換情報Tinfoは、符号化部５１５、直交変換部５１３、量子化部５１４、逆量子化部５１７、および逆直交変換部５１８に供給される。フィルタ情報Finfoは、インループフィルタ部５２０に供給される。
【０１００】
＜並べ替えバッファ＞
画像符号化装置５００には、動画像データの各フィールド（入力画像）がその再生順（表示順）に入力される。並べ替えバッファ５１１は、各入力画像をその再生順（表示順）に取得し、保持（記憶）する。並べ替えバッファ５１１は、制御部５０１の制御に基づいて、その入力画像を符号化順（復号順）に並べ替えたり、処理単位のブロックに分割したりする。並べ替えバッファ５１１は、処理後の各入力画像を演算部５１２に供給する。また、並べ替えバッファ５１１は、その各入力画像（元画像）を、予測部５２２やインループフィルタ部５２０にも供給する。
【０１０１】
＜演算部＞
演算部５１２は、処理単位のブロックに対応する画像I、および予測部５２２より供給される予測画像Pを入力とし、画像Iから予測画像Pを以下の式（３）に示されるように減算して、予測残差resiを導出し、それを直交変換部５１３に供給する。
【０１０２】
【数３】
2020129698.tif 000005
【０１０３】
＜直交変換部＞
直交変換部５１３は、演算部５１２から供給される予測残差resiと、制御部５０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、予測残差resiに対して直交変換を行い、変換係数coefを導出する。直交変換部５１３は、その得られた変換係数coefを量子化部５１４に供給する。
【０１０４】
＜量子化部＞
量子化部５１４は、直交変換部５１３から供給される変換係数coefと、制御部５０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、変換係数coefをスケーリング（量子化）する。なお、この量子化のレートは、レート制御部５２３により制御される。量子化部５１４は、このような量子化により得られた量子化後の変換係数、すなわち量子化変換係数レベルqcoefを、符号化部５１５および逆量子化部５１７に供給する。
【０１０５】
＜符号化部＞
符号化部５１５は、量子化部５１４から供給された量子化変換係数レベルqcoefと、制御部５０１から供給される各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）と、インループフィルタ部５２０から供給されるフィルタ係数等のフィルタに関する情報と、予測部５２２から供給される最適な予測モードに関する情報とを入力とする。符号化部５１５は、量子化変換係数レベルqcoefを符号化し（例えばCABAC等の算術符号化を行い）、ビット列を生成する。
【０１０６】
また、符号化部５１５は、その量子化変換係数レベルqcoefから残差情報Rinfoを導出し、残差情報Rinfoを符号化し、ビット列を生成する。
【０１０７】
さらに、符号化部５１５は、インループフィルタ部５２０から供給されるフィルタに関する情報をフィルタ情報Finfoに含め、予測部５２２から供給される最適な予測モードに関する情報を予測モード情報Pinfoに含める。そして、符号化部５１５は、上述した各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）を符号化し、ビット列を生成する。
【０１０８】
また、符号化部５１５は、以上のように生成された各種情報のビット列を多重化し、符号化データを生成する。符号化部５１５は、その符号化データを蓄積バッファ５１６に供給する。
【０１０９】
＜蓄積バッファ＞
蓄積バッファ５１６は、符号化部５１５において得られた符号化データを、一時的に保持する。蓄積バッファ５１６は、所定のタイミングにおいて、保持している符号化データを、例えばビットストリーム等として画像符号化装置５００の外部に出力する。例えば、この符号化データは、任意の記録媒体、任意の伝送媒体、任意の情報処理装置等を介して復号側に伝送される。すなわち、蓄積バッファ５１６は、符号化データ（ビットストリーム）を伝送する伝送部でもある。
【０１１０】
＜逆量子化部＞
逆量子化部５１７は、逆量子化に関する処理を行う。例えば、逆量子化部５１７は、量子化部５１４から供給される量子化変換係数レベルqcoefと、制御部５０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、量子化変換係数レベルqcoefの値をスケーリング（逆量子化）する。なお、この逆量子化は、量子化部５１４において行われる量子化の逆処理である。逆量子化部５１７は、このような逆量子化により得られた変換係数coefIを、逆直交変換部５１８に供給する。
【０１１１】
＜逆直交変換部＞
逆直交変換部５１８は、逆直交変換に関する処理を行う。例えば、逆直交変換部５１８は、逆量子化部５１７から供給される変換係数coefIと、制御部５０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、変換係数coefIに対して逆直交変換を行い、予測残差resiIを導出する。なお、この逆直交変換は、直交変換部５１３において行われる直交変換の逆処理である。逆直交変換部５１８は、このような逆直交変換により得られた予測残差resiIを演算部５１９に供給する。なお、逆直交変換部５１８は、復号側の逆直交変換部（後述する）と同様であるので、逆直交変換部５１８については、復号側について行う説明（後述する）を適用することができる。
【０１１２】
＜演算部＞
演算部５１９は、逆直交変換部５１８から供給される予測残差resiIと、予測部５２２から供給される予測画像Pとを入力とする。演算部５１９は、その予測残差resiIと、その予測残差resiIに対応する予測画像Pとを加算し、局所復号画像Rlocalを導出する。演算部５１９は、導出した局所復号画像Rlocalをインループフィルタ部５２０およびフレームメモリ５２１に供給する。
【０１１３】
＜インループフィルタ部＞
インループフィルタ部５２０は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部５２０は、演算部５１９から供給される局所復号画像Rlocalと、制御部５０１から供給されるフィルタ情報Finfoと、並べ替えバッファ５１１から供給される入力画像（元画像）とを入力とする。なお、インループフィルタ部５２０に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。例えば、必要に応じて、予測モード、動き情報、符号量目標値、量子化パラメータQP、ピクチャタイプ、ブロック（CU、CTU等）の情報等がインループフィルタ部５２０に入力されるようにしてもよい。
【０１１４】
インループフィルタ部５２０は、そのフィルタ情報Finfoに基づいて、局所復号画像Rlocalに対して適宜フィルタ処理を行う。インループフィルタ部５２０は、必要に応じて入力画像（元画像）や、その他の入力情報もそのフィルタ処理に用いる。
【０１１５】
例えば、インループフィルタ部５２０は、バイラテラルフィルタ、デブロッキングフィルタ（DBF（DeBlocking Filter））、適応オフセットフィルタ（SAO（Sample Adaptive Offset））、および適応ループフィルタ（ALF(Adaptive Loop Filter)）の４つのインループフィルタをこの順に適用する。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。
【０１１６】
もちろん、インループフィルタ部５２０が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部５２０がウィーナーフィルタ等を適用するようにしてもよい。
【０１１７】
インループフィルタ部５２０は、フィルタ処理された局所復号画像Rlocalをフレームメモリ５２１に供給する。なお、例えばフィルタ係数等のフィルタに関する情報を復号側に伝送する場合、インループフィルタ部５２０は、そのフィルタに関する情報を符号化部５１５に供給する。
【０１１８】
＜フレームメモリ＞
フレームメモリ５２１は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ５２１は、演算部５１９から供給される局所復号画像Rlocalや、インループフィルタ部５２０から供給されるフィルタ処理された局所復号画像Rlocalを入力とし、それを保持（記憶）する。また、フレームメモリ５２１は、その局所復号画像Rlocalを用いてピクチャ単位毎の復号画像Rを再構築し、保持する（フレームメモリ５２１内のバッファへ格納する）。フレームメモリ５２１は、予測部５２２の要求に応じて、その復号画像R（またはその一部）を予測部５２２に供給する。
【０１１９】
＜予測部＞
予測部５２２は、予測画像の生成に関する処理を行う。例えば、予測部５２２は、制御部５０１から供給される予測モード情報Pinfoと、並べ替えバッファ５１１から供給される入力画像（元画像）と、フレームメモリ５２１から読み出す復号画像R（またはその一部）を入力とする。予測部５２２は、予測モード情報Pinfoや入力画像（元画像）を用い、インター予測やイントラ予測等の予測処理を行い、復号画像Rを参照画像として参照して予測を行い、その予測結果に基づいて動き補償処理を行い、予測画像Pを生成する。予測部５２２は、生成した予測画像Pを演算部５１２および演算部５１９に供給する。また、予測部５２２は、以上の処理により選択した予測モード、すなわち最適な予測モードに関する情報を、必要に応じて符号化部５１５に供給する。
【０１２０】
＜レート制御部＞
レート制御部５２３は、レート制御に関する処理を行う。例えば、レート制御部５２３は、蓄積バッファ５１６に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部５１４の量子化動作のレートを制御する。
【０１２１】
＜本技術の適用＞
以上のような構成の画像符号化装置５００において、＜３．コンセプト＞や＜４．方法１＞において上述した本技術を適用する。例えば、この画像符号化装置５００において「方法１−１」を適用するようにしてもよい。例えば、制御部５０１が、CTU１１１にVPDU１２１を設定し、符号化部５１５がそのVPDU１２１により構成されるCTU１１１のライン毎に並列に符号化を行うようにしてもよい。また、符号化部５１５が、各CTUラインの処理を、その１つ上のCTUラインに対して、1CTUだけ遅延して実行するようにしてもよい。
【０１２２】
例えば、符号化部５１５が、画像に関する係数データを、単数または複数の変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に符号化し、各ラインの符号化を、１つ上のラインの符号化に対して１符号化ツリーユニット遅延して実行するようにしてもよい。
【０１２３】
また例えば、符号化部５１５が、画像に関する係数データの符号化ツリーユニットの各ラインを、左の符号化ツリーユニットから順に１符号化ツリーユニットずつ符号化するようにしてもよい。
【０１２４】
また例えば、符号化部５１５が、各符号化ツリーユニットを、変換ブロック毎に符号化するようにしてもよい。
【０１２５】
また例えば、符号化部５１５が、各変換ブロックを、１つ前の変換ブロックのエントロピ符号化により導出された生起確率を用いてエントロピ符号化するようにしてもよい。
【０１２６】
また例えば、符号化部５１５が、画像の１番上の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最初の変換ブロックを、生起確率の初期値を用いてエントロピ符号化するようにしてもよい。また例えば、符号化部５１５が、画像の上から２番目以降の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最初の変換ブロックを、１つ上の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最後の変換ブロックのエントロピ符号化により導出された生起確率を用いてエントロピ符号化するようにしてもよい。
【０１２７】
また、この画像符号化装置５００において「方法１−２」を適用するようにしてもよい。すなわち、予測部５２２が、イントラ予測において一部のモードを制限するようにしてもよい。例えば、この画像符号化装置５００において「方法１−２−１」を適用するようにしてもよい。すなわち、CTUの右上のVPDUのイントラ予測において、制御部５０１が、その右上のVPDUの参照を無効（unavailable）とし、予測部５２２が、その制御に従ってイントラ予測を行うようにしてもよい。つまり、予測部５２２が、CTUの右上のVPDUについて、その右上のVPDUの参照を無効（unavailable）としてイントラ予測を行うようにしてもよい。
【０１２８】
例えば、予測部５２２が、符号化ツリーユニットの右上の変換ブロックのイントラ予測において、右上の変換ブロックの参照を無効とするようにしてもよい。
【０１２９】
また、この画像符号化装置５００において「方法１−３」を適用するようにしてもよい。すなわち、予測部５２２が、インター予測において制限を行うようにしてもよい。例えば、この画像符号化装置５００において「方法１−３−１」を適用するようにしてもよい。すなわち、CTUの右上のVPDUをカレント予測ブロックとするインター予測において、制御部５０１が、その右上のVPDUのインター予測モードと動きベクトルの参照を無効（unavailable）とし、予測部５２２が、その制御に従ってインター予測を行うようにしてもよい。つまり、予測部５２２が、CTUの右上のVPDUをカレント予測ブロックとする場合、その右上のVPDUのインター予測モードと動きベクトルの参照を無効（unavailable）としてインター予測を行うようにしてもよい。
【０１３０】
例えば、予測部５２２が、符号化ツリーユニットの右上の変換ブロックのインター予測において、右上の変換ブロックの参照を無効とするようにしてもよい。
【０１３１】
また、例えば、この画像符号化装置５００において「方法１−３−２」を適用するようにしてもよい。すなわち、ブロックサイズ128xNの予測ブロックのインター予測において、制御部５０１が、その右上のブロックのインター予測モードや動きベクトルの参照を禁止し（無効（unavailable）とし）、予測部５２２が、その制御に従ってインター予測を行うようにしてもよい。つまり、予測部５２２が、ブロックサイズ128xNのカレント予測ブロックの右上のブロックの参照を無効（unavailable）としてインター予測を行うようにしてもよい。
【０１３２】
例えば、予測部５２２が、インター予測の処理単位であり、水平方向の長さがツリー構造の符号化ブロックの最上位である符号化ツリーユニットと同一である予測ブロックのインター予測において、右上の変換ブロックの参照を無効とするようにしてもよい。
【０１３３】
このような構成とすることにより、画像符号化装置５００は、符号化の並列度の低減を抑制することができ、処理時間の増大を抑制することができる。
【０１３４】
＜５−２：処理の流れ＞
＜画像符号化処理の流れ＞
次に、以上のような画像符号化装置５００により実行される各処理の流れについて説明する。最初に、図１４のフローチャートを参照して、画像符号化処理の流れの例を説明する。
【０１３５】
画像符号化処理が開始されると、ステップＳ１０１において、並べ替えバッファ５１１は、制御部５０１に制御されて、入力された動画像データのフレームの順を表示順から符号化順に並べ替える。
【０１３６】
ステップＳ１０２において、制御部５０１は、並べ替えバッファ５１１が保持する入力画像に対して、処理単位を設定する（ブロック分割を行う）。
【０１３７】
ステップＳ１０３において、制御部５０１は、並べ替えバッファ５１１が保持する入力画像についての符号化パラメータを決定（設定）する。その際、制御部５０１は、必要に応じて、上述したイントラ予測やインター予測の制限に関する設定を行う。この設定は、例えば予測モード情報Pinfo等として予測部５２２に供給される。
【０１３８】
ステップＳ１０４において、予測部５２２は、制御部５０１の制御に従って予測処理を行い、最適な予測モードの予測画像等を生成する。予測処理の詳細については後述する。
【０１３９】
ステップＳ１０５において、演算部５１２は、入力画像と、ステップＳ１０４の予測処理により選択された最適なモードの予測画像との差分を演算する。つまり、演算部５１２は、入力画像と予測画像との予測残差resiを生成する。このようにして求められた予測残差resiは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
【０１４０】
ステップＳ１０６において、直交変換部５１３は、ステップＳ１０５の処理により生成された予測残差resiに対して直交変換処理を行い、変換係数coefを導出する。
【０１４１】
ステップＳ１０７において、量子化部５１４は、制御部５０１により算出された量子化パラメータを用いる等して、ステップＳ１０６の処理により得られた変換係数coefを量子化し、量子化変換係数レベルqcoefを導出する。
【０１４２】
ステップＳ１０８において、逆量子化部５１７は、ステップＳ１０７の処理により生成された量子化変換係数レベルqcoefを、そのステップＳ１０７の量子化の特性に対応する特性で逆量子化し、変換係数coefI導出する。
【０１４３】
ステップＳ１０９において、逆直交変換部５１８は、ステップＳ１０８の処理により得られた変換係数coefIを、ステップＳ１０６の直交変換処理に対応する方法で逆直交変換し、予測残差resiIを導出する。なお、この逆直交変換処理は、復号側において行われる逆直交変換処理（後述する）と同様であるので、このステップＳ１０９の逆直交変換処理については、復号側について行う説明（後述する）を適用することができる。
【０１４４】
ステップＳ１１０において、演算部５１９は、ステップＳ１０９の処理により導出された予測残差resiIに、ステップＳ１０４の予測処理により得られた予測画像を加算することにより、局所的に復号された復号画像を生成する。
【０１４５】
ステップＳ１１１において、インループフィルタ部５２０は、ステップＳ１１０の処理により導出された、局所的に復号された復号画像に対して、インループフィルタ処理を行う。
【０１４６】
ステップＳ１１２において、フレームメモリ５２１は、ステップＳ１１０の処理により導出された、局所的に復号された復号画像や、ステップＳ１１１においてフィルタ処理された、局所的に復号された復号画像を記憶する。
【０１４７】
ステップＳ１１３において、符号化部５１５は、符号化処理を行い、ステップＳ１０７の処理により得られた量子化変換係数レベルqcoefを符号化する。例えば、符号化部５１５は、画像に関する情報である量子化変換係数レベルqcoefを、算術符号化等により符号化し、符号化データを生成する。また、このとき、符号化部５１５は、各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo）を符号化する。さらに、符号化部５１５は、量子化変換係数レベルqcoefから残差情報RInfoを導出し、その残差情報RInfoを符号化する。この符号化処理の詳細については後述する。
【０１４８】
ステップＳ１１４において、蓄積バッファ５１６は、このようにして得られた符号化データを蓄積し、例えばビットストリームとして、それを画像符号化装置５００の外部に出力する。このビットストリームは、例えば、伝送路や記録媒体を介して復号側に伝送される。また、レート制御部５２３は、必要に応じてレート制御を行う。
【０１４９】
ステップＳ１１４の処理が終了すると、画像符号化処理が終了する。
【０１５０】
このような画像符号化処理のステップＳ１１３において実行される符号化処理において、符号化部５１５は、画像に関する係数データを、単数または複数の変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に符号化し、各ラインの符号化を、１つ上のラインの符号化に対して１符号化ツリーユニット遅延して実行する。このようにすることにより、画像符号化装置５００は、符号化の並列度の低減を抑制することができ、処理時間の増大を抑制することができる。
【０１５１】
＜予測処理の流れ＞
次に、図１４のステップＳ１０４において実行される予測処理の流れの例を、図１５のフローチャートを参照して説明する。
【０１５２】
予測処理が開始されると、制御部５０１は、ステップＳ１３１において、CTUの右上のVPDUのイントラ予測について、その右上のVPDUの参照を無効（unavailable）とする。ステップＳ１３２において、予測部５２２は、ステップＳ１３１の設定に従ってイントラ予測を行う。つまり、予測部５２２は、各VPDUのイントラ予測を行い、CTUの右上のVPDUを処理対象とする場合、その右上のVPDUの参照を無効（unavailable）としてイントラ予測を行う。
【０１５３】
ステップＳ１３３において、制御部５０１は、CTUの右上のVPDUからなる予測ブロックのインター予測について、その右上のVPDUの参照を無効（unavailable）とする。また、ステップＳ１３４において、制御部５０１は、ブロックサイズが128xNの予測ブロックのインター予測について、その予測ブロックの右上のブロックの参照を無効（unavailable）とする。ステップＳ１３５において、予測部５２２は、ステップＳ１３３およびステップＳ１３４の設定に従ってインター予測を行う。つまり、予測部５２２は、各予測ブロックのインター予測を行い、CTUの右上のVPDUからなる予測ブロックを処理対象とする場合、その右上のVPDUの参照を無効（unavailable）としてインター予測を行い、ブロックサイズが128xNの予測ブロックを処理対象とする場合、その予測ブロックの右上のブロックの参照を無効（unavailable）としてインター予測を行う。
【０１５４】
ステップＳ１３６において、予測部５２２は、ステップＳ１３２の処理結果と、ステップＳ１３５の処理結果に基づいて、最適な予測モードを選択する。つまり、予測部５２２は、イントラ予測を行って最適なイントラ予測モードの予測画像等を生成し、インター予測を行って最適なインター予測モードの予測画像等を生成し、それらの中から、コスト関数値等に基づいて最適な予測モードを選択する。
【０１５５】
ステップＳ１３６の処理が終了すると予測処理が終了し、処理は図１４に戻る。
【０１５６】
＜符号化処理の流れ＞
次に、図１４のステップＳ１１３において実行される符号化処理の流れの例を、図１６のフローチャートを参照して説明する。
【０１５７】
符号化処理が開始されると、符号化部５１５は、ステップＳ１５１において、処理対象とするCTUラインの位置（画像の上からのライン数）を示す変数Ｔを初期値（＝１）に設定する。
【０１５８】
ステップＳ１５２において、符号化部５１５は、画像の上から１ライン目のCTUラインであるCTUライン１に対するCTU処理を行う。この処理の詳細については後述する。CTUライン１に対する処理が終了すると、処理はステップＳ１５３に進む。
【０１５９】
ステップＳ１５３において、符号化部５１５は、未処理のCTUラインが存在するか否かを判定する。画像の最下段のCTUラインまで処理が終了しておらず、未処理のCTUラインが存在すると判定された場合、処理はステップＳ１５４に進む。
【０１６０】
ステップＳ１５４において、符号化部５１５は、変数Ｔの値に１を加算する（T = T+1）。変数Ｔの値をインクリメントすると、処理はステップＳ１５５に進む。
【０１６１】
ステップＳ１５５において、符号化部５１５は、画像の上からＴライン目のCTUラインであるCTUラインＴに対するCTU処理を行う。この処理の詳細については後述する。CTUラインＴに対する処理が終了すると、処理はステップＳ１５３に戻る。
【０１６２】
つまり、全てのCTUラインが処理されるまで、ステップＳ１５３乃至ステップＳ１５５の各処理が繰り返される。そして、ステップＳ１５３において、未処理のCTUラインが存在しない（全てのCTUラインが処理された）と判定された場合、符号化処理が終了し、処理は図１４に戻る。
【０１６３】
＜CTUライン１に対するCTU処理の流れ＞
次に、図１６のステップＳ１５２において実行されるCTUライン１に対するCTU処理の流れの例を、図１７のフローチャートを参照して説明する。
【０１６４】
CTU処理が開始されると、符号化部５１５は、ステップＳ１７１において、カレントCTUの位置（画像左端からのCTU数）を示す変数ｉを初期値（＝１）に設定する。また、符号化部５１５は、値Ｎに水平方向のCTU数を設定する。つまり、値Ｎは、CTUライン１のCTU数を示す。
【０１６５】
ステップＳ１７２において、符号化部５１５は、CABACのコンテキスト（生起確率）を初期化する。
【０１６６】
ステップＳ１７３において、符号化部５１５は、変数ｉがＮ以下である（i <= N）か否かを判定する。変数ｉがＮ以下であり、CTUライン１に未処理のCTUが存在すると判定された場合、処理はステップＳ１７４に進む。
【０１６７】
ステップＳ１７４において、符号化部５１５は、左端からｉ番目のCTUを符号化する。符号化部５１５は、左端からｉ番目のCTUを、そのCTUに含まれるVPDU毎に符号化する。その左端からｉ番目のCTUが符号化されると処理はステップＳ１７５に進む。
【０１６８】
ステップＳ１７５において、符号化部５１５は、変数ｉの値が１である（i == 1）か否かを判定する。変数ｉの値が１である（つまり、ステップＳ１７４の処理により左端のCTUが符号化された）と判定された場合、処理はステップＳ１７６に進む。
【０１６９】
ステップＳ１７６において、符号化部５１５は、ステップＳ１７４において生成された、画像の左端のCTUの最後のVPDUのCABACのコンテキスト（生起確率）を保存する。コンテキストが保存されると処理はステップＳ１７７に進む。
【０１７０】
また、ステップＳ１７５において、変数ｉの値が２でない（処理対象が画像の左端のCTUでなかった）と判定された場合、ステップＳ１７６の処理がスキップされ、処理はステップＳ１７７に進む。
【０１７１】
ステップＳ１７７において、符号化部５１５は、変数ｉの値が１以上である（i >= 1）か否かを判定する。変数ｉの値が１以上であると判定された場合、処理はステップＳ１７８に進む。
【０１７２】
ステップＳ１７８において、符号化部５１５は、CTUライン２を処理するスレッドであるCTUライン２処理Threadに対してCTU処理の完了通知を行う。CTU処理完了通知が行われると処理はステップＳ１７９に進む。
【０１７３】
また、ステップＳ１７７において、変数ｉの値が１より小さい（画像の左端のCTUの符号化が完了していない）と判定された場合、ステップＳ１７８の処理がスキップされ、処理はステップＳ１７９に進む。
【０１７４】
ステップＳ１７９において、符号化部５１５は、変数ｉの値に１を加算する（i = i+1）。変数ｉの値をインクリメントすると、処理はステップＳ１７３に戻る。
【０１７５】
つまり、CTUライン１の全てのCTUが処理されるまで、ステップＳ１７３乃至ステップＳ１７９の各処理が繰り返される。そして、ステップＳ１７３において、未処理のCTUが存在しない（CTUライン１の全てのCTUが処理された）と判定された場合、このCTU処理が終了し、処理は図１６に戻る。
【０１７６】
＜CTUラインＴに対するCTU処理の流れ＞
次に、図１６のステップＳ１５５等において実行されるCTUラインＴに対するCTU処理の流れの例を、図１８のフローチャートを参照して説明する。
【０１７７】
CTU処理が開始されると、符号化部５１５は、ステップＳ１９１において、１つ上のCTUラインＴ−１を処理するスレッドであるCTUラインＴ−１処理ThreadからのCTU処理完了通知を受け取るまで待機する。CTUラインＴ−１処理ThreadからCTU処理完了通知を取得すると処理はステップＳ１９２に進む。
【０１７８】
ステップＳ１９２において、符号化部５１５は、変数ｉを初期値（＝１）に設定する。また、符号化部５１５は、値Ｎに水平方向のCTU数を設定する。
【０１７９】
ステップＳ１９３において、符号化部５１５は、１つ上のCTUラインＴ−１のCTU処理において保存されたCABACのコンテキスト（生起確率）を引き継ぎ、CABACを初期化する。
【０１８０】
ステップＳ１９４において、符号化部５１５は、変数ｉがＮ以下である（i <= N）か否かを判定する。変数ｉがＮ以下であり、CTUラインＴに未処理のCTUが存在すると判定された場合、処理はステップＳ１９５に進む。
【０１８１】
ステップＳ１９５において、符号化部５１５は、処理のタイミングを制御するために、CTUラインＴ−１処理ThreadからのCTU処理完了通知を受け取るまで待機する。CTUラインＴ−１処理ThreadからCTU処理完了通知を取得すると処理はステップＳ１９６に進む。
【０１８２】
ステップＳ１９６において、符号化部５１５は、左端からｉ番目のCTUを、そのCTUに含まれるVPDU毎に符号化する。その左端からｉ番目のCTUが符号化されると処理はステップＳ１９７に進む。
【０１８３】
ステップＳ１９７において、符号化部５１５は、変数ｉの値が１である（i == 1）か否かを判定する。変数ｉの値が１である、すなわち左端のCTUを処理対象とすると判定された場合、処理はステップＳ１９８に進む。
【０１８４】
ステップＳ１９８において、符号化部５１５は、ステップＳ１９６において生成された、画像の左端のCTUの最後のVPDUのCABACのコンテキスト（生起確率）を保存する。コンテキストが保存されると処理はステップＳ１９９に進む。
【０１８５】
また、ステップＳ１９７において、変数ｉの値が１でない（処理対象が画像の左端のCTUでなかった）と判定された場合、ステップＳ１９８の処理がスキップされ、処理はステップＳ１９９に進む。
【０１８６】
ステップＳ１９９において、符号化部５１５は、変数ｉの値が１以上である（i >= 1）か否かを判定する。変数ｉの値が１以上であると判定された場合、処理はステップＳ２００に進む。
【０１８７】
ステップＳ２００において、符号化部５１５は、１つ下のCTUラインであるCTUラインＴ＋１を処理するスレッドであるCTUラインＴ＋１処理Threadに対してCTU処理の完了通知を行う。CTU処理完了通知が行われると処理はステップＳ２０１に進む。
【０１８８】
また、ステップＳ１９９において、変数ｉの値が１より小さい（すなわち画像の左端のCTUに対する処理が完了していない）と判定された場合、ステップＳ２００の処理がスキップされ、処理はステップＳ２０１に進む。
【０１８９】
ステップＳ２０１において、符号化部５１５は、変数ｉの値に１を加算する（i = i+1）。変数ｉの値をインクリメントすると、処理はステップＳ１９４に戻る。
【０１９０】
つまり、CTUラインＴの全てのCTUが処理されるまで、ステップＳ１９４乃至ステップＳ２０１の各処理が繰り返される。そして、ステップＳ１９４において、未処理のCTUが存在しない（CTUラインＴの全てのCTUが処理された）と判定された場合、このCTU処理が終了し、処理は図１６に戻る。
【０１９１】
以上のように各処理を実行することにより、画像符号化装置５００は、符号化の並列度の低減を抑制することができる。
【０１９２】
＜５−３：画像復号装置＞
また、以上に説明した本技術は、例えば、画像データが符号化された符号化データを復号する画像復号装置に、上述した本技術を適用することができる。
【０１９３】
図１９は、本技術を適用した画像処理装置の一態様である画像復号装置の構成の一例を示すブロック図である。図２５に示される画像復号装置６００は、AVCやHEVCのように、画像とその予測画像との予測残差が符号化された符号化データを復号する装置である。例えば、画像復号装置６００は、非特許文献１乃至非特許文献６に記載されている技術を実装し、それらの文献のいずれかに記載された規格に準拠した方法で動画像の画像データが符号化された符号化データを復号する。例えば、画像復号装置６００は、上述の画像符号化装置５００により生成された符号化データ（ビットストリーム）を復号する。
【０１９４】
なお、図１９においては、処理部やデータの流れ等の主なものを示しており、図１９に示されるものが全てとは限らない。つまり、画像復号装置６００において、図１９においてブロックとして示されていない処理部が存在したり、図１９において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
【０１９５】
図１９において、画像復号装置６００は、蓄積バッファ６１１、復号部６１２、逆量子化部６１３、逆直交変換部６１４、演算部６１５、インループフィルタ部６１６、並べ替えバッファ６１７、フレームメモリ６１８、および予測部６１９を備えている。なお、予測部６１９は、不図示のイントラ予測部、およびインター予測部を備えている。画像復号装置６００は、符号化データ（ビットストリーム）を復号することによって、動画像データを生成するための装置である。
【０１９６】
＜蓄積バッファ＞
蓄積バッファ６１１は、画像復号装置６００に入力されたビットストリームを取得し、保持（記憶）する。蓄積バッファ６１１は、所定のタイミングにおいて、または、所定の条件が整う等した場合、蓄積しているビットストリームを復号部６１２に供給する。
【０１９７】
＜復号部＞
復号部６１２は、画像の復号に関する処理を行う。例えば、復号部６１２は、蓄積バッファ６１１から供給されるビットストリームを入力とし、シンタックステーブルの定義に沿って、そのビット列から、各シンタックス要素のシンタックス値を可変長復号し、パラメータを導出する。
【０１９８】
シンタックス要素およびシンタックス要素のシンタックス値から導出されるパラメータには、例えば、ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、残差情報Rinfo、フィルタ情報Finfoなどの情報が含まれる。つまり、復号部６１２は、ビットストリームから、これらの情報をパースする（解析して取得する）。これらの情報について以下に説明する。
【０１９９】
＜ヘッダ情報Hinfo＞
ヘッダ情報Hinfoは、例えば、VPS（Video Parameter Set）／SPS（Sequence ParameterSet）／PPS（Picture Parameter Set）／SH（スライスヘッダ）などのヘッダ情報を含む。ヘッダ情報Hinfoには、例えば、画像サイズ（横幅PicWidth、縦幅PicHeight）、ビット深度（輝度bitDepthY, 色差bitDepthC）、色差アレイタイプChromaArrayType、CUサイズの最大値MaxCUSize／最小値MinCUSize、４分木分割（Quad-tree分割ともいう）の最大深度MaxQTDepth/最小深度MinQTDepth、２分木分割（Binary-tree分割）の最大深度MaxBTDepth/最小深度MinBTDepth、変換スキップブロックの最大値MaxTSSize（最大変換スキップブロックサイズともいう）、各符号化ツールのオンオフフラグ（有効フラグともいう）などを規定する情報が含まれる。
【０２００】
例えば、ヘッダ情報Hinfoに含まれる符号化ツールのオンオフフラグとしては、以下に示す変換、量子化処理に関わるオンオフフラグがある。なお、符号化ツールのオンオフフラグは、該符号化ツールに関わるシンタックスが符号化データ中に存在するか否かを示すフラグとも解釈することができる。また、オンオフフラグの値が１（真）の場合、該符号化ツールが使用可能であることを示し、オンオフフラグの値が０（偽）の場合、該符号化ツールが使用不可であることを示す。なお、フラグ値の解釈は逆であってもよい。
【０２０１】
コンポーネント間予測有効フラグ（ccp_enabled_flag）:コンポーネント間予測（CCP（Cross-Component Prediction），CC予測とも称する）が使用可能であるか否かを示すフラグ情報である。例えば、このフラグ情報が「１」（真）の場合、使用可能であることが示され、「０」（偽）の場合、使用不可であることが示される。
【０２０２】
なお、このCCPは、コンポーネント間線形予測（CCLMまたはCCLMP）とも称する。
【０２０３】
＜予測モード情報Pinfo＞
予測モード情報Pinfoには、例えば、処理対象PB（予測ブロック）のサイズ情報PBSize（予測ブロックサイズ）、イントラ予測モード情報IPinfo、動き予測情報MVinfo等の情報が含まれる。
【０２０４】
イントラ予測モード情報IPinfoには、例えば、JCTVC-W1005, 7.3.8.5 Coding Unit syntax中のprev_intra_luma_pred_flag, mpm_idx, rem_intra_pred_mode、およびそのシンタックスから導出される輝度イントラ予測モードIntraPredModeY等が含まれる。
【０２０５】
また、イントラ予測モード情報IPinfoには、例えば、コンポーネント間予測フラグ（ccp_flag（cclmp_flag））、多クラス線形予測モードフラグ（mclm_flag）、色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）、色差MPM識別子（chroma_mpm_idx）、および、これらのシンタックスから導出される輝度イントラ予測モード（IntraPredModeC）等が含まれる。
【０２０６】
コンポーネント間予測フラグ（ccp_flag（cclmp_flag））は、コンポーネント間線形予測を適用するか否かを示すフラグ情報である。例えば、ccp_flag==1のとき、コンポーネント間予測を適用することを示し、ccp_flag==0のとき、コンポーネント間予測を適用しないことを示す。
【０２０７】
多クラス線形予測モードフラグ（mclm_flag）は、線形予測のモードに関する情報（線形予測モード情報）である。より具体的には、多クラス線形予測モードフラグ（mclm_flag）は、多クラス線形予測モードにするか否かを示すフラグ情報である。例えば、「０」の場合、１クラスモード（単一クラスモード）（例えばCCLMP）であることを示し、「１」の場合、２クラスモード（多クラスモード）（例えばMCLMP）であることを示す。
【０２０８】
色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置のタイプ（色差サンプル位置タイプとも称する）を識別する識別子である。例えば色フォーマットに関する情報である色差アレイタイプ（ChromaArrayType）が420形式を示す場合、色差サンプル位置タイプ識別子は、以下の式（４）のような割り当て方となる。
【０２０９】
【数４】
2020129698.tif 000006
【０２１０】
なお、この色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置に関する情報（chroma_sample_loc_info()）として（に格納されて）伝送される。
【０２１１】
色差MPM識別子（chroma_mpm_idx）は、色差イントラ予測モード候補リスト（intraPredModeCandListC）の中のどの予測モード候補を色差イントラ予測モードとして指定するかを表す識別子である。
【０２１２】
動き予測情報MVinfoには、例えば、merge_idx, merge_flag, inter_pred_idc, ref_idx_LX, mvp_lX_flag, X={0,1}, mvd等の情報が含まれる（例えば、JCTVC-W1005, 7.3.8.6 Prediction Unit Syntaxを参照）。
【０２１３】
もちろん、予測モード情報Pinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
【０２１４】
＜変換情報Tinfo＞
変換情報Tinfoには、例えば、以下の情報が含まれる。もちろん、変換情報Tinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
【０２１５】
処理対象変換ブロックの横幅サイズTBWSizeおよび縦幅TBHSize（または、２を底とする各TBWSize、TBHSizeの対数値log2TBWSize、log2TBHSizeであってもよい）。変換スキップフラグ（ts_flag）:（逆）プライマリ変換および（逆）セカンダリ変換をスキップか否かを示すフラグである。
スキャン識別子（scanIdx）
量子化パラメータ（qp）
量子化マトリックス（scaling_matrix（例えば、JCTVC-W1005, 7.3.4 Scaling list data syntax））
【０２１６】
＜残差情報Rinfo＞
残差情報Rinfo（例えば、JCTVC-W1005の7.3.8.11 Residual Coding syntaxを参照）には、例えば以下のシンタックスが含まれる。
【０２１７】
cbf（coded_block_flag）：残差データ有無フラグ
last_sig_coeff_x_pos：ラスト非ゼロ係数X座標
last_sig_coeff_y_pos：ラスト非ゼロ係数Y座標
coded_sub_block_flag：サブブロック非ゼロ係数有無フラグ
sig_coeff_flag：非ゼロ係数有無フラグ
gr1_flag：非ゼロ係数のレベルが１より大きいかを示すフラグ(GR1フラグとも呼ぶ)
gr2_flag：非ゼロ係数のレベルが２より大きいかを示すフラグ(GR2フラグとも呼ぶ)
sign_flag：非ゼロ係数の正負を示す符号（サイン符号とも呼ぶ）
coeff_abs_level_remaining:非ゼロ係数の残余レベル(非ゼロ係数残余レベルとも呼ぶ)
など。
【０２１８】
もちろん、残差情報Rinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
【０２１９】
＜フィルタ情報Finfo＞
フィルタ情報Finfoには、例えば、以下に示す各フィルタ処理に関する制御情報が含まれる。
【０２２０】
デブロッキングフィルタ(DBF)に関する制御情報
適応オフセットフィルタ(SAO)に関する制御情報
適応ループフィルタ(ALF)に関する制御情報
その他の線形・非線形フィルタに関する制御情報
【０２２１】
より具体的には、例えば、各フィルタを適用するピクチャや、ピクチャ内の領域を指定する情報や、CU単位のフィルタOn/Off制御情報、スライス、タイルの境界に関するフィルタOn/Off制御情報などが含まれる。もちろん、フィルタ情報Finfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
【０２２２】
復号部６１２の説明に戻り、復号部６１２は、残差情報Rinfoを参照して、各変換ブロック内の各係数位置の量子化変換係数レベルqcoefを導出する。復号部６１２は、その量子化変換係数レベルqcoefを、逆量子化部６１３に供給する。
【０２２３】
また、復号部６１２は、パースしたヘッダ情報Hinfo、予測モード情報Pinfo、量子化変換係数レベルqcoef、変換情報Tinfo、フィルタ情報Finfoを各ブロックへ供給する。具体的には以下の通りである。
【０２２４】
ヘッダ情報Hinfoは、逆量子化部６１３、逆直交変換部６１４、予測部６１９、インループフィルタ部６１６に供給される。予測モード情報Pinfoは、逆量子化部６１３および予測部６１９に供給される。変換情報Tinfoは、逆量子化部６１３および逆直交変換部６１４に供給される。フィルタ情報Finfoは、インループフィルタ部６１６に供給される。
【０２２５】
もちろん、上述の例は一例であり、この例に限定されない。例えば、各符号化パラメータが任意の処理部に供給されるようにしてもよい。また、その他の情報が、任意の処理部に供給されるようにしてもよい。
【０２２６】
＜逆量子化部＞
逆量子化部６１３は、逆量子化に関する処理を行う。例えば、逆量子化部６１３は、復号部６１２から供給される変換情報Tinfoおよび量子化変換係数レベルqcoefを入力とし、その変換情報Tinfoに基づいて、量子化変換係数レベルqcoefの値をスケーリング（逆量子化）し、逆量子化後の変換係数coefIを導出する。
【０２２７】
なお、この逆量子化は、量子化部５１４による量子化の逆処理として行われる。また、この逆量子化は、逆量子化部５１７による逆量子化と同様の処理である。つまり、逆量子化部５１７は、逆量子化部６１３と同様の処理（逆量子化）を行う。
【０２２８】
逆量子化部６１３は、導出した変換係数coefIを逆直交変換部６１４に供給する。
【０２２９】
＜逆直交変換部＞
逆直交変換部６１４は、逆直交変換に関する処理を行う。例えば、逆直交変換部６１４は、逆量子化部６１３から供給される変換係数coefI、および、復号部６１２から供給される変換情報Tinfoを入力とし、その変換情報Tinfoに基づいて、変換係数coefIに対して逆直交変換処理を行い、予測残差resiIを導出する。
【０２３０】
なお、この逆直交変換は、直交変換部５１３による直交変換の逆処理として行われる。また、この逆直交変換は、逆直交変換部５１８による逆直交変換と同様の処理である。つまり、逆直交変換部５１８は、逆直交変換部６１４と同様の処理（逆直交変換）を行う。
【０２３１】
逆直交変換部６１４は、導出した予測残差resiIを演算部６１５に供給する。
【０２３２】
＜演算部＞
演算部６１５は、画像に関する情報の加算に関する処理を行う。例えば、演算部６１５は、逆直交変換部６１４から供給される予測残差resiIと、予測部６１９から供給される予測画像Pとを入力とする。演算部６１５は、以下の式（５）に示されるように、予測残差resiIとその予測残差resiIに対応する予測画像P（予測信号）とを加算し、局所復号画像Rlocalを導出する。
【０２３３】
【数５】
2020129698.tif 000007
【０２３４】
演算部６１５は、導出した局所復号画像Rlocalを、インループフィルタ部６１６およびフレームメモリ６１８に供給する。
【０２３５】
＜インループフィルタ部＞
インループフィルタ部６１６は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部６１６は、演算部６１５から供給される局所復号画像Rlocalと、復号部６１２から供給されるフィルタ情報Finfoとを入力とする。なお、インループフィルタ部６１６に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。
【０２３６】
インループフィルタ部６１６は、そのフィルタ情報Finfoに基づいて、局所復号画像Rlocalに対して適宜フィルタ処理を行う。
【０２３７】
例えば、インループフィルタ部６１６は、バイラテラルフィルタ、デブロッキングフィルタ（DBF（DeBlocking Filter））、適応オフセットフィルタ（SAO（Sample Adaptive Offset））、および適応ループフィルタ（ALF(Adaptive Loop Filter)）の４つのインループフィルタをこの順に適用する。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。
【０２３８】
インループフィルタ部６１６は、符号化側（例えば画像符号化装置５００のインループフィルタ部５２０）により行われたフィルタ処理に対応するフィルタ処理を行う。もちろん、インループフィルタ部６１６が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部６１６がウィーナーフィルタ等を適用するようにしてもよい。
【０２３９】
インループフィルタ部６１６は、フィルタ処理された局所復号画像Rlocalを並べ替えバッファ６１７およびフレームメモリ６１８に供給する。
【０２４０】
＜並べ替えバッファ＞
並べ替えバッファ６１７は、インループフィルタ部６１６から供給された局所復号画像Rlocalを入力とし、それを保持（記憶）する。並べ替えバッファ６１７は、その局所復号画像Rlocalを用いてピクチャ単位毎の復号画像Rを再構築し、保持する（バッファ内に格納する）。並べ替えバッファ６１７は、得られた復号画像Rを、復号順から再生順に並べ替える。並べ替えバッファ６１７は、並べ替えた復号画像R群を動画像データとして画像復号装置６００の外部に出力する。
【０２４１】
＜フレームメモリ＞
フレームメモリ６１８は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ６１８は、演算部６１５より供給される局所復号画像Rlocalを入力とし、ピクチャ単位毎の復号画像Rを再構築して、フレームメモリ６１８内のバッファへ格納する。
【０２４２】
また、フレームメモリ６１８は、インループフィルタ部６１６から供給される、インループフィルタ処理された局所復号画像Rlocalを入力とし、ピクチャ単位毎の復号画像Rを再構築して、フレームメモリ６１８内のバッファへ格納する。フレームメモリ６１８は、適宜、その記憶している復号画像R（またはその一部）を参照画像として予測部６１９に供給する。
【０２４３】
なお、フレームメモリ６１８が、復号画像の生成に係るヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなどを記憶するようにしても良い。
【０２４４】
＜予測部＞
予測部６１９は、予測画像の生成に関する処理を行う。例えば、予測部６１９は、復号部６１２から供給される予測モード情報Pinfoを入力とし、その予測モード情報Pinfoによって指定される予測方法により予測を行い、予測画像Pを導出する。その導出の際、予測部６１９は、その予測モード情報Pinfoによって指定される、フレームメモリ６１８に格納されたフィルタ前またはフィルタ後の復号画像R（またはその一部）を、参照画像として利用する。予測部６１９は、導出した予測画像Pを、演算部６１５に供給する。
【０２４５】
＜本技術の適用＞
以上のような構成の画像復号装置６００において、＜３．コンセプト＞や＜４．方法１＞において上述した本技術を適用する。例えば、この画像復号装置６００において「方法１−１」を適用するようにしてもよい。例えば、復号部６１２が、CTU１１１にVPDU１２１を設定し、そのVPDU１２１により構成されるCTU１１１のライン毎に符号化データを並列に復号するようにしてもよい。また、復号部６１２が、各CTUラインの処理を、その１つ上のCTUラインに対して、1CTUだけ遅延して実行するようにしてもよい。
【０２４６】
例えば、復号部６１２が、画像に関する係数データが符号化された符号化データを、単数または複数の変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に復号し、各ラインの復号を、１つ上のラインの復号に対して１符号化ツリーユニット遅延して実行するようにしてもよい。
【０２４７】
また例えば、復号部６１２が、画像に関する係数データの符号化ツリーユニットの各ラインの符号化データを、左の符号化ツリーユニットから順に１符号化ツリーユニットずつ復号するようにしてもよい。
【０２４８】
また例えば、復号部６１２が、各符号化ツリーユニットの符号化データを、変換ブロック毎に復号するようにしてもよい。
【０２４９】
また例えば、復号部６１２が、各変換ブロックの符号化データを、１つ前の変換ブロックの符号化データのエントロピ復号により導出された生起確率を用いてエントロピ復号するようにしてもよい。
【０２５０】
また例えば、復号部６１２が、画像の１番上の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最初の変換ブロックの符号化データを、生起確率の初期値を用いてエントロピ復号するようにしてもよい。また例えば、復号部６１２が、画像の上から２番目以降の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最初の変換ブロックの符号化データを、１つ上の符号化ツリーユニットのラインの１番左の符号化ツリーユニットの最後の変換ブロックの符号化データのエントロピ復号により導出された生起確率を用いてエントロピ復号するようにしてもよい。
【０２５１】
また、この画像復号装置６００において「方法１−２」を適用するようにしてもよい。すなわち、予測部６１９が、イントラ予測において一部のモードを制限するようにしてもよい。例えば、この画像復号装置６００において「方法１−２−１」を適用するようにしてもよい。すなわち、CTUの右上のVPDUのイントラ予測において、予測部６１９が、その右上のVPDUの参照を無効（unavailable）としてイントラ予測を行うようにしてもよい。
【０２５２】
例えば、予測部６１９が、符号化ツリーユニットの右上の変換ブロックのイントラ予測において、右上の変換ブロックの参照を無効とするようにしてもよい。
【０２５３】
また、この画像復号装置６００において「方法１−３」を適用するようにしてもよい。すなわち、予測部６１９が、インター予測において制限を行うようにしてもよい。例えば、この画像復号装置６００において「方法１−３−１」を適用するようにしてもよい。すなわち、CTUの右上のVPDUをカレント予測ブロックとするインター予測において、予測部６１９が、その右上のVPDUのインター予測モードと動きベクトルの参照を無効（unavailable）としてインター予測を行うようにしてもよい。
【０２５４】
例えば、予測部６１９が、符号化ツリーユニットの右上の変換ブロックのインター予測において、右上の変換ブロックの参照を無効とするようにしてもよい。
【０２５５】
また、例えば、この画像復号装置６００において「方法１−３−２」を適用するようにしてもよい。すなわち、ブロックサイズ128xNの予測ブロックのインター予測において、予測部６１９が、その右上のブロックのインター予測モードや動きベクトルの参照を禁止して（無効（unavailable）として）インター予測を行うようにしてもよい。
【０２５６】
例えば、予測部６１９が、インター予測の処理単位であり、水平方向の長さが符号化ツリーユニットと同一である予測ブロックのインター予測において、右上の変換ブロックの参照を無効とするようにしてもよい。
【０２５７】
このような構成とすることにより、画像復号装置６００は、復号の並列度の低減を抑制することができ、処理時間の増大を抑制することができる。
【０２５８】
＜５−４：処理の流れ＞
＜画像復号処理の流れ＞
次に、以上のような画像復号装置６００により実行される各処理の流れについて説明する。最初に、図２０のフローチャートを参照して、画像復号処理の流れの例を説明する。
【０２５９】
画像復号処理が開始されると、蓄積バッファ６１１は、ステップＳ３０１において、画像復号装置６００の外部から供給される符号化データ（ビットストリーム）を取得して保持する（蓄積する）。
【０２６０】
ステップＳ３０２において、復号部６１２は、復号処理を行い、その符号化データ（ビットストリーム）を復号し、量子化変換係数レベルqcoefを得る。また、復号部６１２は、この復号により、符号化データ（ビットストリーム）から各種符号化パラメータをパースする（解析して取得する）。この復号処理の詳細については後述する。
【０２６１】
ステップＳ３０３において、逆量子化部６１３は、ステップＳ３０２の処理により得られた量子化変換係数レベルqcoefに対して、符号化側で行われた量子化の逆処理である逆量子化を行い、変換係数coefIを得る。
【０２６２】
ステップＳ３０４において、逆直交変換部６１４は、ステップＳ３０３の処理により得られた変換係数coefIに対して、符号化側で行われた直交変換処理の逆処理である逆直交変換処理を行い、予測残差resiIを得る。
【０２６３】
ステップＳ３０５において、予測部６１９は、ステップＳ３０２においてパースされた情報に基づいて、符号化側より指定される予測方法で予測処理を実行し、フレームメモリ６１８に記憶されている参照画像を参照する等して、予測画像Pを生成する。
【０２６４】
ステップＳ３０６において、演算部６１５は、ステップＳ３０４の処理により得られた予測残差resiIと、ステップＳ３０５の処理により得られた予測画像Pとを加算し、局所復号画像Rlocalを導出する。
【０２６５】
ステップＳ３０７において、インループフィルタ部６１６は、ステップＳ３０６の処理により得られた局所復号画像Rlocalに対して、インループフィルタ処理を行う。
【０２６６】
また、ステップＳ３０８において、フレームメモリ６１８は、ステップＳ３０６の処理により得られた局所復号画像Rlocal、および、ステップＳ３０７の処理により得られたフィルタ処理後の局所復号画像Rlocalの内、少なくとも一方を記憶する。
【０２６７】
ステップＳ３０９において、並べ替えバッファ６１７は、ステップＳ３０７の処理により得られたフィルタ処理された局所復号画像Rlocalを用いて復号画像Rを導出し、その復号画像R群の順序を復号順から再生順に並べ替える。
【０２６８】
ステップＳ３１０において、並べ替えバッファ６１７は、再生順に並べ替えた復号画像R群を、動画像として画像復号装置６００の外部に出力する。ステップＳ３１０の処理が終了すると、画像復号処理が終了する。
【０２６９】
このような画像復号処理のステップＳ３０２において実行される復号処理において、復号部６１２は、画像に関する係数データが符号化された符号化データを、単数または複数の変換ブロックにより構成される、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットのライン毎に並列に復号し、各ラインの復号を、１つ上のラインの復号に対して１符号化ツリーユニット遅延して実行する。このようにすることにより、画像復号装置６００は、復号の並列度の低減を抑制することができ、処理時間の増大を抑制することができる。
【０２７０】
＜復号処理の流れ＞
次に、図２０のステップＳ３０２において実行される復号処理の流れの例を、図２１のフローチャートを参照して説明する。
【０２７１】
復号処理が開始されると、復号部６１２は、ステップＳ３３１において、処理対象とするCTUラインの位置（画像の上からのライン数）を示す変数Ｔを初期値（＝１）に設定する。
【０２７２】
ステップＳ３３２において、復号部６１２は、画像の上から１ライン目のCTUラインであるCTUライン１に対するCTU処理を行う。この処理の詳細については後述する。CTUライン１に対する処理が終了すると、処理はステップＳ３３３に進む。
【０２７３】
ステップＳ３３３において、復号部６１２は、未処理のCTUラインが存在するか否かを判定する。画像の最下段のCTUラインまで処理が終了しておらず、未処理のCTUラインが存在すると判定された場合、処理はステップＳ３３４に進む。
【０２７４】
ステップＳ３３４において、復号部６１２は、変数Ｔの値に１を加算する（T = T+1）。変数Ｔの値をインクリメントすると、処理はステップＳ３３５に進む。
【０２７５】
ステップＳ３３５において、復号部６１２は、画像の上からＴライン目のCTUラインであるCTUラインＴに対するCTU処理を行う。この処理の詳細については後述する。CTUラインＴに対する処理が終了すると、処理はステップＳ３３３に戻る。
【０２７６】
つまり、全てのCTUラインが処理されるまで、ステップＳ３３３乃至ステップＳ３３５の各処理が繰り返される。そして、ステップＳ３３３において、未処理のCTUラインが存在しない（全てのCTUラインが処理された）と判定された場合、復号処理が終了し、処理は図２０に戻る。
【０２７７】
＜CTUライン１に対するVPDU処理の流れ＞
次に、図２１のステップＳ３３２において実行されるCTUライン１に対するCTU処理の流れの例を、図２２のフローチャートを参照して説明する。
【０２７８】
CTU処理が開始されると、復号部６１２は、ステップＳ３５１において、カレントCTUの位置（画像左端からのCTU数）を示す変数ｉを初期値（＝１）に設定する。また、復号部６１２は、値Ｎに水平方向のCTU数を設定する。
【０２７９】
ステップＳ３５２において、復号部６１２は、CABACのコンテキスト（生起確率）を初期化する。
【０２８０】
ステップＳ３５３において、復号部６１２は、変数ｉがＮ以下である（i <= N）か否かを判定する。変数ｉがＮ以下であり、CTUライン１に未処理のCTUが存在すると判定された場合、処理はステップＳ３５４に進む。
【０２８１】
ステップＳ３５４において、復号部６１２は、左端からｉ番目のCTUの符号化データを復号する。
【０２８２】
ステップＳ３５５において、復号部６１２は、変数ｉの値が１である（i == 1）か否かを判定する。変数ｉの値が１である（すなわち、ステップＳ３５４において画像左端のCTUが処理された）と判定された場合、処理はステップＳ３５６に進む。
【０２８３】
ステップＳ３５６において、復号部６１２は、ステップＳ３５４において生成された、画像の左端のCTUの最後のVPDUのCABACのコンテキスト（生起確率）を保存する。コンテキストが保存されると処理はステップＳ３５７に進む。
【０２８４】
また、ステップＳ３５５において、変数ｉの値が１でない（ステップＳ３５４において画像左端のCTU以外のCTUが処理された、または画像左端のCTUの処理が終了していない）と判定された場合、ステップＳ３５６の処理がスキップされ、処理はステップＳ３５７に進む。
【０２８５】
ステップＳ３５７において、復号部６１２は、変数ｉの値が１以上である（i >= 1）か否かを判定する。変数ｉの値が１以上であると判定された場合、処理はステップＳ３５８に進む。
【０２８６】
ステップＳ３５８において、復号部６１２は、CTUライン２を処理するスレッドであるCTUライン２処理Threadに対してCTU処理の完了通知を行う。CTU処理完了通知が行われると処理はステップＳ３５９に進む。
【０２８７】
また、ステップＳ３５７において、変数ｉの値が１より小さい（画像左端のCTUの処理が終了していない）と判定された場合、ステップＳ３５８の処理がスキップされ、処理はステップＳ３５９に進む。
【０２８８】
ステップＳ３５９において、復号部６１２は、変数ｉの値に１を加算する（i = i+1）。変数ｉの値をインクリメントすると、処理はステップＳ３５３に戻る。
【０２８９】
つまり、CTUライン１の全てのCTUが処理されるまで、ステップＳ３５３乃至ステップＳ３５９の各処理が繰り返される。そして、ステップＳ３５３において、未処理のCTUが存在しない（CTUライン１の全てのCTUが処理された）と判定された場合、このCTU処理が終了し、処理は図２１に戻る。
【０２９０】
＜CTUラインＴに対するCTU処理の流れ＞
次に、図２１のステップＳ３３５において実行されるCTUラインＴに対するCTU処理の流れの例を、図２３および図２４のフローチャートを参照して説明する。
【０２９１】
この場合のCTU処理が開始されると、復号部６１２は、ステップＳ３７１において、１つ上のCTUラインＴ−１を処理するスレッドであるCTUラインＴ−１処理ThreadからのCTU処理完了通知を受け取るまで待機する。CTUラインＴ−１処理ThreadからCTU処理完了通知を取得すると処理はステップＳ３７２に進む。
【０２９２】
ステップＳ３７２において、復号部６１２は、変数ｉを初期値（＝１）に設定する。また、復号部６１２は、値Ｎに水平方向のCTU数を設定する。
【０２９３】
ステップＳ３７３において、復号部６１２は、１つ上のCTUラインＴ−１のCTU処理において保存されたCABACのコンテキスト（生起確率）を引き継ぎ、CABACを初期化する。
【０２９４】
ステップＳ３７４において、復号部６１２は、変数ｉがＮ以下である（i <= N）か否かを判定する。変数ｉがＮ以下であり、CTUラインＴに未処理のCTUが存在すると判定された場合、処理はステップＳ３７５に進む。
【０２９５】
ステップＳ３７５において、復号部６１２は、処理のタイミングを制御するために、CTUラインＴ−１処理ThreadからのCTU処理完了通知を受け取るまで待機する。CTUラインＴ−１処理ThreadからCTU処理完了通知を取得すると処理はステップＳ３７６に進む。
【０２９６】
ステップＳ３７６において、復号部６１２は、カレントCTUの右上のCTUの参照を無効（unavailable）とする。このようにすることにより、予測部６１９は、予測処理（図２０のステップＳ３０５）において、CTUの右上のVPDUをカレント予測ブロックとするインター予測を行う場合に、そのカレント予測ブロックの右上のVPDU（すなわちカレントCTUの右上のCTU）のインター予測モードと動きベクトルの参照を無効（unavailable）としてインター予測を行うことができる。
【０２９７】
ステップＳ３７７において、復号部６１２は、左端からｉ番目のCTUの符号化データを復号する。この復号が終了すると、処理は図２４のステップＳ３８１に進む。
【０２９８】
ステップＳ３８１において、復号部６１２は、ｉ番目のCTUはInter128xNモードであるか（すなわち、インター予測が行われたブロックサイズ128xNの予測ブロックに含まれるか）否かを判定する。Inter128xNモードであると判定された場合、処理はステップＳ３８２に進む。
【０２９９】
ステップＳ３８２において、復号部６１２は、この場合カレントCTUがそのインター予測が行われたブロックサイズ128xNの予測ブロックに含まれるので、その予測ブロックの右上のブロックの参照を無効（unavailable）とする。ステップＳ３８２の処理が終了すると処理はステップＳ３８３に進む。
【０３００】
また、ステップＳ３８１においてInter128xNモードでないと判定された場合、ステップＳ３８２の処理はスキップ（省略）され、処理はステップＳ３８３に進む。
【０３０１】
ステップＳ３８３において、復号部６１２は、変数ｉの値が１である（i == 1）か否かを判定する。変数ｉの値が１であると判定された場合、処理はステップＳ３８４に進む。
【０３０２】
ステップＳ３８４において、復号部６１２は、図２３のステップＳ３７７において生成された、カレントVPDU（画像左端のCTUの最後のVPDU）のCABACのコンテキスト（生起確率）を保存する。コンテキストが保存されると処理はステップＳ３８５に進む。
【０３０３】
また、ステップＳ３８３において、変数ｉの値が１でない（処理対象が画像の左端のCTUでなかった）と判定された場合、ステップＳ３８４の処理がスキップされ、処理はステップＳ３８５に進む。
【０３０４】
ステップＳ３８５において、復号部６１２は、変数ｉの値が１以上である（i >= 1）か否かを判定する。変数ｉの値が１以上であると判定された場合、処理はステップＳ３８６に進む。
【０３０５】
ステップＳ３８６において、復号部６１２は、１つ下のCTUラインであるCTUラインＴ＋１を処理するスレッドであるCTUラインＴ＋１処理Threadに対してCTU処理の完了通知を行う。CTU処理完了通知が行われると処理はステップＳ３８７に進む。
【０３０６】
また、ステップＳ３８５において、変数ｉの値が1より小さい（処理対象である画像の左端のCTUの処理が終了していない）と判定された場合、ステップＳ３８６の処理がスキップされ、処理はステップＳ３８７に進む。
【０３０７】
ステップＳ３８７において、復号部６１２は、変数ｉの値に１を加算する（i = i+1）。変数ｉの値をインクリメントすると、処理は図２３のステップＳ３７４に戻る。
【０３０８】
つまり、CTUラインＴの全てのCTUが処理されるまで、図２３のステップＳ３７４乃至ステップＳ３７７、並びに、図２４のステップＳ３８１乃至ステップＳ３８７の各処理が繰り返される。そして、ステップＳ３７４において、未処理のCTUが存在しない（CTUラインＴの全てのCTUが処理された）と判定された場合、このCTU処理が終了し、処理は図２１に戻る。
【０３０９】
以上のように各処理を実行することにより、画像復号装置６００は、復号の並列度の低減を抑制することができる。
【０３１０】
＜６．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０３１１】
図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０３１２】
図２５に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
【０３１３】
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
【０３１４】
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
【０３１５】
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０３１６】
コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。
【０３１７】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。
【０３１８】
その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。
【０３１９】
＜情報・処理の単位＞
以上において説明した各種情報が設定されるデータ単位や、各種処理が対象とするデータ単位は、それぞれ任意であり上述した例に限定されない。例えば、これらの情報や処理が、それぞれ、TU（Transform Unit）、TB(Transform Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報や処理毎に設定され得るものであり、全ての情報や処理のデータ単位が統一されている必要はない。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。
【０３２０】
＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用する対象（または適用しない対象）を示す制御情報を伝送するようにしてもよい。例えば、本技術を適用する（または、適用を許可若しくは禁止する）ブロックサイズ（上限若しくは下限、またはその両方）、フレーム、コンポーネント、またはレイヤ等を指定する制御情報を伝送するようにしてもよい。
【０３２１】
＜本技術の適用対象＞
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。
【０３２２】
また本技術は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムに適用することができる。その場合、各視点（ビュー（view））の符号化・復号において、本技術を適用するようにすればよい。
【０３２３】
さらに本技術は、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化・復号を行う階層画像符号化（スケーラブル符号化）・復号システムに適用することができる。その場合、各階層（レイヤ）の符号化・復号において、本技術を適用するようにすればよい。
【０３２４】
上述した実施の形態に係る画像処理装置、画像符号化装置、および画像復号装置は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に応用され得る。
【０３２５】
また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。
【０３２６】
さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。
【０３２７】
なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
【０３２８】
例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
【０３２９】
＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
【０３３０】
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
【０３３１】
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
【０３３２】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３３３】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０３３４】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０３３５】
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３３６】
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【０３３７】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【０３３８】
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０３３９】
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【０３４０】
なお、本技術は以下のような構成も取ることができる。
（１）  画像に関する係数データを、画像データを係数データに変換する単位である変換ブロックのライン毎に並列に符号化する符号化部
を備える画像処理装置。
（２）  前記符号化部は、
前記画像に関する係数データの前記変換ブロックの各ラインを、左の変換ブロックから順に１変換ブロックずつ符号化し、
各変換ブロックを、１つ前のエントロピ符号化により導出された生起確率を用いてエントロピ符号化する
（１）に記載の画像処理装置。
（３）  前記符号化部は、
前記画像の１番上の前記変換ブロックのラインの１番左の変換ブロックを、前記生起確率の初期値を用いてエントロピ符号化し、
前記画像の上から２番目以降の前記変換ブロックのラインの１番左の変換ブロックを、１つ上の前記変換ブロックのラインの左から２番目の変換ブロックのエントロピ符号化により導出された生起確率を用いてエントロピ符号化する
（２）に記載の画像処理装置。
（４）  前記符号化部は、
前記画像の１番上の前記変換ブロックのラインの１番左の変換ブロックを、前記生起確率の初期値を用いてエントロピ符号化し、
前記画像の上から２番目以降の前記変換ブロックのラインであって、１つ上の前記変換ブロックと同一のツリー構造の符号化ブロックの最上位である符号化ツリーユニットに属する変換ブロックのラインの１番左の変換ブロックを、１つ上の前記変換ブロックのラインの左から２番目の変換ブロックのエントロピ符号化により導出された生起確率を用いてエントロピ符号化し、
前記画像の上から２番目以降の前記変換ブロックのラインであって、１つ上の前記変換ブロックと異なる符号化ツリーユニットに属する変換ブロックのラインの１番左の変換ブロックを、１つ上の前記変換ブロックのラインの左から３番目の変換ブロックのエントロピ符号化により導出された生起確率を用いてエントロピ符号化する
（２）に記載の画像処理装置。
（５）  前記変換ブロックは、VPDU（Virtual pipeline data Unit）である
（１）に記載の画像処理装置。
（６）  前記画像のイントラ予測を行う予測部をさらに備え、
前記予測部は、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットの左上の変換ブロックのイントラ予測において、１つ前に符号化される符号化ツリーユニットの右下の変換ブロックの参照を無効とする
（１）に記載の画像処理装置。
（７）  前記画像のインター予測を行う予測部をさらに備え、
前記予測部は、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットの左上の変換ブロックのインター予測において、１つ前に符号化される符号化ツリーユニットの右下の変換ブロックの動きベクトルの参照を無効とする
（１）に記載の画像処理装置。
（８）  前記画像のインター予測を行う予測部をさらに備え、
前記予測部は、前記インター予測の処理単位であり、水平方向の長さがツリー構造の符号化ブロックの最上位である符号化ツリーユニットと同一である予測ブロックのインター予測において、右上の変換ブロックの動きベクトルの参照を無効とする
（１）に記載の画像処理装置。
（９）  前記符号化部は、インター予測の処理単位であり、垂直方向の長さがツリー構造の符号化ブロックの最上位である符号化ツリーユニットと同一である予測ブロックについて、インター予測のモードを示すモード情報を前記予測ブロック毎に符号化し、前記画像と予測画像の残差データを前記予測ブロックに含まれる変換ブロック毎に符号化する
（１）に記載の画像処理装置。
（１０）  画像に関する係数データを、画像データを係数データに変換する単位である変換ブロックのライン毎に並列に符号化する
画像処理方法。
【０３４１】
（１１）  画像に関する係数データが符号化された符号化データを、画像データを係数データに変換する単位である変換ブロックのライン毎に並列に復号する復号部
を備える画像処理装置。
（１２）  前記復号部は、
前記画像に関する係数データの前記変換ブロックの各ラインの符号化データを、左の変換ブロックから順に１変換ブロックずつ復号し、
各変換ブロックの符号化データを、１つ前のエントロピ復号により導出された生起確率を用いてエントロピ復号する
（１１）に記載の画像処理装置。
（１３）  前記復号部は、
前記画像の１番上の前記変換ブロックのラインの１番左の変換ブロックの符号化データを、前記生起確率の初期値を用いてエントロピ復号し、
前記画像の上から２番目以降の前記変換ブロックのラインの１番左の変換ブロックの符号化データを、１つ上の前記変換ブロックのラインの左から２番目の変換ブロックの符号化データのエントロピ復号により導出された生起確率を用いてエントロピ復号する
（１２）に記載の画像処理装置。
（１４）  前記復号部は、
前記画像の１番上の前記変換ブロックのラインの１番左の変換ブロックの符号化データを、前記生起確率の初期値を用いてエントロピ復号し、
前記画像の上から２番目以降の前記変換ブロックのラインであって、１つ上の前記変換ブロックと同一のツリー構造の符号化ブロックの最上位である符号化ツリーユニットに属する変換ブロックのラインの１番左の変換ブロックの符号化データを、１つ上の前記変換ブロックのラインの左から２番目の変換ブロックの符号化データのエントロピ復号により導出された生起確率を用いてエントロピ復号し、
前記画像の上から２番目以降の前記変換ブロックのラインであって、１つ上の前記変換ブロックと異なる符号化ツリーユニットに属する変換ブロックのラインの１番左の変換ブロックの符号化データを、１つ上の前記変換ブロックのラインの左から３番目の変換ブロックの符号化データのエントロピ復号により導出された生起確率を用いてエントロピ復号する
（１２）に記載の画像処理装置。
（１５）  前記変換ブロックは、VPDU（Virtual pipeline data Unit）である
（１１）に記載の画像処理装置。
（１６）  前記画像のイントラ予測を行う予測部をさらに備え、
前記予測部は、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットの左上の変換ブロックのイントラ予測において、１つ前に復号される符号化ツリーユニットの右下の変換ブロックの参照を無効とする
（１１）に記載の画像処理装置。
（１７）  前記画像のインター予測を行う予測部をさらに備え、
前記予測部は、ツリー構造の符号化ブロックの最上位である符号化ツリーユニットの左上の変換ブロックのインター予測において、１つ前に復号される符号化ツリーユニットの右下の変換ブロックの動きベクトルの参照を無効とする
（１１）に記載の画像処理装置。
（１８）  前記画像のインター予測を行う予測部をさらに備え、
前記予測部は、前記インター予測の処理単位であり、水平方向の長さがツリー構造の符号化ブロックの最上位である符号化ツリーユニットと同一である予測ブロックのインター予測において、右上の変換ブロックの動きベクトルの参照を無効とする
（１１）に記載の画像処理装置。
（１９）  前記復号部は、インター予測の処理単位であり、垂直方向の長さがツリー構造の符号化ブロックの最上位である符号化ツリーユニットと同一である予測ブロックについて、インター予測のモードを示すモード情報の符号化データを前記予測ブロック毎に復号し、前記画像と予測画像の残差データの符号化データを前記予測ブロックに含まれる変換ブロック毎に復号する
（１１）に記載の画像処理装置。
（２０）  画像に関する係数データが符号化された符号化データを、画像データを係数データに変換する単位である変換ブロックのライン毎に並列に復号する
画像処理方法。
【符号の説明】
【０３４２】
５００  画像符号化装置，  ５０１  制御部,  ５１５  符号化部，  ５２２  予測部，  ６００  画像復号装置，  ６１２  復号部，  ６１９  予測部
【図１】
2020129698.tif 000008
【図２】
2020129698.tif 000009
【図３】
2020129698.tif 000010
【図４】
2020129698.tif 000011
【図５】
2020129698.tif 000012
【図６】
2020129698.tif 000013
【図７】
2020129698.tif 000014
【図８】
2020129698.tif 000015
【図９】
2020129698.tif 000016
【図１０】
2020129698.tif 000017
【図１１】
2020129698.tif 000018
【図１２】
2020129698.tif 000019
【図１３】
2020129698.tif 000020
【図１４】
2020129698.tif 000021
【図１５】
2020129698.tif 000022
【図１６】
2020129698.tif 000023
【図１７】
2020129698.tif 000024
【図１８】
2020129698.tif 000025
【図１９】
2020129698.tif 000026
【図２０】
2020129698.tif 000027
【図２１】
2020129698.tif 000028
【図２２】
2020129698.tif 000029
【図２３】
2020129698.tif 000030
【図２４】
2020129698.tif 000031
【図２５】
2020129698.tif 000032
【国際調査報告】
2020129698.tif 000033
2020129698.tif 000034
2020129698.tif 000035
2020129698.tif 000036