(57)【要約】  本開示は、イントラ予測に起こり得る遅延を抑制することができるようにする画像処理装置および方法、並びにプログラムに関する。符号化装置は、輝度のＣＵ分割構造と、クロマのＣＵ分割構造とをそれぞれ決定する際に、前記クロマのＣＵ分割構造については、縦および横の少なくとも一方の大きさが最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定し、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造で画像を符号化し、符号化ストリームを生成する。本開示は、例えば、画像処理装置に適用することができる。
2020071113.tif 000002
【特許請求の範囲】
【請求項１】
輝度のＣＵ分割構造と、クロマのＣＵ分割構造とをそれぞれ決定する際に、前記クロマについては、縦および横の少なくとも一方の大きさが最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定する制御部と、
前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造で画像を符号化し、符号化ストリームを生成する符号化部と
を備える画像処理装置。
【請求項２】
前記縦および横の少なくとも一方の大きさが最小のＣＵ分割構造は、２×２、４×２、または２×４である
請求項１に記載の画像処理装置。
【請求項３】
前記輝度のＣＵ分割構造に対するコストと前記クロマのＣＵ分割構造に対するコストをそれぞれ計算するコスト計算部をさらに備え、
前記制御部は、前記輝度については、前記輝度のＣＵ分割構造に対するコストに基づいて、前記輝度のＣＵ分割構造を決定し、
前記クロマについては、前記最小のＣＵ分割構造に対しては前記クロマのＣＵ分割構造コストの計算を禁止し、前記クロマのＣＵ分割構造コストに基づいて、前記クロマのＣＵ分割構造を決定する
請求項１に記載の画像処理装置。
【請求項４】
前記最小のＣＵ分割構造が記述されたシンタックスを設定する設定部をさらに備え、
前記制御部は、前記クロマについては、前記シンタックスに基づいて、前記最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定する
請求項１に記載の画像処理装置。
【請求項５】
前記シンタックスと前記符号化ストリームとを伝送する伝送部をさらに備える
請求項４に記載の画像処理装置。
【請求項６】
前記シンタックスは、ＳＰＳである
請求項４に記載の画像処理装置。
【請求項７】
前記最小のＣＵ分割構造は、規格によって定義されている
請求項１に記載の画像処理装置。
【請求項８】
画像処理装置が、
輝度のＣＵ分割構造と、クロマのＣＵ分割構造とをそれぞれ決定する際に、前記クロマについては、縦および横の少なくとも一方の大きさが最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定し、
前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造で画像を符号化し、符号化ストリームを生成する
画像処理方法。
【請求項９】
輝度のＣＵ分割構造と、クロマのＣＵ分割構造とをそれぞれ決定する際に、前記クロマについては、縦および横の少なくとも一方の大きさが最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定する制御部と、
前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造で画像を符号化し、符号化ストリームを生成する符号化部と
して、コンピュータを機能させるプログラム。
【請求項１０】
輝度のＣＵ分割構造と、クロマのＣＵ分割構造とをそれぞれ決定する際に、前記クロマについては、縦および横の少なくとも一方の大きさが最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定し、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造で画像を符号化して生成された符号化ストリームに基づいて、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造を決定する制御部と、
前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造に基づいて、前記符号化ストリームを復号し、前記画像を生成する復号部と
を備える画像処理装置。
【請求項１１】
画像処理装置が、
輝度のＣＵ分割構造と、クロマのＣＵ分割構造とをそれぞれ決定する際に、前記クロマについては、縦および横の少なくとも一方の大きさが最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定し、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造で画像を符号化して生成された符号化ストリームに基づいて、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造を決定し、
前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造に基づいて、前記符号化ストリームを復号し、前記画像を生成する
画像処理方法。
【請求項１２】
輝度のＣＵ分割構造と、クロマのＣＵ分割構造とをそれぞれ決定する際に、前記クロマについては、縦および横の少なくとも一方の大きさが最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定し、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造で画像を符号化して生成された符号化ストリームに基づいて、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造を決定する制御部と、
前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造に基づいて、前記符号化ストリームを復号し、前記画像を生成する復号部と
して、コンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は画像処理装置および方法、並びにプログラムに関し、特に、イントラ予測に起こり得る遅延を抑制することができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
HEVC(High Efficiency Video Coding)では、クロマ（Ｃｂ／Ｃｒ）のＣＵ（Coding Unit）の分割が４×４（画素）であった。ＶＶＣ(Versatile Video Coding)では、ＣＵの分割が、輝度（Ｙ）で４×４、Ｃｂ／Ｃｒで２×２まで可能になった（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Benjamin Bross, Jianle Chen, Shan Liu,"Versatile Video Coding (Draft 2)",JVET-K1001-v5, Joint Video Experts Team (JVET)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 11th Meeting: Ljubljana, SI, 10-18 July 2018
【発明の概要】
【発明が解決しようとする課題】
【０００４】
Ｃｂ／Ｃｒで２×２まで可能になったことにより、イントラ予測におけるＣｂ／Ｃｒの２×２のスループットがボトルネックになる。【０００５】
本開示は、このような状況に鑑みてなされたものであり、イントラ予測に起こり得る遅延を抑制することができるものである。
【課題を解決するための手段】
【０００６】
本開示の一側面の画像処理装置は、輝度のＣＵ分割構造と、クロマのＣＵ分割構造とをそれぞれ決定する際に、前記クロマについては、縦および横の少なくとも一方の大きさが最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定する制御部と、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造で画像を符号化し、符号化ストリームを生成する符号化部とを備える。【０００７】
本開示の一側面においては、輝度のＣＵ分割構造と、クロマのＣＵ分割構造とをそれぞれ決定する際に、前記クロマについては、縦および横の少なくとも一方の大きさが最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造が決定され、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造で画像が符号化され、符号化ストリームが生成される。【０００８】
本開示の他の側面の画像処理装置は、輝度のＣＵ分割構造と、クロマのＣＵ分割構造とをそれぞれ決定する際に、前記クロマについては、縦および横の少なくとも一方の大きさが最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定し、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造で画像を符号化して生成された符号化ストリームに基づいて、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造を決定する制御部と、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造に基づいて、前記符号化ストリームを復号し、前記画像を生成する復号部とを備える。【０００９】
本開示の他の側面においては、輝度のＣＵ分割構造と、クロマのＣＵ分割構造とをそれぞれ決定する際に、前記クロマについては、縦および横の少なくとも一方の大きさが最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定し、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造で画像を符号化して生成された符号化ストリームに基づいて、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造が決定され、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造に基づいて、前記符号化ストリームが復号され、前記画像が生成される。
【図面の簡単な説明】
【００１０】
【図１】符号化単位であるＣＵの分割の例を示す図である。
【図２】ＣＵの分割方法を示す図である。
【図３】ＹのＣＵが４×４、Ｃｂ／ＣｒのＣＵが２×２である場合のイントラ予測の順序を示す図である。
【図４】ＹからＣｂ／Ｃｒに輝度クロマ予測を行う場合のイントラ予測の順序を示す図である。
【図５】本開示を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
【図６】ＣＵの分割構造を決定するためのツリーの例を示す図である。
【図７】図５の符号化部の構成例を示すブロック図である。
【図８】図５の符号化装置のストリーム生成処理を説明するフローチャートである。
【図９】図８のステップＳ１２の符号化処理の詳細を説明するフローチャートである。
【図１０】図９に続く、図８のステップＳ１２の符号化処理の詳細を説明するフローチャートである。
【図１１】図９のステップＳ３３のＣＵ分割構造決定処理の詳細を説明するフローチャートである。
【図１２】図１１のステップＳ１２５のＢＴのＲＤコストの計算処理の詳細を説明するフローチャートである。
【図１３】図１１のステップＳ１２６のＴＴのＲＤコストの計算処理の詳細を説明するフローチャートである。
【図１４】図９のステップＳ３３のＣＵ分割構造決定処理の他の例を説明するフローチャートである。
【図１５】図１４のステップＳ１８４のＢＴのＲＤコストの計算処理の詳細を説明するフローチャートである。
【図１６】図１４のステップＳ１８５のＴＴのＲＤコストの計算処理の詳細を説明するフローチャートである。
【図１７】図１４のステップＳ１８６のＣＵの予測モード判定処理の詳細を説明するフローチャートである。
【図１８】本開示を適用した復号装置の一実施の形態の構成例を示すブロック図である。
【図１９】図１８の復号部の構成例を示すブロックである。
【図２０】図１８の復号装置の画像生成処理を説明するフローチャートである。
【図２１】図２０のステップＳ３０３の復号処理の詳細を説明するフローチャートである。
【図２２】セパレートツリーの例を示す図である。
【図２３】図９のステップＳ３３のＣＵ分割構造決定処理の他の例を説明するフローチャートである。
【図２４】図２３に続く、図９のステップＳ３３のＣＵ分割構造決定処理の他の例を説明するフローチャートである。
【図２５】図２４のステップＳ４１１のＢＴのＲＤコストの計算処理の詳細を説明するフローチャートである。
【図２６】図２４のステップＳ４１２のＴＴのＲＤコストの計算処理の詳細を説明するフローチャートである。
【図２７】セパレートツリーに関するセマンテックスの例を示す図である。
【図２８】図２７の情報を用いて制御できるＣＵの分割構造の一例を示す図である。
【図２９】図２７の情報を用いて、Ｃｂ／ＣｒのＣＵだけ４×４を最小とするようにした例を示す図である。
【図３０】Ｃｂ／ＣｒのＱＴ分割の最小サイズが０の例を示す図である。
【図３１】新たな情報により設定されるＣｂ／ＣｒのＣＵの分割構造の例を示す図である。
【図３２】本開示を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
【図３３】図３２の符号化装置のストリーム生成処理を説明するフローチャートである。
【図３４】図９のステップＳ３３のＣＵ分割構造決定処理の他の例を説明するフローチャートである。
【図３５】図３４に続く、図９のステップＳ３３のＣＵ分割構造決定処理の他の例を説明するフローチャートである。
【図３６】図３５に続く、図９のステップＳ３３のＣＵ分割構造決定処理の他の例を説明するフローチャートである。
【図３７】図９のステップＳ３３のＣＵ分割構造決定処理の他の例を説明するフローチャートである。
【図３８】図３７に続く、図９のステップＳ３３のＣＵ分割構造決定処理の他の例を説明するフローチャートである。
【図３９】図３８に続く、図９のステップＳ３３のＣＵ分割構造決定処理の他の例を説明するフローチャートである。
【図４０】本開示を適用した復号装置の一実施の形態の構成例を示すブロック図である。
【図４１】図４０の復号装置の画像生成処理を説明するフローチャートである。
【図４２】図２１のステップＳ３３３のＣＵ分割構造決定処理の例を説明するフローチャートである。
【図４３】ＣＵ分割構造決定処理に用いるツリーの例を示す図である。
【図４４】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
０．概要
１．第１の実施の形態（Ｃｂ／ＣｒのＣＵの２×２の制限）
２．第２の実施の形態（セパレートツリー）
３．第３の実施の形態（最小ＣＵをシンタックスに追加）
４．第４の実施の形態（最小ＣＵを規格で決定）
５．第５の実施の形態
【００１２】
＜０．概要＞
（符号化方式）
以下においては、ＶＶＣ(Versatile Video Coding)方式の画像符号化・復号に適用する場合を例に、本技術を説明する。
【００１３】
（符号化単位の説明）
図１は、符号化単位であるＣＵ（Coding UNIT）の分割の例を示す図である。
【００１４】
カラー画像の画面は、解像度に応じた画素で構成される。画素は、明るさを表す輝度(Ｙ)と、クロマ（Ｃｂ／Ｃｒ）という情報を有している。
【００１５】
４：２：０クロマフォーマットと呼ばれる形式では、図２で示すように、輝度に対してＣｂ／Ｃｒの解像度は縦も横も半分となる。Ｙの解像度が1920×1080の場合、Ｃｂ／Ｃｒの解像度は、960×540となる。
【００１６】
図１の画面には、ＣＴＵ（Coding Tree Unit）がラスター順に並んでいる。ＣＴＵは、所定の単位であり、ＣＵという符号化単位に分割される。なお、ＣＴＵは、そのまま分割しないで、ＣＵとすることも可能である。Ｙで128×128のＣＴＵが用いられることが多い。
【００１７】
図１においては、太線がＣＴＵの境界を示し、実線、破線、および一点鎖線がＣＵの境界を示している。
【００１８】
図２は、ＣＵの分割方法を示す図である。
【００１９】
図２のＡには、Ｙが８×８でＣｂ／Ｃｒが４×４のＣＵが示されている。図２のＢには、横方向に２分割されたＣＵが示されている。Ｙが８×４でＣｂ／Ｃｒが４×２のＣＵが示されている。
【００２０】
図２のＣには、縦方向に２分割されたＣＵが示されている。Ｙが４×８でＣｂ／Ｃｒが４×２のＣＵが示されている。図２のＤには４つのＣＵからなる例が示されている。
【００２１】
HEVC(High Efficiency Video Coding)では、ＣＵは、Ｙが８×８でＣｂ／Ｃｒが４×４で構成されていた。
【００２２】
ＶＶＣでは、ＣＵは、Ｙが４×４、Ｃｂ／Ｃｒが２×２まで分割することができる。
【００２３】
ここで、符号化側の装置に画像が入力されると、予測信号との差分、直交変換、量子化、逆量子化、逆直交変換、予測信号を加えて再構成、再構成後の信号を用いてＣＵ単位のイントラ予測が行われる。イントラ予測では、周囲の画素値を使うことがある。このため、予測信号との差分から、再構成までのループが完了しないと次のＣＵのイントラ予測を行うことができない。したがって、クロマのＣＵのサイズが小さくなるに連れて、遅延が大きくなり、処理時間が長くなる。
【００２４】
図３は、ＹのＣＵが４×４、Ｃｂ／ＣｒのＣＵが２×２である場合のイントラ予測の順序を示す図である。
【００２５】
図３の例において、矢印は、ＣＵにおいて、Ｃｂ／ＣｒのＣＵのイントラ予測の順序を示している。
【００２６】
矢印が示すように、左上、右上、左下、右下の順にイントラ予測が行われる。右上のＣＵは、左上のＣＵの処理が完了しないと、処理が開始できない。左下のＣＵは、右上のＣＵの処理が完了しないと処理が開始できない。右下のＣＵは、左下のＣＵの処理が完了しないと処理が開始できない。
【００２７】
以上のように、すべてのＣＵが、最小の分割であるＹが４×４、Ｃｂ／Ｃｒが２×２になる場合、遅延が最大になってしまう。
【００２８】
また、ＶＶＣでは、ＹからＣｂ／Ｃｒを予測する、輝度クロマ予測という技術が採用される予定である。
【００２９】
図４は、ＹからＣｂ／Ｃｒに輝度クロマ予測を行う場合のイントラ予測の順序を示す図である。
【００３０】
図４の例において、矢印は、ＹのＣＵと、Ｃｂ／ＣｒのＣＵのイントラ予測の順序を示している。
【００３１】
Ｃｂ／Ｃｒの左上のＣＵのイントラ予測には、Ｙの左上のＣＵの画素値を用いるため、Ｙの上述した予測信号との差分から、再構成までのループが完了している必要がある。
【００３２】
動画像の場合、符号化側の装置には、１秒間にフレームレートに応じた画像が入力される。したがって、リアルタイムの処理では、符号化の処理が、ある程度の単位、例えば、１秒間、あるいは１フレーム内で完了しなければならないが、遅延により間に合わなくなる恐れがある。
【００３３】
復号側の装置も同様に、逆直交変換後の信号とイントラ予測の信号を加えて再構成し、再構成後の信号を用いてイントラ予測を行うため、符号化装置と同様に、遅延による影響を受けてしまう。
【００３４】
そこで、第１の実施の形態においては、Ｃｂ／ＣｒのＣＵの２×２を符号化側の装置による分割構造の判定から除外する。
【００３５】
＜１．第１の実施の形態（Ｃｂ／Ｃｒの２×２の制限）＞
（符号化装置の一実施の形態の構成例）
図５は、本開示を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
【００３６】
図５の符号化装置１０は、制御部１１、設定部１２、符号化部１３、および伝送部１４により構成され、画像をＶＶＣ方式に準ずる方式で符号化する。
【００３７】
具体的には、符号化装置１０の制御部１１は、例えば、ＣＰＵ(Central Processing Unit)やマイクロプロセッサなどから構成される。制御部１１は、ＣＰＵにより所定のプログラムを実行し、各種の演算処理または各部の動作制御などを行い、符号化装置１０における中心的な処理装置として動作する。
【００３８】
例えば、制御部１１は、符号化部１３にＲＤコストを算出させ、符号化部１３から供給されるＲＤコストに基づいて、ＣＵの分割構造を決定するＣＵ分割構造決定処理を行う。このとき、制御部１１は、分割後にＹのＣＵが４×４以下の場合を除いて、ＣＵの分割構造を決定する。すなわち、Ｃｒ／ＣｂのＣＵが２×２になる場合を除いて、ＣＵの分割構造が決定される。
【００３９】
また、制御部１１は、ＲＤコストに基づいて、予測モードを決定する。制御部１１は、決定したＣＵの分割構造や予測モードに基づいて、設定部１２にパラメータセットを設定させ、符号化部１３に符号化処理を行わせる。
【００４０】
設定部１２は、制御部１１の指示に従い、ＳＰＳ(Sequence Parameter Set),ＰＰＳ(Picture Parameter Set),ＶＵＩ(Video Usability Information),ＳＥＩ（Supplemental Enhancement Information）などを設定する。設定部１２は、設定されたＳＰＳ,ＰＰＳ,ＶＵＩ,ＳＥＩなどのパラメータセットを符号化部１３に出力する。
【００４１】
符号化部１３には、フレーム単位の画像が入力される。符号化部１３は、制御部１１の指示に従い、入力された画像を符号化する。符号化部１３は、符号化の結果得られる符号化データとパラメータセットから符号化ストリームを生成し、伝送部１４に出力する。
【００４２】
伝送部１４は、符号化部１３から供給される符号化ストリームを、後述する復号装置１１０に伝送する。
【００４３】
図６は、ＣＵの分割構造を決定するためのツリーの例を示す図である。
【００４４】
図６の例においては、Ｙ，Ｃｂ，Ｃｒが同じＣＵの分割構造を有している例が示されている。ツリーは、分岐を有している。各分岐の左右に示される0,1は、フラグの値を示している。フラグの値は、分割構造が決められた後、スピリットフラグとして、ビットストリームに入れて送られ、復号側で読み解かれる。これにより、復号側において、符号化側の装置が決定したＣＵの分割構造がわかる。
【００４５】
分岐ｂ１では、ＣＴＵがＱＴ分割(1)か、ＱＴ分割以外(0)が選ばれる。ＱＴ分割以外は、ＢＴ（Binary Tree）分割、ＴＴ（Ternary Tree）分割、または、No split（分割なし）（No split）である。
【００４６】
ＱＴ分割(1)が選ばれた場合、ＣＴＵは、ＱＴに分割される。ＱＴに分割された場合、太線矢印のように、処理は戻り、各ＣＴは再帰的に分割される。
【００４７】
ＱＴ分割以外(0)が選ばれた場合、処理は、分岐ｂ２に進む。分岐ｂ２では、ＢＴ／ＴＴ分割(1)か、No split(0)が選ばれる。
【００４８】
分割なし(0)が選ばれた場合、No splitとなり、処理は終了する。
【００４９】
ＢＴ／ＴＴ分割(1)が選ばれた場合、処理は、分岐ｂ３に進む。分岐ｂ３では、横（horizontal）(1)か、縦（Vertucal）(0)が選ばれる。
【００５０】
横（horizontal）(1)が選ばれた場合、処理は、分岐ｂ４に進む。分岐ｂ４では、ＢＴ(1)か、ＴＴ(0)が選ばれる。
【００５１】
ＢＴ(1)が選ばれた場合、ＣＴＵは、ＢＴに分割される。ＴＴ(1)が選ばれた場合、ＣＴＵは、ＴＴに分割される。ＢＴに分割された場合も、ＴＴに分割された場合も、破線矢印のように処理は戻り、再帰的に分割される。
【００５２】
縦（Vertucal）(0)が選ばれた場合、処理は、分岐ｂ５に進む。分岐ｂ５では、ＢＴ(1)か、ＴＴ(0)が選ばれる。
【００５３】
ＢＴ(1)が選ばれた場合、ＢＴに分割される。ＴＴ(1)が選ばれた場合、ＴＴに分割される。ＢＴに分割された場合も、ＴＴに分割された場合も、破線矢印のように処理は戻り、再帰的に分割される。
【００５４】
ここでの選択は、ＲＤ最適化（Rate-Distortion Optimization）と呼ばれる技術に基づいて行われる。ＲＤ最適化では、ＲＤコストを計算して、ＲＤコストの値が小さくなるように判定することで符号化効率の高い判定を行うことができる。ＲＤコストＪは、次の式（１）で表される。
【００５５】
【数１】
2020071113.tif 000003
Ｄは、原画像と復号画像の差分（歪）、Ｒは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータＱＰの関数として与えられるラグランジュ未定乗数である。
【００５６】
すなわち、制御部１１は、各分岐において、ＱＴ、ＢＴ、ＴＴ、No splitのＲＤコストを、符号化部１３に算出させて、各ＲＤコストに基づいて、ＣＵの分割構造を決定する。
【００５７】
ただし、制御部１１は、ＱＴの分割後、ＹのＣＵが８×８になる場合、処理を戻した後、ＲＤコストを求めることなく、分割なし(0)を選択する。制御部１１は、ＢＴの分割後、ＹのＣＵが８×８になる場合、処理を戻した後、ＲＤコストを求めることなく、分割なし(0)を選択する。制御部１１は、ＴＴの分割後、ＹのＣＵが８×８になる場合、処理を戻した後、ＲＤコストを求めることなく、分割なし(0)を選択する。
【００５８】
以上のようにＣＵの分割構造を決めることにより、Ｑｒ／ＱｂのＣＵが２×２になることがない。したがって、イントラ予測の符号化処理および復号処理において、大きな遅延を回避させることができる。
【００５９】
（符号化部の構成例）
図７は、図５の符号化部の構成例を示すブロック図である。
【００６０】
図７の符号化部１３は、Ａ／Ｄ変換部３１、画面並べ替えバッファ３２、演算部３３、直交変換部３４、量子化部３５、可逆符号化部３６、蓄積バッファ３７、逆量子化部３８、逆直交変換部３９、および加算部４０を有する。また、符号化部１３は、デブロックフィルタ４１、適応オフセットフィルタ４２、適応ループフィルタ４３、フレームメモリ４４、スイッチ４５、イントラ予測部４６、動き予測・補償部４７、予測画像選択部４８、およびレート制御部４９を有する。
【００６１】
符号化部１３においては、制御部１１により決定された分割構造のＣＵが用いられる。また、ＣＵ分割構造決定処理により求められたスピリットフラグは、可逆符号化部３６に出力される。
【００６２】
符号化部１３のＡ／Ｄ変換部３１は、符号化対象のフレーム単位の画像をＡ／Ｄ変換する。Ａ／Ｄ変換部３１は、変換後のデジタル信号である画像を画面並べ替えバッファ３２に出力して記憶させる。
【００６３】
画面並べ替えバッファ３２は、表示順のフレーム単位の画像を、GOP構造に応じて、符号化順に並べ替える。画面並べ替えバッファ３２は、並べ替え後の画像を、演算部３３、イントラ予測部４６、および動き予測・補償部４７に出力する。
【００６４】
演算部３３は、画面並べ替えバッファ３２から供給される画像から、予測画像選択部４８から供給される予測画像を減算することにより符号化を行う。演算部３３は、減算後の画像を、残差情報(差分)として直交変換部３４に出力する。なお、予測画像選択部４８から予測画像が供給されない場合、演算部３３は、画面並べ替えバッファ３２から読み出された画像をそのまま残差情報として直交変換部３４に出力する。
【００６５】
直交変換部３４は、ＣＵ単位で、演算部３３からの残差情報に対して直交変換処理を行う。直交変換部３４は、直交変換処理後の画像を量子化部３５に出力する。
【００６６】
量子化部３５は、直交変換部３４から供給される直交変換処理後の画像を量子化する。量子化部３５は、量子化後の量子化値を可逆符号化部３６に出力する。
【００６７】
可逆符号化部３６は、最適イントラ予測モードを示す情報であるイントラ予測モード情報をイントラ予測部４６から取得する。また、可逆符号化部３６は、最適インター予測モードを示す情報であるインター予測モード情報、動きベクトル、参照画像を特定する情報などを動き予測・補償部４７から取得する。
【００６８】
また、可逆符号化部３６は、適応オフセットフィルタ４２からオフセットフィルタに関するオフセットフィルタ情報を取得し、適応ループフィルタ４３からフィルタ係数を取得する。
【００６９】
可逆符号化部３６は、量子化部３５から供給される量子化値に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding））、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding））などの可逆符号化を行う。
【００７０】
また、可逆符号化部３６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照画像を特定する情報、オフセットフィルタ情報、並びにフィルタ係数を、符号化に関する符号化情報として可逆符号化する。スピリットフラグは、ＣＴＵ毎に符号化情報として可逆符号化される。可逆符号化部３６は、可逆符号化された符号化情報と量子化値を、符号化データとして蓄積バッファ３７に出力し、蓄積させる。
【００７１】
蓄積バッファ３７は、可逆符号化部３６から供給される符号化データを、一時的に記憶する。また、蓄積バッファ３７は、記憶している符号化データを、図５の設定部１２から供給されるパラメータセットとともに、符号化ストリームとして伝送部１４に出力する。
【００７２】
また、量子化部３５より出力された量子化値は、逆量子化部３８にも入力される。逆量子化部３８は、量子化値を逆量子化する。逆量子化部３８は、逆量化後の直交変換処理結果を逆直交変換部３９に出力する。
【００７３】
逆直交変換部３９は、ＣＵ単位で、逆量子化部３８から供給される直交変換処理結果に対して逆直交変換処理を行う。逆直交変換の方式としては、例えば、IDCT(逆離散コサイン変換)とIDST(逆離散サイン変換)がある。逆直交変換部３９は、逆直交変換処理の結果得られる残差情報を加算部４０に出力する。
【００７４】
加算部４０は、逆直交変換部３９から供給される残差情報と、予測画像選択部４８から供給される予測画像を加算し、復号を行う。加算部４０は、復号された画像をデブロックフィルタ４１とフレームメモリ４４に出力する。
【００７５】
デブロックフィルタ４１は、加算部４０から供給される復号された画像に対して、ブロック歪を除去するデブロックフィルタ処理を行う。デブロックフィルタ４１は、デブロックフィルタ処理後の画像を適応オフセットフィルタ４２に出力する。
【００７６】
適応オフセットフィルタ４２は、デブロックフィルタ４１によるデブロックフィルタ処理後の画像に対して、主にリンギングを除去する適応オフセットフィルタ（ＳＡＯ(Sample adaptive offset)）処理を行う。
【００７７】
適応オフセットフィルタ４２は、適応オフセットフィルタ処理後の画像を適応ループフィルタ４３に出力する。また、適応オフセットフィルタ４２は、適応オフセットフィルタ処理の種類とオフセットを示す情報を、オフセットフィルタ情報として可逆符号化部３６に出力する。
【００７８】
適応ループフィルタ４３は、例えば、２次元のウィナーフィルタ（Wiener Filter）により構成される。適応ループフィルタ４３は、適応オフセットフィルタ処理後の画像に対して、適応ループフィルタ（ALF(Adaptive Loop Filter)）処理を行う。
【００７９】
適応ループフィルタ４３は、適応ループフィルタ処理後の画像をフレームメモリ４４に出力する。また、適応ループフィルタ４３は、適応ループフィルタ処理に用いられたフィルタ係数を可逆符号化部３６に出力する。
【００８０】
フレームメモリ４４は、適応ループフィルタ４３から供給される画像と、加算部４０から供給される画像を蓄積する。フレームメモリ４４に蓄積されたフィルタ処理が行われていない画像のうちのＣＵに隣接する画像は、周辺画像としてスイッチ４５を介してイントラ予測部４６に出力される。一方、フレームメモリ４４に蓄積されたフィルタ処理が行われた画像は、参照画像としてスイッチ４５を介して動き予測・補償部４７に出力される。
【００８１】
イントラ予測部４６は、ＣＵ単位で、フレームメモリ４４からスイッチ４５を介して読み出された周辺画像を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。
【００８２】
また、イントラ予測部４６は、画面並べ替えバッファ３２から読み出された画像と、イントラ予測処理により予測された予測画像とに基づいて、候補となる全てのイントラ予モードに対してＲＤコストを算出する。算出したＲＤコストは、制御部１１に出力される。制御部１１は、ＲＤコストが最小となるイントラ予測モードを、最適イントラ予測モードに決定する。
【００８３】
イントラ予測部４６は、制御部１１の指示に従って、最適イントラ予測モードで生成された予測画像を、予測画像選択部４８に出力する。イントラ予測部４６は、制御部１１から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部３６に出力する。なお、イントラ予測モードとはＣＵのサイズ、予測方向などを表すモードである。
【００８４】
動き予測・補償部４７は、ＣＵ単位で候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部４７は、画面並べ替えバッファ３２から供給される画像と、フレームメモリ４４からスイッチ４５を介して読み出される参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルをＣＵ単位で検出する。そして、動き予測・補償部４７は、その動きベクトルに基づいてＣＵ単位で参照画像に補償処理を施し、予測画像を生成する。
【００８５】
このとき、動き予測・補償部４７は、画面並べ替えバッファ３２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してＲＤコストを算出する。算出したＲＤコストは、制御部１１に出力される。制御部１１は、ＲＤコストが最小となるインター予測モードを、最適インター予測モードに決定する。
【００８６】
動き予測・補償部４７は、制御部１１の指示に従って、最適インター予測モードの予測画像を予測画像選択部４８に出力する。また、動き予測・補償部４７は、制御部１１から最適インター予測モード予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを可逆符号化部３６に出力する。なお、インター予測モードとは、ＣＵのサイズなどを表すモードである。
【００８７】
さらに、制御部１１は、最適イントラ予測モードと最適インター予測モードのうちの、対応するＲＤコストが小さい方を、最適予測モードに決定する。そして、予測画像選択部４８は、制御部１１の指示に従って、最適予測モードの予測画像を、演算部３３および加算部４０に出力する。
【００８８】
レート制御部４９は、蓄積バッファ３７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部３５の量子化動作のレートを制御する。
【００８９】
（符号化装置の動作）
図８は、図５の符号化装置のストリーム生成処理を説明するフローチャートである。
【００９０】
図８のステップＳ１１において、符号化装置１０の設定部１２は、パラメータセットを設定する。設定部１２は、設定されたパラメータセットを符号化部１３に出力する。
【００９１】
ステップＳ１２において、符号化部１３は、フレーム単位の画像を符号化する符号化処理を行う。この符号化処理の詳細は、後述する図９および図１０を参照して説明する。符号化処理により符号化データが生成される。符号化データは、蓄積バッファ３７に蓄積される。
【００９２】
なお、ステップＳ１２の符号化処理により算出されたＲＤコストに基づいてＣＵの分割構造および予測モードなどが決定される。ＲＤコストに基づくＣＵの分割構造および予測モードは、ステップＳ１２において符号化処理に用いられる。
【００９３】
ステップＳ１３において、設定部１２から供給されるパラメータセットと蓄積している符号化データから符号化ストリームが生成され、伝送部１４に出力される。
【００９４】
ステップＳ１４において、伝送部１４は、符号化部１３から供給される符号化ストリームを、後述する復号装置１１０に伝送し、処理を終了する。
【００９５】
図９および図１０は、図８のステップＳ１２の符号化処理の詳細を説明するフローチャートである。
【００９６】
図９のステップＳ３１において、符号化部１３のＡ／Ｄ変換部３１は、符号化対象として入力されたフレーム単位の画像をＡ／Ｄ変換する。Ａ／Ｄ変換部３１は、変換後のデジタル信号である画像を画面並べ替えバッファ３２に出力して記憶させる。
【００９７】
ステップＳ３２において、画面並べ替えバッファ３２は、表示順のフレームの画像を、ＧＯＰ構造に応じて、符号化順に並べ替える。画面並べ替えバッファ３２は、並べ替え後のフレーム単位の画像を、演算部３３、イントラ予測部４６、および動き予測・補償部４７に出力する。
【００９８】
ステップＳ３３において、制御部１１は、ＣＵ分割構造決定処理を行う。このＣＵ分割構造決定処理の詳細は、後述する図１１を参照して説明する。ＣＵ分割構造決定処理により決定された分割構造のＣＵが、以降の符号化処理において用いられる。ＣＵの分割構造情報は、各部に出力される。また、ＣＵ分割構造決定処理により求められたスピリットフラグは、可逆符号化部３６に出力される。
【００９９】
ステップＳ３４において、イントラ予測部４６は、ＣＵ単位で候補となる全てのイントラ予測モードのイントラ予測処理を行う。また、イントラ予測部４６は、画面並べ替えバッファ３２から読み出された画像と、イントラ予測処理により予測された予測画像とに基づいて、候補となる全てのイントラ予測モードに対してＲＤコストを算出する。制御部１１は、ＲＤコストが最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部４６は、最適イントラ予測モードで生成された予測画像を予測画像選択部４８に出力する。
【０１００】
また、動き予測・補償部４７は、ＣＵ単位で候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部４７は、画面並べ替えバッファ３２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してＲＤコストを算出する。制御部１１は、ＲＤコストが最小となるインター予測モードを最適インター予測モードに決定する。動き予測・補償部４７は、最適インター予測モードの予測画像を予測画像選択部４８に出力する。
【０１０１】
ステップＳ３５において、制御部１１は、最適イントラ予測モードおよび最適インター予測モードのＲＤコストに基づいて、ＲＤコストが最小となる方を、最適予測モードに決定する。そして、予測画像選択部４８は、最適予測モードの予測画像を、演算部３３および加算部４０に出力する。
【０１０２】
ステップＳ３６において、制御部１１は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ３６で最適予測モードが最適インター予測モードであると判定された場合、制御部１１は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部４７に通知する。
【０１０３】
そして、ステップＳ３７において、動き予測・補償部４７は、インター予測モード情報、動きベクトル、および参照画像を特定する情報を可逆符号化部３６に出力する。その後、処理は、ステップＳ３９に進む。
【０１０４】
一方、ステップＳ３６で最適予測モードが最適イントラ予測モードである場合、制御部１１は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部４６に通知する。そして、ステップＳ３８において、イントラ予測部４６は、イントラ予測モード情報を可逆符号化部３６に出力する。その後、処理は、ステップＳ３９に進む。
【０１０５】
ステップＳ３９において、演算部３３は、画面並べ替えバッファ３２から供給される画像から、予測画像選択部４８から供給される予測画像を減算することにより符号化を行う。演算部３３は、減算後の画像を、残差情報として直交変換部３４に出力する。
【０１０６】
ステップＳ４０において、直交変換部３４は、ＣＵ単位で、残差情報に対して直交変換処理を行う。直交変換部３４は、直交変換処理後の直交変換処理結果を量子化部３５に出力する。
【０１０７】
ステップＳ４１において、量子化部３５は、直交変換部３４から供給される直交変換処理結果を量子化する。量子化部３５は、量子化後の量子化値を可逆符号化部３６と逆量子化部３８に出力する。
【０１０８】
図１０のステップＳ４２において、逆量子化部３８は、量子化部３５からの量子化値に対して逆量子化を行う。逆量子化部３８は、逆量化後の直交変換処理結果を逆直交変換部３９に出力する。
【０１０９】
ステップＳ４３において、逆直交変換部３９は、ＣＵ単位で、直交変換処理結果に対して逆直交変換処理を行う。逆直交変換部３９は、逆直交変換処理後の残差情報を加算部４０に出力する。
【０１１０】
ステップＳ４４において、加算部４０は、逆直交変換部３９から供給される残差情報と、予測画像選択部４８から供給される予測画像を加算し、復号を行う。加算部４０は、復号された画像をデブロックフィルタ４１とフレームメモリ４４に出力する。
【０１１１】
ステップＳ４５において、デブロックフィルタ４１は、加算部４０から供給される画像に対して、デブロックフィルタ処理を行う。デブロックフィルタ４１は、デブロックフィルタ処理後の画像を適応オフセットフィルタ４２に出力する。
【０１１２】
ステップＳ４６において、適応オフセットフィルタ４２は、デブロックフィルタ処理後の画像に対して適応オフセットフィルタ処理を行う。適応オフセットフィルタ４２は、適応オフセットフィルタ処理後の画像を適応ループフィルタ４３に出力する。また、適応オフセットフィルタ４２は、オフセットフィルタ情報を可逆符号化部３６に出力する。
【０１１３】
ステップＳ４７において、適応ループフィルタ４３は、適応オフセットフィルタ処理後の画像に対して、適応ループフィルタ処理を行う。適応ループフィルタ４３は、適応ループフィルタ処理後の画像をフレームメモリ４４に出力する。また、適応ループフィルタ４３は、適応ループフィルタ処理で用いられたフィルタ係数を可逆符号化部３６に出力する。
【０１１４】
ステップＳ４８において、フレームメモリ４４は、適応ループフィルタ４３から供給される画像と加算部４０から供給される画像を蓄積する。フレームメモリ４４に蓄積されたフィルタ処理が行われていない画像のうちのＣＵに隣接する画像は、周辺画像としてスイッチ４５を介してイントラ予測部４６に出力される。一方、フレームメモリ４４に蓄積されたフィルタ処理が行われた画像は、参照画像としてスイッチ４５を介して動き予測・補償部４７に出力される。
【０１１５】
ステップＳ４９において、可逆符号化部３６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照画像を特定する情報、オフセットフィルタ情報、並びにフィルタ係数を、符号化情報として可逆符号化する。スピリットフラグは、ＣＴＵ毎に符号化情報として可逆符号化される。
【０１１６】
ステップＳ５０において、可逆符号化部３６は、量子化部３５から供給される量子化値を可逆符号化する。そして、可逆符号化部３６は、ステップＳ４９の処理で可逆符号化された符号化情報と可逆符号化された量子化値から、符号化データを生成し、蓄積バッファ３７に出力する。
【０１１７】
ステップＳ５１において、蓄積バッファ３７は、可逆符号化部３６から供給される符号化データを、一時的に蓄積する。
【０１１８】
ステップＳ５２において、レート制御部４９は、蓄積バッファ３７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部３５の量子化動作のレートを制御する。そして、処理は、図８のステップＳ１２に戻り、ステップＳ１３に進む。
【０１１９】
なお、図９および図１０の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き予測・補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。
【０１２０】
図１１は、図９のステップＳ３３のＣＵ分割構造決定処理の詳細を説明するフローチャートである。
【０１２１】
図１１のステップＳ１２１において、制御部１１は、ＣＴＵがＱＴで分割されたか否かを判定する。
【０１２２】
ステップＳ１２１において、ＱＴで分割されたと判定された場合、処理は、ステップＳ１２２に進む。
【０１２３】
ステップＳ１２２において、制御部１１は、ＱＴ分割後にＹのＣＵが８×８にならないか否かを判定する。
【０１２４】
ステップＳ１２２において、ＱＴ分割後にＹのＣＵが８×８にならないと判定された場合、処理は、ステップＳ１２３に進む。
【０１２５】
ステップＳ１２３において、符号化部１３は、ＱＴでＣＵのＲＤコストを計算する。
【０１２６】
また、ステップＳ１２１において、ＱＴで分割されていないと判定された場合、または、ステップＳ１２２において、ＱＴ分割後にＹのＣＵが８×８になると判定された場合、処理は、ステップＳ１２４に進む。
【０１２７】
ステップＳ１２４において、符号化部１３は、Non splitでＣＵのＲＤコストの計算処理を行う。
【０１２８】
ステップＳ１２５において、符号化部１３は、ＢＴでＣＵのＲＤコストの計算処理を行う。このＢＴでのＣＵのＲＤコストの計算処理の詳細は、後述する図１２を参照して説明する。ステップＳ１２５によりＢＴでのＣＵのＲＤコストが計算される。
【０１２９】
ステップＳ１２６において、符号化部１３は、ＴＴでＣＵのＲＤコストの計算処理を行う。このＴＴでのＣＵのＲＤコストの計算処理の詳細は、後述する図１３を参照して説明する。ステップＳ１２６によりＴＴでのＣＵのＲＤコストが計算される。
【０１３０】
ステップＳ１２７において、制御部１１は、計算されたＲＤコストの中から、最もＲＤコストの小さい分割構造を用いて、符号化部１３にＣＴＵを符号化させる。
【０１３１】
図１２は、図１１のステップＳ１２５のＢＴのＲＤコストの計算処理の詳細を説明するフローチャートである。
【０１３２】
図１２のステップＳ１４１において、制御部１１は、Horizontal ＢＴ分割後にＹのＣＵが８×８にならないか否かを判定する。
【０１３３】
ステップＳ１４１において、Horizontal ＢＴ分割後にＹのＣＵが８×８にならないと判定された場合、処理は、ステップＳ１４２に進む。
【０１３４】
ステップＳ１４２において、符号化部１３は、Horizontalで分割して、ＲＤコストを計算する。
【０１３５】
ステップＳ１４１において、Horizontal ＢＴ分割後にＹのＣＵが８×８になると判定された場合、処理は、ステップＳ１４２をスキップし、ステップＳ１４３に進む。
【０１３６】
ステップＳ１４３において、制御部１１は、Vertical ＢＴ分割後にＹのＣＵが８×８にならないか否かを判定する。
【０１３７】
ステップＳ１４３において、Vertical ＢＴ分割後にＹのＣＵが８×８にならないと判定された場合、処理は、ステップＳ１４４に進む。
【０１３８】
ステップＳ１４４において、符号化部１３は、Verticalで分割して、ＲＤコストを計算する。
【０１３９】
ステップＳ１４３において、Vertical ＢＴ分割後にＹのＣＵが８×８になると判定された場合、処理は、ステップＳ１４４をスキップし、ステップＳ１４５に進む。
【０１４０】
ステップＳ１４５において、制御部１１は、計算されたＲＤコストの中から、最もＲＤコストの小さい分割構造を採用して、当該ＢＴのＣＵのＲＤコストに用いる。
【０１４１】
図１３は、図１１のステップＳ１２６のＴＴのＲＤコストの計算処理の詳細を説明するフローチャートである。
【０１４２】
図１３のステップＳ１６１において、制御部１１は、Horizontal ＴＴ分割後にＹのＣＵが８×８にならないか否かを判定する。
【０１４３】
ステップＳ１６１において、Horizontal ＴＴ分割後にＹのＣＵが８×８にならないと判定された場合、処理は、ステップＳ１６２に進む。
【０１４４】
ステップＳ１６２において、符号化部１３は、Horizontalで分割して、ＲＤコストを計算する。
【０１４５】
ステップＳ１６１において、Horizontal ＴＴ分割後にＹのＣＵが８×８になると判定された場合、処理は、ステップＳ１６２をスキップし、ステップＳ１６３に進む。
【０１４６】
ステップＳ１６３において、制御部１１は、Vertical ＴＴ分割後にＹのＣＵが８×８にならないか否かを判定する。
【０１４７】
ステップＳ１６３において、Vertical ＴＴ分割後にＹのＣＵが８×８にならないと判定された場合、処理は、ステップＳ１６４に進む。
【０１４８】
ステップＳ１６４において、符号化部１３は、Verticalで分割して、ＲＤコストを計算する。
【０１４９】
ステップＳ１６３において、Vertical ＴＴ分割後にＹのＣＵが８×８になると判定された場合、処理は、ステップＳ１６４をスキップし、ステップＳ１６５に進む。
【０１５０】
ステップＳ１６５において、制御部１１は、計算されたＲＤコストの中から、最もＲＤコストの小さい分割構造を採用して、当該ＴＴのＣＵのＲＤコストに用いる。
【０１５１】
以上のように、ＣＵの分割構造決定処理において、ＹのＣＵが８×８よりも小さくなる場合を除くようにした。すなわち、Ｃｂ／ＣｒのＣＵが２×２になる場合のＣＵの分割構造を、ＣＵの分割構造を決定する選択肢から除くことができる。これにより、イントラ予測における遅延を少なくすることができる。
【０１５２】
なお、上記説明においては、Ｃｂ／ＣｒのＣＵが２×２になる場合を、ＣＵの分割構造を決定する選択肢から除くようにした例を説明した。他の方法としては、次の図１４に示されるように、イントラ予測を行う際にＣｂ／ＣｒのＣＵが２×２になる場合を使用しない方法がある。
【０１５３】
図１４は、図９のステップＳ３３のＣＵ分割構造決定処理の他の例を説明するフローチャートである。
【０１５４】
なお、図１４において、ステップＳ１８６におけるＣＵの予測モードの判定処理以外は、通常のＣＵ分割構造決定処理と同じ処理である。
【０１５５】
図１４のステップＳ１８１において、制御部１１は、ＣＴＵがＱＴで分割されたか否かを判定する。
【０１５６】
ステップＳ１８１において、ＱＴで分割されたと判定された場合、処理は、ステップＳ１８２に進む。
【０１５７】
ステップＳ１８２において、符号化部１３は、ＱＴでＣＵのＲＤコストを計算する。
【０１５８】
また、ステップＳ１８１において、ＱＴで分割されていないと判定された場合、処理は、ステップＳ１８３に進む。
【０１５９】
ステップＳ１８３において、符号化部１３は、Non splitでＣＵのＲＤコストの計算処理を行う。
【０１６０】
ステップＳ１８４において、符号化部１３は、ＢＴでＣＵのＲＤコストの計算処理を行う。このＢＴでのＣＵのＲＤコストの計算処理の詳細は、後述する図１５を参照して説明する。ステップＳ１８４によりＢＴでのＣＵのＲＤコストが計算される。
【０１６１】
ステップＳ１８５において、符号化部１３は、ＴＴでＣＵのＲＤコストの計算処理を行う。このＴＴでのＣＵのＲＤコストの計算処理の詳細は、後述する図１６を参照して説明する。ステップＳ１８５によりＴＴでのＣＵのＲＤコストが計算される。
【０１６２】
ステップＳ１８６において、制御部１１は、ＣＵの予測モード判定処理を行う。このＣＵの予測モード判定処理の詳細は、後述する図１７を参照して説明する。ステップＳ１８６によりＣｂ／Ｃｒで２×２のＣＵのイントラ予測以外のＲＤコストが求められる。
【０１６３】
ステップＳ１８７において、制御部１１は、計算されたＲＤコストの中から、最もＲＤコストの小さい分割構造を用いて、符号化部１３にＣＴＵを符号化させる。
【０１６４】
図１５は、図１４のステップＳ１８４のＢＴのＲＤコストの計算処理の詳細を説明するフローチャートである。
【０１６５】
図１５のステップＳ２０１において、符号化部１３は、Horizontalで分割して、ＲＤコストを計算する。
【０１６６】
ステップＳ２０２において、符号化部１３は、Verticalで分割して、ＲＤコストを計算する。
【０１６７】
ステップＳ２０３において、制御部１１は、計算されたＲＤコストの中から、最もＲＤコストの小さい分割構造を採用して、当該ＢＴのＣＵのＲＤコストに用いる。
【０１６８】
図１６は、図１４のステップＳ１８５のＴＴのＲＤコストの計算処理の詳細を説明するフローチャートである。
【０１６９】
図１６のステップＳ２２１において、符号化部１３は、Horizontalで分割して、ＲＤコストを計算する。
【０１７０】
ステップＳ２２２において、符号化部１３は、Verticalで分割して、ＲＤコストを計算する。
【０１７１】
ステップＳ２２３において、制御部１１は、計算されたＲＤコストの中から、最もＲＤコストの小さい分割構造を採用して、当該ＴＴのＣＵのＲＤコストに用いる。
【０１７２】
図１７は、図１４のステップＳ１８６のＣＵの予測モード判定処理の詳細を説明するフローチャートである。
【０１７３】
図１７のステップＳ２４１において、制御部１１はＣＵがＣｂ／Ｃｒで４×４以上であるか否かを判定する。
【０１７４】
ステップＳ２４１において、ＣＵがＣｂ／Ｃｒで４×４以上であると判定された場合、処理は、ステップＳ２４２に進む。
【０１７５】
ステップＳ２４２において、符号化部１３は、イントラ予測を用いてＲＤコストを計算する。その後、処理は、ステップＳ２４３に進む。
【０１７６】
また、ステップＳ２４１において、ＣＵがＣｂ／Ｃｒで４×４以上はないと判定された場合、処理は、ステップＳ２４２をスキップし、ステップＳ２４３に進む。
【０１７７】
ステップＳ２４３において、符号化部１３は、インター予測を用いてＲＤコストを計算する。
【０１７８】
ステップＳ２４４において、制御部１１は、計算されたＲＤコストの中から、最もＲＤコストの小さい分割構造を採用して、当該ＣＵのＲＤコストに用いる。
【０１７９】
以上のように、ＣＵの分割構造決定処理において、イントラ予測については、Ｃｂ／ＣｒのＣＵが４×４以上の場合のみＲＤコストを計算するようにした。すなわち、この処理の場合も、Ｃｂ／ＣｒのＣＵが２×２になる場合のＣＵの分割構造を、ＣＵの分割構造を決定する選択肢から除くことができる。これにより、イントラ予測における遅延を少なくすることができる。
【０１８０】
（復号装置の一実施の形態の構成例）
図１８は、図５の符号化装置から伝送される符号化ストリームを復号する、本開示を適用した復号装置の一実施の形態の構成例を示すブロック図である。
【０１８１】
図１８の復号装置１１０は、制御部１１１、受け取り部１１２、抽出部１１３、および復号部１１４により構成される。
【０１８２】
復号装置１１０の制御部１１１は、例えば、ＣＰＵやマイクロプロセッサなどから構成される。制御部１１１は、ＣＰＵにより所定のプログラムを実行し、各種の演算処理または各部の動作制御などを行い、復号装置１１０における中心的な処理装置として動作する。
【０１８３】
制御部１１１は、パラメータセットに含まれる情報を抽出する。制御部１１１は、パラメータセットに含まれる情報に基づいて、復号部１１４を制御する。具体的には、制御部１１１は、パラメータセットに含まれる情報（図２７を参照して後述される）を、復号部１１４に出力し、ＣＵの分割構造決定処理を行わせる。
【０１８４】
受け取り部１１２は、図８の符号化装置１０から伝送されてくる符号化ストリームを受け取り、抽出部１１３に出力する。
【０１８５】
抽出部１１３は、受け取り部１１２から供給される符号化ストリームから、パラメータセットと符号化データを抽出する。抽出部１１３は、パラメータセットを制御部１１１に出力する。抽出部１１３は、符号化データを復号部１１４に出力する。
【０１８６】
復号部１１４は、制御部１１１の指示に従って、抽出部１１３から供給される符号化データをＶＶＣ方式に準ずる方式で復号する。その際、復号部１１４は、制御部１１１の指示に従って、ＣＵの分割構造決定処理を行い、決定された分割構造のＣＵを用いて符号化データを復号する。復号部１１４は、復号後の画像を出力する。
【０１８７】
（復号部の構成例）
図１９は、図１８の復号部の構成例を示すブロック図である。
【０１８８】
図１９の復号部１１４は、蓄積バッファ１３１、可逆復号部１３２、逆量子化部１３３、逆直交変換部１３４、加算部１３５、デブロックフィルタ１３６、適応オフセットフィルタ１３７、適応ループフィルタ１３８、および画面並べ替えバッファ１３９を有する。また、復号部１１４は、Ｄ／Ａ変換部１４０、フレームメモリ１４１、スイッチ１４２、イントラ予測部１４３、動き補償部１４４、およびスイッチ１４５を有する。
【０１８９】
復号部１１４の蓄積バッファ１３１は、図１８の抽出部１１３から符号化データを受け取り、蓄積する。蓄積バッファ１３１は、蓄積されている符号化データを可逆復号部１３２に出力する。
【０１９０】
可逆復号部１３２は、蓄積バッファ１３１からの符号化データに対して、可変長復号や、算術復号などの可逆復号を施すことで、量子化値と符号化情報を得る。可逆復号部１３２は、量子化値を逆量子化部１３３に出力する。符号化情報は、スピリットフラグ、イントラ予測モード情報、インター予測モード情報、動きベクトル、参照画像を特定する情報、オフセットフィルタ情報、フィルタ係数などで構成される。
【０１９１】
可逆復号部１３２は、制御部１１１の指示に従い、スピリットフラグを用いて、ＣＵ分割構造決定処理を行う。スピリットフラグのうち、ツリーの分岐に対応するフラグを読み出すことにより、ＣＵの分割構造がわかる。
【０１９２】
復号部１１４においては、符号化装置１０により決定され、可逆復号部１３２により求められた分割構造のＣＵが用いられる。
【０１９３】
また、可逆復号部１３２は、イントラ予測モード情報などをイントラ予測部１４３に出力する。可逆復号部１３２は、動きベクトル、インター予測モード情報、参照画像を特定する情報などを動き補償部１４４に出力する。
【０１９４】
可逆復号部１３２は、イントラ予測モード情報またはインター予測モード情報をスイッチ１４５に出力する。可逆復号部１３２は、オフセットフィルタ情報を適応オフセットフィルタ１３７に出力する。可逆復号部１３２は、フィルタ係数を適応ループフィルタ１３８に出力する。
【０１９５】
逆量子化部１３３、逆直交変換部１３４、加算部１３５、デブロックフィルタ１３６、適応オフセットフィルタ１３７、適応ループフィルタ１３８、フレームメモリ１４１、スイッチ１４２、イントラ予測部１４３、および動き補償部１４４は、図７の逆量子化部３８、逆直交変換部３９、加算部４０、デブロックフィルタ４１、適応オフセットフィルタ４２、適応ループフィルタ４３、フレームメモリ４４、スイッチ４５、イントラ予測部４６、および動き予測・補償部４７とそれぞれ同様の処理を行う。これにより、画像が復号される。
【０１９６】
具体的には、逆量子化部１３３は、図７の逆量子化部３８と同様に構成される。逆量子化部１３３は、ＣＵ単位で、可逆復号部１３２からの量子化値を逆量子化する。逆量子化部１３３は、逆量子化後の直交変換処理結果を逆直交変換部１３４に出力する。
【０１９７】
逆直交変換部１３４は、図７の逆直交変換部３９と同様に構成される。逆直交変換部１３４は、逆量子化部１３３から供給される直交変換処理結果に対して逆直交変換処理を行う。逆直交変換部１３４は、逆直交変換処理後の残差情報を加算部１３５に出力する。
【０１９８】
加算部１３５は、逆直交変換部１３４から供給される残差情報と、スイッチ１４５から供給される予測画像を加算することにより、復号を行う。加算部１３５は、復号された画像をデブロックフィルタ１３６とフレームメモリ１４１に出力する。
【０１９９】
デブロックフィルタ１３６は、加算部１３５から供給される画像に対してデブロックフィルタ処理を行い、デブロックフィルタ処理後の画像を適応オフセットフィルタ１３７に出力する。
【０２００】
適応オフセットフィルタ１３７は、可逆復号部１３２からのオフセットフィルタ情報が表すオフセットを用いて、デブロックフィルタ処理後の画像に対して、オフセットフィルタ情報が表す種類の適応オフセットフィルタ処理を行う。適応オフセットフィルタ１３７は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ１３８に出力する。
【０２０１】
適応ループフィルタ１３８は、適応オフセットフィルタ１３７から供給される画像に対して、可逆復号部１３２から供給されるフィルタ係数を用いて、適応ループフィルタ処理を行う。適応ループフィルタ１３８は、適応ループフィルタ処理後の画像をフレームメモリ１４１および画面並べ替えバッファ１３９に出力する。
【０２０２】
画面並べ替えバッファ１３９は、適応ループフィルタ処理後の画像をフレーム単位で記憶する。画面並べ替えバッファ１３９は、符号化順のフレーム単位の画像を、元の表示順に並び替え、Ｄ／Ａ変換部１４０に出力する。
【０２０３】
Ｄ／Ａ変換部１４０は、画面並べ替えバッファ１３９から供給されるフレーム単位の画像をＤ／Ａ変換し、出力する。
【０２０４】
フレームメモリ１４１は、適応ループフィルタ処理後の画像と加算部１３５から供給される画像を蓄積する。フレームメモリ１４１に蓄積されたフィルタ処理が行われていない画像のうちのＣＵに隣接する画像は、周辺画像としてスイッチ１４２を介してイントラ予測部１４３に供給される。一方、フレームメモリ１４１に蓄積されたフィルタ処理が行われた画像は、参照画像として、スイッチ１４２を介して動き補償部１４４に出力される。
【０２０５】
イントラ予測部１４３は、フレームメモリ１４１からスイッチ１４２を介して読み出された周辺画像を用いて、可逆復号部１３２から供給されるイントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部１４３は、その結果生成される予測画像をスイッチ１４５に出力する。
【０２０６】
動き補償部１４４は、フレームメモリ１４１からスイッチ１４２を介して、可逆復号部１３２から供給される参照画像を特定する情報により特定される参照画像を読み出す。動き補償部１４４は、可逆復号部１３２から供給される動きベクトルと参照画像を用いて、可逆復号部１３２から供給されるインター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部１４４は、その結果生成される予測画像をスイッチ１４５に出力する。
【０２０７】
スイッチ１４５は、可逆復号部１３２からイントラ予測モード情報が供給された場合、イントラ予測部１４３から供給される予測画像を加算部１３５に出力する。一方、可逆復号部１３２からインター予測モード情報が供給された場合、スイッチ１４５は、動き補償部１４４から供給される予測画像を加算部１３５に出力する。
【０２０８】
（復号装置の処理の説明）
図２０は、図１８の復号装置の画像生成処理を説明するフローチャートである。
【０２０９】
図２０のステップＳ３０１において、復号装置１１０の受け取り部１１２は、図８の符号化装置１０から伝送されてくる符号化ストリームを受け取り、抽出部１１３に出力する。
【０２１０】
ステップＳ３０２において、抽出部１１３は、受け取り部１１２から供給される符号化ストリームから、符号化データとパラメータセットを抽出する。抽出部１１３は、符号化データを、復号部１１４に出力する。抽出部１１３は、パラメータセットを制御部１１１に出力する。
【０２１１】
制御部１１１は、パラメータセットに含まれる情報に基づいて、復号部１１４を制御する。
【０２１２】
ステップＳ３０３において、復号部１１４は、制御部１１１の指示に従って、抽出部１１３から供給される符号化データを復号する。この復号処理の詳細は、後述する図２１を参照して説明する。その後、画像生成処理は終了される。
【０２１３】
図２１は、図２０のステップＳ３０３の復号処理の詳細を説明するフローチャートである。
【０２１４】
図２０のステップＳ３３１において、復号部１１４の蓄積バッファ１３１は、抽出部１１３からフレーム単位の符号化データを受け取り、蓄積する。蓄積バッファ１３１は、蓄積されている符号化データを可逆復号部１３２に出力する。
【０２１５】
ステップＳ３３２において、可逆復号部１３２は、蓄積バッファ１３１からの符号化データを可逆復号し、量子化値と符号化情報を得る。可逆復号部１３２は、量子化値を逆量子化部１３３に出力する。
【０２１６】
可逆復号部１３２は、イントラ予測モード情報などをイントラ予測部１４３に出力する。可逆復号部１３２は、動きベクトル、インター予測モード情報、参照画像を特定する情報などを動き補償部１４４に出力する。
【０２１７】
また、可逆復号部１３２は、イントラ予測モード情報またはインター予測モード情報をスイッチ１４５に出力する。可逆復号部１３２は、オフセットフィルタ情報を適応オフセットフィルタ１３７に供給し、フィルタ係数を適応ループフィルタ１３８に出力する。
【０２１８】
ステップＳ３３３において、可逆復号部１３２は、制御部１１１の指示に従い、パラメータセットに含まれる情報とスピリットフラグに基づいて、ＣＵの分割構造決定処理を行う。ステップＳ３３３によりＣＵの分割構造が求められる。復号部１１４の各部においては、可逆復号部１３２により決定された分割構造のＣＵが用いられて、各処理が行われる。
【０２１９】
ステップＳ３３４において、逆量子化部１３３は、可逆復号部１３２から供給される量子化値を逆量子化する。逆量子化部１３３は、逆量子化後の直交変換処理結果を逆直交変換部１３４に出力する。
【０２２０】
ステップＳ３３５において、逆直交変換部１３４は、逆量子化部１３３から供給される直交変換処理結果に対して直交変換処理を行う。
【０２２１】
ステップＳ３３６において、動き補償部１４４は、可逆復号部１３２からインター予測モード情報が供給されたかどうかを判定する。ステップＳ３３５でインター予測モード情報が供給されたと判定された場合、処理はステップＳ３３６に進む。
【０２２２】
ステップＳ３３７において、動き補償部１４４は、可逆復号部１３２から供給される参照画像特定情報に基づいて参照画像を読み出し、動きベクトルと参照画像を用いて、インター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部１４４は、動き補償後の予測画像を、スイッチ１４５を介して加算部１３５に出力する。その後、処理は、ステップＳ３３９に進む。
【０２２３】
一方、ステップＳ３３６でインター予測モード情報が供給されていないと判定された場合、すなわち、イントラ予測モード情報がイントラ予測部１４３に供給された場合、処理はステップＳ３３８に進む。
【０２２４】
ステップＳ３３８において、イントラ予測部１４３は、フレームメモリ１４１からスイッチ１４２を介して読み出された周辺画像を用いて、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部１４３は、イントラ予測処理の結果生成される予測画像を、スイッチ１４５を介して加算部１３５に出力する。その後、処理は、ステップＳ３３９に進む。
【０２２５】
ステップＳ３３９において、加算部１３５は、逆直交変換部１３４から供給される残差情報と、スイッチ１４５から供給される予測画像を加算することにより、復号を行う。加算部１３５は、復号された画像をデブロックフィルタ１３６とフレームメモリ１４１に出力する。
【０２２６】
ステップＳ３４０において、デブロックフィルタ１３６は、加算部１３５から供給される画像に対してデブロックフィルタ処理を行い、ブロック歪を除去する。デブロックフィルタ１３６は、デブロックフィルタ処理後の画像を適応オフセットフィルタ１３７に出力する。
【０２２７】
ステップＳ３４１において、適応オフセットフィルタ１３７は、可逆復号部１３２から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ処理後の画像に対して、適応オフセットフィルタ処理を行う。適応オフセットフィルタ１３７は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ１３８に出力する。
【０２２８】
ステップＳ３４２において、適応ループフィルタ１３８は、適応オフセットフィルタ１３７から供給される画像に対して、可逆復号部１３２から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ１３８は、適応ループフィルタ処理後の画像をフレームメモリ１４１および画面並べ替えバッファ１３９に供給する。
【０２２９】
ステップＳ３４３において、フレームメモリ１４１は、加算部１３５から供給される画像と、適応ループフィルタ１３８から供給される画像を蓄積する。フレームメモリ１４１に蓄積されたフィルタ処理が行われていない画像のうちのＣＵに隣接する画像は、周辺画像としてスイッチ１４２を介してイントラ予測部１４３に供給される。一方、フレームメモリ１４１に蓄積されたフィルタ処理が行われた画像は、参照画像として、スイッチ１４２を介して動き補償部１４４に供給される。
【０２３０】
ステップＳ３４４において、画面並べ替えバッファ１３９は、適応ループフィルタ１３８から供給される画像をフレーム単位で記憶し、符号化順のフレーム単位の画像を、元の表示順に並び替え、Ｄ／Ａ変換部１４０に出力する。
【０２３１】
ステップＳ３４５において、Ｄ／Ａ変換部１４０は、適応ループフィルタ処理後の画像をＤ／Ａ変換し、出力する。そして、処理は、図２０のステップＳ３０３に戻り、終了する。
【０２３２】
以上のように、符号化側で、ＣＵの分割構造決定処理において、ＹのＣＵが８×８よりも小さくなる場合を除くようにした。すなわち、Ｃｂ／ＣｒのＣＵが２×２になる場合のＣＵの分割構造を、ＣＵの分割構造を決定する選択肢から除くことができる。これにより、イントラ予測における遅延を少なくすることができる。
【０２３３】
なお、第１の実施の形態においては、ＹのＣＵとＣｂ／ＣｒのＣＵは同じ分割構造である場合について説明してきた。
【０２３４】
第１の実施の形態の技術では、ＣＵの分割を小さくせず、処理を打ち切ることで、大きな遅延を回避するようにした。しかしながら、Ｃｂ／ＣｒのＣＵを小さくしないために、ＹのＣＵも小さくすることができなかった。
【０２３５】
実際、ＹのＣＵで４×４が使用できないと、符号化効率の悪化が懸念される。
【０２３６】
そこで、次に説明する第２の実施の形態においては、セパレートツリーが応用される。
【０２３７】
＜２．第２の実施の形態（セパレートツリー）＞
（セパレートツリーの説明）
図２２は、セパレートツリーの例を示す図である。
【０２３８】
図２２においては、ＹのＣＵの分割構造を決定するためのツリーと、Ｃｂ／ＣｒのＣＵの分割構造を決定するためのツリーが示されている。
【０２３９】
図２２に示されるように、ＹのＣＵと、Ｃｂ／ＣｒのＣＵとを別々の分割構造にする技術があり、その技術はセパレートツリーと呼ばれている。すなわち、セパレートツリーにおいては、ＹについてのＣＵの分割構造決定処理と、Ｃｂ／ＣｒについてのＣＵの分割構造決定処理が行われる。
【０２４０】
そこで、第２の実施の形態においては、セパレートツリーを応用することで、ＹのＣＵで４×４を使用可能とし、符号化効率の悪化を抑制するようにする。
【０２４１】
なお、第１の実施の形態の例と、第２の実施の形態の例とが異なるのは、セパレートツリーを用いることと、ＣＵ分割構造決定処理のみである。したがって、符号化装置１０の構成およびその他の処理と復号装置１１０とその処理は基本的に同じであるので、以下、符号化装置１０を用いて、ＣＵ分割構造決定処理についてのみ説明する。
【０２４２】
（符号化装置の動作）
図２３および図２４は、図９のステップＳ３３のＣＵ分割構造決定処理の他の例を説明するフローチャートである。
【０２４３】
図２３のステップＳ４０１において、制御部１１は、ＹのＣＴＵがＱＴで分割されたか否かを判定する。
【０２４４】
ステップＳ４０１において、ＱＴで分割されたと判定された場合、処理は、ステップＳ４０２に進む。
【０２４５】
ステップＳ４０２において、符号化部１３は、ＱＴでＣＵのＲＤコストを計算する。
【０２４６】
また、ステップＳ４０１において、ＱＴで分割されていないと判定された場合、処理は、ステップＳ４０３に進む。
【０２４７】
ステップＳ４０３において、符号化部１３は、Non splitでＣＵのＲＤコストの計算処理を行う。
【０２４８】
ステップＳ４０４において、符号化部１３は、ＢＴでＣＵのＲＤコストの計算処理を行う。このＢＴでのＣＵのＲＤコストの計算処理の詳細は、上述した図１５のＢＴのＲＤコストの計算処理と基本的に同じ処理である。ステップＳ４０４によりＢＴでのＣＵのＲＤコストが、ＣＵの制限なく計算される。
【０２４９】
ステップＳ４０５において、符号化部１３は、ＴＴでＣＵのＲＤコストの計算処理を行う。このＴＴでのＣＵのＲＤコストの計算処理の詳細は、上述した図１６のＴＴのＲＤコストの計算処理と基本的に同じ処理である。ステップＳ４０５によりＴＴでのＣＵのＲＤコストが、ＣＵの制限なく計算される。
【０２５０】
ステップＳ４０６において、制御部１１は、計算されたＲＤコストの中から、最もＲＤコストの小さい分割構造を用いて、符号化部１３にＣＴＵを符号化させる。
【０２５１】
図２４のステップＳ４０７において、制御部１１は、Ｃｂ／ＣｒのＣＴＵがＱＴで分割されたか否かを判定する。
【０２５２】
ステップＳ４０７において、ＱＴで分割されたと判定された場合、処理は、ステップＳ４０８に進む。
【０２５３】
ステップＳ４０８において、制御部１１は、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２にならないか否かを判定する。
【０２５４】
ステップＳ４０８において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２にならないと判定された場合、処理は、ステップＳ４０９に進む。
【０２５５】
ステップＳ４０９において、符号化部１３は、ＱＴでＣＵのＲＤコストを計算する。
【０２５６】
また、ステップＳ４０７において、ＱＴで分割されていないと判定された場合、または、ステップＳ４０８において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２になると判定された場合、処理は、ステップＳ４１０に進む。
【０２５７】
ステップＳ４１０において、符号化部１３は、Non splitでＣＵのＲＤコストの計算処理を行う。
【０２５８】
ステップＳ４１１において、符号化部１３は、ＢＴでＣＵのＲＤコストの計算処理を行う。このＢＴでのＣＵのＲＤコストの計算処理の詳細は、後述する図２５を参照して説明する。ステップＳ４１１によりＢＴでのＣＵのＲＤコストが計算される。
【０２５９】
ステップＳ４１２において、符号化部１３は、ＴＴでＣＵのＲＤコストの計算処理を行う。このＴＴでのＣＵのＲＤコストの計算処理の詳細は、後述する図２６を参照して説明する。ステップＳ４１２によりＴＴでのＣＵのＲＤコストが計算される。
【０２６０】
ステップＳ４１３において、制御部１１は、計算されたＲＤコストの中から、最もＲＤコストの小さい分割構造を用いて、符号化部１３にＣＴＵを符号化させる。
【０２６１】
なお、上述したステップＳ４０１乃至Ｓ４０６は、ＹについてのＣＵ分割構造決定処理である。ステップＳ４０７乃至Ｓ４１３は、Ｃｒ／ＣｂについてのＣＵ分割構造決定処理である。
【０２６２】
図２５は、図２４のステップＳ４１１のＢＴのＲＤコストの計算処理の詳細を説明するフローチャートである。
【０２６３】
図２５のステップＳ４３１において、制御部１１は、Horizontal ＢＴ分割後にＣｂ／ＣｒのＣＵが２×２にならないか否かを判定する。
【０２６４】
ステップＳ４３１において、Horizontal ＢＴ分割後にＣｂ／ＣｒのＣＵが２×２にならないと判定された場合、処理は、ステップＳ４３２に進む。
【０２６５】
ステップＳ４３２において、符号化部１３は、Horizontalで分割して、ＲＤコストを計算する。
【０２６６】
ステップＳ４３１において、Horizontal ＢＴ分割後にＣｂ／ＣｒのＣＵが２×２になると判定された場合、処理は、ステップＳ４３２をスキップし、ステップＳ４３３に進む。
【０２６７】
ステップＳ４３３において、制御部１１は、Vertical ＢＴ分割後にＣｂ／ＣｒのＣＵが２×２にならないか否かを判定する。
【０２６８】
ステップＳ４３３において、Vertical ＢＴ分割後にＣｂ／ＣｒのＣＵが２×２にならないと判定された場合、処理は、ステップＳ４３４に進む。
【０２６９】
ステップＳ４３４において、符号化部１３は、Verticalで分割して、ＲＤコストを計算する。
【０２７０】
ステップＳ４３３において、Vertical ＢＴ分割後にＣｂ／ＣｒのＣＵが２×２になると判定された場合、処理は、ステップＳ４３４をスキップし、ステップＳ４３５に進む。
【０２７１】
ステップＳ４３５において、制御部１１は、計算されたＲＤコストの中から、最もＲＤコストの小さい分割構造を採用して、当該ＢＴのＣＵのＲＤコストに用いる。
【０２７２】
図２６は、図２４のステップＳ４１２のＴＴのＲＤコストの計算処理の詳細を説明するフローチャートである。
【０２７３】
図２６のステップＳ４５１において、制御部１１は、Horizontal ＴＴ分割後にＣｂ／ＣｒのＣＵが２×２にならないか否かを判定する。
【０２７４】
ステップＳ４５１において、Horizontal ＴＴ分割後にＣｂ／ＣｒのＣＵが２×２にならないと判定された場合、処理は、ステップＳ４５２に進む。
【０２７５】
ステップＳ４５２において、符号化部１３は、Horizontalで分割して、ＲＤコストを計算する。
【０２７６】
ステップＳ４５１において、Horizontal ＴＴ分割後にＣｂ／ＣｒのＣＵが２×２になると判定された場合、処理は、ステップＳ４５２をスキップし、ステップＳ４５３に進む。
【０２７７】
ステップＳ４５３において、制御部１１は、Vertical ＴＴ分割後にＣｂ／ＣｒのＣＵが２×２にならないか否かを判定する。
【０２７８】
ステップＳ４５３において、Vertical ＴＴ分割後にＣｂ／ＣｒのＣＵが２×２にならないと判定された場合、処理は、ステップＳ４５４に進む。
【０２７９】
ステップＳ４５４において、符号化部１３は、Verticalで分割して、ＲＤコストを計算する。
【０２８０】
ステップＳ４５３において、Vertical ＴＴ分割後にＣｂ／ＣｒのＣＵが２×２になると判定された場合、処理は、ステップＳ４５４をスキップし、ステップＳ４５５に進む。
【０２８１】
ステップＳ４５５において、制御部１１は、計算されたＲＤコストの中から、最もＲＤコストの小さい分割構造を採用して、当該ＴＴのＣＵのＲＤコストに用いる。
【０２８２】
以上のように、ＣＵの分割構造決定処理において、Ｃｂ／ＣｒのＣＵが２×２よりも小さくなる場合を除くようにした。したがって、Ｃｂ／ＣｒのＣＵが２×２になる場合のＣＵの分割構造を、ＣＵの分割構造を決定する選択肢から除くことができる。これにより、イントラ予測における遅延を少なくすることができる。
【０２８３】
また、セパレートツリーが用いられているので、ＹのＣＵとして、４×４を用いることができる。したがって、符号化効率の悪化を抑制することができる。
【０２８４】
なお、上記説明においては、符号化側において、Ｃｂ／ＣｒのＣＵが２×２になる場合を回避するようにした例を説明してきたが、次に説明する第３の実施の形態においては、ハイレベルシンタックスでＣＵの分割構造が制限される。
【０２８５】
＜３．第３の実施の形態（最小ＣＵをシンタックスに追加）＞
（シンタックスの説明）
図２７は、セパレートツリーに関するセマンテックスの例を示す図である。
【０２８６】
図２７には、セパレートツリーに関するＳＰＳの復号に必要な情報が定義されたセマンテックスが抜粋して示されている。
【０２８７】
セマンテックスには、解像度や４：２：０のクロマフォーマットなどの情報が定義されている。特にＳＰＳなどは、動画像の符号化の全体を通して使用されるため、ハイレベルシンタックスと呼ばれている。
【０２８８】
なお、図２７においては、説明の便宜上、左側に数字を付している。
【０２８９】
第１行目乃至第３行目には、「qtbtt_dual_tree_intra_flag equal to 1 specifies that for I slices,each CTU is spilit into coding units with 64×64 luma samples using an implicit quadtree split and that these coding units are the root of two separate coding_quadtree syntax structure for luma and chroma.」が記載されている。dual_treeは、セパレートツリーの別名である。セパレートツリーは、dual_treeとも呼ばれている。第１行目乃至第３行目には、セパレートツリーを使用するか否かを指定する情報が記載されている。
【０２９０】
第４行目には、「log2_ctu_size_minus2 plus2 specifies the luma coding tree block size of each CTU.」が記載されている。第４行目には、それぞれのＣＴＵにおける輝度のcoding tree blockのサイズを指定する情報が記載されている。
【０２９１】
第６行目乃至第８行目には、「log2_min_qt_size_intra_slices_minus2 plus2 specifies the minimum luma size of a leaf block resulting from quadtree splitting of a CTU in slices with slice_type equal to 2(I).The value of log2_min_qt_size_intra_slices_minus2 shall be in the range of 0 to Ctblog2SizeY-2,inclusive.」が記載されている。
【０２９２】
第９行目には、「MinQtLog2SizeIntraY = log2_min_qt_size_intra_slices_minus2+2(7-22)」が記載されている。
【０２９３】
第１０行目には、「[Ed.(BB):the leaf of a quadtree can either be a coding unit or the root a nested multi-type tree.]」が記載されている。
【０２９４】
第１１行目乃至第１３行目には、「log2_min_qt_size_inter_slices_minus2 plus 2 specifies the minimum luma size of a leaf block resulting from quadtree slitting of a CTU in slices with slice_type equal to 0(B) or 1(P).The value of log2_min qt_size_inter_slices_minus2 shall be in the range of 0 to CtbLog2SizeY - 2,inclusive.」が記載されている。
【０２９５】
第１４行目には、「MinQtLog2SizeInter = log_min_qt_size_inter_slices_minus2 + 2 (7-23)」が記載されている。
【０２９６】
第１５行目乃至第１７行目には、「max_mtt_hierarchy_depth_inter_slices specifies the maxmum hierarchy depth for coding units resulting from multi-type tree splitting of a quadtree leaf in slices with slice_type equal to 0(B) or 1(P).The value of max_mtt_hierarchy_depth_inter_slices shall be in the range of 0 to CtbLog2SizeY - MinTbLog2SizeY,inclusive.」が記載されている。mttは、BT/TTの別名である。BT/TTは、mttとも呼ばれている。
【０２９７】
第１８行目乃至第２０行目には、「max_mtt_hierarchy_depth_intra_slices specifies the maxmum hierarchy depth for coding units resulting from multi-type tree splitting of a quadtree leaf in slices with slice_type equal to 2(I).The value of max_mtt_hierarchy_depth_intra_slices shall be in the range of 0 to CtbLog2SizeY - MinTbLog2SizeY,inclusive.」が記載されている。
【０２９８】
図２８は、図２７に記載の情報を用いて制御できるＣＵの分割構造の一例を示す図である。
【０２９９】
図２８において、ハッチが付された丸は、ＱＴ分割を表す。黒丸は、ＢＴ／ＴＴ分割を表す。
【０３００】
「log2_min_qt_size_intra_slices_minus2」（図２７の第１１行目）は、Ｉスライスの場合のＱＴ分割の最小サイズを指定する情報である。
【０３０１】
図２８には、「log2_min_qt_size_intra_slices_minus2」：１として、ＱＴ分割の最小サイズが１の例が示されている。「log2_min_qt_size_intra_slices_minus2」：１は、２の３乗を表し、８と解釈される。すなわち、８×８がＱＴ分割の最小となる。
【０３０２】
上位からＱＴで分割されて、８×８まで到達すると、「log2_min_qt_size_intra_slices_minus2」：１によりこれ以上のＱＴ分割ができなくなる。図２８の場合、８×８に到達している、上から２番目のＱＴ分割以降は、ＢＴ／ＴＴ分割しか行えない。
【０３０３】
また、「max_mtt_hierarchy_depth_intra_slices」（図２７の第１８行目）は、Ｉスライスの場合のＱＴ分割後のＢＴ／ＴＴ分割が可能な深さを指定する情報である。
【０３０４】
図２８には、「max_mtt_hierarchy_depth_intra_slices」：３として、ＢＴ／ＴＴ分割が可能な深さが３の例が示されている。図２８の場合、８×８に到達している、上から２番目のＱＴ分割以降は、３段階まで、ＢＴ／ＴＴ分割を行うことができる。
【０３０５】
実際には、４×４まで分割が許可されているので、縦にＢＴ分割し、横にＢＴ分割した場合、４×４となってしまうため、これ以上の分割は行うことができない。
【０３０６】
図２９は、セパレートツリーを想定して、ＹとＣｂ／Ｃｒで別々に、図２８の制御ができるように拡張した例を示す図である。
【０３０７】
図２９には、「log2_min_qt_size_intra_slices_luma_minus2」と「log2_min_qt_size_intra_slices_chroma_minus2」が示されている。「log2_min_qt_size_intra_slices_luma_minus2」は、ＹのＱＴ分割の最小サイズを指定する情報である。「log2_min_qt_size_intra_slices_chroma_minus2」は、Ｃｂ／ＣｒのＱＴ分割の最小サイズを指定する情報である。
【０３０８】
また、図２９には、「max_mtt_hierarchy_depth_intra_luma_slices」と「max_mtt_hierarchy_depth_intra_chroma_slices」が示されている。「max_mtt_hierarchy_depth_intra_luma_slices」は、ＹのＢＴ／ＴＴ分割が可能な深さを指定する情報である。「max_mtt_hierarchy_depth_intra_chroma_slices」は、Ｃｂ／ＣｒのＢＴ／ＴＴ分割が可能な深さを指定する情報である。
【０３０９】
なお、図２９に示されたＣＵの分割構造は、図２８と同様の分割構造であるが、図２９においては、ＹまたはＣｂ／Ｃｒの一例しか示されていない。また、セマンテックスには記載されていないが、ＶＶＣのソフトウエアでは、Ｉスライスに限って、ＹとＣｂ／Ｃｒを別々に指定可能である。
【０３１０】
図３０は、図２７に記載の情報を用いて、Ｃｂ／ＣｒのＣＵだけ４×４を最小とするようにした例を示す図である。
【０３１１】
図３０には、「log2_min_qt_size_intra_slices_luma_minus2」：０として、ＹのＱＴ分割の最小サイズが０の例が示されている。「log2_min_qt_size_intra_slices_minus2」：０は、２の２乗を表し、４と解釈される。すなわち、４×４がＹのＱＴ分割の最小となる。
【０３１２】
また、図３０には、「max_mtt_hierarchy_depth_intra_luma_slices」：３は、ＢＴ／ＴＴ分割が可能な深さが３の例が示されている。
【０３１３】
なお、図３０では、ＹのＣＵの分割構造の一例は示されておらず、Ｃｂ／ＣｒのＣＵの分割構造の一例のみが示されている。
【０３１４】
図３０には、「log2_min_qt_size_intra_slices_chroma_minus2」：０として、Ｃｂ／ＣｒのＱＴ分割の最小サイズが０の例が示されている。「log2_min_qt_size_intra_slices_minus2」：０は、２の２乗を表し、４と解釈される。すなわち、４×４がＣｂ／ＣｒのＱＴ分割の最小となる。
【０３１５】
また、図３０には、「max_mtt_hierarchy_depth_intra_chroma_slices」：０は、ＢＴ／ＴＴ分割が可能な深さが０の例が示されている。図３０の場合、４×４に到達している、上から２番目のＱＴ分割以降は、１段もＢＴ／ＴＴ分割を行うことができない。
【０３１６】
以上のようにＣＵ分割構造を決めることで、Ｃｂ／ＣｒのＣＵの最小を４×４とすることができる。
【０３１７】
しかしながら、図３０に記載の方法では、ＢＴ／ＴＴ分割を使えなくしているため、符号化効率が低下してしまう。そこで、図３１に示されるように新たな情報が設定される。
【０３１８】
図３１は、新たな情報により設定されるＣｂ／ＣｒのＣＵの分割構造の例を示す図である。
【０３１９】
図３１では、図２９で上述した「log2_min_qt_size_intra_slices_luma_minus2」と「log2_min_qt_size_intra_slices_chroma_minus2」が示されている。「max_mtt_hierarchy_depth_intra_luma_slices」と「max_mtt_hierarchy_depth_intra_chroma_slices」が示されている。
【０３２０】
さらに、図３１には、新しく「min_cu_size_idc_intra_slice_luma」、「min_cu_size_idc_intra_slice_chroma」、「min_cu_size_idc_inter_slice_luma」、および「min_cu_size_idc_inter_slice_choma」が示されている。
【０３２１】
「min_cu_size_idc_intra_slice_luma」は、Iスライス（イントラ予測）において、ＹのＣＵの最小サイズを指定する情報である。
【０３２２】
「min_cu_size_idc_intra_slice_chroma」は、Iスライスにおいて、Ｃｂ／ＣｒのＣＵの最小サイズを指定する情報である。
【０３２３】
「min_cu_size_idc_inter_slice_luma」は、Ｐ／Ｂスライス（インター予測）において、ＹのＣＵの最小サイズを指定する情報である。
【０３２４】
「min_cu_size_idc_inter_slice_choma」は、Ｐ／Ｂスライスにおいて、Ｃｂ／ＣｒのＣＵの最小サイズを指定する情報である。
【０３２５】
そして、Ｃｂ／ＣｒのＣＵについては、以下のように０乃至２が定義される。すなわち、Ｃｂ／ＣｒのＣＵの最小サイズを指定する情報が０の場合、２×２まで使える。Ｃｂ／ＣｒのＣＵの最小サイズを指定する情報が１の場合、２×４、４×２まで使える。Ｃｂ／ＣｒのＣＵの最小サイズを指定する情報が２の場合、４×４まで使える。
【０３２６】
ＹのＣＵについては、以下のように０乃至２が定義される。すなわち、ＹのＣＵの最小サイズを指定する情報が０の場合、４×４まで使える。ＹのＣＵの最小サイズを指定する情報が１の場合、４×８、８×４まで使える。ＹのＣＵの最小サイズを指定する情報が２の場合、８×８まで使える。
【０３２７】
上述した新たな情報は、符号化側によりＳＰＳに含めて送信される。
【０３２８】
（符号化装置の一実施の形態の構成例）
図３２は、本開示を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
【０３２９】
図３２の符号化装置２１０は、制御部２１１、設定部２１２、符号化部１３、および伝送部１４により構成され、画像をＶＶＣ方式に準ずる方式で符号化する。
【０３３０】
図３２に示す構成のうち、図５を参照して説明した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０３３１】
具体的には、符号化装置２１０の制御部２１１は、図５の制御部１１と同様に構成され、符号化装置２１０における中心的な処理装置として動作する。
【０３３２】
例えば、制御部２１１は、設定部２１２に、ＳＰＳの「min_cu_size_idc_intra_slice_chroma」および「min_cu_size_idc_inter_slice_choma」を設定させる。
【０３３３】
また、制御部２１１は、符号化部１３にＲＤコストを算出させ、符号化部１３から供給されるＲＤコストに基づいて、ＣＵの分割構造を決定する。
【０３３４】
このとき、制御部２１１は、「min_cu_size_idc_intra(またはinter)_slice_luma」が２である場合、分割後にＣｒ／ＣｂのＣＵが２×２、２×４、４×２であるときを除いて、ＲＤコストを計算させる。この場合、Ｃｒ／ＣｂのＣＵが２×２、２×４、４×２であるときのＲＤコストは計算されず、Ｃｒ／ＣｂのＣＵが２×２、２×４、４×２であるときのフラグは送られない。
【０３３５】
また、制御部２１１は、「min_cu_size_idc_intra(またはinter)_slice_luma」が１である場合、分割後にＣｒ／ＣｂのＣＵが２×２であるときを除いて、ＲＤコストを計算させる。この場合、Ｃｒ／ＣｂのＣＵが２×２であるときのＲＤコストは計算されず、Ｃｒ／ＣｂのＣＵが２×２であるときのフラグは送られない。
【０３３６】
また、制御部２１１は、制御部１１と同様に、ＲＤコストに基づいて、予測モードを決定する。制御部２１１は、決定したＣＵの分割構造や予測モードに基づいて、設定部２１２にパラメータセットを設定させ、符号化部１３に符号化処理を行わせる。
【０３３７】
設定部２１２は、制御部２１１の指示に従い、ＳＰＳ,ＰＰＳ,ＶＵＩ,ＳＥＩなどを設定する。その際、設定部２１２は、ＳＰＳの「min_cu_size_idc_intra_slice_chroma」および「min_cu_size_idc_inter_slice_choma」を設定する。設定部２１２は、設定されたＳＰＳ,ＰＰＳ,ＶＵＩ,ＳＥＩなどのパラメータセットを符号化部１３に出力する。
【０３３８】
符号化部１３には、フレーム単位の画像が入力される。符号化部１３は、制御部２１１の指示に従い、入力された画像をＶＶＣ方式に準ずる方式で符号化する。符号化部１３は、符号化の結果得られる符号化データとパラメータセットから符号化ストリームを生成し、伝送部１４に出力する。
【０３３９】
伝送部１４は、符号化部１３から供給される符号化ストリームを、後述する復号装置４１０に伝送する。
【０３４０】
（符号化装置の動作）
図３３は、図３２の符号化装置のストリーム生成処理を説明するフローチャートである。
【０３４１】
図３３のステップＳ５１１において、符号化装置２１０の設定部２１２は、パラメータセットを設定する。その際、設定部２１２は、ＳＰＳの「min_cu_size_idc_intra_slice_chroma」および「min_cu_size_idc_inter_slice_choma」を設定する。設定部２１２は、設定されたパラメータセットを符号化部１３に出力する。
【０３４２】
ステップＳ５１２において、符号化部１３は、フレーム単位の画像を符号化する符号化処理を行う。この符号化処理は、上述した図９および図１０と、ＣＵ分割構造決定処理（Ｓ３３）を除いて、基本的に同じ処理であるため、その説明を省略する。符号化処理により符号化データが生成される。符号化データは、蓄積バッファ３７に蓄積される。
【０３４３】
なお、ステップＳ５１２の符号化処理により算出されたＲＤコストに基づいてＣＵの分割構造および予測モードなどが決定される。ＲＤコストに基づくＣＵの分割構造および予測モードは、ステップＳ５１２において符号化処理に用いられる。
【０３４４】
ステップＳ５１３において、設定部２１２から供給されるパラメータセットと蓄積している符号化データから符号化ストリームが生成され、伝送部１４に出力される。
【０３４５】
ステップＳ５１４において、伝送部１４は、符号化部１３から供給される符号化ストリームを、後述する復号装置４１０に伝送し、処理を終了する。
【０３４６】
図３４乃至図３６は、図９のステップＳ３３のＣＵ分割構造決定処理の他の例を説明するフローチャートである。
【０３４７】
なお、図３４においては、Ｉスライスの場合についての処理が示されている。
【０３４８】
図３４のステップＳ６０１において、制御部２１１は、ＹのＣＴＵがＱＴで分割されたか否かを判定する。
【０３４９】
ステップＳ６０１において、ＱＴで分割されたと判定された場合、処理は、ステップＳ６０２に進む。
【０３５０】
ステップＳ６０２において、符号化部１３は、ＱＴでＣＵのＲＤコストを計算する。
【０３５１】
また、ステップＳ６０１において、ＱＴで分割されていないと判定された場合、処理は、ステップＳ６０３に進む。
【０３５２】
ステップＳ６０３において、符号化部１３は、Non splitでＣＵのＲＤコストの計算処理を行う。
【０３５３】
ステップＳ６０４において、符号化部１３は、ＢＴでＣＵのＲＤコストの計算処理を行う。このＢＴでのＣＵのＲＤコストの計算処理は、上述した図１５の処理と基本的に同じ処理であるため、その説明を省略する。ステップＳ６０４によりＢＴでのＣＵのＲＤコストが計算される。
【０３５４】
ステップＳ６０５において、符号化部１３は、ＴＴでＣＵのＲＤコストの計算処理を行う。このＴＴでのＣＵのＲＤコストの計算処理は、上述した図１６の処理と基本的に同じ処理であるため、その説明を省略する。ステップＳ６０５によりＴＴでのＣＵのＲＤコストが計算される。
【０３５５】
ステップＳ６０６において、制御部２１１は、計算されたＲＤコストの中から、最もＲＤコストの小さい分割構造を用いて、符号化部１３にＣＴＵを符号化させる。
【０３５６】
図３５のステップＳ６０７において、制御部２１１は、Ｃｂ／ＣｒのＣＴＵがＱＴで分割されたか否かを判定する。
【０３５７】
ステップＳ６０７において、ＱＴで分割されたと判定された場合、処理は、ステップＳ６０８に進む。
【０３５８】
ステップＳ６０８において、制御部２１１は、min_cu_size_idc_intra_slice_chorma==２であるなら、分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２にならないか否かを判定する。
【０３５９】
ステップＳ６０８において、分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２にならないと判定された場合、処理は、ステップＳ６０９に進む。
【０３６０】
ステップＳ６０９において、制御部２１１は、min_cu_size_idc_intra_slice_chroma==１であるなら、分割後にＣｂ／ＣｒのＣＵが２×２にならないか否かを判定する。
【０３６１】
ステップＳ６０９において、分割後にＣｂ／ＣｒのＣＵが２×２にならないと判定された場合、処理は、ステップＳ６１０に進む。
【０３６２】
ステップＳ６１０において、符号化部１３は、ＱＴでＣＵのＲＤコストを計算する。
【０３６３】
また、ステップＳ６０７において、ＱＴで分割されていないと判定された場合、または、ステップＳ６０８において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２になると判定された場合、処理は、ステップＳ６１１に進む。ステップＳ６０９において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２になると判定された場合も、処理は、ステップＳ６１１に進む。これらの場合、ＲＤコストも算出されず、スピリットフラグも送られない。
【０３６４】
ステップＳ６１１において、符号化部１３は、Non splitでＣＵのＲＤコストの計算処理を行う。
【０３６５】
ステップＳ６１２において、制御部２１１は、min_cu_size_idc_intra_slice_chorma==２であるなら、分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２にならないか否かを判定する。
【０３６６】
ステップＳ６１２において、分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２にならないと判定された場合、処理は、ステップＳ６１３に進む。
【０３６７】
ステップＳ６１３において、制御部２１１は、min_cu_size_idc_intra_slice_chroma==１であるなら、分割後にＣｂ／ＣｒのＣＵが２×２にならないか否かを判定する。
【０３６８】
ステップＳ６１３において、分割後にＣｂ／ＣｒのＣＵが２×２にならないと判定された場合、処理は、ステップＳ６１４に進む。
【０３６９】
ステップＳ６１４において、符号化部１３は、ＢＴでＣＵのＲＤコストの計算処理を行う。このＢＴでのＣＵのＲＤコストの計算処理は、上述した図１５のＢＴのＲＤコストの計算処理と基本的に同じ処理である。ステップＳ６１４によりＢＴでのＣＵのＲＤコストが計算される。
【０３７０】
また、ステップＳ６１３において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２になると判定された場合、処理は、図３６のステップＳ６１５に進む。ステップＳ６１４において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２になると判定された場合も、処理は、図３６のステップＳ６１５に進む。これらの場合、ＲＤコストも算出されず、スピリットフラグも送られない。
【０３７１】
図３６のステップＳ６１５において、制御部２１１は、min_cu_size_idc_intra_slice_chorma==２であるなら、分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２にならないか否かを判定する。
【０３７２】
ステップＳ６１５において、分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２にならないと判定された場合、処理は、ステップＳ６１６に進む。
【０３７３】
ステップＳ６１６において、制御部２１１は、min_cu_size_idc_intra_slice_chroma==１であるなら、分割後にＣｂ／ＣｒのＣＵが２×２にならないか否かを判定する。
【０３７４】
ステップＳ６１６において、分割後にＣｂ／ＣｒのＣＵが２×２にならないと判定された場合、処理は、ステップＳ６１７に進む。
【０３７５】
ステップＳ６１７において、符号化部１３は、ＴＴでＣＵのＲＤコストの計算処理を行う。このＴＴでのＣＵのＲＤコストの計算処理は、上述した図１６のＴＴのＲＤコストの計算処理と基本的に同じ処理である。ステップＳ６１７によりＴＴでのＣＵのＲＤコストが計算される。
【０３７６】
また、ステップＳ６１５において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２になると判定された場合、処理は、ステップＳ６１８に進む。ステップＳ６１６において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２になると判定された場合も、処理は、ステップＳ６１８に進む。これらの場合、ＲＤコストも算出されず、スピリットフラグも送られない。
【０３７７】
ステップＳ６１８において、制御部１１は、計算されたＲＤコストの中から、最もＲＤコストの小さい分割構造を用いて、符号化部１３にＣＴＵを符号化させる。
【０３７８】
なお、上述した図３４乃至図３６において、ステップＳ６０１乃至Ｓ６０６は、ＹについてのＣＵ分割構造決定処理である。ステップＳ６０７乃至Ｓ６１８は、Ｃｒ／ＣｂについてのＣＵ分割構造決定処理である。
【０３７９】
図３７乃至図３９は、図９のステップＳ３３のＣＵ分割構造決定処理の他の例を説明するフローチャートである。
【０３８０】
なお、図３７においては、Ｐ／Ｂスライスの場合についての処理が示されている。
【０３８１】
図３７のステップＳ６５１において、制御部２１１は、ＹのＣＴＵがＱＴで分割されたか否かを判定する。
【０３８２】
ステップＳ６５１において、ＱＴで分割されたと判定された場合、処理は、ステップＳ６５２に進む。
【０３８３】
ステップＳ６５２において、符号化部１３は、ＱＴでＣＵのＲＤコストを計算する。
【０３８４】
また、ステップＳ６５１において、ＱＴで分割されていないと判定された場合、処理は、ステップＳ６５３に進む。
【０３８５】
ステップＳ６５３において、符号化部１３は、Non splitでＣＵのＲＤコストの計算処理を行う。
【０３８６】
ステップＳ６５４において、符号化部１３は、ＢＴでＣＵのＲＤコストの計算処理を行う。このＢＴでのＣＵのＲＤコストの計算処理は、上述した図１５の処理と基本的に同じ処理であるため、その説明を省略する。ステップＳ６５４によりＢＴでのＣＵのＲＤコストが計算される。
【０３８７】
ステップＳ６５５において、符号化部１３は、ＴＴでＣＵのＲＤコストの計算処理を行う。このＴＴでのＣＵのＲＤコストの計算処理は、上述した図１６の処理と基本的に同じ処理であるため、その説明を省略する。ステップＳ６５５によりＴＴでのＣＵのＲＤコストが計算される。
【０３８８】
ステップＳ６５６において、制御部２１１は、計算されたＲＤコストの中から、最もＲＤコストの小さい分割構造を用いて、符号化部１３にＣＴＵを符号化させる。
【０３８９】
図３８のステップＳ６５７において、制御部２１１は、Ｃｂ／ＣｒのＣＴＵがＱＴで分割されたか否かを判定する。
【０３９０】
ステップＳ６５７において、ＱＴで分割されたと判定された場合、処理は、ステップＳ６５８に進む。
【０３９１】
ステップＳ６５８において、制御部２１１は、min_cu_size_idc_inter_slice_chorma==２であるなら、分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２にならないか否かを判定する。
【０３９２】
ステップＳ６５８において、分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２にならないと判定された場合、処理は、ステップＳ６５９に進む。
【０３９３】
ステップＳ６５９において、制御部２１１は、min_cu_size_idc_inter_slice_chroma==１であるなら、分割後にＣｂ／ＣｒのＣＵが２×２にならないか否かを判定する。
【０３９４】
ステップＳ６５９において、分割後にＣｂ／ＣｒのＣＵが２×２にならないと判定された場合、処理は、ステップＳ６６０に進む。
【０３９５】
ステップＳ６６０において、符号化部１３は、ＱＴでＣＵのＲＤコストを計算する。
【０３９６】
また、ステップＳ６５７において、ＱＴで分割されていないと判定された場合、または、ステップＳ６５８において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２になると判定された場合、処理は、ステップＳ６６１に進む。ステップＳ６５９において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２になると判定された場合も、処理は、ステップＳ６６１に進む。これらの場合、ＲＤコストも算出されず、スピリットフラグも送られない。
【０３９７】
ステップＳ６６１において、符号化部１３は、Non splitでＣＵのＲＤコストの計算処理を行う。
【０３９８】
ステップＳ６６２において、制御部２１１は、min_cu_size_idc_inter_slice_chorma==２であるなら、分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２にならないか否かを判定する。
【０３９９】
ステップＳ６６２において、分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２にならないと判定された場合、処理は、ステップＳ６６３に進む。
【０４００】
ステップＳ６６３において、制御部２１１は、min_cu_size_idc_intra_slice_chroma==１であるなら、分割後にＣｂ／ＣｒのＣＵが２×２にならないか否かを判定する。
【０４０１】
ステップＳ６６３において、分割後にＣｂ／ＣｒのＣＵが２×２にならないと判定された場合、処理は、ステップＳ６６４に進む。
【０４０２】
ステップＳ６６４において、符号化部１３は、ＢＴでＣＵのＲＤコストの計算処理を行う。このＢＴでのＣＵのＲＤコストの計算処理は、上述した図１５のＢＴのＲＤコストの計算処理と基本的に同じ処理である。ステップＳ６６４によりＢＴでのＣＵのＲＤコストが計算される。
【０４０３】
また、ステップＳ６６３において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２になると判定された場合、処理は、図３９のステップＳ６６５に進む。ステップＳ６６４において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２になると判定された場合も、処理は、図３９のステップＳ６６５に進む。これらの場合、ＲＤコストも算出されず、スピリットフラグも送られない。
【０４０４】
図３９のステップＳ６６５において、制御部２１１は、min_cu_size_idc_inter_slice_chorma==２であるなら、分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２にならないか否かを判定する。
【０４０５】
ステップＳ６６５において、分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２にならないと判定された場合、処理は、ステップＳ６６６に進む。
【０４０６】
ステップＳ６６６において、制御部２１１は、min_cu_size_idc_inter_slice_chroma==１であるなら、分割後にＣｂ／ＣｒのＣＵが２×２にならないか否かを判定する。
【０４０７】
ステップＳ６６６において、分割後にＣｂ／ＣｒのＣＵが２×２にならないと判定された場合、処理は、ステップＳ６６７に進む。
【０４０８】
ステップＳ６６７において、符号化部１３は、ＴＴでＣＵのＲＤコストの計算処理を行う。このＴＴでのＣＵのＲＤコストの計算処理は、上述した図１６のＴＴのＲＤコストの計算処理と基本的に同じ処理である。ステップＳ６６７によりＴＴでのＣＵのＲＤコストが計算される。
【０４０９】
また、ステップＳ６６５において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２になると判定された場合、処理は、ステップＳ６６８に進む。ステップＳ６６６において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２になると判定された場合も、処理は、ステップＳ６６８に進む。これらの場合、ＲＤコストも算出されず、スピリットフラグも送られない。
【０４１０】
ステップＳ６６８において、制御部２１１は、計算されたＲＤコストの中から、最もＲＤコストの小さい分割構造を用いて、符号化部１３にＣＴＵを符号化させる。
【０４１１】
なお、上述した図３７乃至図３９において、ステップＳ６５１乃至Ｓ６５６は、ＹについてのＣＵ分割構造決定処理である。ステップＳ６５７乃至Ｓ６６８は、Ｃｒ／ＣｂについてのＣＵ分割構造決定処理である。
【０４１２】
以上のように、ＳＰＳに、ＣＵの最小サイズを入れて送るようにした。最小サイズのＣＵを復号側で用いないことにより、イントラ予測における遅延を少なくすることができる。
【０４１３】
その際、ＣＵの分割構造決定処理において、必要のないサイズのＣＵのＲＤコストを求める必要がないので、処理時間を短縮することができる。また、必要のないサイズのＣＵのスピリットフラグ（ＣＵ分割構造情報）を送る必要がないので、符号化効率を向上させることができる。
【０４１４】
（復号装置の一実施の形態の構成例）
図４０は、図３２の符号化装置２１０から伝送される符号化ストリームを復号する、本開示を適用した復号装置の一実施の形態の構成例を示すブロック図である。
【０４１５】
図４０の復号装置４１０は、制御部４１１、受け取り部１１２、抽出部１１３、および復号部１１４により構成される。
【０４１６】
図４０に示す構成のうち、図１８を参照して説明した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０４１７】
復号装置４１０の制御部４１１は、図１８の制御部１１１と同様に構成され、復号装置４１０における中心的な処理装置として動作する。
【０４１８】
制御部４１１は、パラメータセットに含まれる情報を抽出する。制御部４１１は、パラメータセットに含まれる情報に基づいて、復号部１１４を制御する。具体的には、制御部４１１は、図２８のパラメータセットに含まれる情報と、ＳＰＳに新たに設定されたＣＵの最小サイズを指定する情報を、復号部１１４に出力し、ＣＵの分割構造決定処理を行わせる。
【０４１９】
受け取り部１１２は、図３２の符号化装置２１０から伝送されてくる符号化ストリームを受け取り、抽出部１１３に出力する。
【０４２０】
抽出部１１３は、受け取り部１１２から供給される符号化ストリームから、パラメータセットと符号化データを抽出する。抽出部１１３は、パラメータセットを制御部４１１に出力する。抽出部１１３は、符号化データを復号部１１４に出力する。
【０４２１】
復号部１１４は、制御部４１１の指示に従って、抽出部１１３から供給される符号化データをＶＶＣ方式に準ずる方式で復号する。その際、復号部１１４は、制御部４１１の指示に従って、ＣＵの分割構造決定処理を行い、決定された分割構造のＣＵが復号部１１４により用いられる。復号部１１４は、復号後の画像を出力する。
【０４２２】
（復号装置の動作）
図４１は、図４０の復号装置の画像生成処理を説明するフローチャートである。
【０４２３】
図４１のステップＳ７０１において、復号装置４１０の受け取り部１１２は、図３２の符号化装置２１０から伝送されてくる符号化ストリームを受け取り、抽出部１１３に出力する。
【０４２４】
ステップＳ７０２において、抽出部１１３は、受け取り部１１２から供給される符号化ストリームから、符号化データとパラメータセットを抽出する。抽出部１１３は、符号化データを、復号部１１４に出力する。抽出部１１３は、パラメータセットを制御部４１１に出力する。
【０４２５】
ステップＳ７０３において、制御部４１１は、ＳＰＳからＣＵの最小サイズを指定する情報である「min_cu_size_idc_intra_slice_chroma」および「min_cu_size_idc_inter_slice_choma」を抽出する。
【０４２６】
制御部４１１は、パラメータセットに含まれる情報と、ＣＵの最小サイズを指定する情報とに基づいて、復号部１１４を制御する。
【０４２７】
ステップＳ７０４において、復号部１１４は、制御部４１１の指示に従って、抽出部１１３から供給される符号化データを復号する。この復号処理は、上述した図２１と、ＣＵ分割構造決定処理（Ｓ３３３）を除いて、基本的に同じ処理であるため、その説明を省略する。
【０４２８】
図４２は、図２１のステップＳ３３３のＣＵ分割構造決定処理の例を説明するフローチャートである。
【０４２９】
なお、図４２の説明においては、適宜、図４３に示されるツリーを参照する。
【０４３０】
図４３は、ＣＵ分割構造決定処理に用いるツリーの例を示す図である。
【０４３１】
図４３のツリーには、分岐Ｆ１乃至分岐Ｆ３が示されている。分岐Ｆ１乃至分岐Ｆ３に対応するフラグは、スピリットフラグとしてビットストリームに入れて符号化側から送信されている。
【０４３２】
図４２のステップＳ７１１において、復号部１１４の可逆復号部１３２は、ＣＴＵがＱＴで分割されたか否かを判定する。
【０４３３】
ステップＳ７１１において、ＱＴで分割されたと判定された場合、処理は、ステップＳ７１２に進む。
【０４３４】
ステップＳ７１２において、可逆復号部１３２は、min_cu_size_idc_inter_slice_chorma==２であるなら、分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２にならないか否かを判定する。
【０４３５】
ステップＳ７１２において、分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２にならないと判定された場合、処理は、ステップＳ７１３に進む。
【０４３６】
ステップＳ７１３において、可逆復号部１３２は、min_cu_size_idc_inter_slice_chroma==１であるなら、分割後にＣｂ／ＣｒのＣＵが２×２にならないか否かを判定する。
【０４３７】
ステップＳ７１３において、分割後にＣｂ／ＣｒのＣＵが２×２にならないと判定された場合、処理は、ステップＳ７１４に進む。
【０４３８】
ステップＳ７１４において、可逆復号部１３２は、スピリットフラグのうち、図４３に示される分岐Ｆ１のフラグを読み出す。
【０４３９】
ステップＳ７１３において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２になると判定された場合、処理は、ステップＳ７１５に進む。ステップＳ７１４において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２になると判定された場合も、処理は、ステップＳ７１５に進む。
【０４４０】
ステップＳ７１５において、可逆復号部１３２は、分岐Ｆ１のフラグを読み出さず、０と解釈する。その後、処理は、ステップＳ７１６に進む。
【０４４１】
また、ステップＳ７１１において、ＱＴで分割されていないと判定された場合、処理は、ステップＳ７１６に進む。
【０４４２】
ステップＳ７１６において、可逆復号部１３２は、分岐Ｆ１のフラグが０であるか否かを判定する。
【０４４３】
ステップＳ７１６において、分岐Ｆ１のフラグが０であると判定された場合、処理は、ステップＳ７１７に進む。
【０４４４】
ステップＳ７１７において、可逆復号部１３２は、min_cu_size_idc_inter_slice_chorma==２であるなら、分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２にならないか否かを判定する。
【０４４５】
ステップＳ７１７において、分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２にならないと判定された場合、処理は、ステップＳ７１８に進む。
【０４４６】
ステップＳ７１８において、可逆復号部１３２は、min_cu_size_idc_intra_slice_chroma==１であるなら、分割後にＣｂ／ＣｒのＣＵが２×２にならないか否かを判定する。
【０４４７】
ステップＳ７１８において、分割後にＣｂ／ＣｒのＣＵが２×２にならないと判定された場合、処理は、ステップＳ７１９に進む。
【０４４８】
ステップＳ７１９において、可逆復号部１３２は、スピリットフラグのうち、図４３に示される分岐Ｆ２のフラグを読み出す。その後、処理は、ステップＳ７２１に進む。
【０４４９】
また、ステップＳ７１７において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２，２×４，または４×２になると判定された場合、処理は、ステップＳ７２０に進む。ステップＳ７１８において、ＱＴ分割後にＣｂ／ＣｒのＣＵが２×２になると判定された場合も、処理は、ステップＳ７２０に進む。
【０４５０】
ステップＳ７２０において、可逆復号部１３２は、分岐Ｆ２のフラグを読み出さず、０と解釈する。その後、処理は、ステップＳ７２１に進む。
【０４５１】
ステップＳ７２１において、可逆復号部１３２は、分岐Ｆ２のフラグが１であるか否かを判定する。
【０４５２】
ステップＳ７２１において、分岐Ｆ２のフラグが１であると判定された場合、処理は、ステップＳ７２２に進む。
【０４５３】
ステップＳ７２２において、可逆復号部１３２は、ＣＵ分割構造情報のうち、図４３に示される分岐Ｆ３のフラグを読み出し、ＣＵ分割構造決定処理は、終了される。
【０４５４】
ステップＳ７１６において、分岐Ｆ１のフラグが１であると判定された場合、または、ステップＳ７２１において、分岐Ｆ２のフラグが０であると判定された場合、ＣＵ分割構造決定処理は、終了される。
【０４５５】
以上のように、ＳＰＳに、ＣＵの最小サイズを入れて送り、最小サイズのＣＵを復号側で用いないようにしたので、イントラ予測における遅延を少なくすることができる。
【０４５６】
なお、図４２においては、Ｉスライスの場合を説明したが、Ｐ／Ｂスライスの場合の処理は、スライスの種類が異なるだけであり、Ｉスライスの場合と同様な処理が行われるため、その説明は省略する。
【０４５７】
また、上記説明においては、ＳＰＳに、ＣＵの最小サイズを入れるようにしたが、ＰＰＳなど、他のシンタックスにＣＵの最小サイズを入れるようにしてもよい。
【０４５８】
＜４．第４の実施の形態（最小ＣＵを規格で決定）＞
第４の実施の形態においては、ＣＵの最小サイズをハイレベルシンタックスに追加せず、規格で、Ｃｂ／ＣｒのＣＵにおいて、２×２が使えないようにする。
【０４５９】
すなわち、min_cu_size_idc_intra_slice_chroma==２となるように規格で決定し、規格に沿ってデコードが行われる。
【０４６０】
なお、ＣＵの最小サイズを決定する方法に限らず、規格の標準として、Ｃｂ／Ｃｒの２×２が使えない仕組みであれば、他の仕組みであってもよい。
【０４６１】
以上のように規格でＣＵの最小サイズを決定することにより、Ｃｂ／Ｃｒの２×２の場合に起こり得る大きな遅延を回避することができる。
【０４６２】
以上においては、符号化方式としてＶＶＣに準じた方式を用いるようにした。ただし、本技術はこれに限らず、その他の符号化方式／復号方式を適用することができる。
【０４６３】
なお、第３の実施の形態においては、２×２だけではなく、４×２または２×４を除外する例も説明したが、第１、第２、および第４の実施の形態においても、２×２だけを除外するのではなく、４×２または２×４も除外するようにすることができる。
【０４６４】
また、上記説明においては、４：２：０のクロマフォーマットの場合を説明したが、他のクロマフォーマットにも適用することができる。
【０４６５】
なお、本開示は、例えば、ＶＶＣ方式等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本開示は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
【０４６６】
＜５．第５の実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０４６７】
図４４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０４６８】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０４６９】
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、およびドライブ５１０が接続されている。
【０４７０】
入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０４７１】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５およびバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０４７２】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０４７３】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
【０４７４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０４７５】
なお、本明細書では、各種情報が、符号化データに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化データに多重化されることなく、符号化データと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライスやブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、符号化データとは別の伝送路上で伝送されてもよい。また、情報は、符号化データとは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と符号化データとは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０４７６】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０４７７】
本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０４７８】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０４７９】
なお、本開示は、符号化ストリームを、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して受信する際、または光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置や復号装置に適用することができる。
【０４８０】
また、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０４８１】
さらに、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４８２】
また、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４８３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０４８４】
なお、本技術は以下のような構成も取ることができる。
（１）輝度のＣＵ分割構造と、クロマのＣＵ分割構造とをそれぞれ決定する際に、前記クロマについては、縦および横の少なくとも一方の大きさが最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定する制御部と、
前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造で画像を符号化し、符号化ストリームを生成する符号化部と
を備える画像処理装置。
（２）前記縦および横の少なくとも一方の大きさが最小のＣＵ分割構造は、２×２、４×２、または２×４である
前記（１）に記載の画像処理装置。
（３）前記輝度のＣＵ分割構造に対するコストと前記クロマのＣＵ分割構造に対するコストをそれぞれ計算するコスト計算部をさらに備え、
前記制御部は、前記輝度については、前記輝度のＣＵ分割構造に対するコストに基づいて、前記輝度のＣＵ分割構造を決定し、
前記クロマについては、前記最小のＣＵ分割構造に対しては前記クロマのＣＵ分割構造コストの計算を禁止し、前記クロマのＣＵ分割構造コストに基づいて、前記クロマのＣＵ分割構造を決定する
前記（１）または（２）に記載の画像処理装置。
（４）前記最小のＣＵ分割構造が記述されたシンタックスを設定する設定部をさらに備え、
前記制御部は、前記クロマについては、前記シンタックスに基づいて、前記最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定する
前記（１）乃至（３）のいずれかに記載の画像符号化装置。
（５）前記シンタックスと前記符号化ストリームとを伝送する伝送部をさらに備える
前記（４）に記載の画像処理装置。
（６）前記シンタックスは、ＳＰＳである
前記（４）のいずれかに記載の画像処理装置。
（７）前記最小のＣＵ分割構造は、規格によって定義されている
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（８）画像処理装置が、
輝度のＣＵ分割構造と、クロマのＣＵ分割構造とをそれぞれ決定する際に、前記クロマについては、縦および横の少なくとも一方の大きさが最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定し、
前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造で画像を符号化し、符号化ストリームを生成する
画像処理方法。
（９）輝度のＣＵ分割構造と、クロマのＣＵ分割構造とをそれぞれ決定する際に、前記クロマについては、縦および横の少なくとも一方の大きさが最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定する制御部と、
前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造で画像を符号化し、符号化ストリームを生成する符号化部と
して、コンピュータを機能させるプログラム。
（１０）輝度のＣＵ分割構造と、クロマのＣＵ分割構造とをそれぞれ決定する際に、前記クロマについては、縦および横の少なくとも一方の大きさが最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定し、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造で画像を符号化して生成された符号化ストリームに基づいて、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造を決定する制御部と、
前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造に基づいて、前記符号化ストリームを復号し、前記画像を生成する復号部と
を備える画像処理装置。
（１１）画像処理装置が、
輝度のＣＵ分割構造と、クロマのＣＵ分割構造とをそれぞれ決定する際に、前記クロマについては、縦および横の少なくとも一方の大きさが最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定し、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造で画像を符号化して生成された符号化ストリームに基づいて、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造を決定し、
前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造に基づいて、前記符号化ストリームを復号し、前記画像を生成する
画像処理方法。
（１２）輝度のＣＵ分割構造と、クロマのＣＵ分割構造とをそれぞれ決定する際に、前記クロマについては、縦および横の少なくとも一方の大きさが最小のＣＵ分割構造を除外して、前記クロマのＣＵ分割構造を決定し、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造で画像を符号化して生成された符号化ストリームに基づいて、前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造を決定する制御部と、
前記輝度のＣＵ分割構造および前記クロマのＣＵ分割構造に基づいて、前記符号化ストリームを復号し、前記画像を生成する復号部と
して、コンピュータを機能させるプログラム。
【符号の説明】
【０４８５】
１０  符号化装置，  １１制御部，  １２  設定部，  １３  符号化部，  １４  伝送部，  ４６  イントラ予測部,  ４７  動き予測・補償部，  ３６  符号化部，１１０  復号装置，  １１１  制御部，  １１２  受け取り部，  １１３  抽出部，  １１４  復号部，  １３２  可逆復号部，  １４３  イントラ予測部，  １４４  動き補償部，  ２１０  符号化装置，  ２１１  制御部，  ２１２  設定部，  ４１０  復号装置，  ４１１  制御部
【図１】
2020071113.tif 000004
【図２】
2020071113.tif 000005
【図３】
2020071113.tif 000006
【図４】
2020071113.tif 000007
【図５】
2020071113.tif 000008
【図６】
2020071113.tif 000009
【図７】
2020071113.tif 000010
【図８】
2020071113.tif 000011
【図９】
2020071113.tif 000012
【図１０】
2020071113.tif 000013
【図１１】
2020071113.tif 000014
【図１２】
2020071113.tif 000015
【図１３】
2020071113.tif 000016
【図１４】
2020071113.tif 000017
【図１５】
2020071113.tif 000018
【図１６】
2020071113.tif 000019
【図１７】
2020071113.tif 000020
【図１８】
2020071113.tif 000021
【図１９】
2020071113.tif 000022
【図２０】
2020071113.tif 000023
【図２１】
2020071113.tif 000024
【図２２】
2020071113.tif 000025
【図２３】
2020071113.tif 000026
【図２４】
2020071113.tif 000027
【図２５】
2020071113.tif 000028
【図２６】
2020071113.tif 000029
【図２７】
2020071113.tif 000030
【図２８】
2020071113.tif 000031
【図２９】
2020071113.tif 000032
【図３０】
2020071113.tif 000033
【図３１】
2020071113.tif 000034
【図３２】
2020071113.tif 000035
【図３３】
2020071113.tif 000036
【図３４】
2020071113.tif 000037
【図３５】
2020071113.tif 000038
【図３６】
2020071113.tif 000039
【図３７】
2020071113.tif 000040
【図３８】
2020071113.tif 000041
【図３９】
2020071113.tif 000042
【図４０】
2020071113.tif 000043
【図４１】
2020071113.tif 000044
【図４２】
2020071113.tif 000045
【図４３】
2020071113.tif 000046
【図４４】
2020071113.tif 000047
【国際調査報告】
2020071113.tif 000048
2020071113.tif 000049
2020071113.tif 000050
2020071113.tif 000051