(57)【要約】  符号量を低減する画像符号化技術を提供するために、複数の解像度のレイヤを一つのストリームに符号化する符号化装置において、各レイヤの符号化単位、予測単位、周波数変換単位に関して、それぞれ一定のルールに従って、下位レイヤの符号化単位、予測単位、周波数変換単位を参照して該レイヤの各単位を決定し、定められたルールをフラグによって切り替えることにより、適応的で効率的な動画像の圧縮を行う。
2013145021.tif 000002
【特許請求の範囲】
【請求項１】
画像を符号化した符号化ストリームを復号する画像復号方法であって、
該符号化ストリームの一部を取り出すことによって複数の解像度の画像を復号可能であり、
各レイヤにおいて符号化する単位CUの分割方法を復号するステップと、
予測単位PUの分割方法を復号するステップと、
周波数変換単位TUの分割方法を復号するステップを備え、
前記あるレイヤ１のCUを復号するステップは、別のレイヤ０のCU分割方法を参照し、一定のルールに従ってCU分割方法を計算し、
前記あるレイヤ１のPUを復号するステップは、同じレイヤ１のCU分割方法と、別のレイヤ０のPU分割方法を参照し、一定のルールに従ってPU分割方法を計算し、
前記あるレイヤ１のTUを復号するステップは、同じレイヤ１のCU分割方法と、別のレイヤ０のTU分割方法を参照し、一定のルールに従ってTU分割方法を計算し、
前記一定のルールをフラグによって判別することを特徴とする画像復号方法。
【請求項２】
請求項１において、
ベースレイヤの復号化方式は、復号化単位が固定サイズのマクロブロックを用いて復号化され、
拡張レイヤの復号化方式は、複数のサイズを選択できる符号化単位であるCUを用いて復号化されていることを特徴とする画像復号方法。
【請求項３】
請求項１において、
前記一定のルールとは、
下位レイヤのCU,TU,PUのサイズは、解像度比に従って対応する上位レイヤの位置にあるCU,TU,PUを解像度比に従って拡大したサイズを設定し、CU,TU,PUの最大サイズを超える場所については該最大サイズに設定するというルールであることを特徴とする画像復号方法。
【請求項４】
請求項１において、前記一定のルールとは、
下位レイヤのCU,TU,PUのサイズは、解像度比に従って対応する上位レイヤの位置にあるCU,TU,PUを参照し、上位レイヤのCU,TU,PUのサイズと同じサイズに設定するというルールであることを特徴とする画像復号方法。
【請求項５】
請求項１において、
レイヤ毎にCU,PU,TUの使用可能なサイズ、使用可能な符号化モードを予め指定しておき、これらをフラグによって切り替えることを特徴とする画像復号方法。
【請求項６】
画像を符号化した符号化ストリームを復号する画像復号装置であって、
該符号化ストリームの一部を取り出すことによって複数の解像度の画像を復号可能であり、
各レイヤにおいて符号化単位CUの分割方法を復号するCU復号部と、予測単位PUの分割方法を復号するPU復号部と、周波数変換単位TUの分割方法を復号するTU復号部とを備え、
前記あるレイヤ１のCU復号部は、別のレイヤ０のCU復号部の出力するCU分割方法を参照し、一定のルールに従ってCU分割方法を計算し、
前記あるレイヤ１のPU復号部は、同じレイヤ１のCU分割方法と、別のレイヤ０のPU復号部の出力するPU分割方法を参照し、一定のルールに従ってPU分割方法を計算し、
前記あるレイヤ１のTU復号部は、同じレイヤ１のCU分割方法と、別のレイヤ０のTU復号部の出力するTU分割方法を参照し、一定のルールに従ってTU分割方法を計算し、
前記一定のルールをフラグによって判別することを特徴とする画像復号装置。
【請求項７】
請求項６において、
ベースレイヤの符号化方式は、符号化単位が固定サイズのマクロブロックを用いて符号化され、
拡張レイヤの符号化方式は、符号化単位のサイズが異なるCUを用いて符号化されていることを特徴とする画像復号装置。
【請求項８】
請求項６において、
前記一定のルールとは、
下位レイヤのCU,TU,PUのサイズは、解像度比に従って対応する上位レイヤの位置にあるCU,TU,PUを解像度比に従って拡大したサイズを設定し、CU,TU,PUの最大サイズを超える場所については該最大サイズに設定するというルールであることを特徴とする画像復号装置。
【請求項９】
請求項６において、
前記一定のルールとは、
下位レイヤのCU,TU,PUのサイズは、解像度比に従って対応する上位レイヤの位置にあるCU,TU,PUを参照し、上位レイヤのCU,TU,PUのサイズと同じサイズに設定するというルールであることを特徴とする画像復号装置。
【請求項１０】
請求項６において、
レイヤ毎にCU,PU,TUの使用可能なサイズ、使用可能な符号化モードを予め指定しておき、これらをフラグによって切り替えることを特徴とする画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像を符号化する画像符号化方法、画像符号化装置、符号化画像データを復号する画像復号方法、画像復号装置及び符号化画像データに関する。
【背景技術】
【０００２】
画像符号化規格にH.264/AVC(Advanced Video Coding)がある。ISO/IEC MPEGとITU-T VCEGはこれを超える圧縮率を実現するため、JCT-VC(Joint Collaborative Team on Video Coding)を設立し、HEVC(High Efficiency Video Coding)と呼ばれる次世代方式の検討を始めている。【０００３】
符号化された画像を復号、再生する端末には、高い解像度で再生できるもの、低い解像度でのみ再生できるものなど複数種類のものが存在するため、１本の符号化ストリームから部分的にデータを取り出すことによって必要に応じて複数の解像度を再生可能なスケーラビリティ拡張符号化方式が必要とされている。H.264/AVCのスケーラビリティ拡張としてSVC(Scalable Video Coding)が規格化されている。【０００４】
H.264/AVCやSVC、MPEG-2を含むこれまでの画像符号化規格では、符号化を行う単位であるマクロブロックは固定サイズであった。【０００５】
現在策定中のHEVCでは、H264AVCまでは固定化されていたブロックサイズを可変にすることが検討されている。具体的には、符号化を行う単位CU(Coding Unit)を一辺の画素数が２のべき乗となるようにブロックサイズをツリー構造管理し、任意の階層のブロックサイズで符号化・復号化する。（非特許文献１)
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】T. Wiegand, W. Han, B. Bross, J. Ohm and G. Sullivan, p.39〜p.40「7.3.6 Coding unit syntax」, p.63〜p.64「7.4.6 Coding unit semantics」 "Working Draft 3 of High-Efficiency Video Coding", Doc. JCTVC-E603, Joint Collaborative Team on Video Coding (JCT-VC), March 2011.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像符号化方式には、符号化の単位が固定サイズであるものと、画像の位置によってサイズが異なるものとがある。サイズが異なるものを含む符号化方式において、どのようにスケーラビリティ拡張を行うか検討されていない。そのため、効率的な圧縮ができない。【０００８】
また、CUだけでなく、予測単位であるPU (Prediction Unit)、周波数変換単位であるTU (Transform Unit)についても、記述方法が検討されていない。そのため、効率的な圧縮ができないという問題点があった。【０００９】
また、ベースレイヤがH.264/AVCやMPEG-2のような固定サイズのマクロブロックで、拡張レイヤがHEVCのようなサイズが異なるCUである場合についても、記述方法が検討されていない。そのため、効率的な圧縮ができないという問題点があった。【００１０】
このように、本発明の目的は、サイズが異なる符号化単位が含まれる符号化方式において、レイヤ間の対応関係を明確にすることにより、スケーラビリティ拡張に対応した高い符号化効率を持つ画像符号化技術、画像復号技術を提供することにある。
【課題を解決するための手段】
【００１１】
本願は、上記課題を解決するための手段を種々含むものであるが、その一つを挙げると次の通りである。【００１２】
画像を符号化した符号化ストリームを復号する画像復号方法であって、該符号化ストリームの一部を取り出すことによって複数の解像度の画像を復号可能であり、各レイヤにおいて符号化する単位CUの分割方法を復号するステップと、予測単位PUの分割方法を復号するステップと、周波数変換単位TUの分割方法を復号するステップを備え、前記あるレイヤ１のCUを復号するステップは、別のレイヤ０のCU分割方法を参照し、一定のルールに従ってCU分割方法を計算し、前記あるレイヤ１のPUを復号するステップは、同じレイヤ１のCU分割方法と、別のレイヤ０のPU分割方法を参照し、一定のルールに従ってPU分割方法を計算し、前記あるレイヤ１のTUを復号するステップは、同じレイヤ１のCU分割方法と、別のレイヤ０のTU分割方法を参照し、一定のルールに従ってTU分割方法を計算し、前記一定のルールをフラグによって判別することを特徴とする画像復号方法。
【発明の効果】
【００１３】
本発明によれば、スケーラビリティ拡張機能を持った符号化方式の符号化効率を向上することができる。
【図面の簡単な説明】
【００１４】
【図１】実施例１に係る画像符号化装置のブロック図である。
【図２】実施例１に係る画像復号装置のブロック図である。
【図３】実施例１に係る符号化単位の説明図である。
【図４】実施例１に係る符号化単位の説明図である。
【図５】実施例１に係る画像符号化装置で用いられる画像符号化フロー図である。
【図６】実施例１に係る画像符号化装置で用いられる画像符号化フロー図である。
【図７】実施例１に係る画像復号方法のフロー図である。
【図８】実施例１に係るデータ記録媒体の説明図である。
【発明を実施するための形態】
【００１５】
以下、実施例を、図面を参照して説明する。
【００１６】
また、各図面において、同一の符号が付されている構成要素は同一の機能を有することとする。
【００１７】
また、本明細書の各記載及び各図面における「マクロブロック」とは従来の符号化方式における固定サイズの符号化単位を示し、「CU」とは複数のサイズを選択できる符号化単位であるCoding Unitを示す。「PU」とは、複数のサイズを選択できる予測単位であるPrediction Unitを示す。「TU」とは、複数のサイズを選択できる周波数変換単位であるTransform Unitを示す。
【００１８】
また、本明細書の各記載及び各図面における「フラグとともに伝送」という表現は、「フラグに含めて伝送」という意味も含む。
【００１９】
また、本明細書の各記載及び各図面における「符号化モード」という表現は、イントラ予測／インター予測の種別と適用するブロックサイズとの組み合わせを含むものである。
【００２０】
また、本明細書の各記載及び各図面における「予測モード情報」という表現は、分割方法（CU、PU）またはMBであることの一方と、符号化モードを含む情報、さらに、MBの場合マクロブロック内の予測ブロックサイズ含む情報を意味する。
【００２１】
また、本明細書の各記載及び各図面における「変換モード情報」という表現は、分割方法（CU、TU）とMBであることの一方、および符号化モードを含む情報を意味する。
【００２２】
また、本明細書の各記載及び各図面における「ユニット情報」という表現は、分割方法（CU、PU、TU）またはMBであることの一方と、符号化モードを含む情報、さらに、MBの場合マクロブロック内の予測ブロックサイズ含む情報を意味する。
【００２３】
また、本明細書の各記載及び各図面における「スケーラビリティ拡張」という表現は、単独で復号可能な下位レイヤに対して、解像度を拡張する上位レイヤを追加する方式を意味するものとして説明している。但し、下位レイヤに対して、解像度は同じだがSN比を改善する上位レイヤのデータを追加するSNRスケーラビリティ拡張や、フレーム数を増やす上位レイヤを追加するフレームレートスケーラビリティ拡張についても適用可能であり、これらの意味も含んでいる。
【実施例１】
【００２４】
まず、実施例１について図面を参照して説明する。  図１に実施例１に係る画像符号化装置のブロック図を示す。以下では入力画像を３つの異なる解像度で符号化可能にした例を示す。解像度が低い方からレイヤ０、レイヤ１、レイヤ２とし、低い方を下位レイヤ、高い方を上位レイヤとする。最も解像度が低い最下位レイヤであるレイヤ０をベースレイヤと呼ぶ。それ以外を拡張レイヤと呼ぶ。【００２５】
画像符号化装置は、解像度変換部１０１、レイヤ０ユニット情報計算部１０２、レイヤ１ユニット情報計算部１０３、レイヤ２ユニット情報計算部１０４、レイヤ０CU計算部１０５、レイヤ０PU計算部１０６、レイヤ０TU計算部１０７、レイヤ１CU計算部１０８、レイヤ１PU計算部１０９、レイヤ１TU計算部１１０、レイヤ２CU計算部１１１、レイヤ２PU計算部１１２、レイヤ２TU計算部１１３、レイヤ０イントラ・インター予測部１１４、レイヤ０変換・量子化部１１５、レイヤ０符号化処理部１１６、レイヤ１イントラ・インター予測部１１７、レイヤ１変換・量子化部１１８、レイヤ１符号化処理部１１９、レイヤ２イントラ・インター予測部１２０、レイヤ２変換・量子化部１２１、レイヤ２符号化処理部１２２、多重化部１２３、データ出力部１２４を備えている。【００２６】
以下に画像符号化装置の各構成要素の動作を詳細に説明する。【００２７】
なお、画像符号化装置の各構成要素の動作は、例えば、以下の記載の通り各構成要素の自律的な動作としても良い。また、コンピュータの制御部がコンピュータの記憶部が記憶するソフトウェアと協働することにより実現しても構わない。【００２８】
まず、解像度変換部１０１は入力画像を複数の解像度に変換し、それぞれ別レイヤとして各レイヤのユニット情報計算部に送る。例えば３つの解像度にて符号化を行う場合、入力画像と同じ解像度をレイヤ２とし、縦横半分の解像度に変換したものをレイヤ１とし、縦横それぞれ４分の１の解像度に変換したものをレイヤ０とし、レイヤ０をベースレイヤとすればよい。解像度変換には一般的なサンプリングフィルタを用いればよい。【００２９】
次に各レイヤにおける符号化方法について説明する。【００３０】
まず、ベースレイヤであるレイヤ０の符号化を行う。ベースレイヤの符号化方式は、HEVCのような複数のサイズを選択できるCUを用いて符号化する場合と、H.264/AVCやMPEG-2のような符号化単位が固定サイズのマクロブロックを用いて符号化する場合とを含む。以下、CUを用いる場合を「CUケース」、マクロブロックを用いる場合を「MBケース」とする。【００３１】
レイヤ０ユニット情報計算部１０２は、「CUケース」か「MBケース」か決定し、レイヤ０の画像と「ユニット情報」を出力する。【００３２】
「ユニット情報」は、「CUケース」の場合、CUの分割方法、PUの分割方法、TUの分割方法の３つの分割方法と符号化モードであり、「MBケース」の場合、マクロブロック内の予測ブロックサイズと符号化モードである。【００３３】
レイヤ０CU計算部１０５は、レイヤ０のCUの分割方法を決定する。CUでは、既存の方式と同様に画像全体の符号化効率が高くなるように最適化を行い、分割方法を決定する。MBでは、固定サイズで分割する。【００３４】
レイヤ０PU計算部１０６は、レイヤ０のPUの分割方法を決定する。CUでは、PUの分割はCUの分割結果を参照して行われる。CUでは、画像全体の符号化効率が高くなるように最適化を行い、分割方法と予測モードとを決定する。MBケースでも同様に、画像全体の符号化効率が高くなるように最適化を行い、マクロブロック内の予測ブロックサイズと予測モードを決定する。【００３５】
レイヤ０TU計算部１０７は、レイヤ０のTUの分割方法を決定する。TUの分割はCUの分割結果を参照して行われる。CUでは、画像全体の符号化効率が高くなるように最適化を行い、分割方法、変換方式を決定する。MBケースでは固定サイズの変換方式を用いる。【００３６】
このようにして、レイヤ０ユニット情報計算部１０２は、レイヤ０の解像度の画像と、ユニット情報をレイヤ０イントラ・インター予測部１１４に送るとともに、レイヤ１の同計算部へ決定結果を送る。この際、ユニット情報はあらかじめ定めておいたフラグに変換しておく。【００３７】
続いて、レイヤ０のユニット情報に基づいて、レイヤ０の解像度の画像の符号化を行う。【００３８】
レイヤ０イントラ・インター予測部１１４では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測またはインター予測を行う。これらの予測モードは既存の手法を用いる。予測モード情報がレイヤ０符号化処理部１１６に送られ、予測後の残差成分とユニット情報におけるCU分割方法およびTU分割方法がレイヤ０変換・量子化部１１５に送られる。【００３９】
レイヤ０変換・量子化部１１５では、ユニット情報におけるCU分割方法、TU分割方法に従って周波数変換と量子化が行われる。これらの処理方法は既存の手法を用いる。量子化後の係数情報がレイヤ０符号化処理部１１６に送られる。【００４０】
レイヤ０符号化処理部１１６は、予測モード情報と係数情報のエントロピー符号化を行い、符号化データを多重化部１２３に出力する。【００４１】
また、必要に応じて逆量子化、逆周波数変換を行い、参照用画像データを復元してレイヤ０イントラ・インター予測部１１４に送る。これらの処理方法は既存の手法を用いる。【００４２】
レイヤ０の符号化に続いて、一つ上位の解像度を持つレイヤ１の符号化を行う。【００４３】
レイヤ１ユニット情報計算部１０３は、レイヤ１のCUの分割方法、PUの分割方法、TUの分割方法の３つの分割方法と符号化モードを決定する。レイヤ１以上の拡張レイヤでは、HEVCのような符号化単位のサイズが異なるCUを用いて符号化を行う。【００４４】
レイヤ１CU計算部１０８は、レイヤ１のCUの分割方法を決定する。この際一つ下位のレイヤであるレイヤ０のCU計算部１０５からCU分割方法を参照し、一定のルールに従ってCU分割方法を決定する。レイヤ０とは独立にCU分割を行ってもよい。その場合、基本的にはルールに従い、例外的にフラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法は画像全体の符号化効率が高くなるように最適化を行って決定される。下位レイヤを参照した時のCU分割方法のルールについては後述する。【００４５】
レイヤ１PU計算部１０９は、レイヤ１のPUの分割方法と予測モードを決定する。PUの分割はレイヤ１のCUの分割結果と、レイヤ０のPUの分割結果を参照して行われる。ただし、レイヤ１のCUの分割結果とレイヤ０のPU分割方法の一方のみを参照する方法でも、これらの結果から独立したルールに従って分割方法を決定してもよい。基本的にはルールに従い、フラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法、予測モードは画像全体の符号化効率が高くなるように最適化を行って決定される。分割方法のルールについては後述する。【００４６】
レイヤ１TU計算部１１０は、レイヤ１のTUの分割方法、変換方法を決定する。TUの分割はレイヤ１のCUの分割結果と、レイヤ０のTUの分割結果を参照して行われる。ただし、レイヤ１のCUの分割結果とレイヤ０のTU分割方法の一方のみを参照する方法でも、これらの結果から独立したルールに従って分割方法を決定してもよい。その場合、基本的にはルールに従い、フラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法、変換方法は画像全体の符号化効率が高くなるように最適化を行って決定される。分割方法のルールについては後述する。【００４７】
このようにして、レイヤ１ユニット情報計算部１０３は、レイヤ１の解像度の画像と、ユニット情報をレイヤ１イントラ・インター予測部１１７に送るとともに、レイヤ２の同計算部へ決定結果を送る。この際、ユニット情報はあらかじめ定めておいたフラグに変換しておく。【００４８】
続いて、レイヤ１のユニット情報に基づいて、レイヤ１の符号化を行う。【００４９】
レイヤ１イントラ・インター予測部１１７では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測またはインター予測を行う。この時、レイヤ間予測により、下位レイヤであるレイヤ０の復号画像や、解像度変換によって調整した時に同じ位置になる箇所の予測モードも参照する。これらの予測方法については既存の手法を用いる。予測モード情報がレイヤ１符号化処理部１１９に送られ、予測後の残差成分とユニット情報におけるCU分割方法およびTU分割方法がレイヤ１変換・量子化部１１８に送られる。【００５０】
レイヤ１変換・量子化部１１８では、ユニット情報におけるCU分割方法、TU分割方法に従って周波数変換と量子化が行われる。これらの処理方法は既存の手法を用いる。量子化後の係数情報がレイヤ１符号化処理部１１９に送られる。【００５１】
レイヤ１符号化処理部１１９は、予測モード情報と係数情報のエントロピー符号化を行い、符号化データを多重化部１２３に出力する。【００５２】
また、必要に応じて逆量子化、逆周波数変換を行い、参照用画像データを復元してレイヤ１イントラ・インター予測部１１７に送る。これらの処理方法は既存の手法を用いる。【００５３】
レイヤ１の符号化に続いて、一つ上位の解像度を持つレイヤ２の符号化を行う。【００５４】
レイヤ２ユニット情報計算部１０４は、レイヤ２のCUの分割方法、PUの分割方法、TUの分割方法の３つの分割方法符号化モードの決定を行う。レイヤ１以上の拡張レイヤでは、HEVCのような符号化単位のサイズが異なるCUを用いて符号化を行う。【００５５】
レイヤ２CU計算部１１１は、レイヤ２のCUの分割方法を決定する。この際一つ下位のレイヤであるレイヤ１のCU計算部１０８からCU分割方法を参照し、一定のルールに従ってCU分割方法を決定する。レイヤ１とは独立にCU分割を行ってもよい。その場合、基本的にはルールに従い、例外的にフラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法は画像全体の符号化効率が高くなるように最適化を行って決定される。下位レイヤを参照した時のCU分割方法のルールについては後述する。【００５６】
レイヤ２PU計算部１１２は、レイヤ２のPUの分割方法と予測モードを決定する。PUの分割はレイヤ２のCUの分割結果と、レイヤ１のPUの分割結果を参照して行われる。ただし、レイヤ１のCUの分割結果とレイヤ０のPU分割方法の一方のみを参照する方法でも、これらの結果から独立したルールに従って分割方法を決定してもよい。その場合、基本的にはルールに従い、フラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法、予測モードは画像全体の符号化効率が高くなるように最適化を行って決定される。分割方法のルールについては後述する。【００５７】
レイヤ２TU計算部１１３は、レイヤ２のTUの分割方法、変換方法を決定する。TUの分割はレイヤ２のCUの分割結果と、レイヤ１のTUの分割結果を参照して行われる。ただし、レイヤ１のCUの分割結果とレイヤ０のTU分割方法の一方のみを参照する方法でも、これらの結果から独立したルールに従って分割方法を決定してもよい。基本的にはルールに従い、フラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法、変換方法は画像全体の符号化効率が高くなるように最適化を行って決定される。分割方法のルールについては後述する。【００５８】
このようにして、レイヤ２ユニット情報計算部１１１は、レイヤ２の解像度の画像と、ユニット情報をレイヤ２イントラ・インター予測部１２０に送る。この際、ユニット情報はあらかじめ定めておいたフラグに変換しておく。【００５９】
続いてレイヤ２のユニット情報に基づいて、レイヤ２の符号化を行う。【００６０】
レイヤ２イントラ・インター予測部１２０では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測またはインター予測を行う。この時、レイヤ間予測により、下位レイヤであるレイヤ１の復号画像や、解像度変換によって調整した時に同じ位置になる箇所の予測モードも参照する。これらの予測方法については既存の手法を用いれば良い。予測モード情報がレイヤ２符号化処理部１２２に送られ、予測後の残差成分とユニット情報におけるCU分割方法およびTU分割方法がレイヤ２変換・量子化部１２１に送られる。【００６１】
レイヤ２変換・量子化部１２１では、ユニット情報におけるCU分割方法、TU分割方法に従って周波数変換と量子化が行われる。これらの処理方法は既存の手法を用いる。量子化後の係数情報がレイヤ２符号化処理部１２２に送られる。【００６２】
レイヤ２符号化処理部１２２は、予測モード情報と係数情報のエントロピー符号化を行い、符号化データを多重化部１２３に出力する。また、必要に応じて逆量子化、逆周波数変換を行い、参照用画像データを復元してレイヤ２イントラ・インター予測部１２０に送る。これらの処理方法は既存の手法を用いる。【００６３】
多重化部１２３は、符号化されたレイヤ０、レイヤ１、レイヤ２のデータを一つのストリームに多重化する。データのパケット化の方法や、インデックス、フラグの設定方法、多重化方法については既存の手法を用いれば良い。最後にデータ出力部１２４が多重化されたストリームデータを出力する。【００６４】
続いて図３を用いて、下位レイヤのCU,PU,TUの分割方法から、上位レイヤのCU,PU,TUの分割方法を算出するルールについて説明する。以下CUを例に説明する。【００６５】
ベースレイヤのCUが３０１のように分割されているとする。分割方法は四分木などによってツリー状に管理、記録されているものとする。ここで、解像度が縦横それぞれ２倍の拡張レイヤの分割方法を記述する時、３０２のような分割方法のルールを定め、これをフラグ等によって指定すれば良い。３０２の分割方法は、ベースレイヤのCUを解像度比に従って拡大し、CUの最大サイズを超えてしまう場所については最大サイズとするというものである。これによって別途CUの分割情報を伝送することなく、ベースレイヤの分割方法に従った拡張レイヤの分割が可能となる。分割したCUの情報は四分木などによってツリー状に管理すればよい。【００６６】
次に別の例として、拡張レイヤが３０３のように分割されるルールについて説明する。３０３の分割方法は、拡張レイヤの各位置において、解像度比に従ってベースレイヤのCUを参照し、ベースレイヤと同じCUサイズを用いるものである。従って、拡張レイヤのCUの数はベースレイヤよりも多くなる。この手法によっても同様に、別途CUの分割情報を伝送することなく、ベースレイヤの分割方法に従った拡張レイヤの分割が可能となる。分割したCUの情報は四分木などによってツリー状に管理すればよい。【００６７】
次に図４を用いて、ベースレイヤがH.264/AVCやMPEG-2のような固定サイズのマクロブロックと予測モードによって符号化されており、拡張レイヤがHEVCのように複数のサイズを選択できる「CU」と「PU」を用いている場合に、拡張レイヤの分割方法を算出するルールについて説明する。【００６８】
ベースレイヤは４０１のように固定サイズのマクロブロックによって符号化され、予測の単位は各マクロブロックの予測モードによって規定されているとする。ここで解像度が縦横それぞれ２倍の拡張レイヤの分割方法を記述する時、４０２のような分割方法のルールを定め、これをフラグ等によって指定すれば良い。４０２の分割方法は、ベースレイヤのマクロブロックを解像度比に従って拡大しCUとするものである。CUの最大サイズを超えてしまう場所については最大サイズに設定すればよい。またPUについては、予測モードによって指定されるサイズを解像度比に従って拡大しPUとすればよい。これによって別途CUやPUの分割情報を伝送することなく、ベースレイヤの分割方法に従った拡張レイヤの分割が可能となる。分割したCUの情報は四分木などによってツリー状に管理すればよい。【００６９】
次に別の例として、拡張レイヤが４０３のように分割されるルールについて説明する。４０３の分割方法は、拡張レイヤの各位置において、解像度比に従ってベースレイヤのマクロブロックを参照し、マクロブロックと同じCUサイズを用いるものである。PUについては、ベースレイヤの予測モードで指定されるサイズと同じサイズを用いてもよいし、拡張レイヤのCUサイズに合わせてもよい。この手法によっても同様に、別途CUやPUの分割情報を伝送することなく、ベースレイヤの分割方法に従った拡張レイヤの分割が可能となる。分割したCUの情報は四分木などによってツリー状に管理すればよい。【００７０】
拡張レイヤからベースレイヤのユニットを参照する場合、解像度比に従って同じ位置にあるユニットの情報を参照すれば良い。上記ではCUを例に説明したが、PUやTUでも同様のルール適用が可能である。また上記の例では分割したユニットは全て正方形となっているが、PU_MERGE等の方法によりユニット毎に周辺のユニットとマージすることによって長方形など正方形以外の分割も可能である。上記を基本ルールとして、フラグ等を挿入することにより部分的に別の分割方法を適用してもよい。【００７１】
拡張レイヤとベースレイヤにおいて、CU,PU,TUの使用可能なサイズを予め指定しておき、これらをフラグによって切り替えてもよい。サイズだけでなく、各レイヤにおいて使用可能な符号化モードを指定しておき、フラグによって切り替えてもよい。例えば、解像度の低い画像と解像度の高い画像では、効果の高い符号化モードや、CU,PU,TUのサイズが異なる場合がある。従って、解像度に応じてこれらの数、パターンを予め決めておけば効率的な符号化が可能となる。【００７２】
CU,PU,TUの従うルールはそれぞれ別であってもよいし、同じでもよい。これを統一するか別々にするかをフラグによって判定してもよい。【００７３】
各レイヤにおいて符号化するピクチャタイプ、例えばＩピクチャ、Ｐピクチャ、Ｂピクチャなどによって、適用する分割方法、上記のルールを切り換えてもよい。【００７４】
上記のようなスケーラビリティ拡張は多視点画像の符号化にも応用可能である。この場合、拡張するレイヤが解像度方向と視点（ビュー）方向に２次元的に配置される。従って多視点画像での応用では、解像度方向と視点方向に対してそれぞれ別の分割方法、ルールを適用してもよい。【００７５】
次に、図５を用いて、画像符号化装置で用いられる画像符号化フローについて説明する。【００７６】
まずステップ５０１は、原画像から複数の解像度画像を作成する。作成された画像はそれぞれ別レイヤとして符号化される。例えば３つの解像度にて符号化を行う場合、入力画像と同じ解像度をレイヤ２とし、縦横半分の解像度に変換したものをレイヤ１とし、縦横それぞれ４分の１の解像度に変換したものをレイヤ０とし、レイヤ０をベースレイヤとすればよい。解像度変換には一般的なサンプリングフィルタを用いればよい。【００７７】
続いて各レイヤの符号化を行う。以下では、ベースレイヤも拡張レイヤもHEVCのように複数のサイズを選択できる「CU」を用いて符号化する場合について説明する。【００７８】
ステップ５０２は、処理対象レイヤがベースレイヤであるかどうかを判定する。ベースレイヤであればステップ５０３に進み、それ以外であればステップ５０４に進む。【００７９】
ステップ５０３〜５０５ではベースレイヤの符号化を行う。【００８０】
ステップ５０３ではCU,PU,TUの分割方法を決定する。分割方法は前述の通り、画像全体の符号化効率が高くなるように最適化を行い、決定すれば良い。【００８１】
ステップ５０４ではCU,PU,TUをツリー構造として符号化する。【００８２】
ステップ５０５では予測、変換、量子化、エントロピー符号化、およびローカルデコード処理を行う。これらは既存の符号化手法を用いればよい。【００８３】
ステップ５１１では、符号化されたレイヤのデータのバッファリングを行い、他のレイヤが符号化された後にパケット化処理によって多重化し、多重化された符号化ストリームを出力する。【００８４】
ステップ５１２では、全てのレイヤを処理したかどうかを判定し、全てのレイヤが処理済みであれば終了し、まだ符号化していないレイヤがあればステップ５０２に戻って他のレイヤの処理を行う。【００８５】
ステップ５０６〜５１０では拡張レイヤの符号化を行う。【００８６】
ステップ５０６ではCU,PU,TUの分割方法を下位レイヤのルールに従って決定するか、独立に決定するかを判定する。ルールに従って決定する場合はステップ５０７に進み、独立に決定する場合はステップ５０８に進む。【００８７】
ステップ５０７では下位レイヤを参照してルールに従ってCU,PU,TUの分割方法を決定する。分割方法のルールは前述の通りである。【００８８】
ステップ５０８では下位レイヤとは独立にCU,PU,TUの分割方法を決定する。【００８９】
ステップ５０９ではCU,PU,TUをツリー構造として符号化する。【００９０】
ステップ５１０では予測、変換、量子化、エントロピー符号化、およびローカルデコード処理を行う。これらは既存の符号化手法を用いればよい。【００９１】
拡張レイヤの符号化後も同様にステップ５１１、５１２の処理を行う。【００９２】
上記のプロセスにより複数解像度に適応した画像符号化が行われる。【００９３】
次に、図６を用いて、画像符号化装置で用いられる別の画像符号化フローについて説明する。【００９４】
まず、ステップ６０１は、原画像から複数の解像度画像を作成する。作成された画像はそれぞれ別レイヤとして符号化される。解像度変換手法は前述の通りである。【００９５】
続いて、各レイヤの符号化を行う。以下では、ベースレイヤではH.264/AVCやMPEG-2のような符号化単位が固定サイズのマクロブロックを用いて符号化を行い、拡張レイヤではHEVCのように複数のサイズを選択できる「CU」を用いて符号化を行う場合について説明する。【００９６】
ステップ６０２は、処理対象レイヤがベースレイヤであるかどうかを判定する。ベースレイヤであればステップ６０３に進み、それ以外であればステップ６０４に進む。【００９７】
ステップ６０３、６０４ではベースレイヤの符号化を行う。【００９８】
ステップ６０３では固定サイズの各マクロブロックについて、予測ブロックサイズ、予測モードを判定し、これらの符号化モードを決定する。符号化モードの決定方法は、既存の手法に従い、画像全体の符号化効率が高くなるように最適化し決定すれば良い。【００９９】
ステップ６０４では符号化モードに従って予測、変換、量子化、エントロピー符号化、およびローカルデコード処理を行う。これらは既存の符号化手法を用いればよい。【０１００】
ステップ６１０では、符号化されたレイヤのデータのバッファリングを行い、他のレイヤが符号化された後にパケット化処理によって多重化し、多重化された符号化ストリームを出力する。【０１０１】
ステップ６１１では、全てのレイヤを処理したかどうかを判定し、全てのレイヤが処理済みであれば終了し、まだ符号化していないレイヤがあればステップ６０２に戻って他のレイヤの処理を行う。【０１０２】
ステップ６０５〜６０９では拡張レイヤの符号化を行う。【０１０３】
ステップ６０５ではCU,PU,TUの分割方法を下位レイヤのルールに従って決定するか、独立に決定するかを判定する。ルールに従って決定する場合はステップ６０６に進み、独立に決定する場合はステップ６０７に進む。【０１０４】
ステップ６０６では下位レイヤを参照してルールに従ってCU,PU,TUの分割方法を決定する。分割方法のルールは前述の通りである。【０１０５】
ステップ６０７では下位レイヤとは独立にCU,PU,TUの分割方法を決定する。【０１０６】
ステップ６０８ではCU,PU,TUをツリー構造として符号化する。【０１０７】
ステップ６０９では予測、変換、量子化、エントロピー符号化、およびローカルデコード処理を行う。これらは既存の符号化手法を用いればよい。【０１０８】
拡張レイヤの符号化後も同様にステップ６１０、６１１の処理を行う。【０１０９】
上記のプロセスにより複数解像度に適応した画像符号化が行われる。【０１１０】
以上説明した画像符号化装置及び画像符号化方法によれば、既存の符号化方式よりも効率的な複数の解像度レイヤに対応したCU,PU,TUの記述が可能となり、既存方式よりも圧縮効率の高い画像符号化装置及び画像符号化方法を実現することが可能となる。【０１１１】
また、この画像符号化装置及び画像符号化方法は、これらを用いた記録装置、携帯電話、デジタルカメラ等に適用することが可能である。【０１１２】
以上説明した画像符号化装置及び画像符号化方法によれば、符号化データの符号量を低減し、当該符号化データを復号した場合の復号画像の画質の劣化を防ぐことが可能となる。すなわち、高い圧縮率とより良い画質とを実現することができる。【０１１３】
次に、図２に画像復号装置のブロック図の例を示す。【０１１４】
本実施例の画像復号装置は、ストリーム解析部２０１、レイヤ０ユニット情報復号部２０２、レイヤ１ユニット情報復号部２０３、レイヤ２ユニット情報復号部２０４、レイヤ０CU復号部２０５、レイヤ０PU復号部２０６、レイヤ０TU復号部２０７、レイヤ１CU復号部２０８、レイヤ１PU復号部２０９、レイヤ１TU復号部２１０、レイヤ２CU復号部２１１、レイヤ２PU復号部２１２、レイヤ２TU復号部２１３、レイヤ０エントロピー復号部２１４、レイヤ０イントラ・インター予測部２１５、レイヤ０逆変換・逆量子化部２１６、レイヤ０合成部２１７、レイヤ１エントロピー復号部２１８、レイヤ１イントラ・インター予測部２１９、レイヤ１逆変換・逆量子化部２２０、レイヤ１合成部２２１、レイヤ２エントロピー復号部２２２、レイヤ２イントラ・インター予測部２２３、レイヤ２逆変換・逆量子化部２２４、レイヤ２合成部２２５、画像出力部２２６を備えている。【０１１５】
以下に、画像復号装置の各構成要素の動作を詳細に説明する。なお、画像復号装置の各構成要素の動作は、例えば、以下の記載の通り各構成要素の自律的な動作としても良い。また、例えば、コンピュータの制御部や記憶部が記憶するソフトウェアと協働することにより実現しても構わない。【０１１６】
まず、ストリーム解析部２０１が、入力された符号化ストリームを解析する。ここで、ストリーム解析部２０１は、パケットからのデータ抽出処理や各種ヘッダ、フラグの情報取得処理も行う。【０１１７】
また、このとき、ストリーム解析部２０１に入力される符号化ストリームは、実施例１に係る画像符号化装置及び画像符号化方法により生成された符号化ストリームである。その生成方法は、実施例１に示したとおりであるので説明を省略する。後述するデータ記録媒体から読み出した符号化ストリームであってもよい。その記録方法は後述する。【０１１８】
ストリーム解析部によって各レイヤの符号化データが分離される。まずベースレイヤのデータが復号され、次に順次上位のレイヤが復号される。ここではレイヤ０、レイヤ１、レイヤ２の順に復号される例を示す。【０１１９】
まずベースレイヤであるレイヤ０の復号が行われる。前述のようにベースレイヤの符号化方式は、H.264/AVCやMPEG-2のような符号化単位が固定サイズのマクロブロックを用いて符号化する場合と、HEVCのように複数のサイズを選択できる符号化単位であるCUを用いて符号化する場合を含む。以下、マクロブロックを用いる場合にはCUをマクロブロックと読み替えればよい。またPUをマクロブロック内で決定される予測ブロックと読み替えればよい。【０１２０】
レイヤ０ユニット情報復号部２０２はレイヤ０のCU,TU,PUを復号する。【０１２１】
レイヤ０CU復号部２０５はレイヤ０のCUを復号する。これは前述のCU符号化手順に従って、対応する復号手順によって復号すればよい。【０１２２】
レイヤ０PU復号部２０６はレイヤ０のPUを復号する。これはレイヤ０CU復号部２０５によって復号されたCUの情報を参照しながら、前述のPU符号化手順に対応する復号手順によって復号すればよい。【０１２３】
レイヤ０TU復号部２０７はレイヤ０のTUを復号する。これはレイヤ０CU復号部２０５によって復号されたCUの情報を参照しながら、前述のTU符号化手順に対応する復号手順によって復号すればよい。【０１２４】
続いてレイヤ０のユニット情報に基づいて、レイヤ０の復号を行う。【０１２５】
レイヤ０エントロピー復号部２１４では、エントロピー符号化された符号化モード情報、フラグ情報、残差係数を復号する。【０１２６】
レイヤ０イントラ・インター予測部２１５では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測またはインター予測を行う。これらの予測方法については既存の手法を用いる。【０１２７】
レイヤ０逆変換・逆量子化部２１６では、ユニット情報におけるCU分割方法、TU分割方法に従って逆量子化と逆周波数変換が行われる。これらの処理方法は既存の手法を用いる。【０１２８】
レイヤ０合成部２１７は、レイヤ０イントラ・インター予測部２１５によって作成された予測画素と、レイヤ０逆変換・逆量子化部２１６によって作成された残差成分を合成し、復号画像を作成する。復号された画像は画像出力部２２６に送られる。【０１２９】
次に一つ上のレイヤであるレイヤ１の復号が行われる。【０１３０】
レイヤ１ユニット情報復号部２０３はレイヤ１のCU,TU,PUを復号する。【０１３１】
レイヤ１CU復号部２０８は下位レイヤであるレイヤ０のCUを参照し、レイヤ１のCUを復号する。レイヤ１のCUを復号する際の手順、レイヤ０を参照する際のルールについては前述の通りである。【０１３２】
レイヤ１PU復号部２０９はレイヤ１のPUを復号する。これは下位レイヤであるレイヤ０のPUと、レイヤ１CU復号部２０８によって復号されたCUの情報を参照しながら、前述のPU符号化手順に対応する復号手順によって復号する。【０１３３】
レイヤ１TU復号部２１０はレイヤ１のTUを復号する。これは下位レイヤであるレイヤ０のTUと、レイヤ１CU復号部２０８によって復号されたCUの情報を参照しながら、前述のTU符号化手順に対応する復号手順によって復号する。【０１３４】
続いてレイヤ１のユニット情報に基づいて、レイヤ１の復号を行う。【０１３５】
レイヤ１エントロピー復号部２１８では、エントロピー符号化された符号化モード情報、フラグ情報、残差係数を復号する。【０１３６】
レイヤ１イントラ・インター予測部２１９では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測またはインター予測を行う。これらの予測方法については既存の手法を用いる。【０１３７】
レイヤ１逆変換・逆量子化部２２０では、ユニット情報におけるCU分割方法、TU分割方法に従って逆量子化と逆周波数変換が行われる。これらの処理方法は既存の手法を用いれば良い。【０１３８】
レイヤ１合成部２２１は、レイヤ１イントラ・インター予測部２１９によって作成された予測画素と、レイヤ１逆変換・逆量子化部２２０によって作成された残差成分を合成し、復号画像を作成する。復号された画像は画像出力部２２６に送られる。【０１３９】
次に、さらに一つ上のレイヤであるレイヤ２の復号が行われる。【０１４０】
レイヤ２ユニット情報復号部２０４はレイヤ２のCU,TU,PUを復号する。【０１４１】
レイヤ２CU復号部２１１は下位レイヤであるレイヤ１のCUを参照し、レイヤ２のCUを復号する。レイヤ２のCUを復号する際の手順、レイヤ１を参照する際のルールについては前述の通りである。【０１４２】
レイヤ２PU復号部２１２はレイヤ２のPUを復号する。これは下位レイヤであるレイヤ１のPUと、レイヤ２CU復号部２１１によって復号されたCUの情報を参照しながら、前述のPU符号化手順に対応する復号手順によって復号する。【０１４３】
レイヤ２TU復号部２１３はレイヤ２のTUを復号する。これは下位レイヤであるレイヤ１のTUと、レイヤ２CU復号部２１１によって復号されたCUの情報を参照しながら、前述のTU符号化手順に対応する復号手順によって復号する。【０１４４】
続いてレイヤ２のユニット情報に基づいて、レイヤ２の復号を行う。【０１４５】
レイヤ２エントロピー復号部２２２では、エントロピー符号化された符号化モード情報、フラグ情報、残差係数等を復号する。【０１４６】
レイヤ２イントラ・インター予測部２２３では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測、インター予測を行う。これらの予測方法については既存の手法を用いる。【０１４７】
レイヤ２逆変換・逆量子化部２２４では、ユニット情報におけるCU分割方法、TU分割方法に従って逆量子化と逆周波数変換が行われる。これらの処理方法は既存の手法を用いる。【０１４８】
レイヤ２合成部２２５は、レイヤ２イントラ・インター予測部２２３によって作成された予測画素と、レイヤ２逆変換・逆量子化部２２４によって作成された残差成分を合成し、復号画像を作成する。復号された画像は画像出力部２２６に送られる。【０１４９】
上記のような手法により複数の解像度に対応した画像符号化ストリームから画像が復号される。【０１５０】
次に、図７を用いて、実施例１に係る画像復号装置における画像復号方法の流れについて説明する。【０１５１】
まず、ステップ７０１で、復号対象となる符号化ストリームを取得する。この符号化ストリームには複数の解像度の符号化画像が含まれており、部分的にストリームを取り出すことによって指定された解像度の画像が復号可能であるとする。【０１５２】
ステップ７０２では、復号対象のレイヤを決定する。対象となったレイヤを復号するためには、ベースレイヤから対象レイヤまでの画像を順次復号する。以下、各レイヤを順に復号することを想定して説明する。またベースレイヤについては、H.264/AVCやMPEG-2のような符号化単位が固定サイズのマクロブロックを用いて符号化されている場合と、HEVCのように複数のサイズを選択できる符号化単位であるCUを用いて符号化する場合の両方を含み、拡張レイヤについてはHEVCのような符号化単位のサイズが異なるCUを用いて符号化されている場合について説明する。【０１５３】
ステップ７０３は、下位レイヤのCU,PU,TUまたはマクロブロック、予測ブロックサイズの構造を参照するかどうか判別する。ベースレイヤは最下位レイヤであるので参照しない。下位レイヤを参照する場合はステップ７０４に進み、参照しない場合はステップ７０６に進む。【０１５４】
ステップ７０４では、下位レイヤを参照してCU,PU,TUまたはマクロブロック、予測ブロックサイズの構造を復号する。下位レイヤを参照する場合のルールについては前述の通りである。【０１５５】
ステップ７０５では、下位レイヤの復号画像を参照し、ステップ７０４で復号されたCU,PU,TUまたはマクロブロック、予測ブロックサイズの構造情報を用いて、予測、逆量子化、逆周波数変換を行ってレイヤを復号する。【０１５６】
ステップ７０６では、そのレイヤで独立にCU,PU,TUまたはマクロブロック、予測ブロックサイズの構造を復号する。【０１５７】
ステップ７０７では、下位レイヤの復号画像を参照し、ステップ７０６で復号されたCU,PU,TUまたはマクロブロック、予測ブロックサイズの構造情報を用いて、予測、逆量子化、逆周波数変換を行ってレイヤを復号する。【０１５８】
ステップ７０８ではターゲットのレイヤを復号したかどうかを判定する。ターゲットのレイヤが復号済みであればステップ７０９に進み、そうでなければステップ７０２に進んでさらに上位のレイヤを復号する。【０１５９】
ステップ７０９では、復号された画像を出力する。【０１６０】
上記のような手法により複数の解像度に対応した画像符号化ストリームから画像が復号される。【０１６１】
以上説明した画像復号装置及び画像復号方法によれば、既存の符号化方式よりも効率的な複数の解像度レイヤに対応したCU,PU,TUの記述が可能となり、既存方式よりも圧縮効率の高い画像復号装置及び画像復号方法を実現することが可能となる。【０１６２】
また、この画像復号装置及び画像復号方法は、これらを用いた再生装置、携帯電話、デジタルカメラ等に適用することが可能である。【０１６３】
以上説明した画像復号装置及び画像復号方法によれば、符号量の少ない符号化データをより高画質に復号することが可能となる。【０１６４】
次に、図８に上述した画像符号化装置または画像符号化方法により生成された符号化ストリームが格納されたデータ記録媒体を示す。格納された符号化ストリームは、上述した画像符号化装置または画像符号化方法により生成された符号化ストリームである。その生成方法は、上述したとおりであるので、説明を省略する。ここで、符号化ストリームは、データ記録媒体８０１上にデータ列８０２として記録される。データ列８０２は、所定の文法に従う符号化ストリームとして記録されている。以下ではHEVCの一部を変更したものとして説明する。【０１６５】
まず、HEVCでは、シーケンスパラメータセット８０３、ピクチャパラメータセット８０４、スライス８０５、８０６、８０７からストリームが構成される。以下、１つのスライスに１つの画像（ピクチャ）が格納される場合を示す。【０１６６】
各スライスの内部には、それぞれのCU,PU,TUに関する情報８０８が含まれている。CU,PU,TUに関する情報８０８の内部には、CU,PU,TUごとにそれぞれの予測方法、変換方法を記録する領域があり、これを符号化モードフラグ８０９とする。【０１６７】
以上説明したデータ記録媒体によれば、既存方式よりも圧縮効率が高い符号化ストリームで記録されているので、多くの画像を記録することができる。
【符号の説明】
【０１６８】
１０１…解像度変換部、１０２…レイヤ０ユニット情報計算部、１０３…レイヤ１ユニット情報計算部、１０４…レイヤ２ユニット情報計算部、１０５…レイヤ０CU計算部、１０６…レイヤ０PU計算部、１０７…レイヤ０TU計算部、１０８…レイヤ１CU計算部、１０９…レイヤ１PU計算部、１１０…レイヤ１TU計算部、１１１…レイヤ２CU計算部、１１２…レイヤ２PU計算部、１１３…レイヤ２TU計算部、１１４…レイヤ０イントラ・インター予測部、１１５…レイヤ０変換・量子化部、１１６…レイヤ０符号化処理部、１１７…レイヤ１イントラ・インター予測部、１１８…レイヤ１変換・量子化部、１１９…レイヤ１符号化処理部、１２０…レイヤ２イントラ・インター予測部、１２１…レイヤ２変換・量子化部、１２２…レイヤ２符号化処理部、１２３…多重化部、１２４…データ出力部、２０１…ストリーム解析部、２０２…レイヤ０ユニット情報復号部、２０３…レイヤ１ユニット情報復号部、２０４…レイヤ２ユニット情報復号部、２０５…レイヤ０CU復号部、２０６…レイヤ０PU復号部、２０７…レイヤ０TU復号部、２０８…レイヤ１CU復号部、２０９…レイヤ１PU復号部、２１０…レイヤ１TU復号部、２１１…レイヤ２CU復号部、２１２…レイヤ２PU復号部、２１３…レイヤ２TU復号部、２１４…レイヤ０エントロピー復号部、２１５…レイヤ０イントラ・インター予測部、２１６…レイヤ０逆変換・逆量子化部、２１７…レイヤ０合成部、２１８…レイヤ１エントロピー復号部、２１９…レイヤ１イントラ・インター予測部、２２０…レイヤ１逆変換・逆量子化部、２２１…レイヤ１合成部、２２２…レイヤ２エントロピー復号部、２２３…レイヤ２イントラ・インター予測部、２２４…レイヤ２逆変換・逆量子化部、２２５…レイヤ２合成部、２２６…画像出力部
【図１】
2013145021.tif 000003
【図２】
2013145021.tif 000004
【図３】
2013145021.tif 000005
【図４】
2013145021.tif 000006
【図５】
2013145021.tif 000007
【図６】
2013145021.tif 000008
【図７】
2013145021.tif 000009
【図８】
2013145021.tif 000010
【手続補正書】
【提出日】平成27年4月3日(2015.4.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像を符号化した符号化ストリームを復号する画像復号方法であって、
該符号化ストリームの一部を取り出すことによって複数の解像度の画像を復号可能であり、
各レイヤにおいて符号化する単位ＣＵの分割方法を復号するステップと、
予測単位ＰＵの分割方法を復号するステップと、
周波数変換単位ＴＵの分割方法を復号するステップを備え、
前記あるレイヤ１のＣＵを復号するステップは、別のレイヤ０のＣＵ分割方法を参照し、一定のルールに従ってＣＵ分割方法を計算し、
前記あるレイヤ１のＰＵを復号するステップは、同じレイヤ１のＣＵ分割方法と、別のレイヤ０のＰＵ分割方法を参照し、一定のルールに従ってＰＵ分割方法を計算し、
前記あるレイヤ１のＴＵを復号するステップは、同じレイヤ１のＣＵ分割方法と、別のレイヤ０のＴＵ分割方法を参照し、一定のルールに従ってＴＵ分割方法を計算し、
前記一定のルールをフラグによって判別し、
前記一定のルールとは、
下位レイヤのＣＵ，ＴＵ，ＰＵのサイズは、解像度比に従って対応する上位レイヤの位置にあるＣＵ，ＴＵ，ＰＵを解像度比に従って拡大したサイズを設定し、ＣＵ，ＴＵ，ＰＵの最大サイズを超える場所については該最大サイズに設定するというルールであることを特徴とする画像復号方法。
【請求項２】
請求項１において、
ベースレイヤの復号化方式は、復号化単位が固定サイズのマクロブロックを用いて復号化され、
拡張レイヤの復号化方式は、複数のサイズを選択できる符号化単位であるＣＵを用いて復号化されていることを特徴とする画像復号方法。
【請求項３】
請求項１において、
レイヤ毎にＣＵ，ＰＵ，ＴＵの使用可能なサイズ、使用可能な符号化モードを予め指定しておき、これらをフラグによって切り替えることを特徴とする画像復号方法。
【請求項４】
画像を符号化した符号化ストリームを復号する画像復号方法であって、
該符号化ストリームの一部を取り出すことによって複数の解像度の画像を復号可能であり、
各レイヤにおいて符号化する単位ＣＵの分割方法を復号するステップと、
予測単位ＰＵの分割方法を復号するステップと、
周波数変換単位ＴＵの分割方法を復号するステップを備え、
前記あるレイヤ１のＣＵを復号するステップは、別のレイヤ０のＣＵ分割方法を参照し、一定のルールに従ってＣＵ分割方法を計算し、
前記あるレイヤ１のＰＵを復号するステップは、同じレイヤ１のＣＵ分割方法と、別のレイヤ０のＰＵ分割方法を参照し、一定のルールに従ってＰＵ分割方法を計算し、
前記あるレイヤ１のＴＵを復号するステップは、同じレイヤ１のＣＵ分割方法と、別のレイヤ０のＴＵ分割方法を参照し、一定のルールに従ってＴＵ分割方法を計算し、
前記一定のルールをフラグによって判別し、
下位レイヤのＣＵ，ＴＵ，ＰＵのサイズは、解像度比に従って対応する上位レイヤの位置にあるＣＵ，ＴＵ，ＰＵを参照し、上位レイヤのＣＵ，ＴＵ，ＰＵのサイズと同じサイズに設定するというルールであることを特徴とする画像復号方法。
【請求項５】
請求項４において、
ベースレイヤの復号化方式は、復号化単位が固定サイズのマクロブロックを用いて復号化され、
拡張レイヤの復号化方式は、複数のサイズを選択できる符号化単位であるＣＵを用いて復号化されていることを特徴とする画像復号方法。
【請求項６】
請求項４において、
レイヤ毎にＣＵ，ＰＵ，ＴＵの使用可能なサイズ、使用可能な符号化モードを予め指定しておき、これらをフラグによって切り替えることを特徴とする画像復号方法。
【請求項７】
画像を符号化した符号化ストリームを復号する画像復号装置であって、
該符号化ストリームの一部を取り出すことによって複数の解像度の画像を復号可能であり、
各レイヤにおいて符号化単位ＣＵの分割方法を復号するＣＵ復号部と、予測単位ＰＵの分割方法を復号するＰＵ復号部と、周波数変換単位ＴＵの分割方法を復号するＴＵ復号部とを備え、
前記あるレイヤ１のＣＵ復号部は、別のレイヤ０のＣＵ復号部の出力するＣＵ分割方法を参照し、一定のルールに従ってＣＵ分割方法を計算し、
前記あるレイヤ１のＰＵ復号部は、同じレイヤ１のＣＵ分割方法と、別のレイヤ０のＰＵ復号部の出力するＰＵ分割方法を参照し、一定のルールに従ってＰＵ分割方法を計算し、
前記あるレイヤ１のＴＵ復号部は、同じレイヤ１のＣＵ分割方法と、別のレイヤ０のＴＵ復号部の出力するＴＵ分割方法を参照し、一定のルールに従ってＴＵ分割方法を計算し、
前記一定のルールをフラグによって判別し、
前記一定のルールとは、
下位レイヤのＣＵ，ＴＵ，ＰＵのサイズは、解像度比に従って対応する上位レイヤの位置にあるＣＵ，ＴＵ，ＰＵを解像度比に従って拡大したサイズを設定し、ＣＵ，ＴＵ，ＰＵの最大サイズを超える場所については該最大サイズに設定するというルールであることを特徴とする画像復号装置。
【請求項８】
請求項７において、
ベースレイヤの符号化方式は、符号化単位が固定サイズのマクロブロックを用いて符号化され、
拡張レイヤの符号化方式は、符号化単位のサイズが異なるＣＵを用いて符号化されていることを特徴とする画像復号装置。
【請求項９】
請求項７において、
レイヤ毎にＣＵ，ＰＵ，ＴＵの使用可能なサイズ、使用可能な符号化モードを予め指定しておき、これらをフラグによって切り替えることを特徴とする画像復号装置。
【請求項１０】
画像を符号化した符号化ストリームを復号する画像復号装置であって、
該符号化ストリームの一部を取り出すことによって複数の解像度の画像を復号可能であり、
各レイヤにおいて符号化単位ＣＵの分割方法を復号するＣＵ復号部と、予測単位ＰＵの分割方法を復号するＰＵ復号部と、周波数変換単位ＴＵの分割方法を復号するＴＵ復号部とを備え、
前記あるレイヤ１のＣＵ復号部は、別のレイヤ０のＣＵ復号部の出力するＣＵ分割方法を参照し、一定のルールに従ってＣＵ分割方法を計算し、
前記あるレイヤ１のＰＵ復号部は、同じレイヤ１のＣＵ分割方法と、別のレイヤ０のＰＵ復号部の出力するＰＵ分割方法を参照し、一定のルールに従ってＰＵ分割方法を計算し、
前記あるレイヤ１のＴＵ復号部は、同じレイヤ１のＣＵ分割方法と、別のレイヤ０のＴＵ復号部の出力するＴＵ分割方法を参照し、一定のルールに従ってＴＵ分割方法を計算し、
前記一定のルールをフラグによって判別し、
前記一定のルールとは、
下位レイヤのＣＵ，ＴＵ，ＰＵのサイズは、解像度比に従って対応する上位レイヤの位置にあるＣＵ，ＴＵ，ＰＵを参照し、上位レイヤのＣＵ，ＴＵ，ＰＵのサイズと同じサイズに設定するというルールであることを特徴とする画像復号装置。
【請求項１１】
請求項１０において
ベースレイヤの符号化方式は、符号化単位が固定サイズのマクロブロックを用いて符号化され、
拡張レイヤの符号化方式は、符号化単位のサイズが異なるＣＵを用いて符号化されていることを特徴とする画像復号装置。
【請求項１２】
請求項１０において、
レイヤ毎にＣＵ，ＰＵ，ＴＵの使用可能なサイズ、使用可能な符号化モードを予め指定しておき、これらをフラグによって切り替えることを特徴とする画像復号装置。
【国際調査報告】
2013145021.tif 000011
2013145021.tif 000012
2013145021.tif 000013
2013145021.tif 000014