(57)【要約】  演算量の増加を抑制し、かつ、画面全体の最低画質を一定に保ちながら、ユーザが指定した画質優先領域を高画質に圧縮することができる技術を提供する。  ベースレイヤビットストリームとエンハンスメントレイヤビットストリームとが多重化されたスケーラブルビットストリームを出力する映像符号化装置は、特定の矩形領域を含む、ＣＴＵサイズの倍数の矩形領域を生成する矩形領域生成部と、符号化対象のＣＴＵがＣＴＵサイズの倍数の矩形領域に含まれるか否かを判定する判定部と、符号化対象のＣＴＵがＣＴＵサイズの倍数の矩形領域に含まれない場合、符号化対象のＣＴＵを最小のＣＵブロック数で分割し、さらに、その各ＣＵをゼロの動きベクトルのベースレイヤからの予測信号で予測する予測部とを有する。
2015190078.tif 000002
【特許請求の範囲】
【請求項１】
入力画像がダウンサンプルされた低解像度画像がベースレイヤとして符号化されたベースレイヤビットストリームと前記入力画像がエンハンスメントレイヤとして符号化されたエンハンスメントレイヤビットストリームとが多重化されたスケーラブルビットストリームを出力する映像符号化装置であって、
特定の矩形領域を含む、ＣＴＵ（Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ）サイズの倍数の矩形領域を生成する矩形領域生成手段と、
符号化対象のＣＴＵが前記ＣＴＵサイズの倍数の矩形領域に含まれるか否かを判定する判定手段と、
前記符号化対象のＣＴＵが前記ＣＴＵサイズの倍数の矩形領域に含まれない場合、前記符号化対象のＣＴＵを最小のＣＵブロック数で分割し、さらに、その各ＣＵをゼロの動きベクトルのベースレイヤからの予測信号で予測する予測手段と、を有する
ことを特徴とする映像符号化装置。
【請求項２】
前記予測手段は、ベースレイヤ予測に関連づけられた参照ピクチャインデックス、ゼロの動きベクトルに最も近いＡＭＶＰ予測動きベクトルに関連づけられたＡＭＶＰインデックス、および、ゼロの動きベクトルから前記ゼロの動きベクトルに最も近いＡＭＶＰ予測動きベクトルを減じた差分動きベクトルの組をブロック予測パラメータに含める
請求項１記載の映像符号化装置。
【請求項３】
前記予測手段は、ベースレイヤ予測に関連づけられた参照ピクチャインデックスとゼロの動きベクトルに関連づけられたマージ候補インデックスとが存在する場合、マージ予測が有効であることを示すマージフラグと前記マージ候補インデックスをブロック予測パラメータに含める
請求項１または請求項２記載の映像符号化装置。
【請求項４】
前記ＣＴＵサイズの倍数の矩形領域に含まれないＣＴＵにおいて、予測誤差信号を強制的に０にする予測誤差切捨手段を有する
請求項１から請求項３のうちのいずれか１項に記載の映像符号化装置。
【請求項５】
請求項１から請求項４のうちのいずれか１項に記載の映像符号化装置と、
前記映像符号化装置が出力するスケーラブルビットストリームを受信して復号する映像復号装置と、
復号された画像と特定の矩形領域を示す矩形領域情報とを含む画像を生成する画像生成手段とを備える
ことを特徴とする映像送受信システム。
【請求項６】
スケーラブルビットストリームの復号映像と矩形領域情報に基づいて表示映像を生成する表示映像生成装置であって、
映像復号装置と、画像生成手段とを備え、
ユーザが通常表示を指定した場合、前記映像復号装置が、スケーラブルビットストリームからベースレイヤビットストリームを復号し、前記画像生成手段が、ディスプレイサイズに拡大されたベースレイヤビットストリームの表示映像を生成し、
ユーザが詳細表示を指定した場合、前記映像復号装置が、スケーラブルビットストリームからベースレイヤビットストリームと前記矩形領域を含むエンハンスメントレイヤビットストリームを復号し、前記画像生成手段が、ベースレイヤビットストリームの復号映像と前記矩形領域を含むエンハンスメントレイヤビットストリームの復号映像を生成し、
ユーザが矩形領域表示を指定した場合、前記画像生成手段が、復号映像に前記矩形領域を重畳させる
ことを特徴とする表示映像生成装置。
【請求項７】
入力画像がダウンサンプルされた低解像度画像がベースレイヤとして符号化されたベースレイヤビットストリームと前記入力画像がエンハンスメントレイヤとして符号化されたエンハンスメントレイヤビットストリームとが多重化されたスケーラブルビットストリームを出力する映像符号化装置における映像符号化方法であって、
特定の矩形領域を含む、ＣＴＵサイズの倍数の矩形領域を生成し、
符号化対象のＣＴＵが前記ＣＴＵサイズの倍数の矩形領域に含まれるか否かを判定し、
前記符号化対象のＣＴＵが前記ＣＴＵサイズの倍数の矩形領域に含まれない場合、前記符号化対象のＣＴＵを最小のＣＵブロック数で分割し、さらに、その各ＣＵをゼロの動きベクトルのベースレイヤからの予測信号で予測する
ことを特徴とする映像符号化方法。
【請求項８】
入力画像がダウンサンプルされた低解像度画像がベースレイヤとして符号化されたベースレイヤビットストリームと前記入力画像がエンハンスメントレイヤとして符号化されたエンハンスメントレイヤビットストリームとが多重化されたスケーラブルビットストリームを出力する映像符号化装置におけるコンピュータに、
特定の矩形領域を含む、ＣＴＵサイズの倍数の矩形領域を生成する処理と、
符号化対象のＣＴＵが前記ＣＴＵサイズの倍数の矩形領域に含まれるか否かを判定する処理と、
前記符号化対象のＣＴＵが前記ＣＴＵサイズの倍数の矩形領域に含まれない場合、前記符号化対象のＣＴＵを最小のＣＵブロック数で分割し、さらに、その各ＣＵをゼロの動きベクトルのベースレイヤからの予測信号で予測する処理とを実行させる映像符号化プログラムを記憶するコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スケーラブル符号化方式の符号化制御技術であって、例えばＳｃａｌａｂｌｅ  Ｈｉｇｈ−ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  （ＳＨＶＣ）を用いた映像符号化装置、映像符号化方法および記録媒体に関する。
【背景技術】
【０００２】
非特許文献１に記載された方法に基づいたスケーラブル符号化方式の映像符号化方式は、入力画像をダウンサンプルして得た低解像度画像を低解像度層（ＢＬ：Ｂａｓｅ  Ｌａｙｅｒ）として符号化する。また、上記映像符号化方式は、入力画像を高解像度層（ＥＬ：Ｅｎｈａｎｃｅｍｅｎｔ  Ｌａｙｅｒ）として符号化する。ディジタル化された映像のＢＬおよびＥＬにおける各フレームは符号化ツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ）に分割される。そして、ラスタスキャン順で各ＣＴＵが符号化される。【０００３】
ＣＴＵは、クアッドツリー構造で符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ  Ｕｎｉｔ）に分割されて符号化される。各ＣＵは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ）に分割されて予測される。また、各ＣＵの予測誤差は、クアッドツリー構造で、変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ）に分割されて周波数変換される。【０００４】
ＣＵは、イントラ予測／フレーム間予測／レイヤ間予測の符号化単位である。以下、イントラ予測、フレーム間予測およびレイヤ間予測を説明する。【０００５】
イントラ予測は、符号化対象フレームの再構築画像から生成する予測である。例えば、図１５に示す３３種類の角度イントラ予測などが定義されている。角度イントラ予測では、符号化対象ブロック周辺の再構築画素を図１５に示す３３種類の方向のいずれかに外挿することにより、イントラ予測信号が生成される。以下、イントラ予測に基づいて符号化されたＣＵをイントラＣＵと呼ぶ。【０００６】
フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築フレーム（参照ピクチャ）の画像に基づく予測である。以下、フレーム間予測をインター予測とも呼ぶ。図１６は、フレーム間予測の例を説明するための図である。動きベクトルＭＶ＝（ｍｖｘ，ｍｖｙ）は、符号化対象ブロックに対する参照ピクチャの再構築画像ブロックの平行移動量を示す。インター予測では、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号が生成される。【０００７】
動きベクトルの予測には、ＡＭＶＰ（Ａｄｖａｎｃｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）とマージモードの２種類がある。ＡＭＶＰは参照ピクチャの動きベクトルを用いて、動きベクトルの差分が最小となるように動きベクトルを予測する技術である。ＡＭＶＰでは、参照ピクチャインデックス、ＡＭＶＰ予測動きベクトルに関連づけられたＡＭＶＰインデックス、および、ＡＭＶＰ予測動きベクトルの組が伝送される。マージモードは、参照ピクチャの動きベクトルをそのまま流用する技術である。マージモードでは、マージ予測が有効であることを示すマージフラグと、流用する動きベクトルと関連づけられたマージ候補インデックスとの組が伝送される。【０００８】
レイヤ間予測は、符号化済みのＢＬの再構築フレームのアップサンプル画像を用いるインター予測である。図１７は、レイヤ間予測を説明するための図である。レイヤ間予測では、符号化済みＢＬの再構築フレームを、ＥＬのフレームと同じ解像度にアップサンプルすることによって、レイヤ間予測信号が生成される。【０００９】
以下、インター予測またはレイヤ間予測に基づいて符号化されたＣＵをインターＣＵと呼ぶ。【００１０】
なお、イントラＣＵのみで符号化されたフレームはＩフレーム（またはＩピクチャ）と呼ばれる。イントラＣＵだけでなくインターＣＵも含めて符号化されたフレームはＰフレーム（またはＰピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターＣＵを含めて符号化されたフレームはＢフレーム（またはＢピクチャ）と呼ばれる。【００１１】
次に、図１８を参照して、ディジタル化された映像の各フレームの各ＣＴＵを入力画像としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。【００１２】
図１８に示す映像符号化装置は、ＢＬを符号化するＢＬ符号化器９００Ａと、ＥＬを符号化するＥＬ符号化器９００Ｂと、ダウンサンプル器９０９と、マルチプレクサ９１０とを備える。【００１３】
ＢＬ符号化器９００Ａは、推定器９０１Ａ、予測器９０２Ａ、周波数変換器９０３Ａ、量子化器９０４Ａ、逆周波数変換／逆量子化器９０５Ａ、バッファ９０６Ａおよびエントロピー符号化器９０７Ａを有する。【００１４】
ＥＬ符号化器９００Ｂは、推定器９０１Ｂ、予測器９０２Ｂ、周波数変換器９０３Ｂ、量子化器９０４Ｂ、逆周波数変換／逆量子化器９０５Ｂ、バッファ９０６Ｂ、およびエントロピー符号化器９０７Ｂ、アップサンプル器９０８を有する。【００１５】
以下、ＢＬ符号化器９００ＡとＥＬ符号化器９００Ｂの構成と動作を説明する。【００１６】
ＢＬ符号化器９００ＡとＥＬ符号化器９００Ｂにそれぞれ入力されるＥＬとＢＬそれぞれの各ＣＴＵは、クアッドツリー構造に基づいて、可変サイズのＣＵに分割される。ＣＴＵを分割しない場合、ＣＴＵがそのままＣＵとなるため、ＣＴＵのサイズがＣＵの最大サイズ（ｍａｘＣＵＳｉｚｅ）となる。なお、最大サイズのＣＵと最小サイズのＣＵは、それぞれ、ＬＣＵ（Ｌａｒｇｅｓｔ  Ｃｏｄｉｎｇ  Ｕｎｉｔ、最大符号化ユニット）とＳＣＵ（Ｓｍａｌｌｅｓｔ  Ｃｏｄｉｎｇ  Ｕｎｉｔ、最小符号化ユニット）と呼ばれる。【００１７】
図１９は、フレームの空間解像度がＣＩＦ（Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ）、ＣＴＵサイズが６４の場合の第ｔ番目のフレームのＣＴＵ分割例、および、第８番目のＣＴＵ（ＣＴＵ８）のＣＵ分割例を説明するための図である。図１９においてＣＵに付された番号は、ＣＵの処理順を表す。なお、以下では、第ｔ番目のフレームをフレームｔとも呼ぶ。【００１８】
図２０は、ＣＴＵ８のＣＵ分割例に対応する階層ブロック表現およびクアッドツリー構造を説明するための図である。図２０に示す、階層ブロック表現におけるＣＵ  Ｄｅｐｔｈは、ＣＴＵを起点とするＣＵの分割階層の深さを示す。映像符号化装置は、ＣＴＵのＣＵ分割構造をシグナリング（エンコーダからデコーダに信号を送ること）するために、ＣＵを分割するか否かを示すｓｐｌｉｔ＿ｃｕ＿ｆｌａｇシンタックスを伝送する。クアッドツリー構造における四分木のノードの値（０または１）がｓｐｌｉｔ＿ｃｕ＿ｆｌａｇの値に対応する。【００１９】
図２１は、ＣＵのＰＵ分割例を説明するための図である。なお、図２１において、Ｎは、サイズを示す変数である。イントラＣＵの場合には、分割されたＰＵの形状（ＰＵ分割形状とも呼ぶ）は、２Ｎ×２ＮとＮ×Ｎの２パターンとなる。インターＣＵの場合には、ＰＵ分割形状は、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２ＮおよびｎＲ×２Ｎの８パターンとなる。なお、図２１において、ｎは、任意の数を示し、Ｕ、Ｄ、ＬおよびＲは、任意のサイズを示す変数である。図２１においてＰＵに付された番号は、ＰＵの処理順を表す。映像符号化装置は、ＣＵのＰＵ分割時には、イントラ予測、インター予測およびレイヤ間予測のうち何れが選択されたか、どの分割パターンが選択されたかを示すパラメータ（ブロック分割形状）を伝送する。また、映像符号化装置は、ＡＭＶＰまたはマージモードに基づいたパラメータを伝送する。イントラ予測、インター予測およびレイヤ間予測のうち何れの予測を選択したかを示す情報、ブロック分割形状、および、ＡＭＶＰまたはマージモードに基づいたパラメータをまとめて、ブロック分割・ブロック予測パラメータまたは単にブロック予測パラメータと呼ぶ。【００２０】
各ＣＵの予測誤差は、ＣＴＵと同様に、クアッドツリー構造に基づいて、可変サイズのＴＵに分割される。【００２１】
図２２は、インターＣＵの場合のＴＵ分割例、このＴＵ分割例に対応する階層ブロック表現およびクアッドツリー構造を説明するための図である。ＴＵのクアッドツリー構造の親ノード位置はＣＵとなる。これにより、同一ＣＵ内の複数のＰＵをまたがる変換符号化が可能である。図２２に示す、階層ブロック表現におけるＴＵ  Ｄｅｐｔｈは、ＣＵを起点とするＴＵの分割階層の深さを示す。映像符号化装置は、ＣＵのＴＵ分割構造をシグナリングするために、ＴＵを分割するか否かを示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇシンタックスを伝送する。クアッドツリー構造における四分木のノードの値（０または１）がｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇの値に対応する。【００２２】
図２３は、イントラＣＵの場合のＴＵ分割例、このＴＵ分割例に対応する階層ブロック表現およびクアッドツリー構造を説明するための図である。ＴＵのクアッドツリー構造の親ノード位置はＰＵとなり、インターＣＵと同様にＴＵ分割される。【００２３】
推定器９０１Ａは、ダウンサンプル器９０９で入力画像をダウンサンプルして得られた低解像度画像のＣＴＵ毎に、ＣＵクアッドツリー構造、ＰＵのブロック予測パラメータ（以下、ＰＵブロック予測パラメータと呼ぶ）、およびＴＵクアッドツリー構造を決定する。【００２４】
予測器９０２Ａは、推定器９０１Ａが決定したＣＵクアッドツリー構造およびＰＵブロック予測パラメータに基づいて、ＣＵの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測またはインター予測に基づいて生成される。【００２５】
周波数変換器９０３Ａは、推定器９０１Ａが決定したＴＵクアッドツリー構造に基づいて、入力画像信号から予測信号を減じた予測誤差信号（以下、予測誤差画像とも呼ぶ）を周波数変換する。【００２６】
量子化器９０４Ａは、直交変換係数（周波数変換された予測誤差画像）を量子化する。以下、量子化された直交変換係数を係数レベルと呼ぶ。また、０以外の値を持つ係数レベルを有意係数レベルと呼ぶ。【００２７】
エントロピー符号化器９０７Ａは、ＣＴＵ単位のＣＵクアッドツリー構造を示すｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ、ＰＵブロック予測パラメータ、ＴＵのクアッドツリー構造を示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇおよび係数レベルをエントロピー符号化する。エンロトピー符号化するパラメータ群を符号化パラメータと呼ぶ。【００２８】
逆周波数変換／逆量子化器９０５Ａは、係数レベルを逆量子化する。さらに、逆周波数変換／逆量子化器９０５Ａは、逆量子化した直交変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、再構築画像としてバッファ９０６Ａに供給される。【００２９】
バッファ９０６Ａは、再構築画像を格納する。バッファ９０６Ａに格納された再構築画像は、推定器９０１Ａおよび予測器９０２Ａから取得され、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータ、およびＴＵクアッドツリー構造の決定、予測信号の生成に用いられる。【００３０】
推定器９０１Ｂは、入力画像のＣＴＵ毎に、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータ、およびＴＵクアッドツリー構造を決定する。【００３１】
予測器９０２Ｂは、推定器９０１Ｂが決定したＣＵクアッドツリー構造およびＰＵブロック予測パラメータに基づいて、ＣＵの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測、インター予測、またはレイヤ間予測に基づいて生成される。【００３２】
周波数変換器９０３Ｂは、推定器９０１Ｂが決定したＴＵクアッドツリー構造に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。【００３３】
量子化器９０４Ｂは、直交変換係数（周波数変換された予測誤差画像）を量子化する。【００３４】
エントロピー符号化器９０７Ｂは、ＣＵのクアッドツリー構造を示すｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ、ＰＵブロック予測パラメータ、ＴＵのクアッドツリー構造を示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇおよび係数レベルをエントロピー符号化する。【００３５】
逆周波数変換／逆量子化器９０５Ｂは、係数レベルを逆量子化する。さらに、逆周波数変換／逆量子化器９０５Ｂは、逆量子化した直交変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、再構築画像としてバッファ９０６Ｂに供給される。【００３６】
バッファ９０６Ｂは、再構築画像を格納する。また、バッファ９０６Ｂは、アップサンプル器９０８がＢＬの再構築画像をアップサンプルした画像も格納する。バッファ９０６Ｂに格納されたデータは、推定器９０１Ｂおよび予測器９０２Ｂから取得され、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータ、およびＴＵクアッドツリー構造の決定、予測信号の生成に用いられる。【００３７】
上述した動作に基づいて、ＢＬ符号化器９００Ａにおいて、サブビットストリームであるＢＬビットストリームが生成される。また、ＥＬ符号化器９００Ｂにおいて、サブビットストリームであるＥＬビットストリームが生成される。一般的な映像符号化装置は、これらのサブビットストリームを、マルチプレクサ９１０で多重化することにより、スケーラブルビットストリームを生成する。【００３８】
特許文献１には、符号化効率と予測効率を最適化する動画像符号化装置が記載されている。特許文献１に記載された装置は、処理対象ブロックの動きがＬＸ方向のいずれかの参照画像とＬＹ方向のいずれかの参照画像と等速運動をしている場合に、符号化済みの別の画像の同一位置ブロックや当該処理対象ブロックの隣接ブロックの動き情報の中のＬ０方向またはＬ１方向の単方向だけが処理対象ブロックと同一の等速運動であるときに、その単方向の動き情報をスケーリングしてスケーリング結合動き情報候補を生成することで、動き情報を符号化することなくマージインデックスのみで符号化することを可能とする。
【先行技術文献】
【特許文献】
【００３９】
【特許文献１】特開２０１３−０２１５７３号公報
【非特許文献】
【００４０】
【非特許文献１】High efficiency video coding (HEVC) scalable extension Draft 4, JCTVC-O1008_v3, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 15th Meeting: Geneva, CH, 23 Oct. - 1 Nov. 2013.
【発明の概要】
【発明が解決しようとする課題】
【００４１】
背景技術で述べた一般的な映像符号化装置では、画質を優先して圧縮する領域（以下、画質優先圧縮領域とも呼ぶ）とビット数を優先して圧縮する領域（以下、ビット数優先圧縮領域とも呼ぶ）で好適な圧縮処理を切り替えようとすると、圧縮処理を切り替える判定やＣＴＵ分割制御のための演算量が増加する。ここで、画質は、例えば空間解像度である。【００４２】
また、ビット数だけを優先して圧縮するとレイヤ間予測が選択される保証がないため、符号化パラメータの推定に必要な演算量が削減されることと画面全体の最低画質が一定に保たれることが保証されない。ここで、最低画質は、低解像度画像の画質である。【００４３】
さらに、ビット数を優先して圧縮する領域にて大きなパワーを持つ予測誤差が発生するとビット数が大幅に増加する。そのため、ビット数を優先して圧縮する領域で余ったビット数を活用して、ユーザが指定した画質優先領域を必ずしも高画質に圧縮することができない。【００４４】
ゆえに、一般的な映像符号化装置では、演算量を増やすことなく、画面全体の最低画質を一定に保ちながら、ユーザが指定した画質優先領域を高画質に圧縮することができない。【００４５】
そこで、本発明は、演算量の増加を抑制し、かつ、画面全体の最低画質を一定に保ちながら、ユーザが指定した画質優先領域を高画質に圧縮することができる映像符号化装置、映像符号化方法および映像符号化プログラムを記憶する記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００４６】
本発明の一態様に係る映像符号化装置は、入力画像がダウンサンプルされた低解像度画像がベースレイヤとして符号化されたベースレイヤビットストリームと入力画像がエンハンスメントレイヤとして符号化されたエンハンスメントレイヤビットストリームとが多重化されたスケーラブルビットストリームを出力する映像符号化装置であって、特定の矩形領域を含む、ＣＴＵサイズの倍数の矩形領域を生成する矩形領域生成手段と、符号化対象のＣＴＵがＣＴＵサイズの倍数の矩形領域に含まれるか否かを判定する判定手段と、符号化対象のＣＴＵがＣＴＵサイズの倍数の矩形領域に含まれない場合、符号化対象のＣＴＵを最小のＣＵブロック数で分割し、さらに、その各ＣＵをゼロの動きベクトルのベースレイヤからの予測信号で予測する予測手段とを有する。【００４７】
本発明の一態様に係る映像送受信システムは、入力画像がダウンサンプルされた低解像度画像がベースレイヤとして符号化されたベースレイヤビットストリームと前記入力画像がエンハンスメントレイヤとして符号化されたエンハンスメントレイヤビットストリームとが多重化されたスケーラブルビットストリームを出力する映像符号化装置と、映像符号化装置が出力するスケーラブルビットストリームを受信して復号する映像復号装置と、復号された画像と特定の矩形領域を示す矩形領域情報とを含む画像を生成する画像生成部とを備え、前記映像符号化装置は、特定の矩形領域を含む、ＣＴＵサイズの倍数の矩形領域を生成する矩形領域生成手段と、符号化対象のＣＴＵが前記ＣＴＵサイズの倍数の矩形領域に含まれるか否かを判定する判定手段と、前記符号化対象のＣＴＵが前記ＣＴＵサイズの倍数の矩形領域に含まれない場合、前記符号化対象のＣＴＵを最小のＣＵブロック数で分割し、さらに、その各ＣＵをゼロの動きベクトルのベースレイヤからの予測信号で予測する予測手段と、を有する。【００４８】
本発明の一態様に係る表示映像生成装置は、スケーラブルビットストリームの復号映像と矩形領域情報に基づいて表示映像を生成する表示映像生成装置であって、映像復号装置と、画像生成部とを備え、ユーザが通常表示を指定した場合、映像復号装置が、スケーラブルビットストリームからベースレイヤビットストリームを復号し、画像生成部が、ディスプレイサイズに拡大されたベースレイヤビットストリームの表示映像を生成し、ユーザが詳細表示を指定した場合、映像復号装置が、スケーラブルビットストリームからベースレイヤビットストリームと矩形領域を含むエンハンスメントレイヤビットストリームを復号し、画像生成部が、ベースレイヤビットストリームの復号映像と矩形領域を含むエンハンスメントレイヤビットストリームの復号映像を生成し、ユーザが矩形領域表示を指定した場合、画像生成部が、復号映像に矩形領域を重畳させる。【００４９】
本発明の一態様に係る映像符号化方法は、入力画像がダウンサンプルされた低解像度画像がベースレイヤとして符号化されたベースレイヤビットストリームと入力画像がエンハンスメントレイヤとして符号化されたエンハンスメントレイヤビットストリームとが多重化されたスケーラブルビットストリームを出力する映像符号化装置における映像符号化方法であって、特定の矩形領域を含む、ＣＴＵサイズの倍数の矩形領域を生成し、符号化対象のＣＴＵがＣＴＵサイズの倍数の矩形領域に含まれるか否かを判定し、符号化対象のＣＴＵがＣＴＵサイズの倍数の矩形領域に含まれない場合、符号化対象のＣＴＵを最小のＣＵブロック数で分割し、さらに、その各ＣＵをゼロの動きベクトルのベースレイヤからの予測信号で予測する。【００５０】
本発明の一態様に係るコンピュータ読み取り可能な記録媒体は、入力画像がダウンサンプルされた低解像度画像がベースレイヤとして符号化されたベースレイヤビットストリームと入力画像がエンハンスメントレイヤとして符号化されたエンハンスメントレイヤビットストリームとが多重化されたスケーラブルビットストリームを出力する映像符号化装置におけるコンピュータに、特定の矩形領域を含む、ＣＴＵサイズの倍数の矩形領域を生成する処理と、符号化対象のＣＴＵがＣＴＵサイズの倍数の矩形領域に含まれるか否かを判定する処理と、符号化対象のＣＴＵがＣＴＵサイズの倍数の矩形領域に含まれない場合、符号化対象のＣＴＵを最小のＣＵブロック数で分割し、さらに、その各ＣＵをゼロの動きベクトルのベースレイヤからの予測信号で予測する処理とを実行させる映像符号化プログラムを記憶する。
【発明の効果】
【００５１】
本発明によれば、演算量の増加を抑制し、かつ、画面全体の最低画質を一定に保ちながら、ユーザが指定した画質優先領域を高画質に圧縮することができる。
【図面の簡単な説明】
【００５２】
【図１】本発明の第１の実施形態に係る映像符号化装置の構成の一例を示すブロック図である。
【図２】本発明の第１の実施形態におけるＥＬ符号化器の動作を示すフローチャートである。
【図３】本発明の第２の実施形態に係る映像符号化装置の構成の一例を示すブロック図である。
【図４】本発明の第２の実施形態におけるＡＭＶＰ推定器の動作を示すフローチャートである。
【図５】本発明の第３の実施形態に係る映像符号化装置の構成の一例を示すブロック図である。
【図６】本発明の第３の実施形態におけるマージ予測推定器の動作を示すフローチャートである。
【図７】本発明の第４の実施形態に係る映像符号化装置の構成の一例を示すブロック図である。
【図８】本発明の第４の実施形態におけるＥＬ符号化器の動作を示すフローチャートである。
【図９】本発明の第５の実施形態に係る映像送受信システムの構成の例を示すブロック図である。
【図１０】本発明の第６の実施形態に係る表示映像生成装置の構成の例を示すブロック図である。
【図１１】プログラムを用いた情報処理システムの例を示すブロック図である。
【図１２】本発明の各実施形態に係る映像符号化装置の主要部を示すブロック図である。
【図１３】本発明の他の映像符号化装置の主要部を示すブロック図である。
【図１４】本発明の映像送受信システムの主要部を示すブロック図である。
【図１５】３３種類の角度イントラ予測の例を示す図である。
【図１６】フレーム間予測の例を説明するための図である。
【図１７】レイヤ間予測を説明するための図である。
【図１８】一般的な映像符号化装置の構成を示すブロック図である。
【図１９】フレームｔのＣＴＵ分割例、および、フレームｔのＣＴＵ８のＣＵ分割例を説明するための図である。
【図２０】ＣＴＵ８のＣＵ分割例に対応する階層ブロック表現およびクアッドツリー構造を説明するための図である。
【図２１】ＣＵのＰＵ分割例を説明するための図である。
【図２２】インターＣＵの場合のＴＵ分割例、このＴＵ分割例に対応する階層ブロック表現およびクアッドツリー構造を説明するための図である。
【図２３】イントラＣＵの場合のＴＵ分割例、このＴＵ分割例に対応する階層ブロック表現およびクアッドツリー構造を説明するための図である。
【発明を実施するための形態】
【００５３】
第１の実施形態．
以下、本発明の第１の実施形態を、図面を参照して説明する。
【００５４】
図１は、本発明の第１の実施形態に係る映像符号化装置の構成の一例を示すブロック図である。図１を参照して、ディジタル化された映像の各フレームを入力画像として、ビットストリームを出力する第１の実施形態に係る映像符号化装置の構成を説明する。
【００５５】
第１の実施形態に係る映像符号化装置は、装置の外部から指定される矩形領域（特定の矩形領域）を含むＣＴＵサイズの倍数の矩形領域を、後述するＣＴＵアライン座標変換器１１１によって生成する。これにより、画質を優先して圧縮する領域とビット数を優先して圧縮する領域との判定がＣＴＵ単位となり、それぞれの領域に好適な圧縮処理の切り替え制御が簡略化される。さらに、ビット数を優先して圧縮する領域におけるブロック分割・ブロック予測パラメータを、後述するビット数優先推定器１０１Ｂ２によって決定する。これにより、ベースレイヤを用いる最小ビット数の符号化パラメータが一意に選択され、尚且つ、画質が一定に保たれながら符号化パラメータの推定に必要な演算量が大幅に削減される。この結果、ビット数を優先して圧縮する領域で余ったビット数と演算量とを有効活用し、画質を優先して圧縮する領域をより高画質に圧縮できる。
【００５６】
図１に示す映像符号化装置は、ＢＬを符号化するＢＬ符号化器１００Ａと、ＥＬを符号化するＥＬ符号化器１００Ｂと、ダウンサンプル器１０９と、マルチプレクサ１１０とを備える。ＢＬ符号化器１００Ａは、例えば、ＢＬ  ＨＥＶＣエンコーダである。ＥＬ符号化器１００Ｂは、例えば、ＥＬ  ＨＥＶＣエンコーダである。
【００５７】
ＢＬ符号化器１００Ａは、推定器１０１Ａ、予測器１０２Ａ、周波数変換器１０３Ａ、量子化器１０４Ａ、逆周波数変換／逆量子化器１０５Ａ、バッファ１０６Ａおよびエントロピー符号化器１０７Ａを有する。
【００５８】
ＥＬ符号化器１００Ｂは、予測器１０２Ｂ、周波数変換器１０３Ｂ、量子化器１０４Ｂ、逆周波数変換／逆量子化器１０５Ｂ、バッファ１０６Ｂ、エントロピー符号化器１０７Ｂ、アップサンプル器１０８、ＣＴＵアライン座標変換器１１１、ＣＴＵ判定器１１２、画質優先推定器１０１Ｂ１およびビット数優先推定器１０１Ｂ２を有する。
【００５９】
図１８に示す映像符号化装置と比較すると、ＥＬ符号化器１００ＢにおいてＣＴＵアライン座標変換器１１１、ＣＴＵ判定器１１２、画質優先推定器１０１Ｂ１およびビット数優先推定器１０１Ｂ２が設けられている。図１に示す映像符号化装置における他のブロックは、図１８に示す映像符号化装置におけるブロックと同じである。よって、以下では、本実施形態の特徴部であるＥＬ符号化器１００Ｂの構成を説明する。
【００６０】
ＣＴＵアライン座標変換器１１１は、ユーザが画質優先領域として指定した矩形領域の左上（ｘ，ｙ）座標および右下（ｘ，ｙ）座標（以後、矩形領域情報とも呼ぶ）を入力とし、画質優先圧縮領域を出力する。具体的には、ＣＴＵアライン座標変換器１１１は、ユーザが指定した画質優先領域を包含する、ＣＴＵの最大の大きさの倍数に整えられた左上（ｘ，ｙ）座標および右下（ｘ，ｙ）座標を、画質優先圧縮領域として出力する。例えば、ＣＴＵが６４の倍数で、ユーザが左上（ｘ，ｙ）＝（４，４０）、右下（ｘ，ｙ）＝（４８０，３２０）と入力した場合、ＣＴＵアライン座標変換器１１１は、入力された座標を、左上（０，０）、右下（５１２，３２０）に変換する。そして、ＣＴＵアライン座標変換器１１１は、変換した座標を出力する。つまり、ＣＴＵアライン座標変換器１１１は、上記変換した座標によって示される画質優先圧縮領域を出力する。
【００６１】
ＣＴＵ判定器１１２は、ＣＴＵアライン座標変換器１１１から出力される画質優先圧縮領域と、現在の符号化対象のＣＴＵとを入力とする。ＣＴＵ判定器１１２は、現在の符号化対象のＣＴＵが画質優先圧縮領域に含まれるか否かを判定し、制御信号を出力する。
【００６２】
現在の符号化対象のＣＴＵが画質優先圧縮領域に含まれる場合、ＣＴＵ判定器１１２は、以下の（ｉ）、（ｉｉ）、（ｉｉｉ）となるようにスイッチを制御する制御信号を出力する。
（ｉ）画質優先推定器１０１Ｂ１に、現在の符号化対象のＣＴＵが入力される。
（ｉｉ）画質優先推定器１０１Ｂ１の出力が予測器１０２Ｂおよびエントロピー符号化器１０７Ｂに入力される。
（ｉｉｉ）画質優先推定器１０１Ｂ１が、バッファ１０６Ｂから、バッファ１０６Ｂに格納されたデータを取得可能となる。
そして、画質優先推定器１０１Ｂ１は、一般的な映像符号化装置と同様に、ＣＴＵ毎に、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータ、およびＴＵクアッドツリー構造を決定する。ＣＵクアッドツリー構造は、一般的な映像符号化装置と同様に、現在の符号化対象のＣＴＵのＣＵのレート歪みコストが最小化されるように決定される。ＰＵブロック予測パラメータは、一般的な映像符号化装置と同様に、各ＣＵのレート歪みコストが最小化されるように決定される。さらに、ＴＵクアッドツリー構造は、一般的な映像符号化装置と同様に、各ＣＵのレート歪みコストが最小化されるように決定される。
【００６３】
現在の符号化対象のＣＴＵが画質優先圧縮領域に含まれない場合、ＣＴＵ判定器１１２は、以下の（ｉ）、（ｉｉ）、（ｉｉｉ）となるようにスイッチを制御する制御信号を出力する。
（ｉ）画質優先推定器１０１Ｂ２に、現在の符号化対象のＣＴＵが入力される。
（ｉｉ）画質優先推定器１０１Ｂ２の出力が予測器１０２Ｂおよびエントロピー符号化器１０７Ｂに入力される。
（ｉｉｉ）画質優先推定器１０１Ｂ２が、バッファ１０６Ｂから、バッファ１０６Ｂに格納されたデータを取得可能となる。
ビット数優先推定器１０１Ｂ２は、現在の符号化対象のＣＴＵの画質を一定に保ち、そのビット数が最小となり、かつ符号化処理が効率化されるように、ＣＴＵ毎に、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータ、およびＴＵクアッドツリー構造を決定する。
【００６４】
ビット数優先推定器１０１Ｂ２は、現在の符号化対象のＣＴＵのＣＵ分割数が最小となるように、ＣＵクアッドツリー構造を決定する。ビット数優先推定器１０１Ｂ２は、例えば、ＣＴＵのサイズが６４×６４の場合、ＣＵのサイズを６４×６４のサイズに決定する。つまり、ビット数優先推定器１０１Ｂ２は、ブロック分割をしないことを示すｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ＝０を出力する。
【００６５】
ビット数優先推定器１０１Ｂ２は、各ＣＵにおいて、そのビット数が最小となるように、ＰＵブロック予測パラメータを決定する。例えば、ビット数優先推定器１０１Ｂ２は、ＰＵの分割形状を、分割数が少ない２Ｎ×２Ｎに決定する。さらに、ビット数優先推定器１０１Ｂ２は、各ＰＵにおいて、一定の画質に保つように、イントラ予測ではなく、ゼロの動きベクトルのレイヤ間予測を選択する。
【００６６】
ビット数優先推定器１０１Ｂ２は、各ＣＵのＴＵパラメータのビット数が最小となるように、ＴＵクアッドツリー構造を決定する。つまり、ビット数優先推定器１０１Ｂ２は、最大サイズのＴＵパラメータを決定する。具体的には、ビット数優先推定器１０１Ｂ２は、各ＣＵの大きさに応じて、ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇを０または１のいずれかに決定する。例えば、ＣＵのサイズが６４×６４の場合、ビット数優先推定器１０１Ｂ２は、ＴＵパラメータを最大サイズである３２×３２に決定する。つまり、ビット数優先推定器１０１Ｂ２は、まず、ブロック分割することを示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ＝１を出力し、各３２×３２のＴＵにおいてブロック分割をしないことを示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ＝０を出力する。
【００６７】
予測器１０２Ｂは、画質優先推定器１０１Ｂ１、またはビット数優先推定器１０１Ｂ２が決定したＣＵクアッドツリー構造およびＰＵブロック予測パラメータに基づいて、ＣＵの入力画像信号に対する予測信号を出力する。予測信号は、上述したイントラ予測、インター予測、またはレイヤ間予測に基づいて生成される。
【００６８】
周波数変換器１０３Ｂは、画質優先推定器１０１Ｂ１、またはビット数優先推定器１０１Ｂ２が決定したＴＵクアッドツリー構造に基づいて、入力画像信号から予測信号を減じた予測誤差画像を、周波数変換する。そして、周波数変換器１０３Ｂは、直交変換係数（周波数変換された予測誤差画像）を出力する。
【００６９】
量子化器１０４Ｂは、直交変換係数を、量子化する。そして、量子化器１０４Ｂは、係数レベルを出力する。
【００７０】
エントロピー符号化器１０７Ｂは、ＣＵのクアッドツリー構造を示すｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ、ＰＵブロック予測パラメータ、ＴＵのクアッドツリー構造を示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇおよび係数レベルを、エントロピー符号化する。そして、エントロピー符号化器１０７Ｂは、ＥＬビットストリームを出力する。
【００７１】
逆周波数変換／逆量子化器１０５Ｂは、係数レベルを逆量子化する。そして、逆周波数変換／逆量子化器１０５Ｂは、逆量子化して得られた直交変換係数を逆周波数変換し、再構築予測誤差画像を出力する。
【００７２】
バッファ１０６Ｂは、ＢＬの再構築画像をアップサンプルした画像と、再構築予測誤差画像に予測信号を加えた信号とを入力とし、これらをＥＬの再構築画像として格納する。
【００７３】
次に、図２のフローチャートを参照して、各ＣＴＵに対するＥＬ符号化器１００Ｂの動作（入力画像の符号化処理）を説明する。
【００７４】
ＣＴＵアライン座標変換器１１１は、ユーザが画質優先領域として指定した矩形領域の左上（ｘ，ｙ）座標および右下（ｘ，ｙ）座標を受け取る。そして、ＣＴＵアライン座標変換器１１１は、ユーザが指定した画質優先領域を包含する、ＣＴＵの最大の大きさの倍数に整えられた左上（ｘ，ｙ）座標および右下（ｘ，ｙ）座標を出力する。例えば、ＣＴＵが６４の倍数で、ユーザが左上（ｘ，ｙ）＝（４，４０）、右下（ｘ，ｙ）＝（４８０，３２０）と入力した場合、ＣＴＵアライン座標変換器１１１は、左上（０，０）右下（５１２，３２０）の座標を出力する（ステップＳ１０１）。そして、ＥＬ符号化器１００Ｂは、ステップＳ１０２の処理に移行する。
【００７５】
ＣＴＵ判定器１１２は、現在の符号化対象のＣＴＵが画質優先圧縮領域に含まれるか否かを判定する（ステップＳ１０２）。画質優先圧縮領域に含まれる場合（ステップＳ１０２にてＹｅｓ）、ＥＬ符号化器１００Ｂは、ステップＳ１０３の処理に移行する。画質優先圧縮領域に含まれない場合（ステップＳ１０２にてＮｏ）、ＥＬ符号化器１００Ｂは、ステップＳ１０９の処理に移行する。
【００７６】
ステップＳ１０２にてＹｅｓの場合、画質優先推定器１０１Ｂ１は、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータ、およびＴＵクアッドツリー構造を決定する（ステップＳ１０３）。ＣＵクアッドツリー構造は、現在の符号化対象のＣＴＵのＣＵがレート歪みコストが最小化されるように決定される。ＰＵブロック予測パラメータは、各ＣＵのレート歪みコストが最小化されるように決定される。さらに、ＴＵクアッドツリー構造は、各ＣＵのレート歪みコストが最小化されるように決定される。そして、ＥＬ符号化器１００Ｂは、ステップＳ１０４の処理に移行する。
【００７７】
ステップＳ１０２にてＮｏの場合、ビット数優先推定器１０１Ｂ２は、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータ、およびＴＵクアッドツリー構造を一意に決定する（ステップＳ１０９）。ＣＵクアッドツリー構造は、現在の符号化対象のＣＴＵのＣＵ分割数が最小となるように決定される。ＰＵブロック予測パラメータのうちのブロック分割形状は、各ＣＵにおいて、ＰＵパラメータのビット数が最小となるように決定される。さらに、ビット数優先推定器１０１Ｂ２は、各ＰＵにおいて、一定の画質に保つように、イントラ予測やインター予測ではなく、レイヤ間予測を選択する。ＴＵクアッドツリー構造は、各ＣＵのＴＵパラメータのビット数が最小となるように決定される。つまり、ビット数優先推定器１０１Ｂ２は、最大サイズのＴＵパラメータを選択する。そして、ＥＬ符号化器１００Ｂは、ステップＳ１０４の処理に移行する。
【００７８】
ステップＳ１０３またはステップＳ１０９終了後、予測器１０２Ｂは、決定されたＰＵブロック予測パラメータに基づいて、予測信号を生成し、出力する（ステップＳ１０４）。そして、ＥＬ符号化器１００Ｂは、ステップＳ１０５の処理に移行する。
【００７９】
入力画像信号から予測信号を減じることによって、予測誤差画像（予測誤差信号）が生成される（ステップＳ１０５）。入力画像信号と予測信号との差分である予測誤差画像は、周波数変換器１０３Ｂに入力される。そして、ＥＬ符号化器１００Ｂは、ステップＳ１０６の処理に移行する。
【００８０】
周波数変換器１０３Ｂは、決定されたＴＵクアッドツリー構造に基づいて、予測誤差画像を周波数変換する。そして、周波数変換器１０３Ｂは、直交変換係数（周波数変換された予測誤差画像）を出力する。量子化器１０４Ｂは、直交変換係数を量子化し、係数レベルを出力する（ステップＳ１０６）。そして、ＥＬ符号化器１００Ｂは、ステップＳ１０７の処理に移行する。
【００８１】
エントロピー符号化器１０７Ｂは、ＣＵのクアッドツリー構造を示すｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ、ＰＵブロック予測パラメータ、ＴＵクアッドツリー構造を示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇおよび係数レベルを、エントロピー符号化する（ステップＳ１０７）。そして、エントロピー符号化器１０７Ｂは、ＥＬビットストリームを出力する。そして、ＥＬ符号化器１００Ｂは、ステップＳ１０８の処理に移行する。
【００８２】
ＥＬ符号化器１００Ｂは、入力画像に含まれる全てのＣＴＵを処理したか否かを判定する（ステップＳ１０８）。ＥＬ符号化器１００Ｂは、全てのＣＴＵを処理した場合（ステップＳ１０８にてＹｅｓ）、入力画像の符号化処理を終了する。そうでない場合（ステップＳ１０８にてＮｏ）、ＥＬ符号化器１００Ｂは、次のＣＴＵを処理するために、ステップＳ１０２の処理に移行する。
【００８３】
第２の実施形態．
以下、本発明の第２の実施形態を図面を参照して説明する。
【００８４】
ビット数優先圧縮領域において、ビット数が最小になることをより確実に保証するために、第２の実施形態に係る映像符号化装置は、図３に示すエンコーダ構成を備える。第２の実施形態に係る映像符号化装置は、図１に示す映像符号化装置に、更に、ＡＭＶＰ推定器１１３を備える構成である。
【００８５】
図３は、本発明の第２の実施形態に係る映像符号化装置の構成の一例を示すブロック図である。図３を参照して、ディジタル化された映像の各フレームを入力画像として、ビットストリームを出力する第２の実施形態に係る映像符号化装置の構成を説明する。
【００８６】
第２の実施形態に係る映像符号化装置は、装置の外部から指定される矩形領域を含むＣＴＵサイズの倍数の矩形領域を生成する手段によって、画質を優先して圧縮する領域とビット数を優先して圧縮する領域の判定がＣＴＵ単位となる。このＣＴＵサイズの倍数の矩形領域を生成する手段は、ＣＴＵアライン座標変換器１１１に相当する。これにより、それぞれの領域に好適な圧縮処理の切り替え制御が簡略化される。さらに、ビット数を優先して圧縮する領域におけるブロック分割・ブロック予測パラメータを決定する手段によって、ベースレイヤを用いる最小ビット数の符号化パラメータがＡＭＶＰを活用して一意に選択される。且つ、上記ブロック分割・ブロック予測パラメータを決定する手段によって、画質が一定に保たれながら符号化パラメータの推定に必要な演算量が大幅に削減される。このブロック分割・ブロック予測パラメータを決定する手段は、ビット数優先推定器１０１Ｂ２および後述するＡＭＶＰ推定器１１３に相当する。この結果、ビット数を優先して圧縮する領域で余ったビット数と演算量を有効活用し、画質を優先して圧縮する領域をより高画質に圧縮できる。
【００８７】
図３に示す映像符号化装置は、ＢＬ符号化器１００Ａと、ＥＬ符号化器２００Ｂと、ダウンサンプル器１０９と、マルチプレクサ１１０とを備える。
【００８８】
ＢＬ符号化器１００Ａの構成は、図１に示す第１の実施形態における構成と同様である。
【００８９】
ＥＬ符号化器２００Ｂは、図１に示す第１の実施形態におけるＥＬ符号化器１００Ｂの構成に加えて、ＡＭＶＰ推定器１１３を有する。
【００９０】
以下では、本実施形態の特徴部分であるＥＬ符号化器２００Ｂについて説明する。
【００９１】
ＣＴＵアライン座標変換器１１１は、ユーザが画質優先領域として指定した矩形領域の左上（ｘ，ｙ）座標および右下（ｘ，ｙ）座標を入力とし、画質優先圧縮領域を出力する。具体的には、ＣＴＵアライン座標変換器１１１は、ユーザが指定した画質優先領域を包含する、ＣＴＵの最大の大きさの倍数に整えられた左上（ｘ，ｙ）座標および右下（ｘ，ｙ）座標を、画質優先圧縮領域として出力する。例えば、ＣＴＵが６４の倍数で、ユーザが左上（ｘ，ｙ）＝（４，４０）、右下（ｘ，ｙ）＝（４８０，３２０）と入力した場合、ＣＴＵアライン座標変換器１１１は、入力された座標を、左上（０，０）、右下（５１２，３２０）に変換する。そして、ＣＴＵアライン座標変換器１１１は、変換した座標（画質優先圧縮領域）を出力する。
【００９２】
ＣＴＵ判定器１１２は、ＣＴＵアライン座標変換器１１１から出力される画質優先圧縮領域と、現在の符号化対象のＣＴＵとを入力とする。ＣＴＵ判定器１１２は、現在の符号化対象のＣＴＵが画質優先圧縮領域に含まれるか否かを判定し、制御信号を出力する。
【００９３】
現在の符号化対象のＣＴＵが画質優先圧縮領域に含まれない場合、ＣＴＵ判定器１１２は、以下の（ｉ）、（ｉｉ）、（ｉｉｉ）となるようにスイッチを制御する制御信号を出力する。
（ｉ）ビット数優先推定器１０１Ｂ２に、現在の符号化対象のＣＴＵが入力される。
（ｉｉ）ＡＭＶＰ推定器１１３の出力が予測器１０２Ｂおよびエントロピー符号化器１０７Ｂに入力される。
（ｉｉｉ）画質優先推定器１０１Ｂ２が、バッファ１０６Ｂから、バッファ１０６Ｂに格納されたデータを取得可能となる。
そして、現在の符号化対象のＣＴＵの画質を一定に保ちつつそのビット数が最小となり、かつ、符号化処理が効率化されるように、ビット数優先推定器１０１Ｂ２およびＡＭＶＰ推定器１１３がＣＴＵ毎に、以下の（Ａ）〜（Ｃ）を決定する。
（Ａ）ＣＵクアッドツリー構造、
（Ｂ）ＰＵブロック予測パラメータ、および
（Ｃ）ＴＵクアッドツリー構造。
【００９４】
ビット数優先推定器１０１Ｂ２は、現在の符号化対象のＣＴＵのＣＵ分割数が最小となるように、ＣＵクアッドツリー構造を決定する。ビット数優先推定器１０１Ｂ２は、例えば、ＣＴＵのサイズが６４×６４の場合、ＣＵのサイズを６４×６４のサイズに決定する。つまり、ビット数優先推定器１０１Ｂ２は、ブロック分割をしないことを示すｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ＝０を出力する。
【００９５】
ビット数優先推定器１０１Ｂ２は、各ＣＵにおいて、そのビット数が最小となるように、ＰＵブロック予測パラメータのうちのブロック分割形状を決定する。例えば、ビット数優先推定器１０１Ｂ２は、ＰＵの分割形状を、分割数が少ない２Ｎ×２Ｎに決定する。さらに、ビット数優先推定器１０１Ｂ２は、各ＰＵにおいて、一定の画質に保つように、イントラ予測ではなく、レイヤ間予測を選択する。ＰＵブロック予測パラメータのうち、ＡＭＶＰに基づいたパラメータはＡＭＶＰ推定器１１３によって決定される。
【００９６】
ＡＭＶＰ推定器１１３は、ＡＭＶＰに基づき、以下の（ａ）〜（ｃ）の組をＰＵブロック予測パラメータのＡＭＶＰに基づいたパラメータとして出力する。
（ａ）ベースレイヤに関連づけられた参照ピクチャインデックス、
（ｂ）ゼロの動きベクトルに最も近いＡＭＶＰ予測動きベクトルに関連づけられたＡＭＶＰインデックス、および、
（ｃ）ゼロの動きベクトルから当該ゼロの動きベクトルに最も近いＡＭＶＰ予測動きベクトルを減じた差分動きベクトル。
【００９７】
ビット数優先推定器１０１Ｂ２は、各ＣＵのＴＵパラメータのビット数が最小となるように、ＴＵクアッドツリー構造を決定する。つまり、ビット数優先推定器１０１Ｂ２は、最大サイズのＴＵパラメータを決定する。具体的には、ビット数優先推定器１０１Ｂ２は、各ＣＵの大きさに応じて、ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇを０または１のいずれかに決定する。例えば、ＣＵのサイズが６４×６４の場合、ビット数優先推定器１０１Ｂ２は、ＴＵパラメータを最大サイズである３２×３２に決定する。つまり、ビット数優先推定器１０１Ｂ２は、まず、ブロック分割することを示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ＝１を出力し、各３２×３２のＴＵにおいてブロック分割をしないことを示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ＝０を出力する。
【００９８】
予測器１０２Ｂは、以下の（１）または（２）に基づいて、ＣＵの入力画像信号に対する予測信号を出力する。
（１）画質優先推定器１０１Ｂ１が決定した、ＣＵクアッドツリー構造およびＰＵブロック予測パラメータ、
（２）ビット数優先推定器１０１Ｂ２が決定したＣＵクアッドツリー構造、並びに、ビット数優先推定器１０１Ｂ２およびＡＭＶＰ推定器１１３が決定したＰＵブロック予測パラメータ。
予測信号は、上述したイントラ予測、インター予測、またはレイヤ間予測に基づいて生成される。
【００９９】
周波数変換器１０３Ｂは、画質優先推定器１０１Ｂ１、または、ビット数優先推定器１０１Ｂ２が決定したＴＵクアッドツリー構造に基づいて、入力画像信号から予測信号を減じた予測誤差画像を、周波数変換する。そして、周波数変換器１０３Ｂは、直交変換係数（周波数変換された予測誤差画像）を出力する。
【０１００】
量子化器１０４Ｂは、直交変換係数を量子化する。そして、量子化器１０４Ｂは、係数レベルを出力する。
【０１０１】
エントロピー符号化器１０７Ｂは、ＣＵのクアッドツリー構造を示すｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ、ＰＵブロック予測パラメータ、ＴＵのクアッドツリー構造を示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇおよび係数レベルを、エントロピー符号化する。そして、エントロピー符号化器１０７Ｂは、ＥＬビットストリームを出力する。
【０１０２】
逆周波数変換／逆量子化器１０５Ｂは、係数レベルを逆量子化する。そして、逆周波数変換／逆量子化器１０５Ｂは、逆量子化して得られた直交変換係数を逆周波数変換し、再構築予測誤差画像を出力する。
【０１０３】
バッファ１０６Ｂは、ＢＬの再構築画像をアップサンプルした画像と、再構築予測誤差画像に予測信号を加えた信号とを入力とし、これらをＥＬの再構築画像として格納する。
【０１０４】
次に、ＥＬ符号化器２００Ｂの動作を説明する。ＥＬ符号化器２００Ｂの動作はステップＳ１０９を除いて、第１の実施形態と同様である。本実施形態に係るＥＬ符号化器２００Ｂは、上述したステップＳ１０９におけるＰＵブロック予測パラメータ決定の動作が、ＥＬ符号化器１００Ｂと異なる。そこで、図４に示すフローチャートを参照して、ＰＵブロック予測パラメータのうちＡＭＶＰに基づいたパラメータを決定するＡＭＶＰ推定器１１３の動作を説明する。
【０１０５】
ＡＭＶＰ推定器１１３は、ベースレイヤに関連づけられた参照ピクチャインデックスを決定する（ステップＳ２０１）。そして、ＡＭＶＰ推定器１１３は、ステップＳ２０２の処理に移行する。
【０１０６】
ＡＭＶＰ推定器１１３は、ゼロの動きベクトルに最も近いＡＭＶＰ予測動きベクトルに関連づけられたＡＭＶＰインデックスを決定する（ステップＳ２０２）。そして、ＡＭＶＰ推定器１１３は、ステップＳ２０３の処理に移行する。
【０１０７】
ＡＭＶＰ推定器１１３は、ゼロの動きベクトルから当該ゼロの動きベクトルに最も近いＡＭＶＰ予測動きベクトルを減じた差分動きベクトルを決定する（ステップＳ２０３）。
【０１０８】
そして、ＡＭＶＰ推定器１１３は、以下の（ａ）〜（ｃ）の組をＰＵブロック予測パラメータのＡＭＶＰに基づいたパラメータとして決定する。
（ａ）ベースレイヤに関連づけられた参照ピクチャインデックス、
（ｂ）ゼロの動きベクトルに最も近いＡＭＶＰ予測動きベクトルに関連づけられたＡＭＶＰインデックス、および、
（ｃ）ゼロの動きベクトルから当該ゼロの動きベクトルに最も近いＡＭＶＰ予測動きベクトルを減じた差分動きベクトル。
【０１０９】
そして、ＡＭＶＰ推定器１１３は、ＰＵブロック予測パラメータのうちＡＭＶＰに基づいたパラメータを決定する処理を終了する。
【０１１０】
第３の実施形態．
以下、本発明の第３の実施形態を図面を参照して説明する。
【０１１１】
ビット数優先圧縮領域において、ビット数が最小になることを、第２の実施形態よりもより確実に保証するために、第３の実施形態に係る映像符号化装置は、図５に示すエンコーダ構成を備える。第３の実施形態に係る映像符号化装置は、図３に示す映像符号化装置に、更に、マージ予測推定器１１４を備える構成である。
【０１１２】
図５は、本発明の第３の実施形態に係る映像符号化装置の構成を示すブロック図である。図５を参照して、ディジタル化された映像の各フレームを入力画像として、ビットストリームを出力する第３の実施形態の映像符号化装置の構成を説明する。
【０１１３】
第３の実施形態の映像符号化装置は、装置の外部から指定される矩形領域を含むＣＴＵサイズの倍数の矩形領域を生成する手段によって、画質を優先して圧縮する領域とビット数を優先して圧縮する領域の判定がＣＴＵ単位となる。これにより、それぞれの領域に好適な圧縮処理の切り替え制御が簡略化される。このＣＴＵサイズの倍数の矩形領域を生成する手段は、ＣＴＵアライン座標変換器１１１に相当する。さらに、ビット数を優先して圧縮する領域におけるブロック分割・ブロック予測パラメータを決定する手段によって、ベースレイヤを用いる最小ビット数の符号化パラメータがマージ予測を活用して一意に選択される。且つ、上記ブロック分割・ブロック予測パラメータを決定する手段によって画質が一定に保たれながら符号化パラメータの推定に必要な演算量が大幅に削減される。このブロック分割・ブロック予測パラメータを決定する手段は、ビット数優先推定器１０１Ｂ２、ＡＭＶＰ推定器１１３および後述するマージ予測推定器１１４に相当する。この結果、ビット数を優先して圧縮する領域で余ったビット数と演算量を有効活用し、画質を優先して圧縮する領域をより高画質に圧縮できる。
【０１１４】
図５に示す映像符号化装置は、ＢＬ符号化器１００Ａと、ＥＬ符号化器３００Ｂと、ダウンサンプル器１０９と、マルチプレクサ１１０とを備える。
【０１１５】
ＢＬ符号化器１００Ａの構成は、図３に示す第２の実施形態の構成と同様である。
【０１１６】
ＥＬ符号化器３００Ｂは、図３に示す第２の実施形態におけるＥＬ符号化器２００Ｂの構成に加えて、マージ予測推定器１１４を有する。
【０１１７】
以下では本実施形態の特徴部分であるＥＬ符号化器３００Ｂについて説明する。
【０１１８】
ＣＴＵアライン座標変換器１１１は、ユーザが画質優先領域として指定した矩形領域の左上（ｘ，ｙ）座標および右下（ｘ，ｙ）座標を入力とし、画質優先圧縮領域を出力する。具体的には、ＣＴＵアライン座標変換器１１１は、ユーザが指定した画質優先領域を包含する、ＣＴＵの最大の大きさの倍数に整えられた左上（ｘ，ｙ）座標および右下（ｘ，ｙ）座標を、画質優先圧縮領域として出力する。例えば、ＣＴＵが６４の倍数で、ユーザが左上（ｘ，ｙ）＝（４，４０）、右下（ｘ，ｙ）＝（４８０，３２０）と入力した場合、ＣＴＵアライン座標変換器１１１は、入力された座標を左上（０，０）、右下（５１２，３２０）に変換する。そして、ＣＴＵアライン座標変換器１１１は、変換した座標（画質優先圧縮領域）を出力する。
【０１１９】
ＣＴＵ判定器１１２は、ＣＴＵアライン座標変換器１１１から出力される画質優先圧縮領域と、現在の符号化対象のＣＴＵとを入力とする。ＣＴＵ判定器１１２は、現在の符号化対象のＣＴＵが画質優先圧縮領域に含まれるか否かを判定し、制御信号を出力する。
【０１２０】
現在の符号化対象のＣＴＵが画質優先圧縮領域に含まれない場合、ＣＴＵ判定器１１２は、以下の（ｉ）、（ｉｉ）、（ｉｉｉ）となるようにスイッチを制御する制御信号を出力する。
（ｉ）ビット数優先推定器１０１Ｂ２に、現在の符号化対象のＣＴＵが入力される。
（ｉｉ）マージ予測推定器１１４の出力が予測器１０２Ｂおよびエントロピー符号化器１０７Ｂに入力される。
（ｉｉｉ）画質優先推定器１０１Ｂ２が、バッファ１０６Ｂから、バッファ１０６Ｂに格納されたデータを取得可能となる。
そして、現在の符号化対象のＣＴＵの画質を一定に保ちつつそのビット数が最小となり、かつ符号化処理が効率化されるように、ビット数優先推定器１０１Ｂ２、ＡＭＶＰ推定器１１３およびマージ予測推定器１１４がＣＴＵ毎に、以下の（Ａ）〜（Ｃ）を決定する。（Ａ）ＣＵクアッドツリー構造、
（Ｂ）ＰＵブロック予測パラメータ、および
（Ｃ）ＴＵクアッドツリー構造。
【０１２１】
ビット数優先推定器１０１Ｂ２は、現在の符号化対象のＣＴＵのＣＵ分割数が最小となるように、ＣＵクアッドツリー構造を決定する。ビット数優先推定器１０１Ｂ２は、例えば、ＣＴＵのサイズが６４×６４の場合、ＣＵのサイズを６４×６４のサイズに決定する。つまり、ビット数優先推定器１０１Ｂ２は、ブロック分割をしないことを示すｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ＝０を出力する。
【０１２２】
ビット数優先推定器１０１Ｂ２は、各ＣＵにおいて、そのビット数が最小となるように、ＰＵブロック予測パラメータのうちのブロック分割形状を決定する。例えば、ビット数優先推定器１０１Ｂ２は、ＰＵの分割形状を、分割数が少ない２Ｎ×２Ｎに決定する。さらに、ビット数優先推定器１０１Ｂ２は、各ＰＵにおいて、一定の画質に保つように、イントラ予測ではなく、レイヤ間予測を選択する。ＰＵブロック予測パラメータのうち、ＡＭＶＰに基づいたパラメータはＡＭＶＰ推定器１１３によって決定され、ＰＵブロック予測パラメータのうち、マージモードに基づいたパラメータは、マージ予測推定器１１４によって決定される。
【０１２３】
ＡＭＶＰ推定器１１３は、ＡＭＶＰに基づき、以下の（ａ）〜（ｃ）の組をＰＵブロック予測パラメータのＡＭＶＰに基づいたパラメータとして出力する。
（ａ）ベースレイヤに関連づけられた参照ピクチャインデックス、
（ｂ）ゼロの動きベクトルに最も近いＡＭＶＰ予測動きベクトルに関連づけられたＡＭＶＰインデックス、および、
（ｃ）ゼロの動きベクトルから当該ゼロの動きベクトルに最も近いＡＭＶＰ予測動きベクトルを減じた差分動きベクトル。
【０１２４】
マージ予測推定器１１４は、ベースレイヤに関連づけられた参照ピクチャインデックスとゼロの動きベクトルに関連づけられたマージ候補インデックスとが存在する場合に、マージフラグと当該マージ候補インデックスの組を出力する。このマージフラグは、マージ予測が有効であることを示す。また、取得部１１４は、マージフラグと当該マージ候補インデックスの組をＰＵブロック予測パラメータのマージモードに基づいたパラメータとして出力する。
【０１２５】
ビット数優先推定器１０１Ｂ２は、各ＣＵのＴＵパラメータのビット数が最小となるように、ＴＵクアッドツリー構造を決定する。つまり、ビット数優先推定器１０１Ｂ２は、最大サイズのＴＵパラメータを決定する。具体的には、ビット数優先推定器１０１Ｂ２は、各ＣＵの大きさに応じて、ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇを０または１のいずれかに決定する。例えば、ＣＵのサイズが６４×６４の場合、ビット数優先推定器１０１Ｂ２は、ＴＵパラメータを最大サイズである３２×３２に決定する。つまり、ビット数優先推定器１０１Ｂ２は、まず、ブロック分割することを示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ＝１を出力し、各３２×３２のＴＵにおいてブロック分割をしないことを示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ＝０を出力する。
【０１２６】
予測器１０２Ｂは、以下の（１）または（２）に基づいて、ＣＵの入力画像信号に対する予測信号を出力する。
（１）画質優先推定器１０１Ｂ１が決定した、ＣＵクアッドツリー構造およびＰＵブロック予測パラメータ、
（２）ビット数優先推定器１０１Ｂ２が決定したＣＵクアッドツリー構造、並びに、ビット数優先推定器１０１Ｂ２およびＡＭＶＰ推定器１１３およびマージ予測推定器１１４が決定したＰＵブロック予測パラメータ。
予測信号は、上述したイントラ予測、インター予測、またはレイヤ間予測に基づいて生成される。
【０１２７】
周波数変換器１０３Ｂは、画質優先推定器１０１Ｂ１、または、ビット数優先推定器１０１Ｂ２が決定したＴＵクアッドツリー構造に基づいて、入力画像信号から予測信号を減じた予測誤差画像を、周波数変換する。そして、周波数変換器１０３Ｂは、直交変換係数（周波数変換された予測誤差画像）を出力する。
【０１２８】
量子化器１０４Ｂは、直交変換係数を量子化する。そして、量子化器１０４Ｂは、係数レベルを出力する。
【０１２９】
エントロピー符号化器１０７Ｂは、ＣＵのクアッドツリー構造を示すｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ、ＰＵブロック予測パラメータ、ＴＵのクアッドツリー構造を示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇおよび係数レベルを、エントロピー符号化する。そして、エントロピー符号化器１０７Ｂは、ＥＬビットストリームを出力する。
【０１３０】
逆周波数変換／逆量子化器１０５Ｂは、係数レベルを逆量子化する。そして、逆周波数変換／逆量子化器１０５Ｂは、逆量子化して得られた直交変換係数を逆周波数変換し、再構築予測誤差画像を出力する。
【０１３１】
バッファ１０６Ｂは、ＢＬの再構築画像をアップサンプルした画像と、再構築予測誤差画像に予測信号を加えた信号とを入力とし、これらをＥＬの再構築画像として格納する。
【０１３２】
次に、ＥＬ符号化器３００Ｂの動作を説明する。ＥＬ符号化器３００Ｂの動作は、ＰＵブロック予測パラメータ決定の動作を除いて、第２の実施形態と同様である。そこで、図６に示すフローチャートを参照して、ＰＵブロック予測パラメータのうちマージモードに基づいたパラメータを決定するマージ予測推定器１１４の動作を説明する。
【０１３３】
マージ予測推定器１１４は、ＡＭＶＰ推定器１１３がステップＳ２０１〜Ｓ２０３の処理を実行した後、以下のステップＳ３０１〜Ｓ３０３の処理を実行する。
【０１３４】
マージ予測推定器１１４は、ベースレイヤに関連づけられた参照ピクチャインデックスとゼロの動きベクトルに関連づけられたマージ候補インデックスとが存在するかを確認する（ステップＳ３０１）。参照ピクチャインデックスとマージ候補インデックスとが存在する場合、マージ予測が有効であると判定する。マージ予測が有効である場合（ステップＳ３０１にてＹｅｓ）には、マージ予測推定器１１４は、ステップＳ３０２の処理に移行する。そうでない場合（ステップＳ３０１にてＮｏ）には、マージ予測推定器１１４は、ＰＵブロック予測パラメータのうちマージモードに基づいたパラメータを決定する処理を終了する。
【０１３５】
マージ予測推定器１１４は、マージ予測が有効であることを示すマージフラグを決定する（ステップＳ３０２）。そして、マージ予測推定器１１４は、ステップＳ３０３の処理に移行する。
【０１３６】
マージ予測推定器１１４は、マージ予測の際に使用する、ゼロの動きベクトルに関連づけられたマージ候補インデックスを決定する（ステップＳ３０３）。
【０１３７】
そして、マージ予測推定器１１４は、マージ予測が有効であることを示すマージフラグ、および、マージ候補インデックスの組をＰＵブロック予測パラメータのうちのマージモードに基づいたパラメータとして決定し、ＰＵブロック予測パラメータのうちのマージモードに基づいたパラメータを決定する処理を終了する。
【０１３８】
第４の実施形態．
以下、本発明の第４の実施形態を図面を参照して説明する。
【０１３９】
ビット数優先圧縮領域において、ビット数が最小になることを第１、２または３の実施形態よりもより確実に保証するために、第４の実施形態に係る映像符号化装置は、図７に示すエンコーダ構成を備える。第４の実施形態に係る映像符号化装置は、図１に示す映像符号化装置に、更に、予測誤差切捨器１１５が設けられる。
【０１４０】
図７は、本発明の第４の実施形態に係る映像符号化装置の構成の一例を示すブロック図である。図７を参照して、ディジタル化された映像の各フレームを入力画像として、ビットストリームを出力する第４の実施形態の映像符号化装置の構成を説明する。
【０１４１】
第４の実施形態に係る映像符号化装置は、装置の外部から指定される矩形領域を含むＣＴＵサイズの倍数の矩形領域を生成する手段によって、画質を優先して圧縮する領域とビット数を優先して圧縮する領域の判定がＣＴＵ単位となる。これにより、それぞれの領域に好適な圧縮処理の切り替え制御が簡略化される。このＣＴＵサイズの倍数の矩形領域を生成する手段は、ＣＴＵアライン座標変換器１１１に相当する。さらに、ビット数を優先して圧縮する領域におけるブロック分割・ブロック予測パラメータを決定する手段によって、ベースレイヤを用いる最小ビット数の符号化パラメータが一意に選択される。且つ、ブロック分割・ブロック予測パラメータを決定する手段によって、画質が一定に保たれながら符号化パラメータの推定に必要な演算量が大幅に削減される。このブロック分割・ブロック予測パラメータを決定する手段は、ビット数優先推定器１０１Ｂ２に相当する。さらに、予測誤差信号を強制的に０にする予測誤差切捨手段（後述する予測誤差切捨器１１５に相当）によって、ビット数を優先して圧縮する領域の符号化に必要なビット数が大幅に削減される。この結果、ビット数を優先して圧縮する領域で余ったビット数と演算量を有効活用し、画質を優先して圧縮する領域をより高画質に圧縮できる。
【０１４２】
図７に示す映像符号化装置は、ＢＬ符号化器１００Ａと、ＥＬ符号化器４００Ｂと、ダウンサンプル器１０９と、マルチプレクサ１１０とを備える。
【０１４３】
ＢＬ符号化器１００Ａの構成は、図１に示す第１の実施形態における構成と同様である。
【０１４４】
ＥＬ符号化器４００Ｂは、図１に示す第１の実施形態におけるＥＬ符号化器１００Ｂの構成に加えて、予測誤差切捨器１１５を有する。
【０１４５】
以下では本実施形態の特徴部分であるＥＬ符号化器４００Ｂについて説明する。
【０１４６】
ＣＴＵアライン座標変換器１１１は、ユーザが画質優先領域として指定した矩形領域の左上（ｘ，ｙ）座標および右下（ｘ，ｙ）座標を入力とし、画質優先圧縮領域を出力する。具体的には、ＣＴＵアライン座標変換器１１１は、ユーザが指定した画質優先領域を包含する、ＣＴＵの最大の大きさの倍数に整えられた左上（ｘ，ｙ）座標および右下（ｘ，ｙ）座標を、画質優先圧縮領域として出力する。例えば、ＣＴＵが６４の倍数で、ユーザが左上（ｘ，ｙ）＝（４，４０）、右下（ｘ，ｙ）＝（４８０，３２０）と入力した場合、ＣＴＵアライン座標変換器１１１は、左上（０，０）、右下（５１２，３２０）に変換する。そして、ＣＴＵアライン座標変換器１１１は、変換した座標（画質優先圧縮領域）を出力する。
【０１４７】
ＣＴＵ判定器１１２は、ＣＴＵアライン座標変換器１１１から出力される画質優先圧縮領域と、現在の符号化対象のＣＴＵを入力とする。ＣＴＵ判定器１１２は、現在の符号化対象のＣＴＵが画質優先圧縮領域に含まれるか否かを判定し、制御信号を出力する。
【０１４８】
現在の符号化対象のＣＴＵが画質優先圧縮領域に含まれない場合、ＣＴＵ判定器１１２は、以下の（ｉ）、（ｉｉ）、（ｉｉｉ）となるようにスイッチを制御する制御信号を出力する。
（ｉ）ビット数優先推定器１０１Ｂ２に、現在の符号化対象のＣＴＵが入力される。
（ｉｉ）ビット数優先推定器１０１Ｂ２の出力が予測器１０２Ｂおよびエントロピー符号化器１０７Ｂに入力される。
（ｉｉｉ）画質優先推定器１０１Ｂ２が、バッファ１０６Ｂからバッファ１０６Ｂに格納されたデータを取得可能となる。
そして、現在の符号化対象のＣＴＵの画質を一定に保ちつつそのビット数が最小となり、かつ、符号化処理が効率化されるように、ビット数優先推定器１０１Ｂ２がＣＴＵ毎に、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータ、およびＴＵクアッドツリー構造を決定する。
【０１４９】
ビット数優先推定器１０１Ｂ２は、現在の符号化対象のＣＴＵのＣＵ分割数が最小となるように、ＣＵクアッドツリー構造を決定する。ビット数優先推定器１０１Ｂ２は、例えば、ＣＴＵのサイズが６４×６４の場合、ＣＵのサイズを６４×６４のサイズに決定される。つまり、ビット数優先推定器１０１Ｂ２は、ブロック分割をしないことを示すｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ＝０を出力する。
【０１５０】
ビット数優先推定器１０１Ｂ２は、各ＣＵにおいて、そのビット数が最小となるように、ＰＵブロック予測パラメータのうちのブロック分割形状を決定する。例えば、ビット数優先推定器１０１Ｂ２は、ＰＵの分割形状を、分割数が少ない２Ｎ×２Ｎに決定する。さらに、ビット数優先推定器１０１Ｂ２は、各ＰＵにおいて、一定の画質に保つように、イントラ予測ではなく、レイヤ間予測を選択する。なお、本実施形態におけるビット数優先推定器１０１Ｂ２は、図３に示すＡＭＶＰ推定器１１３および図５に示すマージ予測推定器１１４の機能を有する。つまり、本実施形態では、ＰＵブロック予測パラメータのうち、ＡＭＶＰまたはマージモードに基づいたパラメータは次の２通りである。
【０１５１】
１つは、ＡＭＶＰに基づき決定された、以下の（ａ）〜（ｃ）の組である。
（ａ）ベースレイヤに関連づけられた参照ピクチャインデックス、
（ｂ）ゼロの動きベクトルに最も近いＡＭＶＰ予測動きベクトルに関連づけられたＡＭＶＰインデックス、および、
（ｃ）ゼロの動きベクトルから当該ゼロの動きベクトルに最も近いＡＭＶＰ予測動きベクトルを減じた差分動きベクトル。
【０１５２】
もう１つは、ベースレイヤに関連づけられた参照ピクチャインデックスとゼロの動きベクトルに関連づけられたマージ候補インデックスとが存在する場合に、マージ予測が有効であることを示すマージフラグと当該マージ候補インデックスの組である。
【０１５３】
ビット数優先推定器１０１Ｂ２は、各ＣＵのＴＵパラメータのビット数が最小となるように、ＴＵクアッドツリー構造を決定する。つまり、ビット数優先推定器１０１Ｂ２は、最大サイズのＴＵパラメータを決定する。具体的には、ビット数優先推定器１０１Ｂ２は、各ＣＵの大きさに応じて、ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇを０または１のいずれかに決定する。例えば、ＣＵのサイズが６４×６４の場合、ビット数優先推定器１０１Ｂ２は、ＴＵパラメータを最大サイズである３２×３２に決定する。つまり、ビット数優先推定器１０１Ｂ２は、まず、ブロック分割することを示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ＝１を出力し、各３２×３２のＴＵにおいてブロック分割をしないことを示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ＝０を出力する。
【０１５４】
予測器１０２Ｂは、画質優先推定器１０１Ｂ１、またはビット数優先推定器１０１Ｂ２が決定したＣＵクアッドツリー構造およびＰＵブロック予測パラメータに基づいて、ＣＵの入力画像信号に対する予測信号を出力する。予測信号は、上述したイントラ予測、インター予測、またはレイヤ間予測に基づいて生成される。
【０１５５】
周波数変換器１０３Ｂは、画質優先推定器１０１Ｂ１、またはビット数優先推定器１０１Ｂ２が決定したＴＵクアッドツリー構造に基づいて、入力画像信号から予測信号を減じた予測誤差画像を、周波数変換する。そして、周波数変換器１０３Ｂは、直交変換係数（周波数変換された予測誤差画像）を出力する。
【０１５６】
量子化器１０４Ｂは、直交変換係数を量子化する。そして、量子化器１０４Ｂは、係数レベルを出力する。
【０１５７】
予測誤差切捨器１１５は、予測誤差信号を入力とし、強制的に０にした予測誤差信号を出力する。つまり、この処理は、エントロピー符号化器１０７Ｂに入力する係数レベルの値を全て０にするのと等価である。
【０１５８】
エントロピー符号化器１０７Ｂは、ＣＵのクアッドツリー構造を示すｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ、ＰＵブロック予測パラメータ、ＴＵのクアッドツリー構造を示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇおよび係数レベルを、エントロピー符号化し、ＥＬビットストリームを出力する。
【０１５９】
逆周波数変換／逆量子化器１０５Ｂは、係数レベルを逆量子化する。そして、逆周波数変換／逆量子化器１０５Ｂは、逆量子化して得られた直交変換係数を逆周波数変換し、再構築予測誤差画像を出力する。
【０１６０】
バッファ１０６Ｂは、ＢＬの再構築画像をアップサンプルした画像と、再構築予測誤差画像に予測信号を加えた信号とを入力とし、これらをＥＬの再構築画像として格納する。
【０１６１】
次に、図８に示すフローチャートを参照して、各ＣＴＵに対するＥＬ符号化器４００Ｂの動作（入力画像の符号化処理）について説明する。
【０１６２】
ＣＴＵアライン座標変換器１１１は、ユーザが画質優先領域として指定した矩形領域の左上（ｘ，ｙ）座標および右下（ｘ，ｙ）座標を受け取る。そして、ＣＴＵアライン座標変換器１１１は、ユーザが指定した画質優先領域を包含する、ＣＴＵの最大の大きさの倍数に整えられた左上（ｘ，ｙ）座標および右下（ｘ，ｙ）座標を出力する。例えば、ＣＴＵが６４の倍数で、ユーザが左上（ｘ，ｙ）＝（４，４０）、右下（ｘ，ｙ）＝（４８０，３２０）と入力した場合、ＣＴＵアライン座標変換器１１１は、左上（０，０）、右下（５１２，３２０）の座標を出力する（ステップＳ４０１）。そして、ＥＬ符号化器４００Ｂは、ステップＳ４０２の処理に移行する。
【０１６３】
ＣＴＵ判定器１１２は、現在の符号化対象のＣＴＵが画質優先圧縮領域に含まれるか否かを判定する（ステップＳ４０２）。画質優先圧縮領域に含まれる場合（ステップＳ４０２にてＹｅｓ）、ＥＬ符号化器４００Ｂは、ステップＳ４０３の処理に移行する。画質優先圧縮領域に含まれない場合（ステップＳ４０２にてＮｏ）、ＥＬ符号化器４００Ｂは、ステップＳ４１０の処理に移行する。
【０１６４】
ステップＳ４０２にてＹｅｓの場合、画質優先推定器１０１Ｂ１は、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータ、およびＴＵクアッドツリー構造を決定する（ステップＳ４０３）。ＣＵクアッドツリー構造は、現在の符号化対象のＣＴＵのＣＵがレート歪みコストが最小化されるように決定される。ＰＵブロック予測パラメータは、各ＣＵのレート歪みコストが最小化されるように決定される。さらに、ＴＵクアッドツリー構造は、各ＣＵのレート歪みコストが最小化されるように決定される。そして、ＥＬ符号化器４００Ｂは、ステップＳ４０４の処理に移行する。
【０１６５】
ステップＳ４０２にてＮｏの場合、ビット数優先推定器１０１Ｂ２は、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータ、およびＴＵクアッドツリー構造を一意に決定する（ステップＳ４１０）。ＣＵクアッドツリー構造は、現在の符号化対象のＣＴＵのＣＵ分割数が最小となるように決定される。ＰＵブロック予測パラメータは、各ＣＵにおいて、ＰＵパラメータのビット数が最小となるように決定される。さらに、ビット数優先推定器１０１Ｂ２は、各ＰＵにおいて、一定の画質に保つように、イントラ予測やインター予測ではなく、レイヤ間予測を選択する。ＴＵクアッドツリー構造は、各ＣＵのＴＵパラメータのビット数が最小となるように決定される。つまり、ビット数優先推定器１０１Ｂ２は、最大サイズのＴＵパラメータを選択する。そして、ＥＬ符号化器４００Ｂは、ステップＳ４０４の処理に移行する。
【０１６６】
ステップＳ４０３またはステップＳ４１０終了後、予測器１０２Ｂは、決定されたＰＵブロック予測パラメータに基づいて、予測信号を生成し、出力する（ステップＳ４０４）。そして、ＥＬ符号化器４００Ｂは、ステップＳ４０５の処理に移行する。
【０１６７】
ＥＬ符号化器４００Ｂは、ＣＴＵ判定器１１２における現在の符号化対象のＣＴＵが画質優先圧縮領域に含まれるか否かを判定する（ステップＳ４０５）。画質優先圧縮領域に含まれる場合（ステップＳ４０５にてＹｅｓ）、ＥＬ符号化器４００Ｂは、ステップＳ４０６の処理に移行する。画質優先圧縮領域に含まれない場合（ステップＳ４０５にてＮｏ）、ＥＬ符号化器４００Ｂは、ステップＳ４１１に移行する。
【０１６８】
ステップＳ４０５にてＹｅｓの場合、入力画像信号から予測信号を減じることによって、予測誤差画像が生成される（ステップＳ４０６）。このとき、ＥＬ符号化器４００ＢのＣＴＵ判定器１１２は、予測誤差信号が、周波数変換器１０３Ｂに入力されるように、且つ、量子化器１０４Ｂの出力が逆周波数変換／逆量子化器１０５Ｂおよびエントロピー符号化器１０７Ｂに入力されるように、制御する制御信号を出力する。これにより、入力画像信号と予測信号との差分である予測誤差画像は、周波数変換器１０３Ｂに入力される。そして、ＥＬ符号化器４００Ｂは、ステップＳ４０７の処理に移行する。
【０１６９】
周波数変換器１０３Ｂは、決定されたＴＵクアッドツリー構造に基づいて、予測誤差画像を周波数変換する。そして、周波数変換器１０３Ｂは、直交変換係数（周波数変換された予測誤差画像）を出力する。量子化器１０４Ｂは、直交変換係数を量子化し、係数レベルを出力する（ステップＳ４０７）。そして、ＥＬ符号化器４００Ｂは、ステップＳ４０８の処理に移行する。
【０１７０】
ステップＳ４０５にてＮｏの場合、予測誤差切捨器１１５は、予測誤差信号を強制的に０にする（ステップＳ４１１）。このとき、ＥＬ符号化器４００ＢのＣＴＵ判定器１１２は、予測誤差信号が、予測誤差切捨器１１５に入力されるように、且つ、予測誤差切捨器１１５の出力が逆周波数変換／逆量子化器１０５Ｂおよびエントロピー符号化器１０７Ｂに入力されるように、制御する制御信号を出力する。そして、ＥＬ符号化器４００Ｂは、ステップＳ４０８の処理に移行する。
【０１７１】
ステップＳ４０７またはステップＳ４１１終了後、エントロピー符号化器１０７Ｂは、ＣＵのクアッドツリー構造を示すｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ、ＰＵブロック予測パラメータ、ＴＵクアッドツリー構造を示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇおよび係数レベルを、エントロピー符号化する（ステップＳ４０８）。そして、エントロピー符号化器１０７Ｂは、ＥＬビットストリームを出力する。そして、ＥＬ符号化器４００Ｂは、ステップＳ４０９の処理に移行する。
【０１７２】
ＥＬ符号化器４００Ｂは、入力画像に含まれる全てのＣＴＵを処理したか否かを判定する（ステップＳ４０９）。ＥＬ符号化器４００Ｂは、全てのＣＴＵを処理した場合（ステップＳ４０９にてＹｅｓ）、入力画像の符号化処理を終了する。そうでない場合（ステップＳ４０９にてＮｏ）、ＥＬ符号化器４００Ｂは、次のＣＴＵを処理するために、ステップＳ４０２の処理に移行する。
【０１７３】
なお、本実施形態では、ビット数優先推定器１０１Ｂ２が、ＡＭＶＰ推定器１１３およびマージ予測推定器１１４の機能を有する場合を例にしたが、ＥＬ符号化器４００Ｂが、ＡＭＶＰ推定器１１３およびマージ予測推定器１１４を有してもよいことは言うまでもない。つまり、第２の実施の形態に係るＥＬ符号化器２００Ｂまたは第３の実施の形態に係るＥＬ符号化器３００Ｂが、予測誤差切捨器１１５を更に備える構成であってもよいことは言うまでもない。
【０１７４】
第５の実施形態．
以下、本発明の第５の実施形態を図面を参照して説明する。
【０１７５】
図９は、本発明の第５の実施形態に係る映像送受信システムの構成の一例を示すブロック図である。図９を参照して、第５の実施形態に係る映像送受信システムの構成を説明する。
【０１７６】
第５の実施形態の映像送受信システムは、外部から指定される矩形領域情報を受信する画像生成部（後述する画像生成部５２０に相当）によって、矩形領域情報を含み、かつ、映像全体の画質を一定に保ちながら矩形領域のみ高画質な表示映像を容易に生成できる。これより、受信側は、復号映像に含まれる矩形領域を視認しやすく表示制御することが可能となる。
【０１７７】
図９に示す映像送受信システムは、送出側にＳＨＶＣエンコーダ１００を備え、受信側にＳＨＶＣデコーダ５１０と画像生成部５２０を備える。
【０１７８】
ＳＨＶＣエンコーダ１００は、第１、２、３または４の実施形態の映像符号化装置の構成を備える。ＳＨＶＣエンコーダ１００は、映像と送出側のユーザによって入力された矩形領域情報（以後、ユーザデータとも呼ぶ）とを入力とする。ＳＨＶＣエンコーダ１００は、画面全体の最低画質を一定に保ちながら、演算量を増やすことなく、ユーザが指定した画質優先領域をより高画質に圧縮し、ビットストリームを出力する。
【０１７９】
ＳＨＶＣデコーダ５１０は、ビットストリームを入力とし、復号映像を出力する。ここでは、ＳＨＶＣデコーダ５１０は、ネットワークを介してＳＨＶＣエンコーダ１００から伝送されるビットストリームを受信する。
【０１８０】
画像生成部５２０は、ＳＨＶＣデコーダ５１０が出力する復号映像とユーザデータを入力とし、矩形領域情報を含み、かつ、映像全体の画質を一定に保ちながら矩形領域情報に対応する矩形領域のみを高画質とする表示映像を出力する。ここでは、ユーザデータは、送出側からネットワークを介して画像生成部５２０に伝送される。
【０１８１】
なお、矩形領域情報は、受信側のユーザからの入力であってもよいことは言うまでもない。
【０１８２】
第６の実施形態．
以下、本発明の第６の実施形態を図面を参照して説明する。
【０１８３】
図１０は、本発明の第６の実施形態に係る表示映像生成装置の構成の例を示すブロック図である。図１０には、本発明の第６の実施形態に係る表示映像生成装置の概要が示されている。図１０を参照して、第６の実施形態に係る表示映像生成装置の構成を説明する。
【０１８４】
第６の実施形態に係る表示映像生成装置は、ユーザから送られる制御信号を受信する画像生成部（後述する画像生成部６２０に相当）によって、ユーザのニーズに応じた映像を容易に表示できる。
【０１８５】
図１０に示す表示映像生成装置６００は、ＳＨＶＣデコーダ６１０および画像生成部６２０を備える。
【０１８６】
ＳＨＶＣデコーダ６１０は、ビットストリームを入力とし、復号映像を出力する。
【０１８７】
画像生成部６２０は、ＳＨＶＣデコーダ６１０が出力する復号映像、ユーザ（例えば、図９に示す映像送受信システムにおける送出側のユーザ）によって入力されるユーザデータ、および、ユーザ（例えば、図９に示す映像送受信システムにおける受信側のユーザ）によって入力される制御信号を入力とする。画像生成部６２０は、表示映像を出力する。制御信号は、例えば図１０に示すように、ユーザがリモートコントローラ等を操作することにより、表示映像生成装置６００に入力される。
【０１８８】
例えば、ユーザが通常表示を指定した場合、ＳＨＶＣデコーダ６１０が、スケーラブルビットストリームからベースレイヤビットストリームのみを復号する。そして、画像生成部６２０が、ディスプレイサイズに拡大されたベースレイヤビットストリームの復号映像（図１０における左側の映像）を表示映像としてディスプレイ装置等に出力する。
【０１８９】
また例えば、ユーザが詳細表示を指定した場合、ＳＨＶＣデコーダ６１０が、スケーラブルビットストリームからベースレイヤビットストリームとユーザデータで指定される矩形領域を含むエンハンスメントビットストリームとを復号する。そして、画像生成部６２０が、ベースレイヤビットストリームの復号映像と矩形領域を含むエンハンスメントビットストリームの復号映像（図１０における中央の映像）とを表示映像としてディスプレイ装置等に出力する。
【０１９０】
また例えば、ユーザが制御信号により矩形領域表示を指定した場合、画像生成部６２０は、矩形領域を重畳した復号映像（図１０における右側の映像）を表示映像としてディスプレイ装置等に出力する。なお、画像生成部６２０は、図１０では、ベースレイヤビットストリームの復号映像と矩形領域を含むエンハンスメントビットストリームの復号映像とに矩形領域情報を重畳させているが、本実施形態はこれに限定されない。画像生成部６２０は、制御信号に基づいて、矩形領域を含むエンハンスメントビットストリームの復号映像に矩形領域情報を重畳し、矩形領域情報を重畳した当該復号映像をディスプレイサイズに拡大して表示させてもよい。
【０１９１】
なお、上記の各実施形態において、外部から指定される矩形領域情報は複数であってもよいことは言うまでもない。
【０１９２】
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【０１９３】
図１１に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
【０１９４】
図１１に示された情報処理システムにおいて、プログラムメモリ１００２には、第１、２、３、または４の各実施形態のそれぞれの図面に示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、上記の各実施形態に示された映像符号化装置の機能を実現する。
【０１９５】
次に、本発明の各実施形態の概要を説明する。図１２は、本発明の各実施形態に係る映像符号化装置の主要部の一例を示すブロック図である。図１３は、本発明の各実施形態に係る他の映像符号化装置の主要部を示すブロック図である。
【０１９６】
図１２に示すように、本発明の各実施形態に係る映像符号化装置は、入力画像がダウンサンプルされた低解像度画像がベースレイヤとして符号化されたベースレイヤビットストリームと入力画像がエンハンスメントレイヤとして符号化されたエンハンスメントレイヤビットストリームとが多重化されたスケーラブルビットストリームを出力する映像符号化装置である。映像符号化装置は、矩形領域生成部１１と、判定部１２と、予測部１３とを備える。
【０１９７】
矩形領域生成部１１は、特定の矩形領域を含む、ＣＴＵサイズの倍数の矩形領域を生成する。矩形領域生成部１１の一例として、図１に示すＣＴＵアライン座標変換器１１１が挙げられる。
【０１９８】
判定部１２は、符号化対象のＣＴＵがＣＴＵサイズの倍数の矩形領域に含まれるか否かを判定する。判定部１２の一例として、図１に示すＣＴＵ判定器１１２が挙げられる。
【０１９９】
予測部１３は、符号化対象のＣＴＵがＣＴＵサイズの倍数の矩形領域に含まれない場合、符号化対象のＣＴＵを最小のＣＵブロック数で分割し、さらに、その各ＣＵをゼロの動きベクトルのベースレイヤからの予測信号で予測する。予測部１３の一例として、図１に示すビット数優先推定器１０１Ｂ２が挙げられる。また、予測部１３の他の一例として、図３に示すビット数優先推定器１０１Ｂ２およびＡＭＶＰ推定器１１３、または、図５に示すビット数優先推定器１０１Ｂ２、ＡＭＶＰ推定器１１３およびマージ予測推定器１１４が挙げられる。
【０２００】
そのような構成によれば、画質を優先して圧縮する領域とビット数を優先して圧縮する領域の判定がＣＴＵ単位となり、それぞれの領域に好適な圧縮処理の切り替え制御が簡略化される。また、ベースレイヤを用いる最小ビット数の符号化パラメータが一意に選択され、尚且つ、画質が一定に保たれながら符号化パラメータの推定に必要な演算量が大幅に削減される。この結果、映像符号化装置は、ビット数を優先して圧縮する領域で余ったビット数と演算量を有効活用し、画質を優先して圧縮する領域をより高画質に圧縮することができる。
【０２０１】
また、予測部１３が、以下の（１）〜（３）の組をブロック予測パラメータのＡＭＶＰに基づいたパラメータとして決定してもよい。
（１）ベースレイヤ予測に関連づけられた参照ピクチャインデックス、
（２）ゼロの動きベクトルに最も近いＡＭＶＰ予測動きベクトルに関連づけられたＡＭＶＰインデックス、および、
（３）ゼロの動きベクトルからゼロの動きベクトルに最も近いＡＭＶＰ予測動きベクトルを減じた差分動きベクトル。
そのような構成によれば、ビット数優先圧縮領域において、ビット数が最小になることをより確実に保証することができる。
【０２０２】
また、ベースレイヤ予測に関連づけられた参照ピクチャインデックスとゼロの動きベクトルに関連づけられたマージ候補インデックスが存在する場合、予測部１３が、マージフラグとマージ候補インデックスをパラメータとして決定してもよい。このマージフラグは、マージ予測が有効であることを示す。また、予測部１３が決定するパラメータは、ブロック予測パラメータのマージモードに基づいたパラメータである。そのような構成によれば、ビット数優先圧縮領域において、ビット数が最小になることをより確実に保証することができる。
【０２０３】
また、図１３に示すように、映像符号化装置は、ＣＴＵサイズの倍数の矩形領域に含まれないＣＴＵにおいて、予測誤差信号を強制的に０にする予測誤差切捨部１４（一例として、図７に示す予測誤差切捨器１１５）を有してもよい。そのような構成によれば、ビット数優先圧縮領域において、ビット数が最小になることをより確実に保証することができる。
【０２０４】
また、上記の実施形態には、以下のような映像送受信システムも開示されている。図１４は、本発明の各実施形態に係る映像送受信システムの主要部を示すブロック図である。図１４に示すように、映像送受信システムは、映像符号化装置１０と、映像復号装置２１と、画像生成部２２とを備える。映像符号化装置１０の一例として、図１、２、３または４に示す映像符号化装置が挙げられる。映像復号装置２１は、映像符号化装置１０が出力するスケーラブルビットストリームを受信して復号する。映像復号装置２１の一例として、図９に示すＳＨＶＣデコーダ５１０または図１０に示すＳＨＶＣデコーダ６１０が挙げられる。画像生成部２２は、復号された画像と特定の矩形領域を示す矩形領域情報とを含む画像を生成する。画像生成部２２の一例として、図９に示す画像生成部５２０または図１０に示す画像生成部６２０が挙げられる。
【０２０５】
また、上記の実施形態には、以下のような表示映像生成装置も開示されている。本発明の各実施形態に係るによる表示映像生成装置は、図１４に示すように、スケーラブルビットストリームの復号映像と矩形領域情報に基づいて表示映像を生成する表示映像生成装置であって、映像復号装置２１と、画像生成部２２とを備える。
【０２０６】
ユーザが通常表示を指定した場合、映像復号装置２１が、スケーラブルビットストリームからベースレイヤビットストリームを復号し、画像生成部２２が、ディスプレイサイズに拡大されたベースレイヤビットストリームの表示映像を生成する。
【０２０７】
ユーザが詳細表示を指定した場合、映像復号装置２１が、スケーラブルビットストリームからベースレイヤビットストリームと矩形領域を含むエンハンスメントレイヤビットストリームとを復号する。また、画像生成部２２が、ベースレイヤビットストリームの復号映像と矩形領域を含むエンハンスメントレイヤビットストリームの復号映像とを生成する。
【０２０８】
ユーザが矩形領域表示を指定した場合、画像生成部２２が、復号映像に矩形領域を重畳させる。
【０２０９】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１４年６月１２日に出願された日本出願特願２０１４−１２１６３５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０２１０】
１０  映像符号化装置
１１  矩形領域生成部
１２  判定部
１３  予測部
１４  予測誤差切捨部
２１  映像復号装置
２２  画像生成部
１００  ＳＨＶＣエンコーダ
１００Ａ、９００Ａ  ＢＬ符号化器
１００Ｂ、２００Ｂ、３００Ｂ、４００Ｂ、９００Ｂ  ＥＬ符号化器
１０１Ａ、９０１Ａ、９０１Ｂ  推定器
１０２Ａ、１０２Ｂ、９０２Ａ、９０２Ｂ  予測器
１０３Ａ、１０３Ｂ、９０３Ａ、９０３Ｂ  周波数変換器
１０４Ａ、１０４Ｂ、９０４Ａ、９０４Ｂ  量子化器
１０５Ａ、１０５Ｂ、９０５Ａ、９０５Ｂ  逆周波数変換／逆量子化器
１０６Ａ、１０６Ｂ、９０６Ａ、９０６Ｂ  バッファ
１０７Ａ、１０７Ｂ、９０７Ａ、９０７Ｂ  エントロピー符号化器
１０８、９０８  アップサンプル器
１０９、９０９  ダウンサンプル器
１１１  ＣＴＵアライン座標変換器
１１２  ＣＴＵ判定器
１１３  ＡＭＶＰ推定器
１１４  マージ予測推定器
１１５  予測誤差切捨器
１０１Ｂ１  画質優先推定器
１０１Ｂ２  ビット数優先推定器
５１０、６１０  ＳＨＶＣデコーダ
５２０、６２０  画像生成部
１００１  プロセッサ
１００２  プログラムメモリ
１００３、１００４  記憶媒体
【図１】
2015190078.tif 000003
【図２】
2015190078.tif 000004
【図３】
2015190078.tif 000005
【図４】
2015190078.tif 000006
【図５】
2015190078.tif 000007
【図６】
2015190078.tif 000008
【図７】
2015190078.tif 000009
【図８】
2015190078.tif 000010
【図９】
2015190078.tif 000011
【図１０】
2015190078.tif 000012
【図１１】
2015190078.tif 000013
【図１２】
2015190078.tif 000014
【図１３】
2015190078.tif 000015
【図１４】
2015190078.tif 000016
【図１５】
2015190078.tif 000017
【図１６】
2015190078.tif 000018
【図１７】
2015190078.tif 000019
【図１８】
2015190078.tif 000020
【図１９】
2015190078.tif 000021
【図２０】
2015190078.tif 000022
【図２１】
2015190078.tif 000023
【図２２】
2015190078.tif 000024
【図２３】
2015190078.tif 000025
【手続補正書】
【提出日】平成28年11月18日(2016.11.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像がダウンサンプルされた低解像度画像がベースレイヤとして符号化されたベースレイヤビットストリームと前記入力画像がエンハンスメントレイヤとして符号化されたエンハンスメントレイヤビットストリームとが多重化されたスケーラブルビットストリームを出力する映像符号化装置であって、
特定の矩形領域を含む、ＣＴＵ（Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ）サイズの倍数の矩形領域を生成する矩形領域生成手段と、
符号化対象のＣＴＵが前記ＣＴＵサイズの倍数の矩形領域に含まれるか否かを判定する判定手段と、
前記符号化対象のＣＴＵが前記ＣＴＵサイズの倍数の矩形領域に含まれない場合、前記符号化対象のＣＴＵを最小のＣＵブロック数で分割し、さらに、その各ＣＵをゼロの動きベクトルのベースレイヤからの予測信号で予測する予測手段と、を有する
ことを特徴とする映像符号化装置。
【請求項２】
前記予測手段は、ベースレイヤ予測に関連づけられた参照ピクチャインデックス、ゼロの動きベクトルに最も近いＡＭＶＰ予測動きベクトルに関連づけられたＡＭＶＰインデックス、および、ゼロの動きベクトルから前記ゼロの動きベクトルに最も近いＡＭＶＰ予測動きベクトルを減じた差分動きベクトルの組をブロック予測パラメータに含める
請求項１記載の映像符号化装置。
【請求項３】
前記予測手段は、ベースレイヤ予測に関連づけられた参照ピクチャインデックスとゼロの動きベクトルに関連づけられたマージ候補インデックスとが存在する場合、マージ予測が有効であることを示すマージフラグと前記マージ候補インデックスをブロック予測パラメータに含める
請求項１または請求項２記載の映像符号化装置。
【請求項４】
前記ＣＴＵサイズの倍数の矩形領域に含まれないＣＴＵにおいて、予測誤差信号を強制的に０にする予測誤差切捨手段を有する
請求項１から請求項３のうちのいずれか１項に記載の映像符号化装置。
【請求項５】
請求項１から請求項４のうちのいずれか１項に記載の映像符号化装置と、
前記映像符号化装置が出力するスケーラブルビットストリームを受信して復号する映像復号装置と、
復号された画像と特定の矩形領域を示す矩形領域情報とを含む画像を生成する画像生成手段とを備える
ことを特徴とする映像送受信システム。
【請求項６】
スケーラブルビットストリームの復号映像と矩形領域情報に基づいて表示映像を生成する表示映像生成装置であって、
映像復号装置と、画像生成手段とを備え、
ユーザが通常表示を指定した場合、前記映像復号装置が、スケーラブルビットストリームからベースレイヤビットストリームを復号し、前記画像生成手段が、ディスプレイサイズに拡大されたベースレイヤビットストリームの表示映像を生成し、
ユーザが詳細表示を指定した場合、前記映像復号装置が、スケーラブルビットストリームからベースレイヤビットストリームと前記矩形領域を含むエンハンスメントレイヤビットストリームを復号し、前記画像生成手段が、ベースレイヤビットストリームの復号映像と前記矩形領域を含むエンハンスメントレイヤビットストリームの復号映像を生成し、
ユーザが矩形領域表示を指定した場合、前記画像生成手段が、復号映像に前記矩形領域を重畳させる
ことを特徴とする表示映像生成装置。
【請求項７】
入力画像がダウンサンプルされた低解像度画像がベースレイヤとして符号化されたベースレイヤビットストリームと前記入力画像がエンハンスメントレイヤとして符号化されたエンハンスメントレイヤビットストリームとが多重化されたスケーラブルビットストリームを出力する映像符号化装置における映像符号化方法であって、
特定の矩形領域を含む、ＣＴＵサイズの倍数の矩形領域を生成し、
符号化対象のＣＴＵが前記ＣＴＵサイズの倍数の矩形領域に含まれるか否かを判定し、
前記符号化対象のＣＴＵが前記ＣＴＵサイズの倍数の矩形領域に含まれない場合、前記符号化対象のＣＴＵを最小のＣＵブロック数で分割し、さらに、その各ＣＵをゼロの動きベクトルのベースレイヤからの予測信号で予測する
ことを特徴とする映像符号化方法。
【請求項８】
入力画像がダウンサンプルされた低解像度画像がベースレイヤとして符号化されたベースレイヤビットストリームと前記入力画像がエンハンスメントレイヤとして符号化されたエンハンスメントレイヤビットストリームとが多重化されたスケーラブルビットストリームを出力する映像符号化装置におけるコンピュータに、
特定の矩形領域を含む、ＣＴＵサイズの倍数の矩形領域を生成する処理と、
符号化対象のＣＴＵが前記ＣＴＵサイズの倍数の矩形領域に含まれるか否かを判定する処理と、
前記符号化対象のＣＴＵが前記ＣＴＵサイズの倍数の矩形領域に含まれない場合、前記符号化対象のＣＴＵを最小のＣＵブロック数で分割し、さらに、その各ＣＵをゼロの動きベクトルのベースレイヤからの予測信号で予測する処理とを実行させる映像符号化プログラム。
【国際調査報告】
2015190078.tif 000026
2015190078.tif 000027
2015190078.tif 000028
2015190078.tif 000029