(57)【要約】【課題】符号化時のビットレートに依存することなく、安定的に演算量を削減する。【解決手段】符号化単位サイズ決定装置は、第１サイズレイヤーにおける第１符号化コストを算出する第１符号化コスト算出部２０と、第１サイズレイヤーのサイズよりも小さいサイズである第２サイズレイヤーにおける第２符号化コストを算出する第２符号化コスト算出部２１と、第１符号化コストが第２符号化コスト以下である場合に、第１サイズレイヤーのサイズを符号化単位サイズとして決定する符号化単位サイズ決定部２２とを備えている。【選択図】図１
2014127891.tif 000002
【特許請求の範囲】
【請求項１】
画像を所定の複数のサイズに分割して符号化する画像符号化における符号化単位サイズ決定方法であって、
第１サイズレイヤーにおける第１符号化コストを算出する第１符号化コスト算出ステップと、
前記第１サイズレイヤーのサイズよりも小さいサイズである第２サイズレイヤーにおける第２符号化コストを算出する第２符号化コスト算出ステップと、
前記第１符号化コストが前記第２符号化コスト以下である場合に、前記第１サイズレイヤーのサイズを符号化単位サイズとして決定する符号化単位サイズ決定ステップと
を含むことを特徴とする符号化単位サイズ決定方法。
【請求項２】
当該符号化単位サイズ決定方法は、ＨＥＶＣ画像符号化におけるＣＵサイズ決定方法であり、
前記第１符号化コスト算出ステップは、ＣＵサイズが６４×６４レイヤーとなる第１符号化コストを算出し、
前記第２符号化コスト算出ステップは、ＣＵサイズが３２×３２レイヤーとなる第２符号化コストを算出する
ことを特徴とする請求項１に記載の符号化単位サイズ決定方法。
【請求項３】
前記符号化単位サイズ決定ステップは、
前記第１符号化コストが前記第２符号化コスト以下である場合には、６４×６４をＣＵサイズとして決定し、
前記第１符号化コストが前記第２符号化コストより大きい場合には、ＣＵサイズが１６×１６の場合の符号化コストを算出し、前記第２符号化コストと前記１６×１６符号化コストを比較し、前記第２符号化コストが前記１６×１６符号化コスト以下である場合には、３２×３２、１６×１６の中から符号化コストを最小にするＣＵパターンを選択してＣＵサイズを決定し、
前記第２符号化コストが前記１６×１６符号化コストより大きい場合には、３２×３２、１６×１６、８×８の中から符号化コストを最小にするＣＵパターンを選択してＣＵサイズを決定する
ことを特徴とする請求項２に記載の符号化単位サイズ決定方法。
【請求項４】
当該符号化単位サイズ決定方法は、ＨＥＶＣ画像符号化におけるＣＵサイズ決定方法であって、
前記第１符号化コスト算出ステップは、ＣＵサイズが６４×６４となる第１符号化コストを算出し、
前記第２符号化コスト算出ステップは、ＣＵサイズが１６×１６となる第２符号化コストを算出する
ことを特徴とする請求項１に記載の符号化単位サイズ決定方法。
【請求項５】
前記符号化単位サイズ決定ステップは、
前記第１符号化コストと前記第２符号化コストとの比が第１の閾値より小さい場合には、６４×６４をＣＵサイズとして決定し、
前記第１符号化コストと前記第２符号化コストとの比が前記第１の閾値以上であり、かつ第２の閾値より小さい場合には、ＣＵサイズが３２×３２の場合の符号化コストを算出し、３２×３２、１６×１６の中から符号化コストを最小にするＣＵパターンを選択してＣＵサイズを決定し、
前記第１符号化コストと前記第２符号化コストとの比が前記第２の閾値以上であり、かつ第３の閾値より小さい場合には、１６×１６をＣＵサイズとして決定し、
前記第１符号化コストと前記第２符号化コストとの比が前記第３閾値以上である場合には、ＣＵサイズが８×８の場合の符号化コストを算出し、１６×１６、８×８の中から符号化コストを最小にするＣＵパターンを選択してＣＵサイズを決定する
ことを特徴とする請求項４に記載の符号化単位サイズ決定方法。
【請求項６】
前記第１符号化コスト算出ステップにおける前記第１サイズレイヤーと、前記第２符号化コスト算出ステップにおける前記第２サイズレイヤーとを決定するサイズレイヤー選択ステップを更に含むことを特徴とする請求項１に記載の符号化単位サイズ決定方法。
【請求項７】
前記符号化単位サイズ決定ステップは、
前記第１符号化コストと前記第２符号化コストとの比が第１の閾値より小さい場合には、６４×６４をＣＵサイズとして決定し、
前記第１符号化コストと前記第２符号化コストとの比が前記第１の閾値以上であり、かつ第２の閾値より小さい場合には、ＣＵサイズが３２×３２の場合の符号化コストを算出し、３２×３２、１６×１６の中から符号化コストを最小にするＣＵパターンを選択してＣＵサイズを決定し、
前記第１符号化コストと前記第２符号化コストとの比が前記第２の閾値以上であり、かつ第３の閾値より小さい場合には、ＣＵサイズが８×８の場合の符号化コストを算出し、８×８、１６×１６の中から符号化コストを最小にするＣＵパターンを選択してＣＵサイズを決定し、
前記第１符号化コストと前記第２符号化コストとの比が前記第３閾値以上である場合には、ＣＵサイズが８×８の場合の符号化コストを算出し、１６×１６、８×８の中から符号化コストを最小にするＣＵパターンを選択してＣＵサイズを決定する
ことを特徴とする請求項４に記載の符号化単位サイズ決定方法。
【請求項８】
前記第１の閾値乃至第３の閾値を、映像の特性に基づいて定まる値に基づいて変更する振り分けステップを更に含む
ことを特徴とする請求項５、６、および７に記載の符号化単位サイズ決定方法。
【請求項９】
画像を所定の複数のサイズに分割して符号化する画像符号化における符号化単位サイズ決定装置であって、
第１サイズレイヤーにおける第１符号化コストを算出する第１符号化コスト算出部と、
前記第１サイズレイヤーのサイズよりも小さいサイズである第２サイズレイヤーにおける第２符号化コストを算出する第２符号化コスト算出部と、
前記第１符号化コストが前記第２符号化コスト以下である場合に、前記第１サイズレイヤーのサイズを符号化単位サイズとして決定する符号化単位サイズ決定部と
を備えることを特徴とする符号化単位サイズ決定装置。
【請求項１０】
請求項１から８のいずれか１項に記載の符号化単位サイズ決定方法を、コンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化単位サイズ決定方法、符号化単位サイズ決定装置、及びプログラムに関する。
【背景技術】
【０００２】
近年、ブロードバンドサービスの普及に伴い、ネットワークを介して動画像コンテンツを視聴することが容易になり、ネットワーク上のデータの半分以上が動画像データになるとも言われている。このような状況において、ネットワーク帯域を有効利用するため、動画像符号化が用いられている。現在では、例えば、ＭＰＥＧ２や、Ｈ．２６４／ＡＶＣ等の動画像符号化方式が挙げられる。さらに、符号化効率を向上させる方式として、ＨＥＶＣ（High Efficiency Video Coding）の規格化が進められている。ＨＥＶＣでは、符号化効率をＨ．２６４の２倍に向上させることが可能である。その一方で、符号化処理負荷が爆発的に増加する。この増加の一因として、ＣＵ（Coding Unit）という概念が挙げられる。
【０００３】
これまでのＨ．２６４では、ＭＢ（Macro Block）という１６×１６画素単位で符号化処理が行われていた。これに対して、ＬＣＵ（Largest CU）では、例えば最大６４×６４、ＣＵでは、それ以下（６４×６４〜８×８）で可変サイズにできる。このため、ＨＥＶＣの参照ソフトウェア（ＨＭ）では、ＣＵサイズ分（４パターン）、符号化処理を行い、最適なＣＵサイズを決定している。これに対して、ＣＵサイズを早期に決定し、符号化処理を高速化する手法が提案されている（非特許文献１）。
【０００４】
図１３は、参照ソフトウェア（ＨＭ）に実装されているＣＵサイズ決定手法を説明するためのブロック図である。まず、６４×６４コスト算出部１０は、ＣＵサイズが６４×６４の場合に対し、ＲＤ（Rate Distortion）コストを算出する。同様に、３２×３２コスト算出部１１、１６×１６コスト算出部１２、８×８コスト算出部１３は、各々、それぞれのＣＵサイズレイヤーにおけるＲＤコストを算出する。３２×３２のコストとは、面積で６４×６４となるように、３２×３２サイズのコストを４個分、合わせたものである。同様に、１６×１６のコストとは、１６×１６サイズのコストを１６個合わせたものであり、８×８のコストとは、８×８サイズのコストを６４個合わせたものである。ＣＵパターン最適化部１４は、これらの結果を用いて、ＬＣＵ内の最適なＣＵ分割方法を抽出し、ＣＵサイズを決定する。
【０００５】
図１４は、最適なＣＵ分割抽出方法を説明するための概念図である。また、図１５は、最適なＣＵ分割抽出方法による最適ＣＵ分割例を示す概念図である。まず、６４×６４のＣＵサイズからＲＤコストを算出する。図示の例では、ＲＤコスト「１０００」となる。次に、そのサイズを縦横半分（元の１／４サイズ）３２×３２にし、発生符号量を算出する。図示の例では、それぞれ発生符号量「２００」、「２１０」、「２２０」、「３００」となる。さらに、例えば、ＣＵ１５を縦横半分（元の１／１６サイズ）１６×１６にし、発生符号量を算出する。この場合、それぞれ発生符号量「８０」、「５０」、「５０」、「４０」となる。最後に、例えば、ＣＵ１６を縦横半分（元の１／６４サイズ）８×８にし、発生符号量を算出する。この場合、それぞれＲＤコスト「１５」、「１０」、「１０」、「５」となる。
【０００６】
ここで、例えば、ＣＵの分割状態を示すフラグ情報がフラグ１個につき、１０というオーバーヘッド情報量が必要だとすると、６４×６４のレイヤは、オーバーヘッド情報がないため、発生符号量がそのままＲＤコストとなる。３２×３２のレイヤは、発生情報量が２００＋２１０＋３００＋２２０＝９３０、オーバーヘッド情報が１０×４＝４０となり、合算すると、ＲＤコストは、９７０となる。これは、６４×６４のＲＤコスト（６４×６４の場合にはオーバーヘッド情報も含めて１０００）と比較して小さくなる。この場合、ＣＵを４分割して３２×３２を選択する方がトータルの情報量を小さくすることができる。次に、例えば、ＣＵ１５は、分割した方がトータルの情報量を小さくでき、ＣＵ１６は、さらに分割した方がトータルの情報量を小さくすることができる。ここで、ＲＤコストとは、発生情報量とオーバーヘッド情報とを合算したものとする。このように、発生符号量と分割に伴うオーバーヘッド情報の和であるＲＤコストが小さくなるようなＣＵ分割パターンを抽出する。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Xiaolin Shen, Lu Yu, Jie Chen, Fast Coding Unit Size Selection for HEVC based on Bayesian Decision Rule,2012 Picture Coding Symposium, May 7-9, 2012, Krakow, Poland,P456
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来技術では、符号化時のビットレートによって高速化性能が大きく異なり、ばらつきが生じやすい。例えば、高ビットレート（ＱＰ２２）で符号化した場合には、演算時間は１０％程度しか削減されない。ゆえに、高ビットレートをターゲットとする場合には、高速化の恩恵があまり得られない。その理由は以下の通りである。
【０００９】
従来技術では、参照ソフトウェアと同様に、ＣＵサイズが大きい方から順次分割する／しないを判定している。このため、低ビットレート時は、大きいＣＵサイズが選択されやすく、早期に打ち切り処理となり、演算時間が削減される。これに対して、高ビットレート時は、小さいＣＵサイズが選択されやすく、早期打ち切りが実現できず、演算時間がほとんど削減できないためである。
【００１０】
本発明は、このような事情を考慮してなされたものであり、その目的は、符号化時のビットレートに依存することなく、安定的に演算量を削減することができる符号化単位サイズ決定方法、符号化単位サイズ決定装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明は、画像を所定の複数のサイズに分割して符号化する画像符号化における符号化単位サイズ決定方法であって、第１サイズレイヤーにおける第１符号化コストを算出する第１符号化コスト算出ステップと、前記第１サイズレイヤーのサイズよりも小さいサイズである第２サイズレイヤーにおける第２符号化コストを算出する第２符号化コスト算出ステップと、前記第１符号化コストが前記第２符号化コスト以下である場合に、前記第１サイズレイヤーのサイズを符号化単位サイズとして決定する符号化単位サイズ決定ステップとを含むことを特徴とする。
【００１２】
本発明は、当該符号化単位サイズ決定方法は、ＨＥＶＣ画像符号化におけるＣＵサイズ決定方法であり、前記第１符号化コスト算出ステップは、ＣＵサイズが６４×６４レイヤーとなる第１符号化コストを算出し、前記第２符号化コスト算出ステップは、ＣＵサイズが３２×３２レイヤーとなる第２符号化コストを算出することを特徴とする。
【００１３】
本発明は、前記符号化単位サイズ決定ステップは、前記第１符号化コストが前記第２符号化コスト以下である場合には、６４×６４をＣＵサイズとして決定し、前記第１符号化コストが前記第２符号化コストより大きい場合には、ＣＵサイズが１６×１６の場合の符号化コストを算出し、前記第２符号化コストと前記１６×１６符号化コストを比較し、前記第２符号化コストが前記１６×１６符号化コスト以下である場合には、３２×３２、１６×１６の中から符号化コストを最小にするＣＵパターンを選択してＣＵサイズを決定し、前記第２符号化コストが前記１６×１６符号化コストより大きい場合には、ＣＵサイズが１６×１６の場合の符号化コストを算出し、３２×３２、１６×１６、８×８の中から符号化コストを最小にするＣＵパターンを選択してＣＵサイズを決定することを特徴とする。
【００１４】
本発明は、当該符号化単位サイズ決定方法は、ＨＥＶＣ画像符号化におけるＣＵサイズ決定方法であって、前記第１符号化コスト算出ステップは、ＣＵサイズが６４×６４となる第１符号化コストを算出し、前記第２符号化コスト算出ステップは、ＣＵサイズが１６×１６となる第２符号化コストを算出することを特徴とする。
【００１５】
本発明は、前記符号化単位サイズ決定ステップは、前記第１符号化コストと前記第２符号化コストとの比が第１の閾値より小さい場合には、６４×６４をＣＵサイズとして決定し、前記第１符号化コストと前記第２符号化コストとの比が前記第１の閾値以上であり、かつ第２の閾値より小さい場合には、ＣＵサイズが３２×３２の場合の符号化コストを算出し、３２×３２、１６×１６の中から符号化コストを最小にするＣＵパターンを選択してＣＵサイズを決定し、前記第１符号化コストと前記第２符号化コストとの比が前記第２の閾値以上であり、かつ第３の閾値より小さい場合には、１６×１６をＣＵサイズとして決定し、前記第１符号化コストと前記第２符号化コストとの比が前記第３閾値以上である場合には、ＣＵサイズが８×８の場合の符号化コストを算出し、１６×１６、８×８の中から符号化コストを最小にするＣＵパターンを選択してＣＵサイズを決定することを特徴とする。
【００１６】
本発明は、前記第１符号化コスト算出ステップにおける前記第１サイズレイヤーと、前記第２符号化コスト算出ステップにおける前記第２サイズレイヤーとを決定するサイズレイヤー選択ステップを更に含むことを特徴とする。
【００１７】
本発明は、前記符号化単位サイズ決定ステップは、前記第１符号化コストと前記第２符号化コストとの比が第１の閾値より小さい場合には、６４×６４をＣＵサイズとして決定し、前記第１符号化コストと前記第２符号化コストとの比が前記第１の閾値以上であり、かつ第２の閾値より小さい場合には、ＣＵサイズが３２×３２の場合の符号化コストを算出し、３２×３２、１６×１６の中から符号化コストを最小にするＣＵパターンを選択してＣＵサイズを決定し、前記第１符号化コストと前記第２符号化コストとの比が前記第２の閾値以上であり、かつ第３の閾値より小さい場合には、ＣＵサイズが８×８の場合の符号化コストを算出し、８×８、１６×１６の中から符号化コストを最小にするＣＵパターンを選択してＣＵサイズを決定し、前記第１符号化コストと前記第２符号化コストとの比が前記第３閾値以上である場合には、ＣＵサイズが８×８の場合の符号化コストを算出し、１６×１６、８×８の中から符号化コストを最小にするＣＵパターンを選択してＣＵサイズを決定することを特徴とする。
【００１８】
本発明は、前記第１の閾値乃至第３の閾値を、映像の特性に基づいて定まる値に基づいて変更する振り分けステップを更に含むことを特徴とする。
【００１９】
本発明は、画像を所定の複数のサイズに分割して符号化する画像符号化における符号化単位サイズ決定装置であって、第１サイズレイヤーにおける第１符号化コストを算出する第１符号化コスト算出部と、前記第１サイズレイヤーのサイズよりも小さいサイズである第２サイズレイヤーにおける第２符号化コストを算出する第２符号化コスト算出部と、前記第１符号化コストが前記第２符号化コスト以下である場合に、前記第１サイズレイヤーのサイズを符号化単位サイズとして決定する符号化単位サイズ決定部とを備えることを特徴とする。
【００２０】
本発明は、前記符号化単位サイズ決定方法を、コンピュータに実行させるプログラムである。
【発明の効果】
【００２１】
この発明によれば、符号化時のビットレートに依存することなく、安定的に演算量を削減することができる。
【図面の簡単な説明】
【００２２】
【図１】本第１実施形態による動画像符号化装置のＣＵ判定手法を説明するためのブロック図である。
【図２】本第１実施形態によるＣＵ判定手法の具体例として、第１のＣＵ判定手法を説明するためのブロック図である。
【図３】本第２実施形態による第１のＣＵ判定手法を説明するためのブロック図である。
【図４】、本第２実施形態による第２のＣＵ判定手法を説明するためのブロック図である。
【図５】本第３実施形態によるＣＵ判定手法を説明するためのブロック図である。
【図６】本第４実施形態による第１のＣＵ判定手法を説明するためのブロック図である。
【図７】本第４実施形態による第２のＣＵ判定手法を説明するためのブロック図である。
【図８】本第５実施形態による第１のＣＵ判定手法を説明するためのブロック図である。
【図９】、本第５実施形態による第２のＣＵ判定手法を説明するためのブロック図である。
【図１０】本第６実施形態によるＣＵ判定手法を説明するためのブロック図である。
【図１１】本第７実施形態によるＣＵ判定手法を説明するためのブロック図である。
【図１２】本第８実施形態によるＰＵサイズ判定方法を説明するためのブロック図である。
【図１３】参照ソフトウェア（ＨＭ）に実装されているＣＵサイズ決定手法を説明するためのブロック図である。
【図１４】最適なＣＵ分割抽出方法を説明するための概念図である。
【図１５】最適なＣＵ分割抽出方法による最適ＣＵ分割例を示す概念図である。
【発明を実施するための形態】
【００２３】
本発明は、画像符号化における、符号化単位サイズを決定することで、符号化処理の高速化手法に関するものである。すなわち、本発明は、大きいＣＵサイズから順次分割して打ち切る方式ではなく、任意の２点のＣＵサイズのコストを算出し、最適なＣＵサイズを決定する方式である。このため、符号化時のビットレートに依存せず、安定的に演算量を削減可能な高速化手法を提供することができる。本発明は、例えば、Ｈ．２６４におけるブロックサイズ決定や、ＨＥＶＣにおけるＣＵ、ＰＵ（Prediction Unit）、ＴＵ（Transform Unit）の各サイズ決定で用いることができる。以下では、ＨＥＶＣのＣＵサイズ決定を例に、７つの実施形態について説明する。
【００２４】
以下、本発明の一実施形態を、図面を参照して説明する。
【００２５】
Ａ．第１実施形態
まず、本発明の第１実施形態について説明する。
図１は、本第１実施形態による符号化単位サイズ決定装置のＣＵ判定手法を説明するためのブロック図である。まず、コスト算出部２０は、あるＣＵサイズレイヤー＃１のＲＤコストを算出する。次に、コスト算出部２１は、別のＣＵサイズレイヤー＃２のＲＤコストを算出する。そして、コスト比較部２２は、これらのＲＤコストを比較し、該比較結果に従って、ＣＵサイズをレイヤー＃１〜＃４のいずれかのサイズに決定する。参照ソフトウェア（ＨＭ）では、４レイヤー分のコスト算出が必要なのに対し、本第１実施形態によるＣＵ判定手法では、最小で２レイヤー分のコスト算出で、最適なＣＵサイズ決定をすることが可能となる。
【００２６】
図２は、本第１実施形態によるＣＵ判定手法を説明するためのブロック図である。なお、図１３に対応する部分には同一の符号を付けて説明する。まず、６４×６４コスト算出部１０は、ＣＵサイズが６４×６４レイヤーとなるＲＤコストを算出する。これと並行、または続いて、３２×３２コスト算出部１１は、３２×３２コストを算出する。これらのＲＤコストをコスト比較部３０において比較し、以下のような判定条件に基づいて分岐する。
【００２７】
（Ａ１）Ｃｏｓｔ＿ｃ（６４）≦Ｃｏｓｔ＿ｃ（３２）⇒ＣＵサイズを６４×６４に決定し、終了する。
（Ａ２）Ｃｏｓｔ＿ｃ（６４）＞Ｃｏｓｔ＿ｃ（３２）⇒１６×１６コスト算出部１２は、１６×１６レイヤーのＲＤコスト算出し、コスト比較部３１は、さらに条件分岐する。
【００２８】
（Ｂ１）Ｃｏｓｔ＿ｃ（３２）≦Ｃｏｓｔ＿ｃ（１６）⇒ＣＵパターン最適化部４０は、ＲＤコストが最小となるＣＵの組み合わせを１６×１６、３２×３２レイヤーの中から抽出する。抽出方法は、前述した最適なＣＵ分割抽出方法（図１４）と同様に、コストが最小となるように各ＣＵサイズを組み合わせる。
（Ｂ２）Ｃｏｓｔ＿ｃ（３２）＞Ｃｏｓｔ＿ｃ（１６）⇒８×８コスト算出部１３は、８×８レイヤーのＲＤコスト算出し、ＣＵパターン最適化部４１は、ＲＤコストが最小となるＣＵの組み合わせを、８×８、１６×１６、３２×３２レイヤーの中から抽出する。ここで、Ｃｏｓｔ＿ｃ（Ｐ）は、ＣＵサイズＰ×ＰレイヤーにおけるＲＤコストを示す。
【００２９】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図３は、本第２実施形態による第１のＣＵ判定手法を説明するためのブロック図である。なお、図２に対応する部分には同一の符号を付けて説明する。まず、６４×６４コスト算出部１０は、ＣＵサイズが６４×６４レイヤーとなるＲＤコストを算出する。これと並行、または続いて、１６×１６コスト算出部１２は、１６×１６コストを算出する。１６×１６のコストとは、面積で６４×６４となるように、１６×１６サイズのコストを１６個分、合わせたものである。これらのＲＤコストをコスト比較部３２において比較し、以下のような判定条件に基づいて分岐する。
【００３０】
（Ｃ１）Ｃｏｓｔ＿ｃ（６４）／Ｃｏｓｔ＿ｃ（１６）＜Ａ⇒ＣＵサイズを６４×６４に決定し、終了する。
（Ｃ２）Ａ≦Ｃｏｓｔ＿ｃ（６４）／Ｃｏｓｔ＿ｃ（１６）＜Ｂ⇒３２×３２コスト算出部１１は、３２×３２レイヤーのＲＤコスト算出し、ＣＵパターン最適化部４０は、ＲＤコストが最小となるＣＵの組み合わせを、３２×３２、１６×１６レイヤーの中から抽出する。
（Ｃ３）Ｂ≦Ｃｏｓｔ＿ｃ（６４）／Ｃｏｓｔ＿ｃ（１６）＜Ｃ⇒ＣＵサイズを１６×１６に決定し、終了する。
（Ｃ４）Ｃ＜Ｃｏｓｔ（６４）＿ｃ／Ｃｏｓｔ＿ｃ（１６）⇒８×８コスト算出部１３は、８×８レイヤーのＲＤコスト算出し、ＣＵパターン最適化部４１は、ＲＤコストが最小となるＣＵの組み合わせを、８×８、１６×１６レイヤーの中から抽出する。ここで、Ｃｏｓｔ＿ｃ（Ｐ）は、ＣＵサイズＰ×ＰにおけるＲＤコストを示す。また、閾値Ａ〜Ｃの関係は、Ａ＜Ｂ＜Ｃとなる。
【００３１】
図４は、本第２実施形態による第２のＣＵ判定手法を説明するためのブロック図である。なお、図２〜図３に対応する部分には同一の符号を付けて説明する。まず、３２×３２コスト算出部１１は、ＣＵサイズが３２×３２レイヤーとなるＲＤコストを算出する。これと並行、または続いて、１６×１６コスト算出部１２は、１６×１６コストを算出する。これらのＲＤコストをコスト比較部３３において比較し、以下のような判定式を用いて条件分岐する。
【００３２】
（Ｄ１）Ｃｏｓｔ＿ｃ（３２）／Ｃｏｓｔ＿ｃ（１６）＜Ａ⇒６４×６４コスト算出部１０は、６４×６４レイヤーのＲＤコスト算出し、ＣＵサイズを６４×６４に決定し、終了する。
（Ｄ２）Ａ≦Ｃｏｓｔ＿ｃ（３２）／Ｃｏｓｔ＿ｃ（１６）＜Ｂ⇒ＣＵサイズを３２×３２に決定し、終了する。
（Ｄ３）Ｂ≦Ｃｏｓｔ＿ｃ（３２）／Ｃｏｓｔ＿ｃ（１６）＜Ｃ⇒ＣＵサイズを１６×１６に決定し、終了する。
（Ｄ４）Ｃ＜Ｃｏｓｔ（３２）＿ｃ／Ｃｏｓｔ＿ｃ（１６）⇒８×８コスト算出部１３は、８×８レイヤーのＲＤコスト算出し、ＣＵパターン最適化部４１は、ＲＤコストが最小となるＣＵの組み合わせを、８×８、１６×１６レイヤーの中から抽出する。ここで、Ｃｏｓｔ＿ｃ（Ｐ）は、ＣＵサイズＰ×ＰにおけるＲＤコストを示す。また、閾値Ａ〜Ｃの関係は、Ａ＜Ｂ＜Ｃとなる。
【００３３】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
図５は、本第３実施形態によるＣＵ判定手法を説明するためのブロック図である。なお、図２〜図４に対応する部分には同一の符号を付けて説明する。まず、レイヤー選択部５０は、以降の処理で算出すべきレイヤーを選択する。レイヤー選択部５０では、映像の解像度や、複雑度（アクティビティ）等に基づいて選択処理を行い、例えば、解像度が高い映像等では、８×８等の小さいＣＵサイズが比較的最適である確率が低いため、非優先とし、大きいＣＵサイズである６４×６４と３２×３２の２レイヤーを選択する処理を行う。以降の処理は、前述した第２実施形態と同様であるため、説明を省略する。
【００３４】
Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
図６は、本第４実施形態による第１のＣＵ判定手法を説明するためのブロック図である。なお、図２〜図５に対応する部分には同一の符号を付けて説明する。まず、６４×６４コスト算出部１０は、ＣＵサイズが６４×６４レイヤーとなるＲＤコストを算出する。これと並行、または続いて、１６×１６コスト算出部１２は、１６×１６コストを算出する。これらのＲＤコストをコスト比較部３４において比較し、以下のような判定条件に基づいて分岐する。
【００３５】
（Ｅ１）Ｃｏｓｔ＿ｃ（６４）／Ｃｏｓｔ＿ｃ（１６）＜Ａ⇒ＣＵサイズを６４×６４に決定し、終了する。
（Ｅ２）Ａ≦Ｃｏｓｔ＿ｃ（６４）／Ｃｏｓｔ＿ｃ（１６）＜Ｂ⇒３２×３２コスト算出部１１−１は、３２×３２レイヤーのＲＤコスト算出し、ＣＵパターン最適化部４０は、ＲＤコストが最小となるＣＵの組み合わせを、３２×３２、１６×１６レイヤーの中から抽出する。
（Ｅ３）Ｂ≦Ｃｏｓｔ＿ｃ（６４）／Ｃｏｓｔ＿ｃ（１６）＜Ｃ⇒後述する処理Ｈへ進む（第２実施形態の第１のＣＵ判定手法では、ＣＵサイズを１６×１６に決定し、ここで終了した）。
（Ｅ４）Ｃ＜Ｃｏｓｔ＿ｃ（６４）／Ｃｏｓｔ＿ｃ（１６）⇒８×８コスト算出部１３−１は、８×８レイヤーのＲＤコスト算出し、ＣＵパターン最適化部４１は、ＲＤコストが最小となるＣＵの組み合わせを、８×８、１６×１６レイヤーの中から抽出する。ここで、Ｃｏｓｔ＿ｃ（Ｐ）は、ＣＵサイズＰ×ＰにおけるＲＤコストを示す。また、Ａ〜Ｃの関係は、Ａ＜Ｂ＜Ｃとなる。
【００３６】
＜処理Ｈ＞
前述した第２実施形態の第１のＣＵ判定手法では、ＣＵサイズを１６×１６に決定していたが、当該処理Ｈでは、サブツリー選択部６０は、ある１６×１６のＣＵ（対象ＣＵ）を選択し、コスト比較部３５は、ＣＵサイズ１６×１６を４つ分（ＣＵサイズ３２×３２のサブツリーとなる形で）合わせたＲＤコストと、６４×６４レイヤーのＲＤコストを１／４倍したものとを比較する（面積で３２×３２となるようにして比較する）。次に、または並行して、ＣＵサイズ１６×１６のＲＤコストと、６４×６４レイヤーのＲＤコストを１／１６倍したものとを比較する（面積で１６×１６となるように比較する）。該比較結果に従って、以下のように条件分岐する。
【００３７】
（Ｆ１）Ｃｏｓｔ＿ｃ（１６）４つ分＜Ｃｏｓｔ＿ｃ（６４）／４⇒３２×３２コスト算出部１１−１は、３２×３２レイヤーのＲＤコスト算出し、選択したあるＣＵサイズ１６×１６に対しては、ＣＵサイズを３２×３２に決定し（１６×１６を４つ合わせた形で）、終了する。
（Ｆ２）Ｃｏｓｔ＿ｃ（１６）≧Ｃｏｓｔ＿ｃ（６４）／１６⇒８×８コスト算出部１３−２は、８×８レイヤーのＲＤコスト算出し、選択したあるＣＵサイズ１６×１６に対しては、ＣＵサイズを８×８に決定し（１６×１６を４つに分割した形で）、終了する。
【００３８】
前述した第２実施形態の第１のＣＵ判定手法では、ＬＣＵ内を全て１６×１６のＣＵとしていたのに対し、本第４実施形態では、１６×１６と８×８とを組み合わせることができるため、符号化効率の向上が見込まれる。但し、演算時間は、第２実施形態の第１のＣＵ判定手法よりも長くなることが見込まれる。
【００３９】
なお、本第４実施形態では、６４×６４と１６×１６の２レイヤーを基準にした他レイヤーを補足カバーする形で説明しているが、３２×３２と１６×１６の２レイヤーや、６４×６４と８×８の２レイヤー、その他の複数レイヤーを基準とした他レイヤーの補足カバー等も当然考えられ、同様の効果を奏する。
【００４０】
図７は、本第４実施形態による第２のＣＵ判定手法を説明するためのブロック図である。なお、図２〜図６に対応する部分には同一の符号を付けて説明する。まず、６４×６４コスト算出部１０は、ＣＵサイズが６４×６４レイヤーとなるＲＤコストを算出する。これと並行、または続いて、３２×３２コスト算出部１１は、３２×３２コストを算出する。これらのＲＤコストをコスト比較部３５において比較し、以下のような判定条件に基づいて分岐する。
（Ｇ１）Ｃｏｓｔ＿ｃ（６４）≦Ｃｏｓｔ＿ｃ（３２）⇒ＣＵサイズを６４×６４に決定し、終了する。
（Ｇ２）Ｃｏｓｔ＿ｃ（６４）＞Ｃｏｓｔ＿ｃ（３２）⇒処理Ｉへ。
【００４１】
＜処理Ｉ＞
サブツリー選択部６１は、ある３２×３２のＣＵ（対象ＣＵ）を選択し、そのサブツリーとなる１６×１６のＣＵ４つ分のＲＤコストを、１６×１６コスト算出部１２は算出する。次いで、コスト比較部３６は、算出したＲＤコストと、対象ＣＵのＲＤコストとを比較し、以下のように条件分岐し、全ての３２×３２サイズＣＵに同様の処理を行って終了する。
（Ｈ１）Ｃｏｓｔ＿ｃ（３２）≦Ｃｏｓｔ＿ｃ（１６）（４つ分）⇒サブツリー内ＣＵ決定部７０において、対象ＣＵは、ＣＵサイズを３２×３２に決定し、次の３２×３２ＣＵに対して処理を繰り返す。
（Ｈ２）Ｃｏｓｔ＿ｃ（３２）＞Ｃｏｓｔ＿ｃ（１６）（４つ分）⇒処理Ｊへ。
【００４２】
＜処理Ｊ＞
サブツリー選択部６２は、ある１６×１６のＣＵ（対象ＣＵ）を選択し、そのサブツリーとなる８×８のＣＵ４つ分のＲＤコストを、８×８コスト算出部１３において算出する。次いで、コスト比較部３７は、算出したＲＤコストと、対象ＣＵのＲＤコストとを比較し、以下のように条件分岐し、全ての１６×１６サイズＣＵに同様の処理を行って終了する。
（Ｉ１）Ｃｏｓｔ＿ｃ（１６）≦Ｃｏｓｔ＿ｃ（８）（４つ分）⇒サブツリー内ＣＵ決定部７１において、対象ＣＵは、ＣＵサイズを１６×１６に決定し、次の１６×１６ＣＵに対して処理を繰り返す。
（Ｉ２）Ｃｏｓｔ＿ｃ（１６）＞Ｃｏｓｔ＿ｃ（８）（４つ分）⇒サブツリー内ＣＵサイズを８×８に決定し、次の１６×１６ＣＵに対して処理を繰り返す。
【００４３】
Ｅ．第５実施形態
次に、本発明の第５実施形態について説明する。
図８は、本第５実施形態による第１のＣＵ判定手法を説明するためのブロック図である。なお、図２〜図７に対応する部分には同一の符号を付けて説明する。まず、６４×６４コスト算出部１０は、ＣＵサイズが６４×６４レイヤーとなるＲＤコストを算出する。これと並行、または続いて、１６×１６コスト算出部１２は、１６×１６コストを算出する。次に、ＱＰ（量子化パラメータ）振分部８０は、符号化で使用するＱＰ値に基づいて、コスト比較部３８で使用する判定式（判定値）を選択する。例えば、ＱＰ＝１０の場合には、判定条件Ｘを、ＱＰ＝４０の場合には、判定条件Ｙを使用するとする。選択された判定式を用いて、コスト比較部３８は、ＲＤコストを比較し、以下のような判定条件に基づいて分岐する。
【００４４】
（Ｊ１）Ｃｏｓｔ＿ｃ（６４）／Ｃｏｓｔ＿ｃ（１６）＜Ａ⇒ＣＵサイズを６４×６４に決定し、終了する。
（Ｊ２）Ａ≦Ｃｏｓｔ＿ｃ（６４）／Ｃｏｓｔ＿ｃ（１６）＜Ｂ⇒３２×３２コスト算出部１１は、３２×３２レイヤーのＲＤコスト算出し、ＣＵパターン最適化部４０は、ＲＤコストが最小となるＣＵの組み合わせを、３２×３２、１６×１６レイヤーの中から抽出する。
（Ｊ３）Ｂ≦Ｃｏｓｔ＿ｃ（６４）／Ｃｏｓｔ＿ｃ（１６）＜Ｃ⇒ＣＵサイズを１６×１６に決定し、終了する。
（Ｊ４）Ｃ＜Ｃｏｓｔ＿ｃ（６４）／Ｃｏｓｔ＿ｃ（１６）⇒８×８コスト算出部１３は、８×８レイヤーのＲＤコスト算出し、ＣＵパターン最適化部４１は、ＲＤコストが最小となるＣＵの組み合わせを、８×８、１６×１６レイヤーの中から抽出する。ここで、Ｃｏｓｔ＿ｃ（Ｐ）は、ＣＵサイズＰ×ＰにおけるＲＤコストを示す。また、Ａ〜Ｃの関係は、Ａ＜Ｂ＜Ｃとなる。
【００４５】
前述した第２実施形態の第１のＣＵ判定手法では、ＱＰを考慮せず、符号化で使用するＱＰ値に依存せず、判定式を用いていた。これに対して、本第５実施形態では、ＱＰ値を考慮することで、符号化効率の向上が見込まれる。なお、判定条件ＸとＹとの違いは、判定条件Ｘの方が、つまりＱＰ値が小さい方が小さいＣＵサイズが選択されやすくなるようにしている点にある。また、ここでは、ＱＰと判定式を１対１の形で説明したが、ＱＰが１０〜２０の場合には、判定条件Ｘを用いるとし、多対１でも同様の効果を奏する。なお、判定条件ＸやＹが３つ以上となる場合も同様の効果を奏する。
【００４６】
図９は、本第５実施形態による第２のＣＵ判定手法を説明するためのブロック図である。なお、図８に対応する部分には同一の符号を付けて説明する。第２のＣＵ判定手法では、上述したＱＰ振り分け部８０に代えて、解像度振り分け部８１を備えている。上述した第１のＣＵ判定手法では、ＱＰ振り分け部８０において、ＱＰを基にコスト比較部３２での判定式を振り分けたが、第２のＣＵ判定手法では、解像度振り分け部８１において、解像度を基に判定条件を切り替える。例えば、解像度がＨＤ（１９２０ｘ１０８０）場合には、判定条件Ｘを、解像度がＶＧＡの場合には、判定条件Ｙを使用する。選択された判定式を用い、コスト比較部３８において、ＲＤコストを比較し、以降は、上述した第１のＣＵ判定手法と同様の処理とする。
【００４７】
本第５実施形態による第２のＣＵ判定手法では、解像度を考慮することで、符号化効率の向上が見込まれる。なお、判定条件ＸとＹとの違いは、判定条件Ｘの方が、つまり解像度が高い方が、大きいＣＵサイズが選択されやすくなるようにされている点にある。また、ここでは、解像度と判定式とを１対１の形で記載したが、解像度が４Ｋ（４Ｋ解像度）〜ＨＤ（High Definition）の場合には、判定条件Ｘを用いるとする、多対１でも同様の効果を奏する。なお、判定条件ＸやＹが３つ以上となる場合も同様の効果を奏する。
【００４８】
Ｆ．第６実施形態
次に、本発明の第６実施形態について説明する。
図１０は、本第６実施形態によるＣＵ判定手法を説明するためのブロック図である。なお、図９に対応する部分には同一の符号を付けて説明する。本第６実施形態によるＣＵ判定手法では、上述した第５実施形態による解像度振り分け部８１に代えて、イントラ・インター判別部８２を備えている。まず、６４×６４コスト算出部１０は、ＣＵサイズが６４×６４レイヤーとなるＲＤコストを算出する。これと並行、または続いて、１６×１６コスト算出部１２は、１６×１６コストを算出する。次に、イントラ・インター判別部８２は、処理対象ＣＵがイントラ符号化であるか、インター符号化であるかを判別し、該判別結果に基づいて、コスト比較部３８において使用するコスト比較判定式を切り替える。例えば、処理対象ＣＵがイントラ符号化と判別された場合には、コスト比較部３８では、判定条件Ｘを使用し、インター符号化と判別された場合には、判定条件Ｙを使用する。この選択された判定式に基づいて、以降、第２実施形態と同様の処理を行う。イントラ・インターで別の判定式を用いることで、符号化性能を向上させることが可能になる。ここで、判定条件ＸとＹとの違いは、判定条件Ｘの方が、つまりイントラ時の方が小さいＣＵサイズが選択されやすくなるようにしている点にある。なお、判定条件ＸやＹが３つ以上の場合も同様の効果を奏する。
【００４９】
Ｇ．第７実施形態
次に、本発明の第７実施形態について説明する。
図１１は、本第７実施形態によるＣＵ判定手法を説明するためのブロック図である。なお、図１０に対応する部分には同一の符号を付けて説明する。本第７実施形態によるＣＵ判定手法では、上述した第６実施形態によるイントラ・インター判別部８２に代えて、ピクチャタイプ判別部８３を備えている。まず、６４×６４コスト算出部１０は、ＣＵサイズが６４×６４レイヤーとなるＲＤコストを算出する。これと並行、または続いて、１６×１６コスト算出部１２は、１６×１６コストを算出する。次に、ピクチャタイプ判別部８３は、処理対象ピクチャがＩピクチャ／スライスであるか、Ｐ／Ｂピクチャ／スライスであるかを判別し、該判別結果に基づいて、コスト比較部３８において使用するコスト比較判定式を切り替える。例えば、処理対象スライスがＩスライスと判別された場合には、コスト比較部３８では、判定条件Ｘを使用し、Ｐスライスと判別された場合には、判定条件Ｙを使用する。この選択された判定式に基づいて、以降、第２実施形態と同様の処理を行う。ピクチャ／スライスタイプで別の判定式を用いることで、符号化性能を向上させることが可能になる。ここで、判定条件ＸとＹとの違いは、判定条件Ｘの方が、つまりイントラ時の方が小さいＣＵサイズが選択されやすくなるようにしている点にある。なお、判定条件ＸやＹが３つ以上の場合も同様の効果を奏する。
【００５０】
Ｈ．第８実施形態
次に、本発明の第８実施形態について説明する。
前述した第１実施形態〜第７実施形態では、ＣＵサイズ判定を例として挙げ説明した。これに対して、本第８実施形態では、ＨＥＶＣにおけるＰＵサイズ判定方法について説明する。ＨＥＶＣでは、符号化単位をＰＵサイズで行っており、ＣＵサイズが６４×６４の場合、ＰＵサイズとしては、６４×６４、６４×３２、６４×１６、３２×６４、３２×３２、１６×６４等が挙げられる。
【００５１】
図１２は、本第８実施形態によるＰＵサイズ判定方法を説明するためのブロック図である。ＣＵ判定方法と同様に、例えば、６４×６４コスト算出部９０は、ＰＵサイズが６４×６４レイヤーのＲＤコストＣｏｓｔ＿ｐ（６４×６４）を算出し、これと並行、または続いて、６４×３２コスト算出部９１は、６４×３２レイヤーのＲＤコストＣｏｓｔ＿ｐ（６４×３２）を算出する。これらのＲＤコストをコスト比較部９２において（面積で６４×６４となるように）比較し、以下のような判定条件に基づいて分岐する。
【００５２】
（Ｋ１）Ｃｏｓｔ＿ｐ（６４×６４）≦Ｃｏｓｔ＿ｐ（６４×３２）⇒ＰＵサイズを６４×６４に決定し、終了する。
（Ｋ２）Ｃｏｓｔ＿ｐ（６４×６４）＞Ｃｏｓｔ＿ｐ（６４×３２）⇒３２×３２コスト算出部９３は、３２×３２のＲＤコスト算出し、コスト比較部９４において（面積で６４×３２となるように）比較し、さらに条件分岐する。
（Ｋ３）Ｃｏｓｔ（６４×３２）≦Ｃｏｓｔ＿ｐ（３２×３２）⇒ＰＵサイズを６４×３２に決定し、終了する。
（Ｋ４）Ｃｏｓｔ（６４×３２）＞Ｃｏｓｔ＿ｐ（３２×３２）⇒ＰＵサイズを３２×３２に決定し、終了する。
【００５３】
本第８実施形態では、ＰＵサイズが大きい方からボトムダウンする形の処理として説明したが、ＣＵ判定と同様に、最初に選択する２つのＲＤコストは、６４×６４と３２×３２のものでもよく、任意の２点のＲＤコストを算出し、同様の処理を行うことが可能である。
【００５４】
なお、本発明は、上述した第１実施形態〜第８実施形態を組み合わせることが可能であり、同様の効果を奏する。また、各実施形態の処理を途中で打ち切る、または一部処理を省略することは可能であり、この場合、符号化効率は低下してしまうが、一層の処理高速化が期待できる。
【００５５】
また、上述した６４×６４コスト算出部１０、９０、３２×３２コスト算出部１１、１１−１、１１−２、９３、１６×１６コスト算出部１２、８×８コスト算出部１３、１３−１、１３−２、コスト比較部３０〜３８、９２、９４、ＣＵパターン最適化部４０、４１、レイヤー選択部５０、サブツリー選択部６０〜６２、サブツリー内ＣＵ決定部７０〜７１、ＱＰ振り分け部８０、解像度振り分け部８１、イントラ・インター判別部８２、ピクチャタイプ判別部８３、６４×３２コスト算出部９１などにおける機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、符号化処理、及び復号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００５６】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００５７】
２０、２１  コスト算出部
２２  コスト比較部
１０、９０  ６４×６４コスト算出部
１１、１１−１、１１−２、９３  ３２×３２コスト算出部
１２  １６×１６コスト算出部
１３、１３−１、１３−２  ８×８コスト算出部
３０〜３８、９２、９４  コスト比較部
４０、４１  ＣＵパターン最適化部
５０  レイヤー選択部
６０〜６２  サブツリー選択部
７０〜７１  サブツリー内ＣＵ決定部
８０  ＱＰ振り分け部
８１  解像度振り分け部
８２  イントラ・インター判別部
８３  ピクチャタイプ判別部
９１  ６４×３２コスト算出部
【図１】
2014127891.tif 000003
【図２】
2014127891.tif 000004
【図３】
2014127891.tif 000005
【図４】
2014127891.tif 000006
【図５】
2014127891.tif 000007
【図６】
2014127891.tif 000008
【図７】
2014127891.tif 000009
【図８】
2014127891.tif 000010
【図９】
2014127891.tif 000011
【図１０】
2014127891.tif 000012
【図１１】
2014127891.tif 000013
【図１２】
2014127891.tif 000014
【図１３】
2014127891.tif 000015
【図１４】
2014127891.tif 000016
【図１５】
2014127891.tif 000017