(57)【要約】【課題】符号化処理の負荷増大を抑制し、適切にＴＵサイズを決定することができる画像符号化方法を提供する。【解決手段】符号化単位のサイズの画像を複数の第１のブロックに分割するステップと、第１のブロックそれぞれの第１のアクティビティを算出するステップと、第１のアクティビティが所定のしきい値以下であるか否かに基づき変換単位のサイズを決定するステップと、第１のブロックを複数の第２のブロックに分割するステップと、第２のブロックそれぞれの第２のアクティビティを算出するステップと、第２のアクティビティが所定のしきい値以下であるか否かに基づき変換単位のサイズを決定するステップと、第１のブロックを複数の第３のブロックに分割するステップと、第３のブロックそれぞれの第３のアクティビティを算出するステップと、第３のアクティビティが所定のしきい値以下であるか否かに基づき変換単位のサイズを決定するステップとを有する。【選択図】図４
2015026964.tif 000002
【特許請求の範囲】
【請求項１】
符号化単位、予測単位及び変換単位それぞれの処理単位の評価値が最適になるように、前記処理単位のサイズを選択して画像の符号化を行う画像符号化方法であって、
前記符号化単位のサイズの画像を複数の第１のブロックに分割する第１の分割ステップと、
前記第１のブロックそれぞれの第１のアクティビティを算出する第１の算出ステップと、
前記第１のアクティビティが所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第１の決定ステップと、
前記第１のアクティビティが所定のしきい値以下であるか否かに基づき前記第１のブロックを複数の第２のブロックに分割する第２の分割ステップと、
前記第２のブロックそれぞれの第２のアクティビティを算出する第２の算出ステップと、
前記第２のアクティビティが所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第２の決定ステップと、
前記第２のアクティビティが所定のしきい値以下であるか否かに基づき前記第１のブロックを複数の第３のブロックに分割する第３の分割ステップと、
前記第３のブロックそれぞれの第３のアクティビティを算出する第３の算出ステップと、
前記第３のアクティビティが所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第３の決定ステップと
を有することを特徴とする画像符号化方法。
【請求項２】
符号化単位、予測単位及び変換単位それぞれの処理単位の評価値が最適になるように、前記処理単位のサイズを選択して画像の符号化を行う画像符号化方法であって、
前記符号化単位のサイズの画像を複数のブロックに分割する分割ステップと、
前記ブロックそれぞれのアクティビティを算出する算出ステップと、
前記アクティビティが所定の第１のしきい値以下である場合に、前記変換単位のサイズを決定する第１の決定ステップと、
前記アクティビティが所定の第１のしきい値より大きく、かつ所定の第２のしきい値以下である場合に、前記変換単位のサイズを決定する第２の決定ステップと、
前記アクティビティが前記所定の第２のしきい値より大きい場合に、前記変換単位のサイズを決定する第３の決定ステップと
を有することを特徴とする画像符号化方法。
【請求項３】
符号化単位、予測単位及び変換単位それぞれの処理単位の評価値が最適になるように、前記処理単位のサイズを選択して画像の符号化を行う画像符号化方法であって、
前記符号化単位のサイズの画像を複数のブロックに分割する分割ステップと、
前記ブロックそれぞれのアクティビティを算出する算出ステップと、
隣接する前記ブロックの前記アクティビティの差分が所定の第１のしきい値以下である場合に、前記変換単位のサイズを決定する第１の決定ステップと、
隣接する前記ブロックの前記アクティビティの差分が所定の第１のしきい値より大きく、かつ所定の第２のしきい値以下である場合に、前記変換単位のサイズを決定する第２の決定ステップと、
隣接する前記ブロックの前記アクティビティの差分が前記所定の第２のしきい値より大きい場合に、前記変換単位のサイズを決定する第３の決定ステップと
を有することを特徴とする画像符号化方法。
【請求項４】
符号化単位、予測単位及び変換単位それぞれの処理単位の評価値が最適になるように、前記処理単位のサイズを選択して画像の符号化を行う画像符号化方法であって、
前記符号化単位のサイズの画像を複数の第１のブロックに分割する第１の分割ステップと、
前記第１のブロックそれぞれの第１の動き状態の情報を算出する第１の算出ステップと、
前記第１の動き状態の情報が所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第１の決定ステップと、
前記第１の動き状態の情報が所定のしきい値以下であるか否かに基づき前記第１のブロックを複数の第２のブロックに分割する第２の分割ステップと、
前記第２のブロックそれぞれの第２の動き状態の情報を算出する第２の算出ステップと、
前記第２の動き状態の情報が所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第２の決定ステップと、
前記第２の動き状態の情報が所定のしきい値以下であるか否かに基づき前記第２のブロックを複数の第３のブロックに分割する第３の分割ステップと、
前記第３のブロックそれぞれの第３の動き状態の情報を算出する第３の算出ステップと、
前記第３の動き状態の情報が所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第３の決定ステップと
を有することを特徴とする画像符号化方法。
【請求項５】
符号化単位、予測単位及び変換単位それぞれの処理単位の評価値が最適になるように、前記処理単位のサイズを選択して画像の符号化を行う画像符号化方法であって、
前記符号化単位のサイズの画像を複数の第１のブロックに分割する第１の分割ステップと、
隣接する２つの前記第１のブロックの第１の動きベクトルを取得する第１の取得ステップと、
隣接する２つの前記第１のブロックの第１の動きベクトルの差分が所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第１の決定ステップと、
隣接する２つの前記第１のブロックの第１の動きベクトルの差分が所定のしきい値以下であるか否かに基づき前記第１のブロックを複数の第２のブロックに分割する第２の分割ステップと、
隣接する２つの前記第２のブロックの第２の動きベクトルを取得する第２の取得ステップと、
隣接する２つの前記第２のブロックの第２の動きベクトルの差分が所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第２の決定ステップと、
隣接する２つの前記第２のブロックの第２の動きベクトルの差分が所定のしきい値以下であるか否かに基づき前記第２のブロックを複数の第３のブロックに分割する第３の分割ステップと、
隣接する２つの前記第３のブロックの第３の動きベクトルを取得する第３の取得ステップと、
隣接する２つの前記第３のブロックの第３の動きベクトルの差分が所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第３の決定ステップと、
を有することを特徴とする画像符号化方法。
【請求項６】
符号化単位、予測単位及び変換単位それぞれの処理単位の評価値が最適になるように、前記処理単位のサイズを選択して画像の符号化を行う画像符号化方法であって、
符号化対象がＩピクチャであるか、または符号化対象がイントラ符号化である場合に、請求項１から３のいずれかに記載の画像符号化装置によって画像の符号化を行い、
符号化対象がＩピクチャでなく、かつ符号化対象がイントラ符号化でない場合に、請求項４または５に記載の画像符号化方法によって画像の符号化を行うことを特徴とする画像符号化方法。
【請求項７】
符号化単位、予測単位及び変換単位それぞれの処理単位の評価値が最適になるように、前記処理単位のサイズを選択して画像の符号化を行う画像符号化装置であって、
前記符号化単位のサイズの画像を複数の第１のブロックに分割する第１の分割手段と、
前記第１のブロックそれぞれの第１のアクティビティを算出する第１の算出手段と、
前記第１のアクティビティが所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第１の決定手段と、
前記第１のアクティビティが所定のしきい値以下であるか否かに基づき前記第１のブロックを複数の第２のブロックに分割する第２の分割手段と、
前記第２のブロックそれぞれの第２のアクティビティを算出する第２の算出手段と、
前記第２のアクティビティが所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第２の決定手段と、
前記第２のアクティビティが所定のしきい値以下であるか否かに基づき前記第１のブロックを複数の第３のブロックに分割する第３の分割手段と、
前記第３のブロックそれぞれの第３のアクティビティを算出する第３の算出手段と、
前記第３のアクティビティが所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第３の決定手段と
を備えることを特徴とする画像符号化装置。
【請求項８】
コンピュータに、請求項１から６のいずれか１項に記載の画像符号化方法を実行させるための画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化方法、画像符号化装置及び画像符号化プログラムに関する。
【背景技術】
【０００２】
近年、ブロードバンドサービスの普及に伴い、ネットワークを介して動画像コンテンツを視聴することが容易になり、ネットワーク上のデータの半分以上が動画像データになるとも言われている。この状況において、ネットワーク帯域を有効利用するため、動画像符号化が用いられており、現在では例えばＭＰＥＧ２やＨ．２６４／ＡＶＣ等の動画像符号化方式が挙げられる。さらに符号化効率を向上させる方式としてＨＥＶＣの規格化が進められている。ＨＥＶＣではＣＵ（Coding Unit：符号化単位）、ＰＵ（Prediction Unit：予測単位）、ＴＵ（Transform Unit：変換単位）といった各処理単位でＵｎｉｔが存在し、各Ｕｎｉｔ毎にＲＤコストが最適となるように各Ｕｎｉｔのサイズ／モードを選択することで、符号化効率をＨ．２６４の２倍に向上させることが可能である（例えば、非特許文献１参照）。  
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui, Wang, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 10 (for FDIS & Consent)", JCTVC-L1003_v20.doc, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, pp.148-163, January 2013
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、これら最適化を実施する場合、候補となる全てのＴＵサイズに対して直交変換処理を行い、その中から最適なＴＵサイズを選択する必要があるため、符号化処理の負荷が増大するという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、符号化処理の負荷増大を抑制しつつ、適切にＴＵサイズを決定することができる画像符号化方法、画像符号化装置及び画像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、符号化単位、予測単位及び変換単位それぞれの処理単位の評価値が最適になるように、前記処理単位のサイズを選択して画像の符号化を行う画像符号化方法であって、前記符号化単位のサイズの画像を複数の第１のブロックに分割する第１の分割ステップと、前記第１のブロックそれぞれの第１のアクティビティを算出する第１の算出ステップと、前記第１のアクティビティが所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第１の決定ステップと、前記第１のアクティビティが所定のしきい値以下であるか否かに基づき前記第１のブロックを複数の第２のブロックに分割する第２の分割ステップと、前記第２のブロックそれぞれの第２のアクティビティを算出する第２の算出ステップと、前記第２のアクティビティが所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第２の決定ステップと、前記第２のアクティビティが所定のしきい値以下であるか否かに基づき前記第１のブロックを複数の第３のブロックに分割する第３の分割ステップと、前記第３のブロックそれぞれの第３のアクティビティを算出する第３の算出ステップと、前記第３のアクティビティが所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第３の決定ステップとを有することを特徴とする。
【０００７】
本発明は、符号化単位、予測単位及び変換単位それぞれの処理単位の評価値が最適になるように、前記処理単位のサイズを選択して画像の符号化を行う画像符号化方法であって、前記符号化単位のサイズの画像を複数のブロックに分割する分割ステップと、前記ブロックそれぞれのアクティビティを算出する算出ステップと、前記アクティビティが所定の第１のしきい値以下である場合に、前記変換単位のサイズを決定する第１の決定ステップと、前記アクティビティが所定の第１のしきい値より大きく、かつ所定の第２のしきい値以下である場合に、前記変換単位のサイズを決定する第２の決定ステップと、前記アクティビティが前記所定の第２のしきい値より大きい場合に、前記変換単位のサイズを決定する第３の決定ステップとを有することを特徴とする。
【０００８】
本発明は、符号化単位、予測単位及び変換単位それぞれの処理単位の評価値が最適になるように、前記処理単位のサイズを選択して画像の符号化を行う画像符号化方法であって、前記符号化単位のサイズの画像を複数のブロックに分割する分割ステップと、前記ブロックそれぞれのアクティビティを算出する算出ステップと、隣接する前記ブロックの前記アクティビティの差分が所定の第１のしきい値以下である場合に、前記変換単位のサイズを決定する第１の決定ステップと、隣接する前記ブロックの前記アクティビティの差分が所定の第１のしきい値より大きく、かつ所定の第２のしきい値以下である場合に、前記変換単位のサイズを決定する第２の決定ステップと、隣接する前記ブロックの前記アクティビティの差分が前記所定の第２のしきい値より大きい場合に、前記変換単位のサイズを決定する第３の決定ステップとを有することを特徴とする。
【０００９】
本発明は、符号化単位、予測単位及び変換単位それぞれの処理単位の評価値が最適になるように、前記処理単位のサイズを選択して画像の符号化を行う画像符号化方法であって、前記符号化単位のサイズの画像を複数の第１のブロックに分割する第１の分割ステップと、前記第１のブロックそれぞれの第１の動き状態の情報を算出する第１の算出ステップと、前記第１の動き状態の情報が所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第１の決定ステップと、前記第１の動き状態の情報が所定のしきい値以下であるか否かに基づき前記第１のブロックを複数の第２のブロックに分割する第２の分割ステップと、前記第２のブロックそれぞれの第２の動き状態の情報を算出する第２の算出ステップと、前記第２の動き状態の情報が所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第２の決定ステップと、前記第２の動き状態の情報が所定のしきい値以下であるか否かに基づき前記第２のブロックを複数の第３のブロックに分割する第３の分割ステップと、前記第３のブロックそれぞれの第３の動き状態の情報を算出する第３の算出ステップと、前記第３の動き状態の情報が所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第３の決定ステップとを有することを特徴とする。
【００１０】
本発明は、符号化単位、予測単位及び変換単位それぞれの処理単位の評価値が最適になるように、前記処理単位のサイズを選択して画像の符号化を行う画像符号化方法であって、前記符号化単位のサイズの画像を複数の第１のブロックに分割する第１の分割ステップと、隣接する２つの前記第１のブロックの第１の動きベクトルを取得する第１の取得ステップと、隣接する２つの前記第１のブロックの第１の動きベクトルの差分が所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第１の決定ステップと、隣接する２つの前記第１のブロックの第１の動きベクトルの差分が所定のしきい値以下であるか否かに基づき前記第１のブロックを複数の第２のブロックに分割する第２の分割ステップと、隣接する２つの前記第２のブロックの第２の動きベクトルを取得する第２の取得ステップと、隣接する２つの前記第２のブロックの第２の動きベクトルの差分が所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第２の決定ステップと、隣接する２つの前記第２のブロックの第２の動きベクトルの差分が所定のしきい値以下であるか否かに基づき前記第２のブロックを複数の第３のブロックに分割する第３の分割ステップと、隣接する２つの前記第３のブロックの第３の動きベクトルを取得する第３の取得ステップと、隣接する２つの前記第３のブロックの第３の動きベクトルの差分が所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第３の決定ステップと、を有することを特徴とする。
【００１１】
本発明は、符号化単位、予測単位及び変換単位それぞれの処理単位の評価値が最適になるように、前記処理単位のサイズを選択して画像の符号化を行う画像符号化方法であって、符号化対象がＩピクチャであるか、または符号化対象がイントラ符号化である場合に、請求項１から３のいずれかに記載の画像符号化装置によって画像の符号化を行い、符号化対象がＩピクチャでなく、かつ符号化対象がイントラ符号化でない場合に、請求項４または５に記載の画像符号化方法によって画像の符号化を行うことを特徴とする。
【００１２】
本発明は、符号化単位、予測単位及び変換単位それぞれの処理単位の評価値が最適になるように、前記処理単位のサイズを選択して画像の符号化を行う画像符号化装置であって、前記符号化単位のサイズの画像を複数の第１のブロックに分割する第１の分割手段と、前記第１のブロックそれぞれの第１のアクティビティを算出する第１の算出手段と、前記第１のアクティビティが所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第１の決定手段と、前記第１のアクティビティが所定のしきい値以下であるか否かに基づき前記第１のブロックを複数の第２のブロックに分割する第２の分割手段と、前記第２のブロックそれぞれの第２のアクティビティを算出する第２の算出手段と、前記第２のアクティビティが所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第２の決定手段と、前記第２のアクティビティが所定のしきい値以下であるか否かに基づき前記第１のブロックを複数の第３のブロックに分割する第３の分割手段と、前記第３のブロックそれぞれの第３のアクティビティを算出する第３の算出手段と、前記第３のアクティビティが所定のしきい値以下であるか否かに基づき前記変換単位のサイズを決定する第３の決定手段とを備えることを特徴とする。
【００１３】
本発明は、コンピュータに、前記画像符号化方法を実行させるための画像符号化プログラムである。
【発明の効果】
【００１４】
本発明によれば、符号化処理の負荷増大を抑制しつつ、適切にＴＵサイズを決定することができるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】ＨＥＶＣ標準化団体が配布している参照ソフトウェア（ＨＭ）で実装されているＣＵサイズ決定を行う処理装置の構成を示すブロック図を示す。
【図２】最適なＣＵ分割抽出方法を説明するための概念図である。
【図３】最適なＣＵ分割抽出方法による最適ＣＵ分割例を示す概念図である。
【図４】本発明の第１実施形態によるＴＵサイズ決定手法を適用したＣＵ決定処理を行う装置の構成を示すブロック図である。
【図５】図４に示す装置においてＴＵサイズ決定処理を行う処理動作を示すフローチャートである。
【図６】図４に示す装置において、第２実施形態によるＴＵサイズ決定処理を行う処理動作を示すフローチャートである。
【図７】図４に示す装置において、第３実施形態によるＴＵサイズ決定処理を行う処理動作を示すフローチャートである。
【図８】ＣＵサイズが６４×６４の場合の処理動作を示す説明図である。
【図９】ＣＵサイズが３２×３２の場合の処理動作を示す説明図である。
【図１０】ＣＵサイズが１６×１６の場合の処理動作を示す説明図である。
【図１１】図４に示す装置において、第４実施形態によるＴＵサイズ決定処理を行う処理動作を示すフローチャートである。
【図１２】図４に示す装置において、第５実施形態によるＴＵサイズ決定処理を行う処理動作を示すフローチャートである。
【図１３】隣接ブロックの動きベクトルを用いたＴＵ決定の処理動作を示す説明図である。
【図１４】隣接ブロックの動きベクトルを用いたＴＵ決定の処理動作を示す説明図である。
【図１５】図４に示す装置において、第６実施形態によるＴＵサイズ決定処理を行う処理動作を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の一実施形態による画像符号化装置を説明する。本発明は、全てのＴＵサイズに対して直交変換処理をし、ＲＤコストが最適になるＴＵサイズを選択するのではなく、ＴＵサイズの最適化をする単位となるＣＵ内の予測モード（ＰＵ分割状態）および、そのＣＵのアクティビティ状態や、動き状態を基に、最適なＴＵサイズを決定する方法である。これにより符号化効率の劣化を抑制しながら、ＴＵサイズ決定処理の高速化を実現することができるものである。
【００１７】
図１は、ＨＥＶＣ標準化団体が配布している参照ソフトウェア（ＨＭ）が実装されているＣＵサイズ決定を行う処理装置の構成を示すブロック図を示す。まず、ＣＵサイズ選択部１は、例えば６４×６４サイズのＣＵを選択し、以降の処理を行う。予測モード選択部２は、例えば予測モード１を選択し、予測処理を行う。ＲＤコスト算出部３は、選択可能な最大ＴＵサイズに対し、ＲＤコストを算出し、得られた結果（これをＲＤコストという）をＲＤコスト蓄積部４に蓄積する。
【００１８】
次に、ＴＵサイズ４分割部６は、最大ＴＵサイズを４分割し、このサイズでＲＤコストを算出して蓄積する。同様の処理を選択可能な最小ＴＵサイズとなるまで繰り返し、ＴＵサイズ決定部５において、その結果ＲＤコストが最適となるＴＵサイズを予測モード１における最適ＴＵサイズとして決定する。
【００１９】
一方、予測モード毎最適ＲＤコスト蓄積部７は、予測モード１における最適ＲＤコストを蓄積する。ここまでと同様の処理を予測モード２、３、と全ての予測モードに対して行い、６４×６４サイズのＣＵにおける最適な予測モード（その予測モードにおける最適なＴＵサイズも含まれる）を決定し、ＣＵ内予測モード蓄積部８において、最適な予測モードを蓄積する。
【００２０】
次に、ＣＵサイズ選択部１は、３２×３２サイズのＣＵサイズから選択可能な最小ＣＵサイズとなるまで、同様に最適なＴＵサイズ、予測モード決定処理を行う。全てのＣＵサイズに対して処理が終了した後、ＣＵパターン選択部９はＬＣＵにおいてＲＤコストが最適となるＣＵパターンを選択する。
【００２１】
図２は、最適なＣＵ分割抽出方法を説明するための概念図である。図３は、最適なＣＵ分割抽出方法による最適ＣＵ分割例を示す概念図である。まず、図２に示す６４×６４のＣＵサイズからＲＤコストを算出する。図２に示す例では、ＲＤコスト「１０００」となる。次に、そのサイズを縦横半分（元の１／４サイズ）の３２×３２サイズにし、発生符号量を算出する。図２に示す例では、それぞれ発生符号量「２００」、「２１０」、「２２０」、「３００」となる。さらに、例えば、ＣＵ１５を縦横半分（元の１／１６サイズ）１６×１６サイズにし、発生符号量を算出する。この場合、それぞれ発生符号量「８０」、「５０」、「５０」、「４０」となる。最後に、例えば、ＣＵ１６を縦横半分（元の１／６４サイズ）８×８サイズにし、発生符号量を算出する。この場合、それぞれＲＤコスト「１５」、「１０」、「１０」、「５」となる。これにより、図３に示すＣＵ分割ができることになる。
【００２２】
ここで、例えば、ＣＵの分割状態を示すフラグ情報がフラグ１個につき、１０というオーバーヘッド情報量が必要だとすると、６４×６４サイズのレイヤは、オーバーヘッド情報がないため、発生符号量がそのままＲＤコストとなる。３２×３２サイズのレイヤは、発生情報量が２００＋２１０＋３００＋２２０＝９３０、オーバーヘッド情報が１０×４＝４０となり、合算すると、ＲＤコストは、９７０となる。これは、６４×６４サイズのＲＤコスト（６４×６４の場合にはオーバーヘッド情報も含めて１０００）と比較して小さくなる。この場合、ＣＵを４分割して３２×３２サイズを選択する方がトータルの情報量を小さくすることができる。
【００２３】
次に、例えば、ＣＵ１５は、分割した方がトータルの情報量を小さくでき、ＣＵ１６は、さらに分割した方がトータルの情報量を小さくすることができる。ここで、ＲＤコストとは、発生情報量とオーバーヘッド情報とを合算したものとする。このように、発生符号量と分割に伴うオーバーヘッド情報の和であるＲＤコストが小さくなるようなＣＵ分割パターンを抽出する。
【００２４】
＜第１実施形態＞
次に、本発明の第１実施形態によるＴＵサイズ決定手法を適用したＣＵ決定処理を行う装置構成を説明する。図４は、本実施形態によるＴＵサイズ決定手法を適用したＣＵ決定処理を行う装置の構成を示すブロック図である。図４において、図１に示す処理部と同一の部分には同一の符号を付し、その説明を簡単に行う。まず、ＣＵサイズ選択部１において、例えば６４×６４サイズのＣＵを選択し、以降の処理を行う。映像情報抽出部１０は、所望のブロックサイズにおける映像情報を抽出する。
【００２５】
予測モード選択部２は、例えば予測モード１を選択し、予測処理を行う。ＴＵサイズ決定部５は、選択した予測モード（予測処理するブロックサイズ）と、抽出した映像情報を基に、一意にＴＵサイズを決定する。そして、ＲＤコスト算出部３は、ＲＤコストを算出する。このＲＤコストを予測モード１における最適ＲＤコストとして扱う。ここまでと同様の処理を予測モード２、３、と全ての予測モードに対して行い、６４×６４サイズのＣＵにおける最適な予測モードを決定する。そして、ＣＵ内予測モード蓄積部８は、最適な予測モードを蓄積する。
【００２６】
次に、ＣＵサイズ選択部１は、３２×３２サイズのＣＵサイズから選択可能な最小ＣＵサイズとなるまで、同様に最適な予測モード決定処理を行う。全てのＣＵサイズに対して処理が終了した後、ＣＵパターン選択部９は、ＬＣＵにおいてＲＤコストが最適となるＣＵパターンを選択する。
【００２７】
次に、図５を参照して、図４に示す装置においてＴＵサイズ決定処理を行う処理動作を説明する。図５は、図４に示す装置においてＴＵサイズ決定処理を行う処理動作を示すフローチャートである。図５に示す処理動作は、映像情報としてアクティビティ（アクティビティ値）を用いる場合の処理動作である。なお、用いるアクティビティは、原画像から算出されるアクティビティまたは、符号化済フレーム(符号化順で対象フレームより前)の復号画像から算出されるアクティビティとする。以下では原画像から算出されるアクティビティを用いる前提で説明する。
【００２８】
まず、ＣＵサイズ選択部１は、ＣＵサイズとして６４×６４サイズを選択する。予測モード選択部２は、予測モードを選択し（ステップＳ０）、予測モード（予測サイズ）が２Ｎ×２Ｎ（ＣＵと同サイズ）か否かを判定する（ステップＳ１）。並行して、映像情報抽出部１０は、ＣＵをＮ×Ｎブロック（Ａ１〜Ａ４）に分割し、ブロック毎に以下の処理を行う（ステップＳ２）。映像情報抽出部１０は、ブロックＡ１を１／４（縦横に２分割）にしたＮ／２×Ｎ／２ブロック（Ｂ１〜Ｂ４）毎にアクティビティ（Ａｃｔ＿Ｂ１〜Ａｃｔ＿Ｂ４）を算出する（ステップＳ３）。
【００２９】
次に、予測サイズが２Ｎ×２Ｎかつ、算出したアクティビティＡｃｔ＿Ｂ１〜Ａｃｔ＿Ｂ４全てがある閾値Ｔｈ１以下であるか否かを判定し（ステップＳ４）、これがＹｅｓの場合（Ａｃｔ＿Ｂ１〜Ｂ４  ＜＝  Ｔｈ１）はブロックＡ１においてはＴＵサイズをＮ×Ｎに決定する（ステップＳ５）。一方、Ａｃｔ＿Ｂ１〜Ａｃｔ＿Ｂ４のいずれかが閾値Ｔｈ１より高い（判定がＮｏ）場合（例えばＡｃｔ＿Ｂ１  ＞  Ｔｈ１）はブロックＢ１〜Ｂ４をそれぞれＮ／４×Ｎ／４ブロックに分割する（ステップＳ６）。ここで例えばＢ１をＮ／４×Ｎ／４サイズとしたブロックをＣ１〜Ｃ４とし、アクティビティ（Ａｃｔ＿Ｃ１〜Ａｃｔ＿Ｃ４）を算出する。
【００３０】
次に、アクティビティＡｃｔ＿Ｃ１〜Ａｃｔ＿Ｃ４全てが閾値Ｔｈ１以下であるか否かを判定し（ステップＳ７）、これがＹｅｓの場合（Ａｃｔ＿Ｃ１〜Ｃ４  ＜＝  Ｔｈ１）はブロックＢ１においてはＴＵサイズをＮ／２×Ｎ／２に決定する（ステップＳ８）。一方、Ａｃｔ＿Ｃ１〜Ａｃｔ＿Ｃ４のいずれかが閾値Ｔｈ１より高い（判定がＮｏ）場合（例えばＡｃｔ＿Ｃ１  ＞  Ｔｈ１）はブロックＣ１〜Ｃ４をそれぞれＮ／８×Ｎ／８ブロックに分割する。ここで例えばＣ１をＮ／８×Ｎ／８サイズとしたブロックをＤ１〜Ｄ４とし、アクティビティ（Ａｃｔ＿Ｄ１〜Ａｃｔ＿Ｄ４）を算出する（ステップＳ９）。
【００３１】
次に、アクティビティＡｃｔ＿Ｄ１〜Ａｃｔ＿Ｄ４全てが閾値Ｔｈ１以下であるか否かを判定し（ステップＳ１０）、これがＹｅｓの場合（Ａｃｔ＿Ｄ１〜Ｄ４  ＜＝  Ｔｈ１）はブロックＣ１においてはＴＵサイズをＮ／４×Ｎ／４に決定する（ステップＳ１１）。それ以外（判定がＮｏ）の場合は、ブロックＣ１ではＴＵサイズをＮ／８×Ｎ／８と決定する（ステップＳ１２）。上記Ａ１、Ｂ１、Ｃ１に対して行った処理を、それぞれＡ２〜Ａ４、Ｂ２〜Ｂ４、Ｃ２〜Ｃ４についても行う。
【００３２】
一方、ステップＳ１における判定結果がＮｏである場合、対象ＣＵでは、ＴＵをＮ×Ｎとする（ステップＳ１３）。続いて、ＲＤコスト算出部３は、決定したＴＵサイズでＲＤコストを算出し、予測モード毎最適ＲＤコスト蓄積部７に蓄積する（ステップＳ１４）。同様にインター／イントラ等の各予測処理と一意決定するＴＵサイズによるＲＤコスト算出を行い、ＣＵサイズが６４×６４における最適な予測モードをＣＵ内予測モード蓄積部８において蓄積する。
【００３３】
次に、ＣＵサイズ選択部１は、３２×３２サイズのＣＵサイズから選択可能な最小ＣＵサイズとなるまで、同様に最適な予測モード決定処理を行う。全てのＣＵサイズに対して処理が終了した後、ＣＵパターン選択部９はＬＣＵにおいてＲＤコストが最適となるＣＵパターンを選択する。
【００３４】
なお、ここでは全てのアクティビティが閾値以下か否かで条件分岐しているが、例えば３個以下の任意個数のブロックのアクティビティが閾値以下か否かで条件分岐する場合も同様の効果を奏する。また、閾値として１つのＴｈ１を用いているが、Ａｃｔ＿Ｂ１とＡｃｔ＿Ｃ１で別の閾値を用いる場合も同様の効果を奏する。また、閾値は、例えば、量子化値により決定することができる。
【００３５】
＜第２実施形態＞
次に、本発明の第２実施形態によるＴＵサイズ決定手法を適用したＣＵ決定処理について説明する。図６は、図４に示す装置において、第２実施形態によるＴＵサイズ決定処理を行う処理動作を示すフローチャートである。図６において、図５に示す処理動作と同一の部分には同一の符号を付し、その説明を省略する。図６に示す処理動作は、映像情報としてアクティビティ（アクティビティ値）を用いる場合の処理動作である。第１実施形態では複数回閾値処理することでＴＵサイズを決定したが、第２実施形態では、閾値処理の回数を１回として、一意にＴＵサイズを決定する。
【００３６】
まず、ＣＵサイズ選択部１は、ＣＵサイズとして６４×６４サイズを選択する。予測モード選択部２は、予測モードを選択し（ステップＳ０）、予測モード（予測サイズ）が２Ｎ×２Ｎ（ＣＵと同サイズ）か否かを判定する（ステップＳ１）。並行して映像情報抽出部１０は、ＣＵをＮ×Ｎブロック（Ａ１〜Ａ４）に分割し、ブロックＡ１を１／４（縦横に２分割）にしたＮ／２×Ｎ／２ブロック（Ｂ１〜Ｂ４）毎にアクティビティ（Ａｃｔ＿Ｂ１〜Ａｃｔ＿Ｂ４）を算出する（ステップＳ２１）。
【００３７】
予測サイズが２Ｎ×２Ｎかつ、アクティビティＡｃｔ＿Ａ１〜Ａｃｔ＿Ａ４全てがある閾値Ｔｈ２以下であるか否かを判定し（ステップＳ２２）、これがＹｅｓの場合、ブロックＡ１ではＴＵサイズをＮ×Ｎとする（ステップＳ５）。一方、アクティビティＡｃｔ＿Ａ１〜Ａｃｔ＿Ａ４全てがある閾値Ｔｈ２以下でない場合、アクティビティＡ１〜Ａ４全てがＴｈ２より大きく、Ｔｈ１以下であるかを判定し（ステップＳ２３）、これがＹｅｓの場合（例えばＴｈ２＜Ａｃｔ＿Ａ１〜Ａｃｔ＿Ａ４≦Ｔｈ１）、ブロックＡ１ではＴＵサイズをＮ／２×Ｎ／２とする（ステップＳ２４）。それ以外の場合はブロックＡ１ではＴＵサイズをＮ／４×Ｎ／４とする（ステップＳ２５）。Ａ２〜Ａ４に対しても同様の処理を行う。そして、Ａ１に対して行った処理を、Ａ２〜Ａ４についても行う。
【００３８】
次に、決定された１つのＴＵサイズに対してのみインター／イントラ予測後の直交変換処理を行う（ステップＳ１４）。同様にＣＵが３２×３２〜８×８に対してインター／イントラ予測＋一意決定するＴＵサイズによる直交変換処理を行い、全ＣＵサイズにおける最適ＲＤコストを算出し、ＬＣＵ内のＣＵを決定する。本実施形態では、閾値は、例えば、量子化値などにより決定することができる。
【００３９】
＜第３実施形態＞
次に、本発明の第３実施形態によるＴＵサイズ決定手法を適用したＣＵ決定処理について説明する。図７は、図４に示す装置において、第３実施形態によるＴＵサイズ決定処理を行う処理動作を示すフローチャートである。図７において、図６に示す処理動作と同一の部分には同一の符号を付し、その説明を省略する。図７に示す処理動作は、映像情報としてアクティビティ（アクティビティ値）を用いる場合の処理動作である。第２実施形態では、アクティビティ値そのものを閾値処理したが、第３実施形態では隣接ブロックのアクティビティの差分を利用する。
【００４０】
まず、ＣＵサイズ選択部１は、ＣＵサイズとして６４×６４サイズを選択する。予測モード選択部２は、予測モードを選択し（ステップＳ０）、予測モード（予測サイズ）が２Ｎ×２Ｎ（ただし、Ｎ＝３２、つまり、ＣＵと同サイズ）か否かを判定する。並行して映像情報抽出部１０は、ＣＵをＮ×Ｎブロック（Ａ１〜Ａ４）に分割し、ブロックＡ１を１／４（縦横に２分割）にしたＮ／２×Ｎ／２ブロック（Ｂ１〜Ｂ４）毎にアクティビティ（Ａｃｔ＿Ｂ１〜Ａｃｔ＿Ｂ４）を算出する（ステップＳ３１）。
【００４１】
次に、予測サイズが２Ｎ×２Ｎかつ、これら４つのアクティビティのうち、隣接するＮ／２×Ｎ／２ブロックのアクティビティの差分（例えばＡｃｔ＿ｄｉｆｆ  ＝  Ａｃｔ＿Ｂ１  −  Ａｃｔ＿Ｂ２）がある閾値Ｔｈ４未満であるか否かを判定し（ステップＳ３２）、これがＹｅｓの場合（Ａｃｔ＿ｄｉｆｆ  ＜＝  Ｔｈ４）はブロックＡ１ではＴＵサイズをＮ×Ｎに決定する（ステップＳ５）。一方、ステップＳ３２の判定がＮｏの場合、閾値Ｔｈ３以下かつ閾値Ｔｈ４より大きいか否かを判定し（ステップＳ３３）。これがＹｅｓの場合（Ｔｈ４  ＜  Ａｃｔ＿ｄｉｆｆ  ＜＝  Ｔｈ３）は、ブロックＡ１ではＴＵサイズをＮ／２×Ｎ／２に決定する（ステップＳ２４）。そして、閾値Ｔｈ３以上である場合（Ａｃｔ＿ｄｉｆｆ  ＞  Ｔｈ３）はブロックＡ１ではＴＵサイズをＮ／４×Ｎ／４として一意に決定する（ステップＳ２５）。一方、予測サイズが２Ｎ×２Ｎではない場合、つまり２Ｎ×ＮやＮ×Ｎ等の場合はＣＵのアクティビティに関係なく、ＴＵはＮ×Ｎに一意に決定する（ステップＳ１３）。
【００４２】
次に、決定された１つのＴＵサイズに対してのみインター／イントラ予測後の直交変換処理を行い、ＣＵサイズが６４×６４の場合における最適ＲＤコストを算出する（ステップＳ１４）。
【００４３】
前述の隣接の具体例としては、左または上隣接がある。また、本実施形態では、閾値は、例えば、量子化値などにより決定することができる。同様にＣＵが３２×３２〜８×８に対してインター／イントラ予測＋一意決定するＴＵサイズによる直交変換処理を行い、全ＣＵサイズにおける最適ＲＤコストを算出し、ＬＣＵ内のＣＵを決定する。なお、利用する隣接ブロックが符号化済である場合は、符号化順で前のフレームではなく、処理対象フレームの復号画像からアクティビティを算出することも可能である。
【００４４】
ここで、図８〜図１０を参照して、ＣＵサイズが６４×６４、３２×３２、１６×１６の場合のＴＵサイズ決定処理動作の補足説明を行う。図８は、ＣＵサイズが６４×６４の場合の処理動作を示す説明図である。図９は、ＣＵサイズが３２×３２の場合の処理動作を示す説明図である。図１０は、ＣＵサイズが１６×１６の場合の処理動作を示す説明図である。
【００４５】
始めに、ＣＵサイズが６４×６４の場合について説明する。まず、ＣＵを３２×３２ブロック（縦横１／２）Ａ１〜Ａ４に分割する。各３２×３２ブロックをさらに縦横１／２分割し、１６×１６ブロック（例えばブロックＡ１の場合はＢ１〜Ｂ４）毎にアクティビティを算出する（図８（ａ）参照）。この処理は、Ａ２〜Ａ４に対しても同様の処理を行う。
【００４６】
次に、１６×１６ブロックＢ１〜Ｂ４のアクティビティが全てある閾値未満である場合は、ブロックＡ１のＴＵサイズを３２×３２（ＣＵを０回分割）に決定する。一方、１６×１６ブロックＢ１〜Ｂ４のいずれかのアクティビティがある閾値以上である場合は、ブロックＡ１のＴＵサイズを１６×１６以下（のいずれか）とする（図８（ｂ）参照）。この処理は、Ｂ２〜Ｂ４に対しても同様の処理を行う。
【００４７】
次に、隣接する８×８ブロックＣ１〜Ｃ４のアクティビティの差分がある閾値未満である場合は、ブロックＣ１のＴＵサイズを１６×１６に決定する。一方、隣接する８×８ブロックのアクティビティの差分がある閾値以上である場合は、ＴＵサイズを８×８以下（のいずれか）とする（図８（ｃ）参照）。この処理は、Ｃ２〜Ｃ４に対しても同様の処理を行う。
【００４８】
次に、隣接する４×４ブロックＤ１〜Ｄ４のアクティビティの差分がある閾値未満である場合は、ＴＵサイズを８×８に決定する。一方、隣接する４×４ブロックのアクティビティの差分がある閾値以上である場合は、ＴＵサイズを４×４とする（図８（ｄ））。
【００４９】
次に、ＣＵサイズが３２×３２の場合について説明する。まず、隣接する８×８ブロックのアクティビティの差分がある閾値未満である場合は、ＴＵサイズを１６×１６に決定する。一方、隣接する８×８ブロックのアクティビティの差分がある閾値以上である場合は、ＴＵサイズを８×８以下（のいずれか）とする（図９（ａ）参照）。
【００５０】
次に、隣接する４×４ブロックのアクティビティの差分がある閾値未満である場合は、ＴＵサイズを８×８に決定する。一方、隣接する４×４ブロックのアクティビティの差分がある閾値以上である場合は、ＴＵサイズを４×４とする（図９（ｂ）参照）。
【００５１】
次に、ＣＵサイズが１６×１６の場合について説明する。まず、隣接する４×４ブロックのアクティビティの差分がある閾値未満である場合は、ＴＵサイズを８×８に決定する。一方、隣接する４×４ブロックのアクティビティの差分がある閾値以上である場合は、ＴＵサイズを４×４とする（図１０参照）
【００５２】
＜第４実施形態＞
次に、本発明の第４実施形態によるＴＵサイズ決定手法を適用したＣＵ決定処理について説明する。図１１は、図４に示す装置において、第４実施形態によるＴＵサイズ決定処理を行う処理動作を示すフローチャートである。図１１において、図５に示す処理動作と同一の部分には同一の符号を付し、その説明を省略する。図１１に示す処理動作は、映像情報として処理対象ブロックにおける動き状態（動き領域サイズ）を用いる場合の処理動作である。第１実施形態ではアクティビティ状態を用いたが、第４実施形態ではアクティビティの代わりに処理対象ブロックにおける動き状態を用いる。なお、用いる動き状態は、対象フレームで新たに算出する動き状態または、符号化済フレーム(符号化順で対象フレームより前)の同一領域ブロックの(既に算出されている)動き状態とする。以下では対象フレームで新たに算出する動き状態を用いる前提で説明する。
【００５３】
まず、ＣＵサイズ選択部１は、ＣＵサイズとして６４×６４サイズを選択する。予測モード選択部２は、予測モードを選択し（ステップＳ０）、予測モード（予測サイズ）が２Ｎ×２Ｎ（ＣＵと同サイズ）であるか否かを判定する（ステップＳ１）。並行して、映像情報抽出部１０は、ＣＵをＮ×Ｎブロック（Ａ１〜Ａ４）に分割し、各ブロック毎に以下の処理を行う（ステップＳ２）。映像情報抽出部１０は、ブロックＡ１を１／４（縦横に２分割）にしたＮ／２×Ｎ／２ブロック（Ｂ１〜Ｂ４）毎に動き状態（Ｍｏｔ＿Ｂ１〜Ｍｏｔ＿Ｂ４）を算出する（ステップＳ３ａ）。
【００５４】
次に、予測サイズが２Ｎ×２Ｎかつ、動き状態Ｍｏｔ＿Ｂ１〜Ｍｏｔ＿Ｂ４が全て閾値Ｔｈ１以下であるか否かを判定し（ステップＳ４ａ）、これがＹｅｓの場合（Ｍｏｔ＿Ｂ１〜Ｍｏｔ＿Ｂ４  ＜＝  Ｔｈ１）はブロックＡ１においてはＴＵサイズをＮ×Ｎに決定する（ステップＳ５）。一方、Ｍｏｔ＿Ｂ１〜Ｍｏｔ＿Ｂ４のいずれかが閾値Ｔｈ１より高い（判定がＮｏ）場合（例えばＭｏｔ＿Ｂ１  ＞  Ｔｈ１）はブロックＢ１〜Ｂ４をそれぞれＮ／４×Ｎ／４ブロックに分割する（ステップＳ６ａ）。ここで例えばＢ１をＮ／４×Ｎ／４サイズとしたブロックをＣ１〜Ｃ４とし、動き状態（Ｍｏｔ＿Ｃ１〜Ｍｏｔ＿Ｃ４）を算出する。
【００５５】
次に、動き状態Ｍｏｔ＿Ｃ１〜Ｍｏｔ＿Ｃ４全てが閾値Ｔｈ１以下であるか否かを判定し（ステップＳ７ａ）、これがＹｅｓの場合（Ｍｏｔ＿Ｃ１〜Ｃ４  ＜＝  Ｔｈ１）はブロックＢ１においてはＴＵサイズをＮ／２×Ｎ／２に決定する（ステップＳ８）。一方、Ｍｏｔ＿Ｃ１〜Ｍｏｔ＿Ｃ４のいずれかが閾値Ｔｈ１より高い（判定がＮｏ）場合（例えばＭｏｔ＿Ｃ１  ＞  Ｔｈ１）はブロックＣ１〜Ｃ４をそれぞれＮ／８×Ｎ／８ブロックに分割する。ここで例えばＣ１をＮ／８×Ｎ／８サイズとしたブロックをＤ１〜Ｄ４とし、動き状態（Ｍｏｔ＿Ｄ１〜Ｍｏｔ＿Ｄ４）を算出する（ステップＳ９ａ）。
【００５６】
次に、動き状態Ｍｏｔ＿Ｄ１〜Ｍｏｔ＿Ｄ４全てが閾値Ｔｈ１以下であるか否かを判定し（ステップステップＳ１０ａ）、これがＹｅｓの場合（Ｍｏｔ＿Ｄ１〜Ｄ４  ＜＝  Ｔｈ１）はブロックＣ１においてはＴＵサイズをＮ／４×Ｎ／４に決定する（ステップＳ１１）。それ以外の場合は、ブロックＣ１ではＴＵサイズをＮ／８×Ｎ／８と決定する（ステップＳ１２）。上記Ａ１、Ｂ１、Ｃ１に対して行った処理を、それぞれＡ２〜Ａ４、Ｂ２〜Ｂ４、Ｃ２〜Ｃ４についても行う。
【００５７】
一方、ステップＳ１における判定結果がＮｏである場合、対象ＣＵでは、ＴＵをＮ×Ｎとする（ステップＳ１３）。続いて、ＲＤコスト算出部３は、決定したＴＵサイズでＲＤコストを算出し、予測モード毎最適ＲＤコスト蓄積部７に蓄積する（ステップＳ１４）。同様にＣＵが３２×３２〜８×８に対してインター／イントラ予測と一意決定するＴＵサイズによる直交変換処理を行い、全ＣＵサイズにおける最適ＲＤコストを算出し、ＬＣＵ内のＣＵを決定する。  
【００５８】
なお、動き状態とは、動領域であるか否か、動領域サイズの大きさ等が考えられ、いずれも同様の効果を奏する。また、本実施形態では、閾値は、例えば、量子化値やフレームレートなどにより決定することができる。
【００５９】
＜第５実施形態＞
次に、本発明の第５実施形態によるＴＵサイズ決定手法を適用したＣＵ決定処理について説明する。図１２は、図４に示す装置において、第５実施形態によるＴＵサイズ決定処理を行う処理動作を示すフローチャートである。図１２において、図１１に示す処理動作と同一の部分には同一の符号を付し、その説明を省略する。図１２に示す処理動作は、映像情報として対象と隣接するブロックの動きベクトルを用いる場合の処理動作である。第４実施形態では対象ブロックにおける動きまたは動き領域サイズを閾値として用いたが、第５実施形態では対象と隣接するブロック（例えば符号化済のブロック）の動きベクトルを用いる。
【００６０】
まず、ＣＵサイズ選択部１は、ＣＵサイズとして６４×６４サイズを選択する。予測モード選択部２は、予測モードを選択し（ステップＳ０）、予測モード（予測サイズ）が２Ｎ×２Ｎ（ＣＵと同サイズ）であるか否かを判定する（ステップＳ１）。並行して映像情報抽出部１０は、ＣＵを縦横半分のＮ×Ｎブロック（Ａ１〜Ａ４）に分割し（ステップＳ２）、ブロックＡ１に隣接する複数個（例えば２個）のＮ／２×Ｎ／２ブロック（ａ１、ａ２）の動きベクトル（Ｍｖ＿ａ１、Ｍｖ＿ａ２）を参照する（ステップＳ３ｂ）。
【００６１】
次に、２つの動きベクトル差分が閾値Ｔｈ１以下か否かを判定し（ステップＳ４ｂ）、これがＹｅｓの場合（Ｍｖ＿ａ１−Ｍｖ＿ａ２＜Ｔｈ１）は、ブロックＡにおいてほぼ動きの方向、大きさが揃っていると考えられる。動きが揃っている場合は、ＴＵサイズをＮ×Ｎとする（ステップＳ５）。一方、動きが揃っていない場合は、ブロックＡ１をＮ／２×Ｎ／２ブロック（Ｂ１〜Ｂ４）に分割し（ステップＳ４１）、例えばブロックＢ１に隣接する複数個（例えば２個）のＮ／４×Ｎ／４ブロック（ｂ１、ｂ２）の動きベクトル（Ｍｖ＿ａ１、Ｍｖ＿ａ２）を参照する（ステップＳ４２）。
【００６２】
次に、２つの動きベクトル差分が閾値Ｔｈ１以下か否かを判定し（ステップＳ７ｂ）、これがＹｅｓの場合（Ｍｖ＿ｂ１−Ｍｖ＿ｂ２＜Ｔｈ１）は、ブロックＢ１ではＴＵサイズをＮ／２×Ｎ／２とする（ステップＳ８）。それ以外の場合は、ブロックＢ１をＮ／４×Ｎ／４ブロック（Ｃ１〜Ｃ４）に分割し（ステップＳ４３）、ブロックＣ１に隣接する複数個（例えば２個）のＮ／８×Ｎ／８ブロック（ｃ１、ｃ２）の動きベクトル（Ｍｖ＿ｃ１、Ｍｖ＿ｃ２）を参照する（ステップＳ４４）。
【００６３】
次に、２つの動きベクトル差分が閾値Ｔｈ１以下か否かを判定し（ステップＳ１０ｂ）これがＹｅｓの場合（Ｍｖ＿ｃ１−Ｍｖ＿ｃ２＜Ｔｈ１）は、ブロックＣ１ではＴＵサイズをＮ／４×Ｎ／４とする（ステップＳ１１）。それ以外の場合はＮ／８×Ｎ／８とする（ステップＳ１２）。上記Ａ１、Ｂ１、Ｃ１に対して行った処理を、それぞれＡ２〜Ａ４、Ｂ２〜Ｂ４、Ｃ２〜Ｃ４についても行う。
【００６４】
一方、ステップＳ１における判定結果がＮｏである場合、対象ＣＵでは、ＴＵをＮ×Ｎとする（ステップＳ１３）。続いて、ＲＤコスト算出部３は、決定したＴＵサイズでＲＤコストを算出し、予測モード毎最適ＲＤコスト蓄積部７に蓄積する（ステップＳ１４）。同様にＣＵが３２×３２〜８×８に対してインター／イントラ予測と一意決定するＴＵサイズによる直交変換処理を行い、全ＣＵサイズにおける最適ＲＤコストを算出し、ＬＣＵ内のＣＵを決定する。
【００６５】
なお、利用する隣接動きベクトル数、符号化済動きベクトル情報を用いるか等については、特に指定はなく、いずれも同様の効果を奏する。また、本実施形態では、閾値は、例えば、量子化値やフレームレートなどにより決定することができる。
【００６６】
次に、図１３、図１４を参照して、隣接ブロックの動きベクトルを用いたＴＵ決定の処理動作について補足説明を行う。図１３、図１４は、隣接ブロックの動きベクトルを用いたＴＵ決定の処理動作を示す説明図である。図１３に示すように、隣接ブロック（１６×１６）において２つの動きベクトルが似ている場合は、ＴＵを分割しない（ＴＵ＝３２×３２とする）。また、周辺ＣＵにおける動きベクトルが、処理対象ＣＵの動きベクトルと大きく異なる場合は、ＴＵを分割する（ＴＵ＝１６×１６以下とする）。
【００６７】
また、図１４に示すように、隣接ブロック（８×８）において２つの動きベクトルが似ている場合は、ＴＵを分割しない（ＴＵ＝１６×１６とする）。また、周辺ＣＵにおける動きベクトルが、処理対象ＣＵの動きベクトルと大きく異なる場合は、ＴＵを分割する（ＴＵ＝８×８以下とする）。また、隣接ブロック（４×４）において２つの動きベクトルが似ている場合は、ＴＵを分割しない（ＴＵ＝８×８とする）。また、周辺ＣＵにおける動きベクトルが、処理対象ＣＵの動きベクトルと大きく異なる場合は、ＴＵを分割する（ＴＵ＝４×４とする）。
【００６８】
＜第６実施形態＞
次に、本発明の第６実施形態によるＴＵサイズ決定手法を適用したＣＵ決定処理について説明する。図１５は、図４に示す装置において、第６実施形態によるＴＵサイズ決定処理を行う処理動作を示すフローチャートである。図１５に示す処理動作は、ピクチャタイプ毎に判定で用いる情報として、アクティビティを用いるか、動き状態を用いるかを切り替える。まず、フレーム内予測であるＩピクチャであるか否かを判定し（ステップＳ５１）、Ｉピクチャである場合は、全てのブロックがイントラ予測であり、動き情報が何も得られないため、アクティビティを用いた処理動作（第１〜第３実施形態（図５、図６、図７）の処理動作）を適用する。一方、Ｉピクチャでない場合、符号化対象ブロックがイントラ符号化であるか否かを判定し（ステップＳ５３）、フレーム間予測であるＰ、Ｂピクチャでは、イントラ予測とインター予測が混在するため、イントラ予測ブロックではアクティビティを用いる（ステップＳ５２）。一方、インター予測ブロックでは動き状態を用いた処理動作（第４〜第５実施形態（図１１、図１２）の処理動作）を適用する（ステップＳ５４）。これにより、判定精度を高めることが可能となる。
【００６９】
以上説明したように、インター／イントラ予測のサイズがＣＵサイズと同じか否かの状態の情報と、処理対象ＣＵ内の単一または複数のアクティビティ情報（アクティビティ値、隣接アクティビティとの差分等）または動き情報（動き状態や動きベクトル）とを用いてＴＵサイズを一意に決定することで、直交変換処理の削減および符号化効率低下の抑制を実現できる。
【００７０】
前述した実施形態における画像符号化装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００７１】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、組み合わせ、その他の変更を行ってもよい。
【産業上の利用可能性】
【００７２】
画像符号化における符号化単位サイズを決定することで符号化処理の高速化する際に、ＨＥＶＣにおけるＴＵ（Transform Unit）のサイズを高速に決定することが不可欠な用途に適用できる。
【符号の説明】
【００７３】
１・・・ＣＵサイズ選択部、２・・・予測モード選択部、３・・・ＲＤコスト算出部、５・・・ＴＵサイズ決定部、７・・・予測モード毎最適ＲＤコスト蓄積部、８・・・ＣＵ内予測モード蓄積部、９・・・ＣＵパターン選択部、１０・・・映像情報抽出部
【図１】
2015026964.tif 000003
【図２】
2015026964.tif 000004
【図３】
2015026964.tif 000005
【図４】
2015026964.tif 000006
【図５】
2015026964.tif 000007
【図６】
2015026964.tif 000008
【図７】
2015026964.tif 000009
【図８】
2015026964.tif 000010
【図９】
2015026964.tif 000011
【図１０】
2015026964.tif 000012
【図１１】
2015026964.tif 000013
【図１２】
2015026964.tif 000014
【図１３】
2015026964.tif 000015
【図１４】
2015026964.tif 000016
【図１５】
2015026964.tif 000017