(57)【要約】【課題】イントラ予測符号化に用いるブロックサイズを選択するための演算量を効率良く削減する。【解決手段】演算部は、動画像に含まれる画像内の第１のブロックにおけるイントラ予測の予測方向が、第１のブロックを含む第２のブロックのイントラ予測において第１のブロックにおけるイントラ予測の予測方向により参照される画素を参照している場合、以下の処理を行う。すなわち、演算部は、第１のブロックにおける予測方向に基づく予測結果を、第２のブロックにおける予測方向に基づく予測結果を用いて生成する。符号化部は、演算部での予測結果を利用して符号化を行う。【選択図】図４
2016092458.tif 000002
【特許請求の範囲】
【請求項１】
動画像に含まれる画像内の第１のブロックにおけるイントラ予測の予測方向が、前記第１のブロックを含む第２のブロックのイントラ予測において前記第１のブロックにおけるイントラ予測の予測方向により参照される画素を参照している場合、前記第１のブロックにおける前記予測方向に基づく予測結果を、前記第２のブロックにおける前記予測方向に基づく予測結果を用いて生成する演算部と、
前記演算部での予測結果を利用して符号化を行う符号化部と、
を有することを特徴とする動画像符号化装置。
【請求項２】
前記演算部での予測結果を記憶する記憶部、
をさらに有し、
前記演算部は、前記第１のブロックをさらに分割して前記選択の処理を行うことが決められている場合に、前記第１のブロックにおける前記演算部での予測結果を前記記憶部に記憶させ、前記第１のブロックをさらに分割して予測結果を生成する場合に、前記記憶部から前記第１のブロックにおける前記演算部での予測結果を読み出して利用する
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記演算部は、前記第２のブロックにおける前記第１のブロックの位置に応じて、前記第１のブロックにおける前記予測方向に基づく予測結果の生成の際に前記第２のブロックにおける前記予測方向に基づく予測結果を用いるか否かを判定する
ことを特徴とする請求項１または請求項２に記載の動画像符号化装置。
【請求項４】
前記演算部は、前記イントラ予測の予測方向に応じて、前記第１のブロックにおける前記予測方向に基づく予測結果を用いるか否かを判定する
ことを特徴とする請求項１から請求項３のいずれか一項に記載の動画像符号化装置。
【請求項５】
前記演算部は、前記第２のブロックにおける前記予測方向に基づく予測結果と前記画像とに基づき算出される前記第２のブロックの符号化コストと、前記第２のブロックと同じ領域に含まれる複数の前記第１のブロックにおける前記予測方向に基づく予測結果と前記画像とに基づき夫々算出される複数の前記第１のブロックの符号化コストを合計した合計符号化コストと、に基づいてイントラ予測符号化におけるブロックサイズを選択する選択部
を有し、
前記符号化部は、前記イントラ予測符号化を行う場合、前記画像に含まれる、前記選択部が選択した前記ブロックサイズの符号化対象ブロックを符号化し、前記符号化対象ブロックの符号化結果を出力する
ことを特徴とする請求項１から請求項４のいずれか一項に記載の動画像符号化装置。
【請求項６】
前記演算部は、前記第２のブロックにおける前記予測方向に基づく予測結果として、前記第２のブロックにおける予測画像を用いる
ことを特徴とする請求項１から請求項５のいずれか一項に記載の動画像符号化装置。
【請求項７】
前記演算部は、前記第２のブロックにおける前記予測方向に基づく予測結果として、前記第２のブロックにおける差分画像を用いる
ことを特徴とする請求項１から請求項５のいずれか一項に記載の動画像符号化装置。
【請求項８】
前記演算部は、さらに、前記第１のブロックにおいて参照する画素と、前記第２のブロックにおいて参照する画素との相関が強いと判定された場合、前記第２のブロックにおける前記予測方向に基づく予測結果を用いて前記第１のブロックにおける前記予測方向に基づく予測結果を生成する
ことを特徴とする請求項１から請求項５のいずれか一項に記載の動画像符号化装置。
【請求項９】
動画像符号化処理装置が、動画像に含まれる画像内の第１のブロックにおけるイントラ予測の予測方向が、前記第１のブロックを含む第２のブロックのイントラ予測において前記第１のブロックにおけるイントラ予測の予測方向により参照される画素を参照している場合、前記第１のブロックにおける前記予測方向に基づく予測結果を、前記第２のブロックにおける前記予測方向に基づく予測結果を用いて生成し、
生成された前記予測結果を利用して符号化を行う、
ことを特徴とする動画像符号化方法。
【請求項１０】
動画像に含まれる画像内の第１のブロックにおけるイントラ予測の予測方向が、前記第１のブロックを含む第２のブロックのイントラ予測において前記第１のブロックにおけるイントラ予測の予測方向により参照される画素を参照している場合、前記第１のブロックにおける前記予測方向に基づく予測結果を、前記第２のブロックにおける前記予測方向に基づく予測結果を用いて生成し、
生成された前記予測結果を利用して符号化を行う
処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化方法、及びプログラムに関する。
【背景技術】
【０００２】
動画像データは連続した静止画から構成されており、一般的に情報量が大きい。このため、動画像の伝送時には画像データの圧縮が行われることが多い。そこで、動画像データ列を他のデータ列に変換し、そのデータ量を圧縮する符号化処理として、動画像符号化が行われる。代表的な動画像符号化方式として、Ｈ.２６４／Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）やＨｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＨＥＶＣ）が挙げられる。
【０００３】
動画像符号化に関しては、スケーラブル符号化において、イントラ予測の予測モードをより効率的に符号化することを目的とした仕組みが知られている。また、フレーム内予測符号化する場合に、処理負荷を抑えて、多数の予測モードから好適な予測モードを設定するための技術も知られている（例えば、特許文献１〜２参照）。
【０００４】
動画像符号化方式ＨＥＶＣは、従来の符号化方式Ｈ.２６４／ＡＶＣの２倍以上の符号化効率を持っている。また、ＨＥＶＣにおいて、実用的な時間内で適切なパラメータ選択を行い符号化する実装例として、ＨＥＶＣ  Ｔｅｓｔ  Ｍｏｄｅｌ（ＨＭ）が知られている（例えば、非特許文献１〜３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１２８４６号公報
【特許文献２】特開２００８−２８３４０２号公報
【非特許文献】
【０００６】
【非特許文献１】High Efficiency Video Coding (HEVC) Range Extensions text specification: Draft 7、JCTVC-Q1005_v4, ２０１４年４月１０日、[online] 、[平成２６年８月２２日検索]、＜URL:http://phenix.it-sudparis.eu/jct/index.php＞
【非特許文献２】Ｈ．２６５／ＨＥＶＣ教科書、第５章、第８章、インプレスジャパン、２０１３年１０月２１日発行
【非特許文献３】HM、[online] 、[平成２６年８月２２日検索]、＜URL: https://HEVC.hhi.fraunhofer.de/svn/svn_HEVCSoftware/tags/,HM-15.0+RExt-8.0\source\Lib\TLibEncoder\TEnccu.cpp,HM-15.0+RExt-8.0\source\Lib\TLibEncoder\TEncSearch.cpp＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述のような従来の技術では、例えば、イントラ予測による符号化処理に最適なブロックサイズを選択する処理が行われる。しかし、最適なブロックサイズを選択するのは、最適なブロックサイズを判定するまでの処理負荷を大きくし、リアルタイム処理を困難にする。具体的にはイントラ予測において、最適なブロックサイズを判定するために、ブロックサイズ毎の予測画像を生成する必要があり、演算量が増加する。一方、イントラ予測における予測画像生成の処理等を安易に省略すれば、予測精度が低下して符号量が削減できず、結果として、画質が低下するという問題がある。
【０００８】
ひとつの側面によれば、本発明の目的は、動画像符号化において、イントラ予測符号化に用いるブロックサイズを選択するための演算量を効率良く削減することである。
【課題を解決するための手段】
【０００９】
ひとつの態様である動画像符号化装置は、演算部と符号化部とを有する。演算部は、動画像に含まれる画像内の第１のブロックにおけるイントラ予測の予測方向が、第１のブロックを含む第２のブロックのイントラ予測において第１のブロックにおけるイントラ予測の予測方向により参照される画素を参照している場合、以下の処理を行う。すなわち、演算部は、第１のブロックにおける予測方向に基づく予測結果を、第２のブロックにおける予測方向に基づく予測結果を用いて生成する。符号化部は、演算部での予測結果を利用して符号化を行う。
【発明の効果】
【００１０】
ひとつの実施形態によれば、動画像符号化において、イントラ予測符号化に用いるブロックサイズを選択するための演算量を効率良く削減することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】ＨＥＶＣのブロック構造とブロックサイズの選択の一例について説明する図である。
【図２】ＴＵのサイズの一例を示す図である。
【図３】イントラ予測における符号化モード判定処理の一例を示すフローチャートである。
【図４】第１の実施の形態による動画像符号化装置の機能的な構成の一例を示すブロック図である。
【図５】第２の実施の形態による動画像符号化装置の機能的構成の一例を示すブロック図である。
【図６】第２の実施の形態によるイントラＴＵモード判定部の機能的構成の一例を示すブロック図である。
【図７】予測方向２〜３４を使って予測画像を生成する際に使用される参照画素の位置を説明する図である。
【図８】予測方向０〜１を使って予測画像を生成する際に使用される参照画素の位置を説明する図である。
【図９】第２の実施の形態による参照画素の予測方向依存性の一例を示す図である。
【図１０】ＴＵ０に関する参照画素の位置の一例を示す図である。
【図１１】ＴＵ１に関する参照画素の位置の一例を示す図である。
【図１２】ＴＵ１に関する参照画素の位置の一例を詳細に示す図である。
【図１３】ＴＵ２に関する参照画素の位置の一例を示す図である。
【図１４】ＴＵ２に関する参照画素の位置の一例を詳細に示す図である。
【図１５】ＴＵ３に関する参照画素の位置の一例を示す図である。
【図１６】第２の実施の形態による動画像符号化装置の全体の処理の一例を示すフローチャートである。
【図１７】第２の実施の形態による符号化モード判定処理を示すフローチャートである。
【図１８】第２の実施の形態によるインターＰＵモード判定処理の一例を示すフローチャートである。
【図１９】第２の実施の形態によるインターＴＵモード判定処理の一例を示すフローチャートである。
【図２０】第２の実施の形態によるイントラＰＵモード判定処理の一例を示すフローチャートである。
【図２１】第２の実施の形態によるイントラＴＵモード判定処理の一例を示すフローチャートである。
【図２２】第２の実施の形態によるＴＵ予測画像生成処理の詳細を示すフローチャートである。
【図２３】第３の実施の形態による動画像符号化装置の機能的な構成の一例を示す図である。
【図２４】第３の実施の形態によるイントラＴＵモード判定部の機能的な構成の一例を説明する図である。
【図２５】第３の実施の形態によるイントラＴＵモード判定処理の一例を示すフローチャートである。
【図２６】第３の実施の形態によるＴＵ差分画像生成処理の一例を示す図である。
【図２７】第４の実施の形態によるイントラＴＵモード判定部の機能的な構成の一例を示す図である。
【図２８】第４の実施の形態によるブロックＢ０１に関する参照画素の位置の一例を示す図である。
【図２９】第４の実施の形態によるＴＵ１に関する参照画素の位置の一例を示す図である。
【図３０】第４の実施の形態によるブロックＢ０２に関する参照画素の位置の一例を示す図である。
【図３１】第４の実施の形態によるＴＵ２に関する参照画素の位置の一例を示す図である。
【図３２】第４の実施の形態によるイントラＴＵモード判定処理の一例を示すフローチャートである。
【図３３】第４の実施の形態によるＴＵ予測画像生成処理の詳細を示すフローチャートである。
【図３４】標準的なコンピュータのハードウエア構成の一例を示す図である。
【発明を実施するための形態】
【００１２】
（第１の実施の形態）
以下、図面を参照しながら、第１の実施の形態による動画像符号化装置について説明する。ここで、本実施の形態による動画像符号化装置において利用可能なＨＥＶＣにおけるブロックサイズの選択について説明する。
【００１３】
図１は、ＨＥＶＣのブロック構造とブロックサイズの選択の一例を説明する図である。図１に示すように、ＨＥＶＣでは、各ピクチャの符号化処理は、Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ（ＣＴＵ：符号化ツリーユニット）と呼ばれる正方画素ブロックの単位で行われる。ＣＴＵは、Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ）−２やＨ.２６４／ＡＶＣにおけるマクロブロック（Ｍａｃｒｏ  ｂｌｏｃｋ）に相当する処理単位である。ＣＴＵは、輝度信号ブロックと対応する色差信号ブロックとを含む。ＣＴＵのサイズは、マクロブロックのように固定ではなく、シーケンス毎に動画像符号化装置が選択・シグナリングする。ＣＴＵのサイズは、最大６４×６４画素ブロックである。なお、以下、Ｈ.２６４／ＡＶＣを、単にＨ．２６４ということがある。
【００１４】
イントラ・インター予測、変換・量子化、エントロピー符号化などの一連の符号化処理は、ＣＴＵを再帰的に四分木分割することによって得られるＣｏｄｉｎｇ  Ｕｎｉｔ（ＣＵ）の単位で行われる。符号化単位となるＣＵのサイズは、ＣＴＵのサイズで８×８、１６×１６、３２×３２、６４×６４画素に対応する４種類である。１個のＣＴＵが再帰的な四分木ブロック分割に基づいて可変サイズのＣＵに分割された後、各ＣＵは、Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ（ＰＵ：予測ユニット）と、Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ（ＴＵ：変換ユニット）にさらに分割される。ＣＵの符号化処理として、イントラ・インター予測については、ＣＵ内をＰＵと呼ばれるブロックに分割して行われる。予測差分信号の変換・量子化処理は、ＴＵと呼ばれるブロック単位で行われる。ＴＵもＣＴＵ内のＣＵ分割と同様、ＴＵ内部で再帰的に四分木分割を行うことが可能である。ＴＵのサイズは、４×４、８×８、１６×１６、３２×３２画素の、４種類である。図１には、ＣＴＵ、ＣＵ、ＰＵ、ＴＵの関係が示されている。
【００１５】
ＨＥＶＣでは、ＣＴＵ内を可変サイズのＣＵ、ＰＵ、ＴＵに分割して符号化を行うことができるため、入力画像の局所的な特性に対して符号化処理を適応化することが可能となる。例えば、複雑な動きや絵柄が存在する領域では、ブロックのサイズを小さくして動きベクトルやイントラ予測モードなどの予測パラメータに符号量を多く配分することで、予測性能を高めることが期待される。逆に、平坦な絵柄や一様な動きの領域については、ブロックのサイズを大きくして予測パラメータの符号量を抑制するなどの制御を行うことで、従来方式Ｈ.２６４などに比べて少ない符号量でも高画質化を図ることが可能である。
【００１６】
一方、ブロックサイズのバリエーションが増えたことにより、符号化処理に最適なブロックサイズの選択の演算量が増加するため、高精細な映像信号をリアルタイムで高効率に符号化するためには、動画像符号化装置の設計に従来以上の工夫を要する。以下、このような工夫の一例について説明する。
【００１７】
ここでは、ＨＥＶＣにおいて、実用的な時間内で適切なパラメータ選択を行い符号化する実装例として、ＨＭでのブロックサイズ選択方法について説明する。ＨＥＶＣの参照ソフトＨＭでは、以下のように、多数のブロックサイズの中から符号化処理に最適なブロックサイズが選択されている。ブロックサイズの選択は、ＣＴＵ単位で行われる。
【００１８】
最適なブロックサイズを選択する際に、まず、符号化対象のＣＵに対して、ＰＵモードが判定される。ＰＵモードを判定するとは、例えば、図１のＰＵの分割パターンの中から、最適なＰＵ形状を選択することである。次に、符号化対象のＣＵにおけるＴＵのサイズが選択される。
【００１９】
図２は、ＴＵのサイズの一例を示す図である。図２に示すように、ＴＵは、階層０から、指定されたＴＵの最大階層ＭａｘＴＵＤｐまでに分割できる。本明細書において、ブロックサイズの階層を示す数字は、ブロックサイズが小さくなるほど大きくなるように設定される。なお、図１の場合、最大階層ＭａｘＴＵＤｐ＝２である。
【００２０】
ＴＵのサイズＴＵＳｉｚｅの選択において、図１のように、まず、階層０から最大階層までにおいて、ＴＵの符号化コストＴＵＣｏｓｔが算出される。ＴＵの符号化コストＴＵＣｏｓｔを、単に符号化コストということがある。次に、最大階層から階層０まで、階層毎に同一の画像領域に関する符号化コストＴＵＣｏｓｔを比較しながら、最適なＴＵのサイズＴＵＳｉｚｅが選択される。最適なＴＵのサイズＴＵＳｉｚｅを決めることを、ＴＵモードを判定するということがある。例えば、最小の符号化コストＴＵＣｏｓｔのときのＴＵのサイズを、最適なサイズとするようにしてもよい。
【００２１】
ＰＵモードとＴＵモードとが判定された後、選択されたＰＵモードとＴＵモードとを用いて、符号化対象のＣＵの符号化コストＣＵＣｏｓｔが算出される。図１に示しているように、ＣＵの階層０からＣＵの最大階層（図１では、「３」である。）まで、各階層の符号化コストＣＵＣｏｓｔが算出される。次に、最大階層から階層０まで、符号化コストＣＵＣｏｓｔを比較しながら、最適なＣＵのサイズが選択される。
【００２２】
符号化コストの算出については、例えば、非特許文献３に記載の方法を用いるようにしてもよい。符号化コストの算出は、例えば、下記のいずれかの式を用いるようにしてもよい。
符号化コスト＝ＳＳＥ＋λ×Ｂｉｔｓ・・・（式１）
ＳＳＥ：符号化誤差（原画像と復号画像との差の二乗和）
Ｂｉｔｓ：発生する情報量
λ：ラグランジュ定数
符号化コスト＝ＳＡＴＤ＋λ×Ｂｉｔｓ・・・（式２）
ＳＡＴＤ：差分画像をアダマール変換した後の係数の絶対値和
【００２３】
続いて、図３を参照しながら、ＨＥＶＣのイントラ予測における符号化モード判定処理について説明する。図３は、イントラ予測における符号化モード判定処理の一例を示すフローチャートである。まず、動画像符号化装置は、入力画像をＣＴＵ単位に分割し、ＣＴＵ単位で符号化モード判定を行う。このとき、まず、ＣＵのサイズに関するループ処理が実行される（Ｓ５１）。ループ処理とは、パラメータ等の条件を変えて、条件毎に同一の処理を繰り返すことをいう。動画像符号化装置は、候補となる予測方向を決定する（Ｓ５２）。すなわち、動画像符号化装置は、処理対象のＣＵに対して、３５個の予測方向の中から、最適な予測方向の候補を選択する。このとき、例えば動画像符号化装置は、式２により符号化コストを算出することができる。最適な予測方向の候補とは、例えば、上述した符号化コストの算出結果に基づき、３５個の予測方向から選択された８個など、所定数の予測方向である。最適な予測方向は、処理対象ＣＵにおけるイントラ予測において符号化コストが最小となる予測方向とすることができる。処理対象のＣＵを、以下、現ＣＵということがある。
【００２４】
動画像符号化装置は、各予測方向の候補のループ処理を実行する（Ｓ５３）。動画像符号化装置は、１個の予測方向に対して、ＴＵのサイズに関するループ処理を行う（Ｓ５４）。このとき、図２に示したように、動画像符号化装置は、階層０から指定された最大階層ＭａｘＴＵＤｐまでＴＵ階層毎に、選択された予測方向とＰＵモードとに従い、現階層のＴＵの予測画像を生成する。現階層とは、現在処理対象となっている階層をいう。次に、動画像符号化装置は、生成した予測画像と入力画像とを用いて、現ＴＵの符号化コストを算出する（Ｓ５５）。現ＴＵとは、現在処理対象となっているＴＵをいう。なお、予測画像の生成は、例えば、非特許文献１〜３等に記載の方法を用いることができる。
【００２５】
動画像符号化装置は、ＴＵのサイズに関するループ処理が終了すると（Ｓ５６）、全てのＴＵのサイズの符号化コストを比較し、例えば、符号化コストが最も小さくなるＴＵサイズをＴＵモードとして選択する（Ｓ５７）。動画像符号化装置は、Ｓ５３〜Ｓ５８のように、予測方向のループ処理を行い、各候補予測方向の符号化コストを算出し、符号化コストが最小となる予測方向を選択する（Ｓ５８）。
【００２６】
動画像符号化装置は、選択された予測方向とＴＵのサイズとを使って、現ＣＵの符号化コストを算出する（Ｓ５９）。このとき、動画像符号化装置は、ＣＵのサイズに関するループ処理を行い（Ｓ６０）、各階層のＣＵの符号化コストを算出し、最小符号化コストとなるＣＵサイズを選択する（Ｓ６１）。
【００２７】
動画像符号化装置は、上記の処理において選択された予測方向、ＴＵのサイズ、およびＣＵのサイズを用いて、符号化対象ＣＴＵの符号化処理を行う。
【００２８】
図４は、第１の実施の形態による動画像符号化装置１００の機能的な構成の一例を示すブロック図である。図４に示すように、動画像符号化装置１００は、選択部１０２と符号化部１０４とを有している。選択部１０２は、動画像符号化処理におけるイントラ予測でのブロックサイズの選択を行う。この際、選択部１０２は、動画像に含まれる画像内の第１のブロックにおけるイントラ予測の予測方向が、前記第１のブロックを含む第２のブロックのイントラ予測の予測方向により参照される画素を参照している場合、以下の処理を行う。すなわち、選択部１０２は、第１のブロックにおける予測方向に基づく予測結果に対応する第１の画像情報を、第２のブロックにおける予測方向に基づく予測結果に対応する第２の画像情報を用いて生成する。さらに選択部１０２は、第１の画像情報と第２の画像情報とに基づいてイントラ予測符号化におけるブロックサイズを選択する。すなわち、選択部１０２は、第２のブロックの符号化コストと、第２のブロックと同じ領域を構成する複数の第１のブロックの符号化コストの合計コストと、に基づいて、イントラ予測符号化で採用するブロックサイズを選択する。動画像符号化装置１００は、例えば、図３に示したフローチャートにおいて、Ｓ５５の処理に代えて、選択部１０２が、上記処理を行う。
【００２９】
符号化部１０４は、イントラ予測符号化を行う場合、画像に含まれる、選択部が選択したブロックサイズの符号化対象ブロックを符号化し、符号化対象ブロックの符号化結果を出力する。
【００３０】
これにより、動画像符号化装置１００では、イントラ予測符号化に用いるブロックサイズを選択するための演算量を効率良く削減することが可能になる。なお、上記の例では、ＨＥＶＣによる動画像符号化を例として説明したがこれに限定されない。ＴＵ（直交変換サイズ）が複数利用可能な動画像符号化方法であれば、本実施の形態による動画像符号化方法を適用することが可能である。選択部１０２は、演算部の一例である。
【００３１】
（第２の実施の形態）
以下、第２の実施の形態による動画像符号化装置１５０について説明する。第２の実施の形態において、第１の実施の形態による動画像符号化装置１００と同様の構成及び動作については、同一番号を付し、重複説明を省略する。本実施の形態においても、第１の実施の形態と同様、ＨＥＶＣを用いる場合を例にして説明する。
【００３２】
図５は、第２の実施の形態による動画像符号化装置１５０の機能的構成の一例を示すブロック図である。図５に示すように、動画像符号化装置１５０は、符号化部１８０および符号化モード判定部１６０を有している。
【００３３】
符号化モード判定部１６０は、インターＰＵモード判定部１６２、インターＴＵモード判定部１６４、インター符号化コスト算出部１６６を有している。また、符号化モード判定部１６０は、イントラＰＵモード判定部１６８、イントラＴＵモード判定部１７０、イントラ符号化コスト算出部１７２、ＣＵモード判定部１７４を有している。イントラＴＵモード判定部１７０、およびイントラＴＵモード判定部１７０を有する符号化モード判定部１６０は、演算部の一例である。
【００３４】
符号化部１８０は、予測画像作成部１８２、差分画像作成部１８４、直交変換／量子化部１８６、逆直交変換／逆量子化部１８８、復号画像生成部１９０、復号画像記憶部１９２、エントロピー符号化部１９４を有している。
【００３５】
符号化モード判定部１６０は、動画像符号化処理に最適な符号化モードを選択し、予測画像生成手段に出力する。符号化モードとは、インター予測モード、イントラ予測モード、インターＰＵモード、インターＴＵモード、イントラＰＵモード、イントラＴＵモード等を含む。
【００３６】
インターＰＵモード判定部１６２は、各ＰＵモードに対して、動きベクトル探索を行い、探索された動きベクトルを用いて符号化コストを算出し、符号化コストが最も小さくなるＰＵモードを最適なＰＵモードとして選択し、インターＴＵモード判定部１６４に出力する。最適なＰＵモードをインターＰＵモードということがある。
【００３７】
インターＴＵモード判定部１６４は、例えば、図１に示したように、階層０から指定された最大階層ＭａｘＴＵＤｐまで、ＴＵの階層ごとに符号化コストを算出する。このときインターＴＵモード判定部１６４は、インターＰＵモード判定部１６２によって選択された動きベクトルとインターＰＵモードとに従って生成した予測画像と入力画像を用いて、符号化コストを算出する。さらにインターＴＵモード判定部１６４は、符号化コストが最も小さくなるＴＵのサイズをインターＴＵモードとして選択し、インター符号化コスト算出部１６６に出力する。
【００３８】
インター符号化コスト算出部１６６は、符号化対象ＣＵにおいてインター予測を用いる場合の符号化コストを算出する。このときインター符号化コスト算出部１６６は、インターＰＵモード判定部１６２で選択されたインターＰＵモードと動きベクトル、及びインターＴＵモード判定部１６４で選択されたインターＴＵモードを用いる。
【００３９】
イントラＰＵモード判定部１６８は、入力画像を用いて、複数の予測方向の中から最適な予測方向と最適なＰＵモード（イントラＰＵモード）とを選択し、イントラＴＵモード判定部１７０に出力する。
【００４０】
イントラＴＵモード判定部１７０は、階層０から指定された最大階層ＭａｘＴＵＤｐまで、符号化コストを算出する。イントラＴＵモード判定部１７０は、ＴＵ階層ごとにイントラＰＵモード判定部１６８によって選択された予測方向とイントラＰＵモードとに従って生成された予測画像と入力画像とを用いて、符号化コストを算出する。さらにイントラＴＵモード判定部１７０は、符号化コストが最小となるＴＵサイズとなるＴＵモードをイントラＴＵモードとして選択し、イントラ符号化コスト算出部１７２に出力する。
【００４１】
イントラ符号化コスト算出部１７２は、イントラＰＵモード判定部１６８で選択されたＰＵサイズと予測方向、及びイントラＴＵモード判定部１７０で選択されたＴＵサイズとを用いて、符号化コストを算出する。算出される符号化コストは、現ＣＵにおいてイントラ予測を用いる場合の符号化コストである。
【００４２】
ＣＵモード判定部１７４は、インター符号化コスト算出部１６６で算出したインター予測の符号化コストと、イントラ符号化コスト算出部１７２で算出したイントラ予測の符号化コストとを比較し、符号化対象のＣＵの符号化モード及びＣＵサイズを決める。
【００４３】
符号化部１８０は、符号化モード判定部１６０での判定結果に基づき、入力画像を符号化して出力する。このとき、予測画像作成部１８２は、符号化モード判定部１６０から入力された符号化対象ブロックの最適な符号化モードを用いて、復号画像記憶部１９２から入力された復号画像を参照する。さらに予測画像作成部１８２は、符号化対象ブロックの予測画像を生成し、差分画像作成部１８４と復号画像生成部１９０に出力する。
【００４４】
差分画像作成部１８４は、予測画像作成部１８２から入力された符号化対象ブロックの予測画像と入力画像の差分画像を求めて、直交変換／量子化部１８６へ出力する。直交変換／量子化部１８６は、差分画像作成部１８４から入力された差分画像を直交変換処理し、得られた周波数信号の量子化を行い、エントロピー符号化部１９４及び逆直交変換／逆量子化部１８８に出力する。
【００４５】
エントロピー符号化部１９４は、入力した量子化信号をエントロピー符号化（可変長符号化）してストリーム出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる符号化方式をいう。
【００４６】
逆直交変換／逆量子化部１８８は、入力した量子化信号を逆量子化し、逆量子化した直交変換係数を逆直交変換処理して、復号画像生成部１９０に出力する。逆直交変換／逆量子化部１８８により復号化処理が行われることにより、符号化前の差分画像と同程度の信号が得られる。
【００４７】
復号画像生成部１９０は、予測画像作成部１８２から入力された予測画像と、逆直交変換／逆量子化部１８８により復号化処理された差分画像とを加算することにより、現在の符号化対象ブロックの画像データを再生し、復号画像記憶部１９２に出力する。
【００４８】
復号画像記憶部１９２は、復号画像生成部１９０から入力された復号画像を記憶し、符号化モード判定部１６０、及び予測画像作成部１８２に出力する。
【００４９】
次に、イントラＴＵモード判定部１７０の詳細について説明する。図６は、第２の実施の形態によるイントラＴＵモード判定部１７０の機能的な構成の一例を示すブロック図である。図６に示すように、イントラＴＵモード判定部１７０は、ＴＵ予測画像生成部２０２、予測画像保存部２０４、符号化コスト計算部２０６、ＴＵサイズ判定部２０８を有している。
【００５０】
ＴＵ予測画像生成部２０２は、入力画像に基づき、現ＴＵの予測画像を生成し、予測画像保存部２０４に出力する。このとき、ＴＵ予測画像生成部２０２は、入力画像に加え、処理対象のＴＵの位置およびサイズに関するＴＵ情報、イントラＰＵモード判定部１６８から入力された予測方向に関する予測方向情報を用いる。なお、ＴＵの位置を示す情報をＴＵの位置情報ということがある。また、ＴＵ予測画像生成部２０２は、予測画像保存部２０４から入力された現ＴＵより一階層上のＴＵ（画素数が多いＴＵ）の予測画像を用いることがある。ＴＵ予測画像生成部２０２は、予測方向とＴＵの位置とにより、周辺ブロックの画素を参照して予測画像を生成する場合と、一階層上のＴＵの予測画像をコピーして予測画像を生成する場合とに場合分けする。このとき、ＴＵ予測画像生成部２０２は、現ＴＵの予測画像を生成し、予測画像保存部２０４に出力する。
【００５１】
予測画像保存部２０４は、処理対象の現ＴＵのサイズが最小ＴＵサイズより大きい、もしくは指定されたＴＵの最大階層に至らない場合、ＴＵ予測画像生成部２０２から入力された予測画像を保存し、符号化コスト計算部２０６、ＴＵ予測画像生成部２０２に出力する。保存された予測画像は、次の階層のＴＵ予測画像生成に使用される。
【００５２】
符号化コスト計算部２０６は、入力画像と予測画像保存部２０４から入力された予測画像とを使って、現ＴＵの符号化コストを計算し、ＴＵサイズ判定部２０８に出力する。ＴＵサイズ判定部２０８は、符号化コスト計算部２０６から入力された各階層のＴＵの符号化コストを用いて、符号化コストが最小となるＴＵサイズを符号化対象ブロックの最適なＴＵサイズとして選択し、イントラ符号化コスト算出部１７２に出力する。
【００５３】
次に、第２の実施の形態によるＴＵモード判定処理における予測画像の生成について説明する。ここでは、予測方向と、現ＴＵより一階層上のＴＵの予測画像とを使って、処理対象の階層のＴＵの予測画像を生成する方法について、具体的に説明する。
【００５４】
まず、各予測方向を使って予測画像生成の際に使う参照画素の位置を説明する。図７は、予測方向２〜３４を使って予測画像を生成する際に使用される参照画素の位置を説明する図である。図８は、予測方向０、１を使って予測画像を生成する際に使用される参照画素の位置を説明する図である。
【００５５】
図７の予測例２２０に示すように、符号化対象ブロックの周辺にブロックＢ１〜Ｂ５が配置されているものとする。このとき、予測方向２〜１０を使って予測画像を生成する際に使用される周辺画素は、周辺ブロックＢ１、Ｂ２に位置する。予測方向１１〜２５を使って予測画像を生成する際に使用される周辺画素は、周辺ブロックＢ２、Ｂ３、Ｂ４に位置する。予測方向２６〜３４を使って予測画像を生成する際に使用される周辺画素は、周辺ブロックＢ４、Ｂ５に位置する。
【００５６】
図８の予測例２２２に示すように、予測方向（モード）１（平均予測）を使って予測画像を生成する際には、使用される周辺画素は、周辺ブロックＢ２〜Ｂ４に位置する。このとき、符号化対象ブロックの画素は、周囲のブロック参照画素の平均値となる。予測方向（モード）０（平面予測）を使って予測画像を生成する際には、使用される周辺画素は、周辺ブロックＢ１〜Ｂ５に位置する。このとき、画素２２４は、画素２２６にあるとして、画素２２８は、画素２３０にあるとして、画素２３２の予測画素値が、補間により生成される。
【００５７】
図９は、第２の実施の形態による参照画素の予測方向依存性２４０の一例を示す図である。参照画素の予測方向依存性２４０は、予測方向と参照画素が含まれるブロックとの関係を示す。
【００５８】
図９に示すように、グループＤＣは、予測方向０の場合であり、参照画素のブロックは、ブロックＢ１〜Ｂ５である。同様に、グループＡでは、予測方向２〜１０であり、参照ブロックは、ブロックＢ１、Ｂ２である。グループＢは、予測方向１、１１〜２５であり、参照ブロックは、ブロックＢ２〜Ｂ４である。グループＣは、予測方向２６〜３４であり、参照ブロックは、ブロックＢ４、Ｂ５である。
【００５９】
以下、一例として、階層１（以下、階層１を階層ＴＵＤｐ＝１などという）の一階層上の階層ＴＵＤｐ＝０の予測画像を使って、階層ＴＵＤｐ＝１の予測画像を生成する生成方法を説明する。具体的には、階層ＴＵＤｐ＝０のＴＵを四つのブロック（ブロックＢ００〜Ｂ０３という）に分割し、それぞれのブロックの予測画像を使った、階層ＴＵＤｐ＝１の四つのＴＵ（ＴＵ０〜ＴＵ３という）の予測画像生成方法を述べる。
【００６０】
＜階層ＴＵＤｐ＝１のＴＵ０について＞
図１０は、ＴＵ０に関する参照画素の位置の一例を示す図である。図１０の参照画素領域２５２は、階層ＴＵＤｐ＝０のブロックＢ００と、階層ＴＵＤｐ＝１のＴＵ０、それぞれの予測画像を生成する際に使用される参照画素の位置を表している。図１０に示すように、階層ＴＵＤｐ＝０のブロックＢ００の予測画像の生成に使われる参照画素と、階層ＴＵＤｐ＝１のＴＵ０の予測画像の生成に使う参照画素との位置は、全て同じである。したがって、全ての予測方向に対して、階層ＴＵＤｐ＝０のブロックＢ００と階層ＴＵＤｐ＝１のＴＵ０の予測画像も同じである。
【００６１】
そのため、ＴＵ０に関しては、イントラＴＵモード判定部１７０は、すべての予測方向（０〜３４）に対して、ＨＥＶＣの規格に従って周辺ブロックの画素を参照して用いる予測画像の生成処理は行わない。イントラＴＵモード判定部１７０は、階層ＴＵＤｐ＝０のブロックＢ００の予測画像をコピーして、ＴＵ０の予測画像を生成する。
【００６２】
＜階層ＴＵＤｐ＝１のＴＵ１について＞
図１１は、ＴＵ１に関する参照画素の位置の一例を示す図である。図１１に示すように、階層ＴＵＤｐ＝０のブロックＢ０１の予測画像を生成する際に使用される参照画素の位置は、参照画素領域２５４、２５６、２５８で表される。一方、階層ＴＵＤｐ＝１のＴＵ１の予測画像を生成する際に使用される参照画素の位置は、参照画素領域２５４、２６０で表される。このように、ブロックＢ０１とＴＵ１の参照画素の中、参照画素領域２５４は共通であるが、参照画素領域２６０は、参照画素領域２５６、２５８のいずれとも異なっている。
【００６３】
図１２は、ＴＵ１に関する参照画素の位置の一例をさらに詳細に示す図である。図１２に示すように、予測方向２〜１０の場合、階層ＴＵＤｐ＝０のブロックＢ０１の予測画像を生成する際に使用される参照画素の位置は、参照画素領域２６２で表される。一方このとき、階層ＴＵＤｐ＝１のＴＵ１の予測画像を生成する際に使用される参照画素の位置は、参照画素領域２６８で表される。このように、予測方向２〜１０の場合、ブロックＢ０１とＴＵ１との参照画素領域は、共通ではない。
【００６４】
予測方向１１〜２５の場合、階層ＴＵＤｐ＝０のブロックＢ０１の予測画像を生成する際に使用される参照画素の位置は、参照画素領域２６４で表される。一方このとき、階層ＴＵＤｐ＝１のＴＵ１の予測画像を生成する際に使用される参照画素の位置は、参照画素領域２７０で表される。このように、予測方向１１〜２５の場合、ブロックＢ０１とＴＵ１との参照画素領域は、共通ではない。
【００６５】
予測方向２６〜３４の場合、階層ＴＵＤｐ＝０のブロックＢ０１の予測画像を生成する際に使用される参照画素の位置は、参照画素領域２６６で表される。一方このとき、階層ＴＵＤｐ＝１のＴＵ１の予測画像を生成する際に使用される参照画素の位置は、参照画素領域２７２で表されるが、参照画素領域２６６と参照画素領域２７２とは、同一の領域を示す。このように、予測方向２６〜３４の場合、ブロックＢ０１とＴＵ１との参照画素領域は、共通である。
【００６６】
よって、ＴＵ１の場合には、予測方向２６〜３４に対して、ブロックＢ０１とＴＵ１の予測画像が同じになる。そのため、ＴＵ１の予測方向２６〜３４に対して、イントラＴＵモード判定部１７０は、ＨＥＶＣの規格に従って周辺ブロックの画素を参照して予測画像の生成処理をする代わりに、階層ＴＵＤｐ＝０のブロックＢ０１の予測画像をコピーして予測画像を生成する。
【００６７】
予測方向０〜２５については、ブロックＢ０１とＴＵ１の予測画像生成に使う周辺画素が異なるため、生成される予測画像も異なる。この場合、イントラＴＵモード判定部１７０は、ＴＵ１に関して、周辺ブロックの画素を参照して予測画像を生成しなければならない。
【００６８】
＜階層ＴＵＤｐ＝１のＴＵ２について＞
図１３は、ＴＵ２に関する参照画素の位置の一例を示す図である。図１３に示すように、階層ＴＵＤｐ＝０のブロックＢ０２の予測画像を生成する際に使用される参照画素の位置は、参照画素領域２７６、２７８、２７９で表される。一方、階層ＴＵＤｐ＝１のＴＵ２の予測画像を生成する際に使用される参照画素の位置は、参照画素領域２７６、２８０で表される。このように、ブロックＢ０２とＴＵ２の参照画素の中、参照画素領域２７６は共通であるが、参照画素領域２７８、２７９は、参照画素領域２８０とは異なっている。
【００６９】
図１４は、ＴＵ２に関する参照画素の位置の一例をさらに詳細に示す図である。図１４に示すように、予測方向２〜１０の場合、階層ＴＵＤｐ＝０のブロックＢ０２の予測画像を生成する際に使用される参照画素の位置は、参照画素領域２８４で表される。このとき、階層ＴＵＤｐ＝１のＴＵ２の予測画像を生成する際に使用される参照画素の位置も、参照画素領域２８４である。このように、予測方向２〜１０の場合、ブロックＢ０２とＴＵ２との参照画素領域は、共通である。
【００７０】
よって、ＴＵ２の場合には、予測方向２〜１０に対して、ブロックＢ０２とＴＵ２の予測画像が同じになる。そのため、ＴＵ２の予測方向２〜１０に対して、イントラＴＵモード判定部１７０は、ＨＥＶＣの規格に従って周辺ブロックの画素を参照して予測画像の生成処理をする代わりに、階層ＴＵＤｐ＝０のブロックＢ０２の予測画像をコピーして予測画像を生成する。
【００７１】
予測方向１１〜２５の場合、階層ＴＵＤｐ＝０のブロックＢ０２の予測画像を生成する際に使用される参照画素の位置は、参照画素領域２８６で表される。一方このとき、階層ＴＵＤｐ＝１のＴＵ２の予測画像を生成する際に使用される参照画素の位置は、参照画素領域２９０で表される。このように、予測方向１１〜２５の場合、ブロックＢ０２とＴＵ２との参照画素領域は、共通ではない。
【００７２】
予測方向２６〜３４の場合、階層ＴＵＤｐ＝０のブロックＢ０２の予測画像を生成する際に使用される参照画素の位置は、参照画素領域２８８で表される。一方このとき、階層ＴＵＤｐ＝１のＴＵ２の予測画像を生成する際に使用される参照画素の位置は、参照画素領域２９２で表される。このように、予測方向２６〜３４の場合、ブロックＢ０２とＴＵ２との参照画素領域は、共通ではない。
【００７３】
予測方向１１〜３４については、ブロックＢ０２とＴＵ２の予測画像生成に使う周辺画素が異なるため、生成される予測画像も異なる。この場合、イントラＴＵモード判定部１７０は、ＴＵ２に関して、周辺ブロックの画素を参照して予測画像を生成しなければならない。
【００７４】
＜階層ＴＵＤｐ＝１のＴＵ３について＞
図１５は、ＴＵ３に関する参照画素の位置の一例を示す図である。図１５に示すように、階層ＴＵＤｐ＝０のブロックＢ０３の予測画像を生成する際に使用される参照画素の位置は、参照画素領域３００で表される。一方、階層ＴＵＤｐ＝１のＴＵ３の予測画像を生成する際に使用される参照画素の位置は、参照画素領域３０２で表される。このように、ブロックＢ０３とＴＵ３の参照画素は、互いに異なっている。
【００７５】
このように、階層ＴＵＤｐ＝０のブロックＢ０３の予測画像を生成する際に使用される参照画素は、階層ＴＵＤｐ＝１のＴＵ３の予測画像生成に使う参照画素とは、全て異なる。よって、生成される予測画像も異なる。この場合、イントラＴＵモード判定部１７０は、ＴＵ３の全ての予測方向に関して、周辺ブロックの画素を参照して予測画像を生成しなければならない。
【００７６】
以下、第２の実施の形態による動画像符号化装置１５０の動作について、フローチャートを参照しながら説明する。図１６は、第２の実施の形態による動画像符号化装置１５０の全体の処理の一例を示すフローチャートである。
【００７７】
図１６に示すように、動画像符号化装置１５０の符号化モード判定部１６０は、符号化モード判定を行う（Ｓ３１１）。すなわち、符号化モード判定部１６０は、入力画像と、復号画像記憶部１９２から読み出された復号画像とを用いて、符号化対象ブロックの各符号化モードにおける符号化コストを計算し、符号化コストが最小となる符号化モードを選択し、出力する。符号化モード判定処理の詳細は、後述される。
【００７８】
予測画像作成部１８２は、符号化モード判定部１６０から入力された最適な符号化モードと、復号画像記憶部１９２から入力された復号画像とを用いて、符号化対象ブロックの予測画像を生成し、差分画像作成部１８４に出力する（Ｓ３１２）。
【００７９】
差分画像作成部１８４は、入力画像と予測画像作成部１８２で生成された予測画像とから、差分データを求め、差分データに基づく差分画像を直交変換／量子化部１８６に出力する（Ｓ３１３）。
【００８０】
直交変換／量子化部１８６は、差分画像作成部１８４から入力された差分画像を直交変換処理する。また、直交変換／量子化部１８６は、直交変換処理から得られた周波数信号の量子化を行い、エントロピー符号化部１９４に出力する（Ｓ３１４）。
【００８１】
エントロピー符号化部１９４は、直交変換／量子化部１８６から入力された量子化信号をエントロピー符号化（可変長符号化）して、符号化された画像データであるストリームを出力する（Ｓ３１５）。
【００８２】
逆直交変換／逆量子化部１８８は、直交変換／量子化部１８６から入力された量子化信号を逆量子化して、逆直交変換処理を行う（Ｓ３１６）。逆直交変換／逆量子化部１８８によって復号化処理が行われることにより、符号化対象ブロックの符号化前の差分画像と同程度の差分画像が得られる。逆直交変換／逆量子化部１８８は、この差分画像を復号画像生成部１９０に出力する。
【００８３】
復号画像生成部１９０は、予測画像作成部１８２から入力された予測画像と、逆直交変換／逆量子化部１８８から入力された差分画像とを加算することにより、現在の符号化対象ブロックの復号画像を生成する。また、復号画像記憶部１９２は、復号画像生成部１９０により生成された復号画像を記憶し、予測画像作成部１８２、符号化モード判定部１６０に出力する（Ｓ３１７）。
【００８４】
次に、図１６のＳ３１１の符号化モード判定の処理について、さらに説明する。図１７は、第２の実施の形態による符号化モード判定処理を示すフローチャートである。なお、入力画像の符号化処理は、ＣＵ単位で行われる。符号化モード判定部１６０は、符号化処理に最適なＣＵサイズと各ＣＵにおける符号化モードを判定する。符号化モード判定処理は、ＣＴＵ単位で行われる。
【００８５】
図１７に示すように、まず、符号化モード判定部１６０は、ＣＵの階層ＣＵＤｐ＝０とする。このとき、ＣｕサイズＣＵＳｉｚｅとＣＴＵサイズＣＴＵＳｉｚｅとは、ＣＵＳｉｚｅ＝ＣＴＵＳｉｚｅの関係となる。すなわち、符号化モード判定部１６０は、ＣＵのサイズの初期値をＣＴＵのサイズと同一とする（Ｓ３２１）。
【００８６】
具体的には、符号化モード判定部１６０は、符号化対象のＣＴＵについて、ＣＵ階層毎のイントラ予測における最適な予測方向、ＰＵサイズ（イントラＰＵモード）、及びＴＵサイズ（イントラＴＵモード）を選択する。また、符号化モード判定部１６０は、ＣＵ階層毎のインター予測における動きベクトル、ＰＵサイズ（インターＰＵモード）、及びＴサイズ（インターＴＵモード）を選択する。次に、符号化モード判定部１６０は、イントラ予測とインター予測の符号化コストを比較し、符号化モードを決めてから、ＣＵモードを判定する。
【００８７】
予測方向、ＰＵモード、ＣＵモードの判定アルゴリズムにおいては、例えば、第１の実施の形態において説明した式１、または式２等による符号化コスト比較方式が用いられる。別の例として、符号化モード判定部１６０は、符号化コストを算出するために、予測誤差、すなわち入力画像における入力原画素と予測画像における予測画素の差分の絶対値和ＳＡＤを求めるようにしてもよい。なお、ＴＵモードは、周波数領域の特性を考える必要があるので、一般的に例えば式２のように、アダマール変換した後の絶対値和ＳＡＴＤで符号化コストを計算するようにしてもよい。なお、差分の絶対値和ＳＡＤは、下記の式３で表される。
ＳＡＤ＝Σ｜Ｏｒｇ（ｉ）−Ｐｒｅｄ（ｉ）｜・・・（式３）
ここで、Ｏｒｇ（ｉ）は入力画像のブロックに含まれる画素値、Ｐｒｅｄ（ｉ）は求められた予測画像の予測画像ブロックの画素値である。画素値としては、例えば輝度値である。
【００８８】
インターＰＵモード判定部１６２は、インター予測におけるＰＵモード判定を行う（Ｓ３２２）。インターＴＵモード判定部１６４は、インター予測における、ＴＵモード判定を行う（Ｓ３２３）。Ｓ３２２のインターＰＵモード判定処理、Ｓ３２３のインターＴＵモード判定処理の詳細は、後述される。
【００８９】
インター符号化コスト算出部１６６は、インター予測における符号化コストを算出する（Ｓ３２４）。インター符号化コスト算出部１６６は、処理対象ＣＵに対してインター予測における符号化コストを算出する。すなわち、インター符号化コスト算出部１６６は、インターＰＵモード判定部１６２により決定されたインターＰＵモード、及びインターＴＵモード判定部１６４で決定されたインターＴＵモードを用いて、処理対象ＣＵに対してインター予測における符号化コストを算出する。
【００９０】
イントラＰＵモード判定部１６８は、イントラ予測におけるＰＵモード判定を行う（ＳＳ３２５）。イントラＴＵモード判定部１７０は、イントラ予測におけるＴＵモード判定を行う（Ｓ３２６）。Ｓ３２５のイントラＰＵモード判定処理、Ｓ３２６のイントラＴＵモード判定処理の詳細は、後述される。
【００９１】
イントラ符号化コスト算出部１７２は、イントラ予測における符号化コストを算出する（Ｓ３２７）。イントラ符号化コスト算出部１７２は、処理対象のＣＵに対してイントラ予測における符号化コストを算出する。すなわち、イントラ符号化コスト算出部１７２は、処理対象ＣＵに対してイントラ予測における符号化コストを算出する。このとき、イントラ符号化コスト算出部１７２は、イントラＰＵモード判定部１６８により決定されたイントラＰＵモード、およびイントラＴＵモード判定部１７０により決定されたイントラＴＵモードを用いる。
【００９２】
ＣＵモード判定部１７４は、算出されたインター符号化コスト、イントラ符号化コストに基づきＣＵにおける符号化モードを決定する。すなわち、ＣＵモード判定部１７４は、インター符号化コスト算出部１６６で算出されたインター予測での符号化コスト、及びイントラ符号化コスト算出部１７２で算出されたイントラ予測での符号化コストを比較し、符号化コストが小さい方を符号化モードと決定する。ＣＵモード判定部１７４は、符号化モードを決定すると、ＣＵの階層ＣＵＤｐを一つ加算する（Ｓ３２８）。
【００９３】
符号化モード判定部１６０は、ＣＵの階層ＣＵＤｐが、最大階層ＭａｘＣＵＤｐ以下か否か判定し、超えるまで、Ｓ３２２からＳ３２８の処理を繰り返し、ＣＵの各階層での符号化コストを算出する（Ｓ３２９：ＮＯ）。ＣＵの階層ＣＵＤｐが最大階層となった場合（Ｓ３２９：ＹＥＳ）、符号化モード判定部１６０は、全てのＣＵの階層における符号化コストを比較し、最小ＣＵ符号化コストとなるＣＵサイズを、ＣＵモードに決定する（Ｓ３３０）。
【００９４】
次に、図１７のＳ３２２のインターＰＵモード判定処理の詳細について説明する。図１８は、第２の実施の形態によるインターＰＵモード判定処理の一例を示すフローチャートである。
【００９５】
符号化モード判定部１６０のインターＰＵモード判定部１６２は、入力画像と、復号画像記憶部１９２から入力された復号画像とを用いて、現ＣＵの動きベクトルとＰＵモードを判定し、インター符号化コスト算出部１６６に出力する。
【００９６】
具体的には、図１８に示すように、インターＰＵモード判定部１６２は、まず、符号化対象ＣＵをＰＵに分割する。インター予測の場合、ＰＵの分割形状は、図１のような８個のバリエーションがある。よって、インターＰＵモード判定部１６２は、符号化対象ＣＵを、図１のバリエーションのいずれかの形態に分割し、ＰＵの分割形状毎のモードのループ処理を行う（Ｓ３５１〜Ｓ３５３）。
【００９７】
ループ処理において、インターＰＵモード判定部１６２は、ＰＵモード毎に動きベクトル探索を行い、参照ピクチャと動きベクトルとを決定する（Ｓ３５２）。インターＰＵモード判定部１６２は、決定された動きベクトルを用いて、当該ＰＵモードの符号化コストＰＵＣｏｓｔを算出する。さらに、インターＰＵモード判定部１６２は、すべてのＰＵモードの符号化コストＰＵＣｏｓｔを比較し、最も符号化コストＰＵＣｏｓｔが最も小さくなるＰＵモードを、インターＰＵモードとして選択する（Ｓ３５４）。
【００９８】
次に、図１７のＳ３２３のインターＴＵモード判定処理の詳細について説明する。図１９は、第２の実施の形態によるインターＴＵモード判定処理の一例を示すフローチャートである。
【００９９】
インターＴＵモード判定処理は、インターＴＵモード判定部１６４が、入力画像と復号画像記憶部１９２から入力された復号画像とを用いてＴＵモードを判定し、インター符号化コスト算出部１６６に出力する処理である。
【０１００】
具体的には、図１９に示すように、インターＴＵモード判定部１６４は、符号化対象ＣＵをＴＵに分割する。まずは、インターＰＵモード判定部１６２により選択されたインターＰＵモードに従い、インターＴＵモード判定部１６４は、階層０のＴＵ（ＴＵサイズ＝ＣＵサイズ）の予測画像を生成する（Ｓ３６１）。
【０１０１】
次に、インターＴＵモード判定部１６４は、各ＴＵサイズに関するループ処理を行う（Ｓ３６２〜Ｓ３６４）。ループ処理において、インターＴＵモード判定部１６４は、生成した予測画像と入力画像とを用いて、階層ＴＵＤｐ＝０から、指定された最大階層ＭａｘＴＵＤｐまでのＴＵ階層毎に、符号化コストを算出する（Ｓ３６３）。インターＴＵモード判定部１６４は、すべてのＴＵサイズの符号化コストを比較し、符号化コストが最も小さくなるＴＵサイズを、最適なＴＵサイズとして選択し、インター予測でのインターＴＵモードを決定する（Ｓ３６５）。
【０１０２】
ここで、図１７のＳ３２４では、インター符号化コスト算出部１６６が、処理対象ＣＵに対してインター予測における符号化コストを算出する。すなわち、インター符号化コスト算出部１６６は、インターＰＵモード判定部１６２により決定されたインターＰＵモード、及びインターＴＵモード判定部１６４で決定されたインターＴＵモードを用いて、処理対象ＣＵに対してインター予測における符号化コストを算出する。
【０１０３】
次に、図１７のＳ３２５のイントラＰＵモード判定処理の詳細について説明する。図２０は、第２の実施の形態によるイントラＰＵモード判定処理の一例を示すフローチャートである。
【０１０４】
イントラＰＵモード判定部１６８は、入力画像と復号画像記憶部１９２から入力された復号画像とを用いて、予測方向とイントラＰＵモードとを選択し、イントラ符号化コスト算出部１７２に出力する。
【０１０５】
具体的には、図２０に示すように、イントラＰＵモード判定部１６８は、符号化対象ＣＵをＰＵに分割する。イントラ予測の場合、ＰＵの分割形状は、図１の中のPart_2Nx2NとPart_NxNの２種類しかない。ＣＵサイズが、最小ＣＵサイズＭｉｎＣＵＳｉｚｅである場合だけ、２種類のイントラＰＵモードが存在する。ほかの場合は、Part_2Nx2Nだけが存在する。イントラＰＵモード判定部１６８は、各ＰＵのモードのループ処理を行う（Ｓ３７１〜Ｓ３７３）。イントラＰＵモード判定部１６８は、各ＰＵモードに対して、ＰＵ毎にイントラ予測モード判定を行う（Ｓ３７２）。すなわち、イントラＰＵモード判定部１６８は、３５種類の予測方向の中から、最適な予測方向を選択する。選択された予測方向を用いて、当該ＰＵモードのＰＵ符号化コストを算出する。イントラＰＵモード判定部１６８は、最後に、すべてのＰＵモードのＰＵ符号化コストを比較し、符号化コストが最も小さくなるＰＵモードを、イントラＰＵモードとして決定する（Ｓ３７４）。
【０１０６】
次に、図１７のＳ３２６のイントラＴＵモード判定処理の詳細について説明する。図２１は、第２の実施の形態によるイントラＴＵモード判定処理の一例を示すフローチャートである。
【０１０７】
図２１に示すように、イントラＴＵモード判定部１７０は、入力画像と復号画像記憶部１９２から入力された復号画像を用いてＴＵモードを選択し、イントラ符号化コスト算出部１７２に出力する。
【０１０８】
具体的には、図２１に示すように、イントラＴＵモード判定部１７０は、入力されるＴＵ情報を用いて、予測画像を生成する現ＴＵの階層ＴＵＤｐ＞０か否かを判定する（Ｓ３９１）。イントラＴＵモード判定部１７０のＴＵ予測画像生成部２０２は、Ｓ３９１において階層ＴＵＤｐ＞０の場合、すなわち、現ＴＵが階層０より画素数の少ない階層のＴＵであると判断した場合には（Ｓ３９１：ＹＥＳ）、以下の処理を行う。すなわち、ＴＵ予測画像生成部２０２は、入力画像、ＴＵ情報、予測画像保存部２０４が出力した現ＴＵより一階層上の予測画像、及びイントラＰＵモード判定部１６８が出力した予測方向を使って、現ＴＵの予測画像を生成する（Ｓ３９２）。
【０１０９】
ＴＵ予測画像生成部２０２は、階層ＴＵＤｐ＞０でない場合（Ｓ３９１：ＮＯ）、例えばＨＥＶＣの規格に従って、周辺ブロックの画素を参照して現ＴＵの予測画像を生成する（Ｓ３９３）。
【０１１０】
イントラＴＵモード判定部１７０は、現ＴＵの階層ＴＵＤｐが、指定されたＴＵの最大階層ＭａｘＴＵＤｐより小さいか否かを判定する（Ｓ３９４）。イントラＴＵモード判定部１７０は、現ＴＵの階層ＴＵＤｐが、最大階層ＭａｘＴＵＤｐより小さいと判定した場合（Ｓ３９４：ＹＥＳ）、予測画像保存部２０４により生成した予測画像を保存する（Ｓ３９５）。
【０１１１】
イントラＴＵモード判定部１７０は、階層ＴＵＤｐが最大階層ＭａｘＴＵＤｐであると判定した場合には（Ｓ３９４：ＮＯ）、予測画像保存部２０４は、予測画像を保存せずに、Ｓ３９６の処理に進む。
【０１１２】
符号化コスト計算部２０６は、入力画像と予測画像保存部２０４から出力された予測画像とを用いて、現ＴＵサイズにおける符号化コストを算出するとともに、階層ＴＵＤｐに１を加算する（Ｓ３９６）。
【０１１３】
イントラＴＵモード判定部１７０は、現ＴＵの階層ＴＵＤｐが、指定されたＴＵの最大階層最大階層ＭａｘＴＵＤｐ以下の場合（Ｓ３９７：ＹＥＳ）、Ｓ３９１に戻り、次の階層ＴＵＤｐについて、処理を繰り返す。
【０１１４】
イントラＴＵモード判定部１７０は、階層ＴＵＤｐが最大階層ＭａｘＴＵＤｐを超えた場合（Ｓ３９７：ＮＯ）、ＴＵサイズ判定部２０８により、各階層ＴＵＤｐの符号化コストを比較する（Ｓ３９８）。ＴＵサイズ判定部２０８は、各階層ＴＵＤｐの符号化コストから、最小となるＴＵサイズを、最適なＴＵサイズと判定する（Ｓ３９９）。
【０１１５】
次に、図２１のＳ３９２の予測画像生成処理について詳細に説明する。図２２は、第２の実施の形態によるＴＵ予測画像生成処理の詳細を示すフローチャートである。図２２に示すように、ＴＵ予測画像生成部２０２は、現ＴＵの位置を示す位置情報から、現在処理している現ＴＵは何番目のＴＵか（例えば、ＴＵ０〜ＴＵ３のいずれか）を判定する（Ｓ４００）。
【０１１６】
ＴＵ予測画像生成部２０２は、Ｓ４００において、現ＴＵが０番目のＴＵ（ＴＵ０）だと判定した場合、Ｓ４０１に進んで、現ＴＵの階層より一階層上（階層ＴＵＤｐ＝ＴＵＤｐ−１）のＴＵのブロックＢ００の予測画像をコピーし、ＴＵ０の予測画像を生成する。
【０１１７】
ＴＵ予測画像生成部２０２は、Ｓ４００において、現ＴＵが１番目のＴＵ（ＴＵ１）だと判定した場合、処理をＳ４０２に進める。ＴＵ予測画像生成部２０２は、イントラＰＵモード判定部１６８が出力した、現ＴＵが含まれているＰＵの予測方向Ｄｉｒが、２６≦Ｄｉｒ≦３４を満たすか否かを判定する（Ｓ４０２）。
【０１１８】
ＴＵ予測画像生成部２０２は、Ｓ４０２において２６≦Ｄｉｒ≦３４でないと判定した場合（Ｓ４０２：ＮＯ、予測方向が０〜２５の場合）、Ｓ４０３に進み、例えばＨＥＣＶの規格に従い、周辺ブロックの画素を参照してＴＵ１の予測画像を生成する。
【０１１９】
ＴＵ予測画像生成部２０２は、Ｓ４０２において２６≦Ｄｉｒ≦３４であると判定した場合（Ｓ４０２：ＹＥＳ）、Ｓ４０４に進む。ＴＵ予測画像生成部２０２は、現ＴＵの階層より一階層上（階層ＴＵＤｐ＝ＴＵＤｐ−１）のＴＵのブロックＢ０１の予測画像をコピーし、ＴＵ１の予測画像を生成する（Ｓ４０４）。
【０１２０】
ＴＵ予測画像生成部２０２は、Ｓ４００において、現ＴＵが２番目のＴＵ（ＴＵ２）だと判定した場合、Ｓ４０５に処理を進める。ＴＵ予測画像生成部２０２は、イントラＰＵモード判定部１６８が出力した、現ＴＵが含まれているＰＵの予測方向Ｄｉｒが、２≦Ｄｉｒ≦１０を満たすか否かを判定する（Ｓ４０５）。
【０１２１】
ＴＵ予測画像生成部２０２は、Ｓ４０５において２≦Ｄｉｒ≦１０でないと判定した場合（Ｓ４０５：ＮＯ、予測方向が０〜１、または１１〜３４の場合）、Ｓ４０６に進む。すなわち、予測方向が０〜１、または１１〜３４である場合、ＴＵ予測画像生成部２０２は、例えばＨＥＣＶの規格に従い、周辺ブロックの画素を参照してＴＵ２の予測画像を生成する（Ｓ４０６）。
【０１２２】
ＴＵ予測画像生成部２０２は、Ｓ４０５において０≦Ｄｉｒ≦１０であると判定した場合（Ｓ４０５：ＹＥＳ）、Ｓ４０７に進む。ＴＵ予測画像生成部２０２は、現ＴＵの階層より一階層上（階層ＴＵＤｐ＝ＴＵＤｐ−１）のＴＵのブロックＢ０２の予測画像をコピーし、ＴＵ２の予測画像を生成する（Ｓ４０７）。
【０１２３】
ＴＵ予測画像生成部２０２は、Ｓ４００において、現ＴＵが３番目のＴＵ（ＴＵ３）だと判定した場合、Ｓ４０８に進んで、周辺ブロックの画素を参照し、ＴＵ３の予測画像を生成する（Ｓ４０８）。すなわち、ＴＵ予測画像生成部２０２は、例えばＨＥＣＶの規格に従い、周辺ブロックの画素を参照してＴＵ３の予測画像を生成する（Ｓ４０８）。
【０１２４】
以上説明したように、第２の実施の形態による動画像符号化装置１５０によれば、動画像符号化処理におけるイントラ予測でのブロックサイズの選択を行う際に、上位の階層ＴＵＤｐでの処理結果を用いる場合がある。すなわち、符号化対象ブロックにおける予測方向が、符号化対象ブロックと同位置で分割形態の異なるブロックにおいて参照するブロックと同一のブロックを参照する予測方向の場合である。上位の階層の処理結果を利用する場合は、ＴＵの位置情報と、ＣＵにおける予測方向とから分類される。すなわち、イントラＴＵモード判定部１７０は、ＴＵの位置情報と、予測方向とから、一階層上の予測画像を用いるか否か判定する。
【０１２５】
以上のように、イントラＴＵモード判定において、ＴＵの位置情報と、予測方向とに基づき、一階層上の予測画像を利用する場合があることで、予測画像の生成における演算量を低減することが可能となる。また、動画像符号化装置１５０による上記イントラＴＵモード判定においては、イントラ予測の際の予測画像生成回数の削減により演算量を低減しながら、判定精度を維持でき、画質の低下は発生しない。
【０１２６】
具体的には、一階層における予測画像生成回数は平均で、（ＴＵ０＋ＴＵ１＋ＴＵ２＋ＴＵ３）＝（０＋３／４＋３／４＋１）=２.５回と考えられる。よって、一階層上の予測画像を利用しない場合の４回に比べて、（４−２．５）／４＝０．３７５（３７．５％）の演算量が削減できることが期待される。また、本実施の形態において利用する一階層上のＴＵの予測画像を複写して生成した予測画像は、既存の例えばＨＥＶＣの規格などに従って周辺ブロックの画素を参照して生成した予測画像と同一である。よって、ＴＵサイズの判定精度を維持できるとともに、従来技術と同様の画質が得られる。
【０１２７】
なお、例えばＨＭのように、ＣＵ、ＴＵ、ＰＵのブロックサイズのバリエーション毎に符号化コストを算出し、符号化処理に最適なブロックサイズなどを選択する方法は、バリエーションごとの算出をしない方法に比べて判定精度が高い。しかし、本実施の形態による動画像符号化装置１５０によれば、バリエーション毎の符号化コストの算出を全て行わない場合があるので、ブロックサイズを選択するまでの処理負荷低減でき、リアルタイム処理を困難にすることが防止される。さらに、イントラ予測において、最適なＴＵサイズを選択する際、各階層のＴＵの符号化コストの算出において、同一の画素を参照する場合に、一階層上の予測画像を用いるので、予測精度が低下することが防止される。
【０１２８】
（第３の実施の形態）
以下、第３の実施の形態による動画像符号化装置４２０について説明する。第３の実施の形態において、第１の実施の形態による動画像符号化装置１００、または第２の実施の形態による動画像符号化装置１５０と同様の構成及び動作については、同一番号を付し、重複説明を省略する。本実施の形態においても、第１および第２の実施の形態と同様、ＨＥＶＣを用いる場合を例にして説明する。
【０１２９】
第２の実施の形態による動画像符号化装置１５０では、一階層上のＴＵの予測画像を流用して、予測方向により、現ＴＵの予測画像を生成している。このとき、例えば、階層ＴＵＤｐと、階層ＴＵＤｐ−１とのＴＵの予測画像が同じであれば、差分画像も同じである。そのため、例えば、上述の式２のように、ＴＵモード判定の際に使用される符号化コストが絶対値和ＳＡＴＤの場合、予測画像だけではなくて、差分画像も流用できる。そこで、動画像符号化装置４２０では、一階層上のＴＵでの差分画像を流用し、差分画像の画素データにアダマール変換をかけて符号化コストを算出する。これにより、差分画像の生成回数が少なくなり、符号化コスト算出に必要な演算量が削減できる。
【０１３０】
以下、第３の実施の形態による動画像符号化装置４２０における動画像符号化処理について説明する。図２３は、第３の実施の形態による動画像符号化装置の機能的な構成の一例を示す図である。図２３に示すように、動画像符号化装置４２０は、符号化部１８０と符号化モード判定部４３０とを有している。符号化モード判定部４３０は、符号化モード判定部１６０のイントラＴＵモード判定部１７０に代えてイントラＴＵモード判定部４４０を有している。イントラＴＵモード判定部１７０では、一階層上のＴＵの予測画像が用いられたが、イントラＴＵモード判定部４４０では、差分画像が用いられる。
【０１３１】
図２４は、第３の実施の形態によるイントラＴＵモード判定部の機能的な構成の一例を説明する図である。図２４に示すように、第３の実施形態によるイントラＴＵモード判定部４４０は、ＴＵ予測画像生成部４４２、ＴＵ差分画像生成部４４４、差分画像保存部４４６、符号化コスト計算部４４８、ＴＵサイズ判定部４５０を有している。イントラＴＵモード判定部４４０、およびイントラＴＵモード判定部４４０を含む符号化モード判定部４３０は、演算部の一例である。
【０１３２】
ＴＵ予測画像生成部４４２は、入力画像およびイントラＰＵモード判定部１６８から出力された予測方向に基づき、例えば、ＨＥＶＣの規格に従い、周囲ブロックの画素を参照して予測画像を生成する。
【０１３３】
ＴＵ差分画像生成部４４４は、現ＴＵの差分画像を生成する。このときＴＵ差分画像生成部４４４は、入力画像、処理対象のＴＵのＴＵ情報、イントラＰＵモード判定部１６８が出力した予測方向、ＴＵ予測画像生成部４４２が出力した予測画像、及び差分画像保存部４４６が出力した一階層上のＴＵの差分画像を用いる。ＴＵ差分画像生成部４４４は、予測方向とＴＵの位置情報とにより、予測画像と入力画像との差分を求めて差分画像を生成する。また、ＴＵ差分画像生成部４４４は、現ＴＵより一階層上のＴＵの差分画像をコピーして差分画像を生成する。
【０１３４】
差分画像保存部４４６は、処理対象の現ＴＵのサイズが最小ＴＵサイズより大きい、もしくは指定された最大階層ＭａｘＴＵＤｐに至らない場合、ＴＵ差分画像生成部４４４が生成した差分画像を保存する。
【０１３５】
符号化コスト計算部４４８は、差分画像保存部４４６が出力した差分画像を使って、処理対象の現ＴＵの符号化コストを計算する。ＴＵサイズ判定部４５０は、符号化コスト計算部４４８が算出した各階層のＴＵの符号化コストを用いて、符号化コストが最小となるＴＵサイズを符号化対象ブロックの最適なＴＵサイズと判定する。
【０１３６】
図２５は、第３の実施の形態によるイントラＴＵモード判定処理の一例を示すフローチャートである。図２５に示すように、イントラＴＵモード判定部４４０は、現ＴＵの位置情報を用いて、差分画像を生成する現ＴＵの階層ＴＵＤｐが「０」より大きいかどうかを判定する（Ｓ４５１）。
【０１３７】
現ＴＵの階層ＴＵＤｐが「０」より大きい場合（Ｓ４５１：ＹＥＳ）、ＴＵ差分画像生成部４４４は、現ＴＵの差分画像を生成する（Ｓ４５２）。このとき、ＴＵ差分画像生成部４４４は、ＴＵ予測画像生成部４４２が生成した予測画像と入力画像とから求められた差分画像、または、差分画像保存部４４６が出力した現ＴＵより一階層上のＴＵの差分画像を用いて現ＴＵの差分画像を生成する。具体的な差分画像の生成方法は、後述される。
【０１３８】
イントラＴＵモード判定部４４０は、現ＴＵの階層ＴＵＤｐ＝０である場合（Ｓ４５１：ＮＯ）、ＴＵ予測画像生成部４４２により、周辺ブロックの画素を参照して現ＴＵの予測画像を生成する（Ｓ４５３）。さらに、ＴＵ差分画像生成部４４４は、ＴＵ予測画像生成部４４２が生成した予測画像と、入力画像との差分画像を求め、現ＴＵの差分画像を生成する（Ｓ４５４）。
【０１３９】
イントラＴＵモード判定部４４０は、現ＴＵの階層ＴＵＤｐが、指定されたＴＵの最大階層ＭａｘＴＵＤｐより小さいか否かを判定する（Ｓ４５５）。イントラＴＵモード判定部４４０は、現ＴＵの階層ＴＵＤｐが、最大階層ＭａｘＴＵＤｐより小さいと判定した場合（Ｓ４５５：ＹＥＳ）、ＴＵ差分画像生成部４４４により生成した差分画像を保存する（Ｓ４５６）。
【０１４０】
イントラＴＵモード判定部４４０は、階層ＴＵＤｐが最大階層ＭａｘＴＵＤｐであると判定した場合には（Ｓ４５５：ＮＯ）、差分画像保存部４４６は、差分画像を保存せずに、Ｓ４５７の処理に進む。
【０１４１】
符号化コスト計算部４４８は、ＴＵ差分画像生成部４４４から出力された差分画像を用いて、現ＴＵサイズにおける符号化コストを算出するとともに、階層ＴＵＤｐ＝ＴＵＤｐ＋１とする（Ｓ４５７）。
【０１４２】
イントラＴＵモード判定部４４０は、現ＴＵの階層ＴＵＤｐが、指定されたＴＵの最大階層ＭａｘＴＵＤｐ以下の場合（Ｓ４５８：ＹＥＳ）、Ｓ４５１に戻り、次の階層ＴＵＤｐについて、処理を繰り返す。
【０１４３】
イントラＴＵモード判定部４４０は、階層ＴＵＤｐが最大階層ＭａｘＴＵＤｐを超えた場合（Ｓ４５８：ＮＯ）、ＴＵサイズ判定部４５０により、各階層ＴＵＤｐの符号化コストを比較する（Ｓ４５９）。ＴＵサイズ判定部４５０は、各階層ＴＵＤｐの符号化コストを比較し、最小となるＴＵサイズを、最適なＴＵサイズと判定する（Ｓ４６０）。
【０１４４】
続いて、図２６を参照しながら、予測方向と、現ＴＵより一階層上のＴＵの差分画像とを使って、現ＴＵの差分画像を生成する処理について具体的に説明する。図２６は、第３の実施の形態によるＴＵ差分画像生成処理の一例を示す図である。
【０１４５】
次に、図２５のＳ４５２の差分画像生成処理について詳細に説明する。図２６は、第３の実施の形態によるＴＵ差分画像生成処理の詳細を示すフローチャートである。図２６に示すように、イントラＴＵモード判定部４４０は、現ＴＵの位置情報から、現在処理している現ＴＵは何番目のＴＵか（例えば、ＴＵ０〜ＴＵ３のいずれか）を判定する（Ｓ４７１）。
【０１４６】
ＴＵ差分画像生成部４４４は、Ｓ４７１において、現ＴＵが０番目のＴＵ（ＴＵ０）だと判定した場合、Ｓ４７２に進んで、現ＴＵの階層より一階層上（階層ＴＵＤｐ＝ＴＵＤｐ−１）のＴＵのブロックＢ００の差分画像をコピーし、ＴＵ０の差分画像を生成する。
【０１４７】
ＴＵ差分画像生成部４４４は、Ｓ４７１において、現ＴＵが１番目のＴＵ（ＴＵ１）だと判定した場合、Ｓ４７３に進む。ＴＵ差分画像生成部４４４は、イントラＰＵモード判定部１６８が出力した現ＴＵが含まれているＰＵの予測方向Ｄｉｒが、２６≦Ｄｉｒ≦３４を満たすか否かを判定する（Ｓ４７３）。
【０１４８】
ＴＵ差分画像生成部４４４は、Ｓ４７３において２６≦Ｄｉｒ≦３４の条件を満たすと判定した場合、Ｓ４７４に処理を進める。ＴＵ差分画像生成部４４４は、現ＴＵの階層より一階層上（階層ＴＵＤｐ＝ＴＵＤｐ−１）のＴＵのブロックＢ０１の差分画像をコピーし、ＴＵ１の差分画像を生成する（Ｓ４７４）。
【０１４９】
Ｓ４７３において２６≦Ｄｉｒ≦３４でないと判定された場合（Ｓ４７３：ＮＯ、予測方向が０〜２５の場合）、ＴＵ予測画像生成部４４２は、Ｓ４７５に進み、例えばＨＥＣＶの規格に従い、周辺ブロックの画素を参照してＴＵ１の予測画像を生成する。また、ＴＵ差分画像生成部４４４は、ＴＵ予測画像生成部４４２が出力した予測画像と入力画像とに基づき、差分画像を生成する（Ｓ４７６）。
【０１５０】
ＴＵ差分画像生成部４４４は、Ｓ４７１において、現ＴＵが２番目のＴＵ（ＴＵ２）だと判定した場合、Ｓ４７７に処理を進める。ＴＵ差分画像生成部４４４は、イントラＰＵモード判定部１６８が出力した現ＴＵが含まれているＰＵの予測方向Ｄｉｒが、２≦Ｄｉｒ≦１０を満たすか否かを判定する（Ｓ４７７）。
【０１５１】
Ｓ４７７において０≦Ｄｉｒ≦１０であると判定された場合（Ｓ４７７：ＹＥＳ）、ＴＵ差分画像生成部４４４は、Ｓ４７８に処理を進める。ＴＵ差分画像生成部４４４は、現ＴＵの階層より一階層上（階層ＴＵＤｐ＝ＴＵＤｐ−１）のＴＵのブロックＢ０２の差分画像をコピーし、ＴＵ２の差分画像を生成する（Ｓ４７８）。
【０１５２】
ＴＵ差分画像生成部４４４は、Ｓ４７７において２≦Ｄｉｒ≦１０でないと判定した場合（Ｓ４７７：ＮＯ、予測方向が０〜１、または１１〜３４の場合）、Ｓ４７９に処理を進める。すなわち、予測方向が０〜１、または１１〜３４である場合、ＴＵ予測画像生成部４４２は、例えばＨＥＣＶの規格に従い、周辺ブロックの画素を参照してＴＵ２の予測画像を生成する（Ｓ４７９）。また、ＴＵ差分画像生成部４４４は、入力画像と、ＴＵ予測画像生成部４４２が生成した予測画像とに基づき、差分画像を生成する（Ｓ４８０）。
【０１５３】
イントラＴＵモード判定部４４０は、Ｓ４７１において、現ＴＵが３番目のＴＵ（ＴＵ３）だと判定した場合、Ｓ４８１に処理を進める。ＴＵ予測画像生成部４４２は、例えばＨＥＣＶの規格に従い、周辺ブロックの画素を参照してＴＵ３の差分画像を生成する（Ｓ４８１）。また、ＴＵ差分画像生成部４４４は、ＴＵ予測画像生成部４４２が生成した予測画像と、入力画像とに基づき、差分画像を生成する（Ｓ４８２）。
【０１５４】
以上説明したように、第３の実施の形態による動画像符号化装置４２０は、イントラＴＵモード判定処理において、現ＴＵより一階層上のＴＵの差分画像を利用する。本実施の形態は、符号化コスト計算においてＳＡＴＤを用いる場合に有用である。
【０１５５】
以上のように、第３の実施の形態による動画像符号化装置４２０によれば、差分画像の生成回数は平均で、（ＴＵ０＋ＴＵ１＋ＴＵ２＋ＴＵ３）＝（０＋３／４＋３／４＋１）＝２．５回と考えられる。よって、一階層上の予測画像を利用しない場合の４回に比べて、（４−２．５）／４＝０．３７５（３７．５％）の演算量が削減できることが期待される。さらに、第２の実施の形態による動画像符号化方法に比べて、入力画像と予測画像との差分を算出して差分画像を生成する処理が必要なくなる場合があり、演算量がさらに削減される。
【０１５６】
（第４の実施の形態）
以下、第４の実施の形態による動画像符号化装置４２０について説明する。第４の実施の形態において、第１から第３の実施の形態による動画像符号化装置と同様の構成及び動作については、同一番号を付し、重複説明を省略する。本実施の形態においても、第１から第３の実施の形態と同様、ＨＥＶＣを用いる場合を例にして説明する。
【０１５７】
本実施の形態においては、例えば、第２の実施の形態において、予測画像生成処理が省略できないＴＵに対して、現ＴＵの予測画像を生成する際に使われる参照画素と一階層上のＴＵの予測画像を生成する際に使われる参照画素との相関性を利用する。これにより、予測画像の生成回数が削減される。参照画素間の相関性が高い場合、参照画素が似ているため、予測画像も似ている。この場合、イントラＴＵモード判定部５００は、現ＴＵの予測画像としては、一階層上のＴＵの予測画像をコピーすればよい。参照画素間の相関性が低い場合、参照画素間の差が大きいため、予測画像も異なる。この場合、イントラＴＵモード判定部５００は、周辺ブロックの画素を参照して予測画像処理をしなければならない。
【０１５８】
図２７は、第４の実施の形態によるイントラＴＵモード判定部５００の機能的な構成の一例を示す図である。図２７に示すように、イントラＴＵモード判定部５００は、相関性算出部５０２、ＴＵ予測画像生成部５０４、予測画像保存部２０４、符号化コスト計算部２０６、ＴＵサイズ判定部２０８を有している。イントラＴＵモード判定部５００は、演算部の一例である。
【０１５９】
相関性算出部５０２は、イントラＰＵモード判定部１６８から入力された予測方向を使って、現ＴＵの予測画像を生成する際に使われる周辺ブロックの画素と、一階層上のＴＵの予測画像を生成する際に使われる周辺ブロックの画素とを確定する。相関性算出部５０２は、確定した画素間の相関性を算出する。
【０１６０】
ＴＵ予測画像生成部５０４は、現階層のＴＵの予測画像を生成し、予測画像保存部２０４に出力する。ＴＵ予測画像生成部５０４は、相関性算出部５０２から入力された参照画素間の相関性により、周辺ブロックの画素を参照して予測画像を生成したり、一階層上のＴＵの予測画像をコピーして予測画像を生成したりする。このとき、ＴＵ予測画像生成部５０４は、入力画像、処理対象のＴＵのＴＵ情報、イントラＰＵモード判定部１６８から入力された予測方向、及び予測画像保存部２０４から入力された現ＴＵより一階層上のＴＵの予測画像を用いる。
【０１６１】
予測画像保存部２０４は、現ＴＵのサイズが、最小ＴＵサイズより大きい、もしくは指定された最大階層ＭａｘＴＵＤｐに至らない場合、ＴＵ予測画像生成部５０４から入力された予測画像を保存する。予測画像保存部２０４は、保存した予測画像をＴＵ予測画像生成部５０４と符号化コスト計算部２０６に出力し、次の階層のＴＵ予測画像生成に使用する。
【０１６２】
符号化コスト計算部２０６は、入力画像と予測画像保存部２０４から入力された予測画像を使って、現ＴＵの符号化コストを計算し、ＴＵサイズ判定部２０８に出力する。ＴＵサイズ判定部２０８は、符号化コスト計算部２０６から入力された各階層のＴＵの符号化コストを用いて、符号化コストが最小となるＴＵサイズを符号化対象ブロックの最適なＴＵサイズと判定し、イントラ符号化コスト算出部１７２に出力する。
【０１６３】
次に、現ＴＵの予測画像を生成する際に使われる参照画素と、一階層上のＴＵの予測画像を生成する際に使われる予測画素との相関性に基づいた、現ＴＵの予測画像の生成方法を具体的に説明する。
【０１６４】
＜ＴＵＤｐ＝１のＴＵ１について＞
図２８は、第４の実施の形態によるブロックＢ０１に関する参照画素の位置の一例を示す図である。階層ＴＵＤｐ＝０のブロックＢ０１において、予測方向が２〜５の場合、参照画素の位置は、領域５１２で表される。予測方向が６〜１０の場合、参照画素の位置は、領域５１４で表される。予測方向が１１〜１４の場合、参照画素の位置は、領域５１６で表される。予測方向１５〜２５の場合、参照画素の位置は、領域５１８で表される。
【０１６５】
図２９は、第４の実施の形態によるＴＵ１に関する参照画素の位置の一例を示す図である。図２９に示すように、予測方向が２〜１０の場合、参照画素の位置は、領域５２２で表される。予測方向が１１〜２５の場合、参照画素の位置は、領域５２４で表される。
【０１６６】
図２８、図２９における予測方向の分類は、上述した第２の実施の形態における分類よりも詳細になっている。このように詳細に分類することで、現ＴＵと一階層上のＴＵとで参照画素の数を一致させ、相関を算出するようにしている。予測方向２〜２５について、階層ＴＵＤｐ＝１のＴＵ１の予測画像を生成する際には、まず、予測方向により、図２８、図２９を参照して、階層ＴＵＤｐ＝０のブロックＢ０１と階層ＴＵＤｐ＝１のＴＵ１の周辺参照画素の位置を確定する。次に、ブロックＢ０１とＴＵ１の参照画素間の相関性を求める。相関性が高い場合、画素間の画素値の差が小さく、それらの画素を使って生成した予測画像の差も小さいと考えられる。この場合、予測画像保存部２０４は、周辺ブロックの画素を参照して予測画像の生成処理をせずに、階層ＴＵＤｐ＝０のブロックＢ０１の予測画像をコピーして、予測画像を生成する。相関性が低い場合、画素間の画素値の差が大きく、それらの画素を使って生成した予測画像の差も大きいため、予測画像保存部２０４は、ＴＵ１の周辺ブロックの画素を参照して予測画像を生成しなければならない。
【０１６７】
二つのブロックの参照画素の相関性の判定方法は、例えば、画素間の画素値の差分の絶対値和ＳＡＤが閾値より小さいかを判定する。絶対値和ＳＡＤが閾値より小さい場合、画素間の画素値の差分が小さくて、相関性が高い。絶対値和ＳＡＤが閾値より大きい場合、画素間の画素値の差分が大きくて、相関性が低い。なお、絶対値和ＳＡＤは、下記式４で表される。
ＳＡＤ=Σ｜Ｂｌｋ１_ＲｅｆＰｉｘ（ｉ）−ＴＵ１＿ＲｅｆＰｉｘ（ｉ）｜＜Ｔｈ
ここで、Ｔｈ＝Ｎ×１０
Ｂｌｋ１＿ＲｅｆＰｉｘ（ｉ）：階層ＴＵＤｐ＝０のブロックＢ０１の周辺参照画素値
ＴＵ１_ＲｅｆＰｉｘ（ｉ）：階層ＴＵＤｐ＝１のＴＵ１の周辺参照画素値
Ｎ：周辺参照画素の数
・・・・（式４）
【０１６８】
＜階層ＴＵＤｐ＝１のＴＵ２について＞
図３０は、第４の実施の形態によるブロックＢ０２に関する参照画素の位置の一例を示す図である。階層ＴＵＤｐ＝０のブロックＢ０２において、予測方向が１１〜１８の場合、参照画素の位置は、領域５３０で表される。予測方向が１９〜２５の場合、参照画素の位置は、領域５３２で表される。予測方向が２６〜３０の場合、参照画素の位置は、領域５３４で表される。予測方向が３１〜３４の場合、参照画素の位置は、領域５３６で表される。
【０１６９】
図３１は、第４の実施の形態によるＴＵ２に関する参照画素の位置の一例を示す図である。図３１に示すように、予測方向が１１〜２５の場合、参照画素の位置は、領域５４０で表される。予測方向が２６〜３４の場合、参照画素の位置は、領域５４２で表される。
【０１７０】
第２の実施の形態において説明したように、ブロックＢ０２とＴＵ２の参照画素の中、一部参照画素の位置が異なるため、予測方向１１〜３４について、周辺ブロックの画素を参照して予測画像を生成する必要がある。本実施の形態では、図３０、図３１に、予測方向を上記第２の実施の形態より詳しく分類して、各グループの予測方向を使って予測画像を生成するため、使われる参照画素の位置を示している。
【０１７１】
予測方向１１〜３４について、階層ＴＵＤｐ＝２のＴＵ２の予測画像を生成する際に、まず、相関性算出部５０２は、予測方向により、階層ＴＵＤｐ＝０のブロックＢ０２と階層ＴＵＤｐ＝１のＴＵ２の周辺予測画素の位置を確定する。次に、相関性算出部５０２は、ブロックＢ０２とＴＵ２の参照画素間の相関を求める。相関が高い場合は、相関性算出部５０２は、周辺ブロックの画素を参照して予測画像の生成処理をせずに、階層ＴＵＤｐ＝０のブロックＢ０２の予測画像をコピーして予測画像を生成する。相関が低い場合、相関性算出部５０２は、画素間の画素値の差が大きいため、ＴＵ２は周辺ブロックの画素を参照して予測画像を生成しなければならない。
【０１７２】
＜階層ＴＵＤｐ＝１のＴＵ３について＞
第２の実施の形態において説明したように、階層ＴＵＤｐ＝０のブロックＢ０３と階層ＴＵＤｐ＝１のＴＵ３の周辺予測画素中、すべての画素の位置が異なることが分かる。ＴＵ予測画像生成部５０４は、ＴＵ３に関して、ＴＵ２とＴＵ１のように、ブロックＢ０３とＴＵ３の参照画素間の相関を求めて、相関性によりブロックＢ０３の予測画像をコピーしてもいい。しかし、ブロックＢ０３とＴＵ３のすべての画素の位置が異なるため、予測方向の分類が複雑になる。よって、ＴＵ予測画像生成部５０４は、ＴＵ３に関して、周辺ブロックの画素を参照して予測画像を生成する。
【０１７３】
図３２は、第４の実施の形態によるイントラＴＵモード判定処理の一例を示すフローチャートである。図３２に示すように、イントラＴＵモード判定部５００は、入力画像と復号画像記憶部１９２から入力された復号画像を用いてＴＵモードを選択し、イントラ符号化コスト算出部１７２に出力する。
【０１７４】
具体的には、図３２に示すように、イントラＴＵモード判定部５００は、入力される現ＴＵのＴＵ情報を用いて、予測画像を生成する現ＴＵの階層ＴＵＤｐ＞０か否かを判定する（Ｓ５５１）。イントラＴＵモード判定部５００のＴＵ予測画像生成部５０４は、Ｓ５５１において階層ＴＵＤｐ＞０の場合、すなわち、現ＴＵが階層０より画素数の少ない階層のＴＵであると判断した場合には（Ｓ５５１：ＹＥＳ）、以下の処理を行う。すなわち、相関性算出部５０２は、イントラＰＵモード判定部１６８から出力された予測方向により、現ＴＵの予測画像を生成する際に使われる周辺ブロックの参照画素と一階層上のＴＵの参照画素間の相関性を算出する（Ｓ５５２）。ＴＵ予測画像生成部５０４は、現ＴＵの予測画像を生成する（Ｓ５５３）。このとき、ＴＵ予測画像生成部５０４は、相関性算出部５０２から出力された相関性の情報、入力画像、ＴＵ情報、予測画像保存部２０４が出力した現ＴＵより一階層上の予測画像、及びイントラＰＵモード判定部１６８が出力した予測方向を使う。
【０１７５】
ＴＵ予測画像生成部５０４は、階層ＴＵＤｐ＞０でない場合（Ｓ５５１：ＮＯ）、例えばＨＥＶＣの規格に従って、周辺ブロックの画素を参照して現ＴＵの予測画像を生成する（Ｓ５５４）。
【０１７６】
イントラＴＵモード判定部５００は、現ＴＵの階層ＴＵＤｐが、指定されたＴＵの最大階層ＭａｘＴＵＤｐより小さいか否かを判定する（Ｓ５５５）。イントラＴＵモード判定部５００は、現ＴＵの階層ＴＵＤｐが、最大階層ＭａｘＴＵＤｐより小さいと判定した場合（Ｓ５５５：ＹＥＳ）、予測画像保存部２０４により、生成した予測画像を保存する（Ｓ５５６）。
【０１７７】
イントラＴＵモード判定部５００は、階層ＴＵＤｐが最大階層ＭａｘＴＵＤｐであると判定した場合には（Ｓ５５５：ＮＯ）、予測画像保存部２０４は、予測画像を保存せずに、Ｓ５５７の処理に進む。
【０１７８】
符号化コスト計算部２０６は、入力画像と予測画像保存部２０４から出力された予測画像とを用いて、現ＴＵサイズにおける符号化コストを算出するとともに、階層ＴＵＤｐに１を加算する（Ｓ５５７）。
【０１７９】
イントラＴＵモード判定部５００は、現ＴＵの階層ＴＵＤｐが、指定されたＴＵの最大階層ＭａｘＴＵＤｐ以下の場合（Ｓ５５８：ＹＥＳ）、Ｓ５５１に戻り、次の階層ＴＵＤｐについて、処理を繰り返す。
【０１８０】
イントラＴＵモード判定部５００は、階層ＴＵＤｐが最大階層ＭａｘＴＵＤｐを超えた場合（Ｓ５５８：ＮＯ）、ＴＵサイズ判定部２０８により、各階層ＴＵＤｐの符号化コストを比較する（Ｓ５５９）。ＴＵサイズ判定部２０８は、各階層ＴＵＤｐの符号化コストから、最小となるＴＵサイズを、最適なＴＵサイズと判定する（Ｓ５６０）。
【０１８１】
次に、図３２のＳ５５３の予測画像生成処理について詳細に説明する。図３３は、第４の実施の形態によるＴＵ予測画像生成処理の詳細を示すフローチャートである。図３３に示すように、ＴＵ予測画像生成部５０４は、現ＴＵのＴＵ情報から、現在処理している現ＴＵは何番目のＴＵか（例えば、ＴＵ０〜ＴＵ３のいずれか）を判定する（Ｓ５７１）。
【０１８２】
ＴＵ予測画像生成部５０４は、Ｓ５７１において、現ＴＵが０番目のＴＵ（ＴＵ０）だと判定した場合、Ｓ５７２に進んで、現ＴＵの階層より一階層上（階層ＴＵＤｐ＝ＴＵＤｐ−１）のＴＵのブロックＢ００の予測画像をコピーし、ＴＵ０の予測画像を生成する。
【０１８３】
ＴＵ予測画像生成部５０４は、Ｓ５７１において、現ＴＵが１番目のＴＵ（ＴＵ１）だと判定した場合、Ｓ５７３に処理を進める。ＴＵ予測画像生成部５０４は、イントラＰＵモード判定部１６８が出力した現ＴＵが含まれているＰＵの予測方向Ｄｉｒが、２６≦Ｄｉｒ≦３４を満たすか否かを判定する（Ｓ５７３）。
【０１８４】
ＴＵ予測画像生成部５０４は、Ｓ５７３において２６≦Ｄｉｒ≦３４であると判定した場合（Ｓ５７３：ＹＥＳ）、Ｓ５７４に進み、現ＴＵの一階層上のＴＵの予測画像をコピーして、現ＴＵの予測画像を生成する（Ｓ５７４）。
【０１８５】
ＴＵ予測画像生成部５０４は、Ｓ５７３において２６≦Ｄｉｒ≦３４でないと判定した場合（Ｓ５７３：ＮＯ、予測方向が０〜２５の場合）、Ｓ５７５に処理を進める。相関性算出部５０２は、現ＴＵの予測画像を生成する際に使われる周辺ブロックの参照画素と、一階層上のＴＵの参照画素との相関性を算出する（Ｓ５７５）。相関性の算出の際は、図２８、図２９に示した分類に応じて参照画素同士が比較される。
【０１８６】
ＴＵ予測画像生成部５０４は、相関性算出部５０２が算出した参照画素の差分の絶対値和ＳＡＤが閾値Ｔｈより小さい場合（Ｓ５７６：ＹＥＳ）、参照画素同士の相関性が高いと判定する。このとき、ＴＵ予測画像生成部５０４は、現ＴＵより位置階層上（階層ＴＵＤｐ＝ＴＵＤｐ−１）のブロックＢ０１の予測画像をコピーし、ＴＵ１の予測画像を生成する（Ｓ５７７）。
【０１８７】
絶対値和ＳＡＤが閾値Ｔｈ以上の場合（Ｓ５７６：ＮＯ）、ＴＵ予測画像生成部５０４は、例えばＨＥＣＶの規格に従い、周辺ブロックの画素を参照してＴＵ１の予測画像を生成する（Ｓ５７８）。
【０１８８】
ＴＵ予測画像生成部５０４は、Ｓ５７１において、現ＴＵが２番目のＴＵ（ＴＵ２）だと判定した場合、Ｓ５７９に処理を進める。ＴＵ予測画像生成部５０４は、イントラＰＵモード判定部１６８が出力した現ＴＵが含まれているＰＵの予測方向Ｄｉｒが、２≦Ｄｉｒ≦１０を満たすか否かを判定する（Ｓ５７９）。
【０１８９】
ＴＵ予測画像生成部５０４は、Ｓ５７９において０≦Ｄｉｒ≦１０であると判定した場合（Ｓ５７９：ＹＥＳ）、Ｓ５８０に処理を進める。ＴＵ予測画像生成部５０４は、現ＴＵの階層より一階層上（階層ＴＵＤｐ＝ＴＵＤｐ−１）のＴＵのブロックＢ０２の予測画像をコピーし、ＴＵ２の予測画像を生成する（Ｓ５８０）。
【０１９０】
ＴＵ予測画像生成部５０４は、Ｓ５７９において２≦Ｄｉｒ≦１０でないと判定した場合（Ｓ５７９：ＮＯ、予測方向が０〜１、または１１〜３４の場合）、Ｓ５８１に進む。すなわち、予測方向が０〜１、または１１〜３４である場合、相関性算出部５０２は、現ＴＵの予測画像を生成する際に使われる周辺ブロックの参照画素と、一階層上のＴＵの参照画素との相関性を算出する（Ｓ５８１）。相関性の算出の際は、図３１、図３２に示した分類に応じた参照画素同士を比較する。
【０１９１】
ＴＵ予測画像生成部５０４は、相関性算出部５０２が算出した参照画素の差分の絶対値和ＳＡＤが閾値Ｔｈより小さい場合（Ｓ５８２：ＹＥＳ）、参照画素同士の相関性が高いと判定する。このとき、ＴＵ予測画像生成部５０４は、現ＴＵより一階層上（階層ＴＵＤｐ＝ＴＵＤｐ−１）のブロックＢ０２の予測画像をコピーし、ＴＵ２の予測画像を生成する（Ｓ５８３）。
【０１９２】
絶対値和ＳＡＤが閾値Ｔｈ以上の場合（Ｓ５８２：ＮＯ）、ＴＵ予測画像生成部５０４は、例えばＨＥＣＶの規格に従い、周辺ブロックの画素を参照してＴＵ２の予測画像を生成する（Ｓ５８４）。
【０１９３】
ＴＵ予測画像生成部５０４は、Ｓ５７１において、現ＴＵが３番目のＴＵ（ＴＵ３）だと判定した場合、Ｓ５８５に進んで、周辺ブロックの画素を参照して、ＴＵ３の予測画像を生成する（Ｓ５８５）。すなわち、ＴＵ予測画像生成部５０４は、例えばＨＥＣＶの規格に従い、周辺ブロックの画素を参照してＴＵ３の予測画像を生成する（Ｓ５８５）。
【０１９４】
以上説明したように、第４の実施の形態による動画像符号化装置のイントラＴＵモード判定部５００によれば、イントラ予測でのブロックサイズの選択を行う際に、上位の階層ＴＵＤｐでの処理結果を用いる場合がある。すなわち、第１の条件は、符号化対象ブロックにおける予測方向が、符号化対象ブロックと同位置で分割形態の異なるブロックにおいて参照するブロックと同一のブロックを参照する予測方向の場合である。また、第１の条件に当てはまらない場合でも、現ＴＵの予測画像を生成する際の参照画素が、一階層上のＴＵの参照画素と相関性が高い第２の条件に当てはまると判定される場合、一階層上のＴＵの予測画像をコピーして、現ＴＵの予測画像を生成する。上位の階層の処理結果を利用するか否かは、ＴＵの位置情報と、ＣＵにおける予測方向とから分類される。すなわち、イントラＴＵモード判定部５００は、ＴＵの位置情報と、予測方向情報とに加え、参照画素の相関から、一階層上の予測画像を用いるか否か判定する。
【０１９５】
以上のように、第４の実施の形態による動画像符号化方法によれば、第１および第２の実施の形態による効果に加え、下記のような効果がある。すなわち、第４の実施の形態によるイントラＴＵモード判定において、ＴＵ情報と予測方向情報とに基づき算出済の予測画像が利用できない場合に、参照画素同士の相関に基づき、一階層上の予測画像を利用する場合がある。これにより、予測画像の生成における演算量をさらに低減することが可能となる。また、参照画素同士の相関が高い場合、予測画像同士の相関も高くなるので、本実施の形態による動画像符号化方法において、イントラ予測の際の予測画像生成回数の削減により演算量を低減しながら、判定精度を維持でき、画質の低下を防止できる。
【０１９６】
具体的には、一階層における予測画像生成回数は平均で、第２の実施の形態による場合の（ＴＵ０＋ＴＵ１＋ＴＵ２＋ＴＵ３）＝（０＋３／４＋３／４＋１）=２.５回より少なくなると考えられる。よって、一階層上の予測画像を利用しない場合の４回に比べて、（４−２．５）／４＝０．３７５（３７．５％）より大きい割合の演算量が削減できると期待される。
【０１９７】
例えば、ＴＵ１に対して、参照画素の相関が高いと判定されると、予測方向２６〜３４以外の予測方向の場合も、予測画像の生成処理が省略できる。このとき、予測画像の生成回数は平均で、（ＴＵ０＋ＴＵ１＋ＴＵ２＋ＴＵ３）＝（０＋０＋３／４＋１）=１．７５回となり、一階層上の予測画像を利用しない場合の４回に比べて、（４−１．７５）／４＝０．５６２５（５６．２５％）の演算量が削減できると期待される。このように、第２の実施の形態による動画像符号化方法より、さらに演算量が削減できる。
【０１９８】
以上のように、上記第１から第４の実施の形態による動画像符号化装置は、入力画像をブロック単位に分割し、分割されたブロック毎に直交変換を行ってからこの変換出力を量子化手段により量子化する。さらに動画像符号化装置は、この量子化出力をエントロピー符号化して出力する。このとき、動画像符号化装置は、入力画像と、処理対象の現ＴＵのＴＵ情報と、予測方向情報と、条件に合致する場合には、現ＴＵより一階層上のＴＵの予測画像とに基づき、現ＴＵの予測画像を生成する。条件は、現ＴＵの位置と、現ＣＵにおける予測方向とにもとづく。すなわち、動画像符号化装置は、予測方向とＴＵの位置により、周辺ブロックの画素を用いて予測画像を生成したり一階層上のＴＵにおける処理結果を利用したりして、現階層のＴＵモード判定を行う。処理結果は、所定の最大階層ＭａｘＴＵＤｐに至らない場合、記録され、次の階層のＴＵのモード判定時に用いられる。処理結果としては、予測画像、差分画像を利用される。
【０１９９】
上記第１から第４の実施の形態による動画像符号化方法によれば、イントラ予測のＴＵサイズ判定において、予測画像生成回数の削減により演算量を削減しながら、判定精度を維持できるとともに、画質の低下が防止できる。
【０２００】
ここで、上記第１から第４の実施の形態による動画像符号化方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図３４は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図３４に示すように、コンピュータ６００は、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）６０２、メモリ６０４、入力装置６０６、出力装置６０８、外部記憶装置６１２、媒体駆動装置６１４、ネットワーク接続装置６１８等がバス６１０を介して接続されている。
【０２０１】
ＣＰＵ６０２は、コンピュータ６００全体の動作を制御する演算処理装置である。メモリ６０４は、コンピュータ６００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ６０４は、例えばＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置６０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ６０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置６０８は、コンピュータ６００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ６０２により送付される表示データに応じてテキストや画像を表示する。
【０２０２】
外部記憶装置６１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ６０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置６１４は、可搬型記録媒体６１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ６０２は、可搬型記録媒体６１６に記録されている所定の制御プログラムを、媒体駆動装置６１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬型記録媒体６１６は、例えばＣｏｍｐａｃｔ  Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置６１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインターフェース装置である。バス６１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【０２０３】
上記第１から第４の実施の形態による動画像符号化方法をコンピュータに実行させるプログラムは、例えば外部記憶装置６１２に記憶させる。ＣＰＵ６０２は、外部記憶装置６１２からプログラムを読み出し、メモリ６０４を利用してプログラムを実行することで、動画像符号化の動作を行なう。このとき、まず、動画像符号化の処理をＣＰＵ６０２に行わせるための制御プログラムを作成して外部記憶装置６１２に記憶させておく。そして、入力装置６０６から所定の指示をＣＰＵ６０２に与えて、この制御プログラムを外部記憶装置６１２から読み出させて実行させるようにする。また、このプログラムは、可搬型記録媒体６１６に記憶するようにしてもよい。また、入力画像は、例えば、ネットワーク接続装置６１８などを介して受信するようにしてもよいし、外部記憶装置６１２などに記憶させておき読み出すようにしてもよい。
【０２０４】
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、各フローチャートに記載の処理手順は記載順に限定されない。また、上記第１から第４の実施の形態による処理のうちで、上述した処理の組合せとは別の処理を組み合わせた動画像処理方法としてもよい。例えば、第４の実施の形態おいては、例えば第２の実施の形態のように予測画像を利用する例に、相関を利用する処理を組み合わせたが、例えば第３の実施の形態のように差分画像を利用する例に、相関を利用する処理を組み合わせるようにしてもよい。動画像符号化装置の各機能は、例えば一部がハードウエア装置により実現されるようにしてもよい。
【０２０５】
以上の第１から第４の実施形態に関し、さらに以下の付記を開示する。
（付記１）
動画像に含まれる画像内の第１のブロックにおけるイントラ予測の予測方向が、前記第１のブロックを含む第２のブロックのイントラ予測において前記第１のブロックにおけるイントラ予測の予測方向により参照される画素を参照している場合、前記第１のブロックにおける前記予測方向に基づく予測結果を、前記第２のブロックにおける前記予測方向に基づく予測結果を用いて生成する演算部と、
前記演算部での予測結果を利用して符号化を行う符号化部と、
を有することを特徴とする動画像符号化装置。
（付記２）
前記演算部での予測結果を記憶する記憶部、
をさらに有し、
前記演算部は、前記第１のブロックをさらに分割して前記選択の処理を行うことが決められている場合に、前記第１のブロックにおける前記演算部での予測結果を前記記憶部に記憶させ、前記第１のブロックをさらに分割して予測結果を生成する場合に、前記記憶部から前記第１のブロックにおける前記演算部での予測結果を読み出して利用する
ことを特徴とする付記１に記載の動画像符号化装置。
（付記３）
前記演算部は、前記第２のブロックにおける前記第１のブロックの位置に応じて、前記第１のブロックにおける前記予測方向に基づく予測結果の生成の際に前記第２のブロックにおける前記予測方向に基づく予測結果を用いるか否かを判定する
ことを特徴とする付記１または付記２に記載の動画像符号化装置。
（付記４）
前記演算部は、前記イントラ予測の予測方向に応じて、前記第１のブロックにおける前記予測方向に基づく予測結果を用いるか否かを判定する
ことを特徴とする付記１から付記３のいずれか一項に記載の動画像符号化装置。
（付記５）
前記演算部は、前記第２のブロックにおける前記予測方向に基づく予測結果と前記画像とに基づき算出される前記第２のブロックの符号化コストと、前記第２のブロックと同じ領域に含まれる複数の前記第１のブロックにおける前記予測方向に基づく予測結果と前記画像とに基づき夫々算出される複数の前記第１のブロックの符号化コストを合計した合計符号化コストと、に基づいてイントラ予測符号化におけるブロックサイズを選択する選択部
を有し、
前記符号化部は、前記イントラ予測符号化を行う場合、前記画像に含まれる、前記選択部が選択した前記ブロックサイズの符号化対象ブロックを符号化し、前記符号化対象ブロックの符号化結果を出力する
ことを特徴とする付記１から付記４のいずれか一項に記載の動画像符号化装置。
（付記６）
前記演算部は、前記第２のブロックにおける前記予測方向に基づく予測結果として、前記第２のブロックにおける予測画像を用いる
ことを特徴とする付記１から付記５のいずれか一項に記載の動画像符号化装置。
（付記７）
前記演算部は、前記第２のブロックにおける前記予測方向に基づく予測結果として、前記第２のブロックにおける差分画像を用いる
ことを特徴とする付記１から付記５のいずれか一項に記載の動画像符号化装置。
（付記８）
前記演算部は、さらに、前記第１のブロックにおいて参照する画素と、前記第２のブロックにおいて参照する画素との相関が強いと判定された場合、前記第２のブロックにおける前記予測方向に基づく予測結果を用いて前記第１のブロックにおける前記予測方向に基づく予測結果を生成する
ことを特徴とする付記１から付記５のいずれか一項に記載の動画像符号化装置。
（付記９）
動画像符号化処理装置が、動画像に含まれる画像内の第１のブロックにおけるイントラ予測の予測方向が、前記第１のブロックを含む第２のブロックのイントラ予測において前記第１のブロックにおけるイントラ予測の予測方向により参照される画素を参照している場合、前記第１のブロックにおける前記予測方向に基づく予測結果を、前記第２のブロックにおける前記予測方向に基づく予測結果を用いて生成し、
生成された前記予測結果を利用して符号化を行う、
ことを特徴とする動画像符号化方法。
（付記１０）
前記第１のブロックをさらに分割して前記選択の処理を行うことが決められている場合に、前記第１のブロックにおける前記予測結果を記憶部に記憶させ、
前記第１のブロックをさらに分割して予測結果を生成する場合に、前記記憶部から前記第１のブロックにおける前記演算部での予測結果を読み出して利用する
ことを特徴とする付記９に記載の動画像符号化方法。
（付記１１）
前記第２のブロックにおける前記第１のブロックの位置に応じて、前記第１のブロックにおける前記予測方向に基づく予測結果の生成の際に前記第２のブロックにおける前記予測方向に基づく予測結果を用いるか否かを判定する
ことを特徴とする付記９または付記１０に記載の動画像符号化方法。
（付記１２）
前記イントラ予測の予測方向に応じて、前記第１のブロックにおける前記予測方向に基づく予測結果を用いるか否かを判定する
ことを特徴とする付記９から付記１１のいずれかに記載の動画像符号化方法。
（付記１３）
前記第２のブロックにおける前記予測方向に基づく予測結果と前記画像とに基づき算出される前記第２のブロックの符号化コストと、前記第２のブロックと同じ領域に含まれる複数の前記第１のブロックにおける前記予測方向に基づく予測結果と前記画像とに基づき夫々算出される複数の前記第１のブロックの符号化コストを合計した合計符号化コストと、に基づいてイントラ予測符号化におけるブロックサイズを選択し、
前記イントラ予測符号化を行う場合、前記画像に含まれる、前記選択部が選択した前記ブロックサイズの符号化対象ブロックを符号化し、前記符号化対象ブロックの符号化結果を出力する
ことを特徴とする付記９から付記１２のいずれか一項に記載の動画像符号化方法。
（付記１４）
前記第２のブロックにおける前記予測方向に基づく予測結果として、前記第２のブロックにおける予測画像を用いる
ことを特徴とする付記９から付記１３のいずれか一項に記載の動画像符号化方法。
（付記１５）
前記第２のブロックにおける前記予測方向に基づく予測結果として、前記第２のブロックにおける差分画像を用いる
ことを特徴とする付記９から付記１３のいずれか一項に記載の動画像符号化方法。
（付記１６）
さらに、前記第１のブロックにおいて参照する画素と、前記第２のブロックにおいて参照する画素との相関が強いと判定された場合、前記第２のブロックにおける処理結果を利用して選択を行う
ことを特徴とする付記８から付記１３のいずれか一項に記載の動画像符号化方法。
（付記１７）
動画像に含まれる画像内の第１のブロックにおけるイントラ予測の予測方向が、前記第１のブロックを含む第２のブロックのイントラ予測において前記第１のブロックにおけるイントラ予測の予測方向により参照される画素を参照している場合、前記第１のブロックにおける前記予測方向に基づく予測結果を、前記第２のブロックにおける前記予測方向に基づく予測結果を用いて生成し、
生成された前記予測結果を利用して符号化を行う、
処理をコンピュータに実行させるプログラム。
【符号の説明】
【０２０６】
１００      動画像符号化装置
１０２      選択部
１０４      符号化部
１５０      動画像符号化装置
１６０      符号化モード判定部
１６２      インターＰＵモード判定部
１６４      インターＴＵモード判定部
１６６      インター符号化コスト算出部
１６８      イントラＰＵモード判定部
１７０      イントラＴＵモード判定部
１７２      イントラ符号化コスト算出部
１７４      ＣＵモード判定部
１８０      符号化部
１８２      予測画像作成部
１８４      差分画像作成部
１８６      直交変換／量子化部
１８８      逆直交変換／逆量子化部
１９０      復号画像生成部
１９２      復号画像記憶部
１９４      エントロピー符号化部
２０２      ＴＵ予測画像生成部
２０４      予測画像保存部
２０６      符号化コスト計算部
２０８      ＴＵサイズ判定部
【図１】
2016092458.tif 000003
【図２】
2016092458.tif 000004
【図３】
2016092458.tif 000005
【図４】
2016092458.tif 000006
【図５】
2016092458.tif 000007
【図６】
2016092458.tif 000008
【図９】
2016092458.tif 000009
【図１６】
2016092458.tif 000010
【図１７】
2016092458.tif 000011
【図１８】
2016092458.tif 000012
【図１９】
2016092458.tif 000013
【図２０】
2016092458.tif 000014
【図２１】
2016092458.tif 000015
【図２２】
2016092458.tif 000016
【図２４】
2016092458.tif 000017
【図２５】
2016092458.tif 000018
【図２６】
2016092458.tif 000019
【図２７】
2016092458.tif 000020
【図３２】
2016092458.tif 000021
【図３３】
2016092458.tif 000022
【図３４】
2016092458.tif 000023
【図７】
2016092458.tif 000024
【図８】
2016092458.tif 000025
【図１０】
2016092458.tif 000026
【図１１】
2016092458.tif 000027
【図１２】
2016092458.tif 000028
【図１３】
2016092458.tif 000029
【図１４】
2016092458.tif 000030
【図１５】
2016092458.tif 000031
【図２３】
2016092458.tif 000032
【図２８】
2016092458.tif 000033
【図２９】
2016092458.tif 000034
【図３０】
2016092458.tif 000035
【図３１】
2016092458.tif 000036