(57)【要約】【課題】  符号化の単位となるブロックのサイズを決定するための計算量の増加を抑制して動画像を符号化する場合において、ブロックのサイズを適切に選択する。【解決手段】  動画像符号化装置は、判定対象のブロック毎に予測誤差に基づく評価値として、判定対象のブロックを複数の第１ブロックに分割する場合の第１評価値と判定対象のブロックを分割しない場合の第２評価値とを算出する評価値算出部と、複数の第１ブロックの各々を複数の第２ブロックにさらに分割し、複数の第２ブロックの複雑度を算出し、各第１ブロックにおける複数の第２ブロックの複雑度の偏りに基づいて、判定対象のブロックの第１評価値を補正する評価値補正部と、第１評価値が補正された場合、評価値補正部により補正された第１評価値と評価値算出部により算出された第２評価値との比較結果に基づいて、判定対象のブロックを分割するか否かを決定する分割決定部とを有する。【選択図】  図１
2019041216.tif 000002
【特許請求の範囲】
【請求項１】
動画像のフレームを複数のブロックに分割して符号化する場合のブロックのサイズを複数のサイズから選択する動画像符号化装置において、
ブロックをさらに分割するかが判定される判定対象のブロック毎に、判定対象の画像と前記判定対象の画像を符号化する場合に使用する予測画像との差分である予測誤差に基づく評価値として、前記判定対象のブロックを複数の第１ブロックに分割する場合の第１評価値と前記判定対象のブロックを分割しない場合の第２評価値とをそれぞれ算出する評価値算出部と、
前記複数の第１ブロックの各々を複数の第２ブロックにさらに分割し、前記複数の第２ブロックの各々の複雑さを示す複雑度を算出し、各第１ブロックにおける前記複数の第２ブロックの複雑度の偏りに基づいて、前記判定対象のブロックの第１評価値を補正する評価値補正部と、
第１評価値が補正された場合、前記評価値補正部により補正された第１評価値と前記評価値算出部により算出された第２評価値との比較結果に基づいて、前記判定対象のブロックを前記複数の第１ブロックに分割するか否かを決定し、第１評価値が補正されない場合、前記評価値算出部により算出された第１評価値と前記評価値算出部により算出された第２評価値との比較結果に基づいて、前記判定対象のブロックを前記複数の第１ブロックに分割するか否かを決定する分割決定部と
を有することを特徴とする動画像符号化装置。
【請求項２】
請求項１に記載の動画像符号化装置において、
前記評価値補正部は、前記複数の第２ブロックのうち、複雑度が所定の第１閾値以上の第２ブロックを複雑なブロックとして特定し、複雑度が前記第１閾値未満の第２ブロックを平坦なブロックとして特定し、前記各第１ブロック内に前記複雑なブロックと前記平坦なブロックとが混在する場合、前記各第１ブロックにおける前記複数の第２ブロックの複雑度に偏りがあると判定し、前記判定対象のブロックの第１評価値を小さくする補正を実行し、
前記分割決定部は、第１評価値が第２評価値より小さい場合、前記判定対象のブロックを前記複数の第１ブロックに分割すると決定し、第１評価値が第２評価値より大きい場合、前記判定対象のブロックを分割しないと決定する
ことを特徴とする動画像符号化装置。
【請求項３】
請求項１に記載の動画像符号化装置において、
前記評価値補正部は、前記複数の第２ブロックのうち、複雑度が所定の第１閾値以上の第２ブロックを複雑なブロックとして特定し、複雑度が所定の第２閾値以下の第２ブロックを平坦なブロックとして特定し、前記各第１ブロック内に前記複雑なブロックと前記平坦なブロックとが混在する場合、前記各第１ブロックにおける前記複数の第２ブロックの複雑度に偏りがあると判定し、前記判定対象のブロックの第１評価値を小さくする補正を実行し、
前記分割決定部は、第１評価値が第２評価値より小さい場合、前記判定対象のブロックを前記複数の第１ブロックに分割すると決定し、第１評価値が第２評価値より大きい場合、前記判定対象のブロックを分割しないと決定し、
前記第２閾値は、前記第１閾値より小さい
ことを特徴とする動画像符号化装置。
【請求項４】
請求項２または請求項３に記載の動画像符号化装置において、
前記評価値補正部は、前記各第１ブロック内に混在する前記複雑なブロックと前記平坦なブロックのうちの前記平坦なブロックの数が多くなるほど、前記判定対象のブロックの第１評価値の補正による減少量を大きくする
ことを特徴とする動画像符号化装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の動画像符号化装置において、
符号化対象の画像を縮小して縮小画像を生成し、生成した前記縮小画像を前記判定対象の画像として前記評価値算出部に転送する画像縮小部と、
前記縮小画像における前記判定対象のブロックを分割するか否かの決定結果を示す縮小画像ブロック情報を前記分割決定部から受け、前記分割決定部から受ける縮小画像ブロック情報に基づいて、前記符号化対象の画像を分割するブロック分割部とをさらに有する
ことを特徴とする動画像符号化装置。
【請求項６】
請求項５に記載の動画像符号化装置において、
前記ブロック分割部は、
前記分割決定部から受ける縮小画像ブロック情報に基づくサイズを、前記符号化対象の画像を縮小する前の元のサイズに換算し、換算したサイズに基づいて処理対象のブロックを特定し、前記処理対象のブロックの評価値として、前記処理対象のブロックを複数の第３ブロックに分割する場合の第３評価値と前記処理対象のブロックを分割しない場合の第４評価値とをそれぞれ算出し、
第３評価値と第４評価値とを比較し、比較結果に基づいて、前記処理対象のブロックを前記複数の第３ブロックに分割するか否かを決定する
ことを特徴とする動画像符号化装置。
【請求項７】
請求項６に記載の動画像符号化装置において、
前記ブロック分割部は、
前記複数の第３ブロックの各々を複数の第４ブロックにさらに分割し、前記複数の第４ブロックの各々の複雑さを示す複雑度を算出し、各第３ブロックにおける前記複数の第４ブロックの複雑度の偏りに基づいて、前記処理対象のブロックの第３評価値を補正し、補正後の第３評価値と第４評価値との比較結果に基づいて、前記処理対象のブロックを前記複数の第３ブロックに分割するか否かを決定する
ことを特徴とする動画像符号化装置。
【請求項８】
動画像のフレームを複数のブロックに分割して符号化する場合のブロックのサイズを複数のサイズから選択する動画像符号化方法において、
ブロックをさらに分割するかが判定される判定対象のブロック毎に、判定対象の画像と前記判定対象の画像を符号化する場合に使用する予測画像との差分である予測誤差に基づく評価値として、前記判定対象のブロックを複数の第１ブロックに分割する場合の第１評価値と前記判定対象のブロックを分割しない場合の第２評価値とをそれぞれ算出する評価値算出処理と、
前記複数の第１ブロックの各々を複数の第２ブロックにさらに分割し、前記複数の第２ブロックの各々の複雑さを示す複雑度を算出し、各第１ブロックにおける前記複数の第２ブロックの複雑度の偏りに基づいて、前記判定対象のブロックの第１評価値を補正する評価値補正処理と、
第１評価値が補正された場合、前記評価値補正処理により補正された第１評価値と前記評価値算出処理により算出された第２評価値との比較結果に基づいて、前記判定対象のブロックを前記複数の第１ブロックに分割するか否かを決定し、第１評価値が補正されない場合、前記評価値算出処理により算出された第１評価値と前記評価値算出処理により算出された第２評価値との比較結果に基づいて、前記判定対象のブロックを前記複数の第１ブロックに分割するか否かを決定する分割決定処理と
を実行することを特徴とする動画像符号化方法。
【請求項９】
動画像のフレームを複数のブロックに分割して符号化する場合のブロックのサイズを複数のサイズから選択する処理をコンピュータに実行させるための動画像符号化プログラムにおいて、
ブロックをさらに分割するかが判定される判定対象のブロック毎に、判定対象の画像と前記判定対象の画像を符号化する場合に使用する予測画像との差分である予測誤差に基づく評価値として、前記判定対象のブロックを複数の第１ブロックに分割する場合の第１評価値と前記判定対象のブロックを分割しない場合の第２評価値とをそれぞれ算出する評価値算出処理と、
前記複数の第１ブロックの各々を複数の第２ブロックにさらに分割し、前記複数の第２ブロックの各々の複雑さを示す複雑度を算出し、各第１ブロックにおける前記複数の第２ブロックの複雑度の偏りに基づいて、前記判定対象のブロックの第１評価値を補正する評価値補正処理と、
第１評価値が補正された場合、前記評価値補正処理により補正された第１評価値と前記評価値算出処理により算出された第２評価値との比較結果に基づいて、前記判定対象のブロックを前記複数の第１ブロックに分割するか否かを決定し、第１評価値が補正されない場合、前記評価値算出処理により算出された第１評価値と前記評価値算出処理により算出された第２評価値との比較結果に基づいて、前記判定対象のブロックを前記複数の第１ブロックに分割するか否かを決定する分割決定処理と
を前記コンピュータに実行させるための動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化方法および動画像符号化プログラムに関する。
【背景技術】
【０００２】
動画像符号化装置は、例えば、動画像のフレームを複数のブロックに分割し、分割したブロック毎に動画像を符号化する(例えば、特許文献１参照)。Ｈ．２６４、ＨＥＶＣ（High Efficiency Video Coding）等の符号化の規格に準拠した動画像符号化装置は、動画像を符号化する場合のブロックのサイズを複数のサイズから選択する。例えば、ＨＥＶＣでは、ブロックのサイズは、８×８画素、１６×１６画素、３２×３２画素、６４×６４画素のいずれかのサイズから選択される。
【０００３】
例えば、動画像符号化装置は、入力画像と予測画像との差に基づく評価値をブロックのサイズ毎に算出し、算出した評価値に基づいてブロックのサイズを決定する。この場合、ブロックのサイズ毎に各ブロックの評価値を算出するため、ブロックのサイズを決定するための計算量は、ブロックのサイズの種類が増加するほど増加する。ブロックのサイズを決定するための計算量を削減するために、入力画像を縮小した縮小画像を用いてブロックのサイズを決定する画像符号化装置が提案されている(例えば、特許文献２参照)。この種の画像符号化装置は、ブロックのサイズ毎に縮小画像の各ブロックの評価値を算出して、ブロックのサイズを決定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−８９９０５号公報
【特許文献２】特開２０１３−２２３１３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
縮小画像を用いてブロックのサイズを決定する方法では、先ず、縮小画像を分割する場合のブロックのサイズが縮小画像の各ブロックの評価値に基づいて決定される。そして、縮小画像のブロックのサイズに基づいて、入力画像を分割する場合のブロックのサイズが決定される。したがって、縮小画像の各ブロックの評価値の算出精度が低下すると、入力画像のブロックのサイズの選択が適切に実行されないおそれがある。
【０００６】
例えば、符号化の規格で決められた複数のサイズのうちの最小のサイズが８×８画素の場合、入力画像を４分の１に縮小する縮小画像における８×８画素のブロックは、入力画像に換算すると１６×１６画素のブロックに対応する。したがって、縮小画像における８×８画素のブロックは、入力画像において、さらに４つのブロックに分割される場合もある。このため、縮小画像における８×８画素のブロックの評価値の算出では、さらなる分割を考慮しない場合、ブロックの評価値の精度が低下する。このように、縮小画像を用いてブロックのサイズを決定する方法では、符号化の規格で決められた複数のサイズのうちの最小のサイズのブロックの評価値の精度が低下し、入力画像のブロックのサイズの選択が適切に実行されないおそれがある。
【０００７】
１つの側面では、本発明は、動画像を符号化する場合において、ブロックのサイズを適切に選択することを目的とする。
【課題を解決するための手段】
【０００８】
１つの実施態様では、動画像のフレームを複数のブロックに分割して符号化する場合のブロックのサイズを複数のサイズから選択する動画像符号化装置は、評価値算出部、評価値補正部および分割決定部を有する。評価値算出部は、ブロックをさらに分割するかが判定される判定対象のブロック毎に、判定対象の画像と判定対象の画像を符号化する場合に使用する予測画像との差分である予測誤差に基づく評価値として、判定対象のブロックを複数の第１ブロックに分割する場合の第１評価値と判定対象のブロックを分割しない場合の第２評価値とをそれぞれ算出する。評価値補正部は、複数の第１ブロックの各々を複数の第２ブロックにさらに分割し、複数の第２ブロックの各々の複雑さを示す複雑度を算出し、各第１ブロックにおける複数の第２ブロックの複雑度の偏りに基づいて、判定対象のブロックの第１評価値を補正する。分割決定部は、第１評価値が補正された場合、評価値補正部により補正された第１評価値と評価値算出部により算出された第２評価値との比較結果に基づいて、判定対象のブロックを複数の第１ブロックに分割するか否かを決定する。また、分割決定部は、第１評価値が補正されない場合、評価値算出部により算出された第１評価値と評価値算出部により算出された第２評価値との比較結果に基づいて、判定対象のブロックを複数の第１ブロックに分割するか否かを決定する。
【発明の効果】
【０００９】
１つの側面では、本発明は、動画像を符号化する場合において、ブロックのサイズを適切に選択することができる。
【図面の簡単な説明】
【００１０】
【図１】動画像符号化装置、動画像符号化方法および動画像符号化プログラムの一実施形態を示す図である。
【図２】図１に示した動画像符号化装置の動作の一例を示す図である。
【図３】動画像符号化装置、動画像符号化方法および動画像符号化プログラムの別の実施形態を示す図である。
【図４】図３に示した縮小画像ブロック分割部およびブロック分割部の一例を示す図である。
【図５】図３に示したフレーム分割部の動作の概要を示す図である。
【図６】複雑判定閾値および平坦判定閾値の一例を示す図である。
【図７】縮小画像の１６×１６画素のブロックに対する分割判定の一例を示す図である。
【図８】図３に示したブロック分割部の動作の概要を示す図である。
【図９】図３に示した動画像符号化装置の動作の一例を示す図である。
【図１０】図９に示した縮小ブロック分割判定処理の一例を示す図である。
【図１１】動画像符号化装置、動画像符号化方法および動画像符号化プログラムの別の実施形態を示す図である。
【図１２】図１１に示したブロック分割部の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、実施形態について、図面を用いて説明する。
【００１２】
図１は、動画像符号化装置、動画像符号化方法および動画像符号化プログラムの一実施形態を示す。図１に示す動画像符号化装置１０は、Ｈ．２６４、ＨＥＶＣ等の符号化の規格に準拠した動画像符号化方法で動画像を符号化する。例えば、動画像符号化装置１０は、動画像のフレームＦＲＭを複数のブロックＢに分割し、分割したブロックＢ毎に動画像を符号化する。動画像を符号化する場合のブロックＢのサイズ（符号化の単位となるブロックのサイズ）は、Ｈ．２６４、ＨＥＶＣ等の符号化の規格で決められている。例えば、ＨＥＶＣに準拠した動画像符号化装置１０は、動画像を符号化する場合のブロックＢのサイズを、８×８画素、１６×１６画素、３２×３２画素、６４×６４画素から選択する。
【００１３】
なお、図１に示すかぎ括弧内には、動画像を符号化する場合にフレームＦＲＭを複数のブロックＢに分割するブロック分割の概要を示す。図１に示すブロックＢａ（Ｂａ１、Ｂａ２）は、規格等により予め決められた複数のサイズのうちの最大のサイズのブロックＢである。また、ブロックＢｂ（Ｂｂ１、Ｂｂ２、Ｂｂ３、Ｂｂ４）は、ブロックＢａを４分割したサイズのブロックＢであり、ブロックＢｃ（Ｂｃ１、Ｂｃ２、Ｂｃ３、Ｂｃ４）は、ブロックＢｂを４分割したサイズのブロックＢである。そして、ブロックＢｄ（Ｂｄ１、Ｂｄ２、Ｂｄ３、Ｂｄ４）は、ブロックＢｃを４分割したサイズのブロックＢであり、規格等により予め決められた複数のサイズのうちの最小のサイズのブロックＢである。
【００１４】
動画像符号化装置１０は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサ１００と、動画像等の入力データを受ける入力インタフェース２００と、メモリ３００とを有する。プロセッサ１００、入力インタフェース２００およびメモリ３００は、バス４００に接続される。
【００１５】
例えば、プロセッサ１００は、メモリ３００に格納される動画像符号化プログラムを実行し、動画像符号化装置１０の動作を制御する。なお、動画像符号化プログラムは、動画像符号化装置１０の記憶装置のうちのメモリ３００以外の記憶装置に格納されてもよく、動画像符号化装置１０の外部の記憶装置に格納されてもよい。また、動画像符号化プログラムは、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等のコンピュータにより読み取り可能な記録媒体２０に格納されてもよい。この場合、記録媒体２０に格納された動画像符号化プログラムは、動画像符号化装置１０に設けられる図示しない入出力インタフェースを介して記録媒体２０からメモリ３００等に転送される。なお、動画像符号化プログラムは、記録媒体２０から図示しないハードディスクに転送された後、ハードディスクからメモリ３００に転送されてもよい。
【００１６】
プロセッサ１００は、例えば、メモリ３００に格納される動画像符号化プログラムを実行することにより、評価値算出部１１０、評価値補正部１１２および分割決定部１１４を実現する。すなわち、動画像符号化装置１０は、評価値算出部１１０、評価値補正部１１２および分割決定部１１４を有する。なお、評価値算出部１１０、評価値補正部１１２および分割決定部１１４は、ハードウェアのみで実現されてもよい。
【００１７】
評価値算出部１１０、評価値補正部１１２および分割決定部１１４の協働により、動画像を符号化する場合のブロックＢのサイズが決定される。図１に示す例では、符号化対象のフレームＦＲＭは、規格等により予め決められた複数のサイズのうちの最大のサイズのブロックＢａ（Ｂａ１、Ｂａ２、・・・）に分割される。そして、最大のサイズの複数のブロックＢａの各々は、さらに分割するか否かが判定される。以下では、ブロックＢａ１をさらに分割するか否かを判定する場合（ブロックＢａ１を判定対象のブロックＢとした場合）を例にして、評価値算出部１１０、評価値補正部１１２および分割決定部１１４の動作を説明する。ブロックＢａ１を判定対象のブロックＢとした場合、ブロックＢｂは、第１ブロックの一例であり、ブロックＢｃは、第２ブロックの一例である。
【００１８】
例えば、評価値算出部１１０は、判定対象のブロックＢａ１のＲＤ（Rate Distortion）コストを、判定対象のブロックＢａ１を４つのブロックＢｂ１、Ｂｂ２、Ｂｂ３、Ｂｂ４に分割する場合と分割しない場合とについてそれぞれ算出する。ＲＤコストは、判定対象のブロックＢの画像と判定対象のブロックＢの画像を符号化する場合に使用する予測画像との差分である予測誤差に基づく評価値の一例である。例えば、ＲＤコストは、予測誤差をアダマール変換等の周波数変換した後の係数（周波数変換係数）の絶対値和で表される符号化歪みと、符号量等を示す符号化情報量とを加算したコストで表される。
【００１９】
また、判定対象のブロックＢａ１を４つのブロックＢｂ１、Ｂｂ２、Ｂｂ３、Ｂｂ４に分割する場合のＲＤコストは、第１評価値の一例であり、判定対象のブロックＢａ１を分割しない場合のＲＤコストは、第２評価値の一例である。以下、判定対象のブロックＢを複数のブロックＢに分割する場合のＲＤコストは、分割ＲＤコストとも称され、判定対象のブロックＢを分割しない場合のＲＤコストは、非分割ＲＤコストとも称される。
【００２０】
例えば、評価値算出部１１０は、ブロックＢａ１の非分割ＲＤコストとして、ブロックＢａ１の符号化歪みとブロックＢａ１を分割しない場合の符号化情報量とを加算したＲＤコストを算出する。また、評価値算出部１１０は、ブロックＢａ１の分割ＲＤコストとして、ブロックＢｂ１、Ｂｂ２、Ｂｂ３、Ｂｂ４の各々のＲＤコストの合計値と、ブロックＢａ１を分割した場合の符号化情報量とを加算したＲＤコストを算出する。なお、例えば、ブロックＢａ１の分割ＲＤコストを算出する段階で、各ブロックＢｂを分割するか否かが判定されていない場合、ブロックＢａ１の分割ＲＤコストの算出に用いる各ブロックＢｂのＲＤコストは、各ブロックＢｂの非分割ＲＤコストである。
【００２１】
ここで、例えば、ブロックＢｂ１において、予測誤差が大きい画素が特定の領域（ブロックＢｃ１、Ｂｃ２、Ｂｃ３、Ｂｃ４のいずれかのブロックＢｃ）に偏っている場合、予測誤差を周波数変換した後の周波数変換係数がブロックＢｂ１全体に分散する。この場合、ブロックＢｂ１のＲＤコストは、周波数変換係数がブロックＢｂ１全体に分散せずに特定の領域（特定のブロックＢｃ）に存在する場合に比べて、大きくなる。このため、例えば、ブロックＢｂ１が分割される場合、ブロックＢａ１の分割ＲＤコストの算出に用いたブロックＢｂ１のＲＤコスト（非分割ＲＤコスト）がブロックＢｂ１の実際のＲＤコストと異なり、ブロックＢａ１の分割ＲＤコストの精度が低下する。ブロックＢｂ２、Ｂｂ３、Ｂｂ４の各々のＲＤコストに関しても、ブロックＢｂを分割するか否かが判定されていない場合、ブロックＢｂ１のＲＤコストと同様に精度が低下する。このように、ブロックＢａ１の分割ＲＤコストを算出する段階で、各ブロックＢｂを分割するか否かが判定されていない場合、ブロックＢａ１の分割ＲＤコストの精度は低下する。
【００２２】
このため、評価値補正部１１２は、ブロックＢａ１のＲＤコストを算出する段階で、各ブロックＢｂを分割するか否かが判定されていない場合、ブロックＢａ１の分割ＲＤコストを補正する。例えば、評価値補正部１１２は、ブロックＢｂ１を４つのブロックＢｃ１、Ｂｃ２、Ｂｃ３、Ｂｃ４にさらに分割し、ブロックＢｃ１、Ｂｃ２、Ｂｃ３、Ｂｃ４の各々の複雑さを示す複雑度を算出する。各ブロックＢｃの複雑度は、各ブロックＢｃの画像の複雑さを示す評価値でもよいし、各ブロックＢｃの予測誤差の複雑さを示す評価値でもよい。
【００２３】
評価値補正部１１２は、ブロックＢｂ１におけるブロックＢｃ１、Ｂｃ２、Ｂｃ３、Ｂｃ４の各々の複雑度の偏りに基づいて、ブロックＢｂ１のＲＤコストを補正する。
【００２４】
例えば、評価値補正部１１２は、複雑度が所定の第１閾値以上のブロックＢｃを複雑なブロックＢｃとして特定し、複雑度が所定の第２閾値以下のブロックＢｃを平坦なブロックＢｃとして特定する。第２閾値は、第１閾値より小さい値である。そして、評価値補正部１１２は、ブロックＢｂ１内に複雑なブロックＢｃと平坦なブロックＢｃとが混在する場合、ブロックＢｂ１におけるブロックＢｃ１、Ｂｃ２、Ｂｃ３、Ｂｃ４の各々の複雑度に偏りがあると判定する。この場合、評価値補正部１１２は、ブロックＢｂ１のＲＤコストを小さくする補正を実行する。例えば、評価値補正部１１２は、ブロックＢｂ１内に混在する複雑なブロックＢｃと平坦なブロックＢｃのうちの平坦なブロックＢｃの数が多くなるほど、ブロックＢｂ１のＲＤコストの補正による減少量を大きくする。
【００２５】
なお、評価値補正部１１２は、ブロックＢｂ１内に複雑なブロックＢｃと平坦なブロックＢｃとが混在していない場合、ブロックＢｂ１のＲＤコストを補正しない。ブロックＢｂ２、Ｂｂ３、Ｂｂ４の各々のＲＤコストも、ブロックＢｂ１のＲＤコストの補正方法と同様な方法で補正される。評価値補正部１１２は、ブロックＢｂ２、Ｂｂ３、Ｂｂ４の各々の補正後のＲＤコストを用いて、ブロックＢａ１の分割ＲＤコストを再計算する。これにより、ブロックＢａ１の分割ＲＤコストが補正される。
【００２６】
分割決定部１１４は、判定対象のブロックＢａ１の分割ＲＤコストが補正された場合、評価値補正部１１２により補正された分割ＲＤコストと評価値算出部１１０により算出された非分割ＲＤコストとを比較する。そして、分割決定部１１４は、判定対象のブロックＢａ１の補正後の分割ＲＤコストと非分割ＲＤコストとの比較結果に基づいて、判定対象のブロックＢａ１を４つのブロックＢｂに分割するか否かを決定する。また、分割決定部１１４は、判定対象のブロックＢａ１の分割ＲＤコストが補正されない場合、評価値算出部１１０により算出された分割ＲＤコストと評価値算出部１１０により算出された非分割ＲＤコストとを比較する。そして、分割決定部１１４は、判定対象のブロックＢａ１の分割ＲＤコスト（補正していない分割ＲＤコスト）と非分割ＲＤコストとの比較結果に基づいて、判定対象のブロックＢａ１を４つのブロックＢｂに分割するか否かを決定する。
【００２７】
例えば、分割決定部１１４は、ブロックＢａ１の非分割ＲＤコストがブロックＢａ１の分割ＲＤコスト以下の場合、ブロックＢａ１を分割しないと判定し、符号化する場合のブロックＢのサイズをブロックＢａ１のサイズに決定する。これにより、判定対象のブロックＢａ１に対するブロックＢのサイズを決定する処理は、終了する。この場合、ブロックＢｄ等のＲＤコストを算出する必要がないため、ブロックＢのサイズ毎に各ブロックＢのＲＤコストを算出する場合に比べて、計算量を削減することができる。
【００２８】
また、例えば、分割決定部１１４は、ブロックＢａ１の分割ＲＤコストがブロックＢａ１の非分割ＲＤコストより小さい場合、ブロックＢａ１を４つのブロックＢｂ１、Ｂｂ２、Ｂｂ３、Ｂｂ４に分割すると判定する。この場合、評価値算出部１１０、評価値補正部１１２および分割決定部１１４は、ブロックＢｂ１、Ｂｂ２、Ｂｂ３、Ｂｂ４の各々を判定対象のブロックＢとして、ブロックＢａ１を分割するか否かを判定した処理と同様な処理を実行する。これにより、ブロックＢｂ１、Ｂｂ２、Ｂｂ３、Ｂｂ４の各々を分割するか否かが判定される。
【００２９】
例えば、ブロックＢｂ１を判定対象のブロックＢとした場合、ブロックＢｂ１を４つのブロックＢｃ１、Ｂｃ２、Ｂｃ３、Ｂｃ４に分割するか否かが判定される。ブロックＢｂ１を判定対象のブロックＢとした場合、ブロックＢｃは、第１ブロックの一例であり、ブロックＢｄは、第２ブロックの一例である。動画像符号化装置１０は、ブロックＢｂ１を４つのブロックＢｃ１、Ｂｃ２、Ｂｃ３、Ｂｃ４に分割すると判定した場合、４つのブロックＢｃの各々を４つのブロックＢｄ（Ｂｄ１、Ｂｄ２、Ｂｄ３、Ｂｄ４）にさらに分割するか否かを判定する。
【００３０】
これにより、ブロックＢａ１を符号化する場合のブロックＢのサイズが決定される。動画像符号化装置１０は、フレームＦＲＭ内の全てのブロックＢａに関して、ブロックＢａ１を分割するか否かを判定した処理と同様な処理を実行することにより、フレームＦＲＭを符号化する場合のブロックＢのサイズを決定する。
【００３１】
なお、動画像符号化装置１０の構成および動作は、図１に示す例に限定されない。例えば、動画像符号化装置１０は、先ず、ブロックＢｂを４つのブロックＢｃに分割するか否かを判定してもよい。そして、動画像符号化装置１０は、ブロックＢｂの分割ＲＤコストの算出に用いたブロックＢｃのＲＤコストの補正の有無に基づいて、ブロックＢｃを４つのブロックＢｄに分割するか否かを判定してもよい。これにより、ブロックＢｃを符号化する場合のブロックＢのサイズおよびブロックＢｂを符号化する場合のブロックＢのサイズが決定される。その後、ブロックＢａを４つのブロックＢｂに分割するか否かが判定されてもよい。この場合、ブロックＢｂを分割するか否かは既に決定されているため、動画像符号化装置１０は、ブロックＢｂのＲＤコストを用いて算出したブロックＢａのＲＤコストを補正する処理を省略できる。
【００３２】
また、評価値補正部１１２は、複数の第２ブロックの各々の複雑度を符号化対象の画像を縮小した画像から算出してもよい。
【００３３】
図２は、図１に示した動画像符号化装置１０の動作の一例を示す。図２に示す動作は、動画像符号化方法および動画像符号化プログラムの一態様である。なお、図２は、動画像のフレームＦＲＭを複数のブロックＢに分割して符号化する場合のブロックＢのサイズを選択する処理を示す。判定対象のブロックＢは、ブロックＢを分割するか否かが判定されるブロックＢである。
【００３４】
ステップＳ１０では、評価値算出部１１０は、判定対象のブロックＢを分割しない場合のＲＤコスト（分割ＲＤコスト）を算出する。
【００３５】
次に、ステップＳ２０では、評価値算出部１１０は、判定対象のブロックＢを複数の第１ブロックＢに分割する場合のＲＤコスト（非分割ＲＤコスト）を算出する。
【００３６】
次に、ステップＳ３０では、評価値補正部１１２は、第１ブロックＢをさらに分割した第２ブロックＢの複雑度を算出する。
【００３７】
次に、ステップＳ４０では、評価値補正部１１２は、判定対象のブロックＢの分割ＲＤコストを、各第１ブロックＢにおける第２ブロックＢの複雑度の偏りに基づいて補正する。これにより、判定対象のブロックＢの分割ＲＤコストの精度を補正前に比べて向上させることができ、ステップＳ５０において、判定対象のブロックＢを分割するか否かの判定を適切に実行することができる。
【００３８】
次に、ステップＳ５０では、分割決定部１１４は、判定対象のブロックＢの分割ＲＤコストと非分割ＲＤコストとを比較し、比較結果に基づいて、判定対象のブロックＢを分割するか否かを決定する。なお、判定対象のブロックＢの非分割ＲＤコストと比較される分割ＲＤコストは、例えば、評価値補正部１１２により補正された場合、補正後の分割ＲＤコストである。
【００３９】
このように、ステップＳ１０からステップＳ５０までの一連の処理により、判定対象のブロックＢを分割するか否かが決定される。動画像符号化装置１０は、判定対象のブロックＢを分割するか否かを決定した後、次の判定対象のブロックＢに対して、ステップＳ１０からステップＳ５０までの一連の処理を実行する。
【００４０】
なお、ステップＳ１０、Ｓ２０の一連の処理は、判定対象のブロックＢの第１評価値（分割ＲＤコスト）および第２評価値（非分割ＲＤコスト）をそれぞれ算出する評価値算出処理の一例である。また、ステップＳ３０、Ｓ４０の一連の処理は、判定対象のブロックＢの第１評価値を補正する評価値補正処理の一例であり、ステップＳ５０の処理は、判定対象のブロックＢを複数の第１ブロックＢに分割するか否かを決定する分割決定処理の一例である。
【００４１】
動画像符号化装置１０の動作は、図２に示す例に限定されない。例えば、判定対象のブロックＢを分割しない場合のＲＤコストの算出は、ステップＳ２０の後に実行されてもよいし、ステップＳ４０の後に実行されてもよい。
【００４２】
以上、図１および図２に示す実施形態では、動画像を符号化する場合において、ブロックＢのサイズを適切に選択することができる。また、符号化の単位となるブロックＢのサイズを決定するための計算量の増加を抑制できる。例えば、動画像符号化装置１０は、判定対象のブロックＢを複数の第１ブロックＢに分割する場合のＲＤコスト（分割ＲＤコスト）を、第１ブロックＢをさらに分割した第２ブロックＢの複雑度の偏りに基づいて補正する。これにより、判定対象のブロックＢの分割ＲＤコストの精度を補正前に比べて向上させることができる。この結果、判定対象のブロックＢの分割ＲＤコストと非分割ＲＤコスト（判定対象のブロックＢを分割しない場合のＲＤコスト）との比較を精度よく実行することができ、判定対象のブロックＢを分割するか否かの判定を適切に実行することができる。したがって、動画像を符号化する場合のブロックＢのサイズを適切に選択することができる。動画像を符号化する場合のブロックＢのサイズを適切に選択することにより、動画像の圧縮率を向上させることができる。
【００４３】
図３は、動画像符号化装置、動画像符号化方法および動画像符号化プログラムの別の実施形態を示す。図１から図２で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図３に示す動画像符号化装置１２は、Ｈ．２６４、ＨＥＶＣ等の符号化の規格に準拠した動画像符号化方法で動画像を符号化する。例えば、動画像符号化装置１２は、図１に示した動画像符号化装置１０と同様に、動画像のフレームＦＲＭを複数のブロックＢに分割し、分割したブロックＢ毎に動画像を符号化する。以下では、動画像を符号化する場合のブロックＢのサイズ（符号化の単位となるブロックのサイズ）が８×８画素、１６×１６画素、３２×３２画素、６４×６４画素の４階層から選択される場合を例にして、動画像符号化装置１２の動作を説明する。また、以下では、６４×６４画素のブロックＢは、ブロックＢａとも称され、３２×３２画素のブロックＢは、ブロックＢｂとも称され、１６×１６画素のブロックＢは、ブロックＢｃとも称され、８×８画素のブロックＢは、ブロックＢｄとも称される。
【００４４】
動画像符号化装置１２は、例えば、プロセッサ１０２、入力インタフェース２００、メモリ３００、局所復号画像メモリ３０２および縮小画像メモリ３０４を有する。プロセッサ１０２、入力インタフェース２００およびメモリ３００は、バス４００に接続される。例えば、プロセッサ１０２は、メモリ３００に格納される動画像符号化プログラムを実行し、動画像符号化装置１２の動作を制御する。
【００４５】
プロセッサ１０２は、例えば、フレーム分割部１２０、画面内予測部１２２、１３２、画面間予測部１２４、１３４、画像縮小部１３０、縮小画像ブロック分割部１４０およびブロック分割部１６０を有する。さらに、プロセッサ１０２は、直交変換部１８０、量子化部１８２、可変長符号化部１８４、符号化制御部１８６、逆量子化部１８８、逆直交変換部１９０、加算部１９２およびフィルタ部１９４を有する。例えば、プロセッサ１０２が有するフレーム分割部１２０等の図３に示す各機能は、プロセッサ１０２がメモリ３００に格納される動画像符号化プログラムを実行することにより、実現される。なお、フレーム分割部１２０等の図３に示す各機能は、ハードウェアのみで実現されてもよい。
【００４６】
プロセッサ１０２は、動画像のうちの符号化対象の画像ＩＩＭＧ（以下、原画像ＩＩＭＧとも称する）を、入力インタフェース２００を介して受ける。なお、プロセッサ１０２は、メモリ３００または図示しないハードディスクに動画像が格納された後、動画像のうちの符号化対象の画像ＩＩＭＧをメモリ３００またはハードディスクから受けてもよい。プロセッサ１０２が受けた画像ＩＩＭＧは、フレーム分割部１２０、画像縮小部１３０等により処理される。
【００４７】
例えば、フレーム分割部１２０は、符号化対象の画像ＩＩＭＧのフレームＦＲＭを６４×６４画素のブロックＢａ（最大のサイズのブロックＢａ）に分割する。そして、フレーム分割部１２０は、ブロックＢａを画面内予測部１２２、画面間予測部１２４およびブロック分割部１６０に出力する。
【００４８】
画面内予測部１２２は、フレーム分割部１２０から受ける画像ＩＩＭＧのブロックＢａと局所復号画像メモリ３０２から受ける復号画像とに基づいて画面内予測を実行し、画面内予測により生成した予測画像ブロックＰＢＬＡをブロック分割部１６０に出力する。なお、局所復号画像メモリ３０２には、ブロック分割部１６０、直交変換部１８０および量子化部１８２等により符号化された画像を復号した局所的な復号画像が格納される。
【００４９】
画面間予測部１２４は、フレーム分割部１２０から受ける画像ＩＩＭＧのブロックＢａと局所復号画像メモリ３０２から受ける復号画像とに基づいて画面間予測を実行し、画面間予測により生成した予測画像ブロックＰＢＬＢをブロック分割部１６０に出力する。
【００５０】
また、画像縮小部１３０は、符号化対象の画像ＩＩＭＧを縮小して縮小画像ＲＩＭＧを生成し、生成した縮小画像ＲＩＭＧを判定対象の画像として縮小画像ブロック分割部１４０に縮小画像メモリ３０４を介して転送する。例えば、画像縮小部１３０は、符号化対象の画像ＩＩＭＧの縮小画像ＲＩＭＧを縮小画像メモリ３０４に格納する。縮小画像メモリ３０４は、縮小画像ＲＩＭＧの符号化単位となるブロックＲＢＬを縮小画像ブロック分割部１４０、画面内予測部１３２および画面間予測部１３４に出力する。以下では、縮小画像ＲＩＭＧが画像ＩＩＭＧを４分の１に縮小した縮小画像である場合を例にして、動画像符号化装置１２の動作を説明する。
【００５１】
画面内予測部１３２および画面間予測部１３４は、処理対象が画像ＩＩＭＧのブロックＢａから縮小画像ＲＩＭＧのブロックＲＢＬに代わることを除いて、画面内予測部１２２および画面間予測部１２４と同一または同様である。例えば、画面内予測部１３２は、縮小画像ＲＩＭＧのブロックＲＢＬ等に基づいて画面内予測を実行し、画面内予測により生成した予測画像ブロックＲＰＢＬＡ（縮小画像ＲＩＭＧの予測画像ブロックＲＰＢＬＡ）を縮小画像ブロック分割部１４０に出力する。また、画面間予測部１３４は、縮小画像ＲＩＭＧのブロックＲＢＬ等に基づいて画面間予測を実行し、画面間予測により生成した予測画像ブロックＲＰＢＬＢ（縮小画像ＲＩＭＧの予測画像ブロックＲＰＢＬＢ）を縮小画像ブロック分割部１４０に出力する。
【００５２】
縮小画像ブロック分割部１４０は、縮小画像ＲＩＭＧのブロックＲＢＬを符号化する場合にブロックＲＢＬをどのように分割するかあるいは分割しないかを、縮小画像ＲＩＭＧのブロックＲＢＬ、予測画像ブロックＲＰＢＬＡ、ＲＰＢＬＢを用いて決定する。すなわち、縮小画像ブロック分割部１４０は、縮小画像ＲＩＭＧのブロックＲＢＬを符号化する場合のブロックＢのサイズを決定する。そして、縮小画像ブロック分割部１４０は、縮小画像ＲＩＭＧのブロックＲＢＬを符号化する場合のブロックＢのサイズを示す縮小画像ブロック情報ＲＢＬＩＮＦを、ブロック分割部１６０に出力する。なお、縮小画像ブロック分割部１４０の詳細は、図４で説明する。
【００５３】
ブロック分割部１６０は、縮小画像ブロック情報ＲＢＬＩＮＦ、符号化対象の画像ＩＩＭＧのブロックＢａ、予測画像ブロックＰＢＬＡ、ＰＢＬＢに基づいて、画像ＩＩＭＧを分割する。そして、ブロック分割部１６０は、分割したブロックＢ毎に、予測モード等を決定して予測誤差ブロックＰＥＢＬを生成し、予測誤差ブロックＰＥＢＬを直交変換部１８０に出力する。予測誤差ブロックＰＥＢＬは、予測画像ブロックＰＢＬＡ、ＰＢＬＢのいずれかである予測ブロックＰＢＬと画像ＩＩＭＧのブロックＢとの差分である。予測誤差ブロックＰＥＢＬの生成に用いられた予測ブロックＰＢＬは、加算部１９２に転送される。なお、ブロック分割部１６０の詳細は、図４で説明する。
【００５４】
直交変換部１８０は、予測誤差ブロックＰＥＢＬを周波数変換して量子化部１８２に出力する。量子化部１８２は、直交変換部１８０から受けるデータ（周波数変換係数）を、符号化制御部１８６により決定される量子化値に基づく量子化幅で量子化する。そして、量子化部１８２は、直交変換部１８０から受けるデータ（周波数変換係数）の量子化により得られる量子化変換係数を、可変長符号化部１８４および逆量子化部１８８に出力する。
【００５５】
可変長符号化部１８４は、量子化部１８２から受けるデータ（量子化変換係数）を可変長符号化して符号化ストリームを生成し、符号化ストリームをプロセッサ１０２の外部に出力する。また、可変長符号化部１８４は、符号化ストリームの符号量（データ量）を示す情報等を符号化制御部１８６に出力する。
【００５６】
符号化制御部１８６は、符号化ストリーム等のデータを転送する通信路の転送レート等の転送条件、符号化ストリームの符号量（データ量）等に基づいて、量子化値を決定する。
【００５７】
逆量子化部１８８は、量子化部１８２から受けるデータ（量子化変換係数）を逆量子化し、逆量子化変換係数を逆直交変換部１９０に出力する。逆直交変換部１９０は、逆量子化部１８８から受けるデータ（逆量子化変換係数）を逆直交変換して、予測誤差ブロックを生成する。加算部１９２は、逆直交変換部１９０から受ける予測誤差ブロックとブロック分割部１６０から受ける予測ブロックＰＢＬとを加算して、局所的な復号画像ブロックを生成する。そして、加算部１９２は、局所的な復号画像ブロックを、フィルタ部１９４および局所復号画像メモリ３０２に出力する。
【００５８】
フィルタ部１９４は、例えば、加算部１９２から受ける局所的な復号画像ブロックに対してデブロッキングフィルタ処理を実行して、局所的な復号画像ブロックを生成する。そして、フィルタ部１９４は、局所的な復号画像ブロックを局所復号画像メモリ３０２に格納する。
【００５９】
なお、動画像符号化装置１２の構成は、図３に示す例に限定されない。例えば、メモリ３００の記憶領域の一部が、局所復号画像メモリ３０２および縮小画像メモリ３０４として使用されてもよい。
【００６０】
図４は、図３に示した縮小画像ブロック分割部１４０およびブロック分割部１６０の一例を示す。
【００６１】
縮小画像ブロック分割部１４０は、縮小画像評価値算出部１４２、複雑度算出部１４４、絵柄判定部１４６、補正判定部１４８、縮小画像評価値補正部１５０および縮小画像分割決定部１５２を有する。
【００６２】
縮小画像評価値算出部１４２は、評価値算出部の一例であり、判定対象の画像が縮小画像ＲＩＭＧであることを除いて、図１に示した評価値算出部１１０と同一または同様である。例えば、縮小画像評価値算出部１４２は、縮小画像ＲＩＭＧのブロックＲＢＬ、予測画像ブロックＲＰＢＬＡ、ＲＰＢＬＢを受ける。そして、縮小画像評価値算出部１４２は、ブロックＲＢＬにおける判定対象のブロックＢの分割ＲＤコストおよび非分割ＲＤコストをそれぞれ算出する。判定対象のブロックＢの分割ＲＤコストおよび非分割ＲＤコストの各々は、画面内予測で符号化する場合と画面間予測で符号化する場合についてそれぞれ算出される。
【００６３】
例えば、ブロックＲＢＬは、３２×３２画素のブロックである。この場合、判定対象のブロックＢは、ブロックＲＢＬを４つに分割した１６×１６画素のブロックＢと、ブロックＲＢＬ（３２×３２画素のブロックＢ）とのうち、サイズの小さいブロックＢから順に選択される。例えば、縮小画像評価値算出部１４２は、先ず、ブロックＲＢＬを４つに分割した１６×１６画素のブロックＢを判定対象のブロックＢとして選択し、１６×１６画素のブロックＢの分割ＲＤコストおよび非分割ＲＤコストをそれぞれ算出する。例えば、１６×１６画素のブロックＢの非分割ＲＤコスト（ＲＤnondiv16）および分割ＲＤコスト（ＲＤdiv16）は、ラグランジュ乗数λを用いて、式（１）および式（２）でそれぞれ表される。
【００６４】
ＲＤnondiv16＝Ｄnodiv16＋λ×Ｒnondiv16  ・・・（１）
ＲＤdiv16＝ΣＲＤnondiv8［ｉ］＋λ×Ｒdiv16  ・・・（２）
なお、式（１）のＤnodiv16は、１６×１６画素のブロックＢを分割しない場合の符号化歪みＤを示し、Ｒnondiv16は、１６×１６画素のブロックＢを分割しない場合の符号化情報量Ｒを示す。符号化歪みＤは、図１で説明したように、予測誤差をアダマール変換等の周波数変換した後の係数（周波数変換係数）の絶対値和で表される。例えば、画面内予測では、符号化歪みＤは、ブロックＲＢＬと予測画像ブロックＲＰＢＬＡとの差分絶対値和（予測誤差）をアダマール変換した後の係数の絶対値和で表される。また、画面間予測では、符号化歪みＤは、ブロックＲＢＬと予測画像ブロックＲＰＢＬＢとの差分絶対値和（予測誤差）をアダマール変換した後の係数の絶対値和で表される。
【００６５】
また、式（２）のＲＤnondiv8［ｉ］は、１６×１６画素のブロックＢを８×８画素の４つのブロックＢに分割した場合の８×８画素の各ブロックＢのＲＤコストを示し、Ｒdiv16は、１６×１６画素のブロックＢを分割した場合の符号化情報量Ｒを示す。したがって、式（２）のｉ（以下、識別子ｉとも称する）は、１から４までの整数である。各ＲＤnondiv8［ｉ］は、式（３）で表される。
【００６６】
ＲＤnondiv8［ｉ］＝Ｄnodiv8［ｉ］＋λ×Ｒnondiv8［ｉ］  ・・・（３）
式（３）のＤnodiv8［ｉ］は、識別子ｉで示される８×８画素のブロックＢを分割しない場合の符号化歪みＤを示し、Ｒnondiv8［ｉ］は、識別子ｉで示される８×８画素のブロックＢを分割しない場合の符号化情報量Ｒを示す。
【００６７】
また、縮小画像評価値算出部１４２は、１６×１６画素のブロックＢを分割するか否かが決定された後、３２×３２画素のブロックＢ、すなわち、ブロックＲＢＬを、判定対象のブロックＢとして選択する。そして、縮小画像評価値算出部１４２は、判定対象のブロックＢ（３２×３２画素のブロックＢ）の分割ＲＤコストおよび非分割ＲＤコストをそれぞれ算出する。例えば、３２×３２画素のブロックＢの非分割ＲＤコスト（ＲＤnondiv32）および分割ＲＤコスト（ＲＤdiv32）は、ラグランジュ乗数λを用いて、式（４）および式（５）でそれぞれ表される。
【００６８】
ＲＤnondiv32＝Ｄnodiv32＋λ×Ｒnondiv32  ・・・（４）
ＲＤdiv32＝ΣＲＤnondiv16［ｉ］＋λ×Ｒdiv32  ・・・（５）
なお、式（４）のＤnodiv32は、３２×３２画素のブロックＢを分割しない場合の符号化歪みＤを示し、Ｒnondiv32は、３２×３２画素のブロックＢを分割しない場合の符号化情報量Ｒを示す。また、式（５）のＲＤnondiv16［ｉ］は、３２×３２画素のブロックＢを１６×１６画素の４つのブロックＢに分割した場合の１６×１６画素の各ブロックＢのＲＤコストを示し、Ｒdiv32は、３２×３２画素のブロックＢを分割した場合の符号化情報量Ｒを示す。したがって、式（５）のｉは、１から４までの整数である。各ＲＤnondiv16［ｉ］として、１６×１６画素のブロックＢを分割すると決定されたブロックＢでは、分割ＲＤコストが用いられ、１６×１６画素のブロックＢを分割しないと決定されたブロックＢでは、非分割ＲＤコストが用いられる。
【００６９】
縮小画像評価値算出部１４２により算出された分割ＲＤコストおよび非分割ＲＤコストは、縮小画像評価値補正部１５０に転送される。また、縮小画像評価値算出部１４２は、ＲＤコストの算出、より詳細には、符号化歪みＤを算出する段階で生成した予測誤差画像ＲＰＥＢＬを、複雑度算出部１４４に転送する。
【００７０】
複雑度算出部１４４は、判定対象のブロックＢを４つに分割した第１ブロックＢの各々をさらに４つに分割した第２ブロックＢの各々の複雑度を、予測誤差画像ＲＰＥＢＬに基づいて算出する。例えば、判定対象のブロックＢのサイズが１６×１６画素の場合、複雑度算出部１４４は、１６×１６画素の予測誤差画像ＲＰＥＢＬを８×８画素の４つの第１ブロックＢに分割する。そして、複雑度算出部１４４は、８×８画素の４つの第１ブロックＢの各々をさらに４つに分割した４×４画素の第２ブロックＢの各々の複雑度を算出する。
【００７１】
各第２ブロックＢの複雑度（ＡＣＴ）は、例えば、各画素ｊの予測誤差ＰＥＶ［ｊ］と各第２ブロックＢの予測誤差の平均ＰＥＶaveとを用いて、式（６）で表される。また、予測誤差の平均ＰＥＶaveは、第２ブロックＢの画素数Ｎを用いて、式（７）で表される。なお、予測誤差の平均ＰＥＶaveは、８×８画素の第１ブロックＢの予測誤差の平均でもよく、１６×１６画素の判定対象のブロックＢの予測誤差の平均でもよい。
【００７２】
ＡＣＴ＝Σ｜ＰＥＶ［ｊ］−ＰＥＶave｜  ・・・（６）
ＰＥＶave＝（ΣＰＥＶ［ｊ］）／Ｎ  ・・・（７）
このように、複雑度算出部１４４は、複数の第２ブロックＢの各々の予測誤差のばらつきを複数の第２ブロックＢの各々の複雑度ＡＣＴとして算出する。
【００７３】
なお、複雑度算出部１４４は、複数の第２ブロックＢの各々の画素のばらつきを複数の第２ブロックＢの各々の複雑度ＡＣＴとして算出してもよい。この場合、複雑度算出部１４４は、予測誤差画像ＲＰＥＢＬの代わりにブロックＲＢＬを縮小画像評価値算出部１４２から受ける。また、式（６）のＰＥＶ［ｊ］は、第２ブロックＢの各画素ｊの画素値に読み替えられ、ＰＥＶaveは、第２ブロックＢの画素値の平均に読み替えられる。
【００７４】
絵柄判定部１４６は、各第２ブロックＢの複雑度ＡＣＴを示す情報を複雑度算出部１４４から受ける。そして、絵柄判定部１４６は、複雑度算出部１４４により算出された各第２ブロックＢの複雑度ＡＣＴを複雑判定閾値および平坦判定閾値のそれぞれと比較し、比較結果に基づいて、各第２ブロックＢが平坦か複雑かどちらでもないかを特定する。複雑判定閾値は、第１閾値の一例であり、平坦判定閾値は、第２閾値の一例である。なお、平坦判定閾値は、複雑判定閾値より小さい。
【００７５】
例えば、絵柄判定部１４６は、複雑度ＡＣＴが複雑判定閾値以上の第２ブロックＢを複雑なブロックＢとして特定し、複雑度ＡＣＴが平坦判定閾値以下の第２ブロックＢを平坦なブロックＢとして特定する。この場合、複雑度ＡＣＴが平坦判定閾値より大きく、複雑判定閾値未満の第２ブロックＢは、複雑でも平坦でもないブロックＢとして特定される。絵柄判定部１４６は、各第２ブロックＢが複雑なブロックＢか平坦なブロックＢかどちらでもないかを示す情報を、補正判定部１４８に出力する。ここで、複雑判定閾値および平坦判定閾値は、例えば、図６に示すように、量子化値が大きくなるほど大きくなる。なお、複雑判定閾値および平坦判定閾値は、固定値でもよい。
【００７６】
補正判定部１４８は、各第１ブロックＢ内に複雑な第２ブロックＢと平坦な第２ブロックＢとが混在する場合、各第１ブロックＢにおける複数の第２ブロックＢの複雑度ＡＣＴに偏りがあると判定する。複雑度ＡＣＴに偏りがある第２ブロックＢに対しては、縮小画像評価値補正部１５０により、ＲＤコストを小さくする補正が実行される。すなわち、補正判定部１４８は、複雑な第２ブロックＢと平坦な第２ブロックＢとがそれぞれ１つ以上存在する第１ブロックＢのＲＤコストを小さくすると判定する。
【００７７】
縮小画像評価値補正部１５０は、ＲＤコストを小さくすると補正判定部１４８で判定された第１ブロックＢに対して、ＲＤコストを小さくする補正を実行する。例えば、８×８画素の第１ブロックＢを分割した４×４画素の４つの第２ブロックＢのうち、平坦な第２ブロックＢの数をＭ（Ｍは、１以上３以下の整数）とすると、補正後のＲＤnondiv8は、式（８）で表される。
【００７８】
ＲＤnondiv8＝Ｄnodiv8×（１−α×Ｍ）＋λ×Ｒnondiv8  ・・・（８）
式（８）のαは、α×Ｍが１未満になる値に設定される。例えば、αは、１／４より小さい定数である。なお、αは、１／３よい小さい定数でもよい。
【００７９】
補正後の第２ブロックＢのＲＤコスト（式（８）のＲＤnondiv8）を用いて、式（２）を再計算することにより、１６×１６画素の第１ブロックＢの分割ＲＤコストが補正される。このように、縮小画像評価値補正部１５０は、複雑度ＡＣＴに偏りがある第２ブロックＢのＲＤコストを補正し、補正後の第２ブロックＢのＲＤコストを用いて式（２）を再計算することにより、１６×１６画素の第１ブロックＢの分割ＲＤコストを補正する。
【００８０】
このように、縮小画像評価値補正部１５０は、各第１ブロックＢ内に混在する複雑な第２ブロックＢと平坦な第２ブロックＢのうちの平坦な第２ブロックＢの数が多くなるほど、判定対象の第１ブロックＢの分割ＲＤコストの補正による減少量を大きくする。
【００８１】
複雑度算出部１４４、絵柄判定部１４６、補正判定部１４８および縮小画像評価値補正部１５０を含むモジュールは、評価値補正部の一例である。
【００８２】
縮小画像分割決定部１５２は、判定対象の画像が縮小画像ＲＩＭＧであることを除いて、図１に示した分割決定部１１４と同一または同様である。縮小画像分割決定部１５２は、分割決定部の一例である。縮小画像分割決定部１５２は、例えば、判定対象のブロックＢを画面内予測で符号化した場合の分割ＲＤコストと非分割ＲＤコスト、判定対象のブロックＢを画面間予測で符号化した場合の分割ＲＤコストと非分割ＲＤコストのうち、最小のＲＤコストを特定する。そして、縮小画像分割決定部１５２は、特定したＲＤコストに対応する予測モードおよびサイズを、判定対象のブロックＢの予測モードおよびサイズに決定する。
【００８３】
すなわち、縮小画像分割決定部１５２は、判定対象のブロックＢの分割ＲＤコストが非分割ＲＤコストより小さい場合、判定対象のブロックＢを複数の第１ブロックＢに分割すると決定する。また、縮小画像分割決定部１５２は、判定対象のブロックＢの分割ＲＤコストが非分割ＲＤコストより大きい場合、あるいは、判定対象のブロックＢの分割ＲＤコストが非分割ＲＤコストと同じ場合、判定対象のブロックＢを分割しないと決定する。なお、縮小画像分割決定部１５２は、判定対象のブロックＢの分割ＲＤコストが非分割ＲＤコストと同じ場合、判定対象のブロックＢを複数の第１ブロックＢに分割すると決定してもよい。
【００８４】
なお、１６×１６画素のブロックＢを分割するか否かの決定は、３２×３２画素のブロックＢの分割ＲＤコストの算出に用いる１６×１６画素のブロックＢのＲＤコストに反映される。
【００８５】
縮小画像ブロック分割部１４０は、１６×１６画素のブロックＢを分割するか否かの決定、３２×３２画素のブロックＢを分割するか否かの決定を、１６×１６画素のブロックＢから順に実行することにより、ブロックＲＢＬをどのように分割するかを決定する。これにより、縮小画像ＲＩＭＧのブロックＲＢＬを符号化する場合のブロックＢのサイズが決定される。縮小画像分割決定部１５２は、縮小画像ＲＩＭＧのブロックＲＢＬを符号化する場合のブロックＢのサイズを示す縮小画像ブロック情報ＲＢＬＩＮＦを、ブロック分割部１６０に出力する。
【００８６】
ブロック分割部１６０は、縮小ブロック適用部１６２、原画像評価値算出部１６４、ブロック分割判定部１６６および予測誤差ブロック生成部１６８を有する。
【００８７】
縮小ブロック適用部１６２は、縮小画像ブロック分割部１４０から受ける縮小画像ブロック情報ＲＢＬＩＮＦが示すブロックＢのサイズに基づいて、符号化対象の画像ＩＩＭＧのブロックＢａを分割する。例えば、縮小画像ブロック情報ＲＢＬＩＮＦにより、縮小画像ＲＩＭＧのブロックＲＢＬがどのように分割されるかが特定される。したがって、縮小ブロック適用部１６２は、縮小画像ブロック情報ＲＢＬＩＮＦに基づいて分割されたブロックＲＢＬを４倍（縮小画像ＲＩＭＧを元の画像ＩＩＭＧに戻す場合の拡大率）することにより、ブロックＢａをどのように分割するかを特定できる。
【００８８】
原画像評価値算出部１６４は、縮小ブロック適用部１６２により分割されたブロックＢａ、予測画像ブロックＰＢＬＡ、ＰＢＬＢを受ける。そして、原画像評価値算出部１６４は、縮小ブロック適用部１６２により分割されたブロックＢａの各ブロックＢの分割ＲＤコストおよび非分割ＲＤコストをそれぞれ算出する。分割ＲＤコストおよび非分割ＲＤコストの算出方法は、縮小画像評価値算出部１４２による分割ＲＤコストおよび非分割ＲＤコストの算出方法と同一または同様である。なお、ブロック分割部１６０では、分割ＲＤコストの補正は、実行されない。
【００８９】
ブロック分割判定部１６６は、縮小画像分割決定部１５２と同様に、原画像評価値算出部１６４により算出されたＲＤコストを比較して、ブロックＢａのＲＤコストが最も小さくなるブロックＢのサイズ（どのように分割するか）および予測モードを決定する。
【００９０】
予測誤差ブロック生成部１６８は、ブロック分割判定部１６６により決定されたブロックＢ毎に、予測誤差ブロックＰＥＢＬを生成する。そして、予測誤差ブロック生成部１６８は、生成した予測誤差ブロックＰＥＢＬを直交変換部１８０に出力する。また、予測誤差ブロック生成部１６８は、ブロック分割判定部１６６により決定されたブロックＢ毎に、予測誤差ブロックＰＥＢＬの生成に用いた予測ブロックＰＢＬを、加算部１９２に出力する。
【００９１】
なお、縮小画像ブロック分割部１４０およびブロック分割部１６０の構成は、図４に示す例に限定されない。例えば、複雑度算出部１４４は、複数の第２ブロックＢの各々の予測誤差の分散を、複数の第２ブロックの各々の複雑度ＡＣＴとして算出してもよいし、複数の第２ブロックの各々の画素値の分散を、複数の第２ブロックの各々の複雑度ＡＣＴとして算出してもよい。また、例えば、絵柄判定部１４６は、複雑度ＡＣＴが所定の第１閾値以上の第２ブロックＢを複雑なブロックＢとして特定し、複雑度ＡＣＴが第１閾値未満の第２ブロックＢを平坦なブロックＢとして特定してもよい。
【００９２】
また、ブロック分割部１６０は、縮小画像ブロック分割部１４０の複雑度算出部１４４、絵柄判定部１４６、補正判定部１４８および縮小画像評価値補正部１５０と同様な複雑度算出部、絵柄判定部、補正判定部および評価値補正部を有してもよい。この場合、縮小ブロック適用部１６２により分割されたブロックＢａの各ブロックＢは、第３ブロックの一例である。例えば、ブロック分割部１６０は、処理対象のブロックＢａを分割した複数の第３ブロックＢの各々を複数の第４ブロックＢにさらに分割し、複数の第４ブロックＢの各々の複雑度ＡＣＴを算出する。そして、ブロック分割部１６０は、各第３ブロックＢにおける複数の第４ブロックＢの複雑度ＡＣＴの偏りに基づいて、処理対象のブロックＢａの分割ＲＤコストを補正する。この場合、処理対象のブロックＢａの分割ＲＤコストは、第３評価値の一例であり、処理対象のブロックＢａの非分割ＲＤコストは、第４評価値の一例である。例えば、ブロック分割部１６０は、処理対象のブロックＢａの補正後の分割ＲＤコストと処理対象のブロックＢａの非分割ＲＤコストとの比較結果に基づいて、処理対象のブロックＢａを複数の第３ブロックＢに分割するか否かを決定する。
【００９３】
図５は、図３に示したフレーム分割部１２０の動作の概要を示す。図５に示す最大符号化単位は、符号化の規格で決められた複数のサイズのうちの最大のサイズのブロックＢである。フレーム分割部１２０は、符号化対象の画像ＩＩＭＧのフレームＦＲＭを６４×６４画素のブロックＢａ（最大符号化単位）に分割する。なお、図５では、図を見やすくするために、ブロックＢａのうちの一部のブロックＢａの符号（Ｂａ）の記載を省略している。
【００９４】
図６は、複雑判定閾値ＣＴＨおよび平坦判定閾値ＦＴＨの一例を示す。絵柄判定部１４６は、画像を符号化する場合の量子化値が大きくなるほど複雑判定閾値ＣＴＨおよび平坦判定閾値ＦＴＨを大きくする。例えば、方法１では、絵柄判定部１４６は、複雑判定閾値ＣＴＨおよび平坦判定閾値ＦＴＨを量子化値に比例して変化させる。また、方法２では、絵柄判定部１４６は、量子化値が大きくなるに従い、複雑判定閾値ＣＴＨおよび平坦判定閾値ＦＴＨを段階的に大きくする。
【００９５】
図７は、縮小画像ＲＩＭＧの１６×１６画素のブロックＢｃに対する分割判定の一例を示す。図７に示すかぎ括弧内には、複雑度ＡＣＴに偏りがある場合に予測誤差を周波数変換した後の周波数変換係数がどのように分散するかの一例を示す。例えば、８×８画素のブロックＢｄ内の左下の領域に複雑な予測誤差が偏って存在し、下位階層の分割（４×４画素のブロックＢｅに分割）を考慮しない場合、予測誤差を周波数変換した後の周波数変換係数は、ブロックＢｄ全体に分散する。この場合、ＲＤコストは、下位階層の分割を考慮する場合に比べて、大きめに算出される。例えば、下位階層の分割（４×４画素のブロックＢｅに分割）を考慮する場合、予測誤差を周波数変換した後の周波数変換係数は、ブロックＢｄの一部（例えば、左下のブロックＢｅ）のみに存在する。これにより、ＲＤコストは、下位階層の分割を考慮しない場合に比べて、正確に算出される。
【００９６】
このため、縮小画像ブロック分割部１４０は、縮小画像ＲＩＭＧの１６×１６画素のブロックＢｃを分割するか否かを判定する分割判定において、図４で説明したように、複雑度ＡＣＴに偏りがある場合、ブロックＢｃの分割ＲＤコストを補正する。例えば、縮小画像ＲＩＭＧの１６×１６画素のブロックＢｃを分割した８×８画素の４つのブロックＢｄの各々をさらに分割した４×４画素の４つのブロックＢｅの複雑度ＡＣＴを算出することにより、各ブロックＢｄで複雑度ＡＣＴに偏りがあるかが判定される。
【００９７】
８×８画素のブロックＢｄ内の４つのブロックＢｅのうちのいずれかが複雑なブロックＢｅで、残りのいずれかが平坦なブロックＢｅである場合、複雑度ＡＣＴに偏りがあると判定され、８×８画素のブロックＢｄのＲＤコストが補正される。これにより、１６×１６画素のブロックＢｃの分割ＲＤコストが補正される。一方、８×８画素のブロックＢｄ内の４つのブロックＢｅの全てが複雑なブロックＢｅまたは平坦なブロックＢｅである場合、複雑度ＡＣＴに偏りはないと判定され、８×８画素のブロックＢｄのＲＤコストは補正されない。このため、１６×１６画素のブロックＢｃの分割ＲＤコストも補正されない。なお、８×８画素のブロックＢｄ内の４つのブロックＢｅの全てが複雑でも平坦でもない場合も、複雑度ＡＣＴに偏りはないと判定され、８×８画素のブロックＢｄのＲＤコストは補正されない。
【００９８】
図８は、図３に示したブロック分割部１６０の動作の概要を示す。縮小画像ブロック情報ＲＢＬＩＮＦが示すブロックＢのサイズ（縮小画像ＲＩＭＧのブロックサイズ）が８×８画素である場合、縮小画像ＲＩＭＧにおける８×８画素のブロックＢは、縮小前の原画像ＩＩＭＧに換算すると、１６×１６画素のブロックＢに対応する。したがって、縮小画像ＲＩＭＧのブロックサイズが８×８画素の場合、ブロック分割部１６０は、１６×１６画素の分割判定対象のブロックＢを分割するか否かを判定する。１６×１６画素のブロックＢの分割ＲＤコストが１６×１６画素のブロックＢの非分割ＲＤコストより小さい場合、ブロック分割部１６０は、１６×１６画素のブロックＢを８×８画素のブロックＢに分割すると決定する。すなわち、原画像ＩＩＭＧの分割判定対象のブロックＢを符号化する場合のブロックサイズは、８×８画素に決定される。また、１６×１６画素のブロックＢの分割ＲＤコストが１６×１６画素のブロックＢの非分割ＲＤコスト以上の場合、ブロック分割部１６０は、１６×１６画素のブロックＢを分割しないと決定する。すなわち、原画像ＩＩＭＧの分割判定対象のブロックＢを符号化する場合のブロックサイズは、１６×１６画素に決定される。
【００９９】
縮小画像ＲＩＭＧのブロックサイズが１６×１６画素の場合、ブロック分割部１６０は、３２×３２画素の分割判定対象のブロックＢを分割するか否かを判定する。３２×３２画素のブロックＢの分割ＲＤコストが３２×３２画素のブロックＢの非分割ＲＤコストより小さい場合、ブロック分割部１６０は、３２×３２画素のブロックＢを１６×１６画素のブロックＢに分割すると決定する。すなわち、原画像ＩＩＭＧの分割判定対象のブロックＢを符号化する場合のブロックサイズは、１６×１６画素に決定される。また、３２×３２画素のブロックＢの分割ＲＤコストが３２×３２画素のブロックＢの非分割ＲＤコスト以上の場合、ブロック分割部１６０は、３２×３２画素のブロックＢを分割しないと決定する。すなわち、原画像ＩＩＭＧの分割判定対象のブロックＢを符号化する場合のブロックサイズは、３２×３２画素に決定される。
【０１００】
縮小画像ＲＩＭＧのブロックサイズが３２×３２画素の場合、ブロック分割部１６０は、６４×６４画素の分割判定対象のブロックＢを分割するか否かを判定する。６４×６４画素のブロックＢの分割ＲＤコストが６４×６４画素のブロックＢの非分割ＲＤコストより小さい場合、ブロック分割部１６０は、６４×６４画素のブロックＢを３２×３２画素のブロックＢに分割すると決定する。すなわち、原画像ＩＩＭＧの分割判定対象のブロックＢを符号化する場合のブロックサイズは、３２×３２画素に決定される。また、６４×６４画素のブロックＢの分割ＲＤコストが６４×６４画素のブロックＢの非分割ＲＤコスト以上の場合、ブロック分割部１６０は、６４×６４画素のブロックＢを分割しないと決定する。すなわち、原画像ＩＩＭＧの分割判定対象のブロックＢを符号化する場合のブロックサイズは、６４×６４画素に決定される。
【０１０１】
図９は、図３に示した動画像符号化装置１２の動作の一例を示す。図９に示す動作は、動画像符号化方法および動画像符号化プログラムの一態様である。なお、図９は、動画像のフレームＦＲＭを複数のブロックＢに分割して符号化する場合のブロックＢのサイズを選択する処理を示す。ステップＳ１００からステップＳ２５０までの一連の処理は、縮小画像ＲＩＭＧに対する処理であり、画像縮小部１３０、縮小画像ブロック分割部１４０等により実行される。また、ステップＳ３００からステップＳ４６０までの一連の処理は、原画像ＩＩＭＧに対する処理であり、フレーム分割部１２０、ブロック分割部１６０等により実行される。
【０１０２】
ステップＳ１００では、画像縮小部１３０は、原画像ＩＩＭＧを縮小して縮小画像ＲＩＭＧを生成する。
【０１０３】
次に、ステップＳ１２０では、縮小画像ブロック分割部１４０は、縮小画像ＲＩＭＧのフレームＦＲＭを、最大のサイズ（６４×６４画素）より１階層下のサイズ（３２×３２画素）のブロックＢｂに分割する。
【０１０４】
次に、ステップＳ２００では、縮小画像ブロック分割部１４０は、縮小画像ＲＩＭＧのフレームＦＲＭを分割した複数のブロックＢｂ（３２×３２画素のブロックＢ）から、処理ブロックＢｂ（例えば、図３に示したブロックＲＢＬ）を選択する。
【０１０５】
次に、ステップＳ２２０では、縮小画像ブロック分割部１４０は、ステップＳ２００で選択した処理ブロックＢｂに対して、縮小ブロック分割判定処理を実行する。縮小ブロック分割判定処理により、図４で説明したように、ステップＳ２００で選択した処理ブロックＢｂをどのように分割するかあるいは分割しないかが決定される。なお、縮小ブロック分割判定処理の詳細は、図１０で説明する。縮小ブロック分割判定処理が実行された後、縮小画像ブロック分割部１４０の動作は、ステップＳ２５０に移る。
【０１０６】
ステップＳ２５０では、縮小画像ブロック分割部１４０は、縮小画像ＲＩＭＧのフレームＦＲＭ内に未処理のブロックＢｂが存在するか否かを判定する。すなわち、縮小画像ブロック分割部１４０は、縮小画像ＲＩＭＧのフレームＦＲＭを分割した３２×３２画素の複数のブロックＢｂの全てに対して、縮小ブロック分割判定処理が実行されたか否かを判定する。縮小画像ＲＩＭＧのフレームＦＲＭ内に未処理のブロックＢｂが存在する場合、すなわち、縮小ブロック分割判定処理が実行されていないブロックＢｂが存在する場合、縮小画像ブロック分割部１４０の動作は、ステップＳ２００に戻る。この場合、縮小画像ブロック分割部１４０は、ステップＳ２００において、未処理のブロックＢｂから処理ブロックＢｂを選択する。
【０１０７】
一方、縮小画像ＲＩＭＧのフレームＦＲＭ内に未処理のブロックＢｂが存在しない場合、縮小画像ブロック分割部１４０の動作は、ステップＳ３００に移る。すなわち、縮小画像ＲＩＭＧのフレームＦＲＭを分割した３２×３２画素の複数のブロックＢｂの全てに対して、縮小ブロック分割判定処理が実行された場合、縮小画像ブロック分割部１４０の動作は、ステップＳ３００に移る。
【０１０８】
ステップＳ３００では、フレーム分割部１２０は、図５で説明したように、原画像ＩＩＭＧのフレームＦＲＭを、最大のサイズ（６４×６４画素）のブロックＢａに分割する。
【０１０９】
次に、ステップＳ３２０では、ブロック分割部１６０は、原画像ＩＩＭＧのフレームＦＲＭを分割した複数のブロックＢａ（６４×６４画素のブロックＢ）から、処理ブロックＢａを選択する。
【０１１０】
次に、ステップＳ３４０では、縮小ブロック適用部１６２は、ステップＳ３２０で選択した処理ブロックＢａ内の領域から分割判定対象のブロックＢを、縮小ブロック分割判定処理で決定されたブロックＢに基づいて選択する。例えば、図８で説明したように、縮小画像ＲＩＭＧのブロックサイズが８×８画素の場合、縮小ブロック適用部１６２は、処理ブロックＢａ内の領域において、縮小画像ＲＩＭＧの８×８画素のブロックＢｄに対応する位置の１６×１６画素のブロックＢｃを特定する。そして、縮小ブロック適用部１６２は、処理ブロックＢａ内の特定した領域（１６×１６画素のブロックＢｃ）を、分割判定対象のブロックＢとして選択する。また、例えば、縮小ブロック適用部１６２は、縮小画像ＲＩＭＧのブロックサイズが３２×３２画素の場合、ステップＳ３２０で選択した処理ブロックＢａ（６４×６４画素のブロックＢ）を、分割判定対象のブロックＢとして選択する。
【０１１１】
次に、ステップＳ３６０では、原画像評価値算出部１６４は、図４で説明したように、分割判定対象のブロックＢの分割ＲＤコストおよび非分割ＲＤコストをそれぞれ算出する。
【０１１２】
次に、ステップＳ３８０では、ブロック分割判定部１６６は、分割判定対象のブロックＢの分割ＲＤコストが分割判定対象のブロックＢの非分割ＲＤコストより小さいか否かを判定する。分割判定対象のブロックＢの分割ＲＤコストが分割判定対象のブロックＢの非分割ＲＤコストより小さい場合、ブロック分割判定部１６６の動作は、ステップＳ４００に移る。一方、分割判定対象のブロックＢの分割ＲＤコストが分割判定対象のブロックＢの非分割ＲＤコスト以上の場合、ブロック分割判定部１６６の動作は、ステップＳ４２０に移る。
【０１１３】
ステップＳ４００では、ブロック分割判定部１６６は、分割判定対象のブロックＢを分割すると決定する。すなわち、ブロック分割判定部１６６は、分割判定対象のブロックＢの分割ＲＤコストが分割判定対象のブロックＢの非分割ＲＤコストより小さい場合、分割判定対象のブロックＢを分割すると決定する。ステップＳ４００の処理が実行された後、ブロック分割部１６０の動作は、ステップＳ４４０に移る。
【０１１４】
ステップＳ４２０では、ブロック分割判定部１６６は、分割判定対象のブロックＢを分割しないと決定する。すなわち、ブロック分割判定部１６６は、分割判定対象のブロックＢの分割ＲＤコストが分割判定対象のブロックＢの非分割ＲＤコスト以上の場合、分割判定対象のブロックＢを分割しないと決定する。ステップＳ４２０の処理が実行された後、ブロック分割部１６０の動作は、ステップＳ４４０に移る。
【０１１５】
ステップＳ４４０では、ブロック分割部１６０は、ステップＳ３２０で選択した処理ブロックＢａのブロック分割判定が終了したか否かを判定する。処理ブロックＢａのブロック分割判定は、処理ブロックＢａをどのように分割するかあるいは分割しないかを決定する処理である。例えば、ブロック分割部１６０は、処理ブロックＢａ内に分割判定対象のブロックＢとして選択されていない領域が存在するか否かを判定する。処理ブロックＢａのブロック分割判定が終了した場合、ブロック分割部１６０の動作は、ステップＳ４６０に移る。一方、処理ブロックＢａのブロック分割判定が終了していない場合、すなわち、処理ブロックＢａ内に分割判定対象のブロックＢとして選択されていない領域が存在する場合、ブロック分割部１６０の動作は、ステップＳ３４０に戻る。
【０１１６】
ステップＳ４６０では、ブロック分割部１６０は、原画像ＩＩＭＧのフレームＦＲＭ内に未処理のブロックＢａが存在するか否かを判定する。すなわち、ブロック分割部１６０は、原画像ＩＩＭＧのフレームＦＲＭを分割した６４×６４画素の複数のブロックＢａの全てに対して、ブロック分割判定が実行されたか否かを判定する。原画像ＩＩＭＧのフレームＦＲＭ内に未処理のブロックＢａが存在する場合、すなわち、ブロック分割判定が実行されていないブロックＢａが存在する場合、ブロック分割部１６０の動作は、ステップＳ３２０に戻る。この場合、ブロック分割部１６０は、ステップＳ３２０において、未処理のブロックＢａから処理ブロックＢａを選択する。
【０１１７】
一方、原画像ＩＩＭＧのフレームＦＲＭ内に未処理のブロックＢａが存在しない場合、原画像ＩＩＭＧをどのように分割するかを決定する処理は、終了する。図９に示す動作が終了した後、予測誤差ブロック生成部１６８は、図９に示す動作により決定された各ブロックＢの予測誤差ブロックＰＥＢＬを生成し、生成した予測誤差ブロックＰＥＢＬを直交変換部１８０に出力する。また、予測誤差ブロック生成部１６８は、図９に示す動作により決定された各ブロックＢを予測ブロックＰＢＬとして加算部１９２に出力する。
【０１１８】
なお、動画像符号化装置１２の動作は、図９に示す例に限定されない。例えば、ステップＳ４４０とステップＳ４６０との間に、予測誤差ブロックＰＥＢＬを生成する処理等のステップが挿入されてもよい。すなわち、予測誤差ブロック生成部１６８は、処理ブロックＢａのブロック分割判定が終了する度に、予測誤差ブロックＰＥＢＬを生成してもよい。また、例えば、ステップＳ３００の処理は、ステップＳ１００からステップＳ２５０までの一連の処理と並列に実行されてもよいし、ステップＳ１００より前に実行されてもよい。さらに、縮小ブロック分割判定処理が終了したブロックＢに対するステップＳ３２０からステップＳ４６０までの一連の処理は、ステップＳ１００からステップＳ２５０までの一連の処理と並列に実行されてもよい。
【０１１９】
また、ブロック分割部１６０は、ステップＳ３６０で算出した分割ＲＤコストを、複雑度ＡＣＴの偏りに基づいて補正してもよい。この場合、ブロック分割部１６０は、ステップＳ３８０において、非分割ＲＤコストと補正後の分割ＲＤコストとを比較する。
【０１２０】
図１０は、図９に示した縮小ブロック分割判定処理の一例を示す。なお、縮小ブロック分割判定処理は、図１０に示す例に限定されない。
【０１２１】
ステップＳ２２２では、縮小画像ブロック分割部１４０は、最小のサイズ（８×８画素）より上の階層のサイズ（１６×１６画素以上）で未判定のサイズのうち、最小のサイズを判定対象のブロックＢのサイズとして選択する。例えば、縮小画像ブロック分割部１４０は、図９に示したステップＳ２００の後に実行されるステップＳ２２２では、１６×１６画素のブロックＢを判定対象のブロックＢとして選択する。そして、１６×１６画素の各ブロックＢに対してステップＳ２２４からステップＳ２４２までの一連の処理が実行された後に実行されるステップＳ２２２では、縮小画像ブロック分割部１４０は、３２×３２画素のブロックＢを判定対象のブロックＢとして選択する。
【０１２２】
次に、ステップＳ２２４では、縮小画像評価値算出部１４２は、図４で説明したように、縮小画像ＲＩＭＧにおける判定対象のブロックＢの分割ＲＤコストおよび非分割ＲＤコストをそれぞれ算出する。
【０１２３】
次に、ステップＳ２２６では、縮小画像ブロック分割部１４０は、判定対象のブロックＢが、最小のサイズ（８×８画素）より１階層上のサイズ（１６×１６画素）のブロックＢであるか否かを判定する。判定対象のブロックＢが最小のサイズより１階層上のサイズのブロックＢである場合、すなわち、判定対象のブロックＢが１６×１６画素のブロックＢである場合、縮小画像ブロック分割部１４０の動作は、ステップＳ２２８に移る。一方、判定対象のブロックＢが最小のサイズより１階層上のサイズのブロックＢでない場合、すなわち、判定対象のブロックＢが１６×１６画素のブロックＢでない場合、縮小画像ブロック分割部１４０の動作は、ステップＳ２３６に移る。すなわち、判定対象のブロックＢが１６×１６画素のブロックＢでない場合、判定対象のブロックＢの分割ＲＤコストを補正する処理は、省略される。
【０１２４】
ステップＳ２２８では、複雑度算出部１４４は、図４で説明したように、判定対象のブロックＢを４つに分割した第１ブロックＢの各々をさらに４つに分割した第２ブロックＢの各々の複雑度ＡＣＴを算出する。
【０１２５】
次に、ステップＳ２３０では、絵柄判定部１４６は、図４で説明したように、４つの第２ブロックＢから、複雑な第２ブロックＢと平坦な第２ブロックＢの数を検出する。
【０１２６】
次に、ステップＳ２３２では、補正判定部１４８は、図４で説明したように、各第１ブロックＢに、複雑な第２ブロックＢと平坦な第２ブロックＢとが混在しているか否かを判定する。すなわち、補正判定部１４８は、ステップＳ２３０において、複雑な第２ブロックＢと平坦な第２ブロックＢとの両方が検出されたか否かを第１ブロックＢ毎に判定する。４つの第１ブロックＢのいずれかに複雑な第２ブロックＢと平坦な第２ブロックＢとが混在している場合、縮小画像ブロック分割部１４０の動作は、ステップＳ２３４に移る。一方、４つの第１ブロックＢのいずれにも複雑な第２ブロックＢと平坦な第２ブロックＢとが混在していない場合、縮小画像ブロック分割部１４０の動作は、ステップＳ２３６に移る。すなわち、４つの第１ブロックＢの全てにおいて、複雑度ＡＣＴの偏りがない場合、判定対象のブロックＢの分割ＲＤコストは補正されない。
【０１２７】
ステップＳ２３４では、縮小画像評価値補正部１５０は、図４で説明したように、判定対象のブロックＢの分割ＲＤコストを小さくする補正を実行する。ステップＳ２３４の処理が実行された後、縮小画像ブロック分割部１４０の動作は、ステップＳ２３６に移る。
【０１２８】
ステップＳ２３６では、縮小画像分割決定部１５２は、判定対象のブロックＢの分割ＲＤコストが判定対象のブロックＢの非分割ＲＤコストより小さいか否かを判定する。判定対象のブロックＢの分割ＲＤコストが判定対象のブロックＢの非分割ＲＤコストより小さい場合、縮小画像ブロック分割部１４０の動作は、ステップＳ２３８に移る。一方、判定対象のブロックＢの分割ＲＤコストが判定対象のブロックＢの非分割ＲＤコスト以上の場合、縮小画像ブロック分割部１４０の動作は、ステップＳ２４０に移る。
【０１２９】
ステップＳ２３８では、縮小画像分割決定部１５２は、判定対象のブロックＢを分割すると決定する。すなわち、縮小画像分割決定部１５２は、判定対象のブロックＢの分割ＲＤコストが判定対象のブロックＢの非分割ＲＤコストより小さい場合、判定対象のブロックＢを分割すると決定する。ステップＳ２３８の処理が実行された後、縮小画像ブロック分割部１４０の動作は、ステップＳ２４２に移る。
【０１３０】
ステップＳ２４０では、縮小画像分割決定部１５２は、判定対象のブロックＢを分割しないと決定する。すなわち、縮小画像分割決定部１５２は、判定対象のブロックＢの分割ＲＤコストが判定対象のブロックＢの非分割ＲＤコスト以上の場合、判定対象のブロックＢを分割しないと決定する。ステップＳ２４０の処理が実行された後、縮小画像ブロック分割部１４０の動作は、ステップＳ２４２に移る。
【０１３１】
ステップＳ２４２では、縮小画像ブロック分割部１４０は、判定対象のブロックＢが、最大のサイズ（６４×６４画素）より１階層下のサイズ（３２×３２画素）のブロックＢであるか否かを判定する。判定対象のブロックＢが最大のサイズより１階層下のサイズのブロックＢである場合、すなわち、判定対象のブロックＢが３２×３２画素のブロックＢである場合、縮小画像ブロック分割部１４０は、縮小ブロック分割判定処理を終了し、動作を図９に示したステップＳ２５０に移す。
【０１３２】
一方、判定対象のブロックＢが最大のサイズより１階層下のサイズのブロックＢでない場合、すなわち、判定対象のブロックＢが３２×３２画素のブロックＢでない場合、縮小画像ブロック分割部１４０の動作は、ステップＳ２２２に戻る。例えば、判定対象のブロックＢが１６×１６画素のブロックＢで、１６×１６画素の全てのブロックＢの分割判定が終了した場合、縮小画像ブロック分割部１４０は、ステップＳ２２２において、３２×３２画素のブロックＢを判定対象のブロックＢとして選択する。
【０１３３】
このように、縮小画像ブロック分割部１４０は、図９に示したステップＳ２００で選択した処理ブロックＢを４つに分割した場合の１６×１６画素のブロックＢから分割判定を実行する。そして、１６×１６画素のブロックＢの分割判定では、縮小画像ブロック分割部１４０は、１６×１６画素のブロックＢの分割ＲＤコストの算出に用いる８×８画素のブロックＢのＲＤコストを、４×４画素のブロックＢの複雑度ＡＣＴの偏りに基づいて補正する。これにより、４×４画素のブロックＢの複雑度ＡＣＴの偏りを考慮しない場合に比べて、１６×１６画素のブロックＢの分割ＲＤコストを正確に算出することができる。この結果、縮小画像ＲＩＭＧを用いて原画像ＩＩＭＧをどのように分割するかを決定する場合でも、縮小画像ＲＩＭＧの１６×１６画素のブロックＢから順に分割判定を実行するため、原画像ＩＩＭＧの１６×１６画素のブロックＢから順に分割判定を実行する場合に比べて、ＲＤコストの符号化歪みＤ等を算出する場合の計算量を削減することができる。
【０１３４】
以上、図３から図１０に示す実施形態においても、図１から図２に示した実施形態と同様の効果を得ることができる。例えば、動画像符号化装置１２は、原画像ＩＩＭＧを縮小した縮小画像ＲＩＭＧをどのように分割するかを決定し、縮小画像ＲＩＭＧの分割結果に基づいて、原画像ＩＩＭＧを符号化する場合のブロックＢのサイズを決定する。縮小画像ＲＩＭＧの１６×１６画素のブロックＢから順に分割判定を実行するため、原画像ＩＩＭＧの１６×１６画素のブロックＢから順に分割判定を実行する場合に比べて、原画像ＩＩＭＧのブロックＢのサイズを決定するための計算量を削減することができる。
【０１３５】
また、動画像符号化装置１２は、１６×１６画素のブロックＢの分割ＲＤコストの算出に用いる８×８画素のブロックＢのＲＤコストを、４×４画素のブロックＢの複雑度ＡＣＴの偏りに基づいて補正する。これにより、４×４画素のブロックＢの複雑度ＡＣＴの偏りを考慮しない場合に比べて、１６×１６画素のブロックＢの分割ＲＤコストを正確に算出することができる。したがって、図３から図１０に示す実施形態においても、動画像を符号化する場合において、ブロックＢのサイズを適切に選択することができる。また、符号化の単位となるブロックＢのサイズを決定するための計算量の増加を抑制することができる。動画像を符号化する場合のブロックＢのサイズを適切に選択することにより、動画像の圧縮率を向上させることができる。
【０１３６】
図１１は、動画像符号化装置、動画像符号化方法および動画像符号化プログラムの別の実施形態を示す。図１から図１０で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図１１に示す動画像符号化装置１４は、Ｈ．２６４、ＨＥＶＣ等の符号化の規格に準拠した動画像符号化方法で動画像を符号化する。例えば、動画像符号化装置１４は、図３に示した動画像符号化装置１２と同様に、動画像のフレームＦＲＭを複数のブロックＢに分割し、分割したブロックＢ毎に動画像を符号化する。
【０１３７】
動画像符号化装置１４は、図３に示した縮小画像メモリ３０４が動画像符号化装置１２から省かれ、図３に示したプロセッサ１０２の代わりにプロセッサ１０４を有する。動画像符号化装置１４のその他の構成は、図３に示した動画像符号化装置１２と同一または同様である。例えば、動画像符号化装置１４は、プロセッサ１０４、入力インタフェース２００、メモリ３００および局所復号画像メモリ３０２を有する。プロセッサ１０４、入力インタフェース２００およびメモリ３００は、バス４００に接続される。プロセッサ１０４は、メモリ３００に格納される動画像符号化プログラムを実行し、動画像符号化装置１４の動作を制御する。
【０１３８】
プロセッサ１０４は、図３に示した画像縮小部１３０、画面内予測部１３２、画面間予測部１３４および縮小画像ブロック分割部１４０がプロセッサ１０２から省かれ、図３に示したブロック分割部１６０の代わりにブロック分割部１７０を有する。プロセッサ１０４のその他の機能は、図３に示したプロセッサ１０２と同一または同様である。
【０１３９】
例えば、プロセッサ１０４は、フレーム分割部１２０、画面内予測部１２２、画面間予測部１２４およびブロック分割部１７０を有する。さらに、プロセッサ１０２は、直交変換部１８０、量子化部１８２、可変長符号化部１８４、符号化制御部１８６、逆量子化部１８８、逆直交変換部１９０、加算部１９２およびフィルタ部１９４を有する。プロセッサ１０４が有するフレーム分割部１２０等の図１１に示す各機能は、プロセッサ１０４がメモリ３００に格納される動画像符号化プログラムを実行することにより、実現される。なお、フレーム分割部１２０等の図１１に示す各機能は、ハードウェアのみで実現されてもよい。
【０１４０】
ブロック分割部１７０は、画像ＩＩＭＧを符号化する場合のブロックＢのサイズを、縮小画像ＲＩＭＧを用いずに決定する。ブロック分割部１７０の詳細は、図１２で説明する。
【０１４１】
なお、動画像符号化装置１４の構成および動作は、図１１に示す例に限定されない。例えば、メモリ３００の記憶領域の一部が、局所復号画像メモリ３０２として使用されてもよい。
【０１４２】
図１２は、図１１に示したブロック分割部１７０の一例を示す。なお、ブロック分割部１７０の構成は、図１２に示す例に限定されない。
【０１４３】
ブロック分割部１７０は、評価値算出部１７２、複雑度算出部１７３、絵柄判定部１７４、補正判定部１７５、評価値補正部１７６、ブロック分割判定部１７７および予測誤差ブロック生成部１７８を有する。
【０１４４】
評価値算出部１７２は、判定対象の画像が画像ＩＩＭＧであることを除いて、図４に示した縮小画像評価値算出部１４２と同一または同様である。例えば、評価値算出部１７２は、画像ＩＩＭＧの符号化対象のブロックＢａ、予測画像ブロックＰＢＬＡ、ＰＢＬＢを受ける。そして、評価値算出部１７２は、ブロックＢａにおける判定対象のブロックＢの分割ＲＤコストおよび非分割ＲＤコストをそれぞれ算出する。判定対象のブロックＢの分割ＲＤコストおよび非分割ＲＤコストの各々は、画面内予測で符号化する場合と画面間予測で符号化する場合についてそれぞれ算出される。評価値算出部１７２による判定対象のブロックＢの分割ＲＤコストおよび非分割ＲＤコストの算出方法は、図４に示した縮小画像評価値算出部１４２による分割ＲＤコストおよび非分割ＲＤコストの算出方法と同一または同様である。
【０１４５】
なお、ブロック分割部１７０では、先ず、符号化の規格で決められた複数のサイズのうちの最大のサイズ（例えば、６４×６４画素）のブロックＢａが判定対象のブロックＢとして選択される。すなわち、評価値算出部１７２は、先ず、６４×６４画素のブロックＢａの分割ＲＤコストおよび非分割ＲＤコストをそれぞれ算出する。そして、評価値算出部１７２は、ブロック分割判定部１７７等により６４×６４画素のブロックＢａを分割すると決定された後、３２×３２画素のブロックＢｂを判定対象のブロックＢとして選択し、分割ＲＤコストおよび非分割ＲＤコストをそれぞれ算出する。また、評価値算出部１７２は、ブロック分割判定部１７７等により３２×３２画素のブロックＢｂを分割すると決定された後、１６×１６画素のブロックＢｃを判定対象のブロックＢとして選択し、分割ＲＤコストおよび非分割ＲＤコストをそれぞれ算出する。
【０１４６】
このように、ブロック分割部１７０では、符号化の規格で決められた複数のサイズのうちの最大のサイズのブロックＢａから順に分割判定が実行される。
【０１４７】
なお、６４×６４画素のブロックＢａを分割しないと決定された場合は、３２×３２画素以下のブロックＢの分割判定を省略することができる。この場合、評価値算出部１７２は、３２×３２画素より小さいブロックＢのＲＤコストを算出しない。同様に、３２×３２画素のブロックＢｂを分割しないと決定された場合は、１６×１６画素以下のブロックＢの分割判定を省略することができる。この場合、評価値算出部１７２は、１６×１６画素より小さいブロックＢのＲＤコストを算出しない。このため、符号化の単位となるブロックＢのサイズを決定するための計算量の増加を抑制することができる。
【０１４８】
複雑度算出部１７３は、予測誤差画像ＲＰＥＢＬの代わりに予測誤差ブロックＰＥＢＬを受けることを除いて、図４に示した複雑度算出部１４４と同一または同様である。例えば、複雑度算出部１７３は、評価値算出部１７２から受ける予測誤差ブロックＰＥＢＬに基づいて、判定対象のブロックＢを４つに分割した第１ブロックＢの各々をさらに４つに分割した第２ブロックＢの各々の複雑度ＡＣＴを算出する。複雑度算出部１７３による複雑度ＡＣＴの算出方法は、図４に示した複雑度算出部１４４による複雑度ＡＣＴの算出方法と同一または同様である。
【０１４９】
絵柄判定部１７４、補正判定部１７５および評価値補正部１７６は、図４に示した絵柄判定部１４６、補正判定部１４８および縮小画像評価値補正部１５０と同一または同様である。
【０１５０】
ブロック分割判定部１７７および予測誤差ブロック生成部１７８は、図４に示したブロック分割判定部１６６および予測誤差ブロック生成部１６８と同一または同様である。
【０１５１】
ブロック分割部１７０は、上述したように、符号化の規格で決められた複数のサイズのブロックＢのうちの最大のサイズのブロックＢａから順に、判定対象のブロックＢを選択する。そして、ブロック分割部１７０は、選択した判定対象のブロックＢに対して、図２に示した処理と同一または同様な処理を実行することにより、判定対象のブロックＢを分割するか否かを決定する。ブロック分割部１７０は、判定対象のブロックＢを分割しないと決定した場合、分割しないと決定したブロックＢより小さいサイズのブロックＢのＲＤコストの算出を省略できる。この場合でも、判定対象のブロックＢを４つに分割した第１ブロックＢの各々をさらに４つに分割した第２ブロックＢの各々の複雑度ＡＣＴに基づいて、判定対象のブロックＢの分割ＲＤコストが補正されるため、分割判定を適切に実行することができる。
【０１５２】
以上、図１１から図１２に示す実施形態においても、図１から図１０に示した実施形態と同様の効果を得ることができる。例えば、動画像符号化装置１４は、符号化の規格で決められた複数のサイズのブロックＢのうちの最大のサイズのブロックＢａから順に判定対象のブロックＢを選択し、判定対象のブロックＢを分割するか否かを判定する分割判定を実行する。そして、動画像符号化装置１４は、分割しないと判定したブロックＢより小さいブロックＢに対する分割判定を省略することにより、符号化の単位となるブロックＢのサイズを決定するための計算量の増加を抑制できる。また、動画像符号化装置１４は、判定対象のブロックＢを４つに分割した第１ブロックＢの各々をさらに４つに分割した第２ブロックＢの各々の複雑度ＡＣＴに基づいて、判定対象のブロックＢの分割ＲＤコストを補正する。これにより、判定対象のブロックＢより１階層下のサイズのブロックＢに対する分割判定が実行されない段階でも、判定対象のブロックＢを分割するか否かを適切に判定できる。したがって、図１１から図１２に示す実施形態においても、動画像を符号化する場合において、ブロックＢのサイズを適切に選択することができる。また、符号化の単位となるブロックＢのサイズを決定するための計算量の増加を抑制することができる。動画像を符号化する場合のブロックＢのサイズを適切に選択することにより、動画像の圧縮率を向上させることができる。
【０１５３】
以上の実施形態において説明した発明を整理して、付記として以下の通り開示する。
（付記１）
動画像のフレームを複数のブロックに分割して符号化する場合のブロックのサイズを複数のサイズから選択する動画像符号化装置において、
ブロックをさらに分割するかが判定される判定対象のブロック毎に、判定対象の画像と前記判定対象の画像を符号化する場合に使用する予測画像との差分である予測誤差に基づく評価値として、前記判定対象のブロックを複数の第１ブロックに分割する場合の第１評価値と前記判定対象のブロックを分割しない場合の第２評価値とをそれぞれ算出する評価値算出部と、
前記複数の第１ブロックの各々を複数の第２ブロックにさらに分割し、前記複数の第２ブロックの各々の複雑さを示す複雑度を算出し、各第１ブロックにおける前記複数の第２ブロックの複雑度の偏りに基づいて、前記判定対象のブロックの第１評価値を補正する評価値補正部と、
第１評価値が補正された場合、前記評価値補正部により補正された第１評価値と前記評価値算出部により算出された第２評価値との比較結果に基づいて、前記判定対象のブロックを前記複数の第１ブロックに分割するか否かを決定し、第１評価値が補正されない場合、前記評価値算出部により算出された第１評価値と前記評価値算出部により算出された第２評価値との比較結果に基づいて、前記判定対象のブロックを前記複数の第１ブロックに分割するか否かを決定する分割決定部と
を有することを特徴とする動画像符号化装置。
（付記２）
付記１に記載の動画像符号化装置において、
前記評価値補正部は、前記複数の第２ブロックのうち、複雑度が所定の第１閾値以上の第２ブロックを複雑なブロックとして特定し、複雑度が前記第１閾値未満の第２ブロックを平坦なブロックとして特定し、前記各第１ブロック内に前記複雑なブロックと前記平坦なブロックとが混在する場合、前記各第１ブロックにおける前記複数の第２ブロックの複雑度に偏りがあると判定し、前記判定対象のブロックの第１評価値を小さくする補正を実行し、
前記分割決定部は、第１評価値が第２評価値より小さい場合、前記判定対象のブロックを前記複数の第１ブロックに分割すると決定し、第１評価値が第２評価値より大きい場合、前記判定対象のブロックを分割しないと決定する
ことを特徴とする動画像符号化装置。
（付記３）
付記１に記載の動画像符号化装置において、
前記評価値補正部は、前記複数の第２ブロックのうち、複雑度が所定の第１閾値以上の第２ブロックを複雑なブロックとして特定し、複雑度が所定の第２閾値以下の第２ブロックを平坦なブロックとして特定し、前記各第１ブロック内に前記複雑なブロックと前記平坦なブロックとが混在する場合、前記各第１ブロックにおける前記複数の第２ブロックの複雑度に偏りがあると判定し、前記判定対象のブロックの第１評価値を小さくする補正を実行し、
前記分割決定部は、第１評価値が第２評価値より小さい場合、前記判定対象のブロックを前記複数の第１ブロックに分割すると決定し、第１評価値が第２評価値より大きい場合、前記判定対象のブロックを分割しないと決定し、
前記第２閾値は、前記第１閾値より小さい
ことを特徴とする動画像符号化装置。
（付記４）
付記２または付記３に記載の動画像符号化装置において、
前記評価値補正部は、前記各第１ブロック内に混在する前記複雑なブロックと前記平坦なブロックのうちの前記平坦なブロックの数が多くなるほど、前記判定対象のブロックの第１評価値の補正による減少量を大きくする
ことを特徴とする動画像符号化装置。
（付記５）
付記３または付記４に記載の動画像符号化装置において、
前記評価値補正部は、画像を符号化する場合の量子化値が大きくなるほど前記第１閾値および前記第２閾値を大きくする
ことを特徴とする動画像符号化装置。
（付記６）
付記５に記載の動画像符号化装置において、
前記評価値補正部は、量子化値が大きくなるに従い、前記第１閾値および前記第２閾値を段階的に大きくする
ことを特徴とする動画像符号化装置。
（付記７）
付記１ないし付記６のいずれか１項に記載の動画像符号化装置において、
符号化対象の画像を縮小して縮小画像を生成し、生成した前記縮小画像を前記判定対象の画像として前記評価値算出部に転送する画像縮小部と、
前記縮小画像における前記判定対象のブロックを分割するか否かの決定結果を示す縮小画像ブロック情報を前記分割決定部から受け、前記分割決定部から受ける縮小画像ブロック情報に基づいて、前記符号化対象の画像を分割するブロック分割部とをさらに有する
ことを特徴とする動画像符号化装置。
（付記８）
付記７に記載の動画像符号化装置において、
前記ブロック分割部は、
前記分割決定部から受ける縮小画像ブロック情報に基づくサイズを、前記符号化対象の画像を縮小する前の元のサイズに換算し、換算したサイズに基づいて処理対象のブロックを特定し、前記処理対象のブロックの評価値として、前記処理対象のブロックを複数の第３ブロックに分割する場合の第３評価値と前記処理対象のブロックを分割しない場合の第４評価値とをそれぞれ算出し、
第３評価値と第４評価値とを比較し、比較結果に基づいて、前記処理対象のブロックを前記複数の第３ブロックに分割するか否かを決定する
ことを特徴とする動画像符号化装置。
（付記９）
付記８に記載の動画像符号化装置において、
前記ブロック分割部は、
前記複数の第３ブロックの各々を複数の第４ブロックにさらに分割し、前記複数の第４ブロックの各々の複雑さを示す複雑度を算出し、各第３ブロックにおける前記複数の第４ブロックの複雑度の偏りに基づいて、前記処理対象のブロックの第３評価値を補正し、補正後の第３評価値と第４評価値との比較結果に基づいて、前記処理対象のブロックを前記複数の第３ブロックに分割するか否かを決定する
ことを特徴とする動画像符号化装置。
（付記１０）
付記１ないし付記９のいずれか１項に記載の動画像符号化装置において、
前記評価値補正部は、前記複数の第２ブロックの各々の予測誤差のばらつきを前記複数の第２ブロックの各々の複雑度として算出する
ことを特徴とする動画像符号化装置。
（付記１１）
付記１ないし付記９のいずれか１項に記載の動画像符号化装置において、
前記評価値補正部は、前記複数の第２ブロックの各々の画素のばらつきを前記複数の第２ブロックの各々の複雑度として算出する
ことを特徴とする動画像符号化装置。
（付記１２）
付記１ないし付記９のいずれか１項に記載の動画像符号化装置において、
前記評価値補正部は、前記複数の第２ブロックの各々の予測誤差の平均と各画素での予測誤差との差分絶対値和を、前記複数の第２ブロックの各々の複雑度として算出する
ことを特徴とする動画像符号化装置。
（付記１３）
付記１ないし付記９のいずれか１項に記載の動画像符号化装置において、
前記評価値補正部は、前記複数の第２ブロックの各々の画素値の平均と各画素の画素値との差分絶対値和を、前記複数の第２ブロックの各々の複雑度として算出する
ことを特徴とする動画像符号化装置。
（付記１４）
付記１ないし付記９のいずれか１項に記載の動画像符号化装置において、
前記評価値補正部は、前記複数の第２ブロックの各々の予測誤差の分散を、前記複数の第２ブロックの各々の複雑度として算出する
ことを特徴とする動画像符号化装置。
（付記１５）
付記１ないし付記９のいずれか１項に記載の動画像符号化装置において、
前記評価値補正部は、前記複数の第２ブロックの各々の画素値の分散を、前記複数の第２ブロックの各々の複雑度として算出する
ことを特徴とする動画像符号化装置。
（付記１６）
付記１ないし付記６のいずれか１項に記載の動画像符号化装置において、
前記評価値補正部は、前記複数の第２ブロックの各々の複雑度を符号化対象の画像を縮小した画像から算出する
ことを特徴とする動画像符号化装置。
（付記１７）
付記１ないし付記６のいずれか１項に記載の動画像符号化装置において、
前記評価値算出部は、符号化対象の画像を前記判定対象の画像として受ける
ことを特徴とする動画像符号化装置。
（付記１８）
動画像のフレームを複数のブロックに分割して符号化する場合のブロックのサイズを複数のサイズから選択する動画像符号化方法において、
ブロックをさらに分割するかが判定される判定対象のブロック毎に、判定対象の画像と前記判定対象の画像を符号化する場合に使用する予測画像との差分である予測誤差に基づく評価値として、前記判定対象のブロックを複数の第１ブロックに分割する場合の第１評価値と前記判定対象のブロックを分割しない場合の第２評価値とをそれぞれ算出する評価値算出処理と、
前記複数の第１ブロックの各々を複数の第２ブロックにさらに分割し、前記複数の第２ブロックの各々の複雑さを示す複雑度を算出し、各第１ブロックにおける前記複数の第２ブロックの複雑度の偏りに基づいて、前記判定対象のブロックの第１評価値を補正する評価値補正処理と、
第１評価値が補正された場合、前記評価値補正処理により補正された第１評価値と前記評価値算出処理により算出された第２評価値との比較結果に基づいて、前記判定対象のブロックを前記複数の第１ブロックに分割するか否かを決定し、第１評価値が補正されない場合、前記評価値算出処理により算出された第１評価値と前記評価値算出処理により算出された第２評価値との比較結果に基づいて、前記判定対象のブロックを前記複数の第１ブロックに分割するか否かを決定する分割決定処理と
を実行することを特徴とする動画像符号化方法。
（付記１９）
動画像のフレームを複数のブロックに分割して符号化する場合のブロックのサイズを複数のサイズから選択する処理をコンピュータに実行させるための動画像符号化プログラムにおいて、
ブロックをさらに分割するかが判定される判定対象のブロック毎に、判定対象の画像と前記判定対象の画像を符号化する場合に使用する予測画像との差分である予測誤差に基づく評価値として、前記判定対象のブロックを複数の第１ブロックに分割する場合の第１評価値と前記判定対象のブロックを分割しない場合の第２評価値とをそれぞれ算出する評価値算出処理と、
前記複数の第１ブロックの各々を複数の第２ブロックにさらに分割し、前記複数の第２ブロックの各々の複雑さを示す複雑度を算出し、各第１ブロックにおける前記複数の第２ブロックの複雑度の偏りに基づいて、前記判定対象のブロックの第１評価値を補正する評価値補正処理と、
第１評価値が補正された場合、前記評価値補正処理により補正された第１評価値と前記評価値算出処理により算出された第２評価値との比較結果に基づいて、前記判定対象のブロックを前記複数の第１ブロックに分割するか否かを決定し、第１評価値が補正されない場合、前記評価値算出処理により算出された第１評価値と前記評価値算出処理により算出された第２評価値との比較結果に基づいて、前記判定対象のブロックを前記複数の第１ブロックに分割するか否かを決定する分割決定処理と
を前記コンピュータに実行させるための動画像符号化プログラム。
（付記２０）
動画像のフレームを複数のブロックに分割して符号化する場合のブロックのサイズを複数のサイズから選択する処理をコンピュータに実行させるための動画像符号化プログラムを記録した記録媒体において、
ブロックをさらに分割するかが判定される判定対象のブロック毎に、判定対象の画像と前記判定対象の画像を符号化する場合に使用する予測画像との差分である予測誤差に基づく評価値として、前記判定対象のブロックを複数の第１ブロックに分割する場合の第１評価値と前記判定対象のブロックを分割しない場合の第２評価値とをそれぞれ算出する評価値算出処理と、
前記複数の第１ブロックの各々を複数の第２ブロックにさらに分割し、前記複数の第２ブロックの各々の複雑さを示す複雑度を算出し、各第１ブロックにおける前記複数の第２ブロックの複雑度の偏りに基づいて、前記判定対象のブロックの第１評価値を補正する評価値補正処理と、
第１評価値が補正された場合、前記評価値補正処理により補正された第１評価値と前記評価値算出処理により算出された第２評価値との比較結果に基づいて、前記判定対象のブロックを前記複数の第１ブロックに分割するか否かを決定し、第１評価値が補正されない場合、前記評価値算出処理により算出された第１評価値と前記評価値算出処理により算出された第２評価値との比較結果に基づいて、前記判定対象のブロックを前記複数の第１ブロックに分割するか否かを決定する分割決定処理と
を前記コンピュータに実行させるための動画像符号化プログラムを記録したことを特徴とする前記コンピュータが読み取り可能な記録媒体。
【０１５４】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
【符号の説明】
【０１５５】
１０、１２、１４‥動画像符号化装置；１００、１０２、１０４‥プロセッサ；１１０、１７２‥評価値算出部；１１２、１７６‥評価値補正部；１１４‥分割決定部；１２０‥フレーム分割部；１２２、１３２‥画面内予測部；１２４、１３４‥画面間予測部；１３０‥画像縮小部；１４０‥縮小画像ブロック分割部；１４２‥縮小画像評価値算出部；１４４、１７３‥複雑度算出部；１４６、１７４‥絵柄判定部；１４８、１７５‥補正判定部；１５０‥縮小画像評価値補正部；１５２‥縮小画像分割決定部；１６０、１７０‥ブロック分割部；１６２‥縮小ブロック適用部；１６４‥原画像評価値算出部；１６６、１７７‥ブロック分割判定部；１６８、１７８‥予測誤差ブロック生成部；１８０‥直交変換部；１８２‥量子化部；１８４‥可変長符号化部；１８６‥符号化制御部；１８８‥逆量子化部；１９０‥逆直交変換部；１９２‥加算部；１９４‥フィルタ部；２００‥入力インタフェース；３００‥メモリ；３０２‥局所復号画像メモリ；３０４‥縮小画像メモリ
【図１】
2019041216.tif 000003
【図２】
2019041216.tif 000004
【図３】
2019041216.tif 000005
【図４】
2019041216.tif 000006
【図５】
2019041216.tif 000007
【図６】
2019041216.tif 000008
【図７】
2019041216.tif 000009
【図８】
2019041216.tif 000010
【図９】
2019041216.tif 000011
【図１０】
2019041216.tif 000012
【図１１】
2019041216.tif 000013
【図１２】
2019041216.tif 000014