(57)【要約】【課題】符号化ブロックの分割判定に縮小画像を使用した場合であっても、圧縮性能を向上させる。【解決手段】複雑度算出部（２１）が、複数の対象ブロックの各々について、複雑度を算出する。対象ブロックは、縮小画像を複数個に分割した複数の第１ブロックの何れかのブロックと、何れかのブロックを複数個に分割した複数の第２ブロックと、を含む。補正部（２２）は、対象ブロックの各々について、複雑度が大きくなるにしたがって大きくなるように、符号化歪みを補正する。評価値算出部（２３）は、対象ブロックの各々について、補正された符号化歪みに基づいて評価値を算出する。判定部（２４）は、第１ブロックの評価値が第２ブロックの評価値の総和より小さい場合は、何れかのブロックに対応する原画像画素値を使用して動画像を符号化するように判定する。【選択図】図３
2018110321.tif 000002
【特許請求の範囲】
【請求項１】
原画像を縮小した縮小画像を複数個に分割した複数の第１ブロックの何れかのブロックと、前記何れかのブロックを複数個に分割した複数の第２ブロックと、を含む複数の対象ブロックの各々について、各々の画素値に関連する値に基づいて複雑度を算出する複雑度算出部と、
前記複数の対象ブロックの各々について、各々の縮小画像画素値に基づいて符号化歪みを算出し、前記複雑度が大きくなるにしたがって大きくなるように、各々の符号化歪みを補正する補正部と、
前記複数の対象ブロックの各々について、補正された前記各々の符号化歪みに基づいて各々の評価値を算出する評価値算出部と、
前記第１ブロックの何れかのブロックの第１評価値と、前記複数の第２ブロックの評価値の総和である第２評価値と、を用いて、前記第１評価値が前記第２評価値より小さい第１の条件を満たす場合は、前記何れかのブロックに対応する原画像画素値を使用して動画像を符号化する第１符号化を行い、前記第１評価値が前記第２評価値以上で、かつ、前記第２ブロックのサイズが最小サイズに達している第２の条件を満たす場合は、前記第２ブロックに対応する原画像画素値を使用して動画像を符号化する第２符号化を行い、前記第１評価値が前記第２評価値以上で、かつ、前記第２ブロックのサイズが前記最小サイズに達していない第３の条件を満たす場合は、前記第１の条件、または、前記第２の条件を満たすまで、前記第２ブロックを前記第１ブロックに設定した際の複数の対象ブロックの各々について、前記複雑度の算出、前記符号化歪みの補正、及び前記評価値の算出を行い、前記第１の条件を満たした場合には、前記第１符号化を行い、前記第２の条件を満たした場合には前記第２符号化を行うように判定する判定部と、
を含む動画像符号化装置。
【請求項２】
前記符号化歪みは、前記対象ブロックの前記縮小画像画素値の各々と対応する予測画素値の各々との差に基づいて算出される、
請求項１に記載の動画像符号化装置。
【請求項３】
前記対象ブロックの複雑度は、前記対象ブロックの予測誤差画像画素値、前記原画像画素値、または、前記縮小画像画素値の分散値、或いは、前記対象ブロックの予測誤差画像画素値の平均値と前記対象ブロックの予測誤差画像画素値の各々との差分絶対値和、前記対象ブロックの原画像画素値の平均値と前記対象ブロックの原画像画素値の各々との差分絶対値和、または、前記対象ブロックの縮小画像画素値の平均値と前記対象ブロックの縮小画像画素値の差分絶対値和である、
請求項１または請求項２に記載の動画像符号化装置。
【請求項４】
前記補正部は、前記複雑度が大きくなるにしたがって、前記符号化歪みが段階的に、または、連続的に増加するように補正する、
請求項１〜請求項３の何れか１項に記載の動画像符号化装置。
【請求項５】
原画像を縮小した縮小画像を複数個に分割した複数の第１ブロックの何れかのブロックと、前記何れかのブロックを複数個に分割した複数の第２ブロックと、を含む複数の対象ブロックの各々について、各々の画素値に関連する値に基づいて複雑度を算出し、
前記複数の対象ブロックの各々について、各々の縮小画像画素値に基づいて符号化歪みを算出し、前記複雑度が大きくなるにしたがって大きくなるように、各々の符号化歪みを補正し、
前記複数の対象ブロックの各々について、補正された前記各々の符号化歪みに基づいて各々の評価値を算出し、
前記第１ブロックの何れかのブロックの第１評価値と、前記複数の第２ブロックの評価値の総和である第２評価値と、を用いて、前記第１評価値が前記第２評価値より小さい第１の条件を満たす場合は、前記何れかのブロックに対応する原画像画素値を使用して動画像を符号化する第１符号化を行い、前記第１評価値が前記第２評価値以上で、かつ、前記第２ブロックのサイズが最小サイズに達している第２の条件を満たす場合は、前記第２ブロックに対応する原画像画素値を使用して動画像を符号化する第２符号化を行い、前記第１評価値が前記第２評価値以上で、かつ、前記第２ブロックのサイズが前記最小サイズに達していない第３の条件を満たす場合は、前記第１の条件、または、前記第２の条件を満たすまで、前記第２ブロックを前記第１ブロックに設定した際の複数の対象ブロックの各々について、前記複雑度の算出、前記符号化歪みの補正、及び前記評価値の算出を行い、前記第１の条件を満たした場合には、前記第１符号化を行い、前記第２の条件を満たした場合には前記第２符号化を行うように判定する、
動画像符号化処理をコンピュータに実行させるためのプログラム。
【請求項６】
コンピュータが、
原画像を縮小した縮小画像を複数個に分割した複数の第１ブロックの何れかのブロックと、前記何れかのブロックを複数個に分割した複数の第２ブロックと、を含む複数の対象ブロックの各々について、各々の画素値に関連する値に基づいて複雑度を算出し、
前記複数の対象ブロックの各々について、各々の縮小画像画素値に基づいて符号化歪みを算出し、前記複雑度が大きくなるにしたがって大きくなるように、各々の符号化歪みを補正し、
前記複数の対象ブロックの各々について、補正された前記各々の符号化歪みに基づいて各々の評価値を算出し、
前記第１ブロックの何れかのブロックの第１評価値と、前記複数の第２ブロックの評価値の総和である第２評価値と、を用いて、前記第１評価値が前記第２評価値より小さい第１の条件を満たす場合は、前記何れかのブロックに対応する原画像画素値を使用して動画像を符号化する第１符号化を行い、前記第１評価値が前記第２評価値以上で、かつ、前記第２ブロックのサイズが最小サイズに達している第２の条件を満たす場合は、前記第２ブロックに対応する原画像画素値を使用して動画像を符号化する第２符号化を行い、前記第１評価値が前記第２評価値以上で、かつ、前記第２ブロックのサイズが前記最小サイズに達していない第３の条件を満たす場合は、前記第１の条件、または、前記第２の条件を満たすまで、前記第２ブロックを前記第１ブロックに設定した際の複数の対象ブロックの各々について、前記複雑度の算出、前記符号化歪みの補正、及び前記評価値の算出を行い、前記第１の条件を満たした場合には、前記第１符号化を行い、前記第２の条件を満たした場合には前記第２符号化を行うように判定する、
動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化プログラム、及び動画像符号化方法に関する。
【背景技術】
【０００２】
動画像圧縮規格の一つであるＨ．２６５（ＩＳＯ／ＩＥＣ  ２３００８−２  ＨＥＶＣ）（以下、ＨＥＶＣ（High Efficiency Video Coding）と呼ぶ。）は、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（以下、Ｈ．２６４と呼ぶ。）に後続する規格である。Ｈ．２６４では、１６×１６画素に固定されていた符号化ブロックのサイズを、ＨＥＶＣでは、２Ｍ×２Ｍ画素（Ｍ＝３，４，５，または６）に可変に設定することが可能である。
【０００３】
ＨＥＶＣでは、符号化単位ブロックのサイズを可変に設定することが可能であるため、ブロック分割パターンのバリエーションが増大し、圧縮性能を向上させる適切なブロック分割パターンを選択するための計算量も増大する。計算量を減少させるために、ブロックのサイズが最大符号化ブロックのサイズに近い場合、ブロックの縮小画像を使用して、ブロック分割パターンを選択するための計算を行う技術が存在する。
【０００４】
この技術では、ブロックの縮小画像を使用することで、ブロックの画素数を減少させ、ブロックの画素値に基づいて算出される符号化歪みを含む、評価値の計算量を減少させる。評価値は、ブロックの分割判定に使用される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２２３１３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、縮小画像は、縮小前に周波数帯域を制限して折り返し雑音を抑制しているため、画像の複雑度が高い領域では、縮小画像を使用して算出される符号化歪みが、原画像を使用して算出される符号化歪みと比較して、小さくなる傾向がある。これにより、符号化歪みを含む評価値も小さくなり、評価値を使用して行われる符号化ブロックの分割判定が適切に行われず、圧縮性能が低下する場合がある。
【０００７】
本発明は、１つの側面として、符号化ブロックの分割判定に縮小画像を使用した場合であっても、圧縮性能を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
１つの実施形態では、複雑度算出部が、複数の対象ブロックの各々について、各々の画素値に関連する値に基づいて複雑度を算出する。複数の対象ブロックは、原画像を縮小した縮小画像を複数個に分割した複数の第１ブロックの何れかのブロックと、何れかのブロックを複数個に分割した複数の第２ブロックと、を含む。補正部は、複数の対象ブロックの各々について、各々の縮小画像画素値に基づいて符号化歪みを算出し、複雑度が大きくなるにしたがって大きくなるように、各々の符号化歪みを補正する。評価値算出部は、複数の対象ブロックの各々について、補正された各々の符号化歪みに基づいて各々の評価値を算出する。判定部は、第１評価値が第２評価値より小さい第１の条件を満たす場合は、何れかのブロックに対応する原画像画素値を使用して動画像を符号化する第１符号化を行うように判定する。第１評価値は、第１ブロックの何れかのブロックの評価値であり、第２評価値は、複数の第２ブロックの評価値の総和である。また、判定部は、第１評価値が第２評価値以上で、かつ、第２ブロックのサイズが最小サイズに達している第２の条件を満たす場合は、第２ブロックに対応する原画像画素値を使用して動画像を符号化する第２符号化を行うように判定する。また、判定部は、第３の条件を満たす場合は、第１の条件、または、第２の条件を満たすまで、第２ブロックを第１ブロックに設定した際の複数の対象ブロックの各々について、複雑度の算出、符号化歪みの補正、及び評価値の算出を行うように判定する。第３の条件は、第１評価値が第２評価値以上で、かつ、第２ブロックのサイズが最小サイズに達していない、という条件である。また、判定部は、第１の条件を満たした場合には、第１符号化を行い、第２の条件を満たした場合には第２符号化を行うように判定する。
【発明の効果】
【０００９】
本発明は、１つの側面として、符号化ブロックの分割判定に縮小画像を使用した場合であっても、圧縮性能を向上させることを可能とする。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る動画像符号化装置の機能の一例を示すブロック図である。
【図２】実施形態に係るブロック分割判定部の機能の一例を示すブロック図である。
【図３】実施形態に係る縮小画像ブロック分割部の機能の一例を示すブロック図である。
【図４Ａ】ブロックの分割の一例を示す線図である。
【図４Ｂ】ブロックの分割の一例を示す線図である。
【図５Ａ】補正値決定の一例を示す線図である。
【図５Ｂ】補正値決定の一例を示す線図である。
【図６】実施形態に係る動画像符号化装置のハードウェア構成の一例を示すブロック図である。
【図７】実施形態に係るブロック分割判定処理の流れの一例を示すフローチャートである。
【図８Ａ】ブロックの分割の一例を示す線図である。
【図８Ｂ】ブロックの分割の一例を示す線図である。
【図８Ｃ】ブロックの分割の一例を示す線図である。
【図８Ｄ】ブロックの分割の一例を示す線図である。
【図９】実施形態に係るブロック分割判定処理の流れの一例を示すフローチャートである。
【図１０Ａ】ブロック分割判定処理の概念を説明するための線図である。
【図１０Ｂ】ブロック分割判定処理の概念を説明するための線図である。
【図１０Ｃ】ブロック分割判定処理の概念を説明するための線図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して実施形態の一例を詳細に説明する。
【００１２】
図１に例示するように、動画像符号化装置１０は、画像縮小部２０１、縮小画像メモリ２０２、縮小画像画面内予測部２０３、縮小画像画面間ブロック予測部２０４、及び縮小画像ブロック分割部２０５を含む、ブロック分割判定部２００を含む。また、動画像符号化装置１０は、フレーム分割部２０６及びブロック分割部２０７を含む。また動画像符号化装置１０は、動画像符号化部の一部分である、直交変換部２０８、画面内予測部２０９、画面間ブロック予測部２１０、ループフィルタ２１１、及び局所復号画像メモリ２１２を含む。また、動画像符号化装置１０は、動画像符号化部の一部分である符号化制御部２１３、量子化部２１４、逆量子化部２１５、逆直交変換部２１６、可変長符号化部２１７及び加算器２１８を含む。
【００１３】
フレーム分割部２０６は、動画像を入力し、動画像の原画像フレームの各々を所定の最大サイズの原画像ブロックに分割して原画像ブロックを出力する。ブロック分割部２０７は、フレーム分割部２０６から原画像ブロック、画面内予測部２０９から画面内予測ブロック、画面間ブロック予測部２１０から画面間予測ブロック及び縮小画像ブロック分割部２０５からブロック分割情報を入力する。ブロック分割部２０７は、ブロック分割情報に基づいて、原画像ブロックを符号化単位の原画像ブロックに分割する。
【００１４】
ブロック分割部２０７は、分割された原画像ブロック毎の予測モードを決定し、画面内予測ブロックまたは画面間予測ブロックを使用して符号化単位の原画像ブロック毎に予測モード情報に応じた予測誤差ブロックを生成し、出力する。直交変換部２０８は、ブロック分割部２０７から予測誤差ブロックを入力し、予測誤差ブロックに対して周波数変換を行い、変換係数を出力する。
【００１５】
量子化部２１４は、直交変換部２０８から変換係数及び符号化制御部２１３から量子化値を入力し、変換係数及び量子化値に基づいて量子化変換係数を生成し、出力する。可変長符号化部２１７は、量子化部２１４から量子化変換係数を入力し、量子化変換係数を可変長符号化することで、符号化ストリーム及び発生情報量を生成し、出力する。符号化制御部２１３は、可変長符号化部２１７から発生情報量を入力し、発生情報量に基づいて量子化値を算出し、出力する。
【００１６】
逆量子化部２１５は、量子化部２１４から量子化変換係数を入力し、逆量子化を行うことで、量子化変換係数を逆量子化変換係数に変換し、出力する。逆直交変換部２１６は、逆量子化部２１５から逆量子化変換係数を入力し、逆直交変換を行うことで、逆量子化変換係数から予測誤差復号ブロックを生成し、出力する。加算器２１８は、ブロック分割部２０７から出力された予測誤差ブロックと、逆直交変換部２１６から出力された予測誤差復号ブロックと、を加算したブロックを生成し、出力する。
【００１７】
ループフィルタ２１１は、加算器２１８から出力されたブロックを入力し、各ブロックを結合した場合の各ブロック間の凹凸などを滑らかにするデブロッキングフィルタを適用することで、局所復号ブロックを生成し、出力する。局所復号画像メモリ２１２は、ループフィルタ２１１から出力された局所復号ブロック、及び加算器２１８から出力されたブロックを入力し、記憶すると共に、局所復号ブロックを出力する。
【００１８】
画面内予測部２０９は、フレーム分割部２０６から原画像ブロック、及び局所復号画像メモリ２１２から局所復号ブロック、を入力し、原画像ブロック及び局所復号ブロックに基づいて、符号化対象ブロックの周辺画素から画面内予測ブロックを生成し、出力する。画面間ブロック予測部２１０は、フレーム分割部２０６から原画像ブロック、及び局所復号画像メモリ２１２から局所復号ブロックを入力する。画面間ブロック予測部２１０は、原画像ブロック及び局所復号ブロックに基づいて、符号化対象ブロックと比較して誤差の小さいブロックを参照フレームから特定し、特定したブロックを予測ブロックとして特定し、画面間予測ブロックを出力する。
【００１９】
画像縮小部２０１は、動画像を入力し、動画像の原画像フレームの各々から縮小画像を生成し、原画像と共に出力する。縮小画像メモリ２０２は、画像縮小部２０１から縮小画像及び原画像を入力し、縮小画像及び原画像を記憶し、縮小画像の原画像ブロック及び原画像ブロックを生成し、縮小画像の原画像ブロック及び原画像ブロックを出力する。縮小画像画面内予測部２０３は、縮小画像メモリ２０２から縮小画像の原画像ブロックを入力し、縮小画像の画面内予測ブロックを生成し、出力する。縮小画像画面間ブロック予測部２０４は、縮小画像メモリ２０２から縮小画像の原画像ブロックを入力し、縮小画像の画面間予測ブロックを生成し、出力する。
【００２０】
縮小画像ブロック分割部２０５は、縮小画像メモリ２０２から縮小画像の原画像ブロック及び原画像ブロック、縮小画像画面内予測部２０３から画面内予測ブロック、縮小画像画面間ブロック予測部２０４から画面間予測ブロックを入力する。縮小画像ブロック分割部２０５は、縮小画像の原画像ブロック、原画像ブロック、画面内予測ブロック及び画面間予測ブロックに基づいてブロック分割情報を生成し、出力する。
【００２１】
次に、ブロック分割判定部２００の作用について詳細に説明する。ブロック分割判定部２００は、図２に例示するように、画像縮小部２０１、縮小画像メモリ２０２、縮小画像画面内予測部２０３、及び縮小画像画面間ブロック予測部２０４及び縮小画像ブロック分割部２０５を含む。画像縮小部２０１は、動画像を入力し、動画像の原画像フレームの各々を所定の縮小率で縮小し、縮小画像を出力する。縮小画像メモリ２０２は、縮小画像を受け取り、縮小画像の各々を所定のサイズの縮小画像ブロックである複数の第１ブロックに仮に分割し、更に何れかの第１ブロックを複数の第２ブロックに仮に分割して、出力する。
【００２２】
また、縮小画像メモリ２０２は、動画像を入力し、動画像の原画像フレームを第１ブロックと対応する原画像ブロック及び第２ブロックと対応する原画像ブロックに仮に分割して、出力する。以下、区別する必要がない場合、第１ブロック及び第１ブロックに含まれる複数の第２ブロックを対象ブロックとも呼ぶ。また、ここでは、縮小画像メモリ２０２で、第１ブロックまたは第２ブロックへ分割すること、及び、第１ブロック及び第２ブロックと対応する原画像ブロックへ分割することを、仮に分割する、と称する。ブロック分割部２０７での原画像ブロックへの分割と区別するためである。
【００２３】
第１ブロックは、例えば、図４Ａに例示するブロックであり、第２ブロックは、第１ブロックを複数分割、例えば、４分割したブロックである。なお、第１ブロックに対応する原画像ブロックのサイズは、２Ｍ画素×２Ｍ画素（例えば、Ｍ＝４，５，または６）であってよく、第２ブロックが第１ブロックを４分割したブロックである場合、第２ブロックに対応する原画像ブロックのサイズは、第１ブロックに対応する原画像ブロックのサイズの１／４である２Ｍ−１画素×２Ｍ−１画素であってよい。
【００２４】
縮小画像画面内予測部２０３は、縮小画像メモリ２０２から仮に分割された対象ブロックを受け取り、対象ブロックの各々に対応する縮小画像画面内予測ブロックを生成し、出力する。縮小画像画面間ブロック予測部２０４は、縮小画像メモリ２０２から仮に分割された対象ブロックを受け取り、対象ブロックの各々に対応する縮小画像画面間予測ブロックを生成する。縮小画像ブロック分割部２０５は、縮小画像メモリ２０２から仮に分割された対象ブロック及び仮に分割された対象ブロックの各々に対応する原画像ブロックを受け取る。また、縮小画像ブロック分割部２０５は、縮小画像画面内予測部２０３から対象ブロックの各々に対応する縮小画像画面内予測ブロックを受け取り、縮小画像画面間ブロック予測部２０４から対象ブロックの各々に対応する縮小画像画面間予測ブロックを受け取る。
【００２５】
縮小画像ブロック分割部２０５は、図３に例示するように、複雑度算出部２１、補正部２２、評価値算出部２３及び判定部２４を含む。複雑度算出部２１は、複数の対象ブロックの各々について、複数の対象ブロックの各々に対応する原画像ブロックの画素値に基づいて複雑度を算出する。原画像ブロックの画素値は、対象ブロックの各々の画素値に関連する値の一例である。
【００２６】
複雑度Ａｃｔは、画像が均一でない度合いを表す物理量である。複雑度は、例えば、（１）式で算出した対象ブロックに対応する原画像ブロック内の原画像画素値ｐｘｌｉ（ｉ＝１〜２Ｌ×２Ｌ）の平均値Ａｖｅを、（２）式で示すように、原画像ブロック内の原画像画素値ｐｘｌｉの各々から減算した値の絶対値の総和である差分絶対値和によって算出することができる。（１）式及び（２）式において、第１ブロックについては、Ｌ＝Ｍであり、第２ブロックについては、Ｌ＝Ｍ−１である。
【数１】
2018110321.tif 000003
2018110321.tif 000004
【００２７】
補正部２２は、複数の対象ブロックの各々について、各々の縮小画像画素値に基づいて符号化歪みＷを算出し、複雑度Ａｃｔが大きくなるにしたがって大きくなるように、各々の符号化歪みＷを補正する。符号化歪みＷは、例えば、縮小画像画素値の各々と縮小画像画素値の各々に対応する縮小画面内予測画像画素値との差分絶対値和、または、縮小画像画素値の各々と縮小画像画素値の各々に対応する縮小画面間予測画像画素値との差分絶対値和であってよい。縮小画像画素値は、縮小画像の各画素の画素値であり、縮小画面内予測画像画素値は、縮小画面内予測画像の画素値であり、縮小画面間予測画像画素値は、縮小画面間予測画像の画素値である。符号化歪みＷには、縮小画像の縮小率に基づいて調整係数が乗算されていてもよい。
【００２８】
符号化歪みＷは、符号化ブロックの分割判定に使用する評価値に含まれる値である。縮小画像画素値に基づいて符号化歪みＷを算出すると、縮小画像では画素が間引かれ、原画像と比較して画素数が低減されているため、計算量を低減することができる。一方で、縮小による周波数の折り返し雑音を抑制するために、原画像を縮小する前に周波数帯域を制限する。したがって、複雑度Ａｃｔが大きい領域では、縮小画像画素値に基づいて算出された符号化歪みＷは、対応する原画像画素値に基づいて算出された符号化歪みＷよりも小さくなる傾向がある。
【００２９】
即ち、複雑度Ａｃｔが大きい領域では、符号化歪みＷを含む評価値が小さくなる傾向があり、判定部２４による符号化ブロックの分割判定が適切に行われず、圧縮性能が低下する場合がある。したがって、符号化ブロックの分割判定が適切に行われるように、複雑度Ａｃｔが大きくなるにしたがって大きくなるように、符号化歪みＷを補正する。
【００３０】
例えば、補正値αを、（３）式に示すように、縮小画像画素値に基づいて算出した符号化歪みＷに加算することで、符号化歪みＷを補正して、補正後の符号化歪みＣＷを算出する。
ＣＷ＝α＋Ｗ  …（３）
【００３１】
補正値αは、複雑度Ａｃｔが大きくなるにしたがって大きくなる値であり、例えば、図５Ａに例示するように、複雑度Ａｃｔが閾値Ｔｈ１を越えるとα１、複雑度Ａｃｔが閾値Ｔｈ１より大きい閾値Ｔｈ２を越えると、α１より大きいα２、となるように段階的に大きくなる値であってよい。以下、閾値をＴｈ３、Ｔｈ４、Ｔｈ５（Ｔｈ２＜Ｔｈ３＜Ｔｈ４＜Ｔｈ５）としたとき、補正値はα３、α４、α５（α２＜α３＜α４＜α５）となる。
【００３２】
評価値算出部２３は、複数の対象ブロックの各々について、補正された各々の符号化歪みＣＷに基づいて各々の評価値Ｅを算出する。評価値Ｅは、（４）式に示すように、補正後の符号化歪みＣＷとラグランジュ定数（正の定数）λを符号化情報量Ｂに乗算した値とを加算することで算出される。符号化情報量Ｂは、例えば、対象ブロックを動画像符号化した際の符号量であってよい。
Ｅ＝ＣＷ＋λＢ  …（４）
【００３３】
判定部２４は、対象ブロックである第１ブロックの評価値Ｅが、第１ブロックを複数個に分割した複数の第２ブロックの評価値Ｅの総和より小さい場合、原画像の第１ブロックに相当する部分の原画像画素値を使用して動画像符号化を行うことを判定する。また、判定部２４は、第１ブロックの評価値Ｅが、第２ブロックの評価値Ｅの総和以上である場合、第２ブロックが所定の最小サイズであるか否か判定する。判定が否定された場合、判定部２４は、複数の第２ブロックを複数の第１ブロックに設定し、設定した第１ブロックの何れかに対して上記の処理を繰り返す。第２ブロックが所定の最小サイズであると判定された場合、判定部２４は、複数の第２ブロックの原画像画素値を使用して動画像符号化を行うことを判定する。
【００３４】
なお、原画像ブロックの所定の最大サイズは、例えば、２ｍａｘ×２ｍａｘ画素（ｍａｘ＝４，５，または６）であってよく、原画像ブロックの所定の最小サイズは、例えば、２ｍｉｎ×２ｍｉｎ画素（ｍｉｎ＝３，４，または、５、ｍｉｎ≦ｍａｘ−１）であってよい。上記した通り、第１ブロックに対応する原画像ブロックのサイズは、２Ｍ画素×２Ｍ画素（Ｍ＝４、５、または６（Ｍ≦ｍａｘ））であってよく、第２ブロックが第１ブロックを４分割したブロックである場合、第２ブロックに対応する原画像ブロックのサイズは、第１ブロックに対応する原画像ブロックの１／４である２Ｍ−１画素×２Ｍ−１画素（Ｍ−１≧ｍｉｎ）であってよい。
【００３５】
なお、評価値算出部２３は、画面内予測画像を用いて算出した画面内予測評価値、及び、画面間予測画像を用いて算出した画面間予測評価値を算出する。判定部２４は、画面内予測評価値及び画面間予測評価値の内、小さいほうの評価値に対応する予測モードを用いることを判定する。なお、予測モードの判定に用いられる評価値Ｅは（５）式で表される評価値Ｅであってよい。即ち、符号化歪みＷは補正値αによって補正されていなくてもよい。
Ｅ＝Ｗ＋λＢ  …（５）
【００３６】
ブロック分割判定部２００は、上記処理を繰り返すことで、縮小画像のブロック分割パターン及びブロック毎の予測モードを判定し、ブロック分割情報として、出力する。
【００３７】
動画像符号化装置１０は、一例として、図６に示すように、ＣＰＵ（Central Processing Unit）３１、一次記憶部３２、二次記憶部３３、及び外部インターフェイス３４を含む。ＣＰＵ３１は、ハードウェアであるプロセッサの一例である。ＣＰＵ３１、一次記憶部３２、二次記憶部３３、及び外部インターフェイス３４は、バス３９を介して相互に接続されている。
【００３８】
一次記憶部３２は、例えば、ＲＡＭ（Random Access Memory）などの揮発性のメモリである。二次記憶部３３は、例えば、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの不揮発性のメモリである。
【００３９】
二次記憶部３３は、プログラム格納領域３３Ａ及びデータ格納領域３３Ｂを含む。プログラム格納領域３３Ａは、一例として、動画像符号化プログラムなどのプログラムを記憶している。データ格納領域３３Ｂは、一例として、動画像符号化前後の動画像画像信号および動画像符号化プログラムを実行している間に生成される中間データなどを記憶する。
【００４０】
ＣＰＵ３１は、プログラム格納領域３３Ａから動画像符号化プログラムを読み出して一次記憶部３２に展開する。ＣＰＵ３１は、動画像符号化プログラムを実行することで、図３の複雑度算出部２１、補正部２２、評価値算出部２３、及び判定部２４を含む図１及び図３の各構成要素として動作する。
【００４１】
なお、動画像符号化プログラムなどのプログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶部３２に展開されてもよい。また、動画像符号化プログラムなどのプログラムは、ＤＶＤ（Digital Versatile Disc）などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶部３２に展開されてもよい。
【００４２】
外部インターフェイス３４には外部装置が接続され、外部インターフェイス３４は、外部装置とＣＰＵ３１との間の各種情報の送受信を司る。
【００４３】
なお、動画像符号化装置１０は、動画像符号化のための専用装置であってよいが、本実施形態は、これに限定されない。例えば、動画像符号化装置１０は、パーソナルコンピュータ、スマートフォンなどの汎用装置であってよい。また、動画像符号化装置１０は、例えば、ネットワーク上に配置されたコンピュータであってよい。
【００４４】
ネットワーク上に配置されたコンピュータを動画像符号化装置１０とする場合、コンピュータに動画像符号化プログラムを格納する。コンピュータは、ネットワークを介して取得した動画像符号化前の動画像を使用して動画像符号化処理を行い、動画像符号化後の動画像を、ネットワークを介して送信する。
【００４５】
次に、縮小画像ブロック分割部２０５で行われるブロック分割判定処理の流れについて説明する。図７に例示するように、ＣＰＵ３１は、ステップ１１１で、例えば、図４Ａに例示する第１ブロックの複雑度を算出する。ＣＰＵ３１は、ステップ１１２で、第１ブロックの評価値を算出する。評価値は、例えば、上記画面内予測評価値及び画面間予測評価値を含む。ＣＰＵ３１は、ステップ１１３で、画面内予測評価値及び画面間予測評価値の内、小さいほうの評価値に対応する予測モードを決定する。ＣＰＵ３１は、ステップ１１４で、複雑度が大きくなるにしたがって符号化歪みが大きくなるように、第１ブロックの評価値を補正する。補正される評価値は、ステップ１１３で決定された予測モードに対応する評価値である。
【００４６】
ＣＰＵ３１は、ステップ１１５で、例えば、図４Ｂに例示する第２ブロックの各々の複雑度を算出する。ＣＰＵ３１は、ステップ１１６で、第２ブロックの各々の評価値を算出する。評価値は、例えば、上記画面内予測評価値及び画面間予測評価値を含む。ＣＰＵ３１は、ステップ１１７で、画面内予測評価値及び画面間予測評価値の内、小さいほうの評価値に対応する予測モードを決定する。ＣＰＵ３１は、ステップ１１８で、複雑度が大きくなるにしたがって符号化歪みが大きくなるように、第２ブロックの評価値の各々を補正する。補正される評価値は、ステップ１１７で決定された予測モードに対応する評価値である。
【００４７】
ＣＰＵ３１は、ステップ１１９で、第１評価値の一例である第１ブロックの補正後評価値と、第２評価値の一例である複数の第２ブロックの補正後評価値の総和とを比較する。第１ブロックの補正後評価値が第２ブロックの補正後評価値の総和より小さい場合、ＣＰＵ３１は、ステップ１２０で、第１ブロックを分割しない、即ち、第１ブロックを動画像符号化する、と判定する。また、ＣＰＵ３１は、未処理の第１ブロックがある場合、未処理の第１ブロックについて上述したブロック分割判定処理を行う、と判定する。
【００４８】
第１ブロックの補正後評価値が第２ブロックの補正後評価値の総和以上である場合、ＣＰＵ３１は、ステップ１２１で、第１ブロックを分割する、と判定する。また、ＣＰＵ３１は、第１ブロックを分割したブロックである第２ブロックのサイズが所定の最小サイズに達していない場合、第２ブロックを第１ブロックに設定し、ブロック分割判定処理を行う、と判定する。また、ＣＰＵ３１は、第２ブロックのサイズが所定の最小サイズに達している場合は、第２ブロックを動画像符号化する、と判定する。
【００４９】
図８Ａは、第１ブロックの境界を実線で例示し、第２ブロックの境界を破線で例示する。図８Ｂは、図８Ａの第１ブロック及び第２ブロックについて、ステップ１１９の判定が否定された場合、即ち、第１ブロックを分割する、と判定された場合を例示する。図８Ｂでは、図８Ａの４個の第２ブロックの内の何れかのブロックを第１ブロックに設定し、即ち、第１ブロックの境界を実線で例示し、例えば、左上の第１ブロックについてブロック分割判定処理を行う場合の第２ブロックの境界を破線で例示する。
【００５０】
図８Ｃは、図８Ｂの第１ブロック及び第２ブロックについて、ステップ１１９の判定が肯定された場合、即ち、第１ブロックを第２ブロックに分割しない、と判定された場合を例示する。図８Ｃでは、未処理の右上の第１ブロックについてブロック分割判定処理を行う場合の第２ブロックの境界を破線で例示する。
【００５１】
図８Ｄは、図８Ｃの第１ブロック及び第２ブロックについて、ステップ１１９の判定が否定された場合、即ち、第１ブロックを第２ブロックに分割する、と判定された場合を例示する。図８Ｄでは、第２ブロックが最小サイズに達しているため、第２ブロックで動画像符号化を行うことを判定し、未処理の左下の第１ブロックについてブロック分割判定処理を行う場合の第２ブロックの境界を破線で例示する。なお、上記では、図８Ｂに例示する４個の第１ブロックについて、左上、右上、左下、右下の順序で処理する例について説明したが、本実施形態はこれに限定されない。
【００５２】
なお、上記ブロック分割判定処理は、図９に例示するように、行われてもよい。ＣＰＵ３１は、ステップ１２１で、変数ｎに０を設定する。ＣＰＵ３１は、ステップ１２２で、図１０Ａに細い実線で例示するように、原画像フレームを２ｍｉｎ＋ｎ×２ｍｉｎ＋ｎ画素（ｍｉｎ＝３、４、または５）、即ち、２ｍｉｎ×２ｍｉｎ画素の原画像ブロックＡ１、Ａ２、…に分割し、各々の原画像ブロックについて複雑度を算出する。ＣＰＵ３１は、ステップ１２３で、２ｍｉｎ×２ｍｉｎ画素の各々のブロックについて、対応する縮小画像ブロックの画素値を用いて評価値を算出する。
【００５３】
ＣＰＵ３１は、ステップ１２４で、２ｍｉｎ×２ｍｉｎ画素の各々の原画像ブロックについて予測モードを決定する。即ち、ＣＰＵ３１は、ステップ１２３で、上記したように、画面内予測評価値及び画面間予測評価値を算出し、画面内予測評価値及び画面間予測評価値の内、小さいほうの評価値に対応する予測モードを使用することを決定する。ＣＰＵ３１は、ステップ１２５で、２ｍｉｎ×２ｍｉｎ画素の各々の原画像ブロックについて、複雑度が大きくなるにしたがって、評価値の符号化歪みが大きくなるように、評価値を補正する。補正される評価値は、ステップ１２４で決定された予測モードに対応する評価値である。
【００５４】
ＣＰＵ３１は、ステップ１２６で、ｎに１を加算し、ステップ１２７で、ｍｉｎ＋ｎがｍａｘ（ｍａｘ＝４、５または６、ｍａｘ＞ｍｉｎ）を越えたか否か判定する。判定が否定された場合、ＣＰＵ３１は、ステップ１２２に戻る。
【００５５】
ＣＰＵ３１は、ステップ１２２で、図１０Ｂに細い実線で例示するように、原画像フレームを２ｍｉｎ＋ｎ×２ｍｉｎ＋ｎ画素（ｍｉｎ＝３、４、または５）、即ち、２ｍｉｎ＋１×２ｍｉｎ＋１画素のブロックＢ１、Ｂ２、…に分割し、各々のブロックについて複雑度を算出する。ＣＰＵ３１は、ステップ１２３で、２ｍｉｎ＋１×２ｍｉｎ＋１画素の各々のブロックについて、対応する縮小画像ブロックの画素値を用いて評価値を算出する。
【００５６】
ＣＰＵ３１は、ステップ１２４で、２ｍｉｎ＋１×２ｍｉｎ＋１画素の各々のブロックについて予測モードを決定する。ＣＰＵ３１は、ステップ１２５で、２ｍｉｎ＋１×２ｍｉｎ＋１画素の各々のブロックについて、複雑度が大きくなるにしたがって、評価値の符号化歪みが大きくなるように、評価値を補正する。補正される評価値は、ステップ１２４で決定された予測モードに対応する評価値である。ＣＰＵ３１は、ステップ１２６で、ｎに１を加算する。
【００５７】
ステップ１２７で、判定が肯定されるまで、ＣＰＵ３１は、ステップ１２２〜１２６の処理を繰り返す。ステップ１２７の判定が肯定されると、即ち、２Ｎ×２Ｎ画素の各々のブロック（Ｎ＝ｍｉｎ〜ｍａｘ、Ｎは整数）について、ステップ１２２〜ステップ１２６の処理が完了すると、ＣＰＵ３１は、ステップ１２８で、ｎに０を設定する。
【００５８】
ＣＰＵ３１は、ステップ１２９で、動画像符号化するために、第１ブロックに対応する２ｍｉｎ＋ｎ＋１×２ｍｉｎ＋ｎ＋１画素の原画像ブロックを、第２ブロックに対応する２ｍｉｎ＋ｎ×２ｍｉｎ＋ｎ画素の原画像ブロックに分割するか否か決定する。即ち、図１０Ａ及び図１０Ｂの例によれば、図１０ＢのブロックＢ１に対応する図１０Ａの矩形ＡＡ１に含まれる４個のブロックＡ１〜Ａ４を使用して動画像符号化を行うか否か、について決定する。図１０ＢのブロックＢ１である２ｍｉｎ＋ｎ＋１×２ｍｉｎ＋ｎ＋１画素、即ち、２ｍｉｎ＋１×２ｍｉｎ＋１画素のブロックの補正後評価値を第１評価値とする。また、図１０Ａの矩形ＡＡ１に含まれる４個のブロック２ｍｉｎ＋ｎ×２ｍｉｎ＋ｎ画素、即ち、２ｍｉｎ×２ｍｉｎ画素のブロックＡ１〜Ａ４の補正後評価値の総和を第２評価値とする。第１評価値と第２評価値とを比較し、第１評価値が第２評価値より小さい場合には、ブロックＢ１を分割しない、ことを判定する。また、第１評価値が第２評価値以上である場合、ブロックＢ１を分割する、即ち、ブロックＡ１〜Ａ４を動画像符号化する、ことを判定する。
【００５９】
図１０Ｂの全てのブロックＢ１、Ｂ２、Ｂ３、…についてブロックを分割するか否か判定した後、ＣＰＵ３１は、ステップ１３０で、ｎに１を加算し、ステップ１３１で、ｍｉｎ＋ｎがｍａｘ−１を越えたか否か判定する。判定が否定された場合、ＣＰＵ３１は、ステップ１２９に戻り、第１評価値と第２評価値とを比較し、第１評価値が第２評価値以下である場合には、ブロックＣ１を分割しない、ことを判定する。また、第１評価値が第２評価値以上である場合には、ブロックＣ１を分割する、即ち、ブロックＢ１〜Ｂ４を動画像符号化する、ことを判定する。第１評価値は、第１ブロックに対応する図１０Ｃの２ｍｉｎ＋ｎ＋１×２ｍｉｎ＋ｎ＋１画素、即ち、２ｍｉｎ＋２×２ｍｉｎ＋２画素の原画像ブロックＣ１の評価値である。また、第２評価値は、図１０Ｂの矩形ＢＢ１に含まれる４個の２ｍｉｎ＋ｎ×２ｍｉｎ＋ｎ画素、即ち、２ｍｉｎ＋１×２ｍｉｎ＋１画素のブロックＢ１〜Ｂ４の評価値の総和である
【００６０】
図１０Ｃの全てのブロックＣ１、Ｃ２、Ｃ３、…についてブロックを分割するか否か判定した後、ＣＰＵ３１は、ステップ１３０で、ｎに１を加算し、ステップ１３１で、ｍｉｎ＋ｎがｍａｘ−１を越えたか否か判定する。
【００６１】
ステップ１３１の判定が否定された場合、ＣＰＵ３１は、ステップ１２９に戻り、ステップ１３１の判定が肯定された場合、ＣＰＵ３１は、ブロック分割判定処理を終了する。これにより、全てのサイズの全てのブロックについて容易に網羅的なブロック分割判定処理を行うことができる。
【００６２】
なお、図７及び図９の例において、大きいサイズのブロックについては、本実施形態を適用して、符号化ブロックの分割判定を行い、小さいサイズのブロックについては、本実施形態を適用せず、符号化ブロックの分割判定を行うようにしてもよい。大きいサイズのブロックとは、最大サイズに近いサイズのブロックであり、小さいサイズのブロックとは、最小サイズに近いサイズのブロックである。即ち、大きいサイズのブロックについては、符号化ブロックの分割判定に、縮小画像を使用して算出した符号化歪みを複雑度が大きくなるにしたがって大きくなるように補正した評価値を使用する。一方で、小さいサイズのブロックについては、符号化ブロックの分割判定に縮小画像を使用しないようにしてもよい。
【００６３】
なお、上記では、図４Ａに例示するブロックを図４Ｂに例示するように４個に分割する例について説明したが、本実施形態はこれに限定されない。例えば、ブロックを１６個に分割するようにしてもよい。
【００６４】
なお、予測モードを決定する際に使用する画面内予測評価値及び画面間予測評価値は、符号化歪みを補正する前の評価値であってもよいし、符号化歪みを補正した後の評価値であってもよい。また、上記では、予測モードが２つである場合について説明したが、本実施形態はこれに限定されない。予測モードは３つ以上であってもよい。
【００６５】
なお、上記では、複雑度を、ブロック毎の原画像画素値の平均値と原画像画素値の各々との差分絶対値和を算出することで決定する例について説明したが、本実施形態は、これに限定されない。例えば、ブロック毎の原画像画素値の分散値を複雑度として算出してもよい。また、ブロック毎の縮小画像画素値の平均値と縮小画像画素値の各々との差分絶対値和を算出することで、複雑度を決定してもよい。また、ブロック毎の縮小画像画素値の分散値を複雑度として算出してもよい。
【００６６】
また、原画像画素値に代えて原画像画素値に基づく予測誤差画像画素値を使用して複雑度を算出してもよいし、縮小画像画素値に代えて縮小画像画素値に基づく予測誤差画像画素値を使用して複雑度を算出してもよい。予測誤差画像の画素値の各々は、例えば、画面間予測または画面内予測に基づく予測画像の画素値と対応する原画像画素値または縮小画像画素値との誤差値である。画面間予測においては、誤差値を求める前に、動きベクトル分、原画像または縮小画像をシフトする処理を行ってもよい。
【００６７】
なお、上記では、符号化歪みを縮小画像と予測画像の差分絶対値和を算出することで決定する例について説明したが、本実施形態は、これに限定されない。例えば、縮小画像による予測誤差をアダマール変換し、その係数の絶対値和を符号化歪みとして算出してもよい。
【００６８】
なお、上記では、符号化歪みを補正する際に、図５Ａで決定されるαを符号化歪みに加算する例について説明したが、本実施形態は、これに限定されない。例えば、図５Ａで決定されるα（α≧１．０）を符号化歪みに乗算するようにしてもよい。また、図５Ｂで決定される連続的に増加するαを符号化歪みに加算するようにしてもよい。図５Ｂでは、複雑度Ｔｈ１１から複雑度Ｔｈ１２まで、αがα１１からα１２まで直線的に増加する例を示す。しかし、本実施形態はこれに限定されず、αは、複雑度Ａｃｔが大きくなるにしたがって大きくなっていればよい。また、図５Ｂで決定されるα（α≧１．０）を符号化歪みに乗算するようにしてもよい。
【００６９】
なお、図１〜図３のブロック図は、一例であり、ブロック図における構成要素の各々の位置は適宜変更することができる。また、構成要素の各々は、適宜統合されてもよいし、または、分割されてもよい。図７及び図９のフローチャートは、一例であり、フローチャートにおける処理の順序は適宜変更することができる。処理の各々は、適宜統合されてもよいし、または分割されてもよい。
【００７０】
本実施形態では、複雑度算出部が、複数の対象ブロックの各々について、各々の画素値に関連する値に基づいて複雑度を算出する。複数の対象ブロックは、原画像を縮小した縮小画像を複数個に分割した複数の第１ブロックの何れかのブロックと、何れかのブロックを複数個に分割した複数の第２ブロックと、を含む。補正部は、複数の対象ブロックの各々について、各々の縮小画像画素値に基づいて符号化歪みを算出し、複雑度が大きくなるにしたがって大きくなるように、各々の符号化歪みを補正する。評価値算出部は、複数の対象ブロックの各々について、補正された各々の符号化歪みに基づいて各々の評価値を算出する。判定部は、第１評価値が第２評価値より小さい第１の条件を満たす場合は、何れかのブロックに対応する原画像画素値を使用して動画像を符号化する第１符号化を行うように判定する。第１評価値は、第１ブロックの何れかのブロックの評価値であり、第２評価値は、複数の第２ブロックの評価値の総和である。また、判定部は、第１評価値が第２評価値以上で、かつ、第２ブロックのサイズが最小サイズに達している第２の条件を満たす場合は、第２ブロックに対応する原画像画素値を使用して動画像を符号化する第２符号化を行うように判定する。また、判定部は、第３の条件を満たす場合は、第１の条件、または、第２の条件を満たすまで、第２ブロックを第１ブロックに設定した際の複数の対象ブロックの各々について、複雑度の算出、符号化歪みの補正、及び評価値の算出を行うように判定する。第３の条件は、第１評価値が第２評価値以上で、かつ、第２ブロックのサイズが最小サイズに達していない、という条件である。また、判定部は、第１の条件を満たした場合には、第１符号化を行い、第２の条件を満たした場合には第２符号化を行うように判定する。
【００７１】
縮小画像画素値に基づいて符号化歪みを算出すると、縮小画像では原画像と比較して画素数が低減されているため、計算量を低減することができる。一方で、縮小による周波数の折り返し雑音を抑制するために、原画像を縮小する前に周波数帯域を制限する。したがって、複雑度が高い領域では、縮小画像画素値に基づいて算出された符号化歪みは、原画像画素値に基づいて算出された符号化歪みよりも小さくなる傾向がある。
【００７２】
本実施形態では、符号化ブロックの分割判定が適切に行われるように、複雑度が大きくなるにしたがって大きくなるように、符号化歪みを補正する。これにより、本実施形態では、符号化ブロックの分割判定に縮小画像を使用した場合であっても、圧縮性能を向上させることを可能とする。
【００７３】
以上の各実施形態に関し、更に以下の付記を開示する。
【００７４】
（付記１）
原画像を縮小した縮小画像を複数個に分割した複数の第１ブロックの何れかのブロックと、前記何れかのブロックを複数個に分割した複数の第２ブロックと、を含む複数の対象ブロックの各々について、各々の画素値に関連する値に基づいて複雑度を算出する複雑度算出部と、
前記複数の対象ブロックの各々について、各々の縮小画像画素値に基づいて符号化歪みを算出し、前記複雑度が大きくなるにしたがって大きくなるように、各々の符号化歪みを補正する補正部と、
前記複数の対象ブロックの各々について、補正された前記各々の符号化歪みに基づいて各々の評価値を算出する評価値算出部と、
前記第１ブロックの何れかのブロックの第１評価値と、前記複数の第２ブロックの評価値の総和である第２評価値と、を用いて、前記第１評価値が前記第２評価値より小さい第１の条件を満たす場合は、前記何れかのブロックに対応する原画像画素値を使用して動画像を符号化する第１符号化を行い、前記第１評価値が前記第２評価値以上で、かつ、前記第２ブロックのサイズが最小サイズに達している第２の条件を満たす場合は、前記第２ブロックに対応する原画像画素値を使用して動画像を符号化する第２符号化を行い、前記第１評価値が前記第２評価値以上で、かつ、前記第２ブロックのサイズが前記最小サイズに達していない第３の条件を満たす場合は、前記第１の条件、または、前記第２の条件を満たすまで、前記第２ブロックを前記第１ブロックに設定した際の複数の対象ブロックの各々について、前記複雑度の算出、前記符号化歪みの補正、及び前記評価値の算出を行い、前記第１の条件を満たした場合には、前記第１符号化を行い、前記第２の条件を満たした場合には前記第２符号化を行うように判定する判定部と、
を含む動画像符号化装置。
（付記２）
前記符号化歪みは、前記対象ブロックの前記縮小画像画素値の各々と対応する予測画素値の各々との差に基づいて算出される、
付記１の動画像符号化装置。
（付記３）
前記対象ブロックの複雑度は、前記対象ブロックの予測誤差画像画素値、前記原画像画素値、または、前記縮小画像画素値の分散値、或いは、前記対象ブロックの予測誤差画像画素値の平均値と前記対象ブロックの予測誤差画像画素値の各々との差分絶対値和、前記対象ブロックの原画像画素値の平均値と前記対象ブロックの原画像画素値の各々との差分絶対値和、または、前記対象ブロックの縮小画像画素値の平均値と前記対象ブロックの縮小画像画素値の差分絶対値和である、
付記１または付記２の動画像符号化装置。
（付記４）
前記補正部は、前記複雑度が大きくなるにしたがって、前記符号化歪みが段階的に、または、連続的に増加するように補正する、
付記１〜付記３の何れかの動画像符号化装置。
（付記５）
前記第１符号化及び第２符号化を行う動画像符号化部、
をさらに含む、
付記１〜付記４の何れかの動画像符号化装置。
（付記６）
原画像を縮小した縮小画像を複数個に分割した複数の第１ブロックの何れかのブロックと、前記何れかのブロックを複数個に分割した複数の第２ブロックと、を含む複数の対象ブロックの各々について、各々の画素値に関連する値に基づいて複雑度を算出し、
前記複数の対象ブロックの各々について、各々の縮小画像画素値に基づいて符号化歪みを算出し、前記複雑度が大きくなるにしたがって大きくなるように、各々の符号化歪みを補正し、
前記複数の対象ブロックの各々について、補正された前記各々の符号化歪みに基づいて各々の評価値を算出し、
前記第１ブロックの何れかのブロックの第１評価値と、前記複数の第２ブロックの評価値の総和である第２評価値と、を用いて、前記第１評価値が前記第２評価値より小さい第１の条件を満たす場合は、前記何れかのブロックに対応する原画像画素値を使用して動画像を符号化する第１符号化を行い、前記第１評価値が前記第２評価値以上で、かつ、前記第２ブロックのサイズが最小サイズに達している第２の条件を満たす場合は、前記第２ブロックに対応する原画像画素値を使用して動画像を符号化する第２符号化を行い、前記第１評価値が前記第２評価値以上で、かつ、前記第２ブロックのサイズが前記最小サイズに達していない第３の条件を満たす場合は、前記第１の条件、または、前記第２の条件を満たすまで、前記第２ブロックを前記第１ブロックに設定した際の複数の対象ブロックの各々について、前記複雑度の算出、前記符号化歪みの補正、及び前記評価値の算出を行い、前記第１の条件を満たした場合には、前記第１符号化を行い、前記第２の条件を満たした場合には前記第２符号化を行うように判定する、
動画像符号化処理をコンピュータに実行させるためのプログラム。
（付記７）
前記符号化歪みは、前記対象ブロックの前記縮小画像画素値の各々と対応する予測画素値の各々との差に基づいて算出される、
付記６のプログラム。
（付記８）
前記対象ブロックの複雑度は、前記対象ブロックの予測誤差画像画素値、前記原画像画素値、または、前記縮小画像画素値の分散値、或いは、前記対象ブロックの予測誤差画像画素値の平均値と前記対象ブロックの予測誤差画像画素値の各々との差分絶対値和、前記対象ブロックの原画像画素値の平均値と前記対象ブロックの原画像画素値の各々との差分絶対値和、または、前記対象ブロックの縮小画像画素値の平均値と前記対象ブロックの縮小画像画素値の差分絶対値和である、
付記６または付記７のプログラム。
（付記９）
前記複雑度が大きくなるにしたがって、前記符号化歪みが段階的に、または、連続的に増加するように補正する、
付記６〜付記８の何れかのプログラム。
（付記１０）
前記第１符号化及び前記第２符号化を行う、
付記６〜付記９の何れかのプログラム。
（付記１１）
コンピュータが、
原画像を縮小した縮小画像を複数個に分割した複数の第１ブロックの何れかのブロックと、前記何れかのブロックを複数個に分割した複数の第２ブロックと、を含む複数の対象ブロックの各々について、各々の画素値に関連する値に基づいて複雑度を算出し、
前記複数の対象ブロックの各々について、各々の縮小画像画素値に基づいて符号化歪みを算出し、前記複雑度が大きくなるにしたがって大きくなるように、各々の符号化歪みを補正し、
前記複数の対象ブロックの各々について、補正された前記各々の符号化歪みに基づいて各々の評価値を算出し、
前記第１ブロックの何れかのブロックの第１評価値と、前記複数の第２ブロックの評価値の総和である第２評価値と、を用いて、前記第１評価値が前記第２評価値より小さい第１の条件を満たす場合は、前記何れかのブロックに対応する原画像画素値を使用して動画像を符号化する第１符号化を行い、前記第１評価値が前記第２評価値以上で、かつ、前記第２ブロックのサイズが最小サイズに達している第２の条件を満たす場合は、前記第２ブロックに対応する原画像画素値を使用して動画像を符号化する第２符号化を行い、前記第１評価値が前記第２評価値以上で、かつ、前記第２ブロックのサイズが前記最小サイズに達していない第３の条件を満たす場合は、前記第１の条件、または、前記第２の条件を満たすまで、前記第２ブロックを前記第１ブロックに設定した際の複数の対象ブロックの各々について、前記複雑度の算出、前記符号化歪みの補正、及び前記評価値の算出を行い、前記第１の条件を満たした場合には、前記第１符号化を行い、前記第２の条件を満たした場合には前記第２符号化を行うように判定する、
動画像符号化方法。
（付記１２）
前記符号化歪みは、前記対象ブロックの前記縮小画像画素値の各々と対応する予測画素値の各々との差に基づいて算出される、
付記１１の動画像符号化方法。
（付記１３）
前記対象ブロックの複雑度は、前記対象ブロックの予測誤差画像画素値、前記原画像画素値、または、前記縮小画像画素値の分散値、或いは、前記対象ブロックの予測誤差画像画素値の平均値と前記対象ブロックの予測誤差画像画素値の各々との差分絶対値和、前記対象ブロックの原画像画素値の平均値と前記対象ブロックの原画像画素値の各々との差分絶対値和、または、前記対象ブロックの縮小画像画素値の平均値と前記対象ブロックの縮小画像画素値の差分絶対値和である、
付記１１または付記１２の動画像符号化方法。
（付記１４）
前記複雑度が大きくなるにしたがって、前記符号化歪みが段階的に、または、連続的に増加するように補正する、
付記１１〜付記１３の何れかの動画像符号化方法。
（付記１５）
前記第１符号化及び前記第２符号化を行う、
付記１１〜付記１４の何れかの動画像符号化方法。
【符号の説明】
【００７５】
２１  複雑度算出部
２２  補正部
２３  評価値算出部
２４  判定部
３１  ＣＰＵ
３２  一次記憶部
３３  二次記憶部
【図１】
2018110321.tif 000005
【図２】
2018110321.tif 000006
【図３】
2018110321.tif 000007
【図４Ａ】
2018110321.tif 000008
【図４Ｂ】
2018110321.tif 000009
【図５Ａ】
2018110321.tif 000010
【図５Ｂ】
2018110321.tif 000011
【図６】
2018110321.tif 000012
【図７】
2018110321.tif 000013
【図８Ａ】
2018110321.tif 000014
【図８Ｂ】
2018110321.tif 000015
【図８Ｃ】
2018110321.tif 000016
【図８Ｄ】
2018110321.tif 000017
【図９】
2018110321.tif 000018
【図１０Ａ】
2018110321.tif 000019
【図１０Ｂ】
2018110321.tif 000020
【図１０Ｃ】
2018110321.tif 000021