(57)【要約】      （修正有）【課題】予測モードを決定する際の処理の負荷を抑制した予測モード判定処理の判定精度を向上させる。【解決手段】動画像符号化装置１００の画面内予測部１２０は、各予測ブロックの評価用の第２予測画像を各予測ブロックの周辺の符号化前の原画素または原画素および復号画素に基づいて生成する処理を、画面内予測の複数の予測モード毎に実行する予測画像生成部１３０と、符号化対象の予測ブロックの原画像と符号化対象の予測ブロックの第２予測画像との差分に基づいて、モード評価値を複数の予測モード毎に算出する評価値算出部１３２と、画像の複雑度を算出する複雑度算出部１３４と、画像の量子化で使用される量子化パラメータの値と複雑度とに基づいて、モード評価値を補正する評価値補正部１３６と、予測画像の生成に使用する予測モードを、モード評価値に基づいて決定するモード決定部１３８とを有する。【選択図】図１
2017152851.tif 000002
【特許請求の範囲】
【請求項１】
画面内予測の予測画像を画面内予測の処理単位に対応する予測ブロック毎に生成する画面内予測部と、前記予測画像を用いて画像を符号化する符号化部とを有する動画像符号化装置において、
前記画面内予測部は、
各予測ブロックの評価用の第２予測画像を各予測ブロックの周辺の符号化前の原画素または符号化前の原画素および符号化後の画素を復号した復号画素に基づいて生成する処理を、画面内予測の予測方向を規定する複数の予測モード毎に実行する予測画像生成部と、
前記予測画像の生成に使用する予測モードを決定する際に参照されるモード評価値を、符号化対象の予測ブロックの原画像と前記符号化対象の予測ブロックの前記第２予測画像との差分に基づいて、前記複数の予測モード毎に算出する評価値算出部と、
画像の複雑度を算出する複雑度算出部と、
原画素に基づいて生成された前記第２予測画像を用いて前記モード評価値を算出した場合、前記符号化部による画像の量子化で使用される量子化パラメータの値と前記複雑度とに基づいて、前記モード評価値を補正する評価値補正部と、
前記予測画像の生成に使用する予測モードを、前記モード評価値に基づいて決定するモード決定部とを有し、
前記予測画像生成部は、前記モード決定部により決定された予測モードに基づいて、前記予測画像を生成する
ことを特徴とする動画像符号化装置。
【請求項２】
請求項１に記載の動画像符号化装置において、
前記複雑度算出部は、前記符号化対象の予測ブロックの周辺の画素を含む画像の前記複雑度を算出する
ことを特徴とする動画像符号化装置。
【請求項３】
請求項１に記載の動画像符号化装置において、
前記複雑度算出部は、前記符号化対象の予測ブロックの原画像の前記複雑度を算出する
ことを特徴とする動画像符号化装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の動画像符号化装置において、
前記評価値補正部は、前記量子化パラメータの値に基づいてオフセット値を算出し、前記複雑度に基づいて前記オフセット値を補正し、補正した前記オフセット値を前記モード評価値に加算することにより、前記モード評価値を補正する
ことを特徴とする動画像符号化装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の動画像符号化装置において、
前記評価値補正部は、前記量子化パラメータの値が大きくなるにしたがい、前記モード評価値を大きくする補正を実行し、前記複雑度が小さくなるにしたがい、前記モード評価値を小さくする補正を実行し、
前記モード決定部は、前記複数の予測モードのうち、前記モード評価値が最小な予測モードを、各予測ブロックの予測モードに決定する
ことを特徴とする動画像符号化装置。
【請求項６】
請求項４に記載の動画像符号化装置において、
前記評価値補正部は、前記量子化パラメータの値が大きくなるにしたがい大きくなる前記オフセット値に、前記複雑度が小さくなるにしたがい小さくなる補正係数を乗じて、前記オフセット値を補正し、
前記モード決定部は、前記複数の予測モードのうち、前記モード評価値が最小な予測モードを、各予測ブロックの予測モードに決定する
ことを特徴とする動画像符号化装置。
【請求項７】
請求項６に記載の動画像符号化装置において、
前記補正係数は、前記複雑度が小さくなるにしたがい段階的に小さくなる
ことを特徴とする動画像符号化装置。
【請求項８】
請求項６に記載の動画像符号化装置において、
前記補正係数は、前記複雑度が予め設定された閾値より小さい場合、０より大きく１より小さい第１の値に設定され、前記複雑度が予め設定された閾値以上の場合、前記第１の値より大きく１以下の第２の値に設定される
ことを特徴とする動画像符号化装置。
【請求項９】
画面内予測の予測画像を画面内予測の処理単位に対応する予測ブロック毎に生成し、前記予測画像を用いて画像を符号化する動画像符号化方法において、
各予測ブロックの評価用の第２予測画像を各予測ブロックの周辺の符号化前の原画素または符号化前の原画素および符号化後の画素を復号した復号画素に基づいて生成する処理を、画面内予測の予測方向を規定する複数の予測モード毎に実行し、
前記予測画像の生成に使用する予測モードを決定する際に参照されるモード評価値を、符号化対象の予測ブロックの原画像と前記符号化対象の予測ブロックの前記第２予測画像との差分に基づいて、前記複数の予測モード毎に算出し、
画像の複雑度を算出し、
原画素に基づいて生成された前記第２予測画像を用いて前記モード評価値を算出した場合、前記符号化部による画像の量子化で使用される量子化パラメータの値と前記複雑度とに基づいて、前記モード評価値を補正し、
前記予測画像の生成に使用する予測モードを、前記モード評価値に基づいて決定し、
前記モード評価値に基づいて決定した予測モードに基づいて、前記予測画像を生成する
ことを特徴とする動画像符号化方法。
【請求項１０】
画面内予測の予測画像を画面内予測の処理単位に対応する予測ブロック毎に生成し、前記予測画像を用いて画像を符号化する動画像符号化処理をコンピュータに実行させる動画像符号化プログラムにおいて、
各予測ブロックの評価用の第２予測画像を各予測ブロックの周辺の符号化前の原画素または符号化前の原画素および符号化後の画素を復号した復号画素に基づいて生成する処理を、画面内予測の予測方向を規定する複数の予測モード毎に実行し、
前記予測画像の生成に使用する予測モードを決定する際に参照されるモード評価値を、符号化対象の予測ブロックの原画像と前記符号化対象の予測ブロックの前記第２予測画像との差分に基づいて、前記複数の予測モード毎に算出し、
画像の複雑度を算出し、
原画素に基づいて生成された前記第２予測画像を用いて前記モード評価値を算出した場合、前記符号化部による画像の量子化で使用される量子化パラメータの値と前記複雑度とに基づいて、前記モード評価値を補正し、
前記予測画像の生成に使用する予測モードを、前記モード評価値に基づいて決定し、
前記モード評価値に基づいて決定した予測モードに基づいて、前記予測画像を生成する
ことを特徴とする動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化方法および動画像符号化プログラムに関する。
【背景技術】
【０００２】
Ｈ．２６４およびＨ．２６５等の動画圧縮規格では、画像の時間的類似性を利用した画面間予測（インター予測）および画像の空間的類似性を利用した画面内予測（イントラ予測）が動画像の符号化に使用される。Ｈ．２６４等では、画面内予測の予測方向を規定する複数の予測モードが存在する。例えば、Ｈ．２６４等に準拠した動画像符号化装置は、画面内予測の処理単位に対応する符号化対象ブロック毎に、周辺の符号化後の画素を復号した復号画素を参照して予測画像を生成する。また、動画像符号化装置は、符号化対象ブロック（原画像）と予測画像との差分に基づいて評価値を算出する。そして、動画像符号化装置は、複数の予測モードのうち、画面内予測の最終的な予測画像の生成に使用する予測モードを各予測モードの評価値に基づいて決定する。
【０００３】
画面内予測の最終的な予測画像の生成に使用する予測モードを決定する予測モード判定処理では、評価値は、全ての予測モードで算出される。例えば、評価値を算出するための予測画像（以下、評価値算出用の予測画像とも称する）を復号画素を参照して生成する方法では、評価値を算出するために、画素の符号化処理および復号処理が全ての符号化対象ブロックで実行される。したがって、４×４画素、８×８画素、１６×１６画素等の複数のサイズの符号化対象ブロックに対応する動画像符号化装置は、最終的な符号化とは別に、評価値を算出するための画素の符号化処理および復号処理を、複数のサイズの符号化対象ブロック毎に実行する。このため、評価値算出用の予測画像を復号画素を参照して生成する方法では、評価値算出用の予測画像を符号化前の原画素を参照して生成する方法に比べて、予測モード判定処理の負荷が増加する。
【０００４】
なお、原画素を参照して生成された予測画像から算出される評価値は、画像を符号化する際の処理の１つである量子化で発生する誤差が反映されないため、画像の符号化に使用される予測画像から算出される評価値と異なる場合がある。以下、原画素を参照して生成される予測画像から算出される評価値と、画像の符号化に使用される予測画像から算出される評価値との差は、評価値の誤差とも称される。
【０００５】
評価値の誤差を低減する方法として、原画素を参照して生成された予測画像から算出した評価値を量子化で使用される量子化パラメータの値に基づいて補正する画像符号化方法が提案されている（例えば、特許文献１参照）。
【０００６】
また、原画素を含む参照原画像に対してフィルタ処理を実行し、フィルタ処理後の参照原画像を参照して予測画像を生成する動画像符号化装置が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−４１１９１号公報
【特許文献２】特開２０１０−１８３１６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
量子化で発生する誤差は、量子化パラメータの値が変化しない場合でも、画像の複雑度等に伴う画質の違いによって変化する場合がある。このため、評価値を量子化パラメータの値のみに基づいて補正する方法では、画質によって、評価値を適切に補正できない場合がある。この場合、適切な予測モードを選択することは困難である。
【０００９】
また、フィルタ処理後の参照原画像を参照して予測画像を生成する方法では、参照原画像がフィルタ処理前後で画素値がほとんど変化しない平坦な画像である場合、量子化で発生する誤差等に起因する評価値の誤差の発生を抑制できないおそれがある。
【００１０】
評価値の誤差が大きくなるほど、予測画像の生成に使用する予測モードを決定する際の判定精度が低下する。
【００１１】
１つの側面では、本件開示の動画像符号化装置、動画像符号化方法および動画像符号化プログラムは、予測モードを決定する際の処理の負荷を抑制した予測モード判定処理の判定精度を向上させることを目的とする。
【課題を解決するための手段】
【００１２】
一観点によれば、動画像符号化装置は、画面内予測の予測画像を画面内予測の処理単位に対応する予測ブロック毎に生成する画面内予測部と、予測画像を用いて画像を符号化する符号化部とを有し、画面内予測部は、各予測ブロックの評価用の第２予測画像を各予測ブロックの周辺の符号化前の原画素または符号化前の原画素および符号化後の画素を復号した復号画素に基づいて生成する処理を、画面内予測の予測方向を規定する複数の予測モード毎に実行する予測画像生成部と、予測画像の生成に使用する予測モードを決定する際に参照されるモード評価値を、符号化対象の予測ブロックの原画像と符号化対象の予測ブロックの第２予測画像との差分に基づいて、複数の予測モード毎に算出する評価値算出部と、画像の複雑度を算出する複雑度算出部と、原画素に基づいて生成された第２予測画像を用いてモード評価値を算出した場合、符号化部による画像の量子化で使用される量子化パラメータの値と複雑度とに基づいて、モード評価値を補正する評価値補正部と、予測画像の生成に使用する予測モードを、モード評価値に基づいて決定するモード決定部とを有し、予測画像生成部は、モード決定部により決定された予測モードに基づいて、予測画像を生成する。
【００１３】
別の観点によれば、画面内予測の予測画像を画面内予測の処理単位に対応する予測ブロック毎に生成し、予測画像を用いて画像を符号化する動画像符号化方法では、各予測ブロックの評価用の第２予測画像を各予測ブロックの周辺の符号化前の原画素または符号化前の原画素および符号化後の画素を復号した復号画素に基づいて生成する処理を、画面内予測の予測方向を規定する複数の予測モード毎に実行し、予測画像の生成に使用する予測モードを決定する際に参照されるモード評価値を、符号化対象の予測ブロックの原画像と符号化対象の予測ブロックの第２予測画像との差分に基づいて、複数の予測モード毎に算出し、画像の複雑度を算出し、原画素に基づいて生成された第２予測画像を用いてモード評価値を算出した場合、符号化部による画像の量子化で使用される量子化パラメータの値と複雑度とに基づいて、モード評価値を補正し、予測画像の生成に使用する予測モードを、モード評価値に基づいて決定し、モード評価値に基づいて決定した予測モードに基づいて、予測画像を生成する。
【００１４】
別の観点によれば、画面内予測の予測画像を画面内予測の処理単位に対応する予測ブロック毎に生成し、予測画像を用いて画像を符号化する動画像符号化処理をコンピュータに実行させる動画像符号化プログラムは、各予測ブロックの評価用の第２予測画像を各予測ブロックの周辺の符号化前の原画素または符号化前の原画素および符号化後の画素を復号した復号画素に基づいて生成する処理を、画面内予測の予測方向を規定する複数の予測モード毎に実行し、予測画像の生成に使用する予測モードを決定する際に参照されるモード評価値を、符号化対象の予測ブロックの原画像と符号化対象の予測ブロックの第２予測画像との差分に基づいて、複数の予測モード毎に算出し、画像の複雑度を算出し、原画素に基づいて生成された第２予測画像を用いてモード評価値を算出した場合、符号化部による画像の量子化で使用される量子化パラメータの値と複雑度とに基づいて、モード評価値を補正し、予測画像の生成に使用する予測モードを、モード評価値に基づいて決定し、モード評価値に基づいて決定した予測モードに基づいて、予測画像を生成する。
【発明の効果】
【００１５】
本件開示の動画像符号化装置、動画像符号化方法および動画像符号化プログラムは、予測モードを決定する際の処理の負荷を抑制した予測モード判定処理の判定精度を向上させることができる。
【図面の簡単な説明】
【００１６】
【図１】動画像符号化装置、動画像符号化方法および動画像符号化プログラムの一実施形態を示す図である。
【図２】動画像符号化装置、動画像符号化方法および動画像符号化プログラムの別の実施形態を示す図である。
【図３】画面内予測の予測モードの一例を示す図である。
【図４】画面内予測の予測モード判定処理の流れの一例を示す図である。
【図５】モード評価値を補正するオフセット値の算出方法の一例を示す図である。
【図６】モード評価値を補正するオフセット値の算出方法の別の例を示す図である。
【図７】オフセット値を補正する補正係数の算出方法の一例を示す図である。
【図８】オフセット値を補正する補正係数の算出方法の別の例を示す図である。
【図９】画像の複雑度の算出方法の一例を示す図である。
【図１０】図２に示した画面内予測部の動作の一例を示す図である。
【図１１】図１０に示した予測モード判定処理の一例を示す図である。
【図１２】図１１に示した原画素を用いたモード評価値の算出処理の一例を示す図である。
【図１３】動画像符号化プログラムを実行するハードウェアの一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、実施形態について、図面を用いて説明する。
【００１８】
図１は、動画像符号化装置、動画像符号化方法および動画像符号化プログラムの一実施形態を示す。なお、図１では、符号化の処理単位に対応する符号化ブロックＣＢと画面内予測（イントラ予測）の処理単位に対応する予測ブロックＰＢ（ＰＢ１、ＰＢ２、ＰＢ３、ＰＢ４）の一例を括弧内に示す。符号化ブロックＣＢは、画像ＩＩＭＧを分割したブロックに対応し、予測ブロックＰＢは、符号化ブロックＣＢを分割したブロックに対応する。図１に示す例では、符号化ブロックＣＢのサイズは１６×１６画素であり、予測ブロックＰＢのサイズは８×８画素である。なお、符号化ブロックＣＢのサイズおよび予測ブロックＰＢのサイズは、図１に示す例に限定されない。また、予測ブロックＰＢの数は、４つに限定されない。
【００１９】
図１に示す動画像符号化装置１００は、ハードウェアのみで実現されてもよく、動画像符号化プログラム等のソフトウェアによりハードウェアを制御することにより実現されてもよい。例えば、動画像符号化プログラムは、動画像符号化装置１００の動作をコンピュータに実行させてもよい。
【００２０】
動画像符号化装置１００は、例えば、Ｈ．２６４等の動画圧縮規格に準拠した動画像符号化方法で画像ＩＩＭＧを符号化し、画像ＩＩＭＧを符号化して生成した符号化ストリームＣＳＴＭを外部に出力する。例えば、動画像符号化装置１００は、画像ＩＩＭＧの空間的類似性を利用した画面内予測を用いて符号化する処理を、符号化ブロックＣＢ毎に順次実行する。なお、各符号化ブロックＣＢ内の予測ブロックＰＢ１、ＰＢ２、ＰＢ３、ＰＢ４の各々の画像は、予測ブロックＰＢ１、ＰＢ２、ＰＢ３、ＰＢ４の順で符号化される。図１に示す例では、動画像符号化装置１００は、各予測ブロックＰＢの上側に隣接する参照画素ＲＰＸから予測した予測画像ＰＩＭＧｂに基づいて、画像ＩＩＭＧを符号化する。Ｈ．２６４等の動画圧縮規格では、参照画素ＲＰＸは、画面内予測の予測方向を規定する複数の予測モード毎に規定されている。図１に示す例は、Ｈ．２６４に規定された複数の予測モードのうちのモード０（以下、予測モード０とも称する）に対応する。画面内予測の最終的な予測画像ＰＩＭＧｂの生成に使用する予測モードは、動画像符号化装置１００の画面内予測部１２０により決定される。
【００２１】
例えば、動画像符号化装置１００は、画面内予測の予測画像ＰＩＭＧｂを予測ブロックＰＢ毎に生成する画面内予測部１２０と、予測画像ＰＩＭＧｂを用いて画像ＩＩＭＧを符号化する符号化部１４０とを有する。画面内予測部１２０は、予測画像生成部１３０、評価値算出部１３２、複雑度算出部１３４、評価値補正部１３６およびモード決定部１３８を有する。
【００２２】
予測画像生成部１３０は、画面内予測の最終的な予測画像ＰＩＭＧｂの生成に使用する予測モードを決定する予測モード判定処理では、各予測ブロックＰＢの評価用の第２予測画像ＰＩＭＧａを評価値算出部１３２に出力する。例えば、予測画像生成部１３０は、動画像符号化装置１００の外部から受ける画像ＩＩＭＧと、符号化部１４０から受ける復号画像ＥＩＭＧとを用いて、第２予測画像ＰＩＭＧａを生成する。復号画像ＥＩＭＧは、符号化ブロックＣＢの符号化後の画像を復号した画像である。
【００２３】
図１に示す例では、予測画像生成部１３０は、予測モード０の第２予測画像ＰＩＭＧａを生成する場合、予測ブロックＰＢ１、ＰＢ２の第２予測画像ＰＩＭＧａを、予測ブロックＰＢ１、ＰＢ２の上側に隣接する復号画素ＥＰＸ（濃い網掛け）に基づいて生成する。また、予測画像生成部１３０は、予測ブロックＰＢ３、ＰＢ４の第２予測画像ＰＩＭＧａを、予測ブロックＰＢ２、ＰＢ３の上側に隣接する原画素ＯＰＸ（薄い網掛け）に基づいて生成する。
【００２４】
ここで、予測ブロックＰＢ３、ＰＢ４の上側に隣接する原画素ＯＰＸは、予測ブロックＰＢ１、ＰＢ２内の一番下の画素である。したがって、予測ブロックＰＢ３の上側に隣接する原画素ＯＰＸは、予測モード判定処理の開始時では符号化されていないが、予測ブロックＰＢ３の画素を符号化する前に、符号化され、さらに復号される。同様に、予測ブロックＰＢ４の上側に隣接する原画素ＯＰＸは、予測モード判定処理の開始時では符号化されていないが、予測ブロックＰＢ４の画素を符号化する前に、符号化され、さらに復号される。
【００２５】
予測ブロックＰＢ１、ＰＢ２の上側に隣接する復号画素ＥＰＸは、符号化ブロックＣＢの上側に隣接する符号化ブロックＣＢ内の画素であるため、予測モード判定処理を開始する前に、符号化され、さらに復号される。例えば、復号画素ＥＰＸは、符号化部１４０から予測画像生成部１３０に転送される復号画像ＥＩＭＧに含まれる。
【００２６】
このように、予測画像生成部１３０は、予測モード判定処理の開始時に、予測モードで規定される参照画素ＲＰＸが符号化されていない場合、符号化前の原画素ＯＰＸを参照して第２予測画像ＰＩＭＧａを生成する。第２予測画像ＰＩＭＧａを生成するための原画素ＯＰＸの符号化処理および復号処理を省くことができるため、全ての参照画素ＲＰＸで復号画素ＥＰＸを使用する場合に比べて、予測モード判定処理の負荷を低減することができる。
【００２７】
なお、第２予測画像ＰＩＭＧａを生成する処理は、予測モード毎に実行される。すなわち、予測画像生成部１３０は、各予測ブロックＰＢの第２予測画像ＰＩＭＧａを各予測ブロックＰＢの周辺の符号化前の原画素ＯＰＸまたは符号化前の原画素ＯＰＸおよび符号化後の画素を復号した復号画素ＥＰＸに基づいて生成する処理を、予測モード毎に実行する。なお、ベースは原画素ＯＰＸで、原画素ＯＰＸに復号画素ＥＰＸを加えて第２予測画像ＰＩＭＧａを生成できる。
【００２８】
予測モード判定処理により、予測画像ＰＩＭＧｂの生成に使用する予測モードが決定した場合、予測画像生成部１３０は、予測画像ＰＩＭＧｂの生成に使用する予測モードを示す情報ＭＩＮＦをモード決定部１３８から受ける。そして、予測画像生成部１３０は、モード決定部１３８で決定された予測モードに基づいて予測画像ＰＩＭＧｂを生成し、生成した予測画像ＰＩＭＧｂを符号化部１４０に出力する。
【００２９】
評価値算出部１３２は、画像ＩＩＭＧを動画像符号化装置１００の外部から受け、各予測ブロックＰＢの第２予測画像ＰＩＭＧａを予測モード毎に予測画像生成部１３０から受ける。そして、評価値算出部１３２は、符号化対象の予測ブロックＰＢの第２予測画像ＰＩＭＧａと画像ＩＩＭＧとの差分に基づいてモード評価値を予測モード毎に算出し、算出したモード評価値を示す情報ＥＩＮＦａを評価値補正部１３６に出力する。以下、情報ＥＩＮＦａで示されるモード評価値は、モード評価値ＥＩＮＦａとも称される。モード評価値ＥＩＮＦａは、予測画像ＰＩＭＧｂの生成に使用する予測モードを決定する際に参照される評価値である。例えば、モード評価値ＥＩＮＦａは、値が小さくなるほど、第２予測画像ＰＩＭＧａと画像ＩＩＭＧとの差分が小さくなり、画像ＩＩＭＧを符号化した際の符号化量が小さくなることを示す。
【００３０】
複雑度算出部１３４は、画像ＩＩＭＧを動画像符号化装置１００の外部から受け、画像の複雑度を示す情報ＡＣＴを評価値補正部１３６に出力する。以下、情報ＡＣＴで示される複雑度は、複雑度ＡＣＴとも称される。複雑度ＡＣＴは、例えば、値が小さくなるほど、画像が平坦（すなわち、濃淡の差が小さい画像）になることを示す。
【００３１】
例えば、複雑度算出部１３４は、符号化対象の予測ブロックＰＢの左側に隣接する画素および上側に隣接する画素を含む画像の複雑度を複雑度ＡＣＴとして算出する。なお、複雑度算出部１３４は、予測モード毎に規定された参照画素ＲＰＸを含む参照画像の複雑度を複雑度ＡＣＴとして算出してもよい。あるいは、複雑度算出部１３４は、符号化対象の予測ブロックＰＢの画像の複雑度を、複雑度ＡＣＴとして算出してもよい。すなわち、複雑度算出部１３４は、符号化対象の予測ブロックＰＢの画像の複雑度を複雑度ＡＣＴとして算出してもよいし、符号化対象の予測ブロックＰＢの周辺の画素を含む画像の複雑度を複雑度ＡＣＴとして算出してもよい。
【００３２】
評価値補正部１３６は、モード評価値を示す情報ＥＩＮＦａ、画像の複雑度を示す情報ＡＣＴおよび量子化パラメータの値を示す情報ＱＰを、評価値算出部１３２、複雑度算出部１３４および符号化部１４０からそれぞれ受ける。量子化パラメータは、符号化部１４０が量子化を実行する際の量子化幅を決定するパラメータである。以下、情報ＱＰで示される量子化パラメータの値は、量子化パラメータ値ＱＰとも称される。
【００３３】
評価値補正部１３６は、評価値算出部１３２が原画素ＯＰＸに基づいて生成された第２予測画像ＰＩＭＧａを用いてモード評価値ＥＩＮＦａを算出した場合、量子化パラメータ値ＱＰと画像の複雑度ＡＣＴとに基づいて、モード評価値ＥＩＮＦａを補正する。例えば、評価値補正部１３６は、量子化パラメータ値ＱＰが大きくなるにしたがい、モード評価値ＥＩＮＦａを大きくする補正を実行する。これにより、符号化部１４０による画像ＩＩＭＧの量子化で発生する誤差（以下、量子化誤差とも称する）に起因するモード評価値ＥＩＮＦａの誤差を補正することができる。なお、モード評価値ＥＩＮＦａの誤差は、画像ＩＩＭＧの符号化に使用される予測画像ＰＩＭＧｂから算出されるモード評価値とモード評価値ＥＩＮＦａとの差である。
【００３４】
例えば、モード評価値ＥＩＮＦａの補正に使用される量子化パラメータ値ＱＰは、符号化対象の符号化ブロックＣＢの量子化で使用される量子化パラメータ値ＱＰである。なお、モード評価値ＥＩＮＦａの補正に使用される量子化パラメータ値ＱＰは、符号化対象の符号化ブロックＣＢの参照画像の量子化で使用された量子化パラメータ値ＱＰでもよい。
【００３５】
また、評価値補正部１３６は、画像の複雑度ＡＣＴが小さくなるにしたがい、モード評価値ＥＩＮＦａを小さくする補正を実行する。これにより、モード評価値ＥＩＮＦａを量子化パラメータ値ＱＰのみに基づいて補正する場合に比べて、画像ＩＩＭＧの複雑度等に伴う画質の違いによって変化する量子化誤差に起因する補正量の誤差を小さくすることができる。補正量の誤差は、量子化パラメータ値ＱＰに基づく補正量とモード評価値ＥＩＮＦａの誤差との差に対応する。
【００３６】
そして、評価値補正部１３６は、モード評価値ＥＩＮＦａを補正することで生成したモード評価値を示す情報ＥＩＮＦｂをモード決定部１３８に出力する。以下、情報ＥＩＮＦｂで示されるモード評価値は、モード評価値ＥＩＮＦｂとも称される。すなわち、モード評価値ＥＩＮＦｂは、補正後のモード評価値ＥＩＮＦａである。
【００３７】
なお、評価値補正部１３６は、復号画素ＥＰＸに基づいて生成された第２予測画像ＰＩＭＧａを用いて算出されたモード評価値ＥＩＮＦａを、補正しない。したがって、評価値補正部１３６は、評価値算出部１３２が復号画素ＥＰＸに基づいて生成された第２予測画像ＰＩＭＧａを用いてモード評価値ＥＩＮＦａを算出した場合、モード評価値ＥＩＮＦａをモード評価値ＥＩＮＦｂとしてモード決定部１３８に出力する。
【００３８】
モード決定部１３８は、予測画像ＰＩＭＧｂの生成に使用する予測モードを、モード評価値ＥＩＮＦｂに基づいて決定する。例えば、モード決定部１３８は、各予測ブロックＰＢにおける複数の予測モードのうち、モード評価値ＥＩＮＦｂが最小な予測モードを、各予測ブロックＰＢの予測モードに決定する。モード評価値ＥＩＮＦｂが量子化パラメータ値ＱＰおよび画像の複雑度ＡＣＴに基づいて補正されるため、モード決定部１３８は、予測画像ＰＩＭＧｂの生成に使用する予測モードを適切に決定できる。
【００３９】
そして、モード決定部１３８は、モード評価値ＥＩＮＦｂに基づいて決定した予測モードを示す情報ＭＩＮＦを、予測画像生成部１３０に出力する。情報ＭＩＮＦを受けた予測画像生成部１３０は、予測ブロックＰＢの周辺の復号画素ＥＰＸのうち、情報ＭＩＮＦで指定される予測モードに規定された参照画素ＲＰＸに対応する復号画素ＥＰＸを参照する。そして、予測画像生成部１３０は、予測ブロックＰＢの画素を参照画素ＲＰＸから予測して予測画像ＰＩＭＧｂを生成し、生成した予測画像ＰＩＭＧｂを符号化部１４０に出力する。
【００４０】
符号化部１４０は、画面内予測部１２０から受けた予測画像ＰＩＭＧｂを用いて、画像ＩＩＭＧを符号化する。例えば、符号化部１４０は、画像ＩＩＭＧと予測画像ＰＩＭＧｂとの差分を直交変換し、直交変換後のデータを量子化パラメータ値ＱＰに基づく量子化幅で量子化する。そして、符号化部１４０は、量子化後のデータを可変長符号化して符号化ストリームＣＳＴＭを生成する。また、符号化部１４０は、例えば、次に符号化する符号化ブロックＣＢの量子化パラメータ値ＱＰを符号化ストリームＣＳＴＭの情報量等に基づいて設定する。
【００４１】
さらに、符号化部１４０は、量子化後のデータを逆量子化し、逆量子化後のデータを逆直交変換する。そして、符号化部１４０は、逆直交変換後のデータと予測画像ＰＩＭＧｂとを加算して局所的な復号画像ＥＩＭＧを生成し、生成した復号画像ＥＩＭＧを画面内予測部１２０に出力する。
【００４２】
なお、動画像符号化装置１００の構成は、図１に示す例に限定されない。例えば、動画像符号化装置１００は、画像ＩＩＭＧの時間的類似性を利用した画面間予測（インター予測）を実行する機能を有してもよい。また、動画像符号化装置１００は、画像ＩＩＭＧを符号化ブロックＣＢに分割する分割部を画面内予測部１２０の外部に有してもよい。また、予測画像生成部１３０は、予測モード判定処理で使用する第２予測画像ＰＩＭＧａを生成する画像生成部と予測モード判定処理により決定した予測モードに基づく予測画像ＰＩＭＧｂを生成する画像生成部とに分かれて配置されてもよい。
【００４３】
以上、図１に示す実施形態では、画面内予測部１２０は、予測モード判定処理の開始時に参照画素ＲＰＸが符号化されていない場合、モード評価値ＥＩＮＦａの算出に使用する第２予測画像ＰＩＭＧａを符号化前の原画素ＯＰＸから生成する。原画素ＯＰＸの符号化処理および復号処理を省くことができるため、全ての第２予測画像ＰＩＭＧａの生成に復号画素ＥＰＸを使用する場合に比べて、予測モード判定処理の負荷を低減することができる。
【００４４】
また、画面内予測部１２０は、原画素ＯＰＸから生成した第２予測画像ＰＩＭＧａを用いてモード評価値ＥＩＮＦａを算出した場合、モード評価値ＥＩＮＦａを量子化パラメータ値ＱＰおよび画像の複雑度ＡＣＴに基づいて補正する。これにより、モード評価値ＥＩＮＦａを量子化パラメータ値ＱＰのみに基づいて補正する場合に比べて、量子化誤差に起因するモード評価値ＥＩＮＦａの誤差を適切に補正することができる。この結果、モード評価値ＥＩＮＦａを量子化パラメータ値ＱＰのみに基づいて補正する場合に比べて、予測画像ＰＩＭＧｂの生成に使用する予測モードを適切に決定することができる。このように、図１に示す実施形態は、予測モードを決定する際の処理の負荷を抑制した予測モード判定処理の判定精度を向上させることができる。
【００４５】
図２は、動画像符号化装置、動画像符号化方法および動画像符号化プログラムの別の実施形態を示す。図１で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図２に示す動画像符号化装置１０２は、ハードウェアのみで実現されてもよく、動画像符号化プログラム等のソフトウェアによりハードウェアを制御することにより実現されてもよい。例えば、動画像符号化プログラムは、動画像符号化装置１０２の動作をコンピュータに実行させてもよい。なお、動画像符号化装置１０２の構成は、図２に示す例に限定されない。
【００４６】
動画像符号化装置１０２は、例えば、Ｈ．２６４等の動画圧縮規格に準拠した動画像符号化方法で画像ＩＩＭＧを符号化し、画像ＩＩＭＧを符号化して生成した符号化ストリームＣＳＴＭを外部に出力する。動画像符号化装置１０２は、画像ＩＩＭＧの空間的類似性を利用した画面内予測（イントラ予測）または画像ＩＩＭＧの時間的類似性を利用した画面間予測（インター予測）を用いて、画像ＩＩＭＧを符号化ブロックＣＢ毎に符号化する。
【００４７】
例えば、動画像符号化装置１０２は、分割部１１０、画面間予測部１１２、画面内予測部１２２、選択部１４２、差分算出部１４４、直交変換部１４６、量子化部１４８、可変長符号化部１５０および制御部１５２を有する。さらに、動画像符号化装置１０２は、逆量子化部１５６、逆直交変換部１５８、加算部１６０、フィルタ部１６２およびメモリ１６８を有する。
【００４８】
分割部１１０は、例えば、動画像符号化装置１０２の外部から受ける複数の画像ＩＩＭＧを順次受ける。そして、分割部１１０は、画像ＩＩＭＧを複数の符号化ブロックＣＢに分割し、各符号化ブロックＣＢの画像ＩＩＭＧｃｂを画面間予測部１１２、画面内予測部１２２および差分算出部１４４に出力する。以下、画像ＩＩＭＧｃｂは、原画像ＩＩＭＧｃｂとも称される。
【００４９】
画面間予測部１１２は、復号画像ＥＩＭＧｂをフィルタ部１６２からメモリ１６８を介して受け、符号化対象の原画像ＩＩＭＧｃｂを分割部１１０から受け、画面間予測により生成した予測画像ＰＩＭＧｃを選択部１４２に出力する。復号画像ＥＩＭＧｂは、符号化後の画像を復号した画像ＥＩＭＧａ（以下、復号画像ＥＩＭＧａとも称する）に、フィルタ部１６２によるフィルタ処理を実行した画像である。
【００５０】
例えば、画面間予測部１１２は、復号画像ＥＩＭＧｂを参照画像として画面間予測を実行し、画面間予測により生成した予測画像ＰＩＭＧｃ、動きベクトル等を選択部１４２に出力する。動きベクトルは、動き補償と呼ばれる技術のパラメータであり、画面間の画像ＩＩＭＧの動き量を推定する情報である。例えば、動きベクトルは、復号済の画像内での参照画像の読み出し領域の位置を示す情報である。
【００５１】
画面内予測部１２２は、図１に示した画面内予測部１２０と同一または同様である。画面内予測部１２２は、原画像ＩＩＭＧｃｂを分割部１１０から受け、復号画像ＥＩＭＧａを加算部１６０からメモリ１６８を介して受ける。そして、画面内予測部１２２は、画面内予測により生成した予測画像ＰＩＭＧｂ、予測画像ＰＩＭＧｂの生成に使用した画面内予測の予測モードを示す情報等を選択部１４２に出力する。例えば、画面内予測部１２２は、図１に示した実施形態と同一または同様な予測画像生成部１３０、評価値算出部１３２、複雑度算出部１３４、評価値補正部１３６およびモード決定部１３８を有する。
【００５２】
例えば、予測画像生成部１３０は、予測モード判定処理では、各予測ブロックＰＢの画素を各予測ブロックＰＢの周辺の原画素ＯＰＸまたは復号画素ＥＰＸから予測して評価用の第２予測画像ＰＩＭＧａを生成する。そして、予測画像生成部１３０は、第２予測画像ＰＩＭＧａを評価値算出部１３２に出力する。また、予測画像生成部１３０は、予測モード判定処理により決定した予測モードに基づく参照画素ＲＰＸから予測ブロックＰＢの画素を予測して予測画像ＰＩＭＧｂを生成し、生成した予測画像ＰＩＭＧｂを選択部１４２に出力する。
【００５３】
評価値算出部１３２は、各予測ブロックＰＢの第２予測画像ＰＩＭＧａと原画像ＩＩＭＧｃｂとの差分に基づいてモード評価値ＥＩＮＦａを予測モード毎に算出し、モード評価値ＥＩＮＦａを示す情報ＥＩＮＦａを評価値補正部１３６に出力する。例えば、各予測ブロックＰＢのモード評価値ＥＩＮＦａは、原画像ＩＩＭＧｃｂの各画素の値ＰＸ（ｉ）と第２予測画像ＰＩＭＧａの各画素の値ＰＲＥＤ（ｉ）との差分絶対値和で表され、式（１）で表される。
【００５４】
ＥＩＮＦａ＝Σ｜ＰＸ（ｉ）−ＰＲＥＤ（ｉ）｜    ・・・（１）
例えば、予測ブロックＰＢのサイズが４×４画素の場合、値ＰＸ（ｉ）および値ＰＲＥＤ（ｉ）の”ｉ”は、１から１６までの整数である。予測ブロックＰＢのサイズが８×８画素の場合、値ＰＸ（ｉ）および値ＰＲＥＤ（ｉ）の”ｉ”は、１から６４までの整数である。また、予測ブロックＰＢのサイズが１６×１６画素の場合、値ＰＸ（ｉ）および値ＰＲＥＤ（ｉ）の”ｉ”は、１から２５６までの整数である。なお、モード評価値ＥＩＮＦａは、１つの予測ブロックＰＢに対して、複数の予測モード毎に算出される。
【００５５】
複雑度算出部１３４は、例えば、原画像ＩＩＭＧｃｂを分割部１１０から受け、画像の複雑度ＡＣＴを算出する。例えば、複雑度ＡＣＴは、複雑度ＡＣＴの算出に使用される領域の各画素の値ＡＰＸ（ｉ）を用いて、式（２）で表される。
【００５６】
ＡＣＴ＝（Σ｜ＡＰＸ（ｉ）−ＡＶＥ｜）／Ｎ    ・・・（２）
なお、式（２）の符号Ｎは、複雑度ＡＣＴの算出に使用される領域の画素数を示す。すなわち、値ＡＰＸ（ｉ）の”ｉ”は、１からＮまでの整数である。また、式（２）の符号ＡＶＥは、複雑度ＡＣＴの算出に使用される領域の各画素の値の平均値であり、式（３）で表される。
【００５７】
ＡＶＥ＝Σ（ＡＰＸ（ｉ））／Ｎ    ・・・（３）
複雑度ＡＣＴの算出に使用される領域は、図９に示すように、符号化対象の予測ブロックＰＢの参照画像でもよいし、符号化対象の予測ブロックＰＢの周辺の画像でもよい。あるいは、複雑度ＡＣＴの算出に使用される領域は、符号化対象の予測ブロックＰＢの原画像ＩＩＭＧｃｂでもよい。
【００５８】
評価値補正部１３６は、原画素ＯＰＸに基づいて生成された第２予測画像ＰＩＭＧａを用いて算出されたモード評価値ＥＩＮＦａを、量子化パラメータ値ＱＰおよび画像の複雑度ＡＣＴに基づいて補正する。これにより、モード評価値ＥＩＮＦｂが生成される。モード評価値ＥＩＮＦｂは、評価値補正部１３６からモード決定部１３８に転送される。
【００５９】
例えば、モード評価値ＥＩＮＦｂは、量子化パラメータ値ＱＰに依存するオフセット値ＯＦ（ＱＰ）と複雑度ＡＣＴに依存する補正係数α（ＡＣＴ）とを用いて、式（４）で表される。なお、オフセット値ＯＦの算出方法の一例は、図５および図６で説明する。また、補正係数αの算出方法の一例は、図７および図８で説明する。
【００６０】
ＥＩＮＦｂ＝ＥＩＮＦａ＋ＯＦ（ＱＰ）×α（ＡＣＴ）    ・・・（４）
このように、評価値補正部１３６は、モード評価値ＥＩＮＦａを補正するオフセット値ＯＦを量子化パラメータ値ＱＰに基づいて算出し、オフセット値ＯＦを補正する補正係数αを複雑度ＡＣＴに基づいて算出する。そして、評価値補正部１３６は、オフセット値ＯＦに補正係数αを乗算した値（ＯＦ×α）をモード評価値ＥＩＮＦａに加算することにより、モード評価値ＥＩＮＦａを補正する。これにより、モード評価値ＥＩＮＦａを量子化パラメータ値ＱＰのみに基づいて補正する場合に比べて、量子化誤差に起因するモード評価値ＥＩＮＦａの誤差を適切に補正することができる。
【００６１】
なお、評価値補正部１３６は、復号画素ＥＰＸに基づいて生成された第２予測画像ＰＩＭＧａを用いて算出されたモード評価値ＥＩＮＦａを、補正しない。したがって、評価値補正部１３６は、復号画素ＥＰＸに基づいて生成された第２予測画像ＰＩＭＧａを用いて算出されたモード評価値ＥＩＮＦａを、モード評価値ＥＩＮＦｂとしてモード決定部１３８に出力する。
【００６２】
モード決定部１３８は、予測画像ＰＩＭＧｂの生成に使用する予測モードを、モード評価値ＥＩＮＦｂに基づいて決定し、決定した予測モードを示す情報ＭＩＮＦを予測画像生成部１３０に出力する。例えば、モード決定部１３８は、各予測ブロックＰＢにおける複数の予測モードのうち、モード評価値ＥＩＮＦｂが最小な予測モードを、各予測ブロックＰＢの予測モードに決定する。モード評価値ＥＩＮＦｂが量子化パラメータ値ＱＰおよび画像の複雑度ＡＣＴに基づいて補正されるため、モード決定部１３８は、予測画像ＰＩＭＧｂの生成に使用する予測モードを適切に決定できる。このように、動画像符号化装置１０２では、予測モードを決定する際の処理の負荷を抑制した予測モード判定処理の判定精度を向上させることができる。
【００６３】
選択部１４２は、例えば、予測画像ＰＩＭＧｂと原画像ＩＩＭＧｃｂとの差分を示す情報（例えば、モード評価値ＥＩＮＦｂ）、予測画像ＰＩＭＧｃと原画像ＩＩＭＧｃｂとの差分を示す情報等に基づいて、予測画像ＰＩＭＧｂ、ＰＩＭＧｃのいずれかを選択する。差分算出部１４４は、分割部１１０から受けた原画像ＩＩＭＧｃｂと選択部１４２により選択された予測画像ＰＩＭＧとの差分を算出して、予測誤差画像ＤＩＭＧを生成する。予測誤差画像ＤＩＭＧは、空間的または時間的な冗長性を予測画像ＰＩＭＧから取り除いた画像である。
【００６４】
直交変換部１４６は、差分算出部１４４から受けた予測誤差画像ＤＩＭＧを、直交変換の処理単位のサイズに分割して直交変換する。これにより、離散信号が周波数領域の信号に変換される。例えば、直交変換部１４６は、予測誤差画像ＤＩＭＧ内の互いに隣接する画素の相関が高いことを利用して冗長性を低減する周波数変換を実行し、周波数変換係数を得る。
【００６５】
量子化部１４８は、直交変換部１４６から受けたデータ（周波数変換係数）を、制御部１５２により決定された量子化パラメータ値ＱＰに基づく量子化幅で量子化する。これにより、量子化変換係数が得られる。例えば、量子化部１４８は、直交変換部１４６から受けたデータ（周波数変換係数）の量子化により得られた量子化変換係数を、可変長符号化部１５０および逆量子化部１５６に出力する。
【００６６】
可変長符号化部１５０は、量子化部１４８から受けたデータ（量子化変換係数）を可変長符号化して、符号化ストリームＣＳＴＭを生成する。そして、可変長符号化部１５０は、例えば、符号化ストリームＣＳＴＭを動画像符号化装置１０２の外部に出力する。また、可変長符号化部１５０は、符号化ストリームＣＳＴＭの符号量（データ量）を示す情報ＡＩＮＦを制御部１５２に出力する。
【００６７】
制御部１５２は、符号化ストリームＣＳＴＭ等のデータを転送する通信路の転送レート等の転送条件、符号化ストリームＣＳＴＭの符号量（データ量）等に基づいて、量子化パラメータ値ＱＰを決定する。
【００６８】
逆量子化部１５６は、量子化部１４８から受けたデータ（量子化変換係数）を逆量子化し、逆量子化変換係数を逆直交変換部１５８に出力する。逆直交変換部１５８は、逆量子化部１５６から受けたデータ（逆量子化変換係数）を逆直交変換して、予測誤差画像ＥＤＩＭＧを生成する。加算部１６０は、逆直交変換部１５８から受けた予測誤差画像ＥＤＩＭＧと選択部１４２により選択された予測画像ＰＩＭＧとを加算して、局所的な復号画像ＥＩＭＧａを生成する。そして、加算部１６０は、局所的な復号画像ＥＩＭＧａを、フィルタ部１６２およびメモリ１６８に出力する。ここで、復号画像ＥＩＭＧａは、上述したように、画面内予測部１２２による画面内予測で使用される。例えば、復号画像ＥＩＭＧａは、加算部１６０からメモリ１６８を介して画面内予測部１２２に転送される。なお、加算部１６０は、復号画像ＥＩＭＧａを画面内予測部１２２に出力してもよい。
【００６９】
フィルタ部１６２は、例えば、加算部１６０から受けた局所的な復号画像ＥＩＭＧａに対してデブロッキングフィルタ処理を実行して、局所的な復号画像ＥＩＭＧｂを生成する。そして、フィルタ部１６２は、局所的な復号画像ＥＩＭＧｂをメモリ１６８に格納する。
【００７０】
このように、差分算出部１４４、直交変換部１４６、量子化部１４８および可変長符号化部１５０を含む機能ブロックは、選択部１４２が予測画像ＰＩＭＧｂを選択した場合、画面内予測の予測画像ＰＩＭＧｂを用いて画像を符号化する符号化部として機能する。すなわち、差分算出部１４４、直交変換部１４６、量子化部１４８および可変長符号化部１５０を含む機能ブロックは、画面内予測の予測画像ＰＩＭＧｂを用いて画像を符号化する符号化部の一例である。
【００７１】
図３は、画面内予測の予測モードの一例を示す。なお、図３は、予測ブロックＰＢのサイズが４×４画素である場合の画面内予測の予測モードの一例を示す。図３の網掛けの四角形は、参照される画素ＲＰＸを示し、白い四角形は、予測対象の画素を示す。また、図３の矢印は、矢印の始点の画素の値を、矢印が通過する画素および矢印の終点の画素の予測値に使用することを意味している。
【００７２】
Ｈ．２６４では、４×４画素の予測ブロックＰＢに対して、モード０、モード１、モード２、モード３、モード４、モード５、モード６、モード７、モード８の９種類のモードが用意される。例えば、モード０では、予測対象の４×４画素の予測ブロックＰＢの上側に隣接する画素ＲＰＸを参照する垂直方向の予測が実行される。モード１では、予測対象の４×４画素の予測ブロックＰＢの左側に隣接する画素ＲＰＸを参照する水平方向の予測が実行される。モード２では、予測対象の４×４画素の予測ブロックＰＢの左側に隣接する画素ＲＰＸと予測対象の４×４画素の予測ブロックＰＢの上側に隣接する画素ＲＰＸとの平均値を用いた予測が実行される。
【００７３】
例えば、符号化ブロックＣＢのサイズが１６×１６画素である場合、１６×１６画素の符号化ブロックＣＢ内の予測ブロックＰＢ毎に、９通りの予測モード（モード０からモード８）の中から予測精度の最も高い予測モードが選択される。
【００７４】
なお、Ｈ．２６４では、画面内予測に用いられる予測ブロックＰＢのサイズとして、４×４画素のサイズ以外にも、８×８画素、１６×１６画素のサイズが存在する。８×８画素の予測ブロックＰＢに対しては、４×４画素の予測ブロックＰＢと同様な９種類のモードが用意され、１６×１６画素の予測ブロックＰＢに対しては、４種類のモードが用意される。
【００７５】
また、例えば、Ｈ．２６５では、画面内予測に用いられる予測ブロックＰＢのサイズは、４×４画素、８×８画素、１６×１６画素のサイズ以外のサイズも使用される。
【００７６】
図４は、画面内予測の予測モード判定処理の流れの一例を示す。なお、図４は、１６×１６画素の符号化ブロックＣＢを８×８画素の予測ブロックＰＢに分割した場合の予測モード判定処理の流れの一例を示す。図４の薄い網掛けは、予測モードが判定される予測ブロックＰＢを示し、濃い網掛けは、予測モードが決定した予測ブロックＰＢを示す。画面内予測部１２２は、図１１に示す予測モード判定処理を予測ブロックＰＢ１、ＰＢ２、ＰＢ３、ＰＢ４の順に実行して、各予測ブロックＰＢの予測画像ＰＩＭＧｂの生成に使用する予測モードを決定する。
【００７７】
例えば、画面内予測部１２２は、先ず、予測ブロックＰＢ１の予測画像ＰＩＭＧｂの生成に使用する予測モードを判定する（図４（ａ））。これにより、予測ブロックＰＢ１の予測画像ＰＩＭＧｂの生成に使用する予測モードが決定する（図４（ｂ））。なお、予測ブロックＰＢ１の評価用の第２予測画像ＰＩＭＧａは、図３に示した全ての予測モードにおいて、復号画素ＥＰＸを参照して生成される。
【００７８】
次に、画面内予測部１２２は、予測ブロックＰＢ２の予測画像ＰＩＭＧｂの生成に使用する予測モードを判定する（図４（ｂ））。これにより、予測ブロックＰＢ２の予測画像ＰＩＭＧｂの生成に使用する予測モードが決定する（図４（ｃ））。なお、予測ブロックＰＢ２の評価用の第２予測画像ＰＩＭＧａは、図３に示したモード０、モード３、モード７では復号画素ＥＰＸを参照して生成され、モード１、モード２、モード４、モード５、モード６、モード８では原画素ＯＰＸを参照して生成される。
【００７９】
次に、画面内予測部１２２は、予測ブロックＰＢ３の予測画像ＰＩＭＧｂの生成に使用する予測モードを判定する（図４（ｃ））。これにより、予測ブロックＰＢ３の予測画像ＰＩＭＧｂの生成に使用する予測モードが決定する（図４（ｄ））。なお、予測ブロックＰＢ３の評価用の第２予測画像ＰＩＭＧａは、図３に示したモード１では復号画素ＥＰＸを参照して生成され、モード０、モード２、モード３、モード４、モード５、モード６、モード７、モード８では原画素ＯＰＸを参照して生成される。
【００８０】
次に、画面内予測部１２２は、予測ブロックＰＢ４の予測画像ＰＩＭＧｂの生成に使用する予測モードを判定する（図４（ｄ））。これにより、予測ブロックＰＢ４の予測画像ＰＩＭＧｂの生成に使用する予測モードが決定し、符号化ブロックＣＢの予測モード判定処理が終了する（図４（ｅ））。なお、予測ブロックＰＢ４の評価用の第２予測画像ＰＩＭＧａは、図３に示した全ての予測モードにおいて、原画素ＯＰＸを参照して生成される。
【００８１】
ここで、例えば、各予測ブロックＰＢの第２予測画像ＰＩＭＧａを復号画素ＥＰＸのみを参照して生成する場合、予測ブロックＰＢ１、ＰＢ２、ＰＢ３を符号化して、さらに復号する処理が図４に示した処理に追加される。すなわち、符号化ブロックＣＢを符号化する際の予測ブロックＰＢのサイズが８×８画素以外の場合（例えば、４×４画素）でも、予測ブロックＰＢ１、ＰＢ２、ＰＢ３の符号化処理および復号処理が実行される。これに対し、図２に示した画面内予測部１２２では、予測ブロックＰＢ１、ＰＢ２、ＰＢ３の符号化処理および復号処理を予測モード判定処理から省くことができる。このため、画面内予測部１２２では、第２予測画像ＰＩＭＧａを復号画素ＥＰＸのみを参照して生成する場合に比べて、予測モード判定処理の負荷を低減することができる。
【００８２】
図５は、モード評価値ＥＩＮＦａを補正するオフセット値ＯＦの算出方法の一例を示す。図５の横軸は、制御部１５２により設定される量子化パラメータ値ＱＰを示し、縦軸は、オフセット値ＯＦを示す。図５に示す例では、量子化パラメータ値ＱＰは、１から５１までの整数のうちのいずれかに制御部１５２により設定される。
【００８３】
量子化パラメータ値ＱＰが大きくなるほど、量子化誤差が大きくなり、量子化誤差に起因してモード評価値ＥＩＮＦａの誤差が大きくなる。このため、量子化パラメータ値ＱＰが大きくなるにしたがい大きくなるオフセット値ＯＦが、モード評価値ＥＩＮＦａの補正に使用される。例えば、オフセット値ＯＦは、量子化パラメータ値ＱＰが”１”の場合、最小値ＯＦｌｏｗになり、量子化パラメータ値ＱＰが大きくなるにしたがい大きくなり、量子化パラメータ値ＱＰが”５１”の場合、最大値ＯＦｈｉｇｈになる。
【００８４】
評価値補正部１３６は、例えば、図５に示す量子化パラメータ値ＱＰとオフセット値ＯＦとの関係に基づいて、量子化パラメータ値ＱＰに対応するオフセット値ＯＦを算出する。なお、量子化パラメータ値ＱＰとオフセット値ＯＦとの関係は、図５に示す例に限定されない。例えば、評価値補正部１３６は、図６に示すように、量子化パラメータ値ＱＰが大きくなるにしたがい段階的に大きくなるオフセット値ＯＦを、モード評価値ＥＩＮＦａの補正に使用してもよい。
【００８５】
図６は、モード評価値ＥＩＮＦａを補正するオフセット値ＯＦの算出方法の別の例を示す。図６に示す例においても、図５と同様に、量子化パラメータ値ＱＰは、１から５１までの整数のうちのいずれかに制御部１５２により設定される。
【００８６】
図６（ａ）に示すケース１では、例えば、評価値補正部１３６は、各量子化パラメータ値ＱＰに対応し、量子化パラメータ値ＱＰが大きくなるにしたがい大きくなるオフセット値ＯＦを、モード評価値ＥＩＮＦａの補正に使用する。例えば、評価値補正部１３６は、各量子化パラメータ値ＱＰに対応したオフセット値ＯＦを示すオフセットテーブルＯＴＢＬ１を参照して、モード評価値ＥＩＮＦａの補正に使用するオフセット値ＯＦを量子化パラメータ値ＱＰに基づいて決定する。なお、オフセット値ＯＦ１、ＯＦ２、ＯＦ３、・・・、ＯＦ５１の末尾の数字は、数字が大きくなるにしたがいオフセット値ＯＦが大きくなることを示す。
【００８７】
例えば、量子化パラメータ値ＱＰが”１”の場合、オフセット値ＯＦ１、ＯＦ２、ＯＦ３、・・・、ＯＦ５１のうちの最小のオフセット値ＯＦ１がモード評価値ＥＩＮＦａの補正に使用される。量子化パラメータ値ＱＰが”２”の場合、オフセット値ＯＦ１より大きいオフセット値ＯＦ２がモード評価値ＥＩＮＦａの補正に使用される。また、量子化パラメータ値ＱＰが”３”の場合、オフセット値ＯＦ２より大きいオフセット値ＯＦ３がモード評価値ＥＩＮＦａの補正に使用される。そして、量子化パラメータ値ＱＰが”５１”の場合、オフセット値ＯＦ１、ＯＦ２、ＯＦ３、・・・、ＯＦ５１のうちの最大のオフセット値ＯＦ５１がモード評価値ＥＩＮＦａの補正に使用される。
【００８８】
図６（ｂ）に示すケース２では、例えば、評価値補正部１３６は、量子化パラメータ値ＱＰが大きくなるにしたがい段階的に大きくなるオフセット値ＯＦを、モード評価値ＥＩＮＦａの補正に使用する。例えば、評価値補正部１３６は、量子化パラメータ値ＱＰとオフセット値ＯＦとの対応関係を示すオフセットテーブルＯＴＢＬ２を参照して、モード評価値ＥＩＮＦａの補正に使用するオフセット値ＯＦを量子化パラメータ値ＱＰに基づいて決定する。オフセット値ＯＦｓ０、ＯＦｓ１、ＯＦｓ２、・・・の末尾の数字は、数字が大きくなるにしたがいオフセット値ＯＦが大きくなることを示す。なお、オフセット値ＯＦｓｉは、オフセット値ＯＦｓ０、ＯＦｓ１、ＯＦｓ２、・・・、ＯＦｓｉのうちの最大のオフセット値ＯＦを示す。すなわち、オフセット値ＯＦｓ０は、オフセット値ＯＦｓ０、ＯＦｓ１、ＯＦｓ２、・・・、ＯＦｓｉのうちの最小のオフセット値ＯＦを示す。
【００８９】
例えば、量子化パラメータ値ＱＰが１以上で値ＱＰｓ１未満の場合、オフセット値ＯＦｓ０、ＯＦｓ１、ＯＦｓ２、・・・、ＯＦｓｉのうちの最小のオフセット値ＯＦ０がモード評価値ＥＩＮＦａの補正に使用される。量子化パラメータ値ＱＰが値ＱＰｓ１以上で値ＱＰｓ２未満の場合、オフセット値ＯＦｓ０より大きいオフセット値ＯＦｓ１がモード評価値ＥＩＮＦａの補正に使用される。また、量子化パラメータ値ＱＰが値ＱＰｓ２以上で値ＱＰｓ３未満の場合、オフセット値ＯＦｓ１より大きいオフセット値ＯＦｓ２がモード評価値ＥＩＮＦａの補正に使用される。そして、量子化パラメータ値ＱＰが値ＱＰｓｉ以上で５１以下の場合、オフセット値ＯＦｓ０、ＯＦｓ１、ＯＦｓ２、・・・、ＯＦｓｉのうちの最大のオフセット値ＯＦｓｉがモード評価値ＥＩＮＦａの補正に使用される。
【００９０】
図６（ｃ）に示すケース３では、例えば、評価値補正部１３６は、量子化パラメータ値ＱＰが閾値ＱＰｔｈ以上の場合に、０より大きいオフセット値ＯＦａをモード評価値ＥＩＮＦａの補正に使用する。例えば、評価値補正部１３６は、閾値ＱＰｔｈとオフセット値ＯＦａとを示すオフセットテーブルＯＴＢＬ３を参照して、モード評価値ＥＩＮＦａの補正に使用するオフセット値ＯＦを量子化パラメータ値ＱＰに基づいて決定する。
【００９１】
例えば、量子化パラメータ値ＱＰが閾値ＱＰｔｈ以上の場合、０より大きいオフセット値ＯＦａがモード評価値ＥＩＮＦａの補正に使用される。量子化パラメータ値ＱＰが閾値ＱＰｔｈ未満の場合、オフセット値ＯＦが”０”であるため、モード評価値ＥＩＮＦａは補正されない。なお、量子化パラメータ値ＱＰが閾値ＱＰｔｈ未満の場合、オフセット値ＯＦａより小さく０より大きいオフセット値ＯＦがモード評価値ＥＩＮＦａの補正に使用されてもよい。
【００９２】
例えば、ケース１、ケース２、ケース３および図５に示したオフセット値ＯＦの算出方法のいずれを評価値補正部１３６が使用するかは、予め決められる。なお、例えば、動画符号化装置１０２は、ケース１、ケース２、ケース３のいずれかの算出方法を使用する場合、オフセットテーブルＯＴＢＬ（ＯＴＢＬ１、ＯＴＢＬ２、ＯＴＢＬ３）を記憶する記憶部等を有する。
【００９３】
図７は、オフセット値ＯＦを補正する補正係数αの算出方法の一例を示す。図７の横軸は、複雑度算出部１３４により算出される画像の複雑度ＡＣＴを示し、縦軸は、補正係数αを示す。図７に示す例では、補正係数αは、複雑度ＡＣＴが予め決められた複雑度ＡＣＴｌｏｗ以下の場合、最小値αｌｏｗになり、複雑度ＡＣＴが大きくなるにしたがい大きくなり、複雑度ＡＣＴが予め決められた複雑度ＡＣＴｈｉｇｈ以上の場合、”１”になる。なお、複雑度ＡＣＴｈｉｇｈは、複雑度ＡＣＴｌｏｗより大きい値である。すなわち、補正係数αは、複雑度ＡＣＴが複雑度ＡＣＴｈｉｇｈ以上の複雑な原画像ＩＩＭＧｃｂを参照して、第２予測画像ＰＩＭＧａが生成される場合、”１”に設定され、第２予測画像ＰＩＭＧａの生成に使用される画像が平坦になるにしたがって小さくなる。
【００９４】
評価値補正部１３６は、例えば、図７に示す画像の複雑度ＡＣＴと補正係数αとの関係に基づいて、画像の複雑度ＡＣＴに対応する補正係数αを算出する。なお、画像の複雑度ＡＣＴと補正係数αとの関係は、図７に示す例に限定されない。例えば、評価値補正部１３６は、図８に示すように、画像の複雑度ＡＣＴが大きくなるにしたがい段階的に大きくなる補正係数αを、オフセット値ＯＦの補正に使用してもよい。
【００９５】
図８は、オフセット値ＯＦを補正する補正係数αの算出方法の別の例を示す。
【００９６】
図８（ａ）に示すケース１では、例えば、評価値補正部１３６は、画像の複雑度ＡＣＴが大きくなるにしたがい段階的に大きくなる補正係数αを、オフセット値ＯＦの補正に使用する。例えば、評価値補正部１３６は、画像の複雑度ＡＣＴと補正係数αとの対応関係を示す補正係数テーブルＡＴＢＬ１を参照して、オフセット値ＯＦの補正に使用する補正係数αを画像の複雑度ＡＣＴに基づいて決定する。補正係数α０、α１、α２、・・・の末尾の数字は、数字が大きくなるにしたがい補正係数αが大きくなることを示す。なお、補正係数αｉは、補正係数α０、α１、α２、・・・、αｉのうちの最大の補正係数αを示す。すなわち、補正係数α０は、補正係数α０、α１、α２、・・・、αｉのうちの最小の補正係数αを示す。
【００９７】
例えば、画像の複雑度ＡＣＴが０以上で値ＡＣＴ１未満の場合、補正係数α０、α１、α２、・・・、αｉのうちの最小の補正係数α０がオフセット値ＯＦの補正に使用される。画像の複雑度ＡＣＴが値ＡＣＴ１以上で値ＡＣＴ２未満の場合、補正係数α０より大きい補正係数α１がオフセット値ＯＦの補正に使用される。また、画像の複雑度ＡＣＴが値ＡＣＴ２以上で値ＡＣＴ３未満の場合、補正係数α１より大きい補正係数α２がオフセット値ＯＦの補正に使用される。そして、画像の複雑度ＡＣＴが値ＡＣＴｉ以上の場合、補正係数α０、α１、α２、・・・、αｉのうちの最大の補正係数αｉがオフセット値ＯＦの補正に使用される。
【００９８】
図８（ｂ）に示すケース２では、例えば、評価値補正部１３６は、画像の複雑度ＡＣＴが閾値ＡＣＴｔｈ未満の場合に、０より大きく１より小さい補正係数αａをオフセット値ＯＦの補正に使用する。例えば、評価値補正部１３６は、閾値ＡＣＴｔｈと補正係数αａとを示す補正係数テーブルＡＴＢＬ２を参照して、オフセット値ＯＦの補正に使用する補正係数αを画像の複雑度ＡＣＴに基づいて決定する。
【００９９】
例えば、画像の複雑度ＡＣＴが閾値ＡＣＴｔｈ未満の場合、０より大きく１より小さい補正係数αａがオフセット値ＯＦの補正に使用される。画像の複雑度ＡＣＴが閾値ＡＣＴｔｈ以上の場合、補正係数αが”１”であるため、オフセット値ＯＦは補正されない。
【０１００】
例えば、ケース１、ケース２および図７に示した補正係数αの算出方法のいずれを評価値補正部１３６はが使用するかは、予め決められる。なお、例えば、動画符号化装置１０２は、ケース１、ケース２のいずれかの算出方法を使用する場合、補正係数テーブルＡＴＢＬ（ＡＴＢＬ１、ＡＴＢＬ２）を記憶する記憶部等を有する。
【０１０１】
図９は、画像の複雑度ＡＣＴの算出方法の一例を示す。なお、図９は、１６×１６画素の符号化ブロックＣＢを８×８画素の予測ブロックＰＢに分割した場合の画像の複雑度ＡＣＴの算出方法の一例を示す。図９では、予測ブロックＰＢ２が予測モードの判定対象である場合を例にして、画像の複雑度ＡＣＴの算出方法を説明する。図９の網掛けは、画像の複雑度ＡＣＴの算出に使用される領域を示す。
【０１０２】
図９（ａ）に示すケース１では、複雑度算出部１３４は、判定対象の予測ブロックＰＢ２の参照画像（図９（ａ）の網掛けの領域）の各原画素の値を、図２で説明した式（２）および式（３）の値ＡＰＸ（ｉ）に代入して、画像の複雑度ＡＣＴを算出する。なお、図９（ａ）の網掛けは、予測モードがモード１の場合の参照画像を示す。予測モードがモード１以外の場合、例えば、複雑度算出部１３４は、各予測モードにおける画像の複雑度ＡＣＴとして、各予測モードで規定された参照画像（例えば、図３に示した網掛けの領域に対応する参照画像）の原画素を用いて複雑度ＡＣＴを算出する。
【０１０３】
図９（ｂ）に示すケース２では、複雑度算出部１３４は、予測モードに拘わらず、判定対象の予測ブロックＰＢ２の周辺の予め決められた原画素を、画像の複雑度ＡＣＴの算出に使用する。図９（ｂ）に示す例では、全ての予測モードで共通して、判定対象の予測ブロックＰＢ２の左側に隣接する原画素および上側に隣接する原画素が、画像の複雑度ＡＣＴの算出に使用される。この場合、例えば、複雑度算出部１３４は、判定対象の予測ブロックＰＢ２の周辺の原画素を含む画像（図９（ｂ）の網掛けの領域）の各原画素の値を、図２で説明した式（２）および式（３）の値ＡＰＸ（ｉ）に代入して、画像の複雑度ＡＣＴを算出する。なお、判定対象の予測ブロックＰＢ２の周辺の予め決められた原画素は、図９（ｂ）に示す例に限定されない。例えば、複雑度算出部１３４は、全ての予測モードで共通して、判定対象の予測ブロックＰＢ２の左側に隣接する原画素のみを画像の複雑度ＡＣＴの算出に使用してもよい。あるいは、複雑度算出部１３４は、全ての予測モードで共通して、判定対象の予測ブロックＰＢ２の上側に隣接する原画素のみを画像の複雑度ＡＣＴの算出に使用してもよい。
【０１０４】
図９（ｃ）に示すケース３では、複雑度算出部１３４は、判定対象の予測ブロックＰＢ２（図９（ｃ）の網掛けの領域）の各原画素の値を、図２で説明した式（２）および式（３）の値ＡＰＸ（ｉ）に代入して、画像の複雑度ＡＣＴを算出する。すなわち、ケース３では、符号化対象の予測ブロックＰＢ２の原画像ＩＩＭＧｃｂの複雑度ＡＣＴが画像の複雑度ＡＣとして算出される。
【０１０５】
例えば、ケース１、ケース２およびケース３のいずれの算出方法を複雑度算出部１３４が使用するかは、予め決められる。なお、画像の複雑度ＡＣＴの算出に使用される領域は、図９に示す例に限定されない。
【０１０６】
図１０は、図２に示した画面内予測部１２２の動作の一例を示す。なお、図１０は、画面内予測に用いられる予測ブロックＰＢのサイズとして、４×４画素、８×８画素、１６×１６画素の３種類が存在する場合の画面内予測部１２２の動作の一例を示す。図１０に示す動作は、動画像符号化方法の一態様である。また、例えば、コンピュータがソフトウェアを実行することにより図１０に示す動作が実現される場合、図１０に示す動作を実現するソフトウェアは、動画像符号化プログラムの一態様である。図１０に示す動作は、画像ＩＩＭＧが符号化される際に、符号化ブロックＣＢ（すなわち、原画像ＩＩＭＧｃｂ）毎に繰り返し実行される。
【０１０７】
ステップＳ１０では、画面内予測部１２２は、４×４画素の予測ブロックＰＢでの予測モード判定処理を実行する。なお、４×４画素の予測ブロックＰＢでの予測モード判定処理は、図１１で説明する。４×４画素の予測ブロックＰＢでの予測モード判定処理により、４×４画素の各予測ブロックＰＢのモード評価値ＥＩＮＦｂが算出され、４×４画素の各予測ブロックＰＢの予測画像ＰＩＭＧｂの生成に使用する予測モードが決定される。
【０１０８】
次に、ステップＳ２０では、画面内予測部１２２は、８×８画素の予測ブロックＰＢでの予測モード判定処理を実行する。なお、８×８画素の予測ブロックＰＢでの予測モード判定処理は、図１１で説明する。８×８画素の予測ブロックＰＢでの予測モード判定処理により、８×８画素の各予測ブロックＰＢのモード評価値ＥＩＮＦｂが算出され、８×８画素の各予測ブロックＰＢの予測画像ＰＩＭＧｂの生成に使用する予測モードが決定される。
【０１０９】
次に、ステップＳ３０では、画面内予測部１２２は、１６×１６画素の予測ブロックＰＢでの予測モード判定処理を実行する。なお、１６×１６画素の予測ブロックＰＢでの予測モード判定処理は、図１１で説明する。１６×１６画素の予測ブロックＰＢでの予測モード判定処理により、１６×１６画素の予測ブロックＰＢのモード評価値ＥＩＮＦｂが算出され、１６×１６画素の予測ブロックＰＢの予測画像ＰＩＭＧｂの生成に使用する予測モードが決定される。
【０１１０】
次に、ステップＳ４０では、画面内予測部１２２は、符号化ブロックＣＢのモード評価値が最小になる予測ブロックＰＢのサイズを、画面内予測の予測ブロックＰＢのサイズに決定する。なお、符号化ブロックＣＢのモード評価値は、例えば、符号化ブロックＣＢ内の各予測ブロックＰＢの最小のモード評価値ＥＩＮＦｂの合計値である。
【０１１１】
画面内予測部１２２は、ステップＳ４０で決定したサイズの予測ブロックＰＢでの予測モード判定処理により決定された各予測ブロックＰＢの予測モードに基づいて、予測画像ＰＩＭＧｂを予測ブロックＰＢ毎に生成する。そして、画面内予測部１２２は、予測画像ＰＩＭＧｂを選択部１４２に順次出力する。
【０１１２】
なお、画面内予測部１２２の動作は、図１０に示す例に限定されない。例えば、画面内予測に用いられる予測ブロックＰＢのサイズが４×４画素、８×８画素、１６×１６画素の３種類より多い場合、各サイズの予測ブロックＰＢでの予測モード判定処理が実行される。また、ステップＳ１０、Ｓ２０、Ｓ３０の各処理は、図１０に示す順番と異なる順番で実行されてもよいし、並列に実行されてもよい。
【０１１３】
図１１は、図１０に示した予測モード判定処理の一例を示す。なお、図１０に示した４×４画素の予測ブロックＰＢでの予測モード判定処理等の各サイズの予測ブロックＰＢでの予測モード判定処理は、互いに同様である。このため、図１１に示す予測モード判定処理は、予測ブロックＰＢのサイズを特に限定していない。したがって、図１１に示す予測モード判定処理は、図１０に示したステップＳ１０、Ｓ２０、Ｓ３０の各処理に対応する。なお、予測モード判定処理は、図１１に示す例に限定されない。
【０１１４】
ステップＳ１００では、画面内予測部１２２は、符号化対象の符号化ブロックＣＢ内の予測ブロックＰＢから予測対象の予測ブロックＰＢを選択する。
【０１１５】
次に、ステップＳ２００では、画面内予測部１２２は、予測対象の予測ブロックＰＢで使用可能な画面内予測の予測モードの中からモード評価値の算出対象の予測モードを選択する。なお、画面内予測で使用可能な予測モードは、例えば、図３で説明したように、予測ブロックＰＢのサイズ毎に規定される。
【０１１６】
次に、ステップＳ３００では、画面内予測部１２２の予測画像生成部１３０は、ステップＳ２００で選択した予測モードに基づく参照画素ＲＰＸが全て復号済みか否かを判定する。すなわち、予測画像生成部１３０は、ステップＳ１００で選択した予測対象の予測ブロックＰＢの第２予測画像ＰＩＭＧａを生成する際に使用する参照画素ＲＰＸが全て復号画素ＥＰＸであるか否かを判定する。参照画素ＲＰＸが全て復号済みである場合、画面内予測部１２２の動作は、ステップＳ４００に移る。一方、参照画素ＲＰＸのいずれかが復号済みでない場合、画面内予測部１２２の動作は、ステップＳ５００に移る。
【０１１７】
ステップＳ４００では、予測画像生成部１３０は、ステップＳ２００で選択した予測モードに基づく参照画素ＲＰＸとして復号画素ＥＰＸを用いて、第２予測画像ＰＩＭＧａを生成する。
【０１１８】
次に、ステップＳ４１０では、画面内予測部１２２の評価値算出部１３２は、原画像ＩＩＭＧｃｂのうちの予測対象の予測ブロックＰＢの原画素と第２予測画像ＰＩＭＧａとの差分絶対値和をモード評価値ＥＩＮＦｂとして算出する。例えば、評価値算出部１３２は、図２で説明した式（１）に基づいてモード評価値ＥＩＮＦａを算出し、算出したモード評価値ＥＩＮＦａをモード評価値ＥＩＮＦｂとする。これにより、ステップＳ１００で選択した予測対象の予測ブロックＰＢの各予測モードのモード評価値ＥＩＮＦｂのうち、ステップＳ２００で選択した予測モードのモード評価値ＥＩＮＦｂが算出される。すなわち、ステップＳ４００、Ｓ４１０の一連の処理は、復号画素ＥＰＸを用いたモード評価値ＥＩＮＦｂの算出処理に対応する。ステップＳ４１０の処理が実行された後、画面内予測部１２２の動作は、ステップＳ６００に移る。
【０１１９】
ステップＳ５００では、画面内予測部１２２は、原画素ＯＰＸを用いたモード評価値ＥＩＮＦｂの算出処理を実行する。これにより、ステップＳ１００で選択した予測対象の予測ブロックＰＢの各予測モードのモード評価値ＥＩＮＦｂのうち、ステップＳ２００で選択した予測モードのモード評価値ＥＩＮＦｂが算出される。なお、原画素ＯＰＸを用いたモード評価値ＥＩＮＦｂの算出処理では、図２で説明した式（１）に基づいて算出されるモード評価値ＥＩＮＦａを補正したモード評価値ＥＩＮＦｂが算出される。原画素ＯＰＸを用いたモード評価値ＥＩＮＦｂの算出処理は、図１２で説明する。ステップＳ５００の処理が実行された後、画面内予測部１２２の動作は、ステップＳ６００に移る。
【０１２０】
ステップＳ６００では、画面内予測部１２２は、ステップＳ１００で選択した予測対象の予測ブロックＰＢに対して、全ての予測モードでモード評価値ＥＩＮＦｂを算出したか否かを判定する。全ての予測モードでモード評価値ＥＩＮＦｂが算出された場合、画面内予測部１２２の動作は、ステップＳ７００に移る。一方、モード評価値ＥＩＮＦｂが算出されていない予測モードが存在する場合、画面内予測部１２２の動作は、ステップＳ２００に戻る。例えば、画面内予測部１２２は、ステップＳ２００において、モード評価値ＥＩＮＦｂが算出されていない予測モードを選択する。
【０１２１】
ステップＳ７００では、画面内予測部１２２は、ステップＳ１００で選択した予測対象の予測ブロックＰＢの各予測モードのうち、モード評価値ＥＩＮＦｂが最小な予測モードを、予測対象の予測ブロックＰＢの予測モードに決定する。なお、ステップＳ７００の処理で決定された予測モードのモード評価値ＥＩＮＦｂは、ステップＳ１００で選択した予測対象の予測ブロックＰＢのモード評価値ＥＩＮＦｂとして扱われる。
【０１２２】
次に、ステップＳ８００では、画面内予測部１２２は、符号化対象の符号化ブロックＣＢ内の全ての予測ブロックＰＢに対して予測モードを決定したか否かを判定する。予測モードが決定されていない予測ブロックＰＢが存在する場合、画面内予測部１２２の動作は、ステップＳ１００に戻る。例えば、画面内予測部１２２は、ステップＳ１００において、予測モードが決定されていない予測ブロックＰＢを選択する。一方、全ての予測ブロックＰＢに対して予測モードが決定された場合、処理対象のサイズの予測ブロックＰＢでの予測モード判定処理は、終了する。なお、ステップＳ７００の処理で決定した各予測ブロックＰＢのモード評価値ＥＩＮＦｂの合計値は、図１０のステップＳ４０で参照される符号化ブロックＣＢのモード評価値である。
【０１２３】
図１２は、図１１に示した原画素ＯＰＸを用いたモード評価値ＥＩＮＦｂの算出処理の一例を示す。なお、原画素ＯＰＸを用いたモード評価値ＥＩＮＦｂの算出処理は、図１２に示す例に限定されない。
【０１２４】
ステップＳ５１０では、画面内予測部１２２の予測画像生成部１３０は、図１１に示したステップＳ２００で選択した予測モードに基づく参照画素ＲＰＸとして原画素ＯＰＸを用いて、第２予測画像ＰＩＭＧａを生成する。
【０１２５】
次に、ステップＳ５２０では、画面内予測部１２２の評価値算出部１３２は、原画像ＩＩＭＧｃｂのうちの予測対象の予測ブロックＰＢの原画素と第２予測画像ＰＩＭＧａとの差分絶対値和をモード評価値ＥＩＮＦａとして算出する。例えば、評価値算出部１３２は、図２で説明した式（１）に基づいて、モード評価値ＥＩＮＦａを算出する。
【０１２６】
次に、ステップＳ５３０では、画面内予測部１２２の複雑度算出部１３４は、予測対象の予測ブロックＰＢ用の画像の複雑度ＡＣＴを算出する。例えば、複雑度算出部１３４は、図２で説明した式（２）に基づいて、画像の複雑度ＡＣＴを算出する。なお、画像の複雑度ＡＣＴの算出に使用される領域は、例えば、図９に示したケース１、ケース２およびケース３のいずれかに予め決められる。
【０１２７】
次に、ステップＳ５４０では、画面内予測部１２２の評価値補正部１３６は、量子化パラメータ値ＱＰを制御部１５２から取得する。
【０１２８】
次に、ステップＳ５５０では、評価値補正部１３６は、例えば、図５および図６で説明したように、ステップＳ５４０で取得した量子化パラメータ値ＱＰに対応するオフセット値ＯＦを算出する。
【０１２９】
次に、ステップＳ５６０では、評価値補正部１３６は、例えば、図６および図７で説明したように、ステップＳ５３０で算出した画像の複雑度ＡＣＴに対応する補正係数αを算出する。
【０１３０】
次に、ステップＳ５７０では、評価値補正部１３６は、ステップＳ５５０で算出したオフセット値ＯＦにステップＳ５６０で算出した補正係数αを乗じて予測誤差補正値（ＯＦ×α）を算出する。
【０１３１】
次に、ステップＳ５８０では、評価値補正部１３６は、ステップＳ５２０で算出した差分絶対値和にステップＳ５７０で算出した予測誤差補正値を加算してモード評価値ＥＩＮＦｂを算出する。すなわち、評価値補正部１３６は、図２で説明した式（４）に基づいて、モード評価値ＥＩＮＦｂを算出する。これにより、図１１に示したステップＳ１００で選択した予測対象の予測ブロックＰＢの各予測モードのモード評価値ＥＩＮＦｂのうち、ステップＳ２００で選択した予測モードのモード評価値ＥＩＮＦｂが算出される。
【０１３２】
このように、評価値補正部１３６は、原画素ＯＰＸから生成した第２予測画像ＰＩＭＧａを用いて算出されたモード評価値ＥＩＮＦａを、オフセット値ＯＦに補正係数αを乗じた予測誤差補正値（ＯＦ×α）を用いて補正する。これにより、モード評価値ＥＩＮＦａを量子化パラメータ値ＱＰのみに基づいて補正する場合に比べて、量子化誤差に起因するモード評価値ＥＩＮＦａの誤差を適切に補正することができる。
【０１３３】
ステップＳ５８０の処理が実行された後、画面内予測部１２２の動作は、図１１に示したステップＳ６００に移る。
【０１３４】
以上、図２から図１２に示す実施形態においても、図１に示した実施形態と同様の効果を得ることができる。すなわち、予測モードを決定する際の処理の負荷を抑制した予測モード判定処理の判定精度を向上させることができる。例えば、画面内予測部１２２は、予測モード判定処理の開始時に参照画素ＲＰＸが符号化されていない場合、モード評価値ＥＩＮＦａの算出に使用する第２予測画像ＰＩＭＧａを符号化前の原画素ＯＰＸから生成する。原画素ＯＰＸの符号化処理および復号処理を省くことができるため、全ての第２予測画像ＰＩＭＧａの生成に復号画素ＥＰＸを使用する場合に比べて、予測モード判定処理の負荷を低減することができる。
【０１３５】
また、画面内予測部１２２は、原画素ＯＰＸから生成した第２予測画像ＰＩＭＧａを用いてモード評価値ＥＩＮＦａを算出した場合、モード評価値ＥＩＮＦａを量子化パラメータ値ＱＰおよび画像の複雑度ＡＣＴに基づいて補正する。これにより、モード評価値ＥＩＮＦａを量子化パラメータ値ＱＰのみに基づいて補正する場合に比べて、量子化誤差に起因するモード評価値ＥＩＮＦａの誤差を適切に補正することができる。この結果、モード評価値ＥＩＮＦａを量子化パラメータ値ＱＰのみに基づいて補正する場合に比べて、予測画像ＰＩＭＧｂの生成に使用する予測モードを適切に決定することができる。すなわち、予測モードを決定する際の判定精度の低下を抑制しつつ、予測モード判定処理の負荷を低減することができる。
【０１３６】
図１３は、動画像符号化プログラムを実行するハードウェアの一例を示す。なお、図１から図１２で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。例えば、動画像符号化プログラムは、図１および図２に示した動画像符号化装置１００、１０２の機能をコンピュータＣＰで実現する。
【０１３７】
コンピュータＣＰは、例えば、プロセッサＰＵ、メモリＭＥＭ、ハードディスク装置ＨＤＤ、入出力インタフェースＩＦおよび光学ドライブ装置ＯＤＲを有する。プロセッサＰＵ、メモリＭＥＭ、ハードディスク装置ＨＤＤ、入出力インタフェースＩＦおよび光学ドライブ装置ＯＤＲは、バスＢＵＳに接続される。動画像符号化装置１００、１０２の機能は、例えば、プロセッサＰＵと、メモリＭＥＭと、ハードディスク装置ＨＤＤと、入出力インタフェースＩＦとにより実現される。
【０１３８】
光学ドライブ装置ＯＤＲは、光ディスク等のリムーバブルディスクＲＤを装着可能であり、装着したリムーバブルディスクＲＤに記録された情報の読み出しおよび記録を実行する。また、コンピュータＣＰは、入出力インタフェースＩＦを介してコンピュータＣＰの外部と通信する。例えば、入出力インタフェースＩＦは、画像ＩＩＭＧを受け、プロセッサＰＵ等に転送する。
【０１３９】
メモリＭＥＭは、例えば、コンピュータＣＰのオペレーティングシステムを格納する。また、メモリＭＥＭは、動画像符号化装置１００、１０２の動作をプロセッサＰＵが実行するための動画像符号化プログラム等のアプリケーションプログラムを格納する。
【０１４０】
動画像符号化プログラム等のアプリケーションプログラムは、光ディスク等のリムーバブルディスクＲＤに記録して頒布することができる。例えば、コンピュータＣＰは、動画像符号化プログラム等のアプリケーションプログラムを、リムーバブルディスクＲＤから光学ドライブ装置ＯＤＲを介して読み出し、メモリＭＥＭやハードディスク装置ＨＤＤに格納してもよい。また、コンピュータＣＰは、動画像符号化プログラム等のアプリケーションプログラムを、インターネット等のネットワークに接続する通信装置（図示せず）を介してダウンロードし、メモリＭＥＭやハードディスク装置ＨＤＤに格納してもよい。
【０１４１】
動画像符号化プログラムを実行するハードウェアは、図１３に示す例に限定されない。例えば、コンピュータＣＰは、光学ドライブ装置ＯＤＲが省かれてもよい。また、例えば、コンピュータＣＰは、動画像符号化プログラム等のアプリケーションプログラムを、光ディスク以外の記憶媒体から読み出し、メモリＭＥＭやハードディスク装置ＨＤＤに格納してもよい。この場合、コンピュータＣＰは、動画像符号化プログラム等のアプリケーションプログラムが記録された記憶媒体に対応したインタフェースを有する。すなわち、動画像符号化プログラム等のアプリケーションプログラムは、例えば、光ディスク以外の記憶媒体に記録されてもよい。
【０１４２】
以上の実施形態において説明した発明を整理して、付記として開示する。
（付記１）
画面内予測の予測画像を画面内予測の処理単位に対応する予測ブロック毎に生成する画面内予測部と、前記予測画像を用いて画像を符号化する符号化部とを有する動画像符号化装置において、
前記画面内予測部は、
各予測ブロックの評価用の第２予測画像を各予測ブロックの周辺の符号化前の原画素または符号化前の原画素および符号化後の画素を復号した復号画素に基づいて生成する処理を、画面内予測の予測方向を規定する複数の予測モード毎に実行する予測画像生成部と、
前記予測画像の生成に使用する予測モードを決定する際に参照されるモード評価値を、符号化対象の予測ブロックの原画像と前記符号化対象の予測ブロックの前記第２予測画像との差分に基づいて、前記複数の予測モード毎に算出する評価値算出部と、
画像の複雑度を算出する複雑度算出部と、
原画素に基づいて生成された前記第２予測画像を用いて前記モード評価値を算出した場合、前記符号化部による画像の量子化で使用される量子化パラメータの値と前記複雑度とに基づいて、前記モード評価値を補正する評価値補正部と、
前記予測画像の生成に使用する予測モードを、前記モード評価値に基づいて決定するモード決定部とを有し、
前記予測画像生成部は、前記モード決定部により決定された予測モードに基づいて、前記予測画像を生成する
ことを特徴とする動画像符号化装置。
（付記２）
付記１に記載の動画像符号化装置において、
前記複雑度算出部は、前記符号化対象の予測ブロックの周辺の画素を含む画像の前記複雑度を算出する
ことを特徴とする動画像符号化装置。
（付記３）
付記１に記載の動画像符号化装置において、
前記複雑度算出部は、前記符号化対象の予測ブロックの原画像の前記複雑度を算出する
ことを特徴とする動画像符号化装置。
（付記４）
付記１ないし付記３のいずれか１項に記載の動画像符号化装置において、
前記評価値補正部は、前記量子化パラメータの値に基づいてオフセット値を算出し、前記複雑度に基づいて前記オフセット値を補正し、補正した前記オフセット値を前記モード評価値に加算することにより、前記モード評価値を補正する
ことを特徴とする動画像符号化装置。
（付記５）
付記１ないし付記４のいずれか１項に記載の動画像符号化装置において、
前記評価値補正部は、前記量子化パラメータの値が大きくなるにしたがい、前記モード評価値を大きくする補正を実行し、前記複雑度が小さくなるにしたがい、前記モード評価値を小さくする補正を実行し、
前記モード決定部は、前記複数の予測モードのうち、前記モード評価値が最小な予測モードを、各予測ブロックの予測モードに決定する
ことを特徴とする動画像符号化装置。
（付記６）
付記４に記載の動画像符号化装置において、
前記評価値補正部は、前記量子化パラメータの値が大きくなるにしたがい大きくなる前記オフセット値に、前記複雑度が小さくなるにしたがい小さくなる補正係数を乗じて、前記オフセット値を補正し、
前記モード決定部は、前記複数の予測モードのうち、前記モード評価値が最小な予測モードを、各予測ブロックの予測モードに決定する
ことを特徴とする動画像符号化装置。
（付記７）
付記６に記載の動画像符号化装置において、
前記補正係数は、前記複雑度が小さくなるにしたがい段階的に小さくなる
ことを特徴とする動画像符号化装置。
（付記８）
付記６に記載の動画像符号化装置において、
前記補正係数は、前記複雑度が予め設定された閾値より小さい場合、０より大きく１より小さい第１の値に設定され、前記複雑度が予め設定された閾値以上の場合、前記第１の値より大きく１以下の第２の値に設定される
ことを特徴とする動画像符号化装置。
（付記９）
付記１ないし付記８のいずれか１項に記載の動画像符号化装置において、
前記評価値補正部は、前記符号化対象の予測ブロックの画像を量子化する際に使用する前記量子化パラメータの値を、前記モード評価値の補正に使用する
ことを特徴とする動画像符号化装置。
（付記１０）
付記１に記載の動画像符号化装置において、
前記複雑度算出部は、前記符号化対象の予測ブロックの前記第２予測画像の生成に使用した原画素を含む画像の前記複雑度を算出する
ことを特徴とする動画像符号化装置。
（付記１１）
画面内予測の予測画像を画面内予測の処理単位に対応する予測ブロック毎に生成し、前記予測画像を用いて画像を符号化する動画像符号化方法において、
各予測ブロックの評価用の第２予測画像を各予測ブロックの周辺の符号化前の原画素または符号化前の原画素および符号化後の画素を復号した復号画素に基づいて生成する処理を、画面内予測の予測方向を規定する複数の予測モード毎に実行し、
前記予測画像の生成に使用する予測モードを決定する際に参照されるモード評価値を、符号化対象の予測ブロックの原画像と前記符号化対象の予測ブロックの前記第２予測画像との差分に基づいて、前記複数の予測モード毎に算出し、
画像の複雑度を算出し、
原画素に基づいて生成された前記第２予測画像を用いて前記モード評価値を算出した場合、前記符号化部による画像の量子化で使用される量子化パラメータの値と前記複雑度とに基づいて、前記モード評価値を補正し、
前記予測画像の生成に使用する予測モードを、前記モード評価値に基づいて決定し、
前記モード評価値に基づいて決定した予測モードに基づいて、前記予測画像を生成する
ことを特徴とする動画像符号化方法。
（付記１２）
画面内予測の予測画像を画面内予測の処理単位に対応する予測ブロック毎に生成し、前記予測画像を用いて画像を符号化する動画像符号化処理をコンピュータに実行させる動画像符号化プログラムにおいて、
各予測ブロックの評価用の第２予測画像を各予測ブロックの周辺の符号化前の原画素または符号化前の原画素および符号化後の画素を復号した復号画素に基づいて生成する処理を、画面内予測の予測方向を規定する複数の予測モード毎に実行し、
前記予測画像の生成に使用する予測モードを決定する際に参照されるモード評価値を、符号化対象の予測ブロックの原画像と前記符号化対象の予測ブロックの前記第２予測画像との差分に基づいて、前記複数の予測モード毎に算出し、
画像の複雑度を算出し、
原画素に基づいて生成された前記第２予測画像を用いて前記モード評価値を算出した場合、前記符号化部による画像の量子化で使用される量子化パラメータの値と前記複雑度とに基づいて、前記モード評価値を補正し、
前記予測画像の生成に使用する予測モードを、前記モード評価値に基づいて決定し、
前記モード評価値に基づいて決定した予測モードに基づいて、前記予測画像を生成する
ことを特徴とする動画像符号化プログラム。
【０１４３】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
【符号の説明】
【０１４４】
１００、１０２‥動画像符号化装置；１１０‥分割部；１１２‥画面間予測部；１２０、１２２‥画面内予測部；１３０‥予測画像生成部；１３２‥評価値算出部；１３４‥複雑度算出部；１３６‥評価値補正部；１３８‥モード決定部；１４０‥符号化部；１４２‥選択部；１４４‥差分算出部；１４６‥直交変換部；１４８‥量子化部；１５０‥量子化部；１５２‥制御部；１５６‥逆量子化部；１５８‥逆直交変換部；１６０‥加算部；１６２‥フィルタ部；１６８‥メモリ；ＢＵＳ‥バス；ＣＰ‥コンピュータ；ＨＤＤ‥ハードディスク装置；ＩＦ‥入出力インタフェース；ＭＥＭ‥メモリ；ＯＤＲ‥光学ドライブ装置；ＰＵ‥プロセッサ
【図１】
2017152851.tif 000003
【図２】
2017152851.tif 000004
【図３】
2017152851.tif 000005
【図４】
2017152851.tif 000006
【図５】
2017152851.tif 000007
【図６】
2017152851.tif 000008
【図７】
2017152851.tif 000009
【図８】
2017152851.tif 000010
【図９】
2017152851.tif 000011
【図１０】
2017152851.tif 000012
【図１１】
2017152851.tif 000013
【図１２】
2017152851.tif 000014
【図１３】
2017152851.tif 000015