(57)【要約】【課題】  より少ない処理量で適切な符号化モードの選択を可能とさせる符号化モード決定装置を提供する。【解決手段】  この符号化モード決定装置は、画像ブロックの符号化モードを複数候補の中から少なくとも１つに決定する装置である。フルペル予測ステップＳ４１は、各符号化モードの分割方法によってそれぞれ得られる画像ブロックのパーティションである小ブロックに対する整数画素精度の動き推定に基づいて、各符号化モードの符号化コストを導出する。分割方法候補選択ステップＳ４２は、ステップＳ４１によって導出された符号化コストに基づいて、複数の符号化モードの分割方法候補から一部の分割方法候補を選択する。サブペル予測ステップＳ４３は、一部の分割方法候補の少なくとも一部の分割方法候補によって得られる小ブロックに対する非整数画素精度の動き推定に基づいて、各分割方法候補の符号化コストを導出する。分割方法決定ステップＳ４４は、ステップＳ４３によって導出された符号化コストに基づいて、画像ブロックの分割方法を決定する。【選択図】      図３
2005057750.tif 000002
【特許請求の範囲】
【請求項１】
画像ブロックの符号化モードを複数候補の中から少なくとも１つに決定する符号化モード決定装置であって、
各符号化モードによってそれぞれ得られる画像ブロックのパーティションである小ブロックに対する簡易な動き推定に基づいて、各符号化モードの符号化コストを導出する簡易動き推定部と、
前記簡易動き推定部によって導出された符号化コストに基づいて、前記複数の符号化モードから一部の符号化モードを選択する符号化モード選択部と、
前記一部の符号化モードの少なくとも一部の符号化モードによって得られる小ブロックに対する複雑な動き推定に基づいて、各符号化モードの符号化コストを導出する複雑動き推定部と、
前記複雑動き推定部によって導出された符号化コストに基づいて、前記画像ブロックの符号化モードを決定する符号化モード決定部と、
を備える符号化モード決定装置。
【請求項２】
前記簡易動き推定部は、各符号化モードの符号化コストを導出する際に、各符号化モードによって得られる小ブロックごとに複数のピクチャ参照方向の簡易な動き推定を行って符号化コストを算出し、次に各小ブロックごとに符号化コストが低いピクチャ参照方向を選択し、次に選択したピクチャ参照方向に関する全ての小ブロックの符号化コストを各分割方法候補ごとに合計して、各分割方法候補ごとの符号化モードの符号化コストを導出する、
請求項１に記載の符号化モード決定装置。
【請求項３】
前記簡易動き推定部は、各符号化モードの符号化コストを導出する際に、各符号化モードによって得られる小ブロックごとに複数のピクチャ参照方向の簡易な動き推定を行って符号化コストを算出し、次に小ブロックの各ピクチャ参照方向ごとの符号化コストを画像ブロック単位に換算して、各分割候補の各ピクチャ参照方向ごとの符号化モードの符号化コストを導出する、
請求項１に記載の符号化モード決定装置。
【請求項４】
前記簡易動き推定部の前記複数のピクチャ参照方向の簡易な動き推定は、時間的に前方向のピクチャを参照する前方向予測と、時間的に後方向のピクチャを参照する後方向予測のみを含む、
請求項２又は３に記載の符号化モード決定装置。
【請求項５】
前記簡易動き推定部の前記複数のピクチャ参照方向の簡易な動き推定は、時間的に前方向のピクチャを参照する前方向予測と、時間的に後方向のピクチャを参照する後方向予測と、時間的に双方向のピクチャを参照する双方向予測とを含む、
請求項２又は３に記載の符号化モード決定装置。
【請求項６】
前記簡易動き推定部の前記複数のピクチャ参照方向の簡易な動き推定は、時間的に前方向のピクチャを参照する前方向予測と、時間的に後方向のピクチャを参照する後方向予測とを含み、
前記簡易動き推定部は、前記前方向予測と前記後方向予測とに基づいて、時間的に双方向のピクチャを参照する双方向予測を行った場合の符号化コストを導出する、
請求項２又は３に記載の符号化モード決定装置。
【請求項７】
前記複雑動き推定部は、前記簡易動き推定部における簡易な動き推定に基づいて、前記複雑な動き推定の際のピクチャ参照方向を決定する、
請求項１〜６のいずれかに記載の符号化モード決定装置。
【請求項８】
前記複雑動き推定部は、前記簡易動き推定部における前記小ブロックに対する簡易な動き推定の結果、前方向予測と後向予測の符号化コストが概ね同じ場合は両方を選択し、異なる場合は符号化コストが小さい方のみを選択する、
請求項７に記載の符号化モード決定装置。
【請求項９】
前記複雑動き推定部は、前記簡易動き推定部における前記小ブロックに対する簡易な動き推定に基づいて、前記一部の符号化モードからさらに少なくとも一部の符号化モードを選択する、
請求項１〜８のいずれかに記載の符号化モード決定装置。
【請求項１０】
前記複雑動き推定部は、各符号化モードを符号化コストが低い順に選択していき、選択した符号化モードの符号化コストの和が処理余裕量を超える直前に選択を打ち切る、
請求項９に記載の符号化モード決定装置。
【請求項１１】
前記簡易動き推定部あるいは前記複雑動き推定部は、動き推定処理の処理量がほぼ一定に保たれるように、前記簡易動き推定あるいは前記複雑動き推定における動き推定方式を変化させる、
請求項１〜１０のいずれかに記載の符号化モード決定装置。
【請求項１２】
前記簡易な動き推定は、整数画素精度の動き推定であり、
前記複雑な動き推定は、非整数画素精度の動き推定である、
請求項１〜１１のいずれかに記載の符号化モード決定装置。
【請求項１３】
請求項１〜１２のいずれかに記載の符号化モード決定装置を含む、
集積回路。
【請求項１４】
請求項１〜１２のいずれかに記載の符号化モード決定装置と、
前記符号化モード決定装置が決定する画像ブロックの符号化モードに基づいて、前記画像ブロックの符号化を行う符号化装置と、
を備える画像符号化装置。
【請求項１５】
請求項１４に記載の画像符号化装置を含む、
集積回路。
【請求項１６】
画像ブロックの符号化モードを決定する符号化モード決定装置であって、
前記画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックの各ブロックについてインター予測を行って、符号化コストを導出するインター予測部と、
前記インター予測部による符号化コストに基づいて、前記画像ブロックの符号化ピクチャ構造を決定する符号化ピクチャ構造決定部と、
決定された前記符号化ピクチャ構造を有する各ブロックについてイントラ予測を行って、符号化コストを導出するイントラ予測部と、
前記インター予測による符号化コストと前記イントラ予測による符号化コストを比較して、決定された前記符号化ピクチャ構造を有する画像ブロックの各ブロックに対する符号化予測方式を決定する符号化予測方式決定部と、
を備える符号化モード決定装置。
【請求項１７】
前記インター予測部は、前記フレーム構造ブロックの各ブロックの符号化コストを合計して前記フレーム構造ブロックの符号化コストを導出し、前記フィールド構造ブロックの各ブロックの符号化コストを合計して前記フィールド構造ブロックの符号化コストを導出する、請求項１６に記載の符号化モード決定装置。
【請求項１８】
前記イントラ予測部は、決定された前記符号化ピクチャ構造を有する各ブロックについてイントラ予測を行って符号化コストを導出し、
前記符号化予測方式決定部は、決定された前記符号化ピクチャ構造を有する各ブロックについて、前記インター予測部で導出された符号化コストと前記イントラ予測部で導出された符号化コストとを比較し、各ブロックごとに符号化予測方式を決定する、
請求項１７に記載の符号化モード決定装置。
【請求項１９】
前記画像ブロックは、２つの正方ブロックから構成されているブロックペアである、
請求項１６〜１８のいずれかに記載の符号化モード決定装置。
【請求項２０】
請求項１６〜１９のいずれかに記載の符号化モード決定装置を含む、
集積回路。
【請求項２１】
請求項１６〜１９のいずれかに記載の符号化モード決定装置と、
前記符号化モード決定装置が決定する画像ブロックの符号化モードに基づいて、前記画像ブロックの符号化を行う符号化装置と、
を備える画像符号化装置。
【請求項２２】
請求項２１に記載の画像符号化装置を含む、
集積回路。
【請求項２３】
画像ブロックの符号化モードを決定する符号化モード決定装置であって、
前記画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックのそれぞれのブロックに対して簡易な動き推定によって符号化コストを導出する簡易動き推定部と、
前記簡易動き推定部による符号化コストに基づいて、前記画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックの符号化コストを比較し、符号化ピクチャ構造を決定する符号化ピクチャ構造決定部と、
を備える符号化モード決定装置。
【請求項２４】
前記簡易動き推定部は、各ブロックに対して簡易なインター予測と簡易なイントラ予測を行い、次に簡易なインター予測の符号化コストと簡易なイントラ予測の符号化コストを比較し各ブロックごとに簡易なインター予測と簡易なイントラ予測のいずれかを選択し、さらに各ピクチャ構造ごとのブロックの符号化コストを合計してフレーム構造ブロック及びフィールド構造ブロックの符号化コストを導出する、
請求項２３に記載の符号化モード決定装置。
【請求項２５】
前記簡易なインター予測は、整数画素精度のインター予測である、
請求項２４に記載の符号化モード決定装置。
【請求項２６】
前記画像ブロックは、２つの正方ブロックから構成されているブロックペアである、
請求項２３〜２５のいずれかに記載の符号化モード決定装置。
【請求項２７】
請求項２３〜２６のいずれかに記載の符号化モード決定装置を含む、
集積回路。
【請求項２８】
請求項２３〜２６のいずれかに記載の符号化モード決定装置と、
前記符号化モード決定装置によって決定される符号化ピクチャ構造の画像ブロックに対して複雑な動き推定を行う複雑動き推定部と、
前記複雑動き推定部による予測結果に基づいて、前記画像ブロックの符号化を行う符号化部と、
を備える画像符号化装置。
【請求項２９】
前記複雑動き推定部は、決定された符号化ピクチャ構造を有する各ブロックに対して、複雑なインター予測又は複雑なイントラ予測を行う、
請求項２８に記載の画像符号化装置。
【請求項３０】
前記複雑なインター予測は、非整数画素精度のインター予測である、
請求項２９に記載の画像符号化装置。
【請求項３１】
請求項２８〜３０のいずれかに記載の画像符号化装置を含む、
集積回路。
【請求項３２】
画像ブロックの符号化モードを複数候補の中から少なくとも１つに決定する符号化モード決定方法であって、
各符号化モードによってそれぞれ得られる画像ブロックのパーティションである小ブロックに対する簡易な動き推定に基づいて、各符号化モードの符号化コストを導出する簡易動き推定ステップと、
前記簡易動き推定ステップによって導出された符号化コストに基づいて、前記複数の符号化モードから一部の符号化モードを選択する符号化モード選択ステップと、
前記一部の符号化モードの少なくとも一部の符号化モードによって得られる小ブロックに対する複雑な動き推定に基づいて、各符号化モードの符号化コストを導出する複雑動き推定ステップと、
前記複雑動き推定ステップによって導出された符号化コストに基づいて、前記画像ブロックの符号化モードを決定する符号化モード決定ステップと、
を備える符号化モード決定方法。
【請求項３３】
画像ブロックの符号化モードを決定する符号化モード決定方法であって、
前記画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックの各ブロックについてインター予測を行って、符号化コストを導出するインター予測ステップと、
前記インター予測ステップによる符号化コストに基づいて、前記画像ブロックの符号化ピクチャ構造を決定する符号化ピクチャ構造決定ステップと、
決定された前記符号化ピクチャ構造を有する各ブロックについてイントラ予測を行って、符号化コストを導出するイントラ予測ステップと、
前記インター予測による符号化コストと前記イントラ予測による符号化コストを比較して、決定された前記符号化ピクチャ構造を有する画像ブロックの各ブロックに対する符号化予測方式を決定する符号化予測方式決定ステップと、
を備える符号化モード決定方法。
【請求項３４】
画像ブロックの符号化モードを決定する符号化モード決定方法であって、
前記画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックのそれぞれのブロックに対して簡易な動き推定によって符号化コストを導出する簡易動き推定ステップと、
前記簡易動き推定ステップによる符号化コストに基づいて、前記画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックの符号化コストを比較し、符号化ピクチャ構造を決定する符号化ピクチャ構造決定ステップと、
を備える符号化モード決定方法。
【請求項３５】
コンピュータにより、画像ブロックの符号化モードを複数候補の中から少なくとも１つに決定する符号化モード決定プログラムであって、
前記符号化モード決定プログラムは、コンピュータに、
各符号化モードによってそれぞれ得られる画像ブロックのパーティションである小ブロックに対する簡易な動き推定に基づいて、各符号化モードの符号化コストを導出する簡易動き推定ステップと、
前記簡易動き推定ステップによって導出された符号化コストに基づいて、前記複数の符号化モードから一部の符号化モードを選択する符号化モード選択ステップと、
前記一部の符号化モードの少なくとも一部の符号化モードによって得られる小ブロックに対する複雑な動き推定に基づいて、各符号化モードの符号化コストを導出する複雑動き推定ステップと、
前記複雑動き推定ステップによって導出された符号化コストに基づいて、前記画像ブロックの符号化モードを決定する符号化モード決定ステップと、
を備える符号化モード決定方法を行わせるものである、
符号化モード決定プログラム。
【請求項３６】
コンピュータにより、画像ブロックの符号化モードを決定する符号化モード決定方法を行うための符号化モード決定プログラムであって、
前記符号化モード決定プログラムは、コンピュータに、
前記画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックの各ブロックについてインター予測を行って、符号化コストを導出するインター予測ステップと、
前記インター予測ステップによる符号化コストに基づいて、前記画像ブロックの符号化ピクチャ構造を決定する符号化ピクチャ構造決定ステップと、
決定された前記符号化ピクチャ構造を有する各ブロックについてイントラ予測を行って、符号化コストを導出するイントラ予測ステップと、
前記インター予測による符号化コストと前記イントラ予測による符号化コストを比較して、決定された前記符号化ピクチャ構造を有する画像ロックの各ブロックに対する符号化予測方式を決定する符号化予測方式決定ステップと、
を備える符号化モード決定方法を行わせるものである、
符号化モード決定プログラム。
【請求項３７】
コンピュータにより、画像ブロックの符号化モードを決定する符号化モード決定方法を行うための符号化モード決定プログラムであって、
前記符号化モード決定プログラムは、コンピュータに、
前記画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックのそれぞれのブロックに対して簡易な動き推定によって符号化コストを導出する簡易動き推定ステップと、
前記簡易動き推定ステップによる符号化コストに基づいて、前記画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックの符号化コストを比較し、符号化ピクチャ構造を決定する符号化ピクチャ構造決定ステップと、
を備える符号化モード決定方法を行わせるものである、
符号化モード決定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化モード決定装置、画像符号化装置、符号化モード決定方法、および符号化モード決定プログラムに関する。
【背景技術】
【０００２】
マルチメディア・インターネット時代のキーテクノロジーとして、ＭＰＥＧ−４が注目を集めている。ＭＰＥＧ−４では、移動体通信、インターネットなどの応用領域に対応するため、ＭＰＥＧ−１／２に比べ、符号化効率改善などに特徴を有している（例えば、非特許文献１参照。）。
【０００３】
ＭＰＥＧ−４では、新しい高能率の符号化方式として、ＡＶＣと呼ばれる方式が策定されている。ＡＶＣはＩＳＯ  ＭＰＥＧ−４  Ｐａｒｔ１０  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  ＣｏｄｉｎｇまたはＩＴＵ−Ｔ  Ｈ．２６４と呼ばれている符号化方式である。
この方式は、動き推定やＤＣＴを４×４ピクセルの画像ブロックでも可能とし、動き推定のための画像を複数のピクチャから選択するなどして符号化効率の向上を図っている。ＡＶＣは、これまでの符号化方式に利用されていた技術を取り入れた高機能な符号化方式となっているため、応用領域に適応した最適な利用が課題となっている。
【０００４】
例えば、ＡＶＣ策定以前のＭＰＥＧ−４では、マクロブロック単位の符号化モードの候補（パーティションサイズ、予測方向、ダイレクトモードなど）の組み合わせ数が比較的少なく、符号化の際にこれらの候補を網羅して最適な符号化モードの探索を行ってもエンコーダでの処理量の負担は大きくなかった。
【０００５】
一方、ＡＶＣでは、図２５に示す様に、１６×１６ピクセル（以下、１６×１６という）のマクロブロックを１６×１６，１６×８，８×１６，８×８のマクロブロックパーティション（以下、小ブロックという）に分割可能である。また８×８ピクセルの小ブロックを８×８，８×４，４×８，４×４のサブマクロブロックパーティションに分割可能である。
【０００６】
以下、１６×１６に分割された１つの小ブロックを小ブロックＳｂ１と、１６×８に分割された２つの小ブロックを小ブロックＳｂ２，Ｓｂ３と、８×１６に分割された２つの小ブロックを小ブロックＳｂ４，Ｓｂ５と、８×８に分割された４つの小ブロックを小ブロックＳｂ６〜Ｓｂ９とする。
【０００７】
また、ＡＶＣでは、図２６に示す様に、それぞれの小ブロックＳｂ１〜Ｓｂ９について、参照ピクチャを参照して動き推定を行うことが可能である。これは、それぞれのサブマクロブロックパーティションについても同様である。さらに、ＡＶＣでは、図２７に示す様に、符号化ピクチャに対して時間的に前の参照ピクチャを参照する前方向予測（図２７（ａ）参照）、符号化ピクチャに対して時間的に後の参照ピクチャを参照する後方向予測（図２７（ｂ）参照）、あるいは符号化ピクチャに対して双方向の参照ピクチャを参照する双方向予測（図２７（ｃ）参照）などのインター予測を行うことが可能である。
【０００８】
〈従来のエンコーダによる処理〉
これらの符号化モードを網羅する従来のエンコーダの処理を図２８および図２９を用いて説明する。
従来のエンコーダでは、画像ブロックを複数の分割方法候補で分割した小ブロックの全てについて動き推定を行う。さらに、小ブロック毎の参照ピクチャの選択および画像ブロックの分割方法の選択を行い、選択された分割方法を用いた符号化を行う。
【０００９】
ここで、小ブロック毎の参照ピクチャの選択および画像ブロックの分割方法の選択に際して、符号化コストという量が用いられる。符号化コストとは、画質劣化度（小ブロックと予測画像との絶対差分和）と動き情報（動きベクトルあるいは差分動きベクトルなど）の符号量との和で表される量であり、画像ブロック単位の符号化コストが小さいほど、画像ブロックの符号化効率が良いことを示している。なお、絶対差分和以外にも、差分の二乗和や、差分のアダマール変換やＤＣＴ変換後の誤差の絶対値和などが用いられることがある。
【００１０】
図２８は、小ブロックのそれぞれに対する動き推定の処理フローを示すブロック図である。１６×１６の画像ブロックを分割したＭ×Ｎ（（Ｍ，Ｎ）＝（１６，１６），（１６，８），（８，１６），（８，８））の小ブロックのそれぞれに対して、図２８の処理が行われる。図２８に示す動き推定の処理フローは、小ブロックについてのフルペル予測ステップＳ３００と、サブペル予測ステップＳ３０１と、参照方向選択ステップＳ３０２とを備えている。
【００１１】
フルペル予測ステップＳ３００は、Ｍ×Ｎの小ブロックに対して、前方向予測および後方向予測による整数画素精度の動き推定を行う（ステップＳ３０５，Ｓ３０６）。具体的には、整数画素精度で、決められた探索範囲内（例えば±３２）の動き推定を行う。すなわち、探索範囲内で、符号化コストを最小とする動きベクトル（以下、ＭＶという）０ｆおよびＭＶ０ｂを検出する。
【００１２】
サブペル予測ステップＳ３０１は、Ｍ×Ｎの小ブロックに対して、前方向予測、後方向予測および双方向予測による非整数画素精度の動き推定を行う（ステップＳ３０７〜Ｓ３０９）。ＡＶＣのインター予測では、１／２画素精度や１／４画素精度といった非整数画素精度で動き推定を行うことができる。そこで、非整数画素精度の参照ピクチャをフィルタを用いて生成し、生成された参照ピクチャに対して動き推定が行われる。
【００１３】
前方向予測ステップＳ３０７では、２段階の動きベクトル探索により、ＭＶ２ｆが検出される。具体的には、フルペル予測ステップＳ３００で検出されたＭＶ０ｆを中心として、周囲８近傍の１／２画素（または１／４画素）と中心のＭＶ０ｆを含めた９点の中から、符号化コストを最小とするＭＶ１ｆ（図示せず）が求められる。さらに、ＭＶ１ｆを中心として、周囲８近傍の１／２画素（または１／４画素）と中心のＭＶ１ｆを含めた９点の中から、符号化コストを最小とするＭＶ２ｆが求められる。なお、フルペル予測では整数画素精度の動き推定を行うと書いたが、間引き画素、例えば、水平に1画素間引く、などした場合でも、本発明のモード選択の方法が適用可能である。
【００１４】
後方向予測ステップＳ３０８でも、前方向予測ステップＳ３０７と同様に、フルペル予測ステップＳ３００で検出されたＭＶ０ｂから、ＭＶ２ｂが検出される。
双方向予測ステップＳ３０９は、２枚の参照ピクチャを参照するため、処理量が多い。そこで、前方向予測ステップＳ３０７および後方向予測ステップＳ３０８で検出されたＭＶ２ｆおよびＭＶ２ｂを利用した予測が行われる。具体的には、ＭＶ２ｆおよびＭＶ２ｂが示す参照ピクチャ上の参照領域を平均したものを予測画像として用いる。
【００１５】
また、前方向予測ステップＳ３０７、後方向予測ステップＳ３０８および双方向予測ステップＳ３０９では、それぞれの符号化コストＣ０，Ｃ１およびＣ２が導出される。
参照方向選択ステップＳ３０２は、符号化コストＣ０〜Ｃ２のうち最小の符号化コストを有する方向を小ブロックの参照方向として選択するとともに、最小の符号化コストを出力する。
【００１６】
図２９は、画像ブロックについての動き推定の処理フローを示すブロック図である。図２９の画像ブロックについての動き推定の処理フローは、１６×１６の画像ブロックを４種類の分割方法候補により分割したＭ×Ｎ（（Ｍ，Ｎ）＝（１６，１６），（１６，８），（８，１６），（８，８））の小ブロックのそれぞれに対する動き推定を行う動き推定ステップＳ３１５と、小ブロックごとの動き推定の結果に基づいて、画像ブロックの符号化コストを分割方法候補毎に導出する符号化コスト換算ステップＳ３１６と、分割方法候補毎に導出された画像ブロックの符号化コストから、最良の分割方法を選択する分割方法選択ステップＳ３１７とを備えている。
【００１７】
動き推定ステップＳ３１５は、図２８を用いて説明した小ブロックに対する動き推定の処理フローに対応する小ブロック動き推定ステップＳ３２０〜Ｓ３２３を有している。ここで、図２９では、小ブロック動き推定ステップＳ３２１〜Ｓ３２３の処理ブロックは複数の矢印により接続されている。例えば、１６×８の小ブロック動き推定ステップＳ３２１では、それぞれの処理ブロックは２本の矢印により接続されている。これは、それぞれの処理が、１６×１６の画像ブロックを１６×８に分割する２つの小ブロックＳｂ２，Ｓｂ３に対して行われることを示している。同様に、８×１６の小ブロック動き推定ステップＳ３２２においては、それぞれの処理ブロックは、２本の矢印により接続されており、８×８の小ブロック動き推定ステップＳ３２３においては、それぞれの処理ブロックは、４本の矢印により接続されている。それぞれの処理ブロックの処理の内容は、図２８で説明したのと同様であるため、ここでは説明を省略する。
【００１８】
符号化コスト換算ステップＳ３１６は、ＭＢコスト換算ステップＳ３２５〜Ｓ３２８を有している。ＭＢコスト換算ステップＳ３２５〜Ｓ３２８は、小ブロック動き推定ステップＳ３２０〜３２３により出力された小ブロック毎の符号化コストを合計し、画像ブロックの符号化コストを分割方法候補毎に導出する。
【００１９】
分割方法選択ステップＳ３１７は、ＭＢコスト換算ステップＳ３２５〜Ｓ３２８が導出した分割方法候補毎の符号化コストのうち、最小の符号化コストを示す分割方法候補を画像ブロックに適用する分割方法として選択する。
また、ＡＶＣでは、図３０に示す様に、２つの画像ブロック７１，７２からなる画像ブロックペア７３という概念を導入しており、画像ブロックペア７３を単位として、フィールド予測およびフレーム予測を適応的に切り換えることが可能である。例えば、フィールド予測の場合、フィールド構造ブロック７５，７６のそれぞれに対して動き推定が行われる。フレーム予測の場合、フレーム構造ブロック７７，７８のそれぞれについて動き推定が行われる。
【００２０】
また、画像ブロックペア７３の符号化モードは、符号化ピクチャ構造の２種類（フィールド・フレーム）および符号化予測方式（イントラ・インター予測）の２種類で、合計４種類ある。従来は、これらの全ての組み合わせを考慮していたため、処理量多いと言う問題があった。特にイントラ予測の処理負担が大きかった。
【００２１】
ここで、従来の符号化モード決定について説明する。ＡＶＣより前のＣｏｄｅｃではＭＢｐａｉｒ（大ブロック）という概念は無く、ＭＢ（中ブロック）の種類として、フィールド／フレームがあった。そして、イントラ／インターとフィールド／フレームの４通りを網羅するのが一般的だった。図３１に示すように、動き推定ステップＳ８１と、ピクチャ構造及び符号化予測方式決定ステップＳ８２とから構成されている。推定ステップＳ８１は、第１〜第６推定ステップＳ８１１〜Ｓ８１６とを有している。第１推定ステップＳ８１１は、フレーム構造ブロックに対してインター予測を行う。第２推定ステップＳ８１２は、フレーム構造ブロックに対してイントラ予測を行う。第３推定ステップＳ８１３は、フィールド構造トップＭＢに対してインター予測を行う。第４推定ステップＳ８１４は、フィールド構造のボトムフィールドに対してインター予測を行う。第３推定ステップＳ８１３によって導出された符号化コストと、第４推定ステップＳ８１４によって導出された符号化コストは合計されて、フィールド構造ブロックに対してインター予測して導出された符号化コストが得られる。第５推定ステップＳ８１５は、フィールド構造のトップフィールドに対してイントラ予測を行う。第６推定ステップＳ８１６は、フィールド構造のボトムフィールドに対してイントラ予測を行う。第５推定ステップＳ８１５によって導出された符号化コストと、第６推定ステップＳ８１６によって導出された符号化コストは合計されて、フィールド構造ブロックに対してイントラ予測して導出された符号化コストが得られる。
【００２２】
ピクチャ構造及び符号化予測方式決定ステップＳ８２は、前記４種類の符号化コストのうち、最小となるものを選択する。
以上までが従来技術であるが、そのような考えを単純にＡＶＣに適用すると考えると、図３２のような処理が想定される。図３２では、処理全体は、動き推定ステップＳ８１’と、符号化予測方式決定ステップＳ８３と、ＭＢペアのピクチャ構造決定ステップＳ８２’とから構成されている。
【００２３】
動き推定ステップＳ８１’は、第１〜第８推定ステップＳ８１１’〜Ｓ８１８’を備えている。第１推定ステップＳ８１１’はフレーム構造トップＭＢ７７に対してインター予測を行い、第２推定ステップＳ８１２’はフレーム構造トップＭＢ７７に対してイントラ予測を行う。第３推定ステップＳ８１３’はフレーム構造ボトムＭＢ７８に対してインター予測を行い、第４推定ステップＳ８１４’はフレーム構造ボトムＭＢ７８に対してイントラ予測を行う。第５推定ステップＳ８１５’はフィールド構造トップＭＢ７５に対してインター予測を行い、第６推定ステップＳ８１６’はフィールド構造トップＭＢ７５に対してイントラ予測を行う。第７推定ステップＳ８１７’はフィールド構造ボトムＭＢ７６に対してインター予測を行い、第８推定ステップＳ８１８’はフィールド構造ボトムＭＢ７６に対してイントラ予測を行う。
【００２４】
符号化予測方式決定ステップＳ８３は、第１〜第４予測方式決定ステップＳ８３１〜Ｓ８３４を備えている。第１予測方式決定ステップＳ８３１は、第１推定ステップＳ８１１’及び第２推定ステップＳ８１２’の符号化コストを比較して、フレーム構造トップＭＢ７７に対するイントラ／インターを選択する。第２予測方式決定ステップＳ８３２は、第３予測ステップＳ８１３’及び第４予測ステップＳ８１４’の符号化コストを比較して、フレーム構造ボトムＭＢ７８に対するイントラ／インターを選択する。イントラ／インターが選択されたフレーム構造のトップＭＢ７７とボトムＭＢ７８の符号化コストは合計され、フレーム構造ブロックペア７７，７８の符号化コストが得られる。第３予測方式決定ステップＳ８３３は、第５推定ステップＳ８１５’及び第６推定ステップＳ８１６’の符号化コストを比較して、フィールド構造トップＭＢ７５に対するイントラ／インターを選択する。第４予測方式決定ステップＳ８３４は、第７推定ステップＳ８１７’及び第８推定ステップＳ８１８’の符号化コストを比較して、フィールド構造ボトムＭＢ７６に対するイントラ／インターを選択する。イントラ／インターが選択されたフィールド構造のトップＭＢ７５とボトムＭＢ７６の符号化コストは合計され、フィールド構造ブロックペア７５，７６の符号化コストが得られる。
【００２５】
ピクチャ構造決定ステップＳ８２’は、フレーム構造ブロックペア７７，７８の符号化コストとフィールド構造ブロックペア７５，７６の符号化コストとを比較し、画像ブロックペア７３（７１，７２）のフィールド／フレームを決定する。
以上の処理では、イントラ予測とインター予測の両方でフィールド／フレームそれぞれのコスト計算を行うため、インター予測とイントラ予測のいずれか一方のみで圧縮率が向上する画像の場合であっても、圧縮率が最良となるように符号化ピクチャ構造と符号化予測方式を決定できる。しかし、その一方でイントラ予測の回数が多いため、処理量が膨大になる。
【非特許文献１】三木弼一編著，「ＭＰＥＧ−４のすべて」，初版，（株）工業調査会，          １９９８年９月３０日，ｐ．３７−５８
【発明の開示】
【発明が解決しようとする課題】
【００２６】
以上のように、ＡＶＣでは、マクロブロック（ペア）毎に符号化モードの候補が膨大であり、全ての候補を網羅して符号化効率の高い符号化モードを探索すると、エンコーダの処理量の負担が大きくなる。
そこで、本発明では、より少ない処理量で適切な符号化モードの選択を可能とさせる符号化モード決定装置、画像符号化装置、符号化モード決定方法、および符号化モード決定プログラムを提供することを課題とする。
【課題を解決するための手段】
【００２７】
請求項１に記載の符号化モード決定装置では、画像ブロックの符号化モードを複数候補の中から少なくとも１つに決定する装置であって、簡易動き推定部と、符号化モード選択部と、複雑動き推定部と、符号化モード決定部とを備えている。簡易動き推定部は、各符号化モードによってそれぞれ得られる画像ブロックのパーティションである小ブロックに対する簡易な動き推定に基づいて、各符号化モードの符号化コストを導出する。符号化モード選択部は、簡易動き推定部によって導出された符号化コストに基づいて、複数の符号化モードから一部の符号化モードを選択する。複雑動き推定部は、一部の符号化モードの少なくとも一部の符号化モードによって得られる小ブロックに対する複雑な動き推定に基づいて、各符号化モードの符号化コストを導出する。符号化モード決定部は、複雑動き推定部によって導出された符号化コストに基づいて、画像ブロックの符号化モードを決定する。
【００２８】
ここで、複雑な動き推定とは、簡易な動き推定よりも複雑な動き推定のことである（以下、同じ）。例えば、複雑な動き推定とは、整数画素精度の簡易な動き推定に対するより詳細な精度（例えば、１／２画素精度、１／４画素精度などといった非整数画素精度）での動き推定、非整数画素の簡易な動き推定に対するより詳細な精度での動き推定、縮小画像（画素情報の間引かれた画像）を参照する簡易な動き推定に対するより詳細な画像を参照する動き推定などである。
【００２９】
符号化コストは、例えば、画質劣化度（小ブロックと動き推定における参照ピクチャとの絶対差分和）と動き情報（動きベクトルあるいは差分動きベクトルなど）の符号量との和で表される。符号化モードとは、例えば、小ブロックの分割方法や、小ブロックの動き推定の際のピクチャ参照方向や、小ブロックの符号化ピクチャ構造などである。
【００３０】
この装置では、簡易動き推定部により得られた符号化コストから符号化モード選択部が符号化モードの絞り込みを行う。さらに、絞り込んだ符号化モードの小ブロックに対して、複雑動き推定部が複雑な動き推定を行う。ここで、複雑な動き推定は、例えば、フィルタを適用する必要があるなどの理由により、簡易な動き推定に比して処理量が多いが、この装置では、符号化モードの決定に際して全ての小ブロックについて複雑な動き推定を行う必要が無い。このため、複雑な動き推定の回数を削減でき、符号化モード決定の処理量を低減することが可能となる。また、必要な小ブロックには複雑な動き推定を行うため、適切な符号化効率の符号化モードを決定することが可能となる。
【００３１】
請求項２に記載の符号化モード決定装置では、請求項１において、簡易動き推定部は、各符号化モードの符号化コストを導出する際に、各符号化モードによって得られる小ブロックごとに複数のピクチャ参照方向の簡易な動き推定を行って符号化コストを算出し、次に各小ブロックごとに符号化コストが低いピクチャ参照方向を選択し、次に選択したピクチャ参照方向に関する全ての小ブロックの符号化コストを各分割方法候補ごとに合計して、各分割方法候補ごとの符号化モードの符号化コストを導出する。
【００３２】
この装置では、簡易動き推定部が各小ブロックごとに符号化コストが低いピクチャ参照方向を選択しているため、各分割方法候補ごとの符号化モードにおいて最も符号化コストが小さい小ブロックの組み合わせが可能となる。
請求項３に記載の符号化モード決定装置では、請求項１において、簡易動き推定部は、各符号化モードの符号化コストを導出する際に、各符号化モードによって得られる小ブロックごとに複数のピクチャ参照方向の簡易な動き推定を行って符号化コストを算出し、次に小ブロックの各ピクチャ参照方向ごとの符号化コストを画像ブロック単位に換算して、各分割候補の各ピクチャ参照方向ごとの符号化モードの符号化コストを導出する。
【００３３】
この装置では、簡易動き推定部が小ブロックのピクチャ参照方向ごとの符号化コストを画像ブロック単位に換算して符号化モードを導出するため、一つの小ブロックにおいて異なるピクチャ参照方向の符号化モードも符号化モード選択部の対象となる。
請求項４に記載の符号化モード決定装置では、請求項２又は３において、簡易動き推定部の複数のピクチャ参照方向の簡易な動き推定は、時間的に前方向のピクチャを参照する前方向予測と、時間的に後方向のピクチャを参照する後方向予測のみを含む。すなわち、この装置は双方向予測を行わない。なお、前方向予測と後方向予測は、それぞれ、同一方向における複数枚のピクチャを参照する複数予測を含む（以下、同じ）。
【００３４】
この装置では、簡易動き推定部は、前方向予測と後方向予測のみを行う。双方向予測を行わないため、処理量を削減でき、簡易な動き推定の処理時間を短縮できる。
請求項５に記載の符号化モード決定装置では、請求項２又は３において、簡易動き推定部の複数のピクチャ参照方向の簡易な動き推定は、時間的に前方向のピクチャを参照する前方向予測と、時間的に後方向のピクチャを参照する後方向予測と、時間的に双方向のピクチャを参照する双方向予測とを含む。
【００３５】
この装置では、双方向予測を行うため、簡易な動き推定の精度を向上させることが可能となる。このため、より適切な符号化モードを選択することが可能となる。
請求項６に記載の符号化モード決定装置では、請求項２又は３において、簡易動き推定部の複数のピクチャ参照方向の簡易な動き推定は、時間的に前方向のピクチャを参照する前方向予測と、時間的に後方向のピクチャを参照する後方向予測とを含む。簡易動き推定部は、前方向予測と後方向予測とに基づいて、時間的に双方向のピクチャを参照する双方向予測を行った場合の符号化コストを導出する。例えば、前方向予測の符号化コストと後方向予測の符号化コストとが近い値の場合には、双方向予測の符号化コストは、それらの符号化コストの小さい方の値よりも少しだけ小さい値である、などと推定される。
【００３６】
この装置では、双方向予測の予測結果を推定するため、簡易動き推定部では、双方向予測を行う必要はなく、処理量を低減することが可能となる。また、予測結果を簡易動き推定部による符号化コストに反映させることにより、双方向予測を行った場合と同様の効果を簡易に得ることが可能となる。このため、符号化効率を簡易に向上させることが可能となる。
【００３７】
請求項７に記載の符号化モード決定装置では、請求項１〜６のいずれかにおいて、複雑動き推定部は、簡易動き推定部における簡易な動き推定に基づいて、複雑な動き推定の際のピクチャ参照方向を決定する。複雑動き推定部では、決定された参照方向のピクチャを参照して動き推定を行う。すなわち、前方向予測又は後方向予測を実行可能な場合であっても、常に全ての方向の動き推定を行う必要が無くなる。
【００３８】
この装置では、必要な参照方向を参照して複雑な動き推定を実行することが可能となる。このため、複雑な動き推定の処理量を削減でき、複雑な動き推定の処理時間を短縮可能となる。
請求項８に記載の符号化モード決定装置では、請求項７において、複雑動き推定部は、簡易動き推定部における小ブロックに対する簡易な動き推定の結果、前方向予測と後向予測の符号化コストが概ね同じ場合は両方を選択し、異なる場合は符号化コストが小さい方のみを選択する。
【００３９】
この装置では、前方向予測と後向予測の符号化コストが概ね同じ場合は両方を選択し、さらに双方向予測を行うことができる。また、異なる場合は符号化コストが小さい方のみを選択する。これは、一方の符号化コストが大きい場合は、双方向予測で符号化コストが小さくなることが期待できないからである。
【００４０】
請求項９に記載の符号化モード決定装置では、請求項１〜８のいずれかにおいて、複雑動き推定部は、簡易動き推定部における小ブロックに対する簡易な動き推定に基づいて、一部の符号化モードからさらに少なくとも一部の符号化モードを選択する。複雑動き推定部は、小ブロックに対する簡易な動き推定に基づいて、一部の符号化モードのうちの少なくとも一部の符号化モードを選択する。
【００４１】
この装置では、異なる符号化モードから選択された一部の符号化モードの全部について、複雑な動き推定を行う必要がなく、処理量を削減できる。また、処理量を一定に保つように一部の符号化モードのうちの少なくとも一部の符号化モードを選択することも可能となる。
【００４２】
請求項１０に記載の符号化モード決定装置では、請求項９において、複雑動き推定部は、各符号化モードを符号化コストが低い順に選択していき、選択した符号化モードの符号化コストの和が処理余裕量を超える直前に選択を打ち切る。
この装置では、複雑動き推定部は符号化モード選択部によって選択された符号化モードの全てを選択しないこともあり得るが、その場合でも符号化コストが低い符号化モードは選択されているため問題が少ない。
【００４３】
請求項１１に記載の符号化モード決定装置では、請求項１〜１０において、簡易動き推定部あるいは複雑動き推定部は、動き推定処理の処理量がほぼ一定に保たれるように簡易動き推定あるいは複雑動き推定における動き推定方式を変化させる。
例えば、符号化モード決定装置は、画像ブロックにより構成される画像の画像属性に応じて、動き推定方式を変化させる。ここで、画像属性とは、例えば、画像のサイズや、画像の符号化方式（ピクチャタイプ〔Ｉピクチャ、Ｐピクチャ、Ｂピクチャ〕など）や、画像のフォーマット（走査方式〔プログレッシブ、インターレース〕、色差フォーマットなど）や、画像の動き量などである。
【００４４】
動き推定方式とは、例えば、参照するピクチャの枚数・方向、動き推定を行うパーティションサイズのバリエーション、動きの探索範囲などである。
この装置では、適切な処理量の処理が実現され、装置の可動率が向上する。さらに付随的な効果として、より適切な動き推定を行うことが可能となる。
【００４５】
請求項１２に記載の符号化モード決定装置では、請求項１〜１１において、簡易な動き推定は、整数画素精度の動き推定であり、複雑な動き推定は、非整数画素精度の動き推定である。
この装置では、簡易動き推定部により得られた符号化コストから符号化モード選択部が符号化モードの絞り込みを行う。さらに、絞り込んだ符号化モードの小ブロックに対して、複雑動き推定部が非整数画素精度の動き推定を行う。ここで、非整数画素精度の動き推定はフィルタを適用する必要があって整数画素精度の動き推定に比して処理量が多いが、この装置では、符号化モードの決定に際して全ての小ブロックについて非整数画素精度の動き推定を行う必要が無い。このため、非整数画素精度の動き推定の回数を削減でき、符号化モード決定の処理量を低減することが可能となる。また、必要な小ブロックには非整数画素精度の動き推定を行うため、適切な符号化効率の符号化モードを決定することが可能となる。
【００４６】
請求項１３に記載の集積回路は、請求項１〜１２のいずれかに記載の符号化モード決定装置を含む。
この集積回路では、請求項１〜１２のいずれかに記載の符号化モード決定装置と同様の効果を得ることができる。
【００４７】
請求項１４に記載の画像符号化装置は、請求項１〜１２のいずれかに記載の符号化モード決定装置と、符号化装置とを備えている。符号化装置は、符号化モード決定装置が決定する画像ブロックの符号化モードに基づいて、画像ブロックの符号化を行う。
この画像符号化装置では、符号化モードの決定に際して、全てのパーティションについて複雑な動き推定を行う必要が無い。このため、複雑な動き推定の回数を削減でき、符号化モード決定の処理量を低減することが可能となる。また、必要なパーティションには複雑な動き推定を行うため、適切な符号化効率の符号化モードを決定し、符号化を行うことが可能となる。
【００４８】
請求項１５に記載の集積回路は、請求項１４に記載の画像符号化装置を含む。
この集積回路では、請求項１４に記載の画像符号化装置と同様の効果を得ることができる。
請求項１６に記載の符号化モード決定装置は、画像ブロックの符号化モードを決定する装置であって、インター予測部と、符号化ピクチャ構造決定部と、イントラ予測部と、符号化予測方式決定部とを備えている。インター予測部は、画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックの各ブロックについてインター予測を行って、符号化コストを導出する。符号化ピクチャ構造決定部は、インター予測部による符号化コストに基づいて、画像ブロックの符号化ピクチャ構造を決定する。イントラ予測部は、決定された符号化ピクチャ構造を有する各ブロックについてイントラ予測を行って、符号化コストを導出する。符号化予測方式決定部は、インター予測による符号化コストとイントラ予測による符号化コストを比較して、決定された符号化ピクチャ構造を有する画像ブロックの各ブロックに対する符号化予測方式を決定する。ここで、符号化ピクチャ構造とは、画像ブロックを符号化する際のピクチャ構造であり、フィールド構造又はフレーム構造を意味している。符号化予測方式とは、画像ブロックを符号化する際のインター予測あるいはイントラ予測を意味している。
【００４９】
ここで、フィールド構造ブロックとは、例えば、画像ブロックの奇数ラインの集合により構成されるブロックと偶数ラインの集合により構成されるブロックとを含んでいる（以下、同じ）。フレーム構造ブロックとは、例えば、画像ブロックのラインを順次含むブロックにより構成されている（以下、同じ）。
【００５０】
この装置では、イントラ予測部は符号化ピクチャ構造決定部によって決定された符号化ピクチャ構造の各ブロックについてのみイントラ予測を行うため、イントラ予測部はフィールド構造ブロックおよびフレーム構造ブロックの全てについてイントラ予測を行う必要がない。このように処理負荷の高いイントラ予測の回数を減らすことができるため、画像ブロックの符号化予測方式を決定するための処理負荷を削減できる。
【００５１】
請求項１７に記載の符号化モード決定装置では、請求項１６において、インター予測部は、フレーム構造ブロックの各ブロックの符号化コストを合計してフレーム構造ブロックの符号化コストを導出し、フィールド構造ブロックの各ブロックの符号化コストを合計してフィールド構造ブロックの符号化コストを導出する。
【００５２】
この装置では、インター予測部は各ピクチャ構造ごとの各ブロックの符号化コストを導出して合計することで、各ピクチャ構造ごとの符号化コストを導出する。
請求項１８に記載の符号化モード決定装置では、請求項１７において、イントラ予測部は、決定された符号化ピクチャ構造を有する各ブロックについてイントラ予測を行って符号化コストを導出する。符号化予測方式決定部は、決定された符号化ピクチャ構造を有する各ブロックについて、インター予測部で導出された符号化コストとイントラ予測部で導出された符号化コストとを比較し、各ブロックごとに符号化予測方式を決定する。
【００５３】
この装置では、イントラ予測部は、決定された符号化ピクチャ構造を有する各ブロックについてイントラ予測を行って符号化コストを導出するため、フィールド構造ブロックおよびフレーム構造ブロックの全てについてイントラ予測を行う必要がない。このように処理負荷の高いイントラ予測の回数を減らすことができるため、画像ブロックの符号化予測方式を決定するための処理負荷を削減でき、さらに符号化装置全体の処理量を低減することが可能となる。
【００５４】
請求項１９に記載の符号化モード決定装置では、請求項１６〜１８のいずれかにおいて、画像ブロックは、２つの正方ブロックから構成されているブロックペアである。
この装置では、ブロックペアが２つの正方ブロックから構成されており、フィールド構造ブロックとフレーム構造ブロックとのそれぞれを正方のブロックとして処理することが可能となる。
【００５５】
請求項２０に記載の集積回路は、請求項１６〜１９のいずれかに記載の符号化モード決定装置を含む。
この集積回路では、請求項１６〜１９のいずれかに記載の符号化モード決定装置と同様の効果を得ることができる。
【００５６】
請求項２１に記載の画像符号化装置は、請求項１６〜１９のいずれかに記載の符号化モード決定装置と、符号化モード決定装置が決定する画像ブロックの符号化モードに基づいて、画像ブロックの符号化を行う符号化装置とを備える。
この装置では、イントラ予測部はピクチャ構造決定部によって決定されたピクチャ構造のブロックについてのみイントラ予測を行うため、イントラ予測部はフィールド構造ブロックおよびフレーム構造ブロックの全てについてイントラ予測を行う必要がない。このように処理負荷の高いイントラ予測の回数を減らすことができるため、画像ブロックの符号化予測方式を決定するための処理負荷を削減できる。
【００５７】
請求項２２に記載の集積回路は、請求項２１に記載の画像符号化装置を含む。
この集積回路では、請求項２１に記載の画像符号化装置と同様の効果を得ることができる。
請求項２３に記載の符号化モード決定装置は、画像ブロックの符号化モードを決定する装置であって、簡易動き推定部と、符号化ピクチャ構造決定部とを備えている。簡易動き推定部は、画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックのそれぞれのブロックに対して簡易な動き推定によって符号化コストを導出する。符号化ピクチャ構造決定部は、簡易動き推定部による符号化コストに基づいて、画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックの符号化コストを比較し、符号化ピクチャ構造を決定する。
【００５８】
この装置では、簡易な動き推定に基づいて、画像ブロックの符号化モード（具体的には、符号化ピクチャ構造）を決定する。このため、符号化モードを決定するための処理量を軽減することが可能となる。
請求項２４に記載の符号化モード決定装置では、請求項２３において、簡易動き推定部は、各ブロックに対して簡易なインター予測と簡易なイントラ予測を行い、次に簡易なインター予測の符号化コストと簡易なイントラ予測の符号化コストを比較し各ブロックごとに簡易なインター予測と簡易なイントラ予測のいずれかを選択し、さらに各ピクチャ構造ごとのブロックの符号化コストを合計してフレーム構造ブロック及びフィールド構造ブロックの符号化コストを導出する。
【００５９】
この装置では、簡易動き推定部がインター予測とイントラ予測を用いてフレーム構造ブロック及びフィールド構造ブロックの符号化コストを導出するため、インター予測又はイントラ予測のいずれかで圧縮率が向上する画像ブロックの場合でも圧縮率が最良となるような符号化ピクチャ構造を決定できる。
【００６０】
請求項２５に記載の符号化モード決定装置では、請求項２４において、簡易なインター予測は、整数画素精度のインター予測である。
この装置では、簡易動き推定部では、整数画素精度のインター予測と簡易なイントラ予測とを行うことできる。
【００６１】
請求項２６に記載の符号化モード決定装置は、請求項２３〜２５のいずれかにおいて、画像ブロックは、２つの正方ブロックから構成されているブロックペアである。
この装置では、ブロックペアが２つの正方ブロックから構成されており、フィールド構造ブロックとフレーム構造ブロックとのそれぞれを正方のブロックとして処理することが可能となる。
【００６２】
請求項２７に記載の集積回路は、請求項２３〜２６のいずれかに記載の符号化モード決定装置を含む。
この集積回路により、請求項２３〜２６のいずれかに記載の符号化モード決定装置と同様の効果を得ることができる。
【００６３】
請求項２８に記載の画像符号化装置は、請求項２３〜２６のいずれかに記載の符号化モード決定装置と、符号化モード決定装置によって決定される符号化ピクチャ構造の画像ブロックに対して複雑な動き推定を行う複雑動き推定部と、複雑動き推定部による予測結果に基づいて、画像ブロックの符号化を行う符号化部とを備える。
【００６４】
この装置では、複雑な動き推定によって画像ブロックの符号化を行うため、圧縮効率が向上する。しかも、ここでは、符号化モード決定装置によって決定された符号化ピクチャ構造の画像ブロックに対してのみ複雑な動き推定を行うため、従来より複雑な動き推定の回数を減らすことができる。
【００６５】
請求項２９に記載の画像符号化装置では、請求項２８において、複雑予測部は、決定された符号化ピクチャ構造を有する各ブロックに対して、複雑なインター予測又は複雑なイントラ予測を行う。
この装置では、インター予測又はイントラ予測のいずれかで圧縮率が向上する画像ブロックに対しても、圧縮効率を向上させることができる。
【００６６】
請求項３０に記載の画像符号化装置では、請求項２９において、複雑なインター予測は、非整数画素精度のインター予測である。
この装置では、非整数画素精度のインター予測を用いて複雑なインター予測を行うことが可能となる。
【００６７】
請求項３１に記載の集積回路は、請求項２８〜３０のいずれかに記載の画像符号化装置を含む。
この集積回路により、請求項２８〜３０のいずれかに記載の画像符号化装置と同様の効果を得ることができる。
【００６８】
請求項３２に記載の符号化モード決定方法は、画像ブロックの符号化モードを複数候補の中から少なくとも１つに決定する符号化モード決定方法であって、簡易動き推定ステップと、符号化モード選択ステップと、複雑動き推定ステップと、符号化モード決定ステップとを備えている。簡易動き推定ステップは、各符号化モードによってそれぞれ得られる画像ブロックのパーティションである小ブロックに対する簡易な動き推定に基づいて、各符号化モードの符号化コストを導出する。符号化モード選択ステップは、簡易動き推定ステップによって導出された符号化コストに基づいて、複数の符号化モードから一部の符号化モードを選択する。複雑動き推定ステップは、一部の符号化モードの少なくとも一部の符号化モードによって得られる小ブロックに対する複雑な動き推定に基づいて、各符号化モードの符号化コストを導出する。符号化モード決定ステップは、複雑動き推定ステップによって導出された符号化コストに基づいて、画像ブロックの符号化モードを決定する。
【００６９】
この方法では、簡易動き推定ステップにより得られた符号化コストから符号化モード選択ステップが符号化モードの絞り込みを行う。さらに、絞り込んだ符号化モードの小ブロックに対して、複雑動き推定ステップが複雑な動き推定を行う。ここで、複雑な動き推定は、例えば、フィルタを適用する必要があるなどの理由により、簡易な動き推定に比して処理量が多いが、この方法では、符号化モードの決定に際して全ての小ブロックについて複雑な動き推定を行う必要が無い。このため、複雑な動き推定の回数を削減でき、符号化モード決定の処理量を低減することが可能となる。また、必要な小ブロックには複雑な動き推定を行うため、適切な符号化効率の符号化モードを決定することが可能となる。
【００７０】
請求項３３に記載の符号化モード決定方法は、画像ブロックの符号化モードを決定する符号化モード決定方法であって、インター予測ステップと、符号化ピクチャ構造決定ステップと、イントラ予測ステップと、符号化予測方式決定ステップとを備えている。インター予測ステップは、画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックの各ブロックについてインター予測を行って、符号化コストを導出する。符号化ピクチャ構造決定ステップは、インター予測ステップによる符号化コストに基づいて、画像ブロックの符号化ピクチャ構造を決定する。イントラ予測ステップは、決定された符号化ピクチャ構造を有する各ブロックについてイントラ予測を行って、符号化コストを導出する。符号化予測方式決定ステップは、インター予測による符号化コストとイントラ予測による符号化コストを比較して、決定された符号化ピクチャ構造を有する画像ブロックの各ブロックに対する符号化予測方式を決定する。
【００７１】
この方法では、イントラ予測ステップは符号化ピクチャ構造決定ステップによって決定された符号化ピクチャ構造の各ブロックについてのみイントラ予測を行うため、イントラ予測ステップはフィールド構造ブロックおよびフレーム構造ブロックの全てについてイントラ予測を行う必要がない。このように処理負荷の高いイントラ予測の回数を減らすことができるため、画像ブロックの符号化予測方式を決定するための処理負荷を削減できる。
【００７２】
請求項３４に記載の符号化モード決定方法は、画像ブロックの符号化モードを決定する符号化モード決定方法であって、簡易動き推定ステップと、符号化ピクチャ構造決定ステップとを備えている。簡易動き推定ステップは、画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックのそれぞれのブロックに対して簡易な動き推定によって符号化コストを導出する。符号化ピクチャ構造決定ステップは、簡易動き推定ステップによる符号化コストに基づいて、画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックの符号化コストを比較し、符号化ピクチャ構造を決定する。
【００７３】
この方法では、簡易な動き推定に基づいて、画像ブロックの符号化モード（具体的には、符号化ピクチャ構造）を決定する。このため、符号化モードを決定するための処理量を軽減することが可能となる。
請求項３５に記載の符号化モード決定プログラムは、コンピュータに以下の方法を行わさせる。符号化モード決定方法は、画像ブロックの符号化モードを複数候補の中から少なくとも１つに決定する符号化モード決定方法であって、簡易動き推定ステップと、符号化モード選択ステップと、複雑動き推定ステップと、符号化モード決定ステップとを備えている。簡易動き推定ステップは、各符号化モードによってそれぞれ得られる画像ブロックのパーティションである小ブロックに対する簡易な動き推定に基づいて、各符号化モードの符号化コストを導出する。符号化モード選択ステップは、簡易動き推定ステップによって導出された符号化コストに基づいて、複数の符号化モードから一部の符号化モードを選択する。複雑動き推定ステップは、一部の符号化モードの少なくとも一部の符号化モードによって得られる小ブロックに対する複雑な動き推定に基づいて、各符号化モードの符号化コストを導出する。符号化モード決定ステップは、複雑動き推定ステップによって導出された符号化コストに基づいて、画像ブロックの符号化モードを決定する。
【００７４】
このプログラムでは、簡易動き推定ステップにより得られた符号化コストから符号化モード選択ステップが符号化モードの絞り込みを行う。さらに、絞り込んだ符号化モードの小ブロックに対して、複雑動き推定ステップが複雑な動き推定を行う。ここで、複雑な動き推定は、例えば、フィルタを適用する必要があるなどの理由により、簡易な動き推定に比して処理量が多いが、このプログラムでは、符号化モードの決定に際して全ての小ブロックについて複雑な動き推定を行う必要が無い。このため、複雑な動き推定の回数を削減でき、符号化モード決定の処理量を低減することが可能となる。また、必要な小ブロックには複雑な動き推定を行うため、適切な符号化効率の符号化モードを決定することが可能となる。
【００７５】
請求項３６に記載の符号化モード決定プログラムは、コンピュータに以下の方法を行わさせる。符号化モード決定方法は、画像ブロックの符号化モードを決定する符号化モード決定方法であって、インター予測ステップと、符号化ピクチャ構造決定ステップと、イントラ予測ステップと、符号化予測方式決定ステップとを備えている。インター予測ステップは、画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックの各ブロックについてインター予測を行って、符号化コストを導出する。符号化ピクチャ構造決定ステップは、インター予測ステップによる符号化コストに基づいて、画像ブロックの符号化ピクチャ構造を決定する。イントラ予測ステップは、決定された符号化ピクチャ構造を有する各ブロックについてイントラ予測を行って、符号化コストを導出する。符号化予測方式決定ステップは、インター予測による符号化コストとイントラ予測による符号化コストを比較して、決定された符号化ピクチャ構造を有する画像ブロックの各ブロックに対する符号化予測方式を決定する。
【００７６】
このプログラムでは、イントラ予測ステップは符号化ピクチャ構造決定ステップによって決定された符号化ピクチャ構造の各ブロックについてのみイントラ予測を行うため、イントラ予測ステップはフィールド構造ブロックおよびフレーム構造ブロックの全てについてイントラ予測を行う必要がない。このように処理負荷の高いイントラ予測の回数を減らすことができるため、画像ブロックの符号化予測方式を決定するための処理負荷を削減できる。
【００７７】
請求項３７に記載の符号化モード決定プログラムは、コンピュータに以下の方法を行わさせる。符号化モード決定方法は、画像ブロックの符号化モードを決定する符号化モード決定方法であって、簡易動き推定ステップと、符号化ピクチャ構造決定ステップとを備えている。簡易動き推定ステップは、画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックのそれぞれのブロックに対して簡易な動き推定によって符号化コストを導出する。符号化ピクチャ構造決定ステップは、簡易動き推定ステップによる符号化コストに基づいて、画像ブロックのフィールド構造ブロックおよびフレーム構造ブロックの符号化コストを比較し、符号化ピクチャ構造を決定する。
【００７８】
このプログラムでは、簡易な動き推定に基づいて、画像ブロックの符号化モード（具体的には、符号化ピクチャ構造）を決定する。このため、符号化モードを決定するための処理量を軽減することが可能となる。
【発明の効果】
【００７９】
本発明では、より少ない処理量で適切な符号化モードの選択を可能とさせる符号化モード決定装置、画像符号化装置、符号化モード決定方法、および符号化モード決定プログラムを提供することができる。
【発明を実施するための最良の形態】
【００８０】
［第１実施形態］
図１〜図１５を用いて、本発明の第１実施形態としてのエンコーダについて説明する。
図１は、本発明の第１実施形態としてのエンコーダ１の構造を説明するブロック図である。エンコーダ１は、例えば、入力画像信号３０をＭＰＥＧ−４符号化し、符号化画像信号３１として出力する画像符号化装置であり、パーソナルコンピュータ（ＰＣ）、携帯電話などにおいて備えられる。
【００８１】
〈エンコーダ１の構成〉
図１に示すエンコーダ１は、入力画像信号３０のイントラ予測を行うイントラ予測部２と、入力画像信号３０のインター予測を行うインター予測部３と、イントラ予測およびインター予測の予測結果を切り換える切換部４と、切換部４の出力を符号化して符号化画像信号３１を出力する符号化部５と、入力画像信号３０のローカルデコード信号３２を作成する参照画像作成部６とを備えている。
【００８２】
イントラ予測部２は、入力画像信号３０を画像ブロック毎にイントラ予測し、イントラ予測画像との差分信号を切換部４に出力する。
インター予測部３は、入力画像信号３０を第１の入力とし、ローカルデコード信号３２を第２の入力として、インター予測結果を切換部４に出力する。さらに、インター予測部３は、インター予測結果のうち、動きベクトルなど符号化にかかる情報を第２の出力として符号化部５に出力する。
【００８３】
インター予測部３は、入力画像信号３０を第１の入力、ローカルデコード信号３２を第２の入力とし、動き推定を行う動き推定部１０と、動き推定部１０の出力を第１の入力、ローカルデコード信号３２を第２の入力とし、予測画像を出力する予測画像作成部１１と、入力画像信号３０を第１の入力、予測画像作成部１１の出力を第２の入力とする減算部１２とから構成されている。また、動き推定部１０の出力のうち、動きベクトルや符号化モードなどの符号化情報は、後述する可変長符号化部２２の入力にも与えられる。
【００８４】
動き推定部１０は、主に、フルペル予測部１３と、分割方法候補選択部１４と、サブペル予測部１５と、分割方法決定部１６とを備えている（動作については、後述）。
切換部４は、イントラ予測結果を第１の入力、インター予測結果を第２の入力とし、いずれかの入力を符号化部５に出力する。
【００８５】
符号化部５は、切換部４の出力を第１の入力とし、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）部２０、量子化部２１、可変長符号化部２２を通して符号化画像信号３１を出力する。
参照画像作成部６では、逆量子化部２３には量子化部２１の出力が入力され、逆量子化部２３の出力は、逆ＤＣＴ部２４を通して、加算部２５の第１の入力に与えられる。加算部２５は、予測画像作成部１１の出力を第２の入力とし、加算結果をメモリ２６に出力する。メモリ２６は、予測画像作成部１１の第２の入力と動き推定部１０の第２の入力にローカルデコード信号３２を出力する。
【００８６】
〈エンコーダ１の動作〉
次に、エンコーダ１の動作について説明する。まず、入力画像信号３０は、符号化処理の基本単位である画像ブロックを単位として入力されている。
イントラ符号化される画像ブロックは、イントラ予測部２において、同一ピクチャ内の他の画像ブロックの画素係数を用いてイントラ予測される。イントラ予測された画像ブロックは、ＤＣＴ部２０において離散コサイン変換（ＤＣＴ）を施され、量子化部２１において量子化され、可変長符号化部２２において可変長符号化される。
【００８７】
一方、量子化部２１において量子化されたＤＣＴ係数は、逆量子化部２３において逆量子化され、逆ＤＣＴ部２４において逆ＤＣＴされ、ローカルデコードされ、ローカルデコード信号３２としてメモリ２６に記憶される。このメモリ２６に記憶されたローカルデコード信号３２は、インター予測部３において画像ブロックがインター符号化される際に使用される。
【００８８】
インター符号化される画像ブロックは、動き推定部１０において、動き推定される。ここで、動き推定部１０の詳しい動作については後述する。
予測画像作成部１１は、動き推定部１０の動き推定の結果と、メモリ２６に記憶されたローカルデコード信号３２とに基づいて、予測画像を作成する。減算部１２は、画像ブロックと作成された予測画像との差分から差分画像ブロックを求める。差分画像ブロックは、ＤＣＴ部２０において離散コサイン変換を施され、量子化部２１において量子化される。離散コサイン変換および量子化された差分画像ブロックは、動き推定の結果などとともに可変長符号化部２２において可変長符号化される。
【００８９】
〈動き推定部１０の動作〉
動き推定部１０は、画像ブロックの符号化コストを最小とする画像ブロックの符号化モード（画像ブロックの分割方法、予測方向など）を決定するとともに、動きベクトルの導出を行う。
【００９０】
図２を用いて、動き推定部１０の特徴について説明する。動き推定部１０は、画像ブロックの全てのパーティションサイズおよび動き推定の際の全ての参照ピクチャに対して、整数画素精度の動き推定を行う（ステップＳ７０１〜Ｓ７０３）。さらに、整数精度の動き推定の結果に基づいて、符号化コストを小さくするパーティションサイズと参照ピクチャとの候補を選択し、選択された候補に対して非整数画素精度の動き推定を行う（ステップＳ７０４）。
【００９１】
これにより、全てのパーティションサイズおよび全ての参照ピクチャに対して非整数画素精度の動き推定を行う必要なく、符号化の際のパーティションサイズおよび参照ピクチャを決定するための処理量を低減することが可能となる。また、選択された候補に対しては非整数画素精度の動き推定を行うため、適切な符号化効率を実現することが可能となる。
【００９２】
図３を用いて、動き推定部１０の動作についてさらに説明を加える。
図３は、画像ブロックについての符号化モード決定の処理フローを示すブロック図である。図３の画像ブロックについての符号化モード決定の処理フローは、フルペル予測部１３により実行されるフルペル予測ステップＳ４１と、分割方法候補選択部１４により実行される分割方法候補選択ステップＳ４２と、サブペル予測部１５により実行されるサブペル予測ステップＳ４３と、分割方法決定部１６により実行される分割方法決定ステップＳ４４とから構成されている。
【００９３】
フルペル予測ステップＳ４１は、小ブロックフルペル予測ステップＳ４５と、予測方向選択ステップＳ４６と、符号化コスト導出ステップＳ４７とを備えている。
小ブロックフルペル予測ステップＳ４５は、１６×１６の画像ブロックを４種類の分割方法候補により分割したＭ×Ｎ（（Ｍ，Ｎ）＝（１６，１６），（１６，８），（８，１６），（８，８））の小ブロックＳｂ１〜Ｓｂ９（図２５参照）のそれぞれに対して、整数画素精度の動き推定を行い、小ブロック毎の符号化コストおよび動きベクトルを導出する。具体的には、それぞれの小ブロックＳｂ１〜Ｓｂ９に対して、前方向予測ステップＳ４５１〜Ｓ４５４および後方向予測ステップＳ４５５〜Ｓ４５８が行われている。すなわち、前方向予測ステップＳ４５１〜Ｓ４５４および後方向予測ステップＳ４５５〜Ｓ４５８では、それぞれの分割方法候補により分割された小ブロックの個数に応じた回数の処理が行われている。図３では、この回数を処理ブロックからの矢印の本数で表している。
【００９４】
予測方向選択ステップＳ４６は、フルペル予測ステップＳ４５によって導出された符号化コストに基づいて、複数の符号化モードから一部の符号化モードを選択する。予測方向選択ステップＳ４６は、具体的には、前方向予測ステップＳ４５１〜Ｓ４５４の符号化コストと後方向予測ステップＳ４５５〜Ｓ４５８の符号化コストとを比較して、小ブロック毎の符号化コストを小さくする予測方向（ピクチャ参照方向）を選択する。
【００９５】
符号化コスト導出ステップＳ４７は、予測方向選択ステップＳ４６が選択した予測方向の符号化コストを分割方法候補毎に合計し、画像ブロック単位での符号化コストを導出する。ここでは、フルペル予測ステップＳ４５が各小ブロックごとに符号化コストが低いピクチャ参照方向を選択しているため、各分割方法候補ごとの符号化モードにおいて最も符号化コストが低い小ブロックの組み合わせが可能となる。
【００９６】
分割方法候補選択ステップＳ４２は、符号化コスト導出ステップＳ４７が導出した画像ブロック単位での符号化コストを比較し、符号化コストが小さい２種類の分割方法候補を選択する。
サブペル予測ステップＳ４３は、分割方法候補選択ステップＳ４２において選択された２種類の分割方法候補により分割された小ブロックのそれぞれについて、非整数画素精度の動き推定を行う。ここで、非整数画素精度の動き推定は、図２８を用いて説明したサブペル予測ステップＳ３０１と同様に行われる。すなわち、選択された２種類の分割方法候補により分割された小ブロックのそれぞれについて、小ブロックフルペル予測ステップＳ４５で導出された動きベクトルに基づいて、非整数画素精度の動き推定を行う。また、サブペル予測ステップＳ４３では、小ブロックのそれぞれについて、前方向予測ステップＳ４３１，Ｓ４３４と、後方向予測ステップＳ４３２，Ｓ４３５と、双方向予測ステップＳ４３３，Ｓ４３６とが行われる。この結果、それぞれの小ブロックについて、３種類の予測方向についての符号化コストが導出される。また、前方向予測ステップＳ４３１，Ｓ４３４と、後方向予測ステップＳ４３２，Ｓ４３５と、双方向予測ステップＳ４３３，Ｓ４３６は、選択された２種類の分割方法候補により分割された小ブロックの個数に応じた回数の処理が行われている。
【００９７】
分割方法決定ステップＳ４４は、分割方法候補選択ステップＳ４２において選択された２種類の分割方法候補により分割されたそれぞれの小ブロックについて最小となる符号化コストから、小ブロックごとの予測方向を決定するとともに、画像ブロック単位での符号化コストを導出する。さらに、導出された画像ブロック単位での符号化コストを２種類の分割方法候補について比較し、最小の符号化コストを有する分割方法候補を画像ブロックの分割方法として決定する。また、同時に小ブロックについての動きベクトルが得られる。
【００９８】
図４を用いて、フルペル予測ステップＳ４１と分割方法候補選択ステップＳ４２との処理について詳しい説明を加える。なお、上述の様に、フルペル予測ステップＳ４１は、小ブロックフルペル予測ステップＳ４５と、予測方向選択ステップＳ４６と、符号化コスト導出ステップＳ４７とを備えている。
【００９９】
小ブロックフルペル予測ステップＳ４５は、小ブロックＳｂ１〜Ｓｂ９の全てに対して、整数画素精度の前方向予測（図４では、ｆｗと記載）と後方向予測（図４では、ｂｗと記載）を行い、それぞれの参照方向に対する符号化コストを導出する。図４では、それぞれの符号化コストを例示している。例えば、小ブロックＳｂ２では、前方向予測の符号化コストが（２１）、後方向予測の符号化コストが（２２）である。
【０１００】
予測方向選択ステップＳ４６は、小ブロック毎に前方向予測と後方向予測との符号化コストを比較して、符号化コストがより小さい予測方向を選択する。例えば、小ブロックＳｂ２では、前方向予測が選択される。
符号化コスト導出ステップＳ４７は、予測方向選択ステップＳ４６が選択した小ブロック毎の符号化コストから画像ブロック単位での符号化コストを導出する。例えば、１６×８の分割方法について、小ブロックＳｂ２では、前方向予測が選択され、小ブロックＳｂ３では、後方向予測が選択されているため、１６×１６の画像ブロック単位での符号化コストは、（４１）となる。
【０１０１】
分割方法候補選択ステップＳ４２では、フルペル予測ステップＳ４１により導出された画像ブロック単位での符号化コストを分割方法候補毎に比較し、符号化コストが小さい２種類の分割方法候補を選択する。図４では、１６×１６の分割方法（符号化コスト（４０））および１６×８の分割方法（符号化コスト（４１））が分割方法候補として選択される。
【０１０２】
〈エンコーダ１の効果〉
エンコーダ１では、フルペル予測ステップＳ４１により得られた符号化コストから分割方法候補選択ステップＳ４２が分割方法候補の絞り込みを行う。さらに、絞り込んだ分割候補の小ブロックに対して、サブペル予測ステップＳ４３がサブペル予測を行う。ここで、サブペル予測はフィルタを適用する必要があってフルペル予測に比して処理量が多いが、この装置では、符号化モードの決定に際して全ての小ブロックＳｂ１〜Ｓｂ９についてサブペル予測を行う必要が無い。このため、サブペル予測の回数を削減でき、符号化モード決定の処理量を低減することが可能となる。また、必要な小ブロックにはサブペル予測を行うため、適切な符号化効率の符号化モードを決定することが可能となる。
【０１０３】
〈エンコーダ１の変形例〉
本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。
（１）フルペル予測部１３の変形例
（１−１）
上記実施形態では、フルペル予測ステップＳ４１を実行するフルペル予測部１３は、それぞれの小ブロックＳｂ１〜Ｓｂ９に対して、前方向予測ステップＳ４５１〜Ｓ４５４および後方向予測ステップＳ４５５〜Ｓ４５８を実行すると説明した（以下、第１フルペル予測方法という）。この場合は、双方向予測を行わないため、処理量を削減でき、フルペル予測の処理時間を短縮できる。
【０１０４】
ここで、フルペル予測ステップＳ４１は、さらに双方向予測を実行し符号化コストを導出するものであっても良い（以下、第２フルペル予測方法という）。この場合は、双方向予測を行うため、フルペル予測の精度を向上させることが可能となる。このため、より適切な符号化モードを選択することが可能となる。また、前方向予測ステップＳ４５１〜Ｓ４５４および後方向予測ステップＳ４５５〜Ｓ４５８により導出された符号化コストから双方向予測を実行した場合の符号化コストを推定するものであっても良い（以下、第３フルペル予測方法という）。この装置では、双方向予測の予測結果を推定するため、フルペル予測部１３では、双方向予測を行う必要はなく、処理量を低減することが可能となる。また、予測結果をフルペル予測部１３による符号化コストに反映させることにより、双方向予測を行った場合と同様の効果を簡易に得ることが可能となる。このため、符号化効率を簡易に向上させることが可能となる。
【０１０５】
図５を用いて、１６×１６の画像ブロックを２つに分割した８×１６の小ブロックＳｂ４および小ブロックＳｂ５（図２５参照）に対して実行される第１〜第３フルペル予測方法について説明する。
図５（ａ）は、第１フルペル予測方法について説明する処理フローである。第１フルペル予測方法では、小ブロックＳｂ４，Ｓｂ５に対する前方向予測ステップＳ４５３および後方向予測ステップＳ４５７とが行われ、小ブロックＳｂ４，Ｓｂ５についての前方向予測ステップＳ４５３による符号化コストＣ４ｆ，Ｃ５ｆと、小ブロックＳｂ４，Ｓｂ５についての後方向予測ステップＳ４５７による符号化コストＣ４ｂ，Ｃ５ｂとが導出される。導出された符号化コストＣ４ｆ，Ｃ５ｆ，Ｃ４ｂ，Ｃ５ｂは、小ブロックごとの予測方法選択ステップＳ４６である小ブロック予測方法選択ステップＳ４６３（図３参照）において、小ブロックごとに比較され、小さい符号化コストを有する予測方向が選択される。より具体的には、小ブロック予測方法選択ステップＳ４６３内の比較ステップＳ４６３ａにおいて、小ブロックＳｂ４についての符号化コストＣ４ｆとＣ４ｂとが比較され、比較ステップＳ４６３ｂにおいて、小ブロックＳｂ５についての符号化コストＣ５ｆとＣ５ｂとが比較され、それぞれの小ブロックについて、より小さい符号化コストを有する予測方向が選択される。
【０１０６】
図５（ｂ）は、第２フルペル予測方法について説明する処理フローである。第１フルペル予測方法との違いは、双方向予測ステップＳ４５９が行われる点である。例えば、小ブロックＳｂ４について、前方向予測ステップＳ４５３および後方向予測ステップＳ４５７で検出された動きベクトルであるＭＶ４ｆとＭＶ４ｂとを利用した予測が行われる。具体的には、ＭＶ４ｆおよびＭＶ４ｂが示す参照ピクチャ上の参照領域を平均して予測画像とし、双方向予測ステップＳ４５９の符号化コストＣ４ｇが導出される。小ブロックＳｂ５についても同様に、ＭＶ５ｆとＭＶ５ｂとを利用して、符号化コストＣ５ｇが導出される。
【０１０７】
導出された双方向予測ステップＳ４５９の符号化コストＣ４ｇ，Ｃ５ｇは、小ブロック予測方法選択ステップＳ４６３の変形例としての小ブロック予測方法選択ステップＳ４６５において、前方向予測ステップＳ４５３および後方向予測ステップＳ４５７の符号化コストＣ４ｆ，Ｃ５ｆ，Ｃ４ｂ，Ｃ５ｂと比較される。具体的には、比較ステップＳ４６５ａにおいて、小ブロックＳｂ４についての符号化コストＣ４ｆ，Ｃ４ｂ，Ｃ４ｇが比較され、比較ステップＳ４６５ｂにおいて、小ブロックＳｂ５についての符号化コストＣ５ｆ，Ｃ５ｂ，Ｃ５ｇが比較される。この結果、それぞれの小ブロックについての最小の符号化コストを有する予測方向が選択される。
【０１０８】
第２フルペル予測方法では、小ブロックについてより正確な動き検出が可能となり、符号化効率の向上が期待できる。
図５（ｃ）は、第３フルペル予測方法について説明する処理フローである。第１フルペル予測方法との違いは、双方向予測を行った場合の符号化コストの符号化コスト推定ステップＳ４６８が行われる点である。
【０１０９】
符号化コスト推定ステップＳ４６８は、前方向予測ステップＳ４５３および後方向予測ステップＳ４５７の符号化コストＣ４ｆ，Ｃ５ｆ，Ｃ４ｂ，Ｃ５ｂから、双方向予測を行った場合の符号化コストの推定値である推定符号化コストＣ４ｈおよびＣ５ｈを導出する。具体的には、小ブロックＳｂ４についての符号化コストＣ４ｆとＣ４ｂとが「近い値」のときに、推定符号化コストＣ４ｈは、符号化コストＣ４ｆとＣ４ｂとの小さい方よりも少しだけ小さい、例えば、小さい方の値の９割の値など、と推定される。
【０１１０】
ここで、「近い値」とは、例えば、式ａｂｓ（［Ｃ４ｆ］−［Ｃ４ｂ］）＊Ｋ＜ａｂｓ（ａｂｓ（［Ｃ４ｆ］）＋ａｂｓ（［Ｃ４ｂ］）が真の時に、符号化コストＣ４ｆとＣ４ｂとが「近い値」と判定される。ここで、［Ｃ４ｆ］、［Ｃ４ｂ］は、符号化コストＣ４ｆ，Ｃ４ｂの値を示し、Ｋは、所定の定数である。
【０１１１】
さらに、推定符号化コストＣ４ｈ，Ｃ５ｈは、比較ステップＳ４６３ａ，Ｓ４６３ｂの変形例としての比較ステップＳ４６６ａ，Ｓ４６６ｂにおいて、符号化コストＣ４ｆ，Ｃ５ｆ，Ｃ４ｂ，Ｃ５ｂと比較される。具体的には、比較ステップＳ４６６ａにおいて、推定符号化コストＣ４ｈおよび符号化コストＣ４ｆ，Ｃ４ｂの比較が行われ、比較ステップＳ４６６ｂにおいて、推定符号化コストＣ５ｈおよび符号化コストＣ５ｆ，Ｃ５ｂの比較が行われる。この結果、それぞれの小ブロックについての最小の符号化コストを有する予測方向が選択される。
【０１１２】
第３フルペル予測方法では、双方向予測を行う必要はなく、処理量を低減することが可能となる。また、双方向予測を行った場合と同様の効果を簡易に得ることが可能となる。このため、符号化効率を簡易に向上させることが可能となる。
（１−２）
上記実施形態において、小ブロックフルペル予測ステップＳ４５と予測方向選択ステップＳ４６とは、逐次処理されるものであっても、並列処理されるものであってもよい。
【０１１３】
図６を用いて、１６×１６の画像ブロックを１つに分割した１６×１６の小ブロックＳｂ１（図２５参照）に対する小ブロックフルペル予測ステップＳ４５と予測方向選択ステップＳ４６との処理順序について説明する。
図６（ａ）は、小ブロックフルペル予測ステップＳ４５と予測方向選択ステップＳ４６とを逐次処理する場合の処理フローを示している。詳しい説明は、図３を用いて上記実施形態において行ったので省略する。
【０１１４】
図６（ｂ）は、小ブロックフルペル予測ステップＳ４５と予測方向選択ステップＳ４６とを並列処理する場合の処理フローを示している。ここでは、前方向予測ステップＳ４５１と後方向予測ステップＳ４５５とそれぞれの符号化コストの比較が並列実行される。具体的には、エンコーダ１のメモリ２６に前方向予測ステップＳ４５１および後方向予測ステップＳ４５５のために２枚の参照ピクチャを格納し、並列に動き推定および符号化コスト計算を実行する。最初の数回のコスト計算の最良値を比較し、符号化コストが大きい参照方向の動き推定を打ち切る。
【０１１５】
通常、動き推定では、有望な探索開始位置と、その周辺について符号化コスト計算を行い、その中で一番良い候補を選択する。この際、符号化コストの計算は、１０回から１０００回は行われる。本発明の場合、予測方向の選択に不必要な動き推定処理を途中で打ち切ることができ、フルペル予測の処理量を削減することが可能となる。
【０１１６】
ここで、メモリ２６の割り当て量を、１枚の参照ピクチャを格納する場合と同じにするため、画素情報の間引かれた２枚の参照ピクチャを用いて、動き推定することとしても良い。
また、小ブロックフルペル予測ステップＳ４５と予測方向選択ステップＳ４６とは、それぞれの小ブロックごとに並列処理されるだけでなく、全ての小ブロックについて並列処理されるものであっても良い。
【０１１７】
図７を用いて、１６×１６の画像ブロックを４種類の分割方法で分割した場合の全ての小ブロックＳｂ１〜Ｓｂ９に対する、小ブロックフルペル予測ステップＳ４５と予測方向選択ステップＳ４６との処理順序について説明する。
図７では、全ての小ブロックＳｂ１〜Ｓｂ９に対する、小ブロックフルペル予測ステップＳ４５と予測方向選択ステップＳ４６とが並列実行されている。また、図６（ｂ）を用いて説明したように、それぞれの小ブロックごとに、不必要な予測方向への動き推定の処理が打ち切られる。さらに、小ブロックごとの符号化コストの比較により、符号化コストが小さくならない小ブロックについての動き推定の処理が打ち切られる。
【０１１８】
すなわち、小ブロックごとに、不要な予測方向への動き推定処理を打ち切るだけでなく、分割方法の選択に不要な小ブロックへの動き推定処理も打ち切ることが可能となる。これにより、不必要な動き推定処理をさらに削減することが可能となり、フルペル予測の処理量をさらに削減することが可能となる。
【０１１９】
（１−３）
上記実施形態において、小ブロックフルペル予測ステップＳ４５と予測方向選択ステップＳ４６とは、小ブロックごとに逐次処理されるものであってもよい。
図８を用いて、１６×１６の画像ブロックを２つに分割した１６×８の小ブロックＳｂ２，Ｓｂ３（図２５参照）に対する小ブロックフルペル予測ステップＳ４５と予測方向選択ステップＳ４６との処理順序について説明する。
【０１２０】
小ブロックフルペル予測ステップＳ４５と予測方向選択ステップＳ４６とが逐次処理される場合（図８（ａ）参照）、前方向予測ステップＳ４５２、後方向予測ステップＳ４５６、および小ブロックごとの予測方法選択ステップＳ４６である小ブロック予測方法選択ステップＳ４６３は、以下の順番で行われる。小ブロックＳｂ２についての前方向予測ステップＳ４５２’、小ブロックＳｂ２についての後方向予測ステップＳ４５６’、小ブロックＳｂ３についての前方向予測ステップＳ４５２”、小ブロックＳｂ３についての後方向予測ステップＳ４５６”、小ブロックＳｂ２についての予測方法選択ステップＳ４６である小ブロック予測方法選択ステップＳ４６２’、小ブロックＳｂ３についての小ブロック予測方法選択ステップＳ４６２”の順である。
【０１２１】
一方、小ブロックフルペル予測ステップＳ４５と予測方向選択ステップＳ４６とが、小ブロックごとに逐次処理される場合には（図８（ｂ）参照）、まず、小ブロックＳｂ２についての処理が行われ、その後、小ブロックＳｂ３についての処理が行われる。すなわち、まず、小ブロックＳｂ２についての前方向予測ステップＳ４５２’、後方向予測ステップＳ４５６’、小ブロック予測方法選択ステップＳ４６２’が行われる。その後、小ブロックＳｂ３についての前方向予測ステップＳ４５２”、後方向予測ステップＳ４５６”、小ブロック予測方法選択ステップＳ４６２”が行われる。また、この際に、小ブロックごとの処理は、（１−２）で説明したように、並列処理されてもよい。例えば、小ブロック１についての前方向予測ステップＳ４５２”、後方向予測ステップＳ４５６”、小ブロック予測方法選択ステップＳ４６２”が並列実行されても良い。
【０１２２】
（１−４）
図９及び図１０を用いてフルペル予測部１３の変形例について説明する。図９は、画像ブロックについての符号化モード決定の処理フローを示すブロック図である。図９の画像ブロックについての符号化モード決定の処理フローは、フルペル予測部１３により実行されるフルペル予測ステップＳ４１’と、分割方法候補選択部１４により実行される分割方法候補選択ステップＳ４２’とを備えている。
【０１２３】
フルペル予測ステップＳ４１’は、小ブロックフルペル予測ステップＳ４５と、符号化コスト換算ステップＳ６６とを備えている。
小ブロックフルペル予測ステップＳ４５は、１６×１６の画像ブロックを４種類の分割方法候補により分割したＭ×Ｎ（（Ｍ，Ｎ）＝（１６，１６），（１６，８），（８，１６），（８，８））の小ブロックＳｂ１〜Ｓｂ９（図２５参照）のそれぞれに対して、整数画素精度の動き推定を行い、小ブロック毎の符号化コストおよび動きベクトルを導出する。具体的には、それぞれの小ブロックＳｂ１〜Ｓｂ９に対して、前方向予測ステップＳ４５１〜ステップＳ４５４および後方向予測ステップＳ４５５〜ステップＳ４５８が行われている。すなわち、前方向予測ステップＳ４５１〜ステップＳ４５４および後方向予測ステップＳ４５５〜ステップＳ４５８では、それぞれの分割方法候補により分割された小ブロックの個数に応じた回数の処理が行われている。図９では、この回数を処理ブロックからの矢印の本数で表している。
【０１２４】
符号化コスト換算ステップＳ６６は、前方向予測ステップＳ４５１〜ステップＳ４５４の符号化コストと後方向予測ステップＳ４５５〜ステップＳ４５８の符号化コストを、それぞれ個別に、画像ブロック単位に換算する。具体的には、画像ブロック単位に換算した換算値とは、小ブロックフルペル予測ステップＳ４５によって得られた各小ブロックの各予測符号の符号化コストに、当該パーティションの分割数を乗じた値である。
【０１２５】
分割方法候補選択ステップＳ４２’は、符号化コスト導出ステップＳ４７が導出した画像ブロック単位での符号化コストを比較し、符号化コストが小さい２種類の分割方法候補を選択する。
図１０を用いて、フルペル予測ステップＳ４１’と分割方法候補選択ステップＳ４２’との処理について詳しい説明を加える。なお、上述の様に、フルペル予測ステップＳ４１’は、小ブロックフルペル予測ステップＳ４５と、符号化コスト換算ステップＳ６６とを備えている。
【０１２６】
小ブロックフルペル予測ステップＳ４５は、小ブロックＳｂ１〜Ｓｂ９の全てに対して、整数画素精度の前方向予測（図１０では、ｆｗと記載）と後方向予測（図１０では、ｂｗと記載）と双方向予測（図１０では、ｂｉｄ）を行い、それぞれの参照方向に対する符号化コストを導出する。図１０では、それぞれの符号化コストを例示している。例えば、小ブロックＳｂ１では、前方向予測の符号化コストが（４０）、後方向予測の符号化コストが（７０）である。
【０１２７】
符号化コスト換算ステップＳ６６は、前方向予測ステップＳ４５１〜ステップＳ４５４の符号化コストと後方向予測ステップＳ４５５〜ステップＳ４５８の符号化コストとを、それぞれ個別に、画像ブロック単位の符号化コストに換算する。具体的には、Ｓｂ１のｆｗ、ｂｗ、ｂｉｄの符号化コストは１倍し、Ｓｂ２〜Ｓｂ５のｆｗ，ｂｗ，ｂｉｄの符号化コストは２倍し、Ｓｂ６〜Ｓｂ９のＦＷ、ｂｗ、ｂｉｄの符号化コストは４倍する。
【０１２８】
上記実施形態では、図１１（ａ）に示すように、フルペル予測ステップＳ４１’を実行するフルペル予測部１３は、それぞれの小ブロックＳｂ１〜Ｓｂ９に対して、前方向予測ステップＳ４５１〜Ｓ４５４および後方向予測ステップＳ４５５〜Ｓ４５８のみを実行すると説明した（以下、第１フルペル予測方法という）。ここで、フルペル予測ステップＳ４１’は、さらに双方向予測を実行し符号化コストを導出するものであっても良い（以下、第２フルペル予測方法という）。また、前方向予測ステップＳ４５１〜Ｓ４５４および後方向予測ステップＳ４５５〜Ｓ４５８により導出された符号化コストから双方向予測を実行した場合の符号化コストを推定するものであっても良い（以下、第３フルペル予測方法という）。
【０１２９】
分割方法候補選択ステップＳ４２’では、フルペル予測ステップＳ４１’により導出された画像ブロック単位での符号化コストを比較し、符号化コストが小さい２種類の分割方法候補を選択する。図１０では、１６×１６の分割方法のｆｗ（符号化コスト（４０））および１６×１６の分割方法のｂｗ（符号化コスト（７０））が分割方法候補として選択される。
【０１３０】
〈エンコーダ１の効果〉
エンコーダ１では、分割方法候補選択ステップＳ４２’において、フルペル予測ステップＳ４１’が導出した画像ブロック単位での符号化コストを比較し、符号化コストが小さい２種類の分割方法候補を選択しているため、全ての小ブロックＳｂ１〜Ｓｂ９についてサブペル予測を行う必要が無い。このため、サブペル予測の回数を削減でき、処理量を低減することが可能となる。また、必要な小ブロックにはサブペル予測を行うため、符号化効率を維持することが可能となる。
【０１３１】
特に、この実施形態では、前記実施形態とは異なり、分割方法候補選択ステップＳ４２’までに各分割方法の予測方向が絞り込まれておらず、すなわち各分割方法の各予測方向ごとにそれぞれ符号化コストが分割方法候補選択ステップＳ４２’での比較の対象となっている。言い換えると、フルペル予測部１３が小ブロックのピクチャ参照方向ごとの符号化コストを画像ブロック単位に換算して符号化モードを導出するため、一つの小ブロックにおいて異なるピクチャ参照方向の符号化モードも分割方法候補選択ステップＳ４２での比較対象となる。そのため、図１０に示す実施形態の画像ブロック場合は、最小の符号化コストである１６×１６の分割方法のｆｗ（符号化コスト（４０））および１６×１６の分割方法のｂｗ（符号化コスト（７０））が２種類の分割方法候補として選択される。この実施形態の画像ブロックに対して前記実施形態の装置を適用した場合は、フルペル予測ステップＳ４１において１６×１６の分割方法についてはｂｗが放棄されるため、例えば第２候補として１６×８分割（ｓｂ２がｂｉｄで、ｓｂ３がｂｉｄであり、符号化コストが７７）が選択されてしまう。
【０１３２】
なお、図１１（ｂ）に示すように、符号化コスト換算ステップＳ６６を小ブロックフルペル予測ステップＳ４５内で行ってもよい。例えば、符号化換算処理は２倍や４倍といった簡単な計算であるため、小ブロックフルペル予測ステップＳ４５内にマージしてもい。また、換算値は、小ブロックフルペル予測ステップＳ４５中に１探索位置ごとに算出してもよいし、小ブロックフルペル予測ステップＳ４５後に求めてもよい。
【０１３３】
（２）分割方法候補選択部１４の変形例
分割方法候補選択ステップＳ４２が選択する分割方法候補は、２種類に限られない。４種類の分割方法候補のうち、１〜３種類の分割方法候補を選択するものであれば良い。
（３）サブペル予測部１５の変形例
（３−１）
上記実施形態では、サブペル予測ステップＳ４３は、分割方法候補選択ステップＳ４２において選択された２種類の分割方法候補により分割された小ブロックのそれぞれについて、前方向予測、後方向予測、および双方向予測の３種類の予測方向へのサブペル予測を行うと説明した。
【０１３４】
ここで、サブペル予測ステップＳ４３は、フルペル予測ステップＳ４１の動き推定の結果に基づいて、各分割候補において３種類の予測方向のうち実際に行うものを決定し、決定したものについてのみサブペル予測を行っても良い。これについて、図１２を用いて説明する。
【０１３５】
まず、フルペル予測ステップＳ４１は、それぞれのパーティションに対する前方向および後方向の整数画素精度の動き推定を行う。分割方法候補選択ステップＳ４２は、フルペル予測ステップＳ４１の整数画素精度の動き推定に基づいて、分割方法候補を選択する。さらに、サブペル予測ステップＳ４３は、分割方法候補選択ステップＳ４２で選択された分割方法候補により分割された小ブロックについてのサブペル予測の予測方向を判断する。
【０１３６】
より具体的には、以下の３つのケースにより予測方向が判断される。
第１のケースは、前方向予測の符号化コストと後方向予測の符号化コストとがほぼ一致する場合である。この場合、前方向予測、後方向予測、および双方向予測の３種類の予測方向について、非整数画素精度の動き推定が実行される。また、この場合に、前方向予測および後方向予測の２種類の予測方向についてのみ、非整数画素精度の動き推定が実行されてもよい。
【０１３７】
第２のケースは、第１のケース以外で、前方向予測の符号化コストが後方向予測の符号化コストよりも小さい場合である。この場合、前方向予測による非整数画素精度の動き推定が実行され、後方向予測および双方向予測による非整数画素精度の動き推定は実行されない。
【０１３８】
第３のケースは、第１のケース以外で、前方向予測の符号化コストが後方向予測の符号化コストよりも大きい場合である。この場合、後方向予測による非整数画素精度の動き推定が実行され、前方向予測および双方向予測による非整数画素精度の動き推定は実行されない。
【０１３９】
第２及び第３のケースのように前方向予測と後向予測の符号化コストが異なる場合は符号化コストが小さい方のみを選択するのは、一方の符号化コストが大きい場合は双方向予測で符号化コストが小さくなることが期待できないからである。
以上に述べたように、上記３つのケースの判断により、必要な参照方向を参照して非整数画素精度の動き推定を実行することが可能であるため、サブペル予測の処理量を削減でき、サブペル予測の処理時間を短縮可能となる。
【０１４０】
（３−２）
上記（３−１）の判断に加えて、サブペル予測ステップＳ４３は、分割方法候補選択ステップＳ４２において選択された分割方法候補のうちのさらに一部の分割方法候補に対してサブペル予測を行うものであってもよい。すなわち、この場合は、分割方法候補選択ステップＳ４２において選択された分割方法候補でもサブペル予測が行われないものが発生する。つまり、複数の符号化モードから選択された一部の符号化モードの全部についてサブペル予測を行う必要がなく、処理量を削減できる。また、処理量を一定に保つように一部の符号化モードのうちの少なくとも一部の符号化モードを選択することも可能となる。
【０１４１】
例えば、上記（３−１）で判断された予測方向に基づいて、サブペル予測の対象となる小ブロックごとの必要処理量が推定される。さらに、画像ブロック全体についての必要処理量の合計が、画像ブロックのサブペル予測に割り当てられた処理余裕量を超えないように、サブペル予測を行う小ブロックの候補を絞り込む。このため、サブペル予測ステップＳ４３は分割方法候補選択ステップＳ４２によって選択された符号化モード（具体的には、分割方法候補）の全てを選択しないこともあり得るが、その場合でも符号化コストが低い分割方法候補は選択されているため問題が少ない。
【０１４２】
より具体的には、図１３のサブペル予測の動作処理フローを用いて説明する。なお、説明の都合上、１６×１６の小ブロックＳｂ１の１予測方向あたりの必要処理量を［４］、１６×８，８×１６の小ブロックＳｂ２〜Ｓｂ５の必要処理量をそれぞれ［２］、８×８の小ブロックＳｂ６〜Ｓｂ９の必要処理量をそれぞれ［１］として説明を行う。小ブロックの１予測方向あたりのサブペル予測の必要処理量は、小ブロックの画素数に比例するためである。
【０１４３】
処理は、画像ブロック単位で行われる（ステップＳ３０〜ステップＳ３７）。まず、１６×１６の画像ブロックのサブペル予測に割り当てられた処理量が処理余裕量として設定される（ステップＳ３０）。次に、分割方法候補毎の処理が行われる（ステップＳ３１〜ステップＳ３７）。
【０１４４】
分割方法候補毎の処理は、分割方法候補選択ステップＳ４２において選択された分割方法候補のうち、フルペル予測による符号化コストが小さいものから順番に行われる。まず、（３−１）で説明した方法により、小ブロックごとのサブペル予測の予測方向が選択され、小ブロックごとのサブペル予測の必要処理量が推定される。さらに、推定された小ブロックごとの必要処理量は、分割方法候補単位で合計され、分割方法候補全体の必要処理量が算出される（ステップＳ３１）。
【０１４５】
例えば、１６×８の小ブロックＳｂ２に対して、１方向の予測方向が選択された場合には（例えば、（３−１）の第２のケースまたは第３のケース）、小ブロックＳｂ２の１予測方向あたりの必要処理量［２］に、予測方向から定まる定数［１］を乗じた値［２］が小ブロックＳｂ２の必要処理量として算出される。また、３方向の予測方向が選択された場合には（例えば、（３−１）の第１のケース）、小ブロックＳｂ２の１予測方向あたりの必要処理量［２］に、予測方向から定まる定数［２］を乗じた値［４］が小ブロックＳｂ２の必要処理量として算出される。ここで、３方向の予測方向が選択されている場合に予測方向から定まる定数を［２］としている理由は、双方向予測については、動き推定処理は行わず、前方向予測および後方向予測の結果を利用した予測を行うことができるからである（図５（ｂ）又は（ｃ）で説明した方法をサブペル予測に利用可能である。）。このようにして推定した小ブロック毎の必要処理量は、分割方法単位で合計され、分割方法候補の必要処理量が算出される。
【０１４６】
算出された必要処理量は、ステップＳ３０で設定された処理余裕量と比較され、必要処理量が処理余裕量より大きくない場合には、処理余裕があると判定される（ステップＳ３２）。
処理余裕があると判定された場合には、（３−１）で選択された予測方向に対する小ブロックごとのサブペル予測が行われる（ステップＳ３３）。さらに、処理余裕量と分割方法候補の必要処理量との差が処理余裕量として設定され、次の分割方法候補に対する処理が開始される。
【０１４７】
処理余裕が無いと判定された場合には、フルペル予測に基づいて最小の符号化コストを示すと判断される１つの予測方向が小ブロック毎に選択され（ステップＳ５５）、小ブロックごとの必要処理量が分割方法候補単位で合計され、分割方法候補の必要処理量が算出される（ステップＳ３５）。例えば、１６×８の小ブロックＳｂ２，Ｓｂ３に対して、小ブロックＳｂ２，Ｓｂ３の１予測方向あたりの必要処理量［２］が合計され、１６×８の分割方法候補の必要処理量が［４］と算出される。算出された必要処理量は、ステップＳ３０で設定された処理余裕量と比較され、必要処理量が処理余裕量より小さい場合には、処理余裕があると判定される（ステップＳ３６）。
【０１４８】
処理余裕があると判定された場合には、フルペル予測に基づいて最小の符号化コストを示すと判断される１つの予測方向に対するサブペル予測が行われる（ステップＳ３７）。さらに、処理余裕量とステップＳ３５で算出された分割方法候補の必要処理量との差が処理余裕量として設定され（ステップ３４）、次の分割方法候補に対する処理が開始される。
【０１４９】
ステップＳ３６で処理余裕がないと判定された場合には、サブペル予測は行わず、次の画像ブロックの処理を開始する。
（３−２−１）
次に、図１４を用いて、第１の具体例を説明する。この具体例では、分割方法候補選択ステップ４２において、第１候補として１６×１６分割方法（符号化コスト（４０））が選択され、第２候補として１６×８分割方法（符号化コスト（４３））が選択されている。
【０１５０】
図１４に示すように、処理は、画像ブロック単位で行われる（ステップＳ３０〜ステップＳ３７）。まず、１６×１６の画像ブロックのサブペル予測に割り当てられた処理量が処理余裕量［８］として設定される（ステップＳ３０）。次に、分割方法候補毎の処理が行われる（ステップＳ３１〜Ｓ３７）。
【０１５１】
分割方法候補毎の処理は、分割方法候補選択ステップＳ４２において選択された分割方法候補のうち、フルペル予測による符号化コストが小さいものから順番に行われる。
最初は、１６×１６の分割方法（符号化コスト（４０））が対象になる。具体的には、１６×１６の分割方法において、まず、（３−１）で説明した方法により、小ブロックＳｂ１のサブペル予測の予測方向が選択される。この場合は、第２のケースであり、前方向予測ｆｗの符号化コストが後方向予測ｂｗの符号化コストよりも小さい場合である。そのため、前方向予測による非整数画素精度の動き推定が実行され、後方向予測および双方向予測による非整数画素精度の動き推定は実行されない。この結果、小ブロックＳｂ１のサブペル予測の必要処理量［４］が推定される。さらに、１６×１６の分割方法の必要処理量［４］が算出される（ステップＳ３１）。
【０１５２】
算出された必要処理量［４］は、ステップＳ５０で設定された処理余裕量［８］と比較され、必要処理量［４］が処理余裕量［８］より大きくないため、処理余裕があると判定される（ステップＳ３２）。
この場合は、（３−１）で選択された予測方向（ｆｗ）に対する小ブロックＳｂ１のサブペル予測が行われる（ステップＳ３３）。さらに、処理余裕量［８］と分割方法候補の必要処理量［４］との差が処理余裕量［４］として設定される（ステップＳ３４）。
【０１５３】
次に、１６×８の分割方法（符号化コスト（４２））が対象になる。具体的には、１６×８の分割方法において、まず、（３−１）で説明した方法により、第２のケースとして小ブロックＳｂ２のサブペル予測の予測方向が選択され（ｆｗ）、小ブロックＳｂ２のサブペル予測の必要処理量［２］が推定される。また、第３のケースとして小ブロックＳｂ３のサブペル予測の予測方向が選択され（ｂｗ）、小ブロックＳｂ３のサブペル予測の必要処理量［２］が推定される。さらに、推定された小ブロックＳｂ２の必要処理量［２］と小ブロックＳｂ３の必要処理量［２］は合計され、１６×８の分割方法候補の必要処理量［４］が算出される（ステップＳ３１）。
【０１５４】
算出された必要処理量［４］は、ステップＳ３４で設定された処理余裕量［４］と比較され、必要処理量［４］が処理余裕量［４］より大きくないため、処理余裕があると判定される（ステップＳ３２）。
この場合は、（３−１）で選択された予測方向（ｆｗ）に対する小ブロックＳｂ２のサブペル予測が行われ、さらに（３−１）で選択された予測方向（ｂｗ）に対する小ブロックＳｂ３のサブペル予測が行われる（ステップＳ３３）。
【０１５５】
さらに、処理余裕量［４］とステップ３５で算出された分割方法候補の必要処理量［４］との差が処理余裕量として設定されるが（ステップＳ３４）、その値が［０］になったので、次の分割方法候補に対する処理は行わない。
（３−２−２）
次に、図１５を用いて、第２の具体例を説明する。この具体例では、分割方法候補選択ステップ４２において、第１候補として１６×１６分割方法（符号化コスト（４０））が選択され、第２候補として１６×８分割方法（符号化コスト（４３））が選択されている。
【０１５６】
図１５に示すように、処理は、画像ブロック単位で行われる（ステップＳ３０〜Ｓ３７）。まず、１６×１６の画像ブロックのサブペル予測に割り当てられた処理量が処理余裕量［８］として設定される（ステップＳ３０）。次に、分割方法候補毎の処理が行われる（ステップＳ３１〜ステップＳ３７）。
【０１５７】
分割方法候補毎の処理は、分割方法候補選択ステップＳ４２において選択された分割方法候補のうち、フルペル予測による符号化コストが小さいものから順番に行われる。
最初は、１６×１６の分割方法（符号化コスト（４０））が対象になる。具体的には、１６×１６の分割方法において、まず、（３−１）で説明した方法により、小ブロックＳｂ１のサブペル予測の予測方向が選択される。第１のケースであり、前方向予測ｆｗの符号化コストと後方向予測の符号化ｂｗコストとがほぼ一致している。そのため、前方向予測ｆｗおよび後方向予測ｂｗの２種類の予測方向について、非整数画素精度の動き推定が実行される。その結果、小ブロックＳｂ１の前方向予測ｆｗのサブペル予測の必要処理量［４］と、小ブロックＳｂ１の前方向予測ｂｗのサブペル予測の必要処理量［４］とが推定される。推定された小ブロックＳｂ１ごとの必要処理量［４］は、分割方法候補単位で合計され、分割方法候補の必要処理量［８］が算出される（ステップＳ３１）。
【０１５８】
算出された必要処理量［８］は、ステップＳ３０で設定された処理余裕量［８］と比較され、必要処理量［８］が処理余裕量［８］より大きくないため、処理余裕があると判定される（ステップＳ３２）。
この場合は、（３−１）で選択された予測方向（ｆｗ）に対する小ブロックＳｂ１のサブペル予測が行われ、さらに予測方向（ｂｗ）に対する小ブロックＳｂ１のサブペル予測が行われる（ステップＳ３３）。
【０１５９】
さらに、処理余裕量［８］とステップ５５で算出された分割方法候補の必要処理量［８］との差が処理余裕量として設定されるが（ステップＳ３４）、その値が［０］になったので、次の分割方法候補に対する処理は行わない。
この具体例では、１６×８分割方法（符号化コスト（４２））は、分割方法候補選択ステップＳ４２において選択された分割方法候補であるにもかかわらず、サブペル予測が行われない。
【０１６０】
（３−２）の効果
このサブペル予測部１５では、サブペル予測の処理量を制御することが可能となる。特に、処理量を最小にする制御を行うと、ソフトウェアエンコーダの場合には、処理時間の短縮化の効果があり、ハードウェアエンコーダの場合には、消費電力削減の効果がある。また、リアルタイムエンコーダのように、処理時間を一定にしなければならない場合には、余裕分の処理量をその他の候補に配分することで、圧縮性能を上げることも可能となる。
【０１６１】
（３−３）
上記実施形態では、以下のように説明した。すなわち、分割方法決定ステップＳ４４は、分割方法候補選択ステップＳ４２において選択された２種類の分割方法候補により分割されたそれぞれの小ブロックについて最小となる符号化コストから、小ブロックごとの予測方向を決定するとともに、画像ブロック単位での符号化コストを導出する。さらに、導出された画像ブロック単位での符号化コストを２種類の分割方法候補について比較し、最小の符号化コストを有する分割方法候補を画像ブロックの分割方法として決定する。
【０１６２】
ここで、分割方法候補選択ステップＳ４２が選択する分割方法候補は、２種類に限られず、さらに多くの候補を選択してもよい。
また、分割方法決定ステップＳ４４は、画像ブロックの分割方法を１つに決定せず、さらに多くの方法を選択するものであってもよい。例えば、分割方法決定ステップＳ４４では、２つの符号化モードを選択し、さらに別のステップによって最終的な符号化モードを決定してもよい。
【０１６３】
（４）その他の変形例
（４−１）
フルペル予測部１３では整数画素精度の動き推定が、サブペル予測部１５では非整数画素の動き推定が行われると記載した。ここで、動き推定の精度は、これらに限定されるものではない。
【０１６４】
例えば、フルペル予測部１３では、簡易な動き推定が、サブペル予測部１５では、複雑な動き推定が行われるものであってもよい。
より具体的には、複雑な動き推定とは、簡易な動き推定よりも複雑な動き推定のことであり、例えば、複雑な動き推定とは、整数画素精度の簡易な動き推定に対するより詳細な精度（例えば、１／２画素精度、１／４画素精度などといった非整数画素精度）での動き推定、非整数画素の簡易な動き推定に対するより詳細な精度での動き推定、縮小画像（画素情報の間引かれた画像）を参照する簡易な動き推定に対するより詳細な画像を参照する動き推定などである。
【０１６５】
さらに、簡易な動き推定は、縮小画像に対して２画素精度、１／２画素精度などの動き推定であってもよい。
これにより、複雑な動き推定の処理量を低減しつつ、複雑な動き推定による適切な動き推定の効果を享受することが可能となる。
【０１６６】
また、ここでは２段階の精度の動き推定により符号化モードの選択を行っているが、より多くの段階により選択を行ってもよい。
例えば、整数画素精度、１／２画素精度、１／４画素精度というように、３段階の精度の動き推定を用いて、符号化モードの選択を行ってもよい。
【０１６７】
（４−２）
フルペル予測部１３あるいはサブペル予測部１５は、それぞれの動き推定の処理量がほぼ一定に保たれるように動き推定の方式を変化させるものであってもよい。
従来では、それぞれの動き推定処理に際して、それぞれ所定の処理時間が割り当てられており、この所定の処理時間内で、固定的に選択されたパーティションサイズ、参照ピクチャに対して動き推定処理が行われている。この場合、処理量が最も多くなると考えられる場合（ワーストケース）を想定して処理時間が割り当てられるため、処理対象がワーストケースで無い場合、処理時間に余裕が生まれ、効率的な動き推定処理が妨げられている。
【０１６８】
そこで本発明では、処理に余裕がある場合には、動き推定の方式を変化させ、効率的な動き推定処理を行う。ここで、処理に余裕があるか否かは、例えば、画像ブロックにより構成される入力画像の画像属性に応じて、判断される。画像属性とは、例えば、画像のサイズや、画像の符号化方式（ピクチャタイプ〔Ｉピクチャ、Ｐピクチャ、Ｂピクチャ〕など）や、画像のフォーマット（走査方式〔プログレッシブ、インターレース〕、色差フォーマットなど）や、画像の動き量などである。
【０１６９】
（４−２−１）
例えば、画像ブロックにより構成される入力画像サイズと参照ピクチャ数とパーティションサイズ数との積がほぼ一定になるように、動き推定の方式（参照するピクチャの枚数・方向、動き推定を行うパーティションサイズのバリエーション、動きの探索範囲など）を変化させる。より具体的には、入力画像サイズが小さい場合には、参照ピクチャ数やパーティションサイズ数を大きくし、フルペル予測あるいはサブペル予測の処理をより精度良く行うことが可能となる。
【０１７０】
（４−２−２）
また、例えば、Ｂピクチャの参照ピクチャ数をＰピクチャよりも少なくし、ピクチャ単位で動き推定の処理量がほぼ一定に保たれるようにする。より具体的には、次のようなバリエーションが考えられる。＜１＞Ｐピクチャでは前方４枚を参照し、Ｂピクチャでは前方２枚・後方２枚を参照する。＜２＞Ｐピクチャでは前方３枚を参照し、Ｂピクチャでは前方２枚・後方１枚を参照する。＜３＞Ｐピクチャでは前方２枚を参照し、Ｂピクチャでは前方１枚・後方１枚を参照する。
【０１７１】
（４−２−３）
また、例えば、Ｂピクチャのパーティションサイズ数をＰピクチャよりも少なくし、ピクチャ単位での動き推定の処理量がほぼ一定に保たれる用にする。より具体的には、次のようなバリエーションが考えられる。＜１＞Ｐピクチャでは前方１枚を参照し、１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８の４パーティションサイズで予測を行うとする。一方、Ｂピクチャでは、上記４サイズのいずれか二つを選び、それぞれが前方予測と後方予測を行うとする。＜２＞Ｐピクチャでは後方１枚を参照し、１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８の４パーティションサイズで予測を行うとする。一方、Ｂピクチャでは、上記４サイズのいずれか二つを選び、それぞれが前方予測と後方予測を行うとする。
【０１７２】
（４−２−４）
また、例えば、入力画像がインターレースの場合には参照ピクチャ数あるいはパーティションサイズ数をプログレッシブの場合よりもより減らす。これは、インターレースの場合には、トップフィールドとボトムフィールドの二フィールドを参照する必要があるからである。より具体的には、次のようなバリエーションが考えられる。＜１＞Ｐピクチャの場合、プログレッシブのＰピクチャでは、前方２フレームを参照し、インターレースのＰピクチャでは、前方２フィールド（時間的には１フレーム分）を参照する。＜２＞Ｐピクチャの場合、プログレッシブのＰピクチャでは、前方１フレームを参照し、パーティションサイズは４種類（１６ｘ１６から８ｘ８）の予測をし、インターレースのＰピクチャでは、前方２フィールド（時間的には１フレーム分）を参照し、パーティションサイズはそれぞれ２種類の予測をする。
【０１７３】
（４−２−５）
また、例えば、画像の動きに応じて、参照ピクチャ数あるいはパーティションサイズ数を変化させる。動きベクトルの探索では、探索の処理時間が動きベクトルの大きさの影響を受ける方式がある。このような方式を用いた場合、動きが小さければ、各パーティションサイズ・各参照ピクチャの処理時間が短い。このため、動きが小さい場合には、より多くのパーティションサイズ数・参照ピクチャ数を用いて動き推定を行う。一方、動きが大きい場合には、それぞれの動き推定の処理時間が長くなる。このため、動きが大きい場合には、参照ピクチャの枚数を減らす、あるいは、パーティションサイズ数を減らす。
【０１７４】
［第２実施形態］
図１６及び図１７を用いて、本発明の第２実施形態としてのエンコーダについて説明する。
図１６は、本発明の第２実施形態としてのエンコーダ６０の構造を説明するブロック図である。エンコーダ６０は、例えば、入力画像信号３０をＭＰＥＧ−４符号化し、符号化画像信号３１として出力する画像符号化装置であり、パーソナルコンピュータ（ＰＣ）、携帯電話などにおいて備えられる。また、ＡＶＣにおいて導入された画像ブロックペア７３という単位で入力画像信号３０を符号化する装置である（図３０参照）。
【０１７５】
〈エンコーダ６０の構成〉
図１６に示すエンコーダ６０は、入力画像信号３０のイントラ予測を行うイントラ予測部６１と、入力画像信号３０のインター予測を行うインター予測部６２と、符号化モード決定部６３と、イントラ予測およびインター予測の予測結果を切り換える切換部６４と、切換部６４の出力を符号化して符号化画像信号３１を出力する符号化部５と、入力画像信号３０のローカルデコード信号３２を作成する参照画像作成部６とを備えている。
【０１７６】
イントラ予測部６１は、図示しない制御部により制御され、符号化ピクチャ構造決定部６７が決定したピクチャ構造のブロック（フィールド構造ブロックまたはフレーム構造ブロック）についてイントラ予測を行う。その結果、イントラ予測部６１は、入力画像信号３０を画像ブロック毎にイントラ予測し、イントラ予測結果を切換部４に出力する。
【０１７７】
インター予測部６２は、入力画像信号３０を第１の入力とし、ローカルデコード信号３２を第２の入力として、インター予測結果を切換部４に出力する。さらに、インター予測部６２は、インター予測結果のうち、動きベクトルなど符号化にかかる情報を第２の出力として符号化部５に出力する。
【０１７８】
インター予測部３は、入力画像信号３０を第１の入力、ローカルデコード信号３２を第２の入力とし、動き推定を行う動き推定部６５と、動き推定部６５の出力を第１の入力、ローカルデコード信号３２を第２の入力とし、予測画像を出力する予測画像作成部１１と、入力画像信号３０を第１の入力、予測画像作成部１１の出力を第２の入力とする減算部１２とから構成されている。動き推定部６５は、動き推定を行い、符号化コスト導出する。また、動き推定部６５の出力のうち、動きベクトルや符号化モードなどの符号化情報は、可変長符号化部２２の入力にも与えられる。
【０１７９】
切換部４は、イントラ予測結果を第１の入力、インター予測結果を第２の入力とし、符号化モード決定部６３からの切換信号に従って、いずれかの入力を符号化部５に出力する。
符号化部５及び参照画像作成部６の構造及び機能は前記実施形態と同様であるため、ここでは説明を省略する。
【０１８０】
符号化モード決定部６３は、符号化ピクチャ構造決定部６７と、イントラ／インター決定部６８とを有している。符号化ピクチャ構造決定部６７は、動き推定部６５からの符号化コスト情報を入力としている。符号化ピクチャ構造決定部６７は、トップ・ボトムについての符号化コストを、符号化ピクチャ構造毎に合計し、符号化ピクチャ構造を決定する。符号化ピクチャ構造決定部６７は、決定した符号化ピクチャ構造をイントラ／インター選択部６８に出力する。
【０１８１】
イントラ／インター選択部６８は、イントラ予測部６１からのイントラ予測の符号化コストと、インター予測部６２からのインター予測の符号化コストを入力としている。イントラ／インター選択部６８は、イントラ予測とインター予測の符号化コストを比較し、符号化モードを決定する。イントラ／インター選択部６８は、この結果を切換部６４に通知する。この結果、切換部６４が動作する。
【０１８２】
なお、制御部は、符号化モード決定部６３が備えていても良い。
図１７は、符号化モード決定（画像ブロックペアについての符号化ピクチャ構造決定と符号化予測方式決定）の処理フローを示すブロック図である。図１７の処理フローは、動き推定部６５によるインター予測ステップＳ５１と、符号化ピクチャ構造決定部６７による符号化ピクチャ構造決定ステップＳ５２と、イントラ予測部６１によるイントラ予測ステップＳ５３と、イントラ／インター選択部６８による符号化予測方式決定ステップＳ５４とを備えている。
【０１８３】
インター予測ステップＳ５１は、画像ブロックペア７３のフィールド構造ブロックペア７５，７６およびフレーム構造ブロックペア７７，７８についての動き推定結果を導出する（図３０参照）。具体的には、インター予測ステップＳ５１は、フレーム構造トップＭＢ７７についての第１インター予測ステップＳ５１１とボトムＭＢ７８についての第２インター予測ステップＳ５１２とを備えている。第１インター予測ステップＳ５１１は、フレーム構造トップＭＢ７７に対してインター予測を行い、符号化コスト（cost top0）を導出する。第２インター予測ステップＳ５１２は、フレーム構造ブロックペアのボトムＭＢ７８に対してインター予測を行い、符号化コスト（cost bot0）を導出する。各符号化コストcost top0，cost bot0は符号化ピクチャ構造決定ステップＳ５２に送られる。さらに各符号化コストcost top0，cost bot0が合計され、フレーム構造ブロックペア７７，７８の符号化コストcost0が得られ、それが符号化ピクチャ構造決定ステップＳ５２に送られる。なお、この実施形態では、cost top0は１５００であり、cost bot0は１３００であり、cost0は２８００である。インター予測ステップＳ５１は、フィールド構造ブロックペア７５，７６のトップＭＢ７５についての第３インター予測ステップＳ５１３と、ボトムＭＢ７６についての第４インター予測ステップＳ５１４とをさらに備えている。第３インター予測ステップＳ５１３は、フィールド構造ブロックペア７５，７６のトップＭＢ７５に対してインター予測を行い、符号化コスト（cost top1）を導出する。第４インター予測ステップＳ５１４は、フィールド構造ブロックペア７５，７６のボトムＭＢ７６に対してインター予測を行い、符号化コスト（cost bot1）を導出する。各符号化コストcost top1，cost bot1は符号化ピクチャ構造決定ステップＳ５２に送られる。さらに各符号化コストcost top1，cost bot1が合計され、フィールド構造ブロックペア７５，７６の符号化コストcost1が得られ、それが符号化ピクチャ構造決定ステップＳ５２に送られる。なお、この実施形態では、cost top1は１４００であり、cost bot1は１３００であり、cost1は２７００である。
【０１８４】
なお、第１〜第４インター予測ステップＳ５１１〜ステップＳ５１４は、それぞれが、１６×１６の分割方法、１６×８の分割方法、８×１６の分割方法、８×８の分割方法を含んだ動き推定動作全体を表している。つまり、第１〜第４インター予測ステップＳ５１１〜Ｓ５１４には、本発明の第１実施形態を適用できる。また、第１〜第４インター予測ステップＳ５１１〜ステップＳ５１４は、フルペル予測とサブペル予測の両方を行っても良いが、処理量削減のためフルペル予測だけを行っても良い。
【０１８５】
以上のように符号化ピクチャ構造の符号化コスト導出にはインター予測のみを行っているが、インター予測の判定の精度はイントラ予測より良いため、十分な精度が得られる。
符号化ピクチャ構造決定ステップＳ５２は、動き推定結果に基づいて、画像ブロックペア７３の符号化ピクチャ構造を決定する。具体的には、符号化ピクチャ構造決定ステップＳ５２は、インター予測ステップＳ５１からのフレーム構造ブロックペア７７，７８の符号化コストcost0と、フィールド構造ブロックペア７５，７６の符号化コストcost1とを比較し、フレーム／フィールド選択を行う。この実施形態ではフィールド構造ブロックペア７５，７６の符号化コストcost1(2700)がフレーム構造ブロックペア７７，７８の符号化コストcost0(2800)より小さいため、フィールドを選択する。この結果、フィールド構造ブロックペア７５，７６のトップＭＢ７５のインター符号化コストcost top1とボトムＭＢ７６のインター符号化コストcost bot1が、符号化予測方式決定ステップＳ５４に提供される。
【０１８６】
イントラ予測ステップＳ５３は、決定された符号化ピクチャ構造を有するブロックペアについてのイントラ予測結果を導出する。具体的には、イントラ予測ステップＳ５３は、トップＭＢについての第１イントラ予測ステップＳ５３１と、ボトムＭＢについての第２イントラ予測ステップＳ５３２とを備えている。第１イントラ予測ステップＳ５３１は、選択された符号化ピクチャ構造ブロックペア（この場合はフィールド構造ブロックペア７５，７６）のトップＭＢ７５についてイントラ符号化コストcost top2を導出し、符号化予測方式決定ステップＳ５４に提供する。第２イントラ予測ステップＳ５３２は、選択された符号化ピクチャ構造ブロックペア（この場合はフィールド構造ブロックペア７５，７６）のボトムＭＢ７６についてイントラ符号化コストcost bot2を導出し、符号化予測方式決定ステップＳ５４に提供する。なお、この実施形態では、cost top2は１５００であり、cost bot2は１４００である。また、イントラ予測は、処理量を減らすため、画素を間引いて精度を落とした処理であっても良いし、さらにはイントラ４×４を省略しても良い。
【０１８７】
符号化予測方式決定ステップＳ５４は、インター予測結果とイントラ予測結果とに基づいて、決定された符号化ピクチャ構造を有するブロックペアの各ブロックに対する符号化予測方式を決定する。具体的には、符号化予測方式決定ステップＳ５４は、トップＭＢについての第１符号化予測方式決定ステップＳ５４１と、ボトムＭＢについての第２符号化予測方式決定ステップＳ５４２とを備えている。第１符号化予測方式決定ステップＳ５４１は、符号化ピクチャ構造決定ステップＳ５２からのトップＭＢのインター符号化コスト（具体的には、フィールド構造ブロックペア７５，７６のトップＭＢ７５のインター符号化コストcost top1）と、第１イントラ予測ステップＳ５３１からのトップＭＢ７５のイントラ符号化コストcost top2を比較し、トップＭＢについてのイントラ／インター選択を行う。この場合は、インター符号化コストcost top1(1400)がイントラ符号化コストcost top2(1500)より小さいため、インターが選択される。第２符号化予測方式決定ステップＳ５４２は、符号化ピクチャ構造決定ステップＳ５２からのボトムＭＢのインター符号化コスト（具体的には、フィールド構造ブロックペア７５，７６のボトムＭＢ７６のインター符号化コストcost bot1）と、第２イントラ予測ステップＳ５３２からのボトムＭＢ７６のイントラ符号化コストcost bot2を比較し、ボトムＭＢ７６についてのイントラ／インター選択を行う。この場合は、この場合は、インター符号化コストcost bot1(1300)がイントラ符号化コストcost bot2(1400)より小さいため、インターが選択される。
【０１８８】
なお、本実施形態ではトップＭＢとボトムＭＢで符号化予測方式（イントラ／インター）は同一になったが、異なることもある。ただし、トップＭＢとボトムＭＢで異なる符号化ピクチャ構造で符号化されることは無い。符号化ピクチャ構造決定ステップＳ５２で符号化ピクチャ構造が決定されているからである。
【０１８９】
この実施形態では、イントラ予測ステップＳ５３は符号化ピクチャ構造決定ステップＳ５２によって決定された符号化ピクチャ構造の画像ブロックペアについてのみイントラ予測を行うため、イントラ予測ステップＳ５３はフィールド構造ブロックおよびフレーム構造ブロックの全てについてイントラ予測を行う必要がない。このように処理負荷の高いイントラ予測の回数を減らすことができるため、画像ブロックペアの符号化予測方式を決定するための処理負荷を削減できる。
【０１９０】
〈変形例〉
第２実施形態では、第１実施形態で記載した内容を適宜変形して適用可能である。ここでは、第２実施形態に特徴的な変形例について記載する。
（１）
上記実施形態では、第１〜第４インター予測ステップＳ５１１〜ステップＳ５１４は、フルペル予測とサブペル予測の両方を行っても良いと記載した。
【０１９１】
ここで、フルペル予測とサブペル予測との両方を行う場合には、フルペル予測により絞り込まれたパーティションサイズ、参照ピクチャ、ピクチャ構造の組み合わせに対して、サブペル予測を行うものであっても良い。より具体的には、図１８に示すように、整数画素精度の動き推定により、適切なパーティションサイズ、参照ピクチャ、ピクチャ構造の組み合わせを選択し（ステップＳ７１０）、選択された組み合わせに対して非整数画素精度の動き推定により、さらに絞り込みを行う（ステップＳ７１１）。さらに、絞り込みの結果として得られるパーティションサイズ、参照ピクチャ、ピクチャ構造の組み合わせに対して、イントラ予測を行い（ステップＳ７１２）、イントラ予測・インター予測の選択を行う。
【０１９２】
これにより全パーティションサイズ、全参照ピクチャ、全ピクチャ構造について非整数画素精度の動き推定とイントラ予測とを行う必要が無く、処理量を削減することが可能となる。
（２）
上記実施形態では、画像ブロックペア７３という単位で入力画像信号３０を符号化する装置について説明した。ここで、符号化は、画像ブロックペア単位で行われなくてもよい。例えば、正方の画像ブロックを単位として符号化が行われてもよい。この場合、上記実施形態で説明した方法は、矩形のフィールド構造ブロックペアと矩形のフレーム構造ブロックペアとに対して適用される。
【０１９３】
［第３実施形態］
図１９〜図２０を用いて、本発明の第３実施形態としてのエンコーダについて説明する。
〈エンコーダ１の構成〉
図１９に示すエンコーダ６０は、入力画像信号３０のイントラ予測を行うイントラ予測部９１と、入力画像信号３０のインター予測を行うインター予測部９２と、符号化モード決定部９３と、イントラ予測およびインター予測の予測結果を切り換える切換部９４と、切換部９４の出力を符号化して符号化画像信号３１を出力する符号化部５と、入力画像信号３０のローカルデコード信号３２を作成する参照画像作成部６とを備えている。
【０１９４】
イントラ予測部９１は、簡易なイントラ予測と複雑なイントラ予測が可能である。簡易なイントラ予測とは、例えば、圧縮画像に対するイントラ予測であり、複雑なイントラ予測とは、例えば、非圧縮画像に対するイントラ予測である。イントラ予測部９１は、符号化モード決定部９３内の制御部９９（後述）により制御され、簡易なイントラ予測を行い、符号化コスト導出する。その結果、イントラ予測部９１は、入力画像信号３０を画像ブロック毎にイントラ予測し、イントラ予測結果を切換部９４に出力する。
【０１９５】
インター予測部９２は、入力画像信号３０を第１の入力とし、ローカルデコード信号３２を第２の入力として、インター予測結果を切換部９４に出力する。さらに、インター予測部９２は、インター予測結果のうち、動きベクトルなど符号化にかかる情報を第２の出力として符号化部５に出力する。
【０１９６】
インター予測部９２は、入力画像信号３０を第１の入力、ローカルデコード信号３２を第２の入力とし、動き推定を行う動き推定部９５と、動き推定部９５の出力を第１の入力、ローカルデコード信号３２を第２の入力とし、予測画像を出力する予測画像作成部１１と、入力画像信号３０を第１の入力、予測画像作成部１１の出力を第２の入力とする減算部１２とから構成されている。動き推定部９５は、フルペル・インター予測もしくはサブペル・インター予測を行い、符号化コスト導出する。また、動き推定部９５の出力のうち、動きベクトルや符号化モードなどの符号化情報は、可変長符号化部２２の入力にも与えられる。
【０１９７】
切換部９４は、イントラ予測結果を第１の入力、インター予測結果を第２の入力とし、符号化モード決定部９３からの切換信号に従って、いずれかの入力を符号化部５に出力する。
符号化部５及び参照画像作成部６の構造及び機能は前記実施形態と同様であるため、ここでは説明を省略する。
【０１９８】
符号化モード決定部９３は、決定部９６と、制御部９９とを有している。決定部９６は、イントラ／インター選択部９７と、符号化ピクチャ構造決定部９８とを有している。決定部９６は、動き推定部９５からの符号化コストと、イントラ予測部９１からの符号化コストを入力としている。イントラ／インター選択部９７がイントラ／インターを決定する。符号化ピクチャ構造決定部９８がフィールド／フレームを決定する。制御部９９が、イントラ予測部９１または動き推定部９５を制御して、決定された符号化ピクチャ構造の画像ブロックペア７３に動き推定をさせる。つまり、制御部９９は、イントラ予測部９１に複雑なイントラ予測を行わさせ、または動き推定部９５にサブペル・インター予測を行わさせる。制御部９９は、さらに切換部９４を動作させ、イントラ予測結果あるいはインター予測結果を符号化させる。
【０１９９】
なお、制御部は、エンコーダ９０のどこかに有ればよい。符号化モード決定部９３が備えていなくても良い。
図２０は、画像ブロックペア７３の符号化モード決定の処理動作のフローである。この処理動作は、イントラ予測部９１又は動き推定部９５によって実行される簡易動き推定ステップＳ６１と、イントラ／インター選択部９７によって実行されるイントラ／インター選択ステップＳ６２と、符号化ピクチャ構造決定部９８によって実行される画像ブロックペア７３の符号化ピクチャ構造決定ステップＳ６３とを備えている。なお、符号化ピクチャ構造決定ステップＳ６３の次には、イントラ予測部９１又は動き推定部９５によって実行される複雑動き推定ステップＳ６４とを備えている。
【０２００】
簡易動き推定ステップＳ６１は、フレーム／フィールド構造のトップＭＢ及びボトムＭＢに対して、フルペル・インター予測と簡易イントラ予測を行って、それらの符号化コストを導出する。簡易動き推定ステップＳ６１は、第１〜第８推定ステップＳ６１１〜Ｓ６１８を備えている。第１推定ステップＳ６１１はフレーム構造ブロックペア７７，７８のトップＭＢ７７に対してフルペル・インター予測を行い、第２推定ステップＳ６１２はフレーム構造ブロックペア７７，７８のトップＭＢ７７に対して簡易・イントラ予測を行う。第３推定ステップＳ６１３はフレーム構造ブロックペア７７，７８のボトムＭＢ７８に対してフルペル・インター予測を行い、第４推定ステップＳ６１４はフレーム構造ブロックペア７７，７８のボトムＭＢ７８に対して簡易イントラ予測を行う。第５推定ステップＳ６１５はフィールド構造ブロックペア７５，７６のトップＭＢ７５に対してフルペル・インター予測を行い、第６推定ステップＳ６１６はフィールド構造ブロックペア７５，７６のトップＭＢ７５に対して簡易イントラ予測を行う。第７推定ステップＳ６１７はフィールド構造ブロックペア７５，７６のボトムＭＢ７６に対してフルペル・インター予測を行い、第８推定ステップＳ８１８はフィールド構造ブロックペア７５，７６のボトムＭＢ７６に対して簡易イントラ予測を行う。このように簡易動き推定ステップＳ６１がインター予測とイントラ予測を用いてフレーム構造ブロックペア７７，７８及びフィールド構造ブロックペア７５，７６の符号化コストを導出するため、インター予測又はイントラ予測のいずれかで圧縮率が向上する画像ブロックペア７３（７１，７２）の場合でも、圧縮率が最良となるような符号化ピクチャ構造を決定できる。
【０２０１】
イントラ／インター選択ステップＳ６２は、（フレーム、フィールド）＊（トップ、ボトム）の４種類それぞれで、イントラ、インターの符号化コストを比較し、小さい方を選択する。
イントラ／インター選択ステップＳ６２は、第１〜第４選択ステップＳ６２１〜ステップＳ６２４を備えている。第１選択ステップＳ６２１は、第１推定ステップＳ６１１及び第２推定ステップＳ６１２の符号化コストを比較して、フレーム構造トップＭＢ７７に対するイントラ／インターを選択する。この場合は、第２推定ステップＳ６１２の符号化コスト(1300)を選択する。第２選択ステップＳ６２２は、第３推定ステップＳ６１３及び第４推定ステップＳ６１４の符号化コストを比較して、フレーム構造ボトムＭＢ７８に対するイントラ／インターを選択する。この場合は、第４推定ステップＳ６１４の符号化コスト(1200)を選択する。イントラ／インターが選択されたフレーム構造トップＭＢ７７の符号化コスト(1300)とボトムＭＢ７８の符号化コスト(1200)は合計され、フレーム構造ブロックペア７７，７８の符号化コスト(2500)が得られる。第３選択ステップＳ６２３は、第５推定ステップＳ６１５及び第６推定ステップＳ６１６の符号化コストを比較して、フィールド構造トップＭＢ７５，７６に対するイントラ／インターを選択する。この場合は、第５推定ステップＳ６１５の符号化コスト(1400)を選択する。第４選択ステップＳ６２４は、第７推定ステップＳ６１７及び第８推定ステップＳ６１８の符号化コストを比較して、フィールド構造ボトムＭＢ７６に対するイントラ／インターを選択する。この場合は、第７推定ステップＳ６１７の符号化コスト(1300)を選択する。イントラ／インターが選択されたフィールド構造トップＭＢ７５の符号化コスト(1400)とボトムＭＢ７６の符号化コスト(1300)は合計され、フィールド構造ブロックペア７５，７６の符号化コスト(2700)が得られる。
【０２０２】
符号化ピクチャ構造決定ステップＳ６３は、フレーム構造ブロックペア７７，７８の符号化コストとフィールド構造ブロックペア７５，７６の符号化コストとを比較し、画像ブロックペア７３のフィールド／フレームを決定する。この場合は、フレーム構造ブロックペア７７，７８の符号化コスト(2500)はフィールド構造ブロックペア７５，７６の符号化コスト(2700)より小さいため、フレーム構造ブロックペア７７，７８が選択される。
【０２０３】
複雑動き推定ステップＳ６４は、決定された符号化ピクチャ構造の画像ブロックペア７３のトップＭＢ及びボトムＭＢ７７，７８それぞれに対して、複雑な動き推定（サブペル／インター又は複雑イントラの一方）を行う。複雑動き推定ステップＳ６４は、第１〜第４推定ステップＳ６４１〜Ｓ６４４を備えている。第１推定ステップＳ６４１は、トップＭＢ７７に対するサブペル・インター予測を行う。第２推定ステップＳ６４２は、トップＭＢ７７に対する複雑イントラ予測を行う。なお、第１推定ステップＳ６４１と第２推定ステップＳ６４２はいずれか一方のみが実行される。第３推定ステップＳ６４３は、ボトムＭＢ７８に対するサブペル・インター予測を行う。第４推定ステップＳ６４４は、ボトムＭＢ７８に対する複雑イントラ予測を行う。なお、第３推定ステップＳ６４３と第４推定ステップＳ６４４はいずれか一方のみが実行される。
【０２０４】
以上に述べたように、簡易動き推定ステップＳ６１の簡易なインター予測・イントラ予測に基づいて、符号化ピクチャ構造決定ステップＳ６３によって、符号化モード（具体的には、符号化ピクチャ構造）を決定している。このため、符号化モードを決定するための処理量を軽減することが可能となる。
【０２０５】
また、符号化モードが決定された後に複雑動き推定ステップＳ６４が複雑な動き推定を行っている。このように、複雑な予測によって画像ブロックペア７３の符号化を行うため、圧縮効率が向上する。しかも、ここでは、決定された符号化ピクチャ構造の画像ブロックペア７３に対してのみ複雑な予測を行うため、従来より複雑な予測の回数を減らすことができる。この結果、符号化効率を維持しながらも処理量を減らすることができる。
【０２０６】
なお、トップＭＢとボトムＭＢで異なる符号化ピクチャ構造で符号化されることは無いが、異なる符号化予測方式（イントラ／インター）で符号化されることはある。
なお、第３実施形態では、第１〜第２実施形態で記載した内容を適宜変形して適用可能である。
［第４実施形態］
さらにここで、上記実施の形態で示した動画像符号化装置の応用例とそれを用いたシステムを説明する。
【０２０７】
図２１は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０２０８】
しかし、コンテンツ供給システムex１００は図２１のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【０２０９】
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
【０２１０】
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０２１１】
このシステムを構成する各機器の符号化には上記各実施の形態で示した動画像符号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図２２は、上記実施の形態で説明した動画像符号化装置を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【０２１２】
さらに、携帯電話ex１１５について図２３を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
【０２１３】
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０２１４】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
【０２１５】
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
【０２１６】
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
【０２１７】
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
【０２１８】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
【０２１９】
次に、画像復号化部ex３０９は、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０２２０】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２４に示すようにディジタル放送用システムにも上記実施の形態の画像符号化装置を組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
【０２２１】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０２２２】
なお、カーナビゲーションex４１３の構成は例えば図２３に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
【０２２３】
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
このように、上記実施の形態で示した動画像符号化装置を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０２２４】
［全実施形態共通の変形例］
（１）
前記実施形態では、１６×１６のマクロブロックを各分割候補によって分割したマクロブロックパーティションを小ブロックとして動き推定の単位として扱ってきた。この場合、図２５に示すように、８×８の分割方法で得られた小ブロックをさらに８×８、８×４、４×８，４×４のサブマクロブロックパーティションに分割することができ、このサブマクロブロックパーティションを本発明の小ブロックとして本発明を適用できる。
【０２２５】
（２）
ブロック図（例えば、図１、図１６、図１９、図２３など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
【０２２６】
より具体的には、図１の動き推定部１０は、１チップ化されてもよい。さらに、図１のメモリ２６以外の機能ブロックが１チップ化されていてもよい。また、図１６のインター予測部３と符号化モード決定部６３とイントラ予測部６１とが１チップ化されてもよい。さらに図１６のメモリ２６以外の機能ブロックが１チップ化されていてもよい。また、図１９のインター予測部９２と符号化モード決定部９３とが１チップ化されていてもよい。さらに、図１９のメモリ以外の機能ブロックが１チップ化されていてもよい。
【０２２７】
なおここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０２２８】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【０２２９】
本発明に係る符号化モード決定装置、画像符号化装置、符号化モード決定方法、および符号化モード決定プログラムにより、より少ない処理量で適切な符号化モードの選択が可能となり、上記分野において有用である。
【図面の簡単な説明】
【０２３０】
【図１】本発明の一実施形態に係る画像符号化装置の構成図。
【図２】本発明に係る動き推定部の処理フローチャート。
【図３】本発明に係る動き推定部の処理フローを示す図。
【図４】本発明に係る分割候補選択部による分割候補の選択方法を示す図。
【図５】フルペル予測部の処理フローを示す図。
【図６】フルペル予測部の処理フローを示す図。
【図７】フルペル予測部の処理フローの変形例を示す図。
【図８】フルペル予測部の処理フローの変形例を示す図。
【図９】フルペル予測部及び分割候補選択部の処理フローの変形例を示す図。
【図１０】符号化コスト換算部と分割候補選択部による符号化コスト換算及び分割候補の選択方法を示す図。
【図１１】フルペル予測部と符号化コスト換算部の処理フローの変形例を示す図。
【図１２】本発明の第１実施形態にかかる処理フローチャート。
【図１３】本発明の第１実施形態に係るサブペル予測部の処理フローチャート。
【図１４】サブペル予測の一処理量配分例を示す図。
【図１５】サブペル予測の一処理量配分例を示す図。
【図１６】本発明の第２実施形態に係る画像符号化装置の構成図。
【図１７】イントラ予測部、動き推定部、符号化モード決定部の処理フローを示す図。
【図１８】本発明の第２実施形態にかかる処理フローチャート。
【図１９】本発明の第３実施形態に係る画像符号化装置の構成図。
【図２０】イントラ予測部、動き推定部、符号化モード決定部の処理フローを示す図。
【図２１】コンテンツ供給システムの全体構成を示すブロック図。
【図２２】動画像符号化方法、動画像復号化方法を用いた携帯電話の例。
【図２３】携帯電話のブロック図。
【図２４】ディジタル放送用システムの例。
【図２５】従来のマクロブロックの分割方法候補を示す図。
【図２６】従来のマクロブロックの分割方法候補による符号化ピクチャと参照ピクチャとの関係を示す図。
【図２７】従来のマクロブロックの予測方向を示す図。
【図２８】従来の動き推定の処理フローを示す図。
【図２９】従来の動き推定の処理フローを示す図。
【図３０】ＭＰＥＧ−４ＡＶＣにおける画像ブロックペアの概念を説明するための図。
【図３１】従来の符号化ピクチャ構造決定及び符号化予測方式決定の処理フローを示す図。
【図３２】従来技術ではないが、ＭＰＥＧ−４ＡＶＣに従来の技術を適用したと想定した場合の符号化ピクチャ構造決定及び符号化予測方式決定の処理フローを示す図。
【符号の説明】
【０２３１】
１    エンコーダ
２    イントラ予測部
３    インター予測部
４    切換部
１０  動き推定部
１３  フルペル予測部
１４  分割方法候補選択部
１５  サブペル予測部
１６  分割方法決定部
６０  エンコーダ
６１  イントラ予測部
６２  インター予測部
６３  符号化モード決定部
６４  切換部
６５  動き推定部
６７  符号化ピクチャ構造決定部
６８  イントラ／インター選択部
９１  イントラ予測部
９２  インター予測部
９３  符号化モード決定部
９４  切換部
９５  動き推定部
９６  決定部
９７  イントラ／インター選択部
９８  符号化ピクチャ構造決定部
９９  制御部
【図１】
2005057750.tif 000003
【図２】
2005057750.tif 000004
【図３】
2005057750.tif 000005
【図４】
2005057750.tif 000006
【図５】
2005057750.tif 000007
【図６】
2005057750.tif 000008
【図７】
2005057750.tif 000009
【図８】
2005057750.tif 000010
【図９】
2005057750.tif 000011
【図１０】
2005057750.tif 000012
【図１１】
2005057750.tif 000013
【図１２】
2005057750.tif 000014
【図１３】
2005057750.tif 000015
【図１４】
2005057750.tif 000016
【図１５】
2005057750.tif 000017
【図１６】
2005057750.tif 000018
【図１７】
2005057750.tif 000019
【図１８】
2005057750.tif 000020
【図１９】
2005057750.tif 000021
【図２０】
2005057750.tif 000022
【図２１】
2005057750.tif 000023
【図２２】
2005057750.tif 000024
【図２３】
2005057750.tif 000025
【図２４】
2005057750.tif 000026
【図２５】
2005057750.tif 000027
【図２６】
2005057750.tif 000028
【図２７】
2005057750.tif 000029
【図２８】
2005057750.tif 000030
【図２９】
2005057750.tif 000031
【図３０】
2005057750.tif 000032
【図３１】
2005057750.tif 000033
【図３２】
2005057750.tif 000034