(57)【要約】【課題】符号化の予測モードの決定に要する計算量を削減する。【解決手段】  符号化コストに基づいてイントラ予測における予測画像を探索して決定するイントラ予測画像生成部４１と、インター予測における予測画像の探索処理を探索精度に応じて階層化し、探索精度を低い精度から高い精度に階層毎に順次切り換えて、各階層毎に符号化コストに基づいてインター予測における予測画像を探索して決定するインター予測画像生成部４２と、イントラ予測画像生成部が決定した予測画像の符号化コストとインター予測画像生成部が決定した予測画像の符号化コストとを階層毎に比較し、比較結果に基づいて階層毎にイントラ予測とインター予測とのいずれかの予測モードを決定し又は決定を保留し、予測モードをイントラ予測のモードに決定した場合には、インター予測画像生成部における以後の階層の探索処理を停止させる比較部４６とを具備したことを特徴とする。【選択図】図１
2009225163.tif 000002
【特許請求の範囲】
【請求項１】
符号化コストに基づいてイントラ予測における予測画像を探索して決定するイントラ予測画像生成部と、
インター予測における予測画像の探索処理を探索精度に応じて階層化し、探索精度を低い精度から高い精度に階層毎に順次切り換えて、各階層毎に符号化コストに基づいてインター予測における予測画像を探索して決定するインター予測画像生成部と、
前記イントラ予測画像生成部が決定した予測画像の符号化コストと前記インター予測画像生成部が決定した予測画像の符号化コストとを前記階層毎に比較し、比較結果に基づいて前記階層毎にイントラ予測とインター予測とのいずれかの予測モードを決定し又は決定を保留し、予測モードをイントラ予測のモードに決定した場合には、前記インター予測画像生成部における以後の階層の探索処理を停止させる比較部と
を具備したことを特徴とする動画像符号化装置。
【請求項２】
前記比較部は、
前記イントラ予測画像生成部が決定した予測画像の符号化コストが前記インター予測画像生成部が決定した予測画像の符号化コストより所定の閾値を超えて小さい場合には、予測モードをイントラ予測モードに決定し、
前記インター予測画像生成部が決定した予測画像の符号化コストが前記イントラ予測画像生成部が決定した予測画像の符号化コストより所定の閾値を超えて小さい場合には、予測モードをインター予測モードに決定し、
前記イントラ予測画像生成部が決定した予測画像の符号化コストと前記インター予測画像生成部が決定した予測画像の符号化コストとの差が所定の閾値以内である場合には、予測モードの決定を保留することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記インター予測画像生成部は、予測画像の探索範囲として、１つ前の階層において決定した予測画像を含む探索範囲を設定することを特徴とする請求項１又は２に記載の動画像符号化装置。
【請求項４】
前記比較部は、前記各階層毎に、前記所定の閾値を再設定することを特徴とする請求項２に記載の動画像符号化装置。
【請求項５】
符号化コストに基づいてイントラ予測における予測画像を探索して決定し、
インター予測における予測画像の探索処理を探索精度に応じて階層化し、探索精度を低い精度から高い精度に階層毎に順次切り換えて、各階層毎に符号化コストに基づいてインター予測における予測画像を探索して決定し、
前記イントラ予測における予測画像の符号化コストと前記インター予測における予測画像の符号化コストとを前記階層毎に比較し、
比較結果に基づいて前記階層毎にイントラ予測とインター予測とのいずれかの予測モードを決定し又は決定を保留し、
予測モードをイントラ予測のモードに決定した場合には、前記インター予測における以後の探索処理を停止させることを特徴とする動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予測符号化及び算術符号化を採用した動画像符号化装置及び動画像符号化方法に関する。
【背景技術】
【０００２】
近年、画像処理のディジタル化が普及している。ディジタル化された画像データは、符号量を削減するために、Ｈ．２６４、ＡＶＣ規格等の動画像符号化方法を採用して符号化後に伝送や記録が行われることが多い。
【０００３】
Ｈ．２６４規格等においては、複数の予測モードで複数のブロック形状の予測符号化を採用しており、画像ブロック単位に多数の予測モードの中から最適なモードを選択して、予測符号化を行う。最適な予測モードは、画像ブロックの性質毎に相違し、適切なモードを選択することで、符号化効率を向上させることができる。
【０００４】
複数の予測モードから最適なモードを選択する手法として、ラグランジュの未定乗数法に基づくレート−歪み最適化手法が知られている。このレート−歪み最適化手法では、各予測モードで符号化した際の符号化歪みＤ（現画像と再生画像の２乗誤差）と発生符号量とから、符号化コストを算出する。画像符号化における符号化効率は、いかに少ない符号量で、いかに画質劣化の少ない符号化ができるかということを意味している。つまり符号化コストが小さいほど符号化効率が高くなる。従って、与えられた量子化パラメータに対して、符号化コストが最小となる予測モードを画像ブロック毎に選択することで、符号化効率を最大にすることができる。
【０００５】
ところで、Ｈ．２６４では、画面内予測によって符号量を削減するイントラ予測と、画面間予測によって符号量を削減するインター予測とが行われる。イントラ予測及びインター予測は、種々のモードを含んでおり、最小の符号化コストのモードを決定するための計算量は極めて大きい。特に、Ｈ．２６４におけるインター予測においては、参照画像の探索精度として１／４画素精度の予測モードを選択することが可能であり、符号化コスト算出のためには膨大な計算が必要である。
【０００６】
そこで、従来、モードの決定に必要な符号化コストの算出のための計算量を削減する技術が採用されている。例えば、インター予測において、各探索精度の演算を階層化する技術がある。この技術では、最も低い探索精度、つまり２画素精度において所定の探索範囲を設定して参照画像ブロックの候補を求める。そして、求めた候補の参照画像ブロックを中心にして、比較的狭い探索範囲を新たに設定し、この探索範囲で次の探索精度つまり、１画素精度の探索を行う。以後同様にして、各探索精度で求めた候補のブロックを中心にして、次の探索精度の探索範囲を設定するのである。探索範囲を狭くすることができるので、参照画像ブロックの候補の探索に必要な計算量を低減することが可能である。こうして、最終的には、１／４画素精度で参照画像ブロックの候補を求めて、符号化コストを算出する。こうして得たインター予測における最小符号化コストと、イントラ予測における最小符号化コストとを比較して、符号化モードを決定するようになっている。
【０００７】
しかしながら、例え階層化したとしても、高い探索精度、例えば１／４画素精度の探索には、膨大な計算量が必要であり、全体として計算量を十分に削減することはできない。
【０００８】
また、特許文献１においては、符号化対象画像と参照画像とから計算された類似度に基づいてインター予測及びイントラ予測のいずれかを選択する技術が開示されている。しかしながら、特許文献１の提案では、類似度のみによってインター予測とイントラ予測との切り換えを行っており、最適な予測モードの判定に誤りが生じる可能性がある。また、インター予測を選択した場合には、高精度の探索処理が行われるので、計算量を低減することはできないという問題があった。
【特許文献１】特開２００６−２０２１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、最適な予測モードを少ない演算量で決定して高効率の符号化を行うことができる動画像符号化装置及び動画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様に係る動画像符号化装置は、符号化コストに基づいてイントラ予測における予測画像を探索して決定するイントラ予測画像生成部と、インター予測における予測画像の探索処理を探索精度に応じて階層化し、探索精度を低い精度から高い精度に階層毎に順次切り換えて、各階層毎に符号化コストに基づいてインター予測における予測画像を探索して決定するインター予測画像生成部と、前記イントラ予測画像生成部が決定した予測画像の符号化コストと前記インター予測画像生成部が決定した予測画像の符号化コストとを前記階層毎に比較し、比較結果に基づいて前記階層毎にイントラ予測とインター予測とのいずれかの予測モードを決定し又は決定を保留し、予測モードをイントラ予測のモードに決定した場合には、前記インター予測画像生成部における以後の階層の探索処理を停止させる比較部とを具備したことを特徴とするものであり、
本発明の一態様に係る動画像符号化方法は、符号化コストに基づいてイントラ予測における予測画像を探索して決定し、インター予測における予測画像の探索処理を探索精度に応じて階層化し、探索精度を低い精度から高い精度に階層毎に順次切り換えて、各階層毎に符号化コストに基づいてインター予測における予測画像を探索して決定し、前記イントラ予測における予測画像の符号化コストと前記インター予測における予測画像の符号化コストとを前記階層毎に比較し、比較結果に基づいて前記階層毎にイントラ予測とインター予測とのいずれかの予測モードを決定し又は決定を保留し、予測モードをイントラ予測のモードに決定した場合には、前記インター予測における以後の探索処理を停止させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、最適な予測モードを少ない演算量で決定して高効率の符号化を行うことができるという効果を有する。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１３】
図１は本発明の実施の形態に係る動画像符号化装置に採用される予測信号生成部を示すブロック図である。また、図２は動画像符号化装置の全体構成を示すブロック図である。
【００１４】
図２において、符号化部１１には画像信号が入力される。この画像信号は符号化部１１の減算器１２及び予測信号生成部２３に供給される。減算器１２は、後述するＭＢ予測モード選択部２４から予測画像信号が与えられており、入力された画像信号と予測画像信号との差分値（予測誤差）を出力する。なお、予測誤差は、予測モードに応じたサイズのブロック単位で求められる。
【００１５】
減算器１２からの予測誤差は、直交変換部１３に与えられる。直交変換部１３は、入力された予測誤差を直交変換して、ブロック単位で空間周波数成分に変換する。これにより空間的な相関成分が削減可能となる。直交変換部１３からの変換係数は量子化部１４に与えられる。量子化部１４は、入力された変換係数を量子化することにより、ブロックの信号の冗長度を削減して出力する。
【００１６】
量子化部１４からの量子化出力は、ＣＡＢＡＣ符号化部１５に供給される。ＣＡＢＡＣ符号化部１５は、２値化部１６及び算術符号化部１７によって構成されている。２値化部１６は、量子化出力であるシンタックス要素が入力されると共に、ＭＢ予測モード選択部２４から予測モード情報も入力され、シンタックス要素を可変長の２値のシンボル列に変換する。算術符号化部１７は、２値化部１６からの２値シンボル列を、シンボルの発生確率に応じて算術符号化する。こうして、ＣＡＢＡＣ符号化部１５は、符号量を一層削減した符号化出力を出力バッファ１８に出力するようになっている。
【００１７】
また、ＭＢ予測モード選択部２４から出力される量子化係数等の予測方法に関する情報は、可変長符号化部２５に与えられる。可変長符号化部２５は入力された情報を可変長符号化して出力バッファ１８に出力する。出力バッファ１８はＣＡＢＡＣ符号化部１５の出力及び可変長符号化部２５の出力を、所定のビットレートで符号化データとして出力する。
【００１８】
符号化制御部３１は、発生符号量のフィードバック制御及び量子化特性制御等によって発生符号量を制御するレート制御、予測モードの決定処理の制御の他、符号化処理全体の制御等を行う。
【００１９】
量子化部１４の出力は、予測画像信号を生成するために逆量子化部１９にも与えられる。逆量子化部１９、逆直交変換部２０、加算器２１及び参照画像メモリ２２によって局部復号器が構成される。逆量子化部１９は入力された量子化出力を逆量子化して、量子化前のデータ（変換係数）に戻して逆直交変換部２０に出力する。逆直交変換部２０は入力された変換係数を逆直交変換することにより、直交変換前の予測誤差を得る。この予測誤差は加算器２１に与えられる。
【００２０】
加算器２１はＭＢ予測モード選択部２４から予測画像信号も与えられており、予測誤差と予測画像信号との加算によって、入力画像を復元する。加算器２１からの復元画像は、参照画像として参照画像メモリ２２に与えられる。
【００２１】
予測信号生成部２３には入力画像信号も入力されている。予測信号生成部２３は、後述するように、各予測モードに応じた予測画像信号を生成してＭＢ予測モード選択部２４に出力する共に、いずれの予測モードに決定するかを指示するためのモード指示信号を発生してＭＢ予測モード選択部２４に出力するようになっている。ＭＢ予測モード選択部２４は、予測信号生成部２３から、各予測モード毎の予測画像信号及びモード指示信号が与えられる。ＭＢ予測モード選択部２４は、予測モードを示すモード指示信号に基づいて、予測画像信号を選択して、減算器１２及び加算器２１に出力するようになっている。
【００２２】
図１は図２中の予測信号生成部２３の具体的な構成を示している。
【００２３】
予測信号生成部２３は、イントラ予測及びインター予測に基づく予測画像信号を生成することができる。また、予測信号生成部２３は、インター予測においては複数の画素精度、例えば、２画素精度、１画素精度、１／２画素精度及び１／４画素精度で予測画像信号を求めることができる。本実施の形態においては、後述するように、予測信号生成部２３は、予測モードの決定に要する計算量を削減することが可能である。
【００２４】
イントラ予測画像生成部４１には、入力画像信号が供給される。イントラ予測画像生成部４１は、入力画像信号が与えられて、画面内の画像を用いて予測画像（イントラ予測画像）を生成する。例えば、イントラ予測画像生成部４１は、符号化の対象のブロックに隣接する画素を用いて、イントラ予測画像を生成する。イントラ予測画像生成部４１は、生成したイントラ予測画像を差分画像生成部４４に出力すると共に、ＭＢ予測モード選択部２４にも出力する。なお、最終的には、後述するように、イントラ予測画像生成部４１は、イントラ予測の各モードのうち最も小さい符号化コストが得られるモードのイントラ予測画像をＭＢ予測モード選択部２４に出力するようになっている。
【００２５】
インター予測画像生成部４２は、参照画像信号が与えられ、他の画面の画像（参照画像）を用いて予測画像（インター予測画像）を生成する。この場合において、インター予測画像生成部４２は、符号化コストが最も小さくなるように、インター予測画像を生成する。
【００２６】
本実施の形態においては、インター予測画像生成部４２は、後述する比較部４６に制御されて、インター予測画像の生成のための探索処理を階層化する。即ち、インター予測画像生成部４２は、最も低い探索精度から高い探索精度に向かって探索精度を階層毎に切換えて順次探索を行う。なお、本実施の形態をＨ．２６４に適用した場合には、探索精度としては、２画素精度、１画素精度、１／２画素精度及び１／４画素精度が採用される。
【００２７】
例えば、インター予測画像生成部４２は、階層毎に、参照画像中に探索範囲を設定し、設定した探索範囲内で、当該階層の探索精度に応じてブロック化位置を順次変化させながらマクロブロックを選択してインター予測画像として差分画像生成部４４に出力する。そして、インター予測画像生成部４２は、最終的には、後述する比較部４６から符号化コストについての情報が与えられて、当該階層において最も符号化コストが小さくなるインター予測画像をＭＢ予測モード選択部２４に出力する。
【００２８】
差分画像生成部４４は、入力画像信号も入力され、イントラ予測画像信号と入力画像信号との差分を求めて、差分画像を符号化コスト計算部４５に出力する。また、差分画像生成部４４は、インター予測画像信号と入力画像信号との差分を求めて、差分画像を符号化コスト計算部４５に出力する。
【００２９】
符号化コスト計算部４５は、差分画像生成部４４の出力に基づいて、符号化コストを算出する。即ち、符号化コスト計算部４５は、イントラ予測画像と入力画像との差分から、イントラ予測画像の符号化コストを算出する。また、符号化コスト計算部４５は、インター予測画像と入力画像との差分から、インター予測画像の符号化コストを算出する。
【００３０】
比較部４６は、メモリ４７を有しており、入力されるイントラ予測画像の符号化コスト及びインター予測画像の符号化コストをメモリ４７に記憶させながら比較を行う。即ち、比較部４６は、イントラ予測における各モードのイントラ予測画像毎に符号化コストを比較し、最も低い符号化コストが得られるモードをイントラ予測画像生成部４１に指示する。また、比較部４６は、インター予測の各階層におけるイントラ予測画像の符号化コストを比較し、各階層毎に、最も低い符号化コストが得られるインター予測画像（マクロブロック）をイントラ予測画像生成部４２に指示する。
【００３１】
図３はインター予測における階層的な探索処理を説明するための説明図である。図３（ａ）は最も低い探索精度の探索処理を示し、図３（ｂ）は２番目に低い探索精度の探索処理を示し、図３（ｃ）は３番目に低い探索精度の探索処理を示している。
【００３２】
いま、図３の対象となるマクロブロック（処理ＭＢ）５２について、インター予測画像となるマクロブロック（以下、インター予測画像マクロブロックという）を求めるものとする。先ず、インター予測画像生成部４２は、最も低い探索精度で探索を行う。即ち、インター予測画像生成部４２は、入力画像の処理ＭＢ５２と同一位置の参照画像のマクロブロックを中心として、所定の探索範囲Ｒ１を設定する。インター予測画像生成部４２は、探索範囲Ｒ１内で探索精度に応じてブロック化位置を変化させながら、インター予測画像マクロブロックを順次選択する。
【００３３】
インター予測画像生成部４２からのインター予測画像は差分画像生成部４４に与えられて、入力画像との差分画像が求められる。符号化コスト計算部４５は、差分画像からインター予測画像の符号化コストを求める。符号化コストは比較部４６に順次供給される。比較部４６は、探索範囲Ｒ１内で、最小の符号化コストが得られるマクロブロックを候補Ｃ１（×印）とする。
【００３４】
インター予測画像生成部４２は、比較部４６から２番目に低い探索精度での探索が指示されると、候補Ｃ１のマクロブロックを中心として、所定の探索範囲Ｒ２を設定する。インター予測画像生成部４２は、探索範囲Ｒ２内で、２番目に低い探索精度に応じてブロック化位置を変化させながら、順次インター予測画像マクロブロックを選択する。インター予測画像生成部４２からのインター予測画像の符号化コストは、比較部４６によって比較される。こうして、最も低い符号化コストが得られるマクロブロックが候補Ｃ２として求められる。
【００３５】
更に、インター予測画像生成部４２は、比較部４６から３番目に低い探索精度での探索が指示されると、候補Ｃ２のマクロブロックを中心として、所定の探索範囲Ｒ３を設定する。インター予測画像生成部４２は、探索範囲Ｒ３内で３番目に低い探索精度に応じてブロック化位置を変化させながら、順次インター予測画像マクロブロックを選択する。インター予測画像生成部４２は、比較部４６から最も低い符号化コストが得られるマクロブロックが指定されて、当該マクロブロックを候補Ｃ３とする。
【００３６】
以後、同様にして、インター予測画像生成部４２は、比較部４６の指示に応じて、低い探索精度から高い探索精度に切り換えながら階層的にインター予測画像の探索を行う。
【００３７】
本実施の形態においては、比較部４６は、イントラ予測における符号化コストと、インター予測における符号化コストとを、インター予測の各階層毎に比較するようになっている。比較部４６は、各探索精度の探索毎に閾値を設定し、所定の探索精度の探索時に、イントラ予測画像の符号化コストがインター予測画像の符号化コストより所定の閾値を超えて小さい場合には、イントラ予測モードを設定するためのモード指示信号を出力する共に、イントラ予測画像生成部４１から当該イントラ予測画像信号をＭＢ予測モード選択部２４に出力させる。
【００３８】
また、比較部４６は、所定の探索精度の探索時に、イントラ予測画像の符号化コストとインター予測画像の符号化コストとの差が所定の閾値以内である場合には、当該探索精度よりも高い探索精度の探索を継続して行うように、インター予測画像生成部４２に指示を与える。
【００３９】
また、比較部４６は、所定の探索精度の探索時に、インター予測画像の符号化コストがイントラ予測画像の符号化コストより所定の閾値を超えて小さい場合には、インター予測モードを設定するためのモード指示信号を出力する共に、当該所定の探索精度の探索時に求めたインター予測画像信号をインター予測画像生成部４２からＭＢ予測モード選択部２４に出力させるようになっている。またこの場合には、比較部４６は、以後、インター予測画像生成部４２の探索処理（インター予測画像の生成処理）を停止させるようになっている。
【００４０】
本実施の形態においては、インター予測画像生成部４２は、比較部４６によって、インター予測画像の探索処理が制御されるようになっている。即ち、インター予測画像生成部４２は、各探索精度毎のインター予測画像の算出を比較部４６からの指示に従って行い、比較部４６からイントラ予測モードを決定するモード指示信号が出力されると、以後の階層における演算を停止するようになっている。
【００４１】
次にこのように構成された実施の形態の動作について図４乃至図９を参照して説明する。図４は予測モードの決定処理を説明するためのフローチャートである。図５は図４中のイントラ予測候補決定処理を具体的に示すフローチャートである。図６乃至図９はインター予測における予測画像生成処理（探索処理）を示しており、夫々２画素精度、１画素精度、１／２画素精度又は１／４画素精度による探索処理を用いた例を示している。なお、図５乃至図９は図１に示す予測信号生成部２３の各部の処理をソフトウェアによって実現した場合のフローを示している。
【００４２】
入力画像信号は予測信号生成部２３に与えられる。予測信号生成部２３は、図４のステップＳ１において、イントラ予測による符号化コストが最小となる予測画像の候補を決定する。即ち、入力画像信号は予測信号生成部２３内のイントラ予測画像生成部４１に与えられて、各モードにおける予測画像が生成される。差分画像生成部４４は入力画像と予測画像との差分画像を求め、符号化コスト計算部４５は差分画像の符号化コストを計算する。比較部４６は、イントラ予測における各モードの符号化コストを比較し、最小の符号化コストが得られる予測画像を求める。
【００４３】
予測信号生成部２３はコンピュータシステムを用いて構成することができ、図５はＣＰＵによるイントラ予測画像の生成処理を示している。図５のステップＳ１１において、ＣＰＵは、先ず、最小の符号化コストの変数ｉｎｔｒａＣｏｓｔを、符号化コストとして取り得る最大値に初期化する。次に、ステップＳ１２において、所定の予測モードによるイントラ予測画像ｐｒｅｄ［ｘ，ｙ］を生成する。次に、イントラ予測画像と入力画像との差分が求められ（ステップＳ１３）、差分画像ｄｉｆｆ［ｘ，ｙ］に対して符号化コストが計算される。
【００４４】
符号化コストは、差分画像のコストである係数コストｃｏｅｆｆＣｏｓｔと予測モードの情報を符号化した場合のコストである予測モードコストｍｏｄｅＣｏｓｔとの和で与えられる。ステップＳ１４においては係数コストが計算され、ステップＳ１５では予測モードコストが計算される。なお、係数コストｃｏｅｆｆＣｏｓｔは、例えば下記（１）式に示す絶対値和の計算式で求められる。
【００４５】
ｃｏｅｆｆＣｏｓｔ＝ΣΣａｂｓ（ｄｉｆｆ［ｘ，ｙ］）  …（１）
なお、ａｂｓ（）は、（）内の値の絶対値を示す。
【００４６】
次に、ステップＳ１６において、ＣＰＵは、イントラ予測時の各モードの符号化コストの比較に用いる変数ｔｍｐＣｏｓｔに、係数コストの値ｃｏｅｆｆＣｏｓｔと予測モードコストの値ｍｏｄｅＣｏｓｔの和を代入する。ステップＳ１７では、ＣＰＵは、ｔｍｐＣｏｓｔと最小の符号化コストの変数ｉｎｔｒａＣｏｓｔとの大小を判定する。ｔｍｐＣｏｓｔの方がｉｎｔｒａＣｏｓｔよりも小さい場合には、ＣＰＵは、ｉｎｔｒａＣｏｓｔにｔｍｐＣｏｓｔを代入して更新し（ステップＳ１８）、そうでない場合には、ｉｎｔｒａＣｏｓｔを更新しない。
【００４７】
ＣＰＵは、ステップＳ１２〜Ｓ１８を、各予測モード毎に繰返す。こうして、ｉｎｔｒａＣｏｓｔには、全予測モードの最も小さい符号化コストの値が格納される。ステップＳ１９では、ＣＰＵは、イントラ予測時の符号化コストとインター予測時の符号化コストとの比較を行う場合の調整パラメータｉｎｔｒａＣｏｓｔＯｆｆｓｅｔをｉｎｔｒａＣｏｓｔに加算する。こうして、最小の符号化コストｉｎｔｒａＣｏｓｔ及び最小の符号化コストを得るイントラ予測画像が求められる。
【００４８】
次に、インター予測による候補を決定する。いま、インター予測画像の探索精度が２画素精度、１画素精度、１／２画素精度又は１／４画素精度であるものとする。本実施の形態においてはインター予測画像の探索は階層的に行われる。
【００４９】
先ず、図４のステップＳ２において、最も低い探索精度による探索処理を実施する。予測信号生成部２３は、インター予測においても、符号化コストが最小となる予測画像の候補を決定する。インター予測画像生成部４２は、参照画像信号が与えられて、探索範囲内で最も低い探索精度に応じてブロック化位置を変化させながらマクロブロックを選択して、インター予測画像として順次差分画像生成部４４に出力する。差分画像生成部４４は入力画像とインター予測画像との差分画像を求め、符号化コスト計算部４５は差分画像の符号化コストを計算する。比較部４６は、各インター予測画像の符号化コストを比較し、最小の符号化コストｉｎｔｅｒＣｏｓｔ０が得られるインター予測画像を求める。
【００５０】
図６はＣＰＵによる２画素精度の探索処理を示している。図６のステップＳ２１において、ＣＰＵは、先ず、最小の符号化コストの変数ｉｎｔｅｒＣｏｓｔ０を、符号化コストとして取り得る最大値に初期化する。次に、ステップＳ２２において、インター予測画像を生成する。即ち、ＣＰＵは、所定の探索範囲内で、２画素精度で動きベクトルを探索し、動きベクトル候補ＭＶ候補Ｍｖ０を決定する。次に、ＣＰＵは、２画素精度の動きベクトル候補からインター予測画像ｐｒｅｄ［ｘ，ｙ］を生成する。次に、インター予測画像と入力画像との差分が求められ（ステップＳ２３）、差分画像ｄｉｆｆ［ｘ，ｙ］に対して符号化コストが計算される。
【００５１】
インター予測における符号化コストは、差分画像ｄｉｆｆ［ｘ，ｙ］のコストである係数コストｃｏｅｆｆＣｏｓｔとインター予測画像のブロック化位置を示す動きベクトルの情報を符号化した場合のコストであるＭＶコストｍｖＣｏｓｔとの和で与えられる。ステップＳ２４においては係数コストが計算され、ステップＳ２５ではＭＶコストが計算される。
【００５２】
次に、ステップＳ２６において、インター予測時の各モードの符号化コストの比較に用いる変数ｔｍｐＣｏｓｔに、係数コストの値ｃｏｅｆｆＣｏｓｔとＭＶコストの値ｍｖＣｏｓｔの和を代入する。ステップＳ２７では、ｔｍｐＣｏｓｔと最小の符号化コストの変数ｉｎｔｅｒＣｏｓｔ０との大小を判定する。ｔｍｐＣｏｓｔの方がｉｎｔｅｒＣｏｓｔ０よりも小さい場合には、ｉｎｔｅｒＣｏｓｔ０にｔｍｐＣｏｓｔを代入して更新し（ステップＳ２８）、そうでない場合には、ｉｎｔｅｒＣｏｓｔ０を更新しない。
【００５３】
ステップＳ２２〜Ｓ２８を繰返して、探索範囲内で２画素精度でブロック化位置を変化させながら、最小となる符号化コストを求める。こうして、ｉｎｔｅｒＣｏｓｔ０には、探索範囲内で最も小さい符号化コストの値が格納される。ステップＳ２９では、イントラ予測時の符号化コストとインター予測時の符号化コストとの比較を行う場合の調整パラメータｉｎｔｅｒＣｏｓｔＯｆｆｓｅｔをｉｎｔｅｒＣｏｓｔ０に加算する。こうして、探索精度が２画素精度の場合において、最小の符号化コスト及び最小の符号化コストを得るインター予測画像が求められる。
【００５４】
なお、本実施の形態においては、後述するように、イントラ予測の符号化コストとインター予測の符号化コストとの比較時に所定の閾値を用いているので、この閾値を適宜設定することにより、調整パラメータｉｎｔｅｒＣｏｓｔＯｆｆｓｅｔの加算は、省略してもよい。
【００５５】
次に、図４のステップＳ３において、ＣＰＵは、ステップＳ２の探索処理が最も探索精度が高い探索処理であるか否かを判定する。最も高い探索精度の探索処理でない場合には、処理をステップＳ４に移行して、イントラ予測における符号化コスト（イントラコスト）が十分に小さいか否かを判定する。例えば、ＣＰＵは、下記（２）式に示すように、イントラ予測における符号化コストｉｎｔｒａＣｏｓｔがインター予測における符号化コストｉｎｔｅｒＣｏｓｔ（この場合には、２画素精度で求めたｉｎｔｅｒＣｏｓｔ０）より所定の閾値ｔｈＩｎｔｒａ０を超えて小さいか否かを判定する。
【００５６】
ｉｎｔｒａＣｏｓｔ＜ｉｎｔｅｒＣｏｓｔ０−ｔｈＩｎｔｒａ０        …（２）
上記（２）式を満足しない場合には、次のステップＳ６において、インターコストが十分に小さいか否かが判定される。例えば、ＣＰＵは、下記（３）式に示すように、インター予測における符号化コストｉｎｔｅｒＣｏｓｔがイントラ予測における符号化コストｉｎｔｒａＣｏｓｔ（この場合には、ｉｎｔｅｒＣｏｓｔ０）より所定の閾値ｔｈＩｎｔｅｒ０を超えて小さいか否かを判定する。
【００５７】
ｉｎｔｅｒＣｏｓｔ０＜ｉｎｔｒａＣｏｓｔ−ｔｈＩｎｔｅｒ０        …（３）
上記（３）式を満足すると判定された場合、即ち、インター予測モードの方がイントラ予測モードよりも十分に低い符号化コストが得られると判定された場合には、ＣＰＵは処理をステップＳ７に移行して、従来と同様に、次に高い探索精度から最高探索精度まで順次探索処理を実施する。
【００５８】
図７はＣＰＵによる１画素精度の探索処理を示している。１画素精度の探索処理においては、図３において示したように、探索範囲は、２画素精度の探索処理における候補を含む範囲に設定される。従って、１画素精度において求められるイントラ予測の符号化コストは、必ず、２画素精度において求められるイントラ予測の符号化コスト以下の値となる。そこで、図７のステップＳ３１において、ＣＰＵは、１画素精度の探索処理における最小の符号化コストの変数ｉｎｔｅｒＣｏｓｔ１を、符号化コストとして取り得る最大値であるｉｎｔｅｒＣｏｓｔ０に初期化する。
【００５９】
次に、ステップＳ３２において、インター予測画像を生成する。即ち、ＣＰＵは、所定の探索範囲内で、１画素精度で動きベクトルを探索し、動きベクトル候補を決定し、決定した動きベクトル候補からインター予測画像ｐｒｅｄ［ｘ，ｙ］を生成する。以後のステップＳ３３〜Ｓ３９の処理は、図６の２画素精度の探索処理と同様である。こうして、ステップＳ２９において、１画素精度の探索処理における最小の符号化コストｉｎｔｅｒＣｏｓｔ１が求められる。
【００６０】
次に、ＣＰＵは図８に示す１／２画素精度の探索処理を行う。１／２画素精度の探索処理においては、ステップＳ４１において、ＣＰＵは、１／２画素精度の探索処理における最小の符号化コストの変数ｉｎｔｅｒＣｏｓｔ２を、符号化コストとして取り得る最大値であるｉｎｔｅｒＣｏｓｔ１に初期化する。
【００６１】
次に、ステップＳ４２において、インター予測画像を生成する。即ち、ＣＰＵは、所定の探索範囲内で、１／２画素精度で動きベクトルを探索し、動きベクトル候補を決定し、決定した動きベクトル候補からインター予測画像ｐｒｅｄ［ｘ，ｙ］を生成する。以後のステップＳ４３〜Ｓ４９の処理は、図６の２画素精度の探索処理と同様である。こうして、ステップＳ４９において、１／２画素精度の探索処理における最小の符号化コストｉｎｔｅｒＣｏｓｔ２が求められる。
【００６２】
次に、ＣＰＵは図９に示す１／４画素精度の探索処理を行う。１／４画素精度の探索処理においては、ステップＳ５１において、ＣＰＵは、１／４画素精度の探索処理における最小の符号化コストの変数ｉｎｔｅｒＣｏｓｔ３を、符号化コストとして取り得る最大値であるｉｎｔｅｒＣｏｓｔ２に初期化する。
【００６３】
次に、ステップＳ５２において、インター予測画像を生成する。即ち、ＣＰＵは、所定の探索範囲内で、１／４画素精度で動きベクトルを探索し、動きベクトル候補を決定し、決定した動きベクトル候補からインター予測画像ｐｒｅｄ［ｘ，ｙ］を生成する。以後のステップＳ５３〜Ｓ５９の処理は、図６の２画素精度の探索処理と同様である。こうして、ステップＳ５９において、１／４画素精度の探索処理における最小の符号化コストｉｎｔｅｒＣｏｓｔ３が求められる。
【００６４】
次のステップＳ８において、ＣＰＵは、インター予測モードを設定する。即ち、ステップＳ７の処理が行われる場合には、インター予測において、最低探索精度から最高探索精度までの全ての探索精度での処理が行われることになる。
【００６５】
これに対し、ステップＳ４において、上記（２）式を満足するものと判定されて、処理がステップＳ５に移行する場合には、最低探索精度から最高探索精度までの全ての探索精度での処理は行われない。例えば、インター予測の最低探索精度の探索処理において求められた符号化コストが十分に小さいと判定された場合には、ＣＰＵは、処理をステップＳ４からステップＳ５に移行して、イントラ予測モードを設定する。即ち、この場合には、インター予測の探索処理としては、最低探索精度の処理のみが行われることになる。
【００６６】
また、ステップＳ４において、上記（２）式を満足しないものと判定され、更に、ステップＳ６において上記（３）式も満足しないと判定された場合には、イントラ予測モードとインター予測モードとのいずれのモードにするかの決定を行わずに、ステップＳ９において次に高い探索精度の探索処理を行う。
【００６７】
例えば、２画素精度の探索処理によって得られた符号化コストに基づいて、ステップＳ４，Ｓ６が判定されてステップＳ９に処理が移行した場合には、ステップＳ９において１画素精度の探索処理が行われる。そして、１画素精度の探索処理によって得られた符号化コストに基づいて、ステップＳ４，Ｓ６の判定が行われる。
【００６８】
例えば、ステップＳ４，Ｓ６では、下記（４），（５）式を満足するか否かが判定される。なお、ＣＰＵは、各階層毎に、ステップＳ４，Ｓ６に用いる閾値を再設定する。インター予測の符号化コストは、探索精度が高精度になる程小さくなるので、閾値も探索精度に応じて小さくした方がよい。
【００６９】
ｉｎｔｒａＣｏｓｔ＜ｉｎｔｅｒＣｏｓｔ１−ｔｈＩｎｔｒａ１        …（４）
ｉｎｔｅｒＣｏｓｔ１＜ｉｎｔｒａＣｏｓｔ−ｔｈＩｎｔｅｒ１        …（５）
上記（５）式を満足する場合には、次のステップＳ７が実行されることになり、上記（４）式を満足する場合には、次のステップＳ５が実行されることになる。ステップＳ５が実行される場合には、インター予測の２画素精度及び１画素精度の探索処理のみによって、イントラ予測モードが決定されることになる。
【００７０】
同様に、ステップＳ９において１／２画素精度の探索処理が行われる場合には、１／２画素精度の探索処理によって得られた符号化コストに基づいて、ステップＳ４，Ｓ６の判定が行われる。この場合には、ＣＰＵは、ステップＳ４，Ｓ６において、符号化コストが下記（６），（７）式を満足するか否かを判定する。
【００７１】
ｉｎｔｒａＣｏｓｔ＜ｉｎｔｅｒＣｏｓｔ２−ｔｈＩｎｔｒａ２        …（６）
ｉｎｔｅｒＣｏｓｔ２＜ｉｎｔｒａＣｏｓｔ−ｔｈＩｎｔｅｒ２        …（７）
上記（７）式を満足する場合には、次のステップＳ７が実行されることになり、上記（６）式を満足する場合には、次のステップＳ５が実行されることになる。ステップＳ５が実行される場合には、インター予測の２画素精度〜１／２画素精度の探索処理によって、イントラ予測モードが決定されることになる。
【００７２】
ステップＳ９において１／４画素精度の探索処理が行われる場合には、ＣＰＵは、処理をステップＳ３からステップＳ１０に移行させて、１／４画素精度の探索処理によって得られた符号化コストとイントラコストとの比較を行う。この場合には、ＣＰＵは、ステップＳ１０において、例えば符号化コストが下記（８）式を満足するか否かを判定する。
【００７３】
ｉｎｔｅｒＣｏｓｔ３＞ｉｎｔｒａＣｏｓｔ        …（８）
上記（８）式を満足する場合には、ステップＳ５においてイントラ予測モードが設定され、上記（８）式を満足しない場合には、ステップＳ８においてインター予測モードが設定されることになる。
【００７４】
ステップＳ５においてイントラ予測モードが設定される場合には、ＣＰＵは以降の探索処理を停止する。なお、図１では比較部４６がインター予測画像生成部４２を制御することで探索処理を停止させることができる。即ち、ステップＳ４の比較処理において、イントラ予測モードが選択された場合には、その階層以降の探索処理が停止されることになり、その分の計算を省略することができる。つまり、インター予測における演算量の削減が可能である。
【００７５】
このように本実施の形態においては、インター予測の探索処理を探索精度毎に階層化して行い、各階層毎にイントラ予測とインター予測の符号化コストによるモードの決定処理を行い、イントラ予測モードの決定を行った場合には、次の階層の探索処理を停止させるようになっている。これにより、インター予測における演算量を削減することができ、消費電力を削減させることが可能である。また、インター予測の演算量が少なくなるので、モード決定に要する時間を短縮することもできる。
【００７６】
なお、本発明は上記各実施の形態に限定されるものではなく、種々の変形が可能である。例えば、符号化装置の構成及び符号化手法は、特に限定されるものではない。
【図面の簡単な説明】
【００７７】
【図１】本発明の実施の形態に係る動画像符号化装置に採用される予測信号生成部を示すブロック図。
【図２】動画像符号化装置の全体構成を示すブロック図。
【図３】インター予測における階層的な探索処理を説明するための説明図。
【図４】図４は予測モードの決定処理を説明するためのフローチャート。
【図５】図５は図４中のイントラ予測候補決定処理を具体的に示すフローチャート。
【図６】インター予測における２画素精度の予測画像生成処理を示すフローチャート。
【図７】インター予測における１画素精度の予測画像生成処理を示すフローチャート。
【図８】インター予測における１／２画素精度の予測画像生成処理を示すフローチャート。
【図９】インター予測における１／４画素精度の予測画像生成処理を示すフローチャート。
【符号の説明】
【００７８】
２３…予測信号生成部、４１…イントラ予測画像生成部、４２…インター予測画像生成部、４４…差分画像生成部、４５…符号化コスト計算部、４６…比較部。
【図１】
2009225163.tif 000003
【図２】
2009225163.tif 000004
【図３】
2009225163.tif 000005
【図４】
2009225163.tif 000006
【図５】
2009225163.tif 000007
【図６】
2009225163.tif 000008
【図７】
2009225163.tif 000009
【図８】
2009225163.tif 000010
【図９】
2009225163.tif 000011