(57)【要約】【課題】  可変ブロックサイズ動き予測のための符号化モードの決定方法及び装置を提供する。【解決手段】  参照フレームで現在符号化するマクロブロックと最も類似したマクロブロックを検索した後、検索されたマクロブロックを利用して臨時符号化モード候補グループを決定し、現在符号化するブロックの複雑度、及び以前フレームの対応するブロックとの差値を利用して実際に動き予測を行う最終符号化モード候補グループを選択し、選択された最終符号化モード候補グループに含まれた符号化モードでの率−歪曲値を比較して最適の符号化モードを決定することを特徴とする符号化モードの決定方法である。【選択図】      図４
2007202150.tif 000002
【特許請求の範囲】
【請求項１】
可変ブロックサイズ動き予測のための符号化モードの決定方法において、
（ａ）現在マクロブロックと最も類似した参照フレームのマクロブロックを検索するステップと、
（ｂ）少なくとも一つ以上の符号化モードを備える複数の符号化モード候補グループのうち、前記検索された参照フレームのマクロブロックの符号化モード情報を利用して、現在マクロブロックの符号化のための臨時符号化モード候補グループを決定するステップと、
（ｃ）前記決定された臨時符号化モード候補グループ、前記現在マクロブロックまたは前記現在マクロブロックを分割したサブブロックの複雑度、及び以前参照フレームとの差値によって、前記決定された臨時符号化モード候補グループを最終符号化モード候補グループとして選択するか、または前記決定された臨時符号化モード候補グループより小さいブロックを利用する符号化モードを備えた符号化モード候補グループを最終符号化モード候補グループとして選択するステップと、
（ｄ）前記選択された最終符号化モード候補グループに備えられた符号化モードによって動き予測を行って前記現在マクロブロックの符号化モードを決定するステップとを含むことを特徴とする符号化モードの決定方法。
【請求項２】
前記（ａ）ステップは、
（ａ１）前記現在マクロブロックと最も類似した参照フレームの領域を検索するステップと、
（ａ２）前記検索された領域が以前参照フレームの複数のマクロブロックにオーバーラップされた場合、前記オーバーラップされたマクロブロックのうち最も広くオーバーラップされたマクロブロックを検索するステップと、をさらに含むことを特徴とする請求項１に記載の符号化モードの決定方法。
【請求項３】
前記複数の符号化モード候補グループは、
インター１６×１６モードを備える第１符号化モード候補グループと、
インター１６×１６モード、インター１６×８モード、インター８×１６モード及びインター８×８モードを備えた第２符号化モード候補グループと、
インター１６×１６モード、インター１６×８モード、インター８×１６モード、インター８×８モード、インター８×４モード、インター４×８モード及びインター４×４モードを備えた第３符号化モード候補グループとを備えることを特徴とする請求項１に記載の符号化モードの決定方法。
【請求項４】
前記以前参照フレームとの差値は、
前記現在マクロブロックまたは前記現在マクロブロックを分割したサブブロックの画素値と前記以前参照フレームの対応するブロックの画素値との差であるＳＡＤ値であることを特徴とする請求項１に記載の符号化モードの決定方法。
【請求項５】
前記（ｃ）ステップは、
前記決定された臨時符号化モード候補グループがインター１６×１６モードを備える第１符号化モード候補グループである場合に、
（ｃ１）前記現在マクロブロックの複雑度、及び前記現在マクロブロックと以前参照フレームの対応するマクロブロックとの差値を計算するステップと、
（ｃ２）前記複雑度及び差値が所定臨界値より小さければ、前記第１符号化モード候補グループを前記最終符号化モード候補グループとして選択するステップとをさらに含むことを特徴とする請求項１に記載の符号化モードの決定方法。
【請求項６】
（ｃ３）前記複雑度及び差値が所定臨界値より大きければ、前記決定された臨時符号化モード候補グループより小さいブロックを利用する符号化モードが備えられた符号化モード候補グループを最終符号化モード候補グループとして選択するステップをさらに含むことを特徴とする請求項５に記載の符号化モードの決定方法。
【請求項７】
前記（ｃ）ステップは、
前記決定された臨時符号化モード候補グループがインター１６×１６モード、インター１６×８モード、インター８×１６モード及びインター８×８モードを備えた第２符号化モード候補グループである場合に、
（ｃ１）前記現在マクロブロックを４個の８×８ブロックに分割するステップと、
（ｃ２）前記分割された８×８ブロックそれぞれの複雑度、及び前記８×８ブロックと以前参照フレームの対応するブロックとの差値を計算するステップと、
（ｃ３）前記８×８ブロックの複雑度及び差値が所定臨界値より小さければ、前記第２符号化モード候補グループを最終符号化モード候補グループとして選択するステップとをさらに含むことを特徴とする請求項１に記載の符号化モードの決定方法。
【請求項８】
（ｃ４）前記複雑度及び差値が所定臨界値より大きい前記８×８ブロックを４個の４×４ブロックに分割するステップと、
（ｃ５）前記分割された４×４ブロックそれぞれの複雑度、及び前記４×４ブロックと以前参照フレームの対応するブロックとの差値を計算するステップと、
（ｃ６）所定臨界値以上の複雑度及び差値を有する４×４ブロックの数が所定数未満である場合、前記第２符号化モード候補グループを最終符号化モード候補グループとして選択するステップとをさらに含むことを特徴とする請求項７に記載の符号化モードの決定方法。
【請求項９】
（ｃ７）所定臨界値以上の複雑度及び差値を有する４×４ブロックの数が所定数以上である場合、インター１６×１６モード、インター１６×８モード、インター８×１６モード、インター８×８モード、インター８×４モード、インター４×８モード及びインター４×４モードを備えた第３符号化モード候補グループを最終符号化モード候補グループとして選択するステップをさらに含むことを特徴とする請求項８に記載の符号化モードの決定方法。
【請求項１０】
前記（ｄ）ステップは、
前記最終符号化モード候補グループに備えられた符号化モードによって動き予測を行って、各符号化モードによる率−歪曲コストを比較して符号化モードを決定するステップをさらに含むことを特徴とする請求項１に記載の符号化モードの決定方法。
【請求項１１】
可変ブロックサイズ動き予測のための符号化モードの決定装置において、
現在マクロブロックと最も類似した参照フレームのマクロブロックを検索して、少なくとも一つ以上の符号化モードを備える複数の符号化モード候補グループのうち、前記検索された参照フレームのマクロブロックの符号化モード情報を利用して現在マクロブロックの符号化のための臨時符号化モード候補グループを決定する臨時符号化モード候補グループ決定部と、
前記現在マクロブロックまたは前記現在マクロブロックを分割したサブブロックの複雑度、及び以前参照フレームとの差値を計算する計算部と、
前記決定された臨時符号化モード候補グループ、前記現在マクロブロックまたは前記現在マクロブロックを分割したサブブロックの複雑度、及び以前参照フレームとの差値によって、前記決定された臨時符号化モード候補グループを最終符号化モード候補グループとして選択するか、または前記決定された臨時符号化モード候補グループより小さいブロックを利用する符号化モードを備えた符号化モード候補グループを最終符号化モード候補グループとして選択する最終符号化モード候補グループ選択部と、
前記選択された最終符号化モード候補グループに備えられた符号化モードによって動き予測を行って前記現在マクロブロックの符号化モードを決定する符号化モード決定部とを備えることを特徴とする符号化モードの決定装置。
【請求項１２】
前記臨時符号化モード候補グループ決定部は、
前記現在マクロブロックと最も類似した参照フレームの領域を検索し、検索された領域が以前参照フレームの複数のマクロブロックにオーバーラップされた場合、前記オーバーラップされたマクロブロックのうち、最も広くオーバーラップされたマクロブロックを検索することを特徴とする請求項１１に記載の符号化モードの決定装置。
【請求項１３】
前記複数の符号化モード候補グループは、
インター１６×１６モードを備える第１符号化モード候補グループと、
インター１６×１６モード、インター１６×８モード、インター８×１６モード及びインター８×８モードを備えた第２符号化モード候補グループと、
インター１６×１６モード、インター１６×８モード、インター８×１６モード、インター８×８モード、インター８×４モード、インター４×８モード及びインター４×４モードを備えた第３符号化モード候補グループとを備えることを特徴とする請求項１１に記載の符号化モードの決定装置。
【請求項１４】
前記計算部は、
前記現在マクロブロックまたは前記現在マクロブロックを分割したサブブロックの画素値と、前記以前参照フレームの対応するブロックの画素値との差であるＳＡＤ値を以前参照フレームとの差値として計算することを特徴とする請求項１１に記載の符号化モードの決定装置。
【請求項１５】
前記最終符号化モード候補グループ選択部は、
前記決定された臨時符号化モード候補グループがインター１６×１６モードを備える第１符号化モード候補グループである場合、前記現在マクロブロックの複雑度、及び前記現在マクロブロックと以前参照フレームの対応するマクロブロックとの差値が所定臨界値より小さければ、前記第１符号化モード候補グループを最終符号化モード候補グループとして選択することを特徴とする請求項１１に記載の符号化モードの決定装置。
【請求項１６】
前記最終符号化モード候補グループ選択部は、
前記複雑度及び差値が所定臨界値より大きければ、前記決定された臨時符号化モード候補グループより小さいブロックを利用する符号化モードが備えらえた符号化モード候補グループを、最終符号化モード候補グループとして選択することを特徴とする請求項１５に記載の符号化モードの決定装置。
【請求項１７】
前記最終符号化モード候補グループ選択部は、
前記決定された臨時符号化モード候補グループがインター１６×１６モード、インター１６×８モード、インター８×１６モード及びインター８×８モードを備えた第２符号化モード候補グループである場合、前記現在マクロブロックを４分割した８×８ブロックそれぞれの複雑度、及び前記８×８ブロックと以前参照フレームの対応するブロックとの差値が所定臨界値より小さければ、前記第２符号化モード候補グループを最終符号化モード候補グループとして選択することを特徴とする請求項１１に記載の符号化モードの決定装置。
【請求項１８】
前記最終符号化モード候補グループ選択部は、
前記複雑度及び差値が所定臨界値より大きい８×８ブロックを分割した４×４ブロックの複雑度、及び前記４×４ブロックと以前参照フレームの対応するブロックとの差値を利用して、所定臨界値以上の複雑度及び差値を有する４×４ブロックの数が所定数未満である場合、前記第２符号化モード候補グループを最終符号化モード候補グループとして選択することを特徴とする請求項１７に記載の符号化モードの決定装置。
【請求項１９】
前記最終符号化モード候補グループ選択部は、
所定臨界値以上の複雑度及び差値を有する４×４ブロックの数が所定数以上である場合、インター１６×１６モード、インター１６×８モード、インター８×１６モード、インター８×８モード、インター８×４モード、インター４×８モード及びインター４×４モードを備えた第３符号化モード候補グループを最終符号化モード候補グループとして選択することを特徴とする請求項１８に記載の符号化モードの決定装置。
【請求項２０】
前記符号化モード決定部は、
前記最終符号化モード候補グループに備えられた符号化モードによって動き予測を行って、各符号化モードによる率−歪曲コストを比較して符号化を決定することを特徴とする請求項１１に記載の符号化モードの決定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データの符号化に係り、さらに詳細には、可変ブロックサイズ動き予測時の符号化モードの決定に必要な演算量は減らし、符号化モードを速く決定しうる可変ブロックサイズ動き予測のための符号化モードの決定方法及び装置に関する。
【背景技術】
【０００２】
一般的に、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４  Ｖｉｓｕａｌ、Ｈ.２６１、Ｈ.２６３及びＨ.２６４／ＭＰＥＧ−４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）などの映像圧縮標準案では、一つのフレームを複数のマクロブロックに分割した後、マクロブロック単位で予測を行って予測ブロックを求め、原映像ブロックと予測ブロックとの差を変換及び量子化する方式で映像データを圧縮する。
【０００３】
予測の方式としては、イントラ予測とインター予測との２種類がある。イントラ予測は、現在フレームに存在する周辺ブロックのデータを利用して現在ブロックの予測を行う。インター予測は、ブロック基盤の動き補償を利用して、以前に符号化された一つまたはそれ以上のビデオフレームから現在ブロックに対応する予測ブロックを生成する。特に、インター予測時にＨ.２６４／ＭＰＥＧ−４  ＡＶＣは、固定されたサイズのブロックではなく、４×４から１６×１６までの７種類の可変ブロックモードを利用して動き予測を行う。
【０００４】
図１は、従来のＨ.２６４／ＭＰＥＧ−４ ＡＶＣの可変ブロックサイズ動き予測で利用される多様なサイズのブロックを示す図であり、図２は、従来の技術によって可変ブロック動き予測された映像の一例を示す図である。
【０００５】
図１に示したように、各マクロブロックの輝度成分（１６×１６サンプル）は、４つの方法に分割されうる。すなわち、各マクロブロックは、１個の１６×１６マクロブロックパーティション、２個の１６×８パーティション、２個の８×１６パーティションまたは４個の８×８パーティションに分割されて動き予測されうる。また、８×８モードが選択されれば、マクロブロック内の４個の８×８サブマクロブロックは、それぞれ４つの方法に再び分割されうる。すなわち、８×８モードが選択された場合、各８×８ブロックは、１個の８×８サブマクロブロックパーティション、２個の８×４サブマクロブロックパーティション、２個の４×８サブマクロブロックパーティションまたは４個の４×４サブマクロブロックパーティションのうち一つに分割される。各マクロブロック内で、かかるパーティションとサブマクロブロックの非常に大きい数との組合わせが可能である。マクロブロックを多様なサイズのサブブロックに分けるかかる方法をツリー構造動き補償という。
【０００６】
図２を参照するに、映像でエネルギーが低いブロックは、大きいサイズのパーティションで動き予測され、エネルギーが大きいブロックは、小さいサイズのパーティションで動き予測される。大きいサイズのパーティション（１６×１６,１６×８,８×１６）を選択するというのは、動きベクトル及びパーティションの種類を表すために必要なビット数は少ないが、非常に精密な映像を含むフレーム領域の動き補償された誤差データは、多量のエネルギーを含みうるということを意味する。小さいサイズのパーティション（８×４,４×４）を選択すれば、動き補償された後の誤差データは、多量のエネルギーを含むが、動きベクトル及び選択された分割に関する情報のために、多数のビットが必要である。したがって、パーティションのサイズを選択するのは、圧縮性能に重大な影響を及ぼす。
【０００７】
一つのマクロブロックに対して最適の符号化モードを決定するために、Ｈ.２６４標準案は、率−歪曲（ＲＤ：Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）最適化を利用する。一般的なＲＤ最適化等式は、次の式（１）の通りである。
【０００８】
【数１】
2007202150.tif 000003
式（１）で、
【０００９】
【数２】
2007202150.tif 000004
はラグランジュ乗算子、Ｄは原マクロブロックと再構成されたマクロブロックとの間の歪曲値、Ｒはモード選択及びマクロブロックの量子化値と関連したビット数を反映する係数である。前記式（１）を利用して各マクロブロックを多様な可変ブロックに分けて符号化した後に、最小のＲＤコストを有するモードを最適のモードと決定する。
【００１０】
しかし、色々な符号化モードのうちから最適の符号化モードを選択するために、全ての符号化モードを適用して動き推定を行わねばならないため、計算が複雑であり、演算量が増加する。したがって、このような複雑度を減らして符号化モードを速くて正確に決定しうる符号化モードの決定方法が要求される。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、前記問題点を解決するために案出されたものであって、可変ブロックサイズ動き予測時に利用可能な全ての符号化モードのうち、符号化するブロックの複雑度、及び以前フレームとの相関関係を考慮して演算量を減らし、速く符号化モードを決定する符号化モードの決定方法及び装置を提供するところにある。
【課題を解決するための手段】
【００１２】
前記目的を解決するために本発明による可変ブロックサイズ動き予測のための符号化モードの決定方法は、（ａ）現在マクロブロックと最も類似した参照フレームのマクロブロックを検索するステップと、（ｂ）少なくとも一つ以上の符号化モードを備える複数の符号化モード候補グループのうち、前記検索された参照フレームのマクロブロックの符号化モード情報を利用して、現在マクロブロックの符号化のための臨時符号化モード候補グループを決定するステップと、（ｃ）前記決定された臨時符号化モード候補グループ、前記現在マクロブロックまたは前記現在マクロブロックを分割したサブブロックの複雑度、及び以前参照フレームとの差値によって、前記決定された臨時符号化モード候補グループを最終符号化モード候補グループとして選択するか、または前記決定された臨時符号化モード候補グループより小さいブロックを利用する符号化モードを備えた符号化モード候補グループを最終符号化モード候補グループとして選択するステップと、（ｄ）前記選択された最終符号化モード候補グループに備えられた符号化モードによって動き予測を行って、前記現在マクロブロックの符号化モードを決定するステップとを含むことを特徴とする。
【００１３】
本発明による可変ブロックサイズ動き予測のための符号化モードの決定装置は、現在マクロブロックと最も類似した参照フレームのマクロブロックを検索して、少なくとも一つ以上の符号化モードを備える複数の符号化モード候補グループのうち、前記検索された参照フレームのマクロブロックの符号化モード情報を利用して、現在マクロブロックの符号化のための臨時符号化モード候補グループを決定する臨時符号化モード候補グループ決定部と、前記現在マクロブロックまたは前記現在マクロブロックを分割したサブブロックの複雑度、及び以前参照フレームとの差値を計算する計算部と、前記決定された臨時符号化モード候補グループ、前記現在マクロブロックまたは前記現在マクロブロックを分割したサブブロックの複雑度、及び以前参照フレームとの差値によって、前記決定された臨時符号化モード候補グループを最終符号化モード候補グループとして選択するか、または前記決定された臨時符号化モード候補グループより小さいブロックを利用する符号化モードを備えた符号化モード候補グループを最終符号化モード候補グループとして選択する最終符号化モード候補グループ選択部と、前記選択された最終符号化モード候補グループに備えられた符号化モードによって動き予測を行って、前記現在マクロブロックの符号化モードを決定する符号化モード決定部とを備えることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、可変ブロックサイズ動き予測で、全ての符号化モードに対する動き予測を行わず、現在ブロックの複雑度、及び動きを考慮して選択された最終符号化モード候補グループに含まれた符号化モードに対してのみ動き予測を行うことによって、符号化モードの決定に必要な演算量を減らし、さらに正確かつ効率的に符号化モードを決定しうる。
【発明を実施するための最良の形態】
【００１５】
以下、添付された図面を参照して本発明の望ましい実施形態について詳細に説明する。
【００１６】
図３は、本発明による符号化モードの決定装置が適用された映像符号化装置の構成を示す図である。図３を参照するに、映像符号化装置３００は、動き予測部３１１、動き補償部３１２、メモリ３１３、デブロッキングフィルタ３１４、逆変換及び逆量子化部３１５、イントラ予測実行部３１６、変換及び量子化部３２０、エントロピーコーディング部３３０、バッファ部３４０、レート制御部３５０及び符号化モード決定部４００を備える。図３で、本発明による符号化モードの決定装置は、符号化モード決定部４００に該当する。
【００１７】
動き予測部３１１及び動き補償部３１２は、入力されたマクロブロック単位で動き予測及び補償を行う。動き予測は、メモリ３１３に保存されている以前の参照フレームを利用して現在マクロブロックを予測することを意味する。特に、動き予測部３１１は、本発明による符号化モード決定部４００で決定された符号化モードによって動き予測を行う。
【００１８】
イントラ予測実行部３１６は、入力されたマクロブロック単位でイントラ予測を行う。変換及び量子化部３２０は、インター予測またはイントラ予測された映像と原映像とのデータを減算したレジデューを変換及び量子化し、量子化された変換係数で構成された変換ブロックを出力する。エントロピーコーディング部３３０は、変換ブロックを可変長さ符号化し、符号化されたデータは、バッファ部３４０に保存され、ビットストリームに出力される。レート制御部３５０は、バッファ部３４０に保存されたデータの流れをモニターリングし、変換及び量子化部３２０の量子化係数を制御することによってビット率を制御する。
【００１９】
本発明による符号化モードの決定装置４００は、動き予測部３１１で動き予測を行う前に参照フレームで現在符号化するマクロブロックと最も類似したマクロブロックを検索した後、検索されたマクロブロックの符号化モードを備える臨時符号化モード候補グループを決定する。また、符号化モードの決定装置４００は、決定された臨時符号化モード候補グループ、現在符号化するブロックの複雑度、及び以前フレームの対応するブロックとの差値を利用して、実際に動き予測を行う最終符号化モード候補グループを選択し、選択された符号化モード候補グループに含まれた符号化モードでのＲＤ値を比較して最適の符号化モードを決定することを特徴とする。
【００２０】
図４は、本発明による符号化モードの決定装置の一実施形態を示すブロック図であり、図５は、本発明による符号化モードの決定方法を示すフローチャートである。以下では、図４及び図５を参照して、本発明による符号化モードの決定装置及び方法について説明する。
【００２１】
本発明による符号化モードの決定装置４００は、臨時符号化モード候補グループ決定部４１０、計算部４２０、最終符号化モード候補グループ選択部４３０及び符号化モード決定部４４０を備える。
【００２２】
ステップ５０５で、臨時符号化モード候補グループ決定部４１０は、現在マクロブロックと最も類似した以前参照フレームのマクロブロックを検索する。
【００２３】
ステップ５１０で、臨時符号化モード候補グループ決定部４１０は、少なくとも一つ以上の符号化モードを備える複数の符号化モード候補グループのうち、前記検索された以前参照フレームのマクロブロックの全ての符号化モードを備えた符号化モード候補グループを臨時符号化モード候補グループとして決定する。以下で、図６及び図７を参照して、臨時符号化モード候補グループ決定の過程を詳細に説明する。
【００２４】
図６は、本発明による臨時符号化モード候補グループ決定の過程を説明するための図であり、図７は、図６のオーバーラップされた領域を拡大した図である。図６を参照するに、臨時符号化モード候補グループ決定部４１０は、参照フレームで現在マクロブロックと最も類似した領域を検索する。ここで、検索過程は、一般的な動き予測過程と類似に行われうる。検索結果、図６に示したように、検索された領域６１が複数のマクロブロックにオーバーラップされた場合、オーバーラップされたマクロブロックのうち、検索された領域が最も広くオーバーラップされたマクロブロックを検索されたマクロブロックとして選択する。図７を参照するに、検索された領域６１が４個のマクロブロックＭＢ１ないしＭＢ４とオーバーラップされる場合に、最も広くオーバーラップされたマクロブロックＭＢ４を選択する。そして、臨時符号化モード候補グループ決定部４１０は、検索されたマクロブロックＭＢ４の全ての符号化モードを含む符号化モード候補グループを臨時符号化モード候補グループとして決定する。以下では、図８を参照して符号化モード候補グループについて説明する。
【００２５】
図８は、本発明による符号化モード候補グループの一実施形態を示す図である。図８を参照するに、前記符号化モード候補グループは、インター１６×１６モードを備える第１符号化モード候補グループＭＤ１６、インター１６×１６モード、インター１６×８モード、インター８×１６モード及びインター８×８モードを備えた第２符号化モード候補グループＭＤ８、及びインター１６×１６モード、インター１６×８モード、インター８×１６モード、インター８×８モード、インター８×４モード、インター４×８モード及びインター４×４モードを備えた第３符号化モード候補グループＭＤ４に分類されうる。
【００２６】
一般的に、動き予測のためのマクロブロックの符号化モードは、インター１６×１６、インター１６×８、インター８×１６、インター８×８、インター８×４、インター４×８及びインター４×４がある。前記インターＭ×Ｎモードは、前記図１に示したようなＭ×Ｎサイズの可変ブロックを利用した動き予測を行うモードを意味する。従来には、符号化モードを決定するために、各マクロブロックに対して前記全ての符号化モードで動き予測を行った後、ＲＤコストを比較して符号化モードを決定するために多くの演算量が要求される。したがって、本発明による符号化モードの決定方法及び装置では、全ての符号化モードに対するＲＤコストを比較する代わりに、可変ブロックのサイズによって分類された符号化モードを備えた符号化モード候補グループに対してのみ動き予測を行い、ＲＤコストを比較して符号化モードを決定する。
【００２７】
再び、図６を参照するに、臨時符号化モード候補グループ決定部４１０は、前述した過程を通じて現在マクロブロックと最も類似したマクロブロック６２の符号化モードを何れも備える符号化モード候補グループを臨時符号化モード候補グループとして決定する。臨時符号化モード候補グループ決定部４１０は、前記検索された以前参照フレームのマクロブロックの符号化モードのうち、最も小さいサイズのブロックを利用して、最も小さい数の符号化モードを備える符号化モード候補グループを臨時符号化モード候補グループとして決定する。図６において、現在マクロブロックと最も類似したマクロブロック６２は、インター４×４モードを含んでいるので、この場合、臨時符号化モード候補グループ決定部４１０は、前記第３符号化モード候補グループＭＤ４を臨時符号化モード候補グループとして決定する。
【００２８】
次いで、臨時符号化モード候補グループに含まれた符号化モードより小さい可変ブロックを利用する符号化モード候補グループを選択せねばならないか否かを決定せねばならない。このために、前記ステップ５１０で決定された臨時符号化モード候補グループによって処理過程を分類する（ステップ５１５）。
【００２９】
まず、前記ステップ５１０で決定された臨時符号化モード候補グループが第１符号化モード候補グループＭＤ１６である場合、ステップ５２０で、計算部４２０は、現在マクロブロックの複雑度、及び現在マクロブロックと以前参照フレームの対応するマクロブロックとの差値を計算する。複雑度は、現在マクロブロックのＤＣＴ係数のうち、ＤＣ係数を除外したＡＣ係数の自乗和を利用して計算されうる。複雑度を計算する理由は、現在マクロブロックの複雑度が高い場合には、マクロブロックをさらに小さいブロックに分けて動き予測を行うのがＲＤコストの側面で望ましいためである。
【００３０】
図９は、本発明によって現在マクロブロックと以前参照フレームの対応するマクロブロックとの差値（Ｔｅｍｐｏｒａｌ
Ｄｉｆｆｅｒｅｎｃｅ：ＴＤ）を計算する過程を説明するための図である。図９を参照するに、前記ＴＤは、次の式（２）のように計算される。
【００３１】
【数３】
2007202150.tif 000005
ここで、Ｐｎ（ｉ,ｊ）は、現在マクロブロックの（ｉ,ｊ）位置の画素値、Ｐｎ−１（ｉ,ｊ）は、以前参照フレームで現在マクロブロックと同じ位置に存在するマクロブロックの（ｉ,ｊ）位置の画素値を表す。式（２）を参照するに、前記ＴＤは、現在マクロブロックと以前参照フレームの対応するマクロブロックとの画素値の差であるＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）値を計算することによって得られる。このように、現在マクロブロックと以前参照フレームの対応するマクロブロックとの差値を計算する理由は、以前フレームと比較した時に、動きが多い現在マクロブロックはレジデューが大きいので、小さいブロックに分けて動き予測を行うことがＲＤコストの側面で望ましいためである。
【００３２】
ステップ５２５で、最終符号化モード候補グループ選択部４３０は、計算された複雑度、及び差値と所定の臨界値とを比較して、第１符号化モード候補グループより小さい可変ブロックを利用する第２または第３符号化モード候補グループを最終符号化モード候補グループとして選択するか否かを決定する。具体的に、現在マクロブロックの複雑度をＥ１６×１６、現在マクロブロックと以前フレームの対応マクロブロックとの差値をＴＤ１６×１６、複雑度臨界値をＴＨＥ１６×１６、差値臨界値をＴＨＴＤ１６×１６とするとき、最終符号化モード候補グループ選択部４３０は、Ｅ１６×１６＜ＴＨＥ１６×１６及びＴＤ１６×１６＜ＴＨＴＤ１６×１６である場合、第１符号化モード候補グループＭＤ１６を実際に動き予測を行う最終符号化モード候補グループとして選択する（ステップ５３０）。
【００３３】
ステップ５３５で、最終符号化モード候補グループ選択部４３０は、Ｅ１６×１６＜ＴＨＥ１６×１６及びＴＤ１６×１６＜ＴＨＴＤ１６×１６を満足しない場合、すなわち、現在マクロブロックの複雑度が所定臨界値以上であるか、現在マクロブロックの動きが大きい場合、または前記ステップ５１０で決定された臨時符号化モード候補グループが第２符号化モード候補グループＭＤ８である場合には、現在マクロブロックを４個の８×８ブロックに分割する。計算部４２０は、分割された４個の８×８ブロックそれぞれの複雑度Ｅ８×８及び現在８×８ブロックと以前参照フレームで対応する８×８ブロックとの差値ＴＤ８×８を計算する。ここで、８×８ブロックの複雑度、及び差値は、前記マクロブロックの複雑度、及び差値と類似に計算されうる。
【００３４】
ステップ５４０で、最終符号化モード候補グループ選択部４３０は、計算された複雑度Ｅ８×８及び差値ＴＤ８×８を所定の臨界値と比較して、第２符号化モード候補グループより小さい可変ブロックを利用する第３符号化モード候補グループを最終符号化モードグループとして選択するか否かを決定する。具体的に、８×８ブロックに対する複雑度臨界値をＴＨＥ８×８、差値臨界値をＴＨＴＤ８×８とするとき、最終符号化モード候補グループ選択部４３０は、Ｅ８×８＜ＴＨＥ８×８及びＴＤ８×８＜ＴＨＴＤ８×８である場合、最終的に第２符号化モード候補グループＭＤ８を実際に動き予測を行う最終符号化モード候補グループとして選択する（ステップ５４５）。
【００３５】
ステップ５５０で、最終符号化モード候補グループ選択部４３０は、Ｅ８×８＜ＴＨＥ８×８及びＴＤ８×８＜ＴＨＴＤ８×８を満足しない場合、すなわち、８×８ブロックの複雑度が所定臨界値以上であるか、または８×８ブロックの動きが大きい場合には、８×８ブロックを４個の４×４ブロックに分割する。計算部４２０は、分割された４個の４×４ブロックそれぞれの複雑度Ｅ４×４、及び現在４×４ブロックと以前参照フレームで対応する４×４ブロックとの差値ＴＤ４×４を計算する。
【００３６】
ステップ５５５で、最終符号化モード候補グループ選択部４３０は、複雑度Ｅ４×４及び差値ＴＤ４×４が所定臨界値以上である４×４ブロックの数を判断し、前記判断された数が所定数以上であるか否かを判断する。具体的に、最終符号化モード候補グループ選択部４３０は、Ｅ４×４＞ＴＨＥ４×４及びＴＤ４×４＞ＴＨＴＤ４×４を満足する４×４ブロックの数が２個を超える場合には、さらに小さいブロックを利用して動き予測を行う必要があると判断し、第３符号化モード候補グループＭＤ４を実際に動き予測を行う最終符号化モード候補グループとして選択する（ステップ５６０）。また、最終符号化モード候補グループ選択部４３０は、Ｅ４×４＞ＴＨＥ４×４及びＴＤ４×４＞ＴＨＴＤ４×４を満足する４×４ブロックの数が２個を超えない場合には、第２符号化モード候補グループＭＤ８を最終符号化モード候補グループとして選択する。
【００３７】
前記ステップ５１０で決定された臨時符号化モード候補グループが第３符号化モード候補グループＭＤ４である場合には、さらに小さいブロックを利用する符号化モード候補グループがないので、第３符号化モード候補グループＭＤ４が実際に動き予測を行う最終符号化モード候補グループとして選択する。
【００３８】
ステップ５６５で、符号化モード決定部４４０は、選択された最終符号化モード候補グループに備えられた符号化モードで動き推定を行い、各モードでのＲＤコストを比較して最小のＲＤコストを有する符号化モードを決定する。例えば、最終符号化モード候補グループ選択部４３０で選択された最終符号化モード候補グループが第２符号化モード候補グループである場合、符号化モード決定部４４０は、第２符号化モード候補グループに含まれたインター１６×１６モード、インター１６×８モード、インター８×１６モード及びインター８×８モードで動き予測を行った後、各符号化モードでのＲＤコストを比較して最小のＲＤコストを有する符号化モードを選択する。
【００３９】
本発明は、現在マクロブロックと最も類似した以前参照フレームのマクロブロックの符号化モードを利用して臨時符号化モード候補グループを決定した後、現在マクロブロックまたは現在マクロブロックを分割したサブブロックの複雑度と動き情報を表す差値とを利用して最終符号化モード候補グループを選択し、選択された最終符号化モード候補グループに備えられた符号化モードに対してのみ動き予測を行うため、符号化モードに必要な演算量を減らし、以前参照フレームとの相関関係を考慮して符号化モード決定の効率性及び正確性を向上させる。
【００４０】
本発明は、Ｈ.２６４での動き予測過程だけでなく、可変ブロックサイズを利用した動き予測を行う他の映像符号化方式にも同一に適用されうる。また、本発明は、動き予測のための符号化モードを決定する時だけでなく、イントラ１６×１６、イントラ４×４、スキップモードを含むマクロブロックの符号化モードを決定する時にも適用されうる。この場合、符号化モード候補グループにイントラ１６×１６、イントラ４×４、スキップモードを追加し、符号化モード決定部４４０で追加された符号化モードによるＲＤコストを計算する過程が必要である。
【００４１】
一方、前述した符号化モードの決定方法は、コンピュータプログラムで作成可能である。前記プログラムを構成するコード及びコードセグメントは、当該分野のコンピュータプログラマーによって容易に推論されうる。また、前記プログラムは、コンピュータで読み取り可能な情報記録媒体に保存され、所定の演算装置によって読み取られかつ実行されることによって、符号化モードの決定方法を具現する。前記情報記録媒体は、磁気記録媒体、光記録媒体、及びキャリアウェーブ媒体を含む。
【００４２】
以上、本発明についてその望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されうるということが理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。
【産業上の利用可能性】
【００４３】
本発明は、映像データ圧縮関連の技術分野に適用可能である。
【図面の簡単な説明】
【００４４】
【図１】従来のＨ.２６４／ＭＰＥＧ−４  ＡＶＣの可変ブロックサイズ動き予測で利用される多様なサイズのブロックを示す図である。
【図２】従来の技術によって可変ブロック動き予測された映像の一例を示す図である。
【図３】本発明による符号化モードの決定装置が適用された映像符号化装置の一例を示す図である。
【図４】本発明による符号化モードの決定装置の一実施形態を示すブロック図である。
【図５】本発明による符号化モードの決定方法を示すフローチャートである。
【図６】本発明による臨時符号化モード候補グループ決定過程を説明するための図である。
【図７】図６のオーバーラップされた領域を拡大した図である。
【図８】本発明による符号化モード候補グループの一実施形態を示す図である。
【図９】本発明によって現在マクロブロックと以前参照フレームの対応するマクロブロックとの差値を計算する過程を説明するための図である。
【符号の説明】
【００４５】
３００  映像符号化装置
３１１  動き予測部
３１２  動き補償部
３１３  メモリ
３１４  デブロッキングフィルタ
３１５  逆変換及び逆量子化部
３１６  イントラ予測実行部
３２０  変換及び量子化部
３３０  エントロピーコーディング部
３４０  バッファ部
３５０  レート制御部
４００  符号化モード決定装置
４１０  臨時符号化モード候補グループ決定部
４２０  計算部
４３０  最終符号化モード候補グループ選択部
４４０  符号化モード決定部
【図１】
2007202150.tif 000006
【図３】
2007202150.tif 000007
【図４】
2007202150.tif 000008
【図５】
2007202150.tif 000009
【図６】
2007202150.tif 000010
【図７】
2007202150.tif 000011
【図８】
2007202150.tif 000012
【図９】
2007202150.tif 000013
【図２】
2007202150.tif 000014