(57)【要約】  【課題】  ＭＢサイズの上限を撤廃して、最大のＭＢサイズを適応的に決定できるようにする動画像符号化装置を提供する。  【解決手段】    符号化する当該ピクチャのマクロブロックサイズの上限を、当該ピクチャの直前のピクチャまたは当該ピクチャのマクロブロックの特徴量を基に最適に決定する手段を具備する。マクロブロックサイズを大、中、小の３個のカテゴリに分類し、大のカテゴリの使用割合Ｒ１がある第１の閾値Ｔｈ１より大きく、小のカテゴリの使用割合Ｒ３がある第２の閾値Ｔｈ３より小さい場合には、当該ピクチャのマクロブロックサイズの上限が増大するようにし、一方前記大のカテゴリの使用割合Ｒ１が前記第１の閾値Ｔｈ１より小さく、小のカテゴリの使用割合Ｒ３が前記第２の閾値Ｔｈ３より大きい場合には、当該ピクチャのマクロブロックサイズの上限が低減するようにする  【選択図】  図２
2006339774.tif 000002
【特許請求の範囲】
【請求項１】
動き予測を行って動画像を符号化する動画像符号化装置において、
符号化する当該ピクチャのマクロブロックサイズの上限を、当該ピクチャの直前のピクチャまたは当該ピクチャのマクロブロックの特徴量を基に最適に決定する手段を具備し、
動き予測を行う際のマクロブロックサイズの上限をピクチャまたはマクロブロック単位にて任意に選択可能としたことを特徴とする動画像符号化装置。
【請求項２】
請求項１に記載の動画像符号化装置において、
前記特徴量は、符号化する当該ピクチャの直前のピクチャのマクロブロックサイズの使用割合であり、前記手段は該使用割合を基に、当該ピクチャのマクロブロックサイズの上限を決定することを特徴とする動画像符号化装置。
【請求項３】
請求項２に記載の動画像符号化装置において、
マクロブロックサイズを大、中、小のカテゴリに分類し、大のカテゴリの使用割合がある第１の閾値より大きく、小のカテゴリの使用割合がある第２の閾値より小さい場合には、当該ピクチャのマクロブロックサイズの上限が増大するようにし、一方前記大のカテゴリの使用割合が前記第１の閾値より小さく、小のカテゴリの使用割合が前記第２の閾値より大きい場合には、当該ピクチャのマクロブロックサイズの上限が低減するようにすることを特徴とする動画像符号化装置。
【請求項４】
請求項１に記載の動画像符号化装置において、
前記特徴量は、当該ピクチャのマクロブロックの動ベクトルの分散値であり、前記手段は該分散値を基に、当該ピクチャのマクロブロックサイズの上限を決定することを特徴とする動画像符号化装置。
【請求項５】
請求項４に記載の動画像符号化装置において、
当該ピクチャのマクロブロックの動ベクトルと該マクロブロックを分割した分割マクロブロックの動ベクトルを探索し、該マクロブロックの動ベクトルと、該分割マクロブロックの動ベクトルとの分散値を求め、該分散値が第１の閾値以下であれば当該ピクチャのマクロブロックサイズの上限が増大するようにし、一方該分散値が第２の閾値以上であれば当該ピクチャのマクロブロックサイズの上限が低減するようにすることを特徴とする動画像符号化装置。
【請求項６】
動き予測を行って動画像を符号化する動画像符号化装置において、
符号化する当該ピクチャのマクロブロックサイズの上限を、当該ピクチャの直前のピクチャおよび当該ピクチャのマクロブロックの特徴量を基に最適に決定する手段を具備し、
動き予測を行う際のマクロブロックサイズの上限をピクチャまたはマクロブロック単位にて任意に選択可能としたことを特徴とする動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像符号化装置に関し、特に動き予測に用いられるマクロブロックのサイズの上限を最適に決定して、符号化効率の向上を図るようにした動画像符号化装置に関する。
【背景技術】
【０００２】
従来、動画像符号化における動き予測部の符号化効率を改善させるための方式として、動き予測に用いられるマクロブロックサイズ（以下、ＭＢサイズと記す）を複数のＭＢサイズの中から任意に選択できるようにする方式が提案されている。例えば、標準符号化方式の１つであるＨ．２６４（下記の非特許文献１参照）では、ＭＢサイズを１６画素×１６ライン、１６画素×８ライン、８画素×１６ライン、８画素×８ライン、８画素×４ライン、４画素×８ライン、４画素×４ラインの７種類の中から適応的に選択可能になっている。
【非特許文献１】ITU-T Rec.H.264|ISO/IEC 14496-10  AVC Joint Final Committee Draft of Joint Video Specification (2002-8-10)
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の従来方式では、ＭＢサイズの上限が固定値であったため、高精細動画像などの同一動き量とみなされる領域が大きい映像素材においては、最大のＭＢサイズを１６画素×１６ラインより大きくして符号化効率を改善することができるにかかわらず、該改善を行うことができず、符号化効率の低減を招いてしまうという課題があった。
【０００４】
本発明は、前記した課題に鑑みてなされたものであり、その目的は、ＭＢサイズの上限を撤廃して、最大のＭＢサイズを適応的に決定できるようにすることにより、符号化効率の改善を図ることのできる動画像符号化装置を提供することにある。
【課題を解決するための手段】
【０００５】
前記した目的を達成するために、本発明は、動き予測を行って動画像を符号化する動画像符号化装置において、符号化する当該ピクチャのマクロブロックサイズの上限を、当該ピクチャの直前のピクチャまたは／および当該ピクチャのマクロブロックの特徴量を基に最適に決定する手段を具備し、動き予測を行う際のマクロブロックサイズの上限をピクチャまたはマクロブロック単位にて任意に選択可能とした点に特徴がある。
【発明の効果】
【０００６】
本発明によれば、動き予測を行う際のマクロブロックサイズの上限をピクチャまたはマクロブロック単位にて最適に選択できるので、動き予測部における符号化効率の向上を期待することができる。
【発明を実施するための最良の形態】
【０００７】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の動画像符号化装置１の概略説明図である。
【０００８】
図示されているように、動画像符号化装置１は、本発明による最大ＭＢサイズ決定手段２と符号化手段３とから構成されている。
【０００９】
図２は、本発明の第１の実施形態の前記最大ＭＢサイズ決定手段２の機能を示すフローチャートである。まず、本実施形態では、符号化対象のピクチャ（以下、当該ピクチャ）の直前のピクチャにおいて用いられたＭＢサイズを以下の３つのカテゴリに分類した上で、各カテゴリの使用頻度の割合を算出する。ただし、直前ピクチャにおけるＭＢサイズの上限をＮＰ画素×ＮＰラインとする。なお、この３つのカテゴリは一例であり、本発明はこれに限定されない。
カテゴリ１：ＮＰ×ＮＰ
カテゴリ２：ＮＰ×ＮＰ／２、ＮＰ／２×ＮＰ、ＮＰ／２×ＮＰ／２
カテゴリ３：ＮＰ／２×ＮＰ／４、ＮＰ／４×ＮＰ／２、ＮＰ／４×ＮＰ／４
【００１０】
この使用頻度の割合、例えばカテゴリ１の使用頻度の割合は、下記の式で求めることができる。
（カテゴリ１のＭＢ数）／｛（カテゴリ１のＭＢ数）＋（カテゴリ２のＭＢ    数）＋（カテゴリ３のＭＢ数）｝
【００１１】
そこで、図２のステップＳ１では、直前ピクチャにおける各カテゴリのＭＢサイズの使用頻度割合を取得する。
【００１２】
ステップＳ２では、カテゴリ１の使用頻度の割合Ｒ１がある閾値Ｔｈ１より大きくかつカテゴリ３の使用頻度の割合Ｒ３がある閾値Ｔｈ３より小さいかどうかの判断をする。この判断が肯定の場合にはカテゴリ１の使用頻度が大きいので、ステップＳ４に進んでＮＰ←２×ＮＰとする。これにより、当該ピクチャのカテゴリ１〜３のＭＢサイズの１辺は２倍に拡大する。つまり、直前ピクチャの動き量が小さければ、ＭＢサイズの上限は適応的に拡大される。なお、本実施形態では、説明を分かりやすくするために、ＮＰ←２×ＮＰとしたが、ＮＰ←ｍ×ＮＰ（ｍは１以上の正数）としてもよい。以下でも同様である。
【００１３】
一方、ステップＳ２の判断が否定の時には、ステップＳ３に進んで、Ｒ１＜Ｔｈ１およびＲ３＞Ｔｈ３が成立するか否かの判断がなされる。この判断が肯定の場合にはカテゴリ１の使用頻度が小さくカテゴリ３の使用頻度が大きいので、ステップＳ６に進んで、ＮＰ←ＮＰ／２と置かれる。これにより、当該ピクチャのカテゴリ１〜３のＭＢサイズの１辺は１／２倍に縮小される。つまり、直前ピクチャの動き量が大きければ、ＭＢサイズの上限は適応的に縮小される。なお、本実施形態では、ＮＰ←ＮＰ／２としたが、ＮＰ←ＮＰ／ｍ（ｍは１以上の正数）としてもよい。以下でも同様である。
【００１４】
さらに、ステップＳ３の判断が否定の時には、ステップＳ５に進んでＮＰ←ＮＰとされ、当該ピクチャのＭＢサイズの上限は直前ピクチャのそれと同じに維持される。
【００１５】
以上のように、この実施形態によれば、直前ピクチャのＭＢサイズの使用頻度をもとに当該ピクチャのＭＢサイズの上限を決定することができる。
【００１６】
次に、本発明の第２の実施形態の最大ＭＢサイズ決定手段２の機能を、図３のフローチャートおよび図４を参照して説明する。ここに、図４の符号１０は当該ピクチャを示す。
【００１７】
ステップＳ１１では、当該ピクチャ１０におけるあるＭＢ（ｘ，ｙ）を４分割したＮＰ／２×ＮＰ／２サイズの分割マクロブロックｍ（２ｘ，２ｙ）、ｍ（２ｘ＋１，２ｙ）、ｍ（２ｘ，２ｙ＋１）、およびｍ（２ｘ＋１，２ｙ＋１）における各動ベクトルｄ（２ｘ，２ｙ）、ｄ（２ｘ＋１，２ｙ）、ｄ（２ｘ，２ｙ＋１）、およびｄ（２ｘ＋１，２ｙ＋１）を算出する。
【００１８】
ステップＳ１２ではＮＰ×ＮＰサイズのＭＢ（ｘ，ｙ）における動ベクトルｄ’（ｘ，ｙ）を算出する。ただし、前記（ｘ，ｙ）は、マクロブロック単位での座標を表し、前記分割マクロブロックｍ（２ｘ，２ｙ）、ｍ（２ｘ＋１，２ｙ）、ｍ（２ｘ，２ｙ＋１）、およびｍ（２ｘ＋１，２ｙ＋１）は、前記ＭＢ（ｘ，ｙ）に包含されることとする。
【００１９】
ステップＳ１３では、下記の（１）式により、各マクロブロックＭＢ（ｘ，ｙ）における動ベクトル差分の絶対値平均ｄａｖｇまたは分散を算出する。
【００２０】
【数１】
2006339774.tif 000003
【００２１】
ここに、ＸおよびＹは、ピクチャ１の水平方向および垂直方向の画素数を示す。
【００２２】
ステップＳ１４では、前記動ベクトル差分の絶対値平均ｄａｖｇがある閾値ＴｈＨより小さいかどうかの判断を行う。この判断が肯定の場合にはステップＳ１５に進み、ＮＰ←２×ＮＰと置かれる。すなわち、動ベクトルの分散が小さいということは、動き量が小さいことを意味するので、ＭＢサイズを拡大する。その後、再度前記ステップＳ１１〜Ｓ１４の処理を行う。
【００２３】
この処理の結果、ステップＳ１４の判断が否定になると、ステップＳ１６に進んで前記動ベクトル差分の絶対値平均ｄａｖｇがある閾値ＴｈＬより大きいかどうかの判断を行う。ここに、ＴｈＨ＜ＴｈＬである。ステップＳ１６の判断が肯定の場合にはステップＳ１７に進んで、ＮＰ←ＮＰ／２と置かれる。すなわち、動ベクトルの分散が大きいということは、動き量が大きいことを意味するので、ＭＢサイズを縮小する。そして、ステップＳ１１に戻って再度前記の処理が繰り返される。
【００２４】
前記動ベクトル差分の絶対値平均ｄａｖｇが閾値ＴｈＨ以上、ＴｈＬ未満になるまで前記の処理を繰り返し、ステップＳ１６の判断が否定になると、ステップＳ１８に進み、その時のＮＰ×ＮＰを当該ピクチャにおけるＭＢサイズの上限と定める。ステップＳ１９では、全てのマクロブロックＭＢの処理が終了したか否かの判断がなされ、この判断が否定の場合にはステップＳ１１に戻って次のマクロブロックＭＢに対する処理が行われる。そして、該ステップＳ１９の判断が肯定になると、前記した一連の処理は終了する。
【００２５】
以上のように、この実施形態によれば、当該ピクチャの特徴量ｄａｖｇを用いて、ＭＢサイズの上限を決定することができる。
【００２６】
次に、本発明の第３の実施形態の最大ＭＢサイズ決定手段２の機能を説明する。この実施形態は、前記第１実施形態の処理と第２実施形態の処理を併用したものである。図５は該第３の実施形態を示すフローチャートである。このフローチャートのステップ番号は、図２及び図３の同番号のものと同一または同等であるので説明を省略する。
【００２７】
この第３の実施形態の特徴は、第１実施形態で求めたＭＢサイズを用いて第２実施形態の処理を行い、当該マクロブロックＭＢの上限のサイズを決定するようにした点である。
【００２８】
次に、本発明を利用した符号化処理の一連の流れを、図６のフローチャートにより説明する。
【００２９】
ステップＳ２１では、ピクチャ番号を表す置き数ｎをｎ＝１とする。ステップＳ２２では、ピクチャｎが入力される。ステップＳ２３では、前記した本発明の処理により、当該ピクチャの最大ＭＢサイズが決定される。この処理は、符号化の前処理として行われる。ステップＳ２４では、ＭＢタイプの選択とＭＢサイズが決定される。ステップＳ２５では、動き予測およびフレーム内予測が行われる。ステップＳ２６では、当該ピクチャと動き予測画像との差分が算出される。次いで、該差分がＤＣＴ変換される。ステップＳ２７では、サイド情報およびＤＣＴ係数が符号化される。ステップＳ２８では、全部のＭＢの符号化が終わったか否かの判定がなされ、まだ終わっていない場合には、ステップＳ２４に戻って次のＭＢに対する処理が行われる。以上のようにして、当該ピクチャの全部のＭＢの符号化が完了すると、ステップＳ２８の判定が肯定になる。
【００３０】
ステップＳ２９では、全ピクチャの符号化が完了したか否かの判断がなされ、この判断が否定の時にはステップＳ３０に進んで、ｎに１が加算され次のピクチャがステップＳ２２で入力する。以降の処理は、前記と同様に行われ、ステップＳ２９の判断が肯定になると、符号化処理は終了する。
【００３１】
なお、上記の説明では、ピクチャ単位でのＭＢサイズの上限の決定について述べたが、前記の説明における「ピクチャ」を１ないし複数のマクロブロックから構成される「Basic Unit」と置き換えることによって、本発明をマクロブロック単位でのＭＢサイズの上限決定にも適用することができる。
【００３２】
以上のように、本発明によれば、符号化するピクチャのＭＢサイズの上限をピクチャまたはマクロブロック毎に最適に決定することができるようになり、動き予測部における符号化効率の向上を期待することができるようになる。
【図面の簡単な説明】
【００３３】
【図１】本発明を含む動画像符号化装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態の機能を説明するフローチャートである。
【図３】本発明の第２の実施形態の機能を説明するフローチャートである。
【図４】第２の実施形態の一部の処理の説明図である。
【図５】本発明の第３の実施形態の機能を説明するフローチャートである。
【図６】本発明を利用した符号化処理を示すフローチャートである。
【符号の説明】
【００３４】
１・・・動画像符号化装置、２・・・最大ＭＢサイズ決定手段、３・・・符号化手段、１０・・・当該ピクチャ。
【図１】
2006339774.tif 000004
【図２】
2006339774.tif 000005
【図３】
2006339774.tif 000006
【図４】
2006339774.tif 000007
【図５】
2006339774.tif 000008
【図６】
2006339774.tif 000009