(57)【要約】【課題】量子化ステップが粗い場合であっても、予測画像の視覚的な劣化を抑制可能な動画像符号化装置を提供することを目的とする。【解決手段】入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第１の計算部１１３と；符号化対象領域に対するイントラ及びインター予測画像の予測残差に基づいて符号化歪を推定する第１の推定部１２２及び１２４と；予測残差の符号化による発生符号量を推定する第２の推定部１２１及び１２３と；歪耐性値が上昇するほど符号化歪よりも発生符号量の影響が強くなるように、符号化歪と発生符号量とを重み付き加算した符号化コストを算出する第２の計算部１２５乃至１２９と；符号化コストが最小となる予測残差を選択する選択部１３０と；選択部１３０によって選択された予測残差を符号化するエントロピー符号化器１０６と；を具備する。【選択図】      図１
2008252176.tif 000002
【特許請求の範囲】
【請求項１】
入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第１の計算部と、
前記符号化対象領域に対してイントラ予測を行い、イントラ予測画像を出力するイントラ予測器と、
前記符号化対象領域に対してインター予測を行い、インター予測画像を出力するインター予測器と、
前記符号化対象領域に対する前記イントラ予測画像の第１の予測残差及び当該符号化対象領域に対する前記インター予測画像の第２の予測残差に基づいて符号化歪を推定する第１の推定部と、
前記第１及び第２の予測残差の符号化による発生符号量を推定する第２の推定部と、
前記歪耐性値が上昇するほど前記符号化歪よりも前記発生符号量の影響が強くなるように、前記符号化歪と前記発生符号量とを重み付き加算した符号化コストを算出する第２の計算部と、
前記第１及び第２の予測残差から前記符号化コストが最小となる予測残差を選択する選択部と、
前記選択部によって選択された予測残差を符号化するエントロピー符号化器と
を具備することを特徴とする動画像符号化装置。
【請求項２】
入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第１の計算部と、
前記符号化対象領域と参照画像との間の動きベクトルの候補を生成する生成部と、
前記候補によって前記符号化対象領域を動き補償した場合の符号化歪を推定する第１の推定部と、
前記候補の符号化による発生符号量を推定する第２の推定部と、
前記歪耐性値が上昇するほど前記符号化歪よりも前記発生符号量の影響が強くなるように、前記符号化歪と前記発生符号量とを重み付き加算した符号化コストを算出する第２の計算部と、
前記符号化コストが最小となる候補を検出し、動きベクトルとして出力する検出部と、
前記符号化対象領域に対して前記動きベクトルを用いてインター予測を行い、インター予測画像を出力するインター予測器と、
前記符号化対象領域に対する前記インター予測画像の予測残差から１つの予測残差を選択する選択部と、
前記選択部によって選択された予測残差を符号化するエントロピー符号化器と
を具備することを特徴とする動画像符号化装置。
【請求項３】
前記第１の計算部は前記符号化対象領域に含まれる画素値の分散に基づいて前記歪耐性値を計算することを特徴とする請求項１または２記載の動画像符号化装置。
【請求項４】
前記第１の計算部は前記符号化対象領域に含まれる画素値のダイナミックレンジに基づいて前記歪耐性値を計算することを特徴とする請求項１または２記載の動画像符号化装置。
【請求項５】
前記第１の計算部は前記符号化対象領域の平均輝度に基づいて前記歪耐性値を計算することを特徴とする請求項１または２記載の動画像符号化装置。
【請求項６】
前記第１の計算部は前記符号化対象領域の平均色相及び平均彩度が肌色の領域に属するか否かに基づいて前記歪耐性値を計算することを特徴とする請求項１または２記載の動画像符号化装置。
【請求項７】
前記第２の計算部は前記歪耐性値に対して単調に増加する重みを前記発生符号量に乗じ、更に前記符号化歪を加算することにより前記符号化コストを計算することを特徴とする請求項１または２記載の動画像符号化装置。
【請求項８】
入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第１の計算ステップと、
前記符号化対象領域に対してイントラ予測を行い、イントラ予測画像を出力するイントラ予測ステップと、
前記符号化対象領域に対してインター予測を行い、インター予測画像を出力するインター予測ステップと、
前記符号化対象領域に対する前記イントラ予測画像の第１の予測残差及び当該符号化対象領域に対する前記インター予測画像の第２の予測残差に基づいて符号化歪を推定する第１の推定ステップと、
前記第１及び第２の予測残差の符号化による発生符号量を推定する第２の推定ステップと、
前記歪耐性値が上昇するほど前記符号化歪よりも前記発生符号量の影響が強くなるように、前記符号化歪と前記発生符号量とを重み付き加算した符号化コストを算出する第２の計算ステップと、
前記第１及び第２の予測残差から前記符号化コストが最小となる予測残差を選択する選択ステップと、
前記選択ステップによって選択された予測残差を符号化するエントロピー符号化ステップと
を具備することを特徴とする動画像符号化方法。
【請求項９】
入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第１の計算ステップと、
前記符号化対象領域と参照画像との間の動きベクトルの候補を生成する生成ステップと、
前記候補によって前記符号化対象領域を動き補償した場合の符号化歪を推定する第１の推定ステップと、
前記候補の符号化による発生符号量を推定する第２の推定ステップと、
前記歪耐性値が上昇するほど前記符号化歪よりも前記発生符号量の影響が強くなるように、前記符号化歪と前記発生符号量とを重み付き加算した符号化コストを算出する第２の計算ステップと、
前記符号化コストが最小となる候補を検出し、動きベクトルとして出力する検出ステップと、
前記符号化対象領域に対して前記動きベクトルを用いてインター予測を行い、インター予測画像を出力するインター予測ステップと、
前記符号化対象領域に対する前記インター予測画像の予測残差から１つの予測残差を選択する選択ステップと、
前記選択ステップによって選択された予測残差を符号化するエントロピー符号化ステップと
を具備することを特徴とする動画像符号化方法。
【請求項１０】
コンピュータを
入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第１の計算手段、
前記符号化対象領域に対してイントラ予測を行い、イントラ予測画像を出力するイントラ予測手段、
前記符号化対象領域に対してインター予測を行い、インター予測画像を出力するインター予測手段、
前記符号化対象領域に対する前記イントラ予測画像の第１の予測残差及び当該符号化対象領域に対する前記インター予測画像の第２の予測残差に基づいて符号化歪を推定する第１の推定手段、
前記第１及び第２の予測残差の符号化による発生符号量を推定する第２の推定手段、
前記歪耐性値が上昇するほど前記符号化歪よりも前記発生符号量の影響が強くなるように、前記符号化歪と前記発生符号量とを重み付き加算した符号化コストを算出する第２の計算手段、
前記第１及び第２の予測残差から前記符号化コストが最小となる予測残差を選択する選択手段、
前記選択手段によって選択された予測残差を符号化するエントロピー符号化手段
として機能させるための動画像符号化プログラム。
【請求項１１】
入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第１の計算手段、
前記符号化対象領域と参照画像との間の動きベクトルの候補を生成する生成手段、
前記候補によって前記符号化対象領域を動き補償した場合の符号化歪を推定する第１の推定手段、
前記候補の符号化による発生符号量を推定する第２の推定手段、
前記歪耐性値が上昇するほど前記符号化歪よりも前記発生符号量の影響が強くなるように、前記符号化歪と前記発生符号量とを重み付き加算した符号化コストを算出する第２の計算手段、
前記符号化コストが最小となる候補を検出し、動きベクトルとして出力する検出手段、
前記符号化対象領域に対して前記動きベクトルを用いてインター予測を行い、インター予測画像を出力するインター予測手段、
前記符号化対象領域に対する前記インター予測画像の予測残差から１つの予測残差を選択する選択手段、
前記選択手段によって選択された予測残差を符号化するエントロピー符号化手段
としてコンピュータを機能させるための動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レート・歪最適化を用いて最適な予測モードや動きベクトルを選択する動画像符号化装置及び方法に関する。
【背景技術】
【０００２】
近年、動画像符号化国際標準として主流になりつつあるＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４では、動き補償フレーム間予測（インター予測）やフレーム内予測（イントラ予測）に複数の予測モードが設けられており、これらの中から入力画像のブロック毎に最適な予測モードを１つ選択して符号化を行う。また、インター予測では複数の動きベクトル候補の中から最適な動きベクトルを１つ選択し、動き補償を行う。これら予測モード及び動きベクトルを選択するための評価手法の１つとして、レート・歪最適化が知られている。
【０００３】
特許文献１によれば、予測モードに関する具体的なレート・歪最適化の評価関数として以下の関数が開示されている。
【数１】
2008252176.tif 000003
【０００４】
ここで、Ｄはある予測モードで符号化を行った場合の符号化歪、Ｒは当該予測モードで符号化を行った場合の発生符号量、Ｃは当該予測モードの符号化コストを夫々示している。また、λはラグランジュ未定乗数を示している。また、符号化歪Ｄとして一般的には原画像と当該符号化画像との間の差分二乗和（ＳＳＤ：Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）を用いる。数式１によって導出された符号化コストＣが最小となる予測モードが最適な予測モードとされる。また、特許文献２には、アクティビティに応じて符号化コストＣを補正する手法について提案されている。
【０００５】
また、非特許文献１には上記ラグランジュ未定乗数λの具体的な決定方法について提案されている。非特許文献１では予測モード選択のためのラグランジュ未定乗数λmodeを以下の式で決定する。
【数２】
2008252176.tif 000004
【０００６】
ここで、Ｑは量子化ステップを示している。
【０００７】
また、非特許文献１では複数の動きベクトルの候補から最適の動きベクトルを推定する際にも同様の評価関数が用いられ、動きベクトル推定のためのラグランジュ未定乗数λmotionを以下の式で決定する。
【数３】
2008252176.tif 000005
【０００８】
また、動きベクトル推定の際には、上記数式（１）において符号化歪Ｄとして差分絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を用いる。
【特許文献１】特開２００３−２３０１４９号公報
【特許文献２】特開２００６−９４８０１号公報
【非特許文献１】Thomas Wiegand and Bernd Girod, "Lagrange Multiplier selection in Hybrid Video Coder Control, "ICIP2001, vol.3, pp.542-545, Oct.2001"
【発明の開示】
【発明が解決しようとする課題】
【０００９】
非特許文献１にはラグランジュ未定乗数λmodeの具体的な導出として数式２が提案されているが、これによるとラグランジュ未定乗数λは量子化ステップＱのみに依存して決まる。従って、量子化ステップＱが粗い（大きい）場合にラグランジュ未定乗数λが過度に増大し、符号化コストＣを計算する際に発生符号量Ｒを必要以上に重視するおそれがある。符号化コストＣを計算する際に発生符号量Ｒを必要以上に重視すると、予測画像と原画像との予測誤差（符号化歪）が目立ちやすい画像を符号化する際に特に問題となり、予測画像の視覚的な劣化を引き起こすおそれがある。
【００１０】
従って、本発明は量子化ステップが粗い場合であっても、予測画像の視覚的な劣化を抑制可能な動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一態様に係る動画像符号化装置は、入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第１の計算部と；前記符号化対象領域に対してイントラ予測を行い、イントラ予測画像を出力するイントラ予測器と；前記符号化対象領域に対してインター予測を行い、インター予測画像を出力するインター予測器と；前記符号化対象領域に対する前記イントラ予測画像の第１の予測残差及び当該符号化対象領域に対する前記インター予測画像の第２の予測残差に基づいて符号化歪を推定する第１の推定部と；前記第１及び第２の予測残差の符号化による発生符号量を推定する第２の推定部と；前記歪耐性値が上昇するほど前記符号化歪よりも前記発生符号量の影響が強くなるように、前記符号化歪と前記発生符号量とを重み付き加算した符号化コストを算出する第２の計算部と；前記第１及び第２の予測残差から前記符号化コストが最小となる予測残差を選択する選択部と；前記選択部によって選択された予測残差を符号化するエントロピー符号化器と；を具備する。
【００１２】
本発明の他の態様に係る動画像符号化装置は、入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第１の計算部と；前記符号化対象領域と参照画像との間の動きベクトルの候補を生成する生成部と；前記候補によって前記符号化対象領域を動き補償した場合の符号化歪を推定する第１の推定部と；前記候補の符号化による発生符号量を推定する第２の推定部と；前記歪耐性値が上昇するほど前記符号化歪よりも前記発生符号量の影響が強くなるように、前記符号化歪と前記発生符号量とを重み付き加算した符号化コストを算出する第２の計算部と；前記符号化コストが最小となる候補を検出し、動きベクトルとして出力する検出部と；前記符号化対象領域に対して前記動きベクトルを用いてインター予測を行い、インター予測画像を出力するインター予測器と；前記符号化対象領域に対する前記インター予測画像の予測残差から１つの予測残差を選択する選択部と；前記選択部によって選択された予測残差を符号化するエントロピー符号化器と；を具備する。
【発明の効果】
【００１３】
本発明によれば、量子化ステップが粗い場合であっても、予測画像の視覚的な劣化を抑制可能な動画像符号化装置を提供できる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の実施形態について説明する。  
図１に示すように、本発明の一実施形態に係る動画像符号化装置は、ブロックスキャン変換器１０１、イントラ予測器１０２、減算器１０３、直交変換部１０４、量子化部１０５、エントロピー符号化器１０６、逆量子化部１０７、逆直交変換部１０８、選択器１０９、加算器１１０、フレームメモリ１１１、動き補償器１１２、歪耐性値計算部１１３、モード選択部１２０及び動きベクトル推定部１４０を有する。
【００１５】
また、モード選択部１２０は、符号量推定部１２１、符号化歪推定部１２２、符号量推定部１２３、符号化歪推定部１２４、λmode計算部１２５、乗算器１２６、乗算器１２７、加算器１２８、加算器１２９及び最小値選択部１３０を含む。また、動きベクトル推定部１４０は、動きベクトル候補生成部１４１、符号量推定部１４２、符号化歪推定部１４３、λmotion計算部１４４、乗算器１４５、加算器１４６及び最小値選択部１４７を含む。
【００１６】
入力画像（原画像）はブロックスキャン変換器１０１によってマクロブロック単位に分割される。ブロックスキャン変換器１０１によってマクロブロックに分割された入力画像（以後、単にブロック画像と称する）は、イントラ予測器１０２、減算器１０３、歪耐性値計算部１１２に入力される。
【００１７】
イントラ予測器１０２は、ブロックスキャン変換器１０１からのブロック画像の画素について周囲の符号化済みのブロックからイントラ予測を行う。イントラ予測画像が選択器１０９に入力され、イントラ予測画像とブロック画像との差分に相当する第１予測残差信号がモード選択部１２０に入力される。
【００１８】
減算器１０３は、動き補償器１１２からのインター予測画像と、ブロックスキャン変換器１０１からのブロック画像との差分を算出し、第２予測残差信号を得る。第２予測残差信号はモード選択部１２０に入力される。
【００１９】
直交変換部１０４は、モード選択部１２０によって選択された最適な予測モードにおける予測残差信号に対して直交変換処理を行い、直交変換係数を得る。量子化部１０５は、直交変換部１０４から出力される直交変換係数を量子化処理する。
【００２０】
エントロピー符号化器１０６は、量子化部１０５によって量子化された直交変換係数に対して可変長符号化または算術符号化などのエントロピー符号化を行い、符号化ビットストリームを出力する。エントロピー符号化器１０６は、更に動きベクトル推定部１４０により推定された動きベクトルなどの動き補償パラメータ及びモード選択部１２０によって選択された予測モードを示すモード情報（これらを総称してサイド情報という）に対しても符号化を行い、サイド情報の符号化結果を符号化ビットストリームに付加して出力する。
【００２１】
逆量子化部１０７は、量子化部１０５からの量子化された直交変換係数を逆量子化する。逆直交変換部１０８は、逆量子化部１０７からの直交変換係数を逆直交変換し、予測残差信号を復号する。選択器１０９はモード選択部１２０の選択結果に従って、イントラ予測器１０２からのイントラ予測信号または動き補償器１１２からのインター予測信号のいずれか一方を選択する。加算器１１０は、逆直交変換部１０８からの予測残差信号と選択器１０９からの予測信号を加算することにより、局所復号画像を生成する。
【００２２】
フレームメモリ１１１には、加算器１１０からの局所復号画像が参照画像として保存される。尚、フレームメモリ１１１の前段にデブロッキングフィルタを設けることにより、局所復号画像からブロック歪を除去してもよい。
【００２３】
動き補償器１１２は、フレームメモリ１１１からの参照画像を動きベクトル推定部１４０からの動きベクトルを用いて動き補償したインター予測画像を減算器１０３及び選択器１０９に入力する。
【００２４】
歪耐性値計算部１１３は、ブロックスキャン変換器１０１より入力されたブロック画像の画素値からλmode計算部１２５及びλmotion計算部１４４においてλmode及びλmotionを導出する際に利用される歪耐性値resを計算する。歪耐性値計算部１１３は歪耐性値resとして例えば図２に示すような、マクロブロックＭＢを４分割したブロックblk0乃至blk3の画素値の分散の最小値を計算する。この場合の歪耐性値resの算出は次の式に基づいて行われる。
【数４】
2008252176.tif 000006
【００２５】
ここで、pは画素値を示している。画素値が平坦な領域では周囲の画素値の変化が滑らかであるため、符号化歪Ｄが目立ちやすい。従って、数式４によれば当該マクロブロックＭＢにおける符号化歪Ｄの目立ちにくさを示す歪耐性値resが得られる。
【００２６】
また、歪耐性値計算部１１３は歪耐性値resとして例えば図２に示すような、マクロブロックＭＢを４分割したブロックblk0乃至blk3の画素値の平均輝度の最小値を計算してもよい。この場合の歪耐性値resの算出は次の式に基づいて行われる。
【数５】
2008252176.tif 000007
【００２７】
ここで、pは画素値を示している。平均輝度の低い領域（暗部）では符号化歪Ｄが目立ちやすい。従って、数式５によれば当該マクロブロックＭＢにおける符号化歪Ｄの目立ちにくさを示す歪耐性値resが得られる。
【００２８】
また、歪耐性値計算部１１３は歪耐性値resとして例えば図２に示すような、マクロブロックＭＢを４分割したブロックblk0乃至blk3の画素値のダイナミックレンジの最小値を計算してもよい。この場合の歪耐性値resの算出は次の式に基づいて行われる。
【数６】
2008252176.tif 000008
【００２９】
ここで、pは画素値、pmaxは画素値pの最大値、pminは画素値pの最小値を夫々示している。ダイナミックレンジの狭い領域では符号化歪Ｄが目立ちやすい。従って、数式６によれば当該マクロブロックにおける符号化歪Ｄの目立ちにくさを示す歪耐性値resが得られる。
【００３０】
また、歪耐性値計算部１１３は関心領域（ＲＯＩ：ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）を加味して、ブロックblk0乃至blk3が肌色などの特定の色相を持つか否かに基づいて歪耐性値resを算出してもよい。この場合の歪耐性値resの算出は次の式に基づいて行われる。
【数７】
2008252176.tif 000009
【００３１】
ここで、pYは輝度値、pU及びpVは色差、ROIは関心領域を夫々示している。以下、関心領域として肌色を用いる場合の一例について説明する。文献１：色相科学ハンドブック［第２版］−東京大学出版会によれば、ＨＳＶ表色系の色相（Ｈ）は０〜１００の値を持ち、日本色彩研究所の肌色色票として色相Ｈ＝１．０〜７．０、彩度Ｓ＝１６．０〜１９．０、明度Ｖ＝１．０〜５．０の範囲を規定している。また、文献２：特許第３８６３８０９号公報によれば、色相Ｈ、彩度Ｓ、明度Ｖを夫々［０，２π］、［０，１］、［０，１］の範囲で規定する場合、０．１１＜Ｈ＜０．２２、０．２＜Ｓ＜０．５を肌色としている。尚、これらは関心領域として肌色を用いる場合の色相や彩度の範囲に関する例示に過ぎず、本実施形態における肌色の範囲を限定するものではない。
【００３２】
また、マクロブロックＭＢの解像度が比較的低い場合には、マクロブロックＭＢの画面全体に占める割合が大きくなるため（少ないマクロブロックＭＢで画面全体を覆うため）、マクロブロックＭＢ中に含まれ得るオブジェクトの数が増える。このような場合は例えば図３に示すように、更に細かいブロックblk0乃至blk15に分割して歪耐性値resを計算してもよい。その他、上に挙げた式をいくつか組み合わせて歪耐性値resを導出してもよい。
【００３３】
モード選択部１２０は量子化ステップＱ、イントラ予測器１０２からの第１予測残差信号、減算器１０３からの第２予測残差信号及び歪耐性値計算部１１３からの歪耐性値resに基づいて最適な予測モードを選択する。
【００３４】
符号量推定部１２１は第１予測残差信号を符号化する際の発生符号量Ｒを推定し、符号量推定部１２３は第２予測残差信号及び動きベクトルを符号化する際の発生符号量Ｒを推定する。
【００３５】
符号化歪推定部１２２及び１２４では、入力された第１及び第２予測残差信号から各予測モードにて符号化した場合の符号化歪Ｄとして差分二乗和ＳＳＤを夫々算出する。差分二乗和ＳＳＤは以下の式で導出する。
【数８】
2008252176.tif 000010
【００３６】
ここでLdec(x,y)は当該符号化ブロックを、各予測モードで符号化した際の再生画像の座標(x,y)における画素値、cur(x,y)は原画像の座標(x,y)における画素値を夫々示している。
【００３７】
λmode計算部１２５は、本実施形態に係る予測モード選択のためのラグランジュ未定乗数λmodeを算出する。ラグランジュ未定乗数λmodeは量子化ステップＱ及び歪耐性値resを用いて以下の式より導出される。
【数９】
2008252176.tif 000011
【００３８】
ここで、αは０以上１未満の定数、ＴＨ1及びＴＨ2は歪耐性値resに関する第１及び第２閾値であり、第１閾値ＴＨ1は第２閾値ＴＨ2より小さい。数式９によれば歪耐性値resに対して単調増加するようなラグランジュ未定乗数λmodeが得られる。具体的には、図４に示すように（ａ）歪耐性値resが第１閾値ＴＨ1未満の場合には、ラグランジュ未定乗数λmodeは０．８５αＱ2に固定され、（ｂ）歪耐性値resが第１閾値ＴＨ1以上第２閾値ＴＨ2未満の場合には、ラグランジュ未定乗数λmodeは線形的に増加し、（ｃ）歪耐性値resが第２閾値ＴＨ2以上の場合には、ラグランジュ未定乗数λmodeは０．８５Ｑ2に固定される。尚、数式９は本実施形態に係るラグランジュ未定乗数λmodeを導出するための関数の一例に過ぎず、具体的な導出方法まで限定するものでない。即ち、ラグランジュ未定乗数λmodeは歪耐性値resに対して単調に増加していればよい。
【００３９】
以下、図５乃至図７を用いてラグランジュ未定乗数λを量子化ステップＱのみに基づいて定めることの問題点について説明する。  
図５左は固定カメラによって撮影した野球の打球の映像の１フレームを示している。図５左においてオブジェクトとしてボールを含むマクロブロックＭＢを符号化する場合について考える。図５左に示すように符号化対象ブロックはほとんどの領域をグラウンドで占められており、ボールの占める領域はわずかである。従って、別フレームの同一位置のマクロブロックＭＢとの差分は実質的にはボールの部分だけとなるが、当該領域そのものが狭いため動きベクトルＭＶを０としても両ブロックの差分二乗和ＳＳＤは比較的小さな値で収まってしまう。即ち、正確にボールの動きを補償するような（符号化歪Ｄが最小となるような）動きベクトルＭＶを選択した場合も動きベクトルＭＶを０とした場合も符号化歪Ｄはあまり変わらない。
【００４０】
一方、図５左においてボール以外に動きを持つオブジェクトはほぼ無いから、符号化対象ブロック周辺のマクロブロックＭＢの動きベクトルＭＶは０とされる。ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４では符号化対象ブロックの周辺のマクロブロックＭＢの動きベクトルＭＶによって決まる予測動きベクトルＭＶpredを基準として、この予測動きベクトルＭＶpredと探索された動きベクトルの差分を符号化している。この例では符号化対象ブロックの周辺のマクロブロックの動きベクトルＭＶはいずれも０であるから予測動きベクトルＭＶpredも０となる。従って、動きベクトルＭＶを０とした場合に発生符号量Ｒが最小となる。
【００４１】
以上の条件下で符号化コストＣを算出する場合、特に量子化ステップＱが粗い場合には前述したラグランジュ未定乗数λが大きくなり、符号化コストＣを算出する際に発生符号量Ｒが重視されるため、発生符号量Ｒを抑えるために動きベクトルＭＶとして０が選択されやすい。ここで、符号化対象ブロックが図６に示すように変化し、全てのフレームにおいて動きベクトルＭＶを０として符号化したとする。ここで、原画像ＩaがＩスライス、原画像Ｉb乃至ＩdがＰスライスであったと仮定すると、原画像Ｉaはイントラ予測によって符号化され、局所復号画像Ｉa'がフレームメモリ１１１に記録される。次に、局所復号画像Ｉa'から原画像Ｉbが予想され、図７に示す動き補償残差Ｄbが求まる。量子化部１０５における動き補償残差Ｄbの量子化による符号化ノイズＮbが付加された局所復号画像Ｉb'（＝Ｉa'＋Ｄb＋Ｎb）がフレームメモリ１１１に記録される。局所復号画像Ｉa'の動きベクトルＭＶが０であるから、動き補償残差Ｄb中のボールの位置に符号化ノイズＮbが集中している。次に、局所復号画像Ｉb'から原画像Ｉcが予想され、動き補償残差Ｄcが求まる。量子化部１０５における動き補償残差Ｄcの量子化による符号化ノイズＮcが付加された局所復号画像Ｉc'（＝Ｉb'＋Ｄc＋Ｎc）がフレームメモリ１１１に記録される。局所復号画像Ｉb'の動きベクトルＭＶが０であるから、動き補償残差Ｄc中の右側のボールに符号化ノイズＮcが集中している。また、動き補償残差Ｄc中の左側のボールには局所復号画像Ｉb'から伝搬した符号化ノイズＮbが集中している。次に、局所復号画像Ｉc'から原画像Ｉdが予想され、動き補償残差Ｄdが求まる。量子化部１０５における動き補償残差Ｄdの量子化による符号化ノイズＮdが付加された局所復号画像Ｉd'（＝Ｉc'＋Ｄd＋Ｎd）がフレームメモリ１１１に記録される。局所復号画像Ｉc'の動きベクトルＭＶが０であるから、動き補償残差Ｄd中の右側のボールに符号化ノイズＮdが集中している。また、動き補償残差Ｄd中の左側及び真ん中のボールには局所復号画像Ｉc'から伝搬した符号化ノイズＮb及びＮcが夫々集中している。
【００４２】
このように、量子化ステップＱのみに基づいてラグランジュ未定乗数λを決定すると、当該量子化ステップＱが粗い場合には動き補償残差を十分に符号化しきれないため、図５右に示すようにボールの残像が発生し、視覚的な劣化を引き起こすおそれがある。一方、本実施形態に示すように符号化対象領域の歪耐性値resに対して単調増加するようにラグランジュ未定乗数λを調整すれば、符号化歪の目立ちやすさ／にくさに基づいて符号化コストＣを導出する際の符号化歪Ｄと発生符号量Ｒの優先度合いを適応的に変更することができるため、視覚的な劣化を抑制できる。
【００４３】
乗算器１２６及び１２７、加算器１２８及び１２９は以下の式を実行するために設けられる。  
【数１０】
2008252176.tif 000012
【００４４】
ここで、Ｃmodeは当該予測モードによる符号化コストを示している。即ち、乗算器１２６及び１２７は数式１０中のラグランジュ未定乗数λmodeと発生符号量Ｒとの乗算を実行し、更にこの乗算出力と差分二乗和ＳＳＤとの加算を加算器１２８及び１２９が実行し、符号化コストＣmodeを算出する。
【００４５】
最小値選択部１３０は加算器１２８及び１２９からの符号化コストＣmodeが最小となる予測モードを選択し、当該予測モードにおける予測残差信号を直交変換部１０４に入力する。尚、これまでイントラ及びインター予測モードが１種類のみであるかのように記載したが、各予測モードは複数種あってもよい。
【００４６】
動きベクトル推定部１４０は量子化ステップＱ、ブロックスキャン変換器１０１からのブロック画像信号、フレームメモリ１１１からの参照画像信号及び歪耐性値計算部１１３からの歪耐性値resに基づいて最適な動きベクトルを選択する。
【００４７】
動きベクトル候補生成部１４１は動きベクトルＭＶの候補を生成する。まず、動きベクトル候補生成部１４１は符号化対象マクロブロックの周囲のマクロブロックから予測動きベクトルＭＶpredを検出する。ここで、予測動きベクトルＭＶpredは例えば図８に示すように符号化対象ブロックの左、上及び右上に夫々位置するマクロブロックＭＢa、ＭＢb、ＭＢcの動きベクトルＭＶa、ＭＶb及びＭＶcのメディアンで与えられる。例えばＭＢa＝（xa,ya）、ＭＢb＝（xb,yb）及びＭＢc＝（xc,yc）とし、xa＜xb＜xcかつya<yb<ycとすれば予測動きベクトルＭＶpred＝（xb,yb）で与えられる。次に、動きベクトル候補生成部１４１は、動きベクトルＭＶの候補として例えば図９に示すように、予測動きベクトルＭＶpredを探索中心とした所定の探索範囲内で動きベクトルＭＶの候補を生成し、候補動きベクトルＭＶcanとしてベクトル符号量推定部１４２及びＳＡＤ計算部１４３に入力する。
【００４８】
ベクトル符号量推定部１４２は動きベクトル候補生成部１４１からの候補動きベクトルＭＶcanを符号化する際の発生符号量Ｒmvを推定し、乗算器１４５に入力する。
【００４９】
ＳＡＤ計算部１４３は参照フレームメモリ１１１からの参照画像信号、ベクトル候補生成部１４１からの候補動きベクトルＭＶcan及びブロックスキャン変換器１０１からのブロック画像信号を用いて、参照画像を候補動きベクトルＭＶcanで動き補償した場合の符号化歪として、差分絶対値和ＳＡＤを以下の式により導出する。
【数１１】
2008252176.tif 000013
【００５０】
ここでｒｅｆ（ｘ，ｙ）は参照画像中の座標（ｘ，ｙ）における画素値、ｃｕｒ（ｘ，ｙ）は原画像中の座標（ｘ，ｙ）における画素値、ｘmv及びｙmvは候補動きベクトルＭＶcanのｘ成分及びｙ成分をそれぞれ示している。差分絶対値和ＳＡＤは加算器１４６に入力される。
【００５１】
λmotion計算部１４４は、本実施形態に係る動きベクトル選択のためのラグランジュ未定乗数λmotionを算出する。ラグランジュ未定乗数λmotionは例えば前述した数式３及び数式９を用いて以下の式より導出する。
【数１２】
2008252176.tif 000014
【００５２】
尚、数式１２は本実施形態に係るラグランジュ未定乗数λmotionを導出するための関数の一例に過ぎず、具体的な導出方法まで限定するものでない。即ち、ラグランジュ未定乗数λmotionはラグランジュ未定乗数λmodeと同様に、歪耐性値resに対して単調に増加していればよい。λmotionは乗算器１４５に入力される。
【００５３】
乗算器１４５及び加算器１４６は以下の式を実行するために設けられる。  
【数１３】
2008252176.tif 000015
【００５４】
ここで、Ｃ（ＭＶ）は当該候補動きベクトルＭＶcanによる符号化コストを示している。即ち、乗算器１４５は数式１３中のラグランジュ未定乗数λmotionと発生符号量Ｒmvとの乗算を実行し、更にこの乗算出力と差分絶対値和ＳＡＤとの加算を加算器１４６が実行し、符号化コストＣ（ＭＶ）を算出する。
【００５５】
最小値選択部１４７は加算器１４６からの符号化コストＣ（ＭＶ）が最小となる候補動きベクトルＭＶcanを選択し、当該動きベクトルＭＶを動き補償器１１２に入力する。
【００５６】
以上説明したように、本実施形態によれば符号化歪の目立ちにくさを示す歪耐性値に対して単調増加するラグランジュ未定乗数を用いることにより、レート・歪最適化における符号化コストを算出する際に符号化歪と発生符号量の影響を適応的に変更できる。即ち、符号化コストの算出において符号化歪が目立ちやすい領域では符号化歪の抑制を重視し、符号化歪が目立ちにくい領域では発生符号量の抑制を重視している。従って、量子化ステップが粗い場合であっても、符号化歪が目立ちやすい領域では符号化歪の低減を重視した予測モード及び動きベクトルが選択されるため、予測画像の視覚的な画質劣化を抑制できる。
【００５７】
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００５８】
【図１】本発明の一実施形態に係る動画像符号化装置を示すブロック図。
【図２】マクロブロックＭＢを４個のブロックblk0乃至blk3で分割した様子を示す図。
【図３】マクロブロックＭＢを１６個のブロックblk0乃至blk15で分割した様子を示す図。
【図４】横軸を歪耐性値resとし、縦軸をラグランジュ未定乗数λmodeとした、数式９のグラフ図。
【図５】量子化ステップＱのみでラグランジュ未定乗数λを決定する際の問題点を説明するための図。
【図６】図５に示す符号化対象ブロックのフレーム間の変化を示す図。
【図７】図６に対応する動き補償残差を示す図。
【図８】予測動きベクトルＭＶpredの導出の一例を示す図。
【図９】候補動きベクトルＭＶcanの探索について説明するための図。
【符号の説明】
【００５９】
１０１・・・ブロックスキャン変換器
１０２・・・イントラ予測器
１０３・・・減算器
１０４・・・直交変換部
１０５・・・量子化部
１０６・・・エントロピー符号化器
１０７・・・逆量子化部
１０８・・・逆直交変換部
１０９・・・選択器
１１０・・・加算器
１１１・・・フレームメモリ
１１２・・・動き補償器
１１３・・・歪耐性値計算部
１２０・・・モード選択部
１２１・・・符号量推定部
１２２・・・符号化歪推定部
１２３・・・符号量推定部
１２４・・・符号化歪推定部
１２５・・・λmode計算部
１２６・・・乗算器
１２７・・・乗算器
１２８・・・加算器
１２９・・・加算器
１３０・・・最小値選択部
１４０・・・動きベクトル推定部
１４１・・・動きベクトル候補生成部
１４２・・・ベクトル符号量推定部
１４３・・・ＳＡＤ計算部
１４４・・・λmotion計算部
１４５・・・乗算器
１４６・・・加算器
１４７・・・最小値選択部
【図１】
2008252176.tif 000016
【図２】
2008252176.tif 000017
【図３】
2008252176.tif 000018
【図４】
2008252176.tif 000019
【図５】
2008252176.tif 000020
【図６】
2008252176.tif 000021
【図７】
2008252176.tif 000022
【図８】
2008252176.tif 000023
【図９】
2008252176.tif 000024