(57)【要約】  フレームメモリ６に格納されているフレーム間予測画像を補間することで、小数精度単位の拡大参照画像を生成して、その拡大参照画像に対して動き探索で参照する動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素に対して予め設定された所定のオフセット値を加減算し、その参照ブロックの画像を適応的予測画像として出力する適応的予測画像生成部２１を設ける。
2010116708.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する各フレームを所定サイズのマクロブロックに分割して、上記マクロブロックの画像を出力する画像分割手段と、上記画像分割手段から出力された画像であるマクロブロック画像と予測画像の差分を求め、その差分を示す予測誤差信号に対する変換処理及び量子化処理を実施して、上記予測誤差信号の量子化変換係数を出力する量子化変換手段と、上記量子化変換手段から出力された量子化変換係数を逆量子化及び逆変換して復号予測誤差信号を求め、上記復号予測誤差信号と上記予測画像を加算して、その加算の結果である局部復号画像を出力する局部復号画像出力手段と、上記画像分割手段から出力されたマクロブロック画像と上記局部復号画像出力手段から出力された局部復号画像を用いて、フレーム間予測を実施することで、上記予測画像を生成するとともに、上記フレーム間予測の方法を特定するフレーム間予測情報を出力するフレーム間予測手段と、上記量子化変換手段から出力された量子化変換係数と上記フレーム間予測手段から出力されたフレーム間予測情報をエントロピー符号化し、その符号化の結果である符号化データを出力する符号化手段とを備えた動画像符号化装置において、上記フレーム間予測手段は、上記局部復号画像出力手段から出力された局部復号画像を補間することで、小数精度単位の拡大参照画像を生成し、上記拡大参照画像に対して動き探索で参照する動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素に対して予め設定された所定のオフセット値を加減算し、上記参照ブロックの画像を適応的予測画像として出力する適応的予測画像生成部と、上記適応的予測画像生成部から出力された適応的予測画像と上記画像分割手段から出力されたマクロブロック画像の誤差を評価し、上記評価が最適になる際の動きベクトルを上記フレーム間予測情報として出力するとともに、上記評価が最適になる際の適応的予測画像を上記予測画像として出力する輝度変化動き検出部とを設けたことを特徴とする動画像符号化装置。
【請求項２】
適応的予測画像生成部は、上記参照ブロックの平坦度を算出して、上記平坦度が予め設定されている閾値より大きければ、動きベクトルの整数成分に対する特定の位相を有する画素の画素値にオフセット値を加減算し、上記平坦度が予め設定されている閾値より大きくなければ、上記オフセット値の加減算を行わないことを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
適応的予測画像生成部は、上記参照ブロックのサイズが予め設定されている閾値より大きければ、動きベクトルの整数成分に対する特定の位相を有する画素の画素値にオフセット値を加減算し、上記ブロックのサイズが予め設定されている閾値より大きくなければ、上記オフセット値の加減算を行わないことを特徴とする請求項１記載の動画像符号化装置。
【請求項４】
適応的予測画像生成部は、量子化変換手段により量子化処理が実施される際の量子化の単位となる量子化パラメータが予め設定されている閾値より大きければ、動きベクトルの整数成分に対する特定の位相を有する画素の画素値にオフセット値を加減算し、上記量子化パラメータが予め設定されている閾値より大きくなければ、上記オフセット値の加減算を行わないことを特徴とする請求項１記載の動画像符号化装置。
【請求項５】
適応的予測画像生成部は、動きベクトルのベクトル長を算出し、上記ベクトル長が予め設定されている閾値より大きければ、動きベクトルの整数成分に対する特定の位相を有する画素の画素値にオフセット値を加減算し、上記ベクトル長が予め設定されている閾値より大きくなければ、上記オフセット値の加減算を行わないことを特徴とする請求項１記載の動画像符号化装置。
【請求項６】
適応的予測画像生成部は、複数の閾値が設定されている場合、複数の閾値との比較結果に応じて、異なる大きさのオフセット値を加減算することを特徴とする請求項２記載の動画像符号化装置。
【請求項７】
適応的予測画像生成部は、複数の閾値が設定されている場合、複数の閾値との比較結果に応じて、オフセット値を加減算する動きベクトルの整数成分に対する特定の位相を有する画素の数を変えることを特徴とする請求項２記載の動画像符号化装置。
【請求項８】
符号化データをエントロピー復号して、量子化変換係数とフレーム間予測情報を出力する復号手段と、上記復号手段から出力された量子化変換係数を逆量子化及び逆変換して復号予測誤差信号を求め、上記復号予測誤差信号と予測画像を加算して、その加算の結果である復号画像を出力する復号画像出力手段と、上記復号手段から出力されたフレーム間予測情報にしたがって上記復号画像出力手段から出力された復号画像を用いてフレーム間予測を実施することで、上記予測画像を生成する予測画像生成手段とを備えた動画像復号装置において、上記予測画像生成手段は、上記復号画像出力手段から出力された復号画像を補間することで、小数精度単位の拡大参照画像を生成して、上記拡大参照画像に対して、上記フレーム間予測情報である動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる上記参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素に対して予め設定された所定のオフセット値を加減算し、上記参照ブロックの画像を上記予測画像として出力することを特徴とする動画像復号装置。
【請求項９】
予測画像生成手段は、上記参照ブロックの平坦度を算出して、上記平坦度が予め設定されている閾値より大きければ、動きベクトルの整数成分に対する特定の位相を有する画素の画素値にオフセット値を加減算し、上記平坦度が予め設定されている閾値より大きくなければ、上記オフセット値の加減算を行わないことを特徴とする請求項８記載の動画像復号装置。
【請求項１０】
予測画像生成手段は、上記参照ブロックのサイズが予め設定されている閾値より大きければ、動きベクトルの整数成分に対する特定の位相を有する画素の画素値にオフセット値を加減算し、上記ブロックのサイズが予め設定されている閾値より大きくなければ、上記オフセット値の加減算を行わないことを特徴とする請求項８記載の動画像復号装置。
【請求項１１】
予測画像生成手段は、復号画像出力手段により逆量子化処理が実施される際の逆量子化の単位となる量子化パラメータが予め設定されている閾値より大きければ、動きベクトルの整数成分に対する特定の位相を有する画素の画素値にオフセット値を加減算し、上記量子化パラメータが予め設定されている閾値より大きくなければ、上記オフセット値の加減算を行わないことを特徴とする請求項８記載の動画像復号装置。
【請求項１２】
予測画像生成手段は、動きベクトルのベクトル長を算出し、上記ベクトル長が予め設定されている閾値より大きければ、動きベクトルの整数成分に対する特定の位相を有する画素の画素値にオフセット値を加減算し、上記ベクトル長が予め設定されている閾値より大きくなければ、上記オフセット値の加減算を行わないことを特徴とする請求項８記載の動画像復号装置。
【請求項１３】
予測画像生成手段は、複数の閾値が設定されている場合、複数の閾値との比較結果に応じて、異なる大きさのオフセット値を加減算することを特徴とする請求項９記載の動画像復号装置。
【請求項１４】
予測画像生成手段は、複数の閾値が設定されている場合、複数の閾値との比較結果に応じて、オフセット値を加減算する動きベクトルの整数成分に対する特定の位相を有する画素の数を変えることを特徴とする請求項９記載の動画像復号装置。
【請求項１５】
画像分割手段が動画像を構成する各フレームを所定サイズのマクロブロックに分割して、上記マクロブロックの画像を出力する画像分割ステップと、量子化変換手段が上記画像分割ステップで出力された画像であるマクロブロック画像と予測画像の差分を求め、その差分を示す予測誤差信号に対する変換処理及び量子化処理を実施して、上記予測誤差信号の量子化変換係数を出力する量子化変換ステップと、局部復号画像出力手段が上記量子化変換ステップで出力された量子化変換係数を逆量子化及び逆変換して復号予測誤差信号を求め、上記復号予測誤差信号と上記予測画像を加算して、その加算の結果である局部復号画像を出力する局部復号画像出力ステップと、フレーム間予測手段が上記画像分割ステップで出力されたマクロブロック画像と上記局部復号画像出力ステップで出力された局部復号画像を用いて、フレーム間予測を実施することで、上記予測画像を生成するとともに、上記フレーム間予測の方法を特定するフレーム間予測情報を出力するフレーム間予測ステップと、符号化手段が上記量子化変換ステップで出力された量子化変換係数と上記フレーム間予測ステップで出力されたフレーム間予測情報をエントロピー符号化し、その符号化の結果である符号化データを出力する符号化ステップとを備えた動画像符号化方法において、上記フレーム間予測手段は、上記局部復号画像出力ステップで出力された局部復号画像を補間することで、小数精度単位の拡大参照画像を生成し、上記拡大参照画像に対して動き探索で参照する動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素に予め設定された所定のオフセット値を加減算し、上記参照ブロックの画像を適応的予測画像として出力する適応的予測画像生成ステップと、上記適応的予測画像生成ステップで出力された適応的予測画像と上記画像分割ステップで出力されたマクロブロック画像の誤差を評価し、上記評価が最適になる際の動きベクトルを上記フレーム間予測情報として出力するとともに、上記評価が最適になる際の適応的予測画像を上記予測画像として出力する輝度変化動き検出ステップとを実施することを特徴とする動画像符号化方法。
【請求項１６】
復号手段が符号化データをエントロピー復号して、量子化変換係数とフレーム間予測情報を出力する復号ステップと、復号画像出力手段が上記復号ステップで出力された量子化変換係数を逆量子化及び逆変換して復号予測誤差信号を求め、上記復号予測誤差信号と予測画像を加算して、その加算の結果である復号画像を出力する復号画像出力ステップと、予測画像生成手段が上記復号ステップで出力されたフレーム間予測情報にしたがって上記復号画像出力ステップで出力された復号画像を用いてフレーム間予測を実施することで、上記予測画像を生成する予測画像生成ステップとを備えた動画像復号方法において、上記予測画像生成手段は、上記復号画像出力ステップで出力された復号画像を補間することで、小数精度単位の拡大参照画像を生成して、上記拡大参照画像に対して、上記フレーム間予測情報である動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる上記参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素の画素値に対して予め設定された所定のオフセット値を加減算し、上記参照ブロックの画像を上記予測画像として出力することを特徴とする動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。
【背景技術】
【０００２】
例えば、「ＩＴＵ−ＴＨ．２６４・ＩＳＯ／ＩＥＣ＿ＭＰＥＧ−４ＡＶＣ」などの動画像符号化標準方式では、符号化モードの一つとして動き補償予測フレーム間符号化が用いられる。
動き補償予測フレーム間符号化の予測モデルとしては、明るさが時間方向に変化しない場合に最も予測効率が高くなるようなモデルが採用されている。
しかし、自然画像においては、フレーム毎に画像の明るさが変化することがあり、特に画像の明るさが変化すると同時に、被写体が動く場合には、画質を維持するために多くの符号量を必要とする問題点がある。【０００３】
上記の問題点を解決するために、以下の特許文献１に開示されている動画像符号化装置では、動きベクトルを用いて、動き補償予測符号化を行う際、予め用意されている少なくとも一つ以上の参照画像番号と予測パラメータにおける複数の組み合わせの中から、入力動画像信号の符号化対象ブロック毎に一つの組み合わせを選択し、その選択した組み合わせの参照画像番号と予測パラメータにしたがって予測画像信号を生成する。
そして、入力動画像信号に対する予測画像信号の誤差を表す予測誤差信号を生成し、その予測誤差信号と、動きベクトルの情報と、その選択した組み合わせを示すインデックス情報とを符号化している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−７３７７号公報（段落番号［００１４］、図１）
【発明の概要】
【０００５】
従来の動画像符号化装置は以上のように構成されているので、符号化対象ブロックの数と同数のインデックス情報を符号化しなければならず、大きな符号化効率の向上を期待することができない。このため、画像の明るさが変化すると同時に、被写体が動く自然画像を符号化する場合、画質を維持するには、多くの符号量を必要とする課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、画像の明るさが変化すると同時に、被写体が動く自然画像を符号化する場合でも、画質の劣化を招くことなく、高効率の符号化を実現することができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
また、この発明は、高効率で符号化されている動画像を復号することができる動画像復号装置及び動画像復号方法を得ることを目的とする。
【０００７】
この発明に係る動画像符号化装置は、フレーム間予測手段が、局部復号画像出力手段から出力された局部復号画像を補間することで、小数精度単位の拡大参照画像を生成し、その拡大参照画像に対して動き探索で参照する動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素に対して予め設定された所定のオフセット値を加減算し、その参照ブロックの画像を適応的予測画像として出力する適応的予測画像生成部と、適応的予測画像生成部から出力された適応的予測画像と画像分割手段から出力されたマクロブロック画像の誤差を評価し、その評価が最適になる際の動きベクトルをフレーム間予測情報として出力するとともに、その評価が最適になる際の適応的予測画像を予測画像として出力する輝度変化動き検出部とを設けるようにしたものである。
【０００８】
この発明によれば、フレーム間予測手段が、局部復号画像出力手段から出力された局部復号画像を補間することで、小数精度単位の拡大参照画像を生成して、その拡大参照画像に対して動き探索で参照する動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素に対して予め設定された所定のオフセット値を加減算し、その参照ブロックの画像を適応的予測画像として出力する適応的予測画像生成部と、適応的予測画像生成部から出力された適応的予測画像と画像分割手段から出力されたマクロブロック画像の誤差を評価し、その評価が最適になる際の動きベクトルをフレーム間予測情報として出力するとともに、その評価が最適になる際の適応的予測画像を予測画像として出力する輝度変化動き検出部とを設けるように構成したので、画像の明るさが変化すると同時に、被写体が動く自然画像を符号化する場合でも、画質の劣化を招くことなく、高効率の符号化を実現することができる効果がある。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像符号化装置の輝度変化動き補償予測部７を示す構成図である。
【図３】この発明の実施の形態１による動画像復号装置を示す構成図である。
【図４】この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
【図５】この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
【図６】４分の１画素精度の拡大参照画像の生成例を示す説明図である。
【図７】輝度変化の有無を決定する閾値を送信するためのビットストリームの一例を示す説明図である。
【発明を実施するための形態】
【００１０】
以下、この発明をより詳細に説明する為に、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、画像分割部１は動画像信号をフレーム単位又はフィールド単位に入力すると、動画像を構成する各フレームを所定サイズのマクロブロックに分割して、そのマクロブロックの画像（以下、「マクロブロック画像」と称する）を出力する処理を実施する。なお、画像分割部１は画像分割手段を構成している。
【００１１】
減算部２は画像分割部１から出力されたマクロブロック画像と予測画像切替スイッチ９から出力された予測画像の差分を求め（マクロブロック画像を構成する画素の画素値から、予測画像を構成する画素（マクロブロック画像を構成する画素に対応する画素）の画素値を減算して差分を求める）、その差分を示す予測誤差信号を出力する処理を実施する。
量子化変換部３は減算部２から出力された予測誤差信号に対する変換処理及び量子化処理を実施して、その予測誤差信号の量子化変換係数を出力する処理を実施する。
【００１２】
ここで、変換処理としては、例えば、ＤＣＴやＦＦＴなどの直交周波数変換や、ウェーブレット変換などの直交変換などの処理が該当し、入力信号のエネルギー分布が偏り易い変換であれば、どのような変換の処理も適用可能である。
また、量子化処理としては、例えば、スカラ量子化やベクトル量子化など、与えられる信号に対して、より少ない集合で表現できる量子化であれば、どのような量子化でも適用可能である。
なお、減算部２及び量子化変換部３から量子化変換手段が構成されている。
【００１３】
逆量子化変換部４は量子化変換部３から出力された量子化変換係数を逆量子化及び逆変換して復号予測誤差信号を求め、その復号予測誤差信号を出力する処理を実施する。
加算部５は逆量子化変換部４から出力された復号予測誤差信号と予測画像切替スイッチ９から出力された予測画像を加算して、その加算の結果である局部復号画像を出力する処理を実施する。この際、加算の結果得られる局部復号画像の画素値が所定の範囲内に収まるようにクリッピング処理を実施するようにしてもよい。
なお、逆量子化変換部４及び加算部５から局部復号画像出力手段が構成されている。
【００１４】
フレームメモリ６は加算部５から出力された局部復号画像を格納するメモリである。
輝度変化動き補償予測部７はフレームメモリ６に格納されている局部復号画像をフレーム間予測参照画像として読み出し、そのフレーム間予測参照画像と画像分割部１から出力されたマクロブロック画像を用いて、フレーム間予測を実施することで、フレーム間予測画像を生成して出力するとともに、そのフレーム間予測の方法を特定するフレーム間予測情報を出力する処理を実施する。
即ち、輝度変化動き補償予測部７はフレーム間予測参照画像を用いて、マクロブロック画像との差分の評価値が最小となる場合のブロック分割情報、動きベクトル、参照フレーム番号（複数の参照画像がある場合に参照する画像を特定するための情報）などをフレーム間予測情報として出力するとともに、そのフレーム間予測情報によって特定される画像領域をフレーム間予測画像として出力する処理を実施する。
なお、輝度変化動き補償予測部７はフレーム間予測手段を構成している。
【００１５】
イントラ予測部８はフレームメモリ６に格納されている局部復号画像をフレーム内予測参照画像として読み出し、そのフレーム内予測参照画像を用いて、画像分割部１から出力されたマクロブロック画像との差分の評価値が最小となる場合の予測モードをフレーム内予測情報として出力するとともに、そのフレーム内予測情報によって特定されるイントラ予測方法によって生成される予測画像をフレーム内予測画像として出力する処理を実施する。
イントラ予測としては、Ｈ．２６４と同様の画素単位の予測でもよいし、当該符号化対象ブロックの周辺情報から予測する方法であれば、いかなる手法であっても、本発明に適用可能である。また、ＭＰＥＧ−４におけるイントラ予測のように量子化変換係数自体を予測する手法であっても本発明に適用可能である。
【００１６】
予測画像切替スイッチ９は符号化制御部１０から出力されるマクロブロック予測モード情報にしたがって、輝度変化動き補償予測部７から出力されるフレーム間予測画像又はイントラ予測部８から出力されるフレーム内予測画像のいずれか一方を選択し、その選択した画像を予測画像として出力する処理を実施する。
符号化制御部１０は種々の条件に基づいて最適なマクロブロック予測モードや量子化パラメータを決定し、最適なマクロブロック予測モードや量子化パラメータをマクロブロックモード情報として出力する処理を実施する。
【００１７】
エントロピー符号化部１１は量子化変換部３から出力された量子化変換係数と、輝度変化動き補償予測部７から出力されたフレーム間予測情報と、イントラ予測部８から出力されたフレーム内予測情報と、符号化制御部１０から出力されたマクロブロックモード情報を所定のエントロピー符号化方法によって圧縮処理を実施することで、符号化データを出力する処理を実施する。
ここで、エントロピー符号化方法としては、ハフマン符号化、適応的ハフマン符号化、算術符号化、適応的算術符号化など、可逆符号化方法であれば、いかなる符号化方法でも本発明に適用可能である。
なお、エントロピー符号化部１１は符号化手段を構成している。
【００１８】
図２はこの発明の実施の形態１による動画像符号化装置の輝度変化動き補償予測部７を示す構成図である。
図２において、適応的予測画像生成部２１はフレームメモリ６に格納されている局部復号画像のうち動き探索情報に含まれている参照フレーム番号が特定する参照画像をフレーム間予測参照画像として読み出し、そのフレーム間予測参照画像を補間することで、小数精度単位の拡大参照画像を生成し、その拡大参照画像に対して動き探索情報に含まれている動きベクトル（動き探索で参照するベクトル）が指し示す位置を起点に輝度変化動き検出部２２から出力される動き探索情報に含まれているブロック分割情報（マクロブロックをさらに細かく分割して得られるブロックの形状情報）に従って指定されたサイズのブロックを整数精度単位でサブサンプリングを行うことによって参照ブロックとして得るとともに、動きベクトルの指し示す位置の整数画素位置からの位相を有する画素に対して予め設定された所定のオフセット値を加減算し、その参照ブロックの画像を適応的予測画像として出力する処理を実施する。
輝度変化動き検出部２２は探索範囲において動き探索情報を適宜変更しながら、その動き探索情報を適応的予測画像生成部２１に出力し、適応的予測画像生成部２１から出力された当該動き探索情報に対応する適応的予測画像と画像分割部１から出力されたマクロブロック画像の誤差を評価し、探索範囲において、その評価が最適になる際の動き探索情報をフレーム間予測情報として出力するとともに、その評価が最適になる際の適応的予測画像をフレーム間予測画像として出力する処理を実施する。
【００１９】
図３はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図３において、エントロピー復号部３１は図１の動画像符号化装置から出力された符号化データをエントロピー復号して、量子化変換係数、フレーム間予測情報、フレーム内予測情報及びマクロブロックモード情報を出力する処理を実施する。なお、エントロピー復号部３１は復号手段を構成している。
【００２０】
逆量子化変換部３２は図１の動画像符号化装置における逆量子化変換部４と同じ動作をするものであり、エントロピー復号部３１から出力された量子化変換係数を逆量子化して復号予測誤差信号を出力する処理を実施する。
加算部３３は逆量子化変換部３２から出力された復号予測誤差信号と予測画像選択スイッチ３７から出力された予測画像を加算して、その加算の結果である復号画像を出力する処理を実施する。
なお、逆量子化変換部３２及び加算部３３から復号画像出力手段が構成されている。
【００２１】
フレームメモリ３４は加算部３３から出力された復号画像を格納するメモリである。
輝度変化動き補償部３５はエントロピー復号部３１からフレーム間予測情報が出力された場合、フレームメモリ３４に格納されている復号画像をフレーム間参照画像として読み出し、そのフレーム間予測情報にしたがって、フレーム間参照画像を用いてフレーム間予測を実施することで、フレーム間予測画像を生成して出力する処理を実施する。
即ち、輝度変化動き補償部３５は、動画像復号装置の輝度変化動き補償予測部７と同様に、フレーム間予測情報にしたがって適応的予測を行うものであり、フレーム間予測情報に含まれている参照フレーム番号が特定するフレーム間参照画像を補間することで、小数精度単位の拡大参照画像を生成し、そのフレーム間予測情報に含まれているブロック分割情報にしたがって、その拡大参照画像に対してフレーム間予測情報に含まれている動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素に対して予め設定された所定のオフセット値を加減算し、その参照ブロックの画像をフレーム間予測画像として出力する。
なお、輝度変化動き補償部３５は予測画像生成手段を構成している。
【００２２】
イントラ予測画像生成部３６はエントロピー復号部３１からフレーム内予測情報が出力された場合、フレームメモリ３４に格納されている復号画像をフレーム内参照画像として読み出し、そのフレーム内予測情報にしたがってフレーム内参照画像を用いてフレーム内予測を実施することで、フレーム内予測画像を生成して出力する処理を実施する。
予測画像選択スイッチ３７はエントロピー復号部３１から出力されたマクロブロックモード情報が、最適なマクロブロック予測モードがフレーム内予測モードである旨を示していれば、イントラ予測画像生成部３６から出力されたフレーム内予測画像を選択し、そのマクロブロックモード情報が、最適なマクロブロック予測モードがフレーム間予測モードである旨を示していれば、輝度変化動き補償部３５から出力されたフレーム間予測画像を選択し、その選択した画像を予測画像として出力する処理を実施する。
【００２３】
次に動作について説明する。
図４はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートであり、図５はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
最初に、動画像符号化装置の処理内容を説明する。
【００２４】
画像分割部１は、動画像の動画像信号をフレーム単位又はフィールド単位に入力すると、その動画像を構成する各フレームを所定サイズのマクロブロックに分割して、そのマクロブロックの画像であるマクロブロック画像を出力する（ステップＳＴ１）。
減算部２は、画像分割部１からマクロブロック画像を受けると、そのマクロブロック画像と、後述する予測画像切替スイッチ９から出力される予測画像との差分を求め、その差分を示す予測誤差信号を出力する（ステップＳＴ２）。
【００２５】
量子化変換部３は、減算部２から予測誤差信号を受けると、その予測誤差信号に対する変換処理及び量子化処理を実施して、その予測誤差信号の量子化変換係数を出力する（ステップＳＴ３）。
なお、変換処理としては、上述したように、例えば、ＤＣＴやＦＦＴなどの直交周波数変換や、ウェーブレット変換などの直交変換などの処理が該当する。
また、量子化処理としては、上述したように、例えば、スカラ量子化やベクトル量子化などの処理が該当する。
【００２６】
逆量子化変換部４は、量子化変換部３から量子化変換係数を受けると、その量子化変換係数を逆量子化及び逆変換して復号予測誤差信号を求め、その復号予測誤差信号を出力する（ステップＳＴ４）。
【００２７】
輝度変化動き補償予測部７は、画像分割部１からマクロブロック画像を受けると、フレームメモリ６に格納されている局部復号画像をフレーム間予測参照画像として読み出し、そのフレーム間予測参照画像とマクロブロック画像を用いて、フレーム間予測を実施することで、フレーム間予測画像を生成する。
以下、輝度変化動き補償予測部７の処理内容を具体的に説明する。
【００２８】
まず、輝度変化動き補償予測部７の適応的予測画像生成部２１は、フレームメモリ６に格納されている局部復号画像のうち動き探索情報に含まれている参照フレーム番号が特定する参照画像をフレーム間予測参照画像（整数画素単位の画像）として読み出し、そのフレーム間予測参照画像を補間することで（例えば、内挿によって補間する）、小数精度単位の拡大参照画像を生成する。
ここで、図６は４分の１画素精度の拡大参照画像の生成例を示す説明図である。
【００２９】
次に、適応的予測画像生成部２１は、動き探索情報に含まれている動きベクトル（動き探索で参照するベクトル）が指し示す位置を起点に輝度変化動き検出部２２から出力される動き探索情報に含まれているブロック分割情報（マクロブロックをさらに細かく分割して得られるブロックの形状情報）にしたがって、指定されたサイズのブロックを整数精度単位でサブサンプリングを行うことによって参照ブロックとして得る。
図６では、水平および垂直方向にそれぞれ４倍に拡大した参照画像の例を示している。
図６において、黒丸の画素は、動き探索情報に含まれている動きベクトル（動き探索で参照するベクトル）の整数成分が指し示す位置（整数画素位置）にある画素である。
縦縞模様の円形で示す画素は、整数画素位置にある画素に対して、特定の位相（右下方向に４分の１画素の位相）を有する画素であって、所定のオフセット値が加算される対象の画素（以下、「輝度変化加算画素」と称する）である。
また、横縞模様の円形で示す画素は、整数画素位置にある画素に対して、特定の位相（右下方向に４分の３画素の位相）を有する画素であって、所定のオフセット値が減算される対象の画素（以下、「輝度変化減算画素」と称する）である。
【００３０】
すなわち、上記参照ブロックは図６における整数画素位置にある画素に対し、動きベクトルの少数成分で示される位相だけずれた画素を整数画素単位にサブサンプリングすることによって得られる。例えば動きベクトルの水平成分が１．２５であり、垂直成分が３．２５である場合、その少数成分はそれぞれ０．２５となるため図６における縦縞模様の円形で示す画素をサブサンプリングして参照ブロックが構成される。
【００３１】
次に適応的予測画像生成部２１は、その参照ブロックの平坦度を算出する。平坦度の算出方法は公知の技術であるため説明を省略する。
画像のテクスチャが平坦な場合には、動き探索において、近傍画素位置における輝度値があまり変化しないため、一部の位相の画素に輝度変化を加えることで、動き探索における予測画像の選択肢が広がる。これにより、動き予測が当たる確率が高まり、符号化効率が改善されることが想定される。
【００３２】
そこで、適応的予測画像生成部２１は、その参照ブロックの平坦度が予め設定されている閾値より大きく、かつ、参照ブロックが輝度変化加算画素をサブサンプリングして得られる画素である場合には参照ブロックの各画素値に所定のオフセット値を加算する。また、参照ブロックの平坦度が予め設定されている閾値より大きく、かつ、参照ブロックが各輝度変化減算画素をサブサンプリングして得られる画素である場合には参照ブロックの各画素値から所定のオフセット値を減算する。
逆に、そのブロックの平坦度が予め設定されている閾値より大きくなければ、参照ブロックの各画素値に対するオフセット値の加減算は行わない。
適応的予測画像生成部２１は、オフセット値の加減算処理を完了すると、当該ブロックの画像を適応的予測画像として輝度変化動き検出部２２に出力する（ステップＳＴ５）。
【００３３】
輝度変化動き検出部２２は、探索範囲において、動き探索情報を適宜変更しながら、その動き探索情報を適応的予測画像生成部２１に出力し、適応的予測画像生成部２１から当該動き探索情報に対応する適応的予測画像を受けると、その適応的予測画像と画像分割部１から出力されたマクロブロック画像の誤差を評価する（ステップＳＴ６）。
輝度変化動き検出部２２は、探索範囲において、その評価が最適になる際の動き探索情報をフレーム間予測情報としてエントロピー符号化部１１に出力するとともに、その評価が最適になる際の適応的予測画像をフレーム間予測画像として予測画像切替スイッチ９に出力する（ステップＳＴ７）。
【００３４】
イントラ予測部８は、画像分割部１からマクロブロック画像を受けると、輝度変化動き補償予測部７の処理と並行して、イントラ予測探索であるフレーム内予測を実施して、フレーム内予測画像を生成する（ステップＳＴ８）。
即ち、イントラ予測部８は、フレームメモリ６に格納されている局部復号画像をフレーム内予測参照画像として読み出し、そのフレーム内予測参照画像を用いて、画像分割部１から出力されたマクロブロック画像との差分の評価値が最小となる場合の予測モードをフレーム内予測情報としてエントロピー符号化部１１に出力するとともに、そのフレーム内予測情報によって特定されるイントラ予測方法によって生成される予測画像をフレーム内予測画像として予測画像切替スイッチ９に出力する。
【００３５】
符号化制御部１０は、例えば、輝度変化動き補償予測部７及びイントラ予測部８の予測結果などに基づいて、最適なマクロブロック予測モードや量子化パラメータを決定し（ステップＳＴ９）、選択対象の画像（フレーム内予測画像、または、フレーム間予測画像）を示すマクロブロック予測モード情報を予測画像切替スイッチ９に出力する。
また、符号化制御部１０は、最適なマクロブロック予測モードや量子化パラメータをマクロブロックモード情報としてエントロピー符号化部１１に出力する。
最適なマクロブロック予測モードの判定方法は、いかなる方法でもよく、公知の技術を使用すれば足りるので、ここでは詳細な説明を省略する。
【００３６】
予測画像切替スイッチ９は、符号化制御部１０からマクロブロック予測モード情報を受けると、そのマクロブロック予測モード情報にしたがって、輝度変化動き補償予測部７から出力されたフレーム間予測画像、または、イントラ予測部８から出力されたフレーム内予測画像のいずれか一方の画像を選択し、その選択した予測画像を減算部２及び加算部５に出力する。
【００３７】
加算部５は、逆量子化変換部４から復号予測誤差信号を受け、予測画像切替スイッチ９から予測画像を受けると、その復号予測誤差信号と予測画像を加算し、その加算の結果である局部復号画像をフレームメモリ６に格納する（ステップＳＴ１０）。この際、加算の結果得られる局部復号画像の画素値が所定の範囲内に収まるようにクリッピング処理を実施するようにしてもよい。
【００３８】
エントロピー符号化部１１は、量子化変換部３から出力された量子化変換係数と、輝度変化動き補償予測部７から出力されたフレーム間予測情報と、イントラ予測部８から出力されたフレーム内予測情報と、符号化制御部１０から出力されたマクロブロックモード情報とを所定のエントロピー符号化方法によって圧縮処理を実施することで、符号化データを出力する（ステップＳＴ１１）。
以上のステップＳＴ１〜ＳＴ１１の処理が、フレーム内の全てのマクロブロックに対して行われるまで繰り返され、１フレーム分の処理が完了する。
【００３９】
次に、動画像復号装置の処理内容を説明する。
エントロピー復号部３１は、図１の動画像符号化装置から出力された符号化データを入力すると、その符号化データをエントロピー復号して、量子化変換係数を逆量子化変換部３２に出力し、フレーム間予測情報を輝度変化動き補償部３５に出力し、フレーム内予測情報をイントラ予測画像生成部３６に出力し、マクロブロックモード情報を予測画像選択スイッチ３７に出力する（ステップＳＴ２１）。
逆量子化変換部３２は、エントロピー復号部３１から量子化変換係数を受けると、図１の動画像符号化装置における逆量子化変換部４と同様に、その量子化変換係数を逆量子化して復号予測誤差信号を加算部３３に出力する（ステップＳＴ２２）。
なお、逆量子化処理を実施する際の逆量子化の単位となる量子化パラメータは、フレーム間予測情報に含まれているので、そのフレーム間予測情報から取得する。
【００４０】
イントラ予測画像生成部３６は、エントロピー復号部３１からフレーム内予測情報が出力された場合、フレーム内予測画像を生成する（ステップＳＴ２３）。
即ち、イントラ予測画像生成部３６は、エントロピー復号部３１からフレーム内予測情報を受けると、フレームメモリ３４に格納されている復号画像をフレーム内参照画像として読み出し、そのフレーム内予測情報にしたがってフレーム内参照画像を用いてフレーム内予測を実施することで、フレーム内予測画像を生成して予測画像選択スイッチ３７に出力する。
【００４１】
輝度変化動き補償部３５は、エントロピー復号部３１からフレーム間予測情報が出力された場合、フレームメモリ３４に格納されている復号画像をフレーム間参照画像として読み出し、そのフレーム間予測情報にしたがって、フレーム間参照画像を用いてフレーム間予測を実施することで、フレーム間予測画像を生成する（ステップＳＴ２４）。
即ち、輝度変化動き補償部３５は、エントロピー復号部３１からフレーム間予測情報を受けると、図１の動画像符号化装置の輝度変化動き補償予測部７と同様に、フレーム間予測情報にしたがって適応的予測を行う。
以下、輝度変化動き補償部３５の処理内容を具体的に説明する。
【００４２】
まず、輝度変化動き補償部３５は、動画像復号装置の適応的予測画像生成部２１と同様に、フレームメモリ３４に格納されている復号画像のうちフレーム間予測情報に含まれている参照フレーム番号が特定する参照画像をフレーム間参照画像（整数画素単位の画像）として読み出し、そのフレーム間参照画像を補間することで（例えば、内挿によって補間する）、小数精度単位の拡大参照画像を生成する。
次に、輝度変化動き補償部３５は、エントロピー復号部３１から出力されたフレーム間予測情報（＝動き探索情報）に含まれているブロック分割情報にしたがって、指定されたサイズのブロックを整数精度単位でサブサンプリングを行うことによって参照ブロックとして得る（図６を参照）。
【００４３】
次に輝度変化動き補償部３５は、その参照ブロックの平坦度を算出する。
輝度変化動き補償部３５は、動画像復号装置の適応的予測画像生成部２１と同様に、そのブロックの平坦度が予め設定されている閾値より大きく、かつ、参照ブロックが輝度変化加算画素をサブサンプリングして得られる画素である場合には参照ブロックの各画素値に所定のオフセット値を加算する。また、参照ブロックの平坦度が予め設定されている閾値より大きく、かつ、参照ブロックが輝度変化減算画素をサブサンプリングして得られる画素である場合には参照ブロックの各画素値から所定のオフセット値を減算する。
逆に、そのブロックの平坦度が予め設定されている閾値より大きくなければ、参照ブロックの各画素値に対するオフセット値の加減算は行わない。
輝度変化動き補償部３５は、オフセット値の加減算処理を完了すると、当該ブロックの画像をフレーム間予測画像として予測画像選択スイッチ３７に出力する。
【００４４】
予測画像選択スイッチ３７は、エントロピー復号部３１から出力されたマクロブロックモード情報が、最適なマクロブロック予測モードがフレーム内予測モードである旨を示していれば、イントラ予測画像生成部３６から出力されたフレーム内予測画像を選択し、そのマクロブロックモード情報が、最適なマクロブロック予測モードがフレーム間予測モードである旨を示していれば、輝度変化動き補償部３５から出力されたフレーム間予測画像を選択し、その選択した画像を予測画像として加算部３３に出力する。
【００４５】
加算部３３は、逆量子化変換部３２から復号予測誤差信号を受け、予測画像選択スイッチ３７から予測画像を受けると、その復号予測誤差信号と予測画像を加算して、その加算の結果である復号画像を外部に出力するとともに、その復号画像をフレームメモリ３４に格納する（ステップＳＴ２５）。
【００４６】
以上で明らかなように、この実施の形態１によれば、輝度変化動き補償予測部７が、フレームメモリ６に格納されている局部復号画像であるフレーム間予測画像を補間することで、小数精度単位の拡大参照画像を生成して、その拡大参照画像に対して動き探索で参照する動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素の画素値に所定のオフセット値を加減算し、その参照ブロックの画像を適応的予測画像として出力する適応的予測画像生成部２１と、適応的予測画像生成部２１から出力された適応的予測画像と画像分割部１から出力されたマクロブロック画像の誤差を評価し、その評価が最適になる際の動きベクトルをフレーム間予測情報として出力するとともに、その評価が最適になる際の適応的予測画像を予測画像として出力する輝度変化動き検出部２２とを設けるように構成したので、画像の明るさが変化すると同時に、被写体が動く自然画像を符号化する場合でも、画質の劣化を招くことなく、高効率の符号化を実現することができる効果を奏する。
【００４７】
また、この実施の形態１によれば、輝度変化動き補償部３５が、フレームメモリ３４に格納されている復号画像であるフレーム間参照画像を補間することで、小数精度単位の拡大参照画像を生成して、その拡大参照画像に対して、エントロピー復号部３１から出力されたフレーム間予測情報に含まれている動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる上記参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素に対して予め設定された所定のオフセット値を加減算し、その参照ブロックの画像を予測画像として出力するように構成したので、高効率で符号化されている動画像を復号することができる効果を奏する。
【００４８】
なお、この実施の形態１では、小数精度画素のうち、整数画素位置に対して右下方向に４分の１画素の位相を有する画素を輝度変化加算画素、整数画素位置に対して右下方向に４分の３画素の位相を有する画素を輝度変化減算画素としている例を示したが、必ずしもこの位相を有する画素である必要はなく、整数画素位置と重なることも含め、所定の位相を有する画素を輝度変化加算画素及び輝度変化減算画素としてもよい。
また、１つの整数画素位置に対して、所定の位相を有する１つの画素を輝度変化加算画素として、他の１つの画素を輝度変化減算画素としている例を示したが、２つ以上の画素を輝度変化加算画素や輝度変化減算画素としてもよい。
【００４９】
この実施の形態１では、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、予め設定された閾値を共有しているものとして説明したが、動画像符号化装置が当該閾値を動画像復号装置に送信するようにしてもよい。
この場合、例えば、動画像符号化装置が、シーケンスヘッダにおいて固定長符号あるいはゴロム符号などの可変長符号を割り当てることで、当該閾値を符号化して送信するように構成することができる（図７を参照）。もちろん、ピクチャヘッダ、スライスヘッダ、ユーザデータあるいは補助情報データなどを用いて送信してもよい。
動画像復号装置では、これらのヘッダ情報に含まれる閾値の符号化データを復号することによって、当該閾値を取得することができる。
なお、閾値については、画面全体の平坦度を算出し、平坦な部分が多い場合には平坦度に対する閾値を低く設定することによって、オフセット値が加減算される確率を高めて、予測効率を高めることができる。
この実施の形態１では、イントラ予測も含めて説明したが、イントラ予測の有無は本発明に直接関係しない。
【００５０】
実施の形態２．
上記実施の形態１では、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、参照ブロックの平坦度を算出して、その平坦度が予め設定されている閾値より大きければ、特定の位相を有する画素の画素値にオフセット値を加減算し、その平坦度が予め設定されている閾値より大きくなければ、そのオフセット値の加減算を行わないものについて示したが、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、ブロック分割情報によって特定されるブロックのサイズが予め設定されている閾値より大きければ、特定の位相を有する画素の画素値にオフセット値を加減算し、そのブロックのサイズが予め設定されている閾値より大きくなければ、そのオフセット値の加減算を行わないようにしてもよく、上記実施の形態１と同様の効果を奏する。
【００５１】
マクロブロックを分割するブロックサイズがマクロブロックと同じ大きさであれば、比較的画像が安定していると考えられるので、予測画像の選択肢を広めるためにオフセット値を加減算することによって予測効率を向上させることができると考えられる。
逆に、ブロックサイズが小さい場合には、動きやテクスチャが複雑であり、動きを正確に予測することによって予測効率を向上させることができると考えられる。
そこで、この実施の形態２では、輝度変化加算画素及び輝度変化減算画素について、予め設定された閾値よりも、ブロックサイズが大きい場合には、画素値に対するオフセット値の加減算を行い、逆に、ブロックサイズが予め設定された閾値より大きくない場合には、画素値に対するオフセット値の加減算を行わないように制御している。
【００５２】
実施の形態３．
上記実施の形態１では、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、参照ブロックの平坦度を算出して、その平坦度が予め設定されている閾値より大きければ、特定の位相を有する画素の画素値にオフセット値を加減算し、その平坦度が予め設定されている閾値より大きくなければ、そのオフセット値の加減算を行わないものについて示したが、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、量子化変換部３により量子化処理が実施される際の量子化の単位となる量子化パラメータ（逆量子化変換部３２により逆量子化処理が実施される際の逆量子化の単位となる量子化パラメータ）が予め設定されている閾値より大きければ、特定の位相を有する画素の画素値にオフセット値を加減算し、その量子化パラメータが予め設定されている閾値より大きくなければ、そのオフセット値の加減算を行わないようにしてもよく、上記実施の形態１と同様の効果を奏する。
【００５３】
量子化パラメータが大きい場合には、動きを的確に捉えることができないので、予測画像の選択肢を広めるためにオフセット値を加減算することによって予測効率を向上させることができると考えられる。
逆に、量子化パラメータが小さい場合には、動きを的確に捉えることができるため、オフセット値の加減算を行わないようにすることによって予測効率を向上させることができると考えられる。
そこで、この実施の形態３では、輝度変化加算画素及び輝度変化減算画素について、予め設定された閾値よりも、量子化パラメータが大きい場合には、画素値に対するオフセット値の加減算を行い、逆に、量子化パラメータが予め設定された閾値より大きくない場合には、画素値に対するオフセット値の加減算を行わないように制御している。
【００５４】
実施の形態４．
上記実施の形態１では、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、参照ブロックの平坦度を算出して、その平坦度が予め設定されている閾値より大きければ、特定の位相を有する画素の画素値にオフセット値を加減算し、その平坦度が予め設定されている閾値より大きくなければ、そのオフセット値の加減算を行わないものについて示したが、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、動きベクトルのベクトル長を算出し、そのベクトル長が予め設定されている閾値より大きければ、特定の位相を有する画素の画素値にオフセット値を加減算し、そのベクトル長が予め設定されている閾値より大きくなければ、そのオフセット値の加減算を行わないようにしてもよく、上記実施の形態１と同様の効果を奏する。
【００５５】
動きベクトルが大きい場合には、素早い動きであり、対象物体がぼけてしまって動きを的確に捉えることができないので、予測画像の選択肢を広めるためにオフセット値を加減算することによって予測効率を向上させることができると考えられる。
逆に、動きベクトルが小さい場合には、動きが少なく、対象物体がくっきりしていて動きを的確に捉えやすいので、オフセット値の加減算を行わないようにすることによって予測効率を向上させることができると考えられる。
そこで、この実施の形態４では、輝度変化加算画素及び輝度変化減算画素について、予め設定された閾値よりも、動きベクトルが大きい場合には、画素値に対するオフセット値の加減算を行い、逆に、動きベクトルが大きくない場合には、画素値に対するオフセット値の加減算を行わないように制御している。
【００５６】
実施の形態５．
上記実施の形態１では、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５により使用される閾値が１つだけ設定されているものについて示したが、複数の閾値が設定されている場合、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、複数の閾値との比較結果に応じて、異なる大きさのオフセット値を加減算するようにしてもよい。
【００５７】
即ち、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５により使用される閾値を複数設け、平坦度（あるいは、ブロックサイズ、量子化パラメータ、動きベクトルのベクトル長）と複数の閾値を比較し、その比較結果に応じて、異なる大きさのオフセット値を加減算するようにしてもよい。
例えば、閾値Ｔｈ１＞Ｔｈ２であるとき、平坦度ＰがＰ＞Ｔｈ１である場合には、輝度変化加算画素及び輝度変化減算画素に“２”を加減算し、Ｔｈ１＞Ｐ＞Ｔｈ２である場合には、輝度変化加算画素及び輝度変化減算画素に“１”を加減算し、Ｔｈ２＞Ｐである場合には、オフセット値の加減算を行わないように制御する。ブロックサイズ、量子化パラメータ、動きベクトルのベクトル長についても同様に制御する。
【００５８】
実施の形態６．
上記実施の形態１では、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５により使用される閾値が１つだけ設定されているものについて示したが、複数の閾値が設定されている場合、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、複数の閾値との比較結果に応じて、オフセット値を加減算する特定の位相を有する画素の数を変えるようにしてもよい。
【００５９】
即ち、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５により使用される閾値を複数設け、平坦度（あるいは、ブロックサイズ、量子化パラメータ、動きベクトルのベクトル長）と複数の閾値を比較し、その比較結果に応じて、輝度変化加算画素及び輝度変化減算画素の数を変化させてもよい。
例えば、閾値Ｔｈ１＞Ｔｈ２であるとき、平坦度ＰがＰ＞Ｔｈ１である場合には、輝度変化加算画素及び輝度変化減算画素をそれぞれ２つずつ、Ｔｈ１＞Ｐ＞Ｔｈ２である場合には、輝度変化加算画素及び輝度変化減算画素をそれぞれ１つずつ、Ｔｈ２＞Ｐである場合には、オフセット値の加減算を行わないように制御する。ブロックサイズ、量子化パラメータ、動きベクトルのベクトル長についても同様に制御する。
【産業上の利用可能性】
【００６０】
この発明に係る動画像符号化装置、動画像復号装置等は、画像の明るさが変化すると同時に、被写体が動く自然画像を符号化する場合でも、画質の劣化を招くことなく、高効率の符号化及び複合化を実現できるため、動画像を高効率で符号化を行う動画像符号化装置及び高効率で符号化されている動画像を復号する動画像復号装置等に用いるのに適している。
【図１】
2010116708.tif 000003
【図２】
2010116708.tif 000004
【図３】
2010116708.tif 000005
【図４】
2010116708.tif 000006
【図５】
2010116708.tif 000007
【図６】
2010116708.tif 000008
【図７】
2010116708.tif 000009
【国際調査報告】
2010116708.tif 000010
2010116708.tif 000011
2010116708.tif 000012
2010116708.tif 000013