(57)【要約】【課題】  動き補償に関する演算量の増加を抑制しつつ、実際の符号化対象画像に近い予測画像を選択することができる動画像符号化装置を提供する。【解決手段】  動きベクトルの探索範囲を指定する動きベクトル探索範囲指定部１２と、動きベクトルの探索範囲内に動き予測用の補正を施すべき予測画像指定領域を指定する予測画像領域指定部１３と、動き予測用の補正として符号化対象画像の画像特徴値に合うように予測画像の画像特徴値を補正する画像補正部２と、動き予測用の補正が施された予測画像と符号化対象画像とのマッチング処理により予測画像の予測評価値を算出する評価値算出部１０と、予測評価値に基づいて符号化対象画像の符号化に用いる動きベクトルを選択する動きベクトル選択部１１とを備える。【選択図】        図１
2005328383.tif 000002
【特許請求の範囲】
【請求項１】
動き予測により動画像を符号化する動画像符号化装置において、
動きベクトルの探索範囲を指定する探索範囲指定部と、
上記動きベクトルの探索範囲内に動き予測用の補正を施すべき予測画像指定領域を指定する領域指定部と、
上記動き予測用の補正として、符号化対象画像の画像特徴値に合うように上記予測画像指定領域の予測画像の画像特徴値を補正する予測画像補正部と、
上記動き予測用の補正が施された予測画像と上記符号化対象画像とのマッチング処理により、上記符号化対象画像との差異の度合いを示す上記予測画像の予測評価値を算出する評価値算出部と、
上記予測評価値に基づいて上記符号化対象画像の符号化に用いる動きベクトルを選択する動きベクトル選択部と
を備えたことを特徴とする動画像符号化装置。
【請求項２】
予測画像補正部は、予測画像指定領域の予測画像において複数種類の画像特徴値を算出すると共に、符号化対象画像について上記複数種類の画像特徴に対応する画像特徴値をそれぞれ算出し、これらの値にそれぞれ合うように上記予測画像を補正し、
評価値算出部は、上記画像特徴値毎に補正された予測画像と上記符号化対象画像とのマッチング処理により上記予測画像の予測評価値を算出し、
動きベクトル選択部は、上記評価値算出部により上記画像特徴値毎に算出された予測評価値に基づいて動きベクトルを選択することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
予測画像補正部は、予測画像指定領域の予測画像に動き予測用の補正を施した際、上記予測画像における補正後の画素値が許容する画素値範囲を超える場合、上記予測画像の画素値が上記許容する画素値範囲内になるようにさらに補正することを特徴とする請求項１記載の動画像符号化装置。
【請求項４】
評価値算出部は、動き予測用の補正が施された予測画像と符号化対象画像とのマッチング処理により算出した上記予測画像の予測評価値のうち、最小の予測評価値から複数の予測評価値を抽出するための閾値に基づいて予測評価値を抽出し、
動きベクトル選択部は、上記評価値算出部により上記閾値に基づいて複数の予測評価値が抽出された場合、これら予測評価値に対応する動きベクトル候補の中から上記符号化対象画像の符号化に用いる動きベクトルを選択することを特徴とする請求項１記載の動画像符号化装置。
【請求項５】
動きベクトル選択部は、予測画像指定領域の予測画像の補正前の画像特徴値が、符号化対象画像の画像特徴値に最も近い動きベクトル候補を選択することを特徴とする請求項１記載の動画像符号化装置。
【請求項６】
予測画像指定領域の予測画像における補正前後の画像特徴値の差分値を算出する差分値算出部と、
上記差分値算出部が算出した画像特徴値の差分値に基づいてオフセット値を設定するオフセット値設定部と、
上記オフセット値と上記予測評価値とを加算してなる更新評価値を算出する更新評価値算出部とを備え、
動きベクトル選択部は、評価値算出部より算出された予測評価値に対応する動きベクトル候補の中から、上記更新評価値に基づいて動きベクトルを選択することを特徴とする請求項１記載の動画像符号化装置。
【請求項７】
予測画像指定領域の予測画像の画像特徴値毎に動きベクトル選択に関する優先順位を設定する優先順位設定部を備え、
動きベクトル選択部は、評価値算出部より算出された予測評価値に対応する動きベクトル候補の中から、上記優先順位設定部により設定された優先順位に基づいて動きベクトルを選択することを特徴とする請求項１記載の動画像符号化装置。
【請求項８】
予測画像指定領域の予測画像における補正前後の画像特徴値の差分値を算出する差分値算出部と、
上記差分値算出部が算出した画像特徴値の差分値に基づいてオフセット値を設定するオフセット値設定部と、
上記オフセット値と上記予測評価値を加算してなる更新評価値を算出する更新評価値算出部と、
上記予測画像指定領域の予測画像の画像特徴値毎に動きベクトル選択に関する優先順位を設定する優先順位設定部とを備え、
動きベクトル選択部は、評価値算出部より算出された予測評価値に対応する動きベクトル候補の中から、上記更新評価値算出部により算出された更新評価値及び上記優先順位設定部により設定された優先順位に基づいて動きベクトルを選択することを特徴とする請求項１記載の動画像符号化装置。
【請求項９】
動き予測により動画像を符号化するにあたり、動きベクトルの探索範囲を指定する探索範囲指定部、
上記動きベクトルの探索範囲内に動き予測用の補正を施すべき予測画像指定領域を指定する領域指定部、
上記動き予測用の補正として、符号化対象画像の画像特徴値に合うように上記予測画像指定領域の予測画像の画像特徴値を補正する予測画像補正部、
上記動き予測用の補正が施された予測画像と上記符号化対象画像とのマッチング処理により、上記符号化対象画像との差異の度合いを示す上記予測画像の予測評価値を算出する評価値算出部、
上記評価値算出部より算出された予測評価値に対応する動きベクトル候補の中から、上記予測評価値に基づいて上記符号化対象画像の符号化に用いる動きベクトルを選択する動きベクトル選択部
としてコンピュータを機能させるプログラム。
【請求項１０】
動き予測により動画像を符号化するにあたり、動きベクトルの探索範囲を指定する探索範囲指定部、
上記動きベクトルの探索範囲内に動き予測用の補正を施すべき予測画像指定領域を指定する領域指定部、
上記動き予測用の補正として、符号化対象画像の画像特徴値に合うように上記予測画像指定領域の予測画像の画像特徴値を補正する予測画像補正部、
上記動き予測用の補正が施された予測画像と上記符号化対象画像とのマッチング処理により、上記符号化対象画像との差異の度合いを示す上記予測画像の予測評価値を算出する評価値算出部、
上記予測画像指定領域の予測画像における補正前後の画像特徴値の差分値を算出する差分値算出部、
上記差分値算出部が算出した画像特徴値の差分値に基づいてオフセット値を設定するオフセット値設定部と、
上記オフセット値と上記予測評価値を加算してなる更新評価値を算出する更新評価値算出部、
上記評価値算出部より算出された予測評価値に対応する動きベクトル候補の中から、上記更新評価値に基づいて上記符号化対象画像の符号化に用いる動きベクトルを選択する動きベクトル選択部
としてコンピュータを機能させるプログラム。
【請求項１１】
動き予測により動画像を符号化するにあたり、動きベクトルの探索範囲を指定する探索範囲指定部、
上記動きベクトルの探索範囲内に動き予測用の補正を施すべき予測画像指定領域を指定する領域指定部、
上記動き予測用の補正として、符号化対象画像の画像特徴値に合うように上記予測画像指定領域の予測画像の画像特徴値を補正する予測画像補正部、
上記動き予測用の補正が施された予測画像と上記符号化対象画像とのマッチング処理により、上記符号化対象画像との差異の度合いを示す上記予測画像の予測評価値を算出する評価値算出部、
上記予測画像指定領域の予測画像における補正前後の画像特徴値の差分値を算出する差分値算出部、
上記差分値算出部が算出した画像特徴値の差分値に基づいてオフセット値を設定するオフセット値設定部、
上記オフセット値と上記予測評価値を加算してなる更新評価値を算出する更新評価値算出部、
上記予測画像指定領域の予測画像の画像特徴値毎に動きベクトル選択に関する優先順位を設定する優先順位設定部、
上記評価値算出部より算出された予測評価値に対応する動きベクトル候補の中から、上記更新評価値算出部により算出された更新評価値及び上記優先順位設定部により設定された優先順位に基づいて上記符号化対象画像の符号化に用いる動きベクトルを選択する動きベクトル選択部
としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動き予測により動画像を符号化する動画像符号化装置及びこれをコンピュータに実現させるプログラムに関するものである。
【背景技術】
【０００２】
従来の動画像符号化装置としては、例えば特許文献１に開示されるものがある。この装置では、符号化対象フレーム内や符号化対象ブロック内の画素の値の平均値及び参照画像フレーム内や予測画像ブロック内の画素の値の平均値に基づいて符号化対象ブロック内の画素の値を補正する。例えば、符号化対象ブロック内の画素の値及び予測画像ブロック内の画素の値からそれぞれのブロック内の各画素の値の平均値を減算する補正を施す。
【０００３】
また、この他に、特許文献１には、符号化対象フレーム（若しくは符号化対象ブロック）内の画素の値の平均値を参照画像フレーム（若しくは予測画像ブロック）内の画素の値の平均値に合わせるように符号化対象ブロック内の各画素を補正する処理、符号化対象ブロック内の画素の値の平均値が参照画像フレーム内の画素の値の平均値と等しくなるように符号化対象ブロック内の各画素の値を補正する処理や、符号化対象フレーム内の画素の値の平均値と参照画像フレーム内の画素の値の平均値との比に応じて符号化対象ブロック内の各画素の値を補正する処理などが開示されている。
【０００４】
上述のようにして補正した符号化対象ブロック内の画素の値と予測画像ブロック内の画素の値との差分に基づいて画素値の差分絶対値和などの予測評価値を算出し、この予測評価値が最小となる動きベクトルを選択する。そして、この予測評価値に基づいて決定した符号化モードに従って符号化対象ブロックを符号化する。
【０００５】
このような処理を符号化対象ブロックに施すことで、時間の経過に伴って画面全体の輝度が変化するような画像であっても、当該輝度変化による影響を取り除きつつ予測評価値を求めて動き補償を実行している。
【０００６】
【特許文献１】特開２０００−１０６６７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来の動画像符号化装置では、符号化対象ブロック及び予測画像ブロック内の画素の値の平均値をそれぞれ求める場合、それに伴って各ブロックについて上記平均値を使用した演算を施す必要があり、動き補償予測に関する演算時間が長時間化したり、演算に要するデータを記憶するためのメモリなどのハードウェアも必要であるという課題があった。
【０００８】
また、符号化対象フレーム（若しくは符号化対象ブロック）内の画素の値の平均値を参照画像フレーム（若しくは予測画像ブロック）内の画素の値の平均値に合わせるように符号化対象ブロック内の画素の値を補正する処理は、符号化対象画像に最も近い予測画像を探索するという動き探索の本来の目的から逸脱するものであり、符号化対象画像に最も近い予測画像を探索することができるとは限らない。
【０００９】
例えば、動き探索において、一般的に参照画像フレームと符号化対象ブロックとは同じサイズではなく、動きベクトル探索領域が参照画像フレームの一部領域であることが多い。このため、符号化対象ブロック内の画素の値の平均値を参照画像フレーム内の画素の値の平均値に合わせるような補正を施しても、参照画像フレーム内の実際に動き探索の対象となる一部領域内の画素の値の平均値とは合わない場合があり得る。
【００１０】
これは、符号化対象フレーム内の画素の値の平均値と参照画像フレーム内の画素の値の平均値とが等しくなるように符号化対象ブロック内の画素の値を補正したり、参照画像フレーム内の画素の値の平均値と符号化対象フレーム内の画素の値の平均値との比に応じて符号化対象ブロック内の画素の値を補正する場合においても同様のことがいえる。
【００１１】
また、特許文献１に開示される動画像符号化装置では、補正した符号化対象ブロック内の画素の値と補正した予測画像ブロック内の画素の値との差分に基づいて算出した予測評価値が最小となる動きベクトルを選択しているが、符号化処理自体は、補正されていない元の符号化対象画像及び元の予測画像を入力して実行される。このため、画素の値を補正した画像を基にして算出した予測評価値が最小となる動きベクトル以外に符号化効率のよい動きベクトルが存在し、これを探索し切れない可能性がある。
【００１２】
例えば、ＭＰＥＧ−２では、前方向予測や後方向予測、両方向予測などに相当するインター予測であるフレーム間予測においてそのＤＣ成分係数（直流成分係数）に可変長符号化コードが割り当てられる。この可変長符号化コードは、上記ＤＣ成分係数が大きさに比例したコード長が割り当てられ、例えば画素の値が補正されてない元の参照画像と符号化対象画像の差分によって求めたＤＣ成分係数が大きいほど長い可変長符号化コードが割り当てられることになる。
【００１３】
従って、画素の値を補正した画像を基に算出した予測評価値が最小となる動きベクトルで予測した予測画像によって求めたＤＣ成分係数が、例えば予測評価値が最小のものの次に小さい（予測評価値が２番目に小さい）動きベクトルにより予測した予測画像によって求めたＤＣ成分係数の値より大きいと、予測評価値が２番目に最小となる上記動きベクトルに対応する予測画像を用いた方が符号化効率がよい。
【００１４】
この発明は、上記のような課題を解決するためになされたものであり、動きベクトル探索範囲内にある予測画像領域の画素の値を補正して求めたマッチング評価値に基づいて動きベクトルを選択することで、動き補償に関する演算量の増加を抑制しつつ、実際の符号化対象画像に近い予測画像を選択することができ、例えばフラッシュ画像のようにフレームの一部の画像の輝度が変化する画像を含む動画像や絵柄が同じで輝度や色差等が異なる画像であっても符号化効率のよい動きベクトルを選択することができる動画像符号化装置及びこれをコンピュータに実現させるプログラムを得ることを目的とする。
【課題を解決するための手段】
【００１５】
この発明に係る動画像符号化装置は、動きベクトルの探索範囲を指定する探索範囲指定部と、動きベクトルの探索範囲内において動き予測用の補正を施すべき予測画像指定領域を指定する領域指定部と、動き予測用の補正として符号化対象画像の画像特徴値に合うように予測画像指定領域の予測画像の画像特徴値を補正する予測画像補正部と、動き予測用の補正が施された予測画像と符号化対象画像とのマッチング処理により、符号化対象画像との差異の度合いを示す予測画像の予測評価値を算出する評価値算出部と、予測評価値に基づいて符号化対象画像の符号化に用いる動きベクトルを選択する動きベクトル選択部とを備えるものである。
【発明の効果】
【００１６】
この発明によれば、動きベクトルの探索範囲を指定する探索範囲指定部と、動きベクトルの探索範囲内において動き予測用の補正を施すべき予測画像指定領域を指定する領域指定部と、動き予測用の補正として符号化対象画像の画像特徴値に合うように予測画像指定領域の予測画像の画像特徴値を補正する予測画像補正部と、動き予測用の補正が施された予測画像と符号化対象画像とのマッチング処理により、符号化対象画像との差異の度合いを示す予測画像の予測評価値を算出する評価値算出部と、予測評価値に基づいて符号化対象画像の符号化に用いる動きベクトルを選択する動きベクトル選択部とを備えるので、実際に動きベクトル探索される範囲内で指定された注目すべき予測画像が符号化対象画像の画像特徴値に合うように補正されることから、入力画像の絵柄に近い画像を選択することができるという効果がある。これにより、例えばフェードインやフェードアウト、フラッシュ画像のような輝度変化のある画像や、絵柄が類似しているが輝度や色差等が異なる画像のように、輝度変化や輝度や色差などの違いにより符号化対象画像の動きを正確に追随していない動きベクトルが選択されて正しい動きベクトルが選択候補から外れる可能性が高い画像であっても、符号化効率のよい予測画像を選択することができるという効果がある。
【発明を実施するための最良の形態】
【００１７】
実施の形態１．
図１は、この発明の実施の形態１による動画像符号化装置の構成を示すブロック図である。実施の形態１による動画像符号化装置１は、画像補正部２、動き予測部３、画像メモリ部４、差分演算部５、符号化部６、復号部７、復号加算部８及び可変長符号化部９から構成される。動画像符号化装置１は、例えば汎用コンピュータなどを用いて、本発明に従う動画像符号化プログラムを実行させることによって具現化することができる。
【００１８】
つまり、上記動画像符号化プログラムをコンピュータに実行させて上記構成要素２〜９として機能させることにより、本発明の動画像符号化装置における特徴的なデータ処理を実行することができる。なお、以下の説明において、本発明の動画像符号化装置を具現化するコンピュータ自体の構成及びその基本的な機能は、当業者が当該分野の技術常識に基づいて容易に認識できるものであり、本発明の本質に直接関わるものではないので詳細な記載を省略することにする。
【００１９】
図２は、図１中の動き予測部の構成を示すブロック図である。動き予測部３は、評価値算出部１０、動きベクトル選択部１１、動きベクトル探索範囲指定部（探索範囲指定部）１２及び予測画像領域指定部（領域指定部）１３から構成される。なお、以降の説明では、動き予測部３の内部に動きベクトル探索範囲指定部１２及び予測画像領域指定部１３を設けた構成を例に示すが、動きベクトル探索範囲指定部１２及び予測画像領域指定部１３のいずれか一方又はその両方が動き予測部３と独立した要素として構成してもよい。
【００２０】
また、この場合においても、動きベクトル探索範囲指定部１２及び予測画像領域指定部１３を動画像符号化プログラムの一つのプログラムモジュールとしてそれぞれ構成することで、本発明の動画像符号化装置の構成要素としてコンピュータを機能させることができる。
【００２１】
次に動作について説明する。
本実施の形態では、各フレーム画像を複数の画像ブロックに分割してブロック毎に符号化する場合を例に挙げて説明する。なお、本発明は、画像ブロックの形状及びブロックサイズによって制限されるものではない。
【００２２】
先ず、符号化すべき動画像のフレーム画像を分割した符号化対象ブロックは、入力画像データａとして、画像補正部２、動き予測部３及び差分演算部５に入力される。なお、入力画像データａには、符号化対象画像のフレーム画像内の画像ブロック位置などを特定するデータが含まれる。動き予測部３に入力された入力画像データａは、さらに内部の評価値算出部１０及び動きベクトル探索範囲指定部１２に入力される。
【００２３】
動きベクトル探索範囲指定部１２では、入力画像データａから符号化対象フレーム画像内での画像ブロック位置を特定し、これに従って当該符号化対象ブロックに対応する動きベクトルを探索するための動きベクトル探索範囲を指定する。動きベクトル探索範囲の指定方法としては、符号化対象ブロックの位置に従って参照画像中の妥当な範囲が決定できればよい。このようにして指定された動きベクトル探索範囲を特定する情報は、動きベクトル探索範囲指定部１２により生成されて予測画像領域指定部１３に出力される。
【００２４】
予測画像領域指定部１３は、動きベクトル探索範囲指定部１２から指定された動きベクトル探索範囲内の一部又は全部の領域を予測画像指定領域として指定し、指定した領域の予測画像データを読み出すための予測画像指定領域読み出し信号ｄを生成して画像メモリ部４に出力する。
【００２５】
画像メモリ部４には、符号化対象ブロックについて動き予測をする際に参照する参照画像フレームの画像データが記憶されている。画像メモリ部４は、予測画像領域指定部１３から入力した予測画像指定領域読み出し信号ｄに基づいて、参照画像フレームを、動きベクトル探索範囲が指定され且つその範囲内に予測画像指定領域が指定された予測画像フレームとして認識し、この予測画像フレームデータから予測画像指定領域の予測画像データｆを読み出して予測画像補正部２に出力する。
なお、上記例では、入力画像データａには、符号化対象画像のフレーム画像内の画像ブロック位置などを特定する位置情報などのデータを含むようにしたが、位置情報などのデータは入力画像データａとは独立した別のデータとしてもよく、本発明を制限するものではない。
【００２６】
図３は、図１中の画像メモリ部に記憶される予測画像フレーム、これに規定された動き探索範囲、予測画像指定領域及び予測画像ブロックを示す図である。図に示すように、画像メモリ部４に記憶される予測画像フレーム１４内に、動きベクトル探索範囲指定部１２により動きベクトル探索範囲１５が指定される。
なお、図示の例では、動きベクトル探索範囲１５が予測画像フレーム１４より小さい領域である場合を示しているが、予測画像フレーム１４と同一かその内部に含まれていればよく、動きベクトル探索範囲１５の大きさにより本発明が限定されるものではない。
【００２７】
また、図示の例では、この探索範囲１５内の一部領域として、予測画像領域指定部１３により予測画像指定領域１６が指定されている。本発明では、斜線を付した領域で示す予測画像ブロック１７を予測画像指定領域１６から抽出して動き予測に利用する。予測画像ブロック１７は、符号化対象の入力画像ブロックと同一サイズである。
【００２８】
なお、図示の例では、予測画像指定領域１６が動きベクトル探索範囲１５より小さい領域であり、予測画像ブロック１７より大きい領域である場合を示しているが、この大小関係に限定されるものではない。
【００２９】
例えば、予測画像指定領域１６は、動きベクトル探索範囲１５と同じサイズでも、予測画像ブロック１７と同じサイズでもよい。つまり、動きベクトル探索範囲１５と同一かその内部に含まれ、予測画像ブロック１７と同一かそれ以上のサイズの領域であればよい。これは、符号化対象の入力画像ブロックに対応する予測画像ブロックを動きベクトル探索範囲１５から選択するためである。
【００３０】
画像補正部２では、符号化対象の入力画像ブロックの入力画像データａ及び予測画像指定領域１６の予測画像データｆを入力すると、これらデータａ，ｆに基づいて動き予測に用いる予測画像指定領域１６の予測画像を補正する。
【００３１】
ここで、画像補正部２による予測画像の補正処理について詳細に説明する。
図４は、図１中の画像補正部の構成を示すブロック図である。図に示すように、画像補正部２は、入力画像特徴値算出部１８、予測画像特徴値算出部１９及び予測画像補正部２０から構成される。
【００３２】
なお、入力画像特徴値算出部１８、予測画像特徴値算出部１９及び予測画像補正部２０は、本発明に従う動画像符号化プログラムを構成するプログラムモジュールとして構成する。これにより、当該動画像符号化プログラムを実行するコンピュータを、上記構成要素１８〜２０として機能させることができる。
【００３３】
入力画像特徴値算出部１８は、符号化対象の入力画像ブロックの入力画像データａを入力して画像特徴を解析し、それを数値化した入力画像特徴値を算出する。一方、予測画像特徴値算出部１９は、予測画像指定領域１６の予測画像データｆを入力して画像特徴を解析し、それを数値化した予測画像特徴値ｊを算出する。
【００３４】
なお、画像特徴値としては、予測画像指定領域１６の予測画像及び入力画像ブロック内の画素の値に対する画素平均値、画素最大値、画素最小値、画素値中央値、画素値の最大頻度値や画素値範囲などが考えられるが、予測画像指定領域１６の予測画像に対して加減演算により入力画像ブロックの画像特徴値に合わせることができる特徴値であればよい。
【００３５】
また、画像特徴値は、入力画像ブロックの画像特徴を最も表す特徴値を選択するものとする。画素の値としては、輝度成分の他、色差成分やＲＧＢ成分などについての各画素値やその他の画像信号成分の画素値であってもよい。
【００３６】
補正の方法としては、重み係数等により乗算にて画像特徴値を補正する場合も考えられるが、以下のような理由により、本発明では、予測画像指定領域の予測画像の補正を入力画像ブロックの画像特徴値に合わせる補正を加減演算により実行する。
【００３７】
例えば、ＭＰＥＧ−２等で一般的な予測差分画像をＤＣＴ変換する処理は、乗算により補正された予測画像から選択した動きベクトルに対応する補正前の元の予測画像で予測差分画像をＤＣＴ変換する。このため、乗算により補正された予測画像と補正前の予測画像とでは交流成分（ＡＣ成分）が異なり、補正前後で予測画像の絵柄が異なってしまう場合がある。
【００３８】
そこで、加減演算にて予測画像の画像特徴値を入力画像ブロックの画像特徴値に合わせる補正を実行することで、補正前後では予測画像のＤＣ成分は異なるもののＡＣ成分は変わらない。本発明では、符号化対象の入力画像ブロックの絵柄に最も似た予測画像を選択することが目的であるため、補正によってもＡＣ成分が変更されない加減演算により予測画像の補正を行うものとする。
【００３９】
予測画像補正部２０は、入力画像特徴値算出部１８から入力画像特徴値を入力し、さらに予測画像特徴値算出部１９から予測画像データｆ及びその予測画像特徴値ｊを入力して、入力画像特徴値及び予測画像特徴値ｊに基づき、予測画像データｆで規定される予測画像を補正する。補正した予測画像の予測画像データｂは、予測画像補正部２０から動き予測部３に出力される。
【００４０】
具体的には、動きベクトル探索範囲１５内で動き予測用に指定された予測画像指定領域１６の予測画像特徴値ｊを入力画像データａにより求まる入力画像ブロックの入力画像特徴値に合わせるように、予測画像データｆにより求まる予測画像指定領域１６の予測画像を補正する。
【００４１】
図５は、予測画像指定領域の予測画像及び符号化対象の入力画像ブロックの画素値とその発生頻度との関係を示すグラフであり、予測画像指定領域の予測画像特徴値を入力画像データの入力画像特徴値に合わせるように予測画像指定領域の予測画像を補正する処理を説明するものである。なお、（ａ）から（ｆ）に示すグラフにおいて、破線の曲線は予測画像指定領域１６の予測画像の画素値分布を表す曲線であり、実線の曲線は符号化対象の入力画像ブロックの画素値分布を表す曲線である。また、横軸は画素値であり、縦軸は各画像領域内の画素値の発生頻度を表している。
【００４２】
（ａ）は、予測画像及び入力画像の画素値とその発生頻度との関係を示すグラフにおいて、画素平均値を画素特徴値として予測画像データを入力画像データの画像特徴に合わせる補正をする場合を示している。図において、予測画像指定領域１６の予測画像の画素値分布を表す曲線（破線曲線）に付した縦破線、及び、入力画像の画素値分布を表す曲線（実線曲線）に付した縦実線は、それぞれ予測画像指定領域１６の予測画像及び入力画像ブロックの画素平均値の位置を示している。
【００４３】
予測画像補正部２０は、入力画像特徴値算出部１８から入力画像ブロックの画像特徴値（画素平均値）を入力し、さらに予測画像特徴値算出部１９から予測画像指定領域１６の予測画像データｆ及びその画像特徴値ｊを入力すると、予測画像指定領域１６の予測画像の各画素の値を、図中の横実線矢印で示すように両画像間の画素平均値の差分だけ増加（加算）させて、入力画像ブロックの画像特徴値に合わせる補正を実行する。
【００４４】
（ｂ）は、予測画像及び入力画像の画素値とその発生頻度との関係を示すグラフにおいて、画素中央値を画素特徴値として予測画像データを入力画像データの画像特徴に合わせる補正をする場合を示している。図において、予測画像指定領域１６の予測画像の画素値分布を表す曲線（破線曲線）に付した縦破線、及び、入力画像の画素値分布を表す曲線（実線曲線）に付した縦実線は、それぞれ予測画像指定領域１６の予測画像及び入力画像ブロックの画素中央値の位置を示している。
【００４５】
予測画像補正部２０は、入力画像特徴値算出部１８から入力画像ブロックの画像特徴値（画素中央値）を入力し、さらに予測画像特徴値算出部１９から予測画像指定領域１６の予測画像データｆ及びその画像特徴値ｊを入力すると、予測画像指定領域１６の予測画像の各画素の値を、図中の横実線矢印で示すように両画像間の画素中央値の差分だけ増加（加算）させて、入力画像ブロックの画像特徴値に合わせる補正を実行する。
【００４６】
（ｃ）は、予測画像及び入力画像の画素値とその発生頻度との関係を示すグラフにおいて、画素値の最大頻度値を画素特徴値として予測画像データを入力画像データの画像特徴に合わせる補正をする場合を示している。図において、予測画像指定領域１６の予測画像の画素値分布を表す曲線（破線曲線）に付した縦破線、及び、入力画像の画素値分布を表す曲線（実線曲線）に付した縦実線は、それぞれ予測画像指定領域１６の予測画像及び入力画像ブロックの画素値の最大頻度値の位置を示している。
【００４７】
予測画像補正部２０は、入力画像特徴値算出部１８から入力画像ブロックの画像特徴値（画素値の最大頻度値）を入力し、さらに予測画像特徴値算出部１９から予測画像指定領域１６の予測画像データｆ及びその画像特徴値ｊを入力すると、予測画像指定領域１６の予測画像の各画素の値を、図中の横実線矢印で示すように両画像間の最大頻度値の差分だけ増加（加算）させて、入力画像ブロックの画像特徴値に合わせる補正を実行する。
【００４８】
（ｄ）は、予測画像及び入力画像の画素値とその発生頻度との関係を示すグラフにおいて、画素値最大値を画素特徴値として予測画像データを入力画像データの画像特徴に合わせる補正をする場合を示している。図において、予測画像指定領域１６の予測画像の画素値分布を表す曲線（破線曲線）に付した縦破線、及び、入力画像の画素値分布を表す曲線（実線曲線）に付した縦実線は、それぞれ予測画像指定領域１６の予測画像及び入力画像ブロックの画素値最大値の位置を示している。
【００４９】
予測画像補正部２０は、入力画像特徴値算出部１８から入力画像ブロックの画像特徴値（画素値最大値）を入力し、さらに予測画像特徴値算出部１９から予測画像指定領域１６の予測画像データｆ及びその画像特徴値ｊを入力すると、予測画像指定領域１６の予測画像の各画素の値を、図中の横実線矢印で示すように両画像間の画素値最大値の差分だけ増加（加算）させて、入力画像ブロックの画像特徴値に合わせる補正を実行する。
【００５０】
（ｅ）は、予測画像及び入力画像の画素値とその発生頻度との関係を示すグラフにおいて、画素値最小値を画素特徴値として予測画像データを入力画像データの画像特徴に合わせる補正をする場合を示している。図において、予測画像指定領域１６の予測画像の画素値分布を表す曲線（破線曲線）に付した縦破線、及び、入力画像の画素値分布を表す曲線（実線曲線）に付した縦実線は、それぞれ予測画像指定領域１６の予測画像及び入力画像ブロックの画素値最小値の位置を示している。
【００５１】
予測画像補正部２０は、入力画像特徴値算出部１８から入力画像ブロックの画像特徴値（画素値最小値）を入力し、さらに予測画像特徴値算出部１９から予測画像指定領域１６の予測画像データｆ及びその画像特徴値ｊを入力すると、予測画像指定領域１６の予測画像の各画素の値を、図中の横実線矢印で示すように両画像間の画素値最小値の差分だけ増加（加算）させて、入力画像ブロックの画像特徴値に合わせる補正を実行する。
【００５２】
（ｆ）は、予測画像及び入力画像の画素値とその発生頻度との関係を示すグラフにおいて、画素値範囲を画素特徴値として予測画像データを入力画像データの画像特徴に合わせる補正をする場合を示している。図において、予測画像指定領域１６の予測画像の画素値分布を表す曲線（破線曲線）に付した縦破線、及び、入力画像の画素値分布を表す曲線（実線曲線）に付した縦実線は、それぞれ予測画像指定領域１６の予測画像及び入力画像ブロックにおいて発生した画素値範囲を示している。
【００５３】
予測画像補正部２０は、入力画像特徴値算出部１８から入力画像ブロックの画像特徴値（画素値範囲）を入力し、さらに予測画像特徴値算出部１９から予測画像指定領域１６の予測画像データｆ及びその画像特徴値ｊを入力すると、予測画像指定領域１６の予測画像の各画素の値を、図中の横実線矢印で示すように両画像間の画素値範囲の差分だけ増加（加算）させて、入力画像ブロックの画像特徴値に合わせる補正を実行する。
【００５４】
上述のように、本発明では、実際に動きベクトルを探索する範囲内で指定された予測画像指定領域の予測画像の画像特徴値を入力画像ブロックの画像特徴値に合わせるように補正する。
【００５５】
例えば、フラッシュ画像のような輝度変化が大きい画像では、予測画像を補正せずに動きベクトルの予測評価値を算出すると、予測評価値が大きくなり過ぎる傾向がある。この場合、符号化対象ブロックの動きに対応する動きベクトルであっても、動きベクトル選択候補から外れる場合がある。
【００５６】
これに対して、本発明のように予測画像を補正すると、入力画像ブロックに近い画像を予測画像として選択することができ、フラッシュ画像であっても符号化効率のよい予測画像を選択することが可能となる。また、絵柄が類似しているが輝度や色差等が異なるような予測画像に対しても入力画像ブロックの絵柄に最も似た画像を選択することができる。
【００５７】
動き予測部３内の評価値算出部１０は、入力画像データａ及び予測画像補正部２０からの予測画像データｂを入力して予測評価値ｉを算出し、動きベクトル選択部１１に出力する。具体的には、予測画像データｂを用いて、入力画像データａにより特定される符号化対象の入力画像ブロックに対応する、予測画像指定領域１６内の予測画像ブロック（予測画像指定領域１６と同一サイズである場合を含む）１７を求め、補正された予測画像と符号化対象の入力画像ブロックとのマッチング処理を行い、これら画像間の画素値差分などを用いて上記予測画像と符号化対象の入力画像ブロックとの差異の度合いを示す予測評価値ｉ（例えば、画素値差分絶対値和など）を算出する。
【００５８】
上述したように、本発明では、加減演算により予測画像を補正するので、補正した予測画像と補正前の予測画像とでは直流成分（ＤＣ成分）が異なる。このため、予測評価値が最小の動きベクトル候補に対する補正前の予測画像が、常に符号化効率が最もよいとは限らない。また、予測評価値が最小の動きベクトルが複数存在する場合もあり得る。
【００５９】
そこで、最小の予測評価値以外に幾つかの予測評価値の選択候補を抽出することを目的として、予測評価値を評価するための閾値を設定する。この閾値は、固定値として予め設定するものや、入力画像又は予測画像の画像特徴から任意に設定及び更新される可変値でもよい。但し、どの場合においても、符号化効率のよい動きベクトルの候補を選択できる範囲での値を設定する。
【００６０】
例えば、異なる複数の予測評価値について動きベクトルの情報量や量子化ステップ、Ｓ／Ｎ値などのパラメータの統計をとり、同時に画質評価を行って決定した値であって、許容される符号化効率を与え得る予測評価値の最上限値が上記閾値として設定される。
【００６１】
評価値算出部１０は、予測評価値ｉを算出するたびに上記閾値との比較を行い、当該閾値を超える予測評価値ｉを除外し、これ以下の予測評価値ｉを抽出して動きベクトル選択部１１に出力する。
【００６２】
動きベクトル選択部１１では、評価値算出部１０が抽出した予測評価値ｉが１つであれば、この予測評価値ｉに基づいて動きベクトル探索範囲１５で探索された動きベクトルを選択する。つまり、予測評価値ｉに対応する予測画像ブロックの移動量を動きベクトルとして求める。
【００６３】
一方、評価値算出部１０により複数の予測評価値ｉが抽出されると、動きベクトル選択部１１は、これら予測評価値ｉにより決定される動きベクトル候補の中から、符号化効率を考慮して指定した条件によって動きベクトルを選択する。
【００６４】
例えば、抽出された複数の予測評価値ｉの各々に対応する予測画像についてその補正前の元の予測画像の画像特徴値が入力画像ブロックの画像特徴値に最も近いものを求め、この画像特徴値を与える予測画像の予測評価値ｉにより動きベクトル候補を選択する。これは、入力画像ブロックの画像特徴値に最も近い動きベクトル候補がＤＣ成分の可変長符号化効率が最もよいためである。
【００６５】
なお、入力画像ブロックの画像特徴値に最も近い動きベクトル候補が複数存在する場合、動きベクトル選択部１１が、上述した複数の予測評価値にそれぞれ対応する動きベクトル候補の中で直前の符号化動きベクトルに対して、水平成分及び垂直成分のそれぞれの差の和が最小の動きベクトル等、情報量が少なく符号化効率のよい動きベクトルを選択するようにしてもよい。
【００６６】
このように、本発明では、予測評価値ｉが最小のもののみを選択するのではなく、上記閾値により複数の予測評価値ｉを抽出し、予測評価値以外の条件（例えば、予測画像についての補正値など）にて上記複数の予測評価値に対応する動きベクトルをそれぞれ評価して、総合的に符号化効率の良い動きベクトルを選択する。これにより、入力画像の絵柄に近い画像を選択することができる。例えばＤＣ成分係数の可変長符号化効率が最もよい動きベクトルを選択することができる。
【００６７】
動きベクトル選択部１１は、上述のようにして動きベクトルを選択すると、選択した動きベクトルに関する動きベクトル情報ｃを生成して画像メモリ部４及び可変長符号化部９に出力する。
【００６８】
画像メモリ部４では、動きベクトル情報ｃに対応する予測画像ブロックの予測画像データｅを読み出して差分演算部５及び復号加算部８に出力する。差分演算部５では、符号化対象の入力画像ブロックの入力画像データａとこれに対応する予測画像ブロックの予測画像データｅとの差分演算を行って予測差分画像データとして符号化部６に出力する。
【００６９】
符号化部６は、入力した予測差分画像データを符号化し、この符号化データを復号部７及び可変長符号化部９に出力する。復号部７では、符号化部６からの符号化データを復号し、予測差分画像復号データとして復号加算部８に出力する。なお、符号化部６及び復号部７は、任意の動画像符号化復号処理でよく、ＭＰＥＧ−２やＭＰＥＧ−４、ベクトル量子化などに限定されるものではない。
【００７０】
復号加算部８は、予測画像データｅと復号加算部８からの予測差分画像復号データとの加算演算を行って復号加算画像データｇとして画像メモリ部４に出力する。この復号加算画像データｇが予測画像（参照）フレームの画像データとなり、予測画像指定領域読み出し信号ｄに基づいて画像メモリ部４から当該予測画像フレーム内の予測画像指定領域の予測画像データｆが読み出される。
【００７１】
可変長符号化部９では、動きベクトル情報ｃ及び符号化部６からの符号化データを可変長符号化し、可変長符号化データｈとして出力する。なお、可変長符号化部９による可変長符号化処理は、任意の可変長符号化処理でよく、この処理方法の違いなどにより本発明の内容が制限されるものではない。
【００７２】
以上のように、この実施の形態１によれば、実際に動きベクトル探索する範囲内で指定した予測指定画像と符号化対象の入力画像ブロックの画像特徴値に基づいて、予測指定画像の画像特徴値を入力画像ブロックの画像特徴値に合わせるように補正するので、フラッシュ画像のような輝度変化のある画像や絵柄が類似しているが輝度や色差等が異なる画像のように、輝度変化や輝度や色差などの違いにより符号化対象ブロックの動きを正確に追随していない動きベクトルが選択されて正しい動きベクトルが選択候補から外れる可能性が高い画像であっても、入力画像ブロックの絵柄に近い画像を選択することができる。また、入力画像ブロックの絵柄に近い画像を符号化することで、符号化効率のよい予測画像を選択することができる。
【００７３】
なお、上記実施の形態１では、予測画像補正部２０が、予測画像領域指定部１３により指定された予測画像指定領域１６の予測画像における複数種類の画像特徴値を、符号化対象の入力画像ブロックの上記各種類に対応する画像特徴値に合わせるように補正する例を示したが、各種類の画像特徴値について補正を行った予測画像を用いて予測評価値をそれぞれ求め、これら予測評価値に基づいて動きベクトルを選択するようにしても良い。
【００７４】
例えば、複数種類の画像特徴値として、画素平均値、画素値最大頻度値、画素値範囲を扱う場合で説明する。勿論、画像特徴値としては、画素平均値、画素値最大頻度値及び画素値範囲に限定されるものではなく、予測指定領域の予測画像に対して加減演算により入力画像ブロックの画像特徴値に合わせられる特徴値であればよい。例えば、画素値中央値や画素値最大値などがあり、その種類の選択は任意でよい。
【００７５】
先ず、評価値算出部１０が、予測画像補正部２０により各種類の画像特徴値を基にして補正された予測画像と符号化対象の入力画像ブロックとのマッチングを行って予測評価値を求める。ここでは、画素平均値、画素値最大頻度値及び画素値範囲に基づいてそれぞれ補正された予測画像を用いて予測評価値が求められることになる。
【００７６】
続いて、動きベクトル選択部１１は、評価値算出部１０により画像特徴値毎に算出された予測評価値に基づいて動きベクトルを決定する。この動きベクトルの決定方法としては、例えば画像特徴値毎に算出された予測評価値のうち最小のものに対応する動きベクトルを選択したり、画像特徴値毎に算出されたそれぞれの予測評価値のうち小さい順に複数ずつ候補を選出し、予測画像の補正値（例えば、予測画像と入力画像との画像特徴値の差分）等その他の要因と合わせて総合的に予測評価値を判定して動きベクトルを選択してもよい。このように構成することでも、上記実施の形態１と同様な効果を得ることができる。
【００７７】
また、上記実施の形態１では、予測指定領域の予測画像の画像特徴値を符号化対象の入力画像ブロックの画像特徴値に合わせるように補正する例を示したが、このような補正を施すと、本実施の形態による動画像符号化装置において予め指定した取り扱うべき画素値の範囲を、補正後の予測画像における画素値が超えてしまう場合がある。
【００７８】
例えば、本実施の形態による動画像符号化装置において、画素値を８ビットの範囲で表現することを予め指定していた場合を考える（勿論、本発明は、８ビットに限定されるものではなく、８ビット以下でも８ビット以上でもよい）。
【００７９】
この場合、図５（ａ）に示すように画像特徴値として画素平均値を選び、予測指定領域の予測画像の画素平均値を入力画像ブロックの画素平均値に合わせる補正を施すと、補正すべき予測画像の画素値平均値と入力画像ブロックの画素値平均値との組み合わせによって、上述した８ビットの範囲を超えることがある。この傾向は、画像特徴値として上記実施の形態で述べたその他の画像特徴値を選択した場合においても同様である。
【００８０】
ここで、予め指定した画素値範囲であればさらに規定した画素値範囲の画素を予測画像で補正する画素として設定しても良い。例えば、画素値が８ビットで表現される全ての画素領域でなくても、８ビット全域０〜２５５のうち１６〜２３５の画素値範囲を補正すべき有効領域としてもよい。また、予め指定した画素値範囲内に入力画像ブロックの画素値範囲がある場合、入力画像ブロックの画素値範囲を予測画像で補正すべき画素領域としてもよい。
【００８１】
そこで、予測画像補正部２０が、符号化対象の入力画像ブロックの画像特徴値に合うように補正した予測画像の画素値が予め指定した画素値の取り得るべき範囲にあるか否かを判定し、当該画素値範囲内にないと判定された画素値がある場合、この予測画像の画素値を予め指定した画素値範囲内になるようにさらに補正するようにしてもよい。
【００８２】
この場合の補正の方法としては、予め指定した画素値範囲を超えたり、これに満たなかったりした画素値を除くために、予測指定領域の予測画像の画素値範囲に下限又は上限の境界値を設定するリミット処理などがある。
【００８３】
また、予め指定した画素値の取り得るべき範囲にあるか否かは、例えば指定したビット数で画素値が表現されているか、若しくは、指定したビット数で表すことができる画素値範囲内のデータであるかなどを基準として判定する。
【００８４】
このように補正後の予測画像の画素値を予め指定した画素値範囲内になるようにさらに補正するのは、例えば入力画像ブロックの絵柄により近い画像を予測画像として選択するためであり、最初の補正で予測画像の画素値に含まれるノイズ成分の除去等を想定している。
【００８５】
つまり、予測画像の画素値の一部が最初の補正によって入力画像ブロックの画素値範囲からずれる場合、ずれた一部の画素値を上記予め指定した画素値範囲内にさらに補正することで、入力画像ブロックの絵柄に近い画像を予測画像とすることができ、ひいては符号化対象の入力画像ブロックの動きに合致した動きベクトルの候補とすることができる。
【００８６】
具体的な処理としては、予測画像補正部２０が、予め指定した画素値範囲に基づいて、最初の補正を施した予測画像の画素のうち、さらに補正が必要な画素をカウントし、予め設定した閾値を基準としてカウント値の大小を判定する。このとき、カウント値が上記閾値より小さい予測画像候補データはさらに補正し、カウント値が上記閾値より大きければこの予測画像候補データを予測画像として使用しないか、若しくは、最初の補正のみを行った予測画像候補データを用いて予測評価値を算出する。
【００８７】
なお、上述した閾値としては、入力画像ブロックの画像特徴に近くなるように補正した予測画像の画像特徴がさらなる補正によって変更されてしまうと、入力画像ブロックにより近い画像特徴を有する予測画像を探索するという本来の趣旨を逸脱してしまうため、最初の補正により決定された予測画像の画像特徴が変更されない最大限の基準値であればよい。例えば、最初の補正を施した予測画像に対してさらに補正してもその画像特徴を変更しない最大限の画素数全体の割合や画素数を設定する。
【００８８】
また、この閾値は、固定値として予め設定するものや、入力画像又は予測画像の画像特徴から任意に設定及び更新される可変値でもよい。但し、どの場合においても、最初の補正が施された予測画像の画像特徴を概ね損なわない範囲での値を設定する。
【００８９】
このように、予測指定領域の予測画像の画像特徴値を入力画像ブロックの画像特徴値に合わせるように補正した予測画像が指定された画素値範囲を超えた場合、この予測画像をさらに補正するように構成することで、予め指定した画素値範囲を超えるノイズ成分等を除去して入力画像の絵柄に近い画像を選択することができ、ひいては符号化効率のよい予測画像を選択することができる。
【００９０】
実施の形態２．
図６は、この発明の実施の形態２による動画像符号化装置の画像補正部及び動き予測部の構成を示すブロック図である。実施の形態２による動き予測部３ａは、上記実施の形態１で示した評価値算出部１０、動きベクトル選択部１１、動きベクトル探索範囲指定部１２及び予測画像領域指定部１３の他、予測画像特徴値差分算出部（差分算出部）２１、オフセット値設定部２２及び更新評価値算出部２３を構成要素として有する。
【００９１】
これらの構成要素１０〜１３，２１〜２３は、本発明に従う動画像符号化プログラムを構成するプログラムモジュールとして構成する。これにより、当該動画像符号化プログラムを実行するコンピュータを、上記構成要素１０〜１３，２１〜２３として機能させることができる。
【００９２】
なお、図６において、上記実施の形態１で示した図２及び図４と同一若しくはこれに相当する構成要素やデータには同一符号を付しており、また、これら以外の図１に示した構成要素４〜９についても同一構成であり、これらに関する重複した説明は省略する。
【００９３】
次に動作について説明する。
ここでは、上記実施の形態１と異なる処理を詳細に説明する。
入力画像特徴値算出部１８は、符号化対象の入力画像ブロックに関する入力画像データａを入力して画像特徴を解析し、それを数値化した入力画像特徴値を算出する。一方、予測画像特徴値算出部１９は、予測画像指定領域の予測画像データｆを入力して画像特徴を解析し、それを数値化した予測画像特徴値ｊを算出して予測画像補正部２０及び動き予測部３ａの予測画像特徴値差分値算出部２１に出力する。
【００９４】
なお、画像特徴値としては、予測画像指定領域の予測画像及び入力画像ブロック内の画素の値に対する画素平均値、画素最大値、画素最小値、画素値中央値、画素値の最大頻度値や、画素値の発生範囲などが考えられるが、予測画像指定領域の予測画像に対して加減演算により入力画像ブロックの画像特徴値に合わせることができる特徴値であればよい。
【００９５】
また、画像特徴値は、入力画像ブロックの画像特徴を最も表す特徴値を選択するものとする。画素の値としては、輝度成分の他、色差成分やＲＧＢ成分などについての各画素値やその他の画像信号成分の画素値であってもよい。
【００９６】
補正の方法としては、重み係数等により乗算にて画像特徴値を補正する場合も考えられるが、補正によってもＡＣ成分が変更されない加減演算により予測画像指定領域の予測画像の補正を入力画像ブロックの画像特徴値に合わせる補正を実行する。
【００９７】
予測画像補正部２０は、予測画像特徴値算出部１９から入力した予測画像データｆ及びその予測画像特徴値ｊの他、入力画像特徴値算出部１８から入力画像特徴値を入力して、入力画像特徴値及び予測画像特徴値ｊに基づき、予測画像データｆで規定される予測画像を補正する。補正した予測画像の予測画像データｂは、予測画像補正部２０から動き予測部３ａに出力される。
【００９８】
具体的には、動きベクトル探索範囲内で動き予測用に指定された予測画像指定領域の予測画像特徴値ｊを入力画像データａの入力画像特徴値に合わせるように、予測画像データｆで規定される予測画像指定領域の予測画像を補正する。
【００９９】
動き予測部３ａでは、内部の評価値算出部１０が入力画像データａ及び予測画像データｂを入力し、予測画像特徴値差分値算出部２１が入力画像データａ、予測画像データｂ及び予測画像特徴値ｊを入力し、動きベクトル探索範囲指定部１２が入力画像データａを入力する。
【０１００】
評価値算出部１０は、上記実施の形態１と同様にして入力画像データａにより求まる入力画像ブロックに対応する予測画像の予測評価値ｉを算出し、更新評価値算出部２３に出力する。具体的には、予測画像データｂを用いて、入力画像データａにより特定される符号化対象の入力画像ブロックに対応する、予測画像指定領域内の予測画像ブロック（予測画像指定領域と同一サイズである場合を含む）を求め、これらの差を予測評価値ｉとして算出する。
【０１０１】
上述したように、本発明では、加減演算により予測画像を補正するので、補正した予測画像と補正前の予測画像とでは直流成分（ＤＣ成分）が異なる。このため、予測評価値が最小の動きベクトル候補に対応する補正前の予測画像が、常に符号化効率が最もよいとは限らない。また、予測評価値が最小の動きベクトルが複数存在する場合もあり得る。
【０１０２】
そこで、本実施の形態２においても、最小の予測評価値以外に幾つかの予測評価値の選択候補を抽出することを目的として、予測評価値を評価するための閾値を設定する。この閾値は、固定値として予め設定するものや、入力画像又は予測画像の画像特徴から任意に設定及び更新される可変値でもよい。但し、どの場合においても、符号化効率のよい動きベクトルの候補を選択できる範囲での値を設定する。
【０１０３】
例えば、異なる複数の予測評価値について動きベクトルの情報量や量子化ステップ、Ｓ／Ｎ値などのパラメータの統計をとり、同時に画質評価を行って決定した値であって、許容される符号化効率を与え得る予測評価値の最上限値が上記閾値として設定される。
【０１０４】
評価値算出部１０は、予測評価値ｉを算出するたびに上記閾値との比較を行い、当該閾値を超える予測評価値ｉを除外し、閾値以下の予測評価値ｉを抽出して更新評価値算出部２３に出力する。
【０１０５】
予測画像特徴値差分値算出部２１は、補正した予測画像の予測画像データｂに基づいて当該予測画像の画像特徴値を算出し、予測画像特徴値算出部１９から別途入力した補正前の予測画像の画像特徴値ｊとの間で補正前後の予測画像特徴値の差分値ｋを算出する。この差分値ｋは、オフセット値設定部２２に出力される。
【０１０６】
なお、オフセット値設定部２２への入力データとしては、予測画像特徴値差分値算出部２１により、補正前後の予測画像の画像特徴値の差分値を小区間にクラス分けしたデータを差分値ｋとしてもよく、補正前後の予測画像の画像特徴値の差がわかるデータであればよい。
【０１０７】
オフセット値設定部２２では、入力した補正前後の予測画像特徴値の差分値ｋに基づいてオフセット値ｌを設定し（例えば、差分値ｋの関数値）、更新評価値算出部２３に出力する。なお、入力画像ブロックに近い絵柄の予測画像を選択するため、オフセット値ｌは、画像特徴値の中で入力画像ブロックの画像特徴値に近い程、小さい値となる傾向になるように設定する。
【０１０８】
従って、補正前後の予測画像の画像特徴値の差分値ｋが小さい方がオフセット値ｌが小さい傾向となる。これは、補正前後の予測画像の画像特徴値の差分値ｋが小さい方が、予測差分画像のＤＣ成分を可変長符号化した場合の符号化効率が高いためである。
【０１０９】
また、予めシーケンス単位やピクチャ単位でオフセット値ｌを設定しても、ピクチャ内で分割された領域毎や符号化単位ブロック毎にオフセット値ｌを設定してもよい。但し、符号化効率を考慮してオフセット値ｌの大きさを決める必要がある。
【０１１０】
更新評価値算出部２３では、評価値算出部１０から入力した予測評価値ｉとオフセット値設定部２２から入力したオフセット値ｌとを加算して、予測画像の補正前後の予測評価値のずれを反映させた更新評価値ｍを算出し動きベクトル選択部１１に出力する。
【０１１１】
動きベクトル選択部１１は、更新評価値算出部２３から入力した更新評価値ｍが最小となる動きベクトルを選択し、選択した動きベクトルに関する動きベクトル情報ｃを生成して後段の構成（画像メモリ部４及び可変長符号化部９）に出力する。
【０１１２】
一方、評価値算出部１０が上記閾値に基づいて複数の予測評価値ｉを抽出した場合、更新評価値算出部２３は、これら予測評価値ｉについてそれぞれ更新評価値ｍを算出する。これら更新評価値ｍは、オフセット値ｌを加算する前の予測評価値ｉの中から上記閾値により最小の予測評価値ｉから複数の評価値、つまり最小値付近のものとして選択された者に対応する。
【０１１３】
動きベクトル選択部１１では、更新評価値算出部２３により最小値付近の予測評価値ｉについて算出された更新評価値ｍのうち、最小となる更新評価値ｍに対応する動きベクトル候補を選択する。
【０１１４】
このようにすることで、予測評価値ｉが最小のもののみを選択するのではなく、上記閾値により複数の予測評価値ｉを抽出し、最小値付近の予測評価値ｉであって、これに対応する動きベクトルが何れも動きベクトル選択候補となり得るものの中から、最も符号化効率のよい予測画像に対応した動きベクトルを選択することが可能である。
【０１１５】
また、上述したように、本実施の形態では、動きベクトル選択部１１が更新評価値ｍに基づいて動きベクトルを選択する。この場合、画像特徴値毎のオフセット値ｌの間に大きな値の開きがあると、オフセット値が最も小さい画像特徴値に対応する動きベクトルが選択される可能性が高くなる。
【０１１６】
このため、入力画像ブロックの画像特徴値に近い予測画像の画像特徴値のオフセット値とその他の画像特徴値のオフセット値とで大きな開きがありすぎると、符号化効率がより良い動きベクトル候補が破棄されてしまう可能性がある。
【０１１７】
具体的に説明する。例えば、入力画像の画素平均値と予測画像の画素平均値との差分値を差分値Ａとし、これに基づいて求められるオフセット値をオフセット値Ａとする。また、入力画像の画素値最大頻度値と予測画像の画素値最大頻度値との差分値を差分値Ｂとし、とし、これに基づいて求められるオフセット値をオフセット値Ｂとする。さらに、入力画像の画素値中央値と予測画像の画素値中央値との差分値を差分値Ｃとし、これに基づいて求められるオフセット値をオフセット値Ｃとする。差分値の大小関係が、差分値Ｃ＜差分値Ｂ＜差分値Ａである場合、オフセット値の大小関係は、オフセット値Ｃ＜オフセット値Ｂ＜オフセット値Ａであるものとする。
【０１１８】
動きベクトル選択部１１は、更新評価値算出部２３により予測評価値ｉとオフセット値ｌとを加算した更新評価値ｍに基づいて動きベクトルを選択する。上述の例では、入力画像ブロックに一番近い画素値中央値の予測評価値ｉに加算するオフセット値Ｃが他のオフセット値Ａ，Ｂよりも小さいため、入力画像ブロックに一番近い画素値中央値に対応する動きベクトル候補が優先的に選択されることになる。
【０１１９】
このとき、オフセット値Ｃが他のオフセット値Ａ，Ｂよりも許容量を超えた範囲で小さい場合、画素値中央値に基づいて算出した更新評価値Ｃが、画素値平均値に基づいて算出した更新評価値Ａ及び画素値最大頻度値に基づいて算出した更新評価値Ｂと比較して相対的に極端に小さくなってしまう。
【０１２０】
これは、画素値中央値に基づいて算出した更新評価値Ｃに対応する動きベクトルが選択される確率が高くなるが、オフセット値の大小関係を考慮しなければ、本来選択されるべき予測評価値に対応する動きベクトルが選択候補からはずれてしまい破棄される可能性も含んでいる。
【０１２１】
そこで、オフセット値ｌは、入力画像ブロックの画像特徴値に近い予測画像の画像特徴値を優先的に選択させるような値であり、且つ符号化効率を考慮して動きベクトルが選択できる値にする必要がある。
【０１２２】
上述した例では、入力画像ブロックの画像特徴値に最も近い予測画像の画像特徴値を優先的に選択させるために、オフセット値Ｃを他のオフセット値より小さい値とする。このとき、動きベクトル候補として画素値中央値に対応する動きベクトルに偏り過ぎないようにするため、オフセット値Ｃと他のオフセット値Ａ，Ｂとの相対的な大小関係に大きな開きが生じないように調整する。
【０１２３】
つまり、オフセット値設定部２２が複数の画像特徴値に対応するオフセット値をそれぞれ設定するにあたり、各オフセット値は任意の値を取り得るが（絶対値で表現しても良い）、これらの相対的な大小関係については、符号化効率を考慮して適宜決定して最も符号化効率が良い動きベクトルが選択される大小関係に調節する。
【０１２４】
以上のように、この実施の形態２では、予測画像における補正前後の画像特徴値の差分値ｋを算出し、これに基づいてオフセット値ｌを設定し、予測評価値にそのオフセット値を加算した更新評価値に基づいて動きベクトルを選択するので、入力画像ブロックの絵柄に近い画像を選択することができる。また、入力画像ブロックの絵柄に近い画像を符号化することで、符号化効率のよい予測画像を選択することが可能である。
【０１２５】
なお、上記実施の形態２では、予測画像特徴値差分値算出部２１により補正した予測画像データｂに基づいて補正後の予測画像特徴値を算出する例を示したが、補正後の予測画像特徴値は、予測画像特徴値差分値算出部２１の外部で算出して算出結果の値を予測画像特徴値差分値算出部２１に入力させる構成にしてもよい。つまり、本発明では、予測画像特徴値差分値算出部２１により補正前後の予測画像の画像特徴値の差分値ｋを算出することができる構成であればよい。
【０１２６】
実施の形態３．
図７は、この発明の実施の形態３による動画像符号化装置の動きベクトル選択部及びその周辺構成を示すブロック図である。本実施の形態３による動画像符号化装置における動き予測部は、上記実施の形態２におけるオフセット値設定部２２の代わりに、画像特徴値毎に優先順位を設定する優先順位設定部２４を具備している。
【０１２７】
優先順位設定部２４は、本発明に従う動画像符号化プログラムを構成するプログラムモジュールとして構成する。これにより、当該動画像符号化プログラムを実行するコンピュータを、優先順位設定部２４として機能させることができる。
【０１２８】
なお、図７において、上記実施の形態２で示した図６と同一若しくはこれに相当する構成要素やデータには同一符号を付しており、また、これら以外の図１に示した構成要素２，４〜９についても同一構成であり、これらに関する重複した説明は省略する。
【０１２９】
次に動作について説明する。
ここでは、上記実施の形態と異なる処理を詳細に説明する。
優先順位設定部２４は、予測画像特徴値差分値算出部２１から入力した予測画像特徴値の差分値ｋに基づいて画像特徴値毎に動きベクトルを選択する際の優先順位を設定し、優先順位に関するデータｎとして動きベクトル選択部１１に出力する。
【０１３０】
ここで、予測画像特徴値差分値算出部２１が優先順位設定部２４に出力するデータとしては、補正前後の予測画像の画像特徴値の差分値ｋを単純に求めたものであってもよく、補正前後の予測画像の画像特徴値の差分値を小区間にクラス分けしたデータであってもよい。つまり、補正前後の予測画像の画像特徴値の差がわかるデータであればよく、これに基づいて予測画像の画像特徴値毎に動きベクトルを選択する際の優先順位を決定することができるデータであればよい。
【０１３１】
優先順位設定部２４は、入力画像ブロックに近い絵柄の予測画像を選択するため、予測画像の画像特徴値のうち入力画像ブロックの画像特徴値に近い順に優先順位を設定する。具体的には、補正前後での差分値が小さい予測画像の画像特徴値に関して優先順位が高くなるように設定される。
【０１３２】
これは、補正前後の画像特徴値の差分値が小さい予測画像の方が、予測差分画像のＤＣ成分を可変長符号化した場合の符号化効率が高いためである。なお、予測画像の画像特徴値毎の優先順位は、予めシーケンス単位やピクチャ単位で設定しても、ピクチャ内で分割された領域毎や符号化単位ブロック毎に設定してもよい。
【０１３３】
図７では記載を省略したが、評価値算出部１０は、上記実施の形態１、２と同様にして、最小の予測評価値のみならず、予測評価値を評価するための閾値に基づいて複数の予測評価値を抽出する。例えば、上記閾値としては、許容される符号化効率を与え得る予測評価値の最上限値が設定される。
【０１３４】
上記閾値以下として複数の予測評価値ｉが抽出されると、これらの予測評価値ｉは、評価値算出部１０から動きベクトル選択部１１に出力される他、図中特に記載を省略したが優先順位設定部２４にも出力される。
【０１３５】
優先順位設定部２４では、評価値算出部１０により上記閾値以下として抽出された複数の予測評価値ｉの大小関係などから、これら予測評価値ｉに対応する予測画像の画像特徴値に順位付けを行う。さらに、優先順位設定部２４は、予測画像特徴値差分値算出部２１から入力した予測画像特徴値の差分値ｋを用い、上述のようにして当該差分値ｋに対応し且つ上述した順位付けが行われた各画像特徴値について動きベクトル選択に関する優先順位を設定する。
【０１３６】
このように処理するのは、以下のような理由からである。
例えば、差分値ｋに基づく優先順位が第１位の画像特徴値の予測画像であるにも関わらず、この予測画像の予測評価値ｉが上記閾値より大きいと、評価値算出部１０は、当該予測評価値ｉを出力しない。
【０１３７】
また、フェードインやフラッシュにより輝度変化や色差変化等の変化の度合いが大きい画像などにおいては、補正前後の予測画像の画像特徴値の差分値ｋが大きく、これに基づき設定された優先順位が第２位や第３位に相当する画像特徴値の予測画像であってもその予測評価値ｉが上記閾値より小さければ、評価値算出部１０により抽出される。
【０１３８】
この場合、動きベクトル選択部１１は、差分値ｋに基づく優先順位が第２位や第３位の画像特徴値の予測画像に対応する動きベクトル候補を選択し、優先順位が第１位の画像特徴値の予測画像が選択されない。
【０１３９】
そこで、上記閾値以下として抽出された複数の予測評価値ｉに対応する予測画像の画像特徴値に順位付けを行い、差分値ｋに対応し且つ上述した順位付けが行われた各画像特徴値について動きベクトル選択に関する優先順位を設定する。
【０１４０】
動きベクトル選択部１１では、動きベクトル探索範囲で探索された動きベクトル候補が複数あれば、これらのうち優先順位設定部２４から入力した優先順位が最も高い画像特徴値の予測画像に対応する動きベクトルを選択し、選択した動きベクトルに関する動きベクトル情報ｃを生成して後段の構成（画像メモリ部４及び可変長符号化部９）に出力する。
【０１４１】
以上のように、この実施の形態３によれば、予測画像指定領域の予測画像の画像特徴値毎に動きベクトル選択に関する優先順位ｎを設定し、評価値算出部１０より算出された予測評価値に対応する動きベクトル候補の中から優先順位に基づいて動きベクトルを選択するので、予測評価値及び画像特徴値の優先順位に基づいて入力画像ブロックの絵柄により近い画像を選択することができる。また、入力画像ブロックの絵柄により近い画像を符号化することで、符号化効率のよい予測画像を選択することが可能である。
【０１４２】
実施の形態４．
図８は、この発明の実施の形態４による動画像符号化装置の動きベクトル選択部及びその周辺構成を示すブロック図である。本実施の形態４による動画像符号化装置における動き予測部は、上記実施の形態２における構成に上記実施の形態３で示した優先順位設定部２４を具備している。
【０１４３】
これら構成要素も、上記実施の形態と同様に、本発明に従う動画像符号化プログラムを構成するプログラムモジュールとして構成し、当該動画像符号化プログラムをコンピュータに実行させることで、上記構成要素として機能させることができる。
【０１４４】
なお、図８において、上記実施の形態２で示した図６と同一若しくはこれに相当する構成要素やデータには同一符号を付しており、また、これら以外の図１に示した構成要素２，４〜９についても同一構成であり、これらに関する重複した説明は省略する。
【０１４５】
次に動作について説明する。
ここでは、上記実施の形態と異なる処理を詳細に説明する。
予測画像特徴値差分値算出部２１からの差分値ｋは、オフセット値設定部２２及び優先順位設定部２４に出力される。この差分値ｋとしては、補正前後の予測画像の画像特徴値の差分値を小区間にクラス分けしたデータであってもよく、補正前後の予測画像の画像特徴値の差がわかるデータであればよい。
【０１４６】
オフセット値設定部２２では、上記実施の形態２と同様にして、予測画像特徴値差分値算出部２１から入力した補正前後の予測画像特徴値の差分値ｋに基づいて、オフセット値ｌを設定し（例えば、差分値ｋの関数値）、更新評価値算出部２３に出力する。
【０１４７】
上述したオフセット値ｌの設定は、入力画像ブロックに近い絵柄の予測画像を選択するため、予測画像の画像特徴値の中で入力画像ブロックの画像特徴値に近い程、小さいオフセット値となる傾向になるよう設定する。つまり、補正前後の予測画像の画像特徴値の差分値ｋが小さい程、オフセット値が小さくなる傾向となる。
【０１４８】
また、オフセット値ｌは、画像特徴値に対して小区間にクラス分けされて階段状に量子的に値を設定してもよい。さらに、予めシーケンス単位やピクチャ単位でオフセット値を設定しても、ピクチャ内の領域毎や符号化単位ブロック毎にオフセット値を設定してもよい。
【０１４９】
更新評価値算出部２３では、上述のようにして設定されたオフセット値ｌと、上記実施の形態１と同様にして評価値算出部１０が算出した予測評価値ｉとを加算して更新評価値ｍを算出する。この更新評価値ｍは、更新評価値算出部２３から動きベクトル選択部１１に出力される。なお、評価値算出部１０が、上記実施の形態１で示した予測評価値を評価するための閾値により複数の予測評価値を抽出した場合、更新評価値算出部２３は、これに応じて複数の更新評価値ｍを算出して動きベクトル選択部１１に出力する。
【０１５０】
優先順位設定部２４は、予測画像特徴値差分値算出部２１から入力した差分値ｋに基づいて、画像特徴値毎に動きベクトルを選択する際の優先順位を設定し、優先順位に関するデータｎとして動きベクトル選択部１１に出力する。具体的には、入力画像ブロックに近い絵柄の予測画像を選択するため、予測画像の画像特徴値のうち入力画像ブロックの画像特徴値に近い順、つまり差分値ｋが小さい予測画像の画像特徴値に関して優先順位が高くなるように設定される。
【０１５１】
これは、補正前後の画像特徴値の差分値が小さい予測画像の方が、予測差分画像のＤＣ成分を可変長符号化した場合の符号化効率が高いためである。なお、予測画像の画像特徴値毎の優先順位は、予めシーケンス単位やピクチャ単位で設定しても、ピクチャ内で分割された領域毎や符号化単位ブロック毎に設定してもよい。
【０１５２】
動きベクトル選択部１１には、更新評価値算出部２３から入した更新評価値ｍと最小の更新評価値との差分に関する閾値が設定されており、更新評価値算出部２３が算出した更新評価値ｍのうち、最小の更新評価値との間での差分が当該閾値以下である更新評価値ｍを抽出する。
【０１５３】
最小の更新評価値との差分に関する閾値としては、固定値として予め設定するものや、入力画像又は予測画像の画像特徴から任意に設定及び更新される可変値でもよい。但し、どの場合においても、符号化効率のよい動きベクトルの候補を複数選択できる範囲での値を設定する。
【０１５４】
例えば、更新評価値ｍの最小値との差分について値を変更して、動きベクトルの情報量や量子化ステップ、Ｓ／Ｎ値などのパラメータの統計をとり、同時に画質評価を行って決定され、符号化効率の良い動きベクトルを与える上記差分の最上限値が上記閾値として設定される。
【０１５５】
このようにすることで、最小値付近の複数の更新評価値ｍであって、いずれの更新評価値ｍも動きベクトル候補を導き出せるものの中から入力画像に近い動きベクトルを選択することができる。
【０１５６】
なお、上記閾値により抽出された更新評価値ｍに対応する予測画像の中には、差分値ｋにより設定された優先順位が最も高い画像特徴値を有するものが含まれない場合がある。つまり、最も優先順位の高い画像特徴値の更新評価値が上記閾値によって常に選別されるとは限らない。
【０１５７】
そこで、動きベクトル選択部１１は、上記閾値により選別した更新評価値ｍに対応する予測画像の画像特徴値のうち、優先順位設定部２４から入力した優先順位が最も高い画像特徴値の予測画像に対応する動きベクトル候補を選択し、選択した動きベクトルに関する動きベクトル情報ｃを生成して後段の構成（画像メモリ部４及び可変長符号化部９）に出力する。
【０１５８】
以上のように、この実施の形態４によれば、予測画像指定領域の予測画像の補正前後の画像特徴値の差分値ｋに基づいて、オフセット値ｌを設定し（例えば、差分値ｋの関数値）、オフセット値ｌと予測評価値ｉを加算してなる更新評価値ｍを算出すると共に、予測画像の画像特徴値毎に動きベクトル選択に関する優先順位を設定し、更新評価値ｍ及び優先順位に基づいて符号化対象の入力画像ブロックの符号化に利用する動きベクトルを選択するので、入力画像ブロックの画像特徴値に近い予測画像の画像特徴値に対応する予測評価値を優先的に選択することができ、入力画像ブロックの絵柄に近い画像を選択することができる。また、入力画像の絵柄に近い画像を符号化することで符号化効率のよい予測画像を選択することが可能である。
なお、上記実施の形態１から実施の形態４では、コンピュータプログラムで本発明の装置を具現化する説明をしたが、全部又は一部をハードウエアで構成してもよく、本発明を制限するものではない。
【図面の簡単な説明】
【０１５９】
【図１】この発明の実施の形態１による動画像符号化装置の構成を示すブロック図である。
【図２】図１中の動き予測部の構成を示すブロック図である。
【図３】図１中の画像メモリ部に記憶される予測画像フレーム、これに規定された動き探索範囲、予測画像指定領域及び予測画像ブロックを示す図である。
【図４】図１中の画像補正部の構成を示すブロック図である。
【図５】予測画像指定領域の予測画像及び入力画像の画素値とその発生頻度との関係を示すグラフである。
【図６】この発明の実施の形態２による動画像符号化装置の画像補正部及び動き予測部の構成を示すブロック図である。
【図７】この発明の実施の形態３による動画像符号化装置の動きベクトル選択部及びその周辺構成を示すブロック図である。
【図８】この発明の実施の形態４による動画像符号化装置の動きベクトル選択部及びその周辺構成を示すブロック図である。
【符号の説明】
【０１６０】
１  動画像符号化装置、２  画像補正部、３，３ａ  動き予測部、４  画像メモリ部、５  差分演算部、６  符号化部、７  復号部、８  復号加算部、９  可変長符号化部、１０  評価値算出部、１１  動きベクトル選択部、１２  動きベクトル探索範囲指定部（探索範囲指定部）、１３  予測画像領域指定部（領域指定部）、１４  予測画像フレーム、１５  動きベクトル探索範囲、１６  予測画像指定領域、１７  予測画像ブロック、１８  入力画像特徴値算出部、１９  予測画像特徴値算出部、２０  予測画像補正部、２１  予測画像特徴値差分算出部（差分算出部）、２２  オフセット値設定部、２３  更新評価値算出部、２４  優先順位設定部。
【図１】
2005328383.tif 000003
【図２】
2005328383.tif 000004
【図３】
2005328383.tif 000005
【図４】
2005328383.tif 000006
【図５】
2005328383.tif 000007
【図６】
2005328383.tif 000008
【図７】
2005328383.tif 000009
【図８】
2005328383.tif 000010