(57)【特許請求の範囲】
【請求項１】
マルチフレーム動き予測における参照フレームの番号とその番号に対応する可変長符号の参照フレーム同定情報とを利用可能な動画像符号化方法であって、
参照フレームのフレーム類似度を計算する段階と、
前記フレーム類似度が大きい参照フレームほど参照頻度が高いと予測して、ビットストリームに占める参照フレームインデックス符号の割合が小さくなるように参照フレーム同定情報を求める段階と、
前記参照フレーム同定情報を符号化された動画像データとともに多重化する段階と、
を有する、動画像符号化方法。
【請求項２】
前記参照フレーム同定情報を求める段階は、前記参照頻度の予測の結果に基づいて、相対的に高い頻度で参照される参照フレームの参照フレームインデックス符号に相対的に短い符号長の符号を割り当て、相対的に低い頻度で参照される参照フレームの参照フレームインデックス符号に相対的に長い符号長の符号を割り当てることにより、参照フレーム同定情報を求める段階を有する、請求項１に記載の動画像符号化方法。
【請求項３】
前記フレーム類似度を計算する段階は、画像フレームから直交変換係数を抽出して前記フレーム類似度を計算する段階を有する、請求項１または２に記載の動画像符号化方法。
【請求項４】
前記フレーム類似度が所定のしきい値よりも小さい参照フレームを検出する段階と、
前記検出された参照フレームを非参照フレームとして取り扱う段階と、
をさらに有する請求項１に記載の動画像符号化方法。
【請求項５】
参照フレーム全体の参照頻度を予測する、請求項１に記載の動画像符号化方法。
【請求項６】
参照フレームの一部の参照頻度を予測する、請求項１に記載の動画像符号化方法。
【請求項７】
マルチフレーム動き予測における参照フレームの番号とその番号に対応する可変長符号の参照フレーム同定情報を利用可能な動画像符号化装置であって、
フレーム類似度を計算して前記フレーム類似度が大きい参照フレームほど参照頻度が高いと予測し、前記予測の結果を用いて、ビットストリームに占める参照フレームインデックス符号の割合が小さくなるように参照フレーム同定情報を求める参照フレーム同定情報算出手段と、
前記参照フレーム同定情報を符号化された動画像データとともに多重化する多重化手段と、
を有する動画像符号化装置。
【請求項８】
前記参照フレーム同定情報算出手段は、前記参照頻度の予測の結果に基づいて、相対的に高い頻度で参照される参照フレームの参照フレームインデックス符号に相対的に短い符号長の符号を割り当て、相対的に低い頻度で参照される参照フレームの参照フレームインデックス符号に相対的に長い符号長の符号を割り当てることにより、参照フレーム同定情報を求める手段である、請求項７に記載の動画像符号化装置。
【請求項９】
画像フレームから直交変換係数を抽出して前記フレーム類似度を計算する、請求項７に記載の動画像符号化装置。
【請求項１０】
前記フレーム類似度が所定のしきい値よりも小さい参照フレームを非参照フレームとみなして計算を行う、請求項７に記載の動画像符号化装置。
【請求項１１】
参照フレーム全体の参照頻度が予測される、請求項７に記載の動画像符号化装置。
【請求項１２】
参照フレームの一部の参照頻度が予測される、請求項７に記載の動画像符号化装置。
【請求項１３】
マルチフレーム動き予測における参照フレームの番号とその番号に対応する可変長符号の参照フレーム同定情報とを利用可能な動画像符号化を実行するコンピュータに、
参照フレームのフレーム類似度を計算する処理と、
前記フレーム類似度が大きい参照フレームほど参照頻度が高いと予測して、ビットストリームに占める参照フレームインデックス符号の割合が小さくなるように参照フレーム同定情報を求める処理と、
前記参照フレーム同定情報を符号化された動画像データとともに多重化する処理と、
を実行させるプログラム。
【請求項１４】
前記参照フレーム同定情報を求める処理は、前記参照頻度の予測の結果に基づいて、相対的に高い頻度で参照される参照フレームの参照フレームインデックス符号に相対的に短い符号長の符号を割り当て、相対的に低い頻度で参照される参照フレームの参照フレームインデックス符号に相対的に長い符号長の符号を割り当てることにより、参照フレーム同定情報を求める処理を有する、請求項１３に記載のプログラム。
【請求項１５】
前記フレーム類似度を計算する処理は、画像フレームから直交変換係数を抽出して前記フレーム類似度を計算する処理を有する、請求項１３または１４に記載のプログラム。
【請求項１６】
前記フレーム類似度が所定のしきい値よりも小さい参照フレームを検出する処理と、
前記検出された参照フレームを非参照フレームとして取り扱う処理と、
をさらに前記コンピュータに実行させる、請求項１３に記載のプログラム。
【請求項１７】
前記参照フレーム同定情報を求める処理において、参照フレーム全体の参照頻度が予測される、請求項１３に記載のプログラム。
【請求項１８】
前記参照フレーム同定情報を求める処理において、参照フレームの一部の参照頻度が予測される、請求項１３に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、動画像符号化技術に関し、特に、マルチフレ−ム動き予測を行う動画像符号化において、符号量を制御する技術に関する。
【背景技術】
【０００２】  図１は、動画像信号を符号化する従来の典型的な符号化装置の構成を示すブロック図である。【０００３】  図１に示される符号化装置は、局所的復号装置を含んでおり、周波数変換装置１０１、量子化装置１０２、可変長符号化装置１０３、逆量子化装置１０４、逆周波数変換装置１０５、フレームメモリ１０６、動き補償装置１０７、動き推定装置１０８および符号量制御装置１０９を備えている。さらに符号化装置は、減算器１２１、スイッチ１２２および加算器１２３を備えている。【０００４】  入力画像フレ−ムは、符号化装置に入力されて、複数のブロックに分割される。分割されたブロックは、フレ−ム間予測が用いられる場合には、減算器１２１によって、後述する予測値を減じられる。【０００５】  フレ−ム間予測とは、過去に再構築された画像フレ−ムを用いて現在の画像を予測する方法である。予測値が減じられた入力ブロックを予測誤差と呼ぶ。なお、同一符号化フレームの隣接画素から予測値を生成するフレーム内予測のみで符号化フレーム内の全てのブロックを符号化した画像フレームをＩピクチャと呼ぶ。フレーム内予測とフレーム間予測とを用いて符号化された画像フレームをＰピクチャと呼ぶ。さらに、フレーム間予測において、現在の符号化フレームに対して入力時刻が過去と未来である複数の再構築画像フレームを参照したフレーム間予測を用いて符号化された画像フレームを、Ｂピクチャと呼ぶ。【０００６】  一般に、符号化動画像データにおいて、Ｉピクチャは一定周期で設定され、このＩピクチャで区切られる複数フレームからなる区間をＧＯＰ（グループオブピクチャ；Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）と呼ぶ。これらのＩ，Ｐ，ＢピクチャおよびＧＯＰの定義は、国際標準の動画像符号化規格であるＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）方式などで使われている。【０００７】  次に、予測値が減算された入力ブロックは、周波数変換装置１０１によって周波数領域に変換される。周波数領域に変換された入力ブロックは、量子化装置１０２によって量子化される。量子化された入力ブロックすなわち変換係数は、可変長符号化装置１０３によってエントロピー符号化され、出力される。なお、スイッチ１２２は、フレーム間予測を行うか行わないかを切り替えるために設けられている。フレーム間予測を行わない場合には、スイッチ１２２により、予測値の減算が行われていない入力ブロックが、周波数変換装置１０１に直接与えられる。【０００８】  量子化された予測誤差は、局所的復号処理として、逆量子化装置１０４および逆周波数変換装置１０５により、再び元の空間領域の予測誤差に戻される。さらに、空間領域に戻された予測誤差は、加算器１２３により予測値を加えられ、再構築画像としてフレームメモリ１０６に格納される。【０００９】  フレ−ムメモリ１０６に格納された再構築画像は、動き補償装置１０７および動き推定装置１０８によって、予測値の生成に参照される。よって、フレームメモリ１０６に格納された再構築画像は参照フレームとも呼ばれる。【００１０】  動き補償装置１０７は、動き推定装置１０８から供給される動きベクトルと参照フレームインデックスを用いて、フレームメ��リ１０６に格納された参照フレームから予測値を生成する。動き推定装置１０８は、入力画像のブロックと参照フレームから、入力ブロックと予測値との差分すなわち予測誤差を最小にする、入力ブロックの動きベクトルと参照するフレームの番号を示す参照フレームインデックスとを検出する。【００１１】  上記の処理によって圧縮された動画像情報であるビットストリームは、主にブロックごとの変換係数、量子化パラメータ、動きベクトル、参照フレームインデックスからなる可変長符号によって構成されている。【００１２】  ところで、一般に、デジタル放送システムや画像通信サービスなどにおいて、動画像信号は、伝送・蓄積のために、その発生符号量すなわちビットレートが制御されている。そこで、符号量制御装置１０９は、可変長符号化装置１０３が供給する発生符号量を監視し、発生符号量が目標のビットレートを超えそうであれば量子化パラメータを大きくして変換係数を削減し、発生符号量が目標のビットレートを下回りそうであれば量子化パラメータを小さくして変換係数を増加させる。これによって、従来の動画像符号化技術では、発生符号量が制御される。【００１３】  一般に、固定された情報量で動画像を高画質に符号化するためには、ビットストリームに含まれる変換係数の情報量の割合を大きくすることが最も好ましい。なぜならば、変換係数こそが画像のテクスチャを表現する情報だからである。
【発明の開示】
【発明が解決しようとする課題】
【００１４】  しかしながら、上述した従来の動画像符号化技術では、単純に量子化パラメータを変動させることによって目標のビットレートを達成しようとする。そのため、低ビットレートで動画像を符号化する際には、目標ビットレート達成のために単純に量子化パラメータを大きくして変換係数を削減してしまい、符号化された動画像の品質を低下させてしまう。【００１５】  そこで、本発明の目的は、画質の低下を招くことなく、ビットストリームに占める参照フレームインデックス符号量を削減することができる、動画像符号化における符号量制御技術を提供することにある。【００１６】  本発明の別の目的は、画質の低下を招くことなく、ビットストリームに占める参照フレームインデックス符号量を削減することができる、動画像符号化方法を提供することにある。【００１７】  本発明さらに別の目的は、画質の低下を招くことなく、ビットストリームに占める参照フレームインデックス符号量を削減することができる、動画像符号化装置を提供することにある。
【課題を解決するための手段】
【００１８】  本発明の第１の様相によれば、マルチフレーム動き予測における参照フレームの番号とその番号に対応する可変長符号の参照フレーム同定情報とを利用可能な動画像符号化方法は、参照フレームの参照頻度を求める段階と、参照頻度を用いて、ビットストリームに占める参照フレームインデックス符号の割合が小さくなるように参照フレーム同定情報を求める段階と、参照フレーム同定情報を符号化された動画像データとともに多重化する段階と、を有する。【００１９】  本発明の第２の様相によれば、マルチフレーム動き予測における参照フレームの番号とその番号に対応する可変長符号の参照フレーム同定情報とを利用可能な動画像符号化装置は、参照フレームの参照頻度を計算し、参照頻度を用いて、ビットストリームに占める参照フレームインデックス符号の割合が小さくなるように参照フレーム同定情報を求める参照フレーム同定情報算出手段と、参照フレーム同定情報を符号化された動画像データとともに多重化する多重化手段と、を備える。【００２０】  本発明の第３の様相によれば、マルチフレーム動き予測における参照フレームの番号とその番号に対応する可変長符号の参照フレーム同定情報を利用可能な動画像符号化装置は、フレーム類似度を計算して参照フレームの参照頻度を推定し、参照頻度を用いて、ビットストリームに占める参照フレームインデックス符号の割合が小さくなるように参照フレーム同定情報を求める参照フレーム同定情報算出手段と、参照フレーム同定情報を符号化された動画像データとともに多重化する多重化手段と、を有する。【００２１】  本発明では、マルチフレーム動き予測における被参照フレームの番号とその番号に対応する可変長符号の参照フレーム同定情報とを利用可能な動画像符号化方法において、参照フレームの参照頻度を計算あるいは推定することによって、ビットストリームに占める参照フレームインデックスの割合が極力小さくなるように、参照フレーム同定情報を参照頻度から生成する。そしてこの参照フレーム同定情報をビットストリームとともに多重化する。これにより、ビットストリーム中に占める変換係数の割合が高くなり、量子化パラメータも小さくなるため、動画像を高画質に符号化することができる。【００２２】  なお、参照頻度は、動き推定器で得られる予測誤差と動きベクトルの重み付け和とによって選択された参照フレームによって計算することができる。あるいは、参照頻度は、画像フレームから抽出された直交変換係数を用いたフレーム類似度を用いて推定できる。直交変換係数は、動き推定を行うことなく得られる画像の特徴量であるので、フレーム類似度を用いる方法によれば、より少ない演算量で参照フレーム同定情報を計算することができる。
【図面の簡単な説明】
【００２３】［図１］図１は、動画像信号を符号化する従来の典型的な符号化装置の構成を示すブロック図である。
［図２］図２は、本発明の第１の実施形態の動画像符号化装置の構成を示すブロック図である。
［図３］図３は、マルチフレーム動き予測を説明する図である。
［図４］図４は、参照フレーム同定の処理を示すフローチャートである。
［図５］図５は、参照フレームと動き予測の関係を示す図である。
［図６］図６は、参照フレームと更新参照フレームインデックスの対応例を示す図である。
［図７Ａ］図７Ａは、参照フレーム番号とｒｅｆ＿ｉｎｄｅｘとの対応表の初期値を示す図である。
［図７Ｂ］図７Ｂは、本発明に基づいて更新された参照フレーム番号とｒｅｆ＿ｉｎｄｅｘの対応表を示す図である。
［図８］図８は、参照フレームと動き予測の関係を示す図である。
［図９］図９は、参照フレームと動き予測の関係を示す図である。
［図１０］図１０は、本発明の第２の実施形態の動画像符号化装置の構成を示すブロック図である。
［図１１］図１１は、シーン解析装置の構成を示すブロック図である。
［図１２］図１２は、縮小フレームの生成を説明する図である。
［図１３］図１３は、アダマール行列を示す図である。
［図１４］図１４は、参照フレーム同定の処理を示すフローチャートである。
［図１５］図１５は、本発明を利用した情報処理装置の構成を示すブロック図である。
【発明を実施するための最良の形態】
【００２４】  図２に示した本発明の第１の実施形態の動画像符号化装置は、図１に示した符号化装置に対し、さらに、参照フレーム同定装置１１０を加えたものであり、可変長符号化装置１０３は、参照フレーム同定装置１１０が供給する参照フレーム同定情報に基づいて、参照フレームインデックスに対応する可変長符号を決定する。図２において、図１におけるものと同一の構成要素には同一の参照符号が付与されており、これらについては、詳細な説明は省略する。【００２５】  以下、本実施形態の動画像符号化装置で特徴的な参照フレーム同定装置１１０および可変長符号化装置１０３を説明する。【００２６】  参照フレーム同定装置１１０は、動き推定装置１０８から供給される動きベクトルおよび予測誤差を用いて符号化対象フレームと参照フレーム間の類似度を計算し、この類似度から求められる非参照頻度を用いて参照フレーム同定情報を生成する。【００２７】  参照フレーム同定情報は、符号化対象フレームが動き予測に用いる参照フレームの枚数ＮＵＭ＿ＲＥＦと、参照するフレームの番号ｆｒａｍｅ＿ｎｕｍに対応する変更参照フレームインデックスｍ＿ｒｅｆ＿ｉｎｄｅｘ［ＭＡＸ＿ＲＥＦ］とで構成される。ＭＡＸ＿ＲＥＦは、最大参照フレーム数である。【００２８】  まず、図３を参照して、動き推定装置１０８が供給する動きベクトルおよび予測誤差を説明し、参照フレーム同定装置１１０における参照フレーム同定情報の生成を説明する。【００２９】  フレームの横方向の画素数をＷ、
縦方向の画素数をＨ、
符号化対象フレームを構成する画素値をＦ（ｘ，ｙ）、
ブロックが動き予測に参照するフレームの番号に対応したインデックスをｒｅｆ  ｉｎｄｅｘ（ｒｅｆ＿ｉｎｄｅｘ≦ＭＡＸ＿ＲＥＦ）、
参照フレームインデックスｒｅｆ＿ｉｎｄｅｘに対応する符号化済みフレームを構成する画素値をＲ（ｘ，ｙ，ｒｅｆ＿ｉｎｄｅｘ）、
フレームを分割するブロックのサイズをｗ×ｈ、
分割して生成されたブロックにフレームの左上から右下へラスタスキャン順に割り振った番号をｉ（Ｏ≦ｉ＜ｂｌｏｃｋ＿ｎｕｍ）、
ｉ番目ブロック左上角のフレーム内で座標を（ｂｘ（ｉ），ｂｙ（ｉ））、
とする。【００３０】  ｉ番目ブロックの参照フレームインデックスｒｅｆ＿ｉｎｄｅｘに対応する動きベクトルＭＶｘ（ｉ，ｒｅｆ＿ｉｎｄｅｘ），ＭＶｙ（ｉ，ｒｅｆ＿ｉｎｄｅｘ）と、予測誤差ＰＲＥＤ＿Ｅ（ｉ，ｒｅｆ＿ｉｎｄｅｘ）とは、式（１）のｄｉｆｆ（ｍｖｘ，ｍｖｙ，ｒｅｆ＿ｉｎｄｅｘ）を最小にするｍｖｘ，ｍｖｙと、その最小なｄｉｆｆ（ＭＶｘ（ｉ，ｒｅｆ＿ｉｎｄｅｘ），ＭＶｙ（ｉ，ｒｅｆ＿ｉｎｄｅｘ），ｒｅｆ＿ｉｎｄｅｘ）によって与えられる。【００３１】
0004702059.tif 000002
次に、図４を参照して、本実施形態における参照フレーム同定装置１１０の動作を説明する。【００３２】  まず、ステップＳ１０１において、動き推定装置１０８から供給される動きベクトルＭＶｘ，ｙ（ｉ，ｒ）、予測誤差ＰＲＥＤ＿Ｅ（ｉ，ｒ）を用いて、式（２）に基づき、各参照フレームｒに対する各ブロックｉのブロックコストＢＬＯＣＫ＿ＣＯＳＴ（ｉ，ｒ）を計算する。αおよびβは、量子化ステップサイズに依存したパラメータである。【００３３】
0004702059.tif 000003
このブロックコストＢＬＯＣＫ＿ＣＯＳＴ（ｉ，ｒ）は、参照フレームインデックスｒに対応する参照フレームｆｒａｍｅ＿ｎｕｍ（ｒ）を動き補償に用いた場合の発生符号量を間接的に表現する。なお、ＭＶｘ，ｙ（ｉ，ｒ）は、実際に符号化される差分ベクトルＤＭＶｘ，ｙ（ｉ，ｒ）であってもよい。【００３４】  次にステップＳ１０２において、ステップＳ１０１で求めたブロックコストＢＬＯＣＫ＿ＣＯＳＴ（ｉ，ｒ）を用いて、各ブロックの最良参照フレームインデックスＢＥＳＴ＿ＲＥＦ（ｉ）を計算する。ＢＥＳＴ＿ＲＥＦ（ｉ）は、１≦ｒ≦ＭＡＸ＿ＲＥＦにおいて最も小さなＢＬＯＣＫ＿ＣＯＳＴ（ｉ，ｒ）に対応するｒで与えられる。【００３５】  続いてステップＳ１０３において、ＢＥＳＴ＿ＲＥＦ（ｉ）の値（参照フレームインデックスｒ）の分布を解析する。参照フレームインデックスｒの個数をＮＵＭ（ｒ）とし、ＮＵＭ（ｒ）（１≦ｒ≦ＭＡＸ＿ＲＥＦ）の初期値を０とする。番号ｉのブロックの最良参照フレームインデックスＢＥＳＴ＿ＲＥＦ（ｉ）がｒの時、ＮＵＭ（ｒ）を１インクリメントする処理をｉ＝０からｉ＜ｂｌｏｃｋ＿ｎｕｍまでについて実行する。【００３６】  最後に、ステップＳ１０４において、以下の処理によって、参照フレーム同定情報を計算する。【００３７】  ステップＳ１０３で得られたＮＵＭ（ｒ）（１≦ｒ≦ＭＡＸ＿ＲＥＦ）をその値が大きいものから順に選択し、そのＮＵＭ（ｒ）に対応する参照フレーム番号ｆｒａｍｅ＿ｎｕｍ（ｒ）に１から始まる番号を割り振り、その番号をｍ＿ｒｅｆ＿ｉｎｄｅｘとして記憶する。この際、ＮＵＭ（ｒ）の個数が０であればＮＵＭ＿ＲＥＦを１デクリメントする。なお、ＮＵＭ＿ＲＥＦの初期値は、ＭＡＸ＿ＲＥＦである。【００３８】  以上の処理によって発生頻度（参照頻度）の高い参照フレーム番号と、それに対応する更新参照フレームインデックスと、動き予測に用いる参照フレームの枚数とを計算することができる。【００３９】  図５は、参照フレーム番号と参照フレームインデックスとの関係の一例を示している。図５に示すような関係が参照フレーム番号と参照フレームインデックスとの間にあるとき、以下に示す３つの例において参照フレーム同定装置１１０での処理によって得られると予測される更新ｍ＿ｒｅｆ＿ｉｎｄｅｘを図６に示す。図６中の例１は、シーンに瞬間的な変動のない定常状態の場合を示したものであり、例２は、フレーム１０３およびフレーム１０４にフラッシュが発生した場合を示したものであり、例３は、シーンに瞬間的な変動のない定常状態であるが動きが速く、フレーム１０４からしか動き予測がなされない場合を示したものである。【００４０】  次に、本実施形態における可変長符号化装置１０３を説明する。【００４１】  可変長符号化装置１０３は、参照フレーム同定装置１１０から供給される参照フレーム同定情報をビットストリームにシグナリングし、さらに、参照フレーム同定情報に基づいて、ブロックごとに伝送する参照フレームインデックスの可変長符号を変更する。ただし本発明は、参照フレーム同定情報の生成方法を主題とするものであり、参照フレーム同定情報の伝送方法あるいは符号化方法は、本発明の範疇外である。したがって、��照フレーム同定装置１１０から供給される参照フレーム同定情報を用いて、ブロックごとに伝送する参照フレームインデックス符号がどのように変更されるについて、以下で説明する。【００４２】  まず、参照フレーム同定情報をシグナリングしない場合における、参照フレームインデックスとその可変長符号の割り当てについて説明する。【００４３】  動画像を構成する画像フレームをＦ（ｉ）、符号化対象のフレームをＦ（ｃｕｒ），フレーム間隔をｔ、符号化対象フレームが動き予測で参照するフレームをＦ（ｃｕｒ＋ｔ）とする。すると、動画像の性質から、ｔが小さい、すなわちフレーム間隔が小さいほど、画素の変動が小さく、動き予測の効果が高い。このため、小さなｔ（１≦ｔ≦ＭＡＸ＿ＲＥＦ）に対応するフレームほど、動き予測において頻繁に参照される。【００４４】  一般に、発生頻度の高い情報に相対的に短い符号長の符号、発生頻度の低い情報に相対的に長い符号長の符号を割り当てることによって、情報を効果的に圧縮できる。このことを利用し、シーンに瞬間的な変動がない定常状態では、フレーム間隔が近い参照フレームに対応する参照フレームインデックスに対し短い可変長符号を割り当てることで、ブロックごとに伝送する参照フレーム符号量を効果的に削減できる。【００４５】  例として、現在するフレームの番号が１０５、最大参照フレーム枚数ＭＡＸ＿ＲＥＦが４、参照するフレームの番号が１０１〜１０４の場合の、参照フレーム番号と参照フレームインデックスそして可変長符号の関係を図７Ａに示す。図７Ａにおいて、可変長符号は２進法表記で表わされている。【００４６】  しかしながら、“フレーム間隔の近い参照フレームの参照フレームインデックスに対し相対的に短い可変長符号を割り当てることで、ブロックごとに伝送する参照フレーム符号量を効果的に削減できる”という事項は、全ての動画像に対して必ず当てはまるとは限らない。【００４７】  例えば、図８に示すように、動画像においてフラッシュや遮蔽によって瞬間的なシーン変動が発生し、フレームの画素値が大きく変動してしまった場合などが考えられる。このような場合、フレーム１０２が高い頻度で参照フレームとして選択される。このため、符号長の長い参照フレームインデックス３が高い頻度で発生し、定常状態よりも参照フレームインデックスの発生符号量が増大する。【００４８】  また、符号化対象フレーム１０５に対する参照フレーム１０２のフレーム間隔が大きく離れている。このため、定常状態よりも画素の変動が大きく、予測誤差および動きベクトル長が大きくなり、ブロックごとに伝送する変換係数とベクトル符号量が増加する。符号量制御装置１０９は、増大した発生符号量を目標ビットレートに保つために、量子化パラメータを大きくする。この結果、このフレームの画質は低下する。【００４９】  しかしながら、このような場合において、本実施形態の符号化装置が備える参照フレーム同定装置１１０は、動きベクトルと予測誤差を用いて、図６の例２で示したように発生頻度の高い参照フレームを解析し、
ｍ＿ｒｅｆ＿ｉｎｄｅｘ１⇔ｆｒａｍｅ＿ｎｕｍ１０２，
ｍ＿ｒｅｆ＿ｉｎｄｅｘ２⇔ｆｒａｍｅ＿ｎｕｍ１０１，
ｍ＿ｒｅｆ＿ｉｎｄｅｘ３⇔ｆｒａｍｅ＿ｎｕｍ１０４，
ｍ＿ｒｅｆ＿ｉｎｄｅｘ４⇔ｆｒａｍｅ＿ｎｕｍ１０３
を参照フレーム同定情報として可変長符号化装置１０３にシグナリングする。なお、上記の式中、“⇔”は、“対応する”を意味する。【００５０】  この参照フレーム同定情報に基づき、可変長符号化装置１０３は、図７Ａのフレーム番号ｆｒａｍｅ＿ｎｕｍに対応するｒｅｆ＿ｉｎｄｅｘを、図７Ｂに示すように、更新参照フレームインデックスｍ＿ｒｅｆ＿ｉｎｄｅｘに置き換えることができる。【００５１】  これにより、高い頻度で最良参照フレームと選択されるフレーム番号１０２に対して、３ビットの可変長符号に代えて１ビットの短い可変長符号を割り当てることができ、ブロックごとに伝送される参照フレーム情報を大幅に削減できる。また、参照フレームインデックスの符号量が減少するので、ビットレートに占める変換係数の割合が高まる。この結果、量子化パラメータの増加は抑えられ、画質の劣化を低減できる。このような利点は、図８に示した瞬間的なシーンの変動においてのみではなく、図９に示されるように定常的でかつ動きの速いシーンであって、かつ動き予測で参照に用いられるフレームがフレーム番号１０４だけである場合にも得られる。【００５２】  このような場合においても本実施形態の符号化装置では、参照フレーム同定装置１１０は、動きベクトルと予測誤差を用いて、図６の例３で示したように発生頻度の高い参照フレームを解析し、
ｍ＿ｒｅｆ＿ｉｎｄｅｘ１⇔ｆｒａｍｅ＿ｎｕｍ１０４，
ｍ＿ｒｅｆ＿ｉｎｄｅｘ２⇔ｆｒａｍｅ＿ｎｕｍ１０３，
ｍ＿ｒｅｆ＿ｉｎｄｅｘ３⇔ｆｒａｍｅ＿ｎｕｍ１０２，
ｍ＿ｒｅｆ＿ｉｎｄｅｘ４⇔ｆｒａｍｅ＿ｎｕｍ１０１，
ＮＵＭ＿ＲＥＦ＝１
を参照フレーム同定情報として可変長符号化装置１０３にシグナリングする。【００５３】  この場合、可変長符号化装置１０３は、参照フレーム同定装置１１０から供給される参照フレーム同定情報ＮＵＭ＿ＲＥＦがＮＵＭ＿ＲＥＦ＝１であることより、フレームが参照するフレーム枚数は１枚であり、ｍ＿ｒｅｆ＿ｉｎｄｅｘ１⇔ｆｒａｍｅ＿ｎｕｍ１０４より、唯一の参照フレームが１０４であることをビットストリーム中にシグナリングできる。このように、動き予測に用いる参照フレームは１枚となり、ブロックごとの参照フレームインデックスを伝送する必要がない。【００５４】  その結果、ビットレートに占める変換係数の割合が高まり、量子化パラメータは小さくなるので、符号化された動画像の画質を改善することができる。【００５５】  次に、本発明の第２の実施形態の動画像符号化装置を説明する。【００５６】  図１０に示した第２の実施形態の動画像符号化装置は、図１に示した符号化装置に対し、さらに、参照フレーム同定装置１１０およびシーン解析装置１１１を加えたものである。シーン解析装置１１１は、入力画像フレームからフレーム特徴量を計算し、計算されたフレーム特徴量を参照フレーム同定装置１１０に供給する。【００５７】  ここでフレーム特徴量とは、各入力画像フレームから計算した直交変換係数である。参照フレーム同定装置１１０は、シーン解析装置１１１が供給するフレーム特徴量からフレーム類似度を計算し、このフレーム類似度を用いて参照フレーム同定情報を生成する。参照フレーム同定装置１１０が供給する参照フレーム同定情報によって、可変長符号化装置１０３は、参照フレームインデックスに対応する可変長符号を決定し、動き推定装置１０８は、参照フレーム同定情報で指定される参照フレームに対して動き推定を実行する。【００５８】  上述の第１の実施形態では、参照フレーム同定情報の生成に必要な予測誤差と動きベクトルを求めるために、大きな演算量を必要とする動き推定を実行しなければなかった。しかしながら、直交変換係数は、動き推定を実行することなく、画像フレームから直接計算可能であり、直交変換係数を用いることによって、参照フレーム同定情報の生成ための計算も、動き推定を実行する前に実行することが可能である。そこでこの第２の実施形態では、この参照フレーム同定情報を動き推定装置１０８にシグナリングし、動き推定装置１０８において、参照フレーム同定情報が非参照とするフレームに対する動き推定を停止させることが可能である。【００５９】  以下では、本実施形態におけるシーン解析装置１１１および参照フレーム同定装置１１０について説明する。なお、本実施形態において、可変長符号化装置１０３の動作は、第１の実施形態の場合と同一である。【００６０】  図１１に示すように、シーン解析装置１１１は、フレーム縮小装置１１１１と直交変換装置１１１２によって構成される。以下、フレーム縮小装置１１１１と直交変換装置１１１２の動作を説明する。【００６１】  フレーム縮小装置１１１１は、式（３）を用いて、入力フレームＦ（ｘ，ｙ）の（０≦ｘ＜Ｗ，０≦ｙ＜Ｈ）から縮小フレームＳ（ｘ，ｙ）（０≦ｘ＜ｗ，０≦ｙ＜ｈ）を生成する。図１２はこのフレーム縮小を概念的に示している。【００６２】
0004702059.tif 000004
ここで、ｗｗ＝Ｗ／ｗ、ｈｈ＝Ｈ／ｈである。以降、処理の都合上、ｗおよびｈは、それぞれその値が２のべき乗であることが望ましい。【００６３】  直交変換装置１１１２は、式（４）を用いて、フレーム縮小装置１１１１から供給される縮小画像フレームＳ（ｉ，ｊ）（０≦ｘ＜ｗ，０≦ｙ＜ｈ）から、直交変換係数Ｃｏｅｆｆ（ｉ，ｊ）（０≦ｘ＜ｗ，０≦ｙ＜ｈ）を計算する。【００６４】
0004702059.tif 000005
ここで“・”は行列積を示し、Ｈｗ，ｈは、図１３に示す漸化式で表現できるアダマール行列である。【００６５】  以上の処理によって得られた直交変換係数Ｃｏｅｆｆ（ｉ，ｊ）は、フレームの絵柄を表現しており、各フレームの直交変換係数を比較することによって、フレーム間の類似度を見ることができる。【００６６】  なお、本実施形態では、直交変換に離散アダマール変換を用いているが、離散アダマール変換の代わりに、離散コサイン変換などの直交変換を使用可能であることは、言うまでもない。【００６７】  参照フレーム同定装置１１０は、シーン解析装置１１１から供給される直交変換係数を用いて、参照フレーム同定情報を生成する。その場合、第１の実施形態の場合と同様に、参照フレーム同定情報は、フレームの用いる参照フレームの枚数ＮＵＭ＿ＲＥＦ、参照するフレームの番号ｆｒａｍｅ＿ｎｕｍに対応する変更参照フレームインデックスｍ＿ｒｅｆ＿ｉｎｄｅｘで構成される。インデックスｍ＿ｒｅｆ＿ｉｎｄｅｘは、最大参照フレーム数ＭＡＸ＿ＲＥＦだけある。【００６８】  図１４を参照して、本実施形態における参照フレーム同定装置１１０の動作を説明する。【００６９】  参照フレームインデックスｒに対応する参照フレーム番号をｆｒａｍｅ＿ｎｕｍ（ｒ）とし、シーン解析装置１１１から供給される符号化対象フレームの直交変換係数をＣｏｅｆｆ（ｘ，ｙ）（０≦ｘ＜ｗ，０≦ｙ＜ｈ）とし、過去にシーン解析装置１１１から供給されたｆｒａｍｅ＿ｎｕｍ（ｒ）番フレームに対応する直交変換係数をＰ＿Ｃｏｅｆｆ（ｆｒａｍｅ＿ｎｕｍ（ｒ），ｘ，ｙ）（０≦ｘ＜ｗ，０≦ｙ＜ｈ）とする。【００７０】  まず、ステップＳ２０１において、式（５）に基づき、直交変換係数差分ＤＩＦＦ＿ＣＯＥＦＦ（ｒ）を１≦ｒ≦ＭＡＸ＿ＲＥＦについて計算する。フレーム類似度は、１／ＤＩＦＦ＿ＣＯＥＦＦ（ｒ）で定義される。ここでｃ（ｉ，ｊ）は、直交変換の周波数成分に応じた重み付けパラメータであり、ｄは１よりも大きい参照フレームインデックスに対するた重み付けパラメータである。このとき、ｃ（ｉ，ｊ）（ｉ２＋ｊ２≠０）が０であれば、平均値を用いた処理と同等となる。【００７１】
0004702059.tif 000006
このブロックコストＤＩＦＦ＿ＣＯＦＦ（ｒ）は、参照フレームインデックスｒに対応する参照フレームｆｒａｍｅ＿ｎｕｍ（ｒ）と現在の符号化対象フレームとの絵柄の差分を表現する。絵柄の差分が小さいフレームほど、動き予測に効果的である。すなわち絵柄の差分が小さいフレームほど、参照頻度が高いと予測される。【００７２】  次に、ステップＳ２０２において、ステップＳ２０１で求めたＤＩＦＦ＿ＣＯＦＦ（ｒ）を小さいものから順にソートする。【００７３】  続いてステップＳ２０３において、ステップＳ２０２でソートしたＤＩＦＦ＿ＣＯＦＦ（ｒ）に対して、値が小さい順にそのＤＩＦＦ＿ＣＯＦＦ（ｒ）に対応する参照フレーム番号ｆｒａｍｅ＿ｎｕｍ（ｒ）に、１から始まる番号を割り振り、その割り振った番号をｍ＿ｒｅｆ＿ｉｎｄｅｘとして記憶する。また、この際に、ＤＩＦＦ＿ＣＯＥＦ（ｒ）がしきい値Ｔよりも大きい場合、ＮＵＭ＿ＲＥＦを１デクリメントする。なお、ＮＵＭ＿ＲＥＦの初期値はＭＡＸ＿ＲＥＦである。【００７４】  以上の処理により、参照頻度が高いと予測される参照フレーム番号とそれに対応する更新参照フレームインデックスを計算することができる。【００７５】  また、ステップＳ２０３の参照フレーム同定２でのしきい値Ｔの判定、すなわち、極端にフレーム間の絵柄が異なるフレームを非参照フレームと判断することによって、参照フレームインデックス符号量を削減できるだけでなく、符号化効率改善に必要のない動き推定の回数を削減できる。すなわち、符号化対象フレームの直交変換係数と参照フレームの直交変換係数との差分が極端に大きい場合、この参照フレームは、そのフレームにおいてフラッシュや遮蔽が発生している、動き予測の効果が小さいフレームである。したがってそのような参照フレームを非参照フレームとみなして参照フレーム同定情報を生成することができる。参照フレーム同定情報が非参照フレームとする参照フレームに対する動き推定を停止させることで、参照フレームインデックスの符号量を削減できるだけでなく、演算量の多い動き推定の実行回数も削減することができる。【００７６】  第１及び第２の実施形態においては、参照フレームの全体にわたって参照頻度を計算または推定しているが、本発明においては、参照フレームの一部の領域に限定してその領域の参照頻度を計算または推定してもよい。【００７７】  以上説明した本発明に基づく動画像符号化装置は、以上の説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。【００７８】  図１３は、本発明に基づく動画像符号化装置をインプリメントした情報処理システムの一般的な構成を示すブロック図である。【００７９】  この情報処理システムは、プロセッサ２１０，プログラムメモリ（主メモリ）２０２，記憶媒体２０３、２０４からなる。記憶媒体２０３、２０４は、別個の記憶媒体であってもよいし、同一の記憶媒体における異なる記憶領域であってもよい。記憶媒体としては、ハードディスクの磁気記憶媒体などを用いることができる。【００８０】  そして、上述した動画像符号化処理を情報処理システムに実行させるためのプログラムをプログラムメモリ２０２に格納し、そのプログラムをプロセッサ２１０が実行することによって、この情報処理システムは上述した動画像符号化装置として機能することになる。入力動画像データは記憶媒体２０３に予め格納されており、符号化後のビットストリームは、記憶媒体２０４に格納される。【００８１】  したがって、本発明の範疇には、本発明に基づく動画像符号化処理をコンピュータに実行させるためのプログラム、あるいはそのようなプログラムを格納したコンピュータ読み取り可能な記憶媒体、さらにはそのようなプログラムからなるプログラムプロダクトも含まれる。【００８２】  具体的には、本発明の範疇に含まれるコンピュータプログラムとして、マルチフレーム動き予測における参照フレームの番号とその番号に対応する可変長符号の参照フレーム同定情報とを利用可能な動画像符号化を実行するコンピュータに、参照フレームの参照頻度を求める処理と、参照頻度を用いて、ビットストリームに占める参照フレームインデックス符号の割合が小さくなるように参照フレーム同定情報を求める処理と、参照フレーム同定情報を符号化された動画像データとともに多重化する処理と、を実行させるプログラムが含まれる。【００８３】  ここで、参照頻度を求める処理は、参照頻度を計算する処理であってもよいし、フレーム類似度を計算して参照フレームの参照頻度を推定する処理であってもよい。また、参照フレーム同定情報を求める処理は、参照頻度に基づいて、相対的に高い頻度で参照される参照フレームの参照フレームインデックス符号に相対的に短い符号長の符号を割り当て、相対的に低い頻度で参照される参照フレームの参照フレームインデックス符号に相対的に長い符号長の符号を割り当てることにより、参照フレーム同定情報を求める処理であってもよい。参照頻度の計算または推定は、参照フレームの全体に対して行ってもよいし、参照フレームの一部に対して行ってもよい。【００８４】  参照頻度を計算によって求める場合には、予測誤差と動きベクトルの重み付け和とから各ブロックの参照フレームを求め、求めた参照フレームの参照頻度を計算するようにしてもよい。【００８５】  参照頻度を推定によって求める処理は、例えば、画像フレームから直交変換係数を抽出してフレーム類似度を計算する処理と、フレーム類似度から参照頻度を推定する処理と、から構成することができる。参照頻度を推定によって求める場合、フレーム類似度が極端に低い参照フレームを検出する処理と、検出された参照フレームを非参照フレームとして取り扱う処理とを実行してもよい。【００８６】  上述した各実施形態では、動き予測に用いる参照フレームの番号と参照フレームインデックスの対応を示す参照フレーム同定情報とを伝送可能なマルチフレーム動き予測を用いた動画像符号化を行う際に、ビットストリームに占める参照フレームインデックス符号の割合が極力小さくなるように参照フレーム同定情報を計算し、これをビットストリーム中にシグナリングしている。【００８７】  参照頻度は、予測誤差と動きベクトルの重み付け和とから各ブロックの参照フレームを求めることにより、計算することができる。これにより、参照頻度の高い参照フレームに対応する参照フレームインデックス���短い可変長符号を与え、参照頻度の低い参照フレームに対応する参照フレームインデックスに長い可変長符号を与える参照フレーム同定情報を生成でき、ビットストリームに占める参照フレームインデックス符号量を削減することができる。【００８８】  その結果、間接的に、ビットストリーム中の変換係数の割合を高くすることが可能となり、量子化パラメータも小さくなる。このため、動画像を高画質に符号化することができる。
【図１】
0004702059.tif 000007
【図２】
0004702059.tif 000008
【図３】
0004702059.tif 000009
【図４】
0004702059.tif 000010
【図５】
0004702059.tif 000011
【図６】
0004702059.tif 000012
0004702059.tif 000013
【図８】
0004702059.tif 000014
【図９】
0004702059.tif 000015
【図１０】
0004702059.tif 000016
【図１１】
0004702059.tif 000017
【図１２】
0004702059.tif 000018
【図１３】
0004702059.tif 000019
【図１４】
0004702059.tif 000020
【図１５】
0004702059.tif 000021