(57)【要約】【課題】符号化効率がよいＭＢタイプを簡易にかつ高精度に判定できるようにする。【解決手段】現画像フレームを用いて動きベクトルの探索を行い、フレーム間予測誤差と、量子化パラメータ（ＱＰ）に基づく重み付けを行った動きベクトルとに基づいて、符号化効率を示すフレーム間予測評価値を生成するようにして、低ビットレートにおいて探索された動きベクトルの探索精度を上げるとともに、評価値の生成において動きベクトルを反映させ、符号化効率がよいＭＢタイプを簡易にかつ高精度に判定することができるようにする。【選択図】図１
2008301270.tif 000002
【特許請求の範囲】
【請求項１】
フレーム間予測方式またはフレーム内予測方式による予測誤差を用いて符号化対象フレームに対して符号化を行い、動画像符号化データを生成する動画像符号化装置であって、
前記符号化対象フレームと、参照フレームとして現画像フレームとを用いて動きベクトルの探索を行う動き探索手段と、
前記動き探索手段によって探索された動きベクトルと、符号化済みの再構成フレームとからフレーム間予測値を算出し、前記算出したフレーム間予測値と、前記符号化対象フレームの画素とを用いてフレーム間予測誤差を算出するフレーム間予測誤差算出手段と、
前記符号化対象フレームの符号化済みの再構成画素を用いてフレーム内予測値を算出し、前記算出したフレーム内予測値と、前記符号化対象フレームの画素とを用いてフレーム内予測誤差を算出するフレーム内予測誤差算出手段と、
前記フレーム内予測誤差算出手段によって算出されたフレーム内予測誤差に基づいて、符号化効率を示すフレーム内予測評価値を算出するとともに、前記フレーム間予測誤差算出手段によって算出されたフレーム間予測誤差と、量子化ステップレベルを表す量子化パラメータに応じて重み付けを行った動きベクトルとに基づいて、符号化効率を示すフレーム間予測評価値を算出する評価値算出手段と、
前記評価値算出手段によって算出されたフレーム内予測評価値とフレーム間予測評価値とを比較して、前記フレーム間予測方式またはフレーム内予測方式の何れかを選択する予測選択手段とを備えることを特徴とする動画像符号化装置。
【請求項２】
前記評価値算出手段は、前記動きベクトルに対して動き探索範囲に応じた重み付けを行い、前記フレーム間予測評価値を算出することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
フレーム間予測方式またはフレーム内予測方式による予測誤差を用いて符号化対象フレームに対して符号化を行い、動画像符号化データを生成する動画像符号化方法であって、
前記符号化対象フレームと、参照フレームとして現画像フレームとを用いて動きベクトルの探索を行う動き探索工程と、
前記動き探索工程において探索した動きベクトルと、符号化済みの再構成フレームとからフレーム間予測値を算出し、前記算出したフレーム間予測値と、前記符号化対象フレームの画素とを用いてフレーム間予測誤差を算出するフレーム間予測誤差算出工程と、
前記符号化対象フレームの符号化済みの再構成画素を用いてフレーム内予測値を算出し、前記算出したフレーム内予測値と、前記符号化対象フレームの画素とを用いてフレーム内予測誤差を算出するフレーム内予測誤差算出工程と、
前記フレーム内予測誤差算出工程において算出したフレーム内予測誤差に基づいて、符号化効率を示すフレーム内予測評価値を算出するとともに、前記フレーム間予測誤差算出工程において算出したフレーム間予測誤差と、量子化ステップレベルを表す量子化パラメータに応じて重み付けを行った動きベクトルとに基づいて、符号化効率を示すフレーム間予測評価値を算出する評価値算出工程と、
前記評価値算出工程において生成したフレーム内予測評価値とフレーム間予測評価値とを比較して、前記フレーム間予測方式またはフレーム内予測方式の何れかを選択する予測選択工程とを備えることを特徴とする動画像符号化方法。
【請求項４】
前記評価値算出工程においては、前記動きベクトルに対して動き探索範囲に応じた重み付けを行い、前記フレーム間予測評価値を算出することを特徴とする請求項３に記載の動画像符号化方法。
【請求項５】
フレーム間予測方式またはフレーム内予測方式による予測誤差を用いて符号化対象フレームに対して符号化を行い、動画像符号化データを生成するようにコンピュータに実行させるプログラムであって、
前記符号化対象フレームと、参照フレームとして現画像フレームとを用いて動きベクトルの探索を行う動き探索工程と、
前記動き探索工程において探索した動きベクトルと、符号化済みの再構成フレームとからフレーム間予測値を算出し、前記算出したフレーム間予測値と、前記符号化対象フレームの画素とを用いてフレーム間予測誤差を算出するフレーム間予測誤差算出工程と、
前記符号化対象フレームの符号化済みの再構成画素を用いてフレーム内予測値を算出し、前記算出したフレーム内予測値と、前記符号化対象フレームの画素とを用いてフレーム内予測誤差を算出するフレーム内予測誤差算出工程と、
前記フレーム内予測誤差算出工程において算出したフレーム内予測誤差に基づいて、符号化効率を示すフレーム内予測評価値を算出するとともに、前記フレーム間予測誤差算出工程において算出したフレーム間予測誤差と、量子化ステップレベルを表す量子化パラメータに応じて重み付けを行った動きベクトルとに基づいて、符号化効率を示すフレーム間予測評価値を算出する評価値算出工程と、
前記評価値算出工程において算出したフレーム内予測評価値とフレーム間予測評価値とを比較して、前記フレーム間予測方式またはフレーム内予測方式の何れかを選択する予測選択工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項６】
請求項５に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像符号化装置、動画像符号化方法、プログラム、及び記録媒体に関し、特に、フレーム内の空間的相関及びフレーム間の時間的相関を利用して動画像を符号化するために用いて好適な技術に関する。
【背景技術】
【０００２】
フレーム間またはフレーム内の相関性を利用してブロック単位で動画像データを圧縮符号化する方式としてＭＰＥＧ４方式あるいはＨ．２６４方式が知られている。これらの方式では、画面間における時間的相関性が高いときはフレーム間予測方式を用い、画面内での相関が高いときにはフレーム内予測方式を用いることにより高品質な圧縮が可能である。特にＨ．２６４方式は、フレーム間またはフレーム内のどちらの予測方式においてもＭＰＥＧ４方式と比較して複数の予測単位あるいは予測モードが用意されており、圧縮符号化方式がより複雑化されている。
【０００３】
フレーム間予測方式は、被写体の動きが比較的少ない場合に効果を発揮し、時間的に前または後のフレームから相関度の高い画像を切り出して現マクロブロックとの差分を符号化する。その際、どの部分を切り出してきたのかを示す動きベクトルも同時に符号化する。
【０００４】
これに対して、画面内における相関性が高いときはフレーム内予測方式が有効である。フレーム内予測方式は、現マクロブロックに隣接するマクロブロックとの相関やマクロブロック内の相関を利用して予測誤差を算出する予測方式である。したがって、被写体の動きが大きく、フレーム間予測方式で符号化効率の良い動きベクトルを取得することが困難な状況においても比較的効率よく符号化できる。
【０００５】
これらの２種類の予測方式を用いる場合、どちらの方式を使用した方が符号化効率がよくなるのかを判定する手段が必要となる。処理時間に制限がない場合（例えば、既に記録してある動画像データを圧縮する場合）などは、全ての方式、単位、モードで一度符号化を施した後、最適な方式を選択すればよい。
【０００６】
しかしながら、ビデオカメラで撮影しながらリアルタイムに符号化を施す場合は、前記方法では処理内容が複雑になり、処理時間及び半導体への実装費用を考慮すると前記方法を用いた実装は困難である。したがって、前記方法に代わる簡易な演算によって高速にフレーム間符号化方式もしくはフレーム内符号化方式を選択する手段が必要となる。
【０００７】
そこで、簡単化したフレーム内予測／フレーム間予測符号化判定方法が、非特許文献１で提案されている。この非特許文献１に記載の方法（以下「モデル３」の方法という。）は、フレーム間予測符号化時の符号化効率を動き補償の予測残差から推定する。そして、フレーム内符号化時の符号化効率をＭＢ（マクロブロック）内予測残差から推定し、動き補償の予測残差とＭＢ内予測残差とを比較することにより、フレーム内予測／フレーム間予測符号化方式を判定する。この処理方法について、図２のフローチャートを参照しながら説明する。
【０００８】
図２のステップＳ２０１においては、入力ＭＢ（マクロブロック）の１６×１６画素のフレーム間予測方式における予測残差の平均二乗値（ＶＡＲ）を計算する。具体的には、下記の式（１）に示すように、入力ＭＢ信号Ａ［ｉ，ｊ］と、動きベクトル（ｘ，ｙ）により参照される予測ＭＢ信号Ｆ［ｘ＋ｉ，ｙ＋ｊ］との差分の平均二乗値（ＶＡＲ）を計算する。
【０００９】
【数１】
2008301270.tif 000003
【００１０】
なお、二乗値の代わりに絶対値を用いてもよい。
次のステップＳ２０２においては、入力ＭＢの予測残差として、分散値（ＶＡＲＯＲ）を下記の式（２）より計算する。
【００１１】
【数２】
2008301270.tif 000004
【００１２】
次のステップＳ２０３においては、ステップＳ２０１で計算した平均二乗値（ＶＡＲ）とステップＳ２０２で計算した分散値（ＶＡＲＯＲ）とを図４に示す特性図より比較する。この比較の結果、ＶＡＲ＞ＴＨＲ、かつＶＡＲＯＲ＜ＶＡＲである場合は、ＭＢモードをフレーム内予測符号化とする（ステップＳ２０４）。一方、ステップＳ２０３の比較の結果、それ以外の場合は、ＭＢモードをフレーム間予測符号化とする（ステップＳ２０５）。ここでＴＨＲは閾値を示し、例えばＴＨＲ＝６４である。
【００１３】
次に、ステップＳ２０６においては、指定されたＭＢタイプで入力ＭＢを符号化する。具体的には、指定された予測符号化方法に予測誤差を周波数変換し、エントロピー符号化を行う。
【００１４】
一方、非特許文献１に記載されているモデル３を改良した判定方法が特許文献１に開示されている。
【００１５】
【特許文献１】特開平１０−２３４３４号公報
【非特許文献１】MPEG Video Simulation Model 3 （ISO/IEC JTC1/SC2/WG11 N0010 MPEG90/041 July 1990）
【発明の開示】
【発明が解決しようとする課題】
【００１６】
前述した従来例では、フレーム間予測方式は、符号化済みで再構成（局所復号）されたフレームと現在符号化対象となるフレームとを用いて動きベクトルを探索し、予測値を算出している。また、ＭＢタイプの判定に用いられるフレーム間予測方式のＭＢの評価値は、動きベクトルと予測値とを用いて算出している。
【００１７】
このような符号化済みの再構成フレームを用いて動きベクトルの探索を行った場合、低ビットレートにおいて探索された動きベクトルは誤判定される確率が高くなる問題点があった。そのため、符号化効率がよいＭＢタイプを高精度に判定できないという問題点があった。
【００１８】
本発明は前述の問題点に鑑み、符号化効率がよいＭＢタイプを簡易にかつ高精度に判定できるようにすることを目的としている。
【課題を解決するための手段】
【００１９】
本発明の動画像符号化装置は、フレーム間予測方式またはフレーム内予測方式による予測誤差を用いて符号化対象フレームに対して符号化を行い、動画像符号化データを生成する動画像符号化装置であって、前記符号化対象フレームと、参照フレームとして現画像フレームとを用いて動きベクトルの探索を行う動き探索手段と、前記動き探索手段によって探索された動きベクトルと、符号化済みの再構成フレームとからフレーム間予測値を算出し、前記算出したフレーム間予測値と、前記符号化対象フレームの画素とを用いてフレーム間予測誤差を算出するフレーム間予測誤差算出手段と、前記符号化対象フレームの符号化済みの再構成画素を用いてフレーム内予測値を算出し、前記算出したフレーム内予測値と、前記符号化対象フレームの画素とを用いてフレーム内予測誤差を算出するフレーム内予測誤差算出手段と、前記フレーム内予測誤差算出手段によって算出されたフレーム内予測誤差に基づいて、符号化効率を示すフレーム内予測評価値を算出するとともに、前記フレーム間予測誤差算出手段によって算出されたフレーム間予測誤差と、量子化ステップレベルを表す量子化パラメータに応じて重み付けを行った動きベクトルとに基づいて、符号化効率を示すフレーム間予測評価値を算出する評価値算出手段と、前記評価値算出手段によって算出されたフレーム内予測評価値とフレーム間予測評価値とを比較して、前記フレーム間予測方式またはフレーム内予測方式の何れかを選択する予測選択手段とを備えることを特徴とする。
【００２０】
本発明の動画像符号化方法は、フレーム間予測方式またはフレーム内予測方式による予測誤差を用いて符号化対象フレームに対して符号化を行い、動画像符号化データを生成する動画像符号化方法であって、前記符号化対象フレームと、参照フレームとして現画像フレームとを用いて動きベクトルの探索を行う動き探索工程と、前記動き探索工程において探索した動きベクトルと、符号化済みの再構成フレームとからフレーム間予測値を算出し、前記算出したフレーム間予測値と、前記符号化対象フレームの画素とを用いてフレーム間予測誤差を算出するフレーム間予測誤差算出工程と、前記符号化対象フレームの符号化済みの再構成画素を用いてフレーム内予測値を算出し、前記算出したフレーム内予測値と、前記符号化対象フレームの画素とを用いてフレーム内予測誤差を算出するフレーム内予測誤差算出工程と、前記フレーム内予測誤差算出工程において算出したフレーム内予測誤差に基づいて、符号化効率を示すフレーム内予測評価値を算出するとともに、前記フレーム間予測誤差算出工程において算出したフレーム間予測誤差と、量子化ステップレベルを表す量子化パラメータに応じて重み付けを行った動きベクトルとに基づいて、符号化効率を示すフレーム間予測評価値を算出する評価値算出工程と、前記評価値算出工程において生成したフレーム内予測評価値とフレーム間予測評価値とを比較して、前記フレーム間予測方式またはフレーム内予測方式の何れかを選択する予測選択工程とを備えることを特徴とする。
【００２１】
本発明のプログラムは、フレーム間予測方式またはフレーム内予測方式による予測誤差を用いて符号化対象フレームに対して符号化を行い、動画像符号化データを生成するようにコンピュータに実行させるプログラムであって、前記符号化対象フレームと、参照フレームとして現画像フレームとを用いて動きベクトルの探索を行う動き探索工程と、前記動き探索工程において探索した動きベクトルと、符号化済みの再構成フレームとからフレーム間予測値を算出し、前記算出したフレーム間予測値と、前記符号化対象フレームの画素とを用いてフレーム間予測誤差を算出するフレーム間予測誤差算出工程と、前記符号化対象フレームの符号化済みの再構成画素を用いてフレーム内予測値を算出し、前記算出したフレーム内予測値と、前記符号化対象フレームの画素とを用いてフレーム内予測誤差を算出するフレーム内予測誤差算出工程と、前記フレーム内予測誤差算出工程において算出したフレーム内予測誤差に基づいて、符号化効率を示すフレーム内予測評価値を算出するとともに、前記フレーム間予測誤差算出工程において算出したフレーム間予測誤差と、量子化ステップレベルを表す量子化パラメータに応じて重み付けを行った動きベクトルとに基づいて、符号化効率を示すフレーム間予測評価値を算出する評価値算出工程と、前記評価値算出工程において算出したフレーム内予測評価値とフレーム間予測評価値とを比較して、前記フレーム間予測方式またはフレーム内予測方式の何れかを選択する予測選択工程とをコンピュータに実行させることを特徴とする。
【００２２】
本発明の記録媒体は、前記に記載のプログラムを記録したことを特徴とする。
【発明の効果】
【００２３】
本発明によれば、現画像フレームを用いて動きベクトルの探索を行い、フレーム間予測誤差と、量子化パラメータに応じた重み付けを行った動きベクトルとに基づいて、符号化効率を示すフレーム間予測評価値を算出するようにした。これにより、低ビットレートにおいて探索された動きベクトルの探索精度を上げることができるとともに、評価値の算出において動きベクトルを反映させることができる。したがって、符号化効率がよいＭＢタイプを簡易にかつ高精度に判定することができる。
【発明を実施するための最良の形態】
【００２４】
（第１の実施形態）
以下、図面を参照しながら、本発明の好適な実施形態について説明する。
図１は、本実施形態における動画像符号化装置の基本構成例を示すブロックである。
図１に記載の動画像符号化装置３００は、フレーム内予測部３０１、フレーム間予測部３０２、動き探索部３０３、第１の減算器３０４、第２の減算器３０５、及び選択器３０６を有する。さらに、第１の参照フレームバッファ３０７、第２の参照フレームバッファ３０８、参照画素バッファ３０９、符号化処理部３１０、局所復号化処理部３１６、及びＭＢ予測評価部３１１を有する。
【００２５】
図１に示すブロック図、及び図３に示すフローチャートを参照しながら、ＭＢ単位でフレーム内予測方式とフレーム間予測方式との２つ予測方法から１つの予測方式を選択し、符号化を行う手順について説明する。
まず、動画像シーケンス中の符号化対象フレームは、動き探索部３０３と、第１の減算器３０４と、第２の減算器３０５と、第１の参照フレームバッファ３０７とに入力される。なお、前記符号化対象フレームはＭＢ単位に分割されて、逐次入力される。
【００２６】
まず、ステップＳ３０１において、動き探索部３０３は、入力された符号化対象フレームと、第１の参照フレームバッファ３０７から読み出された参照フレームとを用いて、動きベクトルを探索する。そして、探索した動きベクトルをフレーム間予測部３０２、ＭＢ予測評価部３１１、及び符号化処理部３１０に出力する。
【００２７】
次に、ステップＳ３０２において、フレーム内予測部３０１及び第１の減算器３０４がフレーム内予測誤差算出手段として機能し、フレーム内予測誤差を算出する。また、フレーム間予測部３０２及び第２の減算器３０５がフレーム間予測誤差算出手段として機能し、フレーム間予測誤差を算出する。具体的な手順としては、まず、フレーム内予測部３０１は、参照画素バッファ３０９から読み出された同じフレーム内の参照画素を１つ以上用いて、符号化対象画素のフレーム内予測値を算出して第１の減算器３０４に出力する。なお、フレーム内予測部３０１におけるフレーム内予測値の算出は矩形領域単位で行われる。
【００２８】
一方、フレーム間予測部３０２は、第２の参照フレームバッファ３０８から読み出された参照フレームと、動き探索部３０３から出力された動きベクトルとを用いて、符号化対象のＭＢのフレーム間予測値を計算して第２の減算器３０５に出力する。
【００２９】
そして、第１の減算器３０４には、フレーム内予測部３０１から出力されたフレーム内予測値と、前記符号化対象のＭＢの画素値とが入力される。そして、前記フレーム内予測値と前記画素値との差分値をフレーム内予測誤差として選択器３０６、及びＭＢ予測評価部３１１に出力する。また、第２の減算器３０５には、フレーム間予測部３０２から出力されたフレーム間予測値と、符号化対象のＭＢの画素値とが入力される。そして、前記フレーム間予測値と前記画素値との差分値をフレーム間予測誤差として選択器３０６、及びＭＢ予測評価部３１１に出力する。
【００３０】
次に、ステップＳ３０３において、ＭＢ予測評価部３１１は、動画像符号化ストリームを生成する際に、フレーム内予測方式またはフレーム間予測方式のいずれか１つの予測方法を決定するための評価を行う。そして、ＭＢタイプを示す信号を選択器３０６に出力する。ＭＢ予測評価部３１１には、量子化パラメータ（ＱＰ）、量子化パラメータ閾値（ＱＰｔｈ）、探索範囲（f＿code）が入力される。さらに、動き探索部３０３から出力された動きベクトルが入力され、第１の減算器３０５、及び第２の減算器３０５から出力された予測誤差が入力される。なお、ＭＢ予測評価部３１１の具体的な構成については後述する。
【００３１】
選択器３０６は、ＭＢ予測評価部３１１から出力されたＭＢタイプを示す信号に従い、第１の減算器３０４から出力されたフレーム内予測誤差、または第２の減算器３０５から出力されたフレーム間予測誤差の何れかを選択して符号化処理部３１０に出力する。
【００３２】
そして、ステップＳ３０４において、符号化処理部３１０は、選択器３０６から出力された予測誤差を用いて符号化処理を施し、動画像符号化データを生成する。一方、符号化処理部３１０の出力は局所復号化処理部３１６に入力される。局所復号化処理部３１６では、符号化された画像データを復号し局所復号画像として参照フレームバッファ３０８と参照画素バッファ３０９に出力する。
【００３３】
次に、前述した処理に用いられた３つバッファの機能について説明する。第１の参照フレームバッファ３０７は、動画像シーケンス内のフレームを記憶する。また、動き探索部３０３は、動きベクトルの探索を行うために、第１の参照フレームバッファ３０７に記憶された現画像フレームを参照フレームとして読み出す機能を備えている。なお、第１の参照フレームバッファ３０７に記憶されるフレームは、動画像シーケンスのフレームを処理していない状態のフレームである。ただし、符号化処理及び局所復号化処理を施した再構成フレームでなければ、解像度や階調を変更させるなどの前処理を施したフレームであってもよい。
【００３４】
一方、第２の参照フレームバッファ３０８は、局所復号化処理部３１６において局所復号化された再構成フレームを記憶する。また、フレーム間予測部３０２は、予測値を算出するために、第２の参照フレームバッファ３０８に記憶されたフレームを参照フレームとして読み出す機能を備えている。
【００３５】
また、参照画素バッファ３０９は、局所復号化処理部３１６において局所復号化された再構成画素を記憶する。また、フレーム内予測部３０１は、予測値を算出するために、参照画素バッファ３０９に記憶された画素を参照画素として読み出す機能を備えている。
【００３６】
次に、ＭＢ予測評価部３１１の具体的な構成及び処理手順の一例について、図４のフローチャートを参照しながら説明する。図４は、図３のステップＳ３０３の処理の詳細な手順の一例を示すフローチャートである。ＭＢ予測評価部３１１は、重み付け係数算出部３１２と、第１のＳＡＤ算出器３１３と、第２のＳＡＤ算出器３１４と、ＭＢタイプ決定部３１５とから構成されている。
【００３７】
まず、ステップＳ４０１において、重み付け係数算出部３１２は、量子化パラメータ（ＱＰ）と動き探索範囲（f＿code）とから重み付け係数（α）を決定し、ＭＢタイプ決定部３１５に出力する。なお、量子化パラメータ（ＱＰ）は、量子化ステップレベルを表すパラメータであり、量子化パラメータ（ＱＰ）が大きくなるほど低ビットレートになる。また、動き探索範囲（f＿code）は、動きベクトルを探索する範囲のことであり、探索範囲が１６×１６の場合は動き探索範囲（f＿code）が１と定義される。また、３２×３２の場合は動き探索範囲（f＿code）が２と定義され、６４×６４の場合は動き探索範囲（f＿code）が３などと定義される。なお、重み付け係数算出部３１２における重み付け係数の詳細な算出方法については後述する。
【００３８】
次に、ステップＳ４０２において、ＭＢの差分絶対値和（ＳＡＤ）を算出する。具体的には、第１のＳＡＤ算出器３１３は、第１の減算器３０４から出力されたフレーム内予測誤差からＭＢの差分絶対値和（ＳＡＤ）を算出し、ＭＢタイプ決定部３１５に出力する。また、第２のＳＡＤ算出器３１４は、第２の減算器３０５から出力されたフレーム間予測誤差からＭＢの差分絶対値和（ＳＡＤ）を算出し、ＭＢタイプ決定部３１５に出力する。
【００３９】
ＭＢタイプ決定部３１５には、重み付け係数算出部３１２から出力された重み付け係数と、動き探索部３０３から出力された動きベクトルが入力される。さらに、第１のＳＡＤ算出器３１３、及び第２のＳＡＤ算出器３１４から出力されたＭＢの差分絶対値和（ＳＡＤ）が入力される。そこで、次に、ステップＳ４０３において、ＭＢタイプ決定部３１５は評価値算出手段として機能し、入力された信号を用いて、フレーム内予測方式とフレーム間予測方式とのそれぞれの符号化効率を示す評価値を算出する。そして、ステップＳ４０４において、ＭＢタイプ決定部３１５は予測選択手段として機能し、評価値が小さい予測方式をＭＢタイプとして選択器３０６に出力する。
【００４０】
次に、ＭＢタイプ決定部３１５における評価値算出方法について説明する。なお、以下に説明する評価値とは、各予測方法による符号化効率を符号量や符号化歪などを模擬もしくは近似した数値モデルのことである。
【００４１】
フレーム内予測評価値（ＣＯＳＴINTRA）は、下記の式（４）に示すように、第１のＳＡＤ算出器３１３から出力されたフレーム内予測誤差の差分絶対値和（ＳＡＤINTRA）をそのまま評価値として用いる。
【００４２】
【数３】
2008301270.tif 000005
【００４３】
一方、フレーム間予測評価値（ＣＯＳＴINTER）の算出方法を下記の式（５）に示す。
【００４４】
【数４】
2008301270.tif 000006
【００４５】
式（５）においては、フレーム間予測評価値は、第２のＳＡＤ算出器３１４から出力されたフレーム間予測誤差の差分絶対値和（ＳＡＤINTER）と、動き探索部３０３から出力された動きベクトル（ＭＶ）とから算出される。なお、式（５）に示すαは重み付け係数であり、量子化係数（ＱＰ）と動き探索範囲（f＿code）とによって決定される。
【００４６】
重み付け係数αは、動き探索範囲（f＿code）が大きくなると係数が小さくなり、動き探索範囲が小さくなると係数が大きくなる。したがって、この重み付け係数αは、動きベクトルと符号化効率との関係を表している。ここで、差分絶対値和（ＳＡＤINTER）はフレーム間予測誤差のエントロピー符号量を近似したものである。ところが、低ビットレートではフレーム間予測誤差のエントロピー符号量は減少傾向にある。一方、動きベクトルはビットレートに依存せず、動きベクトル値に応じて一意の符号量を発生する。そこで、量子化パラメータ（ＱＰ）が閾値以上に大きくなると、低ビットレートになるため、重み付け係数αを大きくする。
【００４７】
本実施形態では、オリジナルの符号化済みの現画像フレームを動き探索に用いるため、動きベクトルの探索において符号化歪は動き検出の精度低下要因にはならない。そのため、動きベクトルの精度は、符号化済みフレームを局所復号化した再構成フレームを用いて動き探索を行う場合と比較して、精度が非常に高い。
【００４８】
しかし、高速にパンをする動画像シーケンスでは、動き探索範囲が動きベクトルの探索精度に関わってくる。高速パンの動画シーケンスでは、動き探索範囲が高域であるときは、動きベクトルの精度が高く、符号化効率が上がる。一方、動き探索範囲が狭域であるときは、動きベクトルの探索精度が低下する。そこで、動きベクトルの探索範囲に応じて、フレーム間予測評価値における動きベクトルの重み付けを変更するようにしてもよい。この場合、動きベクトルの探索範囲（f＿code）が小さい場合は、動きベクトルの重み付けを大きくする。これにより、フレーム間予測評価値が大きくなってフレーム内予測方式が選択されるようになり、ブロックノイズやフリッカとして視聴者に検知される画質劣化を抑制することが可能になる。
【００４９】
以上のように本実施形態においては、現画像フレームを用いて動きベクトルの探索を行い、フレーム間予測誤差と、量子化パラメータ（ＱＰ）に基づく重み付けを行った動きベクトルとに基づいて、符号化効率を示すフレーム間予測評価値を算出するようにした。これにより、低ビットレートにおいて探索された動きベクトルの探索精度を上げることができるとともに、評価値の算出において動きベクトルを反映させることができる。したがって、符号化効率がよいＭＢタイプを高精度に判定することができる。
【００５０】
また、動きベクトルの探索範囲に応じて、フレーム間予測評価値における動きベクトルの重み付けを変更するようにしたので、符号化効率を落とさず、視覚的な劣化を抑制することができる。
【００５１】
（本発明に係る他の実施形態）
前述した本発明の実施形態における動画像符号化装置を構成する各手段、並びに動画像符号化方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００５２】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００５３】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３、４に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００５４】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００５５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００５６】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００５７】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００５８】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００５９】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００６０】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００６１】
さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施形態における動画像符号化装置の機能構成例を示すブロック図である。
【図２】従来において、予測方式を選択して符号化を行う処理手順の一例を示すフローチャートである。
【図３】本発明の実施形態において、予測方式を選択して符号化を行う処理手順の一例を示すフローチャートである。
【図４】図３のステップＳ３０３の処理の詳細な手順の一例を示すフローチャートである。
【図５】ＭＢタイプ判定特性を示す図である。
【符号の説明】
【００６３】
３００  動画像符号化装置
３０１  フレーム内予測部
３０２  フレーム間予測部
３０３  動き探索部
３０４  第１の減算器
３０５  第２の減算器
３０６  選択器
３０７  第１の参照フレームバッファ
３０８  第２の参照フレームバッファ
３０９  参照画素バッファ
３１０  符号化処理部
３１１  ＭＢ予測評価部
３１２  重み付け係数算出部
３１３  第１のＳＡＤ算出器
３１４  第２のＳＡＤ算出器
３１５  ＭＢタイプ決定部
３１６  局所復号化処理部
【図１】
2008301270.tif 000007
【図２】
2008301270.tif 000008
【図３】
2008301270.tif 000009
【図４】
2008301270.tif 000010
【図５】
2008301270.tif 000011