(57)【要約】【課題】画像の相関性が失われる場合においても、画像の変化率に応じて符号化対象フレームに適した平均アクティビティを予測し、適切に量子化制御を動作させることにより符号化効率を向上できるようにする。【解決手段】入力画像の変化率を検出する変化率検出手段と、前記変化率検出手段によって検出された入力画像の変化率に応じて符号化対象フレームに適した平均アクティビティを予測する予測手段と、前記予測手段により予測された平均アクティビティ予測値を用いてアクティビティの正規化を行う正規化手段と、前記正規化手段によって正規化されたアクティビティに基いて量子化制御を行う量子化制御手段とを設け、量子化制御をリアルタイムに適切に動作させることができるようにする。【選択図】図１
2008005337.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化装置であって、
前記入力画像の変化率を検出する変化率検出手段と、
前記変化率検出手段によって検出された入力画像の変化率に応じて符号化対象フレームに適した平均アクティビティを予測する予測手段と、
前記予測手段により予測された平均アクティビティ予測値を用いてアクティビティの正規化を行う正規化手段と、
前記正規化手段によって正規化されたアクティビティに基いて量子化制御を行う量子化制御手段とを有することを特徴とする画像符号化装置。
【請求項２】
入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化装置であって、
前記入力画像を複数のブロックに分割するブロック分割手段と、
前記ブロック分割手段によって分割されたブロック毎に絵柄の複雑さを算出するブロック特徴量算出手段と、
前記ブロック特徴量算出手段によって算出された絵柄の複雑さをブロック特徴量に変換するブロック特徴量変換手段と、
前記ブロック特徴量変換手段によって変換されたブロック特徴量に応じてブロックの量子化特性を決定する量子化特性決定手段と、
前記入力された画像とそれ以前に入力された画像との相関性に応じて前記ブロック特徴量変換手段による変換方法を変更する変換方法変更手段とを有することを特徴とする画像符号化装置。
【請求項３】
前記ブロック特徴量算出手段によって算出されたブロック特徴量の１フレーム内の平均値である平均ブロック特徴量を算出する平均ブロック特徴量算出手段と、前記平均ブロック特徴量算出手段によって算出された１フレームの平均ブロック特徴量に応じて符号化対象フレームの平均ブロック特徴量を予測する平均ブロック特徴量予測手段とを備え、
前記ブロック特徴量変換手段は、前記平均ブロック特徴量予測手段によって予測された平均ブロック特徴量予測値に基いて前記ブロック特徴量の変換を行うことを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
入力された画像とそれ以前に入力された画像との変化率を算出する画像変化率算出手段を備え、
前記平均ブロック特徴量予測手段は、前記平均ブロック特徴量算出手段によって算出された符号化対象フレームよりも符号化順で以前のフレームの平均ブロック特徴量と前記画像変化率算出手段によって算出された画像変化率に基いて平均ブロック特徴量予測値を算出することを特徴とする請求項２に記載の画像符号化装置。
【請求項５】
画素値の分散値を算出する分散値算出手段を備え、前記画像変化率算出手段は、前記分散値算出手段によって算出された分散値に基いて画像変化率を算出することを特徴とする請求項４に記載の画像符号化装置。
【請求項６】
前記画像変化率算出手段は、符号化対象フレームの分散値と前記平均ブロック特徴量予測手段が平均ブロック特徴量を参照するフレームの分散値に基いて画像変化率を算出することを特徴とする請求項４に記載の画像符号化装置。
【請求項７】
前記画像変化率算出手段は、符号化対象フレームの分散値と前記平均ブロック特徴量予測手段が平均ブロック特徴量を参照するフレームを構成するフィールドの分散値に基いて画像変化率を算出することを特徴とする請求項５に記載の画像符号化装置。
【請求項８】
前記画像変化率算出手段は、２つの分散値の比率に基いて画像変化率を算出することを特徴とする請求項６または７に記載の画像符号化装置。
【請求項９】
前記平均ブロック特徴量予測手段は、符号化対象フレームの分散値が平均ブロック特徴量参照フレームの分散値よりも小さいときは、平均ブロック特徴量予測値を平均ブロック特徴量参照フレームの平均ブロック特徴量よりも小さくすることを特徴とする請求項８に記載の画像符号化装置。
【請求項１０】
前記平均ブロック特徴量予測手段は、符号化対象フレームの分散値が平均ブロック特徴量参照フレームの分散値よりも大きいときは、平均ブロック特徴量予測値を平均ブロック特徴量参照フレームの平均ブロック特徴量よりも大きくすることを特徴とする請求項８に記載の画像符号化装置。
【請求項１１】
前記平均ブロック特徴量予測手段は、符号化対象フレームの分散値と平均ブロック特徴量参照フレームの分散値が同じときは、平均ブロック特徴量予測値を平均ブロック特徴量参照フレームの平均ブロック特徴量とすることを特徴とする請求項８に記載の画像符号化装置。
【請求項１２】
画像変化率が予め設定した閾値以下の場合は、平均ブロック特徴量予測値を平均ブロック特徴量の参照フレームの平均ブロック特徴量とすることを特徴とする請求項８に記載の画像符号化装置。
【請求項１３】
前記平均ブロック特徴量予測手段は、入力された画像とそれ以前に入力された画像の相関性に応じて予測に使用する平均ブロック特徴量の参照フレームを変更することを特徴とする請求項２に記載の画像符号化装置。
【請求項１４】
前記平均ブロック特徴量予測手段は、符号化順で少なくとも１フレーム前の平均ブロック特徴量に応じて平均ブロック特徴量予測値を算出することを特徴とする請求項１３に記載の画像符号化装置。
【請求項１５】
画素値の分散値を算出する分散値算出手段を備え、符号化対象フレームと符号化対象フレーム直前のフレームとの分散値の差が予め設定した閾値以上で、符号化対象フレームと符号化対象フレームより少なくとも２フレーム前のフレームとの分散値の差が予め設定した閾値以下である場合であって、前記平均ブロック特徴量予測手段は、符号化対象フレームの分散値との差が小さいフレームである少なくとも２フレーム前のフレームの平均ブロック特徴量を平均ブロック特徴量予測値とすることを特徴とする請求項１４に記載の画像符号化装置。
【請求項１６】
前記ブロック特徴量変換手段は、前記ブロック特徴量を予め設定した範囲内の値に変換することを特徴とする請求項２に記載の画像符号化装置。
【請求項１７】
前記ブロック分割手段によって分割されるブロックはマクロブロックであることを特徴とする請求項２に記載の画像符号化装置。
【請求項１８】
入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化方法であって、
前記入力画像の変化率を検出する変化率検出工程と、
前記変化率検出工程において工程において検出された入力画像の変化率に応じて符号化対象フレームに適した平均アクティビティを予測する予測工程と、
前記予測工程において予測された平均アクティビティ予測値を用いてアクティビティの正規化を行う正規化工程と、
前記正規化工程において工程において正規化されたアクティビティに基いて量子化制御を行う量子化制御工程とを有することを特徴とする画像符号化方法。
【請求項１９】
入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化方法であって、
前記入力画像を複数のブロックに分割するブロック分割工程と、
前記ブロック分割工程において工程において分割されたブロック毎に絵柄の複雑さを算出するブロック特徴量算出工程と、
前記ブロック特徴量算出工程において工程において算出された絵柄の複雑さをブロック特徴量に変換するブロック特徴量変換工程と、
前記ブロック特徴量変換工程において工程において変換されたブロック特徴量に応じてブロックの量子化特性を決定する量子化特性決定工程と、
前記入力された画像とそれ以前に入力された画像との相関性に応じて前記ブロック特徴量変換工程による変換方法を変更する変換方法変更工程とを有することを特徴とする画像符号化方法。
【請求項２０】
入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化方法をコンピュータに実行させるプログラムであって、
前記入力画像の変化率を検出する変化率検出工程と、
前記変化率検出工程において検出された入力画像の変化率に応じて符号化対象フレームに適した平均アクティビティを予測する予測工程と、
前記予測工程において予測された平均アクティビティ予測値を用いてアクティビティの正規化を行う正規化工程と、
前記正規化工程において正規化されたアクティビティに基いて量子化制御を行う量子化制御工程とを有する画像符号化方法をコンピュータに実行させることを特徴とするプログラム。
【請求項２１】
入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化方法をコンピュータに実行させるプログラムであって、
前記入力画像を複数のブロックに分割するブロック分割工程と、
前記ブロック分割工程において分割されたブロック毎に絵柄の複雑さを算出するブロック特徴量算出工程と、
前記ブロック特徴量算出工程において算出された絵柄の複雑さをブロック特徴量に変換するブロック特徴量変換工程と、
前記ブロック特徴量変換工程において変換されたブロック特徴量に応じてブロックの量子化特性を決定する量子化特性決定工程と、
前記入力された画像とそれ以前に入力された画像との相関性に応じて前記ブロック特徴量変換工程における変換方法を変更する変換方法変更工程とを有する画像符号化方法をコンピュータに実行させることを特徴とするプログラム。
【請求項２２】
請求項２０または２１に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置及び画像符号化方法に関し、特に、フレーム間の相関が失われた時において、画像符号化装置の符号化効率を向上させるために用いて好適な技術に関する。
【背景技術】
【０００２】
画像を高能率符号化するための技術として、ＭＰＥＧ２（Moving Picture Experts Group Phase ２）といった符号化方式が確立されている。各メーカーはこのＭＰＥＧ２符号化方式を利用して画像を記録することが可能なデジタルカメラやデジタルビデオカメラといった撮像装置、或いはＤＶＤレコーダーなどを開発して製品化している。そして、ユーザはこれらの装置或いはパーソナルコンピュータやＤＶＤプレーヤーなどを用いて簡単に画像を視聴することが可能となっている。
【０００３】
このようなＭＰＥＧ２符号化方式では、一般的に、ビットストリームを所定のデータ量で伝送したり、蓄積したりするために所定の符号量に圧縮する符号量制御が行われている。ここで、ＭＰＥＧ２符号化方式の符号量制御についてリファレンスソフトエンコーダーであるＴＭ５の例を挙げて説明する。ＴＭ５とは、"Test Model Editing Committee： "Test Model ５"， ISO／IEC， JTC／SC29／WG11／n0400 （Apr．1993）に記載されている。
【０００４】
ＴＭ５の符号量制御は以下の３つのステップに分けて考えられる。
（ステップ１）の処理では、ＧＯＰ内の各ピクチャに対する割り当て符号量を、割り当て対象ピクチャを含めＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられる総符号量を基に配分する。この配分処理は、ＧＯＰ内の符号化ピクチャの順に繰り返される。
【０００５】
（ステップ２）の処理では、ステップ１で求められた各ピクチャに対する割り当て符号量と、実際の発生符号量とを一致させるために、次のようにしている。すなわち、Ｉ，Ｐ，Ｂのピクチャ毎に独立に設定した３種類の仮想バッファ部の容量を基に、量子化スケールコードをマクロブロック単位のフィードバック制御で求めている。
【０００６】
（ステップ３）の処理では、視覚的に劣化の目立ち易い平坦部でより細かく量子化し、劣化の比較的目立ち難い絵柄の複雑な部分で粗く量子化するようにしている。このようにするために、ステップ２で求められた量子化スケールコードを、「１６×１６画素」のマクロブロック毎の正規化アクティビィティと呼ばれる変数によって量子化スケールを変化させて決定している。
【０００７】
前述の（ステップ３）の正規化アクティビティの算出方法及び量子化スケールの決定方法についてさらに詳しく説明する。
絵柄の複雑さを示す正規化アクティビティは、次のように算出される。まず、「１６×１６画素」のマクロブロックをフィールド離散コサイン変換モードにおける４つの「８×８画素ブロック」と、フレーム離散コサイン変換モードにおける４つの「８×８画素ブロック」との、合計８つのブロックに分ける。そして、それぞれのブロックにおける原画の輝度信号画素値Ｐｊの分散値ｖａｒ＿｛ｓｂｌｋ｝に基づきアクティビティを算出する。各８×８画素ブロックの分散値は、下記の式（１）で算出される。式（１）において、Ｐは８×８画素ブロックの輝度信号画素値Ｐｊの平均画素値である。
【０００８】
【数１】
2008005337.tif 000003
【０００９】
式（１）で求めた合計８つの分散値の中で最小の分散値を見つけ、下記の式（２）に従いアクティビティを算出する。式（２）において分散値の最小値を利用するのは、マクロブロック内の一部だけでも平坦部分のある場合には量子化を細かく行うためである。
act＝１＋min（var＿｛sblk｝）  ・・・（２）
【００１０】
式（２）により算出されるアクティビティａｃｔは、輝度信号画素値の分散が大きい複雑な絵柄の画像では大きい値となり、輝度信号画素値の分散が小さい平坦な画像では小さい値となる。更に、下記の式（３）により、アクティビティ値が「０．５〜２．０」の範囲に収まるように正規化を行い、正規化アクティビティN＿actを求める。
N＿act＝（2×act＋pred＿avg＿act）／（act＋２×pred＿avg＿act）・・・（３）
【００１１】
ＴＭ５における平均アクティビティの予測方式では、符号化対象フレームの符号化順で１フレーム前に符号化したフレームの平均アクティビティ実測値avg＿actを、符号化対象フレームの平均アクティビティの予測値pred＿avg＿actとして正規化を行う。そのため、正規化アクティビティのフレーム間における大きな変動を抑制することができる。正規化アクティビティは，アクティビティが平均アクティビティより小さい場合には，「０．５〜１．０」の値となる。また、アクティビティが平均アクティビティより大きい場合には，「１．０〜２．０」の値となる。
【００１２】
アクティビティによる視覚特性を考慮した量子化スケールコードＭＱＵＡＮＴは、正規化アクティビティN＿actとステップ２で得られた量子化スケールコードＱｓｃを基に次式（４）で与えられる。
MQUANT＝Qsc×N＿act            ・・・（４）
【００１３】
すなわち、正規化アクティビティN＿actの値が小さい平坦な画像では量子化スケールコードＭＱＵＡＮＴが小さくなるため細かく量子化され、正規化アクティビティN＿actの値が大きい複雑な絵柄の画像では量子化スケールコードＭＱＵＡＮＴが大きくなるため粗く量子化される。ＴＭ５方式における符号量制御は、以上説明した処理で行われる。
【００１４】
このようなＭＰＥＧ２符号化方式の符号化効率を向上させるために様々な検討が行われている。例えば、正規化アクティビティを算出する式（３）で用いる平均アクティビティ予測値として、符号化対象フレーム以外の符号化済みである複数フレームの平均アクティビティ実測値から符号化対象フレームの平均アクティビティを予測する。そして、その平均アクティビティ予測値により正規化アクティビティを算出して符号化効率を向上させる技術が知られている（特許文献１）。
【００１５】
【特許文献１】特開平８−１８９５２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
特許文献１のような従来の平均アクティビティの予測方法は、符号化対象フレーム以外の符号化済みフレームの平均アクティビティ実測値から符号化対象フレームの平均アクティビティを予測している。そのため、フラッシュ等により符号化対象フレームのみ直前直後のフレームとの相関がなくなった場合においては、平均アクティビティの予測が外れてしまうので、量子化制御が適切に動作しないといった問題があった。
【００１７】
本発明は前述の問題点にかんがみ、画像の変化率に応じて符号化対象フレームに適した平均アクティビティを予測するようにして、画像の相関性が失われる場合においても、量子化制御を適切に動作させることができるようにすることを目的としている。
【課題を解決するための手段】
【００１８】
本発明の画像符号化装置は、入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化装置であって、前記入力画像の変化率を検出する変化率検出手段と、前記変化率検出手段によって検出された入力画像の変化率に応じて符号化対象フレームに適した平均アクティビティを予測する予測手段と、前記予測手段により予測された平均アクティビティ予測値を用いてアクティビティの正規化を行う正規化手段と、前記正規化手段によって正規化されたアクティビティに基いて量子化制御を行う量子化制御手段とを有することを特徴とする。
また、本発明の画像符号化装置の他の特徴とするところは、入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化装置であって、前記入力画像を複数のブロックに分割するブロック分割手段と、前記ブロック分割手段によって分割されたブロック毎に絵柄の複雑さを算出するブロック特徴量算出手段と、前記ブロック特徴量算出手段によって算出された絵柄の複雑さをブロック特徴量に変換するブロック特徴量変換手段と、前記ブロック特徴量変換手段によって変換されたブロック特徴量に応じてブロックの量子化特性を決定する量子化特性決定手段と、前記入力された画像とそれ以前に入力された画像との相関性に応じて前記ブロック特徴量変換手段による変換方法を変更する変換方法変更手段とを有することを特徴とする。
【００１９】
本発明の画像符号化方法は、入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化方法であって、前記入力画像の変化率を検出する変化率検出工程と、前記変化率検出工程において検出された入力画像の変化率に応じて符号化対象フレームに適した平均アクティビティを予測する予測工程と、前記予測工程において予測された平均アクティビティ予測値を用いてアクティビティの正規化を行う正規化工程と、前記正規化工程において正規化されたアクティビティに基いて量子化制御を行う量子化制御工程とを有することを特徴とする。
また、本発明の画像符号化方法の他の特徴とするところは、入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化方法であって、前記入力画像を複数のブロックに分割するブロック分割工程と、前記ブロック分割工程において分割されたブロック毎に絵柄の複雑さを算出するブロック特徴量算出工程と、前記ブロック特徴量算出工程において算出された絵柄の複雑さをブロック特徴量に変換するブロック特徴量変換工程と、前記ブロック特徴量変換工程において変換されたブロック特徴量に応じてブロックの量子化特性を決定する量子化特性決定工程と、前記入力された画像とそれ以前に入力された画像との相関性に応じて前記ブロック特徴量変換工程による変換方法を変更する変換方法変更工程とを有することを特徴とする。
【００２０】
本発明のプログラムは、入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化方法をコンピュータに実行させるプログラムであって、前記入力画像の変化率を検出する変化率検出工程と、前記変化率検出工程において検出された入力画像の変化率に応じて符号化対象フレームに適した平均アクティビティを予測する予測工程と、前記予測工程において予測された平均アクティビティ予測値を用いてアクティビティの正規化を行う正規化工程と、前記正規化工程において正規化されたアクティビティに基いて量子化制御を行う量子化制御工程とを有する画像符号化方法をコンピュータに実行させることを特徴とする。
また、本発明のプログラムの他の特徴とするところは、入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化方法をコンピュータに実行させるプログラムであって、前記入力画像を複数のブロックに分割するブロック分割工程と、前記ブロック分割工程において分割されたブロック毎に絵柄の複雑さを算出するブロック特徴量算出工程と、前記ブロック特徴量算出工程において算出された絵柄の複雑さをブロック特徴量に変換するブロック特徴量変換工程と、前記ブロック特徴量変換工程において変換されたブロック特徴量に応じてブロックの量子化特性を決定する量子化特性決定工程と、前記入力された画像とそれ以前に入力された画像との相関性に応じて前記ブロック特徴量変換工程による変換方法を変更する変換方法変更工程とを有する画像符号化方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、入力される非圧縮映像信号に基づいて算出されるフレーム間における画像の相関性に応じて平均アクティビティを予測し、符号化対象フレームに適した平均アクティビティ予測値を用いてアクティビティの正規化を行うようにした。これにより、量子化制御をリアルタイムに適切に動作させるようにすることができる。特に、フレーム間の画像の相関性が失われる場合において符号化効率を向上させることができる。
【発明を実施するための最良の形態】
【００２２】
本願発明の実施形態を説明する前に、本願発明の背景技術を詳細に説明する。
前述のように、ＴＭ５方式では、正規化アクティビティの算出方法として、符号化対象フレームよりも符号化順で１フレーム前の平均アクティビティ実測値を平均アクティビティ予測値として使用する。そのため、正規化アクティビティのフレーム間における大きな変動を抑制することができる。しかしその反面、例えば、画像の絵柄がフレーム間で大きく変化するフラッシュやシーンチェンジ等の場合に、平均アクティビティの予測が外れるため量子化制御が適切に動作しないといった問題があった。
【００２３】
通常、フラッシュが発光した場合は、フレームを構成する２フィールドのうち、どちらか一方のフィールド画像のみフラッシュ発光により輝度値が変化する。アクティビティは、前述のようにフィールド離散コサイン変換モードにおける４つの８×８画素ブロックと、フレーム離散コサイン変換モードにおける４つの８×８画素ブロックとの、合計８つのブロックの最小分散値に基づき算出される。
【００２４】
フレーム離散コサイン変換モードにおける８×８画素ブロックのフラッシュ発光時の分散値は、フラッシュの発光によりフレームを構成するどちらか一方のフィールドの輝度値が変化しているため通常大きくなる。フラッシュが発光していなければ、８ブロックの分散値のうち最小値としてフレーム離散コサイン変換モードのブロックの分散値を選択するはずであったマクロブロックでは、フィールド離散コサイン変換モードのブロックの分散値を最小値として選択することになる。
【００２５】
そのため、フラッシュが発光していない場合に比べ、マクロブロック毎に算出されるアクティビティは大きくなる。その結果、フラッシュ発光フレームにおけるアクティビティの平均値である平均アクティビティ実測値は大きくなる。これにより、符号化順で１フレーム前の平均アクティビティ実測値を平均アクティビティ予測値として使用するＴＭ５予測方式では、平均アクティビティの予測が外れる可能性が高い。
【００２６】
シーンチェンジでは、画像の絵柄がシーンチェンジ直前フレームとシーンチェンジ直後フレームとで大きく異なる。そのため、分散値から算出されるアクティビティも大きく異なる。その結果、シーンチェンジ直前フレームとシーンチェンジ直後フレームの平均アクティビティ実測値も大きく異なる。これにより、符号化順で１フレーム前の平均アクティビティ実測値を平均アクティビティ予測値として使用するＴＭ５予測方式では、平均アクティビティの予測が外れる可能性が高い。
【００２７】
例えば、図１０（ｂ）に、図１０（a）のようなIピクチャとPピクチャから構成されるストリームについて説明する。この例は、Ｐ３ピクチャでフラッシュ等により１フレームだけ前後のフレームと相関がなくなった場合における実際に算出される平均アクティビティ実測値とＴＭ５予測方式による平均アクティビティ予測値の変化を示す。ただし、Ｉ０ピクチャの平均アクティビティ予測値は、所定の初期値を与えるため図示していない。
【００２８】
図１０（ｂ）において、Ｐ１ピクチャ及びＰ２ピクチャはそれぞれ符号化順で直前のフレームと相関があるため、ＴＭ５方式で予測した平均アクティビティ予測値と実際に算出される平均アクティビティ実測値の誤差が少ない。フラッシュ等によりＰ３ピクチャは前後フレームとの相関がなくなっているため、実際に算出される平均アクティビティ実測値はＰ３ピクチャで増加し、Ｐ４ピクチャで減少している。
【００２９】
しかし、ＴＭ５予測方式では符号化順で１フレーム前の平均アクティビティ実測値を平均アクティビティ予測値と使用するため、Ｐ３ピクチャとＰ４ピクチャにおいて、平均アクティビティ実測値と平均アクティビティ予測値との間に大きな誤差が発生する。
【００３０】
また、図１０（ｃ）に、Ｐ３ピクチャにおいてシーンチェンジ等により直前のフレームとの相関がなくなった場合における平均アクティビティ実測値とＴＭ５予測方式による平均アクティビティ予測値の変化を示す。図１０（ｂ）と同様に、Ｐ３ピクチャにおいて、実際に算出される平均アクティビティ実測値とＴＭ５予測方式の平均アクティビティ予測値に間に大きな誤差が発生する。
【００３１】
次に、図１１を参照しながら、この平均アクティビティ予測値の誤差による量子化制御への影響について説明する。図１１のＬ１１０１は、図１０（ｃ）のＰ３ピクチャを実際に算出した平均アクティビティ実測値（avg＿act＝２００）を用いて正規化を行った場合の正規化アクティビティの変化を示している。
【００３２】
図１１のＬ１１０２は、図１０（ｃ）のＰ３ピクチャをＴＭ５予測方式で平均アクティビティを予測した平均アクティビティ予測値（pred＿avg＿act＝５０）を用いて正規化を行った場合の正規化アクティビティの変化を示している。
【００３３】
例えば、アクティビティact＝１５０において、平均アクティビティ実測値avg＿act＝２００で正規化した（点Ａ）場合の正規化アクティビティは「１．４」である。それに対して、ＴＭ５予測方式の平均アクティビティ予測値pred＿avg＿act＝５０で正規化した（点Ｂ）場合の正規化アクティビティは「０．９」である。この２点の正規化アクティビティは大きく異なる。
【００３４】
つまり、本来の平均アクティビティ実測値を使ったアクティビティの正規化であれば粗く量子化されるべきブロックが、ＴＭ５方式で予測した平均アクティビティ予測値を使ったアクティビティの正規化を行うことにより細い量子化が行われてしまう。このように、ＴＭ５方式で予測した平均アクティビティ予測値を使って正規化を行うと、特に画像の相関がなくなった場合に不適切な量子化ステップが設定され、量子化制御が適切に動作しないといった問題があった。
（第１の実施形態）
以下、図面を参照しながら本発明の好適な実施の形態について説明する。
図１は、本発明の実施形態を示し、画像符号化装置の構成例を示すブロック図である。以下、本実施形態の構成例について図１を参照して説明する。
【００３５】
まず、画像並び替え部１０１は、少なくとも１枚のフレームをバッファリングし、入力画像を表示順から符号化順に並び替える。ブロック分割部１０２は、入力された非圧縮の画像データを例えば１６×１６画素のマクロブロックに分割する。減算器１０３は、入力画像データから予測画像データを減算し画像残差データを出力する。予測画像データの生成については後述する。
【００３６】
離散コサイン変換部１０４は、減算器１０３から出力された画像残差データを直交変換処理して変換係数を出力する。量子化部１０５は上記変換係数をマクロブロック毎に算出される量子化スケールに基づき量子化する。可変長符号化部１０６には、量子化部１０５で量子化された変換係数が入力され、可変長符号化部１０６はこれを可変長符号化して符号化データとする。符号化データは一旦バッファ部１０７に溜められた後で出力される。
【００３７】
画像変化率算出部１１５は、表示順の非圧縮映像信号を入力し、少なくとも２枚以上のフレームにおける画像の相関性を判定することにより画像の変化率を算出する。平均アクティビティ予測部１１６は、画像変化率算出部１１５より出力された画像の変化率と後述の符号量制御部１１４より出力された符号化済みのフレームの平均アクティビティ実測値とに応じて、符号化対象フレームに適した平均アクティビティを予測する。そして、平均アクティビティ予測値を符号量制御部１１４に出力する。
【００３８】
平均アクティビティ予測値は、量子化スケールを算出するブロック毎に出力される。符号量制御部１１４は平均アクティビティ予測値を用いてアクティビティの正規化を行う。そして、バッファ部１０７に溜められたデータがオーバーフローやアンダーフローを起こさないよう決定された量子化スケールコードと正規化アクティビティより量子化スケールとを決定し、量子化部１０５に出力する。また、符号量制御部１１４は１フレームのアクティビティの平均を算出し、平均アクティビティ実測値として平均アクティビティ予測部１１６に出力する。
【００３９】
一方、量子化部１０５で量子化された変換係数は予測画像データの生成にも使われる。逆量子化部１０８は、量子化部１０５で量子化された変換係数を逆量子化する。さらに、逆離散コサイン変換部１０９は逆量子化部１０８で逆量子化された変換係数を逆離散コサイン変換し、復号画像残差データとして出力する。
【００４０】
加算器１１０は、復号画像残差データと予測画像データとを加算し、再構成画像データとして出力する。再構成画像データはフレームメモリ１１１に記録される。再構成画像データの中で、以降の予測で参照される可能性があるデータは、フレームメモリ１１１に暫くの期間保存される。
【００４１】
動き補償部１１２は、フレームメモリ１１１に記録された再構成画像データを用いて動き検出部１１３によって検出された動きベクトル情報に基づいて動き補償を行い、予測画像データを生成する。動き検出部１１３は入力画像データにおける動きベクトルを検出し、検出した動きベクトル情報を動き補償部１１２と可変長符号化部１０６へ出力する。
【００４２】
続いて、本発明の特徴である画像変化率算出部１１５及び平均アクティビティ予測部１１６について詳しく説明する。
まず、画像変化率算出部１１５について説明する。画像変化率算出部１１５は、少なくとも２枚のフレームの画像特徴量を比較することにより画像の変化率を算出する。画像変化率の算出は、表示順の非圧縮映像信号に対して行い、図１の前記画像並び替え部１０１により少なくとも１枚のフレームをバッファリングするため、符号化対象フレームの符号化開始前に算出することができる。画像変化率の算出は、例えば、フレーム内の画素値の分散を用いて算出される。以下、フレーム内の画素値の分散を用いた画像変化率の算出について説明する。
【００４３】
フレーム内画素値の分散の算出は式（５）に基づき算出される。Ｐｊはフレーム内の輝度信号画素値であり、ｖａｒはフレーム内画素値の分散値である。Ｎはフレーム内画素値の総数であり、Ｐはフレーム内画素値Ｐｊのフレームにおける平均画素値である。
【００４４】
【数２】
2008005337.tif 000004
【００４５】
一般に、分散値が大きくなるほど画像の高域成分が多く、分散値が小さくなるほど画像の低域成分が多くなるため、おおよその絵柄を推定できる。これにより少なくとも２枚以上のフレームの分散値を比較することにより画像の変化率を算出することが可能である。例えば、フラッシュ等により１フレームだけ相関がなくなった場合について、図２を参照して説明する。
【００４６】
図２（ａ）は、フレーム番号３のフレームでフラッシュの発光等により１フレームのみ直前直後のフレームとの相関がなくなった場合の分散値の変化を表した図である。通常、フラッシュが発光した場合は、１フレームのうちどちらか一方のフィールドのみ輝度値が変化する。そのため、図２のようにフレーム番号３の分散値は直前及び直後フレームと比べて大きくなる。
【００４７】
また、図２（ｂ）は、フレーム番号３のフレームでシーンチェンジ等によりフレーム番号３以前のフレームとフレーム番号３以降のフレームとの相関がなくなった場合の分散値の変化を表した図である。フレーム番号３以降のフレームに高域成分が多く含まれる場合は、図２（ｂ）のように分散値がフレーム番号３以降大きくなる。逆に、図示していないが、フレーム番号３以降のフレームに低域成分が多く含まれる場合は、分散値がフレーム番号３以降小さくなる。
【００４８】
画像変化率算出部１１５は、このような分散値の変化より画像の変化率Xをフレーム毎に算出し、平均アクティビティ算出部１１６に出力する。例えば、フレーム番号３と２の画像変化率算出式を以下に示す。
X3,2＝ｆ（ＶＡＲ3 ，ＶＡＲ2）・・・（６）
【００４９】
式（６）において、ＶＡＲ3はフレーム番号３の分散値を表し、ＶＡＲ2はフレーム番号２の分散値を表している。また、X3,2はフレーム番号３と２の画像変化率を表し、フレーム番号３と２の分散値の関数として算出される。分散値を比較するフレームは符号化対象フレームと符号化順で符号化対象フレームの少なくとも１フレーム前のフレームである。この関数の例を式（７）に示す。
X3,2＝ＶＡＲ3 ／ ＶＡＲ2・・・（７）
【００５０】
フレーム番号３の分散値のほうがフレーム番号２の分散値よりも大きい場合の画像変化率は「１．０」よりも大きい値を取り、フレーム番号３の分散値のほうがフレーム番号２の分散値よりも小さい場合の画像変化率は「１．０」よりも小さい値を取る。分散値に変化がない場合は、画像の変化もないものとし画像変化率は「１．０」となる。
【００５１】
つまり、図２（ｂ）において、フレーム番号２と１の分散値ＶＡＲ2とＶＡＲ1の分散値は変化がないので画像変化率X2,1は「１．０」である。また、画像変化率が「１．０」を中心に所定範囲内（例えば、０．８〜１．２）の場合は、画像変化率の微小変化を抑制するために、画像の変化がないものとし、画像変化率を「１．０」とみなしてもよい。画像変化率の微小変化を抑制したことにより、フレーム間の相関性が大きく失われた時のみ後述する画像変化率に応じて平均アクティビティ実測値を変更し、平均アクティビティ予測値を算出することが可能となる。
【００５２】
なお、画像変化率の算出は、フィールド内画素値の分散に応じて算出してもよい。前述のように、フラッシュの発光により、１フレームのうちどちらか一方のフィールドの輝度値が変化する。一般的に、フラッシュが発光した場合はフラッシュが発光した１フィールドにおいて、画面の一部の輝度値が高くなる。そのため、フラッシュが発光したフィールドの分散値は直前及び直後フィールドと比べて大きくなる。
【００５３】
このように算出したフィールド内画素値の分散値に基づき、式（６）、（７）で前述したように、フィールド分散値の比率に従って画像変化率を算出する。この場合、フラッシュの発光フレームにおいてはどちらか一方のフィールドの分散値しか変化しないため、２つのフィールドの画像変化率のうち、どちらか大きい方をフレームの代表画像変化率としてもよい。
【００５４】
次に、平均アクティビティ予測部１１６について説明する。
まず、ＩピクチャとＰピクチャのみで構成されるストリームの場合における平均アクティビティ予測値の算出について図３及び図４を参照して説明する。
【００５５】
図３（ａ）は、ＩピクチャとＰピクチャのみで構成され、Ｐ３ピクチャでフラッシュの発光等により１フレームのみ直前直後のフレームとの相関がなくなった場合のストリームを表示順で表したものである。
【００５６】
図３（ｂ）は、図３（ａ）のような画像を符号化する場合の分散値の変化を示し、図３（ｃ）は、図３（ａ）のような画像を符号化する場合の本実施形態の平均アクティビティ予測値と実際に算出される平均アクティビティ実測値との変化を示す。ただし、Ｉ０ピクチャの平均アクティビティ予測値は、所定の初期値を与えるため図示していない。
【００５７】
平均アクティビティ予測部１１６は、前述の画像変化率算出部１１５より出力された画像変化率と符号量制御部から出力された符号化済みのフレームの平均アクティビティ実測値に応じて符号化対象フレームの平均アクティビティ予測値を算出する。例えば、Ｐ３ピクチャでフラッシュの発光等により１フレームのみ直前直後のフレームとの相関がなくなった場合において、Ｐ３ピクチャの平均アクティビティ予測値算出方法について説明する。
【００５８】
前述のように、Ｐ３ピクチャでフラッシュの発光等により１フレームのみ直前直後のフレームとの相関がなくなった場合はＰ３ピクチャのみ分散値が高くなる。平均アクティビティ予測部１１６は、平均アクティビティ予測値を算出する。本実施形態においては、画像変化率算出部１１５より出力されたＰ３ピクチャとＰ２ピクチャとの画像の変化率ＸP3P2と、符号化対象フレームより符号化順で１フレーム前の符号化済みであるフレームの平均アクティビティ実測値ＡＶＧ＿ＡＣＴP2とを用いて算出する。これにより、以下のように平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP3が算出される。
PRED＿AVG＿ＡＣＴP3 ＝ ＡＶＧ＿ＡＣＴP2 × ＸP3P2・・・（８）
【００５９】
つまり、符号化対象フレームより符号化順で１フレーム前のフレームの平均アクティビティ実測値を画像の変化率に応じて変更した値を平均アクティビティ予測値とする。画像変化率が「１．０」よりも大きい値であれば、平均アクティビティ実測値よりも大きい値を平均アクティビティ予測値とする。また、画像変化率が「１．０」よりも小さい値であれば、平均アクティビティ実測値よりも小さい値を平均アクティビティ予測値とする。
【００６０】
そのため、本発明の予測方式では、符号化対象フレームより符号化順で１フレーム前のフレームの平均アクティビティ実測値をそのまま平均アクティビティ予測値とするＴＭ５の予測方式に比べ、平均アクティビティの予測誤差が少ない。これにより、入力画像により適した平均アクティビティで正規化することができる。ただし、画像の変化率が「１．０」の場合（例えば、符号化対象フレームが図３のＰ１、Ｐ２、Ｐ５、Ｐ６の場合）において、平均アクティビティ予測値は符号化対象フレームより符号化順で１フレーム前のフレームの平均アクティビティ実測値と等しくなる。
【００６１】
この平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴの算出を全てのフレームについて行い、符号量制御部１１４はフレーム毎に算出される平均アクティビティ予測値に従いアクティビティの正規化を行い、量子化特性を変更する。
【００６２】
また、図３の例のように、フラッシュの発光等により１フレームだけ直前直後のフレームとの相関がなくなる場合のＰ４ピクチャは、Ｐ３ピクチャとの分散値の差が大きく、Ｐ２ピクチャとの分散値の差が小さいためにＰ２ピクチャと相関が強いと考えられる。そのため、次の式（９）に従って平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP4を算出してもよい。
ＰＲＥＤ＿ＡＶＧ＿＿ＡＣＴP4 ＝ ＡＶＧ＿ＡＣＴP2・・・（９）
【００６３】
つまり、画像の変化率Ｘに応じて平均アクティビティを変更するのではなく、符号化順で２フレーム前の相関が強いＰ２ピクチャの平均アクティビティをそのまま平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴとする。
【００６４】
図４（ａ）は、ＩピクチャとＰピクチャのみで構成され、シーンチェンジ等によりＰ３ピクチャの前後で相関がなくなった場合のストリームを表示順で表したものである。図４（ｂ）は、図４（ａ）のような画像を符号化する場合の分散値の変化を示し、図４（ｃ）は、図４（ａ）のような画像を符号化する場合の本発明の平均アクティビティ予測値と実際に符号化した後に算出される平均アクティビティ実測値の変化を示す。ただし、Ｉ０ピクチャの平均アクティビティ予測値は、所定の初期値を与えるため図示していない。
【００６５】
平均アクティビティ予測部１１６は前述の画像変化率算出部１１５より出力された画像変化率と符号量制御部から出力された符号化済みのフレームの平均アクティビティ実測値に応じて符号化対象フレームの平均アクティビティ予測値を算出する。例えば、シーンチェンジ等によりＰ３ピクチャの前後で相関がなくなった場合において、Ｐ３ピクチャの平均アクティビティ予測値算出方法について説明する。
【００６６】
前述のようにＰ３ピクチャでシーンチェンジ等によりＰ３ピクチャの前後で相関がなくなった場合はＰ３ピクチャ以降の分散値が変化する。例えば、図４（ｂ）のように分散値が高くなる。平均アクティビティ予測部１１６は、画像変化率算出部１１５より出力されたＰ３ピクチャとＰ２ピクチャとの画像の変化率ＸP3P2と、符号化対象フレームより符号化順で１フレーム前の符号化済みであるフレームの平均アクティビティ実測値ＡＶＧ＿ＡＣＴP2を用いて前述の方法と同様に平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP3を算出する。
PRED＿AVG＿ＡＣＴP3 ＝ ＡＶＧ＿ＡＣＴP2 × ＸP3P2・・・（８）
【００６７】
つまり、符号化対象フレームより符号化順で１フレーム前のフレームの平均アクティビティ実測値を画像の変化率に応じて変更した値を平均アクティビティ予測値とする。この平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴの算出を全てのフレームについて行い、符号量制御部１１４はフレーム毎に算出される平均アクティビティ予測値に従いアクティビティの正規化を行う。
【００６８】
次に、Ｉピクチャ、Ｐピクチャ及びＢピクチャで構成されるストリームの場合における平均アクティビティ予測値の算出について、図５〜９を参照して説明する。前述のＩピクチャ及びＰピクチャで構成されるストリームの場合における平均アクティビティ予測値の算出と重複する説明は省略する。
【００６９】
図５（ａ）は、Ｉピクチャ、Ｐピクチャ及びＢピクチャで構成され、Ｂ２ピクチャでフラッシュの発光等により１フレームのみ直前直後のフレームとの相関がなくなった場合のストリームを表示順で表したものである。
【００７０】
図５（ｂ）は、図５（ａ）のような画像を符号化する場合の分散値の変化を示し、図５（ｃ）は、図５（ａ）のような画像を符号化する場合の本発明の平均アクティビティ予測値と平均アクティビティ実測値の変化を示す。
【００７１】
平均アクティビティ予測部１１６は、前述の画像変化率算出部１１５より出力された画像変化率と符号量制御部から出力された符号化済みのフレームの平均アクティビティ実測値に応じて符号化対象フレームの平均アクティビティ予測値を算出する。例えば、Ｂ２ピクチャでフラッシュの発光等により１フレームのみ直前直後のフレームとの相関がなくなった場合において、Ｂ２ピクチャの平均アクティビティ予測値算出方法について説明する。
【００７２】
平均アクティビティ予測部１１６は、画像変化率算出部１１５より出力されたＢ２ピクチャとＰ３ピクチャの画像の変化率ＸB2P3と符号化対象フレームより符号化順で１フレーム前の符号化済みであるフレームの平均アクティビティ実測値ＡＶＧ＿ＡＣＴP3を用いて以下のように平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴB2を算出する。
ＰＲＥＤ＿ＡＶＧ＿ＡＣＴB2 ＝ ＡＶＧ＿ＡＣＴP3 × ＸB2P3・・・（１０）
【００７３】
図６（ａ）は、Ｉピクチャ、Ｐピクチャ及びＢピクチャで構成され、シーンチェンジ等によりＢ２ピクチャの前後で相関がなくなった場合のストリームを表示順で表したものである。図６（ｂ）は、図６（ａ）のような画像を符号化する場合の分散値の変化を示し、図６（ｃ）は、図６（ａ）のような画像を符号化する場合の本実施形態の平均アクティビティ予測値と平均アクティビティ実測値の変化を示す。
【００７４】
平均アクティビティ予測部１１６は、前述の画像変化率算出部１１５より出力された画像変化率と符号量制御部から出力された符号化済みのフレームの平均アクティビティ実測値に応じて符号化対象フレームの平均アクティビティ予測値を算出する。例えば、シーンチェンジ等によりＢ２ピクチャの前後で相関がなくなった場合において、Ｐ３ピクチャの平均アクティビティ予測値算出方法について説明する。ここで、画像並び替え部１０１により符号化順への画像の並び替えが行われるので、図６（ｂ）のように、符号化順ではＰ３ピクチャから分散値が変化していることに注意する。
【００７５】
平均アクティビティ予測部１１６は、画像変化率算出部１１５より出力されたＰ３ピクチャとＢ０ピクチャの画像の変化率ＸP3B0と符号化対象フレームより符号化順で１フレーム前の符号化済みであるフレームの平均アクティビティ実測値ＡＶＧ＿ＡＣＴB0を用いて以下のように平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP3を算出する。
ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP3 ＝ ＡＶＧ＿ＡＣＴB0 ×  ＸP3B0・・・（１１）
【００７６】
図７（ａ）は、Ｉピクチャ、Ｐピクチャ及びＢピクチャで構成され、Ｐ３ピクチャでフラッシュの発光等により１フレームのみ直前直後のフレームとの相関がなくなった場合のストリームを表示順で表したものである。
【００７７】
図７（ｂ）は、図７（ａ）のような画像を符号化する場合の分散値の変化を示し、図７（ｃ）は、図７（ａ）のような画像を符号化する場合の本実施形態の平均アクティビティ予測値と平均アクティビティ実測値の変化を示す。
【００７８】
平均アクティビティ予測部１１６は、前述の画像変化率算出部１１５より出力された画像変化率と符号量制御部から出力された符号化済みのフレームの平均アクティビティ実測値に応じて符号化対象フレームの平均アクティビティ予測値を算出する。例えば、Ｐ３ピクチャでフラッシュの発光等により１フレームのみ直前直後のフレームとの相関がなくなった場合において、Ｐ３ピクチャの平均アクティビティ予測値算出方法について説明する。
【００７９】
平均アクティビティ予測部１１６は、画像変化率算出部１１５より出力されたＰ３ピクチャとＢ０ピクチャの画像の変化率ＸP3B0と符号化対象フレームより符号化順で１フレーム前の符号化済みであるフレームの平均アクティビティ実測値ＡＶＧ＿ＡＣＴB0を用いて以下のように平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP3を算出する。
ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP3 ＝ ＡＶＧ＿ＡＣＴB0 × ＸP3B0・・・（１１）
【００８０】
図８（ａ）はＩピクチャ、Ｐピクチャ及びＢピクチャで構成され、シーンチェンジ等によりＰ３ピクチャの前後で相関がなくなった場合のストリームを表示順で表したものである。図８（ｂ）は、図８（ａ）のような画像を符号化する場合の分散値の変化を示し、図８（ｃ）は、図８（ａ）のような画像を符号化する場合の本実施形態の平均アクティビティ予測値と平均アクティビティ実測値の変化を示す。
【００８１】
平均アクティビティ予測部１１６は前述の画像変化率算出部１１５より出力された画像変化率と符号量制御部から出力された符号化済みのフレームの平均アクティビティ実測値に応じて符号化対象フレームの平均アクティビティ予測値を算出する。
【００８２】
例えば、シーンチェンジ等によりＰ３ピクチャの前後で相関がなくなった場合において、Ｐ３ピクチャの平均アクティビティ予測値算出方法について説明する。ここで、画像並び替え部１０１により符号化順への画像の並び替えが行われるので、図８（ｂ）のように、符号化順ではＰ３、Ｂ２、Ｐ５ピクチャにおいて分散値が変化していることに注意する。
【００８３】
平均アクティビティ予測部１１６は、画像変化率算出部１１５より出力されたＰ３ピクチャとＢ０ピクチャの画像の変化率ＸP3B0と符号化対象フレームより符号化順で１フレーム前のフレームの符号化済みである平均アクティビティＡＶＧ＿ＡＣＴB0を用いて以下のように平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP3を算出する。
ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP3 ＝ ＡＶＧ＿ＡＣＴB0 × ＸP3B0・・・（１１）
【００８４】
このように、アクティビティの正規化を行うに当たって、ＴＭ５予測方式のように符号化対象フレームよりも符号化順で１フレーム前の平均アクティビティ実測値を平均アクティビティ予測値としてそのまま使用しない。例えば、符号化対象フレームよりも符号化順で１フレーム前の平均アクティビティ実測値を画像の変化率に応じて変更することにより、入力画像に適した平均アクティビティ予測値を使ったアクティビティの正規化が可能となる。
【００８５】
また、フラッシュの発光等により１フレームだけ直前直後のフレームとの相関がなくなる場合においては、フラッシュ発光フレームの直前フレームと直後フレームの相関が強い。このため、フラッシュ発光フレームの符号化順で直後のフレームに関しては、少なくとも符号化順で２フレーム前の平均アクティビティ実測値を平均アクティビティ予測値としてそのまま使用する。これにより、入力画像に適した平均アクティビティ予測値を使ってアクティビティの正規化が可能となり、量子化制御を適切に動作させることができる。
【００８６】
次に、本実施形態における、画像の変化率と符号化対象フレームよりも符号化順で１フレーム前のフレームの平均アクティビティ実測値に応じて平均アクティビティ値を予測する。そして、その平均アクティビティ予測値に従ってアクティビティの正規化を行う処理について、図９のフローチャートを参照して説明する。
【００８７】
まず、ステップＳ９０１において、非圧縮の映像信号を入力する。そして、ステップＳ９０２において画像変化率算出部１１５は前述の方法により、符号化対象フレームの分散値と平均アクティビティ実測値参照フレームの分散値から画像の変化率を算出し、平均アクティビティ予測部１１６に出力する。
【００８８】
次に、ステップＳ９０３において、平均アクティビティ予測部１１６は、符号量制御部１１４から出力された符号化済みのフレームの平均アクティビティ実測値を入力する。次に、ステップＳ９０４において、画像変化率算出部１１５より出力された画像変化率及び符号量制御部１１４から出力された符号化済みのフレームの平均アクティビティ実測値に応じて前述の方法により平均アクティビティ予測値を算出する。そして、符号量制御部１１４に出力する。
【００８９】
次に、ステップＳ９０５において、符号量制御部１１４は、平均アクティビティ予測値に従って前述の式（３）によりアクティビティの正規化を行う。ステップＳ９０６において、ステップＳ９０１〜９０５の処理をフレーム毎に繰り返し、すべてのフレームについて正規化アクティビティを算出する。
【００９０】
本実施形態の画像符号化装置によれば、入力される非圧縮映像信号に基づき算出されるフレーム間における画像の相関性に応じて平均アクティビティを予測する。そして、符号化対象フレームに適した平均アクティビティ予測値を用いてアクティビティの正規化を行い、適切に量子化制御をリアルタイムに動作させることができる。そのため、特に画像の相関性が失われる場合において符号化効率を向上させることができるといった効果が得られる。
【００９１】
（本発明に係る他の実施形態）
前述した本発明の実施形態における画像符号化装置を構成する各手段、並びに画像符号化方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００９２】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００９３】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図９に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００９４】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００９５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００９６】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【００９７】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００９８】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００９９】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１００】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１０１】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施形態を示し、画像符号化装置の構成例を示すブロック図である。
【図２】（ａ）は、直前直後のフレームとの相関がなくなった場合の分散値の変化を表した図、（ｂ）はフレーム番号３以前のフレームとフレーム番号３以降のフレームとの相関がなくなった場合の分散値の変化を表した図である。
【図３】本発明の実施形態を示し、平均アクティビティ予測値の算出方法を示す図である。
【図４】本発明の実施形態を示し、平均アクティビティ予測値の算出方法を示す図である。
【図５】本発明の実施形態を示し、平均アクティビティ予測値の算出方法を示す図である。
【図６】本発明の実施形態を示し、平均アクティビティ予測値の算出方法を示す図である。
【図７】本発明の実施形態を示し、平均アクティビティ予測値の算出方法を示す図である。
【図８】本発明の実施形態を示し、平均アクティビティ予測値の算出方法を示す図である。
【図９】本発明の実施形態を示し、平均アクティビティ予測値に従ってアクティビティの正規化を行う処理動作を示すフローチャートである。
【図１０】ＴＭ５方式の平均アクティビティ予測値の算出方法を示す図である。
【図１１】平均アクティビティと正規化アクティビティの関係を示す図である。
【符号の説明】
【０１０３】
１０１  画像並び替え部
１０２  ブロック分割部
１０３  減算器
１０４  離散コサイン変換部
１０５  量子化部
１０６  可変長符号化部
１０７  バッファ部
１０８  逆量子化部
１０９  逆離散コサイン変換部
１１０  加算器
１１１  フレームメモリ
１１２  動き補償部
１１３  動き検出部
１１４  符号量制御部
１１５  画像変化率算出部
１１６  平均アクティビティ予測部
【図１】
2008005337.tif 000005
【図２】
2008005337.tif 000006
【図３】
2008005337.tif 000007
【図４】
2008005337.tif 000008
【図５】
2008005337.tif 000009
【図６】
2008005337.tif 000010
【図７】
2008005337.tif 000011
【図８】
2008005337.tif 000012
【図９】
2008005337.tif 000013
【図１０】
2008005337.tif 000014
【図１１】
2008005337.tif 000015