(57)【要約】【課題】動画像を符号化する画像符号化装置の低消費電力化と効率的な動画復号化とを可能とすること。【解決手段】画像符号化装置は、符号化される複数のピクチャに関してイントラ予測ユニット１１３によるイントラ・フレーム予測誤差ＩｎｔｒａＳＡＤとインター予測ユニット１１２によるインター・フレーム予測誤差ＩｎｔｅｒＳＡＤとから符号化用の量子化ユニット１０６の量子化パラメータＱｐ＿Ｉｐｉｃ、Ｑｐ＿Ｐｐｉｃを予め算出する算出ユニット１１５を含む。算出ユニット１１５によるＩｎｔｒａＳＡＤよりもＩｎｔｅｒＳＡＤが大きい動きの大きなピクチャでは量子化パラメータＱｐ＿Ｉｐｉｃ、Ｑｐ＿Ｐｐｉｃは大きな値に設定され、動きの小さなピクチャでは量子化パラメータは小さな値に設定される。それにより、量子化ユニット１０６は大きな量子化誤差での量子化を実行する。消費電力の削減と符号化データのビット数の削減とが可能となる。【選択図】図１
2008099175.tif 000002
【特許請求の範囲】
【請求項１】
符号化される１枚のピクチャ内でイントラ予測を行うイントラ予測ユニットと、
以前に符号化されたピクチャーから動きベクトルとピクチャ参照パラメータとを使用して符号化される１枚のピクチャのインター予測を行うインター予測ユニットと、
前記イントラ予測ユニットと前記イントラ予測ユニットとの両者に接続され前記両者の一方の予測の結果を選択する選択ユニットと、
前記選択ユニットにより選択された予測データと符号化される１枚のピクチャの原画像データとの差分を算出する減算器と、
前記減算器の出力に接続された直交変換ユニットと、
前記直交変換ユニットの出力に接続された量子化ユニットと、
前記量子化ユニットの出力に接続された符号化ユニットと、
符号化される複数のピクチャに関して前記イントラ予測ユニットによるイントラ・フレーム予測誤差と前記インター予測ユニットによるインター・フレーム予測誤差とを予め算出する算出ユニットとを含み、
前記算出ユニットは、予め算出された前記イントラ・フレーム予測誤差と前記インター・フレーム予測誤差とから前記複数のピクチャの符号化での前記量子化ユニットの量子化パラメータを更に算出して、
前記算出ユニットにより予め算出された前記イントラ・フレーム予測誤差よりも前記算出ユニットにより予め算出された前記インター・フレーム予測誤差が大きい動きの大きなピクチャでは、前記量子化パラメータは大きな値に設定され、前記動きの大きなピクチャの符号化では、前記量子化ユニットは大きな量子化誤差での量子化を実行して、
前記算出ユニットにより予め算出された前記イントラ・フレーム予測誤差よりも前記算出ユニットにより予め算出された前記インター・フレーム予測誤差が小さい動きの小さなピクチャでは、前記量子化パラメータは小さな値に設定され、前記動きの小さなピクチャの符号化では、前記量子化ユニットは小さな量子化誤差での量子化を実行する動画符号化装置。
【請求項２】
前記算出ユニットによる前記イントラ・フレーム予測誤差と前記インター・フレーム予測誤差との算出に際して、前記選択ユニットは前記イントラ予測ユニットによる前記イントラ・フレーム予測誤差と前記インター予測ユニットによる前記インター・フレーム予測誤差の少ない方の誤差を選択使用予測誤差として選択するものである請求項１に記載の動画符号化装置。
【請求項３】
前記算出ユニットは１枚のピクチャで前記イントラ・フレーム予測誤差の平均値と前記インター・フレーム予測誤差の平均値と前記選択使用予測誤差の平均値とを算出するものである請求項２に記載の動画符号化装置。
【請求項４】
符号化される１枚のＩピクチャの重要性パラメータを、前記算出ユニットは当該Ｉピクチャの前のＰピクチャの前記イントラ・フレーム予測誤差の前記平均値を前記選択使用予測誤差の前記平均値で割り算した値から算出するものであり、
前記算出ユニットによる前記重要性パラメータが小さなピクチャでは前記重要性パラメータが大きなピクチャの場合よりも前記Ｉピクチャのピクチャデータを量子化する前記量子化ユニットの前記量子化パラメータは大きな値に設定されるものである請求項３に記載の動画符号化装置。
【請求項５】
符号化される１枚のＰピクチャの予測誤差比パラメータを、前記算出ユニットは当該Ｉピクチャの前のＰピクチャの前記イントラ・フレーム予測誤差の前記平均値を前記インター・フレーム予測誤差の前記平均値で割り算した値から算出するものであり、
前記算出ユニットによる前記予測誤差比パラメータが小さなピクチャでは前記予測誤差比パラメータが大きなピクチャの場合よりも前記Ｐピクチャのピクチャデータを量子化する前記量子化ユニット（１０６）の前記量子化パラメータは大きな値に設定されるものである請求項３に記載の動画符号化装置。
【請求項６】
ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４の少なくともいずれかに準拠するものである請求項５と請求項６のいずれかに記載の動画符号化装置。
【請求項７】
符号化される１枚のピクチャ内でイントラ予測を行うイントラ予測のステップと、
以前に符号化されたピクチャーから動きベクトルとピクチャ参照パラメータとを使用して符号化される１枚のピクチャのインター予測を行うインター予測のステップと、
前記イントラ予測の前記ステップと前記イントラ予測の前記ステップとの一方の予測の結果を選択する選択のステップと、
前記選択の前記ステップにより選択された予測データと符号化される１枚のピクチャの原画像データとの差分を算出する減算のステップと、
前記減算の前記ステップの後に実行される直交変換のステップと、
前記直交変換の前記ステップの後に実行される量子化のステップと、
前記量子化の前記ステップの後に実行される符号化のステップと、
符号化される複数のピクチャに関して前記イントラ予測の前記ステップによるイントラ・フレーム予測誤差と前記イントラ予測の前記ステップによるインター・フレーム予測誤差とを予め算出する算出のステップとを含み、
前記算出のステップでは、予め算出された前記イントラ・フレーム予測誤差と前記インター・フレーム予測誤差とから前記複数のピクチャの符号化での前記量子化の前記ステップの量子化パラメータを更に算出して、
前記算出の前記ステップにより予め算出された前記イントラ・フレーム予測誤差よりも予め算出された前記インター・フレーム予測誤差が大きい動きの大きなピクチャでは、前記算出のステップにより算出される前記量子化パラメータは大きな値に設定され、それにより、前記動きの大きなピクチャの符号化では、前記量子化の前記ステップは大きな量子化誤差での量子化を実行して、
前記算出の前記ステップにより予め算出された前記イントラ・フレーム予測誤差よりも予め算出された前記インター・フレーム予測誤差が小さい動きの小さなピクチャでは、前記算出のステップにより算出される前記量子化パラメータは小さな値に設定され、それにより、前記動きの小さなピクチャの符号化では、前記量子化の前記ステップは小さな量子化誤差での量子化を実行する動画符号化方法。
【請求項８】
前記算出の前記ステップによる前記イントラ・フレーム予測誤差と前記インター・フレーム予測誤差との算出に際して、前記選択の前記ステップでは前記イントラの前記ステップによる前記イントラ・フレーム予測誤差と前記インターの前記ステップによる前記インター・フレーム予測誤差の少ない方の誤差を選択使用予測誤差として選択するものである請求項７に記載の動画符号化方法。
【請求項９】
前記算出の前記ステップでは１枚のピクチャで前記イントラ・フレーム予測誤差の平均値と前記インター・フレーム予測誤差の平均値と前記選択使用予測誤差の平均値とを算出するものである請求項８に記載の動画符号化方法。
【請求項１０】
符号化される１枚のＩピクチャの重要性パラメータを、前記算出の前記ステップでは当該Ｉピクチャの前のＰピクチャの前記イントラ・フレーム予測誤差の前記平均値を前記選択使用予測誤差の前記平均値で割り算した値から算出するものであり、
前記算出の前記ステップによる前記重要性パラメータが小さなピクチャでは前記重要性パラメータが大きなピクチャの場合よりも前記Ｉピクチャのピクチャデータを量子化する前記量子化ユニットの前記量子化パラメータは大きな値に設定されるものである請求項９に記載の動画符号化方法。
【請求項１１】
符号化される１枚のＰピクチャの予測誤差比パラメータを、前記算出の前記ステップは当該Ｉピクチャの前のＰピクチャの前記イントラ・フレーム予測誤差の前記平均値を前記インター・フレーム予測誤差の前記平均値で割り算した値から算出するものであり、
前記算出の前記ステップによる前記予測誤差比パラメータが小さなピクチャでは前記予測誤差比パラメータが大きなピクチャの場合よりも前記Ｐピクチャのピクチャデータを量子化する前記量子化ユニットの前記量子化パラメータは大きな値に設定されるものである請求項９に記載の動画符号化方法。
【請求項１２】
ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４の少なくともいずれかに準拠するものである請求項１０と請求項１１のいずれかに記載の動画符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画符号化装置および動画符号化方法に係わり、特に画面の動きの大きさに応答して量子化パラメータを制御することにより動画符号化を効率化するのに好適な技術に関する。
【背景技術】
【０００２】
動画像符号化方式としては、現在ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）によるＭＰＥＧ−２やＭＰＥＧ−４による動画像符号化方式が世界的に普及している。ＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門；International Telecommunication Union、 Telecommunication Standardization Sector）の勧告Ｈ．２６４として承認されるとともにＩＳＯ／ＩＥＣ（International Organization for Standardization/ International Electrotechnical Commission）によって国際基準１４４９６‐１０（ＭＰＥＧ  ｐａｒｔ  １０）  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）として承認されたＨ．２４６／ＡＶＣが最新の国際標準のビデオ符号化である。
【０００３】
下記非特許文献１には、勧告Ｈ．２４６／ＡＶＣに準拠したビデオ符号化技術が記載されている。勧告Ｈ．２４６／ＡＶＣによるビデオコーディングは、ビデオコンテキストを有効に表現するように設計されたビデオコーディング層（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｌａｙｅｒ）と、ビデオのＶＣＬ表現をフォーマットするとともに種々の転送層や記憶媒体による転送のために適切な方法でのヘッダ情報を与えるネットワーク抽象層（Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ）とから構成されている。
【０００４】
また、下記非特許文献２には、Ｈ．２４６／ＡＶＣによるビデオコーディング層（ＶＣＬ）は、ブロックベースドハイブリッドビデオコーディングと呼ばれるアプローチに従っていると記載している。ＶＣＬ設計は、マクロブロック、スライス、スライスブロックから構成されており、各ピクチャーは固定サイズの複数のマクロブロックに分割され、各マクロブロックは輝度成分で１６×１６サンプルの四角形ピクチャー領域とそれに対応する２つの色差成分のそれぞれに四角形サンプル領域とを含んでいる。
【０００５】
また、下記非特許文献３には、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣとＭＰＥＧ−４、Ｈ．２６３、ＪＰＥＧ等の複数方式に対応する符号化・復号化（コーディク）が記載されている。また、下記非特許文献３には、リアルタイムで符号化するためフレーム内予測で得た差分絶対値和とフレーム間予測で得た差分絶対値和を評価関数に入力してどちらの符号化が良いのかを選択することが記載されている。
【０００６】
【非特許文献１】Ｔｈｏｍａｓ  Ｗｉｅｇａｎｄ  ｅｔ  ａｌ、“Ｏｖｅｒｖｉｅｗ  ｏｆ  ｔｈｅ  Ｈ．２６４／ＡＶＣ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｓｔａｎｄａｒｄ”、  ＩＥＥＥＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＣＩＲＣＵＩＴＳ  ＡＮＤ  ＳＹＳＴＥＭＳ  ＦＯＲ  ＶＩＤＥＯ  ＴＥＣＨＮＯＬＯＧＹ、  ＪＵＬＹ  ２００３、  ＰＰ．１−１９．
【非特許文献２】ＧＡＲＹ  Ｊ．  ＳＵＬＬＩＶＡＮ  ｅｔ  ａｌ、“Ｖｉｄｅｏ  Ｃｏｍｐｒｅｓｓｉｏｎ−Ｆｒｏｍ  Ｃｏｎｃｅｐｔ  ｔｏ  ｔｈｅ  Ｈ．２６４／ＡＶＣ  Ｓｔａｎｄａｒｄ”、  ＰＲＯＣＥＥＤＩＮＧ  ＯＦ  ＴＨＥ  ＩＥＥＥ、  ＶＯＬ．９３、  Ｎｏ．１、  ＪＡＮＵＡＲＹ  ２００５、ＰＰ．１８−３１．
【非特許文献３】渡辺  浩巳  等  「Ｈ．２６４とＭＰＥＧ−４に両対応携帯機器向けコーディック・コアを開発」  ＮＩＫＫＥＩ  ＥＬＥＣＴＲＯＮＩＣＳ  ＰＰ．１２３−１３３．
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明に先立って本発明者等は、上記Ｈ．２６４／ＡＶＣに準拠した動画像符号化と復号とを実行する低消費電力の動画処理半導体集積回路の開発に従事した。
【０００８】
この開発に際して、前記非特許文献３に記載されているようにリアルタイムで符号化するためにはフレーム内予測とフレーム間予測とのどちらの符号化が良いのかを選択することが符号化効率の向上に有効である。
【０００９】
しかし、符号化のリアルタイム性が重要であるとともに、携帯電話端末やディジタル・カメラ等の電池動作の携帯電子機器のための動画処理用半導体集積回路にＨ．２６４に準拠する画像符号化装置（エンコーダ）が搭載されるものである。従って、電池動作の携帯電子機器の動作時間を考慮すると、画像符号化装置の低消費電力化が必要となる。また、最近の画像符号化装置は符号化データを保存するため、ハードディスクドライブ（ＨＤＤ）、光ディスクドライブ、大容量不揮発性フラッシュメモリ等の大容量記憶メディアを搭載している。従って、長時間の動画撮影を可能とするためには、効率的な動画復号化が必要となる。
【００１０】
従来の画像符号化装置では、予測画像データと符号化される原画像データとの差分は離散コサイン変換（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）等の直交変換の後、直交変換出力は量子化される。画像符号化装置により符号化される画像の品質は、量子化誤差で決定される。量子化誤差を小さくすると画像の品質は高くなり、量子化誤差を大きくすると画像の品質は低くなる。一方、画像符号化装置の消費電力も、量子化誤差で決定される。量子化誤差を小さくすると画像符号化装置の消費電力は高くなり、量子化誤差を大きくすると画像符号化装置の消費電力は低くなる。また、画像符号化装置の符号化データのビット数も、量子化誤差で決定される。量子化誤差を小さくすると符号化データのビット数は大きくなり、量子化誤差を大きくすると符号化データのビット数は小さくなる。符号化データのビット数が膨大となると、長時間の動画撮影は不可能となる。
【００１１】
一方、本発明者等は動きの大きな動画に対して人間の視覚は追い着かず画像の品質の劣化は目立ちにくい一方、動きの小さな動画に対しては画面内の詳細な部分の画像の品質の劣化が目立つと言う人間の視覚特性を利用することで、画像符号化装置の低消費電力化と効率的な動画復号化とを実現しようとしたものである。
【００１２】
本発明者等は、本発明に先立った検討により、画像符号化装置の低消費電力化と効率的な動画復号化とのためには、前記非特許文献３に記載されたフレーム内予測とフレーム間予測との選択以外の人間の視覚特性を利用した画像符号化技術が必要であるとの認識に達した。
【００１３】
従って、本発明は本発明に先立った本発明者等による検討を基にしてなされたものであり、その目的とするところは、動画像を符号化する画像符号化装置の低消費電力化と効率的な動画復号化とを可能とすることにある。
【００１４】
本発明のその他の目的とその他の特徴は、以下の説明から明らかとなるであろう。
【課題を解決するための手段】
【００１５】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば、下記の通りである。
【００１６】
すなわち、本発明に先立った本発明者等による検討の結果、撮影シーンでの動画の刻々の変化に際して人間の視覚特性を考慮して量子化符号量を動的に制御すると言う基本的な発明思想に到達したものである。すなわち、動きの大きな動画のイントラ予測またはインター予測に際しての量子化誤差は大きな値に設定することにより、消費電力と符号化データのビット数とを削減する。逆に、動きの小さな動画のイントラ予測またはインター予測に際しての量子化誤差は小さな値に設定することにより、高品質の予測画面を生成するものである。
【００１７】
ＭＰＥＧ−２による動画像の符号化シーケンスは、画面内のイントラ符号化のみで予測するＩフレーム、1つ以上の符号化済みフレームからの画面間のインター予測を行うＰフレーム、２つ以上の符号化済みフレームからの双予測画面間インター予測を行うＢフレーム等から構成される。ＭＰＥＧ−４による動画像の符号化シーケンスは、画面内のイントラ符号化のみで予測するＩ・ＶＯＰ（ビデオオブジェクトプレーン）、1つ以上の符号化済みＶＯＰからの画面間のインター予測を行うＰ・ＶＯＰ、２つ以上の符号化済みＶＯＰからの双予測画面間インター予測を行うＢ・ＶＯＰ等から構成される。Ｈ．２６４による動画像の符号化では、複数のマクロブロックで構成されたスライスは、他のスライスからのデータを使用することなく画像符号化されることができる。従って、Ｈ．２６４による動画像の符号化シーケンスは、Ｉスライスと、Ｐスライスと、Ｂスライスとから構成される。Ｉスライスでは、複数のマクロブロックがイントラ符号化のみで画像符号化される。Ｐスライスでは、Ｉスライスの符号化タイプに加えてブロック当りで１つの動き補償予測信号によるインター予測によりマクロブロックが画像符号化される。Ｂスライスでは、Ｐスライスの符号化タイプに加えて予測ブロック当りで２つの動き補償予測信号によるインター予測によりマクロブロックが画像符号化される。本発明では、これらを総称してＩピクチャ、Ｐピクチャ、Ｂピクチャと称することにする。
【００１８】
すなわち、本発明のひとつの形態による画像符号化装置は、符号化される１枚のピクチャ内でイントラ予測（図８、図９参照）を行うイントラ予測ユニット（１１３）と、以前に符号化されたピクチャーから動きベクトルとピクチャ参照パラメータとを使用して符号化される１枚のピクチャのインター予測（図１０、図１１参照）を行うインター予測ユニット（１１２）と、前記イントラ予測ユニット（１１３）と前記イントラ予測ユニット（１１２）との両者に接続され前記両者の一方の予測の結果を選択する選択ユニット（１１４）を含む。
【００１９】
本発明の前記ひとつの形態による画像符号化装置は、前記選択ユニット（１１４）により選択された予測データと符号化される１枚のピクチャの原画像データとの差分を算出する減算器（１０４）と、前記減算器（１０４）の出力に接続された直交変換ユニット（１０５）と、前記直交変換ユニット（１０５）の出力に接続された量子化ユニット（１０６）とを含む。本発明の前記ひとつの形態による画像符号化装置は、前記量子化ユニット（１０６）の出力に接続された符号化ユニット（１０７）を含む（図１参照）。
【００２０】
本発明の前記ひとつの形態による画像符号化装置は、符号化される複数のピクチャに関して前記イントラ予測ユニット（１１３）によるイントラ・フレーム予測誤差（ＩｎｔｒａＳＡＤ）と前記インター予測ユニット（１１２）によるインター・フレーム予測誤差（ＩｎｔｅｒＳＡＤ）とを予め算出する算出ユニット（１１５）を含む（図１、図２参照）。
【００２１】
前記算出ユニット（１１５）は、予め算出された前記複数のピクチャの前記イントラ・フレーム予測誤差（ＩｎｔｒａＳＡＤ）と前記インター・フレーム予測誤差（ＩｎｔｅｒＳＡＤ）とから前記複数のピクチャの符号化での前記量子化ユニット（１０６）の量子化パラメータ（Ｑｐ＿Ｉｐｉｃ、Ｑｐ＿Ｐｐｉｃ）を更に算出する（図３、図４参照）。
【００２２】
前記算出ユニット（１１５）により予め算出された前記イントラ・フレーム予測誤差（ＩｎｔｒａＳＡＤ）よりも前記算出ユニット（１１５）により予め算出された前記インター・フレーム予測誤差（ＩｎｔｅｒＳＡＤ）が大きい動きの大きなピクチャ（図３と図６の領域Ａおよび領域Ｃ）では、前記算出ユニット（１１５）により算出される前記量子化パラメータ（Ｑｐ＿Ｉｐｉｃ、Ｑｐ＿Ｐｐｉｃ）は大きな値に設定される。それにより、前記動きの大きなピクチャの符号化では、前記量子化ユニット（１０６）は大きな量子化誤差での量子化を実行する。
【００２３】
前記算出ユニット（１１５）により予め算出された前記イントラ・フレーム予測誤差（ＩｎｔｒａＳＡＤ）よりも前記算出ユニット（１１５）により予め算出された前記インター・フレーム予測誤差（ＩｎｔｅｒＳＡＤ）が小さい動きの小さなピクチャ（図３と図６の領域Ｂ）では、前記算出ユニット（１１５）により算出される前記量子化パラメータ（Ｑｐ＿Ｉｐｉｃ、Ｑｐ＿Ｐｐｉｃ）は小さな値に設定される。それにより、前記動きの小さなピクチャの符号化では、前記量子化ユニット（１０６）は小さな量子化誤差での量子化を実行する。
【００２４】
本発明の前記ひとつの形態による手段によれば、前記動きの大きなピクチャ（図３と図６の領域Ａおよび領域Ｃ）では前記量子化パラメータ（Ｑｐ＿Ｉｐｉｃ、Ｑｐ＿Ｐｐｉｃ）は大きな値に設定される。それにより、前記動きの大きなピクチャの符号化では、前記量子化ユニット（１０６）は大きな量子化誤差での量子化を実行する。大きな量子化誤差での量子化により、消費電力の削減と符号化データのビット数の削減とが可能となる。また、前記動きの小さなピクチャ（図３と図６の領域Ｂ）では前記量子化パラメータ（Ｑｐ＿Ｉｐｉｃ、Ｑｐ＿Ｐｐｉｃ）は小さな値に設定される。それにより、前記動きの小さなピクチャの符号化では、前記量子化ユニット（１０６）は小さな量子化誤差での量子化を実行する。図３の図６の領域Ｂの部分のように動きの比較的小さなシーンにおいては、後続のＰピクチャ、Ｂピクチャにより参照されるＩピクチャの画質が非常に重要となる。この場合にはＩピクチャの量子化パラメータＱｐ＿Ｉｐｉｃは小さな量子化誤差に設定され、Ｉピクチャの画像符号化の品質が向上される。その結果、後続のＰピクチャ、Ｂピクチャのインター・フレーム予測による画像符号化における符号量を削減することが可能となる。また視覚特性の面から、動きが比較的小さなシーンに対してはＩピクチャの画像符号化の品質の劣化が目立つ傾向にあるが、上述のようにＩピクチャの画像符号化の品質は向上されている。また、この場合にはＰピクチャの量子化パラメータＱｐ＿Ｐｐｉｃも、小さな量子化誤差に設定される。動きが比較的小さなシーンに対してはＰピクチャの画像符号化の品質を向上することができる。
【００２５】
すなわち、本発明のひとつの好適な形態による画像符号化装置では、前記算出ユニット（１１５）による前記イントラ・フレーム予測誤差（ＩｎｔｒａＳＡＤ）と前記インター・フレーム予測誤差（ＩｎｔｅｒＳＡＤ）との算出に際して、前記選択ユニット（１１４）は前記イントラ予測ユニット（１１３）による前記イントラ・フレーム予測誤差（ＩｎｔｒａＳＡＤ）と前記インター予測ユニット（１１２）による前記インター・フレーム予測誤差（ＩｎｔｅｒＳＡＤ）の少ない方の誤差を選択使用予測誤差（ＵｓｅｄＳＡＤ）として選択するものである（図１参照）。
【００２６】
すなわち、本発明のひとつのより好適な形態による画像符号化装置では、前記算出ユニット（１１５）は１枚のピクチャで前記イントラ・フレーム予測誤差（ＩｎｔｒａＳＡＤ）の平均値と前記インター・フレーム予測誤差（ＩｎｔｅｒＳＡＤ）の平均値と前記選択使用予測誤差（ＵｓｅｄＳＡＤ）の平均値とを算出するものである。
【００２７】
すなわち、本発明のひとつの更に好適な形態による画像符号化装置では、符号化される１枚のＩピクチャの重要性パラメータ（Ｉｐｉｃ＿ｒａｔｉｏ）を、前記算出ユニット（１１５）は当該Ｉピクチャの前のＰピクチャの前記イントラ・フレーム予測誤差（ＩｎｔｒａＳＡＤ）の前記平均値を前記選択使用予測誤差（ＵｓｅｄＳＡＤ）の前記平均値で割り算した値から算出するものである。前記算出ユニット（１１５）による前記重要性パラメータ（Ｉｐｉｃ＿ｒａｔｉｏ）が小さなピクチャ（図３と図６の領域Ａおよび領域Ｃ）では前記重要性パラメータ（Ｉｐｉｃ＿ｒａｔｉｏ）が大きなピクチャ（図３と図６の領域Ｂ）の場合よりも前記Ｉピクチャのピクチャデータを量子化する前記量子化ユニット（１０６）の前記量子化パラメータ（Ｑｐ＿Ｉｐｉｃ）は大きな値に設定される（図４のステップＳ３０４、ステップＳ３０６参照）。
【００２８】
本発明の前記ひとつの更に好適な形態による手段によれば、大きな量子化誤差での量子化により、消費電力の削減と符号化データのビット数の削減とが可能となる。
【００２９】
すなわち、本発明の他のひとつの更に好適な形態による画像符号化装置では、符号化される１枚のＰピクチャの予測誤差比パラメータ（Ｐｐｉｃ＿ｒａｔｉｏ）を、前記算出ユニット（１１５）は当該Ｉピクチャの前のＰピクチャの前記イントラ・フレーム予測誤差（ＩｎｔｒａＳＡＤ）の前記平均値を前記インター・フレーム予測誤差（ＩｎｔｅｒＳＡＤ）の前記平均値で割り算した値から算出するものである。前記算出ユニット（１１５）による前記予測誤差比パラメータ（Ｐｐｉｃ＿ｒａｔｉｏ）が小さなピクチャ（図６の領域Ａおよび領域Ｃ）では前記予測誤差比パラメータ（Ｐｐｉｃ＿ｒａｔｉｏ）が大きなピクチャ（図６の領域Ｂ）の場合よりも前記Ｐピクチャのピクチャデータを量子化する前記量子化ユニット（１０６）の前記量子化パラメータ（Ｑｐ＿Ｐｐｉｃ）は大きな値に設定される（図４のステップＳ３０５、ステップＳ３０６参照）。
【００３０】
本発明の前記他のひとつの更に好適な形態による手段によれば、大きな量子化誤差での量子化により、消費電力の削減と符号化データのビット数の削減とが可能となる。
【００３１】
すなわち、本発明のひとつの具体的な形態による画像符号化装置は、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４の少なくともいずれかに準拠するものである。
【００３２】
すなわち、本発明の他のひとつの形態による画像符号化方法は、符号化される１枚のピクチャ内でイントラ予測（図８、図９参照）を行うイントラ予測のステップ（１１３）と、以前に符号化されたピクチャーから動きベクトルとピクチャ参照パラメータとを使用して符号化される１枚のピクチャを予測するインター予測のステップ（１１２）と、前記イントラ予測の前記ステップ（１１３）と前記イントラ予測の前記ステップ（１１２）との一方の予測の結果を選択する選択のステップ（１１４）とを含む。
【００３３】
本発明の前記他のひとつの形態による画像符号化方法は、前記選択の前記ステップ（１１４）により選択された予測データと符号化される１枚のピクチャの原画像データとの差分を算出する減算のステップ（１０４）と、前記減算の前記ステップ（１０４）の後に実行される直交変換のステップ（１０５）と、前記直交変換の前記ステップ（１０５）の後に実行される量子化のステップ（１０６）とを含む。
【００３４】
本発明の前記ひとつの形態による画像符号化方法は、前記量子化の前記ステップ（１０６）の後に実行される符号化のステップ（１０７）を含む。
【００３５】
本発明の前記他のひとつの形態による画像符号化方法は、符号化される複数のピクチャに関して前記イントラ予測の前記ステップ（１１３）によるイントラ・フレーム予測誤差（ＩｎｔｒａＳＡＤ）と前記イントラ予測の前記ステップ（１１２）によるインター・フレーム予測誤差（ＩｎｔｅｒＳＡＤ）とを予め算出する算出のステップ（１１５）を含む。
【００３６】
前記算出のステップ（１１５）では、予め算出された前記イントラ・フレーム予測誤差（ＩｎｔｒａＳＡＤ）と前記インター・フレーム予測誤差（ＩｎｔｅｒＳＡＤ）とから前記複数のピクチャの符号化での前記量子化の前記ステップ（１０６）の量子化パラメータ（Ｑｐ＿Ｉｐｉｃ、Ｑｐ＿Ｐｐｉｃ）を更に算出する。
【００３７】
前記算出の前記ステップ（１１５）により予め算出された前記イントラ・フレーム予測誤差（ＩｎｔｒａＳＡＤ）よりも予め算出された前記インター・フレーム予測誤差（ＩｎｔｅｒＳＡＤ）が大きい動きの大きなピクチャ（図３と図６の領域Ａおよび領域Ｃ）では、前記算出のステップ（１１５）により算出される前記量子化パラメータ（Ｑｐ＿Ｉｐｉｃ、Ｑｐ＿Ｐｐｉｃ）は大きな値に設定される。それにより、前記動きの大きなピクチャの符号化では、前記量子化の前記ステップ（１０６）は大きな量子化誤差での量子化を実行する。
【００３８】
前記算出の前記ステップ（１１５）により予め算出された前記イントラ・フレーム予測誤差（ＩｎｔｒａＳＡＤ）よりも予め算出された前記インター・フレーム予測誤差（ＩｎｔｅｒＳＡＤ）が小さい動きの小さなピクチャ（図３と図６の領域Ｂ）では、前記算出のステップ（１１５）により算出される前記量子化パラメータ（Ｑｐ＿Ｉｐｉｃ、Ｑｐ＿Ｐｐｉｃ）は小さな値に設定される。それにより、前記動きの小さなピクチャの符号化では、前記量子化の前記ステップ（１０６）は小さな量子化誤差での量子化を実行する。
【発明の効果】
【００３９】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
【００４０】
すなわち、本発明によれば、動画像を符号化する画像符号化装置の低消費電力化と効率的な動画復号化とを可能とすることができる。
【発明を実施するための最良の形態】
【００４１】
≪Ｈ．２６４に準拠する画像符号化装置の構成≫
図1は、本発明の１つの実施形態によるＨ．２６４に準拠する画像符号化装置（エンコーダ）の構成を示すブロック図である。また、本発明による画像符号化装置はＨ．２６４以外にもＭＰＥＧ−２、ＭＰＥＧ−４等の画像符号化方式にも適用することができる。
【００４２】
この画像符号化装置は、携帯電話端末やディジタル・カメラ等の電池動作の携帯電子機器のための動画処理用半導体集積回路のチップ上に構成されている。また、図１では、例えば電子機器のパワーオン時もしくはパワーオンリセット時等のシステム初期化のシーケンスに集積回路を画像符号化装置（エンコーダ）もしくは画像復号装置（デコーダ）として動作させることを指示するレベルもしくはビットパターンの動作モード信号が供給される。その結果、この動作モード信号による指示に応答して動画処理用半導体集積回路を構成する共通ハードウェア・リソースが画像符号化装置（エンコーダ）と画像復号装置（デコーダ）の一方として動作する。また、システム初期化のシーケンスに他のレベルもしくは別のビットパターンの動作モード信号が供給されると、動画処理用半導体集積回路を構成する共通ハードウェア・リソースが画像符号化装置（エンコーダ）と画像復号装置（デコーダ）の他方として動作する。
【００４３】
動画処理用半導体集積回路が画像復号装置（デコーダ）として動作する場合には、例えばハードディスクドライブ（ＨＤＤ）、光ディスクドライブ、大容量不揮発性フラッシュメモリ、無線ＬＡＮ（ローカルエリアネットワーク）等のメディアからＨ．２６４に準拠する動画符号化データがビットストリームの形態により供給される。この動画符号化データは画像復号装置（デコーダ）により復号され、復号データは表示用のメモリデバイスに格納されて、表示デバイスにより動画が表示されることができる。
【００４４】
動画処理用半導体集積回路が画像符号化装置（エンコーダ）として動作する場合には、例えばＣＣＤまたはＣＭＯＳイメージセンサ等の撮像装置からの動画データが供給される。画像符号化装置（エンコーダ）の出力に得られるＨ．２６４に準拠したビデオ符号化データは、ＨＤＤ、光ディスク、大容量不揮発性フラッシュメモリ等の記憶装置に格納されることができる。
【００４５】
図１に示したＨ．２６４に準拠する画像符号化装置は、原画像メモリ１０１、レート制御ユニット１０２、バッファメモリ１０３、減算器１０４、直交変換ユニット１０５、量子化ユニット１０６、符号化ユニット１０７、逆量子化ユニット１０８、逆直交変換ユニット１０９、ループフィルタ１１０、フレームメモリ１１１、インター予測ユニット１１２、イントラ予測ユニット１１３、モード判定ユニット１１４、算出ユニット１１５で構成されている。符号化ユニット１０７、ループフィルタ１１０、インター予測ユニット１１２、イントラ予測ユニット１１３の部分は高速データ処理が必要であり、この部分はハードウェアで構成することが推奨される。その他の部分は高速データ処理が必要でないので、ハードウェアからソフトウェアに置換することもできる。
【００４６】
≪Ｈ．２６４／ＡＶＣによる符号化ビデオシーケンス≫
ＨＤＴＶは水平方向に最大で１９２０個のピクセルと垂直方向に最大で１０８０本の走査線との大画面を持ち、２つのスキャンモードを有する。１つ目は交互走査線によるインターレース・スキャンであり、２つ目は連続走査線によるプログレッシブ・スキャンである。Ｈ．２６４／ＡＶＣのビデオコーディング層（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｌａｙｅｒ）の符号化ビデオシーケンスも、インターレースド・フレームとプログレッシブ・フレームとに対応する。
【００４７】
図７はＨ．２６４／ＡＶＣのＶＣＬの符号化ビデオシーケンスで規定されたプログレッシブ・フレームＰＦとインターレースド・フレームＩＦとを示す図である。同図に示すように、インターレースド・フレームＩＦでは、偶数番号の行を含むトップフィールドＴＦと奇数番号の行を含むボトムフィールドＢＦが別個に異なった時間に符号化されている。
【００４８】
≪Ｈ．２６４／ＡＶＣによるイントラ・フレーム予測≫
まず、図１に示したＨ．２６４に準拠する画像符号化装置のイントラ予測ユニット１１３によるイントラ・フレーム予測を説明する。
【００４９】
図８は、Ｈ．２６４／ＡＶＣに準拠した１つのピクチャーのスライスとマクロブロックへのパーティションとイントラ・フレーム予測とを示す図である。同図に示すように、１つのピクチャーは例えば複数のスライスＳｌｉｃｅ＃０、Ｓｌｉｃｅ＃１、Ｓｌｉｃｅ＃２に分割され、１つのスライスＳｌｉｃｅ＃０はＭＢ０００〜ＭＢＳ２０７の３２個のマクロブロックに分割されている。１つのピクチャーの全てのマクロブロックＭＢ０００〜ＭＢ８１１のそれぞれは、輝度成分で１６×１６サンプルの四角形ピクチャー領域とそれに対応する２つの色差成分のそれぞれに８×８サンプル領域とを含んでいる。
【００５０】
図９は、Ｈ．２６４／ＡＶＣに準拠したイントラ・フレーム予測で４×４サンプルの１つのブロックが空間的に近傍のサンプルから予測される予測モードＰＭの様子を示す図である。同図に示すように、記号ａから記号ｐまでの４×４ブロックの１６サンプルは、記号Ａから記号Ｑとラベルされた近傍ブロック中で以前に復号されたサンプルを使用して予測することができる。更に、図９に示すように予測モードＰＭは、９つの４×４予測モードを含んでいる。モード０（垂直予測）では４×４ブロックの上のブロックのサンプルから矢印に示すようにコピーされた値から予測され、モード１（水平予測）では４×４ブロックの左のブロックのサンプルから矢印に示すようにコピーされた値から予測され、モード２（ＤＣ予測）では４×４ブロックの上のブロックと左のブロックのうちの有効画素の平均値から予測される。モード３（斜め左下予測）では斜め右上のサンプルから矢印に示すように予測され、モード４（斜め右下予測）では斜め左上のサンプルから矢印に示すように予測される。モード５（垂直右下予測）では斜め左上のサンプルから矢印に示すように予測され、モード６（水平右下予測）では斜め左上のサンプルから矢印に示すように予測される。モード７（垂直左下予測）では斜め右上のサンプルから矢印に示すように予測され、モード８（水平右上予測）では斜め左下のサンプルから矢印に示すように予測される。
【００５１】
≪Ｈ．２６４／ＡＶＣによるインター・フレーム予測≫
次に、図１に示したＨ．２６４に準拠する画像符号化装置のインター予測ユニット１１２によるインター・フレーム予測を説明する。
【００５２】
図１０は、インター予測ユニット１１２でのインター・フレーム予測に際してＨ．２６４／ＡＶＣに準拠した動き補償予測のために、１つのマクロブロックが更に小さな領域に分割されることを示す図である。図１０の上段は輝度で１６×１６、１６×８、８×１６、８×８のサンプルのブロックサイズのセグメンテーションを示し、図１０の下段は輝度で８×８、８×４、４×８、４×４のサンプルのブロックサイズのセグメンテーションを示している。図１０の上段と下段との動き補償予測のためのブロックは、動き補償予測のためのシンタックスを含んでいる。このシンタックスを利用することによって、１つ以上の以前に符号化されたピクチャーが動き補償予測のための参照に使用されるマルチピクチャー動き補償予測が可能となる。
【００５３】
図１１は、Ｈ．２６４／ＡＶＣのマルチピクチャー動き補償予測を示す図である。現在のピクチャーＣＰは以前に符号化されたピクチャーから動きベクトルとピクチャー参照パラメータΔ（＝１、２、４）とを伝達することによって予測されることができる。
【００５４】
≪Ｈ．２６４に準拠する画像符号化装置の動作≫
図1に示したＨ．２６４に準拠する画像符号化装置の原画像メモリ１０１には符号化対象となる原動画データが記憶され、レート制御ユニット１０２は算出ユニット１１５の出力に従って量子化ユニット１０６での量子化パラメータの算出を行い、画質制御、符号量制御を行う。バッファメモリ１０３は、符号化ユニット１０７で生成された符号化データを蓄積する。
【００５５】
モード判定ユニット１１４は、インター予測ユニット１１２により算出されるＨ．２６４に準拠するインター・フレーム予測による誤差とイントラ予測ユニット１１３により算出されるＨ．２６４に準拠するイントラ・フレーム予測による誤差との比較を行って予測誤差の小さい方を符号化モードとして選択して、その選択したモードの予測誤差データを選択使用予測誤差として選択する。
【００５６】
減算器１０４は、モード判定ユニット１１４により選択されたとインター・フレーム予測とイントラ・フレーム予測とのいずれか一方のフレーム予測による予測画像データと原画像メモリ１０１の原画像データとの差分を算出する。直交変換ユニット１０５は、減算器１０４で計算された差分データを周波数領域のデータに変換するＤＣＴ（離散コサイン変換）ユニットである。量子化ユニット１０６は、直交変換ユニット１０５の周波数変換データを量子化する。符号化ユニット１０７は、量子化ユニット１０６の量子化データを可変長符号データに変換する。逆量子化ユニット１０８は、量子化ユニット１０６にて量子化されたデータを逆量子化する。逆直交変換ユニット１０９は、逆量子化ユニット１０８の逆量子化データを逆直交変換する。ループフィルタ１１０は、逆直交変換ユニット１０９の逆直交変換データのフィルタ処理を行う。フレームメモリ１１１は、ループフィルタ１１０にてフィルタ処理された復号画像データを蓄積する。
【００５７】
インター予測ユニット１１２は、原画像メモリ１０１に蓄積された原画像とフレームメモリ１１１に蓄積された復号画像データの画面の間の予測を行い、動き検出によって生成された動きベクトルに基づき、フレームメモリ１１１から原画像データに最も近い復号画像データを読み出す。このようにして、インター予測ユニット１１２は、インター・フレーム予測画像データを生成するとともにインター・フレーム予測誤差値を生成する。
【００５８】
イントラ予測ユニット１１３は、例えば図８の符号化対象マクロブロックＭＢ７０７の周囲のマクロブロックＭＢ６０６、６０７、６０８、７０６の画素から予測画像を生成して、イントラ・フレーム予測画像データを生成するとともにイントラ・フレーム予測誤差値を生成する。
【００５９】
モード判定ユニット１１４は、上述したようにインター予測ユニット１１２にて生成されたインター・フレーム予測誤差とイントラ予測ユニット１１３にて生成されたイントラ・フレーム予測誤差の比較を行って予測誤差の小さい方を符号化モードとして選択して、その選択したモードの予測誤差データを選択使用予測誤差として選択する。
【００６０】
算出ユニット１１５は、インター予測ユニット１１２にて算出されるインター・フレーム予測誤差とイントラ予測ユニット１１３にて算出されるイントラ・フレーム予測ユニットから符号化対象マクロブロックの画像特性を抽出する。
【００６１】
ＭＰＥＧ−２による動画像の符号化シーケンスは、画面内のイントラ符号化のみで予測するＩフレーム、1つ以上の符号化済みフレームからの画面間のインター予測を行うＰフレーム、２つ以上の符号化済みフレームからの双予測画面間インター予測を行うＢフレーム等から構成される。ＭＰＥＧ−４による動画像の符号化シーケンスは、画面内のイントラ符号化のみで予測するＩ・ＶＯＰ（ビデオオブジェクトプレーン）、1つ以上の符号化済みＶＯＰからの画面間のインター予測を行うＰ・ＶＯＰ、２つ以上の符号化済みＶＯＰからの双予測画面間インター予測を行うＢ・ＶＯＰ等から構成される。Ｈ．２６４による動画像の符号化では、複数のマクロブロックで構成されたスライスは、他のスライスからのデータを使用することなく画像符号化されることができる。従って、Ｈ．２６４による動画像の符号化シーケンスは、Ｉスライスと、Ｐスライスと、Ｂスライスとから構成される。Ｉスライスでは、複数のマクロブロックがイントラ符号化のみで画像符号化される。Ｐスライスでは、Ｉスライスの符号化タイプに加えてブロック当りで１つの動き補償予測信号によるインター予測によりマクロブロックが画像符号化される。Ｂスライスでは、Ｐスライスの符号化タイプに加えて予測ブロック当りで２つの動き補償予測信号によるインター予測によりマクロブロックが画像符号化される。本発明では、これらを総称してＩピクチャ、Ｐピクチャ、Ｂピクチャと称することにする。
【００６２】
動画像の符号化による符号化の効率によって、画像符号化装置によるエンコード後の符号量の大きさはＩピクチャ＞Ｐピクチャ＞Ｂピクチャという関係になる。ここで画面間のイントラ・フレーム予測誤差が少ないほど、Ｐピクチャ、Ｂピクチャの符号量は減少する。予測誤差が大きくなると予測誤差を符号化するのに必要な情報量が増加するため、発生符号量が増加する。また、量子化ユニット１０６の量子化パラメータが小さいほど小さな量子化誤差で量子化されることになり発生符号量が増加する。本実施形態ではＰピクチャにおける予測誤差値の変化に応じて画像特性を推測し、Ｉピクチャ、Ｐピクチャに対して視覚特性に応じた符号量配分を行う。
【００６３】
≪フレーム予測誤差からの実符号化での量子化パラメータの算出≫
図1に示したＨ．２６４に準拠する画像符号化装置は、量子化パラメータを算出して設定するために原画像メモリ１０１に記憶された符号化対象となる原動画データの複数のピクチャを図２のフローに示す予備符号化を行う。その結果、図３と図６とに示すように、予備符号化により算出ユニット１１５は複数のピクチャに関してイントラ・フレーム予測誤差ＩｎｔｒａＳＡＤとインター・フレーム予測誤差ＩｎｔｅｒＳＡＤとを算出する。更に算出ユニット１１５は、この算出されたイントラ・フレーム予測誤差ＩｎｔｒａＳＡＤとインター・フレーム予測誤差ＩｎｔｅｒＳＡＤとから、複数のピクチャの実符号化での量子化ユニット１０６の量子化パラメータＱｐ＿Ｉｐｉｃ、Ｑｐ＿Ｐｐｉｃを算出するものである。
【００６４】
イントラ・フレーム予測誤差ＩｎｔｒａＳＡＤよりもインター・フレーム予測誤差ＩｎｔｅｒＳＡＤが大きい動きの大きなピクチャ（図３と図６の領域Ａおよび領域Ｃ）では、量子化パラメータＱｐ＿Ｉｐｉｃ、Ｑｐ＿Ｐｐｉｃは大きな値に設定される。それにより、動きの大きなピクチャの実符号化では、量子化ユニット１０６は大きな量子化誤差での量子化を実行する。大きな量子化誤差での量子化により、消費電力の削減と符号化データのビット数の削減とが可能となる。
【００６５】
イントラ・フレーム予測誤差ＩｎｔｒａＳＡＤよりもインター・フレーム予測誤差ＩｎｔｅｒＳＡＤが小さい動きの小さなピクチャ（図３と図６の領域Ｂ）では、量子化パラメータＱｐ＿Ｉｐｉｃ、Ｑｐ＿Ｐｐｉｃは小さな値に設定される。それにより、動きの小さなピクチャの実符号化では、量子化ユニット１０６は小さな量子化誤差での量子化を実行する。図３の図６の領域Ｂの部分のように動きの比較的小さなシーンにおいては、後続のＰピクチャ、Ｂピクチャにより参照されるＩピクチャの画質が非常に重要となる。この場合にはＩピクチャの量子化パラメータＱｐ＿Ｉｐｉｃは小さな量子化誤差に設定され、Ｉピクチャの画像符号化の品質が向上される。その結果、後続のＰピクチャ、Ｂピクチャのインター・フレーム予測による画像符号化における符号量を削減することが可能となる。また視覚特性の面から、動きが比較的小さなシーンに対してはＩピクチャの画像符号化の品質の劣化が目立つ傾向にあるが、上述のようにＩピクチャの画像符号化の品質は向上されている。また、この場合にはＰピクチャの量子化パラメータＱｐ＿Ｐｐｉｃも、小さな量子化誤差に設定される。動きが比較的小さなシーンに対してはＰピクチャの画像符号化の品質を向上することができる。
【００６６】
≪予備符号化によるフレーム予測誤差の算出≫
図２は、図1に示した画像符号化装置による１枚のピクチャの複数のマクロブロックの予備符号化によるフレーム予測の誤差値の算出処理のフローを示す図である。すなわち、図1に示した画像符号化装置による１枚のピクチャの複数のマクロブロックの実符号化の前に予備符号化が行われ、フレーム予測誤差が算出される。その算出結果により、複数のマクロブロックの実符号化では誤差の少ない予測が選択される。尚、ここではフレーム予測の誤差の評価値として輝度値の差分の総和であるＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を用いている。
【００６７】
まず図２のステップＳ２０１にて、算出ユニット１１５は、内部でイントラ・フレーム予測誤差合計値ＳＵＭ＿ＩｎｔｒａＳＡＤと、インター・フレーム予測誤差合計値ＳＵＭ＿ＩｎｔｅｒＳＡＤと、選択使用予測誤差合計値ＳＵＭ＿ＵｓｅｄＳＡＤとをそれぞれ“０”に初期化する。
【００６８】
次にステップＳ２０２にて、算出ユニット１１５は、イントラ予測ユニット１１３にて算出された１枚のＰピクチャの最初の符号化対象のマクロブロックのイントラ・フレーム予測誤差ＩｎｔｒａＳＡＤ（ｎ）をイントラ・フレーム予測誤差合計値ＳＵＭ＿ＩｎｔｒａＳＡＤに加算する。
【００６９】
次にステップＳ２０３にて、算出ユニット１１５は、インター予測ユニット１１２にて算出されるこの最初の符号化対象のマクロブロックのインター・フレーム予測誤差ＩｎｔｅｒＳＡＤ（ｎ）をインター・フレーム予測誤差合計値ＳＵＭ＿ＩｎｔｅｒＳＡＤに加算する。
【００７０】
次にステップＳ２０４にて、モード判定ユニット１１４はこの最初の符号化対象のマクロブロックのフレーム予測のモードを決定する。すなわち、モード判定ユニット１１４は、ステップＳ２０２により得られたイントラ・フレーム予測誤差ＩｎｔｒａＳＡＤ（ｎ）とステップＳ２０３により得られたインター・フレーム予測誤差ＩｎｔｅｒＳＡＤ（ｎ）とのいずれかを選択する。ここでは予測誤差の小さい方のモードが、最初の符号化対象のマクロブロックの符号化効率が良いものとして選択される。
【００７１】
最初の符号化対象のマクロブロックのイントラ・フレーム予測誤差ＩｎｔｒａＳＡＤ（ｎ）がインター・フレーム予測誤差ＩｎｔｅｒＳＡＤ（ｎ）よりも大きい場合には誤差の小さい方のインター・フレーム予測モードがステップＳ２０４にてモード判定ユニット１１４により選択される。するとステップＳ２０５にて、算出ユニット１１５により選択使用予測誤差合計値ＳＵＭ＿ＵｓｅｄＳＡＤにインター・フレーム予測誤差ＩｎｔｅｒＳＡＤ（ｎ）が加算される。逆に、最初の符号化対象のマクロブロックのイントラ・フレーム予測誤差ＩｎｔｒａＳＡＤ（ｎ）がインター・フレーム予測誤差ＩｎｔｅｒＳＡＤ（ｎ）より小さい場合には誤差の小さい方のイントラ・フレーム予測モードがステップＳ２０４にてモード判定ユニット１１４により選択される。するとステップＳ２０６にて、算出ユニット１１５により選択使用予測誤差合計値ＳＵＭ＿ＵｓｅｄＳＡＤにイントラ・フレーム予測誤差ＩｎｔｒａＳＡＤ（ｎ）が加算される。
【００７２】
上記のステップＳ２０２からステップＳ２０６までの予備符号化の処理は、１枚のＰピクチャの次の符号化対象のマクロブロックから１枚のＰピクチャの最後の符号化対象のマクロブロックまで繰り返される。その結果、１枚のピクチャの複数のマクロブロックの全ての予備符号化が完了する。この時に、１枚のＰピクチャのいくつかのマクロブロックはイントラ・フレーム予測により予備符号化され、残りのマクロブロックはインター・フレーム予測により予備符号化されていることになる。
【００７３】
ステップＳ２０７で１枚のピクチャの全てのマクロブロックの予備符号化の処理の終了が確認されると、ステップＳ２０８にて算出ユニット１１５により１枚のピクチャの複数のマクロブロックの全てのイントラ・フレーム予測誤差ＩｎｔｒａＳＡＤ（ｎ）の平均値とインター・フレーム予測誤差ＩｎｔｅｒＳＡＤ（ｎ）の平均値と選択使用予測誤差合計値ＳＵＭ＿ＵｓｅｄＳＡＤの平均値とが取得される。画像符号化装置がＨ．２６４に準拠している場合には、ひとつのスライスの単位で複数のマクロブロックが、イントラ・フレーム予測により符号化されるか、インター・フレーム予測により符号化されるかが決定されことができる。しかし、図１に示したＨ．２６４に準拠した画像符号化装置では、単純化のために１枚のピクチャの複数のマクロブロックの全てが、イントラ・フレーム予測により実符号化されるか、インター・フレーム予測により実符号化されるかが決定される。その決定に、１枚のピクチャの複数のマクロブロックの全ての予備符号化により算出されたイントラ・フレーム予測誤差ＩｎｔｒａＳＡＤ（ｎ）の平均値とインター・フレーム予測誤差ＩｎｔｅｒＳＡＤ（ｎ）の平均値とが使用される。イントラ・フレーム予測誤差ＩｎｔｒａＳＡＤ（ｎ）の平均値とインター・フレーム予測誤差ＩｎｔｅｒＳＡＤ（ｎ）の平均値とのどちらが小さいかで、フレーム予測が決定される。例えば、イントラ・フレーム予測誤差ＩｎｔｒａＳＡＤ（ｎ）の平均値がインター・フレーム予測誤差ＩｎｔｅｒＳＡＤ（ｎ）の平均値よりも小さければ、１枚のピクチャの複数のマクロブロックの全てがイントラ・フレーム予測により実符号化される。
【００７４】
図３は、Ｈ．２６４／ＡＶＣのＶＣＬの符号化ビデオシーケンスで規定された連続するフレームが図２に示した予備符号化により取得された各画像符号化フレームのフレーム予測誤差平均値の変化を示す図である。
【００７５】
ここで、フレーム予測誤差平均値は、イントラ・フレーム予測誤差平均値ＩｎｔｒａＳＡＤ、インター・フレーム予測誤差平均値ＩｎｔｅｒＳＡＤ、選択使用予測誤差平均値ＵｓｅｄＳＡＤの３つである。各画像符号化フレームの選択使用予測誤差平均値ＵｓｅｄＳＡＤは、各画像符号化フレームのイントラ・フレーム予測誤差平均値ＩｎｔｒａＳＡＤとインター・フレーム予測誤差平均値ＩｎｔｅｒＳＡＤとの少ない方の平均値となる。
【００７６】
図３において領域A及び領域Cの部分はインター・フレーム予測誤差平均値ＩｎｔｅｒＳＡＤ＞イントラ・フレーム予測誤差平均値ＩｎｔｒａＳＡＤという関係になっている。この領域A及び領域Cの部分は、インター・フレーム予測が効果的ではない領域、すなわち、比較的大きな動きの領域である。従って、この領域A及び領域Cの部分では、イントラ・フレーム予測誤差ＩｎｔｒａＳＡＤ（ｎ）の平均値がインター・フレーム予測誤差ＩｎｔｅｒＳＡＤ（ｎ）の平均値よりも小さくなっている。従って、ここでは１枚のピクチャの複数のマクロブロックの全てがイントラ・フレーム予測により実符号化されるＩピクチャとなる可能性が高い。また領域Bの部分はインター・フレーム予測誤差平均値ＩｎｔｅｒＳＡＤ＜イントラ・フレーム予測誤差平均値ＩｎｔｒａＳＡＤという関係になっている。この領域Ｂの部分は、インター・フレーム予測が効果的である領域、すなわち、比較的小さな動きの領域である。従って、この領域Ｂの部分では、イントラ・フレーム予測誤差ＩｎｔｒａＳＡＤ（ｎ）の平均値がインター・フレーム予測誤差ＩｎｔｅｒＳＡＤ（ｎ）の平均値よりも大きくなっている。従って、ここでは１枚のピクチャの複数のマクロブロックの全てがインター・フレーム予測により実符号化されるＰピクチャとなる可能性が高い。動きが極めて大きい動画像の場合、Ｐピクチャ、Ｂピクチャでのインター・フレーム予測誤差が大きくなり、画像符号化による符号量が増加する傾向となる。逆に動きが比較的小さな動画像の場合には、Ｐピクチャ、Ｂピクチャのインター・フレーム予測誤差が少なくなり、すなわち予測効率が高くなる。
【００７７】
図４は、図1に示した画像符号化装置による１枚のピクチャのマクロブロックの画像符号化での量子化の際の量子化パラメータの算出処理のフローを示す図である。
【００７８】
まずステップＳ３０１にて、図1に示した画像符号化装置に画像符号化の目標符号量が設定される。高精細で長時間の画像符号化では目標符号量のビット数は高くなり、低精細で短時間の画像符号化では目標符号量のビット数は低くなる。
【００７９】
次にステップＳ３０２にてステップＳ３０１で設定された目標符号量から基本量子化パラメータを設定する。基本量子化パラメータは、高精細の場合には小さな量子化誤差に対応して小さな値に設定され、低精細の場合には大きな量子化誤差に対応して大きな値に設定される。
【００８０】
次にステップＳ３０３にて、図1に示した画像符号化装置は現時点の画像符号化の対象ピクチャがＩピクチャかＰピクチャかを判定する。
【００８１】
≪Ｉピクチャの重要性パラメータの算出≫
ステップＳ３０３にて現時点の画像符号化の対象ピクチャがＩピクチャであると判定されると、次のステップ３０４にて、このＩピクチャの重要性パラメータＩｐｉｃ＿ｒａｔｉｏを算出ユニット１１５が算出する。すなわち動きの極めて大きな動画像においてＩピクチャの画像符号化の品質を高くしても、後にこのＩピクチャを参照する後続のＰピクチャ、Ｂピクチャのインター・フレーム予測で予測が効果的ではなくなる傾向となる。このため、動きの極めて大きな動画像においては、Ｉピクチャの重要度は低くなる。また視覚特性の面からも動きが極めて大きなシーンに対しては人間の視覚が追いつかないため、Ｉピクチャの画像符号化の品質の劣化が目立ちにくい。このような場合には、Ｉピクチャの重要性パラメータＩｐｉｃ＿ｒａｔｉｏは小さな値に算出される。逆に動きの比較的小さなシーンにおいては、後続のＰピクチャ、Ｂピクチャにより参照されるＩピクチャの画質が非常に重要となる。この場合にＩピクチャの画像符号化の品質を高くすると、後続のＰピクチャ、Ｂピクチャの画像符号化における符号量は削減することが可能となる。また視覚特性の面から、動きが比較的小さなシーンに対してはＩピクチャの画像符号化の品質の劣化が目立つ傾向にある。この場合には、Ｉピクチャの重要性パラメータＩｐｉｃ＿ｒａｔｉｏは大きな値に算出される。
【００８２】
Ｉピクチャの重要性パラメータＩｐｉｃ＿ｒａｔｉｏは算出ユニット１１５においてＩピクチャの直前のＰピクチャの予測誤差情報を用いて次式に従って算出される。
【００８３】
【数１】
2008099175.tif 000003
【００８４】
すなわち、数１によれば、Ｉピクチャの重要性パラメータＩｐｉｃ＿ｒａｔｉｏは、直前のＰピクチャのイントラ・フレーム予測誤差の平均値ＩｎｔｒａＳＡＤを直前のＰピクチャの選択使用予測誤差の平均値ＵｓｅｄＳＡＤで割り算した比率となっている。
【００８５】
既に説明したように図３の領域Ｂの部分では、インター・フレーム予測誤差平均値ＩｎｔｅｒＳＡＤ＜イントラ・フレーム予測誤差平均値ＩｎｔｒａＳＡＤという関係になっていた。この領域Ｂの部分は、インター・フレーム予測が効果的な領域、すなわち、比較的小さな動きの領域である。従って、図３の領域Ｂの部分では、確率の低いＩピクチャの直前の確率の高いＰピクチャの選択使用予測誤差の平均値ＵｓｅｄＳＡＤとしては誤差の小さなインター・フレーム予測誤差平均値ＩｎｔｅｒＳＡＤが選択されているのに対して、イントラ・フレーム予測誤差平均値ＩｎｔｒａＳＡＤは比較的大きな誤差となっている。その結果、図３の領域Ｂの部分では、数式１により算出されるＩピクチャの重要性パラメータＩｐｉｃ＿ｒａｔｉｏの値は比較的大きな値となる。
【００８６】
既に説明したように図３の領域A及び領域Cの部分はインター・フレーム予測誤差平均値ＩｎｔｅｒＳＡＤ＞イントラ・フレーム予測誤差平均値ＩｎｔｒａＳＡＤという関係になっていた。この領域A及び領域Cの部分は、インター・フレーム予測が効果的ではない領域、すなわち、比較的大きな動きの領域である。従って、図３の領域A及び領域Cの部分では、確率の高いＩピクチャの直前の確率の低いＰピクチャの選択使用予測誤差の平均値ＵｓｅｄＳＡＤとしてはインター・フレーム予測誤差平均値ＩｎｔｅｒＳＡＤよりも誤差の小さなイントラ・フレーム予測誤差平均値ＩｎｔｒａＳＡＤが選択されている。その結果、図３の領域A及び領域Cの部分では、数式１により算出されるＩピクチャの重要性パラメータＩｐｉｃ＿ｒａｔｉｏの分子と分母の値はともにイントラ・フレーム予測誤差平均値ＩｎｔｒａＳＡＤとなり、数式１により算出されるＩピクチャの重要性パラメータＩｐｉｃ＿ｒａｔｉｏの値は比較的小さな値となる。
【００８７】
≪Ｉピクチャの使用量子化パラメータの算出≫
このようにして、ステップ３０４にて、Ｉピクチャの重要性パラメータＩｐｉｃ＿ｒａｔｉｏを数式１に従って直前のＰピクチャの予測誤差情報を用いて算出ユニット１１５が算出する。
【００８８】
ステップ３０４での算出ユニット１１５によるＩピクチャの重要性パラメータＩｐｉｃ＿ｒａｔｉｏの算出が完了すると、次のステップＳ３０４において算出ユニット１１５は次式に従ってＩピクチャの使用量子化パラメータＱｐ＿Ｉｐｉｃを算出する。この次式に従ったＩピクチャの使用量子化パラメータＱｐ＿Ｉｐｉｃの算出には、ステップＳ３０２にて設定された基本量子化パラメータＱｐ＿ｂａｓｅとステップ３０４にて算出が完了したＩピクチャの重要性パラメータＩｐｉｃ＿ｒａｔｉｏとが使用される。
【００８９】
【数２】
2008099175.tif 000004
【００９０】
従って、図３の領域Ｂの部分で数１により算出される比較的大きな値のＩピクチャの重要性パラメータＩｐｉｃ＿ｒａｔｉｏの値によって数２により算出されるＩピクチャの使用量子化パラメータＱｐ＿Ｉｐｉｃの値は比較的小さな値となることが理解される。図３の領域Ｂの部分のように動きの比較的小さなシーンにおいては、後続のＰピクチャ、Ｂピクチャにより参照されるＩピクチャの画質が非常に重要となる。この場合には比較的大きな値のＩピクチャの重要性パラメータＩｐｉｃ＿ｒａｔｉｏの値と比較的小さな値のＩピクチャの使用量子化パラメータＱｐ＿Ｉｐｉｃの値とにより、Ｉピクチャの画像符号化の品質が向上される。その結果、後続のＰピクチャ、Ｂピクチャのインター・フレーム予測による画像符号化における符号量を削減することが可能となる。また視覚特性の面から、動きが比較的小さなシーンに対してはＩピクチャの画像符号化の品質の劣化が目立つ傾向にあるが、上述のようにＩピクチャの画像符号化の品質は向上されている。
【００９１】
逆に、図３の領域A及び領域Cの部分で数１により算出される比較的小さな値のＩピクチャの重要性パラメータＩｐｉｃ＿ｒａｔｉｏの値によって、数２により算出されるＩピクチャの使用量子化パラメータＱｐ＿Ｉｐｉｃの値は比較的大きな値となることが理解される。図３の領域A及び領域Cのように動きの比較的大きなシーンにおいては、後にＩピクチャを参照する後続のＰピクチャ、Ｂピクチャのインター・フレーム予測で予測が効果的ではなくなる傾向となるため、Ｉピクチャの重要度は低くなる。この場合には比較的小さな値のＩピクチャの重要性パラメータＩｐｉｃ＿ｒａｔｉｏの値と比較的大きな値のＩピクチャの使用量子化パラメータＱｐ＿Ｉｐｉｃの値とにより、Ｉピクチャの画像符号化の符号化量が削減される。また視覚特性の面からも動きが極めて大きなシーンに対しては人間の視覚が追いつかないため、Ｉピクチャの画像符号化の品質の劣化が目立ちにくい。
【００９２】
図５は、数１によりＩピクチャの重要性パラメータＩｐｉｃ＿ｒａｔｉｏの算出に使用される直前のＰピクチャのイントラ・フレーム予測誤差の平均値ＩｎｔｒａＳＡＤと直前のＰピクチャの選択使用予測誤差の平均値ＵｓｅｄＳＡＤとを示す図である。この例では、上記と同様に、ＩピクチャＩ０の直前のＰピクチャＰ１４のイントラ・フレーム予測誤差の平均値ＩｎｔｒａＳＡＤが使用される。他の実施形態としては、グループオブピクチャＧＯＰ（ｎ＋１）のＩピクチャＩ０の重要性パラメータＩｐｉｃ＿ｒａｔｉｏの数式１による算出に使用されるＰピクチャのイントラ・フレーム予測誤差ＩｎｔｒａＳＡＤは、直前のグループオブピクチャＧＯＰ（ｎ）内の全ＰピクチャＰ１、Ｐ２…Ｐ１４のイントラ・フレーム予測誤差値の平均値を使用することも可能である。
【００９３】
≪Ｐピクチャの予測誤差比パラメータの算出≫
図４のステップＳ３０３にて現時点の画像符号化の対象ピクチャがＩピクチャではなくＰピクチャあると判定されると、次のステップ３０５にて、このＰピクチャの予測誤差比パラメータＰｐｉｃ＿ｒａｔｉｏを算出ユニット１１５が算出する。
【００９４】
Ｐピクチャは動画符号化の符号化シーケンスで過去に符号化されたピクチャを参照することにより、両ピクチャの差分情報のみを符号化することで符号化効率を高めている。しかしながら参照ピクチャとの差分が大きくなると、インター・フレーム予測よりもイントラ・フレーム予測を行った方が符号化誤差は低くなる。また図８と図９とに示すようにＨ．２６４で新規に導入された画面内のイントラ・フレーム予測モードを用いると、動きの大小に関わらずイントラ・フレーム予測の方が符号化誤差は低くなる場合がある。通常、Ｐピクチャのモード判定は、各モードで最小の符号化誤差となるものが選択される。ここでは、イントラ・フレーム予測誤差平均値ＩｎｔｒａＳＡＤとインター・フレーム予測誤差平均値ＩｎｔｅｒＳＡＤとの間にＩｎｔｒａＳＡＤ≦ＩｎｔｅｒＳＡＤの関係が成立する場合に、図１の画像符号化装置のモード判定ユニット１１４はイントラ・フレーム予測を選択するものとする。算出ユニット１１５は、次式に従って各Ｐピクチャにおける予測誤差比パラメータＰｐｉｃ＿ｒａｔｉｏを算出する。
【００９５】
【数３】
2008099175.tif 000005
【００９６】
すなわち、数３によれば、Ｐピクチャにおける予測誤差比パラメータＰｐｉｃ＿ｒａｔｉｏは、Ｐピクチャのイントラ・フレーム予測誤差の平均値ＩｎｔｒａＳＡＤをＰピクチャのインター・フレーム予測誤差の平均値ＩｎｔｅｒＳＡＤで割り算した比率となっている。
【００９７】
≪Ｐピクチャの量子化重み付け係数の算出≫
このＰピクチャにおける予測誤差比パラメータＰｐｉｃ＿ｒａｔｉｏの変化量から、動画像の動き量の変化を推測することができる。予測誤差比パラメータＰｐｉｃ＿ｒａｔｉｏが小さい値の場合にはＰピクチャのインター・フレーム予測誤差の平均値ＩｎｔｅｒＳＡＤが大きく、参照ピクチャによる予測が効果的ではないことを示している。逆に、予測誤差比パラメータＰｐｉｃ＿ｒａｔｉｏが大きい値の場合にはＰピクチャのインター・フレーム予測誤差の平均値ＩｎｔｅｒＳＡＤが小さく、参照ピクチャとして予測が効果的であることを示している。また動きが比較的大きい場合には、人間の視覚特性上、量子化誤差を大きくしてもが荒くても動画の劣化が目立たない。逆に動きが収束した場合には、量子化誤差を小さくすることで動画の符号化量と画質とを向上するようにする。そのために、次式で与えられるＰピクチャの量子化重み付け係数Ｐｐｉｃ＿ｗｅｉｇｈｔを算出ユニット１１５が算出する。
【００９８】
【数４】
2008099175.tif 000006
【００９９】
ここでは、正規化定数ｗｅｉｇｈｔ＿ｓｃａｌｅは１より大きな値であり、量子化重み付け係数平均値ａｖｇ＿Ｐｐｉｃ＿ｗｅｉｇｈｔは直前のグループオブピクチャの量子化重み付け係数の平均値である。数式４では正規化定数ｗｅｉｇｈｔ＿ｓｃａｌｅは１より大きな値に設定されることにより、予測誤差比パラメータＰｐｉｃ＿ｒａｔｉｏが小さい値となると、数式４の分母の第１項は著しく小さくなり、量子化重み付け係数Ｐｐｉｃ＿ｗｅｉｇｈｔは著しく増大する。
【０１００】
≪Ｐピクチャの量子化パラメータの算出≫
ステップＳ３０２にて算出された基本量子化パラメータＱｐ＿ｂａｓｅと数４で算出されたＰピクチャの量子化重み付け係数Ｐｐｉｃ＿ｗｅｉｇｈｔとを用いて、算出ユニット１１５は次式に従って次のステップ３０６でＰピクチャの量子化パラメータＱｐ＿Ｐｐｉｃを算出する。
【０１０１】
【数５】
2008099175.tif 000007
【０１０２】
すなわち、数５によれば、Ｐピクチャの量子化パラメータＱｐ＿Ｐｐｉｃは、基本量子化パラメータＱｐ＿ｂａｓｅとＰピクチャの量子化重み付け係数Ｐｐｉｃ＿ｗｅｉｇｈｔとの積である。動画の動きが比較的大きく参照ピクチャによる予測が効果的ではない場合には、数３により算出されるＰピクチャにおける予測誤差比パラメータＰｐｉｃ＿ｒａｔｉｏの値は小さくなる。すると、数４により算出されるＰピクチャの量子化重み付け係数Ｐｐｉｃ＿ｗｅｉｇｈｔの値は著しく増大する。すると、数５により算出されるＰピクチャの量子化パラメータＱｐ＿Ｐｐｉｃの値も著しく増大する。
【０１０３】
図６は、基本量子化パラメータＱｐ＿ｂａｓｅ＝３０に設定して、Ｐピクチャの量子化重み付け係数Ｐｐｉｃ＿ｗｅｉｇｈｔ＝１．２に設定した場合で、直前のグループオブピクチャの量子化重み付け係数の平均値ａｖｇ＿Ｐｐｉｃ＿ｗｅｉｇｈｔ＝１．６の場合の図1に示した画像符号化装置の算出ユニット１１５により取得された各画像符号化フレームのフレーム予測誤差平均値の変化とＰピクチャの量子化パラメータＱｐ＿Ｐｐｉｃの値の変化とを示す図である。
【０１０４】
図６の領域Ａ及び領域Ｃのように数式４により算出される予測誤差比パラメータＰｐｉｃ＿ｒａｔｉｏが小さい値の場合には、Ｐピクチャのインター・フレーム予測誤差の平均値ＩｎｔｅｒＳＡＤが大きく、参照ピクチャによる予測が効果的ではないことを示している。この場合には、数５により算出されるＰピクチャの量子化パラメータＱｐ＿Ｐｐｉｃの値は大きくなり、大きな量子化誤差に設定される。このように、動画の動きが比較的大きい場合には、人間の視覚特性上、量子化誤差を大きくしてもが荒くても動画の劣化が目立たない。
【０１０５】
逆に、図６の領域Ｂのように数式４により予測誤差比パラメータＰｐｉｃ＿ｒａｔｉｏが大きい値の場合には、Ｐピクチャのインター・フレーム予測誤差の平均値ＩｎｔｅｒＳＡＤが小さく、参照ピクチャとして予測が効果的であることを示している。この場合には、数５により算出されるＰピクチャの量子化パラメータＱｐ＿Ｐｐｉｃの値は小さくなり、小さな量子化誤差に設定される。このように。逆に動きが収束した場合には、量子化誤差を小さくすることで動画の符号化量と画質とを向上するようにする。
【０１０６】
また、以上の予備符号化によって図３または図６で３０フレーム分のＩピクチャの使用量子化パラメータＱｐ＿ＩｐｉｃとＰピクチャの使用量子化パラメータＱｐ＿Ｐｐｉｃとが算出されたとする。すると、３０フレーム分の各フレームの実符号化に際して、図１に示した画像符号化装置の量子化ユニット１０６の量子化パラメータ（量子化誤差）は予備符号化で算出された値に刻々と変更されるものである。従って、原画像メモリ１０１は、相当数のフレームの画像を記憶する必要がある。数十フレームの予備符号化により適切な量子化パラメータを算出した後、同一の画像データを原画像メモリ１０１から読み出して、適切な量子化パラメータでの量子化により実符号化が実行される。予備符号化の進行とその後の実符号化の進行とは、図１に示した画像符号化装置の全体を制御するマイクロコンピュータによるスケジューリングにより制御されることができる。
【０１０７】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【０１０８】
例えば、図１に示したＨ．２６４に準拠する画像符号化装置をマルチプロセッサのハードウェアアーキテクチャーで構成して、Ｈ．２６４に準拠する画像符号化をマルチプロセッサのソフトウェア処理で実行することも可能である。
【０１０９】
上記では、予測誤差としてＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を使用したが、ＳＡＤを周波数成分に変換した値ＳＡＴＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｔｒａｎｓｆｏｒｍｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）を使用することも可能である。
【０１１０】
また上記では、イントラ・フレーム予測を行うＨ．２６４符号化方式を用いて説明してきたが、それ以外にもＭＰＥＧ−２、ＭＰＥＧ−４の動き補償を用いた符号化方式においても動き探索におけるインター予測誤差を用いて適用できる。
【０１１１】
また入力画像の単位をピクチャとして説明してきたが、ピクチャ内を複数の分割したスライス単位で符号化する場合にも適用できる。また、インタレース画像を入力データとして符号化する場合、フィールドとして符号化する場合においても適用できる。
【０１１２】
また、マクロブロック（１６画素×１６画素）単位で処理を行う場合について説明したが、３２画素×３２画素、８画素×８画素等、任意の大きさのマクロブロックで処理を行う場合にも適用できる。またＭｏｔｉｏｎＪＰＥＧを始めとする静止画を連結させて動画とする画面内符号化のみの動画像符号化方式においても、インター・フレーム予測を行い動き量を推測して、量子化パラメータに反映することで同様の効果を得ることができる．
本発明は、動画処理用半導体集積回路以外にも、アナログとディジタルとが混載したミックスドシグナルシステムＬＳＩに搭載するＨ．２６４に準拠する動画符号化と動画復号とを実行する集積回路として広く採用することができる。
【図面の簡単な説明】
【０１１３】
【図１】図1は、本発明の１つの実施形態によるＨ．２６４に準拠する画像符号化装置（エンコーダ）の構成を示すブロック図である。
【図２】図２は、図1に示した画像符号化装置による１枚のピクチャの複数のマクロブロックの予備符号化によるフレーム予測の誤差値の算出処理のフローを示す図である。
【図３】図３は、Ｈ．２６４／ＡＶＣのＶＣＬの符号化ビデオシーケンスで規定された連続するフレームが図２に示した予備符号化により取得された各画像符号化フレームのフレーム予測誤差平均値の変化を示す図である。
【図４】図４は、図1に示した画像符号化装置による１枚のピクチャのマクロブロックの画像符号化での量子化の際の量子化パラメータの算出処理のフローを示す図である。
【図５】図５は、Ｉピクチャの重要性パラメータの算出に使用される直前のＰピクチャのイントラ・フレーム予測誤差の平均値と直前のＰピクチャの選択使用予測誤差の平均値とを示す図である。
【図６】図６は、基本量子化パラメータを３０に設定して、Ｐピクチャの量子化重み付け係数を１．２に設定した場合で、直前のグループオブピクチャの量子化重み付け係数の平均値が１．６の場合の図1に示した画像符号化装置の算出ユニットにより取得された各画像符号化フレームのフレーム予測誤差平均値の変化とＰピクチャの量子化パラメータの値の変化とを示す図である。
【図７】図７はＨ．２６４／ＡＶＣのＶＣＬの符号化ビデオシーケンスで規定されたプログレッシブ・フレームとインターレースド・フレームとを示す図である。
【図８】図８は、Ｈ．２６４／ＡＶＣに準拠した１つのピクチャーのスライスとマクロブロックへのパーティションとイントラ・フレーム予測とを示す図である。
【図９】図９は、Ｈ．２６４／ＡＶＣに準拠したイントラ・フレーム予測で４×４サンプルの１つのブロックが空間的に近傍のサンプルから予測される予測モードの様子を示す図である。
【図１０】図１０は、インター・フレーム予測に際してＨ．２６４／ＡＶＣに準拠した動き補償予測のために１つのマクロブロックが更に小さな領域に分割されることを示す図である。
【図１１】図１１は、Ｈ．２６４／ＡＶＣのマルチピクチャー動き補償予測を示す図である。
【符号の説明】
【０１１４】
１０１  原画像メモリ１０１
１０２  レート制御ユニット
１０３  バッファメモリ
１０４  減算器
１０５  直交変換ユニット
１０６  量子化ユニット
１０７  符号化ユニット
１０８  逆量子化ユニット
１０９  逆直交変換ユニット
１１０  ループフィルタ
１１１  フレームメモリ
１１２  インター予測ユニット
１１３  イントラ予測ユニット
１１４  モード判定ユニット
１１５  算出ユニット
【図１】
2008099175.tif 000008
【図２】
2008099175.tif 000009
【図３】
2008099175.tif 000010
【図４】
2008099175.tif 000011
【図５】
2008099175.tif 000012
【図６】
2008099175.tif 000013
【図７】
2008099175.tif 000014
【図８】
2008099175.tif 000015
【図９】
2008099175.tif 000016
【図１０】
2008099175.tif 000017
【図１１】
2008099175.tif 000018