(57)【要約】【課題】動画像の符号化に際し、量子化制御に用いる画像の特徴量を算出するための演算処理量を軽減する。【解決手段】原画像メモリ１のＩピクチャの符号化の際には、特徴量演算部１６がそのＭＢ毎に分散値を算出し、特徴量格納メモリ１９に格納するとともに、このＭＢの量子化ステップサイズ情報を算出し、量子化制御部１３に送る。Ｐピクチャの符号化の際には、特徴量予測部１７がそのＭＢの予測画像となるＩまたはＰピクチャのＭＢの分散値を特徴量格納メモリ１９から取得して分散値を算出し、特徴量格納メモリ１９に格納するとともに、量子化ステップサイズ情報を算出して量子化制御部１３に送る。Ｂピクチャの符号化の際でも、特徴量予測部１７がこのＢピクチャのＭＢの予測画像となるＩまたはＰピクチャのＭＢの分散値を特徴量格納メモリ１９から取得して分散値を算出し、量子化ステップサイズを算出して量子化制御部１３に送る。【選択図】図１
2007228519.tif 000002
【特許請求の範囲】
【請求項１】
一連のピクチャからなる動画像情報を符号化する画像符号化装置であって、
符号化するピクチャの特徴量を算出する特徴量演算手段と、
特徴量の算出の際の分散値を格納する特徴量格納手段と、
符号化するピクチャの特徴量を、該特徴量格納手段に格納されている該分散値を基に算出する特徴量予測手段と
を備えたことを特徴とする画像符号化装置。
【請求項２】
請求項１において、
前記特徴量演算手段で前記特徴量が算出される前記ピクチャは、画面内予測符号化されるＩピクチャであり、
前記特徴量予測手段で前記特徴量が算出される前記ピクチャは、画面間予測符号化されるＰピクチャとＢピクチャであって、
該Ｐピクチャの分散値が、前記特徴量格納手段に格納されている既に符号化された該Ｉピクチャまたは該Ｐピクチャの分散値を基に、前記特徴量予測手段で算出され、算出された該分散値が前記特徴量格納手段に格納され、
該Ｂピクチャの分散値が、前記特徴量格納手段に格納されている既に符号化された該Ｉピクチャや該Ｐピクチャの特徴量を基に、前記特徴量予測手段で算出され、前記特徴量格納手段への格納が禁止されることを特徴とする画像符号化装置。
【請求項３】
請求項２において、
前記特徴量演算手段は、前記Ｉピクチャをブロック分割し、該ブロック毎に、該ブロックの各画素の画素値に基づいて、前記分散値を生成することを特徴とする画像符号化装置。
【請求項４】
請求項２において、
前記Ｉピクチャをブロック分割し、該ブロック毎に該Ｉピクチャ内の参照画像との差分値を画素とする手段を有し、
前記特徴量演算手段は、該ブロック毎に、該差分値の画素値に基づいて、前記分散値を生成することを特徴とする画像符号化装置。
【請求項５】
請求項２，３または４において、
前記特徴量予測手段は、前記Ｐ，Ｂピクチャをブロック分割し、該ブロック毎に、該ブロックに対する参照ブロックとなる前記特徴量格納手段のＩまたはＰピクチャのブロック、もしくはその周辺ブロックの分散値に基づいて、分散値を生成することを特徴とする画像符号化装置。
【請求項６】
請求項２〜５のいずれか１つにおいて、
前記特徴量演算手段で算出される前記特徴量は、前記Ｉピクチャが符号化されるときの量子化ステップサイズであり、
前記特徴量予測手段で算出される前記特徴量は、前記Ｐ，Ｂピクチャが符号化されるときの量子化ステップサイズであることを特徴とする画像符号化装置。
【請求項７】
請求項５または６において、
前記特徴予測手段は、前記Ｐピクチャの符号化するブロック毎に、
該ブロックの周辺の既に符号化されたプロックの動きベクトルを基に動きベクトルを予測し、
該動きベクトルを基に前記ＩまたはＰピクチャの前記参照ブロックを予測し、
予測された前記参照ブロックもしくはその周辺ブロックの分散値を前記特徴量格納手段から取得して該符号化するブロックの分散値を求める
ことを特徴とする画像符号化装置。
【請求項８】
請求項５，６または７において、
前記特徴予測手段は、前記Ｂピクチャの符号化するブロック毎に、
前記Ｂブロックに表示順で前方のＩまたはＰピクチャに対する前方予測動きベクトルと前記Ｂブロックに表示順で後方のＰピクチャに対する後方予測動きベクトルとを予測し、
該前方予測動きベクトルに基づいて該前方のＩまたはＰピクチャでの前方の前記参照ブロックを予測し、該後方予測動きベクトルに基づいて該後方のＰピクチャでの後方の前記参照ブロックを予測し、
該前方の前記参照ブロックまたはその周辺ブロックの分散値と該後方の前記参照ブロックまたはその周辺ブロックの分散値とを前記特徴量格納手段から取得して該符号化するブロックの分散値を求める
ことを特徴とする画像符号化装置。
【請求項９】
請求項１〜８のいずれか１つにおいて、
特徴量予測手段で特徴量を予測するか否かを判定する特徴量予測処理判定手段を設け、
該特徴量予測処理判定手段により、特徴量予測手段で特徴量を予測しないと判定されたときには、前記特徴量演算手段で特徴量を算出し、その算出に際しての前記分散値を前記特徴量格納手段に格納することを特徴とする画像符号化装置。
【請求項１０】
請求項９において、
動画像のシーンチェンジを検出するシーンチェンジ検出手段を設け、
シーンチェンジしたピクチャに対して、前記特徴量予測処理判定手段に特徴量予測手段で特徴量を予測しないと判定させることを特徴とする画像符号化装置。
【請求項１１】
請求項１〜１０のいずれか１つにおいて、
前記分散値から求めた量子化ステップサイズの情報を、前記分散値に代えて、前記特徴量格納手段に格納することを特徴とする画像符号化装置。
【請求項１２】
請求項１〜１０のいずれか１つにおいて、
前記特徴量格納手段に符号化の対象となるピクチャに前処理を施した後の画素値を格納することを特徴とする画像符号化装置。
【請求項１３】
請求項１２において、
前記前処理は、画像のエッジ部を強調する処理であることを特徴とする画像符号化装置。
【請求項１４】
Ｉ，Ｐ，Ｂピクチャの一連のピクチャからなる動画像情報を符号化する画像符号化方法であって、
該Ｉピクチャの符号化の際、該Ｉピクチャの特徴量を算出して格納し、
該Ｐ，Ｂピクチャを符号化する際には、その特徴量を格納されている特徴量に基づいて算出し、該Ｐピクチャの算出された該特徴量を格納して保持する
ことを特徴とする画像符号化方法。
【請求項１５】
請求項１４において、
前記格納される特徴量は、前記Ｉ，Ｐ，Ｂピクチャの分割されたブロック毎に算出される分散値であって、
該分散値から、前記Ｉ，Ｐ，Ｂピクチャの符号化の際の量子化ステップサイズを決める情報が算出されることを特徴とする画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを効率的に符号化するための画像符号化装置及び画像符号化方法に関する。
【背景技術】
【０００２】
従来、画像符号化の分野の技術としては、ＭＰＥＧ(Moving Picture Experts Group）規格に代表される符号化方式が知られている。
【０００３】
図１２にＭＰＥＧ−２規格による従来の画像符号化装置の一例を示すブロック構成図であって、１は原画像メモリ、２は減算器、３は直交変換部、４は量子化部、５は符号化部、６は送信バッファ、７は逆量子化部、８は逆直交変換部、９は加算器、１０はフレームメモリ、１１は動き検出・動き補償部、１２はフレーム内予測部、１３は量子化制御部、１４はアクティビティ演算部である。
【０００４】
同図において、ＭＰＥＧ−２規格の符号化では、画面毎に画面内予測符号化と画面間予測符号化とが用いられ、画面内予測符号化を用いて符号化される画面をＩピクチャといい、画面間予測符号化を用いて符号化されるピクチャはＰ，Ｂピクチャの２通りがある。Ｐピクチャが画面間予測符号化されるときには、ＩピクチャもしくはＰピクチャが参照ピクチャとして用いられ、Ｂピクチャがフレーム間予測符号化されるときには、そのＩまたはＰピクチャと次のＰピクチャとが参照ピクチャとして用いるものである。
【０００５】
なお、以下では、フレーム単位のピクチャを対象として説明し、このため、画面内予測符号化をフレーム内予測符号化、画面間予測符号化をフレーム間予測符号化と夫々いうことにする。
【０００６】
そこで、例えば、
……，Ｉ，Ｂ１，Ｂ２，Ｐ１，Ｂ３，Ｂ４，Ｐ２，……
の順で入力されるピクチャは、原画像メモリ１から読み出されるときには、
……，Ｉ，Ｐ１，Ｂ１，Ｂ２，Ｐ２，Ｂ３，Ｂ４，……
の順で読み出されて符号化される。Ｉピクチャはフレーム内予測符号化されるが、Ｐ１ピクチャは符号化済みのＩピクチャを参照ピクチャとしてフレーム間予測符号化され、Ｐ２ピクチャは符号化済みのＰ１ピクチャを参照ピクチャとしてフレーム間予測符号化される。また、Ｂ１，Ｂ２ピクチャは符号化済みのＩ，Ｐ１ピクチャを参照ピクチャとしてフレーム間予測符号化され、Ｂ３，Ｂ４ピクチャは符号化済みのＰ１，Ｐ２ピクチャを参照ピクチャとしてフレーム間予測符号化される。このため、ＩピクチャはＰピクチャ，Ｂピクチャの前に符号化され、Ｐピクチャはこれを参照ピクチャとするＢピクチャの前に符号化される。従って、Ｂ１，Ｂ２ピクチャが符号化される前に、Ｉ，Ｐ１ピクチャが符号化され、これらの復号Ｉ，Ｐ１ピクチャを参照ピクチャとしてＢ１，Ｂ２ピクチャが符号化される。かかる符号化は、１６×１６画素のマクロブロック（ＭＢ）もしくはこれを分割した８×８画素，４×４画素のブロックを単位ブロックとして符号化される。かかる符号化の単位ブロックを、以下、符号化対象ブロックという。
【０００７】
入力される順次のピクチャ列からなる画像データは一旦原画像メモリ１に記憶され、これから各ピクチャが上記のような所定の順序で読み出されて減算器２に供給される。減算器２では、Ｉピクチャが符号化のために供給されるときには（このように、符号化のために原画像メモリ１から読み出されて供給されるピクチャを、以下、符号化対象ピクチャという）、フレーム内予測部１２で生成されたフレーム内予測符号化のための参照画像も供給され、また、Ｐ，Ｂピクチャが符号化対象フレームとして供給されるときには、フレームメモリ１０からのフレーム間予測符号化のための参照画像も供給され、符号化対象フレームの画素毎に参照画像の画素（以下、参照画素という）の画素値が減算され、その差分値の画素（差分値画素）からなる符号化対象ピクチャが直交変換部４に供給される。
【０００８】
なお、Ｉピクチャの最初に符号化される先頭のマクロブロックが減算器２に供給されるときには、一定の画素値「１２８」の画素が参照画素として減算器２に供給され、これとの差分値の画素（差分値画素）からなるマクロブロックが形成される。また、Ｉピクチャのこれ以外のマクロブロックでは、同じＩピクチャ内の符号化された先行するマクロブロックが参照画像となり、これが減算器２に供給される。ここで、マクロブロックは１６×１６画素からなる画素のブロックであって、符号化の単位ブロックである。また、Ｉピクチャの先頭のマクロブロックは、このフレームによる画面上、左上隅に位置するマクロブロックである。
【０００９】
直交変換部３では、マクロブロックを単位として、これが８×８画素の４個のブロックに分割され、このブロック毎にＤＣＴ(Discrete Cosine Transform：離散コサイン変換）演算によって直交変換される。この直交変換によって得られたＤＣＴ係数が量子化部４に供給されて量子化され、この量子化データが符号化部５で可変長符号化される。このようにして予測符号化されて圧縮された画像データは一旦送信バッファ６に記憶され、一定のビットレートとなるように読み出されて送信される。
【００１０】
また、量子化部４からの量子化データは逆量子化部７に供給され、逆量子化処理されて元のＤＣＴ係数に復元され、さらに、逆直交変換部８に供給されて逆ＤＣＴ処理され、差分値画素からなるピクチャの画像データに復元される。このピクチャは加算器９に供給され、このとき、フレームメモリ１０もしくはフレーム内予測部１２からこのピクチャに対して減算部３に用いた参照画像が読み出されて加算器９に供給され、差分画素毎に加算されて元の画素値のピクチャに復号される。この復号ピクチャが、参照ピクチャとして用いるために、フレームメモリ１０に記憶されて保存される。
【００１１】
なお、加算器９に供給されるピクチャがＩピクチャで場合には、このＩピクチャ自身が参照ピクチャとしてフレーム内予測部１２から読み出されて加算器９に供給されるが、このＩピクチャの先頭のマクロブロックが供給されるときには、フレーム内予測部１２から一定の画素値「１２８」が読み出されて加算器９に供給される。これにより、この先頭のマクロブロックの各画素が元の画素値の画素に復号される。
【００１２】
このＩピクチャの復号された先頭のマクロブロックは、フレームメモリ１０に供給されて記憶されるとともに、フレーム内予測部１２に供給され、Ｉピクチャの次に符号化されるマクロブロックの参照画像が生成される。従って、この２番目のマクロブロックが符号化されるときには、先頭のマクロブロックによる参照画像が減算部２に供給され、この２番目のマクロブロックとの減算処理がなされて画面内予測符号化されるとともに、符号化されたこの２番目のマクロブロックが加算器９で同じ参照画像で復号され、フレームメモリ１０に記憶されるとともに、フレーム内予測部１２に供給されてさらに次のマクロブロック（３番目のマクロブロック）の符号化のための参照画像が形成される。このようにして、Ｉピクチャのマクロブロックが順次符号化されるとともに、復号がされたマクロブロックがフレームメモリ１０に順次記憶されていき、Ｉピクチャの画面内符号化が終了したときには、フレームメモリ１０内にその復号Ｉピクチャがフレームメモリ１０内に記憶されている事になり、これが次のＰピクチャの参照ピクチャとして用いられる。
【００１３】
Ｉピクチャの次のＰピクチャを画面間予測符号化するときには、フレームメモリ１０に記憶されているＩピクチャを参照画像として、上記と同様の処理がなされるが、この場合、符号化するＰピクチャとフレームメモリ１０に記憶されているＩピクチャとが動き検出・動き補償部１１に供給され、マクロブロック毎に動きベクトルＭＶが検出される。そして、この動きベクトルＭＶをもとに、減算器２に供給されるＰピクチャのマクロブロックに対するＩピクチャのマクロブロックが検出され、これが減算器２に供給されて差分値画素からなるマクロブロックが形成され、このマクロブロックが符号化されるとともに、加算器９にも供給されてこの符号化マクロブロックが復号され、フレームメモリ１０に供給されて記憶される。
【００１４】
符号化されたＰピクチャの次に符号化されるＰピクチャの画面間予測符号化の場合には、フレームメモリ１０に記憶されている復号Ｐピクチャを動き検出・動き補償部１１で処理して参照画像とするものであり、これ以外は上記のＰピクチャの符号化処理と同様である。また、Ｂピクチャを符号化する場合には、フレームメモリ１０に記憶されている既に符号化されたＩ，Ｐピクチャの復号ピクチャを動き検出・動き補償部１１の動きベクトルで処理して得られる参照画像を用いるものである。但し、Ｂピクチャは参照画像として用いないので、フレームメモリ１０には、Ｂピクチャを記憶しない。
【００１５】
Ｐ，Ｂピクチャを符号化するときに、マクロブロック毎に動き検出・動き補償部１１で検出された動きベクトルＭＶは符号化部５に供給される。この符号化部５では、この符号化対象ピクチャの減算器２でこの動きベクトルＭＶが上記のように用いられたマクロブロックの量子化部４からの画像データに、この動きベクトルＭＶが付加されて可変長符号化される。
【００１６】
以上のようにして、Ｉ，Ｐ，Ｂピクチャの配列からなる画像データに符号化され、送信バッファ６から一定のビットレートで送信されるが、このように送信されるように、量子化制御部１３が画像データを監視し、この監視結果に応じて量子化部４を制御し、一定のビットレートで送信されるように、量子化部４での量子化ステップサイズＱＳ（量子化レベルの間隔）を調整する。以下、この点について説明する。
【００１７】
量子化制御部１３では、符号化された画像データを所定のデータ量（ビットレート）で伝送するため、各ピクチャに対するデータの割り当て量（割り当て符号量）を制御する。例えば、ＭＰＥＧの符号化方式では、性質（符号化方式）の異なる３種類のピクチャ(上記のＩ，Ｐ，Ｂピクチャ)が存在するため、ピクチャの種類によって割り当て符号量を決定する。即ち、Ｉ，ＰピクチャをＰ，Ｂピクチャの参照ピクチャとして用いる場合には、Ｉ，Ｐピクチャの割り当て符号量をＢピクチャよりも多くする。また、ピクチャ単位の割り当て符号量が決定した後、ピクチャをブロック分割し、ブロック単位で割り当て符号量を決定することも可能である。
【００１８】
ＭＰＥＧ−１規格で用いられているMPEG-2 Test Model 5(以下、ＴＭ５という)の量子化制御方式では、
ステップ１：各ピクチャへの符号量割り当てを行なう
ステップ２：仮想バッファを用いて、ピクチャ内の各ブロックへの量子化パラ
メータＱＰを決定する
ステップ３：ピクチャ内の視覚特性を考慮して、各ブロックの量子化パラメー
タＱＰに重み付けを行なって、量子化ステッサイズを決定する
という３ステップの処理が行なわれている（例えば、非特許文献１，非特許文献２参照）。
【００１９】
ステップ３では、画像の平坦部では、歪が目立ち易く、画像の絵柄の複雑な部分では、目立ちにくいという人間の視覚特性を利用し、その判別のために、アクティビティＡctと呼ばれる画像の特徴量を用いる。そして、アクティビティＡctに基づいて、量子化ステップサイズＱＳを変更するものである。アクティビティ演算部１４はピクチャ毎にアクティビティＡctを求めるものであり、得られた子のアクティビティＡctに基づいて、量子化制御部１３が量子化部４での量子化ステップサイズＱＳを制御する。
【００２０】
アクテイビティ演算部１４での具体的な処理としては、まず、ピクチャ内を１６×１６画素単位のマクロブロックに分割する。次に、図１３に示すように、マクロブロックを８×８画素のブロックに４分割し、このブロック単位で輝度信号の分散値を計算する。ｎ番目のブロックの分散値Ｖar[ｎ］は、次の数式１、即ち、
【数１】
2007228519.tif 000003
【００２１】
で示す計算式で求める。ここで、第１番目のブロック（ｎ＝１）は、図１３に示すマクロブロック内の４個のブロックにおいて、左上の８×８画素のブロック１であり、第２番ブロック（ｎ＝２）は右上の８×８画素のブロック２であり、第３番目のブロック（ｎ＝３）は左下の８×８画素のブロック３であり、第４番目のブロック（ｎ＝４）は右下の８×８画素のブロック４である。また、上記数１において、Ｐn（ｘ，ｙ）は、第ｎ番目のブロック内での座標位置（ｘ，ｙ）の画素の画素値である。
【００２２】
次に、上記数１に示す４個のブロックの分散値Ｖar[ｎ］から、このマクロブロックのアクティビティＡctを求める。このアクティビティＡctは、次の数２、即ち、
【数２】
2007228519.tif 000004
【００２３】
から算出される。ここで、min(  )はその括弧内の最小値となる分散値Ｖar[ｎ］を選択する関数であり、最小値をとなる分散値Ｖar[ｎ］を選択するのは、マクロブロック内の一部だけでも平坦部のある場合には、量子化ステップサイズＱＳを小さくして量子化を細かくするためである。
【００２４】
次に、量子化ステップサイズＱＳの重み付け係数Nactを、次の数３、即ち、
【数３】
2007228519.tif 000005
【００２５】
で算出する。ここで、Ａvg_actは、直前に符号化したピクチャでの全マクロブロックのアクティビティの平均値である。
【００２６】
続いて、上記ステップ２で算出・設定された量子化パラメータＱＰに、数４で示すように、数３で求めた重み付け係数Ｎactを乗算し、符号化対象ブロックに対する量子化部４での量子化ステップサイズＱＳを算出する。
【数４】
2007228519.tif 000006
【００２７】
このようにして得られた量子化ステップサイズＱＳが量子化制御部１３に供給され、量子化制御部１３は、この量子化ステップサイズＱＳを基に、量子化部４での量子化レベルを決める。
【００２８】
なお、量子化制御部１３は、また、送信バッファ６からビット量の情報も供給され、これに基づいて量子化ステップサイズＱＳを調整し、送信バッファ６から一定のビットレートで送信できるように、量子化部４での量子化レベルを調整する。
【００２９】
以上の方法により、視覚的劣化の目立ちにくい絵柄の複雑な画像領域では、量子化部４での量子化ステップサイズを大きくして荒い量子化を行ない、また、視覚的劣化の目立ち易い平坦な画像領域では、量子化部４での量子化ステップサイズを小さくして細かい量子化を行なうようにして、画質に応じて発生符号量を制御するようにする。
【００３０】
しかし、上記量子化制御方式では、視覚的に劣化の目立ち易いエッジ部で分散値が大きくなり、荒く量子化されることになる。そのため、エッジ部の劣化が目立ち易くなり、また、低ビットレート時では、必然的に量子化ステップ（量子化レベル）が荒くなり、ブロック歪みが増えて視覚的に違和感が起こる。
【００３１】
そこで、その問題を解決するために、符号化前の原画像データに対して前処理を行なうことにより、高圧縮かつ高品質の符号化を行なうことを可能とする技術が提案されている（例えば、特許文献１や特許文献２を参照）。
【非特許文献１】MPEG-2, Test Model 5(ＴＭ５), Doc.ISO/IEC JTC1/SC29/WG11/N0400, Test Model Editing Committee, Apr.1993.
【非特許文献２】Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG : "Text of ISO/IEC 14496 10 Advanced Video Coding 3rd Edition", Jul, 2004.
【特許文献１】特開２００２−１６９２３
【特許文献２】特開２００２−１０２６８
【発明の開示】
【発明が解決しようとする課題】
【００３２】
ところで、上記特許文献１や特許文献２における上記の前処理では、符号化された原画像データとその復号画像データの差分が大きくなるにつれて、周波数帯域を制限するフィルタ処理や原画像データの空間的な周波数情報を取得するためのＤＦＴ(Discrete Fourier Transform：離散フーリエ変換）やＤＣＴの直交変換処理が必要となる。また、エッジ部を強調するための中高域通過フィルタ処理も必要となる。従って、これらの前処理をＩ，Ｐ，Ｂピクチャの全てに対して行なった場合、演算処理時間が大幅にかかり、特に、ＰピクチャやＢピクチャにおいては、動き探索処理により、Ｉピクチャに比べて処理量が非常に多くなるといった問題があった。
【００３３】
また、ＨＤ（High Definition：高品位）画像などのサイズの大きい画像を符号化する際には、リアルタイムで符号化処理を行なうことが困難となるといった問題もあった。
【００３４】
本発明の目的は、かかる問題を解消し、画質を実質的に保持しながら、特徴量算出に費やす演算量の大幅な削減を実現可能とした画像符号化装置及び画像符号化方法を提供することにある。
【課題を解決するための手段】
【００３５】
上記目的を達成するために、本発明は、アクティビティをはじめとする画像の特徴量算出処理において、ＩまたはＰピクチャの特徴量を算出し、その特徴量に基づいてＰまたはＢピクチャの特徴量を予測するものであって、画質を実質的に保持しながら、特徴量算出に費やす演算量の大幅な削減を実現するものである。
【００３６】
具体的には、本発明は、一連のピクチャからなる動画像情報を符号化する画像符号化装置であって、符号化するピクチャの特徴量を算出する特徴量演算手段と、特徴量の算出の際の分散値を格納する特徴量格納手段と、符号化するピクチャの特徴量を、該特徴量格納手段に格納されている該分散値を基に算出する特徴量予測手段とを備えたことを特徴とするものである。
【００３７】
また、本発明による画像符号化装置は、前記特徴量演算手段で特徴量が算出されるピクチャは、画面内予測符号化されるＩピクチャであり、前記特徴量予測手段で前記特徴量が算出されるピクチャは、画面間予測符号化されるＰピクチャとＢピクチャであって、Ｐピクチャの分散値が、前記特徴量格納手段に格納されている既に符号化された該Ｉピクチャまたは該Ｐピクチャの分散値を基に、前記特徴量予測手段で算出され、算出された該分散値が前記特徴量格納手段に格納され、該Ｂピクチャの分散値が、前記特徴量格納手段に格納されている既に符号化された該Ｉピクチャや該Ｐピクチャの特徴量を基に、前記特徴量予測手段で算出され、前記特徴量格納手段への格納が禁止されることを特徴とするものである。
【００３８】
また、本発明による画像符号化装置は、前記特徴量演算手段は、前記Ｉピクチャをブロック分割し、該ブロック毎に、該ブロックの各画素の画素値に基づいて、前記分散値を生成することを特徴とするものである。
【００３９】
また、本発明による画像符号化装置は、前記Ｉピクチャをブロック分割し、該ブロック毎に該Ｉピクチャ内の参照画像との差分値を画素とする手段を有し、前記特徴量演算手段は、該ブロック毎に、該差分値の画素値に基づいて、前記分散値を生成することを特徴とするものである。
【００４０】
また、本発明による画像符号化装置は、前記特徴量予測手段は、前記Ｐ，Ｂピクチャをブロック分割し、該ブロック毎に、該ブロックに対する参照ブロックとなる前記特徴量格納手段のＩまたはＰピクチャのブロック、もしくはその周辺ブロックの分散値に基づいて、分散値を生成することを特徴とするものである。
【００４１】
また、本発明による画像符号化装置は、前記特徴量演算手段で算出される前記特徴量は、前記Ｉピクチャが符号化されるときの量子化ステップサイズであり、前記特徴量予測手段で算出される前記特徴量は、前記Ｐ，Ｂピクチャが符号化されるときの量子化ステップサイズであることを特徴とするものである。
【００４２】
また、本発明による画像符号化装置は、前記特徴予測手段は、前記Ｐピクチャの符号化するブロック毎に、該ブロックの周辺の既に符号化されたプロックの動きベクトルを基に動きベクトルを予測し、該動きベクトルを基に前記ＩまたはＰピクチャの前記参照ブロックを予測し、予測された前記参照ブロックもしくはその周辺ブロックの分散値を前記特徴量格納手段から取得して該符号化するブロックの分散値を求めることを特徴とするものである。
【００４３】
また、本発明による画像符号化装置は、前記特徴予測手段は、前記Ｂピクチャの符号化するブロック毎に、前記Ｂブロックに表示順で前方のＩまたはＰピクチャに対する前方予測動きベクトルと前記Ｂブロックに表示順で後方のＰピクチャに対する後方予測動きベクトルとを予測し、該前方予測動きベクトルに基づいて該前方のＩまたはＰピクチャでの前方の前記参照ブロックを予測し、該後方予測動きベクトルに基づいて該後方のＰピクチャでの後方の前記参照ブロックを予測し、該前方の前記参照ブロックまたはその周辺ブロックの分散値と該後方の前記参照ブロックまたはその周辺ブロックの分散値とを前記特徴量格納手段から取得して該符号化するブロックの分散値を求めることを特徴とするものである。
【００４４】
また、本発明による画像符号化装置は、特徴量予測手段で特徴量を予測するか否かを判定する特徴量予測処理判定手段を設け、該特徴量予測処理判定手段により、特徴量予測手段で特徴量を予測しないと判定されたときには、前記特徴量演算手段で特徴量を算出し、その算出に際しての前記分散値を前記特徴量格納手段に格納することを特徴とするものである。
【００４５】
また、本発明による画像符号化装置は、動画像のシーンチェンジを検出するシーンチェンジ検出手段を設け、シーンチェンジしたピクチャに対して、前記特徴量予測処理判定手段に特徴量予測手段で特徴量を予測しないと判定させることを特徴とするものである。
【００４６】
また、本発明による画像符号化装置は、前記分散値から求めた量子化ステップサイズの情報を、前記分散値に代えて、前記特徴量格納手段に格納することを特徴とするものである。
【００４７】
また、本発明による画像符号化装置は、前記特徴量格納手段に符号化の対象となるピクチャに前処理を施した後の画素値を格納することを特徴とするものである。
【００４８】
また、本発明による画像符号化装置は、前記前処理は、画像のエッジ部を強調する処理であることを特徴とするものである。
【００４９】
また、本発明は、Ｉ，Ｐ，Ｂピクチャの一連のピクチャからなる動画像情報を符号化する画像符号化方法であって、該Ｉピクチャの符号化の際、該Ｉピクチャの特徴量を算出して格納し、該Ｐ，Ｂピクチャを符号化する際には、その特徴量を格納されている特徴量に基づいて算出し、該Ｐピクチャの算出された該特徴量を格納して保持することを特徴とするものである。
【００５０】
また、本発明による画像符号化方法は、前記格納される特徴量は、前記Ｉ，Ｐ，Ｂピクチャの分割されたブロック毎に算出される分散値であって、該分散値から、前記Ｉ，Ｐ，Ｂピクチャの符号化の際の量子化ステップサイズを決める情報が算出されることを特徴とするものである。
【発明の効果】
【００５１】
本発明によると、ＭＥＰＥＧ規格の方式をはじめとする動画像符号化方式において、量子化制御に用いる画像の特徴量を算出するための処理を大幅に削減することができ、画質を実質的に保持しつつ、符号化処理を高速に行なうことができる。
【発明を実施するための最良の形態】
【００５２】
以下、本発明の実施形態を図面を用いて説明する。
【００５３】
図１は本発明による画像符号化装置及び画像符号化方法の一実施例の構成を示すブロック構成図であって、１５はピクチャ種別判定部、１６は特徴量演算部、１７は特徴量予測部、１８は動きベクトルメモリ、１９は特徴量格納メモリであり、図１２に対応する部分には同一符号をつけて重複する説明を省略する。
【００５４】
同図において、この第１の実施形態は、図１２に示す従来の画像符号化装置の構成に対し、アクティビティ演算部１４に代えて、ピクチャ種別判定部１５，特徴量演算部１６，特徴量予測部１７，動きベクトルメモリ１８及び特徴量格納メモリ１９を設けたものであり、Ｉピクチャでアクティビティをはじめとする特徴量を求めて、Ｐ，Ｂピクチャの特徴量をこのＩピクチャで求めた特徴量を利用して求めるものであり、これら特徴量に応じて量子化制御部１３が量子化部４の量子化ステップサイズを制御するものである。
【００５５】
原画像メモリ１から上記の順序で読み出される符号化対象ピクチャ（ここでは、フレームとする）が減算器２や直交変換部３などによって符号化処理されるときには、ピクチャ種別判定部１５において、その符号化対象ピクチャがＩ，Ｐ，Ｂピクチャのいずれであるか判定され、その判定結果情報ＣＲが特徴量演算部１６と特徴量予測部１７とに供給される。この判定結果情報ＣＲがＩピクチャであることを示す場合には、この特徴量演算部１６が動作を開始し、原画像メモリ１からこのＩピクチャの画像データが供給されてその特徴量などを求めるための演算処理を開始する。また、この判定結果情報ＣＲがＰまたはＢピクチャであることを示す場合には、特徴量予測部１７が動作を開始し、ＩまたはＰピクチャの特徴量を用いてこれらＰまたはＢピクチャの特徴量などを求めるための演算処理を開始する。
【００５６】
なお、以下では、特徴量演算部１６や特徴量予測部１７で演算処理される符号化対象のＩ，Ｐ，Ｂピクチャを、夫々演算処理対象Ｉ，Ｐ，Ｂピクチャという。また、演算処理対象ＰまたはＢピクチャであって、特徴量予測部１７が演算処理を行なう場合には、上記のように、この特徴量予測部１７に演算処理対象ＰまたはＢピクチャが供給されるのではなく、特徴量演算部１６で求められたＩピクチャの特徴量を利用するものである。
【００５７】
特徴量演算部１６では、ピクチャ種別判定部１５でＩピクチャと判定されて、原画像メモリ１から演算処理対象Ｉピクチャが供給されると、そのアクティビティＡctをはじめとする特徴量がマクロブロック（ＭＢ）毎に算出され、アクティビティＡctの算出に用いたブロック毎の分散値Ｖarが特徴量格納メモリ１９に格納される。そして、この演算処理対象Ｉピクチャと同じピクチャが原画像メモリ１から読み出され、符号化対象Ｉピクチャとして先に説明したようにして符号化処理されるとき、特徴量演算部１６が算出したアクティビティＡctから量子化ステップサイズＱＳを求め、これを量子化制御部１３に送る。これにより、この符号化対象Ｉピクチャに対して、そのマクロブロック毎に量子化部４での量子化ステップサイズ、従って、量子化レベルの間隔が設定される。
【００５８】
ピクチャ種別判定部１５が原画像メモリ１から読み出されるて符号化されるピクチャをＰピクチャと判定すると、特徴量演算部１６は動作を開始し、このＰピクチャを演算処理対象Ｐピクチャとして、まず、ブロック（演算処理対象ブロック）毎に分散値Ｖarを算出する。この演算処理対象ブロックの分散値Ｖarは、特徴量格納メモリ１９に格納されている分散値を用いて算出されるものであって、このために、特徴量格納メモリ１９から必要な分散値が特徴量予測部１７に読み取られる。この分散値の読み取りに動き検出・動き補償部１１で検出される動きベクトルＭＶが用いられる。即ち、特徴量予測部１７では、演算処理対象Ｐピクチャの演算処理対象となるブロックが決まると、この演算処理対象ブロックに対して参照画像となるブロック（参照ブロック：これに対する分散値が特徴量格納メモリ１９に保存されている）をこの動きベクトルＭＶを用いて探索し、この参照ブロック、もしくはその周囲のブロックの分散値を特徴量格納メモリ１９から取り込み、これに基づいて演算処理対象ブロックの分散値とするものである。
【００５９】
特徴量予測部１７は、さらに、演算処理対象Ｐピクチャのこのようにして得られたブロック毎の分散値Varからアクティビティをはじめとする特徴量をマクロブロック毎に予測し、その分散値Ｖarを特徴量格納メモリ１９に格納する。そして、この符号化対象Ｐピクチャが先に説明したようにして符号化処理されるとき、特徴量予測部１７がこの演算処理対象Ｐピクチャから算出したアクティビティＡctから量子化ステップサイズＱＳを求め、これを量子化制御部１３に送る。これにより、この符号化対象Ｐピクチャに対して、そのマクロブロック毎に量子化部４での量子化ステップサイズ、従って、量子化レベルの間隔が設定される。動き検出・動き補償部１１から取り込まれた動きベクトルＭＶは、この演算処理対象Ｐピクチャに対するかかる処理が終わるまで、動きベクトルメモリ１８に保持されている。
【００６０】
なお、Ｐピクチャが既に符号化された先行のＰピクチャを参照画像として符号化される場合には、かかる先行のＰピクチャのブロック毎の分散値Ｖarも特徴量格納メモリ１９に格納されており、この符号化対象となるＰピクチャに対する演算処理対象Ｐピクチャのブロック毎の分散値を求めるときには、上記と同様、このブロックに対する先行Ｐピクチャでの参照ブロックを動きベクトルＭＶを用いて求め、この参照ブロックの分散値を特徴量格納メモリ１９から読み取る。
【００６１】
原画像メモリ１からＢピクチャが読み出されて符号化されるときには、この符号化対象Ｂピクチャの参照画像としては、このＢピクチャに前後する既に符号化されたＩピクチャとその次に符号化されたＰピクチャもしくはこのＢピクチャに前後する２つの既に符号化されたＰピクチャが用いられる。従って、原画像メモリ１のＢピクチャが符号化されるときには、特徴量格納メモリ１９にその参照画像となるＩピクチャやＰピクチャの特徴量（分散値Ｖar）が既に格納されている状態にある。
【００６２】
そこで、特徴量予測部１７は、ピクチャ種別判定部１５が原画像メモリ１から読み出されて符号化されるピクチャをＢピクチャと判定すると、動作を開始し、その演算処理対象となるＢピクチャのブロック（演算処理対象ブロック）毎に、動き検出・動き補償部１１で検出された動きベクトルＭＶを用いて参照画像となる演算処理済みのＩピクチャやＰピクチャのブロック（参照ブロック）を探索し、この参照ブロックまたはその周辺ブロックの分散値Ｖarを特徴量格納メモリ１９から取り込む。そして、この取り込んだ分散値Ｖarに基づいて、この演算処理対象ブロックの分散値Ｖarを求める。さらに、特徴量予測部１７は、このようにして得られた分散値Ｖarに基づいて、この演算処理対象ＢピクチャのアクティビティＡctをはじめとする特徴量をマクロブロック毎に予測し、この予測したアクティビティＡctから量子化ステップサイズＱＳを求め、これを量子化制御部１３に送る。これにより、符号化対象Ｂピクチャに対して、そのマクロブロック毎に量子化部４での量子化ステップサイズ、従って、量子化レベルの間隔が設定される。動き検出・動き補償部１１から取り込まれた動きベクトルＭＶは、この演算処理対象Ｂピクチャに対するかかる処理が終わるまで、動きベクトルメモリ１８に保持されている。
【００６３】
このようにして、Ｉ，Ｐ，Ｂピクチャの特徴量が算出され、かかる特徴量を用いて夫々の量子化ステップサイズＱＳが求められるものである。この際、ＰピクチャやＢピクチャの参照画像としてのＩ，Ｐピクチャの特徴量は、使用されなくなるまで、特徴量格納メモリ１９に保存されている。
【００６４】
図２は以上のピクチャ種別判定部１５，特徴量演算部１６，特徴量予測部１７及び特徴量格納メモリ１９による処理の流れを示すフローチャートであって、これを用いて上記の処理動作を具体的に説明する。
【００６５】
原画像メモリ１から読み出されて符号化されるピクチャが、ピクチャ種別判定部１５により、Ｉピクチャと判定されると（図２のステップ１０１の“ＹＥＳ”）、特徴量演算部１６が動作を開始し、このピクチャが演算処理対象Ｉピクチャとして供給されて、その特徴量がマクロブロック毎に算出される（図２のステップ１０２）。
【００６６】
ここで、この特徴量をアクティビティＡctを例にして説明する。
【００６７】
アクティビティＡctの算出には、ここでは、先の分散値Ｖarを算出する数式１及びアクティビティＡctを算出する数式２を用いることとするが、アクティビティＡctの算出に８×８画素のブロック毎に数式１で求める分散値Ｖarを用いる代わりに、８×８画素のブロック内の画素値からその平均値を求め、この平均値とこのブロック内での各画素値との差分の絶対値の総和など、かかるブロックに関する他の計算式で求めた値を用いてもよい。また、ブロックサイズとしては、８×８画素単位ではなく、１６×１６画素単位や４×４画素単位などの複数画素から構成されていれば、どのサイズとしても適用することができる。
【００６８】
次に、図２のステップ１０２でアクティビティＡctを算出する際に求めた各ブロックの分散値Ｖarが、特徴量格納メモリ１９に記憶される（図２のステップ１０３）。特徴量格納メモリ１９への記憶方法としては、例えば、Ｉ，Ｐピクチャ毎にそのマクロブロックの格納アドレスを決めるＭＢアドレスが設定されており、特徴量演算部１６で順次算出された演算処理対象Ｉピクチャのマクロブロックでの各ブロックの分散値Ｖarが、特徴量格納メモリ１９の該当するＭＢアドレスに格納される。
【００６９】
演算処理対象Ｉピクチャに該当する符号化対象Ｉピクチャが原画像メモリ１から読み出されて符号化されるとき、特徴量演算部１６は算出したアクティビティactから上記の数３及び数４に基づいて量子化ステップサイズＱＳを算出する。そして、この量子化ステップサイズＱＳが量子化制御部１３に供給され、これによって量子化部４で量子化ステップサイズが制御されてＩピクチャの符号化処理が行なわれる（図２のステップ１０６）。
【００７０】
以上の処理が、演算処理対象Ｉピクチャ内の全てのマクロブロックに対して終了するまで繰り返えされる（図２のステップ１０７）。
【００７１】
原画像メモリ１から読み出されて符号化されるピクチャが、ピクチャ種別判定部１５により、Ｐピクチャと判定された場合には（図２のステップ１０１の“ＮＯ”）、特徴量予測部１７が動作を開始し、特徴量格納メモリ１９に記憶されているＩピクチャの分散値Ｖarを利用してアクティビティＡctを予測する（図２のステップ１０４）。
【００７２】
図３は演算処理対象ＰピクチャでのアクティビティＡctの予測処理の一部の一具体例を示す図である。
【００７３】
同図において、演算処理対象Ｐピクチャに対応する符号化対象Ｐピクチャでの符号化対象ブロックをＸ、その左側の隣接ブロックをＡ、上側の隣接ブロックをＢ、この隣接ブロックの右側の隣接ブロックをＣとする。これら隣接ブロックＡ，Ｂ，Ｃは、既に符号化された符号化済みブロックであり、夫々参照画面としてのＩまたはＰピクチャに対する動きベクトルＭＶＡ，ＭＶＢ，ＭＶＣも既に求められている。
【００７４】
特徴予測部１７において、演算処理対象Ｐピクチャの演算処理の対象となるブロックをブロックＸとすると、この演算処理の対象となるブロックＸは、まだ符号化されたものでないので、動きベクトルＭＶが得られていないが、既に符号化されている隣接ブロックＡ，Ｂ，Ｃでは、動きベクトルＭＶＡ，ＭＶＢ，ＭＶＣが得られて動きベクトルメモリ１８に格納されている。そこで、特徴予測部１７は、これら隣接ブロックＡ，Ｂ，Ｃの動きベクトルＭＶＡ，ＭＶＢ，ＭＶＣを動きベクトルメモリ１８から取得し、そのうちの絶対値が中間の値の動きベクトルをこの演算処理対象ブロックＸの動きベクトル（以下、これを予測動きベクトルという）ＰＭＶとする。そして、特徴量予測部１７は、この予測動きベクトルＰＭＶを基に、符号化の際の参照画像となるＩピクチャもしくはＰピクチャのブロック（参照ブロック）を特定し、その分散値Ｖarまたはその周辺ブロックの分散値Ｖarを特徴量格納メモリ１９から取り込み、これに基づいて演算処理対象ブロックＸの分散値Ｖarを求める。このために、動き検出・動き補償部１１で検出されたこの演算処理対象Ｐピクチャの各ブロックに対する動きベクトルＭＶが動きベクトルメモリ１８に記憶されて保持される。
【００７５】
なお、予測動きベクトルＰＭＶとしては、隣接ブロックＡ，Ｂ，Ｃの動きベクトルＭＶＡ，ＭＶＢ，ＭＶＣのうちの最小値の動きベクトルやベクトル平均値のベクトルを用いてもよい。
【００７６】
また、符号化対象Ｐピクチャの画面での上辺部のブロックなど、周辺ブロックＡ，Ｂ，Ｃに相当する隣接ブロックが存在しないブロックもある。このようなブロックに対しては、かかるブロックが符号化対象ブロックとなるときに動き検出・動き補償部１１で検出される動きベクトルＭＶが特徴予測部１７に供給されたとき（これも、当然動きベクトルメモリ１８に保存される）、直接この符号化対象ブロックに対する演算処理対象ブロックの予測動きベクトルとし、これを用いて該当する参照ブロックを特定して特徴量格納メモリ１９から、上記のように、その分散値Ｖarを読み取ってこの演算処理対象ブロックの分散値Ｖarとする。
【００７７】
このようにして、演算処理対象Ｐピクチャについては、その一部のブロックについては、動き検出・動き補償部１１で動きベクトルＭＶが検出されるのを待ち、この検出された動きベクトルＭＶを演算処理対象ブロックの予測動きベクトルとするが、ほとんどのブロックについては、演算処理対象Ｐピクチャの既に演算処理された隣接ブロックの動きベクトルをもとに予測動きベクトルＭＶを取得するものであるから、予測動きベクトルを取得するための演算処理量が大幅に低減されることになり、迅速な処理を行なうことができる。
【００７８】
図４はかかる演算処理対象Ｐピクチャでの演算処理対象ブロックＸの分散値Ｖarを求める方法の一具体例を示す図であって、２０は演算処理対象Ｐピクチャの演算処理対象マクロブロック、２１はこの演算処理対象Ｐブロックに対する参照画像としての演算処理済みのＩまたはＰピクチャの一部である。
【００７９】
同図において、１６×１６画素からなる演算処理対象マクロブロック２０は、８×８画素からなる４個のブロックＡ，Ｂ，Ｃ，Ｄからなるものである。また、演算処理済みのＩまたはＰピクチャ２１も、８×８画素からなるブロックに区分して示している。ここでは、ピクチャ２１をＩピクチャとして説明するが、Ｐピクチャであっても同様である。
【００８０】
いま、演算処理対象マクロブロック２０での左上の演算処理対象ブロックＡについて説明する。この演算処理対象ブロックＡから上記のようにして求めた予測動きベクトルＰＭＶで決まるＩピクチャ２１上での８×８画素のエリアをエリアＸ’として、このエリアＸ’に最も近いＩピクチャ２１上でのブロックをブロックＡ’とすると、このブロックＡ’が演算処理対象ブロックＡの参照ブロックとなる。そして、この参照ブロックＡ’の分散値Ｖarをこの演算処理対象ブロックＡの分散値Ｖarとする。なお、これに限らず、このブロックＡ’の周囲のブロックＥ，Ｆ，……，Ｌのいずれか複数のブロックの分散値Ｖarを重み付けして平均化したものを演算処理対象ブロックＡの分散値Ｖarとしてもよい。
【００８１】
同様にして、演算処理対象マクロブロック２０の他のブロックＢ，Ｃ，Ｄについても分散値Ｖarを求め、これら分散値Ｖarから、上記の数式２により、演算処理対象マクロブロック２０のアクティビティＡctを算出する。このとき、演算処理対象ピクチャがＰピクチャであるので（図２のステップ１０５）、これらブロックＡ，Ｂ，Ｃ，Ｄの分散値Ｖarを、演算処理対象Ｉピクチャの場合と同様に、特徴量格納メモリ１９に記憶する（図２のステップ１０６）。
【００８２】
以上の処理を、演算処理対象Ｐピクチャ内の全てのマクロブロックが終了するまで繰り返す（図２のステップ１０７）。
【００８３】
図２において、原画像メモリ１から読み出されて符号化されるピクチャが、ピクチャ種別判定部１５により、Ｂピクチャと判定された場合には（図２のステップ１０１の“ＮＯ”）、特徴量格納メモリ１９に記憶されているＩ，Ｐピクチャの分散値を利用してアクティビティＡctを予測する（図２のステップ１０４）。
【００８４】
図５はＢピクチャでのアクティビティＡctの予測のための演算処理での予測動きベクトルを求める処理の一具体例を示す図である。
【００８５】
同図において、いま、図示するようにＰ１，Ｂ１，Ｂ２，Ｐ２のピクチャの表示順の配列で、Ｂ２ピクチャを演算処理対象ピクチャとする。この場合には、Ｐ１，Ｐ２ピクチャは演算処理対象ピクチャの参照ピクチャとしてのＰピクチャであって、既に演算処理されてそのブロックの分散値Ｖarが特徴量格納メモリ１９に格納されている（勿論、符号化対象としてのＰ１，Ｐ２ピクチャは符号化済みであり、これらが演算処理対象ピクチャＢ２の参照ピクチャとなる）。また、Ｐ１ピクチャのブロックからＰ２ピクチャの参照プロックへの動きベクトルＭＶＣ０１も、既に動き検出・動き補償部１１で求められて、動きベクトルメモリ１８に取り込まれている。Ｂ１，Ｂ２ピクチャはＢピクチャである。なお、Ｐ１ピクチャはＩピクチャであっても、以下の演算処理は同様である。
【００８６】
ここで、演算処理対象ピクチャＢ２での演算処理対象ブロックをブロックＸとすると、まず、参照ピクチャＰ１からの動きベクトルＰＭＶＬ０の演算処理対象ピクチャＢ２での位置が演算処理対象ブロックＸとなるこの動きベクトルＰＭＶＬ０と、この演算処理対象ブロックＸから参照ピクチャＰ２への動きベクトルＰＭＶＬ１を予測して求めるのであるが、その方法として、これらを参照ピクチャＰ１から参照ピクチャＰ２への動きベクトルＭＶＣｏｌを用いて近似する方法を用いる。
【００８７】
この方法としては、まず、演算処理対象ブロックＢ２に時間的に最も近い参照ピクチャを決める。この場合には、参照ピクチャＰ２である。次に、この参照ピクチャＰ２上での、演算処理対象ピクチャＢ２での演算処理対象ブロックＸの空間位置関係と同じ位置関係となるブロックを求める。このブロックをブロックＢとする。次に、参照ピクチャＰ１からの動きベクトルＭＶＣ０１による参照ピクチャＰ２での位置に最も近いブロックが上記のブロックＢとなるこの動きベクトルＭＶＣ０ｌを求める。かかる動きベクトルＭＶＣｏｌは、動きベクトルメモリ１８（図１）から求めることができる。
【００８８】
かかる動きベクトルＭＶＣｏｌが求まると、次に、ピクチャＰ１，Ｂ２の時間間隔Ｔ１と参照ピクチャＰ１，Ｐ２の時間間隔Ｔ２とに応じて時間内分する次の数式５、即ち、
【数５】
2007228519.tif 000007
【００８９】
により、演算処理対象ブロックＸの予測動きベクトルＰＭＶＬ０，ＰＭＶＬ１を求める。ここで、予測動きベクトルＰＭＶＬ０は、主に、前方向予測で算出される動きベクトルであり、予測動きベクトルＰＭＶＬ１は、後方向予測で算出される動きベクトルである。
【００９０】
また、演算処理対象ピクチャＢの演算処理対象ブロックの予測動きベクトルを求める他の方法として、図６に示すように、演算処理対象ピクチャＢでの演算処理対象ブロックＸの周辺の演算処理済みブロックＡ，Ｂ，Ｃの動きベクトルＭＶＡ，ＭＶＢ，ＭＶＣを利用して、この演算処理対象ブロックＸの予測動きベクトルＰＭＶＬ０，ＰＭＶＬ１を求めることもできる。この方法は、演算処理対象ピクチャＢ２から表示時間順に最も近くにある演算処理済みのピクチャを参照ピクチャとし、演算処理済みのブロックＡ，Ｂ，Ｃの動きベクトルの中間値を演算処理対象ブロックＸの予測動きベクトルとするものである。
【００９１】
このようにして、演算処理対象ブロックＸの参照ピクチャＰ１，Ｐ２に対する予測動きベクトルＰＭＶＬ０，ＰＭＶＬ０が求まると、特徴量予測部１７（図１）は、図４で説明した方法と同様、参照ピクチャＰ１での演算処理対象ブロックＸからこの予測動きベクトルＰＭＶＬ０の位置に最も近いブロックを参照ブロックとし、この参照ブロックの分散値Ｖar(Ｐ１）を特徴量格納メモリ１９から読み取る。同様にして、参照ピクチャＰ２での演算処理対象ブロックＸからこの予測動きベクトルＰＭＶＬ１の位置に最も近いブロックを参照ブロックとし、この参照ブロックの分散値Ｖar(Ｐ２）を特徴量格納メモリ１９から読み取る。勿論、図４で説明したように、周辺のブロックの分散値Ｖarを用いて夫々の分散値Ｖar(Ｐ１），Ｖar(Ｐ２）を求めるようにしてもよい。そして、これら分散値Ｖar(Ｐ１），Ｖar(Ｐ２）を基に演算処理対象ブロックＸの分散値Ｖarを求めるのであるが、その方法としては、例えば、これら分散値Ｖar(Ｐ１），Ｖar(Ｐ２）を演算処理対象ピクチャＢ２から参照画像としてのピクチャＰ１，Ｐ２までの時間間隔Ｔ１，（Ｔ２−Ｔ１）に応じた重み付けによって平均化する方法がある。
【００９２】
以下同様にして、同じマクロブロック内での全ての演算処理対象ブロックについて分散値Ｖarを求め、先の数２を用いてこの演算処理対象マクロブロックでのアクティビティＡctを求め、先の数３を基に、演算処理対象マクロブロックでの量子化ステップサイズの重み付け係数Ｎactを算出し、先の数４を基に、量子化ステップサイズＱＳを求める。ここで、予測動きベクトルＰＭＶＬ０を基に得られたアクティビティＡctをＡct_PMVL0、予測動きベクトルＰＭＶＬ０を基に得られたアクティビティＡctをＡct_PMVL1とすると、先の数式３で量子化ステップサイズの重み付け係数Ｎactを算出する際に、Ａct_PMVL0，Ａct_PMVL1、Ａct_PMVL0とＡct_PMVL1の平均化値やＡct_PMVL0とＡct_PMVL1の重み付けして加算した値を用いることができる。
【００９３】
以上が演算処理対象Ｂピクチャに対する図２でのステップ１０４の処理であり、この演算処理対象Ｂピクチャは参照ピクチャとはならないので（図２のステップ１０５で“ＮＯ”）、上記の求めた分散値Ｖarを特徴量格納メモリ１９に格納することなく、求めた量子化ステップサイズＱＳが量子化制御部１３（図１）に送られて量子化部４での量子化ステップサイズの制御が行なわれる。
【００９４】
以上のように、この第１の実施形態では、Ｐ，Ｂピクチャについて、その参照ピクチャの分散値Ｖarを用いて分散値Ｖarが予測され、これを基に量子化部４の量子化ステップサイズが決められるので、量子化制御に用いる画像の特徴量を算出するための処理量を大幅に削減することができ、画質に実質的に影響を与えることなく、符号化処理の高速化を図ることができる。
【００９５】
図７は本発明による画像符号化装置及び画像符号化方法の第２の実施形態を示すブロック構成図であって、２２は差分情報格納メモリであり、図１に対応する部分には同一符号をつけて重複する説明を省略する。
【００９６】
同図において、この第２の実施形態は、予測符号化方式を、例えば、先の非特許文献２に記載のH.264/AVC規格による符号化方式とし、Ｉピクチャの予測符号化に際して求められる差分情報を利用して特徴量を求めるようにすることにより、Ｉピクチャについても、特徴量を算出するための演算処理量も削減することができるようにしたものである。このために、図１に示す第１の実施形態の構成に差分情報格納メモリ２２を付加し、求められた差分情報を保存してＩピクチャの特徴量を求める演算に利用できるようにする。
【００９７】
以下、Ｉピクチャの特徴量の算出のための特徴量演算部１６の動作について説明する。
【００９８】
H.264/AVC規格では、Ｉピクチャの符号化のために、イントラ（フレーム内）予測ブロックと呼ばれる符号化対象ブロックの隣接ブロックの画素値を用いて参照画像を予測生成する処理が行なわれる。H.264/AVC規格では、その予測（イントラ予測）モードとしては、複数種類規定されており、そのいずれかを任意に選択することができる。
【００９９】
図８はH.264/AVC規格で規定されるイントラ予測モードを示す図である。
【０１００】
H.264/AVC規格でのイントラ予測モードは、符号化対象ブロックの周辺ブロックの特定の画素をこの符号化対象ブロックの予測画素とし、この予測画素から決められた方向（これを予測方向という）に配列される符号化対象ブロックでの画素の画素値とその予測画素との差分値を求めることにより、符号化対象ブロックの予測を行なうものである。この予測方向は複数規定されており、そのうちの１つを任意に選択して使用することができる。
【０１０１】
図８（ａ）は符号化対象ブロックＸを１６×１６画素からなるマクロブロックとするときの予測モード、即ち、イントラ１６×１６予測モードを示すものである。かかるイントラ１６×１６予測モードでは、符号化対象ブロックＸとしてのマクロブロックの上側の隣接ブロックとしてのマクロブロック（以下、上側ＭＢという）の最も下側の画素列２３ａの各画素と左側の隣接ブロックとしてのマクロブロック（以下、左側ＭＢという）の最も右側の画素列２３ｂの各画素とのいずれか一方、もしくは両方が予測画素となる。また、矢印２４ａは予測方向の１つの例を、矢印２４ｂは予測方向のもう１つの例を夫々示している。
【０１０２】
いま、予測方向が、矢印２４ａに示すように、下方向に選択された場合には、上側ＭＢの画素列２３ａの１６画素が符号化対象ブロックＸの予測画素となる。そして、これら予測画素毎に、その予測画素から下方向に配列される符号化対象ブロックＸでの画素（即ち、符号化対象画素）全てについて、その画素値とその予測画素の画素値との差分値が算出される。従って、符号化対象ブロックＸは、かかる差分値の画素からなるものとなる。かかる予測画素はフレーム内予測メモリ１２で作成され、符号化対象ブロックＸでの符号化対象画素と該当する予測画素との差分処理は、減算器２で行なわれる。
【０１０３】
また、予測方向が、矢印２４ｂに示すように、右方向に選択された場合には、左側ＭＢの画素列２３ｂの１６画素が符号化対象ブロックＸの予測画素となる。そして、これら予測画素毎に、その予測画素から右方向に配列される符号化対象ブロックＸでの符号化対象画素全てについて、その画素値とその予測画素の画素値との差分値が算出される。従って、この場合の符号化対象ブロックＸも、かかる差分値の画素からなるものとなる。
【０１０４】
H.264/AVC規格でのイントラ４×４予測モードまたはイントラ８×８予測モードでは、図８（ｄ）に示すように、予測方向が９通り決められている。即ち、下向き垂直方向の予測方向０(Vertical）、右向きの水平方向の予測方向１(Horizontal）、隣接ブロックの上記特定の画素の画素値の平均値を予測画素の画素値とする予測方向２(DC）、角度π／４左下向きの予測方向３(Diagonal Down Left）、角度π／４右下向きの予測方向４(Diagonal Down Right）、角度３π／８右下向きの予測方向５(Vertical Right）、角度π／８右下向きの予測方向６(Horizontal Down）、角度３π／８左下向きの予測方向７(Vertical Left）及び角度π／８右上向きの予測方向８(Horizontal Up）の９通りである。
【０１０５】
イントラ１６×１６予測モードでは、そのうちの予測方向０(Vertical），１(Horizontal），２(DC），３(Diagonal Down Left）の４通りの予測方向が規定され、そのうちの１つを任意に選択することができる。従って、イントラ１６×１６予測方式では、４種類のイントラ予測モードがある。なお、予測方向０(DC）は、符号化対象ブロックＸの前画素の画素値の平均値を予測画素の画素値とするものであり、符号化対象ブロックＸの全画素がこの予測画素との間で差分値がとられる。
【０１０６】
図８（ｂ）は符号化対象ブロックＸを４×４画素からなるブロックとするときの予測モード、即ち、イントラ４×４予測モードを示すものである。従って、１マクロブロックが４つの符号化対象ブロックからなる。かかるイントラ４×４予測モードでは、符号化対象ブロックＸの上側ブロックの最も下側の画素列の各画素，左側ブロックの最も右側の画素列の各画素，左上側ブロックの右下隅の画素及び右上側ブロックの最も下側の画素列の各画素のいずれかが予測画素となり、予測方向に応じて予測画素が決められる。適用される予測方向は、図８（ｄ）に示す予測方向０〜８の９通りの全てであり、そのうちの１つを任意に選択して用いることができる。従って、イントラ４×４予測モードでは、９種類のイントラ予測モードがある。
【０１０７】
図８（ｃ）は符号化対象ブロックＸを８×８画素からなるブロックとするときの予測モード、即ち、イントラ８×８予測モードを示すものである。従って、１マクロブロックが４つの符号化対象ブロックからなる。かかるイントラ８×８予測モードも、イントラ４×４予測モードと同様であり、図８（ｄ）に示す予測方向０〜８の９通りの予測方向のいずれか１つを任意に選択して使用することができる。従って、イントラ８×８予測モードでも、９種類のイントラ予測モードがある。
【０１０８】
なお、予測画素値としては、隣接ブロックの上記の画素の画素値に所定の重み付けをしたものであってもよいし、また、平均化したもの（この場合には、全ての予測画素の画素値は等しくなる）であってもよい。
【０１０９】
図７の特徴量演算部１６では、演算処理対象Ｉピクチャに対し、かかるイントラ予測モードによる処理結果を用いて分散値Ｖar，アクティビティＡctなどを求める。以下、このための処理を図９を用いて説明する。
【０１１０】
原画像メモリ１から減算器２にＩピクチャの最初の符号化対象ブロック（１６×１６画素ブロック，４×４画素ブロックまたは８×８画素ブロック）が供給されると、上記のように、フレーム内予測部１２から値「１２８」の参照画素が減算器２に供給され（図９のステップ２０１）、この最初の符号化対象ブロックの画素毎に、この値「１２８」の参照画素との差分値が求められる。この差分値の画素からなる符号化対象ブロックは、直交変換部３に供給されることにより、フレーム内予測符号化されるが、これとともに、この減算器２からの差分値の画素からなる符号化対象ブロックの情報は、差分情報として、差分情報格納メモリ２２に格納される（図９のステップ２０２：なお、差分情報格納メモリ２２に格納された差分情報のブロックを、以下、演算処理対象ブロックという）。また、図８で説明したように、隣接ブロックの画素を予測画素として用い、この予測画素との差分を求めることができる符号化対象ブロックにおいては、フレーム内予測部１２からかかる予測画素が減算器２に供給され（図２のステップ２０１）、これとの差分値が画素値となる符号化対象ブロック、従って、演算処理対象ブロックが得られることになり、かかる演算処理対象ブロックが差分情報として差分情報格納メモリ２２に格納される（図２のステップ２０２）。
【０１１１】
なお、かかる差分情報の演算処理対象ブロックを求める場合、イントラ（フレーム内）予測モードとしては、図８で説明したいずれのモードを任意に選択して用いることができる。
【０１１２】
以上のようにして、各演算処理対象ブロックの差分情報が差分情報格納ブロック２２（図７）に格納されるが、１つの演算処理対象ブロックの差分情報が差分情報格納メモリ２２に格納する毎に、その差分情報が特徴量演算部１６（図７）に読み取られ、次の数６、即ち、
【数６】
2007228519.tif 000008
【０１１３】
の演算処理により、この演算処理対象ブロックの分散値Ｖar（ｎ）を求める。ここで、Ｐn’(ｘ，ｙ)は差分情報の演算処理対象ブロックの位置（ｘ，ｙ）での差分画素値であり、数６は８×８画素のブロックを例として示している。従って、１６×１６画素のブロック，４×４画素のブロックについても同様である。
【０１１４】
このようにして、順次の演算処理対象ブロックについて分散値Ｖar（ｎ）を求め、求めた分散値Ｖar（ｎ）をもとに、上記の数２〜４により、演算処理対象マクロブロック毎に量子化ステップサイズＱＳを求め、量子化制御部１３（図７）に供給する（図９のステップ２０３）。
【０１１５】
以上の処理を、Ｉピクチャ内の全てのマクロブロックが終了するまで繰り返す（図９のステップ２０４）。
【０１１６】
Ｐ，Ｂピクチャの特徴量の算出については、先の第１の実施形態の場合と同様である。
【０１１７】
以上のようにして、この第２の実施形態では、演算処理たいしようブロックの画素と参照画素との差分画素値を用いて特徴量算出するものであるから、処理する情報量を低減できる。
【０１１８】
なお、Ｉピクチャにおいて、演算処理対象マクロブロックの分散値を１マクロブロックおきに算出し、特徴量格納メモリ１９に格納するようにしてもよい。具体的には、演算処理対象マクロブロックの周囲のブロックの分散値が求まっている場合には、フレーム内予測モードの予測方向によって、周囲のブロックのどの分散値を利用するかを決定する。例えば、フレーム内予測モードが予測方向１(Horizontal)（図８）である場合、図８に示すように、予測方向が左から右方へ予測するモードであるため、演算処理対象マクロブロックの左側の隣接ブロックの分散値を用いてアクティビティを算出する。アクティビティの算出には、例えば、上記の数式１，２を用いて算出する。ここで、アクティビティを算出するマクロブロックの分散値を１マクロブロックおきとしたが、これに限らず、複数のマクロブロック毎に行なうようにしてもよい。また、複数のマクロブロック毎に分散値を算出する方法としては、８×８画素単位や４×４画素単位などの複数画素から構成されていれば、どのサイズにも適用できる。また、ＰピクチャやＢピクチャにも適用してもよい。
【０１１９】
図１０は本発明による画像符号化装置及び画像符号化方法の第３の実施形態を示すブロック構成図であって、２５は特徴量予測処理判定部、２６はユーザ入力部、２７はシーンチェンジ検出部であり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
【０１２０】
この第３の実施形態は、Ｉ，Ｐ，Ｂピクチャにおいて、上記第１，第２の実施形態での特徴量算出方法を行なうか否かを選択できるようにしたものである。一般的に、Ｉ，Ｐ，Ｂピクチャにおける特徴量の予測精度を高めると、視覚的画質が改善するが、それに伴う演算量も膨大なものとなる。一方、特徴量の予測精度を下げれば、それに伴う演算処理量が少なくなるが、視覚的に画質の劣化が目立ち易くなる。
【０１２１】
この第３の実施形態は、かかる点を勘案して、特徴量としてアクティビティを例に挙げると、アクティビティ予測処理（先の第１，第２の実施形態のように、分散値を既に符号化されたブロックの分散値から予測して求める処理）を行なうか否かを決めることができるようにしたものである。このために、第１図での第１の実施形態のアクティビティ予測処理を適用するものとすると、この図１示す構成にシーンチェンジ検出部１１０１、及び特徴量予測処理判定部１１０２、ユーザ入力部１１０３が追加された点である。
【０１２２】
図１０において、シーンチェンジ検出部２７は、表示タイミング順で前後となるピクチャ間での輝度差分値や輝度のヒストグラムを算出し、表示される画面でシーンチェンジ（場面の切り替え）があるか否かを判定するものである。例えば、かかるピクチャ間での差分値や輝度のヒストグラムがある閾値よりも大きい場合には、シーンチェンジが起こったものと判定する。シーンチェンジが起こった場合には、動き探索精度が低下するため、ＰピクチャやＢピクチャのアクティビティ予測処理を行なわないないように、特徴量予測処理判定部２５に指示信号を送る。また、入力画像やフレームレートなどに基づいて、適応的にＩ，Ｐ，Ｂピクチャのアクティビティ予測処理を行なうか否かを決定し、その決定信号を特徴量予測処理判定部２５に送るようにしてもよい。
【０１２３】
図１１はこの第３の実施形態の符号化処理でのＩ，Ｐ，Ｂピクチャの予測選択処理を示すフローチャート図である。以下、この処理について説明する。
【０１２４】
特徴量予測処理判定部２５（図１０）では、Ｉ，Ｐ，Ｂピクチャのアクティビティ予測処理を行なうか否かを決定するフラグ（以下、特徴量予測処理フラグという）が用意されており、特徴量予測処理フラグが“０”であるときには（図１１のステップ３０１の“ＹＥＳ”）、Ｉ，Ｐ，Ｂピクチャのアクティビティ予測処理を行なわずに、図１２で示した従来技術と同様、それ自身からアクティビティを算出する（図１１のステップ３０２）。アクティビティの算出法としては、例えば、上記の数式１，２を用いる。一方、特徴量予測処理フラグが“１”のときには（図１１のステップ３０１で“ＮＯ”）、先の第１，第２の実施形態のいずれかの方法により、アクティビティ予測処理を行なう（図１１のステップ３０３）。
【０１２５】
このようにして、アクティビティ予測処理によって分散値が求まると、次に、演算処理対象ピクチャが他のＰまたはＢピクチャの参照ピクチャとなるか否か判定し（図１１のステップ３０４）、参照ピクチャとなるものである場合には（図１１のステップ３０４で“ＹＥＳ”）、その算出された分散値を特徴量格納メモリ１９に記憶し（図１１のステップ３０５）、また、この分散値から先の数２〜４に基づいて量子化ステップサイズＱＳを算出し、該当する符号化対象ブロックの符号化処理を行なう（図１１のステップ３０６）。演算処理対象Ｂブロックのように、この演算処理対象ピクチャが参照ピクチャとならない場合には、その計算した分散値を特徴量格納メモリ１９に格納せず、上記の数２〜４に基づいて量子化ステップサイズＱＳを算出し、符号化処理を行なう（図１１のステップ３０６）。
【０１２６】
以上の処理を、演算処理対象ピクチャ内の全てのマクロブロックに対して終了するまで繰り返す（図１１のステップ３０７）。
【０１２７】
なお、特徴量予測処理フラグの“１”，“０”の関係は、これに限るものではなく、ＯＮ，ＯＦＦなど２値判別できるものであれば何でもよい。また、逆の関連付けを行なってもよい。
【０１２８】
特徴量予測処理フラグの切り替え単位は、例えば、マクロブロック，スライス，フレーム，シーケンス単位がある。また、ピクチャの予測処理を行なうか否かの判定をユーザが任意に行なうようにしてもよい。この場合には、装置の構成としては、図１０に示すように、ユーザ入力部２６が追加される。ユーザ入力部では、ユーザから入力された演算処理対象ピクチャのアクティビティ予測処理を行なうか否かの命令を受け取り、特徴量予測処理フラグを立てるか（予測処理を行なう）、立てないかの信号を特徴量予測処理判定部２５へ送る。
【０１２９】
この第３の実施形態のかかる構成によると、例えば、ＨＤ（高品位）画像などの大きな画像を符号化処理する場合、Ｉ，Ｐ，Ｂピクチャにおけるアクティビティ予測処理を行なうことにより、その処理時間を短縮することができる。逆に、処理演算量が少ないQCIF(Quarter Common Intermediate Format：1/4共通中間フォーマット）画像などの小さい画像を符号化する場合には、Ｉ，Ｐ，Ｂピクチャの全てまたはいずれかのピクチャに対して、原画像（それ自身の画像）からアクティビティを直接算出して精度の高い処理を行なうことができる。同様に、高性能の符号化処理装置、即ち、短時間で多くのブロックを処理できる符号化装置においても、Ｉ，Ｐ，Ｂピクチャの全てに対して、原画像からアクティビティを直接算出して、精度の高い処理を行なうことができる。
【０１３０】
以上のように、この第３の実施形態では、入力画像のサイズや符号化装置の性能に応じて、予測効率と演算負荷とのトレードオフを制御することで自由度の高い映像の符号化を実現できる。
【０１３１】
なお、図１０に示す第３の実施形態は、図１に示す構成にシーンチェンジ検出部２７，特徴量予測処理判定部２５及びユーザ入力部２６を追加したものとしたが、図１に示す構成にシーンチェンジ検出部２７，特徴量予測処理判定部２５及びユーザ入力部２６を追加したものとしたものとしてもよく、これにより、アクティビティ予測処理を第２の実施形態のように行なうことができる。
【０１３２】
次に、本発明による画像符号化装置及び画像符号化方法の第４の実施形態について説明する。
【０１３３】
この第４の実施形態は、図１または図７に示す構成において、アクティビティ予測処理を例に挙げると、特徴量格納メモリ１９に分散値以外の情報も格納するようにしたものである。
【０１３４】
図１，図７，図１０において、先の数式１で求められた分散値をそのまま特徴量格納メモリ１９に記憶すると、メモリ容量が多くなってしまうといった問題が生じる。そこで、例えば、８×８画素のブロック単位で求めた分散値Ｖarを数式２〜４で演算処理して量子化ステップサイズＱＳに変換し、この量子化ステップサイズＱＳを特徴量格納メモリ１９に記憶することにより、特徴量格納メモリ１９の使用容量を削減する。
【０１３５】
即ち、ＩまたはＰピクチャで算出された量子化ステップサイズＱＳを特徴量格納メモリ１９に格納し、この量子化ステップサイズＱＳを利用してＰまたはＢピクチャの量子化ステップサイズＱＳの値を予測する。このような処理を行なうことにより、特徴量格納メモリ１９に記憶される情報が８×８画素毎の分散値情報から１６×１６画素毎の量子化ステップサイズＱＳのパラメータ情報になるので、特徴量格納メモリ１９の使用容量が大幅に削減されることになる。
【０１３６】
また、画素値を量子化ステップサイズＱＳを変更するパラメータを特徴量格納メモリ１９に記憶してもよい。例えば、符号化対象ピクチャの画像領域がエッジ部である場合、画質劣化が目立たないようにするため、量子化パラメータを小さくするようにして画質の劣化を防ぐ。その際、上記数式４に示す量子化ステップサイズＱＳを小さく変更するが、どの程度小さく変更するのかを決定するパラメータを特徴量格納メモリ１９に記憶する。例えば、シーケンスやピクチャ，フレーム単位で算出される量子化ステップサイズＱＳを基準量子化ステップサイズとし、この規準量子化ステップサイズを１／２倍，１／３倍にするときには、その分母の係数２，３を上記の特徴量格納メモリ１９に記憶するパラメータとする。即ち、量子化ステップサイズＱＳを特徴量格納メモリ１９に格納する場合よりも、その使用容量を大幅に削減することができる。なお、かかるパラメータは、エッジ検出部において、エッジが存在するか否かかの２値判別フラグなどを適用してもよい。
【０１３７】
また、特徴量格納メモリ１９に、演算処理対象画像に前処理フィルタなどによって高周波成分をカットするなどの前処理を施した後の画素値を記憶してもよい。例えば、上記MPEG-2 TM5量子化制御方式を用いた場合、視覚的に劣化の目立ち易いエッジ部では、分散値が大きくなるため、上記数式４に示すように、量子化パラメータＱＰに大きく重み付けされ、荒く量子化されることになる。そのため、エッジ部の劣化が目立ちやすくなる。また、低ビットレートで符号化する際には、必然的に量子化ステップサイズが荒くなり、ブロック歪みが増えて視覚的に違和感が起こるといった問題が生じる。
【０１３８】
そこで、エッジ検出器を用いて、符号化対象の画像領域がエッジ部と判定された際には、中高域通過フィルタを適用することにより、この画像のエッジ部をシャープにする処理を施す。そのフィルタ適用後の画素値を特徴量格納メモリ１９に記憶する。具体的には、エッジ検出の際に、Sobel演算（マトリクス処理によるエッジ検出）などの処理を適用し、その領域がエッジ部であるかの判定を行ない、その領域がエッジ部と判定された場合には、中高域通過フィルタをその領域に適用して画像のエッジ部を強調する。即ち、ＩまたはＰピクチャにおいて、上記のエッジ検出やフィルタ処理を適用し、フィルタ適用後の画素値を特徴量格納メモリ１９に記憶し、その記憶されたフィルタ適用後の画素値情報に基づいて、ＰまたはＢピクチャのフィルタ適用後の画素値を予測することにより、Ｐ，Ｂピクチャにおける上記エッジ検出やフィルタ演算などの膨大な処理量を大幅に削減することができる。なお、上記のフィルタは、中高域通過フィルタのほかにも、低域通過フィルタなど様々なフィルタを適用することができる。
【０１３９】
以上、本発明の実施形態について説明したが、これら実施形態１〜４では、常に画像入力の単位をフレームとして説明してきた。しかし、これに限らず、インタレース画像の入力を想定すして、画像入力をフィールドとする場合においても、上記実施形態を適用することができる。また、特徴量の算出において、８×８画素のブロック単位で処理する例を示したが、１６×１６画素のマクロブロックや４×４画素のブロック、あるいはその他の画素数のブロックを単位として処理を行なうようにしてもよい。また、上記のピクチャ単位の符号化処理の代わりに、スライス単位でもよい。また、Ｉ，Ｐ，Ｂピクチャを利用する全ての符号化方式で適用できる。
【０１４０】
また、本発明は、インターネットや携帯電話などによる動画像情報の伝送、光ディスクや光磁気ディスク，フラッシュメモリなどの記録媒体への動画像情報の記録などに適用できる。
【図面の簡単な説明】
【０１４１】
【図１】本発明による画像符号化装置の第１の実施形態を示すブロック構成図である。
【図２】図１に示す第１の実施形態での量子化ステップサイズの設定のための処理の流れを示すフローチャートである。
【図３】図２におけるＰピクチャの特徴量予測処理に用いる動きベクトル情報の算出方法の一具体例を示す図である。
【図４】図２におけるＳ１０４での演算処理対象ブロックＸの分散値を求める方法の一具体例を示す図である。
【図５】図２のステップ１０４でのＢピクチャの特徴量予測処理に用いる動きベクトルの算出方法の一具体例を示す図である。
【図６】図２のステップ１０４でのＢピクチャの特徴量予測処理に用いる動きベクトルの算出方法の他の具体例を示す図である。
【図７】本発明による画像符号化装置及び画像符号化方法の第２の実施形態を示すブロック構成図である。
【図８】図７に示す第２の実施形態で用いられるＩピクチャのイントラ予測方法を示す図である。
【図９】図７に示す第２の実施形態のフレーム内予測モードでの量子化ステップサイズの設定のための処理の流れを示すフローチャートである。
【図１０】本発明による画像符号化装置及び画像符号化方法の第３の実施形態を示すブロック構成図である。
【図１１】図１０に示す第３の実施形態の符号化処理の流れを示すフローチャートである。
【図１２】従来の画像符号化装置の一例を示すブロック構成図である。
【図１３】マクロブロックにおける符号化対象ブロックの一例を示す図である。
【符号の説明】
【０１４２】
１  原画像メモリ
２  減算器
３  直交変換部
４  量子化部
５  符号化部
６  送信バッファ
７  逆量子化部
８  逆直交変換部
９  加算器
１０  フレームメモリ
１１  動き検出・動き補償部
１２  フレーム内予測部
１３  量子化制御部
２０  演算処理対象マクロブロック
２１  参照画像
２２  差分情報格納メモリ
２３ａ，２３ｂ  隣接ブロック
２４ａ，２４ｂ  予測方向を示す矢印
２５  特徴量予測処理判定部
２６  ユーザ入力部
２７  シーンチェンジ検出部
【図１】
2007228519.tif 000009
【図２】
2007228519.tif 000010
【図３】
2007228519.tif 000011
【図４】
2007228519.tif 000012
【図５】
2007228519.tif 000013
【図６】
2007228519.tif 000014
【図７】
2007228519.tif 000015
【図８】
2007228519.tif 000016
【図９】
2007228519.tif 000017
【図１０】
2007228519.tif 000018
【図１１】
2007228519.tif 000019
【図１２】
2007228519.tif 000020
【図１３】
2007228519.tif 000021