(57)【要約】  【課題】  注目マクロブロック数が増えても全体の割り当て符号量においてオーバーフローを抑制しながら、注目領域の画質を向上させていく。  【解決手段】  入力画像格納部１１が入力した動画像データから注目マクロブロックと非注目マクロブロックとを判別する注目マクロブロック判別部１２と、注目ＭＢ判別部が判別した注目ＭＢでは非注目ＭＢに設定する目標量子化値ＱＰ（ｎ，ｍ）よりも小さい目標量子化値を設定する量子化値演算部１３ａと、入力画像格納部が入力した動画像データをマクロブロック単位で直交変換する直交変換部１５と、直交変換部が直交変換したＭＢ単位のデータを量子化値演算部からの目標量子化値ＱＰ（ｎ，ｍ）に基づいて量子化する量子化部１６とを備えた動画像符号化装置において、前記量子化値演算部１３ａは、注目マクロブロック数ｋが多いほど目標量子化値ＱＰ（ｎ，ｍ）（ｋ）′を小さく設定するように構成されている。【選択図】  図１
2005051659.tif 000002
【特許請求の範囲】
【請求項１】
入力した動画像データから注目ブロックと非注目ブロックとを識別し、前記入力した動画像データをブロック単位で直交変換し、前記直交変換したデータをブロック単位で量子化するに、前記注目ブロックでは前記非注目ブロックよりも小さい目標量子化値に基づいて量子化することで、前記注目ブロックでは符号量を多めに割り当てて符号化する動画像符号化方法であって、
注目ブロック数が多くなるにつれて目標量子化値を１注目ブロック当たりの符号量増分が小さくなるような目標量子化値に補正し、この補正後の目標量子化値に基づいて前記注目ブロックを量子化することを特徴とする動画像符号化方法。
【請求項２】
前記目標量子化値の補正は、全体の割り当て符号量に対する注目ブロック全体の符号量上昇率を注目ブロック数で除算し、過去１フレーム分の発生符号量を、これに前記除算結果の商を１から減じて得た値を乗じて補正し、この補正後の過去１フレーム分の発生符号量に基づいて前記補正後の目標量子化値を求めることを特徴とする請求項１に記載の動画像符号化方法。
【請求項３】
前記過去１フレーム分の発生符号量に乗じる値について、フレーム内予測符号化を行うブロックに対してはフレーム内予測符号化に適した値を用い、フレーム間予測符号化を行うブロックに対してはフレーム間予測符号化に適した値を用いるを特徴とする請求項２に記載の動画像符号化方法。
【請求項４】
外部から動画像データを入力する入力画像格納手段と、前記入力画像格納手段が入力した動画像データから注目ブロックと非注目ブロックとを判別する注目ブロック判別手段と、前記注目ブロック判別手段が判別した前記注目ブロックでは前記非注目ブロックに設定する目標量子化値よりも小さい目標量子化値を設定する量子化値演算手段と、前記入力画像格納手段が入力した動画像データをブロック単位で直交変換する直交変換手段と、前記直交変換手段が直交変換したブロック単位のデータを前記量子化値演算手段からの目標量子化値に基づいて量子化する量子化手段とを備えた動画像符号化装置において、
前記量子化値演算手段は、前記注目ブロック数が多いほど前記目標量子化値を小さく設定するように構成されていることを特徴とする動画像符号化装置。
【請求項５】
前記量子化値演算手段は、平均量子化値と目標発生符号量と過去１フレーム分の発生符号量から目標量子化値を導く演算において、全体の割り当て符号量に対する注目ブロック全体の符号量上昇率を注目ブロック数で除算し、前記除算結果の商を１から減じて得た値を前記過去１フレーム分の発生符号量に乗じて補正し、この補正後の過去１フレーム分の発生符号量に基づいて前記補正後の目標量子化値を求めるように構成されていることを特徴とする請求項４に記載の動画像符号化装置。
【請求項６】
前記量子化値演算手段は、前記過去１フレーム分の発生符号量に乗じる値について、フレーム内予測符号化を行うブロックに対してはフレーム内予測符号化に適した値を用い、フレーム間予測符号化を行うブロックに対してはフレーム間予測符号化に適した値を用いるように構成されていることを特徴とする請求項５に記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力した動画像データをブロック単位で直交変換し、直交変換したデータをブロック単位で量子化し符号化するもので、注目ブロックでは非注目ブロックよりも小さい目標量子化値に基づいて量子化することで、注目ブロックでは符号量を多めに割り当てて符号化する動画像符号化方法および動画像符号化装置に関する。
【背景技術】
【０００２】
従来の動画像符号化装置を図６に基づいて説明する。符号化対象となる入力画像は、複数に分割した二次元の単位ブロックであるマクロブロック（ＭＢ）の単位で符号化処理が行われる。
【０００３】
まず、装置外部より固体撮像装置等から動画像データの輝度／色差信号が入力画像格納部１１に入力される。入力画像格納部１１に１フレーム分の動画像データが入力され始めると、注目マクロブロック判別部１２により、例えば入力画像や過去の入力画像の状態から顔・人物などの注目情報が１フレーム内のどこに存在するかを認識し、量子化対象のマクロブロックが注目領域内であるか否かという判断を行う。また、入力画像格納部１１からマクロブロックの輝度データまたは色差データが出力されるたびに、そのマクロブロックが注目マクロブロックであるか否かを量子化値演算部１３ｃに出力する。量子化値演算部１３ｃは、量子化部１６が量子化対象としている信号に対する目標量子化値ＱＰの決定を行う。
【０００４】
符号化を行う最初の１フレームの画像に対しては、１フレームに含まれるすべてのマクロブロックに対してフレーム内ＭＢ符号化を行うフレーム内フレーム符号化を行う。フレーム内ＭＢ符号化時は、入力画像格納部１１のマクロブロックの輝度データは、直交変換部１５に出力され、直交変換処理を行い、周波数成分に変換される。次に、前記周波数成分に対し、量子化部１６において量子化を行う。
【０００５】
１フレームの目標発生符号量ＣＦｔは、外部より設定される目標ビットレート［ｂｐｓ］とフレームレート［ｆｐｓ］とにより、次式で算出される。
【０００６】
ＣＦｔ＝目標ビットレート／フレームレート  ……………………………（１）
量子化部１６は、量子化値演算部１３ｃにより出力された目標量子化値ＱＰにより量子化を行う。量子化部１６が使用する目標量子化値は、可変長符号化部１７が出力した符号量や１フレームの目標発生符号量ＣＦｔなどから決定される。ただし、動画像の最初のフレームの処理時の目標量子化値は演算結果による値ではなく初期値により量子化を行う。
【０００７】
量子化部１６以降は、２つの処理過程に分岐する。
【０００８】
まず第一の処理過程は、符号を生成し、記録媒体に生成した符号を記録する処理である。可変長符号化部１７において、量子化部１６からの出力に対し、冗長情報を取り除き、さらに情報量を削減し、符号を生成する。上記処理後に、出力された符号は記録媒体等に記録されたり、通信装置を介して端末に送信されたりする。
【０００９】
第二の処理過程は、次のフレーム間差分処理のために必要な参照画像を生成する処理である。
【００１０】
量子化部１６の出力に対し、逆量子化部１８において逆量子化を行うとともに、逆直交変換部１９において逆直交変換を行い、量子化部１６の結果に基づいた復号化処理を行う。逆直交変換部１９の出力画像は、ｎフレーム参照画像格納部２０に格納される。次の入力画像については、差分処理部１４において入力画像と参照画像の差分を取ることで符号量を削減する予測符号化を行う。その際、動き検出部２２において、画像の動きを考慮し、入力画像と参照画像の差が最小となる位置を求める動きベクトル検出を行う。入力画像格納部１１に入力された色差信号のマクロブロックについても、輝度信号について行ったマクロブロック単位の上記同様の処理を行う。
【００１１】
ｎフレーム参照画像格納部２０が１フレーム分の逆量子化信号を格納し終えると、動き検出部２２や直交変換部１５が入力画像格納部１１内の（ｎ＋１）フレームの入力画像信号の先頭を読み出す前に、（ｎ−１）フレーム参照画像格納部２１に対して１フレーム分の信号の書き写しが行われる。
【００１２】
次に、フレーム間予測フレーム符号化の説明を行う。フレーム間予測フレーム符号化においては、各マクロブロックに対し、フレーム間ＭＢ符号化とフレーム内ＭＢ符号化とを自由に選択できる。
【００１３】
まず、動き検出部２２は、（ｎ−１）フレーム参照画像格納部２１から動き検出部２２に必要な範囲の輝度データを読み出し、入力画像格納部１１の輝度信号領域内のマクロブロックとの差分が最小となる位置を探索し、そのずれを動きベクトルとして検出する。
【００１４】
その後、入力画像格納部１１内の入力データの状態や動き検出部２２の出力信号の結果に応じてフレーム内／間ＭＢ符号化決定部２３は、入力画像のフレームの符号化方法（例えばフレーム間ＭＢ符号化かフレーム内ＭＢ符号化等）を決定する。
【００１５】
フレーム内／間ＭＢ符号化決定部２３が、フレーム間ＭＢ符号化と判断した場合は、符号化対象となっている入力画像格納部１１から出力されるマクロブロックと入力画像のマクロブロックより動き検出部２２にて検出した動きベクトル分ずれた（ｎ−１）フレーム参照画像格納部２１内の画像との差分処理を差分処理部１４で行う。
【００１６】
一方、フレーム内／間ＭＢ符号化決定部２３が、フレーム内ＭＢ符号化と判断した場合は、符号化対象となっている入力画像格納部１１から出力されるマクロブロックに対する差分処理は行わない。その出力された画像に対しては、フレーム内ＭＢ符号化と同様に直交変換部１５と量子化部１６において、直交変換処理と量子化処理を行う。
【００１７】
量子化部１６による処理以降に、可変長符号化部１７による処理を行う。
【００１８】
逆量子化部１８および逆直交変換部１９による復号化処理についても、逆量子化部１８まではフレーム内ＭＢ符号化と同様の処理を行う。
【００１９】
逆量子化部１８の出力が、フレーム内／間ＭＢ符号化決定部２３でフレーム間ＭＢ符号化と判断していた場合、そのマクロブロック画像が予測誤差画像であるため、動き検出部２２内にある入力画像マクロブロックとの差分を取った参照画像と加算することで復号を行う。
【００２０】
逆量子化部１８の出力が、フレーム内／間ＭＢ符号化決定部２３でフレーム内ＭＢ符号化と判断していた場合、逆量子化部１８から出力されたマクロブロック画像自体が復号画像となるので加算処理は行わない。
【００２１】
以降は、フレーム内ＭＢ符号化の処理と同様にｎフレーム参照画像格納部２０に対し、現在処理を行っている入力画像内の処理対象のマクロブロック位置に対応するブロック位置に逆直交変換部１９の出力の格納を行う。
【００２２】
ｎフレーム参照画像格納部２０が１フレーム分の逆量子化信号を格納し終えると、動き検出部２２や直交変換部１５が入力画像格納部１１内の（ｎ＋１）フレームの入力画像信号の先頭を読み出す前に、（ｎ−１）フレーム参照画像格納部２１に対して１フレーム分の信号の書き写しが行われる。
【００２３】
入力画像格納部１１に入力された色差信号については、フレーム内／間ＭＢ符号化決定部２３でフレーム間ＭＢ符号化と判断していた場合は、動き検出部２２に、ｎフレーム参照画像格納部２０内の色差信号領域内の入力画像内の対象マクロブロック位置より輝度信号処理時の動きベクトルの検出結果の動きベクトル分ずれた位置から色差信号が入力画像に対する差分対象として格納される。
【００２４】
差分処理以降の処理については、輝度信号の場合と同様に、フレーム内／間ＭＢ符号化決定部２３の出力に応じて処理を行い、符号の生成及び符号の格納、参照画像の生成を行う。
【００２５】
この処理を繰返し行うことにより、入力画像に対し時間的に常に１フレーム前の画像を（ｎ−１）フレーム参照画像格納部２１に用意し、入力画像の符号化を行うことができる。
【００２６】
量子化値演算部１３ｃは、次のようにして、目標量子化値を求める。ここで、過去１フレーム分の発生符号量をＣＦ０、過去１フレーム分の平均量子化値をＱ０、目標発生符号量をＣＦｔ、目標量子化値をＱＰ（ｎ，ｍ）とする。
【００２７】
以下の式の導出は、大雑把に、
１）量子化処理を直交変換画像に対しての除算処理と考える。
【００２８】
２）過去の１フレームのＤＣＴ出力画像の発生符号量と目標とするフレームのＤＣＴ出力画像の発生符号量は等しい。
という概念に基づいている。
【００２９】
式の要素値は、処理対象から過去１フレーム分の符号量という意味である。図７（ａ），（ｂ）に示すように、量子化部１６が現在処理対象としているマクロブロックより１フレーム前のマクロブロックから１つ前のマクロブロックまでの発生符号量の累積値が、過去１フレーム分の発生符号量ＣＦ０である。量子化部１６が現在処理対象としているマクロブロックより１フレーム前のマクロブロックから１つ前のマクロブロックまでの各マクロブロックに用いた目標量子化値の平均値が平均量子化値Ｑ０である。ユーザや外部より設定された１秒間の目標発生符号量である目標ビットレートを１秒間に入力画像格納部１１に格納されるフレーム枚数であるフレームレートで除算することにより算出されたものが１フレームの目標発生符号量ＣＦｔである。これらに基づいて、目標量子化値ＱＰ（ｎ，ｍ）を仮に決定する。
【００３０】
ｎ番目の１フレーム内のｍ番目のマクロブロックの発生符号量をＭＢｎ，ｍとして、過去１フレーム分の発生符号量ＣＦ０は、図７を参照して、
ＣＦ０＝ＭＢｎ−１，ｍ＋ＭＢｎ−１，ｍ＋１＋ＭＢｎ−１，ｍ＋２＋……
＋ＭＢｎ，ｍ−２＋ＭＢｎ，ｍ−１  …………………………（２）
ｎ番目の１フレーム内のｍ番目のマクロブロックに使用した目標量子化値をＱＰｎ，ｍとして、過去１フレーム分の平均量子化値Ｑ０は、
Ｑ０＝（ＱＰｎ−１，ｍ＋ＱＰｎ−１，ｍ＋１＋ＱＰｎ−１，ｍ＋２＋……
＋ＱＰｎ，ｍ−２＋ＱＰｎ，ｍ−１）／１ＶＯＰ内のマクロブロック数
………………（３）
ここで、ＶＯＰ（VideoObject Plane）は１フレームのことである。
【００３１】
過去１フレーム分の発生符号量ＣＦ０、過去１フレーム分の平均量子化値Ｑ０、目標発生符号量ＣＦｔ、目標量子化値ＱＰ（ｎ，ｍ）の関係は、
ＱＰ（ｎ，ｍ）×ＣＦｔ＝Ｑ０×ＣＦ０  …………………………………………（４）
で表わされ、未知数としての目標量子化値ＱＰ（ｎ，ｍ）は、
ＱＰ（ｎ，ｍ）＝Ｑ０×ＣＦ０／ＣＦｔ  …………………………………………（５）
となる。
【００３２】
量子化値演算部１３ｃでは、式（５）の演算に基づいて目標量子化値ＱＰ（ｎ，ｍ）を求める。ただし、これは非注目マクロブロックについてである。注目マクロブロックについては、次のように補正される。
【００３３】
量子化値演算部１３ｃは、量子化部１６の処理対象が注目マクロブロックである場合、注目マクロブロック画質向上差分値Ａを、上記の仮決定した目標量子化値ＱＰ（ｎ，ｍ）より減算する。すなわち、
ＱＰ（ｎ，ｍ）′＝ＱＰ（ｎ，ｍ）−Ａ  …………………………………………（６）
とする。量子化部１６の処理対象が非注目マクロブロックであった場合は、前記の減算処理は行わない。
【００３４】
この方法により、注目マクロブロックについては、時間の経過とともに、非注目マクロブロックに比べて、目標量子化値を減少させながら量子化を進めることにより、注目マクロブロックでは符号量を多めに割り当て、画質の向上を図っていく仕組みとなっている。
(例えば、特許文献１参照。)
【特許文献１】特開平４−２６６２８６号公報
【発明の開示】
【発明が解決しようとする課題】
【００３５】
上記の従来技術では、注目ブロックの画質向上のための対策が、注目ブロック画質向上差分値Ａの減算となっているが、これは、注目マクロブロック数の増減に関係なく、常に一律に減算するため、次の不都合が発生する。すなわち、ある注目ブロックが突出して符号量が増加する場合があるが、そのような注目ブロックが１フレーム内に多発すると、１フレーム内の発生符号量が急増し、それ以降の可変長符号化の処理や逆量子化部、逆直交変換部での処理での所有時間が増え、結果的に１フレームの目標処理時間に処理が間に合わなくなり、その結果、例えばフレーム落ちが発生するといった不都合を招来する場合がある。
【課題を解決するための手段】
【００３６】
本発明は、上記の課題を解決するために次のような手段を講じる。
【００３７】
本発明による動画像符号化方法は、入力した動画像データから注目ブロックと非注目ブロックとを識別し、前記入力した動画像データをブロック単位で直交変換し、前記直交変換したデータをブロック単位で量子化するに、前記注目ブロックでは前記非注目ブロックよりも小さい目標量子化値に基づいて量子化することで、前記注目ブロックでは符号量を多めに割り当てて符号化することを前提に置く。このような動画像符号化方法において、さらに、注目ブロック数が多くなるにつれて目標量子化値を１注目ブロック当たりの符号量増分が小さくなるような目標量子化値に補正し、この補正後の目標量子化値に基づいて前記注目ブロックを量子化することを特徴とする。
【００３８】
この構成による作用は次のとおりである。注目ブロックの量子化に際して、その目標量子化値を小さめに補正することにより、注目ブロックに割り当てる符号量を多めにし、より詳細な画像情報を得る。ここで、補正後の目標量子化値をどのようにするかが問題となる。
【００３９】
従来技術の場合は、注目ブロック数の大小の如何にかかわらず、常に一律に固定値の注目マクロブロック画質向上差分値Ａを減算するという手法を用いていたために、注目ブロック数ｋが増加するにつれて符号量増分が多くなり、全体の割り当て符号量ＣＦｚが大きく増大して、許容限度をオーバーフローするおそれがあった。
【００４０】
これに対して、本発明においては、注目ブロック数ｋの増減に応じて適応的に１注目ブロック当たりの符号量増分ΔＭＢ（ｋ）を調整する。すなわち、注目ブロック数ｋが多いほど１注目ブロック当たりの符号量増分ΔＭＢ（ｋ）が小さくなるような目標量子化値に補正する。
【００４１】
注目ブロック数ｋに応じた補正後の目標量子化値をＱＰ（ｎ，ｍ）（ｋ）′とすると、ＱＰ（ｎ，ｍ）（ｋ）′＜ＱＰ（ｎ，ｍ）の条件で、
ＱＰ（ｎ，ｍ）（１）′＜ＱＰ（ｎ，ｍ）（２）′＜ＱＰ（ｎ，ｍ）（３）′……
…………………………（７）
となるような関係で目標量子化値を補正する（図２参照）。
【００４２】
換言すると、注目ブロックにおいては目標量子化値を小さくするのであるが、従来技術のように注目ブロック数にかかわらず一律に小さくするのではなく、注目ブロック数に応じて、注目ブロック数が少ないほど減少分を多くし、注目ブロック数が多いほど減少分を小さくする状態で目標量子化値を補正する。
【００４３】
この結果、注目ブロック数が増えても全体の割り当て符号量においてオーバーフローを抑制しながら、時間経過とともに目標量子化値を減少させて、なるべく多くの画像情報を取得し、注目領域の画質を向上させていくことができる。
【００４４】
上記の動画像符号化方法において、前記目標量子化値の補正を次のようにすることが好ましい。すなわち、全体の割り当て符号量ＣＦｚに対する注目ブロック全体の符号量上昇率αを注目ブロック数ｋで除算し、その除算結果の商（α／ｋ）を１から減じて得た値（１−α／ｋ）を過去１フレーム分の発生符号量ＣＦ０に乗じて補正後の過去１フレーム分の発生符号量ＣＦ０′とし、この補正後の過去１フレーム分の発生符号量ＣＦ０′に基づいて補正後の目標量子化値ＱＰ（ｎ，ｍ）′を求める。
【００４５】
このように構成すれば、注目ブロック数の如何にかかわらず、１フレーム全体での符号量増分がほぼ一定となり、適応的な目標量子化値調整を実現できる。よって、全体の割り当て符号量におけるオーバーフローを確実に抑制しながら、時間経過とともに注目領域の画質を向上させていくことができる。
【００４６】
上記において、同じ注目ブロックであっても、フレーム内予測符号化のブロックとフレーム間予測符号化のブロックでは、必要とされる符号量に違いがあるので、フレーム内予測符号化とフレーム間予測符号化とで異なる処理を行うのが好ましい。すなわち、前記過去１フレーム分の発生符号量に乗じる値（１−α／ｋ）について、フレーム内予測符号化を行うブロックに対してはフレーム内予測符号化に適した値（１−α１／ｋ）を用い、フレーム間予測符号化を行うブロックに対してはフレーム間予測符号化に適した値（１−α２／ｋ）を用いるように構成する。予測符号化がフレーム内であるかフレーム間であるかに応じて用いる値を切り替えるのである。
【００４７】
動画像符号化装置については、次のように展開することが可能である。
【００４８】
すなわち、本発明による動画像符号化装置は、外部から動画像データを入力する入力画像格納手段と、前記入力画像格納手段が入力した動画像データから注目ブロックと非注目ブロックとを判別する注目ブロック判別手段と、前記注目ブロック判別手段が判別した前記注目ブロックでは前記非注目ブロックに設定する目標量子化値よりも小さい目標量子化値を設定する量子化値演算手段と、前記入力画像格納手段が入力した動画像データをブロック単位で直交変換する直交変換手段と、前記直交変換手段が直交変換したブロック単位のデータを前記量子化値演算手段からの目標量子化値に基づいて量子化する量子化手段とを備えることを前提としている。このような構成の動画像符号化装置において、前記量子化値演算手段を、前記注目ブロック数が多いほど前記目標量子化値を小さく設定するように構成する。
【００４９】
上記において好ましい構成は、前記量子化値演算手段が、平均量子化値と目標発生符号量と過去１フレーム分の発生符号量から目標量子化値を導く演算において、全体の割り当て符号量に対する注目ブロック全体の符号量上昇率を注目ブロック数で除算し、前記除算結果の商を１から減じて得た値を前記過去１フレーム分の発生符号量に乗じて補正し、この補正後の過去１フレーム分の発生符号量に基づいて前記補正後の目標量子化値を求めるように構成されていることである。
【００５０】
また、上記において別の好ましい態様は、前記量子化値演算手段が、前記過去１フレーム分の発生符号量に乗じる値について、フレーム内予測符号化を行うブロックに対してはフレーム内予測符号化に適した値を用い、フレーム間予測符号化を行うブロックに対してはフレーム間予測符号化に適した値を用いるように構成されていることである。
【発明の効果】
【００５１】
本発明によれば、注目ブロックにおいては目標量子化値を小さくするのであるが、従来技術のように注目ブロック数にかかわらず一律に小さくするのではなく、注目ブロック数に応じて、注目ブロック数が少ないほど減少分を多くし、注目ブロック数が多いほど減少分を小さくする状態で目標量子化値を補正する。したがって、注目ブロック数が増えても全体の割り当て符号量においてオーバーフローを抑制しながら、時間経過とともに目標量子化値を減少させて、なるべく多くの画像情報を取得し、注目領域の画質を向上させていくことができる。
【発明を実施するための最良の形態】
【００５２】
以下、本発明にかかわる動画像符号化装置・方法の実施の形態を図面に基づいて詳細に説明する。
【００５３】
（実施の形態１）
図１は本発明の実施の形態１における動画像符号化装置の構成を示すブロック図である。本実施の形態においては、符号化対象となる入力画像は複数に分割した二次元の単位ブロックであるマクロブロック（ＭＢ）の単位で符号化処理が行われる。
【００５４】
図１において、１１は外部の固体撮像装置等から動画像データの輝度／色差信号を入力して格納する入力画像格納部である。１２は入力画像や過去の入力画像の状態から顔・人物などの注目情報が１フレーム内のどこに存在するかを認識し、量子化対象のマクロブロックが注目領域内であるか否かという判断を行い、そのマクロブロックが注目マクロブロックであるか否かを量子化値演算部１３ａに出力する注目マクロブロック判別部である。１３ａは量子化対象のマクロブロックに対して注目マクロブロック判別部１２からの情報に基づいて量子化部１６に対する目標量子化値ＱＰ（ｎ，ｍ）の決定を行う量子化値演算部である。１５は入力画像格納部１１からの動画像データに対してマクロブロック単位で直交変換処理を行い、周波数成分に変換する直交変換部である。１６は前記周波数成分に対して量子化値演算部１３ａからの目標量子化値ＱＰ（ｎ，ｍ）に基づいて量子化を行う量子化部である。量子化値演算部１３ａは、可変長符号化部１７が出力した符号量や外部より設定された目標ビットレート［ｂｐｓ］やフレームレート［ｆｐｓ］より求めた１フレームの目標発生符号量などから、量子化部１６が量子化対象としている信号に対する目標量子化値ＱＰ（ｎ，ｍ）の決定を行うように構成されている。１７は量子化部１６からの出力に対し、冗長情報を取り除き、さらに情報量を削減し、符号を生成する可変長符号化部である。１８は量子化部１６の出力に対し逆量子化を行う逆量子化部である。１９は逆量子化されたデータに対して逆直交変換により復号化処理を行う逆直交変換部である。２０は逆量子化および逆直交変換された動画像データを格納するｎフレーム参照画像格納部である。２１はｎフレーム参照画像格納部２０から１フレーム分の信号の書き写しが行われる（ｎ−１）フレーム参照画像格納部である。２２は（ｎ−１）フレーム参照画像格納部２１から必要な範囲の輝度データを読み出し、入力画像格納部１１の輝度信号領域内のマクロブロックとの差分が最小となる位置を探索し、そのずれを動きベクトルとして検出する動き検出部である。２３は入力画像格納部１１内の入力データの状態や動き検出部２２の出力信号の結果に応じて、入力画像のフレームの符号化方法として、例えばフレーム間ＭＢ符号化かフレーム内ＭＢ符号化等を決定するフレーム内／間ＭＢ符号化決定部である。１４はフレーム間ＭＢ符号化の場合に、符号化対象となっているマクロブロックと（ｎ−１）フレーム参照画像格納部２１内の画像との動きベクトル分の差分処理を行う差分処理部である。
【００５５】
上記のように構成された動画像符号化装置において、本実施の形態は、量子化値演算部１３ａを次のように構成した点に特徴を有するものである。
【００５６】
すなわち、注目マクロブロック判別部１２から注目マクロブロックであるとの指示があった場合に、注目マクロブロック数ｋの増減に応じて適応的に目標量子化値ＱＰ（ｎ，ｍ）を補正するように構成されている。この目標量子化値ＱＰ（ｎ，ｍ）の補正は、結果的に、１注目マクロブロック当たりの符号量増分ΔＭＢ（ｋ）を調整するもので、注目マクロブロック数ｋが多いほど１注目マクロブロック当たりの符号量増分ΔＭＢ（ｋ）が小さくなるような目標量子化値に補正する。
【００５７】
注目マクロブロック数ｋに応じた補正後の目標量子化値をＱＰ（ｎ，ｍ）（ｋ）′とすると、ＱＰ（ｎ，ｍ）（ｋ）′＜ＱＰ（ｎ，ｍ）の条件で、式（７）のように、
ＱＰ（ｎ，ｍ）（１）′＜ＱＰ（ｎ，ｍ）（２）′＜ＱＰ（ｎ，ｍ）（３）′……
…………………………（７）
となるような関係で目標量子化値を補正する（図２参照）。
【００５８】
換言すると、注目マクロブロックにおいては目標量子化値を小さくするのであるが、従来技術のように注目マクロブロック数にかかわらず一律に小さくするのではなく、注目マクロブロック数に応じて、注目マクロブロック数が少ないほど減少分を多くし、注目マクロブロック数が多いほど減少分を小さくする状態で目標量子化値を補正する。
【００５９】
図２を参照して説明すると、注目マクロブロック数ｋ＝１の場合の１注目マクロブロック当たりの符号量増分ΔＭＢ（１）に対して、注目マクロブロック数ｋ＝２の場合の１注目マクロブロック当たりの符号量増分ΔＭＢ（２）が２分の１になるようにし、注目マクロブロック数ｋ＝３の場合の１注目マクロブロック当たりの符号量増分ΔＭＢ（３）が３分の１になるようにする。一般に、注目マクロブロック数ｋの場合の１注目マクロブロック当たりの符号量増分ΔＭＢ（ｋ）がｋ分の１になるようにする。
【００６０】
注目マクロブロック数ｋ＝１のときの１注目マクロブロック当たりの符号量増分はΔＭＢ（１）であるが、注目マクロブロック数ｋ＝１の場合の全体の割り当て符号量ＣＦｚの増分はΔＣＦｚ（１）は、
ΔＣＦｚ（１）＝ΔＭＢ（１）  ……………………………………………（８）
である。
【００６１】
注目マクロブロック数ｋ＝２のときの１注目マクロブロック当たりの符号量増分はΔＭＢ（２）であり、
ΔＭＢ（２）＝ΔＭＢ（１）×（１／２）  ………………………………（９）
であるので、注目マクロブロック数ｋ＝２の場合の全体の割り当て符号量ＣＦｚの増分はΔＣＦｚ（２）は、
ΔＣＦｚ（２）＝ΔＭＢ（２）×２
＝ΔＭＢ（１）＝ΔＣＦｚ（１）  ……………………（１０）
であり、注目マクロブロック数ｋ＝１の場合と同様になる。
【００６２】
注目マクロブロック数ｋ＝３のときの１注目マクロブロック当たりの符号量増分はΔＭＢ（３）であり、
ΔＭＢ（３）＝ΔＭＢ（１）×（１／３）  ……………………………（１１）
であるので、注目マクロブロック数ｋ＝３の場合の全体の割り当て符号量ＣＦｚの増分はΔＣＦｚ（３）は、
ΔＣＦｚ（３）＝ΔＭＢ（２）×３
＝ΔＭＢ（１）＝ΔＣＦｚ（１）  ……………………（１２）
であり、これも注目マクロブロック数ｋ＝１の場合と同様になる。
【００６３】
一般に、注目マクロブロック数ｋのときの１注目マクロブロック当たりの符号量増分ΔＭＢ（ｋ）は、
ΔＭＢ（ｋ）＝ΔＭＢ（１）×（１／ｋ）  ……………………………（１３）
であり、注目マクロブロック数ｋの場合の全体の割り当て符号量ＣＦｚの増分ΔＣＦｚ（ｋ）は、
ΔＣＦｚ（ｋ）＝ΔＭＢ（ｋ）×ｋ
＝ΔＭＢ（１）＝ΔＣＦｚ（１）  ……………………（１４）
となり、注目マクロブロック数ｋ＝１の場合と同様になる。
【００６４】
このように、注目マクロブロック数ｋの増減の如何にかかわらず、全体の割り当て符号量の増分を一定にし、全体の割り当て符号量が許容限度内に収まるようにする。
【００６５】
このような考え方で目標量子化値ＱＰ（ｎ，ｍ）の補正を注目マクロブロック数ｋに応じてどのように調整するかを以下に説明する。
【００６６】
目標量子化値ＱＰ（ｎ，ｍ）の演算は、原則として式（５）、すなわち、
ＱＰ（ｎ，ｍ）＝Ｑ０×ＣＦ０／ＣＦｔ  …………………………………………（５）
に基づいて行うが、上記の注目マクロブロック数ｋを加味した補正に対しては、全体の割り当て符号量ＣＦｚに対する注目マクロブロック全体の符号量上昇率αを用いて、補正係数βを次のように求め、
β＝（１−α／ｋ）  ………………………………………………………（１５）
この補正係数βを用いて、過去の１フレーム分の発生符号量ＣＦ０を補正する。
【００６７】
ＣＦ０′＝ＣＦ０・β＝ＣＦ０・（１−α／ｋ）  ………………………（１６）
この補正後の過去１フレーム分の発生符号量ＣＦ０′を式（５）に代入して、注目マクロブロックに対する注目マクロブロック数ｋのときの補正された目標量子化値ＱＰ（ｎ，ｍ）（ｋ）′とする。
【００６８】
ＱＰ（ｎ，ｍ）（ｋ）′＝Ｑ０×ＣＦ０・β／ＣＦｔ
＝｛Ｑ０×ＣＦ０・（１−α／ｋ）｝／ＣＦｔ  …（１７）
以上をまとめると、全体の割り当て符号量ＣＦｚに対する注目マクロブロック全体の符号量上昇率αを注目マクロブロック数ｋで除算し、その除算結果の商（α／ｋ）を１から減じて得た値を補正係数β＝（１−α／ｋ）として、この補正係数βを過去１フレーム分の発生符号量ＣＦ０に乗じて補正後の過去１フレーム分の発生符号量ＣＦ０′とし、この補正後の過去１フレーム分の発生符号量ＣＦ０′に基づいて補正後の目標量子化値ＱＰ（ｎ，ｍ）′を求める。
【００６９】
この補正は、図２において、特性曲線ＴをＴ（１）′，Ｔ（２）′，Ｔ（３）′のように平行移動することに相当するといってよい。
【００７０】
以上のようにして、注目マクロブロック数ｋ＝１のときの補正後の目標量子化値ＱＰ（ｎ，ｍ）（１）′、注目マクロブロック数ｋ＝２のときの補正後の目標量子化値ＱＰ（ｎ，ｍ）（２）′、注目マクロブロック数ｋ＝３のときの補正後の目標量子化値ＱＰ（ｎ，ｍ）（３）′を求めることができる。量子化値演算部１３ａは、このようにして求めた補正後の目標量子化値Ｑｔ（ｎ，ｍ）（ｋ）′を量子化部１６に与え、量子化部１６は補正後の目標量子化値Ｑｔ（ｎ，ｍ）（ｋ）′に基づいて注目マクロブロックの量子化を行う。
【００７１】
次に、以上のように構成された本実施の形態の動画像符号化装置の動作を説明する。
【００７２】
まず、装置外部より固体撮像装置等から動画像データの輝度／色差信号が入力画像格納部１１に入力される。
【００７３】
入力画像格納部１１に１フレーム分の動画像データが入力され始めると、注目マクロブロック判別部１２により、例えば入力画像や過去の入力画像の状態から顔・人物などの注目情報が１フレーム内のどこに存在するかを認識し、量子化対象のマクロブロックが注目領域内であるか否かという判断を行う。また、入力画像格納部１１からマクロブロックの輝度データまたは色差データが出力されるたびに、そのマクロブロックが注目マクロブロックであるか否かを量子化値演算部１３ａに出力する。
【００７４】
符号化を行う最初の１フレームの画像に対しては、１フレームに含まれるすべてのマクロブロックに対してフレーム内ＭＢ符号化を行うフレーム内フレーム符号化を行う。
【００７５】
フレーム内ＭＢ符号化時は、入力画像格納部１１のマクロブロックの輝度データは、直交変換部１５に出力され、直交変換処理を行い、周波数成分に変換される。
【００７６】
次に、前記周波数成分に対し、量子化部１６において量子化を行う。
【００７７】
量子化値演算部１３ａは、可変長符号化部１７が出力した符号量や外部より設定された目標ビットレート［ｂｐｓ］やフレームレート［ｆｐｓ］より求めた１フレームの目標発生符号量などから目標量子化値ＱＰ（ｎ，ｍ）の決定を行う。量子化部１６は、量子化値演算部１３ａから入力した目標量子化値ＱＰ（ｎ，ｍ）に基づいて対象マクロブロックの量子化を行う。ただし、動画像の最初のフレームの処理時の目標量子化値は演算結果による値ではなく初期値により量子化を行う。
【００７８】
量子化部１６以降は、２つの処理過程に分岐する。
【００７９】
まず第一の処理過程は、符号を生成し記録媒体に生成した符号を格納する処理である。
【００８０】
可変長符号化部１７において、量子化部１６からの出力に対し、冗長情報を取り除き、さらに情報量を削減し、符号を生成する。上記処理後に出力された符号は、記録媒体等に格納されたり、通信装置を介して端末に送信されたりする。
【００８１】
第二の処理過程は、次のフレーム間差分処理のために必要な参照画像を生成する処理である。
【００８２】
量子化部１６の出力に対し、逆量子化部１８において逆量子化するとともに、逆直交変換部１９において逆直交変換を行い、量子化部１６の結果に基づいた復号化処理を行う。逆量子化部１８の出力画像は、ｎフレーム参照画像格納部２０に格納される。
【００８３】
次の入力画像については、差分処理部１４において入力画像と参照画像の差分を取ることで符号量を削減する予測符号化を行う。その際、動き検出部２２において、画像の動きを考慮し、入力画像と参照画像の差が最小となる位置を求める動きベクトル検出を行う。
【００８４】
入力画像格納部１１に入力された色差信号のマクロブロックについても、輝度信号について行ったマクロブロック単位の上記同様の処理を行う。
【００８５】
ｎフレーム参照画像格納部２０が１フレーム分の逆量子化信号を格納し終えると、動き検出部２２や直交変換部１５が入力画像格納部１１内の（ｎ＋１）フレームの入力画像信号の先頭を読み出す前に、（ｎ−１）フレーム参照画像格納部２１に対して１フレーム分の信号の書き写しが行われる。
【００８６】
次に、フレーム間ＭＢ符号化の説明を行う。
【００８７】
次に、フレーム間予測フレーム符号化の説明を行う。フレーム間予測フレーム符号化においては、各マクロブロックに対しフレーム間ＭＢ符号化かフレーム内ＭＢ符号化かを自由に選択できる。
【００８８】
まず、動き検出部２２は、（ｎ−１）フレーム参照画像格納部２１から動き検出部２２に必要な範囲の輝度データを読み出し、入力画像格納部１１の輝度信号領域内のマクロブロックとの差分が最小となる位置を探索し、そのずれを動きベクトルとして検出する。
【００８９】
その後、入力画像格納部１１内の入力データの状態や動き検出部２２の出力信号の結果に応じて、フレーム内／間ＭＢ符号化決定部２３は、入力画像のフレームの符号化方法（例えばフレーム間ＭＢ符号化かフレーム内ＭＢ符号化等）を決定する。
【００９０】
フレーム内／間ＭＢ符号化決定部２３が、フレーム間ＭＢ符号化と判断した場合は、符号化対象となっている入力画像格納部１１から出力されるマクロブロックと入力画像のマクロブロックより動き検出部２２にて検出した動きベクトル分ずれた（ｎ−１）フレーム参照画像格納部２１内の画像との差分処理を差分処理部１４で行う。
【００９１】
フレーム内／間ＭＢ符号化決定部２３が、フレーム内ＭＢ符号化と判断した場合は、符号化対象となっている入力画像格納部１１から出力されるマクロブロックに対する差分処理は行わない。その出力された画像に対しては、フレーム内ＭＢ符号化と同様に直交変換部１５および量子化部１６において、直交変換処理、量子化を行う。
【００９２】
量子化部１６による処理以降に、可変長符号化部１７による処理を行う。
【００９３】
逆量子化部１８および逆直交変換部１９による復号化処理についても逆量子化部１８まではフレーム内ＭＢ符号化と同様の処理を行う。
【００９４】
逆量子化部１８の出力が、フレーム内／間ＭＢ符号化決定部２３でフレーム間ＭＢ符号化と判断していた場合、そのマクロブロック画像が予測誤差画像であるため、動き検出部２２内にある入力画像マクロブロックとの差分を取った参照画像と加算することで復号を行う。
【００９５】
逆量子化部１８の出力が、フレーム内／間ＭＢ符号化決定部２３でフレーム内ＭＢ符号化と判断していた場合、逆量子化部１８から出力されたマクロブロック画像自体が復号画像となるので加算処理は行わない。
【００９６】
以降は、フレーム内ＭＢ符号化の処理と同様にｎフレーム参照画像格納部２０に対し、現在処理を行っている入力画像内の処理対象のマクロブロック位置に対応するブロック位置に逆直交変換部１９の出力の格納を行う。
【００９７】
ｎフレーム参照画像格納部２０が１フレーム分の逆量子化信号を格納し終えると、動き検出部２２や直交変換部１５が入力画像格納部１１内の（ｎ＋１）フレームの入力画像信号の先頭を読み出す前に、（ｎ−１）フレーム参照画像格納部２１に対して１フレーム分の信号の書き写しが行われる。
【００９８】
入力画像格納部１１に入力された色差信号については、フレーム内／間ＭＢ符号化決定部２３でフレーム間ＭＢ符号化と判断していた場合は、動き検出部２２に、ｎフレーム参照画像格納部２０内の色差信号領域内の入力画像内の対象マクロブロック位置より輝度信号処理時の動きベクトルの検出結果の動きベクトル分ずれた位置から色差信号が入力画像に対する差分対象として格納される。
【００９９】
差分処理以降の処理については、輝度信号の場合と同様にフレーム内／間ＭＢ符号化決定部２３の出力に応じて処理を行い符号の生成及び符号の格納、参照画像の生成を行う。
【０１００】
この処理を繰返し行うことにより、入力画像に対し時間的に常に１フレーム前の画像を（ｎ−１）フレーム参照画像格納部２１に用意し、入力画像の符号化を行うことができる。
【０１０１】
量子化値演算部１３ａは、注目マクロブロック判別部１２からの非注目マクロブロックか注目マクロブロックかの情報に従って、目標量子化値ＱＰ（ｎ，ｍ）を演算する。非注目マクロブロックの場合は、従来技術と同様に、式（５）
ＱＰ（ｎ，ｍ）＝Ｑ０×ＣＦ０／ＣＦｔ  …………………………………………（５）
に従って、目標量子化値ＱＰ（ｎ，ｍ）を求め、量子化部１６に与える。
【０１０２】
注目マクロブロックの場合は、式（１７）
ＱＰ（ｎ，ｍ）（ｋ）′＝Ｑ０×ＣＦ０・β／ＣＦｔ
＝｛Ｑ０×ＣＦ０・（１−α／ｋ）｝／ＣＦｔ  …（１７）
に従って、補正後の目標量子化値Ｑｔ（ｎ，ｍ）（ｋ）を求め、量子化部１６に与える。ここで、ＣＦ０は過去１フレーム分の発生符号量、Ｑ０は過去１フレーム分の平均量子化値、ＣＦｔは目標発生符号量を、αは全体の割り当て符号量ＣＦｚに対する注目マクロブロック全体の符号量上昇率、ｋは注目マクロブロック数である。
【０１０３】
過去１フレーム分のマクロブロックは図３（ａ），（ｂ）に示すとおりである。符号上昇度数αは、過去１フレーム分の符号量について、１フレーム内の総符号量を１とした場合、その１フレーム内の総符号量に対してどのぐらいの割合で総注目マクロブロックの符号量を上昇させるかを示すものである。
【０１０４】
本実施の形態によれば、注目マクロブロック数が増えても全体の割り当て符号量においてオーバーフローを抑制しながら、時間経過とともに目標量子化値を減少させて、なるべく多くの画像情報を取得し、注目領域の画質を向上させていくことができる。
【０１０５】
（実施の形態２）
図４は本発明の実施の形態２における動画像符号化装置の構成を示すブロック図である。図４において、実施の形態１の図１におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。図５（ａ），（ｂ）は実施の形態２における過去１フレーム分のマクロブロックの説明図である。
【０１０６】
フレーム内／間ＭＢ符号化決定部２３の判定結果が、動き検出部２２に対してだけでなく、量子化値演算部１３ｂにも出力されている。
【０１０７】
量子化値演算部１３ｂは、フレーム内／間ＭＢ符号化決定部２３の判定結果がフレーム内ＭＢ符号化の場合は、フレーム内ＭＢ符号化用の符号量上昇度数β１＝（１−α１／ｋ）を用いて補正した結果の目標量子化値を量子化部１６に出力し、判定結果がフレーム間ＭＢ符号化の場合は、フレーム間ＭＢ符号化用の符号量上昇度数β２＝（１−α２／ｋ）を用いて補正した結果の目標量子化値を量子化部１６に対して出力する。ここで、α１は、フレーム内ＭＢ符号化に適した全体の割り当て符号量ＣＦｚに対する注目マクロブロック全体の符号量上昇率値であり、α２は、フレーム間ＭＢ符号化に適した全体の割り当て符号量ＣＦｚに対する注目マクロブロック全体の符号量上昇率値である。
【０１０８】
量子化値演算部１３ｂは、注目マクロブロック判別部１２から注目マクロブロックの情報を受け、さらに、フレーム内／間ＭＢ符号化決定部２３からフレーム内ＭＢ符号化の情報を受けたときは、
ＱＰ（ｎ，ｍ）（ｋ）′＝Ｑ０×ＣＦ０・β１／ＣＦｔ
＝｛Ｑ０×ＣＦ０・（１−α１／ｋ）｝／ＣＦｔ  …（１８）
に従って、注目マクロブロック数ｋのときの補正後の目標量子化値ＱＰ（ｎ，ｍ）（ｋ）′を算出し、量子化部１６に与える。
【０１０９】
また、量子化値演算部１３ｂは、注目マクロブロック判別部１２から注目マクロブロックの情報を受け、さらに、フレーム内／間ＭＢ符号化決定部２３からフレーム間ＭＢ符号化の情報を受けたときは、
ＱＰ（ｎ，ｍ）（ｋ）′＝Ｑ０×ＣＦ０・β２／ＣＦｔ
＝｛Ｑ０×ＣＦ０・（１−α２／ｋ）｝／ＣＦｔ  …（１９）
に従って、注目マクロブロック数ｋのときの補正後の目標量子化値ＱＰ（ｎ，ｍ）（ｋ）′を算出し、量子化部１６に与える。
【０１１０】
このように、同じ注目マクロブロックであっても、予測符号化がフレーム内であるかフレーム間であるかに応じて用いる演算式を切り替えるのである。
【０１１１】
本実施の形態によれば、同じ注目マクロブロックであっても、フレーム内ＭＢ符号化のマクロブロックとフレーム間ＭＢ符号化のマクロブロックとでは、必要とされる符号量に違いがあることに鑑みて、フレーム内ＭＢ符号化とフレーム間ＭＢ符号化とで異なる処理を行うようにしており、いずれも、注目マクロブロック数が増えても全体の割り当て符号量においてオーバーフローを抑制しながら、注目領域の画質向上を最適化することができる。
【図面の簡単な説明】
【０１１２】
【図１】本発明の実施の形態１における動画像符号化装置の構成を示すブロック図
【図２】本発明の実施の形態１における動画像符号化方法の目標量子化値の補正の説明図
【図３】本発明の実施の形態１における過去１フレーム分のマクロブロックの説明図
【図４】本発明の実施の形態２における動画像符号化装置の構成を示すブロック図
【図５】本発明の実施の形態２における過去１フレーム分のマクロブロックの説明図
【図６】従来の技術における動画像符号化装置の構成を示すブロック図
【図７】従来の技術における過去１フレーム分のマクロブロックの説明図
【符号の説明】
【０１１３】
１１  入力画像格納部（入力画像格納手段）
１２  注目マクロブロック判別部（注目ブロック判別手段）
１３ａ，１３ｂ  量子化値演算部（量子化値演算手段）
１４  差分処理部
１５  直交変換部
１６  量子化部
１７  可変長符号化部
１８  逆量子化部
１９  逆直交変換部
２０  ｎフレーム参照画像格納部
２１  （ｎ−１）フレーム参照画像格納部
２２  動き検出部
２３  フレーム内／間ＭＢ符号化決定部
【図１】
2005051659.tif 000003
【図２】
2005051659.tif 000004
【図３】
2005051659.tif 000005
【図４】
2005051659.tif 000006
【図５】
2005051659.tif 000007
【図６】
2005051659.tif 000008
【図７】
2005051659.tif 000009