(57)【特許請求の範囲】
【請求項１】
回線の伝送速度と整合させてフレームレートを調整し符号化情報を伝送する動画像符号化装置であって、
入力画像をＮ×Ｍ画素（Ｎ，Ｍは自然数）のブロック単位に分割し、ブロック毎に現フレームと前フレームのフレーム間差分を求めて動きベクトルを検出する動き検出手段と、
動きベクトルから動き補償予測値を求めてフレーム間予測を行うか、あるいはフレーム内予測を行うかの判定を行う動き補償予測手段と、
前記入力画像と前記動き補償予測値との差分に直交変換を行い変換係数を得る直交変換手段と、
該変換係数を量子化する量子化手段と、
量子化された変換係数を符号化して符号化情報を生成する符号化手段と、
前記動き検出手段により検出された現フレームと前フレームのフレーム間差分と、前記動き補償予測手段により行った動き補償予測の判定結果とにより、符号化しないブロックのスキップ判定をするブロックスキップ判定手段と、
前記入力画像から特定領域を抽出する特定領域抽出手段と、
前記フレーム間差分の大きさによりシーンチェンジを検出するシーンチェンジ検出手段と、
前記シーンチェンジ検出手段によりシーンチェンジを検出した場合、シーンチェンジ発生フレームに対する符号化を示すシーンチェンジ発生フレームモード、シーンチェンジ発生フレーム以降の所定数のフレームに対する符号化を示すシーンチェンジ以降モード、及びそれ以降のフレームに対して前記特定領域抽出手段で抽出した特定領域の画質を向上させる符号化を示す特定領域モードの各モードを判定する符号化モード判定手段と、
前記符号化モード判定手段により判定したモードに基いてフレームレートを調整し、量子化ステップサイズを所定数のブロック毎に量子化手段に設定して量子化を制御する符号化制御手段と、
を備え、
前記符号化制御手段は、
シーンチェンジ発生フレームモードの場合、フレームレートを少なくして１フレーム当たりの符号量を増加させ、シーンチェンジ発生フレームに対して特定領域の区別なくフレーム内符号化を実施するための量子化ステップサイズを前記所定数ブロック毎に設定し、前記所定数ブロックの符号量が、１フレーム当たりの最大符号量に基づいて所定数ブロックごとに予め設定した規定符号量を超えた場合に、量子化ステップサイズを増加させるフレーム内符号化制御手段と、
シーンチェンジ以降モードの場合、フレームレートを少なくして１フレーム当たりの符号量を増加させ、現符号化量が１フレーム当たりの最大符号量に基づいて所定数ブロックごとに予め設定した規定符号量を超えた場合に、符号化を中止させ、現符号化量が前記規定符号量を超えない場合に、前フレームの平均量子化ステップサイズに対して、次の前記所定数ブロックの量子化ステップサイズを設定するシーンチェンジ符号化制御手段と、
特定領域モードの場合、フレームレートを戻して符号化を行い、現符号化量が１フレーム当たりの最大符号量に基づいて所定数ブロックごとに予め設定した規定符号量を超えた場合に、符号化を中止させ、現符号化量が前記規定符号量を超えない場合に、前記ブロックスキップ判定手段により得られたスキップするブロックの情報、前記特定領域抽出手段により抽出した特定領域とそれ以外の領域のブロックの情報に基づいて、特定領域の符号量を増加させるように、前フレームの平均量子化ステップサイズに対して、次の前記所定数ブロックの量子化ステップサイズを設定する特定領域重視符号化制御手段と、
前記符号化モード判定手段からのモード情報に基づいて前記３つの量子化ステップサイズ設定の制御信号の１つを選択する切換手段と、
を備えたことを特徴とする動画像符号化装置。
【請求項２】
前記フレーム内符号化制御手段は、
目標フレームレートよりフレームレートを少なくしてシーンチェンジ発生フレームの目標符号量を算出するフレーム内符号化目標符号量算出手段と、
予め前記目標符号量と前記量子化ステップサイズとの関係を設定しておき、最初の所定数ブロックに対し、前記目標符号量に基づいて量子化ステップサイズを設定する第１の量子化ステップサイズ設定手段と、
最初の所定数ブロックの次以降の所定数ブロックに対し、１フレーム当たりの最大符号量を等分して加算した規定符号量を設け、前記所定数ブロックの符号化毎に前記符号化手段の符号量が前記規定符号量を越えたか否かを監視する第１の規定符号量監視手段と、
現時点での前記符号化手段の符号量が前記規定符号量を越えた場合に、最初の所定数ブロックの次以降の前記所定数ブロックに対し量子化ステップサイズを増加させる量子化ステップサイズインクリメント手段と、
前記量子化ステップサイズ設定手段で決定された量子化ステップサイズと前記量子化ステップサイズインクリメント手段で増加した量子化ステップサイズを加算する第１の量子化ステップサイズ加算手段と、
前記第１の量子化ステップサイズ加算手段により加算された量子化ステップサイズから現フレームの量子化ステップの平均値を算出する第１の量子化ステップサイズ平均値算出手段と、
を備えたことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記シーンチェンジ符号化制御手段は、
目標フレームレートよりフレームレートを少なくして１フレーム当たりの目標符号量を算出するシーンチェンジ符号化目標符号量算出手段と、
前記所定数ブロック毎に、１フレーム当たりの最大符号量を等分して加算した規定符号量を設け、前記所定数ブロックの符号化毎に前記符号化手段の符号量が該規定符号量を越えたか否かを監視する第２の規定符号量監視手段と、
第１の量子化ステップサイズ平均値算出手段により算出したシーンチェンジ発生フレームの平均量子化ステップサイズに基づいて、前記所定数ブロック毎に初期の量子化ステップサイズを算出する第１の初期量子化ステップサイズ算出手段と、
初期量子化ステップサイズを算出したフレーム以降のフレームにおいて、前記第２の規定符号量監視手段により監視した前記所定数ブロックに対して前記符号化手段の符号量が前記規定符号量を越えないと判断された場合、現符号量が現符号化位置を考慮した目標符号量より大きいときは、次の前記所定数ブロックに対し、前フレームの平均量子化ステップサイズより量子化ステップサイズを大きくし、現符号量が現符号化位置を考慮した目標符号量より小さいときは、次の前記所定数ブロックに対し、前フレームの平均量子化ステップサイズより量子化ステップサイズを小さくする第１の量子化ステップサイズ算出手段と、
前記第２の規定符号量監視手段により監視した前記所定数ブロックに対して前記規定符号量を超えたときに監視した前記所定数ブロック以降のブロックの符号化を中止する第１の符号化中止処理手段と、
前記第１の初期量子化ステップサイズ算出手段あるいは前記第１の量子化ステップサイズ算出手段から入力された量子化ステップサイズが規定の範囲内であることを検査し、該量子化ステップサイズが規定範囲を越える場合は、該量子化ステップサイズに最も近い規定範囲の値を前記所定数ブロック毎に量子化ステップサイズとし、該量子化ステップサイズが規定範囲を越えない場合は、前記所定数ブロック毎に量子化ステップサイズをそのままとする第２の量子化ステップサイズ設定手段と、
前記第２の量子化ステップサイズ設定手段で設定した量子化ステップサイズを加算する第２の量子化ステップサイズ加算手段と、
前記第２の量子化ステップサイズ加算手段により加算された量子化ステップサイズから現フレームの量子化ステップの平均値を算出する第２の量子化ステップサイズ平均値算出手段と、
を備えたことを特徴とする請求項１又は２に記載の動画像符号化装置。
【請求項４】
前記特定領域重視符号化制御手段は、
目標フレームレートにおける１フレーム当たりの目標符号量を算出する特定領域重視符号化目標符号量算出手段と、
前記ブロックスキップ判定手段からスキップするブロック数と、前記特定領域抽出手段で抽出された特定領域のブロック数から、特定領域とそれ以外の領域の符号化するブロック数を求め、前記特定領域重視符号化目標符号量算出手段からの目標符号量の情報に基づいて、特定領域とそれ以外の領域に割り当てる１ブロック当たりの目標符号量を算出する特定領域割当目標符号量算出手段と、
前記所定数ブロック毎に、１フレーム当たりの最大符号量を等分して加算した規定符号量を設け、前記所定数ブロックの符号化毎に前記符号化手段の符号量が該規定符号量を越えたか否かを監視する第３の規定符号量監視手段と、
第２の量子化ステップサイズ平均値算出手段により算出した、シーンチェンジ以降の最後のフレームの平均量子化ステップサイズに基づいて、前記所定数ブロック毎に初期の量子化ステップサイズを算出する第２の初期量子化ステップサイズ算出手段と、
初期量子化ステップサイズを算出したフレーム以降のフレームにおいて、前記第３の規定符号量監視手段により監視した前記所定数ブロックに対して前記符号化手段の符号量が前記規定符号量を越えないと判断された場合、前記ブロックスキップ判定手段からのスキップするブロックの情報、前記特定領域抽出手段からの特定領域ブロック情報、前記特定領域割当目標符号量算出手段により求めた割り当て目標符号量とに基づいて、現符号化位置を考慮した目標符号化量を求め、現符号量が現符号化位置を考慮した目標符号化量より大きいときは、次の前記所定数ブロックに対し、前フレームの平均量子化ステップサイズより量子化ステップサイズを大きくし、現符号量が現符号化位置を考慮した目標符号化量より小さいときは、次の前記所定数ブロックに対し、前フレームの平均量子化ステップサイズより量子化ステップサイズを小さくする第２の量子化ステップサイズ算出手段と、
前記第３の規定符号量監視手段により監視した前記所定数ブロックに対して前記規定符号量を超えたときに前記監視所定数ブロック以降のブロックの符号化を中止する第２の符号化中止処理手段と、
前記第２の初期量子化ステップサイズ算出手段と前記第２の量子化ステップサイズ算出手段から入力された量子化ステップサイズが規定の範囲内であることを検査し、該量子化ステップサイズが規定範囲を越える場合は、該量子化ステップサイズに最も近い規定範囲の値を前記所定数ブロック毎に量子化ステップサイズとし、該量子化ステップサイズが規定範囲を越えない場合は、前記所定数ブロック毎に量子化ステップサイズをそのままとする第３の量子化ステップサイズ設定手段と、
前記量子化ステップサイズ変化範囲検査手段で設定した量子化ステップサイズを加算する第３の量子化ステップサイズ加算手段と、
前記第３の量子化ステップサイズ加算手段により加算された量子化ステップサイズから現フレームの平均値を算出する第３の量子化ステップサイズ平均値算出手段と、
を備えたことを特徴とする請求項１、２又は３に記載の動画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力画像を２次元のブロックに分割して直交変換し、量子化・符号化を行う動画像符号化装置に関し、特に画面から特定領域を抽出して、特定領域を高画質にするための量子化・符号化を制御する動画像符号化装置に関する。
【０００２】
【従来の技術】
近年、ＩＳＤＮ（Integrated Services Digital Network），ＧＳＴＮ（General Switched Telephone Network）を有効に活用するサービスとして、テレビ電話やテレビ会議などの画像通信サービスが有望視され、このような動画像の効率的な伝送を目的とした高能率符号化の研究が盛んに行われている。これらの研究は、画像の統計的な性質を利用して、その画像に含まれる冗長性を取り除くことにより、情報量の削減を行っている。このような符号化方式として、動き補償予測と離散コサイン変換を組み合わせたハイブリッド符号化方式がよく知られている。
【０００３】
しかし、低ビットレートでの伝送を行う場合には、再生画像に雑音が発生して画質が劣化するため、これを改善することが望まれている。画質改善の方法として、入力画像から特定の領域を抽出して、領域ごとに量子化ステップサイズを制御する方式が検討されている。この一例として、入力画像から顔領域を抽出して、顔領域以外（以下、背景領域と呼ぶ）は顔領域よりも大なる量子化ステップサイズで量子化を行うことで、これに割当てる符号量を少なくし、代わりに顔領域に多くの符号量を割り当てて、主観的な画質の改善を図るという考えがある（例えば、R.H.J.M.Plompen, et al.：“An image knowledge based video codec for low bitrates”,SPIE Vol.804 Advanced in image processing (1987)）。
【０００４】
以下、図８により動き補償予測と２次元直交変換を用いた場合の従来例について説明する。図８において、８１はフレームメモリ部、８２は減算器、８３は直交変換部、８４は量子化部、８５は符号化部、８６はバッファメモリ部、８７は逆量子化部、８８は逆直交変換部、８９は加算器、９０はフレームメモリ部、９１は動き検出部、９２は動き補償予測部、９３は領域抽出部、９４は符号化制御部を示している。
【０００５】
今、フレームメモリ部８１に画像が入力されたとする。入力画像は、テレビカメラ等からの画像をディジタル化したものであり、フレームメモリ部８１において蓄積され、Ｎ×Ｍ画素（Ｎ、Ｍは自然数）のブロックに分割される。一方、フレームメモリ部９０に蓄積されている画像と、フレームメモリ部８１に蓄積された画像は、動き検出部９１に入力され、動きベクトルが検出される。動き補償予測部９２では、動きベクトルとフレームメモリ部９０に蓄積された画像から動き補償予測値が求められる。また、動き補償予測値と入力画像の差分のパワー、入力画像のパワーを比較してフレーム間予測を行うか、あるいはフレーム内予測を行うかの判定を行う。
【０００６】
さて、減算器８２ではフレームメモリ部８１の入力画像と動き補償予測部９２からの動き補償予測値との差分がブロック単位で計算され、直交変換部８３で各々のブロックの画素に２次元の直交変換を実施し、変換係数を量子化部８４へ送出する。量子化部８４では、符号化制御部９４から出力された量子化ステップサイズにより変換係数を量子化する。符号化部８５で量子化部８４からの量子化出力のエントロピー符号化を行って、符号化情報を生成する。バッファメモリ部８６では回線の伝送速度と整合をとるために符号化情報を蓄積する。
【０００７】
また、量子化部８４からの出力は逆量子化部８７にも入力され、逆量子化が行われて変換係数を得る。逆直交変換部８８では変換係数を２次元逆直交変換して、加算器８９で動き補償予測部９２からの動き補償予測値と加算する。この加算された画像が、フレームメモリ部９０に蓄積され次回の処理に使用される。符号化制御部９４では、領域抽出部９３の出力である顔領域と背景領域の情報を示す有効／無効情報と、バッファメモリ部８６における符号化情報のバッファ占有量が入力されて、これに基づいて量子化ステップサイズが決定される。例えば、領域抽出部９３によって顔領域を示す有効情報、背景領域を示す無効情報が符号化制御部９４に出力され、バッファメモリ部８６のバッファ占有量から求められる量子化ステップサイズを基準に、顔領域に対しては背景領域より小さい量子化ステップサイズが選択される。
【０００８】
【発明が解決しようとする課題】
上記の方式では量子化ステップサイズは顔領域と背景領域との２種類しか設定されておらず、顔領域の量子化ステップサイズは背景領域より小さいということだけしか明らかにされていない。従って、これを実際の動画像符号化装置に適用した場合は、例えば、次のようなことが考えられる。符号化制御部９４は、バッファメモリ部８６における符号化情報のバッファ占有量により決定される量子化ステップサイズＱに対して、領域抽出部で抽出された結果に従って変化させる量ｄＱｆ，ｄＱｂを定義する。そして、量子化部８４は、顔領域に対してはＱ−ｄＱｆ、背景領域に対してはＱ＋ｄＱｂを使って量子化する。
【０００９】
しかし、このような方法では、量子化ステップサイズが大きいとはいえ、背景に存在する雑音等も量子化されるため、余計な符号量が発生して、顔領域に割り当てられる符号量が減少してしまう。また、シーンチェンジが発生した場合において、画像が前フレームとは大きく異なるため、背景領域の符号量を少なくすると、背景領域の画質が早期に安定しないので、再生画像が見苦しくなり、符号化量が急激に増加するため、顔領域にブロックひずみやモスキート雑音が発生しやすくなる。
【００１０】
また、符号化制御部９４が制御を行うとき、バッファメモリ８６における符号化情報のバッファ占有量しか参照しないので、バッファ占有量に対して量子化ステップサイズが決まってしまうため、目標とする符号量に適合させることが困難となる。このため、フレーム間での画質の差が大きくなり、画質を低下させる原因となる。
【００１１】
また、シーンチェンジ以降のフレームに対しては、一般的に相関が強いのにもかかわらず、前フレームの量子化ステップサイズの情報や符号量情報を利用していないので、目標とする符号量に適合するように量子化を制御することが困難である。
また、Ｑを変化させる量（ｄＱｆ）を顔領域の大きさによらず一定の値にしておくと、顔領域の大きさにより１フレームの符号量が目標符号量に対して、大きくなりすぎたり小さすぎたりして、結果的に再生画像の画質を損なう。
【００１２】
本発明は、シーンチェンジを検出したとき、シーンチェンジ後の各段階における量子化・符号化を適応的に制御することにより、画質を向上させることが可能な動画像符号化装置を提供することを目的とするものである。
【００１３】
【課題を解決するための手段】
第１の発明に係る動画像符号化装置は、回線の伝送速度と整合させてフレームレートを調整し符号化情報を伝送する動画像符号化装置であって、入力画像をＮ×Ｍ画素（Ｎ，Ｍは自然数）のブロック単位に分割し、ブロック毎に現フレームと前フレームのフレーム間差分を求めて動きベクトルを検出する動き検出手段と、動きベクトルから動き補償予測値を求めてフレーム間予測を行うか、あるいはフレーム内予測を行うかの判定を行う動き補償予測手段と、前記入力画像と前記動き補償予測値との差分に直交変換を行い変換係数を得る直交変換手段と、該変換係数を量子化する量子化手段と、量子化された変換係数を符号化して符号化情報を生成する符号化手段と、前記動き検出手段により検出された現フレームと前フレームのフレーム間差分と、前記動き補償予測手段により行った動き補償予測の判定結果とにより、符号化しないブロックのスキップ判定をするブロックスキップ判定手段と、前記入力画像から特定領域を抽出する特定領域抽出手段と、前記フレーム間差分の大きさによりシーンチェンジを検出するシーンチェンジ検出手段と、前記シーンチェンジ検出手段によりシーンチェンジを検出した場合、シーンチェンジ発生フレームに対する符号化を示すシーンチェンジ発生フレームモード、シーンチェンジ発生フレーム以降の所定数のフレームに対する符号化を示すシーンチェンジ以降モード、及びそれ以降のフレームに対して前記特定領域抽出手段で抽出した特定領域の画質を向上させる符号化を示す特定領域モードの各モードを判定する符号化モード判定手段と、前記符号化モード判定手段により判定したモードに基いてフレームレートを調整し、量子化ステップサイズを所定数のブロック毎に量子化手段に設定して量子化を制御する符号化制御手段と、を備え、前記符号化制御手段は、シーンチェンジ発生フレームモードの場合、フレームレートを少なくして１フレーム当たりの符号量を増加させ、シーンチェンジ発生フレームに対して特定領域の区別なくフレーム内符号化を実施するための量子化ステップサイズを前記所定数ブロック毎に設定し、前記所定数ブロックの符号量が、１フレーム当たりの最大符号量に基づいて所定数ブロックごとに予め設定した規定符号量を超えた場合に、量子化ステップサイズを増加させるとともに、現フレームの量子化ステップサイズの平均値を算出するフレーム内符号化制御手段と、シーンチェンジ以降モードの場合、フレームレートを少なくして１フレーム当たりの符号量を増加させ、現符号化量が１フレーム当たりの最大符号量に基づいて所定数ブロックごとに予め設定した規定符号量を超えた場合に、符号化を中止させ、現符号化量が前記規定符号量を超えない場合に、前フレームの平均量子化ステップサイズに基づいて、次の前記所定数ブロックに対し量子化ステップサイズを設定するシーンチェンジ符号化制御手段と、特定領域モードの場合、フレームレートを戻して符号化を行い、現符号化量が１フレーム当たりの最大符号量に基づいて所定数ブロックごとに予め設定した規定符号量を超えた場合に、符号化を中止させ、現符号化量が前記規定符号量を超えない場合に、前記ブロックスキップ判定手段により得られたスキップするブロックの情報、前記特定領���抽出手段により抽出した特定領域とそれ以外の領域のブロックの情報に基づいて、特定領域の符号量を増加させるように次の前記所定数ブロックに対し量子化ステップサイズを設定する特定領域重視符号化制御手段と、前記符号化モード判定手段からのモード情報に基づいて前記３つの量子化ステップサイズ設定の制御信号の１つを選択する切換手段と、を備えたことを特徴とする。
【００１５】
第２の発明に係る動画像符号化装置は、前記フレーム内符号化制御手段は、目標フレームレートよりフレームレートを少なくしてシーンチェンジ発生フレームの目標符号量を算出するフレーム内符号化目標符号量算出手段と、予め前記目標符号量と前記量子化ステップサイズとの関係を設定しておき、最初の所定数ブロックに対し、前記目標符号量に基づいて量子化ステップサイズを設定する第１の量子化ステップサイズ設定手段と、最初の所定数ブロックの次以降の所定数ブロックに対し、１フレーム当たりの最大符号量を等分して加算した規定符号量を設け、前記所定数ブロックの符号化毎に前記符号化手段の符号量が前記規定符号量を越えたか否かを監視する第１の規定符号量監視手段と、現時点での前記符号化手段の符号量が前記規定符号量を越えた場合に、最初の所定数ブロックの次以降の前記所定数ブロックに対し量子化ステップサイズを増加させる量子化ステップサイズインクリメント手段と、前記量子化ステップサイズ設定手段で決定された量子化ステップサイズと前記量子化ステップサイズインクリメント手段で増加した量子化ステップサイズを加算する第１の量子化ステップサイズ加算手段と、前記第１の量子化ステップサイズ加算手段により加算された量子化ステップサイズから現フレームの量子化ステップの平均値を算出する第１の量子化ステップサイズ平均値算出手段と、を備えたことを特徴とする。
【００１６】
第３の発明に係る動画像符号化装置は、前記シーンチェンジ符号化制御手段は、目標フレームレートよりフレームレートを少なくして１フレーム当たりの目標符号量を算出するシーンチェンジ符号化目標符号量算出手段と、前記所定数ブロック毎に、１フレーム当たりの最大符号量を等分して加算した規定符号量を設け、前記所定数ブロックの符号化毎に前記符号化手段の符号量が該規定符号量を越えたか否かを監視する第２の規定符号量監視手段と、第１の量子化ステップサイズ平均値算出手段により算出したシーンチェンジ発生フレームの平均量子化ステップサイズに基づいて、前記所定数ブロック毎に初期の量子化ステップサイズを算出する第１の初期量子化ステップサイズ算出手段と、初期量子化ステップサイズを算出したフレーム以降のフレームにおいて、前記第２の規定符号量監視手段により監視した前記所定数ブロックに対して前記符号化手段の符号量が前記規定符号量を越えないと判断された場合、現符号量が現符号化位置を考慮した目標符号量より大きいときは、次の前記所定数ブロックに対し、前フレームの平均量子化ステップサイズより量子化ステップサイズを大きくし、現符号量が現符号化位置を考慮した目標符号量より小さいときは、次の前記所定数ブロックに対し、前フレームの平均量子化ステップサイズより量子化ステップサイズを小さくする第１の量子化ステップサイズ算出手段と、前記第２の規定符号量監視手段により監視した前記所定数ブロックに対して前記規定符号量を超えたときに監視した前記所定数ブロック以降のブロックの符号化を中止する第１の符号化中止処理手段と、前記第１の初期量子化ステップサイズ算出手段あるいは前記第１の量子化ステップサイズ算出手段から入力された量子化ステップサイズが規定の範囲内であることを検査し、該量子化ステップサイズが規定範囲を越える場合は、該量子化ステップサイズに最も近い規定範囲の値を前記所定数ブロック毎に量子化ステップサイズとし、該量子化ステップサイズが規定範囲を越えない場合は、前記所定数ブロック毎に量子化ステップサイズをそのままとする第２の量子化ステップサイズ設定手段と、前記第２の量子化ステップサイズ設定手段で設定した量子化ステップサイズを加算する第２の量子化ステップサイズ加算手段と、前記第２の量子化ステップサイズ加算手段により加算された量子化ステップサイズから現フレームの量子化ステップの平均値を算出する第２の量子化ステップサイズ平均値算出手段と、を備えたことを特徴とする。
【００１７】
第４の発明に係る動画像符号化装置は、前記特定領域重視符号化制御手段は、目標フレームレートにおける１フレーム当たりの目標符号量を算出する特定領域重視符号化目標符号量算出手段と、前記ブロックスキップ判定手段からスキップするブロック数と、前記特定領域抽出手段で抽出された特定領域のブロック数から、特定領域とそれ以外の領域の符号化するブロック数を求め、前記特定領域重視符号化目標符号量算出手段からの目標符号量の情報に基づいて、特定領域とそれ以外の領域に割り当てる１ブロック当たりの目標符号量を算出する特定領域割当目標符号量算出手段と、前記所定数ブロック毎に、１フレーム当たりの最大符号量を等分して加算した規定符号量を設け、前記所定数ブロックの符号化毎に前記符号化手段の符号量が該規定符号量を越えたか否かを監視する第３の規定符号量監視手段と、第２の量子化ステップサイズ平均値算出手段により算出した、シーンチェンジ以降の最後のフレームの平均量子化ステップサイズに基づいて、前記所定数ブロック毎に初期の量子化ステップサイズを算出する第２の初期量子化ステップサイズ算出手段と、初期量子化ステップサイズを算出したフレーム以降のフレームにおいて、前記第３の規定符号量監視手段により監視した前記所定数ブロックに対して前記符号化手段の符号量が前記規定符号量を越えないと判断された場合、前記ブロックスキップ判定手段からのスキップするブロックの情報、前記特定領域抽出手段からの特定領域ブロック情報、前記特定領域割当目標符号量算出手段により求めた割り当て目標符号量とに基づいて、現符号化位置を考慮した目標符号化量を求め、現符号量が現符号化位置を考慮した目標符号化量より大きいときは、次の前記所定数ブロックに対し、前フレームの平均量子化ステップサイズより量子化ステップサイズを大きくし、現符号量が現符号化位置を考慮した目標符号化量より小さいときは、次の前記所定数ブロックに対し、前フレームの平均量子化ステップサイズより量子化ステップサイズを小さくする第２の量子化ステップサイズ算出手段と、前記第３の規定符号量監視手段により監視した前記所定数ブロックに対して前記規定符号量を超えたときに前記監視所定数ブロック以降のブロックの符号化を中止する第２の符号化中止処理手段と、前記第２の初期量子化ステップサイズ算出手段と前記第２の量子化ステップサイズ算出手段から入力された量子化ステップサイズが規定の範囲内であることを検査し、該量子化ステップサイズが規定範囲を越える場合は、該量子化ステップサイズに最も近い規定範囲の値を前記所定数ブロック毎に量子化ステップサイズとし、該量子化ステップサイズが規定範囲を越えない場合は、前記所定数ブロック毎に量子化ステップサイズをそのままとする第３の量子化ステップサイズ設定手段と、前記量子化ステップサイズ変化範囲検査手段で設定した量子化ステップサイズを加算する第３の量子化ステップサイズ加算手段と、前記第３の量子化ステップサイズ加算手段により加算された量子化ステップサイズから現フレームの平均値を算出する第３の量子化ステップサイズ平均値算出手段と、を備えたことを特徴とする。
【００１８】
本発明においては、入力画像と動き補償予測値との差分に対してブロック単位に２次元の直交変換を実施して得られた変換係数を量子化・符号化して、符号化情報を生成し、この符号化情報は回線の伝送速度と整合させて出力される。ところが、シーンチェンジが発生すると、前フレームと画像内容が大きく異なってしまうため、前フレームの情報を利用できず、符号量が急激に増加して、画質の劣化を招く。そこで、符号化モード判定手段により、シーンチェンジを検出後を３つのモード、すなわちシーンチェンジ発生フレームモード、シーンチェンジ以降モード及び特定領域モードとして判定し、このモードに基づいて符号化制御手段により量子化を制御する。すなわち、シーンチェンジ発生フレームモード及びシーンチェンジ以降モードにおいて、シーンチェンジ発生フレームとそれ以降の所定数のフレームに対して、フレームレートを落として１フレーム当たりの符号量を増加させるとともに、特定領域の区別を行わず量子化ステップサイズを適用して、画質を向上させる。そして、特定領域モードにおいて画質が安定してきたところで、特定領域に多くの符号量を割り当てることで画質を向上させる。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態について説明する。
図１は本発明に係る動画像符号化装置の一実施形態を示すブロック図である。この動画像符号化装置は、前フレームと画像が全く変わってしまうシーンチェンジが発生したとき、画像の符号量が急激に増加することを考慮して、画質を劣化させないように、量子化・符号化を制御するものである。すなわち、シーンチェンジ直後、シーンチェンジから画質の安定するまで、画質の安定以降の３つの段階で量子化・符号化を制御する。
【００２０】
まず、図１に示すように、この動画像符号化装置は、フレームメモリ部１と、減算器２と、直交変換部３と、量子化部４と、符号化部５と、バッファメモリ部６と、逆量子化部７と、逆直交変換部８と、加算器９と、フレームメモリ部１０と、動き検出部１１と、動き補償予測部１２と、ブロックスキップ判定部１３と、特定領域抽出部１４と、シーンチェンジ検出部１５と、符号化モード判定部１６と、符号化制御部１７を備えている。特に、従来の動画像符号化装置と異なるのは、ブロックスキップ判定部１３、シーンチェンジ検出部１５、符合化モード判定部１６を有している点である。
【００２１】
上記構成による動画像符号化装置の動作は、以下の通りである。
フレームメモリ部１は、例えばＩＴＵ−Ｔ勧告Ｈ．２６１に従う共通フォーマット（ＣＩＦ、またはＱＣＩＦ）の入力画像を蓄積する。なお、ここではＱＣＩＦの入力画像を使用した例を述べる。減算器２において、フレームメモリ部１に蓄積された入力画像と動き補償予測部１２で算出される動き補償予測値との差分に対し、例えば８×８画素のブロック毎に２次元の離散コサイン変換（ＤＣＴ）を実施し、時間領域の信号から周波数領域の信号へ変換してＤＣＴ係数を量子化部４に出力する。量子化部４は、高い符号化効率を得るために符号化制御部１７で決定された量子化ステップサイズに従ってＤＣＴ係数の量子化を行い、符号化するＤＣＴ係数を削減する。このように量子化されたＤＣＴ係数は、符号化部５に出力される。符号化部５では、量子化されたＤＣＴ係数に適切な符号割当を行うエントロピー符号化を実施し、可変長符号からなる符号化情報を生成して出力する。
【００２２】
バッファメモリ部６は、符号化部５で生成された符号化情報と回線の伝送速度との整合をとるために符号化情報を蓄積し、この符号化情報を一定速度で出力する。逆量子化部７では量子化部４で行ったのと逆の処理である逆量子化を行い、逆量子化されたＤＣＴ係数を逆直交変換部８に出力する。逆直交変換部８において、２次元の逆離散コサイン変換を実施して、加算器９で逆直交変換部８の画像と動き補償予測部１２の動き補償予測値との間で加算が行われ、その結果がフレームメモリ部１０に蓄積される。
【００２３】
動き検出部１１では、フレームメモリ部１０の画像とフレームメモリ部１の画像との間でマクロブロック毎のフレーム間差分値を求め、それに基づいて動きベクトルを検出し、動き補償予測部１２に動きベクトルを出力する。また、マクロブロック毎のフレーム間差分値は、ブロックスキップ判定部１３とシーンチェンジ検出部１５へも入力される。
【００２４】
動き補償予測部１２は、フレームメモリ部１０の画像と動き検出部１１の動きベクトルから動き補償予測値を求める。また、動き補償予測値と入力画像の差分のパワー、入力画像のパワーを比較してフレーム間予測を行うか、あるいはフレーム内予測を行うかの判定を行う。この判定結果は、ブロックスキップ判定部１３に入力される。
【００２５】
ブロックスキップ判定部１３では、前フレームに対してあまり差のないマクロブロックを符号化しないように、そのマクロブロックをスキップさせて、符号化効率を向上させるためのマップを作成する。これは動き検出部１１からのマクロブロックのｘ方向の動きベクトル、ｙ方向の動きベクトルが共に０で、フレーム間差分値が所定の値より小さく、動き補償予測部１２での判定結果がフレーム内予測でないとき、そのブロックは符号化しないようにスキップされる。
【００２６】
特定領域抽出部１４では、画質を向上させる対象となる特定領域の抽出が行われる。例えば、動画像符号化装置をテレビ電話やテレビ会議に適用した場合、一般的に注目される領域は顔であり、顔領域を抽出して顔領域の画質改善を行うことによって主観的画質の改善を図ることができる。そこで、ここでは特定領域を顔領域とし、顔領域を抽出する手法について説明する。また、顔領域以外の領域を背景領域とする。
【００２７】
図２は特定領域抽出部１４の構成を示すブロック図である。この特定領域抽出部１４は、画像縮小部２１と、表色系変換部２２と、特定色領域抽出部２３と、画素数カウント部２４と、特定領域ブロック判定部２５を備えている。
【００２８】
上記構成の特定領域抽出部１４の動作は、以下の通りである。
画像縮小部２１では、フレームメモリ部１に蓄積されている入力画像のＹ，Ｃｂ，Ｃｒ成分を入力して、それぞれ所定の大きさの縮小画像を作成する。縮小画像を作成することで後の処理時間が短縮することができ、さらに輝度や色差の小さな変化が消えて有力な情報を残すことができる。ここでは、Ｙ成分は入力画像の４×４画素単位で平均値を求め１／１６に、Ｃｂ，Ｃｒ成分は入力画像の２×２画素単位で平均値を求め１／４の大きさにする。なお、ここでは縮小画像において、入力画像のマクロブロックに相当する大きさを単位ブロックと呼ぶ。
【００２９】
表色系変換部２２は、ＹＣｂＣｒ表色系の縮小画像をＨＳＶ表色系に変換する。ＨＳＶ表色系は、知覚的表色系と呼ばれ人間の知覚に近い表色系として知られており、各成分に相関のあるＹＣｂＣｒ表色系に比べて成分間の相関が低いので色を用いた領域分割に適している。
以下に、各表色系同士の変換式を示す。変換は、式（１）〜式（３）によりＹ，Ｃｂ，Ｃｒ成分を一旦、ＲＧＢ表色系に変換して、式（４）〜式（６）によりＨＳＶ表色系に変換する。
【００３０】
Ｒ＝Ｙ＋１．４０２０Ｃｒ                                      (1)
Ｇ＝Ｙ−０．３４４１Ｃｂ−０．７１３９Ｃｒ                    (2)
Ｂ＝Ｙ＋１．７７１８Ｃｂ−０．０１２Ｃｒ                      (3)
【数１】
0003748717.tif 000002
Ｖ＝ｍａｘ（Ｒ，Ｇ，Ｂ）                                      (6)
【００３１】
特定色領域抽出部２３では、安定した顔領域を抽出するためにＨＳＶ表色系において、シェーディングやシャドウの影響を受けにくいという特徴をもつＨ成分の縮小画像から顔領域を抽出する。これは、Ｈ成分画像の画素値をＨi,jとしたとき、顔領域を抽出するしきい値ＴｈHL，ＴｈHUにより次式の条件を満足する画素を抽出する。
ＴｈHL＜Ｈi,j＜ＴｈHU                                         (7)
【００３２】
画素数カウント部２４は、特定色領域抽出部２３で求めた顔領域において各単位ブロック内に存在する顔領域の画素数をカウントし、単位ブロック毎にカウントした結果を特定領域ブロック判定部２５に出力する。特定領域ブロック判定部２５では、画素数カウント部２４で単位ブロック毎にカウントした結果を有意ブロック判定のしきい値と比較し、しきい値以上であるか否かの判定を行う。このとき、しきい値以上のブロックを有意ブロック、そうでないものを有意でないブロックとして入力画像の１画面のブロックマップを得て、これを出力する。
【００３３】
ここで、有意ブロック判定のしきい値は、１フレームの目標符号量を基準にして設定する。すなわち、目標符号量が小さい場合には、より有効な単位ブロックを抽出するために、しきい値を大きくして、画素数カウント部２４でのカウント数が少ない単位ブロックを除去する。また、目標符号量が大きい場合には、画像の細かな部分も正確に伝送するために、しきい値を小さくして、画素数カウント部２４でのカウント数が少ない単位ブロックも抽出できるようにする。このようにして、目標符号量が大きくなるにつれて、特定領域ブロック判定のしきい値を段階的に小さくなるように、予め設定しておく。
【００３４】
図３は、あるしきい値で特定領域ブロック判定をした結果であり、ハッチングで示す特定領域ブロックとして抽出され、１画面の特定領域ブロックのマップを特定領域ブロックマップとする。本実施例では、ＱＣＩＦを対象としているので、特定領域ブロックマップの１ブロックは、１マクロブロックに相当し、９９個のブロックで構成する。
【００３５】
シーンチェンジ検出部１５では、動き検出部１１からのマクロブロック毎のフレーム間差分値の合計をＳＡＤsum、シーンチェンジ検出のしきい値をＴｈSCとしたとき、次式（８）を満足した場合に、シーンチェンジ発生として符号化モード判定部１６に通知する。
ＳＡＤsum＞ＴｈSC                                             (8)
【００３６】
符号化モード判定部１６は、シーンチェンジ検出部１５からシーンチェンジ発生の通知を受けたときに、符号化制御部１７にモード情報を出力する。このモード制御情報は、シーンチェンジ発生フレームに対してフレーム内符号化制御の実施をするシーンチェンジ発生フレームモード、画質が早期に安定するようにシーンチェンジ発生フレームから所定のフレーム数に対してシーンチェンジ符号化制御の実施をするシーンチェンジ以降モード、及びそれ以降のフレームに対して特定領域の画質を向上させる特定領域重視符号化制御の実施をする特定領域モードの各制御情報である。符号化制御部１７では、モード制御情報に基づいて、現フレームが所定の符号量になるように量子化部４を制御する。
【００３７】
図４は符号化制御部１７の構成を示すブロック図である。この符号化制御部１７は、フレーム内符号化制御部４１と、シーンチェンジ符号化制御部４２と、特定領域重視符号化制御部４３と、切換部４４とを備えている。
【００３８】
上記構成の符号化制御部１７の動作は、以下のとおりである。
符号化モード判定部１６からのシーンチェンジ発生フレームモードの制御情報により、フレーム内符号化制御実施の指示を受けたときに、フレーム内符号化制御部４１において、符号化部５４からの符号量情報に基づき、現フレーム（シーンチェンジ発生フレーム）に対してフレーム内符号化制御を行って、量子化ステップサイズを決定する。また、フレーム内符号化制御部４１からは、次フレームの符号化制御の際に使用される平均量子化ステップサイズがシーンチェンジ符号化制御部４２に入力される。切換部４４では、モード制御情報に従いフレーム内符号化制御部４１で決定された量子化ステップサイズが量子化部４に出力されるようにスイッチが切り換えられる。
【００３９】
１フレーム（シーンチェンジ発生フレーム）のフレーム内符号化が終了後、シーンチェンジ以降モードの制御情報により、シーンチェンジ符号化制御部４２において、符号化部５からの符号量情報に基づき、現フレームをシーンチェンジ符号化制御を行って量子化ステップサイズを決定する。シーンチェンジ符号化制御では、特定領域とそうでない領域の区別を行わず、フレームのこま落としを行って画質を向上させる。シーンチェンジ符号化制御部４２からは、次フレームの符号化制御の際に使用される平均量子化ステップサイズが、特定領域重視符号化制御部４３に入力される。切換部４４では、モード制御情報に従い、シーンチェンジ符号化制御部４２で決定された量子化ステップサイズが、量子化部４に出力されるようにスイッチが切り換えられる。
【００４０】
所定のフレーム数のシーンチェンジ符号化が終了後、特定領域モードの制御情報により、特定領域重視符号化制御部４３において、符号化部５からの符号量情報とブロックスキップ判定部１３からのブロックスキップマップと特定領域抽出部１４からの特定領域ブロックマップに基づき、現フレームの特定領域重視符号化制御を行って量子化ステップサイズを決定する。切換部４４では、モード制御情報に従い、特定領域重視符号化制御部４３で決定された量子化ステップサイズが量子化部４に出力されるようにスイッチが切り換えられる。
【００４１】
図５は、上記のフレーム内符号化制御部４１の構成を示すブロック図である。このフレーム内符号化制御部４１は、動作制御部５１と、フレーム内符号化目標符号量算出部５２と、量子化ステップサイズテーブル部５３と、量子化ステップサイズ加算部５４と、量子化ステップサイズ平均値算出部５５と、規定符号量監視部５６と、量子化ステップサイズインクリメント部５７とを備えている。
【００４２】
上記構成のフレーム内符号化制御部４１の動作は、以下のとおりである。
動作制御部５１は、入力されたモード制御情報（シーンチェンジ発生フレームモード）により、１フレーム（シーンチェンジ発生フレーム）内におけるマクロブロックに対する量子化ステップサイズの決定動作が制御される。本実施形態では、処理量を軽減するという観点から１１マクロブロック毎（図３における１行のマクロブロック数）に量子化ステップサイズを決定する例を述べるが、本方法は任意のマクロブロック毎に量子化ステップサイズを決定できる。すなわち、１マクロブロック毎や３３マクロブロック毎など量子化ステップサイズ決定周期を任意に設定できる。
【００４３】
まず、各フレームの最初に現フレームの１フレームあたりの目標符号量を算出するために、動作制御部５１がフレーム内符号化目標符号量算出部５２に起動をかける。ここでは、フレーム内符号量目標符号量をＩｎｉｔＢtargetとしたとき、次式（９）のように算出される。
【００４４】
【数２】
0003748717.tif 000003
【００４５】
ここで、Ｒは画像の伝送レート、ｆtargetは目標フレームレート、ｆfactorは１より大きい値でありｆtargetをこれで割ることにより、目標フレームレートよりフレームレートが低くなる。すなわち、伝送レートは一定であるから、フレームのこま落としを行うことによって、１フレームレートあたりの目標符号量が大きくなり、符号量を大きく消費するフレーム内符号化を行ったときでも、ブロックひずみやモスキート雑音を軽減できる。
【００４６】
量子化ステップサイズテーブル部５３では、ＩｎｉｔＢtargetに従い、予め符号量と量子化ステップサイズの関係を定めてあるテーブルから適当な量子化ステップサイズＱＰintraを選択し、出力して、１１マクロブロック分の量子化に使用される。量子化ステップサイズテーブル部５３を用いるのは、シーンチェンジ発生フレームが前フレームの量子化ステップサイズを参考にできないので、あらかじめＩｎｉｔＢtargetと量子化ステップサイズの関係を設定しておくためである。また、この量子化ステップサイズは量子化ステップサイズ加算部５４にも入力され、１フレームでの量子化ステップサイズの平均値を求めるために、使用された量子化ステップサイズが加算される。
【００４７】
最初の１１マクロブロックの量子化が終了後、次の１１マクロブロック以降に対しての量子化ステップサイズの決定処理が、動作制御部５１により指示される。まず、規定符号量監視部５６において、符号化部５から現時点での現フレームの符号量を示す符号量情報Ｂi,mbが入力され、現時点での規定の符号量Ｂmax,mbを越えていないかどうかが、次式により調べられる。ここで規定の符号量Ｂmax,mbとは、１フレームの符号量が標準規格Ｈ．２６１で定められている１フレーム当たりの最大符号量を越えることがないようにチェックするため、１１マクロブロック毎に定めたものである。すなわち、標準規格の最大符号量を１１マクロブロック毎に等分にして加算したものである。
Ｂi,mb＞Ｂmax,mb                                              (10)
【００４８】
式（１０）を満足したとき、規定の符号量を越えているので、
ＱＰintra＝ＱＰintra＋１                                      (11)
とし、直前の１１マクロブロックに使用された量子化ステップサイズをインクリメントする。ここで、式（１１）により量子化ステップサイズが１だけインクリメントされたが、これは１以上の値を用いることもできる。こうして、規定の符号量を越えたとき、量子化ステップサイズを増加させることにより、次の１１マクロブロックの符号量を減らすことができ、決して１フレームの符号量が標準規格の最大符号量を越えることがない。
【００４９】
この量子化ステップサイズは、次の１１マクロブロックを量子化するために切換部４４に出力され、前述と同様に量子化ステップサイズ加算部５４にも入力される。このような１１マクロブロック毎の処理が、現フレームの全てのマクロブロックに対して実施される。そして、最後の１１マクロブロックの量子化を終了した時点で、量子化ステップサイズ平均値算出部５５で現フレームで使用された量子化ステップサイズの平均値が算出され、シーンチェンジ符号化制御部４２に出力される。
【００５０】
図６はシーンチェンジ符号化制御部４２の構成を示すブロック図である。シーンチェンジ符号化制御部４２は、動作制御部６１と、シーンチェンジ符号化目標符号量算出部６２と、初期量子化ステップサイズ算出部６３と、量子化ステップサイズ変化範囲検査部６４と、量子化ステップサイズ加算部６５と、規定符号量監視部６６と、符号化中止処理部６７と、量子化ステップサイズ算出部６８と、量子化ステップサイズ平均値算出部６９とを備えている。
【００５１】
上記構成のシーンチェンジ符号化制御部４２の動作は以下のとおりである。
動作制御部６１は、入力されたモード制御情報（シーンチェンジ以降モード）により、次のマクロブロックに対する量子化ステップサイズの決定動作が制御される。本実施形態では、前述と同様に処理量を軽減するという観点から１１マクロブロック毎に量子化ステップサイズを決定する例を述べるが、本方法は任意のマクロブロック毎に量子化ステップサイズを決定できる。すなわち、１マクロブロック毎や３３マクロブロック毎などに量子化ステップサイズ決定周期を任意に設定できる。
【００５２】
まず、各フレームの最初に現フレームの１フレームあたりの目標符号量を算出するために、動作制御部６１がシーンチェンジ符号化目標符号量算出部６２に起動をかける。ここでは、シーンチェンジ符号化目標符号量ＳｃＢtargetとしたとき、次式（１２）のように算出される。
【００５３】
【数３】
0003748717.tif 000004
【００５４】
ここで、Ｒは画像の伝送レート、ｆtargetは目標フレームレート、ｆfactorは１より大きい値でありｆtargetをこれで割ることにより、目標フレームレートよりフレームレートが低くなるが、１フレームあたりの目標符号量が大きくなり符号量を大きく消費するシーンチェンジ符号化を行ったときでも、ブロックひずみやモスキート雑音を軽減できる。
【００５５】
また、動作制御部６１は、フレームの最初のマクロブロックの量子化ステップサイズを算出するため、各フレームの最初に、初期量子化ステップサイズ算出部６３にも起動をかける。ここでは、前フレームのフレーム内符号化時の平均量子化ステップサイズＩｎｔｒａＡｖｅＱＰi-1から次式（１３）のように量子化ステップサイズＱＰnewを算出する。
ＱＰnew＝ＩｎｔｒａＡｖｅＱＰi-1*０．５                      (13)
【００５６】
また、量子化ステップサイズ算出部６８で利用するために、次式のように平均量子化ステップサイズＳｃＡｖｅＱＰi-1を求める。
ＳｃＡｖｅＱＰi-1＝ＱＰnew                                   (14)
【００５７】
量子化ステップサイズ変化範囲検査部６４は、初期量子化ステップサイズ算出部６３、あるいは量子化ステップサイズ算出部６８で決定された量子化ステップサイズが所定の最小値ＱＰmin,最大値ＱＰmaxの範囲にあるかを、次式（１５），（１６）により検査する。そして、式を満足した場合は、ＱＰnewをＱＰmin,あるいはＱＰmaxに置き換える。こうすることで、画質を一定範囲に保つことができる。
ＱＰnew＜ＱＰminのときＱＰnew＝ＱＰmin                       (15）
ＱＰnew＞ＱＰmaxのときＱＰnew＝ＱＰmax                       (16)
【００５８】
量子化ステップサイズ変化範囲検査部６４で検査された量子化ステップサイズは、１１マクロブロックの量子化のために切換部４４に出力される。また、この量子化ステップサイズは量子化ステップサイズ加算部６５にも出力され、１フレームでの量子化ステップサイズの平均値を求めるために使用された量子化ステップサイズが加算される。
【００５９】
１１マクロブロック毎の量子化が終了後、動作制御部６１は規定符号量監視部６６に起動をかける。規定符号量監視部６６において、符号化部５から現時点での現フレームの符号量を示す符号量情報が入力され、現フレームにおいて符号化が終了した現マクロブロックまでの符号量Ｂi,mbを得ることにより、現時点での規定の符号量Ｂmax,mbを越えていないかどうかが、前述した式（１０）により調べられる。式（１０）を満足したとき、規定の符号量を越えているので、これ以上、符号量を増加させることができない。このとき、符号化中止処理部６７では現フレームの残りのマクロブロックに対して量子化を行わないようにして、量子化ステップサイズ平均値算出部６９から現在までの量子化ステップサイズの平均値を算出して出力する。これ以降のマクロブロックについては、符号化を行わないので、前フレームの画像が用いられることになる。
【００６０】
量子化ステップサイズ算出部６８は、規定符号量監視部６６で規定符号量を超えていないときに実行される。これは、現在の符号量が現在の符号化位置を考慮した目標符号量ＳｃＢtargetに対して大きいときは、次の１１マクロブロックの量子化ステップサイズを大きくする。また、現在の符号量が現在の符号化位置を考慮したＳｃＢtargetより小さいときは、量子化ステップサイズを小さくするように動作する。１フレームにおけるマクロブロック数（ＣＩＦのときは３９６、ＱＣＩＦのときは９９）をＭＢ、現フレームにおいて符号化が終了した現マクロブロック数をｍｂ、符号量情報からの前フレームの符号量をＢi-1としたとき、次の１１マクロブロックに対する量子化ステップサイズをＱＰnewを式（１７）のように算出する。
【００６１】
【数４】
0003748717.tif 000005
【００６２】
ＱＰnewは、量子化ステップサイズ変化範囲検査部６４に入力されると、量子化ステップサイズが所定範囲内にあるかどうかが前述した方法で調べられ、切換部４４及び量子化ステップサイズ加算部６５に入力される。
【００６３】
このような１１マクロブロック毎の処理が、現フレームの全てのマクロブロックに対して実施される。そして、最後の１１マクロブロックの量子化を終了した時点、あるいは符号化中止処理が行われたときに現フレームで使用された量子化ステップサイズの平均値が算出され、ＳｃＡｖｅＱＰi-1が更新される。また、ＳｃＡｖｅＱＰi-1は次の処理である特定領域重視符号化制御部４３にも出力される。
【００６４】
図７は特定領域重視符号化制御部４３の構成を示すブロック図である。この特定領域重視符号化制御部４３は、動作制御部７１と、初期量子化ステップサイズ算出部７２と、量子化ステップサイズ変化範囲検査部７３と、量子化ステップサイズ加算部７４と、特定領域重視符号化目標符号量算出部７５と、特定領域割当符号量算出部７６と、規定符号量監視部７７と、符号化中止処理部７８と、量子化ステップサイズ算出部７９と、量子化ステップサイズ平均値算出部８０を備えている。
【００６５】
上記構成の特定領域重視符号化制御部４３の動作は、以下のとおりである。
動作制御部７１は、入力されたモード制御情報（特定領域モード）により、次のマクロブロックに対する量子化ステップサイズの決定動作が制御される。本実施形態では、前述と同様に処理量を軽減するという観点から１１マクロブロック毎に量子化ステップサイズを決定する例を述べるが、本方法は任意のマクロブロック毎に量子化ステップサイズを決定できる。すなわち、１マクロブロック毎や３３マクロブロック毎など量子化ステップサイズ決定周期を任意に設定できる。
【００６６】
シーンチェンジ符号化制御から切り換わった最初の特定領域重視符号化制御のフレームの制御に対し、動作制御部７１は、フレームの最初のマクロブロックの量子化ステップサイズを算出するために、初期量子化ステップサイズ算出部７２に起動をかける。ここでは、前フレームのシーンチェンジ符号化時の最後のフレームから算出された平均量子化ステップサイズＳｃＡｖｅＱＰi-1から、次式（１８），（１９）のようにそれぞれ顔領域および背景領域のマクロブロックに対する量子化ステップサイズＦａｃｅＱＰnew,ＮｏｎＦａｃｅＱＰnewを算出する。
ＦａｃｅＱＰnew＝ＳｃＡｖｅＱi-1                            (18)
ＮｏｎＦａｃｅＱＰnew＝ＳｃＡｖｅＱＰi-1                      (19)
【００６７】
このように、シーンチェンジ符号化時の最後のフレームでは、顔領域および背景領域の区別なく、量子化ステップサイズが設定されていたので、量子化ステップサイズＦａｃｅＱＰnew,ＮｏｎＦａｃｅＱＰnewは同じ値となる。
【００６８】
量子化ステップサイズ変化範囲検査部７３は、初期量子化ステップサイズ算出部７２、あるいは量子化ステップサイズ算出部７９で決定された顔領域および背景領域の量子化ステップサイズが、それぞれの所定の最小値ＦａｃｅＱＰmin，ＮｏｎＦａｃｅＱＰmin，最大値ＦａｃｅＱＰmax，ＮｏｎＦａｃｅＱＰmaxの範囲にあるかを次式（２０），（２１），（２２），（２３）により検査する。式を満足した場合は、ＦａｃｅＱＰnewをＦａｃｅＱＰmin,あるいはＦａｃｅＱＰmaxに、ＮｏｎＦａｃｅＱＰnewをＮｏｎＦａｃｅＱＰmin,あるいはＮｏｎＦａｃｅＱＰmaxに置き換える。こうすることで画質をある程度一定範囲に保つことができる。
【００６９】
0003748717.tif 000006
【００７０】
ここで検査された量子化ステップサイズは、１１マクロブロックの量子化のために出力される。そして、特定領域抽出部１４からの特定領域ブロックマップに従い、量子化対象となるマクロブロックが顔領域であるときには、ＦａｃｅＱＰnew、背景領域である場合は、ＮｏｎＦａｃｅＱＰnewが、選択されて出力される。また、この量子化ステップサイズは量子化ステップサイズ加算部７４にも入力され、１フレームでの顔領域および背景領域の量子化ステップサイズの平均値を求めるために、使用された量子化ステップサイズがそれぞれ加算される。
【００７１】
また、動作制御部７１が、現フレームの１フレームあたりの目標符号量を算出するために、各フレームの最初に、特定領域重視符号化目標符号量算出部７５に起動をかける。ここでは、特定領域重視符号化目標符号量Ｂtargetとしたとき、次式（２４）のように算出される。
【００７２】
【数５】
0003748717.tif 000007
【００７３】
特定領域割当目標符号量算出部７６は、特定領域ブロックマップとブロックスキップマップに基づいて、それぞれ顔領域、背景領域の１マクロブロック当たりの目標符号化符号量を算出する。まず、特定領域ブロックマップから顔領域のマクロブロック数ＦａｃｅＭＢを求める。また、背景領域のマクロブロック数をＮｏｎＦａｃｅＭＢとする。次に、ブロックスキップマップにより符号化される顔領域のマクロブロック数ＣｏｄｅｄＦａｃｅＭＢとスキップされる顔領域のマクロブロック数ＮｏｔＣｏｄｅｄＦａｃｅＭＢ、さらに符号化される背景領域のマクロブロック数ＣｏｄｅｄＮｏｎＦａｃｅＭＢとスキップされる背景領域のマクロブロック数ＮｏｔＣｏｄｅｄＮｏｎＦａｃｅＭＢを求める。これらの値から、どれくらい顔領域と背景領域に符号量が割り当てられるかを示すＦａｃｅＡｓｓｉｇｎＦａｃｔｏｒとＮｏｎＦａｃｅＡｓｓｉｇｎＦａｃｔｏｒを次式のように算出する。
【００７４】
0003748717.tif 000008
【００７５】
但し、
【数６】
0003748717.tif 000009
【００７６】
さらに、１マクロブロック当たりの顔領域および背景領域に割り当てる目標符号量をそれぞれＦａｃｅＢｉｔ，ＮｏｎＦａｃｅＢｉｔとしたとき、
【数７】
0003748717.tif 000010
のように求める。
【００７７】
１１マクロブロック毎の量子化が終了後、動作制御部７１は規定符号量監視部７７に起動をかける。規定符号量監視部７７において、符号化部５から現時点での現フレームの符号量を示す符号量情報が入力され、現フレームにおいて符号化が終了した現マクロブロックまでの符号量Ｂi,mbを得ることにより、現時点での規定の符号量Ｂmax,mbを越えていないかどうかが、前述した式（１０）により調べられる。式（１０）を満足したとき、規定の符号量を越えているので、これ以上、符号量を増加させることができない。このとき、符号化処理中止処理部７８では、現フレームの残りのマクロブロックに対して量子化を行わないようにして、量子化ステップサイズ平均値算出部８０から現在までの量子化ステップサイズの平均値を算出して出力する。これ以降のマクロブロックについては、符号化を行わないので、前フレームの画像が用いられることになる。
【００７８】
量子化ステップサイズ算出部７９は、規定符号量監視部７７で規定符号量を超えていないときに実行される。これは、特定領域ブロックマップとブロックスキップマップに基づき、現在の符号量が現在の符号化位置を考慮した目標符号量Ｂtargetに対して大きいときは、次の１１マクロブロックの量子化ステップサイズを大きくする。また、現在の符号量が現在の符号化位置を考慮したＢtargetより小さいときは、量子化ステップサイズを小さくするように動作する。１フレームにおけるマクロブロック数（ＣＩＦのときは３９６、ＱＣＩＦのときは９９）をＭＢ、現フレームにおいて符号化が終了した符号化される顔領域の現マクロブロック数をｃｏｄｅｄｆａｃｅｍｂ、現フレームにおいて符号化が終了した符号化される背景領域の現マクロブロック数をｃｏｄｅｄｎｏｎｆａｃｅｍｂ、符号量情報からの前フレームの符号量をＢi-1としたとき、次の１１マクロブロックに対する背景領域の量子化ステップサイズをＮｏｎＦａｃｅＱＰnewとし、式（２９）のように算出する。
【００７９】
【数８】
0003748717.tif 000011
【００８０】
また、ＮｏｎＦａｃｅＱＰnewの状態により、次の１１マクロブロックに含まれる顔領域マクロブロックに対する量子化ステップサイズＦａｃｅＱＰnewが更新される条件は以下の２つの場合である。
ＮｏｎＦａｃｅＱＰnew＜ＮｏｎＦａｃｅＱＰmin                 (30)
ＮｏｎＦａｃｅＱＰnew＞ＮｏｎＦａｃｅＱＰmax                 (31)
式（３０）を満足する場合は、現符号量が目標符号量よりも少ないので更に細かな量子化ステップサイズを使用可能なときである。従って、ＦａｃｅＱＰnewを
ＦａｃｅＱＰnew＝ＦａｃｅＱＰnew−１                         (32)
とする。また、逆に式（３１）を満足する場合は発生符号量が目標符号量よりも超過しており、符号量を削減する必要がある。従ってそのときは、
ＦａｃｅＱＰnew＝ＦａｃｅＱＰnew＋１                         (33)
とする。
【００８１】
ＦａｃｅＱＰnew、ＮｏｎＦａｃｅＱＰnewは、量子化ステップサイズ変化範囲検査部７３に入力され、量子化ステップサイズが所定範囲内にあるかどうかが前述した方法で調べられ、切換部４４及び量子化ステップサイズ加算部７４に出力される。
【００８２】
このような１１マクロブロック毎の処理が、現フレームのすべてのマクロブロックに対して実施される。そして、最後の１１マクロブロックの量子化を終了した時点、あるいは符号化中止処理が行われた時点で、現フレームで使用された量子化ステップサイズの平均値が算出され、顔領域および背景領域の量子化ステップサイズＦａｃｅＡｖｅＱＰi-1、ＮｏｎＦａｃｅＡｖｅＱＰi-1が更新される。そして、次フレームの量子化ステップサイズを算出するために、量子化ステップサイズ算出部８０に出力される。
【００８３】
以上のように背景領域よりも顔領域のマクロブロックに多くの符号量を割り当てることで、顔領域の画質を向上させることができる。
【００８４】
【発明の効果】
以上の説明から明らかなように、本発明によれば、前記符号化モード判定手段により判定したモードに基いて、シーンチェンジ発生フレーム及びそれ以降の所定数のフレームに対しては、フレームレートを落として特定領域の区別なく前記量子化手段に量子化ステップサイズを設定し、所定数のフレーム以降のフレームに対しては、フレームレートを戻して特定領域の符号量を増加させる量子化手段に量子化ステップサイズを設定して量子化を制御する符号化制御手段を備えている。したがって、シーンチェンジ直後の画質が不安定の時は、画面の動きを犠牲にしても、全体の画質を重視して符号化制御を行い、画質が安定した時には、特定領域の画質を向上させるように符号化制御を行うので、一定の伝送レートにおいても常に歪みや雑音が少なく画質が低下することがない。
【図面の簡単な説明】
【図１】  本発明に係る動画像符号化装置の一実施形態を示すブロック図である。
【図２】  特定領域抽出部の構成を示すブロック図である。
【図３】  特定領域ブロックマップを示す説明図である。
【図４】  符号化制御部の構成を示すブロック図である。
【図５】  フレーム内符号化制御部の構成を示すブロック図である。
【図６】  シーンチェンジ符号化制御部の構成を示すブロック図である。
【図７】  特定領域重視符号化制御部の構成を示すブロック図である。
【図８】  従来の動画像符号化装置の一例を示すブロック図である。
【符号の説明】
１  フレームメモリ部
２  減算器
３  直交変換部
４  量子化部
５  符号化部
６  バッファメモリ部
７  逆量子化部
８  逆直交変換部
９  加算器
１０  フレームメモリ部
１１  動き検出部
１２  動き補償予測部
１３  ブロックスキップ判定部
１４  特定領域抽出部
１５  シーンチェンジ検出部
１６  符号化モード判定部
１７  符号化制御部
【図１】
0003748717.tif 000012
【図２】
0003748717.tif 000013
【図３】
0003748717.tif 000014
【図４】
0003748717.tif 000015
【図５】
0003748717.tif 000016
【図６】
0003748717.tif 000017
【図７】
0003748717.tif 000018
【図８】
0003748717.tif 000019