(57)【特許請求の範囲】
【請求項１】
複数のオブジェクトの画像データを入力する入力手段と、
前記入力手段によって入力された画像データをオブジェクト単位に符号化する符号化手段と、
符号量割り当てに対する優先順位を前記各オブジェクトに対して設定し、前記各オブジェクトの画像データを符号化した際の総符号量が所定符号量を超えないように、前記優先順位が低いオブジェクトほど、前記オブジェクトの符号量を削減することで前記符号化手段での各オブジェクトに対する符号化条件を制御する制御手段
とを有し、
前記制御手段は、前記各オブジェクトの重なりと上下関係に基づいて、各オブジェクトが表示されている面積を求め、この面積の大きい順に各オブジェクトの優先順位を決定することを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記オブジェクトに設定された優先順位に従い、最低優先順位のオブジェクトの符号量を低減し、最低優先順位のオブジェクトの符号量の低減回数が所定の回数に達した場合に、他のオブジェクトを最低優先順位に設定する請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記オブジェクトに設定された優先順位に従い、最低優先順位のオブジェクトの符号量を低減し、最低優先順位のオブジェクトの符号量が所定下限値を下回ると、他のオブジェクトを最低優先順位に設定する請求項１に記載の画像処理装置。
【請求項４】
複数のオブジェクトの画像データを入力する入力ステップと、
前記入力された画像データをオブジェクト単位に符号化する符号化ステップと、
符号量割り当てに対する優先順位を前記各オブジェクトに対して設定し、前記各オブジェクトの画像データを符号化した際の総符号量が所定符号量を超えないように、前記優先順位が低いオブジェクトほど、前記オブジェクトの符号量を削減することで前記符号化ステップでの各オブジェクトに対する符号化条件を制御する制御ステップ
とを有し、
前記制御ステップでは、前記各オブジェクトの重なりと上下関係に基づいて、各オブジェクトが表示されている面積を求め、この面積の大きい順に各オブジェクトの優先順位を決定することを特徴とする画像処理方法。
【請求項５】
請求項４に記載の画像処理方法を実行するプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び方法並びに記憶媒体に関し、より具体的には、特に動画像における複数の任意形状オブジェクトを符号化する画像処理装置及び方法並びに記憶媒体に関する。
【０００２】
【従来の技術】
近年、画像データをオブジェクト毎に分離合成する処理が注目されている。特に、動画像符号化方式として、ＭＰＥＧ−４符号化方式が規格化されつつある。ＭＰＥＧ−４符号化方式では、オブジェクト毎の符号化／復号化が可能となり、符号化効率の向上、伝送路に応じたデータ配分及び画像の再加工など、従来は困難であったさまざまな応用が期待されている。
【０００３】
ＭＰＥＧ−４方式で扱うオブジェクトは、輝度（Ｙ）データと色差（クロマ）データの画像データそのものの他に、オブジェクトの形状を表すデータ（シェイプデータ）とオブジェクトの透過度を表すαデータがある。ただし、オブジェクトに半透明の状態がない場合にはαデータは省略される。以下、αデータに関する説明は省略する。
【０００４】
図１３乃至図２０を参照して、オブジェクト符号化の基本を説明する。図１３に示すような画像、すなわち、背景、人物及びロケットの３つのオブジェクトから構成されている画像を想定する。図１３に示す画像をオブジェクト毎に分離すると、図１４に示すように、背景（ａ）、人物（ｂ）及びロケット（ｃ）の３つのオブジェクトが得られ、これらを個別に符号化した後、多重化する。
【０００５】
図１５は、オブジェクト単位で符号化する従来の画像符号化装置の概略構成ブロック図を示す。従来の画像符号化回路では、オブジェクト毎に符号化回路とその発生符号量を制御する回路が設けられている。図１３に示す例では、符号化回路１１０ａ〜１１０ｃ、各符号化回路１１０ａ〜１１０ｃの出力符号を一時記憶するバッファ１１２ａ〜１１２ｃ、及び、バッファ１１２ａ〜１１２ｃの記憶符号量に従い、符号化回路１１０ａ〜１１０ｃの出力符号量を制御する符号量制御回路１１４ａ〜１１４ｃが、オブジェクト毎に設けられる。そして、多重化回路１１６が、バッファ１１２ａ〜１１２ｃの出力を多重化して、出力する。
【０００６】
背景画像と任意形状のオブジェクトに対する符号化回路の構成を詳しく説明する。背景画像の符号化は任意形状オブジェクトの符号化の特殊形として実行できる。
【０００７】
背景画像はフレームサイズの画像なので、従来のフレーム処理と同様になる。図１５では、符号化回路１１０ａへの入力を画像データのみとして、形状データを省略できる。先ず、画面をマクロブロックサイズに分割し、各マクロブロック毎に符号化処理を実行する。背景画像をマクロブロックに分割した様子を図１６に示す。
【０００８】
各マクロブロックの符号化処理の概略構成ブロック図を図１７に示す。減算器１２０は、フレーム内符号化のフレームでは、入力する現在の画像データ（輝度・色差データ）をそのまま離散コサイン変換（ＤＣＴ）回路１２２に出力し、フレーム間予測符号化のフレームでは、入力する現在の画像データから予測値を減算してＤＣＴ回路１２２に出力する。ＤＣＴ回路１２２は、マクロブロック単位で減算器１２０の画像データ（又は画像差分データ）を離散コサイン変換し、量子化回路１２４はＤＣＴ回路１２２から出力されるＤＣＴ係数を量子化し、逆量子化回路１２６と可変長符号化回路１４０に印加する。
【０００９】
逆量子化回路１２６は、量子化回路１２４の出力を逆量子化し、逆ＤＣＴ回路１２８は、逆量子化回路１２６の出力を逆離散コサイン変換する。加算器１３０は、逆ＤＣＴ回路１２８の出力データがフレーム内符号化されたフレームの画像データである場合には、そのままメモリ１３２に出力し、逆ＤＣＴ回路１２８の出力データがフレーム間符号化されたフレームの画像差分データである場合には、予測値を加算してメモリ１３２に出力する。メモリ１３２は、フレーム間符号化の予測フレームとなる１又は複数フレームの画像データを記憶する。
【００１０】
動き検出回路１３４は、入力する一連のフレームの画像データからマクロブロック単位で動きを検出する。動き検出には、Ｐフレームと呼ばれる片方向の予測と、Ｂフレームと呼ばれる両方からの予測がある。通常、色差（クロマ）データの場合は、輝度（Ｙ）データから求めた動きベクトルが用いられる。動き補償回路１３６は、メモリ１３２からの予測フレームの画像データを、動き検出回路１３４からの動きベクトルで動き補償し、フレーム間予測符号化の予測値として減算器１２０及び加算器１３０に印加する。動きベクトル予測回路１３８は動き検出回路１３４で検出された動きを予測し、動きベクトルの予測値を可変長符号化回路１４０に印加する。
【００１１】
可変長符号化回路１４０は、量子化回路１２４及び動きベクトル予測回路１３８の出力データを可変長符号化して、出力する。
【００１２】
バッファ１１２ａ〜１１２ｃは、符号化回路１１０ａ〜１１０ｃから出力される画像の符号化データ及び動きベクトルの符号化データを一時記憶する。符号量制御回路１１４ａ〜１１４ｃは、バッファ１１２ａ〜１１２ｃの使用量又は残容量をチェックし、発生符号量が目標符号量に収まるように、符号化回路１１０ａ〜１１０ｃの量子化回路１２４の量子化ステップサイズを制御する。
【００１３】
人物（図１４（ｂ））とロケット（図１４（ｃ））では、画像データと形状データの両方が必要となる。図１８（ａ）は、人物の形状データを示し、図１８（ｂ）はロケットの形状データを示す。形状データは、対象となるオブジェクトを包含するバウンディングボックスと呼ばれる矩形領域で規定される。図１９（ａ），（ｂ）に示す矩形１４２，１４４がバウンディングボックスである。任意形状の画像を扱う場合も、符号化の処理単位はマクロブロックとなるので、バウンディングボックスは、マクロブロックの整数倍になる。図２０（ａ），（ｂ）は、バウンディングボックス内でのマクロブロック単位の分割の様子を示す。バウンディングボックス内のデータは、オブジェクトの内部か外部かの２値データとなる。
【００１４】
画像データも形状データと同様にバウンディングボックスサイズで符号化される。図２１（ａ），（ｂ）に示す矩形１４６，１４８は、それぞれ、人物及びロケットの画像データのバウンディングボックスを示す。画像データは８ビットの多値データなので、オブジェクト外部にはパディングと呼ばれる処理を施す。パディングは、オブジェクトの境界が不連続となることからくる符号化効率の低下を防ぐ処理である。図２２（ａ），（ｂ）はそれぞれ、人物及びロケットの画像データのマクロブロック分割例を示す。
【００１５】
図２３は、符号化回路１１０ａ〜１１０ｃの概略構成ブロック図を示す。画像データに対する処理は、図１７と同じであり、同じ機能の構成要素には同じ符号を付してある。フレーム内符号化は、Ｉ−ＶＯＰ（Ｉｎｔｒａ−Ｖｉｄｅｏ  Ｏｂｊｃｃｔ  Ｐｌａｎｅ）と呼ばれ、フレーム間符号化の片方向予測処理はＰ−ＶＯＰと呼ばれ、フレーム間符号化の双方向予測処理はＢ−ＶＯＰと呼ばれる。
【００１６】
形状符号化回路１５０が形状データを予測符号化する。形状符号化回路１５０の出力符号はメモリ１５２と可変長符号化回路１５８に印加される。メモリ１５２は、遅延手段として機能し、記憶データを動き補償回路１５６に読み出す。他方、動き検出回路１５４は、画像データと形状データから動きを検出し、検出結果を、動き補償回路１３６、動きベクトル予測回路１３８及び動き補償回路１５６に供給する。動き補償回路１５６は、動き検出回路１５４からの動きベクトルに従い、メモリ１５２からのデータを動き補償して、形状符号化回路１５０に印加する。形状符号化回路１５０は、動き補償回路１５６からの動き補償予測値に従って、入力形状データを予測符号化する。
【００１７】
可変長符号化回路１５８は、量子化回路１２４からの符号化画像データ、動きベクトル予測回路１３８からの動きベクトル情報及び形状符号化回路１５０からの符号化形状データを可変長符号化する。
【００１８】
各符号化回路１１０ａ〜１１０ｃで符号化されたデータは、一旦、バッファ１１２ａ〜１１２ｃに蓄えられる。発生符号量は時間により変動するので、一定の期間を設けてその範囲内で符号量を一定に保つ必要がある。符号量制御回路１１４ａ〜１１４ｃは、それぞれ、バッファ１１２ａ〜１１２ｃの残容量（又は記憶データ量）をチェックし、その結果が所定値になるように量子化回路１２４の量子化ステップサイズを制御する。これにより、発生符号量が目標符号量に収束するように制御される。
【００１９】
多重化回路１１６は、バッファ１１２ａ〜１１２ｃからのデータを多重化し、１つのストリームにまとめて出力する。図１５では、ビデオデータのみを図示してあるが、オーディオデータ及び合成画像のシーン記述データなども多重化の対象となる。
【００２０】
【発明が解決しようとする課題】
従来例では、オブジェクト毎に目標符号量を予め設定しておかなければならず、システム全体の目標符号量に対して最適な各オブジェクトの符号量を設定することが不可能又は困難であるという問題点があった。例えば、人物の目標符号量を低めに設定してしまい、ロケット及び背景の目標符号量が高いと、人物だけがボケた画像になってしまう。また、人物及びロケットに多くの符号を割り当てると、背景の画質が劣化する。これらのバランスを考慮して各オブジェクトの目標符号量を設定しなければならないが、それは極めて困難であった。
【００２１】
また、時間の経過に応じて、オブジェクトの大きさ等も変化するが、従来例では、このような時間変化に適切に追従して全体の符号量を制御することがほとんど不可能であった。
【００２２】
本発明は、システム全体の目標符号量に対し、最適な各オブジェクトの符号量を容易に設定できる画像処理装置及び方法並びに記憶媒体を提示することを目的とする。
【００２３】
【課題を解決するための手段】
本発明に係る画像処理装置は、複数のオブジェクトの画像データを入力する入力手段と、前記入力手段によって入力された画像データをオブジェクト単位に符号化する符号化手段と、符号量割り当てに対する優先順位を前記各オブジェクトに対して設定し、前記各オブジェクトの画像データを符号化した際の総符号量が所定符号量を超えないように、前記優先順位が低いオブジェクトほど、前記オブジェクトの符号量を削減することで前記符号化手段での各オブジェクトに対する符号化条件を制御する制御手段とを有し、前記制御手段は、前記各オブジェクトの重なりと上下関係に基づいて、各オブジェクトが表示されている面積を求め、この面積の大きい順に各オブジェクトの優先順位を決定することを特徴とする。
【００２４】
本発明に係る画像処理方法は、複数のオブジェクトの画像データを入力する入力ステップと、前記入力された画像データをオブジェクト単位に符号化する符号化ステップと、符号量割り当てに対する優先順位を前記各オブジェクトに対して設定し、前記各オブジェクトの画像データを符号化した際の総符号量が所定符号量を超えないように、前記優先順位が低いオブジェクトほど、前記オブジェクトの符号量を削減することで前記符号化ステップでの各オブジェクトに対する符号化条件を制御する制御ステップとを有し、前記制御ステップでは、前記各オブジェクトの重なりと上下関係に基づいて、各オブジェクトが表示されている面積を求め、この面積の大きい順に各オブジェクトの優先順位を決定することを特徴とする。
【００２５】
本発明に係る記憶媒体には、上述の画像処理方法を実行するプログラムソフトウエアが格納される。
【００２６】
【実施例】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【００２７】
図１は、本発明の一実施例の概略構成ブロック図を示す。１０ａ，１０ｂ，１０ｃはそれぞれ、オブジェクト毎の画像データ及び形状データを符号化する符号化回路、１２ａ，１２ｂ，１２ｃはそれぞれ、符号化回路１０ａ，１０ｂ，１０ｃの出力データを一時記憶するバッファ、１３はオブジェクト間での優先順位を設定する優先順位設定回路、１４は、付加データ及びバッファ１２ａ，１２ｂ，１２ｃの残容量又は記憶データ量に従い、全発生符号量が最適値になるように符号化回路１０ａ，１０ｂ，１０ｃによる圧縮率（具体的には、量子化ステップサイズ）を制御する符号量制御回路、１６は、バッファ１２ａ，１２ｂ，１２ｃの出力を多重化する多重化回路である。付加データは、符号量制御のパラメータとして、予め決めておいたオブジェクト間での優先順位等を示すデータである。
【００２８】
図２は、符号量制御回路１４の動作フローチャートを示し、図３は、符号量制御回路１４により発生符号量が目標符号量に収束する様子を示す模式図である。図２及び図３を参照して、符号量発生回路１４の動作を説明する。
【００２９】
符号量制御回路１４は、バッファ１２ａ，１２ｂ，１２ｃの記憶データ量を積算して、総符号量を計算する（Ｓ１）。総符号量が目標符号量により少ないかどうかを判定し（Ｓ２）、目標符号量より多い場合には（Ｓ２）、最低優先順位のオブジェクトの符号量を低減するように符号化回路１０ａ，１０ｂ又は１０ｃを制御する（Ｓ３）。そして、再度、総符号量を計算し（Ｓ１）、目標符号量を下回るまで（Ｓ２）、最低優先順位のオブジェクトの符号量の低減（Ｓ３）と再計算（Ｓ１）を繰り返す。
【００３０】
図３に示す例では、１８ａが背景の発生符号量、１８ｂが人物の発生符号量、１８ｃがロケットの発生符号量であり、オブジェクト間の優先順位は背景が最も低いとする。１回目では、発生符号量が目標符号量を上回っている。背景の符号量を削減した後の発生総符号量を再計算する。その計算結果（反復回数２）でも、目標符号量を超えているので、再度、背景の符号量を削減する。総発生符号量が目標符号量を下回るまで、この処理を繰り返す。収まるまで繰り返す。図３の例では、５回目の反復で目標符号量内に収まっている。
【００３１】
図２に示すフローチャートでは、背景画像の画質のみを劣化させたが、背景、人物及びロケットの順に順位付けし、これらの発生符号量のバランスを取りながら各発生符号量を制御しても良い。その動作フローチャートを図４に示す。図５は、図４に示す動作での、符号量変化例の模式図を示す。
【００３２】
符号量制御回路１４は、バッファ１２ａ，１２ｂ，１２ｃの記憶データ量を積算して、総符号量を計算する（Ｓ１１）。総符号量が目標符号量により少ないかどうかを判定し（Ｓ１２）、目標符号量より多い場合には（Ｓ１２）、最低優先順位のオブジェクトの符号量を低減するように符号化回路１０ａ，１０ｂ又は１０ｃを制御する（Ｓ１３）。最低優先順位のオブジェクトの優先順位を最高順位に変更して、他のオブジェクトの優先順位を順次、繰り下げる（Ｓ１４）。そして、再度、総符号量を計算し（Ｓ１１）、目標符号量を下回るまで（Ｓ１２）、最低優先順位のオブジェクトの符号量の低減（Ｓ１３）、優先順位の変更（Ｓ１４）及び再計算（Ｓ１１）を繰り返す。
【００３３】
図５に示す例では、当初、優先順位は、ロケット、人物及び背景の順に低くなるが、１回目の計算での発生符号量が目標符号量を越えているので、最低優先順位の背景の符号量１８ａを低減する。その結果の２回目の計算でも発生符号量が目標符号量を越えているので、今度は、人物の符号量１８ｂを低減する。３回目の計算結果に対してロケットの符号量１８ｃを低減し、４回目の計算結果に対しては再び、背景の符号量１８ａを削減する。このように、符号量を削減する対象のオブジェクトを循環することで、１つのオブジェクトの品質のみが低下することを防止して、各オブジェクトルの品質を実質的に均等に低減できる。
【００３４】
最低優先順位のオブジェクトの符号量を主に削減するが、その符号量が所定閾値以下になった場合には、次順位のオブジェクトの符号量を削減するようにしてもよい。図６は、そのように動作する符号量制御回路１４の動作フローチャートを示し、図７は、図６に示す動作に対する符号量変化例の模式図を示す。
【００３５】
符号量制御回路１４は、バッファ１２ａ，１２ｂ，１２ｃの記憶データ量を積算して、総符号量を計算する（Ｓ２１）。総符号量が目標符号量により少ないかどうかを判定し（Ｓ２２）、目標符号量より多い場合（Ｓ２２）、先ず、最低優先順位のオブジェクトの符号量が所定閾値以下かどうかを調べる（Ｓ２３）。最低優先順位のオブジェクトの符号量が所定閾値にある場合には（Ｓ２３）、最低優先順位のオブジェクトの符号量を低減するように符号化回路１０ａ，１０ｂ又は１０ｃを制御する（Ｓ２４）。再度、総符号量を計算し（Ｓ２１）、総符号量が目標符号量より少なくなるまで、以上を繰り返す（Ｓ２２）。その間に、最低優先順位のオブジェクトの符号量が所定閾値以下になると（Ｓ２３）、最低優先順位のオブジェクトの優先順位を最高順位に変更して、他のオブジェクトの優先順位を順次、繰り下げ（Ｓ２５）、その上で、最低優先順位のオブジェクトの符号量を低減する（Ｓ２４）。
【００３６】
図７に示す例では、背景の符号量１８ａは４回目の計算までは、順次、削減されるが、閾値符号量に到達したところで、人物の優先順位が最低にになり、人物の符号量が低減される。その結果、６回目の計算で、総符号量が目標符号量以下になる。
【００３７】
このような制御により、最低符号量を保証できると共に、優先順位の低いオブジェクトから品質を低下するので、総符号量をを目標値以下にしても、目的とするオブジェクトの品質を可能な限り高く維持できる。
【００３８】
図８は、本発明の第２実施例の概略構成ブロック図を示す。２０ａ，２０ｂ，２０ｃはそれぞれ、オブジェクト毎の画像データ及び形状データを符号化する符号化回路、２２ａ，２２ｂ，２２ｃはそれぞれ、符号化回路２０ａ，２０ｂ，２０ｃの出力データを一時記憶するバッファ、２３はオブジェクト間の優先順位を設定する優先順位設定回路、２４は、付加データ、各オブジェクトの形状データ、並びにバッファ２２ａ，２２ｂ，２２ｃの残容量又は記憶データ量に従い、全発生符号量が最適値になるように符号化回路２０ａ，２０ｂ，２０ｃによる圧縮率（具体的には、量子化ステップサイズ）を制御する符号量制御回路、２６は、バッファ２２ａ，２２ｂ，２２ｃの出力を多重化する多重化回路である。図１に示す実施例との相違は、符号量制御回路２４が、付加データの他に各オブジェクトの形状データをも利用する点である。符号化回路２０ａ〜２０ｃ及びバッファ２２ａ〜２２ｃの機能はそれぞれ、符号化回路１０ａ〜１０ｃ及びバッファ１２ａ〜１２ｃの機能と同じである。
【００３９】
図９は、符号量制御回路２４の第１の動作例のフローチャートを示す。符号量制御回路２４は、バッファ２２ａ，２２ｂ，２２ｃの記憶データ量を積算して、総符号量を計算する（Ｓ３１）。総符号量が目標符号量により少ないかどうかを判定し（Ｓ３２）、目標符号量より多い場合（Ｓ３２）、符号量削減対象となるオブジェクトを決定する（Ｓ３３）。その決定法の詳細は後述する。符号量制御回路２４は、決定したオブジェクトの符号量を削減するように符号化回路２０ａ，２０ｂ又は２０ｃを制御する（Ｓ３４）。再度、総符号量を計算し（Ｓ３１）、総符号量が目標符号量より少なくなるまで、以上を繰り返す（Ｓ３２）。
【００４０】
図１０は、Ｓ３３の詳細なフローチャートを示す。各オブジェクトの面積をその形状データにより計算し（Ｓ４１）、面積の最も小さいオブジェクトを符号量削減対象と決定する（Ｓ４２）。形状データは、オブジェクトの内部か外部かを示す２値データからなるので、オブジェクト内部に属する画素数を数えることで、その面積を計算できる。各オブジェクトの面積の大きい順に優先度を高く設定する。各オブジェクトの大きさはプレーン毎に変化するので、正確に優先順位を求めるためにはプレーン毎に面積を計算するのが好ましい。必要な精度に応じて面積の計算間隔及びタイミングを設定する。形状データを持たない背景画像は、優先順位設定回路２３により優先順位を予め（例えば最低に）設定しておけばよい。
【００４１】
図１１は、Ｓ３３の別のフローチャートを示す。バウンディングボックスの面積を計算し（Ｓ５１）、面積の最も小さいオブジェクトを符号量削減対象と決定する（Ｓ５２）。バウンディングボックスの水平方向及び垂直方向のサイズは符号化前に分かっているので、計算は容易である。実際の画素数でなく、マクロブロックの数を数えても、同じ結果が得られる。各オブジェクトの面積の大きい順に優先度を高く設定する。各オブジェクトのバウンディングボックスサイズは、プレーン毎に変化するので、必要な精度に応じて面積の計算間隔及びタイミングを設定する。背景画像の扱いは、図１０の場合と同様でよい。
【００４２】
図１２は、Ｓ３３の第３のフローチャートを示す。各オブジェクトの位置と重なりを規定するＢＩＦＳ（Ｂｉｎａｒｙ  Ｆｏｍａｔ  ｆｏｒ  Ｓｃｅｎｅ）によりオブジェクトの重なり具合を計算し（Ｓ６１）、最背面のオブジェクトを符号量の削減対象とする（Ｓ６２）。ＢＩＦＳでは、重なりの上下関係とバウンディングボックスの座標だけが記述されているので、実際の画素レベルでどれだけ重なりあっているかを、ここで計算しなければならない。簡便な方法としては、バウンディングボックスの重なり具合を求めるだけでもよいが、上下関係の設定のみを利用し、実際の重なり具合を計算しない方法でもよい。重なりあったオブジェクトのうち、見えている面積の大きい順に優先度を高く設定する。重なり具合はプレーン毎に変化するので、必要な精度に応じて重なり具合の計算間隔及びタイミングを設定する。各オブジェクトプレーンの上下関係のみを用いる場合でも、前面のオブジェクトが背面に回り込んだりするので、適宜、優先順位を更新する。ここでも、背景画像の扱いは図１０の場合と同様でよい。
【００４３】
上述の実施例における符号量制御は、符号化回路内の量子化回路の量子化ステップサイズ（量子化パラメータ）の調整により行われる。
【００４４】
本発明は、複数の機器（例えばホストコンピュータ及びインタフェース機器等）から構成されるシステムに適用しても、一つの機器（例えば、ビデオカメラ又はＶＴＲ）からなる装置に適用してもよい。
【００４５】
また、上述した実施例の機能を実現するように各種のデバイスを動作させるべく当該各種デバイスと接続された装置又はシステム内のコンピュータに、上記実施例の機能を実現するためのソフトウェアのプログラムコードを供給し、その装置又はシステムのコンピュータ（ＣＰＵ又はＭＰＵ）を格納されたプログラムに従って動作させ、前記各種デバイスを動作させることによって実施したものも、本願発明の範囲に含まれる。
【００４６】
この場合、前記ソフトウエアのプログラムコード自体が、前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記憶媒体は、本発明を構成する。かかるプログラムコードを格納する記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード及びＲＯＭ等を用いることが出来る。
【００４７】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施例の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフトウエア等と共同して上述の実施例の機能が実現される場合にも、かかるプログラムコードが本出願に係る発明の実施例に含まれることは言うまでもない。
【００４８】
更には、供給されたプログラムコードが、コンピュータの機能拡張ボード又はコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいて、その機能拡張ボード又は機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施例の機能が実現される場合も、本出願に係る発明に含まれることは言うまでもない。
【００４９】
【発明の効果】
以上の説明から明らかなように、本発明によれば、システム全体の目標符号量に配慮しながら、各オブジェクトの符号量を制御するので、全体として最適な符号量制御を実現できる。例えば、特定のオブジェクトの画質のみを劣化させることで、他のオブジェクトを良好な画質状態に維持して総符号量を制御できる。オブジェクト間に符号量削減の優先順位を付け、その優先順位を適宜に変更することで、全体的にバランスの取れた画質となるように、総符号量を制御できる。特定のオブジェクトの画質を劣化させつつも、最低限の画質は保証しながら、他のオブジェクトは良好な画質となるように、総符号量を制御できる。
【図面の簡単な説明】
【図１】  本発明の第１実施例の概略構成ブロック図である。
【図２】  符号量制御回路１４の第１の動作フローチャートである。
【図３】  図２に示すフローチャートによる符号量変化例の模式図である。
【図４】  符号量制御回路１４の第２の動作フローチャートである。
【図５】  図４に示すフローチャートによる符号量変化例の模式図である。
【図６】  符号量制御回路１４の第３の動作フローチャートである。
【図７】  図６に示すフローチャートによる符号量変化例の模式図である。
【図８】  本発明の第２実施例の概略構成ブロック図である。
【図９】  符号量制御回路２４の動作フローチャートである。
【図１０】  Ｓ３３の詳細なフローチャートである。
【図１１】  Ｓ３３の第２の詳細なフローチャートである。
【図１２】  Ｓ３３の第３の詳細なフローチャートである。
【図１３】  オブジェクト符号化の説明画像である。
【図１４】  図１３に示す画像をオブジェクトに分離した例である。
【図１５】  従来例の概略構成ブロック図である。
【図１６】  背景画像をマクロブロックに分割した様子の模式図である。
【図１７】  各マクロブロックの符号化処理の概略構成ブロック図である。
【図１８】  人物とロケットの形状データの模式図である。
【図１９】  人物とロケットの形状データのバウンディングボックスの模式図である。
【図２０】  形状データをバウンディングボックス内でマクロブロック単位に分割した様子を示す模式図である。
【図２１】  人物とロケットの画像データのバウンディングボックスの模式図である。
【図２２】  画像データをバウンディングボックス内でマクロブロック単位に分割した様子を示す模式図である。
【図２３】  符号化回路１１０ａ〜１１０ｃの概略構成ブロック図である。
【符号の説明】
１０ａ，１０ｂ，１０ｃ：符号化回路
１２ａ，１２ｂ，１２ｃ：バッファ
１３：優先順位設定回路
１４：符号量制御回路
１６：多重化回路
１８ａ：背景の発生符号量
１８ｂ：人物の発生符号量
１８ｃ：ロケットの発生符号量
２０ａ，２０ｂ，２０ｃ：符号化回路
２２ａ，２２ｂ，２２ｃ：バッファ
２３：優先順位設定回路
２４：符号量制御回路
２６：多重化回路
１１０ａ〜１１０ｃ：符号化回路
１１２ａ〜１１２ｃ：バッファ
１１４ａ〜１１４ｃ：符号量制御回路
１１６：多重化回路
１２０：減算器
１２２：離散コサイン変換（ＤＣＴ）回路
１２４：量子化回路
１２６：逆量子化回路
１２８：逆ＤＣＴ回路
１３０：加算器
１３２：メモリ
１３４：動き検出回路
１３６：動き補償回路
１３８：動きベクトル予測回路
１４０：可変長符号化回路
１４２，１４４：形状データのバウンディングボックス
１４６，１４８：画像データのバウンディングボックス
１５０：形状符号化回路
１５２：メモリ
１５４：動き検出回路
１５６：動き補償回路
１５８：可変長符号化回路
【図１】
0003957937.tif 000002
【図２】
0003957937.tif 000003
【図３】
0003957937.tif 000004
【図４】
0003957937.tif 000005
【図５】
0003957937.tif 000006
【図６】
0003957937.tif 000007
【図７】
0003957937.tif 000008
【図８】
0003957937.tif 000009
【図９】
0003957937.tif 000010
【図１０】
0003957937.tif 000011
【図１１】
0003957937.tif 000012
【図１２】
0003957937.tif 000013
【図１３】
0003957937.tif 000014
【図１４】
0003957937.tif 000015
【図１５】
0003957937.tif 000016
【図１６】
0003957937.tif 000017
【図１７】
0003957937.tif 000018
【図１８】
0003957937.tif 000019
【図１９】
0003957937.tif 000020
【図２０】
0003957937.tif 000021
【図２１】
0003957937.tif 000022
【図２２】
0003957937.tif 000023
【図２３】
0003957937.tif 000024