(57)【特許請求の範囲】
【請求項１】
オブジェクト画像を構成要素とする画像フレームを符号化する画像符号化装置であって、
オブジェクト画像を符号化する符号化手段と、
外部装置からの要求を受信する受信手段と、
前記外部装置からの要求の種類を判定する判定手段と、
前記判定手段によって判定された要求が、該オブジェクト画像の符号化及び復号化を行う優先順位の指定である場合に、前記オブジェクト画像に前記優先順位を付与する付与手段と、
前記符号化手段により符号化されたオブジェクト画像と該オブジェクト画像に付与された前記優先順位とを前記画像に対応する符号化画像データとして多重化する手段とを備え、
前記符号化手段は、前記判定手段によって判定された要求が前記優先順位の指定かつ該オブジェクトの符号量の偏重要求である場合に、各オブジェクト画像の符号量を制御して、優先順位が指定されたオブジェクトの符号量が、優先順位が指定されていないオブジェクトの符号量よりも多くなるよう符号化し、
前記付与手段は、前記外部装置からの要求がない場合に、フレームに含まれるオブジェクト画像に対して、その位置と占有率面積とに基づいてその前記優先順位を自動生成して付与することを特徴とする画像符号化装置。
【請求項２】
前記判定手段によって判定された要求が符号化量の削減あるいは増加の指定である場合に、前記外部装置に前記要求を承認できるか否かを通知する通知手段を更に備えることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記付与手段は、前記判定手段によって判定された要求が符号化量の削減あるいは増加の指定である場合に、フレームに含まれるオブジェクト画像に対して、その位置と占有率面積とに基づいてその優先順位を自動生成して付与することを特徴とする請求項１記載の画像符号化装置。
【請求項４】
オブジェクト画像を構成要素とする画像フレームを符号化する画像符号化方法であって、
オブジェクト画像を符号化する符号化工程と、
外部装置から要求を受信する受信工程と、
前記外部装置からの要求の種類を判定する判定工程と、
前記判定工程によって判定された要求が、該オブジェクト画像の符号化及び復号化を行う優先順位の指定である場合に、
前記オブジェクト画像に前記優先順位を付与する付与工程と、
前記符号化工程により符号化されたオブジェクト画像と該オブジェクト画像に付与された前記優先順位とを前記画像に対応する符号化画像データとして多重化する工程とを有し、
前記符号化工程では、前記判定工程によって判定された要求が前記優先順位の指定かつ該オブジェクトの符号量の偏重要求である場合に、各オブジェクト画像を制御して、優先順位が指定されたオブジェクトの符号量が、優先順位が指定されていないオブジェクトの符号量よりも多くなるよう符号化し、
前記付与工程は、前記外部装置からの要求がない場合に、フレームに含まれるオブジェクト画像に対して、その位置と占有率面積とに基づいてその前記優先順位を自動生成して付与することを特徴とする画像符号化方法。
【請求項５】
請求項４に記載の画像符号化方法をコンピュータにより実行させるためのコンピュータプログラムを格納したことを特徴とするコンピュータ可読の記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えばディジタル動画像信号等を符号化する符号化装置及びその方法と、該符号化装置により符号化された符号化画像の復号化装置及びその方法に関する。
【０００２】
【従来の技術】
従来の符号化および復号化システムを図７〜図１０を用いて説明する。
【０００３】
図７に於いて、各フレームは、１つ以上の相互に独立したオブジェクト画像から構成されている。図７ではＮ個のオブジェクト画像からひとつのフレームが構成される。
【０００４】
図７に示す例では、各フレームを構成するオブジェクト画像は、符号化制御部７０８の制御により、符号化器群７０１に入力され、前記各オブジェクト画像毎に専用の符号化器１〜Ｎにて所定の符号化処理が施されるようにプログラムされている。
【０００５】
符号化器群７０１を構成する各符号化器７０１−１〜Ｎの符号化フォーマットは任意であるが、符号化器７０１−１〜Ｎにおける圧縮フォーマットは、ＭＰＥＧ４等を想定しており、その内部構造は図８に示すような構成になっている。
【０００６】
図８に示した符号化器は、ＭＰＥＧに代表されるフレーム間予測符号化方式の代表的なもので、符号化器群７０１に入力されたオブジェクト画像は、図８の動き補償部８０１にて動きベクトルが検出され、検出された動きベクトルの精度（予測誤差の大小等）をパラメータとして、符号化モード（インターＰ or Ｂ／イントラＩ）判定が行われ、符号化モードがインターフレームと判定された場合は、検出された動きベクトルにより予測誤差が、イントラフレームと判定された場合は、入力されたオブジェクト画像の各画素値が、水平・垂直方向にある一定の大きさ（ブロック）を単位として直交変換部７０２へ入力される。
【０００７】
直交変換部７０２へ入力されたブロック単位の予測誤差（又は画素値）は、直交変換係数に変換され、量子化部８０３へ入力される。
【０００８】
量子化部８０３では、直交変換係数を所定の量子化係数で除算して、有意係数（整数）以外の値を零に置き換えることにより、データ圧縮を行う。
【０００９】
符号化器群７０１にて所定の符号化処理を施された各オブジェクト画像（符号化画像データ）は、符号化制御部７０８の制御により、バッファ・メモリ７０２に一旦蓄積された後、マルチプレクサ７０３へ入力され、各フレーム毎に所定の多重化処理が行われ、伝送路や蓄積メディア等へ出力される。多重化処理は出力先に適合するプロトコルに準拠するよう符号化制御部７０８にプログラムされている。
【００１０】
量子化係数は、符号化制御部７０８の制御により、バッファメモリ７０２の利用効率、又は任意に設定された符号量をパラメータとして、随時制御（変更）されるようにプログラムされている。図９はその手順を示す。まず出力バッファの空き容量が検出されて所定値以上であるか判定され、所定値以上あれば通常の符号化が行われ、そうでなければ量子化テーブルが変更されて符号化される。
【００１１】
以上の処理は入力される画像信号（オブジェクト）に対してシーケンシャルな処理であり、各処理ブロック７０１〜７０３までの処理は、符号化制御部７０８を除き、外部からの制御又はリクエスト等は考慮されていない。
【００１２】
次に、マルチプレクサ７０３の出力又はマルチプレクサ７０３の出力と同様な符号化処理を施された符号化画像データは、復号化制御部７０９の制御により、バッファ・メモリ７０４に一時蓄積された後、スプリッタ７０５にてフレームを構成する各オブジェクト単位に分離される。
【００１３】
スプリッタ７０５にて分離された符号化オブジェクト画像は、復号化制御部７０９の制御により、復号化器群７０６に入力され、所定の復号化処理を施される。
【００１４】
復号化器群７０６で復号された各オブジェクト画像は、ビデオメモリ７０７へ入力される。
【００１５】
ビデオ・メモリ７０７に入力された復号済みの各オブジェクト画像は、復号化制御部７０９の制御により、所定のフレーム画像を構成すべく、配置（記憶）される。
【００１６】
以上の符号化および復号化処理はリアルタイムの一連の処理であっても、符号化と復号化が独立に行われる非リアルタイム処理であってもよい。
【００１７】
したがって、符号化・復号化がリアルタイムで同時進行するシステムでは、復号化すべきデータ量（符号量）が復号化器の能力を超えた場合、図１０のフローチャートに示すように、バッファの空き容量がある一定値未満となったことを検出すると、バッファ７０４の空きが前記一定値以上になるまでフレーム内の符号化データを、オブジェクト単位又はフレーム単位で破棄することにより、復号化器の破綻を回避するのが通例である。
【００１８】
ここで、前記バッファの空き容量がある一定値未満となるのは、復号化器の復号性能に対して入力される符号量が過大であることを意味する。
【００１９】
このように、従来の符号化および復号化システムでは、復号すべき符号量が復号化器の能力を超えた場合、符号化側（又はユーザー）の意図とは無関係にオブジェクト間引きやフレーム間引きを行うので、画像の意味として重要なオブジェクトが欠落や、あるシーン丸ごとの欠落という事態が想定され、画像として意味不明となる不具合要因を持っていた。
【００２０】
本発明は上記従来例に鑑みてなされたもので、画像オブジェクト毎に優先順位を付し、その優先順位に応じて画像の符号化及び復号化を行うことで、高優先順位の画像オブジェクトが復号時の間引き等によって欠落することを防止した画像符号化装置と画像復号化装置及びそれらの制御方法及び画像通信システムを提供することを目的とする。
【００２１】
【課題を解決するための手段】
上記目的を達成するために本発明は次のような構成からなる。
【００２２】
オブジェクト画像を構成要素とする画像フレームを符号化する画像符号化装置であって、
オブジェクト画像を符号化する符号化手段と、
外部装置からの要求を受信する受信手段と、
前記外部装置からの要求の種類を判定する判定手段と、
前記判定手段によって判定された要求が、該オブジェクト画像の符号化及び復号化を行う優先順位の指定である場合に、前記オブジェクト画像に前記優先順位を付与する付与手段と、
前記符号化手段により符号化されたオブジェクト画像と該オブジェクト画像に付与された前記優先順位とを前記画像に対応する符号化画像データとして多重化する手段とを備え、
前記符号化手段は、前記判定手段によって判定された要求が前記優先順位の指定かつ該オブジェクトの符号量の偏重要求である場合に、各オブジェクト画像の符号量を制御して、優先順位が指定されたオブジェクトの符号量が、優先順位が指定されていないオブジェクトの符号量よりも多くなるよう符号化し、
前記付与手段は、前記外部装置からの要求がない場合に、フレームに含まれるオブジェクト画像に対して、その位置と占有率面積とに基づいてその前記優先順位を自動生成して付与する。
【００２３】
さらに好ましくは、前記判定手段によって判定された要求が符号化量の削減あるいは増加の指定である場合に、前記外部装置に前記要求を承認できるか否かを通知する通知手段を更に備える。
【００２４】
さらに好ましくは、前記付与手段は、前記判定手段によって判定された要求が符号化量の削減あるいは増加の指定である場合に、フレームに含まれるオブジェクト画像に対して、その位置と占有率面積とに基づいてその優先順位を自動生成して付与する。
【００３４】
【発明の実施の形態】
本発明による第一の実施形態である画像符号化・複合化システムに関して、図１，図３，図４を用いて説明する。
【００３５】
＜符号化装置＞
図１は本発明における符号化装置（エンコーダ）１のブロック図である。
【００３６】
本発明の第一の実施形態に於けるエンコーダ（図１）の入力データはディジタル動画像データである。入力ディジタル動画像データは、各フレームが相互に独立した複数のオブジェクト画像から構成されている。
【００３７】
各フレームを構成するオブジェクト画像は、フレーム単位で符号化器群１０１へ入力され、所定の符号化（圧縮）処理を施される。
【００３８】
画像オブジェクトの符号化処理と並行して、符号化制御部１０５は、前記符号化器群の出力を蓄積するバッファ・メモリ１０２の空き状況を監視し、常にバッファ１０２がオーバーフローあるいはアンダーフローしない範囲において、最大利用効率となるように、符号化器群１０１を構成する各符号化器、即ちフレームを構成する各オブジェクト画像に対する量子化係数（圧縮率）を制御している。
【００３９】
符号化制御部１０５の動作について、図３のフローチャートを用いて説明する。符号化処理において、符号化制御部１０５はまずデコーダ側から、あるいは、この符号化・複合化システムの操作者からのリクエストを受信しているか判定する（ステップＳ３０１）。リクエストを受信している場合、その内容を判定し（ステップＳ３０２）、符号量削減のリクエストであれば、ステップＳ３０５に進んでそのリクエストを承認可能か否かを判定する。承認可能である場合は、デコーダ側へ承認を意味する承認信号を送出する。
【００４０】
承認信号をデコーダに送出後、符号化制御部１０５は、符号化器群１０１を構成する各符号化器に対して、フレーム単位、又はマクロ・ブロック等の符号化処理の適当な単位で、量子化係数を前符号化フレーム、又は、前符号化マクロ・ブロックに対してｎ（ｎは整数）ステップ大きく選択して符号化処理するように制御して、通常の符号化処理を行う（ステップＳ３０６）。ここでｎの値は、符号量をどの程度削減するかに応じて決定される。ｎの値は、例えばデコーダ側から符号量削減のリクエストともに符号量の指定があれば、その値に即して決定される。そして、各画像オブジェクトの優先度を図４に示す手順で設定する（ステップＳ３０７）。
【００４１】
ステップＳ３０５で符号量削減のリクエストが承認できないと判断された場合には、通常の符号化処理を行ってから（ステップＳ３０３）、各画像オブジェクトの優先度を図４の手順で決定する（ステップＳ３０４）。
【００４２】
一方、ステップＳ３０２において、デコーダ側からのリクエストが、特定オブジェクトに対する優先度指定および符号量重み付けのリクエストであると判定されたなら、優先度指定されたオブジェクト画像の符号量が指定されていないオブジェクト画像と比較して多くなるように、指定オブジェクト偏重の符号量制御による符号化処理を行う（ステップＳ３１０）。そして、優先度指定に基づいてオブジェクト画像の優先度を指定又は変更する（ステップＳ３１１）。なお優先度指定リクエストの無いオブジェクト画像に関しては、後述する優先度の自動設定手段に準じて設定される。この場合、結果的には、指定されたオブジェクトを除くオブジェクトの画質を犠牲にして、指定オブジェクトの画質を向上させるということになる。
【００４３】
なお、指定されたのオブジェクト画像に対する偏重符号量配分を行う場合でも、伝送路容量やデコーダの処理能力には制約があるので、全体としてバッファ１０２の容量超過やデコーダの許容符号量超過又は伝送路容量超過という破綻を来さない範囲で符号量制御が行われる。
【００４４】
また、指定オブジェクト画像に対する優先度指定のみのリクエストであるとステップＳ３０２で判定された場合は、符号化処理を通常どおり行い（ステップＳ３０８）、フレームを構成する各オブジェクト画像に対する優先度設定をリクエストに応じて設定する（ステップＳ３０９）。
【００４５】
このようにして、リクエストに応じて符号量が制御され、符号化されたオブジェクトに対して優先度が付与される。
【００４６】
符号化器群１０１で所定の符号化処理（圧縮）されたオブジェクト画像は、バッファ・メモリ１０２に一時蓄積される。バッファ・メモリ１０２に蓄積されたオブジェクト画像はフレーム毎に順次読み出され、優先順位設定部１０３へ入力される。
【００４７】
優先順位設定部１０３では、符号化制御部１０５の制御により、各フレームを構成する各オブジェクト画像に対して優先順位設定（ナンバリング）を行う。ここで設定される優先順位は、図３の手順において各オブジェクトに対して与えられた優先順位である。
【００４８】
優先順設定部１０３における優先順位設定は、エンコーダ側のユーザーインターフェースを介してのリクエスト、又は受信（デコーダ）側からのリクエストを検出した場合は、前記リクエストの指定にしたがって、各オブジェクト画像に対する優先順位を設定し、前記リクエストが無かった場合は、任意の関数による自動設定（デフォルト）手段により、同様に各オブジェクト画像に対する優先順位が設定される。なお、エンコーダのユーザインターフェースとしては、本実施形態では図１のコンピュータ１０６が用いられている。
【００４９】
このようにして優先順位を設定された前記フレームを構成する各オブジェクト画像は、対応する優先順位とともに多重化部（マルチプレクサ）１０４へ入力され、出力先である伝送路や蓄積メディアに適合したストリーム形式に多重化処理され、出力される。多重化する際には、符号化フレームを構成している各オブジェクト画像の位置（座標）と各オブジェクト画像間の前後関係等のマッピング情報を含むヘッダが、フレーム毎に付加されて格納される。
【００５０】
次に、動画像のフレームを構成する各オブジェクト画像に対する優先度の自動設定処理の一例を図４を用いて説明する。
【００５１】
フレームを構成する各オブジェクト画像の優先度に関して自動設定が選択された場合、
ステップＳ４０１：各オブジェクト画像が占有する面積比又はフレーム全体に対する占有率を算出する。また、各オブジェクト画像の位置を検出する。
【００５２】
ステップＳ４０２：前記求められた占有率と位置をパラメータとして、任意の方法にて各オブジェクトをクラス分けする。
【００５３】
ステップＳ４０３：ステップＳ４０２で算出された各オブジェクトのクラスに応じて、優先順位を設定する（クラス１が優先準位１）。
【００５４】
上記手順に従う優先順位付けの一例として次のような方法が考えられる。パラメータとしては、
（ａ）オブジェクトの位置：フレームの中心の重み付けを１００として放射状方向に中心からの距離に反比例して重み付けを軽くする。
（ｂ）占有率：フレーム全体の面積に対するオブジェクトの占有率
の２つを用い、ｃ＝ａ＋ｂとして、ｃの値が一番大きいオブジェクトをクラス１、すなわち優先順位１とする。
【００５５】
なお、本実施形態では、フレームを構成するオブジェクト画像の最大数と、符号化器群１０１を構成する符号化器の数を同数と設定し、１フレーム分の符号化処理を一度に並列に行うことが可能な場合について説明しているが、処理時間が要求仕様を満たすならば、単一又は前記オブジェクト画像の最大数未満の符号化器数にて、繰り返し各フレームを構成するオブジェクト画像を符号化する形態を採ってもよい。
【００５６】
＜復号装置＞
次に、上述した符号化装置により符号化された動画像を復号するための復号装置（デコーダ）の構成を図２，図５，図７を用いて説明する。
【００５７】
図２は復号装置（デコーダ）２のブロック図である。図１１は、復号化制御部２０６による制御手順のフローチャートである。
【００５８】
図２において、ビットストリーム（符号化データ）が復号化装置２に入力されると、まず符号化データはバッファ・メモリ２０１に一時蓄積される。図１１の手順はこの後の手順を示している。
【００５９】
次に復号化制御部２０６は、バッファ・メモリ２０１に蓄積された符号化データのヘッダ情報を読みとり、そこから符号化フレームを構成している各オブジェクト画像の位置（座標）と各オブジェクト画像間の前後関係等のマッピング情報を取り出す（ステップＳ１１０１）。
【００６０】
バッファ・メモリ２０１に蓄積された符号化データは、マッピング情報に従って順次読み出され、スプリッタ２０２へ入力され、ビデオ、オーディオ、その他各種データというように、各データの属性毎に分離される（ステップＳ１１０２）。
【００６１】
スプリッタ２０２にて分離された符号化オブジェクト画像は、優先順位検出部２０３に入力されてフレーム毎に優先順位が検出される（ステップＳ１１０３）。検出された優先順位はフレーム毎に２０６の復号化制御装置へ送出される。
【００６２】
優先順位検出部２０３を経た符号化画像データは、復号化器群２０４へ入力される。
【００６３】
復号化器群２０４に入力された符号化画像データは、フレーム毎に、フレームを構成するオブジェクト画像を単位として各復号化器１〜Ｎに入力され、フレームを構成するオブジェクト画像が並列に復号処理される。
【００６４】
この際、符号量が処理能力を超過しているか判定され（ステップＳ１１０４）、復号化器群２０４に入力された符号化画像データの符号量が復号化器群２０４の処理能力を超過、あるいは符号化画像データを構成する１つ以上のオブジェクト画像の符号量が、復号化器群２０４を構成する各復号化器の処理能力を超過、又はバッファ・メモリ２０１、ビデオ・メモリ２０５のオーバーフローの危険性を復号化制御部２０６が検出した場合、復号化制御部２０６は、符号化装置等の符号化画像データ源に対して、符号量の削減リクエスト信号を発信する（ステップＳ１１０６）。符号量削減リクエストを符号化画像データ源側が受諾した（承認信号が返ってきた）場合は、復号化制御部２０６は、符号化処理が破綻しない限り通常の復号処理を続行する（ステップＳ１１０９）。
【００６５】
一方、符号量削減リクエストが符号化画像データ源側に却下された（非承認信号が返ってきた）場合（ステップＳ１１０７−ＮＯ）、あるいは記憶媒体からの再生の場合（ステップＳ１１０５−ＹＥＳ）は、復号化制御部２０６は、設定された優先度が低い順にフレームを構成するオブジェクト画像の間引き処理を行い（ステップＳ１１０８）、復号処理を行う（ステップＳ１１０９）。
【００６６】
ここで、符号化器と復号化器とが通信回線等で結ばれており、かつ回線容量に余裕がある場合には、バッファ・メモリ２０１に関してアンダーフローの危険性を復号化制御部２０６が検出した時、オーバーフローの場合と同様にして、符号量増加のリクエスト信号を発信するように構成することも可能である。
【００６７】
復号処理された各オブジェクト画像は、復号化制御部２０６の制御により、符号化フレームのヘッダ情報から取り出した、フレームを構成する全オブジェクト画像に関するマッピング情報に基づいて、復号済みの各オブジェクト画像のフレームに於ける位置関係、前後関係を反映した形態でビデオ・メモリ２０５に書き込まれる。
【００６８】
ビデオメモリ２０５に書き込まれた復号済みフレームは、順次モニター等へ出力される。
【００６９】
本発明による復号化システムでは、図２のコンピュータ２０７に示すような、復号化制御部２０６と接続されたユーザー・インターフェース（ＵＦ）が設けられている。
【００７０】
ＵＦは、復号化側で復号された画像を見ているユーザーが所望のオブジェクト画像をマウス（ポインタ）で指定し、プルダウン・メニュー等から優先度指定や画質向上等を選択すると、選択された項目に対応するリクエスト信号が符号化側へ送信される。前記リクエストを受信した符号化側は、符号化装置の説明で述べたように、適宜リクエストに応じて、各オブジェクト画像の擾先度設定の変更や、前記指定されたオブジェクト画像に対する符号量の重み付けを行う等の処理を行う。
【００７１】
なお、図２の処理ブロック２０２〜２０４は、コンピュータによりプログラムを実行させることによっても実現することができる。
【００７２】
ここで、図６（１）に示す、オブジェクト画像で構成された画像の、各オブジェクト画像の優先度が予め図６（２）のように設定されていると仮定する。この画像に対して、ユーザーが各オブジェクト画像の優先度を図６（３）のように指定した場合の復号化装置２の動作を図５のフローチャートにしたがって説明する。
【００７３】
ステップＳ５０１：優先度がユーザにより指定されたか判定する。
【００７４】
ステップＳ５０２：ユーザにより指定されたなら、ユーザーが指定したオブジェクト画像に対する優先度情報を符号化側へ送信する。
【００７５】
ステップＳ５０３：ステップＳ５０２で送信した情報に対して、符号化側からの承諾信号の有無を検出する。
【００７６】
ステップＳ５０４：符号化側が優先度指定を拒否したか、又は復号化器がスタンドアローン（パッケージ・メディアの再生等）の場合には、復号化器側において、復号化制御部２０６の制御により、強制的に指定されたオブジェクト画像の優先度を指定値に変更する。
【００７７】
ステップＳ５０５：符号化側が優先度指定を承諾した場合には、符号化器は、指定されたオブジェクト画像の優先度を指定された優先度に設定して、通常の符号化処理を行うため、復号装置でも通常の復号化を行う。
【００７８】
なお本例の場合、前記ユーザーが指定する優先度は優先度１（最優先）のオブジェクトだけということも可能で、その場合に於けるその他のオブジェクトの優先度は、デフォルトの優先度にしたがって再設定されるが、符号化器、復号化器それぞれに任意の手段（アルゴリズム等）にて再設定しても何ら差し支えない。
【００７９】
なお、オブジェクト画像の優先順位の指定や符号化量削減の指定、あるいは符号量の重み付けの指定を行う際には、本実施形態では復号装置からそれらを指定するものとして説明したが、符号化装置側で指定しても良い。
【００８０】
また、リクエストに応じてクラス分けを行う場合には、符号化する前の画像に含まれるオブジェクトと、そのオブジェクトのクラスや、あるいはクラス分けのため重みをユーザに指定させる。クラスが指定された場合には、指定されたオブジェクトを指定されたクラスに分類し、重みが指定された場合には、前述した計算式の例「ｃ＝ｂ＋ａ」に、指定された重みを加算したり、あるいは乗じたりすることで、重み付けする。こうすることで、オブジェクトに対する重み付けが可能となる。
【００８１】
このように、オブジェクト毎の優先順位を示す識別子と、符号化側に前記識別子を付与する機能と、復号化側に前記符号化側で設定された優先順位（識別子の内容）を変更可能な機能と、前記符号化器、復号化器間に情報通信用のバックチャネルとを具備することにより、符号化側、復号化側それぞれ独立にオブジェクト画像の優先度の設定がユーザーレベルで可能となるので、符号化側では符号化側ユーザーのオブジェクト画像に対する意図を符号量配分に反映することができるので、最も見せたい（又は伝えたい画像の画質を良好に保つことが可能となる。
【００８２】
復号化側でも符号化側の設定とは無関係に各オブジェクト画像の優先度をリクエストし、更にその情報を符号化側へフィードバックし、復号化側ユーザーの注目オブジェクト画像の画質を良好に保つことが出来る。
【００８３】
またバックチャネルが無い場合や、符号化側が前記リクエストに対する受諾が返ってこない場合でも、前記復号化側での優先度の指定は、復号化能力が復号すべき符号量未満で、オブジェクト画像の破棄を余儀なくされる事態に於いて、前記優先順位が最低のオブジェクト画像から破棄されるようになるので、優先順位の高い（注目度の高い）画像は最後まで欠落し難くなる。
【００８４】
以上のように、符号化側及び復号化側にユーザインターフェースを具備したことにより、フレームを構成する各オブジェクト画像の優先度を任意に指定することができるので、符号化器側においては、所望のオブジェクト画像の符号量配分を変更し、前記所望のオブジェクト画像に限り画質を向上させることができる。
【００８５】
また、符号化・復号化がリアルタイム処理である場合には、前記符号化側で設定された優先順位を復号化側で変更し、復号化側で希望するオブジェクト画像の画質を維持・向上させることが可能となる。
【００８６】
同様に、符号化・復号化がリアルタイム処理でない、即ち復号化器がスタンド・アローンで、かつ符号量が復号化器の処理能力を超過する場合において、復号化側で優先度指定することにより、所望の画像のオブジェクト画像（最高優先度）を欠落（又はコマ落ち）し難くすることが可能となる。
【００８７】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００８８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコード、例えば図３乃至図５及び図１１の手順を実行するためのプログラムを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００８９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００９０】
【発明の効果】
以上説明したように、本発明によれば、符号化器において画像を構成する各オブジェクト画像の優先度を指定し、あるいは、所望のオブジェクト画像の符号量配分を変更し、所望のオブジェクト画像に限り画質を向上させることができる。
【００９１】
また、符号化・復号化がリアルタイム処理である場合には、符号化器側で設定された優先順位を復号化器側で変更し、復号化側で希望するオブジェクト画像の画質を維持・向上させることが可能となる。
【００９２】
また、符号化・復号化がリアルタイム処理でない場合でも、符号量が復号化器の処理能力を超過する際には、復号化側で優先度指定することにより、所望の画像、あるいは画像内のオブジェクト画像を欠落し難くすることが可能となる。
【図面の簡単な説明】
【図１】符号化システムのブロック図である。
【図２】復号化システムのブロック図である。
【図３】図１の符号化システムに於ける符号化制御装置の制御フローチャートである。
【図４】図１の符号化システムに於けるオブジェクト画像の優先度自動設定プログラムのフローチャートである。
【図５】図２の復号化システムに於ける優先度指定に伴う処理フローチャートである。
【図６】フレームを構成する各オブジェクト画像の優先度設定例を示す図である。
【図７】従来の符号化・復号化システムのブロック図である。
【図８】図７に於ける符号化器の内部構成ブロック図である。
【図９】従来の符号化システムに於ける符号化制御装置の制御フローである。
【図１０】従来の復号化システムに於ける復号化制御装置の制御フローである。
【図１１】図２の復号化制御装置の制御フローチャートである。
【図１】
0004521931.tif 000002
【図２】
0004521931.tif 000003
【図３】
0004521931.tif 000004
【図４】
0004521931.tif 000005
【図５】
0004521931.tif 000006
【図６】
0004521931.tif 000007
【図７】
0004521931.tif 000008
【図８】
0004521931.tif 000009
【図９】
0004521931.tif 000010
【図１０】
0004521931.tif 000011
【図１１】
0004521931.tif 000012