(57)【特許請求の範囲】
【請求項１】
入力された符号化画像データを処理する画像処理装置であって、
オブジェクト単位で符号化されたデータを含む符号化画像データを入力して、複数のオブジェクト符号化データに分離する分離手段と、
前記分離手段によって分離されたオブジェクト符号化データを復号して、複数のオブジェクト復号データを出力する復号手段と、
前記複数のオブジェクト復号データのそれぞれに対して、オブジェクト毎にサブ・サンプリング処理を実行するサブ・サンプリング手段と、
前記複数のオブジェクト復号データを記憶する記憶手段と、
前記記憶手段に記憶されるオブジェクト毎の復号データを監視し、前記記憶手段がオーバーフローすると判定したときに、前記サブ・サンプリング手段に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記分離手段は、前記符号化画像データから前記復号手段を制御するための制御情報を含むヘッダ情報をさらに分離し、前記制御手段は、前記分離手段によって分離されたヘッダ情報と、前記記憶手段に記憶されるオブジェクト毎の復号データのデータ量とに従って、前記サブ・サンプリング手段に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
入力された符号化画像データを処理する画像処理方法であって、
オブジェクト単位で符号化されたデータを含む符号化画像データを入力して、複数のオブジェクト符号化データに分離する分離工程と、
前記分離工程によって分離されたオブジェクト符号化データを復号して、複数のオブジェクト復号データを出力する復号工程と、
前記複数のオブジェクト復号データのそれぞれに対して、オブジェクト毎にサブ・サンプリング処理を実行するサブ・サンプリング工程と、
前記複数のオブジェクト復号データを記憶媒体に記憶する記憶工程と、
前記記憶工程で前記記憶媒体に記憶されるオブジェクト毎の復号データを監視し、前記記憶工程がオーバーフローすると判定したときに、前記サブ・サンプリング工程に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる制御工程と
を備えることを特徴とする画像処理方法。
【請求項４】
前記分離工程は、前記符号化画像データから前記復号工程を制御するための制御情報を含むヘッダ情報をさらに分離し、前記制御工程は、前記分離工程によって分離されたヘッダ情報と、前記記憶工程で前記記憶媒体に記憶されるオブジェクト毎の復号データのデータ量とに従って、前記サブ・サンプリング工程に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる
ことを特徴とする請求項３に記載の画像処理方法。
【請求項５】
入力された符号化画像データを処理する画像処理をコンピュータに実行させるためのプログラムが格納されたコンピュータ可読メモリであって、
オブジェクト単位で符号化されたデータを含む符号化画像データを入力して、複数のオブジェクト符号化データに分離する分離工程と、
前記分離工程によって分離されたオブジェクト符号化データを復号して、複数のオブジェクト復号データを出力する復号工程と、
前記複数のオブジェクト復号データのそれぞれに対して、オブジェクト毎にサブ・サンプリング処理を実行するサブ・サンプリング工程と、
前記複数のオブジェクト復号データを記憶媒体に記憶する記憶工程と、
前記記憶工程で前記記憶媒体に記憶されるオブジェクト毎の復号データを監視し、前記記憶工程がオーバーフローすると判定したときに、前記サブ・サンプリング工程に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる制御工程と
をコンピュータに実行させるためのプログラムを格納していることを特徴とするコンピュータ可読メモリ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力された符号化画像データを処理する画像処理装置及びその方法、コンピュータ可読メモリに関するものである。
【０００２】
【従来の技術】
近年、画像信号の符号化技術や符号化データを通信したり蓄積したりする技術、また、符号化データを安価なコストで復号化処理するための半導体技術、復号化した画像を表示する技術等、いわゆる画像情報を扱うインフラ技術が発達してきた。
【０００３】
これにより、動画像のような大量の情報を有する画像も遠隔地に転送し、お互いの情報を交換することが可能になってきた。動画像の符号化では、フレーム間の画像信号の相関性を利用して情報を大幅に削減することが可能で、その代表的な技術として以下に述べるものがある。
【０００４】
即ち、ブロックごとに参照すべき画像の相対位置を表わす動きベクトルと称する情報を用い、その動きベクトルに基づいて得られる画素情報を予測値とする。その予測値と実際の画素値との差分値をＤＣＴ等の直行変換で変換し、人間の目の資格特性に基づいて、変換した差分値を削減するといった方法を用いている。この技術は、いわゆる動き補償予測符号化と言われているものである。
【０００５】
さて、上述のような動画像の符号化、転送、復号化、表示といったことがあたりまえの時代になってくると、いろいろなレベルの画像表示端末が現われてくると予想される。ここで言うレベルとは、画像の処理能力や表示能力のことをさす。
【０００６】
これに対応する技術として、階層符号化というものがある。これは、オリジナルの画像を、例えば、縦横それぞれ２分の１に間引き、それを低解像度レイヤとして符号化し、その低解像度レイヤを復号化して補間した画像とオリジナルの画像との差分情報を高解像度レイヤとして符号化するものである。
【０００７】
処理能力や表示能力の高い画像表示端末では、低解像度レイヤと高解像度レイヤの両方の符号化データを復号化処理し、オリジナルに近い（画像情報を大幅に減らすため、符号化時に多少の劣化を許容している）画像を表示する。
【０００８】
一方、処理能力や表示能力の低い画像表示端末では、低解像度レイヤのみを復号化処理することにより、少ない処理量で解像度の低い画像を表示する。
【０００９】
ところで、最近は画像の分野でもオブジェクト符号化と言われる技術が実用されてきた。これは、１つの画像を、背景となる画像や該背景の前に存在するいくつかの物体（オブジェクト）とに区別し、それぞれに対し、独立に符号化処理を行なうものである。
【００１０】
このような符号化を行なうと、以下のような利点がある。
【００１１】
背景が静止していて、背景とは独立したオブジェクトの一部のみが動いている場合、背景や動いていないオブジェクトは再符号化する必要がなく、動いているオブジェクトのみ再符号化すればよい。よって、再符号化で発生する符号量、すなわち次のフレームで発生する符号量は大変少なくて済み、低い転送レートで、品質のよい画像を転送できる。
【００１２】
また、オブジェクト画像にはＣＧ（コンピュータ・グラフィクス）も取り扱うことが可能となっており、符号化器は符号化すべきＣＧのメッシュ（位置と形状変化）情報を符号化するだけでよく、伝送符号量のスリム化に貢献している。
【００１３】
一方、復号化器側はＣＧに関するメッシュ情報から演算により画像を組み立てて画面にはめ込んだり、ＣＧがフェイス・アニメーションであれば、受信した目鼻等の部品情報とその変形情報にしたがって復号化器側固有の目鼻等のキャラクタに対して、変形情報に基づく演算を施して画面にはめ込むことにより、アニメーションを構成するようになっている。
【００１４】
【発明が解決しようとする課題】
従来の画像表示端末では、符号化画像データを復号化する際、どの階層まで復号化処理をするかが予め決まっている。そのため、表示対象の階層の選択や変更が不可能であり、画像表示端末が有する処理能力に合わせて、最高性能を活用するようにはなっていない。したがって、時間と共に変化する符号化画像データに対して、復号化器の性能に合った最適な復号ができなかった。
【００１５】
また、ＣＧの符号化／復号化処理は、一般的にハードウェアではなくソフトウェア処理に適していると言われており、実際にソフトウェアにて処理する例が多い。したがって、一画面内に存在するオブジェクトの数が増加した場合は、主として復号化器のハードウェア的負荷が急増するが、オブジェクトがフェイス・アニメーション等を構成するＣＧである場合は、ソフトウェア的負荷（演算量、演算時間）が増大する。
【００１６】
ＣＧで生成される顔画像の符号化は、ビジュアル規格ではFace Objectとして定義されている。ＭＰＥＧ４では、ＦＤＰ(Face Definition Parameter)が顔画像の形状とテクスチャを定義するものとして規定され、ＦＡＰ(Face Animation Parameter)が顔、眉、瞼、目、鼻、唇、歯、舌、頬、顎などの動きを表現するものとして規定されている。フェイス・アニメーションでは、ＦＤＰ，ＦＡＰを演算処理し、組み合わせることによりアニメーションを構成するため、通常の自然画像の符号化画像データの復号よりも復号化器の負荷が大きいので、復号化器の性能により、復号不能等の支障を来す可能性があり、画像品質にもオブジェクトのフリーズや欠落等を引き起こすという問題点があった。
【００１７】
本発明は上記の問題点に鑑みてなされたものであり、オブジェクト単位で符号化された符号化画像データを復号する際に、復号した画像のデータ量が多すぎて復号処理の破綻、例えばバッファのオーバーフローを引き起こすような場合に、画像をオブジェクト毎にサブ・サンプリング処理することで好適にデータ量を削減させることができる画像処理装置及びその方法、コンピュータ可読メモリを提供することを目的とする。
【００１８】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
入力された符号化画像データを処理する画像処理装置であって、
オブジェクト単位で符号化されたデータを含む符号化画像データを入力して、複数のオブジェクト符号化データに分離する分離手段と、
前記分離手段によって分離されたオブジェクト符号化データを復号して、複数のオブジェクト復号データを出力する復号手段と、
前記複数のオブジェクト復号データのそれぞれに対して、オブジェクト毎にサブ・サンプリング処理を実行するサブ・サンプリング手段と、
前記複数のオブジェクト復号データを記憶する記憶手段と、
前記記憶手段に記憶されるオブジェクト毎の復号データを監視し、前記記憶手段がオーバーフローすると判定したときに、前記サブ・サンプリング手段に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる制御手段と
を備える。
【００１９】
また、好ましくは、前記分離手段は、前記符号化画像データから前記復号手段を制御するための制御情報を含むヘッダ情報をさらに分離し、前記制御手段は、前記分離手段によって分離されたヘッダ情報と、前記記憶手段に記憶されるオブジェクト毎の復号データのデータ量とに従って、前記サブ・サンプリング手段に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる。
【００２５】
上記の目的を達成するための本発明による画像処理方法は以下の構成を備える。即ち、
入力された符号化画像データを処理する画像処理方法であって、
オブジェクト単位で符号化されたデータを含む符号化画像データを入力して、複数のオブジェクト符号化データに分離する分離工程と、
前記分離工程によって分離されたオブジェクト符号化データを復号して、複数のオブジェクト復号データを出力する復号工程と、
前記複数のオブジェクト復号データのそれぞれに対して、オブジェクト毎にサブ・サンプリング処理を実行するサブ・サンプリング工程と、
前記複数のオブジェクト復号データを記憶媒体に記憶する記憶工程と、
前記記憶工程で前記記憶媒体に記憶されるオブジェクト毎の復号データを監視し、前記記憶工程がオーバーフローすると判定したときに、前記サブ・サンプリング工程に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる制御工程と
を備える。
【００２６】
上記の目的を達成するための本発明によるコンピュータ可読メモリは以下の構成を備える。即ち、
入力された符号化画像データを処理する画像処理をコンピュータに実行させるためのプログラムが格納されたコンピュータ可読メモリであって、
オブジェクト単位で符号化されたデータを含む符号化画像データを入力して、複数のオブジェクト符号化データに分離する分離工程と、
前記分離工程によって分離されたオブジェクト符号化データを復号して、複数のオブジェクト復号データを出力する復号工程と、
前記複数のオブジェクト復号データのそれぞれに対して、オブジェクト毎にサブ・サンプリング処理を実行するサブ・サンプリング工程と、
前記複数のオブジェクト復号データを記憶媒体に記憶する記憶工程と、
前記記憶工程で前記記憶媒体に記憶されるオブジェクト毎の復号データを監視し、前記記憶工程がオーバーフローすると判定したときに、前記サブ・サンプリング工程に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる制御工程と
をコンピュータに実行させるためのプログラムを格納している。
【００２７】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施形態を詳細に説明する。
［実施形態１］
図１は本発明の実施形態１の復号化器の基本構成を示す図である。
【００２８】
図１において、１０１は可変長符号復号化器であり、入力された符号化画像情報を可変長符号復号化を行う。１０２は逆量子化器であり、可変長符号復号化器１０１から出力された復号データに逆量子化を行う。１０３は逆ＤＣＴ部であり、逆量子化器１０２から出力された逆量子化データに逆ＤＣＴを行う。１０４、１０９、１１０はセレクタであり、復号化制御部１１２の制御に基づいて、入力されたデータを切り替える。１０５は平均値演算部であり、メモリ１（１０７）に格納されたデータとメモリ２（１０８）に格納されたデータの平均値を演算する。１０６は加算器であり、逆ＤＣＴ部１０３から出力された逆ＤＣＴデータとセレクタ１０４から出力されるデータとを加算する。１０７、１０８はメモリ（復号済みデータ・バッファ）であり、セレクタ１０９から出力されたデータを格納する。１１１は出力バッファであり、サブ・サンプリング部１１３から出力されたサブ・サンプリングデータを格納する。１１２は復号化器制御部であり、サブ・サンプリング部１１３、セレクタ１０４、１０９、１１０を制御する。１１３はサブ・サンプリング部であり、出力バッファ１１１に格納された復号済み画像データにサブ・サンプリングを行う。
【００２９】
次に、図１に示した復号化器を含む復号化システムについて、図２を用いて説明する。
【００３０】
図２は本発明の実施形態１の復号化システムの基本構成を示す図である。
【００３１】
図２において、２０１は符号化画像情報を含むビット・ストリームのヘッダ情報を解釈して、各フレーム（画面）を階層（オブジェクト）毎に分離する階層分離部である。２０２はヘッダ・デコーダであり、階層分離部２０１で分離されたヘッダ情報をデコード、解釈して、図１で示した復号化器からなる復号化器群２０３へ制御情報として渡す。２０３は復号化器群であり、階層分離部２０１でオブジェクト単位に分離された符号化画像情報を復号する。
【００３２】
２０５はＣＧ構築部であり、ＣＧ符号化情報を受けて、フェイス・アニメーション等のＣＧ画像を再構成する。尚、ＣＧ構築部２０５は、ソフトウェア処理によるテクスチャ・マッピングまたはポリゴンにてＣＧ画像を構成する機能を持つ。２０４はオブジェクト合成部であり、復号された各オブジェクトを合成して一枚の画面（フレーム）を構成する。
【００３３】
次に、復号化システムと対をなす符号化システムについて、図３を用いて説明する。
【００３４】
図３は本発明の実施形態１の符号化システムの基本構成を示す図である。
【００３５】
図３において、３０１はＶＯＰ定義部であり、ディジタル画像を一画面（フレームまたはフィールド）単位で、複数のオブジェクト（ＶＯＰ：Video Object Plane）分割（切り出し）を行う。３０２はＶＯＰ定義部３０１で分割された各オブジェクトを各々独立に符号化する符号化器群である。
【００３６】
３０３は符号化器群３０２で符号化された各オブジェクトを一つのビット・ストリームにまとめるマルチプレクサである。３０４はＣＧ画像のメッシュ情報（位置、形状）を符号化するＣＧ符号化器である。
【００３７】
次に、図１に示した復号化器と従来の復号化器の違いを比較するために、従来の復号化器について、図４を用いて説明する。
【００３８】
図４は従来の復号化器の基本構成を示す図である。
【００３９】
尚、図４において、図１に示した構成要素と同じ構成要素については、同一参照番号を付与し、その詳細については省略する。
【００４０】
図４に示すように、従来の復号化器では、復号化制御部１１２、サブ・サンプリング部１１３を有していない。
【００４１】
上述した図２の復号化システムにおいて、復号化器群２０３を構成する各復号化器（オブジェクト単位）は、ＣＧ構築部２０５を除いて図１に示した復号化器で構成されており、同一仕様である。ＣＧ構築部２０５は、基本的にＣＧ画像を生成するためのソフトウェアと画像を構成する部品にあたるテクスチャ画像のライブラリで構成されている。
【００４２】
次に、実施形態１の復号化システムの動作について、図１、図２を用いて説明する。
【００４３】
図２において、入力されたビット・ストリームは、階層分離部２０１にて、符号化画像情報とヘッダ情報とＣＧ符号化情報とに分離され、符号化画像情報は復号化器群２０３へ、ヘッダ情報はヘッダ復号化器２０２へ、ＣＧ符号化画像情報はＣＧ構築部２０５へと入力され、それぞれ復号化処理される。ヘッダ復号化器２０２にて復号されたヘッダ情報は、復号化器群２０３の各種機能の制御情報として、復号化器群２０３へ入力される。また、ＣＧ構築部２０５にＣＧ符号化情報が入力されると、ＣＧ構築部２０５では、入力されたＣＧ符号化情報にしたがってテクスチャの形状が演算処理され、メッシュ等に配置されることによるＣＧ画像（フェイス・アニメーション等）が構成される。
【００４４】
以下、復号化器群２０３それぞれで実行される処理について、図１を参照して説明する。
【００４５】
復号化器群２０３では、符号化画像情報は、可変長符号復号化器１０１へ入力され、制御情報（ヘッダ情報）は、復号化器制御部１１２へ入力される。復号化器制御部１１２は、制御情報（ヘッダ情報）と出力バッファ１１１の空きエリア情報から、復号化器の各種機能を制御するための制御信号を生成して、それぞれセレクタ１０４、１０９、１１０の制御と、サブ・サンプリング部１１３で実施されるサブ・サンプリング方法の制御を行う。
【００４６】
符号化画像情報は、可変長符号復号化器１０１で可変長符号が復号され、逆量子化部１０２にて逆量子化処理、逆ＤＣＴ部１０３にて逆ＤＣＴ処理される。この時、復号化器制御部１１２に入力されたヘッダ情報が現在復号中の画像データの復号モードを“イントラ”と指示した場合、復号化器制御部１１２は、セレクタ１０４をIVに、セレクタ１０９は現状維持、セレクタ１１０は（ｂ）または（ｃ）に設定する。この場合、逆ＤＣＴ処理された画像データは、セレクタ１０４がIV（数値としては、ゼロ）となっているので、メモリ１（１０７）またはメモリ２（１０８）にそのまま記憶される。
【００４７】
また、ヘッダ情報が現在復号中の画像データの復号モードを“インタ−（前方予測）”と指示した場合、復号化器制御部１１２は、セレクタ１０４をＩまたはIIIに、セレクタ１０９を▲２▼または▲１▼（セレクタ１０４がＩの時は▲２▼、IIの時は▲１▼）に、セレクタ１１０を（ｂ）または（ｃ）（セレクタ１０９が▲１▼の時は（ｂ）、▲２▼の時は（ｃ））に設定する。そして、加算器１０６にて、メモリ１（１０７）またはメモリ２（１０８）に格納されている復号済みの参照画像データを動きベクトルにしたがって読みだし、逆ＤＣＴ処理された画像データと加算することにより画像データの復号を完了する。
【００４８】
復号を完了した画像データは、復号に用いた参照画像データがメモリ１（１０７）から読み出したもの（セレクタ１０４の位置：Ｉ）であれば、メモリ２（１０８）（セレクタ１０９の位置：▲２▼）へ格納される。一方、復号に用いた参照画像データがメモリ２（１０８）から読み出したものであれば、メモリ１（セレクタ１０９の位置：▲１▼）へ格納される。同時に、セレクタ１１０（接点（ｃ）または接点（ｂ））を経て、サブ・サンプリング部１１３、出力バッファ１１１へ出力される。
【００４９】
また、ヘッダ情報が現在復号中の画像データの復号モードを“インタ−（双方向予測）”と指示した場合、復号化器制御部１１２は、セレクタ１０４をIIに、セレクタ１１０を（ａ）に、セレクタ１０９は現状維持に設定する。そして、メモリ１（１０７）およびメモリ２（１０８）に格納されている復号済みの参照画像データを動きベクトルにしたがって読みだし、平均値演算部１０５にてそれらの平均値を求める。次に、セレクタ１０４の（接点II）から出力し、加算器１０６にて、逆ＤＣＴ処理された画像データと加算することにより画像データの復号を完了し、セレクタ１１０の（接点（ａ））からサブ・サンプリング部１１３、出力バッファ１１１へ出力される。尚、双方向予測により復号された画像データは、その他の復号処理に使用されることはないので、この場合、メモリ１（１０７）、メモリ２（１０８）に格納しない。
【００５０】
以上のような一連の動作により、復号された画像データは出力バッファ１１１へ格納され、ＣＲＴ等の表示装置に適合したレートで読み出されるように構成さる。
【００５１】
復号された画像データのデータ量は、時間的に変動するのが一般的であり、出力バッファ１１１の空き容量も復号された画像データのデータ量によって瞬時値が変動する。復号化器制御部１１２は、この出力バッファ１１１の空き容量を常に監視し、オーバーフローの可能性があると判定した場合、サブ・サンプリング部１１３に指示を出し、任意の方法にて復号済み画像データのサブ・サンプリングを実行し、出力バッファ１１１のオーバーフローを回避する。
【００５２】
また、復号化器制御部１１２は、被復号画像データのヘッダ情報も同時に監視しており、符号化画像情報の数が急増するよう場合は、出力バッファ１１１に格納される画像データが急増すると判定して、同様に任意の方法にて復号済み画像データのサブ・サンプリングを実施する。
【００５３】
ここで、サブ・サンプリングについて、図５、図６を用いて説明する。
【００５４】
図５、図６は本発明の実施形態１の画像データのサブ・サンプリングの一例を説明するための図である。
【００５５】
図５、図６は、特に、サブ・サンプリングと呼ばれる間引き処理の一例であり、図５が間引き前、図６が一ライン置きに位相を逆転させながら、一画素置きに画素を間引くことにより、水平画素数を１／２（水平解像度を１／２）にする方法として広く知られている。
【００５６】
尚、サブ・サンプリング部１１３の後段にポストフィルタ（妨害除去フィルタ）を併設して、サブ・サンプリングが実施されることによる空間周波数的な妨害成分を除去するように構成されている。従って、出力バッファ１１１のオーバーフローに対するサブ・サンプリングによる復号済み画像データの間引き処理は、オブジェクト単位で設けられた図２の復号化器群２０３それぞれに行われる。また、サブ・サンプリングは、オブジェクト単位で実施され、復号化器制御部１１２は、出力バッファ１１１のオーバーフロー要因が解消したと判定した時点から、ある一定時間の遅延をもってサブ・サンプリングを解除するようにプログラミングされている。
【００５７】
次に、実施形態１で実行される処理の内、特に、復号化器で実行される処理の処理フローについて、図７を用いて説明する。
【００５８】
図７は本発明の実施形態１の復号化器で実行される処理を示すフローチャートである。
【００５９】
まず、ステップＳ１０１で、ビット・ストリームを入力する。ステップＳ１０２で、入力されたビット・ストリームをヘッダ情報、符号化画像情報、ＣＧ符号化情報に分離し、得られたヘッダ情報に基づいて、符号化画像情報を指定された復号モードで復号化する。ステップＳ１０３で、復号済み画像データを格納する出力バッファがオーバーフローの可能性があるか否かを判定する。オーバーフローの可能性がある場合（ステップＳ１０３でＹＥＳ）、ステップＳ１０４に進み、復号済み画像データをサブ・サンプリングする。一方、オーバー・フローの可能性がない場合（ステップＳ１０３でＮＯ）、処理を終了する。
【００６０】
以上説明したように、実施形態１によれば、入力されたビット・ストリームの復号化処理において、出力バッファ１１１がオーバーフローを起こすような場合、瞬時に復号済み画像データのサブ・サンプリングを実施して、出力バッファ１１１に格納される復号された画像データのデータ量を削減することにより、復号化画像の空間解像度を犠牲にする代わりに、復号化処理の中断やそれに伴う復号化画像の乱れを回避することができる。
［実施形態２］
実施形態２では、ビット・ストリームがスケーラビリティを採用している場合における復号化処理について説明する。
【００６１】
図８は本発明の実施形態２の復号化器の基本構成を示す図である。
【００６２】
図８において、７０１は復号化部であり、少なくとも図４に示した構成を有する。７０２は制御部であり、復号化器の各種構成要素を制御する。７０３、７０８はセレクタであり、入力されたデータを切り替える。７０４は空間スケーラビリティ上位レイヤ生成部であり、空間スケーラビリティにおける上位レイヤ画像を生成する。７０５は時間スケーラビリティ上位レイヤ生成部であり、時間スケーラビリティにおける上位レイヤ画像を生成する。７０６は基本レイヤ生成部であり、空間または時間スケーラビリティにおける基本レイヤ画像を生成する。７０７は解像度セレクタであり、入力されたデータを切り替える。７０９は選択信号であり、ユーザからの入力信号である。
【００６３】
尚、実施形態２の復号化システムは、図２の復号化器群２０３の各復号化器に、図８で説明した復号化器を採用した同一仕様である。する。そして、各復号化器とＣＧ構築部２０５の機能は、演算装置（ハードウェア）と、図８の全機能を満足するソフトウェア（プログラム）の組み合わせにより実現されるものである。
【００６４】
次に、空間スケーラビリティの概念について、図９を用いて説明する。
【００６５】
図９は本発明の実施形態２の空間スケーラビリティの概念を説明するための図である。
【００６６】
図９において、時間は左から右へ進むものとする。
【００６７】
一番下のレイヤは、最低空間解像度の基本レイヤ（BaseLayer）であり、オリジナル画像に対して、画素数（空間解像度）は低下しているが、単独で復号化し、画像を形成することが可能である。符号化は、基本レイヤのフレーム（フィールド）間予測を用いる。
【００６８】
真ん中のレイヤは、基本レイヤを後述の上位レイヤ（Enhancement Layer）と同一サイズにアップ・サンプリングした拡張基本レイヤである。
【００６９】
一番上のレイヤは、上位レイヤ（Enhancement Layer）であり、オリジナル画像とアップ・サンプリングした拡張基本レイヤ画像との差分、即ち、高解像度成分と、上位レイヤにおけるフレーム（フィールド）間予測を用いて符号化される。尚、上位レイヤ単独での復号化（画像形成）は不可能である。
【００７０】
次に、時間スケーラビリティの概念について、図１０を用いて説明する。
【００７１】
図１０は本発明の実施形態２の時間スケーラビリティの概念を説明するための図である。
【００７２】
図１０において、時間は左から右へ進むものとする。
【００７３】
下のレイヤは、基本レイヤ（Base Layer）であり、オリジナル画像に対してフレーム・レート（時間解像度）が低下しているが、単独で復号化し、画像を形成することが可能である。符号化は、基本レイヤのフレーム（フィールド）間予測を用いる。
【００７４】
上のレイヤは、上位レイヤ（Enhancement Layer）であり、オリジナル画像と同じフレーム・レートを持ち、基本レイヤを用いた前方、後方予測と上位レイヤにおけるフレーム（フィールド）間予測を用いて符号化される。上位レイヤ単独での復号化（画像形成）は不可能である。
【００７５】
次に、実施形態２の復号化システムの動作について、図２、図８を用いて説明する。
【００７６】
図２において、入力されたビット・ストリームは、階層分離部２０１にて、符号化画像情報とヘッダ情報とに分離され、符号化画像情報は復号化器群２０３へ、ヘッダ情報はヘッダ復号化器２０２へと入力され、それぞれ復号化処理される。ヘッダ復号化器２０２にて復号されたヘッダ情報は、復号化器群２０３の各種機能の制御情報として、復号化器群２０３へ入力される。
【００７７】
次に、復号化器群２０３それぞれで実行される処理について、図８を参照して説明する。
【００７８】
図８において、階層分離部２０１で分離された符号化画像情報は、復号化部７０１へ、また、ヘッダ復号化器２０２で復号された制御情報（ヘッダ情報）は、制御部７０２へ入力される。
【００７９】
制御部７０２では、入力された制御情報（ヘッダ情報）が解釈され、符号化モード、スケーラビリティ関連情報等の復号化に必要な制御情報が、復号化部７０１に入力される。制御部７０２は、制御情報（ヘッダ情報）の解釈と共に復号化部７０１の各処理機能の動作とメモリの監視機能も具備しており、復号化部７０１の動作状態も制御情報に加味される。
【００８０】
符号化画像情報は、制御部７０２からの制御情報（ヘッダ情報）に従って、復号化部７０１にて可変長符号の復号、逆量子化、逆ＤＣＴという一連の復号化処理が施され、セレクタ７０３に送られる。
【００８１】
本復号化器に入力されたビット・ストリームが、スケーラビリティを使用して符号化されたものである場合、通常は使用されたスケーラビリティの情報がヘッダ情報として伝送される。そのため、制御部７０２にて生成された制御情報が、復号化部７０１と、セレクタ７０３、および解像度セレクタ７０７それぞれへ送られ、空間、時間の各スケーラビリティ共に、上位レイヤ、基本レイヤの両レイヤ画像が再構成される。
【００８２】
再構成された画像は、基本的に高解像度画像がデフォルトで選択されるが、制御部７０２がビット・ストリームのヘッダ情報を解釈した結果、復号化部７０１の処理能力では、ビット・ストリームを正常に処理できないと判断した場合、またはＣＧ構築部２０５に入力されるＣＧ符号化情報が、ＣＧ構築部２０５の処理能力を越え、ＣＧ構築部２０５自身が判定、またはＣＧ構築部２０５にてＣＧ符号化情報の処理中に新たなＣＧ符号化情報の処理のリクエストを受信した場合、制御部７０２、およびＣＧ構築部２０５は、上記２つの場合を復号化処理の破綻と判定して、選択信号７０９に因らず、上位レイヤ（高解像度情報）画像を破棄し、基本レイヤ画像のみ復号化してセレクタ７０８から出力する。
【００８３】
また、イントラ・フレームやイントラ・マクロ・ブロックの出現頻度の急増に起因するビット・ストリームの復号化処理の破綻（リアルタイム復号化不能、または入出力バッファのオーバーフロー）を制御部７０２が検出または予測した場合、選択信号７０９に因らず、上位レイヤ（高解像度情報）画像を破棄し、基本レイヤ画像のみ復号化処理してセレクタ７０８から出力する。
【００８４】
また、ＣＧ符号化情報の急増によるソフトウェアによるＣＧ構築処理の負荷の急増により、ＣＧ構築部２０５の処理能力を超過し、ＣＧ構築部２０５自身が制御部２０２に対して処理不能フラグを出した場合、選択信号７０９に因らず、上位レイヤ（高解像度情報）画像を破棄し、基本レイヤ画像のみ復号化処理してセレクタ７０８から出力する。
【００８５】
上位レイヤ画像を破棄したことによってできた復号化器群２０３の余力、即ち、演算装置の処理能力をＣＧ符号化情報の処理に当てることにより、ＣＧ画像の構築を正常に完遂させる。尚、制御部７０２は、随時入力されるヘッダ情報を解釈して、ビット・ストリームが通常処理可能であると判定された時点から、Ｎフレーム（またはフィールド）分の遅延時間を置いて、通常動作に復帰するようにプログラムされている。
【００８６】
以上のように、スケーラビリティを使用しているビット・ストリームで、例えば、ＣＧ符号化情報が多数入力され、復号化器群２０３の負荷が急増し、制御部７０２が正常な復号化処理の継続が不可能と判定した場合、前述のように各オブジェクトの上位レイヤ画像を破棄し、強制的に基本レイヤ（低解像度）画像を出力する固定モードに設定する。これにより、ＣＧ符号化情報以外の復号化演算の負荷を軽減し、余力をＣＧ構築部２０５に割り振ることにより、見掛け上、正常な復号化動作（画像のフリーズやオブジェクトの欠落がない）を維持することができる。
【００８７】
実施形態２では、外部からの選択信号７０９を受信して、セレクタ７０８を制御することもできるように構成してある。従って、選択信号７０９は、ユーザが外部から任意に入力可能である。選択信号７０９にて選択可能な解像度は、ビット・ストリーム（符号化画像情報）が空間スケーラビリティを使用しているならば、空間的解像度の高低が選択可能であり、時間スケーラビリティを使用しているならば、時間的解像度（フレーム・レート等）の高低が選択可能である。
【００８８】
次に、実施形態２で実行される処理の内、特に、復号化器で実行される処理の処理フローについて、図１１を用いて説明する。
【００８９】
図１１は本発明の実施形態２の復号化器で実行される処理を示すフローチャートである。
【００９０】
まず、ステップＳ２０１で、ビット・ストリームを入力する。ステップＳ２０２で、入力されたビット・ストリームより、上位レイヤ、基本レイヤの両レイヤ画像を再構成する。ステップＳ２０３で、復号化処理の破綻の可能性があるか否かを判定する。破綻の可能性がある場合（ステップＳ２０３でＹＥＳ）、ステップＳ２０４に進み、基本レイヤ画像のみを復号化する。一方、破綻の可能性がない場合（ステップＳ２０３でＮＯ）、ステップＳ２０５に進み、上位レイヤ、基本レイヤの両レイヤ画像を復号化する。
【００９１】
以上説明したように、実施形態２によれば、ビット・ストリームがスケーラビリティを採用している場合、バッファのオーバーフローや復号化処理の破綻（復号化処理が入力のレートに対して間に合わない）等が予想される状態を検知して、瞬時に上位レイヤ画像を破棄し、強制的に基本レイヤ画像専用の復号化処理に切換えて、スケーラビリティの持つ時間的、空間的最高解像度を犠牲にする代わりに、復号化処理の中断またはそれに伴う復号化画像の乱れやフリーズ等を回避することができる。
【００９２】
また、サブ・サンプリング、または強制的に基本レイヤ（低解像度）画像を実施する異常状態が解消された時点から通常の復号化処理に復帰させるまでに、一定の時間遅延を設けることにより、復号化された画像データのデータ量の僅かな増減により通常状態と異常状態が頻繁に繰り返されるのを回避することができる。
上記実施形態１、実施形態２におけるサブ・サンプリングは、画面内処理の一つであり、また、上述した上位レイヤ画像の破棄も画面内処理に含まれる。
【００９３】
尚、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００９４】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００９５】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９６】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００９７】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９８】
更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９９】
【発明の効果】
以上説明したように、本発明によれば、オブジェクト単位で符号化された符号化画像データを復号する際に、復号した画像のデータ量が多すぎて復号処理の破綻、例えばバッファのオーバーフローを引き起こすような場合に、画像をオブジェクト毎にサブ・サンプリング処理することで好適にデータ量を削減させることができる画像処理装置及びその方法、コンピュータ可読メモリを提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態１の復号化器の基本構成を示す図である。
【図２】本発明の実施形態１の復号化システムの基本構成を示す図である。
【図３】本発明の実施形態１の符号化システムの基本構成を示す図である。
【図４】従来の復号化器の基本構成を示す図である。
【図５】本発明の実施形態１の画像データのサブ・サンプリングの一例を説明するための図である
【図６】本発明の実施形態１の画像データのサブ・サンプリングの一例を説明するための図である
【図７】本発明の実施形態１の復号化器で実行される処理を示すフローチャートである。
【図８】本発明の実施形態２の復号化器の基本構成を示す図である。
【図９】本発明の実施形態２の空間スケーラビリティの概念を説明するための図である。
【図１０】本発明の実施形態２の時間スケーラビリティの概念を説明するための図である。
【図１１】本発明の実施形態２の復号化器で実行される処理を示すフローチャートである。
【符号の説明】
１０１  可変長符号復号化器
１０２  逆量子化器
１０３  逆ＤＣＴ部
１０４、１０９、１１０  セレクタ
１０５  平均値演算部
１０６  加算器
１０７  メモリ１
１０８  メモリ２
１１１  出力バッファ
１１２  復号化器制御部
１１３  サブ・サンプリング部
２０１  階層分離部
２０２  ヘッダ復号化器
２０３  復号化器群
２０４  オブジェクト合成部
２０５  ＣＧ構築部
【図１】
0004109777.tif 000002
【図２】
0004109777.tif 000003
【図３】
0004109777.tif 000004
【図４】
0004109777.tif 000005
【図５】
0004109777.tif 000006
【図６】
0004109777.tif 000007
【図７】
0004109777.tif 000008
【図８】
0004109777.tif 000009
【図９】
0004109777.tif 000010
【図１０】
0004109777.tif 000011
【図１１】
0004109777.tif 000012