(57)【要約】　　　（修正有）【課題】オブジェクトの優先順位情報を相互に異なる比率で復号化に必要な計算量を低減させることができる方法を提供する。【解決手段】多重オブジェクト環境で優先順位情報を用いた優雅な計算量低減方法が提供される。この方法は、多数のオブジェクト単位(object)で符号化されたマルチメディアデータを復号化する際、符号化されたデータを処理するために要求される計算量に復号化器の計算パワーが及ばない場合、各オブジェクト別に復号化に必要とされる計算量を低減させる。優先順位情報は、オブジェクト間の相対的な視覚的重要度の観点から符号化器により決定される。【選択図】図１Ｂ
2004140807.tif 000002
【特許請求の範囲】
【請求項１】
　入力マルチメディアをその内容及び特性に応じて複数のオブジェクトに分割するマルチメディアオブジェクト分割部、このマルチメディアオブジェクト分割部からの対応する入力マルチメディアオブジェクトを符号化する複数のオブジェクト符号化部、および複数の符号化されたマルチメディアオブジェクト・ビットストリームを多重化する多重化器を有する符号化器と、前記多重化器から受け取った多重化されたマルチメディアオブジェクト・ビットストリームを逆多重化して、複数の逆多重化されたマルチメディアオブジェクトビットストリームを出力する逆多重化器、この逆多重化器から得られた対応するマルチメディアオブジェクト・ビットストリームを復号する複数のオブジェクト復号化部、およびこれらの復号化されたマルチメディアオブジェクトを再構築して、ユーザに対するマルチメディアを生成するマルチメディア構築部を有する復号化器とからなるＭＰＥＧ符号化および復号化システムにおける優雅的計算低減方法であって、
　多重化器において、復号化器で優雅的計算低減が適用されることを考慮して、符号化されたオブジェクト・ビットストリームを送信用に多重化する前に符号化オブジェクト間の相対的な重要性に応じてそれぞれのオブジェクトの優先順位を決定するステップと、
　逆多重化器において、それぞれのオブジェクトに応じて決定された前記優先順位を用いて各ビデオオブジェクトごとに異なる比率で低減すべき計算量を決定するステップとを有する方法。
【請求項２】
　請求項１に記載の方法であって、前記低減計算量を決定するステップは、
　入力ビットストリームを逆多重化した後、それぞれの逆多重化されたオブジェクト・ビットストリームを分析してそれぞれのオブジェクト・ビットストリームを復号化するのに必要な計算パワーを予測するステップと、
　オブジェクト復号化部の計算パワーを分析するステップと、
　前記オブジェクト復号化部の計算パワーがそれぞれのオブジェクト・ビットストリームの復号化に必要な計算パワーを越えているか否かを判定するステップと、
　前記オブジェクト復号化部の計算パワーが必要パワーに及ばない場合に、各ビデオオブジェクト毎に前記優先順位を用いて低減すべき計算量を決定するステップとを有することを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は、多重オブジェクト環境で優先順位情報を用いた優雅的（純化的）
計算量低減方法に関する。特に幾つかのオブジェクト(object)単位で符号化されたマルチメディア(multimedia)データを復号化する際、符号化されたデータを処理するのに要求される計算パワーに復号化器の計算パワーが及ばない場合、符号化器が各オブジェクトの相対的な視覚的重要度に応じて、優雅的計算量低減方法が適用されることを考慮して決定した優先順位情報を用いて、復号化に必要とされる計算量を各オブジェクト毎に相互に異なる比率で低減させる方法に関する。
【０００２】
　（背景技術）
　近年、ＭＥＰＧ（Moving Picture Experts Group）スタンダード、すなわち、多くの情報を圧縮することができるマルチメディア統合型の動画圧縮技術の国際標準、がオーディオ、データ、ビデオを統合するマルチメディア技術の発達に伴って広く普及してきた。
【０００３】
　多くの情報を圧縮することができるＭＰＥＧ技術は、通信、放送、家電製品、コンピュータ、ＣＤ−ＲＯＭ等に適用され、オーディオおよびビデオを同期化して両者を多重化する。
【０００４】
　一般に、オーディオ信号とビデオ信号の混在したシステムストリームであるＭＰＥＧビットストリームデータは、チャネルおよびメモリまたは表示の種類によって決定される。このようなビットストリームデータはＭＰＥＧ複合化器に受信され、まず、そのシステムストリームを復号化して、その中に混在しているオーディオビットストリーム情報、ビデオビットストリーム情報、および付加的な情報を得る。
【０００５】
　従来のＭＰＥＧ複合化器は、ＭＰＥＧビットストリームデータを復号化して、その復号化結果を外部メモリに書き込む。その後、複合化器は、この復号化された結果をアナログ信号に変換し、ユーザがオーディオおよびビデオを視聴できるようにする。
【０００６】
　一般に、各プラットフォームの計算能力（パワー）は同じではないので、各プラットフォームの能力で実現しうるサービスの最大品質を提示する必要がある。また、すべての複合化器が、異なる品質レベルであっても、すべてのＭＰＥＧ−４サービスを復号化できる必要もある。このことは、計算パワーに応じた変倍性(scalability)が必要であることを意味する。この変倍性は、復号化側で理論的
に必要な計算パワーが得られない場合には、品質を優雅に劣化（graceful degradation）することを可能とすべきである。
【０００７】
　M.Mttavelli等によるMPEG96/0925で提案されている従来の優雅な計算低減方法( computational graceful degradation method)は、符号化されたマルチメディアデータを復号化する際、計算量を低減するものである。この方法は、符号化されたマルチメディアデータを処理するために必要な計算パワーに対して複合化器の計算パワーが及ばない場合に、それぞれのビデオオブジェクト間の相対的な重要度を考慮することなく、一括的に復号化に必要な計算量を低減させて処理した。しかしながら、こうした従来の方法は各オブジェクトが有している相対的な重要度を十分に活用し得ない問題点がある。
【０００８】
　この従来の方法は、単一のビデオオブジェクト（ＶＯ）の場合のみを考慮していた。しかし、ビデオシーンは、多数のビデオオブジェクトからなり、これらのビデオオブジェクトは、変倍性を可能とするために、さらに幾つかのビデオオブジェクト層（ＶＯＬ）に分解できる。優雅な計算低減の観点から簡略化された復号化を目的として、これらのＶＯやＶＯＬの視覚的重要性における種々の程度が活かされるべきである。
【０００９】
　（発明の開示）
　本発明の目的は、上述のような問題点を解決するため、符号化されたデータを処理するのに要求される計算パワーに復号化器の計算パワーが及ばない場合に、それぞれのビデオオブジェクト間の相対的な視覚的重要性の観点から最適な優雅な劣化のために符号化器が決定した各オブジェクトの優先順位情報を復号化器が用いてオブジェクト毎に相互に異なる比率で復号化に必要な計算量を低減させることができる方法を提供することにある。
【００１０】
　前記目的を達成するための本発明は、ＭＰＥＧ符号化および復号化システムにおける優雅的計算低減方法であって、入力マルチメディアをその内容及び特性に応じて複数のオブジェクトに分割するマルチメディアオブジェクト分割部、このマルチメディアオブジェクト分割部からの対応する入力マルチメディアオブジェクトを符号化する複数のオブジェクト符号化部、および複数の符号化されたマルチメディアオブジェクト・ビットストリームを多重化する多重化器（マルチプレクサ）を有する符号化器（デコーダ）と、前記多重化器から受け取った多重化されたマルチメディアオブジェクト・ビットストリームを逆多重化して、複数の逆多重化されたマルチメディアオブジェクトビットストリームを出力する逆多重化器（デマルチプレクサ）、この逆多重化器から得られた対応するマルチメディアオブジェクト・ビットストリームを復号する複数のオブジェクト復号化部（デコーダ）、およびこれらの復号化されたマルチメディアオブジェクトを再構築して、ユーザに対するマルチメディアを生成するマルチメディア構築部を有する復号化器とからなるＭＰＥＧ符号化および復号化システムにおける優雅的計算低減方法を提供する。
【００１１】
　この方法は、多重化器において、復号化器で優雅的計算低減が適用されることを考慮して、符号化されたオブジェクト・ビットストリームを送信用に多重化する前に符号化オブジェクト間の相対的な重要性に応じてそれぞれのオブジェクトの優先順位を決定するステップと、逆多重化器において、それぞれのオブジェクトに応じて決定された前記優先順位を用いて各ビデオオブジェクトごとに異なる比率で低減すべき計算量を決定するステップとを有する。
【００１２】
　前記低減計算量を決定するステップでは、入力ビットストリームを逆多重化した後、それぞれの逆多重化されたオブジェクト・ビットストリームを分析してそれぞれのオブジェクト・ビットストリームを復号化するのに必要な計算パワーを予測するステップと、オブジェクト復号化部の計算パワーを分析するステップと、前記オブジェクト復号化部の計算パワーがそれぞれのオブジェクト・ビットストリームの復号化に必要な計算パワーを越えているか否かを判定するステップと、前記オブジェクト復号化部の計算パワーが必要パワーに及ばない場合に、各ビデオオブジェクト毎に前記優先順位を用いて低減すべき計算量を決定するステップとを有する。
【００１３】
　上基本発明によれば、互いに異なる特性を有するマルチメディアオブジェクト間の相対的な視覚的重要性の観点による優雅な計算低減により、それぞれのオブジェクトの特性により適したマルチメディア復号化が同環境で実現しうる。
【００１４】
　（発明を実施するための最良の形態）
　以下、本発明の望ましい一実施例に関して添付図面を参照して詳細に説明する。
【００１５】
　第1Ａ図及び第1Ｂ図は本発明が適用され得るＭＰＥＧ符号化及び復号化システムの構成図である。第1Ａ図及び第1Ｂ図に図示された図面符号11はマルチメディアオブジェクト分割部、12ａから12ｎは複数のオブジェクト符号化部、13は多重化部、14逆多重化部、15はオブジェクト復号化部、及び16はマルチメディア構築部を各々示す。
【００１６】
　このように構成されたマルチメディア符号化及び復号化システムは一般的に次のように動作する。
【００１７】
　マルチメディアオブジェクト分割部11は、入力されるマルチメディアを内容及び特性別に多数のオブジェクトに分割して複数のオブジェクト符号化部12ａ〜12ｎに出力する。
【００１８】
　ついで、これらのオブジェクト符号化部12ａ〜12ｎのおのおのは、マルチメディアオブジェクト分割部11から入力された対応するオブジェクトを符号化する。
【００１９】
　その後、多重化器13は、各オブジェクト符号化部12ａ〜12ｎにより符号化された複数のマルチメディアオブジェクト・ビットストリームを多重化して復号化器へ、多重化マルチメディアオブジェクト・ビットストリームを送る。
【００２０】
　復号化器では、逆多重化部14が、多重化器13から入力された多重化マルチメディアビット・ストリームを逆多重化して、複数のマルチメディアオブジェクト・ビットストリームをオブジェクト復号化部15a~15nに出力する。
【００２１】
　次に、オブジェクト復号化部15a~15nは、逆多重化部14から入力される対応す
るマルチメディアオブジェクト・ビットストリームを復号化し、続いて、マルチメディア構築部16が、各オブジェクト復号化部15から復号化されたマルチメディアオブジェクトを再構築してユーザに出力する。
【００２２】
　上述したようなマルチメディア符号化及び復号化システムに本発明が適用されると、多重化器13及び逆多重化部14は次のように動作する。
【００２３】
　まず、多重化器13は、符号化されたオブジェクトビット・ストリームを多重化して送る前に、復号化装置で優雅的計算量低減方法が適用されることを考慮して、各オブジェクトの相対的な視覚的重要度に応じてそれぞれのビデオオブジェクト（ＶＯ）の優先順位を決定する。
【００２４】
　逆多重化部14は、図2の優雅的な計算低減処理のフローチャートに図示された
ステップを行う。
【００２５】
　逆多重化部14は、入力されるビット・ストリームを逆多重化した後、各オブジェクト・ビットストリームを復号化装置に送る前に、各オブジェクト・ビットストリームを分析する(Ｓ101)。
【００２６】
　この分析によって各オブジェクト・ビットストリームを復号化するために要求される計算パワーを予測し(Ｓ102)、オブジェクト復号化部15a~15nの計算パワーを分析する(Ｓ103)。この分析によって、逆多重化器１４は、それぞれのオブジ
ェクト・ビットストリームを復号化するのに必要な計算パワーにオブジェクト復号化部15a~15bの計算パワーが及ぶか否かを判定する（Ｓ104）。
【００２７】
　この判定の結果、オブジェクト復号化部15a~15n の計算パワーが復号化に必要な計算パワーに及ばない場合、多重化器１４は、多重化器13で決定した優先順位に応じて、復号化部につき低減すべき計算量を決定する(Ｓ105)。
【００２８】
　もし、オブジェクトの計算パワーが必要分を越えるならば、逆多重化部１４は、計算量を低減することなく、復号化部15a~15nに対して、逆多重化されたオブ
ジェクト・ビットストリームを与える。
【００２９】
　例えば、テニス競技場でテニス競技をするテニスプレーヤの動映像を符号化する場合を考える。この競技場とテニスプレーヤの各々をビデオオブジェクトとして符号化する場合、大抵の人は競技場よりもテニスプレーヤにより関心があるので、競技場の品質よりテニスプレーヤの品質を高くするのが望ましい。すなわち、テニスプレーヤのオブジェクトの方が、競技場のオブジェクトより相対的に重要であるということである。
【００３０】
　したがって、復号化器において優雅的計算低減方法を適用する際、多重化器１３は、競技場オブジェクトがテニスプレーヤオブジェクトより相対的に3倍ぐら
い計算量が低減されて復号化されるように、テニスプレーヤオブジェクトの優先順位を１とするとともに、競技場オブジェクトの優先順位を３と決定することができる。
【００３１】
　さらに、逆多重化部14で予測した競技場の符号化に要する計算パワーが秒当り30000命令語であり、テニスプレーヤオブジェクトの場合、秒当り20000命令語であり、さらに、復号化部15a~15nの計算パワーが秒当り40000命令語であれば、全体的に秒当り10000命令語分の計算パワーが足りないことになる。
【００３２】
　したがって、多重化器13で決定された優先順位に従い、競技場オブジェクトの計算低減量をテニスプレーヤオブジェクトのそれより相対的に3倍ぐらいに大き
くするために、競技場オブジェクトは秒当り7500命令語を低減させて復号化し、テニスプレーヤオブジェクトは秒当り2500命令語を低減させて復号化するように決定することができる。
【００３３】
　以上、具体的な実施例により本発明を説明したが、上記説明に照らして当業者が種々の置換、変形および変更を行うことができることは自明であろう。したがって、請求の範囲に記載の精神および広い範囲内においてそのようなすべての置換、変改、及び変更が包含されることが意図されている。
【００３４】
　（産業上の利用可能性）
　以上のような本発明は、各々相互に異なる特性を有するマルチメディアオブジェクトの相対的な視覚的重要度を考慮して優雅的な計算量を行うことによって、同一の環境で各オブジェクトの特性により適したマルチメディア復号化が可能であるようにする、優れた効果がある。
【図面の簡単な説明】
【００３５】
【図１Ａ】本発明が適用される符号化及び復号化システムの構成図。
【図１Ｂ】本発明が適用される符号化及び復号化システムの構成図。
【図２】本発明による優雅的な計算低減処理のフローチャート。
【図１Ａ】
2004140807.tif 000003
【図１Ｂ】
2004140807.tif 000004
【図２】
2004140807.tif 000005