(57)【特許請求の範囲】
【請求項１】
映像を複数のオブジェクトに分割し、上記オブジェクト毎に符号化され、多重化されたビットストリームを各オブジェクトストリームに分離するとともに、上記各オブジェクトストリームを復号化した後で合成するビットストリーム復号化装置であって、
上記オブジェクトストリームを復号化する復号化手段と、
上記復号化手段から出力される上記オブジェクトの復号画像を選択する選択手段と、
上記映像を視聴するための契約によって与えられた視聴情報として、上記契約の内容に応じて定まる映像の精細度を指定する情報を記憶する記憶手段と、
上記記憶手段に記憶された映像の精細度を指定する情報に基づいて、上記選択手段により選択されるオブジェクトの復号画像の数を制御する制御手段と、
上記選択手段によって選択されたオブジェクトの復号画像が１つのときは、当該１つの復号画像を拡大処理して出力し、上記選択されたオブジェクトの復号画像が複数あるときは、当該複数の復号画像を拡大処理及び合成処理して出力する合成出力手段と
を備えたことを特徴とするビットストリーム復号化装置。
【請求項２】
上記ビットストリームは、回線を介して入力された番組のストリームであることを特徴とする請求項１に記載のビットストリーム復号化装置。
【請求項３】
上記ビットストリームは、パッケージメディアより得られたストリームであることを特徴とする請求項１に記載のビットストリーム復号化装置。
【請求項４】
映像を複数のオブジェクトに分割し、上記オブジェクト毎に符号化され、多重化されたビットストリームを各オブジェクトストリームに分離するとともに、上記各オブジェクトストリームを復号化した後で合成するビットストリーム復号化方法であって、
上記オブジェクトストリームを復号化する復号化工程と、
上記映像を視聴するための契約によって与えられた視聴情報として、上記契約の内容に応じて定まる映像の精細度を指定するための情報を記憶手段に記憶する記憶工程と、
上記記憶手段に記憶された映像の精細度を指定する情報に基づいて、上記復号化工程において出力される上記オブジェクトの復号画像を選択する選択手段によって選択される上記オブジェクトの復号画像の数を制御する制御工程と、
上記選択手段によって選択されたオブジェクトの復号画像が１つのときは、当該１つの復号画像を拡大処理して出力し、上記選択されたオブジェクトの復号画像が複数あるときは、当該複数の復号画像を拡大処理及び合成処理して出力する合成出力工程と
を備えたことを特徴とするビットストリーム復号化方法。
【請求項５】
上記ビットストリームは、回線を介して入力された番組のストリームであることを特徴とする請求項４に記載のビットストリーム復号化方法。
【請求項６】
上記ビットストリームは、パッケージメディアより得られたストリームであることを特徴とする請求項４に記載のビットストリーム復号化方法。
【請求項７】
請求項１〜３の何れか１項に記載のビットストリーム復号化装置を構成する各手段としてコンピュータを機能させるためのプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項８】
請求項４〜６の何れか１項に記載のビットストリーム復号化方法の手順をコンピュータに実行させるためのプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はビットストリーム復号化装置、方法及び記憶媒体に関し、特に、デジタルＴＶ受信装置あるいはデジタル蓄積メデイア再生装置など、符号化されて多重化された画像や音声などのビットストリームを復号化する装置に関する。
【０００２】
【従来の技術】
図４に、符号化されたビットストリームの復号化装置の従来例を示す。これは、課金を伴うデジタル放送受信機のおおまかな構成を表している。図４において、４０１は符号化されたビットストリーム入力端子、４０２はデスクランブル手段、４０３は多重化されたデータを分離する手段である。
【０００３】
４０４は分離されたオーディオ信号を復号するオーディオ復号化手段、４０５は同じく分離されたビデオ信号を復号するビデオ復号化手段、４０６は電話回線などの通信回線端子、４０７はモデム、４０８はＣＰＵ、４０９はＩＣカード、４１０はリモコンをそれぞれ示している。
【０００４】
以下、図４に従って従来のデジタル放送受信機の動作を説明する。図４においてチューナ（図示せず）で受信されたビットストリームは入力端子４０１から内部に入力される。符号化方式としては、いわゆるＭＰＥＧ２が一般的によく用いられる。
【０００５】
この入力ストリームは、通常は符号化されたオーディオ信号とビデオ信号が多重化されており、課金を伴うシステムではビットストリームに対してさらにスクランブルが施されるのが一般的である。
【０００６】
課金の仕組みについては後述するとして、視聴が許可されているものとすると、デスクランブル手段４０２に入力されたストリームは、ＣＰＵ４０８から与えられるスクランブル解除キーによりスクランブルを解除されて分離手段４０３に入力される。
【０００７】
分離手段４０３では、オーディオ信号とビデオ信号のストリームとに分離され、各々復号化手段４０４、４０５に供給されて元のオーディオ信号とビデオ信号の状態で出力されて表示される。なお、ＣＰＵ４０８からオーディオ復号化手段４０４、ビデオ復号化手段４０５に制御線がでているのは、ステレオ・複数国語の制御や情報を画面に表示するためである。
【０００８】
さて課金の仕組みであるが、１つには、あらかじめモデム４０７を介して管理センターと契約を行うと番組ＩＤとスクランブル解除キーがＩＣカード４０９に記憶され、該当番組の視聴時にはＣＰＵ４０８がＩＣカード４０９にアクセスして必要な情報を得るというものである。この場合はあらかじめ契約していない番組は視聴できない。
【０００９】
これに対して、ある課金番組を視聴する時に、いつでもスクランブルが解除でき、解除キーを使用したという情報をモデム４０７を介して管理センターに報告するというシステムもある。
【００１０】
これは、いわゆるペイパービュー方式と呼ばれる方式で、ＩＣカード４０９にある個人情報と視聴記録をセンターに送信することで、後日支払いが発生するシステムである。
【００１１】
また、課金とは関係ないが、視聴年齢制限（パレンタルロック）機能というものがあり、リモコン４１０を介して暗証番号を入力しないと、たとえ料金を支払っても特定（成人）の番組が見られない（スクランブルが解除できない）というものである。
【００１２】
【発明が解決しようとする課題】
しかしながら、従来はいずれの方式においても視聴制限の単位はチャンネル単位か、或いは番組単位がせいぜいであり、制限のレベルもオン／オフの制御しかできなかった。このため、同じ番組でも契約に応じてさらに高品位の映像を提供するようにしたり、インタラクティブな番組を提供することは困難であった。
【００１３】
また、近年ではＤＶＤなどの大容量メディアも登場し、再生可能か不可能かといった画一的な制御だけでなく、大容量性を生かして柔軟で多様な使用形態が望まれていたが、このようなサービスを実現することが困難であった。
【００１４】
本発明は上述の問題点にかんがみ、複数のオブジェクト毎に符号化及び多重化されたビットストリームを復号する際の精度を多段階に設定できるようにして、柔軟で多様なサービスを可能にすることを目的とする。
【００１５】
【課題を解決するための手段】
本発明のビットストリーム復号化装置は、映像を複数のオブジェクトに分割し、上記オブジェクト毎に符号化され、多重化されたビットストリームを各オブジェクトストリームに分離するとともに、上記各オブジェクトストリームを復号化した後で合成するビットストリーム復号化装置であって、上記オブジェクトストリームを復号化する復号化手段と、上記復号化手段から出力される上記オブジェクトの復号画像を選択する選択手段と、上記映像を視聴するための契約によって与えられた視聴情報として、上記契約の内容に応じて定まる映像の精細度を指定する情報を記憶する記憶手段と、上記記憶手段に記憶された映像の精細度を指定する情報に基づいて、上記選択手段により選択されるオブジェクトの復号画像の数を制御する制御手段と、上記選択手段によって選択されたオブジェクトの復号画像が１つのときは、当該１つの復号画像を拡大処理して出力し、上記選択されたオブジェクトの復号画像が複数あるときは、当該複数の復号画像を拡大処理及び合成処理して出力する合成出力手段とを備えたことを特徴としている。
また、本発明のビットストリーム復号化装置の他の特徴とするところは、上記ビットストリームは、回線を介して入力された番組のストリームであることを特徴としている。
また、本発明のビットストリーム復号化装置のその他の特徴とするところは、上記ビットストリームは、パッケージメディアより得られたストリームであることを特徴としている。
【００１６】
本発明のビットストリーム復号化方法は、映像を複数のオブジェクトに分割し、上記オブジェクト毎に符号化され、多重化されたビットストリームを各オブジェクトストリームに分離するとともに、上記各オブジェクトストリームを復号化した後で合成するビットストリーム復号化方法であって、
上記オブジェクトストリームを復号化する復号化工程と、
上記映像を視聴するための契約によって与えられた視聴情報として、上記契約の内容に応じて定まる映像の精細度を指定するための情報を記憶手段に記憶する記憶工程と、
上記記憶手段に記憶された映像の精細度を指定する情報に基づいて、上記復号化工程において出力される上記オブジェクトの復号画像を選択する選択手段によって選択される上記オブジェクトの復号画像の数を制御する制御工程と、
上記選択手段によって選択されたオブジェクトの復号画像が１つのときは、当該１つの復号画像を拡大処理して出力し、上記選択されたオブジェクトの復号画像が複数あるときは、当該複数の復号画像を拡大処理及び合成処理して出力する合成出力工程と
を備えたことを特徴としている。
また、本発明のビットストリーム復号化方法の他の特徴とするところは、上記ビットストリームは、回線を介して入力された番組のストリームであることを特徴としている。
また、本発明のビットストリーム復号化方法のその他の特徴とするところは、上記ビットストリームは、パッケージメディアより得られたストリームであることを特徴としている。
【００１７】
本発明の記憶媒体は、上記ビットストリーム復号化装置を構成する各手段としてコンピュータを機能させるためのプログラムを格納したことを特徴としている。
また、本発明の記憶媒体の他の特徴とするところは、上記ビットストリーム復号化方法の手順をコンピュータに実行させるためのプログラムを格納したことを特徴としている。
【００１８】
【発明の実施の形態】
近年、新しい符号化方式としてＭＰＥＧ４が注目されている。上記ＭＰＥＧ４は、従来のＭＰＥＧ２などと比較した場合に、大きな特徴としては空間的、時問的スケーラビリティに加えて、映像を複数のオブジェクト（たとえば、背景と人物など）に分割して各々を符号化し多重化する点である。
【００１９】
また、従来の自然画像と音声に加えて、ＣＧやアニメーションに対応した符号化が可能なこと、誤り耐性が強化されていることなども特徴である。本実施の形態では、特に、複数のオブジェクトを扱う点に着目している。
【００２０】
図１は、本実施の形態を示すビットストリーム復号化装置の構成を示すブロック図である。図１において、１０１は符号化されたビットストリーム入力端子、１０２はデスクランブル手段、１０３は多重化されたデータを分離する手段、１０４は分離されたオーディオ信号を復号する手段である。
【００２１】
また、１０５〜１０７は分離された各ＶＯＰ（Video Object Plane）信号を復号する復号化手段、１０８はシーン記述を復号するシーン記述復号化手段、１０９はオーディオ信号や各ＶＯＰを合成する合成手段である。
【００２２】
また、１１０〜１１２は切り替えスイッチ、１１３はプライオリティデコーダ、１１４は電話回線などの通信回線端子、１１５はモデム、１１６はＣＰＵ、１１７はＩＣカード、１１８はリモコンをそれぞれ示している。
【００２３】
上述のように構成された本実施の形態のビットストリーム復号化装置は、従来例と同様に、入力端子１０１から多重化されたビットストリームが入力される。そして、視聴許可がある場合にはＣＰＵ１１６からの解除キーの供与によりデスクランブル手段１０２においてスクランブルが解除される。
【００２４】
スクランブルが戻されたストリームは分離手段１０３において、オーディオ、ＶＯＰ０、ＶＯＰ１、ＶＯＰ２、シーン記述の各ストリームに分離される。ここで、ＶＯＰとはＭＰＥＧ４では基本的なビデオ画像の単位であり、正しくはビデオオブジェクトの瞬間的な値（画像）を示している。
【００２５】
ＭＰＥＧ４には多くのレイヤが用意されており、例えばＶＯＰを空間または時間的に拡張して解像度を上げたＶＯＬ（Ｖｉｄｅｏ  Ｏｂｊｅｃｔ  Ｌａｙｅｒ）と呼ばれる上位レイヤとか、さらにＶＯＬを集めたＶＯ（Ｖｉｄｅｏ  Ｏｂｊｅｃｔ）などがあり、１つの画像を分割するには無数の切り口が考えられる。
【００２６】
ここでは、簡単のため最も基本的なＶＯＰでこれらの切り口を代表している点を了解されたい。ＶＯＰの数もこの例では３個に限定して説明する。分離された各ストリームは各々オーディオ復号化手段１０４、各ＶＯＰ復号化手段１０５、１０６、１０７、シーン記述復号化手段１０８で復号化された後、合成手段１０９で合成されて出力される。
【００２７】
なお、シーン記述というのは、オブジェクトに分割されたＶＯＰを空間的な位置合わせと時間的な同期をとって１つの映像とするための言語による記述である（オーディオもまた１つのオブジェクトと考え時間的な同期をとる）。
【００２８】
空間的な位置合わせ以外に時間的な同期も必要となるのは、各オブジェクトが多重化による時間シフトや復号の遅れのバラツキの影響を受けるためであり、図１中の各復号化手段の前後には実際にはバッファが必要となるが、図１では煩雑となるため省略している。
【００２９】
図１の説明に戻ると、スイッチ１１０、１１１、１１２は各ＶＯＰの復号出力を合成手段１０９に送るか否かを示しており、これらのスイッチをオフにした場合は、本来のＭＰＥＧ４で得られるビデオ出力とは異なる出力が得られる。
【００３０】
すなわち、あるスイッチをオフにするとそれに相当するオブジェクトが画面に表示されないように作用する。これらのスイッチ１１０、１１１、１１２はＣＰＵ１１６の出力値をプライオリティデコーダ１１３によりデコードして制御する。
【００３１】
プライオリティデコーダ１１３は、例えば図３に示すように働くため、映像を符号化する際にあらかじめ重要なビデオオブジェクトから順にプライオリティデコーダＶＯＰ０、１、２．．．と割り当ててあれば、整数値０、１、２、３をユーザーごとの契約に応じて与えることで、同じ番組に対して画像の精細度を多段階に分けたサービスを提供できる。
【００３２】
契約の手順としては、従来例と同様に行い、番組ＩＤと解除キーに加えて整数値をＩＣカードに余分に１つだけ記憶するだけである。また、ペイパービューの場合も同様に、管理センターへ送信する視聴情報にこの数値を付加するだけでよい。
【００３３】
さらに、明示的なサービスの差別化の例として、図２のブロック図を参照する。これは、図１の合成手段１０９を具体化した一例であり、ここでのＶＯＰは上述した解像度方向への拡張であるＶＯＬに該当するものである。ＶＯＰ０は、最低解像度の画像であり、ＶＯＰ１、ＶＯＰ２が与えられない場合、ビデオ出力は小画面の縦横を単純に引き延ばしただけの画像となる。
【００３４】
ＶＯＰ１やＶＯＰ２は、画像の高精細情報であり、合成手段１０９に供給された場合は、ビデオ出力には高品位な画像が得られる。したがって、契約に応じた整数値により共通なビットストリームに対して、ユーザーの契約内容ごとに異なる複数の画質レベルの画像を提供することが可能となる。
【００３５】
図３の数値を例にとると、“３”を契約したユーザーが最も高画質なサービスを受けることになる。なお、図３だけを見ると、一見ＭＰＥＧ２の階層符号化を用いても実現できそうであるが、上述したようにビデオオブジェクトという概念が基本であり、画面上のある物体だけの解像度を変えることもできる点に注意する。ＭＰＥＧ２では、画面全体を対象とした階層化だけが可能である。
【００３６】
以下、本実施の形態に関連して補足説明をしておく。本実施の形態では、整数値を用いてＶＯＰの優先順位を決定したが、代わりにコマンドニーモニック等を用いてもよいし、現状のレベルを記憶しておいてＵＰ／ＤＯＷＮコマンドによりレベルを変更するといった方法も考えられる。
【００３７】
また、本実施の形態では、上記整数値が復号するＶＯＰの個数に一致しているが、ＶＯＰの個数は常に変動するため、許される最大のＶＯＰ数に対する割合（例えば、５０％復号とか２０％復号など）を指標としてもよい。
【００３８】
図１において、各ＶＯＰに優先順位を付けるために、スイッチ１１０、１１１、１１２を制御しているが、直接ＶＯＰの復号化手段１０５、１０６、１０７を制御して、復号化を選択的に行わないようにしてもよい。
【００３９】
また、プライオリティデコーダ１１３の代わりにＣＰＵ１１６によって直接制御してもよい（ソフトウェアによるデコード）。本実施の形態では、オーディオオブジェクトに触れなかったが、例えば各ＶＯＰに１対１に対応して複数のオーディオが多重化されているようなアプリケーションでは、本実施の形態のＶＯＰに対する処理を同様に適用できるのは明らかである。
【００４０】
また、複数のシーン記述を多重化して本実施の形態を適用すれば、ＶＯＰに優先順位を付ける本実施の形態よりもさらに柔軟なサービスの階層化を行うことが可能となる。なお、本実施の形態では、放送をイメージして説明を行なったが、ＤＶＤ等のパッケージメディアにも同様に適用できる。
【００４１】
他の実施の形態としては、オブジェクト単位にオン／オフ、及びその他の制御を行うことができることから、クイズ番組のようなインタラクティブ（双方向）なアプリケーションも可能である。
【００４２】
（本発明の他の実施形態）
本発明は複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても１つの機器からなる装置に適用しても良い。
【００４３】
また、上述した実施形態の機能を実現するように各種のデバイスを動作させるように、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００４４】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００４５】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等の共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００４６】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００４７】
【発明の効果】
以上説明したように、本発明によれば、映像の精細度の情報に基づいて、復号化されたオブジェクトの復号画像を選択し、上記選択されたオブジェクトの復号画像が１つのときは、当該１つの復号画像を拡大処理して出力し、上記選択されたオブジェクトの復号画像が複数あるときは、当該複数の復号画像を拡大処理及び合成処理して出力するようにしたので、入力されたビットストリームに対して柔軟で多様なサービスを実現することができる。例えば、放送メディアにおいて、従来は視聴制限の単位はチャンネル単位か、或いは番組単位がせいぜいであり、制限のレベルもオン／オフの制御しかできなかったのに対し、同じ番組でも契約に応じた高品位の映像を提供するようにすることを可能にする。
【図面の簡単な説明】
【図１】本発明の一実施形態を示し、ビットストリーム復号化装置の一例を示すブロック図である。
【図２】図１の合成ブロックを詳細に示したブロック図である。
【図３】プライオリティデコーダの動作を説明する図である。
【図４】従来のビットストリーム復号化装置の一例を示すブロック図である。
【符号の説明】
１０１  ストリーム入力端子
１０２  デスクランブル手段
１０３  分離手段
１０４  オーディオ復号化手段
１０５、１０６、１０７  ビデオ（またはＶＯＰ）復号化手段
１０８  シーン記述復号化手段
１０９  合成手段
１１０、１１１、１１２  スイッチ
１１３  プライオリティデコーダ
１１４  電話回線などの通信回線
１１５  モデム
１１６  ＣＰＵ
１１７  ＩＣカード
１１８  リモコン
【図１】
0004332249.tif 000002
【図２】
0004332249.tif 000003
【図３】
0004332249.tif 000004
【図４】
0004332249.tif 000005