(57)【特許請求の範囲】
【請求項１】
符号化されたビットストリームを入力し、前記ビットストリームを、知的財産を保護するための保護コードと、１つ或は複数の拡張レイヤと、前記拡張レイヤよりも解像度の低い基本レイヤとに分配する分配手段と、
外部から認証用データを入力する認証用データ入力手段と、
前記認証用データと前記保護コードとの整合を調べる認証手段と、
前記１つ又は複数の拡張レイヤのスクランブルを解除するスクランブル解除手段と、
前記分配手段によって分配された前記拡張レイヤ、または、前記スクランブル解除手段によってスクランブルを解除された拡張レイヤを復号する拡張レイヤ復号手段と、
前記分配手段によって分配された基本レイヤを復号する基本レイヤ復号手段と、
前記認証手段による認証結果が一致であり、かつ前記拡張レイヤにスクランブル処理が掛かっている場合には、前記スクランブル解除手段によって解除された拡張レイヤを復号した画像を選択し、
前記認証手段による認証結果が不一致であり、かつ前記拡張レイヤにスクランブル処理が掛かっている場合、もしくは、前記認証手段による認証結果が一致であり、かつ前記拡張レイヤにスクランブル処理が掛かっていない場合には、前記拡張レイヤを復号した画像を選択し、
前記認証手段による認証結果が不一致であり、かつ前記拡張レイヤにスクランブル処理が掛かっていない場合は、前記基本レイヤを復号した画像を選択する選択手段と、
前記選択手段によって選択された画像を出力する画像出力手段とを備えることを特徴とする画像復号装置。
【請求項２】
前記画像出力手段は、レイヤ毎に画像のフレームを再生順序に割り当てて出力することを特徴とする請求項１に記載の画像復号装置。
【請求項３】
前記スクランブル解除手段は、前記ビットストリームを同一な符号長の別の符号へ置換することを特徴とする請求項１に記載の画像復号装置。
【請求項４】
前記基本レイヤ復号手段または前記拡張レイヤ復号手段は、
符号化されたコードをブロック毎に可変長復号する可変長復号手段と、
前記可変長復号手段による復号結果を逆量子化する逆量子化手段と、
前記逆量子化手段による逆量子化結果を逆直交変換する逆直交変換手段とを備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像復号装置。
【請求項５】
符号化されたビットストリームを入力し、前記ビットストリームを、知的財産を保護するための保護コードと、１つ或は複数の拡張レイヤと、前記拡張レイヤよりも解像度の低い基本レイヤとに分配する分配工程と、
外部から認証用データを入力する認証用データ入力工程と、
前記認証用データと前記保護コードとの整合を調べる認証工程と、
前記１つ又は複数の拡張レイヤのスクランブルを解除するスクランブル解除工程と、
前記分配工程によって分配された前記拡張レイヤ、または、前記スクランブル解除工程によってスクランブルを解除された拡張レイヤを復号する拡張レイヤ復号工程と、
前記分配工程によって分配された基本レイヤを復号する基本レイヤ復号工程と、
前記認証工程による認証結果が一致であり、かつ前記拡張レイヤにスクランブル処理が掛かっている場合には、前記スクランブル解除工程によって解除された拡張レイヤを復号した画像を選択し、
前記認証工程による認証結果が不一致であり、かつ前記拡張レイヤにスクランブル処理が掛かっている場合、もしくは、前記認証工程による認証結果が一致であり、かつ前記拡張レイヤにスクランブル処理が掛かっていない場合には、前記拡張レイヤを復号した画像を出力し、
前記認証工程による認証結果が不一致であり、かつ前記拡張レイヤにスクランブル処理が掛かっていない場合は、前記基本レイヤを復号した画像を選択する選択工程と、
前記選択工程で選択された画像を出力する画像出力工程とを備えることを特徴とする画像復号方法。
【請求項６】
請求項５に記載の方法をコンピュータに実行させるプログラムを記憶した、コンピュータにより読取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像を入力して符号化する画像符号化装置とその方法、及びその符号化されたコードを復号する画像復号装置とその方法に関するものである。
【０００２】
【従来の技術】
従来、画像の符号化方式として、フレーム内符号化方式であるMotion JPEGやDigital Video等の符号化方式や、フレーム間予測符号化を用いたＨ．２６１，Ｈ．２６３，ＭＰＥＧ−１，ＭＰＥＧ−２等の符号化方式が知られている。これらの符号化方式は、ＩＳＯ（International Organization for Standardization：国際標準化機構）やＩＴＵ（International Telecommunication Union：国際電気通信連合）によって国際標準化されている。フレーム内符号化方式はフレーム単位で独立に符号化を行うもので、フレームの管理がしやすいため、動画像の編集や特殊再生が必要な装置に最適である。また、フレーム間予測符号化方式は、フレーム間での画像データの差分に基づくフレーム間予測を用いるため、符号化効率が高いという特徴を持っている。
【０００３】
更に、コンピュータ、放送、通信など多くの領域で利用できる、汎用的な次世代マルチメディア符号化規格としてＭＰＥＧ−４の国際標準化作業が進められている。
【０００４】
このようなディジタル符号化規格の普及に伴い、コンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。即ち、著作権が保護されることが十分に保証されていない規格に対しては、安心してコンテンツを提供することができない、という問題が生じている。
【０００５】
このためＭＰＥＧ−４では、ＩＰＭＰ(Intellectual Property Management and Protect)の技術が導入され、著作権を保護するために画像の再生を中断したり再開したりする機能が検討されている。この方式では、著作権を保護する必要のあるフレームを再生しないことにより、著作権保護を実現している。
【０００６】
その一方、画像にスクランブルを施すことで、視聴者に対しある程度の概略を認識できる程度の画像を提供する方式やサービスが開始されている。具体的には、テレビジョン信号における任意の走査線や画素を置換することにより実現している。また出力される再生画像を再生装置で変換する方法もある。
【０００７】
またスケーラビリティの機能も検討されており、画像時間及び空間解像度を複数のレベルで持ちながら画像の符号化や復号を行う方法もある。
【０００８】
【発明が解決しようとする課題】
よって、以下のような問題が発生する。
▲１▼従来のＩＰＭＰ技術では、著作権を保護したい画像に対して、復号を停止したり画像の再生を止めてしまうため、視聴者に対して全く情報を提供できない。このことは、その映像等を視聴する権利を持たない視聴者に対して、そのコンテンツ（例えば画像）の情報が全く提供できないことを意味する。本来、コンテンツの提供者側は、ビジネスとしてより多くの視聴者にコンテンツを広めるたいと考えており、そのためには、視聴する権利を持たない視聴者に対しても、ある程度のコンテンツの情報を提供する必要がある。
▲２▼また前述の一連の画像符号化方式において、従来のスクランブルをこのビットストリーム全体にかけた場合、スクランブルを解除できない復号器を持つ視聴者或は視聴する権利を持たない視聴者は正常な復号ができないため、全く映像を認識することができないことになる。
▲３▼更に、一連の画像符号化方式は、画像の空間及び時間方向の相関を利用して高い符号化効率を実現しているが、符号化時の入力画像に従来のスクランブルを施すと、画像の空間及び時間方向の相関が無くなってしまい、符号化効率を著しく低下させてしまう。
▲４▼更に、ビットストリームの一部に対してスクランブルをかけたとしても、フレーム間予測符号化を用いた動画像符号化方式の再生画像では、あるフレームにおける歪みは次のフレームへ伝搬して次第に蓄積することになる。このため、歪みは定常的に発生しないことになり、復号側で再生画像を見た場合、スクランブルのための歪みか、或は別の誤動作の症状かの判別がしにくくなる。
▲５▼また近年、画像の符号化・復号装置の処理は複雑化しており、ソフトウェアによる符号化及び復号を想定する場合もでてきた。このような場合、画像符号化・復号処理以外でスクランブル処理の負荷が大きいと、装置全体としての性能が低下するという問題がある。
【０００９】
本発明は上記従来例に鑑みてなされたもので、画像符号化時に著作権を保護すべき対象のビットストリームの一部にスクランブルをかけ、符号化効率を下げることなく画像を符号化できる画像符号化装置及びその方法を提供することを目的とする。
【００１０】
また本発明の目的は、視聴権利を有する視聴者の画像復号装置では正常な再生を行い、視聴権利を持たない視聴者の画像復号装置では画像のおおよその概観を認識できる程度の再生を行うことができるように画像を符号化できる画像符号化装置及びその方法を提供することにある。
【００１１】
また本発明の目的は、上記画像符号化装置により符号化された画像を復号して再生できる画像復号装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記目的を達成するための本発明の一態様による画像復号装置は以下の構成を備える。すなわち、
符号化されたビットストリームを入力し、前記ビットストリームを、知的財産を保護するための保護コードと、１つ或は複数の拡張レイヤと、前記拡張レイヤよりも解像度の低い基本レイヤとに分配する分配手段と、
外部から認証用データを入力する認証用データ入力手段と、
前記認証用データと前記保護コードとの整合を調べる認証手段と、
前記１つ又は複数の拡張レイヤのスクランブルを解除するスクランブル解除手段と、
前記分配手段によって分配された前記拡張レイヤ、または、前記スクランブル解除手段によってスクランブルを解除された拡張レイヤを復号する拡張レイヤ復号手段と、
前記分配手段によって分配された基本レイヤを復号する基本レイヤ復号手段と、
前記認証手段による認証結果が一致であり、かつ前記拡張レイヤにスクランブル処理が掛かっている場合には、前記スクランブル解除手段によって解除された拡張レイヤを復号した画像を選択し、
前記認証手段による認証結果が不一致であり、かつ前記拡張レイヤにスクランブル処理が掛かっている場合、もしくは、前記認証手段による認証結果が一致であり、かつ前記拡張レイヤにスクランブル処理が掛かっていない場合には、前記拡張レイヤを復号した画像を選択し、
前記認証手段による認証結果が不一致であり、かつ前記拡張レイヤにスクランブル処理が掛かっていない場合は、前記基本レイヤを復号した画像を選択する選択手段と、
前記選択手段によって選択された画像を出力する画像出力手段とを備える。
【００１３】
また、上記目的を達成するための本発明の他の態様による画像復号方法は、
符号化されたビットストリームを入力し、前記ビットストリームを、知的財産を保護するための保護コードと、１つ或は複数の拡張レイヤと、前記拡張レイヤよりも解像度の低い基本レイヤとに分配する分配工程と、
外部から認証用データを入力する認証用データ入力工程と、
前記認証用データと前記保護コードとの整合を調べる認証工程と、
前記１つ又は複数の拡張レイヤのスクランブルを解除するスクランブル解除工程と、
前記分配工程によって分配された前記拡張レイヤ、または、前記スクランブル解除工程によってスクランブルを解除された拡張レイヤを復号する拡張レイヤ復号工程と、
前記分配工程によって分配された基本レイヤを復号する基本レイヤ復号工程と、
前記認証工程による認証結果が一致であり、かつ前記拡張レイヤにスクランブル処理が掛かっている場合には、前記スクランブル解除工程によって解除された拡張レイヤを復号した画像を選択し、
前記認証工程による認証結果が不一致であり、かつ前記拡張レイヤにスクランブル処理が掛かっている場合、もしくは、前記認証工程による認証結果が一致であり、かつ前記拡張レイヤにスクランブル処理が掛かっていない場合には、前記拡張レイヤを復号した画像を出力し、
前記認証工程による認証結果が不一致であり、かつ前記拡張レイヤにスクランブル処理が掛かっていない場合は、前記基本レイヤを復号した画像を選択する選択工程と、
前記選択工程で選択された画像を出力する画像出力工程とを備える。
【００１６】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１７】
［実施の形態１］
図１は、本発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図、図３は、この符号化装置により符号化された符号を復号する動画像復号装置の構成を示すブロック図である。本実施の形態１では、ＭＰＥＧ−４符号化方式において、空間スケーラビリティの機能を有し、その拡張レイヤ６００１に対してＤＣＴ係数を符号化したハフマンコードの符号ビットを反転することでスクランブルをかける場合について説明する。尚、ＭＰＥＧ−４符号化方式の詳細についてはＩＳＯ／ＩＥＣ勧告書を参照されたい。
【００１８】
図１において、１００はフレームメモリ（ＦＭ）で、１フレーム分の入力画像データを格納し、符号化単位であるマクロブロックとして出力する。ここでマクロブロックは、輝度が１６×１６画素、色差Ｃｂ、Ｃｒとも８×８画素であり、輝度は４ブロック、色差は各１ブロックとなる。１０１はＤＣＴ器で、８×８画素（ブロック）単位の２次元の離散コサイン変換（ＤＣＴ、Discrete Cosign Transform）を行って、入力されたマクロブロックをブロック毎に順次変換してＤＣＴ係数を出力する。１０２は量子化器で、ブロック毎のＤＣＴ係数に対して順次量子化を行って、その量子化代表値を出力する。１０３は逆量子化器で、量子化された量子化代表値をＤＣＴ係数として出力する。１０４は逆ＤＣＴ器で、逆量子化されたＤＣＴ係数を元の画像データに変換する。１０５は局部復号画像を格納するフレームメモリである。１０６は動き補償器で、フレームメモリ１００からの入力画像データと、フレームメモリ１０５、及び後述するアップサンプリング器３０１からの局部復号画像データを入力し、マクロブロック毎に動きベクトルの検出を行って予測画像を出力する。
【００１９】
１０７は可変長符号化器で、量子化代表値に対してハフマン符号化を行ってハフマンコードを出力する。１０８はＤＣＴ符号反転器で、可変長符号化器１０７からのハフマンコードを符号反転する。ＭＰＥＧ−４におけるハフマンコードの符号ビットは、ビット列の末尾の１ビットであり、正の場合は“０”、負の場合は“１”である。よって、この符号ビットを反転することが、ＤＣＴ符号反転器１０８の処理となる。尚、ＤＣＴ係数のブロック内をジグザグスキャン順序で連続した列をＤＣＴ[ｉ]（ｉ＝０〜６３）とした場合、本実施の形態１で反転するハフマンコードは、ｉ＝３〜６３とする。
【００２０】
１０９はセレクタで、外部から入力するスクランブルON/OFFフラグに応じて、可変長符号化器１０７からの出力と、ＤＣＴ符号反転器１０８から出力のいずれか一方を選択している。１１０は多重化器で、セレクタ１０９から出力されたハフマンコード、外部から入力するスクランブルON/OFFフラグ、及びＩＰ符号化器１１１から出力されるＩＰ符号化コードを、ユーザデータとして多重化し、ビットストリームとして出力する。このＩＰ符号化器１１１は、画像の著作権ＩＰ(Intellectual Property)を保護するための情報を外部から入力し、ＩＰ符号化コードを出力する。本実施の形態１では、このＩＰをパスワードとする。
【００２１】
次に図１におけるレイヤ間の構成について記述する。
【００２２】
３００はダウンサンプリング器で、入力画像をダウンサンプリングする。本実施の形態１では、このダウンサンプリング器３００におけるダウンサンプリングレートを“１／２”とする。３０１はアップサンプリング器で、後述するフレームメモリ２０５の局部復号画像をアップサンプリングする。本実施の形態１では、このアップサンプリング器３０１におけるアップサンプリングレートを“２”とする。３０２は多重化器で、空間スケーラビリティにおける拡張レイヤ６００１と基本レイヤ６０００のビットストリームを多重化している。
【００２３】
次に図１の基本レイヤ６０００の構成について説明する。
【００２４】
基本レイヤ６０００では、入力をダウンサンプリング器３００の出力としている点を除けば、同名の各機能ブロックは、前述の拡張レイヤ６００１と同様である。２００はフレームメモリで、入力画像１フレーム分を格納し、符号化単位であるマクロブロックとして出力する。２０１はＤＣＴ器で、８×８画素（ブロック）単位の２次元の離散コサイン変換を行う。２０２は量子化器で、ブロック毎に量子化を行って量子化代表値を出力している。２０３は逆量子化器で、量子化代表値をＤＣＴ係数として出力する。２０４は逆ＤＣＴ器で、ＤＣＴ係数に対して逆ＤＣＴを実行して画像データに変換している。２０５はフレームメモリで、局部復号画像を格納している。２０６は動き補償器で、フレームメモリ２００からの入力画像と、フレームメモリ２０５からの局部復号画像とを入力し、マクロブロック毎に動きベクトルの検出を行って予測画像を出力する。２０７は可変長符号化器で、量子化器２０２から出力される量子化代表値に対してハフマン符号化を行ってハフマンコードを出力する。２０８は多重化器で、可変長符号化器２０７からのハフマンコードを多重化してビットストリームとして出力する。
【００２５】
まず図１の上部拡張レイヤ６００１の動作について記述する。
【００２６】
以降、本実施の形態１では、フレーム内符号化をＩ−ＶＯＰ(Video Object Plane)符号化モード、１つの予測画像から予測するフレーム間予測符号化をＰ−ＶＯＰ符号化モード、２つの予測画像から予測するフレーム間予測符号化をＢ−ＶＯＰ符号化モードとする。
【００２７】
フレームメモリ１００は、入力画像を符号化単位であるマクロブロックに変換して出力する。このフレームメモリ１００から出力された画像データから、減算器により動き補償器１０６からの予測画像データが減算され、予測誤差画像データとしてＤＣＴ器１０１に入力される。ＤＣＴ器１０１は、入力されたマクロブロックの予測誤差を、各ブロック毎にＤＣＴ係数に変換する。量子化器１０２は、このＤＣＴ係数をブロック毎に所望の量子化代表値として出力する。この量子化代表値は、逆量子化器１０３、逆ＤＣＴ器１０４を介し予測誤差画像データとして復号される。この予測誤差画像データは、加算器により、動き補償器１０６からの予測画像データと加算された後、フレームメモリ１０５へ局部復号画像データとして格納される。なお、この動き補償器１０６は、外部から指定されたフレーム毎の符号化モード１に応じて予測を行って予測画像データを出力するものとする。
【００２８】
また量子化代表値を入力する可変長符号化器１０７は、その量子化代表値をハフマン符号化してハフマンコードを出力する。セレクタ１０９は、一方の端子(a)にこのハフマンコードを直接入力するとともに、他方の端子(b)にはＤＣＴ符号反転器１０８により符号ビットが反転された（スクランブルされた）ハフマンコードを入力する。このセレクタ１０９は、外部から入力するスクランブルON/OFFフラグに応じて、スクランブルON/OFFフラグがオフの場合は端子（ａ）、即ち、可変長符号化器１０７の出力を選択し、スクランブルON/OFFフラグがオンの場合は、端子（ｂ）、即ち、符号ビットを反転したハフマンコードを選択して出力する。多重化器１１０は、セレクタ１０９の出力、スクランブルON/OFFフラグ、及びＩＰ符号化器１１１から出力されるＩＰ符号データを多重化して出力する。
【００２９】
次に図１に示す基本レイヤ６０００の動作について説明する。
【００３０】
ダウンサンプリング器３００によりダウンサンプルされた画像はフレームメモリ２００へ入力されて記憶される。ＤＣＴ器２０１、量子化器２０２、逆量子化器２０３、逆ＤＣＴ器２０４、フレームメモリ２０５、フレーム単位の符号化モード２を入力する動き補償器２０６、及び可変長符号化器２０７は、前述の拡張レイヤ６００１における対応する部分と同様に動作する。また多重化器２０８は、可変長符号化器２０７の出力を多重化する。
【００３１】
次に、これら基本レイヤ６０００と拡張レイヤ６００１との間の動作についてアップサンプリング器３０１を含めて記述する。
【００３２】
図２は、本実施の形態１に係る空間スケーラビリティによる基本レイヤと拡張レイヤとの各ＶＯＰの関係を説明する図である。
【００３３】
入力画像の先頭フレームでは、まずダウンサンプリング器３００で入力画像データをダウンサンプリングした後、基本レイヤにてＩ−ＶＯＰ（フレーム内）符号化を行い、フレームメモリ２０５に局部復号画像を格納する。
【００３４】
また拡張レイヤ６００１は、フレームメモリ２０５の画像をアップサンプリング器３０１でアップサンプリングした後、このアップサンプリング器３０１の出力を参照画像として動き補償器１０６に入力し、Ｐ−ＶＯＰ（１つの予測画像から予測するフレーム間予測）符号化する。
【００３５】
次に２番目の第２フレームは、基本レイヤ６０００にて、第１フレームの符号化時にフレームメモリ２０５に格納された局部復号画像を参照してＰ−ＶＯＰ符号化される。一方、拡張レイヤ６００１では、第１フレームの符号化時にフレームメモリ１０５に格納された局部復号画像と、フレームメモリ２０５の画像データをアップサンプリング器３０１でアップサンプリングしたデータとを動き補償器１０６に入力し、Ｂ−ＶＯＰ（２つの予測画像から予測するフレーム間予測）符号化する。
【００３６】
第３フレームも第２フレームと同様に行い、これ以降はこれら３つのフレーム分の動作を繰り返す。尚、図２において、「Ｉ」はＩ−ＶＯＰ（フレーム内）符号化を、「Ｐ」はＰ−ＶＯＰ符号化を、そして「Ｂ」はＢ−ＶＯＰ符号化をそれぞれ示す。
【００３７】
図３は、本実施の形態１に係る画像復号装置の構成を示すブロック図である。まず図３における拡張レイヤ７００１の構成について記述する。
【００３８】
１０００は分配器で、拡張レイヤ７００１に入力されるビットストリームから、ハフマンコード、符号化モード１、スクランブルON/OFFフラグ、及びＩＰ符号化コードにそれぞれ分配する。１０１０はＩＰ復号器で、分配器１０００からのＩＰ符号化コードをＩＰに復号する。１０１１はＩＰ認証器で、ＩＰ復号器で復号されたＩＰと、外部から入力した認証用ＩＰとの整合を調べて認証を行う。１０１２はセキュリティ制御器で、分配器１０００からのスクランブルON/OFFフラグ、ＩＰ認証器１０１１からの認証結果に基づいて、後述するセレクタ１００２及びセレクタ１００９を制御する。
【００３９】
１００１はＤＣＴ符号反転器で、ハフマンコードのＤＣＴ係数を符号反転する。セレクタ１００２は、セキュリティ制御器１０１２からの選択信号により、分配器１０００の出力（ａ入力）とＤＣＴ符号反転器１００１の出力（ｂ入力）のいずれか一方を選択して出力する。１００３及び１００６は可変長復号器で、ハフマンコードを量子化代表値へ変換している。１００４及び１００７は逆量子化器で、量子化代表値をＤＣＴ係数として出力する。１００５及び１００８は逆ＤＣＴ器で、ＤＣＴ係数を画像へ変換している。１０１４は局部復号画像を格納するフレームメモリである。１０１３は動き補償器で、フレームメモリ１０１４からの出力、及び後述するアップサンプリング器１３０１からの局部復号画像を参照し、マクロブロック毎に動き補償を行って予測画像を出力している。セレクタ１００９は、セキュリティ制御器１０１２により、逆ＤＣＴ器１００５からの出力（ａ入力）、及び逆ＤＣＴ器１００８からの出力（ｂ入力）のいずれかを選択して出力する。
【００４０】
次に、図３における基本レイヤと拡張レイヤ間の構成について記述する。
【００４１】
１３００は分配器で、入力ビットストリームを基本レイヤと拡張レイヤとに分配する。１３０１はアップサンプリング器で、後述するフレームメモリ１１０５からの局部復号画像を入力してアップサンプリングする。セレクタ１３０２は、セキュリティ制御器１０１２からの選択信号に基づいて、拡張レイヤ７００１からの入力（ａ入力）と基本レイヤ７０００からの入力（ｂ入力）のいずれかを選択する。
【００４２】
次に図３における基本レイヤ７０００の構成について記述する。
【００４３】
１１００は分配器で、基本レイヤのビットストリームを入力してハフマンコードと符号化モード２とに分配し、ハフマンコードを可変長復号器１１０１に、符号化モード２を動き補償器１１０４に出力している。可変長復号器１１０１は、ハフマンコードを量子化代表値へ変換する。１１０２は逆量子化器で、可変長復号された量子化代表値をＤＣＴ係数として出力する。１１０３は逆ＤＣＴ器で、ＤＣＴ係数を元の画像データに変換している。フレームメモリ１１０５は、局部復号された画像データを格納する。１１０４は動き補償器で、フレームメモリ１１０５からの局部復号画像データを入力し、マクロブロック毎に動き補償を行って予測画像を出力する。
【００４４】
以上の構成に基づく動作を説明する。
【００４５】
符号化された入力ビットストリームは、分配器１３００により拡張レイヤと基本レイヤとに分配される。基本レイヤ７０００では、分配器１１００によりハフマンコード、及び符号化モード２に分配され、ハフマンコードは可変長符号化器１１０１、逆量子化器１１０２、逆ＤＣＴ器１１０３を介して画像データに復号され、Ｉ−ＶＯＰ（フレーム内）符号化の場合は、直接、フレームメモリ１１０５へ局部復号画像データが格納され、これとともにセレクタ１３０２のｂ入力に供給される。またＰ−ＶＯＰ（フレーム間予測）符号化の場合は、逆ＤＣＴ器１１０３の出力に、動き補償器１１０４の出力した予測画像データを加算し、その後、フレームメモリ１１０５へ格納するとともに、セレクタ１３０２のｂ入力に供給する。
【００４６】
一方、拡張レイヤ７００１では、分配器１０００によりハフマンコード、スクランブルON/OFFフラグ、ＩＰ、及び符号化モード１に分配される。ＤＣＴ符号反転器１００１は、符号反転したハフマンコードを出力する。
【００４７】
これ以降では、正常なハフマンコードを正常コード、符号反転したハフマンコードを反転コードと称す。尚、ＤＣＴ係数のブロック内をジグザグスキャン順序で連続した列をＤＣＴ[ｉ]（ｉ＝０〜６３）とした場合、本実施の形態１で反転するハフマンコードは、符号化器に対応してｉ＝３〜６３とする。
【００４８】
本実施の形態１における空間スケーラビリティによる基本レイヤと拡張レイヤとの各ＶＯＰの関係は、前述した図１の符号化器における場合と同様である。
【００４９】
（Ａ）まずスクランブルオンで、且つＩＰ認証結果がＯＫの場合について説明する。
セレクタ１００２はａ入力に符号反転されたハフマンコード、ｂ入力に符号反転器１００１で符号が元に戻された正常コードを入力する。そして、スクランブルオンのため、セレクタ１００２はｂ入力の正常コードを選択する。可変長復号器１００６、逆量子化器１００７、逆ＤＣＴ器１００８は、その正常コードを入力し、その結果として正常な予測誤差画像データを出力する。
【００５０】
次に動き補償器１０１３では、符号化モード１に応じてフレームメモリ１０１４の出力、アップサンプリング器１３０１の出力から予測画像を出力する。逆ＤＣＴ器１００８からの予測誤差画像と動き補償器１０１３からの予測画像データとを加算し、正常な画像データをセレクタ１００９のｂ入力に供給し、これと同時に、その正常な画像データをフレームメモリ１０１４に格納する。セレクタ１００９は、セキュリティ制御器１０１２からの選択信号によりｂ入力を選択して出力し、またセレクタ１３０２は、拡張レイヤ７００１の出力であるａ入力を選択する。その結果、本実施の形態１に係る画像復号装置は、高空間解像度の画像を再生することができる。
【００５１】
（Ｂ）スクランブルオンで、且つ、ＩＰ認証結果がＮＯの場合について記述する。
この場合、スクランブルオンのため、セレクタ１００２はｂの符号が元に戻された正常なコードを選択する。可変長符号化器１００３、逆量子化器１００４、逆ＤＣＴ器１００５は、その符号反転したコードを入力し、その復号画像を出力する。
【００５２】
次に動き補償器１０１３では、符号化モード１に応じて、フレームメモリ１０１４の出力とアップサンプリング器１３０１の出力から予測画像を出力する。逆ＤＣＴ器１００５からの予測画像は、動き補償器１０１３からの予測画像データと加算され、セレクタ１００９のａへ入力される。セレクタ１００９は、セキュリティ制御器１０１２からの制御データによりａ入力を選択して出力する。セレクタ１３０２は、セキュリティ制御器１０１２からの制御データにより、拡張レイヤａを選択する。その結果、本実施の形態１に係る復号装置は、スクランブルによる歪みのある画像を再生することになる。
【００５３】
（Ｃ）スクランブルオフで、且つ、ＩＰ認証結果がＯＫの場合について記述する。
スクランブルオフのため、セレクタ１００２はａ入力を選択して正常コードを出力する。可変長復号器１００６、逆量子化器１００７、逆ＤＣＴ器１００８は、この正常コードを入力して正常な画像を出力する。このとき入力ビットストリームはスクランブルが施されていないため、セレクタ１００９のａ，ｂ入力とも同一の正常画像データを入力する。次にセレクタ１００９は、ａ入力もしくはｂ入力を選択して出力する。セレクタ１３０２は拡張レイヤ７００１の出力であるａ入力を選択する。その結果、高空間解像度画像を再生することができる。
【００５４】
（Ｄ）スクランブルオフで、且つ、ＩＰ認証結果がＮＯの場合について説明する。
セキュリティ制御器１０１２では認証結果がＮＯのため、セレクタ１３０２は基本レイヤ７０００の出力であるｂ入力を選択して出力する。その結果、本実施の形態１に係る画像復号装置は、基本レイヤのフレーム内符号化された画像及びＰ−ＶＯＰ（フレーム間予測）符号化された画像だけを復号して再生するため、低空間解像度の画像を再生することになる。
【００５５】
図４は、本実施の形態１に係るセキュリティ制御器１０１２によるセレクタ１３０２、セレクタ１００９、セレクタ１００２の選択状態、及び再生画像との関係について示す図である。
【００５６】
ここでは、スクランブルON/OFFフラグとＩＰ認証結果とに基づいて３つのセレクタ１００２，１００９，１３０２を制御し、その結果、３種類の再生画像の状態（高解像度、低解像度、歪み有り）を生成することが可能である。
【００５７】
［多レイヤ空間スケーラビリティ構成］
図５は、前述の図１及び図３における空間スケーラビリティの機能を持つ符号化及び復号装置を多レイヤ化した構成を示す図である。なお、ここでレイヤ数は任意であり、図では「ｎ」としている。
【００５８】
図において、６０００は図１の基本レイヤ部、６００１は図１の拡張レイヤ部に相当している。また７０００は図２の基本レイヤ部、７００１は図２の拡張レイヤ部に相当している。８０００，８００１はダウンサンプリング器、８００２，８００３は対応するアップサンプリング器である。これらはレイヤ数に応じたサンプリングレートを設定することができる。但し、各レイヤとサンプリングレートは対応していなければならない。例えば、ダウンサンプリングレートを“１／２”とし、アップサンプリングレートを“２”とする。８００４は多重化器で、多レイヤ部からのビットストリームを１つに多重化している。８００５は分離器で、１つのビットストリームをレイヤ毎に分離している。８００６はセレクタで、各拡張レイヤの認証結果に従って再生するレイヤを選択する。
【００５９】
［多レイヤ空間スケーラビリティ動作］
図５の符号化装置では、各拡張レイヤ毎に著作権情報及びスクランブルON/OFFを指定する。また復号装置では、これらスクランブルON/OFF、著作権の認証結果に従った解像度の画像を復号して再生する。但し、ある拡張レイヤにスクランブルを施す場合は、その上位レイヤにおいてスクランブルが施されていなくてはならない。
【００６０】
尚、本実施の形態１の各機能をソフトウェアにより実現してもかまわない。
【００６１】
図６は本実施の形態１に係る画像の符号化処理を示すフローチャート、図７はその復号化処理を示すフローチャートである。
【００６２】
まず、図６の符号化処理を説明する。この処理は１フレームの画像データが入力されることにより開始され、まずステップＳ１で、フレーム数をカウントするカウンタｆrと、カウンタｎの値を共に“０”にセットする。尚、これらカウンタは、前述の図１における符号化モード１，２の信号があればなくてもよい。次にステップＳ２に進み、フレームカウンタｆrを＋１する。そしてステップＳ３で、フレームカウンタｆrの値が「３ｎ＋１」かどうか、即ち、図２のフレーム番号が“１”、“４”、“７”…“３ｎ＋１”かどうかを調べ、そうであって基本レイヤの場合はステップＳ４でｎを+１した後にステップＳ５に，拡張レイヤの場合はステップＳ４でｎを+１した後にステップＳ６に進む。ステップＳ５では、フレーム内符号化(I-VOP)を実行する。ステップＳ６では、ステップＳ５で符号化された符号をもとに１つの予測画像から予測するフレーム間予測符号化(P-VOP)を実行して、後述するステップＳ１０に進む。一方、ステップＳ５で符号化されたフレームの画像データは、ステップＳ７で多重化されて出力ビットストリームとして出力される。そして処理をステップＳ２へ戻す。
【００６３】
一方ステップＳ３で、フレームカウンタｆrの値が「３ｎ＋１」でなく、それが基本レイヤである場合、即ち、基本レイヤにおいてフレーム間予測符号化されるフレームの場合はステップＳ８に進む。ステップＳ８では、１つの予測画像から予測するフレーム間予測符号化(P-VOP)を実行し、処理はステップＳ７に進む。一方、拡張レイヤにおいてフレーム間予測符号化されるフレームの場合はステップＳ９において、２つの予測画像から予測するフレーム間予測符号化(B-VOP)を実行する。次にステップＳ１０で、スクランブルON/OFFフラグがオンかどうかを調べ、オンであればステップＳ１１に進み、ハフマンコードの符号ビットを反転させる。但し、ここではＤＣＴ係数列（ｉ＝０〜６３）のうちの反転するハフマンコードはｉ＝３〜６３のＤＣＴ係数とする。こうしてステップＳ１１を実行した後、或はステップＳ１０でスクランブルがオフの場合はステップＳ１２に進み、ＩＰを符号化したＩＰ符号、スクランブルON/OFFフラグ、符号化モード(I-VOP,P-VOP,B-VOP)及びフレーム間予測符号化されたコードを多重化し、ステップＳ７で、基本レイヤにおいて符号化されたコードと多重化して出力される。そして、処理をステップＳ２へ戻す。
【００６４】
図７は、本実施の形態１に係る画像復号処理を示すフローチャートである。
【００６５】
この処理は、前述の図１の符号化装置により符号化されたコードストリームを入力することにより開始され、まずステップＳ２１で、入力したビットストリームを基本レイヤと拡張レイヤとに分配する。基本レイヤのコードは、ステップＳ２２で、可変長復号、逆量子化、逆ＤＣＴ、更には動き補償による予測符号の復号処理を実行する。
【００６６】
一方、拡張レイヤの場合はステップＳ２３で、スクランブルON/OFFフラグがオンかどうかを調べ、オンであればステップＳ２４に進み、ＩＰ認証がＯＫかどうかをみる。ＯＫであれば、例えば著作権などの視聴許可を得ているユーザであるためステップＳ２５に進み、スクランブルを解除するためにハフマンコードの符号を反転する。そしてステップＳ２６に進み、可変長復号、逆量子化、逆ＤＣＴ、及び動き補償器によるＰ−ＶＯＰ及びＢ−ＶＯＰ復号処理を実行する。そしてステップＳ２７に進み、その復号されて再生された画像データを出力して表示する。この場合は高解像度の画像を表示することができる。
【００６７】
又、ステップＳ２４で、ＩＰ認証がＯＫでないときはステップＳ２６に進み、スクランブルがかかっている画像を復号して、ステップＳ２７で再生する。この場合には、スクランブルによる歪みのある画像が再生される。
【００６８】
一方、ステップＳ２３で、スクランブルフラグがオフの場合はステップＳ２９に進み、ＩＰ認証がＯＫかどうかをみる。ＯＫであれば、ステップＳ２６に進み、そのスクランブルがかかっていない画像を復号して再生する。
【００６９】
またステップＳ２８で、ＩＰ認証がＯＫでない場合はステップＳ２２に進み、Ｉ−ＶＯＰ復号或はＰ−ＶＯＰ復号による復号処理を実行し、ステップＳ２７で画像の再生（低解像度での再生）を行う。こうしてステップＳ２８で、受信画像の復号処理が全て終了するまで、上述の処理を繰り返し実行する。
【００７０】
尚、上述の実施の形態１では、ハフマンコードのスクランブル対象を前述のようにｉ＝３〜６３としたが、他の範囲でもかまわない。このように範囲を設定することにより、スクランブルの歪みを調整することができる。
【００７１】
また本実施の形態は、色信号構成４２０の場合であるが、その他の色信号構成でもかまわない。さらに図２のフレームモードの構成は別の組み合わせでもかまわない。
【００７２】
また本実施の形態ではダウンサンプリングを“１／２”、アップサンプリングレートを“２”としたが、これらは対応していればどの値でもかまわない。
【００７３】
以上説明したように本実施の形態１によれば、空間スケーラビリティの機能を持つ画像符号化器及び復号器において、拡張レイヤに対してスクランブルを施すことにより、必要に応じて復号器側で歪みを発生させ、動画像の著作権を保護することができる。
【００７４】
またスクランブルをビットストリーム全体ではなく、ハフマンコードの符号ビットに対して行うことで、装置の処理の負荷は少なくて済む。
【００７５】
またハフマンコードは、ブロック毎に符号反転するため、スクランブルのかかったビットストリームを直接復号すると歪みはブロック内に閉じたものとなる。本実施の形態１の場合、正常な画像よりもブロック歪みやモスキート歪みと言われる量子化歪みを多く発生した画像を再生することになり、その結果、スクランブルを解除できない視聴者は画像の概観を認識するに留まることになる。
【００７６】
また動画像復号装置において、局部復号画像を格納するフレームメモリ１０１４に対して、可変長復号器、逆量子化器、逆ＤＣＴ器を２系統備えており、フレームメモリ１０１４に、可変長復号器１００６、逆量子化器１００７、逆ＤＣＴ器１００８の経路の正常な復号画像が格納されるため、他方の可変長復号器１００３、逆量子化器１００４、逆ＤＣＴ器１００５の経路から生じるスクランブルによる歪みがフレーム毎に蓄積することを防止することができる。
【００７７】
また３以上のレイヤ数においても実現することが可能である。
【００７８】
［実施の形態２］
図８は、本発明の実施の形態２に係る動画像符号化装置の構成を示すブロック図であり、図１１はこれに対応する動画像復号装置の構成を示すブロック図である。本実施の形態２では、ＭＰＥＧ−２符号化方式において、時間スケーラビリティの機能を有し、その拡張レイヤに対してＤＣＴ係数を符号化したハフマンコードの符号ビットを反転することでスクランブルをかける場合について説明する。尚、ＭＰＥＧ−２符号化方式の詳細についてはＩＳＯ／ＩＥＣ勧告書を参照されたい。
【００７９】
図８は、本発明の実施の形態２に係る動画像符号化装置の構成を示すブロック図である。尚、図８において、前述の実施の形態１と同様の構成要素については同一番号を付し、その詳細な説明は省略する。よって本実施の形態２では、前述の実施の形態１と異なる点について詳しく説明する。
【００８０】
７００は分配器で、入力画像を拡張レイヤと基本レイヤへ、各フレーム毎に割り当て、それと同時にオーダリング（フレーム並び替え）を行う。７０２は動き補償器で、フレームメモリ１００からの入力画像と、基本レイヤのフレームメモリ２０５からの局部復号画像データを入力し、マクロブロック毎に動きベクトル検出を行って予測画像を出力する。７０１は多重化器で、時間スケーラビリティにおける拡張レイヤと基本レイヤのビットストリームを多重化している。
【００８１】
以上の構成に基づく動作を説明する。
【００８２】
本実施の形態２では、フレーム内符号化をI-Picture符号化モード、１つの予測画像から予測するフレーム間予測符号化をP-Picture符号化モード、２つの予測画像から予測するフレーム間予測符号化をB-Picture符号化モードと称す。
【００８３】
入力画像は、分配器７００によりフレーム毎に、外部から入力された符号化モード１に従って基本レイヤと拡張レイヤへ分配される。
【００８４】
図９及び図１０は、本実施の形態２における時間スケーラビリティによる基本レイヤと拡張レイヤとの各フレームの関係について示す図である。ここで図９は入力画像の順序を示し、図１０は分配器７００によりフレームの順序が並び替えられた後のフレームの構成を示す図である。ここで、入力画像は図９に示す順序で各レイヤへ割り当てられる。
【００８５】
入力画像の先頭フレームを、まず基本レイヤに入力してI-Picture符号化を行い、フレームメモリ２０５に局部復号画像を格納する、次に第２フレームを基本レイヤに入力し、フレームメモリ２０５に局部復号画像を参照してP-Picture符号化を行う。次に第３フレームを拡張レイヤに入力し、フレームメモリ１００において入力画像をマクロブロックへ変換する。
【００８６】
動き補償器７０２は、フレームメモリ１００の出力を入力し、既に基本レイヤのフレームメモリ２０５に格納された第１と第２フレームの２つのフレームの参照画像から動き補償を行う。つまり、B-Picture符号化を行う。次の第４フレームも第３フレームと同様にB-Picture符号化を行い、それ以降はフレームモードに従って動作を繰り返す。
【００８７】
次に図１１に示す動画像復号装置について説明する。この図１１における構成要素のうち、前述の実施の形態１と同様の構成要素については同一番号を付してその詳細な説明は省略する。よって本実施の形態２では、前述の実施の形態１と異なる点について記述する。
【００８８】
２０００は分配器で、入力ビットストリームを基本レイヤと拡張レイヤとに分配する。２００２は動き補償器で、基本レイヤ内のフレームメモリ１１０５からの局部復号画像データを入力し、マクロブロック毎に予測画像を出力する。２００１はセレクタで、分配器１０００からの符号化モード１に応じて、拡張レイヤの出力（ａ入力）と基本レイヤの出力（ｂ入力）を選択するセレクタであり、同時にリオーダリング（フレーム並び替え）を行い、画像を表示順序に並び替える。
【００８９】
以上の構成において、入力ビットストリームは分配器２０００により拡張レイヤと基本レイヤに分配される。本実施の形態における基本レイヤと拡張レイヤとの各フレームの関係については図１０と同様である。
【００９０】
まず第１から第２フレームでは、基本レイヤにビットストリームを入力し、第１フレームをI-Picture、第２フレームをP-Pictureとして復号する。そして第３フレームでは、拡張レイヤにビットストリームを入力し、動き補償器２００２にて既に基本レイヤのフレームメモリ１１０５に格納されている第１と第２フレームの２つの画像を参照しB-Pictureとして復号する。また第４フレームでは、拡張レイヤにビットストリームを入力し、第３フレームと同様の復号を行う。以降はフレームモードに従い動作を繰り返す。
【００９１】
セレクタ２００１は、分配器１０００からの符号化モード１により、拡張レイヤ（ａ入力）と基本レイヤ（ｂ入力）を選択し、さらにリオーダリングを行い復号画像を出力する。
【００９２】
前述した図４において、セレクタ１３０２をセレクタ２００１とすれば各セレクタと再生画像との関係は図４と同じになる。但し、この場合の再生画像の解像度は時間周波数に対するものとなる。つまり、低解像度画像とは基本レイヤのみの画像を示し、高解像度画像とは拡張レイヤを含めた画像を示す。
【００９３】
以上説明したように本実施の形態２によれば、時間スケーラビリティの機能を持つ画像符号化器及び復号器において、拡張レイヤに対してスクランブルを施すことで、必要に応じて復号器側でフレーム毎に歪みを発生させ、動画像の著作権を保護することができる。
【００９４】
またスクランブルをビットストリーム全体ではなくハフマンコードの符号ビットに対して行うことで、装置の処理の負荷が少なくて済む。
【００９５】
またスクランブルは、拡張レイヤに対してのみ行われるため、両レイヤを連続して再生し、且つ、スクランブルの歪みのある拡張レイヤの画像を再生する場合には、歪みのない画像と、歪みのある画像が交互に再生されることになる。その結果、スクランブルを解除できない視聴者は画像の概観を認識するに留まることになる。
【００９６】
また空間スケーラビリティと同様に、３以上のレイヤ数においても実現することが可能である。
【００９７】
尚、この実施の形態２に係る処理も前述の実施の形態１と同様にソフトウェアにより処理することが可能である。その場合の処理の流れを示すフローチャートは、前述の実施の形態１と基本的に同様であるため、その説明を省略する。
【００９８】
［実施の形態３］
図１２は、本発明の実施の形態３に係る画像符号化装置の構成を示すブロック図であり、図１３は、これに対応する画像復号装置の構成を示すブロック図である。本実施の形態３では、フレーム内符号化方式において、ＭＰＥＧ符号化方式の空間スケーラビリティに類する機能を有し、その拡張レイヤに対してＤＣＴ係数を符号化したハフマンコードの符号ビットを反転することでスクランブルをかける場合について説明する。
【００９９】
図１２において、前述の実施の形態１と同様の構成要素については同一番号を付し、その詳細な説明は省略する。よって本実施の形態３では実施の形態１と異なる点について記述する。
【０１００】
３０００は分離器で、可変長符号化器２０７の出力からブロック内の位置に対応してＤＣＴの低周波成分と高周波成分を分離する。３００１は多重化器で、分離器３０００で分離した各レイヤのコードを多重化する。
【０１０１】
尚、ＤＣＴ係数のブロック内をジグザグスキャン順序で連続した列をＤＣＴ[ｉ]（ｉ＝０〜６３）とした場合、本実施の形態３の分離器３０００で拡張レイヤへ出力するハフマンコードは、ｉ＝３〜６３とする。
【０１０２】
図１２において、入力画像はフレームメモリ２００においてマクロブロック化され、ＤＣＴ器２０１、量子化器２０２、可変長符号化器２０７を介して可変長符号化コードとなる。この符号化コードは分離器３０００によりブロック内の成分毎に分離され、低周波成分は多重化器３００１へ、その他の成分はＤＣＴ符号反転器１０８、セレクタ１０９へ出力される。
【０１０３】
図１３の画像復号装置において、前述の実施の形態１と同様の構成要素については同一番号を付してその詳細な説明は省略する。よって本実施の形態３では、実施の形態１と異なる点について記述する。
【０１０４】
４０００は分離器で、入力ビットストリームを拡張レイヤと基本レイヤへ分離する。４００１は多重化器で、両レイヤのコードを多重化する。４００２はセレクタで、セキュリティ制御器１０１２からの選択信号により、黒画像（ａ入力）もしくは逆ＤＣＴ器１１０３の出力を選択する。
【０１０５】
以上の構成に基づく復号装置の動作を説明する。
【０１０６】
まず入力したビットストリームは分離器４０００において拡張レイヤと基本レイヤへ分離される。これ以降では、正常なハフマンコードを正常コード、符号反転したハフマンコードを反転コードと称す。尚、ＤＣＴ係数のブロック内をジグザグスキャン順序で連続した列をＤＣＴ[ｉ]（ｉ＝０〜６３）とした場合、本実施の形態３の分離器４０００で拡張レイヤへ出力するハフマンコードは、ｉ＝３〜６３とする。
【０１０７】
（Ａ）スクランブルオンで、且つ、ＩＰ認証結果がＯＫの場合について説明する。
セキュリティ制御器１０１２では認証結果がＯＫのため、セレクタ１００２はｂ入力の正常コードを選択する。多重化器４００１は、分離器４０００からの低周波成分のコードと、セレクタ１００２からの高周波成分のコードとを多重化する。可変長復号器１１０１、逆量子化器１１０２、逆ＤＣＴ器１１０３は、正常コードを入力する。その結果、正常な画像を復号することができる。ここでセレクタ４００２は、セキュリティ制御器１０１２からの選択信号によりｂ入力を選択して出力する。その結果、本復号装置は正常な画像（高解像度）を再生する。
【０１０８】
（Ｂ）スクランブルオンで、且つ、ＩＰ認証結果がＮＯの場合について記述する。
セキュリティ制御器１０１２では認証結果がＮＯのため、セレクタ１００２はａ入力の反転コードを選択する。このため高周波成分は反転コードとなったまま逆ＤＣＴ器１１０３から出力される。セレクタ４００２はセキュリティ制御器１０１２からの選択信号によりｂ入力を選択して出力する。その結果、スクランブルによる歪みのある画像が再生される。
【０１０９】
（Ｃ）スクランブルオフで、且つ、ＩＰ認証結果がＯＫの場合について記述する。
セキュリティ制御器１０１２では認証結果がＯＫのため、セレクタ１００２はａ入力を選択し正常コードを出力する。このため全ての周波数成分は正常となり逆ＤＣＴ器１１０３から出力される。セレクタ４００２はセキュリティ制御器１０１２からの選択信号によりｂ入力を選択して出力する。その結果、正常な画像を再生することができる。
【０１１０】
（Ｄ）スクランブルオフで、且つ、ＩＰ認証結果がＮＯの場合について記述する。
セキュリティ制御器１０１２では認証結果がＮＯのため、セレクタ４００２は黒画像（ａ入力）を選択して出力する。その結果、黒画像を再生する。
【０１１１】
図１４は、本実施の形態３におけるセキュリティ制御器１０１２によるセレクタ４００２、セレクタ１００２の選択状態、及び再生画像との関係について示す図である。
【０１１２】
このように、スクランブルON/OFFフラグとＩＰ認証結果により、２つのセレクタ１００２，４００２を制御し、その結果として３種類の再生画像の状態を生成することが可能である。
【０１１３】
以上説明したように本実施の形態３によれば、フレーム内符号化方式のため、静止画像及び動画像符号化・復号装置で実現可能である。
【０１１４】
空間スケーラビリティの機能を持つ画像符号化器及び復号器において、拡張レイヤに対してスクランブルを施すことで、必要に応じて復号器側で歪みを発生させ、画像の著作権を保護することができる。
【０１１５】
またスクランブルをビットストリーム全体ではなくハフマンコードの符号ビットに対して行うことで、装置の処理の負荷は少なくて済む。
【０１１６】
またハフマンコードはブロック毎に符号反転するため、スクランブルのかかったビットストリームを直接復号すると歪みはブロック内に閉じたものとなる。本実施の形態の場合、正常な画像よりもブロック歪みやモスキート歪みと言われる量子化歪みを多く発生した画像を再生することになり、結果としてスクランブルを解除できない視聴者は画像の概観を認識するに留まることになる。
【０１１７】
なお本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１１８】
また本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１１９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１２０】
以上の説明したように本実施の形態によれば、スケーラビリティの機能を持つ画像符号化装置及び復号装置において、ビットストリーム内にＩＰ符号化コード、及び著作権を保護するための付加情報を設けることにより、所望の画像の一部に対してコンテンツ提供者の著作権を守ることが可能となる。
【０１２１】
また本実施の形態によれば、ビットストリームの一部の限定されたコードに対してスクランブルを行うため、符号化コード全体を対象とするよりもその処理の負荷は少なくて済む。またその歪みはブロック内に閉じたものとなるため、スクランブルを解除できない視聴者は画像の概観を認識するという状態を作ることが可能となる。
【０１２２】
【発明の効果】
以上説明したように本発明によれば、画像符号化時に著作権を保護すべき対象のビットストリームの一部にスクランブルをかけ、符号化効率を下げることなく画像を符号化できる。
【０１２３】
また本発明によれば、視聴権利を有する視聴者の画像復号装置では正常な再生を行い、視聴権利を持たない視聴者の画像復号装置では画像のおおよその概観を認識できる程度の再生を行うことができるように画像を符号化できるという効果がある。
【０１２４】
また、本発明によれば、上記画像符号化装置により符号化された画像を復号し、正規の視聴権利を有するか否かの認証結果とスクランブルの有無の組合せにより、３種類の画像（高解像度、低解像度、歪み有り）を再生できるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る画像符号化装置の主要構成を示すブロック図である。
【図２】本実施の形態１に係る空間スケーラビリティによる基本レイヤと拡張レイヤとの各ＶＯＰの関係を示す図である。
【図３】本発明の実施の形態１に係る画像復号化装置の主要構成を示すブロック図である。
【図４】本発明の実施の形態１におけるセキュリティ制御器の入出力と再生画像の関係とを説明する図である。
【図５】本発明の実施の形態１に係る多レイヤの空間スケーラビリティの構成を示す図である。
【図６】本発明の実施の形態１に係る画像符号化処理を説明するフローチャートである。
【図７】本発明の実施の形態１に係る画像復号処理を示すフローチャートである。
【図８】本発明の実施の形態２に係る画像符号化装置の主要構成を示すブロック図である。
【図９】本実施の形態２に係る空間スケーラビリティによる基本レイヤと拡張レイヤとにおけるフレーム表示順序の関係を示す図である。
【図１０】本実施の形態２に係る空間スケーラビリティによる基本レイヤと拡張レイヤとにおけるフレームの符号化順序の関係を示す図である。
【図１１】本発明の実施の形態２に係る画像復号装置の主要構成を示すブロック図である。
【図１２】本発明の実施の形態３に係る画像符号化装置の主要部の構成を示すブロック図である。
【図１３】本実施の形態３に係る画像復号装置の主要構成を示すブロック図である。
【図１４】本実施の形態３におけるセキュリティ制御器の入出力と再生画像の関係を示す図である。
【図１】
0004018335.tif 000002
【図２】
0004018335.tif 000003
【図３】
0004018335.tif 000004
【図４】
0004018335.tif 000005
【図５】
0004018335.tif 000006
【図６】
0004018335.tif 000007
【図７】
0004018335.tif 000008
【図８】
0004018335.tif 000009
【図９】
0004018335.tif 000010
【図１０】
0004018335.tif 000011
【図１１】
0004018335.tif 000012
【図１２】
0004018335.tif 000013
【図１３】
0004018335.tif 000014
【図１４】
0004018335.tif 000015