(57)【特許請求の範囲】
【請求項１】
画像データに対して低域成分を再帰的にフィルタリングするウェーブレット変換を施すことによりフィルタ係数としてサブバンド単位のウェーブレット係数を生成するウェーブレット係数生成手段と、
上記ウェーブレット係数を量子化して量子化係数を生成する量子化手段と、
上記量子化係数を所定の符号化方式で符号化処理して算術符号データを生成する符号化手段と、
上記算術符号データの任意のサブバンド単位の特定した部位にスクランブル処理を施すスクランブル処理手段と、
上記算術符号データに基づいて上記符号化処理に関する所定の符号化情報を生成し、当該生成した符号化情報を格納したヘッダデータを生成するヘッダデータ生成手段と、
上記ヘッダデータに上記スクランブル処理を施した上記算術符号データを付加してパケットデータを生成するパケットデータ生成手段と
を具えることを特徴とする画像符号化装置。
【請求項２】
上記パケットデータから、上記ヘッダデータと、上記スクランブル処理された上記算術符号データとを分離する分離手段と、
上記スクランブル処理が施された上記算術符号データにデスクランブル処理を施して元の上記算術符号データに戻すデスクランブル処理手段と、
上記ヘッダデータに格納されている上記符号化情報に基づいて、上記元に戻された上記算術符号データを所定の復号化方式で復号化処理して上記量子化係数を生成する復号化手段と、
上記量子化係数を逆量子化して上記フィルタ係数を生成する逆量子化手段と、
上記フィルタ係数を低域フィルタ及び高域フィルタを用いてフィルタリング処理して上記画像データを生成する画像データ生成手段と
を具えることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
画像データに対して低域成分を再帰的にフィルタリングするウェーブレット変換を施すことによりフィルタ係数としてサブバンド単位のウェーブレット係数を生成するウェーブレット係数生成ステップと、
上記ウェーブレット係数を量子化して量子化係数を生成する量子化ステップと、
上記量子化係数を所定の符号化方式で符号化処理して算術符号データを生成する符号化ステップと、
上記算術符号データの任意のサブバンド単位の特定した部位にスクランブル処理を施すスクランブル処理ステップと、
上記算術符号データに基づいて上記符号化処理に関する所定の符号化情報を生成し、当該生成した符号化情報を格納したヘッダデータを生成するヘッダデータ生成ステップと、
上記ヘッダデータに上記スクランブル処理を施した上記算術符号データを付加してパケットデータを生成するパケットデータ生成ステップと
を具えることを特徴とする画像符号化方法。
【請求項４】
上記パケットデータから、上記ヘッダデータと、上記スクランブル処理された上記算術符号データとを分離する分離ステップと、
上記スクランブル処理が施された上記算術符号データにデスクランブル処理を施して元の上記算術符号データに戻すデスクランブル処理ステップと、
上記ヘッダデータに格納されている上記符号化情報に基づいて、上記元に戻された上記算術符号データを所定の復号化方式で復号化処理して上記量子化係数を生成する復号化ステップと、
上記量子化係数を逆量子化して上記フィルタ係数を生成する逆量子化ステップと、
上記フィルタ係数を低域フィルタ及び高域フィルタを用いてフィルタリング処理して上記画像データを生成する画像データ生成ステップと
を具えることを特徴とする請求項３に記載の画像符号化方法。
【請求項５】
画像データに対して低域成分を再帰的にフィルタリングするウェーブレット変換を施してフィルタ係数として生成されたサブバンド単位のウェーブレット係数が量子化された後、所定の符号化方式で符号化処理されて算術符号データが生成されたときの符号化情報が格納されたヘッダデータに、任意のサブバンド単位の特定した部位にスクランブル処理が施された上記算術符号データが付加されて生成されたパケットデータから、上記ヘッダデータと、上記スクランブル処理された上記算術符号データとを分離する分離手段と、
上記スクランブル処理が施された上記算術符号データにデスクランブル処理を施して元の上記算術符号データに戻すデスクランブル処理手段と、
上記ヘッダデータに格納されている上記符号化情報に基づいて、上記デスクランブル処理手段で元に戻された上記算術符号データを所定の復号化方式で復号化処理して量子化係数を生成する復号化手段と、
上記量子化係数を逆量子化して上記フィルタ係数を生成する逆量子化手段と、
上記フィルタ係数を低域フィルタ及び高域フィルタを用いてフィルタリング処理して上記画像データを生成する画像データ生成手段と
を具えることを特徴とする画像復号化装置。
【請求項６】
画像データに対して低域成分を再帰的にフィルタリングするウェーブレット変換を施してフィルタ係数として生成されたサブバンド単位のウェーブレット係数が量子化された後、所定の符号化方式で符号化処理されて算術符号データが生成されたときの符号化情報が格納されたヘッダデータに、任意のサブバンド単位の特定した部位にスクランブル処理が施された上記算術符号データが付加されて生成されたパケットデータから、上記ヘッダデータと、上記スクランブル処理された上記算術符号データとを分離する分離ステップと、
上記スクランブル処理が施された上記算術符号データにデスクランブル処理を施して元の上記算術符号データに戻すデスクランブル処理ステップと、
上記ヘッダデータに格納されている上記符号化情報に基づいて、上記元に戻された上記算術符号データを所定の復号化方式で復号化処理して量子化係数を生成する復号化ステップと、
上記量子化係数を逆量子化して上記フィルタ係数を生成する逆量子化ステップと、
上記フィルタ係数を低域フィルタ及び高域フィルタを用いてフィルタリング処理して上記画像データを生成する画像データ生成ステップと
を具えることを特徴とする画像復号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像符号化装置及びその方法並びに画像復号化装置及びその方法に関し、例えば、画像を提供する画像提供システムに適用して好適なものである。
【０００２】
【従来の技術】
近年、画像送信装置と画像受信装置とをネットワークを介して接続し、当該画
像送信装置から画像受信装置に向けて画像を提供する画像提供システムが考えられている。
【０００３】
【発明が解決しようとする課題】
ところで、かかる画像提供システムにおいては、提供対象の画像に対する著作権を保護する目的で、その画像に電子透かしを埋め込むことにより不正コピーを防止したり、画像を暗号化した状態で誰でも自由に取得できるようにしておき、例えば画像を購入する人にのみ暗号化を解く鍵を渡して見せるようにすることが提案されている。
【０００４】
ところが、画像の著作権を保護するために当該画像に電子透かしを埋め込む方法では、その画像の画像データの一部が電子透かしのデータに置き変わって画質が劣化するため、高画質な画像の提供等には不向きである。
【０００５】
また、画像を暗号化する方法では、当該画像の絵柄等の概要を全く視認することができないように暗号化すると、その画像が全く見えないために購入意欲を高めるまでには至らず、画像を容易には提供し難くなる。
【０００６】
このため、最近では、画像提供システムにおいて、画像に対して絵柄等の概要をある程度は視認させることができるような暗号化（以下、これを特にスクランブルと呼ぶ）を施しておき、実際に購入する人にのみスクランブルを解く鍵を渡して画像を見せるようにすることが提案されている。
【０００７】
また、かかる画像提供システムにおいては、画像を提供する場合、画像送信装置において、その画像の画像データをＪＰＥＧ（Joint Photographic Experts Group）方式により圧縮符号化して画像受信装置に送信することにより画像の伝送効率を向上させることも提案されている。
【０００８】
従って、かかる画像提供システムにおいては、画像送信装置において、画像データを離散コサイン変換（DCT:Discrete Cosine Transform ）し、得られた離散コサイン変換係数を量子化して量子化係数を生成し、当該生成した量子化係数にスクランブル処理を施した後、ハフマン符号化処理を施すことにより、当該画像データを圧縮符号化するようになされている。
【０００９】
ここで、ハフマン符号化とは、スクランブル処理した量子化係数を符号化し、得られた符号に発生頻度が高ければ短いコードを割り当て、当該符号に発生頻度が低ければ比較的長いコードを割り当てるようにした変換処理である。
【００１０】
ところが、画像送信装置においては、量子化係数にスクランブル処理を施した時点でその量子化係数の並びがランダムに変化することにより、スクランブル処理した量子化係数を符号化して得られる符号としては、短いコードを割り当てるべき比較的発生頻度の高い符号が大幅に減少し、これとは逆に長いコードを割り当てるべき比較的発生頻度の低い符号が増加するため、画像データを圧縮符号化して得られる圧縮符号化データのデータ量が増加する。
【００１１】
このため、画像提供システムにおいては、画像データを圧縮符号化しているものの、所望する圧縮率よりも格段的に高い圧縮率で送信する問題があった。
【００１２】
本発明は以上の点を考慮してなされたもので、画像データの圧縮率の低下を防止し得る画像符号化装置及びその方法並びに画像復号化装置及びその方法を提案しようとするものである。
【００１３】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、画像データに対して低域成分を再帰的にフィルタリングするウェーブレット変換を施すことによりフィルタ係数としてサブバンド単位のウェーブレット係数を生成し、当該生成したウェーブレット係数を量子化して量子化係数を生成し、その量子化係数を所定の符号化方式で符号化処理して算術符号データを生成した後、当該算術符号データの任意のサブバンド単位の特定した部位にスクランブル処理を施すと共に、その算術符号データに基づいて符号化処理に関する所定の符号化情報を生成し、当該生成した符号化情報を格納して生成したヘッダデータにスクランブル処理を施した算術符号データを付加してパケットデータを生成するようにした。
【００１４】
従って、量子化係数を符号化処理した後に、その符号化処理して得られた算術符号データの任意のサブバンド単位の特定した部位にスクランブル処理を施すため、画像データに基づく画像に対し画質の劣化を小さくすることができると共に、量子化係数を符号化したときにデータ量が増加することを防止することができる。
【００１５】
また、本発明においては、画像データに対して低域成分を再帰的にフィルタリングするウェーブレット変換を施してフィルタ係数として生成されたサブバンド単位のウェーブレット係数が量子化された後、所定の符号化方式で符号化処理されて算術符号データが生成されたときの符号化情報が格納されたヘッダデータに、任意のサブバンド単位の特定した部位にスクランブル処理が施された算術符号データが付加されて生成されたパケットデータから、ヘッダデータと、スクランブル処理された算術符号データとを分離し、当該スクランブル処理が施された算術符号データにデスクランブル処理を施して元の算術符号データに戻すと共に、ヘッダデータに格納されている符号化情報に基づいて、その元に戻された算術符号データを所定の復号化方式で復号化処理して量子化係数を生成し、当該生成した量子化係数を逆量子化してフィルタ係数を生成した後、そのフィルタ係数を低域フィルタ及び高域フィルタを用いてフィルタリング処理して画像データを生成するようにした。
【００１６】
従って、このような構成にすれば、画像データの符号化側では当該構成と可逆的な構成を有することになり、量子化係数を符号化した後、その符号化処理して得られた算術符号データの任意のサブバンド単位の特定した部位にスクランブル処理を施すため、画像データに基づく画像に対し画質の劣化を小さくすることができると共に、量子化係数を符号化したときにデータ量が増加することを防止することができる。
【００１７】
図１において、１は全体として本発明を適用した画像提供システムを示し、次世代の静止画国際標準規格であるＪＰＥＧ−２０００と呼ばれる圧縮符号化方式が適用された画像送信装置２及び画像受信装置３をネットワーク４を介して接続して構成されている。
【００１８】
この場合、画像提供システム１においては、例えば、画像受信装置３からネットワーク４を介して画像送信装置２に画像の取得を要求すると、当該画像送信装置２から要求に応じた画像の画像データをＪＰＥＧ−２０００方式で圧縮符号化した後、ネットワーク４を介して画像受信装置３に送信すると共に、当該画像受信装置３において、その圧縮符号化されている画像データを受信するとＪＰＥＧ−２０００方式で伸張復号化するようになされている。
【００１９】
実際上、図２に示すように、画像送信装置２においては、画像の送信時、例えば、内部の所定の記録媒体（図示せず）から再生した提供対象の画像の画像データＤ１をウェーブレット変換部１０に取り込む。
【００２０】
ウェーブレット変換部１０は、画像データＤ１を低域フィルタ及び高域フィルタを用いたフィルタリングによりウェーブレット変換し、得られたウェーブレット変換係数Ｄ２を量子化部１１に送出する。
【００２１】
量子化部１１は、ウェーブレット変換部１０から与えられるウェーブレット変換係数Ｄ２に対して所定の量子化ステップサイズで除算するスカラ量子化を施し、得られた量子化係数Ｄ３を符号化部１２に送出する。
【００２２】
符号化部１２は、量子化部１１から与えられる量子化係数Ｄ３に対して所定のコードブロック（code-block）単位で、ＪＰＥＧ−２０００方式で規定されているＥＢＣＯＴ（Embedded Coding with Optimized Truncation ）と呼ばれるエントロピー符号化を施し、得られた符号にＭＱ符号化と呼ばれる算術符号化を施すことにより、得られた算術符号データＤ４を順次コードブロック単位でレート制御部１３に送出する。
【００２３】
因みに、ＭＱ符号化は、ＪＢＩＧ２（Joint Bi-Level Image Coding ExpertsGroup 2 ）で規定されている学習型の２値算術符号化である。
【００２４】
レート制御部１３は、符号化部１２から順次コードブロック単位で与えられる算術符号データＤ４の符号量（すなわち、データ量）をカウントしながら、当該コードブロック毎に算術符号データＤ４の一部又は全てを切り捨てるようにして目標のビットレート又は圧縮符号化率となるように符号量を一定に制御し、この結果得られた目標のビットレート又は圧縮符号化率に応じた符号量の算術符号データＤ５を算術符号抽出部１４及びヘッダ生成部１５に送出する。
【００２５】
ここで、画像送信装置２においては、スクランブル処理を施すべき算術符号データＤ５を任意に指定し得るようになされており、算術符号抽出部１４は、レート制御部１３から与えられるコードブロック単位の算術符号データＤ５に対して、スクランブル処理を施すように指定されたコードブロック単位の算術符号データＤ５であるか、又はスクランブル処理を施さないように指定されたコードブロック単位の算術符号データＤ５であるかを表す情報を付加してスクランブル処理部１６に送出する。
【００２６】
スクランブル処理部１６は、図示しない制御部から公開鍵データが与えられており、算術符号抽出部１４から与えられるコードブロック単位の算術符号データＤ５のうちのスクランブル処理を施すように指定された算術符号データＤ５に対しては公開鍵データを用いてスクランブル処理を施し、得られたスクランブルデータＤ６をパケット生成部１７に送出すると共に、スクランブル処理を施さないように指定されているコードブロック単位の算術符号データＤ５はそのままパケット生成部１７に送出する。
【００２７】
このとき、ヘッダ生成部１５は、コードブロック単位の算術符号データＤ５に基づいて、そのデータ長や、符号化処理に関する所定の符号化情報、さらには、スクランブル処理した算術符号データＤ５を表す情報等を生成し、当該生成した各種情報をＪＰＥＧ−２０００方式で定義されているパケットヘッダに格納してヘッダデータＤ７を生成し、そのヘッダデータＤ７をパケット生成部１７に送出する。
【００２８】
従って、パケット生成部１７は、ヘッダ生成部１５から与えられるヘッダデータＤ７に、スクランブル処理部１６から与えられる対応するコードブロック単位の複数のスクランブルデータＤ６又はコードブロック単位の複数の算術符号データＤ５を付加して順次パケットデータを生成すると共に、当該生成したパケットデータを一本化し、得られたパケットストリームＤ８を所定のインターフェース回路１８からネットワーク４を介して画像送信装置３に送信する。
【００２９】
一方、図３に示すように、画像受信装置３においては、画像送信装置２からネットワーク４を介して送信されるパケットストリームＤ８を所定のインターフェース回路２０を介してパケット解読部２１に取り込む。
【００３０】
パケット解読部２１は、取り込んだパケットストリームＤ８を順次パケットデータに分離し、そのパケットデータに含まれるヘッダデータＤ７をヘッダ解読部２２に送出すると共に、当該パケットデータに含まれるスクランブルデータＤ６又は算術符号データＤ５をデスクランブル処理部２３に送出する。
【００３１】
デスクランブル処理部２２は、このとき、図示しない制御部から公開鍵データが与えられると共に、ヘッダ解読部２２からヘッダデータＤ７に基づいて得られた、スクランブル処理を施している算術符号データＤ５を示す情報が与えられており、当該情報に基づいて、パケット解読部２１から与えられるスクランブルデータＤ６及び算術符号データＤ５のうちのスクランブルデータＤ６を選択して公開鍵データでデスクランブル処理を施し、得られた元の算術符号データＤ５を算術符号解読部２４に送出すると共に、送信時にスクランブル処理されていない算術符号データＤ５はそのまま算術符号解読部２４に送出する。
【００３２】
算術符号解読部２４は、デスクランブル処理部２２から算術符号データＤ５がシーケンシャルに与えられるため、当該シーケンシャルな算術符号データＤ５をコードブロック状に並べ替えて復号化部２５に送出する。
【００３３】
このとき、ヘッダ解読部２２は、パケット解読部２１から与えられるパケットデータＤ７に基づいて、パケットヘッダに格納されているデータ長や符号化情報を取り出し、当該取り出したデータ長や符号化情報に応じた復号化制御データＤ１０を生成してこれを復号化部２５に送出する。
【００３４】
従って、復号化部２５は、ヘッダ解読部２２から与えられる復号化制御データＤ１０に基づき、算術符号解読部２４から与えられるコードブロック単位の算術符号データＤ５に対して算術復号化処理を施した後、エントロピー復号化処理を施し、得られた量子化係数Ｄ１１を逆量子化部２６に送出する。
【００３５】
逆量子化部２６は、復号化部２５から与えられる量子化係数Ｄ１１を逆量子化し、得られたウェーブレット変換係数Ｄ１２をウェーブレット逆変換部２７に送出する。
【００３６】
ウェーブレット逆変換部２７は、逆量子化器２６から与えられるウェーブレット変換係数Ｄ１２を低域フィルタ及び高域フィルタを用いたフィルタリングによりウェーブレット逆変換し、得られた画像データＤ１３を例えば所定の表示部（図示せず）に送出することにより、当該表示部に画像データＤ１３に基づく画像を表示させることができる。
【００３７】
ここで、画像送信装置２において、ウェーブレット変換部１０には、複数タップ長のフィルタ係数を有し、画像の垂直方向へのフィルタリング（以下、これを垂直フィルタリングと呼ぶ）及び水平方向へのフィルタリング（以下、これを水平フィルタリングと呼ぶ）に用いる低域フィルタ及び高域フィルタが設けられると共に、所定のラインバッファが設けられている。
【００３８】
そして、図４に示すように、ウェーブレット変換部１０は、記録媒体から画像データＤ１を、当該画像データＤ１に基づく画像ＳＧのラインＬＩ単位で読み出してラインバッファ３０に格納し、ウェーブレット変換における垂直フィルタリングに必要なだけの複数ラインＬＩ分のデータを格納すると、当該複数ラインＬＩ分のデータに対して垂直フィルタリングを施し、得られた複数ラインＬＩ分のデータに引き続き水平フィルタリングを施す。
【００３９】
これにより、図５（Ａ）及び（Ｂ）に示すように、ウェーブレット変換部１０は、４つの帯域でなる第１レベルの最低域サブバンドＬＬ１と、低高域サブバンドＬＨ１と、高低域サブバンドＨＬ１と、最高域サブバンドＨＨ１とのウェーブレット変換係数Ｄ２を求めることができる。
【００４０】
ここで、ウェーブレット変換部１０は、第１レベルの最低域サブバンドＬＬ１と、低高域サブバンドＬＨ１と、高低域サブバンドＨＬ１と、最高域サブバンドＨＨ１とのウェーブレット変換係数Ｄ２を求めるように指定されていれば、これら最低域サブバンドＬＬ１と、低高域サブバンドＬＨ１と、高低域サブバンドＨＬ１と、最高域サブバンドＨＨ１とのウェーブレット変換係数Ｄ２を引き続き求めながら、当該求めた最低域サブバンドＬＬ１と、低高域サブバンドＬＨ１と、高低域サブバンドＨＬ１と、最高域サブバンドＨＨ１とのウェーブレット変換係数Ｄ２を順次量子化部１１に送出し、当該量子化部１１にウェーブレット変換係数Ｄ２に対する量子化処理を並行して実行させると共に、この後１フレーム分の画像ＳＧから指定された第１レベルの全てのウェーブレット変換係数Ｄ２を求めるまでこの一連の処理を継続する。
【００４１】
これに対して、ウェーブレット変換部１０は、図６に示すような第２レベルまでの最低域サブバンドＬＬ２と、低高域サブバンドＬＨ２と、高低域サブバンドＨＬ２と、最高域サブバンドＨＨ２とのウェーブレット変換係数Ｄ２までを求めるように指定されていれば、図７（Ａ）及び（Ｂ）に示すように、第１レベルの最低域サブバンドＬＬ１と、低高域サブバンドＬＨ１と、高低域サブバンドＨＬ１と、最高域サブバンドＨＨ１とのウェーブレット変換係数Ｄ２を引き続き求めながら、当該求めた高域側の低高域サブバンドＬＨ１と、高低域サブバンドＨＬ１と、最高域サブバンドＨＨ１とのウェーブレット変換係数Ｄ２を順次量子化部１１に送出する。
【００４２】
これに加えて、ウェーブレット変換部１０は、第１レベルの最低域サブバンドＬＬ１のウェーブレット変換係数をライン単位で順次ラインバッファ３０に格納し、当該ラインバッファ３０にウェーブレット変換における垂直フィルタリングに必要なだけの複数ライン分のウェーブレット変換係数を格納すると、その複数ライン分のウェーブレット変換係数に対して垂直フィルタリングを施した後、水平フィルタリングを施すことにより、当該第１レベルの最低域サブバンドＬＬ１を４つの帯域に分割してなる第２レベルの最低域サブバンドＬＬ２と、低高域サブバンドＬＨ２と、高低域サブバンドＨＬ２と、最高域サブバンドＨＨ２とのウェーブレット変換係数Ｄ２を求める。
【００４３】
これにより、ウェーブレット変換部１０は、順次求めている第１レベルの低高域サブバンドＬＨ１と、高低域サブバンドＨＬ１と、最高域サブバンドＨＨ１とのウェーブレット変換係数Ｄ２を量子化部１１に送出しながら、第２レベルの最低域サブバンドＬＬ２と、低高域サブバンドＬＨ２と、高低域サブバンドＨＬ２と、最高域サブバンドＨＨ２とのウェーブレット変換係数Ｄ２を求めて量子化部１１に送出し、この後１フレーム分の画像ＳＧから指定された第２レベルまでの全てのウェーブレット変換係数Ｄ２を求めるまでこの一連の処理を継続する。
【００４４】
このようにして、ウェーブレット変換部１０は、１フレーム分の画像ＳＧに応じた大容量のメモリを用いることなく、小容量のラインバッファを用い、当該ラインバッファに所定量のデータ（又はウェーブレット変換係数Ｄ２）が蓄積される毎に順次ウェーブレット変換を効率良く実行し得るようになされている。
【００４５】
因みに、図８（Ａ）及び（Ｂ）に示すように、ウェーブレット変換部１０は、例えば、第３レベルや第４レベルまでの最低域サブバンドＬＬ３、ＬＬ４と、低高域サブバンドＬＨ３、ＬＨ４と、高低域サブバンドＨＬ３、ＨＬ４と、最高域サブバンドＨＨ３、ＨＨ４とのウェーブレット変換係数Ｄ２まで求めるように指定されている場合には、所望するレベルよりも一段下のレベルの最低域サブバンドに対して図６（Ａ）及び（Ｂ）について上述したようなフィルタリング処理に準じたフィルタリング処理を実行すれば、当該所望するレベルまでのサブバンドのウェーブレット変換係数Ｄ２を求めることができる。
【００４６】
また、図９に示すように、量子化部１１は、ウェーブレット変換部１０から順次与えられるウェーブレット変換係数Ｄ２を各サブバンドのライン毎に量子化し、得られた量子化係数Ｄ３を符号化部１２に送出する。
【００４７】
符号化部１２は、図１０（Ａ）及び（Ｂ）に示すように、量子化部１１から与えられる各サブバンド毎の量子化係数Ｄ３が矢印ａに示す垂直方向に沿って例えば64個のサンプル数ｈ１に達すると、当該サブバンド毎の量子化係数Ｄ３から垂直方向及びこれと直交する水平方向に同一のサンプル数ｈ１及びｈ２（すなわち、ｈ１及びｈ２が共に64サンプル）でなるコードブロックを切り出し、当該切り出したコードブロック毎に符号化して算術符号データＤ４を生成する。
【００４８】
因みに、図１０（Ａ）及び（Ｂ）は、第２レベルまでのサブバンドを示しており、図７（Ａ）及び（Ｂ）について上述したように、第１レベルのサブバンドと、第２レベルのサブバンドとのウェーブレット変換係数Ｄ２を求めるまでには、時間差が生じるため、符号化部１２は、先に垂直方向に沿って所定サンプル数ｈ１に達する第１レベルのサブバンドの量子化係数Ｄ３に対してコードブロック単位で符号化し、この後、第２レベルのサブバンドの量子化係数Ｄ３が垂直方向に沿って所定サンプル数ｈ１（64サンプル）に達すると、当該第１レベルのサブバンドの量子化係数Ｄ３に加えて、第２レベルのサブバンドの量子化係数Ｄ３にもコードブロック単位で符号化する。
【００４９】
このようにして、符号化部１２は、１フレーム分の画像から得られた全てのサブバンドの量子化係数Ｄ３に対してコードブロック単位で符号化するようになされている。
【００５０】
実際上、図１１（Ａ）に示すように、コードブロック単位の量子化係数Ｄ３は、当該コードブロック内のサンプル毎に例えば絶対値の最大値が13（２進表現では「1101」）のようにそれぞれ係数値を有している。
【００５１】
このため、符号化部１２は、図１１（Ｂ）及び（Ｃ）に示すように、符号化を実行する場合、量子化部１１から与えられるコードブロック単位の量子化係数Ｄ３に基づいて、当該量子化係数Ｄ３の絶対値を最下位ビット（LSB:Least Significant Bit ）から最上位ビット（MSB:Most Significant Bit）までの各ビットで順次スライスするようにして各サンプルに対応する「１」又は「０」の係数値を有する絶対値のビットプレーン（以下、これを絶対値ビットプレーンと呼ぶ）を生成する（この場合、４種類の絶対値ビットプレーンを生成する）と共に、各係数値の符号（±）のビットプレーン（以下、これを符号ビットプレーンと呼ぶ）を生成する。
【００５２】
因みに、図１１（Ａ）〜（Ｃ）は、便宜上、絶対値ビットプレーン及び符号ビットプレーンのサイズをそれぞれ縦横４ビットとして表しているが、実際にはこれら絶対値ビットプレーン及び符号ビットプレーンの縦横のサイズは、それぞれコードブロックの縦横の64サンプルに対応させた64ビットである。
【００５３】
そして、符号化部１２は、図１２に示すように、絶対値ビットプレーンに対してそれぞれそのブロックを、例えば４ビットの高さ（縦）を有し、かつ64ビットの幅（横）を有する複数のストライプＳＴに分割し、当該ストライプＳＴ内を実線の矢印ｂ及び点線の矢印ｃに示す方向に沿って順次上から下に係数値を走査（実線の矢印ｂ）しながらその走査を順次左から右に遷移（点線の矢印ｃ）させるようにして各ストライプＳＴ内の全ての係数値を走査して当該係数値を符号化する。
【００５４】
ところで、符号化部１２で用いられるＥＢＣＯＴと呼ばれるエントロピー符号化では、絶対値ビットプレーン内の係数値に対する符号化方式として、シグニフィカンスパス（Significance Pass ）、リファイメントパス（Refinement Pass）及びクリーンナップパス（Cleanup Pass）と呼ばれる３種類の符号化パスが規定されている。
【００５５】
また、かかるエントロピー符号化では、シグニフィカンスパス、リファイメントパス及びクリーンナップパスの符号化パスが用いられるときには、絶対値ビットプレーンのブロック内の全ての係数値にそれぞれ対応させた有効（Significant ）又は無効（non-Significant ）の符号化の状態変数を表すデータテーブル（以下、これを状態変数テーブルと呼ぶ）が用いられている。
【００５６】
一方、符号化部１２は、符号化パス内で実行する算術符号化として、ＭＱ符号化によりコードブロック単位毎に算術符号化の統計量を測定しながらＺＣ（ZeroCoding ）、ＲＬＣ（Run-Length Coding ）、ＳＣ（Sign Coding ）及びＭＲ（Magnitude Refinement）を適宜選択して実行するようになされている。この結果、かかるエントロピー符号化の符号化パス内で算術符号化を実行するＪＰＥＧ−２０００方式では、全ての符号化パスで合計19種類のコンテキストがある。
【００５７】
従って、符号化部１２は、図１３に示すように、コードブロック単位の量子化係数Ｄ３が最下位ビットから最上位ビットまでに絶対値でｎビットの係数値を有すると、最上位ビット（ｎ−１ビット）の絶対値ビットプレーンに対しては図１２について上述したように係数値を走査しながらクリーンナップパスのみで符号化し、続くｎ−２から最下位ビット（０ビット）までの各絶対値ビットプレーンに対してはそれぞれ図１２について上述したように係数値を走査しながら絶対値ビットプレーン毎にシグニフィカンスパス、リファイメントパス及びクリーンナップパスの順番で独立して順次３種類の符号化処理を実行する。
【００５８】
この際、符号化部１２は、内部のメモリに予め状態変数テーブルを格納しており、１つのコードブロック単位の量子化係数Ｄ３に対して符号化処理を開始すると、当該メモリからその状態変数テーブルを読み出して全ての状態変数をそれぞれ初期値として無効を表す例えば「０」に設定する。
【００５９】
そして、符号化部１２は、いずれかの係数値を符号化すると状態変数テーブル上で対応する状態変数を有効を表す例えば「１」に変更し、このようにして１つのコードブロック単位の量子化係数Ｄ３に対する符号化処理が終了するまでは有効となった状態変数をそのまま変更せずに新たに符号化された係数値に対応する状態変数のみを順次有効に変更するようにして用いる。
【００６０】
因みに、状態変数テーブル内の状態変数は、このように係数値を符号化する毎に順次無効から有効に変更するため、有効桁の情報（すなわち、係数値）をすでに符号化したか否かを表すフラグと言うことができる。
【００６１】
実際に、符号化部１２は、絶対値ビットプレーンをシグニフィカンスパスで符号化する場合、状態変数が無効である係数値を走査したとき、当該係数値を取り囲む８近傍の各係数値のうちの少なくとも１つの係数値の状態変数が有効であれば、その走査した係数値（すなわち、状態変数が無効である）を算術符号化すると共に、当該算術符号化した係数値が「１」であるときには、符号化ビットプレーンの対応する符号が「＋」であるか、又は「−」であるかを続けて算術符号化し、このようにして１つの絶対値ビットプレーン全体に対してシグニフィカンスパスで符号化する。
【００６２】
また、符号化部１２は、絶対値ビットプレーンをリファイメントパスで符号化する場合、当該絶対値ビットプレーン内の状態変数が有効である係数値のうち、先のシグニフィカンスパスで符号化していない係数値を算術符号化し、このようにして１つの絶対値ビットプレーン全体に対してリファイメントパスで符号化する。
【００６３】
さらに、符号化部１２は、絶対値ビットプレーンをクリーンナップパスで符号化する場合、当該絶対値ビットプレーン内の状態変数が無効である係数値のうち、先のシグニフィカンスパスで符号化していない係数値を算術符号化すると共に、当該算術符号化した係数値が「１」であるときには、符号化ビットプレーンの対応する符号が「＋」であるか、又は「−」であるかを続けて算術符号化し、このようにして１つの絶対値ビットプレーン全体に対してクリーンナップパスで符号化する。
【００６４】
ただし、符号化部１２は、最上位ビット（ｎ−１ビット）の絶対値ビットプレーンに対してクリーンナップパスで符号化する場合、状態変数テーブル内の状態変数が全て初期化されて無効となっているため、当該絶対値ビットプレーン内の各係数値のうちの「１」である係数値を算術符号化すると共に、「０」の係数値に対しては、「０」の連続する数を検出して例えばＭＱ符号化によりＲＬＣを実行する。
【００６５】
ここで、算術符号抽出部１４に対しては、スクランブル処理を施すべき算術符号データＤ５を単体で指定することもできるが、例えば、図１４（Ａ）及び（Ｂ）に示すように、第１レベルの低高域サブバンドＬＨ１、高低域サブバンドＨＬ１及び最高域サブバンドＨＨ１や、第２レベルの低高域サブバンドＬＨ２、高低域サブバンドＨＬ２及び最高域サブバンドＨＨ２のように、サブバンド単位で指定することもできる。
【００６６】
従って、算術符号抽出部１４は、スクランブル処理を施すべきサブバンドが指定されると、当該指定された第１レベルの低高域サブバンドＬＨ１、高低域サブバンドＨＬ１及び最高域サブバンドＨＨ１や、第２レベルの低高域サブバンドＬＨ２、高低域サブバンドＨＬ２及び最高域サブバンドＨＨ２に属する全てのコードブロック単位の算術符号データＤ５に対してそれぞれスクランブル処理を施すように指定する情報を付加する。
【００６７】
また、算術符号抽出部１４に対しては、１つの画像に対してスクランブル処理を施すべきサブバンドとして、全てのサブバンドやレベルを指定したり、複数レベルのサブバンドを同時に指定することもできるようになされている。
【００６８】
因みに、所定レベルまでのサブバンドは、画像を構成するエネルギーの多くが低域成分に集中しているため、図１４（Ａ）及び（Ｂ）について上述したように、第１レベルの低高域サブバンドＬＨ１、高低域サブバンドＨＬ１及び最高域サブバンドＨＨ１や、第２レベルの低高域サブバンドＬＨ２、高低域サブバンドＨＬ２及び最高域サブバンドＨＨ２に対してのみスクランブル処理を施すように指定するよりも、最低域サブバンドＬＬ１、ＬＬ２のみにスクランブル処理を施すように指定すれば、その分、スクランブル強度を高めることができる。
【００６９】
そして、スクランブル処理部１６は、スクランブル処理を施すように指定された算術符号データＤ５に対して、ブラウフィッシュ（Blowfish）法と呼ばれる共通鍵ブロック暗号化方式に基づいて、当該算術符号データＤ５を固定長のデータ列に区切り、そのデータ列毎に共通鍵データを用いてスクランブル処理を施している。
【００７０】
この際、スクランブル処理部１６は、コードブロック単位の算術符号データＤ５がレート制御部１３により一定のデータ長を有するようにその符号量が制御されているため、当該算術符号データＤ５をスクランブル処理用の所定データ列に容易に区切ることができるようになされている。
【００７１】
また、スクランブル処理部１６は、ブロック暗号化方式により算術符号データＤ５を固定長のデータ列に区切り、そのデータ列毎に共通鍵データを用いてスクランブル処理を施すことにより、スクランブル処理の後でデータ量が増加することをほぼ確実に防止し得るようになされている。
【００７２】
ところで、スクランブル処理を施す算術符号データＤ５を任意に指定すると、当該指定した算術符号データＤ５を画像受信装置３に通知する必要がある。
【００７３】
このため、ヘッダ生成部１５は、図１５に示すように、パケットヘッダの一部として、例えば、ＪＥＰＧ−２００方式ではＴａｂｌｅＡ−１０として定義されているＲｓｉｚという16ビットのパラメータを用い、当該Ｒｓｉｚに存在するオール「０」以外は未使用（reserved）となっている16ビットの情報格納領域ＪＫ１の空きビットを利用して、スクランブル処理を施すように指定された算術符号データＤ５を通知する。
【００７４】
ここで、ヘッダ生成部１５は、算術符号データＤ５にスクランブル処理が施された場合はＲｓｉｚの空きビット内の先頭のビットに「１」を割り当て、これとは逆に算術符号データＤ５にスクランブル処理が施されていない場合はＲｓｉｚの空きビット内の先頭のビットに「０」を割り当てる。
【００７５】
また、ヘッダ生成部１５は、Ｒｓｉｚの空きビット内の先頭のビットに「１」を割り当てた場合には、続く２ビット目から４ビット目までの３ビットにウェーブレット変換のレベルの情報を割り当てる。因みに、ウェーブレット変換のレベルの情報には、３ビットを利用するため、当該３ビットにより０レベルから７レベルまでを指定することができる。
【００７６】
さらに、ヘッダ生成部１５は、Ｒｓｉｚの空きビットに対して５ビット目以降にはスクランブル処理を施すレベルを割り当てる。実際には、例えば、５ビット目から９ビット目までの５ビットを順次第１レベルから第５レベルまでと対応させて、その５ビットに「１００１０」を割り当てると、第１レベルと第４レベルに対してスクランブル処理が施してあり、第２レベル、第３レベル及び第５レベルに対してはスクランブル処理を施していないことを通知することができる。
【００７７】
このようにしてヘッダ生成部１５は、スクランブル処理の有無の情報をヘッダデータとして画像受信装置３に適確に通知し得るようになされている。
【００７８】
これにより、画像受信装置３において、デスクランブル処理部２３は、そのヘッダデータＤ７に示すスクランブル処理に関する情報に基づいて、スクランブルデータＤ６に適確にデスクランブル処理を施すことができ、かくして、図１６に示すように、画像ＳＧＡを適確に視認させることができる。
【００７９】
ところで、画像送信装置２は、ヘッダデータＤ７にはスクランブル処理を施さずに、算術符号データＤ５のみにスクランブル処理を施している。
【００８０】
従って、図３について上述した画像受信装置３とデスクランブル処理部２３を除いて同様に構成された画像受信装置であれば、画像送信装置２から送信されたパケットストリームＤ８を受信したとき、当該パケットストリームＤ８に基づいて得られるヘッダデータＤ７に復号化に必要となる符号化情報が格納されているため、その符号化情報に基づいて算術符号データＤ５（送信時にスクランブル処理を施していないデータ）と共にスクランブルデータＤ６をそのまま復号化することができる。
【００８１】
そして、かかる画像受信装置においては、算術符号データＤ５及びスクランブルデータＤ６を復号化するようにして画像データを生成すると、当該スクランブルデータＤ６が適確に復号化できない分、その画像データに基づいて、図１７乃至図１９に示すように、画像の絵柄等の概要をある程度までは視認させ得るようになされている。
【００８２】
因みに、図１７に示すように、第１レベルのみにスクランブル処理を施すように指定された画像ＳＧＢと、図１８に示すように、第４レベルのみにスクランブル処理を施すように指定された画像ＳＧＣとを比較すると、小さいレベルに対してスクランブル処理を施した方が画質の劣化が小さいことが分かる。
【００８３】
また、図１９に示す第５レベル及び第６レベルにスクランブル処理を施すように指定された画像ＳＧＤのように、同時に異なるレベルに対してスクランブル処理を施すように指定すると、１つのレベルのみにスクランブル処理を施すように指定された場合に比べてスクランブル処理の強度を細かく選択し得ることが分かる。
【００８４】
このようにして、この画像提供システム１においては、共通鍵データを持たないユーザに対して、画像の概略をある程度見せるようにする場合でも、その度合いを細かく制御して画像を提供することができる。
【００８５】
以上の構成において、この画像提供システム１では、画像送信装置２により、提供対象の画像の画像データＤ１をウェーブレット変換し、得られたウェーブレット変換係数Ｄ２を量子化して量子化係数Ｄ３を生成し、当該生成した量子化係数Ｄ３を順次コードブロック単位で符号化パス内で算術符号化するようにして算術符号データＤ５を生成する。
【００８６】
そして、画像送信装置２では、このようにして生成したコードブロック単位の算術符号データＤ５に対して指定に応じてスクランブル処理を施し、得られたスクランブルデータＤ６に符号化処理の内容を表す符号化情報を格納したヘッダデータＤ７を付加してパケットデータを生成し、当該パケットデータを画像受信装置３に送信する。
【００８７】
一方、画像受信装置３では、画像送信装置２から送信されたパケットデータを受信すると、そのパケットデータをヘッダデータＤ７及びスクランブルデータＤ６に分離して当該スクランブルデータにデスクランブル処理を施し、得られた元の算術符号データＤ５をヘッダデータＤ７に格納されている符号化情報に基づいて復号化パス内で算術復号化するようにして量子化係数Ｄ１１を生成すると共に、当該量子化係数Ｄ１１を逆量子化し、得られたウェーブレット変換係数Ｄ１２をウェーブレット逆変換するようにして画像データＤ１３を生成する。
【００８８】
従って、この画像提供システム１では、画像送信装置２において、画像データＤ１を符号化した後、得られた算術符号データＤ５にスクランブル処理を施すため、量子化係数を符号化した後でデータ量が大幅に増加することを防止することができる。
【００８９】
これに加えて、この画像提供システム１では、画像送信装置２において、ブロック暗号化方式により算術符号データＤ５を所定のデータ長に区切ってスクランブル処理を施すため、当該算術符号データＤ５のデータ量がスクランブル処理の後に増加することも合わせて防止することができる。
【００９０】
また、画像提供システム１では、このような画像送信装置２から送信されたパケットデータを受信する画像受信装置３でも、デスクランブル処理は送信側のスクランブル処理と可逆的であり、かつ復号化は送信側の符号化と可逆的であるため、当該画像送信装置２と同様に、受信したパケットデータをデスクランブル処理を介して復号化するまでの間にデータの圧縮率が低下することを防止することができる。
【００９１】
以上の構成によれば、画像送信装置２において、画像データＤ１をウェーブレット変換した後量子化し、得られた量子化係数Ｄ３を順次コードブロック単位で符号化パス内で算術符号化して算術符号データＤ５を生成し、当該生成したコードブロック単位の算術符号データＤ５にスクランブル処理を施した後、ヘッダデータＤ７を付加して画像受信装置３に送信すると共に、当該画像送信装置３において、受信したパケットデータをヘッダデータＤ７及びスクランブルデータＤ６に分離して当該スクランブルデータにデスクランブル処理を施し、得られた元の算術符号データＤ５をヘッダデータＤ７に格納されている符号化情報に基づいて復号化パス内で算術復号化し、得られた量子化係数Ｄ１１を逆量子化した後、ウェーブレット逆変換して画像データＤ１３を生成するようにしたことにより、画像送信装置２において、量子化係数Ｄ３を符号化した後、スクランブル処理を施してパケットデータとして送信するまでの間にデータ量が増大することを防止することができると共に、これに応じて、当該画像送信装置２と対応する構成を有する画像受信装置３でパケットデータを受信してから復号化するまでの間にデータ量が増大することも防止することができ、かくして、画像データをスクランブル処理して送信するものの、データの圧縮率が低下することを防止し得る画像提供システムを実現することができる。
【００９２】
なお、上述の実施の形態においては、スクランブル処理を施すコードブロック単位の個々の算術符号データＤ５や、レベル及びサブバンドを任意に指定することにより画像の一部又は全体に対してスクランブル処理を施すようにした場合について述べたが、本発明はこれに限らず、図２０（Ａ）及び（Ｂ）に示すように、各サブバンドの上下が画像ＳＧＥの上下に対応していることにより、当該画像ＳＧＥに対してスクランブル処理を施したい部位を特定し、当該特定した部位に対応させて実際にスクランブル処理を施す算術符号データＤ５を指定するようにしても良い。
【００９３】
これに加えて、算術符号データＤ５の深さ、すなわち、算術符号データＤ５を所定のデータ長で区切って抽出部分にスクランブル処理を施すように指定するようにしても良く、この場合には算術符号データＤ５を区切るためのデータ長に応じてスクランブルの強度を調節することができる。
【００９４】
また、上述の実施の形態においては、ヘッダデータＤ７にコードブロック単位の算術符号データＤ５又はコードブロック単位のスクランブルデータＤ６を付加してパケットデータを生成するようにした場合について述べたが、本発明はこれに限らず、複数の算術符号データＤ５から階層的なレイヤを生成し、当該レイヤ毎にパケットデータを生成するようにしても良い。
【００９５】
因みに、かかるパケットデータを生成するには、例えば、図２１に示すように、符号化部１２において例えばコードブロック０乃至コードブロック３の量子化係数Ｄ３を符号化する前に当該コードブロック０乃至コードブロック３毎にそれぞれ各絶対値ビットプレーンを例えばパケットデータ０乃至パケットデータＮに階層的に分散させるように対応付けておき、図２２に示すように、符号化部１２において実際にコードブロック０乃至コードブロック３の量子化係数Ｄ３をそれぞれ符号化した時点で、当該コードブロック０乃至コードブロック３毎にそれぞれパケットデータ０乃至パケットデータＮに階層的に分散させるように対応付けた絶対値ビットプレーンにおける符号化結果（すなわち、算術符号）同士を階層的なレイヤ０乃至レイヤＮとし、これらレイヤ０乃至レイヤＮ毎にパケットデータを生成すれば良い。
【００９６】
なお、図２１において、Ｃはクリーンナップパスを示すと共に、Ｓはシグニフィカンスパスを示し、Ｍはリファイメントパスを示すと共に、０はパスが存在していないことを示しており、符号化の前に予めパケットデータ０乃至パケットデータＮにレイヤ０乃至レイヤＮを対応付けるようにしてそのレイヤの数が設定されている。また、図２２において、各レイヤ０乃至レイヤＮはそれぞれパケットデータ０乃至パケットデータＮに対応しており、レイヤ０乃至レイヤＮ毎の斜線で示すブロックはその高さにより算術符号の符号量を表すと共に、Ｅｍｐｔｙは算術符号が存在しないことを表している。
【００９７】
そして、図２３に示すように、レイヤ化した算術符号（Ｂｏｄｙ）にヘッダデータＤ７を付加するようにしてパケットストリームＤ２０を生成し、レイヤ係数をλとして０（最上位）から２、……、Λ（最下位）までで表すと共に、解像度係数をｌとして０（最低解像度）から１、……、Ｌ、（最高解像度）までで表し、色成分インデックスをＣとして１、２……として表すようにして、例えば、色成分インデックスＣが１つであった場合、同一レイヤに属するパケットデータ（λの値が同じ）を対応する空間解像度の低い方から高い方に順番にまとめ、これらまとめたパケットデータをレイヤ係数λの低い方から高い方（λを１からΛまで）に順番に並べるようにすれば、ＳＮＲ（Signal to Noise Ratio ）プログレッシブを実現することができる。
【００９８】
また、図２４に示すように、レイヤ化した算術符号（Ｂｏｄｙ）にヘッダデータＤ７を付加するようにしてパケットストリームＤ２１を生成し、色成分インデックスＣが１つであった場合、同一空間解像度に相当するパケットデータをレイヤ係数λの低い方から高い方（λが１からΛまで）に順番に並べ、これらを並べたパケットデータを空間解像度の低い方から高い方（ｌを０からＬまで）に並べるようにすれば、解像度プログレッシブを実現することができる。
【００９９】
なお、このようにプログレッシブを実現した場合、図２５に示すように、画像送信装置２のヘッダ生成部１５は、例えば、ＪＰＥＧ−２０００方式ではＴａｂｌｅＡ−１０として定義されているＳｃｏｄという８ビットのパラメータにより、８ビットのうちの上位４ビットが空きビット（Reserved）となっている情報格納領域ＪＫ２を利用すれば、レイヤ番号等を画像受信装置に通知することができる。
【０１００】
また、レイヤ構造化したパケットストリームでは、例えば、レイヤ係数λが０の全ての解像度のもののように、特定のレイヤに存在するパケットデータ内の算術符号のみにスクランブル処理を施すようにすれば良い。すなわち、ＳＮＲプログレッシブでは、レイヤが上位にあるものほど画質に与える影響が大きいため、上位レイヤに存在するパケットデータ内の算術符号にスクランブル処理を施せば、下位レイヤのものに比べて、より強くスクランブルをかけることができる。
【０１０１】
さらに、スクランブル処理を施すレイヤを１つだけ指定するのではなく、例えば、最上位レイヤから数えて特定数のレイヤを指定したり、又は、最低位レイヤから数えて特定数のレイヤを指定することもできる。
【０１０２】
さらに、上述の実施の形態においては、量子化係数Ｄ３を縦横がそれぞれ64サンプルのコードブロック単位で符号化するようにした場合について述べたが、本発明はこれに限らず、ＥＢＣＯＴでは、コードブロックの縦横のサンプル数を４から 256までの２のべき乗と規定されているため、縦横それぞれ32サンプルや、縦が 128サンプルで横が32サンプルのコードブロックのように種々のサイズのコードブロック単位で量子化係数Ｄ３を符号化したり、又は、コードブロックのサイズを任意に変更するようにしても良い。
【０１０３】
さらに、上述の実施の形態においては、本発明を図１〜図２５について上述した画像提供システム１の画像送信装置２及び画像受信装置３に適用するようにした場合について述べたが、本発明はこれに限らず、画像を符号化及び又は復号化するものであれば、画像を符号化及び復号化する双方の構成を有する画像データ記録再生装置やビデオカメラ、また、画像の提供を受けることのできる携帯電話機やパーソナルコンピュータ、ＰＤＡ（Personal Digital Assistance ）等のように、この他種々の構成の画像符号化装置及び画像復号化装置に広く適用することができる。
【０１０４】
さらに、上述の実施の形態においては、画像データに低域フィルタ及び高域フィルタを用いてフィルタリングしてフィルタ係数を生成するフィルタ係数生成手段として、ウェーブレット変換部１０を適用するようにした場合について述べたが、本発明はこれに限らず、画像データに低域フィルタ及び高域フィルタを用いてフィルタリングしてフィルタ係数を生成することができれば、この他種々の構成のフィルタ係数生成手段を広く適用することができる。
【０１０５】
さらに、上述の実施の形態においては、量子化係数を所定の符号化方式で符号化処理して算術符号データを生成する符号化手段として、符号化部１２を適用するようにした場合について述べたが、本発明はこれに限らず、量子化係数を所定の符号化方式で符号化処理して算術符号データを生成することができれば、この他種々の構成でなる符号化手段を広く適用することができる。
【０１０６】
さらに、上述の実施の形態においては、ヘッダデータに格納されている符号化情報に基づいて、デスクランブル処理手段で元に戻された算術符号データを所定の復号化方式で復号化処理して量子化係数を生成する復号化手段として、復号化部２５を適用するようにした場合について述べたが、本発明はこれに限らず、ヘッダデータに格納されている符号化情報に基づいて、デスクランブル処理手段で元に戻された算術符号データを所定の復号化方式で復号化処理して量子化係数を生成することができれば、この他種々の構成の復号化手段を広く適用することができる。
【０１０７】
さらに、上述の実施の形態においては、フィルタ係数を低域フィルタ及び高域フィルタを用いてフィルタリング処理して画像データを生成する画像データ生成手段として、ウェーブレット逆変換部２７を適用するようにした場合について述べたが、本発明はこれに限らず、フィルタ係数を低域フィルタ及び高域フィルタを用いてフィルタリング処理して画像データを生成することができれば、この他種々の構成の画像データ生成手段を広く適用することができる。
【０１０８】
【発明の効果】
上述のように本発明によれば、画像データに対して低域成分を再帰的にフィルタリングするウェーブレット変換を施すことによりフィルタ係数としてサブバンド単位のウェーブレット係数を生成し、当該生成したウェーブレット係数を量子化して量子化係数を生成し、その量子化係数を所定の符号化方式で符号化処理して算術符号データを生成した後、当該算術符号データの任意のサブバンド単位の特定した部位にスクランブル処理を施すと共に、その算術符号データに基づいて符号化処理に関する所定の符号化情報を生成し、当該生成した符号化情報を格納して生成したヘッダデータにスクランブル処理を施した算術符号データを付加してパケットデータを生成するようにしたことにより、量子化係数を符号化処理した後に、その符号化処理して得られた算術符号データの任意のサブバンド単位の特定した部位にスクランブル処理を施す分、画像データに基づく画像に対し画質の劣化を小さくすることができると共に、量子化係数を符号化したときにデータ量が増加することを防止することができ、かくして、画像データの圧縮率の低下を防止することができる。
【０１０９】
また、本発明によれば、画像データに対して低域成分を再帰的にフィルタリングするウェーブレット変換を施してフィルタ係数として生成されたサブバンド単位のウェーブレット係数が量子化された後、所定の符号化方式で符号化処理されて算術符号データが生成されたときの符号化情報が格納されたヘッダデータに、任意のサブバンド単位の特定した部位にスクランブル処理が施された算術符号データが付加されて生成されたパケットデータから、ヘッダデータと、スクランブル処理された算術符号データとを分離し、当該スクランブル処理が施された算術符号データにデスクランブル処理を施して元の算術符号データに戻すと共に、ヘッダデータに格納されている符号化情報に基づいて、その元に戻された算術符号データを所定の復号化方式で復号化処理して量子化係数を生成し、当該生成した量子化係数を逆量子化してフィルタ係数を生成した後、そのフィルタ係数を低域フィルタ及び高域フィルタを用いてフィルタリング処理して画像データを生成するようにしたことにより、このような構成にすれば、画像データの符号化側では当該構成と可逆的な構成を有することになり、量子化係数を符号化した後、その符号化処理して得られた算術符号データの任意のサブバンド単位の特定した部位にスクランブル処理を施す分、画像データに基づく画像に対し画質の劣化を小さくすることができると共に、量子化係数を符号化したときにデータ量が増加することを防止することができ、かくして、画像データの圧縮率の低下を防止することができる。
【図面の簡単な説明】
【図１】本発明による画像提供システムの構成の一実施の形態を示すブロック図である。
【図２】画像送信装置の回路構成を示すブロック図である。
【図３】画像受信装置の回路構成を示すブロック図である。
【図４】ウェーブレット変換の説明に供する略線図である。
【図５】第１レベルのウェーブレット変換によるサブバンドを示す略線図である。
【図６】第２レベルまでのサブバンドを示す略線図である。
【図７】第２レベルまでのウェーブレット変換によるサブバンドを示す略線図である。
【図８】第３及び第４レベルまでのサブバンドを示す略線図である。
【図９】量子化器における量子化の説明に供する略線図である。
【図１０】符号化部における符号化の説明に供する略線図である。
【図１１】符号化部におけるビットプレーンの生成の説明に供する略線図である。
【図１２】符号化部における絶対値ビットプレーンの走査の説明に供する略線図である。
【図１３】１つのコードブロックに対する各絶対値ビットプレーンの符号化の説明に供する略線図である。
【図１４】スクランブル処理すべき算術符号データの指定の説明に供する略線図である。
【図１５】パケットデータの一部として用いるＲｓｉｃの構成を示す略線図である。
【図１６】デスクランブル処理を施して得られた画像の説明に供する略線図である。
【図１７】第１レベルにスクランブル処理を施した画像の説明に供する略線図である。
【図１８】第４レベルにスクランブル処理を施した画像の説明に供する略線図である。
【図１９】第５レベル及び第６レベルにスクランブル処理を施した画像の説明に供する略線図である。
【図２０】他の実施の形態による画像の任意の部位にスクランブル処理を施す場合の説明に供する略線図である。
【図２１】各コードブロック内の絶対値ビットプレーンを予めパケットデータに対応付けした場合の説明に供する略線図である。
【図２２】他の実施の形態によるパケットデータのレイヤ化の説明に供する略線図である。
【図２３】レイヤによるＳＮＲプログレッシブを実現する場合の説明に供する略線図である。
【図２４】レイヤによる解像度プログレッシブを実現する場合の説明に供する略線図である。
【図２５】パケットデータの一部として用いるＳｃｏｄの説明に供する略線図である。
【符号の説明】
１……画像提供システム、２……画像送信装置、３……画像受信装置、１０……ウェーブレット変換部、１１……量子化部、１２……符号化部、１３……レート制御部、１４……算術符号抽出部、１５……ヘッダ生成部、１６……スクランブル処理部、１７……パケット生成部、２１……パケット解読部、２２……ヘッダ解読部、２３……デスクランブル処理部、２４……算術符号解読部、２５……復号化部、２６……逆量子化部、２７……ウェーブレット逆変換部、ＨＨ１、ＨＨ２、ＨＨ３、ＨＨ４……最高域サブバンド、ＨＬ１、ＨＬ２、ＨＬ３、ＨＬ４……高低域サブバンド、ＬＨ１、ＬＨ２、ＬＨ３、ＬＨ４……低高域サブバンド、ＬＬ１、ＬＬ２、ＬＬ３、ＬＬ４……最低域サブバンド、Ｄ１、Ｄ１３……画素データ、Ｄ２、Ｄ１２……ウェーブレット変換係数、Ｄ３、Ｄ１１……量子化係数、Ｄ４、Ｄ５……算術符号データ、Ｄ６……スクランブルデータ、Ｄ７……ヘッダデータ、Ｄ８……パケットストリーム。
【図１】
0003704644.tif 000002
【図２】
0003704644.tif 000003
【図３】
0003704644.tif 000004
【図４】
0003704644.tif 000005
【図５】
0003704644.tif 000006
【図６】
0003704644.tif 000007
【図７】
0003704644.tif 000008
【図８】
0003704644.tif 000009
【図９】
0003704644.tif 000010
【図１０】
0003704644.tif 000011
【図１１】
0003704644.tif 000012
【図１２】
0003704644.tif 000013
【図１３】
0003704644.tif 000014
【図１４】
0003704644.tif 000015
【図１５】
0003704644.tif 000016
【図１６】
0003704644.tif 000017
【図１７】
0003704644.tif 000018
【図１８】
0003704644.tif 000019
【図１９】
0003704644.tif 000020
【図２０】
0003704644.tif 000021
【図２１】
0003704644.tif 000022
【図２２】
0003704644.tif 000023
【図２３】
0003704644.tif 000024
【図２４】
0003704644.tif 000025
【図２５】
0003704644.tif 000026