(57)【要約】【課題】所望の画質の画像を、より容易に得ることができるようにする。【解決手段】画像符号化装置１００の逆量子化部１２１は、量子化係数を、量子化部１０２による量子化に対応する方法で逆量子化し、ウェーブレット係数を生成する。誤差検出部１２２は、ウェーブレット変換部１０１から出力されるウェーブレット係数と、逆量子化部１２１から供給されるウェーブレット係数とを比較し、それらの間の誤差MSEを算出し、平均２乗誤差PSNRを算出する。コードストリーム生成部１０６は、そのレイヤ毎に算出されるPSNRをコードストリームに付加する。本発明は、例えば、画像処理装置に適用することができる。【選択図】図１
2011239066.tif 000002
【特許請求の範囲】
【請求項１】
符号化される画像データがウェーブレット変換されて得られるウェーブレット係数を量子化して得られる量子化係数であって、位毎のビットプレーンが複数のレイヤに分割された量子化係数を逆量子化する逆量子化手段と、
前記ウェーブレット係数と、前記逆量子化手段により前記量子化係数が逆量子化されて得られるウェーブレット係数との誤差を前記レイヤ毎に算出する誤差算出手段と
を備える画像処理装置。
【請求項２】
前記誤差算出手段は、前記画像データと、前記逆量子化手段により前記量子化係数が逆量子化されて得られるウェーブレット係数がウェーブレット逆変換されて得られるベースバンドの画像データとの誤差を前記レイヤ毎に算出する
請求項１に記載の画像処理装置。
【請求項３】
前記誤差算出手段は、前記誤差を、前記レイヤを構成する解像度レベル毎に算出する
請求項１に記載の画像処理装置。
【請求項４】
前記画像データは、JPEG2000方式により符号化され、
前記誤差算出手段は、前記誤差を、前記レイヤを構成するパケット毎に算出する
請求項１に記載の画像処理装置。
【請求項５】
前記誤差算出手段は、前記ウェーブレット係数の各サブバンドにおいて、全てのコードブロックを、横断的に最上位ビットから最下位ビットに向かう方向、若しくは、最下位ビットから最上位ビットに向かう方向に、レイヤ毎の前記誤差を算出し、さらに、前記ウェーブレット係数全体において、低域のサブバンドから高域のサブバンドに向かう順に、レイヤ毎の前記誤差を算出する
請求項１に記載の画像処理装置。
【請求項６】
前記誤差算出手段により算出されたレイヤ毎の前記誤差を、前記画像データが符号化されて得られるコードストリームに付加する付加手段をさらに備える
請求項１に記載の画像処理装置。
【請求項７】
前記誤差算出手段は、前記誤差として、前記ウェーブレット係数の差分二乗和若しくは差分絶対値和を算出する
請求項１に記載の画像処理装置。
【請求項８】
画像処理装置の画像処理方法であって、
前記画像処理装置の逆量子化手段が、符号化される画像データがウェーブレット変換されて得られるウェーブレット係数を量子化して得られる量子化係数であって、位毎のビットプレーンが複数のレイヤに分割された量子化係数を逆量子化し、
前記画像処理装置の誤差算出手段が、前記ウェーブレット係数と、前記量子化係数が逆量子化されて得られるウェーブレット係数との誤差を前記レイヤ毎に算出する
画像処理方法。
【請求項９】
画像データの画像に対する、前記画像データがウェーブレット変換されて量子化されて得られる量子化係数の位毎のビットプレーンがレイヤ毎に分割されて符号化されたコードストリームを復号して得られる復号画像の誤差の目標値を取得する目標誤差取得手段と、
前記画像データの画像に対する前記復号画像のレイヤ毎の誤差に基づいて、前記コードストリームから、前記目標誤差取得手段により取得される前記誤差の目標値の復号画像に対応するレイヤのコードストリームを抽出する抽出手段と、
前記抽出手段により抽出された前記コードストリームを用いて新たなコードストリームを生成する生成手段と
を備える画像処理装置。
【請求項１０】
前記抽出手段は、前記画像データの画像に対する前記復号画像の、前記レイヤを構成するパケット毎の誤差に基づいて、前記コードストリームから、前記目標誤差取得手段により取得される前記誤差の目標値の復号画像に対応する前記パケットを抽出する
請求項９に記載の画像処理装置。
【請求項１１】
前記抽出手段は、前記画像データの画像に対する前記復号画像の、前記レイヤを構成する解像度レベル毎の誤差に基づいて、前記コードストリームから、前記目標誤差取得手段により取得される前記誤差の目標値の復号画像に対応する前記解像度レベルのコードストリームを抽出する
請求項９に記載の画像処理装置。
【請求項１２】
前記コードストリームから、前記画像データの画像に対する前記復号画像のレイヤ毎の誤差を取得する誤差取得手段をさらに備え、
前記抽出手段は、前記誤差取得手段により取得された、前記画像データの画像に対する前記復号画像のレイヤ毎の誤差に基づいて、前記誤差の目標値の復号画像に対応するコードストリームを抽出する
請求項９に記載の画像処理装置。
【請求項１３】
前記生成手段は、生成した新しいコードストリームに、前記画像データの画像に対する前記コードストリームの復号画像の誤差を付加する
請求項９に記載の画像処理装置。
【請求項１４】
画像処理装置の画像処理方法であって、
前記画像処理装置の目標誤差取得手段が、画像データの画像に対する、前記画像データがウェーブレット変換されて量子化されて得られる量子化係数の位毎のビットプレーンがレイヤ毎に分割されて符号化されたコードストリームを復号して得られる復号画像の誤差の目標値を取得し、
前記画像処理装置の抽出手段が、前記画像データの画像に対する前記復号画像のレイヤ毎の誤差に基づいて、前記コードストリームから、前記誤差の目標値の復号画像に対応するレイヤのコードストリームを抽出し、
前記画像処理装置の生成手段が、抽出された前記コードストリームを用いて新たなコードストリームを生成する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法に関し、特に、所望の画質の画像を、より容易に得ることができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
近年、2000年にISO/IEC（International Organization for Standardization / International Electrotechnical Commission）で標準化されたJPEG2000（Joint Photographic Experts Group 2000）は、高圧縮率、可逆と非可逆圧縮対応、スケラビリティ（解像度・画質など）、並びにエラー耐性等、多くの機能を持った技術として、JPEGの代替技術としての期待が高まっている（例えば、特許文献１参照）。
【０００３】
2004年にはデジタルシネマの標準規格（DCI（Digital Cinema Initiative））によって、標準コーデックとしてJPEG2000 Part-1が選ばれた。これによってデジタルシネマの映像撮影から、画像編集、画像配信まで、すべてJPEG2000で統一することが可能になった。
【０００４】
ところで、デジタルシネマコンテンツについては、ライブイベントや小規模の映画館への２次配信や、インターネットを介した仮想空間やモバイルのユーザへの映像配信等の要求が今後増大すると期待されている。
【０００５】
このような配信を行う場合、一般的に、最初に、デジタルシネマコンテンツをVisually Lossless（主観的にロスレス）の高画質にエンコードしておき、２次配信等に用いる際に、これよりも低ビットレートに変換（トランスコード）する方法が採用される。
【０００６】
JPEG2000には本来スケラビリティの機能を有している。したがってこの解像度や画質のスケラビリティ機能を利用することで、オリジナル画像の解像度を下げたり、画質を下げたりすることが容易に実現可能であった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−３１１３２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、画質の客観的な評価方法は様々な方法が考えられているが、従来の方法の場合、スケラビリティ機能は、解像度やレイヤ等のような、データ構造に関するパラメータについてのものであり、このような評価方法における尺度（客観的評価尺度）に基づいた画質のスケラビリティな設定を実現することができるものではなかった。
【０００９】
例えば、オリジナルの画像の２分の１の解像度の画像の画質が、客観的評価尺度において、オリジナルの画像の画質の２分の１になるとは限らない。また、レイヤを２分の１に低減させたからといってその画像の画質が２分の１になるとも限らない。
【００１０】
つまり、従来の方法では、このような客観的評価尺度により定義される画質についてのスケラビリティ機能を実現するのは困難であった。
【００１１】
より具体的には、例えば、Visually LosslessのJPEG2000画像は50ｄBを超える高画質を維持し、放送用途で２次配信する場合の映像に対しては45ｄBの画質を維持する必要があるものとする。この際に問題になるのは、送信側から上記の高画質の圧縮コードストリームを受信側に伝送した後では、受信側に原画が存在しないので、目標の45ｄBの画像のコードストリームを得るのが困難であることである。
【００１２】
これは、コードストリームの一部を抽出し、それをJPEG2000デコードした画像が何ｄBなのかは原画と比較してみないとわからないからである。
【００１３】
しかしながら、放送用途などのプロフェッショナルユースでは、「最低何ｄBの画質を維持する」という厳格な基準が設定されていることが多く、従来のようなデータ構造に関するスケラビリティ機能のみでは、不都合が生じる恐れがあった。
【００１４】
本発明は、このような状況に鑑みて提案されたものであり、画像データのレイヤと客観的評価尺度での画質とを対応づけることで、客観的評価尺度により定義される画質についてのスケラビリティ機能を実現し、所望の画質の画像を、より容易に得ることができるようにすることを目的とする。
【課題を解決するための手段】
【００１５】
本発明の一側面は、符号化される画像データがウェーブレット変換されて得られるウェーブレット係数を量子化して得られる量子化係数であって、位毎のビットプレーンが複数のレイヤに分割された量子化係数を逆量子化する逆量子化手段と、前記ウェーブレット係数と、前記逆量子化手段により前記量子化係数が逆量子化されて得られるウェーブレット係数との誤差を前記レイヤ毎に算出する誤差算出手段とを備える画像処理装置である。
【００１６】
前記誤差算出手段は、前記画像データと、前記逆量子化手段により前記量子化係数が逆量子化されて得られるウェーブレット係数がウェーブレット逆変換されて得られるベースバンドの画像データとの誤差を前記レイヤ毎に算出することができる。
【００１７】
前記誤差算出手段は、前記誤差を、前記レイヤを構成する解像度レベル毎に算出することができる。
【００１８】
前記画像データは、JPEG2000方式により符号化され、前記誤差算出手段は、前記誤差を、前記レイヤを構成するパケット毎に算出することができる。
【００１９】
前記誤差算出手段は、前記ウェーブレット係数の各サブバンドにおいて、全てのコードブロックを、横断的に最上位ビットから最下位ビットに向かう方向、若しくは、最下位ビットから最上位ビットに向かう方向に、レイヤ毎の前記誤差を算出し、さらに、前記ウェーブレット係数全体において、低域のサブバンドから高域のサブバンドに向かう順に、レイヤ毎の前記誤差を算出することができる。
【００２０】
前記誤差算出手段により算出されたレイヤ毎の前記誤差を、前記画像データが符号化されて得られるコードストリームに付加する付加手段をさらに備えることができる。
【００２１】
前記誤差算出手段は、前記誤差として、前記ウェーブレット係数の差分二乗和若しくは差分絶対値和を算出することができる。
【００２２】
本発明の一側面は、また、画像処理装置の画像処理方法であって、画像処理装置の画像処理方法であって、前記画像処理装置の逆量子化手段が、符号化される画像データがウェーブレット変換されて得られるウェーブレット係数を量子化して得られる量子化係数であって、位毎のビットプレーンが複数のレイヤに分割された量子化係数を逆量子化し、前記画像処理装置の誤差算出手段が、前記ウェーブレット係数と、前記量子化係数が逆量子化されて得られるウェーブレット係数との誤差を前記レイヤ毎に算出する画像処理方法である。
【００２３】
本発明の他の側面は、画像データの画像に対する、前記画像データがウェーブレット変換されて量子化されて得られる量子化係数の位毎のビットプレーンがレイヤ毎に分割されて符号化されたコードストリームを復号して得られる復号画像の誤差の目標値を取得する目標誤差取得手段と、前記画像データの画像に対する前記復号画像のレイヤ毎の誤差に基づいて、前記コードストリームから、前記目標誤差取得手段により取得される前記誤差の目標値の復号画像に対応するレイヤのコードストリームを抽出する抽出手段と、前記抽出手段により抽出された前記コードストリームを用いて新たなコードストリームを生成する生成手段とを備える画像処理装置である。
【００２４】
前記抽出手段は、前記画像データの画像に対する前記復号画像の、前記レイヤを構成するパケット毎の誤差に基づいて、前記コードストリームから、前記目標誤差取得手段により取得される前記誤差の目標値の復号画像に対応する前記パケットを抽出することができる。
【００２５】
前記抽出手段は、前記画像データの画像に対する前記復号画像の、前記レイヤを構成する解像度レベル毎の誤差に基づいて、前記コードストリームから、前記目標誤差取得手段により取得される前記誤差の目標値の復号画像に対応する前記解像度レベルのコードストリームを抽出することができる。
【００２６】
前記コードストリームから、前記画像データの画像に対する前記復号画像のレイヤ毎の誤差を取得する誤差取得手段をさらに備え、前記抽出手段は、前記誤差取得手段により取得された、前記画像データの画像に対する前記復号画像のレイヤ毎の誤差に基づいて、前記誤差の目標値の復号画像に対応するコードストリームを抽出することができる。
【００２７】
前記生成手段は、生成した新しいコードストリームに、前記画像データの画像に対する前記コードストリームの復号画像の誤差を付加することができる。
【００２８】
本発明の他の側面は、また、画像処理装置の画像処理方法であって、前記画像処理装置の目標誤差取得手段が、画像データの画像に対する、前記画像データがウェーブレット変換されて量子化されて得られる量子化係数の位毎のビットプレーンがレイヤ毎に分割されて符号化されたコードストリームを復号して得られる復号画像の誤差の目標値を取得し、前記画像処理装置の抽出手段が、前記画像データの画像に対する前記復号画像のレイヤ毎の誤差に基づいて、前記コードストリームから、前記誤差の目標値の復号画像に対応するレイヤのコードストリームを抽出し、前記画像処理装置の生成手段が、抽出された前記コードストリームを用いて新たなコードストリームを生成する画像処理方法である。
【００２９】
本発明の一側面においては、符号化される画像データがウェーブレット変換されて得られるウェーブレット係数を量子化して得られる量子化係数であって、位毎のビットプレーンが複数のレイヤに分割された量子化係数が逆量子化され、ウェーブレット係数と、量子化係数が逆量子化されて得られるウェーブレット係数との誤差がレイヤ毎に算出される。
【００３０】
本発明の他の側面においては、画像データの画像に対する、画像データがウェーブレット変換されて量子化されて得られる量子化係数の位毎のビットプレーンがレイヤ毎に分割されて符号化されたコードストリームを復号して得られる復号画像の誤差の目標値が取得され、画像データの画像に対する復号画像のレイヤ毎の誤差に基づいて、コードストリームから、誤差の目標値の復号画像に対応するレイヤのコードストリームが抽出され、抽出されたコードストリームを用いて新たなコードストリームが生成される。
【発明の効果】
【００３１】
本発明によれば、画像を処理することができる。特に、所望の画質の画像を、より容易に得ることができる。
【図面の簡単な説明】
【００３２】
【図１】本発明を適用した画像符号化装置の主な構成例を示すブロック図である。
【図２】サブバンドの構成例を示す図である。
【図３】サブバンドの構成例を示す図である。
【図４】各サブバンド中のコードブロックの例を示す図である。
【図５】ビットプレーンの例を説明する図である。
【図６】符号化パスの例を説明する図である。
【図７】係数の走査の例を説明する図である。
【図８】レイヤを説明する図である。
【図９】符号化コードストリームの構成例を説明する図である。
【図１０】復号画像の復元の様子の例を説明する図である。
【図１１】各レイヤへの客観的評価の割り当ての例を説明する図である。
【図１２】客観的評価尺度の埋め込み方法の例を説明する図である。
【図１３】客観的評価尺度の埋め込み方法の他の例を説明する図である。
【図１４】画像符号化処理の流れの例を説明するフローチャートである。
【図１５】符号化処理の流れの例を説明するフローチャートである。
【図１６】本発明を適用した画像変換装置の主な構成例を示すブロック図である。
【図１７】画像変換処理の流れの例を説明するフローチャートである。
【図１８】本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３３】
以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像変換装置）
３．第３の実施の形態（パーソナルコンピュータ）
【００３４】
＜１．第１の実施の形態＞
［画像符号化装置の構成］
図１は、本発明を適用した画像符号化装置の主な構成例を示すブロック図である。
【００３５】
図１に示される画像符号化装置１００は、画像データをJPEG2000（Joint Photographic Experts Group 2000）方式のように、画像データをウェーブレット変換し、得られた係数をコードブロック毎にビットプレーンに展開し、ビットプレーン毎にエントロピ符号化し、コードストリームを生成する。ただし、その際、画像符号化装置１００は、レイヤ毎に画質の客観的評価尺度を求める。
【００３６】
図１に示されるように、画像符号化装置１００は、ウェーブレット変換部１０１、量子化部１０２、コードブロック化部１０３、ビットプレーン展開部１０４、EBCOT（Embedded Block Coding with Optimized Truncation）１０５、およびコードストリーム生成部１０６を有する。
【００３７】
ウェーブレット変換部１０１は、通常、低域フィルタと高域フィルタから構成されるフィルタバンクによって実現される。また、デジタルフィルタは通常複数タップ長のインパルス応答（フィルタ係数）を有するので、ウェーブレット変換部１０１は、フィルタリングが行えるだけの入力画像を予めバッファリングするバッファを有する。
【００３８】
ウェーブレット変換部１０１は、入力された画像データ（矢印１３１）を、フィルタリングに最低限必要なデータ量以上取得する。ウェーブレット変換部１０１は、その画像データに対して、例えば５×３ウェーブレット変換フィルタを用いてフィルタリングを行い、ウェーブレット係数を生成する。なお、ウェーブレット変換部１０１は、画像の垂直方向および水平方向のそれぞれに対して、画像データを低域成分と高域成分に分離するフィルタリングを行う。
【００３９】
そして、ウェーブレット変換部１０１は、このようなフィルタリング処理を、垂直方向および水平方向の両方において低域成分として分離されたサブバンドに対して再帰的に所定回数繰り返す。これは、図２に示されるように、画像のエネルギーの多くが低域成分に集中しているからである。
【００４０】
図２は、サブバンドの構成例を示す図である。図２に示されるように、分割レベル数１の状態においても分割レベル数３の状態においても、画像のエネルギーの多くは、低域成分に集中している。
【００４１】
図３は、分割レベル数４のウェーブレット変換処理により生成されるサブバンドの構成例を示す図である。
【００４２】
この場合、ウェーブレット変換部１０１は、まず、画像全体をフィルタリングし、サブバンド1LL（図示せず）、1HL、1LH、および1HHを生成する。次に、ウェーブレット変換部１０１は、生成されたサブバンド1LLに対して再度フィルタリングを行い、2LL（図示せず）、2HL、2LH、および2HHを生成する。さらに、ウェーブレット変換部１０１は、生成されたサブバンド2LLに対して再度フィルタリングを行い、3LL、3HL、3LH、および3HHを生成する。さらに、ウェーブレット変換部１０１は、生成されたサブバンド3LLに対して再度フィルタリングを行い、4LL、4HL、4LH、および4HHを生成する。
【００４３】
このように、分割レベル数４まで分析フィルタリングが行われると、１３個のサブバンドが生成される。図３に示されるように、分割レベルが１つ上位に進むごとに、サブバンドのサイズは、縦方向および横方向にそれぞれ２分の１となる。
【００４４】
つまり、例えば横方向に１９２０画素の画像のベースバンドの画像データが１回分析フィルタリングされると、横方向に９６０画素のサブバンドが４つ（1LL,1HL,1LH,1HH）生成される。さらに、サブバンド1LLが１回分析フィルタリングされると、横方向に４８０画素のサブバンドが４つ（2LL,2HL,2LH,2HH）が生成される。さらに、サブバンド2LLが１回分析フィルタリングされると、横方向に２４０画素のサブバンドが４つ（3LL,3HL,3LH,3HH）が生成される。さらに、サブバンド3LLが１回分析フィルタリングされると、横方向に１２０画素のサブバンドが４つ（4LL,4HL,4LH,4HH）が生成される。
【００４５】
なお、ウェーブレット変換の分割レベル数は任意である。
【００４６】
図１に戻り、ウェーブレット変換部１０１は、フィルタリングにより得られた係数データ（ウェーブレット係数）を、サブバンド毎に、量子化部１０２に供給する（矢印１３２）。
【００４７】
量子化部１０２は、供給された係数データ（ウェーブレット係数）を量子化する。量子化部１０２は、得られた係数データ（量子化係数）を、コードブロック化部１０３に供給する（矢印１３３）。
【００４８】
コードブロック化部１０３は、供給された各係数データ（量子化された係数データ）を、予め定められた所定の大きさの矩形の、エントロピ符号化の処理単位であるコードブロックに分割する。JPEG2000の規格上の定義によって、コードブロックの縦・横サイズはどのサブバンドにおいても一定である。但し画像（サブバンド）の両端や上端・下端などでは、同じサイズのコードブロックが取れないケースも多々ある。
【００４９】
図４は、各サブバンド中のコードブロックの位置関係の例を示したものである。ここでは分割レベル数３の場合について説明する。例えば64×64画素程度のサイズのコードブロックが、分割後のすべてのサブバンド中に生成される。例えば、最も分割レベルが低い1HHのサブバンドの大きさが例えば640×320画素であるとすると、64×64画素のコードブロックは合計５０個存在することになる。後段の各処理部は、このコードブロック毎に処理を行う。もちろん、このコードブロックのサイズ（画素数）は任意である。
【００５０】
図１に戻り、コードブロック化部１０３は、係数データをコードブロック毎にビットプレーン展開部１０４に供給する（矢印１３４）。
【００５１】
ビットプレーン展開部１０４は、供給されたコードブロック毎の係数データを、ビットの位毎のビットプレーンに展開する。
【００５２】
ビットプレーンは、所定の数のウェーブレット係数よりなる係数群（例えば後述するコードブロック）を、１ビット毎、つまり位毎に分割（スライス）したものである。つまり、ビットプレーンは、それぞれが複数ビットのビット深度を持つ複数のデータの、互いに同一の位のビット（係数ビット）の集合である。したがって、展開されるビットプレーン数は、各係数のビット深度に依存する。
【００５３】
図５にその具体例を示す。図５の左図は縦４個、横４個の計１６個の係数を示している。この１６個の係数のうち、絶対値が最大のものは１３で、２進数で１１０１と表現される。ビットプレーン展開部１０４は、このような係数群を、絶対値を示す４枚のビットプレーン（絶対値のビットプレーン）と、符号を示す１枚のビットプレーン（符号のビットプレーン）に展開する。つまり、図５中左の係数群は、図５中右に示されるように、４枚の絶対値のビットプレーンと１枚の符号のビットプレーンに展開される。ここで、絶対値のビットプレーンの要素はすべて０か１の値をとる。また、符号を示すビットプレーンの要素は、係数の値が正であることを示す値、係数の値が０であることを示す値、または係数の値がマイナスを示す値のいずれかをとる。
【００５４】
なお、このようにビットプレーンとされる係数群における係数の数は任意である。以下においては、処理単位を統一することで各部における処理を容易にするために、ビットプレーン展開部１０４が、係数をコードブロック毎にビットプレーン展開するものとして説明する。
【００５５】
また、詳細については後述するが、ビットプレーン展開部１０４は、ビットプレーンに展開した係数を、所定の位で区切ることにより、複数のレイヤにレイヤ化する。つまり、各レイヤは、１つ若しくは連続する複数の位のビットプレーンにより構成される。
【００５６】
図１に戻り、ビットプレーン展開部１０４は、このように展開したビットプレーンを、係数の最上位ビット（MSB：Most Significant Bit）から最下位ビット（LSB：Less Significant Bit）に向かう順に（例えばレイヤ毎に）、EBCOT１０５に供給する。つまり、ビットプレーン展開部１０４は、ビット深度の上位側から下位側に向かう順に（例えばレイヤ毎に）、展開したビットプレーンをEBCOT１０５に供給する（矢印１３５）。
【００５７】
EBCOT１０５は、所定の大きさのブロック毎にそのブロック内の係数の統計量を測定しながら符号化を行う。EBCOT１０５は、係数データ（量子化係数）をコードブロック単位に、エントロピ符号化する。各コードブロックは、最上位ビット（MSB）から最下位ビット（LSB）方向にビットプレーン毎に独立して符号化される。コードブロックの縦横のサイズは４から256までの２のべき乗で、通常使用される大きさは、32x32、64x64、または128x32等がある。量子化係数値がｎビットの符号付き２進数で表されていて、bit 0からbit n-1がLSBからMSBまでのそれぞれのビットを表すとする。残りの１ビットは符号である。コードブロックの符号化は、MSB側のビットプレーンから順番に、次の３種類の符号化パスによって行われる。
【００５８】
（１）Significant Propagation Pass
（２）Magnitude Refinement Pass
（３）Cleanup Pass
【００５９】
３つの符号化パスの用いられる順序は、図６で示される。最初にBit-plane（n-1）（MSB）がCleanup Passによって符号化される。続いて順次LSB側に向かい、各ビットプレーンの符号化が、３つの符号化パスをSignificant Propagation Pass、Magnitude Refinement Pass、Cleanup Passの順序で用いて行われる。
【００６０】
ただし、実際にはMSB側から何番目のビットプレーンで初めて１が出てくるかをヘッダに書き、MSB側から連続するオール０のビットプレーン（ゼロビットプレーンと呼ぶ）は符号化しない。この順序で３種類の符号化パスを繰返し用いて符号化し、任意のビットプレーンの、任意の符号化パス迄で符号化を打ち切ることにより、符号量と画質のトレードオフを取る（レート制御を行う）。
【００６１】
次に、係数の走査（スキャニング）について図７を用いて説明する。コードブロックは高さ４個の係数毎にストライプ（stripe）に分けられる。ストライプの幅はコードブロックの幅に等しい。スキャン順とは、１個のコードブロック内の、すべての係数をたどる順番で、コードブロック中では上のストライプから下のストライプへの順序、ストライプの中では、左の列から右の列へ向かっての順序、列の中では上から下へという順序である。各符号化パスにおいてコードブロック中のすべての係数が、このスキャン順で処理される。
【００６２】
以下、３つの符号化パスについて述べる。以下はいずれもJPEG-2000規格書（参考文献：ISO/IEC 15444-1, Information technology-JPEG 2000, Part 1:Core coding system）に記述されている内容である。
【００６３】
（１）Significance Propagation Pass（SPパス）：
あるビットプレーンを符号化するSignificance Propagation Passでは、８近傍の少なくとも１つの係数が有意（significant）であるようなnon-significant係数のビットプレーンの値を算術符号化する。その符号化したビットプレーンの値が１である場合は、符号が＋であるか、−であるかを続けてMQ符号化する。
【００６４】
ここでsignificanceというJPEG2000特有の用語について説明する。significanceとは、各係数に対して符号化器が持つ状態で、significanceの初期値はnon-significantを表す０、その係数で１が符号化されたときにsignificantを表す１に変化し、以降常に１であり続けるものである。従って、significanceとは有効桁の情報を既に符号化したか否かを示すフラグとも言える。あるビットプレーンでsignificantになれば、以降のビットプレーンではsignificantになったままである。
【００６５】
（２）Magnitude Refinement Pass（MRパス）：
ビットプレーンを符号化するMagnitude Refinement Passでは、ビットプレーンを符号化する Significance Propagation Passで、且つ符号化していないsignificantな係数のビットプレーンの値をMQ符号化する。
【００６６】
（３）Cleanup Pass（CUパス）：
ビットプレーンを符号化するCleanup Passでは、ビットプレーンを符号化するSignificance Passで、且つ符号化していないnon-significantな係数のビットプレーンの値をMQ符号化する。その符号化したビットプレーンの値が１である場合は符号が＋であるか−であるか（Sign情報）を続けてMQ符号化する。
【００６７】
尚、以上の３つの符号化パスでのMQ符号化では、ケースに応じて、ZC（Zero Coding）、RLC（Run-Length Coding）、SC（Sign Coding）、およびMR（Magnitude Refinement）が使い分けられる。ここでMQ符号化と呼ばれる算術符号が用いられる。MQ符号化は、JBIG2（参考文献：ISO/IEC FDIS 14492, “Lossy/Lossless Coding of Bi-level Images”, March 2000）で規定された学習型の２値算術符号である。
【００６８】
図１に示されるように、EBCOT１０５は、ビットモデリングを行うビットモデリング部１１１と、算術符号化を行う算術符号化部１１２とを有する。ビットモデリング部１１１は、ビットモデリングを行うと、制御情報、シンボル、およびコンテキスト等の情報を算術符号化部１１２に供給する（矢印１３６）。算術符号化部１１２は、供給されたデータ群を用いて例えばMQ符号化等の算術符号化を行う。算術符号化部１１２は、算術符号化により生成された符号化データをコードストリーム生成部１０６に供給する（矢印１３７）。
【００６９】
ところで、画像符号化装置１００は、さらに逆量子化部１２１および誤差検出部１２２を有する。逆量子化部１２１は、ビットプレーン展開部１０４からレイヤ（ビットプレーン）毎に出力される係数（量子化係数）を、量子化部１０２による量子化に対応する方法で逆量子化し、ウェーブレット係数を生成する。逆量子化部１２１は、生成したウェーブレット係数を誤差検出部１２２に供給する（矢印１３８）。
【００７０】
誤差検出部１２２は、ウェーブレット変換部１０１から出力されるウェーブレット係数と、逆量子化部１２１から供給されるウェーブレット係数とを比較し、それらの間の誤差MSE（Mean Square Error）（Coeff）を算出する。MSE（Coeff）は、例えば以下の式（１）のように算出される。
【００７１】
【数１】
2011239066.tif 000003
・・・（１）
r：解像度レベル（r=1,…,Nr）
b：サブバンド（LL, LH, HL, HHのいずれか）
Coeff_1(u,v)：ウェーブレット変換部１０１から出力されるウェーブレット係数（矢印１３２）
Coeff_2(u,v)：逆量子化部１２１から出力されるウェーブレット係数（矢印１３８）
Ur,b：水平方向のウェーブレット係数の個数
Vr,b：垂直方向のウェーブレット係数の個数
U：水平方向のウェーブレット係数の総数
V：垂直方向のウェーブレット係数の総数
【００７２】
また、誤差検出部１２２は、算出したMSEを用いて、本来の信号とその信号に含まれるノイズ成分との比を示すPSNR（Peak Signal-to-Noise Ratio）を算出する。このPSNRは、画質を表す客観的評価尺度であり、ウェーブレット係数同士の差分二乗和（平均二乗誤差）である。PSNRは、例えば、以下の式（２）に示されるように算出される。
【００７３】
【数２】
2011239066.tif 000004
・・・（２）
【００７４】
なお、上述したMSEおよびPSNRの算出方法は、コードブロックの全ビットプレーンの値を用いた場合である。上述したように係数がレイヤ化される場合、誤差検出部１２２は、例えば、MSE（Layer1），MSE（Layer-2），・・・，MSE（Layer-N）の様に、レイヤ数の分だけMSEを算出し、各MSEについてPSNRを算出すればよい。その際、誤差検出部１２２は、ウェーブレット変換部１０１より供給されるウェーブレット係数を、ビットプレーン展開部１０４が行うレイヤ化と同じ方法で（逆量子化部１２１から供給されるレイヤ化されたウェーブレット係数と同じ位で区切るように）レイヤ化する。
【００７５】
誤差検出部１２２は、算出したPSNRをコードストリーム生成部１０６に供給する（矢印１３９）。
【００７６】
ここでレイヤとパケットの関係について図８を用いて説明する。図８は、画像を３回ウェーブレット変換して１０個のサブバンド、４つの解像度レベルが生成され、且つビットプレーン方向にＮ個のレイヤに分割された例を示している。この場合、１レイヤ当たり４個のパケットが存在するので、合計（Ｎ×４）個のパケットが生成されることになる。
【００７７】
図９は、Layer-Resolution TypeのJPEG2000コードストリームのパケット構成を示している。このタイプでは、最初の上位階層にレイヤ（Layer）があり、次の階層に解像度（Resolution）が存在する。
【００７８】
従ってこのコードストリームを先頭から順番にデコードすると図１０の様な画像を復元することができる。図９に示されるように、Layer-1のパケット群にはResolution番号０からＮまでのすべての解像度のパケットが包含されている。従って、このLayer-1の各パケットが復号されると、図１０に示される画像１６１のように、原画像と同じ解像度の画像が、最初のレイヤのみ復元される。Layer-2の各パケットがさらに復号されると、図１０に示される画像１６２のように、原画像と同じ解像度の画像が、２番目のレイヤまで復元される。この画像１６２には、画像１６１のデータが全て含まれる。したがって、画像１６２は、画像１６１よりも高画質である。
【００７９】
同様に、Layer-3の各パケットがさらに復号されると、図１０に示される画像１６３のように、原画像と同じ解像度の画像が、３番目のレイヤまで復元される。この画像１６３には、画像１６２のデータが全て含まれる。したがって、画像１６３は、画像１６２よりも高画質である。
【００８０】
以上のように各レイヤのパケットが復号され、さらに最上位レイヤであるLayer-Lの各パケットが復号されると（つまり全ての係数が復号されると）、図１０に示される画像１６４のように、原画像と同じ解像度および画質の画像が復元される。この画像１６４には、画像１６３のデータが全て含まれる。したがって、画像１６４は、画像１６３よりも高画質である。
【００８１】
以上の様に、レイヤ化されたコードストリームを順番に並べることで画質のスケラビリティを実現することができる。本発明では、レイヤに上記のMSEやPSNRの客観的評価尺度を導入して、レイヤによる画質の制御を客観的評価尺度によって実現することを目的とする。
【００８２】
図１１は、輝度成分（Ｙ）のビットプレーンのレイヤ毎に、客観的評価尺度の画質（PSNR）が変化する様子を示す。
【００８３】
例えばLSBからMSBの順番にエンコード対象のビットプレーンを増やし、図１１の矢印１７３に示されるように、レイヤ３までのビットプレーンを符号化対象とすると、その符号化データより得られる復号画像の画質は、符号化前の元の画質を基準として例えば40ｄBの画質が得られる。
【００８４】
さらに、図１１の矢印１７２に示されるように、レイヤ２までのビットプレーンを符号化対象とすると、その符号化データより得られる復号画像の画質は、符号化前の元の画質を基準として例えば45ｄBの画質が得られる。
【００８５】
さらに、図１１の矢印１７１に示されるように、レイヤ１までのビットプレーンを符号化対象とすると、その符号化データより得られる復号画像の画質は、符号化前の元の画質を基準として例えば50ｄBの画質が得られる。
【００８６】
したがって、誤差検出部１２２は、輝度コンポーネント中のすべてのサブバンド（Y-0LLからY-5HHまで）中のコードブロックのビットプレーンを、MSBからLSB方向、またはLSBからMSB方向に横断的にPSNRを算出すれば良い。
【００８７】
以上の様に、PSNR[dB]をレイヤ毎に求めることよって、復号画像のレイヤ毎の客観的評価尺度に基づく画質が明らかとなる。つまり、このようなレイヤ毎のPSNRに基づいてレイヤを選択することにより、客観的評価尺度に基づく所望の画質の画像を得ることが容易に可能になる。
【００８８】
例えば、デコーダの場合、客観的評価尺度に基づいて復号するレイヤを選択することにより所望の画質の画像を容易に得ることができる。また、例えば、トランスコーダの場合、客観的評価尺度に基づいてコードストリームからレイヤを抽出することにより、所望の画質の画像が得られるコードストリームを容易に生成することができる。
【００８９】
また、例えば、コードストリームを変換するトランスコーダは、そのコードストリームに記述されたレイヤ毎のPSNRに基づいて、所望の画質の画像を復号するのに必要なレイヤを容易に把握することができる。すなわち、容易に、客観的評価尺度に基づく所望の画質の画像が得られるコードストリームを元のコードストリームから抽出することができる。
【００９０】
図１に戻り、コードストリーム生成部１０６は、EBCOT部１０５（算術符号化部１１２）から供給された符号化データを用いてコードストリームを生成する。その際、コードストリーム生成部１０６は、コードストリームの、例えばパケットヘッダ等、任意の位置に誤差検出部１２２から供給されたPSNRを付加情報として記述する。
【００９１】
コードストリーム生成部１０６は生成したコードストリームを出力する（矢印１４０）。このように出力されたコードストリームは、例えばデコーダやトランスコーダ等に供給される。
【００９２】
なお、このPSNRは、コードストリームとは別の情報としてデコーダやトランスコーダ等に提供されるようにしてもよい、
【００９３】
また、以上においてはPSNRがレイヤ毎に生成されるように説明したが、図８に示される様に、１つのレイヤは複数個のパケットから構成される。したがって、PSNRがレイヤ内部のパケット毎に算出されるようにしても良い。なお、PSNRがレイヤ内部のパケット毎にPSNR算出される場合の方が、レイヤ毎に算出される場合よりも、細かい画質制御が可能になることは言うまでもない。
【００９４】
ところでJPEG2000規格の場合、上述したレイヤ数は、メインヘッダ内のCODマーカセグメント中のSGcodによって定義される。つまり、画像符号化装置１００は、このSGcodにレイヤ数を記述すればよい。このようにすることにより、デコーダは、このSGcodのパラメータ値を解読することで、レイヤ数を知ることができる。
【００９５】
また、デジタルシネマの制作プロダクションでは、原画を最初にJPEG2000でエンコードする際に何dB毎にレイヤを切っておくかの情報は、予めアプリケーションやユースケースで決まっていることが多いので、それらのデータをそのまま使えば良い。例えば、マスタ画像は50ｄB、2次配信用（TV放送用）は40ｄB、モバイル配信用は30ｄB等である。
【００９６】
従ってアプリケーションが予め決まっている場合、コードストリーム生成部１０６は、レイヤ毎のPSNR値をコードストリーム内に埋め込む必要はない。それ以外の場合には、例えばパケットヘッダの後段にPSNR値を追加すれば良い。パケットヘッダの中身は任意であるが、例えばJPEG2000規格においては、以下のようなデータを包含するように定義されている。
【００９７】
・Zero length packet
・Code-block inclusion
・Zero bit-plane information
・Number of coding passes
・Length of the code-block compressed image data from a given code block
【００９８】
したがってコードストリーム生成部１０６は、これらのデータに加えて、さらにPSNRのデータをパケットヘッダに包含させればよい。
【００９９】
図１２は、PSNR値の記述例を示す図である。ここでPacket（x,y）はレイヤ番号がx（０乃至Ｎ）で、解像度レベルがｙ（０乃至Ｒ）のパケットを示している。Layer-0に割り当てられたPSNR（T0[dB]）は、Layer-0の最後のパケットのPacket（0,R）のヘッダに記述される。同様にして、Layer-1のPSNR（T1[dB]）は、Layer-1の最後のパケットのPacket（1,R）のヘッダに記述される。
【０１００】
同様に、各レイヤの最後のパケットのヘッダに、そのレイヤのPSNRが記述され、最終レイヤであるLayer-NのPSNR（TN[dB]）は、Layer-Nの最後のパケットのPacket（N,R）のヘッダに記述される。
【０１０１】
これに対して、既に述べた様に、レイヤ内のパケット毎や解像度レベル毎に、そのヘッダに対してPSNRを記述することも可能である。図１３にその様子の例を示す。最初にLayer-0の最初のパケットPacket（0,0）のヘッダには、パケットPacket（0,0）のPSNRであるＴ（0,0）[dB]の値が記述される。同様にして同じレイヤ内の各パケットヘッダに、各パケットのPSNRが記述される。例えば、Layer-0の最後のパケットPacket（0,R）には、Ｔ（0,R）[dB]が記述される。
【０１０２】
Layer-1の場合も同様にして最初のパケットPacket(1,0)のヘッダにはＴ（1,0）[dB]の値が記述される。同様にして各パケットヘッダにPSNRが記述され、最後のパケットPacket（1,R）にはＴ（1,R）[dB]が記述される。
【０１０３】
各レイヤについて同様にPSNRがパケットヘッダに記述される。最終レイヤであるLayer-Nの最後のパケットのPacket(N,R)のヘッダには、Ｔ（N,R）[dB]が記述される。
【０１０４】
［処理の流れ］
次に、各処理の流れについて説明する。最初に、画像符号化装置１００により実行される画像符号化処理の流れの例を図１４のフローチャートを参照して説明する。
【０１０５】
画像符号化処理が開始されると、画像符号化装置１００の各部は、ステップＳ１０1において、符号化のレイヤ数（Ｎ）と解像度レベル数（Ｒ）を設定する。ステップＳ１０２において、画像符号化装置１００の各部は、ステップＳ１０１において設定されたレイヤ数および解像度レベル数で符号化処理を実行する。
【０１０６】
ステップＳ１０３において、逆量子化部１２１は、ビットプレーン展開された係数を逆量子化し、誤差検出部１２２は、その逆量子化されて得られたウェーブレット係数と、量子化前のウェーブレット係数とを比較し、レイヤ番号ＬのMSEを算出し、そのMSEを用いてレイヤ番号ＬのPSNRを算出する。
【０１０７】
ステップＳ１０４において、コードストリーム生成部１０６は、ステップＳ１０４の処理により算出されたレイヤ番号ＬのPSNRを、ステップＳ１０２の処理により生成されたコードストリームに付加する。例えば、コードストリーム生成部１０６は、算出したレイヤ番号ＬのPSNRをレイヤの最後のパケットヘッダに記述する。ステップＳ１０５において、コードストリーム生成部１０６は、コードストリームを出力する。
【０１０８】
誤差検出部１２２は、ステップＳ１０６において、最後のレイヤであるか否かを判定し、未処理のレイヤが存在すると判定された場合、処理をステップＳ１０７に進め、処理対象を次のレイヤに更新する（Ｌ＝Ｌ＋１）。ステップＳ１０７の処理が終了すると、誤差検出部１２２は、処理をステップＳ１０３に戻し、新たなレイヤについてそれ以降の処理を繰り返す。
【０１０９】
ステップＳ１０３乃至ステップＳ１０７の処理が繰り返し実行され、ステップＳ１０６において、最後のレイヤが処理されたと判定された場合、誤差検出部１２２は、画像符号化処理を終了する。
【０１１０】
動画像を符号化する場合、画像符号化装置１００は、このような画像符号化処理をピクチャ毎に繰り返す。
【０１１１】
次に、図１４のステップＳ１０２において実行される符号化処理の流れの例を図１５のフローチャートを参照して説明する。
【０１１２】
符号化処理が開始されると、ウェーブレット変換部１０１は、ステップＳ１２１において、１ピクチャ分の画像データをウェーブレット変換する。ステップＳ１２２において、量子化部１０２は、ステップＳ１２１において生成された係数データを量子化する。
【０１１３】
ステップＳ１２３において、コードブロック化部１０３は、係数データをコードブロック化する。ステップＳ１２４において、ビットプレーン展開部１０４は、各コードブロックの係数データをビットプレーン展開し、レイヤ化する。
【０１１４】
ステップＳ１２５において、EBCOT部１０５のビットモデリング部１１１は、ビットモデリング処理を実行する。ステップＳ１２６において、EBCOT部１０５の算術符号化部１１２は、算術符号化処理（例えばMQ符号化）を行う。
【０１１５】
ステップＳ１２７において、コードストリーム生成部１０６は、ステップＳ１２６の処理により生成された符号化データを整列したり、ヘッダ情報を付加したりしてコードストリームを生成する。
【０１１６】
コードストリームを生成すると、コードストリーム生成部１０６は、符号化処理を終了し、図１４のステップＳ１０２に処理を戻し、ステップＳ１０３以降の処理を実行させる。
【０１１７】
以上のように、各処理を実行することにより、画像符号化装置１００は、客観的評価尺度に基づく所望の画質の画像を、より容易に得ることができるようにすることができる。
【０１１８】
例えば、画像符号化装置１００は、「トランスコードにより、最低何ｄBの画質を維持する画像が得られるコードストリームを生成する」といったことが容易なコードストリームを生成することができる。したがって、トランスコーダは、画像符号化装置１００により生成されたコードストリームから、画像データの２次配信等に適したコードストリームを容易に生成することができる。
【０１１９】
なお、以上においては、画像符号化装置１００の誤差検出部１２２は、ウェーブレット係数を比較することによりPSNRを算出するように説明したが、これ以外にも、誤差検出部１２２が、ベースバンドの画像データを比較してPSNRを算出するようにしてもよい。その場合、画像符号化装置１００は、逆量子化部１２１から出力されるウェーブレット係数を、ウェーブレット変換部１０１に対応する方法でウェーブレット逆変換するウェーブレット逆変換部をさらに有する。そして、誤差検出部１２２は、入力される画像データ（矢印１３１）と、ウェーブレット逆変換部により逆量子化部１２１から出力されるウェーブレット係数がウェーブレット逆変換されて得られるベースバンドの画像データとを比較し、PSNRを算出する。PSNRの算出方法は、上述したウェーブレット係数を比較する場合と同様の方法で実現可能である。
【０１２０】
＜２．第２の実施の形態＞
［画像変換装置の構成例］
次に、以上のように生成されたコードストリームを、客観的評価尺度に基づく所望の画質の画像が得られるコードストリームに変換することができる画像変換装置について説明する。
【０１２１】
図１６は、本発明を適用した画像変換装置の主な構成例を示すブロック図である。
【０１２２】
図１６に示される画像変換装置２００は、入力されたコードストリームを解読し、そのコードストリームから、所望のPSNRの画像を得るのに必要なデータを抽出し、抽出したデータを用いて新たなコードストリームを生成する装置である。図１６に示されるように、画像変換装置２００は、コードストリーム解読部２０１、誤差検出部２０２、抽出部２０３、およびコードストリーム生成部２０４を有する。
【０１２３】
コードストリーム解読部２０１は、入力されたコードストリーム（矢印２２１）を解読し、ヘッダ情報等を抽出する。コードストリーム解読部２０１は、解読されたコードストリーム（コードストリームおよび抽出されたヘッダ情報等）を誤差検出部２０２に供給する（矢印２２２）。
【０１２４】
誤差検出部２０２は、そのコードストリームから抽出されたヘッダ情報等に含まれるレイヤ毎のPSNRを検出し、その検出結果をコードストリームとともに抽出部２０３に供給する（矢印２２３）。
【０１２５】
抽出部２０３は、例えば外部より目標とするPSNRである目標PSNR（PSNR_G）を取得する（矢印２２４）。この目標PSNRは、どのように定められたものであってもよい。例えば、ユーザにより指定されたものであってもよいし、アプリケーション等により設定されたものであってもよい。
【０１２６】
誤差検出部２０２により検出されたレイヤ毎のPSNRに基づいて、コードストリームから、その目標PSNRの画像を得るのに必要な部分を抽出する。抽出部２０３は、抽出した符号化データをコードストリーム生成部２０４に供給する（矢印２２５）。
【０１２７】
コードストリーム生成部２０４は、供給された符号化データを整列し、ヘッダ情報等を適宜付加することにより、新たなコードストリームを生成する。このコードストリームから得られる復号画像のPSNRは、目標PSNRである。
【０１２８】
コードストリーム生成部２０４は、生成したコードストリームを出力する（矢印２２６）。
【０１２９】
［処理の流れ］
次に、この画像変換装置２００により実行される画像変換処理の流れの例を図１７のフローチャートを参照して説明する。
【０１３０】
画像変換処理が開始されると、画像変換装置２００のコードストリーム解読部２０１は、ステップＳ２０１において、入力されたコードストリームを解読する。ステップＳ２０２において、誤差検出部２０２は、コードストリームからレイヤ毎のPSNRを抽出する。
【０１３１】
ステップＳ２０３において、抽出部２０３は、目標PSNR（PSNR_G）を取得する。ステップＳ２０４において、抽出部２０３は、目標PSNRより値が大きなPSNRの中で、目標PSNRに最も値が近いPSNRのレイヤを特定する。
【０１３２】
ステップＳ２０５において、抽出部２０３は、ステップＳ２０４において特定したレイヤまでのコードストリームを抽出する。ステップＳ２０６において、コードストリーム生成部２０４は、ステップＳ２０５において抽出されたコードストリームを用いて新たなコードストリームを生成し、そのコードストリームを変換処理結果として出力する。
【０１３３】
ステップＳ２０６の処理が終了すると、コードストリーム生成部２０４は、画像変換処理を終了する。
【０１３４】
動画像の場合、画像変換装置２００は、以上の画像変換処理をピクチャ毎に繰り返す。
【０１３５】
以上のように、画像変換装置２００は、コードストリームに含まれるレイヤ毎のPSNRに基づいて、客観的評価尺度に基づく所望の画質の画像をより容易に得ることができるコードストリームに変換することができる。
【０１３６】
なお、以上においては、画像変換装置２００が、目標PSNRを保証するようにトランスコードを行うように説明したが、使用目的等の条件によっては、必ずしも目標PSNRを厳密に保証する必要はない。つまり、画像変換装置２００が、目標PSNRより低いPSNRの復号画像が得られるコードストリームを生成するようにしてもよい。例えば、抽出部２０３が、コードストリームから目標PSNRに最も近いPSNR（目標PSNRより低くてもよい）のレイヤを抽出するようにしてもよい。
【０１３７】
また、レイヤ毎のPSNRがコードストリームとは別に供給される場合、誤差検出部２０２は、コードストリームの他に、さらに、そのレイヤ毎のPSNRを取得すればよい。さらに、PSNRがパケット毎や解像度レベルに指定されるものであってもよい。その場合、誤差検出部２０２は、パケット単位または解像度レベル単位で抽出するデータを制御することができる。
【０１３８】
また、画像変換装置２００は、変換の度に変換後のPSNRを、変換処理の履歴としてコードストリームに付加するようにしてもよい。このようにすることにより、例えば複数回変換処理が行われたコードストリームを処理する装置が、その履歴を参照することにより、どのような変換処理が行われてきたかを容易に把握することができる。
【０１３９】
なお、画像符号化装置１００が生成したコードストリームを復号するデコーダは、上述した画像変換装置２００の抽出部２０３により抽出されたコードストリームを画像符号化装置１００の符号化方法に対応する復号方法で復号することにより、客観的評価尺度に基づく所望の画質の復号画像を、より容易に得ることができる。
【０１４０】
なお、以上においては、客観的評価尺度としてPSNRを用いて説明したが、この客観的評価尺度は任意であり、PSNR以外であってもよい。例えば、差分絶対値和やSSIM（Structural SIMilarity）を用いるようにしてもよい。
【０１４１】
＜３．第３の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図１８に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０１４２】
図１８において、パーソナルコンピュータ３００のCPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２に記憶されているプログラム、または記憶部３１３からRAM（Random Access Memory）３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１４３】
CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３１０も接続されている。
【０１４４】
入出力インタフェース３１０には、キーボード、マウスなどよりなる入力部３１１、CRT（Cathode Ray Tube）ディスプレイやLCD（Liquid Crystal Display）等のディスプレイ、並びにスピーカなどよりなる出力部３１２、フラッシュメモリ等SSD（Solid State Drive）やハードディスクなどよりなる記憶部３１３、有線LAN（Local Area Network）や無線LANのインタフェースやモデムなどよりなる通信部３１４が接続されている。通信部３１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０１４５】
入出力インタフェース３１０にはまた、必要に応じてドライブ３１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１３にインストールされる。
【０１４６】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１４７】
この記録媒体は、例えば、図１８に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア３２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM３０２や、記憶部３１３に含まれるハードディスクなどにより構成される。
【０１４８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４９】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５０】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０１５１】
また、以上において、１つの装置（または処理部）として説明した構成が、複数の装置（または処理部）として構成されるようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成が、まとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成が付加されるようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部が他の装置（または他の処理部）の構成に含まれるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５２】
本発明は、例えば、デジタルシネマ用編集装置、アーカイブシステム、放送局の画像伝送装置、画像データベース、医用画像の記録システム、ネットワークサーバ、インターネット上の画像伝送装置、無線伝送装置、映画館からの２次映像配信装置、ノンリニア編集装置、ゲーム機、テレビ受像機システム、HDDレコーダ、PC上のオーサリング・ツールまたはそのソフトウェア・モジュール等に適用することができる。
【符号の説明】
【０１５３】
１００  画像符号化装置，  １０１  ウェーブレット変換部，  １０２  量子化部，  １０３  コードブロック化部，  １０４  ビットプレーン展開部，  １０５  EBCOT部，  １０６  コードストリーム生成部，  １１１  ビットモデリング部，  １１２  算術符号化部，  ２００  画像変換装置，  ２０１  コードストリーム解読部，  ２０２  誤差検出部，  ２０３  抽出部，  ２０４  コードストリーム生成部
【図１】
2011239066.tif 000005
【図２】
2011239066.tif 000006
【図３】
2011239066.tif 000007
【図４】
2011239066.tif 000008
【図５】
2011239066.tif 000009
【図６】
2011239066.tif 000010
【図７】
2011239066.tif 000011
【図８】
2011239066.tif 000012
【図９】
2011239066.tif 000013
【図１０】
2011239066.tif 000014
【図１１】
2011239066.tif 000015
【図１２】
2011239066.tif 000016
【図１３】
2011239066.tif 000017
【図１４】
2011239066.tif 000018
【図１５】
2011239066.tif 000019
【図１６】
2011239066.tif 000020
【図１７】
2011239066.tif 000021
【図１８】
2011239066.tif 000022