(57)【要約】【課題】本発明は、多バンド映像信号を符号化するときに、スケーラビリティ機能を持たせることができるようにすることを目的とする。【解決手段】処理対象となるＮバンド映像信号を、線形変換を使って、３バンドの可視信号とＮ−３バンドの不可視信号とに分離して、その分離した可視信号を変換する（例えば、均等色空間に非線形変換する）とともに、その分離した不可視信号を主成分変換する。そして、主成分変換後の不可視信号の内、寄与度の低いバンドを符号化対象から外して、変換後の可視信号と符号化対象の不可視信号とを独立の形態で符号化しつつ、それらの各信号のモノクロ画像を符号化して、その符号化結果を多重化する。可視信号と不可視信号の符号量を自由に変更できるようにする構成を採ることから、様々な符号化モードを選択できるようになることで、スケーラビリティ機能を持たせることができるようになる。【選択図】          図１
2004159045.tif 000002
【特許請求の範囲】
【請求項１】
３バンドより多数のＮバンドを持つＮバンド映像信号を符号化する多バンド映像信号符号化方法であって、
Ｎバンド映像信号を、線形変換を使って、３バンドの可視信号とＮ−３バンドの不可視信号とに分離する過程と、
上記可視信号を変換する過程と、
上記不可視信号を主成分変換する過程と、
上記主成分変換後の不可視信号の内、指定される寄与度閾値より低い寄与度を持つバンドを符号化対象から外すことで、符号化対象となるものを特定する過程と、
上記変換後の可視信号と上記符号化対象の不可視信号とを独立の形態で符号化しつつ、それらの各信号のモノクロ画像を符号化する過程と、
上記符号化の結果を多重化する過程とを備えることを、
特徴とする多バンド映像信号符号化方法。
【請求項２】
請求項１に記載の多バンド映像信号符号化方法において、
上記可視信号を変換する過程では、上記可視信号を均等色空間に非線形変換することを、
特徴とする多バンド映像信号符号化方法。
【請求項３】
請求項１又は２に記載の多バンド映像信号符号化方法において、
上記モノクロ画像の符号化に先立って、上記モノクロ画像の解像度を独立の形態で低減させる過程を備えることを、
特徴とする多バンド映像信号符号化方法。
【請求項４】
３バンドより多数のＮバンドを持つＮバンド映像信号を符号化する多バンド映像信号符号化装置であって、
Ｎバンド映像信号を、線形変換を使って、３バンドの可視信号とＮ−３バンドの不可視信号とに分離する手段と、
上記可視信号を変換する手段と、
上記不可視信号を主成分変換する手段と、
上記主成分変換後の不可視信号の内、指定される寄与度閾値より低い寄与度を持つバンドを符号化対象から外すことで、符号化対象となるものを特定する手段と、
上記変換後の可視信号と上記符号化対象の不可視信号とに対応付けて設けられて、それらの各信号のモノクロ画像を独立に符号化する手段と、
上記符号化の結果を多重化する手段とを備えることを、
特徴とする多バンド映像信号符号化装置。
【請求項５】
請求項４に記載の多バンド映像信号符号化装置において、
上記可視信号を変換する手段は、上記可視信号を均等色空間に非線形変換することを、
特徴とする多バンド映像信号符号化装置。
【請求項６】
請求項４又は５に記載の多バンド映像信号符号化装置において、
上記モノクロ画像を符号化する手段に対応付けて設けられて、上記モノクロ画像の符号化に先立って、上記モノクロ画像の解像度を独立に低減させる手段を備えることを、
特徴とする多バンド映像信号符号化装置。
【請求項７】
請求項１ないし３のいずれか１項に記載の多バンド映像信号符号化方法の実現に用いられる処理をコンピュータに実行させるための多バンド映像信号符号化プログラム。
【請求項８】
請求項１ないし３のいずれか１項に記載の多バンド映像信号符号化方法の実現に用いられる処理をコンピュータに実行させるための多バンド映像信号符号化プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３バンドより多数のＮバンドを持つＮバンド映像信号を符号化する多バンド映像信号符号化方法及びその装置と、その多バンド映像信号符号化方法の実現に用いられる多バンド映像信号符号化プログラム及びそのプログラムを記録した記録媒体とに関する。
【０００２】
【従来の技術】
多バンド映像は、従来、気象や植生や海洋の観察等、地球規模の物理量の測定を目的とする衛星画像などで広く用いられており、この効率的な符号化方式については様々な提案がなされている。
【０００３】
それに対し、テレビジョンやカメラなど人間の視覚を対象とした映像システムにおいては、人間の色覚の自由度が３であることから、長らく３バンドのシステムが入出力・保存ともに用いられてきた。
【０００４】
しかしながら、色の本質的情報は３次元ではなくて無限次元のスペクトル情報であり、これを扱うことで、従来の３バンドでは不可能であった正確な色再現や、任意の照明下での色再現や、視覚感度の個人差解消などといったような新しい機能性が可能になる。
【０００５】
これから、最近では、人間の視覚を対象とした映像システムにおいても、入力バンド数や出力原色数を３よりも多くした「多バンド映像技術」が用いられるようになってきている。
【０００６】
当然のことながら、このような多バンド映像信号は、通常の３バンド映像に比べて、バンド数に比例して情報量が多くなることから、効率的な符号化が必須となる。
【０００７】
この問題に対して、得られた多バンド映像信号について、先ず最初に、対数変換を施し、続いて、主成分変換して寄与度の小さい主成分を取り除くことでバンド数の削減を行った後、既存の符号化方式により各バンドを符号化するという方法が用いられている（例えば、特許文献１参照）。
【０００８】
また、多バンド映像信号を、人間色覚の持つ３自由度（３次元情報）と残りの情報とに分離し、視覚に感知されない残りの情報に対しては主成分変換を施して、寄与度の小さい主成分を取り除くことでバンド数を削減するという提案がなされている（例えば、非特許文献１参照）。
【０００９】
また、既存のカラー画像符号化国際標準方式  ＩＳＯ／ＩＥＣ  １０９１８−１（ＪＰＥＧ），ＩＳＯ／ＩＥＣ１３８１８−２（ＭＰＥＧ−２），ＩＳＯ／ＩＥＣ  １４４９６−２（ＭＰＥＧ−４）  などにおいては、３原色ベースの処理を基本とし、輝度信号（１次元）に対して色差信号（２次元）の水平あるいは垂直解像度を１／２に低下させて符号化している。
【００１０】
【特許文献１】
特開２００１−２５１６４６
【非特許文献１】
Ｋｅｕｓｅｎ：  ”Ｍｕｌｔｉｓｐｅｃｔｒａｌ  ｃｏｌｏｒ  ｓｙｓｔｅｍ  ｗｉｔｈ  ａｎ  ｅｎｃｏｄｉｎｇ  ｆｏｒｍａｔ  ｃｏｍｐａｔｉｂｌｅ  ｗｉｔｈ  ｔｈｅ  ｃｏｎｖｅｎｔｉｏｎａｌ  ｔｒｉｓｔｉｍｕｌｕｓ  ｍｏｄｅｌ”，Ｊ．ＩＳ＆Ｔ，  ｖｏｌ．４０，ｎｏ．６，ｐｐ．５１０−５１５，Ｎｏｖ．／Ｄｅｃ．１９９６
【００１１】
【発明が解決しようとする課題】
しかしながら、前述した特許文献１に記載される方法では、非線形変換である対数変換が入るために、それらの対数の線形結合として得られる主成分係数は、視感輝度・色差といった何らかの視覚的情報を表したものではなく、主成分係数から視覚的情報への直接変換も不可能であった。
【００１２】
このように、前述した特許文献１に記載される方法に従っていると、視覚特性を利用した符号化が困難であった。
【００１３】
一方、前述した非特許文献１に記載される方法では、多バンド情報から３次元可視信号を分離抽出することから、３次元色空間に関して過去に蓄積された知見が利用できる余地がある点において優れている。
【００１４】
しかしながら、前述した非特許文献１に記載される方法では、そのような信号形態の提案までにとどまり、符号化の検討はなされていなかった。さらに線形変換しか想定していないことから、可視信号に対して非線形な変換を施すことで均等色空間へ写像し、視覚的に高い品質を保ちつつ効率的な符号化を行うことはできなかった。
【００１５】
また、ＪＰＥＧ，ＭＰＥＧについては、３原色を超える多バンドの符号化を想定してはおらず、輝度・色差の解像度比についても１：１〜２：１の範囲からしか選択できず、バンド毎に最適な解像度で符号化することは不可能であった。
【００１６】
さらに、従来技術では、各バンドを等価に扱うために、指定ビットレートが低い場合には不可視情報を符号化しなかったり、符号化ビットストリームから不可視情報を除き可視情報のみを伝送して低ビットレート化するといったようなスケーラビリティ機能を持つこともできなかった。
【００１７】
本発明の第一の目的は、人間の目にとって本質的に異なる可視信号と不可視信号とを別々に扱い符号化することで、より効率を高め、またスケーラビリティ機能を付与させることにある。
【００１８】
さらに、本発明の第二の目的は、線形変換の枠組にとらわれずに、既存の３次元均等色空間などを用いることで視覚的品質を保ちつつ効率的に符号化することにある。
【００１９】
さらに、本発明の第三の目的は、各バンドのモノクロ画像を符号化する際、バンドによってはほとんど情報がなく（信号値の起伏がない）、解像度を低下（縮小）させて復元させても劣化がほとんどないような場合に、無用に高い解像度のまま符号化を行い、その結果として符号量を多く発生させてしまうことを避けることにある。
【００２０】
【課題を解決するための手段】
この目的を達成するために、本発明の多バンド映像信号符号化装置は、３バンドより多数のＮバンドを持つＮバンド映像信号を符号化するために、▲１▼Ｎバンド映像信号を、線形変換を使って、３バンドの可視信号とＮ−３バンドの不可視信号とに分離する手段と、▲２▼分離された可視信号を変換する手段と、▲３▼分離された不可視信号を主成分変換する手段と、▲４▼主成分変換後の不可視信号の内、指定される寄与度閾値より低い寄与度を持つバンドを符号化対象から外すことで、符号化対象となるものを特定する手段と、▲５▼変換後の可視信号と符号化対象の不可視信号とに対応付けて設けられて、それらの各信号のモノクロ画像を独立に符号化する手段と、▲６▼符号化の結果を多重化する手段とを備えるように構成する。
【００２１】
この構成を採るときにあって、可視信号を変換する手段は、可視信号を均等色空間に非線形変換することがある。
【００２２】
また、モノクロ画像を符号化する手段に対応付けて設けられて、モノクロ画像の符号化に先立って、モノクロ画像の解像度を独立に低減させる手段を備えることがある。
【００２３】
以上の各処理手段により実現される本発明の多バンド映像信号符号化方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供したり、ネットワークを介して提供することができる。
【００２４】
このように構成される本発明の多バンド映像信号符号化装置では、処理対象となるＮバンド映像信号を、線形変換を使って、３バンドの可視信号とＮ−３バンドの不可視信号とに分離して、その分離した可視信号を変換する（例えば、均等色空間に非線形変換する）とともに、その分離した不可視信号を主成分変換する。
【００２５】
そして、主成分変換後の不可視信号の内、指定される寄与度閾値より低い寄与度を持つバンドを符号化対象から外すことで、符号化対象となるものを特定して、変換後の可視信号と、その特定した符号化対象の不可視信号とを独立の形態で符号化しつつ、それらの各信号のモノクロ画像を符号化して、その符号化結果を多重化する。
【００２６】
このとき、それらのモノクロ画像の符号化に先立って、それらのモノクロ画像の解像度を独立の形態で低減させるように処理することがある。
【００２７】
このようにして、本発明によれば、多バンド映像信号符号化において、可視信号と不可視信号の符号量を自由に変更できることから、（イ）復号側においてスペクトル情報をできるだけ正確にする符号化のモード（可視信号、不可視信号ともに符号量を大とするモード）とか、（ロ）復号側においてスペクトル情報は若干犠牲にするが、視覚的な見え方は変わらないことを実現する符号化のモード（可視信号符号量を大とし、不可視信号符号量を小とするモード）とか、（ハ）復号側において視覚的な見え方のみ正確で、スペクトル情報を用いた機能性は使えない符号化のモード（可視信号符号量を大とし、不可視信号を符号化しないモード）などといったような様々な符号化モードを選択できるようになり、さらに一度多重化された符号化データから不可視信号に関する符号を除くことで、視覚的な見え方は全く変えずに機能性のみを制限してビットレートを変更するといったことができるようになることで、スケーラビリティ機能を持たせることができるようになる。
【００２８】
また、本発明によれば、例えば、可視信号を均等色空間の一つであるＣＩＥＬＡＢ均等色空間に変換（非線形変換となる）して符号化を行うことで、符号化雑音が視覚的に均等に分布することを実現でき、これにより、より効率の良い符号化を行うことができるようになる。
【００２９】
また、本発明によれば、バンドによってはほとんど情報がなく（信号値の起伏がない）、解像度を低下（縮小）後、元のサイズに復元させても劣化がほとんどないような場合に、無用に高い解像度のまま符号化を行い、その結果として符号量を多く発生させてしまうということを避けることができるようになる。
【００３０】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００３１】
図１に、本発明を具備する多バンド映像信号符号化装置１の一実施形態例を図示する。
【００３２】
この図に示すように、本発明の多バンド映像信号符号化装置１は、可視・不可視分離部１０と、３原色変換部１１と、主成分変換部１２と、３原色変換部１１に対応付けて設けられる解像度変換部１３−ｉ（ｉ＝１〜３）と、主成分変換部１２に対応付けて設けられる解像度変換部１４−ｉ（ｉ＝１〜ｎ）と、解像度変換部１３−ｉに対応付けて設けられる符号化部１５−ｉ（ｉ＝１〜３）と、解像度変換部１４−ｉに対応付けて設けられる符号化部１６−ｉ（ｉ＝１〜ｎ）と、多重化部１７とを備える。
【００３３】
この可視・不可視分離部１０は、処理対象の多バンド映像信号を入力として、可視３次元成分と不可視Ｎ−３次元成分とに分離する処理を行う。
【００３４】
３原色変換部１１は、可視・不可視分離部１０により分離された可視３次元成分を均等色空間に写像する処理を行う。
【００３５】
主成分変換部１２は、可視・不可視分離部１０により分離された不可視Ｎ−３次元成分を主成分変換するとともに、その主成分変換により算出される各バンドの寄与度と指定される寄与度閾値とを比較して、寄与度閾値よりも小さなバンドについては廃棄する処理を行う。さらに、主成分変換部１２は、主成分変換により算出される変換係数を多重化部１７に出力する処理を行う。
【００３６】
解像度変換部１３−ｉ（ｉ＝１〜３）は、指定された解像度に応じて、３原色変換部１１の出力するモノクロ画像の解像度を変換する処理を行う。ここで、３個の解像度変換部１３−ｉのそれぞれは、同一の解像度に変換する処理を行う必要はなく、別々の解像度に変換する処理を行ってもよい。
【００３７】
解像度変換部１４−ｉ（ｉ＝１〜ｎ）は、指定された解像度に応じて、主成分変換部１２の出力するモノクロ画像の解像度を変換する処理を行う。ここで、ｎ個の解像度変換部１４−ｉのそれぞれは、同一の解像度に変換する処理を行う必要はなく、別々の解像度に変換する処理を行ってもよい。
【００３８】
なお、解像度変換部１３−ｉ，１４−ｉを設けるのは、モノクロ画像を解像度変換により一旦縮小してから符号化・復号を行って元の解像度に戻すようにした方が、モノクロ画像をそのままま符号化・復号するのに比べて良好な復号映像品質が得られるからである。
【００３９】
符号化部１５−ｉ（ｉ＝１〜３）は、対となる解像度変換部１３−ｉの出力する解像度の変換されたモノクロ画像を符号化する処理を行う。ここで、３個の符号化部１５−ｉのそれぞれは、同一の符号化アルゴリズムや符号化パラメータを用いて符号化を行う必要はなく、別々の符号化アルゴリズムや符号化パラメータを用いて符号化を行ってもよい。
【００４０】
符号化部１６−ｉ（ｉ＝１〜ｎ）は、対となる解像度変換部１４−ｉの出力する解像度の変換されたモノクロ画像を符号化する処理を行う。ここで、ｎ個の符号化部１４−ｉのそれぞれは、同一の符号化アルゴリズムや符号化パラメータを用いて符号化を行う必要はなく、別々の符号化アルゴリズムや符号化パラメータを用いて符号化を行ってもよい。
【００４１】
多重化部１７は、符号化部１５−ｉ，１６−ｉの出力する符号化データを、主成分変換部１２の出力する変換係数とともに一つのビットストリームにまとめて出力する処理を行う。
【００４２】
このように構成される本発明の多バンド映像信号符号化装置１では、図２の処理フローに示すように、先ず最初に、ステップ１０で、処理対象となる多バンド映像信号を入力すると、続くステップ１１で、その入力した多バンド映像信号を可視３次元成分と不可視Ｎ−３次元成分とに分離する。
【００４３】
続いて、ステップ１２で、分離した可視３次元成分を３原色変換する。続いて、ステップ１３で、分離した不可視Ｎ−３次元成分を主成分変換し、その主成分変換により算出される各バンドの寄与度と指定される寄与度閾値とを比較して、寄与度閾値よりも小さなバンドについては廃棄する。
【００４４】
続いて、ステップ１４で、３原色変換により得られたそれぞれの可視モノクロ画像を、指定される解像度のモノクロ画像に変換し、続くステップ１５で、主成分変換により得られたそれぞれの不可視モノクロ画像を、指定される解像度のモノクロ画像に変換する。
【００４５】
続いて、ステップ１６で、解像度変換されたそれぞれの可視モノクロ画像を、指定される符号化方法で符号化し、続くステップ１７で、解像度変換されたそれぞれの不可視モノクロ画像を、指定される符号化方法で符号化する。
【００４６】
そして、最後に、ステップ１８で、ステップ１６，１７で生成した符号化データと、ステップ１３で行った主成分変換で算出された変換係数とを多重化し出力して、処理を終了する。
【００４７】
このようにして、本発明の多バンド映像信号符号化装置１は、多バンド映像信号符号化において、可視信号と不可視信号の符号量を自由に変更できるようにする構成を採ることから、様々な符号化モードを選択できるようになることで、スケーラビリティ機能を持たせることができるようになる。
【００４８】
そして、本発明の多バンド映像信号符号化装置１は、非線形変換を使って可視信号を均等色空間に変換して符号化を行うことができるようになることから、符号化雑音が視覚的に均等に分布することを実現できるようになることで、より効率の良い符号化を行うことができるようになる。
【００４９】
そして、本発明の多バンド映像信号符号化装置１は、バンドごとに解像度を変更させて符号化を行うことができるようになることから、解像度を低下させても問題のないバンドについては解像度を低下させて符号化を行うことができるようになることで、より効率の良い符号化を行うことができるようになる。
【００５０】
次に、図１に示す各処理部の構成について詳細に説明する。
【００５１】
（１）可視・不可視分離部１０の構成
可視・不可視分離部１０は、例えば、次に説明する方法に従って、処理対象の多バンド映像信号を可視３次元成分と不可視Ｎ−３次元成分とに分離する処理を行う。
【００５２】
（ｉ）可視信号
Ｎ次元多バンド信号列ベクトル＜ａ＞から可視信号Ｘ，Ｙ，Ｚを得るための列ベクトル（等色関数として既知である）をそれぞれ＜ｘ＞，＜ｙ＞，＜ｚ＞とすると、可視信号Ｘ，Ｙ，Ｚは、
Ｘ＝（＜ａ＞，＜ｘ＞）
Ｙ＝（＜ａ＞，＜ｙ＞）
Ｚ＝（＜ａ＞，＜ｚ＞）
＜ａ＞，＜ｘ＞，＜ｙ＞，＜ｚ＞  ：  Ｎ行１列の列ベクトル
として得られる。ここで、（・，・）は内積を示す。
【００５３】
このようにして分離された可視信号Ｘ，Ｙ，Ｚにさらに適切な３×３行列を掛けることで、既存のＲＧＢ，ＹＣｂＣｒ、ＹＩＱといった空間に写像することができる。
【００５４】
（ｉｉ）不可視信号
良く知られているＧｒａｍ−Ｓｃｈｍｉｄｔの直交化方法と同様に、
Ｐｘ  ＝Ｉ−＜ｘ＞＜ｘ＞ｔ  ／‖＜ｘ＞‖２  
＜ｙ’＞＝Ｐｘ  ＜ｙ＞
Ｐｙ  ＝Ｉ−＜ｙ’＞＜ｙ’＞ｔ  ／‖＜ｙ’＞‖２  
＜ｚ’＞＝Ｐｙ  Ｐｘ  ＜ｚ＞
Ｐｚ  ＝Ｉ−＜ｚ’＞＜ｚ’＞ｔ  ／‖＜ｚ’＞‖２  
の順で処理を行って得られるＮ×Ｎ行列Ｐｘ  ，Ｐｙ  ，Ｐｚ  （対称・積可換な行列である）の３者の積をＰとおくと、任意の多バンド信号＜ａ＞は、このＰにより＜ｘ＞，＜ｙ＞，＜ｚ＞の直交補空間に射影される。
【００５５】
これから、不可視の成分＜ａ’＞が、
＜ａ’＞＝Ｐ＜ａ＞
として得られる。ここで、Ｉは単位行列を示し、＜・＞ｔ  は転置を示す。
【００５６】
この＜ａ’＞はＮ次元の信号であるので、さらに、Ｎ次元空間において＜ｘ＞，＜ｙ＞，＜ｚ＞と直交するとともに、互いにも直交するＮ−３個の単位ベクトル（上と同様の逐次処理により機械的に求められる）を＜ｗ１  ＞，＜ｗ２  ＞，…，＜ｗＮ−３  ＞とし、これらを横に並べたＮ×（Ｎ−３）の大きさを持つ行列Ｑ
Ｑ：＝（＜ｗ１  ＞，・・・・，＜ｗＮ−３  ＞）
を定義すると、任意の多バンド信号＜ａ＞は、このＱの転置行列であるＱｔ  によりＮ−３次元の不可視信号に写像される。
【００５７】
この不可視信号は色覚には寄与しないが多バンドとしての本質的情報を持つ。なお、Ｑは一意ではないが、例えばＱｔ  ＜ａ＞の性質に応じた主成分変換を行うことで、主成分係数は一意となる。
【００５８】
このようにして、可視・不可視分離部１０は、図３に示すように、処理対象の多バンド映像信号を可視３次元成分と不可視Ｎ−３次元成分とに分離する処理を行うのである。
【００５９】
（２）３原色変換部１１の構成
３原色変換部１１は、可視・不可視分離部１０により分離された可視信号Ｘ，Ｙ，Ｚに対して非線形変換を施すことで、この分離された可視信号Ｘ，Ｙ，Ｚを、線形変換では不可能なＣＩＥＬＡＢやＣＩＥＬＵＶなどの均等色空間へ写像する処理を行う。
【００６０】
このような均等色空間に対して符号化を行うことで、符号化雑音が視覚的に均等に分布することになるので、より効率の良い符号化を行うことができるようになる。
【００６１】
例えば、ＣＩＥＬＡＢ空間（Ｌ＊  ，ａ＊  ，ｂ＊  ）への非線形変換は以下の通りである。
【００６２】
Ｌ＊  ＝１１６ｆ（Ｙ／Ｙｎ  ）−１６
ａ＊  ＝５００（ｆ（（Ｘ／Ｘｎ  ）−ｆ（Ｙ／Ｙｎ  ））
ｂ＊  ＝２００（ｆ（（Ｙ／Ｙｎ  ）−ｆ（Ｚ／Ｚｎ  ））
但し
2004159045.tif 000003
Ｙｎ  ：使用している基準白色のＹ値
これらの式から得られるＬ＊  ，ａ＊  ，ｂ＊  から、（Ｌ＊  ，ａ＊  ，ｂ＊  ）の３変数で表現されるＣＩＥＬＡＢ空間表記が得られる。
【００６３】
（３）主成分変換部１２の構成
主成分変換部１２は、可視・不可視分離部１０により分離された不可視Ｎ−３次元成分を主成分変換するとともに、その主成分変換により算出される各バンドの寄与度と指定される寄与度閾値とを比較して、寄与度閾値よりも小さなバンドについては廃棄する処理を行う。
【００６４】
さらに、主成分変換部１２は、主成分変換により算出される変換係数を多重化部１７に出力する処理を行う。
【００６５】
（４）解像度変換部１３−ｉ，１４−ｉの構成
本発明の多バンド映像信号符号化装置１では、バンド毎に解像度を変換する処理を行う。
【００６６】
解像度変換部１３−ｉ，１４−ｉは、例えば、ぼかし処理を行う帯域制限器と、帯域制限器によりぼかされた画像の間引きを行う再標本化器とで構成されて、指定される解像度に解像度を低下させる処理を行う。
【００６７】
例えば、解像度を半分に落とす場合には、
［−１，０，９，１６，９，０，−１］／３２
なる係数を持つローパスフィルタを水平・垂直にそれぞれ適用することでぼかし処理を施した後、画素を水平・垂直に１つおきにサンプリングすることで、解像度を半分に落とすことになる。
【００６８】
このような解像度変換を行うと、復号時に解像度を元に戻す際、情報の欠落（復号画像の雑音）が生じる。従って、あまりに解像度を低下させてしまうと復号画像の雑音が多くなってしまう。しかし適切であれば、画素の数が減ることによる符号量削減効果が解像度低下に起因する損失を上回り、結果として符号化効率が改善されることになる。
【００６９】
（５）符号化部１５−ｉ，１６−ｉの構成
符号化部１５−ｉ，１６−ｉは、対となる解像度変換部１３−ｉ，１４−ｉの出力する解像度の変換されたモノクロ画像を符号化する処理を行う。
【００７０】
幅がＷ画素で、高さがＨ画素であるＮバンドの多バンド画像は、同じサイズのモノクロ画像Ｎ枚に相当する。但し、寄与度の低い主成分を除いているので、実際にはＮ枚以下となる。
【００７１】
ＪＰＥＧ，ＭＰＥＧ−２などのカラー画像符号化国際標準方式は４バンド以上の画像信号の符号化はできないが、モノクロ画像に分解された一枚一枚は符号化可能である。
【００７２】
これから、本発明の多バンド映像信号符号化装置１では、既存の画像符号化方式を実装する符号化部１５−ｉ，１６−ｉを使って、解像度変換部１３−ｉ，１４−ｉの出力する解像度の変換されたモノクロ画像を符号化する処理を行うことが可能である。
【００７３】
本発明の多バンド映像信号符号化装置１では、各バンドを独立に符号化するために、例えば、可視信号のバンドと不可視信号のバンドについては異なる符号化パラメータや異なる符号化方式を用いて符号化を行うとか、符号化レート目標値が特に低い場合は落すとか、バンド間の解像度比を固定ではなく自由に選択する、といった処理が可能となる。
【００７４】
ＪＰＥＧ・ＭＰＥＧなどで用いられるＤＣＴ係数量子化に用いる量子化マトリクスは周波数毎にバリエーションをつけてよく、デフォルトの値は視覚特性を考慮して設定されたものになっている。例えば、ＪＰＥＧでは、輝度信号（Ｙ）については図４に示すような８×８の大きさを持つ量子化マトリクスを用いている。
【００７５】
本発明の多バンド映像信号符号化装置１では、このような量子化マトリクスをバンドごとに別のものを用いることが可能であり、例えば、可視信号についてはこのような視覚特性を考慮した量子化マトリクスを適用し、不可視信号については異なるマトリクス（例えば低域から高域まで一様の値）を用いる、といったことが可能である。
【００７６】
（６）多重化部１７の構成
多重化部１７は、符号化部１５−ｉ，１６−ｉの出力する符号化データを、主成分変換部１２の出力する変換係数とともに一つのビットストリームにまとめて出力する処理を行う。
【００７７】
【発明の効果】
以上説明したように、本発明によれば、多バンド映像信号符号化において、可視信号と不可視信号の符号量を自由に変更できることから、（イ）復号側においてスペクトル情報をできるだけ正確にする符号化のモード（可視信号、不可視信号ともに符号量を大とするモード）とか、（ロ）復号側においてスペクトル情報は若干犠牲にするが、視覚的な見え方は変わらないことを実現する符号化のモード（可視信号符号量を大とし、不可視信号符号量を小とするモード）とか、（ハ）復号側において視覚的な見え方のみ正確で、スペクトル情報を用いた機能性は使えない符号化のモード（可視信号符号量を大とし、不可視信号を符号化しないモード）などといったような様々な符号化モードを選択できるようになり、さらに一度多重化された符号化データから不可視信号に関する符号を除くことで、視覚的な見え方は全く変えずに機能性のみを制限してビットレートを変更するといったことができるようになることで、スケーラビリティ機能を持たせることができるようになる。
【００７８】
また、本発明によれば、例えば、可視信号を均等色空間の一つであるＣＩＥＬＡＢ均等色空間に変換（非線形変換となる）して符号化を行うことで、符号化雑音が視覚的に均等に分布することを実現でき、これにより、より効率の良い符号化を行うことができるようになる。
【００７９】
また、本発明によれば、バンドによってはほとんど情報がなく（信号値の起伏がない）、解像度を低下（縮小）後、元のサイズに復元させても劣化がほとんどないような場合に、無用に高い解像度のまま符号化を行い、その結果として符号量を多く発生させてしまうということを避けることができるようになる。
【図面の簡単な説明】
【図１】本発明の多バンド映像信号符号化装置の一実施形態例である。
【図２】本発明の多バンド映像信号符号化装置の実行する処理フローの一実施形態例である。
【図３】可視・不可視分離部の実行する処理の説明図である。
【図４】量子化マトリクスの説明図である。
【符号の説明】
１    多バンド映像信号符号化装置
１０  可視・不可視分離部
１１  ３原色変換部
１２  主成分変換部
１３  解像度変換部
１４  解像度変換部
１５  符号化部
１６  符号化部
１７  多重化部
【図１】
2004159045.tif 000004
【図２】
2004159045.tif 000005
【図３】
2004159045.tif 000006
【図４】
2004159045.tif 000007