(57)【特許請求の範囲】
【請求項１】
被写体を撮影する際に撮影波長帯域を複数のバンド帯域に分割して撮影したバンド画像を用いて得られるマルチスペクトル画像を画像圧縮する方法であって、
マルチスペクトル画像の画像データを用いて、主成分分析を行い、マルチスペクトル画像の主成分ベクトルと主成分画像の複数の対を得、
この複数の対の中の前記主成分ベクトルから選択された主成分ベクトルを用いて再構成される合成画像と、マルチスペクトル画像との色空間における色度差を所定値以下とする、前記主成分ベクトルの中から選ばれた最適主成分ベクトルとこれに対応する最適主成分画像を得、
得られた各最適主成分画像に対して、像構造圧縮を行い最適主成分圧縮画像データを得ることによって、
前記マルチスペクトル画像の画像データを前記最適主成分ベクトルおよび前記最適主成分圧縮画像データに圧縮することを特徴とするマルチスペクトル画像の画像圧縮方法。
【請求項２】
前記色空間は、ＣＩＥＤ65の標準光源下のＣＩＥＤ１９７６Ｌ* ａ* ｂ* 色空間であり、
前記所定値は、この色空間における色度に基づく平均色差が１．５である請求項１に記載のマルチスペクトル画像の画像圧縮方法。
【請求項３】
前記像構造圧縮は、離散フーリエ変換またはウェーブレット変換による画像データの高周波成分の圧縮である請求項１または２に記載のマルチスペクトル画像の画像圧縮方法。
【請求項４】
前記像構造による圧縮は、画像データの符号化により画像データを圧縮する符号化圧縮処理が付加される請求項３に記載のマルチスペクトル画像の画像圧縮方法。
【請求項５】
被写体を撮影する際に撮影波長帯域を複数のバンド帯域に分割して撮影したバンド画像を用いて得られるマルチスペクトル画像を画像圧縮するマルチスペクトル画像の画像圧縮装置であって、
マルチスペクトル画像の画像データを用いて、主成分分析を行い、マルチスペクトル画像の主成分ベクトルと主成分画像の複数の対を得る主成分分析部と、
この主成分分析部で得られた主成分ベクトルと主成分画像の複数の対の中の前記主成分ベクトルから選択された主成分ベクトルを用いて再構成される合成画像と、マルチスペクトル画像との色空間における色度差を所定値以下とする、前記主成分ベクトルの中から選ばれた最適主成分ベクトルと最適主成分画像を得る最適主成分ベクトル・画像抽出部と、
この最適成分ベクトル・画像抽出部で得られた各最適主成分画像の画像データに対して、像構造圧縮を行う画像圧縮部とを有することを特徴とするマルチスペクトル画像の画像圧縮装置。
【請求項６】
前記色空間は、ＣＩＥＤ65の標準光源下のＣＩＥＤ１９７６Ｌ* ａ* ｂ* 色空間であり、
前記所定値は、この色空間における色度に基づく平均色差が１．５である請求項５に記載のマルチスペクトル画像の画像圧縮装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被写体を撮影する際の撮影波長領域を複数のバンド帯域に分割して撮影したバンド画像を用いて得られるマルチスペクトル画像の画像データに対して、画像品質を損なうことなく効率的に圧縮することのできる画像データの圧縮処理の技術分野に関する。
【０００２】
【従来の技術】
今日、デジタル画像処理の進歩によって、画像の色情報（明度、色相、彩度）を完全に表現する手段として、画像の各画素毎に分光情報（スペクトル画像）を備える画像、すなわちマルチスペクトル画像が利用されている。
このマルチスペクトル画像は、撮影被写体を、複数のバンド帯域に分割して各バンド帯域毎に撮影した複数のバンド画像から構成されるマルチバンド画像に基づいて分光反射率分布を各画像毎に推定して得られるものである。このマルチバンド画像は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）画像からなる従来のＲＧＢカラー画像では十分に表現できない色情報を再現することができ、例えばより正確な色再現の望まれる絵画の世界にとって有効である。そこで、この色情報を正確に再現するといった特徴を生かすために、例えば３８０〜７８０ｎｍの撮影波長帯域を１０ｎｍ帯域毎に区切って４１バンドさらには５ｎｍ帯域毎に区切って８１バンドといった多くのバンド数を備えたマルチバンド画像に基づいてマルチスペクトル画像を得ることが望まれる。
【０００３】
しかし、画素毎に分光情報を備えるマルチスペクトル画像は、撮影波長帯域を分割した各帯域（チャンネル）毎に、例えば４１チャンネル毎に分光反射率データを有するため、従来から用いられてきた３チャンネルのＲＧＢカラー画像に比べ、例えば約１３倍（４１チャンネル／３チャンネル）の画像データ量を備えなければならない。
そのため、得られたマルチスペクトル画像の画像データを保存する場合、大きな記憶容量が必要となり、保存に要する時間も長い。また、画像データをネットワークを介して転送する際にも多大の時間がかかり、取り扱いが困難になる。
【０００４】
このような問題に対して、マルチスペクトル画像の各画素ごとの分光情報から得られるスペクトル波形を３つの等色関数、例えばＲＧＢ表色形の等色関数で展開するとともに、等色関数で表されないスペクトル波形の部分を、主成分分析法を用いて、主成分基底ベクトルで展開し、その中からスペクトル画像の画像情報を代表する主成分を抽出して採用し、それ以外の主成分は取り除き、最終的に等色関数を含め合計６〜８個の基底ベクトルで上記スペクトル波形を表現する方法が提案されている（Th.Keusen,Multispectoral  Color  System  wuth  an  Encoding  Format  Compatible  with  the  Conventional  Tristimulus  Model,Journal  of  Imaging  Science  and  Technology  40:510-515(1996)）。これを用いて、上記スペクトル波形を６〜８個の基底ベクトルとそれに対応した係数の対とで表わすことによって、マルチスペクトル画像の画像データを圧縮することができる。特に、ＲＧＢ表色形の等色関数で表される場合の等色関数の係数は、Ｒ、ＧおよびＢの三刺激値に対応するので、Ｒ、ＧおよびＢ画素による３刺激値に基づいて画像処理や画像表示等が行われる従来の画像処理装置や画像表示装置に対応して適合するように特別な変換を施す必要がなく、直接画像データを従来の画像処理装置や画像表示装置に送ることができるといった処理の低減に対して優れた効果を備える。
【０００５】
このような方法によって得られる画像データは、例えば４１個のスペクトル画像から構成されるマルチスペクトル画像の場合、例えば８個の基底ベクトルとその係数によって表すことによって、マルチスペクトル画像の画像データ量の約２０％（８個／４１個×１００）に圧縮することができる。
しかし、４１個のスペクトル画像から構成されるマルチスペクトル画像の場合、ＲＧＢカラー画像の画像データ量に比べて約１３倍も大きく、上記方法で約３０％に圧縮できたとしても、ＲＧＢカラー画像の画像データ量に対して、依然として約２．５倍（１３×２０／１００）ものデータ量を有することになる。そのため、上述したように記録メディア等に記録保存する際の記録時間や画像データをネットワークを介して転送する際の転送時間も長く、依然として取り扱いが困難である。
【０００６】
そこで、本発明は、上記問題点を解決し、被写体を撮影する際の撮影波長帯域を複数のバンド帯域に分割することで得られる複数のスペクトル画像に対して、視覚的に劣化することが少なく画像圧縮の際の圧縮率を高め、画像データの取り扱いが向上するマルチスペクトル画像の画像圧縮方法および画像圧縮装置を提供することを目的とする。
【０００７】
上記目的を達成するために、本発明は、被写体を撮影する際に撮影波長帯域を複数のバンド帯域に分割して撮影したバンド画像を用いて得られるマルチスペクトル画像を画像圧縮する方法であって、
マルチスペクトル画像の画像データを用いて、主成分分析を行い、マルチスペクトル画像の主成分ベクトルと主成分画像の複数の対を得、
この複数の対の中の前記主成分ベクトルから選択された主成分ベクトルを用いて再構成される合成画像と、マルチスペクトル画像との色空間における色度差を所定値以下とする、前記主成分ベクトルの中から選ばれた最適主成分ベクトルとこれに対応する最適主成分画像を得、
得られた各最適主成分画像に対して、像構造圧縮を行い最適主成分圧縮画像データを得ることによって、
前記マルチスペクトル画像の画像データを前記最適主成分ベクトルおよび前記最適主成分圧縮画像データに圧縮することを特徴とするマルチスペクトル画像の画像圧縮方法を提供するものである。
【０００８】
ここで、前記色空間は、ＣＩＥＤ65の標準光源下のＣＩＥＤ１９７６Ｌ* ａ* ｂ* 色空間であり、前記所定値は、この色空間における色度に基づく平均色差が１．５であるのが好ましい。
【０００９】
また、前記像構造圧縮は、離散フーリエ変換またはウェーブレット変換による画像データの高周波成分の圧縮であるのが好ましく、さらに、前記像構造による圧縮は、画像データの符号化により画像データを圧縮する符号化圧縮処理が付加されるのが好ましい。
【００１０】
また、本発明は、被写体を撮影する際に撮影波長帯域を複数のバンド帯域に分割して撮影したバンド画像を用いて得られるマルチスペクトル画像を画像圧縮するマルチスペクトル画像の画像圧縮装置であって、
マルチスペクトル画像の画像データを用いて、主成分分析を行い、マルチスペクトル画像の主成分ベクトルと主成分画像の複数の対を得る主成分分析部と、
この主成分分析部で得られた主成分ベクトルと主成分画像の複数の対の中の前記主成分ベクトルから選択された主成分ベクトルを用いて再構成される合成画像と、マルチスペクトル画像との色空間における色度差を所定値以下とする、前記主成分ベクトルの中から選ばれた最適主成分ベクトルと最適主成分画像を得る最適主成分ベクトル・画像抽出部と、
この最適成分ベクトル・画像抽出部で得られた各最適主成分画像の画像データに対して、像構造圧縮を行う画像圧縮部とを有することを特徴とするマルチスペクトル画像の画像圧縮装置を提供するものである。
ここで、前記色空間は、ＣＩＥＤ65の標準光源下のＣＩＥＤ１９７６Ｌ* ａ* ｂ* 色空間であり、前記所定値は、この色空間における色度に基づく平均色差が１．５であるのが好ましい。
【００１１】
【発明の実施の形態】
以下、本発明のマルチスペクトル画像の画像圧縮方法を実施するマルチスペクトル画像取得システムについて、添付の図面に示される好適実施例を基に詳細に説明する。
【００１２】
図１は、本発明のマルチスペクトル画像の画像圧縮方法を実施し、本発明のマルチスペクトル画像の画像圧縮装置を含むマルチスペクトル画像取得システム（以下、本システムという）１０を示す。
本システム１０は、撮影被写体Ｏを撮影し、得られたマルチスペクトル画像ＭS の画像データを記録メディアに保存するものであって、撮影被写体Ｏを照らす光源１２と、撮影波長帯域を複数のバンド帯域に分割する可変フィルタ１４と、撮影被写体Ｏを撮影してマルチバンド画像ＭBを得るＣＣＤカメラ１６と、画像データを一時保持するマルチバンド画像記憶装置１８と、マルチバンド画像から各画素毎に分光反射率分布を推定してマルチスペクトル画像ＭSを得るマルチスペクトル画像取得装置２０と、マルチスペクトル画像ＭS の画像データを、視覚的な劣化が少なく、圧縮率を高くして圧縮するマルチスペクトル画像圧縮装置２２と、得られた圧縮画像データを保存する記録メディアドライブ装置２４とを主に有して構成される。なお、本発明において、マルチスペクトル画像Ｍsは、少なくとも６チャンネル以上のスペクトル画像を備え、すなわち、分光反射率分布のデータを持つ構成波長数が６以上であるのが好ましい。
【００１３】
光源１２は、撮影被写体Ｏを撮影するものであって、光源の種類等は特に制限されないが、撮影されたマルチバンド画像ＭB から分光反射率を推定し、マルチスペクトル画像ＭS を取得するために、分光強度分布が既知の光源であることが好ましい。
可変フィルタ１４は、撮影被写体Ｏを撮影してマルチバンド画像ＭB を得るために、撮影波長帯域を分割するバンド帯域が可変に設定可能なバンドパスフィルタであり、例えば１６バンド、２１バンドや４１バンド等に分割することができる。このような可変フィルタとして、例えば液晶チューナブルフィルタが挙げられる。
【００１４】
ＣＣＤカメラ１６は、撮影被写体Ｏの反射光を可変フィルタ１４を介して所望の波長帯域に分光された透過光によって結像される像を黒白のバンド画像として撮影するカメラであって、受光面には、エリアセンサとしてＣＣＤ（charge coupled device ) 撮像素子が面状に配置されている。
また、ＣＣＤカメラ１６には、撮影される画像の明度値のダイナミックレンジを適切に定めるため、撮影被写体Ｏの撮影前に行うホワイトバランスの調整機構を備える。
【００１５】
マルチバンド画像データ記憶装置１８は、撮影波長帯域を複数のバンド帯域に分割して撮影され、各バンドに対応するホワイトバランスの調整された複数のバンド画像からなるマルチバンド画像ＭB を一時記憶保持する部分である。
マルチスペクトル取得装置２０は、ＣＣＤカメラ１６で撮影された分光反射率の既知の撮影被写体の画像データ、例えばマクベスチャートのグレーパッチの画像データとその既知の分光反射率の値との対応関係から予め作成された１次元ルックアップテーブル（１次元ＬＵＴ）を備え、この１次元ＬＵＴを用いて、マルチバンド画像データ記憶装置１８より呼び出された撮影被写体Ｏのマルチバンド画像ＭB の画像データから各画素毎の撮影被写体Ｏの分光反射率を推定し、マルチスペクトル画像ＭS を取得する部分である。
撮影被写体Ｏの分光反射率の推定において、可変フィルタ１４のフィルタ特性、すなわち可変フィルタ１４の分光透過率分布がバンド間で一部分が重なった特性を有する場合、得られるマルチスペクトル画像ＭS の分光反射率分布は鈍り、精度の高い分光反射率分布を推定することができないため、マトリクス演算やフーリエ変換を用いて、上記フィルタ特性を排除するデコンボリューション処理を施してもよい。
【００１６】
記録メディアドライブ装置２４は、ハードディスクやフロッピーディスクやＭＯやＣＤ−ＲやＤＶＤ等の記録メディアに記録するドライブ装置であり、マルチスペクトル画像ＭS の画像データを後述するマルチスペクトル画像圧縮装置２２で圧縮した圧縮マルチスペクトル画像データを記録することができる。また、記録メディアドライブ装置２４と共に、またこれに替えて、後述する圧縮マルチスペクトル画像データを各種ネットワークを介して転送するために、ネットワーク接続装置を備えてもよい。
【００１７】
マルチスペクトル画像圧縮装置２２は、マルチスペクトル取得装置２０で得られたマルチスペクトル画像ＭS を構成するマルチスペクトル画像データに対して、視覚的な劣化が少なく画像圧縮率の高い圧縮マルチスペクトル画像データを求める部分であり、主成分分析部２２ａと、最適主成分ベクトル・画像抽出部２２ｂと、画像圧縮部２２ｃとを備える。また、本装置は、以下に示すような機能を備えるソフトウェアで構成してもよく、また１つのハードウェアとして構成してもよい。
【００１８】
主成分分析部２２ａは、マルチスペクトル画像ＭSの各画素毎に備える分光反射率分布の主成分分析を行い、各画素ごとに分光反射率分布を主成分に展開する部分である。なお、以降では、撮影波長帯域を複数のバンド帯域に分割するバンド数をｎとして説明する。
本発明における主成分分析法は、観測波形データ群を正規直交展開して標本化する方法の一つで、最適標本化ともいわれるものである。即ち、最も少ない数の直交基底関数の加重平均で、観測波形データを最も精度良く表現するための方法である。ここでは、直交基底関数を主成分ベクトルと呼ぶ。
本発明における主成分分析として具体的には、観測波形から、統計的手法および固有値解析法を用いて、観測波形に固有の１次独立な固有ベクトルを主成分ベクトルとして求め、この主成分ベクトルから、本来観測波形に雑音成分が無ければ、固有値が０となる固有値の小さな主成分ベクトルを取り除き、バンド数ｎより少ない数の最適主成分ベクトルを求め、この最適主成分ベクトルによって観測波形を線型的に表す、南茂夫著、「科学計測のための波形データ処理」、２２０−２２５頁に記載の方法があげられる。この分析方法は、主成分分析部２２ａおよび後述する最適主成分ベクトル・画像抽出部２２ｂにおいて主に行われる。
主成分分析法を用いる場合には、観測波形であるマルチスペクトル画像ＭSの画素毎の分光反射率波形が、線型的に表すことができ、また分光反射率波形に含まれる雑音成分も、分光反射率の値と無関係な雑音であることが好ましい。
【００１９】
本実施例に沿って説明すると、マルチスペクトル画像ＭS は、各画素毎に、可変フィルタ１４を用いて被写体の撮影波長帯域を分割したバンドの数ｎだけ、分光反射率の値を有する。すなわち、ｎ個のバンド帯域からなるマルチバンド画像ＭB によって得られたマルチスペクトル画像ＭS は、ｎ個の分光反射率の値からなる分光反射率分布Ｒを有する。また、マルチスペクトル画像ＭS の各画素は、例えば１０２４×１０２４画素、すなわち約１０6 個の画素で構成され、この画素数は、分光反射率の個数であるｎよりも圧倒的に大きいため、統計的処理、すなわち、後述するように、ｎ次元ベクトルの形式で表された分光反射率分布Ｒ(i,j，λ) ＝( Ｒ (i,j ，λ1)，Ｒ(i,j，λ2)，Ｒ(i,j，λ3)，・・・，Ｒ（i,j ，λn ) ）T （小文字T は転置を示し、(i,j) は、注目画素の画素位置であり、λは分光波長を示す）の、画像領域全体またはその一部分の画素に関する自己相関行列Ｔを求め、分光反射率の主成分分析を行うことができる。
【００２０】
ここで求められる主成分とは、統計的処理を用いて得られるもので、例えばｎバンドの数に相当するｎ個の分光反射率の値からなる正規直交化された自己相関行列Ｔの固有ベクトルである主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）と自己相関行列Ｔの固有値ｕk （ｋ＝１〜ｎ（ｋは１以上ｎ以下の整数を示す））の対である。また、主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）を用いて、スペクトル画像の画素位置(i,j) での分光反射率分布Ｒ(i,j，λ) を線型展開し、その際得られる各主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）に係る係数ｓk (i,j) （ｋ＝１〜ｎ）を求め、これを画素位置(i,j) での画像データとする主成分画像Ｓk （ｋ＝１〜ｎ）を得ることができる。
得られた主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）および主成分画像Ｓk （ｋ＝１〜ｎ）は、最適主成分ベクトル・画像抽出部２２ｂに送られる。
【００２１】
最適主成分ベクトル・画像抽出部２２ｂは、主成分分析部２２ａで得られた主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）とそれに対応した主成分画像Ｓk （ｋ＝１〜ｎ）とを用いて、最適主成分数ｍ1 を定め、最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）を抽出する部分である。
最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）を抽出するのは、主成分分析部２２ａで求められた主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）には、マルチスペクトル画像の画像データの雑音成分の影響を受けて、本来主成分ベクトルに当たらない固有ベクトルも主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）として含まれるため、この主成分ベクトルｐk （λ）を排除し、最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）を抽出する必要があるからである。
【００２２】
すなわち、ｎ個の主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）とそれに対応した主成分画像Ｓk （ｋ＝１〜ｎ）の対の中から、それより少ないｍ（ｍ＜ｎ）個の主成分ベクトルｐk （λ）（ｋ＝１〜ｍ）とそれに対応した主成分画像Ｓk （ｋ＝１〜ｍ）の対を用いて合成画像Ｇを求め、この合成画像Ｇの画像情報の、マルチスペクトル画像Ｍs に基づくオリジナル画像の画像情報に対する誤差を用いて、ｍ個の主成分ベクトルｐk （λ）（ｋ＝１〜ｍ）とそれに対応した主成分画像Ｓk （ｋ＝１〜ｍ）が最適な主成分であるかどうか判断する。
【００２３】
ここで、主成分ベクトルｐk （λ）は、対応した固有値ｕk が大きい程、マルチスペクトル画像Ｍs の分光反射率分布における主成分の寄与は大きい。主成分ベクトルｐk （λ）を、固有値ｕk の大きい順に並べ、固有値ｕk の大きい順に、合成画像Ｇを求めるために採用する主成分ベクトルを順次増やし、一定の照明光源下て再構成された合成画像Ｇを求めていくと、ｎ個の主成分ベクトルから構成されるマルチスペクトル画像ＭS に基づくオリジナル画像に対する合成画像Ｇの画像情報の誤差が、採用する主成分ベクトル数ｍの増加に伴って単調減少する。そのため、この誤差が予め定めた所定値以下に減少する最初の主成分ベクトル数ｍを求めることによって、最小の最適主成分数ｍ1 を求めることができる。これによって、最適主成分数ｍ1 で合成画像Ｇを求める際に採用した主成分ベクトルｐk （λ）およびこれに基づいて得られる主成分画像Ｓk を、それぞれ、最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）として抽出することができる。
【００２４】
ここで、上記画像情報とは、例えば、ＣＩＥＬ* ａ* ｂ* 色空間に於ける一定の光源下の測色値Ｌ* 、ａ* およびｂ* 、例えばＣＩＥＤ65の標準光条件下の測色値Ｌ* 、ａ* およびｂ* であり、その際、上記誤差とは下記式(1) で表される色差ΔＥ0 である。この場合、この色差ΔＥ0 が例えば１．０以下となるような主成分画像の数ｍを見出すことによって最適主成分数ｍ1 を求めることができる。
ΔＥ0 ＝｛（ΔＬ* ）2 ＋（Δａ* ）2 ＋（Δｂ* ）2 ｝1/2     （１）
ここで、ΔＬ* 、Δａ* およびΔｂ* は、上記合成画像とマルチスペクトル画像の画像全体または一部分における平均測色値Ｌ* 、ａ* およびｂ* の差分である。このようにして、最適主成分数ｍ1 は、合成画像Ｇの色空間上の測色値とオリジナル画像の測色値の色差ΔＥ0 に基づいて適応的に決定される。
【００２５】
また、上記画像情報の誤差、すなわち、オリジナル画像に対するｍ個の主成分ベクトルｐk によって再構成される合成画像Ｇの、画像全体または一部分の画素のスペクトルの自乗誤差Ｅ1 であってもよい。合成画像Ｇのバンド帯域に対応して分光情報を持つスペクトルの画像データについても、測色値の一例と見なされ、合成画像Ｇの色空間上の測色値であるスペクトルの画像データとオリジナル画像の測色値であるスペクトルの画像データの自乗誤差Ｅ1 に基づいて，最適主成分数ｍ1 を適応的に決定してもよい。この場合、この自乗誤差Ｅ1 またはＬｏｇ（Ｅ1 ）は、主成分ベクトル数ｍに対して単調減少となるため、ｍを増やすことによって、自乗誤差Ｅ1 またはＬｏｇ（Ｅ1 ）の減少幅が予め定められた所定値より小さくなる時のｍの値、すなわちｍの増加に対して自乗誤差Ｅの減少が所定値以下で飽和する時の最小のｍの値を求めればよい。
【００２６】
画像圧縮部２２ｃは、最適主成分ベクトル・画像抽出部２２ｂで求めた最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）の各々の画像データに対して像構造に基づく像構造圧縮を行う部分である。
最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）は、第ｋ主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）の分光反射率分布Ｒ（i,j , λ）に基づいた画像であり、その画像データが第ｋ主成分ベクトルｐk （λ）の係数に基づく明度値で表現された画像データからなる黒白画像である。画像圧縮部２２ｃは、このような画像データに対して、各主成分の主成分画像毎に、像構造圧縮を行う。なお、像構造圧縮方法として、例えば、ＪＰＥＧ（Joint Photographics Expert Group) で用いられるＤＣＴ（Discrete Cosine Transformation) 方式が挙げられる。以下では、ＪＰＥＧ方式について説明するが、この方式に制限されれず、例えば、ＤＦＴ（Discrete Fourier Transformation)方式やＦＦＴ(Fast Fourier Transformation) 方式やＷＴ(Wavelet Transformation)方式であってもよい。
【００２７】
ＪＰＥＧ方式とは、例えば１０２４×１０２４画素の主成分画像Ｓkを８×８画素のブロック画像に分解し、このブロック画像各々に対して、cosine関数による２次元の離散型のフーリエ展開であるＤＣＴを施し、得られた低周波成分から高周波成分に至る複数のフーリエ係数をＤＣＴ係数として求めたのち、予め与えられた量子化テーブルによって上記ＤＣＴ係数を除して、高周波成分のフーリエ係数を０として省略することで、高周波成分の画像データを圧縮し、その後ＤＣＴ係数の０次低周波成分である直流成分とそれ以外の周波数成分に分け、ハフマン符号化方式や公知の算術符号化方式を用いて、ＤＣＴ係数の画像データを符号化し圧縮する方式である。ここで、上記量子化テーブルの値は、主成分画像Ｓkの像構造によって変化するものである。
本発明においては、上記ＤＣＴ係数の高周波成分を量子化テーブルによって除去した画像データを、ハフマン符号化方式や公知の算術符号化方式を用いることなく、圧縮マルチスペクトル画像データとして、画像圧縮部２２ｃから出力させてもよい。また、最適主成分画像Ｓk（ｋ＝１〜ｍ1）の画像像データに対して、符号化による圧縮を直接施してもよい。
【００２８】
本システム１０は、以上のように構成される。
次に、本発明のマルチスペクトル画像の画像圧縮方法について、本システム１０に沿った画像圧縮方法の流れを、図３を参照しつつ説明する。
【００２９】
まず、光源１２、可変フィルタ１４およびＣＣＤカメラ１６によって形成されるマルチバンドカメラによって撮影被写体Ｏを撮影し、複数のバンド帯域に分割された複数のバンド画像からなるマルチバンド画像ＭBを取得する（ステップ１００）。得られたマルチバンド画像ＭBは、マルチバンド画像データ記憶装置１８に一時記憶されると共に、マルチスペクトル画像取得装置２０に送られる。
【００３０】
マルチスペクトル画像取得装置２０では、例えばマクベスチャートのグレーパッチの画像データとその分光反射率の値との関係から作成された１次元ルックアップテーブル（１次元ＬＵＴ）が備えられており、この１次元ＬＵＴを用いて、マルチバンド画像データ記憶装置１８から呼び出された撮影被写体Ｏのマルチバンド画像ＭB の画像データを用いて各画素毎の撮影被写体Ｏの分光反射率を推定しマルチスペクトル画像ＭS の画像データを取得する（ステップ１０２）。この撮影被写体Ｏの分光反射率の推定において、精度の高い分光反射率分布を推定するために、マトリクス演算やフーリエ変換を用いたデコンボリューション処理が付加されてもよい。
【００３１】
次に、最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）および最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）を、最適主成分ベクトル・画像抽出部２２ｂにおいて求める（ステップ１０４）。
まず、主成分分析を行い（ステップ１０６）、主成分画像Ｓk （ｋ＝１〜ｎ）および主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）を求める。以下、主成分分析法について説明する。
【００３２】
マルチスペクトル画像Ｍs は、画素位置(i,j) においてそれぞれｎ個の分光反射率の値を持つ分光反射率分布を有し、分光反射率分布をＲ(i,j，λ) ＝( Ｒ (i,j ，λ1)，Ｒ(i,j，λ2)，Ｒ（i,j ，λ3)，・・・，Ｒ（i,j ，λn ) ）T （小文字T は転置を示す）として、画像全体の画素または画像の一部分、例えば画像全体の画素から一定間隔で画素を間引いた残りの画素における自己相関行列Ｔ（Ｔの（i,j ) 成分ＴijはＲT ・Ｒ／ｎである）を求める。
【００３３】
得られた自己相関行列Ｔはｎ×ｎの正方行列であり、この自己相関行列Ｔを用いて、下記式（２）を満足する固有値ｕk （ｕ1 ＞ｕ2 ＞・・・＞ｕn ，ｋ＝１〜ｎ）および正規直交化された固有ベクトルである主成分ベクトルｐk （λ）＝( ｐk  (i,j ，λ1)，ｐk (i,j，λ2)，ｐk （i,j ，λ3)，・・・，ｐk （i,j ，λn ) ）T （ｋ＝１〜ｎ）を求める。固有値および固有ベクトルを求める方法は、ｊａｃｏｂｉ法やべき乗法等の公知の方法であればよく、特に制限されない。
Ｔ・ｐk （λ）＝  ｕk ｐk （λ）                  （２）
また、画素位置(i,j) における分光反射率分布Ｒ(i,j，λ) が下記式（３）のように、固有ベクトルである主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）で表されるため、
【数１】
0003986219.tif 000002
下記式（４）に従って、主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）がお互いに正規直行関係にあることを利用して、ｓk (i,j) 求める。
ｓk (i,j) ＝Ｒ(i,j，λ) ・ｐk （λ）            （４）
ここで、記号・は、ｎ個の成分から成るバンド帯域の分光反射率の値についてのベクトルの内積であり、ｓk (i,j) は、マルチスペクトル画像の画素位置(i,j) での分光反射率Ｒ(i,j，λ) に含まれる第ｋ主成分ベクトルｐk の大きさを示す量である。また、このｓk (i,j) を各画素位置で求め、その値を各々の画素位置での画像データとする第ｋ主成分画像Ｓk （ｋ＝１〜ｎ）を求める。
【００３４】
ところで、分光反射率分布Ｒ(i,j，λ) における第１〜第ｎの各主成分の寄与は、上述したように、各主成分に付随した固有値ｕk の値が小さくなるに連れて小さくなることから、分光反射率分布Ｒ(i,j，λ) は、画像情報を最適に保持する限りにおいて、小さな固有値ｕk を持つ主成分ベクトルｐk を省略して近似することができる。
すなわち、下記式（５）に示すように、固有値ｕk （ｋ＝１〜ｎ）を大きい順に並べた際の、上からｍ番目以内の固有値ｕk （ｋ＝１〜ｍ）に対応する固有ベクトルｐk （λ) （ｋ＝１〜ｍ）を採用し、それ以外の固有値ｕk の小さい固有ベクトルｐk （λ) （ｋ＝ｍ＋１〜ｎ）を切り捨てることによって、分光反射率分布Ｒ(i,j，λ) を近似し、画像データを圧縮することができる。
【数２】
0003986219.tif 000003
【００３５】
そこで、画像情報を最適に保持した状態で、分光反射率分布Ｒ(i,j，λ) が、画像情報を損なうことなく、近似的に表されるような主成分ベクトルｐk の採用数、すなわち最適主成分数ｍ1 を見いだし、これを用いて、マルチスペクトル画像Ｍs を圧縮する。これによって、マルチスペクトル画像Ｍs の画質を劣化させることなく、画像データを圧縮することができる。
ここで、固有値ｕk の大きい固有ベクトルである主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）を採用し、固有値ｕk の小さい固有ベクトルｐk （λ）（ｋ＝ｍ1 ＋１〜ｎ）を切り捨てるための閾値となる最適主成分数ｍ1 の設定を以下の判断基準によって行なう（ステップ１０８）。
【００３６】
まず、固有値ｕk の大きい順に主成分ベクトルｐk （λ）を順次式（４）の主成分ベクトルｐk （λ）に含め、下記式（６）で示されるマルチスペクトル画像に対応する近似分光反射率分布Ｒ’(i,j，λ) を求める。
【数３】
0003986219.tif 000004
近似分光反射率分布Ｒ’(i,j，λ) は、分光反射率分布Ｒ(i,j，λ) を近似しているため誤差が存在するが、この近似分光反射率分布Ｒ’(i,j，λ) から、一定の分光強度分布を掛け合わせて得られる合成画像Ｇの画像情報の、マルチスペクトル画像ＭS に上記分光強度分布を掛け合わせて得られるオリジナル画像の画像情報に対する誤差も、主成分数ｍが大きくなるに連れて減少する。そこで、判断基準として、所定値を予め定め、近似分光反射率分布Ｒ’(i,j，λ) に分光強度分布を掛け合わせて得られる合成画像Ｇの画像情報の上記オリジナル画像の画像情報に対する誤差が、上記判断基準として定めた所定値より小さくなる最初の主成分数ｍを求めることによって、最小の最適主成分数ｍ1 が取得される。
【００３７】
たとえば、合成画像Ｇの画像情報のマルチスペクトル画像ＭS の画像情報に対する誤差を、ＣＩＥＤ65の標準光条件下のＣＩＥＬ* ａ* ｂ* 色空間における測色値Ｌ* 、ａ* およびｂ* の色差ΔＥ0 として、この色差ΔＥ0 に対する上記所定値を定め、最小の最適主成分数ｍ1 を求める。
また、上記誤差は、合成画像Ｇの画像全体または一部分のスペクトルの自乗誤差Ｅ1 であってもよく、その際、主成分数ｍの増加に対して自乗誤差Ｅ1 の減少量が所定値以内に飽和する時の最小の最適主成分数ｍ1 の値を求めてもよい。
【００３８】
このようにして、マルチスペクトル画像Ｍs の画像情報を保持し最適に代表する最小の最適主成分数ｍ1 を求め、これによって、固有値ｕ1 〜ｕm1（ｕ1 〜ｕm1＞ｕm1＞ｕm1+1＞・・・＞ｕn ）に対応するｍ1 個の最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）を取得する。ここで、取り除かれる主成分ベクトルｐk （λ）（ｋ＝ｍ1 ＋１〜ｎ）は、マルチスペクトル画像Ｍs に含まれるノイズ成分が支配的な場合が比較的多く、マルチスペクトル画像Ｍs から寄与の小さな主成分ベクトルｐk （λ）（ｋ＝ｍ1 ＋１〜ｎ）を除去することで、マルチスペクトル画像Ｍs に含まれるノイズ成分の抑制も行うことができる。
【００３９】
次に、得られた最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）に対して、画像圧縮部２２ｃで画像圧縮（ステップ１１０）を行う。画像圧縮は、像構造に基づく画像データの圧縮（ステップ１１２）および符号化データの圧縮（ステップ１１４）から構成される。
像構造に基づく画像データの圧縮は、例えば、ＪＰＥＧ方式の圧縮が行われ、例えば１０２４×１０２４画素の主成分画像Ｓk を８×８画素のブロック画像に分解し、このブロック画像各々に対して、cosine関数による2 次元の離散型のフーリエ展開であるＤＣＴを施し、得られ低周波成分から高周波成分に至る複数のフーリエ係数をＤＣＴ係数として求めたのち、予め与えられた量子化テーブルによって上記ＤＣＴ係数を除した商を画像データとする。ここで、上記ＤＣＴ係数を除する量子化テーブルの係数は、高周波成分になるほど、値が大きく、しかも高周波成分のＤＣＴ係数は、低周波成分に比べて小さいため、高周波成分のＤＣＴ係数を除した商は大部分が０となる。すなわち、最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）の画像データに含まれる高周波成分の画像データの大部分を、像構造に基づいた量子化テーブルによって０とするのである。一般的に画像データに含まれる高周波成分は、低周波成分に対して、画像に対する寄与が小さく、高周波成分を除去しても原画像の画像情報に対する影響は少なく、高周波成分を省略しても構わないからである。また、高周波成分は、撮影被写体Ｏの画像成分よりもノイズ成分が支配的である場合が多く、高周波成分を除去することで、画像データに含まれるノイズ成分を除去することができる。
【００４０】
このように大部分の画像データの高周波成分のＤＣＴ係数を０とすることで、画像データの情報エントロピーを低減することができ、後述する符号化データ圧縮( ステップ１１４）の際において、画像データを大きく圧縮することが可能となる。
【００４１】
次に、高周波成分の大部分が０となったＤＣＴ係数で構成される主成分画像Ｓk （ｋ＝１〜ｍ1 ）をそれぞれ、符号化し、画像データを圧縮する（ステップ１１４）。符号化は、例えばハフマン符号化やその他の算術符号化が行われる。
例えば、ハフマン符号化においては、ＤＣＴ係数の０次低周波成分である直流成分とそれ以外の周波数成分に分け、例えば、８×８画素のブロック画像を代表した直流成分のみで表示される１／８×１／８の縮尺画像を得、この縮尺画像に対して、隣接する画素値との差分を取ってＤＰＣＭ符号化により圧縮を行う。
一方、直流成分以外の周波数成分は、高周波成分になるにつれ、ＤＣＴ係数が０となって行くため、順次低周波から高周波に向けてＤＣＴ係数を符号化する際、ＤＣＴ係数０の連続する個数、すなわちランレングスによって符号化し、画像データの圧縮率を高めることができる。
【００４２】
このようにして、最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）の画像データを符号化した最適主成分圧縮画像データＳｄk （ｋ＝１〜ｍ1 ）を得、ステップ１０４において求められた最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）とともに、圧縮マルチスペクトル画像データとして、記録メディアドライブ装置２４を介して、ハードディスクやＭＯやＣＤ−ＲやＤＶＤ等の各種記録メディアに保存する（ステップ１１６）。
【００４３】
本発明においては、画像データ量の大きなマルチスペクトル画像Ｍs を主成分分析し、画像情報を最適に保持する最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）を求めることによって、画像データ量を圧縮し、さらに、ＪＰＥＧ方式等によって、最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）に対応した圧縮画像データＳｄk （ｋ＝１〜ｍ1 ）を求めて一層圧縮し，得られた最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および圧縮画像データＳｄk （ｋ＝１〜ｍ1 ）を記録保存する。
これによって、複数のスペクトル画像が視覚的に劣化することなく画像圧縮の際の圧縮率を高め、画像データの取り扱いが向上する。
【００４４】
このようなマルチスペクトル画像の画像圧縮方法および画像圧縮装置において、以下のようなマルチスペクトル画像の圧縮を行った。
ＣＣＤカメラ１６として、ＤＡＬＳＡ社製 CA-D4-1024A（画素数１０２４×１０２４、ピクセルサイズ１２×１２ミクロン、ＰＣＩインターフェース付き、モノクロ）を用い、可変フィルタ１４として、ＣＲＩ社製Varispec Tunable Filter （液晶チューナブルフィルタ）を用いた。この液晶チューナブルフィルタによって、３８０〜７８０ｎｍの撮影波長帯域を、バンド帯域幅を１０ｎｍずつに分割し、４１バンドとした。人物を撮影被写体Ｏとし、４１画像から成る人物画のマルチバンド画像ＭB を得た。
【００４５】
マルチバンド画像記憶部１８、マルチスペクトル画像取得装置２０およびマルチスペクトル画像圧縮装置２２は、ＰＲＯＳＩＤＥ社製ブック型ＰＣ（パーソナルコンピュータ）を用いて構成し、Windows ９５上でＣ++言語によるソフトウェア処理を行った。なお、ＰＲＯＳＩＤＥ社製ブック型ＰＣは、ＣＰＵが１６６MHz であり、ＲＡＭは１２８Mbyte であった。
なお、前処理として、ソフトウェア処理の都合上から、画像データの量子化数を２バイトから１バイトに変換した。この前処理は、以降で述べる画像データ量の圧縮には含まれていないものである。
【００４６】
まず、マルチスペクトル画像取得装置２０において、マルチバンド画像ＭB からマルチスペクトル画像ＭS を抽出し、主成分分析を行い、主成分ベクトルｐk （λ）（ｋ＝１〜４１）および主成分画像Ｓk （ｋ＝１〜４１）を求めた。
【００４７】
次に、最適主成分数ｍ1 を求めるために、判断基準として、ＣＩＥＤ65の標準光源下のＣＩＥＤ１９７６Ｌ* ａ* ｂ* 色空間における色度に基づく平均色差を１．５とし、上述した主成分分析法によって固有値ｕk および固有ベクトルである主成分ベクトルｐk を求めた。固有値ｕk の大きい順に採用したｍ個の主成分ベクトルｐk （λ）（ｋ＝１〜ｍ）によって再構成される合成画像Ｇとマルチスペクトル画像Ｍs から得られるオリジナル画像との上記平均色差を求め、平均色差が１．５以下となる最適主成分数ｍ1 を決定した。
その結果、最適主成分数ｍ1 は６であった。また、マルチスペクトル画像Ｍs を第１〜第６主成分ベクトルによって近似しても、再構成された合成画像Ｇは、オリジナル画像の画像情報を依然保持し、しかも視覚的に劣化の少ないことがわかった。すなわち、第１〜６主成分画像Ｓk （ｋ＝１〜６）と第１〜６主成分ベクトルにより、４１のバンド帯域からなるマルチスペクトル画像Ｍs を約１／７（６／４１）に画像データ量を圧縮することができた。
【００４８】
さらに、求められた第１〜６主成分画像Ｓk （ｋ＝１〜６）について、上述した像構造に基づく非可逆なＤＣＴによるＪＰＥＧ方式で画像データの圧縮を行い、最適主成分画像Ｓk （ｋ＝１〜６）の画像データを符号化した。
その結果、最終的に主成分画像Ｓk （ｋ＝１〜６）の画像データは、４１Ｍバイトから０．７Ｍバイトに、約１／６０に圧縮されることがわかった。しかも、画像情報を保持し、視覚的な劣化も見られなかった。
【００４９】
このように、本発明の画像圧縮方法およびこれを用いた画像圧縮装置は、複数のスペクトル画像に対して、視覚的な劣化が少なく画像圧縮の際の圧縮率を高め、例えば１／６０程度に高め、画像データの取り扱いを向上するのは明らかである。
【００５０】
以上、本発明のマルチスペクトル画像の画像圧縮方法および画像圧縮装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００５１】
【発明の効果】
以上、詳細に説明したように、本発明によれば、画像データ量の大きなマルチスペクトル画像を主成分分析し、画像情報を最適に保持し代表する最適主成分ベクトルおよび最適主成分画像を求めることによって、画像データ量を圧縮し、さらに最適主成分画像をＪＰＥＧ方式等による像構造圧縮を行い、さらに像構造圧縮を行った最適主成分画像の画像データを符号化して圧縮画像データとすることによって、マルチスペクトル画像の画像データに対して、画像情報を最適に保持し代表する最適主成分画像と最適主成分圧縮画像データで近似して表すことができるので、画像品質を損なうことなく、画像圧縮し、さらに圧縮率を高め、画像データの取り扱いを向上させることができる。
また、マルチスペクトル画像に含まれる主成分ベクトルからノイズ成分が支配的な主成分ベクトルを除去することができ、ノイズ成分の抑制も行うことができる。
【図面の簡単な説明】
【図１】  本発明のマルチスペクトル画像圧縮装置を含むマルチスペクトル画像取得システムの一例を示す概念図である。
【図２】  本発明に係るマルチスペクトル画像圧縮装置の一例を示すブロック図である。
【図３】  本発明のマルチスペクトル画像圧縮方法のフローの一例を示すフローチャートである。
【符号の説明】
１０  マルチスペクトル画像取得システム
１２  光源
１４  可変フィルタ
１６  ＣＣＤカメラ
１８  マルチバンド画像データ記憶装置
２０  マルチスペクトル画像取得装置
２２  マルチスペクトル画像圧縮装置
２２ａ  主成分分析部
２２ｂ  最適主成分ベクトル・画像抽出部
２２ｃ  画像圧縮部
２４  記録メディアドライブ装置
【図１】
0003986219.tif 000005
【図２】
0003986219.tif 000006
【図３】
0003986219.tif 000007