(57)【要約】本発明は、マルチスペクトル画像またはハイパースペクトル画像に変換するために瞬時または非瞬時マルチバンド画像を生成する手段に関するものであり、この手段は、光収集手段（１１）と、少なくとも一つの２次元センサアレイ（１２１）と、構造（１）の光路（ＯＰ）においてイメージセンサアレイ（１２１）の手前に位置する瞬時カラー分離手段（１２３）と、撮像を電磁スペクトルの所定部分に制限するために光路（ＯＰ）に設けられる第１均一スペクトルフィルタ（１３）と、を備える。本発明は特に、フィルタホイール（１１４）に取り付けられる、または透過型ディスプレイ（１１５）によって表示されるカラーフィルタモザイクまたはスペクトルフィルタモザイク、及び／又は均一カラーフィルタまたはスペクトルフィルタを含むフィルタユニット（ＦＵ）が、収束光（Ｂ）の位置の、または収束光（Ｂ）に近接する位置の光路（ＯＰ）においてカラー分離手段（１２３）の手前に取り外し不能に、または入れ替え可能に配置されることを示唆している。各カラーフィルタモザイクまたはスペクトルフィルタモザイクは多数の均質フィルタリング領域から成る。カラーフィルタモザイクまたはスペクトルフィルタモザイクの複数のフィルタリング領域の透過率曲線（ＴＣ）は、これらの透過率曲線、及びカラー分離手段（１２３）のフィルタリング領域の透過率曲線が重なる他に、部分的に重なることができる。カラーフィルタモザイクまたはスペクトルフィルタモザイクの透過率曲線（ＴＣ）、及びカラー分離手段（１２３）の透過率曲線は、分析対象のスペクトルの複数の区間に適切に広がる。カラー分離手段（１２３）及びカラーフィルタモザイクまたはスペクトルフィルタモザイクを組み合わせることにより、異なるセットの線形独立透過率曲線（ＴＣ）が生成される。イメージセンサ（１２）が捉えるマルチフィルタ画像は、マルチフィルタモザイクの複数の領域の影響を受ける複数の画像領域を特定し、セグメント化することによりデモザイク処理され、任意の補間ステップを行なったあと、マルチバンド画像が得られる。結果として得られるマルチバンド画像はマルチスペクトル画像またはハイパースペクトル画像に変換される。
2008518229.tif 000002
【特許請求の範囲】
【請求項１】
瞬時または非瞬時マルチバンド画像を生成する構造（１）であって、
光収集手段（１１）と、
瞬時カラー分離手段（１２３）を有する少なくとも一つの２次元センサアレイ（１２１）を含むイメージセンサ（１２）であって、前記瞬時カラー分離手段（１２３）は、前記構造（１）の光路（ＯＰ）において前記イメージセンサアレイ（１２１）の手前に位置しているか、または前記イメージセンサアレイ（１２１）に埋め込まれている、イメージセンサ（１２）と、
撮像を電磁スペクトルの所定部分に制限するために前記光路（ＯＰ）に設けられた第１の均一スペクトルフィルタ（１３）と、
重なりカラーフィルタモザイクまたは重なりスペクトルフィルタモザイクを含むか、または、重なりカラーフィルタモザイクまたは重なりスペクトルフィルタモザイクと、均一カラーフィルタまたは均一スペクトルフィルタとを含むフィルタユニット（ＦＵ）であって、収束光（Ｂ）の位置か、または収束光（Ｂ）に近接する位置の光路（ＯＰ）において前記カラー分離手段（１２３）の手前に取り外し不能に、または入れ替え可能に配置されたフィルタユニット（ＦＵ）と、を備え、
前記カラーフィルタモザイクまたは前記スペクトルフィルタモザイクは、多数の均質なフィルタリング領域を含み、前記カラーフィルタモザイクまたは前記スペクトルフィルタモザイクのフィルタリング領域の透過率曲線（ＴＣ）と、前記均一フィルタの透過率曲線と、前記カラー分離手段（１２３）のフィルタリング領域の透過率曲線とは重なっているか、または部分的に重なっており、前記カラーフィルタモザイクまたは前記スペクトルフィルタモザイクの透過率曲線（ＴＣ）と、前記均一フィルタの透過率曲線と、前記カラー分離手段（１２３）の透過率曲線とは分析対象のスペクトルの複数の区間に適切に広がっており、前記カラー分離手段（１２３）と、前記カラーフィルタモザイクまたは前記スペクトルフィルタモザイクとの組み合わせにより、異なるセットの線形独立透過率曲線（ＴＣ）が生成され、マルチフィルタモザイクの複数の領域の影響を受ける複数の画像領域を特定してセグメント化することにより、前記イメージセンサ（１２）が捉えたマルチフィルタ画像をデモザイク処理してマルチバンド画像を取得し、部分最小自乗法を使用する統計的アプローチと人工神経網アプローチとの２つのアプローチのうちの一つを使用することにより前記マルチバンド画像を変換してマルチスペクトル画像またはハイパースペクトル画像を取得することを特徴とする構造（１）。
【請求項２】
瞬時または非瞬時マルチバンド画像を生成する構造（１）であって、
光収集手段（１１）と、
瞬時カラー分離手段（１２３）を有する少なくとも一つの２次元センサアレイ（１２１）を含むイメージセンサ（１２）であって、前記瞬時カラー分離手段（１２３）が、前記構造（１）の光路（ＯＰ）において前記イメージセンサアレイ（１２１）の手前に位置しているか、または前記イメージセンサアレイ（１２１）に埋め込まれている、イメージセンサ（１２）と、
撮像を電磁スペクトルの所定部分に制限するために前記光路（ＯＰ）に設けられた第１の均一スペクトルフィルタ（１３）と、
重なりカラーフィルタモザイクまたは重なりスペクトルフィルタモザイクと、均一カラーフィルタまたは均一スペクトルフィルタとを含むか、または、重なり均一カラーフィルタまたは重なり均一スペクトルフィルタを含むフィルタユニット（ＦＵ）と、を備え、
前記均一カラーフィルタまたは前記均一スペクトルフィルタはフィルタホイール（１１４）に取付けられているか、または透過型ディスプレイ（１１５）によって表示可能であり、前記フィルタユニット（ＦＵ）は、収束光（Ｂ）の位置か、または収束光（Ｂ）に近接する位置の光路（ＯＰ）において前記カラー分離手段（１２３）の手前に配置されており、前記カラーフィルタモザイクまたは前記スペクトルフィルタモザイクは、多数の均質なフィルタリング領域を含み、前記カラーフィルタモザイクまたは前記スペクトルフィルタモザイクのフィルタリング領域の透過率曲線（ＴＣ）と、前記均一フィルタの透過率曲線と、前記カラー分離手段（１２３）のフィルタリング領域の透過率曲線とは重なっているか、または部分的に重なっており、前記カラーフィルタモザイクまたは前記スペクトルフィルタモザイクの透過率曲線（ＴＣ）と、前記均一フィルタの透過率曲線と、前記カラー分離手段（１２３）の透過率曲線とは分析対象のスペクトルの複数の区間に適切に広がっており、前記カラー分離手段（１２３）と、前記カラーフィルタモザイクまたは前記スペクトルフィルタモザイクとの組み合わせにより、異なるセットの線形独立透過率曲線（ＴＣ）が生成され、マルチフィルタモザイクの複数の領域の影響を受ける複数の画像領域を特定してセグメント化することにより、前記イメージセンサ（１２）が捉えたマルチフィルタ画像をデモザイク処理してマルチバンド画像を取得し、部分最小自乗法を使用する統計的アプローチと人工神経網アプローチとの２つのアプローチのうちの一つを使用することにより前記マルチバンド画像を変換してマルチスペクトル画像またはハイパースペクトル画像を取得することを特徴とする構造（１）。
【請求項３】
前記イメージセンサ（１２’）は、３つの個別の２次元センサアレイ（１２１ａ，１２１ｂ，１２１ｃ）を含み、前記カラー分離手段（１２２’）は、前記２次元センサアレイ（１２１ａ，１２１ｂ，１２１ｃ）に個別の帯域を割り当てるべく、入射光を３つの異なるスペクトル帯域に分離する、ビームスプリッタ（１２４）またはカラー分離ビームスプリッタのような手段を含み、前記ビームスプリッタ（１２４）は３つの個別の均一カラーフィルタ（１２５ａ，１２５ｂ，１２５ｃ）を有し、前記フィルタユニット（ＦＵ）はカラーフィルタモザイクまたはスペクトルフィルタモザイクを含むことを特徴とする、請求項１又は２記載の構造。
【請求項４】
瞬時マルチバンド画像を生成するイメージセンサ（１２）であって、
少なくとも一つの２次元センサアレイ（１２１）と、
前記イメージセンサアレイ（１２１）に埋め込まれた瞬時カラー分離手段（１２３）と、
フィルタユニット（ＦＵ）と、
カラーフィルタモザイクまたはスペクトルフィルタモザイク（１１２）と、を備え、
前記フィルタユニット（ＦＵ）は、前記カラー分離手段（１２３）の上に直接配置されるか、または前記カラー分離手段（１２３）に一体化されており、マイクロレンズが前記フィルタユニット（ＦＵ）と前記カラー分離手段（１２３）との間で使用可能であり、マルチフィルタモザイクの複数の領域の影響を受ける複数の画像領域を特定してセグメント化することにより、前記イメージセンサ（１２）が捉えた画像をデモザイク処理してマルチバンド画像を取得し、部分最小自乗法を使用する統計的アプローチと人工神経網アプローチとの２つのアプローチのうちの一つを使用することにより前記マルチバンド画像を変換してマルチスペクトル画像またはハイパースペクトル画像を取得し、前記カラー分離手段（１２３）がＲＧＢＴカラーモザイクを含む場合、前記カラーフィルタモザイクまたは前記スペクトルフィルタモザイク（１１２）はＣＭＹＴカラーモザイクを含み、前記カラー分離手段（１２３）がＣＭＹＴカラーモザイクを含む場合、前記カラーフィルタモザイクまたは前記スペクトルフィルタモザイク（１１２）はＲＧＢＴカラーモザイクを含むことを特徴とするイメージセンサ（１２）。
【請求項５】
前記イメージセンサ（１２’）は、各々埋め込みカラーフィルタモザイク（１２３ａ，１２３ｂ，１２３ｃ）を有する３つの個別の２次元センサアレイ（１２１ａ，１２１ｂ，１２１ｃ）を備え、前記カラー分離手段（１２２’）は、前記２次元センサアレイ（１２１ａ，１２１ｂ，１２１ｃ）に個別の帯域を割り当てるべく、入射光を３つの異なるスペクトル帯域に分離する、ビームスプリッタ（１２４）またはカラー分離ビームスプリッタのような手段を含み、前記ビームスプリッタ（１２４）は３つの個別の均一カラーフィルタ（１２５ａ，１２５ｂ，１２５ｃ）を有することを特徴とする請求項４記載のイメージセンサ。
【請求項６】
前記イメージセンサ（１２’）は、４つの個別の２次元センサアレイ（１２１ａ，１２１ｂ，１２１ｃ，１２１ｄ）を備え、前記センサアレイ（１２１ｄ）は、何れの均一カラーフィルタまたは均一スペクトルフィルタも使用することなく、瞬時カラー分離手段（１２３ｄ）によって被覆される請求項５記載のイメージセンサ。
【請求項７】
少なくとも一つの追加光ファイバ（ＯＦ）を使用して光信号を前記マルチフィルタモザイクの一部分に供給し、前記マルチフィルタモザイク領域の残りの部分は、使用するレンズシステムによって送出された光信号を受信することを特徴とする請求項１乃至６のいずれか一項に記載の構造。
【請求項８】
多数の光ファイバ（ＯＦ）を使用して光信号を前記マルチフィルタモザイクに供給することを特徴とする請求項１乃至６のいずれか一項に記載の構造。
【請求項９】
各前記２次元センサアレイ（１２１，１２１ａ，１２１ｂ，１２１ｃ、または１２１ｄ）は、少なくとも３つの層を有する層構造フォトダイオードを含み、前記センサアレイ（１２１，１２１ａ，１２１ｂ，１２１ｃ、または１２１ｄ）にはスペクトル分離手段またはカラー分離手段が埋め込まれており、追加のカラー分離手段（１２３，１２３ａ，１２３ｂ，１２３ｃ，または１２３ｄのそれぞれ）が不要であることを特徴とする請求項１乃至８のいずれか一項に記載の構造。
【請求項１０】
前記カラーフィルタモザイクまたは前記スペクトルフィルタモザイク、及び／又は前記均一カラーフィルタまたは均一スペクトルフィルタ（１２５ａ，１２５ｂ，１２５ｃ）は、透明材料または半透明材料の上に既存のカラーレーザ印刷技術またはインク印刷技術を使用することにより形成されるか、または他の現在の写真印刷技術を使用することにより形成されることを特徴とする請求項１乃至９のいずれか一項に記載の構造。
【請求項１１】
前記イメージセンサ（１２）は、単一の２次元センサアレイ（１２１）と、カラー分離手段とを含み、前記カラー分離手段は、前記単一の２次元センサアレイ（１２１）の上の個々のピクセル要素に取り付けられた微小要素を有する第２カラーフィルタモザイクまたは第２スペクトルフィルタモザイクであることを特徴とする請求項１乃至８のいずれか一項に記載の構造。
【請求項１２】
デジタルカメラは前記構造の一部分であり、前記イメージセンサ（１２または１２’）及び前記カラー分離手段（１２３または１２２’）は前記デジタルカメラの一部分であることを特徴とする請求項１乃至９のいずれか一項に記載の構造。
【請求項１３】
光学付属機器であって、
カメラレンズを有する又は有さないデジタルカメラの光軸に前記光学機器の光軸を一致させるように前記デジタルカメラに接続され、前記光学機器と前記デジタルカメラとが互いに接続されると、請求項１乃至９のいずれか一項に記載の構造を形成するように構成されていることを特徴とする光学付属機器。
【請求項１４】
少なくとも一つの第１カラーフィルタモザイクまたは第１スペクトルフィルタモザイク（１１２）を備えるカラーモザイクまたはスペクトルモザイクであって、
前記カラーモザイクまたはスペクトルモザイク（１１２）は、接眼レンズに挿入可能に構成され、前記接眼レンズと、挿入された前記カラーモザイクまたはスペクトルモザイクとは、デジタルカメラと協調動作することにより請求項１乃至９のいずれか一項に記載の構造を形成することを特徴とするカラーモザイクまたはスペクトルモザイク。
【請求項１５】
前記カラーモザイクまたはスペクトルモザイク（１１２）は、望遠鏡または顕微鏡のような接眼レンズに挿入可能に構成されていることを特徴とする請求項１４記載のカラーモザイクまたはスペクトルモザイク。
【請求項１６】
ＲＧＢＴまたはＲＧＢカラーモザイク、ＣＭＹＴまたはＣＭＹカラーモザイク、またはそれらのカラーを有する均一カラーフィルタのような、補色関係にあるカラーフィルタモザイクまたはスペクトルフィルタモザイク、及び／又は均一カラーフィルタまたは均一スペクトルフィルタを組み合わせることにより複数セットの均一マルチフィルタまたはマルチフィルタモザイクが生成され、ピクセル毎の位置整合が前記イメージセンサアレイ（１２１）と前記マルチフィルタモザイクとの間で行われることを特徴とする請求項１乃至８のいずれか一項に記載の構造。
【請求項１７】
ＣＭＹＴまたはＣＭＹカラーモザイクか、またはＣ，Ｍ，Ｙの均一カラーフィルタを使用して所望のマルチフィルタリングが実現され、使用する層構造フォトダイオードは少なくとも３つの層（Ｒ，Ｇ，Ｂ）を有し、ピクセル毎の位置整合が前記イメージセンサアレイと前記カラーモザイクとの間で行われることを特徴とする請求項９記載の構造。
【請求項１８】
マルチフィルタモザイクの生成に使用されるＶＴモザイクが収束光の位置に配置されることを特徴とする請求項１６又は１７記載の構造。
【請求項１９】
ＲＧＢカラーモザイクとＣＭＹＴＢｒＢｋカラーモザイクとの組み合わせによって、マルチフィルタモザイクが得られることを特徴とする請求項１乃至８のいずれか一項に記載の構造。
【請求項２０】
少なくとも３つの層（Ｒ，Ｇ，Ｂ）を有する層構造フォトダイオードを使用する場合、ＣＭＹＴＢｒＢｋカラーモザイクを使用して所望のマルチフィルタリングが実現されることを特徴とする請求項９記載の構造。
【請求項２１】
少なくとも３つの層（Ｒ，Ｇ，Ｂ）を有する層構造フォトダイオードであって、それらの層のうち少なくとも一つの層が近赤外光に感度を有し、それらの層のうち少なくとも一つの別の層が近紫外光に感度を有する層構造フォトダイオードを使用する場合、ＣＭＹＴまたはＣＭＹＴＢｋカラーモザイクを使用して所望のマルチフィルタリングが実現されることを特徴とする請求項９記載の構造。
【請求項２２】
ＲＧＣＹＢｒＢｋカラーモザイクまたはＲＧＣＹＢｒＢｋスペクトルモザイクと、ＶＴカラーモザイクまたはＶＴスペクトルモザイクとの組み合わせによって、マルチフィルタモザイクが得られることを特徴とする請求項１乃至８のいずれか一項に記載の構造。
【請求項２３】
請求項１乃至６のいずれか一項に記載の構造を備えるシステムであって、
前記マルチフィルタモザイクの複数の領域の影響を受ける複数の画像領域を特定してセグメント化することにより、前記イメージセンサ（１２）が捉えたマルチフィルタ画像をデモザイク処理し、距離変換を使用する補間アプローチと、部分最小自乗法を用いた統計的変換を使用する補間アプローチと、人工神経網アプローチとの３つのアプローチのうちの一つを使用することにより補間を行なって全帯域のマルチバンド画像を取得し、部分最小自乗法を使用する統計的アプローチと、人工神経網アプローチとの２つのアプローチのうちの一つを使用することにより前記マルチバンド画像を変換してマルチスペクトル画像またはハイパースペクトル画像を取得することを特徴とするシステム。
【請求項２４】
請求項１乃至９のいずれか一項に記載の構造を備えるシステムであって、
前記マルチフィルタモザイクの複数の領域の影響を受ける複数の画像領域を特定してセグメント化することにより、前記イメージセンサ（１２）が捉えたマルチフィルタ画像をデモザイク処理し、所定の画像領域群に関して平均値を計算して各領域に関する一つのマルチバンド平均ベクトルを生成するとともに、他の画像領域群に対して、距離変換を使用する補間アプローチと、部分最小自乗法を用いた統計的変換を使用する補間アプローチと、人工神経網アプローチとの３つのアプローチのうちの一つを使用することにより補間を行なって全帯域成分をこれらの画像領域に持つマルチバンド画像を取得し、部分最小自乗法を使用する統計的アプローチと、人工神経網アプローチとの２つのアプローチのうちの一つを使用することにより、前記マルチバンド平均ベクトルを含む前記マルチバンド画像を変換して、マルチスペクトル画像またはハイパースペクトル画像と、各前記マルチバンド平均ベクトルに対応するスペクトルとを取得することを特徴とするシステム。
【請求項２５】
請求項７記載の構造を備えるシステムであって、
前記マルチフィルタモザイクの複数の領域の影響を受ける複数の画像領域を特定してセグメント化することにより、前記イメージセンサ（１２）が捉えたマルチフィルタ画像をデモザイク処理し、光ファイバ（ＯＦ）の光信号を検出する画像領域群に関して平均値を計算して各領域に関する一つのマルチバンド平均ベクトルを生成するとともに、他の画像領域群に対して、距離変換を使用する補間アプローチと、部分最小自乗法を用いた統計的変換を使用する補間アプローチと、人工神経網アプローチとの３つのアプローチのうちの一つを使用することにより補間を行なって全帯域成分をこれらの画像領域に持つマルチバンド画像を取得し、部分最小自乗法を使用する統計的アプローチと、人工神経網アプローチとの２つのアプローチのうちの一つを使用することにより、前記マルチバンド平均ベクトルを含む前記マルチバンド画像を変換して、マルチスペクトル画像またはハイパースペクトル画像と、各前記マルチバンド平均ベクトルに対応するスペクトルとを取得することを特徴とするシステム。
【請求項２６】
請求項２５記載の構造を備えるシステムであって、
光ファイバ（ＯＦ）群のうちの少なくとも一つの光ファイバは照明光源の信号を送出し、前記生成された前記マルチバンド平均ベクトルとそれに対応する推定されたスペクトルとを使用して、前記マルチバンド画像と、前記マルチスペクトル画像またはハイパースペクトル画像とに影響する照明効果をそれぞれ除去することにより、複数のピクセルの反射スペクトル応答及び反射スペクトルがそれぞれ取得されることを特徴とするシステム。
【請求項２７】
請求項２６記載の構造を備えるシステムであって、
前記反射スペクトル応答及び前記反射スペクトルをＲ，Ｇ，Ｂ値に変換して、所望の、または最適化された透過率曲線（ＴＣ）を持つＲ，Ｇ，Ｂフィルタを使用することによりカラー補正画像が生成されることを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スペクトル情報が豊富なマルチバンド画像、マルチスペクトル及びハイパースペクトル画像を生成する、又は、一般的にはスペクトル信号又はスペクトル情報が豊富な信号を生成する構造及び方法を備えるシステムに関する。本発明はまた、マルチスペクトル及びハイパースペクトル画像を生成する光学付属機器及び方法に関する。
【背景技術】
【０００２】
一般にスペクトロメータと呼ばれるマルチスペクトルセンサ及びハイパースペクトルセンサが目覚ましい進歩を遂げているにもかかわらず、周囲の瞬時の所謂マルチスペクトル２次元画像またはハイパースペクトル２次元画像、すなわち３つよりも多くの帯域を持つ２次元画像を取得する方法が現時点でも非常に少ないか、または方法の精度が低い。ハイパースペクトル画像は１０個よりも多くのスペクトル帯域を持つ画像として定義される。一方、マルチスペクトル画像は４〜１０個の帯域を持つ。
【０００３】
今日におけるマルチスペクトルセンサシステム及びハイパースペクトルセンサシステムは、結果としての画像を生成するための空間スキャニング及び／又はスペクトルスキャニングに依存する。これらのシステムの幾つかは、以下の公報に記載されている。
【０００４】
「ダイナミックレンジを大きくしたフォトダイオード・アレイ・フーリエ変換スペクトロメータ」、Ｔ．Ｈ．Ｂａｒｎｅｓ、Ａｐｐｌ．Ｏｐｔ．２４，３７０２−３７０６（１９８５）、
「セルフスキャニング・フォトダイオード・アレイを備えるフーリエ変換スペクトロメータ」、Ｔ．Ｏｋａｍｏｔｏ、Ｓ．Ｋａｗａｔａ、Ｓ．Ｍｉｎａｍｉ、Ａｐｐｌ．Ｏｐｔ．２３，２６９（１９８４）、
「ＴＨＲＩＦＴＩ：断層撮影に用いるハイパースペクトル・リモート撮像フーリエ変換スペクトロメータ」、Ｓｌｏｕｇｈ，Ｗ．Ｊ．、Ｒａｆｅｒｔ，Ｊ．Ｂ．、Ｒｏｈｄｅ，Ｃ．Ａ．、Ｈａｒｔ，Ｃ．Ｌ．、ｔｈｅ  Ｐｒｏｃｅｅｄｉｎｇｓ  ＳＰＩＥ  Ｖｏｌ．３３９３、２０７−２１６（１９９８）、
「天文学用途における可視領域空間変調撮像フーリエ変換スペクトロメータ（ＳＭＩＦＴＳ）」、Ｒａｆｅｒｔ，Ｊ．Ｂ．、Ｈｏｌｂｅｒｔ，Ｅ．Ｔ．、Ｒｕｓｋ，Ｅ．Ｔ．、Ｄｕｒｈａｍ，Ｓ．Ｅ．、Ｃａｕｄｉｌｌ，Ｅ．、Ｋｅａｔｉｎｇ，Ｄ．、Ｎｅｗｂｙ，Ｈ．、ｔｈｅ  Ｂｕｌｌｅｔｉｎ  ｏｆ  ｔｈｅ  ＡｍｅｒｉｃａｎＡｓｔｒｏｎｏｍｉｃａｌ  Ｓｏｃｉｅｔｙ，２４，１２８２（１９９２）、
「静的な分光法による可視領域フーリエ変換スペクトロメータの偏光干渉計」、Ｔｕｇｂａｙｅｖ，Ｖ．Ａ．、Ｐｒｏｃｅｅｄｉｎｇｓ  ＳＰＩＥ  Ｖｏｌ．２０８９，２９２（１９９４）。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
空間スキャニングの場合、センサシステムはスペクトル全体を瞬時に捉えるが、各瞬時のシーンの小さな領域のみに関するスペクトルしか捉えず、空間スキャニングを使用してシーン全体をカバーする。この動作は、例えば撮像対象シーンを横切る形で変換される直線状のセンサ要素を使用することにより行うことができ、この方法によって、ほとんどのマルチスペクトル画像及びハイパースペクトル画像（例えば、航空画像、衛星画像、工業検査向け画像を参照）が生成される。スペクトルスキャニングでは、これとは逆の動作が行われるので、スペクトル全体を取得するために時間を要する。スペクトルスキャニングは、例えば多数の異なる狭帯域通過フィルタまたは広帯域通過フィルタを含むフィルタホイールを使用することにより行うことができ、正確に同じシーンを各フィルタを使用して取り込む必要がある。
【０００６】
スキャニング手順の必要性に関連する不具合は、結果として得られる画像がスキャニング時間よりも短時間のシーン変化に対する感度が高いことである。この現象は、高速に変化するイベントに関する近距離撮影において特に深刻になる。本発明は、フィルタ入れ替え、またはフィルタ交換が全く行なわれない場合、すなわちシーンのスペクトルスキャニングが全く必要ではない場合に、瞬時のマルチスペクトル及びハイパースペクトル２次元画像を撮像することを目的とする。
【０００７】
デジタルカラーカメラは瞬時ＲＧＢ（赤、緑、青）カラー画像を、イメージセンサチップに集積化されたカラーフィルタモザイク（例えば、ベイヤーカラーフィルタアレイ）を使用して生成することができる。使用するカラーフィルタモザイクは、ＲＧＢ，ＲＧＢＥ（Ｅ＝エメラルド），ＣＭＹ（シアン、マゼンタ、イエロー）またはＣＭＹＧカラー領域により構成することができる。使用するモザイクの異なるカラー領域の背面に位置するセンサ群の応答を処理することにより、最終的なＲＧＢ画像を生成する。
【０００８】
別の表現をすると、３つまたは４つの広帯域スペクトルフィルタを使用してＲＧＢ画像、すなわち３色帯域画像を生成する。この技術の範囲では、多数の高品質狭帯域通過フィルタモザイクを使用して、モザイクに使用される異なるフィルタの数に等しい数の帯域を持つ画像を生成することができる（例えば、米国特許第４，８８５，６３４号明細書参照）。この明細書は、モノクロ画像及びカラー画像を表示する内視鏡であって、光学内視鏡がＴＶカメラと特定のスペクトル波長成分を処理する画像信号プロセッサとに接続される構成の内視鏡と、特定波長領域に関するモノクロ画像を正常カラー画像と共に表示する表示手段とを示している。しかしながら、このアプローチは、コストが高いため、有用性が小さい。
【０００９】
「静的計測のための偏光干渉撮像スペクトロメータ（ＳＰＩＩＳ）」、Ｚｈａｎｇ，Ｃ．、Ｂｉｎ，Ｘ．、Ｚｈａｏ，Ｂ．、Ｐｒｏｃｅｅｄｉｎｇｓ  ＳＰＩＥ  Ｖｏｌ．４０８７、ｐ．９５７（２０００）は、瞬時ハイパースペクトル撮像に使用することができる開発中の新技術を示唆している。
【課題を解決するための手段】
【００１０】
本発明は、スペクトル情報が豊富なマルチバンド画像、マルチスペクトル及びハイパースペクトル画像を生成する、又は、一般的にはスペクトル信号又はスペクトル情報が豊富な信号を生成する構造及び方法を備えるシステムに関する。本発明の構造は、光収集手段と、埋め込み（イメージセンサに集積化される）カラー分離手段を含む少なくとも一つの２次元センサアレイを有するイメージセンサと、撮像を電磁スペクトルの所定部分に制限するために当該構造の光路に配置される任意の均一スペクトルフィルタと、を備える。本発明はまた、マルチスペクトル及びハイパースペクトル画像を生成する光学付属機器及び方法にも関する。カラーモザイク、均一カラーフィルタ、及び／又はカラーフィルタホイールを本発明による構造、または本発明による光学付属機器に設けることができる。イメージセンサにより取り込まれる画像をデモザイク処理してマルチバンド画像とする。この場合、各帯域は、特定のフィルタ応答信号を取り込むピクセル群から成る。各帯域の空き領域は補間を用いて埋められる。スペクトルは各マルチバンドピクセルに関して推定されるので、マルチスペクトル画像またはハイパースペクトル画像が得られる。勿論、生成された画像の全てのスペクトルの平均を計算することにより、撮像シーン全体に関して一つのスペクトルを生成することができるが、更に効率の良いアプローチでは、マルチバンド画像の各帯域の（または、各帯域の所定部分の）平均値を計算し、最終的に、生成されたマルチバンドベクトルをスペクトルに変換する、すなわちスペクトロメータが得られる。光ファイバを使用して光をイメージセンサアレイの所定部分に案内することで、マルチスペクトロメータを得ることができ、マルチスペクトロメータは使用する光ファイバの数と同じ数の光源を並列に測定することができる。カラーフィルタホイールを含まない構造や、またはフィルタ取替えやフィルタ交換を行う他の手段を含まない構造で、瞬時マルチスペクトル及びハイパースペクトル画像が得られる。フィルタ取替えやフィルタ交換は、可動部品を有するいずれかのフィルタホルダーを使用したり、薄いフラットな透過型ディスプレイを使用して一連の必要な均一カラーフィルタ及び／又はフィルタモザイクを表示することによって行うことができる。
【００１１】
本発明は、多数の重なり広帯域スペクトルフィルタを使用して、多数の狭帯域スペクトルを持つマルチスペクトル画像またはハイパースペクトル画像に変換することができるスペクトル情報の豊富なマルチバンド画像を生成する（適切な画像デモザイク処理の後に）ことを示唆している。一連の重なりフィルタ（これらのフィルタは物理的に直接接触するように、または構造の光路の異なる位置に配置される）は所謂マルチフィルタを構成する、すなわち入射光が構成フィルタ層群を連続的に通過する。多数の低コストカラーフィルタを使用してマルチフィルタを構成することができ、これらのマルチフィルタは、非常に多くの高コスト狭帯域フィルタを使用する形態と等価である。従って、スペクトルスキャニング時間は、該当する狭帯域フィルタ（各フィルタは全シーンをカバーする必要がある）を使用するのではなく、これらのマルチフィルタを使用する場合に短くなる。更に、高分解能モザイクをこれらのマルチフィルタにより構成する（これらのフィルタから成る周期的パターンを使用して）ことにより、スキャニング時間を全て無くすことが可能になる。この目標を達成するための別の使用可能な方法は、マルチチップセンサを使用することにより行なわれるので、複雑な高コストの光学ハードウェアだけでなく、電子ハードウェアが必要になる。
【００１２】
デジタルカラーカメラに関しては、製造業者は既に、カラーモザイク（例えば、ベイヤーカラーフィルタアレイ）をセンサに集積化する形で製造しているので、これらのフィルタを入れ替える、または変更するのは非常に困難であり、かつコストが高く付く。従って、瞬時マルチスペクトル２次元画像または瞬時ハイパースペクトル２次元画像、或いは該当するカラー画像よりもスペクトル情報を多く含む瞬時マルチバンド画像を生成するコスト効率の高い柔軟性に富んだデバイスが必要になる。
【００１３】
本発明の提案の一つの実施形態は、光路にカラーモザイク（群）を配置する構成の追加のレンズシステムを備えるデジタルカラーカメラ（ＣＣＤイメージセンサチップまたはＣＭＯＳイメージセンサチップを含む）を使用して多くのスペクトル帯域を持つ瞬時２次元画像を得ることを示唆している。フィルタ層を光路に配置することにより、上記構造が実現する。この構造はコスト効率も高い。
【００１４】
別のアプローチでは、イメージセンサチップ（このチップは、固有の埋め込みカラーフィルタモザイクを既に含んでいることができる）を薄いマルチフィルタモザイク膜で被覆し、マルチフィルタモザイク膜は、イメージセンサ要素を被覆し、取り外し可能に配置される薄膜（または、複数の薄膜から成る積層構造、すなわち複数のサンドイッチ状薄膜から成るブロック）として、イメージセンサ要素と一体的に形成される（埋め込まれる）一つの層として設けられる。イメージセンサ要素と被覆膜または被覆層との間の直接接触を実現して、この追加膜または追加層が光路の収束光の位置に確実に配置されるようにする必要がある。マイクロレンズを使用して収束光を膜及びセンサに供給することができる。
【００１５】
スキャニング時間が重要ではない（画像キューブを取得する場合、カメラ位置またはシーンのいずれに関しても移動または変化が生じない）場合、光路の収束光の位置に整合し、かつ位置する多数の重なりフィルタホイールを使用することによりマルチフィルタを得ることも可能である。すなわち、現時点の均一カラーフィルタの観察を可能にする各フィルタホイールの窓を光路の収束光の位置に配置する。厳密に同じシーンは、フィルタホイールに取り付けられる複数の均一カラーフィルタの異なる組み合わせを選択することにより生成される異なるマルチフィルタを使用して取り込まれる。均一カラーフィルタホイール（入れ替え可能な均一カラーフィルタを使用することと等価である）及び固定カラーフィルタモザイクの組み合わせを使用してマルチフィルタモザイクを生成することもできる。更に一般的なアプローチでは、均一カラーフィルタホイールをカラーモザイクフィルタホイール（入れ替え可能なカラーフィルタモザイクを使用することと等価である）と組み合わせる。可動部品を使用することにより、非瞬時撮像システムが得られる。薄いフラットな透過型ディスプレイを使用してフィルタ入れ替えデバイスまたはフィルタ交換デバイスとして機能させることもできる。どのような瞬間においても、必要な均一カラーフィルタまたはカラーフィルタモザイクが、これらのディスプレイによって簡単に表示される。フィルタを画像キューブの取り込みの間に入れ替えることにより非瞬時画像を生成し、異なる画像取り込み作業の間のフィルタ交換を利用してシステムの波長範囲を変更し、当該範囲を異なる用途に対して最適化することができる。
【００１６】
更にコストの掛かる別の瞬時撮像アプローチではマルチチップカメラ（例えば、３チップカメラ）を使用し、この場合、均一カラーフィルタをカラーフィルタモザイクと組み合わせてマルチフィルタモザイクを生成することができる。
【００１７】
本発明は、スペクトル情報が豊富なマルチバンド画像だけでなく、マルチスペクトル及びハイパースペクトル２次元画像を生成し、これらの画像を構成して、重なりカラーフィルタ及び／又はカラーフィルタモザイクを使用することにより透過フィルタの組み合わせ（マルチフィルタと表記する）を光路の位置に形成する撮像システムである。使用するフィルタまたはモザイクは、透明性を考慮したときに通常の品質で広帯域カラーフィルタを通常形成する通常の印刷技術を使用することにより形成することができる。しかしながら、これらのフィルタを光路の収束光の位置に配置することにより、これらの不完全性を補償することができる。勿論、可視光及び／又は近赤外光に感度を持つ従来の透過フィルタ及びフィルタモザイクを使用することもできる。光線は光学システム全体を通過して重なりカラーフィルタ（これらのフィルタは、カラーフィルタモザイクの中の微小かつ均質なカラー領域とすることができる）を連続的に通過する。
【００１８】
通常の印刷技術を使用することによって、有用なカラーフィルタ及びカラーフィルタモザイクが、これらのフィルタ及びモザイクが光路の収束光の位置に配置される（光学レンズシステムの内部に位置し、及び／又はイメージセンサ要素を直接被覆する）場合に形成される。これにより、本発明によるシステムのフィルタリング部分がコスト効率の高い形で実現する。
【００１９】
本発明はまた、追加のマルチフィルタモザイクをどのようにして個別モジュールとして構成すれば、例えばこのモザイクを備えるレンズシステムを、固有の（埋め込み型）カメラレンズを持つ、または持たない通常のデジタルカメラ、モノクロカメラ、またはカラーカメラに容易に取り付けることができるかについて示している。カメラが既に固定の（埋め込み型）カメラレンズを備えている場合には、接眼レンズを備えるレンズシステムを装着することにより上記操作を行う。そうでない場合、すなわちカメラが固有の（埋め込み型）カメラレンズを備えていない場合には、レンズシステムはカラーフィルタモザイクを備えるカメラレンズとして機能する。従って、提案の実施形態によれば、このようなレンズシステムは、固有の固定（埋め込み型）カメラレンズを持つ、または持たない従来のデジタルカメラに対するレンズ付属品であると考えることができる。提案の他の実施形態は、フィルタホイールを使用して均一カラーフィルタ及び／又はカラーフィルタモザイクを保持する（入れ替え可能なフィルタ及びモザイクを使用することと等価である）ことを示唆する。勿論、ＬＣＤ、プラズマディスプレイ、またはエレクトロクロミックディスプレイのような薄いフラットな透過型ディスプレイを使用して、必要なカラー画像を単純に表示することにより均一カラーフィルタ及び／又はカラーフィルタモザイクとして機能させることができる。これらのディスプレイはフィルタホイールの代わりに使用することができる。しかしながら、これらのタイプのディスプレイの新規設計版が、これらのディスプレイの透明性を高め、かつスペクトル特性を向上させるために必要となる。
【００２０】
本発明はまた、最終的に得られる画像のスペクトルを、デモザイク処理及び補間法行ない、次に変換法をシステムの撮像部品からの出力画像に適用することにより生成することを目的とする。この変換法では、入力として広帯域カラーモザイク要素応答を取り込み、それらの信号を、例えば線形数学を使用することにより、ほぼ要素毎のスペクトルに変換する。これにより、本発明によるシステムは、ピクセルのスペクトルを持つ瞬時２次元画像を生成する機能を備えるようになる。（スペクトル）スキャニングは、システムがフラットな透過型ディスプレイ（ＬＣＤ、プラズマディスプレイ、またはエレクトロクロミックディスプレイ）、フィルタホイール、または多数の異なる均一カラーフィルタ及び／又はカラーフィルタモザイクを入れ替え可能に使用することができる可動部品を持つ他のフィルタホルダーを備えない場合には必要ではない。フラットな透過型ディスプレイ、フィルタホイールなどを使用して高い空間分解能及びスペクトル分解能を実現するが、システムは非瞬時画像を取り込む。その理由は、一連の画像は、異なるマルチフィルタを使用して取り込む必要があるからである。これとは異なり、固定のマルチフィルタモザイク（これらのモザイクは透過型ディスプレイに表示することができる）を使用する場合、画像（この画像は、イメージセンサアレイと同じサイズを有する）は一つしか取り込まれないので、結果として得られる瞬時マルチスペクトル画像または瞬時ハイパースペクトル画像の空間分解能が低くなる。結果として得られる瞬時マルチスペクトル画像または瞬時ハイパースペクトル画像の空間分解能を高めるために、コストが更に高く付くアプローチを使用することができ、このアプローチでは、均一カラーフィルタ及び／又はカラーフィルタモザイクの組み合わせを使用することができる構成のマルチチップイメージセンサ（例えば、３チップイメージセンサ）を利用する。
【００２１】
フラットな透過型ディスプレイ（ＬＣＤ、プラズマディスプレイ、またはエレクトロクロミックディスプレイ）を使用することにより、異なる波長区間に対して最適化される異なるカラーフィルタモザイクを使用することができる。
【００２２】
本明細書に提示する本発明による方法を使用するマルチスペクトル撮像またはハイパースペクトル撮像が有用となり得る一連の用途は非常に多く、次の領域（これらには制限されないが）を含む。
【００２３】
・高精度農業／農業管理（耕作地状態のモニタリングし、収穫高の予測、作物の識別など）
・植物病理学的ストレス検出及び特徴付け（病気または害虫蔓延の検出）
・獣医（医療診断、症状推定など）
・食物品質検査（新鮮果物及び野菜の検査及び分類、牛乳及び油品質検査、家禽、魚、及び肉品質検査、肉の脂肪量推定など）
・林学、植生学、及び林冠研究（樹木のマッピング、樹木体積／サイズ／樹齢推定、破損／倒壊樹木の検出、異物の検出など）
・生態系のモニタリング
・環境保護（湿地帯、土地被覆、水文学など）
・柱状噴流検出及び解析
・水質及びサンゴ礁のモニタリング
・沿岸研究（水深測量術、水の透明度など）
・ヘルスケア（食物安全、医療診断、例えばメラノーマ検出及び皮膚の創傷解析など）
・生理学的及び化学的検出（有害物質の検出及び識別）
・物質識別（天然物質及び人工物質）
・鉱物探査及びマッピング
・偽装及び隠蔽検出
・災害軽減
・都市計画及び不動産
・交通能力解析
・法的処置（汚染物質流出量及び汚染物質の測定、化学物質放出またはオイル排気の追跡、保護区域における違法行為の検出など）。
【００２４】
しかしながら、マルチバンド画像（デモザイク処理ステップの後に得られる）及び該当するマルチスペクトル画像またはハイパースペクトル画像（変換処理ステップの後に得られる）が同じ量のスペクトル情報を含むことは明らかである。従って、マルチバンド画像をマルチスペクトル画像またはハイパースペクトル画像に変換して、撮像シーンの解析を可能にする必要はない。解析はマルチバンド画像に対して直接行うことができるので、推定による（すなわち、推定誤差が取り込まれる）マルチスペクトル画像またはハイパースペクトル画像を使用する場合よりも良好な性能が得られる。
【発明の効果】
【００２５】
本発明によれば、コスト効率の高い、瞬時ないし非瞬時マルチスペクトル及びハイパースペクトル画像、またはスペクトル情報が豊富なマルチバンド画像を、低コストの従来のカメラ及び光学付属機器を使用して生成することが可能になる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明による構造及び方法を含むシステムを添付の図を参照しながら詳細に説明する。
まず、図１を参照しながら、瞬時及び／又は非瞬時マルチスペクトル画像及びハイパースペクトル画像を生成するシステムについて説明する。
【００２７】
マルチフィルタユニット（ＭＦＵ）は、光路の収束光の位置に配置されるマルチフィルタモザイク及び／又は均一マルチフィルタを含む。マルチフィルタは、多数の光学フィルタを積層して、それらを光路の収束光の異なる位置に配置する、及び／又は（ブロック状のサンドイッチ型フィルタを得るべく）多数の光学フィルタを一括して積層し、それらを収束光の中に配置することにより行なわれる。なお、光学フィルタの全てを一括して積層し（ブロック状のサンドイッチ型フィルタを得る）、それらを光路の収束光の中に配置する、例えば入射光を受信するイメージセンサ要素の上に直接配置することも可能である。均一マルチフィルタ（例えば、非瞬時マルチスペクトル画像及び非瞬時ハイパースペクトル画像を取り込むための）は、複数の均一カラーフィルタを重ねることにより形成され、マルチフィルタモザイク（例えば、瞬時マルチスペクトル画像及び瞬時ハイパースペクトル画像を取り込むための）は、複数のカラーフィルタモザイクだけでなく、複数の均一マルチフィルタも重ねることにより形成される。これらのフィルタ及びモザイクは、固定のフィルタホルダーか、フィルタホイールか、或いは他のタイプのフィルタホルダーに取り付けられることにより、異なるマルチフィルタ及びマルチモザイクを生成する種々のフィルタ組み合わせを実現することができる。薄いフラットな透過型ディスプレイを使用して、カラーフィルタモザイクまたは均一カラーフィルタとして機能させることができる。異なるカラーパターンを表示することにより、均一フィルタ及びモザイクを入れ替えたり、または交換したりすることもできる。
【００２８】
イメージセンサユニット（ＩＳＵ）は、入射光を電気信号に変換し、検出信号に対応するデジタル値を生成する（通常、Ａ／Ｄ変換器を使用することにより）。このユニットの出力は搭載機能によって変わる。このため、結果として得られる出力は、デジタル値から成る１つの（シングルバンド）か、または３つの（赤バンド、緑バンド、青バンド）２次元アレイのいずれかとすることができる。
【００２９】
デジタル画像処理ユニット（ＤＩＰＵ）は、任意の（必要に応じて）デモザイク処理及び補間法を、次にスペクトル変換法をイメージセンサユニット（ＩＳＵ）の出力に適用することにより、最終結果としての画像のスペクトルを生成する。変換法では、入力としてマルチフィルタ応答を入力し、これらの信号を、例えば線形数学を使用して近似スペクトルに変換する。これにより本発明によるシステムは、２次元画像をピクセルのスペクトルを用いて生成する機能を備えることができる。マルチフィルタモザイクを利用する場合、デモザイク処理、及び任意の（必要に応じて）補間法を用いる必要があり、これにより瞬時マルチバンド画像が得られる。これらのマルチバンド画像は最終的に、マルチスペクトル画像またはハイパースペクトル画像に変換される。
【００３０】
図２は、フィルタユニット（ＦＵ）が図２ａ，図２ｂ，図２ｃにそれぞれ示されるように、重なりカラーフィルタモザイク、重なり均一カラーフィルタ、または重なり均一カラーフィルタ及びカラーフィルタモザイクとして定義される。この場合、ＣＦＭｉ及びＵＣＦｉはカラーフィルタモザイク番号「ｉ」、及び均一カラーフィルタ番号「ｉ」のそれぞれによって指定され、ＸＣＦｉはＣＦＭｉまたはＵＣＦｉとすることができることを示している。多数（ｎ≧１）のフィルタ（ＣＦＭ及び／又はＵＣＦ）を一括して積層して、システムのマルチフィルタユニット（ＭＦＵ）に使用されることになるフィルタユニット（ＦＵ）（ブロック状のサンドイッチ型フィルタ）を形成する。これは、ＦＵを単一のＣＦＭまたはＵＣＦとすることもできることを意味する。
【００３１】
図３を参照すると、イメージセンサユニット（ＩＳＵ）をマルチフィルタユニット（ＭＦＵ）と組み合わせる３つの構造が提案され、ＦＵｉはシステムにおけるフィルタユニット番号「ｉ」によって指定される。図３ａ，図３ｂに用いられるＦＵ０は、イメージセンサユニット（ＩＳＵ）に直接取り付けられるフィルタユニットである。ＦＵ０の構成要素群の幾つか（図２に示すように）は、センサチップに集積化することができ（チップ製造業者が）、構成要素群の残り（在るとすれば）は、取り外し可能に、または取り外し不能に取り付けてチップの検出要素群を被覆するようにすることができる。尚、イメージセンサ要素は光路（ＯＰ）の収束光の位置に配置される。図３ａは、マルチフィルタユニット（ＭＦＵ）をＦＵ０によってのみ作製することができることを示しているが、図３ｂでは、ＦＵ０を使用する他に、多数（ｎ≧１）のフィルタユニット（ＦＵｉ）が光路（ＯＰ）の収束光の位置に配置される。図３ｃでは、フィルタユニット（ＦＵｉ）が光路（ＯＰ）の収束光の位置に配置されるが、ＦＵ０は全く使用されない。図３に示すマルチフィルタユニット（ＭＦＵ）では、光学システムは、入射光（Ａ）を収束光（Ｂ）に集光するために必要な幾つかのレンズ（３）及び／又はミラー、更に収束光（Ｂ）をほぼコリメートされた出射光（Ｃ）に変換するために必要な幾つかのレンズ（４）及び／又はミラーを備える。使用レンズ（３，４）及びミラーの全ては、光学システムの共通光路（ＯＰ）に沿って高精度に位置整合させる必要がある。
【００３２】
図３に示す追加フィルタユニット（ＦＵｉ，ｉ≧１）は、固定のフィルタホルダーか、フィルタホイールか、或いは可動部品を備える他のフィルタホルダーに、取り外し可能かまたは取り外し不能に取り付けられることにより、異なるフィルタを交換可能に使用することができる（選択フィルタの観察を可能にする窓は、光学システムの共通光路ＯＰに沿って位置整合させる必要がある）。薄いフラットな透過型ディスプレイをカラーフィルタモザイクまたは均一カラーフィルタとして使用したり、異なるフィルタまたはモザイクを交換可能に表示したりすることもできる。
【００３３】
ＲＧＢ，ＲＧＢＥ，ＣＭＹ，またはＣＭＹＧカラーフィルタアレイは多くの場合、ＲＧＢカラー画像の取り込みに使用されるイメージセンサに集積化される。これは、基本技術及び色素を利用して図３に示すフィルタユニットＦＵ０を形成することができることを意味し、フィルタユニットＦＵ０は、補色カラーから成る２つのカラーフィルタモザイクを重ねて、従来のカラーイメージセンサよりも多くのスペクトル情報を取り込むことができるイメージセンサを実現することにより形成される。これとは異なり、薄いフラットな透過型ディスプレイを高い透明度及び良好なスペクトル特性を持つように製造するためには新規構造が必要になる。
【００３４】
実際、無数の多くのカラーモザイクパターンを使用することができる。しかしながら、瞬時撮像を行う一つの好適な実施形態では、図４ａによる重なりＣＭＹＴ及びＲＧＢＴカラーモザイクを使用し、この場合、イメージセンサ要素群とＲＧＢＴカラーモザイクのＲ，Ｇ，Ｂ，及びＴ領域との間で要素毎の位置整合が行なわれる（各カラー領域が一つのセンサ要素を正確に被覆する）。図４ｂは、２つのフィルタホイールを使用する対応する非瞬時アプローチを示し、図５は、第４のセンサアレイ（図には示さず）がＲＧＢＴカラーモザイクによってのみ被覆される構成における対応する瞬時４チップアプローチを示す。ここでも同じように、ＲＧＢＴカラーモザイクとセンサアレイとの間で要素毎の位置整合が可能であることを前提とする。従って、図４及び５では、ＣＭＹＴカラーモザイクの各要素は、ＲＧＢＴカラーモザイクの２×２要素を被覆する。同様の結果が、ＣＭＹＴカラーモザイクの空間分解能がＲＧＢＴカラーモザイクの空間分解能よりも高い場合に得られる。この構成は、図４及び５において、カラーＲ，Ｇ，Ｂを、Ｍ，Ｙ，Ｃとそれぞれ入れ替えることにより実現する。ここで、ＣＭＹＴカラーモザイクとセンサアレイとの間で要素毎の位置整合が可能であることを前提とする。従って、ＲＧＢＴカラーモザイクの各要素は、ＣＭＹＴカラーモザイクの２×２要素を被覆する。
【００３５】
しかしながら、（高分解能モザイクとセンサアレイとの間での、及び／又は高分解能モザイクと低分解能モザイクとの間での）要素毎の位置整合を行うことができない場合、各高分解能モザイク要素は少なくとも一つのセンサアレイ要素を完全に被覆する必要があり、かつ各低分解能モザイク要素は、各高分解能モザイクの異なる要素のそれぞれ一つずつを完全に被覆する必要がある。
【００３６】
一般的に、集積化可能なイメージセンサカラーフィルタモザイクと組み合わされる形で、追加カラーフィルタモザイクは集積化フィルタのカラーの補色カラー、及び他のカラーフィルタまたはスペクトルフィルタのカラーの補色カラーの両方を含むことができる。この構成の他、追加カラーフィルタモザイクの各要素は、集積化フィルタのカラーモザイクの異なる要素の各々の少なくとも一つのカラー要素を被覆する必要がある。ほとんどのイメージセンサアレイにはベイヤーカラーフィルタアレイ（ＲＧＢまたはＣＭＹ）が取り付けられ、これは、透明要素（Ｔ）が通常、イメージセンサに集積化されるモザイクには全く用いられないことを意味する。図４ａでは、ＲＧＢＴカラーモザイクのＴ要素はＧ要素によって置き換えられる。イメージセンサアレイにＣＭＹベイヤーカラーフィルタアレイが取り付けられる場合、ＣＭＹＴカラーモザイクのＴ要素はＹ要素によって置き換えられ、この様子は、図４において、カラーＲ,Ｇ，及びＢを、Ｍ，Ｙ,及びＣとそれぞれ置き換え、次にこの時点で（センサ要素毎に）得られているＣＭＹＴカラーモザイクにおいて、Ｔの替わりにＹを配置することによって最終的にＣＭＹカラーモザイクを得ることにより示すことができる。
【００３７】
図６は、図４ａのカラーフィルタモザイクを使用する場合に結果として得られるマルチフィルタモザイクを示している。例えば、マルチフィルタモザイクにおける要素ＣＲは、ＣＭＹＴカラーモザイクのＣ要素、及びＲＧＢＴカラーモザイクのＲ要素の両方によって被覆される領域を表す。
【００３８】
本説明では、カラーフィルタモザイクとカラーフィルタアレイとの違いは、後者のカラーフィルタアレイでは、イメージセンサのセンサ要素が２次元アレイとして配置されることを前提とするが、カラーフィルタモザイクでは、カラーフィルタ要素の形状または分布に関する制約がないので、ランダムな形状を持つ、及び／又はランダムに分布するカラーフィルタ要素を使用することができることである。カラーフィルタモザイクのこの特性の利点は、一般的な印刷技術を使用することによって完全な、または正しいカラーフィルタアレイを高分解能を持つように形成することができない場合でも、相対的に一般的な分解能が一般的な印刷技術を使用して実現することである。別の表現をすると、カラーフィルタアレイはカラーフィルタモザイクの一つの特殊な事例である。
【００３９】
図７は、要素毎の位置整合がイメージセンサアレイとＲＧＢＴカラーフィルタアレイとの間で可能であることを前提とし、ランダムに分布するランダムな形状のカラー要素を持つ低分解能ＣＭＹＴカラーモザイクがＲＧＢＴアレイに重なる場合を示している。
【００４０】
瞬時撮像を行う別の好適な実施形態では、図８に従った重なりＣＭＹ及びＲＧＢ対角カラーモザイクを使用し、この場合、要素毎の位置整合がイメージセンサアレイとＲＧＢカラーモザイクとの間で行なわれる（各カラー領域は一つのセンサ要素を正確に被覆する）。ＣＭＹカラーモザイクの各要素はＲＧＢカラーモザイクの２×２要素を正確に被覆する。取り込み画像のアーチファクトの除去を可能にするために、対角カラーモザイクを使用して、Ｃ，Ｍ，及びＹ要素が対角に右上隅から左下隅に配置される場合に、Ｒ，Ｇ，及びＢ要素を対角に左上隅から右下隅に配置する必要があるようにする。
【００４１】
図９は、ＲＧＢ対角カラーモザイクをイメージセンサアレイに集積化するが、ＣＭＹ対角カラーモザイクを、明確に分離されたＣ，Ｍ，及びＹ領域を含むように完全な形に形成する、ということができない場合を示している。Ｃ，Ｍ，及びＹ領域の間の重なり領域によって、取り込み画像のスペクトル成分を多くすることもできる。ＣＭＹモザイクの各要素（各要素はＣ，Ｍ，またはＹ領域、或いはこれらの領域の間のいずれかの重なり領域とすることができる）は、集積化ＲＧＢモザイクのＲ，Ｇ，及びＢ要素の各々の少なくとも一つのカラー要素を被覆する必要がある。
【００４２】
図１０は、図９の事例の別の変形例を示し、この変形例では、Ｃ，Ｍ，及びＹ領域は、ＣＭＹモザイクの２つよりも多くの領域の間で重なりが生じることがないようにするためにダイアモンド形とする。
【００４３】
次に、図１１を参照しながら、瞬時または非瞬時マルチバンド画像を生成してマルチスペクトル画像またはハイパースペクトル画像に変換するための構造１について説明する。
構造１は、光収集手段１１と、少なくとも一つの２次元イメージセンサアレイ１２１を有するイメージセンサ１２と、構造１の光路ＯＰにおいてイメージセンサアレイ１２１の手前に配置される瞬時カラー分離手段１２３と、を備える。
【００４４】
構造１は更に、第１均一スペクトルフィルタ１３を光路ＯＰの位置に備えることにより、撮像を電磁スペクトルの所定部分に制限する。
瞬時撮像を行う場合、本発明は特に、少なくとも一つの第１スペクトルフィルタモザイクまたは第１カラーフィルタモザイク１１２を、収束光Ｂの位置の、または少なくとも収束光Ｂに出来る限り近い位置の光路ＯＰにおいて、カラー分離手段１２３の手前に、取り外しができないように、または入れ替え可能に配置することを示唆している。入れ替え可能に配置される第１スペクトルフィルタモザイクまたは第１カラーフィルタモザイク１１２によって、異なる第１スペクトルフィルタモザイクまたは異なる第１カラーフィルタモザイク１１２の間での切り替え（すなわち、フィルタ交換）を容易にして、構造１を異なる光学条件に、従って異なるスペクトル測定に適合させることができる。勿論、第１スペクトルフィルタモザイクまたは第１カラーフィルタモザイク１１２を、収束光Ｂの位置の、または少なくとも収束光Ｂに出来る限り近い位置の光路ＯＰにおいて、カラー分離手段１２３の手前に、取り外しができないように配置することも可能である。
【００４５】
光収集手段１１は更に、入射光Ａを収束光Ｂに集光し、その後ほぼコリメートされた出射光Ｃを生成するために必要ないずれかのレンズ及び／又はミラーを含む。これにより、レンズシステムは、被写体Ｏからの入射光をほぼ無限の距離にまで光学的に移動させる。レンズシステムは、種々の距離に位置する被写体を捉える機能を持つ必要がある。しかしながら、これらの光学部品については、本発明は構造のこの光学部品には関連せず、これらの光学部品は多くの異なる方法により実現することができ、これらの光学部品は当業者には公知であるので、詳細に説明することはしない。同じ理由により、スペクトル計算に必要な画像処理ユニット、及び他の幾つかのハードウェア／ソフトウェア部品については、詳細を説明することはしない、または図に示すことはしない。
【００４６】
第１スペクトルフィルタモザイクまたは第１カラーフィルタモザイク１１２は、繰り返しパターンとして配置される多数の微小な均質フィルタ領域（またはフィルタ要素）により構成され、第１スペクトルフィルタモザイクまたは第１カラーフィルタモザイク１１２のこれらのカラー領域の透過率曲線（ｔｒａｎｓｍｉｓｓｉｏｎ  ｃｕｒｖｅｓ：ＴＣ，この曲線は波長の関数としてのフィルタ透過率として定義される）は、これらの透過率曲線とカラー分離手段１２３のフィルタ要素に対応する透過率曲線との間に重なりが生じる上に、更に部分的に重なる。第１スペクトルフィルタモザイクまたは第１カラーフィルタモザイク１１２の透過率曲線ＴＣ、及びカラー分離手段１２３の透過率曲線は、考察対象の、または分析対象のスペクトルの波長区間（群）に広がる必要がある。
【００４７】
非瞬時撮像を行う場合、本発明は、少なくとも一つのカラーフィルタホイール１１４（フィルタモザイク１１２の代わりに）を、収束光Ｂの位置の、または少なくとも収束光Ｂに出来る限り近い位置の光路ＯＰにおいて、カラー分離手段１２３の手前に配置することを示唆している。均一カラーフィルタの入れ替えを、フィルタホイールを用いて行なってイメージキューブ全体に対してスペクトルスキャンを行ない、非瞬時画像を生成する。フィルタモザイク１１２を使用する事例における検討事項と同じ検討事項を、フィルタホイール１１４に取り付けられるフィルタの透過率曲線、及びカラー分離手段１２３の透過率曲線、更にこれらの透過率曲線の関係について、考慮に入れる必要がある。
【００４８】
更に一般的なアプローチでは、少なくとも一つの薄いフラットな透過型ディスプレイ１１５（フィルタモザイク１１２またはフィルタホイール１１４の代わりに）を、収束光Ｂの位置の、または少なくとも収束光Ｂに出来る限り近い位置の光路ＯＰにおいて、カラー分離手段１２３の手前に配置する。瞬時撮像は、ディスプレイ１１５を使用してカラーフィルタモザイクを生成する場合に行なわれ、一連の均一カラーフィルタを入れ替える（すなわち、これらのカラーフィルタを連続して生成する）ことにより、非瞬時画像を生成する。フィルタモザイク１１２またはフィルタホイール１１４を使用する事例における検討事項と同じ検討事項を、透過型ディスプレイ１１５によって表示されるフィルタの透過率曲線ＴＣ、及びカラー分離手段１２３の透過率曲線、更にこれらの透過率曲線の関係について、考慮に入れる必要がある。
【００４９】
従来のカメラは説明、均一スペクトルフィルタを含み、均一スペクトルフィルタを使用して撮像を電磁スペクトルの所定部分に制限する。これらの均一スペクトルフィルタを従来のカメラの一部分とし、図１２に従って第１均一スペクトルフィルタ１３’を構成することも提案されている。
【００５０】
別の実施形態では、第１カラーフィルタモザイク１１２を配置して、図１３に示すように、カラー分離手段１２３を直接被覆することができる。フィルタモザイク１１２はカラー分離手段１２３の上に取り外しが可能なように配置する、または手段１２３と一体化することができる。この構造を瞬時マルチバンド画像の生成に使用してマルチバンド画像をマルチスペクトル画像またはハイパースペクトル画像に変換する。
【００５１】
一方で、カラー分離手段１２３とカラーフィルタモザイク１１２とを組み合わせ、他方で、カラー分離手段１２３と、フィルタホイール１１４に使用される一連の均一カラーフィルタと、またはカラーフィルタモザイクと、或いは透過型ディスプレイ１１５により生成される一連の均一カラーフィルタと、を組み合わせることにより、異なるセットの線形独立マルチカラーフィルタ透過率曲線ＴＣが生成される。
【００５２】
図１４は、３つの個別の２次元センサアレイ１２１ａ，１２１ｂ，及び１２１ｃを含むイメージセンサ１２’の使用方法を示す、すなわち３チップカメラを示す。この事例では、カラー分離手段１２２’は、入射光を３つの異なるスペクトル帯域または色帯域に分離する手段を含み、一つの帯域は２次元センサアレイ１２１ａ，１２１ｂ，または１２１ｃにそれぞれ対応する。この構成を実現するために種々の方法がある。一つの使用可能な解決法では、３つの個別の均一カラーフィルタ１２５ａ，１２５ｂ，及び１２５ｃの他に、ビームスプリッタ１２４を使用する。個別の均一カラーフィルタを用いることなく、カラー分離ビームスプリッタを使用して同じ光学機能を達成することも可能である。図１４の実施形態についての詳細は、前に説明した図１１の実施形態と同じである。
【００５３】
図１５の実施形態は、イメージセンサ１２’を有する３チップカメラを示し、イメージセンサ１２’は、３つの個別の２次元センサアレイ１２１ａ，１２１ｂ，及び１２１ｃを含む。ここでもまた、３つの個別の均一カラーフィルタ１２５ａ，１２５ｂ，及び１２５ｃの他に、ビームスプリッタ１２４を含むカラー分離手段１２２’を使用する。当該構成要素の他に、３つのカラーフィルタモザイク１２３ａ，１２３ｂ，及び１２３ｃを使用して、均一カラーフィルタ１２５ａ，１２５ｂ，及び１２５ｃと組み合わせた場合のマルチフィルタモザイクを形成する。ここでもまた、個別の均一カラーフィルタを用いることなくカラー分離手段を使用することにより同じ光学機能を達成することができる、すなわち均一カラーフィルタ１２５ａ，１２５ｂ，及び１２５ｃを図１５から取り外す。カラーフィルタモザイク１２３ａ，１２３ｂ，及び１２３ｃは、同じ、または異なるカラーフィルタパターンを有することができる。
【００５４】
図１６の実施形態は、イメージセンサ１２’を有する４チップカメラを示し、イメージセンサ１２’は、４つの個別の２次元センサアレイ１２１ａ，１２１ｂ，１２１ｃ，及び１２１ｄを含む。詳細は図１５の実施形態と同じであるが、第４のイメージセンサアレイ１２１ｄがビームスプリッタの後ろに均一カラーフィルタを全く使用しない点が異なる、すなわちカラー分離ビームスプリッタを使用する場合には、当該ビームスプリッタは全スペクトルを含む信号を第４のイメージセンサアレイ１２１ｄに供給する必要がある。カラーフィルタモザイク１２３ｄ（当該カラーフィルタモザイクは、カラーフィルタモザイク１２３ａ，１２３ｂ，及び１２３ｃと同じ、または異なるカラーフィルタパターンを有することができる）は第４のイメージセンサアレイ１２１ｄに使用される。
【００５５】
図１１，１２，１３，１４，１５，及び１６に提示される実施形態に関して、好適なマルチカラーフィルタモザイクが図４ａ及び５だけでなく、実際の形態を考慮に入れている図７，８，９，及び１０によって示される。ＣＭＹＴカラーモザイクの空間分解能がＲＧＢＴカラーモザイクの空間分解能よりも高い事例についても考察する。考察は、図４ａ及び５において、Ｒ，Ｇ，及びＢと、Ｍ，Ｙ，及びＣと、をそれぞれ入れ替えることにより行なわれる。勿論、要素毎の位置整合をイメージセンサアレイと高分解能カラーフィルタモザイクとの間で行ない、低分解能モザイクの各要素に、高分解能モザイクの２×２要素を正確に被覆させることが好ましい。イメージセンサアレイにＲＧＢベイヤーカラーフィルタアレイを配置することも可能であり、この場合、図４ａ及び５において、ＲＧＢＴカラーモザイクのＴ要素の代わりにＧ要素を使用する。イメージセンサアレイにＣＭＹベイヤーカラーフィルタアレイを配置する場合、ＣＭＹＴカラーモザイクのＴ要素の代わりにＹ要素を使用し、この様子は、図４ａ，５，７，８，９，及び１０において、カラーＲ，Ｇ，及びＢと、Ｍ，Ｙ，及びＣと、をそれぞれ入れ替えることにより示すことができる。図４ａ及び７の事例では、結果として得られる（センサ要素毎の）ＣＭＹＴカラーモザイクにおいてＴ要素の代わりにＹ要素を用いることにより、最終的にイメージセンサアレイと同じ分解能を有するＣＭＹカラーモザイクが得られる。
【００５６】
本発明の好適な実施形態は、従来のデジタルカメラを本発明による構造の一部分とすることを提案し、この場合、イメージセンサ１２，１２’及びカラー分離手段１２３，１２２’（図１１，１２，１３，１４，１５，及び１６に示す）が従来のカメラの一部分となる。
【００５７】
カラーフィルタまたはカラーモザイク要素の透過率曲線は、標準の分光放射計（スペクトロメータとも呼ぶ）によって容易に測定することができる。このような測定は、均一カラーフィルタまたはカラーモザイクをセンサに集積化する場合には行うことができず、この場合には、虹色全色の画像を撮影し、直線状のピクセルを観察してこの画像の全てのカラーを調査することによりこれらの透過率曲線を測定することができる。これらのピクセル値は、使用する均一カラーフィルタの透過率曲線を表わす。ＲＧＢカラーモザイクの場合、結果として得られるカラー画像のＲ，Ｇ，及びＢ帯域を収集して、使用するモザイクのＲ，Ｇ，及びＢカラーフィルタ要素の透過率曲線の推定値を表わすことができる。これらの曲線は、分光放射計を使用して、波長を、虹色画像を横切る選択ラインに沿った異なるポイントで測定し、推定することにより等級分けされる。他のカラーモザイクの透過率曲線を類似の方法により測定する、または推定することも可能である。これらの測定値は、本発明による方法、すなわち以下に更に詳細に説明する測定帯域を離散スペクトルに変換する方法に用いられる変換に入力される。従って、本発明による構造を用いる場合、例えば分光放射計またはレインボー投影機のような付属装置を使用することが、カラーモザイクのスペクトル特性の全てが明らかになっている訳ではない場合の前提となる。
【００５８】
線形独立透過率曲線ＴＣを持つマルチカラーフィルタ（光の一部分が波長の関数として透過される）は、均一カラーフィルタとすることができる異なるカラーフィルタ、及び／又は透過型ディスプレイだけでなく、印刷技術及び写真印刷技術のような異なる手段によって生成されるカラーフィルタモザイクの微小要素を組み合わせることにより生成される。「線形独立」という用語は、いずれかの数学手引書に定義され、単に、各透過率曲線が、別の透過率曲線に定数を乗算することにより、または他の透過率曲線を線形合成することにより得られる訳ではないことを意味する。線形依存性の例が図１７によって示され、この場合、破線の透過率曲線ＴＣ１は、実線の他の２つの透過率曲線ＴＣ２及びＴＣ３を線形合成して得られる。通常の印刷技術を使用することにより生成されるカラーフィルタの透過率曲線は通常、２つの平坦領域、及びこれらの領域の間の透過率曲線の急勾配部分により構成され、このような曲線は、マルチカラーフィルタを形成する場合には良好な特性を表わす。２つの幅狭のピーク（例えば、マゼンタカラーフィルタに関する）は別の有用な印刷フィルタ要素であり、このフィルタ要素はこれらの技術を使用して得られる。マルチカラーフィルタの透過率曲線は、このマルチフィルタを構成する構成カラーフィルタの透過率曲線ベクトルを要素毎に乗算した結果として近似される。一例として、５つの透過率曲線ＴＣ１，ＴＣ２，ＴＣ３，ＴＣ４，及びＴＣ５が図１８ａに示され、これらの曲線ペアを或る要素毎に乗算した結果が図１８ｂに示され、この場合、ＴＣ６，ＴＣ７，ＴＣ８，及びＴＣ９は、ＴＣ１にＴＣ２を、ＴＣ２にＴＣ３を、ＴＣ３にＴＣ４を、ＴＣ４にＴＣ５をそれぞれ乗算した結果である。図１８ｃは、従来の分光放射計によって取り込まれたカラーフィルタの実際のスペクトルを示す。
【００５９】
イメージセンサに集積化される、または埋め込まれるカラーフィルタモザイクは容易に取り外すことができない。この構成によって、ユーザがモザイクを当該ユーザが使用するために変更する柔軟性が無くなり、かつ従来の印刷技術を安価なカラーモザイクを生成するために使用することができなくなる、という重大な意味を持つ。更に、ユーザは埋め込み型カラーフィルタモザイクの光学特性を容易に測定することができない。本発明は、低コストの広帯域フィルタ要素または低コストのダイクロイックフィルタから成る非集積型カラーフィルタモザイクの使用が常に可能であることを示唆している。しかしながら、用途によって必要となる場合には、このようなフィルタから成る高価な狭帯域フィルタまたはモザイクを勿論、使用することができる。
【００６０】
本発明を実施するコスト効率の高い方法を提供するために、カラーフィルタモザイクを既存のカラー（レーザまたはインク）印刷法により、または他の現在の写真印刷技術を使用することにより透明材料の上に形成することができることが提案される。
【００６１】
本発明の基本的な考えでは、低コスト広帯域フィルタの組み合わせ、または低コストダイクロイックフィルタの組み合わせを使用することにより高価な狭帯域フィルタ（均一フィルタまたはフィルタモザイク）の使用を回避しようとする。このような一つのタイプの低コストフィルタまたはモザイクは実際には、透明材料、例えば透明膜の上の印刷パターンである。従来のカラーレーザプリンタを使用して１インチ当たり最小２００要素の分解能を持つカラーモザイクを生成することができる。本発明の別の考えでは、光路の位置に配置される印刷カラーモザイク、及びイメージセンサに集積化されるカラーモザイクの両方を使用することにより、現時点で利用可能な大量生産カラーフィルタを利用する。カメラ製造業者は高品質カラーモザイク（例えば、ＣＭＹＧ，ＣＭＹ，ＲＧＢ，ＲＧＢＥなど）を開発し、印刷技術を取り扱う業界は高品質カラープリント（多くの場合、ＣＭＹＫであり、Ｋ＝黒）を開発している。業界のこれらの２つの業種は共に、或る意味では最適なフィルタを探求するために長い開発の歴史を持ち、品質を高めるだけでなく、空間分解能を高め、更にコストを下げる方向に開発が並行して進められる傾向が見られ、この傾向が暗に本発明を考案するに至る動機として作用している。
【００６２】
収束光は、光線束が収束しようとして向かって進む先の空間内の位置を指す。収束は、光の性質及び光学システムの不完全性に起因して決して正確に行なわれることはないが、今日的な表現をすると、これらの領域は通常、中間画像と呼ばれる。通常の透明膜の上に印刷されるカラーフィルタモザイクは決して透明であるとは言えず、カラーフィルタとしては役に立たないように思われるが、これらのモザイクが収束光の位置に配置される場合には、これらのモザイクはほぼ完全な透明性を示す。収束光の位置から遠く離れると、ピンボケという副次効果が現われる。
【００６３】
図１９ａは、マルチスペクトル測定及びハイパースペクトル測定を行う農業用途及び医療用途に適する実施形態を示している。ここで、帯域（群）をスペクトルの近赤外線領域に持つことが重要である。当該事例においては、簡単なモザイクデザインでは、ＣＭＹＴＢｒＢｋモザイク（Ｂｒ＝茶、Ｂｋ＝黒）を第１カラーフィルタモザイク１１２に、イメージセンサに埋め込まれる、または集積化されるカラー分離手段１２３（ＲＧＢカラーフィルタモザイク）と共に使用する。黒モザイク要素及び茶モザイク要素が、スペクトルの近赤外線部分の帯域に関して選択される。従って、ほとんどのイメージセンサに含まれる赤外線ブロックフィルタを取り外す必要がある。これにより或る所望のマルチフィルタが形成される。カラーフィルタ要素は、簡単な印刷手順を用いて、例えばカラープリンタにより、透明材料の上に設けられる。
【００６４】
図１９ｂは、カラーフィルタモザイクの別の実施形態を示し、ＶＴモザイクを有する第２隣接層の他に、６個のフィルタ要素から成るパターンを第１カラーフィルタモザイク１１２に使用することができる様子を示し、この場合、Ｖは電磁スペクトルの可視部分を表わす（Ｖ＝赤外線ブロック、Ｔ＝可視スペクトル領域及び近赤外線スペクトル領域で透明）。イメージセンサはこの特殊事例では、赤外線ブロックフィルタを持たないモノクロセンサである。
【００６５】
図２０は、マルチスペクトル測定及びハイパースペクトル測定を行う医療用途及び農業用途に適する実施形態を示している。ここで、図６に示すマルチフィルタモザイクをＶＴモザイクと組み合わせる。イメージセンサはこの特殊事例では、赤外線ブロックフィルタを持たないモノクロセンサである。勿論、ＲＧＢＴモザイクを備えるイメージセンサを使用し、図４ａ及び図２０にそれぞれ示すＣＭＹＴモザイク及びＶＴモザイクにより構成されるマルチフィルタモザイクを追加することもできる。別の可能な構成として、ＲＧＢモザイクを備えるイメージセンサを使用し（前に説明したように、ＲＧＢＴカラーモザイクのＴ要素はＧ要素によって置き換えられている）、ＣＭＹＴモザイク及びＶＴモザイクにより構成されるマルチフィルタモザイクを追加する。
【００６６】
一般的に、１００万画素画像をデジタルカメラで撮影するという現在のトレンドは、４要素、９要素、または１６要素から成るパターンをモザイクに使用する際の分解能低下は許容できることを意味するが、一般的には、マルチフィルタを使用することによりスペクトル情報を増やそうとする試みが為される。
【００６７】
単一センサが３つの広いＲ，Ｇ，及びＢスペクトル帯域で画像を同時に収集する機能を持つ構成の層構造フォトダイオードによる検出は、Ｐｒｏｃｅｅｄｉｎｇｓ  ＳＰＩＥ，Ｖｏｌｕｍｅ  ５２１０，ｐｐ．１０５−１１５（２００４）に掲載されたＤａｖｉｄ  Ｌ．  Ｇｉｌｂｌｏｍ，  Ｓａｎｇ  Ｋｅｕｎ  Ｙｏｏ及びＰｅｔｅｒ  Ｖｅｎｔｕｒａによる「積層フォトダイオードを有するＣＭＯＳセンサを用いて行うリアルタイム撮像」と題する論文に提示されている。これらのセンサは、トリプルウェルイメージセンサとも呼ばれる。その理由は、各ＣＭＯＳセンサ要素が種々の深さの３つのｐ−ｎ接合を含むからである。この特殊なシングルチップイメージセンサは、Ｒ，Ｇ，及びＢ均一カラーフィルタを備える３チップイメージセンサを使用する構成と等価であり、各均一カラーフィルタは３つのセンサチップの一つを被覆する。ＣＭＹＴモザイクをこのセンサアレイに追加することにより、本文及び図においてこれまで提示してきた事例と同様のマルチフィルタリング効果が得られる。利用可能な最高空間画像分解能を達成するために、ピクセル毎の位置整合をＣＭＹＴモザイク要素と３層構造イメージセンサアレイ要素との間で行うことが好ましい、すなわちＣＭＹＴモザイクをイメージセンサチップに集積化する。しかしながら、ＣＭＹＴモザイクは、本文及び図においてこれまで説明してきたように、収束光が焦点を結ぶ光路（ＯＰ）のいずれの位置にも配置することができる。
【００６８】
しかしながら、層構造フォトダイオードを、近紫外線感光層及び／又は近赤外線感光層を含む３つよりも多くの層により構成することもできる。層構造センサ素子アレイを、ＣＭＹＴまたはＣＭＹＴＢＫのような正しいカラーフィルタモザイクによって被覆することにより、有用な光スペクトル信号応答が得られ、光スペクトル信号は、近紫外波長領域、可視波長領域だけでなく、近赤外波長領域を含むスペクトルに変換するために十分な量のスペクトル情報を含む。
【００６９】
図２１ａは光学付属機器３３を示し、光学付属機器は本発明による少なくとも一つの第１カラーフィルタモザイク１１２を含む。光学機器３３は従来のデジタルカメラ４４に接続されて、光学機器３３の光軸がカメラ４４の光軸と一致するように適合させる。カメラは固有のカメラレンズを持たず、光学機器３３は、カラーフィルタモザイクを備えるカメラレンズとして機能する。本発明による光学機器３３及び従来のカメラ４４は、互いに接続されると本発明による構造１を構成する。
【００７０】
図２１ｂは接眼レンズ５１を示し、接眼レンズは本発明による少なくとも一つの第１カラーフィルタモザイク１１２を含む。接眼レンズ５１は従来のデジタルカメラ５２（当該カメラはカメラ固有のカメラレンズを持つ）と協調動作することにより本発明による構造１を構成する。接眼レンズ５１の光軸をカメラ５２の光軸と一致させることが重要である。カラーフィルタモザイク１１２は、例えば望遠鏡、双眼鏡、または顕微鏡に組み込まれる従来の接眼レンズ５１に挿入されるように適合させることができる。カラーフィルタモザイク１１２は、光路において中間画像に近接して配置する必要がある。この配置は、既に示した実施形態（図１１，１２，及び１４の）の光収集手段１１の内部で、または後出の実施形態（図２１ｂの）の接眼レンズ５１の中で行う必要がある。顕微鏡、望遠鏡、及び双眼鏡のほとんどのレンズ系は、カラーフィルタモザイクプレートの機械的挿入に適する接眼レンズ部分を有する。更に詳細な説明については、国際公開番号ＷＯ００／４１０１０を参照することができる。
【００７１】
カラーモザイクの向き、及び寸法は簡単な実施形態では自由に設定することができるが、カラーモザイクとイメージセンサアレイとの間でピクセル毎の位置整合を行ない、カラーモザイクと、最初のカラーモザイク（相対的に高い分解能のモザイク）の２×２要素、２×３要素、３×３要素、または他の数の要素を正確に被覆する要素群を有する別のカラーモザイクとの間で要素毎の位置整合を行うことが望ましい、すなわち２つのカラーモザイクを正確に位置整合させる。画像処理ソフトウェア（このソフトウェアはカメラボックスに搭載する、または画像をカメラから転送するときの転送先のコンピュータにインストールすることができる）は、異なるカラーモザイク要素による影響を受ける領域を画像の中に、簡単な校正手順を使用することにより自動的に検出する。白地背景または白色光の画像を撮像することによって、例えば撮像システムを校正することができ、更に画像の異なるカラーモザイク要素領域を特定し、かつセグメント化し易くなる。カラーモザイクは、任意のシーンの新規画像を撮像するときに同じマルチフィルタモザイクまたはパターンが依然として有効であると後の時点において仮定することができるように、配置及び向きを変えないことを前提とする。別の表現をすると、厳密に同じセグメント化（白地背景画像の）を新規画像に対して行う。カラーモザイク（このモザイクは、図１のマルチフィルタユニットＭＦＵに使用される）を変更する、またはカラーモザイクの配置または向きを変更する場合には必ず、新規の白地背景画像を取り込んで、当該白地背景画像が、現在のカラーモザイクを使用して取り込まれる画像の校正のために使用されるようにする必要がある。
【００７２】
イメージセンサユニット（ＩＳＵ）が、図１から始まる図に示すカラーフィルタモザイクを含むマルチフィルタユニット（ＭＦＵ）を使用して取り込む画像は隣接微小領域から成り、これらの微小領域の各々は、所定のモザイクフィルタ要素による影響を受ける、すなわち画像のこの領域を取り込んだセンサ要素は当該モザイクフィルタ要素によって被覆される。白地背景カラー正規化画像を使用して、特定のモザイクフィルタ要素に属する画像ピクセルを特定することができ、取得情報を使用して該当するピクセル（これらのピクセルは、選択される白地背景画像ピクセルと正確に同じ座標値を有する）を任意の画像から抽出し、抽出したピクセルを一つの個別アレイ（当該アレイは画像と同じサイズを有する）に格納し、この個別アレイは結果的に空要素群を含むことになる。これらの個別アレイは、マルチフィルタユニット（ＭＦＵ）に含まれる異なるモザイクフィルタ要素と同じ数だけ設けられる。図４ａの構造は、例えば部分的に埋まった（空きの多い）１６個のアレイを生成し、この場合、全てのアレイ要素が全てのアレイにおいて同じ座標値を持つことを考慮に入れると、アレイ要素は一つだけ埋まる。これは、取り込み画像の各ピクセルが、これらの個別アレイのうちの一つのアレイのみに属することになることを意味する。この作業は、一種のデモザイキング処理と見なすことができる。
【００７３】
残りの空のアレイ要素は、或る程度の補間処理を使用して埋めることができる。次の２つのアプローチを用いることが好ましい。
［距離変換を使用する補間］
図２２ａは、上述のデモザイク処理により生成される個別アレイの一部分を示し、影領域またはドット領域（均質領域を表わす）は使用するマルチフィルタモザイクの同じ要素に属する領域を表わす。ここにおける目標は、アレイの空要素（すなわち、図２２ａの白領域）を埋めることである。
【００７４】
距離変換を使用して各空要素と最近接影要素との間の距離を計算することができる。図２２ｂは、距離変換を図２２ａの個別アレイの一部分に適用した結果を示し、相対的に暗い要素は相対的に長い距離に対応する。全ての個別アレイ（アレイ全体）に関して、補間（外挿と見なすこともできる）は白要素から始まり、黒要素で終了する。
【００７５】
クリギング（ｋｒｉｎｇｉｎｇ：空間的相関を考慮した回帰法モデル）を用いてアレイの空の空間を埋めることも可能である。
［統計的変換を使用する補間］
このアプローチでは、各マルチフィルタ応答を他のマルチフィルタの該当する応答に変換する。図４ａにより表わされる事例では、図６に示される複数のマルチフィルタの各々の応答を、他の全てのマルチフィルタ応答に変換することを可能にするために必要な係数を推定する必要がある。変換係数は次の方程式の線形系を使用して計算することができる。
【００７６】
【数１】
2008518229.tif 000003
上の方程式では、Ｆｉ及びＦｊはそれぞれマルチフィルタｉ及びｊのグループの応答から成る２つの行列であり、ＣｉｊはＦｉをＦｊに変換する変換係数を含む。Ａｘ＝ｙ（行列Ａ及び列ベクトルｙは既知であるが、列ベクトルｘは未知である）の形の線形方程式の系の解は、ｘ＝ＡＴ（ＡＡＴ）−１ｙであり、ＡＴ（ＡＡＴ）−１はＡの擬似逆行列である（ＡＴはＡの転置行列を指し、Ａ−１は行列ＡＴの逆行列を指す）。同様にして、係数行列Ｃｉｊは次の方程式に従って推定することができる。
【００７７】
【数２】
2008518229.tif 000004
一例として、マルチフィルタＣＲ，ＣＧ，ＣＢ，及びＣの応答をＭＲ，ＭＧ，ＭＢ，及びＭの応答に変換する場合について考察する。ここで、方程式の次の系を得る。
【００７８】
【数３】
2008518229.tif 000005
上の方程式では、次式のように、行列ＦＣ及びＦＭはＮ（Ｎは整数）行及び４列から成り、ＣＣＭは４行４列の行列である。
【００７９】
【数４】
2008518229.tif 000006
上の行列式では、ＦＣの４列は、正確に同じ光信号に対するマルチフィルタＣＲ，ＣＧ，ＣＢ，及びＣの応答を含み、ＦＭの列は、正確に同じ光信号に対するＭＲ，ＭＧ，ＭＢ，及びＭの応答を含み、かつこれらの行列の行に正確に同じ順序で表示される。例えば、行列ＦＣ及びＦＭの両方の行列の第１行の値は、正確に同じ光信号に対するマルチフィルタＣＲ，ＣＧ，ＣＢ，及びＣだけでなく、ＭＲ，ＭＧ，ＭＢ，及びＭの応答に対応する。係数行列ＣＣＭは方程式（Ｅｑ．２）を使用することにより次式のように推定される。
【００８０】
【数５】
2008518229.tif 000007
次に、推定変換行列ＣＣＭを使用してマルチフィルタＣＲ，ＣＧ，ＣＢ，及びＣの新規の測定応答を、ＭＲ，ＭＧ，ＭＢ，及びＭの該当する応答に変換する。ＣＣＭを推定するためにＦＣ及びＦＭに使用される値は所謂トレーニングデータセット（ｔｒａｉｎｉｎｇ  ｄａｔａ  ｓｅｔ）に属する。
【００８１】
同じ方法を適用して他の必要な変換行列を推定して、分離された、またはデモザイク処理された（空きの多い）アレイ（例えば、１６個のこのようなアレイは、図４ａに示されるマルチフィルタモザイクを使用する事例において処理する必要がある）を埋め、完成させことができる。ここで、逆変換も必要であり、例えばＣＭＣがＦＭをＦＣに変換するために必要になる。しかしながら、ＣＣＭを推定するために使用された同じトレーニングデータセットを使用してＣＭＣを以下のように推定することができる。
【００８２】
【数６】
2008518229.tif 000008
別の例として、図８に示される事例について考察する。この場合、透明フィルタ要素はカラーモザイクに使用されないので、例えば次のＦＣ，ＦＭ，及びＣＣＭ行列が導出される。
【００８３】
【数７】
2008518229.tif 000009
方程式（Ｅｑ．１）の係数行列Ｃｉｊは、部分最小自乗法（ＰＬＳ）（方程式（Ｅｑ．２）を使用するのではなく）を使用して推定することもできる。
【００８４】
必要な変換行列を高精度に推定するためには、データ空間全体を表現することができるトレーニングデータセットを使用する必要がある、すなわちトレーニングデータセットは、将来時点（すなわち、トレーニングフェイズを完了した後）でシステムに提示される可能性のある、またはシステムによって処理する必要のあるデータサンプルの全ての可能な変形を表わすデータサンプルを含む必要がある。従って、良好なトレーニングデータセットを用意することは、このアプローチで手順を進めることができるようにするために必須である。
【００８５】
図２３は、可変光強度を持つ投影虹に対する均一フィルタ応答を測定する設定を示している。虹は透過率可変フィルタＦ１（０〜１００％の範囲でスムーズに変化する）を通して投影されるので、種々の光強度が、虹の全てのカラーに関して得られる、または生成される。例えば、Ｆ１は虹の狭帯域のほぼ均一な赤領域に影響を与えるので、この領域のカラーは黒化赤の方に徐々に変化する、すなわち赤から黒化赤または黒の範囲の一連のカラーを虹のこの領域において観察することができる。同じ現象が、虹の他の均一カラー領域に関して観察される。注目する均一マルチフィルタは図２３のＦ２によって表わされる。図に示すカメラはモノクロカメラである。しかしながら、マルチカラーフィルタが埋め込み型カメラカラーモザイク、及び外部カラーモザイクにより作製される場合には、カラーカメラを使用することも可能である。外部モザイク要素と同じタイプの均一カラーフィルタを図２３のＦ２として（入れ替え可能に）使用する必要がある。
【００８６】
カメラは白地表面（例えば、白地用紙）に投影される虹全体の画像を取り込む。設定における異なる部品、すなわち光源、プリズム、Ｆ１、白地表面だけでなくカメラは、トレーニングデータセット全体を取得している間は一定に保持して、複数の取り込み画像のピクセル毎の位置整合を確保することができるようにする必要がある。ピクセル値はこの事例では、トレーニングデータセットを作成するために必要なマルチフィルタ応答である。
【００８７】
本発明は、スペクトル測定を本発明による構造を使用して行う方法にも関する。マルチバンド画像をマルチスペクトル画像またはハイパースペクトル画像に変換するために使用されるアプローチによって変わるが、多くの場合、利用するマルチカラーフィルタのスペクトル特性を測定する、または種々のタイプの入射光に対するこれらのフィルタの応答を測定する必要がある。マルチカラーフィルタ（均一フィルタ及びモザイクフィルタ）のスペクトル特性の測定については既に説明した。ここで説明するのは、図２３により示すように、スペクトロメータ（分光放射計とも呼ぶ）をどのように使用して、白地表面に投影される虹の異なるポイントの、または異なる領域のスペクトルを測定するかに関するものである。しかしながら、測定は、例えばこの白地表面に設けられる穴を通して行うことがより好ましく、かつより簡単である。穴を含む硬質材料から成るプレートを使用することができる、または単に適切なグリッド状の、または網状の硬質材料を使用し（スペクトルを、穴を通してスペクトロメータを使用して測定する）、更に当該材料を、取り外し可能に配置される穴無しの白地カバーで覆う（虹を投影し、虹の画像をカメラを使用して取り込む）ことができる。
【００８８】
マルチカラーフィルタによって生成されるＮ個の色帯域が、複数の構成カラーフィルタの透過率曲線の積である透過率曲線ＴＣにより与えられると、近似スペクトルを以下に説明するアプローチによって推定することができる。ここで、イメージセンサ要素が取り込むものが、入射エネルギー（波長の関数としての入射光子の数）ｘにマルチフィルタの透過率曲線（例えば、マルチフィルタが透過率曲線ｔ１及びｔ２を持つ２つの重なりカラーフィルタから成る場合はｔ１・ｔ２）を乗算した値であり、最終的に、センサ要素自体の感度曲線σ（センサが吸収するエネルギーの一部分であって、波長の関数として表わされる部分）が乗算された結果が得られる。この過程は次の要素毎のベクトル積によって表わされる。
【００８９】
σ・ｔ１・ｔ２・ｘ
しかしながら、σは説明を簡単にするために１に等しいと見なす。
次に、線形代数を使用して画像要素の近似スペクトルを推定する幾つかのアプローチについて説明する。
【００９０】
［部分最小自乗法を使用する統計的アプローチ］
ｘをスペクトル信号のベクトル（ｍ個の要素を含むスペクトルベクトル）とし、ｙをＮ個の異なるマルチフィルタから得られるＮ−バンド出力ベクトル（Ｎ要素ベクトル）とする。スペクトルｘをマルチバンドデータｙに基づいて推定する効率的な方法では、ｘとｙとの間の線形関係Ｐを、次の方程式に従って統計的に推定するが、
【００９１】
【数８】
2008518229.tif 000010
上の方程式では、Ｑ個の既知のスペクトルｘ（従来のスペクトロメータにより測定される）から成るトレーニングデータセット、及びＱ個の対応する画像応答ｙ（カメラに取り込まれる）を種々のタイプの入射光に関して使用する。ｉ＝１，２，．．．，Ｑとする場合、測定応答ｙｉは、ｙｉを列とする行列Ｙを構成することができ、更に同様にして、スペクトルｘｉは行列Ｘ（ｍ行Ｑ列）を構成する。ｙｉをの次元をＤとし、かつトレーニングペア（ｘｉｙｉ）の数Ｑが当該次元よりも高く、Ｑ＞Ｄで表わされるとすると、行列Ｙは非正方（Ｄ行Ｑ列）矩形行列となる。従って、この関係は次のような方程式として公式化することができ、
【００９２】
【数９】
2008518229.tif 000011
更にこの方程式は、部分最小自乗法（ＰＬＳ）を使用することにより解くことができ、推定値Ｐ’（ｍ行Ｄ列）が生成される。最後に、ｘ’として示されるｘの推定値はｘ’＝Ｐ’ｙｊにより得られ、ｙｊはトレーニングデータセットから外れた画像応答である、すなわちトレーニングデータセットに含まれない新規の測定画像応答である。
【００９３】
このアプローチは、狭帯域フィルタの近似値を、低コスト広帯域フィルタを使用して推定する操作と見なすことができる。図２５，２６，及び２７は、重なり透過率曲線ＴＣを持つ２つのフィルタを使用して多数の狭帯域フィルタを近似する構成の幾つかの例を示している。図２５では、透過率曲線ＴＣ２及びＴＣ４を持つフィルタを使用してＴＣ１，ＴＣ３，及びＴＣ５を持つフィルタを近似することができる。図２６は、ＴＣ７及びＴＣ８を持つフィルタを使用してＴＣ６，ＴＣ９，及びＴＣ１０を持つフィルタを近似することができることを示している。最後に、図２７では、透過率曲線ＴＣ１２及びＴＣ１３を持つフィルタを使用してＴＣ１１及びＴＣ１４を持つフィルタを近似することができる。
【００９４】
［人工神経回路網アプローチ］
補間アプローチ２だけでなくスペクトルへの変換アプローチ１は、人工神経回路網を使用して実行することができる。図３３は、線形関数推定及び非線形関数推定の両方に使用することができる３つのレイヤ（入力レイヤ、不可視レイヤ、及び出力レイヤ）を有するフィードフォワード神経回路網を示している。入力レイヤはＮ個のノードを有し、Ｎは所望結果に変換される入力パラメータの数であり、これらの結果はＫ個の出力レイヤノードに現われ、Ｋは推定パラメータの数である。不可視レイヤはＭ個のノードを含み、Ｍは最もコスト効率の高いモデルが得られるように選択される（通常、Ｍ＝Ｎ＋１が最良の選択である）。全ての入力ノードは全ての不可視ノードに接続され、今度はこれらの不可視ノードの各々が全ての出力ノードに接続される。全ての情報は動作状態では、入力レイヤから出力レイヤの一方向に移動する。不可視レイヤ及び出力レイヤの各ノードは２つの部分、すなわち次の方程式により表わされる線形和関数及び非線形活性化関数を有する。
【００９５】
【数１０】
2008518229.tif 000012
上の方程式では、ｙはノードの出力であり、ａはスケーリング係数であり、ｔａｎｈは双曲正接関数であり、ｊはノードへの入力の数であり、ｘｉはノードへの入力であり、ｗｉはノードへの各入力接続に関連する重み付け係数であり、ｂはバイアス因子である。ａ，ｂ，及びｗｉは、神経回路網に使用することになる複数ペアの入力パラメータ及び出力パラメータから成るトレーニングデータセットを使用して神経回路網をトレーニングすることにより推定される（すなわち、これにより、入力パラメータを回路網に入力するときに所望の出力パラメータを推定する）。
【００９６】
一例として、マルチフィルタＣＲ，ＣＧ，ＣＢ，及びＣの応答をＭＲ，ＭＧ，ＭＢ，及びＭの応答に変換する事例について考察する。ここでは、Ｎ＝４の入力ノード（ＣＲ，ＣＧ，ＣＢ，及びＣ信号を受信する）、Ｍ＝５の不可視ノード、及びＫ＝４の出力ノード（ＭＲ，ＭＧ，ＭＢ，及びＭ信号を生成する）を備える神経回路網を使用すると計算効率が高くなる。
【００９７】
マルチフィルタ応答をスペクトルに変換する場合、神経回路網は異なるマルチフィルタと同じ数の入力を有する必要がある、例えば１６個の入力ノード（及び、１７個の不可視ノード）が、図６に示されるマルチフィルタを使用する場合に必要になる。出力レイヤは、推定スペクトルにおける所望のスペクトル帯域の数と同じ数のノードを有する。
【００９８】
［他の利点及び用途］
モノクロ画像（すなわち、シングルバンド画像）と同程度に小さいマルチフィルタモザイク画像は容易に変換し、保存することができるので、この方法は航空撮像システムまたは衛星撮像システムなどだけでなく、遠隔治療及び電子医療記録及び保管に有用となり、この場合、取得画像は別の場所に転送されて保存される（保管される）、及び／又は解析される（マルチスペクトル画像またはハイパースペクトル画像を生成した後）。マルチフィルタモザイク画像をデモザイキング処理することによりマルチバンド画像が生成され、このマルチバンド画像はまた、ハイパースペクトル画像よりもずっと小さい（その結果、転送及び保存が容易である）。入れ替え可能な均一フィルタ（フィルタホイールまたは平坦な透過フィルタを使用する）を有するシステムは、マルチバンド画像を直接生成する。マルチスペクトル画像またはハイパースペクトル画像は必要に応じて、該当するマルチバンド画像を変換することにより生成し、解析することができる。
【００９９】
本発明が有用となり得る別の重要な用途では、マルチスペクトル画像またはハイパースペクトル画像を生成し、次に適切な処理及び解析を行なって画像に影響する照明効果及び周囲環境効果を除去し、最終的に、処理済みマルチスペクトル画像またはハイパースペクトル画像を変換してカラーＲＧＢ画像に戻す。効率的なカラー補正をこの方法により行うことができる。結果として得られるカラーＲＧＢ画像を所定のディスプレイ、例えばシステムの中で現在使用されているディスプレイ装置に関して最適化する（適切なＲ，Ｇ，及びＢフィルタを選択し、使用することにより）ことも可能である。
【０１００】
最後に、勿論、スペクトロメータを、上に説明した技術及び方法を使用して構成することができる。主要な違いは、異なるマルチフィルタに属する抽出個別アレイの空き空間を埋める補間／外挿を全く行う必要がないことである。補間／外挿を行うのではなく、ここで行う必要があるのは、各個別アレイの空ではない要素の平均値を単純に計算することである。空ではないアレイ要素の合計は、複数の個別アレイが空ではない要素を同じ数だけ含む場合に使用することができる（平均値の代わりに）。従って、各個別アレイによってスカラー値が１つだけ生成される。これらのスカラー値は単一ベクトルを形成し、このベクトルでは、これらの値が特定の順番に従って挿入される。その後、このマルチバンドベクトルをスペクトルに（上述した、スペクトルへの複数の変換アプローチの一つを使用して）出来る限り高いスペクトル分解能及び精度で変換することができる。
【０１０１】
更に、多数のスペクトル測定を並列に実行することができる分光分析装置を構成することもできる。その理由は、イメージセンサアレイの空間分解能は通常、十分に高いので非常に多くの繰り返しモザイクパターンユニットから成るマルチフィルタモザイクに使用され、これらの繰り返しモザイクパターンユニットは、イメージセンサアレイ全体を被覆するモザイクを形成するために繰り返されるフィルタモザイクパターンである。従って、イメージセンサアレイのうち、少なくとも一つのモザイクパターンユニットによって被覆される異なる部分を使用して図２８に示す複数の個別スペクトロメータを構成することができ、この場合、マルチフィルタモザイクを図６に示すタイプ（すなわち、同じマルチフィルタモザイクパターン）の４つのモザイクユニットにより構成する。図２８では、４つの異なる光信号を並列にこれらのモザイクユニット領域に送出することが可能な場合に、４つのモザイクユニットの各々を使用して一つの個別スペクトロメータを構成することができ、この構成は、４つの個別の光ファイバＯＦを使用し、これらの光ファイバの各々が光を異なるモザイクユニットに送出するようにすることにより容易に実現することができる。しかしながら、イメージセンサアレイとマルチフィルタモザイクとの間でのピクセル毎の位置整合が不可能である場合においては、光ファイバＯＦが少なくとも一つのモザイクユニットを確実に被覆するようにすることが重要である。レンズシステム（図３，１１〜１６，及び２１において説明した）を使用してマルチスペクトルカメラまたはハイパースペクトルカメラ（ピクセルにスペクトルを持つマルチスペクトル画像またはハイパースペクトル画像を生成することができる）を構成する、またはスペクトロメータ（一つのシングルスペクトルを生成する）を構成することもでき、この場合、センサアレイの少なくとも一つの部分を省いても十分なだけの空間分解能及び個数の要素を有するイメージセンサアレイを使用する、すなわちこれらの部分をカメラまたはスペクトロメータの構成に使用せず、これらの部分の各々を、少なくとも一つのマルチモザイクユニットによって被覆して（前述したように、物理的に直接接触させることにより、またはカラーモザイクを光路ＯＰの位置に配置することにより）、光ファイバＯＦがカバーするようにし、個別スペクトロメータを構成する。
【０１０２】
図２９及び３０は、図１１及び１３にそれぞれ示す実施形態をどのように変更すればマルチ素子を構成することができるかを示している。図２９では、マルチスペクトル画像またはハイパースペクトル画像を取り込む、または被写体Ｏのスペクトルを測定し、同時に光ファイバＯＦ１及びＯＦ２を使用することにより送出される光信号のスペクトルを測定することができる。少なくとも一つの光ファイバＯＦが、測定スペクトルまたは取り込みマルチスペクトル画像またはハイパースペクトル画像に影響する照明及び周囲環境効果を除去することができるようになるために必要になる、例えばカラー補正を容易に実行することができるために必要になる。
【０１０３】
図３１及び３２は、光ファイバＯＦのみを使用して光信号を構造のマルチフィルタモザイクに供給する２つの実施形態（図２９及び３０の実施形態にそれぞれ対応する）を示している。少なくとも一つの光ファイバＯＦが使用されるが、用途において必要とされる場合には、最大、イメージセンサアレイ要素の数と同じ数の光ファイバＯＦを使用し、かつこれらの光ファイバＯＦをイメージセンサアレイ領域全体に均一に分散させることもできる。シングル光ファイバＯＦとイメージセンサ要素、またはマルチフィルタ要素との間で要素毎の位置整合を行うことが好ましい。
【０１０４】
本発明は、本発明に関する前述の実施形態及び例示としての実施形態に制限されず、かつ変更を添付の特許請求の範囲に示される本発明の思想の範囲内で加えることができることを理解し得る。六角形、八角形、または他のピクセル配列パターンも同じようにして、現在広く使用される矩形グリッド配列の代わりにイメージセンサに使用することができる。「スーパーＣＣＤ」はＦｕｊｉｆｉｌｍ（Ｆｕｊｉｆｉｌｍ，  ２００４，  Ｎｅｗｓ  Ｈｉｇｈｌｉｇｈｔｓ−高分解能及び広ダイナミックレンジを高性能微細化技術により実現する新第４世代スーパーＣＣＤ、Ｆｕｊｉｆｉｌｍ  ｗｅｂｓｉｔｅ；Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ  ＠  ｈｔｔｐ：／／ｈｏｍｅ．ｆｕｊｉｆｉｌｍ．ｃｏｍ／ｎｅｗｓ／ｎ０３０１２２．ｈｔｍｌ，  ｃｉｔｅｄ  Ｓｅｐｔ  ２００５）が発表した製品である。
【図面の簡単な説明】
【０１０５】
【図１】瞬時及び／又は非瞬時マルチスペクトル及びハイパースペクトル画像を生成するシステムの簡易模式図である。
【図２】図ａは、重なりカラーフィルタモザイクから成るフィルタユニット（ＦＵ）の簡易模式図であり、ＣＦＭｉはカラーフィルタモザイク番号「ｉ」を指し、図ｂは、均一カラーフィルタから成るフィルタユニット（ＦＵ）の簡易模式図であり、ＵＣＦｉは均一カラーフィルタ番号「ｉ」を指し、図ｃは、重なり均一カラーフィルタ及びカラーフィルタモザイクから成るフィルタユニット（ＦＵ）の簡易模式図であり、ＸＣＦｉはＣＦＭｉまたはＵＣＦｉとすることができる。
【図３】図ａは、イメージセンサユニット（ＩＳＵ）を、ＩＳＵに直接取り付けられるフィルタユニットＦＵ０を含むマルチフィルタユニット（ＭＦＵ）と組み合わせる構造の簡易模式図であり、図ｂは、イメージセンサユニット（ＩＳＵ）を、光路（ＯＰ）の収束光の位置に配置される多数（ｍ≧１）のフィルタユニット（ＦＵｉ）の他に、ＩＳＵに直接取り付けられるフィルタユニットＦＵ０を含むマルチフィルタユニット（ＭＦＵ）と組み合わせる構造の簡易模式図であり、図３ｃは、イメージセンサユニット（ＩＳＵ）を、光路（ＯＰ）の収束光の位置に配置される多数（ｍ≧１）のフィルタユニット（ＦＵｉ）から成るマルチフィルタユニット（ＭＦＵ）と組み合わせる構造の簡易模式図であり、この場合はＦＵ０が使用されない。
【図４】図ａは、２つの重なりカラーフィルタモザイク、すなわちＣＭＹＴ（シアン領域、マゼンタ領域、イエロー領域、及び透明領域から成る）、及びＲＧＢＴ（赤領域、緑領域、青領域、及び透明領域から成る）から成るマルチフィルタモザイクユニット（このユニットは繰り返されてイメージセンサアレイ全体を被覆するモザイクを形成する）の簡易模式図であり、この場合、ＣＭＹＴモザイクの各要素はＲＧＢＴモザイクの２×２要素を被覆し、図ｂは、均一カラーフィルタを、均一カラーフィルタを保持する２つの位置整合フィルタホイール（各フィルタホイールから選択されるフィルタが現われる窓は位置整合させる必要がある）を使用して生成する構造の簡易模式図であり、この場合、これらの２つのフィルタホイールのフィルタ群を組み合わせることにより異なるマルチフィルタが生成される。
【図５】図ａ，ｂ，及びｃは、マルチチップイメージセンサに使用される３つのマルチフィルタモザイクの簡易模式図であり、この場合、３つのマルチフィルタモザイクの各々は、イメージセンサの複数のセンサアレイの一つを被覆する。
【図６】図４ａのカラーフィルタモザイクを使用する場合に結果として得られるマルチフィルタモザイクの簡易模式図である。
【図７】マルチフィルタモザイクの簡易模式図であり、この場合、要素毎の位置整合がイメージセンサアレイとＲＧＢＴモザイクとの間で行なわれ、ランダムに分布するランダムな形状のカラー要素を含む低分解能ＣＭＹＴモザイクはＲＧＢＴモザイクと重なる。
【図８】２つの重なりＣＭＹ対角カラーモザイク及びＲＧＢ対角カラーモザイクを含むマルチフィルタモザイクの簡易模式図であり、この場合、要素毎の位置整合がイメージセンサアレイとＲＧＢモザイクとの間で行なわれ、かつＣＭＹモザイクの各要素はＲＧＢモザイクの２×２要素を被覆する。
【図９】マルチフィルタモザイクの簡易模式図であり、この場合、ＲＧＢ対角カラーモザイクはイメージセンサアレイに集積化され、ＣＭＹ対角カラーモザイクは、明確に分離されたＣ領域，Ｍ領域，及びＹ領域を含むように完全な形では生成することができない。
【図１０】図９に示すマルチフィルタモザイクの別の変形例の簡易模式図であり、この場合、Ｃ領域，Ｍ領域，及びＹ領域がダイアモンド形に形成されてＣＭＹモザイクの２つよりも多くの領域の間で重なりが生じないようにしている。
【図１１】シングルチップイメージセンサ（センサアレイを一つ含む）を使用する構成の本発明の一つの実施形態の簡易模式図であり、構造１（この構造は、第１均一スペクトルフィルタ１３を含む）は、図の部品１２の等価物である従来のデジタルカメラに取り付けることができる。
【図１２】図１１に示す実施形態の別の変形例の簡易模式図であり、この場合、第１均一スペクトルフィルタは使用する従来のカメラの一部分である。
【図１３】シングルチップイメージセンサを使用し、かつ第１スペクトルモザイクまたは第１カラーフィルタモザイク１１２がカラー分離手段１２３を直接被覆する構成の本発明の一つの実施形態の簡易模式図である。
【図１４】３チップイメージセンサ（３つの異なる均一フィルタによって被覆される３つの個別のセンサアレイを含む）を使用する構成の本発明の一つの実施形態の簡易模式図であり、構造１は、図の部品１２’の等価物である従来の３チップデジタルカメラに取り付けることができる。
【図１５】３チップイメージセンサを使用し、かつ均一カラーフィルタ（１２５ａ，１２５ｂ，または１２５ｃ）及びカラーフィルタモザイク（１２３ａ，１２３ｂ，または１２３ｃ）を含む各マルチフィルタモザイクが個別のセンサアレイのうちの一つを直接被覆する構成の本発明の一つの実施形態の簡易模式図である。
【図１６】４チップイメージセンサを使用し、かつ異なるマルチフィルタモザイクが異なる個別のセンサアレイを直接被覆する構成の本発明の一つの実施形態の簡易模式図である。
【図１７】フィルタの線形依存透過率曲線の簡易模式図であり、透過率曲線ＴＣ１は２つの他の透過率曲線ＴＣ２及びＴＣ３を線形合成したものである。
【図１８】図ａは５つの透過率曲線ＴＣ１，ＴＣ２，ＴＣ３，ＴＣ４，及びＴＣ５を示し、図ｂは、図１８ａの複数の透過率曲線ペアをそれぞれＴＣ１×ＴＣ２，ＴＣ２×ＴＣ３，ＴＣ３×ＴＣ４，及びＴＣ４×ＴＣ５と乗算した結果である透過率曲線ＴＣ６，ＴＣ７，ＴＣ８，及びＴＣ９を示し、図ｃは、従来のスペクトロメータが取り込むカラーフィルタの実スペクトルを示す。
【図１９】図ａ及びｂは、農業用途及び医療用途に適する２つのマルチフィルタモザイクの簡易模式図である。
【図２０】医療用途及び農業用途に適するマルチフィルタモザイクの簡易模式図である。
【図２１】図ａは、本発明による少なくとも一つの第１スペクトルフィルタモザイクまたは第１カラーフィルタモザイク１１２を含む光学付属機器３３を示し、本発明による光学機器３３及び従来のカメラ４４は、互いに接続されると本発明による構造１を構成し、図ｂは、本発明による少なくとも一つの第１スペクトルフィルタモザイクまたは第１カラーフィルタモザイク１１２を含む接眼レンズ５１を示し、接眼レンズ５１は従来のデジタルカメラ５２と協調動作することにより本発明による構造１を構成する。
【図２２】図ａは２次元アレイの一部分を示し、陰影領域は均質領域を表わし、図ｂは、図ａの個別アレイの一部分に距離変換を適用した結果を示し、相対的に暗い要素は相対的に長い距離に対応する。
【図２３】種々のカラー（虹色光を生成することにより）だけでなく、種々の光強度（透過率可変フィルタＦ１を使用することにより）に対する特定のマルチフィルタＦ２の応答を測定する設定の簡易模式図であり、応答信号は、従来のスペクトロメータ及び従来のデジタルカメラを使用することにより測定される。
【図２４】１１個の基底関数ベクトルから成るセットを３００ｎｍから最大１１００ｎｍまでの範囲の波長区間に渡って示す簡易模式図である。
【図２５】重なり透過率曲線ＴＣを示す２つのフィルタを使用して、相対的に幅狭の曲線ＴＣを示す２つ、または３つのフィルタを近似する幾つかの例を示す簡易模式図であり、透過率曲線ＴＣ２及びＴＣ４を示すフィルタは、ＴＣ１，ＴＣ３，及びＴＣ５を示すフィルタを近似することができる。
【図２６】重なり透過率曲線ＴＣを示す２つのフィルタを使用して、相対的に幅狭の曲線ＴＣを示す２つ、または３つのフィルタを近似する幾つかの例を示す簡易模式図であり、透過率曲線ＴＣ７及びＴＣ８を示すフィルタは、ＴＣ６，ＴＣ９，及びＴＣ１０を示すフィルタを近似することができる。
【図２７】重なり透過率曲線ＴＣを示す２つのフィルタを使用して、相対的に幅狭の曲線ＴＣを示す２つ、または３つのフィルタを近似する幾つかの例を示す簡易模式図であり、透過率曲線ＴＣ１２及びＴＣ１３を示すフィルタは、ＴＣ１１及びＴＣ１４を示すフィルタを近似することができる。
【図２８】図６に提示するタイプの４つのモザイクユニットから成るマルチフィルタモザイクの簡易模式図である。
【図２９】図１１及び１３に提示する実施形態の変更版の簡易模式図であり、新規の実施形態はマルチスペクトル画像またはハイパースペクトル画像を取り込む、または被写体Ｏのスペクトルを測定し、同時に、光ファイバＯＦ１及びＯＦ２を使用することにより放出される光信号のスペクトルを測定する。
【図３０】図１１及び１３に提示する実施形態の変更版の簡易模式図であり、新規の実施形態はマルチスペクトル画像またはハイパースペクトル画像を取り込む、または被写体Ｏのスペクトルを測定し、同時に、光ファイバＯＦ１及びＯＦ２を使用することにより放出される光信号のスペクトルを測定する。
【図３１】光ファイバＯＦのみを使用して光信号を構造のマルチフィルタモザイクに供給する構成の２つの実施形態（図２９及び３０の実施形態にそれぞれ対応する）の簡易模式図である。
【図３２】光ファイバＯＦのみを使用して光信号を構造のマルチフィルタモザイクに供給する構成の２つの実施形態（図２９及び３０の実施形態にそれぞれ対応する）の簡易模式図である。
【図３３】フィードフォーワード人工神経回路網の簡易図を示す。
【図１】
2008518229.tif 000013
【図２】
2008518229.tif 000014
【図３】
2008518229.tif 000015
【図４】
2008518229.tif 000016
【図５】
2008518229.tif 000017
【図６】
2008518229.tif 000018
【図７】
2008518229.tif 000019
【図８】
2008518229.tif 000020
【図９】
2008518229.tif 000021
【図１０】
2008518229.tif 000022
【図１１】
2008518229.tif 000023
【図１２】
2008518229.tif 000024
【図１３】
2008518229.tif 000025
【図１４】
2008518229.tif 000026
【図１５】
2008518229.tif 000027
【図１６】
2008518229.tif 000028
【図１７】
2008518229.tif 000029
【図１８】
2008518229.tif 000030
【図１９】
2008518229.tif 000031
【図２０】
2008518229.tif 000032
【図２１】
2008518229.tif 000033
【図２２】
2008518229.tif 000034
【図２３】
2008518229.tif 000035
【図２４】
2008518229.tif 000036
【図２５】
2008518229.tif 000037
【図２６】
2008518229.tif 000038
【図２７】
2008518229.tif 000039
【図２８】
2008518229.tif 000040
【図２９】
2008518229.tif 000041
【図３０】
2008518229.tif 000042
【図３１】
2008518229.tif 000043
【図３２】
2008518229.tif 000044
【図３３】
2008518229.tif 000045
【国際調査報告】
2008518229.tif 000046
2008518229.tif 000047
2008518229.tif 000048
2008518229.tif 000049