(57)【特許請求の範囲】
【請求項１】
スペクトル透過特性が各々異なる複数のバンドパスフィルタと、
前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体を撮影し、受光した光量に応じた第１の画像データを前記複数のバンドパスフィルタに対応して出力する第１の撮影部と、
前記複数のバンドパスフィルタに対して前記第１の撮影部と対称の位置に配置されると共に、前記複数のバンドパスフィルタの各々から反射された被写体からの光を受光して前記第１の撮影部の撮影タイミングに同期して該被写体を撮影し、受光した光量に応じた第２の画像データを前記複数のバンドパスフィルタに対応して出力する第２の撮影部と、
前記複数のバンドパスフィルタの複数のスペクトル反射特性を所望のバンドのスペクトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶した記憶部と、
前記複数のバンドパスフィルタの各々に対応して得られた複数の第２の画像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第２の画像データを前記所望のバンドに対応する画像データに変換する変換部と、
所望のバンドに対応する前記第１の画像データと前記複数の第２の画像データから変換された変換画像データとを合成した合成画像データを出力する出力部と、
を含む撮影装置。
【請求項２】
前記第１の画像データの誤差の分散の逆数に比例した値、及び前記変換画像データの誤差の分散の逆数に比例した値を重みとした前記第１の画像データと前記変換画像データとの重み付き平均値を、前記合成画像データとする請求項１記載の撮影装置。
【請求項３】
複数のバンドを透過するスペクトル透過特性を備え、該スペクトル透過特性が各々異なる複数のバンドパスフィルタと、
前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体を撮影し、受光した光量に応じた第１の画像データを前記複数のバンドパスフィルタに対応して出力する第１の撮影部と、
前記複数のバンドパスフィルタに対して前記第１の撮影部と対称の位置に配置されると共に、前記複数のバンドパスフィルタの各々から反射された被写体からの光を受光して前記第１の撮影部の撮影タイミングに同期して該被写体を撮影し、受光した光量に応じた第２の画像データを前記複数のバンドパスフィルタに対応して出力する第２の撮影部と、
前記複数のバンドパスフィルタの複数のスペクトル反射特性及び複数のスペクトル透過特性を所望のバンドのスペクトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶した記憶部と、
前記複数のバンドパスフィルタの各々に対応して得られた複数の第１の画像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第１の画像データを前記所望のバンドに対応する第１の変換画像データに変換すると共に、前記複数のバンドパスフィルタの各々に対応して得られた複数の第２の画像データと所望のバンドに対応する前記複数の係数とを用いて、前記複数の第２の画像データを前記所望のバンドに対応する第２の変換画像データに変換する変換部と、
所望のバンドに対応する前記第１の変換画像データと前記第２の変換画像データとを合成した合成画像データを出力する出力部と、
を含む撮影装置。
【請求項４】
前記第１の変換画像データの誤差の分散の逆数に比例した値、及び前記第２の変換画像データの誤差の分散の逆数に比例した値を重みとした前記第１の変換画像データと前記第２の変換画像データとの重み付き平均値を、前記合成画像データとする請求項３記載の撮影装置。
【請求項５】
前記係数は、スペクトル反射特性を所望のバンドのスペクトル透過特性に変換するための係数である請求項１に記載の撮影装置。
【請求項６】
前記係数は、スペクトル反射特性を所望のバンドのスペクトル透過特性に変換するための係数である請求項３に記載の撮影装置。
【請求項７】
スペクトル透過特性が各々異なる複数のバンドパスフィルタを用いて撮影を行う方法であって、
前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体に対して第１の撮影を行い、
受光した光量に応じた第１の画像データを前記複数のバンドパスフィルタに対応して出力し、
前記第１の撮影を行った位置の前記複数のバンドパスフィルタに対する対称の位置において、前記複数のバンドパスフィルタの各々から反射された被写体からの光を受光し、前記第１の撮影の撮影タイミングに同期して該被写体に対して第２の撮影を行い、
受光した光量に応じた第２の画像データを前記複数のバンドパスフィルタに対応して出力し、
前記複数のバンドパスフィルタの複数のスペクトル反射特性を所望のバンドのスペクトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶し、
前記複数のバンドパスフィルタの各々に対応して得られた複数の第２の画像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第２の画像データを前記所望のバンドに対応する画像データに変換し、
所望のバンドに対応する前記第１の画像データと前記複数の第２の画像データから変換された変換画像データとを合成した合成画像データを出力する
ことを含む撮影方法。
【請求項８】
複数のバンドを透過するスペクトル透過特性を備え、該スペクトル透過特性が各々異なる複数のバンドパスフィルタを用いて撮影を行う方法であって、
前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体に対して第１の撮影を行い、
受光した光量に応じた第１の画像データを前記複数のバンドパスフィルタに対応して出力し、
前記第１の撮影を行った位置の前記複数のバンドパスフィルタに対する対称の位置において、前記複数のバンドパスフィルタの各々から反射された被写体からの光を受光して前記第１の撮影の撮影タイミングに同期して該被写体に対して第２の撮影を行い、
受光した光量に応じた第２の画像データを前記複数のバンドパスフィルタに対応して出力し、
前記複数のバンドパスフィルタの複数のスペクトル反射特性及び複数のスペクトル透過特性を所望のバンドのスペクトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶し、
前記複数のバンドパスフィルタの各々に対応して得られた複数の第１の画像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第１の画像データを前記所望のバンドに対応する第１の変換画像データに変換し、
前記複数のバンドパスフィルタの各々に対応して得られた複数の第２の画像データと所望のバンドに対応する前記複数の係数とを用いて、前記複数の第２の画像データを前記所望のバンドに対応する第２の変換画像データに変換し、
所望のバンドに対応する前記第１の変換画像データと前記第２の変換画像データとを合成した合成画像データを出力する
ことを含む撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置及び撮像方法にかかり、特に、狭いバンドパス特性を持つ複数の光学フィルタを備えたマルチスペクトルカメラ及びその撮影方法に関する。
【背景技術】
【０００２】
マルチスペクトルカメラは、通常のカラーカメラが赤(Ｒ)、緑(Ｇ)、青(Ｂ) の３つの波長領域の画像を得るのに対し、更に細かい波長領域に分解した複数のバンドの画像を得るものである（例えば、特許文献１）。典型的なマルチスペクトルカメラは、ＣＣＤ等の撮像素子の入射側に異なる狭いバンドパス特性を持つ複数の光学フィルタが順次挿入される構造を持ち、それぞれのフィルタ特性に対応する画像を得るものである。バンドパスフィルタとしては通常干渉フィルタが用いられている。
【特許文献１】特開２００２−１８５９７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、マルチスペクトルカメラは、通常のカラーカメラより高いスペクトル分解能を得るためにバンド幅の狭い光学フィルタを使用している。そのため、フィルタを通過する光量が減少し、必然的に画像が暗くなる、という問題がある。このように画像が暗くなる結果、露光時間の増加を招き、短時間の計測等の撮影を困難にすることにもなる。【０００４】
本発明は、上記問題を考慮して成されたもので、画像が暗くならないようにした撮影装置を提供する。
【課題を解決するための手段】
【０００５】
本発明の第一の態様は、撮影装置であって、スペクトル透過特性が各々異なる複数のバンドパスフィルタと、前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体を撮影し、受光した光量に応じた第１の画像データを前記複数のバンドパスフィルタに対応して出力する第１の撮影部と、前記複数のバンドパスフィルタに対して前記第１の撮影部と対称の位置に配置されると共に、前記複数のバンドパスフィルタの各々から反射された被写体からの光を受光して前記第１の撮影部の撮影タイミングに同期して該被写体を撮影し、受光した光量に応じた第２の画像データを前記複数のバンドパスフィルタに対応して出力する第２の撮影部と、前記複数のバンドパスフィルタの複数のスペクトル反射特性を所望のバンドのスペクトル透過特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶した記憶部と、前記複数のバンドパスフィルタの各々に対応して得られた複数の第２の画像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第２の画像データを前記所望のバンドに対応する画像データに変換する変換部と、所望のバンドに対応する前記第１の画像データと前記複数の第２の画像データから変換された変換画像データとを合成した合成画像データを出力する出力部と、を含む。【０００６】
本態様によれば、バンドパスフィルタを透過した光により得られる第１の画像データと、各バンドパスフィルタから反射された光により得られる複数の第２の画像データ及び複数の係数から得られる所望のバンドに対応する画像データとが合成される。そのため、明るい画像を得ることができ、画像が暗くなることはない。【０００７】
合成画像データは、前記第１の画像データの誤差の分散の逆数に比例した値、及び前記変換画像データの誤差の分散の逆数に比例した値を重みとした前記第１の画像データと前記変換画像データとの重み付き平均値により求めることができる。【０００８】
また、本発明の第二の態様は、撮影装置であって、複数のバンドを透過するスペクトル透過特性を備え、該スペクトル透過特性が各々異なる複数のバンドパスフィルタと、前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体を撮影し、受光した光量に応じた第１の画像データを前記複数のバンドパスフィルタに対応して出力する第１の撮影部と、前記複数のバンドパスフィルタに対して前記第１の撮影部と対称の位置に配置されると共に、前記複数のバンドパスフィルタの各々から反射された被写体からの光を受光して前記第１の撮影部の撮影タイミングに同期して該被写体を撮影し、受光した光量に応じた第２の画像データを前記複数のバンドパスフィルタに対応して出力する第２の撮影部と、前記複数のバンドパスフィルタの複数のスペクトル反射特性及び複数のスペクトル透過特性を所望のバンドのスペクトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶した記憶部と、前記複数のバンドパスフィルタの各々に対応して得られた複数の第１の画像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第１の画像データを前記所望のバンドに対応する第１の変換画像データに変換すると共に、前記複数のバンドパスフィルタの各々に対応して得られた複数の第２の画像データと所望のバンドに対応する前記複数の係数とを用いて、前記複数の第２の画像データを前記所望のバンドに対応する第２の変換画像データに変換する変換部と、所望のバンドに対応する前記第１の変換画像データと前記第２の変換画像データとを合成した合成画像データを出力する出力部と、を含む。【０００９】
本態様は、複数のバンドを透過するスペクトル透過特性を備えた複数のバンドパスフィルタを用いる場合の撮影装置に関するものである。本態様においては、複数のバンドパスフィルタの複数のスペクトル反射特性及び複数のスペクトル透過特性を所望のバンドのスペクトル特性に変換するための複数の係数を用いる。これにより、上記第一の態様と同様に所望のバンドのスペクトル特性に対応する第１の変換画像データ及び第２の変換画像データが得られる。これら所望のバンドに対応する第１の変換画像データと第２の変換画像データとを合成することにより、明るい画像を表示できる合成画像データを得ることができる。【００１０】
本発明は前記第一及び第二の態様に対応する撮影方法としても実現できる。【００１１】
即ち、本発明の第三の態様は、スペクトル透過特性が各々異なる複数のバンドパスフィルタを用いて撮影を行う方法であって、前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体に対して第１の撮影を行い、受光した光量に応じた第１の画像データを前記複数のバンドパスフィルタに対応して出力し、前記第１の撮影を行った位置の前記複数のバンドパスフィルタに対する対称の位置において、前記複数のバンドパスフィルタの各々から反射された被写体からの光を受光し、前記第１の撮影の撮影タイミングに同期して該被写体に対して第２の撮影を行い、受光した光量に応じた第２の画像データを前記複数のバンドパスフィルタに対応して出力し、前記複数のバンドパスフィルタの複数のスペクトル反射特性を所望のバンドのスペクトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶し、前記複数のバンドパスフィルタの各々に対応して得られた複数の第２の画像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第２の画像データを前記所望のバンドに対応する画像データに変換し、所望のバンドに対応する前記第１の画像データと前記複数の第２の画像データから変換された変換画像データとを合成した合成画像データを出力することを含む。【００１２】
本発明の第四の態様は、複数のバンドを透過するスペクトル透過特性を備え、該スペクトル透過特性が各々異なる複数のバンドパスフィルタを用いて撮影を行う方法であって、前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体に対して第１の撮影を行い、受光した光量に応じた第１の画像データを前記複数のバンドパスフィルタに対応して出力し、前記第１の撮影を行った位置の前記複数のバンドパスフィルタに対する対称の位置において、前記複数のバンドパスフィルタの各々から反射された被写体からの光を受光して前記第１の撮影の撮影タイミングに同期して該被写体に対して第２の撮影を行い、受光した光量に応じた第２の画像データを前記複数のバンドパスフィルタに対応して出力し、前記複数のバンドパスフィルタの複数のスペクトル反射特性及び複数のスペクトル透過特性を所望のバンドのスペクトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶し、前記複数のバンドパスフィルタの各々に対応して得られた複数の第１の画像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第１の画像データを前記所望のバンドに対応する第１の変換画像データに変換し、前記複数のバンドパスフィルタの各々に対応して得られた複数の第２の画像データと所望のバンドに対応する前記複数の係数とを用いて、前記複数の第２の画像データを前記所望のバンドに対応する第２の変換画像データに変換し、所望のバンドに対応する前記第１の変換画像データと前記第２の変換画像データとを合成した合成画像データを出力することを含む。
【発明の効果】
【００１３】
以上説明したように本発明によれば、バンドパスフィルタを透過した光により得られる画像データと、各バンドパスフィルタから反射された光により得られる画像データ及び複数の係数から得られる所望のバンドに対応する画像データとが合成される。そのため、明るい画像得ることができ、画像が暗くなることはない。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態を示す概略図である。
【図２】本発明の実施の形態のフィルタ部分を示す概略拡大図である。
【図３】スペクトル透過特性の例を示す特性図である。
【図４】図３のスペクトル透過特性に対応するスペクトル反射特性を示す特性図である。
【図５】本実施の形態のフィルタの透過特性の例を示す特性図である。
【図６】図５のスペクトル透過特性に対応するスペクトル反射特性を示す特性図である。
【図７】本実施の形態の係数を用いて等価的に実現されるスペクトル透過特性を示す特性図である。
【図８】本実施の形態の制御回路による処理ルーチンを示す流れ図である。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。【００１６】
図１に示すように、本実施の形態のマルチスペクトルカメラは、駆動モータ１０によって回転されるディスクで構成されたフィルタホルダ１２の円周に沿って設けられた複数のバンドパスフィルタ（以下、単にフィルタという）１４1、１４2、・・・１４Nを備えている。このフィルタは、例えば、１２枚設けることが可能である。複数のフィルタ１４1、１４2、・・・１４Nの各々は、ガラス、石英、またはシリコン等の光透過性の基板に、多層誘電体薄膜を蒸着して、各々異なるバンド幅の光を透過するように構成されている。１つのフィルタは、例えば、図３に示すスペクトル透過特性とすることができる。図３に示すスペクトル透過特性を持ったフィルタのスペクトル反射特性は、図４に示すようになる。従って、スペクトル透過特性及びスペクトル反射特性は、フィルタ毎に異なっている。【００１７】
フィルタホルダ１２に設けられたフィルタの被写体側には、図２に示すように、ズームレンズ等の撮影レンズで構成された光学系１６が、光学系１６の光軸を通る光線がフィルタ面に対して入射角θでフィルタの中心を通過するように配置されている。【００１８】
また、フィルタホルダ１２に設けられたフィルタの光透過側には、撮像素子１８Ａが配置されている。撮像素子１８ＡはＣＣＤで構成され、フィルタ１４1、１４2、・・・１４Nの各々を透過した被写体からの光を受光して被写体を撮影し、受光した光量に応じた第１の画像データをフィルタに対応させて出力する。ＣＣＤには、光学系１６の結像位置に受光部が位置するように多数の光電変換素子が２次元状に配列されている。光学系１６及び撮像素子１８Ａの光軸は、一直線状に位置している。【００１９】
フィルタ１４1に対して撮像素子１８Ａと対称の位置には、ＣＣＤで構成された撮像素子１８Ｂが配置されている。撮像素子１８Ｂは、フィルタ１４1、１４2、・・・１４Nの各々から反射された被写体からの光を受光して撮像素子１８Ａの撮影タイミングに同期して被写体を撮影し、受光した光量に応じた第２の画像データをフィルタに対応させて出力する。【００２０】
なお、撮像素子１８Ａ，１８ＢとしてＣＣＤに代えてＣＭＯＳを使用してもよい。【００２１】
撮像素子１８Ａは、アナログ信号をデジタル信号に変換するアナログ／デジタル変換器（Ａ／Ｄ変換器）２０Ａに接続され、撮像素子１８Ｂは、Ａ／Ｄ変換器２０Ｂに接続されている。Ａ／Ｄ変換器２０Ａ，２０Ｂの各々は、データ格納部２２に接続されている。データ格納部２２は撮像素子１８Ａ，１８Ｂで撮影されてデジタル信号に変換された第１の画像データ及び第２の画像データをフィルタ毎に一時的に格納する。【００２２】
データ格納部２２は、係数記憶部２６が接続された演算部２４に接続されている。係数記憶部２６には、以下で説明する複数の係数ａiからなる係数の組が所望のバンド毎、すなわちフィルタのバンド毎に記憶されている。演算部２４は、演算部で演算した合成画像データを一時的に記憶するメモリ２８を介してＬＣＤ等で構成された表示装置３０に接続されている。【００２３】
また、マルチスペクトルカメラには、駆動モータ１０等を制御するマイクロコンピュータで構成された制御回路３２が設けられている。制御回路３２は、駆動モータ１０、撮像素子１８Ａ，１８Ｂ、Ａ／Ｄ変換器２０Ａ，２０Ｂ、データ格納部２２、演算部２４、メモリ２８、及び表示装置３０の各々に接続されている。制御回路３２は、以下で説明する制御ルーチンに従って駆動モータ１０及び撮像素子１８Ａ，１８Ｂ等を制御する。【００２４】
本実施の形態のマルチスペクトルカメラでは、光学系１６を通った光は斜め方向からフィルタに入射する。撮像素子１８Ａでその透過光が画像化されて第１の画像データが出力されると共に、フィルタに対し対称の位置に配置された撮像素子１８Ｂで反射光が画像化されて第２の画像データが出力される。【００２５】
フィルタのフォルダ１２を回転させることによって、順次異なったフィルタが図２に示したように光学系１６と撮像素子１８Ａとの間に移動する。光学系１６と撮像素子１８Ａの間に位置するフィルタの透過光による第１の画像データと反射光による第２の画像データとがフィルタに対応して得られる。【００２６】
フォルダを１回転することにより得られた反射光による複数の第２の画像データは、演算により透過光による所望のバンドの第１の画像データと等価な画像データに変換される。その変換された画像データと所望のバンドの透過光による第１の画像データとの平均を求めることで、所望の画像を得ることができる。【００２７】
なお、図２に示したように光線をフィルタに対して入射角θで入射させた場合、スペクトル特性は、入射角０でフィルタの正面から入射した場合の透過・反射スペクトル特性とは異なった特性となる。これは入射角θで入射させた場合の特性が適当になるようにフィルタを設計することで解決することができる。また、入射角が大きい場合には特性が偏光に依存するという問題も生じる。この問題を解決するためには、これが問題にならない程度の入射角(例えば、２０°以内) とするか、あるいは多少光量は減少するが、偏光フィルタによって特定の偏光のみを選択するようにする。【００２８】
バンドパスフィルタとして用いられる干渉フィルタの特徴として、通過しない波長の光は反射するという特性がある。例えば、図３に示すような通過特性を持っているフィルタの場合、反射光のスペクトルは図４に示すように、目的のスペクトルバンドの光だけが欠落した特性を持っている。従って、マルチスペクトルカメラで使用する複数のフィルタの反射光を観測した場合、その複数の反射光の画像から演算によって透過光と同じバンド特性を持った画像を合成することできる。本実施の形態では、透過光で撮影した画像に加え、このように複数の反射光から構成した画像を利用することで、よりＳ／Ｎ比の良い明るい画像を得るようにしている。【００２９】
複数のバンドパスフィルタとして、図５に示す１２個のバンドパス特性を持った１２枚のフィルタを利用する場合を例として以下説明する。これらのフィルタのスペクトル反射特性は図６に示すようになる。これらの反射特性を、波長をλとして、ｆi（λ) （ｉ＝１、 ・ ・ ・ 、Ｎ）で表す。本実施の形態の場合、Ｎは１２である。所望のバンドのスペクトル反射特性を持った一つの画像ＩRは、各反射光で撮影した複数の画像Ｉi の線形結合として、次式のように計算される。【００３０】
【数１】
0004660777.tif 000002
ここでａiは線形結合の係数である。【００３１】
次に、所望のバンドのスペクトル反射特性による画像ＩRを得るための係数ａiの決定の仕方について説明する。【００３２】
所望の画像のスペクトル特性をｇ（λ）とする。例えば、図３に示した透過によるスペクトル特性の画像を得たい場合には、このスペクトル特性をｇ（λ）とする。【００３３】
各フィルタの反射特性ｆi(λ) を関数空間の基底と考えたときに、これらが張る線型空間の中に所望の特性ｇ（λ）が存在すれば、これは以下の（２）式に示すように表現可能であり、このａi がそのまま（１）式の係数ａiとなる。【００３４】
【数２】
0004660777.tif 000003
しかし、一般にはそうではないので、二乗誤差最小の意味で最適な係数を決定する。これは次式の量Ｄを最小化することにより達成される。【００３５】
【数３】
0004660777.tif 000004
上記の量Ｄをｋ番目のバントに対する係数ａkで微分すると次式が得られる。【００３６】
【数４】
0004660777.tif 000005
ただし、上記（７）式では関数の内積を表す記号として( ・ ， ・ ) を使用した。各ａkに対する微分を０とおき、それらをまとめて行列で表すと次の（８）式が得られる。【００３７】
【数５】
0004660777.tif 000006
以下に示すように（８）式を解けば係数を決定することができる。【００３８】
（８）式を解くためには、（９）式及び（１０）式に示した各スペクトル特性の内積の値が必要である。これは実際の計算ではスペクトル特性を離散化し、総和として計算する。離散化の間隔をΔλとすれば、（９）式及び(１０)式は次式で計算される。ただし、λ0は総和計算を始める波長、ｎは離散化した各波長の番号である。【００３９】
【数６】
0004660777.tif 000007
図５に示した１２個のスペクトル特性の画像の各々を得たい場合、それぞれの特性を（１０）式のｇ(λ) として特性毎に係数ａiを計算する。このようにして計算した係数ａiの値を表１に示し、その係数によって等価的に実現されるスペクトル特性を図７に示す。表１のバンド番号１〜１２は１２個のフィルタに対応している。この係数ａiは、バンド番号で表された所望のバンドの各々に応じて予め係数記憶部２６に記憶される。【００４０】
【表１】
0004660777.tif 000008
以下本実施の形態の制御回路による処理ルーチンについて図８を参照して説明する。図示しないメインスイッチがオンされると、マルチスペクトルカメラが起動される。ステップ１００において、最初のフィルタ１４1を通して撮像素子１８Ａ及び撮像素子１８Ｂによって被写体が同時に撮影される。撮影によって得られた多数の画素値からなる第１の画像データ及び第２の画像データは、Ａ／Ｄ変換器２０Ａ及びＡ／Ｄ変換器２０Ｂで各々デジタル信号に変換された後、フィルタ１４1を示すバンド番号に対応させてデータ格納部２２に格納される。【００４１】
次のステップ１０２では、駆動モータ１０を所定角度回転させて次のフィルタ１４2を光軸上に位置させる。ステップ１０４において上記と同様にフィルタ１４2を通して撮像素子１８Ａ，１８Ｂによって被写体が同時に撮影される。撮像素子１８Ａ，１８Ｂによる撮影は、同期していればよく、必ずしも同時である必要はない。【００４２】
次のステップ１０６では、フィルタ１４1〜フィルタ１４Nの全てを使用して撮影が行なわれたか否かを判断する。フィルタの全てを使用した撮影が終了していない場合には、ステップ１０２に戻って駆動モータ１０を所定角度回転させることにより次のフィルタを光軸上に位置させて順位撮影を継続し、全てのフィルタを使用した撮影を行う。【００４３】
上記のようにして撮影されたフィルタの各々に対応する第１画像データ及び第２画像データの各々は、Ａ／Ｄ変換器２０Ａ，２０Ｂによりデジタルデータに変換されてデータ格納部２２にフィルタ毎の画像データとして格納される。【００４４】
次のステップ１０８では、図示しない操作部をユーザが操作することにより所望のバンドが指定されたか否かを判断する。バンドが指定されたと判断された場合には、ステップ１１０において係数記憶部２６から指定されたバンドのバンド番号に対応するＮ個の係数ａiを読み込む。ステップ１１２において読み込んだ係数ａiを演算部２４に入力して演算の指示を行なう。【００４５】
演算部２４では、データ格納部に格納されている複数（本実施の形態では１２）の第２の画像データと読み込んで入力された複数の係数ａiとを（１）式に従って積和演算することにより指定されたバンドに対応する画像データを生成して記憶する。以上のように決定された係数ａiと（１）式とを用いて反射光による画像データＩR が計算される。【００４６】
演算部２４では、以下の（１３）式に示すように、この反射光による画像データＩRと、撮像素子１８Ａにより撮像されると共に指定されたバンドに対応する透過光による画像データＩTとの重み付き平均を計算する。その結果、反射光による画像と透過光による画像とを合成することにより指定されたバンドに対応するＳ／Ｎ比の良い画像データＩを得る。得られた画像データは、メモリ２８に記憶される。【００４７】
Ｉ ＝ αＩT＋ βＩR                         (１３)
ここで、α及びβは、それぞれの画像データに対する重みである。この重みは、それぞれの画像データＩR，ＩTに見積もられる誤差の分散の逆数に比例した値とするのが適当である。撮像素子の雑音の分散をσ2とすると、画像データＩTの誤差の分散はσ2であるが、画像データＩRの誤差の分散σR2は、（１）式より以下の（１４）式のようになる。【００４８】
【数７】
0004660777.tif 000009
したがって、（１３）式の重みは次式で計算される。【００４９】
【数８】
0004660777.tif 000010
上記表１に示したａi対して、α 及びβは下記表２に示す値になる。【００５０】
【表２】
0004660777.tif 000011
バンドの指定の仕方は任意である。赤色波長域のバンド、緑色波長域のバンド、及び青色波長域のバンドの３つのバンドを指定したり、４つ以上のバンドを指定したりすることができる。また、撮影前に予め必要なハンドを指定しておいてもよい。【００５１】
次のステップ１１４では、操作部を操作することによりユーザから画像を表示する指示が行なわれたか否かを判断し、画像を表示する指示なわれた場合には、指定されたバンドに対応する合成画像データを用いて画像を表示する。【００５２】
以上では、所望のスペクトル特性g(λ) としてフィルタの透過特性と同一のものを用いた例について説明した。しかし、本発明はこれに限るものではなく、g(λ) として一般のスペクトル特性を用いることも可能である。この場合にはi番目のフィルタの透過特性をｆN+iとして反射特性のそれに加え、(８)、(９)、(１０)式のＮを改めて２Ｎと置いて係数ａiを計算する。ただし、この場合、（８）式の行列(Ｆij) のランクが原理的にはＮ＋１になるので、（８）式 の解を求めるのに(Ｆij) の一般逆行列を用いる。目的の画像Ｉは（１３）式によらず、次式で計算する。【００５３】
【数９】
0004660777.tif 000012
ただしＩN+iはスペクトル通過特性がｆN+iの画像である。【００５４】
次に、最もＳ／Ｎ比の良いフィルタ特性の実現について説明する。フィルタの特性を、例えば図５で示したような単一のバンドを透過するものに限定せず、複数のバンドを透過するように設計できる場合、結果として得られる各バンド画像のＳ／Ｎ比が最も良くなるように、各フィルタの透過バンドをアダマールのＳ行列の各行に対応するように設定することができる。アダマールのＳ行列については、Ｍ．Ｈａｒｗｉｔ，Ｎ．Ｊ．Ａ．Ｓｌｏａｎｅ著，Ｈａｄａｍａｒｄ Ｔｒａｎｓｆｏｒｍ Ｏｐｔｉｃｓ，Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ出版(１９７９) に詳しい。ここでは計測すべきスペクトル領域を７バンドに分けた例を示す。大きさ７のＳ行列は以下の（１９）式で与えられる。【００５５】
【数１０】
0004660777.tif 000013
この行列の列が各バンドに対応し、行が各フィルタの通過特性（透過特性）に対応する。要素が１の部分ではそのバンドの光を透過させるように、要素が０の部分では光を遮断するようにフィルタの特性を設定する。例えば、第１行目は(１，１，１，０，１，０，０) である。そのため、1 番目のフィルタの特性はバンド１，２，３，５ を透過させ、バンド４，６，７ を遮断させるようにする。２番目のフィルタはＳ行列の第２行目(１，１，０，１，０，０，１) より、バンド１，２，４，７を透過させ、バンド２，４，５を遮断するような特性とする。同様にして７番目のフィルタまで、その透過特性を設定する。このようにフィルタの特性を設定した場合、透過光による計測に関しても、次の（２０）式に示す（１）式と同様な演算によって各バンドの画像ＩTを合成する。【００５６】
【数１１】
0004660777.tif 000014
ここでのＩi はｉ番目のフィルタの透過光による画像、Ｎ はフィルタの個数で、この場合は７である。係数ａi はＳ行列の逆行列の各行に対応する。上記のＳ行列の場合の係数を表３に示す。【００５７】
【表３】
0004660777.tif 000015
一方、反射光による計測から各バンドの画像ＩRを合成するのも次の（２１）式に示すように（１）式と同じ演算による。【００５８】
【数１２】
0004660777.tif 000016
ここでのＩiはｉ番目のフィルタの反射光による画像である。各フィルタによる反射光は、（１９）式の行列Ｓの０と１とを反転したバンド選択特性を持つことになる。それを明示すれば以下の（２２）式で表される。【００５９】
【数１３】
0004660777.tif 000017
(２１)式の係数ａiは行列ＳRの逆行列で与えられる。その具体的な数値を以下の表４に示す。【００６０】
【表４】
0004660777.tif 000018
以上のようにして計算された透過光によるバンド画像ＩTと、反射光によるバンド画像ＩRは、（１３）式により重み付きで平均され、結果のバンド画像となる。このとき、重みα及びβは各画像に含まれる雑音、すなわち誤差の分散に逆比例するように次の（２３）、（２４）式で計算する。【００６１】
【数１４】
0004660777.tif 000019
ただし、σT2及びσR2は、それぞれ画像ＩT及びＩRに含まれる誤差の分散である。さらにσT2及びσR2は、それぞれ次の（２５）、（２６）式に示す行列ＶT及びＶRの対角成分の値として与えられる。【００６２】
【数１５】
0004660777.tif 000020
ここでσ2は撮像装置の雑音の分散である。(１９) 式及び (２２) 式の行列Ｓ及びＳRについて計算すると、σT2及びσR2は、次の（２７）式及び（２８）式に示すようになる。【００６３】
【数１６】
0004660777.tif 000021
したがって、この場合、（１３）式の重みは次のようになる。【００６４】
α ＝ ０．５０３９                             (２９)
β ＝ ０．４９６１                             (３０)
となる。【００６５】
以上ではバンド数が７の場合を示したが、それ以外のバンド数の場合、Ｓ行列は次の手順で求めればよい。まず、バンド数をＮとし、サイズＮ＋１のアダマール行列ＨN+1を求める。次に行列ＨN+1から第１行及び第１列を除いたサイズＮ×Ｎの行列を作り、その要素が−１の部分を１に、１の部分を０に変える。この結果得られた行列がサイズＮのＳ行列である。【００６６】
この最もＳ／Ｎ比の良いフィルタ特性を実現する場合についても、図８の処理と同様の処理によって合成画像データを演算、表示装置に表示することができる。
【符号の説明】
【００６７】
１０    駆動モータ
１８    ＣＣＤ
２４    演算部
【図１】
0004660777.tif 000022
【図２】
0004660777.tif 000023
【図３】
0004660777.tif 000024
【図４】
0004660777.tif 000025
【図５】
0004660777.tif 000026
【図６】
0004660777.tif 000027
【図７】
0004660777.tif 000028
【図８】
0004660777.tif 000029