(57)【要約】【課題】  少ないバンド数の画像と、マルチスペクトルフィルタアレイの画像をセットで取得し、信号処理によりスペクトル画像を復元することで、イメージングセンサの枚数を減らし、ワンショット撮影も可能とする。【解決手段】  被写体像に対して、広帯域の分光感度特性に対応する３色以上の第１の色数と第１の画素数を有する第１の画像の画像情報を第１のイメージセンサ１３Ｒ，１３Ｇ，１３Ｂにより取得するとともに、上記被写体像に対して、第２の画素数を有し、画素ごとに異なる分光感度特性に対応する第２の色数を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、全ての画素を集めたときの色数は上記第１の色数よりも多い第３の色数である第２の画像の画像情報を第２のイメージセンサ１４により取得し、取得された上記第１の画像の画像情報と上記第２の画像の画像情報に基づいて、上記被写体像に対するマルチスペクトル画像情報として、上記記第３の色数と上記第１の画素数を有する第３の画像の画像情報を生成する。【選択図】        図１
2013108788.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズによって形成される被写体像に対して、広帯域な分光感度特性に対応する３色以上の第１の色数と第１の画素数を有する第１の画像の画像情報と、上記被写体像に対して、第２の画素数を有し、画素ごとに異なる分光感度特性に対応する第２の色数を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、全ての画素を集めたときの色数は上記第１の色数よりも多い第３の色数である第２の画像の画像情報を出力する撮像手段と、
上記撮像手段により得られる上記第１の画像の画像情報と上記第２の画像の画像情報に基づいて、前記第３の色数と前記第１の画素数を有する第３の画像の画像情報を生成するマルチスペクトル画像算出手段とを備え、
上記被写体像に対するマルチスペクトル画像情報として上記第３の画像の画像情報を生成することを特徴とするマルチスペクトル画像情報取得装置。
【請求項２】
上記撮像手段は、上記撮影レンズによって形成される被写体像を上記第１の色数と第２の色数を合計した色数と同じ数の像に複製する分岐光学系と、上記分岐光学系により複製された上記第１の色数に等しい数の像面にそれぞれ配された上記第１の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第１の画素数を有し、イメージセンサの分光感度特性は広帯域の分光感度特性である第１のイメージセンサと、上記第２の色数と同じ数の像面にそれぞれ配された上記第２の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第２の画素数を有し、イメージセンサの各画素はそれぞれ異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、上記第２の色数と同じ枚数のイメージセンサに含まれる画素を全て集めたきの色数は上記第１の色数よりも多い第３の色数である第２のイメージセンサを備えること特徴とする請求項１記載のマルチスペクトル画像情報取得装置。
【請求項３】
上記第１のイメージセンサは、赤色画像と緑色画像と青色画像を撮像する３枚のイメージセンサであり、
上記第２のイメージセンサは、画素ごとにカラーフィルタが配され、上記第３の色数のカラーフィルタにより色コーディングされた上記第２の画素数を有する１枚のイメージセンサであること特徴とする請求項２記載のマルチスペクトル画像情報取得装置。
【請求項４】
上記撮像手段は、上記撮影レンズによって形成される被写体像を２枚の像に複製する分岐光学系と、上記分岐光学系により複製された一方の被写体像の像面に配された１枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第１の色数のカラーフィルタにより色コーディングされた第１の画素数を有する上記第１の画像の画像情報を取得するための第１のイメージセンサと、上記分岐光学系により複製された他方の被写体像の像面に配された１枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記狭帯域の分光感度特性に対応する上記第３の色数のカラーフィルタにより色コーディングされた上記第２の画素数を有する上記第２の画像の画像情報を取得するための第２のイメージセンサを備え、
さらに、上記第１のイメージセンサにより得られる広帯域の分光感度特性に対応する第１の画素数の画像情報から、デモザイキング処理により、上記第１の色数と第４の画素数を有する画像の画像情報を生成するデモザイキング部を備え、
上記マルチスペクトル画像算出手段は、上記第２のイメージセンサにより得られる狭帯域の分光感度特性に対応する上記第２の画素数の画像情報と、上記デモザイキング部によりデモザイキング処理された上記第１の色数と第４の画素数を有する画像の画像情報に基づいて、上記第３の色数と、上記第４の画素数を有する画像の画像情報を算出すること特徴とする請求項１記載のマルチスペクトル画像情報取得装置。
【請求項５】
上記撮像手段は、上記撮像レンズにより被写体像が結像される像面に配された１枚のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第１の色数のカラーフィルタと上記狭帯域の分光感度特性に対応する上記第３の色数のカラーフィルタにより色コーディングされた第１の画素数を有するイメージセンサを備え、
さらに、上記撮像手段により得られる画像情報を、上記広帯域の分光感度特性に対応する画素の情報と、上記狭帯域の分光感度特性に対応する画素の情報とに分離する画像情報分離部と、上記画像情報分離部により分離された広帯域の分光感度特性に対応する画素の情報から、デモザイキング処理により、上記第１の色数と第４の画素数を有する画像の画像情報を生成するデモザイキング部を備え、
上記マルチスペクトル画像算出手段は、上記画像情報分離部により分離された狭帯域の分光感度特性に対応する画素の情報と、上記デモザイキング部によりデモザイキング処理された上記第１の色数と第４の画素数を有する画像の画像情報に基づいて、上記第３の色数と、上記第４の画素数を有する画像の画像情報を算出すること特徴とする請求項１記載のマルチスペクトル画像情報取得装置。
【請求項６】
上記撮像手段は、上記イメージセンサ上の画素は、第１の色数と第２の色数を併せた数の隣接する画素を集めた画素グループには広帯域の分光感度特性に対応する上記第１の色数のカラーフィルタがそれぞれ１種類ずつ配されるとともに、上記広帯域の分光感度特性と重なりを有する狭帯域の分光感度特性に対応する第３の色数のカラーフィルタのうちの上記第２の色数のカラーフィルタが配され、さらに、上記第３の色数を上記第２の色数で割って得られる数に相当する数の、隣接する上記画素グループの集まりにおいて、上記狭帯域の第３の色数のカラーフィルタが全て含まれるように、上記画素グループが配されること特徴とする請求項５記載のマルチスペクトル画像情報取得装置。
【請求項７】
上記マルチスペクトル画像算出手段は、上記第１の画像を分割して得られる第１の小領域画像ごとに、全ての上記第１の小領域画像に対して、上記第１の小領域画像の各色画像に重み係数を乗算した後にこれらを足し合わせることで、上記第１の小領域画像と同一の画素数を有する第２の小領域画像を算出する処理であって、上記第１の小領域画像に対応する領域として上記第２の画像から切り出された第３の小領域画像の値と、上記第２の小領域画像に含まれる上記第３の小領域画像と対応する値との齟齬を最小とするように重み係数を決定し、上記重み係数を変更しながら、上記第３の色数と同じ回数繰り返し、第３の色数と同じ枚数の上記第２の小領域画像を算出する処理を行うこと特徴とする請求項１乃至請求項５のいずれか１項に記載のマルチスペクトル画像情報取得装置。
【請求項８】
被写体像に対して、広帯域の分光感度特性に対応する３色以上の第１の色数と第１の画素数を有する第１の画像の画像情報と、上記被写体像に対して、第２の画素数を有し、画素ごとに異なる分光感度特性に対応する第２の色数を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、全ての画素を集めたときの色数は上記第１の色数よりも多い第３の色数である第２の画像の画像情報を取得する撮像ステップと、
上記撮像ステップにおいて得られる上記第１の画像の画像情報と上記第２の画像の画像情報に基づいて、前記第３の色数と前記第１の画素数を有する第３の画像の画像情報を生成するマルチスペクトル画像算出ステップとを有し、
上記被写体像に対するマルチスペクトル画像情報として上記第３の画像の画像情報を生成することを特徴とするマルチスペクトル画像情報取得方法。
【請求項９】
上記撮像ステップでは、
上記第１の色数と第２の色数を合計した色数と同じ数の被写体像を分岐光学系により複製し、
上記被写体像が複製された上記第１の色数に等しい数の像面にそれぞれ配された上記第１の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第１の画素数を有し、イメージセンサの分光感度特性は広帯域の分光感度特性である第１のイメージセンサにより上記第１の画像の画像情報を取得するとともに、
上記被写体像が複製された上記第２の色数と同じ数の像面にそれぞれ配された上記第２の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第２の画素数を有し、イメージセンサの各画素はそれぞれ異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、上記第２の色数と同じ枚数のイメージセンサに含まれる画素を全て集めたきの色数は上記第１の色数よりも多い第３の色数である第２のイメージセンサにより上記第２の画像の画像情報を取得すること特徴とする請求項８記載のマルチスペクトル画像情報取得方法。
【請求項１０】
上記撮像ステップでは、２枚の被写体像を分岐光学系により複製し、上記分岐光学系により複製された一方の被写体像の像面に配された１枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第１の色数のカラーフィルタにより色コーディングされた第１の画素数を有する第１のイメージセンサにより上記第１の画像の画像情報を取得するとともに、上記分岐光学系により複製された他方の被写体像の像面に配された１枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記狭帯域の分光感度特性に対応する上記第３の色数のカラーフィルタにより色コーディングされた上記第２の画素数を有する第２のイメージセンサにより上記第２の画像の画像情報を取得し、
さらに、上記撮像ステップおいて上記第１のイメージセンサにより得られる広帯域の分光感度特性に対応する第１の画素数の画像情報から、デモザイキング処理により、上記第１の色数と第４の画素数を有する画像の画像情報を生成するデモザイキングステップを有し、
上記マルチスペクトル画像算出ステップでは、上記撮像ステップおいて上記第２のイメージセンサにより得られる狭帯域の分光感度特性に対応する第３の画素数の画像情報と、上記デモザイキングステップにおいてデモザイキング処理された上記第１の色数と第４の画素数を有する画像の画像情報に基づいて、上記第３の色数と、上記第４の画素数を有する画像の画像情報を算出すること特徴とする請求項８記載のマルチスペクトル画像情報取得方法。
【請求項１１】
上記撮像手段ステップでは、被写体像が結像される像面に配された１枚のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第１の色数のカラーフィルタと上記狭帯域の分光感度特性に対応する上記第３の色数のカラーフィルタにより色コーディングされた第１の画素数を有するイメージセンサにより第１の画素数の画像情報を取得し、
さらに、上記撮像手段ステップにおいて上記イメージセンサにより得られる画像情報を、上記広帯域の分光感度特性に対応する画素の情報と、上記狭帯域の分光感度特性に対応する画素の情報とに分離する画像情報分離ステップと、
上記画像情報分離ステップにおいて分離された広帯域の分光感度特性に対応する画素の情報から、デモザイキング処理により、上記第１の色数と第４の画素数を有する画像の画像情報を生成するデモザイキングステップを有し、
上記マルチスペクトル画像算出ステップでは、上記画像情報分離ステップにおいて分離された狭帯域の分光感度特性に対応する画素の情報と、上記デモザイキングステップにおいてデモザイキング処理された上記第１の色数と第４の画素数を有する画像の画像情報に基づいて、上記第３の色数と、上記第４の画素数を有する画像の画像情報を算出すること特徴とする請求項８記載のマルチスペクトル画像情報取得方法。
【請求項１２】
上記マルチスペクトル画像算出ステップでは、上記第１の画像を分割して得られる第１の小領域画像ごとに、全ての上記第１の小領域画像に対して、上記第１の小領域画像の各色画像に重み係数を乗算した後にこれらを足し合わせることで、上記第１の小領域画像と同一の画素数を有する第２の小領域画像を算出する処理であって、上記第１の小領域画像に対応する領域として上記第２の画像から切り出された第３の小領域画像の値と、上記第２の小領域画像に含まれる上記第３の小領域画像と対応する値との齟齬を最小とするように重み係数を決定し、上記重み係数を変更しながら、上記第３の色数と同じ回数繰り返し、第３の色数と同じ枚数の上記第２の小領域画像を算出する処理を行うこと特徴とする請求項８乃至請求項１１のいずれか１項に記載のマルチスペクトル画像情報取得方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体のスペクトル情報に基づいて、高い精度の色再現を実現するためのマルチスペクトル画像情報取得装置及びマルチスペクトル画像情報取得方法に関する。
【背景技術】
【０００２】
従来より、マルチスペクトル画像は、撮像する物体が何に属するかを識別したり、物体がどのような状態であるのかを調べるのに有効であり、リモートセンシング、バイオ、医学、マシンビジョン等の様々分野で活用されている。
【０００３】
しかし、例えば図２２に示すように、空間方向２次元、波長方向に１次元の合計３次元から構成されるスペクトル画像を収集するためには、特殊で大型な装置や、空間方向もしくは波長方向でのスキャンニングが必要となる。
【０００４】
従来のスペクトル画像取得装置としては、透過光の中心波長を電気的に変化させることが可能なチューナブルフィルタとモノクロ画像センサから構成される分光画像撮像装置（例えば、特許文献１参照）や、スリットを介して観察される１ライン分のスペクトル画像を、シーン上をスキャンしながら取得する分光画像取得装置（例えば、特許文献２参照）などがある。
【０００５】
また、装置の小型化を実現するため、少ないセンシングデータから、信号処理によりスペクトル画像を復元する試みがある。例えば、波長方向の解像度の低いデータから、信号処理により、波長解像度の高い分光画像を取得する方法も提案されている（例えば、特許文献３参照）。
【０００６】
さらに、リモートセンシングの分野では、２種類の特性の異なる分光画像データを取得し、映像信号処理により、高い空間解像度と波長解像度を有する分光画像を出力する方法が検討されている。具体的には、高空間解像度のモノクロセンサーと低空間解像度のスペクトル画像センサによりデータを取得し、高空間解像度の分光画像を信号処理により出力する例がある（例えば、非特許文献１参照）。また、スペクトル情報に基づく色再現を目的として、３チャネルの画像と多点計測スペクトル情報（低解像度スペクトル画像情報）を取得し、信号処理により高解像度の分光画像を出力する例がある（例えば、特許文献４、５、非特許文献２、３参照）。
【０００７】
一方、Ｒ（赤）、緑（Ｇ）、青（Ｂ）の３チャネルの画像で構成されるカラー画像収集においては、Ｒ、Ｇ、Ｂ用の３枚のイメージングセンサを使用する３板式の代わりに、例えば、図２３の（Ａ）に示すように、イメージングセンサ上にＲ、Ｇ、Ｂ、３種のカラーフィルタをアレイ状に重ねてデータを取得し、補間処理によってカラー画像を生成する単板方式が広く普及している。これをＮバンドのスペクトル画像収集に応用する場合、図２３の（Ｂ）に示すように、Ｎ種類のカラーフィルタを空間的に配したマルチスペクトルフィルタアレイを利用することになる。マルチスペクトルフィルタアレイの設計方法や、デモザイキング方法に関する研究も行われている（例えば、非特許文献４、５参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−２２８０２４号公報
【特許文献２】特開２００１−２９６１８０号公報
【特許文献３】特開２００６−２５５３２４号公報
【特許文献４】特開２００９−２３７８１７号公報
【特許文献５】特開２００９−２６０４１１号公報
【非特許文献】
【０００９】
【非特許文献１】M. T. Eismann and R. C. Hardie, “Hyperspectral resolution enhancement using high-resolution multispectral imagery with arbitrary response functions,” IEEE Trans. Image Processing, 43, 455-465 (2005).
【非特許文献２】Y. Murakami, K. Ietomi, M. Yamaguchi and N. Ohyama, “MAP estimation of spectral reflectance from color image and multipoint spectral measurements,” Applied Optics, 46, 7068-7082 (2007).
【非特許文献３】Y. Murakami, M. Yamaguchi, and N. Ohyama, “Piecewise Wiener estimation for reconstruction of spectral reflectance image by multipoint spectral measurements,” Applied Optics, 48(11), 2188-2202 (2009).
【非特許文献４】Raju Shrestha, Jon Yngve Hardeberg, and Rahat Khan, “Spatial arrangement of color filter array for multispectral image acquisition,” Proc. SPIE, 7875, pp. 787503-787503-9 (2011).
【非特許文献５】Lian Miao, Hairong Qi, Rajeev Ramanath, and Wesley E. Snder, “Binary tree-based generic demosaicking algorithm for multispectral filter arrays,” IEEE Trans. Image Processing, !5(11), 3550-3558 (2006).
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記特許文献１や特許文献２に記載されている装置では、信号処理を用いずに直接分光画像を取得する方法であるため、空間解像度・波長解像度・時間解像度にはトレードオフの関係がある。また、基本的に静止画を対象としている。さらに、１枚のイメージングセンサで取得できるデータは２次元であるため、これを時間的にスキャンして３次元目のデータを取得する。そのため、動く被写体や動画での撮影が難しい。また機械的駆動を必要とする装置の場合には、装置の大型化も避けられない。
【００１１】
そこで、小型かつワンショットで撮影できるスペクトル画像収集装置が望まれている。
【００１２】
また、上記特許文献３のように、波長方向の解像度の低いデータから、信号処理により、波長解像度の高い分光画像を取得する方法は、内視鏡のように対象が限定されている場合には、信号処理方法を最適化することにより、比較的高い精度が期待できるが、様々な被写体を対象とする場合には、波長方向に十分な精度が得られない。
【００１３】
また、上記非特許文献２〜３のように、多点計測スペクトル情報を取得する方法には課題も多い。
【００１４】
さらに、上記非特許文献４、５のように、Ｎ種類のカラーフィルタを空間的に配したマルチスペクトルフィルタアレイを利用する方法では、空間解像度と波長解像度がトレードオフの関係となるので、空間解像度の低下が問題となり、実質的には、Ｎが大きな場合（例えばＮ＞１０）の適用は難しい。
【００１５】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、マルチスペクトルフィルタアレイを活用して効率的なスペクトル画像のセンシングを行うことで、小型かつワンショットでマルチスペクトル画像情報を収集できるようにしたマルチスペクトル画像情報取得装置及びマルチスペクトル画像情報取得方法を提供することにある。
【００１６】
本発明の他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【００１７】
スペクトル画像において空間方向に小さな領域に限定した場合、少ないチャネル数の画像（ＲＧＢ画像や、４チャネル画像など）の線形和で、スペクトル画像の各波長の画像を高精度に表現できることが多い。ただし、線形和の係数は、領域ごと、波長ごとに異なる。さらに、波長ごとの線形和の係数は、対応する波長画像における空間方向の少数点のセンシングデータに基づいて算出可能である。後者のセンシングは、マルチスペクトルフィルタアレイで実現可能である。
【００１８】
そこで、本発明では、空間方向と波長方向の共に高密度なセンシングを行う代わりに、空間方向に高密度で波長方向には疎なセンシングと、波長方向に高密度で空間方向には疎なセンシングにより得られるデータから、両方向共に高密度なスペクトル画像を復元する。この際、後者のセンシングでは、透過波長帯域の異なる多数色のフィルタを空間的に配列したマルチスペクトルフィルタアレイ（MSFA; multispectral filter array）を用いることで、小型かつワンショットでマルチスペクトル画像情報を収集する。
【００１９】
すなわち、本発明は、マルチスペクトル画像情報取得装置であって、撮影レンズによって形成される被写体像に対して、広帯域の分光感度特性に対応する３色以上の第１の色数と第１の画素数を有する第１の画像の画像情報と、上記被写体像に対して、第２の画素数を有し、画素ごとに異なる分光感度特性に対応する第２の色数を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、全ての画素を集めたときの色数は上記第１の色数よりも多い第３の色数である第２の画像の画像情報を出力する撮像手段と、上記撮像手段により得られる上記第１の画像の画像情報と上記第２の画像の画像情報に基づいて、前記第３の色数と前記第１の画素数を有する第３の画像の画像情報を生成するマルチスペクトル画像算出手段とを備え、上記被写体像に対するマルチスペクトル画像情報として上記第３の画像の画像情報を生成することを特徴とする。
【００２０】
本発明に係るマルチスペクトル画像情報取得装置において、上記撮像手段は、上記撮影レンズによって形成される被写体像を上記第１の色数と第２の色数を合計した色数と同じ数の像に複製する分岐光学系と、上記分岐光学系により複製された上記第１の色数に等しい数の像面にそれぞれ配された上記第１の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第１の画素数を有し、イメージセンサの分光感度特性は広帯域の分光感度特性である第１のイメージセンサと、上記第２の色数と同じ数の像面にそれぞれ配された上記第２の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第２の画素数を有し、イメージセンサの各画素はそれぞれ異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、上記第２の色数と同じ枚数のイメージセンサに含まれる画素を全て集めたきの色数は上記第１の色数よりも多い第３の色数である第２のイメージセンサを備えるものとすることができる。
【００２１】
また、本発明に係るマルチスペクトル画像情報取得装置において、上記第１のイメージセンサは、赤色画像と緑色画像と青色画像を撮像する３枚のイメージセンサであり、上記第２のイメージセンサは、画素ごとにカラーフィルタが配され、上記第３の色数のカラーフィルタにより色コーディングされた上記第２の画素数を有する１枚のイメージセンサであるものとすることができる。
【００２２】
また、本発明に係るマルチスペクトル画像情報取得装置において、上記撮像手段は、上記撮影レンズによって形成される被写体像を２枚の像に複製する分岐光学系と、上記分岐光学系により複製された一方の被写体像の像面に配された１枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第１の色数のカラーフィルタにより色コーディングされた第１の画素数を有する上記第１の画像の画像情報を取得するための第１のイメージセンサと、上記分岐光学系により複製された他方の被写体像の像面に配された１枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記狭帯域の分光感度特性に対応する上記第３の色数のカラーフィルタにより色コーディングされた第２の画素数を有する上記第２の画像の画像情報を取得するための第２のイメージセンサを備え、さらに、上記第１のイメージセンサにより得られる広帯域の分光感度特性に対応する第１の画素数の画像情報から、デモザイキング処理により、上記第１の色数と第４の画素数を有する画像の画像情報を生成するデモザイキング部を備え、上記マルチスペクトル画像算出手段は、上記第２のイメージセンサにより得られる狭帯域の分光感度特性に対応する上記第２の画素数の画像情報と、上記デモザイキング部によりデモザイキング処理された上記第１の色数と第４の画素数を有する画像の画像情報に基づいて、上記第３の色数と、上記第４の画素数を有する画像の画像情報を算出するものとすることができる。
【００２３】
また、本発明に係るマルチスペクトル画像情報取得装置において、上記撮像手段は、上記撮像レンズにより被写体像が結像される像面に配された１枚のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第１の色数のカラーフィルタと上記狭帯域の分光感度特性に対応する上記第３の色数のカラーフィルタにより色コーディングされた第１の画素数を有するイメージセンサを備え、さらに、上記撮像手段により得られる画像情報を、上記広帯域の分光感度特性に対応する画素の情報と、上記狭帯域の分光感度特性に対応する画素の情報とに分離する画像情報分離部と、上記画像情報分離部により分離された広帯域の分光感度特性に対応する画素の情報から、デモザイキング処理により、上記第１の色数と第４の画素数を有する画像の画像情報を生成するデモザイキング部を備え、上記マルチスペクトル画像算出手段は、上記画像情報分離部により分離された狭帯域の分光感度特性に対応する画素の情報と、上記デモザイキング部によりデモザイキング処理された上記第１の色数と第４の画素数を有する画像の画像情報に基づいて、上記第３の色数と、上記第４の画素数を有する画像の画像情報を算出するものとすることができる。
【００２４】
また、本発明に係るマルチスペクトル画像情報取得装置において、上記撮像手段は、上記イメージセンサ上の画素は、第１の色数と第２の色数を併せた数の隣接する画素を集めた画素グループには広帯域の分光感度特性に対応する上記第１の色数のカラーフィルタがそれぞれ１種類ずつ配されるとともに、上記広帯域の分光感度特性と重なりを有する狭帯域の分光感度特性に対応する第３の色数のカラーフィルタのうちの上記第２の色数のカラーフィルタが配され、さらに、上記第３の色数を上記第２の色数で割って得られる数に相当する数の、隣接する上記画素グループの集まりにおいて、上記狭帯域の第３の色数のカラーフィルタが全て含まれるように、上記画素グループが配されるものとすることができる。
【００２５】
さらに、本発明に係るマルチスペクトル画像情報取得装置において、上記マルチスペクトル画像算出手段は、上記第１の画像を分割して得られる第１の小領域画像ごとに、全ての上記第１の小領域画像に対して、上記第１の小領域画像の各色画像に重み係数を乗算した後にこれらを足し合わせることで、上記第１の小領域画像と同一の画素数を有する第２の小領域画像を算出する処理であって、上記第１の小領域画像に対応する領域として上記第２の画像から切り出された第３の小領域画像の値と、上記第２の小領域画像に含まれる上記第３の小領域画像と対応する値との齟齬を最小とするように重み係数を決定し、上記重み係数を変更しながら、上記第３の色数と同じ回数繰り返し、第３の色数と同じ枚数の上記第２の小領域画像を算出する処理を行うものとすることができる。
【００２６】
また、本発明は、マルチスペクトル画像情報取得方法であって、被写体像に対して、広帯域の分光感度特性に対応する３色以上の第１の色数と第１の画素数を有する第１の画像の画像情報と、上記被写体像に対して、第２の画素数を有し、画素ごとに異なる分光感度特性に対応する第２の色数を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、全ての画素を集めたときの色数は上記第１の色数よりも多い第３の色数である第２の画像の画像情報を取得する撮像ステップと、上記撮像ステップにおいて得られる上記第１の画像の画像情報と上記第２の画像の画像情報に基づいて、前記第３の色数と前記第１の画素数を有する第３の画像の画像情報を生成するマルチスペクトル画像算出ステップとを有し、上記被写体像に対するマルチスペクトル画像情報として上記第３の画像の画像情報を生成することを特徴とする。
【００２７】
本発明に係るマルチスペクトル画像情報取得方法において、上記撮像ステップでは、上記第１の色数と第２の色数を合計した色数と同じ数の被写体像を分岐光学系により複製し、上記被写体像が複製された上記第１の色数に等しい数の像面にそれぞれ配された上記第１の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第１の画素数を有し、イメージセンサの分光感度特性は広帯域の分光感度特性である第１のイメージセンサにより上記第１の画像の画像情報を取得するとともに、上記被写体像が複製された上記第２の色数と同じ数の像面にそれぞれ配された上記第２の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第２の画素数を有し、イメージセンサの各画素はそれぞれ異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、上記第２の色数と同じ枚数のイメージセンサに含まれる画素を全て集めたきの色数は上記第１の色数よりも多い第３の色数である第２のイメージセンサにより上記第２の画像の画像情報を取得するものとすることができる。
【００２８】
また、本発明に係るマルチスペクトル画像情報取得方法において、上記撮像ステップでは、２枚の被写体像を分岐光学系により複製し、上記分岐光学系により複製された一方の被写体像の像面に配された１枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第１の色数のカラーフィルタにより色コーディングされた第１の画素数を有する第１のイメージセンサにより上記第１の画像の画像情報を取得するとともに、上記分岐光学系により複製された他方の被写体像の像面に配された１枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記狭帯域の分光感度特性に対応する上記第３の色数のカラーフィルタにより色コーディングされた上記第３の画素数を有する第２のイメージセンサにより上記第２の画像の画像情報を取得し、さらに、上記撮像ステップおいて上記第１のイメージセンサにより得られる広帯域の分光感度特性に対応する第１の画素数の画像情報から、デモザイキング処理により、上記第１の色数と第４の画素数を有する画像の画像情報を生成するデモザイキングステップを有し、上記マルチスペクトル画像算出ステップでは、上記撮像ステップおいて上記第２のイメージセンサにより得られる狭帯域の分光感度特性に対応する第２の画素数の画像情報と、上記デモザイキングステップにおいてデモザイキング処理された上記第１の色数と第４の画素数を有する画像の画像情報に基づいて、上記第３の色数と、上記第４の画素数を有する画像の画像情報を算出するものとすることができる。
【００２９】
また、本発明に係るマルチスペクトル画像情報取得方法において、上記撮像手段ステップでは、被写体像が結像される像面に配された１枚のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第１の色数のカラーフィルタと上記狭帯域の分光感度特性に対応する上記第３の色数のカラーフィルタにより色コーディングされた第１の画素数を有するイメージセンサにより第１の画素数の画像情報を取得し、さらに、上記撮像手段ステップにおいて上記イメージセンサにより得られる画像情報を、上記広帯域の分光感度特性に対応する画素の情報と、上記狭帯域の分光感度特性に対応する画素の情報とに分離する画像情報分離ステップと、上記画像情報分離ステップにおいて分離された広帯域の分光感度特性に対応する画素の情報から、デモザイキング処理により、上記第１の色数と第４の画素数を有する画像の画像情報を生成するデモザイキングステップを有し、上記マルチスペクトル画像算出ステップでは、上記画像情報分離ステップにおいて分離された狭帯域の分光感度特性に対応する画素の情報と、上記デモザイキングステップにおいてデモザイキング処理された上記第１の色数と第４の画素数を有する画像の画像情報に基づいて、上記第３の色数と、上記第４の画素数を有する画像の画像情報を算出するものとすることができる。
【００３０】
また、本発明に係るマルチスペクトル画像情報取得方法において、上記マルチスペクトル画像算出ステップでは、上記第１の画像を分割して得られる第１の小領域画像ごとに、全ての上記第１の小領域画像に対して、上記第１の小領域画像の各色画像に重み係数を乗算した後にこれらを足し合わせることで、上記第１の小領域画像と同一の画素数を有する第２の小領域画像を算出する処理であって、上記第１の小領域画像に対応する領域として上記第２の画像から切り出された第３の小領域画像の値と、上記第２の小領域画像に含まれる上記第３の小領域画像と対応する値との齟齬を最小とするように重み係数を決定し、上記重み係数を変更しながら、上記第３の色数と同じ回数繰り返し、第３の色数と同じ枚数の上記第２の小領域画像を算出する処理を行うものとすることができる。
【発明の効果】
【００３１】
本発明では、少ないチャネル数の画像と、マルチスペクトルフィルタアレイの画像をセットで取得し、信号処理によりスペクトル画像を復元することで、イメージングセンサの枚数を減らし、ワンショット撮影も可能とする。
【図面の簡単な説明】
【００３２】
【図１】本発明を適用したマルチスペクトル画像情報取得装置の構成例（第１の実施の形態）を示すブロック図である。
【図２】本発明を適用したマルチスペクトル画像情報取得装置の他の構成例を示すブロック図である。
【図３】上記マルチスペクトル画像情報取得装置におけるマルチスペクトル画像算出部の構成例を示すブロック図である。
【図４】上記マルチスペクトル画像算出部において各バンドで独立に算出する場合の１つの小領域に対する処理内容を示す模式図である。
【図５】本発明を適用したマルチスペクトル画像情報取得装置の構成例（第２の実施の形態）を示すブロック図である。
【図６】本発明を適用したマルチスペクトル画像情報取得装置の他の構成例を示すブロック図である。
【図７】本発明を適用したマルチスペクトル画像情報取得装置の構成例（第３の実施の形態）を示すブロック図である。
【図８】本発明を適用したマルチスペクトル画像情報取得装置の他の構成例を示すブロック図である。
【図９】第３の実施の形態におけるマルチスペクトル画像情報取得装置に備えられる単板のカラーイメージセンサ上のカラーフィルタの構成（Ｋ＝１６の場合の画素配列の例の最小単位）を示す図である。
【図１０】第１の実施の形態（Ｋ＝１６）についてシミュレーションを行った際に設定したＲＧＢのイメージングセンサの分光感度特性を示す図である。
【図１１】第１の実施の形態（Ｋ＝１６）についてシミュレーションを行った際に設定したＭＳＦＡの１６種類の分光感度特性を示す図である。
【図１２】第１の実施の形態（Ｋ＝１６）についてシミュレーションを行った際に設定したＭＳＦＡの画素配列を示す図である。
【図１３】第１の実施の形態（Ｋ＝１６）についてシミュレーションを行い、他の手法と比較した結果を示す図である。
【図１４】第１の実施の形態（Ｋ＝１６）についてシミュレーションを行い、他の手法と比較した結果を示す図である。
【図１５】第１の実施の形態（Ｋ＝１６）についてシミュレーションを行い、他の手法と比較した結果を示す図である。
【図１６】第３の実施の形態（Ｋ＝１６）についてシミュレーションを行った際に設定した単板のイメージングセンサの画素配列の例を示す図である。
【図１７】第３の実施の形態（Ｋ＝１６）についてシミュレーションを行った際に設定したカラーフィルタの分光感度特性を示す図である。
【図１８】第３の実施の形態（Ｋ＝１６）についてシミュレーションを行った際に設定したＭＳＦＡの１６種類の分光感度特性を示す図である。
【図１９】第３の実施の形態（Ｋ＝１６）についてシミュレーションを行った際に用いた分光画像を示す図である。
【図２０】第３の実施の形態（Ｋ＝１６）についてシミュレーションを行い、他の手法と比較した結果を示す図である。
【図２１】第３の実施の形態（Ｋ＝１６）についてシミュレーションを行い、他の手法と比較した結果を示す図である。
【図２２】空間方向２次元、波長方向に１次元の合計３次元から構成されるスペクトル画像を示す図である。
【図２３】イメージングセンサ上に配されるカラーフィルタの構成例として、（Ａ）にＲＧＢフィルタ、（Ｂ）にマルチスペクトルフィルタアレイを示す図である。
【発明を実施するための形態】
【００３３】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【００３４】
以下の説明においては、当該手法・装置から出力されるマルチスペクトル画像は、空間方向にＮｘ×Ｎｙ個の要素（画素）、波長方向にＫ個の要素（合計Ｎｘ×Ｎｙ×Ｋ個の要素）から構成されるものとする。また、波長方向のある要素に対応するＮｘ×Ｎｙの画像を「バンド画像」と呼ぶ。各バンド画像は、それぞれ異なる任意の狭帯域の分光感度特性を有するセンサを介して観測された画像と定義する。
【００３５】
＜第１の実施の形態＞
本発明は、例えば図１に示す様な構成のマルチスペクトル画像情報取得装置１０に適用される。
【００３６】
このマルチスペクトル画像情報取得装置１０は、被写体像を結像する撮影レンズ１１と、この撮影レンズ１１を介して入射される入射光を４本の光路に分岐する分岐光学系１２と、この分岐光学系１２により４本に分岐された入射光の光路に設けられた３原色（Ｒ，Ｇ，Ｂ）画像撮像用のイメージセンサ１３Ｒ、１３Ｇ、１３Ｂ及びＭＳＦＡ画像撮像用のイメージセンサ１４と、この３原色（Ｒ，Ｇ，Ｂ）画像撮像用のイメージセンサ１３Ｒ、１３Ｇ、１３Ｂにより得られるＲＧＢ画像と上記ＭＳＦＡ画像撮像用のイメージセンサ１４により得られるＭＳモザイク画像の各画像情報が供給されるマルチスペクトル画像算出部１５を備える。
【００３７】
撮像レンズ１１は、分岐光学系１２により４本に分岐された入射光により、４枚のイメージングセンサ１３Ｒ、１３Ｇ、１３Ｂ、１４上に被写体像を結像させる。
【００３８】
３原色（Ｒ，Ｇ，Ｂ）画像撮像用のイメージセンサ１３Ｒ、１３Ｇ、１３Ｂは、いずれもＮｘ×Ｎｙの画素数を有する。また、ＭＳＦＡ撮像用のイメージセンサ１４は、この限りではないが、以下では、Ｎｘ×Ｎｙの画素数を有するものとして説明する。
【００３９】
４枚のイメージセンサ１３Ｒ、１３Ｇ、１３Ｂ、１４により被写体像を撮像して得られるＲ画像、Ｇ画像、Ｂ画像、ＭＳモザイク画像の各画像情報は、マルチスペクトル画像算出部１５に送られる。マルチスペクトル画像算出部１５は、４枚のイメージセンサ１３Ｒ、１３Ｇ、１３Ｂ、１４から送られてくるＲ画像、Ｇ画像、Ｂ画像、ＭＳモザイク画像の各画像情報に基づいて、マルチスペクトル画像情報を算出して出力する。
【００４０】
このマルチスペクトル画像情報取得装置１０は、図２に示すマルチスペクトル画像情報取得装置１０Ａのように、ＲＧＢ画像を出力する機能を有するものすることができる。
【００４１】
ここでは、マルチスペクトル画像情報取得装置１０と共通の構成要素については同一符号を付してその詳細な説明を省略し、異なる構成要素について説明する。
【００４２】
すなわち、マルチスペクトル画像情報取得装置１０Ａは、３原色（Ｒ，Ｇ，Ｂ）画像撮像用のイメージセンサ１３Ｒ、１３Ｇ、１３Ｂにより得られるＲ画像、Ｇ画像、Ｂ画像の各画像情報を記憶するＲＧＢ画像記録部１６と、ＭＳＦＡ撮像用のイメージセンサ１４により得られるＭＳモザイク画像の画像情報を記憶するＭＳモザイク画像記録部１７を備え、ＲＧＢ画像記録部１６に記録されたＲＧＢ画像をそのまま出力する機能を有する。また、必要に応じて、ＲＧＢ画像記録部１６に記録されたＲＧＢ画像の画像情報と、ＭＳモザイク画像記録部１７に記録されたＭＳモザイク画像の画像情報がマルチスペクトル画像算出部１５に送られ、このマルチスペクトル画像算出部１５においてマルチスペクトル画像の画像情報が算出、出力される。この構成の場合、既存のＲＧＢを基本とするカラーシステムとの互換性を保ちつつ、必要に応じてマルチスペクトル画像の情報も併せて取得することが可能である。さらに、ＲＧＢ画像記録部１６、ＭＳモザイク画像記録部１７、マルチスペクトル画像算出部１５が、別々の装置として実装されている場合も、本発明に含むものとする。
【００４３】
入射光に対する３原色（Ｒ，Ｇ，Ｂ）画像撮像用のイメージセンサ１３Ｒ、１３Ｇ、１３Ｂの分光感度は、一般のカラー画像情報収集に用いられるＲＧＢカメラの分光感度特性、もしくはそれに類似した特性とする。この分光感度は、光路を分ける光学部材で実現しても、イメージセンサ上に配したカラーフィルタで実現しても、両者の組み合わせとして実現してもよい。また、ＭＳＦＡ撮像用のイメージセンサ１４は、異なる種類のカラーフィルタを画素ごとに配したマルチスペクトルアレイ方式のセンサであり、Ｋ種類の狭帯域のカラーフィルタが配されている。Ｋ種類のカラーフィルタの分光感度特性は、出力するマルチスペクトル画像の各バンド画像の分光感度特性に対応する。また、Ｋ種類のカラーフィルタが分光感度を有する波長帯域は、いずれも、ＲＧＢカメラが感度を有する波長帯域と重なりを持つように構成されるのが望ましい。
【００４４】
以上により、３原色（Ｒ，Ｇ，Ｂ）画像撮像用のイメージセンサ１３Ｒ、１３Ｇ、１３Ｂにより得られるＲ画像、Ｇ画像、Ｂ画像の各画像情報は、全ての画素位置で高密度にサンプリングされているのに対し、Ｋ種類のカラーフィルタの各フィルタの情報、すなわち、ＭＳＦＡ撮像用のイメージセンサ１４により得られるＭＳモザイク画像の画像情報は、Ｋ画素のうちの１画素のみで低密度にサンプリングされることとなる。
【００４５】
このマルチスペクトル画像情報取得装置１０におけるマルチスペクトル画像算出部１５は、例えば図３に示すように、小領域切り出し部１５１と重み係数算出部１５２とマルチスペクトル画像生成部１５３から構成される。
【００４６】
このマルチスペクトル画像算出部１５では、小領域切り出し部１５１において、指定された小領域を各画像から切り出す。その後、重み係数算出部１５２において、Ｒ，Ｇ，Ｂの各チャネル画像に乗算する重み係数を算出する。重み係数は、Ｋバンド画像の各バンドで異なる値として算出される。この際、重み係数算出部１５２には、ＲＧＢチャネルの分光感度特性、ＭＳＦＡのＫ種類のフィルタの分光感度特性、ＭＳＦＡのカラーフィルタ配列情報が入力される。そして、スペクトル画像生成部１５３では、小領域切り出し部１５１から出力されたＲ，Ｇ，Ｂの小領域画像に対して、重み算出部１５２から出力された重み係数を乗算し、足し合わせることで、小領域に対応するマルチスペクトル画像を生成する。以上の処理を、全ての領域に対して繰り返しを行うことで、マルチスペクトル画像を生成し、出力する。
【００４７】
重み係数算出部１５２では、バンドごとに異なる係数を算出する。重み係数の算出は、各バンドに独立で算出する手法と、全バンド画像を同時に算出する手法とがある。
【００４８】
ここで、各バンドで独立に算出する場合の１つの小領域に対する処理内容を図４の模式図に示す。
【００４９】
すなわち、図４に示すように、小領域のＭＳＦＡモザイク画像からｋバンド目のカラーフィルタに対応する画素の情報を選択（以下、ｋバンド選択画素）すると共に、同じ位置の画素を小領域のＲ画像，Ｇ画像，Ｂ画像から選択する（以下、ＲＧＢ選択画素）。ＲＧＢの選択画素に重み係数を乗算し足し合わせた結果と、ｋバンド選択画素との二乗誤差を最小とするように重み係数を算出し、算出した重み係数をＲＧＢ画像に乗算して足し合わせることで、ｋバンド目の画像を算出する。
【００５０】
以下、マルチスペクトル画像算出部１５における処理の詳細を説明する。
【００５１】
マルチスペクトル画像の算出は、イメージセンサから出力された画像から切り出した小領域ごとに処理を行う。以下では、１つの小領域に関する処理を記述する。また、その小領域に含まれる画素数をＮ、小領域のｉ番目の画素に対応するオリジナルの分光スペクトルを
【００５２】
【数１】
2013108788.tif 000003
【００５３】
（Ｌ次元列ベクトル）とする。ここでＬは、スペクトル情報を取り扱う波長帯域において十分に細かい間隔で離散化した際のサンプリング点数であり、例えば、可視域３８０〜７８０［ｎｍ］を５ｎｍ間隔でサンプリングしたＬ＝８１次元が用いられる。
【００５４】
また、
【００５５】
【数２】
2013108788.tif 000004
【００５６】
個目の波長に対応する単一波長画像を
【００５７】
【数３】
2013108788.tif 000005
【００５８】
（Ｎ次元列ベクトル）とすれば、Ｎ画素分の分光スペクトルは次の式（１）のように表すことができる。
【００５９】
【数４】
2013108788.tif 000006
【００６０】
まず、理想的なマルチスペクトル画像を定義する。ＭＳＦＡのＫ種類のカラーフィルタのそれぞれの分光感度特性を列ベクトルとして表記し、このベクトルを並べたＬ×Ｋ次元の行列を
【００６１】
【数５】
2013108788.tif 000007
【００６２】
とする。もし、イメージセンサが線形の特性を有すれば、ｉ番目の画素に対応する理想的なマルチスペクトル画像の情報は、次の式（２）にて表される。
【００６３】
【数６】
2013108788.tif 000008
【００６４】
と表される。また、ｋバンド目の単バンド画像を
【００６５】
【数７】
2013108788.tif 000009
【００６６】
（Ｎ次元列ベクトル）とすれば、Ｎ画素分のマルチスペクトル画像は次の式（３）のように表すことができる。
【００６７】
【数８】
2013108788.tif 000010
【００６８】
今、マルチスペクトルの情報は、ＭＳＦＡにより粗にサンプリングされた情報が得られている。ｋバンド目に対応するカラーフィルタにより、Ｎ画素からＭｋ画素をサンプリングするＭｋ×Ｎ次元の行列を
【００６９】
【数９】
2013108788.tif 000011
【００７０】
とすると、サンプリングされた情報は次の式（４）のように表すことができる。
【００７１】
【数１０】
2013108788.tif 000012
【００７２】
ここで、
【００７３】
【数１１】
2013108788.tif 000013
【００７４】
の行ベクトルは、サンプリングする画素に対応する要素のみが１で、それ以外の要素が全て０であるようなベクトルである。一方、ＲＧＢチャネルのそれぞれの分光感度特性を列ベクトルとして表記し、これら３本のベクトルを並べたＬ×３次元の行列を
【００７５】
【数１２】
2013108788.tif 000014
【００７６】
とする。もし、イメージセンサが線形の特性を有すれば、得られるＲＧＢ画像
【００７７】
【数１３】
2013108788.tif 000015
【００７８】
（Ｎ×３次元の行列）は、次の式（５）のように表すことができる。
【００７９】
【数１４】
2013108788.tif 000016
【００８０】
マルチスペクトル画像算出部１５では、観測された情報
【００８１】
【数１５】
2013108788.tif 000017
【００８２】
と、ＲＧＢ画像
【００８３】
【数１６】
2013108788.tif 000018
【００８４】
が入力され、これらの情報に基づき、理想的なマルチスペクトル画像
【００８５】
【数１７】
2013108788.tif 000019
【００８６】
を推定し、出力する。
【００８７】
本発明では、各バンド画像
【００８８】
【数１８】
2013108788.tif 000020
【００８９】
をＲＧＢ画像の足し合わせとして、次の式（６）のように推定する。
【００９０】
【数１９】
2013108788.tif 000021
【００９１】
ここで、
【００９２】
【数２０】
2013108788.tif 000022
【００９３】
は、３次元列ベクトルで、ｋバンド目の画像を推定するための重み係数である。重み係数の算出には、各バンド画像を独立に算出する方法と全バンドを同時に算出する方法がある。  以下、それぞれの方法について詳細を説明する。
【００９４】
各バンド独立での重み係数算出方法
式（６）を式（４）に代入すると次の式（７）が得られる。
【００９５】
【数２１】
2013108788.tif 000023
【００９６】
ここで、未知数は、３次元列ベクトルの
【００９７】
【数２２】
2013108788.tif 000024
【００９８】
であり、それ以外の変数は観測データとフィルタアレイの配列情報から求めることができる。よって、両辺の2乗誤差を最小化するように
【００９９】
【数２３】
2013108788.tif 000025
【０１００】
求めることが可能である。線形の重回帰分析を用いた場合、次の式（８）が得られる。
【０１０１】
【数２４】
2013108788.tif 000026
【０１０２】
ここで、
【０１０３】
【数２５】
2013108788.tif 000027
【０１０４】
は
【０１０５】
【数２６】
2013108788.tif 000028
【０１０６】
の推定を意味する。式（７）の両辺の２乗誤差を最小化する手法は、線形の重回帰分析に限らない。これを全てのバンド画像に対して行うことで、全てのバンドに対応する重み係数が算出される。
【０１０７】
全バンド同時での重み係数算出方法
推定されたマルチスペクトル画像
【０１０８】
【数２７】
2013108788.tif 000029
【０１０９】
について、観測されたＲＧＢ画像
【０１１０】
【数２８】
2013108788.tif 000030
【０１１１】
との整合性を考慮して推定することも可能である。この場合、全てのバンドで同じ小領域を選択し、全てのバンドに対応する重み係数を同時に推定する必要がある。また以下では、各バンドでサンプリングした画素の合計を
【０１１２】
【数２９】
2013108788.tif 000031
【０１１３】
とする。ただし、イメージセンサの全ての画素をK種類のカラーフィルタのいずれかに割り振った場合
【０１１４】
【数３０】
2013108788.tif 000032
【０１１５】
である。
【０１１６】
今、理想的なマルチスペクトル画像
【０１１７】
【数３１】
2013108788.tif 000033
【０１１８】
から推定されるＲＧＢ画像を
【０１１９】
【数３２】
2013108788.tif 000034
【０１２０】
とする。ここで、
【０１２１】
【数３３】
2013108788.tif 000035
【０１２２】
である。また、
【０１２３】
【数３４】
2013108788.tif 000036
【０１２４】
は
【０１２５】
【数３５】
2013108788.tif 000037
【０１２６】
の疑似逆行列
【０１２７】
【数３６】
2013108788.tif 000038
【０１２８】
がＫ×Ｋの単位行列となる任意の行列）である。Ｋが大きな数であれば、
【０１２９】
【数３７】
2013108788.tif 000039
【０１３０】
は
【０１３１】
【数３８】
2013108788.tif 000040
【０１３２】
と十分に近い値となり、ＲＧＢ画像
【０１３３】
【数３９】
2013108788.tif 000041
【０１３４】
も精度良く推定できると考えられる。推定されたマルチスペクトル画像
【０１３５】
【数４０】
2013108788.tif 000042
【０１３６】
に対しても式（９）の関係が成り立つ条件は、次の式（１０）で与えられる。
【０１３７】
【数４１】
2013108788.tif 000043
【０１３８】
ここで、
【０１３９】
【数４２】
2013108788.tif 000044
【０１４０】
である。
【０１４１】
【数４３】
2013108788.tif 000045
【０１４２】
とすれば、式（１０）は、次の式（１１）のように書き直せる。
【０１４３】
【数４４】
2013108788.tif 000046
【０１４４】
【数４５】
2013108788.tif 000047
【０１４５】
式（１１）は次の式（１２）となる。
【０１４６】
【数４６】
2013108788.tif 000048
【０１４７】
ここで、
【０１４８】
【数４７】
2013108788.tif 000049
【０１４９】
はクロネッカー積を表す。一方、式（７）も
【０１５０】
【数４８】
2013108788.tif 000050
【０１５１】
を用いた表記に書き直すと次の式（１３）となる。
【０１５２】
【数４９】
2013108788.tif 000051
【０１５３】
式（１３）の右辺の
【０１５４】
【数５０】
2013108788.tif 000052
【０１５５】
の行列を
【０１５６】
【数５１】
2013108788.tif 000053
【０１５７】
とおけば、次の式（１４）となる。
【０１５８】
【数５２】
2013108788.tif 000054
【０１５９】
式（１２）と式（１４）を１つの式にまとめると次の式（１５）となる。
【０１６０】
【数５３】
2013108788.tif 000055
【０１６１】
式（１５）において、未知数は３Ｋ次元の列ベクトル
【０１６２】
【数５４】
2013108788.tif 000056
【０１６３】
であり、それ以外の変数は観測データとＲＧＢチャネルの分光感度特性、ＭＳＦＡの分光感度特性、ＭＳＦＡのフィルタ配列情報により求めることができる。よって、両辺の２乗誤差を最小化するように、
【０１６４】
【数５５】
2013108788.tif 000057
【０１６５】
を求めることができる。ただし、式（１５）の
【０１６６】
【数５６】
2013108788.tif 000058
【０１６７】
は、式（１２）と式（１４）の両辺の２乗誤差最小化において式（１２）と式（１４）の誤差に対して重みづけを行う係数である。式（１５）の左辺のベクトルを
【０１６８】
【数５７】
2013108788.tif 000059
【０１６９】
、右辺の行列を
【０１７０】
【数５８】
2013108788.tif 000060
【０１７１】
とおけば、例えば、線形の重回帰分析を用いた場合、次の式（１６）が得られる。
【０１７２】
【数５９】
2013108788.tif 000061
【０１７３】
以上が、重み係数算出に関する詳細説明である。
【０１７４】
ここで、ＭＳＦＡ画像撮像用のイメージセンサ１４がＲＧＢ画像撮像用のイメージセンサ１３Ｒ，１３Ｇ，１３Ｂの画素数Ｎｘ×Ｎｙと異なる場合のマルチスペクトル画像算出方法について補足する。ただし、ＭＳＦＡ画像撮像用のイメージセンサ１４とＲＧＢ画像撮像用のイメージセンサ１３Ｒ，１３Ｇ，１３Ｂでは同じ被写体領域の像を取得するものとする。まず、ＲＧＢ画像をＭＳＦＡモザイク画像と同じ画素数の画像へと解像度変換を行う。この解像度変換されたＲＧＢ画像を用いて、重み係数の算出を行う。その後、算出した重み係数を用いてＲＧＢ画像の足し合わせでマルチスペクトル画像を生成する際には、解像度変換する前のオリジナルのＲＧＢ画像を用いる。
【０１７５】
次に、小領域への分割について補足する。各バンド独立で重み係数を算出する手法の場合には、バンドごとの小領域が同じでも異なってもよい。一方、全バンド同時に重み係数を算出する手法の場合には、全バンドの小領域を統一する必要がある。また、いずれの手法を用いる場合でも、小領域への分割は確率的に行ってもよい。これは、１つの画素が複数の小領域に所属し、所属する確率が定義されている状態を意味する。このとき、マルチスペクトル画像の算出では、式（４）の
【０１７６】
【数６０】
2013108788.tif 000062
【０１７７】
を
【０１７８】
【数６１】
2013108788.tif 000063
【０１７９】
に置き換える。ここで、
【０１８０】
【数６２】
2013108788.tif 000064
【０１８１】
の各行ベクトルは、サンプリングする画素に対応する要素のみが０以外の1以下の正の値を持ち、それ以外の要素が全て０であるようなベクトルである。０でない要素の値は、その画素が現在処理している小領域に含まれる確率を０〜１の数値で表したものである。
【０１８２】
【数６３】
2013108788.tif 000065
【０１８３】
から
【０１８４】
【数６４】
2013108788.tif 000066
【０１８５】
への置き換え以外は、前述の処理から変更はない。
【０１８６】
次に、マルチスペクトル画像算出における式（６）のモデルの拡張方法を説明する。式（６）のモデルは、各バンド画像
【０１８７】
【数６５】
2013108788.tif 000067
【０１８８】
をＲＧＢ画像の足し合わせで表現するものであり、Ｒ，Ｇ，Ｂの各画像は、画像基底の役割を果たす。そこで、汎用的な画像基底を加えて、式（６）のモデルを拡張することが可能である。例えば、空間周波数が低い成分は多くの画像に含まれることから、最も空間周波数が低い画像基底である
【０１８９】
【数６６】
2013108788.tif 000068
【０１９０】
（Ｎ次元列ベクトル）を加えて、
【０１９１】
【数６７】
2013108788.tif 000069
【０１９２】
とする方法が考えられる。この場合、重み係数
【０１９３】
【数６８】
2013108788.tif 000070
【０１９４】
は４次元の列ベクトルとなり、未知数が１つ増える。同様にして、有効と思われる任意の画像基底を加えることが可能である。
【０１９５】
すなわち、この第１の実施の形態におけるマルチスペクトル画像情報取得装置１０では、第１の色数＝３、第２の色数＝１、第３の色数＝１６とし、撮像手段として、撮影レンズ１１によって形成される被写体像を上記第１の色数と第２の第２の色数を合計した色数と同じ数、すなわち、４つの像に複製する分岐光学系１２と、上記分岐光学系１２により複製された上記第１の色数に等しい数の像面にそれぞれ配された上記第１の色数と同じ枚数、すなわち３枚のイメージセンサ１３Ｒ，１３Ｇ，１３Ｂと、上記第２の色数と同じ数の像面にそれぞれ配された上記第２の色数と同じ枚数、すなわち１枚のイメージセンサ１４を備える。そして、３枚のイメージセンサ１３Ｒ，１３Ｇ，１３Ｂは、それぞれ、第１の画素数を有し、広帯域の分光感度特性を有している。また、イメージセンサ１４は、第２の画素数を有し、イメージセンサの各画素はそれぞれ異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有している。
【０１９６】
そして、このマルチスペクトル画像情報取得装置１０では、被写体像に対して、広帯域の分光感度特性に対応する第１の色数と第１の画素数を有する第１の画像の画像情報をイメージセンサ１３Ｒ，１３Ｇ，１３Ｂにより取得するとともに、上記被写体像に対して、第２の画素数を有し、画素ごとに異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有する上記第１の色数よりも多い第３の色数である第２の画像の画像情報をイメージセンサ１４により取得し、取得された上記第１の画像の画像情報と上記第２の画像の画像情報に基づいて、上記被写体像に対するマルチスペクトル画像情報として、上記記第３の色数と上記第１の画素数を有する第３の画像の画像情報を生成する。
【０１９７】
ここで、この第１の実施の形態におけるマルチスペクトル画像情報取得装置１０では、第２の色数＝１として、１枚のイメージセンサ１４により上記第１の色数よりも多い第３の色数である第２の画像の画像情報を取得するようにしたが、例えば、第２の色数＝２とし、分岐光学系１２により上記第１の色数と第２の第２の色数を合計した色数と同じ数、すなわち、５つの被写体像を複製し、イメージセンサ１４を２枚のイメージセンサで構成するようにしてもよい。
【０１９８】
この場合、イメージセンサ１４を構成する２枚のイメージセンサは、それぞれのイメージセンサは第２の画素数を有し、各画素はそれぞれ異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、上記第２の色数と同じ枚数のイメージセンサに含まれる画素を全て集めたきの色数は上記第１の色数よりも多い第３の色数であるものとされる。
【０１９９】
すなわち、この第１の実施の形態におけるマルチスペクトル画像情報取得装置１０は、撮像手段として、撮影レンズ１１によって形成される被写体像を上記第１の色数と第２の第２の色数を合計した色数と同じ数の像に複製する分岐光学系１２と、上記分岐光学系１２により複製された上記第１の色数に等しい数の像面にそれぞれ配された上記第１の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第１の画素数を有し、イメージセンサの分光感度特性は広帯域の分光感度特性である第１のイメージセンサと、上記第２の色数と同じ数の像面にそれぞれ配された上記第２の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第２の画素数を有し、イメージセンサの各画素はそれぞれ異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、上記第２の色数と同じ枚数のイメージセンサに含まれる画素を全て集めたきの色数は上記第１の色数よりも多い第３の色数である第２のイメージセンサを備えるものとすることができる。
【０２００】
そして、このマルチスペクトル画像情報取得装置１０では、被写体像に対して、広帯域の分光感度特性に対応する３色以上の第１の色数と第１の画素数を有する第１の画像の画像情報を第１のイメージセンサにより取得するとともに、上記被写体像に対して、第２の画素数を有し、画素ごとに異なる分光感度特性に対応する第２の色数を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、全ての画素を集めたときの色数は上記第１の色数よりも多い第３の色数である第２の画像の画像情報を第２のイメージセンサにより取得し、取得された上記第１の画像の画像情報と上記第２の画像の画像情報に基づいて、上記被写体像に対するマルチスペクトル画像情報として、上記記第３の色数と上記第１の画素数を有する第３の画像の画像情報を生成することができる。
【０２０１】
＜第２の実施の形態＞
また、本発明は、例えば図５に示す様な構成のマルチスペクトル画像情報取得装置２０に適用される。
【０２０２】
このマルチスペクトル画像情報取得装置２０は、被写体像を結像する撮影レンズ２１と、この撮影レンズ２１の後段に設けられた光学ローパスフィルタ２２と、上記撮影レンズ２１から光学ローパスフィルタ２２を介して入射される入射光を２本の光路に分岐する分岐光学系２３と、この分岐光学系２３により２本に分岐された入射光の光路に設けられた３原色（Ｒ，Ｇ，Ｂ）画像撮像用の単板のＲＧＢイメージセンサ２４及びＭＳＦＡ画像撮像用のイメージセンサ２５と、このＲＧＢイメージセンサ２４により得られるＲＧＢモザイク画像の画像情報が供給されるデモザイキング部２６と、このデモザイキング部２６からＲＧＢ画像の画像情報が供給されるとともに上記ＭＳＦＡ画像撮像用のイメージセンサ２５により得られるＭＳモザイク画像の画像情報が供給されるマルチスペクトル画像算出部２７を備える。
【０２０３】
撮像レンズ２１は、分岐光学系２３により２本に分岐された入射光により、２枚のイメージングセンサ２４、２５上に被写体像を結像させる。この際、光学ローパスフィルタ２２により高周波成分がカットされた被写体像が２枚のイメージセンサ２４，２５上に結像される。
【０２０４】
ＲＧＢイメージセンサ２４は、撮像面上に３原色（Ｒ，Ｇ，Ｂ）のカラーフィルタがモザイク状に配された単板のイメージセンサであって、Ｎｘ×Ｎｙの画素数を有する。また、ＭＳＦＡ撮像用のイメージセンサ２５は、この限りではないが、以下では、Ｎｘ×Ｎｙの画素数を有するものとして説明する。
【０２０５】
ＲＧＢイメージセンサ２４により得られるＲＧＢモザイク画像の画像情報は、デモザイキング部２６により、それぞれＮｘ×Ｎｙの画素を有するＲとＧとＢの３枚の画像、すなわち、Ｒ画像、Ｇ画像、Ｂ画像の画像情報に変換される。デモザイキング部２６により変換されたＲ画像、Ｇ画像、Ｂ画像の画像情報がＭＳＦＡ画像撮像用のイメージセンサ２５により得られるＭＳモザイク画像の画像情報とともにマルチスペクトル画像算出部２７に供給される。そして、マルチスペクトル画像算出部２６は、Ｒ画像、Ｇ画像、Ｂ画像、ＭＳモザイク画像の各画像情報に基づいて、マルチスペクトル画像情報を算出して出力する。
【０２０６】
このマルチスペクトル画像情報取得装置２０は、図６に示すマルチスペクトル画像情報取得装置２０Ａのように、ＲＧＢ画像を出力する機能を有するものすることができる。
【０２０７】
ここでは、マルチスペクトル画像情報取得装置２０と共通の構成要素については同一符号を付してその詳細な説明を省略し、異なる構成要素について説明する。
【０２０８】
すなわち、マルチスペクトル画像情報取得装置２０Ａは、デモザイキング部２６により得られるＲ画像、Ｇ画像、Ｂ画像の各画像情報を記憶するＲＧＢ画像記録部２８と、ＭＳＦＡ撮像用のイメージセンサ２５により得られるＭＳモザイク画像の画像情報を記憶するＭＳモザイク画像記録部２９を備え、ＲＧＢ画像記録部２８に記録されたＲＧＢ画像をそのまま出力する機能を有する。また、必要に応じて、ＲＧＢ画像記録部２８に記録されたＲＧＢ画像の画像情報と、ＭＳモザイク画像記録部２９に記録されたＭＳモザイク画像の画像情報がマルチスペクトル画像算出部２７に送られ、このマルチスペクトル画像算出部２７においてマルチスペクトル画像の画像情報が算出、出力される。この構成の場合、既存のＲＧＢを基本とするカラーシステムとの互換性を保ちつつ、必要に応じてマルチスペクトル画像の情報も併せて取得することが可能である。さらに、ＲＧＢ画像記録部２８、ＭＳモザイク画像記録部２９、マルチスペクトル画像算出部２７が、別々の装置として実装されている場合も、本発明に含むものとする。
【０２０９】
このマルチスペクトル画像情報取得装置２０において、ＲＧＢイメージセンサ２４は、Ｒ，Ｇ，Ｂに対応するカラーフィルタを画素ごとに配した単板のイメージセンサである。Ｒ，Ｇ，Ｂのそれぞれの分光感度特性は、第１の実施の形態に記載したものと同様である。Ｒ，Ｇ，Ｂのカラーフィルタの配列は、ベイヤー配列に代表されるような一般的な配列、もしくは、それに類似した配列とする。
【０２１０】
また、ＭＳＦＡ撮像用のイメージセンサ２５は、第１の実施の形態に記載したものと同様のものが使用される。
【０２１１】
光学ローパスフィルタ２２は、デモザイキング部２６から出力されるＲＧＢ画像における、折り返し歪を防ぐことを目的としている。ＲＧＢイメージセンサ２４上で、Ｒ，Ｇ，Ｂそれぞれの画素は少なくとも縦横２画素に１画素を配すことができるため、光学ローパスフィルタ２２は、イメージセンサのナイキスト周波数の半分程度までの高周波成分をカットする特性であることが望ましい。また、光学ローパスフィルタ２２を挿入する場所は、撮像レンズ２１と分岐光学系２３の間でなくてもよい。デモザイキング部２６に０おけるデモザイキング処理は、任意の手法を用いることができる。
【０２１２】
マルチスペクトル画像算出部２７の働きは、第１の実施の形態におけるマルチスペクトル画像算出部１５と同様である。
【０２１３】
すなわち、この第２の実施の形態は、第１の色数＝３、第２の色数＝１、第３の色数＝１６としたマルチスペクトル画像情報取得装置２０であって、撮像手段として、撮影レンズ２１によって形成される被写体像を２枚の像に複製する分岐光学系２３と、上記分岐光学系２３により複製された一方の被写体像の像面に配された１枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第１の色数のカラーフィルタにより色コーディングされた第１の画素数を有する上記第１の画像の画像情報を取得するための第１のイメージセンサ２４と、上記分岐光学系２３により複製された他方の被写体像の像面に配された１枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記狭帯域の分光感度特性に対応する上記第３の色数のカラーフィルタにより色コーディングされた上記第２の画素数を有する上記第２の画像の画像情報を取得するための第２のイメージセンサ２５を備える。
【０２１４】
そして、上記第１のイメージセンサ２４により得られる広帯域の分光感度特性に対応する第１の画素数の画像情報から、デモザイキング部２６におけるデモザイキング処理により、上記第１の色数と第４の画素数を有する画像の画像情報を生成し、上記第２のイメージセンサ２５により得られる狭帯域の分光感度特性に対応する第２の画素数の画像情報と、上記デモザイキング部２６によりデモザイキング処理された上記第１の色数と第４の画素数を有する画像の画像情報に基づいて、マルチスペクトル画像算出部２７により、上記被写体像に対するマルチスペクトル画像情報として、上記第３の色数と、上記第４の画素数を有する画像の画像情報を算出する。
【０２１５】
ここで、この第２の実施の形態におけるマルチスペクトル画像情報取得装置２０においても、第２の色数＝１として、１枚のイメージセンサ２５により上記第１の色数よりも多い第３の色数である第２の画像の画像情報を取得するようにしたが、例えば、第２の色数を複数とし、分岐光学系２３により上記第２の色数と同じ枚数の被写体像を複製し、第２のイメージセンサ２５を上記第２の色数と同じ枚数のイメージセンサで構成するようにしてもよい。
【０２１６】
この場合、第２のイメージセンサ２５を構成する上記第２の色数と同じ枚数のイメージセンサは、それぞれのイメージセンサは第２の画素数を有し、各画素はそれぞれ異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、各イメージセンサに含まれる画素を全て集めたきの色数は上記第１の色数よりも多い第３の色数であるものとされる。
＜第３の実施の形態＞
また、本発明は、例えば図７に示す様な構成のマルチスペクトル画像情報取得装置３０に適用される。
【０２１７】
このマルチスペクトル画像情報取得装置３０は、被写体像を結像する撮影レンズ３１と、この撮影レンズ３１の後段に設けられた光学ローパスフィルタ３２と、上記撮影レンズ３１から入射光が光学ローパスフィルタ３２を介して入射される単板のカラーイメージセンサ３３、このカラーイメージセンサ３３により得られるカラー画像の画像情報が供給される画像情報分離部３４と、この画像情報分離部３４からＲＧＢモザイク画像の画像情報が供給されるデモザイキング部３５と、このデモザイキング部３５からＲＧＢ画像の画像情報が供給されるとともに上記画像情報分離部３４からＭＳモザイク画像の画像情報が供給されるマルチスペクトル画像算出部３６を備える。
【０２１８】
撮像レンズ３１は、単板のカラーイメージングセンサ３３上に被写体像を結像させる。この際、光学ローパスフィルタ３２により高周波成分がカットされた被写体像が単板のカラーイメージセンサ２３３上に結像される。
【０２１９】
このマルチスペクトル画像情報取得装置３０において、カラーイメージングセンサ３３は、ＲＧＢとＭＳを組み合わせた色コーディングフィルタが撮像面に設けられた単板のイメージセンサであって、Ｎｘ×Ｎｙの画素数を有する。
【０２２０】
このカラーイメージセンサ３３により得られるカラー画像の画像情報から、画像情報分離部３４においてＲＧＢモザイク画像の画像情報とＭＳモザイク画像の画像情報が分離される。
【０２２１】
画像情報分離部３４において分離されたＲＧＢモザイク画像の画像情報は、デモザイキング部３５により、それぞれＮｘ×Ｎｙの画素を有するＲとＧとＢの３枚の画像、すなわち、Ｒ画像、Ｇ画像、Ｂ画像の画像情報に変換される。デモザイキング部３５により変換されたＲ画像、Ｇ画像、Ｂ画像の画像情報が上記画像情報分離部３４において分離されたＭＳモザイク画像の画像情報とともにマルチスペクトル画像算出部３６に供給される。そして、マルチスペクトル画像算出部３６は、Ｒ画像、Ｇ画像、Ｂ画像、ＭＳモザイク画像の各画像情報に基づいて、マルチスペクトル画像情報を算出して出力する。
【０２２２】
このマルチスペクトル画像情報取得装置３０は、図８に示すマルチスペクトル画像情報取得装置３０Ａのように、ＲＧＢ画像を出力する機能を有するものすることができる。
【０２２３】
ここでは、マルチスペクトル画像情報取得装置３０と共通の構成要素については同一符号を付してその詳細な説明を省略し、異なる構成要素について説明する。
【０２２４】
すなわち、マルチスペクトル画像情報取得装置３０Ａは、デモザイキング部３５により得られるＲ画像、Ｇ画像、Ｂ画像の各画像情報を記憶するＲＧＢ画像記録部３７と、画像情報分離部３４により得られるＭＳモザイク画像の画像情報を記憶するＭＳモザイク画像記録部３８を備え、ＲＧＢ画像記録部３７に記録されたＲＧＢ画像をそのまま出力する機能を有する。また、必要に応じて、ＲＧＢ画像記録部３７に記録されたＲＧＢ画像の画像情報と、ＭＳモザイク画像記録部３８に記録されたＭＳモザイク画像の画像情報がマルチスペクトル画像算出部３６に送られ、このマルチスペクトル画像算出部３６においてマルチスペクトル画像の画像情報が算出、出力される。この構成の場合、既存のＲＧＢを基本とするカラーシステムとの互換性を保ちつつ、必要に応じてマルチスペクトル画像の情報も併せて取得することが可能である。さらに、ＲＧＢ画像記録部３７、ＭＳモザイク画像記録部３８、マルチスペクトル画像算出部３６が、別々の装置として実装されている場合も、本発明に含むものとする。
【０２２５】
このマルチスペクトル画像情報取得装置３０に備えられる単板のカラーイメージセンサ３３におけるＲＧＢに対応する画素の分光感度特性は、第１の実施の形態に記載したものと同様である。また、ＭＳに対応する画素のＫ種類の分光感度特性は、第１の実施の形態に記載したものと同様である。
【０２２６】
光学ローパスフィルタ３２は、デモザイキング部３５から出力されるＲＧＢ画像における、折り返し歪を防ぐことを目的としており、その特性は、第２の実施の形態に記載されるものと同様である。
【０２２７】
デモザイキング部３５のデモザイキング処理は、任意の手法を用いることができる。
【０２２８】
マルチスペクトル画像算出部３６の働きは、第１の実施の形態に記載したものと同様である。
【０２２９】
ここで、このマルチスペクトル画像情報取得装置３０に備えられる単板のカラーイメージセンサ３３上のカラーフィルタの配列について説明する。
【０２３０】
２×２の４画素を一つの画素グループとすると、この画素グループには、ＲとＧとＢのカラーフィルタと、Ｋ種類のカラーフィルタのうちの１種類のカラーフィルタが配される。よって、Ｒ，Ｇ，Ｂのカラーフィルタが配される画素は４画素に１つ存在するのに対し、Ｋ種類のうちの１種類のカラーフィルタが配される画素は４×Ｌ画素に１つ存在することになる。
【０２３１】
例えば、Ｋ＝１６の場合の画素配列の例の最小単位を図９に示すように、Ｋ＝１６の場合、Ｋ種類のカラーフィルタを１画素ずつ配するためには１６＝４×４画素必要であることから、単板のカラーイメージセンサ３３上のカラーフィルタの最小単位は８×８画素となる。Ｋ種類の狭帯域のカラーフィルタの配列は、任意である。
【０２３２】
すなわち、この第３の実施の形態は、第１の色数＝３、第２の色数＝１、第３の色数＝１６としたマルチスペクトル画像情報取得装置３０であって、撮像手段として、撮像レンズ３１により被写体像が結像される像面に配された１枚のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第１の色数のカラーフィルタと上記狭帯域の分光感度特性に対応する上記第３の色数のカラーフィルタにより色コーディングされた第１の画素数を有するイメージセンサ３３を備える。
【０２３３】
そして、上記イメージセンサ３３により得られる画像情報を、画像情報分離部３４により、上記広帯域の分光感度特性に対応する画素の情報と、上記狭帯域の分光感度特性に対応する画素の情報とに分離し、上記画像情報分離部３４により分離された広帯域の分光感度特性に対応する画素の情報から、デモザイキング部３５におけるデモザイキング処理により、上記第１の色数と第４の画素数を有する画像の画像情報を生成し、  上記画像情報分離部３４により分離された狭帯域の分光感度特性に対応する画素の情報と、上記デモザイキング部３５においてデモザイキング処理された上記第１の色数と第４の画素数を有する画像の画像情報に基づいて、マルチスペクトル画像算出部３６により、上記被写体像に対するマルチスペクトル画像情報として、上記第３の色数と、上記第４の画素数を有する画像の画像情報を算出する。
【０２３４】
＜出力形式を変更した実施の形態＞
第１の実施の形態、第２の実施の形態、第３の実施の形態のいずれの場合においても、マルチスペクトル画像を出力する代わりに、マルチスペクトル画像から算出される他の形式の画像データに変換して出力するものとすることができる。
【０２３５】
上記の実施の形態においては、ＲＧＢチャネルに対応するイメージセンサ（第１の実施の形態ではＲイメージセンサ１３ＲとＧイメージセンサ１３ＧとＢイメージセンサ１３Ｂ、第２の実施の形態ではＲＧＢイメージセンサ２４、第３の実施の形態では単板のカラーイメージセンサ３３）の画素数をＮＲＧＢとし、ＭＳＦＡのカラーフィルタの種類数をＫとすると、マルチスペクトル画像算出部１５，２７，３６からは画素数ＮＲＧＢのＫバンドの画像が出力される。これに対し、マルチスペクトル画像算出部１５，２７，３６から任意の画素数の
（１）Ｋバンドより多いバンドのマルチスペクトル画像
（２）Ｋバンドより少ないバンドのマルチスペクトル画像
（３）スペクトル放射輝度画像
（４）分光反射率画像
（５）ＸＹＺ画像
（６）ＲＧＢ画像
などに変換した後に画像情報を出力するものとすることができる。このとき、変換後の画像情報のバンド数または色チャネル数をJとし、そのj番目のチャネル画像をqjとする。ただし簡単のために変換後の画像情報の画素数はＮＲＧＢと等しい場合について説明する。qj がオリジナルの分光スペクトルの画像
【０２３６】
【数６９】
2013108788.tif 000071
【０２３７】
（ｌは１〜Ｌ）、またはＫバンドマルチスペクトル画像
【０２３８】
【数７０】
2013108788.tif 000072
【０２３９】
から線形の演算で算出できる場合、すなわち重み係数
【０２４０】
【数７１】
2013108788.tif 000073
【０２４１】
または
【０２４２】
【数７２】
2013108788.tif 000074
【０２４３】
を用いて、次の式（１７）として
【０２４４】
【数７３】
2013108788.tif 000075
【０２４５】
定義されるような画像情報に変換する場合には、より簡易な計算によって実装することも可能である。式（６）を式（１７）に代入すると、
【０２４６】
【数７４】
2013108788.tif 000076
【０２４７】
を用いて、変換後の画像情報を
【０２４８】
【数７５】
2013108788.tif 000077
【０２４９】
と表すことができる。つまり式（１８）を用いることにより、Ｋバンドマルチスペクトル画像を求めることなく、ＲＧＢ画像から直接上記（１）から（６）の変換後の画像情報を算出することもできる。
【０２５０】
本実施形態は、撮影時の照明光の分光スペクトルと、観察用の照明光の分光スペクトルを用いて、撮影時とは異なる光で照明された際の色を算出する場合などに適用される。
【０２５１】
＜その他の実施の形態＞
さらに、第１〜第３の実施の形態では、広帯域イメージセンサの分光感度特性をＲＧＢに対応する分光感度特性として説明したが、対象とする波長帯域における任意の広帯域の分光感度特性に置き換えて実施することも可能である。
【０２５２】
実施例１として、第１の実施の形態（Ｋ＝１６）について、次の設定で、シミュレーションを行い、他の手法と比較した結果を図１３〜図１５に示す。
【０２５３】
設定
第１の実施の形態で、Ｋ＝１６の設定とする。つまり、Ｒ，Ｇ，Ｂに対応した３枚のイメージングセンサと、１６色のフィルタを配したマルチスペクトルフィルタアレイ方式の１枚のイメージングセンサ（合計４枚のイメージングセンサ）により取得したデータから、１６色のフィルタに対応した１６バンド画像を生成する。ＲＧＢのイメージングセンサの分光感度特性を図１０に、ＭＳＦＡの１６種類の分光感度特性を図１１に示す。また、ＭＳＦＡの画素配列を図１２に示す。図１２において、１〜１６の数値は、狭帯域カラーフィルタの種類を表し、短波長側から順に番号を付けている。マルチスペクトル画像算出時の領域分割は１６×１６画素の矩形領域で、全てのバンド画像で共通とする。また、重み係数の算出は、バンドごとに独立で行う。
【０２５４】
自然風景のスペクトル画像のデータベース（Hyperspectral Images of Natural Scenes by D. H. Foster, The University of Manchester）の３種類のスペクトル画像から、一部領域を切り出して、撮影対象として使用した。切り出したスペクトル画像の仕様を表１に示す。
【０２５５】
【表１】
2013108788.tif 000078
【０２５６】
比較手法
4-band：図１０のＧの分光感度特性を長波長側と短波長側の２つに分割した感度と、ＲとＢの分光感度特性を合わせた４チャネルの分光感度特性を有する4枚のイメージングセンサで取得したデータから、画素ごとにWiener推定により１６次元のスペクトルを推定して、スペクトル画像を復元する。
【０２５７】
4-band FA x4：４種類のフィルタを画素ごとに配したフィルタアレイ方式のイメージングセンサ4枚で撮影することを想定し、イメージングセンサごとに異なる4種類のカラーフィルタを配する。その結果、合計で16種類のカラーフィルタに対応するデータが取得できる。１６種類のカラーフィルタに対応する分光感度特性は図１１と同一である。また、１色のカラーフィルタは、４画素に１つ配される。このようにして取得されたデータから、線形補間により１６波長の画像を復元する。
【０２５８】
結果
図１３〜図１５は、バンド画像ごとの正規化された２乗誤差平均の平方根ＮＲＭＳＥ（Normalized Root Mean Squared Error）を示す。「ＲＧＢ＋１６ＦＡ」が本発明によるものである。本発明のＮＲＭＳＥが最も小さく抑えられていることがわかる。
【０２５９】
次に、実施例２として、第３の実施の形態（Ｋ＝１６）について、次の設定で、シミュレーションを行い、他の手法と比較した結果を図２０、図２１に示す。
【０２６０】
設定
第１の実施の形態で、Ｋ＝１６の設定とする。イメージセンサの画素数は５１２×５１２画素とする。単板イメージングセンサの画素配列を図１６に示す。Ｒ，Ｇ，Ｂの画素は２×２=４画素ごとに１画素サンプリングされているのに対し、１６種類のうちの１種類のカラーフィルタに対応する画素は、８×８＝６４画素に１画素しかサンプリングされていないこととなる。Ｒ，Ｇ，Ｂのカラーフィルタの分光感度と、ＭＳＦＡの１６種類の分光感度を図１７、図１８に示す。
【０２６１】
周波数帯域を約半分にする光学的な高周波カットが実装されているものとする。
【０２６２】
オリジナルとして、図１９の（Ａ），（Ｂ）に示すように、空間方向に５１２×５１２画素、波長方向８１次元（３８０〜７８０［ｎｍ］を５ｎｍ間隔でサンプリング）の分光画像を用いた（ただし１６バンドのマルチスペクトル画像から推定した画像である）。
【０２６３】
マルチスペクトル画像算出時の領域分割は３２×３２画素の矩形領域とした。また、重み係数の算出において、バンドごとに独立に算出する場合と、全バンド同時に算出する場合の双方を実装した。さらに、画像基底として、全ての要素が１で構成される直流基底を追加する場合としない場合の双方を実装した。本発明による手法として、これらの組み合わせの４パターンの結果を比較した。
【０２６４】
デモザイキング処理
高密度サンプリングのＲ，Ｇ，Ｂの画素のデータは、縦横に１画素おきにサンプリングされている。あらかじめ周波数帯域が約半分となるように、高周波成分がカットされていることを想定しているため、周波数領域において、折り返しひずみはほぼ生じないと考えられる。そこで、Ｒ，Ｇ，Ｂそれぞれの画素を抜き出した画像（２５６×２５６画素）を離散フーリエ変換により周波数領域に投影し、それぞれの位相差に対応する係数を周波数領域で乗算した後、高周波領域をゼロで埋めて５１２×５１２の画像としてから、離散逆フーリエ変換により５１２×５１２の画像に戻す。これにより、１画素おきにサンプリングされたＲ，Ｇ，Ｂの画素の情報から、５１２×５１２の高周波成分がカットされた画像が復元され、バンド画像で独立にデモザイキングした結果とみなすことができる。
【０２６５】
比較手法
１６波長に対応するカラーフィルタを５１２×５１２画素のイメージングセンサ上に均等に配置することを想定し、図１２に示した画素配列と同等の配列の繰り返しとした。1種類のカラーフィルタに対応する画素は、４×４＝１６画素に１画素サンプリングされることとなる。
【０２６６】
結果
ＭＳの画素のサンプリング位置の２５６×２５６個の画素を取り出し、ＮＲＭＳＥにより評価した。図２０、図２１に像のＮＲＭＳＥを示す。まず、本発明による結果は、比較手法（均等サンプリング、線形補間）の結果と比較すると、ＮＲＭＳＥを１／３以下に低減させていることがわかる。さらに、本発明による４つの結果を比較すると、直流基底を追加することで１５、１６バンド目の推定誤差を低減させた。さらに、全バンド同時に重み係数を算出する手法の方が、各バンド独立で算出する手法と比較して、わずかに誤差が減少した。
【符号の説明】
【０２６７】
１０，１０Ａ，２０，２０Ａ，３０，３０Ａ  マルチスペクトル画像情報取得装置、１１，２１，３１  撮影レンズ、１２，２３  分岐光学系、１３Ｒ，１３Ｇ，１３Ｂ  ３原色画像撮像用イメージセンサ、１４，２５  ＭＳＦＡ画像撮像用のイメージセンサ、１５，２７，３６  マルチスペクトル画像算出部、１６，２８，２７  ＲＧＢ画像記録部、１７，２９，３８  ＭＳモザイク画像記録部、２２，２３  光学ローパスフィルタ、２４  ＲＧＢイメージセンサ、２６，３５  デモザイキング部、３３  カラーイメージセンサ、３４  画像情報分離部３４、１５１  小領域切り出し部、１５２  重み係数算出部、１５３  マルチスペクトル画像生成部、
【図１】
2013108788.tif 000079
【図２】
2013108788.tif 000080
【図３】
2013108788.tif 000081
【図４】
2013108788.tif 000082
【図５】
2013108788.tif 000083
【図６】
2013108788.tif 000084
【図７】
2013108788.tif 000085
【図８】
2013108788.tif 000086
【図１１】
2013108788.tif 000087
【図１６】
2013108788.tif 000088
【図２０】
2013108788.tif 000089
【図２１】
2013108788.tif 000090
【図９】
2013108788.tif 000091
【図１０】
2013108788.tif 000092
【図１２】
2013108788.tif 000093
【図１３】
2013108788.tif 000094
【図１４】
2013108788.tif 000095
【図１５】
2013108788.tif 000096
【図１７】
2013108788.tif 000097
【図１８】
2013108788.tif 000098
【図１９】
2013108788.tif 000099
【図２２】
2013108788.tif 000100
【図２３】
2013108788.tif 000101