(57)【要約】  画像処理装置（１０）は、可視光から近赤外光までの波長領域におけるカラーイメージセンサの分光感度特性と、カラーイメージセンサを用いて入射光を撮像して得られた画像データとを用いて、入射光の分光分布特性を推定する推定部（１１）と、推定された入射光の分光分布特性とカラーイメージセンサの分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとを生成する生成部（１２）とを備える。
2018116972.tif 000002
【特許請求の範囲】
【請求項１】
カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定し、
前記推定された入射光の分光分布特性と前記カラーイメージセンサの分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとを生成する画像処理方法であって、
前記カラーイメージセンサの前記１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における前記カラーイメージセンサの分光感度特性の各積分値が所定の条件を満たす
ことを特徴とする画像処理方法。
【請求項２】
前記推定された入射光の分光分布特性と、可視光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、可視光を表す情報のみで構成される前記可視光画像データを生成し、
前記入射光の前記分光分布特性と、近赤外光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成する
請求項１記載の画像処理方法。
【請求項３】
前記推定された入射光の分光分布特性と、可視光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、可視光を表す情報のみで構成される前記可視光画像データを生成し、
可視光および近赤外光が撮像された前記画像データから、前記生成された可視光画像データを減じることによって、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成する
請求項１記載の画像処理方法。
【請求項４】
前記推定された入射光の分光分布特性と、近赤外光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成し、
可視光および近赤外光が撮像された前記画像データから、前記生成された近赤外光画像データを減じることによって、可視光を表す情報のみで構成される前記可視光画像データを生成する
請求項１記載の画像処理方法。
【請求項５】
入射光の分光分布特性は、基底ベクトルri(λ)(i=1~M、Mは１以上の整数)の加重和でモデル化されるか、基底ベクトルri(λ)(i=1~M+1)の加重和でモデル化されるか、基底ベクトルri(λ)(i=1~M)の加重和と分光分布特性の平均ベクトルr0(λ)とでモデル化されるか、基底ベクトルri(λ)(i=1~M+1)の加重和と平均ベクトルr0(λ)とでモデル化される
請求項１から請求項４のうちのいずれか１項に記載の画像処理方法。
【請求項６】
前記画像データに含まれる前記１つ以上のカラーチャネルは、赤チャネルと、緑チャネルと、青チャネルである
請求項１から請求項５のうちのいずれか１項に記載の画像処理方法。
【請求項７】
カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、前記入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定する推定手段と、
前記推定された入射光の分光分布特性と前記カラーイメージセンサの前記分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとを生成する生成手段とを備え、
前記カラーイメージセンサの前記１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における前記カラーイメージセンサの分光感度特性の各積分値が所定の条件を満たす
ことを特徴とする画像処理装置。
【請求項８】
前記生成手段は、
前記推定された入射光の分光分布特性と、可視光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、可視光を表す情報のみで構成される前記可視光画像データを生成し、
前記入射光の分光分布特性と、近赤外光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成する
請求項７記載の画像処理装置。
【請求項９】
コンピュータに、
カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定する推定処理、および
前記推定された入射光の分光分布特性と前記カラーイメージセンサの分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとを生成する生成処理
を実行させるための画像処理プログラムを記録した、一時的でない記録媒体であって、
前記カラーイメージセンサの前記１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における前記カラーイメージセンサの分光感度特性の各積分値が所定の条件を満たす
ことを特徴とする、一時的でない記録媒体。
【請求項１０】
前記画像処理プログラムは、
コンピュータに、
前記推定された入射光の分光分布特性と、可視光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、可視光を表す情報のみで構成される前記可視光画像データを生成する第１生成処理、および
前記推定された入射光の分光分布特性と、近赤外光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成する第２生成処理を実行させる、
請求項９記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、暗所撮像等で使用される、近赤外光が利用される高感度撮影モードのカラーカメラで撮影された画像信号から可視光の画像信号と近赤外光の画像信号を生成できる画像処理方法、画像処理装置および記録媒体に関する。
【背景技術】
【０００２】
人間の色知覚は、400nmから700nmまでの波長領域に対応する光を感じる。400nmから700nmまでの波長領域に対応する光は、可視光と呼ばれる。【０００３】
また、画像データを撮像するCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等の一般的なイメージセンサは、図１４に示すように波長が400nmから700nmまでのいずれかの値である可視光だけでなく、波長が700nmより長い光である近赤外光(Near InfraRed;NIR)も検出する分光感度特性を有する。【０００４】
図１４は、一般的なイメージセンサが有する分光感度特性の一例を示す説明図である。図１４に示すように、イメージセンサは、700nmから800nmまでの波長領域に対応する近赤外光を80%以上検出する高い感度を有する。【０００５】
映像撮影装置で使用されているイメージセンサがシリコン系センサである場合、イメージセンサは、可視光以外に、近赤外光に対しても感度を有する。一般的には、近赤外光は波長が概ね0.7μｍ〜2μｍ程度の光と定義されている。【０００６】
通常、デジタルカメラやビデオカメラ等の映像撮影装置のイメージセンサには、赤(R)の光、緑(G)の光、および青(B)の光だけを透過させる３色光学フィルタ（以下、単にRGBの光学フィルタ、またはカラーフィルタという。）が組み込まれている。【０００７】
カメラに入射した光は、３色光学フィルタによって分解される。分解された光は、イメージセンサによって映像信号に変換される。最終的に、変換された映像信号が集積したRGBの映像データが生成される。【０００８】
以下、上記のイメージセンサにRGBの光学フィルタが適用されたセンサを、カラーイメージセンサと呼ぶ。カラーイメージセンサが出力する画像データは、Rチャネル、Gチャネル、およびBチャネルを含むRGBチャネルの画像データである。【０００９】
RGBの光学フィルタの分光透過特性の例を図１５に示す。図１５は、カラーフィルタの分光透過率の一例を示す説明図である。図１５は、Rチャネル、Gチャネル、およびBチャネルに関して、光学フィルタが全て可視光に加えて近赤外光も透過させる場合の各分光透過特性の一例を示す。図１５に示すように、RGBの光学フィルタは、波長が700nm以上の近赤外光に対しても高い分光透過率を有する。【００１０】
また、各チャネルの近赤外光の波長領域における分光透過特性の積分値の比率に閾値が設定されていてもよい。例えば、各分光透過特性の積分値の比率は、ユーザが指定する所定の閾値未満の値になる。【００１１】
以上のように、一般的なRGBの光学フィルタは、全てのチャネルまたは一部のチャネルに関して可視光だけでなく近赤外光も透過させる分光透過特性を有する。よって、カラーイメージセンサで撮像された画像において、近赤外光の信号と可視光の色信号とが混在している。すなわち、カラーイメージセンサで撮像された物体の色は、人間が色知覚で感じる物体の色と異なる可能性がある。【００１２】
具体的には、近赤外光が含まれる光がイメージセンサに入射すると、R,G,Bそれぞれの光の出力信号に、NIRの出力信号が加算される。NIRの出力信号が加算されると、可視光以外の光の信号が含まれるため、映像撮影装置の色再現性が低下する。【００１３】
上記の課題を解決するために、一般的なデジタルカメラやデジタルビデオカメラでは、近赤外光カットフィルタで近赤外光が除去されることによって、高精度な色再現性が確保されている。【００１４】
上記のイメージセンサの近赤外光感度が利用された近赤外光映像の撮影には需要がある。需要を受けて、可視光撮影と近赤外光撮影とを１つの映像撮影装置で行う方法が種々検討されている。【００１５】
可視光撮影と近赤外光撮影とを１つの映像撮影装置で行う最も単純な手法は、赤外光(InfraRed;IR)を除去する赤外光カットフィルタ（IRカットフィルタ）を機械的に移動させる仕組みを映像撮影装置に設ける手法である。上記の仕組みが設けられた映像撮影装置は、通常の撮影ではIRカットフィルタを光学系にセットして可視光映像を撮影する。【００１６】
また、夜間の屋外や暗所における撮影では、映像撮影装置は、IRカットフィルタを光学系から除去して近赤外光映像を撮影する。以上のように、色再現性の良い可視光撮影と近赤外光撮影とが１つの映像撮影装置で行われる。【００１７】
具体的には、通常のカメラでは、図１６に示すような分光透過特性を有するIRカットフィルタが光学系に組み込まれる。図１６は、IRカットフィルタの分光透過率の一例を示す説明図である。図１６に示すように、波長が710nm以上の近赤外光に対するIRカットフィルタの分光透過率は0%である。【００１８】
上記のようなIRカットフィルタが光学系に組み込まれることによって、近赤外光が除かれた光がイメージセンサに入射する。以上の方法により、カラーイメージセンサで撮像された物体の色と人間が色知覚で感じる物体の色が一致するという高精度な色再現性が撮像において実現される。【００１９】
また、機械的動作を実行せずにRGB画像（可視光画像）とNIR画像（近赤外光画像）を撮影する方法も提案されている。例えば、特許文献１および特許文献３には、RGBの３色光学フィルタに、可視光を除去しIRを透過させるIR透過フィルタが加えられた４色光学フィルタを用いる方法が記載されている。【００２０】
すなわち、特許文献１および特許文献３に記載されている方法は、IR専用の画素を設けることによってIR信号を取得している。次いで、特許文献１および特許文献３に記載されている方法は、取得されたIR信号を用いて、イメージセンサから出力されたR,G,Bの各色の光の信号からIRの寄与分を差し引くことによって、正しいR,G,Bの各色の光の信号を算出する。【００２１】
以上の手法により、特許文献１および特許文献３に記載されている方法は、高い色再現性を確保している。また、特許文献１および特許文献３に記載されている方法は、暗所撮影ではRGBのカラーイメージセンサを近赤外光センサとして利用することによって、モノクロームの近赤外光画像を取得している。【００２２】
また、例えば特許文献２には、半導体フォトセンサに入射した光の検出を、可視光の検出と、近赤外光の検出の２つに分けて行う方法が記載されている。可視光の検出は、R,G,Bの各色の光を透過させる３色光学フィルタを用いて行われる。なお、３色光学フィルタは、NIRも透過させる。【００２３】
次いで、NIRの検出は、RGBの各光用のフォトセンサ部の深部（表面から遠い部分）に設けられたNIRセンサを用いて行われる。NIRセンサによる検出では、波長が長い光ほど半導体の表面から遠い部分まで進入し吸収されるという現象が利用されている。【００２４】
すなわち、特許文献２に記載されている方法は、可視光センシング部を透過したNIRを、NIR専用のセンサで検出している。上記の構成が適用された１つの撮影装置は、可視光画像と近赤外光画像の両方を撮影できる。
【先行技術文献】
【特許文献】
【００２５】
【特許文献１】特開２０１２−２２７７５８号公報
【特許文献２】特開２０１１−２４３８６２号公報
【特許文献３】特開２０１５−２０４５７９号公報
【発明の概要】
【発明が解決しようとする課題】
【００２６】
特許文献１および特許文献３に記載されている方法は、イメージセンサにIR専用の画素を設けている。よって特許文献１および特許文献３に記載されている方法がイメージセンサに適用された場合、画素面積が同一のイメージセンサがRGBの３色の光だけを検出した時に出力するRGBの画素数または画素面積に比べて、出力されるRGBの画素数または画素面積が減少する。すなわち、特許文献１および特許文献３に記載されている方法がイメージセンサに適用されると、解像度または感度が低下するという問題がある。【００２７】
また、特許文献２に記載されている方法は、RGBの各光用のフォトセンサ部の深部にNIRセンサを設けている。すなわち、特許文献２に記載されている方法が撮影装置に適用されると、一種類のフォトセンサが平面上に配列される通常の撮影装置の構造に比べて撮影装置の構造が複雑になる。よって撮影装置の製造プロセスも複雑になり、製造コストが高くなるという問題がある。【００２８】
［発明の目的］
そこで、本発明は、上述した課題を解決する、可視光から近赤外光までの波長領域で撮影された画像信号から可視光の画像信号と近赤外光の画像信号をそれぞれ容易に生成できる画像処理方法、画像処理装置および記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００２９】
本発明による画像処理方法は、カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定し、前記推定された入射光の分光分布特性と前記カラーイメージセンサの分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとを生成する画像処理方法であって、前記カラーイメージセンサの前記１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における前記カラーイメージセンサの分光感度特性の各積分値が所定の条件を満たすことを特徴とする。【００３０】
本発明による画像処理装置は、カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定する推定手段と、前記推定された入射光の分光分布特性と前記カラーイメージセンサの前記分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとを生成する生成手段とを備え、前記カラーイメージセンサの前記１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における前記カラーイメージセンサの分光感度特性の各積分値が所定の条件を満たすことを特徴とする。【００３１】
本発明による記録媒体は、コンピュータに、カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定する推定処理、および前記推定された入射光の分光分布特性と前記カラーイメージセンサの分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとを生成する生成処理を実行させるための画像処理プログラムを記録した、一時的でない記録媒体であって、前記カラーイメージセンサの前記１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における前記カラーイメージセンサの分光感度特性の各積分値が所定の条件を満たすことを特徴とする。
【発明の効果】
【００３２】
本発明によれば、可視光から近赤外光までの波長領域で撮影された画像信号から可視光の画像信号と近赤外光の画像信号をそれぞれ容易に生成できる。
【図面の簡単な説明】
【００３３】
【図１】本発明による画像処理装置１００の第１の実施形態の構成例を示すブロック図である。
【図２】入射光の平均ベクトルおよび基底ベクトルの一例を示す説明図である。
【図３】第１の実施形態の画像処理装置１００による画像生成処理の動作を示すフローチャートである。
【図４】本発明による画像処理装置１００の第２の実施形態の構成例を示すブロック図である。
【図５】本発明による画像処理装置１００の第２の実施形態の他の構成例を示すブロック図である。
【図６】第２の実施形態の画像処理装置１００による画像生成処理の動作を示すフローチャートである。
【図７】本発明による画像撮影装置２００の第３の実施形態の構成例を示すブロック図である。
【図８】ベイヤ配列型カラーフィルタが組み込まれたフォトセンサアレイの一例を示す平面図である。
【図９】デモザイキング処理の一例を示す平面図である。
【図１０】第３の実施形態の画像撮影装置２００による画像生成処理の動作を示すフローチャートである。
【図１１】本発明による画像撮影装置３００の第４の実施形態の構成例を示すブロック図である。
【図１２】第４の実施形態の画像撮影装置３００による画像生成処理の動作を示すフローチャートである。
【図１３】本発明による画像処理装置の概要を示すブロック図である。
【図１４】一般的なイメージセンサが有する分光感度特性の一例を示す説明図である。
【図１５】カラーフィルタの分光透過率の一例を示す説明図である。
【図１６】IRカットフィルタの分光透過率の一例を示す説明図である。
【発明を実施するための形態】
【００３４】
（第１実施形態）
［構成の説明］
以下、本発明の実施形態を、図面を参照して説明する。図１は、本発明による画像処理装置１００の第１の実施形態の構成例を示すブロック図である。
【００３５】
本実施形態の画像処理装置１００は、構成が簡易であり、かつ暗所撮像等で使用される近赤外光が利用される高感度撮影モードのカラーカメラで撮影された画像信号から可視光の画像信号と近赤外光の画像信号を同時に生成できる画像処理装置である。
【００３６】
なお、本実施形態でも、可視光だけでなく近赤外光も透過させる分光透過特性を有する光学フィルタが用いられる。また、各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率は、ユーザが指定する所定の閾値未満の値になる。
【００３７】
また、本実施形態の画像処理装置１００は、上述したIRカットフィルタが使用されず、カラーイメージセンサが有する分光感度特性が十分に活用された上で撮像された画像データを用いる。よって、取得された画像データの色信号には、可視光の信号および近赤外光の信号が含まれている。
【００３８】
図１に示すように、本実施形態の画像処理装置１００は、画像データ取得部１０１と、入射光スペクトル推定部１０２と、可視光画像生成部１０３と、近赤外光画像生成部１０４とを備える。
【００３９】
また、図１に示すように、画像処理装置１００は、外部手段１１０と通信可能に接続されている。外部手段１１０は、例えばイメージセンサ等の撮像装置である。また、外部手段１１０には、光学フィルタが組み込まれている。
【００４０】
画像データ取得部１０１は、可視光(VIS)から近赤外光(NIR)までを検出する分光感度を有する外部手段１１０で撮像された画像データ（図１に示すIRGB_NIR）を取得する機能を有する。取得される画像データは、静止画像データでもよいし、動画像データでもよい。
【００４１】
本実施形態の画像データ取得部１０１が取得する画像データは、Mチャネルの色信号で構成されている。なお、Mは、１以上の整数である。また、各色信号には、可視光の信号と近赤外光の信号の両方が含まれている。また、各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率は、ユーザが指定する所定の閾値未満の値になる。
【００４２】
画像データ取得部１０１は、全ての画素に対して画像データを取得する。全ての画素には、画像データに含まれる色情報が設定されている。色情報として、例えば、R（赤）、G（緑）、B（青）、またはC（シアン）、M（マジェンタ）、Y（イエロ）が設定されている。なお、設定される色情報には、可視光の情報および近赤外光の情報が含まれている。
【００４３】
本実施形態では、画像データに含まれる色情報としてR,G,Bが設定されているとして説明する。本実施形態の画像処理装置１００は、全ての画素にR,G,Bの色情報が設定された画像データから、VIS画像データおよびNIR画像データをそれぞれ推定し、各画像データを生成する。
【００４４】
設定情報に従って、画像データ取得部１０１は、例えばデモザイキング（demosaicing）処理を実行することによって、図１に示すように画像データIRGB_NIRを画像データIR_NIR、画像データIG_NIR、画像データIB_NIRに分離する。画像データ取得部１０１は、分離された画像データIR_NIR、画像データIG_NIR、画像データIB_NIRを、入射光スペクトル推定部１０２に入力する。
【００４５】
なお、画像データIRGB_NIRは、可視光と近赤外光が混在しているRGBチャネルの画像データである。画像データIR_NIRは、可視光と近赤外光が混在しているRチャネルの画像データである。画像データIG_NIRは、可視光と近赤外光が混在しているGチャネルの画像データである。画像データIB_NIRは、可視光と近赤外光が混在しているBチャネルの画像データである。
【００４６】
なお、画像データ取得部１０１自体が、カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによってRGBチャネルの画像データを取得してもよい。
【００４７】
入射光スペクトル推定部１０２は、取得された画像データを構成する各画素に入射した光の分光分布特性（スペクトル）を推定する機能を有する。
【００４８】
入射光スペクトル推定部１０２は、外部手段１１０の分光感度特性を用いて、画像データから入射光の分光分布特性を推定する。入射光スペクトル推定部１０２により推定された入射光のスペクトルは、可視光の波長領域から近赤外光の波長領域までに対応する。
【００４９】
可視光画像生成部１０３は、推定された画像データを構成する各画素に入射した光のスペクトルと外部手段１１０の分光感度特性とを用いて、可視光の信号のみが含まれる可視光画像（図１に示すIR、IG、IB）を生成する機能を有する。
【００５０】
近赤外光画像生成部１０４は、推定された画像データを構成する各画素に入射した光のスペクトルと外部手段１１０の分光感度特性とを用いて、近赤外光の信号のみが含まれる近赤外光画像（図１に示すINIR）を生成する機能を有する。
【００５１】
以下、本実施形態の入射光スペクトル推定部１０２による分光分布特性の推定処理を説明する。カラーイメージセンサのRチャネルの分光感度特性をCR(λ)、Gチャネルの分光感度特性をCG(λ)、Bチャネルの分光感度特性をCB(λ)、およびカラーイメージセンサが出力する画像データを構成する画素への入射光の分光分布特性をE(λ)とそれぞれする。
【００５２】
カラーイメージセンサは、各チャネルに関していずれも近赤外光の波長領域に感度を有する。かつ、各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率は、ユーザが指定する所定の閾値未満の値になる。光が入射した画素における３つの色信号R,G,Bは、それぞれ以下のように表される。
【００５３】
【数１】
2018116972.tif 000003
【００５４】
式（１）におけるλは、光の波長を表す。λの値は、カラーイメージセンサが感度を有する波長領域における任意の値である。
【００５５】
また、式（１）におけるカラーイメージセンサの分光感度特性CR(λ)、CG(λ)、CB(λ)は、イメージセンサの分光感度特性とRGBの光学フィルタの各分光透過特性との積であり、既知の関数である。式（１）では、カラーイメージセンサが感度を有する波長領域に渡って積分が行われる。
【００５６】
式（１）を用いて画像データにおける色信号R,G,Bを基に入射光の分光分布特性E(λ)を求めるために、本実施形態では、本来波長に関して無限次元の連続データである入射光の分光分布特性を比較的少ないパラメータで表現するモデルが導入される。
【００５７】
入射光の分光分布特性は、比較的少ないパラメータが使用された上で、分光分布特性の基底ベクトルri(λ)(i=1~M)の加重和でモデル化されてもよいし、基底ベクトルri(λ)(i=1~M+1)の加重和でモデル化されてもよい。さらに、平均ベクトルr0(λ)が、モデルに追加されてもよい。
【００５８】
最初に、入射光の分光分布特性が平均ベクトルr0(λ)と基底ベクトルri(λ)(i=1~M)とでモデル化される場合を説明する。分光分布特性は、式（２）に示すように、平均ベクトルと基底ベクトルの加重和との和でモデル化される。
【００５９】
【数２】
2018116972.tif 000004
【００６０】
なお、式（２）における基底ベクトルri(λ)(i=1-3)は、入射光の分光分布特性E(λ)を少ないパラメータで十分に表現可能な関数である。基底ベクトルri(λ)は、光源の分光分布特性と物体の表面反射率との積で形成される分光空間を主成分分析することによって得られる。また、式（２）における係数aiは、入射光の分光分布特性E(λ)を表現するために使用されるパラメータである。
【００６１】
図２は、入射光の平均ベクトルおよび基底ベクトルの一例を示す説明図である。図２は、平均ベクトルr0(λ)と、基底ベクトルr1(λ)〜基底ベクトルr3(λ)とを示す。
【００６２】
式（２）が式（１）に代入されることによって、未知のパラメータaiに関する観測方程式が以下のように生成される。
【００６３】
【数３】
2018116972.tif 000005
【００６４】
なお、式（３）の右辺には本来積分係数が必要であるが、本実施形態では説明の簡略化のために積分係数を省略する。
【００６５】
式（３）の積分計算は、以下に示すような総和計算に近似されてもよい。
【００６６】
【数４】
2018116972.tif 000006
【００６７】
なお、式（４）において総和は、カラーイメージセンサが持つ分光感度特性に従って、400nmから1000nmの波長領域に渡って求められる。
【００６８】
画像データにおけるRGB値が得られれば、式（３）の観測方程式は、未知のパラメータaiに関する連立M元一次方程式になる。すなわち、未知のパラメータaiが求解可能になる。
【００６９】
式（４）から得られたパラメータaiを式（２）に代入することによって、入射光スペクトル推定部１０２は、画像データにおける該当する画素への入射光の分光分布特性E(λ)を復元できる。
【００７０】
入射光スペクトル推定部１０２は、画像データを構成する全ての画素に対して式（４）等の観測方程式を解くことによって、全ての画素に関して入射光の分光分布特性E(λ)を求めることができる。
【００７１】
以上、入射光の分光分布特性が平均ベクトルr0(λ)と基底ベクトルri(λ)(i=1~M)とでモデル化される場合を説明した。なお、基底ベクトルを一つ増やして、入射光の分光分布特性が平均ベクトルr0(λ)と基底ベクトルri(λ)(i=1~M+1)とでモデル化されてもよい。基底ベクトルri(λ)(i=1~M+1)が使用される場合、分光分布特性は、式（５）に示すように表される。
【００７２】
【数５】
2018116972.tif 000007
【００７３】
同様に、式（５）から観測方程式が以下のように生成される。
【００７４】
【数６】
2018116972.tif 000008
【００７５】
式（６）において、基底ベクトルri(λ)(i=1~M+1)の係数である未知のパラメータaiは、(M+1)個存在する。すなわち、未知のパラメータが観測方程式の数であるM個よりも多いアンダーデターミナントな状態であり、解析的に未知のパラメータaiが求められない。上記の問題を解決するために、第一基底ベクトルr1(λ)の係数a1は、別の方法で予め求められる。
【００７６】
係数a1を求める方法の一例を説明する。図２に示すように、入射光の第一基底ベクトルr1(λ)は、一般的に直流成分である。すなわち、第一基底ベクトルr1(λ)の係数は、入射光の強度を表すための係数に相当する。よって、Mチャネルの画像データの総和と、第一基底ベクトルr1(λ)の係数との相関は高いことが推測される。
【００７７】
上記の性質に着目すると、例えば、単回帰分析により、Mチャネルの画像データの総和と基底ベクトルr1(λ)の係数a1とに関する回帰式が得られる。得られた回帰式にMチャネルの画像データの総和が代入されることによって、基底ベクトルr1(λ)の係数a1が得られる。
【００７８】
上記の方法で算出されたa1が式（６）に代入されると、アンダーデターミナントの問題は解消される。すなわち、式（６）に示す観測方程式が連立M元一次方程式になり、残りの未知のパラメータaiが得られる。
【００７９】
上記のように得られたパラメータaiを式（５）に代入することによって、入射光スペクトル推定部１０２は、画像データにおける該当する画素への入射光の分光分布特性E(λ)を復元できる。
【００８０】
以下、本実施形態の可視光画像生成部１０３による可視光画像の生成処理を説明する。可視光画像生成部１０３は、カラーイメージセンサの分光感度特性CR(λ)、CG(λ)、CB(λ)のうち、可視光領域のみにおける分光感度特性CR,VIS(λ)、CG,VIS(λ)、CB,VIS(λ)を利用する。なお、可視光領域は、概ね400nm〜700nmの波長領域である。
【００８１】
可視光画像生成部１０３は、入射光スペクトル推定部１０２によって得られた入射光の分光分布特性E(λ)と、分光感度特性CR,VIS(λ)、CG,VIS(λ)、CB,VIS(λ)を用いて、可視光の信号のみが含まれる色信号RVIS、GVIS、BVISをそれぞれ以下のように生成する。
【００８２】
【数７】
2018116972.tif 000009
【００８３】
画像データを構成する全ての画素に対して可視光の信号のみが含まれる色信号RVIS、GVIS、BVISをそれぞれ計算することによって、可視光画像生成部１０３は、可視光の信号のみが含まれる画像データIR、IG、IBを生成できる。
【００８４】
以下、本実施形態の近赤外光画像生成部１０４による近赤外光画像の生成処理を説明する。近赤外光画像生成部１０４は、カラーイメージセンサの分光感度特性CR(λ)、CG(λ)、CB(λ)のうち、近赤外光領域のみにおける分光感度特性CR,NIR(λ)、CG,NIR(λ)、CB,NIR(λ)を利用する。なお、近赤外光領域は、概ね700nm〜1000nmの波長領域である。
【００８５】
近赤外光画像生成部１０４は、入射光スペクトル推定部１０２によって得られた入射光の分光分布特性E(λ)と、分光感度特性CR,NIR(λ)、CG,NIR(λ)、CB,NIR(λ)を用いて、近赤外光の信号のみが含まれる信号RNIR、GNIR、BNIRをそれぞれ以下のように生成する。
【００８６】
【数８】
2018116972.tif 000010
【００８７】
近赤外光画像生成部１０４は、画像データを構成する全ての画素に対して近赤外光の信号のみが含まれる信号RNIR、GNIR、BNIRをそれぞれ計算する。次いで、近赤外光画像生成部１０４は、各画素に関して得られた信号RNIR、GNIR、BNIRを加算し、加算結果を記録することによって、近赤外光の信号のみが含まれる画像データINIRを生成できる。
【００８８】
なお、各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率がユーザから指定されるため、例えば信号の比率であるRNIR/GNIR、RNIR/BNIRは所定値未満の値になる。すなわち、画像データINIRを構成する信号の比率が調整される。
【００８９】
［動作の説明］
以下、本実施形態の画像処理装置１００の可視光画像および近赤外光画像を生成する動作を図３を参照して説明する。図３は、第１の実施形態の画像処理装置１００による画像生成処理の動作を示すフローチャートである。
【００９０】
図３に示すように、最初に、画像データ取得部１０１は、外部手段１１０で撮像された画像データIRGB_NIRを取得する（ステップS101）。画像データ取得部１０１は、取得された画像データを加工し、加工された画像データIR_NIR、IG_NIR、IB_NIRを入射光スペクトル推定部１０２に入力する。
【００９１】
次いで、入射光スペクトル推定部１０２は、外部手段１１０のカラーイメージセンサの分光感度特性CR(λ)、CG(λ)、CB(λ)を用いて、取得された画像データにおける画素への入射光の分光分布特性E(λ)を推定する（ステップS102）。
【００９２】
入射光スペクトル推定部１０２は、画像データを構成する全ての画素に関して分光分布特性E(λ)を推定する。入射光スペクトル推定部１０２は、推定された分光分布特性E(λ)を可視光画像生成部１０３と近赤外光画像生成部１０４に入力する。
【００９３】
次いで、可視光画像生成部１０３は、入力された分光分布特性E(λ)と可視光領域のみにおける分光感度特性CR,VIS(λ)、CG,VIS(λ)、CB,VIS(λ)を用いて可視光の信号のみが含まれる色信号RVIS、GVIS、BVISを計算する。次いで、可視光画像生成部１０３は、計算された色信号を基に可視光画像IR、IG、IBを生成する（ステップS103）。
【００９４】
次いで、近赤外光画像生成部１０４は、入力された分光分布特性E(λ)と近赤外光領域のみにおける分光感度特性CR,NIR(λ)、CG,NIR(λ)、CB,NIR(λ)を用いて近赤外光の信号のみが含まれる信号RNIR、GNIR、BNIRを計算する。
【００９５】
次いで、近赤外光画像生成部１０４は、計算された信号を基に近赤外光画像INIRを生成する（ステップS104）。近赤外光画像INIRを生成した後、画像処理装置１００は、画像生成処理を終了する。
【００９６】
［効果の説明］ 
本実施形態の画像処理装置１００は、可視光から近赤外光まで感度を有するカラーイメージセンサの分光感度特性と、カラーイメージセンサで撮影された近赤外光の信号が含まれるRGBの画像データとを用いて、可視光の信号のみが含まれる画像データと近赤外光の信号のみが含まれる画像データを取得できる。
【００９７】
具体的には、本実施形態の画像データ取得部１０１は、可視光から近赤外光に渡って感度を有し可視光が撮像されたカラー画像を出力するカラーイメージセンサから、可視光だけでなく近赤外光も撮像されたMチャネルのカラー画像を取得する。
【００９８】
上記のカラーイメージセンサは、各チャネルに関して近赤外光の波長領域に感度を有する。各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率は、ユーザが指定する所定の閾値未満の値になる。
【００９９】
次いで、入射光スペクトル推定部１０２は、取得されたMチャネルのカラー画像から得られる色信号、カラーイメージセンサの分光感度特性、および入射光の分光分布特性を表現する平均ベクトルとM個の基底ベクトルを用いて、入射光の分光分布特性を復元する。なお、入射光スペクトル推定部１０２は、(M+1)個の基底ベクトルを用いて入射光の分光分布特性を復元してもよい。
【０１００】
次いで、可視光画像生成部１０３は、復元された入射光の分光分布特性とカラーイメージセンサの分光感度特性とを用いて、可視光の信号のみで構成される可視光画像を生成する。また、近赤外光画像生成部１０４は、復元された入射光の分光分布特性とカラーイメージセンサの分光感度特性とを用いて、近赤外光の信号のみで構成される近赤外光画像を生成する。
【０１０１】
特許文献１〜特許文献３に記載されている方法は、上述したように特殊な機械的構成や特殊なイメージセンサを用いて可視光画像および近赤外光画像を取得している。
【０１０２】
本実施形態の画像処理装置１００は、特殊な機械的構成や特殊なイメージセンサを利用せず、一般的な撮影装置の構成のみを利用した上で可視光画像および近赤外光画像を簡易に取得できる。その理由は、入射光スペクトル推定部１０２がカラーイメージセンサの分光感度特性とカラーイメージセンサにより撮影された画像データとを用いて、入射光の分光分布特性E(λ)を推定するためである。
【０１０３】
（第２実施形態）
［構成の説明］ 
次に、本発明の第２の実施形態を、図面を参照して説明する。図４は、本発明による画像処理装置１００の第２の実施形態の構成例を示すブロック図である。
【０１０４】
図４に示すように、本実施形態の画像処理装置１００は、画像データ取得部１０１と、入射光スペクトル推定部１０２と、可視光画像生成部１０３と、信号分離部１０５とを備える。画像データ取得部１０１および信号分離部１０５以外の第２の実施形態の構成は、第１の実施形態の構成と同様である。
【０１０５】
画像データ取得部１０１は、可視光(VIS)から近赤外光(NIR)までを検出する分光感度を有する外部手段１１０で撮像された画像データ（図４に示すIRGB_NIR）を取得する機能を有する。
【０１０６】
本実施形態の画像データ取得部１０１が取得する画像データは、複数の色信号で構成されている。画像データを構成する各色信号には、可視光の信号および近赤外光の信号の両方が含まれている。
【０１０７】
また、画像データ取得部１０１が取得する画像データに含まれている各カラーチャネルの近赤外光の信号の比率は、ユーザが指定する所定の閾値未満の値になる。
【０１０８】
画像データ取得部１０１は、画像データIRGB_NIRを、画像データIR_NIR、画像データIG_NIR、画像データIB_NIRにそれぞれ分離する。画像データ取得部１０１は、分離された画像データIR_NIR、画像データIG_NIR、画像データIB_NIRを、入射光スペクトル推定部１０２に入力する。
【０１０９】
入射光スペクトル推定部１０２は、外部手段１１０の分光感度特性を用いて、画像データを構成する各画素に入射した光の分光分布特性（スペクトル）を、画像データを基に推定する機能を有する。入射光スペクトル推定部１０２により推定された入射光のスペクトルは、可視光の波長領域から近赤外光の波長領域まで含む。
【０１１０】
可視光画像生成部１０３は、画像データを構成する各画素に入射した光の推定されたスペクトルと外部手段１１０の分光感度特性とを用いて、可視光の信号のみが含まれる可視光画像（図４に示すIR、IG、IB）を生成する機能を有する。
【０１１１】
信号分離部１０５は、入力される第１画像データと第２画像データの２種類の画像データを用いて第１画像データから第２画像データが減算された画像データを出力する機能を有する。
【０１１２】
図４に示す例では、信号分離部１０５に入力される第１画像データは、画像データ取得部１０１から出力されたIR_NIR、IG_NIR、IB_NIRである。また、信号分離部１０５に入力される第２画像データは、可視光画像生成部１０３から出力されたIR、IG、IBである。
【０１１３】
よって、信号分離部１０５は、IR_NIRからIR、IG_NIRからIG、IB_NIRからIBをそれぞれ減算することによって、近赤外光の信号のみが含まれる近赤外光画像INIRを生成する。
【０１１４】
図５は、本発明による画像処理装置１００の第２の実施形態の他の構成例を示すブロック図である。図５は、図４に示す画像処理装置１００の可視光画像生成部１０３が近赤外光画像生成部１０４に置き換えられた場合の画像処理装置１００を示す。
【０１１５】
近赤外光画像生成部１０４は、推定された画像データを構成する各画素に入射した光のスペクトルと外部手段１１０の分光感度特性とを用いて、近赤外光の信号のみが含まれる近赤外光画像（図５に示すINIR）を生成する機能を有する。
【０１１６】
図５に示す例では、信号分離部１０５に入力される第１画像データは、画像データ取得部１０１から出力されたIR_NIR、IG_NIR、IB_NIRである。また、信号分離部１０５に入力される第２画像データは、近赤外光画像生成部１０４から出力されたINIRである。
【０１１７】
よって、信号分離部１０５は、IR_NIRからINIR、IG_NIRからINIR、IB_NIRからINIRをそれぞれ減算することによって、可視光の信号のみが含まれる可視光画像IR、IG、IBをそれぞれ生成する。
【０１１８】
［動作の説明］
以下、本実施形態の画像処理装置１００の可視光画像および近赤外光画像を生成する動作を図６を参照して説明する。図６は、第２の実施形態の画像処理装置１００による画像生成処理の動作を示すフローチャートである。なお、図６に示す画像生成処理は、図４に示す画像処理装置１００によって実行される。
【０１１９】
図６に示すステップS201〜ステップS203の処理は、第１の実施形態において説明した図３に示すステップS101〜ステップS103の処理と同様である。
【０１２０】
図４に示すように、信号分離部１０５には、画像データ取得部１０１から画像データIR_NIR、IG_NIR、IB_NIRが入力される。また、信号分離部１０５には、可視光画像生成部１０３から可視光画像IR、IG、IBが入力される。
【０１２１】
図６に示すように、信号分離部１０５は、IR_NIRからIRを、IG_NIRからIGを、IB_NIRからIBをそれぞれ減算し、減算の結果生成された画像データを加算することによって近赤外光画像INIRを生成する（ステップS204）。
【０１２２】
近赤外光画像INIRを生成した後、画像処理装置１００は、画像生成処理を終了する。なお、図５に示す画像処理装置１００も、可視光画像の生成と近赤外光画像の生成の順番が入れ替えられる点を除いて、図６に示す画像生成処理と同じ動作をすることによって、可視光画像を生成する。
【０１２３】
［効果の説明］ 
本実施形態の画像処理装置１００は、第１の実施形態の画像処理装置１００に比べて、可視光画像および近赤外光画像の生成コストを低減できる。その理由は、一方の画像は画像データから他方の画像を信号分離部１０５が減算することによって生成されるためである。
【０１２４】
（第３実施形態）
［構成の説明］
次に、本発明の第３の実施形態を、図面を参照して説明する。図７は、本発明による画像撮影装置２００の第３の実施形態の構成例を示すブロック図である。
【０１２５】
図７に示すように、本実施形態の画像撮影装置２００は、光学フィルタ２０２と、フォトセンサ２０３と、画像処理部２０４と、分光感度特性保存メモリ２０５とで構成される。
【０１２６】
なお、本実施形態の画像撮影装置２００は、通常の画像撮影装置に実装されている赤外光カットフィルタ（IRカットフィルタ）２０１が取り外された状態の画像撮影装置、または最初から赤外光カットフィルタ２０１が実装されていない画像撮影装置である。
【０１２７】
図７に示す破線の矩形は、通常の画像撮影装置に実装されていた赤外光カットフィルタ２０１に相当する。なお、本実施形態では破線の矩形が示す箇所に構成要素は何ら存在しない。
【０１２８】
図７に示すカメラレンズには、通常のカメラレンズが用いられればよい。また、光学フィルタ２０２およびフォトセンサ２０３には、カラー画像入力装置または画像撮影装置で一般的に使用されている光学フィルタおよびフォトセンサがそれぞれ使用されればよい。
【０１２９】
すなわち、光学フィルタ２０２の分光透過特性は、例えば図１６に示す分光透過特性と同様である。また、フォトセンサ２０３の分光透過特性は、例えば図１５に示す分光透過特性と同様である。
【０１３０】
また、フォトセンサ２０３の各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率は、ユーザが指定する所定の閾値未満の値である。
【０１３１】
図８は、ベイヤ配列型カラーフィルタが組み込まれたフォトセンサアレイの一例を示す平面図である。図８は、光学フィルタ２０２およびフォトセンサ２０３における色の配列を示す。
【０１３２】
図８に示す光学フィルタ２０２におけるR,G,Bの３色の配列は、ベイヤ配列型と呼ばれる配列である。光学フィルタ２０２において配列されているR,G,Bに対応するように、フォトセンサ２０３が出力する画像データ内の各画素にR,G,Bのうちのいずれか１色がそれぞれ割り当てられている。
【０１３３】
図７に示す分光感度特性保存メモリ２０５は、光学フィルタ２０２およびフォトセンサ２０３のイメージセンサとしての分光感度特性を記録する機能を有する。
【０１３４】
図７に示す画像処理部２０４は、第１の実施形態の画像処理装置１００、または第２の実施形態の画像処理装置１００と同様の機能を有する。すなわち、画像処理部２０４は、R,G,Bの３つの色信号で構成された画像データを基に、Rの色信号のみが含まれる画像データIR、Gの色信号のみが含まれる画像データIG、Bの色信号のみが含まれる画像データIB、およびNIR信号のみが含まれる画像データINIRをそれぞれ生成する。
【０１３５】
画像処理部２０４は、フォトセンサ２０３から出力されたNIR信号が含まれるR,G,Bの３つの色信号で構成された画像データIRGB_NIRに対して、デモザイキング処理および第１の実施形態の画像生成処理を適用する。各処理を適用することによって、画像処理部２０４は、R,G,B,NIRの４チャネル分の画像データを生成する。
【０１３６】
以下、図９を参照して、フォトセンサ２０３から出力されたNIR信号が含まれるR,G,Bの３つの色信号で構成された画像データIRGB_NIRに適用されるデモザイキング処理の一例を説明する。
【０１３７】
図９は、デモザイキング処理の一例を示す平面図である。なお、デモザイキング処理は、第１の実施形態および第２の実施形態の画像データ取得部１０１が画像データIRGB_NIRを画像データIR_NIR、画像データIG_NIR、画像データIB_NIRに分離する処理の一部に相当する。
【０１３８】
最初に、画像処理部２０４は、図９に示す画像データにおける座標(1,1)の画素のデータ（R,G,Bの色信号）を取得する。画像処理部２０４が取得した時点におけるR,G,Bの色信号にはNIR信号も含まれているが、説明の簡略化のため、単にR,G,Bの色信号と記載する。
【０１３９】
図９に示すように、座標(1,1)の画素にはRが割り当てられている。よって、画像処理部２０４は、以下のように座標(1,1)の画素のデータをそのままRの信号値とする。
【０１４０】
R(1,1)=R(1,1)  ・・・式（９）
【０１４１】
座標(1,1)の画素に割り当てられていないGの信号値およびBの信号値に関して、画像処理部２０４は、例えば以下のように周辺画素の色信号を用いて補間する。
【０１４２】
G(1,1)=(G(2,1)+G(1,2))/2  ・・・式（１０）
B(1,1)=B(2,2)            ・・・式（１１）
【０１４３】
次いで、画像処理部２０４は、画像データにおける座標(1,2)の画素のデータ（R,G,Bの色信号）を取得する。図９に示すように、座標(1,2)の画素にはGが割り当てられている。よって、画像処理部２０４は、以下のように座標(1,2)の画素のデータをそのままGの信号値とする。
【０１４４】
G(1,2)=G(1,2)   ・・・式（１２）
【０１４５】
座標(1,1)の画素の場合と同様に、座標(1,2)の画素に割り当てられていないRの信号値およびBの信号値に関して、画像処理部２０４は、例えば以下のように周辺画素の色信号を用いて補間する。
【０１４６】
R(1,2)=R(1,1)   ・・・式（１３）
B(1,2)=B(2,2)   ・・・式（１４）
【０１４７】
一般に、座標(i, j)の画素に割り当てられている色信号X（＝R or B or G）の信号値X(i, j)は、座標(i, j)におけるXの画素のデータそのものである。一方、座標(i,j)の画素に割り当てられていない色信号Y（＝R or B or G）の信号値は、座標(i, j)の周辺の任意の１つ以上の画素（Yを含むもの）のデータを重み付けして足し合わせたものである。上記の処理を繰り返し実行することによって、画像処理部２０４は、全ての画素に関してR,G,Bの色信号が全て含まれる画像データを取得する。すなわち、画像データに含まれる各チャネルの近赤外光の信号値は、チャネルごとに同等の値になる場合がある。
【０１４８】
なお、本実施形態におけるデモザイキング処理は、上記の処理に限られず、一般的なデモザイキング方式が用いられてもよい。以上の処理により、画像処理部２０４は、全ての画素にR,G,Bの色信号が設定された画像データを得る。
【０１４９】
［動作の説明］ 
以下、本実施形態の画像撮影装置２００の可視光画像および近赤外光画像を生成する動作を図１０を参照して説明する。図１０は、第３の実施形態の画像撮影装置２００による画像生成処理の動作を示すフローチャートである。
【０１５０】
図１０に示すように、カメラレンズを通じて、画像撮影装置２００に光が入射する（ステップS301）。入射光は、近赤外光がカットされないまま、ベイヤ配列型でR,G,Bが配列された光学フィルタ２０２が組み込まれているフォトセンサ２０３に入射する。
【０１５１】
次いで、入射光が光学フィルタ２０２における各フィルタを透過した後、フォトセンサ２０３は、近赤外光の信号が含まれているR,G,Bの３つの色信号を生成する（ステップS302）。
【０１５２】
次いで、画像処理部２０４は、デモザイキング処理を実行することによって、全ての画素に関してR,G,Bの色信号が全て含まれる画像データを取得する（ステップS303）。
【０１５３】
次いで、画像処理部２０４は、全ての画素にR,G,Bの色信号が設定されている画像データを基に、近赤外光の信号のみで構成される画像データを抽出または生成する。すなわち、画像処理部２０４は、近赤外光の信号が含まれるRGBの画像データを基に、可視光の信号のみで構成される画像データと、近赤外光の信号のみで構成される画像データとを生成する（ステップS304）。
【０１５４】
ステップS304で画像処理部２０４が実行する処理は、図３に示す画像生成処理、または図６に示す画像生成処理である。各画像データを生成した後、画像撮影装置２００は、画像生成処理を終了する。
【０１５５】
［効果の説明］ 
本実施形態の画像撮影装置２００は、一般的な画像撮影装置に含まれているIRカットフィルタが光学系から除去された画像撮影装置である。IRカットフィルタは簡単に除去されるため、本実施形態の画像撮影装置２００は、一般的な画像撮影装置を基に容易に製造される。
【０１５６】
すなわち、画像撮影装置２００は、低コストで多く生産可能な装置である。また構成が簡素であるため、画像撮影装置２００は、コンパクトな撮影装置であり、かつ頻繁に故障しないことが期待される。本実施形態の画像撮影装置２００は、構成が一般的な画像撮影装置の構成と同様でありながら、可視光画像と近赤外光画像とを同時に取得できる。
【０１５７】
（第４実施形態）
［構成の説明］
次に、本発明の第４の実施形態を、図面を参照して説明する。第３の実施形態では、ベイヤ配列型の光学フィルタで入射光を分光する画像撮影装置に本発明が適用された例を説明した。本実施形態では、３板式映像撮影装置に本発明が適用された例を説明する。
【０１５８】
図１１は、本発明による画像撮影装置３００の第４の実施形態の構成例を示すブロック図である。図１１に示すように、画像撮影装置３００は、プリズム（色分解部）３０１と、フォトセンサ３１１〜フォトセンサ３１３と、画像処理部３２０と、分光感度特性保存メモリ３３０とで構成される。
【０１５９】
図１１に示すカメラレンズには、通常のカメラレンズが用いられればよい。また、プリズム３０１およびフォトセンサ３１１〜フォトセンサ３１３には、３板式映像撮影装置で一般的に使用されているプリズムおよびフォトセンサがそれぞれ使用されればよい。
【０１６０】
カメラレンズを通じて画像撮影装置３００に入射した光は、プリズム３０１によりR,G,Bの３色の光に分光される。図１１に示す白抜きの矢印は、光を表す。
【０１６１】
フォトセンサ３１１は、Rの色光を撮像し、画像データIR_NIRを出力する。また、フォトセンサ３１２は、Gの色光を撮像し、画像データIG_NIRを出力する。また、フォトセンサ３１３は、Bの色光を撮像し、画像データIB_NIRを出力する。
【０１６２】
なお、プリズム３０１による分光で生成される色光には、近赤外光が含まれている。本実施形態の画像撮影装置３００には近赤外光をカットする近赤外光カットフィルタが実装されていないため、フォトセンサ３１１〜フォトセンサ３１３から出力される各画像データには、近赤外光の信号が含まれている。
【０１６３】
また、各画像データに含まれている近赤外光の信号の比率は、ユーザが指定する所定の閾値未満の値になる。
【０１６４】
画像処理部３２０には、フォトセンサ３１１〜フォトセンサ３１３から出力されるNIR信号が含まれるR,G,Bの各画像データIR_NIR、IG_NIR、IB_NIRがそれぞれ入力される。画像処理部３２０は、第３の実施形態の画像処理部２０４と同様に、NIR信号が含まれるR,G,Bの各画像データを基に、Rの色信号のみが含まれる画像データIR、Gの色信号のみが含まれる画像データIG、Bの色信号のみが含まれる画像データIB、およびNIR信号のみが含まれる画像データINIRをそれぞれ生成する。
【０１６５】
［動作の説明］
以下、本実施形態の画像撮影装置３００の可視光画像および近赤外光画像を生成する動作を図１２を参照して説明する。図１２は、第４の実施形態の画像撮影装置３００による画像生成処理の動作を示すフローチャートである。
【０１６６】
図１２に示すように、カメラレンズを通じて、画像撮影装置３００に光が入射する（ステップS401）。入射光は、近赤外光がカットされないまま、プリズム３０１に入射する。
【０１６７】
次いで、入射光は、プリズム３０１により近赤外光が含まれるR,G,Bの３つの可視光に分光される（ステップS402）。
【０１６８】
次いで、フォトセンサ３１１は、Rの色光を撮像し、画像データIR_NIRを出力する。また、フォトセンサ３１２は、Gの色光を撮像し、画像データIG_NIRを出力する。また、フォトセンサ３１３は、Bの色光を撮像し、画像データIB_NIRを出力する（ステップS403）。
【０１６９】
次いで、画像処理部３２０は、近赤外光の信号が含まれるR,G,Bの各画像データを基に、可視光の信号のみで構成される画像データと、近赤外光の信号のみで構成される画像データとを生成する（ステップS404）。
【０１７０】
ステップS404で画像処理部３２０が実行する処理は、図３に示す画像生成処理、または図６に示す画像生成処理である。各画像データを生成した後、画像撮影装置３００は、画像生成処理を終了する。
【０１７１】
［効果の説明］
本実施形態の画像撮影装置３００は、一般的な３板式撮影装置を構成するプリズムおよびフォトセンサを備える。また、３板式撮影装置に一般的に実装されているIRカットフィルタは除去されている。
【０１７２】
すなわち、一般的な３板式撮影装置の構成が少し変更されるだけで、画像撮影装置３００は製造される。よって、画像撮影装置３００の製造コストが低いことや、画像撮影装置３００で頻繁に故障が発生しないことが期待される。画像撮影装置３００は、可視光の信号のみで構成される可視光画像および近赤外光の信号のみで構成される近赤外光画像を同時に取得できる。
【０１７３】
各実施形態の画像処理装置１００は、近赤外光を撮像するための特別な装置や機械的な駆動機構を用いることなく、一般的なカラーイメージセンサが使用されて撮像された画像データから可視光の信号のみで構成される可視光画像と、近赤外光の信号のみで構成される近赤外光画像とを復元できる。
【０１７４】
すなわち、特別なセンサや機械的な駆動機構が含まれないため、各実施形態の技術が適用された可視光および近赤外光を観測する観測装置は、簡易な装置構成で可視光画像と近赤外光画像とを生成できる。各実施形態の技術が使用されると、回路および装置の構成の簡易化が実現される。
【０１７５】
なお、各実施形態ではカラーチャネルをRチャネル、Gチャネル、Bチャネルとして説明した。しかし、カラーチャネルは、C（シアン）チャネル、M（マジェンタ）チャネル、Y（イエロ）チャネル等の他のチャネルでもよい。
【０１７６】
なお、各実施形態の画像処理装置１００は、例えば、記憶媒体に格納されているプログラムに従って処理を実行するCPU(Central Processing Unit)によって実現される。すなわち画像データ取得部１０１、入射光スペクトル推定部１０２、可視光画像生成部１０３、近赤外光画像生成部１０４、および信号分離部１０５は、例えば、プログラム制御に従って処理を実行するCPUによって実現される。また、一部の機能のみがCPUによって実現されてもよい。
【０１７７】
また、各実施形態の画像処理装置１００における各部は、ハードウェア回路によって実現されてもよい。一例として、画像データ取得部１０１、入射光スペクトル推定部１０２、可視光画像生成部１０３、近赤外光画像生成部１０４、および信号分離部１０５が、それぞれLSI(Large Scale Integration)で実現される。また、それらが１つのLSIで実現されていてもよい。
【０１７８】
次に、本発明の実施形態の概要を説明する。図１３は、本発明の実施形態に係る画像処理装置の概要を示すブロック図である。図１３において、本発明の実施形態に係る画像処理装置１０は、カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性とカラーイメージセンサから出力された可視光および近赤外光が撮像されており１つ以上のカラーチャネルを含む画像データとを用いて入射光の分光分布特性を表現するモデルを基にカラーイメージセンサへの入射光の分光分布特性を推定する推定部１１（例えば、図１等に示す入射光スペクトル推定部１０２）と、推定された分光分布特性と分光感度特性とを用いて可視光を表す情報のみで構成される可視光画像データと近赤外光を表す情報のみで構成される近赤外光画像データを生成する生成部１２（例えば、図１等に示す可視光画像生成部１０３および近赤外光画像生成部１０４）とを備え、カラーイメージセンサの１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における分光感度特性の各積分値が所定の条件を満たす。
【０１７９】
そのような構成により、画像処理装置は、可視光から近赤外光までの波長領域で撮影された画像信号から可視光の画像信号と近赤外光の画像信号をそれぞれ容易に生成できる。
【０１８０】
また、生成部１２は、推定された分光分布特性と可視光の波長領域における分光感度特性との積を用いて、可視光を表す情報のみで構成される可視光画像データを生成し、分光分布特性と近赤外光の波長領域における分光感度特性との積を用いて、近赤外光を表す情報のみで構成される近赤外光画像データを生成してもよい。
【０１８１】
そのような構成により、画像処理装置は、生成される画像信号に対応する可視光の波長領域および近赤外光の波長領域を調整できる。
【０１８２】
また、生成部１２は、推定された分光分布特性と可視光の波長領域における分光感度特性との積を用いて、可視光を表す情報のみで構成される可視光画像データを生成し、可視光および近赤外光が撮像された画像データから生成された可視光画像データを減じることによって、近赤外光を表す情報のみで構成される近赤外光画像データを生成してもよい。
【０１８３】
また、生成部１２は、推定された分光分布特性と近赤外光の波長領域における分光感度特性との積を用いて、近赤外光を表す情報のみで構成される近赤外光画像データを生成し、可視光および近赤外光が撮像された画像データから生成された近赤外光画像データを減じることによって、可視光を表す情報のみで構成される可視光画像データを生成してもよい。
【０１８４】
そのような構成により、画像処理装置は、画像信号の生成に係るコストを削減できる。
【０１８５】
また、入射光の分光分布特性は、比較的少ないパラメータが使用された上で、分光分布特性の基底ベクトルri(λ)(i=1~M)の加重和でモデル化されてもよいし、基底ベクトルri(λ)(i=1~M+1)の加重和でモデル化されてもよい。または、入射光の分光分布特性は、基底ベクトルri(λ)(i=1~M)の加重和と分光分布特性の平均ベクトルr0(λ)とでモデル化されてもよいし、基底ベクトルri(λ)(i=1~M+1)の加重和と平均ベクトルr0(λ)とでモデル化されてもよい。
【０１８６】
例えば、入射光の分光分布特性を表現するモデルは、入射光の分光分布特性の平均ベクトルと画像データに含まれる１つ以上のカラーチャネルの数の基底ベクトルの加重和との和と、カラーチャネルの数に１が加算された数の基底ベクトルの加重和とのいずれかで表されてもよい。
【０１８７】
そのような構成により、画像処理装置は、観測方程式を解くことによって可視光の画像信号と近赤外光の画像信号をそれぞれ容易に生成できる。
【０１８８】
また、画像データに含まれる１つ以上のカラーチャネルは、赤チャネルと、緑チャネルと、青チャネルでもよい。
【０１８９】
そのような構成により、画像処理装置は、RGBチャネルの画像データに対応できる。
【０１９０】
また、カラーイメージセンサは、３板式映像撮影装置に備えられているイメージセンサでもよい。
【０１９１】
そのような構成により、画像処理装置は、３板式映像撮影装置で撮像された画像データに対応できる。
【０１９２】
また、画像処理装置１０は、カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって１つ以上のカラーチャネルを含む画像データを取得する取得部を備えてもよい。
【０１９３】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１９４】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【０１９５】
この出願は、２０１６年１２月２２日に出願された日本出願特願２０１６−２４９０５６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１９６】
１０、１００  画像処理装置
１１  推定部
１２  生成部
１０１  画像データ取得部
１０２  入射光スペクトル推定部
１０３  可視光画像生成部
１０４  近赤外光画像生成部
１０５  信号分離部
１１０  外部手段
２００、３００  画像撮影装置
２０１  赤外光カットフィルタ
２０２  光学フィルタ
２０３  フォトセンサ
２０４、３２０  画像処理部
２０５、３３０  分光感度特性保存メモリ
３０１  プリズム
３１１〜３１３  フォトセンサ
【図１】
2018116972.tif 000011
【図２】
2018116972.tif 000012
【図３】
2018116972.tif 000013
【図４】
2018116972.tif 000014
【図５】
2018116972.tif 000015
【図６】
2018116972.tif 000016
【図７】
2018116972.tif 000017
【図８】
2018116972.tif 000018
【図９】
2018116972.tif 000019
【図１０】
2018116972.tif 000020
【図１１】
2018116972.tif 000021
【図１２】
2018116972.tif 000022
【図１３】
2018116972.tif 000023
【図１４】
2018116972.tif 000024
【図１５】
2018116972.tif 000025
【図１６】
2018116972.tif 000026
【国際調査報告】
2018116972.tif 000027
2018116972.tif 000028