(57)【要約】可視画像及び近赤外画像の色再現性を向上させる。画像処理装置１００は、可視光及び近赤外光を含む入射光に応じて撮像部により撮像されたカラー画像であって、第１の領域と、当該第１の領域よりも入射光から近赤外光が低減されて撮像された第２の領域とを含むカラー画像を取得する取得部１１０と、前記取得されたカラー画像の色情報と、前記撮像部の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定する推定部１２０と、前記推定された分光特性と前記撮像部の分光感度特性とに基づいて可視画像及び近赤外画像を生成する生成部１３０と、前記カラー画像のうちの前記第２の領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正する補正部１４０とを含む。
2018179378.tif 000002
【特許請求の範囲】
【請求項１】
可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像であって、第１の領域と、当該第１の領域よりも入射光から近赤外光が低減されて撮像された第２の領域とを含むカラー画像を取得する取得手段と、
前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定する推定手段と、
前記推定された分光特性と前記撮像手段の分光感度特性とに基づいて可視画像及び近赤外画像を生成する生成手段と、
前記カラー画像のうちの前記第２の領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正する補正手段と
を備える画像処理装置。
【請求項２】
前記カラー画像は、Ｍチャネル（Ｍは２以上の整数）のカラー画像であり、
前記情報は、前記入射光の分光特性を、入射光の平均ベクトルとＭ＋１個以下の基底ベクトルとによってモデル化した情報である
請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、
前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて前記可視画像を生成し、
前記カラー画像と当該生成された可視画像とに基づいて前記近赤外画像を生成する
請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記生成手段は、
前記カラー画像と前記生成された可視画像の差に基づいて前記近赤外画像を生成する
請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、
前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて前記近赤外画像を生成し、
前記カラー画像と当該生成された近赤外画像とに基づいて前記可視画像を生成する
請求項１又は請求項２に記載の画像処理装置。
【請求項６】
前記生成手段は、
前記カラー画像と前記生成された近赤外画像の差に基づいて前記可視画像を生成する
請求項５に記載の画像処理装置。
【請求項７】
前記Ｍは、３であり、
前記カラー画像は、赤、緑及び青の３色の色成分により構成される
請求項２に記載の画像処理装置。
【請求項８】
入射光のうちの近赤外光を、特定の領域において他の領域よりも低減させるフィルタと、
前記フィルタを透過した入射光に応じてＭチャネル（Ｍは２以上の整数）のカラー画像を生成する撮像手段とを備える撮像装置と、
前記撮像手段により撮像されたカラー画像を取得する取得手段と、
前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて前記入射光の分光特性を推定する推定手段と、
前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて可視画像と近赤外画像とを生成する生成手段と
前記カラー画像のうち、前記特定の領域を透過して前記撮像手段により撮像された領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正する補正手段とを備える画像処理装置と
を備える画像処理システム。
【請求項９】
可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像であって、第１の領域と、当該第１の領域よりも入射光から近赤外光が低減されて撮像された第２の領域とを含むカラー画像を取得し、
前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定し、
前記推定された分光特性と前記撮像手段の分光感度特性とに基づいて可視画像及び近赤外画像を生成し、
前記カラー画像のうちの前記第２の領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正する
画像処理方法。
【請求項１０】
コンピュータに、
可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像であって、第１の領域と、当該第１の領域よりも入射光から近赤外光が低減されて撮像された第２の領域とを含むカラー画像を取得するステップと、
前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定するステップと、
前記推定された分光特性と前記撮像手段の分光感度特性とに基づいて可視画像及び近赤外画像を生成するステップと、
前記カラー画像のうちの前記第２の領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正するステップと
を実行させるためのプログラムを記録したコンピュータ読取可能なプログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理に関する。
【背景技術】
【０００２】
カラー画像を撮像するためのイメージセンサには、例えばシリコン系センサのように、可視光（visible light）のほかに近赤外光（near-infrared light）にも感度を有するものがある。近赤外光に感度を有するイメージセンサは、人間の色知覚と異なる特性を有するため、色再現性が低下する場合がある。よって、このようなイメージセンサには、入射光から近赤外光をカットするためのフィルタが設けられる場合がある。【０００３】
一方、感度の向上等を目的として、可視光だけでなく赤外光も受光するように構成されたイメージセンサもある。例えば、特許文献１は、可視光成分及び赤外光成分を透過するカラーフィルタを有する撮像装置を開示している。特許文献１に開示された撮像装置は、例えば赤色（Ｒ）に相当する画素の撮像素子には、赤色の可視光領域の光だけでなく赤外光領域の光も入射するように構成されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２２７７５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された撮像装置は、黄色の補色フィルタが使用されているため、色再現性に問題がある。また、特許文献１に記載された撮像装置は、４種類の異なる透過率を有するカラーフィルタを用いる特殊なセンサを有するため、高コストになるという別の付随的な問題もある。【０００６】
本開示の例示的な目的は、１回の撮像で色再現性が高い可視画像を得つつ近赤外画像をも得るための技術を提供することである。
【課題を解決するための手段】
【０００７】
一の態様において、可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像であって、第１の領域と、当該第１の領域よりも入射光から近赤外光が低減されて撮像された第２の領域とを含むカラー画像を取得する取得手段と、前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定する推定手段と、前記推定された分光特性と前記撮像手段の分光感度特性とに基づいて可視画像及び近赤外画像を生成する生成手段と、前記カラー画像のうちの前記第２の領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正する補正手段とを含む画像処理装置が提供される。【０００８】
別の態様において、入射光のうちの近赤外光を、特定の領域において他の領域よりも低減させるフィルタと、前記フィルタを透過した入射光に応じてＭチャネル（Ｍは２以上の整数）のカラー画像を生成する撮像手段とを含む撮像装置と、前記撮像手段により撮像されたカラー画像を取得する取得手段と、前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて前記入射光の分光特性を推定する推定手段と、前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて可視画像と近赤外画像とを生成する生成手段と前記カラー画像のうち、前記特定の領域を透過して前記撮像手段により撮像された領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正する補正手段とを含む画像処理装置とを含む画像処理システムが提供される。【０００９】
さらに別の態様において、可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像であって、第１の領域と、当該第１の領域よりも入射光から近赤外光が低減されて撮像された第２の領域とを含むカラー画像を取得し、前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定し、前記推定された分光特性と前記撮像手段の分光感度特性とに基づいて可視画像及び近赤外画像を生成し、前記カラー画像のうちの前記第２の領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正する画像処理方法が提供される。【００１０】
さらに別の態様において、コンピュータに、可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像であって、第１の領域と、当該第１の領域よりも入射光から近赤外光が低減されて撮像された第２の領域とを含むカラー画像を取得するステップと、前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定するステップと、前記推定された分光特性と前記撮像手段の分光感度特性とに基づいて可視画像及び近赤外画像を生成するステップと、前記カラー画像のうちの前記第２の領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正するステップとを実行させるためのプログラムを記録したコンピュータ読取可能なプログラム記録媒体が提供される。
【発明の効果】
【００１１】
本開示によれば、１回の撮像で色再現性が高い可視画像を得つつ近赤外画像をも得ることが可能である。
【図面の簡単な説明】
【００１２】
【図１】図１は、画像処理装置の構成の一例を示すブロック図である。
【図２】図２は、フィルタの構成の一例を示す図である。
【図３Ａ】図３Ａは、平均ベクトルと基底ベクトルの一例を示す図である。
【図３Ｂ】図３Ｂは、平均ベクトルと基底ベクトルの別の例を示す図である。
【図４】図４は、第一基底ベクトルの係数と入射光の強度との関係の一例を示す図である。
【図５】図５は、画像処理装置が実行する画像処理の一例を示すフローチャートである。
【図６】図６は、画像処理システムの構成の一例を示すブロック図である。
【図７】図７は、撮像装置のイメージセンサの分光感度特性の一例を示す図である。
【図８】図８は、光学フィルタの分光透過特性の一例を示す図である。
【図９】図９は、ＩＲカットフィルタの分光透過特性の一例を示す図である。
【図１０】図１０は、撮像装置の構成の一例を示すブロック図である。
【図１１】図１１は、光学フィルタの構成の一例を示す図である。
【図１２】図１２は、画像処理装置の構成の別の例を示すブロック図である。
【図１３】図１３は、画像処理装置の構成のさらに別の例を示すブロック図である。
【図１４】図１４は、画像処理装置の構成のさらに別の例を示すブロック図である。
【図１５】図１５は、コンピュータ装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１３】
［第１実施形態］
図１は、一実施形態に係る画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、取得部１１０と、推定部１２０と、生成部１３０と、補正部１４０を少なくとも含んで構成される。画像処理装置１００は、他の構成を含んでもよい。
【００１４】
取得部１１０は、カラー画像を取得する。取得部１１０は、可視光及び近赤外光のいずれにも感度を有するイメージセンサを含む撮像部により撮像された、可視光及び近赤外光を含む入射光に応じたカラー画像を取得する。取得部１１０は、撮像部からカラー画像を直接取得してもよいし、撮像部により撮像された後に記憶媒体に記憶されたカラー画像をその記憶媒体から取得してもよい。
【００１５】
ここでいう可視光は、概ね４００〜７００ｎｍの波長域の光（すなわち電磁波）である。一方、近赤外光は、一般には概ね７００〜２０００ｎｍの波長域の光を指す。ただし、可視光及び近赤外光の上限及び下限は、ここに例示された波長に必ずしも限定されず、例えば、撮像部の性能や構成に応じてある程度異なってもよい。
【００１６】
撮像部は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサなどのシリコン系のセンサと、センサへの入射光をフィルタする光学フィルタ（カラーフィルタ）とを含んで構成される。例えば、撮像部は、画素に相当する撮像素子のそれぞれにＲ、Ｇ、Ｂのいずれかに相当する光学フィルタを設けたイメージセンサにより構成される。このような複数色の光学フィルタを有する構成のイメージセンサのことを、以下においては「カラーイメージセンサ」ともいう。
【００１７】
カラー画像は、複数チャネルの画像の組み合わせにより表される。換言すれば、カラー画像は、複数の色成分の組み合わせにより表される。カラー画像のチャネル数は、２以上であれば特に限定されない。例えば、取得部１１０は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３チャネルのカラー画像を取得するように構成されてもよい。以下においては、カラー画像のチャネル数を「Ｍ」とする。
【００１８】
取得部１１０により取得されるカラー画像は、第１の領域と、当該第１の領域よりも入射光から近赤外光が低減されて撮像された第２の領域とを含む。すなわち、取得部１１０により取得されるカラー画像は、可視光及び近赤外光を含む入射光に基づいて撮像された画素と、入射光から近赤外光が低減されて撮像された画素とを含む。このようなカラー画像は、例えば、撮像部のカラーイメージセンサに所定のフィルタを設けることで取得可能である。
【００１９】
図２は、カラーイメージセンサに設けられるフィルタ１５０の構成を光が入射する側から示す図である。フィルタ１５０は、近赤外光透過部１５１と、ハッチングで示された近赤外光カット部１５２とを含む。近赤外光透過部１５１は、可視光及び近赤外光を透過する。一方、近赤外光カット部１５２は、可視光を透過するが、近赤外光の透過率が近赤外光透過部１５１よりも低くなるように構成されている。近赤外光カット部１５２は、フィルタ１５０に所定の間隔で点在する。近赤外光カット部１５２の配置は、特定の配置に限定されない。
【００２０】
カラー画像のうちの第１の領域は、近赤外光透過部１５１を透過した入射光により撮像される領域である。これに対し、カラー画像のうちの第２の領域は、近赤外光カット部１５２を透過した入射光により撮像される領域である。
【００２１】
近赤外光透過部１５１及び近赤外光カット部１５２における可視光及び近赤外光の波長毎の透過率（分光透過率）は、特定の値に限定されない。ただし、近赤外光カット部１５２は、近赤外光透過部１５１に比べて、近赤外光を十分に（すなわち色情報に近赤外光の影響が実質的に生じない程度に）低減させるように構成される。以下においては、説明の便宜上、近赤外光カット部１５２は近赤外光を完全に遮断するものとする。すなわち、近赤外光カット部１５２を透過した入射光は、近赤外成分を含まないものとする。
【００２２】
推定部１２０は、取得部１１０により取得されたカラー画像の各画素に対応する入射光の分光特性を推定する。推定部１２０は、取得部１１０により取得されたＭチャネルのカラー画像の色情報と、撮像部の分光感度特性と、入射光の分光特性をモデル化した情報とに基づき、取得部１１０により取得されたカラー画像の基となった入射光の分光特性を推定する。
【００２３】
ここで、カラー画像がＲ、Ｇ、Ｂの３色の色成分により表されるとする。また、カラーイメージセンサの色成分毎の分光感度特性をＣR（λ）、ＣG（λ）、ＣB（λ）とし、カラーイメージセンサのある画素への入射光の分光特性をＥ（λ）とする。ここで、各画素における色信号をＲ、Ｇ、Ｂとすると、これらの色信号は、式（１）のように表される。ここにおいて、λは、光の波長を表し、カラーイメージセンサが感度を有する波長域の任意の値をとり得る。
2018179378.tif 000003
【００２４】
カラーイメージセンサの分光感度特性は、イメージセンサの分光感度特性と光学フィルタの分光透過特性の積で表すことができ、既知である。入射光の分光特性Ｅ（λ）は、本来、波長に関して離散的でない連続データである。本実施形態においては、画像データの色信号Ｒ、Ｇ、Ｂから入射光の分光特性Ｅ（λ）を式（１）に基づいて求めるために、入射光の分光特性Ｅ（λ）を比較的少数のパラメータで表現するモデル化が導入される。
【００２５】
具体的には、入射光の分光特性Ｅ（λ）は、周知の有限次元線形モデルを用いることにより、平均ベクトル（「平均関数」ともいう。）といくつかの基底ベクトル（「基底関数」ともいう。）の加重和（重み付き和）によってモデル化することができる。平均ベクトル及び基底ベクトルは、例えば、多くの異なる入射光の分光特性に基づいて、主成分分析することによって得ることができる。このようなモデル化により、本来連続データである入射光の分光特性Ｅ（λ）を比較的少ないパラメータで再現することができる。ここにおいて、加算される基底ベクトルの数（すなわち次元数）は、特に限定されないが、一般には２〜４程度あれば元の情報を大きく損なうことなく分光特性Ｅ（λ）を再現することができる。換言すれば、高次の基底ベクトルは、分光特性Ｅ（λ）に対する寄与が小さいということである。
【００２６】
一例として、ここでは、基底ベクトルの数ｉは、光学フィルタの色数、すなわちカラー画像のチャネル数（Ｍ）と等しいものとする。すなわち、カラー画像がＲ、Ｇ、Ｂの３色の色成分により表される場合の基底ベクトルの数（すなわちｉの最大値）は、「３」である。Ｍ＝３の場合、入射光の分光特性Ｅ（λ）は、平均ベクトルをｒ0（λ）、基底ベクトルをｒi（λ）（ｉ＝１，２，３）とすると、式（２）のようにモデル化される。
2018179378.tif 000004
【００２７】
基底ベクトルｒi（λ）は、入射光の分光特性を表現する関数である。基底ベクトルｒi（λ）は、光源の分光特性と物体の表面反射率の積で形成される分光空間を主成分分析することによって得られる。このような基底ベクトルｒi（λ）によれば、入射光の分光特性を少ないパラメータで表現することが可能である。
【００２８】
式（１）に式（２）を代入すると、式（３）に示される未知のパラメータａiに関する観測方程式を得ることができる。ここで、式（３）の右辺の積分定数は、説明を簡単にするために省略されている。
2018179378.tif 000005
【００２９】
式（３）の積分は、式（４）に示される総和に近似することができる。ここにおいて、λ１は、可視光の波長域の下限を表す。また、λ２は、近赤外光の波長域の上限を表す。λ１、λ２は、カラーイメージセンサの分光感度特性に依存する。また、λのピッチ（刻み幅）は、使用するカラーイメージセンサにも依存するが、例えば１ｎｍ又は１０ｎｍである。なお、基底ベクトルｒi（λ）は、カラーイメージセンサの分光感度特性の波長領域λ１からλ２までの区間で定義されるものとする。
2018179378.tif 000006
【００３０】
画像データから色情報、すなわち各色成分の色信号（Ｒ、Ｇ、Ｂ）が得られれば、式（４）の観測方程式は、未知のパラメータａiに関する連立三元一次方程式になる。そうすると、各画素の入射光の分光特性Ｅ（λ）は、式（４）により求められたパラメータａi（ｉ＝１，２，３）を式（２）に代入することで推定することができる。したがって、推定部１２０は、画像データの全ての画素について式（４）の観測方程式を解くことにより、入射光の分光特性を全ての画素について求めることが可能である。
【００３１】
次に、基底ベクトルの数がカラー画像のチャネル数（Ｍ）よりも１つ多く、「Ｍ＋１」である場合を考える。基底ベクトルの数が「Ｍ＋１」であると、「Ｍ」である場合よりも入射光の分光特性の再現性が高まるといえる。この場合においても、推定部１２０は、入射光の分光特性を以下のように推定することが可能である。カラー画像がＲ、Ｇ、Ｂの３色の色成分により表される場合の基底ベクトルの数（すなわちｉの最大値）は、「４」である。この場合、入射光の分光特性Ｅ（λ）は、式（５）のようにモデル化される。式（５）は、式（２）で表された分光特性Ｅ（λ）に対してａ4ｒ4（λ）が加算されたものである。
2018179378.tif 000007
【００３２】
式（５）から求められる観測方程式は、式（３）と同様に、式（６）のように表される。
2018179378.tif 000008
【００３３】
式（６）において、基底ベクトルri(λ)（ｉ＝１〜４）の係数である未知のパラメータaiは、４個であり、観測方程式の数である３個よりも多い状態（アンダーデターミナントな状態）となる。そのため、このままでは未知のパラメータaiを解析的に解くことはできない。そこで、基底ベクトルr1(λ)の係数a1については、別の方法であらかじめ求めることとする。以下、その方法の一例について説明する。
【００３４】
図３Ａ及び図３Ｂは、平均ベクトルｒ0（λ）と基底ベクトルｒi（λ）の一例を示す図である。平均ベクトルｒ0（λ）及び基底ベクトルｒi（λ）は、いずれもλの関数で表される。基底ベクトルｒi（λ）は、上述のように、光源の分光分布特性と物体の表面反射率の積で形成される分光空間を主成分分析することによって求めることが可能である。
【００３５】
図３Ａ及び図３Ｂに示されるように、入射光の第一基底ベクトルr1(λ)は、図示された波長帯全域で正であり、かつ少ない変動で比較的滑らかな線を示す。このような特徴から、第一基底ベクトルr1(λ)の係数は、入射光の強度を表すための係数に相当するといえる。
【００３６】
図４は、実際の入射光の分光特性を用いて得られた第一基底ベクトルr1(λ)の係数a1と入射光の強度Ｉとの関係を示す図である。ここにおいて、入射光の強度Ｉは、入射光の輝度によって表されてもよく、３チャネルの画像データの総和によって表されてもよい。図４の例において、係数a1と強度Ｉとの相関係数（ピアソンの積率相関係数）は、「０．９８」である。したがって、係数a1と強度Ｉとの間には、非常に強い正の相関関係があるといえる。
【００３７】
この性質に着目すると、例えば、単回帰分析により、３チャネルの画像データの総和と、基底ベクトルr1(λ)の係数a1に関する回帰式を得ることができる。この回帰式に３チャネルの画像データの総和を代入することで、基底ベクトルr1(λ)の係数a1を得ることができる。
【００３８】
そして、この方法で算出したa1を式（６）に代入することで、アンダーデターミナントの問題は解消されて連立三元一次方程式となり、残りの未知パラメータai（i=2〜4）を得ることができる。推定部１２０は、このようにして得られたパラメータaiを式（５）に代入することによって、画像データにおける該当する画素への入射光の分光特性Ｅ(λ)を復元することができる。
【００３９】
生成部１３０は、可視画像と近赤外画像とを生成する。生成部１３０は、推定部１２０により推定された入射光の分光特性と、撮像部の分光感度特性とに基づいて、可視画像と近赤外画像とを生成する。具体的には、生成部１３０は、以下のように可視画像と近赤外画像とを生成する。
【００４０】
例えば、カラーイメージセンサの分光感度特性ＣR（λ）、ＣG（λ）、ＣB（λ）のうち、可視領域の分光感度特性をＣR_VIS（λ）、ＣG_VIS（λ）、ＣB_VIS（λ）とする。すると、可視光成分による色信号ＲVIS、ＧVIS、ＢVISは、基底ベクトルが３個のときは式（７）、基底ベクトルが４個のときは式（８）により算出される。ここにおいて、λ３は、可視光の波長域の上限（近赤外光の波長域の下限）を表す。λ３は、λ１＜λ３＜λ２を満たす。
2018179378.tif 000009
【００４１】
2018179378.tif 000010
【００４２】
生成部１３０は、カラー画像を構成する全ての画素について色信号ＲVIS、ＧVIS、ＢVISを生成することで、それぞれの色成分の可視光成分による画像データＩR、ＩG、ＩBを生成することができる。画像データＩR、ＩG、ＩBは、可視画像を表す画像データである。
【００４３】
また、生成部１３０は、カラーイメージセンサの分光感度特性ＣR（λ）、ＣG（λ）、ＣB（λ）のうちの近赤外領域の分光感度特性をＣR_NIR（λ）、ＣG_ NIR（λ）、ＣB_ NIR（λ）とすると、近赤外光成分による色信号ＲNIR、ＧNIR、ＢNIRを、基底ベクトルが３個のときは式（９）、基底ベクトルが４個のときは式（１０）で算出する。
2018179378.tif 000011
【００４４】
2018179378.tif 000012
【００４５】
なお、近赤外光成分による色信号ＲNIR、ＧNIR、ＢNIRは、入力画像データの色信号Ｒ、Ｇ、Ｂから可視光成分による色信号ＲVIS、ＧVIS、ＢVISを減算することにより算出されてもよい。
【００４６】
生成部１３０は、カラー画像を構成する全ての画素について色信号ＲNIR、ＧNIR、ＢNIRを生成し、これらを画素毎に加算することで、近赤外光成分による画像データＩNIRを生成することができる。画像データＩNIRは、近赤外画像を表す画像データである。
【００４７】
補正部１４０は、生成部１３０により生成された可視画像及び近赤外画像を補正する。補正部１４０は、可視画像及び近赤外画像を、カラー画像のうちの第２の領域の色情報に基づいて補正する。例えば、補正部１４０は、以下のように可視画像及び近赤外画像を補正することができる。
【００４８】
例えば、図２に示されるフィルタ１５０を用いて撮像されたカラー画像には、近赤外光カット部１５２によって入射光に含まれる近赤外光成分が遮られて画素値が生成される画素が存在する。このような画素は、周知のキャリブレーションにより、カラー画像のどの座標にあるかをあらかじめ特定することができる。補正部１４０は、このような近赤外光成分を含まない画素の色情報に基づいて、可視光成分による画像データＩR、ＩG、ＩBと近赤外光成分による画像データＩNIRとを補正する。
【００４９】
いま、撮像されたカラー画像における近赤外光成分を含まない画素の座標Ｋにおける色信号を（Ｒ０K，Ｇ０K，Ｂ０K，ＮＩＲ０K（ＮＩＲ０K=０））とする。また、生成部１３０で得られた画像データＩR、ＩG、ＩB、ＩNIRにおける近赤外光成分を含まない画素に対応する色信号を(Ｒ１K，Ｇ１K，Ｂ１K，ＮＩＲ１K)とする。ここで、可視光成分の画素値（Ｒ０K，Ｇ０K，Ｂ０K）と（Ｒ１K，Ｇ１K，Ｂ１K）とに差がある場合は、（Ｒ１K，Ｇ１K，Ｂ１K）に誤差が含まれていることを意味する。この誤差を最小化することは、画像データＩR、ＩG、ＩBの画素値の精度が向上するように最適化することに相当する。（Ｒ１K，Ｇ１K，Ｂ１K）に対する補正処理の一例としては、式（１１）で示される補正行列を利用することが可能である。
2018179378.tif 000013
【００５０】
補正部１４０は、式（１１）で表される補正処理後の画素値（Ｒ１K’，Ｇ１K’，Ｂ１K’）と、真値である（Ｒ０K，Ｇ０K，Ｂ０K）の誤差が最小となる補正行列Ｍを算出する。補正行列Ｍを決定するには、補正部１４０は、カラー画像において図２のフィルタ１５０の近赤外光カット部１５２を透過した入射光に基づく画素、すなわち近赤外光成分を含まない入射光に基づいて画素値が生成される画素から、少なくとも３個以上選択する。このとき選択される３個以上の画素は、それぞれの色相が異なるように選択されるものとする。補正部１４０は、選択された画素に対応する（Ｒ０K，Ｇ０K，Ｂ０K）と（Ｒ１K，Ｇ１K，Ｂ１K）のセットを得る。いま、３個の画素が選択された場合、補正行列Ｍを算出するための観測方程式は、式（１２）のように表される。
2018179378.tif 000014
【００５１】
式（１２）において、ｍ11〜ｍ33は、補正行列Ｍの要素を表す。補正部１４０は、式（１２）の右辺の９行９列の行列の逆行列を算出し、逆行列を両辺に乗じることにより、補正行列Ｍを算出することができる。なお、式（１２）の右辺の９行９列の行列は、上述のように３個以上の画素が互いの色相が異なるように選択されていれば、逆行列を算出することが可能である。
【００５２】
なお、この補正において、補正部１４０は、４個以上（すなわち４色以上）の画素を選択してもよい。補正行列Ｍは、選択される色数に応じて異なる。例えば、色数をｐとした場合の観測方程式は、式（１３）により表される。式（１３）においては、未知数の数よりも方程式の数が多くなる。そのため、補正部１４０は、最小二乗法などを用いることによって補正行列Ｍを算出する。
2018179378.tif 000015
【００５３】
補正部１４０は、式（１２）又は式（１３）の観測方程式から算出された補正行列Ｍを式（１１）に代入することで、カラー画像における近赤外光成分を含まない画素の座標Ｋにおける（Ｒ１K，Ｇ１K，Ｂ１K）に対する補正後の画素値(Ｒ１K’，Ｇ１K’，Ｂ１K’)を得る。そして、補正部１４０は、ＮＩＲ１Kの補正後の画素値ＮＩＲ１K’をゼロにする。これにより、補正部１４０の補正、すなわち画素値の最適化が終了する。
【００５４】
カラー画像中の近赤外光成分を含まない画素が座標Ｘにある場合、その画素値（Ｒ１Ｘ，Ｇ１X，Ｂ１X）については、式（１１）に従って補正処理を適用することで、（Ｒ１X’，Ｇ１X’，Ｂ１X’）が得られる。補正部１４０は、ＮＩＲ１X’については、補正前後で画素値の総和が等しくなるように、式（１４）を用いて算出する。なお、ＮＩＲ１X’が負になる場合には、補正部１４０は、ＮＩＲ１X’を「０」に設定すればよい。
2018179378.tif 000016
【００５５】
図５は、画像処理装置１００が実行する画像処理を示すフローチャートである。ステップＳ１において、取得部１１０は、上述の第１の領域と第２の領域とを含むＭチャネルのカラー画像を取得する。ステップＳ２において、推定部１２０は、ステップＳ１において取得されたＭチャネルのカラー画像の色情報と、撮像部の分光感度特性と、入射光の分光特性をモデル化した情報とに基づき、入射光の分光特性を推定する。ステップＳ３において、生成部１３０は、ステップＳ２において推定された入射光の分光特性と、撮像部の分光感度特性とに基づき、可視画像と近赤外画像とを生成する。ステップＳ４において、補正部１４０は、ステップＳ３において生成された可視画像及び近赤外画像を、カラー画像のうちの第２の領域の色情報に基づいて補正する。
【００５６】
以上のとおり、本実施形態の画像処理装置１００は、カラー画像の色情報、撮像部の分光感度特性及び入射光の分光特性をモデル化した情報に基づいて入射光の分光特性を推定する構成を有する。この構成は、可視光成分と近赤外構成分とを別個のイメージセンサで読み取るような構成や、光学フィルタを機械的に移動させる構成を有することなく可視画像と近赤外画像とを１回の撮像で生成することが可能である。したがって、本実施形態の画像処理装置１００は、このような特別な構成を要することなく、可視画像と近赤外画像とを簡易な構成で生成することを可能にする。
【００５７】
また、本実施形態の画像処理装置１００は、第１の領域と、当該第１の領域よりも入射光から近赤外光が低減されて撮像された第２の領域とを含むカラー画像に基づいて、可視画像と近赤外画像とを補正する構成を有する。この構成は、可視光成分及び近赤外光成分を含む画素と、近赤外光成分が低減された画素とを１回の撮像で撮像可能にするとともに、いわゆる最適化問題を解くことによる可視画像及び近赤外画像の補正を可能にする。したがって、本実施形態の画像処理装置１００は、このような構成を有しない場合に比べ、可視画像の色再現性を向上させることが可能である。
【００５８】
［第２実施形態］
図６は、別の実施形態に係る画像処理システム２００の構成を示すブロック図である。画像処理システム２００は、撮像装置２１０と、画像処理装置２２０とを含んで構成される。画像処理システム２００は、撮像装置２１０及び画像処理装置２２０以外の構成を含んでもよい。例えば、画像処理システム２００は、撮像装置２１０により供給されるデータを記憶し、又は画像処理装置２２０に転送する別の装置を含んでもよい。
【００５９】
撮像装置２１０は、被写体を撮像し、画像データを生成する。本実施形態において、撮像装置２１０は、図２に例示されたフィルタ１５０のような近赤外光カット部を含むフィルタと、Ｒ、Ｇ、Ｂの３色の光学フィルタとを含むカラーイメージセンサを有する。撮像装置２１０は、入射光に応じたカラー画像を表す画像データを生成して出力する。この画像データは、画素値が可視光成分及び近赤外光成分を含む画素によって構成されている。撮像装置２１０は、例えば、デジタルスチルカメラであってもよい。以下においては、撮像装置２１０により生成された画像データが表す画像のことを「撮像画像」ともいう。
【００６０】
撮像装置２１０のカラーイメージセンサは、可視光から近赤外光の波長領域に受光感度を有するように構成されている。また、このカラーイメージセンサは、近赤外光カット部を含むフィルタに入射光を透過させることにより、第１の領域と第２の領域とを含む撮像画像を生成することができる。
【００６１】
一般に、カラーイメージセンサは、赤外光の透過を妨げるフィルタ（ＩＲカットフィルタ）をカラーフィルタとは別に有している場合がある。撮像装置２１０は、例えば、このような一般的なカラーイメージセンサのＩＲカットフィルタを、図２に例示されたフィルタ１５０のような近赤外光カット部を含むフィルタに置き換えることで作成されてもよい。
【００６２】
なお、本実施形態において、可視光とは、波長が４００〜７００ｎｍの光（電磁波）をいう。また、近赤外光とは、波長が７００〜１０００ｎｍの光（電磁波）をいう。すなわち、本実施形態においては、λ１＝４００ｎｍ、λ２＝１０００ｎｍ、λ３＝７００ｎｍである。
【００６３】
図７は、撮像装置２１０のイメージセンサの分光感度特性の一例を示す図である。図７に示すように、撮像装置２１０のイメージセンサは、可視光に加えて近赤外光に感度を有する。
【００６４】
図８は、Ｒ、Ｇ、Ｂの各色の光学フィルタの分光透過特性の一例を示す図である。図８に示すように、撮像装置２１０の光学フィルタは、可視光に加えて近赤外光を透過する特性を有している。なお、撮像装置２１０のイメージセンサは、各画素がＲ、Ｇ、Ｂ３色のいずれについても受光できるように構成されているものとする。
【００６５】
図９は、一般的なカラーイメージセンサに用いられるＩＲカットフィルタの分光透過特性の一例を示す図である。一般的なカラーイメージセンサは、このようなＩＲカットフィルタをカラーフィルタとともに設けることで、近赤外光がカットされた撮像、すなわち人間の色知覚に近い撮像を可能にしている。
【００６６】
画像処理装置２２０は、画像データに対して画像処理を実行する。画像処理装置２２０は、撮像装置２１０から供給された画像データに基づいて、可視画像に相当する画像データと近赤外画像に相当する画像データとを生成することができる。画像処理装置２２０は、データ取得部２２１と、スペクトル推定部２２２と、可視画像生成部２２３と、近赤外画像生成部２２４と、最適化部２２７とを含んで構成される。
【００６７】
データ取得部２２１は、データを取得する。データ取得部２２１は、例えば、撮像装置２１０から画像データを受信するための有線又は無線のインタフェースを含む。あるいは、データ取得部２２１は、記憶媒体に記憶された画像データを読み出すリーダを含んでもよい。データ取得部２２１は、第１実施形態の取得部１１０の一例に相当する。
【００６８】
データ取得部２２１は、画像データに加え、撮像装置２１０の分光感度特性を示すデータと、撮像画像における近赤外光成分を含まない画素の座標情報を示すデータ（以下総称して「特性データ」ともいう。）を取得するように構成される。特性データは、画像データにメタデータとして埋め込まれた形や、画像データに関連付けられた形で取得されてもよい。
【００６９】
スペクトル推定部２２２は、撮像装置２１０のカラーイメージセンサの各画素に入射した光の分光特性を推定する。本実施形態において、スペクトル推定部２２２は、入射光のスペクトルを推定する。スペクトル推定部２２２は、データ取得部２２１により取得された画像データと、撮像装置２１０の特性データに含まれる分光感度特性とに基づき、入射光のスペクトルを推定する。スペクトル推定部２２２は、第１実施形態の推定部１２０の一例に相当する。
【００７０】
可視画像生成部２２３は、可視画像を表す第１の画像データを生成する。可視画像生成部２２３は、スペクトル推定部２２２により推定された入射光のスペクトルと、撮像装置２１０の特性データに含まれる分光感度特性とに基づき、第１の画像データを生成する。可視画像生成部２２３（及び近赤外画像生成部２２４）は、第１実施形態の生成部１３０の一例に相当する。
【００７１】
近赤外画像生成部２２４は、近赤外画像を表す第２の画像データを生成する。近赤外画像生成部２２４は、スペクトル推定部２２２により推定された入射光のスペクトルと、撮像装置２１０の特性データに含まれる分光感度特性とに基づき、第２の画像データを生成する。
【００７２】
なお、ここでいう第１の画像データ及び第２の画像データは、便宜的な区別にすぎない。例えば、画像処理装置２００は、第１の画像データ（３チャネル）及び第２の画像データ（１チャネル）に相当する４チャネルの画像データを出力するように構成されてもよい。
【００７３】
最適化部２２７は、可視画像生成部２２３で生成された第１の画像データが表す可視画像と、第２の画像データが表す近赤外画像に対して、より精度の高い画素値となるよう最適化を行う。最適化部２２７は、撮像画像と、撮像装置２１０の特性データに含まれる座標情報と、可視画像と、近赤外画像とを入力として最適化処理を行い、最適化された可視画像及び近赤外画像を生成する。最適化部２２７は、第１実施形態の補正部１４０の一例に相当する。
【００７４】
画像処理システム２００の構成は、以上のとおりである。画像処理装置２２０は、原理的には、第１実施形態の画像処理装置１００と同様に動作する。より詳細には、画像処理装置２２０は、式（１）〜（１４）を用いて説明された原理の下、λ１＝４００ｎｍ、λ２＝１０００ｎｍ、λ３＝７００ｎｍであるとして必要な演算を実行する。
【００７５】
例えば、可視画像生成部２２３は、式（２）のモデル化に基づき、可視光成分による色信号ＲVIS、ＧVIS、ＢVISを次の式（１５）を用いて算出する。なお、分光特性Ｅ（λ）は、式（２）から式（５）に置き換えられてもよい。
2018179378.tif 000017
【００７６】
また、近赤外画像生成部２２４は、近赤外光成分による色信号ＲNIR、ＧNIR、ＢNIRを、式（１６）を用いて算出する。ここにおいても、分光特性Ｅ（λ）は、式（２）から式（５）に置き換えられてもよい。なお、平均ベクトルｒ0（λ）と基底ベクトルｒi（λ）は、第１実施形態と同様でよい。
2018179378.tif 000018
【００７７】
本実施形態の画像処理システム２００は、第１実施形態の画像処理装置１００と同様の構成を含む。そのため、画像処理システム２００は、画像処理装置１００と同様に、可視画像と近赤外画像とを簡易な構成で生成することが可能である。また、画像処理システム２００は、画像処理装置１００と同様に、可視画像及び近赤外画像の色再現性を向上させることが可能である。
【００７８】
［第３実施形態］
図１０は、さらに別の実施形態に係る撮像装置３００の構成を示すブロック図である。撮像装置３００は、光学系部材３１０と、カラーイメージセンサ３２０と、画像処理部３３０と、メモリ３４０とを含んで構成される。カラーイメージセンサ３２０は、より詳細には、光学フィルタ３２１と、フォトセンサ３２２と、フィルタ３２３とを含む。
【００７９】
光学系部材３１０は、光をカラーイメージセンサ３２０に誘導する。光学系部材３１０は、例えば、レンズやミラーを含む。光学系部材３１０は、可視光及び近赤外光をカラーイメージセンサ３２０に入射させる。
【００８０】
カラーイメージセンサ３２０は、入射光に応じた画像データを生成する。光学フィルタ３２１は、Ｒ、Ｇ、Ｂの３色の光学フィルタを含んで構成される。光学フィルタ３２１は、いわゆるベイヤ（Bayer）配列で各色の光学フィルタが配置される。したがって、フォトセンサ３２２は、各画素がＲ、Ｇ、Ｂの３色のいずれかの色成分を選択的に受光する。
【００８１】
図１１は、光学フィルタ３２１の構成の一例を示す図である。この例において、赤色（Ｒ）のカラーフィルタは、奇数行奇数列の画素に対応して設けられる。これに対し、青色（Ｂ）のカラーフィルタは、偶数行偶数列の画素に対応して設けられる。また、緑色（Ｇ）のカラーフィルタは、奇数行偶数列及び偶数行奇数列の画素に対応して設けられる。
【００８２】
光学フィルタ３２１が図１１に示される構成の場合、フォトセンサ３２２は、奇数行奇数列の画素で赤色に相当する光（及び近赤外光）を受光し、偶数行偶数列の画素で青色に相当する光（及び近赤外光）を受光する。また、フォトセンサ３２２は、その他の画素で緑色に相当する光（及び近赤外光）を受光する。
【００８３】
フィルタ３２３は、第１実施形態のフィルタ１５０と同様に、複数の近赤外光カット部を点在させたフィルタである。フィルタ３２３は、光学フィルタ３２１の前段、すなわち光学系部材３１０と光学フィルタ３２１の間に設けられる。
【００８４】
画像処理部３３０は、第２実施形態の画像処理装置２２０と同様の構成を有する。具体的には、画像処理部３３０は、カラーイメージセンサ３２０により生成された画像データを取得する機能と、入射光の分光特性を推定する機能と、可視画像を表す第１の画像データを生成する機能と、近赤外画像を表す第２の画像データを生成する機能と、可視画像及び近赤外画像を最適化（すなわち補正）する機能とを含む。また、画像処理部３３０は、取得された画像データに対してデモザイキング処理を実行する機能をさらに有する。なお、本実施形態における可視光及び近赤外光の波長域は、第２実施形態に準ずる。すなわち、本実施形態においても、λ１＝４００ｎｍ、λ２＝１０００ｎｍ、λ３＝７００ｎｍである。
【００８５】
メモリ３４０は、上述の特性データを記憶する。メモリ３４０は、揮発性又は不揮発性の記憶媒体を含んで構成される。この記憶媒体は、特定の種類の記憶媒体に限定されない。特性データは、撮像装置３００を用いてあらかじめ測定されてもよく、実験的又は経験的に決定されてもよい。
【００８６】
撮像装置３００の構成は、以上のとおりである。撮像装置３００は、このような構成により、可視光と近赤外光とを含む入射光に応じた画像データに基づき、可視画像に相当する第１の画像データと近赤外画像に相当する第２の画像データとを生成する。
【００８７】
光学フィルタ３２１がベイヤ配列であるため、画像処理部３３０に入力される画像データは、各画素が単一の色成分のみによって構成されている。そのため、画像処理部３３０は、デモザイキング処理を実行する。デモザイキング処理は、線形補間法、勾配法、適応型カラープレーン補間法（Advanced Color Plane Interpolation：ＡＣＰＩ）など、複数のアルゴリズムが周知である。画像処理部３３０は、例えば、デモザイキング処理を以下のように実行する。ただし、画像処理部３３０が実行するデモザイキング処理は、特定のアルゴリズムに限定されない。
【００８８】
ここで、図１１を参照し、第ｉ行第ｊ列の画素の座標を（ｉ，ｊ）とする。また、座標（ｉ，ｊ）における各チャネルの色信号をそれぞれＲ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）とする。説明の便宜上、以下においては、Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）をそれぞれ「Ｒ値」、「Ｇ値」、「Ｂ値」ともいう。
【００８９】
例えば、座標（１，１）の画素は、赤色に相当する画素である。したがって、座標（１，１）のＲ値は、式（１７）に示されるように、座標（１，１）の色信号がそのまま用いられる。
2018179378.tif 000019
【００９０】
一方、座標（１，１）のＧ値及びＢ値は、当該座標の色信号から直接には取得できない。そのため、座標（１，１）のＧ値及びＢ値は、例えば式（１８）、（１９）に示されるように、近傍の同色の画素の色信号から補間することによって求められる。
2018179378.tif 000020
【００９１】
2018179378.tif 000021
【００９２】
次に、座標（１，２）の画素は、緑色に相当する画素である。したがって、座標（１，２）のＧ値は、式（２０）に示されるように、座標（１，２）の色信号がそのまま用いられる。
2018179378.tif 000022
【００９３】
また、座標（１，２）のＲ値及びＢ値は、例えば式（２１）、（２２）に示されるように、近傍の同色の画素の色信号から補間することによって求められる。
2018179378.tif 000023
【００９４】
2018179378.tif 000024
【００９５】
画像処理部３３０は、他の画素についても同様に、近傍の同色の画素からの補間によってＲ値、Ｇ値及びＢ値を計算する。画像処理部３３０は、Ｒ値、Ｇ値及びＢ値を全ての画素について計算することにより、各画素について３チャネル分の色情報を得ることができる。画像処理部３３０がデモザイキング処理以降に実行する処理は、第２実施形態の画像処理装置２２０が実行する処理と同様である。
【００９６】
本実施形態の撮像装置３００は、第２実施形態の画像処理装置２２０と同様の構成を含む。そのため、撮像装置３００は、画像処理装置２２０と同様に、可視画像と近赤外画像とを簡易な構成で生成し、可視画像及び近赤外画像の色再現性を向上させることが可能である。加えて、撮像装置３００は、近赤外画像を生成するために特別な構成を要する場合に比べ、簡易又は安価な構成で近赤外画像を生成可能であり、ひいては装置の小型化や（少ない故障による）信頼性の向上に寄与することが期待できる。
【００９７】
［第４実施形態］
図１２は、さらに別の実施形態に係る画像処理装置２２０ａの構成を示すブロック図である。画像処理装置２２０ａは、第２実施形態の画像処理装置２２０と同様のデータ取得部２２１、スペクトル推定部２２２、可視画像生成部２２３及び最適化部２２７を含んで構成される。加えて、画像処理装置２２０ａは、信号分離部２２５を有する。
【００９８】
信号分離部２２５は、近赤外画像を生成する機能を有する。具体的には、信号分離部２２５は、データ取得部２２１により供給される画像データと、可視画像生成部２２３により生成された第１の画像データとに基づいて、第２の画像データを生成する。
【００９９】
より詳細には、信号分離部２２５は、データ取得部２２１により供給される画像データと第１の画像データの差に基づいて第２の画像データを生成する。例えば、データ取得部２２１により供給される（可視成分及び近赤外成分を含む）３チャネルの画像データをＩR_NIR、ＩG_NIR、ＩB_NIR、第１の画像データをＩR、ＩG、ＩBとした場合、信号分離部２２５は、式（２３）により第２の画像データＩNIRを算出する。ここにおいて、ｃR1、ｃG1、ｃB1は、実験的又は経験的に求められる所定の係数である。ｃR1、ｃG1、ｃB1は、例えばいずれも「１．０」であってもよいが、これに限定されない。
2018179378.tif 000025
【０１００】
本実施形態の画像処理装置２２０ａは、第２実施形態の画像処理装置２２０と同様の構成を含む。そのため、画像処理装置２２０ａは、画像処理装置２２０と同様に、可視画像と近赤外画像とを簡易な構成で生成し、可視画像及び近赤外画像の色再現性を向上させることが可能である。また、画像処理装置２２０ａは、信号分離部２２５を有することにより、減算等の簡易な計算によって第２の画像データを生成することが可能である。
【０１０１】
［第５実施形態］
図１３は、さらに別の実施形態に係る画像処理装置２２０ｂの構成を示すブロック図である。画像処理装置２２０ｂは、第２実施形態の画像処理装置２２０と同様のデータ取得部２２１、スペクトル推定部２２２、近赤外画像生成部２２４及び最適化部２２７を含んで構成される。加えて、画像処理装置２２０ｂは、信号分離部２２６を有する。
【０１０２】
信号分離部２２６は、可視画像を生成する機能を有する。具体的には、信号分離部２２６は、データ取得部２２１により供給される画像データと、近赤外画像生成部２２４により生成された第２の画像データとに基づいて、第１の画像データを生成する。
【０１０３】
より詳細には、信号分離部２２６は、データ取得部２２１により供給される画像データと第２の画像データの差に基づいて第１の画像データを生成する。例えば、データ取得部２２１により供給される（可視成分及び近赤外成分を含む）３チャネルの画像データをＩR_NIR、ＩG_NIR、ＩB_NIR、第２の画像データをＩNIRとした場合、信号分離部２２６は、式（２４）により第１の画像データＩR、ＩG、ＩBを算出する。ここにおいて、ｃR2、ｃG2、ｃB2は、実験的又は経験的に求められる所定の係数である。ｃR2、ｃG2、ｃB2は、例えばいずれも「１．０」であってもよいが、これに限定されない。
2018179378.tif 000026
【０１０４】
本実施形態の画像処理装置２２０ｂは、第２実施形態の画像処理装置２２０と同様の構成を含む。そのため、画像処理装置２２０ｂは、画像処理装置２２０と同様に、可視画像と近赤外画像とを簡易な構成で生成し、可視画像及び近赤外画像の色再現性を向上させることが可能である。また、画像処理装置２２０ｂは、信号分離部２２６を有することにより、減算等の簡易な計算によって第１の画像データを生成することが可能である。
【０１０５】
図１４は、さらに別の実施形態に係る撮像装置６００の構成を示すブロック図である。撮像装置６００は、いわゆる多板方式の撮像装置の一例である。すなわち、本開示に係る撮像装置は、単板方式に限定されない。撮像装置６００は、色分解部６１０と、フォトセンサ６２０、６３０、６４０と、画像処理部６５０と、メモリ６６０と、フィルタ６７０とを含んで構成される。
【０１０６】
色分解部６１０は、入射光を特定の波長域毎に分散させる。色分解部６１０は、例えば、プリズムである。色分解部６１０は、可視成分と近赤外成分とを含む入射光をＲ、Ｇ、Ｂのそれぞれの波長域に相当する色光に分解して出射する。色分解部６１０から出射された色光は、フィルタ６７０を透過してフォトセンサ６２０、６３０、６４０に入射する。フィルタ６７０は、近赤外光カット部を点在させたフィルタである。フィルタ６７０の構成は、第1実施形態において例示されたフィルタ１５０と同様でよい。
【０１０７】
フォトセンサ６２０、６３０、６４０は、フィルタ６７０を透過して入射する光に応じた画像データを生成する。フォトセンサ６２０は、赤色に相当する画像データＩR_NIRを生成する。フォトセンサ６３０は、緑色に相当する画像データＩG_NIRを生成する。フォトセンサ６４０は、青色に相当する画像データＩB_NIRを生成する。これらの画像データの少なくともいずれかには、可視成分だけでなく近赤外成分も含まれる。
【０１０８】
画像処理部６５０は、第２実施形態の画像処理装置２２０と同様の構成を有する。すなわち、画像処理部６５０は、フォトセンサ６２０、６３０、６４０により生成された画像データ（ＩR_NIR、ＩG_NIR、ＩB_NIR）を取得する機能と、入射光の分光特性を推定する機能と、可視画像を表す第１の画像データ（ＩR、ＩG、ＩB）を生成する機能と、近赤外画像を表す第２の画像データ（ＩNIR）を生成する機能と、第１の画像データ（ＩR、ＩG、ＩB）と第２の画像データ（ＩNIR）とを補正した画像データ（ＩR’，ＩG’，ＩB’，ＩNIR’）を出力する機能とを含む。
【０１０９】
メモリ６６０は、撮像装置６００の分光感度特性と、撮像画像における近赤外光成分を含まない画素の座標情報とを示す特性データを記憶する。メモリ６６０は、第３実施形態のメモリ３４０と同様の構成でよい。ただし、特性データの具体的な値は、第３実施形態の特性データの値と異なり得る。
【０１１０】
本実施形態によれば、他の実施形態と同様に、可視画像と近赤外画像とを簡易な構成で生成し、可視画像及び近赤外画像の色再現性を向上させることが可能である。撮像装置６００は、ハードウェア的には、一般的な３板方式の撮像装置のＩＲカットフィルタをフィルタ６７０に置き換えることによって実現することが可能である。ただし、画像処理部６５０が実行する画像処理には、一般的な３板方式の撮像装置が実行する画像処理と異なる処理が含まれる。
【０１１１】
［変形例］
本開示は、上述された第１実施形態〜第６実施形態に限定されない。本開示は、当業者が把握し得る変形又は応用を適用した形態を含み得る。例えば、本開示は、以下に記載される変形例の形態及び変形例から想到し得る形態を含む。また、本開示は、本明細書に記載された事項を必要に応じて適宜に組み合わせた形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施形態に対しても適用され得る。
【０１１２】
（変形例１）
カラー画像のチャネル数と各チャネルの色成分（すなわち波長域）は、いずれも特定の値に限定されない。例えば、カラー画像のチャネル数は、４以上であってもよい。また、カラー画像の色成分は、ＲＧＢに代えてＣ（Cyan）Ｍ（Magenta）Ｙ（Yellow）が用いられてもよい。
【０１１３】
（変形例２）
本開示に係る装置（画像処理装置１００、２２０、撮像装置３００、６００など）の具体的なハードウェア構成は、さまざまなバリエーションが含まれ、特定の構成に限定されない。例えば、各装置は、ソフトウェアを用いて実現されてもよく、２以上の装置を組み合わせて用いて各種処理を分担するように構成されてもよい。
【０１１４】
図１５は、本開示に係る装置を実現するためのコンピュータ装置７００のハードウェア構成の一例を示すブロック図である。コンピュータ装置７００は、ＣＰＵ（Central Processing Unit）７０１と、ＲＯＭ（Read Only Memory）７０２と、ＲＡＭ（Random Access Memory）７０３と、記憶装置７０４と、ドライブ装置７０５と、通信インタフェース７０６と、入出力インタフェース７０７とを含んで構成される。本開示に係る装置は、図１５に示される構成（又はその一部）によって実現され得る。
【０１１５】
ＣＰＵ７０１は、ＲＡＭ７０３を用いてプログラム７０８を実行する。プログラム７０８は、ＲＯＭ７０２に記憶されていてもよい。また、プログラム７０８は、メモリカード等の記録媒体７０９に記録され、ドライブ装置７０５によって読み出されてもよいし、外部装置からネットワーク７１０を介して送信されてもよい。通信インタフェース７０６は、ネットワーク７１０を介して外部装置とデータをやり取りする。入出力インタフェース７０７は、周辺機器（入力装置、表示装置など）とデータをやり取りする。通信インタフェース７０６及び入出力インタフェース７０７は、データを取得又は出力するための構成要素として機能することができる。
【０１１６】
なお、本開示に係る装置の構成要素は、単一の回路（プロセッサ等）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路（circuitry）は、専用又は汎用のいずれであってもよい。
【０１１７】
上述された実施形態において単体の装置として説明された構成は、複数の装置に分散して設けられてもよい。例えば、画像処理装置１００、２２０は、クラウドコンピューティング技術などを用いて、複数のコンピュータ装置によって実現されてもよい。
【０１１８】
以上、本発明は、上述された実施形態及び変形例を模範的な例として説明された。しかし、本発明は、これらの実施形態及び変形例に限定されない。本発明は、本発明のスコープ内において、いわゆる当業者が把握し得るさまざまな変形又は応用を適用した実施の形態を含み得る。
【符号の説明】
【０１１９】
１００    画像処理装置
１１０    取得部
１２０    推定部
１３０    生成部
１４０    補正部
２００    画像処理システム
２１０    撮像装置
２２０、２２０ａ、２２０ｂ    画像処理装置
２２１    データ取得部
２２２    スペクトル推定部
２２３    可視画像生成部
２２４    近赤外画像生成部
２２５、２２６    信号分離部
２２７    最適化部
３００、６００    撮像装置
７００    コンピュータ装置
【図１】
2018179378.tif 000027
【図２】
2018179378.tif 000028
【図３Ａ】
2018179378.tif 000029
【図３Ｂ】
2018179378.tif 000030
【図４】
2018179378.tif 000031
【図５】
2018179378.tif 000032
【図６】
2018179378.tif 000033
【図７】
2018179378.tif 000034
【図８】
2018179378.tif 000035
【図９】
2018179378.tif 000036
【図１０】
2018179378.tif 000037
【図１１】
2018179378.tif 000038
【図１２】
2018179378.tif 000039
【図１３】
2018179378.tif 000040
【図１４】
2018179378.tif 000041
【図１５】
2018179378.tif 000042
【手続補正書】
【提出日】令和1年9月13日(2019.9.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像であって、第１の領域と、当該第１の領域よりも入射光から近赤外光が低減されて撮像された第２の領域とを含むカラー画像を取得する取得手段と、
前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定する推定手段と、
前記推定された分光特性と前記撮像手段の分光感度特性とに基づいて可視画像及び近赤外画像を生成する生成手段と、
前記カラー画像のうちの前記第２の領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正する補正手段と
を備える画像処理装置。
【請求項２】
前記カラー画像は、Ｍチャネル（Ｍは２以上の整数）のカラー画像であり、
前記情報は、前記入射光の分光特性を、入射光の平均ベクトルとＭ＋１個以下の基底ベクトルとによってモデル化した情報である
請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、
前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて前記可視画像を生成し、
前記カラー画像と当該生成された可視画像とに基づいて前記近赤外画像を生成する
請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記生成手段は、
前記カラー画像と前記生成された可視画像の差に基づいて前記近赤外画像を生成する
請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、
前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて前記近赤外画像を生成し、
前記カラー画像と当該生成された近赤外画像とに基づいて前記可視画像を生成する
請求項１又は請求項２に記載の画像処理装置。
【請求項６】
前記生成手段は、
前記カラー画像と前記生成された近赤外画像の差に基づいて前記可視画像を生成する
請求項５に記載の画像処理装置。
【請求項７】
前記Ｍは、３であり、
前記カラー画像は、赤、緑及び青の３色の色成分により構成される
請求項２に記載の画像処理装置。
【請求項８】
入射光のうちの近赤外光を、特定の領域において他の領域よりも低減させるフィルタと、
前記フィルタを透過した入射光に応じてＭチャネル（Ｍは２以上の整数）のカラー画像を生成する撮像手段とを備える撮像装置と、
前記撮像手段により撮像されたカラー画像を取得する取得手段と、
前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて前記入射光の分光特性を推定する推定手段と、
前記推定された前記入射光の分光特性と前記撮像手段の分光感度特性とに基づいて可視画像と近赤外画像とを生成する生成手段と
前記カラー画像のうち、前記特定の領域を透過して前記撮像手段により撮像された領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正する補正手段とを備える画像処理装置と
を備える画像処理システム。
【請求項９】
可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像であって、第１の領域と、当該第１の領域よりも入射光から近赤外光が低減されて撮像された第２の領域とを含むカラー画像を取得し、
前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定し、
前記推定された分光特性と前記撮像手段の分光感度特性とに基づいて可視画像及び近赤外画像を生成し、
前記カラー画像のうちの前記第２の領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正する
画像処理方法。
【請求項１０】
コンピュータに、
可視光及び近赤外光を含む入射光に応じて撮像手段により撮像されたカラー画像であって、第１の領域と、当該第１の領域よりも入射光から近赤外光が低減されて撮像された第２の領域とを含むカラー画像を取得するステップと、
前記取得されたカラー画像の色情報と、前記撮像手段の分光感度特性と、前記入射光の分光特性をモデル化した情報とに基づいて入射光の分光特性を推定するステップと、
前記推定された分光特性と前記撮像手段の分光感度特性とに基づいて可視画像及び近赤外画像を生成するステップと、
前記カラー画像のうちの前記第２の領域の色情報に基づいて、前記生成された可視画像及び近赤外画像を補正するステップと
を実行させるためのプログラム。
【国際調査報告】
2018179378.tif 000043
2018179378.tif 000044
2018179378.tif 000045