(57)【特許請求の範囲】
【請求項１】
可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの前記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光および前記不可視光に対して感度を有する第２画素の前記可視光に対する感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる前記第１および第２の重み係数のうち前記第１の重み係数により前記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算部と、
前記第２画素の画素信号を前記第２の重み係数により重み付けする重み付け処理部と、
前記重み付けされた前記第２画素の画素信号と前記加算値との差分を前記画素信号内の前記不可視光の成分として生成する不可視光成分生成部と
を具備する画像処理装置。
【請求項２】
前記複数の第１画素のそれぞれの画素信号に基づいて当該画素信号内の前記可視光の成分を生成する可視光成分生成部をさらに具備する
請求項１記載の画像処理装置。
【請求項３】
前記可視光成分生成部は、前記可視光および前記不可視光を含む光に対する前記複数の第１画素および前記第２画素のそれぞれの感度を互いに異なる第３の重み係数により重み付けして加算した値と前記複数の第１画素のいずれかの対象画素の前記可視光に対する感度との間の差分が所定の設定値より小さくなる前記第３の重み係数により前記複数の第１画素と前記第２画素とのそれぞれの画素信号を重み付け加算した信号を前記対象画素の画素信号内の前記可視光の成分として生成する
請求項２記載の画像処理装置。
【請求項４】
前記可視光成分生成部は、前記複数の第１画素のうち対象画素の前記不可視光に対する感度が高いほど大きな第４の重み係数により前記不可視光の成分を重み付けした値と前記対象画素の画素信号との差分を前記可視光の成分として生成する
請求項２記載の画像処理装置。
【請求項５】
前記可視光および前記可視光の成分のいずれよりも次元の高い高次元成分を生成して当該高次元成分と前記不可視光の成分と前記可視光の成分とのそれぞれを重み付けして加算する処理により前記可視光および前記不可視光の成分を補正する補正処理部をさらに具備する
請求項２または３に記載の画像処理装置。
【請求項６】
前記補正処理部は、前記不可視光の成分を二乗した値と前記可視光の成分を二乗した値との少なくとも一方を前記高次元成分として生成する
請求項５記載の画像処理装置。
【請求項７】
前記可視光の成分は、複数の色成分を含み、
前記補正処理部は、前記不可視光の成分と前記複数の色成分とのうち２つの成分の一方に他方を乗じた成分を前記高次元成分として生成する
請求項５または６に記載の画像処理装置。
【請求項８】
前記補正処理部は、前記不可視光の成分を二乗した値に前記可視光の成分を乗じた値と前記可視光の成分を二乗した値に前記不可視光の成分を乗じた値との少なくとも一方を前記高次元成分として生成する
請求項５から７のいずれかに記載の画像処理装置。
【請求項９】
前記第２画素の画素信号が所定の閾値より大きいか否かを検出して前記画素信号が前記所定の閾値より大きい場合には前記第２画素の画素信号と前記不可視光の成分とを重み付け加算する検出部をさらに具備する
請求項１から８のいずれかに記載の画像処理装置。
【請求項１０】
前記第２画素の画素信号と前記不可視光の成分を重み付けした値との差分を輝度信号として生成する輝度信号生成部をさらに具備する
請求項１から９のいずれかに記載の画像処理装置。
【請求項１１】
前記複数の第１画素は、前記可視光のうち赤色光に対する感度が最も高い画素と前記可視光のうち緑色光に対する感度が最も高い画素と前記可視光のうち青色光に対する感度が最も高い画素とを含み、
前記第２画素は、前記可視光のうち白色光に対する感度が最も高い画素である
請求項１から１０のいずれかに記載の画像処理装置。
【請求項１２】
可視光および不可視光に対して感度を有する複数の第１画素と前記可視光および前記不可視光に対して感度を有する第２画素とのそれぞれの画素信号を含む画像データを撮像する撮像部と、
可視光に対する前記複数の第１画素のそれぞれの感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光に対する前記第２画素の感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる前記第１および第２の重み係数のうち前記第１の重み係数により前記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算部と、
前記第２画素の画素信号を前記第２の重み係数により重み付けする重み付け処理部と、
前記重み付けされた前記第２画素の画素信号と前記加算値との差分を前記画素信号内の前記不可視光の成分として生成する不可視光成分生成部と
を具備する撮像装置。
【請求項１３】
可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの前記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光および前記不可視光に対して感度を有する第２画素の前記可視光に対する感度を第２の重み係数により重み付けした値との差分を求める差分取得部と、
前記差分が所定の許容値よりも小さくなる前記第１および第２の重み係数を求める係数取得部と
を具備する情報処理装置。
【請求項１４】
加算部が、可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの前記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光および前記不可視光に対して感度を有する第２画素の前記可視光に対する感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる前記第１および第２の重み係数のうち前記第１の重み係数により前記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算手順と、
重み付け処理部が、前記第２画素の画素信号を前記第２の重み係数により重み付けする重み付け処理手順と、
可視光成分生成部が、前記重み付けされた前記第２画素の画素信号と前記加算値との差分を前記画素信号内の不可視光の成分として生成する不可視光成分生成手順と
を具備する画像処理方法。
【請求項１５】
加算部が、可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの前記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光および前記不可視光に対して感度を有する第２画素の前記可視光に対する感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる前記第１および第２の重み係数のうち前記第１の重み係数により前記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算手順と、
重み付け処理部が、前記第２画素の画素信号を前記第２の重み係数により重み付けする重み付け処理手順と、
可視光成分生成部が、前記重み付けされた前記第２画素の画素信号と前記加算値との差分を前記画素信号内の不可視光の成分として生成する不可視光成分生成手順と
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、撮像装置、情報処理装置、画像処理方法および当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、不可視光成分を分離する画像処理装置、撮像装置、情報処理装置、画像処理方法および当該方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
従来より、監視カメラなどの撮像装置においては、周囲の明るさを測光して、暗い場合には赤外光により輝度を向上させた画像を撮像し、明るい場合には赤外光の成分を除去した画像を撮像する機能が搭載されることが多い。このような機能は、一般にＤａｙ＆Ｎｉｇｈｔ機能と呼ばれる。【０００３】
例えば、周囲が明るい場合に、複数の画素信号を重み付け加算する画像処理により、それらの信号内の赤外光成分を分離して除去する撮像装置が提案されている（例えば、特許文献１参照。）。この撮像装置では、赤、緑および青のそれぞれの画素の可視光に対する感度の合計と白の画素の可視光に対する感度とが一致することを前提として画像処理が行われる。例えば、赤、緑および青のそれぞれの画素の画素信号を同じ係数０．５で重み付け加算した値と白の画素の画素信号を係数０．５で重み付けした値との差を求める画像処理が行われる。前述の前提が成立する場合には、この画像処理により、可視光の成分が相殺されて、不可視光の成分（赤外光成分など）が算出される。撮像装置は、算出した不可視光の成分を画素信号から除去して可視光の成分を算出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２８９０００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の従来技術では、不可視光の成分を正確に算出することができないおそれがある。これは、実際の製品では、赤、緑および青のそれぞれの画素の可視光に対する感度の合計と白の画素の可視光に対する感度とが厳密には一致しないことが多く、想定された前提が成立しないためである。この結果、可視光の色の再現性が低下し、画像の画質が低下する問題が生じる。【０００６】
本技術はこのような状況に鑑みて生み出されたものであり、画像の画質を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの上記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と上記可視光および上記不可視光に対して感度を有する第２画素の上記可視光に対する感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる上記第１および第２の重み係数のうち上記第１の重み係数により上記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算部と、上記第２画素の画素信号を上記第２の重み係数により重み付けする重み付け処理部と、上記重み付けされた上記第２画素の画素信号と上記加算値との差分を上記画素信号内の上記不可視光の成分として生成する不可視光成分生成部とを具備する画像処理装置、画像処理方法および当該方法をコンピュータに実行させるためのプログラムである。これにより、互いに異なる第１の重み係数により複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算した加算値と第２の重み係数により重み付けされた第２画素の画素信号との差分が、不可視光の成分として生成されるという作用をもたらす。【０００８】
また、この第１の側面において、上記複数の第１画素のそれぞれの画素信号に基づいて当該画素信号内の上記可視光の成分を生成する可視光成分生成部をさらに具備してもよい。これにより、可視光の成分が生成されるという作用をもたらす。【０００９】
また、この第１の側面において、上記可視光成分生成部は、上記可視光および上記不可視光を含む光に対する上記複数の第１画素および上記第２画素のそれぞれの感度を互いに異なる第３の重み係数により重み付けして加算した値と上記複数の第１画素のいずれかの対象画素の上記可視光に対する感度との間の差分が所定の設定値より小さくなる上記第３の重み係数により上記複数の第１画素と上記第２画素とのそれぞれの画素信号を重み付け加算した信号を上記対象画素の画素信号内の上記可視光の成分として生成してもよい。これにより、第３の重み係数により複数の第１画素と第２画素とのそれぞれの画素信号を重み付け加算した信号が可視光の成分として生成されるという作用をもたらす。【００１０】
また、この第１の側面において、上記可視光成分生成部は、上記複数の第１画素のうち対象画素の上記不可視光に対する感度が高いほど大きな第４の重み係数により上記不可視光の成分を重み付けした値と上記対象画素の画素信号との差分を上記可視光の成分として生成してもよい。第４の重み係数により不可視光の成分を重み付けした値と対象画素の画素信号との差分が可視光の成分として生成されるという作用をもたらす。【００１１】
また、この第１の側面において、上記可視光および上記可視光の成分のいずれよりも次元の高い高次元成分を生成して当該高次元成分と上記不可視光の成分と上記可視光の成分とのそれぞれを重み付けして加算する処理により上記可視光および上記不可視光の成分を補正する補正処理部をさらに具備してもよい。これにより、可視光および不可視光の成分が補正されるという作用をもたらす。【００１２】
また、この第１の側面において、上記補正処理部は、上記不可視光の成分を二乗した値と上記可視光の成分を二乗した値との少なくとも一方を上記高次元成分として生成してもよい。これにより、不可視光の成分を二乗した値と可視光の成分を二乗した値との少なくとも一方が高次元成分として生成されるという作用をもたらす。【００１３】
また、この第１の側面において、上記可視光成分は、複数の色成分を含み、上記補正処理部は、上記不可視光の成分と上記複数の色成分とのうち２つの成分の一方に他方を乗じた成分を上記高次元成分として生成してもよい。これにより、不可視光の成分と複数の色成分とのうち２つの成分の一方に他方を乗じた成分が高次元成分として生成されるという作用をもたらす。【００１４】
また、この第１の側面において、上記補正処理部は、上記不可視光の成分を二乗した値に上記可視光の成分を乗じた値と上記可視光の成分を二乗した値に上記不可視光の成分を乗じた値との少なくとも一方を上記高次元成分として生成してもよい。不可視光の成分を二乗した値に可視光の成分を乗じた値と可視光の成分を二乗した値に不可視光の成分を乗じた値との少なくとも一方が高次元成分として生成されるという作用をもたらす。【００１５】
また、この第１の側面において、上記第２の画素の画素信号が所定の閾値より大きいか否かを検出して上記画素信号が上記所定の閾値より大きい場合には上記第２画素の画素信号と上記不可視光の成分とを重み付け加算する検出部をさらに具備してもよい。これにより、画素信号が上記所定の閾値より大きい場合には第２画素の画素信号と不可視光の成分とが重み付け加算されるという作用をもたらす。【００１６】
また、この第１の側面において、上記第２画素の画素信号と上記不可視光成分を重み付けした値との差分を輝度信号として生成してもよい。これにより、第２画素の画素信号と不可視光成分を重み付けした値との差分が輝度信号として生成されるという作用をもたらす。【００１７】
また、この第１の側面において、上記複数の第１画素は、上記可視光のうち赤色光に対する感度が最も高い画素と上記可視光のうち緑色光に対する感度が最も高い画素と上記可視光のうち青色光に対する感度が最も高い画素とを含み、上記第２画素は、上記可視光のうち白色光に対する感度が最も高い画素であってもよい。これにより、赤色光に対する感度が最も高い画素と緑色光に対する感度が最も高い画素と青色光に対する感度が最も高い画素とを重み付け加算した値と、白色光に対する感度が最も高い画素を重み付けした値との差分が不可視光の成分として生成されるという作用をもたらす。【００１８】
また、本技術の第２の側面は、可視光および不可視光に対して感度を有する複数の第１画素と上記可視光および上記不可視光に対して感度を有する第２画素とのそれぞれの画素信号を含む画像データを撮像する撮像部と、可視光に対する上記複数の第１画素のそれぞれの感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と上記可視光に対する上記第２画素の感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる上記第１および第２の重み係数のうち上記第１の重み係数により上記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算部と、上記第２画素の画素信号を上記第２の重み係数により重み付けする重み付け処理部と、上記重み付けされた上記第２画素の画素信号と上記加算値との差分を上記画素信号内の上記不可視光の成分として生成する不可視光成分生成部とを具備する撮像装置である。これにより、互いに異なる第１の重み係数により複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算した加算値と第２の重み係数により重み付けされた第２画素の画素信号との差分が、不可視光の成分として生成されるという作用をもたらす。【００１９】
また、本技術の第３の側面は、可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの上記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と上記可視光および上記不可視光に対して感度を有する第２画素の上記可視光に対する感度を第２の重み係数により重み付けした値との差分を求める差分取得部と、上記差分が所定の許容値よりも小さくなる上記第１および第２の重み係数を求める係数取得部とを具備する情報処理装置である。これにより、可視光に対する複数の第１画素のそれぞれの感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と可視光に対する第２画素の感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる第１および第２の重み係数が求められるという作用をもたらす。
【発明の効果】
【００２０】
本技術によれば、画像の画質を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２１】
【図１】第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】第１の実施の形態における光学フィルタの透過特性の一例を示すグラフである。
【図３】第１の実施の形態における画像処理部の一構成例を示すブロック図である。
【図４】第１の実施の形態における赤外線分離部の一構成例を示すブロック図である。
【図５】第１の実施の形態における赤外光成分生成部および可視光成分生成部の一構成例を示す図である。
【図６】第１の実施の形態における赤外線分離部で用いられる計算式の一例を示す図である。
【図７】第１の実施の形態における飽和画素検出部の一構成例を示す図である。
【図８】第１の実施の形態における信号レベルごとのα値の設定例を示すグラフである。
【図９】第１の実施の形態における輝度信号生成部の一構成例を示す図である。
【図１０】第１の実施の形態における画像データの一例を示す図である。
【図１１】第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図１２】第１の実施の形態における画素ごとの感度特性の一例を示すグラフである。
【図１３】第１の実施の形態の比較例における赤外線分離後の感度特性の一例を示すグラフである。
【図１４】第１の実施の形態における赤外線分離後の感度特性の一例を示す図である。
【図１５】第１の実施の形態の変形例における画素配列の一例を示す図である。
【図１６】第２の実施の形態における可視光成分生成部の一構成例を示す図である。
【図１７】第２の実施の形態における赤外線分離後の感度特性の一例を示す図である。
【図１８】第３の実施の形態における理想的な感度特性の一例を示すグラフである。
【図１９】第３の実施の形態における計算式の導出過程を説明するための図である。
【図２０】第３の実施の形態における係数を求めるための演算式の一例を示す図である。
【図２１】第３の実施の形態における赤外線分離部で用いられる計算式の一例を示す図である。
【図２２】第３の実施の形態における赤外線分離後の感度特性の一例を示す図である。
【図２３】第３の実施の形態における赤外線分離部の一構成例を示すブロック図である。
【図２４】第３の実施の形態における正規化成分演算部の一構成例を示す図である。
【図２５】第３の実施の形態における二乗成分演算部の一構成例を示す図である。
【図２６】第３の実施の形態におけるクロス成分演算部の一構成例を示す図である。
【図２７】第３の実施の形態におけるクロス成分マトリックス演算部の一構成例を示す図である。
【図２８】第３の実施の形態における高次元成分加算部の一構成例を示す図である。
【図２９】第３の実施の形態の変形例における赤外線分離部で用いられる計算式の一例を示す図である。
【図３０】第４の実施の形態における撮像システムの一構成例を示すブロック図である。
【図３１】第４の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画素信号を重み付け加算する例）
２．第２の実施の形態（画素信号を重み付け加算して赤外光成分を求め、画素信号から除去する例）
３．第３の実施の形態（画素信号を重み付け加算し、補正を行う例）
４．第４の実施の形態（重み付け加算に用いる係数を求める例）
【００２３】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像を撮像する装置であり、撮像レンズ１１０、光学フィルタ１２０、撮像素子１３０、画像処理部２００、記録部１４０、制御部１５０、赤外光投光器１６０および測光部１７０を備える。
【００２４】
撮像レンズ１１０は、被写体からの光を集光して光学フィルタ１２０を介して撮像素子１３０に導くレンズである。光学フィルタ１２０は、撮像レンズ１１０からの光のうち可視光および赤外光を透過するものである。
【００２５】
撮像素子１３０は、光学フィルタ１２０を介して受光した光を電気信号に変換して、画像データを生成するものである。この撮像素子１３０には、例えば、Ｒ（Red）画素、Ｇ(Green)画素、Ｂ(Blue)画素およびＷ（White）画素のそれぞれが二次元格子状に設けられる。撮像素子１３０は、これらの画素のそれぞれで光電変換したアナログの電気信号をＡＤ（Analog to Digital）変換して画素毎にデジタル信号を画素信号として生成し、これらの画素信号を含むデータを画像データとして出力する。撮像素子１３０としては、例えば、ＣＣＤ（Charge Coupled Device）センサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーが用いられる。撮像素子１３０は、生成した画像データを信号線１３９を介して画像処理部２００に供給する。なお、撮像素子１３０は、特許請求の範囲に記載の撮像部の一例である。
【００２６】
赤外光投光器１６０は、制御部１５０の制御に従って、赤外光を被写体に照射するものである。
【００２７】
測光部１７０は、撮像装置１００の周囲の明るさを測光するものである。この測光部１７０は、測光量を信号線１７９を介して制御部１５０に供給する。
【００２８】
制御部１５０は、撮像装置１００全体を制御するものである。この制御部１５０は、ユーザの操作などに従って撮像素子１３０を制御して画像データを生成させる。また、制御部１５０は、測光部１７０により測定された測光量を取得する。測光量が所定の閾値Ｔｈ１以上である場合に制御部１５０は、赤外光投光器１６０を制御して消灯させる。一方、測光量が閾値Ｔｈ１未満である場合には、制御部１５０は、撮像の間において、赤外光投光器１６０を点灯させる。また、制御部１５０は、測光量に応じた係数Ｋｗを画像処理部２００に供給する。
【００２９】
画像処理部２００は、画像データに対して所定の画像処理を行うものである。例えば、ホワイトバランス処理や、ガンマ補正処置を含む各種の画像処理が行われる。画像処理の詳細については後述する。画像処理部２００は、画像処理後の画像データを記録部１４０に信号線２０９を介して供給する。記録部１４０は、画像処理部２００からの画像データを記録するものである。
【００３０】
なお、撮像装置１００は、表示部をさらに備え、その表示部に画像データを表示してもよい。また、撮像装置１００は、インターフェースをさらに備え、そのインターフェースを介して、画像データを外部の装置に出力してもよい。
【００３１】
また、撮像素子１３０、画像処理部２００、記録部１４０、制御部１５０、赤外光投光器１６０および測光部１７０を同一の装置内に設ける構成としているが、これらを別々の装置に設ける構成としてもよい。例えば、撮像素子１３０などを撮像装置１００に設け、画像処理部２００を情報処理装置等に設ける構成としてもよい。なお、撮像装置１００は、特許請求の範囲に記載の画像処理装置の一例である。
【００３２】
また、撮像装置１００は、赤外光投光器１６０を備え、暗いときに点灯させているが、赤外光投光器１６０を備えない構成としてもよい。ただし、暗いときに、画像における輝度を向上させる観点から、赤外光投光器１６０を設けて点灯させることが望ましい。
【００３３】
図２は、第１の実施の形態における光学フィルタ１２０の透過特性の一例を示すグラフである。同図において縦軸は、光学フィルタ１２０の分光透過率を示し、横軸は、光の波長を示す。同図に例示するように、光学フィルタ１２０は、例えば、３８０乃至６５０ナノメートル（ｎｍ）の波長域の可視光と、それより波長の長い赤外光とを透過する。
【００３４】
図３は、第１の実施の形態における画像処理部２００の一構成例を示すブロック図である。この画像処理部２００は、低周波補間ローパスフィルタ２１０、高周波補間ローパスフィルタ２２０、赤外線分離部３００、ホワイトバランス処理部２３０、輝度信号生成部２４０、ガンマ補正部２５０および色差信号生成部２６０を備える。
【００３５】
低周波補間ローパスフィルタ２１０は、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれの画素信号において足りない色情報を補間するものである。ここで、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれは、可視光ともに赤外光を受光して、それらの光から画素信号を生成する。このため、これらの画素の画素信号は、可視光から光電変換された信号である可視光成分と、赤外光から光電変換された信号である赤外光成分とを含む。したがって、赤外光成分を分離する前のＲ画素、Ｇ画素、Ｂ画素およびＷ画素の画素信号を以下、「Ｒ＋ＩＲ」、「Ｇ＋ＩＲ」、「Ｂ＋ＩＲ」および「Ｗ＋ＩＲ」と称する。添え字の「＋ＩＲ」は、画素信号に赤外光成分が含まれていることを示す。低周波補間ローパスフィルタ２１０は、補間により画素信号Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲおよびＷ＋ＩＲを画素毎に含むデータを生成して、赤外線分離部３００に供給する。
【００３６】
高周波補間ローパスフィルタ２２０は、Ｒ画素、Ｇ画素およびＢ画素において、画素信号Ｗ＋ＩＲを補間するものである。高周波補間ローパスフィルタ２２０は、補間により、画素毎に画素信号Ｗ＋ＩＲを含むデータを生成して、輝度信号生成部２４０に供給する。
【００３７】
赤外線分離部３００は、画素信号内の可視光成分と赤外光成分とを分離するものである。赤外線分離部３００は、画素信号Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲおよびＷ＋ＩＲを、可視光成分Ｒ、ＧおよびＢと、赤外光成分ＩＲとに分離する処理を画素ごとに行う。赤外線分離部３００は、可視光成分Ｒ、ＧおよびＢをホワイトバランス処理部２３０に供給し、赤外光成分ＩＲを輝度信号生成部２４０に供給する。
【００３８】
ホワイトバランス処理部２３０は、必要に応じて、可視光成分に対してホワイトバランス処理を行うものである。例えば、設定された色温度に応じたゲインによりＲ、ＧおよびＢのそれぞれのレベルのバランスが調整される。ホワイトバランス処理部２３０は、ホワイトバランス処理後の可視光成分をガンマ補正部２５０に供給する。
【００３９】
ガンマ補正部２５０は、必要に応じて、可視光成分に対してガンマ補正処理を行うものである。例えば、ディスプレイの特性に応じたゲインにより、可視光成分のレベルが補正される。ガンマ補正部２５０は、ガンマ補正後の可視光成分を色差信号生成部２６０に供給する。
【００４０】
色差信号生成部２６０は、可視光成分Ｒ、ＧおよびＢから色差信号ＣｂおよびＣｒを生成するものである。色差信号ＣｂおよびＣｒは、例えば、ＩＴＵ−Ｒ(International Telecommunication Union Radiocommunication Sector)．ＢＴ．６０１の規格に基づいて次の式により生成される。色差信号生成部２６０は、生成した色差信号を記録部１４０に供給する。
Ｃｂ＝−０．１６８７３６×Ｒ−０．３３１２６４×Ｇ＋０．５×Ｂ  ・・・式１
Ｃｒ＝０．５×Ｒ−０．４１８６８８×Ｇ−０．０８１３１２×Ｂ    ・・・式２
【００４１】
輝度信号生成部２４０は、画素信号Ｗ＋ＩＲと、赤外光成分ＩＲとから輝度信号Ｙを生成するものである。輝度信号生成部２４０は、例えば、次の式により、画素ごとに輝度信号Ｙを生成する。輝度信号生成部２４０は、生成した輝度信号を記録部１４０に供給する。
Ｙ＝Ｗ＋ＩＲ−ＩＲ×Ｋｗ                                          ・・・式３
上式において、Ｋｗは、測光量に応じて設定される係数である。例えば、測光量が閾値Ｔｈ１以上である場合には、Ｋｗに「０」より大きな設定値Ｄが設定されて、画素信号Ｗ＋ＩＲから赤外光成分ＩＲが除去される。一方、測光量が閾値Ｔｈ１未満である場合には、測光量が小さいほど、「０」に近い値が設定される。
【００４２】
なお、制御部１５０は、環境光の強度や、環境光に含まれる赤外光と可視光との比率に応じて設定値Ｄを制御してもよい。これにより、高いＳ／Ｎ（Signal to Noise）比と色再現性とのバランスをとることが容易になる。
【００４３】
また、画像処理部２００は、赤外光成分ＩＲを分離して除去しているが、赤外光以外の不可視光（紫外光など）の成分を分離して除去してもよいし、赤外光に加えて、赤外光以外の不可視光の成分も分離してもよい。この場合には、分離対象の不可視光を透過するフィルタが光学フィルタ１２０として設けられる。
【００４４】
また、撮像装置１００に光学フィルタ１２０を設ける構成としているが、光学フィルタ１２０を設けない構成とすることもできる。ただし、良好な色再現性を確保する観点から、光学フィルタ１２０を設けることが望ましい。
【００４５】
図４は、第１の実施の形態における赤外線分離部３００の一構成例を示すブロック図である。この赤外線分離部３００は、赤外光成分生成部３１０、可視光成分生成部３２０および飽和画素検出部３５０を備える。
【００４６】
赤外光成分生成部３１０は、赤外光成分ＩＲを生成するものである。この赤外光成分生成部３１０は、画素信号Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲおよびＷ＋ＩＲを互いに異なる係数Ｋ１１、Ｋ１２、Ｋ１３およびＫ１４により重み付け加算した値を赤外光成分ＩＲとして生成する。例えば、次の式により重み付け加算が行われる。
ＩＲ＝Ｋ４１×Ｒ＋ＩＲ＋Ｋ４２×Ｇ＋ＩＲ＋Ｋ４３×Ｂ＋ＩＲ＋Ｋ４４×Ｗ＋ＩＲ  …式４
【００４７】
ここで、Ｋ４１、Ｋ４２、Ｋ４３およびＫ４４には、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれの可視光に対する感度をそれらの係数で重み付け加算した加算値が許容値以下になる値が設定される。ただし、Ｋ４１、Ｋ４２およびＫ４３の符号は同一であり、Ｋ４４の符号は、Ｋ４１、Ｋ４２およびＫ４３と異なるものとする。この許容値には、Ｋ４１、Ｋ４２、Ｋ４３およびＫ４４をそれぞれ０．５、０．５、０．５および−０．５とした場合の加算値未満の値が設定される。なお、これらの係数には、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれの感度を重み付け加算した値と、画素の赤外光に対する所定の目標感度との間の誤差が、所定の設定値以下になる値が設定されることがより望ましい。この設定値には、Ｋ４１、Ｋ４２、Ｋ４３およびＫ４４をそれぞれ０．５、０．５、０．５および−０．５とした場合の誤差未満の値が設定される。また、Ｋ４１、Ｋ４２、Ｋ４３およびＫ４４には、前述の誤差が最小となる値が設定されることがさらに望ましい。
【００４８】
なお、Ｒ、ＧおよびＢ画素は、特許請求の範囲に記載の第１画素の一例であり、Ｗ画素は特許請求の範囲に記載の第２画素の一例である。また、係数Ｋ４１、Ｋ４２およびＫ４３は、特許請求の範囲に記載の第１の重み係数の一例であり、係数−Ｋ４４は、特許請求の範囲に記載の第２の重み係数の一例である。
【００４９】
可視光成分生成部３２０は、可視光成分Ｒ、ＧおよびＢを生成するものである。この可視光成分生成部３２０は、画素信号Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲおよびＷ＋ＩＲを互いに異なる係数Ｋ１１、Ｋ１２、Ｋ１３およびＫ１４により重み付け加算した値を可視光成分Ｒとして生成する。また、可視光成分生成部３２０は、それらの画素信号を互いに異なる係数Ｋ２１、Ｋ２２、Ｋ２３およびＫ２４により重み付け加算した値を可視光成分Ｇとして生する。また、可視光成分生成部３２０は、各画素信号を互いに異なる係数Ｋ３１、Ｋ３２、Ｋ３３およびＫ３４により重み付け加算した値を可視光成分Ｂとして生成する。例えば、次の式により重み付け加算が行われる。
Ｒ＝Ｋ１１×Ｒ＋ＩＲ＋Ｋ１２×Ｇ＋ＩＲ＋Ｋ１３×Ｂ＋ＩＲ＋Ｋ１４×Ｗ＋ＩＲ    …式５
Ｇ＝Ｋ２１×Ｒ＋ＩＲ＋Ｋ２２×Ｇ＋ＩＲ＋Ｋ２３×Ｂ＋ＩＲ＋Ｋ２４×Ｗ＋ＩＲ    …式６
Ｂ＝Ｋ３１×Ｒ＋ＩＲ＋Ｋ３２×Ｇ＋ＩＲ＋Ｋ３３×Ｂ＋ＩＲ＋Ｋ３４×Ｗ＋ＩＲ    …式７
【００５０】
ここで、Ｋ１１乃至Ｋ１４には、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれの感度を、それらの係数により重み付け加算した値とＲ画素の可視光に対する目標感度との間の誤差が、所定の設定値以下になる値が設定される。この設定値には、Ｋ１１、Ｋ１２、Ｋ１３およびＫ１４をそれぞれ０．５、−０．５、−０．５および０．５とした場合の誤差未満の値が設定される。なお、誤差が最小となる値がＫ１１乃至Ｋ１４に設定されることがより望ましい。
【００５１】
また、Ｋ２１乃至Ｋ２４には、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれの感度を、それらの係数により重み付け加算した値とＧ画素の可視光に対する目標感度との間の誤差が、所定の設定値以下になる値が設定される。この設定値には、Ｋ２１、Ｋ２２、Ｋ２３およびＫ２４をそれぞれ−０．５、０．５、−０．５および０．５とした場合の誤差未満の値が設定される。なお、誤差が最小となる値がＫ２１乃至Ｋ２４に設定されることがより望ましい。
【００５２】
また、Ｋ３１乃至Ｋ３４には、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれの感度を、それらの係数により重み付け加算した値とＢ画素の可視光に対する目標感度との間の誤差が、所定の設定値以下になる値が設定される。この設定値には、Ｋ３１、Ｋ３２、Ｋ３３およびＫ３４をそれぞれ−０．５、−０．５、０．５および０．５とした場合の誤差未満の値が設定される。なお、誤差が最小となる値がＫ３１乃至Ｋ３４に設定されることがより望ましい。
【００５３】
なお、Ｋ１１乃至Ｋ１４と、Ｋ２１乃至Ｋ２４と、Ｋ３１乃至Ｋ３４とのそれぞれは、特許請求の範囲に記載の第３の重み係数の一例である。
【００５４】
可視光成分生成部３２０は、生成した可視光成分Ｒ、ＧおよびＢを飽和画素検出部３５０に供給する。
【００５５】
飽和画素検出部３５０は、画素信号の信号レベルが所定の閾値Ｔｈ２より高いか否かを検出するものである。この飽和画素検出部３５０は、信号レベルが所定の閾値Ｔｈ２より高い場合に、そのレベルが高いほど小さな「０」乃至「１」の値を係数αに設定し、そうでない場合に「１」を係数αに設定する。そして、飽和画素検出部３５０は、次の式を使用して赤外光成分および可視光成分と、画素信号Ｒ＋ＩＲ、Ｇ＋ＩＲおよびＢ＋ＩＲとを処理する。
Ｒ＝α×Ｒ＋（１−α）×Ｒ＋ＩＲ                            ・・・式８
Ｇ＝α×Ｇ＋（１−α）×Ｇ＋ＩＲ                            ・・・式９
Ｂ＝α×Ｂ＋（１−α）×Ｂ＋ＩＲ                            ・・・式１０
ＩＲ＝α×ＩＲ                                                  ・・・式１１
【００５６】
この処理により、信号レベルが閾値Ｔｈ２を超える飽和画素が検出された場合であっても、正確な可視光成分および赤外光成分が求められる。飽和画素検出部３５０は、処理後の可視光成分をホワイトバランス処理部２３０に供給し、処理後の赤外光成分を輝度信号生成部２４０に供給する。
【００５７】
［赤外光成分生成部および可視光成分生成部の構成例］
図５は、第１の実施の形態における赤外光成分生成部３１０および可視光成分生成部３２０の一構成例を示す図である。赤外光成分生成部３１０は、乗算器３１１、３１５、３１６および３１７と加算器３１２、３１３および３１４とを備える。
【００５８】
乗算器３１１は、画素信号Ｒ＋ＩＲに係数Ｋ４１を乗算して乗算結果を加算器３１２に供給するものである。乗算器３１５は、画素信号Ｇ＋ＩＲに係数Ｋ４２を乗算して乗算結果を加算器３１２に供給するものである。乗算器３１６は、画素信号Ｂ＋ＩＲに係数Ｋ４３を乗算して乗算結果を加算器３１３に供給するものである。乗算器３１７は、画素信号Ｗ＋ＩＲに係数Ｋ４４を乗算して乗算結果を加算器３１４に供給するものである。
【００５９】
加算器３１２は、乗算器３１１および３１５のそれぞれからの乗算結果を加算して加算結果を加算器３１３に供給するものである。加算器３１３は、乗算器３１６からの乗算結果と加算器３１２からの加算結果とを加算して加算結果を加算器３１４に供給するものである。加算器３１４は、乗算器３１７からの乗算結果と加算器３１３からの加算結果とを加算して加算結果を赤外光成分ＩＲとして飽和画素検出部３５０に供給するものである。
【００６０】
なお、乗算器３１１、３１５および３１６と加算器３１２および３１３とからなる回路は、特許請求の範囲に記載の加算部の一例である。また、乗算器３１７は、特許請求の範囲に記載の重み付け処理部の一例であり、加算器３１４は、不可視光成分生成部の一例である。
【００６１】
可視光成分生成部３２０は、乗算器３２１、３２５、３２６、３２７、３３１、３３５、３３６、３３７、３４１、３４５、３４６および３４７と、加算器３２２、３２３、３２４、３３２、３３３、３３４、３４２、３４３および３４４とを備える。
【００６２】
乗算器３２１、３２５、３２６および３２７は、それぞれ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲおよびＷ＋ＩＲと係数Ｋ１１、Ｋ１２、Ｋ１３およびＫ１４とを乗算するものである。加算器３２２、３２３および３２４は、乗算器３２１、３２５、３２６および３２７のそれぞれの乗算結果を加算して、加算値を可視光成分Ｒとして飽和画素検出部３５０に供給するものである。
【００６３】
乗算器３３１、３３５、３３６および３３７は、それぞれ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲおよびＷ＋ＩＲと係数Ｋ２１、Ｋ２２、Ｋ２３およびＫ２４とを乗算するものである。加算器３３２、３３３および３３４は、乗算器３３１、３３５、３３６および３３７のそれぞれの乗算結果を加算して、加算値を可視光成分Ｇとして飽和画素検出部３５０に供給するものである。
【００６４】
乗算器３４１、３４５、３４６および３４７は、それぞれ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲおよびＷ＋ＩＲと係数Ｋ３１、Ｋ３２、Ｋ３３およびＫ３４とを乗算するものである。加算器３４２、３４３および３４４は、乗算器３４１、３４５、３４６および３４７のそれぞれの乗算結果を加算して、加算値を可視光成分Ｂとして飽和画素検出部３５０に供給するものである。
【００６５】
図６は、第１の実施の形態における赤外線分離部３００で用いられる計算式の一例を示す図である。同図におけるａは、式４乃至式７を行列を用いて表した式である。画素信号Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲおよびＷ＋ＩＲからなるベクトルと、４行×４列の行列との積により、可視光成分Ｒ、ＧおよびＢと赤外光成分ＩＲとからなるベクトルが算出される。
【００６６】
図６におけるｂは、同図のａにおけるＫ１１乃至Ｋ４４のそれぞれに設定される係数の一例を示すものである。
【００６７】
［飽和画素検出部の構成例］
図７は、第１の実施の形態における飽和画素検出部３５０の一構成例を示す図である。この飽和画素検出部３５０は、乗算器３５１、３５３、３５４、３５６、３５７、３５９および３６０と、加算器３５２、３５５および３５８と、α値制御部３６１とを備える。
【００６８】
α値制御部３６１は、係数αの値を制御するものである。このα値制御部３６１は、画素信号の信号レベルが所定の閾値Ｔｈ２より高いか否かを画素ごとに検出する。そして、α値制御部３６１は、信号レベルが閾値Ｔｈ２より高い場合に、そのレベルが高いほど小さな「０」以上「１」未満の値を係数αに設定し、そうでない場合に「１」を係数αに設定する。そして、α値制御部３６１は、設定した係数αを乗算器３５１、３５４、３５７および３６０に供給し、（１−α）を乗算器３５３、３５６および３５９に供給する。
【００６９】
乗算器３５１は、可視光成分Ｒに係数αを乗算して加算器３５２に供給するものである。乗算器３５３は、画素信号Ｒ＋ＩＲに係数（１−α）を乗算して加算器３５２に供給するものである。加算器３５２は、乗算器３５１および３５３のそれぞれの乗算結果を加算して、可視光成分Ｒとしてホワイトバランス処理部２３０に供給するものである。
【００７０】
乗算器３５４は、可視光成分Ｇに係数αを乗算して加算器３５５に供給するものである。乗算器３５６は、画素信号Ｇ＋ＩＲに係数（１−α）を乗算して加算器３５５に供給するものである。加算器３５５は、乗算器３５４および３５６のそれぞれの乗算結果を加算して、可視光成分Ｇとしてホワイトバランス処理部２３０に供給するものである。
【００７１】
乗算器３５７は、可視光成分Ｂに係数αを乗算して加算器３５８に供給するものである。乗算器３５９は、画素信号Ｂ＋ＩＲに係数（１−α）を乗算して加算器３５８に供給するものである。加算器３５８は、乗算器３５７および３５９のそれぞれの乗算結果を加算して、可視光成分Ｂとしてホワイトバランス処理部２３０に供給するものである。
【００７２】
乗算器３６０は、赤外光成分ＩＲに係数αを乗算して輝度信号生成部２４０に供給するものである。
【００７３】
図８は、第１の実施の形態における信号レベルごとの係数αの値の設定例を示すグラフである。同図における横軸は、低周波補間ローパスフィルタ２１０からの画素信号の信号レベルである。縦軸は、係数αである。信号レベルが閾値Ｔｈ２以下である場合には、例えば、係数αに「１」の値が設定され、そうでない場合には、信号レベルが大きいほど小さな値が係数αに設定される。
【００７４】
［輝度信号生成部の構成例］
図９におけるａは、第１の実施の形態における輝度信号生成部２４０の一構成例を示す図である。この輝度信号生成部２４０は、乗算器２４２および減算器２４３を備える。
【００７５】
乗算器２４２は、係数Ｋｗと赤外光成分ＩＲとを乗算して減算器２４３に供給するものである。減算器２４３は、画素信号Ｗ＋ＩＲから乗算器２４２の乗算結果を減算し、その減算値を輝度信号Ｙとして記録部１４０に供給するものである。
【００７６】
ここで、Ｋｗは、明るさ（測光量）によってゲインを調整するための係数である。例えば、図９におけるｂに示すように、明るさが、閾値Ｔｈ１以上である場合、設定値Ｄが係数Ｋｗに設定され、明るさがＴｈ１より暗くなるに従い、Ｋｗが０に近づけられる。
【００７７】
図１０は、第１の実施の形態における画像データの一例を示す図である。同図におけるａは、撮像素子１３０からの入力画像７０１の一例を示す図である。撮像素子１３０には、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素が所定のパターンにより二次元格子状に配列され、入力画像７０１は、それらの画素からの画素信号Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲおよびＷ＋ＩＲを含む。
【００７８】
図１０におけるｂは、入力画像７０１に高周波補間ローパスフィルタ２２０を通過させることにより生成されたデータ７０２の一例を示す図である。高周波補間ローパスフィルタ２２０により、Ｒ画素、Ｇ画素およびＢ画素の各画素信号においてＷ＋ＩＲが補間され、データ７０２は、画素信号Ｒ＋ＩＲ、Ｇ＋ＩＲおよびＢ＋ＩＲの代わりに、補間された画素信号Ｗ＋ＩＲを含む。
【００７９】
図１０におけるｃは、入力画像７０１に低周波補間ローパスフィルタ２１０を通過させることにより生成されたデータ７０３の一例を示す図である。低周波補間ローパスフィルタ２１０により、Ｇ画素、Ｂ画素およびＷ画素の各画素信号においてＲ＋ＩＲが補間され、データ７０３は、画素信号Ｇ＋ＩＲ、Ｂ＋ＩＲおよびＷ＋ＩＲの代わりに、補間された画素信号Ｒ＋ＩＲを含む。
【００８０】
図１０におけるｄおよびｅは、入力画像７０１に低周波補間ローパスフィルタ２１０を通過させることにより生成されたデータ７０４および７０５の一例を示す図である。低周波補間ローパスフィルタ２１０により、Ｇ＋ＩＲおよびＢ＋ＩＲが補間され、データ７０４および７０５は、補間された画素信号Ｇ＋ＩＲ、Ｂ＋ＩＲを含む。
【００８１】
これらのデータ７０２および７０５における画素信号が、行列演算により可視光成分Ｒ、ＧおよびＢと赤外光成分ＩＲとに分離される。そして、これらの可視光成分Ｒ、ＧおよびＢから画素毎に色差信号ＣｒおよびＣｂが生成され、赤外光成分ＩＲと画素信号Ｗ＋ＩＲとから画素毎に輝度信号Ｙが生成される。
【００８２】
［撮像装置の動作例］
図１１は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、画像を撮像するための所定の操作が行われたときに開始する。
【００８３】
撮像装置１００は、測光量と閾値Ｔｈ１とを比較して低照度であるか否かを判断する（ステップＳ９０１）。低照度である場合に（ステップＳ９０１：Ｙｅｓ）撮像装置１００は
赤外光投光器１６０をオンにし、測光量が小さいほど「０」に近い係数Ｋｗを設定する（ステップＳ９０２）。一方、低照度でない場合に（ステップＳ９０１：Ｎｏ）撮像装置１００は、赤外光投光器１６０をオフにし、係数Ｋｗに「０」以外の値（Ｄ）を設定する。これにより、赤外光成分ＩＲが除去される（ステップＳ９０３）。
【００８４】
ステップＳ９０２またはＳ９０３の後、撮像装置１００は、画素信号Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲおよびＷ＋ＩＲを含む画像を撮像する（ステップＳ９０４）。撮像装置１００は、その画像に基づいて重み付け加算により赤外光成分を生成する（ステップＳ９０５）。また、撮像装置１００は、重み付け加算により可視光成分Ｒ、ＧおよびＢを生成する（ステップＳ９０６）。
【００８５】
そして、撮像装置１００は、赤外光成分ＩＲと画素信号Ｗ＋ＩＲとから輝度信号Ｙを生成する（ステップＳ９０７）。また、撮像装置１００は、可視光成分Ｒ、ＧおよびＢに対してホワイトバランス処理（ステップＳ９０８）およびガンマ補正処理（ステップＳ９０９）を行い、色差信号ＣｒおよびＣｂを生成する（ステップＳ９１０）。ステップＳ９１０の後、撮像装置１００は、撮像を停止させるための操作が行われたか否かを判断する（ステップＳ９１１）。撮像停止のための操作が行われた場合に（ステップＳ９１１：Ｙｅｓ）、撮像装置は、撮像のための動作を終了し、そうでない場合に（ステップＳ９１１：Ｎｏ）、ステップＳ９０１に戻る。
【００８６】
図１２は、第１の実施の形態における画素ごとの感度特性の一例を示すグラフである。同図の横軸は、光の波長を示し、縦軸は、その波長の光に対する画素の感度を示す。また、実線は、Ｗ画素の感度特性を示し、細かい点線は、Ｒ画素の感度特性を示す。また、一点鎖線は、Ｇ画素の感度特性を示し、粗い点線は、Ｂ画素の感度特性を示す。
【００８７】
Ｗ画素の感度は、白の可視光に対してピークを示す。また、Ｒ画素、Ｇ画素およびＢ画素のそれぞれの感度は、赤、緑および青のそれぞれの可視光に対してピークを示す。Ｒ、Ｇ、ＢおよびＷ画素の赤外光に対する感度は同程度である。
【００８８】
赤、緑および青を加法混色すると白となる。このため、Ｒ画素、Ｇ画素およびＢ画素の感度の合計は、Ｗ画素の感度に近い値となる。ただし、図１２に例示するように、それらの合計は、Ｗ画素の感度と一致するとは限らない。また、赤外光に対する各画素の感度も同程度ではあるものの、厳密には一致していない。
【００８９】
このため、仮に画素信号Ｒ＋ＩＲ、Ｇ＋ＩＲおよびＢ＋ＩＲのそれぞれを同一の係数「０．５」で重み付け加算した値と画素信号Ｗ＋ＩＲを係数「０．５」で重み付けした値との差を求める演算を行うと、赤外線成分ＩＲが正確に分離されなくなってしまう。
【００９０】
図１３は、第１の実施の形態の比較例における赤外線分離後の感度特性の一例を示すグラフである。この比較例は、Ｋ４１、Ｋ４２、Ｋ４３およびＫ４４を０．５、０．５、０．５および−０．５にして重み付け加算した例である。同図の横軸は、光の波長を示し、縦軸は、その光に対する画素の感度を示す。実際には、感度でなく、画素信号から赤外光成分と可視光成分とが分離されるが、同図では、これらの成分を感度に置き換えて表している。同図の実線は、赤外光成分ＩＲの感度特性を示し、細かい点線は、可視光成分Ｒの感度特性を示す。また、一点鎖線は、可視光成分Ｇの感度特性を示し、粗い点線は、可視光成分Ｂの感度特性を示す。
【００９１】
図１２に例示したようにＲ画素、Ｇ画素およびＢ画素のそれぞれの感度の合計は、Ｗ画素の感度と同一にならないことが多い。このため、それらの画素により生成された画像データにおいて、画素信号Ｒ＋ＩＲ、Ｇ＋ＩＲおよびＢ＋ＩＲを全て「０．５」で重み付け加算して、Ｗ＋ＩＲを「０．５」で重み付けした値との差を求めると、赤外光成分が正確に分離されなくなってしまう。例えば、図１３に示すように、赤外光成分ＩＲは、可視光領域において「０」とならず、真値に対する誤差が大きくなってしまう。
【００９２】
これに対して、撮像装置１００では、可視光に対するＲ画素、Ｇ画素およびＢ画素のそれぞれの感度を重み付け加算した値と可視光に対するＷ画素の感度を重み付けした値との差分が許容値より小さくなる係数Ｋ４１乃至Ｋ４４が設定されている。許容値は、例えば、比較例における差分以下の値である。このため、撮像装置１００は、それらの係数による各画素信号の重み付け加算により、赤外光成分を比較例よりも正確に分離することができる。
【００９３】
図１４は、第１の実施の形態における赤外線分離後の感度特性の一例を示す図である。同図に示すように、重み付け加算により生成されたＩＲ成分は、可視光領域において「０」に近づき、図１２に例示した比較例に対して誤差が少なくなる。
【００９４】
このように、本技術の第１の実施の形態によれば、可視光に対するＲ、Ｇ、Ｂ画素の感度を重み付け加算した値とＷ画素の感度を重み付けした値との差が小さくなる係数で画素信号を重み付け加算するため、赤外光成分を正確に分離することができる。これにより、撮像装置１００は、可視光の色の再現性を向上させ、画像の画質を向上させることができる。
【００９５】
［変形例］
第１の実施の形態では、撮像装置１００は、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素を配列した画像データを処理していたが、それらの組合せ以外の画素配列の画像データを処理してもよい。変形例の撮像装置１００は、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素の以外のの画素配列の画像データを処理する点において第１の実施の形態と異なる。
【００９６】
図１５は、第１の実施の形態の変形例における画素配列の一例を示す図である。例えば、「１補色＋２原色＋白」、「２補色＋１原色＋白」、「３補色＋白」、「１補色＋３原色」、「２補色＋２原色」および「補色系」のいずれかに分類される画素配列が用いられる。
【００９７】
「１補色＋２原色＋白」は、補色の画素１つと、原色の画素２つと、Ｗ画素１つとが設けられる配列である。補色として、Ｙｅ（Yellow)、Ｃｙ(Cyan)およびＭｇ(Magenta)のいずれかが用いられる。また、原色として、Ｒ、ＧおよびＢのうち２つが用いられる。Ｙｅ、Ｒ、ＧおよびＷの組合せの場合には、係数Ｋ４４を「０」にして、係数Ｋ４１、Ｋ４２およびＫ４３によりＹｅ、ＲおよびＧを重み付け加算した値が赤外光成分ＩＲとして求められる。ただし、Ｋ４１の符号は、Ｋ４２、Ｋ４３と異なるものとする。
【００９８】
「２補色＋１原色＋白」は、補色の画素２つと、原色の画素１つと、Ｗ画素１つとが設けられる配列である。Ｙｅ、Ｃｙ、ＲおよびＷの組合せの場合には、係数Ｋ４１を「０」にして、係数Ｋ４２、Ｋ４３およびＫ４４によりＣｙ、ＲおよびＷを重み付け加算した値が赤外光成分ＩＲとして求められる。ただし、Ｋ４４の符号は、Ｋ４２、Ｋ４３と異なるものとする。
【００９９】
「３補色＋白」は、補色の画素３つとＷ画素１つとが設けられる配列である。この配列では、係数Ｋ４１、Ｋ４２、Ｋ４３およびＫ４４によりＹｅ、Ｃｙ、ＭｇおよびＷを重み付け加算した値が赤外光成分ＩＲとして求められる。ただし、Ｋ４４の符号は、他の係数と異なるものとする。
【０１００】
「１補色＋３原色」は、補色の画素１つと原色の画素３つとが設けられる配列である。Ｙｅ、Ｒ、ＧおよびＢの配列の場合には、係数Ｋ４４を「０」にして、係数Ｋ４１、Ｋ４２およびＫ４３によりＹｅ、ＲおよびＧを重み付け加算した値が赤外光成分ＩＲとして求められる。ただし、Ｋ４１の符号は、Ｋ４２、Ｋ４３と異なるものとする。
【０１０１】
「２補色＋２原色」は、補色の画素２つと、原色の画素２つとが設けられる配列である。Ｙｅ、Ｃｙ、ＧおよびＢの組合せの場合には、係数Ｋ４２を「０」にして、係数Ｋ４１、Ｋ４３およびＫ４４によりＹｅ、ＲおよびＧを重み付け加算した値が赤外光成分ＩＲとして求められる。ただし、Ｋ４１の符号は、Ｋ４３、Ｋ４４と異なるものとする。
【０１０２】
「補色系」は、補色の画素３つと、原色の画素１つとが設けられる配列である。Ｙｅ、Ｃｙ、ＭｇおよびＧの配列の場合には、係数Ｋ４１、Ｋ４２、Ｋ４３およびＫ４４によりＹｅ、Ｃｙ、ＭｇおよびＧを重み付け加算した値が赤外光成分ＩＲとして求められる。ただし、Ｋ４１、Ｋ４２の符号は、Ｋ４３、Ｋ４４と異なるものとする。
【０１０３】
このように、第１の実施の形態の変形例によれば、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素以外の画素配列の画像データから、赤外光成分を正確に分離することができる。
【０１０４】
＜２．第２の実施の形態＞
第１の実施の形態では、撮像装置１００は、重み付け加算により可視光成分を求めていたが、赤外光成分ＩＲと画素信号Ｒ＋ＩＲ、Ｇ＋ＩＲおよびＢ＋ＩＲとの差分を可視光成分として求めてもよい。第２の実施の形態の撮像装置１００は、赤外光成分ＩＲと、画素信号Ｒ＋ＩＲ、Ｇ＋ＩＲおよびＢ＋ＩＲとの差分を可視光成分として求める点において第１の実施の形態と異なる。
【０１０５】
図１６は、第２の実施の形態における可視光成分生成部３２０の一構成例を示す図である。第２の実施の形態の可視光成分生成部３２０は、減算器３２８、３３８および３４８と、乗算器３２９、３３９および３４９とを備える。
【０１０６】
また、第２の実施の形態の飽和画素検出部３５０は、式１１による処理を行った後の赤外光成分ＩＲを可視光成分生成部３２０にさらに供給する。
【０１０７】
乗算器３２９は、赤外光成分ＩＲに所定の係数Ｋｒを乗算して乗算結果を減算器３２８に供給するものである。乗算器３３９は、赤外光成分ＩＲに所定の係数Ｋｇを乗算して乗算結果を減算器３３８に供給するものである。乗算器３４９は、赤外光成分ＩＲに所定の係数Ｋｂを乗算して乗算結果を減算器３４８に供給するものである。
【０１０８】
減算器３２８は、画素信号Ｒ＋ＩＲから乗算器３２９の乗算結果を減算し、可視光成分Ｒとして飽和画素検出部３５０に供給するものである。減算器３３８は、画素信号Ｇ＋ＩＲから乗算器３３９の乗算結果を減算し、可視光成分Ｇとして飽和画素検出部３５０に供給するものである。減算器３４８は、画素信号Ｂ＋ＩＲから乗算器３４９の乗算結果を減算し、可視光成分Ｂとして飽和画素検出部３５０に供給するものである。
【０１０９】
係数Ｋｒ、ＫｇおよびＫｂには、重み付け加算により、画像信号内の赤外光成分ＩＲが十分に除去される値が設定される。これらの係数には、Ｒ、ＧおよびＢ画素の赤外光に対する感度が高いほど、大きな値が設定される。例えば、係数Ｋｒ、ＫｇおよびＫｂには「１．１５」が設定される。
【０１１０】
なお、制御部１５０は、環境光の強度や、環境光に含まれる赤外光と可視光との比率に応じて係数Ｋｒ、ＫｇおよびＫｂを制御してもよい。これにより、高いＳ／Ｎ比と、色再現性とのバランスをとることが容易になる。
【０１１１】
図１７は、第２の実施の形態における赤外線分離後の感度特性の一例を示す図である。同図に示すように、赤外光成分ＩＲは、可視光領域において「０」に近い値となり、良好な感度特性が得られる。
【０１１２】
このように本技術の第２の実施の形態によれば、撮像装置１００は、赤外光に対する感度に応じた係数により赤外光成分を重み付けした値と画素信号との差分を可視光成分として求めるため、可視光成分を正確に分離することができる。
【０１１３】
＜３．第３の実施の形態＞
第１の実施の形態では、撮像装置１００は、４行×４列の行列演算により赤外光成分および可視光成分を生成していたが、この行列演算では、赤外光成分および可視光成分の両方を正確に求めることができないおそれがある。例えば、赤外光成分の精度が高くなるように係数を設定すると、可視光成分の精度が低くなり、逆に可視光成分の精度が高くなるように係数を設定すると、赤外光成分の精度が低くなってしまう。撮像装置１００が、行列の列数を拡張して演算を行えば、赤外光成分および可視光成分の両方の精度を向上させることができる。第３の実施の形態の撮像装置１００は、行列を拡張した点において第１の実施の形態と異なる。
【０１１４】
以下、３色以上の仮想的な色空間を設定して議論を進める。例えば、第１および第２の実施形態のセンサーの感度特性としてＲ、Ｇ、ＢおよびＷの４色の感度特性を考える。このとき、図１２の感度特性から４つの等色関数が存在するとして、各等色関数の張るベクトル空間Ｖ（以下、「仮想視覚空間」と称する。）を定義してみる。「仮想」とつけた理由は、ここでは可視光領域以外の赤外光領域まで拡張するためであり、一般に知覚できない赤外光領域に対して、３原色空間の議論と区別するために便宜的に用いている。この４つの等色関数は、仮想視覚空間において４つのベクトルで表すことができ、仮想視覚空間内の任意の色は、この４つのベクトルの線形結合で表現できると言い換えることができる。これは、一般に３原色ＲＧＢの視覚空間の議論を数学的に拡張したものである。
【０１１５】
さて、第１および第２の実施の形態では、赤外光成分が重畳された画素信号から赤外光成分だけを分離し、光学的に赤外線カットフィルタを用いたＲＧＢ分光特性に合わせるために、色再現処理として次の関係式が成立するという前提で考案している。
Ｖ→Ｖの線形写像（＝一次変換）：ｆ                            ・・・式１２
【０１１６】
そして、実際に数値計算を行うために次のようにベクトル空間を別のベクトル空間に１対１で対応させることを考えて、第１および第２の実施の形態では議論を展開していた。すなわち数学的に、等色関数の張るベクトル空間Ｖをｎ次元の数ベクトル空間Ｒｎに１対１で対応（全単射）させることができることを利用する。具体的には、各分光特性データを観測波長域３５０乃至１１００ナノメートル（ｎｍ）まで５ナノメートル刻みに分割し、それらに数ベクトル空間の標準基底を１対１に対応させた１５１次元のＲ１５１空間を考える。この空間において、各々の等色関数を数ベクトルとして再定義する。これは、近似的な定義ではあるが十分な分解能を設ければ問題ない。
【０１１７】
この数値を扱うことができるＲＧＢＷ−Ｒｎ(＝１５１)空間において、線形写像ｆを議論する。すなわち、ｆの表現行列を以下に示すと、赤外光成分が重畳された入力光Ｒ_ＩＲ、Ｇ_ＩＲ、Ｂ_ＩＲおよびＷ_ＩＲと赤外光成分とが分離された成分Ｒ、Ｇ、ＢおよびＷとの間に４行×４列の行列Ｈijが存在することになる。
【数１】
0006530751.tif 000002
【０１１８】
ここで、添え字の「_ＩＲ」は、赤外光成分が含まれていることを意味する。次に第１の実施の形態との比較を行うと、第１の実施の形態では図６に例示したように、出力の一部がＷではなくＩＲとなっている。しかし、これはＩＲがＲＧＢＷの任意の線形結合で表現できるとしているため、結局、式１３と等価である。ここでは素直に入力と合わせて出力は赤外光成分を含まないＷにしている。また、第１の実施の形態の各係数Ｋは上式の表現行列の係数Ｈに各々対応する。そこで第１の実施の形態の演算を、式１３を利用して、さらに赤外光成分ＩＲも含めた別の表現で表すと、次の式となる。
【数２】
0006530751.tif 000003
【０１１９】
赤外光成分を分離するということは、式１４の最終行の赤外光成分ＩＲで構成される項がゼロになるようにすることである。式１４は、一般に疑似逆行列を利用して表計算ソフトなどにより簡単に解くことができる。これは、後述の最小二乗法と数学的に等価な処理である。表現こそ違うが、第１の実施の形態で用いられた式と式１４とは本質的に等価である。
【０１２０】
さて、ここから本実施の形態について議論をする。式１４の変換をみると、出力部をＲ、Ｇ、Ｂ、Ｗからｒ、ｇ、ｂ、ｒへと、第１の実施の形態とは違う形式で表現している。この理由は、次のことから区別するために導入した。赤外光成分を理想的に分離するということは、入力信号のうち、赤外光成分がない（Ｒ、Ｇ、Ｂ、Ｗ）が出力の(ｒ、ｇ、ｂ、ｗ)と一致することである。ただし、「式１４の第２項であるＩＲ項を打ち消す条件」のもとで一致しなければならない。言い換えると、一般に、この制約条件（第２項のＩＲ項をすべて「０」とする）の下で、入力の一部と出力を一致させるには誤差が大きく関与するということである。つまり、式１４のｉ番目の成分に着目すると、次の式１５乃至式２２の全てが、全波長域（ｉが１乃至１５１）で成り立つことが、理想的な赤外線分離処理となる。
ｒｉ＝Ｈ１１Ｒｉ＋Ｈ１２Ｇｉ＋Ｈ１３Ｂｉ＋Ｈ１４Ｗｉ＝Ｒｉ            ・・・式１５
ｇｉ＝Ｈ２１Ｒｉ＋Ｈ２２Ｇｉ＋Ｈ２３Ｂｉ＋Ｈ２４Ｗｉ＝Ｇｉ            ・・・式１６
ｂｉ＝Ｈ３１Ｒｉ＋Ｈ３２Ｇｉ＋Ｈ３３Ｂｉ＋Ｈ３４Ｗｉ＝Ｂｉ            ・・・式１７
ｗｉ＝Ｈ４１Ｒｉ＋Ｈ４２Ｇｉ＋Ｈ４３Ｂｉ＋Ｈ４４Ｗｉ＝Ｗｉ            ・・・式１８
０＝（Ｈ１１＋Ｈ１２＋Ｈ１３＋Ｈ１４）ＩＲｉ                       ・・・式１９
０＝（Ｈ２１＋Ｈ２２＋Ｈ２３＋Ｈ２４）ＩＲｉ                       ・・・式２０
０＝（Ｈ３１＋Ｈ３２＋Ｈ３３＋Ｈ３４）ＩＲｉ                       ・・・式２１
０＝（Ｈ４１＋Ｈ４２＋Ｈ４３＋Ｈ４４）ＩＲｉ                       ・・・式２２
【０１２１】
図１８は、第３の実施の形態における、式１５乃至式２２が成立する理想的な感度特性の一例を示すグラフである。第１の実施の形態では、この前提条件のもと、理想状態から誤差を最小にする一意の係数行列Ｈijを求めていた。しかしながら、図１１で求めた分光特性の結果は、可視光域において、ＲＧＢの特性が分離前と大きく異なってしまう問題が発生する。つまり、各ｉについて、ｒｉ、ｇｉ、ｂｉ、ｗｉがＲｉ、Ｂｉ、Ｇｉ、Ｗｉと一致しないことを示唆している。上述のマトリクスを解く過程で生じる誤差は、可視光域での色再現の問題を引き起こす原因となる。
【０１２２】
では、この誤差を最小にする方法が他にないかという課題に対して、本実施の形態では、仮想視覚空間の基底を再定義することで、線形写像を新たに導入し、誤差をさらに最小化することを考案する。
【０１２３】
まず、幾何学的に誤差の問題を考えてみる。もし、赤外光が重畳されたＲ、Ｇ、Ｂ、Ｗ画素のそれぞれの分光特性（以下、「等色関数」と称する。）で作られる仮想視覚空間において、理想的に赤外線分離された各色を表現できるなら上述の条件は満たされる。つまり、赤外線分離を含むすべての色再現処理は、線形写像ｆの表現行列Ｈijで一意に決まる。しかし、実際に誤差が大きく存在するということは、この仮想視覚空間では、理想的な色を表現することができないことを示している。言い換えると、図１９におけるａで示した、４つの等色関数で張られる仮想視覚空間は、実際の赤外光成分が重畳されたＲＧＢＷ色（センサー分光感度）を示すものであるが、赤外光成分を分離してできるＲＧＢＷ色は、この部分空間からずれていると解釈できる。これは、一般の３原色空間の議論と同じもので、測色学では、ノイゲバウア（Neugebauer）の品質係数（quality factor）を用いてＲＧＢ３原色空間からのずれを可視光領域に関して定量化されている。
【０１２４】
さて、第１および第２の実施の形態では、全波長領域（あるいは仮想視覚空間全域）に関して、誤差を生じているわけではない。実際に赤外光領域においては良い結果を得ている。これはある意味、可視光領域を犠牲にして、赤外光成分を分離することを優先処理した結果と考えることができる。つまり第３の実施の形態では、第１および第２の実施の形態の結果を活かし、それらの分離結果を使って可視光領域を補正することを考える。ここで注意したいのは、行列の性質から自明であるが、単純にリニアマトリクスに代表されるような、可視光ＲＧＢ空間の１次変換のみでは可視光域において所望の色再現は実現できない点である。理由は、１次変換ｆとｍとが存在するならば、それらの合成写像もやはり１次変換であるからである。後段で、追加で１次変換（例えば、ＲＧＢの３×３リニアマトリクス）を施しても、全波長域において得られた元の最適解からずれていく（すなわち、誤差が増える）だけである。もちろん、特定の領域に着目した最適化は有効であるが、その場合は他の領域に歪が生じる。このような二律背反的な処理を許容することができるケースであれば、１次変換の組み合わせはこの範囲において有効である。これは、幾何学的な意味から、仮想視覚空間Ｖ→Ｖの変換Ｈij（＝１次変換）では、空間外の色(ここでは、Ｖと異なるＸ空間が存在するとする)を表すことはできないからである。
【０１２５】
これまでの議論から空間を拡張する必要がある。そこで、赤外光成分が重畳されたＲ_ＩＲ、Ｇ_ＩＲ、Ｂ_ＩＲ、Ｗ_ＩＲで張る仮想視覚空間Ｖに適当な基底を追加して、そこに理想的に赤外線分離されたＲＧＢＷの張る部分空間Ｘを含むＳ空間へ拡張することを考える。つまり、Ｓの部分空間にＸやＶが含まれるように、適当な基底を設けて所望の空間へ拡張する。つまり、Ｖ、ＸおよびＳの間には、次の式に示す関係式が成立する。ただし、一般に基底は一意に決まらない。
Ｖ⊂Ｓ                                                        ・・・式２３
Ｘ⊂Ｓ                                                        ・・・式２４
【０１２６】
例えば、Ｖ空間は、（Ｒ_ＩＲ、Ｇ_ＩＲ、Ｂ_ＩＲ、Ｗ_ＩＲ）を基底とする等色関数の張る空間である。そこで、やや天下り的ではあるが、まずＶ空間を第１および第２の実施の形態で算出されたＲ、Ｇ、Ｂ、ＩＲを基底として再定義する。これは実質的な意味において、第１および第２の実施の形態がＶ→Ｖの（自己）同型写像であることを考えれば自明である。動機は、上述したように第１および第２の実施の形態はいずれも赤外光領域において良い近似結果を得ていることから、分離された赤外光成分に着目し、改めてＶ空間を構築したかったことによる。また、それらを基底とするＶ空間は、多項式空間Ｐ４４と見方を変えると、Ｒ、Ｇ、Ｂ、ＩＲを使って、それらの線形独立性および演算、ハードウエア化の容易性を考慮して、この多項式空間の基底を追加してＰ１４４空間に拡張する。このＰ１４４空間は、（Ｒ’、Ｇ’、Ｂ’、ＩＲ’、Ｒ’２、Ｇ’２、Ｂ’２、ＩＲ’２、Ｒ’Ｇ’、Ｒ’Ｂ’、Ｒ’ＩＲ’、Ｇ’Ｂ’、Ｇ’ＩＲ’、Ｂ’ＩＲ’）により表される。
【０１２７】
ここで、Ｒ’、Ｇ’、Ｂ’およびＩＲ’のそれぞれの「’」は、成分Ｒ、Ｇ、ＢおよびＩＲに対して正規化処理が行われたことを示す。正規化処理については後述する。なお、Ｒ’２、Ｇ’２、Ｂ’２、ＩＲ’２、Ｒ’Ｇ’、Ｒ’Ｂ’、Ｒ’ＩＲ’、Ｇ’Ｂ’、Ｇ’ＩＲ’、Ｂ’ＩＲ’は、特許請求の範囲に記載の高次元成分の一例である。
【０１２８】
また、（Ｒ’、Ｇ’、Ｂ’、ＩＲ’）は、第１または第２の実施の形態の線形変換によって生成されたＶ空間のベクトルである。このときのＶ空間は、このベクトルを基底とするＰ４４空間と再定義していることに注意する。つまり、Ｖ空間はＰ４４空間と合同であり、Ｖ空間は、Ｐ１４４４空間に含まれる。
【０１２９】
このように実センサーの分光感度を表す仮想視覚空間Ｖを含む形で拡張することができる。次に、理想的に赤外線分離されたＲＧＢＷの張るＸ空間を含むＳ空間がＰ１４４空間になりうるか、について考える。ここでは、次のように推定して議論を進める。図１８に示した、理想的に赤外線分離されたＲＧＢＷ色で張られるＸ空間と、図１４、１７で例示したＶ空間とは、これらの図の結果から、全く交わらない異なる空間ではなく、一部重なり合った状態にあると考えられる。つまり、次の式に示すように、空間の次元がともに同じで一部重なり合っていることから、Ｖ空間を拡張したＰ１４４空間を仮に当該S空間と仮定してみることは無理なことではない。図１９におけるｂ乃至ｅは、模式的にこのことを示したものである。
ｄｉｍ(Ｖ)＝ｄｉｍ(Ｘ)                                          ・・・式２５
上式において、ｄｉｍ（）は、空間の次元を返す関数である。
【０１３０】
Ｘ空間が、Ｓ空間（すなわちＰ１４４空間）に含まれるという仮定を、図１９におけるｄでは破線で示してある。このとき、同図におけるｅは前記議論と同様に一般に多項式空間Ｐ４４、Ｐ１４４は数ベクトル空間へ各々全単射できるため、次の式に示す線形写像ｑが存在して写像ｍの表現行列が定義できる。
【数３】
0006530751.tif 000004
【０１３１】
つまり、線形写像ｍ：Ｓ→Ｘに対して、次の式に示す条件が成り立つなら、Ｒ１５１→Ｒ１５１の線形写像ｑが存在し、線形写像ｍの表現行列が定義できる。
【数４】
0006530751.tif 000005
【０１３２】
以上の議論から、上述の課題である、理想的に赤外線が分離されたＲＧＢＷで張られるＸ空間にＶを含むＳ空間から写像することが可能となる。これによって、第１および第２の実施の形態で赤外線分離されたＲＧＢおよびＩＲ(またはＷ)をつかって、理想的な色再現が可能となる。本実施の形態では、この仮定Ｐ１４４（すなわちＳ）を「結果の良好さ」において妥当としており、数学的な厳密性よりも実質的な意味において十分であると考えている。
【０１３３】
次に実際に表現行列を導出してみる。赤外光成分は、第１および第２の実施の形態において分離できている。このため、第１および第２の実施の形態の後段に分離された可視光成分Ｒ、Ｇ、Ｂおよび赤外光成分ＩＲを入力信号にして、上述の基底ベクトルで構成される行列演算を行うことで、可視光域の色再現処理を適正に行うことができる。すなわち、後述するハードウエア処理のフローのもと、図２０に示す行列演算処理を第１および第２の実施の形態の結果に施すことで、簡単に所望の色再現が得られる。
【０１３４】
ここで(ｒ、ｇ、ｂ、ｉｒ)は出力信号、（Ｒ’２、Ｇ’２、Ｂ’２、ＩＲ’２、Ｒ’Ｇ’、Ｒ’Ｂ’、Ｒ’ＩＲ’、Ｇ’Ｂ’、Ｇ’ＩＲ’、Ｂ’ＩＲ’）は、入力信号である。
【０１３５】
実際の入力信号は、第１および第２の実施の形態で行われた赤外光成分が分離された状態の信号Ｒ、Ｇ、ＢおよびＩＲで構成されている。撮像装置１００は、これらを、次の式に示すように、各画素値で作られる（Ｒ、Ｇ、Ｂ、ＩＲ）のベクトルのノルムＮにより除する処理を正規化処理として行う。正規化後の成分は、前述のＲ’、Ｇ’、Ｂ’、ＩＲ’である。
Ｒ’＝Ｒ／Ｎ                                                  ・・・式２８
Ｇ’＝Ｇ／Ｎ                                                  ・・・式２９
Ｎ’＝Ｂ／Ｎ                                                  ・・・式３０
ＩＲ’＝ＩＲ／Ｎ                                              ・・・式３１
Ｎ＝（Ｒ２＋Ｇ２＋Ｂ２＋ＩＲ２）１／２                            ・・・式３２
【０１３６】
図２１は、第３の実施の形態における赤外線分離部で用いられる計算式の一例を示す図である。同図に例示するように、式２８乃至式３１の結果を用いて、行列演算が行われる。同図の４×１４のマトリックスの各係数は、上述の議論同様、数ベクトル空間Ｒ１５１から疑似逆行列を使って表計算ソフトなどであらかじめ求めておく。つまり、第１および第２の実施の形態から算出された赤外線分離された分光特性の結果（図１０または１７）を入力データとして、１４個の基底ベクトルが予め算出される。その後、図２０に示すような式から疑似逆行列（本実施例では、ｎは１５１）を用いて、上述の議論同様に表計算ソフトを利用して容易に係数が求められる。
【０１３７】
以上のように、扱う空間を拡張して、全波長域において色再現効果を得るために、本実施の形態では、第１または第２の実施の形態の構成を組み合わせることで、可視光および赤外光領域の色再現を精度よく実現することができる。
【０１３８】
図２２は、第３の実施の形態における赤外線分離後の感度特性の一例を示す図である。同図に示すように、図１４や図１７と比較して、かなりの精度で全波長域が理想的な感度特性に近づいていることがわかる。
【０１３９】
図２３は、第３の実施の形態における赤外線分離部３００の一構成例を示すブロック図である。第３の実施の形態の赤外線分離部３００は、正規化部３６０、正規化成分演算部４００、二乗成分演算部４４０、クロス成分演算部５００、高次元成分加算部３７０および逆正規化部３８０をさらに備える点において第１の実施の形態と異なる。
【０１４０】
正規化部３６０は、式２８乃至式３１に例示した式により、可視光成分Ｒ、Ｇ、Ｂおよび赤外光成分ＩＲに対して正規化を行うものである。正規化部３６０は、正規化後のそれぞれの成分Ｒ’、Ｇ’、Ｂ’およびＩＲ’を正規化成分演算部４００、二乗成分演算部４４０およびクロス成分演算部５００に供給し、ノルムＮを逆正規化部３８０に供給する。
【０１４１】
正規化成分演算部４００は、可視光成分Ｒ’、Ｇ’、Ｂ’およびＩＲ’に対し、４行×４列の行列を用いた演算を行って演算結果を高次元成分加算部３７０に供給するものである。
【０１４２】
二乗成分演算部４４０は、可視光成分Ｒ’、Ｇ’、Ｂ’およびＩＲ’のそれぞれを二乗して二乗成分を生成し、それらに対して４行×４列の行列を用いた演算を行って演算結果を高次元成分加算部３７０に供給するものである。
【０１４３】
クロス成分演算部５００は、可視光成分Ｒ’、Ｇ’、Ｂ’およびＩＲ’のうち２つの一方を他方に乗算して６つの成分をクロス成分として生成し、それらに対して４行×６列の行列を用いた演算を行うものである。このクロス成分演算部５００は、演算結果を高次元成分加算部３７０に供給する。
【０１４４】
高次元成分加算部３７０は、正規化成分演算部４００、二乗成分演算部４４０およびクロス成分演算部５００のそれぞれの演算結果を加算するものである。この高次元成分加算部３７０は、加算結果を高精度成分ｒ、ｇ、ｂおよびｉｒとして逆正規化部３８０に供給するものである。
【０１４５】
逆正規化部３８０は、高精度成分ｒ、ｇ、ｂおよびｉｒのそれぞれにノルムＮを乗算する逆正規化処理を行うものである。この逆正規化部３８０は、逆正規化後の可視光成分Ｒ’’、Ｇ’’、Ｂ’’をホワイトバランス処理部２３０に供給し、逆正規化後の赤外光成分ＩＲ’’を輝度信号生成部２４０に供給する。
【０１４６】
なお、撮像装置１００に二乗成分演算部４４０およびクロス成分演算部５００の両方を設ける構成としているが、いずれか一方のみを設ける構成であってもよい。
【０１４７】
これらの正規化部３６０、正規化成分演算部４００、二乗成分演算部４４０、クロス成分演算部５００、高次元成分加算部３７０および逆正規化部３８０により、赤外光成分および可視光成分が補正されて誤差が低減する。なお、正規化部３６０、正規化成分演算部４００、二乗成分演算部４４０、クロス成分演算部５００、高次元成分加算部３７０および逆正規化部３８０からなる回路は、特許請求の範囲に記載の補正処理部の一例である。
【０１４８】
図２４は、第３の実施の形態における正規化成分演算部４００の一構成例を示す図である。この正規化成分演算部４００は、乗算器４０１、４０５、４０６、４０７、４１１、４１５、４１６および４１７と、加算器４０２、４０３、４０４、４１２、４１３および４１４とを備える。また、正規化成分演算部４００は、乗算器４２１、４２５、４２６、４２７、４３１、４３５、４３６および４３７と、加算器４２２、４２３、４２４、４３２、４３３および４３４とを備える。
【０１４９】
乗算器４０１、４０５、４０６および４０７と、加算器４０２、４０３および４０４とは、係数Ｈ１１、Ｈ１２、Ｈ１３、Ｈ１４によりＲ’、Ｇ’、Ｂ’、ＩＲ’を重み付け加算するものである。この加算結果Ｃｒ１は、高次元成分加算部３７０に供給される。
【０１５０】
乗算器４１１、４１５、４１６および４１７と、加算器４１２、４１３および４１４とは、係数Ｈ２１、Ｈ２２、Ｈ２３、Ｈ２４によりＲ’、Ｇ’、Ｂ’、ＩＲ’を重み付け加算するものである。この加算結果Ｃｇ１は、高次元成分加算部３７０に供給される。
【０１５１】
乗算器４２１、４２５、４２６および４２７と、加算器４２２、４２３および４２４とは、係数Ｈ３１、Ｈ３２、Ｈ３３、Ｈ３４によりＲ’、Ｇ’、Ｂ’、ＩＲ’を重み付け加算するものである。この加算結果Ｃｂ１は、高次元成分加算部３７０に供給される。
【０１５２】
乗算器４３１、４３５、４３６および４３７と、加算器４３２、４３３および４３４とは、係数Ｈ４１、Ｈ４２、Ｈ４３、Ｈ４４によりＲ’、Ｇ’、Ｂ’、ＩＲ’を重み付け加算するものである。この加算結果Ｃｉｒ１は、高次元成分加算部３７０に供給される。
【０１５３】
図２５は、第３の実施の形態における二乗成分演算部４４０の一構成例を示す図である。この二乗成分演算部４４０は、乗算器４４１、４４２、４４３、４４４、４５１、４５５、４５６および４５７と、加算器４５２、４５３および４５４とを備える。また、二乗成分演算部４４０は、乗算器４６１、４６５、４６６、４６７、４７１、４７５、４７６、４７７、４８１、４８５、４８６および４８７と、加算器４６２、４６３、４６４、４７２、４７３、４７４、４８２、４８３および４８４とを備える。
【０１５４】
乗算器４４１乃至４４４は、Ｒ’、Ｇ’、Ｂ’およびＩＲ’を二乗して二乗成分Ｒ’２、Ｇ’２、Ｂ’２、ＩＲ’２を生成するものである。二乗成分Ｒ’２は、乗算器４５１、４６１、４７１および４８１に供給され、二乗成分Ｇ’２は、乗算器４５５、４６５、４７５および４８５に供給される。また、二乗成分Ｂ’２は、乗算器４５６、４６６、４７６および４８６に供給され、二乗成分ＩＲ’２は、乗算器４５７、４６７、４７７および４８７に供給される。
【０１５５】
乗算器４５１、４５５、４５６および４５７と、加算器４５２、４５３および４５４とは、係数Ｈ１５、Ｈ１６、Ｈ１７、Ｈ１８によりＲ’２、Ｇ’２、Ｂ’２、ＩＲ’２を重み付け加算するものである。この加算結果Ｃｒ２は、高次元成分加算部３７０に供給される。
【０１５６】
乗算器４６１、４６５、４６６および４６７と、加算器４６２、４６３および４６４とは、係数Ｈ２５、Ｈ２６、Ｈ２７、Ｈ２８によりＲ’２、Ｇ’２、Ｂ’２、ＩＲ’２を重み付け加算するものである。この加算結果Ｃｇ２は、高次元成分加算部３７０に供給される。
【０１５７】
乗算器４７１、４７５、４７６および４７７と、加算器４７２、４７３および４７４とは、係数Ｈ３５、Ｈ３６、Ｈ３７、Ｈ３８によりＲ’２、Ｇ’２、Ｂ’２、ＩＲ’２を重み付け加算するものである。この加算結果Ｃｂ２は、高次元成分加算部３７０に供給される。
【０１５８】
乗算器４８１、４８５、４８６および４８７と、加算器４８２、４８３および４８４とは、係数Ｈ４５、Ｈ４６、Ｈ４７、Ｈ４８によりＲ’２、Ｇ’２、Ｂ’２、ＩＲ’２を重み付け加算するものである。この加算結果Ｃｉｒ２は、高次元成分加算部３７０に供給される。
【０１５９】
図２６は、第３の実施の形態におけるクロス成分演算部５００の一構成例を示す図である。このクロス成分演算部５００は、乗算器５０１乃至５０６と、クロス成分マトリックス演算部５１０とを備える。
【０１６０】
乗算器５０１は、Ｒ’およびＧ’を乗算して乗算結果をクロス成分Ｒ’Ｇ’としてクロス成分マトリックス演算部５１０に供給するものである。乗算器５０２は、Ｒ’およびＢ’を乗算して乗算結果をクロス成分Ｒ’Ｂ’としてクロス成分マトリックス演算部５１０に供給するものである。乗算器５０３は、ＲＩ’およびＲ’を乗算して乗算結果をクロス成分Ｒ’ＩＲ’としてクロス成分マトリックス演算部５１０に供給するものである。
【０１６１】
また、乗算器５０４は、Ｇ’およびＢ’を乗算して乗算結果をクロス成分Ｇ’Ｂ’としてクロス成分マトリックス演算部５１０に供給するものである。乗算器５０５は、Ｇ’およびＩＲ’を乗算して乗算結果をクロス成分Ｇ’ＩＲ’としてクロス成分マトリックス演算部５１０に供給するものである。乗算器５０６は、Ｂ’およびＩＲ’を乗算して乗算結果をクロス成分Ｂ’ＩＲ’としてクロス成分マトリックス演算部５１０に供給するものである。
【０１６２】
クロス成分マトリックス演算部５１０は、クロス成分に対して、４行×６列のマトリックス演算を行うものである。
【０１６３】
図２７は、第３の実施の形態におけるクロス成分マトリックス演算部５１０の一構成例を示す図である。このクロス成分マトリックス演算部５１０は、乗算器５１１、５１７、５１８、５１９、５２０および５２１と、加算器５１２、５１３、５１４、５１５および５１６とを備える。また、クロス成分マトリックス演算部５１０は、乗算器５３１、５３７、５３８、５３９、５４０および５４１と、加算器５３２、５３３、５３４、５３５および５３６とを備える。また、クロス成分マトリックス演算部５１０は、乗算器５５１、５５７、５５８、５５９、５６０および５６１と、加算器５５２、５５３、５５４、５５５および５５６とを備える。また、クロス成分マトリックス演算部５１０は、乗算器５７１、５７７、５７８、５７９、５８０および５８１と、加算器５７２、５７３、５７４、５７５および５７６とを備える。
【０１６４】
乗算器５１１、５１７、５１８、５１９、５２０および５２１と、加算器５１２、５１３、５１４、５１５および５１６とは、係数Ｈ１９乃至Ｈ１Ｅにより各クロス成分を重み付け加算するものである。この加算結果Ｃｒ３は、高次元成分加算部３７０に供給される。
【０１６５】
乗算器５３１、５３７、５３８、５３９、５４０および５４１と、加算器５３２、５３３、５３４、５３５および５３６とは、係数Ｈ２９乃至Ｈ２Ｅにより各クロス成分を重み付け加算するものである。この加算結果Ｃｇ３は、高次元成分加算部３７０に供給される。
【０１６６】
乗算器５５１、５５７、５５８、５５９、５６０および５６１と、加算器５５２、５５３、５５４、５５５および５５６とは、係数Ｈ３９乃至Ｈ３Ｅにより各クロス成分を重み付け加算するものである。この加算結果Ｃｂ３は、高次元成分加算部３７０に供給される。
【０１６７】
乗算器５７１、５７７、５７８、５７９、５８０および５８１と、加算器５７２、５７３、５７４、５７５および５７６とは、係数Ｈ４９乃至Ｈ４Ｅにより各クロス成分を重み付け加算するものである。この加算結果Ｃｉｒ３は、高次元成分加算部３７０に供給される。
【０１６８】
図２８は、第３の実施の形態における高次元成分加算部３７０の一構成例を示す図である。この高次元成分加算部３７０は、加算器３７１乃至３７８を備える。
【０１６９】
加算器３７１および３７２は、加算結果Ｃｒ１、Ｃｒ２およびＣｒ３を加算して、高精度成分ｒとして逆正規化部３８０に供給するものである。加算器３７３および３７４は、加算結果Ｃｇ１、Ｃｇ２およびＣｇ３を加算して、高精度成分ｇとして逆正規化部３８０に供給するものである。
【０１７０】
また、加算器３７５および３７６は、加算結果Ｃｂ１、Ｃｂ２およびＣｂ３を加算して、高精度成分ｂとして逆正規化部３８０に供給するものである。加算器３７７および３７８は、加算結果Ｃｉｒ１、Ｃｉｒ２およびＣｉｒ３を加算して、高精度成分ｉｒとして逆正規化部３８０に供給するものである。
【０１７１】
このように、本技術の第３の実施の形態によれば、撮像装置１００は、可視光成分、赤外光成分、二乗成分およびクロス成分を重み付け加算して補正するため、可視光成分および赤外光成分の精度をさらに向上させることができる。
【０１７２】
［変形例］
第３の実施の形態では、４行×１４列の行列により赤外光成分および可視光成分を生成していたが、行列をさらに拡張することもできる。第３の実施の形態の変形例の撮像装置１００は、行列をさらに拡張した点において第３の実施の形態と異なる。
【０１７３】
図２９は、第３の実施の形態の変形例における赤外線分離部３００で用いられる計算式の一例を示す図である。赤外線分離部３００は、３乗成分Ｒ’２Ｂ’、Ｒ’２Ｇ’、Ｒ’２ＩＲ’、Ｇ’２Ｒ’、Ｇ’２Ｂ’、Ｇ’２ＩＲ’、Ｂ’２Ｒ’、Ｂ’２Ｇ’、Ｂ’２ＩＲ’ 、ＩＲ’２Ｒ’、ＩＲ’２Ｇ’、ＩＲ’２Ｂ’をさらに生成する。そして、赤外線分離部３００は、可視光成分、赤外光成分、二乗成分、クロス成分および３乗成分を重み付け加算して、ｒ、ｇ、ｂおよびｉｒを求める。
【０１７４】
なお、赤外線分離部３００は、二乗成分、クロス成分および３乗成分の全てを生成しているが、３乗成分のみを生成してもよいし、２乗成分およびクロス成分の一方と３乗成分とを生成してもよい。また、３乗成分は、特許請求の範囲に記載の高次元成分の一例である。
【０１７５】
また、赤外線分離部３００は、３乗成分よりさらに次元の高い成分を生成して、重み付け加算を行ってもよい。３乗成分より次元の高い高次元成分として、例えば、３乗成分にＲ’、Ｇ’、Ｂ’およびＩＲ’を乗算した４乗成分が生成される。
【０１７６】
このように、第３の実施の形態の変形例によれば、撮像装置１００は、撮像装置１００は、３乗成分をさらに重み付け加算して補正するため、可視光成分および赤外光成分の精度をさらに向上させることができる。
【０１７７】
＜４．第４の実施の形態＞
第１の実施の形態では、撮像装置１００に予め係数が設定されている構成としていたが、係数を算出する情報処理装置を別途設け、その情報処理装置で算出した係数を撮像装置１００に設定してもよい。第４の実施の形態の撮像システムは、係数を算出する情報処理装置をさらに設けた点において第１の実施の形態と異なる。
【０１７８】
図３０は、第４の実施の形態における撮像システムの一構成例を示すブロック図である。この撮像システムは、情報処理装置６００および撮像装置１００を備える。
【０１７９】
情報処理装置６００は、重み付け加算における係数を算出するものである。この情報処理装置６００は、入力部６１０、赤外線分離部６２０、係数取得部６３０およびインターフェース６４０を備える。
【０１８０】
入力部６１０は、感度特性データを赤外線分離部６２０に入力し、目標データを係数取得部６３０に入力するものである。ここで、感度特性データは、画素ごとの感度特性を示すデータである。例えば、図１２に示した感度特性曲線において、３５０乃至１１００ナノメートルの範囲で、５ナノメートル刻みに、その波長の光に対する感度が入力される。３５０乃至１１００ナノメートルの範囲を５ナノメートルごとに分割した際の分割数は、１５１個である。感度特性データは、１５１個の波長のそれぞれの感度の値を、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれについて含む。つまり、１５１×４個の感度が入力される。なお、波長の分解能は５ナノメートルに限定されない。例えば、５ナノメートルより細かくして、精度を向上させてもよい。
【０１８１】
また、目標データは、理想的な赤外光成分および可視光成分の特性を示すデータである。例えば、図１８に示した、理想的な感度特性曲線において、３５０乃至１１００ナノメートルの範囲で、５ナノメートル刻みに、その波長の光に対する感度が目標感度として入力される。
【０１８２】
なお、感度特性データおよび目標データとして、波長ごとの感度が入力される構成としているが、この構成に限定されない。例えば、図１２に示した感度特性曲線における各波長の感度の合計値や平均値などの統計量を画素ごとに含むデータが感度特性データとして入力されてもよい。同様に、図１８に示した感度特性曲線における各波長の感度の合計値や平均値などの統計量を画素ごとに含むデータが目標データとして入力されてもよい。
【０１８３】
赤外線分離部６２０の構成は、第１の実施の形態の赤外線分離部３００と同様である。この赤外線分離部６２０は、感度特性データに基づいて図６におけるａの行列を使用して、行列式のＲ、Ｇ、ＢおよびＩＲを出力感度ＩＲｏｕｔｋ、Ｒｏｕｔｋ、Ｇｏｕｔｋ、Ｂｏｕｔｋに置き換えて波長ごとにそれらを算出する。ここで、ｋは、波長を示す。赤外線分離部６２０は、求めた出力感度を係数取得部６３０に供給する。なお、赤外線分離部６２０は、特許請求の範囲に記載の差分取得部の一例である。
【０１８４】
係数取得部６３０は、出力感度と目標感度との誤差が最小になる係数を演算するものである。例えば、次の式における誤差が最小となる係数が算出される。
【数５】
0006530751.tif 000006
【数６】
0006530751.tif 000007
【数７】
0006530751.tif 000008
【数８】
0006530751.tif 000009
【０１８５】
式３３より誤差ＲＥＲＲＯＲが最小になる係数Ｋ１１乃至Ｋ１４が算出される。式３４より誤差ＧＥＲＲＯＲが最小になる係数Ｋ２１乃至Ｋ２４が算出される。また、式３５より誤差ＢＥＲＲＯＲが最小になる係数Ｋ３１乃至Ｋ３４が算出され、式３６より誤差ＩＲＥＲＲＯＲが最小になる係数Ｋ４１乃至Ｋ４４として算出される。係数取得部６３０は、求めた係数をインターフェース６４０を介して撮像装置１００に供給する。
【０１８６】
なお、情報処理装置６００は、目標データおよび感度特性データから係数を求めているが、係数Ｋ４１乃至Ｋ４４については、可視光領域（例えば、３５０乃至６５０ナノメートル）の各画素の感度特性データのみから求めることもできる。この場合には、例えば、可視光領域のＲ、Ｇ、Ｂ、Ｗ画素の感度を重み付け加算した加算値が許容値未満になる係数が求められる。この許容値には、Ｋ４１、Ｋ４２、Ｋ４３およびＫ４４をそれぞれ０．５、０．５、０．５および−０．５とした場合の加算値以下の値が設定される。ただし、精度を高くする観点から、情報処理装置６００は、目標データおよび感度特性データから係数を求めることがより望ましい。
【０１８７】
また、情報処理装置６００は、誤差が最小となる係数を求めているが、誤差が設定値以下となる係数を求めてもよい。Ｋ１１、Ｋ１２、Ｋ１３およびＫ１４を求める際の設定値には、それらを０．５、−０．５、−０．５および０．５とした場合の誤差ＲＥＲＲＯＲ未満の値が設定される。Ｋ２１、Ｋ２２、Ｋ２３およびＫ２４を求める際の設定値には、それらを−０．５、０．５、−０．５および０．５とした場合の誤差ＧＥＲＲＯＲ未満の値が設定される。Ｋ３１、Ｋ３２、Ｋ３３およびＫ３４を求める際の設定値には、それらを−０．５、−０．５、０．５および０．５とした場合の誤差ＢＥＲＲＯＲ未満の値が設定される。Ｋ４１、Ｋ４２、Ｋ４３およびＫ４４を求める際の設定値には、それらを０．５、０．５、０．５および−０．５とした場合の誤差ＩＲＥＲＲＯＲ未満の値が設定される。ただし、精度を高くする観点から、情報処理装置６００は、各誤差が最小となる係数を求めることが望ましい。
【０１８８】
また、赤外線分離部６２０を第１の実施の形態と同じ構成としているが、第２の実施の形態と同じ構成にしてもよい。この場合には、係数Ｋ１１乃至Ｋ４１と、係数Ｋｒ、ＫｇおよびＫｂとが算出される。また、赤外線分離部６２０を第３の実施の形態と同じ構成にしてもよい。この場合には、図２０に示した行列における各係数が算出される。
【０１８９】
図３１は、第４の実施の形態における情報処理装置６００の動作の一例を示すフローチャートである。この動作は、例えば、係数を演算するための所定のアプリケーションが実行されたときに開始する。
【０１９０】
情報処理装置６００は、感度特性データが入力されると、そのデータをメモリなどに保持する（ステップＳ９２１）。そして、情報処理装置６００は、重み付け加算により、出力感度を算出する（ステップＳ９２２）。また、情報処理装置６００は、目標データが入力されると、そのデータをメモリなどに保持する（ステップＳ９２３）。情報処理装置６００は、目標データ内の目標と出力感度との誤差が最小になる係数を演算する（ステップＳ９２４）。ステップＳ９２４の後、情報処理装置６００は、係数の演算を終了する。
【０１９１】
このように本技術の第４の実施の形態によれば、情報処理装置６００が画素の出力感度を重み付け加算した値と目標感度との間の誤差が最小になる係数を求めるため、撮像装置１００は、それらの係数により赤外光成分を正確に分離することができる。
【０１９２】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１９３】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１９４】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１９５】
なお、本技術は以下のような構成もとることができる。
（１）可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの前記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光および前記不可視光に対して感度を有する第２画素の前記可視光に対する感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる前記第１および第２の重み係数のうち前記第１の重み係数により前記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算部と、
前記第２画素の画素信号を前記第２の重み係数により重み付けする重み付け処理部と、
前記重み付けされた前記第２画素の画素信号と前記加算値との差分を前記画素信号内の前記不可視光の成分として生成する不可視光成分生成部と
を具備する画像処理装置。
（２）前記複数の第１画素のそれぞれの画素信号に基づいて当該画素信号内の前記可視光の成分を生成する可視光成分生成部をさらに具備する
前記（１）記載の画像処理装置。
（３）前記可視光成分生成部は、前記可視光および前記不可視光を含む光に対する前記複数の第１画素および前記第２画素のそれぞれの感度を互いに異なる第３の重み係数により重み付けして加算した値と前記複数の第１画素のいずれかの対象画素の前記可視光に対する感度との間の差分が所定の設定値より小さくなる前記第３の重み係数により前記複数の第１画素と前記第２画素とのそれぞれの画素信号を重み付け加算した信号を前記対象画素の画素信号内の前記可視光の成分として生成する
前記（２）記載の画像処理装置。
（４）前記可視光成分生成部は、前記複数の第１画素のうち対象画素の前記不可視光に対する感度が高いほど大きな第４の重み係数により前記不可視光の成分を重み付けした値と前記対象画素の画素信号との差分を前記可視光の成分として生成する
前記（２）記載の画像処理装置。
（５）前記可視光および前記可視光の成分のいずれよりも次元の高い高次元成分を生成して当該高次元成分と前記不可視光の成分と前記可視光の成分とのそれぞれを重み付けして加算する処理により前記可視光および前記不可視光の成分を補正する補正処理部をさらに具備する
前記（２）または（３）記載の画像処理装置。
（６）前記補正処理部は、前記不可視光の成分を二乗した値と前記可視光の成分を二乗した値との少なくとも一方を前記高次元成分として生成する
前記（５）記載の画像処理装置。
（７）前記可視光成分は、複数の色成分を含み、
前記補正処理部は、前記不可視光の成分と前記複数の色成分とのうち２つの成分の一方に他方を乗じた成分を前記高次元成分として生成する
前記（５）または（６）に記載の画像処理装置。
（８）前記補正処理部は、前記不可視光の成分を二乗した値に前記可視光の成分を乗じた値と前記可視光の成分を二乗した値に前記不可視光の成分を乗じた値との少なくとも一方を前記高次元成分として生成する
前記（５）から（７）のいずれかに記載の画像処理装置。
（９）前記第２の画素の画素信号が所定の閾値より大きいか否かを検出して前記画素信号が前記所定の閾値より大きい場合には前記第２画素の画素信号と前記不可視光の成分とを重み付け加算する検出部をさらに具備する
請求項１記載の画像処理装置。
（１０）前記第２画素の画素信号と前記不可視光成分を重み付けした値との差分を輝度信号として生成する輝度信号生成部をさらに具備する
前記（１）から（９）のいずれかに記載の画像処理装置。
（１１）前記複数の第１画素は、前記可視光のうち赤色光に対する感度が最も高い画素と前記可視光のうち緑色光に対する感度が最も高い画素と前記可視光のうち青色光に対する感度が最も高い画素とを含み、
前記第２画素は、前記可視光のうち白色光に対する感度が最も高い画素である
前記（１）から（１０）のいずれかに記載の画像処理装置。
（１２）可視光および不可視光に対して感度を有する複数の第１画素と前記可視光および前記不可視光に対して感度を有する第２画素とのそれぞれの画素信号を含む画像データを撮像する撮像部と、
可視光に対する前記複数の第１画素のそれぞれの感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光に対する前記第２画素の感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる前記第１および第２の重み係数のうち前記第１の重み係数により前記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算部と、
前記第２画素の画素信号を前記第２の重み係数により重み付けする重み付け処理部と、
前記重み付けされた前記第２画素の画素信号と前記加算値との差分を前記画素信号内の前記不可視光の成分として生成する不可視光成分生成部と
を具備する撮像装置。
（１３）可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの前記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光および前記不可視光に対して感度を有する第２画素の前記可視光に対する感度を第２の重み係数により重み付けした値との差分を求める差分取得部と、
前記差分が所定の許容値よりも小さくなる前記第１および第２の重み係数を求める係数取得部と
を具備する情報処理装置。
（１４）加算部が、可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの前記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光および前記不可視光に対して感度を有する第２画素の前記可視光に対する感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる前記第１および第２の重み係数のうち前記第１の重み係数により前記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算手順と、
重み付け処理部が、前記第２画素の画素信号を前記第２の重み係数により重み付けする重み付け処理手順と、
可視光成分生成部が、前記重み付けされた前記第２画素の画素信号と前記加算値との差分を前記画素信号内の不可視光の成分として生成する不可視光成分生成手順と
を具備する画像処理方法。
（１５）加算部が、可視光および不可視光に対して感度を有する複数の第１画素のそれぞれの前記可視光に対する感度を互いに異なる第１の重み係数により重み付けした値を全て加算した値と前記可視光および前記不可視光に対して感度を有する第２画素の前記可視光に対する感度を第２の重み係数により重み付けした値との差分が所定の許容値よりも小さくなる前記第１および第２の重み係数のうち前記第１の重み係数により前記複数の第１画素のそれぞれの画素信号を重み付けした値を全て加算して加算値を生成する加算手順と、
重み付け処理部が、前記第２画素の画素信号を前記第２の重み係数により重み付けする重み付け処理手順と、
可視光成分生成部が、前記重み付けされた前記第２画素の画素信号と前記加算値との差分を前記画素信号内の不可視光の成分として生成する不可視光成分生成手順と
をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１９６】
１００  撮像装置
１１０  撮像レンズ
１２０  光学フィルタ
１３０  撮像素子
１４０  記録部
１５０  制御部
１６０  赤外光投光器
１７０  測光部
２００  画像処理部
２１０  低周波補間ローパスフィルタ
２２０  高周波補間ローパスフィルタ
２３０  ホワイトバランス処理部
２４０  輝度信号生成部
２４１  スイッチ
２４２、３１１、３１５、３１６、３１７、３２１、３２５、３２６、３２７、３２９、３３１、３３５、３３６、３３７、３３９、３４１、３４５、３４６、３４７、３４９、３５１、３５３、３５４、３５６、３５７、３５９、３６０、４０１、４０５、４０６、４０７、４１１、４１５、４１６、４１７、４２１、４２５、４２６、４２７、４３１、４３５、４３６、４３７、４４１、４４２、４４３、４４４、４５１、４５５、４５６、４５７、４６１、４６５、４６６、４６７、４７１、４７５、４７６、４７７、４８１、４８５、４８６、４８７、５０１、５０２、５０３、５０４、５０５、５０６、５１１、５１７、５１８、５１９、５２０、５２１、５３１、５３７、５３８、５３９、５４０、５４１、５５１、５５７、５５８、５５９、５６０、５６１、５７１、５７７、５７８、５７９、５８０、５８１  乗算器
２４３、３２８、３３８、３４８  減算器
２５０  ガンマ補正部
２６０  色差信号生成部
３００、６２０  赤外線分離部
３１０  赤外光成分生成部
３１２、３１３、３１４、３２２、３２３、３２４、３３２、３３３、３３４、３４２、３４３、３５２、３５５、３５８、３７１、３７２、３７３、３７４、３７５、３７６、３７７、３７８、４０２、４０３、４０４、４１２、４１３、４１４、４２２、４２３、４２４、４３２、４３３、４３４、４５２、４５３、４５４、４６２、４６３、４６４、４７２、４７３、４７４、４８２、４８３、４８４、５１２、５１３、５１４、５１５、５１６、５３２、５３３、５３４、５３５、５３６、５５２、５５３、５５４、５５５、５５６、５７２、５７３、５７４、５７５、５７６  加算器
３２０  可視光成分生成部
３５０  飽和画素検出部
３６０  正規化部
３６１  α値制御部
３７０  高次元成分加算部
３８０  逆正規化部
４００  正規化成分演算部
４４０  二乗成分演算部
５００  クロス成分演算部
５１０  クロス成分マトリックス演算部
６００  情報処理装置
６１０  入力部
６３０  係数取得部
６４０  インターフェース
【図１】
0006530751.tif 000010
【図２】
0006530751.tif 000011
【図３】
0006530751.tif 000012
【図４】
0006530751.tif 000013
【図５】
0006530751.tif 000014
【図６】
0006530751.tif 000015
【図７】
0006530751.tif 000016
【図８】
0006530751.tif 000017
【図９】
0006530751.tif 000018
【図１０】
0006530751.tif 000019
【図１１】
0006530751.tif 000020
【図１２】
0006530751.tif 000021
【図１３】
0006530751.tif 000022
【図１４】
0006530751.tif 000023
【図１５】
0006530751.tif 000024
【図１６】
0006530751.tif 000025
【図１７】
0006530751.tif 000026
【図１８】
0006530751.tif 000027
【図１９】
0006530751.tif 000028
【図２０】
0006530751.tif 000029
【図２１】
0006530751.tif 000030
【図２２】
0006530751.tif 000031
【図２３】
0006530751.tif 000032
【図２４】
0006530751.tif 000033
【図２５】
0006530751.tif 000034
【図２６】
0006530751.tif 000035
【図２７】
0006530751.tif 000036
【図２８】
0006530751.tif 000037
【図２９】
0006530751.tif 000038
【図３０】
0006530751.tif 000039
【図３１】
0006530751.tif 000040