(57)【要約】【課題】夜間モードに代表される、可視光信号が微弱な環境においても良好なカラー画像を出力できる撮像装置および画像信号処理方法を提供する。【解決手段】本発明の撮像装置は、二次元状に配置された複数の受光素子の上に配置された、可視光と近赤外光とを透過する複数種類の色フィルタを透過して光電変換された複数種類の色信号と、近赤外光のみを透過する近赤外フィルタを透過して光電変換された近赤外信号とを読み出す読み出し部と、単位画素ごとに、複数種類の色信号に混合すべき近赤外信号の割合を表す混合係数ｋを、近赤外信号の信号量に応じて算出するｋ算出部２２２と、複数種類の色信号と近赤外信号とを混合係数ｋに基づいて単位画素ごとに混合し輝度信号として出力する輝度計算部２２３と、複数種類の色信号、近赤外信号、輝度信号を用いて、単位画素ごとに複数の色成分信号を計算して出力する色差計算部２１５とを備える。【選択図】図１
2012244533.tif 000002
【特許請求の範囲】
【請求項１】
二次元状に配置され、入射光を光電変換する複数の受光素子と、
前記複数の受光素子の上に配置された、可視光と近赤外光とを透過する複数種類の色フィルタおよび近赤外光のみを透過する近赤外フィルタと、
前記色フィルタを透過して光電変換された複数種類の色信号と、前記近赤外フィルタを透過して光電変換された近赤外信号とを前記複数の受光素子から読み出す読み出し部と、
前記近赤外フィルタが配置された受光素子と当該受光素子に隣接する前記色フィルタが配置された受光素子とで構成される単位画素ごとに、前記読み出し部から読み出された前記複数種類の色信号に混合すべき前記近赤外信号の割合を表す混合係数を、前記近赤外信号の信号量に応じて算出する係数算出部と、
前記読み出し部から読み出された前記複数種類の色信号と前記近赤外信号とを、前記係数算出部で算出された前記混合係数に基づいて前記単位画素ごとに混合し、当該混合され信号を輝度信号として出力する輝度計算部と、
前記複数種類の色信号および前記近赤外信号、ならびに前記輝度信号を用いて、前記単位画素ごとに複数の色成分信号を計算して出力する色成分計算部とを備える
撮像装置。
【請求項２】
前記近赤外フィルタが配置された受光素子上に形成された集光レンズの焦点距離は、前記複数種類の色フィルタが配置された受光素子上に形成された集光レンズの焦点距離より短い
請求項１に記載の撮像装置。
【請求項３】
前記集光レンズは、
入射光の波長と同程度かそれよりも短い線幅で分割された同心構造の光透過膜により生じる実効屈折率分布を有する
請求項２に記載の撮像装置。
【請求項４】
前記近赤外フィルタが配置された受光素子上に形成された集光レンズの屈折率は、前記複数種類の色フィルタが配置された受光素子上に形成された集光レンズの屈折率よりも大きい
請求項１に記載の撮像装置。
【請求項５】
前記近赤外フィルタが配置された受光素子上に形成された層間膜の屈折率は、前記複数種類の色フィルタが配置された受光素子上に形成された層間膜の屈折率よりも大きい
請求項１に記載の撮像装置。
【請求項６】
二次元状に配置され入射光を光電変換する複数の受光素子と、当該複数の受光素子の上に配置された、可視光と近赤外光とを透過する複数種類の色フィルタおよび近赤外光のみを透過する近赤外フィルタとを備える撮像装置において行われる画像信号処理方法であって、
前記色フィルタを透過して光電変換された複数種類の色信号と、前記近赤外フィルタを透過して光電変換された近赤外信号とを前記複数の受光素子から読み出す読み出しステップと、
前記近赤外フィルタが配置された受光素子と当該受光素子に隣接する前記色フィルタが配置された受光素子とで構成される単位画素ごとに、前記読み出しステップにて読み出された前記複数種類の色信号に混合すべき前記近赤外信号の割合を表す混合係数を、前記近赤外信号の信号量に応じて算出する係数算出ステップと、
前記読み出しステップにて読み出された前記複数種類の色信号と前記近赤外信号とを、前記係数算出ステップにて算出された前記混合係数に基づいて前記単位画素ごとに混合し、当該混合され信号を輝度信号として出力する輝度出力ステップと、
前記複数種類の色信号、前記近赤外信号および前記輝度信号、ならびに前記輝度信号を用いて、前記単位画素ごとに複数の色成分信号を計算して当該複数の色成分信号を出力する色成分出力ステップとを含む
画像信号処理方法。
【請求項７】
前記係数算出ステップでは、
同一フレーム画像内の第１の領域が白黒画像となるように前記混合係数を算出し、
前記第１の領域と異なる第２の領域がカラー画像となるように前記混合係数を算出する
請求項６に記載の画像信号処理方法。
【請求項８】
前記複数種類の色信号および前記赤外信号は、それぞれ、正規化された値を有し、
前記輝度出力ステップにて出力される前記輝度信号をＹ、前記複数種類の色信号のうち赤色の前記色フィルタを有する受光素子から読み出された輝度信号を（Ｒ＋ＩＲ）、緑色の前記色フィルタを有する受光素子から読み出された輝度信号を（Ｇ＋ＩＲ）、青色の前記色フィルタを有する受光素子から読み出された輝度信号を（Ｂ＋ＩＲ）、前記近赤外フィルタを有する受光素子から読み出された輝度信号をＩＲ、前記混合係数をｋとすると、
Ｙ＝（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ）＋ｋ×ＩＲ
で表され、
前記係数算出ステップでは、前記混合係数を、−３から＋１の範囲内の値において算出する
請求項６または７に記載の画像信号処理方法。
【請求項９】
前記色成分出力ステップでは、
複数の色成分信号のうちの赤色成分信号の利得を最大とするように、前記複数種類の色信号および前記近赤外信号が含む近赤外信号成分の成分量を調整して当該複数の色成分信号を出力する
請求項６に記載の画像信号処理方法。
【請求項１０】
前記色成分出力ステップでは、
複数の色成分信号のうちの赤色成分信号の利得を最大とするように、前記複数種類の色信号のうちの赤色信号の利得を他の色信号の利得よりも増加させて当該複数の色成分信号を出力する
請求項６に記載の画像信号処理方法。
【請求項１１】
前記係数算出ステップでは、１フレーム内の最小１画素行ごとに、前記混合係数を、前記近赤外信号の信号量に応じて算出し、
前記輝度出力ステップでは、前記複数種類の色信号と前記近赤外信号とを、前記混合係数に基づいて混合し、当該混合され信号を輝度信号として出力し、
前記色成分出力ステップでは、前記複数種類の色信号、前記近赤外信号及び前記輝度信号を用いて、複数の色成分信号を計算して当該複数の色成分信号を出力することにより、カラー画像と近赤外光による輝度成分を主とする白黒画像とを１フレーム内の最小１行単位で切り替えて表示させる
請求項６に記載の画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可視光と近赤外光とを受光する撮像装置および画像信号処理方法に関する。
【背景技術】
【０００２】
近年、セキュリティ、ネットワーク、車載などの用途として、昼間は可視光を光源としてカラー画像を撮像し、夜間は近赤外光を受光して白黒画像を撮像するという機能を有する、昼夜兼用またはデイナイトと称される撮像装置の需要が急速に高まりつつある。
【０００３】
特許文献１では、デイナイト機能を有する従来の撮像装置が開示されている。具体的には、昼間においては、二次元状に配置された受光素子上に異なる色のカラーフィルタが搭載されたＭＯＳセンサや電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等の固体撮像素子の受光経路上に、近赤外光を遮断するＩＲカットフィルタを配置することで、可視光カラー画像を撮像する。一方、夜間においては、ＩＲカットフィルタをとりはずすことで、各画素の信号を全て輝度信号として用いることで白黒画像を撮像する。
【０００４】
また、特許文献２では、光学系にＩＲカットフィルタを配置せずにデイナイト機能を有する従来の撮像装置が開示されている。具体的には、異なる色フィルタを搭載した複数の可視光用受光素子と、少なくとも一つの近赤外光専用受光素子とを用い、昼間においては、可視光用受光素子の信号に混入する近赤外光成分と、専用受光素子で得られる純粋な近赤外光成分とを差分することにより可視カラー画像を撮像し、夜間においては、全画素に入射する近赤外信号を輝度信号として白黒画像を撮像する。
【０００５】
また、特許文献３では、赤色光と近赤外光（Ｒ＋ＩＲ）、緑色光と近赤外光（Ｇ＋ＩＲ）あるいは青色光と近赤外光（Ｂ＋ＩＲ）を外部光源で照明した被写体を、モノクロ固体撮像素子で撮像することで、可視光と同時に透過したＩＲ信号も使って輝度信号を向上させる従来技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第４３１６６５９号明細書
【特許文献２】特開２００８−３５０９０号公報
【特許文献３】特開昭６３−１３５１２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１で開示された従来技術は、ＩＲカットフィルタを着脱する機械式切り替え装置が必要であるため、部品点数の増加に伴うコスト増、機械式部品の疲労による信頼性低下、そして昼夜境界時における突然の切り替えによる光学系と信号処理系とのミスマッチ、具体的には、例えば、露光量ずれによる低品質画像出力期間の発生、という課題を有している。
【０００８】
また、特許文献２で開示された従来技術は、一旦夜間モードに切り替わると、常時近赤外光を基にした輝度信号を形成し、白黒画像のみを出力する方式であるため、夜間モードにおいてカラー画像を得ることが出来ない、という課題を有している。
【０００９】
また、特許文献３で開示された従来技術においても、一旦夜間モードに切り替わると、常時近赤外光を基にした輝度信号を形成し、白黒画像のみを出力する方式であるため、夜間モードにおいてカラー画像を得ることができず、フレーム内でのモード切替できない、という課題を有している。
【００１０】
このため、例えば、セキュリティ、ネットワーク、車載などの用途のカメラにおいては、夜間においても街灯や家屋からの漏れ光等を光源とする微弱な色信号成分を利用した画像を撮像することが困難な状況にある。
【００１１】
本発明は、上記課題に鑑みてなされたものであり、夜間モードに代表される、可視光信号が微弱な環境においても良好なカラー画像を出力できる撮像装置および画像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、本発明の一態様に係る撮像装置は、二次元状に配置され、入射光を光電変換する複数の受光素子と、前記複数の受光素子の上に配置された、可視光と近赤外光とを透過する複数種類の色フィルタおよび近赤外光のみを透過する近赤外フィルタと、前記色フィルタを透過して光電変換された複数種類の色信号と、前記近赤外フィルタを透過して光電変換された近赤外信号とを前記複数の受光素子から読み出す読み出し部と、前記近赤外フィルタが配置された受光素子と当該受光素子に隣接する前記色フィルタが配置された受光素子とで構成される単位画素ごとに、前記読み出し部から読み出された前記複数種類の色信号に混合すべき前記近赤外信号の割合を表す混合係数を、前記近赤外信号の信号量に応じて算出する係数算出部と、前記読み出し部から読み出された前記複数種類の色信号と前記近赤外信号とを、前記係数算出部で算出された前記混合係数に基づいて前記単位画素ごとに混合し、当該混合され信号を輝度信号として出力する輝度計算部と、前記複数種類の色信号および前記近赤外信号、ならびに前記輝度信号を用いて、前記単位画素ごとに複数の色成分信号を計算して出力する色成分計算部とを備えることを特徴とする。
【００１３】
上記態様によれば、近赤外信号の信号量に応じて混合係数を算出することにより、可視光信号が微弱であっても色成分信号を有効に残して、画像をカラー化することが可能となる。言い換えれば、輝度信号に占める近赤外信号の割合を、近赤外信号量に応じて調整可能にする。
【００１４】
例えば、混合係数を小さくすれば（輝度信号に占める近赤外信号の割合を小さくすれば）、色成分信号（例えば色差信号）が相対的に大きくなり、画像を白黒からカラーに近づけることができる。逆に、混合係数を大きくすれば（輝度信号に占める近赤外信号の割合を大きくすれば）、色成分信号（例えば色差信号）が相対的に小さくなり画像をカラーから白黒に近づけることができる。
【００１５】
よって、白黒画像、白黒に近いカラー画像、白黒とカラー画像の中間的な画像、カラーに近い白黒画像、カラー画像、というように、混合係数に応じて画像を段階的に生成することが可能となる。これを単位画素ごとに制御することで、特に夜間に近赤外光を利用した擬似カラーモードでの画像出力時でも、注目物体の性質に応じて、特定注目領域のみを高解像度白黒画像にすること、または、赤色を強調することなどが可能であり、注目物体を認識し易くなる。
【００１６】
また、前記近赤外フィルタが配置された受光素子上に形成された集光レンズの焦点距離は、前記複数種類の色フィルタが配置された受光素子上に形成された集光レンズの焦点距離より短いことが好ましい。
【００１７】
波長が長いほど焦点距離が短くなることから、上記態様により、波長が可視光より長い近赤外光の信号を効率よく受光素子に入射できる。
【００１８】
また、前記集光レンズは、入射光の波長と同程度かそれよりも短い線幅で分割された同心構造の光透過膜により生じる実効屈折率分布を有してもよい。
【００１９】
これにより、斜め入射光での集光効率の増加ならびに解像度および感度の向上が図られ、高精細でかつ色再現性が高い固体撮像素子を実現できる。
【００２０】
また、前記近赤外フィルタが配置された受光素子上に形成された集光レンズの屈折率は、前記複数種類の色フィルタが配置された受光素子上に形成された集光レンズの屈折率よりも大きいことが好ましい。
【００２１】
屈折率が大きいほど焦点距離が短くなることから、上記態様により、波長が可視光より長い近赤外光の信号を効率よく受光素子に入射できる。
【００２２】
また、前記近赤外フィルタが配置された受光素子上に形成された層間膜の屈折率は、前記複数種類の色フィルタが配置された受光素子上に形成された層間膜の屈折率よりも大きいことが好ましい。
【００２３】
波長が可視光より長い近赤外光用の受光素子上に形成された層間膜の屈折率は、（可視光＋近赤外光）用の受光素子上に形成された層間膜の屈折率より大きいので、波長が可視光より長い近赤外光の信号を効率よく受光素子に入射できる。
【００２４】
また、本発明は、このような特徴的な手段を備える撮像装置として実現することができるだけでなく、撮像装置に含まれる特徴的な手段をステップとする画像信号処理方法として実現することができる。
【００２５】
上記の課題を解決するために、本発明の一態様に係る画像信号処理方法は、二次元状に配置され入射光を光電変換する複数の受光素子と、当該複数の受光素子の上に配置された、可視光と近赤外光とを透過する複数種類の色フィルタおよび近赤外光のみを透過する近赤外フィルタとを備える撮像装置において行われる画像信号処理方法であって、前記色フィルタを透過して光電変換された複数種類の色信号と、前記近赤外フィルタを透過して光電変換された近赤外信号とを前記複数の受光素子から読み出す読み出しステップと、前記近赤外フィルタが配置された受光素子と当該受光素子に隣接する前記色フィルタが配置された受光素子とで構成される単位画素ごとに、前記読み出しステップにて読み出された前記複数種類の色信号に混合すべき前記近赤外信号の割合を表す混合係数を、前記近赤外信号の信号量に応じて算出する係数算出ステップと、前記読み出しステップにて読み出された前記複数種類の色信号と前記近赤外信号とを、前記係数算出ステップにて算出された前記混合係数に基づいて前記単位画素ごとに混合し、当該混合され信号を輝度信号として出力する輝度出力ステップと、前記複数種類の色信号、前記近赤外信号および前記輝度信号、ならびに前記輝度信号を用いて、前記単位画素ごとに複数の色成分信号を計算して当該複数の色成分信号を出力する色成分出力ステップとを含むことを特徴とする。
【００２６】
また、前記係数算出ステップでは、同一フレーム画像内の第１の領域が白黒画像となるように前記混合係数を算出し、前記第１の領域と異なる第２の領域がカラー画像となるように前記混合係数を算出してもよい。
【００２７】
これにより、カラー画像を、夜間および昼間に関係なく常に出力することが可能となる。さらに、特定注目領域のみ、高解像度の白黒画像またはカラー画像にすることができるので、解像度または視認性を向上させることが可能となる。
【００２８】
また、前記複数種類の色信号および前記赤外信号は、それぞれ、正規化された値を有し、前記輝度出力ステップにて出力される前記輝度信号をＹ、前記複数種類の色信号のうち赤色の前記色フィルタを有する受光素子から読み出された輝度信号を（Ｒ＋ＩＲ）、緑色の前記色フィルタを有する受光素子から読み出された輝度信号を（Ｇ＋ＩＲ）、青色の前記色フィルタを有する受光素子から読み出された輝度信号を（Ｂ＋ＩＲ）、前記近赤外フィルタを有する受光素子から読み出された輝度信号をＩＲ、前記混合係数をｋとすると、Ｙ＝（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ）＋ｋ×ＩＲで表され、前記係数算出ステップでは、前記混合係数を、−３から＋１の範囲内の値において算出してもよい。
【００２９】
これにより、輝度信号の算出を簡単な計算により生成することができる。
【００３０】
また、前記色成分出力ステップでは、複数の色成分信号のうちの赤色成分信号の利得を最大とするように、前記複数種類の色信号および前記近赤外信号が含む近赤外信号成分の成分量を調整して当該複数の色成分信号を出力してもよい。
【００３１】
これにより、色信号処理において注目領域の赤色に近赤外信号を優先的に加算することで可視光が微弱な領域でも赤色を強調して表示し、視認性を向上することができる。
【００３２】
また、前記色成分出力ステップでは、複数の色成分信号のうちの赤色成分信号の利得を最大とするように、前記複数種類の色信号のうちの赤色信号の利得を他の色信号の利得よりも増加させて当該複数の色成分信号を出力してもよい。
【００３３】
これにより、可視光が微弱な領域でも赤色を強調して表示し、視認性を向上することができる。
【００３４】
また、前記係数算出ステップでは、１フレーム内の最小１画素行ごとに、前記混合係数を、前記近赤外信号の信号量に応じて算出し、前記輝度出力ステップでは、前記複数種類の色信号と前記近赤外信号とを、前記混合係数に基づいて混合し、当該混合され信号を輝度信号として出力し、前記色成分出力ステップでは、前記複数種類の色信号、前記近赤外信号及び前記輝度信号を用いて、複数の色成分信号を計算して当該複数の色成分信号を出力することにより、カラー画像と近赤外光による輝度成分を主とする白黒画像とを１フレーム内の最小１行単位で切り替えて表示させてもよい。
【００３５】
これにより、フレーム内の画素行ごとに最適な混合係数を得ることができ、１フレーム内で白黒画像とカラー画像を生成するので、両者の長所をもつ画像をユーザに提供することができる。
【発明の効果】
【００３６】
本発明の撮像装置および画像信号処理方法によれば、近赤外信号の信号量に応じて混合係数を算出することにより、可視光信号が微弱であっても色成分信号を有効に残して、画像をカラー化することができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施の形態１に係る撮像装置の主要な機能構成を示すブロック図である。
【図２】ｋ算出部における混合係数算出処理の一例を示すフローチャートである。
【図３】本発明の実施の形態１に係る画像信号処理方法を説明する動作フローチャートである。
【図４】本発明の実施の形態２に係る撮像装置の主要な機能構成を示すブロック図である。
【図５】輝度計算部における混合係数算出処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００３８】
以下、本発明に係る実施の形態について、図面を参照しながら詳細に説明する。
【００３９】
（実施の形態１）
本実施の形態に係る撮像装置は、二次元状に配置された複数の受光素子を有する固体撮像素子から、複数色の可視光に対応する複数種類の色信号および近赤外信号を読み出し、当該近赤外信号の信号量に応じて、複数種類の色信号に対する近赤外信号の混合率を示す混合係数を単位画素ごとに算出し、当該混合係数を用いて、複数種類の色信号と近赤外信号とを混合し、当該混合された信号を輝度信号として出力し、また、複数種類の色信号および近赤外信号を用いて複数の色成分信号を計算して出力する。
【００４０】
これにより、近赤外信号の信号量に応じて混合係数を算出することで、可視光信号が微弱であっても色成分信号を有効に残して、画像をカラー化することが可能となる。
【００４１】
特に、夜間に近赤外光を利用した擬似カラーモードでの画像出力時でも、特定注目領域のみを高解像度ＩＲ白黒にする（たとえば車のナンバープレート）こと、または、赤色を強調する（たとえば標識）ことにより、注目物体を認識しやすくすることも可能である。
【００４２】
まず、本発明の実施の形態１に係る撮像装置（カメラ）の構成について説明する。
【００４３】
図１は、本発明の実施の形態１に係る撮像装置の主要な機能構成を示すブロック図である。同図に記載された撮像装置１００は、固体撮像素子１０１と、信号処理部２０１と、撮像制御部３０１と、光源制御部４０１と、ＩＲ（近赤外光）光源４１１と、レンズ５０１と、絞り５０２とを備える。
【００４４】
固体撮像素子１０１は、複数の単位画素１１５と、垂直シフトレジスタ１２１と、水平シフトレジスタ１２２と、ノイズ除去回路１２３と、出力アンプ１２４とを備え、入射光を光電変換して色信号を生成するＭＯＳ型イメージセンサ等である。
【００４５】
複数の単位画素１１５は、赤色光および近赤外光を受光する（Ｒ＋ＩＲ）画素、緑色光および近赤外光を受光する（Ｇ＋ＩＲ）画素、青色光および近赤外光を受光する（Ｂ＋ＩＲ）画素、および近赤外光を受光する（ＩＲ）画素の４画素を１単位としている。（Ｒ＋ＩＲ）画素は、受光素子と当該受光素子の上に配置された（Ｒ＋ＩＲ）透過フィルタ１１１とを備え、（Ｇ＋ＩＲ）画素は、受光素子と当該受光素子の上に配置された（Ｇ＋ＩＲ）透過フィルタ１１２とを備え、（Ｂ＋ＩＲ）画素は、受光素子と当該受光素子の上に配置された（Ｂ＋ＩＲ）透過フィルタ１１３とを備え、ＩＲ画素は、受光素子と当該受光素子の上に配置されたＩＲ透過フィルタ１１４とを備える。
【００４６】
（Ｒ＋ＩＲ）透過フィルタ１１１、（Ｇ＋ＩＲ）透過フィルタ１１２、（Ｂ＋ＩＲ）透過フィルタ１１３は、それぞれ、可視光（Ｒ、Ｇ、Ｂの何れか）と近赤外光（ＩＲ）とを透過する色フィルタである。また、ＩＲ透過フィルタ１１４は、可視光を抑制し近赤外光を透過する近赤外フィルタである。単位画素１１５は、カラー画像または白黒画像における１画素に対応する。
【００４７】
固体撮像素子１０１は、２次元配列された単位画素１１５の各画素行を垂直シフトレジスタ１２１により選択し、選択された画素行に属する単位画素の画素信号を、ノイズ除去回路１２３でノイズ除去した後、水平シフトレジスタ１２２により選択して、単位画素１１５毎のカラー信号を出力アンプ１２４から信号処理部２０１へ出力する。垂直シフトレジスタ１２１、水平シフトレジスタ１２２および選択回路１２５は、上記色フィルタを透過して光電変換された複数種類の色信号と、上記近赤外フィルタを透過して光電変換された近赤外信号とを複数の受光素子から読み出す読み出し部として機能する。
【００４８】
なお、（Ｒ＋ＩＲ）透過フィルタ１１１、（Ｇ＋ＩＲ）透過フィルタ１１２、（Ｂ＋ＩＲ）透過フィルタ１１３、およびＩＲ透過フィルタ１１４を有する画素の構成を容易に実現するために、フォトニック結晶カラーフィルタを固体撮像素子１０１上に集積することが好ましい。低屈折率と高屈折率の材料を交互に積層して得られる光学多層膜は、特定の波長の光が透過しない禁止帯が生じる。本実施の形態では、近赤外光が透過するように透過帯を調節することによりＩＲ透過フィルタが形成されている。
【００４９】
（Ｒ＋ＩＲ）透過フィルタ１１１、（Ｇ＋ＩＲ）透過フィルタ１１２、および（Ｂ＋ＩＲ）透過フィルタ１１３は、低屈折率および高屈折率の材料が交互にλ／４（λ：波長）の膜厚で積層された光学多層膜に、膜厚がλ／４とは異なる“欠陥層”を導入することにより形成される。つまり、この欠陥層により光学的な周期性に乱れが生じ、禁止帯の中に透過帯を生じさせることができる。よって、欠陥層の膜厚を適切に設計することで、所望の波長帯域の透過帯を実現できる。すなわち、赤色光と近赤外光とが透過する（Ｒ＋ＩＲ）透過フィルタ１１１、緑色光と近赤外光とが透過する（Ｇ＋ＩＲ）透過フィルタ１１２、青色光と近赤外光とが透過する（Ｂ＋ＩＲ）透過フィルタ１１３、および近赤外光のみが透過するＩＲ透過フィルタ１１４を容易に設計できる。
【００５０】
ここで、ＩＲ透過フィルタ１１４が配置された受光素子上に形成された集光レンズの焦点距離は、（Ｒ＋ＩＲ）透過フィルタ１１１、（Ｇ＋ＩＲ）透過フィルタ１１２および（Ｂ＋ＩＲ）透過フィルタ１１３が配置された受光素子上に形成された集光レンズの焦点距離より短いことが好ましい。
【００５１】
波長が長いほど焦点距離が短くなることから、上記焦点距離の関係より、波長が可視光より長いＩＲ信号を効率よく受光素子に入射できる。
【００５２】
また、ＩＲ透過フィルタ１１４が配置された受光素子上に形成された集光レンズは、入射光の波長と同程度かそれよりも短い線幅で分割された同心構造の光透過膜で生じる実効屈折率分布を有してもよい。
【００５３】
これにより、斜め入射光での集光効率の増加ならびに解像度および感度の向上が図られ、高精細でかつ色再現性が高い固体撮像素子を実現できる。
【００５４】
また、ＩＲ透過フィルタ１１４が配置された受光素子上に形成された集光レンズの屈折率は、（Ｒ＋ＩＲ）透過フィルタ１１１、（Ｇ＋ＩＲ）透過フィルタ１１２および（Ｂ＋ＩＲ）透過フィルタ１１３が配置された受光素子上に形成された集光レンズの屈折率より大きくしてもよい。
【００５５】
屈折率が大きいほど焦点距離が短くなることから、上記集光レンズの屈折率の大小関係により、波長が可視光より長いＩＲ信号を効率よく受光素子に入射できる。
【００５６】
また、ＩＲ透過フィルタ１１４が配置された受光素子上に形成された層間膜は、（Ｒ＋ＩＲ）透過フィルタ１１１、（Ｇ＋ＩＲ）透過フィルタ１１２および（Ｂ＋ＩＲ）透過フィルタ１１３が配置された受光素子上に形成された層間膜より屈折率が大きくてもよい。
【００５７】
波長が可視光より長い近赤外光用の受光素子上に形成された層間膜の屈折率は、（可視光＋近赤外光）用の受光素子上に形成された層間膜の屈折率より大きいので、波長が可視光より長いＩＲ信号を効率よく受光素子に入射できる。
【００５８】
撮像制御部３０１は、露出時間制御部３１１と、絞り制御部３１２とを備え、近赤外信号制御部２２１からの制御信号に基づいて、絞り５０２と単位画素１１５の露出時間とを調整する。
【００５９】
光源制御部４０１は、近赤外信号制御部２２１からの制御信号に基づいて、ＩＲ光源４１１の照射量を調整する。
【００６０】
レンズ５０１は、入射した光を固体撮像素子１０１の撮像領域上に結像させる。
【００６１】
信号処理部２０１は、ＯＢ計算部２１１と、ローパスフィルタ（ＬＰＦ）２１２と、４×４行列演算部２１３と、ホワイトバランス部２１４と、色差計算部２１５と、ゲイン調整部２１６と、γ補正部２１７と、近赤外信号制御部２２１と、ｋ算出部２２２と、輝度計算部２２３とを備え、固体撮像素子１０１の有する単位画素１１５から出力された４種類の画素信号に画像信号処理を施すＤＳＰ等である。
【００６２】
信号処理部２０１は、入力された上記４種類の画像信号をＯＢ計算部２１１で暗電流などのオフセット除去を行う。色信号は続いてローパスフィルタ２１２でノイズ成分を除去される。
【００６３】
４×４行列演算部２１３は、（Ｒ＋ＩＲ）画素、（Ｇ＋ＩＲ）画素、および（Ｂ＋ＩＲ）画素の原信号から、比重をかけたＩＲ信号を差分して、Ｒ信号、Ｇ信号およびＢ信号を得る。このとき、比重係数は、近赤外光が消失するように調整されている。つまり４×４行列演算部２１３は、（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号、ＩＲ信号に対して、４×４の行列演算を施すことによってＲ信号、Ｇ信号およびＢ信号を出力する。
【００６４】
ホワイトバランス部２１４は、通常の３原色と同様に、ホワイトバランスを行い３原色間の色補正を行う。
【００６５】
色差計算部２１５は、複数種類の色信号、つまり、Ｒ信号、Ｇ信号およびＢ信号、ならびに、輝度計算部２２３で算出された輝度信号Ｙを用いて、複数の色成分信号（Ｒ−Ｙ信号、Ｂ−Ｙ信号）を計算して出力する色成分計算部である。
【００６６】
γ補正部２１７から出力された色信号は、輝度計算部２２３から出力された輝度信号と併せて、表示装置等に画像信号として出力される。
【００６７】
本実施の形態では、輝度信号を作成する演算において、ＩＲ透過フィルタ１１４が配置された受光素子から出力された信号が用いられている。輝度信号は、以下の式１により計算される。
【００６８】
輝度信号Ｙ＝（Ｒ＋ＩＲ）画素の輝度信号＋（Ｇ＋ＩＲ）画素の輝度信号＋（Ｂ＋ＩＲ）画素の輝度信号＋ｋ×（ＩＲ）画素の輝度信号            （式１）
【００６９】
つまり、Ｙ＝（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ）＋ｋＩＲで計算される。ここで、ｋは、（（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ））信号に対するＩＲ信号の混合率を示す混合係数であり、あるいは、輝度信号Ｙに対するＩＲ信号の混合率を示す混合係数である。この場合、ｋは−３以上＋１以下の範囲内で定められる。
【００７０】
ｋ＝−３の場合、ＩＲ信号が完全に除去された輝度信号Ｙを得ることができる。これは昼モードでは撮像に適している。ｋ＝＋１の場合、ＩＲ信号の全部を含む輝度信号Ｙを得ることができる。これは白黒画像の生成に適している。ｋが−３から＋１の中間的な値のとき、カラー画像が生成され、ｋに応じてカラー化の程度が決まる。これは、夜モードでカラー化するのに適している。
【００７１】
図２は、ｋ算出部２２２における混合係数算出処理の一例を示すフローチャートである。同図において、Ａｖｅ（ＩＲ）は、１フレーム前のフレーム内のＩＲ信号の平均値であり、Ｔｈ１〜Ｔｈ４は、Ｔｈ１＞Ｔｈ２＞Ｔｈ３＞Ｔｈ４を満たす閾値である。
【００７２】
まず、ｋ算出部２２２は、ＡＶＥ（ＩＲ）が閾値Ｔｈ１より大きい場合（Ｓ２１でＹｅｓ）、混合係数ｋ＝ｋ１を設定する（Ｓ２２）。
【００７３】
次に、ＡＶＥ（ＩＲ）が閾値Ｔｈ１以下であり（Ｓ２１でＮｏ）、かつ、閾値Ｔｈ２より大きい場合（Ｓ２３でＹｅｓ）、混合係数ｋ＝ｋ２を設定する（Ｓ２４）。
【００７４】
次に、ＡＶＥ（ＩＲ）が閾値Ｔｈ２以下であり（Ｓ２３でＮｏ）、かつ、閾値Ｔｈ３より大きい場合（Ｓ２５でＹｅｓ）、混合係数ｋ＝ｋ３を設定する（Ｓ２６）。
【００７５】
次に、ＡＶＥ（ＩＲ）が閾値Ｔｈ３以下であり（Ｓ２５でＮｏ）、かつ、閾値Ｔｈ４より大きい場合（Ｓ２７でＹｅｓ）、混合係数ｋ＝ｋ４を設定する（Ｓ２８）。
【００７６】
次に、ＡＶＥ（ＩＲ）が閾値Ｔｈ４以下である場合、混合係数ｋ＝ｋ５を設定する（Ｓ２９）。ここで、ｋ１、ｋ２、ｋ３、ｋ４は、例えば、＋１、０、−１、−２、−３である。なお、混合係数は、３段階以上であれば何段階であってもよいし、連続的な値としてもよい。
【００７７】
このように、ｋ算出部２２２は、ＩＲ透過フィルタ１１４が配置された受光素子と当該受光素子に隣接する（Ｇ＋ＩＲ）透過フィルタ１１２および（Ｂ＋ＩＲ）透過フィルタ１１３が配置された受光素子とで構成される単位画素ごとに、固体撮像素子１０１から読み出された（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号および（Ｂ＋ＩＲ）信号に対するＩＲ信号の混合率を示す混合係数ｋを、ＩＲ信号の信号量に応じて算出する係数算出部である。
【００７８】
輝度計算部２２３は、ｋ算出部２２２で算出された混合係数ｋを用いて、固体撮像素子１０１から読み出された（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号および（Ｂ＋ＩＲ）信号とＩＲ信号とを混合し、当該混合され信号を輝度信号Ｙとして出力する。
【００７９】
近赤外信号制御部２２１は、信号処理部２０１での画像信号の演算処理に用いられるＩＲ信号の成分量を（１単位画素毎に）所定の値に制御する。具体的には、近赤外信号制御部２２１は、ｋ算出部２２２で用いられるＩＲ信号をｋ算出部２２２へ出力する。
【００８０】
また、近赤外信号制御部２２１は、輝度信号演算に用いられるＩＲ信号の成分量に応じて、撮像制御部３０１を制御し、固体撮像素子１０１の露光量を所定の値に制御する。具体的には、近赤外信号制御部２２１は、露出時間制御部３１１を制御し、固体撮像素子１０１の露出時間を所定の値に調整する。また、近赤外信号制御部２２１は、絞り制御部３１２を制御し、レンズ５０１の絞り５０２を調整することにより入射光量を所定の値に調整する。あるいは、近赤外信号制御部２２１は、光源制御部４０１を制御し、被写体に所定の近赤外光を照射するＩＲ光源４１１の照射量を調整する。
【００８１】
これにより、輝度信号に印加される近赤外光量の成分量が、近赤外信号制御部２２１により画素毎に制御されることで、同一フレーム内にカラー画像を出力する画素と近赤外光による輝度成分を主とする白黒画像を出力する画素とを、最小１画素単位で切り替えることが可能となる。
【００８２】
また、近赤外信号制御部２２１は、色信号成分に印加されるＩＲ信号成分の成分量をホワイトバランス部２１４の出力に応じてゲイン調整部２１６を制御し利得を調整する。特に、車載カメラやセキュリティカメラで要求される標識などの赤色の色再現性を得るために、Ｒ信号の利得を最大とするようにＩＲ信号成分の成分量を制御する。つまり、近赤外信号制御部２２１は、ＩＲ信号の信号量に応じて特定色を強調または抑制するための色ゲインを決定する。
【００８３】
ゲイン調整部２１６は、色ゲインに従って色差計算部２１５により算出された複数の色成分信号のゲインを調整する。
【００８４】
これにより、信号処理部２０１は、各受光素子のＩＲ信号成分を除いた可視光成分のみからなる色再生信号を生成する工程において、例えば、Ｒ信号成分に最大の利得を与えることが可能となる。なお、近赤外信号制御部２２１は、ユーザ操作に基づく特定色である赤色の強調指示を外部から受け付け、受け付けた色に対するゲインを相対的に増加させる処理を行ってもよい。
【００８５】
また、特定色の強調の代わりに、受け付けた色以外の抑制を行うようにしてもよい。この場合特定色のゲインを相対的に減少させればよい。
【００８６】
また、近赤外信号制御部２２１は、ユーザ操作に基づく特定色である赤色の強調指示を外部から受け付け、受け付けた色に対し近赤外信号の輝度信号を優先的に加算させる処理を行うことにより、受け付けた色の強調を行ってもよい。
【００８７】
上記構成および信号処理により、信号処理部２０１は、固体撮像素子１０１が出力する４種類の画素信号からＲ信号、Ｇ信号およびＢ信号を生成し、また、単位画素１１５ごとにＩＲ信号を生成する。そして、輝度信号と２つの色差信号とからなるカラー画像を生成する。輝度信号は単独では白黒画像を表す。
【００８８】
なお、固体撮像素子１０１が出力する画素信号からＲ信号、Ｇ信号およびＢ信号を生成するには、例えば、Ｒ信号を生成する場合には、（Ｒ＋ＩＲ）画素の出力信号である（Ｒ＋ＩＲ）画素信号からＩＲ画素の出力信号であるＩＲ画素信号を差し引くことによりＲ信号を導出する。
【００８９】
上記構成および信号処理を利用すれば、ＩＲ信号の信号量に応じて混合係数ｋを算出することにより、可視光信号が微弱であっても色成分信号を有効に残して、画像をカラー化することができる。言い換えれば、輝度信号に占める赤外信号の割合を、赤外信号量に応じて調整可能にする。例えば、混合係数を小さくすれば（輝度信号に占める赤外信号の割合を小さくすれば）、色成分信号（例えば色差信号）が相対的に大きくなり、画像を白黒からカラーに近づけることができる。逆に、混合係数を大きくすれば（輝度信号に占める赤外信号の割合を大きくすれば）、色成分信号（例えば色差信号）が相対的に小さくなり画像をカラーから白黒に近づけることができる。
【００９０】
例えば、昼間では、近赤外光成分を含んだ赤、緑および青の原信号からＩＲ画素のＩＲ信号成分を差分することで、赤、緑および青の各信号を得ることが出来る。よって、昼間であっても、機械式ＩＲカットフィルタが不要である。一方、夜間では、全ての画素の信号を用いることで近赤外光の画像を得る。つまり、ＩＲ画像の解像度は、（Ｒ＋ＩＲ）画素、（Ｇ＋ＩＲ）画素および（Ｂ＋ＩＲ）画素のＩＲ成分を用いるため、昼間でのＲＧＢ画像よりも高い。
【００９１】
本実施の形態における撮像装置１００によれば、白黒画像、白黒に近いカラー画像、白黒とカラー画像の中間的な画像、カラーに近い白黒画像、カラー画像を混合係数に応じて生成することができる。デイナイトカメラ等、夜間に近赤外光を受光することで撮像する固体撮像素子において、可視光信号が微弱な環境の夜間モードにおいても、可視カラー画像を出力する撮像装置を実現することができる。特に夜間に近赤外光を利用した擬似カラーモードでの画像出力時でも、１単位画素ごとに画像信号を制御することで、特定注目領域のみを高解像度ＩＲ白黒にする（たとえば車のナンバープレート）や、赤色を強調する（たとえば標識）ことで、注目物体を認識しやすくなる。
【００９２】
なお、本発明は、上述した特徴的な手段を備える撮像装置１００として実現することができるだけでなく、撮像装置１００に含まれる特徴的な手段をステップとする画像信号処理方法として実現することができる。以下、撮像装置１００において行われる画像信号処理方法について説明する。
【００９３】
図３は、本発明の実施の形態１に係る画像信号処理方法を説明する動作フローチャートである。
【００９４】
まず、信号処理部２０１は、固体撮像素子１０１の有する（Ｒ＋ＩＲ）透過フィルタ１１１、（Ｇ＋ＩＲ）透過フィルタ１１２、および（Ｂ＋ＩＲ）透過フィルタ１１３を透過して光電変換された（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号および（Ｂ＋ＩＲ）信号と、ＩＲ透過フィルタ１１４を透過して光電変換されたＩＲ信号とを複数の受光素子から読み出す（Ｓ０１：読み出しステップ）。
【００９５】
次に、ｋ算出部２２２は、単位画素ごとに、ステップＳ０１にて読み出された（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号および（Ｂ＋ＩＲ）信号に対するＩＲ信号の混合率を示す混合係数ｋを、ＩＲ信号の信号量に応じて算出する（Ｓ０２：係数算出ステップ）。
【００９６】
次に、輝度計算部２２３は、ステップＳ０１にて読み出された（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号および（Ｂ＋ＩＲ）信号とＩＲ信号とを、ステップＳ０２にて算出された混合係数ｋに基づいて単位画素ごとに混合し、当該混合され信号を輝度信号Ｙとして出力する（Ｓ０３：輝度出力ステップ）。
【００９７】
最後に、色差計算部２１５は、ステップＳ０１にて読み出された（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号およびＩＲ信号、ならびに輝度信号Ｙを用いて、単位画素ごとに複数の色成分信号を計算して当該複数の色成分信号を出力する（Ｓ０４：色成分出力ステップ）。
【００９８】
上述した画像信号処理方法によれば、ＩＲ信号の信号量に応じて混合係数ｋを算出することにより、可視光信号が微弱であっても色成分信号を有効に残して、画像をカラー化することができる。例えば、混合係数を小さくすれば（輝度信号に占める赤外信号の割合を小さくすれば）、色成分信号（例えば色差信号）が相対的に大きくなり、画像を白黒からカラーに近づけることができる。逆に、混合係数を大きくすれば（輝度信号に占める赤外信号の割合を大きくすれば）、色成分信号（例えば色差信号）が相対的に小さくなり画像をカラーから白黒に近づけることができる。よって、夜間モードにおいても、可視カラー画像を出力することができる。
【００９９】
なお、ステップＳ０２では、同一フレーム画像内の第１の領域が白黒画像となるように混合係数ｋを算出し、第１の領域と異なる第２の領域がカラー画像となるように混合係数ｋを算出してもよい。
【０１００】
これにより、カラー画像を、夜間および昼間に関係なく常に出力することが可能となる。よって、特に、夜間に近赤外光を利用した擬似カラーモードでの画像出力時でも、単位画素ごとに画像信号を制御することで、特定注目領域のみを高解像度ＩＲ白黒にする（たとえば車のナンバープレート）や、赤色を強調する（たとえば標識）ことで、注目物体を認識しやすくすることが可能となる。さらに、特定注目領域のみ、高解像度の白黒画像またはカラー画像にすることができるので、解像度または視認性を向上させることが可能となる。
【０１０１】
また、（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号およびＩＲ信号は、それぞれ、正規化された値を有し、ステップＳ０２では、混合係数ｋを、−３から＋１の範囲内の値において算出してもよい。
【０１０２】
これにより、輝度信号Ｙの算出を、上記式１による簡単な計算により生成することができる。
【０１０３】
また、ステップＳ０４では、複数の色成分信号のうちの赤色成分信号の利得を最大とするように、近赤外信号制御部２２１によりＩＲ信号成分の成分量を調整することで、当該複数の色成分信号を出力してもよい。
【０１０４】
これにより、色信号処理において注目領域の赤色に近赤外信号を優先的に加算することで可視光が微弱な領域でも赤色を強調して表示し、視認性を向上することができる。
【０１０５】
また、ステップＳ０４では、複数の色成分信号のうちの赤色成分信号の利得を最大とするように、近赤外信号制御部２２１によりＲ信号の利得を他の色信号の利得よりも増加させることで、当該複数の色成分信号を出力してもよい。
【０１０６】
これにより、可視光が微弱な領域でも赤色を強調して表示し、視認性を向上することができる。
【０１０７】
また、ステップＳ０２では、１フレーム内の最小１画素行ごとに、混合係数ｋを、ＩＲ信号の信号量に応じて算出してもよい。
【０１０８】
これにより、フレーム内の画素行ごとに最適な混合係数を得ることができ、１フレーム内で白黒画像とカラー画像を生成するので、両者の長所をもつ画像をユーザに提供することができる。
【０１０９】
（実施の形態２）
本実施の形態では、第１に、輝度計算部が、さらに、赤外信号を抑制するためのダミー混合係数ｋｄを用いて、複数種類の色信号と近赤外信号とを混合することによりダミーの輝度信号Ｙｄを計算し、色差計算部２１５が、ダミーの輝度信号Ｙｄを用いて２つの色差信号を色成分信号として生成する例について説明する。
【０１１０】
また、第２に、輝度計算部が、交互に繰り返される第１所定数の連続行と第２所定数の連続行とに対して、第１所定数の連続行が白黒画像となるように混合係数を算出し、第２所定数の連続行がカラー画像となるように混合係数を算出する構成について説明する。
【０１１１】
また、第３に、近赤外信号制御部２２１が、近赤外信号の信号量に応じて特定色を強調または抑制するための色ゲインを決定し、ゲイン調整部２１６が、当該色ゲインに従い、色差計算部２１５により算出された複数の色成分信号のゲインを調整する例について説明する。
【０１１２】
まず、本発明の実施の形態２に係る撮像装置（カメラ）の構成について説明する。
【０１１３】
図４は、本発明の実施の形態２に係る撮像装置の主要な機能構成を示すブロック図である。同図に記載された撮像装置２００は、固体撮像素子１０１と、信号処理部２５１と、撮像制御部３０１と、光源制御部４０１と、ＩＲ（近赤外光）光源４１１と、レンズ５０１と、絞り５０２とを備える。同図に記載された撮像装置２００は、図１に記載された撮像装置１００と比較して、輝度計算部２２３の代わりに輝度計算部４２３を備える点が構成として異なっている。以下、本実施の形態に係る撮像装置２００について、撮像装置１００と同じ点は説明を省略して、異なる点を中心に説明する。
【０１１４】
輝度計算部４２３は、輝度計算部２２３の機能に加えて、ダミーの輝度信号Ｙｄを計算し、当該計算されたダミーの輝度信号Ｙｄを、輝度信号Ｙとして色差計算部２１５に供給する。ここで、ダミーの輝度信号は、ＩＲ信号が完全に抑圧された輝度信号であり、ｋ＝−３のときの輝度信号Ｙである。
【０１１５】
これにより、色差計算部２１５は、混合係数が大きいときでも、ＩＲ信号が完全に抑圧された場合の色差信号を算出することになる。これにより、色再現性のよい２つの色差信号を生成することができる。
【０１１６】
さらに、輝度計算部４２３は、輝度計算部２２３と比べて、第１所定数の連続行が白黒画像となるように混合係数を算出し、第２所定数の連続行がカラー画像となるように混合係数を算出する点が異なっている。
【０１１７】
図５は、輝度計算部４２３における混合係数算出処理の一例を示すフローチャートである。
【０１１８】
まず、輝度計算部４２３は、ループ１において第１所定数の連続行に対して、図２と同様にｋを算出する（Ｓ５１〜Ｓ５３）。これにより第１所定数の連続行はカラー画像になる。
【０１１９】
次に、輝度計算部４２３は、ループ２において第２所定数の連続フレームに対して、ｋ＝１と決定する（Ｓ５４〜Ｓ５５）。これにより、第２所定数の連続フレームは白黒画像になる。
【０１２０】
なお、（第１所定数、第２所定数）は、ともに１以上の整数であり、例えば（１、１）、（１、２）、（２、１）等であってよい。
【０１２１】
上記構成及び信号処理により、白黒画像とカラー画像とを、所定の行数ごとに交互に生成するので、両者の長所をもつ画像をユーザに提供することができる。
【０１２２】
なお、近赤外信号制御部２２１は、ユーザ操作に基づく特定色である赤色の強調指示を外部から受け付け、受け付けた色に対し近赤外信号の輝度信号を優先的に加算させる処理を行って、受け付けた色の強調を行ってもよい。
【０１２３】
これにより、色信号処理において注目領域の赤色に近赤外信号を優先的に加算することで可視光が微弱な領域でも赤色を強調して表示し、視認性を向上させることができる。
【０１２４】
また、輝度計算部４２３は、第１所定数を１行が白黒画像となるように混合係数を算出し、第２所定数を１行がカラー画像となるように混合係数を算出し、例えば１行毎に白黒画像とカラー画像を切り替えてもよい。
【０１２５】
これにより、フレーム内の画素行ごとに最適な混合係数を得ることができ、１フレーム内で白黒画像とカラー画像を生成するので、両者の長所をもつ画像をユーザに提供することができる。
【０１２６】
なお、輝度計算部４２３が、第１所定数の連続フレームが白黒画像となるように混合係数を算出し、第２所定数の連続フレームがカラー画像となるように混合係数を算出するフレーム毎の制御をしてもよい。
【０１２７】
なお、本発明に係る撮像装置は、上記実施の形態１および２に限定されるものではない。実施形態１および２における任意の構成要素を組み合わせて実現される別の実施の形態や、実施の形態１および２に対して本発明の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本発明に係る撮像装置を内蔵した各種機器も本発明に含まれる。
【産業上の利用可能性】
【０１２８】
本発明の撮像装置は、可視光信号が微弱であっても色成分信号を有効に残して画像をカラー化できるカメラに適用でき、特に、監視カメラ、ネットワークカメラ、車載カメラ、デジタルカメラ、携帯電話などに利用可能であり、夜間における撮像画像の画質向上を実現可能とする。
【符号の説明】
【０１２９】
１００、２００    撮像装置
１０１    固体撮像素子
１１１    （Ｒ＋ＩＲ）透過フィルタ
１１２    （Ｇ＋ＩＲ）透過フィルタ
１１３    （Ｂ＋ＩＲ）透過フィルタ
１１４    ＩＲ透過フィルタ
１１５    単位画素
１２１    垂直シフトレジスタ
１２２    水平シフトレジスタ
１２３    ノイズ除去回路
１２４    出力アンプ
１２５    選択回路
２０１、２５１    信号処理部
２１１    ＯＢ計算部
２１２    ローパスフィルタ（ＬＰＦ）
２１３    ４×４行列演算部
２１４    ホワイトバランス部
２１５    色差計算部
２１６    ゲイン調整部
２１７    γ補正部
２２１    近赤外信号制御部
２２２    ｋ算出部
２２３、４２３    輝度計算部
３０１    撮像制御部
３１１    露出時間制御部
３１２    絞り制御部
４０１    光源制御部
４１１    ＩＲ（近赤外光）光源
５０１    レンズ
５０２    絞り
【図１】
2012244533.tif 000003
【図２】
2012244533.tif 000004
【図３】
2012244533.tif 000005
【図４】
2012244533.tif 000006
【図５】
2012244533.tif 000007