二次元状に配置され、入射光を光電変換する複数の受光素子と、前記複数の受光素子の上に配置された、可視光と近赤外光とを透過する複数種類の色フィルタおよび近赤外光のみを透過する近赤外フィルタと、前記色フィルタを透過して光電変換された複数種類の色信号と、前記近赤外フィルタを透過して光電変換された近赤外信号とを前記複数の受光素子から読み出す読み出し部と、前記近赤外フィルタが配置された受光素子と当該受光素子に隣接する前記色フィルタが配置された受光素子とで構成される単位画素ごとに、前記読み出し部から読み出された前記複数種類の色信号に混合すべき前記近赤外信号の割合を表す混合係数を、前記近赤外信号の信号量に応じて算出する係数算出部と、前記読み出し部から読み出された前記複数種類の色信号と前記近赤外信号とを、前記係数算出部で算出された前記混合係数に基づいて前記単位画素ごとに混合し、当該混合され信号を輝度信号として出力する輝度計算部と、前記複数種類の色信号および前記近赤外信号、ならびに前記輝度信号を用いて、前記単位画素ごとに複数の色成分信号を計算して出力する色成分計算部とを備える撮像装置。前記近赤外フィルタが配置された受光素子上に形成された集光レンズの焦点距離は、前記複数種類の色フィルタが配置された受光素子上に形成された集光レンズの焦点距離より短い請求項1に記載の撮像装置。前記集光レンズは、入射光の波長と同程度かそれよりも短い線幅で分割された同心構造の光透過膜により生じる実効屈折率分布を有する請求項2に記載の撮像装置。前記近赤外フィルタが配置された受光素子上に形成された集光レンズの屈折率は、前記複数種類の色フィルタが配置された受光素子上に形成された集光レンズの屈折率よりも大きい請求項1に記載の撮像装置。前記近赤外フィルタが配置された受光素子上に形成された層間膜の屈折率は、前記複数種類の色フィルタが配置された受光素子上に形成された層間膜の屈折率よりも大きい請求項1に記載の撮像装置。二次元状に配置され入射光を光電変換する複数の受光素子と、当該複数の受光素子の上に配置された、可視光と近赤外光とを透過する複数種類の色フィルタおよび近赤外光のみを透過する近赤外フィルタとを備える撮像装置において行われる画像信号処理方法であって、前記色フィルタを透過して光電変換された複数種類の色信号と、前記近赤外フィルタを透過して光電変換された近赤外信号とを前記複数の受光素子から読み出す読み出しステップと、前記近赤外フィルタが配置された受光素子と当該受光素子に隣接する前記色フィルタが配置された受光素子とで構成される単位画素ごとに、前記読み出しステップにて読み出された前記複数種類の色信号に混合すべき前記近赤外信号の割合を表す混合係数を、前記近赤外信号の信号量に応じて算出する係数算出ステップと、前記読み出しステップにて読み出された前記複数種類の色信号と前記近赤外信号とを、前記係数算出ステップにて算出された前記混合係数に基づいて前記単位画素ごとに混合し、当該混合され信号を輝度信号として出力する輝度出力ステップと、前記複数種類の色信号、前記近赤外信号および前記輝度信号、ならびに前記輝度信号を用いて、前記単位画素ごとに複数の色成分信号を計算して当該複数の色成分信号を出力する色成分出力ステップとを含む画像信号処理方法。前記係数算出ステップでは、同一フレーム画像内の第1の領域が白黒画像となるように前記混合係数を算出し、前記第1の領域と異なる第2の領域がカラー画像となるように前記混合係数を算出する請求項6に記載の画像信号処理方法。前記複数種類の色信号および前記赤外信号は、それぞれ、正規化された値を有し、前記輝度出力ステップにて出力される前記輝度信号をY、前記複数種類の色信号のうち赤色の前記色フィルタを有する受光素子から読み出された輝度信号をRIR、緑色の前記色フィルタを有する受光素子から読み出された輝度信号をGIR、青色の前記色フィルタを有する受光素子から読み出された輝度信号をBIR、前記近赤外フィルタを有する受光素子から読み出された輝度信号をIR、前記混合係数をkとすると、Y=RIRGIRBIRk×IRで表され、前記係数算出ステップでは、前記混合係数を、-3から1の範囲内の値において算出する請求項6または7に記載の画像信号処理方法。前記色成分出力ステップでは、複数の色成分信号のうちの赤色成分信号の利得を最大とするように、前記複数種類の色信号および前記近赤外信号が含む近赤外信号成分の成分量を調整して当該複数の色成分信号を出力する請求項6に記載の画像信号処理方法。前記色成分出力ステップでは、複数の色成分信号のうちの赤色成分信号の利得を最大とするように、前記複数種類の色信号のうちの赤色信号の利得を他の色信号の利得よりも増加させて当該複数の色成分信号を出力する請求項6に記載の画像信号処理方法。前記係数算出ステップでは、1フレーム内の最小1画素行ごとに、前記混合係数を、前記近赤外信号の信号量に応じて算出し、前記輝度出力ステップでは、前記複数種類の色信号と前記近赤外信号とを、前記混合係数に基づいて混合し、当該混合され信号を輝度信号として出力し、前記色成分出力ステップでは、前記複数種類の色信号、前記近赤外信号及び前記輝度信号を用いて、複数の色成分信号を計算して当該複数の色成分信号を出力することにより、カラー画像と近赤外光による輝度成分を主とする白黒画像とを1フレーム内の最小1行単位で切り替えて表示させる請求項6に記載の画像信号処理方法。しかしながら、特許文献1で開示された従来技術は、IRカットフィルタを着脱する機械式切り替え装置が必要であるため、部品点数の増加に伴うコスト増、機械式部品の疲労による信頼性低下、そして昼夜境界時における突然の切り替えによる光学系と信号処理系とのミスマッチ、具体的には、例えば、露光量ずれによる低品質画像出力期間の発生、という課題を有している。また、特許文献2で開示された従来技術は、一旦夜間モードに切り替わると、常時近赤外光を基にした輝度信号を形成し、白黒画像のみを出力する方式であるため、夜間モードにおいてカラー画像を得ることが出来ない、という課題を有している。また、特許文献3で開示された従来技術においても、一旦夜間モードに切り替わると、常時近赤外光を基にした輝度信号を形成し、白黒画像のみを出力する方式であるため、夜間モードにおいてカラー画像を得ることができず、フレーム内でのモード切替できない、という課題を有している。このため、例えば、セキュリティ、ネットワーク、車載などの用途のカメラにおいては、夜間においても街灯や家屋からの漏れ光等を光源とする微弱な色信号成分を利用した画像を撮像することが困難な状況にある。本発明は、上記課題に鑑みてなされたものであり、夜間モードに代表される、可視光信号が微弱な環境においても良好なカラー画像を出力できる撮像装置および画像信号処理方法を提供することを目的とする。上記の課題を解決するために、本発明の一態様に係る撮像装置は、二次元状に配置され、入射光を光電変換する複数の受光素子と、前記複数の受光素子の上に配置された、可視光と近赤外光とを透過する複数種類の色フィルタおよび近赤外光のみを透過する近赤外フィルタと、前記色フィルタを透過して光電変換された複数種類の色信号と、前記近赤外フィルタを透過して光電変換された近赤外信号とを前記複数の受光素子から読み出す読み出し部と、前記近赤外フィルタが配置された受光素子と当該受光素子に隣接する前記色フィルタが配置された受光素子とで構成される単位画素ごとに、前記読み出し部から読み出された前記複数種類の色信号に混合すべき前記近赤外信号の割合を表す混合係数を、前記近赤外信号の信号量に応じて算出する係数算出部と、前記読み出し部から読み出された前記複数種類の色信号と前記近赤外信号とを、前記係数算出部で算出された前記混合係数に基づいて前記単位画素ごとに混合し、当該混合され信号を輝度信号として出力する輝度計算部と、前記複数種類の色信号および前記近赤外信号、ならびに前記輝度信号を用いて、前記単位画素ごとに複数の色成分信号を計算して出力する色成分計算部とを備えることを特徴とする。上記態様によれば、近赤外信号の信号量に応じて混合係数を算出することにより、可視光信号が微弱であっても色成分信号を有効に残して、画像をカラー化することが可能となる。言い換えれば、輝度信号に占める近赤外信号の割合を、近赤外信号量に応じて調整可能にする。例えば、混合係数を小さくすれば輝度信号に占める近赤外信号の割合を小さくすれば、色成分信号例えば色差信号が相対的に大きくなり、画像を白黒からカラーに近づけることができる。逆に、混合係数を大きくすれば輝度信号に占める近赤外信号の割合を大きくすれば、色成分信号例えば色差信号が相対的に小さくなり画像をカラーから白黒に近づけることができる。よって、白黒画像、白黒に近いカラー画像、白黒とカラー画像の中間的な画像、カラーに近い白黒画像、カラー画像、というように、混合係数に応じて画像を段階的に生成することが可能となる。これを単位画素ごとに制御することで、特に夜間に近赤外光を利用した擬似カラーモードでの画像出力時でも、注目物体の性質に応じて、特定注目領域のみを高解像度白黒画像にすること、または、赤色を強調することなどが可能であり、注目物体を認識し易くなる。また、前記近赤外フィルタが配置された受光素子上に形成された集光レンズの焦点距離は、前記複数種類の色フィルタが配置された受光素子上に形成された集光レンズの焦点距離より短いことが好ましい。波長が長いほど焦点距離が短くなることから、上記態様により、波長が可視光より長い近赤外光の信号を効率よく受光素子に入射できる。また、前記集光レンズは、入射光の波長と同程度かそれよりも短い線幅で分割された同心構造の光透過膜により生じる実効屈折率分布を有してもよい。これにより、斜め入射光での集光効率の増加ならびに解像度および感度の向上が図られ、高精細でかつ色再現性が高い固体撮像素子を実現できる。また、前記近赤外フィルタが配置された受光素子上に形成された集光レンズの屈折率は、前記複数種類の色フィルタが配置された受光素子上に形成された集光レンズの屈折率よりも大きいことが好ましい。屈折率が大きいほど焦点距離が短くなることから、上記態様により、波長が可視光より長い近赤外光の信号を効率よく受光素子に入射できる。また、前記近赤外フィルタが配置された受光素子上に形成された層間膜の屈折率は、前記複数種類の色フィルタが配置された受光素子上に形成された層間膜の屈折率よりも大きいことが好ましい。波長が可視光より長い近赤外光用の受光素子上に形成された層間膜の屈折率は、可視光近赤外光用の受光素子上に形成された層間膜の屈折率より大きいので、波長が可視光より長い近赤外光の信号を効率よく受光素子に入射できる。また、本発明は、このような特徴的な手段を備える撮像装置として実現することができるだけでなく、撮像装置に含まれる特徴的な手段をステップとする画像信号処理方法として実現することができる。上記の課題を解決するために、本発明の一態様に係る画像信号処理方法は、二次元状に配置され入射光を光電変換する複数の受光素子と、当該複数の受光素子の上に配置された、可視光と近赤外光とを透過する複数種類の色フィルタおよび近赤外光のみを透過する近赤外フィルタとを備える撮像装置において行われる画像信号処理方法であって、前記色フィルタを透過して光電変換された複数種類の色信号と、前記近赤外フィルタを透過して光電変換された近赤外信号とを前記複数の受光素子から読み出す読み出しステップと、前記近赤外フィルタが配置された受光素子と当該受光素子に隣接する前記色フィルタが配置された受光素子とで構成される単位画素ごとに、前記読み出しステップにて読み出された前記複数種類の色信号に混合すべき前記近赤外信号の割合を表す混合係数を、前記近赤外信号の信号量に応じて算出する係数算出ステップと、前記読み出しステップにて読み出された前記複数種類の色信号と前記近赤外信号とを、前記係数算出ステップにて算出された前記混合係数に基づいて前記単位画素ごとに混合し、当該混合され信号を輝度信号として出力する輝度出力ステップと、前記複数種類の色信号、前記近赤外信号および前記輝度信号、ならびに前記輝度信号を用いて、前記単位画素ごとに複数の色成分信号を計算して当該複数の色成分信号を出力する色成分出力ステップとを含むことを特徴とする。また、前記係数算出ステップでは、同一フレーム画像内の第1の領域が白黒画像となるように前記混合係数を算出し、前記第1の領域と異なる第2の領域がカラー画像となるように前記混合係数を算出してもよい。これにより、カラー画像を、夜間および昼間に関係なく常に出力することが可能となる。さらに、特定注目領域のみ、高解像度の白黒画像またはカラー画像にすることができるので、解像度または視認性を向上させることが可能となる。また、前記複数種類の色信号および前記赤外信号は、それぞれ、正規化された値を有し、前記輝度出力ステップにて出力される前記輝度信号をY、前記複数種類の色信号のうち赤色の前記色フィルタを有する受光素子から読み出された輝度信号をRIR、緑色の前記色フィルタを有する受光素子から読み出された輝度信号をGIR、青色の前記色フィルタを有する受光素子から読み出された輝度信号をBIR、前記近赤外フィルタを有する受光素子から読み出された輝度信号をIR、前記混合係数をkとすると、Y=RIRGIRBIRk×IRで表され、前記係数算出ステップでは、前記混合係数を、-3から1の範囲内の値において算出してもよい。これにより、輝度信号の算出を簡単な計算により生成することができる。また、前記色成分出力ステップでは、複数の色成分信号のうちの赤色成分信号の利得を最大とするように、前記複数種類の色信号および前記近赤外信号が含む近赤外信号成分の成分量を調整して当該複数の色成分信号を出力してもよい。これにより、色信号処理において注目領域の赤色に近赤外信号を優先的に加算することで可視光が微弱な領域でも赤色を強調して表示し、視認性を向上することができる。また、前記色成分出力ステップでは、複数の色成分信号のうちの赤色成分信号の利得を最大とするように、前記複数種類の色信号のうちの赤色信号の利得を他の色信号の利得よりも増加させて当該複数の色成分信号を出力してもよい。これにより、可視光が微弱な領域でも赤色を強調して表示し、視認性を向上することができる。また、前記係数算出ステップでは、1フレーム内の最小1画素行ごとに、前記混合係数を、前記近赤外信号の信号量に応じて算出し、前記輝度出力ステップでは、前記複数種類の色信号と前記近赤外信号とを、前記混合係数に基づいて混合し、当該混合され信号を輝度信号として出力し、前記色成分出力ステップでは、前記複数種類の色信号、前記近赤外信号及び前記輝度信号を用いて、複数の色成分信号を計算して当該複数の色成分信号を出力することにより、カラー画像と近赤外光による輝度成分を主とする白黒画像とを1フレーム内の最小1行単位で切り替えて表示させてもよい。これにより、フレーム内の画素行ごとに最適な混合係数を得ることができ、1フレーム内で白黒画像とカラー画像を生成するので、両者の長所をもつ画像をユーザに提供することができる。本発明の撮像装置および画像信号処理方法によれば、近赤外信号の信号量に応じて混合係数を算出することにより、可視光信号が微弱であっても色成分信号を有効に残して、画像をカラー化することができる。以下、本発明に係る実施の形態について、図面を参照しながら詳細に説明する。実施の形態1本実施の形態に係る撮像装置は、二次元状に配置された複数の受光素子を有する固体撮像素子から、複数色の可視光に対応する複数種類の色信号および近赤外信号を読み出し、当該近赤外信号の信号量に応じて、複数種類の色信号に対する近赤外信号の混合率を示す混合係数を単位画素ごとに算出し、当該混合係数を用いて、複数種類の色信号と近赤外信号とを混合し、当該混合された信号を輝度信号として出力し、また、複数種類の色信号および近赤外信号を用いて複数の色成分信号を計算して出力する。これにより、近赤外信号の信号量に応じて混合係数を算出することで、可視光信号が微弱であっても色成分信号を有効に残して、画像をカラー化することが可能となる。特に、夜間に近赤外光を利用した擬似カラーモードでの画像出力時でも、特定注目領域のみを高解像度IR白黒にするたとえば車のナンバープレートこと、または、赤色を強調するたとえば標識ことにより、注目物体を認識しやすくすることも可能である。まず、本発明の実施の形態1に係る撮像装置カメラの構成について説明する。図1は、本発明の実施の形態1に係る撮像装置の主要な機能構成を示すブロック図である。同図に記載された撮像装置100は、固体撮像素子101と、信号処理部201と、撮像制御部301と、光源制御部401と、IR近赤外光光源411と、レンズ501と、絞り502とを備える。固体撮像素子101は、複数の単位画素115と、垂直シフトレジスタ121と、水平シフトレジスタ122と、ノイズ除去回路123と、出力アンプ124とを備え、入射光を光電変換して色信号を生成するMOS型イメージセンサ等である。複数の単位画素115は、赤色光および近赤外光を受光するRIR画素、緑色光および近赤外光を受光するGIR画素、青色光および近赤外光を受光するBIR画素、および近赤外光を受光するIR画素の4画素を1単位としている。RIR画素は、受光素子と当該受光素子の上に配置されたRIR透過フィルタ111とを備え、GIR画素は、受光素子と当該受光素子の上に配置されたGIR透過フィルタ112とを備え、BIR画素は、受光素子と当該受光素子の上に配置されたBIR透過フィルタ113とを備え、IR画素は、受光素子と当該受光素子の上に配置されたIR透過フィルタ114とを備える。RIR透過フィルタ111、GIR透過フィルタ112、BIR透過フィルタ113は、それぞれ、可視光R、G、Bの何れかと近赤外光IRとを透過する色フィルタである。また、IR透過フィルタ114は、可視光を抑制し近赤外光を透過する近赤外フィルタである。単位画素115は、カラー画像または白黒画像における1画素に対応する。固体撮像素子101は、2次元配列された単位画素115の各画素行を垂直シフトレジスタ121により選択し、選択された画素行に属する単位画素の画素信号を、ノイズ除去回路123でノイズ除去した後、水平シフトレジスタ122により選択して、単位画素115毎のカラー信号を出力アンプ124から信号処理部201へ出力する。垂直シフトレジスタ121、水平シフトレジスタ122および選択回路125は、上記色フィルタを透過して光電変換された複数種類の色信号と、上記近赤外フィルタを透過して光電変換された近赤外信号とを複数の受光素子から読み出す読み出し部として機能する。なお、RIR透過フィルタ111、GIR透過フィルタ112、BIR透過フィルタ113、およびIR透過フィルタ114を有する画素の構成を容易に実現するために、フォトニック結晶カラーフィルタを固体撮像素子101上に集積することが好ましい。低屈折率と高屈折率の材料を交互に積層して得られる光学多層膜は、特定の波長の光が透過しない禁止帯が生じる。本実施の形態では、近赤外光が透過するように透過帯を調節することによりIR透過フィルタが形成されている。RIR透過フィルタ111、GIR透過フィルタ112、およびBIR透過フィルタ113は、低屈折率および高屈折率の材料が交互にλ/4λ:波長の膜厚で積層された光学多層膜に、膜厚がλ/4とは異なる欠陥層を導入することにより形成される。つまり、この欠陥層により光学的な周期性に乱れが生じ、禁止帯の中に透過帯を生じさせることができる。よって、欠陥層の膜厚を適切に設計することで、所望の波長帯域の透過帯を実現できる。すなわち、赤色光と近赤外光とが透過するRIR透過フィルタ111、緑色光と近赤外光とが透過するGIR透過フィルタ112、青色光と近赤外光とが透過するBIR透過フィルタ113、および近赤外光のみが透過するIR透過フィルタ114を容易に設計できる。ここで、IR透過フィルタ114が配置された受光素子上に形成された集光レンズの焦点距離は、RIR透過フィルタ111、GIR透過フィルタ112およびBIR透過フィルタ113が配置された受光素子上に形成された集光レンズの焦点距離より短いことが好ましい。波長が長いほど焦点距離が短くなることから、上記焦点距離の関係より、波長が可視光より長いIR信号を効率よく受光素子に入射できる。また、IR透過フィルタ114が配置された受光素子上に形成された集光レンズは、入射光の波長と同程度かそれよりも短い線幅で分割された同心構造の光透過膜で生じる実効屈折率分布を有してもよい。これにより、斜め入射光での集光効率の増加ならびに解像度および感度の向上が図られ、高精細でかつ色再現性が高い固体撮像素子を実現できる。また、IR透過フィルタ114が配置された受光素子上に形成された集光レンズの屈折率は、RIR透過フィルタ111、GIR透過フィルタ112およびBIR透過フィルタ113が配置された受光素子上に形成された集光レンズの屈折率より大きくしてもよい。屈折率が大きいほど焦点距離が短くなることから、上記集光レンズの屈折率の大小関係により、波長が可視光より長いIR信号を効率よく受光素子に入射できる。また、IR透過フィルタ114が配置された受光素子上に形成された層間膜は、RIR透過フィルタ111、GIR透過フィルタ112およびBIR透過フィルタ113が配置された受光素子上に形成された層間膜より屈折率が大きくてもよい。波長が可視光より長い近赤外光用の受光素子上に形成された層間膜の屈折率は、可視光近赤外光用の受光素子上に形成された層間膜の屈折率より大きいので、波長が可視光より長いIR信号を効率よく受光素子に入射できる。撮像制御部301は、露出時間制御部311と、絞り制御部312とを備え、近赤外信号制御部221からの制御信号に基づいて、絞り502と単位画素115の露出時間とを調整する。光源制御部401は、近赤外信号制御部221からの制御信号に基づいて、IR光源411の照射量を調整する。レンズ501は、入射した光を固体撮像素子101の撮像領域上に結像させる。信号処理部201は、OB計算部211と、ローパスフィルタLPF212と、4×4行列演算部213と、ホワイトバランス部214と、色差計算部215と、ゲイン調整部216と、γ補正部217と、近赤外信号制御部221と、k算出部222と、輝度計算部223とを備え、固体撮像素子101の有する単位画素115から出力された4種類の画素信号に画像信号処理を施すDSP等である。信号処理部201は、入力された上記4種類の画像信号をOB計算部211で暗電流などのオフセット除去を行う。色信号は続いてローパスフィルタ212でノイズ成分を除去される。4×4行列演算部213は、RIR画素、GIR画素、およびBIR画素の原信号から、比重をかけたIR信号を差分して、R信号、G信号およびB信号を得る。このとき、比重係数は、近赤外光が消失するように調整されている。つまり4×4行列演算部213は、RIR信号、GIR信号、BIR信号、IR信号に対して、4×4の行列演算を施すことによってR信号、G信号およびB信号を出力する。ホワイトバランス部214は、通常の3原色と同様に、ホワイトバランスを行い3原色間の色補正を行う。色差計算部215は、複数種類の色信号、つまり、R信号、G信号およびB信号、ならびに、輝度計算部223で算出された輝度信号Yを用いて、複数の色成分信号R-Y信号、B-Y信号を計算して出力する色成分計算部である。γ補正部217から出力された色信号は、輝度計算部223から出力された輝度信号と併せて、表示装置等に画像信号として出力される。本実施の形態では、輝度信号を作成する演算において、IR透過フィルタ114が配置された受光素子から出力された信号が用いられている。輝度信号は、以下の式1により計算される。輝度信号Y=RIR画素の輝度信号GIR画素の輝度信号BIR画素の輝度信号k×IR画素の輝度信号式1つまり、Y=RIRGIRBIRkIRで計算される。ここで、kは、RIRGIRBIR信号に対するIR信号の混合率を示す混合係数であり、あるいは、輝度信号Yに対するIR信号の混合率を示す混合係数である。この場合、kは-3以上1以下の範囲内で定められる。k=-3の場合、IR信号が完全に除去された輝度信号Yを得ることができる。これは昼モードでは撮像に適している。k=1の場合、IR信号の全部を含む輝度信号Yを得ることができる。これは白黒画像の生成に適している。kが-3から1の中間的な値のとき、カラー画像が生成され、kに応じてカラー化の程度が決まる。これは、夜モードでカラー化するのに適している。図2は、k算出部222における混合係数算出処理の一例を示すフローチャートである。同図において、AveIRは、1フレーム前のフレーム内のIR信号の平均値であり、Th1~Th4は、Th1>Th2>Th3>Th4を満たす閾値である。まず、k算出部222は、AVEIRが閾値Th1より大きい場合S21でYes、混合係数k=k1を設定するS22。次に、AVEIRが閾値Th1以下でありS21でNo、かつ、閾値Th2より大きい場合S23でYes、混合係数k=k2を設定するS24。次に、AVEIRが閾値Th2以下でありS23でNo、かつ、閾値Th3より大きい場合S25でYes、混合係数k=k3を設定するS26。次に、AVEIRが閾値Th3以下でありS25でNo、かつ、閾値Th4より大きい場合S27でYes、混合係数k=k4を設定するS28。次に、AVEIRが閾値Th4以下である場合、混合係数k=k5を設定するS29。ここで、k1、k2、k3、k4は、例えば、1、0、-1、-2、-3である。なお、混合係数は、3段階以上であれば何段階であってもよいし、連続的な値としてもよい。このように、k算出部222は、IR透過フィルタ114が配置された受光素子と当該受光素子に隣接するGIR透過フィルタ112およびBIR透過フィルタ113が配置された受光素子とで構成される単位画素ごとに、固体撮像素子101から読み出されたRIR信号、GIR信号およびBIR信号に対するIR信号の混合率を示す混合係数kを、IR信号の信号量に応じて算出する係数算出部である。輝度計算部223は、k算出部222で算出された混合係数kを用いて、固体撮像素子101から読み出されたRIR信号、GIR信号およびBIR信号とIR信号とを混合し、当該混合され信号を輝度信号Yとして出力する。近赤外信号制御部221は、信号処理部201での画像信号の演算処理に用いられるIR信号の成分量を1単位画素毎に所定の値に制御する。具体的には、近赤外信号制御部221は、k算出部222で用いられるIR信号をk算出部222へ出力する。また、近赤外信号制御部221は、輝度信号演算に用いられるIR信号の成分量に応じて、撮像制御部301を制御し、固体撮像素子101の露光量を所定の値に制御する。具体的には、近赤外信号制御部221は、露出時間制御部311を制御し、固体撮像素子101の露出時間を所定の値に調整する。また、近赤外信号制御部221は、絞り制御部312を制御し、レンズ501の絞り502を調整することにより入射光量を所定の値に調整する。あるいは、近赤外信号制御部221は、光源制御部401を制御し、被写体に所定の近赤外光を照射するIR光源411の照射量を調整する。これにより、輝度信号に印加される近赤外光量の成分量が、近赤外信号制御部221により画素毎に制御されることで、同一フレーム内にカラー画像を出力する画素と近赤外光による輝度成分を主とする白黒画像を出力する画素とを、最小1画素単位で切り替えることが可能となる。また、近赤外信号制御部221は、色信号成分に印加されるIR信号成分の成分量をホワイトバランス部214の出力に応じてゲイン調整部216を制御し利得を調整する。特に、車載カメラやセキュリティカメラで要求される標識などの赤色の色再現性を得るために、R信号の利得を最大とするようにIR信号成分の成分量を制御する。つまり、近赤外信号制御部221は、IR信号の信号量に応じて特定色を強調または抑制するための色ゲインを決定する。ゲイン調整部216は、色ゲインに従って色差計算部215により算出された複数の色成分信号のゲインを調整する。これにより、信号処理部201は、各受光素子のIR信号成分を除いた可視光成分のみからなる色再生信号を生成する工程において、例えば、R信号成分に最大の利得を与えることが可能となる。なお、近赤外信号制御部221は、ユーザ操作に基づく特定色である赤色の強調指示を外部から受け付け、受け付けた色に対するゲインを相対的に増加させる処理を行ってもよい。また、特定色の強調の代わりに、受け付けた色以外の抑制を行うようにしてもよい。この場合特定色のゲインを相対的に減少させればよい。また、近赤外信号制御部221は、ユーザ操作に基づく特定色である赤色の強調指示を外部から受け付け、受け付けた色に対し近赤外信号の輝度信号を優先的に加算させる処理を行うことにより、受け付けた色の強調を行ってもよい。上記構成および信号処理により、信号処理部201は、固体撮像素子101が出力する4種類の画素信号からR信号、G信号およびB信号を生成し、また、単位画素115ごとにIR信号を生成する。そして、輝度信号と2つの色差信号とからなるカラー画像を生成する。輝度信号は単独では白黒画像を表す。なお、固体撮像素子101が出力する画素信号からR信号、G信号およびB信号を生成するには、例えば、R信号を生成する場合には、RIR画素の出力信号であるRIR画素信号からIR画素の出力信号であるIR画素信号を差し引くことによりR信号を導出する。上記構成および信号処理を利用すれば、IR信号の信号量に応じて混合係数kを算出することにより、可視光信号が微弱であっても色成分信号を有効に残して、画像をカラー化することができる。言い換えれば、輝度信号に占める赤外信号の割合を、赤外信号量に応じて調整可能にする。例えば、混合係数を小さくすれば輝度信号に占める赤外信号の割合を小さくすれば、色成分信号例えば色差信号が相対的に大きくなり、画像を白黒からカラーに近づけることができる。逆に、混合係数を大きくすれば輝度信号に占める赤外信号の割合を大きくすれば、色成分信号例えば色差信号が相対的に小さくなり画像をカラーから白黒に近づけることができる。例えば、昼間では、近赤外光成分を含んだ赤、緑および青の原信号からIR画素のIR信号成分を差分することで、赤、緑および青の各信号を得ることが出来る。よって、昼間であっても、機械式IRカットフィルタが不要である。一方、夜間では、全ての画素の信号を用いることで近赤外光の画像を得る。つまり、IR画像の解像度は、RIR画素、GIR画素およびBIR画素のIR成分を用いるため、昼間でのRGB画像よりも高い。本実施の形態における撮像装置100によれば、白黒画像、白黒に近いカラー画像、白黒とカラー画像の中間的な画像、カラーに近い白黒画像、カラー画像を混合係数に応じて生成することができる。デイナイトカメラ等、夜間に近赤外光を受光することで撮像する固体撮像素子において、可視光信号が微弱な環境の夜間モードにおいても、可視カラー画像を出力する撮像装置を実現することができる。特に夜間に近赤外光を利用した擬似カラーモードでの画像出力時でも、1単位画素ごとに画像信号を制御することで、特定注目領域のみを高解像度IR白黒にするたとえば車のナンバープレートや、赤色を強調するたとえば標識ことで、注目物体を認識しやすくなる。なお、本発明は、上述した特徴的な手段を備える撮像装置100として実現することができるだけでなく、撮像装置100に含まれる特徴的な手段をステップとする画像信号処理方法として実現することができる。以下、撮像装置100において行われる画像信号処理方法について説明する。図3は、本発明の実施の形態1に係る画像信号処理方法を説明する動作フローチャートである。まず、信号処理部201は、固体撮像素子101の有するRIR透過フィルタ111、GIR透過フィルタ112、およびBIR透過フィルタ113を透過して光電変換されたRIR信号、GIR信号およびBIR信号と、IR透過フィルタ114を透過して光電変換されたIR信号とを複数の受光素子から読み出すS01:読み出しステップ。次に、k算出部222は、単位画素ごとに、ステップS01にて読み出されたRIR信号、GIR信号およびBIR信号に対するIR信号の混合率を示す混合係数kを、IR信号の信号量に応じて算出するS02:係数算出ステップ。次に、輝度計算部223は、ステップS01にて読み出されたRIR信号、GIR信号およびBIR信号とIR信号とを、ステップS02にて算出された混合係数kに基づいて単位画素ごとに混合し、当該混合され信号を輝度信号Yとして出力するS03:輝度出力ステップ。最後に、色差計算部215は、ステップS01にて読み出されたRIR信号、GIR信号、BIR信号およびIR信号、ならびに輝度信号Yを用いて、単位画素ごとに複数の色成分信号を計算して当該複数の色成分信号を出力するS04:色成分出力ステップ。上述した画像信号処理方法によれば、IR信号の信号量に応じて混合係数kを算出することにより、可視光信号が微弱であっても色成分信号を有効に残して、画像をカラー化することができる。例えば、混合係数を小さくすれば輝度信号に占める赤外信号の割合を小さくすれば、色成分信号例えば色差信号が相対的に大きくなり、画像を白黒からカラーに近づけることができる。逆に、混合係数を大きくすれば輝度信号に占める赤外信号の割合を大きくすれば、色成分信号例えば色差信号が相対的に小さくなり画像をカラーから白黒に近づけることができる。よって、夜間モードにおいても、可視カラー画像を出力することができる。なお、ステップS02では、同一フレーム画像内の第1の領域が白黒画像となるように混合係数kを算出し、第1の領域と異なる第2の領域がカラー画像となるように混合係数kを算出してもよい。これにより、カラー画像を、夜間および昼間に関係なく常に出力することが可能となる。よって、特に、夜間に近赤外光を利用した擬似カラーモードでの画像出力時でも、単位画素ごとに画像信号を制御することで、特定注目領域のみを高解像度IR白黒にするたとえば車のナンバープレートや、赤色を強調するたとえば標識ことで、注目物体を認識しやすくすることが可能となる。さらに、特定注目領域のみ、高解像度の白黒画像またはカラー画像にすることができるので、解像度または視認性を向上させることが可能となる。また、RIR信号、GIR信号、BIR信号およびIR信号は、それぞれ、正規化された値を有し、ステップS02では、混合係数kを、-3から1の範囲内の値において算出してもよい。これにより、輝度信号Yの算出を、上記式1による簡単な計算により生成することができる。また、ステップS04では、複数の色成分信号のうちの赤色成分信号の利得を最大とするように、近赤外信号制御部221によりIR信号成分の成分量を調整することで、当該複数の色成分信号を出力してもよい。これにより、色信号処理において注目領域の赤色に近赤外信号を優先的に加算することで可視光が微弱な領域でも赤色を強調して表示し、視認性を向上することができる。また、ステップS04では、複数の色成分信号のうちの赤色成分信号の利得を最大とするように、近赤外信号制御部221によりR信号の利得を他の色信号の利得よりも増加させることで、当該複数の色成分信号を出力してもよい。これにより、可視光が微弱な領域でも赤色を強調して表示し、視認性を向上することができる。また、ステップS02では、1フレーム内の最小1画素行ごとに、混合係数kを、IR信号の信号量に応じて算出してもよい。これにより、フレーム内の画素行ごとに最適な混合係数を得ることができ、1フレーム内で白黒画像とカラー画像を生成するので、両者の長所をもつ画像をユーザに提供することができる。実施の形態2本実施の形態では、第1に、輝度計算部が、さらに、赤外信号を抑制するためのダミー混合係数kdを用いて、複数種類の色信号と近赤外信号とを混合することによりダミーの輝度信号Ydを計算し、色差計算部215が、ダミーの輝度信号Ydを用いて2つの色差信号を色成分信号として生成する例について説明する。また、第2に、輝度計算部が、交互に繰り返される第1所定数の連続行と第2所定数の連続行とに対して、第1所定数の連続行が白黒画像となるように混合係数を算出し、第2所定数の連続行がカラー画像となるように混合係数を算出する構成について説明する。また、第3に、近赤外信号制御部221が、近赤外信号の信号量に応じて特定色を強調または抑制するための色ゲインを決定し、ゲイン調整部216が、当該色ゲインに従い、色差計算部215により算出された複数の色成分信号のゲインを調整する例について説明する。まず、本発明の実施の形態2に係る撮像装置カメラの構成について説明する。図4は、本発明の実施の形態2に係る撮像装置の主要な機能構成を示すブロック図である。同図に記載された撮像装置200は、固体撮像素子101と、信号処理部251と、撮像制御部301と、光源制御部401と、IR近赤外光光源411と、レンズ501と、絞り502とを備える。同図に記載された撮像装置200は、図1に記載された撮像装置100と比較して、輝度計算部223の代わりに輝度計算部423を備える点が構成として異なっている。以下、本実施の形態に係る撮像装置200について、撮像装置100と同じ点は説明を省略して、異なる点を中心に説明する。輝度計算部423は、輝度計算部223の機能に加えて、ダミーの輝度信号Ydを計算し、当該計算されたダミーの輝度信号Ydを、輝度信号Yとして色差計算部215に供給する。ここで、ダミーの輝度信号は、IR信号が完全に抑圧された輝度信号であり、k=-3のときの輝度信号Yである。これにより、色差計算部215は、混合係数が大きいときでも、IR信号が完全に抑圧された場合の色差信号を算出することになる。これにより、色再現性のよい2つの色差信号を生成することができる。さらに、輝度計算部423は、輝度計算部223と比べて、第1所定数の連続行が白黒画像となるように混合係数を算出し、第2所定数の連続行がカラー画像となるように混合係数を算出する点が異なっている。図5は、輝度計算部423における混合係数算出処理の一例を示すフローチャートである。まず、輝度計算部423は、ループ1において第1所定数の連続行に対して、図2と同様にkを算出するS51~S53。これにより第1所定数の連続行はカラー画像になる。次に、輝度計算部423は、ループ2において第2所定数の連続フレームに対して、k=1と決定するS54~S55。これにより、第2所定数の連続フレームは白黒画像になる。なお、第1所定数、第2所定数は、ともに1以上の整数であり、例えば1、1、1、2、2、1等であってよい。上記構成及び信号処理により、白黒画像とカラー画像とを、所定の行数ごとに交互に生成するので、両者の長所をもつ画像をユーザに提供することができる。なお、近赤外信号制御部221は、ユーザ操作に基づく特定色である赤色の強調指示を外部から受け付け、受け付けた色に対し近赤外信号の輝度信号を優先的に加算させる処理を行って、受け付けた色の強調を行ってもよい。これにより、色信号処理において注目領域の赤色に近赤外信号を優先的に加算することで可視光が微弱な領域でも赤色を強調して表示し、視認性を向上させることができる。また、輝度計算部423は、第1所定数を1行が白黒画像となるように混合係数を算出し、第2所定数を1行がカラー画像となるように混合係数を算出し、例えば1行毎に白黒画像とカラー画像を切り替えてもよい。これにより、フレーム内の画素行ごとに最適な混合係数を得ることができ、1フレーム内で白黒画像とカラー画像を生成するので、両者の長所をもつ画像をユーザに提供することができる。なお、輝度計算部423が、第1所定数の連続フレームが白黒画像となるように混合係数を算出し、第2所定数の連続フレームがカラー画像となるように混合係数を算出するフレーム毎の制御をしてもよい。なお、本発明に係る撮像装置は、上記実施の形態1および2に限定されるものではない。実施形態1および2における任意の構成要素を組み合わせて実現される別の実施の形態や、実施の形態1および2に対して本発明の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本発明に係る撮像装置を内蔵した各種機器も本発明に含まれる。