(57)【要約】【課題】昼間など可視光が存在する環境および夜間など可視光がほとんど存在しない環境共に１つのイメージセンサでカラー撮影を行い、カメラ使用者の視認性を高める。【解決手段】撮像素子に可視光領域の波長を透過するカラーフィルタ（例えば青、緑、赤など）を配置した画素と、近赤外光領域の波長を透過するカラーフィルタを配置した画素が混在するようなイメージセンサを用いて、昼間は可視光領域の画素を使って画像処理を行い、輝度成分と色成分を計算し、夜間など可視光が比較的に小さい場合には近赤外光領域の画素を使って輝度成分を生成すると共に、可視光領域の画素に対して、フレーム内でノイズ低減フィルタを施すか、あるいはフレーム間で加算平均をとることにより、可視光領域の画素レベルを大きくした後に、この情報を基に色成分を計算することでカラー撮影を行う。【選択図】図１
2010098358.tif 000002
【特許請求の範囲】
【請求項１】
可視光と近赤外光の両方に感度を有する画素からなる撮像素子。
【請求項２】
可視光と近赤外光の両方に感度を有する画素からなる撮像素子と、
前記画素の可視光の信号を用いた輝度成分および色成分の計算と、前記画素の可視光および近赤外光の信号を用いた輝度成分および色成分の計算とを切り替えて実行する信号処理部とを備えた撮像装置。
【請求項３】
可視光と近赤外光の両方に感度を有する画素からなる撮像素子と、
近赤外光に比べて可視光が多い場所での撮影時における前記画素の可視光の信号を用いた輝度成分および色成分の計算と、近赤外光に比べて可視光が少ない場所での撮影時における前記画素の可視光および近赤外光の信号を用いた輝度成分および色成分の計算とを切り替えて実行する信号処理部とを備えた撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記信号処理部は、前記画素の可視光の信号をフレーム内でノイズ低減フィルタを施すことで、ノイズ低減処理を施して色成分を計算することを特徴とする撮像装置。
【請求項５】
請求項３に記載の撮像装置において、
前記信号処理部は、前記画素の可視光の信号をフレーム間で加算平均をとることで、ノイズ低減処理を施して色成分を計算することを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
フレーム間の動き量を算出して加算平均をとることを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
フレーム間での変化量が大きい場合には加算を行わずに、再度加算を再開することを特徴とする撮像装置。
【請求項８】
請求項３ないし請求項７に記載の撮像装置において、
色成分を正確に抽出できない場合に、輝度情報に応じて色成分を計算することを特徴とする撮像装置。
【請求項９】
可視光と近赤外光の両方に感度を有する画素からなる撮像素子と、
前記画素の可視光の信号レベルの大きさが近赤外光の信号レベルの大きさに比べて十分に大きい時における可視光の信号を用いた輝度成分および色成分の計算と、前記画素の可視光の信号レベルの大きさが近赤外光の信号レベルの大きさに比べて小さい時における可視光および近赤外光の信号を用いた輝度成分の計算ならびに可視光および近赤外光の信号を用いるとともに可視光の信号をフレーム内でノイズ低減フィルタを施すことでノイズ低減処理を施してなる色成分の計算と、前記画素の可視光の信号レベルの大きさが近赤外光の信号レベルの大きさに比べて非常に小さい時における可視光および近赤外光の信号を用いた輝度成分の計算ならびに可視光および近赤外光の信号を用いるとともに可視光の信号をフレーム間で加算平均をとることでノイズ低減処理を施してなる色成分を計算とを切り替えて実行する信号処理部とを備えた撮像装置。
【請求項１０】
請求項２ないし請求項９に記載の撮像装置において、可視光と近赤外光の量を画面全体の平均値または、ある領域での平均値から決定することを特徴とする撮像装置。
【請求項１１】
可視光と近赤外光の両方に感度を有する画素からなる撮像素子と、
前記画素の可視光の信号レベルの大きさが近赤外光の信号レベルの大きさに比べて大きい時に可視光の信号を用いた輝度成分および色成分の計算を行うとともにその色成分を記憶手段に記憶させ、前記画素の可視光の信号レベルの大きさが近赤外光の信号レベルの大きさに比べて小さい時における近赤外光の信号を用いた輝度成分の計算ならびに動きがない部分については予め記憶させた色成分を使って色成分を作成するとともに動きがある部分についてはノイズ低減を施すことで色成分を計算を行う信号処理部とを備えた撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサ等による撮像信号を入力として映像データの信号処理を行い、外部のモニタ等へ映像データを出力する撮像装置に関する。
【背景技術】
【０００２】
車載カメラや監視カメラなどでは、撮影条件が夜間などの太陽光や照明が無い場所でも撮影できることが求められてきている。通常、夜間の撮影では近赤外光ＬＥＤなどの照明で照らした光を近赤外光に反応するイメージセンサで撮影するが、近赤外光に反応するイメージセンサでは昼間にも近赤外光に反応するため良好な色再現を実現することができない。
【０００３】
そこで、従来では特許文献１のような１つのイメージセンサで昼・夜間両方を撮影するために、図９に示すような構成の固体撮像装置が用いられている。イメージセンサ（撮像素子）９０２は可視光・近赤外光の両方に反応するイメージセンサであり、近赤外光の波長の光を透過させないような近赤外光カットフィルタ９０１を、昼間にはイメージセンサ９０２の前に配置してイメージセンサ９０２内には可視光のみ入射させることにより良好な色再現処理ができるようにして、夜間には近赤外光カットフィルタ９０１を機械的に取り除くことにより近赤外照明で照らされた近赤外光がイメージセンサ９０２に入射できるようにすることにより夜間にも撮影ができるようにしている。
【０００４】
また、特許文献２では図１０に示すように、固体撮像素子上に赤１００１、緑１００２、青１００３、近赤外光１００４の各波長の光を通すカラーフィルタが配置された画素を配置することにより、昼間には赤、青、緑の画素１００１，１００２，１００３から画像情報を計算し、夜間には近赤外光の画素１００４から画像情報を計算することにより、１つの固体撮像素子で昼・夜兼用の撮影を可能にしている。
【特許文献１】特開２０００−５９７９８号公報
【特許文献２】特開平１０−０６５１３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
図９に示す従来例では、近赤外光カットフィルタ９０１を機械的に開閉させるような機構が必要であり、その分コスト増につながるという課題がある。さらに昼間には色成分を抽出することができるが、夜間には近赤外光のみを使用しており色成分を抽出することができないためカラー撮影をすることができず、カメラ使用者の視認性が低下するという課題がある。また、車載カメラなど高信頼性が求められるような装置では、近赤外光カットフィルタ９０１の開閉装置の分だけ品質が低下するという課題もある。
【０００６】
図１０に示す従来例では、夜間には近赤外光１００４のみで画像処理を行うため、色成分の抽出を行うことができないためカラー撮影をすることができず、カメラ使用者の視認性が低下するという課題がある。
【０００７】
本発明では、昼間など可視光が存在する環境および夜間など可視光がほとんど存在しない環境共に１つのイメージセンサでカラー撮影を行い、安価にカメラ使用者の視認性を高めることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の請求項１の撮像素子は、可視光と近赤外光の両方に感度を有する画素からなる。
【０００９】
本発明の請求項２の撮像装置は、可視光と近赤外光の両方に感度を有する画素からなる撮像素子と、前記画素の可視光の信号を用いた輝度成分および色成分の計算と、前記画素の可視光および近赤外光の信号を用いた輝度成分および色成分の計算とを切り替えて実行する信号処理部とを備える。
【００１０】
本発明の請求項１および請求項２の撮像素子および撮像装置によると、可視光および近赤外光両方共の画素データを取得でき、可視光が多い(例えば昼時の撮影)、少ない(例えば夜時の撮影)に関わらずカラー画像の撮影を行うことができ、使用者の視認性を高めることができる。
【００１１】
本発明の請求項３の撮像装置は、可視光と近赤外光の両方に感度を有する画素からなる撮像素子と、近赤外光に比べて可視光が多い場所での撮影時における前記画素の可視光の信号を用いた輝度成分および色成分の計算と、近赤外光に比べて可視光が少ない場所での撮影時における前記画素の可視光および近赤外光の信号を用いた輝度成分および色成分の計算とを切り替えて実行する信号処理部とを備える。
【００１２】
本発明の請求項４の撮像装置は、請求項３において、前記信号処理部は、前記画素の可視光の信号をフレーム内でノイズ低減フィルタを施すことで、ノイズ低減処理を施して色成分を計算することを特徴とする。
【００１３】
本発明の請求項５の撮像装置は、請求項３において、前記信号処理部は、前記画素の可視光の信号をフレーム間で加算平均をとることで、ノイズ低減処理を施して色成分を計算することを特徴とする。
【００１４】
本発明の請求項６の撮像装置は、請求項５において、フレーム間の動き量を算出して加算平均をとることを特徴とする。
【００１５】
本発明の請求項７の撮像装置は、請求項６において、フレーム間での変化量が大きい場合には加算を行わずに、再度加算を再開することを特徴とする。
【００１６】
本発明の請求項８の撮像装置は、請求項３ないし請求項７において、色成分を正確に抽出できない場合に、輝度情報に応じて色成分を計算することを特徴とする。
【００１７】
本発明の請求項３ないし請求項８の撮像装置によると、可視光が近赤外光に比べて少ない条件下(例えば夜時の撮影)において、色成分生成時のノイズの影響を抑えることができ、より視認性の高いカラー画像の撮影が可能となる。
【００１８】
本発明の請求項９の撮像装置は、可視光と近赤外光の両方に感度を有する画素からなる撮像素子と、前記画素の可視光の信号レベルの大きさが近赤外光の信号レベルの大きさに比べて十分に大きい時における可視光の信号を用いた輝度成分および色成分の計算と、前記画素の可視光の信号レベルの大きさが近赤外光の信号レベルの大きさに比べて小さい時における可視光および近赤外光の信号を用いた輝度成分の計算ならびに可視光および近赤外光の信号を用いるとともに可視光の信号をフレーム内でノイズ低減フィルタを施すことでノイズ低減処理を施してなる色成分の計算と、前記画素の可視光の信号レベルの大きさが近赤外光の信号レベルの大きさに比べて非常に小さい時における可視光および近赤外光の信号を用いた輝度成分の計算ならびに可視光および近赤外光の信号を用いるとともに可視光の信号をフレーム間で加算平均をとることでノイズ低減処理を施してなる色成分を計算とを切り替えて実行する信号処理部とを備える。
【００１９】
本発明の請求項１０の撮像装置は、請求項２ないし請求項９において、可視光と近赤外光の量を画面全体の平均値または、ある領域での平均値から決定することを特徴とする。
【００２０】
本発明の請求項９または請求項１０の撮像装置によると、可視光量と近赤外光量を自動で識別できるため、カメラ使用者が手動で切り替えなくても、最適な撮像モードで撮像することができ、さらに使用者の視認性を高めることができる。
【００２１】
本発明の請求項１１の撮像装置は、可視光と近赤外光の両方に感度を有する画素からなる撮像素子と、前記画素の可視光の信号レベルの大きさが近赤外光の信号レベルの大きさに比べて大きい時に可視光の信号を用いた輝度成分および色成分の計算を行うとともにその色成分を記憶手段に記憶させ、前記画素の可視光の信号レベルの大きさが近赤外光の信号レベルの大きさに比べて小さい時における近赤外光の信号を用いた輝度成分の計算ならびに動きがない部分については予め記憶させた色成分を使って色成分を作成するとともに動きがある部分についてはノイズ低減を施すことで色成分を計算を行う信号処理部とを備える。
【００２２】
本発明の請求項１１の撮像装置によると、固定カメラの場合で動きが無い部位についてはノイズ低減処理を施す必要が無いので、より正確な色情報を抽出でき、使用者の視認性を高めることができる。
【００２３】
本発明による撮像装置では、撮像素子に可視光領域の波長を透過するカラーフィルタ（例えば青、緑、赤など）を配置した画素と、近赤外光領域の波長を透過するカラーフィルタを配置した画素が混在するようなイメージセンサを用いて、昼間は可視光領域の画素を使って画像処理を行い、輝度成分と色成分を計算し、夜間など可視光が比較的に小さい場合には近赤外光領域の画素を使って輝度成分を生成すると共に、可視光領域の画素に対して、フレーム内でノイズ低減フィルタを施すか、あるいはフレーム間で加算平均をとることにより、可視光領域の画素レベルを大きくした後に、この情報を基に色成分を計算することでカラー撮影を行う。
【００２４】
また、可視光量と近赤外光量の大きさは、画面全体でのそれぞれの平均または特定の領域でのそれぞれの平均値から判断することで、可視光量>>近赤外光量であるとすると撮影条件は昼であると推定でき（昼間は近赤外光がほとんど無いはず）、可視光量=近赤外光量であるとすると撮影条件は夕方と推定でき（夕方になると近赤外光が増えてくる）、可視光量<<近赤外光量であるとすると撮影条件は夜と推定できる（夜間には近赤外照明で被写体を照らすので近赤外光が多い）ことから、これら推定結果からカメラ処理の状態を自動で切り替えることができる。
【発明の効果】
【００２５】
本発明の撮像素子および撮像装置によると、可視光および近赤外光両方共の画素データを取得でき、昼間など可視光が存在する環境および夜間など可視光がほとんど存在しない環境に関わらずカラー画像の撮影を行うことができ、使用者の視認性を高めることができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の撮像素子および撮像装置の実施の形態を図面に基づいて詳細に説明する。
【００２７】
図１は本発明の実施の形態における撮像装置１００のブロック図を示している。
【００２８】
図１において、撮像素子（イメージセンサとも呼ぶ）１０２の前に光学レンズ１０１を配置して、撮像されたアナログデータをＡＤＣ１０３でデジタル化する。撮像素子１０２の画素配列については後述する。デジタル化された画像信号は信号処理部１０４へ入力され、外部DRAM（または同機能のメモリ）１０６を使いながら輝度（または明るさ）と色情報に分解される。信号処理方法の詳細については後述する。輝度情報と色情報信号は、画像フォーマット変換部１０５で外部の出力装置（例えば、カメラ付随の液晶モニタ１０８や静止画記録するためのメモリカード１０７など）１０９に出力するためのフォーマット（例えば、JPEGやMPEG）に変換される。
【００２９】
図２は、本発明の実施の形態における撮像素子１０２の画素配列の例を示している。
【００３０】
図２において、赤領域の波長（Ｒと記す）および近赤外領域の波長（Ｉと記す）に感度を有する画素２０１と、緑領域の波長（Ｇと記す）および近赤外領域の波長Ｉに感度を有する画素２０２と、青領域の波長（Ｂと記す）および近赤外領域の波長Ｉに感度を有する画素２０３と、近赤外領域の波長Ｉのみに感度を有する画素２０４とが水平垂直に繰り返しマトリックス上に配置されている。
【００３１】
Ｒ＋Ｉ画素２０１は、光を感知する物質（例えば半導体シリコンなど）の上に赤および赤外波長のみ透過させるフィルターを配置させる、または赤および赤外波長を透過させるような結晶体でできた画素である。
【００３２】
Ｇ＋Ｉ画素２０２は、光を感知する物質（例えば半導体シリコンなど）の上に緑および赤外波長のみ透過させるフィルターを配置させる、または緑および赤外波長を透過させるような結晶体でできた画素である。
【００３３】
Ｂ＋Ｉ画素２０３は、光を感知する物質（例えば半導体シリコンなど）の上に青および赤外波長のみ透過させるフィルターを配置させる、または青および赤外波長を透過させるような結晶体でできた画素である。
【００３４】
Ｉ画素２０４は、光を感知する物質(例えば半導体シリコンなど)の上に赤外波長のみ透過させるフィルターを配置させる、または赤外波長を透過させるような結晶体でできた画素である。
【００３５】
なお、各４種類の画素が入れ替わった場合および４種類の画素が撮像素子上の任意の場所に配置されたような撮像素子であっても同様な効果を出すことができる。また、上記撮像素子では赤、緑、青領域に感度を有する画素が配置されているが、可視光領域であればどの領域に感度を有する画素であっても同様な効果を出すことができる。
【００３６】
特許請求の範囲の請求項１は撮像素子１０２に関するものであり、画素２０１，２０２，２０３が請求項１の可視光と近赤外光の両方に感度を有する画素に相当し、昼間および夜間においてカラー撮像を行い、近赤外光に比べて可視光が少ない場所での撮影時にもカラー画像を表示する。
【００３７】
次に請求項２および請求項３に関して、近赤外光に比べて可視光が多い場所と近赤外光に比べて可視光が少ない場所での輝度成分および色成分の計算方法について説明する。
【００３８】
近赤外光に比べて可視光が多い場所での撮影時には、可視光の信号を用いた輝度成分および色成分の計算を、近赤外光に比べて可視光が少ない場所での撮影時には、可視光および近赤外光の信号を用いた輝度成分および色成分の計算を、それぞれ切り替えて実行する。
【００３９】
輝度成分および色成分の計算は、信号処理部１０４においてハード演算（またはソフト演算）で実行される。可視光が多い場所での計算と可視光が少ない場所での計算との切り替えは、可視光/近赤外光の積算値をハードがモニターまたはマイコンがモニターすることで切り替え命令を信号処理部１０４に出すことで行う。また、車載カメラなどの場合には車本体側からの命令により切り替えることも可能である（例えば、車のヘッドライドスイッチがONされた場合には夜と判断する）。
【００４０】
図３は信号処理に使用する画素配列および重心位置を示し、図４は信号処理に使用するフィルタ係数の例を示す。
【００４１】
まず、重心位置３０１でのＲ＋Ｉ画素２０１，Ｇ＋Ｉ画素２０２，Ｂ＋Ｉ画素２０３，Ｉ画素２０４の値を、図４に示すフィルタ係数で補間処理を施すことで求めると下式のようになる。
【００４２】
(R+I)'=[9*(R+I)(n+2,n+2)+3*(R+I)(n+2,n)+3*(R+I)(n,n+2)+(R+I)(n,n)]/16
(G+I)'=[9*(G+I)(n+1,n+2)+3*(G+I)(n+1,n)+3*(G+I)(n+3,n+2)+(G+I)(n+3,n)]/16
(B+I)'=[9*(B+I)(n+2,n+1)+3*(B+I)(n,n+1)+3*(B+I)(n+2,n+3)+(B+I)(n,n+3)]/16
(I)'=[9*(I)(n+1,n+1)+3*(I)(n+3,n+1)+3*(I)(n+1,n+3)+(I)(n+3,n+3)]/16
但し、(n,n)はx=n,y=n座標位置を示す。
【００４３】
以上から、重心位置３０１での昼間の輝度成分(Y成分)および色成分(R,G,B成分)は下式で求めることができる。
【００４４】
Y = 0.299(R+I)'+ 0.587(G+I)'+ 0.114(B+I)'− I'  ・・・式Y-1
R'= (R+I)'− I'    ・・・式R-1
G'= (G+I)'− I'    ・・・式G-1
B'= (B+I)'− I'    ・・・式B-1
式Y-1は、R,G,Bを使って輝度(Y)を求める式であるY = 0.299R + 0.587G + 0.114Bにおいて、R,G,Bに対して近赤外光成分Iが余計に混ざっているので減算して純粋なR,G,B成分を求めている。式R-1,G-1,B-1についても同様に余計な近赤外光成分Iを減算している。なお、I'は各画素位置（Ｒ＋Ｉ画素２０１、Ｇ＋Ｉ画素２０２、Ｂ＋Ｉ画素２０３の位置）での近赤外光成分の値を示しているが、各画素位置での近赤外光成分は分からないので周辺のＩ画素２０４から補間することでI'を求めている。
【００４５】
請求項２および請求項３における、可視光の信号を用いた輝度成分の計算が式Y-1に相当し、可視光の信号を用いた色成分の計算が式R-1,G-1,B-1に相当する。
【００４６】
また、夜間の輝度成分(Y成分)および色成分(R,G,B成分)は下式で求めることができる。
【００４７】
Y = 0.25(R+I)'+ 0.25(G+I)'+ 0.25(B+I)'＋ 0.25I'  ・・・式Y-2
R'= (R+I)'− I'  ・・・式R-2
G'= (G+I)'− I'  ・・・式G-2
B'= (B+I)'− I'  ・・・式B-2
夜間は、R,G,B成分が非常に小さく昼間と同じように輝度(Y)を求めても輝度情報にならないため、なるべくレベルの高い信号を作るため４画素２０１〜２０４を均等（係数0.25）に足している。
【００４８】
なお、式Y-2では４画素を均等に足して輝度(Y)を求めたが、より汎用性を持たせるため各係数を任意に設定するようにしてもよい。なお、係数の設定は予め、ホスト側から設定される。
【００４９】
請求項２および請求項３における、可視光および近赤外光の信号を用いた輝度成分の計算が式Y-2に相当し、可視光および近赤外光の信号を用いた色成分の計算が式R-2,G-2,B-2に相当する。
【００５０】
ここで、夜間など可視光成分が小さい時にはR',G',B'成分が非常に小さいため正確な色成分を作成することはできない。したがって、正確な色成分を抽出するために、請求項４〜請求項７に示すようなノイズ低減処理を施すことで正確な色成分を抽出する。次に、そのノイズ低減処理について説明する。
【００５１】
可視光画素をフレーム内で、図５に示すような係数を持つ水平、垂直方向に3TAPの大きさのノイズ低減フィルタを施すことでノイズ低減を行い、色成分を抽出する。このノイズ低減フィルタが請求項４に相当する。
【００５２】
ノイズ低減フィルタを用いてのノイズ低減処理は、信号処理部１０４で実施され、具体的には畳み込み演算（コンボリューション）が行われる。すなわち、図５において、左上(重み1)画素位置から右に向かってI1,I2,I3が画素値で、2段目も同様にI4,I5,I6が画素値、一番下段も同様にI7,I8,I9が画素値とすると、ノイズ低減後のI5位置の画素値は、
(I1*1+I2*2+I3*1+I4*2+I5*4+I6*2+I7*1+I8*2+I9*1)/16
で求めることができる。
【００５３】
また、R',G',B'成分が小さい場合には、上記ノイズ低減フィルタを施しても十分にノイズ低減を行うことが困難であるため、フレーム間で加算平均をとることでノイズ低減を図る（請求項５）。その際には、フレーム間で動きがあった場合にそのまま加算平均をとってしまうと正確に加算を行うことができず、色にじみなどの原因になる。したがって、図６に示すように、ｎフレーム目６０１とｎ＋１フレーム目６０２の各部位の動き量をフレーム間差分処理をするなどして算出して、ｎ＋１フレーム目６０２の任意の画素(x,y)がｎフレーム目６０１に対して(Δx,Δy)だけ動き６０３があった場合には、ｎ＋１フレー
ム目６０２の任意の画素(x,y)とｎフレーム目６０１の(x−Δx,y−Δy)位置の画素との
加算平均を行うことで動き分をキャンセルすることができ、動きがあった場合でも正確に加算平均を行うことができる（請求項６）。
【００５４】
フレーム間で加算平均をとることによるノイズ低減処理は、信号処理部１０４で実施される。なお、ノイズ低減フィルタを用いてのノイズ低減処理とフレーム間で加算平均をとることによるノイズ低減処理の両方によるノイズ低減処理に限らず、ノイズ低減フィルタを用いてのノイズ低減処理を行わずフレーム間で加算平均をとることによるノイズ低減処理単独でのノイズ低減処理であってもよい。
【００５５】
ノイズ低減フィルタを用いてのノイズ低減処理を行うか、フレーム間で加算平均をとることによるノイズ低減処理を行うかは、Ｒ＋Ｉ画素２０１、Ｇ＋Ｉ画素２０２、Ｂ＋Ｉ画素２０３の可視光の信号のレベルの大きさにより決定される。例えば、ノイズ低減フィルタを用いてのノイズ低減処理を行う信号のレベル大きさと、フレーム間で加算平均をとることによるノイズ低減処理を行う信号のレベル大きさとを予め所定の値に設定しておいて、その設定値と可視光の信号のレベルの大きさを比較してノイズ低減フィルタを用いてのノイズ低減処理を行うか、フレーム間で加算平均をとることによるノイズ低減処理を行うかを決定したり、あるいはホスト側（例えば車側）からの命令をうけて、ノイズ低減フィルタを用いてのノイズ低減処理を行う回路か、フレーム間で加算平均をとることによるノイズ低減処理を行う回路が動くようにしてもよい。なお、可視光の信号のレベルの大きさが「大」の場合にはノイズ低減フィルタを用いてのノイズ低減処理を行い、可視光の信号のレベルの大きさが「中」の場合にはフレーム間で加算平均をとることによるノイズ低減処理を行う。
【００５６】
フレーム間で動きがあった場合の動き検出については、前フレーム６０１と現フレーム６０２との差分画像を見るか、パターンマッチングを行い、どれだけ移動したかを算出することにより行う。また、その値が予め決められた値より大きい場合にはフレーム間で動きがあった場合による加算平均を行い、小さい場合にはフレーム間で加算平均を行いフレーム平均を繰り返すことでノイズを低減させ、これらの処理の切り替えは信号処理部１０４で行う。
【００５７】
また、単純な加算平均ではなく各フレーム間の加算比率を変えれば、より精度良く加算平均をとることができる。すなわち、平均化された画像と現フレームとの加算平均をとる時に重みをつけることで、動きに対する追従度（時定数）を変えることができる。例えば、平均化画像の方が重みが大きい場合には、動きがあった場合に動きに対して鈍感になる（すぐに動きが反映されない）。また、当処理は信号処理部１０４にて実施される。
【００５８】
また、フレーム間での変化量が大きい場合には加算を行わずに、再度加算を再開するなどの処理を行えば、より精度良く加算平均をとることができる（請求項７）。フレーム間での変化量については、上述した通り、予め決められた値より大きいか小さいかで判断し、予め決められた値より大きい場合に加算を行わない。また、加算平均が再開されるのは、動き量が決められた値（上記と同じ値）以下になった場合に再開される。また、当処理は信号処理部１０４にて実施される。
【００５９】
また、色成分を正確に得ることができない場合には、さらにノイズ低減フィルタをかけると共に、ダウンビット化し色情報の概算値を求めた後に、輝度情報に応じて色成分を変化させることで、ノイズのない色成分を生成することもできる（請求項８）。ここで、色成分を正確に得ることができないとは、Ｒ＋Ｉ画素２０１、Ｇ＋Ｉ画素２０２、Ｂ＋Ｉ画素２０３の可視光の信号のレベルの大きさが決められた値（非常に小さい値に設定される）より小さい場合に、S/Nレベルが非常に小さくなるので色成分を正確に得ることができないということである。また、ノイズ低減フィルタは図５と同じもので構わないが、特に図５のノイズ低減フィルタに限定されるものではない。また、ビットダウン化により、割り算することで正確な値がでなくなるがノイズは低減される。また、輝度情報に応じて色成分を変化させるとは、画像中の色情報値を間引いて持ち（例えば8画素中に1値）、それ以外の画素については輝度レベルの大きさの比率で色成分を計算するというものである。例えば、色情報を持っているＡ画素に対して、隣画素での色情報を計算する場合には、Ａ画素の輝度値と隣画素の輝度値との比と同じだけ色成分も乗算して求めるというものである。また、当処理は信号処理部１０４にて実施される。
【００６０】
次に、請求項９に示すように上記処を切り替える方法および自動制御方法について図７を用いて説明する。
【００６１】
予め撮影条件下を検出するため、画面上の可視光画素(R,G,B)の平均値と近赤外光画素の平均値を比較して、可視光画素値の方が大きい場合（判断７０１でYES）には、昼間の撮影条件と判断し、輝度および色成分を式Y-1,R-1,G-1,B-1から算出する（処理７０２）。
【００６２】
次に、可視光より近赤外光の方が大きいが（判断７０１でNO）、可視光についても少し残っている場合（判断７０３でNO）には、夜時または可視光が少ない撮影条件と判断し、輝度成分は式Y-2から、色成分は式R-2,G-2,B-2から算出した後に、フレーム内でノイズ低減フィルタを施すことでノイズ低減処理を施すことにより、ノイズが少ない色成分を生成することができる（処理７０４）。
【００６３】
次に、可視光より近赤外光の方が十分に大きく可視成分が非常に小さい場合（判断７０３でYES）には、輝度成分は式Y-2から、色成分は式R-2,G-2,B-2から算出した後に、フレーム間で加算平均をとることにより、ノイズ低減処理を施してノイズが少ない色成分を生成することができる（処理７０５）。
【００６４】
また、請求項１０に示すように可視光量と近赤外光量を算出するのに、画面全体の平均値にて算出してもよく、または画面の特定の領域のみの平均値にて算出してもよい。画面全体と画面の特定の領域の指定については、レジスタなどを介してホスト側が設定することで積算領域を予め指定する。また、特定の領域とは、画面の中心など撮影条件として重視したい領域を指定するものである。また、当処理は信号処理部１０４にて実施される。
【００６５】
また、図７における処理702,704,705を切り替えるのでなく、それぞれの処理を可視光量および近赤外光量に応じて重み付け平均して求めることで、急激な画像の変化を避けることもできる。すなわち、閾値周辺であった場合に急激に変化してしまうと、ノイズ具合によっては撮影画像が一定せず、急激な変化を繰り返す可能性があるので、それぞれの変化は時定数を持たせる必要があることに基づくものである。また、当処理は信号処理部１０４にて実施される。
【００６６】
さらに請求項１１では、固定カメラなど動きが少ない条件下での撮影についての処理を示している。
【００６７】
図８に示すように、ｎフレーム目８０３とｎ＋１フレーム目８０４間で動きがあった領域８０２については、ノイズ低減処理（１フレームノイズ低減またはフレーム間ノイズ低減処理）により抽出した色成分を使用し、動きが無い領域８０１では昼間など十分に可視光がある条件下で抽出した色情報を予めメモリなどに蓄積しておき、夜間など可視光が少ない条件化での撮影ではこの蓄積した色情報を使用して色成分を生成することで、動きの無い被写体に対して正確な色成分を生成することができる。また、当処理は信号処理部１０４にて実施される。
【産業上の利用可能性】
【００６８】
本発明にかかる撮像装置は、特に車載カメラや監視カメラなどのように昼・夜問わず撮影が必要であるような撮像装置の視認性(カラー化)向上に有用である。
【図面の簡単な説明】
【００６９】
【図１】本発明の実施の形態における撮像装置のブロック図
【図２】本発明の実施の形態における撮像素子の画素配列を示す図
【図３】本発明の実施の形態における撮像素子の画素配列および重心位置を示す図
【図４】本発明の実施の形態における信号処理部のフィルタの例を示す図
【図５】本発明の実施の形態におけるノイズ低減フィルタの例を示す図
【図６】本発明の実施の形態における動き補償処理の例を示す図
【図７】本発明の実施の形態における処理のフローチャート
【図８】本発明の実施の形態における動きが無い被写体で色成分抽出の例を示す図
【図９】従来例におけるカメラの構成を示す図
【図１０】従来例における撮像素子の画素配列を示す図
【符号の説明】
【００７０】
１００  撮像装置
１０１  光学レンズ
１０２  撮像素子（イメージセンサ）
１０３  ＡＤＣ
１０４  信号処理部
１０５  画像フォーマット変換部
１０６  DRAM
１０７  メモリカード
１０８  液晶モニタ
１０９  出力装置
１０９  出力装置
２０１  Ｒ＋Ｉ画素
２０２  Ｇ＋Ｉ画素
２０３  Ｂ＋Ｉ画素
２０４  Ｉ画素
【図１】
2010098358.tif 000003
【図２】
2010098358.tif 000004
【図３】
2010098358.tif 000005
【図４】
2010098358.tif 000006
【図５】
2010098358.tif 000007
【図６】
2010098358.tif 000008
【図７】
2010098358.tif 000009
【図８】
2010098358.tif 000010
【図９】
2010098358.tif 000011
【図１０】
2010098358.tif 000012