(57)【要約】【課題】  撮像装置の主な用途として、監視カメラや車載カメラがある。共に、暗くなっても目的の被写体を鮮明に撮影したいという要求が強い。この課題に対しては、可視光領域の光だけではなく近赤外領域の活用による改善が記載されている。しかし、可視光領域の光量と非可視光領域の光量のいずれかが十分でない場合、S/Nが悪くなってしまうという課題があった。【解決手段】少なくとも２つ以上の異なる透過中心波長を有するカラーフィルタを備えた画素の各々について、独立して露光時間を制御する手段を設ける。【選択図】  図１
2014150470.tif 000002
【特許請求の範囲】
【請求項１】
所定の透過中心波長を有する第一のフィルタを備えた第一の画素群と、前記第一のフィルタとは異なる透過中心波長を有する第二のフィルタを備えた第二の画素群と、が配列された撮像部と、
前記撮像部の前記第一の画素群と前記第二の画素群の各々について独立して露光時間を制御する露光制御処理部と、
を有することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記撮像部は、前記第一の画素群として可視光の波長領域に感度をもつ可視光画素を、前記第二の画素群として赤外または近赤外光の波長領域に感度をもつ非可視光画素とを融資、
前記露光制御処理部は、前記可視光画素と前記非可視光画素の露光時間を個別に独立して制御することを特徴とする撮像装置。
【請求項３】
請求項１又は２に記載の撮像装置であって、
前記撮像部は、画素ごとの露光による蓄積電荷を放電するリセット処理部と、画素ごとの露光による蓄積電荷を読み出すための読出し処理部と、を有し、
前記露光制御処理部は、決定された露光時間に応じて前記リセット処理部と前記読み出し処理部のタイミングを制御することで、前記第一の画素群と前記第二の画素群の露光時間を制御することを特徴とする撮像装置。
【請求項４】
請求項３記載の撮像装置であって、
さらに、前記撮像部から出力される前記第一の画素群からの信号と前記第二の画素群からの信号の信号レベルを比較して判定する判定部を備え、
前記露光制御処理部は、前記判定部による判定結果に基づいて、前記第一の画素群からの信号と前記第二の画素群からの信号の信号レベルが近づくように、前記撮像部の前記第一の画素群と前記第二の画素群の各々について露光時間を制御することを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置であって、
前記判定部は、所定の画像領域内に存在する前記第一の画素群の信号レベルの平均値と前記第二の画素群の信号レベルの平均値の比を算出し、
前記露光制御処理部は、前記判定部の判定結果に基づいて、前記第一の画素群の平均値と前記第二の画素群の平均値の比が所定の比率に近づくよう、前記撮像部の前記第一の画素群と前記第二の画素群の各々について露光時間を制御することを特徴とする撮像装置。
【請求項６】
請求項１又は２に記載の撮像装置であって、
さらに、少なくとも非可視光に感度を持つ光を投光する非可視光投光部を有し、
前記露光制御処理部は、前記非可視光部からの投光情報に基づいて、前記撮像部の前記第一の画素群と前記第二の画素群の各々について露光時間を制御することを特徴とする撮像装置。
【請求項７】
請求項６記載の撮像装置であって、
さらに、前記投光情報に応じた露光時間情報を保持したテーブル部を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、特開２００８−９２２４７公報（特許文献１）がある。該公報には、「[課題]固体撮像素子から出力されるカラー画像のホワイトバランスを良好にする。[解決手段]マトリックス状に配置された複数の光電変換素子２０を備え、互いに異なる３つの透過中心波長を有するカラーフィルタ２２R，２２G, ２２B、近赤外光領域に透過中心周波数を有する近赤外光フィルタ２２IRのいずれか１つが光電変換素子２０の各々の受光面に配置され、光電変換素子２０のマトリックスの各列にカラーフィルタ２２R,２２G,２２Bのうちいずれか1種と近赤外光フィルタ２２IRが配置されている固体撮像素子により上記課題を解決することができる。」と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−９２２４７公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像装置の主な用途として、監視カメラや車載カメラがある。共に、暗くなっても目的の被写体を鮮明に撮影したいという要求が強い。この課題に対しては、可視光領域の光だけではなく近赤外領域の活用による改善が記載されている。しかし、可視光領域の光量と非可視光領域の光量のいずれかが十分でない場合、ノイズに偏りが出るという課題があった。本発明は、上記課題を解決し、近赤外領域を活用してもS/N劣化を抑圧できる撮像装置を提供するものである。
【課題を解決するための手段】
【０００５】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次の通りである。
（１）所定の透過中心波長を有する第一のフィルタを備えた第一の画素群と、前記第一のフィルタとは異なる透過中心波長を有する第二のフィルタを備えた第二の画素群と、が配列された撮像部と、前記撮像部の前記第一の画素群と前記第二の画素群の各々について独立して露光時間を制御する露光制御処理部と、を有することを特徴とする撮像装置である。
【発明の効果】
【０００６】
本発明によれば、S/N劣化を抑圧できる撮像装置を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明に係る撮像装置の第一の実施例の全体構成概略図である。
【図２】第一の実施例の撮像素子を示す図である。
【図３】第一の実施例における露光時間個別調整のための構成を示す図である。
【図４】第二の実施例の撮像素子を示す図である。
【図５】第二の実施例における露光時間個別調整のための構成を示す図である。
【図６】本発明に係る撮像装置の第三の実施例の全体構成概略図である。
【図７】R,G,B各々の画素の感度特性の一例を示す図である。
【図８】光源の波長分布の一例を示す図である。
【図９】R,G,B各々の画素の出力特性の一例を示す図である。
【図１０】R,G,B,Ir各々の画素の感度特性の一例を示す図である。
【図１１】光源の波長分布の他の例を示す図である。
【図１２】R,G,B,Ir各々の画素の出力特性の一例を示す図である。
【図１３】本発明に係る撮像装置の第二の実施例の全体構成概略図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について、図面を用いて説明する。
【実施例１】
【０００９】
図１は、本発明に係る撮像装置の第一の実施例の全体構成概略図である。本実施例に係る撮像装置は、撮像部１０１と、画像処理部１０２と、判定部１０３と、露光制御処理部１０４と、を適宜用いて構成される。
【００１０】
撮像部１０１は、例えば図２に示すように、光電変換素子の上部に赤の波長に感度を持つ“R”フィルタと、緑の波長に感度を持つ“G”フィルタ（図中ではG1とG2と記載するが、以降の本説明ではいずれの信号もGと定義して説明する）と、青に感度を持つ“B”フィルタとを市松状に配置し、これらのカラーフィルタにより各カラー信号を得る単板カラー撮像素子であるとし、R,G,B各々の画素の感度特性は、例えば図７に示すものであるとする。ここで、被写体に照射される光源の波長分布は光源の種類によって異なり、例えば図8に示す分布を有する光源下で白い被写体を写した場合、R,G,B各々の画素の出力特性は図７と図８との掛け合わせとなり、図９のようになる。この条件で撮影された白い被写体を白の映像として出力するためには、例えばBの信号レベルを小さくし、Rの信号レベルを大きくするようゲイン補正をかけ、各々の信号レベルをR=G=Bとなるように処理することで実現できる。しかし、ゲイン補正を行う前の信号にはノイズ信号が重畳しており、特に信号レベルを大きくするようゲイン補正をかけた色信号は、ノイズが強調されてしまうという課題があった。また、R,G,Bいずれかの画素が電荷飽和状態にある場合（映像が白飛びしている場合）、ゲインを下げれば飽和した画素の信号レベルは下がるが、映像の白飛びは改善されないという課題もあった。
【００１１】
上記課題を解決するために本実施例では、撮像部１０１は、R,G,Bの各画素に対して露光時間を個別に調整できるものとし、判定部１０３は、撮像部１０１から入力された各R,G,B信号の信号レベルの比を求めるものとし、露光制御処理部１０４は、判定部１０３から得た各R,G,B信号の信号レベルの比が一定になるように、撮像部１０１のR,G,Bの各画素の露光時間を個別に調整するものとした。
【００１２】
上記構成において、各R,G,B信号の信号レベルの比を求めるとは、例えば撮像部１０１からの各R,G,B信号に対して、被写体の白を表す信号として所定の画像領域内の平均値AveR,AveG,AveBを求め、信号レベルの比が一定になるようにとは、例えばAveR=AveG=AveBとなるように、
R画素の露光時間  ＝  AveG  /  AveR  ×  Gの露光時間
B画素の露光時間  ＝  AveG  /  AveB  ×  Gの露光時間
とすればよい。例えば撮影した画像においてAveB＞AveG＞AveRという条件が成り立つ場合、光源の波長分布は図8のような特性を持つため、白い被写体を白の映像として出力するために、B画素の露光時間を短くしてB画素の信号レベルを小さくすることができ、R画素の露光時間を長くしてR画素の信号レベルを大きくすることができる。また、露光時間を制御するものであるため、撮像部１０１で重畳されるノイズ量は変わることがない。また、信号レベルが大きかったB画素が電荷飽和状態であった場合、露光時間を短くするため電荷飽和しない状態にすることができ、映像の白飛びを抑制することが可能となる。尚、本実施例においては、被写体の白を表す信号として所定の画像領域内の平均値を求めるとしたが、所定の画像領域内のさらに所定の信号レベルのみを抽出する方法であってもよい。また、被写体の白と思われる標識などのオブジェクトを認識し、該オブジェクトの画素を抽出する方法をとれば、高精度に被写体の白を抽出することが可能となる。
【００１３】
次に、上記実施例における、R,G,Bの各画素に対して個別に露光時間を独立して調整するための具体的な構成の一例を、図３を用いて説明する。撮像部１０１は、リセット処理部３０１と読み出し処理部３０２を有し、判定部１０３からのR,G,Bの各画素の信号レベルの比に基づいて露光制御処理部１０４にて決定されたR,G,B各画素の露光時間の情報を基に、リセット処理部３０１にて電荷リセット信号を、読み出し処理部３０２にて電荷読み出し信号を生成し、これらの信号を用いてR,G,B各画素を個別に制御する。このように、R,G,B各画素に対し、それぞれに対応する電荷リセット信号及び電荷読み出し信号を送信して制御することで、露光時間を個別に調整することが可能となる。ここで、図中には記載していないが、グローバルシャッタ方式を実現する場合、例えば、撮像部１０１上に配列されたすべてのR画素に対し、同一の電荷リセット信号と同一の電荷読み出し信号を送ればよい。また、ローリングシャッタ方式を実現する場合、例えば撮像部１０１上に配列されたすべてのR画素に対し、所定時間ずつずらした電荷リセット信号と電荷読み出し信号を送ればよい。G画素、B画素についても、R画素と同様である。この方式を採用すれば、電荷リセット信号と電荷読み出し信号生成を簡素なものとすることができ、回路規模が削減できる。また配線も簡素とすることができ、配線層が光の通り道を遮ってしまい画素の開口率を下げてしまうという問題を抑制することもできる。
【００１４】
尚、可視光領域のR,G,Bのそれぞれについて透過中心波長を持つ画素をR,G,Bと定義したが、各々の画素は非可視光にも感度を持つものであってもよく、例えばR+IR画素、G+IR画素、B+IR画素であってもよい。このような撮像素子を撮像部１０１に用いた場合、判定部１０３はマトリクス演算によりR,G,Bを分離したあとに信号レベルの比を求めるものとすればよい。
【実施例２】
【００１５】
図１３は、本発明に係る撮像装置の第二の実施例の全体構成概略図である。本実施例に係る撮像装置は、第一の実施例と同様、撮像部１３０１と、画像処理部１０２と、判定部１０３と、露光制御処理部１０４と、を適宜用いて構成されるが、撮像部１３０１の構成や判定部１０３、露光制御処理部１０４での処理などが第一の実施例の場合と異なる。
【００１６】
撮像部１３０１は、例えば図４に示すように、光電変換素子の上部に赤の波長に感度を持つ“R”フィルタと、緑の波長に感度を持つ“G”フィルタと、青に感度を持つ“B”フィルタと、赤外または近赤外の非可視光領域に感度を持つ“IR”フィルタとを市松状に配置し、４種類のカラー信号を得る単板カラー撮像素子であるとし、R,G,B,IR各々の画素の感度特性は、例えば図１０に示すものであるとする。ここで、被写体に照射される光源の波長分布は光源の種類によって異なり、例えば図１１に示す分布を有する光源下で白い被写体を写した場合、R,G,B,IR各々の画素の出力特性は図１０と図１１との掛け合わせとなり、図１２のようになる。この条件で撮影された可視光領域の画像と非可視光領域の信号レベルを各々十分に確保するためには、例えば可視光領域に感度を持つR,G,B画素の信号レベルを小さくし、非可視光領域に感度を持つIR画素の信号レベルを大きくするようゲイン補正をかけ、各々の信号レベルをR=G=B=IRとなるように処理することで実現できる。しかし、ゲイン補正を行う前の信号にはノイズ信号が重畳しており、特に信号レベルを大きくするようゲインをかけたIR画素のノイズが強調されてしまうという課題があった。また、R,G,Bいずれかの画素が電荷飽和状態にある場合（映像が白飛びしている場合）、ゲインを下げれば飽和した画素の信号レベルは下がるが、映像の白飛びは改善されないという課題もあった。
【００１７】
上記課題を解決するために本実施例では、撮像部１３０１は、可視光領域に感度を持つ画素と非可視光領域に感度を持つ画素とで個別に露光時間を個別に調整できるものとし、判定部１０３は、撮像部１３０１から入力された可視光領域に感度を持つR,G,B信号の少なくともいずれかひとつと非可視光領域に感度を持つIR信号との信号レベルの比を求めるものとし、露光制御処理部１０４は、判定部１０３から得た信号レベルの比が一定になるように、撮像部１３０１のR,G,Bの画素とIRの画素の各々について、露光時間を個別に調整するものとした。
【００１８】
上記構成において、信号レベルの比を求めるとは、例えば撮像部１３０１からの各G信号とIR信号を用いて、被写体の白を表す信号として所定の画像領域内の平均値AveG,AveIRを求め、信号レベルの比が一定になるようにとは、例えばAveG=AveIRとなるように、
IR画素の露光時間  ＝  AveG  /  AveIR  ×  Gの露光時間
Rの露光時間  ＝  Gの露光時間  ＝  Bの露光時間
となるように調整すればよい。例えば撮影した画像においてAveG＞AveIRという条件が成り立つ場合、光源の波長分布は図１１のような特性を持つため、可視光領域に感度を持つR,G,Bの露光時間を保ちつつ、IR画素の露光時間を長くしてIR画素の信号レベルを大きくすることができる。また、露光時間を制御するものであるため、撮像部１０１で重畳されるノイズ量は変わることがない。また、信号レベルが大きかったR,G,B画素が電荷飽和状態であった場合、R,G,Bの露光時間を短くすれば電荷飽和しない状態にすることができ、映像の白飛びを抑制することが可能となる。尚、本実施例においては、所定の画像領域内の平均値を求めるとしたが、所定の画像領域内のさらに所定の信号レベルのみを抽出する方法であってもよい。また、被写体の標識などの所定のオブジェクトを認識し、該オブジェクトの画素を抽出する方法をとれば、物体ごとに可視光と非可視光の反射係数が各々既知である場合に、高精度に可視光と非可視光の分布を抽出することが可能となる。
【００１９】
次に、上記実施例における、可視光領域に感度を持つ画素と非可視光領域に感度を持つ画素とで個別に露光時間を独立して調整するための具体的な構成の一例を、図５を用いて説明する。撮像部１３０１は、第一の実施例と同様、リセット処理部３０１と読み出し処理部３０２を有し、判定部１０３からの信号レベルの比から露光制御処理部１０４にて個別に決定された可視光領域に感度をもつR,G,B各画素の露光時間と非可視光領域に感度をもつIR画素の露光時間の情報を基に、リセット処理部３０１にて電荷リセット信号を、読み出し処理部３０２にて電荷読み出し信号を生成し、これらの信号を用いて各画素を個別に制御する。第一の実施例ではR,G,B個別に制御していたのに対し、本実施例ではR,G,Bは同一の露光時間とすることで、電荷リセット信号と電荷読み出し信号生成を簡素なものとすることができ、回路規模が削減できる。また配線も簡素とすることができ、配線層が光の通り道を遮ってしまい画素の開口率を下げてしまうという問題を抑制することができる。
【００２０】
また、可視光画素と非可視光画素の感度特性は、図１０に示すように各々同じレベルであるとしたが、CMOSセンサやCCDセンサなどの一般的な撮像素子を用いた場合においては、可視光画素に対して非可視光画素の感度が低い場合がある。このような撮像素子を用いた場合であっても、本実施例のように、可視光画素と非可視光画素の露光時間を変えることで、各々の感度特性のレベルを揃えるように調整することができる。
【００２１】
尚、可視光領域のR,G,Bのそれぞれについて透過中心波長を持つ画素をR,G,Bと定義したが、各々の画素は非可視光にも感度を持つものであってもよく、例えばR+IR画素、G+IR画素、B+IR画素であってもよい。また、赤外または近赤外の非可視光領域に透過中心波長を持つ画素をIRと定義したが、可視光にも感度を持つものであってもよく、例えばR+G+B+IR画素であってもよい。このような撮像素子を撮像部１３０１に用いた場合、判定部１０３はマトリクス演算によりR,G,B,IRを分離したあとに信号レベルの比を求めるものとすればよい。  
【実施例３】
【００２２】
図６は、本発明に係る撮像装置の第三の実施例の全体構成概略図である。本実施例に係る撮像装置は、撮像部１３０１と、画像処理部１０２と、非可視光投光部６０１と、可視光投光部６０２と、テーブル部６０３と、露光制御処理部１０４と、を適宜用いて構成される。
【００２３】
撮像部１３０１は例えば、第二の実施例と同様、光電変換素子の上部に赤の波長に感度を持つ“R”フィルタと、緑の波長に感度を持つ“G”フィルタと、青の波長に感度を持つ“B”フィルタと、赤外または近赤外の非可視光領域に感度を持つ“IR”フィルタとを市松状に配置し、４種類のカラー信号を得る単板カラー撮像素子であり、R,G,B,IR各々の画素の感度特性は、例えば図１０に示すものであるとする。また、R,G,Bの画素とIRの画素の各々について、露光時間を個別に調整できるものとした。
【００２４】
また、本実施例に係る撮像装置は、非可視光を被写体に向けて照射する非可視光投光部６０１と可視光投光部６０２とを備え、非可視光投光部６０１の照射のON,OFFまたは照射の強さ、可視光投光部６０２の照射のON,OFFまたは照射の強さ、さらには本実施例の撮像装置が設置される場所で照射される光源Ａ、の各々の条件ごとに最終的に被写体に照射される光の波長分布は変わることから、事前に各々の条件に対して最適となるR,G,Bの画素とIRの画素の露光時間を個別に保存しておくテーブル部６０３を備える構成とした。
【００２５】
また、露光制御処理部１０４は、非可視光投光部６０１の照射のON,OFF情報または照射の強さの情報と可視光投光部６０２の照射のON,OFF情報または照射の強さの情報とを基に、テーブル部６０３の情報を参照してR,G,Bの画素とIRの画素の各々の露光時間を決定し、露光時間を個別に調整するものとした。
【００２６】
例えば、非可視光投光部６０１の照射をONとし、可視光投光部６０２の照射をONとしたとき、各々の光の波長分布の特性が図１１のようになった場合、R,G,B,IR各々の画素の出力特性は図１０と図１１との掛け合わせとなり、図１２のようになる。この場合、IR画素の露光時間は、R,G,B画素の露光時間よりも長くし、各々の画素が適正な信号量となればよい。したがって、この露光時間の情報をあらかじめテーブル部６０３に保持しておき、非可視光投光部６０１の照射のON,OFF情報または照射の強さの情報と可視光投光部６０２の照射のON,OFF情報または照射の強さの情報とを基に、露光時間を決定する構成とした。
【００２７】
以上の構成によれば、実施例１または２に記載したように画像信号から信号レベルの比を演算で求める必要がなく、処理を簡略化できる。また、映像に写っている被写体に関係なく高精度に露光時間を決定することができる。それ以外の構成、効果については、第一の実施例あるいは第二の実施例に記載のものと同様である。
【００２８】
尚、本実施例では非可視光投光部と可視光投光部を各々持つ構成としたが、いずれかひとつを持つ構成であってもよい。また、非可視光投光部は必ずしも非可視光のみに感度を持つものである必要はなく、可視光領域に感度を持つものであってもよい。可視光投光部は必ずしも可視光のみに感度を持つものである必要はなく、非可視光に感度を持つものであってもよい。
【００２９】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えて適宜適用することが可能であり、また、ある実施例の構成に他の実施例の構成を適宜追加したり組み合わせることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００３０】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
以上のように、各実施例の構成によれば、S/N劣化を抑え、視認性の良いカラー映像を実現する撮像装置を提供することができる。
【符号の説明】
【００３１】
１０１・・・撮像部
１０２・・・画像処理部
１０３・・・判定部
１０４・・・露光制御処理部
３０１・・・リセット処理部
３０２・・・読み出し処理部
６０１・・・非可視光投光部
６０２・・・可視光投光部
６０３・・・テーブル部
【図１】
2014150470.tif 000003
【図２】
2014150470.tif 000004
【図３】
2014150470.tif 000005
【図４】
2014150470.tif 000006
【図５】
2014150470.tif 000007
【図６】
2014150470.tif 000008
【図７】
2014150470.tif 000009
【図８】
2014150470.tif 000010
【図９】
2014150470.tif 000011
【図１０】
2014150470.tif 000012
【図１１】
2014150470.tif 000013
【図１２】
2014150470.tif 000014
【図１３】
2014150470.tif 000015