(57)【特許請求の範囲】
【請求項１】
緑色の可視光と赤外光とを透過させるフィルタを有する第１単位画素と、赤色の可視光と赤外光とを透過させるフィルタを有する第２単位画素と、青色の可視光と赤外光とを透過させるフィルタを有する第３単位画素と、赤外光を透過させるフィルタを有する第４単位画素とを備えた一組の単位配列が２次元状に配列された撮像領域を有する固体撮像素子と、
赤外光を発光する発光素子と、
前記発光素子に、フレーム時間を単位として発光または消光させることにより、赤外光をパルス発光させる発光制御部と、
前記発光制御部により発光または消光する前記発光素子の非発光期間および発光期間に同期して、前記固体撮像素子から可視光によるカラー画像信号および赤外光による画像信号を、それぞれ抽出する信号抽出部とを備え、
前記単位配列は、前記第１単位画素と前記第４単位画素とが、行方向または列方向に隣り合い、
前記第１単位画素と前記第２単位画素とが対角に配置されている
撮像装置。
【請求項２】
前記信号抽出部は、
前記第１単位画素からの信号、前記第２単位画素からの信号、前記第３単位画素からの信号のそれぞれから、前記第４単位画素からの信号を差分する赤外差分部を備え、
前記赤外差分部により生成されたカラー信号および前記第１から４単位画素のいずれかの画素より生成された輝度信号から、前記可視光によるカラー画像信号または前記赤外光による画像信号を抽出する
請求項１に記載の撮像装置。
【請求項３】
前記発光制御部は、前記発光素子に、フレーム時間を単位として発光または消光させる赤外光を、擬似ランダムパルスとして発光させる
請求項１または２に記載の撮像装置。
【請求項４】
前記擬似ランダムパルスは、前記発光制御部によるスペクトラム拡散方式により時間的に擬似ランダムに変調された発光パルスである
請求項３に記載の撮像装置。
【請求項５】
前記信号抽出部は、前記固体撮像素子が撮像した画像信号を逆拡散することにより、前記可視光によるカラー画像信号および赤外光による画像信号を、それぞれ抽出する
請求項４に記載の撮像装置。
【請求項６】
さらに、
前記第４単位画素の信号が所定の強度以上であるかを検出する検出手段と、
前記検出手段が所定の強度以上であると検出した場合、赤外光を減光する減光部を備える
請求項１〜５のうちいずれか１項に記載の撮像装置。
【請求項７】
さらに、
前記可視光によるカラー画像信号および前記赤外光による画像信号のうち少なくともいずれか一方を蓄積する蓄積部を備える
請求項１〜６のうちいずれか１項に記載の撮像装置。
【請求項８】
前記固体撮像素子は、前記可視光によるカラー画像信号または前記赤外光による画像信号を１／６０秒以下で出力する信号出力部を備える
請求項１〜７のうちいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可視光によるカラー画像と赤外光によるモノクロ画像とを同時に出力できる撮像装置に関する。
【背景技術】
【０００２】
従来、監視カメラやネットワークカメラなど、昼夜を問わずに使用するカメラでは、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＭＯＳ（Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの固体撮像素子が用いられている。これらの固体撮像素子は４００ｎｍ〜１０００ｎｍ程度の波長領域に感度を有し、被写体からの光をそのまま入射させると、赤外線領域の波長成分（約７００ｎｍ〜１０００ｎｍ）に対する感度により、画像が赤みを帯びたようになる。そのため、レンズと固体撮像素子との間に赤外線カットフィルタを挿入して赤外線領域の波長成分の光を除去している。このようにして、赤外線をカットすることにより、上記カメラは、人間が目で見るのと同様の色再現性を実現している。
【０００３】
ところが、上述したように、赤外線領域の波長成分の光を除去すると、昼間のように明るいときは色再現が良好なカラー画像が得られるが、夜間のように可視光が少なく暗いときには昼間のような良好な画像が得られない。
【０００４】
特許文献１及び２では、夜間には固体撮像素子の受光部に入力される光の量をできるだけ多くするため赤外線カットフィルタは使用せず、赤外線領域を含んだ光を固体撮像素子の受光部に入力させて画像を得ることが開示されている。
【０００５】
さらに、セキュリティ用途には、人の目に全く感じない８５０ｎｍ付近の赤外線領域の光を照射する赤外線照明装置が使われ始めている。このような赤外線照明装置には、赤外光を発光する赤外ＬＥＤなどが用いられる。これにより、犯罪が行われた場合に犯人が撮影されていることを全く認識できないにも関わらず、カメラからはコントラストが鮮やかな映像が得られる。よって、赤外線照明装置を備えたカメラは、暗視状態での監視が可能となり、これが大きな利点となっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１―２３９３５６号公報
【特許文献２】特開２００２―１３５７８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前述した従来技術では、赤外線カットフィルタの挿入及び離脱を実現するためのメカ機構が必要である。このようなメカ機構では、瞬時に赤外線カットフィルタを挿入または離脱することができないため、映像の切り替えにタイムラグが生じる。さらに上記切り替えの繰り返しにより機械的な故障を起こすなど、信頼性に課題を有する。
【０００８】
さらに、ＬＥＤ等を用いた赤外線照明装置を用いた場合、赤外線を照射した被写体を撮影するため、その画像はカラー画像とはならず、当該画像だけでは犯人の服装の色等、被写体の色を特定できないという課題を有する。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、夜間のような低照度下でも良好なカラー画像を得ることができ、かつ、赤外線照明装置を用いた場合のようなコントラストが鮮明な映像を同時に得ることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明の一態様に係る撮像装置は、緑色の可視光と赤外光とを透過させるフィルタを有する第１単位画素と、赤色の可視光と赤外光とを透過させるフィルタを有する第２単位画素と、青色の可視光と赤外光とを透過させるフィルタを有する第３単位画素と、赤外光を透過させるフィルタを有する第４単位画素とを備えた一組の単位配列が２次元状に配列された撮像領域を有する固体撮像素子と、赤外光を発光する発光素子と、前記発光素子に、フレーム時間を単位として発光または消光させることにより、赤外光をパルス発光させる発光制御部と、前記発光制御部により発光または消光する前記発光素子の非発光期間および発光期間に同期して、前記固体撮像素子から可視光によるカラー画像信号および赤外光による画像信号を、それぞれ抽出する信号抽出部とを備えることを特徴とする。
【００１１】
これにより、撮像装置は、メカ機構を設けずに、１フレーム単位で、カラー可視光画像と赤外光画像とを電子的に高速に切り替えて、双方の画像を撮像することが可能となる。上記カラー可視光画像および上記赤外光画像を選択して、また両方を見ることにより、上記カラー可視光画像で影になって隠れた部分でもコントラスト良く認識でき、さらに、上記赤外光画像だけでは認識できない服装の色等の被写体の色を、カラー可視光画像で特定することが可能となる。
【００１２】
また、前記信号抽出部は、前記第１単位画素からの信号、前記第２単位画素からの信号、前記第３単位画素からの信号のそれぞれから、前記第４単位画素からの信号を差分する赤外差分部を備え、前記赤外差分部により生成されたカラー信号および前記第１から４単位画素のいずれかの画素より生成された輝度信号から、前記可視光によるカラー画像信号または前記赤外光による画像信号を抽出することが好ましい。
【００１３】
つまり、赤外差分部により、（赤色＋赤外）信号、（緑色＋赤外）信号および（青色＋赤外）信号のそれぞれから、赤外信号を減算することによりカラー信号が生成できる。よって、輝度信号にカラー信号を合成することにより、カラー画像信号を容易に得ることができる。さらに、赤外ＬＥＤ光照射を加えた状態では、すべての画素が赤外光に感度を有するので輝度信号量を十分確保できるためコントラストの良い赤外光画像信号を合成することが可能となる。
【００１４】
また、前記単位配列は、前記第１単位画素と前記第４単位画素とが、行方向または列方向に隣り合い、前記第１単位画素と前記第２単位画素とが対角に配置されていることが好ましい。
【００１５】
これにより、画像の明るさとコントラストに関わる輝度信号Ｙ（Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂで表現される）の係数の高いＲとＧ画素が対角位置に配置されることにより、輝度信号Ｙの重心が単位配列の中心近くに来るため、画像の解像感が損なわれない。
【００１６】
また、前記発光制御部は、前記発光素子に、フレーム時間を単位として発光または消光させる赤外光を、擬似ランダムパルスとして発光させてもよい。
【００１７】
これにより、擬似ランダムパルスの変調に合わせて、画像信号を抽出することにより、他の光源からの光が固体撮像素子に入射したとしても分離することができるので、外乱光の影響を低減することができる。
【００１８】
また、前記擬似ランダムパルスは、前記発光制御部によるスペクトラム拡散方式により時間的に擬似ランダムに変調された発光パルスであってもよい。
【００１９】
これにより、赤外光は広帯域に拡散されているので、狭帯域の外乱光を容易に分離することができる。また、スペクトラム拡散方式で変調された光を用いることで、光の到着時間差で移動体の相対位置を計測することができる。
【００２０】
また、前記信号抽出部は、前記固体撮像素子が撮像した画像信号を逆拡散することにより、前記可視光によるカラー画像信号および赤外光による画像信号を、それぞれ抽出してもよい。
【００２１】
これにより、信号抽出部が、固体撮像素子からの信号を逆拡散して取り込むので、妨害波や干渉波に強く、Ｓ／Ｎ比を大きくすることができる。
【００２２】
また、さらに、前記第４単位画素の信号が所定の強度以上であるかを検出する検出手段と、前記検出手段が所定の強度以上であると検出した場合、赤外光を減光する減光部を備えてもよい。
【００２３】
これにより、固体撮像素子が撮像した信号が飽和した場合には、固体撮像素子に入射する光を減光することができる。
【００２４】
また、さらに、前記可視光によるカラー画像信号および前記赤外光による画像信号のうち少なくともいずれか一方を蓄積する蓄積部を備えてもよい。
【００２５】
これにより、カラー可視光画像および赤外光画像のいずれかを、画像出力部で見ながら、もう一方の画像または両方の画像を蓄積部に保存して、必要に応じて後から見ることができる。
【００２６】
また、前記固体撮像素子は、前記可視光によるカラー画像信号または前記赤外光による画像信号を１／６０秒以下で出力する信号出力部を備えることが好ましい。
【００２７】
これにより、撮像装置は、例えば、１フレームおきに、カラー可視光画像と、赤外光によってコントラストが鮮やかになった赤外光画像とを、それぞれ、３０ｆｐｓ以上で撮像することが可能となる。
【発明の効果】
【００２８】
本発明の撮像装置によれば、可視光によるカラー画像と赤外光によるモノクロ画像とを同時に出力することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の形態１に係る撮像装置の機能ブロック図である。
【図２】本発明の実施の形態１に係る固体撮像素子の撮像タイミングを説明するタイミングチャートである。
【図３】本発明の実施の形態１に係る赤外ＬＥＤの発光タイミングチャートである。
【図４】本発明の実施の形態１に係る撮像装置による薄暗闇での撮像画像の時間的な遷移を表す図である。
【図５】（ａ）は、本発明の実施の形態１に係る固体撮像素子を１フレーム１／６０秒で駆動させた場合のカラー画像図である。（ｂ）は、本発明の実施の形態１に係る固体撮像素子を１フレーム１／６０秒で駆動させた場合の赤外発光によるモノクロ画像図である。
【図６】本発明の実施の形態１に係る固体撮像素子の概略構成および画素配置を表す図である。
【図７】（ａ）〜（ｄ）は、本発明の実施の形態１に係る各単位画素の分光感度を表すグラフである。
【図８】本発明の実施の形態１に係る撮像装置の有する信号処理部の機能ブロック図である。
【図９】（ａ）は、図７（ａ）の分光感度特性から図７（ｄ）の分光感度特性を減算したときの分光感度特性を表すグラフである。（ｂ）は、図７（ｂ）の分光感度特性から図７（ｄ）の分光感度特性を減算したときの分光感度特性を表すグラフである。（ｃ）は、図７（ｃ）の分光感度特性から図７（ｄ）の分光感度特性を減算したときの分光感度特性を表すグラフである。
【図１０】（ａ）は、ハロゲンランプ光を照射した状態で、本発明の実施の形態１に係る撮像装置により撮像した画像である。（ｂ）は、ハロゲンランプ光照射に赤外ＬＥＤ光照射を加えた状態で、本発明の実施の形態１に係る撮像装置により撮像した画像である。
【図１１】本発明の実施の形態２に係る赤外ＬＥＤの発光タイミングチャートである。
【図１２】本発明の実施の形態２に係る撮像装置による薄暗闇での撮像画像の時間的な遷移を表す図である。
【図１３】本発明の実施の形態２に係る発光制御部６０の有するＭ系列信号発生器の回路構成の一例を示す図である。
【図１４】Ｍ系列信号発生器により生成された、赤外ＬＥＤの発光タイミングを説明するタイミングチャートである。
【図１５】本発明の実施の形態２に係る変形例を示す赤外ＬＥＤの発光タイミングチャートである。
【発明を実施するための形態】
【００３０】
以下、本発明に係る実施の形態について、図面を参照しながら詳細に説明する。
【００３１】
（実施の形態１）
本発明の実施の形態１に係る撮像装置（カメラシステム）１００の構成を説明する。
【００３２】
図１は、本発明の実施の形態１に係る撮像装置の機能ブロック図である。同図に記載された撮像装置１００は、レンズ光学系１と、固体撮像素子１０と、信号処理部２０と、信号切替部３０と、制御部４０と、信号蓄積部５０と、発光制御部６０と、赤外光を発光する発光素子の赤外ＬＥＤ７０と、画像出力部８０および８１とを備える。なお、固体撮像素子１０はＣＭＯＳイメージセンサを用いることが好ましいが、それに限定されるものではなく、例えばＣＣＤイメージセンサを用いることもできる。また、固体撮像素子１０とレンズ光学系１以外の構成は、そのすべてが、または、その一部が、同一の半導体基板に形成することも出来る。
【００３３】
撮像装置１００において、レンズ光学系１から入射した、被写体からの光信号は、固体撮像素子１０によって画素ごとの電気信号に変換され、当該電気信号が信号処理部２０で映像信号に変換される。そして、当該映像信号が信号切替部３０を介し、映像として画像出力部８０、８１または外部画像出力装置に映し出される。被写体を照らす明かりとしては、屋外では太陽光や月明かり、街灯、建物から漏れた明かりや広告のためのディスプレイの明かりなどがある。また、屋内では蛍光灯や白熱ランプ、最近ではＬＥＤ照明などがある。
【００３４】
蛍光灯やＬＥＤ照明などは可視光の波長領域の光を出射し、太陽光や白熱ランプは可視光および赤外光の両方の波長領域の光を出射する。
【００３５】
また、撮像装置１００は、赤外ＬＥＤ７０と発光制御部６０とを有し、赤外ＬＥＤ７０からフレーム時間を単位とする変調した赤外光を、赤外ＬＥＤ７０からパルス発光させることができる。これにより、撮像装置１００は、夜間や薄暗闇の時に、赤外ＬＥＤ７０からの赤外光によって照らされた被写体を撮像することで、コントラスト鮮やかな当該被写体の画像を画像出力部８０、８１または外部画像出力装置に出力することができる。
【００３６】
制御部４０は、赤外ＬＥＤ７０のパルス発光タイミングを決定し、当該タイミングを発光制御部６０に指示する。具体的には、制御部４０は、固体撮像素子１０の水平ブランキング期間および１フレームの映像期間のタイミングをもとに、赤外ＬＥＤ７０をパルス発光させる駆動タイミングを決定している。発光制御部６０は、制御部４０からの指示により、赤外ＬＥＤ７０のパルス発光のオンオフを制御する駆動パルス信号を生成するパルス回路である。つまり、発光制御部６０は、赤外ＬＥＤ７０に、フレーム時間を単位とする赤外光をパルス発光させる機能を有する。
【００３７】
図２は、本発明の実施の形態１に係る固体撮像素子１０の撮像タイミングを説明するタイミングチャートである。図２において、期間Ｔ１は、光信号の取り込みを行わない水平ブランキング期間であり、期間Ｔ２は、光信号の取り込みを行う撮像期間（1フレーム）である。図２に記載されたタイミングチャートでは、ブランキング期間Ｔ１は、それぞれ同じ長さの期間であり、撮像期間Ｔ２も、それぞれ同じ長さの期間である。
【００３８】
図３は、本発明の実施の形態１に係る赤外ＬＥＤ７０の発光タイミングチャートである。同図に示されるように、赤外ＬＥＤ７０は点灯と消灯とを繰り返している。赤外ＬＥＤ７０のパルス発光は、点灯時には水平ブランキング期間内に発光が立ち上がり、消灯時には水平ブランキング期間内に発光が立ち下がる。また、図３の発光タイミングチャートでは、赤外ＬＥＤ７０は、１フレームごとに点灯と消灯とを繰り返している。これにより、撮像装置１００は、１フレーム単位で、カラー画像と、赤外光照射によるモノクロ画像とを交互に撮像することができる。
【００３９】
図４は、本発明の実施の形態１に係る撮像装置による薄暗闇での撮像画像の時間的な遷移を表す図である。制御部４０は、赤外ＬＥＤ７０に対し、１フレームごとに点灯と消灯とを実行させ、固体撮像素子１０を１フレーム１／６０秒で駆動させる。固体撮像素子１０は、赤外ＬＥＤ７０の消灯時に受光して変換したカラー画像信号または赤外ＬＥＤ７０の点灯時に受光して変換した赤外光による画像信号を出力する信号出力部を備える。このとき、上記信号出力部は、１／６０秒以下で画像信号を出力する。
【００４０】
この場合、撮像装置１００は、薄暗闇において、１フレームおきに、カラー画像と、赤外光によってコントラストが鮮やかになったモノクロ画像とを、それぞれ、３０ｆｐｓで撮像することができる。
【００４１】
図５（ａ）は、本発明の実施の形態１に係る固体撮像素子１０を１フレーム１／６０秒で駆動させた場合のカラー画像図であり、図５（ｂ）は、本発明の実施の形態１に係る固体撮像素子１０を１フレーム１／６０秒で駆動させた場合の赤外発光によるモノクロ画像図である。
【００４２】
制御部４０は、赤外ＬＥＤ７０のパルスタイミングと同期して、信号切替部３０から画像出力部８０と画像出力部８１への信号を切り替えることにより、図５（ａ）のカラー画像と、図５（ｂ）の赤外光によってコントラストが鮮やかになったモノクロ画像とを、それぞれ、画像出力部８０および８１で、３０ｆｐｓで別個に見ることができる。また、上記カラー画像と上記モノクロ画像とのどちらかを、いずれかの画像出力部で見ながら、もう一方の画像または両方の画像を蓄積部である信号蓄積部５０に保存して、必要に応じて後から見ることができる。このとき、画像には撮像時刻が記録されていることが好ましい。
【００４３】
また、カラー画像とモノクロ画像とを合成して、認識性を向上させた画像を作り出すこともできる。
【００４４】
次に、撮像装置１００を構成する各部の詳細について説明する。
【００４５】
図６は、本発明の実施の形態１に係る固体撮像素子１０の概略構成および画素配置を表す図である。固体撮像素子１０は、撮像領域１１に単位画素（例えば、画素サイズ３．７５μｍ×３．７５μｍ）が２次元状に配置されている。撮像領域１１に配置される単位画素は、赤外光を透過するフィルタを有し赤外光の波長帯のみに感度を有する単位画素１２と、赤色光および赤外光を透過するフィルタを有し赤色光および赤外光の波長帯に感度を有する単位画素１４と、青色光および赤外光を透過するフィルタを有し青色光および赤外光の波長帯に感度を有する単位画素１５と、緑色光および赤外光を透過するフィルタを有し緑色光および赤外光の波長帯に感度を有する単位画素１６とを含む。また、撮像領域１１において、単位画素１２、１４、１５および１６の４画素は、一組の単位配列となって正方に配置される。このように単位画素１２、１４、１５および１６を配置することにより、カラーの可視光画像と赤外光画像との両方を撮像することができる。以下、上述した単位画素の配置により、カラーの可視光画像および赤外光画像の両方を撮像できる理由を説明する。
【００４６】
図７（ａ）〜（ｄ）は、本発明の実施の形態１に係る各単位画素の分光感度特性を表すグラフである。図７（ａ）のグラフは、青色光および赤外光の波長帯に感度を有する単位画素１５の分光感度特性を表す。図７（ｂ）のグラフは、緑色光および赤外光の波長帯に感度を有する単位画素１６の分光感度特性を表す。図７（ｃ）のグラフは、赤色光および赤外光の波長帯に感度を有する単位画素１４の分光感度特性を表す。図７（ｄ）のグラフは、赤外光の波長帯のみに感度を有する単位画素１２の分光感度特性を表す。
【００４７】
ここで、信号処理部２０について説明する。信号処理部２０は、発光制御部６０の駆動パルス信号により発光または消光する赤外ＬＥＤ７０の非発光期間および発光期間に同期して、固体撮像素子１０から、可視光によるカラー画像信号および赤外光による画像信号を、それぞれ抽出する信号抽出部である。
【００４８】
図８は、本発明の実施の形態１に係る撮像装置の有する信号処理部の機能ブロック図である。同図に記載された信号処理部２０は、キズ補正部２１と、ＯＢ処理部２２と、ローパスフィルタ（ＬＰＦ）２３と、ＩＲ減算部２４と、ホワイトバランス調整部２５と、カラー信号処理部２６と、カラーゲイン部２７と、輝度信号処理部２８と、合成部２９とを備える。
【００４９】
キズ補正部２１は、固体撮像素子１０が画素欠陥を有する場合に、その欠陥画素の信号を隣接の画素信号と置き換える処理を行う。
【００５０】
ＯＢ処理部２２は、固体撮像素子１０の撮像領域１１の端に設けられた、遮光された単位画素の信号を基に黒の信号レベルの調整を行う。
【００５１】
ＬＰＦ２３は、画像信号に含まれる高周波ノイズ成分を除去する。
【００５２】
ＩＲ減算部２４は、単位画素１４の電気信号である（Ｒ＋ＩＲ）信号、単位画素１５の電気信号である（Ｂ＋ＩＲ）信号および単位画素１６の電気信号である（Ｇ＋ＩＲ）信号のそれぞれから単位画素１２の電気信号であるＩＲ信号を減算してカラー信号を生成する赤外差分部である。ＩＲ減算部２４で生成されたカラー信号は、ホワイトバランス調整部２５でのホワイトバランス処理、カラー信号処理部２６での色相および彩度処理、カラーゲイン部２７でのカラーゲイン調整の処理がされた後、輝度信号処理部２８で生成された輝度信号と合成部２９で合成される。カラー信号と輝度信号が合成されたものがカラー画像信号である。
【００５３】
なお、輝度信号処理部２８で生成される輝度信号は、
Ｙ＝｛（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ）＋ＩＲ｝／４          （式１）
または、
Ｙ＝｛（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ）＋ＩＲ｝／４−αＩＲ  （式２）
としている。このときαは０〜１までの係数である。
【００５４】
図９（ａ）〜図９（ｃ）は、それぞれ、図７（ａ）〜図７（ｃ）の分光感度特性から図７（ｄ）の分光感度特性を減算したときの分光感度特性を表すグラフである。このように（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号および（Ｂ＋ＩＲ）信号のそれぞれから、ＩＲ信号を減算することによりカラー信号が生成できることがわかる。
【００５５】
このように、カラー信号は単位画素１４、１５、１６の画素信号から単位画素１２の信号を減算して生成され、輝度信号は、単位画素１２、１４、１５、１６の画素信号から生成される。つまり、輝度信号にカラー信号を合成すればカラー画像信号になり、輝度信号のまま使えばモノクロ画像信号になる。
【００５６】
また、赤外ＬＥＤ点灯時の赤外光による画像信号は、輝度信号のみで生成されるモノクロ画像信号か、擬似カラー画像信号を選択することができる。赤外ＬＥＤ点灯時は、赤外光量に比べて可視光量が小さいので、十分なカラー信号を得ることができないので、擬似カラー画像信号となる。
【００５７】
上記単位配置により、例えば、ハロゲンランプ光のみを被写体に照射した時には、可視光に優先的に感度を有する単位画素１４、１５および１６の画素信号が支配的であるカラーの可視光画像を合成することが可能となる。一方、例えば、ハロゲンランプ光照射に赤外ＬＥＤ光照射を加えた状態では、赤外光に感度を有する単位画素１２の画素信号が支配的である赤外光画像を合成することが可能となる。
【００５８】
次に、本実施の形態に係る撮像装置１００で薄暗闇を撮像した結果について説明する。
【００５９】
図１０（ａ）は、ハロゲンランプ光を照射した状態で、本発明の実施の形態１に係る撮像装置により撮像した画像であり、図１０（ｂ）は、ハロゲンランプ光照射に赤外ＬＥＤ光照射を加えた状態で、本発明の実施の形態１に係る撮像装置により撮像した画像である。
【００６０】
図１０（ａ）に表された画像は、色温度が２８５０Ｋで被写体の照度が１ルックスとなるようにハロゲンランプを照射した状態で撮影した画像である。また、図１０（ｂ）に表された画像は、色温度が２８５０Ｋで被写体の照度が１ルックスのハロゲンランプ光に、被写体への照射強度が５０μＷの赤外ＬＥＤ光を加えた状態で撮影した画像である。
【００６１】
図１０（ａ）中に示された領域Ａでは、被写体が影に隠れて見えにくくなっているが、図１０（ｂ）中に示された領域Ａでは、被写体がはっきり見えている。逆に、図１０（ｂ）中に示された領域Ｂでは、被写体が影に隠れて見えにくくなっているが、図１０（ｂ）中に示された領域Ｂでは、被写体がはっきり見えている。
【００６２】
このように、本発明の実施の形態１に係る撮像装置１００は、カラーの可視光画像と赤外光画像とを電子的に高速に切り替えて、双方の画像を撮像することにより、影に隠れた被写体を見ることができ、監視用途などに特段の効果を有する。
【００６３】
以上、図面を用いて説明したように、本発明の実施の形態１に係る撮像装置１００は、固体撮像素子１０と、赤外光を発光する赤外ＬＥＤ７０と、赤外ＬＥＤ７０に、フレーム時間を単位とする赤外光をパルス発光させる発光制御部６０と、変調に合わせて固体撮像素子１０から可視光によるカラー画像信号と赤外光による画像信号とをそれぞれ抽出する信号処理部２０とを備える。また、固体撮像素子１０は、緑色の可視光と赤外光とを透過させるフィルタを有する画素と、赤色の可視光と赤外光とを透過させるフィルタを有する画素と、青色の可視光と赤外光とを透過させるフィルタを有する画素と、赤外光を透過させるフィルタを有する画素とを備えた単位配列が２次元配列された撮像領域１１を有する。これにより、フレームごとに、可視光によるカラー画像と赤外線照射によりコントラストがはっきりしたモノクロ画像とを、両画像を切り替えるためのメカ機構を設けずに、ほぼ同時に得ることができる。さらに、ほぼ同時に上記カラー画像および上記モノクロ画像の両方を見ることにより、上記カラー画像で影になって隠れた部分でもコントラスト良く認識でき、さらに、上記モノクロ画像だけでは認識できない服装の色等の被写体の色を、カラー画像で特定することが出来る。
【００６４】
さらに、撮像装置１００の信号処理部２０は、緑色の可視光と赤外光とを透過させるフィルタを有する画素からの信号、赤色の可視光と赤外光とを透過させるフィルタを有する画素からの信号、青色の可視光と赤外光とを透過させるフィルタを有する画素からの信号のそれぞれから、赤外光を透過させるフィルタを有する画素からの信号を差分する赤外差分部を備える。これによって、可視光に感度を有する画素と、赤外光に感度を有する画素を備えることで、昼間の画像（可視光画像）と赤外光画像とを電子的に切り替えることができ、ほぼ同時に可視光画像と赤外光画像を撮影することができ、かつ、可視光画像の色再現を良くすることが出来る。
【００６５】
また、固体撮像素子１０の単位配列は、緑色の可視光と赤外光とを透過させるフィルタを有する画素と赤外光を透過させるフィルタを有する画素とが、行方向または列方向に隣り合い、緑色の可視光と赤外光とを透過させるフィルタを有する画素と赤色の可視光と赤外光とを透過させるフィルタを有する画素とが対角に配置されていることが好ましい。これにより、画像の明るさとコントラストに関わる輝度信号Ｙ（Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂで表現される）の係数の高いＲとＧ画素が対角位置に配置されることにより、輝度信号Ｙの重心が単位配列の中心近くに来るため、画像の解像感を損うことなく優れた画像を得ることが出来る。
【００６６】
（実施の形態２）
本発明の実施の形態２に係る撮像装置は、実施の形態１に対して赤外ＬＥＤ７０のパルス発光の駆動タイミングが異なる。以下、実施の形態１と同じ構成については説明を省略し、赤外ＬＥＤ７０のパルス発光の駆動タイミングを中心に説明する。
【００６７】
制御部４０は、固体撮像素子１０の水平ブランキング期間および１フレームの映像期間のタイミングをもとに、赤外ＬＥＤ７０をパルス発光させる駆動タイミングを決定している。また、赤外ＬＥＤ７０は、発光制御部６０が生成した駆動パルス信号によりパルス発光する。
【００６８】
図１１は、本発明の実施の形態２に係る赤外ＬＥＤの発光タイミングチャートである。赤外ＬＥＤ７０は、点灯と消灯とを擬似ランダムに繰り返している。赤外ＬＥＤ７０のパルス発光は、点灯時には水平ブランキング期間内に発光が立ち上がり、消灯時には水平ブランキング期間内に発光が立ち下がる。赤外ＬＥＤ７０は、擬似ランダムに、フレームごとに点灯と消灯を繰り返す。
【００６９】
図１２は、本発明の実施の形態２に係る撮像装置による薄暗闇での撮像画像の時間的な遷移を表す図である。制御部４０は、赤外ＬＥＤ７０を、擬似ランダムに、１フレームごとに点灯と消灯を実行させ、固体撮像素子１０を１フレーム１／６０秒で駆動させる。この場合、撮像装置は、薄暗闇において、赤外ＬＥＤ７０の点灯および消灯と同期して、カラー画像と、赤外光によってコントラストが鮮やかになったモノクロ画像とを、それぞれ、ほぼ３０ｆｐｓで撮像することができる。
【００７０】
さらに、赤外ＬＥＤ７０のパルス発光の擬似ランダムな変調を、スペクトラム拡散方式としても良く、言い換えれば、フレーム時間を単位とする、変調した赤外光を、赤外ＬＥＤ７０から擬似ランダムパルスとして発光させることができる。
【００７１】
スペクトラム拡散方式に用いられる拡散符号系列は、データのビットレートを十分に上回る速度の符号で、帯域内で一様なスペクトルを持つことが望まれる。また復調の容易さから周期性を持つことが望まれる。こうした要求に応えるのが、擬似ランダム系列ＰＮ系列である。ＰＮ系列はシフトレジスタおよびフィードバックを用いた回路によって人工的にある規則に基づいて生成される。最も良く知られたＰＮ系列は、Ｍ系列(Ｍａｘｉｍａｌ−ｌｅｎｇｔｈ  Ｓｅｑｕｅｎｃｅｓ)で、優れた相関特性を持つ。Ｍ系列は、ある長さのシフトレジスタおよびフィードバックによって生成される符号系列のうち、その周期が最長になる系列である。ｎをシフトレジスタの段数とすると、Ｌ＝２ｎ−１がＭ系列のビット長となる。
【００７２】
この場合、実施の形態２における撮像装置は、ヘッドライトモジュールに適用でき、図１の発光制御部６０がＭ系列信号発生器を備える。
【００７３】
図１３は、本発明の実施の形態２に係る発光制御部６０の有するＭ系列信号発生器の回路構成の一例を示す図である。同図に示されたM系列信号発生器は、３つのシフトレジスタＤ1〜Ｄ3と、排他的論理和回路（ＥＸＯＲ）６１とを備える。シフトレジスタＤ1〜Ｄ3は、それぞれ１ビット遅延素子である。シフトレジスタＤ1およびＤ2の初期値を「０」とし、シフトレジスタＤ3の初期値を「１」とすることにより、Ｌ＝２3−１＝７ビットの「１００１０１１」の信号列を生成することができる。
【００７４】
図１４は、Ｍ系列信号発生器により生成された、赤外ＬＥＤの発光タイミングを説明するタイミングチャートである。発光制御部６０は、スペクトラム拡散方式により時間的に擬似ランダムに変調されたパルス信号のタイミングで、赤外ＬＥＤ７０を発光させる。すなわち、発光制御部６０は、赤外ＬＥＤ７０に対し、スペクトラム拡散方式により時間的に擬似ランダムに変調した赤外光を発光させる。
【００７５】
図１５は、本発明の実施の形態２に係る変形例を示す赤外ＬＥＤの発光タイミングチャートである。固体撮像素子１０は、Ｍ系列信号発生器により生成された発光タイミングに従い赤外ＬＥＤ７０から被写体へ照射された赤外光により、当該被写体から反射した赤外光を撮像する。撮像装置は、固体撮像素子１０が撮像した信号を、スペクトラム拡散方式により時間的に擬似ランダムに変調されたパルス信号のタイミングで取り込むことにより、自身が照射した赤外光のみを抽出することができる。このように擬似ランダムの変調に合わせてこの信号を取り出すことにより、他の光源からの光が固体撮像素子１０に入射したとしても分離することができる。さらに、スペクトラム拡散方式で変調された光を用いることで、光の到着時間差で移動体の相対位置を計測することができる。
【００７６】
また、固体撮像素子１０は、パルス信号のタイミングで、信号を取り込むとしたが、固体撮像素子１０が撮像した信号を逆拡散してもよい。この場合、信号を逆拡散して取り込んでいるため、妨害波や干渉波に強く、Ｓ／Ｎ比を大きくすることができる。
【００７７】
なお、ＰＮ系列は、Ｇｏｌｄ系列などを用いてもよい。さらに、符号訂正として、リードソロモン符号などを用いてもよい。
【００７８】
以上、図面を用いて説明したように、本発明の実施の形態に係る撮像装置は、発光制御部６０が、フレーム時間を単位とする変調した赤外光を、赤外ＬＥＤ７０から擬似ランダムパルスとして発光させることを特徴とする。これにより、照射された赤外光を時間的に擬似ランダムに変調し、変調に合せて信号を抽出することによって、外乱光の影響を低減することができる。
【００７９】
また、発光制御部６０は、赤外ＬＥＤ７０にスペクトラム拡散方式により時間的に擬似ランダムに変調した赤外光を発光させることができる機能を有する。これにより、スペクトラム拡散した赤外光を照射し、被写体に反射した、スペクトラム拡散した赤外光を受光する。上記スペクトラム拡散により、赤外光は広帯域に拡散されているので、狭帯域の外乱光を容易に分離することができる。また、スペクトラム拡散方式で変調された光を用いることで、光の到着時間差で移動体の相対位置を計測することができる。
【００８０】
なお、本発明に係る撮像装置は、実施の形態１および２に限定されるものではない。実施形態１および２における任意の構成要素を組み合わせて実現される別の実施の形態や、実施の形態１および２に対して本発明の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本発明に係る撮像装置を内蔵した各種機器も本発明に含まれる。
【００８１】
また、本発明の撮像装置は、赤外光を透過させるフィルタを有する画素の信号が所定の強度以上であるかを検出する検出手段と、検出手段が所定の強度以上であると検出した場合、赤外光を減光する減光部とを備えてもよい。これにより、固体撮像素子１０が撮像した信号が飽和した場合には、固体撮像素子１０に入射する光を減光することができる。
【００８２】
また、図１に記載されたように、可視光によるカラー画像信号と赤外光による画像信号とをそれぞれ蓄積する信号蓄積部５０を備えてもよい。これにより、通常はカラー画像をモニタし、異常発生時のみ赤外光による画像信号を確認することができる。
【００８３】
また、固体撮像素子１０は、可視光によるカラー画像信号または赤外光による画像信号を１／６０秒以下で出力する信号出力部を備えることが好ましい。これにより、可視光によるカラー撮像信号と赤外光による撮像信号を、それぞれ、１／３０秒以下で見ることができるため、ちらつき等の無い撮像画像を見ることができる。
【産業上の利用可能性】
【００８４】
本発明の撮像装置は、可視光によるカラー画像と赤外光によるモノクロ画像とを同時に出力できるカメラに適用でき、特に、車載カメラおよび監視カメラ等に有用である。
【符号の説明】
【００８５】
１    レンズ光学系
１０    固体撮像素子
１１    撮像領域
１２、１４、１５、１６    単位画素
２０    信号処理部
２１    キズ補正部
２２    ＯＢ処理部
２３    ＬＰＦ
２４    ＩＲ減算部
２５    ホワイトバランス調整部
２６    カラー信号処理部
２７    カラーゲイン部
２８    輝度信号処理部
２９    合成部
３０    信号切替部
４０    制御部
５０    信号蓄積部
６０    発光制御部
６１    排他的論理和回路
７０    赤外ＬＥＤ
８０、８１    画像出力部
１００    撮像装置
【図１】
0005485004.tif 000002
【図２】
0005485004.tif 000003
【図３】
0005485004.tif 000004
【図６】
0005485004.tif 000005
【図７】
0005485004.tif 000006
【図８】
0005485004.tif 000007
【図９】
0005485004.tif 000008
【図１１】
0005485004.tif 000009
【図１３】
0005485004.tif 000010
【図１４】
0005485004.tif 000011
【図１５】
0005485004.tif 000012
【図４】
0005485004.tif 000013
【図５】
0005485004.tif 000014
【図１０】
0005485004.tif 000015
【図１２】
0005485004.tif 000016