(57)【要約】【課題】  夜などの暗い環境下や、霧や黄砂などによる視界不良の環境下にあっても、視認性の良い画像を得る。【解決手段】  可視光の波長領域と赤外光または近赤外光の波長領域とに感度を持ち、可視光信号と赤外光信号または近赤外光信号とを生成する撮像部と、前記可視光信号に基づいて、輝度信号と色差信号とを生成する第一信号処理部と、前記赤外光信号または近赤外光信号に基づいて、輝度信号を生成する第二信号処理部と、前記第一信号処理部により生成された輝度信号と前記第二信号処理部により生成された輝度信号とを合成して合成輝度信号を生成する合成処理部と、前記合成処理部により生成された合成輝度信号と前記第一信号処理部により生成された前記色差信号とを出力する画像出力部と、を備える。【選択図】  図１
2013255144.tif 000002
【特許請求の範囲】
【請求項１】
可視光の波長領域と赤外光または近赤外光の波長領域とに感度を持ち、可視光信号と赤外光信号または近赤外光信号とを生成する撮像部と、
前記可視光信号に基づいて、輝度信号と色差信号とを生成する第一信号処理部と、
前記赤外光信号または近赤外光信号に基づいて、輝度信号を生成する第二信号処理部と、
前記第一信号処理部により生成された輝度信号と前記第二信号処理部により生成された輝度信号とを合成して合成輝度信号を生成する合成処理部と、
前記合成処理部により生成された合成輝度信号と前記第一信号処理部により生成された前記色差信号とを出力する画像出力部と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記撮像部は、可視光の波長領域に感度を持つ可視光画素と、赤外光または近赤外光の波長領域に感度を持つ非可視光画素と、を有することを特徴とする撮像装置。
【請求項３】
請求項１記載の撮像装置において、
前記第一信号処理部により生成された色差信号の利得を上げるように制御する色差制御手段を備えることを特徴とする撮像装置。
【請求項４】
請求項１記載の撮像装置において、
前記合成処理部は、前記第一信号処理部により生成された輝度信号の評価値に基づいた比率で、前記第一信号処理部により生成された輝度信号と前記第二信号処理部により生成された輝度信号とを合成することを特徴とする撮像装置。
【請求項５】
請求項４記載の撮像装置において、
前記合成処理部は、前記第一信号処理部により生成された輝度信号の評価値が所定値以上のとき、前記第一信号処理部により生成された輝度信号の成分が、前記第二信号処理部により生成された輝度信号の成分よりも高い比率で、前記第一信号処理部により生成された輝度信号と前記第二信号処理部により生成された輝度信号とを合成することを特徴とする撮像装置。
【請求項６】
請求項１記載の撮像装置において、
前記第一信号処理部により生成された輝度信号の最大値が所定値以上の場合には、前記撮像部の露光時間を短縮するように制御する露光制御手段を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、特開２００７−３１８３２４号公報（特許文献１）がある。該公報には、課題として「車両の挙動が変化した場合でも赤外線画像の重畳表示による運転者の視認性の低下を抑制する画像表示装置を提供することを課題とする。」と記載され、その解決手段として「車両に搭載され、実景に対して赤外線カメラで撮像した赤外線画像を重畳表示する画像表示装置１であって、車両が受ける振動を検知する振動検知手段４，９と、赤外線画像の重畳表示を制御する重畳表示制御手段９とを備え、重畳表示制御手段９は、振動検知手段４，９で検知した振動が振動閾値以上となった状態が所定時間継続した場合、赤外線画像の重畳表示を通常時より見え難くなるように制御することを特徴とする。」と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１８３２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像装置の主な用途として、監視カメラや車載カメラがある。共に、暗くなっても目的の被写体を鮮明に撮影したいという要求が強い。この課題に対して、特許文献１においては赤外線カメラにより撮像された画像を実景に重畳して表示することを開示しているが、被写体の色の再現の点についてまでは考慮されていなかった。
【課題を解決するための手段】
【０００５】
上記目的を解決するために、特許請求の範囲に記載の構成を採用する。
【発明の効果】
【０００６】
本発明によれば、夜などの暗い環境下や、霧や黄砂などによる視界不良の環境下にあっても、視認性の良い画像を実現する撮像装置を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係る撮像装置のブロック図である。
【図２】本発明の実施形態に係る撮像素子の画素配置例である。
【図３】本発明の実施形態に係る撮像素子の波長感度特性例である。
【図４】本発明の実施形態に係る撮像素子の波長感度特性例である。
【図５】本発明の実施形態に係る撮像素子の画素配置例である。
【図６】本発明の実施形態に係る撮像素子の波長感度特性例である。
【図７】本発明の実施形態に係る撮像素子の波長感度特性例である。
【図８】本発明の実施形態に係る画像の例である。
【図９】本発明の実施形態に係るナイトビジョンカメラのブロック図である。
【図１０】本発明の実施形態に係るナイトビジョンカメラの表示画像の例である。
【図１１】本発明の実施形態に係るナイトビジョンカメラのブロック図の他の例である。
【図１２】本発明の実施形態に係る撮像装置の制御部における処理の流れを示すフローチャートである。
【図１３】本発明の実施形態に係る撮像装置の制御部における処理の流れを示すフローチャートである。
【図１４】本発明の実施形態に係る画像の例である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態を図面を用いて説明する。
【実施例１】
【０００９】
以下、図1から図8までを用いて、本実施例に係る撮像装置100について述べる。
【００１０】
なお、本実施例において、可視光とは緑(以下G)、青(以下B)、及び赤(R)の波長帯域の光のことを言うこととする。
【００１１】
図1は撮像装置100のブロック図である。撮像装置100は、レンズ101と、撮像素子102と、可視光信号処理部103と、IR信号処理部104と、合成処理部105と、制御部106と、画像出力部107と、を備える。これらは、例えば、バスを介して接続される。
【００１２】
図1において、レンズ101により集光された光が撮像素子102に入力される。撮像素子102は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などで構成され、入力した光に基づいて、可視光の成分を有する電気信号である可視光信号と、近赤外光(以下、IRと言う場合がある)の成分を有する電気信号である近赤外光信号と、に分離し、可視光信号は可視光信号処理部103へ、近赤外光信号はIR信号処理部104へそれぞれ入力される。可視光信号処理部103は可視光信号より輝度信号と色差信号とを生成する回路である。IR信号処理部104は近赤外光信号より輝度信号を生成する回路である。可視光信号処理部103で生成された輝度信号、及びIR信号処理部104で生成された輝度信号は合成処理部105へ入力され、可視光の輝度成分と近赤外光の輝度成分とが合成された合成輝度信号が生成される。
【００１３】
制御部106は、マイクロコンピュータなどで構成され、可視光の輝度信号と近赤外光の輝度信号との合成比率を可変する機能及び撮像素子102の露光時間を制御する機能を有する。合成輝度信号及び可視光から得られた色差信号は画像出力部107へ入力され、画像出力部107により外部へ出力される。映像出力部107はコンポジットビデオ信号、Sビデオ信号、コンポーネントビデオ信号、HDMI等のデジタルビデオ信号、H.264等のデジタルストリーム信号等、撮像装置100に接続する表示装置の信号フォーマットに応じた信号を出力する。なお、撮像装置100が対応する信号フォーマットはここで列挙されたものに限定されない。
【００１４】
図2は撮像素子102の画素配置の一例を示したものである。
【００１５】
同一の撮像素子102上に、Rに主な感度を持つ画素201と、Gに主な感度を持つ画素202と、Bに主な感度を持つ画素203と、近赤外光に主な感度を持つ画素204と、が格子状に配置されている。図2に示す通り、画素201〜画素204の組合せは、撮像素子102上に繰り返し配置される。
【００１６】
図3は、図2で示した各画素201〜画素204の光の波長に対する感度特性、すなわち分光特性を示したものである。同図において、301は画素201(図2)の分光特性であり、302は画素202(図2)の分光特性であり、303は画素203(図2)の分光特性であり、304は画素204(図2)の分光特性である。
【００１７】
分光特性301,302,303はそれぞれR,G,Bの可視光である波長域に加えて、近赤外光の波長域にも感度を持つものである。通常の可視光域のみを撮像するカメラもこれらの分光特性をもつ画素を有する撮像素子を備えて構成されるが、近赤外光の部分の影響をなくすために、近赤外光の波長域を遮断する光学的なフィルターが撮像素子とレンズの光軸上に挿入されている。本実施例に係る撮像装置100では、このようなフィルターは利用されない。
【００１８】
分光特性304は近赤外光のみに感度を持つものであり、この画素と可視光域の感度を持つ画素とを撮像素子102に持たせることにより、可視光域（R,G,B)の色成分及び輝度成分と、近赤外光による輝度成分と、を同時に撮像可能となる。 
図4は、図2で示した各画素201〜画素204の光の波長に対する感度特性、すなわち分光特性のその他の一例を示したものである。同図において、401は画素201(図2)の分光特性であり、402は画素202(図2)の分光特性であり、403は画素203(図2)の分光特性であり、404は画素204(図2)の分光特性である。分光特性401,402,403はそれぞれR,G,Bの可視光である波長域のみに感度を持つものである。分光特性404は近赤外光のみに感度を持つものであり、この画素と可視光域の感度を持つ画素とを撮像素子102に持たせることでも、可視光域（R,G,B)の色成分及び輝度成分と、近赤外光による輝度成分と、を同時に撮像可能となる。
【００１９】
図5は撮像素子102の画素配置のその他の一例を示したものである。
【００２０】
同一の撮像素子102上に、Rに主な感度を持つ画素501と、Gに主な感度を持つ画素502と、Bに主な感度を持つ画素503と、R、G、B、及び近赤外光にすべて感度を持つ画素504と、が格子状に配置されている。図5に示す通り、画素501〜画素504の組合せが撮像素子102上に繰り返し配置されている。
【００２１】
図6は、図5で示した各画素501〜画素504の光の波長に対する感度特性、すなわち分光特性を示したものである。同図において、601は画素501(図5)の分光特性であり、602は画素502(図5)の分光特性であり、603は画素503(図5)の分光特性であり、604は画素504(図5)の分光特性である。分光特性601,602,603はそれぞれR,G,Bの可視光である波長域に加えて、近赤外光の波長域にも感度を持つものである。
【００２２】
図7は、図5で示した各画素501〜画素504の光の波長に対する感度特性、すなわち分光特性のその他の一例を示したものである。同図において、701は画素501(図5)の分光特性であり、702は画素502(図5)の分光特性であり、703は画素503(図5)の分光特性であり、704は画素504(図5)の分光特性である。分光特性701,702,703はそれぞれR,G,Bの可視光である波長域のみに感度を持つものである。分光特性704はR,G,B,及び近赤外光のすべてに感度を持つものである。 
図8に、本実施例による具体的な効果の一例を示す。
【００２３】
本実施例では、近赤外光による輝度信号、並びに可視光の輝度信号及び色差信号を合成することにより、色のついた画像を得ることが出来る。その結果、例えば、夜間であっても、標識801の色や歩行者802の衣服の色を再現した画像を実現することができ、暗い環境下における視認性を向上させることが可能となる。
【００２４】
以下、本実施例に係る撮像装置100を、車両に搭載されるナイトビジョンカメラ（車載装置）900に適用した例について説明する。図9は、ナイトビジョンカメラ900のブロック図である。本実施例に係るナイトビジョンカメラ900は、撮像装置100の他に、表示部901と、画像認識部902と、音声出力部903と、を有する。画像認識部902は、撮像装置100から出力された画像に基づいて、人物、標識、車線、及び信号機など、ユーザが車両を運転する上で必要な対象物を認識し、表示部901が、画像認識部902が認識した対象物を強調するような識別情報を画像に重ねて表示を行い、音声出力部903が警告音を出力する。これにより、運転者に注意を促すことが出来る。
【００２５】
図10は、ナイトビジョンカメラ900の表示部901における表示画像の例である。ここでは、画像認識部902により標識1001及び人物1102が認識され、識別情報の一例であるマーク1003が、これら対象物に重畳して表示されている。
【００２６】
図9のナイトビジョンカメラ900に、近赤外光を発生し、外に放射するIR光源部1101を更に追加しても良い。図11は、このようなナイトビジョンカメラ1100のブロック図である。例えば、車両のヘッドライトから照射されるハイビームに近赤外光が含まれ、その反射光を近赤外光として受光できる場合があるため、IR光源部1101は必須ではないが、IR光源部1101を備えたナイトビジョンカメラ1100によれば、より感度を向上させることができる効果がある。
【００２７】
図12は、制御部106(図1)が行う処理の一例を示すフローチャートである。本フローチャートの始めから終わりまでの処理は、1画像フレームを取得するごとに行われる。
【００２８】
ステップ1201にて、制御部106(図1)は、まず可視光の輝度評価値を可視光信号処理部103(図1)より取得する。
【００２９】
ステップ1202にて、輝度評価値が所定の閾値aより大きいか等しい場合はステップ1204に進み、可視光の輝度信号のみを用いて画像が出力されるように、制御部106(図1)は可視光の輝度成分と近赤外光の輝度成分との合成比率を決定し、この合成比率を合成処理部105(図1)に設定する。なお、ここでの合成比率は「可視光の輝度成分：近赤外光の輝度成分＝１００：０」となる。但し、近赤外光の輝度成分が多少含まれていても良い。
【００３０】
また、ステップ1202にて、輝度評価値が所定の閾値aより小さい場合は、可視光域の画像が暗いことを示していることになるので、制御部106(図1)は、ステップ1203にて、可視光の輝度信号と近赤外光の輝度信号との合成比率を５０：５０と決定し、合成部処理部105（図1)に設定する。
【００３１】
なお、ここでの合成比率は固定されたものであっても、輝度評価値と合成比率との関係を定めたテーブルを有するなどして、輝度評価値に応じて変化するものであっても良い。
【００３２】
ステップ1205にて、制御部106(図1)は、出力する色差信号の色利得を上げるように、可視光信号処理部103(図1)を設定する。
【００３３】
以上の処理により、暗い夜道でも人物の画像と標識の色の判別ができる画像を得ることができる。
【００３４】
図13は、制御部106(図1)が行う処理の他の一例を示すフローチャートである。本フローチャートの始めから終わりまでの処理は、1画像フレームを取得するごとに行われる。 
ステップ1301にて、制御部106(図1)は、まず可視光の輝度積分値を可視光信号処理部103(図1)より取得する。
【００３５】
ステップ1302にて、輝度評価値が所定の閾値bより大きいか等しい場合はステップ1304に進み、可視光の輝度信号のみを用いて画像が出力されるように、制御部106(図1)は可視光の輝度成分と近赤外光の輝度成分との合成比率を決定し、この合成比率を合成処理部105(図1)に設定する。ここでの合成比率は「可視光の輝度成分：近赤外光の輝度成分＝１００：０」とする。
【００３６】
また、ステップ1302にて輝度積分値が所定の閾値bより小さい場合は、可視光域の画像が暗いことを示していることになるので、制御部106(図1)は、ステップ1303にて、可視光の輝度信号と近赤外光の輝度信号との合成比率を５０：５０と決定し、合成処理部105（図1)に設定する。
【００３７】
また、ステップ1305にて、たとえば信号機などが画面上部に表示されやすいなどの点から、画面上部を所定の位置とし、制御部106(図1)は、所定の位置の輝度信号の最大値を可視光信号処理部103(図1)より取得する。ステップ1306で、輝度信号の最大値が閾値cより大きいか等しい値と判定すれば、制御部106(図1)は、ステップ1307にて露光時間を所定値短縮するように撮像素子102(図1)を設定する。
【００３８】
このように制御すれば、例えば、図14に示したように、夜の暗い中での信号機1401の色が飽和しないので、色判定ができる露光レベルに抑えることができ、加えて周辺の人物1402などの被写体は近赤外光の輝度成分で補うことができ、信号機の色と周辺の物体の双方を認識できる画像を提供できる。
【００３９】
なお、所定の位置は、画面全体でもよいが、画面上部とした場合はそれ以外の場所の強い輝度を持つ被写体などの影響を除外することができる。
【００４０】
以上の通り、本実施例に係る撮像装置100は、可視光に主な感度を持つ画素（以下、可視光画素）と近赤外光に主な感度を持つ画素（以下、近赤外光画素）とを有する撮像素子102を備え、撮像素子102から出力される可視光信号と近赤外光信号とを合成して出力することにより、可視光による画像と近赤外光による画像とが合成された画像が出力可能となり、色の再現性を高めることができる。その結果、夜などの暗い環境下や、霧や黄砂などによる視界不良の環境下においても、視認性の良い画像を得ることができる。
【００４１】
また、備える撮像素子を一つとすることで、撮像素子を複数備えた場合に生じ得るような、複数画像の位置合わせを不要とすることができる。
【００４２】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、本実施例に係る撮像素子102は、可視光画素と近赤外光画素とを有することとしたが、近赤外光画素の代わりに、近赤外光と同様に非可視光である赤外光に主な感度を持つ画素を適用しても良い。また、近赤外光画素の代わりに、白色光に主な感度を持つ画素を適用しても良い。
【００４３】
また、撮像装置100（ナイトビジョンカメラ900、1100）は、SSD(Solid State Drive)やHDD(Hard Disk Drive)など、撮像された画像などの情報を記憶可能な記憶部を備えるようにしても良い。この場合、車両周囲の鮮明な画像が記憶されるので、例えば、事故が起きたときにおける信号機の色などを後に確認することができ、事故原因の解明に貢献することができる場合がある。なお、より詳細な事故分析ができるように、撮像された画像と共に撮像日時を記憶するようにしても良い。
【００４４】
また、撮像装置100により出力される画像は動画であっても静止画であっても良い。
【００４５】
上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００４６】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００４７】
100  撮像装置
101  レンズ
102  撮像素子
103  可視光信号処理部
104  IR信号処理部
105  合成処理部
106  制御部
107  画像出力部
【図１】
2013255144.tif 000003
【図２】
2013255144.tif 000004
【図３】
2013255144.tif 000005
【図４】
2013255144.tif 000006
【図５】
2013255144.tif 000007
【図６】
2013255144.tif 000008
【図７】
2013255144.tif 000009
【図８】
2013255144.tif 000010
【図９】
2013255144.tif 000011
【図１０】
2013255144.tif 000012
【図１１】
2013255144.tif 000013
【図１２】
2013255144.tif 000014
【図１３】
2013255144.tif 000015
【図１４】
2013255144.tif 000016