(57)【要約】【課題】暗いところを撮影した場合でもカラー画像を得られるようにする。【解決手段】赤外光を照射する赤外光照射部と、赤外光照射部により赤外光が照射されている期間を露光時間に含む第１の画素、赤外光が照射されている期間を露光時間に含まない第２の画素、および環境光に含まれる赤外光を受光する赤外光画素を含む複数の画素が配置されているセンサアレイと、第１の画素で撮像された赤外光画像、第２の画素で撮像された可視画像、および赤外光画素で撮像された環境赤外光画像を取得する取得部と、赤外光画像と可視画像から、環境赤外光画像を用いて、環境光に含まれる赤外光を除去した画像を生成する画像生成部とを備える。本技術は、例えば監視カメラに適用できる。【選択図】図５
2017092898.tif 000002
【特許請求の範囲】
【請求項１】
赤外光を照射する赤外光照射部と、
前記赤外光照射部により前記赤外光が照射されている期間を露光時間に含む第１の画素、前記赤外光が照射されている期間を露光時間に含まない第２の画素、および環境光に含まれる赤外光を受光する赤外光画素を含む複数の画素が配置されているセンサアレイと、
前記第１の画素で撮像された赤外光画像、前記第２の画素で撮像された可視画像、および前記赤外光画素で撮像された環境赤外光画像を取得する取得部と、
前記赤外光画像と前記可視画像から、前記環境赤外光画像を用いて、環境光に含まれる赤外光を除去した画像を生成する画像生成部と
を備える撮像装置。
【請求項２】
前記第１の画素は、全整色性である分光感度の画素であり、前記第２の画素は、所定の色に特性のある分光感度の画素である
請求項１に記載の撮像装置。
【請求項３】
前記赤外光画素は、前記第２の画素と同じ露光制御がされる
請求項１に記載の撮像装置。
【請求項４】
前記赤外光画素は、前記センサアレイ内で離散的に配置されている
請求項１に記載の撮像装置。
【請求項５】
前記赤外光画素は、前記センサアレイ内で規則的に配置されている
請求項１に記載の撮像装置。
【請求項６】
前記第１の画素の一部が、前記赤外光画素である
請求項１に記載の撮像装置。
【請求項７】
前記赤外光画素の位置は、アドレスで管理されている
請求項１に記載の撮像装置。
【請求項８】
前記赤外光画素が、前記第１の画素または前記第２の画素であった場合の画素値に補正し、補正後の前記赤外光画像と前記可視画像から、前記環境赤外光画像が減算されることで、前記環境光に含まれる赤外光が除去された画像が生成される
請求項１に記載の撮像装置。
【請求項９】
前記赤外光画素は、スタティック欠陥画素補正回路にてアドレスが記憶され、前記補正は、前記スタティック欠陥画素補正回路で行われる
請求項８に記載の撮像装置。
【請求項１０】
赤外光を照射し、
前記赤外光が照射されている期間を露光時間に含む第１の画素、前記赤外光が照射されている期間を露光時間に含まない第２の画素、および環境光に含まれる赤外光を受光する赤外光画素を含む複数の画素が配置されているセンサアレイから、前記第１の画素で撮像された赤外光画像、前記第２の画素で撮像された可視画像、および前記赤外光画素で撮像された環境赤外光画像を取得し、
前記赤外光画像と前記可視画像から、前記環境赤外光画像を用いて、環境光に含まれる赤外光を除去した画像を生成する
ステップを含む撮像方法。
【請求項１１】
赤外光を照射し、
前記赤外光が照射されている期間を露光時間に含む第１の画素、前記赤外光が照射されている期間を露光時間に含まない第２の画素、および環境光に含まれる赤外光を受光する赤外光画素を含む複数の画素が配置されているセンサアレイから、前記第１の画素で撮像された赤外光画像、前記第２の画素で撮像された可視画像、および前記赤外光画素で撮像された環境赤外光画像を取得し、
前記赤外光画像と前記可視画像から、前記環境赤外光画像を用いて、環境光に含まれる赤外光を除去した画像を生成する
ステップを含む処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置、撮像方法、およびプログラムに関する。詳しくは、赤外光を照射して撮像した赤外画像を用いた場合においても、カラー画像を生成できるようにし、画質を向上させた撮像を行えるようにした撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、例えば監視カメラには、日中の自然光下や白色光などの可視光の照明下で撮像を行うデイモードと、赤外光を照射して撮像を行うナイトモードの二種類のモードを備えているものがある。
【０００３】
デイモードの撮像ではカラー画像を得ることができる。一方、ナイトモードの撮像では、照射した赤外光が被写体で反射した反射光を受光することになるので、Ｒ，Ｂ，Ｇなどの色情報を得ることができず、反射光（赤外光）の受光強度のみを取得できる。よって、得られる画像はグレーやグリーンなどのモノクロ画像となる。
【０００４】
しかしながらナイトモードの撮像であってもカラー画像を得られることが望ましい。そこで従来、撮像範囲（被写体）に赤外光を照射した状態を撮像して得られる画像（以下、赤外画像と称する）に基づいてカラー画像を生成する様々な手法が提案されている。
【０００５】
例えば、特許文献１には、赤外光を照射した状態の赤外画像と、赤外光を照射していない低照度下での可視画像を連続して撮像し、これらを用いてカラー画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２３３９８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１においては、赤外光を照射した状態の赤外画像と、赤外光を照射していない低照度下での可視画像を連続して撮像するため、出力されるフレームレートは、撮影したフレームレートに対して、１／２程度となってしまう。フレームレートを落とすことなく、またナイトモードの撮像であってもカラー画像が得られるようにすることが望まれている。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、赤外光を用いた場合であっても、カラー画像を得られるようにし、画質を向上させた画像を撮像できるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の一側面の撮像装置は、赤外光を照射する赤外光照射部と、前記赤外光照射部により前記赤外光が照射されている期間を露光時間に含む第１の画素、前記赤外光が照射されている期間を露光時間に含まない第２の画素、および環境光に含まれる赤外光を受光する赤外光画素を含む複数の画素が配置されているセンサアレイと、前記第１の画素で撮像された赤外光画像、前記第２の画素で撮像された可視画像、および前記赤外光画素で撮像された環境赤外光画像を取得する取得部と、前記赤外光画像と前記可視画像から、前記環境赤外光画像を用いて、環境光に含まれる赤外光を除去した画像を生成する画像生成部とを備える。
【００１０】
前記第１の画素は、全整色性である分光感度の画素であり、前記第２の画素は、所定の色に特性のある分光感度の画素であるようにすることができる。
【００１１】
前記赤外光画素は、前記第２の画素と同じ露光制御がされるようにすることができる。
【００１２】
前記赤外光画素は、前記センサアレイ内で離散的に配置されているようにすることができる。
【００１３】
前記赤外光画素は、前記センサアレイ内で規則的に配置されているようにすることができる。
【００１４】
前記第１の画素の一部が、前記赤外光画素であるようにすることができる。
【００１５】
前記赤外光画素の位置は、アドレスで管理されているようにすることができる。
【００１６】
前記赤外光画素が、前記第１の画素または前記第２の画素であった場合の画素値に補正し、補正後の前記赤外光画像と前記可視画像から、前記環境赤外光画像が減算されることで、前記環境光に含まれる赤外光が除去された画像が生成されるようにすることができる。
【００１７】
前記赤外光画素は、スタティック欠陥画素補正回路にてアドレスが記憶され、前記補正は、前記スタティック欠陥画素補正回路で行われるようにすることができる。
【００１８】
本技術の一側面の撮像方法は、赤外光を照射し、前記赤外光が照射されている期間を露光時間に含む第１の画素、前記赤外光が照射されている期間を露光時間に含まない第２の画素、および環境光に含まれる赤外光を受光する赤外光画素を含む複数の画素が配置されているセンサアレイから、前記第１の画素で撮像された赤外光画像、前記第２の画素で撮像された可視画像、および前記赤外光画素で撮像された環境赤外光画像を取得し、前記赤外光画像と前記可視画像から、前記環境赤外光画像を用いて、環境光に含まれる赤外光を除去した画像を生成するステップを含む。
【００１９】
本技術の一側面のプログラムは、赤外光を照射し、前記赤外光が照射されている期間を露光時間に含む第１の画素、前記赤外光が照射されている期間を露光時間に含まない第２の画素、および環境光に含まれる赤外光を受光する赤外光画素を含む複数の画素が配置されているセンサアレイから、前記第１の画素で撮像された赤外光画像、前記第２の画素で撮像された可視画像、および前記赤外光画素で撮像された環境赤外光画像を取得し、前記赤外光画像と前記可視画像から、前記環境赤外光画像を用いて、環境光に含まれる赤外光を除去した画像を生成するステップを含む処理をコンピュータに実行させるためのプログラムである。
【００２０】
本技術の一側面の撮像装置、撮像方法、およびプログラムにおいては、赤外光が照射され、赤外光が照射されている期間を露光時間に含む第１の画素、赤外光が照射されている期間を露光時間に含まない第２の画素、および環境光に含まれる赤外光を受光する赤外光画素を含む複数の画素が配置されているセンサアレイから、第１の画素で撮像された赤外光画像、第２の画素で撮像された可視画像、および赤外光画素で撮像された環境赤外光画像が取得され、赤外光画像と可視画像から、環境赤外光画像が用いられて、環境光に含まれる赤外光が除去された画像が生成される。
【発明の効果】
【００２１】
本技術の一側面によれば、赤外光を用いた場合であっても、カラー画像を得られ、画質を向上させた画像を撮像できるようになる。
【００２２】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２３】
【図１】本開示を適用した撮像装置の構成例を示すブロック図である。
【図２】IRバンドパスフィルタの透過特性を示す図である。
【図３】CMOSイメージセンサの構成例を示すブロック図である。
【図４】電荷信号の読み出しタイミングについて説明するための図である。
【図５】カメラDSP部の構成例を示すブロック図である。
【図６】画素配置について説明するための図である。
【図７】カメラDSP部で処理される画像について説明するための図である。
【図８】露光について説明するための図である。
【図９】カメラDSP部の処理について説明するためのフローチャートである。
【図１０】赤外光画素の他の配置について説明するための図である。
【図１１】赤外光画素の他の配置について説明するための図である。
【図１２】撮像装置の使用例について説明するための図である。
【図１３】記録媒体について説明するための図である。
【発明を実施するための形態】
【００２４】
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．撮像装置の構成
２．カメラDSP部の構成
３．赤外光の照射について
４．カメラDSP部の処理
５．赤外光画素の他の配置
６．撮像装置の使用例
７．記録媒体について
【００２５】
＜撮像装置の構成＞
図１は、本開示の実施の形態である撮像装置の構成例を示している。
【００２６】
この撮像装置１０は、例えば監視カメラなどに用いられるものであり、赤外光を照射した状態で得られる赤外画像と、赤外光を照射していない低照度下で得られる可視画像に基づいてカラー画像を生成するものである。
【００２７】
撮像装置１０は、一般的なカメラと同様に構成される撮像系と、画像処理を実施する画像処理系と、撮像範囲に向けて赤外光を照射する照射系から構成される。
【００２８】
撮像装置１０の撮像系は、レンズ１１、IRバンドパスフィルタ１２、および、フォーカルプレーン読み出し方式（ローリングシャッタ方式）のCMOSイメージセンサ１３から成る。撮像系においては、レンズ１１が被写体の光学像をCMOSイメージセンサ１３に集光し、レンズ１１とCMOSイメージセンサ１３の間に配置されたIRバンドパスフィルタ１２が被写体の光学像から可視光成分および赤外光成分を抽出し、CMOSイメージセンサ１３が入射光に基づく画像信号を生成して画像処理系に出力する。
【００２９】
図２は、IRバンドパスフィルタ１２の透過特性を示している。IRバンドパスフィルタ１２は、波長400nmから650nmの可視光と、波長850nmにピークをもつ赤外光（照射系が照射する赤外光）に対して高い透過率を有するものとする。
【００３０】
図３は、CMOSイメージセンサ１３の構成例を示している。このCMOSイメージセンサ１３は、センサアレイ２１、信号線２２、アナログゲインアンプ２３、ADC２４、およびデータバッファ２５を有する。センサアレイ２１は、縦横に配置された画素毎の光電変換素子からなり、その受光面側はベイヤ配列などのカラーフィルタ２１ａで覆われている。
【００３１】
図４は、CMOSイメージセンサ１３のセンサアレイ２１における各画素時間との露光とそれによって得られる電荷信号の読み出しタイミングを示している。図示するように、CMOSイメージセンサ１３においては、掃引開始行（1st-Line）から最終行(Last-Lien)に向かう掃引方向に従い、行単位で露光期間がずらされており、露光期間が終了したタイミングでその間に得られた電荷信号が行毎に一括して読み出される。
【００３２】
なお、後述するように、本実施の形態においては、色毎に異なる露光時間が設定されており、赤外光が照射されているときには、例えば赤色の画素は、露光せず、白色の画素は露光するといった制御がなされる。
【００３３】
読み出された電荷信号は信号線２２を介してアナログゲインアンプ２３に出力されて増幅され、ADC２４でデジタルの画素信号に変換されてデータバッファ２５に格納される。なお、アナログゲインアンプ２３におけるゲインは照明に応じて適応的に設定することが可能である。そして、センサアレイ２１を構成する全画素分の画素信号が画像信号として後段の画像処理系に出力される。なお、この段階における画像信号は、各画素がＲ，Ｇ，Ｂのいずれかの色情報を有するRAWデータである。なお、Ｗ（白色）の色情報も含むRAWデータとすることもできる。以下、ＲＧＢＷの色情報が扱われる場合を例に挙げて説明を続ける。
【００３４】
図１に戻る。撮像装置１０の画像処理系は、カメラDSP部１４、およびメモリ１５，１６から成る。画像処理系においては、カメラDSP部１４が撮像系からの画像信号に基づいて、各画素のそれぞれがＲ，Ｇ，Ｂ,Ｗの色情報を有するカラー画像を生成する。メモリ１５，１６には、ＮＲ（ノイズリダクション）処理のために用いる画像信号が一時的に保持される。また、カメラDSP部１４は撮像系のCMOSイメージセンサ１３の駆動（露光や読み出し）を制御するためのＶ同期信号を発生、出力する。さらに、また、カメラDSP部１４は照射系を制御するためのドライバ信号（ON/OFF信号および強度調整信号）を発生、出力する。
【００３５】
撮像装置１０の照射系は、IR駆動部１７およびIR照射部１８から成る。照射系においては、カメラDSP部１４からの制御に従い、IR駆動部１７がIR照射部１８から赤外光を照射させる。IR照射部１８は波長850nmにピークをもつ赤外光を撮像範囲に向けて照射する。なお、IR照射部１８は撮像装置１０の筐体内に配置してもよいし、撮像装置１０の筐体外部に配置してもよい。
【００３６】
＜カメラDSP部の構成＞
図５は、カメラDSP部１４の構成例を示している。カメラDSP部１４は、環境赤外光込画像取得部５１、離散環境赤外光画像生成部５２、環境赤外光画像生成部５３、赤外光画素補正画像生成部５４、環境赤外光除去画像生成部５５、およびタイミング制御部５６を含む構成とされている。
【００３７】
環境赤外光込画像取得部５１、離散環境赤外光画像生成部５２、環境赤外光画像生成部５３、赤外光画素補正画像生成部５４、環境赤外光除去画像生成部５５は、CMOSイメージセンサ１３で撮像された画像を処理する。
【００３８】
タイミング制御部５６は、撮像系のCMOSイメージセンサ１３の駆動（露光や読み出し）を制御するためのＶ同期信号を発生、出力したり、投光系を制御するためのドライバ信号（ON/OFF信号および強度調整信号）を発生、出力したりする。
【００３９】
環境赤外光込画像取得部５１は、CMOSイメージセンサ１３からの画像信号を取得する。Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれは、可視光とともに赤外光を受光して、それらの光から、１つの色信号を含む画素信号を生成する。このため、これらの画素の色信号は、可視光から光電変換された信号である可視光成分と、赤外光から光電変換された信号である赤外光成分とを含む。すなわち、CMOSイメージセンサ１３は、環境に含まれる赤外光も含んで撮像している。ここでは、このような環境に含まれるIRを環境赤外光と記述する。
【００４０】
環境赤外光込画像取得部５１は、可視光成分と環境赤外光成分を含む環境赤外光込画像の画像信号を取得する。取得された環境赤外光込画像は、離散環境赤外光画像生成部５２と赤外光画素補正画像生成部５４に供給される。
【００４１】
離散環境赤外光画像生成部５２は、環境赤外光込画像から赤外光画素を抽出する。赤外光画素とは、Ｒ画素などと同じく、センサアレイ２１に配置されている画素であり、環境赤外光を受光する画素である。図６を参照し、センサアレイ２１に配置されている画素について説明を加える。
【００４２】
センサアレイ２１には、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素、および赤外光画素が配置されている。図６中、Ｒとの記載をした画素はＲ画素であり、Ｇとの記載をした画素はＧ画素であり、Ｂとの記載をした画素はＢ画素であり、Ｗとの記載をした画素はＷ画素である。また、図６中、黒塗りの四角は赤外光画素である。
【００４３】
Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素は規則的に配置されている。図６に示した例では、行方向（横方向）にみたとき、１行目は、Ｒ画素、Ｗ画素、Ｂ画素、Ｗ画素の順で繰り返す規則であり、２行目は、Ｗ画素、Ｇ画素、Ｗ画素、Ｇ画素の順で繰り返す規則である。
【００４４】
Ｗ画素は、全整色性である分光感度の画素として機能し、Ｒ画素、Ｇ画素、Ｂ画素は、それぞれの色に特性のある分光感度の画素として機能する。
【００４５】
Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素が規則的に配置されているのに対して、赤外光画素は、不規則に配置されている。図６に示した例では、９行７列目の画素と、１２行８列目の画素が、赤外光画素に設定されている。
【００４６】
赤外光画素をランダムに配置しておくと、ノイズの発生を抑え、画質を向上させることができるが、後の信号処理が複雑になる可能性がある。後述するように赤外光画素を規則的に配置しても良い。赤外光画素を規則的に配置すると、ノイズが発生する可能性があるが、後の信号処理は比較的簡単に行うことが可能となる。
【００４７】
赤外光画素は、センサアレイ２１内でランダム、または規則的に配置される。ランダムまたは規則的のどちらで配置するかは、所望とされる画質や、信号処理能力に依存して設定されるようにしても良い。またある程度の規則性を有した状態でランダムに配置されるようにしても良い。例えば、８×８画素を１単位とし、その１単位内で１つの赤外光画素を配置するという規則性を有し、１単位内に配置される赤外光画素の位置はランダムであるようにしても良い。
【００４８】
またセンサアレイ２１内で配置される赤外光画素の個数も、画質や信号処理能力に応じて設定されるようにしても良い。
【００４９】
図５に示したカメラDSP部１４の構成の説明に戻る。離散環境赤外光画像生成部５２は、離散的に配置されている赤外光画素を、環境赤外光込画像から抽出し、離散環境赤外光画像を生成する。ここで、図７も参照し、カメラDSP部１４で行われる処理について説明を加える。
【００５０】
CMOSイメージセンサ１３が露光されることで、環境赤外光込画像１０１が生成される。この環境赤外光込画像１０１が、環境赤外光込画像取得部５１に取得され、離散環境赤外光画像生成部５２と赤外光画素補正画像生成部５４に供給される。
【００５１】
離散環境赤外光画像生成部５２は、環境赤外光込画像１０１から、赤外光画素を抽出することで、離散環境赤外光画像１０２を生成する。図７に示すように、離散環境赤外光画像１０２は、赤外光画像のところだけ画素値があるような画像である。赤外光画素は、環境赤外光を受光し、その強度に応じた画素値を出力する。離散環境赤外光画像１０２は、離散的に配置されている赤外光画素の画素値でなる画像である。
【００５２】
離散環境赤外光画像生成部５２で生成された離散環境赤外光画像１０２は、環境赤外光画像生成部５３（図５）に供給される。環境赤外光画像生成部５３は、赤外光画素ではない画素、換言すれば、Ｒ画素、Ｇ画素、Ｂ画素、およびＷ画素の部分に、赤外光画素で得られた画素値を用いて、それぞれの画素に対応する画素値を生成する。環境赤外光画像生成部５３は、１画像内の全ての画素が、赤外光画素であった場合に得られる画像（環境赤外光画像１０３）を生成し、環境赤外光除去画像生成部５５（図５）に供給する。
【００５３】
このような処理が行われている一方で、赤外光画素補正画像生成部５４は、赤外光画素を本来の色画素の画素値に戻す処理を実行する。再度図６を参照する。図６に示した画素配置においては、９行７列目の画素と、１２行８列目の画素が、赤外光画素に設定されている。
【００５４】
Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素の規則的な配列に基づくと、９行７列目の画素は、Ｂ画素である。すなわち９行７列目の画素は、本来は、Ｂ画素である。このような場合、赤外光画素補正画像生成部５４は、９行７列目の赤外光画素からの画素値を、９行７列目の画素がＢ画素であれば得られていた画素値を生成し、置き換える。他の赤外光画素の部分も、本来の色画素であれば得られていた画素値に置き換えられる。
【００５５】
赤外光画素補正画像生成部５４は、Ｒ画素、Ｇ画素、Ｂ画素、およびＷ画素のそれぞれの画素値のみを含む（赤外光画素の画素値を含まない）赤外光画素補正画像１０４（図７）を生成し、環境赤外光除去画像生成部５５に供給する。
【００５６】
環境赤外光除去画像生成部５５には、環境赤外光画像生成部５３から環境赤外光画像１０３と、赤外光画素補正画像生成部５４から赤外光画素補正画像１０４が供給される。環境赤外光画像１０３は、環境赤外光成分からなる画像である。赤外光画素補整画像１０４は、可視光成分と環境赤外光成分が含まれる画像である。
【００５７】
環境赤外光除去画像生成部５５は、可視光成分と環境赤外光成分が含まれる赤外光画素補整画像１０４から、環境赤外光成分からなる環境赤外光画像１０３を減算することで、環境赤外光成分が除去された可視光成分からなる環境赤外光除去画像１０５（図７）を生成する。
【００５８】
このように、カメラDSP部１４は、環境赤外光を除去した画像を生成するための処理を実行する。
【００５９】
なお、カメラDSP部１４での処理において、ノイズを低減させる処理が含まれるようにしても良い。例えば、環境赤外光込画像取得部５１は、環境赤外光込画像１０１を取得したとき、その環境赤外光込画像１０１に対して、ノイズを低減させる処理（ノイズリダクション）を行い、処理後の環境赤外光込画像１０１が、離散環境赤外光画像生成部５２と赤外光画素補正画像生成部５４に供給されるようにしても良い。
【００６０】
また、デモザイク処理が実行されるようにしても良い。例えばＲ画素にＧ画素、Ｂ画素、Ｗ画素の情報を得る処理過程では、Ｒ（赤色）のフィルタがかぶせられていた撮像素子から得られた画素には、Ｇ画素、Ｂ画素、Ｗ画素の情報はないため、Ｒ画素に近くのＧ画素、Ｂ画素、Ｗ画素の画素情報から演算され、補完処理される。このような処理を、デモザイク処理と称する。
【００６１】
デモザイク処理は、赤外光画素に関しては、離散環境赤外光画像生成部５２と環境赤外光画像生成部５３（図５）により実行される。この場合、赤外光画素の画素値から、赤外光画素ではない画素位置における画素値が演算され、補間処理されることで、１画像内の全ての画素において、環境赤外光の強度を示す画素値が補間された環境赤外光画像１０３が生成される。
【００６２】
Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素の各画素に対しても、デモザイク処理が、例えば、赤外光画素補正画像生成部５４で、赤外光画素補正画像１０４が生成される前または後の処理として行われ、赤外光画素補正画像生成部５４からは、Ｒ画素の画素値のみからなるＲ画像、Ｇ画素の画素値のみからなるＧ画像、Ｂ画素の画素値のみからなるＢ画像、およびＷ画素の画素値のみからなるＷ画像が生成され、環境赤外光除去画像生成部５５に供給されるようにしても良い。
【００６３】
そして、環境赤外光除去画像生成部５５においては、Ｒ画像、Ｇ画像、Ｂ画像、Ｗ画像のそれぞれから、環境赤外光が減算されることで、環境赤外光が除去されたＲ画像、Ｇ画像、Ｂ画像、Ｗ画像が生成されるようにしても良い。
【００６４】
または、環境赤外光除去画像生成部５５で赤外光画素補正画像１０４から、環境赤外光画像１０３を減算することで、環境赤外光除去画像１０５が生成された後、デモザイク処理が実行され、Ｒ画像、Ｇ画像、Ｂ画像、Ｗ画像が生成されるようにしても良い。
【００６５】
＜赤外光の照射について＞
ところで例えば、監視カメラのような昼夜を問わずに使用するカメラでは、CMOSイメージセンサ１３のような撮像素子は、４００ｎｍ〜１０００ｎｍ程度の波長領域に感度を有し、被写体からの光をそのまま入射させると、赤外線領域の波長成分（約７００ｎｍ〜１０００ｎｍ）に対する感度により、画像が赤みを帯びたようになる。
【００６６】
本実施の形態における撮像装置１０においては、カメラDSP部１４において、上記したように、環境赤外光を除去するため、人間が目で見るのと同様の色再現性を実現できる。
【００６７】
ところが、上述したように、赤外線領域の波長成分の光を除去すると、昼間のように明るいときは色再現が良好なカラー画像が得られるが、夜間のように可視光が少なく暗いときには昼間のような良好な画像が得られない。
【００６８】
そこで、夜間のように可視光が少なく暗いときには、撮像装置１０は、IR照射部１８を備え、赤外光を照射し、照射した赤外光の反射光も撮像することで、感度を向上させるように構成されている。しかしながら、赤外光を単に照射するだけだと、照射した赤外光が被写体で反射した反射光を受光することになり、Ｒ，Ｇ，Ｂなどの色情報を得ることができず、反射光（赤外光）の受光強度のみしか取得できないことになる。よって、得られる画像はグレーやグリーンなどのモノクロ画像となってしまう。
【００６９】
しかしながら、夜間のように可視光が少なく暗いときに赤外光を用いて撮像した場合であっても、カラー画像を得られるようにするために、本技術を適用した撮像装置１０は、図８を参照して説明するように、赤外光の照射、および露光を制御している。
【００７０】
図８において、上段は、赤外光画素、Ｒ画素、Ｇ画素、およびＢ画素の露光を示し、下段は、Ｗ画素の露光を示す。
【００７１】
時刻ｔ１において、１ライン目のＷ画素の露光が開始される。時刻ｔ２において、時刻ｔ２において、最終ラインのＷ画素の露光が開始される。また、IR照射部１８により、赤外光の照射が開始される。このように、Ｗ画素の全ラインが露光された後、IR照射部１８により、赤外光の照射が開始される。
【００７２】
時刻ｔ３において、IR照射部１８による赤外光の照射が停止される。また時刻ｔ３から、１ライン目の赤外光画素、Ｒ画素、Ｇ画素、およびＢ画素の露光が開始される。また時刻ｔ４から、最終ラインの赤外光画素、Ｒ画素、Ｇ画素、およびＢ画素の露光が開始される。
【００７３】
そして、時刻ｔ５において、１ライン目の赤外光画素、Ｒ画素、Ｇ画素、Ｂ画素、およびＷ画素の露光が終了される。また、時刻ｔ６において、最終ラインの赤外光画素、Ｒ画素、Ｇ画素、Ｂ画素、およびＷ画素の露光が終了される。
【００７４】
時刻ｔ１から時刻ｔ６の時間の間、赤外光は、時刻ｔ２から時刻ｔ３の間だけ照射され、その他の時間には照射されない。時刻ｔ１から時刻ｔ６の時間の間、Ｗ画素は、露光した状態が維持される。時刻ｔ１から時刻ｔ６の時間の間、赤外光画素、Ｒ画素、Ｇ画素、およびＢ画素は、時刻ｔ３から時刻ｔ５まで露光した状態が維持される。
【００７５】
このように赤外光の照射と各画素の露光が制御される。すなわち、赤外光の照射は、Ｗ画素が露光している間だけ行われ、赤外光画素、Ｒ画素、Ｇ画素、およびＢ画素が露光している間は行われない。よって、Ｗ画素は、赤外光の照射による反射光を受光するため、十分な輝度を得た撮像を行える。
【００７６】
一方で、赤外光画素は、赤外光の照射の行われないときに撮像を行うため、赤外光の照射による影響を受けずに、環境に存在する赤外光のみを撮像することができる。Ｒ画素、Ｇ画素、およびＢ画素は、赤外光の照射の行われないときに撮像を行うため、赤外光の照射による影響を受けずに、被写体を撮像することができる。
【００７７】
Ｒ画素、Ｇ画素、およびＢ画素で撮像した画像から、カラー画像を生成できる。夜間のように可視光が少なく暗いときに撮像された画像であっても、Ｗ画素で撮像された画像で輝度の再現性を確保できるため、Ｗ画素で撮像された画像を用いることで、Ｒ画素、Ｇ画素、およびＢ画素で撮像した画像から生成されるカラー画像の輝度を補正することができる。
【００７８】
そして、赤外光画素で撮像した画像を用いて、環境赤外光を除去することができるため、赤みを帯びたような画像になることを防ぎ、画質が向上した画像を得ることが可能となる。
【００７９】
このように、本技術によれば、色情報と輝度情報の低周波成分は、照射された赤外光を受光しない画素（Ｒ画素など）から生成され、照射された赤外光を受光する画素（Ｗ画素）から輝度情報の高周波成分を生成することができる。
【００８０】
このように、夜間のように可視光が少なく暗いときであっても、カラー画像を撮像することが可能となる。またそのカラー画像は、画質の良い画像とすることが可能となる。
【００８１】
なお、赤外光の照射は、上記したように、夜間のように可視光が少なく暗いときだけ行われるようにしても良いし、日中のように明るいときも行われるようにしても良い。しかしながら、日中のように明るいときは、赤外光を照射しなくても、十分な輝度情報を取得できるため、上記したように、夜間のように可視光が少なく暗いときだけ赤外光の照射が行われるようにすることで、消費電力を低減させることが可能となる。
【００８２】
赤外光を照射しないときには、各画素（Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素）の露光時間を揃えるようにしても良い。または、感度差を考慮し、Ｒ画素、Ｇ画素、Ｂ画素の露光時間を、Ｗ画素の露光時間よりも長くするようにしても良い。
【００８３】
＜カメラDSP部の処理＞
図９に示したフローチャートを参照し、図５に示したカメラDSP部１４の処理について説明する。
【００８４】
ステップＳ１１において、タイミング制御部５６は、Ｗ画素の露光を開始するための信号を生成し、CMOSイメージセンサ１３に供給する。ステップＳ１２において、タイミング制御部５６は、赤外光の照射を開始するために、IR駆動部１７（図１）に対して、赤外光の照射の開始を指示する（ＯＮ信号を出力する）。
【００８５】
ステップＳ１３において、タイミング制御部５６は、赤外光の照射を停止するために、IR駆動部１７（図１）に対して、赤外光の照射の停止を指示する（ＯＦＦ信号を出力する）。ステップＳ１４において、タイミング制御部５６は、赤外光画素、Ｒ画素、Ｇ画素、およびＢ画素（Ｗ画素以外）の露光を開始するための信号を生成し、CMOSイメージセンサ１３に供給する。
【００８６】
ステップＳ１５において、タイミング制御部５６は、赤外光画素、Ｒ画素、Ｇ画素、Ｂ画素、およびＷ画素（全画素）の露光を停止させるための信号を生成し、CMOSイメージセンサ１３に供給する。
【００８７】
例えば、ステップＳ１１における処理は、時刻ｔ１（図８）において実行され、ステップＳ１２における処理は、時刻ｔ２（図８）において実行され、ステップＳ１３における処理は、時刻ｔ３（図８）において実行される。またステップＳ１４における処理は、時刻ｔ３（図８）において実行され、ステップＳ１５における処理は、時刻ｔ５（図８）において実行される。
【００８８】
ステップＳ１６において、環境赤外光込画像取得部５１は、CMOSイメージセンサ１３から、環境赤外光込画像１０１を取得する。取得された環境赤外光込画像１０１は、離散環境赤外光画像生成部５２と、赤外光画素補正画像生成部５４に供給される。
【００８９】
ステップＳ１７において、離散環境赤外光画像生成部５２は、供給された環境赤外光込画像１０１から、赤外光画素を抽出し、離散環境赤外光画像１０２を生成する。生成された離散環境赤外光画像１０２は、環境赤外光画像生成部５３に供給される。
【００９０】
ステップＳ１８において、環境赤外光画像生成部５３は、供給された離散環境赤外光画像１０２を用いて、赤外光画素ではない画素位置における画素値を演算し、補間処理することで、１画像内の全ての画素において、環境赤外光の強度を示す画素値が補間された環境赤外光画像１０３を生成する。生成された環境赤外光画像１０３は、環境赤外光除去画像生成部５５に供給される。
【００９１】
ステップＳ１９において、赤外光画素補正画像生成部５４は、供給された環境赤外光込画像１０１のうち、赤外画素に該当する画素の画素値を、近接する画素の画素値を用いて補間し、Ｒ画素、Ｇ画素、Ｂ画素、またはＷ画素相当の画素値に補正する。赤外画素の画素値が補正された赤外光画素補正画像１０４は、環境赤外光除去画像生成部５５に供給される。
【００９２】
ステップＳ２０において、環境赤外光除去画像生成部５５は、供給された赤外光画素補正画像１０４から環境赤外光画像１０３を減算することで、環境赤外光が除去された環境赤外光除去画像１０５を生成し、図示していない後段の処理部に出力する。
【００９３】
このような処理がカメラDSP部１４で行われる。なお、これらの処理の間に、ノイズリダクション処理や、デモザイク処理が含まれるようにしても良い。
【００９４】
＜赤外光画素の他の配置＞
図１０に、赤外光画素の他の配置例を示す。図６を参照して説明した赤外光画素の配置は、不規則に配置されている例であったが、図１０に示した赤外光画素の配置は、規則的に配置されている例である。
【００９５】
図１０に示した赤外光画素は、偶数行、偶数列に赤外光画素が配置されている。例えば、２行目の、２列目、６列目、１０列目、１４列目に、それぞれ赤外光画素が配置されている。また問えば、４行目の、４列目、８列目、１２列目、１６列目に、それぞれ赤外光画素が配置されている。
【００９６】
図１０に示した赤外光画素は、Ｇ画素が配置される位置に配置されている。Ｇ画素は、Ｒ画素やＢ画素に比べて多く配置されている。この多く配置されているＧ画素のうちの一部を、赤外光画素としても良い。
【００９７】
このように、規則的に赤外光画素を、センサアレイ２１（図３）に配置しても良い。このように規則的に赤外光画素を配置することで、信号処理、例えば、環境赤外光画像生成部５３で、環境赤外光画像１０３を生成するときの画素値の補間などの処理を、ランダムに赤外光画素が配置されている場合と比較して軽減させることが可能となる。
【００９８】
図１１は、赤外光画素のさらに他の配置例を示す図である。図１１中、斜線を付した画素が、赤外光画素に該当する。図１０に示した画素配置と図１１に示した画素配置を比較するに、図１０に示した画素配置において、Ｗ画素とされている画素の一部が、図１１に示した画素配置においては、赤外光画素とされている。図１１に示した配置例においては、赤外光画素は、図１０に示した配置例と同じく、規則的に配置されている。
【００９９】
図１１に示した赤外光画素の配置例は、ＲＧＢＷ画素配列において、Ｗ画素とされる画素の半数に該当する画素を、赤外光画素とした例である。図１１に示した画素配置においては、２種類のＷ画素が配置されており、一方は、照射された赤外光を受光するＷ画素であり、他方は、照射された赤外光を受光しないＷ画素である。このうち、照射された赤外光を受光しないＷ画素が、環境赤外光を受光する赤外光画素として機能する。
【０１００】
照射された赤外光を受光しないＷ画素であり、赤外光画素として機能する画素の露光は、図８に示した赤外光画素の露光と同じく制御される。すなわち、照射された赤外光を受光しないＷ画素（赤外光画素）は、赤外光の照射が停止された時刻ｔ３から露光が開始される。
【０１０１】
このように、規則的に赤外光画素を、センサアレイ２１（図３）に配置しても良い。また、センサアレイ２１に配置されているＷ画素の内の一部を、照射された赤外光を受光しない画素であり、赤外光画素として機能するようにしても良い。
【０１０２】
また、図１１に示したように、一部のＷ画素を赤外光画素として設定するが、その赤外光画素は、ランダムに配置されているようにしても良い。Ｗ画素自体は、規則的に配置されているが、そのうち赤外光画素に設定される画素は、必ずしも規則的に配置されていなくても良い。
【０１０３】
このようにした場合、赤外光画素に設定されている画素のアドレスが管理されるようにし、その管理されているアドレスに該当する画素は、赤外光が照射されているときには露光しないという制御を行うようにすれば、上記した場合と同様に処理を行うことが可能である。
【０１０４】
また、赤外光画素のアドレスを管理するようにした場合、例えば、撮影する環境の明るさに応じて、赤外光画素に設定する画素数を変更するようにしても良い。例えば、明るい環境で撮影が行われるときには、環境赤外光による画質への影響が強いため、赤外光画素として機能させる画素を多くし、暗い環境で撮影が行われるときには、環境赤外光による画質への影響が弱いため、赤外光画素として機能させる画素を少なくし、その分、Ｗ画素を多くし、ＳＮ比を向上させる撮影が行われるようにしても良い。
【０１０５】
また赤外光画素として設定される画素は、適宜変更できるようにしても良い。撮影環境等に応じて、センサアレイ２１内のどの画素を赤外光画素として設定するか決定し、その決定された画素は、赤外光が照射されている間は、露光しないように制御されるようにしても良い。
【０１０６】
また赤外光画素を、アドレスで管理するようにした場合、スタティック欠陥画素補正回路に、そのアドレスを記憶しておき、補正等の処理が行われるようにしても良い。スタティック欠陥画素補正回路は、撮像装置に備えられていることが多いため、そのようなスタティック欠陥画素補正回路を用いることで、赤外光画素を設けたような場合であっても、回路規模が大きくなったり、処理が複雑になったりするようなことを抑えることが可能となる。
【０１０７】
なお、赤外光画素をアドレスで管理するのは、上記した全ての実施の形態に適用でき、例えば、図６に示したような離散的に赤外光画素を配置するような場合においても、離散的に配置された赤外光画像の位置をアドレスで管理し、露光などの制御が行われるようにすることは可能である。
【０１０８】
本技術を適用することで、環境光に含まれる赤外光の成分によらず、高画質なカラー画像を生成することが可能となる。
【０１０９】
＜撮像装置の使用例＞
図１２は、上述の撮像装置の使用例を示す図である。
【０１１０】
上述した撮像装置は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
【０１１１】
・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供され装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
【０１１２】
＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１１３】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、およびドライブ１０１０が接続されている。
【０１１４】
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１０１１を駆動する。
【０１１５】
以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５およびバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１１６】
コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１１７】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１１８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１１９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１２０】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０１２１】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２２】
なお、本技術は以下のような構成も取ることができる。
（１）
赤外光を照射する赤外光照射部と、
前記赤外光照射部により前記赤外光が照射されている期間を露光時間に含む第１の画素、前記赤外光が照射されている期間を露光時間に含まない第２の画素、および環境光に含まれる赤外光を受光する赤外光画素を含む複数の画素が配置されているセンサアレイと、
前記第１の画素で撮像された赤外光画像、前記第２の画素で撮像された可視画像、および前記赤外光画素で撮像された環境赤外光画像を取得する取得部と、
前記赤外光画像と前記可視画像から、前記環境赤外光画像を用いて、環境光に含まれる赤外光を除去した画像を生成する画像生成部と
を備える撮像装置。
（２）
前記第１の画素は、全整色性である分光感度の画素であり、前記第２の画素は、所定の色に特性のある分光感度の画素である
前記（１）に記載の撮像装置。
（３）
前記赤外光画素は、前記第２の画素と同じ露光制御がされる
前記（１）または（２）に記載の撮像装置。
（４）
前記赤外光画素は、前記センサアレイ内で離散的に配置されている
前記（１）乃至（３）のいずれかに記載の撮像装置。
（５）
前記赤外光画素は、前記センサアレイ内で規則的に配置されている
前記（１）乃至（３）のいずれかに記載の撮像装置。
（６）
前記第１の画素の一部が、前記赤外光画素である
前記（１）乃至（５）のいずれかに記載の撮像装置。
（７）
前記赤外光画素の位置は、アドレスで管理されている
前記（１）乃至（６）のいずれかに記載の撮像装置。
（８）
前記赤外光画素が、前記第１の画素または前記第２の画素であった場合の画素値に補正し、補正後の前記赤外光画像と前記可視画像から、前記環境赤外光画像が減算されることで、前記環境光に含まれる赤外光が除去された画像が生成される
前記（１）乃至（７）のいずれかに記載の撮像装置。
（９）
前記赤外光画素は、スタティック欠陥画素補正回路にてアドレスが記憶され、前記補正は、前記スタティック欠陥画素補正回路で行われる
前記（８）に記載の撮像装置。
（１０）
赤外光を照射し、
前記赤外光が照射されている期間を露光時間に含む第１の画素、前記赤外光が照射されている期間を露光時間に含まない第２の画素、および環境光に含まれる赤外光を受光する赤外光画素を含む複数の画素が配置されているセンサアレイから、前記第１の画素で撮像された赤外光画像、前記第２の画素で撮像された可視画像、および前記赤外光画素で撮像された環境赤外光画像を取得し、
前記赤外光画像と前記可視画像から、前記環境赤外光画像を用いて、環境光に含まれる赤外光を除去した画像を生成する
ステップを含む撮像方法。
（１１）
赤外光を照射し、
前記赤外光が照射されている期間を露光時間に含む第１の画素、前記赤外光が照射されている期間を露光時間に含まない第２の画素、および環境光に含まれる赤外光を受光する赤外光画素を含む複数の画素が配置されているセンサアレイから、前記第１の画素で撮像された赤外光画像、前記第２の画素で撮像された可視画像、および前記赤外光画素で撮像された環境赤外光画像を取得し、
前記赤外光画像と前記可視画像から、前記環境赤外光画像を用いて、環境光に含まれる赤外光を除去した画像を生成する
ステップを含む処理をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１２３】
１０  撮像装置，  １４  カメラDSP部，  １８  IR照射部，  ２１ａ  カラーフィルタ，  ５１  環境赤外光込画像取得部，  ５２  離散環境赤外光画像生成部，  ５３  環境赤外光画像生成部，  ５４  赤外光画素補正画像生成部，  ５５  環境赤外光除去画像生成部，  ５６  タイミング制御部
【図１】
2017092898.tif 000003
【図２】
2017092898.tif 000004
【図３】
2017092898.tif 000005
【図４】
2017092898.tif 000006
【図５】
2017092898.tif 000007
【図６】
2017092898.tif 000008
【図７】
2017092898.tif 000009
【図８】
2017092898.tif 000010
【図９】
2017092898.tif 000011
【図１０】
2017092898.tif 000012
【図１１】
2017092898.tif 000013
【図１２】
2017092898.tif 000014
【図１３】
2017092898.tif 000015