(57)【特許請求の範囲】
【請求項１】
所定のフレームレートに対応する１フレーム期間を３以上のサブフレーム期間に分割し、前記サブフレーム期間毎にフォーカルプレーン読み出し方式で全画面分の画素値を掃引することにより、前記１フレーム期間に前記サブフレーム期間の数だけサブフレーム画像を生成する撮像素子と、
撮像範囲に対して前記１フレーム期間において前記サブフレーム期間と同じ時間長単位で赤外光の照射をオン、オフする赤外光照射部と、
前記赤外光が照射されている期間を露光時間に含む前記サブフレーム画像に基づく赤外画像と、前記赤外光が照射されている期間を露光時間に含まない前記サブフレーム画像に基づく可視画像とに基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部と
を備える撮像装置。
【請求項２】
前記カラー画像生成部は、
前記赤外光が照射されている期間を露光時間に含む複数の前記サブフレーム画像から赤外画像を生成する赤外画像生成部を含む
請求項１に記載の撮像装置。
【請求項３】
前記赤外画像生成部は、前記赤外光が照射されている期間を露光時間に含む、輝度のグラデーションが相補的関係にある複数の前記サブフレーム画像から前記赤外画像を生成する
請求項２に記載の撮像装置。
【請求項４】
前記カラー画像生成部は、
前記赤外光が照射されている期間を露光時間に含まない複数の前記サブフレーム画像から前記可視画像を生成する可視画像生成部をさらに含む
請求項１乃至３のいずれかに記載の撮像装置。
【請求項５】
前記カラー画像生成部は、
前記赤外画像から輝度情報を抽出する赤外画像変換部と、
前記可視画像から色差情報を抽出する可視画像変換部と、
前記赤外画像の前記輝度情報と前記可視画像の前記色差情報を前記カラー画像の色情報に変換するカラー画像変換部とをさらに含む
請求項１乃至４のいずれかに記載の撮像装置。
【請求項６】
前記可視画像変換部は、前記可視画像から輝度情報も抽出し、
前記カラー画像変換部は、前記可視画像の輝度情報を用いて補正した、前記赤外画像の前記輝度情報と前記可視画像の前記色差情報を前記カラー画像の色情報に変換する
請求項５に記載の撮像装置。
【請求項７】
前記カラー画像生成部は、
前記赤外画像に時間方向処理を含む3DNR処理を行う第１の3DNR部と、
前記可視画像に時間方向処理を含む3DNR処理を行う第２の3DNR部とをさらに含み、
第１の3DNR部における前記時間方向処理における帰還率と、第２の3DNR部における前記時間方向処理における帰還率とは異なる
請求項１乃至６のいずれかに記載の撮像装置。
【請求項８】
前記第２の3DNR部は、前記第１の3DNR部から供給される動被写体検出結果を用い、前記可視画像に前記3DNR処理を行う
請求項７に記載の撮像装置。
【請求項９】
前記カラー画像生成部は、
前記第１の3DNR部から供給されるエッジ検出結果を用い、前記可視画像に2DNR処理を行う2DNR部をさらに含む
請求項７または８に記載の撮像装置。
【請求項１０】
前記撮像素子の受光面は、ベイヤ配列のカラーフィルタ、RGB-IRフィルタ、またはRGB-Wフィルタにより覆われている
請求項１乃至９のいずれかに記載の撮像装置。
【請求項１１】
前記撮像素子は、電子シャッタ機能を備え、前記赤外画像の元となる前記サブフレーム画像の撮像時の前記露光時間と、前記可視画像の元となる前記サブフレーム画像の撮像時の前記露光時間とは時間長が異なる
請求項１乃至１０のいずれかに記載の撮像装置。
【請求項１２】
前記撮像素子は、画素信号を増幅する増幅部を含み、電子シャッタ機能を備え、前記赤外画像の元となる前記サブフレーム画像の撮像時と、前記可視画像の元となる前記サブフレーム画像の撮像時とは、前記増幅部のゲインが異なる
請求項１乃至１１のいずれかに記載の撮像装置。
【請求項１３】
撮像素子と、赤外光照射部と、カラー画像生成部とを備える撮像装置の撮像方法において、
前記撮像素子による、所定のフレームレートに対応する１フレーム期間を３以上のサブフレーム期間に分割し、前記サブフレーム期間毎にフォーカルプレーン読み出し方式で全画面分の画素値を掃引することにより、前記１フレーム期間に前記サブフレーム期間の数だけサブフレーム画像を生成する生成ステップと、
前記赤外光照射部による、撮像範囲に対して前記１フレーム期間において前記サブフレーム期間と同じ時間長単位で赤外光の照射をオン、オフする照射ステップと、
前記カラー画像生成部による、前記赤外光が照射されている期間を露光時間に含む前記サブフレーム画像に基づく赤外画像と、前記赤外光が照射されている期間を露光時間に含まない前記サブフレーム画像に基づく可視画像とに基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップと
を含む撮像方法。
【請求項１４】
撮像素子と、赤外光照射部とを備える撮像装置の制御用のプログラムにおいて、
前記撮像素子に、所定のフレームレートに対応する１フレーム期間を３以上のサブフレーム期間に分割し、前記サブフレーム期間毎にフォーカルプレーン読み出し方式で全画面分の画素値を掃引することにより、前記１フレーム期間に前記サブフレーム期間の数だけサブフレーム画像を生成させる生成制御ステップと、
前記赤外光照射部に、撮像範囲に対して前記１フレーム期間において前記サブフレーム期間と同じ時間長単位で赤外光の照射をオン、オフさせる照射制御ステップと、
前記赤外光が照射されている期間を露光時間に含む前記サブフレーム画像に基づく赤外画像と、前記赤外光が照射されている期間を露光時間に含まない前記サブフレーム画像に基づく可視画像とに基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップと
を含む処理を撮像装置のコンピュータに実行させるプログラム。
【請求項１５】
所定のフレームレートに対応する１フレーム期間を３以上のサブフレーム期間に分割し、前記サブフレーム期間毎にフォーカルプレーン読み出し方式で全画面分の画素値を掃引することにより、前記１フレーム期間に前記サブフレーム期間の数だけサブフレーム画像を生成する撮像素子と、
撮像範囲に対して前記１フレーム期間において前記サブフレーム期間と同じ時間長単位で赤外光の照射をオン、オフする赤外光照射部と
を備える撮像装置によって撮像された前記サブフレーム画像を入力とする画像処理装置において、
前記赤外光が照射されている期間を露光時間に含む前記サブフレーム画像に基づく赤外画像と、前記赤外光が照射されている期間を露光時間に含まない前記サブフレーム画像に基づく可視画像とに基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部を
備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、撮像方法、およびプログラム、並びに画像処理装置に関し、特に、赤外光を照射して撮像した赤外画像に基づいて、カラー画像を生成できるようにした撮像装置、撮像方法、およびプログラム、並びに画像処理装置に関する。
【背景技術】
【０００２】
従来、監視カメラには、日中の自然光下や白色光などの可視光の照明下で撮像を行うデイモードと、赤外光を照射して撮像を行うナイトモードの二種類のモードを備えているものがある。【０００３】
デイモードの撮像ではカラー画像を得ることができる。一方、ナイトモードの撮像では、照射した赤外光が被写体で反射した反射光を受光することになるので、Ｒ，Ｂ，Ｇなどの色情報を得ることができず、反射光（赤外光）の受光強度のみを取得できる。よって、得られる画像はグレーやグリーンなどのモノクロ画像となる。【０００４】
ところで、監視カメラの用途を考慮した場合、ナイトモードの撮像であってもカラー画像を得られることが望ましい。【０００５】
そこで従来、撮像範囲（被写体）に赤外光を照射した状態を撮像して得られる画像（以下、赤外画像と称する）に基づいてカラー画像を生成する様々な手法が提案されている。【０００６】
例えば、特許文献１には、波長の異なる三種類の赤外光を照射して得られる赤外画像に基づいてカラー画像を生成する手法が開示されている。この手法は、樹脂に対して波長が780nm、870nm、および940nmの赤外光を照射した場合の反射率が、Ｒ，Ｇ，Ｂの可視光を照射した場合の反射率と正の相関があることを利用したものである。この手法によれば、被写体が樹脂であれば、色再現性が高いカラー画像を得ることができる。【０００７】
しかしながら、被写体が樹脂以外である場合、生成されるカラー画像のＲ成分については比較的再現性が良いものの、Ｇ，Ｂ成分については本来の色を再現し得ないので、樹脂以外の任意の被写体には適用できない。【０００８】
また例えば、特許文献２には、低照度の照明下などで被写体が僅かに見える状態で赤外光を照射して撮像を行う手法が提案されている。この手法では、可視光と赤外光が混合している画像が撮像され、この画像に適用されるホワイトバランス処理のパラメータが、通常の可視光のみの画像に適用する値から変更されることによって色情報が再現される。【０００９】
しかしながら、この手法では、赤外光と可視光を分離できないという本質的な問題があるので、再現される色情報は赤外光の影響により精度が劣るものとなってしまう。【００１０】
さらに例えば、特許文献３や非特許文献１には、赤外光を照射した状態の赤外画像と、赤外光を照射していない低照度下での可視画像を連続して撮像し、これらを用いてカラー画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１１−５００４９号公報
【特許文献２】特開２００５−１３０３１７号公報
【特許文献３】特開２０１１−２３３９８３号公報
【非特許文献】
【００１２】
【非特許文献１】「赤外フラッシュと1台のカメラを利用した低照度シーンのカラー画像生成」画像の認識、理解シンポジウム（MIRU2011）P1034.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
ところで、監視カメラなどを含む撮像装置に搭載される撮像素子としては、CCDまたはCMOSイメージセンサが一般的である。CCDは、その構造上、全画素が同時に露光されるグローバルシャッタ機能を有する。これに対し、CMOSイメージセンサは、その構造上、グローバルシャッタ機能がなく（ただし、グローバルシャッタ機能を有するCMOSイメージセンサも存在する）、画素の露光時間が行単位でずれてしまうローリングシャッタ方式のものが存在する。なお、ローリングシャッタ方式は、フォーカルプレーン読み出し方式とも称される。【００１４】
フォーカルプレーン読み出し方式のCMOSイメージセンサを用いて、特許文献３などに記載されている技術のように、赤外画像と可視画像を連続して撮像した場合、画素の露光時間が行単位でずれていることに起因し、赤外光の照射時間が画面全体（全画素）に亘って等しい赤外画像を得られるとは限らず、そのような赤外画像を用いた場合、色再現性が高いカラー画像を生成することができない。【００１５】
換言すれば、フォーカルプレーン読み出し方式のCMOSイメージセンサを用いて赤外光の照射時間が画面全体に亘って等しい赤外画像と、赤外光の影響が全くない可視画像を撮像するためには、赤外光の照射タイミングと露光タイミングについてなんらかの工夫が必要となる。【００１６】
本開示はこのような状況に鑑みてなされたものであり、フォーカルプレーン読み出し方式の撮像素子を用いて撮像された赤外画像と可視画像に基づいてカラー画像を生成できるようにするものである。
【課題を解決するための手段】
【００１７】
本開示の第１の側面である撮像装置は、所定のフレームレートに対応する１フレーム期間を３以上のサブフレーム期間に分割し、前記サブフレーム期間毎にフォーカルプレーン読み出し方式で全画面分の画素値を掃引することにより、前記１フレーム期間に前記サブフレーム期間の数だけサブフレーム画像を生成する撮像素子と、撮像範囲に対して前記１フレーム期間において前記サブフレーム期間と同じ時間長単位で赤外光の照射をオン、オフする赤外光照射部と、前記赤外光が照射されている期間を露光時間に含む前記サブフレーム画像に基づく赤外画像と、前記赤外光が照射されている期間を露光時間に含まない前記サブフレーム画像に基づく可視画像とに基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部とを備える。【００１８】
前記カラー画像生成部は、前記赤外光が照射されている期間を露光時間に含む複数の前記サブフレーム画像から赤外画像を生成する赤外画像生成部を含むことができる。【００１９】
前記赤外画像生成部は、前記赤外光が照射されている期間を露光時間に含む、輝度のグラデーションが相補的関係にある複数の前記サブフレーム画像から前記赤外画像を生成することができる。【００２０】
前記カラー画像生成部は、前記赤外光が照射されている期間を露光時間に含まない複数の前記サブフレーム画像から前記可視画像を生成する可視画像生成部をさらに含むことができる。【００２１】
前記カラー画像生成部は、前記赤外画像から輝度情報を抽出する赤外画像変換部と、前記可視画像から色差情報を抽出する可視画像変換部と、前記赤外画像の前記輝度情報と前記可視画像の前記色差情報を前記カラー画像の色情報に変換するカラー画像変換部とをさらに含むことができる。【００２２】
前記可視画像変換部は、前記可視画像から輝度情報も抽出することができ、前記カラー画像変換部は、前記可視画像の輝度情報を用いて補正した、前記赤外画像の前記輝度情報と前記可視画像の前記色差情報を前記カラー画像の色情報に変換することができる。【００２３】
前記カラー画像生成部は、前記赤外画像に時間方向処理を含む3DNR処理を行う第１の3DNR部と、前記可視画像に時間方向処理を含む3DNR処理を行う第２の3DNR部とをさらに含むことができ、第１の3DNR部における前記時間方向処理における帰還率と、第２の3DNR部における前記時間方向処理における帰還率とは異なるようにすることができる。【００２４】
前記第２の3DNR部は、前記第１の3DNR部から供給される動被写体検出結果を用い、前記可視画像に前記3DNR処理を行うことができる。【００２５】
前記カラー画像生成部は、前記第１の3DNR部から供給されるエッジ検出結果を用い、前記可視画像に2DNR処理を行う2DNR部をさらに含むことができる。【００２６】
前記撮像素子の受光面は、ベイヤ配列のカラーフィルタ、RGB-IRフィルタ、またはRGB-Wフィルタにより覆われているようにすることができる。【００２７】
前記撮像素子は、電子シャッタ機能を備えることができ、前記赤外画像の元となる前記サブフレーム画像の撮像時の前記露光時間と、前記可視画像の元となる前記サブフレーム画像の撮像時の前記露光時間とは時間長が異なるようにすることができる。【００２８】
前記撮像素子は、画素信号を増幅する増幅部を含むことができ、電子シャッタ機能を備え、前記赤外画像の元となる前記サブフレーム画像の撮像時と、前記可視画像の元となる前記サブフレーム画像の撮像時とは、前記増幅部のゲインが異なるようにすることができる。【００２９】
本開示の第１の側面である撮像方法は、撮像素子と、赤外光照射部と、カラー画像生成部とを備える撮像装置の撮像方法において、前記撮像素子による、所定のフレームレートに対応する１フレーム期間を３以上のサブフレーム期間に分割し、前記サブフレーム期間毎にフォーカルプレーン読み出し方式で全画面分の画素値を掃引することにより、前記１フレーム期間に前記サブフレーム期間の数だけサブフレーム画像を生成する生成ステップと、前記赤外光照射部による、撮像範囲に対して前記１フレーム期間において前記サブフレーム期間と同じ時間長単位で赤外光の照射をオン、オフする照射ステップと、前記カラー画像生成部による、前記赤外光が照射されている期間を露光時間に含む前記サブフレーム画像に基づく赤外画像と、前記赤外光が照射されている期間を露光時間に含まない前記サブフレーム画像に基づく可視画像とに基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップとを含む。【００３０】
本開示の第１の側面であるプログラムは、撮像素子と、赤外光照射部とを備える撮像装置の制御用のプログラムにおいて、前記撮像素子に、所定のフレームレートに対応する１フレーム期間を３以上のサブフレーム期間に分割し、前記サブフレーム期間毎にフォーカルプレーン読み出し方式で全画面分の画素値を掃引することにより、前記１フレーム期間に前記サブフレーム期間の数だけサブフレーム画像を生成させる生成制御ステップと、前記赤外光照射部に、撮像範囲に対して前記１フレーム期間において前記サブフレーム期間と同じ時間長単位で赤外光の照射をオン、オフさせる照射制御ステップと、前記赤外光が照射されている期間を露光時間に含む前記サブフレーム画像に基づく赤外画像と、前記赤外光が照射されている期間を露光時間に含まない前記サブフレーム画像に基づく可視画像とに基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップとを含む処理を撮像装置のコンピュータに実行させる。【００３１】
本開示の第１の側面においては、撮像素子により、所定のフレームレートに対応する１フレーム期間を３以上のサブフレーム期間に分割し、前記サブフレーム期間毎にフォーカルプレーン読み出し方式で全画面分の画素値を掃引することにより、前記１フレーム期間に前記サブフレーム期間の数だけサブフレーム画像が生成され、赤外光照射部により、撮像範囲に対して前記１フレーム期間において前記サブフレーム期間と同じ時間長単位で赤外光の照射がオン、オフされ、前記赤外光が照射されている期間を露光時間に含む前記サブフレーム画像に基づく赤外画像と、前記赤外光が照射されている期間を露光時間に含まない前記サブフレーム画像に基づく可視画像とに基づいて、前記所定のフレームレートでカラー画像が生成される。【００３２】
本開示の第２の側面である画像処理装置は、所定のフレームレートに対応する１フレーム期間を３以上のサブフレーム期間に分割し、前記サブフレーム期間毎にフォーカルプレーン読み出し方式で全画面分の画素値を掃引することにより、前記１フレーム期間に前記サブフレーム期間の数だけサブフレーム画像を生成する撮像素子と、撮像範囲に対して前記１フレーム期間において前記サブフレーム期間と同じ時間長単位で赤外光の照射をオン、オフする赤外光照射部とを備える撮像装置によって撮像された前記サブフレーム画像を入力とする画像処理装置において、前記赤外光が照射されている期間を露光時間に含む前記サブフレーム画像に基づく赤外画像と、前記赤外光が照射されている期間を露光時間に含まない前記サブフレーム画像に基づく可視画像とに基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部を備える。【００３３】
本開示の第２の側面においては、赤外光が照射されている期間を露光時間に含むサブフレーム画像に基づく赤外画像と、赤外光が照射されている期間を露光時間に含まないサブフレーム画像に基づく可視画像とに基づいて、所定のフレームレートでカラー画像が生成される。
【発明の効果】
【００３４】
本開示の第１および第２の側面によれば、色再現性の高いカラー画像を生成することができる。
【図面の簡単な説明】
【００３５】
【図１】本開示を適用した撮像装置の構成例を示すブロック図である。
【図２】ＩＲバンドパスフィルタの透過特性を示す図である。
【図３】CMOSイメージセンサの構成例を示すブロック図である。
【図４】カメラDSP部の第１の構成例を示すブロック図である。
【図５】撮像タイミングの第１の例を示す図である。
【図６】カメラDSP部の構成例を示すブロック図である。
【図７】移動合成部の構成例を示すブロック図である。
【図８】ゲイン変換部で用いる関数の例を示す図である。
【図９】カラー画像生成処理を説明するフローチャートである。
【図１０】CMOSのカラーフィルタの色の配置の変形例を示す図である。
【図１１】撮像タイミングの第２の例を示す図である。
【図１２】カメラDSP部の第２の構成例を示すブロック図である。
【図１３】撮像タイミングの第３の例を示す図である。
【図１４】撮像タイミングの第４の例を示す図である。
【図１５】撮像タイミングの第５の例を示す図である。
【図１６】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３６】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００３７】
＜本開示の実施の形態である撮像装置の構成例＞
図１は、本開示の実施の形態である撮像装置の構成例を示している。
【００３８】
この撮像装置１０は、例えば監視カメラなどに用いられるものであり、赤外光を照射した状態で得られる赤外画像と、赤外光を照射していない低照度下で得られる可視画像に基づいてカラー画像を生成するものである。
【００３９】
撮像装置１０は、一般的なカメラと同様に構成される撮像系と、画像処理を実施する画像処理系と、撮像範囲に向けて赤外光を照射する投光系から構成される。
【００４０】
撮像装置１０の撮像系は、レンズ１１、ＩＲバンドパスフィルタ１２、および、フォーカルプレーン読み出し方式（ローリングシャッタ方式）のCMOSイメージセンサ（以下、CMOSと略称する）１３から成る。撮像系においては、レンズ１１が被写体の光学像をCMOS１３に集光し、レンズ１１とCMOS１３の間に配置されたＩＲバンドパスフィルタ１２が被写体の光学像から可視光成分および赤外光成分を抽出し、CMOS１３が入射光に基づく画像信号を生成して画像処理系に出力する。
【００４１】
図２は、ＩＲバンドパスフィルタ１２の透過特性を示している。ＩＲバンドパスフィルタ１２は、波長400nmから650nmの可視光と、波長850nmにピークをもつ赤外光（投光系が照射する赤外光）に対して高い透過率を有するものとする。
【００４２】
図３は、CMOS１３の構成例を示している。このCMOS１３は、センサアレイ２１、信号線２２、アナログゲインアンプ２３、ADC２４、およびデータバッファ２５を有する。センサアレイ２１は、縦横に配置された画素毎の光電変換素子からなり、その受光面側はベイヤ配列などのカラーフィルタ２１ａで覆われている。
【００４３】
図４は、CMOS１３のセンサアレイ２１における各画素時間との露光とそれによって得られる電荷信号の読み出しタイミングを示している。図示するように、CMOS１３においては、掃引開始行（1st-Line）から最終行(Last-Line)に向かう掃引方向に従い、行単位で露光期間がずらされており、露光期間が終了したタイミングでその間に得られた電荷信号が行毎に一括して読み出される。
【００４４】
読み出された電荷信号は信号線２２を介してアナログゲインアンプ２３に出力されて増幅され、ADC２４でデジタルの画素信号に変換されてデータバッファ２５に格納される。なお、アナログゲインアンプ２３におけるゲインは照明に応じて適応的に設定することが可能である。そして、センサアレイ２１を構成する全画素分の画素信号が画像信号として後段の画像処理系に出力される。なお、この段階における画像信号は、各画素がＲ，Ｇ，Ｂのいずれかの色情報を有するRAWデータである。
【００４５】
図１に戻る。撮像装置１０の画像処理系は、カメラDSP部１４、およびメモリ１５，１６から成る。画像処理系においては、カメラDSP部１４が撮像系からの画像信号に基づいて、各画素のそれぞれがＲ，Ｇ，Ｂの色情報を有するカラー画像を生成する。メモリ１５，１６には、ＮＲ（ノイズリダクション）処理のために用いる画像信号が一時的に保持される。また、カメラDSP部１４は撮像系のCMOS１３の駆動（露光や読み出し）を制御するためのＶ同期信号を発生、出力する。さらに、また、カメラDSP部１４は投光系を制御するためのドライバ信号（ON/OFF信号および強度調整信号）を発生、出力する。
【００４６】
撮像装置１０の投光系は、ＩＲ駆動部１７およびＩＲ照射部１８から成る。投光系においては、カメラDSP部１４からの制御に従い、ＩＲ駆動部１７がＩＲ照射部１８から赤外光を照射させる。ＩＲ照射部１８は波長850nmにピークをもつ赤外光を撮像範囲に向けて照射する。なお、ＩＲ照射部１８は撮像装置１０の筐体内に配置してもよいし、撮像装置１０の筐体外部に配置してもよい。
【００４７】
＜CMOS１３による撮像タイミングの第１の例＞
次に、図５は、CMOS１３による撮像タイミングの第１の例を示している。
【００４８】
CMOS１３においては、最終的に出力するカラー画像のフレームレート（例えば30fps）の１フレーム期間（30fpsの場合、1/30秒）を４分割してサブフレーム期間（30fpsの場合、1/120秒）をCMOS１３の１画面掃引期間とし、１フレーム期間に４枚のサブフレーム画像をCMOS１３から出力できるようにする。
【００４９】
１フレーム期間に４枚のサブフレームを撮像するに際しては、連続する２サブフレーム期間において赤外光の照射をオンとし、その他の２サブフレーム期間は赤外光の照射をオフとする。なお、図５の場合、１フレーム期間における１番目および２番目のサブフレーム期間（ｔ０からｔ２）に赤外光の照射をオンとしているが、例えば、２番目および３番目のサブフレーム期間（ｔ１からｔ３）、または３番目および４番目のサブフレーム期間（ｔ２からｔ４）に赤外光の照射をオンとするようにしてもよい。
【００５０】
以下、１番目のサブフレーム期間終了時に得られるサブフレーム画像をサブフレーム画像SF1と称する。同様に、２，３，４番目のサブフレーム期間終了時にそれぞれ得られるサブフレーム画像をサブフレーム画像SF2，SF3，SF4と称する。
【００５１】
図５の第１の例では、サブフレーム画像SF1は、掃引の先頭（1st-Line）付近の行は、露光期間に占める赤外光の照射がオンとされている時間が短いので暗くなり、掃引が進むにつれて赤外光の照射がオンとされている時間が長くなってくるため徐々に明るくなる画像となる。
【００５２】
サブフレーム画像SF2では、全ての行の露光期間全体に亘って赤外光の照射がオンとされているので、画面全体が均等に明るい画像となる。また、露光時間が短いので、動被写体の動きぶれが抑制された画像となる。さらに、フォーカルプレーン読み出し方式のCMOSセンサでは、高速に移動する動被写体の縦方向のずれ（各行ごとに露光期間がずれていることに起因する）が問題となるが、サブフレーム画像SF2（赤外画像）については、赤外光の照射期間が全ての行で同一であるため、縦方向のずれが生じないというメリットがある。
【００５３】
サブフレーム画像SF3は、サブフレーム画像SF1と明暗の変化が反対となり、掃引が進むにつれて赤外光の照射がオンとされている時間が短くなってくるため徐々に暗くなる画像となる。サブフレーム画像SF4は、全ての行の露光期間全体に亘って赤外光の照射がオフとされているので、可視光のみに基づく画面全体が暗い画像となる。以下、サブフレーム画像SF2を赤外画像とも称し、サブフレーム画像SF4を可視画像とも称する。
【００５４】
１フレーム期間毎に４枚のサブフレーム画像SF1乃至SF4が入力されるカメラDSP部１４では、これらのうち、明暗の勾配がないサブフレーム画像SF2（赤外画像）とサブフレーム画像SF4（可視画像）を用いてカラー画像を生成する。
【００５５】
＜カメラDSP部１４の第１の構成例＞
次に、図６は、図５に示された撮像タイミングの第１の例に対応する、カメラDSP部１４の第１の構成例を示している。カメラDSP部１４は、タイミング制御部３１およびＡＥ制御部３２を有する他、赤外画像処理系と可視画像処理系とカラー画像生成系から構成される。
【００５６】
タイミング制御部３１は、CMOS１３の駆動を制御するためのＶ同期信号と、ＩＲ駆動部１７を制御するためのON/OFF信号を生成する。ＡＥ制御部３２は、CMOS１３におけるアナログゲインアンプ２３を制御するためのゲイン調整信号と、ＩＲ駆動部１７を制御するための強度信号を生成する。
【００５７】
カメラDSP部１４の赤外画像処理系は、CMOS１３から１フレーム期間毎に４枚入力されるサブフレーム画像のうち、赤外画像（サブフレーム画像SF2）を処理対象とするものであり、3DNR部３３、デモザイク部３４、および2DNR部３５から成る。
【００５８】
3DNR部３３は、CMOS１３から入力される赤外画像（サブフレーム画像SF2）の各画素とその周辺画素とのフィルタリング処理により２次元的にノイズを除去する2DNR処理と、CMOS１３から入力される赤外画像とフレームメモリ１６に保持されている過去（１フレーム期間以前）の3DNR処理済の赤外画像との重み付け平均化を行う時間方向処理を組み合わせた3DNR処理を行う。なお、時間方向処理における現在の赤外画像に対する重み付けの値は帰還率と称され、ここでの帰還率は、後述する3DNR部３６の帰還率よりも大きな値とされる。例えば、3DNR部３６での帰還率が１／８、3DNR部３３での帰還率が１／２などとされる。
【００５９】
また一般に、3DNR処理における時間方向処理では、現在の画像の帰還率を小さくするとノイズ除去効果が高くなるが、過去の画像の成分が残り易くなるため、動被写体エッジなどで残像が発生してしまう。そこで、これを回避するために、3DNR部３３では、サブフレーム間差分により動被写体を検知し、画像内の動被写体部分については現在の画像の帰還率を大きくして残像の発生を抑える処置が行われる。ここで、検知された動被写体検知結果は、3DNR部３６に通知され、エッジ検出結果は2DNR部３９に通知される。
【００６０】
3DNR部３３における3DNR処理済の赤外画像は、デモザイク部３４に出力されるとともに、フレームメモリ１６に上書き記録される。
【００６１】
デモザイク部３４は、3DNR処理済の赤外画像（RAWデータ）から各画素の輝度情報Yirを抽出して2DNR部３５および輝度合成部４１に出力する。具体的には、RAWデータの画素値をそのまま輝度情報Yirとするか、または近傍の画素のＲ，Ｇ，Ｂの画素値を加算して輝度情報Yirとする。
【００６２】
2DNR部３５は、赤外画像の輝度情報Yirに二次元ノイズリダクション処理を行うことによりその低周波成分を抽出し、その結果得られる輝度情報Yir_NRを輝度合成部４１に出力する。
【００６３】
カメラDSP部１４の可視画像処理系は、CMOS１３から１フレーム期間毎に４枚入力されるサブフレーム画像のうち、可視画像（サブフレーム画像SF4）を処理対象とするものであり、3DNR部３６、デモザイク部３７、ホワイトバランス（ＷＢ）部３８、2DNR部３９、およびYCC変換部４０から成る。
【００６４】
3DNR部３６は、CMOS１３から入力される可視画像（サブフレーム画像SF4）の各画素とその周辺画素とのフィルタリング処理により２次元的にノイズを除去する2DNR処理と、CMOS１３から入力される可視画像とフレームメモリ１５に保持されている過去（１フレーム期間以前）の3DNR処理済の可視画像との重み付け平均化を行う時間方向処理を組み合わせた3DNR処理を行う。ただし、3DNR部３６に入力される可視画像はノイズの多い低照度の画像なので、時間方向処理のためにこの可視画像から動被写体を検知しても動きとノイズの区別がつかず、動被写体を適切に検知できない。そこで、3DNR部３６では、3DNR部３３から供給される、赤外画像から検知された動被写体検知結果を用いて時間方向処理を行うようにする。また、3DNR部３６での帰還率は、3DNR部３３での帰還率（例えば、１／２）よりも小さな値１／８などとされる。これにより、3DNR部３６では動被写体残像を抑えつつ、十分なノイズ除去を行うことが可能となる。
【００６５】
デモザイク部３７は、3DNR処理済の画像信号（RAWデータ）を各画素それぞれがＲ，Ｇ，Ｂ色情報を有するRGBデータに変換してＷＢ部３８に出力する。ＷＢ部３８は、画像信号（RGBデータ）にホワイトバランス処理を行って2DNR部３９に出力する。
【００６６】
2DNR部３９は、例えば、εフィルタなどの広域フィルタを用いた二次元のノイズリダクション処理（2DNR処理）を行い、YCC変換部４０に出力する。なお、2DNR処理を行う場合、被写体のエッジを検出し、エッジの内側だけに広域フィルタを適用するようにすれば、エッジの外側の異なる色情報を引き込んでしまうことを避けることができる。しかしながら、2DNR部３９に給される可視画像はノイズの多い低照度の画像なので適切にエッジを検出することがでない。そこで、2DNR部３９では、3DNR部３３から供給される、赤外画像から検知されたエッジ検出結果を用いて2DNR理を行うようにする。これにより、2DNR部３９ではエッジ付近の色を混色させることなく、広域フィルタを用いた二次元のノイズリダクション処理を行うことができる。
【００６７】
YCC変換部４０は、2DNR処理後の可視画像（RGBデータ）を、各画素が輝度情報Ｙと色差情報Ｃｂ，Ｃｒを有する可視画像（YCCデータ）に変換し、輝度情報Ｙ（以下、Ycと称する）を輝度合成部４１に出力し、色差情報Ｃｂ，ＣｒをRGB変換部４３に出力する。
【００６８】
カメラDSP部１４のカラー画像生成系は、赤外画像処理系と可視画像処理系の出力を処理対象とするものであり、輝度合成部４１、γ補正部４２、およびRGB変換部４３から成る。
【００６９】
輝度合成部４１は、赤外画像処理系から入力される赤外画像の輝度情報Yirおよび輝度情報Yir_NR、並びに可視画像処理系から入力される可視画像の輝度情報Ycに基づき、後段で生成するカラー画像の輝度信号を合成する。
【００７０】
なお、輝度合成部４１を経ることなく、赤外画像の輝度情報Yirをそのままカラー画像の輝度信号とした場合、赤外光の反射率と可視光の反射率が大きく異なる被写体では、輝度情報の違いにより色再現が劣化してしまう。例えば、赤外反射率の高い黒服（可視光の反射率が低い）などでは、そのままYirを輝度情報として使用してしまうと、出力画像では白服となってしまう。輝度合成部４１を設けたことにより、このような不具合を防ぐことができる。
【００７１】
図７は、輝度合成部４１の詳細な構成例を示している。輝度合成部４１は、除算部５１、ゲイン変換部５２、および乗算部５３から構成される。除算部５１は、可視画像の低域における輝度情報Ycと赤外画像の低域における輝度情報Yir_NRとの比率Yratio=Yc/Yir_NRを算出し、得られた比率Yratioをゲイン変換部５２に出力する。ゲイン変換部５２は、所定の関数（または保持する変換テーブル）に従い、比率YratioをＹgainに変換して乗算部５３に出力する。
【００７２】
ここで、ゲイン変換部５２で用いる関数について説明する。輝度合成部４１では、基本的には、この比率Yratioを元の赤外画像の輝度情報Yirにかけ戻す（乗算する）ことにより、YirをYc信号で変調する処理を行う。しかしながら、単にかけ戻すだけでは画面全体が暗くなる傾向にあり、また、Ycによる変調度を調整することができない。そこで、ゲイン変換部５２では、非線形関数曲線を用いて比率YratioをＹgainに変換する。
【００７３】
図８のＡは、ゲイン変換部５２で用いる非線形関数の一例として、ガンマカーブに類似した指数関数を示している。この場合、指数値αを選択することにより、変調の度合いを調整することが可能となる。例えばαの値を大きくするとYgainは全体的に１に近づき、変調度は弱くなる。反対に、αの値を小さくするとYgainは１から乖離し、変調の程度が大きくなる。
【００７４】
ただし、図８のＡに示されたような指数関数曲線では、Yratioの値が小さい領域で傾きが急峻となり、Yratioのわずかな差により、Ygainが大きく変動してしまい、ノイズを増幅してしまう原因となり得る。そこで、このような不具合を回避するため、図８のＢに示されるように、Yratioの小さい領域でYgainをクリップ（最小値を設定）する。なお、このような関数を用いる代わりに、予め作成した変換テーブルをゲイン変換部５２が保持するようにしてもよい。
【００７５】
図７に戻る。乗算部５３は、赤外画像の輝度情報YirにYgainをかけ戻す（乗算する）ことにより、輝度情報Ysymを算出して後段のγ補正部４２に出力する。
【００７６】
図６に戻る。γ補正部４２は、輝度合成部４１から入力される輝度情報Ysymにγ補正処理を行い、γ補正処理後の輝度情報YsymをRGB変換部４３に出力する。
【００７７】
RGB変換部４３は、YCC変換部４０からの色差情報Ｃｂ，Ｃｒと、γ補正部４２からのγ補正処理後の輝度情報Ysymに基づき、１フレーム期間毎に各画素がＲ，Ｇ，Ｂの色情報を有する１枚のカラー画像を生成して後段に出力する。
【００７８】
＜カメラDSP部１４によるカラー画像生成処理について＞
次に、図９はカメラDSP部１４によるカラー画像生成処理を説明するフローチャートである。
【００７９】
このカラー画像生成処理は１フレーム期間毎に実行されるものであり、前提としてカメラDSP部１４にはCMOS１３から１フレーム期間に４枚のサブフレーム画像SF1乃至SF4が入力されるものとする。
【００８０】
ステップＳ１では、CMOS１３から１フレーム期間に入力された４枚のサブフレーム画像が赤外画像処理系、可視画像処理系、またはその他（廃棄）に振り分けられる。具体的には、サブフレーム画像SF2は赤外画像処理系に振り分けられてステップS２乃至Ｓ4の処理が行われる。また、サブフレーム画像SF4は可視画像処理系に振り分けられてステップS５乃至Ｓ９の処理が行われる。サブフレーム画像SF1，SF3は破棄される。
【００８１】
赤外画像処理系では、ステップＳ２において、3DNR部３３が、CMOS１３から入力された赤外画像（サブフレーム画像SF2）に3DNR処理を行い、3DNR処理済の赤外画像をデモザイク部３４に出力するとともに、フレームメモリ１６に上書き記録する。
【００８２】
ステップＳ３において、デモザイク部３４が、3DNR処理済の赤外画像（RAWデータ）から各画素の輝度情報Yirを抽出して2DNR部３５および輝度合成部４１に出力する。ステップＳ４において、2DNR部３５が、赤外画像の輝度情報Yirに二次元ノイズリダクション処理を行うことによりその低周波成分を抽出し、その結果得られる輝度情報Yir_NRを輝度合成部４１に出力する。
【００８３】
可視画像処理系では、ステップＳ５において、3DNR部３６が、CMOS１３から入力された可視画像（サブフレーム画像SF4）に3DNR処理を行い、3DNR処理済の可視画像をデモザイク部３７に出力するとともに、フレームメモリ１５に上書き記録する。
【００８４】
ステップＳ６において、デモザイク部３７が、3DNR処理済の画像信号（RAWデータ）をRGBデータに変換してＷＢ部３８に出力する。ステップＳ７において、ＷＢ部３８が、画像信号（RGBデータ）にホワイトバランス処理を行って2DNR部３９に出力する。
【００８５】
ステップＳ８において、2DNR部３９は、ホワイトバランス処理済の可視画像（RGBデータ）に2DNR処理を行ってYCC変換部４０に出力する。ステップS９において、YCC変換部４０は、2DNR処理済の可視画像（RGBデータ）を可視画像（YCCデータ）に変換し、輝度情報Ycを輝度合成部４１に出力し、色差情報Ｃｂ，ＣｒをRGB変換部４３に出力する。
【００８６】
赤外画像処理系と可視画像処理系それぞれから処理結果を取得したカラー画像生成系では、ステップＳ１０において、輝度合成部４１が、赤外画像処理系から入力される赤外画像の輝度情報Yirおよび輝度情報Yir_NR、並びに可視画像処理系から入力される可視画像の輝度情報Ycに基づき、後段で生成するカラー画像の輝度情報Ysymを算出してγ補正部４２に出力する。ステップＳ１１において、γ補正部４２が、輝度合成部４１から入力された輝度情報Ysymにγ補正処理を行い、γ補正処理後の輝度情報YsymをRGB変換部４３に出力する。
【００８７】
ステップＳ１２において、RGB変換部４３が、YCC変換部４０からの色差情報Ｃｂ，Ｃｒと、γ補正部４２からのγ補正処理後の輝度情報Ysymに基づき、１フレーム期間毎に各画素がＲ，Ｇ，Ｂの色情報を有する１枚のカラー画像を生成して後段に出力する。以上で、カラー画像生成処理の説明を終了する。
【００８８】
以上説明したカラー画像生成処理によれば、フォーカルプレーン読み出し方式のCMOS１３から出力される赤外画像と可視画像に基づいて、色再現の精度が高いカラー画像を生成することができる。
【００８９】
＜変形例＞
次に、撮像装置１０の変形例について説明する。図１０は、CMOS１３の受光面を覆うカラーフィルタ２１ａの変形例を示している。上述した説明では、カラーフィルタ２１ａはベイヤ配列に従うＲ，Ｇ，Ｂの各色フィルタから成るものとしたが、カラーフィルタ２１ａの代わりに、図１０のＡに示されるＲ，Ｇ，Ｂの各色フィルタと、赤外光を透過するＩＲフィルタからなるRGB-IRフィルタ６１を採用してもよい。RGB-IRフィルタ６１を採用した場合、赤外画像の画素値にはＩＲ画素から得られた値を用い、可視画像の画素値にはＩＲ信号減算処理（Ｒ，Ｇ，Ｂ画素の画素値からＩＲ画素の画素値を減算する処理）により得られる値を用いればよい。
【００９０】
また、図１０のＢに示される、Ｒ，Ｇ，Ｂの各色フィルタと、全可視光帯域を透過させるようにフィルタが設けられていない箇所からなるRGB-Wフィルタ６２を採用してもよい。RGB-Wフィルタ６２を採用した場合、赤外画像、可視画像の画素値にはそれぞれ、Ｒ，Ｇ，Ｂ，Ｗの各画素から演算処理により算出した値を用いるようにしてもよい。
【００９１】
さらに、RGB-IRフィルタ６１またはRGB-Wフィルタ６２を採用することにより、ベイヤ配列のカラーフィルタでは分離することができなかった、ＩＲ照射部１８から照射されたものではなく環境に存在する赤外光と可視光の分離も可能となる。
【００９２】
＜CMOS１３による撮像タイミングの第２の例＞
次に、図１１は、CMOS１３による撮像タイミングの第２の例を示している。
【００９３】
撮像タイミングの第２の例は、図５に示された第１の例と同様、CMOS１３から１フレーム期間に４枚のサブフレーム画像を出力できるようにする。ただし、赤外光の照射タイミングが第１の例と異なる。
【００９４】
すなわち、第２の例では、１フレーム期間における４サブフレーム期間のうち、各フレーム期間で共通の１サブフレーム期間において赤外光の照射をオンとし、その他の３サブフレーム期間は赤外光の照射をオフとする。なお、図１１の場合、１フレーム期間における１番目のサブフレーム期間（ｔ０からｔ１）に赤外光の照射をオンとしているが、例えば、その他のサブフレーム期間に赤外光の照射をオンとするようにしてもよい。
【００９５】
図１１の第２の例では、サブフレーム画像SF1は、掃引の先頭（1st-Line）付近の行は、露光期間に占める赤外光の照射がオンとされている時間が短いので暗くなり、掃引が進むにつれて赤外光の照射がオンとされている時間が長くなってくるため徐々に明るくなる画像となる。サブフレーム画像SF2は、サブフレーム画像SF1と明暗の変化が反対となり、掃引が進むにつれて赤外光の照射がオンとされている時間が短くなってくるため徐々に暗くなる画像となる。サブフレーム画像SF3およびSF4では、全ての行の露光期間全体に亘って赤外光の照射がオフとされているので、可視光のみに基づく画面全体が暗い画像となる。
【００９６】
なお、サブフレーム画像SF1とサブフレーム画像SF2の露光時間における赤外光の照射がオンとされている状態の時間をみた場合、サブフレーム画像SF1とサブフレーム画像SF2は、輝度のグラデーションが相補的な関係にあるといえる。したがって、両者を加算すると全ての行に亘り、露光期間の全期間（１サブフレーム期間）に亘って赤外光を照射した状態に相当する画像を得ることができる。よって、サブフレーム画像SF1とサブフレーム画像SF2の対応する画素どうしを加算（または加算平均）して赤外画像を生成するようにする。
【００９７】
同様に、サブフレーム画像SF3とサブフレーム画像SF4の赤外光の照射がオフとされている状態に対する露光時間をみた場合、両者を加算する２サブフレーム期間分の露光期間に可視光のみの状態で撮像したことに相当する画像を得ることができる。よって、サブフレーム画像SF3とサブフレーム画像SF4の対応する画素どうしを加算（または加算平均）して可視画像を生成するようにする。
【００９８】
＜カメラDSP部１４の第２の構成例＞
次に、図１２は、図１１に示された撮像タイミングの第２の例に対応する、カメラDSP部１４の第２の構成例を示している。
【００９９】
該第２の構成例は、図６に示された第１の構成例の赤外画像処理系の前段に加算部７１およびフレームメモリ７２を追加するとともに、可視画像処理系の前段に加算部７３およびフレームメモリ７４を追加したものである。
【０１００】
赤外画像処理系の加算部７１は、先に入力されてフレームメモリ７２に保持されているサブフレーム画像SF1と、サブフレーム画像SF2を加算（または加算平均）することにより赤外画像を生成して3DNR部３３に出力する。可視画像処理系の加算部７３は、先に入力されてフレームメモリ７４を保持されているサブフレーム画像SF3と、サブフレーム画像SF4を加算（または加算平均）することにより可視画像を生成して3DNR部３６に出力する。
【０１０１】
なお、3DNR部３３の後段および3DNR部３６の後段の構成とその動作については、図６に示された第１の構成例と同様なのでその説明は省略する。
【０１０２】
カメラDSP部１４の第２の構成例によれば、フォーカルプレーン読み出し方式のCMOS１３から出力されるサブフレーム画像SF1乃至SF4から赤外画像と可視画像を生成し、それらに基づいて、色再現の精度が高いカラー画像を生成することができる。
【０１０３】
ここで、可視画像処理系に入力される可視画像について、第１の例と第２の例を比較すると、第１の例では露光時間が１サブフレーム期間であるのに対し、第２の例では露光時間が２倍の２サブフレーム期間である。本実施の形態において可視画像は低照度下で撮像されることを前提としているので、露光時間が長くても画素値が飽和することなく、長いほど被写体の色情報を正確に得ることができる。よって、第２の構成例では、第１の構成例に比較してより高い精度で色情報を再現したカラー画像を得ることができる。
【０１０４】
なお、第２の構成例においては、可視画像処理系の加算部７３およびフレームメモリ７４を利用せず、サブフレーム画像SF3またはSF4を可視画像として3DNR部３６に出力するようにしてもよい。その場合、可視画像の露光時間は１サブフレーム期間となるので、最終的に第１の構成例と同程度の精度で色情報を再現したカラー画像を得ることができる。
【０１０５】
＜CMOS１３による撮像タイミングの第３の例＞
次に、図１３は、CMOS１３による撮像タイミングの第３の例を示している。
【０１０６】
第３の例では、CMOS１３において、最終的に出力するカラー画像のフレームレート（例えば30fps）の１フレーム期間（30fpsの場合、1/30秒）を３分割してサブフレーム期間（30fpsの場合、1/90秒）をCMOS１３の１画面掃引期間とし、１フレーム期間に３枚のサブフレーム画像をCMOS１３から出力できるようにする。
【０１０７】
１フレーム期間に３枚のサブフレームを撮像するに際しては、１フレーム期間における３サブフレーム期間のうち、各フレーム期間で共通の１サブフレーム期間において赤外光の照射をオンとし、その他の２サブフレーム期間は赤外光の照射をオフとする。なお、図１３の場合、１フレーム期間における１番目のサブフレーム期間（ｔ０からｔ１）に赤外光の照射をオンとしているが、例えば、２または３番目のサブフレーム期間に赤外光の照射をオンとするようにしてもよい。
【０１０８】
図１３の第３の例では、サブフレーム画像SF1は、掃引の先頭（1st-Line）付近の行は、露光期間に占める赤外光の照射がオンとされている時間が短いので暗くなり、掃引が進むにつれて赤外光の照射がオンとされている時間が長くなってくるため徐々に明るくなる画像となる。サブフレーム画像SF2は、サブフレーム画像SF1と明暗の変化が反対となり、掃引が進むにつれて赤外光の照射がオンとされている時間が短くなってくるため徐々に暗くなる画像となる。サブフレーム画像SF3は、全ての行の露光期間全体に亘って赤外光の照射がオフとされているので、可視光のみに基づく画面全体が暗い画像となる。
【０１０９】
サブフレーム画像SF1とサブフレーム画像SF2の露光時間における赤外光の照射がオンとされている状態の時間をみた場合、両者を加算すると全ての行に亘り、露光期間の全期間（１サブフレーム期間）に亘って赤外光を照射した状態に相当する画像を得ることができる。よって、サブフレーム画像SF1とサブフレーム画像SF2の対応する画素どうしを加算（または加算平均）して赤外画像を生成するようにする。残りのサブフレーム画像SF3については、そのまま可視画像として利用する。
【０１１０】
撮像タイミングの第３の例に対応する、カメラDSP部１４の構成例については、上述した第２の構成例を適用することができる。ただし、可視画像処理系の前段に設けた加算部７３およびフレームメモリ７４は省略できる。
【０１１１】
この場合においても、カメラDSP部１４により、フォーカルプレーン読み出し方式のCMOS１３から出力されるサブフレーム画像SF1乃至SF3に基づいて、色再現の精度が高いカラー画像を生成することができる。
【０１１２】
ここで、可視画像処理系に入力される可視画像について、第１の例と第３の例を比較すると、第１の例では露光時間である１サブフレーム期間がフレーム期間の１／４であるのに対し、第３の例では、露光時間がフレーム期間の１／３である。ここで、第１の例と第３の例とでフレームレートが共通であるならば、第３の例では第１の例よりも可視画像の露光時間が長いことになる。本実施の形態において可視画像は低照度下で撮像されることを前提としているので、露光時間が長くても画素値が飽和することなく、長いほど被写体の色情報を正確に得ることができる。よって、いまの場合、第１の例に比較してより高い精度で色情報を再現したカラー画像を得ることができる。
【０１１３】
また、第１の例と第３の例とでサブフレーム期間の時間が共通であるならば、第３の例では第１の例よりも高いフレームレートでカラー画像を出力可能となる。例えば、共通のサブフレーム期間が1/120秒である場合、第１の例ではカラー画像のフレームレートが30fpsとなるのに対して、第３の例では40fpsとなる。
【０１１４】
＜CMOS１３による撮像タイミングの第４の例＞
上述した撮像タイミングの第１乃至第３の例では、CMOS１３の電子シャッタを開のままとした（露光期間と１画面掃引期間が一致させた）が、電子シャッタを開閉させることもできる。
【０１１５】
図１４は、CMOS１３の電子シャッタを適応的に開閉させる撮像タイミングの第４の例を示している。例えば、低照度下で可視画像を撮像する場合には感度を稼ぐために電子シャッタはオープンのままとし、赤外画像の撮影する場合には画面の明るさに応じて、電子シャッタにより露光時間を１画面掃引期間よりも短く調整することができる。
【０１１６】
撮像タイミングの第４の例により１フレーム期間毎に得られた４枚のサブフレーム画像SF1乃至SF4からは、撮像タイミングの第２の例と同様、カメラDSP部１４の第２の構成例によってカラー画像を生成することができる。
【０１１７】
＜CMOS１３による撮像タイミングの第５の例＞
上述した撮像タイミングの第１乃至第４の例では、赤外光の照射のオン、オフのタイミングを、サブフレーム期間の区切りと一致させていたが、両者は必ずしも一致させる必要はない。
【０１１８】
図１５は、赤外光の照射のオン、オフのタイミングとサブフレーム期間の区切りとを一致させていない撮像タイミングの第５の例を示している。
【０１１９】
第５の例では、１フレーム期間における４サブフレーム期間からなる１フレーム期間の間の任意のタイミングで、１サブフレーム期間に相当する時間だけ赤外光の照射をオンとし、その他の３サブフレーム期間分の時間は赤外光の照射をオフとする。なお、図１５の場合、１フレーム期間における１番目のサブフレーム期間（ｔ０からｔ１）の途中から、２番目のサブフレーム期間（ｔ１からｔ２）の途中までの１サブフレーム期間に相当する時間に赤外光の照射をオンとしているが、その他のタイミングの１サブフレーム期間に相当する時間に赤外光の照射をオンとするようにしてもよい。
【０１２０】
図１５の第５の例では、サブフレーム画像SF1は、掃引の先頭（1st-Line）から中央付近の行までは、赤外光の照射がオフとされており、中央付近の行から赤外光の照射がオンとされている時間が長くなってくるため徐々に明るくなる画像となる。
【０１２１】
サブフレーム画像SF2は、掃引の先頭（1st-Line）から中央付近の行まで赤外光の照射がオンとされている時間が長くなり、中央付近から掃引の最後（Last-Line）の行まで赤外光の照射がオンとされている時間が短くなってくるため、掃引の先頭から中央付近まで徐々に明るくなって、中央付近で最も明るく、そこから掃引進むにつれて徐々に暗くなる画像となる。
【０１２２】
サブフレーム画像SF4は、全ての行の露光期間全体に亘って赤外光の照射がオフとされているので、可視光のみに基づく画面全体が暗い画像となる。
【０１２３】
カメラDSP部１４では、サブフレーム画像SF1の下半分、サブフレーム画像SF2の全体、およびサブフレーム画像SF3の上半分を加算（または加算平均）にすることにより赤外画像を合成して赤外画像処理系の処理対象とするようにする。
【０１２４】
また、カメラDSP部１４では、サブフレーム画像SF3、サブフレーム画像SF4、およびサブフレーム画像SF5（次のフレーム期間のサブフレーム画像SF1）を加算（または加算平均）により可視画像を合成して可視画像処理系の処理対象とするようにする。
【０１２５】
ただし、可視画像の合成に関しては、赤外画像の合成と同様、サブフレーム画像SF3の下半分、サブフレーム画像SF4、およびサブフレーム画像SF5の上半分を加算（または加算平均）してもよい。ただし、サブフレーム画像SF3と、サブフレーム画像SF5には赤外光の成分が含まれるので、そのままでは可視画像の合成に利用できない。この対策としては、図１０に示されたRGB-IRフィルタ６１またはRGB-Wフィルタ６２をCMOS１３に採用すれよい。この場合、IR信号減算処理（RGB信号からIR信号を減算する処理）を行うことにより、可視光の成分を抽出することができる。よって、IR信号減算処理により、サブフレーム画像SF3とサブフレーム画像SF5から可視光の成分を抽出して可視画像の合成に用いるようにする。
【０１２６】
第５の例の場合、可視画像は３枚のサブフレーム画像から合成されるので、その露光時間は実質的に３サブフレーム期間であり、第２または第３の例の可視画像の露光時間に比較して１．５倍となる。本実施の形態において可視画像は低照度下で撮像されることを前提としているので、露光時間が長くても画素値が飽和することなく、長いほど被写体の色情報を正確に得ることができる。よって、第５の例では、第２または第３の例に比較してより高い精度で色情報を再現したカラー画像を得ることができる。
【０１２７】
一般的に、画像における可視光の成分に対して赤外光の成分が大きいと、IR信号減算処理において、減算精度が悪化してしまい可視光の成分のノイズが多くなるが、第５の例のように、サブフレーム画像SF3の上方と、サブフレーム画像SF5の下方の赤外光の成分は、ともに赤外光の照射のオフまたはオンに近いタイミングに相当するため、赤外光の成分はサブフレーム画像SF2に比べて弱い。よって、上述したIR信号減算処理でも精度よく可視光の成分を精度よく抽出することができる。
【０１２８】
また、サブフレーム画像SF3の上方とサブフレーム画像SF5の下方では、画像の上端または下端よりも画像の中央部分赤外光の成分の強度が弱まることになるので、画像として最も重要となる中央部分の可視光の成分の品質を高めることが可能となる。
【０１２９】
＜まとめ＞
上述した実施の形態では、カラー画像の生成に用いる色情報を可視画像のみから抽出するようにしたが、赤外画像からも色成分を抽出してカラー画像の生成に用いてもよい。具体的には、図１０Ａに示されたRGB-IRフィルタ６１をCMOS１３に採用し、赤外画像にIR信号減算処理を行えば、赤外光のみの色情報を抽出することができる。この赤外光から抽出した色情報と、可視画像から抽出した色情報を組み合わせてカラー画像の生成に用いることでより色再現性の高いカラー画像を得ることができきる。
【０１３０】
また、上述した実施の形態では、１フレーム期間を３サブフレーム期間または４サブフレーム期間に分割したが、１フレーム期間を５以上のサブフレーム期間に分割し、得られたサブフレーム画像から赤外画像と可視画像を合成し、それらに基づいてカラー画像を生成するようにしてもよい。
【０１３１】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１３２】
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１３３】
このコンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１３４】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
【０１３５】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１３６】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１３７】
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１３８】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０１３９】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１４０】
本開示は以下のような構成も取ることができる。
（１）
所定のフレームレートに対応する１フレーム期間を３以上のサブフレーム期間に分割し、前記サブフレーム期間毎にフォーカルプレーン読み出し方式で全画面分の画素値を掃引することにより、前記１フレーム期間に前記サブフレーム期間の数だけサブフレーム画像を生成する撮像素子と、
撮像範囲に対して前記１フレーム期間において前記サブフレーム期間と同じ時間長単位で赤外光の照射をオン、オフする赤外光照射部と、
前記赤外光が照射されている期間を露光時間に含む前記サブフレーム画像に基づく赤外画像と、前記赤外光が照射されている期間を露光時間に含まない前記サブフレーム画像に基づく可視画像とに基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部と
を備える撮像装置。
（２）
前記カラー画像生成部は、
前記赤外光が照射されている期間を露光時間に含む複数の前記サブフレーム画像から赤外画像を生成する赤外画像生成部を含む
前記（１）に記載の撮像装置。
（３）
前記赤外画像生成部は、前記赤外光が照射されている期間を露光時間に含む、輝度のグラデーションが相補的関係にある複数の前記サブフレーム画像から前記赤外画像を生成する
前記（２）に記載の撮像装置。
（４）
前記カラー画像生成部は、
前記赤外光が照射されている期間を露光時間に含まない複数の前記サブフレーム画像から前記可視画像を生成する可視画像生成部をさらに含む
前記（１）から（３）のいずれかに記載の撮像装置。
（５）
前記カラー画像生成部は、
前記赤外画像から輝度情報を抽出する赤外画像変換部と、
前記可視画像から色差情報を抽出する可視画像変換部と、
前記赤外画像の前記輝度情報と前記可視画像の前記色差情報を前記カラー画像の色情報に変換するカラー画像変換部とをさらに含む
前記（１）から（４）のいずれかに記載の撮像装置。
（６）
前記可視画像変換部は、前記可視画像から輝度情報も抽出し、
前記カラー画像変換部は、前記可視画像の輝度情報を用いて補正した、前記赤外画像の前記輝度情報と前記可視画像の前記色差情報を前記カラー画像の色情報に変換する
前記（５）に記載の撮像装置。
（７）
前記カラー画像生成部は、
前記赤外画像に時間方向処理を含む3DNR処理を行う第１の3DNR部と、
前記可視画像に時間方向処理を含む3DNR処理を行う第２の3DNR部とをさらに含み、
第１の3DNR部における前記時間方向処理における帰還率と、第２の3DNR部における前記時間方向処理における帰還率とは異なる
前記（１）から（６）のいずれかに記載の撮像装置。
（８）
前記第２の3DNR部は、前記第１の3DNR部から供給される動被写体検出結果を用い、前記可視画像に前記3DNR処理を行う
前記（７）に記載の撮像装置。
（９）
前記カラー画像生成部は、
前記第１の3DNR部から供給されるエッジ検出結果を用い、前記可視画像に2DNR処理を行う2DNR部をさらに含む
前記（７）または（８）に記載の撮像装置。
（１０）
前記撮像素子の受光面は、ベイヤ配列のカラーフィルタ、RGB-IRフィルタ、またはRGB-Wフィルタにより覆われている
前記（１）から（９）のいずれかに記載の撮像装置。
（１１）
前記撮像素子は、電子シャッタ機能を備え、前記赤外画像の元となる前記サブフレーム画像の撮像時の前記露光時間と、前記可視画像の元となる前記サブフレーム画像の撮像時の前記露光時間とは時間長が異なる
前記（１）から（１０）のいずれかに記載の撮像装置。
（１２）
前記撮像素子は、画素信号を増幅する増幅部を含み、電子シャッタ機能を備え、前記赤外画像の元となる前記サブフレーム画像の撮像時と、前記可視画像の元となる前記サブフレーム画像の撮像時とは、前記増幅部のゲインが異なる
前記（１）から（１１）のいずれかに記載の撮像装置。
（１３）
撮像素子と、赤外光照射部と、カラー画像生成部とを備える撮像装置の撮像方法において、
前記撮像素子による、所定のフレームレートに対応する１フレーム期間を３以上のサブフレーム期間に分割し、前記サブフレーム期間毎にフォーカルプレーン読み出し方式で全画面分の画素値を掃引することにより、前記１フレーム期間に前記サブフレーム期間の数だけサブフレーム画像を生成する生成ステップと、
前記赤外光照射部による、撮像範囲に対して前記１フレーム期間において前記サブフレーム期間と同じ時間長単位で赤外光の照射をオン、オフする照射ステップと、
前記カラー画像生成部による、前記赤外光が照射されている期間を露光時間に含む前記サブフレーム画像に基づく赤外画像と、前記赤外光が照射されている期間を露光時間に含まない前記サブフレーム画像に基づく可視画像とに基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップと
を含む撮像方法。
（１４）
撮像素子と、赤外光照射部とを備える撮像装置の制御用のプログラムにおいて、
前記撮像素子に、所定のフレームレートに対応する１フレーム期間を３以上のサブフレーム期間に分割し、前記サブフレーム期間毎にフォーカルプレーン読み出し方式で全画面分の画素値を掃引することにより、前記１フレーム期間に前記サブフレーム期間の数だけサブフレーム画像を生成させる生成制御ステップと、
前記赤外光照射部に、撮像範囲に対して前記１フレーム期間において前記サブフレーム期間と同じ時間長単位で赤外光の照射をオン、オフさせる照射制御ステップと、
前記赤外光が照射されている期間を露光時間に含む前記サブフレーム画像に基づく赤外画像と、前記赤外光が照射されている期間を露光時間に含まない前記サブフレーム画像に基づく可視画像とに基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップと
を含む処理を撮像装置のコンピュータに実行させるプログラム。
（１５）
所定のフレームレートに対応する１フレーム期間を３以上のサブフレーム期間に分割し、前記サブフレーム期間毎にフォーカルプレーン読み出し方式で全画面分の画素値を掃引することにより、前記１フレーム期間に前記サブフレーム期間の数だけサブフレーム画像を生成する撮像素子と、
撮像範囲に対して前記１フレーム期間において前記サブフレーム期間と同じ時間長単位で赤外光の照射をオン、オフする赤外光照射部と
を備える撮像装置によって撮像された前記サブフレーム画像を入力とする画像処理装置において、
前記赤外光が照射されている期間を露光時間に含む前記サブフレーム画像に基づく赤外画像と、前記赤外光が照射されている期間を露光時間に含まない前記サブフレーム画像に基づく可視画像とに基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部を
備える画像処理装置。
【符号の説明】
【０１４１】
１０  撮像装置，  １４  カメラDSP部，  １８  ＩＲ照射部，  ２１ａ  カラーフィルタ，  ３３  3DNR部，  ３４  デモザイク部，  ３５  2DNR部，  ３６  3DNR部，  ３７  デモザイク部，  ３８  ＷＢ部，  ３９  2DNR部，  ４０  YCC変換部，  ４１  輝度合成部，  ４２  γ補正部，  ４３  RGB変換部，  ６１  RGB-Wフィルタ，  ６２  RGB-Wフィルタ，  ７１  加算部，  ７２  フレームメモリ，  ７３  加算部，  ７４  フレームメモリ，  ２００  コンピュータ，  ２０１  CPU
【図１】
0006597636.tif 000002
【図２】
0006597636.tif 000003
【図３】
0006597636.tif 000004
【図４】
0006597636.tif 000005
【図５】
0006597636.tif 000006
【図６】
0006597636.tif 000007
【図７】
0006597636.tif 000008
【図８】
0006597636.tif 000009
【図９】
0006597636.tif 000010
【図１０】
0006597636.tif 000011
【図１１】
0006597636.tif 000012
【図１２】
0006597636.tif 000013
【図１３】
0006597636.tif 000014
【図１４】
0006597636.tif 000015
【図１５】
0006597636.tif 000016
【図１６】
0006597636.tif 000017