(57)【要約】【課題】色再現性の高いカラー画像を生成する。【解決手段】第１のサブフレーム期間の一部の第１の読み出し期間に、フォーカルプレーン読み出し方式で第１の電荷信号を読み出し、第２のサブフレーム期間の一部の第２の読み出し期間に、フォーカルプレーン読み出し方式で第２の電荷信号を読み出し、第１の電荷信号により第１のサブフレーム画像を生成し、第２の電荷信号により第２のサブフレーム画像を生成する撮像素子と、第１のサブフレーム期間内の第１の読み出し期間を除く期間の全部または一部の照射期間において、撮像範囲に対して赤外光を照射し、照射期間以外の期間において赤外光を照射しないように制御する照射制御部と、第１のサブフレーム画像および第２のサブフレーム画像に基づいて、所定のフレームレートでカラー画像を生成するカラー画像生成部とを備える。本開示は、例えば監視カメラに適用できる。【選択図】図５
2016213628.tif 000002
【特許請求の範囲】
【請求項１】
所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する撮像素子と、
前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御部と、
前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部と
を備える撮像装置。
【請求項２】
前記第１のサブフレーム期間が前記第２のサブフレーム期間より短い
請求項１に記載の撮像装置。
【請求項３】
前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間、および、前記第２のサブフレーム期間内の前記第２の読み出し期間を除く期間において、全ての行の画素の露光が一斉に行われる
請求項１に記載の撮像装置。
【請求項４】
前記カラー画像生成部は、
前記第１のサブフレーム画像から輝度情報を抽出する第１の画像変換部と、
前記第２のサブフレーム画像から色差情報を抽出する第２の画像変換部と、
前記第１のサブフレーム画像の前記輝度情報と前記第２のサブフレーム画像の前記色差情報を前記カラー画像の色情報に変換する第３の画像変換部と
をさらに含む  請求項１に記載の撮像装置。
【請求項５】
前記第２の画像変換部は、前記第２のサブフレーム画像から輝度情報も抽出し、
前記第３の画像変換部は、前記第２のサブフレーム画像の輝度情報を用いて補正した、前記第１のサブフレーム画像の前記輝度情報と前記第２のサブフレーム画像の前記色差情報を前記カラー画像の色情報に変換する
請求項４に記載の撮像装置。
【請求項６】
前記カラー画像生成部は、
前記第１のサブフレーム画像に時間方向処理を含む3DNR処理を行う第１の3DNR部と、
前記第２のサブフレーム画像に時間方向処理を含む3DNR処理を行う第２の3DNR部と
をさらに含み、
前記第１の3DNR部における前記時間方向処理における帰還率と、前記第２の3DNR部における前記時間方向処理における帰還率とは異なる
請求項１に記載の撮像装置。
【請求項７】
前記第２の3DNR部は、前記第１の3DNR部から供給される動被写体検出結果を用い、前記第２のサブフレーム画像に前記3DNR処理を行う
請求項６に記載の撮像装置。
【請求項８】
前記カラー画像生成部は、
前記第１の3DNR部から供給されるエッジ検出結果を用い、前記第２のサブフレーム画像に2DNR処理を行う2DNR部を
さらに含む  請求項７に記載の撮像装置。
【請求項９】
前記撮像素子の受光面は、ベイヤ配列のカラーフィルタ、RGB-IRフィルタ、またはRGB-Wフィルタにより覆われている
請求項１に記載の撮像装置。
【請求項１０】
前記赤外光を照射する赤外光照射部を
さらに備える請求項１に記載の撮像装置。
【請求項１１】
所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する生成ステップと、
前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御ステップと、
前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップと
を含む撮像方法。
【請求項１２】
所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する生成ステップと、
前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御ステップと、
前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップと
を含む処理をコンピュータに実行させるためのプログラム。
【請求項１３】
所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する撮像素子からの前記第１のサブフレーム画像及び前記第２のサブフレーム画像を入力とする画像処理装置において、
前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御部と、
前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部と
備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、撮像方法、およびプログラム、並びに画像処理装置に関し、特に、赤外光を照射して撮像した赤外画像に基づいて、カラー画像を生成できるようにした撮像装置、撮像方法、およびプログラム、並びに画像処理装置に関する。
【背景技術】
【０００２】
従来、監視カメラには、日中の自然光下や白色光などの可視光の照明下で撮像を行うデイモードと、赤外光を照射して撮像を行うナイトモードの二種類のモードを備えているものがある。
【０００３】
デイモードの撮像ではカラー画像を得ることができる。一方、ナイトモードの撮像では、照射した赤外光が被写体で反射した反射光を受光することになるので、Ｒ，Ｂ，Ｇなどの色情報を得ることができず、反射光（赤外光）の受光強度のみを取得できる。よって、得られる画像はグレーやグリーンなどのモノクロ画像となる。
【０００４】
ところで、監視カメラの用途を考慮した場合、ナイトモードの撮像であってもカラー画像を得られることが望ましい。
【０００５】
そこで従来、撮像範囲（被写体）に赤外光を照射した状態を撮像して得られる画像（以下、赤外画像と称する）に基づいてカラー画像を生成する様々な手法が提案されている。
【０００６】
例えば、特許文献１には、波長の異なる三種類の赤外光を照射して得られる赤外画像に基づいてカラー画像を生成する手法が開示されている。この手法は、樹脂に対して波長が780nm、870nm、および940nmの赤外光を照射した場合の反射率が、Ｒ，Ｇ，Ｂの可視光を照射した場合の反射率と正の相関があることを利用したものである。この手法によれば、被写体が樹脂であれば、色再現性が高いカラー画像を得ることができる。
【０００７】
しかしながら、被写体が樹脂以外である場合、生成されるカラー画像のＲ成分については比較的再現性が良いものの、Ｇ，Ｂ成分については本来の色を再現し得ないので、樹脂以外の任意の被写体には適用できない。
【０００８】
また例えば、特許文献２には、低照度の照明下などで被写体が僅かに見える状態で赤外光を照射して撮像を行う手法が提案されている。この手法では、可視光と赤外光が混合している画像が撮像され、この画像に適用されるホワイトバランス処理のパラメータが、通常の可視光のみの画像に適用する値から変更されることによって色情報が再現される。
【０００９】
しかしながら、この手法では、赤外光と可視光を分離できないという本質的な問題があるので、再現される色情報は赤外光の影響により精度が劣るものとなってしまう。
【００１０】
さらに例えば、特許文献３や非特許文献１には、赤外光を照射した状態の赤外画像と、赤外光を照射していない低照度下での可視画像を連続して撮像し、これらを用いてカラー画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１１−５００４９号公報
【特許文献２】特開２００５−１３０３１７号公報
【特許文献３】特開２０１１−２３３９８３号公報
【非特許文献】
【００１２】
【非特許文献１】「赤外フラッシュと1台のカメラを利用した低照度シーンのカラー画像生成」画像の認識、理解シンポジウム（MIRU2011）P1034.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
ところで、監視カメラなどを含む撮像装置に搭載される撮像素子としては、CCDまたはCMOSイメージセンサが一般的である。CCDは、その構造上、全画素が同時に露光されるグローバルシャッタ機能を有する。これに対し、CMOSイメージセンサは、その構造上、グローバルシャッタ機能がなく（ただし、グローバルシャッタ機能を有するCMOSイメージセンサも存在する）、画素の露光時間が行単位でずれてしまうローリングシャッタ方式のものが存在する。なお、ローリングシャッタ方式は、フォーカルプレーン読み出し方式とも称される。
【００１４】
フォーカルプレーン読み出し方式のCMOSイメージセンサを用いて、特許文献３などに記載されている技術のように、赤外画像と可視画像を連続して撮像した場合、画素の露光時間が行単位でずれていることに起因し、赤外光の照射時間が画面全体（全画素）に亘って等しい赤外画像を得られるとは限らない。そのため、そのような赤外画像を用いた場合、色再現性が高いカラー画像を生成することができない。
【００１５】
従って、フォーカルプレーン読み出し方式のCMOSイメージセンサを用いて赤外光の照射時間が画面全体に亘って等しい赤外画像と、赤外光の影響が全くない可視画像を撮像するためには、赤外光の照射タイミングと露光タイミングについてなんらかの工夫が必要となる。
【００１６】
本開示はこのような状況に鑑みてなされたものであり、フォーカルプレーン読み出し方式の撮像素子を用いて撮像された赤外画像と可視画像に基づいてカラー画像を生成できるようにするものである。
【課題を解決するための手段】
【００１７】
本開示の第１の側面である撮像装置は、所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する撮像素子と、
前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御部と、前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部とを備える。
【００１８】
前記第１のサブフレーム期間を前記第２のサブフレーム期間より短くすることができる。
【００１９】
前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間、および、前記第２のサブフレーム期間内の前記第２の読み出し期間を除く期間において、全ての行の画素の露光が一斉に行われるようにすることができる。
【００２０】
前記カラー画像生成部には、前記第１のサブフレーム画像から輝度情報を抽出する第１の画像変換部と、前記第２のサブフレーム画像から色差情報を抽出する第２の画像変換部と、前記第１のサブフレーム画像の前記輝度情報と前記第２のサブフレーム画像の前記色差情報を前記カラー画像の色情報に変換する第３の画像変換部とをさらに設けることができる。
【００２１】
前記第２の画像変換部には、前記第２のサブフレーム画像から輝度情報も抽出させ、前記第３の画像変換部には、前記第２のサブフレーム画像の輝度情報を用いて補正した、前記第１のサブフレーム画像の前記輝度情報と前記第２のサブフレーム画像の前記色差情報を前記カラー画像の色情報に変換させることができる。
【００２２】
前記カラー画像生成部には、前記第１のサブフレーム画像に時間方向処理を含む3DNR処理を行う第１の3DNR部と、前記第２のサブフレーム画像に時間方向処理を含む3DNR処理を行う第２の3DNR部とをさらに設け、前記第１の3DNR部における前記時間方向処理における帰還率と、前記第２の3DNR部における前記時間方向処理における帰還率とを異ならせることができる。
【００２３】
前記第２の3DNR部には、前記第１の3DNR部から供給される動被写体検出結果を用い、前記第２のサブフレーム画像に前記3DNR処理を行わせることができる。
【００２４】
前記カラー画像生成部には、前記第１の3DNR部から供給されるエッジ検出結果を用い、前記第２のサブフレーム画像に2DNR処理を行う2DNR部をさらに設けることができる。
【００２５】
前記撮像素子の受光面を、ベイヤ配列のカラーフィルタ、RGB-IRフィルタ、またはRGB-Wフィルタにより覆うことができる。
【００２６】
前記赤外光を照射する赤外光照射部をさらに設けることができる。
【００２７】
本開示の第１の側面である撮像方法は、所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する生成ステップと、前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御ステップと、前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップとを含む。
【００２８】
本開示の第１の側面であるプログラムは、所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する生成ステップと、前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御ステップと、前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップとを含む処理をコンピュータに実行させる。
【００２９】
本開示の第１の側面においては、所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号が読み出され、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号が読み出され、前記第１の電荷信号に基づいて第１のサブフレーム画像が生成され、前記第２の電荷信号に基づいて第２のサブフレーム画像が生成され、前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光が照射され、前記照射期間以外の期間において赤外光が照射されず、前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成される。
【００３０】
本開示の第２の側面である画像処理装置は、所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する撮像素子からの前記第１のサブフレーム画像及び前記第２のサブフレーム画像を入力とする画像処理装置において、前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御部と、前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部と備える。
【００３１】
本開示の第２の側面においては、第１のサブフレーム期間内の第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光が照射され、前記照射期間以外の期間において赤外光が照射されず、前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像が生成される。
【発明の効果】
【００３２】
本開示の第１および第２の側面によれば、色再現性の高いカラー画像を生成することができる。
【図面の簡単な説明】
【００３３】
【図１】本開示を適用した撮像装置の構成例を示すブロック図である。
【図２】ＩＲバンドパスフィルタの透過特性を示す図である。
【図３】CMOSイメージセンサの構成例を示すブロック図である。
【図４】露光期間および電荷信号の読み出しタイミングの第１の例を示す図である。
【図５】赤外光の照射タイミングの第１の例を示す図である。
【図６】カメラDSP部の構成例を示すブロック図である。
【図７】移動合成部の構成例を示すブロック図である。
【図８】ゲイン変換部で用いる関数の例を示す図である。
【図９】カラー画像生成処理を説明するフローチャートである。
【図１０】露光期間および電荷信号の読み出しタイミングの第２の例を示す図である。
【図１１】赤外光の照射タイミングの第２の例を示す図である。
【図１２】CMOSのカラーフィルタの色の配置の変形例を示す図である。
【図１３】CMOSのカラーフィルタの色の配置の変形例を示す図である。
【図１４】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３４】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００３５】
＜本開示の実施の形態である撮像装置の構成例＞
図１は、本開示の実施の形態である撮像装置の構成例を示している。
【００３６】
この撮像装置１０は、例えば監視カメラなどに用いられるものであり、赤外光を照射した状態で得られる赤外画像と、赤外光を照射していない低照度下で得られる可視画像に基づいてカラー画像を生成するものである。
【００３７】
撮像装置１０は、一般的なカメラと同様に構成される撮像系と、画像処理を実施する画像処理系と、撮像範囲に向けて赤外光を照射する投光系から構成される。
【００３８】
撮像装置１０の撮像系は、レンズ１１、ＩＲバンドパスフィルタ１２、および、フォーカルプレーン読み出し方式（ローリングシャッタ方式）のCMOSイメージセンサ（以下、CMOSと略称する）１３から成る。撮像系においては、レンズ１１が被写体の光学像をCMOS１３に集光し、レンズ１１とCMOS１３の間に配置されたＩＲバンドパスフィルタ１２が被写体の光学像から可視光成分および赤外光成分を抽出し、CMOS１３が入射光に基づく画像信号を生成して画像処理系に出力する。
【００３９】
図２は、ＩＲバンドパスフィルタ１２の透過特性を示している。ＩＲバンドパスフィルタ１２は、波長400nmから650nmの可視光と、波長850nmにピークをもつ赤外光（投光系が照射する赤外光）に対して高い透過率を有するものとする。
【００４０】
図３は、CMOS１３の構成例を示している。このCMOS１３は、センサアレイ２１、信号線２２、アナログゲインアンプ２３、ADC２４、およびデータバッファ２５を有する。センサアレイ２１は、縦横に配置された画素毎の光電変換素子からなり、その受光面側はベイヤ配列などのカラーフィルタ２１ａで覆われている。
【００４１】
＜CMOS１３の露光期間および電荷信号の読み出しタイミングの第１の例＞
図４は、CMOS１３のセンサアレイ２１の各行の露光期間とそれによって得られる電荷信号の読み出しタイミングの第１の例を示している。図示するように、CMOS１３においては、センサアレイ２１の掃引１行目（1st-Line）から掃引最終行(Last-Line)に向かう掃引方向に従って、行単位で露光期間がずらされており、露光期間が終了したタイミングでその間に得られた電荷信号が行毎に一括して読み出される。
【００４２】
また、CMOS１３においては、最終的に出力するカラー画像のフレームレート（例えば30fps）の１フレーム期間（30fpsの場合、1/30秒）が、２つのサブフレーム期間（30fpsの場合、1/60秒）に分割される。そして、各サブフレーム期間において、センサアレイ２１の掃引方向の順に行単位で電荷信号の読み出しが行われ、読み出された電荷信号に基づくサブフレーム画像がCMOS１３から出力される。従って、１フレーム期間に２枚のサブフレーム画像がCMOS１３から出力される。
【００４３】
例えば、時刻ｔ０において、センサアレイ２１の掃引１行目の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。このとき読み出される電荷信号は、１つ前のｎ−１フレームの２番目のサブフレームの電荷信号である。電荷信号の読み出し後、センサアレイ２１の掃引１行目の新たな露光期間が開始される。
【００４４】
その後、所定の時間間隔で、掃引方向の順にセンサアレイ２１の各行の露光期間が終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。そして、時刻ｔ１において、センサアレイ２１の掃引最終行の露光期間が終了し、露光期間中に得られた電荷信号が読み出されて、新たな露光期間が開始される。
【００４５】
このように、時刻ｔ０から時刻ｔ１の期間において、ｎ−１フレームの２番目のサブフレームの各行の電荷信号が、掃引方向の順に所定の時間間隔で読み出される。そして、読み出された電荷信号に基づいて、ｎ−１フレームの２番目のサブフレーム画像SF2が生成され、CMOS１３から出力される。また、センサアレイ２１の各行の露光期間が、掃引方向の順に所定の時間間隔で開始される。
【００４６】
次に、時刻ｔ１から時刻ｔ２の期間において、センサアレイ２１の全ての行の画素の露光が一斉に行われ、全画素に電荷が蓄積される。
【００４７】
次に、時刻ｔ２において、センサアレイ２１の掃引１行目の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。このとき読み出される電荷信号は、ｎフレームの１番目のサブフレームの電荷信号である。電荷信号の読み出し後、センサアレイ２１の掃引１行目の新たな露光期間が開始される。
【００４８】
その後、時刻ｔ２から時刻ｔ３の期間において、時刻ｔ０から時刻１の期間と同様に、ｎフレームの１番目のサブフレームの各行の電荷信号が、掃引方向の順に所定の時間間隔で読み出される。そして、読み出された電荷信号に基づいて、ｎフレームの１番目のサブフレーム画像SF1が生成され、CMOS１３から出力される。また、センサアレイ２１の各行の新たな露光期間が、掃引方向の順に所定の時間間隔で開始される。
【００４９】
次に、時刻ｔ３から時刻ｔ４の期間において、センサアレイ２１の全ての行の画素の露光が一斉に行われ、全画素に電荷が蓄積される。
【００５０】
次に、時刻ｔ４において、センサアレイ２１の掃引１行目の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。このとき読み出される電荷信号は、ｎフレームの２番目のサブフレームの電荷信号である。電荷信号の読み出し後、センサアレイ２１の掃引１行目の新たな露光期間が開始される。
【００５１】
その後、時刻ｔ４から時刻ｔ５の期間において、時刻ｔ０から時刻１の期間と同様に、ｎフレームの２番目のサブフレームの各行の電荷信号が、掃引方向の順に所定の時間間隔で読み出される。そして、読み出された電荷信号に基づいて、ｎフレームの２番目のサブフレーム画像SF2が生成され、CMOS１３から出力される。また、センサアレイ２１の各行の新たな露光期間が、掃引方向の順に所定の時間間隔で開始される。
【００５２】
以上の処理を繰り返すことにより、各フレームの露光および電荷信号の読み出し、並びに、サブフレーム画像SF1およびサブフレーム画像SF2の生成および出力が行われる。
【００５３】
なお、以下、図４に示されるように、時刻ｔ０から時刻ｔ４までの期間を１フレーム期間とする。すなわち、１フレーム期間は、あるフレームの１番目のサブフレームの掃引１行目の露光が開始されてから、同じフレームの２番目のサブフレームの掃引１行目の露光が終了するまでの期間である。
【００５４】
また、以下、時刻ｔ０から時刻ｔ２までの期間をサブフレーム期間１とする。すなわち、サブフレーム期間１は、あるフレームの１番目のサブフレームの掃引１行目の露光が開始されてから掃引１行目の露光が終了するまでの期間である。
【００５５】
さらに、以下、時刻ｔ２から時刻ｔ４までの期間をサブフレーム期間２とする。すなわち、サブフレーム期間２は、あるフレームの２番目のサブフレームの掃引１行目の露光が開始されてから掃引１行目の露光が終了するまでの期間である。
【００５６】
また、以下、サブフレーム期間１の一部である時刻ｔ２から時刻ｔ３までの期間を読み出し期間１とする。すなわち、読み出し期間１は、あるフレームの１番目のサブフレームの掃引１行目の電荷信号の読み出しが開始されてから掃引最終行の電荷信号の読み出しが終了するまでの期間である。換言すれば、読み出し期間１は、サブフレーム画像SF1を生成するための電荷信号の読み出しが行われる期間である。
【００５７】
さらに、以下、サブフレーム期間２の一部である時刻ｔ０から時刻ｔ１までの期間、および、時刻ｔ４から時刻ｔ５までの期間を読み出し期間２とする。すなわち、読み出し期間２は、あるフレームの２番目のサブフレームの掃引１行目の電荷信号の読み出しが開始されてから掃引最終行の電荷信号の読み出しが終了するまでの期間である。換言すれば、読み出し期間２は、サブフレーム画像SF2を生成するための電荷信号の読み出しが行われる期間である。
【００５８】
また、以下、サブフレーム期間１内の読み出し期間２を除く、時刻ｔ１から時刻ｔ２までの期間を全行露光期間１とする。すなわち、全行露光期間１は、あるフレームの１番目のサブフレームの掃引最終行の露光が開始されてから掃引１行目の露光が終了するまでの期間である。換言すれば、全行露光期間１は、あるフレームのサブフレーム画像SF1の露光が行われる期間のうち、センサアレイ２１の全行の画素の露光が一斉に行われる期間である。
【００５９】
さらに、以下、サブフレーム期間２内の読み出し期間１を除く、時刻ｔ３から時刻ｔ４までの期間を全行露光期間２とする。すなわち、全行露光期間２は、あるフレームの２番目のサブフレームの掃引最終行の露光が開始されてから掃引１行目の露光が終了するまでの期間である。換言すれば、全行露光期間２は、あるフレームのサブフレーム画像SF2の露光が行われる期間のうち、センサアレイ２１の全行の画素の露光が一斉に行われる期間である。
【００６０】
なお、サブフレーム期間１とサブフレーム期間２、読み出し期間１と読み出し期間２、および、全行露光期間１と全行露光期間２は、それぞれ同じ長さに設定される。
【００６１】
ここで、読み出し期間１はサブフレーム期間２より短く、読み出し期間２はサブフレーム期間１より短い。すなわち、CMOS１３では、サブフレームを単位とするサブフレームレートよりも早くセンサアレイ２１の全行の電荷信号の読み出しが完了する。
【００６２】
図３に戻る。読み出された電荷信号は信号線２２を介してアナログゲインアンプ２３に出力されて増幅され、ADC２４でデジタルの画素信号に変換されてデータバッファ２５に格納される。
【００６３】
なお、アナログゲインアンプ２３におけるゲインは照明に応じて適応的に設定することが可能である。そして、センサアレイ２１を構成する全画素分の画素信号が画像信号として後段の画像処理系に出力される。なお、この段階における画像信号は、各画素がＲ，Ｇ，Ｂのいずれかの色情報を有するRAWデータである。
【００６４】
図１に戻る。撮像装置１０の画像処理系は、カメラDSP部１４、およびメモリ１５，１６から成る。画像処理系においては、カメラDSP部１４が撮像系からの画像信号に基づいて、各画素のそれぞれがＲ，Ｇ，Ｂの色情報を有するカラー画像を生成する。メモリ１５，１６には、ＮＲ（ノイズリダクション）処理のために用いる画像信号が一時的に保持される。また、カメラDSP部１４は撮像系のCMOS１３の駆動（露光や読み出し）を制御するためのＶ同期信号を発生、出力する。さらに、また、カメラDSP部１４は投光系を制御するためのドライバ信号（ON/OFF信号および強度調整信号）を発生、出力する。
【００６５】
撮像装置１０の投光系は、ＩＲ駆動部１７およびＩＲ照射部１８から成る。投光系においては、カメラDSP部１４からの制御に従い、ＩＲ駆動部１７がＩＲ照射部１８から赤外光を照射させる。ＩＲ照射部１８は波長850nmにピークをもつ赤外光を撮像範囲に向けて照射する。なお、ＩＲ照射部１８は撮像装置１０の筐体内に配置してもよいし、撮像装置１０の筐体外部に配置してもよい。
【００６６】
＜投光系の赤外光の照射タイミングの第１の例＞
次に、図５は、投光系の赤外光の照射タイミングの第１の例を示している。この照射タイミングは、図４のCMOS１３の露光期間および電荷信号の読み出しタイミングの第１の例に対応して設定される。
【００６７】
例えば、図５に示されように、ＩＲ照射部１８は、ＩＲ駆動部１７の制御の下に、時刻ｔ１から時刻ｔ２までの期間（全行露光期間１）に赤外光の照射をオンにする。すなわち、赤外光の照射期間が、サブフレーム期間１の読み出し期間２を除く期間（全行露光期間１）の全期間に設定される。そして、サブフレーム画像SF1の露光期間であって、センサアレイ２１の全行の画素の露光が一斉に行われる期間に、撮像範囲に対して赤外光が照射される。
【００６８】
一方、ＩＲ照射部１８は、ＩＲ駆動部１７の制御の下に、全行露光期間１以外の期間に赤外光の照射をオフにする。すなわち、サブフレーム画像SF1の露光期間であって、センサアレイ２１のいずれかの行の電荷信号の読み出しが行われている期間に、赤外光が照射されなくなる。また、サブフレーム画像SF2の露光期間全体に亘って赤外光が照射されなくなる。
【００６９】
従って、この第１の例では、サブフレーム画像SF1は、全ての行の画素の露光が一斉に行われている期間（全行露光期間１）全体に亘って赤外光の照射がオンとされているので、画面全体が均等に明るい画像となる。また、フォーカルプレーン読み出し方式のCMOSセンサでは、高速に移動する動被写体の縦方向のずれ（各行ごとに露光期間がずれていることに起因する）が問題となるが、サブフレーム画像SF1については、赤外光の照射期間が全ての行で同一であるため、縦方向のずれが生じないというメリットがある。さらに、露光時間が１フレーム期間より短いので、サブフレーム画像SF1は、動被写体の動きぶれが抑制された画像となる。
【００７０】
一方、サブフレーム画像SF2は、全ての行の露光期間全体に亘って赤外光の照射がオフとされているので、可視光のみに基づく画面全体が暗い画像となる。
【００７１】
なお、以下、サブフレーム画像SF1を赤外画像とも称し、サブフレーム画像SF2を可視画像とも称する。
【００７２】
そして、カメラDSP部１４は、１フレーム期間毎に２枚のサブフレーム画像SF1（赤外画像）とサブフレーム画像SF2（可視画像）を用いてカラー画像を生成する。
【００７３】
＜カメラDSP部１４の構成例＞
次に、図６は、カメラDSP部１４の構成例を示している。カメラDSP部１４は、タイミング制御部３１およびＡＥ制御部３２を有する他、赤外画像処理系と可視画像処理系とカラー画像生成系から構成される。
【００７４】
タイミング制御部３１は、CMOS１３の駆動を制御するためのＶ同期信号と、ＩＲ駆動部１７を制御するためのON/OFF信号を生成する。ＡＥ制御部３２は、CMOS１３におけるアナログゲインアンプ２３を制御するためのゲイン調整信号と、ＩＲ駆動部１７を制御するための強度信号を生成する。このように、タイミング制御部３１及びＡＥ制御部３２により、CMOS１３による撮像を制御する撮像制御部と、ＩＲ照射部１８による赤外光の照射を制御する照射制御部が構成される。
【００７５】
カメラDSP部１４の赤外画像処理系は、CMOS１３から１フレーム期間毎に２枚入力されるサブフレーム画像のうち、赤外画像（サブフレーム画像SF1）を処理対象とするものであり、3DNR部３３、デモザイク部３４、および2DNR部３５から成る。
【００７６】
3DNR部３３は、CMOS１３から入力される赤外画像（サブフレーム画像SF1）の各画素とその周辺画素とのフィルタリング処理により２次元的にノイズを除去する2DNR処理と、CMOS１３から入力される赤外画像とメモリ１６に保持されている過去（１フレーム期間以前）の3DNR処理済の赤外画像との重み付け平均化を行う時間方向処理を組み合わせた3DNR処理を行う。なお、時間方向処理における現在の赤外画像に対する重み付けの値は帰還率と称され、ここでの帰還率は、後述する3DNR部３６の帰還率よりも大きな値とされる。例えば、3DNR部３６での帰還率が１／８、3DNR部３３での帰還率が１／２などとされる。
【００７７】
また一般に、3DNR処理における時間方向処理では、現在の画像の帰還率を小さくするとノイズ除去効果が高くなるが、過去の画像の成分が残り易くなるため、動被写体エッジなどで残像が発生してしまう。そこで、これを回避するために、3DNR部３３では、サブフレーム間差分により動被写体を検知し、画像内の動被写体部分については現在の画像の帰還率を大きくして残像の発生を抑える処置が行われる。ここで、検知された動被写体検知結果は、3DNR部３６に通知され、エッジ検出結果は2DNR部３９に通知される。
【００７８】
3DNR部３３における3DNR処理済の赤外画像は、デモザイク部３４に出力されるとともに、メモリ１６に上書き記録される。
【００７９】
デモザイク部３４は、3DNR処理済の赤外画像（RAWデータ）から各画素の輝度情報Yirを抽出して2DNR部３５および輝度合成部４１に出力する。具体的には、RAWデータの画素値をそのまま輝度情報Yirとするか、または近傍の画素のＲ，Ｇ，Ｂの画素値を加算して輝度情報Yirとする。
【００８０】
2DNR部３５は、赤外画像の輝度情報Yirに二次元ノイズリダクション処理を行うことによりその低周波成分を抽出し、その結果得られる輝度情報Yir_NRを輝度合成部４１に出力する。
【００８１】
カメラDSP部１４の可視画像処理系は、CMOS１３から１フレーム期間毎に２枚入力されるサブフレーム画像のうち、可視画像（サブフレーム画像SF2）を処理対象とするものであり、3DNR部３６、デモザイク部３７、ホワイトバランス（ＷＢ）部３８、2DNR部３９、およびYCC変換部４０から成る。
【００８２】
3DNR部３６は、CMOS１３から入力される可視画像（サブフレーム画像SF2）の各画素とその周辺画素とのフィルタリング処理により２次元的にノイズを除去する2DNR処理と、CMOS１３から入力される可視画像とメモリ１５に保持されている過去（１フレーム期間以前）の3DNR処理済の可視画像との重み付け平均化を行う時間方向処理を組み合わせた3DNR処理を行う。ただし、3DNR部３６に入力される可視画像はノイズの多い低照度の画像なので、時間方向処理のためにこの可視画像から動被写体を検知しても動きとノイズの区別がつかず、動被写体を適切に検知できない。そこで、3DNR部３６では、3DNR部３３から供給される、赤外画像から検知された動被写体検知結果を用いて時間方向処理を行うようにする。また、3DNR部３６での帰還率は、3DNR部３３での帰還率（例えば、１／２）よりも小さな値１／８などとされる。これにより、3DNR部３６では動被写体残像を抑えつつ、十分なノイズ除去を行うことが可能となる。
【００８３】
デモザイク部３７は、3DNR処理済の画像信号（RAWデータ）を各画素それぞれがＲ，Ｇ，Ｂ色情報を有するRGBデータに変換してＷＢ部３８に出力する。ＷＢ部３８は、画像信号（RGBデータ）にホワイトバランス処理を行って2DNR部３９に出力する。
【００８４】
2DNR部３９は、例えば、εフィルタなどの広域フィルタを用いた二次元のノイズリダクション処理（2DNR処理）を行い、YCC変換部４０に出力する。なお、2DNR処理を行う場合、被写体のエッジを検出し、エッジの内側だけに広域フィルタを適用するようにすれば、エッジの外側の異なる色情報を引き込んでしまうことを避けることができる。しかしながら、2DNR部３９に給される可視画像はノイズの多い低照度の画像なので適切にエッジを検出することができない。そこで、2DNR部３９では、3DNR部３３から供給される、赤外画像から検知されたエッジ検出結果を用いて2DNR処理を行うようにする。これにより、2DNR部３９ではエッジ付近の色を混色させることなく、広域フィルタを用いた二次元のノイズリダクション処理を行うことができる。
【００８５】
YCC変換部４０は、2DNR処理後の可視画像（RGBデータ）を、各画素が輝度情報Ｙと色差情報Ｃｂ，Ｃｒを有する可視画像（YCCデータ）に変換し、輝度情報Ｙ（以下、Ycと称する）を輝度合成部４１に出力し、色差情報Ｃｂ，ＣｒをRGB変換部４３に出力する。
【００８６】
カメラDSP部１４のカラー画像生成系は、赤外画像処理系と可視画像処理系の出力を処理対象とするものであり、輝度合成部４１、γ補正部４２、およびRGB変換部４３から成る。
【００８７】
輝度合成部４１は、赤外画像処理系から入力される赤外画像の輝度情報Yirおよび輝度情報Yir_NR、並びに可視画像処理系から入力される可視画像の輝度情報Ycに基づき、後段で生成するカラー画像の輝度信号を合成する。
【００８８】
なお、輝度合成部４１を経ることなく、赤外画像の輝度情報Yirをそのままカラー画像の輝度信号とした場合、赤外光の反射率と可視光の反射率が大きく異なる被写体では、輝度情報の違いにより色再現が劣化してしまう。例えば、赤外反射率の高い黒服（可視光の反射率が低い）などでは、そのままYirを輝度情報として使用してしまうと、出力画像では白服となってしまう。輝度合成部４１を設けたことにより、このような不具合を防ぐことができる。
【００８９】
図７は、輝度合成部４１の詳細な構成例を示している。輝度合成部４１は、除算部５１、ゲイン変換部５２、および乗算部５３から構成される。除算部５１は、可視画像の低域における輝度情報Ycと赤外画像の低域における輝度情報Yir_NRとの比率Yratio=Yc/Yir_NRを算出し、得られた比率Yratioをゲイン変換部５２に出力する。ゲイン変換部５２は、所定の関数（または保持する変換テーブル）に従い、比率YratioをＹgainに変換して乗算部５３に出力する。
【００９０】
ここで、ゲイン変換部５２で用いる関数について説明する。輝度合成部４１では、基本的には、この比率Yratioを元の赤外画像の輝度情報Yirにかけ戻す（乗算する）ことにより、YirをYc信号で変調する処理を行う。しかしながら、単にかけ戻すだけでは画面全体が暗くなる傾向にあり、また、Ycによる変調度を調整することができない。そこで、ゲイン変換部５２では、非線形関数曲線を用いて比率YratioをＹgainに変換する。
【００９１】
図８Ａは、ゲイン変換部５２で用いる非線形関数の一例として、ガンマカーブに類似した指数関数を示している。この場合、指数値αを選択することにより、変調の度合いを調整することが可能となる。例えばαの値を大きくするとYgainは全体的に１に近づき、変調度は弱くなる。反対に、αの値を小さくするとYgainは１から乖離し、変調の程度が大きくなる。
【００９２】
ただし、図８Ａに示されたような指数関数曲線では、Yratioの値が小さい領域で傾きが急峻となり、Yratioのわずかな差により、Ygainが大きく変動してしまい、ノイズを増幅してしまう原因となり得る。そこで、このような不具合を回避するため、図８Ｂに示されるように、Yratioの小さい領域でYgainをクリップ（最小値を設定）する。なお、このような関数を用いる代わりに、予め作成した変換テーブルをゲイン変換部５２が保持するようにしてもよい。
【００９３】
図７に戻る。乗算部５３は、赤外画像の輝度情報YirにYgainをかけ戻す（乗算する）ことにより、輝度情報Ysymを算出して後段のγ補正部４２に出力する。
【００９４】
図６に戻る。γ補正部４２は、輝度合成部４１から入力される輝度情報Ysymにγ補正処理を行い、γ補正処理後の輝度情報YsymをRGB変換部４３に出力する。
【００９５】
RGB変換部４３は、YCC変換部４０からの色差情報Ｃｂ，Ｃｒと、γ補正部４２からのγ補正処理後の輝度情報Ysymに基づき、１フレーム期間毎に各画素がＲ，Ｇ，Ｂの色情報を有する１枚のカラー画像を生成して後段に出力する。
【００９６】
＜カメラDSP部１４によるカラー画像生成処理について＞
次に、図９はカメラDSP部１４によるカラー画像生成処理を説明するフローチャートである。
【００９７】
このカラー画像生成処理は１フレーム期間毎に実行されるものであり、前提としてカメラDSP部１４にはCMOS１３から１フレーム期間に２枚のサブフレーム画像SF1およびSF2が入力されるものとする。
【００９８】
ステップＳ１では、CMOS１３から１フレーム期間に入力された２枚のサブフレーム画像が赤外画像処理系、または可視画像処理系に振り分けられる。具体的には、サブフレーム画像SF1は赤外画像処理系に振り分けられてステップＳ２乃至Ｓ４の処理が行われる。また、サブフレーム画像SF2は可視画像処理系に振り分けられてステップＳ５乃至Ｓ９の処理が行われる。
【００９９】
赤外画像処理系では、ステップＳ２において、3DNR部３３が、CMOS１３から入力された赤外画像（サブフレーム画像SF1）に3DNR処理を行い、3DNR処理済の赤外画像をデモザイク部３４に出力するとともに、メモリ１６に上書き記録する。
【０１００】
ステップＳ３において、デモザイク部３４が、3DNR処理済の赤外画像（RAWデータ）から各画素の輝度情報Yirを抽出して2DNR部３５および輝度合成部４１に出力する。ステップＳ４において、2DNR部３５が、赤外画像の輝度情報Yirに二次元ノイズリダクション処理を行うことによりその低周波成分を抽出し、その結果得られる輝度情報Yir_NRを輝度合成部４１に出力する。
【０１０１】
可視画像処理系では、ステップＳ５において、3DNR部３６が、CMOS１３から入力された可視画像（サブフレーム画像SF2）に3DNR処理を行い、3DNR処理済の可視画像をデモザイク部３７に出力するとともに、メモリ１５に上書き記録する。
【０１０２】
ステップＳ６において、デモザイク部３７が、3DNR処理済の画像信号（RAWデータ）をRGBデータに変換してＷＢ部３８に出力する。ステップＳ７において、ＷＢ部３８が、画像信号（RGBデータ）にホワイトバランス処理を行って2DNR部３９に出力する。
【０１０３】
ステップＳ８において、2DNR部３９は、ホワイトバランス処理済の可視画像（RGBデータ）に2DNR処理を行ってYCC変換部４０に出力する。ステップＳ９において、YCC変換部４０は、2DNR処理済の可視画像（RGBデータ）を可視画像（YCCデータ）に変換し、輝度情報Ycを輝度合成部４１に出力し、色差情報Ｃｂ，ＣｒをRGB変換部４３に出力する。
【０１０４】
赤外画像処理系と可視画像処理系それぞれから処理結果を取得したカラー画像生成系では、ステップＳ１０において、輝度合成部４１が、赤外画像処理系から入力される赤外画像の輝度情報Yirおよび輝度情報Yir_NR、並びに可視画像処理系から入力される可視画像の輝度情報Ycに基づき、後段で生成するカラー画像の輝度情報Ysymを算出してγ補正部４２に出力する。ステップＳ１１において、γ補正部４２が、輝度合成部４１から入力された輝度情報Ysymにγ補正処理を行い、γ補正処理後の輝度情報YsymをRGB変換部４３に出力する。
【０１０５】
ステップＳ１２において、RGB変換部４３が、YCC変換部４０からの色差情報Ｃｂ，Ｃｒと、γ補正部４２からのγ補正処理後の輝度情報Ysymに基づき、１フレーム期間毎に各画素がＲ，Ｇ，Ｂの色情報を有する１枚のカラー画像を生成して後段に出力する。以上で、カラー画像生成処理の説明を終了する。
【０１０６】
以上説明したカラー画像生成処理によれば、フォーカルプレーン読み出し方式のCMOS１３から出力される赤外画像と可視画像に基づいて、色再現の精度が高いカラー画像を生成することができる。
【０１０７】
＜CMOS１３の露光期間および電荷信号の読み出しタイミングの第２の例＞
次に、図１０は、CMOS１３のセンサアレイ２１の各行の露光期間とそれによって得られる電荷信号の読み出しタイミングの第２の例を示している。
【０１０８】
図１０の第２の例では、読み出し期間１が開始される時刻ｔ２、および、読み出し期間１が終了する時刻ｔ３が、図４の第１の例と比較して早くなっている。従って、第２の例では、第１の例と比較して、サブフレーム期間１が短くなり、サブフレーム期間２が長くなっている。また、第２の例では、第１の例と比較して、全行露光期間１が短くなり、全行露光期間２が長くなっている。
【０１０９】
＜投光系の赤外光の照射タイミングの第２の例＞
次に、図１１は、投光系の赤外光の照射タイミングの第２の例を示している。この照射タイミングは、図１０のCMOS１３の露光期間および電荷信号の読み出しタイミングの第２の例に対応して設定される。
【０１１０】
図１１の第２の例では、図５の第１の例と同様に、時刻ｔ１から時刻ｔ２までの全行露光期間１に赤外光の照射がオンにされ、全行露光期間１以外の期間に赤外光の照射がオフにされる。
【０１１１】
従って、この第２の例では、第１の例と同様に、赤外画像（サブフレーム画像SF1）が、画面全体が均等に明るく、縦方向のずれが生じない画像となる。また、第１の例と比較して露光時間が短縮されるため、赤外画像は、動被写体の動きぶれが、さらに抑制された画像となる。
【０１１２】
さらに、この第２の例では、第１の例と比較して、可視画像（サブフレーム画像SF2）の露光期間が長くなるため、可視画像の感度を上げることができる。その結果、可視画像に基づく、色差情報の再現性を向上させることができる。
【０１１３】
なお、この第２の例では、第１の例と比較して、赤外光の照射期間が短くなるため、その分赤外光の強度を高く設定するようにしてもよい。
【０１１４】
＜変形例＞
以下、上述した本開示の実施の形態の変形例について説明する。
【０１１５】
図１２および図１３は、CMOS１３の受光面を覆うカラーフィルタ２１ａの変形例を示している。上述した説明では、カラーフィルタ２１ａはベイヤ配列に従うＲ，Ｇ，Ｂの各色フィルタから成るものとしたが、カラーフィルタ２１ａの代わりに、図１２Ａまたは図１２Ｂに示されるＲ，Ｇ，Ｂの各色フィルタと、赤外光を透過するＩＲフィルタからなるRGB-IRフィルタ６１または６２を採用してもよい。RGB-IRフィルタ６１または６２を採用した場合、赤外画像の画素値にはＩＲ画素から得られた値を用い、可視画像の画素値にはＩＲ信号減算処理（Ｒ，Ｇ，Ｂ画素の画素値からＩＲ画素の画素値を減算する処理）により得られる値を用いればよい。
【０１１６】
また、図１３Ａまたは図１３Ｂに示される、Ｒ，Ｇ，Ｂの各色フィルタと、全可視光帯域を透過させるようにフィルタが設けられていない箇所からなるRGB-Wフィルタ６３または６４を採用してもよい。例えば、RGB-Wフィルタ６３を採用した場合、赤外画像の画素値ＩＲ、および、可視画像の画素値Ｒ、Ｇ、Ｂとして、例えば、Ｒ，Ｇ，Ｂ，Ｗの各画素の画素信号ＲＩＲ、ＧＩＲ、ＢＩＲ、ＷＩＲに基づいて、次式（１）乃至（４）の演算処理により算出した値を用いるようにしてもよい。
【０１１７】
ＩＲ＝（ＲＩＲ＋ＧＩＲ＋ＢＩＲ−ＷＩＲ）／２  ・・・（１）
Ｒ＝ＲＩＲ−ＩＲ  ・・・（２）
Ｇ＝ＧＩＲ−ＩＲ  ・・・（３）
Ｂ＝ＢＩＲ−ＩＲ  ・・・（４）
【０１１８】
なお、画素信号ＲＩＲ、ＧＩＲ、ＢＩＲ、ＷＩＲは、次式（５）乃至（８）で表される。
ＲＩＲ＝Ｒ＋ＩＲ  ・・・（５）
ＧＩＲ＝Ｇ＋ＩＲ  ・・・（６）
ＢＩＲ＝Ｂ＋ＩＲ  ・・・（７）
ＷＩＲ＝Ｒ＋Ｇ＋Ｂ＋ＩＲ  ・・・（８）
【０１１９】
さらに、RGB-IRフィルタ６１若しくは６２、または、RGB-Wフィルタ６３若しくは６４を採用することにより、ベイヤ配列のカラーフィルタでは分離することができなかった、ＩＲ照射部１８から照射されたものではなく環境に存在する赤外光と可視光の分離も可能となる。
【０１２０】
また、RGB-IRフィルタ６１若しくは６２、または、RGB-Wフィルタ６３若しくは６４を採用した場合、デモザイク部３４が、赤外成分である画素値ＩＲのみに基づいて、輝度情報Yirを生成するようにしてもよい。或いは、画素値ＩＲに加えて、可視成分の画素値Ｒ、Ｇ、Ｂに基づいて、輝度情報Yirを生成するようにしてもよい。
【０１２１】
さらに、上述した実施の形態では、カラー画像の生成に用いる色情報を可視画像のみから抽出するようにしたが、赤外画像からも色成分を抽出してカラー画像の生成に用いてもよい。具体的には、図１２Ａまたは図１２Ｂに示されたRGB-IRフィルタ６１または６２をCMOS１３に採用し、赤外画像にIR信号減算処理を行えば、可視光のみの色情報を抽出することができる。この赤外光から抽出した色情報と、可視画像から抽出した色情報を組み合わせてカラー画像の生成に用いることでより色再現性の高いカラー画像を得ることができきる。
【０１２２】
また、図５及び図１１の例において、全行露光期間１の全期間に亘って赤外光の照射をオンにする例を示したが、全行露光期間１の一部の期間のみにおいて赤外光の照射をオンにすることも可能である。さらに、例えば、全行露光期間１において、赤外光の照射のオンとオフを複数回繰り返すようにすることも可能である。
【０１２３】
さらに、例えば、レンズ１１とＩＲバンドパスフィルタ１２の間、又は、ＩＲバンドパスフィルタ１２とCMOS１３の間に、赤外光を遮断するとともに、挿脱可能なＩＲカットフィルタを設けるようにしてもよい。そして、例えば、昼間の周囲が明るい時間帯は、ＩＲカットフィルタを挿入し、CMOS１３により得られるカラー画像をそのまま用い、それ以外の周囲が暗い時間帯には、ＩＲカットフィルタを外し、上述した処理によりカラー画像を生成するようにしてもよい。
【０１２４】
なお、本発明の実施の形態での全行とは、画像に現れる部分の行の全てということであり、ダミー画素等が配置されている行は除外される。
【０１２５】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１２６】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１２７】
このコンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１２８】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
【０１２９】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１３０】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１３１】
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１３２】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０１３３】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１３４】
本開示は以下のような構成も取ることができる。
【０１３５】
（１）
所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する撮像素子と、
前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御部と、
前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部と
を備える撮像装置。
（２）
前記第１のサブフレーム期間が前記第２のサブフレーム期間より短い
前記（１）に記載の撮像装置。
（３）
前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間、および、前記第２のサブフレーム期間内の前記第２の読み出し期間を除く期間において、全ての行の画素の露光が一斉に行われる
前記（１）または（２）に記載の撮像装置。
（４）
前記カラー画像生成部は、
前記第１のサブフレーム画像から輝度情報を抽出する第１の画像変換部と、
前記第２のサブフレーム画像から色差情報を抽出する第２の画像変換部と、
前記第１のサブフレーム画像の前記輝度情報と前記第２のサブフレーム画像の前記色差情報を前記カラー画像の色情報に変換する第３の画像変換部と
をさらに含む前記（１）乃至（３）のいずれかに記載の撮像装置。
（５）
前記第２の画像変換部は、前記第２のサブフレーム画像から輝度情報も抽出し、
前記第３の画像変換部は、前記第２のサブフレーム画像の輝度情報を用いて補正した、前記第１のサブフレーム画像の前記輝度情報と前記第２のサブフレーム画像の前記色差情報を前記カラー画像の色情報に変換する
前記（４）に記載の撮像装置。
（６）
前記カラー画像生成部は、
前記第１のサブフレーム画像に時間方向処理を含む3DNR処理を行う第１の3DNR部と、
前記第２のサブフレーム画像に時間方向処理を含む3DNR処理を行う第２の3DNR部と
をさらに含み、
前記第１の3DNR部における前記時間方向処理における帰還率と、前記第２の3DNR部における前記時間方向処理における帰還率とは異なる
前記（１）乃至（５）のいずれかに記載の撮像装置。
（７）
前記第２の3DNR部は、前記第１の3DNR部から供給される動被写体検出結果を用い、前記第２のサブフレーム画像に前記3DNR処理を行う
前記（６）に記載の撮像装置。
（８）
前記カラー画像生成部は、
前記第１の3DNR部から供給されるエッジ検出結果を用い、前記第２のサブフレーム画像に2DNR処理を行う2DNR部を
さらに含む前記（７）に記載の撮像装置。
（９）
前記撮像素子の受光面は、ベイヤ配列のカラーフィルタ、RGB-IRフィルタ、またはRGB-Wフィルタにより覆われている
前記（１）乃至（８）のいずれかに記載の撮像装置。
（１０）
前記赤外光を照射する赤外光照射部を
さらに備える前記（１）乃至（９）のいずれかに記載の撮像装置。
（１１）
所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する生成ステップと、
前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御ステップと、
前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップと
を含む撮像方法。
（１２）
所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する生成ステップと、
前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御ステップと、
前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップと
を含む処理をコンピュータに実行させるためのプログラム。
（１３）
所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する撮像素子からの前記第１のサブフレーム画像及び前記第２のサブフレーム画像を入力とする画像処理装置において、
前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御部と、
前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部と
備える画像処理装置。
【符号の説明】
【０１３６】
１０  撮像装置，  １３  CMOSイメージセンサ，  １４  カメラDSP部，  １７  ＩＲ駆動部，  １８  ＩＲ照射部，  ２１  センサアレイ，  ２１ａ  カラーフィルタ，  ３１  タイミング制御部，  ３２  ＡＥ制御部，  ３３  3DNR部，  ３４  デモザイク部，  ３５  2DNR部，  ３６  3DNR部，  ３７  デモザイク部，  ３８  ＷＢ部，  ３９  2DNR部，  ４０  YCC変換部，  ４１  輝度合成部，  ４２  γ補正部，  ４３  RGB変換部，  ６１，６２  RGB-IRフィルタ，  ６３，６４  RGB-Wフィルタ，  ２００  コンピュータ，  ２０１  CPU
【図１】
2016213628.tif 000003
【図２】
2016213628.tif 000004
【図３】
2016213628.tif 000005
【図４】
2016213628.tif 000006
【図５】
2016213628.tif 000007
【図６】
2016213628.tif 000008
【図７】
2016213628.tif 000009
【図８】
2016213628.tif 000010
【図９】
2016213628.tif 000011
【図１０】
2016213628.tif 000012
【図１１】
2016213628.tif 000013
【図１２】
2016213628.tif 000014
【図１３】
2016213628.tif 000015
【図１４】
2016213628.tif 000016