(57)【要約】【課題】赤外光が照射された状態で得られる画像と赤外光が照射されていない状態で得られる画像を用いて生成した画像の画質を向上させる。【解決手段】変調係数設定部は、赤外光が照射された状態で得られる赤外画像の輝度情報である赤外輝度情報と、赤外光が照射されていない状態で得られる可視画像の輝度情報である可視輝度情報との比率に基づいて、赤外輝度情報の補正に用いる第１の変調係数を設定する。変調係数補正部は、可視画像の被写体の明るさまたは撮影環境の明るさを表すパラメータに基づいて第１の変調係数を第２の変調係数に補正する。輝度補正部は、第２の変調係数を用いて赤外輝度情報を補正する。本開示は、例えば監視カメラに適用できる。【選択図】図７
2017005401.tif 000002
【特許請求の範囲】
【請求項１】
赤外光が照射された状態で得られる赤外画像の輝度情報である赤外輝度情報と、赤外光が照射されていない状態で得られる可視画像の輝度情報である可視輝度情報との比率に基づいて、前記赤外輝度情報の補正に用いる第１の変調係数を設定する変調係数設定部と、
前記可視画像の被写体の明るさまたは撮影環境の明るさを表すパラメータに基づいて前記第１の変調係数を第２の変調係数に補正する変調係数補正部と、
前記第２の変調係数を用いて前記赤外輝度情報を補正する輝度補正部と
を備える画像処理装置。
【請求項２】
前記変調係数補正部は、前記第１の変調係数と、前記赤外輝度情報を補正しない場合の第３の変調係数とを、前記パラメータに基づく比率で合成することにより前記第２の変調係数を算出する
請求項１に記載の画像処理装置。
【請求項３】
前記変調係数補正部は、前記パラメータに基づいて前記可視画像の被写体の明るさまたは撮影環境の明るさが所定の閾値未満であると判定した場合、所定の非線形関数により前記第１の変調係数を前記第２の変調係数に変換する
請求項１に記載の画像処理装置。
【請求項４】
前記変調係数補正部は、所定の第１の関数により前記第１の変調係数を変換した第３の変調係数と、所定の第２の関数により前記第１の変調係数を変換した第４の変調係数とを、前記パラメータに基づく比率で合成することにより前記第２の変調係数を算出する
請求項１に記載の画像処理装置。
【請求項５】
前記変調係数補正部は、前記パラメータに基づいて、複数の関数の中から前記第１の関数と前記第２の関数の組み合わせを選択する
請求項４に記載の画像処理装置。
【請求項６】
前記複数の関数は、前記第４の変調係数＝前記第１の変調係数となる関数、および前記変調係数＝１となる関数のうち少なくとも一方、並びに所定の非線形関数を含む
請求項５に記載の画像処理装置。
【請求項７】
前記変調係数補正部は、前記パラメータに基づいて前記可視画像の被写体の明るさまたは撮影環境の明るさが所定の閾値未満であると判定した場合、前記パラメータに基づいて前記第２の変調係数の下限値を制限する
請求項１に記載の画像処理装置。
【請求項８】
前記変調係数補正部は、前記可視輝度情報が前記赤外輝度情報より大きい場合、前記パラメータに基づいて前記第２の変調係数の上限値を制限する
請求項１に記載の画像処理装置。
【請求項９】
前記パラメータは、前記可視画像の露光制御により調整されるゲインである
請求項１に記載の画像処理装置。
【請求項１０】
前記パラメータは、前記可視画像の被写体の明るさまたは撮影環境の明るさの測定値である
請求項１に記載の画像処理装置。
【請求項１１】
前記変調係数設定部は、前記赤外輝度情報の低周波成分と前記可視輝度情報の低周波成分との比率に基づいて前記第１の変調係数を設定する
請求項１に記載の画像処理装置。
【請求項１２】
補正後の前記赤外輝度情報および前記可視画像の色差情報をカラー画像の色情報に変換するカラー画像変換部を
さらに備える請求項１に記載の画像処理装置。
【請求項１３】
前記第２の変調係数を用いて前記色差情報の補正を行う色差補正部を
さらに備え、
前記カラー補正部は、補正後の前記赤外輝度情報および補正後の前記色差情報を前記カラー画像の色情報に変換する
請求項１２に記載の画像処理装置。
【請求項１４】
前記赤外画像から前記赤外輝度情報を抽出する赤外画像変換部と、
前記可視画像から前記可視輝度情報を抽出する可視画像変換部と
をさらに備える請求項１に記載の画像処理装置。
【請求項１５】
赤外光が照射された状態で得られる赤外画像の輝度情報である赤外輝度情報と、赤外光が照射されていない状態で得られる可視画像の輝度情報である可視輝度情報との比率に基づいて、前記赤外輝度情報の補正に用いる第１の変調係数を設定する変調係数設定ステップと、
前記可視画像の被写体の明るさまたは撮影環境の明るさを表すパラメータに基づいて前記第１の変調係数を第２の変調係数に補正する変調係数補正ステップと、
前記第２の変調係数を用いて前記赤外輝度情報を補正する輝度補正ステップと
を含む画像処理方法。
【請求項１６】
赤外光が照射された状態で得られる赤外画像の輝度情報である赤外輝度情報と、赤外光が照射されていない状態で得られる可視画像の輝度情報である可視輝度情報との比率に基づいて、前記赤外輝度情報の補正に用いる第１の変調係数を設定する変調係数設定ステップと、
前記可視画像の被写体の明るさまたは撮影環境の明るさを表すパラメータに基づいて前記第１の変調係数を第２の変調係数に補正する変調係数補正ステップと、
前記第２の変調係数を用いて前記赤外輝度情報を補正する輝度補正ステップと
を含む処理をコンピュータに実行させるためのプログラム。
【請求項１７】
撮像素子と、
撮像範囲への赤外光の照射のオン、オフを制御する赤外光照射制御部と、
赤外光が照射された状態で得られる赤外画像の輝度情報である赤外輝度情報と、赤外光が照射されていない状態で得られる可視画像の輝度情報である可視輝度情報との比率に基づいて、前記赤外輝度情報の補正に用いる第１の変調係数を設定する変調係数設定部と、
前記可視画像の被写体の明るさまたは撮影環境の明るさを表すパラメータに基づいて前記第１の変調係数を第２の変調係数に補正する変調係数補正部と、
前記第２の変調係数を用いて前記赤外輝度情報を補正する輝度補正部と
を備える撮像装置。
【請求項１８】
前記撮像素子は、所定のフレームレートに対応する１フレーム期間を３以上のサブフレーム期間に分割し、前記サブフレーム期間毎にフォーカルプレーン読み出し方式で全画面分の画素値を掃引することにより、前記１フレーム期間に前記サブフレーム期間の数だけサブフレーム画像を生成し、
前記赤外光照射制御部は、前記１フレーム期間において前記サブフレーム期間と同じ時間長単位で前記撮像範囲への赤外光の照射をオン、オフするように制御する
請求項１７に記載の撮像装置。
【請求項１９】
赤外光が照射されている期間を露光時間に含む複数の前記サブフレーム画像から前記赤外画像を生成する赤外画像生成部と、
赤外光が照射されている期間を露光時間に含まない複数の前記サブフレーム画像から前記可視画像を生成する可視画像生成部と
をさらに備える請求項１８に記載の撮像装置。
【請求項２０】
補正後の前記赤外輝度情報および前記可視画像の色差情報をカラー画像の色情報に変換するカラー画像変換部を
さらに備える請求項１７に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、およびプログラム、並びに撮像装置に関し、特に、赤外光が照射された状態で得られる画像と赤外光が照射されていない状態で得られる画像を用いて生成した画像の画質を向上させるようにした画像処理装置、画像処理方法、およびプログラム、並びに撮像装置に関する。
【背景技術】
【０００２】
従来、監視カメラには、日中の自然光下や白色光などの可視光の照明下で撮像を行うデイモードと、赤外光を照射して撮像を行うナイトモードの二種類のモードを備えているものがある。
【０００３】
デイモードの撮像ではカラー画像を得ることができる。一方、ナイトモードの撮像では、照射した赤外光が被写体で反射した反射光を受光することになるので、Ｒ，Ｇ，Ｂなどの色情報を得ることができず、反射光（赤外光）の受光強度のみを取得できる。よって、得られる画像はグレーやグリーンなどのモノクロ画像となる。
【０００４】
ところで、監視カメラの用途を考慮した場合、ナイトモードの撮像であってもカラー画像を得られることが望ましい。
【０００５】
そこで、従来、例えば、撮像範囲（被写体）に赤外光が照射された状態で得られる画像（以下、赤外画像と称する）と、撮像範囲に赤外光が照射されていない状態で得られる画像（以下、可視画像と称する）を連続して撮像し、赤外画像の輝度情報、および可視画像の色差情報を用いてカラー画像を生成する技術が開示されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】「赤外フラッシュと1台のカメラを利用した低照度シーンのカラー画像生成」画像の認識、理解シンポジウム（MIRU2011）P1034.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、赤外画像の輝度情報、および可視画像の色差情報を用いてカラー画像を生成する場合、赤外画像の輝度情報そのままカラー画像に用いた場合、赤外光の反射率と可視光の反射率が大きく異なる被写体では、輝度情報の違いにより色再現が劣化してしまう。例えば、赤外光に対する反射率が高く、可視光に対する反射率が低い黒服を撮影した場合に、赤外画像の輝度情報をそのまま用いると、カラー画像において黒服が白っぽい服になってしまうことがある。
【０００８】
本開示はこのような状況に鑑みてなされたものであり、赤外光が照射された状態で得られる画像と赤外光が照射されていない状態で得られる画像を用いて生成した画像の画質を向上させるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の第１の側面である画像処理装置は、赤外光が照射された状態で得られる赤外画像の輝度情報である赤外輝度情報と、赤外光が照射されていない状態で得られる可視画像の輝度情報である可視輝度情報との比率に基づいて、前記赤外輝度情報の補正に用いる第１の変調係数を設定する変調係数設定部と、前記可視画像の被写体の明るさまたは撮影環境の明るさを表すパラメータに基づいて前記第１の変調係数を第２の変調係数に補正する変調係数補正部と、前記第２の変調係数を用いて前記赤外輝度情報を補正する輝度補正部とを備える。
【００１０】
前記変調係数補正部には、前記第１の変調係数と、前記赤外輝度情報を補正しない場合の第３の変調係数とを、前記パラメータに基づく比率で合成することにより前記第２の変調係数を算出させることができる。
【００１１】
前記変調係数補正部には、前記パラメータに基づいて前記可視画像の被写体の明るさまたは撮影環境の明るさが所定の閾値未満であると判定した場合、所定の非線形関数により前記第１の変調係数を前記第２の変調係数に変換させることができる。
【００１２】
前記変調係数補正部には、所定の第１の関数により前記第１の変調係数を変換した第３の変調係数と、所定の第２の関数により前記第１の変調係数を変換した第４の変調係数とを、前記パラメータに基づく比率で合成することにより前記第２の変調係数を算出させることができる。
【００１３】
前記変調係数補正部には、前記パラメータに基づいて、複数の関数の中から前記第１の関数と前記第２の関数の組み合わせを選択させることができる。
【００１４】
前記複数の関数に、前記第４の変調係数＝前記第１の変調係数となる関数、および前記変調係数＝１となる関数のうち少なくとも一方、並びに所定の非線形関数を含ませることができる。
【００１５】
前記変調係数補正部には、前記パラメータに基づいて前記可視画像の被写体の明るさまたは撮影環境の明るさが所定の閾値未満であると判定した場合、前記パラメータに基づいて前記第２の変調係数の下限値を制限させることができる。
【００１６】
前記変調係数補正部には、前記可視輝度情報が前記赤外輝度情報より大きい場合、前記パラメータに基づいて前記第２の変調係数の上限値を制限させることができる。
【００１７】
前記パラメータを、前記可視画像の露光制御により調整されるゲインとすることができる。
【００１８】
前記パラメータを、前記可視画像の被写体の明るさまたは撮影環境の明るさの測定値とすることができる。
【００１９】
前記変調係数設定部には、前記赤外輝度情報の低周波成分と前記可視輝度情報の低周波成分との比率に基づいて前記第１の変調係数を設定させることができる。
【００２０】
前記第２の変調係数を用いて前記色差情報の補正を行う色差補正部をさらに設け、前記カラー補正部には、補正後の前記赤外輝度情報および補正後の前記色差情報を前記カラー画像の色情報に変換させることができる。
【００２１】
前記赤外画像から前記赤外輝度情報を抽出する赤外画像変換部と、前記可視画像から前記可視輝度情報を抽出する可視画像変換部とをさらに設けることができる。
【００２２】
本開示の第１の側面である画像処理方法は、赤外光が照射された状態で得られる赤外画像の輝度情報である赤外輝度情報と、赤外光が照射されていない状態で得られる可視画像の輝度情報である可視輝度情報との比率に基づいて、前記赤外輝度情報の補正に用いる第１の変調係数を設定する変調係数設定ステップと、前記可視画像の被写体の明るさまたは撮影環境の明るさを表すパラメータに基づいて前記第１の変調係数を第２の変調係数に補正する変調係数補正ステップと、前記第２の変調係数を用いて前記赤外輝度情報を補正する輝度補正ステップとを含む。
【００２３】
本開示の第１の側面であるプログラムは、赤外光が照射された状態で得られる赤外画像の輝度情報である赤外輝度情報と、赤外光が照射されていない状態で得られる可視画像の輝度情報である可視輝度情報との比率に基づいて、前記赤外輝度情報の補正に用いる第１の変調係数を設定する変調係数設定ステップと、前記可視画像の被写体の明るさまたは撮影環境の明るさを表すパラメータに基づいて前記第１の変調係数を第２の変調係数に補正する変調係数補正ステップと、前記第２の変調係数を用いて前記赤外輝度情報を補正する輝度補正ステップとを含む処理をコンピュータに実行させる。
【００２４】
本開示の第１の側面においては、赤外光が照射された状態で得られる赤外画像の輝度情報である赤外輝度情報と、赤外光が照射されていない状態で得られる可視画像の輝度情報である可視輝度情報との比率に基づいて、前記赤外輝度情報の補正に用いる第１の変調係数が設定され、前記可視画像の被写体の明るさまたは撮影環境の明るさを表すパラメータに基づいて前記第１の変調係数が第２の変調係数に補正され、前記第２の変調係数を用いて前記赤外輝度情報が補正される。
【００２５】
本開示の第２の側面である撮像装置は、撮像素子と、撮像範囲への赤外光の照射のオン、オフを制御する赤外光照射制御部と、赤外光が照射された状態で得られる赤外画像の輝度情報である赤外輝度情報と、赤外光が照射されていない状態で得られる可視画像の輝度情報である可視輝度情報との比率に基づいて、前記赤外輝度情報の補正に用いる第１の変調係数を設定する変調係数設定部と、前記可視画像の被写体の明るさまたは撮影環境の明るさを表すパラメータに基づいて前記第１の変調係数を第２の変調係数に補正する変調係数補正部と、前記第２の変調係数を用いて前記赤外輝度情報を補正する輝度補正部とを備える。
【００２６】
前記撮像素子には、所定のフレームレートに対応する１フレーム期間を３以上のサブフレーム期間に分割させ、前記サブフレーム期間毎にフォーカルプレーン読み出し方式で全画面分の画素値を掃引させることにより、前記１フレーム期間に前記サブフレーム期間の数だけサブフレーム画像を生成させ、前記赤外光照射制御部には、前記１フレーム期間において前記サブフレーム期間と同じ時間長単位で前記撮像範囲への赤外光の照射をオン、オフするように制御させることができる。
【００２７】
赤外光が照射されている期間を露光時間に含む複数の前記サブフレーム画像から前記赤外画像を生成する赤外画像生成部と、赤外光が照射されている期間を露光時間に含まない複数の前記サブフレーム画像から前記可視画像を生成する可視画像生成部とをさらに設けることができる。
【００２８】
補正後の前記赤外輝度情報および前記可視画像の色差情報をカラー画像の色情報に変換するカラー画像変換部をさらに設けることができる。
【００２９】
本開示の第２の側面においては、撮像範囲への赤外光の照射のオン、オフが制御され、赤外光が照射された状態で得られる赤外画像の輝度情報である赤外輝度情報と、赤外光が照射されていない状態で得られる可視画像の輝度情報である可視輝度情報との比率に基づいて、前記赤外輝度情報の補正に用いる第１の変調係数が設定され、前記可視画像の被写体の明るさまたは撮影環境の明るさを表すパラメータに基づいて前記第１の変調係数が第２の変調係数に補正され、前記第２の変調係数を用いて前記赤外輝度情報が補正される。
【発明の効果】
【００３０】
本開示の第１または第２の側面によれば、赤外光が照射された状態で得られる画像と赤外光が照射されていない状態で得られる画像を用いて生成した画像の画質を向上させることができる。
【００３１】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００３２】
【図１】本開示を適用した撮像装置の構成例を示すブロック図である。
【図２】ＩＲバンドパスフィルタの透過特性を示す図である。
【図３】CMOSイメージセンサの構成例を示すブロック図である。
【図４】カメラDSP部の第１の構成例を示すブロック図である。
【図５】撮像タイミングの第１の例を示す図である。
【図６】カメラDSP部の第１の構成例を示すブロック図である。
【図７】信号補正部の構成例を示すブロック図である。
【図８】変調係数の補正に用いる補正関数の第１の例を示す図である。
【図９】変調係数の補正に用いる補正関数の第２の例を示す図である。
【図１０】変調係数の補正に用いる補正関数の第２の例を示す図である。
【図１１】変調係数の補正に用いる補正関数の第３の例を示す図である。
【図１２】変調係数の補正に用いる補正関数の第４の例を示す図である。
【図１３】変調係数の補正に用いる補正関数の第５の例を示す図である。
【図１４】変調係数の補正に用いる補正関数の第６の例を示す図である。
【図１５】カラー画像生成処理を説明するフローチャートである。
【図１６】CMOSのカラーフィルタの色の配置の変形例を示す図である。
【図１７】撮像タイミングの第２の例を示す図である。
【図１８】カメラDSP部の第２の構成例を示すブロック図である。
【図１９】撮像タイミングの第３の例を示す図である。
【図２０】撮像タイミングの第４の例を示す図である。
【図２１】撮像タイミングの第５の例を示す図である。
【図２２】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３３】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００３４】
＜本開示の実施の形態である撮像装置の構成例＞
図１は、本開示の実施の形態である撮像装置の構成例を示している。
【００３５】
この撮像装置１０は、例えば監視カメラなどに用いられるものであり、赤外光を照射した状態で得られる赤外画像と、赤外光を照射していない低照度下で得られる可視画像に基づいてカラー画像を生成するものである。
【００３６】
撮像装置１０は、一般的なカメラと同様に構成される撮像系と、画像処理を実施する画像処理系と、撮像範囲に向けて赤外光を照射する投光系から構成される。
【００３７】
撮像装置１０の撮像系は、レンズ１１、ＩＲバンドパスフィルタ１２、および、フォーカルプレーン読み出し方式（ローリングシャッタ方式）のCMOSイメージセンサ（以下、CMOSと略称する）１３から成る。撮像系においては、レンズ１１が被写体の光学像をCMOS１３に集光し、レンズ１１とCMOS１３の間に配置されたＩＲバンドパスフィルタ１２が被写体の光学像から可視光成分および赤外光成分を抽出し、CMOS１３が入射光に基づく画像信号を生成して画像処理系に出力する。
【００３８】
図２は、ＩＲバンドパスフィルタ１２の透過特性を示している。ＩＲバンドパスフィルタ１２は、波長400nmから650nmの可視光と、波長850nmにピークをもつ赤外光（投光系が照射する赤外光）に対して高い透過率を有するものとする。
【００３９】
図３は、CMOS１３の構成例を示している。このCMOS１３は、センサアレイ２１、信号線２２、アナログゲインアンプ２３、ADC２４、およびデータバッファ２５を有する。センサアレイ２１は、縦横に配置された画素毎の光電変換素子からなり、その受光面側はベイヤ配列などのカラーフィルタ２１ａで覆われている。
【００４０】
図４は、CMOS１３のセンサアレイ２１における各画素時間との露光とそれによって得られる電荷信号の読み出しタイミングを示している。図示するように、CMOS１３においては、掃引開始行（1st-Line）から最終行(Last-Line)に向かう掃引方向に従い、行単位で露光期間がずらされており、露光期間が終了したタイミングでその間に得られた電荷信号が行毎に一括して読み出される。
【００４１】
読み出された電荷信号は信号線２２を介してアナログゲインアンプ２３に出力されて増幅され、ADC２４でデジタルの画素信号に変換されてデータバッファ２５に格納される。なお、アナログゲインアンプ２３におけるゲインは、例えば、ＡＥ制御（自動露光制御）により、被写体の明るさまたは撮影環境の明るさに応じて調整する（適応的に設定する）ことが可能である。そして、センサアレイ２１を構成する全画素分の画素信号が画像信号として後段の画像処理系に出力される。なお、この段階における画像信号は、各画素がＲ，Ｇ，Ｂのいずれかの色情報を有するRAWデータである。
【００４２】
図１に戻る。撮像装置１０の画像処理系は、カメラDSP部１４、およびフレームメモリ１５，１６から成る。画像処理系においては、カメラDSP部１４が撮像系からの画像信号に基づいて、各画素のそれぞれがＲ，Ｇ，Ｂの色情報を有するカラー画像を生成する。フレームメモリ１５，１６には、ＮＲ（ノイズリダクション）処理のために用いる画像信号が一時的に保持される。また、カメラDSP部１４は撮像系のCMOS１３の駆動（露光や読み出し）を制御するためのＶ同期信号を発生、出力する。さらに、また、カメラDSP部１４は投光系を制御するためのドライバ信号（ON/OFF信号および強度調整信号）を発生、出力する。
【００４３】
撮像装置１０の投光系は、ＩＲ駆動部１７およびＩＲ照射部１８から成る。投光系においては、カメラDSP部１４からの制御に従い、ＩＲ駆動部１７がＩＲ照射部１８から赤外光を照射させる。ＩＲ照射部１８は波長850nmにピークをもつ赤外光を撮像範囲に向けて照射する。なお、ＩＲ照射部１８は撮像装置１０の筐体内に配置してもよいし、撮像装置１０の筐体外部に配置してもよい。
【００４４】
＜CMOS１３による撮像タイミングの第１の例＞
次に、図５は、CMOS１３による撮像タイミングの第１の例を示している。
【００４５】
CMOS１３においては、最終的に出力するカラー画像のフレームレート（例えば30fps）の１フレーム期間（30fpsの場合、1/30秒）を４分割してサブフレーム期間（30fpsの場合、1/120秒）をCMOS１３の１画面掃引期間とし、１フレーム期間に４枚のサブフレーム画像をCMOS１３から出力できるようにする。
【００４６】
１フレーム期間に４枚のサブフレームを撮像するに際しては、連続する２サブフレーム期間において赤外光の照射をオンとし、その他の２サブフレーム期間は赤外光の照射をオフとする。なお、図５の場合、１フレーム期間における１番目および２番目のサブフレーム期間（ｔ０からｔ２）に赤外光の照射をオンとしているが、例えば、２番目および３番目のサブフレーム期間（ｔ１からｔ３）、または３番目および４番目のサブフレーム期間（ｔ２からｔ４）に赤外光の照射をオンとするようにしてもよい。
【００４７】
以下、１番目のサブフレーム期間終了時に得られるサブフレーム画像をサブフレーム画像SF1と称する。同様に、２，３，４番目のサブフレーム期間終了時にそれぞれ得られるサブフレーム画像をサブフレーム画像SF2，SF3，SF4と称する。
【００４８】
図５の第１の例では、サブフレーム画像SF1は、掃引の先頭（1st-Line）付近の行は、露光期間に占める赤外光の照射がオンとされている時間が短いので暗くなり、掃引が進むにつれて赤外光の照射がオンとされている時間が長くなってくるため徐々に明るくなる画像となる。
【００４９】
サブフレーム画像SF2では、全ての行の露光期間全体に亘って赤外光の照射がオンとされているので、画面全体が均等に明るい画像となる。また、露光時間が短いので、動被写体の動きぶれが抑制された画像となる。さらに、フォーカルプレーン読み出し方式のCMOSセンサでは、高速に移動する動被写体の縦方向のずれ（各行ごとに露光期間がずれていることに起因する）が問題となるが、サブフレーム画像SF2（赤外画像）については、赤外光の照射期間が全ての行で同一であるため、縦方向のずれが生じないというメリットがある。
【００５０】
サブフレーム画像SF3は、サブフレーム画像SF1と明暗の変化が反対となり、掃引が進むにつれて赤外光の照射がオンとされている時間が短くなってくるため徐々に暗くなる画像となる。サブフレーム画像SF4は、全ての行の露光期間全体に亘って赤外光の照射がオフとされているので、可視光のみに基づく画面全体が暗い画像となる。以下、サブフレーム画像SF2を赤外画像とも称し、サブフレーム画像SF4を可視画像とも称する。
【００５１】
１フレーム期間毎に４枚のサブフレーム画像SF1乃至SF4が入力されるカメラDSP部１４では、これらのうち、明暗の勾配がないサブフレーム画像SF2（赤外画像）とサブフレーム画像SF4（可視画像）を用いてカラー画像を生成する。
【００５２】
＜カメラDSP部１４の第１の構成例＞
次に、図６は、図５に示された撮像タイミングの第１の例に対応する、カメラDSP部１４の第１の構成例を示している。カメラDSP部１４は、タイミング制御部３１およびＡＥ制御部３２を有する他、赤外画像処理系と可視画像処理系とカラー画像生成系から構成される。
【００５３】
タイミング制御部３１は、CMOS１３の駆動を制御するためのＶ同期信号と、ＩＲ駆動部１７を制御するためのON/OFF信号を生成する。タイミング制御部３１は、Ｖ同期信号を信号補正部４１に供給し、ON/OFF信号をＩＲ駆動部１７に供給する。
【００５４】
ＡＥ（Automatic Exposure）制御部３２は、撮像装置１０のＡＥ制御を行う。例えば、ＡＥ制御部３２は、CMOS１３におけるアナログゲインアンプ２３を制御するためのゲイン調整信号と、ＩＲ駆動部１７を制御するための強度信号を生成する。ＡＥ制御部３２は、ゲイン調整信号をCMOS１３のアナログゲインアンプ２３および信号補正部４１に供給し、強度信号をＩＲ駆動部１７に供給する。
【００５５】
カメラDSP部１４の赤外画像処理系は、CMOS１３から１フレーム期間毎に４枚入力されるサブフレーム画像のうち、赤外画像（サブフレーム画像SF2）を処理対象とするものであり、3DNR部３３、デモザイク部３４、および2DNR部３５から成る。
【００５６】
3DNR部３３は、CMOS１３から入力される赤外画像（サブフレーム画像SF2）の各画素とその周辺画素とのフィルタリング処理により２次元的にノイズを除去する2DNR処理と、CMOS１３から入力される赤外画像とフレームメモリ１６に保持されている過去（１フレーム期間以前）の3DNR処理済の赤外画像との重み付け平均化を行う時間方向処理を組み合わせた3DNR処理を行う。なお、時間方向処理における現在の赤外画像に対する重み付けの値は帰還率と称され、ここでの帰還率は、後述する3DNR部３６の帰還率よりも大きな値とされる。例えば、3DNR部３６での帰還率が１／８、3DNR部３３での帰還率が１／２などとされる。
【００５７】
また一般に、3DNR処理における時間方向処理では、現在の画像の帰還率を小さくするとノイズ除去効果が高くなるが、過去の画像の成分が残り易くなるため、動被写体エッジなどで残像が発生してしまう。そこで、これを回避するために、3DNR部３３では、サブフレーム間差分により動被写体を検知し、画像内の動被写体部分については現在の画像の帰還率を大きくして残像の発生を抑える処置が行われる。ここで、検知された動被写体検知結果は、3DNR部３６に通知され、エッジ検出結果は2DNR部３９に通知される。
【００５８】
3DNR部３３における3DNR処理済の赤外画像は、デモザイク部３４に出力されるとともに、フレームメモリ１６に上書き記録される。
【００５９】
デモザイク部３４は、3DNR処理済の赤外画像（RAWデータ）から各画素の輝度情報Yir（以下、赤外輝度情報Yirと称する）を抽出して2DNR部３５および信号補正部４１に出力する。具体的には、RAWデータの画素値をそのまま赤外輝度情報Yirとするか、または近傍の画素のＲ，Ｇ，Ｂの画素値を加算して赤外輝度情報Yirとする。
【００６０】
2DNR部３５は、赤外輝度情報Yirに二次元ノイズリダクション処理を行うことによりその低周波成分を抽出し、その結果得られる輝度情報（以下、低周波赤外輝度情報Yir_NRと称する）を信号補正部４１に出力する。
【００６１】
カメラDSP部１４の可視画像処理系は、CMOS１３から１フレーム期間毎に４枚入力されるサブフレーム画像のうち、可視画像（サブフレーム画像SF4）を処理対象とするものであり、3DNR部３６、デモザイク部３７、ホワイトバランス（ＷＢ）部３８、2DNR部３９、およびYCC変換部４０から成る。
【００６２】
3DNR部３６は、CMOS１３から入力される可視画像（サブフレーム画像SF4）の各画素とその周辺画素とのフィルタリング処理により２次元的にノイズを除去する2DNR処理と、CMOS１３から入力される可視画像とフレームメモリ１５に保持されている過去（１フレーム期間以前）の3DNR処理済の可視画像との重み付け平均化を行う時間方向処理を組み合わせた3DNR処理を行う。ただし、3DNR部３６に入力される可視画像はノイズの多い低照度の画像なので、時間方向処理のためにこの可視画像から動被写体を検知しても動きとノイズの区別がつかず、動被写体を適切に検知できない。そこで、3DNR部３６では、3DNR部３３から供給される、赤外画像から検知された動被写体検知結果を用いて時間方向処理を行うようにする。また、3DNR部３６での帰還率は、3DNR部３３での帰還率（例えば、１／２）よりも小さな値１／８などとされる。これにより、3DNR部３６では動被写体残像を抑えつつ、十分なノイズ除去を行うことが可能となる。
【００６３】
デモザイク部３７は、3DNR処理済の画像信号（RAWデータ）を各画素それぞれがＲ，Ｇ，Ｂ色情報を有するRGBデータに変換してＷＢ部３８に出力する。ＷＢ部３８は、画像信号（RGBデータ）にホワイトバランス処理を行って2DNR部３９に出力する。
【００６４】
2DNR部３９は、例えば、εフィルタなどの広域フィルタを用いた二次元のノイズリダクション処理（2DNR処理）を行い、YCC変換部４０に出力する。なお、2DNR処理を行う場合、被写体のエッジを検出し、エッジの内側だけに広域フィルタを適用するようにすれば、エッジの外側の異なる色情報を引き込んでしまうことを避けることができる。しかしながら、2DNR部３９に給される可視画像はノイズの多い低照度の画像なので適切にエッジを検出することができない。そこで、2DNR部３９では、3DNR部３３から供給される、赤外画像から検知されたエッジ検出結果を用いて2DNR処理を行うようにする。これにより、2DNR部３９ではエッジ付近の色を混色させることなく、広域フィルタを用いた二次元のノイズリダクション処理を行い、低周波成分を抽出することができる。
【００６５】
YCC変換部４０は、2DNR処理後の可視画像（RGBデータ）を、各画素が輝度情報Ｙと色差情報Ｃｂ，Ｃｒを有する可視画像（YCCデータ）に変換し、輝度情報Ｙ（以下、可視輝度情報Yc_NRと称する）、および色差情報Ｃｂ，Ｃｒ（以下、色差情報Cb_NR，Cr_NRと称する）を信号補正部４１に出力する。
【００６６】
カメラDSP部１４のカラー画像生成系は、赤外画像処理系と可視画像処理系の出力を処理対象とするものであり、信号補正部４１、γ補正部４２、およびRGB変換部４３から成る。
【００６７】
信号補正部４１は、赤外画像処理系から入力される赤外輝度情報Yir、および可視画像処理系から入力される可視画像の色差情報Cb_NR，Cr_NRの補正を行う。具体的には、信号補正部４１は、低周波赤外輝度情報Yir_NR、可視輝度情報Yc_NR、並びにＡＥ制御部３２から供給されるゲイン調整信号により調整されるCMOS１３のアナログゲインアンプ２３のゲインVPGAに基づいて、赤外輝度情報Yirおよび色差情報Cb_NR，Cr_NRの補正を行う。
【００６８】
すなわち、上述したように、赤外輝度情報Yirをそのままカラー画像の輝度信号とした場合、赤外反射率の高い黒服が白っぽい服になる等の色再現の劣化が発生することがある。信号補正部４１は、このような不具合の発生を防ぐために、赤外輝度情報Yirの補正を行う。また、信号補正部４１は、高周波領域の色再現を良くするために色差情報Cb_NR，Cr_NRの補正を行う。
【００６９】
図７は、信号補正部４１の詳細な構成例を示している。信号補正部４１は、変調係数設定部５１、変調係数補正部５２、輝度補正部５３、および色差補正部５４から構成される。
【００７０】
変調係数設定部５１は、例えば、除算器からなる。変調係数設定部５１は、可視輝度情報Yc_NRと低周波赤外輝度情報Yir_NRとの比率に基づいて、変調係数Yratio＝Yc_NR/Yir_NRを算出し、得られた変調係数Yratioを変調係数補正部５２に出力する。
【００７１】
変調係数補正部５２は、ＡＥ制御部３２により調整されるCMOS１３のアナログゲインアンプ２３のゲインVPGAに基づいて、変調係数Yratioを変調係数Yratio_cに補正して輝度補正部５３及び色差補正部５４に出力する。
【００７２】
輝度補正部５３は、例えば、乗算器からなる。輝度補正部５３は、次式（１）により、赤外輝度情報Yirに変調係数Yratio_cをかけ戻す（乗算する）ことにより、赤外輝度情報Yirを輝度情報Ysysに補正して、後段のγ補正部４２に出力する。
【００７３】
Ysys＝Yratio_c×Yir  ・・・（１）
【００７４】
色差補正部５４は、例えば、除算器からなる。色差補正部５４は、次式（２）及び（３）により、色差情報Cb_NR，Cr_NRを色差情報Cb_sys，Cr_sysに補正して、後段のγ補正部４２に出力する。
【００７５】
Cb_sys＝Cb_NR／Yratio_c  ・・・（２）
Cr_sys＝Cr_NR／Yratio_c  ・・・（３）
【００７６】
ここで、図８乃至図１４を参照して、変調係数Yratioの補正方法について説明する。なお、変調係数Yratioの補正は、例えば画素単位で行われる。以下、変調係数Yratioの補正対象となる画素を補正対象画素と称する。
【００７７】
まず、図８を参照して、変調係数Yratioの第１の補正方法について説明する。図８は、変調係数Yratioと変調係数Yratio_cの関係を表すグラフであり、横軸が変調係数Yratioを示し、縦軸が変調係数Yratio_cを示している。
【００７８】
第１の補正方法では、可視画像の被写体または撮影環境が暗い場合に、変調係数Yratio_cが小さくなりすぎないように、変調係数Yratio_cの下限値をクリップレベルLow_Clipに制限するLowクリップ処理が行われる。
【００７９】
なお、可視画像の被写体の明るさまたは撮影環境の明暗は、すなわち、赤外光が照射されていない場合の被写体の明るさまたは撮影環境の明暗は、ＡＥ制御部３２により調整されるCMOS１３のアナログゲインアンプ２３のゲインVPGAに基づいて判定される。ゲインVPGAは、ＡＥ制御部３２によるＡＥ制御により、被写体または撮影環境が明るい場合に小さくなり、被写体または撮影環境が暗い場合に大きくなる。従って、ゲインVPGAは、可視画像の被写体の明るさまたは撮影環境の明るさを表すパラメータであると言える。
【００８０】
変調係数補正部５２は、補正対象画素のゲインVPGAが所定の閾値VGTHa以下の場合、図８の点線の直線により示される補正関数f1を用いて変調係数Yratio_cに設定する。補正関数f1は、Yratio_c＝Yratioとなる線形関数なので、変調係数Yratioが補正されることなく変調係数Yratio_cに設定される。従って、この場合、次式（４）に示されるように、変調係数Yratioをそのまま用いて、輝度情報Ysysが補正される。
【００８１】
Ysys＝Yratio_c×Yir＝Yratio×Yir＝Ym・・・（４）
【００８２】
なお、Ymは、可視輝度情報Yc_NRにより赤外輝度情報Yirを変調した輝度情報（以下、変調輝度情報と称する）を表す。従って、この場合、補正対象画素の輝度情報Ysysに変調輝度情報Ymが100％用いられる。
【００８３】
一方、変調係数補正部５２は、補正対象画素のゲインVPGAが閾値VGTHaを超える場合、補正対象画素において可視画像の被写体の明るさまたは撮影環境の明るさが所定の閾値未満であると判定し、補正関数f1を用いずにLowクリップ処理を行う。
【００８４】
具体的には、変調係数補正部５２は、補正対象画素のゲインVPGAが所定の上限値VGMAXa（ただし、VGMAXa＞VGTHa）以上の場合、クリップレベルLow_Clipを上限値である1.0に設定する。なお、以下、クリップレベルLow_Clipの上限値をLow_Clip_maxと称する。
【００８５】
一方、変調係数補正部５２は、VGTHa＜VPGA＜VGMAXaである場合、次式（５）によりクリップ係数Kaを算出する。
【００８６】
Ka＝（VPGA−VGTHa）／（VGMAXa−VGTHa）  ・・・（５）
【００８７】
クリップ係数Kaは、上限値VGMAXaと閾値VGTHaの差に対するゲインVPGAと閾値VGTHaの差の比率を表し、VGTHa＜VPGA＜VGMAXaなので、０より大きく、１より小さい値になる。また、クリップ係数Kaは、ゲインVPGAが閾値VGTHaに近づくほど０に近づき、ゲインVPGAが上限値VGMAXaに近づくほど１に近づく。
【００８８】
次に、変調係数補正部５２は、次式（６）によりクリップレベルLow_Clipを算出する。
【００８９】
Low_Clip＝Ka×Low_Clip_max＋（1−Ka）×Low_Clip_min  ・・・（６）
【００９０】
Low_Clip_minは、Low_Clipの下限値を表し、例えば0.0に設定される。そして、Low_Clip_min＝0.0の場合、Low_Clip_max＝1.0なので、式（６）は次式（７）となる。
【００９１】
Low_Clip＝Ka  ・・・（７）
【００９２】
そして、変調係数補正部５２は、補正対象画素の変調係数Yratio_cをクリップレベルLow_Clipに設定する。従って、変調係数Yratio_cは、Low_Clip_min（例えば、0.0）から1.0までの範囲内に設定される。また、補正対象画素のゲインVPGAが大きくなるほど、変調係数Yratio_cは、大きな値にクリップされる。
【００９３】
このようにして、図８の実線で示される補正関数faにより変調係数Yratioが変調係数Yratio_cに変換される。
【００９４】
ここで、被写体又は撮影環境が暗い場合、可視画像には輝度情報があまり含まれないため、可視輝度情報Yc_NRは、ノイズ成分を多く含む。従って、可視輝度情報Yc_NRにより赤外輝度情報Yirを変調した変調輝度情報Ymをそのまま輝度情報Ysysに使用すると、輝度ノイズが多くなる。
【００９５】
これに対して、上述したLowクリップ処理により、変調係数Yratio_cが小さくなりすぎないように、ゲインVPGAに応じたクリップレベルLow_Clipにクリップされる。これにより、輝度情報Ysysが赤外輝度情報Yirの定数倍（変調係数Yratio_c倍）に設定され、輝度ノイズの発生を抑制することができる。
【００９６】
なお、ゲインVPGA＞VGMAXaの場合、変調係数Yratioが1.0に設定されるので、次式（８）に示されるように、補正対象画素の輝度情報Ysysに、赤外輝度情報Yirが100％用いられる。
【００９７】
Ysys＝Yratio_c×Yir＝Yir・・・（８）
【００９８】
次に、図９および図１０を参照して、変調係数Yratioの第２の補正方法について説明する。図９および図１０は、図８と同様に、変調係数Yratioと変調係数Yratio_cの関係を表すグラフである。
【００９９】
この第２の補正方法では、可視画像の被写体または撮影環境が明るい場合に、図９に示されるように、変調係数Yratio_cが大きくなりすぎないように、変調係数Yratio_cの上限値をクリップレベルHigh_Clipに制限するHighクリップ処理が行われる。
【０１００】
変調係数補正部５２は、補正対象画素において、変調係数Yratioが1.0以下の場合、補正関数f1により変調係数Yratio_cを設定する。すなわち、補正対象画素において可視輝度情報Yc_NR≦低周波赤外輝度情報Yir_NRの場合、換言すれば、補正対象画素において可視画像の明るさが赤外画像の明るさ以下の場合、変調係数Yratioが補正されることなく変調係数Yratio_cに設定される。
【０１０１】
一方、補正対象画素において、変調係数Yratioが1.0を超える場合、すなわち、補正対象画素において可視画像が赤外画像より明るい場合、補正関数f1を用いずにHighクリップ処理が行われる。
【０１０２】
具体的には、変調係数補正部５２は、補正対象画素のゲインVPGAが所定の閾値VGTHb以下の場合、クリップレベルHigh_Clipを上限値High_Clip_maxに設定する。上限値High_Clip_maxは、1.0より大きい値に設定される。
【０１０３】
また、変調係数補正部５２は、ゲインVPGAが所定の上限値VGMAXb以上の場合、クリップレベルHigh_Clipを下限値High_Clip_minに設定する。下限値High_Clip_minは、例えば1.0に設定される。
【０１０４】
さらに、変調係数補正部５２は、VGTHb＜VPGA＜VGMAXbである場合、まず、次式（９）によりクリップ係数Kbを算出する。
【０１０５】
Kb＝（VPGA−VGTHb）／（VGMAXb−VGTHb）  ・・・（９）
【０１０６】
クリップ係数Kbは、上限値VGMAXbと閾値VGTHbの差に対するゲインVPGAと閾値VGTHbの差の比率を表し、VGTHb＜VPGA＜VGMAXbなので、0より大きく、1より小さい値になる。また、クリップ係数Kbは、ゲインVPGAが閾値VGTHbに近づくほど0に近づき、ゲインVPGAが上限値VGMAXbに近づくほど1に近づく。
【０１０７】
次に、変調係数補正部５２は、次式（１０）によりクリップレベルHigh_Clipを算出する。
【０１０８】
High_Clip＝Kb×High_Clip_min＋（1−Kb）×High_Clip_max  ・・・（１０）
【０１０９】
なお、下限値High_Clip_minが1.0の場合、式（１０）は次式（１１）となる。
【０１１０】
High_Clip＝Kb＋（1−Kb）×High_Clip_max  ・・・（１１）
【０１１１】
そして、変調係数補正部５２は、変調係数Yratio_cをクリップレベルHigh_Clipに設定する。
【０１１２】
従って、変調係数Yratio_cは、High_Clip_min（例えば、1.0）からHigh_Clip_maxまでの範囲内に設定される。また、補正対象画素のゲインVPGAが閾値VGTHbに近づくほど上限値High_Clip_maxに近づき、上限値VGMAXbに近づくほどHigh_Clip_min（例えば、1.0）に近づく。すなわち、補正対象画素のゲインVPGAが大きくなるほど、変調係数Yratio_cは、小さな値にクリップされる。
【０１１３】
このようにして、図１０の実線で示される補正関数fbにより変調係数Yratioが変調係数Yratio_cに変換される。
【０１１４】
ここで、例えば、可視画像に非常に明るい領域がある場合、可視輝度情報Yc_NRにより輝度変調をかけすぎると、その領域において白飛びが発生しやくなる。
【０１１５】
また、低周波赤外輝度情報Yir_NR及び可視輝度情報Yc_NRがともに小さい場合、被写体及び撮影環境が暗くても、変調係数Yratioが1.0を超える場合が想定される。そして、この場合に、可視輝度情報Yc_NRにより輝度変調をかけすぎると、輝度ノイズが増大する。
【０１１６】
これに対して、上述したHgihクリップ処理により、変調係数Yratio_cが大きくなりすぎないように、ゲインVPGAに応じたクリップレベルHigh_Clipにクリップされる。これにより、輝度情報Ysysが赤外輝度情報Yirの定数倍（変調係数Yratio_c倍）に設定され、白飛びや輝度ノイズの発生を抑制することができる。
【０１１７】
次に、図１１を参照して、変調係数Yratioの第３の補正方法について説明する。図１１は、図８乃至図１０と同様に、変調係数Yratioと変調係数Yratio_cの関係を表すグラフである。
【０１１８】
この第３の補正方法では、可視画像の被写体または撮影環境が暗い場合に、変調輝度情報Ymと赤外輝度情報Yirとを、可視画像の明るさに応じて合成する処理が行われる。
【０１１９】
具体的には、変調係数補正部５２は、補正対象画素のゲインVPGAが所定の閾値VGTHc以下の場合、補正関数f1により変調係数Yratio_cを設定する。すなわち、変調係数Yratioが補正されることなく変調係数Yratio_cに設定される。
【０１２０】
一方、変調係数補正部５２は、補正対象画素のゲインVPGAが閾値VGTHcを超える場合、補正対象画素において可視画像の被写体の明るさまたは撮影環境の明るさが所定の閾値未満であると判定し、変調輝度情報Ymと赤外輝度情報Yirとの合成処理を行う。
【０１２１】
具体的には、変調係数補正部５２は、ゲインVPGAが所定の上限値VGMAXc（ただし、VGMAXc＞VGTHc）以上の場合、ブレンド率Kcを上限値1.0に設定する。
【０１２２】
一方、変調係数補正部５２は、VGTHc＜VPGA＜VGMAXcである場合、次式（１２）によりブレンド率Kcを算出する。
【０１２３】
Kc＝（VPGA−VGTHc）／（VGMAXc−VGTHc）  ・・・（１２）
【０１２４】
ブレンド率Kcは、上限値VGMAXcと閾値VGTHcの差に対するゲインVPGAと閾値VGTHcの差の比率を表し、VGTHc＜VPGA＜VGMAXcなので、0より大きく、1より小さい値になる。また、ブレンド率Kcは、ゲインVPGAが閾値VGTHcに近づくほど0に近づき、ゲインVPGAが上限値VGMAXcに近づくほど1に近づく。
【０１２５】
そして、変調係数補正部５２は、次式（１３）により変調係数Yratio_cを算出する。
【０１２６】
Yratio_c＝Kc×1.0＋（1−Kc）×Yratio  ・・・（１３）
【０１２７】
このようにして、図１１の実線で示される補正関数fcにより変調係数Yratioが変調係数Yratio_cに補正される。また、この変調係数Yratio_cを上述した式（１）に適用することにより、変調輝度情報Ymと赤外輝度情報Yirとが、ゲインVPGAに応じたブレンド率Kcで合成される。
【０１２８】
なお、補正関数fcは、ブレンド率Kcにより補正関数f1と補正関数f2を合成した関数となる。ここで、補正関数f2は、Yratio_c＝1.0となる関数なので、変調係数Yratio_cは、変調係数Yratioと赤外輝度情報Yirを補正しない場合の変調係数（＝1.0）とをブレンド率Kcにより合成した値となる。
【０１２９】
ここで、上述したように、被写体又は撮影環境が暗い場合に、変調輝度情報Ymをそのまま輝度情報Ysysに使用すると、輝度ノイズが多くなる。
【０１３０】
これに対して、変調輝度情報Ymと赤外輝度情報Yirとを、ゲインVPGAに応じたブレンド率Kcで合成することにより、輝度ノイズの発生を抑制することができる。
【０１３１】
次に、図１２を参照して、変調係数Yratioの第４の補正方法について説明する。図１２は、図８乃至図１１と同様に、変調係数Yratioと変調係数Yratio_cの関係を表すグラフである。
【０１３２】
第４の補正補法では、可視画像の被写体または撮影環境が暗い場合に、非線形の補正関数を用いて変調係数Yratioが変調係数Yratio_cに変換される。
【０１３３】
具体的には、変調係数補正部５２は、補正対象画素のゲインVPGAが所定の閾値VGTHd以下の場合、補正関数f1を用いて変調係数Yratio_cを設定する。すなわち、変調係数Yratioが補正されることなく変調係数Yratio_cに設定される。
【０１３４】
一方、変調係数補正部５２は、補正対象画素のゲインVPGAが閾値VGTHdを超える場合、補正対象画素において可視画像の被写体の明るさまたは撮影環境の明るさが所定の閾値未満であると判定し、非線形の補正関数fd1を用いて、変調係数Yratioを変調係数Yratio_cに変換する。図１２は、補正関数fd1の一例を示しており、例えば、次式（１４）のべき関数である。
【０１３５】
Yratio_c＝（Yratio）１／α（ただし、α＞１）  ・・・（１４）
【０１３６】
式（１４）の補正関数fd1は、ガンマカーブに類似している。また、補正関数fd1の指数αを選択することにより、変調の度合いを調整することが可能となる。例えば、指数αの値を大きくすると、変調係数Yratio_cは全体的に１に近づき、変調度は弱くなる。反対に、指数αの値を小さくすると、変調係数Yratio_cは１から乖離し、変調度が大きくなる。これにより、第３の補正方法と比較して、可視画像の輝度コントラストを維持しながら、変調輝度情報Ymと赤外輝度情報Yirとを合成することができる。
【０１３７】
ただし、補正関数fd1では、変調係数Yratioの値が小さい領域で傾きが急峻となり、変調係数Yratioのわずかな差により、変調係数Yratio_cが大きく変動してしまい、ノイズを増幅してしまう原因となり得る。そこで、このような不具合を回避するため、図１３に示される補正関数fd2のように、変調係数Yratioの小さい領域で変調係数Yratio_cをクリップするようにしてもよい。なお、クリップの方法には、上述した第１の補正方法を用いることが可能である。
【０１３８】
次に、図１４を参照して、変調係数Yratioの第５の補正方法について説明する。図１４は、図８乃至図１３と同様に、変調係数Yratioと変調係数Yratio_cの関係を表すグラフである。
【０１３９】
第５の補正方法では、ゲインVPGAに基づいて、複数の補正関数が使い分けられる。すなわち、ゲインVPGAに基づいて、複数の補正関数の中から使用する補正関数の組み合わせが選択され、選択された補正関数を用いて変調係数Yratioの補正が行われる。
【０１４０】
具体的には、変調係数補正部５２は、補正対象画素のゲインVPGAが所定の閾値VGTHe以下の場合、補正関数f1を用いて変調係数Yratio_cを設定する。すなわち、変調係数Yratioが補正されることなく変調係数Yratio_cに設定される。
【０１４１】
一方、変調係数補正部５２は、補正対象画素のゲインVPGAが閾値VGTHeを超える場合、補正対象画素において可視画像の被写体の明るさまたは撮影環境の明るさが所定の閾値未満であると判定し、複数の補正関数を使い分けて、変調係数Yratioを変調係数Yratio_cに変換する。
【０１４２】
具体的には、変調係数補正部５２は、補正対象画素のゲインVPGAが所定の上限値VGMAXe（ただし、VGMAXe＞VGTHe）以上の場合、変調係数Yratio_cを1.0に設定する。すなわち、この場合、補正関数f2により変調係数Yratio_cが設定される。
【０１４３】
また、変調係数補正部５２は、補正対象画素のゲインVPGAが所定の中間値VGMID（ただし、VGTHe＜VGMID＜VGMAXe）と等しい場合、基準補正関数fe1を用いて、変調係数Yratioを変調係数Yratio_cに補正する。基準補正関数fe1は、例えば、図１２の補正関数fd1と同じ関数とされる。また、例えば、中間値VGMIDは、閾値VGTHeと上限値VGMAXeの中央値に設定される。
【０１４４】
さらに、変調係数補正部５２は、VGTHe＜VPGA＜VGMIDの場合、次式（１５）によりブレンド率Ke1を算出する。
【０１４５】
Ke1＝（VPGA−VGTHe）／（VGMID−VGTHe）  ・・・（１５）
【０１４６】
ブレンド率Ke1は、中間値VGMIDと閾値VGTHeの差に対するゲインVPGAと閾値VGTHeの差の比率を表し、VGTHe＜VPGA＜VGMIDなので、0より大きく、1より小さい値になる。また、ブレンド率Ke1は、ゲインVPGAが閾値VGTHeに近づくほど0に近づき、ゲインVPGAが中間値VGMIDに近づくほど1に近づく。
【０１４７】
そして、変調係数補正部５２は、ブレンド率Ke1を用いて、次式（１６）により変調係数Yratio_cを算出する。
【０１４８】
Yratio_c＝Ke1×Yratio_nl＋（1−Ke1）×Yratio  ・・・（１６）
【０１４９】
なお、変調係数Yratio_nlは、基準補正関数fe1により変調係数Yratioを変換した場合の変調係数である。従って、変調係数Yratio_cは、ブレンド率Ke1により変調係数Yratioと変調係数Yratio_nlを合成した値となる。そして、ゲインVPGAが閾値VGTHeに近づき、ブレンド率Ke1が0に近づくほど、変調係数Yratio_cは変調係数Yratioに近づき、ゲインVPGAが中間値VGMIDに近づき、ブレンド率Ke1が1に近づくほど、変調係数Yratio_cは変調係数Yratio_nlに近づく。
【０１５０】
これにより、図１４に示されるように、補正関数f1と基準補正関数fe1の組み合わせが選択され、２つの補正関数をブレンド率Ke1で合成することにより得られる補正関数fe2に従って、変調係数Yratioが変調係数Yratio_cに補正される。また、この変調係数Yratio_cを上述した式（１）に適用することにより、変調輝度情報Ymと基準輝度情報Ynlとが、ゲインVPGAに応じたブレンド率Ke1で合成される。なお、基準輝度情報Ynlは、変調係数Yratio_nlを用いて赤外輝度情報Yirを補正した輝度情報である。
【０１５１】
さらに、変調係数補正部５２は、VGMID＜VPGA＜VGMAXeの場合、次式（１７）によりブレンド率Ke2を算出する。
【０１５２】
Ke2＝（VPGA−VGMID）／（VGMAXe−VGMID）  ・・・（１７）
【０１５３】
ブレンド率Ke2は、上限値VGMAXeと中間値VGMIDの差に対するゲインVPGAと中間値VGMIDの差の比率を表し、VGMID＜VPGA＜VGMAXeなので、0より大きく、1より小さい値になる。また、ブレンド率Ke2は、ゲインVPGAが中間値VGMIDに近づくほど0に近づき、ゲインVPGAが上限値VGMAXeに近づくほど1に近づく。
【０１５４】
そして、変調係数補正部５２は、ブレンド率Ke2を用いて、次式（１８）により変調係数Yratio_cを算出する。
【０１５５】
Yratio_c＝Ke2×1.0＋（1−Ke2）×Yratio_nl  ・・・（１８）
【０１５６】
このように、変調係数Yratio_cは、ブレンド率Ke2を用いて、変調係数1.0と変調係数Yratio_nlを合成した値となる。そして、ゲインVPGAが中間値VGMIDに近づき、ブレンド率Ke2が0に近づくほど、変調係数Yratio_cは変調係数Yratio_nlに近づき、ゲインVPGAが上限値VGMAXeに近づき、ブレンド率Ke2が1に近づくほど、変調係数Yratio_cは1.0に近づく。
【０１５７】
これにより、図１４に示されるように、基準補正関数fe1と補正関数f2の組み合わせが選択され、２つの補正関数をブレンド率Ke2で合成することにより得られる補正関数fe2に従って、変調係数Yratioが変調係数Yratio_cに補正される。また、この変調係数Yratio_cを上述した式（１）に適用することにより、基準輝度情報Ynlと赤外輝度情報Yirが、ゲインVPGAに応じたブレンド率Ke2で合成される。
【０１５８】
これにより、第４の補正方法と比較して、被写体の明るさまたは撮影環境の明るさにより適した比率で変調輝度情報Ymと赤外輝度情報Yirとを合成することができる。
【０１５９】
なお、第５の補正方法において、基準補正関数の数をさらに増やして、さらに詳細にゲインVPGAに応じた比率で変調輝度情報Ymと赤外輝度情報Yirとを合成するようにすることも可能である。また、例えば、補正関数fe2または補正関数fe3のいずれか一方のみを用いるようにすることも可能である。
【０１６０】
なお、第１乃至第５の補正方法は、可能な範囲で組み合わせることが可能である。例えば、第１の補正方法は、第２の補正方法、第４の補正方法、および第５の補正方法と組み合わせることが可能である。また、例えば、第２の補正方法は、第４の補正方法、および第５の補正方法と組み合わせることが可能である。
【０１６１】
また、変調係数Yratioから変調係数Yratio_cへの変換は、その都度関数を用いて計算するようにしてもよいし、予め作成した変換テーブルを用いるようにしてもよい。
【０１６２】
図６に戻る。γ補正部４２は、信号補正部４１から入力される輝度情報Ysys、および色差情報Cb_sys，Cr_sysにγ補正処理を行い、γ補正処理後の輝度情報Ysys、および色差情報Cb_sys，Cr_sysをRGB変換部４３に出力する。
【０１６３】
RGB変換部４３は、γ補正部４２からのγ補正処理後の輝度情報Ysys、および色差情報Cb_sys，Cr_sysに基づき、１フレーム期間毎に各画素がＲ，Ｇ，Ｂの色情報を有する１枚のカラー画像を生成して後段に出力する。
【０１６４】
＜カメラDSP部１４によるカラー画像生成処理について＞
次に、図１５はカメラDSP部１４によるカラー画像生成処理を説明するフローチャートである。
【０１６５】
このカラー画像生成処理は１フレーム期間毎に実行されるものであり、前提としてカメラDSP部１４にはCMOS１３から１フレーム期間に４枚のサブフレーム画像SF1乃至SF4が入力されるものとする。
【０１６６】
ステップＳ１では、CMOS１３から１フレーム期間に入力された４枚のサブフレーム画像が赤外画像処理系、可視画像処理系、またはその他（廃棄）に振り分けられる。具体的には、サブフレーム画像SF2は赤外画像処理系に振り分けられてステップＳ２乃至Ｓ４の処理が行われる。また、サブフレーム画像SF4は可視画像処理系に振り分けられてステップＳ５乃至Ｓ９の処理が行われる。サブフレーム画像SF1，SF3は破棄される。
【０１６７】
赤外画像処理系では、ステップＳ２において、3DNR部３３が、CMOS１３から入力された赤外画像（サブフレーム画像SF2）に3DNR処理を行い、3DNR処理済の赤外画像をデモザイク部３４に出力するとともに、フレームメモリ１６に上書き記録する。
【０１６８】
ステップＳ３において、デモザイク部３４が、3DNR処理済の赤外画像（RAWデータ）から各画素の赤外輝度情報Yirを抽出して2DNR部３５および信号補正部４１に出力する。ステップＳ４において、2DNR部３５が、赤外輝度情報Yirに二次元ノイズリダクション処理を行うことによりその低周波成分を抽出し、その結果得られる低周波赤外輝度情報Yir_NRを信号補正部４１に出力する。
【０１６９】
可視画像処理系では、ステップＳ５において、3DNR部３６が、CMOS１３から入力された可視画像（サブフレーム画像SF4）に3DNR処理を行い、3DNR処理済の可視画像をデモザイク部３７に出力するとともに、フレームメモリ１５に上書き記録する。
【０１７０】
ステップＳ６において、デモザイク部３７が、3DNR処理済の画像信号（RAWデータ）をRGBデータに変換してＷＢ部３８に出力する。
【０１７１】
ステップＳ７において、ＷＢ部３８が、画像信号（RGBデータ）にホワイトバランス処理を行って2DNR部３９に出力する。
【０１７２】
ステップＳ８において、2DNR部３９は、ホワイトバランス処理済の可視画像（RGBデータ）に2DNR処理を行ってYCC変換部４０に出力する。
【０１７３】
ステップＳ９において、YCC変換部４０は、2DNR処理済の可視画像（RGBデータ）を可視画像（YCCデータ）に変換し、可視輝度情報Yc_NR、および色差情報Cb_NR，Cr_NRを信号補正部４１に出力する。
【０１７４】
赤外画像処理系とか可視画像処理系それぞれから処理結果を取得したカラー画像生成系では、ステップＳ１０において、信号補正部４１は、赤外画像に基づく輝度情報を、可視画像に基づく輝度情報を用いて補正する。すなわち、図７乃至図１４を参照して上述したように、赤外輝度情報Yirが、低周波赤外輝度情報Yir_NR、および可視輝度情報Yc_NR、並びにアナログゲインアンプ２３のゲインVPGAに基づいて、後段で生成するカラー画像の輝度情報Ysysに補正され、γ補正部４２に出力される。
【０１７５】
ステップＳ１１において、信号補正部４１は、上述した式（２）および（３）に基づいて、色差情報Cb_NR，Cr_NRを、後段で生成するカラー画像の色差情報Cb_sys，Cr_sysに補正してγ補正部４２に出力する。
【０１７６】
ステップＳ１２において、γ補正部４２が、信号補正部４１から入力された輝度情報Ysysおよび色差情報Cb_sys，Cr_sysのγ補正処理を行い、γ補正処理後の輝度情報Ysysおよび色差情報Cb_sys，Cr_sysをRGB変換部４３に出力する。
【０１７７】
ステップＳ１３において、RGB変換部４３が、γ補正部４２からのγ補正処理後の輝度情報Ysysおよび色差情報Cb_sys，Cr_sysに基づき、１フレーム期間毎に各画素がＲ，Ｇ，Ｂの色情報を有する１枚のカラー画像を生成して後段に出力する。以上で、カラー画像生成処理の説明を終了する。
【０１７８】
以上説明したカラー画像生成処理によれば、フォーカルプレーン読み出し方式のCMOS１３から出力される赤外画像と可視画像に基づいて、色再現の精度が高いカラー画像を生成することができる。
【０１７９】
また、被写体の明るさまたは撮影環境の明るさに応じて適切に赤外画像の輝度情報を可視画像の輝度情報を用いて補正することが可能になる。これにより、明時には、赤外光による視認性向上と色再現を両立したカラー画像の生成が可能となり、暗時には、色ノイズを抑えて赤外光による視認性向上を維持したカラー画像の生成が可能となる。
【０１８０】
＜カラーフィルタの変形例＞
次に、撮像装置１０の変形例について説明する。図１６は、CMOS１３の受光面を覆うカラーフィルタ２１ａの変形例を示している。上述した説明では、カラーフィルタ２１ａはベイヤ配列に従うＲ，Ｇ，Ｂの各色フィルタから成るものとしたが、カラーフィルタ２１ａの代わりに、図１６Ａに示されるＲ，Ｇ，Ｂの各色フィルタと、赤外光を透過するＩＲフィルタからなるRGB-IRフィルタ８１を採用してもよい。RGB-IRフィルタ８１を採用した場合、赤外画像の画素値にはＩＲ画素から得られた値を用い、可視画像の画素値にはＩＲ信号減算処理（Ｒ，Ｇ，Ｂ画素の画素値からＩＲ画素の画素値を減算する処理）により得られる値を用いればよい。
【０１８１】
また、図１６Ｂに示される、Ｒ，Ｇ，Ｂの各色フィルタと、全可視光帯域を透過させるようにフィルタが設けられていない箇所からなるRGB-Wフィルタ８２を採用してもよい。RGB-Wフィルタ８２を採用した場合、赤外画像、可視画像の画素値にはそれぞれ、Ｒ，Ｇ，Ｂ，Ｗの各画素から演算処理により算出した値を用いるようにしてもよい。
【０１８２】
さらに、RGB-IRフィルタ８１またはRGB-Wフィルタ８２を採用することにより、ベイヤ配列のカラーフィルタでは分離することができなかった、ＩＲ照射部１８から照射されたものではなく環境に存在する赤外光と可視光の分離も可能となる。
【０１８３】
＜CMOS１３による撮像タイミングの第２の例＞
次に、図１７は、CMOS１３による撮像タイミングの第２の例を示している。
【０１８４】
撮像タイミングの第２の例は、図５に示された第１の例と同様、CMOS１３から１フレーム期間に４枚のサブフレーム画像を出力できるようにする。ただし、赤外光の照射タイミングが第１の例と異なる。
【０１８５】
すなわち、第２の例では、１フレーム期間における４サブフレーム期間のうち、各フレーム期間で共通の１サブフレーム期間において赤外光の照射をオンとし、その他の３サブフレーム期間は赤外光の照射をオフとする。なお、図１７の場合、１フレーム期間における１番目のサブフレーム期間（ｔ０からｔ１）に赤外光の照射をオンとしているが、例えば、その他のサブフレーム期間に赤外光の照射をオンとするようにしてもよい。
【０１８６】
図１７の第２の例では、サブフレーム画像SF1は、掃引の先頭（1st-Line）付近の行は、露光期間に占める赤外光の照射がオンとされている時間が短いので暗くなり、掃引が進むにつれて赤外光の照射がオンとされている時間が長くなってくるため徐々に明るくなる画像となる。サブフレーム画像SF2は、サブフレーム画像SF1と明暗の変化が反対となり、掃引が進むにつれて赤外光の照射がオンとされている時間が短くなってくるため徐々に暗くなる画像となる。サブフレーム画像SF3およびSF4では、全ての行の露光期間全体に亘って赤外光の照射がオフとされているので、可視光のみに基づく画面全体が暗い画像となる。
【０１８７】
なお、サブフレーム画像SF1とサブフレーム画像SF2の露光時間における赤外光の照射がオンとされている状態の時間をみた場合、サブフレーム画像SF1とサブフレーム画像SF2は、輝度のグラデーションが相補的な関係にあるといえる。したがって、両者を加算すると全ての行に亘り、露光期間の全期間（１サブフレーム期間）に亘って赤外光を照射した状態に相当する画像を得ることができる。よって、サブフレーム画像SF1とサブフレーム画像SF2の対応する画素どうしを加算（または加算平均）して赤外画像を生成するようにする。
【０１８８】
同様に、サブフレーム画像SF3とサブフレーム画像SF4の赤外光の照射がオフとされている状態に対する露光時間をみた場合、両者を加算する２サブフレーム期間分の露光期間に可視光のみの状態で撮像したことに相当する画像を得ることができる。よって、サブフレーム画像SF3とサブフレーム画像SF4の対応する画素どうしを加算（または加算平均）して可視画像を生成するようにする。
【０１８９】
＜カメラDSP部１４の第２の構成例＞
次に、図１８は、図１７に示された撮像タイミングの第２の例に対応する、カメラDSP部１４の第２の構成例を示している。
【０１９０】
該第２の構成例は、図６に示された第１の構成例の赤外画像処理系の前段に加算部１０１およびフレームメモリ１０２を追加するとともに、可視画像処理系の前段に加算部１０３およびフレームメモリ１０４を追加したものである。
【０１９１】
赤外画像処理系の加算部１０１は、先に入力されてフレームメモリ１０２を保持されているサブフレーム画像SF1と、サブフレーム画像SF2を加算（または加算平均）することにより赤外画像を生成して3DNR部３３に出力する。可視画像処理系の加算部１０３は、先に入力されてフレームメモリ１０４を保持されているサブフレーム画像SF3と、サブフレーム画像SF4を加算（または加算平均）することにより可視画像を生成して3DNR部３６に出力する。
【０１９２】
なお、3DNR部３３の後段および3DNR部３６の後段の構成とその動作については、図６に示された第１の構成例と同様なのでその説明は省略する。
【０１９３】
カメラDSP部１４の第２の構成例によれば、フォーカルプレーン読み出し方式のCMOS１３から出力されるサブフレーム画像SF1乃至SF4から赤外画像と可視画像を生成し、それらに基づいて、色再現の精度が高いカラー画像を生成することができる。
【０１９４】
ここで、可視画像処理系に入力される可視画像について、第１の例と第２の例を比較すると、第１の例では露光時間が１サブフレーム期間であるのに対し、第２の例では露光時間が２倍の２サブフレーム期間である。本実施の形態において可視画像は低照度下で撮像されることを前提としているので、露光時間が長くても画素値が飽和することなく、長いほど被写体の色情報を正確に得ることができる。よって、第２の構成例では、第１の構成例に比較してより高い精度で色情報を再現したカラー画像を得ることができる。
【０１９５】
なお、第２の構成例においては、可視画像処理系の加算部１０３およびフレームメモリ１０４を利用せず、サブフレーム画像SF3またはSF4を可視画像として3DNR部３６に出力するようにしてもよい。その場合、可視画像の露光時間は１サブフレーム期間となるので、最終的に第１の構成例と同程度の精度で色情報を再現したカラー画像を得ることができる。
【０１９６】
＜CMOS１３による撮像タイミングの第３の例＞
次に、図１９は、CMOS１３による撮像タイミングの第３の例を示している。
【０１９７】
第３の例では、CMOS１３において、最終的に出力するカラー画像のフレームレート（例えば30fps）の１フレーム期間（30fpsの場合、1/30秒）を３分割してサブフレーム期間（30fpsの場合、1/90秒）をCMOS１３の１画面掃引期間とし、１フレーム期間に３枚のサブフレーム画像をCMOS１３から出力できるようにする。
【０１９８】
１フレーム期間に３枚のサブフレームを撮像するに際しては、１フレーム期間における３サブフレーム期間のうち、各フレーム期間で共通の１サブフレーム期間において赤外光の照射をオンとし、その他の２サブフレーム期間は赤外光の照射をオフとする。なお、図１９の場合、１フレーム期間における１番目のサブフレーム期間（ｔ０からｔ１）に赤外光の照射をオンとしているが、例えば、２または３番目のサブフレーム期間に赤外光の照射をオンとするようにしてもよい。
【０１９９】
図１９の第３の例では、サブフレーム画像SF1は、掃引の先頭（1st-Line）付近の行は、露光期間に占める赤外光の照射がオンとされている時間が短いので暗くなり、掃引が進むにつれて赤外光の照射がオンとされている時間が長くなってくるため徐々に明るくなる画像となる。サブフレーム画像SF2は、サブフレーム画像SF1と明暗の変化が反対となり、掃引が進むにつれて赤外光の照射がオンとされている時間が短くなってくるため徐々に暗くなる画像となる。サブフレーム画像SF3は、全ての行の露光期間全体に亘って赤外光の照射がオフとされているので、可視光のみに基づく画面全体が暗い画像となる。
【０２００】
サブフレーム画像SF1とサブフレーム画像SF2の露光時間における赤外光の照射がオンとされている状態の時間をみた場合、両者を加算すると全ての行に亘り、露光期間の全期間（１サブフレーム期間）に亘って赤外光を照射した状態に相当する画像を得ることができる。よって、サブフレーム画像SF1とサブフレーム画像SF2の対応する画素どうしを加算（または加算平均）して赤外画像を生成するようにする。残りのサブフレーム画像SF3については、そのまま可視画像として利用する。
【０２０１】
撮像タイミングの第３の例に対応する、カメラDSP部１４の構成例については、上述した第２の構成例を適用することができる。ただし、可視画像処理系の前段に設けた加算部１０３およびフレームメモリ１０４は省略できる。
【０２０２】
この場合においても、カメラDSP部１４により、フォーカルプレーン読み出し方式のCMOS１３から出力されるサブフレーム画像SF1乃至SF3に基づいて、色再現の精度が高いカラー画像を生成することができる。
【０２０３】
ここで、可視画像処理系に入力される可視画像について、第１の例と第３の例を比較すると、第１の例では露光時間である１サブフレーム期間がフレーム期間の１／４であるのに対し、第３の例では、露光時間がフレーム期間の１／３である。ここで、第１の例と第３の例とでフレームレートが共通であるならば、第３の例では第１の例よりも可視画像の露光時間が長いことになる。本実施の形態において可視画像は低照度下で撮像されることを前提としているので、露光時間が長くても画素値が飽和することなく、長いほど被写体の色情報を正確に得ることができる。よって、いまの場合、第１の例に比較してより高い精度で色情報を再現したカラー画像を得ることができる。
【０２０４】
また、第１の例と第３の例とでサブフレーム期間の時間が共通であるならば、第３の例では第１の例よりも高いフレームレートでカラー画像を出力可能となる。例えば、共通のサブフレーム期間が1/120秒である場合、第１の例ではカラー画像のフレームレートが30fpsとなるのに対して、第３の例では40fpsとなる。
【０２０５】
＜CMOS１３による撮像タイミングの第４の例＞
上述した撮像タイミングの第１乃至第３の例では、CMOS１３の電子シャッタを開のままとした（露光期間と１画面掃引期間が一致させた）が、電子シャッタを開閉させることもできる。
【０２０６】
図２０は、CMOS１３の電子シャッタを適応的に開閉させる撮像タイミングの第４の例を示している。例えば、低照度下で可視画像を撮像する場合には感度を稼ぐために電子シャッタはオープンのままとし、赤外画像の撮影する場合には画面の明るさに応じて、電子シャッタにより露光時間を１画面操作期間よりも短く調整することができる。
【０２０７】
撮像タイミングの第４の例により１フレーム期間毎に得られた４枚のサブフレーム画像SF1乃至SF4からは、撮像タイミングの第２の例と同様、カメラDSP部１４の第２の構成例によってカラー画像を生成することができる。
【０２０８】
＜CMOS１３による撮像タイミングの第５の例＞
上述した撮像タイミングの第１乃至第４の例では、赤外光の照射のオン、オフのタイミングを、サブフレーム期間の区切りと一致させていたが、両者は必ずしも一致させる必要はない。
【０２０９】
図２１は、赤外光の照射のオン、オフのタイミングとサブフレーム期間の区切りとを一致させていない撮像タイミングの第５の例を示している。
【０２１０】
第５の例では、１フレーム期間における４サブフレーム期間からなる１フレーム期間の間の任意のタイミングで、１サブフレーム期間に相当する時間だけ赤外光の照射をオンとし、その他の３サブフレーム期間分の時間は赤外光の照射をオフとする。なお、図２１の場合、１フレーム期間における１番目のサブフレーム期間（ｔ０からｔ１）の途中から、２番目のサブフレーム期間（ｔ１からｔ２）の途中までの１サブフレーム期間に相当する時間に赤外光の照射をオンとしているが、その他のタイミングの１サブフレーム期間に相当する時間に赤外光の照射をオンとするようにしてもよい。
【０２１１】
図２１の第５の例では、サブフレーム画像SF1は、掃引の先頭（1st-Line）から中央付近の行までは、赤外光の照射がオフとされており、中央付近の行から赤外光の照射がオンとされている時間が長くなってくるため徐々に明るくなる画像となる。
【０２１２】
サブフレーム画像SF2は、掃引の先頭（1st-Line）から中央付近の行まで赤外光の照射がオンとされている時間が長くなり、中央付近から掃引の最後（Last-Line）の行まで赤外光の照射がオンとされている時間が短くなってくるため、掃引の先頭から中央付近まで徐々に明るくなって、中央付近で最も明るく、そこから掃引進むにつれて徐々に暗くなる画像となる。
【０２１３】
サブフレーム画像SF4は、全ての行の露光期間全体に亘って赤外光の照射がオフとされているので、可視光のみに基づく画面全体が暗い画像となる。
【０２１４】
カメラDSP部１４では、サブフレーム画像SF1の下半分、サブフレーム画像SF2の全体、およびサブフレーム画像SF3の下半分を加算（または加算平均）にすることにより赤外画像を合成して赤外画像処理系の処理対象とするようにする。
【０２１５】
また、カメラDSP部１４では、サブフレーム画像SF3、サブフレーム画像SF4、およびサブフレーム画像SF5（次のフレーム期間のサブフレーム画像SF1）を加算（または加算平均）により可視画像を合成して可視画像処理系の処理対象とするようにする。
【０２１６】
ただし、可視画像の合成に関しては、赤外画像の合成と同様、サブフレーム画像SF3の下半分、サブフレーム画像SF4、およびサブフレーム画像SF5の上半分を加算（または加算平均）してもよい。ただし、サブフレーム画像SF3と、サブフレーム画像SF5には赤外光の成分が含まれるので、そのままでは可視画像の合成に利用できない。この対策としては、図１６に示されたRGB-IRフィルタ８１またはRGB-Wフィルタ８２をCMOS１３に採用すれよい。この場合、IR信号減算処理（RGB信号からIR信号を減算する処理）を行うことにより、可視光の成分を抽出することができる。よって、IR信号減算処理により、サブフレーム画像SF3とサブフレーム画像SF5から可視光の成分を抽出して可視画像の合成に用いるようにする。
【０２１７】
第５の例の場合、可視画像は３枚のサブフレーム画像から合成されるので、その露光時間は実質的に３サブフレーム期間であり、第２または第３の例の可視画像の露光時間に比較して１．５倍となる。本実施の形態において可視画像は低照度下で撮像されることを前提としているので、露光時間が長くても画素値が飽和することなく、長いほど被写体の色情報を正確に得ることができる。よって、第５の例では、第２または第３の例に比較してより高い精度で色情報を再現したカラー画像を得ることができる。
【０２１８】
一般的に、画像における可視光の成分に対して赤外光の成分が大きいと、IR信号減算処理において、減算精度が悪化してしまい可視光の成分のノイズが多くなるが、第５の例のように、サブフレーム画像SF3の上方と、サブフレーム画像SF5の下方の赤外光の成分は、ともに赤外光の照射のオフまたはオンに近いタイミングに相当するため、赤外光の成分はサブフレーム画像SF2に比べて弱い。よって、上述したIR信号減算処理でも精度よく可視光の成分を精度よく抽出することができる。
【０２１９】
また、サブフレーム画像SF3の上方とサブフレーム画像SF5の下方では、画像の上端または下端よりも画像の中央部分赤外光の成分の強度が弱まることになるので、画像として最も重要となる中央部分の可視光の成分の品質を高めることが可能となる。
【０２２０】
＜カラー画像の生成に関する変形例＞
上述した実施の形態では、カラー画像の生成に用いる色情報を可視画像のみから抽出するようにしたが、赤外画像からも色成分を抽出してカラー画像の生成に用いてもよい。具体的には、図１６Ａに示されたRGB-IRフィルタ８１をCMOS１３に採用し、赤外画像にIR信号減算処理を行えば、可視光のみの色情報を抽出することができる。この赤外光から抽出した色情報と、可視画像から抽出した色情報を組み合わせてカラー画像の生成に用いることでより色再現性の高いカラー画像を得ることができきる。
【０２２１】
また、上述した実施の形態では、１フレーム期間を３サブフレーム期間または４サブフレーム期間に分割したが、１フレーム期間を５以上のサブフレーム期間に分割し、得られたサブフレーム画像から赤外画像と可視画像を合成し、それらに基づいてカラー画像を生成するようにしてもよい。
【０２２２】
＜可視画像の被写体または撮影環境の明るさを表すパラメータの変形例＞
上述した実施の形態では、可視画像の被写体の明るさまたは撮影環境の明るさを表すパラメータとして、CMOS１３のアナログゲインアンプ２３のゲインVPGAを用いて、変調係数Yratioを補正する例を示したが、その他のパラメータを用いるようにしてもよい。例えば、撮像装置１０の内部又は外部に設けられている露出計等により計測された可視画像の被写体の明るさまたは撮影環境の明るさの測定値を用いるようにしてもよい。
【０２２３】
＜変調係数の設定及び補正を行う単位の変形例
上述した実施の形態では、画素単位で変調係数の設定及び補正を行う例を示したが、例えば、複数の画素からなるブロック単位、又は、フレーム単位で変調係数の設定及び補正を行うようにしてもよい。
【０２２４】
＜モノクロ画像に適用する場合の例＞
上述した実施の形態では、本開示をカラー画像の生成に適用する例を示したが、本開示はモノクロ画像を生成する場合にも適用することができる。なお、モノクロ画像には、γ補正部４２から出力されるγ補正処理後の輝度情報Ysysからなる画像を用いることができる。従って、カラー画像を生成せずにモノクロ画像のみを生成する場合には、例えば、図６及び図１８のRGB変換部４３を削除することが可能である。
【０２２５】
また、例えば、撮像装置１０が、デイモード時に、RGB変換部４３が生成したカラー画像を外部に出力し、ナイトモード時に、γ補正部４２から出力されるγ補正処理後の輝度情報Ysysからなるモノクロ画像を外部に出力するようにしてもよい。
【０２２６】
なお、例えば、デモザイク部３４から出力される赤外輝度情報Yirからなる画像をモノクロ画像として使用することも可能である。ただし、この場合、例えば、木綿の衣服のような赤外光の反射率が高い被写体を撮影すると、黒色や紺色などの暗い色の服が白く光ることがある。その結果、例えば、色が異なるにも関わらず、赤外光に対する反射率に差がないため、衣服の模様を判別できない等の問題が生ずる場合がある。
【０２２７】
一方、赤外輝度情報Yirを補正した輝度情報Ysysからなる画像をモノクロ画像に用いることにより、可視画像をモノクロ化した時と同様のコントラストの画像を取得することが可能となる。
【０２２８】
＜その他の変形例＞
上述した実施の形態では、色差情報Cb_NR，Cr_NRを変調係数Yratio_cにより補正し、さらにγ補正を行う例を示したが、これらの補正処理は省略することも可能である。
【０２２９】
＜その他の適用例＞
本開示は、上述した実施の形態に限定されることなく、赤外画像と可視画像からカラー画像またはモノクロ画像を生成する場合に広く適用することができる。例えば、本開示は、撮像機能を有していない、可視画像と赤外画像からカラー画像またはモノクロ画像を生成する画像処理装置にも適用することができる。また、本開示は、例えば、異なる撮像装置により撮像された可視画像と赤外画像からカラー画像またはモノクロ画像を生成する場合にも適用することができる。
【０２３０】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２３１】
図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２３２】
このコンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０２３３】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
【０２３４】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０２３５】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２３６】
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２３７】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０２３８】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２３９】
本開示は以下のような構成も取ることができる。
（１）
赤外光が照射された状態で得られる赤外画像の輝度情報である赤外輝度情報と、赤外光が照射されていない状態で得られる可視画像の輝度情報である可視輝度情報との比率に基づいて、前記赤外輝度情報の補正に用いる第１の変調係数を設定する変調係数設定部と、
前記可視画像の被写体の明るさまたは撮影環境の明るさを表すパラメータに基づいて前記第１の変調係数を第２の変調係数に補正する変調係数補正部と、
前記第２の変調係数を用いて前記赤外輝度情報を補正する輝度補正部と
を備える画像処理装置。
（２）
前記変調係数補正部は、前記第１の変調係数と、前記赤外輝度情報を補正しない場合の第３の変調係数とを、前記パラメータに基づく比率で合成することにより前記第２の変調係数を算出する
前記（１）に記載の画像処理装置。
（３）
前記変調係数補正部は、前記パラメータに基づいて前記可視画像の被写体の明るさまたは撮影環境の明るさが所定の閾値未満であると判定した場合、所定の非線形関数により前記第１の変調係数を前記第２の変調係数に変換する
前記（１）に記載の画像処理装置。
（４）
前記変調係数補正部は、所定の第１の関数により前記第１の変調係数を変換した第３の変調係数と、所定の第２の関数により前記第１の変調係数を変換した第４の変調係数とを、前記パラメータに基づく比率で合成することにより前記第２の変調係数を算出する
前記（１）に記載の画像処理装置。
（５）
前記変調係数補正部は、前記パラメータに基づいて、複数の関数の中から前記第１の関数と前記第２の関数の組み合わせを選択する
前記（４）に記載の画像処理装置。
（６）
前記複数の関数は、前記第４の変調係数＝前記第１の変調係数となる関数、および前記変調係数＝１となる関数のうち少なくとも一方、並びに所定の非線形関数を含む
前記（５）に記載の画像処理装置。
（７）
前記変調係数補正部は、前記パラメータに基づいて前記可視画像の被写体の明るさまたは撮影環境の明るさが所定の閾値未満であると判定した場合、前記パラメータに基づいて前記第２の変調係数の下限値を制限する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記変調係数補正部は、前記可視輝度情報が前記赤外輝度情報より大きい場合、前記パラメータに基づいて前記第２の変調係数の上限値を制限する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記パラメータは、前記可視画像の露光制御により調整されるゲインである
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記パラメータは、前記可視画像の被写体の明るさまたは撮影環境の明るさの測定値である
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１１）
前記変調係数設定部は、前記赤外輝度情報の低周波成分と前記可視輝度情報の低周波成分との比率に基づいて前記第１の変調係数を設定する
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
補正後の前記赤外輝度情報および前記可視画像の色差情報をカラー画像の色情報に変換するカラー画像変換部を
さらに備える前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記第２の変調係数を用いて前記色差情報の補正を行う色差補正部を
さらに備え、
前記カラー補正部は、補正後の前記赤外輝度情報および補正後の前記色差情報を前記カラー画像の色情報に変換する
さらに備える前記（１２）に記載の画像処理装置。
（１４）
前記赤外画像から前記赤外輝度情報を抽出する赤外画像変換部と、
前記可視画像から前記可視輝度情報を抽出する可視画像変換部と
をさらに備える前記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
赤外光が照射された状態で得られる赤外画像の輝度情報である赤外輝度情報と、赤外光が照射されていない状態で得られる可視画像の輝度情報である可視輝度情報との比率に基づいて、前記赤外輝度情報の補正に用いる第１の変調係数を設定する変調係数設定ステップと、
前記可視画像の被写体の明るさまたは撮影環境の明るさを表すパラメータに基づいて前記第１の変調係数を第２の変調係数に補正する変調係数補正ステップと、
前記第２の変調係数を用いて前記赤外輝度情報を補正する輝度補正ステップと
を含む画像処理方法。
（１６）
赤外光が照射された状態で得られる赤外画像の輝度情報である赤外輝度情報と、赤外光が照射されていない状態で得られる可視画像の輝度情報である可視輝度情報との比率に基づいて、前記赤外輝度情報の補正に用いる第１の変調係数を設定する変調係数設定ステップと、
前記可視画像の被写体の明るさまたは撮影環境の明るさを表すパラメータに基づいて前記第１の変調係数を第２の変調係数に補正する変調係数補正ステップと、
前記第２の変調係数を用いて前記赤外輝度情報を補正する輝度補正ステップと
を含む処理をコンピュータに実行させるためのプログラム。
（１７）
撮像素子と、
撮像範囲への赤外光の照射のオン、オフを制御する赤外光照射制御部と、
赤外光が照射された状態で得られる赤外画像の輝度情報である赤外輝度情報と、赤外光が照射されていない状態で得られる可視画像の輝度情報である可視輝度情報との比率に基づいて、前記赤外輝度情報の補正に用いる第１の変調係数を設定する変調係数設定部と、
前記可視画像の被写体の明るさまたは撮影環境の明るさを表すパラメータに基づいて前記第１の変調係数を第２の変調係数に補正する変調係数補正部と、
前記第２の変調係数を用いて前記赤外輝度情報を補正する輝度補正部と
を備える撮像装置。
（１８）
前記撮像素子は、所定のフレームレートに対応する１フレーム期間を３以上のサブフレーム期間に分割し、前記サブフレーム期間毎にフォーカルプレーン読み出し方式で全画面分の画素値を掃引することにより、前記１フレーム期間に前記サブフレーム期間の数だけサブフレーム画像を生成し、
前記赤外光照射制御部は、前記１フレーム期間において前記サブフレーム期間と同じ時間長単位で撮像範囲への赤外光の照射をオン、オフするように制御する
前記（１７）に記載の撮像装置。
（１９）
赤外光が照射されている期間を露光時間に含む複数の前記サブフレーム画像から前記赤外画像を生成する赤外画像生成部と、
赤外光が照射されている期間を露光時間に含まない複数の前記サブフレーム画像から前記可視画像を生成する可視画像生成部と
をさらに備える前記（１８）に記載の撮像装置。
（２０）
補正後の前記赤外輝度情報および前記可視画像の色差情報をカラー画像の色情報に変換するカラー画像変換部を
さらに備える前記（１７）乃至（１９）のいずれかに記載の撮像装置。
【符号の説明】
【０２４０】
１０  撮像装置，  １３  CMOSイメージセンサ，  １４  カメラDSP部，  １７  ＩＲ駆動部，  １８  ＩＲ照射部，  ２３  アナログゲインアンプ，  ３１  タイミング制御部，  ３２  ＡＥ制御部，  ３５  2DNR部，  ３９  2DNR部，  ４０  YCC変換部，  ４１  信号補正部，  ４２  γ補正部，  ４３  RGB変換部，  ５１  変調係数設定部，  ５２  変調係数補正部，  ５３  輝度補正部，  ５４  色差補正部
【図１】
2017005401.tif 000003
【図２】
2017005401.tif 000004
【図３】
2017005401.tif 000005
【図４】
2017005401.tif 000006
【図５】
2017005401.tif 000007
【図６】
2017005401.tif 000008
【図７】
2017005401.tif 000009
【図８】
2017005401.tif 000010
【図９】
2017005401.tif 000011
【図１０】
2017005401.tif 000012
【図１１】
2017005401.tif 000013
【図１２】
2017005401.tif 000014
【図１３】
2017005401.tif 000015
【図１４】
2017005401.tif 000016
【図１５】
2017005401.tif 000017
【図１６】
2017005401.tif 000018
【図１７】
2017005401.tif 000019
【図１８】
2017005401.tif 000020
【図１９】
2017005401.tif 000021
【図２０】
2017005401.tif 000022
【図２１】
2017005401.tif 000023
【図２２】
2017005401.tif 000024