(57)【特許請求の範囲】
【請求項１】
赤外光を投光する赤外線投光器を制御する投光制御部と、
赤外光を投光するよう前記赤外線投光器が制御された状態で被写体を撮像して撮像信号を生成する撮像部と、
前記撮像信号に基づいてカラー映像信号を生成する映像処理部と、
カラー映像信号を出力する映像出力部と、
被写体を検出する被写体検出部と
を備え、
前記被写体検出部は被写体が人物であるか否かを検出し、
前記被写体検出部が被写体が人物であることを検出した場合、
前記映像出力部は、各色間の画素値の比が、緑色の画素値に対する青色の画素値の比の値が緑色の画素値に対する赤色の画素値の比の値よりも大きく、かつ、緑色の画素値に対する赤色の画素値の比の値が１より小さく、かつ、緑色の画素値に対する青色の画素値の比の値が１より大きい所定の比であるカラー映像信号を出力する
ことを特徴とする撮像装置。
【請求項２】
赤外光を投光する赤外線投光器を制御する投光制御部と、
赤外光を投光するよう前記赤外線投光器が制御された状態で被写体を撮像して撮像信号を生成する撮像部と、
前記撮像信号に基づいてカラー映像信号を生成する映像処理部と、
カラー映像信号を出力する映像出力部と、
被写体を検出する被写体検出部と
を備え、
前記被写体検出部は被写体がプラスチックであるか否かを検出し、
前記映像出力部が出力するカラー映像信号における各色間の画素値の比は前記被写体検出部がプラスチックを検出しているか否かに応じて異なる
ことを特徴とする撮像装置。
【請求項３】
前記被写体検出部がプラスチックの被写体を検出した場合、
前記映像出力部は、各色間の画素値の比が、緑色の画素値に対する青色の画素値の比の値が緑色の画素値に対する赤色の画素値の比の値よりも大きく、かつ、緑色の画素値に対する赤色の画素値の比の値が１より大きく、かつ、緑色の画素値に対する青色の画素値の比の値が１より大きい所定の比であるカラー映像信号を出力する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
赤外光を投光する赤外線投光器を制御する投光制御部と、
赤外光を投光するよう前記赤外線投光器が制御された状態で被写体を撮像して撮像信号を生成する撮像部と、
前記撮像信号に基づいてカラー映像信号を生成する映像処理部と、
カラー映像信号を出力する映像出力部と、
被写体を検出する被写体検出部と
を備え、
前記被写体検出部は被写体が自動車であるか否かを検出し、
前記映像出力部が出力するカラー映像信号における各色間の画素値の比は前記被写体検出部が自動車を検出しているか否かに応じて異なる
ことを特徴とする撮像装置。
【請求項５】
前記映像処理部によって生成されたカラー映像信号の各色の画素値に対して色ゲインを乗じる色ゲイン設定部、
を備え、
前記映像出力部は、前記色ゲイン設定部によって所定の色ゲインが乗じられて、各色間の画素値の比が前記被写体検出部による検出結果に応じた比とされたカラー映像信号を出力する
ことを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記投光制御部は、前記映像出力部が各色の画素値に基づくばらつき度合いが所定のばらつき度合いよりも大きいカラー映像信号を出力するよう、カラー映像信号の各色に対応する各赤外光の強度を制御し、
前記映像出力部は、前記投光制御部によってカラー映像信号の各色に対応する各赤外光の強度が制御されて、各色間の画素値の比が前記被写体検出部による検出結果に応じた比とされたカラー映像信号を出力する
ことを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記各色間の画素値の比は、少なくとも前記被写体検出部によって検出された被写体に対応する領域の画素において、各色間の画素値の比が前記被写体検出部による検出結果に応じた比とされている
ことを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
画面全体の画素値の平均値における各色間の画素値の比が、前記被写体検出部による検出結果に応じた比とされている
ことを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
【請求項９】
赤外光を投光する赤外線投光器を制御する投光制御ステップと、
赤外光を投光するよう前記赤外線投光器が制御された状態で被写体を撮像して撮像信号を生成する撮像ステップと、
前記撮像信号に基づいてカラー映像信号を生成する映像処理ステップと、
カラー映像信号を出力する映像出力ステップと、
被写体を検出する被写体検出ステップと
を有し、
前記被写体検出ステップは被写体が人物であるか否かを検出し、
前記被写体検出ステップが被写体が人物であることを検出した場合、
前記映像出力ステップは、各色間の画素値の比が、緑色の画素値に対する青色の画素値の比の値が緑色の画素値に対する赤色の画素値の比の値よりも大きく、かつ、緑色の画素値に対する赤色の画素値の比の値が１より小さく、かつ、緑色の画素値に対する青色の画素値の比の値が１より大きい所定の比であるカラー映像信号を出力する
ことを特徴とする撮像方法。
【請求項１０】
赤外光を投光する赤外線投光器を制御する投光制御ステップと、
赤外光を投光するよう前記赤外線投光器が制御された状態で被写体を撮像して撮像信号を生成する撮像ステップと、
前記撮像信号に基づいてカラー映像信号を生成する映像処理ステップと、
カラー映像信号を出力する映像出力ステップと、
被写体を検出する被写体検出ステップと
を備え、
前記被写体検出ステップは被写体が自動車であるか否かを検出し、
前記映像出力ステップが出力するカラー映像信号における各色間の画素値の比は前記被写体検出ステップが自動車を検出しているか否かに応じて異なる
ことを特徴とする撮像方法。
【請求項１１】
コンピュータを、
赤外光を投光する赤外線投光器を制御する投光制御手段、
赤外光を投光するよう前記赤外線投光器が制御された状態で被写体を撮像して生成された撮像信号に基づいてカラー映像信号を生成する映像処理手段、
カラー映像信号を出力する映像出力手段、
被写体を検出する被写体検出手段、
として機能させ、
前記被写体検出手段は被写体が人物であるか否かを検出し、
前記被写体検出手段が被写体が人物であることを検出した場合、
前記映像出力手段は、各色間の画素値の比が、緑色の画素値に対する青色の画素値の比の値が緑色の画素値に対する赤色の画素値の比の値よりも大きく、かつ、緑色の画素値に対する赤色の画素値の比の値が１より小さく、かつ、緑色の画素値に対する青色の画素値の比の値が１より大きい所定の比であるカラー映像信号を出力する
ことを特徴とする撮像プログラム。
【請求項１２】
コンピュータを、
赤外光を投光する赤外線投光器を制御する投光制御手段と、
赤外光を投光するよう前記赤外線投光器が制御された状態で被写体を撮像して撮像信号を生成する撮像手段と、
前記撮像信号に基づいてカラー映像信号を生成する映像処理手段と、
カラー映像信号を出力する映像出力手段と、
被写体を検出する被写体検出手段と
として機能させ、
前記被写体検出手段は被写体が自動車であるか否かを検出し、
前記映像出力手段が出力するカラー映像信号における各色間の画素値の比は前記被写体検出手段が自動車を検出しているか否かに応じて異なる
ことを特徴とする撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像技術に関する。
【背景技術】
【０００２】
従来、例えば夜間等の可視光がほとんどない環境下において被写体を撮像するために、赤外線投光器によって被写体に赤外光を照射し、被写体から反射した赤外光を撮像する方法が用いられている。この方法は、可視光を照射するライトを用いることができない場合に有効な撮像方法である。
【０００３】
しかしながら、この撮像方法によって被写体を撮像した映像は、モノクロ映像となる。モノクロ映像では物体の識別が困難となることがある。可視光がない環境下でもカラー映像を撮像することができれば、物体の識別性を向上させることができる。例えば監視カメラでは、物体の識別性を向上させるために、可視光がない環境下でもカラー映像を撮像することが望まれる。
【０００４】
特許文献１には、可視光がない環境下でもカラー映像を撮像することができる撮像装置が記載されている。特許文献１に記載されている撮像装置においても、赤外線投光器が用いられる。監視カメラに特許文献１に記載の技術を搭載すれば、被写体をカラー映像化して物体の識別性を向上させることが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−５００４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、可視光がある環境下で被写体を撮像する通常の撮像装置においては、映像信号の色をどのような調整方法で調整するかが確立されている。しかしながら、可視光がほとんどない環境下で被写体に赤外光を照射して被写体をカラー映像化する暗視用の撮像装置においては、映像信号の色をどのような調整方法で調整するかが確立されていない。
【０００７】
即ち、暗視用の撮像装置において、色再現性のよい映像信号を得るために、映像信号の色をどのように調整するかの手法は確立されておらず、調整手法を確立することが求められている。
【０００８】
本発明は、赤外光を投光した状態において色再現性のよい映像信号を得ることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
赤外光を投光する赤外線投光器を制御する投光制御部と、赤外光を投光するよう前記赤外線投光器が制御された状態で被写体を撮像して撮像信号を生成する撮像部と、前記撮像信号に基づいてカラー映像信号を生成する映像処理部と、カラー映像信号を出力する映像出力部と、被写体を検出する被写体検出部とを備え、前記映像出力部が出力するカラー映像信号における各色間の画素値の比は前記被写体検出部による検出結果に応じて異なることを特徴とする撮像装置を提供する。
【００１０】
また、赤外光を投光する赤外線投光器を制御する投光制御ステップと、赤外光を投光するよう前記赤外線投光器が制御された状態で被写体を撮像して撮像信号を生成する撮像ステップと、前記撮像信号に基づいてカラー映像信号を生成する映像処理ステップと、カラー映像信号を出力する映像出力ステップと、被写体を検出する被写体検出ステップとを有し、前記映像出力ステップにおいて出力するカラー映像信号における各色間の画素値の比は前記被写体検出部による検出結果に応じて異なることを特徴とする撮像方法を提供する。
また、コンピュータを、赤外光を投光する赤外線投光器を制御する投光制御手段、赤外光を投光するよう前記赤外線投光器が制御された状態で被写体を撮像して生成された撮像信号に基づいてカラー映像信号を生成する映像処理手段、カラー映像信号を出力する映像出力手段、被写体を検出する被写体検出手段、として機能させ、前記映像出力手段が出力するカラー映像信号における各色間の画素値の比は前記被写体検出部による検出結果に応じて異なることを特徴とする撮像プログラムを提供する。
【発明の効果】
【００１１】
本発明によれば、赤外光を投光した状態において色再現性のよい映像信号を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】一実施形態の撮像装置の全体的な構成を示すブロック図である。
【図２】一実施形態の撮像装置に用いられるカラーフィルタにおけるフィルタエレメントの配列の一例を示す図である。
【図３】一実施形態の撮像装置を構成する撮像部における３原色光の波長と相対感度との分光感度特性を示す特性図である。
【図４】所定の物質からの３原色光の反射率にシリコンの受光感度を乗じたときの、波長と相対検出率との関係を示す特性図である。
【図５】図１中の前信号処理部５２の具体的な構成を示すブロック図である。
【図６】一実施形態の撮像装置が通常モードで動作しているときの露光と映像信号のフレームとの関係を示す図である。
【図７】一実施形態の撮像装置が通常モードで動作しているときのデモザイク処理を説明するための図である。
【図８】一実施形態の撮像装置が中間モード及び暗視モードで動作しているときの露光と映像信号のフレームとの関係を示す図である。
【図９】一実施形態の撮像装置が第１中間モードで動作しているときの前信号処理を説明するための図である。
【図１０】一実施形態の撮像装置が第１中間モードで動作しているときのデモザイク処理を説明するための図である。
【図１１】一実施形態の撮像装置が第２中間モードで動作しているときの前信号処理を説明するための図である。
【図１２】一実施形態の撮像装置が第２中間モードで動作しているときのデモザイク処理を説明するための図である。
【図１３】一実施形態の撮像装置が暗視モードで動作しているときの周囲画素の加算処理を説明するための図である。
【図１４】周囲画素の加算処理が施されたフレームを示す図である。
【図１５】一実施形態の撮像装置が第１暗視モードで動作しているときの前信号処理を説明するための図である。
【図１６】一実施形態の撮像装置が第１暗視モードで動作しているときのデモザイク処理を説明するための図である。
【図１７】一実施形態の撮像装置が第２暗視モードで動作しているときの前信号処理を説明するための図である。
【図１８】一実施形態の撮像装置が第２暗視モードで動作しているときのデモザイク処理を説明するための図である。
【図１９】一実施形態の撮像装置におけるモード切換の例を説明するための図である。
【図２０】一実施形態の撮像装置がそれぞれのモードに設定されているときの各部の状態を示す図である。
【図２１】一実施形態の撮像装置の第１の変形例を示す部分ブロック図である。
【図２２】一実施形態の撮像装置の第２の変形例を示す部分ブロック図である。
【図２３】一実施形態の撮像装置の第３の変形例を示す部分ブロック図である。
【図２４】映像信号処理方法を示すフローチャートである。
【図２５】図２４におけるステップＳ３に示す通常モードの具体的な処理を示すフローチャートである。
【図２６】図２４におけるステップＳ４の中間モードの具体的な処理を示すフローチャートである。
【図２７】図２４におけるステップＳ５の暗視モードの具体的な処理を示すフローチャートである。
【図２８】映像信号処理プログラムがコンピュータに実行させる処理を示すフローチャートである。
【図２９】通常モードにおいてホワイトバランスを調整したときの、ＮＴＳＣのベクトルスコープ上の白の位置を示す図である。
【図３０】暗視モードにおいて映像信号のバランスを第１の状態に調整したとき、ＮＴＳＣのベクトルスコープ上で白が移動する位置を示す図である。
【図３１】暗視モードにおいて映像信号のバランスを第２の状態に調整したとき、ＮＴＳＣのベクトルスコープ上で白が移動する位置を示す図である。
【図３２】通常モードにおけるＲ／Ｇ及びＢ／Ｇの値が、暗視モードにおいてどのように変化するかを示す図である。
【発明を実施するための形態】
【００１３】
以下、一実施形態の撮像装置、撮像方法、撮像プログラムについて、添付図面を参照して説明する。
【００１４】
＜撮像装置の構成＞
まず、図１を用いて、一実施形態の撮像装置の全体的な構成について説明する。図１に示す一実施形態の撮像装置は、昼間等の可視光が十分に存在する環境下に適した通常モードと、夜間等の可視光がほとんどない環境下に適した暗視モードと、可視光がわずかに存在する環境下に適した中間モードとの３つのモードで撮像可能な撮像装置である。
【００１５】
中間モードは、可視光が少ない環境下で、赤外線を投光しながら撮像する第１の赤外光投光モードである。暗視モードは、可視光がさらに少ない（ほとんどない）環境下で、赤外線を投光しながら撮像する第２の赤外光投光モードである。
【００１６】
撮像装置は、中間モードと暗視モードとのうちの一方のみを備えていてもよい。撮像装置は、通常モードを備えていなくてもよい。撮像装置は、少なくとも、赤外線を投光しながら撮像する赤外光投光モードを備えていればよい。
【００１７】
図１において、被写体から反射した一点鎖線にて示す光は、光学レンズ１によって集光される。ここで、光学レンズ１には、可視光が十分に存在する環境下では可視光、可視光がほとんどない環境下では後述する赤外線投光器９より発せられた赤外光を被写体が反射した赤外光が入射される。
【００１８】
可視光がわずかに存在する環境下では、光学レンズ１には、可視光と赤外線投光器９より発せられた赤外光を被写体が反射した赤外光とが混在した光が入射される。
【００１９】
図１では簡略化のため、光学レンズ１を１つのみとしているが、実際には、撮像装置は複数の光学レンズを備える。
【００２０】
光学レンズ１と撮像部３との間には、光学フィルタ２が設けられている。光学フィルタ２は、赤外線カットフィルタ２１とダミーガラス２２との２つの部分を有する。光学フィルタ２は、駆動部８によって、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入した状態と、光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態とのいずれかの状態に駆動される。
【００２１】
撮像部３は、水平方向及び垂直方向に複数の受光素子（画素）が配列した撮像素子３１と、それぞれの受光素子に対応して赤色（Ｒ），緑色（Ｇ），青色（Ｂ）のいずれかの色のフィルタエレメントが配置されたカラーフィルタ３２とを有する。撮像素子３１は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）でよい。
【００２２】
カラーフィルタ３２には、一例として、図２に示すように、Ｒ，Ｇ，Ｂの各色のフィルタエレメントがベイヤ配列と称される配列で並べられている。ベイヤ配列は、Ｒ，Ｇ，Ｂのフィルタエレメントの所定の配列の一例である。図２において、各行のＲのフィルタエレメントに挟まれたＧのフィルタエレメントをＧｒ、Ｂのフィルタエレメントに挟まれたＧのフィルタエレメントをＧｂとしている。
【００２３】
ベイヤ配列では、ＲのフィルタエレメントとＧｒのフィルタエレメントとが交互に配置された水平方向の行と、ＢのフィルタエレメントとＧｂのフィルタエレメントとが交互に配置された水平方向の行とが、垂直方向に交互に配列されている。
【００２４】
図３は、撮像部３におけるＲ光，Ｇ光，Ｂ光の波長と相対感度との分光感度特性を示している。相対感度は、最大値が１に正規化されている。撮像装置を通常モードで動作させるとき、可視光による良好なカラー映像を撮像するには、波長７００ｎｍ以上の赤外光をカットする必要がある。
【００２５】
そこで、駆動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入するように光学フィルタ２を駆動する。
【００２６】
図３より分かるように、撮像部３は、波長７００ｎｍ以上の赤外光の領域においても感度を有する。そこで、撮像装置を中間モードまたは暗視モードで動作させるときには、駆動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間の赤外線カットフィルタ２１を外してダミーガラス２２を挿入するように光学フィルタ２を駆動する。
【００２７】
光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態では、波長７００ｎｍ以上の赤外光はカットされない。よって、撮像装置は、図３に破線の楕円で囲んだ部分の感度を利用して、Ｒ，Ｇ，Ｂの各色情報を得ることが可能となる。ダミーガラス２２を挿入するのは、光路長を、赤外線カットフィルタ２１を挿入した場合の光路長と同じにするためである。
【００２８】
赤外線投光器９は、それぞれ、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光する投光部９１，９２，９３を有する。中間モードまたは暗視モードのとき、制御部７内の投光制御部７１は、時分割で投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を選択的に投光させるように制御する。
【００２９】
ところで、撮像素子３１にはシリコンウェハが用いられている。図４は、Ｒ，Ｇ，Ｂそれぞれの色を呈する素材に白色光を照射した場合の各波長における反射率にシリコンの受光感度を乗じたときの、波長と相対検出率との関係を示している。図４においても、相対検出率は、最大値が１に正規化されている。
【００３０】
図４に示すように、赤外光の領域において、例えば、波長７８０ｎｍにおける反射光はＲ色を呈する素材の反射光との相関性が高く、波長８７０ｎｍにおける反射光はＢ色を呈する素材の反射光との相関性が高く、波長９４０ｎｍにおける反射光はＧ色を呈する素材の反射光との相関性が高い。
【００３１】
そこで、本実施形態においては、投光部９１，９２，９３が投光する赤外光の波長ＩＲ１，ＩＲ２，ＩＲ３を、７８０ｎｍ，９４０ｎｍ，８７０ｎｍとする。これらの波長は、波長ＩＲ１〜ＩＲ３の一例であり、７８０ｎｍ，９４０ｎｍ，８７０ｎｍ以外でもよい。
【００３２】
投光部９１が波長ＩＲ１の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＲ信号に割り当てる。投光部９３が波長ＩＲ２の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＧ信号に割り当てる。投光部９２が波長ＩＲ３の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＢ信号に割り当てる。
【００３３】
このようにすれば、原理的に、中間モードまたは暗視モードにおいても、通常モードにおいて可視光が存在する環境下で被写体を撮像した場合と同様の色を再現することができる。
【００３４】
色味が被写体の実際の色味と異なるカラー映像となるものの、７８０ｎｍの波長ＩＲ１をＲ光、８７０ｎｍの波長ＩＲ３をＧ光、９４０ｎｍの波長ＩＲ２をＢ光に割り当ててもよい。波長ＩＲ１，ＩＲ２，ＩＲ３をＲ光，Ｇ光，Ｂ光に任意に割り当てることも可能である。
【００３５】
本実施形態においては、被写体の色味を最もよく再現する、波長ＩＲ１，ＩＲ２，ＩＲ３をそれぞれＲ光，Ｇ光，Ｂ光に割り当てることとする。
【００３６】
制御部７は、撮像部３における撮像と、映像処理部５内の各部と、映像出力部６とを制御する。制御部７は、投光制御部７１の他、通常モードと中間モードと暗視モードとを切り換えるモード切換部７２と、後述する色ゲイン設定部６２によって３原色データ（Ｒ画素値，Ｇ画素値，Ｂ画素値）に乗じる色ゲインを調整して設定するよう制御する色ゲイン制御部７３とを備える。
【００３７】
モード切換部７２は、通常モードと中間モードと暗視モードとに対応させて、映像処理部５内の動作を後述のように適宜切り換える。映像処理部５と制御部７とが一体化されていてもよい。
【００３８】
撮像部３によって撮像された映像信号はＡ／Ｄ変換器４によってＡ／Ｄ変換され、映像処理部５に入力される。撮像部３とＡ／Ｄ変換器４とが一体化されていてもよい。
【００３９】
映像処理部５は、スイッチ５１，５３と、前信号処理部５２と、デモザイク処理部５４とを有する。スイッチ５１，５３は物理的なスイッチであってもよく、前信号処理部５２の動作と不動作とを切り換えるための概念的なスイッチであってもよい。制御部７には、撮像している映像の明るさを検出するために、映像処理部５から映像信号が入力される。
【００４０】
図５に示すように、前信号処理部５２は、周囲画素加算部５２１と、同一位置画素加算部５２２と、合成部５２３とを有する。
【００４１】
映像処理部５は、Ｒ，Ｇ，Ｂの３原色データを生成して、映像出力部６に供給する。映像出力部６は、３原色データを所定の形式で図示していない表示部等へと出力する。
【００４２】
映像出力部６は、Ｒ，Ｇ，Ｂ信号をそのまま出力してもよいし、Ｒ，Ｇ，Ｂ信号を輝度信号と色信号（または色差信号）に変換して出力してもよい。映像出力部６は、コンポジット映像信号を出力してもよい。映像出力部６は、デジタル信号の映像信号を出力してもよいし、Ｄ／Ａ変換器によってアナログ信号に変換した映像信号を出力してもよい。
【００４３】
映像出力部６は、Ｒ，Ｇ，Ｂの３原色データのそれぞれに所定の色ゲインを乗じてＲ，Ｇ，Ｂのバランス（比率）を調整する色ゲイン設定部６２を有する。色ゲイン設定部６２は、通常モードにおける映像信号のホワイトバランスを調整するために、色ゲインを設定することができる。色ゲイン設定部６２は、暗視モードにおいて、Ｒ，Ｇ，Ｂのバランスを調整するために、色ゲインを設定してもよい。
【００４４】
ここでは、色ゲイン設定部６２を映像出力部６内に設けているが、映像処理部５内に設けてもよく、その設ける位置は任意である。
【００４５】
以下、通常モードと中間モードと暗視モードとのそれぞれの具体的な動作について説明する。
【００４６】
＜通常モード＞
通常モードでは、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオフにする。
【００４７】
撮像部３によって撮像された映像信号は、Ａ／Ｄ変換器４によってデジタル信号である映像データに変換されて、映像処理部５に入力される。通常モードでは、モード切換部７２は、スイッチ５１，５３を端子Ｔｂに接続するように制御する。
【００４８】
図６の（ａ）は、撮像部３の露光Ｅｘ１，Ｅｘ２，Ｅｘ３…を示している。実際には露光時間はシャッタスピード等の条件によって変化するが、ここでは露光Ｅｘ１，Ｅｘ２，Ｅｘ３は最大露光時間を示している。
【００４９】
図６の（ｂ）は、それぞれの映像信号のフレームが得られるタイミングを示している。露光Ｅｘ１の前の図示していない露光に基づいて、所定時間後に映像信号のフレームＦ０が得られる。露光Ｅｘ１に基づいて、所定時間後に映像信号のフレームＦ１が得られる。露光Ｅｘ２に基づいて、所定時間後に映像信号のフレームＦ２が得られる。露光Ｅｘ３以降も同様である。映像信号のフレーム周波数を、例えば３０フレーム／秒とする。
【００５０】
映像信号のフレーム周波数は、ＮＴＳＣ方式であれば３０フレーム／秒または６０フレーム／秒、ＰＡＬ方式であれば２５フレーム／秒または５０フレーム／秒のように適宜設定すればよい。また、映像信号のフレーム周波数は、映画で使われている２４フレーム／秒であってもよい。
【００５１】
Ａ／Ｄ変換器４より出力された各フレームの映像データは、スイッチ５１，５３を介してデモザイク処理部５４に入力される。デモザイク処理部５４は、入力された各フレームの映像データにデモザイク処理を施す。映像処理部５は、デモザイク処理の他、ホワイトバランス補正やゲイン補正等の各種の映像処理を施して、Ｒ，Ｇ，Ｂの３原色データを出力する。
【００５２】
図７を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図７において、（ａ）は映像データの任意のフレームＦｍを示している。フレームＦｍは、有効映像期間の画素によって構成されたフレームである。映像データの画素数は、例えばＶＧＡ規格では水平６４０画素、垂直４８０画素である。ここでは簡略化のため、フレームＦｍの画素数を大幅に少なくして、フレームＦｍを概念的に示している。
【００５３】
ベイヤ配列の撮像部３を用いて生成された映像データは、フレームＦｍ内で、Ｒ，Ｇ，Ｂの画素データが混在したデータである。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて算出したＲの補間画素データＲｉを生成する。デモザイク処理部５４は、図７の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームＦｍＲを生成する。
【００５４】
デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて算出したＧの補間画素データＧｉを生成する。デモザイク処理部５４は、図７の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームＦｍＧを生成する。
【００５５】
デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて算出したＢの補間画素データＢｉを生成する。デモザイク処理部５４は、図７の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームＦｍＢを生成する。
【００５６】
デモザイク処理部５４は、Ｒの画素データを補間する際には少なくともＲの画素データを用いればよく、Ｇの画素データを補間する際には少なくともＧの画素データを用いればよく、Ｂの画素データを補間する際には少なくともＢの画素データを用いればよい。デモザイク処理部５４は、補間精度を向上させるために、Ｒ，Ｇ，Ｂの画素データを補間する際に、生成しようとする補間画素データの色とは異なる他の色の画素データを用いてもよい。
【００５７】
撮像部３には、有効映像期間より外側の画素も存在しているため、フレームＦｍの上下左右端部に位置する画素においても、Ｒ，Ｇ，Ｂの画素データを補間することができる。
【００５８】
デモザイク処理部５４によって生成されたＲフレームＦｍＲ，ＧフレームＦｍＧ，ＢフレームＦｍＢがＲ，Ｇ，Ｂの３原色データとして出力される。図６では、理解を容易にするため、Ｒ，Ｇ，Ｂの画素データをフレーム単位で説明したが、実際には、Ｒ，Ｇ，Ｂの画素データは画素ごとに順次出力される。
【００５９】
＜中間モード：第１中間モード＞
中間モード（第１中間モード及び後述する第２中間モード）では、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオンにする。モード切換部７２は、スイッチ５１，５３を端子Ｔａに接続するように制御する。
【００６０】
図８の（ａ）は、赤外線投光器９による赤外光の投光の状態を示している。制御部７は、通常モードの１フレーム期間を１／３ずつに分け、例えば投光部９１，９２，９３の順に赤外光を投光させるように制御する。
【００６１】
図８の（ａ）に示す例では、１フレームの最初の１／３の期間では、波長ＩＲ１（７８０ｎｍ）の赤外光が被写体に照射される。１フレームの次の１／３の期間では、波長ＩＲ２（９４０ｎｍ）の赤外光が被写体に照射される。１フレームの最後の１／３の期間では、波長ＩＲ３（８７０ｎｍ）の赤外光が被写体に照射される。波長ＩＲ１〜ＩＲ３の赤外光を投光する順番は任意である。
【００６２】
図８の（ｂ）に示すように、波長ＩＲ１の赤外光を投光しているタイミングでは、撮像部３はＲ光との相関性が高い露光Ex1Rが行われる。波長ＩＲ２の赤外光を投光しているタイミングでは、撮像部３はＧ光との相関性が高い露光Ex1Gが行われる。波長ＩＲ３の赤外光を投光しているタイミングでは、撮像部３はＢ光との相関性が高い露光Ex1Bが行われる。
【００６３】
但し、中間モードでは、可視光がわずかに存在する環境下での撮像であるため、可視光と赤外線投光器９より投光された赤外光とが混在した状態である。よって、中間モードにおいては、露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…は、可視光による露光と赤外光による露光とを合わせた露光となる。
【００６４】
図８の（ｃ）に示すように、露光Ex1R，Ex1G，Ex1Bに基づいて、所定時間後に、露光Ex1Rに対応したフレームF1IR1、露光Ex1Gに対応したフレームF1IR2、露光Ex1Bに対応したフレームF1IR3が得られる。
【００６５】
また、露光Ex2R，Ex2G，Ex2Bに基づいて、所定時間後に、露光Ex2Rに対応したフレームF2IR1、露光Ex2Gに対応したフレームF2IR2、露光Ex2Bに対応したフレームF2IR3が得られる。露光Ex3R，Ex3G，Ex3B以降も同様である。
【００６６】
図８の（ｃ）の撮像信号のフレーム周波数は、９０フレーム／秒である。中間モードでは、通常モードにおける映像信号の１フレームを時分割して波長ＩＲ１〜ＩＲ３の赤外光を投光するため、通常モードと同じ形式の映像信号を出力するためには、図８の（ｃ）の撮像信号のフレーム周波数は、通常モードにおけるフレーム周波数の３倍となる。
【００６７】
後述するように、図８の（ｃ）の３フレームの撮像信号に基づいて、図８の（ｄ）に示す３０フレーム／秒のフレーム周波数を有する映像信号の１フレームが生成される。例えば、フレームF1IR1，F1IR2，F1IR3に基づいてフレームF1IRが生成され、フレームF2IR1，F2IR2，F2IR3に基づいてフレームF2IRが生成される。
【００６８】
図８の（ｃ）の３フレームの撮像信号に基づいて、図８の（ｄ）の各フレームの映像信号を生成する中間モードでの動作を具体的に説明する。
【００６９】
Ａ／Ｄ変換器４より出力された図８の（ｃ）に示す撮像信号に対応する各フレームの映像データは、スイッチ５１を介して前信号処理部５２に入力される。
【００７０】
図９を用いて、前信号処理部５２における前信号処理について説明する。図９の（ａ）は、波長ＩＲ１の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR1を示している。フレームFmIR1内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ１の赤外光を投光した状態で生成されたことを示す添え字１を付している。
【００７１】
図９の（ｂ）は、波長ＩＲ２の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR2を示している。フレームFmIR2内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ２の赤外光を投光した状態で生成されたことを示す添え字２を付している。
【００７２】
図９の（ｃ）は、波長ＩＲ３の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR3を示している。フレームFmIR3内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ３の赤外光を投光した状態で生成されたことを示す添え字３を付している。
【００７３】
図９の（ａ）に示すフレームFmIR1は、Ｒ光との相関性が高い波長ＩＲ１の赤外光が投光された状態で生成された映像データであるので、Ｒの画素データは投光された赤外光と対応した画素データであり、Ｂ，Ｇの画素データは投光された赤外光と対応していない画素データである。Ｂ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。
【００７４】
図９の（ｂ）に示すフレームFmIR2は、Ｇ光との相関性が高い波長ＩＲ２の赤外光が投光された状態で生成された映像データであるので、Ｇの画素データは投光された赤外光と対応した画素データであり、Ｒ，Ｂの画素データは投光された赤外光と対応していない画素データである。Ｒ，Ｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。
【００７５】
図９の（ｃ）に示すフレームFmIR3は、Ｂ光との相関性が高い波長ＩＲ３の赤外光が投光された状態で生成された映像データであるので、Ｂの画素データは投光された赤外光と対応した画素データであり、Ｒ，Ｇの画素データは投光された赤外光と対応していない画素データである。Ｒ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。
【００７６】
前信号処理部５２内の同一位置画素加算部５２２は、互いに同じ画素位置のＲ，Ｇｒ，Ｇｂ，Ｂの画素データを以下の式（１）〜（３）に従って個別に加算して、画素データR123，Gr123，Gb123，B123を生成する。中間モードでは、前信号処理部５２内の周囲画素加算部５２１は不動作である。
【００７７】
R123=ka×R1+kb×R2+kc×R3    …（１）
G123=kd×G1+ke×G2+kf×G3    …（２）
B123=kg×B1+kh×B2+ki×B3    …（３）
【００７８】
式（１）〜（３）において、R1，G1，B1はフレームFmIR1におけるＲ，Ｇ，Ｂの画素データ、R2，G2，B2はフレームFmIR2におけるＲ，Ｇ，Ｂの画素データ、R3，G3，B3はフレームFmIR3におけるＲ，Ｇ，Ｂの画素データである。ka〜kiは所定の係数である。式（２）におけるG123はGr123またはGb123である。
【００７９】
このとき、同一位置画素加算部５２２は、ハッチングを付していないＲ，Ｇｒ，Ｇｂ，Ｂのそれぞれの画素データに、ハッチングを付した同じ画素位置のＲ，Ｇｒ，Ｇｂ，Ｂの画素データそれぞれを加算する。
【００８０】
即ち、同一位置画素加算部５２２は、式（１）に基づいて、フレームFmIR1におけるＲの画素データに、フレームFmIR2，FmIR3における同じ画素位置のＲの画素データを加算して、画素データR123を生成する。つまり、受光素子における赤色のカラーフィルタに対応する領域の画素データだけを用いて赤色用の画素データR123を生成する。
【００８１】
同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2におけるＧｒ，Ｇｂの画素データに、フレームFmIR1，FmIR3における同じ画素位置のＧｒ，Ｇｂの画素データを加算して、画素データG123を生成する。つまり、受光素子における緑色のカラーフィルタに対応する領域の画素データだけを用いて緑色用の画素データG123を生成する。
【００８２】
同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3におけるＢの画素データに、フレームFmIR1，FmIR2における同じ画素位置のＢの画素データを加算して、画素データB123を生成する。つまり、受光素子における青色のカラーフィルタに対応する領域の画素データだけを用いて青色用の画素データB123を生成する。
【００８３】
前信号処理部５２内の合成部５２３は、それぞれの画素位置において生成された画素データR123，Gr123，Gb123，B123に基づいて、図９の（ｄ）に示す合成映像信号のフレームFmIR123を生成する。
【００８４】
具体的には、合成部５２３は、フレームFmIR1における画素データR123と、フレームFmIR2における画素データGr123，Gb123と、フレームFmIR3における画素データB123とを選択して合成する。これによって合成部５２３は、合成映像信号のフレームFmIR123を生成する。
【００８５】
このように、合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR123，Gr123，Gb123，B123を配列させたフレームFmIR123を生成する。
【００８６】
第１中間モードにおいては、ハッチングを付していない画素データと、ハッチングを付した画素データとを用いて、フレームFmIR123の映像データを生成する。
【００８７】
同一位置画素加算部５２２によって互いに同じ画素位置の画素データを加算するのは、次の理由による。中間モードではわずかではあるものの可視光が存在する環境下での撮像であるため、ハッチングを付した画素データは可視光による露光に基づくそれぞれの色の成分を含む。よって、同じ画素位置の画素データを加算することによって、それぞれの色の感度を上げることができる。
【００８８】
可視光と赤外光とが混在している状況で可視光が比較的多ければ、可視光による露光が支配的となる。この場合、フレームFmIR123の映像データは、可視光によって露光した映像信号に基づく成分が主となる。可視光と赤外光とが混在している状況で赤外光が比較的多ければ、赤外光による露光が支配的となる。この場合、フレームFmIR123の映像データは、赤外光によって露光した映像信号に基づく成分が主となる。
【００８９】
可視光が比較的少ない場合には、式（１）において、係数ka，kb，kcの大小関係を、ka>kb，kcとし、式（２）において、係数kd，ke，kfの大小関係を、kf>kd，keとし、式（３）において、係数kg，kh，kiの大小関係を、kh>kg，kiとするのがよい。これは、波長ＩＲ１はＲ光との相関性が高く、波長ＩＲ２はＧ光との相関性が高く、波長ＩＲ３はＢ光との相関性が高いからである。
【００９０】
このようにすれば、Ｒの画素データではフレームFmIR1におけるＲの画素データ、Ｇの画素データではフレームFmIR2におけるＧの画素データ、Ｂの画素データではフレームFmIR3におけるＢの画素データを主とすることができる。
【００９１】
前信号処理部５２より出力されたフレームFmIR123の映像データは、スイッチ５３を介してデモザイク処理部５４に入力される。デモザイク処理部５４は、通常モードと同様に、入力されたフレームFmIR123の映像データにデモザイク処理を施す。映像処理部５は、デモザイク処理の他、ホワイトバランス補正やゲイン補正等の各種の映像処理を施して、Ｒ，Ｇ，Ｂの３原色データを出力する。
【００９２】
図１０を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１０の（ａ）は、フレームFmIR123を示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データR123iを生成する。デモザイク処理部５４は、図１０の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123Rを生成する。
【００９３】
デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データG123iを生成する。デモザイク処理部５４は、図１０の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123Gを生成する。
【００９４】
デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データB123iを生成する。デモザイク処理部５４は、図１０の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123Bを生成する。
【００９５】
通常モードにおける図７に示すデモザイク処理部５４の動作と、中間モードにおける図１０に示すデモザイク処理部５４の動作とを比較すれば分かるように、両者は実質的に同じである。デモザイク処理部５４の動作は、通常モードであっても中間モードであっても変わらない。
【００９６】
通常モードでは前信号処理部５２を不動作とし、中間モードでは、周囲画素加算部５２１を除き、前信号処理部５２を動作させればよい。通常モードと中間モードとで、映像処理部５におけるデモザイク処理部５４、及び、ホワイトバランス補正やゲイン補正等の信号処理部を共用させることができる。
【００９７】
＜中間モード：第２中間モード＞
図１１及び図１２を用いて、第２中間モードにおける動作を説明する。第２中間モードにおける動作において、第１中間モードにおける動作と同一部分は説明を省略する。図１１の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3は、図９の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3と同じである。
【００９８】
合成部５２３は、フレームFmIR1におけるＲの画素データであるR1と、フレームFmIR2におけるＧの画素データであるGr2，Gb2と、フレームFmIR3におけるＢの画素データであるB3とを選択して合成する。これによって合成部５２３は、図１１の（ｄ）に示す合成映像信号のフレームFmIR123’を生成する。
【００９９】
即ち、フレームFmIR123’は、フレームFmIR1，FmIR2，FmIR3におけるハッチングを付していないＲ，Ｇｒ，Ｇｂ，Ｂの画素データを１フレームに集結させた映像データである。
【０１００】
つまり、フレームFmIR123’においては、波長ＩＲ１の赤外光を投光した状態における赤色のカラーフィルタに対応する領域の画素データだけを用いた赤色用の画素データ、波長ＩＲ２の赤外光を投光した状態における緑色のカラーフィルタに対応する領域の画素データだけを用いた緑色用の画素データ、波長ＩＲ３の赤外光を投光した状態における青色のカラーフィルタに対応する領域の画素データだけを用いた青色用の画素データとなっている。
【０１０１】
このように、合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR1，Gr2，Gb2，B3を配列させたフレームFmIR123’を生成する。
【０１０２】
第２中間モードでは、同一位置画素加算部５２２は、式（１）における係数kaを１、係数kb，kcを０とし、式（２）における係数keを１、係数kd，kfを０とし、式（３）における係数kiを１、係数kg，khを０とする。
【０１０３】
これによって、フレームFmIR1におけるＲの画素データと、フレームFmIR2におけるＧｒ，Ｇｂの画素データと、フレームFmIR3におけるＢの画素データは、それぞれそのままの値となる。
【０１０４】
よって、合成部５２３は、第１中間モードにおける動作と同様に、フレームFmIR1におけるＲの画素データと、フレームFmIR2におけるＧｒ，Ｇｂの画素データと、フレームFmIR3におけるＢの画素データを選択すれば、フレームFmIR123’を生成することができる。
【０１０５】
第２中間モードにおいては、前信号処理部５２は、画素データの色と同じ色の画素データを生成するための赤外光が投光された状態で生成された画素データ（ハッチングを付していない画素データ）のみ用いて、フレームFmIR123’の映像データを生成する。
【０１０６】
第２中間モードによれば、第１中間モードよりも感度や色の再現性は低下するものの、演算処理を簡略化したり、フレームメモリを削減したりすることができる。
【０１０７】
図１２を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１２の（ａ）は、フレームFmIR123’を示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データＲ１ｉを生成する。デモザイク処理部５４は、図１２の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’Rを生成する。
【０１０８】
デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データＧ２ｉを生成する。デモザイク処理部５４は、図１２の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123’Gを生成する。
【０１０９】
デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データＢ３ｉを生成する。デモザイク処理部５４は、図１２の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123’Bを生成する。
【０１１０】
以上のように、中間モードにおいては、受光素子における赤色のカラーフィルタに対応する領域から得た画素データから赤色用の画素データを生成し、受光素子における緑色のカラーフィルタに対応する領域から得た画素データから緑色用の画素データを生成し、受光素子における青色のカラーフィルタに対応する領域から得た画素データから青色用の画素データを生成する。
【０１１１】
＜暗視モード：第１暗視モード＞
暗視モード（第１暗視モード及び後述する第２暗視モード）では、中間モードと同様、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオンにする。モード切換部７２は、スイッチ５１，５３を端子Ｔａに接続するように制御する。
【０１１２】
暗視モードにおける概略的な動作は、図８と同じである。但し、暗視モードでは、可視光がほとんど存在しない環境下での撮像であるため、図８の（ｂ）における露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…は、赤外光のみによる露光を想定している。
【０１１３】
可視光がほとんど存在せず赤外光のみが存在している環境下では、カラーフィルタ３２におけるそれぞれのフィルタエレメントの特性には差がなくなるため、撮像部３を単色の撮像素子とみなすことができる。
【０１１４】
そこで、前信号処理部５２内の周囲画素加算部５２１は、暗視モードでは、赤外光の感度を向上させるために、それぞれの画素データに対して、周囲に位置する画素データを加算する。
【０１１５】
具体的には、図１３の（ａ）に示すように、Ｒの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＲの画素データに対して周囲に位置するＧ（Ｇｒ，Ｇｂ）及びＢの８画素の画素データを加算する。
【０１１６】
つまり、中間モードのときは、受光素子における赤色のカラーフィルタに対応する領域から得た画素データから赤色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから赤色用の画素データを生成することとなる。図１３に示す例では、各色とも注目画素を含む９画素分の領域から得た画素データを用いている。
【０１１７】
図１３の（ｂ）に示すように、Ｇｒの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＧｒの画素データに対して周囲に位置するＲ，Ｇｂ，Ｂの８画素の画素データを加算する。図１３の（ｃ）に示すように、Ｇｂの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＧｂの画素データに対して周囲に位置するＲ，Ｇｒ，Ｂの８画素の画素データを加算する。
【０１１８】
つまり、中間モードのときは、受光素子における緑色のカラーフィルタに対応する領域から得た画素データから緑色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから緑色用の画素データを生成することとなる。
【０１１９】
図１３の（ｄ）に示すように、Ｂの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＢの画素データに対して周囲に位置するＲ及びＧ（Ｇｒ，Ｇｂ）の８画素の画素データを加算する。
【０１２０】
つまり、中間モードのときは、受光素子における青色のカラーフィルタに対応する領域から得た画素データから青色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから青色用の画素データを生成することとなる。
【０１２１】
周囲画素加算部５２１は、注目画素の画素データと周囲の８画素の画素データとの９画素を単純に加算してもよいし、周囲の８画素の画素データに対して所定の重み付けをした上で注目画素の画素データに加算してもよい。
【０１２２】
ところで、ビニングと称される複数の画素をまとめて１つの画素として読み出し可能な撮像素子が存在する。撮像素子３１として、ビニング機能を有する撮像素子を用いる場合には、周囲画素加算部５２１による加算処理ではなく、ビニング機能を有する撮像素子による加算処理を行ってもよい。撮像素子によるビニングは、周囲画素加算部５２１による加算処理と実質的に等価である。
【０１２３】
図１４の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3は、図９の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3と同じである。図１４の（ｄ）〜（ｆ）において、R1ad，Gr1ad，Gb1ad，B1ad，R2ad，Gr2ad，Gb2ad，B2ad，R3ad，Gr3ad，Gb3ad，B3adは、それぞれ、Ｒ，Ｇｒ，Ｇｂ，Ｂの画素データに対して周囲の８画素の画素データを加算した加算画素データである。
【０１２４】
周囲画素加算部５２１は、フレームFmIR1，FmIR2，FmIR3のそれぞれの画素データに対して図１３に示す加算処理を施すことにより、図１４の（ｄ）〜（ｆ）に示すフレームFmIR1ad，FmIR2ad，FmIR3adを生成する。
【０１２５】
図１５の（ａ）〜（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１４の（ｄ）〜（ｆ）のフレームFmIR1ad，FmIR2ad，FmIR3adと同じである。
【０１２６】
同一位置画素加算部５２２は、第１中間モードと同様に、式（１）に基づいて、フレームFmIR1adにおけるR1adの画素データに、フレームFmIR2ad，FmIR3adにおける同じ画素位置のR2ad，R3adの画素データを加算して、画素データR123adを生成する。
【０１２７】
同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2adにおけるGr2ad，Gb2adの画素データに、フレームFmIR1ad，FmIR3adにおける同じ画素位置のGr1ad，Gb1ad，Gr3ad，Gb3adの画素データを加算して、画素データGr123ad，Gb123adを生成する。
【０１２８】
同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3adにおけるB3adの画素データに、フレームFmIR1ad，FmIR2adにおける同じ画素位置のB1ad，B2adの画素データを加算して、画素データB123adを生成する。
【０１２９】
合成部５２３は、第１中間モードと同様に、フレームFmIR1adにおける画素データR123adと、フレームFmIR2adにおける画素データGr123ad，Gb123adと、フレームFmIR3adにおける画素データB123adとを選択して合成する。これによって合成部５２３は、図１５の（ｄ）に示す合成映像信号のフレームFmIR123adを生成する。
【０１３０】
合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR123ad，Gr123ad，Gb123ad，B123adを配列させたフレームFmIR123adを生成する。
【０１３１】
図１６の（ａ）はフレームFmIR123adを示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データR123adiを生成する。デモザイク処理部５４は、図１６の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123adRを生成する。
【０１３２】
デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データG123adiを生成する。デモザイク処理部５４は、図１６の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123adGを生成する。
【０１３３】
デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データB123adiを生成する。デモザイク処理部５４は、図１６の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123adBを生成する。
【０１３４】
第１中間モードと第１暗視モードとは、前者が周囲画素加算部５２１を不動作としている一方で、後者が周囲画素加算部５２１を動作させている点で異なる。モード切換部７２は、暗視モードのとき、周囲画素加算部５２１を動作させればよい。
【０１３５】
暗視モードにおけるデモザイク処理部５４の動作は、通常モード及び中間モードにおけるデモザイク処理部５４の動作と実質的に同じである。通常モードと中間モードと暗視モードとで、映像処理部５におけるデモザイク処理部５４、及び、ホワイトバランス補正やゲイン補正等の信号処理部を共用させることができる。
【０１３６】
＜暗視モード：第２暗視モード＞
図１７及び図１８を用いて、第２暗視モードにおける動作を説明する。第２暗視モードにおける動作において、第１暗視モードにおける動作と同一部分は説明を省略する。図１７の（ａ）〜（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１５の（ａ）〜（ｃ）のFmIR1ad，FmIR2ad，FmIR3adと同じである。
【０１３７】
合成部５２３は、フレームFmIR1adにおけるＲの画素データであるR1adと、フレームFmIR2におけるＧの画素データであるGr2ad，Gb2adと、フレームFmIR3におけるＢの画素データであるB3adとを選択して合成する。これによって合成部５２３は、図１７の（ｄ）に示す合成映像信号のフレームFmIR123’adを生成する。
【０１３８】
合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR1ad，Gr2ad，Gb2ad，B3adを配列させたフレームFmIR123’adを生成する。
【０１３９】
なお、図１３を用いて説明したように、フレームFmIR123’adにおける赤色用の画素データR1adは、中間モードのときに赤色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。
【０１４０】
また、フレームFmIR123’adにおける緑色用の画素データGr2adは、中間モードのときに緑色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。
【０１４１】
さらに、フレームFmIR123’adにおける青色用の画素データB3adは、中間モードのときに青色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。
【０１４２】
第２暗視モードでは、第２中間モードと同様に、同一位置画素加算部５２２は、式（１）における係数kaを１、係数kb，kcを０とし、式（２）における係数keを１、係数kd，kfを０とし、式（３）における係数kiを１、係数kg，khを０とする。
【０１４３】
これによって、フレームFmIR1adにおけるR1adの画素データと、フレームFmIR2adにおけるGr2ad，Gb2adの画素データと、フレームFmIR3adにおけるB3adの画素データは、それぞれそのままの値となる。
【０１４４】
よって、合成部５２３は、第１暗視モードにおける動作と同様に、フレームFmIR1adにおけるR1adの画素データと、フレームFmIR2adにおけるGr2ad，Gb2adの画素データと、フレームFmIR3adにおけるB3adの画素データを選択すれば、フレームFmIR123’adを生成することができる。
【０１４５】
図１８を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１８の（ａ）は、フレームFmIR123’adを示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のR1adの画素データを用いて演算して、Ｒの補間画素データR1adiを生成する。デモザイク処理部５４は、図１８の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’adRを生成する。
【０１４６】
デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のGr2ad，Gb2adの画素データを用いて演算して、Ｇの補間画素データG2adiを生成する。デモザイク処理部５４は、補間して、図１８の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123’adGを生成する。
【０１４７】
デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のB3adの画素データを用いて算出したＢの補間画素データB3adiを生成する。デモザイク処理部５４は、図１８の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123’adBを生成する。
【０１４８】
第２中間モードと第２暗視モードとは、前者が周囲画素加算部５２１を不動作としている一方で、後者が周囲画素加算部５２１を動作させている点で異なる。
【０１４９】
また、中間モードにおいては、受光素子における各色に対応する領域から得た画素データそれぞれから各色用の画素データを生成していたが、暗視モードにおいては、周囲画素を加算するため、中間モードにおける各色用の画素データを生成するための領域それぞれよりも広い領域から得た画素データから各色用の画素データを生成するとも言える。
【０１５０】
＜モード切換の例＞
図１９を用いて、モード切換部７２によるモード切換の例を説明する。図１９の（ａ）は、一例として、昼間の時間帯から夜の時間帯へと時間が経過していくとき、周囲環境の明るさが変化していく様子を概略的に示している。
【０１５１】
図１９の（ａ）に示すように、昼間から夕刻へと時間が経過していくに従って明るさが低下していき、時刻ｔ３以降、ほぼ真っ暗の状態となる。図１９の（ａ）に示す明るさは実質的に可視光の量を示しており、時刻ｔ３以降、可視光がほとんどない状態である。
【０１５２】
制御部７は、映像処理部５から入力される映像信号（映像データ）の輝度レベルに基づいて周囲環境の明るさを判断することができる。図１９の（ｂ）に示すように、モード切換部７２は、明るさが所定の閾値Th1（第１の閾値）以上であるとき通常モードとし、明るさが閾値Th1未満で所定の閾値Th2（第２の閾値）以上であるとき中間モード、閾値Th2未満であるとき暗視モードとする。
【０１５３】
本実施形態の撮像装置は、明るさが閾値Th1となる時刻ｔ１までは通常モード、時刻ｔ１から明るさが閾値Th2となる時刻ｔ２まで中間モード、時刻ｔ２以降は暗視モードに、モードを自動的に切り換える。図１９の（ｂ）において、中間モードは第１中間モードと第２中間モードとのいずれでもよく、暗視モードは第１暗視モードと第２暗視モードとのいずれでもよい。
【０１５４】
図１９の（ａ）では可視光がほとんどなくなる時刻ｔ３の直前の明るさを閾値Th2としているが、時刻ｔ３の明るさを閾値Th2としてもよい。
【０１５５】
図１９の（ｃ）に示すように、モード切換部７２は、中間モードの期間で、可視光が比較的多い時刻ｔ１側の期間を第１中間モード、可視光が比較的少ない時刻ｔ２側の期間を第２中間モードとしてもよい。図１９の（ｃ）において、暗視モードは第１暗視モードと第２暗視モードとのいずれでもよい。
【０１５６】
本実施形態の撮像装置は、投光制御部７１が赤外線投光器９のオン・オフを制御し、モード切換部７２が映像処理部５内の各部の動作・不動作を切り換えることにより、それぞれのモードを実現することができる。
【０１５７】
図２０に示すように、通常モードは、赤外線投光器９がオフ、周囲画素加算部５２１と同一位置画素加算部５２２と合成部５２３がいずれも不動作、デモザイク処理部５４が動作の状態である。
【０１５８】
第１中間モードは、赤外線投光器９がオン、周囲画素加算部５２１が不動作、同一位置画素加算部５２２と合成部５２３とデモザイク処理部５４とが動作の状態である。第２中間モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算部５２２とが不動作、合成部５２３とデモザイク処理部５４とが動作の状態である。
【０１５９】
同一位置画素加算部５２２における動作と不動作とは、前述のように、式（１）〜（３）の係数ka〜kiの値を適宜に設定することによって容易に切り換えることができる。
【０１６０】
第１暗視モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算部５２２と合成部５２３とデモザイク処理部５４との全てが動作の状態である。第２暗視モードは、赤外線投光器９がオン、同一位置画素加算部５２２が不動作、周囲画素加算部５２１と合成部５２３とデモザイク処理部５４とが動作の状態である。
【０１６１】
ところで、周囲画素加算部５２１は、注目画素の画素データに対して周囲の画素データを加算するための計算式において、周囲の画素データに乗じる係数を、０を超える係数（例えば１）とすれば、周囲画素の加算処理を動作の状態とすることができる。
【０１６２】
また、周囲画素加算部５２１は、その計算式において、周囲の画素データに乗じる係数を０とすれば、周囲画素の加算処理を不動作の状態とすることができる。
【０１６３】
周囲画素加算部５２１における動作と不動作も、係数の値を適宜に設定することによって容易に切り換えることができる。
【０１６４】
＜撮像装置の第１の変形例＞
制御部７が周囲環境の明るさを検出する方法は、映像信号の輝度レベルに基づく方法に限定されない。
【０１６５】
図２１に示すように、明るさセンサ１１によって周囲環境の明るさを検出してもよい。図２１において、映像信号の輝度レベルと明るさセンサ１１によって検出した明るさとの双方に基づいて、周囲環境の明るさを判断してもよい。
【０１６６】
＜撮像装置の第２の変形例＞
制御部７は、周囲環境の明るさを直接的に検出せず、１年間における時期（日にち）及び時刻（時間帯）に基づいて周囲環境の明るさを概略的に想定して、モード切換部７２が各モードに切り換えるようにしてもよい。
【０１６７】
図２２に示すように、モード設定テーブル１２には、日にちと時間帯との組み合わせに対応して、通常モードと中間モードと暗視モードとのいずれかが設定されている。制御部７内の時計７４は、日にちと時刻を管理している。制御部７は、時計７４が示す日にちと時刻とを参照して、モード設定テーブル１２より設定されているモードを読み出す。
【０１６８】
投光制御部７１とモード切換部７２は、モード設定テーブル１２より読み出されたモードとなるように、撮像装置を制御する。
【０１６９】
＜撮像装置の第３の変形例＞
図２３に示すように、操作部１３によってユーザがモードを手動で選択して、投光制御部７１とモード切換部７２が選択されたモードとなるように撮像装置を制御してもよい。操作部１３は、撮像装置の筐体に設けられている操作ボタンであってもよく、リモートコントローラであってもよい。
【０１７０】
＜映像信号処理方法＞
図２４を用いて、図１に示す撮像装置で実行される映像信号処理方法を改めて説明する。
【０１７１】
図２４において、撮像装置が動作を開始すると、制御部７は、ステップＳ１にて、周囲環境の明るさが閾値Th1以上であるか否かを判定する。閾値Th1以上であれば（YES）、制御部７は、ステップＳ３にて、通常モードでの処理を実行させる。閾値Th1以上でなければ（NO）、制御部７は、ステップＳ２にて、周囲環境の明るさが閾値Th2以上であるか否かを判定する。
【０１７２】
閾値Th2以上であれば（YES）、制御部７は、ステップＳ４にて、中間モードでの処理を実行させる。閾値Th2以上でなければ（NO）、制御部７は、ステップＳ５にて、暗視モードでの処理を実行させる。
【０１７３】
制御部７は、ステップＳ３〜Ｓ５の後、処理をステップＳ１に戻し、ステップＳ１以降を繰り返す。
【０１７４】
図２５は、ステップＳ３の通常モードの具体的な処理を示す。図２５において、制御部７（投光制御部７１）は、ステップＳ３１にて、赤外線投光器９をオフにする。制御部７は、ステップＳ３２にて、赤外線カットフィルタ２１を挿入する。制御部７（モード切換部７２）は、ステップＳ３３にて、スイッチ５１，５３を端子Ｔｂに接続させる。ステップＳ３１〜Ｓ３３の順番は任意であり、同時であってもよい。
【０１７５】
制御部７は、ステップＳ３４にて、撮像部３によって被写体を撮像させる。制御部７は、ステップＳ３５にて、撮像部３が被写体を撮像することよって生成した映像信号を構成するフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。
【０１７６】
図２６は、ステップＳ４の中間モードの具体的な処理を示す。図２６において、制御部７（投光制御部７１）は、ステップＳ４１にて、投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。
【０１７７】
制御部７は、ステップＳ４２にて、ダミーガラス２２を挿入する。制御部７（モード切換部７２）は、ステップＳ４３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステップＳ４１〜Ｓ４３の順番は任意であり、同時であってもよい。
【０１７８】
制御部７は、ステップＳ４４にて、撮像部３によって被写体を撮像させる。撮像部３は、Ｒに対応付けられた波長ＩＲ１の赤外光と、Ｇに対応付けられた波長ＩＲ２の赤外光と、Ｂに対応付けられた波長ＩＲ３の赤外光とがそれぞれ投光されている状態で被写体を撮像する。
【０１７９】
制御部７（モード切換部７２）は、ステップＳ４５にて、周囲画素加算部５２１を不動作とし、合成部５２３を動作させて合成映像信号を生成させるよう、前信号処理部５２を制御する。
【０１８０】
波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光がそれぞれ投光されている状態で撮像部３が被写体を撮像することよって生成された映像信号を構成するフレームを第１のフレーム，第２のフレーム，第３のフレームとする。
【０１８１】
合成部５２３は、第１のフレーム内のＲの画素データと、第２のフレーム内のＧの画素データと、第３のフレーム内のＢの画素データとに基づく３原色の画素データを、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように配列させる。合成部５２３は、このようにして第１〜第３のフレームを１フレームに合成した合成映像信号を生成する。
【０１８２】
制御部７は、ステップＳ４６にて、合成映像信号のフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。
【０１８３】
デモザイク処理部５４は、合成映像信号のフレームに基づいて、Ｒのフレームと、Ｇのフレームと、Ｂのフレームとを生成するデモザイク処理を施して、デモザイク処理された３原色のフレームを順次生成する。
【０１８４】
デモザイク処理部５４は、Ｒの画素データが存在しない画素位置にＲの画素データを補間することによって、Ｒのフレームを生成することができる。デモザイク処理部５４は、Ｇの画素データが存在しない画素位置にＧの画素データを補間することによって、Ｇのフレームを生成することができる。デモザイク処理部５４は、Ｂの画素データが存在しない画素位置にＢの画素データを補間することによって、Ｂのフレームを生成することができる。
【０１８５】
第１中間モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２２を動作させ、第２中間モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２２を不動作とすればよい。
【０１８６】
図２７は、ステップＳ５の暗視モードの具体的な処理を示す。図２７において、制御部７（投光制御部７１）は、ステップＳ５１にて、投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。
【０１８７】
制御部７は、ステップＳ５２にて、ダミーガラス２２を挿入する。制御部７（モード切換部７２）は、ステップＳ５３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステップＳ５１〜Ｓ５３の順番は任意であり、同時であってもよい。
【０１８８】
制御部７は、ステップＳ５４にて、撮像部３によって被写体を撮像させる。制御部７（モード切換部７２）は、ステップＳ５５にて、周囲画素加算部５２１と合成部５２３とを動作させて合成映像信号を生成させるよう、前信号処理部５２を制御する。
【０１８９】
制御部７は、ステップＳ５６にて、合成映像信号のフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。
【０１９０】
第１暗視モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２２を動作させ、第２暗視モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２２を不動作とすればよい。
【０１９１】
＜映像信号処理プログラム＞
図１において、制御部７、または、映像処理部５と制御部７とが一体化部分をコンピュータ（マイクロコンピュータ）で構成し、映像信号処理プログラム（コンピュータプログラム）をコンピュータで実行させることによって、上述した本実施形態の撮像装置と同様の動作を実現させることも可能である。
【０１９２】
図２８を用いて、図２４のステップＳ４である中間モードにおける制御を映像信号処理プログラムで構成した場合にコンピュータに実行させる手順の例を説明する。図２８は、映像信号処理プログラムがコンピュータに実行させる処理を示す。
【０１９３】
図２８において、映像信号処理プログラムは、ステップS401にて、コンピュータに、Ｒ，Ｇ，Ｂに対応付けられた波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光をそれぞれ投光するように赤外線投光器９を制御するステップを実行させる。
【０１９４】
ステップS401に示すステップを映像信号処理プログラムの外部にて実行させてもよい。図２８では、ダミーガラス２２を挿入させるステップを省略している。ダミーガラス２２を挿入させるステップも映像信号処理プログラムの外部にて実行させてもよい。
【０１９５】
映像信号処理プログラムは、ステップS402にて、コンピュータに、波長ＩＲ１の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第１のフレームを構成する画素データを取得するステップを実行させる。
【０１９６】
映像信号処理プログラムは、ステップS403にて、コンピュータに、波長ＩＲ２の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第２のフレームを構成する画素データを取得するステップを実行させる。
【０１９７】
映像信号処理プログラムは、ステップS404にて、コンピュータに、波長ＩＲ３の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第３のフレームを構成する画素データを取得するステップを実行させる。ステップS402〜S404の順番は任意である。
【０１９８】
映像信号処理プログラムは、ステップS405にて、コンピュータに、Ｒ，Ｇ，Ｂの画素データを、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように配列させて、１フレームに合成した合成映像信号を生成するステップを実行させる。
【０１９９】
中間モードでは、映像信号処理プログラムは、ステップS405にて、コンピュータに、周囲画素の加算処理のステップを実行させない。
【０２００】
映像信号処理プログラムは、ステップS406にて、コンピュータに、合成映像信号のフレームにデモザイク処理を施して、Ｒ，Ｇ，Ｂのフレームを生成するステップを実行させる。
【０２０１】
図示は省略するが、図２４のステップＳ５である暗視モードにおける制御を映像信号処理プログラムで構成する場合には、図２８のステップS405にて、コンピュータに、周囲画素の加算処理のステップを実行させればよい。
【０２０２】
映像信号処理プログラムは、コンピュータで読み取り可能な記録媒体に記録されたコンピュータプログラムであってよい。映像信号処理プログラムが記録媒体に記録された状態で提供されてもよいし、映像信号処理プログラムをコンピュータにダウンロードさせるよう、インターネット等のネットワークを介して提供されてもよい。コンピュータで読み取り可能な記録媒体は、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ等の非一時的な任意の記録媒体でよい。
【０２０３】
＜暗視モードにおける色の調整について＞
ここで、暗視モードにおいて、カラー映像信号の色をどのように調整すれば色再現性のよい映像信号が得られるのかについて説明する。なお、撮影画像の画素値に応じて各色の色ゲインを変更しない例と、オートホワイトバランス処理のような技術を用いて、撮影画像の画素値に応じて各色の色ゲインを変更する例とを説明する。なお、以下の説明において、基本的に、単にＲ，Ｇ，Ｂと記すときは、Ｒの画素値，Ｇの画素値，Ｂの画素値を表すものとする。
【０２０４】
まず、赤外光を投光しないよう赤外線投光器９が制御される通常モードにおいて、撮影画像の画素値に応じて各色の色ゲインを変更しない場合、映像信号の色をどのような調整方法で調整するのかを説明する。通常モードでは、可視光がある環境下で被写体を撮像する通常の撮像装置において確立されている一般的な調整方法を採用すればよい。
【０２０５】
通常モードにおける調整時には、撮像装置は、基準光源下で基準となる無彩色の物体を撮像したときに出力される映像信号が白となるように調整される。基準光源は、例えば、色温度3100Kのハロゲンランプである。基準となる無彩色の物体としては、一般的に、例えば、標準白色板が用いられる。
【０２０６】
標準白色板としては、例えば、Labsphere, Inc.,製の商品である“SRT-99-050 Reflectance Target”を用いることができる。標準白色板は複数の会社から提供されており、いずれの会社の製品であってもよい。標準白色板は、可視光域から近赤外域までほぼ一定の反射率を有する。なお、上記の製品は、250nm〜2500nmの波長帯域で９０％以上の反射率を有する。
【０２０７】
通常モードにおいて撮影画像の画素値に応じて各色の色ゲインを変更しない場合、例えば、色ゲイン制御部７３は、基準光源下で標準白色板を撮像したときに出力される映像信号が白となるように、色ゲイン設定部６２がＲ，Ｇ，Ｂの各色データ（画素値）に乗じる色ゲインを制御する。
【０２０８】
映像出力部６より出力されるＲ，Ｇ，Ｂの各色データの比率は、Ｒ：Ｇ：Ｂ＝ｘ：ｙ：ｚと表される。通常モードにおいて、基準光源下で標準白色板を撮像したとき、Ｒ：Ｇ：Ｂ＝１：１：１とすることによって、ホワイトバランスが調整される。このときのＲ：Ｇ：Ｂ＝１：１：１とするための色ゲインが、基準光源下で標準白色板を撮像したときに出力される映像信号が白となる色ゲインの値である。このとき、少なくとも標準白色板に対応する領域の画素について、Ｒ：Ｇ：Ｂ＝１：１：１となるように調整すればよい。
【０２０９】
また、Ｇに対する色ゲインを固定し、Ｒ，Ｂに対する色ゲインを変化させてホワイトバランスを調整することもある。この場合、ＲとＧの色データが等しくなるようにするとともに、ＢとＧの色データが等しくなるように色ゲインを調整することによってホワイトバランスが調整される。つまり、Ｒ／Ｇ＝１．０、Ｂ／Ｇ＝１．０とすることによって、ホワイトバランスが調整される。このときの各色ゲインが、基準光源下で標準白色板を撮像したときに出力される映像信号が白となる色ゲインの値である。
【０２１０】
通常モードにおいて撮影画像の画素値に応じて各色の色ゲインを変更しない場合、以上のようにして、基準光源下で標準白色板を撮像したときに出力される映像信号が白となる色ゲインの値をメモリ等に保持しておき、色ゲイン設定部６２は、映像出力部に入力される映像信号のＲ画素値、Ｇ画素値、Ｂ画素値のそれぞれに、メモリが保持している色ゲインを乗じればよい。なお、基準光源下で基準となる無彩色の物体を撮像したときのＲ画素値とＧ画素値とＢ画素値とを完全に等しくする必要はなく、数％程度であれば、ずれていてもよい。特に監視用途であれば、数％のずれは許容範囲内である。
通常モードでは、このようにホワイトバランスが調整されることによって、結果として、映像信号の各色も調整されることになる。
【０２１１】
次に、通常モードにおいて撮影画像の画素値に応じて各色の色ゲインを変更する場合の例について説明する。この場合、画面全体の画素値の平均値における各色データがＲ：Ｇ：Ｂ＝１：１：１となるように、周知のオートホワイトバランス処理を実行する。その際、Ｇに対する色ゲインを固定し、Ｒ，Ｂに対する色ゲインを変化させて、Ｒ／Ｇ＝１．０、Ｂ／Ｇ＝１．０となるように、オートホワイトバランス処理を実行してもよい。いずれにしても、画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値とが等しくなるように撮影した撮像信号の画面全体の画素値の平均値に応じて各色ゲインを決定すればよい。
このようにオートホワイトバランス処理を実行する場合、色ゲイン制御部７３は、画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値とが等しくなるように、各色ゲインを決定する。
【０２１２】
例えば、画面全体の画素値の平均値において、Ｒ画素値が９７であり、Ｇ画素値が１００であり、Ｂ画素値が１０７であった場合、色ゲイン制御部７３は、Ｒの色ゲインを１００／９７とし、Ｇの色ゲインを１．０とし、Ｂの色ゲインを１００／１０７とする。そして、色ゲイン設定部６２が  映像出力部６に入力された映像信号の各色データに対して、色ゲイン制御部７３によって決定された各色ゲインを乗じることによって、画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値とが等しくなる。このようにする場合、撮影している画像の画素値に応じて各色の色ゲインは変わることとなる。なお、実際の色ゲインは、装置の仕様上の設定可能な値にするために、Ｒの色ゲインを１．０３１とし、Ｇの色ゲインを１．０００とし、Ｂの色ゲインを０．９３５として、装置の仕様上の設定可能な位までの数にしてもよい。
なお、通常モードにおいて撮影画像の画素値に応じて各色の色ゲインを変更する場合において基準光源下で標準白色板を撮像したときの各色ゲインは、通常モードにおいて撮影画像の画素値に応じて各色の色ゲインを変更しない場合の各色ゲインと理論的に等しくなる。
また、画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値とを完全に等しくする必要はなく、数％程度であれば、ずれていてもよい。
また、オートホワイトバランス処理に係る種々の技術を採用してもよい。例えば、画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値との比が所定の閾値よりも大きくずれている場合は、ターゲットとなる値をＲ：Ｇ：Ｂ＝１：１：１から変更してもよい。
【０２１３】
次に、赤外光を投光するよう赤外線投光器９が制御される暗視モードにおいて、色再現性のよい映像信号を得るために、映像出力部６に入力されるカラー映像信号をどのように調整すべきかについて説明する。
【０２１４】
暗視モードにおいては、前述のように、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を被写体に照射したときに得られる映像信号をそれぞれＲ信号，Ｇ信号，Ｂ信号に割り当てている。原理的に、暗視モードにおいても、通常モードにおいて可視光が存在する環境下で被写体を撮像した場合と同様の色を再現することができるものの、全く同じ色を再現できるわけではない。
【０２１５】
そこで、本実施形態においては、暗視モードのときに、通常モードとは異なる調整方法を採用している。なお、暗視モードについても、撮影画像の画素値に応じて各色の色ゲインを変更しない例と、撮影画像の画素値に応じて各色の色ゲインを変更する例とを説明する。なお、以下の説明において、説明の便宜上、各赤外光の強度は、各色ゲインを３色とも同じゲインとして、各赤外光を投光して標準白色板を撮像したときに、少なくともその標準白色板に対応する領域の画素において、Ｒ画素値とＧ画素値とＢ画素値とが等しくなるような強度であるとする。つまり、赤外光の強度は、Ｒ画素値とＧ画素値とＢ画素値とのばらつき度合いに寄与しないような強度であるとする。
【０２１６】
なお、Ｒ画素値とＧ画素値とＢ画素値とのばらつき度合いとは、基本的には、同一画面内におけるＲ画素値とＧ画素値とＢ画素値とのばらつき度合いであるが、同じ被写体を撮像し続けている状況であればこの限りではない。
また、Ｒ画素値とＧ画素値とＢ画素値との値のばらつき度合いとは、例えば、Ｒ画素値とＧ画素値とＢ画素値とから算出される分散や標準偏差などの種々のばらつき度合いを示す指標で表すことができる。
また、Ｒ画素値とＧ画素値とＢ画素値との値のばらつき度合いは、Ｒ画素値、Ｇ画素値、及びＢ画素値の内の最も大きな値と、最も小さい値との差分値でも表すこともでき、公知の種々の統計的なばらつきを表す指標を用いて表すこともできる。
【０２１７】
まず、暗視モードにおいて撮影画像の画素値に応じて各色の色ゲインを変更しない場合について説明する。この場合、色ゲイン設定部６２は、標準白色板を撮像したときに、少なくとも標準白色板に対応する領域の画素について、Ｒ画素値とＧ画素値とＢ画素値との値のばらつき度合いが、通常モードにおいて基準光源下で標準白色板を撮像したときの少なくとも標準白色板に対応する領域の画素におけるＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いよりも大きくなる所定の色ゲインを、映像出力部６に入力される映像信号のＲ，Ｇ，Ｂの３原色データに乗じる。
そして、映像出力部６は、色ゲイン設定部６２によって色ゲインが乗じられて、各色の画素値に基づくばらつき度合いが所定のばらつき度合いよりも大きくされたカラー映像信号を出力する。
つまり、通常モードにおいて、基準光源下で標準白色板を撮像すると、Ｒ画素値とＧ画素値とＢ画素値とが等しくなるが、暗視モードでは前述のような色ゲインを各色データに乗じるため、標準白色板を撮像したときのＲ画素値とＧ画素値とＢ画素値とは等しくならない。
暗視モードにおいて撮影画像の画素値に応じて各色の色ゲインを変更しない場合、このような色ゲインの値をメモリ等に保持しておき、色ゲイン設定部６２は、映像出力部に入力される映像信号のＲ画素値、Ｇ画素値、Ｂ画素値のそれぞれに、メモリが保持している色ゲインを乗じればよい。
【０２１８】
以上のように、撮像信号における標準白色板に対応する画素におけるＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いが、通常モードにおいて基準光源下で標準白色板を撮像したときのＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いよりも大きくなっていればよい。この撮像信号における標準白色板に対応する画素は、単一の画素でもよいし、標準白色板に対応する複数の画素における画素値を平均したものであってもよい。
【０２１９】
また、この暗視モードにおける各色ゲインは、被写体に応じて複数準備してもよい。
例えば、本発明者による実験の結果、人の肌の色を重視する場合、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光して標準白色板を撮像したときに、少なくともその標準白色板に対応する領域の画素において、Ｒ画素値とＧ画素値とＢ画素値との比が、次のような比となると良好な色再現性を得られることがわかった。
つまり、Ｒ画素値とＧ画素値とＢ画素値との比が、Ｂ／ＧがＲ／Ｇよりも大きくなるとともに、Ｒ／Ｇが１より小さくなり、かつ、Ｂ／Ｇが１より大きい所定の比となるように、色ゲイン設定部６２における色ゲインを設定して、各色の画素値に基づくばらつき度合いを、通常モードのときよりも大きくすることで良好な色再現性を得られることがわかった。
このような色ゲインにすることによって、赤外線投光器９によって波長ＩＲ１〜ＩＲ３の赤外光を投光して撮像したときに人の肌の色がよく再現されることが確かめられた。より具体的には、Ｒ／Ｇ＝０．６６程度、Ｂ／Ｇ＝１．４６程度となるような色ゲインにすることが好ましい。
【０２２０】
また、プラスチックの色を重視する場合、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光して標準白色板を撮像したときに、少なくともその標準白色板に対応する領域の画素において、Ｒ画素値とＧ画素値とＢ画素値との比が、Ｂ／ＧがＲ／Ｇよりも大きくなるとともに、Ｒ／Ｇ及びＢ／Ｇが１より大きい所定の比となるように、色ゲイン設定部６２における色ゲインを設定して、各色の画素値に基づくばらつき度合いを、通常モードのときよりも大きくすることで良好な色再現性を得られることがわかった。
このような色ゲインにすることによって、赤外線投光器９によって波長ＩＲ１〜ＩＲ３の赤外光を投光して撮像したときにプラスチックの色がよく再現されることが確かめられた。より具体的には、Ｒ／Ｇ＝１．３５程度、Ｂ／Ｇ＝２．０４程度となるような色ゲインにすることが好ましい。
【０２２１】
なお、プラスチックの色を重視する場合、赤，緑，青等の複数の色がバランス良く良好な色再現性で表現される場合のＲ／Ｇ及びＢ／Ｇの値を採用すればよいが、複数の色のうちの特定の色の再現性を重視する場合には、その特定の色が色再現性よく表現される場合のＲ／Ｇ及びＢ／Ｇの値を採用すればよい。
【０２２２】
以上のように、いずれの色を重視する場合においても、通常モードにおいて撮影画像の画素値に応じて各色の色ゲインを変更しない場合と比較すると、暗視モードにおける各色ゲインは、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を照射して標準白色板を撮像したときのＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いが、通常モードにおいて基準光源下で標準白色板を撮像したときのＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いよりも大きくなるような色ゲインである。
また、通常モードにおいて撮影画像の画素値に応じて各色の色ゲインを変更する場合と比較すると、暗視モードにおける各色ゲインは、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を照射して標準白色板を撮像したときのＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いが、通常モードにおいてオートホワイトバランス処理を実行したときの画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いよりも大きくなるような色ゲインである。
【０２２３】
また、肌やプラスチック以外の色にも、実際に被写体となる物体を撮像しながら、最も良好な色再現性となるように、色ゲインを調整し、その調整した結果を用いて撮像することができる。このように、肌やプラスチック以外の色を重視する場合においても、Ｒ画素値とＧ画素値とＢ画素値との値のばらつき度合いを、標準白色板を撮像したときのＲ画素値とＧ画素値とＢ画素値とが等しくならないように、所定のばらつき度合いよりも大きくすると良好な色再現性が得られる。
つまり、ばらつき度合いを標準偏差で表した場合、Ｒ画素値とＧ画素値とＢ画素値とから算出される標準偏差が０よりも大きくなるようにすると良好な色再現性が得られる。
また、ばらつき度合いを、Ｒ画素値、Ｇ画素値、及びＢ画素値の内の最も大きな値と、最も小さい値との差分値で表した場合、差分値が０よりも大きくなるようにすると良好な色再現性が得られる。
【０２２４】
次に、暗視モードにおいて撮影画像の画素値に応じて各色の色ゲインを変更する場合について説明する。
このような場合、通常モードにおいて撮影画像の画素値に応じて各色の色ゲインを変更しない場合の各画素値と比較すると、色ゲイン制御部７３は、画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いが、通常モードにおいて基準光源下で標準白色板を撮像したときのＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いよりも大きい所定の値となるように、Ｒ，Ｇ，Ｂの３原色データに乗じる色ゲインを制御する。
つまり、暗視モードではこのような色ゲインを各色データに乗じるため、画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値とが基本的に等しくならない。
【０２２５】
また、通常モードにおいて撮影画像の画素値に応じて各色の色ゲインを変更する場合の各画素値と比較すると、色ゲイン制御部７３は、画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いが、通常モードにおいてオートホワイトバランス処理を実行された後のＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いよりも大きい所定の各色データとなるように、Ｒ，Ｇ，Ｂの３原色データに乗じる色ゲインを制御するとも言える。
【０２２６】
色ゲイン制御部７３は、１つ又は複数のフレームごとに、カラー映像信号の画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値とを取得し、上述のような色ゲインを算出して、色ゲインを決定する。
そして、色ゲイン設定部６２は、決定された色ゲインを各画素の各色の画素値に対して乗じる。
そして、映像出力部６は、色ゲイン設定部６２によって色ゲインが乗じられて、各色の画素値に基づくばらつき度合いが所定のばらつき度合いよりも大きくされたカラー映像信号を出力する。
【０２２７】
例えば、人の肌の色を重視するときは、上述のように画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値との比が、Ｂ／ＧがＲ／Ｇよりも大きくなるとともに、Ｒ／Ｇが１より小さくなり、かつ、Ｂ／Ｇが１より大きい所定の比となるように、色ゲイン設定部６２における色ゲインを設定して、各色の画素値に基づくばらつき度合いを、通常モードのときよりも大きくすることで良好な色再現性を得られる。例えば、Ｒ／Ｇ＝０．６６程度、Ｂ／Ｇ＝１．４６程度となるような値をターゲット値として、色ゲインを設定することが好ましい。
具体的に、例えば、画面全体の画素値の平均値におけるＲ画素値、Ｇ画素値、及びＢ画素値が共に１００であった場合、色ゲイン制御部７３は、Ｒの色ゲインを０．６６とし、Ｇの色ゲインを１．００とし、Ｂの色ゲインを１．４６とする。そして、色ゲイン設定部６２が  映像出力部６に入力された映像信号に対して、色ゲイン制御部７３によって決定された各色データに各色ゲインを乗じることによって、画面全体の画素値の平均値において、Ｒ／Ｇ＝０．６６、Ｂ／Ｇ＝１．４６となる。プラスチックの色を重視する場合も前述した値をターゲット値とすれば良好に色を再現することができる。
【０２２８】
以上のようにすることで、暗視モードにおいても色再現性のよい映像信号を得ることができる。
【０２２９】
以上説明したように、通常モードにおいてホワイトバランスを調整した色ゲインと、暗視モードにおける色ゲインとが異なることになる。色ゲイン制御部７３は、モード切換部７２が通常モードと暗視モードとを切り換えるのに対応して、処理を切り換える。
なお、周知のパターンマッチング技術を用いて人物を検出する人物検出部（図示せず）を備え、人物を検出したときは上述の人の肌の色を重視するゲイン設定とし、人物を検出していないときはその他のゲイン設定としてもよい。
【０２３０】
また、暗視モードにおいて、映像出力部６が、各色の画素値に基づくばらつき度合いが所定のばらつき度合いよりも大きいカラー映像信号を出力する方法として、他の方法を用いてもよい。以下、その方法について説明する。
なお、以下の説明において、説明の便宜上、色ゲイン設定部６２が映像信号に乗じる色ゲインを通常モードおける色ゲインと同じであるとする。つまり、Ｒ画素値とＧ画素値とＢ画素値とのばらつき度合いに寄与しないような色ゲインであるとする。
以下説明する方法では、赤外線投光器９が波長ＩＲ１〜ＩＲ３の赤外光を投光するときのそれぞれの強度を制御することによって、Ｒ画素値とＧ画素値とＢ画素値との値のばらつき度合いや、Ｒ画素値とＧ画素値とＢ画素値との比を制御する。
撮影画像の画素値に応じて波長ＩＲ１〜ＩＲ３の赤外光の強度を変更しない例と、撮影画像の画素値に応じて波長ＩＲ１〜ＩＲ３の各赤外光の強度を変更する例とを説明する  
【０２３１】
まず、撮影画像の画素値に応じて波長ＩＲ１〜ＩＲ３の各赤外光の強度を変更しない場合について説明する。この場合、投光制御部７１は、波長ＩＲ１〜ＩＲ３の各赤外光を投光して標準白色板を撮像したときのＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いが、通常モードにおいて基準光源下で標準白色板を撮像したときの少なくとも標準白色板に対応する領域の画素におけるＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いよりも大きくなる所定の強度で、各赤外光を投光するよう赤外線投光器９を制御する。
赤外光の強度がそのように制御されることによって、映像出力部６は、各色の画素値に基づくばらつき度合いが所定のばらつき度合いよりも大きくされたカラー映像信号を出力することとなる。
つまり、通常モードにおいて、基準光源下で標準白色板を撮像すると、Ｒ画素値とＧ画素値とＢ画素値とが等しくなるが、暗視モードでは前述のような強度で波長ＩＲ１〜ＩＲ３の各赤外光を投光するため、Ｒ画素値とＧ画素値とＢ画素値とは等しくならない。
暗視モードにおいて撮影画像の画素値に応じて波長ＩＲ１〜ＩＲ３の各赤外光の強度を変更しない場合、このような強度で投光するための各赤外光の強度（電流値等）をメモリ等に保持しておき、投光制御部７１は、その強度で投光するよう赤外線投光器９を制御する。
【０２３２】
また、各赤外光の強度は、被写体に応じて複数準備してもよい。
例えば、前述のように、人の肌の色を重視する場合、波長ＩＲ１〜ＩＲ３の各赤外光を投光して標準白色板を撮像したときに、少なくともその標準白色板に対応する領域の画素において、Ｒ画素値とＧ画素値とＢ画素値との比が、Ｂ／ＧがＲ／Ｇよりも大きくなるとともに、Ｒ／Ｇが１より小さくなり、かつ、Ｂ／Ｇが１より大きい所定の比となるように各赤外光の強度を制御して、各色の画素値に基づくばらつき度合いを通常モードのときよりも大きくすることで、赤外線投光器９によって波長ＩＲ１〜ＩＲ３の赤外光を投光して撮像したときに人の肌の色がよく再現される。
例えば、基準光源下で標準白色板を撮像したときにＲ画素値とＧ画素値とＢ画素値とが等しくなるような色ゲインが設定されている場合は、Ｒに対応するＩＲ１の赤外光を、Ｇに対応するＩＲ２の赤外光よりも弱い強度で投光するとともに、Ｂに対応するＩＲ３の赤外光を、Ｇに対応するＩＲ２の赤外光よりも強い強度で投光することで、各色の映像信号をＲ／Ｇ＝０．６６程度、Ｂ／Ｇ＝１．４６程度とすることができる。
【０２３３】
また、前述のように、プラスチックの色を重視する場合、波長ＩＲ１〜ＩＲ３の各赤外光を投光して標準白色板を撮像したときに、少なくともその標準白色板に対応する領域の画素において、Ｒ画素値とＧ画素値とＢ画素値との比が、Ｂ／ＧがＲ／Ｇよりも大きくなるとともに、Ｒ／Ｇ及びＢ／Ｇが１より大きい所定の比となるように各赤外光の強度を制御して、各色の画素値に基づくばらつき度合いを通常モードのときよりも大きくすることで、波長ＩＲ１〜ＩＲ３の赤外光を投光して撮像したときにプラスチックの色がよく再現される。
【０２３４】
なお、プラスチックの色を重視する場合、赤，緑，青等の複数の色がバランス良く良好な色再現性で表現される場合のＲ／Ｇ及びＢ／Ｇの値を採用すればよいが、複数の色のうちの特定の色の再現性を重視する場合には、その特定の色が色再現性よく表現される場合のＲ／Ｇ及びＢ／Ｇの値を採用すればよい。
【０２３５】
以上のように、いずれの色を重視する場合においても、通常モードにおいて撮影画像の画素値に応じて各色の色ゲインを変更しない場合と比較すると、暗視モードにおける各赤外光の強度は、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を照射して標準白色板を撮像したときのＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いが、通常モードにおいて基準光源下で標準白色板を撮像したときのＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いよりも大きくなるような強度である。
また、通常モードにおいて撮影画像の画素値に応じて各色の色ゲインを変更する場合と比較すると、暗視モードにおける各赤外光の強度は、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を照射して標準白色板を撮像したときのＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いが、通常モードにおいてオートホワイトバランス処理を実行したときの画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いよりも大きくなるような強度である。
【０２３６】
また、肌の色やプラスチックの色以外にも、重視したい被写体を撮像しながら、最も良好な色再現性となるように、各赤外光の強度を調整し、その調整した結果を用いて撮像することができる。その際、色ゲインも同時に調整し、赤外光の強度と色ゲインとで調整してもよい。このように、肌の色やプラスチックの色以外を重視する場合においても、標準白色板を撮像したときのＲ画素値とＧ画素値とＢ画素値とが等しくならないように所定のばらつき度合いよりも大きくすると良好な色再現性が得られる。ばらつき度合いを標準偏差で表した場合、Ｒ画素値とＧ画素値とＢ画素値とから算出される標準偏差が０よりも大きくなるようにすると良好な色再現性が得られる。
また、ばらつき度合いを、Ｒ画素値、Ｇ画素値、及びＢ画素値の内の最も大きな値と、最も小さい値との差分値で表した場合、差分値が０よりも大きくなるようにすると良好な色再現性が得られる。
【０２３７】
次に、暗視モードにおいて撮影画像の画素値に応じて波長ＩＲ１〜ＩＲ３の各赤外光の強度を変更する場合について説明する。
この場合、投光制御部７１は、波長ＩＲ１〜ＩＲ３の各赤外光を投光して撮像した画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いが、通常モードにおいて基準光源下で標準白色板を撮像したときのＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いよりも大きい所定の値となるように、波長ＩＲ１〜ＩＲ３の各赤外光の強度を決定する。
つまり、暗視モードではこのような強度の各赤外光を投光するため、画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値とは基本的に等しくならない。
【０２３８】
また、通常モードにおいて撮影画像の画素値に応じて各色の色ゲインを変更する場合と比較すると、投光制御部７１は、波長ＩＲ１〜ＩＲ３の各赤外光を投光して撮像した画面全体の画素値の平均値が、その平均値におけるＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いが、通常モードにおいてオートホワイトバランス処理を実行された後の画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いよりも大きい所定の値となるように、波長ＩＲ１〜ＩＲ３の各赤外光の強度を決定する。
つまり、通常モードにおいて、オートホワイトバランス処理を実行すると、画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値とが基本的に等しくなるが、暗視モードでは前述のような強度で赤外光を投光するため、画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値とは等しくならない。
なお、赤外光の強度を制御して調整する方法の場合、制御部７１は、暗視モード中はオートホワイトバランス処理を行わないよう制御する。オートホワイトバランス処理を行うと、各赤外光の強度を変えても画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値とが等しくなってしまうためである。
【０２３９】
例えば、人の肌の色を重視するときは、上述のように、例えば、画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値との比が、Ｂ／ＧがＲ／Ｇよりも大きくなるとともに、Ｒ／Ｇが１より小さくなり、かつ、Ｂ／Ｇが１より大きい所定の比となるように、投光制御部７１が赤外光の強度を設定して、各色の画素値に基づくばらつき度合いを、通常モードのときよりも大きくすることで良好な色再現性を得られる。例えば、Ｒ／Ｇ＝０．６６程度、Ｂ／Ｇ＝１．４６程度となるような値をターゲット値として、各赤外光の強度を設定することが好ましい。
具体的に、例えば、通常モードで撮影すると画面全体の画素値の平均値におけるＲ画素値、Ｇ画素値、及びＢ画素値が共に１００であるような被写体を撮像する場合、投光制御部７１は、Ｒに対応するＩＲ１の赤外光を、Ｇに対応するＩＲ２の赤外光よりも弱い強度で投光するとともに、Ｂに対応するＩＲ３の赤外光を、Ｇに対応するＩＲ２の赤外光よりも強い強度で投光することで、各色の映像信号がＲ／Ｇ＝０．６６程度、Ｂ／Ｇ＝１．４６程度とすることができる。プラスチックの色を重視する場合も前述した値をターゲット値とすれば良好に色を再現することができる。
【０２４０】
暗視モードにおいて撮影画像の画素値に応じて波長ＩＲ１〜ＩＲ３の各赤外光の強度を変更する場合、投光制御部７１は、１つ又は複数のフレームごとに、カラー映像信号の画面全体の画素値の平均値におけるＲ画素値とＧ画素値とＢ画素値とを取得し、上述のようになる強度を算出して、各赤外光の強度を決定する。Ｒ画素値とＧ画素値とＢ画素値とをフィードバックしながら、随時、強度を調整する。
そして、赤外線投光器９は、決定された強度で波長ＩＲ１〜ＩＲ３の各赤外光を投光し、映像出力部６は、各色の画素値に基づくばらつき度合いが所定のばらつき度合いよりも大きくされたカラー映像信号を出力することとなる。
【０２４１】
以上のようにすることで、暗視モードにおいても色再現性のよいカラー映像信号を得ることができる。
なお、周知のパターンマッチング技術を用いて人物を検出する人物検出部（図示せず）を備え、人物を検出したときは上述の人の肌の色を重視する強度設定とし、人物を検出していないときはその他の強度設定としてもよい。
【０２４２】
なお、色ゲイン設定部６２によってカラー映像信号のＲ，Ｇ，Ｂに乗じる色ゲインを制御して、映像出力部６が出力するカラー映像信号のＲ画素値とＧ画素値とＢ画素値とのバランスを調整する方法と、波長ＩＲ１〜ＩＲ３の赤外光の強度を制御して、映像出力部６が出力するカラー映像信号のＲ画素値とＧ画素値とＢ画素値とのバランスを調整する方法とを組み合わせて、上述のＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いや、Ｒ画素値とＧ画素値とＢ画素値との比を実現するようにしてもよい。
【０２４３】
次に、図２９〜図３２を用いて、以上説明した通常モード及び暗視モードにおけるカラー映像信号の色の調整をさらに詳細に説明する。以下の説明は、初期段階における各赤外光の強度や色ゲインの値を設定するために有用である。また、撮像装置の品質検査等にも有用である。
【０２４４】
図２９〜図３１は、一例として、ＮＴＳＣのベクトルスコープを概略的に示している。横軸は色差信号Ｂ−Ｙ、縦軸はＲ−Ｙである。Ｙは輝度信号である。ベクトルスコープが示す円の周方向は色相を示している。Ｒ，Ｇ，Ｂと、黄色（Ｙｅ），マゼンタ（Ｍｇ），シアン（Ｃｙ）はハッチングを付した丸で示す位置で表現される。
【０２４５】
通常モードにおいて上述のようにホワイトバランスを調整すると、無彩色の物体（例えば、標準白色板）を撮像した場合に出力されるカラー映像信号を示す指標は、図２９に白丸で示すように、ベクトルスコープの円の中心に位置する。
【０２４６】
暗視モードにおいて人の肌の色を重視する場合のように、Ｒ画素値とＧ画素値とＢ画素値との値のばらつき度合いを大きくして、Ｒ画素値とＧ画素値とＢ画素値との比を、Ｒ／Ｇ＝０．６６、Ｂ／Ｇ＝１．４６となる所定の比にすると、無彩色の物体を撮像した場合に出力されるカラー映像信号を示す指標は、図３０にクロスハッチングを付した丸で示す位置へと移動する。通常モードにおける白が、図３０にクロスハッチングを付した丸で示す位置へと移動した状態になるように各色ゲイン又は各赤外光の強度が調整された状態で撮影することで人の肌の色が色再現性よく再現される。
【０２４７】
暗視モードにおいてプラスチックの色を重視する場合のように、Ｒ画素値とＧ画素値とＢ画素値との値のばらつき度合いを大きくして、Ｒ画素値とＧ画素値とＢ画素値との比を、Ｒ／Ｇ＝１．３５、Ｂ／Ｇ＝２．０４となる所定の比にすると、無彩色の物体を撮像した場合に出力されるカラー映像信号を示す指標は、図３１にクロスハッチングを付した丸で示す位置へと移動する。通常モードにおける白が、図３１にクロスハッチングを付した丸で示す位置へと移動した状態になるように各色ゲイン又は各赤外光の強度が調整された状態で撮影することでプラスチックの複数の色が色再現性よく再現される。
以上のようにベクトルスコープに基づいて撮像装置の初期設定や品質検査等を行うこともできる。
【０２４８】
図３２は、通常モードにおける白を決めるための基準となる無彩色の物体（例えば、標準白色板）を撮影したときのＲ／Ｇ及びＢ／Ｇの値が、暗視モードにおいてどのように変化するかを示している。通常モードでは、黒丸で示すように、Ｒ／Ｇ＝１．０、Ｂ／Ｇ＝１．０である。
【０２４９】
暗視モードにおいて人の肌の色を重視する場合には、Ｒ画素値とＧ画素値とＢ画素値との値のばらつき度合いを大きくして、Ｒ画素値とＧ画素値とＢ画素値との比を、Ｒ／Ｇ＝０．６６、Ｂ／Ｇ＝１．４６となる所定の比にするので、黒丸は黒の四角の位置へと移動する。
【０２５０】
暗視モードにおいてプラスチックの色を重視する場合には、Ｒ画素値とＧ画素値とＢ画素値との値のばらつき度合いを大きくして、Ｒ画素値とＧ画素値とＢ画素値との比を、Ｒ／Ｇ＝１．３５、Ｂ／Ｇ＝２．０４となる所定の比にするので、黒丸は黒の三角の位置へと移動する。
以上のようなグラフ等に基づいて撮像装置の初期設定や品質検査等を行うこともできる。
【０２５１】
以上の説明した調整方法をまとめると次のとおりである。
通常モードについては、調整時に、白を決めるための基準となる無彩色の物体（例えば、標準白色板）に基準光源からの光を照射した状態とする。色ゲイン制御部７３は、その物体を撮像したときに、映像処理部５によって生成される３原色映像信号が白となるような色ゲインを、カラー映像信号における各色の映像信号に乗じるよう、色ゲイン設定部６２を制御する。
【０２５２】
暗視モードでは、調整時に、無彩色の物体に赤外線投光器９からの波長ＩＲ１〜ＩＲ３の赤外光を投光した状態とする。撮像部３がその物体を撮像したときに、映像処理部５によって生成されるカラー映像信号が白以外の特定の色を再現するように、カラー映像信号における各色の映像信号のバランスを調整する。
【０２５３】
各色の映像信号のバランスは、色ゲイン設定部６２が各色の映像信号に乗じる色ゲインを適宜設定することによって調整してもよいし、赤外線投光器９が投光する波長ＩＲ１〜ＩＲ３の赤外光の強度を適宜設定することによって調整してもよい。
【０２５４】
また、次のようにすることもできる。
撮像部３によって、白を決めるための基準となる無彩色の物体に基準光源からの光を照射した状態で、その物体を撮像して第１の撮像信号を生成する。映像処理部５は、第１の撮像信号に基づいてＲ，Ｇ，Ｂの第１の３原色映像信号を生成する。
【０２５５】
色ゲイン制御部７３は、第１の３原色映像信号が白となるような、Ｒ，Ｇ，Ｂの各色の映像信号に乗じる色ゲインを決定する。以上で通常モードにおける調整が完了する。
【０２５６】
上記と同じ物体に波長ＩＲ１〜ＩＲ３の赤外光を投光した状態で、撮像部３によってその物体を撮像して第２の撮像信号を生成する。映像処理部５は、第２の撮像信号に基づいてＲ，Ｇ，Ｂの第２の３原色映像信号を生成する。撮像装置は、第２の３原色映像信号が白以外の色を再現するように、３原色映像信号における各色の映像信号のバランスを調整する。以上で暗視モードにおける調整が完了する。  
【０２５７】
本実施形態の撮像装置及び撮像装置の調整方法によれば、暗視モードにおいて色再現性のよい映像信号を得ることができる。
【０２５８】
ところで、本実施形態の撮像装置においては、暗視モードでの撮像時に、波長ＩＲ１〜ＩＲ３の赤外光を時分割で選択的に投光する構成を示したが、波長ＩＲ１〜ＩＲ３の赤外光を同時に投光する構成であってもよい。
【０２５９】
例えば、撮像部３が単一の撮像素子を有する単板式であればマイクロフィルタ等を用いることにより、波長ＩＲ１〜ＩＲ３の赤外光を同時に投光する構成とすることができる。また、撮像部３が３つの撮像素子を有する三板式であればダイクロイックプリズム等を用いることにより、波長ＩＲ１〜ＩＲ３の赤外光を同時に投光する構成とすることができる。
【０２６０】
単板式の場合、通常モードのときは、マイクロフィルタによって、Ｒの画素には可視光のＲ成分、Ｇの画素には可視光のＧ成分、Ｂの画素には可視光のＢ成分が入射し、暗視モードのときは、マイクロフィルタによって、Ｒの画素には波長ＩＲ１の赤外光、Ｇの画素には波長ＩＲ２の赤外光、Ｂの画素には波長ＩＲ３の赤外光が入射するように構成すればよい。
また、三板式の場合、通常モードのときは、ダイクロイックプリズムによって、Ｒに対応する撮像素子には可視光のＲ成分、Ｇに対応する撮像素子には可視光のＧ成分、Ｂに対応する撮像素子には可視光のＢ成分が入射し、暗視モードのときは、ダイクロイックプリズムによって、Ｒに対応する撮像素子には波長ＩＲ１の赤外光、Ｇに対応する撮像素子には波長ＩＲ２の赤外光、Ｂに対応する撮像素子には波長ＩＲ３の赤外光が入射するように構成すればよい。
【０２６１】
本実施形態においては、Ｒ画素値とＧ画素値とＢ画素値とに基づくばらつき度合いが所定のばらつき度合いよりも大きくして、Ｒ画素値とＧ画素値とＢ画素値との比が上述の比となるようなカラー映像信号を出力するようにしたが、どのような物質をどのような比とするのかは任意である。
例えば、撮像素子の性質やカラー映像信号を生成する処理方法に応じて、適宜、変更してもよい。物質の素材によって元々の色が再現しにくい場合があるが、実際に赤外光を投光しながら撮像して生成したカラー映像信号を見ながら、被写体の本来の色またはそれに準ずる色が良好に再現するように調整するのがよい。その際、Ｒ画素値とＧ画素値とＢ画素値とに基づくばらつき度合いが所定のばらつき度合いよりも大きくすると良好な色を再現可能である。
【０２６２】
なお、本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
【０２６３】
例えば、調整方法は種々考えられるが、調整した結果、出力されるカラー映像信号が同様な特性を有していれば同様な効果を発揮することができる。
また、人の肌の色を重視する設定と、プラスチックの色を重視する設定とで、色ゲインや赤外光強度等の各設定を切換え可能にしてもよい。その際、人の肌の色を重視するべき状態や、プラスチックの色を重視するべき状態等を検知して、色ゲイン制御部７３や色ゲイン設定部６２の動作を切換えてもよい。例えば、被写体を検出する被写体検出部（図示省略）を備え、その検出結果に応じて自動で切換えてもよい。例えば、被写体の種類を検出して自動で切換えてもよい。つまり、色ゲイン設定部６２がカラー映像信号の各画素値に乗ずる色ゲインを被写体に応じて変えるようにし、映像出力部６が出力するカラー映像信号における各色間の画素値の比を被写体検出部による検出結果に応じて変えるようにしてもよい。
例えば、周知のパターンマッチング技術を用いて被写体を検出する被写体検出部を備え、被写体が人物であるか否か等を検出し、自動で切換えてもよい。
例えば、被写体検出部は人物検出部や顔検出部であってもよく、顔や人物を検出した場合は、人の肌の色を重視する色ゲイン設定とし、それ以外の場合は、その他の色ゲイン設定とすればよい。また、周知のパターンマッチング技術を用いて自動車等を検出した場合は金属を重視する設定にしてもよい。
また、画面内における特定の被写体を検出した領域と、その他の領域とで色ゲインを異ならせてもよい。例えば、画面内における顔を検出した領域は人の肌の色を重視する色ゲイン設定とし、その他の領域はその他の色ゲイン設定としてもよい。少なくとも検出した被写体に対応する領域の画素において、その被写体の色を重視する設定とすればよい。
【０２６４】
また、上記と同様に、人の肌の色を重視するべき状態や、プラスチックの色を重視するべき状態等を検知して、投光制御部７１の動作を切換えてもよい。例えば、被写体を検出する被写体検出部（図示省略）を備え、その検出結果に応じて自動で切換えてもよい。例えば、被写体の種類を検出して自動で切換えてもよい。つまり、投光制御部７１が各赤外光の強度を被写体に応じて変えるようにし、映像出力部６が出力するカラー映像信号における各色間の画素値の比を被写体検出部による検出結果に応じて変えるようにしてもよい。
例えば、周知のパターンマッチング技術を用いて被写体を検出する被写体検出部を備え、被写体が人物であるか否か等を検出し、自動で切換えてもよい。
例えば、被写体検出部は人物検出部や顔検出部であってもよく、顔や人物を検出した場合は、人の肌の色を重視する赤外光の強度とし、それ以外の場合は、その他の赤外光の強度とすればよい。また、周知のパターンマッチング技術を用いて自動車等を検出した場合は金属を重視する赤外光の強度にしてもよい。
また、前述のように、色ゲイン設定部６２によってカラー映像信号に乗じる色ゲインを制御して、映像出力部６が出力するカラー映像信号のＲ画素値とＧ画素値とＢ画素値とのバランスを調整する方法と、波長ＩＲ１〜ＩＲ３の赤外光の強度を制御して、映像出力部６が出力するカラー映像信号のＲ画素値とＧ画素値とＢ画素値とのバランスを調整する方法とを組み合わせて、上述のＲ画素値とＧ画素値とＢ画素値との値のばらつき度合いや、Ｒ画素値とＧ画素値とＢ画素値との比を実現するようにしてもよい。
【０２６５】
また、映像処理部５や映像出力部６や制御部７は、１または複数のハードウェアのプロセッサで実現することができる。また、１または複数のハードウェアのプロセッサとソフトウェアとの協働で実現することもできる。また、各実施形態や実施例、変形例等を組み合わせてもよい。
【符号の説明】
【０２６６】
３  撮像部
５  映像処理部
９  赤外線投光器
６２  色ゲイン設定部
７１  投光制御部
７３  色ゲイン制御部
【図１】
0006260512.tif 000002
【図２】
0006260512.tif 000003
【図３】
0006260512.tif 000004
【図４】
0006260512.tif 000005
【図５】
0006260512.tif 000006
【図６】
0006260512.tif 000007
【図７】
0006260512.tif 000008
【図８】
0006260512.tif 000009
【図９】
0006260512.tif 000010
【図１０】
0006260512.tif 000011
【図１１】
0006260512.tif 000012
【図１２】
0006260512.tif 000013
【図１３】
0006260512.tif 000014
【図１４】
0006260512.tif 000015
【図１５】
0006260512.tif 000016
【図１６】
0006260512.tif 000017
【図１７】
0006260512.tif 000018
【図１８】
0006260512.tif 000019
【図１９】
0006260512.tif 000020
【図２０】
0006260512.tif 000021
【図２１】
0006260512.tif 000022
【図２２】
0006260512.tif 000023
【図２３】
0006260512.tif 000024
【図２４】
0006260512.tif 000025
【図２５】
0006260512.tif 000026
【図２６】
0006260512.tif 000027
【図２７】
0006260512.tif 000028
【図２８】
0006260512.tif 000029
【図２９】
0006260512.tif 000030
【図３０】
0006260512.tif 000031
【図３１】
0006260512.tif 000032
【図３２】
0006260512.tif 000033