(57)【要約】【課題】フレームレートを落とさずに、赤外光を用いてカラー画像を得る。【解決手段】撮像装置は、第１の画素および第２の画素を備える撮像素子と、前記撮像素子の露光期間、および、赤外光照射部からの赤外光の照射期間を制御する制御部とを備える。制御部は、各フレーム期間において前記第１の画素および前記第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるとともに、前記単独露光期間内に赤外光を照射するように制御する。本技術は、例えば、監視カメラに適用できる。【選択図】図２３
2017108211.tif 000002
【特許請求の範囲】
【請求項１】
第１の画素および第２の画素を備える撮像素子と、
前記撮像素子の露光期間、および、赤外光照射部からの赤外光の照射期間を制御する制御部と
を備え、
前記制御部は、各フレーム期間において前記第１の画素および前記第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるとともに、前記単独露光期間内に赤外光を照射するように制御する
撮像装置。
【請求項２】
主に前記第１の画素からの第１の画素信号に基づいて輝度情報を生成し、主に前記第２の画素からの第２の画素信号に基づいて色情報を生成する画像処理部を
さらに備える請求項１に記載の撮像装置。
【請求項３】
前記画像処理部は、主に前記第１の画素信号に基づいて高周波の輝度情報を生成し、主に前記第２の画素信号に基づいて色情報および低周波の輝度情報を生成する
請求項２に記載の撮像装置。
【請求項４】
前記第１の画素は、ホワイト画素を含み、
前記第２の画素は、所定の色の検出に用いるカラー画素を含む
請求項１に記載の撮像装置。
【請求項５】
前記第１の画素は、赤外光の検出に用いるＩＲ画素を含み、
前記第２の画素は、所定の色の検出に用いるカラー画素を含む
請求項１に記載の撮像装置。
【請求項６】
前記第１の画素は、緑色の検出に用いる第１のＧ画素を含み、
前記第２の画素は、赤色の検出に用いるＲ画素、第２のＧ画素、および、青色の検出に用いるＢ画素を含む
請求項１に記載の撮像装置。
【請求項７】
前記第１の画素の露光期間が前記第２の画素の露光期間より長い
請求項１に記載の撮像装置。
【請求項８】
前記制御部は、周囲の明るさ、および、環境光に含まれる赤外光の強度である環境赤外光強度に基づいて、前記撮像素子の露光期間、および、前記赤外光照射部からの赤外光の照射期間を制御する
請求項１に記載の撮像装置。
【請求項９】
前記制御部は、周囲の明るさが第１の閾値以上第２の閾値未満であり、かつ、前記環境赤外光強度が第３の閾値未満である第１の状態において、各フレーム期間において前記第１の画素および前記第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるとともに、前記単独露光期間内に赤外光を照射するように制御する
請求項８に記載の撮像装置。
【請求項１０】
前記制御部は、周囲の明るさが前記第２の閾値以上である第２の状態において、前記赤外光を照射しないように制御する
請求項９に記載の撮像装置。
【請求項１１】
レンズと前記撮像素子の間に挿脱可能で、赤外光成分を減衰するフィルタを
さらに備え、
前記第１の画素は、緑色の検出に用いる第１のＧ画素を含み、
前記第２の画素は、赤色の検出に用いるＲ画素、第２のＧ画素、および、青色の検出に用いるＢ画素を含み、
前記制御部は、前記第２の状態において、前記レンズと前記撮像素子の間に前記フィルタを挿入し、前記第２の状態と異なる状態において、前記レンズと前記撮像素子の間から前記フィルタを外す
請求項１０に記載の撮像装置。
【請求項１２】
前記第２の状態において、前記第１の画素の露光期間が前記第２の画素の露光期間より短い
請求項１０に記載の撮像装置。
【請求項１３】
前記制御部は、周囲の明るさが前記第１の閾値未満である状態、または、周囲の明るさが前記第１の閾値以上前記第２の閾値未満であり、かつ、前記環境赤外光強度が前記第３の閾値以上である状態である第３の状態において、前記赤外光を連続して照射するように制御する
請求項９に記載の撮像装置。
【請求項１４】
前記第３の状態において、前記第１の画素からの第１の画素信号、および、前記第２の画素からの第２の画素信号に基づいて、モノクロの画像を生成し、前記第３の状態と異なる状態において、前記第１の画素信号および前記第２の画素信号に基づいて、カラーの画像を生成する画像処理部を
さらに備える請求項１３に記載の撮像装置。
【請求項１５】
前記第３の状態において、前記第１の画素と前記第２の画素の露光期間が合わせられる
請求項１３に記載の撮像装置。
【請求項１６】
各フレーム期間において撮像素子の第１の画素および第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるように制御する露光制御ステップと、
前記単独露光期間内に赤外光を照射するように赤外光照射部を制御する照射制御ステップと
を含む撮像制御方法。
【請求項１７】
各フレーム期間において撮像素子の第１の画素および第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるように制御する露光制御ステップと、
前記単独露光期間内に赤外光を照射するように赤外光照射部を制御する照射制御ステップと
を含む処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置、撮像制御方法、および、プログラムに関し、特に、赤外光を照射して撮像する場合に用いて好適な撮像装置、撮像制御方法、および、プログラムに関する。
【背景技術】
【０００２】
従来、日中の自然光下や白色光などの可視光の照明下で撮像を行うデイモードと、赤外光を照射して撮像を行うナイトモードの２種類のモードを備える監視カメラがある。そのような監視カメラでは、デイモードではカラー画像が得られる。一方、ナイトモードでは、照射した赤外光が被写体で反射した反射光を受光することになるので、Ｒ，Ｇ，Ｂなどの色情報が得られず、反射光（赤外光）の受光強度のみが得られる。よって、得られる画像はグレーやグリーンなどのモノクロ画像となる。
【０００３】
一方、監視カメラの用途を考慮した場合、ナイトモードにおいてもカラー画像を得られることが望ましい。そこで、従来、撮像範囲（被写体）に赤外光を照射した状態で撮像して得られる画像（以下、赤外画像と称する）に基づいてカラー画像を生成する手法が提案されている。
【０００４】
例えば、特許文献１には、赤外光を照射した状態の赤外画像と、赤外光を照射していない低照度下での可視画像をフレーム毎に交互に撮像し、これらを用いてカラー画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２３３９８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の発明では、赤外画像と可視画像の２フレーム分の画像からカラー画像が生成されるため、フレームレートが１／２に落ちてしまう。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、フレームレートを落とさずに、赤外光を用いてカラー画像を得ることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の撮像装置は、第１の画素および第２の画素を備える撮像素子と、前記撮像素子の露光期間、および、赤外光照射部からの赤外光の照射期間を制御する制御部とを備え、前記制御部は、各フレーム期間において前記第１の画素および前記第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるとともに、前記単独露光期間内に赤外光を照射するように制御する。
【０００９】
主に前記第１の画素からの第１の画素信号に基づいて輝度情報を生成し、主に前記第２の画素からの第２の画素信号に基づいて色情報を生成する画像処理部をさらに設けることができる。
【００１０】
前記画像処理部には、主に前記第１の画素信号に基づいて高周波の輝度情報を生成させ、主に前記第２の画素信号に基づいて色情報および低周波の輝度情報を生成させることができる。
【００１１】
前記第１の画素には、ホワイト画素を含ませ、前記第２の画素には、所定の色の検出に用いるカラー画素を含ませることができる。
【００１２】
前記第１の画素には、赤外光の検出に用いるＩＲ画素を含ませ、前記第２の画素には、所定の色の検出に用いるカラー画素を含ませることができる。
【００１３】
前記第１の画素には、緑色の検出に用いる第１のＧ画素を含ませ、前記第２の画素には、赤色の検出に用いるＲ画素、第２のＧ画素、および、青色の検出に用いるＢ画素を含ませることができる。
【００１４】
前記第１の画素の露光期間を前記第２の画素の露光期間より長くすることができる。
【００１５】
前記制御部には、周囲の明るさ、および、環境光に含まれる赤外光の強度である環境赤外光強度に基づいて、前記撮像素子の露光期間、および、前記赤外光照射部からの赤外光の照射期間を制御させることができる。
【００１６】
前記制御部には、周囲の明るさが第１の閾値以上第２の閾値未満であり、かつ、前記環境赤外光強度が第３の閾値未満である第１の状態において、各フレーム期間において前記第１の画素および前記第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるとともに、前記単独露光期間内に赤外光を照射するように制御させることができる。
【００１７】
前記制御部は、周囲の明るさが前記第２の閾値以上である第２の状態において、前記赤外光を照射しないように制御させることができる。
【００１８】
レンズと前記撮像素子の間に挿脱可能で、赤外光成分を減衰するフィルタをさらに設け、前記第１の画素には、緑色の検出に用いる第１のＧ画素を含ませ、前記第２の画素には、赤色の検出に用いるＲ画素、第２のＧ画素、および、青色の検出に用いるＢ画素を含ませ、前記制御部には、前記第２の状態において、前記レンズと前記撮像素子の間に前記フィルタを挿入させ、前記第２の状態と異なる状態において、前記レンズと前記撮像素子の間から前記フィルタを外させることができる。
【００１９】
前記制御部には、前記第２の状態において、前記第１の画素の露光期間を前記第２の画素の露光期間より短くすることができる。
【００２０】
前記制御部には、周囲の明るさが前記第１の閾値未満である状態、または、周囲の明るさが前記第１の閾値以上前記第２の閾値未満であり、かつ、前記環境赤外光強度が前記第３の閾値以上である状態である第３の状態において、前記赤外光を連続して照射するように制御させることができる。
【００２１】
前記第３の状態において、前記第１の画素からの第１の画素信号、および、前記第２の画素からの第２の画素信号に基づいて、モノクロの画像を生成し、前記第３の状態と異なる状態において、前記第１の画素信号および前記第２の画素信号に基づいて、カラーの画像を生成する画像処理部をさらに設けることができる。
【００２２】
前記制御部には、前記第３の状態において、前記第１の画素と前記第２の画素の露光期間を合わせることができる。
【００２３】
本技術の一側面の撮像制御方法は、各フレーム期間において撮像素子の第１の画素および第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるように制御する露光制御ステップと、前記単独露光期間内に赤外光を照射するように赤外光照射部を制御する照射制御ステップとを含む。
【００２４】
本技術の一側面のプログラムは、各フレーム期間において撮像素子の第１の画素および第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるように制御する露光制御ステップと、前記単独露光期間内に赤外光を照射するように赤外光照射部を制御する照射制御ステップとを含む処理をコンピュータに実行させる。
【００２５】
本技術の一側面においては、各フレーム期間において撮像素子の第１の画素および第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間が設けられ、前記単独露光期間内に赤外光が照射される。
【発明の効果】
【００２６】
本技術の一側面によれば、フレームレートを落とさずに、赤外光を用いてカラー画像を得ることができる。
【００２７】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２８】
【図１】第１の実施の形態における撮像装置の構成例を示すブロック図である。
【図２】第１の実施の形態における光学フィルタの透過特性の例を示すグラフである。
【図３】第１の実施の形態における撮像素子の構成例を示すブロック図である。
【図４】第１の実施の形態における画素配列の例を示す図である。
【図５】第１の実施の形態における画素ごとの感度特性の例を示すグラフである。
【図６】第１の実施の形態におけるベイヤ化部の構成例を示すブロック図である。
【図７】第１の実施の形態における補間前後の画像信号の例を示す図である。
【図８】第１の実施の形態における赤外線分離後の感度特性の例を示す図である。
【図９】第１の実施の形態における赤外線分離後の色信号の例を示す図である。
【図１０】第１の実施の形態におけるベイヤ化前後の画像信号の例を示す図である。
【図１１】第１の実施の形態における輝度・色差調整部の構成例を示すブロック図である。
【図１２】第１の実施の形態における色差信号補正部の構成例を示すブロック図である。
【図１３】第１の実施の形態におけるクロマゲインの設定例を示すグラフである。
【図１４】第１の実施の形態における輝度信号合成部の構成例を示すブロック図である。
【図１５】第１の実施の形態における合成比率の設定例を示すグラフである。
【図１６】第１の実施の形態における信号処理部の構成例を示すブロック図である。
【図１７】第１の実施の形態における撮像モード設定処理の例を示すフローチャートである。
【図１８】周囲の明るさの判定処理に用いる閾値の例を示す図である。
【図１９】環境赤外光の強度の判定処理に用いる閾値の例を示す図である。
【図２０】第１の実施の形態における撮像処理の例を示すフローチャートである。
【図２１】第１の実施の形態におけるベイヤ化処理の例を示すフローチャートである。
【図２２】第１の実施の形態におけるデイモード時の赤外光の照射期間および各画素の露光期間の例を示す図である。
【図２３】第１の実施の形態におけるＣＮＶモード時の赤外光の照射期間および各画素の露光期間の例を示す図である。
【図２４】第１の実施の形態におけるナイトモード時の赤外光の照射期間および各画素の露光期間の例を示す図である。
【図２５】第２の実施の形態における撮像装置の構成例を示すブロック図である。
【図２６】第２の実施の形態における画素配列の例を示す図である。
【図２７】第２の実施の形態におけるベイヤ化部の構成例を示すブロック図である。
【図２８】第２の実施の形態における色差調整部の構成例を示すブロック図である。
【図２９】第２の実施の形態における撮像モード設定処理の例を示すフローチャートである。
【図３０】第２の実施の形態における撮像処理の例を示すフローチャートである。
【図３１】第２の実施の形態におけるベイヤ化処理の例を示すフローチャートである。
【図３２】第２の実施の形態におけるデイモード時の赤外光の照射期間および各画素の露光期間の例を示す図である。
【図３３】第２の実施の形態におけるＣＮＶモード時の赤外光の照射期間および各画素の露光期間の例を示す図である。
【図３４】第２の実施の形態におけるナイトモード時の赤外光の照射期間および各画素の露光期間の例を示す図である。
【図３５】第１の実施の形態における撮像装置の変形例を示すブロック図である。
【図３６】輝度・色差調整部の構成例を示すブロック図である。
【図３７】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（ＲＧＢＷ配列の画素を用いる例）
２．第２の実施の形態（ベイヤ配列の画素を用いる例）
３．変形例
４．応用例
【００３０】
＜１．第１の実施の形態＞
まず、図１乃至図２４を参照して、本技術の第１の実施の形態について説明する。
【００３１】
｛撮像装置１００の構成例｝
図１は、本技術の第１の実施の形態である撮像装置１００の構成例を示すブロック図である。撮像装置１００は、測光部１０１、制御部１０２、赤外光照射部１０３、撮像レンズ１０４、光学フィルタ１０５、撮像素子１０６および画像処理部１０７を備える。また、画像処理部１０７は、ベイヤ化部１２１および信号処理部１２２を備える。
【００３２】
測光部１０１は、撮像装置１００の周囲の明るさを測定し、測定結果を示す測光量Ｑを制御部１０２およびベイヤ化部１２１に供給する。
【００３３】
制御部１０２は、撮像装置１００全体を制御する。例えば、制御部１０２は、画像信号における可視光成分の比率を示す可視光比率Ｒｃをベイヤ化部１２１から取得する。そして、制御部１０２は、測光量Ｑおよび可視光比率Ｒｃに基づいて、撮像装置１００の撮像モードを設定する。制御部１０２は、設定した撮像モードを示すモード信号をベイヤ化部１２１に供給する。
【００３４】
撮像モードは、例えば、デイモード、ＣＮＶモード、ナイトモードの３つに分かれる。デイモードは、例えば、撮像装置１００の周囲が明るい状態で撮像する場合に用いられるモードである。ＣＮＶモードは、例えば、撮像装置１００の周囲が暗く、環境光に含まれる赤外光（以下、環境赤外光と称する）の強度が低い状態で撮像する場合に用いられるモードである。ナイトモードは、例えば、撮像装置１００の周囲が非常に暗い状態、または、撮像装置１００の周囲が暗く、環境赤外光の強度が高い状態で撮像する場合に用いられるモードである。デイモードとＣＮＶモードでは、カラー画像が得られ、ナイトモードでは、モノクロ画像が得られる。
【００３５】
なお、各撮像モードの詳細は、後述する。
【００３６】
また、例えば、制御部１０２は、ユーザの操作などに従って撮像素子１０６を制御して画像信号を生成させる。例えば、制御部１０２は、撮像のタイミングを示す垂直同期信号ＶＳＹＮＣを生成して撮像素子１０６に供給する。また、制御部１０２は、撮像モードに応じて、撮像素子１０６の画素別シャッタのオン／オフを制御する。画素別シャッタとは、後述するように、画素の色毎に露光期間を制御する機能である。
【００３７】
さらに、例えば、制御部１０２は、撮像モードに応じて、赤外光照射部１０３の照射期間を制御する。
【００３８】
また、例えば、制御部１０２は、撮像モードに応じて、ベイヤ化部１２１の赤外線分離部３０３（図６）のオン、オフを制御する。
【００３９】
赤外光照射部１０３は、制御部１０２の制御に従って、赤外光を撮像範囲（被写体）に照射する。
【００４０】
撮像レンズ１０４は、被写体からの光を集光して、光学フィルタ１０５を介して撮像素子１０６に導く。
【００４１】
光学フィルタ１０５は、例えば、撮像レンズ１０４からの光のうち可視光および赤外光を透過するデュアルバンドパスフィルタにより構成される。
【００４２】
図２は、光学フィルタ１０５の透過特性の例を示すグラフである。同図において縦軸は、光学フィルタ１０５の分光透過率を示し、横軸は、光の波長を示す。同図に例示するように、光学フィルタ１０５は、例えば、３８０乃至６５０ナノメートル（ｎｍ）の波長域の可視光と、それより波長の長い赤外光とを透過する。
【００４３】
なお、光学フィルタ１０５を設けない構成とすることもできるが、赤外光を高い精度で分離する観点から、光学フィルタ１０５を設けることが望ましい。
【００４４】
撮像素子１０６は、撮像レンズ１０４および光学フィルタ１０５を介して受光した光を電気信号に変換して、画像データを生成する。撮像素子１０６には、例えば、図４を参照して後述するように、赤色の検出に用いるＲ（Red）画素、緑色の検出に用いるＧ(Green)画素、青色の検出に用いるＢ（Blue）画素、および、可視光全体の検出に用いるＷ（White）画素のそれぞれが二次元格子状に設けられる。
【００４５】
撮像素子１０６は、各画素で光電変換したアナログの電気信号を画素毎にＡＤ（Analog to Digital）変換し、デジタル信号である画素信号を生成し、これらの画素信号を含む画像信号（以下、ＲＧＢＷ画像信号と称する）を生成する。撮像素子１０６としては、例えば、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサが用いられる。撮像素子１０６は、生成したＲＧＢＷ画像信号をベイヤ化部１２１に供給する。
【００４６】
ベイヤ化部１２１は、ＲＧＢＷ画像信号から不可視光成分（例えば、赤外光成分）を除去し、不可視光成分を除去したＲＧＢＷ画像信号を、画素信号がベイヤ配列に従って並べられたベイヤ画像信号に変換する。ベイヤ化部１２１は、ベイヤ画像信号を信号処理部１２２に供給する。
【００４７】
信号処理部１２２は、デモザイク処理などの所定の信号処理をベイヤ画像信号に対して行う。信号処理部１２２は、デモザイク処理後の画像信号を、輝度信号および色差信号を画素毎に含むＹＣ画像信号に変換して撮像装置１００の外部の装置（例えば、表示装置等）へ出力する。
【００４８】
なお、撮像装置１００は、ＹＣ画像信号を外部へ出力しているが、この構成に限定されない。例えば、撮像装置１００は、メモリ等の記録部をさらに備え、その記録部にＹＣ画像信号を記録してもよい。また、撮像装置１００は、液晶モニタなどの表示部をさらに備え、その表示部にＹＣ画像信号に基づく画像を表示してもよい。
【００４９】
また、図１では、測光部１０１、制御部１０２、赤外光照射部１０３、撮像レンズ１０４、光学フィルタ１０５、撮像素子１０６および画像処理部１０７を全て撮像装置１００内に設ける例を示しているが、これらを複数の装置に分散して設けてもよい。例えば、測光部１０１、制御部１０２、撮像レンズ１０４、光学フィルタ１０５および撮像素子１０６などを撮像装置１００に設け、画像処理部１０７を画像処理装置に設けてもよい。また、例えば、赤外光照射部１０３を撮像装置１００とは別に設けるようにしてもよい。
【００５０】
｛撮像素子の構成例｝
図３は、撮像素子１０６の構成例を示すブロック図である。撮像素子１０６は、行走査回路２０１、画素アレイ部２０２、タイミング制御回路２０３、ＡＤ（Analog to Digital）変換部２０４および列走査回路２０５を備える。画素アレイ部２０２には、２次元格子状に複数の画素２１１が設けられる。
【００５１】
タイミング制御回路２０３は、行および列の走査のタイミングを制御する。ここで、行は画素アレイ部２０２において、ある一方向に複数の画素２１１が配列されたものであり、ラインとも呼ばれる。また、列は画素アレイ部２０２において行と直交する方向に複数の画素２１１が配列されたものである。画素アレイ部２０２には、ｎ行、ｍ列の画素２１１が配列される。ここで、ｎおよびｍは整数である。
【００５２】
タイミング制御回路２０３は、制御部１０２からの垂直同期信号ＶＳＹＮＣに同期して、行を走査するタイミングを指示する水平同期信号ＨＳＹＮＣを生成し、行走査回路２０１に供給する。また、タイミング制御回路２０３は、水平同期信号ＨＳＹＮＣに同期して列を走査するタイミングを指示するタイミング信号を生成し、列走査回路２０５に供給する。
【００５３】
行走査回路２０１は、水平同期信号ＨＳＹＮＣに同期して行の各々を選択する。行走査回路２０１は、行選択信号を行の各々へ信号線２０６を介して順に出力することにより行を選択する。また、行走査回路２０１は、行を選択するたびに、その行の画素２１１を、撮像モードに応じて、所定の露光期間に亘って露光させる。
【００５４】
画素２１１は、入射光を電気信号に変換し、対応する列の信号線２０７を介して、生成した電気信号をＡＤ変換部２０４に供給する。
【００５５】
図４は、画素アレイ部２０２の画素２１１の配列の例を示している。この例では、縦４画素×横４画素からなるパターンを１単位とする画素配列の例が示されており、Ｒ画素：Ｇ画素：Ｂ画素：Ｗ画素＝２：４：２：８の割合で、画素２１１が配置されている。より具体的には、Ｗ画素は、市松状に配置されている。Ｒ画素は、４行目の１列目と２行目の３列目に配置されている。Ｂ画素は、１行目の２列目と４行目の３列目に配置されている。Ｇ画素は、残りの画素位置に配置されている。そして、この画素配列のパターンが、画素アレイ部２０２上の行方向及び列方向に繰り返し配置される。
【００５６】
図５は、画素２１１ごとの感度特性の例を示すグラフである。同図の横軸は、光の波長を示し、縦軸は、その波長の光に対する画素２１１の感度を示す。また、実線は、Ｗ画素の感度特性を示し、細かい点線は、Ｒ画素の感度特性を示す。また、一点鎖線は、Ｇ画素の感度特性を示し、粗い点線は、Ｂ画素の感度特性を示す。
【００５７】
Ｒ画素、Ｇ画素およびＢ画素のそれぞれの感度は、赤、緑および青のそれぞれの可視光に対してピークを示す。Ｗ画素の感度は、Ｒ画素、Ｇ画素およびＢ画素の感度の波形を包含するような波形を示す。Ｒ、Ｇ、ＢおよびＷ画素の赤外光に対する感度は同程度である。
【００５８】
また、後述するように、Ｗ画素が、赤外光照射部１０３からの赤外光の受光に用いられる赤外光受光用の画素に設定される。一方、Ｒ画素、Ｇ画素およびＢ画素は、赤外光照射部１０３からの赤外光の受光に用いられない画素に設定される。
【００５９】
図３に戻り、ＡＤ変換部２０４は、列ごとに設けられ、画素２１１からの電気信号をＡＤ変換してデジタル信号を生成する。また、列走査回路２０５により選択された列のＡＤ変換部２０４は、生成したデジタル信号を画素信号として画像処理部１０７のベイヤ化部１２１に供給する。
【００６０】
列走査回路２０５は、タイミング信号に従って、列選択信号をＡＤ変換部２０４のそれぞれに順に出力することにより列を選択する。
【００６１】
｛ベイヤ化部の構成例｝
図６は、ベイヤ化部１２１の構成例を示すブロック図である。ベイヤ化部１２１は、ＲＧＢＷ補間フィルタ３０１、Ｗ補間フィルタ３０２、赤外線分離部３０３、ホワイトバランス処理部３０４、比率算出部３０５、輝度・色差調整部３０６、高周波成分抽出部３０７、高周波成分復元部３０８およびベイヤ画像信号出力部３０９を備える。
【００６２】
ＲＧＢＷ補間フィルタ３０１は、ＲＧＢＷ画像信号において、画素信号ごとに色信号の全てを補間する。
【００６３】
ここで、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれは、可視光とともに赤外光を受光して、それらの光から、１つの色信号を含む画素信号を生成する。このため、これらの画素の色信号は、可視光から光電変換された信号である可視光成分と、赤外光から光電変換された信号である赤外光成分とを含む。したがって、赤外光成分を分離する前のＲ画素、Ｇ画素、Ｂ画素およびＷ画素の各色信号を以下、「Ｒ＋ＩＲ」、「Ｇ＋ＩＲ」、「Ｂ＋ＩＲ」および「Ｗ＋ＩＲ」と称する。添え字の「＋ＩＲ」は、色信号に赤外光成分が含まれていることを示す。
【００６４】
ＲＧＢＷ補間フィルタ３０１は画素信号に順に着目し、着目した画素信号を補間対象として、その周囲の画素信号を用いて、例えば、次の式（１）乃至（４）を使用して色信号を補間する。
【００６５】
【数１】
2017108211.tif 000003
【００６６】
式（１）乃至（４）において、Ｍは、補間に用いられる画素信号の個数であり、以下、タップ数と称する。ｉは、０乃至Ｍ−１の整数であり、補間に用いられる画素信号を識別する番号を示す。ｋｉは実数の係数である。係数ｋｉは、ｉに係る画素信号から補間対象までの距離が近いほど大きな値に設定され、その距離が同一であれば同じ値に設定される。例えば、補間対象の上下左右のＲ＋ＩＲ_０乃至Ｒ＋ＩＲ_３が補間に用いられる場合には、それらの補間対象までの距離は同一であるため、係数ｋ０乃至ｋ３の全てに１／４が設定される。
【００６７】
ＲＧＢＷ補間フィルタ３０１は、補間後のＲ＋ＩＲ_Ｌ信号、Ｇ＋ＩＲ_Ｌ信号およびＢ＋ＩＲ_Ｌ信号を赤外線分離部３０３に供給し、Ｗ＋ＩＲ_Ｌ信号を赤外線分離部３０３、比率算出部３０５、輝度・色差調整部３０６、高周波成分抽出部３０７および高周波成分復元部３０８に供給する。
【００６８】
図７は、ＲＧＢＷ補間フィルタ３０１による補間前後の画像信号の例を示している。補間前のＲＧＢＷ画像信号３２１において、Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＷ＋ＩＲ信号のそれぞれが、上述した図４と同様の配列により並べられている。
【００６９】
データ３２２Ｗは、補間後のＷ＋ＩＲ_Ｌ信号からなるデータの例を示している。データ３２２Ｒは、補間後のＲ＋ＩＲ_Ｌ信号からなるデータの例を示している。データ３２２Ｇは、補間後のＧ＋ＩＲ_Ｌ信号からなるデータの例を示している。データ３２２Ｂは、補間後のＢ＋ＩＲ_Ｌ信号からなるデータの例を示している。これらのデータ３２２Ｗ乃至３２２Ｇに示すように、画素ごとに、全ての色信号が補間される。
【００７０】
Ｗ補間フィルタ３０２は、ＲＧＢＷ画像信号において、上述した式（４）などを使用して、画素ごとにＷ＋ＩＲ信号を補間する。ただし、Ｗ画素においては、周囲の画素信号からの補間を行う必要はない。
【００７１】
また、Ｗ補間フィルタ３０２のタップ数Ｍの値は、ＲＧＢＷ補間フィルタ３０１よりも小さな値に設定される。例えば、ＲＧＢＷ補間フィルタ３０１では、タップ数Ｍは８１（＝９行×９列）に設定される。一方、Ｗ補間フィルタ３０２では、タップ数Ｍは２５（＝５行×５列）に設定される。Ｗ補間フィルタ３０２は、補間後のＷ＋ＩＲ’信号を高周波成分抽出部３０７に供給する。
【００７２】
なお、Ｗ補間フィルタ３０２は、特定方向におけるエッジを検出し、そのエッジの方向に沿った画素信号を優先的に用いて補間を行ってもよい。例えば、Ｗ補間フィルタ３０２は、水平方向や垂直方向におけるエッジを検出する。そして、Ｗ補間フィルタ３０２は、水平方向のエッジを検出した場合には、補間対象の上下の画素信号の平均により補間し、垂直方向のエッジを検出した場合には、補間対象の左右の画素信号の平均により補間する。ＲＧＢＷ補間フィルタ３０１も同様に、エッジを検出し、そのエッジの方向に沿った画素信号を優先的に用いて補間を行ってもよい。
【００７３】
赤外線分離部３０３は、制御部１０２の制御に従って、オンまたはオフする。赤外線分離部３０３は、オンしている場合、Ｒ＋ＩＲ_Ｌ信号、Ｇ＋ＩＲ_Ｌ信号およびＢ＋ＩＲ_Ｌ信号のそれぞれから赤外光成分を分離して除去する。例えば、赤外線分離部３０３は、次の式（５）乃至（８）を使用して、赤外光成分を分離して除去する。
【００７４】
ＩＲ＝（Ｒ＋ＩＲ_Ｌ＋Ｇ＋ＩＲ_Ｌ＋Ｂ＋ＩＲ_Ｌ−Ｗ＋ＩＲ_Ｌ）／２  ・・・（５）
ＲＬ＝Ｒ＋ＩＲ_Ｌ−ＩＲ  ・・・（６）
ＧＬ＝Ｇ＋ＩＲ_Ｌ−ＩＲ  ・・・（７）
ＢＬ＝Ｂ＋ＩＲ_Ｌ−ＩＲ  ・・・（８）
【００７５】
式（５）乃至（８）において、ＩＲは、赤外光成分を示す。また、ＲＬ、ＧＬおよびＢＬは、赤外光成分が除去された色信号を示す。
【００７６】
なお、式（５）乃至（８）は、赤外光成分の分離および除去を行うための数式の一例であり、赤外線分離部３０３は、他の数式を用いて赤外光成分の分離および除去を行うことも可能である。
【００７７】
赤外線分離部３０３は、ＲＬ信号、ＧＬ信号およびＢＬ信号をホワイトバランス処理部３０４に供給する。また、赤外線分離部３０３は、分離した赤外光成分ＩＲを比率算出部３０５に供給する。
【００７８】
図８は、赤外線分離後の感度特性の例を示すグラフである。同図の横軸は、光の波長を示し、縦軸は、その光に対する画素の感度を示す。実際には、感度でなく、画素信号から赤外光成分と可視光成分とが分離されるが、同図では、これらの成分を感度に置き換えて表している。同図の実線は、赤外光成分ＩＲの感度特性を示し、細かい点線は、ＲＬ信号の感度特性を示す。また、一点鎖線は、ＧＬ信号の感度特性を示し、粗い点線は、ＢＬ信号の感度特性を示す。同図に例示するように、色信号のそれぞれにおいて、ある程度、赤外光成分ＩＲが除去されている。
【００７９】
図９は、赤外線分離後の色信号の例を示している。データ３２３Ｒは、図７のデータ３２２Ｒに対して赤外線分離を行った後のＲＬ信号からなるデータの例を示している。データ３２３Ｇは、図７のデータ３２２Ｇに対して赤外線分離を行った後のＧＬ信号からなるデータの例を示している。データ３２３Ｂは、図７のデータ３２２Ｂに対して赤外線分離を行った後のＢＬ信号からなるデータの例を示している。これらのデータ３２３Ｒ乃至３２３Ｂに示すように、色信号のそれぞれから赤外光成分が除去される。
【００８０】
一方、赤外線分離部３０３は、オフしている場合、Ｒ＋ＩＲ_Ｌ信号、Ｇ＋ＩＲ_Ｌ信号およびＢ＋ＩＲ_Ｌ信号のそれぞれから赤外光成分を分離および除去せずに、そのままＲＬ信号、ＧＬ信号およびＢＬ信号としてホワイトバランス処理部３０４に供給する。この場合、Ｒ＋ＩＲ_Ｌ信号、Ｇ＋ＩＲ_Ｌ信号およびＢ＋ＩＲ_Ｌ信号と、ＲＬ信号、ＧＬ信号およびＢＬ信号との関係は、次の式（９）乃至（１１）のようになる。
【００８１】
ＲＬ＝Ｒ＋ＩＲ_Ｌ  ・・・（９）
ＧＬ＝Ｇ＋ＩＲ_Ｌ  ・・・（１０）
ＢＬ＝Ｂ＋ＩＲ_Ｌ  ・・・（１１）
【００８２】
ホワイトバランス処理部３０４は、ＲＬ信号、ＧＬ信号およびＢＬ信号においてホワイトバランスを調整する。ホワイトバランス処理部３０４は、例えば、ＲＬ信号およびＢＬ信号のそれぞれに対して、ゲインを乗算することにより、ホワイトバランスを調整する。ホワイトバランス処理部３０４は、ホワイトバランスを調整したＲＬ信号、ＧＬ信号およびＢＬ信号を輝度・色差調整部３０６に供給する。
【００８３】
比率算出部３０５は、例えば、次の式（１２）乃至（１４）を使用して可視光比率Ｒｃを算出し、制御部１０２および輝度・色差調整部３０６に供給する。
【００８４】
【数２】
2017108211.tif 000004
【００８５】
式（１２）において、Ｎは、画像信号内の画素信号の個数である。ＩＲｊは、ｊ（ｊは、０乃至Ｎ−１の整数）番目の画素信号内の赤外光成分を示す。ＩＲａｖは、赤外光成分の平均値である。また、式（１３）において、Ｗ＋ＩＲ_Ｌ_ｊは、ｊ番目のＷ＋ＩＲ_Ｌ信号を示す。Ｗ＋ＩＲ_Ｌ_ａｖは、Ｗ＋ＩＲ_Ｌ信号の平均値である。
【００８６】
輝度・色差調整部３０６は、撮像モードに応じて、可視光比率Ｒｃおよび測光量Ｑに基づいて、輝度信号および色差信号を調整する。具体的には、輝度・色差調整部３０６は、画素信号ごとに、その画素信号内のＲＬ信号、ＧＬ信号およびＢＬ信号を輝度信号および色差信号に変換する。そして、輝度・色差調整部３０６は、それらの輝度信号および色差信号を、撮像モードに応じて、可視光比率Ｒｃおよび測光量Ｑに基づいて調整し、ＲＬ信号、ＧＬ信号およびＢＬ信号に戻して高周波成分復元部３０８に供給する。
【００８７】
高周波成分抽出部３０７は、ＲＧＢＷ補間フィルタ３０１からのＷ＋ＩＲ_Ｌ信号と、Ｗ補間フィルタ３０２からのＷ＋ＩＲ’信号との差分を高周波成分Ｗ＋ＩＲ_Ｈとして抽出する。前述したように、Ｗ補間フィルタ３０２のタップ数Ｍは、ＲＧＢＷ補間フィルタ３０１よりも小さい。このため、Ｗ補間フィルタ３０２からのＷ＋ＩＲ’信号には、ＲＧＢＷ補間フィルタ３０１からのＷ＋ＩＲ_Ｌ信号よりも高い周波数成分が含まれている。したがって、それらの差分をとることにより、高周波成分Ｗ＋ＩＲ_Ｈを抽出することができる。高周波成分抽出部３０７は、抽出した高周波成分Ｗ＋ＩＲ_Ｈを高周波成分復元部３０８に供給する。
【００８８】
高周波成分復元部３０８は、ＲＬ信号、ＧＬ信号およびＢＬ信号において高周波成分Ｗ＋ＩＲ_Ｈを復元する。高周波成分復元部３０８は、例えば、次の式（１５）乃至（１７）を使用して、高周波成分Ｗ＋ＩＲ_Ｈを復元する。
【００８９】
Ｒ＝ＲＬ＋Ｗ＋ＩＲ_Ｈ×ＲＬ／Ｗ＋ＩＲ_Ｌ  ・・・（１５）
Ｇ＝ＧＬ＋Ｗ＋ＩＲ_Ｈ×ＧＬ／Ｗ＋ＩＲ_Ｌ  ・・・（１６）
Ｂ＝ＢＬ＋Ｗ＋ＩＲ_Ｈ×ＢＬ／Ｗ＋ＩＲ_Ｌ  ・・・（１７）
【００９０】
式（１５）乃至（１７）において、Ｒ、ＧおよびＢは、復元後の色信号である。ＲＧＢＷ補間フィルタ３０１における補間により、各色信号の高周波成分が失われるため、そのままでは画像の画質が低下してしまう。しかし、その高周波成分を高周波成分復元部３０８において復元することにより、復元しない場合と比較して画質が向上する。高周波成分復元部３０８は、復元したＲ信号、Ｇ信号およびＢ信号をベイヤ画像信号出力部３０９に供給する。
【００９１】
ベイヤ画像信号出力部３０９は、Ｒ信号、Ｇ信号およびＢ信号をベイヤ配列に従って並べ、ベイヤ画像信号として信号処理部１２２へ出力する。
【００９２】
図１０は、ベイヤ化前後の画像信号の例を示している。データ３２４Ｒは、高周波成分を復元した後のＲ信号からなるデータの例を示している。データ３２４Ｇは、高周波成分を復元した後のＧ信号からなるデータの例を示している。データ３２４Ｂは、高周波成分を復元した後のＢ信号からなるデータの例を示している。なお、データ３２４Ｒ乃至３２４Ｂにおいて、Ｒ信号、Ｇ信号およびＢ信号のそれぞれの添え字は、画素信号が並べられる行および列の位置を示す。例えば、１行目および１列目のＲ信号は、Ｒ１１と表記され、１行目および２列目のＲ信号は、Ｒ１２と表記される。
【００９３】
そして、高周波成分復元後のＲ信号、Ｇ信号およびＢ信号のそれぞれが、ベイヤ配列に従って並べられ、ベイヤ画像信号３２５が生成される。例えば、データ３２４Ｒの４×４のＲ信号のうち、Ｒ２１、Ｒ２３、Ｒ４１およびＲ４３が選択され、ベイヤ画像信号３２５において行および列の位置を変えずに並べられる。また、例えば、データ３２４Ｇの４×４のＧ信号のうち、Ｇ１１、Ｇ１３、Ｇ２２、Ｇ２４、Ｇ３１、Ｇ３３、Ｇ４２およびＧ４４が選択され、ベイヤ画像信号３２５において行および列の位置を変えずに並べられる。また、例えば、データ３２４Ｂの４×４のＢ信号のうち、Ｂ１２、Ｂ１４、Ｂ３２およびＢ３４が選択され、ベイヤ画像信号３２５において行および列の位置を変えずに並べられる。このようにして、Ｒ信号、Ｇ信号およびＢ信号がベイヤ配列で並べられたベイヤ画像信号３２５が生成される。
【００９４】
なお、Ｗ補間フィルタ３０２、高周波成分抽出部３０７および高周波成分復元部３０８により、高周波成分の抽出および復元を行っているが、これらを設けない構成としてもよい。ただし、画質を向上させる観点から、Ｗ補間フィルタ３０２、高周波成分抽出部３０７および高周波成分復元部３０８を設けることが望ましい。
【００９５】
また、比率算出部３０５および輝度・色差調整部３０６をベイヤ化部１２１に設けているが、これらを後段の信号処理部１２２に設けてもよい。ただし、画質を向上させる観点から、比率算出部３０５および輝度・色差調整部３０６をベイヤ化部１２１に設けることが望ましい。
【００９６】
さらに、ベイヤ画像信号出力部３０９を設けない構成とし、画像信号をベイヤ化せずに信号処理部１２２に供給するようにしてもよい。
【００９７】
｛輝度・色差調整部の構成例｝
図１１は、輝度・色差調整部３０６の構成例を示すブロック図である。輝度・色差調整部３０６は、ＹＣ変換部３５１、飽和色消し部３５２、色差信号補正部３５３、輝度信号合成部３５４およびＲＧＢ変換部３５５を備える。
【００９８】
ＹＣ変換部３５１は、画素毎に、ＲＬ信号、ＧＬ信号およびＢＬ信号を輝度信号ＹＬと色差信号ＣｒおよびＣｂとに変換する。ＹＣ変換部３５１は、例えば、ＩＴＵ−Ｒ(International Telecommunication Union Radiocommunication Sector) ＢＴ．６０１の規格に基づいて次の式（１８）乃至（２０）により変換を行う。ＹＣ変換部３５１は、輝度信号ＹＬと色差信号ＣｒおよびＣｂとを飽和色消し部３５２に供給する。
【００９９】
ＹＬ＝０．２９９×ＲＬ＋０．５８７×ＧＬ＋０．１４４×ＢＬ
・・・（１８）
Ｃｂ＝−０．１６８７３６×ＲＬ−０．３３１２６４×ＧＬ＋０．５×ＢＬ
・・・（１９）
Ｃｒ＝０．５×ＲＬ−０．４１８６８８×ＧＬ−０．０８１３１２×ＢＬ
・・・（２０）
【０１００】
飽和色消し部３５２は、入力信号(Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、Ｗ＋ＩＲ)のいずれかが飽和して、赤外線分離が正しく行われず誤った色となることを防ぐために用いられる。飽和レベルとして、例えば、Ｗ＋ＩＲ_Ｌの信号レベルが用いられる。Ｗ＋ＩＲ_Ｌの信号レベルが飽和レベルを超えると、飽和色消し部３５２は、１未満のゲインを、その信号に乗じて、飽和した分の色消しを行う。飽和色消し部３５２は、色消し後の色差信号ＣｒおよびＣｂを色差信号補正部３５３に供給し、色消し後の輝度信号ＹＬを輝度信号合成部３５４に供給する。
【０１０１】
色差信号補正部３５３は、色差信号ＣｒおよびＣｂを補正する。具体的には、色差信号補正部３５３は、撮像モード、測光量Ｑおよび可視光比率Ｒｃに基づいて、クロマゲインＧｃを設定する。そして、色差信号補正部３５３は、設定したゲインを色差信号ＣｒおよびＣｂのそれぞれに乗じる補正を行い、補正後の色差信号Ｃｒ’およびＣｂ’信号をＲＧＢ変換部３５５に供給する。クロマゲインの設定方法の詳細については後述する。
【０１０２】
輝度信号合成部３５４は、輝度信号ＹＬと色信号Ｗ＋ＩＲ_Ｌとを合成する。具体的には、輝度信号合成部３５４は、撮像モード、測光量Ｑおよび可視光比率Ｒｃに基づいて合成比率αを設定する。そして、輝度信号合成部３５４は、設定した合成比率αにより輝度信号ＹＬと色信号Ｗ＋ＩＲ_Ｌとを合成して輝度信号ＹＬ’を生成し、ＲＧＢ変換部３５５に供給する。合成比率の設定方法の詳細については後述する。
【０１０３】
ＲＧＢ変換部３５５は、画素毎に、輝度信号ＹＬ’および色差信号Ｃｒ’，Ｃｂ’をＲＬ信号、ＧＬ信号およびＢＬ信号に変換して高周波成分復元部３０８に供給する。ＲＧＢ変換部３５５は、例えば、ＩＴＵ−Ｒ ＢＴ．６０１の規格に基づいて次の式（２１）乃至（２３）を使用して変換を行う。
【０１０４】
ＲＬ＝ＹＬ’＋１．４０２×Ｃｒ’  ・・・（２１）
ＧＬ＝ＹＬ’−０．３４４１３６×Ｃｒ’−０．７１４１３６×Ｃｂ’
・・・（２２）
ＢＬ＝ＹＬ’＋１．７７２×Ｃｂ’  ・・・（２３）
【０１０５】
｛色差信号補正部の構成例｝
図１２は、色差信号補正部３５３の構成例を示すブロック図である。色差信号補正部３５３は、クロマゲイン制御部４０１と、乗算器４０２および４０３とを備える。
【０１０６】
クロマゲイン制御部４０１は、撮像モード、測光量Ｑおよび可視光比率Ｒｃに基づいて、色差信号に乗算するゲインであるクロマゲインＧｃを制御する。
【０１０７】
例えば、クロマゲイン制御部４０１は、デイモードまたはＣＮＶモードに設定されている場合、図１３のグラフを用いて、クロマゲインＧｃを設定する。
【０１０８】
図１３の縦軸は、クロマゲインＧｃを示し、横軸は測光量Ｑを示す。また、同図の一点鎖線は、可視光比率Ｒｃが１．０の場合のクロマゲインＧｃの設定例であり、実線は、可視光比率Ｒｃが０．９の場合のクロマゲインＧｃの設定例である。また、点線は、可視光比率Ｒｃが０．８の場合のクロマゲインＧｃの設定例である。同図に例示するように、測光量Ｑが小さいほど、また、可視光比率Ｒｃが低い（すなわち、赤外光成分の割合が高い）ほど、小さなクロマゲインＧｃが設定される。この結果、撮像装置１００の周囲が暗いほど、あるいは、赤外光成分の割合が高いほど、画像をモノクロ画像に近づけて、画像信号のＳＮ（Signal-to-Noise）比を良好に保つことができる。
【０１０９】
一方、クロマゲイン制御部４０１は、ナイトモードに設定されている場合、クロマゲインＧｃの値を０に設定する。
【０１１０】
クロマゲイン制御部４０１は、設定したクロマゲインＧｃを乗算器４０２および４０３に供給する。
【０１１１】
なお、クロマゲイン制御部４０１を画像処理部１０７内に設けているが、例えば、このクロマゲイン制御部４０１を制御部１０２内に設けてもよい。
【０１１２】
乗算器４０２は、色差信号ＣｒにクロマゲインＧｃを乗算し、乗算結果である色差信号Ｃｒ’をＲＧＢ変換部３５５に供給する。
【０１１３】
乗算器４０３は、色差信号ＣｂにクロマゲインＧｃを乗算し、乗算結果である色差信号Ｃｂ’をＲＧＢ変換部３５５に供給する。
【０１１４】
従って、デイモードまたはＣＮＶモードに設定されている場合、色差信号Ｃｒ’、Ｃｂ’は、次の式（２４）および（２５）のようになる。
【０１１５】
Ｃｒ’＝Ｇｃ×Ｃｒ  ・・・（２４）
Ｃｂ’＝Ｇｃ×Ｃｂ  ・・・（２５）
【０１１６】
一方、ナイトモードに設定されている場合、色差信号Ｃｒ’、Ｃｂ’は、次の式（２６）および（２７）のようになる。
【０１１７】
Ｃｒ’＝０  ・・・（２６）
Ｃｂ’＝０  ・・・（２７）
【０１１８】
従って、ナイトモードに設定されている場合、ＲＧＢ変換部３５５から出力されるＲＬ信号、ＧＬ信号およびＢＬ信号は、輝度信号ＹＬ’のみを含むようになり、モノクロの画像信号となる。
【０１１９】
｛輝度信号合成部の構成例｝
図１４は、輝度信号合成部３５４の構成例を示すブロック図である。輝度信号合成部３５４は、合成比率制御部４５１と、乗算器４５２および４５３と、加算器４５４とを備える。
【０１２０】
合成比率制御部４５１は、撮像モード、測光量Ｑおよび可視光比率Ｒｃに基づいて、合成比率αを制御する。
【０１２１】
例えば、合成比率制御部４５１は、デイモードまたはＣＮＶモードに設定されている場合、図１５のグラフを用いて、合成比率αを設定する。
【０１２２】
図１５の縦軸は、合成比率αを示し、横軸は測光量Ｑを示す。また、同図の一点鎖線は、可視光比率Ｒｃが１．０の場合の合成比率αの設定例であり、実線は、可視光比率Ｒｃが０．９の場合の合成比率αの設定例である。また、点線は、可視光比率Ｒｃが０．８の場合の合成比率αの設定例である。
【０１２３】
同図に例示するように、測光量Ｑが小さいほど、また、赤外光成分の割合が高いほど、小さな合成比率αが設定される。この結果、撮像装置１００の周囲が暗いほど、または、赤外光成分の比率が高いほど、ＳＮ比が良好なＷ＋ＩＲ_Ｌ信号の割合を高くすることができる。したがって、画像の画質を向上することができる。
【０１２４】
一方、合成比率制御部４５１は、ナイトモードに設定されている場合、合成比率αの値を０に設定する。
【０１２５】
合成比率制御部４５１は、設定した合成比率αを乗算器４５２に供給し、合成比率αを１から減算した減算結果１−αを乗算器４５３に供給する。
【０１２６】
なお、合成比率制御部４５１を画像処理部１０７内に設けているが、例えば、この合成比率制御部４５１を制御部１０２内に設けてもよい。
【０１２７】
乗算器４５２は、合成比率αを輝度信号ＹＬに乗算して乗算結果を加算器４５４に供給する。
【０１２８】
乗算器４５３は、合成比率制御部４５１からの減算結果１−αをＷ＋ＩＲ_Ｌ信号に乗算して乗算結果を加算器４５４に供給する。
【０１２９】
加算器４５４は、乗算器４５２および４５３のそれぞれの乗算結果を加算し、その加算結果を輝度信号ＹＬ’としてＲＧＢ変換部３５５に供給する。
【０１３０】
従って、デイモードまたはＣＮＶモードに設定されている場合、輝度信号ＹＬ’は、次の式（２８）のようになる。
【０１３１】
ＹＬ’＝α×ＹＬ＋（１−α）×Ｗ＋ＩＲ_Ｌ  ・・・（２８）
【０１３２】
上述した図１５に示されるように、測光量Ｑが所定のレベル以上の場合、合成比率αは１に設定される。従って、輝度信号ＹＬ’は、Ｒ画素、Ｇ画素およびＢ画素の画素信号から生成された輝度信号ＹＬのみを含むようになる。
【０１３３】
一方、測光量Ｑが小さいほど、また、赤外光成分の割合が高いほど、小さな合成比率αが設定される。この結果、撮像装置１００の周囲が暗いほど、または、赤外光成分の比率が高いほど、輝度信号ＹＬ’において、ＳＮ比が良好なＷ＋ＩＲ_Ｌ信号の割合を高くすることができる。
【０１３４】
一方、ナイトモードに設定されている場合、輝度信号ＹＬ’は、次の式（２９）のようになる。
【０１３５】
ＹＬ’＝Ｗ＋ＩＲ_Ｌ  ・・・（２９）
【０１３６】
すなわち、ナイトモードに設定されている場合、輝度信号ＹＬ’は、ＳＮ比が良好なＷ＋ＩＲ_Ｌ信号のみが含まれるようになる。
【０１３７】
したがって、いずれの撮像モードにおいても、特に低周波の輝度情報の再現性が向上し、画質が向上する。
【０１３８】
｛信号処理部の構成例｝
図１６は、信号処理部１２２の構成例を示すブロック図である。信号処理部１２２は、デモザイク処理部５０１、リニアマトリックス演算部５０２、ガンマ補正部５０３およびＹＣ変換部５０４を備える。
【０１３９】
デモザイク処理部５０１は、所定のデモザイクアルゴリズムを使用して、ベイヤ画像信号を、画像信号ごとにＲ信号、Ｇ信号およびＢ信号を含むデモザイク画像信号に変換する。デモザイク処理部５０１は、変換後のデモザイク画像信号をリニアマトリックス演算部５０２に供給する。
【０１４０】
リニアマトリックス演算部５０２は、色再現性を高める目的でリニアマトリックス演算を行う。リニアマトリックス演算部５０２は、例えば、次の式（３０）乃至（３２）に示すリニアマトリックス演算を行う。
【０１４１】
Ｒ’＝Ｒ＋ｋａ×（Ｒ−Ｇ）＋ｋｂ×（Ｒ−Ｂ）  ・・・（３０）
Ｇ’＝Ｒ＋ｋｃ×（Ｇ−Ｒ）＋ｋｄ×（Ｇ−Ｂ）  ・・・（３１）
Ｂ’＝Ｂ＋ｋｅ×（Ｂ−Ｒ）＋ｋｆ×（Ｂ−Ｇ）  ・・・（３２）
【０１４２】
式（３０）乃至（３２）において、ｋａ、ｋｂ、ｋｃ、ｋｄ、ｋｅおよびｋｆは、実数の係数である。
【０１４３】
リニアマトリックス演算部５０２は、演算後のＲ’信号、Ｇ’信号およびＢ’信号をガンマ補正部５０３に供給する。このリニアマトリックス演算により、輝度信号や色差信号の信号レベルが変化する。このため、リニアマトリックス演算の前に、色差信号補正部３５３における色信号の補正や、輝度信号合成部３５４における輝度信号の合成を行うことが望ましい。これらの補正や合成を、前述したようにベイヤ化部１２１で行うことにより、画質を向上させることができる。
【０１４４】
ガンマ補正部５０３は、ディスプレイの特性に合わせて、ガンマ補正を行う。ガンマ補正部５０３は、補正後のデモザイク画像信号をＹＣ変換部５０４に供給する。
【０１４５】
ＹＣ変換部５０４は、デモザイク画像において、Ｒ’信号、Ｇ’信号およびＢ’信号を輝度信号および色差信号に変換する。ＹＣ変換部５０４は、例えば、上述した式（１８）乃至（２０）を使用して変換を行い、変換後の画像信号をＹＣ画像信号として出力する。なお、ＹＣ変換部５０４は、式（１８）乃至（２０）において、ＲＬ信号、ＧＬ信号およびＢＬ信号の代わりに、Ｒ’信号、Ｇ’信号およびＢ’信号を用いる。
【０１４６】
なお、上述したようにベイヤ化部１２１においてベイヤ画像信号出力部３０９を設けない構成とした場合、信号処理部１２２において、デモザイク処理部５０１を設けない構成とすることが可能である。
【０１４７】
｛撮像装置１００の処理｝
次に、図１７乃至図２４を参照して、撮像装置１００の処理について説明する。
【０１４８】
（撮像モード設定処理）
まず、図１７のフローチャートを参照して、撮像装置１００により実行される撮像モード設定処理について説明する。この処理は、例えば、撮像を開始するときや、撮像中の所定の間隔ごと等の所定のタイミングで実行される。
【０１４９】
ステップＳ１において、撮像装置１００は、赤外光の照射、画素別シャッタをオフする。具体的には、制御部１０２は、赤外光照射部１０３を制御して消灯させる。また、制御部１０２は、撮像素子１０６を制御して、画素別シャッタをオフする。
【０１５０】
ステップＳ２において、制御部１０２は、赤外線分離部３０３をオンする。
【０１５１】
ステップＳ３において、制御部１０２は、周囲の明るさの判定を行う。例えば、制御部１０２は、図１８に示されるように、測光部１０１による測光量Ｑに基づいて、周囲の明るさを「明るい」、「暗い」、「非常に暗い」の３段階に分ける。具体的には、測光量Ｑが０から撮像素子１０６の光電変換素子が飽和するレベルまでの範囲内において、閾値ＴＨＱ０及び閾値ＴＨＱ１が予め設定されている。そして、制御部１０２は、測光量Ｑ≧閾値ＴＨＱ１の場合、周囲が明るいと判定し、閾値ＴＨＱ０≦測光量Ｑ＜閾値ＴＨＱ１の場合、周囲が暗いと判定し、測光量Ｑ＜閾値ＴＨＱ０の場合、周囲が非常に暗いと判定する。そして、周囲が暗いと判定された場合、処理はステップＳ４に進む。
【０１５２】
ステップＳ４において、制御部１０２は、環境赤外光の強度の判定を行う。具体的には、上述したように、比率算出部３０５は、式（１２）乃至（１４）を使用して可視光比率Ｒｃを算出し、制御部１０２に供給する。
【０１５３】
制御部１０２は、可視光比率Ｒｃに基づいて、環境赤外光の強度の判定を行う。例えば、図１９に示されるように、可視光比率Ｒｃの０から１までの範囲内において、閾値ＴＨＲｃが予め設定されている。制御部１０２は、可視光比率Ｒｃ≧ＴＨＲｃの場合、環境赤外光の強度が低いと判定し、可視光比率Ｒｃ＜ＴＨＲｃの場合、環境赤外光の強度が高いと判定する。そして、環境赤外光の強度が高いと判定された場合、処理はステップＳ５に進む。
【０１５４】
一方、ステップＳ３において、周囲が非常に暗いと判定された場合、ステップＳ４の処理はスキップされ、処理はステップＳ５に進む。
【０１５５】
ステップＳ５において、制御部１０２は、ナイトモードに設定する。すなわち、制御部１０２は、周囲が非常に暗い状態、または、周囲が暗く、環境赤外光の強度が高い状態の場合、ナイトモードに設定する。制御部１０２は、ナイトモードに設定したことを示すモード信号をクロマゲイン制御部４０１および合成比率制御部４５１に供給する。
【０１５６】
ステップＳ６において、赤外光照射部１０３は、制御部１０２の制御に従って、赤外光の連続照射を開始する。このとき、画素別シャッタはオフされたままとなる。
【０１５７】
なお、ナイトモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例は、図２４を参照して後述する。
【０１５８】
ステップＳ７において、制御部１０２は、赤外線分離部３０３をオフする。
【０１５９】
その後、撮像モード設定処理は終了する。
【０１６０】
一方、ステップＳ４において、環境赤外光の強度が低いと判定された場合、処理はステップＳ８に進む。
【０１６１】
ステップＳ８において、制御部１０２は、ＣＮＶモードに設定する。すなわち、制御部１０２は、周囲が暗く、環境赤外光の強度が低い状態の場合、ＣＮＶモードに設定する。制御部１０２は、ＣＮＶモードに設定したことを示すモード信号をクロマゲイン制御部４０１および合成比率制御部４５１に供給する。
【０１６２】
ステップＳ９において、撮像装置１００は、赤外光の間欠照射を開始し、画素別シャッタをオンする。具体的には、赤外光照射部１０３を制御して、赤外光の間欠照射を開始させる。また、制御部１０２は、撮像素子１０６を制御して、画素別シャッタをオンする。
【０１６３】
なお、ＣＮＶモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例は、図２３を参照して後述する。
【０１６４】
ステップＳ１０において、制御部１０２は、赤外線分離部３０３をオフする。
【０１６５】
その後、撮像モード設定処理は終了する。
【０１６６】
一方、ステップＳ３において、周囲が明るいと判定された場合、処理はステップＳ１１に進む。
【０１６７】
ステップＳ１１において、制御部１０２は、デイモードに設定する。制御部１０２は、デイモードに設定したことを示すモード信号をクロマゲイン制御部４０１および合成比率制御部４５１に供給する。
【０１６８】
ステップＳ１２において、制御部１０２は、撮像素子１０６を制御して、画素別シャッタをオンする。このとき、赤外光照射部１０３は消灯したままとなる。また、赤外線分離部３０３は、オンされたままとなる。
【０１６９】
なお、デイモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例は、図２２を参照して後述する。
【０１７０】
その後、撮像モード設定処理は終了する。
【０１７１】
（撮像処理）
次に、図２０のフローチャートを参照して、撮像装置１００により実行される撮像処理について説明する。
【０１７２】
ステップＳ１０１において、撮像素子１０６は、ＲＧＢＷ画像を撮像する。具体的には、撮像素子１０６は、撮像レンズ１０４および光学フィルタ１０５を介して受光した光の像を撮像し、撮像の結果得られたＲＧＢＷ画像信号をＲＧＢＷ補間フィルタ３０１及びＷ補間フィルタ３０２に供給する。
【０１７３】
ステップＳ１０２において、撮像装置１００は、ベイヤ化処理を実行する。ここで、図２１のフローチャートを参照して、ベイヤ化処理の詳細について説明する。
【０１７４】
ステップＳ１５１において、ＲＧＢＷ補間フィルタ３０１およびＷ補間フィルタ３０２は、画素の補間を行う。
【０１７５】
具体的には、ＲＧＢＷ補間フィルタ３０１は、上述したように、ＲＧＢＷ画像信号において、画素ごとに色信号の全てを補間する。ＲＧＢＷ補間フィルタ３０１は、補間後のＲ＋ＩＲ_Ｌ信号、Ｇ＋ＩＲ_Ｌ信号およびＢ＋ＩＲ_Ｌ信号を赤外線分離部３０３に供給し、Ｗ＋ＩＲ_Ｌ信号を赤外線分離部３０３、比率算出部３０５、高周波成分抽出部３０７、高周波成分復元部３０８、飽和色消し部３５２および乗算器４５３に供給する。
【０１７６】
Ｗ補間フィルタ３０２は、上述したように、ＲＧＢＷ画像信号において、画素ごとにＷ＋ＩＲ信号を補間する。Ｗ補間フィルタ３０２は、補間後のＷ＋ＩＲ’信号を高周波成分抽出部３０７に供給する。
【０１７７】
ステップＳ１５２において、赤外線分離部３０３がオンされているか否かが判定される。赤外線分離部３０３がオンされていると判定された場合、処理はステップＳ１５３に進む。
【０１７８】
ステップＳ１５３において、赤外線分離部３０３は、赤外光成分を分離、除去する。具体的には、赤外線分離部３０３は、上述したように、Ｒ＋ＩＲ_Ｌ信号、Ｇ＋ＩＲ_Ｌ信号およびＢ＋ＩＲ_Ｌ信号のそれぞれから赤外光成分を分離して除去する。赤外線分離部３０３は、赤外光成分が除去されたＲＬ信号、ＧＬ信号およびＢＬ信号をホワイトバランス処理部３０４に供給する。また、赤外線分離部３０３は、分離した赤外光成分ＩＲを比率算出部３０５に供給する。
【０１７９】
ホワイトバランス処理部３０４は、上述したように、ＲＬ信号、ＧＬ信号およびＢＬ信号においてホワイトバランスを調整し、ホワイトバランスを調整したＲＬ信号、ＧＬ信号およびＢＬ信号をＹＣ変換部３５１に供給する。
【０１８０】
その後、処理はステップＳ１５４に進む。
【０１８１】
一方、ステップＳ１５２において、赤外線分離部３０３がオフされていると判定された場合、ステップＳ１５３の処理はスキップされ、処理はステップＳ１５４に進む。このとき、赤外線分離部３０３に入力されたＲ＋ＩＲ_Ｌ信号、Ｇ＋ＩＲ_Ｌ信号およびＢ＋ＩＲ_Ｌ信号は、赤外光成分の分離および除去が行われることなく、そのままＲＬ信号、ＧＬ信号およびＢＬ信号としてＹＣ変換部３５１に供給される。
【０１８２】
ステップＳ１５４において、クロマゲイン制御部４０１および合成比率制御部４５１は、ナイトモードに設定されているか否かを判定する。ナイトモードに設定されていると判定された場合、処理はステップＳ１５５に進む。
【０１８３】
ステップＳ１５５において、輝度・色差調整部３０６は、ナイトモード用の輝度および色差の調整を行う。
【０１８４】
具体的には、ＹＣ変換部３５１は、上述したように、画素毎に、ＲＬ信号、ＧＬ信号およびＢＬ信号を輝度信号ＹＬと色差信号ＣｒおよびＣｂとに変換する。ＹＣ変換部３５１は、輝度信号ＹＬと色差信号ＣｒおよびＣｂとを飽和色消し部３５２に供給する。
【０１８５】
飽和色消し部３５２は、上述したように、輝度信号ＹＬ、並びに、色差信号ＣｒおよびＣｂの色消しを行う。飽和色消し部３５２は、色消し後の色差信号Ｃｒを乗算器４０２に供給し、色消し後の色差信号Ｃｂを乗算器４０３に供給する。また、飽和色消し部３５２は、色消し後の輝度信号ＹＬを乗算器４５２に供給する。
【０１８６】
クロマゲイン制御部４０１は、クロマゲインＧｃを０に設定する。クロマゲイン制御部４０１は、設定したクロマゲインＧｃを乗算器４０２および４０３に供給する。
【０１８７】
乗算器４０２は、色差信号ＣｒにクロマゲインＧｃ（＝０）を乗算し、乗算結果である色差信号Ｃｒ’をＲＧＢ変換部３５５に供給する。
【０１８８】
乗算器４０３は、色差信号ＣｂにクロマゲインＧｃ（＝０）を乗算し、乗算結果である色差信号Ｃｂ’をＲＧＢ変換部３５５に供給する。
【０１８９】
合成比率制御部４５１は、合成比率αを０に設定する。合成比率制御部４５１は、設定した合成比率αを乗算器４５２に供給し、合成比率αを１から減算した減算結果１−αを乗算器４５３に供給する。
【０１９０】
乗算器４５２は、合成比率α（＝０）を輝度信号ＹＬに乗算して乗算結果を加算器４５４に供給する。
【０１９１】
乗算器４５３は、合成比率制御部４５１からの減算結果１−α（＝１）をＷ＋ＩＲ_Ｌ信号に乗算して乗算結果を加算器４５４に供給する。
【０１９２】
加算器４５４は、乗算器４５２および４５３のそれぞれの乗算結果を加算し、その加算結果を輝度信号ＹＬ’としてＲＧＢ変換部３５５に供給する。
【０１９３】
ＲＧＢ変換部３５５は、上述したように、画素毎に、輝度信号ＹＬ’および色差信号Ｃｒ’，Ｃｂ’を、ＲＬ信号、ＧＬ信号およびＢＬ信号に変換して高周波成分復元部３０８に供給する。
【０１９４】
ここで、色差信号Ｃｒ’，Ｃｂ’は０なので、ＲＬ信号、ＧＬ信号およびＢＬ信号からなる画像はモノクロ画像となる。
【０１９５】
その後、処理はステップＳ１５７に進む。
【０１９６】
一方、ステップＳ１５４において、デイモードまたはＣＮＶモードに設定されていると判定された場合、処理はステップＳ１５６に進む。
【０１９７】
ステップＳ１５６において、輝度・色差調整部３１５は、デイモード、ＣＮＶモード用の輝度および色差の調整を行う。
【０１９８】
具体的には、ＹＣ変換部３５１は、上述したように、画素毎に、ＲＬ信号、ＧＬ信号およびＢＬ信号を輝度信号ＹＬと色差信号ＣｒおよびＣｂとに変換する。ＹＣ変換部３５１は、輝度信号ＹＬと色差信号ＣｒおよびＣｂとを飽和色消し部３５２に供給する。
【０１９９】
飽和色消し部３５２は、上述したように、輝度信号ＹＬ、並びに、色差信号ＣｒおよびＣｂの色消しを行う。飽和色消し部３５２は、色消し後の色差信号Ｃｒを乗算器４０２に供給し、色消し後の色差信号Ｃｂを乗算器４０３に供給する。また、飽和色消し部３５２は、色消し後の輝度信号ＹＬを乗算器４５２に供給する。
【０２００】
比率算出部３０５は、上述したように、可視光比率Ｒｃを算出し、制御部１０２、クロマゲイン制御部４０１および合成比率制御部４５１に供給する。
【０２０１】
クロマゲイン制御部４０１は、上述したように、測光量Ｑおよび可視光比率Ｒｃに基づいて、図１３のグラフを用いて、クロマゲインＧｃを設定する。クロマゲイン制御部４０１は、設定したクロマゲインＧｃを乗算器４０２および４０３に供給する。
【０２０２】
乗算器４０２は、色差信号ＣｒにクロマゲインＧｃを乗算し、乗算結果である色差信号Ｃｒ’をＲＧＢ変換部３５５に供給する。
【０２０３】
乗算器４０３は、色差信号ＣｂにクロマゲインＧｃを乗算し、乗算結果である色差信号Ｃｂ’をＲＧＢ変換部３５５に供給する。
【０２０４】
合成比率制御部４５１は、上述したように、測光量Ｑおよび可視光比率Ｒｃに基づいて、図１５のグラフを用いて、合成比率αを設定する。合成比率制御部４５１は、設定した合成比率αを乗算器４５２に供給し、合成比率αを１から減算した減算結果１−αを乗算器４５３に供給する。
【０２０５】
乗算器４５２は、合成比率αを輝度信号ＹＬに乗算して乗算結果を加算器４５４に供給する。
【０２０６】
乗算器４５３は、合成比率制御部４５１からの減算結果１−αをＷ＋ＩＲ_Ｌ信号に乗算して乗算結果を加算器４５４に供給する。
【０２０７】
加算器４５４は、乗算器４５２および４５３のそれぞれの乗算結果を加算し、その加算結果を輝度信号ＹＬ’としてＲＧＢ変換部３５５に供給する。
【０２０８】
ＲＧＢ変換部３５５は、上述したように、画素毎に、輝度信号ＹＬ’および色差信号Ｃｒ’，Ｃｂ’をＲＬ信号、ＧＬ信号およびＢＬ信号に変換して高周波成分復元部３０８に供給する。
【０２０９】
その後、処理はステップＳ１５７に進む。
【０２１０】
ステップＳ１５７において、高周波成分抽出部３０７は、上述したように、Ｗ＋ＩＲ_Ｌ信号およびＷ＋ＩＲ’信号に基づいて、高周波成分Ｗ＋ＩＲ_Ｈを抽出する。高周波成分抽出部３０７は、抽出した高周波成分Ｗ＋ＩＲ_Ｈを高周波成分復元部３０８に供給する。
【０２１１】
ステップＳ１５８において、高周波成分復元部３０８は、上述したように、ＲＬ信号、ＧＬ信号およびＢＬ信号において高周波成分Ｗ＋ＩＲ_Ｈを復元する。高周波成分復元部３０８は、高周波成分を復元したＲ信号、Ｇ信号およびＢ信号をベイヤ画像信号出力部３０９に供給する。
【０２１２】
ステップＳ１５９において、ベイヤ画像信号出力部３０９は、Ｒ信号、Ｇ信号およびＢ信号をベイヤ配列に従って並べ、ベイヤ画像信号としてデモザイク処理部５０１に供給する。
【０２１３】
その後、ベイヤ化処理は終了する。
【０２１４】
図２０に戻り、ステップＳ１０３において、信号処理部１２２は、信号処理を行う。
【０２１５】
具体的には、デモザイク処理部５０１は、上述したように、ベイヤ画像信号を、画像信号ごとにＲ信号、Ｇ信号およびＢ信号を含むデモザイク画像信号に変換し、変換後のデモザイク画像信号をリニアマトリックス演算部５０２に供給する。
【０２１６】
リニアマトリックス演算部５０２は、上述したように、デモザイク画像信号に対してリニアマトリックス演算を行い、演算後のデモザイク画像信号をガンマ補正部５０３に供給する。
【０２１７】
ガンマ補正部５０３は、ディスプレイの特性に合わせて、デモザイク画像信号のガンマ補正を行い、補正後のデモザイク画像信号をＹＣ変換部５０４に供給する。
【０２１８】
ＹＣ変換部５０４は、上述したように、デモザイク画像信号をＹＣ画像信号に変換し、変換後のＹＣ画像信号を出力する。
【０２１９】
ステップＳ１０４において、制御部１０２は、撮像を停止するか否かを判定する。撮像を停止しないと判定された場合、処理はステップＳ１０１に戻り、ステップＳ１０４において、撮像を停止すると判定されるまで、ステップＳ１０１乃至Ｓ１０４の処理が繰り返し実行される。
【０２２０】
一方、ステップＳ１０４において、制御部１０２は、例えば、ユーザにより所定の操作が行われた場合や、撮像を継続する時間が経過した場合等に、撮像を停止すると判定し、撮像処理は終了する。
【０２２１】
ここで、図２２乃至図２４を参照して、各撮像モードにおける赤外光の照射期間および各画素の露光期間の例について説明する。なお、図２２乃至図２４において、時刻ｔ０からｔ４の期間、時刻ｔ４から時刻ｔ８の期間が、それぞれ１フレーム期間である。
【０２２２】
図２２は、デイモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例を示している。デイモードに設定されている場合、撮像素子１０６の画素アレイ部２０２の１行目から最終行に向かう掃引方向に従って、行単位に露光期間がずらされる。また、画素別シャッタがオンされることにより、同じ行の画素であっても、Ｒ画素、Ｇ画素およびＢ画素（以下、カラー画素と称する）とＷ画素とで異なる露光期間が設定される。
【０２２３】
例えば、時刻ｔ１において、画素アレイ部２０２の１行目のカラー画素の露光期間が開始される。その後、所定の時間間隔で、掃引方向の順に画素アレイ部２０２の各行のカラー画素の露光期間が開始される。そして、時刻ｔ２において、画素アレイ部２０２の最終行のカラー画素の露光期間が開始される。このように、時刻ｔ１から時刻ｔ２の期間において、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。
【０２２４】
次に、時刻ｔ４において、画素アレイ部２０２の１行目のカラー画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。その後、所定の時間間隔で、掃引方向の順に画素アレイ部２０２の各行のカラー画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。そして、時刻ｔ５において、画素アレイ部２０２の最終行のカラー画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。このように、時刻ｔ４から時刻ｔ５の期間において、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で終了し、露光期間中に得られた電荷信号が読み出される。
【０２２５】
次に、時刻ｔ５から時刻ｔ６の期間において、時刻ｔ１から時刻ｔ２の期間と同様に、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。
【０２２６】
次に、時刻ｔ８から時刻ｔ９の期間において、時刻ｔ４から時刻ｔ５の期間と同様に、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で終了し、露光期間中に得られた電荷信号が読み出される。
【０２２７】
以降、同様の処理が繰り返される。
【０２２８】
一方、時刻ｔ２において、画素アレイ部２０２の１行目のＷ画素の露光期間が開始される。その後、所定の時間間隔で、掃引方向の順に画素アレイ部２０２の各行のＷ画素の露光期間が開始される。そして、時刻ｔ３において、画素アレイ部２０２の最終行のＷ画素の露光期間が開始される。このように、時刻ｔ２から時刻ｔ３の期間において、Ｗ画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。
【０２２９】
次に、時刻ｔ４において、画素アレイ部２０２の１行目のＷ画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。その後、所定の時間間隔で、掃引方向の順に画素アレイ部２０２の各行のＷ画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。そして、時刻ｔ５において、画素アレイ部２０２の最終行のＷ画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。このように、時刻ｔ４から時刻ｔ５の期間において、Ｗ画素の露光期間が、掃引方向の順に所定の時間間隔で終了し、露光期間中に得られた電荷信号が読み出される。
【０２３０】
次に、時刻ｔ６から時刻ｔ７の期間において、時刻ｔ２から時刻ｔ３の期間と同様に、Ｗ画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。
【０２３１】
次に、時刻ｔ８から時刻ｔ９の期間において、時刻ｔ４から時刻ｔ５の期間と同様に、Ｗ画素の露光期間が、掃引方向の順に所定の時間間隔で終了し、露光期間中に得られた電荷信号が読み出される。
【０２３２】
以降、同様の処理が繰り返される。
【０２３３】
なお、デイモードに設定されている場合、環境光の強度が十分であるため、赤外光の照射は行われない。
【０２３４】
以上のように、デイモードに設定されている場合、各フレーム期間内にカラー画素とＷ画素の露光期間が設定される。
【０２３５】
また、Ｗ画素がカラー画素より感度が高いことを考慮して、カラー画素の露光期間がＷ画素の露光期間より長く設定される。これにより、画像のＳＮ比が最適化される。
【０２３６】
なお、カラー画素とＷ画素の露光期間を同じ長さに設定することも可能である。
【０２３７】
図２３は、ＣＮＶモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例を示している。ＣＮＶモードに設定されている場合、デイモードに設定されている場合と同様に、撮像素子１０６の画素アレイ部２０２の１行目から最終行に向かう掃引方向に従って、行単位に露光期間がずらされる。また、画素別シャッタがオンされることにより、カラー画素とＷ画素とで、同じ行の画素の露光期間がずらされる。
【０２３８】
例えば、時刻ｔ２から時刻ｔ３の期間において、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。
【０２３９】
次に、時刻ｔ４から時刻ｔ５の期間において、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で終了し、露光期間中に得られた電荷信号が読み出される。
【０２４０】
次に、時刻ｔ６から時刻ｔ７の期間において、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。
【０２４１】
次に、時刻ｔ８から時刻ｔ９の期間において、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で終了し、露光期間中に得られた電荷信号が読み出される。
【０２４２】
以降、同様の処理が繰り返される。
【０２４３】
一方、時刻ｔ０から時刻ｔ１の期間において、Ｗ画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。
【０２４４】
次に、時刻ｔ４において、画素アレイ部２０２の１行目のＷ画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。電荷信号の読み出し後、画素アレイ部２０２の１行目のＷ画素の新たな露光期間が開始される。その後、所定の時間間隔で、掃引方向の順に画素アレイ部２０２の各行のＷ画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。そして、時刻ｔ５において、画素アレイ部２０２の最終行のＷ画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。このように、時刻ｔ４から時刻ｔ５の期間において、Ｗ画素の露光期間が掃引方向の順に終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。
【０２４５】
次に、時刻ｔ８から時刻ｔ９の期間において、時刻ｔ４から時刻ｔ５の期間と同様に、Ｗ画素の露光期間が掃引方向の順に終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。
【０２４６】
以降、同様の処理が繰り返される。
【０２４７】
このように、各フレーム期間内にカラー画素とＷ画素の露光期間が設定される。また、赤外光受光用のＷ画素の露光期間が、赤外光の受光に用いられないカラー画素の露光期間より長く設定される。さらに、各フレーム期間において、時刻ｔ１から時刻ｔ２の期間、時刻ｔ５から時刻ｔ６の期間、および、時刻ｔ９から時刻ｔ１０の期間のように、Ｗ画素とカラー画素の露光期間が重複していない期間、より具体的には、全てのＷ画素が露光しており、全てのカラー画素が露光していない期間（以下、単独露光期間と称する）が設けられる。
【０２４８】
一方、赤外光は、各フレーム期間の一部の期間のみ照射される。具体的には、赤外光は、各フレーム期間のうち単独露光期間内に集中的に照射される。
【０２４９】
なお、必ずしも単独露光期間の全期間において赤外光を照射する必要はなく、単独露光期間の一部の期間においてのみ赤外光を照射するようにしてもよい。
【０２５０】
以上のように、ＣＮＶモードに設定されている場合、Ｗ画素のみが赤外光照射部１０３からの赤外光を受光し、カラー画素は赤外光照射部１０３からの赤外光を受光しない。
【０２５１】
ここで、上述したように、色情報はカラー画素の画素信号から生成されるが、カラー画素は照射した赤外光を受光しないため、色再現性の低下が防止される。
【０２５２】
一方、上述したように、輝度情報は、主にW画素の画素信号から生成される。より厳密には、輝度情報の高周波成分は、主にＷ画素の画素信号から生成され、輝度情報の低周波成分は、主にカラー画素の画素信号から生成される。そして、Ｗ画素が赤外光を受光することにより、周囲が暗くても、輝度成分の特に高周波成分の再現性が向上する。
【０２５３】
この結果、撮像装置１００により生成される画像の画質が向上する。
【０２５４】
図２４は、ナイトモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例を示している。ナイトモードに設定されている場合、他のモードに設定されている場合と同様に、撮像素子１０６の画素アレイ部２０２の１行目から最終行に向かう掃引方向に従って、行単位に露光期間がずらされる。また、画素別シャッタがオフされることにより、カラー画素とＷ画素の露光期間が合わせられる。
【０２５５】
例えば、時刻ｔ０から時刻ｔ１の期間において、カラー画素およびＷ画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。
【０２５６】
次に、時刻ｔ４から時刻ｔ５の期間において、カラー画素およびＷ画素の露光期間が掃引方向の順に終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。
【０２５７】
次に、時刻ｔ８から時刻ｔ９の期間において、カラー画素およびＷ画素の露光期間が掃引方向の順に終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。
【０２５８】
以降、同様の処理が繰り返される。
【０２５９】
一方、赤外光は連続して照射される。
【０２６０】
上述したように、ナイトモードに設定されている場合、色情報を用いずに、モノクロの画像が生成される。従って、赤外光を連続照射することにより、輝度情報の再現性が向上し、撮像装置１００により生成される画像の画質が向上する。
【０２６１】
以上のように、ＣＮＶモードに設定することにより、周囲が暗くても、赤外光を照射しながら、フレームレートを落とすことなく、高画質のカラー画像を得ることができる。
【０２６２】
また、赤外光を照射して撮像した画像と、赤外光を照射せずに撮像した画像を合成するためのフレームバッファを設ける必要がないため、回路の規模の増大や複雑化を防ぐことができる。
【０２６３】
さらに、ＩＲカットフィルタを用いたり、ＩＲカットフィルタの挿脱を行ったりすることなく、デイモードとＣＮＶモードの両モードにおいて、高画質のカラー画像を得ることができる。
【０２６４】
＜２．第２の実施の形態＞
次に、図２５乃至図３４を参照して、本技術の第２の実施の形態について説明する。
【０２６５】
｛撮像装置の構成例｝
図２５は、本技術の第２の実施の形態である撮像装置７００の構成例を示すブロック図である。なお、図中、図１と対応する部分には、同じ符号を付してある。
【０２６６】
撮像装置７００は、図１の撮像装置１００と比較して、測光部１０１、赤外光照射部１０３および撮像レンズ１０４を備える点で一致する。一方、撮像装置７００は、撮像装置１００と比較して、制御部１０２、光学フィルタ１０５、撮像素子１０６および画像処理部１０７の代わりに、制御部７０２、ＩＲカットフィルタ７０３、撮像素子７０４および画像処理部７０５を備えている点、並びに、環境光センサ７０１が追加されている点が異なる。画像処理部７０５は、画像処理部１０７と比較して、ベイヤ化部１２１の代わりにベイヤ化部７２１が設けられている点が異なる。
【０２６７】
環境光センサ７０１は、フォトダイオード７１１ａおよび７１１ｂ、並びに、ＩＲカットフィルタ（ＩＲＣＦ）７１２を備えている。
【０２６８】
フォトダイオード７１１ａは、撮像装置７００の周囲の環境光の強度を測定する。フォトダイオード７１１ａは、測定結果を示す環境光強度ＰＤａを制御部１０２に供給する。
【０２６９】
フォトダイオード７１１ｂは、ＩＲカットフィルタ７１２を介して入射する環境光、すなわち、赤外光成分を減衰した環境光の強度を測定する。フォトダイオード７１１ｂは、測定結果を示す環境光強度ＰＤｂを制御部１０２に供給する。
【０２７０】
制御部７０２は、撮像装置７００全体を制御する。例えば、制御部７０２は、次の式（３３）を使用して可視光比率Ｒｃを算出し、ベイヤ化部７２１に供給する。
【０２７１】
Ｒｃ＝ＰＤｂ／ＰＤａ  ・・・（３３）
【０２７２】
また、例えば、制御部７０２は、測光量Ｑ及び可視光比率Ｒｃに基づいて、撮像モードを設定し、設定した撮像モードを示すモード信号をベイヤ化部７２１に供給する。
【０２７３】
さらに、例えば、制御部７０２は、デイモードまたはナイトモードに設定した場合、ベイヤ化部７２１の低周波用ＲＧＢ補間フィルタ８０１および高周波用Ｇ補間フィルタ８０２（図２７）を補間フィルタＡに設定する。一方、例えば、制御部７０２は、ＣＮＶモードに設定した場合、ベイヤ化部７２１の低周波用ＲＧＢ補間フィルタ８０１および高周波用Ｇ補間フィルタ８０２を補間フィルタＢに設定する。
【０２７４】
また、例えば、制御部７０２は、ユーザの操作などに従って撮像素子７０４を制御して画像信号を生成させる。例えば、制御部７０２は、撮像のタイミングを示す垂直同期信号ＶＳＹＮＣを生成して撮像素子７０４に供給する。また、制御部７０２は、撮像モードに応じて、撮像素子７０４の画素別シャッタのオン／オフを制御する。
【０２７５】
さらに、例えば、制御部７０２は、撮像モードに応じて、赤外光照射部１０３の照射期間を制御する。
【０２７６】
また、例えば、制御部７０２は、撮像モードに応じて、撮像レンズ１０４と撮像素子７０４の間にＩＲカットフィルタ７０３を挿入したり、撮像レンズ１０４と撮像素子７０４の間からＩＲカットフィルタ７０３を外したりする。
【０２７７】
ＩＲカットフィルタ７０３は、撮像レンズ１０４と撮像素子７０４の間に挿脱可能に配置されている。ＩＲカットフィルタ７０３は、撮像レンズ１０４からの光のうち赤外光成分を減衰し、赤外光成分以外の光を透過する。
【０２７８】
撮像素子７０４は、撮像素子１０６と比較して、画素の配列が異なる。具体的には、撮像素子７０４では、図２６に示されるように、Ｒ画素、Ｇ画素およびＢ画素がベイヤ配列に従って配置されている。また、Ｇ画素は、Ｇｒ画素とＧｂ画素に分かれ、後述するように、Ｇｂ画素が赤外光受光用の画素に設定される。一方、Ｒ画素、Ｇｒ画素およびＢ画素は、赤外光照射部１０３からの赤外光の受光に用いられない画素に設定される。
【０２７９】
また、撮像素子７０４は、撮像レンズ１０４を介して、または、撮像レンズ１０４およびＩＲカットフィルタ７０３を介して受光した光を電気信号に変換して、ＲＧＢ画像信号を生成する。より具体的には、Ｒ画素からはＲ＋ＩＲ信号が生成され、Ｇｒ画素からはＧｒ＋ＩＲ信号が生成され、Ｇｂ画素からはＧｂ＋ＩＲ信号が生成され、Ｂ画素からはＢ＋ＩＲ信号が生成される。撮像素子７０４は、生成したＲＧＢ画像信号をベイヤ化部７２１に供給する。
【０２８０】
ベイヤ化部７２１は、ＲＧＢ画像信号を色差信号および輝度信号に変換し、色差信号を補正した後、さらに画素信号がベイヤ配列に従って並べられたベイヤ画像信号に変換する。ベイヤ化部７２１は、ベイヤ画像信号を信号処理部１２２に供給する。
【０２８１】
｛ベイヤ化部の構成例｝
図２７は、ベイヤ化部７２１の構成例を示すブロック図である。なお、図中、図６と対応する部分には、同じ符号を付してある。
【０２８２】
ベイヤ化部７２１は、図６のベイヤ化部１２１と比較して、ホワイトバランス処理部３０４ベイヤ画像信号出力部３０９を備える点が共通する。一方、ベイヤ化部７２１は、ベイヤ化部１２１と比較して、ＲＧＢＷ補間フィルタ３０１、Ｗ補間フィルタ３０２、輝度・色差調整部３０６、高周波成分抽出部３０７および高周波成分復元部３０８の代わりに、低周波用ＲＧＢ補間フィルタ８０１、高周波用Ｇ補間フィルタ８０２、色差調整部８０３、高周波成分抽出部８０４および高周波成分復元部８０５が設けられている点が異なる。また、ベイヤ化部７２１は、ベイヤ化部１２１と比較して、赤外線分離部３０３および比率算出部３０５が設けられていない点が異なる。
【０２８３】
低周波用ＲＧＢ補間フィルタ８０１は、ＲＧＢ画像信号において、画素信号ごとに色信号の全てを補間する。
【０２８４】
例えば、低周波用ＲＧＢ補間フィルタ８０１は、補間フィルタＡまたは補間フィルタＢのいずれに設定されている場合においても、画素信号に順に着目し、着目した画素信号を補間対象として、その周囲の画素信号を用いて、次の式（３４）乃至（３７）を使用して、Ｒ信号、Ｇｂ信号、Ｇｒ信号およびＢ信号を補間する。
【０２８５】
【数３】
2017108211.tif 000005
【０２８６】
式（３４）乃至（３７）において、Ｍ、ｉ、ｋｉは、それぞれ上述した式（１）乃至（４）と同様のものである。なお、例えば、タップ数Ｍは８１（＝９行×９列）に設定される。
【０２８７】
また、低周波用ＲＧＢ補間フィルタ８０１は、補間フィルタＡに設定されている場合、次の式（３８）および（３９）を使用して、画素ごとにＧＬ信号およびＧＨＬ信号を生成する。
【０２８８】
ＧＬ＝（ＧｒＬ＋ＧｂＬ）／２  ・・・（３８）
ＧＨＬ＝（ＧｒＬ＋ＧｂＬ）／２  ・・・（３９）
【０２８９】
すなわち、補間フィルタＡに設定されている場合、ＧＬ信号およびＧＨＬ信号は、ともに同じ画素のＧｒＬ信号とＧｂＬ信号の平均値となる。
【０２９０】
一方、低周波用ＲＧＢ補間フィルタ８０１は、補間フィルタＢに設定されている場合、次の式（４０）および（４１）を使用して、画素ごとにＧＬ信号およびＧＨＬ信号を生成する。
【０２９１】
ＧＬ＝ＧｒＬ  ・・・（４０）
ＧＨＬ＝ＧｂＬ  ・・・（４１）
【０２９２】
すなわち、補間フィルタＢに設定されている場合、ＧＬ信号として、赤外光照射部１０３からの赤外光の成分を含まないＧｒＬ信号が選択される。一方、ＧＨＬ信号として、赤外光照射部１０３からの赤外光の成分を含むＧｂＬ信号が選択される。
【０２９３】
低周波用ＲＧＢ補間フィルタ８０１は、補間後のＲＬ信号、ＧＬ信号およびＢＬ信号をホワイトバランス処理部３０４に供給し、ＧＨＬ信号を高周波成分抽出部８０４および高周波成分復元部８０５に供給する。
【０２９４】
このように、低周波用ＲＧＢ補間フィルタ８０１が補間フィルタＡに設定されている場合、ＲＬ信号、ＧＬ信号およびＢＬ信号は、Ｒ＋ＩＲ信号、Ｇｒ＋ＩＲ信号、Ｇｂ＋ＩＲ信号およびＢ＋ＩＲ信号に基づいて生成される。また、ＧＨＬ信号は、Ｇｒ＋ＩＲ信号およびＧｂ＋ＩＲ信号に基づいて生成される。
【０２９５】
一方、低周波用ＲＧＢ補間フィルタ８０１が補間フィルタＢに設定されている場合、ＲＬ信号、ＧＬ信号およびＢＬ信号は、Ｒ＋ＩＲ信号、Ｇｒ＋ＩＲ信号およびＢ＋ＩＲ信号に基づいて生成される。また、ＧＨＬ信号は、Ｇｂ＋ＩＲ信号に基づいて生成される。
【０２９６】
高周波用Ｇ補間フィルタ８０２は、ＲＧＢ画像信号において、画素信号ごとにＧ信号のみを補間する。
【０２９７】
例えば、高周波用Ｇ補間フィルタ８０２は、補間フィルタＡに設定されている場合、次の式（４２）および式（４３）を使用して、Ｇｒ信号およびＧｂ信号を補間する。
【０２９８】
【数４】
2017108211.tif 000006
【０２９９】
なお、式（４２）および式（４３）において、Ｎはタップ数である。ｉ、ｋｉは、それぞれ上述した式（３５）および（３６）と同様のものである。なお、タップ数Ｎは、例えば、低周波用ＲＧＢ補間フィルタのタップ数Ｍより小さな値に設定される。例えば、タップ数Ｎは、２５（＝５行×５列）に設定される。
【０３００】
さらに、高周波用Ｇ補間フィルタ８０２は、次の式（４４）を使用して、画素ごとにＧＨＨ信号を生成する。
【０３０１】
ＧＨＨ＝（ＧｒＨ＋ＧｂＨ）／２  ・・・（４４）
【０３０２】
一方、高周波用Ｇ補間フィルタ８０２は、補間フィルタＢに設定されている場合、次の式（４５）を使用して、赤外光照射部１０３からの赤外光の成分を含むＧｂ信号のみを補間する。
【０３０３】
【数５】
2017108211.tif 000007
【０３０４】
なお、式（４５）において、Ｎ、ｉ、ｋは、上述した式（４３）と同様のものである。
【０３０５】
高周波用Ｇ補間フィルタ８０２は、補間後のＧＨＨ信号のそれぞれを高周波成分抽出部８０４に供給する。
【０３０６】
このように、高周波用Ｇ補間フィルタ８０２が補間フィルタＡに設定されている場合、ＧＨＨ信号は、Ｇｒ＋ＩＲ信号およびＧｂ＋ＩＲ信号に基づいて生成される。一方、高周波用Ｇ補間フィルタ８０２が補間フィルタＢに設定されている場合、ＧＨＨ信号は、Ｇｂ＋ＩＲ信号のみに基づいて生成される。
【０３０７】
ホワイトバランス処理部３０４は、上述したように、ＲＬ信号、ＧＬ信号およびＢＬ信号においてホワイトバランスを調整し、ホワイトバランスを調整したＲＬ信号、ＧＬ信号およびＢＬ信号を色差調整部８０３に供給する。
【０３０８】
色差調整部８０３は、撮像モードに応じて、可視光比率Ｒｃおよび測光量Ｑに基づいて、色差信号を調整する。具体的には、色差調整部８０３は、画素信号ごとに、その画素信号内のＲＬ信号、ＧＬ信号およびＢＬ信号を輝度信号および色差信号に変換する。そして、色差調整部８０３は、色差信号を撮像モードに応じて、可視光比率Ｒｃおよび測光量Ｑに基づいて調整し、輝度信号および色差信号を、ＲＬ信号、ＧＬ信号およびＢＬ信号に戻して高周波成分復元部８０５に供給する。
【０３０９】
高周波成分抽出部８０４は、低周波用ＲＧＢ補間フィルタ８０１からのＧＨＬ信号と、高周波用Ｇ補間フィルタ８０２からのＧＨＨ信号との差分を高周波成分ＧＨとして抽出する。前述したように、高周波用Ｇ補間フィルタ８０２のタップ数Ｎは、低周波用ＲＧＢ補間フィルタ８０１のタップ数Ｍより小さい。このため、高周波用Ｇ補間フィルタ８０２からのＧＨＨ信号には、低周波用ＲＧＢ補間フィルタ８０１からのＧＨＬ信号よりも高い周波数成分が含まれている。したがって、それらの差分をとることにより、その高周波成分ＧＨを抽出することができる。高周波成分抽出部８０４は、抽出した高周波成分ＧＨを高周波成分復元部８０５に供給する。
【０３１０】
高周波成分復元部８０５は、ＲＬ信号、ＧＬ信号およびＢＬ信号において高周波成分ＧＨを復元する。高周波成分復元部８０５は、例えば、次の式（４６）乃至（４８）を使用して、高周波成分ＧＨを復元する。
【０３１１】
Ｒ＝ＲＬ＋ＧＨ×ＲＬ／ＧＨＬ  ・・・（４６）
Ｇ＝ＧＬ＋ＧＨ×ＧＬ／ＧＨＬ  ・・・（４７）
Ｂ＝ＢＬ＋ＧＨ×ＢＬ／ＧＨＬ  ・・・（４８）
【０３１２】
式（４６）乃至（４８）において、Ｒ、ＧおよびＢは、復元後の色信号である。低周波用ＲＧＢ補間フィルタ８０１における補間により、各色信号の高周波成分が失われるため、そのままでは画像の画質が低下してしまう。しかし、その高周波成分を高周波成分復元部８０５において復元することにより、復元しない場合と比較して画質が向上する。高周波成分復元部８０５は、復元したＲ信号、Ｇ信号およびＢ信号をベイヤ画像信号出力部３０９に供給する。
【０３１３】
なお、ベイヤ画像信号出力部３０９を設けない構成とし、画像信号をベイヤ化せずに信号処理部１２２に供給するようにしてもよい。
【０３１４】
｛色差調整部の構成例｝
図２８は、色差調整部８０３の構成例を示すブロック図である。なお、図中、図１１と対応する部分には、同じ符号を付してある。
【０３１５】
色差調整部８０３は、図１１の輝度・色差調整部３１５と比較して、ＹＣ変換部３５１および色差信号補正部３５３が設けられている点で一致する。一方、色差調整部８０３は、輝度・色差調整部３１５と比較して、ＲＧＢ変換部３５５の代わりにＲＧＢ変換部８５１が設けられている点、並びに、飽和色消し部３５２および輝度信号合成部３５４が削除されている点が異なる。
【０３１６】
ＲＧＢ変換部８５１は、輝度信号ＹＬをＹＣ変換部３５１から取得し、色差信号Ｃｒ’およびＣｂ’を色差信号補正部３５３から取得する。ＲＧＢ変換部８５１は、図１１のＲＧＢ変換部３５５と同様に、上述した式（２１）乃至（２３）を使用して、輝度信号ＹＬと色差信号Ｃｒ’およびＣｂ’を、ＲＬ信号、ＧＬ信号およびＢＬ信号に変換する。ただし、ＲＧＢ変換部８５１は、式（２１）乃至（２３）において、輝度信号ＹＬ’の代わりに輝度信号ＹＬを使用する。ＲＧＢ変換部８５１は、変換後のＲＬ信号、ＧＬ信号およびＢＬ信号を高周波成分復元部８０５に供給する。
【０３１７】
｛撮像装置７００の処理｝
次に、図２９乃至図３４を参照して、撮像装置７００の処理について説明する。
【０３１８】
（撮像モード設定処理）
まず、図２９のフローチャートを参照して、撮像装置７００により実行される撮像モード設定処理について説明する。この処理は、例えば、撮像を開始するときや、撮像中の所定の間隔ごと等の所定のタイミングで実行される。
【０３１９】
ステップＳ２０１において、図１７のステップＳ１の処理と同様に、赤外光の照射、画素別シャッタがオフされる。
【０３２０】
ステップＳ２０２において、制御部７０２は、撮像レンズ１０４と撮像素子７０４の間にＩＲカットフィルタ７０３を挿入する。
【０３２１】
ステップＳ２０３において、図１７のステップＳ３の処理と同様に、周囲の明るさの判定が行われる。周囲が暗いと判定された場合、処理はステップＳ２０４に進む。
【０３２２】
ステップＳ２０４おいて、制御部７０２は、環境赤外光の強度の判定を行う。具体的には、制御部７０２は、上述した式（３３）を使用して可視光比率Ｒｃを算出する。そして、制御部７０２は、図１７のステップＳ４の処理と同様の方法により、可視光比率Ｒｃに基づいて、環境赤外光の強度が高いか低いかを判定する。環境赤外光の強度が高いと判定された場合、処理はステップＳ２０５に進む。
【０３２３】
一方、ステップＳ２０３において、周囲が非常に暗いと判定された場合、ステップＳ２０４の処理はスキップされ、処理はステップＳ２０５に進む。
【０３２４】
ステップＳ２０５において、制御部７０２は、ナイトモードに設定する。すなわち、制御部７０２は、周囲が非常に暗い状態、または、周囲が暗く、環境赤外光の強度が高い状態の場合、ナイトモードに設定する。制御部７０２は、ナイトモードに設定したことを示すモード信号をクロマゲイン制御部４０１に供給する。
【０３２５】
ステップＳ２０６において、図１７のステップＳ６の処理と同様に、赤外光の連続照射が開始される。このとき、画素別シャッタはオフされたままとなる。
【０３２６】
ステップＳ２０７において、制御部７０２は、ＩＲカットフィルタ７０３を外し、補間フィルタＡに設定する。具体的には、制御部７０２は、ＩＲカットフィルタ７０３を撮像レンズ１０４と撮像素子７０４の間から外す。また、制御部７０２は、低周波用ＲＧＢ補間フィルタ８０１および高周波用Ｇ補間フィルタ８０２を補間フィルタＡに設定する。
【０３２７】
その後、撮像モード設定処理は終了する。
【０３２８】
一方、ステップＳ２０４において、環境赤外光の強度が低いと判定された場合、処理はステップＳ２０８に進む。
【０３２９】
ステップＳ２０８において、制御部７０２は、ＣＮＶモードに設定する。すなわち、制御部７０２は、周囲が暗く、環境赤外光の強度が低い状態の場合、ＣＮＶモードに設定する。制御部７０２は、ＣＮＶモードに設定したことを示すモード信号をクロマゲイン制御部４０１に供給する。
【０３３０】
ステップＳ２０９において、図１７のステップＳ９の処理と同様に、赤外光の間欠照射が開始され、画素別シャッタがオンされる。
【０３３１】
ステップＳ２１０において、制御部７０２は、ＩＲカットフィルタ７０３を外し、補間フィルタＢに設定する。具体的には、制御部７０２は、ＩＲカットフィルタ７０３を撮像レンズ１０４と撮像素子７０４の間から外す。また、制御部７０２は、低周波用ＲＧＢ補間フィルタ８０１および高周波用Ｇ補間フィルタ８０２を補間フィルタＢに設定する。
【０３３２】
その後、撮像モード設定処理は終了する。
【０３３３】
一方、ステップＳ２０３において、周囲が明るいと判定された場合、処理はステップＳ２１１に進む。
【０３３４】
ステップＳ２１１において、制御部７０２は、デイモードに設定する。制御部７０２は、デイモードに設定したことを示すモード信号をクロマゲイン制御部４０１に供給する。
【０３３５】
ステップＳ２１２において、図１７のステップＳ１２の処理と同様に、画素別シャッタがオンされる。このとき、赤外光照射部１０３は消灯したままとなる。
【０３３６】
ステップＳ２１３において、制御部７０２は、低周波用ＲＧＢ補間フィルタ８０１および高周波用Ｇ補間フィルタ８０２を補間フィルタＡに設定する。このとき、ＩＲカットフィルタ７０３は、撮像レンズ１０４と撮像素子７０４の間に挿入されたままとなる。
【０３３７】
その後、撮像モード設定処理は終了する。
【０３３８】
（撮像処理）
次に、図３０のフローチャートを参照して、撮像装置７００により実行される撮像処理について説明する。
【０３３９】
ステップＳ３０１において、撮像素子７０４は、ＲＧＢ画像を撮像する。具体的には、撮像素子７０４は、デイモードに設定されている場合、撮像レンズおよびＩＲカットフィルタ７０３を介して受光した光の像を撮像する。一方、撮像素子７０４は、ＣＮＶモードまたはナイトモードに設定されている場合、ＩＲカットフィルタ７０３を介さずに、撮像レンズを介して受光した光の像を撮像する。撮像素子７０４は、撮像の結果得られたＲＧＢ画像信号を低周波用ＲＧＢ補間フィルタ８０１および高周波用Ｇ補間フィルタ８０２に供給する。
【０３４０】
ステップＳ３０２において、撮像装置７００は、ベイヤ化処理を実行する。ここで、図３１のフローチャートを参照して、ベイヤ化処理の詳細について説明する。
【０３４１】
ステップＳ３５１において、低周波用ＲＧＢ補間フィルタ８０１および高周波用Ｇ補間フィルタ８０２は、画素の補間を行う。
【０３４２】
具体的には、低周波用ＲＧＢ補間フィルタ８０１は、補間フィルタＡに設定されている場合、上述した式（３４）乃至（３９）を使用して、画素ごとに色信号の全てを補間する。一方、低周波用ＲＧＢ補間フィルタ８０１は、補間フィルタＢに設定されている場合、上述した式（３４）乃至（３７）、式（４０）および式（４１）を使用して、画素ごとに色信号の全てを補間する。低周波用ＲＧＢ補間フィルタ８０１は、補間後のＲＬ信号、ＧＬ信号およびＢＬ信号をホワイトバランス処理部３０４に供給し、ＧＨＬ信号を高周波成分抽出部８０４および高周波成分復元部８０５に供給する。
【０３４３】
高周波用Ｇ補間フィルタ８０２は、補間フィルタＡに設定されている場合、上述した式（４２）乃至（４４）を使用して、Ｇ信号を補間する。一方、高周波用Ｇ補間フィルタ８０２は、補間フィルタＢに設定されている場合、上述した式（４５）を使用して、Ｇ信号を補間する。高周波用Ｇ補間フィルタ８０２は、補間後のＧＨＨ信号のそれぞれを高周波成分抽出部８０４に供給する。
【０３４４】
ホワイトバランス処理部３０４は、上述したように、ＲＬ信号、ＧＬ信号およびＢＬ信号においてホワイトバランスを調整し、ホワイトバランスを調整したＲＬ信号、ＧＬ信号およびＢＬ信号をＹＣ変換部３５１に供給する。
【０３４５】
ステップＳ３５２において、クロマゲイン制御部４０１は、ナイトモードに設定されているか否かを判定する。ナイトモードに設定されていると判定された場合、処理はステップＳ３５３に進む。
【０３４６】
ステップＳ３５３において、色差調整部８０３は、ナイトモード用の色差の調整を行う。
【０３４７】
具体的には、ＹＣ変換部３５１は、上述したように、画素毎に、ＲＬ信号、ＧＬ信号およびＢＬ信号を輝度信号ＹＬと色差信号ＣｒおよびＣｂとに変換する。ＹＣ変換部３５１は、色差信号Ｃｒを乗算器４０２に供給し、色差信号Ｃｂを乗算器４０３に供給し、輝度信号ＹＬをＲＧＢ変換部８５１に供給する。
【０３４８】
クロマゲイン制御部４０１は、クロマゲインＧｃを０に設定する。クロマゲイン制御部４０１は、設定したクロマゲインＧｃを乗算器４０２および４０３に供給する。
【０３４９】
乗算器４０２は、色差信号ＣｒにクロマゲインＧｃ（＝０）を乗算し、乗算結果である色差信号Ｃｒ’をＲＧＢ変換部８５１に供給する。
【０３５０】
乗算器４０３は、色差信号ＣｂにクロマゲインＧｃ（＝０）を乗算し、乗算結果である色差信号Ｃｂ’をＲＧＢ変換部８５１に供給する。
【０３５１】
ＲＧＢ変換部８５１は、上述したように、画素毎に、輝度信号ＹＬおよび色差信号Ｃｒ’，Ｃｂ’を、ＲＬ信号、ＧＬ信号およびＢＬ信号に変換して高周波成分復元部８０５に供給する。
【０３５２】
ここで、色差信号Ｃｒ’，Ｃｂ’は０なので、ＲＬ信号、ＧＬ信号およびＢＬ信号からなる画像はモノクロ画像となる。
【０３５３】
その後、処理はステップＳ３５５に進む。
【０３５４】
一方、ステップＳ３５２において、デイモードまたはＣＮＶモードに設定されていると判定された場合、処理はステップＳ３５４に進む。
【０３５５】
ステップＳ３５４において、色差調整部８０３は、デイモード、ＣＮＶモード用の輝度および色差の調整を行う。
【０３５６】
具体的には、ＹＣ変換部３５１は、上述したように、画素毎に、ＲＬ信号、ＧＬ信号およびＢＬ信号を輝度信号ＹＬと色差信号ＣｒおよびＣｂとに変換する。ＹＣ変換部３５１は、色差信号Ｃｒを乗算器４０２に供給し、色差信号Ｃｂを乗算器４０３に供給し、輝度信号ＹＬをＲＧＢ変換部８５１に供給する。
【０３５７】
クロマゲイン制御部４０１は、上述したように、測光量Ｑおよび可視光比率Ｒｃに基づいて、図１３のグラフを用いて、クロマゲインＧｃを設定する。クロマゲイン制御部４０１は、設定したクロマゲインＧｃを乗算器４０２および４０３に供給する。
【０３５８】
乗算器４０２は、色差信号ＣｒにクロマゲインＧｃを乗算し、乗算結果である色差信号Ｃｒ’をＲＧＢ変換部８５１に供給する。
【０３５９】
乗算器４０３は、色差信号ＣｂにクロマゲインＧｃを乗算し、乗算結果である色差信号Ｃｂ’をＲＧＢ変換部８５１に供給する。
【０３６０】
ＲＧＢ変換部８５１は、上述したように、画素毎に、輝度信号ＹＬおよび色差信号Ｃｒ’，Ｃｂ’を、ＲＬ信号、ＧＬ信号およびＢＬ信号に変換して高周波成分復元部８０５に供給する。
【０３６１】
その後、処理はステップＳ３５５に進む。
【０３６２】
ステップＳ３５５において、高周波成分抽出部８０４は、上述したように、ＧＨＨ信号およびＧＨＬ信号に基づいて、高周波成分ＧＨを抽出する。高周波成分抽出部８０４は、抽出した高周波成分ＧＨを高周波成分復元部８０５に供給する。
【０３６３】
ステップＳ３５６において、高周波成分復元部８０５は、上述したように、ＲＬ信号、ＧＬ信号およびＢＬ信号において高周波成分ＧＨを復元する。高周波成分復元部８０５は、高周波成分を復元したＲ信号、Ｇ信号およびＢ信号をベイヤ画像信号出力部３０９に供給する。
【０３６４】
ステップＳ３５７において、図２１のステップＳ１５８の処理と同様に、ベイヤ画像信号が出力される。
【０３６５】
その後、ベイヤ化処理は終了する。
【０３６６】
図３０に戻り、ステップＳ３０３において、図２０のステップＳ１０３の処理と同様に、信号処理が行われる。
【０３６７】
ステップＳ３０４において、図２０のステップＳ１０４の処理と同様に、撮像を停止するか否かが判定される。撮像を停止しないと判定された場合、処理はステップＳ３０１に戻り、ステップＳ３０４において、撮像を停止すると判定されるまで、ステップＳ３０１乃至Ｓ３０４の処理が繰り返し実行される。
【０３６８】
一方、ステップＳ３０４において、撮像を停止すると判定された場合、撮像処理は終了する。
【０３６９】
ここで、図３２乃至図３４を参照して、各撮像モードにおける赤外光の照射期間および各画素の露光期間の例について説明する。
【０３７０】
図３２は、デイモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例を示している。
【０３７１】
この例において、Ｒ画素およびＢ画素の露光期間は、上述した図２２のカラー画素（Ｒ、Ｇ、Ｂ画素）の露光期間と同じ期間に設定されている。また、Ｇｒ画素およびＧｂ画素の露光期間は、上述した図２２のＷ画素の露光期間と同じ期間に設定されている。
【０３７２】
なお、デイモードに設定されている場合、環境光の強度が十分であるため、赤外光の照射は行われない。
【０３７３】
以上のように、デイモードに設定されている場合、一般的な環境下ではＧｒ画素，Ｇｂ画素の平均信号出力はＲ画素，Ｂ画素の平均信号出力より大きいため、Ｒ、Ｂ画素の露光期間がＧｒ、Ｇｂ画素の露光期間より長く設定される。
【０３７４】
なお、全ての画素の露光期間を同じ長さに設定することも可能である。
【０３７５】
図３３は、ＣＮＶモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例を示している。
【０３７６】
この例において、Ｒ、Ｇｒ、Ｂ画素の露光期間は、上述した図２３のカラー画素（Ｒ、Ｇ、Ｂ画素）の露光期間と同じ期間に設定される。一方、Ｇｂ画素の露光期間は、上述した図２３のＷ画素の露光期間と同じ期間に設定される。
【０３７７】
一方、赤外光は、上述した図２３と同じ期間に照射される。すなわち、赤外光は、各フレーム期間のうち、全てのＧｂ画素が露光しており、全てのＲ、Ｇｒ、Ｂ画素が露光していない期間（単独露光期間）内に集中的に照射される。
【０３７８】
なお、必ずしも単独露光期間の全期間において赤外光を照射する必要はなく、単独露光期間の一部の期間においてのみ赤外光を照射するようにしてもよい。
【０３７９】
以上のように、ＣＮＶモードに設定されている場合、Ｇｂ画素のみが赤外光照射部１０３からの赤外光を受光し、Ｒ画素、Ｇｒ画素およびＢ画素は赤外光照射部１０３からの赤外光を受光しない。
【０３８０】
ここで、ＣＮＶモードに設定されている場合、低周波用ＲＧＢ補間フィルタ８０１および高周波用Ｇ補間フィルタ８０２は、補間フィルタＢに設定される。そして、補間フィルタＢに設定されている場合、色情報は、Ｒ画素、Ｇｒ画素およびＢ画素の画素信号から生成されるが、それらの画素は赤外光を受光しないため、色再現性の低下が防止される。
【０３８１】
一方、補間フィルタＢに設定されている場合、輝度情報は、主にＧｂ画素の画素信号から生成される。より厳密には、輝度情報の高周波成分は、主にＧｂ画素の画素信号から生成され、輝度情報の低周波成分は、主にＲ画素、Ｇｒ画素およびＢ画素の画素信号から生成される。そして、Ｇｂ画素が赤外光を受光することにより、周囲が暗くても、輝度成分の特に高周波成分の再現性が向上する。
【０３８２】
この結果、撮像装置７００により生成される画像の画質が向上する。
【０３８３】
図３４は、ナイトモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例を示している。
【０３８４】
この例において、Ｒ、Ｇｒ、Ｇｂ、Ｂ画素の露光期間は、上述した図２４のＲ、Ｇ、Ｂ、Ｗ画素の露光期間と同じ期間に設定される。
【０３８５】
一方、赤外光は連続して照射される。
【０３８６】
上述したように、ナイトモードに設定されている場合、色情報を用いずに、モノクロの画像が生成される。従って、赤外光を連続照射することにより、輝度情報の再現性が向上し、撮像装置７００により生成される画像の画質が向上する。
【０３８７】
以上のように、ＣＮＶモードに設定することにより、周囲が暗くても、赤外光を照射しながら、フレームレートを落とすことなく、高画質のカラー画像を得ることができる。
【０３８８】
また、赤外光を照射して撮像した画像と、赤外光を照射せずに撮像した画像を合成するためのフレームバッファを設ける必要がないため、回路の規模の増大や複雑化を防ぐことができる。
【０３８９】
さらに、ＩＲカットフィルタの挿脱を行うことにより、デイモードとＣＮＶモードの両モードにおいて、高画質のカラー画像を得ることができる。
【０３９０】
＜３．変形例＞
以下、上述した本技術の実施の形態の変形例について説明する。
【０３９１】
例えば、上述した図４の画素配列を採用する場合においても、ＩＲカットフィルタを用いて色再現性能を向上させるようにしてもよい。
【０３９２】
図３５は、図１の撮像装置１００の変形例である撮像装置９００の構成例を示すブロック図である。なお、図中、図１及び図２５と対応する部分には、同じ符号を付してある。
【０３９３】
撮像装置９００は、撮像装置１００と比較して、図２５の撮像装置７００に設けられているＩＲカットフィルタ７０３が設けられている点が異なる。そして、例えば、光学フィルタ１０５とＩＲカットフィルタ７０３の中から撮像レンズ１０４と撮像素子１０６の間に配置するフィルタを機械的に切り替えることができる。
【０３９４】
例えば、昼間は、撮像レンズ１０４と撮像素子１０６の間にＩＲカットフィルタ７０３を配置し、撮像素子１０６に入射する赤外光成分を減衰させることにより、色再現性能を向上させることができる。一方、夜間は、撮像レンズ１０４と撮像素子１０６の間に光学フィルタ１０５を配置し、上述した処理が行われる。
【０３９５】
また、例えば、図２７のベイヤ化部７２１において、色差調整部８０３の代わりに、図３６の輝度・色差調整部１００１を設け、図２５の撮像装置７００において、色差信号だけでなく、輝度信号の補正も行うようにしてもよい。なお、図３６において、図２８と対応する部分には同じ符号を付してある。
【０３９６】
図３６の輝度・色差調整部１００１は、図２８の色差調整部８０３と比較して、輝度信号生成部１０１１および輝度信号補正部１０１２が追加されている点が異なる。
【０３９７】
輝度信号生成部１０１１は、次の式（４９）を使用して、撮像素子７０４から供給されるＲ＋ＩＲ信号、Ｇｒ＋ＩＲ信号、Ｇｂ＋ＩＲ信号およびＢ＋ＩＲ信号から輝度信号Ｙ＋ＩＲを生成する。
【０３９８】
Ｙ＋ＩＲ＝（Ｒ＋ＩＲ＋Ｇｒ＋ＩＲ＋Ｇｂ＋ＩＲ＋Ｂ＋ＩＲ）／４  ・・・（４９）
【０３９９】
輝度信号生成部１０１１は、生成した輝度信号Ｙ＋ＩＲを輝度信号補正部１０１２に供給する。
【０４００】
輝度信号補正部１０１２は、図１４の輝度信号合成部３５４と同様の構成を有している。そして、輝度信号補正部１０１２は、撮像モード、測光量Ｑおよび可視光比率Ｒｃに基づいて合成比率αを設定する。また、輝度信号補正部１０１２は、次の式（５０）を使用して、設定した合成比率αにより輝度信号ＹＬと輝度信号Ｙ＋ＩＲとを合成して輝度信号ＹＬ’を生成し、ＲＧＢ変換部８５１に供給する。
【０４０１】
ＹＬ’＝α×ＹＬ＋（１−α）×Ｙ＋ＩＲ  ・・・（５０）
【０４０２】
ＲＧＢ変換部８５１は、図１１のＲＧＢ変換部３５５と同様に、上述した式（２１）乃至（２３）を使用して、輝度信号ＹＬ’と色差信号Ｃｒ’およびＣｂ’を、ＲＬ信号、ＧＬ信号およびＢＬ信号に変換する。ＲＧＢ変換部８５１は、変換後のＲＬ信号、ＧＬ信号およびＢＬ信号を高周波成分復元部８０５に供給する。
【０４０３】
さらに、上述した画素の配列は、その一例であり、他の配列を用いることも可能である。例えば、赤外光受光用画素として、Ｗ画素の代わりに赤外光の検出に用いるＩＲ画素を用いるようにしてもよい。この場合、画素の配列は、例えば、図２６のＧｂ画素の代わりにＩＲ画素を用いた配列とすることが考えられる。
【０４０４】
また、ＣＮＶモードにおいて、上述した方法と異なる方法により、主に赤外光受光用画素の画素信号から輝度情報を生成し、主に赤外光の受光に用いない画素の画素信号から色情報を生成するようにしてもよい。或いは、ＣＮＶモードにおいて、赤外光受光用画素の画素信号のみから輝度情報を生成し、赤外光の受光に用いない画素の画素信号のみから色情報を生成するようにしてもよい。
【０４０５】
さらに、ナイトモードを設けずに、デイモードとＣＮＶモードのみを設けるようにしてもよい。例えば、周囲の明るさを「明るい」、「暗い」の２段階に分け、周囲が明るい場合に、デイモードに設定し、周囲が暗い場合に、ＣＮＶモードに設定するようにしてもよい。
【０４０６】
また、以上の説明では、撮像装置１００および撮像装置７００からＹＣ画像信号を出力する例を示したが、他のフォーマットの画像信号を出力するようにしてもよい。例えば、ベイヤ配列の画像信号や、各画素がＲ、ＧおよびＢの各信号を含む画像信号を出力するようにしてもよい。
【０４０７】
＜４．応用例＞
｛コンピュータの構成例｝
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０４０８】
図３７は、上述した一連の処理をプログラムにより実行するコンピュータ１２００のハードウエアの構成例を示すブロック図である。
【０４０９】
コンピュータ１２００において、CPU（Central Processing Unit）１２０１，ROM（Read Only Memory）１２０２，RAM（Random Access Memory）１２０３は、バス１２０４により相互に接続されている。
【０４１０】
バス１２０４には、さらに、入出力インタフェース１２０５が接続されている。入出力インタフェース１２０５には、入力部１２０６、出力部１２０７、記憶部１２０８、通信部１２０９、及びドライブ１２１０が接続されている。
【０４１１】
入力部１２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１２０７は、ディスプレイ、スピーカなどよりなる。記憶部１２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１２０９は、ネットワークインタフェースなどよりなる。ドライブ１２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１２１１を駆動する。
【０４１２】
以上のように構成されるコンピュータ１２００では、CPU１２０１が、例えば、記憶部１２０８に記憶されているプログラムを、入出力インタフェース１２０５及びバス１２０４を介して、RAM１２０３にロードして実行することにより、上述した一連の処理が行われる。
【０４１３】
コンピュータ１２００（CPU１２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０４１４】
コンピュータ１２００では、プログラムは、リムーバブルメディア１２１１をドライブ１２１０に装着することにより、入出力インタフェース１２０５を介して、記憶部１２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１２０９で受信し、記憶部１２０８にインストールすることができる。その他、プログラムは、ROM１２０２や記憶部１２０８に、あらかじめインストールしておくことができる。
【０４１５】
なお、コンピュータ１２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０４１６】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０４１７】
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０４１８】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０４１９】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４２０】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４２１】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０４２２】
さらに、例えば、本技術は以下のような構成も取ることができる。
【０４２３】
（１）
第１の画素および第２の画素を備える撮像素子と、
前記撮像素子の露光期間、および、赤外光照射部からの赤外光の照射期間を制御する制御部と
を備え、
前記制御部は、各フレーム期間において前記第１の画素および前記第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるとともに、前記単独露光期間内に赤外光を照射するように制御する
撮像装置。
（２）
主に前記第１の画素からの第１の画素信号に基づいて輝度情報を生成し、主に前記第２の画素からの第２の画素信号に基づいて色情報を生成する画像処理部を
さらに備える前記（１）に記載の撮像装置。
（３）
前記画像処理部は、主に前記第１の画素信号に基づいて高周波の輝度情報を生成し、主に前記第２の画素信号に基づいて色情報および低周波の輝度情報を生成する
前記（２）に記載の撮像装置。
（４）
前記第１の画素は、ホワイト画素を含み、
前記第２の画素は、所定の色の検出に用いるカラー画素を含む
前記（１）乃至（３）のいずれかに記載の撮像装置。
（５）
前記第１の画素は、赤外光の検出に用いるＩＲ画素を含み、
前記第２の画素は、所定の色の検出に用いるカラー画素を含む
前記（１）乃至（３）のいずれかに記載の撮像装置。
（６）
前記第１の画素は、緑色の検出に用いる第１のＧ画素を含み、
前記第２の画素は、赤色の検出に用いるＲ画素、第２のＧ画素、および、青色の検出に用いるＢ画素を含む
前記（１）乃至（３）のいずれかに記載の撮像装置。
（７）
前記第１の画素の露光期間が前記第２の画素の露光期間より長い
前記（１）乃至（６）のいずれかに記載の撮像装置。
（８）
前記制御部は、周囲の明るさ、および、環境光に含まれる赤外光の強度である環境赤外光強度に基づいて、前記撮像素子の露光期間、および、前記赤外光照射部からの赤外光の照射期間を制御する
前記（１）に記載の撮像装置。
（９）
前記制御部は、周囲の明るさが第１の閾値以上第２の閾値未満であり、かつ、前記環境赤外光強度が第３の閾値未満である第１の状態において、各フレーム期間において前記第１の画素および前記第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるとともに、前記単独露光期間内に赤外光を照射するように制御する
前記（８）に記載の撮像装置。
（１０）
前記制御部は、周囲の明るさが前記第２の閾値以上である第２の状態において、前記赤外光を照射しないように制御する
前記（９）に記載の撮像装置。
（１１）
レンズと前記撮像素子の間に挿脱可能で、赤外光成分を減衰するフィルタを
さらに備え、
前記第１の画素は、緑色の検出に用いる第１のＧ画素を含み、
前記第２の画素は、赤色の検出に用いるＲ画素、第２のＧ画素、および、青色の検出に用いるＢ画素を含み、
前記制御部は、前記第２の状態において、前記レンズと前記撮像素子の間に前記フィルタを挿入し、前記第２の状態と異なる状態において、前記レンズと前記撮像素子の間から前記フィルタを外す
前記（１０）に記載の撮像装置。
（１２）
前記第２の状態において、前記第１の画素の露光期間が前記第２の画素の露光期間より短い
前記（１０）または（１１）に記載の撮像装置。
（１３）
前記制御部は、周囲の明るさが前記第１の閾値未満である状態、または、周囲の明るさが前記第１の閾値以上前記第２の閾値未満であり、かつ、前記環境赤外光強度が前記第３の閾値以上である状態である第３の状態において、前記赤外光を連続して照射するように制御する
前記（９）乃至（１２）のいずれかに記載の撮像装置。
（１４）
前記第３の状態において、前記第１の画素からの第１の画素信号、および、前記第２の画素からの第２の画素信号に基づいて、モノクロの画像を生成し、前記第３の状態と異なる状態において、前記第１の画素信号および前記第２の画素信号に基づいて、カラーの画像を生成する画像処理部を
さらに備える前記（１３）に記載の撮像装置。
（１５）
前記第３の状態において、前記第１の画素と前記第２の画素の露光期間が合わせられる
前記（１３）または（１４）に記載の撮像装置。
（１６）
各フレーム期間において撮像素子の第１の画素および第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるように制御する露光制御ステップと、
前記単独露光期間内に赤外光を照射するように赤外光照射部を制御する照射制御ステップと
を含む撮像制御方法。
（１７）
各フレーム期間において撮像素子の第１の画素および第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるように制御する露光制御ステップと、
前記単独露光期間内に赤外光を照射するように赤外光照射部を制御する照射制御ステップと
を含む処理をコンピュータに実行させるためのプログラム。
【符号の説明】
【０４２４】
１００  撮像装置，  １０１  測光部，  １０２  制御部，  １０３  赤外光照射部，  １０４  撮像レンズ，  １０５  光学フィルタ，  １０６  撮像素子，  １０７  画像処理部，  １２１  ベイヤ化部，  １２２  信号処理部，  ２０１  行走査回路，  ２０２  画素アレイ部，  ２０３  タイミング制御回路，  ２０５  列走査回路，  ２１１  画素，  ３０１  ＲＧＢＷ補間フィルタ，  ３０２  Ｗ補間フィルタ，  ３０３  赤外線分離部，  ３０５  比率算出部，  ３０６  輝度・色差調整部，  ３０７  高周波成分抽出部，  ３０８  高周波成分復元部，  ３０９  ベイヤ画像信号出力部，  ３５１  ＹＣ変換部，  ３５３  色差信号補正部，  ３５４  輝度信号合成部，  ３５５  ＲＧＢ変換部，  ４０１  クロマゲイン制御部，  ４５１  合成比率制御部，  ７００  撮像装置，  ７０１  環境光センサ，  ７０２  制御部，  ７０３  ＩＲカットフィルタ，  ７０４  撮像素子，  ７０５  画像処理部，  ７２１  ベイヤ化部，  ８０１  低周波用ＲＧＢ補間フィルタ，  ８０２  高周波用Ｇ補間フィルタ，  ８０３  色差調整部，  ８０４  高周波成分抽出部，  ８０５  高周波成分復元部，  ８５１  ＲＧＢ変換部，  ９００  撮像装置，  １００１  輝度・色差調整部，  １０１１  輝度信号生成部，  １０１２  輝度信号補正部
【図１】
2017108211.tif 000008
【図２】
2017108211.tif 000009
【図３】
2017108211.tif 000010
【図４】
2017108211.tif 000011
【図５】
2017108211.tif 000012
【図６】
2017108211.tif 000013
【図７】
2017108211.tif 000014
【図８】
2017108211.tif 000015
【図９】
2017108211.tif 000016
【図１０】
2017108211.tif 000017
【図１１】
2017108211.tif 000018
【図１２】
2017108211.tif 000019
【図１３】
2017108211.tif 000020
【図１４】
2017108211.tif 000021
【図１５】
2017108211.tif 000022
【図１６】
2017108211.tif 000023
【図１７】
2017108211.tif 000024
【図１８】
2017108211.tif 000025
【図１９】
2017108211.tif 000026
【図２０】
2017108211.tif 000027
【図２１】
2017108211.tif 000028
【図２２】
2017108211.tif 000029
【図２３】
2017108211.tif 000030
【図２４】
2017108211.tif 000031
【図２５】
2017108211.tif 000032
【図２６】
2017108211.tif 000033
【図２７】
2017108211.tif 000034
【図２８】
2017108211.tif 000035
【図２９】
2017108211.tif 000036
【図３０】
2017108211.tif 000037
【図３１】
2017108211.tif 000038
【図３２】
2017108211.tif 000039
【図３３】
2017108211.tif 000040
【図３４】
2017108211.tif 000041
【図３５】
2017108211.tif 000042
【図３６】
2017108211.tif 000043
【図３７】
2017108211.tif 000044