(57)【要約】【課題】低照度の環境において撮像された画像の品質を容易に向上できる撮像装置を提供する。【解決手段】撮像装置は、補助光を発光する発光部と、補助光が発光される発光期間に、第１の撮像条件で撮像される第１の画像と、発光期間に連続し補助光が発光されない非発光期間に、第２の撮像条件で撮像される第２の画像と、を交互に撮像する撮像部と、前記第１の画像が撮像された発光期間と隣接する非発光期間に撮像された前記第２の画像から、前記第１の画像の撮像時点における動き補償画像を生成する動き補償画像生成部と、前記第１の画像と前記動き補償画像と、を合成する画像合成部と、を備える。【選択図】図２
2017092876.tif 000002
【特許請求の範囲】
【請求項１】
補助光を発光する発光部と、
前記補助光が発光される発光期間に、第１の撮像条件で撮像される第１の画像と、前記発光期間に連続し前記補助光が発光されない非発光期間に、第２の撮像条件で撮像される第２の画像と、を交互に撮像する撮像部と、
前記第１の画像が撮像された発光期間と隣接する非発光期間に撮像された前記第２の画像から、前記第１の画像の撮像時点における前記第２の画像の動き補償画像を生成する動き補償画像生成部と、
前記第１の画像と前記動き補償画像と、を合成する画像合成部と、
を備える撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記第２の画像が撮像された非発光期間の一方に隣接する発光期間に撮像された前記第１の画像に含まれる被写体の、前記非発光期間の他方に隣接する発光期間に撮像された前記第１の画像に含まれる前記被写体に対する第１の動きベクトルを検出する動きベクトル検出部をさらに備え、
前記補償画像生成部は、前記第１の動きベクトルを基に、前記第２の画像に含まれる前記被写体の、前記隣接する第１の画像に含まれる前記被写体に対する第２の動きベクトルを推定し、前記第２の動きベクトルを基に前記第１の画像の撮像時点における前記第２の画像の動き補償画像を生成する、撮像装置。
【請求項３】
請求項１または２に記載の撮像装置であって、
前記動き補償画像生成部は、
前記第１の画像が撮像された発光期間の一方に隣接する第１の前記非発光期間に撮像された一方の前記第２の画像と、前記発光期間の他方に隣接する第２の前記非発光期間に撮像された他方の前記第２の画像と、から、前記第１の画像の撮像時点における前記第２の画像の動き補償画像を生成する、撮像装置。
【請求項４】
請求項１または２に記載の撮像装置であって、
前記動き補償画像生成部は、時間軸の巡回型フィルタと、を用いることにより、前記動き補償画像を生成する、撮像装置。
【請求項５】
撮像装置と情報処理装置とを備える撮像システムであって、
前記撮像装置は、
補助光を発光する発光部と、
前記補助光が発光される発光期間に、第１の撮像条件で撮像される第１の画像と、前記発光期間に連続し前記補助光が発光されない非発光期間に、第２の撮像条件で撮像される第２の画像と、を交互に撮像する撮像部と、
前記撮像された前記第１の画像及び前記第２の画像を送信する送信部と、
を備え、
前記情報処理装置は、
前記撮像装置からの前記第１の画像と前記第２の画像とを受信する受信部と、
前記第１の画像が撮像された発光期間と隣接する非発光期間に撮像された前記第２の画像から、前記第１の画像の撮像時点における動き補償画像を生成する動き補償画像生成部と、
前記第１の画像と前記動き補償画像とを合成する画像合成部と、
を備える撮像システム。
【請求項６】
撮像装置における撮像方法であって、
補助光が発光される発光期間に、第１の撮像条件で撮像される第１の画像と、
前記発光期間に連続し前記補助光が発光されない非発光期間に、第２の撮像条件で撮像される第２の画像と、を交互に撮像するステップと、
前記第１の画像が撮像された発光期間と隣接する非発光期間に撮像された前記第２の画像から、前記第１の画像の撮像時点における動き補償画像を生成するステップと、
前記第１の画像と前記動き補償画像とを合成するステップと、
を備える撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮像する撮像装置、撮像システム、及び撮像方法に関する。
【背景技術】
【０００２】
監視カメラの中には、昼間等の周囲が明るい場合、日中（Ｄａｙ）モードでカラー映像を取得し、夜間等の周囲が暗い場合、夜間（Ｎｉｇｈｔ）モードで白黒画像を取得するものがある。
【０００３】
Ｄａｙモードでは、監視カメラは、ＩＲ（ＩｎｆｒａＲｅｄ）カットフィルタで赤外領域をカットし、色調補正することで、カラー撮像の色再現性を補償する。一方、Ｎｉｇｈｔモードでは、監視カメラは、ＩＲカットフィルタを用いずに、赤外領域まで使って画像を撮像し、高感度化を図る。このため、Ｎｉｇｈｔモードでは、Ｄａｙモードよりも色再現性が低下し、カラー画像ではなく白黒画像が撮像される。
【０００４】
ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）照明等で赤外光を被写体に照射する監視カメラも存在するが、この監視カメラでは上記と同じ理由で色再現性が不十分である。そのため、このタイプの監視カメラを用いて得られる画像も、白黒画像である。
【０００５】
近年、防犯上の観点等から、夜間等の低照度の環境においても、カラー画像を撮像したいとの要望が高まっている。
【０００６】
その要望に応えるものとして、カラー（ＲＧＢ：Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）画像を撮像するカラーカメラと、ＮＩＲ（ＮＩＲ：Ｎｅａｒ  ＩｎｆｒａＲｅｄ）画像を撮像するＮＩＲカメラと、ハーフミラーと、を備える撮像システムが知られている（例えば、非特許文献１参照）。この撮像システムでは、カラー画像が撮像される際には、被写体に近赤外（ＮＩＲ）線を照射するフラッシュが使用されず、ＮＩＲ画像が撮像される際には、上記フラッシュが使用される。
【０００７】
この撮像システムでは、被写体からの光が、ハーフミラーにより２つの方向に分けられる。２つの方向に分けられた光は、カラーカメラ及びＮＩＲカメラにより撮像され、ＲＧＢ画像とＮＩＲ画像とが得られる。ＲＧＢ画像は、カラー画像となる。ＮＩＲ画像は、近赤外（ＮＩＲ）線を照射して撮像される画像の１つであり、白黒画像となる。
【０００８】
この撮像システムは、ＲＧＢ画像とＮＩＲ画像とを合成し、白黒画像に色調が加えられた合成画像を得る画像合成技術を有する。その際、カラー画像に対して近赤外画像を併用したフィルタリングを適用し、低周波成分と高周波成分に分解する。次に、高周波成分に対して近赤外画像を併用した Non-local Mean Algorithmを適用し、ノイズを低減する。最後に低周波成分と高周波成分をあわせることで、ノイズを除去する。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Ｓｏｓｕｋｅ  Ｍａｔｓｕｉ，  Ｍｉｈｏ  Ｓｈｉｍａｎｏ，  Ｔａｋａｈｉｒｏ  Ｏｋａｂｅ，  ａｎｄ  Ｙｏｉｃｈｉ  Ｓａｔｏ，  “Ｉｍａｇｅ  Ｅｎｈａｎｃｅｍｅｎｔ  ｏｆ  Ｌｏｗ−Ｌｉｇｈｔ  Ｓｃｅｎｅｓ  ｗｉｔｈ  Ｎｅａｒ−Ｉｎｆｒａｒｅｄ  Ｆｌａｓｈ  Ｉｍａｇｅｓ,”  ｉｎ  Ｐｒｏｃ.  Ａｓｉａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  （ＡＣＣＶ２００９）,ｐ.２１３−２２３,  Ｓｅｐｔｅｍｂｅｒ  ２００９.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
非特許文献１に記載された撮像システムでは、ＮＩＲ線の照明で撮影したＮＩＲ画像と環境光のみで撮影したカラー画像との合成に先立って、ＮＩＲ画像から得られるエッジ情報に相当する部分を除くカラー画像の領域に対してローパスフィルタ処理が行われる。しかしながら、細かい色情報がある被写体の撮影時において、強いローパスフィルタ処理が行われる場合、細かい色情報が消失し、いわゆるボケた画像となる。これに対して弱いローパスフィルタ処理が行われる場合、細かい色情報はある程度残されるが、ノイズ低減効果は得られにくい。
【００１１】
また、カラー画像のローパスフィルタとして、時間軸の巡回型フィルタを用いる場合、移動体の撮影時に残像が発生し、ノイズ低減効果が低下する。移動体に対して動きベクトルによる動き補償を行なうことで改善する手法も提案されているが、低照度のノイズの大きい環境において動きベクトルを精度良く求めることは困難である。
【００１２】
本開示は、低照度の環境において撮像された画像、特に細かい色情報を有する被写体や移動体が撮像された画像の品質向上を目的とする。
【課題を解決するための手段】
【００１３】
本発明の撮像装置は、補助光を発光する発光部と、前記補助光が発光される発光期間に、第１の撮像条件で撮像される第１の画像と、前記発光期間に連続し前記補助光が発光されない非発光期間に、第２の撮像条件で撮像される第２の画像と、を交互に撮像する撮像部と、前記第１の画像が撮像された発光期間と隣接する非発光期間に撮像された前記第２の画像から、前記第１の画像の撮像時点における前記第２の画像の動き補償画像を生成する動き補償画像生成部と、前記第１の画像と前記動き補償画像と、を合成する画像合成部と、を備える。
【００１４】
本発明の撮像システムは、撮像装置と情報処理装置とを備える撮像システムであって、前記撮像装置は、補助光を発光する発光部と、前記補助光が発光される発光期間に、第１の撮像条件で撮像される第１の画像と、前記発光期間に連続し前記補助光が発光されない非発光期間に、第２の撮像条件で撮像される第２の画像と、を交互に撮像する撮像部と、前記撮像された前記第１の画像及び前記第２の画像を送信する送信部と、を備え、前記情報処理装置は、前記撮像装置からの前記第１の画像と前記第２の画像とを受信する受信部と、前記第１の画像が撮像された発光期間と隣接する非発光期間に撮像された前記第２の画像から、前記第１の画像の撮像時点における動き補償画像を生成する動き補償画像生成部と、前記第１の画像と前記動き補償画像とを合成する画像合成部と、を備える。
【００１５】
本発明の撮像方法は、撮像装置における撮像方法であって、補助光が発光される発光期間に、第１の撮像条件で撮像される第１の画像と、前記発光期間に連続し前記補助光が発光されない非発光期間に、第２の撮像条件で撮像される第２の画像と、を交互に撮像するステップと、前記第１の画像が撮像された発光期間と隣接する非発光期間に撮像された前記第２の画像から、前記第１の画像の撮像時点における動き補償画像を生成するステップと、前記第１の画像と前記動き補償画像とを合成するステップと、を備える。
【発明の効果】
【００１６】
本発明によれば、低照度の環境において撮像された画像、特に細かい色情報を有する被写体や移動体が撮像された画像の品質を容易に向上できる。
【図面の簡単な説明】
【００１７】
【図１】実施形態における監視カメラの外観例を示す模式図
【図２】実施形態における監視カメラの構成例を示すブロック図
【図３】実施形態における２バンドパスフィルタの光学特性の一例を示すグラフ
【図４Ａ】実施形態における撮像部の構成例を示す模式図
【図４Ｂ】実施形態における撮像部の構成例を示す模式図
【図５】実施形態における監視カメラによる撮像動作全体の流れの一例を示すフローチャート
【図６】実施形態における監視カメラによる撮像動作例を説明するための模式図
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面を用いて説明する。
【００１９】
以下の実施形態の撮像装置は、例えば、監視カメラに適用される。
（実施形態）
図１は、実施形態における監視カメラ１０の外観例を示す模式図である。
【００２０】
監視カメラ１０は、筐体１０ａを有し、筐体１０ａに連結されたアーム部１０ｃ及び取付部１０ｂによって壁面１５に固定される。筐体１０ａの前方にある鏡胴１１には、撮像部２０が収容される。
【００２１】
撮像部２０は、前面にレンズ２１を有し、被写体を含む所定の領域を撮像するように向けられる。また、鏡胴１１には、撮像部２０と隣接して、ＩＲ光を照射するＩＲ＿ＬＥＤ部３６が設けられている。図１では、ＩＲ＿ＬＥＤ部３６が８個設けられることを例示するが、ＩＲ＿ＬＥＤ部３６の数はこれに限られない。
【００２２】
図２は、監視カメラ１０の構成例を示すブロック図である。
【００２３】
監視カメラ１０は、撮像部２０を有する。撮像部２０は、レンズ２１、絞り２２、２バンドパスフィルタ２３、及び撮像素子２４を含む。レンズ２１、絞り２２、２バンドパスフィルタ２３、及び撮像素子２４は、各々、光軸方向に沿って順に配置される。撮像部２０の前方にはレンズ２１が位置し、撮像部２０の後方には撮像素子２４が位置する。撮像部２０は、画像を撮像するための撮像条件に応じて、被写体を含む画像を撮像する。
【００２４】
レンズ２１は、撮像部２０に入射される光を集光する。絞り２２は、露光制御部３３からの指示に応じて、レンズ２１を通して入射される光の量を調整する。
【００２５】
２（デュアル）バンドパスフィルタ２３は、撮像素子２４の前方に配置され、可視光領域及び赤外領域の波長を有する光の透過率が高く、その他の波長を有する光の透過率が低くなるように設計されたフィルタである。
【００２６】
撮像素子２４は、前面にカラーフィルタ２５が組み込まれたカラーイメージセンサを含む。撮像素子２４は、例えば、ＣＣＤ(Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ)センサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを有する。
【００２７】
撮像素子２４は、２バンドパスフィルタ２３及びカラーフィルタ２５を介して被写体からの光を受光し、電気信号に変換して画像を得る。撮像素子２４は、例えば、ＩＲ成分が比較的多い画像（ＩＲ画像）と、ＩＲ成分が比較的少ない画像（ＲＧＢ画像）と、を時分割（周期的）に得る。撮像素子２４は、露光制御部３３からの指示に応じて、公知の方法により、撮像素子２４自身で露光量や露光時間を制御してもよい。
【００２８】
監視カメラ１０は、ゲイン制御部３１、色調補正部３２、露光制御部３３、及びカメラ信号処理部４０を有する。
【００２９】
ゲイン制御部３１は、ＲＧＢ画像制御部４７又はＩＲ画像制御部４８により指定されたゲインで、撮像素子２４から出力される画像の信号レベルを増幅するよう、増幅器（不図示）の利得（ゲイン）を制御する。以下、増幅器のゲインを、単にゲインともいう。
【００３０】
色調補正部３２は、ＲＧＢ画像制御部４７又はＩＲ画像制御部４８により指定された補正量で、撮像素子２４から出力される画像の色調を補正する。色調は、例えば、ホワイトバランスを含む。
【００３１】
露光制御部３３は、絞り２２の絞り値を制御し、撮像素子２４の露光時間を制御する。
【００３２】
カメラ信号処理部４０は、画像信号に対して各種の信号処理を施す。カメラ信号処理部４０は、ＲＧＢ・ＩＲ分離部４１、ＲＧＢ画像処理部４２、ＩＲ画像処理部４３、ＲＧＢ・ＩＲ合成部４４、画像後処理部４５、フレームメモリ４６、ＲＧＢ画像制御部４７、及びＩＲ画像制御部４８を有する。
【００３３】
ＲＧＢ・ＩＲ分離部４１は、例えば、同じ信号ラインを介して、色調補正部３２から時分割にＲＧＢ画像及びＩＲ画像を得て、ＲＧＢ画像とＩＲ画像とを分離する。ＲＧＢ・ＩＲ分離部４１は、ＲＧＢ画像をＲＧＢ画像処理部４２に出力し、ＩＲ画像をＩＲ画像処理部４３に出力する。
【００３４】
ＲＧＢ画像処理部４２は、分離されたＲＧＢ画像に対して所定の画像処理を施し、ＲＧＢ・ＩＲ合成部４４に出力する。ＲＧＢ画像処理部４２による画像処理は、例えば、ＲＧＢ画像に対する階調補正、色調補正、ノイズ除去を含む。
【００３５】
ＲＧＢ画像処理部４２は、例えば、ＲＧＢ画像制御部４７に対し、ＲＧＢ画像の撮像に適した撮像条件（撮像パラメータ）を指示する。この撮像パラメータは、例えば、ゲイン、色調補正の補正量）を含む。ＲＧＢ画像処理部４２は、例えば、露光制御部３３に対し、ＲＧＢ画像の撮像に適した撮像条件（例えば露光時間）を指示する。
【００３６】
撮像パラメータは、例えば、ゲイン、露光時間、露光量、色調補正量（例えばホワイトバランスの調整量）、階調補正量、を含む。撮像パラメータの情報は、例えば、監視カメラ１０内のメモリ（不図示）に保持される。撮像パラメータとして、ＲＧＢ画像撮像用の撮像パラメータとＩＲ画像撮像用の撮像パラメータとが、独立して設けられてもよい。
【００３７】
ＲＧＢ画像処理部４２は、第１のＲＧＢ画像の成分と第２のＲＧＢ画像の成分との間に差異がある場合、この差異に応じて、撮像パラメータを更新してもよい。第１のＲＧＢ画像の成分とは、露光制御部３３及びＲＧＢ画像制御部４７に対して指示された撮像パラメータにより得られると推測されるＲＧＢ画像の成分である。第２のＲＧＢ画像の成分とは、ＲＧＢ・ＩＲ分離部４１から実際に取得されたＲＧＢ画像の成分である。更新された撮像パラメータが、ＲＧＢ画像制御部４７及び露光制御部３３へ送られてもよい。ＲＧＢ画像処理部４２は、この差異に応じて、画像処理（例えば階調補正、色調補正、）してもよい。
【００３８】
また、ＲＧＢ画像処理部４２は、ユーザから特定の画像処理を行うための操作を操作部が受け付けた場合、画像処理（例えば階調補正、色調補正）してもよい。
【００３９】
ＲＧＢ画像処理部４２は、撮像条件と発光条件とを時分割で指定する条件指定部の一例である。
【００４０】
ＲＧＢ画像制御部４７は、例えば、指示された撮像パラメータに従い、ゲイン制御部３１に対してゲインを制御する（例えばゲインを上げる）指示を行い、色調補正部３２に対して色調を補正する指示を行う。
【００４１】
ＩＲ画像処理部４３は、分離されたＩＲ画像に対して所定の画像処理を施し、ＲＧＢ・ＩＲ合成部４４に出力する。ＩＲ画像処理部４３による画像処理は、例えば、ＩＲ画像に対する階調補正、色調補正、ノイズ除去を含む。
【００４２】
ＩＲ画像処理部４３は、例えば、ＩＲ画像制御部４８に対し、ＩＲ画像の撮像に適した撮像条件（撮像パラメータ）を指示する。この撮像パラメータは、例えば、ゲイン、色調補正の補正量）を含む。ＩＲ画像処理部４３は、例えば、露光制御部３３に対し、ＩＲ画像の撮像に適した撮像条件（例えば露光時間）を指示する。ＩＲ画像処理部４３は、例えば、ＩＲ照明制御部３４に対し、ＩＲ画像の撮像に適した発光条件を指示する。ＩＲ光は、赤外光であり、ＮＩＲ光（近赤外光）を含む。
【００４３】
発光条件は、ＩＲ＿ＬＥＤ部３６によるＩＲ光の発光の有無、ＩＲ光の発光量、の情報を含む。発光条件の情報は、例えば、監視カメラ１０のカメラ信号処理部４０内のメモリ（不図示）に保持される。
【００４４】
ＩＲ画像処理部４３は、第１のＩＲ画像の成分と第２のＩＲ画像の成分との間に差異がある場合、この差異に応じて、撮像パラメータ及び発光条件の少なくとも一方を更新してもよい。第１のＩＲ画像の成分とは、露光制御部３３及びＩＲ画像制御部４８に対して指示された撮像パラメータと、ＩＲ照明制御部３４に対して指示された発光条件と、により得られると推測されるＩＲ画像の成分である。第２のＩＲ画像の成分とは、ＲＧＢ・ＩＲ分離部４１から実際に取得されたＩＲ画像の成分である。更新された撮像パラメータが、ＩＲ画像制御部４８及び露光制御部３３へ送られてもよい。更新された発光条件が、ＩＲ照明制御部３４へ送られてもよい。ＩＲ画像処理部４３は、この差異に応じて、画像処理（例えば階調補正、色調補正、）してもよい。
【００４５】
また、ＩＲ画像処理部４３は、ユーザから特定の画像処理を行うための操作を操作部（不図示）が受け付けた場合、画像処理（例えば階調補正、色調補正）してもよい。
【００４６】
ＩＲ画像処理部４３は、撮像条件と発光条件とを時分割で指定する条件指定部の一例である。
【００４７】
ＩＲ画像制御部４８は、例えば、指示された撮像パラメータに従い、ゲイン制御部３１に対してゲインを制御する（例えばゲインを下げる）指示を行い、色調補正部３２に対して色調を補正する指示を行う。
【００４８】
ＲＧＢ・ＩＲ合成部４４は、所定のタイミングにおいて、例えば、非特許文献１に記載された画像合成方法により、ＲＧＢ画像とＩＲ画像とを合成し、合成画像を生成する。ＲＧＢ・ＩＲ合成部４４は、例えば、ＲＧＢ画像から色調成分を抽出し、ＩＲ画像からエッジ成分及び階調成分を抽出し、抽出された各成分を基に、合成画像を生成する。ＲＧＢ・ＩＲ合成部４４により、低照度の環境においても、輪郭が鮮明で色鮮やかなカラー画像を生成できる。ＲＧＢ・ＩＲ合成部４４は、画像合成部の一例である。
【００４９】
画像後処理部４５は、合成画像に対して、所定の後処理（例えば、合成画像の画像認識処理、合成画像の信号レベルを増幅する増幅補正、合成画像の階調補正、合成画像の色調補正）を行う。
【００５０】
ＲＧＢフレームメモリ４６ａは、ＲＧＢ画像処理部４２で画像処理されたＲＧＢ画像データを記憶する。ＩＲフレームメモリ４６ｃは、ＩＲ画像処理部で画像処理されたＩＲ画像データを記憶する。動きベクトル検出部４６ｄは、ＩＲフレームメモリ４６ａに記憶されるＩＲ画像データと、ＩＲ画像処理部４３より出力されるＩＲ画像データに含まれる被写体の動きベクトルを検出するもので、その詳細については後ほど述べる。ＩＲフレームメモリ４６ｃに記憶されたＩＲ画像の一部は、後述のＲＧＢ・ＩＲ合成部４４にも入力される。動きベクトル検出部４６ｄでＩＲ画像から検出された被写体の動きベクトルは、動き補償ＲＧＢ画像生成部４６ｂに入力される。動き補償ＲＧＢ画像生成部４６ｂは、入力された被写体の動きベクトルと、ＩＲ画像とＲＧＢ画像と、から、ＩＲ画像の撮像時点におけるＲＧＢ画像の動き補償画像を生成する。その詳細についても後ほど述べる。ＩＲ画像データ及び動き補償画像データは、例えば、ＲＧＢ・ＩＲ合成部４４による画像の合成対象である。
【００５１】
監視カメラ１０は、ＩＲ照明制御部３４、ドライブ回路部３５、ＩＲ＿ＬＥＤ部３６、及びインタフェース部５０を有する。
【００５２】
ＩＲ照明制御部３４は、例えば、ＩＲ画像処理部４３からの発光条件に応じて、ＩＲ＿ＬＥＤ部３６の発光の有無を指示する制御信号をドライブ回路部３５へ送る。ＩＲ照明制御部３４は、例えば、ＩＲ画像処理部４３からの発光条件に応じて、ＩＲ＿ＬＥＤ部３６をＰＷＭ（Ｐｕｌｓｅ  Ｗｉｄｔｈ  Ｍｏｄｕｌａｔｉｏｎ）制御するため、ドライブ回路部３５に対してＰＷＭ信号を送る。
【００５３】
ドライブ回路部３５は、例えば、ＩＲ照明制御部３４からの制御信号又はＰＷＭ信号を受け、ＩＲ＿ＬＥＤ部３６の発光の有無又は発光量を制御する。
【００５４】
ＩＲ＿ＬＥＤ部３６は、制御された発光量で、被写体に対してＩＲ光を発光する。つまり、ＩＲ＿ＬＥＤ部３６は、被写体に対してＩＲ光を照射する。ＩＲ＿ＬＥＤ部３６は、発光部の一例である。
【００５５】
インタフェース部５０は、カメラ信号処理部４０から出力される合成画像を外部に出力する。インタフェース部５０は、例えば、外部の記憶媒体に合成画像を出力するためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）を含む。インタフェース部５０は、例えば、外部の通信装置に合成画像を送信するための通信インタフェース（例えばＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）に接続するためのＬＡＮ端子）を含む。尚、インタフェース部５０は、合成画像が生成される前のＲＧＢ画像、ＩＲ画像を外部に出力してもよい。
【００５６】
次に、撮像部２０により撮像される画像について説明する。
【００５７】
撮像部２０により撮像される画像は、ＲＧＢ画像、ＩＲ画像、その他の画像を含む。ＲＧＢ画像は、例えば、ＩＲ＿ＬＥＤ部３６によりＩＲ光が発光されず、被写体に対してＩＲ光が照射されない非発光期間に、撮像素子２４により撮像される画像（第２の画像の一例）である。ＩＲ画像は、例えば、ＩＲ＿ＬＥＤ部３６によりＩＲ光が発光され、被写体に対してＩＲ光が照射される発光期間に、撮像素子２４により撮像される画像（第１の画像の一例）である。
【００５８】
ＲＧＢ画像の撮像では、撮像パラメータに応じて、ＲＧＢ画像の色調成分が大きくなるよう制御される。例えば、ＲＧＢ画像制御部４７又は露光制御部３３は、撮像パラメータに応じて、露光量、ゲイン、又は、色調の補正量を制御する。例えば、露光量が多い程、又はゲインが大きい程、色調成分が大きくなるので、露光量が多くなるよう、ゲインが大きくなるよう制御される。この場合、ゲインが大きくなることにより、ＲＧＢ画像のノイズ成分が多くなってもよい。また、ＲＧＢ画像では、被写体のエッジ成分の大きさが十分でなく、エッジが不明確でもよい。
【００５９】
ＩＲ画像の撮像では、ＩＲ画像の階調成分及びエッジ成分が大きくなるよう制御される。例えば、ＩＲ画像制御部４８又は露光制御部３３は、撮像パラメータに応じて、露光量、ゲイン、又は、色調の補正量を制御する。例えば、ＩＲ照明制御部３４は、発光条件に応じて、ＩＲ光の発光量を制御する。ＩＲ画像は、ＩＲ画像の色調成分が小さくてもよい。ＩＲ画像は、ＩＲ画像のノイズ成分が小さい方が好ましい。
【００６０】
尚、本実施形態では、主に、被写体に対してＩＲ光が照射され、ＩＲ画像が得られることを例示しているが、ＩＲ光以外の光が照射されてもよい。例えば、光照射されて得られた画像から、必要なエッジ成分、階調成分を取得できれば、ＩＲ光の代わりに、可視光でもよいし、紫外光でもよい。ＩＲ光を用いた場合、得られる画像の階調成分及びエッジ成分を容易に強調できるので、低照度の環境でも所望の階調成分及びエッジ成分を容易に得ることができる。
【００６１】
図３は、２バンドパスフィルタ２３の光学特性の一例を示すグラフである。２バンドパスフィルタ２３は、例えば、波長およそ４００ｎｍ〜７００ｎｍの範囲である可視光領域、及び、波長およそ８００ｎｍ〜９００ｎｍの範囲である赤外領域において、高い透過率を有する。
【００６２】
被写体からの光のうち、２バンドパスフィルタ２３を透過する可視光が、ＲＧＢ画像の生成に用いられる。被写体からの光のうち、２バンドパスフィルタ２３を透過する赤外光が、ＩＲ画像の生成に用いられる。
【００６３】
図４Ａ，図４Ｂは、撮像部２０の構成例を示す模式図である。図４Ａは、撮像部２０における各部の配置関係の一例を示す模式図である。図４Ａでは、撮像部２０は、光軸上に配置されたレンズ２１、絞り２２、２バンドパスフィルタ２３及び撮像素子２４を有する。撮像素子２４の前面には、カラーフィルタ２５が含まれる。
【００６４】
図４Ｂは、カラーフィルタ２５のベイヤ配列の一例を示す模式図である。カラーフィルタ２５は、Ｇ（緑）色の光を透過させる２つのＧフィルタ部２５ａ，２５ｃ、Ｒ（赤）色の光を透過させるＲフィルタ部２５ｂ、及びＢ（青）色の光を透過させるＢフィルタ部２５ｄ、を含む。尚、各フィルタ部２５ａ〜２５ｄは、各色の光の他に、ＩＲ光も透過する。
【００６５】
撮像素子２４は、例えば、撮像パラメータ及びＩＲ光の発光の有無が切り替えられることで、時分割にＲＧＢ画像及びＩＲ画像を生成する。
【００６６】
例えば、低照度の環境においてＲＧＢ画像を得る場合、ＲＧＢ画像制御部４７は、撮像パラメータとしての露光時間を長くするよう設定し、撮像パラメータとしてのゲインを大きくするよう設定する。このように設定された状態で、撮像素子２４は、ＲＧＢ画像を取得する。
【００６７】
例えば、低照度の環境においてＩＲ画像を得る場合、ＩＲ照明制御部３４は、ドライブ回路部３５に対し、ＩＲ＿ＬＥＤ部３６が被写体に向けてＩＲ光を発光するよう制御する。また、ＩＲ画像制御部４８は、撮像パラメータとしての露光時間を短くするよう設定し、撮像パラメータとしてのゲインを小さくするよう設定する。このように設定された状態で、撮像素子２４は、ＩＲ画像を取得する。尚、低照度とは、例えば、照度が０．１ルクス（ｌｕｘ）以下である場合を指す。
【００６８】
尚、図３及び図４Ａ，図４Ｂでは、２バンドパスフィルタ２３を用いることを例示したが、撮像素子２４が受光する光は、ＩＲ成分以外を含んでもよい。例えば、カラーフィルタ２５の代わりに、全帯域透過フィルタ、可視カットフィルタ、赤外バンドパスフィルタが用いられてもよい。２バンドパスフィルタ２３以外が用いられても、ＩＲ画像の代わりに得られた画像から、所定の階調成分及びエッジ成分が得られればよい。
【００６９】
次に、監視カメラ１０の動作例について説明する。
【００７０】
図５は、監視カメラ１０による撮像動作全体の流れの一例を示すフローチャートである。
【００７１】
まず、撮像素子２４は、露光制御部３３によって指定された露光時間に亘って、被写体からの光を受光すると、画像を得て、ゲイン制御部３１へ出力する（Ｓ１）。
【００７２】
ゲイン制御部３１は、ＲＧＢ画像制御部４７により指定されるゲインで、撮像素子２４からの画像のうち、ＲＧＢ画像の信号を増幅する（Ｓ２）。ゲイン制御部３１は、ＩＲ画像制御部４８により指定されるゲインで、撮像素子２４からの画像のうち、ＩＲ画像の信号を増幅する（Ｓ２）。
【００７３】
色調補正部３２は、ＲＧＢ画像制御部４７によって指定される色調の補正量で、ＲＧＢ画像の色調を補正する（Ｓ３）。色調補正部３２は、ＩＲ画像制御部４８によって指定される色調の補正量で、ＩＲ画像の色調を補正する（Ｓ３）。
【００７４】
ＲＧＢ・ＩＲ分離部４１は、色調補正部３２からのＲＧＢ画像とＩＲ画像とを分離する（Ｓ４）。ＲＧＢ・ＩＲ分離部４１は、ＲＧＢ画像をＲＧＢ画像処理部４２に送り、ＩＲ画像をＩＲ画像処理部４３に送る。つまり、ＲＧＢ・ＩＲ分離部４１は、画像の出力先を時分割に切り替える。
【００７５】
ＲＧＢ画像処理部４２は、ＲＧＢ・ＩＲ分離部４１からのＲＧＢ画像に対して、所定の画像処理を行い、ＲＧＢフレームメモリ４６ａに記憶させる（Ｓ５）。ＩＲ画像処理部４３は、ＲＧＢ・ＩＲ分離部４１からのＩＲ画像に対して、所定の画像処理を行い、ＩＲフレームメモリ４６ｂに記憶させる（Ｓ６）。
【００７６】
ＲＧＢ画像制御部４７及び露光制御部３３は、例えば、ＲＧＢ画像撮像用の撮像パラメータに応じて、例えば、露光量、露光時間、ゲイン、色調の補正量を指定する。
【００７７】
ＩＲ画像制御部４８、露光制御部３３、及びＩＲ照明制御部３４は、例えば、ＩＲ画像撮像用の撮像パラメータ及び発光条件に応じて、例えば、露光量、露光時間、ゲイン、色調の補正量、ＩＲ光の発光の有無、ＩＲ光の発光量を指定する。
【００７８】
動きベクトル検出部４６ｄは、ＩＲフレームメモリ４６ｂに記憶されたＩＲ画像ＩＲ３およびＩＲ５と、ＩＲ画像処理部４３から直接入力されたＩＲ画像ＩＲ７と、から、これらのＩＲ画像に含まれる被写体の動きベクトルを検出し、動き補償ＲＧＢ画像生成部４６ｂに入力する（Ｓ６Ａ）。ＩＲフレームメモリ４６ｃに記憶されたＩＲ画像の一部、すなわちカラー画像化の対象となるＩＲ画像ＩＲ５は、後述のＲＧＢ・ＩＲ合成部４４にも入力される。動き補償ＲＧＢ画像生成部４６ｂは、入力された被写体の動きベクトルと、カラー画像化の対象となるＩＲ画像ＩＲ５と、それに隣接するＲＧＢ画像ＲＧＢ４およびＲＧＢ６と、を基に、ＩＲ画像ＩＲ５の撮像時点におけるＲＧＢ画像の動き補償画像を生成する（Ｓ５Ａ）。ＲＧＢ・ＩＲ合成部４４は、所定のタイミングにおいて、動き補償ＲＧＢ画像生成部４６ｂにより生成されたＲＧＢ画像の動き補償画像ＲＧＢ５と、ＩＲ画像処理部４３により画像処理され、カラー画像化の対象でありＩＲフレームメモリ４６ｃに記憶されたＩＲ画像ＩＲ５と、を合成する（Ｓ７Ａ）。
【００７９】
画像後処理部４５は、合成された画像（合成画像）に対し、所定の後処理を行う（Ｓ８）。インタフェース部５０は、後処理された合成画像を外部に出力する（Ｓ９）。
【００８０】
図５に示した監視カメラ１０による動作例によれば、ＲＧＢ画像の撮像用の撮像パラメータに沿ったＲＧＢ画像と、ＩＲ画像の撮像用の撮像パラメータに沿ったＩＲ画像と、を取得し、合成できる。画像の合成により、低照度の環境においても、輪郭が鮮明で色鮮やかな画像が得られ、撮像された画像の品質を容易に向上できる。
【００８１】
図６は、監視カメラ１０による撮像動作例を説明する模式図である。本実施形態の監視カメラ１０による撮像動作例について、図６と併せて補助的に図２も用いながら説明する。本実施形態では、時分割で、ＲＧＢ画像とＩＲ画像とが交互に切り替えて撮像され、フレーム毎に、ＲＧＢ画像の撮像期間とＩＲ画像の撮像期間とが切り替わる。
【００８２】
交互に撮像されたＲＧＢ画像とＩＲ画像とが合成されて１つの画像が出力されるので、通常の撮像モードと比較すると、合成画像（出力画像）のフレームレートは１／２になる。通常の撮像モードとしては、例えば、撮像方式を切り替えず、常時ＲＧＢ画像を撮像する撮像モード、又は常時ＩＲ画像を撮像する撮像モードが考えられる。
【００８３】
本実施形態の監視カメラ１０の発光条件は、例えば、フレーム毎に、ＩＲ光を発光する発光期間と、ＩＲ光を発光しない非発光期間と、が切り替わる旨の情報を含む。発光期間には、被写体に対してＩＲ照射が行われ、非発光期間には、被写体に対してＩＲ照射が行われない。
【００８４】
図６では、最初のフレームＡ１では、被写体Ｍ１に対してＩＲ照射が行われ、撮像素子２４は、カラーフィルタ２５を透過した光を受光し、被写体Ｍ１が撮像されたＩＲ画像ＩＲ１を得る。得られたＩＲ画像ＩＲ１は、ＩＲフレームメモリ４６ｃに一時的に記憶される（図５のＳ６）。
【００８５】
次のフレームＡ２では、撮像パラメータ及び発光条件が切り替えられ、ＩＲ照射が行われず、環境光を用いて撮像される。撮像素子２４は、カラーフィルタ２５を透過した光をそれぞれＲ，Ｇ，Ｂの光として受光し、被写体Ｍ２が撮像されたＲＧＢ画像ＲＧＢ２を得る。被写体Ｍ２は被写体Ｍ１と同一の被写体であるが、それらの大きさと位置は互いに異なるので、区別するために末尾の数字が異なる符号を付与している。得られたＲＧＢ画像ＲＧＢ２は、ＲＧＢフレームメモリ４６ａに一時的に記憶される（図５のＳ５）。
【００８６】
以後、同様の動作が繰り返される。つまり、フレームＡ３，Ａ５，Ａ７・・・では、監視カメラ１０は、フレームＡ１における動作と同様に動作する。各フレームにおいて得られたＩＲ画像ＩＲ３，ＩＲ５，ＩＲ７・・・は、ＩＲフレームメモリ４６ｃに一時的に記憶される（図５のＳ６）。フレームＡ４，Ａ６，Ａ８・・・では、監視カメラ１０は、フレームＡ２における動作と同様に動作する。各フレームにおいて得られたＲＧＢ画像ＲＧＢ４，ＲＧＢ６，ＲＧＢ８・・・は、ＲＧＢフレームメモリ４６ａに一時的に記憶される（図５のＳ５）。それぞれの画像に写っている被写体Ｍ３〜Ｍ７は、被写体Ｍ１及びＭ２と同一の被写体であるが、それらの大きさと位置は互いに異なるので、区別するために末尾の数字が異なる符号を付与している。
【００８７】
以上のようにして得られた複数のＩＲ画像ＩＲ１，ＩＲ３，ＩＲ５，ＩＲ７・・・と、複数のＲＧＢ画像ＲＧＢ２，ＲＧＢ４，ＲＧＢ６，ＲＧＢ８・・・とを用いて低照度な環境における移動体の良好なカラー画像を得る方法について説明する。図６では、被写体Ｍ５が撮影されたＩＲ画像ＩＲ５と、その前後にあって被写体Ｍ４が撮像されたＲＧＢ画像ＲＧＢ４および／または被写体Ｍ６が撮像されたＲＧＢ６から得られる動き補償ＲＧＢ画像ＲＧＢ５（図５のＳ５Ａ）と、の合成画像ＩＭ５を得る場合について示している。すなわち合成画像ＩＭ５は、ＩＲ画像ＩＲ５をカラー画像化したものとも言える。なお、前述したように、被写体Ｍ４，Ｍ５，Ｍ６は同一の被写体であるが、それらの大きさと位置は互いに異なることを明示するために、末尾の数字が異なる符号を付与している。
【００８８】
ＩＲ画像ＩＲ５をカラー画像化した合成画像ＩＭ５を生成するのに必要なＲＧＢ画像ＲＧＢ５は、ＩＲ画像ＩＲ５と隣接するＲＧＢ画像ＲＧＢ４またはＲＧＢ６あるいはその両方のＲＧＢ画像を用いて生成する。図６に示すように、本実施の形態において同一の被写体Ｍ４，Ｍ５，Ｍ６の大きさと位置は互いに異なる。したがって、ＲＧＢ画像ＲＧＢ４またはＲＧＢ６あるいはその両方のＲＧＢ画像を基に被写体の動き補償を行った上で、ＩＲ画像ＩＲ５をカラー画像化するために必要なＲＧＢ画像ＲＧＢ５を生成する必要がある。
【００８９】
しかしながらＲＧＢ画像はノイズが多いので、被写体Ｍ４に対する被写体Ｍ６の動きベクトルを、ＲＧＢ画像ＲＧＢ４とＲＧＢ６から直接求めることは困難である。そこで本実施の形態の監視カメラ１０は、ＲＧＢ画像ＲＧＢ４およびＲＧＢ６のいずれかと隣接するＩＲ画像ＩＲ３，ＩＲ５およびＩＲ７を基に推定した動きベクトルを用いて、ＲＧＢ画像ＲＧＢ４，ＲＧＢ６にそれぞれ撮像される被写体Ｍ４，Ｍ６の動き補償を行う。なお、本実施の形態の被写体の動きベクトルを推定するための条件として、被写体Ｍ３〜Ｍ７の動きの速度と向きが急に変わらないものとする。
【００９０】
動きベクトル検出部４６ｄは、予めＩＲフレームメモリ４６ｃに一時的に記憶されたＩＲ画像ＩＲ３及びＩＲ５と、ＩＲ画像処理部４３より出力される最新のＩＲ画像ＩＲ７と、が入力される（図５のＳ６）と、それらの画像に含まれる被写体の動きベクトルを検出する（図５のＳ６Ａ）。より具体的には、動きベクトル検出部４６ｄは、まず被写体Ｍ３に対する被写体Ｍ５の動きベクトルＭＶ（５−３）と、被写体Ｍ５に対する被写体Ｍ７の動きベクトルＭＶ（７−５）を検出し、動き補償ＲＧＢ画像生成部４６ｂに入力する。
【００９１】
動き補償ＲＧＢ画像生成部４６ｂには、動きベクトル検出部４６ｄで検出されたＩＲ画像の動きベクトルＭＶ（５−３）及びＭＶ（７−５）の他に、予めＲＧＢフレームメモリ４６ａに一時的に記憶されたＲＧＢ画像ＲＧＢ２及びＲＧＢ４が入力される。
【００９２】
動き補償ＲＧＢ画像生成部４６ｂは、ＩＲ画像ＩＲ５をカラー画像化するために必要なＲＧＢ画像ＲＧＢ５を、ＲＧＢ画像ＲＧＢ４及びＲＧＢ６の動き補償を行うことにより生成する。そのために、動き補償ＲＧＢ画像生成部４６ｂは、被写体Ｍ４に対する被写体Ｍ５の動きベクトルＭＶ（５−４）と、被写体Ｍ５に対する被写体Ｍ６の動きベクトルＭＶ（６−５）を求める（図５のＳ６Ａ）。
【００９３】
被写体Ｍ４〜Ｍ５〜Ｍ６の動きの速度と向きが急に変わらなければ、ＭＶ（５−４）＝ＭＶ（６−５）と仮定することができる。そしてもし、ＲＧＢ画像ＲＧＢ４及びＲＧＢ６から被写体Ｍ４に対する被写体Ｍ６の動きベクトルＭＶ（６−４）が検出できるのであれば、動きベクトルＭＶ（５−４）およびＭＶ（６−５）は、次のように求められる。
【００９４】
（数１）
ＭＶ（５−４）＝ＭＶ（６−５）＝ＭＶ（６−４）／２
しかしながら先ほども述べたように、ＲＧＢ画像はノイズが多いので、被写体Ｍ４に対するＭ６の動きベクトルを、ＲＧＢ画像ＲＧＢ４，ＲＧＢ６から直接求めることは困難である。そこで、動き補償ＲＧＢ画像生成部４６ｂは、動きベクトル検出部４６ｄで検出された被写体Ｍ５の動きベクトルＭＶ（５−３）および被写体Ｍ７の動きベクトルＭＶ（７−５）を基に、被写体Ｍ４およびＭ６の動きベクトルを推定する。
【００９５】
まず、動き補償ＲＧＢ画像生成部４６ｂは、動きベクトル検出部４６ｄで検出された被写体Ｍ３に対する被写体Ｍ５の動きベクトルＭＶ（５−３）を基に、被写体Ｍ４に対する被写体Ｍ５の動きベクトルを推定する。
【００９６】
被写体Ｍ３が撮像されたＩＲ画像ＩＲ３は、ＲＧＢ画像ＲＧＢ４が撮像された非発光期間の一方に隣接する発光期間に撮像されたＩＲ画像である。そして、被写体Ｍ５が撮像されたＩＲ画像ＩＲ５は、ＲＧＢ画像ＲＧＢ４が撮像された非発光期間の一方に隣接する発光期間に撮像されたＩＲ画像である。
【００９７】
被写体Ｍ３に対する被写体Ｍ５の動きベクトルＭＶ（５−３）は、被写体Ｍ３に対する被写体Ｍ４の動きベクトルＭＶ（４−３）と、被写体Ｍ４に対する被写体Ｍ５の動きベクトルＭＶ（５−４）と、を用いて、次のように表される：
（数２）
ＭＶ（５−３）＝ＭＶ（４−３）＋ＭＶ（５−４）
被写体Ｍ４が撮像されたＲＧＢ画像ＲＧＢ４は、被写体Ｍ３が撮像されたＩＲ画像ＩＲ３と、被写体Ｍ５が撮像されたＩＲ画像ＩＲ５とのちょうど中間にある。よって、被写体Ｍ３〜Ｍ４〜Ｍ５の動きの速度と向きが急に変わらなければ、ＭＶ（４−３）＝ＭＶ（５−４）と仮定することができるので、被写体Ｍ４に対する被写体Ｍ５の動きベクトルＭＶ（５−４）は、次のように表される。
【００９８】
（数３）
ＭＶ（５−４）＝ＭＶ（５−３）／２
よって動き補償ＲＧＢ画像生成部４６ｂは、ＲＧＢ画像ＲＧＢ４上における被写体Ｍ４の座標と、動きベクトルＭＶ（５−４）＝ＭＶ（５−３）／２と、例えば時間軸の巡回型フィルタと、を用いて、ＲＧＢ画像ＲＧＢ４の動き補償を行うことにより、ＩＲ画像ＩＲ５の撮像時刻に相当する仮補償画像ＲＧＢ５Ａを生成することができる（図５のＳ５Ａ）。
【００９９】
以上に述べたのと同様にして、動き補償ＲＧＢ画像生成部４６ｂは、ＩＲ画像ＩＲ５を挟んでＲＧＢ画像ＲＧＢ４とは反対側にあるＲＧＢ画像ＲＧＢ６の動き補償を行うことにより、ＩＲ画像ＩＲ５の撮像時刻に相当するＲＧＢの仮補償画像ＲＧＢ５Ｂを生成することができる。
【０１００】
すなわち、動き補償ＲＧＢ画像生成部４６ｂは、動きベクトル検出部４６ｄで検出された被写体Ｍ５に対する被写体Ｍ７の動きベクトルＭＶ（７−５）を基に、被写体Ｍ５に対する被写体Ｍ６の動きベクトルを推定する（図５のＳ６Ａ）。
【０１０１】
被写体Ｍ５に対する被写体Ｍ７の動きベクトルＭＶ（７−５）は、被写体Ｍ５に対する被写体Ｍ６の動きベクトルＭＶ（６−５）と、被写体Ｍ６に対する被写体Ｍ７の動きベクトルＭＶ（７−６）と、を用いて、次のように表される：
（数４）
ＭＶ（７−５）＝ＭＶ（７−６）＋ＭＶ（６−５）
被写体Ｍ６が撮像されたＲＧＢ画像ＲＧＢ６は、被写体Ｍ５が撮像されたＩＲ画像ＩＲ５と、被写体Ｍ７が撮像されたＩＲ画像ＩＲ７とのちょうど中間にある。よって、被写体Ｍ５〜Ｍ６〜Ｍ７の動きの速度と向きが急に変わらなければ、ＭＶ（７−６）＝ＭＶ（６−５）と仮定することができるので、被写体Ｍ５に対する被写体Ｍ６の動きベクトルＭＶ（６−５）は、次のように表される。
【０１０２】
（数５）
ＭＶ（６−５）＝ＭＶ（７−５）／２
よって動き補償ＲＧＢ画像生成部４６ｂは、ＲＧＢ画像ＲＧＢ６上における被写体Ｍ６の座標と、動きベクトルＭＶ（６−５）＝ＭＶ（７−５）／２と、例えば時間軸の巡回型フィルタと、を用いて、ＲＧＢ画像ＲＧＢ６の動き補償を行うことにより、ＩＲ画像ＩＲ５の撮像時刻に相当する仮補償画像ＲＧＢ５Ｂを生成することができる（図５のＳ５Ａ）。
【０１０３】
言い換えれば、動き補償ＲＧＢ画像生成部４６ｂは、ＩＲ画像ＩＲ５が撮像された発光期間と隣接する非発光期間に撮像されたＲＧＢ画像ＲＧＢ４および／またはＲＧＢ６から、ＩＲ画像の撮像時点における動き補償ＲＧＢ画像ＲＧＢ５Ａおよび／またはＲＧＢ５Ｂを生成する。すなわち、ＩＲ画像が撮像された発光期間の一方に隣接する非発光期間に撮像された一方のＲＧＢ画像と、発光期間の他方に隣接する非発光期間に撮像された他方のＲＧＢ画像と、から、これらのＲＧＢ画像と隣接する第１の画像の撮像時点におけるＲＧＢ画像の動き補償画像を、それぞれ生成する。
【０１０４】
動き補償ＲＧＢ画像生成部４６ｂは、以上のようにして得られた仮補償画像ＲＧＢ５ＡおよびＲＧＢ５Ｂを、例えば加算平均することにより、ＩＲ画像ＩＲ５の撮像時刻に相当する補償画像ＲＧＢ５を生成してもよい（図５のＳ５Ａ）。もしカラー画像化の対象となるＩＲ画像ＩＲ５の前後で被写体Ｍ３〜Ｍ４〜Ｍ５〜Ｍ６〜Ｍ７の動きベクトルの速度または向きが大きく変化する場合は、仮補償画像ＲＧＢ５ＡおよびＲＧＢ５Ｂの加算平均以外の方法を用いて補償画像ＲＧＢ５を生成してもよい。例えば動き補償ＲＧＢ画像生成部４６ｂは、ＩＲ画像ＩＲ５とＩＲ３とのブロックマッチングの結果と、ＩＲ画像ＩＲ７とＩＲ５とのブロックマッチングの結果と、を比較してよい。そして動き補償ＲＧＢ画像生成部４６ｂは、画像の相関値の高い側にある２つのＩＲ画像の間に挟まれたＲＧＢ画像から生成される仮補償画像を選択して、その選択した仮補償画像を補償画像ＲＧＢ５としてよい。または、動き補償ＲＧＢ画像生成部４６ｂは、各ＩＲ画像に撮像された被写体の動きベクトルの信頼度に応じて、両者の仮補償画像ＲＧＢ５ＡおよびＲＧＢ５Ｂのそれぞれに重み付けを行った後に、補償画像ＲＧＢ５を生成してもよい。以上のように、動き補償ＲＧＢ画像生成部４６ｂは、ＲＧＢ画像ＲＧＢ４及びＲＧＢ６の動き補償を高精度に行うことができ、移動体の動き補償が高精度に行われるので、時間軸の巡回型フィルタを用いても、移動体の残像の発生は低減される。
【０１０５】
そして、以上のようにして得られた動き補償ＲＧＢ画像ＲＧＢ５は、カラー画像化の対象画像であって、予めＩＲフレームメモリ４６ｃに一時的に記憶されたＩＲ画像ＩＲ５とともに、ＲＧＢ・ＩＲ合成部４４に入力される。ＲＧＢ・ＩＲ合成部４４は、動き補償ＲＧＢ画像生成部４６ｂにより生成された動き補償ＲＧＢ画像ＲＧＢ５と、ＩＲ画像処理部４３により画像処理され予めＩＲフレームメモリ４６ｃに一時的に記憶されたＩＲ画像ＩＲ５と、を合成する（図５のＳ７Ａ）。
【０１０６】
すなわち、動き補償ＲＧＢ画像生成部４６ｂによって、ＩＲ画像が撮像された発光期間と隣接する非発光期間に撮像されたＲＧＢ画像から、ＩＲ画像の撮像時点におけるＲＧＢ画像の動き補償画像が生成される（図５のＳ５Ａ）。そして、ＲＧＢ・ＩＲ合成部４４によって、ＩＲ画像と、そのＩＲ画像の撮像時点におけるＲＧＢ画像の動き補償画像と、が合成される（図５のＳ７Ａ）。
【０１０７】
先ほども述べたように、鮮明なＩＲ画像ＩＲ３、ＩＲ５及びＩＲ７からＲＧＢ画像ＲＧＢ４及びＲＧＢ６の動きベクトルが推定される（図５のＳ６Ａ）ので、ＲＧＢ画像ＲＧＢ４及びＲＧＢ６の動き補償は高精度に行われる。そのため、ＩＲ画像ＩＲ５と動き補償ＲＧＢ画像ＲＧＢ５との間における移動体の位置ずれは補正され、高画質な合成画像が生成される。また、移動体の動き補償が高精度に行われるので、時間軸の巡回型フィルタを用いても、移動体の残像の発生は低減される。従って、図６に示した監視カメラ１０の動作例によれば、低照度な環境において被写体が高速に移動する場合でも、良好なカラー画像が得られる。
【０１０８】
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１０９】
例えば上記実施形態では、カラー画像化の対象となるＩＲ画像ＩＲ５のＲＧＢ画像ＲＧＢ５を生成するために、ＩＲ画像ＩＲ５と隣接するＲＧＢ画像ＲＧＢ４およびＲＧＢ６のみを利用している。しかしながら本発明はそれに限らず、ＩＲ画像ＩＲ５、ＲＧＢ画像ＲＧＢ４およびＲＧＢ６のさらに前後にあるＲＧＢ画像も利用して、それらの動きベクトルを推定して動き補償を行ったのち、ＩＲ画像ＩＲ５の補償画像ＲＧＢ５を生成してもよい。すなわち、ＩＲ画像ＩＲ５の補償画像ＲＧＢ５を生成するために利用するＲＧＢ画像のフレーム数を多くするほど、ノイズ低減効果は高まる。また、これらのＲＧＢ画像から得られる仮補償画像を加算平均する際には、それらの仮補償画像の全てを記憶する代わりに、巡回型のローパスフィルタを利用してもよい。これによって、限られた記憶領域を有効に使用して、良好なカラー画像を得ることができる。
【０１１０】
上記実施形態では、被写体画像のエッジ成分、階調成分の強調には、ＩＲ光によるＩＲ画像を用いることを例示したが、紫外光（ＵＶ：Ｕｌｔｒａｖｉｏｌｅｔ）によって撮像された画像を用いてもよい。または、例えばエッジ成分、階調成分が強調されれば、ＩＲ画像の代わりに、可視光が照射された画像を用いてもよい。ＩＲ光、ＵＶ光は、非可視光の一例である。可視光及び非可視光は、補助光の一例である。
【０１１１】
例えば、上記実施形態では、図５に示した処理を監視カメラ１０が全て実施することを例示したが、一部の処理を監視カメラ１０が実施し、一部の処理を他の装置（例えばＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）が実施してもよい。つまり、監視カメラ１０とＰＣとを備える撮像システムが形成されてもよい。この場合、例えばＰＣは、Ｃｕｄａ（Ｃｏｍｐｕｔｅ  Ｕｎｉｆｉｅｄ  Ｄｅｖｉｃｅ  Ａｒｃｈｉｔｅｃｔｕｒｅ）を用いて処理を高速化してもよい。
【０１１２】
例えば、監視カメラ１０が、図６におけるＳ１のイメージセンサ出力からＳ３の色調補正までの処理を行い、処理された画像データを含むデータを、ネットワーク等を介してＰＣへ送信する。ＰＣは、監視カメラ１０からのデータを受信し、受信された画像データに対して、Ｓ４の画像分離の処理からＳ９の画像出力までの処理を行う。この場合、ＰＣは、例えば、ＲＧＢ画像及びＩＲ画像を受信する通信部と、ＲＧＢ画像とＩＲ画像を合成する画像合成部と、を備える。これにより、監視カメラ１０の処理負荷を低減できる。
【０１１３】
また、本実施形態では、撮像装置の一例として監視カメラ１０を例示したが、他の撮像装置（例えば、車載カメラ、産業用カメラ、医療用カメラ、民生用カメラ）でもよい。
【産業上の利用可能性】
【０１１４】
本発明は、低照度の環境において撮像された画像の品質を容易に向上できる撮像装置、撮像システム、及び撮像方法等に有用である。
【符号の説明】
【０１１５】
１０  監視カメラ
１０ａ  筐体
１０ｂ  取付部
１０ｃ  アーム部
１１  鏡胴
１５  壁面
２０  撮像部
２１  レンズ
２２  絞り
２３  ２バンドパスフィルタ
２４  撮像素子
２５、５６  カラーフィルタ
２５ａ、２５ｂ、２５ｃ、２５ｄ、５６ａ、５６ｂ、５６ｃ、５６ｄ  フィルタ部
３１  ゲイン制御部
３２  色調補正部
３３  露光制御部
３４  ＩＲ照明制御部
３５  ドライブ回路部
３６  ＩＲ＿ＬＥＤ部
４０  カメラ信号処理部
４１  ＲＧＢ・ＩＲ分離部
４２  ＲＧＢ画像処理部
４３  ＩＲ画像処理部
４４  ＲＧＢ・ＩＲ合成部
４５  画像後処理部
４６ａ  ＲＧＢフレームメモリ
４６ｂ  動き補償ＲＧＢ画像生成部
４６ｃ  ＩＲフレームメモリ
４６ｄ  動きベクトル検出部
４７  ＲＧＢ画像制御部
４８  ＩＲ画像制御部
５０  インタフェース部
５５  ＲＧＢＩＲセンサ
５７  センサ部
６０  撮像部
６１  カラーイメージセンサ
６２  モノクロイメージセンサ
６３  ＩＲカットフィルタ
６４  プリズム
【図１】
2017092876.tif 000003
【図２】
2017092876.tif 000004
【図３】
2017092876.tif 000005
【図４Ａ】
2017092876.tif 000006
【図４Ｂ】
2017092876.tif 000007
【図５】
2017092876.tif 000008
【図６】
2017092876.tif 000009