(57)【要約】【課題】低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、その被写体に色の偏りがある場合であったとしても、良好な色再現性が得られる赤外線照射式撮像装置を提供する。【解決手段】赤外線照射式撮像装置１は、赤外線取込撮像条件にて生成された撮像信号に基づいて、赤外線照射撮像条件にて生成された撮像信号を赤外線照射成分撮像信号と非照射成分撮像信号とに分離し（赤外線照射成分分離部８）、可視光撮像条件にて生成された撮像信号に基づいて、非照射成分撮像信号の色バランスを整合し（色バランス整合部９）、色整合撮像信号を生成し、赤外線照射成分撮像信号と色整合撮像信号とに合成画像処理を施して（画像処理部１０）、カラー画像信号を生成する。【選択図】図１
2010154169.tif 000002
【特許請求の範囲】
【請求項１】
低照度下の被写体に対して、赤外線を照射して撮像が可能である赤外線照射式撮像装置であって、
前記被写体に前記赤外線を照射する赤外線照射手段と、
前記被写体を結像して光学像を生成する光学手段と、
前記光学手段の光路上に対して進退可能な構造であって、前記光学像に含まれる赤外線を遮断して、可視光から成る前記光学像を生成するための赤外線カットフィルタと、
前記被写体に前記赤外線を照射させないで前記光路上に対して前記赤外線カットフィルタを挿入させる可視光撮像条件と、前記被写体に前記赤外線を照射させないで前記光路上に対して前記赤外線カットフィルタを退出させる赤外線取込撮像条件と、前記被写体に前記赤外線を照射させて前記光路上に対して前記赤外線カットフィルタを退出させる赤外線照射撮像条件と、を夫々制御する撮像条件制御手段と、
前記光学像を色毎に光電変換して撮像信号を生成する撮像手段と、
前記撮像条件別に前記撮像信号を分岐させる撮像信号分岐回路と、
前記赤外線取込撮像条件にて生成された前記撮像信号に基づいて、前記赤外線照射撮像条件にて生成された前記撮像信号を赤外線照射成分撮像信号と非照射成分撮像信号とに分離する赤外線照射成分分離手段と、
前記可視光撮像条件にて生成された前記撮像信号に基づいて、前記非照射成分撮像信号の色バランスを整合し、色整合撮像信号を生成する色バランス整合手段と、
前記赤外線照射成分撮像信号と前記色整合撮像信号とに合成画像処理を施して、カラー画像信号を生成する画像処理手段と、
を具備することを特徴とする赤外線照射式撮像装置。
【請求項２】
前記赤外線取込撮像条件、及び、前記赤外線照射撮像条件にて生成された前記撮像信号を夫々積分して、該積分値の差分に基づいて前記赤外線の推定照射量である赤外線照射推定量を算出し、前記赤外線照射推定量と、前記赤外線取込撮像条件時の前記撮像信号の信号レベルと、に基づいて前記赤外線が照射された前記被写体と想定される信号レベルの基準である赤外線照射基準レベルを算出して、前記赤外線照射成分分離手段に対して、前記赤外線照射推定量と、前記赤外線照射基準レベルと、を前記赤外線照射の解析値として設定する赤外線照射成分解析手段
を更に具備することを特徴とする請求項１に記載の赤外線照射式撮像装置。
【請求項３】
前記赤外線照射基準レベルは、前記赤外線照射成分が高照射にて分布する高照射基準レベルと、前記赤外線照射成分が低照射にて分布する低照射基準レベルと、を有し、
前記高照射基準レベルは、前記赤外線取込撮像条件にて生成された前記撮像信号よりも高い信号レベルを基準として算出され、
前記低照射基準レベルは、前記赤外線取込撮像条件にて生成された前記撮像信号よりも低い信号レベルを基準として算出される
ことを特徴とする請求項２に記載の赤外線照射式撮像装置。
【請求項４】
前記赤外線照射成分分離手段は、
前記赤外線照射撮像条件にて生成された前記撮像信号の中から、
前記高照射基準レベル以上の前記撮像信号を抽出して、該抽出信号が位置する位相に対しては前記高照射基準レベルの信号を前記赤外線照射成分撮像信号として分離し、
前記高照射基準レベル未満で、且つ、前記低照射基準レベル以上の前記撮像信号を抽出して、該抽出信号が位置する位相に対しては前記低照射基準レベルの信号を前記赤外線照射成分撮像信号として分離して、
前記低照射基準レベル未満の前記撮像信号を抽出して、該抽出信号が位置する位相に対しては前記赤外線が照射していない前記被写体の信号レベルとして、前記赤外線照射成分撮像信号を黒レベルとする
ことを特徴とする請求項３に記載の赤外線照射式撮像装置。
【請求項５】
前記低照射基準レベルは、前記赤外線照射成分撮像信号の積分値と、前記赤外線照射推定量と、が略一致となるように算出される
ことを特徴とする請求項４に記載の赤外線照射式撮像装置。
【請求項６】
前記赤外線照射成分分離手段は、前記高照射で高反射と低反射とが高周波で繰り返される前記被写体の前記抽出信号に対して、少なくとも該高周波の周波数が１／２以下となるカットオフ周波数を有するローパスフィルタを施す
ことを特徴とする請求項４に記載の赤外線照射式撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低照度下の被写体に対して、赤外線を照射して撮像が可能である赤外線照射式撮像装置に関するものである。
【背景技術】
【０００２】
撮像装置および方法に関する技術が、例えば、下記特許文献１に開示されている。この特許文献１には、入力画素信号から輝度信号を生成する前に、画素の色信号に混入された赤外光成分を色フィルタ毎に推定演算処理し、推定演算処理した色信号の結果に応じて輝度信号を生成し、該生成された輝度信号と色差信号を用いて画像信号を発生する信号処理方法に関して記載されている。
【０００３】
一方、下記特許文献２には、分光を変化させるフィルタの位置を検出する検出手段と、前記検出手段により検出された前記フィルタの位置に基づいて、ホワイトバランス制御を行うホワイトバランス制御手段とを備えることを特徴とする撮像装置に関する技術が開示されている。
【特許文献１】特開２００７−８８８７３号公報
【特許文献２】特開２００５−１３０３１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
近年に於いて、低照度下の被写体に対して赤外線を照射して撮像する場合であっても、モノクロ画像ではなく見た目に近い色合いのカラー画像を得ることができる撮像装置が市場から要求されている。
【０００５】
しかしながら、赤外線は人間の視覚特性の波長範囲にないのである。例えば、被写体に赤外線を照射して、その反射率を撮像することでモノクロ画像ならば得ることができるが、カラー画像を得るとなると、赤外線にない色情報の処理が更に必要となってくるのである。
【０００６】
例えば、前記特許文献１に示されるように、撮像信号に混入した赤外線成分を色フィルタ毎に推定演算して色再現性を得る信号処理方法がある。この信号処理方法は、特に、夕方の場合、色温度が下がり赤外線成分が増えた時に、その赤外線成分を打ち消すように色データを補正するものであって、各色データからｋ×（Ｒ＋Ｂ＋ＧＲ＋ＧＢ）／４を差し引く演算をする回路である。
【０００７】
しかしながら、前記特許文献１に示される信号処理方法は、赤外線を人工的に照射して撮像する場合に於いては、前述した赤外線成分を打ち消す補正演算の演算誤差が増加し、その演算誤差が直接的に色再現性を劣化させてしまうシステムであるという第１の課題があるのである。
【０００８】
一方で、前記特許文献２に示されるように、赤外成分を含む撮像に於いて、赤外線カットフィルタが光軸から外れた場合に、赤外成分を考慮した黒体カーブデータＬＢが読み出されて黒体カーブ制御が行われる。或いは、映像信号Ｒ、Ｇ、Ｂの積分値の比が１になるようなグレーワールド制御を施すことで、撮影状況に応じて、最適なホワイトバランス制御が行われる撮像装置がある。
【０００９】
しかしながら、前者の赤外成分を考慮した黒体カーブデータＬＢによる黒体カーブ制御は、可視光量と照射赤外線量と非照射赤外線量との比率、及び／または、差分が不明であるままに、赤外線カットフィルタの配置によって黒体カーブデータＬＡ、ＬＢが選択されるので、この黒体カーブの最適化が為されていないので、前述した第１の課題が解決されていない。
【００１０】
また、後者のグレーワールド制御は、撮像する被写体に色の偏りがないことが大前提であり、被写体に色の偏りがある場合には、このホワイトバランスは大きく崩れてしまうという第２の課題があるのである。
【００１１】
したがって、本発明は、前述した課題に鑑みてなされたものであって、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、良好な色再現性が得られる赤外線照射式撮像装置を提供することを目的とする。
【００１２】
また、本発明は、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、その被写体に色の偏りがある場合であったとしても、良好な色再現性が得られる赤外線照射式撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明のある態様によれば、低照度下の被写体に対して、赤外線を照射して撮像が可能である赤外線照射式撮像装置であって、前記被写体に前記赤外線を照射する赤外線照射手段と、前記被写体を結像して光学像を生成する光学手段と、前記光学手段の光路上に対して進退可能な構造であって、前記光学像に含まれる赤外線を遮断して、可視光から成る前記光学像を生成するための赤外線カットフィルタと、前記被写体に前記赤外線を照射させないで前記光路上に対して前記赤外線カットフィルタを挿入させる可視光撮像条件と、前記被写体に前記赤外線を照射させないで前記光路上に対して前記赤外線カットフィルタを退出させる赤外線取込撮像条件と、前記被写体に前記赤外線を照射させて前記光路上に対して前記赤外線カットフィルタを退出させる赤外線照射撮像条件と、を夫々制御する撮像条件制御手段と、前記光学像を色毎に光電変換して撮像信号を生成する撮像手段と、前記撮像条件別に前記撮像信号を分岐させる撮像信号分岐回路と、前記赤外線取込撮像条件にて生成された前記撮像信号に基づいて、前記赤外線照射撮像条件にて生成された前記撮像信号を赤外線照射成分撮像信号と非照射成分撮像信号とに分離する赤外線照射成分分離手段と、前記可視光撮像条件にて生成された前記撮像信号に基づいて、前記非照射成分撮像信号の色バランスを整合し、色整合撮像信号を生成する色バランス整合手段と、前記赤外線照射成分撮像信号と前記色整合撮像信号とに合成画像処理を施して、カラー画像信号を生成する画像処理手段と、を具備することを特徴とする赤外線照射式撮像装置が提供される。
【発明の効果】
【００１４】
本発明の上記態様によれば、低照度下の被写体に対して赤外線を照射して撮像する場合であっても、良好な色再現性が得られる効果がある。
【００１５】
また、本発明の上記態様によれば、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、その被写体に色の偏りがある場合であったとしても、良好な色再現性が得られる効果がある。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の実施形態について説明する。
【００１７】
図１は、本発明の実施形態による赤外線照射式撮像装置１の基本構成を示すブロック図である。
【００１８】
図１に於いて、この赤外線照射式撮像装置１は、赤外線発光ダイオード２（赤外線照射手段）と、レンズ３（光学手段）と、赤外線カットフィルタ４と、撮像条件制御部５（撮像条件制御手段）と、イメージセンサ６（撮像手段）と、撮像信号分岐回路７と、赤外線照射成分分離部８（赤外線照射成分分離手段）と、色バランス整合部９（色バランス整合手段）と、画像処理部１０（画像処理手段）と、より構成されている。
【００１９】
前記赤外線発光ダイオード２は、被写体に赤外線を照射／非照射するものであって、この赤外線の波長は約８００〜９００（ｎｍ）を主成分とするものであっても良い。前記レンズ３は、被写体を結像して光学像を生成するものである。前記赤外線カットフィルタ４は、レンズ３の光路上に対して進退可能な構造であって、光学像に含まれる赤外線を遮断して、可視光から成る光学像を生成するものである。
【００２０】
前記撮像条件制御部５は、被写体に赤外線を照射させないで光路上に対して赤外線カットフィルタ４を挿入させる可視光撮像条件と、被写体に赤外線を照射させないで光路上に対して赤外線カットフィルタ４を退出させる赤外線取込撮像条件と、被写体に赤外線を照射させて光路上に対して赤外線カットフィルタ４を退出させる赤外線照射撮像条件と、を夫々制御するものである。
【００２１】
前記イメージセンサ６は、この撮像条件別に光学像を光電変換して撮像信号ＲＧＢｘｙ（可視光撮像条件）、ＲＧＢＩｘｙ（赤外線取込撮像条件）、ＲＧＢＩＡｘｙ（赤外線照射撮像条件）を生成するものである。前記撮像信号分岐回路７は、撮像条件別にこれらの撮像信号を分岐させる回路であって、回路に電子式スイッチを具備したものであっても良いし、撮像条件別に撮像信号の送信プロトコールを備えさせることで、この電子式スイッチを省略したものであっても良い。
【００２２】
前記赤外線照射成分分離部８は、赤外線取込撮像条件にて生成された撮像信号ＲＧＢＩｘｙに基づいて、赤外線照射撮像条件にて生成された撮像信号ＲＧＢＩＡｘｙを赤外線照射成分撮像信号［Ａｘｙ］と非照射成分撮像信号［ＲＧＢＩｘｙ］とに分離するものである。
【００２３】
前記色バランス整合部９は、可視光撮像条件にて生成された撮像信号ＲＧＢｘｙに基づいて、非照射成分撮像信号［ＲＧＢＩｘｙ］の色バランスを整合し、色整合撮像信号ｃ［ＲＧＢＩｘｙ］を生成するものである。前記画像処理部１０は、赤外線照射成分撮像信号［Ａｘｙ］と色整合撮像信号ｃ［ＲＧＢＩｘｙ］とに合成画像処理を施して、カラー画像信号を生成するものである。
【００２４】
前述した色バランス整合部９について詳細を述べれば、可視光撮像条件にて生成された撮像信号ＲＧＢｘｙをＲＧＢ各色毎に積分し、該積分値の比率である可視光色毎比ΣＲ：ΣＧ：ΣＢを算出して記憶した後、この可視光色毎比ΣＲ：ΣＧ：ΣＢに基づいて、非照射成分撮像信号［ＲＧＢＩｘｙ］の色バランスを整合して、色整合撮像信号ｃ［ＲＧＢＩｘｙ］を生成するものである。
【００２５】
この色整合撮像信号ｃ［ＲＧＢＩｘｙ］を生成する方法について説明する。
【００２６】
可視光撮像条件にて生成される撮像信号ＲＧＢｘｙについて、ＲＧＢ各色毎にｘｙ平面積分をして、そのＲＧＢ各色毎の比率を示せば、
∬（Ｒｘｙ）ｄｘｄｙ：∬（Ｇｘｙ）ｄｘｄｙ：∬（Ｂｘｙ）ｄｘｄｙ
＝ΣＲ：ΣＧ：ΣＢ
である。
【００２７】
このΣＲ：ΣＧ：ΣＢは、可視光撮像条件下で撮像される被写体の色の偏りを示した解である。
【００２８】
また、非照射成分撮像信号［ＲＧＢＩｘｙ］について、ＲＧＢ各色毎にｘｙ平面積分をして、そのＲＧＢ各色毎の比率を示せば、
∬［（Ｒ＋ｒＩ）ｘｙ］ｄｘｄｙ：∬［（Ｇ＋ｇＩ）ｘｙ］ｄｘｄｙ：∬［（Ｂ＋ｂＩ）ｘｙ］ｄｘｄｙ
＝Σ［Ｒ＋ｒＩ］：Σ［Ｇ＋ｇＩ］：Σ［Ｂ＋ｂＩ］
である。
【００２９】
ここで、
Ｋｒ×Σ［Ｒ＋ｒＩ］：Ｋｇ×Σ［Ｇ＋ｇＩ］：Ｋｂ×Σ［Ｂ＋ｂＩ］
＝ΣＲ：ΣＧ：ΣＢ
となれば良いとするならば、色整合撮像信号ｃ［ＲＧＢＩｘｙ］は、
ｃ［ＲＧＢＩｘｙ］
＝（Ｋｒ×［（Ｒ＋ｒＩ）ｘｙ］，Ｋｇ×［（Ｇ＋ｇＩ）ｘｙ］，Ｋｂ×［（Ｂ＋ｂＩ）ｘｙ］）
とすれば良いのである。
【００３０】
このようにして、非照射成分撮像信号［ＲＧＢＩｘｙ］の色バランスが整合されて、色整合撮像信号ｃ［ＲＧＢＩｘｙ］が生成されるに至ることで、良好な色再現性が得られるのである。
【００３１】
図２は、図１で示された赤外線照射式撮像装置１に、赤外線照射成分解析部１１を更に具備した構成を示すブロック図である。
【００３２】
図２に於いて、この赤外線照射式撮像装置１は、図１で示された赤外線照射式撮像装置１の構成と、赤外線照射成分解析部１１（赤外線照射成分解析手段）と、より構成されている。
【００３３】
前記赤外線照射成分解析部１１は、赤外線照射成分分離部８に対して赤外線照射の解析値を設定する機能を有するものであって、該解析値に基づいて、赤外線照射撮像条件にて生成された撮像信号ＲＧＢＩＡｘｙを赤外線照射成分撮像信号［Ａｘｙ］と、非照射成分撮像信号［ＲＧＢＩｘｙ］と、に演算分離させるのが狙いである。
【００３４】
また、この演算分離の根拠となる解析値には、赤外線照射推定量ΣＡと、前記赤外線照射基準レベルＬＶ１，ＬＶ２と、が必要とされる。これらの解析値、ΣＡ、ＬＶ１、ＬＶ２については後述する。
【００３５】
図３は、赤外線カットフィルタ４を退出させて撮像する場合に於ける、一般的なＲＧＢ分光感度特性の一例を示すグラフである。
【００３６】
図３に於いて、このグラフは、実線Ｘで示されるＲ、破線Ｙで示されるＧ、破線Ｚで示されるＢ、各色毎に波長（ｎｍ）に対する相対感度が示されている。図３に示されるグラフは、主な主成分として、カラーフィルタの分光感度特性と、イメージセンサ６の分光感度特性と、の積算から成り立っている。
【００３７】
図３にて示されるように、波長約６５０〜９００（ｎｍ）の長波長側については、このイメージセンサ６が赤外線を照射して撮像することを意図していることから、常に赤外線を遮断して撮像する撮像装置よりも高感度になるようにされている。また、波長約４５０〜５５０（ｎｍ）については、イメージセンサ６の感度を向上させるためにＧのカラーフィルタの透過率を高くしている。
【００３８】
更に、このイメージセンサ６は、Ｒの負感帯を相殺させる効果を得るために、Ｒの感度を波長約４００（ｎｍ）辺りにも若干持たせている。尚、図３は、赤外線を照射して撮像する撮像装置の一般的な分光感度特性の一例を示したグラフであって、本発明のイメージセンサ６の分光感度特性は図３による一例に限定されるものではない。
【００３９】
先ず、赤外線照射推定量ΣＡについて述べる。前述したように撮像条件制御部５によって、撮像信号ＲＧＢｘｙ（可視光撮像条件）、ＲＧＢＩｘｙ（赤外線取込撮像条件）、ＲＧＢＩＡｘｙ（赤外線照射撮像条件）が夫々撮像された場合に、撮像信号ＲＧＢｘｙは、図３に於いて、約３５０〜７００（ｎｍ）の帯域で受光されて得られる信号である。
【００４０】
また、撮像信号ＲＧＢＩｘｙは、図３に於いて、波長約３５０〜９５０（ｎｍ）の帯域で受光されて得られる信号である。ここで、波長約７００〜８００（ｎｍ）の帯域に着目すれば、ＲＧＢ各色毎の感度が大きく異なっていることが示されている。そして、この波長約７００〜８００（ｎｍ）の帯域は、可視光の帯域ではないので本来の色情報は含まれていないのである。
【００４１】
したがって、この撮像信号ＲＧＢＩｘｙは、前述した色バランス整合部９（ΣＲ：ΣＧ：ΣＢ）による撮像信号ＲＧＢｘｙに基づいた色バランスの整合が必要とされるのである。
【００４２】
一方で、撮像信号ＲＧＢＩＡｘｙは、図３に於いて、波長約３５０〜９５０（ｎｍ）の帯域で受光されて得られる信号であるが、前述したように、赤外線発光ダイオード２の波長は約８００〜９００（ｎｍ）を主成分とするものである。ここで、その波長約８００〜９００（ｎｍ）の帯域に着目すれば、ＲＧＢ各色毎に感度が略一致していることが示されている。
【００４３】
したがって、赤外線照射推定量ΣＡについては、ＲＧＢ各色毎に、
ΣｒＡ≒ΣｇＡ≒ΣｂＡ
であり、
また、
ΣＡ＝ΣｒＡ＋ΣｇＡ＋ΣｂＡ
である。
【００４４】
例えば、イメージセンサ６のカラーフィルタがＲＧＢベイヤ配列であった場合ならば、
ΣｒＡ≒ΣｂＡ≒ΣＡ／４
ΣｇＡ≒ΣＡ／２
となるのである。
【００４５】
このように、ΣｒＡ、ΣｇＡ、ΣｂＡは、ＲＧＢ各色毎によらず、ΣＡから算出できて、また、ΣｒＡ≒ΣｇＡ≒ΣｂＡという大きな特徴である性質があるのである。尚、本発明のカラーフィルタは、必ずしもＲＧＢベイヤ配列であることに拘らない。
【００４６】
前述したように、ΣｒＡ≒ΣｇＡ≒ΣｂＡという性質があるという理由から、波長約８００〜９５０（ｎｍ）の帯域に関しては、ＲＧＢ各色一律にΣＡをリジェクトする方法の方が、ＲＧＢ各色毎に比率補正する方法よりも、演算分離の精度が向上するのである。
【００４７】
ここで、赤外線照射推定量ΣＡの算出方法について述べれば、赤外線取込撮像条件にて生成された撮像信号ＲＧＢＩｘｙ、及び、赤外線照射撮像条件にて生成された撮像信号ＲＧＢＩＡｘｙを夫々積分して、その積分値の差分Δが赤外線照射推定量ΣＡであって、
ΣＡ＝∬（ＲＧＢＩＡｘｙ）ｄｘｄｙ−∬（ＲＧＢＩｘｙ）ｄｘｄｙ
＝Σ（ＲＧＢＩＡ）−Σ（ＲＧＢＩ）
である。
【００４８】
次に、前記赤外線照射基準レベルについて述べる。この赤外線照射基準レベルは、図２で示されたＬＶ１、ＬＶ２である。このＬＶ１、ＬＶ２は、前述した赤外線照射推定量ΣＡと、撮像信号ＲＧＢＩｘｙ（赤外線取込撮像条件）の信号レベルと、に基づいて赤外線が照射された被写体と想定される信号レベルの基準であって、ここではＬＶ１を高照射基準レベル、ＬＶ２を低照射基準レベルとする。尚、低照射基準レベルＬＶ２を省略して回路の簡素化、高速化を図っても良い。
【００４９】
ここで、高照射基準レベルＬＶ１、及び、低照射基準レベルＬＶ２の具体的な算出方法の一例を示せば、赤外線照射推定量ΣＡが十分に大きい照射量であるならば、
ΣＡ＞＞Σ（ＲＧＢＩ）
であるので、
ＬＶ１≧ＭＡＸ（ＲＧＢＩｘｙ）
となるように高照射基準レベルＬＶ１を算出する。ＭＡＸ（ＲＧＢＩｘｙ）は、各色の信号レベルの中で最も大きい信号レベルの値（例えば、後で説明する図７に示される照射基準レベル）である。
【００５０】
また、撮像信号ＲＧＢＩＡｘｙのｘｙ座標の中から、高照射基準レベルＬＶ１以上の値を満たすｘｙ座標をＬＶ１ｘｙとすれば、このＬＶ１ｘｙは、ｘｙ座標上にあるＬＶ１、または、０の２値から成る関数であって、
ΣＡ≧ΣＬＶ１＝∬（ＬＶ１ｘｙ）ｄｘｄｙ
が成り立つ。
【００５１】
ここで、高照射基準レベルＬＶ１が大き過ぎると、高照射基準レベルＬＶ１以上の値を満たすｘｙ座標が減ってしまって、その結果、ΣＬＶ１は小さくなる。また、高照射基準レベルＬＶ１が小さ過ぎてもｘｙ座標には限りがあるので、ΣＬＶ１は小さくなるのである。したがって、この高照射基準レベルＬＶ１の値については、赤外線照射推定量ΣＡを超えない範囲内で、ΣＬＶ１が最大となるような値にすれば良い。
【００５２】
例えば、高照射基準レベルＬＶ１は、ＲＧＢＩｘｙ信号の各色信号の中で最も大きい信号レベルの値（例えば、後で説明する図７に示される照射基準レベル）を高照射基準レベルＬＶ１とする。
【００５３】
ＬＶ１＝ＭＡＸ（ＲＧＢＩｘｙ）
または、これにマージンＣ１を設けて、
ＬＶ１＝ＭＡＸ（ＲＧＢＩｘｙ）＋Ｃ１
とする。
【００５４】
または、回路規模が大きくなってしまうが、より高精度に高照射基準レベルＬＶ１を設定するには、上記したようにΣＬＶ１が最大になるような高照射基準レベルＬＶ１を算出すればよい。この場合、高照射基準レベルＬＶ１の設定と、ΣＬＶ１の演算結果との関係は、図４Ａに示されるように、「２次曲線に近似」できる関係であって、その最大値が適正な高照射基準レベルＬＶ１の解の一例となる。
【００５５】
或いは、後述する低照射基準レベルＬＶ２への配分を考慮して、ΣＬＶ１の最大値から所定の割合を差し引いた値となるような高照射基準レベルＬＶ１を設定するようにしても良い。所定の割合は、例えば、６０〜９０％の割合（固定値）にする。
【００５６】
この高照射基準レベルＬＶ１の値を決める際に、前述したＭＡＸ（ＲＧＢＩｘｙ）を考慮し、ＬＶ１＝ＭＡＸ（ＲＧＢＩｘｙ）、あるいは、ＬＶ１＝ＭＡＸ（ＲＧＢＩｘｙ）＋Ｃ１とした方が、近似２次曲線の最大値を求める手法と比べて演算回路が小規模になって演算の高速化が図れる。または、被写体によっては、赤外線照射推定量ΣＡが十分に大きい照射量であるとは限らないとするならば、このＭＡＸ（ＲＧＢＩｘｙ）を考慮しない方が良い場合もある。
【００５７】
ここで、赤外線照射は全ての被写体に対して高照射基準レベルＬＶ１にて一様に照射されるわけではなく、被写体によっては低照射基準レベルＬＶ２にて照射されているはずであるので、
ΣＡ≒ΣＬＶ１＋ΣＬＶ２
である。
【００５８】
したがって、低照射基準レベルＬＶ２の値については、
ΣＬＶ２≒ΣＡ−ΣＬＶ１
を満たすような値にすれば良いのである。
【００５９】
ここで、
ΣＬＶ２＝∬（ＬＶ２ｘｙ）ｄｘｄｙ
である。
【００６０】
例えば、ΣＬＶ２≒ΣＡ−ΣＬＶ１において、低照射基準レベルＬＶ２の設定と、ΣＬＶ２の演算結果の関係は、図４Ｂに示されるように、「２次曲線に近似」できる関係であって、その最大値が適正な低照射基準レベルＬＶ２の解の一例となる。
【００６１】
但し、高照射基準レベルＬＶ１のグラフ（図４Ａ）と比べて、低照射基準レベルＬＶ２のグラフはその最大値がぼやけることがあるので、低照射基準レベルＬＶ２のグラフがその最大値が明確にならない程度になだらかな特性であった場合には、低照射基準レベルＬＶ２の設定を回避、すなわち高照射基準レベルＬＶ１のみ設定するようにする。
【００６２】
尚、ここでは照射基準レベルとして高照射基準レベルＬＶ１、低照射基準レベルＬＶ２の２つを設定しているが、照射基準レベルＬＶ３、ＬＶ４を更に設けるようにしても良い。
【００６３】
図５は、可視光撮像条件にて生成された撮像信号の一例を示すグラフである。
【００６４】
図５に於いて、このグラフは、破線にて示される最低被写体照度付近にて可視光撮像条件にて撮像して生成された撮像信号が示されており、白色被写体と、０（ｌｕｘ）の白色被写体と、赤色被写体とが撮像されていることが示されている。また、この可視光撮像条件下にて、前述した被写体の色の偏りΣＲ：ΣＧ：ΣＢ（可視光色毎比）が取得される。
【００６５】
図６は、赤外線取込撮像条件にて生成された撮像信号の一例を示すグラフである。
【００６６】
図６に於いて、このグラフは、図５に於ける被写体と少なくとも同一シーンの被写体に対して、赤外線カットフィルタ４を退出させた赤外線取込撮像条件にて撮像して生成された撮像信号が示されている。
【００６７】
図６に示されるように、斜線で示される可視光成分による撮像信号と、黒塗りで示される被写体光源の赤外線成分による撮像信号とは、混合されて光電変換されているのである。また、この被写体光源の赤外線成分は本来の色を有さない成分であるので、被写体の本来の色とは関係なしに取り込まれているのである。
【００６８】
図７は、赤外線照射撮像条件にて生成された撮像信号の一例を示すグラフである。
【００６９】
図７に於いて、このグラフは、図６に於ける被写体と少なくとも同一シーンの被写体に対して、更に赤外線を照射した赤外線照射撮像条件にて撮像して生成された撮像信号が示されている。
【００７０】
また、図７に於いて、赤外線発光ダイオード２から照射される赤外線を被写体が反射して、その反射を撮像することで得られる、白抜きで示される赤外線照射成分については、隣接されたＲＧＢ各色毎に於いて、ΣｒＡ≒ΣｇＡ≒ΣｂＡであることが示されている。
【００７１】
尚、イメージセンサ６がベイヤ配列による単板のカラーフィルタ仕様である場合等に於いては、ＲＧＢ各色毎の平面位相が揃っていないので、例えば、バイキュービック補間等にてリサンプリング処理（図示なし）を施して、予めＲＧＢ各色毎の平面位相を揃えておいても良い。
【００７２】
また、この赤外線は被写体全体に一様に照射されるとも限らず、赤外線が殆ど照射されない被写体もあることが図７にて示されている。何故ならば、被写体に照射される赤外線の量は、赤外線発光ダイオード２と被写体との距離の２乗に反比例するからである。
【００７３】
図７の実線で示される照射基準レベルは、赤外線照射成分解析部１１にて、赤外線照射推定量ΣＡと、図６で示された白色被写体の赤外線取込撮像条件時の撮像信号ＲＧＢＩｘｙの信号レベルと、に基づいて赤外線が照射された被写体と想定される基準として算出される信号レベルである。
【００７４】
図８は、図７で示された撮像信号を赤外線照射成分撮像信号Ａと非照射成分撮像信号（Ｒ，Ｇ，Ｂ）とに分離した後、ＲＧＢ各色毎に対してホワイトバランス、及び／または、色の整合を取って色整合撮像信号ｃ（Ｒ，Ｇ，Ｂ）が生成される様子の一例が示されたグラフである。
【００７５】
図８に於いて、このグラフは、図７で示された照射基準レベルより大きな信号レベルである撮像信号については、その照射基準レベルを赤外線照射成分撮像信号Ａとして分離した様子が示されている。また、図７で示された照射基準レベルより小さな信号レベルである撮像信号については、赤外線照射成分撮像信号Ａがないことが示されている。
【００７６】
図８に示されるように、赤外線が照射された被写体と想定される白色被写体については良好な色再現が得られることがわかる。これは、図７で示された撮像信号に於ける被写体が、例えば、夕日の差し込む室内で、且つ、赤外線発光ダイオード２が照射する赤外線の照射範囲が広かった場合による撮像であったために、赤外線が照射された被写体と想定される白色被写体が色の整合に対して支配的になったためである。
【００７７】
しかしながら、被写体の条件によっては、どういった被写体群が全体の被写体の色の整合に対して支配的になるのかは変わってしまうのであって、全ての被写体条件に対して図８で示されるようなグラフになるわけではなく、図８はあくまでも一例である。
【００７８】
図８の場合、赤外線が殆ど照射されない白色被写体については、やや青味に欠け、つまり、やや黄ばんだ白色になることが示されている。また、赤外線取込撮像時に０（ｌｕｘ）である白色被写体に対して赤外線が照射された場合には、やや青味掛かった白色になることが示されている。
【００７９】
更に、赤色被写体に赤外線が照射された場合には、赤色の赤外線反射率が白色に比べると低いために照射基準レベルから漏れて、赤外線照射成分撮像信号Ａの分離に失敗していることが示されている。その結果、この赤色被写体は、やや彩度が失われて青味掛かっていることが示されている。
【００８０】
これについて補足説明すれば、赤外線発光ダイオード２による赤外線の照射のように、波長が約８００〜９００（ｎｍ）を主成分としている場合には、赤外線照射時による被写体の反射率の特性が可視光時による反射率の特性にわりと近いので、この可視光時の反射率特性と同様にて、赤色の赤外線反射率が白色の赤外線反射率よりも劣るのである。
【００８１】
尚、図７で示された照射基準レベルは、図２で示された赤外線照射成分解析部１１による解析値、高照射基準レベルＬＶ１、低照射基準レベルＬＶ２、及び、赤外線照射推定量ΣＡに基づいて、赤外線照射成分分離部８にて撮像フレーム毎に於けるＲＧＢＩＡｘｙに照らし合わされて、毎フレーム作成されて設定される。但し、解析値、高照射基準レベルＬＶ１、低照射基準レベルＬＶ２、及び、赤外線照射推定量ΣＡについては、赤外線照射撮像条件前の段階にて既に得られるべき解析値であって、仮に同一シーンであるのならば撮像フレーム毎に固定値である。
【００８２】
そして、図８で示されたように、（Ｒ，Ｇ，Ｂ）による３チャンネル信号から、（Ａ，Ｒ，Ｇ，Ｂ）による４チャンネルに信号が分離されて増設されるのは、図２で示された赤外線照射成分分離部８によって為される。
【００８３】
また、図８で示された（Ａ，Ｒ，Ｇ，Ｂ）による４チャンネルの信号は、赤外線照射成分撮像信号［Ａｘｙ］と、非照射成分撮像信号［ＲＧＢＩｘｙ］と、の２系統に分離された後、この非照射成分撮像信号［ＲＧＢＩｘｙ］については、図２で示された色バランス整合部９によって色整合撮像信号ｃ［ＲＧＢＩｘｙ］が生成される。この色バランスが整合された様子が図８の破線によっても示されている。
【００８４】
図９は、赤外線照射撮像条件にて生成された撮像信号と、高照射基準レベルＬＶ１と、低照射基準レベルＬＶ２と、の関係の一例を示すグラフである。
【００８５】
図９に於いて、このグラフは、赤外線照射の照射距離が５ｍの白色被写体と、照射距離１０ｍの白色被写体と、照射距離５ｍで赤外線取込撮像時に０（ｌｕｘ）の白色被写体と、照射距離５ｍの赤色被写体と、の夫々に於ける撮像信号の一例が示されている。
【００８６】
図９で示される高照射基準レベルＬＶ１は、赤外線照射成分解析部１１にて、赤外線照射推定量ΣＡと、この白色被写体の赤外線取込撮像条件時による撮像信号ＲＧＢＩｘｙよりも高い信号レベルの基準と、に基づいて赤外線が高照射された被写体と想定される信号レベルである。
【００８７】
図９で示される低照射基準レベルＬＶ２は、赤外線照射成分解析部１１にて、赤外線照射推定量ΣＡと、図６で示された白色被写体の赤外線取込撮像条件時の撮像信号ＲＧＢＩｘｙよりも低い信号レベルの基準と、に基づいて赤外線が低照射、及び／または、低反射された被写体と想定される信号レベルである。
【００８８】
図９に示されるように、赤外線照射の照射距離が５ｍの白色被写体についての撮像信号は、高照射基準レベルＬＶ１以上の撮像信号として抽出される。また、照射距離１０ｍの白色被写体についての撮像信号は、低照射基準レベルＬＶ２の撮像信号として抽出される。このように、赤外線の照射距離が２倍になると、赤外線照射の量は約１／４になるのである。
【００８９】
図９に示されるように、照射距離５ｍで赤外線取込撮像時に０（ｌｕｘ）の白色被写体についての撮像信号は、高照射基準レベルＬＶ１以上の撮像信号として抽出される。また、照射距離５ｍの赤色被写体についての撮像信号は、低照射基準レベルＬＶ２の撮像信号として抽出される。
【００９０】
この赤色被写体の照射距離は５ｍであるので、本来ならば高照射なのであるが、赤色の反射率が白色の反射率と比べて低くなるので、この低反射の被写体が低照射の被写体と区別されないことが示されている。
【００９１】
図１０は、図９で示された撮像信号を赤外線照射成分撮像信号Ａと非照射成分撮像信号（Ｒ，Ｇ，Ｂ）とに分離した後、ＲＧＢ各色毎に対してホワイトバランス、及び／または、色の整合を取って、色整合撮像信号ｃ（Ｒ，Ｇ，Ｂ）が生成された様子の一例が示されたグラフである。
【００９２】
図１０に於いて、このグラフは、図９で示された高照射基準レベルＬＶ１、または、低照射基準レベルＬＶ２に基づいて、この照射基準レベルに相当する信号が赤外線照射成分撮像信号Ａとして分離されている様子が示されている。
【００９３】
図１０に示されるように、低照射基準レベルＬＶ２に基づく赤外線照射成分撮像信号Ａの分離が為されることで、図８で示された赤色被写体よりも図１０で示される赤色被写体の方が赤色の色再現が向上していることが示されているのである。
【００９４】
尚、低照射基準レベルＬＶ２未満の撮像信号（図示なし）については、赤外線が照射していないか、または、赤外線が反射していない被写体であるので、赤外線照射成分撮像信号Ａは黒レベルとして出力される。但し、この場合に於いて、非照射成分撮像信号（Ｒ，Ｇ，Ｂ）が必ずしも黒レベルとして出力されるとは限らない。例えば、遠方に位置し、且つ、輝度を有するような被写体であるならば、この非照射成分撮像信号（Ｒ，Ｇ，Ｂ）は黒レベルではない。
【００９５】
このようにして、前述してきた手法にて、赤外線照射撮像信号ＲＧＢＩＡｘｙを赤外線照射成分撮像信号［Ａｘｙ］と、非照射成分撮像信号［ＲＧＢＩｘｙ］と、に分離することによって、この赤外線照射成分撮像信号［Ａｘｙ］の積分値Σ［Ａ］と、赤外線照射推定量ΣＡと、を略一致させることができるのである。
【００９６】
また、図１０にて黒塗りで示される被写体光源（例えば、夕日等）の赤外線成分による撮像信号は色再現性を劣化させる要素成分であるが、可視光撮像条件下にて取得された被写体の色の偏りΣＲ：ΣＧ：ΣＢ（可視光色毎比）に基づいて色の整合を取ることで、色再現性を改善させる効果があるのである。
【００９７】
前述してきたように、本発明による赤外線照射成分分離部８は、赤外線照射成分解析部１１による解析値、高照射基準レベルＬＶ１、低照射基準レベルＬＶ２、及び、赤外線照射推定量ΣＡに基づいて、赤外線照射撮像信号ＲＧＢＩＡｘｙを赤外線照射成分撮像信号［Ａｘｙ］と、非照射成分撮像信号［ＲＧＢＩｘｙ］と、に分離する手法である。
【００９８】
換言すれば、複数の画像を合成して得る画像ではなく、基準信号レベルを根拠にして１フレームの撮像画像を演算する手法であるので、可視光撮像条件と赤外線照射撮像条件とで夫々撮像された画像を単に合成するような手法と比べて、フレーム間での画像ブレが気にならないという利点があるのである。
【００９９】
但し、赤外線照射撮像条件時の被写体、及び、光源環境が、可視光撮像条件時、及び／または、赤外線取込撮像条件時とで大きく異なる場合に於いては、或いは、大きく変化した場合に於いては、解析値、高照射基準レベルＬＶ１、低照射基準レベルＬＶ２、及び、赤外線照射推定量ΣＡを再取得するために、あらためて可視光撮像条件、赤外線取込撮像条件を撮り直す必要がある。
【０１００】
ここで、赤外線照射撮像信号ＲＧＢＩＡｘｙを赤外線照射成分撮像信号［Ａｘｙ］と、非照射成分撮像信号［ＲＧＢＩｘｙ］と、に分離する際についての補足事項について述べる。
【０１０１】
被写体に対して赤外線の照射が所定以上に高照射で、且つ、一様である場合であっても、その被写体が高反射と低反射とがナイキスト周波数にて繰り返されるような被写体（例えば、網戸の網目、細かい柄のネクタイ、モアレチャートなどのような、輝度高周波成分を有する被写体）であった場合には、前述してきたような隣接されたＲＧＢ各色毎に於いて、必ずしもΣｒＡ≒ΣｇＡ≒ΣｂＡとはならないような場合があることが懸念される。
【０１０２】
この問題点については、前述したようなＲＧＢ各色毎の位相を予め揃えるリサンプリング処理（図示なし）にて解決されるような問題ではないのである。
【０１０３】
こうした問題点に鑑みれば、照射基準レベルで抽出された撮像信号（抽出信号）に対して、少なくともこのナイキスト周波数が１／２以下となるようなカットオフ周波数を有するローパスフィルタ（図示なし）を施す必要がある。
【０１０４】
つまり、このローパスフィルタによって、ΣｒＡ≒ΣｇＡ≒ΣｂＡと略みなせるようになれば良いのである。このローパスフィルタには、例えば、デジタル演算フィルタ、及び／または、光学ローパスフィルタ等がある。
【０１０５】
図１１は、図２で示された赤外線照射式撮像装置１に、ホワイトバランス処理部１２を更に具備した構成を示すブロック図である。
【０１０６】
図１１に於いて、この赤外線照射式撮像装置１は、図２で示された赤外線照射式撮像装置１の構成と、ホワイトバランス処理部１２（ホワイトバランス処理手段）と、より構成されている。
【０１０７】
前記ホワイトバランス処理部１２は、可視光撮像条件にて生成された撮像信号ＲＧＢｘｙにホワイトバランスを施し、ホワイトバランス撮像信号ｗＲＧＢｘｙを生成するものである。
【０１０８】
このホワイトバランスには、黒体軌跡を根拠にして暫定的にホワイト抽出をする手法や、光源判別によってプリセットデータの選択をする手法、または、白い被写体を仮設してその白い被写体に対してホワイトバランスを取る手法等がある。
【０１０９】
図１１で示された赤外線照射式撮像装置１は、前述した非照射成分撮像信号［ＲＧＢＩｘｙ］の色バランスについて、このホワイトバランス撮像信号ｗＲＧＢｘｙをＲＧＢ各色毎に積分した比率である可視光色毎比ΣＲ：ΣＧ：ΣＢに基づいて整合されるようにしたものである。
【０１１０】
また、図１１によれば、この赤外線照射式撮像装置１を単なる可視光撮像装置として用いるのであれば、図１１に示されるように、ホワイトバランス撮像信号ｗＲＧＢｘｙを画像処理部１０に入力すれば良い。
【０１１１】
この場合に於いては、このホワイトバランス撮像信号ｗＲＧＢｘｙについては、色整合撮像信号ｃ［ＲＧＢＩｘｙ］と同様な画像処理が施されれば良いので、新たに２つ目の画像処理回路を設ける必要は必ずしもないのである。
【０１１２】
尚、この場合は、赤外線照射成分撮像信号［Ａｘｙ］について、
［Ａｘｙ］＝（ＯＦＦＳＥＴ）
に固定すれば良い。
【０１１３】
前述してきたように、本発明の実施形態による赤外線照射式撮像装置１によれば、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、良好な色再現性が得られるという作用効果がある。
【０１１４】
また、本発明の実施形態による赤外線照射式撮像装置１によれば、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、その被写体に色の偏りがある場合であったとしても、良好な色再現性が得られるという作用効果がある。
【０１１５】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
更に、前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【０１１６】
【図１】本発明の実施形態による赤外線照射式撮像装置１の基本構成を示すブロック図である。
【図２】図１で示された赤外線照射式撮像装置１に、赤外線照射成分解析部１１を更に具備した構成を示すブロック図である。
【図３】赤外線カットフィルタ４を退出させて撮像する場合に於ける、一般的なＲＧＢ分光感度特性の一例を示すグラフである。
【図４Ａ】高照射基準レベルＬＶ１の設定と、ΣＬＶ１の演算結果の関係を示したグラフである。
【図４Ｂ】低照射基準レベルＬＶ２の設定と、ΣＬＶ２の演算結果の関係を示したグラフである。
【図５】可視光撮像条件にて生成された撮像信号の一例を示すグラフである。
【図６】赤外線取込撮像条件にて生成された撮像信号の一例を示すグラフである。
【図７】赤外線照射撮像条件にて生成された撮像信号の一例を示すグラフである。
【図８】図７で示された撮像信号を赤外線照射成分撮像信号Ａと非照射成分撮像信号（Ｒ，Ｇ，Ｂ）とに分離した後、ＲＧＢ各色毎に対してホワイトバランス、及び／または、色の整合を取って色整合撮像信号ｃ（Ｒ，Ｇ，Ｂ）が生成される様子の一例が示されたグラフである。
【図９】赤外線照射撮像条件にて生成された撮像信号と、高照射基準レベルと、低照射基準レベルと、の関係の一例を示すグラフである。
【図１０】図９で示された撮像信号を赤外線照射成分撮像信号Ａと非照射成分撮像信号（Ｒ，Ｇ，Ｂ）とに分離した後、ＲＧＢ各色毎に対してホワイトバランス、及び／または、色の整合を取って、色整合撮像信号ｃ（Ｒ，Ｇ，Ｂ）が生成された様子の一例が示されたグラフである。
【図１１】図２で示された赤外線照射式撮像装置１に、ホワイトバランス処理部１２を更に具備した構成を示すブロック図である。
【符号の説明】
【０１１７】
１    赤外線照射式撮像装置
２    赤外線発光ダイオード（赤外線照射手段）
３    レンズ（光学手段）
４    赤外線カットフィルタ
５    撮像条件制御部（撮像条件制御手段）
６    イメージセンサ（撮像手段）
７    撮像信号分岐回路
８    赤外線照射成分分離部（赤外線照射成分分離手段）
９    色バランス整合部（色バランス整合手段）
１０  画像処理部（画像処理手段）
１１  赤外線照射成分解析部（赤外線照射成分解析手段）
１２  ホワイトバランス処理部（ホワイトバランス処理手段）
【図１】
2010154169.tif 000003
【図２】
2010154169.tif 000004
【図３】
2010154169.tif 000005
【図４Ａ】
2010154169.tif 000006
【図４Ｂ】
2010154169.tif 000007
【図５】
2010154169.tif 000008
【図６】
2010154169.tif 000009
【図７】
2010154169.tif 000010
【図８】
2010154169.tif 000011
【図９】
2010154169.tif 000012
【図１０】
2010154169.tif 000013
【図１１】
2010154169.tif 000014