(57)【要約】【課題】赤外線照射式撮像装置において色再現性の高いカラー画像を得られるようにする。【解決手段】赤外線照射撮像条件で合焦点の距離（フォーカス）を調節し、この合焦点の距離を固定して用いて可視光撮像条件にて撮像する。可視光撮像条件では被写体２のホワイトバランス及び可視光色毎比を取得する。そして、再び赤外線照射撮像条件に戻して、生成された撮像信号を赤外線成分撮像信号と可視光成分撮像信号とに分離し、この可視光成分撮像信号に可視光色毎比に基づいて色の整合をして色整合撮像信号を生成する。この色整合撮像信号と赤外線成分撮像信号とに画像処理を施して色再現性の良いカラー画像信号を生成する。【選択図】図１
2010161460.tif 000002
【特許請求の範囲】
【請求項１】
被写体に赤外線を照射する赤外線照射手段と、
前記被写体を合焦させて光学像を生成する合焦光学手段と、
前記合焦光学手段の光路上に対して進退可能な構造であって、前記光学像に含まれる赤外線を遮断して、可視光から成る前記光学像を生成するための赤外線カットフィルタと、
前記被写体に前記赤外線を照射させないで前記光路上に対して前記赤外線カットフィルタを挿入させる可視光撮像条件と、前記被写体に前記赤外線を照射させて前記光路上に対して前記赤外線カットフィルタを退出させる赤外線照射撮像条件と、を夫々制御する赤外線照射制御手段と、
前記光学像を光電変換して色毎に撮像信号を生成する撮像手段と、
前記撮像信号の前記合焦を評価する合焦評価手段と、
前記合焦の評価値に基づいて、前記被写体の合焦点の距離を調節して駆動する合焦駆動手段と、
前記可視光撮像条件にて生成される前記撮像信号の前記色毎にホワイトバランスを処理し、ホワイトバランス撮像信号を生成するホワイトバランス処理手段と、
前記可視光撮像条件、及び、前記赤外線照射撮像条件にて生成される夫々の前記撮像信号の該信号量に基づいて、前記赤外線照射撮像条件にて生成される前記撮像信号を可視光成分撮像信号と、赤外線成分撮像信号と、に分離する可視光成分分離手段と、
前記ホワイトバランス撮像信号を前記色毎に積分して、該積分値の比率である可視光色毎比を算出して記憶し、該可視光色毎比に基づいて前記可視光成分撮像信号の色バランスを整合させて色整合撮像信号を生成する色バランス整合手段と、
前記色整合撮像信号と、前記赤外線成分撮像信号と、に画像処理を施してカラー画像信号を生成する画像処理手段と、
を具備し、
前記可視光撮像条件時の前記合焦点の距離は、前記赤外線照射撮像条件にて調節された前記合焦点の距離が用いられる
ことを特徴とする赤外線照射式撮像装置。
【請求項２】
前記カラー画像信号を記録する画像記録手段と、
第１段階と第２段階との２回に分けて操作するための２段階操作手段と、
を更に具備し、
前記第２段階の操作は、前記第１段階の操作による制御が完了するまで操作不能であり、
前記第１段階に操作されると、
前記赤外線照射撮像条件にて前記合焦点の距離が調節され、該調節後、
前記赤外線照射撮像条件による前記合焦点の距離を固定したままに、前記可視光撮像条件に制御が切り換わり、
前記可視光撮像条件にて前記可視光色毎比の算出が為された後、再び前記赤外線撮像条件に制御が切り換わって、前記合焦点の距離の固定が解除され、前記第２段階の操作が可能となり、
前記第２段階に操作されると、
前記カラー画像信号が記録される
ことを特徴とする請求項１に記載の赤外線照射式撮像装置。
【請求項３】
前記２段階操作手段は、
前記第２段階の操作が可能となった後、
前記可視光成分撮像信号の色バランスが所定レベル以上に変化した場合、
前記第２段階の操作は再び操作不能となる
ことを特徴とする請求項２に記載の赤外線照射式撮像装置。
【請求項４】
前記２段階操作手段は、半押し操作と、全押し操作との操作が可能である操作釦であって、
前記第１段階の操作とは前記操作釦に対する前記半押し操作であり、
前記第２段階の操作とは前記操作釦に対する前記全押し操作であり、
前記２段階操作手段は、前記全押し操作を機械的に操作不能にする機構を備えている
ことを特徴とする請求項３に記載の赤外線照射式撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低照度下の被写体に対して、赤外線を照射して撮像が可能である赤外線照射式撮像装置に関するものである。
【背景技術】
【０００２】
ＣＣＤやＭＯＳ型センサ等の撮像素子（イメージセンサ）の分光感度特性は、人間の目と異なり、可視光成分だけでなく赤外線成分に対しても感度を有しているため、デジタルスチルカメラ、ムービーカメラ、医療用カメラ等の撮像装置では、この撮像素子の前面に赤外線カットフィルタを配置して可視光のみを受光するようにしている。
【０００３】
このような撮像装置では、赤外線カットフィルタを外して赤外線成分も受光するようにすれば、撮像素子に入射する光量が増大し、低照度下においても被写体を明るく撮像することが可能となる。しかしながら、赤外線の波長は人間の目で感知できない波長領域にあって、赤外線には本来の色情報がないので、赤外線成分を含んだ撮像画像はホワイトバランスが著しく劣化してしまう。そのために、通常の赤外線照射式撮像装置では、赤外線成分を含んだ撮像信号は輝度信号として扱われて、モノクロ画像が生成される。
【０００４】
近年、このような撮像装置を用いて、モノクロ画像ではなく実際の見た目に近いカラー画像を生成できるようにすることが市場から要求されている。
【０００５】
特許文献１には、赤外線カットフィルタが外部位置に配置されている場合には（ナイトショット撮影時には）、赤外成分を考慮した黒体カーブデータＬＢが読み出されて黒体カーブ制御が行われる。或いは、映像信号Ｒ，Ｇ，Ｂの比が１になるようにグレーワールド制御が行われる。これにより、撮影状況に応じて、最適なホワイトバランス制御が行われるとの記載がある。
【特許文献１】特開２００５−１３０３１７公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前者の赤外成分を考慮した黒体カーブデータＬＢによる黒体カーブ制御は、可視光量と赤外線量との比率、及び／または、差分が不明であるままに、赤外線カットフィルタの配置によって黒体カーブデータＬＡ、ＬＢが選択されるので、この黒体カーブの最適化が為されていない。
【０００７】
また、後者のグレーワールド制御は、被写体の色に偏りがないことを前提とした制御であるため、被写体の色に偏りがある場合はホワイトバランスを適切に処理させることができない。
【０００８】
本発明は、これらの技術的課題に鑑みてなされたものであって、赤外線を照射することで低照度下の被写体を明るく撮像することを可能にする赤外線照射式撮像装置において、ホワイトバランスを適切に処理させ、色再現性の高いカラー画像を得られるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
赤外線照射式撮像装置において、被写体に赤外線を照射する赤外線照射手段と、被写体を合焦させて光学像を生成する合焦光学手段と、合焦光学手段の光路上に対して進退可能な構造であって、光学像に含まれる赤外線を遮断して、可視光から成る光学像を生成するための赤外線カットフィルタと、被写体に赤外線を照射させないで光路上に対して赤外線カットフィルタを挿入させる可視光撮像条件と、被写体に赤外線を照射させて光路上に対して赤外線カットフィルタを退出させる赤外線照射撮像条件と、を夫々制御する赤外線照射制御手段と、光学像を光電変換して色毎に撮像信号を生成する撮像手段と、撮像信号の合焦を評価する合焦評価手段と、合焦の評価値に基づいて、被写体の合焦点の距離を調節して駆動する合焦駆動手段と、可視光撮像条件にて生成される撮像信号の色毎にホワイトバランスを処理し、ホワイトバランス撮像信号を生成するホワイトバランス処理手段と、可視光撮像条件、及び、赤外線照射撮像条件にて生成される夫々の撮像信号の該信号量に基づいて、赤外線照射撮像条件にて生成される撮像信号を可視光成分撮像信号と、赤外線成分撮像信号と、に分離する可視光成分分離手段と、ホワイトバランス撮像信号を色毎に積分して、該積分値の比率である可視光色毎比を算出して記憶し、該可視光色毎比に基づいて可視光成分撮像信号の色バランスを整合させて色整合撮像信号を生成する色バランス整合手段と、色整合撮像信号と、赤外線成分撮像信号と、に画像処理を施してカラー画像信号を生成する画像処理手段と、を具備し、可視光撮像条件時の合焦点の距離は、赤外線照射撮像条件にて調節された合焦点の距離が用いられる。
【発明の効果】
【００１０】
本発明によれば、低照度下の被写体に対して赤外線を照射して撮像する場合であっても、良好な色再現性が得られる効果がある。
【００１１】
また、本発明によれば、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、その被写体に色の偏りがある場合であったとしても、良好な色再現性が得られる効果がある。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【００１３】
図１は、本発明の実施形態による赤外線照射式撮像装置の構成を示すブロック図である。
【００１４】
図１に於いて、この赤外線照射式撮像装置は、赤外線発光ダイオード１（赤外線照射手段）と、フォーカスレンズ３（合焦光学手段）と、赤外線カットフィルタ５と、赤外線照射制御部７（赤外線照射制御手段）と、イメージセンサ４（撮像手段）と、合焦評価部９（合焦評価手段）と、フォーカスドライバ８（合焦駆動手段）と、ホワイトバランス処理部１０（ホワイトバランス処理手段）と、可視光成分分離部１１（可視光成分分離手段）と、色バランス整合部１２（色バランス整合手段）と、画像処理部１４（画像処理手段）と、より構成されている。
【００１５】
各構成について説明すると、赤外線発光ダイオード１は、被写体２に赤外線を照射するものである。この赤外線発光ダイオード１から射出される赤外線は、例えば、８００〜９００ｎｍを主成分とする近赤外線である。
【００１６】
フォーカスレンズ３は、被写体２を合焦させて光学像を生成するものである。
【００１７】
赤外線カットフィルタ５は、可視光成分（４００〜７００ｎｍ）を透過させ、赤外線成分（７００ｎｍ以上）を遮断または減光させる特性を有する光学フィルタである。また、この赤外線カットフィルタ５は、フォーカスレンズ３の光路上に対して進退可能な構造であって、光学像に含まれる赤外線を遮断または減光させて、可視光から成る光学像を生成するものである。
【００１８】
イメージセンサ４は、可視光成分と赤外線成分との両成分に対して感度を有するＣＣＤまたはＭＯＳ型イメージセンサ等である。このイメージセンサ４の撮像面にはＲＧＢ色毎のカラーフィルタや、オンチップレンズが備えられる。レンズ群３を介して被写体２の光学像がこのイメージセンサ４の撮像面に入力されると、その光学像をＲＧＢ色毎に光電変換して、可視光撮像条件による撮像信号ＲＧＢｘｙ、または、赤外線照射撮像条件による撮像信号ＲＧＢＡｘｙを生成する。
【００１９】
赤外線照射制御部７は、赤外線発光ダイオード１、赤外線カットフィルタ５、合焦評価部９を制御する制御部である。この赤外線照射制御部７は、被写体２に赤外線を照射させないで光路上に対して赤外線カットフィルタ５を挿入させる可視光撮像条件と、被写体２に赤外線を照射させて光路上に対して赤外線カットフィルタ５を退出させる赤外線照射撮像条件と、を夫々制御するものである。
【００２０】
合焦評価部９は、撮像信号ＲＧＢＡｘｙの合焦を評価するものである。フォーカスドライバ８は、この合焦の評価値に基づいて、被写体２の合焦点の距離を調節して駆動するものである。
【００２１】
ここで、この合焦評価部９は、撮像信号ＲＧＢｘｙの合焦を評価しなくても良い。何故ならば、イメージセンサ４の撮像面から被写体２の合焦点に至るまでの距離には波長依存性があって、例え、同一被写体を撮像する場合であったとしても撮像信号ＲＧＢｘｙの合焦点の距離と、撮像信号ＲＧＢＡｘｙの合焦点の距離とは、光学的な距離が異なるからである。
【００２２】
また、被写体２に於いて、注目被写体の前にスモッグ（霧など）が被さっていた場合などでは、撮像信号ＲＧＢｘｙではスモッグが合焦点となり、撮像信号ＲＧＢＡｘｙでは注目被写体が合焦点となってしまう場合などもある。この場合は、合焦点の距離の光学的な距離が異なるだけではなく、被写体２までの物理的距離も異なることになる。こうした場合に於いても、注目被写体に合焦する撮像信号ＲＧＢＡｘｙを被写体２の合焦点の距離にしたい。
【００２３】
先ず、赤外線照射制御部７によって赤外線照射撮像条件が制御され、この赤外線照射撮像条件にてイメージセンサから撮像信号ＲＧＢＡｘｙが生成される。この撮像信号ＲＧＢＡｘｙは合焦評価部９に出力され、撮像信号ＲＧＢＡｘｙの合焦の度合いが定量的に評価される。
【００２４】
フォーカスドライバ８は、この撮像信号ＲＧＢＡｘｙに対する合焦の評価値に基づいてフォーカスレンズ３を駆動し、被写体２に対する合焦点の距離を調節する。そして、ここで調節された合焦点の距離に一旦は固定する。
【００２５】
次に、赤外線照射制御部７によって可視光撮像条件が制御され、この可視光撮像条件にてイメージセンサから撮像信号ＲＧＢｘｙが生成される。この撮像信号ＲＧＢｘｙがホワイトバランス処理部１０と可視光成分分離部１１とに出力された後、フォーカスドライバ８は合焦点の距離の固定を解除する。
【００２６】
そして、再び赤外線照射制御部７によって赤外線照射撮像条件が制御され、赤外線照射撮像条件にてイメージセンサから撮像信号ＲＧＢＡｘｙが生成される。この撮像信号ＲＧＢＡｘｙは合焦評価部９に出力され、撮像信号ＲＧＢＡｘｙの合焦の度合いが定量的に評価される。フォーカスドライバ８は、撮像信号ＲＧＢＡｘｙに対する合焦の評価値に基づいてフォーカスレンズ３を駆動し、被写体２に対する合焦点の距離を再調節する。この撮像信号ＲＧＢＡｘｙは、合焦評価部９の他に、可視光成分分離部１１に対して出力される。
【００２７】
可視光成分分離部１１は、可視光撮像条件によって得られた撮像信号ＲＧＢｘｙと、赤外線照射撮像条件によって得られた撮像信号ＲＧＢＡｘｙと、の夫々の信号量の比率、及び／または、差分に基づいて、撮像信号ＲＧＢＡｘｙを可視光成分撮像信号［ＲＧＢｘｙ］と赤外線成分撮像信号［Ａｘｙ］とに分離する。そして、可視光成分撮像信号［ＲＧＢｘｙ］は色バランス整合部１２に出力され、赤外線成分撮像信号［Ａｘｙ］は画像処理部１４に出力される。
【００２８】
ホワイトバランス処理部１０は、可視光撮像条件にて生成される撮像信号ＲＧＢｘｙのＲＧＢ各色毎にホワイトバランスを処理し、ホワイトバランス撮像信号ｗＲＧＢｘｙを生成する。このホワイトバランス撮像信号ｗＲＧＢｘｙは色バランス整合部１２に出力される。
【００２９】
色バランス整合部１２は、ホワイトバランス撮像信号ｗＲＧＢｘｙをＲＧＢ各色毎に積分して、この積分値の比率である可視光色毎比（ΣＲ：ΣＧ：ΣＢ）を算出して記憶し、
この可視光色毎比に基づいて可視光成分撮像信号［ＲＧＢｘｙ］の色バランスを整合させて色整合撮像信号ｃ［ＲＧＢｘｙ］を生成する。
【００３０】
ここで、色バランスの整合方法の一例について説明する。
【００３１】
前述したホワイトバランス撮像信号ｗＲＧＢｘｙをＲＧＢ各色毎に夫々ｘｙ平面積分をすれば、
ΣＲ＝∬（ｗＲｘｙ）ｄｘｄｙ
ΣＧ＝∬（ｗＧｘｙ）ｄｘｄｙ
ΣＢ＝∬（ｗＢｘｙ）ｄｘｄｙ
である。
【００３２】
このようにして得られたΣＲ、ΣＧ、ΣＢに対して、そのＲＧＢ各色毎の比率を算出す
れば可視光色毎比（ΣＲ：ΣＧ：ΣＢ）が得られ、この可視光色毎比は色バランス整合部
１２に記憶される。また、この可視光色毎比は可視光撮像条件下で得られる被写体２の色の偏りを示す解である。
【００３３】
ここで、可視光成分撮像信号［ＲＧＢｘｙ］の色バランスについては、
Σ［Ｒ］＝∬［Ｒｘｙ］ｄｘｄｙ
Σ［Ｇ］＝∬［Ｇｘｙ］ｄｘｄｙ
Σ［Ｂ］＝∬［Ｂｘｙ］ｄｘｄｙ
である。
【００３４】
この可視光成分撮像信号［ＲＧＢｘｙ］に対して、可視光色毎比にて色バランスの整合を取るには、
Ｋｒ＊Σ［Ｒ］：Ｋｇ＊Σ［Ｇ］：Ｋｂ＊Σ［Ｂ］
＝ΣＲ：ΣＧ：ΣＢ
となれば良い。
【００３５】
この色バランス（Ｋｒ，Ｋｇ，Ｋｂ）を可視光成分撮像信号［ＲＧＢｘｙ］に対して夫々乗算すれば、色整合撮像信号ｃ［ＲＧＢｘｙ］が得られるので、
ｃ［ＲＧＢｘｙ］
＝（ｃ［Ｒｘｙ］，ｃ［Ｇｘｙ］，ｃ［Ｂｘｙ］）
＝（Ｋｒ＊［Ｒｘｙ］，Ｋｇ＊［Ｇｘｙ］，Ｋｂ＊［Ｂｘｙ］）
となる。
【００３６】
色バランス整合部１２は、このようにして生成される色整合撮像信号ｃ［ＲＧＢｘｙ］を画像処理部１４に出力する。
【００３７】
このように、可視光撮像条件による撮像信号ＲＧＢｘｙの生成の目的は、この撮像信号ＲＧＢｘｙからホワイトバランス撮像信号ｗＲＧＢｘｙを生成し、ホワイトバランス撮像信号ｗＲＧＢｘｙから可視光色毎比が算出されることである。
【００３８】
つまり、撮像信号ＲＧＢｘｙは、可視光撮像条件による被写体２の色情報の取得が目的であって、合焦画像として用いられない。可視光撮像条件時に得られる可視光色毎比によって、赤外線照射撮像条件時に生成される可視光成分撮像信号［ＲＧＢｘｙ］の色バランスを整合させ、色整合撮像信号ｃ［ＲＧＢｘｙ］が生成されることで、赤外線照射撮像条件下であっても可視光撮像条件下のホワイトバランスが反映させるのである。そして、可視光撮像条件下のホワイトバランスが反映されるということは、良好な色再現性を有するカラー画像が得られるということである。
【００３９】
また、この可視光成分撮像信号［ＲＧＢｘｙ］は、赤外線照射撮像条件下で生成される撮像信号ＲＧＢＡｘｙから、撮像信号ＲＧＢｘｙ、及び、撮像信号ＲＧＢＡｘｙの夫々の信号量に基づいて演算分離されて生成される撮像信号であるので、この撮像信号ＲＧＢＡｘｙと、撮像信号ＲＧＢｘｙとは同じ合焦点の距離から生成されるべきである。故に、前述した合焦評価部９に於いて、可視光撮像条件下で生成される撮像信号ＲＧＢｘｙには、赤外線照射撮像条件にて調節された合焦点の距離が用いられる理由である。
【００４０】
画像処理部１４は、こうして得られた色整合撮像信号ｃ［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］と、に画像処理を施してカラー画像信号を生成するものである。
【００４１】
図２は、図１で示された赤外線照射式撮像装置に、２段階操作部１５と、画像記録部１６と、を更に備えた構成を示すブロック図である。
【００４２】
図２に於いて、このブロック図は、第１段階と第２段階とに分けて２回操作するための２段階操作部１５が更に具備されており、この２段階操作部１５から赤外線照射制御部７に対して半押し（第１段階）操作の信号が入力されていることが示されている。また、この２段階操作部１５に対して色バランス整合部１２から全押し（第２段階）ロック解除の信号が入力されていることが示されている。
【００４３】
先ず、この２段階操作部１５が半押し操作された時、赤外線照射制御部７は、被写体２に対して赤外線を照射し、且つ、赤外線カットフィルタ５を退出させる赤外線照射撮像条件に制御する。その後、合焦評価部９は、この赤外線照射撮像条件にて得られた撮像信号ＲＧＢＡｘｙの合焦評価をして、この評価値から得られる合焦点の距離にフォーカスドライバ８によってフォーカスレンズ３のフォーカスを固定する。
【００４４】
次に、赤外線照射制御部７は、可視光撮像条件に自動的に制御を切り換える。そして、この可視光撮像条件にて得られた撮像信号ＲＧＢｘｙに対してホワイトバランスを処理し、ホワイトバランス撮像信号ｗＲＧＢｘｙを生成した後、このホワイトバランス撮像信号ｗＲＧＢｘｙに基づいて可視光色毎比（ΣＲ：ΣＧ：ΣＢ）が算出される。
【００４５】
この可視光色毎比が算出されると、図２に示されるように、色バランス整合部１２から赤外線照射制御部７に対して算出完了の信号が送られる。また、この算出完了の信号と共に、赤外線照射制御部７は、再び自動的に、赤外線照射撮像条件に制御を切り換える。
【００４６】
ここで、可視光色毎比が未だ算出されずにいる場合であるならば、２段階操作部１５が半押し操作された状態でロック機構が作用して、全押し操作ができない機械的機構になっている。ここで、全押し操作（レリーズ）されても、可視光色毎比による色バランス整合ができないのであれば、良好な色再現性であるカラー画像が得られないからである。
【００４７】
したがって、ユーザが全押し操作可能である機械的機構になるには、可視光色毎比の算出が為され、赤外線照射撮像条件に制御が切り換えられた後の本撮像準備完了の状態であるべきなのである。この状態になって初めて、全押し操作（レリーズ）に対するロック機構が解除され、この全押し操作の操作時に画像記録部１６にてカラー画像信号の記録が開始されるのである。
【００４８】
また、２段階操作部１５の全押し操作のロック機構が解除された後に、時間の経過によって可視光成分撮像信号［ＲＧＢｘｙ］の色バランス（Ｋｒ，Ｋｇ，Ｋｂ）が所定レベル以上に変化した場合、全押し操作のロック機構が再び機能する。何故ならば、このように色バランスが大きく変化した場合というのは、撮像シーンの大きな変化が予想されるからである。この場合に於いては、被写体２の可視光色毎比を再取得しないと良好な色再現性であるカラー画像が得られない。
【００４９】
尚、本発明に於いては、全押し操作によるレリーズ操作とは、静止画像の記録操作に限らず、動画像の記録開始操作であっても良い。
【００５０】
画像記録部１６は、例えば、フラッシュメモリ、ハードディスク、光ディスク等の記憶媒体である。画像記録部１６は、画像処理部１４によって生成されたカラー画像信号を記憶するものである。
【００５１】
次に、可視光成分分離部１１について補足説明する。
【００５２】
図３は、低照度下の白色被写体を可視光撮像条件にて撮像した場合のＲＧＢ各色毎の撮像信号レベルの一例を示すグラフである。
【００５３】
また、図３は、低照度下の被写体を可視光撮像条件にて撮像した場合に於いて、白色被写体が撮像されている画素についてのＲＧＢ各色毎の撮像信号のレベルが示された一例である。
【００５４】
ここで、イメージセンサがベイヤ配列による単板のカラーフィルタ仕様である場合等に於いては、ＲＧＢ各色毎の平面位相が揃っていないので、例えば、リサンプリング処理（図示なし）を施して予めＲＧＢ各色毎の平面位相を揃えておいても良い。このリサンプリング処理は、例えば、一般的なバイキュービック補間であったり、バイリニア補間等であったりしても良い。
【００５５】
また、このリサンプリング処理を図１及び図２で示された画像処理部１４の中に備える場合に於いては、ＲＧＢ各色毎の平面位相は画素単位でずれるが、その画素ずれを略一致として信号処理する方法であっても良い。
【００５６】
図４は、低照度下の白色被写体を赤外線照射撮像条件にて撮像した場合のＲＧＢ各色毎の撮像信号レベルの一例を示すグラフである。
【００５７】
また、図４は、低照度下の被写体を赤外線照射撮像条件にて撮像した場合に於いて、この白色被写体が撮像されている画素についてのＲＧＢ各色毎の撮像信号のレベルが示された一例である。
【００５８】
図４に於いて、斜線で示されている部分は、可視光成分にて光電変換された撮像信号の信号レベルが示されており、白枠で示されている部分は、赤外線成分にて光電変換された撮像信号の信号レベルが示されている。そして、この可視光成分と赤外線成分とが混合されて撮像されていることが示されている。また、図４では、赤外線を照射して撮像することで、低照度下の被写体を撮像する場合であっても撮像信号の信号レベルが改善されていることが示されている。
【００５９】
図５は、図４で示された赤外線照射撮像条件による撮像信号が可視光成分撮像信号と、赤外線成分撮像信号と、に分離される一例を示すグラフである。
【００６０】
また、図５のグラフは、撮像信号ＲＧＢｘｙと、撮像信号ＲＧＢＡｘｙとのＲＧＢ各色毎に於ける比率が算出されて、この比率によって撮像信号ＲＧＢＡｘｙが可視光成分撮像信号［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］とに分離された結果である。
【００６１】
このように、ＲＧＢ各色毎の比率に基づく分離では、赤外線成分撮像信号［Ａｘｙ］の信号レベルはＲＧＢ各色毎でばらつきが発生することが懸念される。
【００６２】
図６は、図５で示された可視光成分撮像信号に対して色バランスの整合を施した一例を示すグラフである。
【００６３】
図６にて示されるように、可視光成分撮像信号［ＲＧＢｘｙ］に対して、図６の破線２で示されるような色バランスの整合を施した場合には、図６の斜線部に着目すれば、可視光成分に対するホワイトバランスが本質的に為されている。
【００６４】
ここで、図６のＡでは、図５で示されたＲＧＢ各色毎の赤外線成分撮像信号［Ａｘｙ］の信号レベルばらつきが補正されて略揃っていることが示されている。このばらつき補正は図１及び図２で示された画像処理部１４にて施される。
【００６５】
図７は、図４で示された赤外線照射撮像条件による撮像信号が可視光成分撮像信号と、赤外線成分撮像信号と、に分離される別の一例を示すグラフである。
【００６６】
また、図７のグラフは、撮像信号ＲＧＢｘｙと、撮像信号ＲＧＢＡｘｙとのＲＧＢ各色に於ける一律の差分が算出されて、この差分によって撮像信号ＲＧＢＡｘｙが可視光成分撮像信号［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］とに分離された結果である。
【００６７】
図７にて示されるように、ＲＧＢ各色一律にて差分分離される場合は、図５のグラフのように、ＲＧＢ各色毎の赤外線成分撮像信号［Ａｘｙ］の信号レベルのばらつきが発生しない。
【００６８】
図８は、図７で示された可視光成分撮像信号と、赤外線成分撮像信号と、に対して色バランスの整合を施した一例を示すグラフである。
【００６９】
図８にて示されるように、この可視光成分撮像信号［ＲＧＢｘｙ］は、赤外線成分を誤差として含んだ信号である。ここで、図６のグラフと、図８のグラフと、を比較すると、図６のようにＲＧＢ各色毎の比率で分離した方が、あたかも分離の精度が良いように示されているが、これは照射する赤外線が被写体に対して一律一様であった場合についてである。
【００７０】
しかしながら、実際の赤外線照射の照射量は赤外線発光ダイオード１から被写体２までの距離の２乗に反比例する特性があるので、比率による分離は必ずしも図６のグラフで示されたように精度良く分離されないことがある。したがって、図６で示された比率分離、及び、図８で示された差分分離は夫々一長一短であって、この分離の精度については一概に優劣は付けられない。
【００７１】
この比率分離、及び／または、差分分離の分離精度に起因する色再現性の劣化について述べれば、本実施形態による色バランスの整合によって、劣化した色再現性が良好な色再現性に復元される効果がある。例えば、可視光成分撮像信号［ＲＧＢｘｙ］が分離された結果、実際の被写体よりも全体的に赤っぽい信号になってしまった場合であっても、色バランスの整合の際に、可視光色毎比によってこの赤っぽさが修正される。
【００７２】
前述してきたように、本発明の実施形態による赤外線照射式撮像装置は、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、良好な色再現性を得ることが可能である。
【００７３】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００７４】
更に、前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施形態による赤外線照射式撮像装置の構成を示すブロック図である。
【図２】図１で示された赤外線照射式撮像装置に、２段階操作部と、画像記録部と、を更に具備した構成を示すブロック図である。
【図３】低照度下の白色被写体を可視光撮像条件にて撮像した場合のＲＧＢ各色毎の撮像信号レベルの一例を示すグラフである。
【図４】低照度下の白色被写体を赤外線照射撮像条件にて撮像した場合のＲＧＢ各色毎の撮像信号レベルの一例を示すグラフである。
【図５】図４で示された赤外線照射撮像条件による撮像信号が可視光成分撮像信号と、赤外線成分撮像信号と、に分離される一例を示すグラフである。
【図６】図５で示された可視光成分撮像信号に対して色バランスの整合を施した一例を示すグラフである。
【図７】図４で示された赤外線照射撮像条件による撮像信号が可視光成分撮像信号と、赤外線成分撮像信号と、に分離される別の一例を示すグラフである。
【図８】図７で示された可視光成分撮像信号と、赤外線成分撮像信号と、に対して色バランスの整合を施した一例を示すグラフである。
【符号の説明】
【００７６】
１      赤外線発光ダイオード
２      被写体
３      フォーカスレンズ
４      イメージセンサ
５      赤外線カットフィルタ
７      赤外線照射制御部
８      フォーカスドライバ
９      合焦評価部
１０    ホワイトバランス処理部
１１    可視光成分分離部
１２    色バランス整合部
１４    画像処理部
１５    ２段階操作部
１６    画像記録部
【図１】
2010161460.tif 000003
【図２】
2010161460.tif 000004
【図３】
2010161460.tif 000005
【図４】
2010161460.tif 000006
【図５】
2010161460.tif 000007
【図６】
2010161460.tif 000008
【図７】
2010161460.tif 000009
【図８】
2010161460.tif 000010