(57)【要約】【課題】赤外線照射式撮像装置において色再現性の高いカラー画像を得られるようにする。【解決手段】撮像装置は、赤外線カットフィルタ５を遮断位置に配置し、かつ、赤外線照射部１から被写体に赤外線を照射しない撮像条件で被写体を撮像することで可視光成分から成る可視光撮像信号を生成し、また、赤外線カットフィルタ５を退避位置に配置し、かつ、赤外線照射部１から被写体に赤外線を照射する撮像条件で被写体を撮像することで、可視光成分と赤外線成分の両成分を含む赤外線混合撮像信号を生成し、赤外線混合撮像信号を、可視光撮像信号と赤外線混合撮像信号との信号量の比率、及び／または、差分に基づいて、可視光演算撮像信号と赤外線演算撮像信号とに分離し、可視光撮像信号に基づき可視光演算撮像信号の色バランスを整合させ色整合撮像信号を生成し、色整合撮像信号と赤外線演算撮像信号とに画像処理を施してカラー画像信号を生成する。【選択図】図１
2010041231.tif 000002
【特許請求の範囲】
【請求項１】
被写体に赤外線を照射する赤外線照射部と、
前記被写体を結像して光学像を生成する光学系と、
可視光を透過し赤外線を減衰または遮断するフィルタ特性を有し、前記光学系の光路上の位置である遮断位置と前記光路上から外れた位置である退避位置とを移動可能に構成される赤外線カットフィルタと、
前記光学像を光電変換して撮像信号を生成する撮像部と、
前記赤外線カットフィルタを前記遮断位置に配置し、かつ、前記赤外線照射部から前記被写体に赤外線を照射しない可視光撮像条件で前記撮像部により前記被写体を撮像することで可視光撮像信号を生成し、また、前記赤外線カットフィルタを前記退避位置に配置し、かつ、前記赤外線照射部から前記被写体に赤外線を照射する赤外線混合撮像条件で前記撮像部により前記被写体を撮像することで、可視光成分と赤外線成分との両成分を含む赤外線混合撮像信号を生成する撮像条件制御部と、
前記赤外線混合撮像信号を、前記可視光撮像信号と前記赤外線混合撮像信号との信号量の比率、及び／または、差分に基づいて可視光演算撮像信号と赤外線演算撮像信号とに分離する分離部と、
前記可視光撮像信号の色情報に基づき前記可視光演算撮像信号の色バランスを整合させ、色整合撮像信号を生成する色バランス整合部と、
前記色整合撮像信号と前記赤外線演算撮像信号とに画像処理を施してカラー画像信号を生成する画像処理部と、
を備えたことを特徴とする赤外線照射式撮像装置。
【請求項２】
前記可視光撮像信号に対してホワイトバランス処理を施してホワイトバランス撮像信号を生成するホワイトバランス処理部を更に備え、
前記色バランス整合部は、前記ホワイトバランス撮像信号を色毎に積分したときの各色の積分値の比である色毎積分比に基づき、前記可視光演算撮像信号の色バランスを整合させる
ことを特徴とする請求項１に記載の赤外線照射式撮像装置。
【請求項３】
前記撮像条件制御部は、前記ホワイトバランス撮像信号の生成後に、撮像条件を前記可視光撮像条件から前記赤外線混合撮像条件に自動的に切り換える制御をする
ことを特徴とする請求項２に記載の赤外線照射式撮像装置。
【請求項４】
前記色毎積分比は、前記ホワイトバランス撮像信号を前記色毎に平面積分して得られる各色の平面積分値の比である
ことを特徴とする請求項２に記載の赤外線照射式撮像装置。
【請求項５】
前記色毎積分比は、前記平面積分値を複数フレームに亘って積分して得られる各色の複数平面積分値の比である
ことを特徴とする請求項４に記載の赤外線照射式撮像装置。
【請求項６】
前記赤外線演算撮像信号の前記色毎の信号レベルを補正する赤外線レベルバランス補正部を更に備える
ことを特徴とする請求項１に記載の赤外線照射式撮像装置。
【請求項７】
被写体に赤外線を照射する赤外線照射部と、前記被写体を結像して光学像を生成する光学系と、可視光を透過し赤外線を減衰または遮断するフィルタ特性を有し、前記光学系の光路上の位置である遮断位置と前記光路上から外れた位置である退避位置とを移動可能に構成される赤外線カットフィルタと、前記光学像を光電変換して撮像信号を生成する撮像部と、を備えた赤外線照射式撮像装置の制御に用いられる制御プログラムであって、
前記赤外線カットフィルタを前記遮断位置に配置し、かつ、前記赤外線照射部から前記被写体に赤外線を照射しない可視光撮像条件で前記撮像部により前記被写体を撮像することで可視光撮像信号を生成し、また、前記赤外線カットフィルタを前記退避位置に配置し、かつ、前記赤外線照射部から前記被写体に赤外線を照射する赤外線混合撮像条件で前記撮像部により前記被写体を撮像することで、可視光成分と赤外線成分との両成分を含む赤外線混合撮像信号を生成する撮像条件制御手順と、
前記赤外線混合撮像信号を、前記可視光撮像信号と前記赤外線混合撮像信号との信号量の比率、及び／または、差分に基づいて可視光演算撮像信号と赤外線演算撮像信号とに分離する分離手順と、
前記可視光撮像信号の色情報に基づき前記可視光演算撮像信号の色バランスを整合させ、色整合撮像信号を生成する色バランス整合手順と、
前記色整合撮像信号と前記赤外線演算撮像信号とに画像処理を施してカラー画像信号を生成する画像処理手順と、
をコンピュータに実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、赤外線を照射することで低照度下の被写体の撮像を可能にする赤外線照射式撮像装置に関する。
【背景技術】
【０００２】
ＣＣＤやＭＯＳ型センサ等の撮像素子（イメージセンサ）の分光感度特性は、人間の目と異なり、可視光成分だけでなく赤外線成分に対しても感度を有しているため、デジタルスチルカメラ、ムービーカメラ、医療用カメラ等の撮像装置では、この撮像素子の前面に赤外線カットフィルタを配置して可視光のみを受光するようにしている。
【０００３】
このような撮像装置では、赤外線カットフィルタを外して赤外線成分も受光するようにすれば、撮像素子に入射する光量が増大し、低照度下においても被写体を明るく撮像することが可能となる。しかしながら、赤外線の波長は人間の目で感知できない波長領域にあって、赤外線には本来の色情報がないので、赤外線成分を含んだ撮像画像はホワイトバランスが著しく劣化してしまう。そのために、通常の赤外線照射式撮像装置では、赤外線成分を含んだ撮像信号は輝度信号として扱われて、モノクロ画像が生成される。
【０００４】
近年、このような撮像装置を用いて、モノクロ画像ではなく実際の見た目に近いカラー画像を生成できるようにすることが市場から要求されている。
【０００５】
特許文献１には、赤外線カットフィルタが外部位置に配置されている場合には（ナイトショット撮影時には）、赤外成分を考慮した黒体カーブデータＬＢが読み出されて黒体カーブ制御が行われる。或いは、映像信号Ｒ，Ｇ，Ｂの比が１になるようにグレーワールド制御が行われる。これにより、撮影状況に応じて、最適なホワイトバランス制御が行われるとの記載がある。
【特許文献１】特開２００５−１３０３１７公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前者の赤外成分を考慮した黒体カーブデータＬＢによる黒体カーブ制御は、可視光量と赤外線量との比率、及び／または、差分が不明であるままに、赤外線カットフィルタの配置によって黒体カーブデータＬＡ、ＬＢが選択されるので、この黒体カーブの最適化が為されていない。
【０００７】
また、後者のグレーワールド制御は、被写体の色に偏りがないことを前提とした制御であるため、被写体の色に偏りがある場合はホワイトバランスを適切に処理させることができない。
【０００８】
本発明は、これらの技術的課題に鑑みてなされたものであって、赤外線を照射することで低照度下の被写体を明るく撮像することを可能にする赤外線照射式撮像装置において、ホワイトバランスを適切に処理させ、色再現性の高いカラー画像を得られるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明のある態様によれば、被写体に赤外線を照射する赤外線照射部と、前記被写体を結像して光学像を生成する光学系と、可視光を透過し赤外線を減衰または遮断するフィルタ特性を有し、前記光学系の光路上の位置である遮断位置と前記光路上から外れた位置である退避位置とを移動可能に構成される赤外線カットフィルタと、前記光学像を光電変換して撮像信号を生成する撮像部と、前記赤外線カットフィルタを前記遮断位置に配置し、かつ、前記赤外線照射部から前記被写体に赤外線を照射しない可視光撮像条件で前記撮像部により前記被写体を撮像することで可視光撮像信号を生成し、また、前記赤外線カットフィルタを前記退避位置に配置し、かつ、前記赤外線照射部から前記被写体に赤外線を照射する赤外線混合撮像条件で前記撮像部により前記被写体を撮像することで、可視光成分と赤外線成分との両成分を含む赤外線混合撮像信号を生成する撮像条件制御部と、前記赤外線混合撮像信号を、前記可視光撮像信号と前記赤外線混合撮像信号との信号量の比率、及び／または、差分に基づいて可視光演算撮像信号と赤外線演算撮像信号とに分離する分離部と、前記可視光撮像信号の色情報に基づき前記可視光演算撮像信号の色バランスを整合させ、色整合撮像信号を生成する色バランス整合部と、前記色整合撮像信号と前記赤外線演算撮像信号とに画像処理を施してカラー画像信号を生成する画像処理部と、を備えたことを特徴とする赤外線照射式撮像装置が提供される。
【００１０】
また、本発明の別の態様によれば、被写体に赤外線を照射する赤外線照射部と、前記被写体を結像して光学像を生成する光学系と、可視光を透過し赤外線を減衰または遮断するフィルタ特性を有し、前記光学系の光路上の位置である遮断位置と前記光路上から外れた位置である退避位置とを移動可能に構成される赤外線カットフィルタと、前記光学像を光電変換して撮像信号を生成する撮像部と、を備えた赤外線照射式撮像装置の制御に用いられる制御プログラムであって、前記赤外線カットフィルタを前記遮断位置に配置し、かつ、前記赤外線照射部から前記被写体に赤外線を照射しない可視光撮像条件で前記撮像部により前記被写体を撮像することで可視光撮像信号を生成し、また、前記赤外線カットフィルタを前記退避位置に配置し、かつ、前記赤外線照射部から前記被写体に赤外線を照射する赤外線混合撮像条件で前記撮像部により前記被写体を撮像することで、可視光成分と赤外線成分との両成分を含む赤外線混合撮像信号を生成する撮像条件制御手順と、前記赤外線混合撮像信号を、前記可視光撮像信号と前記赤外線混合撮像信号との信号量の比率、及び／または、差分に基づいて可視光演算撮像信号と赤外線演算撮像信号とに分離する分離手順と、前記可視光撮像信号の色情報に基づき前記可視光演算撮像信号の色バランスを整合させ、色整合撮像信号を生成する色バランス整合手順と、前記色整合撮像信号と前記赤外線演算撮像信号とに画像処理を施してカラー画像信号を生成する画像処理手順と、をコンピュータに実行させることを特徴とする制御プログラムが提供される。
【発明の効果】
【００１１】
本発明によれば、赤外線を照射することで低照度下の被写体を明るく撮像することを可能にする赤外線照射式撮像装置において、色再現性の高いカラー画像を得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【００１３】
図１は、本発明の実施形態に係る赤外線照射式撮像装置（以下、「撮像装置」という。）の機能ブロック図である。撮像装置は、例えば、デジタルスチルカメラ、ムービーカメラ、医療用カメラ等であり、赤外線照射部１、レンズ群３からなる光学系、撮像部４、赤外線カットフィルタ５、フィルタ駆動部６、撮像条件制御部７、分岐部８、可視光比率算出部９、ホワイトバランス処理部１０、分離部１１、色バランス整合部１２、赤外線レベルバランス補正部１３、画像処理部１４、操作部１５を備える。
【００１４】
各構成について説明すると、赤外線照射部１は、赤外線を被写体２に照射する赤外線発光ダイオードと、凹型反射板とで構成される。赤外線発光ダイオードから射出される赤外線は例えば、８００〜９００ｎｍを主成分とする近赤外線である。
【００１５】
レンズ群３からなる光学系は、被写体２から光学像を生成して撮像部４の撮像面に結像させる。
【００１６】
赤外線カットフィルタ５は、可視光成分（３５０〜７００ｎｍ）を透過させ、赤外線成分（７００ｎｍ以上）を減衰または遮断する特性を有するフィルタである。赤外線カットフィルタ５は、光学系の光路上の位置（以下、「遮断位置」という。）Ａと光学系の光路上から外れた位置（以下、「退避位置」という。）Ｂとを移動することができるように構成される。赤外線カットフィルタ５が遮断位置Ａにあるときは、赤外線カットフィルタ５はレンズ群３によって生成された光学像から赤外線成分を取り除き、可視光成分のみを撮像部４に到達させる。赤外線カットフィルタ５が退避位置Ｂにあるときは、可視光成分と赤外線成分との両成分を撮像部４に到達させる。
【００１７】
フィルタ駆動部６は、赤外線カットフィルタ５に接続されるモータ等のアクチュエータで構成される。フィルタ駆動部６は、このアクチュエータを駆動することで、赤外線カットフィルタ５を遮断位置Ａあるいは退避位置Ｂに移動させる。
【００１８】
撮像部４は、可視光成分と赤外線成分の両方に対して感度を有するＣＣＤ、ＭＯＳ型センサ等の撮像素子で構成される。撮像素子の前面には、複数色から成るカラーフィルタが規則的な配列にて備えられる。このような撮像部４の分光感度特性は、例えば、図２に示すようになり、カラーフィルタの分光感度特性と撮像素子の分光感度特性との積算値が主成分である。レンズ群３を介して被写体２の光学像が撮像素子の受光面に結像すると、撮像素子はその光学像を色毎に光電変換して撮像信号を生成する。撮像部４は、この撮像信号を分岐部８に出力する。
【００１９】
撮像条件制御部７は、赤外線照射部１、撮像部４、フィルタ駆動部６、分岐部８を制御する。操作部１５に撮像開始の操作が為されると、撮像条件制御部７は、この操作信号を受信して上記各ブロックの制御を開始する。
【００２０】
先ず、フィルタ駆動部６により赤外線カットフィルタ５を遮断位置Ａに配置し、かつ、赤外線照射部１から被写体２への赤外線照射を行わせないことで、可視光撮像条件を実現する。そして、撮像条件制御部７は、撮像部４に撮像を行うよう指示を出し、可視光撮像条件で撮像部４に第１の撮像を行わせる。この第１の撮像では、可視光成分から成る撮像信号（この信号を以下、可視光撮像信号ＲＧＢｘｙとする。）が撮像部４によって生成され、分岐部８に出力される。
【００２１】
続いて、撮像条件制御部７は、フィルタ駆動部６により赤外線カットフィルタ５を退避位置Ｂに配置し、かつ、赤外線照射部１から被写体２への赤外線照射を行わせることで、赤外線混合撮像条件を実現する。そして、撮像条件制御部７は、撮像部４に撮像を行うよう指示を出し、赤外線混合撮像条件で撮像部４に第２の撮像を行わせる。この第２の撮像では、可視光成分と赤外線成分との両成分を含む撮像信号（この信号を以下、赤外線混合撮像信号ＲＧＢＩｘｙとする。）が撮像部４により生成され、分岐部８に出力される。
【００２２】
また、撮像条件制御部７は、上記撮像を行った場合、その撮像が可視光撮像条件、赤外線混合撮像条件のいずれにより行われたものなのかに関する情報を分岐部８に出力する。
【００２３】
分岐部８は、撮像条件制御部７からの情報に基づき、撮像部４から送られてきた撮像信号が可視光撮像信号ＲＧＢｘｙか赤外線混合撮像信号ＲＧＢＩｘｙのいずれであるかを判定する。そして、分岐部８は、撮像信号が可視光撮像信号ＲＧＢｘｙであると判定した場合は、それを可視光比率算出部９とホワイトバランス処理部１０とに出力し、赤外線混合撮像信号ＲＧＢＩｘｙであると判定した場合は、それを可視光比率算出部９と分離部１１とに出力する。
【００２４】
可視光比率算出部９は、可視光撮像信号ＲＧＢｘｙを構成する各色の信号Ｒｘｙ、Ｇｘｙ、Ｂｘｙをそれぞれ次式によりｘｙ平面積分し、積分値ΣＲ、ΣＧ、ΣＢを算
出する。
【００２５】
ΣＲ＝∬（Ｒｘｙ）ｄｘｄｙ
ΣＧ＝∬（Ｇｘｙ）ｄｘｄｙ
ΣＢ＝∬（Ｂｘｙ）ｄｘｄｙ
同様に、赤外線混合撮像信号ＲＧＢＩｘｙを構成する各色の信号（Ｒ＋ｒＩ）ｘｙ、（Ｇ＋ｇＩ）ｘｙ、（Ｂ＋ｂＩ）ｘｙをそれぞれ次式によりｘｙ平面積分し、積分値Σ（Ｒ＋ｇＩ)、Σ（Ｇ＋ｇＩ)、Σ（Ｂ＋ｂＩ）を算出する。
【００２６】
Σ（Ｒ＋ｒＩ）＝∬｛（Ｒ＋ｒＩ）ｘｙ｝ｄｘｄｙ
Σ（Ｇ＋ｇＩ）＝∬｛（Ｇ＋ｇＩ）ｘｙ｝ｄｘｄｙ
Σ（Ｂ＋ｂＩ）＝∬｛（Ｂ＋ｂＩ）ｘｙ｝ｄｘｄｙ
そして、可視光比率算出部９は、各色の可視光比率ｖｒＲ、ｖｒＧ、ｖｒＢを、それぞれ次式により算出する。
【００２７】
ｖｒＲ＝ΣＲ／Σ（Ｒ＋ｒＩ）
ｖｒＧ＝ΣＧ／Σ（Ｇ＋ｇＩ）
ｖｒＢ＝ΣＢ／Σ（Ｂ＋ｂＩ）
可視光比率算出部９は、算出した可視光比率ｖｒＲ、ｖｒＧ、ｖｒＢを分離部１１に出力する。
【００２８】
分離部１１は、可視光比率算出部９で算出された可視光比率ｖｒＲ、ｖｒＧ、ｖｒＢを用いて、赤外線混合撮像信号ＲＧＢＩｘｙを可視光演算撮像信号［ＲＧＢｘｙ］と赤外線演算撮像信号［Ｉｘｙ］とに分離する。
【００２９】
可視光演算撮像信号［ＲＧＢｘｙ］を構成する各色の信号［Ｒｘｙ］、［Ｇｘｙ］、［Ｂｘｙ］は、それぞれ次式により算出される。
【００３０】
［Ｒｘｙ］＝（Ｒ＋ｒＩ）ｘｙ×ｖｒＲ
［Ｇｘｙ］＝（Ｇ＋ｇＩ）ｘｙ×ｖｒＧ
［Ｂｘｙ］＝（Ｂ＋ｂＩ）ｘｙ×ｖｒＢ
また、赤外線演算撮像信号［Ｉｘｙ］を構成する各色の信号［ｒＩｘｙ］、［ｇＩｘｙ］、［ｂＩｘｙ］は、それぞれ次式により算出される。
【００３１】
［ｒＩｘｙ］＝（Ｒ＋ｒＩ）ｘｙ−［Ｒｘｙ］
［ｇＩｘｙ］＝（Ｇ＋ｇＩ）ｘｙ−［Ｇｘｙ］
［ｂＩｘｙ］＝（Ｂ＋ｂＩ）ｘｙ−［Ｂｘｙ］
分離部１１は、生成した可視光演算撮像信号［ＲＧＢｘｙ］を色バランス整合部１２に出力し、生成した赤外線演算撮像信号［Ｉｘｙ］を赤外線レベルバランス補正部１３に出力する。
【００３２】
ホワイトバランス処理部１０は、可視光撮像信号ＲＧＢｘｙに対してホワイトバランス処理を施してホワイトバランス撮像信号ｗＲＧＢｘｙを生成し、生成したホワイトバランス撮像信号ｗＲＧＢｘｙを色バランス整合部１２に出力する。
【００３３】
ホワイトバランス処理としては、被写体の色に偏りがある場合であってもホワイトバランスを正しく行うことができる方法が用いられる。例えば、１）可視光撮像信号ＲＧＢｘｙから被写体の反射率が高いと推定される高レベル信号を抽出し、その高レベル信号を黒体判別させて暫定的な白色信号を抽出する。そして、この暫定白色信号を黒体の軌跡に収束させる。または、２）光源の種別を自動判別あるいはユーザーに光源の種類を選択させる。または、３）白色ないしグレー（無彩色）の被写体を撮像し、この時のＲＧＢ比を１に収束させる。等のホワイトバランス処理方法が用いられる。
【００３４】
尚、前述した撮像条件制御部７は、このホワイトバランス撮像信号ｗＲＧＢｘｙの生成後に、撮像条件を可視光撮像条件から赤外線混合撮像条件に自動的に切り換える制御をする。
【００３５】
色バランス整合部１２は、可視光演算撮像信号［ＲＧＢｘｙ］を構成する各色の信号［Ｒｘｙ］、［Ｇｘｙ］、［Ｂｘｙ］をｘｙ平面積分した値Σ［Ｒ］、Σ［Ｇ］、
Σ［Ｂ］を、それぞれ次式により算出する。
【００３６】
Σ［Ｒ］＝∬［Ｒｘｙ］ｄｘｄｙ
Σ［Ｇ］＝∬［Ｇｘｙ］ｄｘｄｙ
Σ［Ｂ］＝∬［Ｂｘｙ］ｄｘｄｙ
同様に、ホワイトバランス撮像信号ｗＲＧＢｘｙを構成する各色の信号ｗＲｘｙ、ｗＧｘｙ、ｗＢｘｙをｘｙ平面積分した値ΣｗＲ、ΣｗＧ、ΣｗＢを、それぞれ次式
により算出し、ホワイトバランス撮像信号ｗＲＧＢｘｙの各色の信号の積分値の比（ΣｗＲ：ΣｗＧ：ΣｗＢ、以下、色毎積分比という。）を算出する。
【００３７】
ΣｗＲ＝∬（ｗＲｘｙ）ｄｘｄｙ
ΣｗＧ＝∬（ｗＧｘｙ）ｄｘｄｙ
ΣｗＢ＝∬（ｗＢｘｙ）ｄｘｄｙ
そして、色バランス整合部１２は、次の関係式、
Ｋｒ×Σ［Ｒ］：Ｋｇ×Σ［Ｇ］：Ｋｂ×Σ［Ｂ］＝ΣｗＲ：ΣｗＧ：ΣｗＢ
を満たす色バランス係数（Ｋｒ，Ｋｇ，Ｋｂ）を算出する。
【００３８】
色バランス整合部１２は、算出した色バランス係数（Ｋｒ，Ｋｇ，Ｋｂ）に基づき、色バランス整合後の可視光演算撮像信号ｃｂ［ＲＧＢｘｙ］を構成する各色の信号ｃｂ［Ｒｘｙ］、ｃｂ［Ｇｘｙ］、ｃｂ［Ｂｘｙ］を、それぞれ次式により算出する。
【００３９】
ｃｂ［Ｒｘｙ］＝Ｋｒ×［Ｒｘｙ］
ｃｂ［Ｇｘｙ］＝Ｋｇ×［Ｇｘｙ］
ｃｂ［Ｂｘｙ］＝Ｋｂ×［Ｂｘｙ］
すなわち、色バランス整合部１２は、ホワイトバランス撮像信号ｗＲＧＢｘｙの色毎積分比（ΣｗＲ：ΣｗＧ：ΣｗＢ）に基づき、可視光演算撮像信号［ＲＧＢｘｙ］
の色バランスを整合させ、色整合撮像信号ｃｂ［ＲＧＢｘｙ］を生成する。色バランス整合部１２は、生成した色整合撮像信号ｃｂ［ＲＧＢｘｙ］を画像処理部１４に出力する。
【００４０】
尚、この色毎積分比は、前述したｘｙ平面積分による積分値を複数フレームに亘って更に積分してから算出するようにしても良い。複数フレームによる積分を施すことで、オプチカルショットノイズの影響を軽減し、また、動的被写体に対して色毎積分比の安定性が得られるからである。
【００４１】
赤外線レベルバランス補正部１３は、赤外線演算撮像信号［Ｉｘｙ］を各色の信号レベルが等しくなるように補正し、レベルバランス補正後の赤外線演算撮像信号ｌｂ［Ｉｘｙ］を生成する。赤外線演算撮像信号［Ｉｘｙ］は、後述するようにカラー画像信号を生成する際に色バランス整合後の可視光演算撮像信号ｃｂ［ＲＧＢｘｙ］の輝度成分に加算される信号で、この信号レベルに波長依存性がないのが理想的である。しかしながら、撮像素子の赤外線受光感度が色毎に異なると赤外線演算撮像信号［Ｉｘｙ］の各色の信号レベルに波長依存性が生じるので、このようなレベルバランス補正を行う。
【００４２】
具体的には、赤外線レベルバランス補正部１３は、次の関係式を満たすレベルバランス係数ｋｒ、ｋｇ、ｋｂを算出する。
【００４３】
ｋｒ×∬［ｒＩｘｙ］ｄｘｄｙ
＝ｋｇ×∬［ｇＩｘｙ］ｄｘｄｙ
＝ｋｂ×∬［ｂＩｘｙ］ｄｘｄｙ
そして、赤外線レベルバランス補正部１３は、算出したレベルバランス係数（ｋｒ，ｋｇ，ｋｂ）に基づき、レベルバランス補正後の赤外線演算撮像信号ｌｂ［Ｉｘｙ］を構成する各色の信号ｌｂ［ｒＩｘｙ］、ｌｂ［ｇＩｘｙ］、ｌｂ［ｂＩｘｙ］を、それぞれ次式により算出する。
【００４４】
ｌｂ［ｒＩｘｙ］＝ｋｒ×［ｒＩｘｙ］
ｌｂ［ｇＩｘｙ］＝ｋｇ×［ｇＩｘｙ］
ｌｂ［ｂＩｘｙ］＝ｋｂ×［ｂＩｘｙ］
赤外線レベルバランス補正部１３は、生成したレベルバランス補正後の赤外線演算撮像信号ｌｂ［Ｉｘｙ］を画像処理部１４に出力する。
【００４５】
画像処理部１４は、色整合撮像信号ｃｂ［ＲＧＢｘｙ］とレベルバランス補正後の赤外線演算撮像信号ｌｂ［Ｉｘｙ］とに画像処理を施し、カラー画像信号（Ｙ，Ｃ）ｘｙを生成する。
【００４６】
例えば、色整合撮像信号ｃｂ［ＲＧＢｘｙ］から第１の輝度信号Ｙ１ｘｙをリサンプリングして生成し、これにレベルバランス補正後の赤外線演算撮像信号ｌｂ［Ｉｘｙ］を第２の輝度信号Ｙ２ｘｙとして、これらの輝度信号Ｙ１ｘｙとＹ２ｘｙとを合成し、輝度信号Ｙｘｙを生成する。また、色整合撮像信号ｃｂ［ＲＧＢｘｙ］を色相、及び、彩度についてリサンプリングして色信号Ｃｘｙを生成する。このようにして、カラー画像信号（Ｙ，Ｃ）ｘｙは生成される。
【００４７】
このリサンプリング処理には、例えば、バイキュービック演算、バイリニア演算、ニアレストネイバ処理、ｎタップによるマトリクス演算、Ｙマトリクス演算、色差マトリクス演算、等が用いられる。
【００４８】
尚、この画像処理部１４では、前述したようなリサンプリング処理に限らず、例えば、輝度階調性補正、ディテイル補正、各種ノイズキャンセルフィルタ、カラーコレクト、リゾリューションコンバート等の各種様々な画像処理が施される。
【００４９】
画像処理部１４で生成されたカラー画像信号（Ｙ，Ｃ）ｘｙは、図示しない撮像装置の背面ディスプレイ、外部ディプレイ等の表示装置に表示される。また、図示しないメモリ、ハードディスク、光ディスク等の記憶媒体に格納される。
【００５０】
続いて、上記撮像装置が上記処理を行うことによる作用効果について説明する。なお、以下の作用効果に関する説明では、低照度下にある白色が含まれた被写体を上記撮像装置により撮像し、被写体の白色の部分が撮像された画素（以下、「白色画素」という。）における信号を例に挙げて説明する。
【００５１】
図３は、可視光撮像条件で第１の撮像を行うことで生成される可視光撮像信号ＲＧＢｘｙの白色画素における（Ｒ，Ｇ，Ｂ）信号の信号レベルを示している。被写体の照度が低いので、この信号レベルが最低被写体照度で得られる信号レベルよりも低く、この可視光撮像信号ＲＧＢｘｙからカラー画像を生成した場合、十分な明るさの画像を得ることはできない。
【００５２】
図４は、この状態から赤外線照射部１により被写体２に赤外線を照射し、赤外線カットフィルタ５を光路上から退出させて赤外線混合撮像条件とし、この赤外線混合撮像条件で第２の撮像を行うことで生成される赤外線混合撮像信号ＲＧＢＩｘｙの白色画素における（Ｒ＋Ｉ，Ｇ＋Ｉ，Ｂ＋Ｉ）信号の信号レベルを示している。可視光撮像信号ＲＧＢｘｙと比べ、赤外線混合撮像信号ＲＧＢＩｘｙに於ける（Ｒ＋Ｉ，Ｇ＋Ｉ，Ｂ＋Ｉ）信号の信号レベルは、赤外線成分が加わったことにより最低被写体照度で得られる信号レベルを超え、明るい画像が得られるまでに改善している。
【００５３】
ここで、Ｒ信号レベルの増分（Ｒ→（Ｒ＋Ｉ)）が他の信号レベルの増分よりも大きいのは、既に図２に示されたように撮像部４の分光感度特性が７００〜８００ｎｍの範囲にある赤外線領域においてＲに対して高い感度を有しているからである。
【００５４】
しかしながら、赤外線混合撮像信号ＲＧＢＩｘｙは、本来色ではない赤外線成分（図中白枠部分）が混入しているので、白色画素に於ける（Ｒ，Ｇ，Ｂ）信号の信号レベルの比率が崩れている。
【００５５】
Ｒ：Ｇ：Ｂ≠（Ｒ＋Ｉ）：（Ｇ＋Ｉ）：（Ｂ＋Ｉ）
したがって、赤外線混合撮像信号ＲＧＢＩｘｙからカラー画像を生成した場合、明るい画像が得られるものの、色再現性の低い不自然な画像となる。
【００５６】
図５は、赤外線混合撮像信号ＲＧＢＩｘｙの色再現性を向上させるために、赤外線混合撮像信号ＲＧＢＩｘｙに対して特許文献１に開示されるグレーワールド制御を行った場合の白色画素における（Ｒ＋Ｉ，Ｇ＋Ｉ，Ｂ＋Ｉ）信号の信号レベルを示している。グレーワールド制御によって、（Ｒ＋Ｉ，Ｇ＋Ｉ，Ｂ＋Ｉ）信号の信号レベルは、
Σ（Ｒ＋Ｉ）：Σ（Ｇ＋Ｉ）：Σ（Ｂ＋Ｉ）＝１：１：１
を満たすように制御される。
【００５７】
しかしながら、
ΣＲ：ΣＧ：ΣＢ≒１：１：１
となるような被写体は、色の偏りのない被写体というのが前提となるので、色の偏りのある被写体を撮像する場合では、
ΣＲ：ΣＧ：ΣＢ≠１：１：１
である。
【００５８】
故に、
ΣＲ：ΣＧ：ΣＢ≠Σ（Ｒ＋Ｉ）：Σ（Ｇ＋Ｉ）：Σ（Ｂ＋Ｉ）＝１：１：１
となり、前述した白色画素に於いて、その（Ｒ＋Ｉ，Ｇ＋Ｉ，Ｂ＋Ｉ）信号の信号レベルについては、
Ｒ：Ｇ：Ｂ≠（Ｒ＋Ｉ）：（Ｇ＋Ｉ）：（Ｂ＋Ｉ）＝１：１：１
となるのである。
【００５９】
つまり、可視光成分（図中斜線部分）に着目した場合、各色の可視光成分は白色画素であるにも関わらず、その信号レベルは等しくないままである。良好な色再現性を実現するには、可視光成分に対するホワイトバランスを成立させる必要がある。
【００６０】
図６は、日本国国旗を撮像して得られる赤外線混合撮像信号ＲＧＢＩｘｙに対してグレーワールド制御を行った場合の画像の一例を示している。日本国国旗は中央の赤の丸い領域２１、その背景の白色の矩形領域２２で構成され、色に偏りがあるため、グレーワールド制御ではいずれの領域とも正しい色とはならない。
【００６１】
これに対し、上記撮像装置では、赤外線混合撮像信号ＲＧＢＩｘｙを可視光演算撮像信号［ＲＧＢｘｙ］と赤外線演算撮像信号［Ｉｘｙ］に分離し、前者に対して色バランス整合を施し、後者は色信号（色情報）としては用いない。
【００６２】
図７は、第１の撮像により生成された可視光撮像信号ＲＧＢｘｙから算出される可視光比率ｖｒＲ、ｖｒＧ、ｖｒＢに基づき、第２の撮像により生成された赤外線混合撮像信号ＲＧＢＩｘｙを可視光演算撮像信号［ＲＧＢｘｙ］と赤外線演算撮像信号［Ｉｘｙ］に分離したときの白色画素における信号レベルを示している。この段階では、可視光演算撮像信号［ＲＧＢｘｙ］の色バランスは崩れたままであり、また、赤外線演算撮像信号［Ｉｘｙ］を構成する各色の信号レベルは揃っていない。
【００６３】
図８は、分離された可視光演算撮像信号［ＲＧＢｘｙ］に対して色バランス整合を行ってｃｂ［ＲＧＢｘｙ］を生成し、赤外線演算撮像信号［Ｉｘｙ］に対してレベルバランス補正を行ってｌｂ［Ｉｘｙ］を生成したときの白色画素における各色信号レベルを示している。色整合撮像信号ｃｂ［ＲＧＢｘｙ］の各色信号レベルに着目すると、図５に示した例と異なり、可視光成分（図中斜線部分）に対するホワイトバランスが成立していることがわかる。
【００６４】
この色バランス整合は、上記のとおり、可視光撮像信号ＲＧＢｘｙにホワイトバランス処理を施して生成されるホワイトバランス撮像信号ｗＲＧＢｘｙの色毎積分比（ΣｗＲ：ΣｗＧ：ΣｗＢ）に基づいて行われる。したがって、この色バランス整合に
よれば、ホワイトバランス撮像信号ｗＲＧＢｘｙで実現されるホワイトバランスが可視光演算撮像信号［ＲＧＢｘｙ］に対して実現され、被写体に色の偏りがある場合であってもホワイトバランスを正しく処理させることが可能となるのである。
【００６５】
また、レベルバランス補正後の赤外線演算撮像信号ｌｂ［Ｉｘｙ］の信号レベルに着目すると、各色に差がないように補正されていることがわかる。
【００６６】
したがって、ホワイトバランス撮像信号ｗＲＧＢｘｙのホワイトバランス（Ｒ：Ｇ：Ｂ）が、色毎積分比（ΣｗＲ：ΣｗＧ：ΣｗＢ）の整合という手段を介して色整合
撮像信号ｃｂ［ＲＧＢｘｙ］に反映されて、被写体の色相、彩度を保ったカラー画像信号を生成することができるのである。
【００６７】
図９は、色整合撮像信号ｃｂ［ＲＧＢｘｙ］の任意の１画素をＬ*ａ*ｂ*色空間に表色し、その明度Ｌ*にレベルバランス補正後の赤外線演算撮像信号ｌｂ［Ｉｘｙ］を加算することで、２つの信号が合成された様子の一例を示している。色整合撮像信号ｃｂ［ＲＧＢｘｙ］をＬ*ａ*ｂ*色空間に表色したときの空間座標をＰとし、合成後の空間座標をＱとすると、上記合成処理によれば、合成前後で明度Ｌ*のみが図中矢印で示すように変化し、色相と彩度を表現するクロマティクネス指数ａ*とｂ*は合成前後で変化がない。すなわち、合成前後で色相、彩度が変化せず、色バランス整合部１２で実現された色再現性が合成後も保たれる。
【００６８】
図１０は、上記撮像装置により日本国国旗を撮像し、カラー画像を生成した場合の一例を示す。上記撮像装置によれば、日本国国旗のように色に偏りのある被写体に対して赤外線を照射して撮像する場合であっても、ホワイトバランスを正しく処理させ、良好な色再現を得ることが可能である。
【００６９】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一つを示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【００７０】
また、例えば、上記実施形態はハードウェアによる処理を前提としているが、同様の処理をソフトウェア処理により実現することができる。
【００７１】
この場合、撮像装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読取り可能な記憶媒体をシステムの中に備える。ここでは、このプログラムを制御プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている制御プログラムを読み出して、情報の加工・演算処理を実行することにより、上記撮像装置と同様の処理を実現させる。コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光ディスク、半導体メモリ等をいう。
【００７２】
図１１は、上記撮像装置と同様の処理をソフトウェア処理により実現する場合の制御プログラムのフローチャートである。
【００７３】
これによると、ステップＳ１では、操作部１５によって撮像開始が操作されたかどうかを判断する。撮像開始が操作されたと判断されると、ステップＳ２以降に進む。
【００７４】
ステップＳ２では、赤外線照射部１から被写体２に赤外線照射を行わず、かつ、赤外線カットフィルタ５を遮断位置Ａに移動し、可視光撮像条件を実現する。
【００７５】
ステップＳ３では、可視光撮像条件で第１の撮像を実行し、可視光撮像信号ＲＧＢｘｙを生成する。
【００７６】
ステップＳ４では、可視光撮像信号ＲＧＢｘｙに対してホワイトバランス処理を行い、ホワイトバランス撮像信号ｗＲＧＢｘｙを算出する。ホワイトバランス処理の方法は上記ホワイトバランス処理部１０と同じである。
【００７７】
ステップＳ５では、赤外線照射部１から被写体２への赤外線照射を行い、かつ、赤外線カットフィルタ５を退避位置Ｂに移動し、赤外線混合撮像条件を実現する。
【００７８】
ステップＳ６では、赤外線混合撮像条件で第２の撮像を実行し、赤外線混合撮像信号ＲＧＢＩｘｙを生成する。
【００７９】
ステップＳ７では、可視光撮像信号ＲＧＢｘｙと赤外線混合撮像信号ＲＧＢＩｘｙに基づき可視光比率（ｖｒＲ，ｖｒＧ，ｖｒＢ）を算出する。可視光比率（ｖｒＲ，ｖｒＧ，ｖｒＢ）の算出方法は上記可視光比率算出部９と同じである。
【００８０】
ステップＳ８では、可視光比率（ｖｒＲ，ｖｒＧ，ｖｒＢ）に基づき赤外線混合撮像信号ＲＧＢＩｘｙを可視光演算撮像信号［ＲＧＢｘｙ］と赤外線演算撮像信号［Ｉｘｙ］に分離する。赤外線混合撮像信号ＲＧＢＩｘｙの分離方法は上記分離部１１と同じである。
【００８１】
ステップＳ９では、ホワイトバランス撮像信号ｗＲＧＢｘｙの色毎積分比（ΣｗＲ
：ΣｗＧ：ΣｗＢ）に基づき可視光演算撮像信号［ＲＧＢｘｙ］の色バランスを整合
させ、色整合撮像信号ｃｂ［ＲＧＢｘｙ］を生成する。色バランス整合の方法は上記色バランス整合部１２と同じである。
【００８２】
ステップＳ１０では、赤外線演算撮像信号［Ｉｘｙ］に対してレベルバランス補正を行い、ｌｂ［Ｉｘｙ］を生成する。レベルバランス補正の方法は上記赤外線レベルバランス補正部１３と同じである。
【００８３】
ステップＳ１１では、色整合撮像信号ｃｂ［ＲＧＢｘｙ］の輝度成分にレベルバランス補正後の赤外線演算撮像信号ｌｂ［Ｉｘｙ］を加算することで２つの信号を合成し、カラー画像信号を生成する。２つの信号の合成方法は上記画像処理部１４と同じである。
【００８４】
ステップＳ１２では、操作部１５によって撮像停止が操作されたかどうかを判断する。撮像停止が操作されていないと判断されると、再びステップＳ６に戻る。また、撮像停止が操作されたと判断されると、この制御プログラムのフローチャートは終了となる。
【００８５】
このように、上記撮像装置における処理と同様の処理をソフトウェア処理により実現してもよく、ソフトウェア処理により実現した場合、処理内容の変更・追加がプログラムの書き換えで容易に対応することが可能である。
【００８６】
また、上記実施形態では、分離部１１は、可視光比率（ｖｒＲ，ｖｒＧ，ｖｒＢ）に基づき赤外線混合撮像信号ＲＧＢＩｘｙを可視光演算撮像信号［ＲＧＢｘｙ］と赤外線演算撮像信号［Ｉｘｙ］に分離しているが、分離の方法はこれに限らない。例えば、赤外線混合撮像信号ＲＧＢＩｘｙに含まれている赤外線成分を構成する各色の信号レベルが、いずれも赤外線の照射レベルに応じた差分値になっているとして、赤外線混合撮像信号ＲＧＢＩｘｙを構成する各色の信号レベルからそれぞれこの差分値を減じて可視光演算撮像信号［ＲＧＢｘｙ］の各色の信号を算出することも可能である。さらには、可視光比率（ｖｒＲ，ｖｒＧ，ｖｒＢ）に基づく分離の方法と差分値に基づく分離の方法を組み合わせて赤外線混合撮像信号ＲＧＢＩｘｙを可視光演算撮像信号［ＲＧＢｘｙ］と赤外線演算撮像信号［Ｉｘｙ］に分離することも可能である。例えば、赤外線混合撮像信号ＲＧＢＩｘｙに対して２つの分離方法をそれぞれ独立に適用し、得られた分離結果を総合して可視光演算撮像信号［ＲＧＢｘｙ］と赤外線演算撮像信号［Ｉｘｙ］を算出する。
【００８７】
また、上記実施形態では、赤外線レベルバランス補正部１３で、各色の信号レベルが等しくなるよう赤外線演算撮像信号［Ｉｘｙ］を補正し、これを色整合撮像信号ｃｂ［ＲＧＢｘｙ］に合成しているが、例えば、図２に示された分光感度特性の赤外線成分（７００〜９５０ｎｍの波長領域）でＲＧＢ各色の感度が略一致するようであれば、赤外線レベルバランス補正部１３を省略し、赤外線演算撮像信号［Ｉｘｙ］をそのまま色整合撮像信号ｃｂ［ＲＧＢｘｙ］に合成するようにしてもよい。
【００８８】
また、上記実施形態に係る撮像装置は、操作部１５による撮像条件の指定によって、可視光成分のみからカラー画像信号を生成する通常撮像を行うことも可能である。通常撮像を行う場合は、上記可視光撮像条件で第１の撮像のみを行い、ホワイトバランス処理部１０で生成されるホワイトバランス撮像信号ｗＲＧＢｘｙを色バランス整合部１２を介して、あるいは、直接的に画像処理部１４へと出力し、このホワイトバランス撮像信号ｗＲＧＢｘｙに画像処理を施してカラー画像信号を出力すればよい。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施形態に係る赤外線照射式撮像装置の機能ブロック図である。
【図２】撮像部４の分光感度特性の一例を示した図である。
【図３】可視光撮像条件での第１の撮像により生成される可視光撮像信号ＲＧＢｘｙの白色画素における信号レベルを示した図である。
【図４】赤外線混合撮像条件での第２の撮像により生成される赤外線混合撮像信号ＲＧＢＩｘｙの白色画素における信号レベルを示した図である。
【図５】赤外線混合撮像信号ＲＧＢＩｘｙに対してグレーワールド制御を行ったときの白色画素における信号レベルを示した図である。
【図６】日本国国旗を撮像して得られる赤外線混合撮像信号ＲＧＢＩｘｙに対してグレーワールド制御を行った場合の画像の一例を示した図である。
【図７】赤外線混合撮像信号ＲＧＢＩｘｙを可視光演算撮像信号［ＲＧＢｘｙ］と赤外線演算撮像信号［Ｉｘｙ］に分離したときの白色画素における信号レベルを示した図である。
【図８】可視光演算撮像信号［ＲＧＢｘｙ］に対して色バランス整合し、赤外線演算撮像信号［Ｉｘｙ］に対してレベルバランス補正が行われたときの白色画素における信号レベルを示した図である。
【図９】色整合撮像信号ｃｂ［ＲＧＢｘｙ］とレベルバランス補正後の赤外線演算撮像信号ｌｂ［Ｉｘｙ］とが合成される様子の一例を示した図である。
【図１０】本発明の実施形態に係る撮像装置により日本国国旗を撮像し、カラー画像を生成した場合の一例を示した図である。
【図１１】本発明の実施形態に係る撮像装置と同様の処理をソフトウェア処理により実現する場合の制御プログラムのフローチャートである。
【符号の説明】
【００９０】
１    赤外線照射部
２    被写体
３    レンズ群（光学系）
４    撮像部
５    赤外線カットフィルタ
７    撮像条件制御部
９    可視光比率算出部
１０  ホワイトバランス処理部
１１  分離部
１２  色バランス整合部
１４  画像処理部
１５  操作部
【図１】
2010041231.tif 000003
【図２】
2010041231.tif 000004
【図３】
2010041231.tif 000005
【図４】
2010041231.tif 000006
【図５】
2010041231.tif 000007
【図６】
2010041231.tif 000008
【図７】
2010041231.tif 000009
【図８】
2010041231.tif 000010
【図９】
2010041231.tif 000011
【図１０】
2010041231.tif 000012
【図１１】
2010041231.tif 000013