(57)【要約】【課題】  本発明は、電子カメラで低照度撮像時に映像信号のノイズ低減と色再現性を向上させる装置および信号処理を課題とする。【解決手段】複数の光波長分解プリズムと光波長分離膜により、近赤外映像信号と可視光映像信号を分離し、複数の撮像素子で映像信号を得る電子カメラシステムにおいて可視光の輝度信号に近赤外光の輝度信号を加算することにより、可視光の色信号比は変えずに輝度信号のみノイズの少ない画像処理を行う。【選択図】図１
2018023077.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象物からの光を可視光と非可視光である近赤外光とに分離する色分解プリズムであって、前記対象物からの光を入射する第１のプリズムと該第１のプリズムに形成された第１の光波長分離膜は近赤外光可視光を反射し、可視光を透過する機能を持ち第２のプリズムに導く。第１のプリズムは第１の光波長分離膜で反射された近赤外光像を第１の撮像素子に結像し、第１の光波長分離膜を透過した可視光は第２のプリズムに導かれ、第２の撮像素子に結像することを特徴とするビデオカメラ装置。
【請求項２】
撮像対象物からの光を可視光と非可視光である近赤外光とに分離する色分解プリズムであって、前記対象物からの光を入射する第１のプリズムと第１のプリズムに形成された第１の光波長分離膜は近赤外光可視光を反射し、可視光を透過する機能を持ち第２のプリズムに導く。第１のプリズムは第１の光波長分離膜で反射された近赤外光像を第１の撮像素子に結像し、第１の光波長分離膜を透過した可視光は第２のプリズムに導かれる。第２のプリズムに形成された第２の光波長分離膜は可視光の第１の色成分を反射し、残りの可視光成分を透過する。第２のプリズムに設けられた第２の光波長分離膜によって可視光の第１の色成分を反射し、第２の撮像素子に第１の色成分像を結像する。第２の光波長分離膜を透過した第１の色成分以外の可視光は第３のプリズムに入射する、第３のプリズムに設けられた第３の光波長分離膜は第２の色成分を反射し第３の撮像素子に第２の色成分像を結像する。第３のプリズムに設けられた第３の光波長分離膜は第１の可視光の色成分及び第２の可視光色成分以外の可視光を第３の可視光の色成分として透過する。透過された第３の可視光色成分像は第４の撮像素子に結像されることを特徴とするビデオカメラ装置。
【請求項３】
請求項１に記載のビデオカメラ装置において、第２の撮像素子映像信号から得た輝度信号および色差信号比に第１撮像素子の近赤外画像の輝度信号を加算し、補正した輝度信号を用い色信号比は変えない映像信号構成とする事を特徴とするビデオカメラ装置。
【請求項４】
請求項２に記載のビデオカメラ装置において、第２の撮像素子、第３の撮像素子および第４の撮像素子の映像信号から得た輝度信号および色差信号比に第１撮像素子の近赤外画像の輝度信号を加算し、第２の撮像素子、第３の撮像素子および第４の撮像素子の映像信号から得た色差信号比は変えずに輝度信号のみノイズの少ない信号構成とする事を特徴とするビデオカメラ装置。
【請求項５】
請求項３に記載のビデオカメラ装置において、第１撮像素子の近赤外画像の輝度信号を微分した微分輝度信号を加算し補正した近赤外画像の輝度信号として第２の撮像素子の輝度信号、色差信号に加え、色差信号比は変えずに輝度信号のみノイズの少ない信号構成とする事を特徴とするビデオカメラ装置。
【請求項６】
請求項４に記載のビデオカメラ装置において、第１撮像素子の近赤外画像の輝度信号を微分した微分輝度信号を第１撮像素子の近赤外輝度信号に加算し、補正近赤外画像輝度信号として第２の撮像素子、第３の撮像素子および第４の撮像素子の映像信号から得た輝度信号および色差信号比に前記補正近赤外画像の輝度信号を加算し、第２の撮像素子、第３の撮像素子および第４の撮像素子の映像信号から得た色差信号比は変えずに輝度信号のみノイズの少ない信号構成とする事を特徴とするビデオカメラ装置。
【請求項７】
請求項３に記載のビデオカメラ装置において、第１撮像素子の近赤外画像の結像サイズを第２撮像素子の可視光の結像サイズに準じて画像処理にてサイズ補正を行うことを特徴とするビデオカメラ装置。
【請求項８】
請求項３及び請求項４に記載のビデオカメラ装置において、第１撮像素子の近赤外画像の結像サイズを第２撮像素子、第３撮像素子及び第４撮像素子の可視光の結像サイズに準じて画像処理にてサイズ補正を行うことを特徴とするビデオカメラ装置。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、レンズ系、光学プリズム、光学フィルタ、撮像素子等からなるカラー画像を撮像する撮像装置に関するものである。
【背景技術】
【０００２】  撮像素子は高精細や多画素化が求められ、素子の画素も微細化している。撮像素子の画素が微少になると画素の電荷量が少なくなり、信号としてダイナミックレンジが少なくなり、結果としてＳ／Ｎ比が低下する。ビデオカメラ撮像装置は監視カメラ、防犯カメラ、医療用カメラなどのセキュリティ用、放送用、会議用など機能が多様化した分野で利用されており、夫々の利用目的に応じた撮像システム、撮像画像品質、利便性などが求められている。特に、屋外で利用し高画質が要求されるビデオカメラにおいては、よりワイドなダイナミックレンジ、色再現性、高Ｓ／Ｎ比が要求されるようになってきている。【０００３】  撮像カメラの高画質化には「解像度向上」、「色再現性の向上」、「ノイズの減少」など総合的な処理が求められるが、ビデオカメラが高画質を求める場合、人の知覚的な要素を含んでおり撮像状況が「色再現性の向上」、「ノイズの減少」に大きく影響する。これらの色再現性の可変・編集等の信号処理はできるだけ撮影時にカメラ装置側で適正化された撮像が望ましい。【０００４】  ビデオカメラ装置においては屋外などの明るさ・輝度が大きく変化する環境で撮影することが多く、より広いダイナミックレンジが求められる。前述の如く撮像素子の微細化は要求されるダイナミックレンジと相反するものであり、光での撮像は白飛びや黒つぶれが生ずる。このような高照度でのビデオカメラ撮像は撮像レンズの絞りを制御することで対応している事が多い。また、ダイナミックレンジを確保し、色再現性を向上させるためのビデオカメラ装置における処理方法として高輝度部分の諧調を圧縮して白つぶれ、白とびを少なくする処理も採用されている。逆に、暮れ時や夜間の低照度環境で撮像では補助照明を設け、撮像対象の照度を確保する方法でダイナミックレンジと色再現性を得る方法もあるがビデオカメラとは別に照明装置を装備する事が要求される。【０００５】  これらの機能要求に対し、特許文献１では分光プリズム、分光フィルタを持ち光学系経路に赤外線フィルタを挿入、退去させる機能を持つことが述べられている。【０００６】  特許文献２では被写体の分光情報をプリズム分光した長波長撮像信号と短波長撮像信号に分けて信号処理している。撮像素子に入力光は撮像素子センサーセルの前面に設けられた分光セルのフィルタ特性に依存している。このため特殊撮像素子が必要となる欠点を持つ。【０００７】  特許文献３では近赤外光用撮像と可視光撮像の共用装置が記載されている。その方法は赤外フィルタを光学経路に挿入、退去せる駆動機構を持つことを特徴としている。この機能は特許文献１と同じであり構造的に複雑となる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−１６５２９８公報
【特許文献２】特開２００３−０２３６４３公報
【特許文献３】特開２０００−０５９７９８公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】  上述の従来技術では夜間等の低照度環境下において画像の視認性が低下する欠点があった。本技術はこのような状況に鑑みて生み出されたものであり、低照度環境下においても画像の視認性を向上させることを目的とする。【００１０】  本技術は特許文献１、特許文献２、特許文献３の短所を除去するものであり、複数のプリズムと分光フィルタとにより得られた画像信号を可視光から近赤外光領域まで特殊な撮像素子や分光フィルタの移動機構および補助照明を必要としない。このためフィルタの移動機構も無く、汎用の撮像素子を使用できること、補助照明を必要としないことが重なり簡便な構造で安価なビデオカメラを提供できる。
【発明の効果】
【００１１】  ここに記載された効果は限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１２】
【図１】本技術の実施の形態における撮像装置の第１の構成例を示す図である。
【図２】本技術の実施の形態における撮像装置の第２の構成例を示す図である。
【図３】本技術の実施の形態における近赤外光撮像信号による輝度信号補正図である。
【図４】本技術の実施の形態における近赤外光の画像輪郭及びサイズ変更補正図。
【図５】本技術の実施の形態における近赤外光の輝度信号である。
【図６】本技術の実施の形態における近外光輝度の微分波形である。
【図７】本技術の実施の形態における近外光輝度の加算する微分波形である。
【図８】本技術の実施の形態における近外光輝度の輪郭強調された輝度信号である。
【図９】本技術の実施の形態における撮像装置の構成例と波長別の信号レベルを示す。
【発明を実施するための形態】
【００１３】  以下、本発明の実施形態について、図面を用いて説明する。
【００１４】  図１は請求項１に記載の発明例で、撮像レンズ１０２からの入射光を第１のプリズム１０３に入射し第１のプリズムに形成された光波長分離膜１０４は近赤外光を反射し可視光を透過する機能を持つ。光波長分離膜１０４で反射された近赤外光像を撮像素子１０５に結像させる。光波長分離膜１０４を透過した可視光は第２のプリズム１０６に導かれ、第２の撮像素子１０７に可視光像を結像する。この構造によって近赤外光像と可視光像を別々の撮像素子に結像させる事ができる。
【００１５】  図２は請求項２に記載の発明例で、波長の異なる可視光をそれぞれの波長の撮像素子に入射し、異なる色波長の可視光像を結像させる。撮像レンズ２０２からの入射光を第１のプリズム２０３に入射し、第１のプリズムに形成された光波長分離膜２０４は近赤外光を反射し可視光を透過する機能を持つ。光波長分離膜２０４で反射された近赤外光像を撮像素子２０５に結像させる。第１の光波長分離膜２０４を透過した可視光は第２のプリズム２０６に導かれる。第２のプリズム２０６に形成された第２の光波長分離膜２０８は可視光の第１の色成分を反射し、第１の色成分以外の可視光を透過する、第２のプリズム２０６に形成された光波長分離膜２０８は可視光の第１の色成分を反射し、その像を第２の撮像素子２０７に結像する。第２の光波長分離膜２０８は第２の色成分以外の可視光を透過し第３のプリズム２０９に導く。第３のプリズム２０９への入射光は第３の光波長分離膜２１１に到達する。第３の光波長分離膜２１１は、第２の光波長分離膜２０８を透過した可視光で波長の長い色成分を反射する。この反射された色成分の像はプリズム２０９を経由して撮像素子２１０に結像する。第３の光波長分離膜２１１は第２の光波長分離膜２０８を透過した可視光で波長の短い色成分を透過する。この第３の光波長分離膜２１１を透過した可視光は第４のプリズム２１２に入射し撮像素子２１３に結像する。請求項２の実施例では撮像素子２０７には可視光波長で短波長の青色成分像を結像させ、撮像素子２１０に可視光では長波長の赤色成分像を結像させ、撮像素子２１３には視覚感度の高い緑色像させている例である。波長分離膜２０４、波長分離膜２０８、波長分離膜２１１の分光機能選択することで撮像素子２０７、撮像素子２１０，撮像素子２１３に異なる色成分像を結像させる事が可能である。また、近赤外像の結像位置や結像サイズは若干違う事が知られており、可近赤外光像を補正することで可視光像と近赤外光像の信号のみ合わせには近赤外光像を補正することで違和感のない撮像が可能である。これについては図３、図４に説明で触れる。
【００１６】  請求項３に記載の発明は、請求項１に記載の構造を持つ装置において、通常のビデオカメラでは可視光成分のみで得られる輝度信号と色差成分の信号に基づいて映像信号を得ている。低照度の撮影では、この輝度成分信号レベルが小さくノイズの目立つ画像になる。可視光成分のみで得られた輝度成分に、赤外光撮像の輝度信号を加算することで色信号比は変えず輝度信号のみを改善する。図３は、その輝度信号補正方法で、近赤外光映像の輝度信号を可視光成分のみで得られた輝度信号に加算する方法である。図４は近赤外光の輝度信号のサイズ修正と、その輝度信号微分して輪郭補正に利用する補正方法を示している。輝度信号の微分による輪郭補正については、図５、図６、図７、図８に示す。
【００１７】  請求項４に記載の発明は、請求項２に記載の構造を持つ装置において、通常のビデオカメラでは可視光成分のみで得られる輝度信号と色差成分の信号に基づいて映像信号を得ている。低照度の撮影では、この輝度成分信号レベルが小さくノイズの目立つ画像になる。可視光成分のみで得られた輝度成分に、赤外光撮像の輝度信号を加算することで色信号比は変えず輝度信号のみを改善する。図３は、その輝度信号補正方法で、近赤外光映像の輝度信号を可視光成分のみで得られた輝度信号に加算する方法である。図４は近赤外光の輝度信号のサイズ修正と、その輝度信号微分して輪郭補正に利用する補正方法を示している。輝度信号の微分による輪郭補正については、図５、図６、図７、図８に示す。
【００１８】  請求項５に記載の発明は、請求項３のビデオカメラ装置において、第１撮像素子の近赤外画像の輝度信号を微分した微分輝度信号を加算し、補正した近赤外画像の輝度信号として第２の撮像素子の輝度信号に加え色差信号比は変えずに輝度信号のみ補正する事とした方法である。図５、図６、図７、図８にその補正方法を示す。
【００１９】  請求項６に記載の発明は、請求項４に記載のビデオカメラ装置において、第１撮像素子の近赤外画像の輝度信号を微分した微分輝度信号を第１撮像素子の近赤外輝度信号に加算し、補正近赤外画像輝度信号として第２の撮像素子、第３の撮像素子および第４の撮像素子の映像信号から得た輝度信号および色差信号比に前記補正近赤外画像の輝度信号を加算し、第２の撮像素子、第３の撮像素子および第４の撮像素子の映像信号から得た色差信号比は変えずに輝度信号のみノイズの少ない信号構成とする事を特徴とするビデオカメラ装置である。図５、図６、図７、図８にその補正方法を示す。
【００２０】  請求項３に記載のビデオカメラ装置において、第１撮像素子の近赤外画像の結像サイズを第２撮像素子の可視光の結像サイズに準じて画像処理にてサイズ補正を行うことを特徴とするビデオカメラ装置。図４に、その方法を示す。
【００２１】  請求項３及び請求項４に記載のビデオカメラ装置において、第１撮像素子の近赤外画像の結像サイズを第２撮像素子、第３撮像素子及び第４撮像素子の可視光の結像サイズに準じ、画像処理にてサイズ補正を行うことを特徴とするビデオカメラ装置である。尚、第１撮像素子の近赤外映像の結像サイズ補正については最小錯乱円の逆演算補正を行う事により、撮像素子のメカ移動を行う事無く高画質映像を得る事も可能である。
【符号の説明】
【００２２】１００  図１
１０１  光軸
１０２  撮像レンズ部
１０３  第１プリズム
１０４  光波長分離膜
１０５  撮像素子
１０６  第２プリズム
１０７  第２の撮像素子
２００  図２
２０１  光軸
２０２  撮像レンズ部
２０３  第１プリズム
２０４  光波長分離膜
２０５  撮像素子
２０６  第２プリズム
２０７  撮像素子
２０８  光波長分離膜
２０９  第３プリズム
２１０  撮像素子
２１１  光波長分離膜
２１２  第４プリズム
２１３  撮像素子
３００  図３
４００  図４
５００  図５
５０１  輝度信号
５０２  輝度信号零レベル
６００  図６
６０１  輝度信号の微分波形
７００  図７
７０１  加算する輝度信号の微分波形
８００  図８
８０１  輪郭強調された輝度信号
８０２  輝度信号零レベル
９０１  撮像素子センサーの出力
９０２  近赤外信号出力レベル
９０３  青色信号出力レベル
９０４  赤色信号出力レベル
９０５  緑色信号出力レベル
【図１】
2018023077.tif 000003
【図２】
2018023077.tif 000004
【図３】
2018023077.tif 000005
【図４】
2018023077.tif 000006
【図５】
2018023077.tif 000007
【図６】
2018023077.tif 000008
【図７】
2018023077.tif 000009
【図８】
2018023077.tif 000010
【図９】
2018023077.tif 000011
【手続補正書】
【提出日】平成29年10月30日(2017.10.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
【図１】本技術の実施の形態における撮像装置の第１の構成例を示す図である。
【図２】本技術の実施の形態における撮像装置の第２の構成例を示す図である。
【図３】本技術の実施の形態における近赤外光撮像信号による輝度信号補正図である。
【図４】本技術の実施の形態における近赤外光の画像輪郭及びサイズ変更補正図。
【図５】本技術の実施の形態における近赤外光の輝度信号である。
【図６】本技術の実施の形態における近外光輝度の微分波形である。
【図７】本技術の実施の形態における近外光輝度の加算する微分波形である。
【図８】本技術の実施の形態における近外光輝度の輪郭強調された輝度信号である。
【図９】本技術の実施の形態における撮像装置の構成例と波長別の信号レベルを示す。
【図１０】本技術の実施の形態における近外光輝度による色信号補正である。
【図１１】本技術の実施の形態における近外光撮像信号による画像サイズ補正回路である。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】  請求項３及び請求項４に記載のビデオカメラ装置において、第１撮像素子の近赤外画像の結像サイズを第２撮像素子、第３撮像素子及び第４撮像素子の可視光の結像サイズに準じ、画像処理にてサイズ補正を行うことを特徴とするビデオカメラ装置である。尚、第１撮像素子の近赤外映像の結像サイズ補正については最小錯乱円の逆演算補正を行う事により、撮像素子のメカ移動を行う事無く高画質映像を得る事も可能である。撮像素子出力信号形態がＹ、ｕ、ｖ信号ではなくＲ、Ｇ、Ｂの出力信号形態であるときの信号補正は図１０及び図１１に示す。図１０、図１１の機能により撮像素子のＲＧＢ出力信号に基づく高画質映像を得られる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】１００  図１
１０１  光軸
１０２  撮像レンズ部
１０３  第１プリズム
１０４  光波長分離膜
１０５  撮像素子
１０６  第２プリズム
１０７  第２の撮像素子
２００  図２
２０１  光軸
２０２  撮像レンズ部
２０３  第１プリズム
２０４  光波長分離膜
２０５  撮像素子
２０６  第２プリズム
２０７  撮像素子
２０８  光波長分離膜
２０９  第３プリズム
２１０  撮像素子
２１１  光波長分離膜
２１２  第４プリズム
２１３  撮像素子
３００  図３
４００  図４
５００  図５
５０１  輝度信号
５０２  輝度信号零レベル
６００  図６
６０１  輝度信号の微分波形
７００  図７
７０１  加算する輝度信号の微分波形
８００  図８
８０１  輪郭強調された輝度信号
８０２  輝度信号零レベル
９０１  撮像素子センサーの出力
９０２  近赤外信号出力レベル
９０３  青色信号出力レベル
９０４  赤色信号出力レベル
９０５  緑色信号出力レベル
１０００ 図１０
１１００ 図１１
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図１０
【補正方法】追加
【補正の内容】
【図１０】
2018023077.tif 000012
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】追加
【補正の内容】
【図１１】
2018023077.tif 000013