(57)【要約】      （修正有）【課題】赤外光では距離や塗料などで反射光がかわっても、可視光と同様にＡＥ処理を行い、輝度レベルを揃える。【解決手段】撮像レンズを通過した光を可視光と赤外光に分離し、可視光から得られる像を結像するための可視光撮像センサと、赤外光から得られる像を結像するための赤外光撮像センサと、可視光撮像センサと赤外光撮像センサより得られる信号をデジタル画像信号に変換する画像処理手段と、取得画像から対象物を検出する対象物検出手段と、対象物検出後にＡＥ処理を行うＡＥ処理部と、ＡＥ処理後の可視光撮影画像と赤外光撮影画像を合成する画像合成手段とを有する撮像装置である。可視光撮影画像は画像全体でＡＥ処理を行い、赤外光撮影画像は対象物検出手段により検出した対象物の周辺情報からＡＥ処理を行い、可視光撮影画像と赤外光撮影画像の輝度レベルを揃えてから画像合成を行う。【選択図】図１
2017011634.tif 000002
【特許請求の範囲】
【請求項１】
可視光により撮影を行う可視光撮像手段と、赤外光により撮影を行う赤外光撮像手段と、前記の可視光撮像手段による可視光撮像画像から対象物を検出する対象物検出手段と、赤外光撮像手段の露出量を検知する赤外光露出検知手段と赤外光の露出量を制御する赤外光露出制御手段と、前記可視光撮像手段による可視光撮像画像と前記赤外光撮像手段による赤外光撮像画像を合成する画像合成手段とを有する撮像装置であって、前記赤外光露出検知手段は、前記対象物検出手段による検出結果に応じて前記赤外光撮像画像中の赤外光露出検知領域と、前記赤外光露出制御手段の目標輝度を設定することを特徴とする撮像装置。
【請求項２】
可視光により撮影を行う可視光撮像手段と、前記可視光撮像手段の露出量を検知する可視光露出検知手段と可視光の露出量を制御する可視光露出制御手段と、赤外光により撮影を行う赤外光撮像手段と、赤外光撮像手段の露出量を検知する赤外光露出検知手段と赤外光の露出量を制御する赤外光露出制御手段と、前記可視光撮像手段による可視光撮像画像と前記赤外光撮像手段による赤外光撮像画像を合成する画像合成手段とを有する撮像装置であって、前記可視光露出検知手段の可視光露出検知領域と、前記赤外光露出検知手段の赤外光露出検知領域は、おのおの独立に設定可能であり、前記赤外光露出制御手段の目標輝度は、前記可視光撮影画像の輝度であることを特徴とする撮像装置。
【請求項３】
前記可視光ＡＥ処理手段は、前記撮像手段のシャッター速度、撮影絞り、ＡＧＣにおけるゲインのコントロールを制御することを特徴とする請求項２に記載の撮像装置。
【請求項４】
赤外照明を更に持ち、前記赤外光ＡＥ処理手段は、前記撮像手段のシャッター速度、撮影絞り、ＡＧＣにおけるゲインのコントロール、赤外光照明の光量を制御する事を特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項５】
前記可視光撮像手段と前記赤外光撮像手段は、光学系の一部を共有化しており、波長分離手段で可視光と赤外光を波長分離し、可視光画像と赤外光画像を得ることを特徴とする請求項１乃至請求項４の何れか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法、並びにプログラムに関し、特に、可視光撮影画像と赤外光撮影画像をそれぞれ撮影し、合成することが可能な撮像装置およびその制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、車載用カメラや監視カメラでは、可視光カメラと赤外光カメラとを用いて撮像するものが普及している。
【０００３】
特許文献１においては、赤外光カメラによって人や車などの障害物を撮像、可視光カメラによって路面を撮像し、両画像を合成する事で、霧などが発生している環境においても障害物と路上の白線等の情報とが現れた画像を得る方法が提案されている。
【０００４】
また、特許文献２においては、可視光撮影画像と赤外光撮影画像を合成する際に、合成パラメータを周囲環境に応じて変更し、対象物検出処理に適した対象物検出用画像を生成する方法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０９−３７１４７号公報
【特許文献２】特開２０１３−２４７４９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１、２のいずれも、可視光で撮影した画像と、赤外光で撮影した画像とを合成する際に、輝度レベルの差が大きくなり、合成画像として利用価値の低い画像となる事が分かった。この問題は、赤外光では距離や塗料などで反射光がかわるため、可視光と同様にＡＥ処理を行っても輝度レベルが揃わない事などが原因である。
【０００７】
また、この問題は、赤外照明を使用して撮影する場合に顕著に表れる事が分かった。これは、赤外照明が到達する被写体と、到達しない被写体とが混在する状況では、赤外照明が到達する被写体と、到達しない被写体の明るさに大きな差が出るため、赤外光撮影時のＡＥ処理と、可視光撮影時のＡＥ処理の差が大きくなってしまうためである。
【０００８】
本発明は、可視光で撮影した画像と、赤外光で撮影した画像を合成する際に、それぞれの画像の輝度レベルを揃える事により、利用価値の高い画像を得ることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明に係る撮像装置は、可視光により撮影を行う可視光撮像手段と、赤外光により撮影を行う赤外光撮像手段と、前記の可視光撮像手段による可視光撮像画像から対象物を検出する対象物検出手段と、赤外光撮像手段の露出量を検知する赤外光露出検知手段と赤外光の露出量を制御する赤外光露出制御手段と、前記可視光撮像手段による可視光撮像画像と前記赤外光撮像手段による赤外光撮像画像を合成する画像合成手段とを有する撮像装置であって、前記赤外光露出検知手段は、前記対象物検出手段による検出結果に応じて前記赤外光撮像画像中の赤外光露出検知領域と、前記赤外光露出制御手段の目標輝度を設定することを特徴とする。
【発明の効果】
【００１０】
本発明に係る撮像装置よれば、可視光撮影画像と赤外光撮影画像の合成において、可視光撮影画像と赤外光撮影画像の輝度レベルを揃える事が可能である。それぞれの画像の輝度レベルを揃える事により、利用価値の高い画像を得る事ができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る撮像装置の構成を示す図である。
【図２】本発明の実施形態に係る撮像部（撮像手段）の構成を示す図である。
【図３】本発明の実施形態における撮影画像を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１３】
［第１の実施形態］
図１は本発明の第１の実施形態に係るカメラの構成を示す図である。また、図２は可視光撮像部（撮像手段）１０１と赤外光撮像部１０６の詳細な構成を示した図である。なお、同図では、撮像装置における一部の構成要素が省略されている。
【００１４】
図１において、可視光撮像部１０１と赤外光撮像部１０６は図２に示すような、数枚のレンズ群からなるレンズ２０１、ダイクロイックミラー２０２、赤外光撮像センサ２０３、可視光撮像センサ２０４、撮影絞り２０５、赤外光用撮影絞り２０６、不図示のＣＤＳ回路、ＡＧＣアンプ、Ａ／Ｄ変換器、および近赤外光を発するＬＥＤ光源からなる照明光源を備える。また、不図示の操作部を持ち、操作部において可視光撮影におけるＡＥ処理領域の設定が可能である。ＡＥ処理領域の設定とは画像全体、中央重点測光、スポット測光などを指す。
【００１５】
レンズ群を通過した光は、ダイクロイックミラーにより波長分離される。可視光はダイクロイックミラーを通過し、可視撮像センサ２０４に結像される。可視撮像センサは、ＣＣＤセンサ、ＣＭＯＳセンサなどから成る。赤外光は、ダイクロイックミラーにより反射され、赤外光撮像センサ２０３に結像される。赤外光撮像センサは、ＣＣＤセンサ、ＣＭＯＳセンサ、ＩｎＧａＡｓセンサなどから成る。いずれの撮像素子も結像された光学像を光電変換して、アナログ画像信号として出力する。
【００１６】
また、可視光撮像部１０１、赤外光撮像部１０６には、共に不図示のＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路により、撮像素子より入力した電気信号に対して相関二重サンプリング処理などを実施される。さらに、不図示のＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）アンプにより、ＣＤＳ回路より入力された電気信号に対して増幅処理などを行う。また、不図示のＡ／Ｄ変換器によって、ＡＧＣアンプにより増幅処理されたアナログ信号をデジタル信号へと変換する。
【００１７】
可視光撮像部１０１により変換されたデジタル信号は、検出部１０２において、可視光画像の自動露出制御（以下、ＡＥ）用の評価値を計算する。ＡＥ評価値は、撮影画像全体の輝度信号を基に、適正な露出となるように、シャッター速度、撮影絞り２０５、ＡＧＣにおけるゲインのコントロールを行う。その後、画像信号処理部１０３により色変換、ＷＢ処理、ガンマ補正などの画像処理が行われる。
【００１８】
そして、画像信号処理部１０３から出力された画像から、対象物の検出処理を対象物検出部１０４において行う。本実施例では、顔画像を対象物としており、顔検出処理を行う。顔検出処理としては、主成分分析による固有顔（eigenface）を用いた方法がある。この方法は「M.A.Turk and A.P.Pentland, "Face recognition using eigenfaces", Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp.586-591, 1991.」に記載されている。また、特開平９−２５１５３４号公報に示されているように、目、鼻、口等の特徴点を利用した方法により、顔検出処理を行うようにしてもよい。
【００１９】
これらの方法は、入力画像と複数の標準パターンとのパターンマッチング法により入力画像が人物の顔であるかどうかを判定している。顔検出処理での顔検出の結果としては、顔画像の特徴点の情報（鼻・口・顔の輪郭形状、サングラスのフレームの形・色、帽子の形状・色、及びそれぞれのサイズと特徴点の位置等）が挙げられる。尚、顔検出処理自体は、前述したように公知の技術で実現できるので、ここでは、その詳細な説明を省略する。さらに本実施例においては、検出された顔画像について、サングラスの有無を検知する。
【００２０】
サングラスの検知は、検出された眼の周辺エリアの平均輝度を所定のしきい値と比較することによって行う。所定のしきい値よりも暗ければ、サングラスをしているものと判断する。なお、上述の顔検出において、眼の特徴点の抽出程度から判断してももちろん良く、さらに眼に相当するエリアにエッジがどの程度存在するかを判断基準としても良い。顔の検知結果は、検出された顔の位置とサイズ、顔エリアの平均輝度をＡＥ処理部１０８に出力される。
【００２１】
本実施例における撮像装置は対物レンズらダイクロイックミラーまでの光学系を共有しているため、可視光撮像と赤外光撮像において、撮影画像の位置（画角）が一致している。
【００２２】
また、可視光画像データは、画像データ保存部１０５へデータを一時的に保存する。
【００２３】
一方、赤外光撮像部１０６により変換されたデジタル信号は、検出部１０７において、赤外光画像のＡＥ用の評価値を計算する。ＡＥ評価値は、画像全域において計算される。
【００２４】
その後、対象物検出部の検出結果と、検出部１０７の結果からＡＥ処理部において赤外光のＡＥ処理を行う。赤外光のＡＥ処理は、対象物検出結果の顔領域について行われ、目標輝度として、可視光画像の平均輝度を設定し、この目標輝度に赤外光画像の平均輝度が近づくように露出制御を行う。露出制御の内容は、前述の可視光のＡＥ処理同様、シャッター速度、赤外光用撮影絞り２０６、ＡＧＣにおけるゲインのコントロールに加え、赤外光照明光源の制御を行う。さらに、目標輝度と赤外画像輝度の差を画像信号処理部へ出力する。
【００２５】
画像信号処理部１０９において、ガンマ補正などの画像処理を行い画像合成部１１０に出力する。この際、ＡＥ処理部からの目標輝度と赤外輝度の差を埋めるために、γ変換のγ値を補正する。
【００２６】
画像合成部１１０においては、画像処理後の赤外光撮影画像と、画像データ保存部に一時保存している可視光撮影画像を合成処理する。合成処理は、前述のサングラスの検出結果により合成領域が求められ、サングラスエリアを赤外光撮影画像、それ以外の領域を可視光撮影画像で合成する。画像合成処理が行われた画像データは、画像表示部１０７によって表示される。
【００２７】
図４に、サングラスを掛けた人物を赤外照明を用いて撮影し、処理した結果の例を示す。サングラスを着用した人物の可視光画像を図４（Ａ）、赤外画像単独で露出制御を行った赤外光画像を図４（Ｂ）、可視光画像と赤外画像単独で露出制御を行った赤外光画像との合成画像を図４（Ｃ）、本実施例による露出制御を行った赤外光画像を図４（Ｄ）、可視光画像と本実施例による露出制御を行った赤外光画像との合成画像を図４（Ｅ）に示す。
【００２８】
図４（Ａ）では、サングラスを掛けた顔画像と背景が撮影されている。一方、図４（Ｂ）に示す赤外画像単独で露出制御を行った赤外光画像においては、赤外照明による照明範囲にある人物と、赤外照明の照明範囲外にある背景全体で露出制御を行っているため、赤外照明の照明範囲外となる背景が写っている半面、赤外照明の照明範囲である顔画像は白飛びしている。顔画像が、白飛びしているため、サングラスの奥の眼は確認できず、合成画像図４（Ｃ）においても、サングラスの奥の眼は確認できない。
【００２９】
一方、本実施例により露出制御を行った赤外光画像においては、可視光画像図４（Ａ）の顔を抽出し、顔位置で露出制御をしているため、背景は黒つぶれしているが、顔画像の白飛びは抑制される。そのため、合成画像図４（Ｅ）において、サングラスの奥の眼が視認できる形で合成され、輝度も揃っているため、違和感のない合成画像が得られる。
【００３０】
上記実施形態によれば、可視光撮影画像と赤外光撮影画像の合成処理において、可視光撮影画像と赤外光撮影画像の輝度レベルを揃える事が可能である。合成部分が自然にみえるため、合成画像の品位を向上、認識精度を向上する事ができる。
【００３１】
［その他の実施形態］
第１の実施形態では、可視光撮影画像は通常通りAE処理を行い、赤外光撮影画像は、対象物検出手段により対象を検出し、その周辺の情報からAE処理を行い、可視光撮影画像と赤外光撮影画像の輝度レベルを合わせてから行う合成手段について説明した。しかしながら、必ずしも対象物検知をする必要はなく、画像中の固定領域についてＡＥ処理を行うように実装しても良い。
【００３２】
＜可視の領域＞
第１の実施例において、画像全体のＡＥ処理としたが、中央重点測光やスポット測光などでももちろん良い。
【符号の説明】
【００３３】
１０１  撮像部、１０２  対象物検出部、１０３  ＡＥ処理部、
１０４  画像信号処理部、１０５  画像データ保存部、１０６  画像合成部、
１０７  画像表示部
【図１】
2017011634.tif 000003
【図２】
2017011634.tif 000004
【図３】
2017011634.tif 000005