(57)【要約】      （修正有）【課題】被写体の色情報を失わせずに、可視光画像と赤外光画像を合成した画像を生成するための技術を提供する。【解決手段】画像処理装置において、可視光画像と非可視光画像とを合成して合成画像を生成する合成手段を備える。合成手段は、可視光画像の輝度が所定値以上の第１の領域と、第１の領域とは異なる第２の領域とを設定し、可視光画像と非可視光画像の合成割合が第１の領域と第２の領域とで異なるように合成画像を生成する。【選択図】図３
2020150331.tif 000002
【特許請求の範囲】
【請求項１】
可視光画像と非可視光画像とを合成して合成画像を生成する合成手段を備え、
前記合成手段は、
前記可視光画像の輝度が所定値以上の第１の領域と、前記第１の領域とは異なる第２の領域とを設定し、
前記可視光画像と前記非可視光画像の合成割合が前記第１の領域と前記第２の領域とで異なるように前記合成画像を生成することを特徴とする画像処理装置。
【請求項２】
前記第１の領域と前記第２の領域とのうち一方を前記可視光画像のみとし、他方を前記非可視光画像のみとして前記合成画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定値は、前記可視光画像の輝度のヒストグラムにおいて輝度の分布の分離度が大きくなるように決定されることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記所定値は、前記可視光画像のフレーム毎に決定されることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１の領域と前記第２の領域とのうちから前記可視光画像の合成割合を前記非可視光画像の合成割合よりも大きくする領域を決定する決定手段を更に備えることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記決定手段は、前記可視光画像において指定された領域に基づいて前記可視光画像の合成割合を大きくする領域を決定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記決定手段は、
前記指定された領域に含まれる画素の平均輝度が、前記指定された領域以外の領域に含まれる画素の平均輝度以上の場合に、前記可視光画像の合成割合が前記非可視光画像の合成割合よりも大きくなる領域を前記第１の領域に決定し、
前記指定された領域に含まれる画素の平均輝度が、前記指定された領域以外の領域に含まれる画素の平均輝度よりも低い場合に、前記可視光画像の合成割合が前記非可視光画像の合成割合よりも大きくなる領域を前記第２の領域に決定する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記決定手段は、前記可視光画像に含まれる被写体に基づいて前記可視光画像の合成割合を前記非可視光画像の合成割合よりも大きくする領域を決定することを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記決定手段は、
前記被写体に対応する領域の画素の平均輝度が、前記被写体に対応する領域以外の領域の画素の平均輝度以上の場合に、前記可視光画像の合成割合が前記非可視光画像の合成割合よりも大きくなる領域を前記第１の領域に決定し、
前記被写体に対応する領域の画素の平均輝度が、前記被写体に対応する領域以外の領域の画素の平均輝度よりも低い場合に、前記可視光画像の合成割合が前記非可視光画像の合成割合よりも大きくなる領域を前記第２の領域に決定する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記決定手段は、前記非可視光画像で被写体認識を行った場合の演算値に対する前記可視光画像で被写体認識を行った場合の演算値の比率を算出し、複数の被写体のうちで前記比率が最も大きくなる被写体に基づいて前記可視光画像の合成割合を前記非可視光画像の合成割合よりも大きくする領域を決定し、
前記演算値は、被写体認識を行った場合の精度と再現率とに基づく演算により得られることを特徴とする請求項５に記載の画像処理装置。
【請求項１１】
前記決定手段は、
前記比率が最も大きくなる被写体に対応する領域の画素の平均輝度が、他の被写体に対応する領域の画素の平均輝度以上の場合に、前記可視光画像の合成割合を前記非可視光画像の合成割合よりも大きくする領域を前記第１の領域に決定し、
前記比率が最も大きくなる被写体に対応する領域の画素の平均輝度が、他の被写体に対応する領域以外の領域の画素の平均輝度よりも低い場合に、前記可視光画像の合成割合を前記非可視光画像の合成割合よりも大きくする領域を前記第２の領域に決定する
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記可視光画像に３つ以上の被写体が含まれる場合、前記決定手段は、前記可視光画像と前記非可視光画像とでそれぞれ被写体認識を行った場合の演算値の比率の調和平均に基づいて前記可視光画像の合成割合を前記非可視光画像の合成割合よりも大きくする領域を決定し、
前記演算値は、被写体認識を行った場合の精度と再現率とに基づく演算により得られることを特徴とする請求項５に記載の画像処理装置。
【請求項１３】
前記決定手段は、
前記３つ以上の被写体から得られた前記演算値の比率を、前記第１の領域と前記第２の領域にそれぞれが対応する２つのグループに分類して前記グループごとの前記演算値の比率の調和平均を算出した後に、前記２つのグループの調和平均の比率を算出し、
前記調和平均の比率が最も大きくなる分類について、
前記第１の領域に対応するグループの前記調和平均がより大きい場合に、前記可視光画像の合成割合を前記非可視光画像の合成割合よりも大きくする領域を前記第１の領域に決定し、
前記第２の領域に対応するグループの前記調和平均がより大きい場合に、前記可視光画像の合成割合を前記非可視光画像の合成割合よりも大きくする領域を前記第２の領域に決定する、
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記決定手段は、前記被写体の大きさに応じた重みづけを付加して前記調和平均を算出することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記合成手段は、前記可視光画像における画素の明暗差が所定値よりも小さい場合、前記第１の領域と前記第２の領域とについて前記可視光画像と前記非可視光画像との合成割合を共通とすることを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
【請求項１６】
前記第１の領域における前記可視光画像の合成割合が前記第２の領域における前記可視光画像の合成割合よりも大きい第１のモードと、前記第１の領域における前記可視光画像の合成割合が前記第２の領域における前記可視光画像の合成割合よりも小さい第２のモードと、に切り替え可能な切替手段を更に備えることを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
【請求項１７】
前記可視光画像を生成する第１の撮像素子と前記非可視光画像を生成する第２の撮像素子の露出目標を設定する制御手段を更に備え、前記制御手段は、
前記第１のモードにおいて、前記第１の撮像素子の露出目標を、前記第２の撮像素子の露出目標よりも高く設定し、
前記第２のモードにおいて、前記第２の撮像素子の露出目標を、前記第１の撮像素子の露出目標よりも高く設定する
ことを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記制御手段は、前記第1のモードにおいて、
前記第１の領域に対応する可視光画像が適正露出レベルになるように、前記第１の撮像素子の前記露出目標を設定し、
前記第２の領域に対応する前記非可視光画像が適正露出レベルになるように前記第２の撮像素子の前記露出目標を設定する
ことを特徴とする、請求項１７に記載の画像処理装置。
【請求項１９】
前記制御手段は、前記第２のモードにおいて、
前記第１の領域に対応する、前記非可視光画像が適正露出レベルになるように前記第２の撮像素子の前記露出目標を設定し、
前記第２の領域に対応する可視光画像が適正露出レベルになるように前記第１の撮像素子の前記露出目標を設定する
ことを特徴とする、請求項１７または１８に記載の画像処理装置。
【請求項２０】
請求項１から１９のいずれか１項に記載の画像処理装置と、
前記画像処理装置と通信し、合成画像を取得する情報処理装置と
を含むシステム。
【請求項２１】
可視光画像と非可視光画像とを合成して合成画像を生成する合成手段を備える画像処理装置の制御方法であって、
前記合成手段が、
前記可視光画像の輝度が所定値以上の第１の領域と、前記第１の領域とは異なる第２の領域とを設定するステップと、
前記可視光画像と前記非可視光画像の合成割合が前記第１の領域と前記第２の領域とで異なるように前記合成画像を生成するステップと
を含むことを特徴とする画像処理装置の制御方法。
【請求項２２】
コンピュータを請求項１から１９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理装置の制御方法、システム、及び、プログラムに関する。
【背景技術】
【０００２】
監視用途などの撮像装置においては、様々な環境下において、鮮明な被写体像を取得することが要求される。可視光のみでは被写体像が取得できない環境においても、鮮明な被写体像を取得できる撮像装置として、可視光に感度を有する固体撮像素子に加えて、赤外光に感度を有する固体撮像素子を備え、これら二つの固体撮像素子で取得した画像を合成して表示する撮像装置が提案されている（特許文献１、特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８０２７０号公報
【特許文献２】特開２００７−２０８３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、可視光撮像素子で取得した画像（以下、可視光画像）の一部の領域が白トビしている場合に、白トビしている領域を、赤外光撮像素子で取得した画像（以下、赤外光画像）に置き換える手法が提案されている。また、特許文献２では、可視光画像の一部の領域が黒ツブレしている場合に、黒ツブレしている領域を、赤外光画像に置き換える手法が提案されている。このように、特許文献１や特許文献２の手法を使用することで、可視光画像の一部の領域において、白トビや黒ツブレが発生した場合でも、鮮明な被写体像を取得できる。
【０００５】
しかしながら、上述の手法では、赤外光画像で置き換えた領域においては、被写体の色情報が失われてしまう、という課題が発生する。特に、監視用途など、被写体を認識するために撮像装置を使用することを想定すると、被写体認識のために色情報が重要である場合に、色情報の不足は、大きな課題となる。
【０００６】
そこで、本発明は、被写体の色情報を失わせずに、可視光画像と赤外光画像を合成した画像を生成するための技術を提供する。
【課題を解決するための手段】
【０００７】
上記課題を解決するための発明は、画像処理装置であって
可視光画像と非可視光画像とを合成して合成画像を生成する合成手段を備え、
前記合成手段は、
前記可視光画像の輝度が所定値以上の第１の領域と、前記第１の領域とは異なる第２の領域とを設定し、
前記可視光画像と前記非可視光画像の合成割合が前記第１の領域と前記第２の領域とで異なるように前記合成画像を生成することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、被写体の色情報を失わせずに、可視光画像と赤外光画像を合成した画像を生成するための技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に対応するシステムの構成例を示す図。
【図２】実施形態に対応する波長選択プリズムの分光透過スペクトルと分光反射スペクトルの例を示す図、及び、実施形態に対応する装置のハードウェア構成の一例を示す図。
【図３】実施形態に対応する処理の一例を示すフローチャート。
【図４】実施形態に対応するモード選択方法を説明するための図。
【図５】実施形態に対応する第１の閾値の設定方法を説明するための図。
【図６】実施形態に対応する第１の閾値をユーザが設定する方法を説明するための図。
【図７】実施形態に対応する第１の閾値をユーザが設定する他の方法を説明するための図。
【図８】実施形態に対応する領域分割方法の一例を説明するための図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１１】
［実施形態１］
図１を参照して、発明の実施形態に対応するシステムの構成を説明する。図１は、本実施形態にかかわるシステム１０の構成例を示す図である。本実施形態に対応するシステム１０は、撮像装置１００と情報処理装置１２０とがネットワーク１１０を介して接続されることにより構成される。
【００１２】
以下、実施形態に対応する撮像装置１００及び情報処理装置１２０の構成について説明する。撮像装置１００は、例えば、結像光学系１０１と光分離部１０２からなる１つの光学系と、光学系を共通の光学系とする２つの撮像素子１０３、１０４とを備える画像処理装置として構成される。撮像素子は、一例として光学系を通過した可視光を受光し画像信号（可視光画像）を生成する可視光撮像素子１０３と、光学系を通過した非可視光である赤外光を受光し画像信号（赤外光画像、或いは、非可視光画像）を生成する赤外光撮像素子（非可視光撮像素子）１０４とで構成される。撮像素子１０３、１０４は、ＣＭＯＳセンサ、ＣＣＤセンサ等により構成され、撮像面に結像された被写体像を電気信号に変換して出力する。撮像素子１０３等から出力された電気信号としての撮像信号は、画像処理部１０６に入力される。
【００１３】
光学系における結合光学系１０１は、単数のレンズあるいは複数のレンズ群からなる。また、ズーム、フォーカス、絞り、手振れ補正等の各制御機構のいずれか、あるいはそれらの内の複数を有していても良い。光分離部１０２は、波長選択プリズムで構成され、特定波長よりも短い波長の光（可視光）は波長選択プリズムを透過し、特定波長よりも長い波長の光（赤外光）は波長選択プリズムで反射されるように構成されている。なお、ここで透過する／反射するとは８０％以上の光が透過する／反射することを意味する。透過した可視光成分は、後方に配置された可視光撮像素子１０３により光電変換され、画像化される。一方、反射された赤外光成分は、光軸を通り配置された赤外光撮像素子１０３により光電変換され、画像化される。ここで、特定波長を、例えば６００ｎｍ以上７５０ｎｍ以下とすることができる。この場合、可視光と赤外光の境目は６００ｎｍ以上７５０ｎｍ以下と定義される。また、赤外光は、例えば特定波長から２５００ｎｍまでの波長の光に相当する。
【００１４】
可視光撮像素子１０３中の画素は、ＲＧＢベイヤー配列のオンチップカラーフィルタを備えており、可視光撮像素子１０３から出力されるＲＧＢ形式の可視光画像には輝度情報のほかに色情報が含まれている。一方、赤外光撮像素子１０４から出力される赤外光画像には、輝度情報のみが含まれている。なお、可視光撮像素子１０３は可視光をメインとした感度分布を持っていればよく、可視光以外の感度分布を持っていてもよい。また、赤外光撮像素子１０４は赤外光をメインとした感度分布を持っていればよく、赤外光以外の光に対しても感度分布を持っていてもよい。可視光撮像素子１０３、赤外光撮像素子１０４の駆動および画像信号の読み出しは、制御部１０５が制御している。
【００１５】
図２（Ａ）は、波長選択プリズムの分光透過スペクトルと分光反射スペクトルの例を示す。実線が透過、点線が反射である。このように、特定波長を境として、透過と反射とが入れ替わる。
【００１６】
可視光撮像素子１０３、赤外光撮像素子１０４は、それぞれが制御部１０５、画像処理部１０６と接続して制御され、共通の光学系を利用して互いに同期した撮像が行われる。このような同期撮像により得られた撮像信号は、後段の合成処理を経て１フレームの合成画像を構成することとなる。そこで、これ以降、「フレームごと」という場合には、同期撮像により得られた撮像信号や、当該撮像信号から得られた画像（合成画像を含む）のことを意味するものである。撮像素子１０３等から送信された撮像信号は画像処理部１０６において各種画像処理が施される。
【００１７】
画像処理部１０６は、撮像信号に対して画素補間処理や色変換処理等の画像処理を行って、撮像素子ごとの撮像画像データ（「撮像画像」、あるいは、合成処理の対象となる画像として「合成前画像」ともいう。）を生成する。当該画像処理には、例えば画素欠陥補正やレンズ補正などの各種補正処理、黒レベルやフォーカス、露出などの調整を行うための検波処理、デモザイク処理、ホワイトバランス処理、ホワイトバランス処理やガンマ補正処理、エッジ強調処理、ノイズ抑制処理などが含まれていても良い。
【００１８】
また、画像処理部１０６は、ユーザにより選択された撮影モードに応じて、共通の光学系により同期して撮像された可視光画像と赤外光画像とを合成する合成処理により合成画像を生成する。合成処理とは、例えば以下のような処理である。まず、ＲＧＢ形式で読み出された可視光画像をデモザイク処理し、現像してＹＵＶ形式の画像に変換する。この際の可視光画像から得られたＹＵＶ信号を各々、Ｙ１、Ｕ１、Ｖ１とする。同様に、赤外光画像も現像してＹＵＶ形式に変換する。この際の赤外光画像のＹ信号をＹ２とする。なお、赤外光画像は色情報を有さず、ＵとＶの値はゼロである。
【００１９】
次に、Ｙ１信号とＹ２信号とを合成して、合成画像を生成する。具体的には、合成画像のＹＵＶ信号を各々、Ｙ３、Ｕ３、Ｖ３とした時、以下のような式を用いて合成画像を生成する。
Ｙ３＝α×Ｙ１＋（１−α）×Ｙ２・・・（式１）
Ｕ３＝Ｕ１・・・（式２）
Ｖ３＝Ｖ１・・・（式３）
【００２０】
ここで、αは可視光画像と赤外光画像との合成割合を決定するための係数であって０以上１以下の実数である。合成画像は、αの値が大きいほど可視光画像に近いため、色再現性に優れた画像信号となる。本実施形態における撮像装置１００ではαの値を領域毎で異ならせている。具体的には、可視光画像の輝度（Ｙ１）が所定値以上（第１の閾値以上）の領域（第１の領域）と、所定値未満（第１の閾値未満）である第１の領域以外の領域（第２の領域）とでαの値を異ならせることができる。詳細は後述する。また、ユーザにより選択された撮影モードに応じて、制御部１０５が、可視光撮像素子１０３の露光条件と赤外光撮像素子１０４の露出目標（所謂ＥＶ値）を決定することができる。
【００２１】
各撮像画像はメモリ１０７に保存される。さらに低照度環境ではメモリ１０７に保存された撮像素子ごとの撮像画像は、画像処理部１０６内の画像合成部にてフレームごとに順次、画像合成され、可視光画像と赤外光画像の合成画像としてメモリ１０７に保存される。
【００２２】
制御部１０５は、例えばＣＰＵ，ＭＰＵ、その他の専用演算回路などで構成することができ、撮像装置１００全体の制御を司る。メモリ１０７は不揮発性メモリとＲＡＭ等で構成される。不揮発性メモリは制御部１０５の処理手順（制御プログラム）や、各種パラメタを記憶する。ＲＡＭは制御部１０５のワークエリアとして使用され、画像処理を行うための記憶領域としても使用される。また、制御部１０５は、画像処理部１０６、図示しない画像合成部、圧縮伸長部を含むことができ、これらのブロックが有する処理機能は、例えば、ＣＰＵがメモリ１０７に記憶されている対応するプログラムを実行することにより実現することができる。あるいは、制御部１０５を構成する専用演算回路により実現されてもよい。
【００２３】
制御部１０５はさらに、図示しない圧縮伸長部にて合成画像を圧縮して圧縮画像を生成してもよい。圧縮伸長部は、静止画圧縮及び動画像圧縮を実行し、画像圧縮方式は、例えば、Ｈ．２６４、Ｈ．２６５、ＭＰＥＧまたはＪＰＥＧなどの規格に基づくことができる。さらに、ｍｐ４やａｖｉ形式などを含む任意の形式の画像を生成しても良い。圧縮伸長部において生成された圧縮画像は、撮像装置１００に装着された不図示の記録媒体やメモリ１０７等に記録されるとともに、通信部１０８からネットワーク１１０を介して外部の情報処理装置１２０に送信される。通信部１０８は、ネットワーク処理回路であり、圧縮された合成画像を通信プロトコルに準拠した通信信号に変換した上で、ネットワーク１１０上へと配信する。ネットワーク１１０は、例えば、ＬＡＮやインターネット等のＩＰベースの通信が可能な通信回線として構成することができる。あるいは、撮像装置１００と情報処理装置１２０との間の接続を、情報転送用ケーブル（USB、DVI、HDMI等の各種の接続用ケーブル）によって有線接続により実現してよいし、BluetoothやWLANのような無線通信プロトコルに従って無線接続により実現してもよい。
【００２４】
情報処理装置１２０は、典型的にはパーソナルコンピュータなどとして構成され、ネットワーク１１０を介して撮像装置１００と接続されている。情報処理装置１２０の制御部１２１は、ＣＰＵ，ＭＰＵ、その他の専用演算回路などで構成することができ、情報処理装置１２０全体の制御を司る。また、制御部１２１は、撮像装置１００から合成画像を受信し、伸長処理を行うとともに、撮像装置１００をコントロールするための制御情報やコマンドを送信することで各種制御を行う。表示部１２２は、情報処理装置１２０のユーザ（操作者）に対し、ユーザインタフェース（ＵＩ）表示や撮像装置１００から受信した画像の表示を行う。操作部１２３は、ユーザからの操作入力を受け付けるユーザ物理的なインタフェースである。表示部１２２に表示されたアイコン等のユーザインターフェース（ＵＩ）に基づき、マウスやキーボード等を操作して所望の制御入力を行うことができる。通信部１２４は、ネットワーク処理回路であり、ネットワーク１１０を介して撮像装置１００と通信を行い、撮像装置１００が配信した合成画像を受信するとともに、撮像装置１００の動作を制御することが可能である。
【００２５】
上述の撮像装置１００及び情報処理装置１２０のハードウェア構成の一例を図２（Ｂ）に示す。図２（Ｂ）は、撮像装置１００及び情報処理装置１２０の、主に制御部や処理部に関わるハードウェア構成の一例を示すブロック図である。ここでは、撮像装置１００における撮像素子や光学機構については省略している。
【００２６】
図２（Ｂ）において、ＣＰＵ２０１は、ハードディスク装置（以下、ＨＤと呼ぶ）２０６に格納されているオペレーティングシステム（ＯＳ）や制御プログラム、処理プログラム等を実行して、本発明の実施形態に対応する処理を実現する。さらには、インタフェース（Ｉ／Ｆ）２０９を介した外部の装置とのデータ送受信を制御する。ＣＰＵ２０１は、図１の制御部１０５や画像処理部１０６として機能しえる。
【００２７】
ＲＯＭ２０２は、内部に基本Ｉ／Ｏプログラムの他、所定の処理を実行するアプリケーションプログラム等の各種データを記憶する。ＲＡＭ２０３は各種データを一時記憶し、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。外部記憶ドライブ２０４は、記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア（記録媒体）２０５に記憶されたプログラム等を本コンピュータシステムにロードすることができる。また、撮像装置１００で撮像して得られた画像を蓄積することができる。外部記憶装置２０６は、本実施形態では大容量メモリとして機能するＨＤ（ハードディスク）を用いている。ＨＤ２０６には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。なお、ハードディスクの代わりに、フラッシュ（登録商標）メモリ等の不揮発性記憶装置を用いても良い。図１に示すメモリ１０７は、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤ２０６により構成される。
【００２８】
指示入力装置２０７は、タッチパネルや各種ボタン、各種キー等がこれに相当する。システムバス２１０は、装置内のデータの流れを司る。
【００２９】
出力装置２０８は、指示入力装置２０７から入力されたコマンドや、それに対する装置の応答出力等を出力する。出力装置２０８にはディスプレイ、スピーカ、ヘッドフォン端子等を含むことができる。システムバス２１０は、装置内のデータの流れを司る。
【００３０】
インタフェース（以下、Ｉ／Ｆという）２０９は、外部装置とのデータのやり取りを仲介する役割を果たす。具体的に、Ｉ／Ｆ２０９は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。
【００３１】
また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。
【００３２】
次に、図３を参照して、撮像装置１００において実行される処理の流れを説明する。図３に対応する処理は、例えば、制御部１０５として機能する１以上のプロセッサ（ＣＰＵ２０１等）が対応するプログラム（ＲＯＭ２０２、ＨＤ２０６等に格納）を実行することにより実現できる。
【００３３】
まず、Ｓ３０１において、制御部１０５は、撮影モードを判定する。撮影モードはユーザが予め指定しておくことができる。ここで、撮影モードの指定方法について説明する。図４は、撮影モードの選択方法を説明するための図である。制御部１０５は、出力装置２０８のディスプレイに図４に示すような画面を表示する。画面４００には、合成画像を表示する領域４０１と共に、モードを選択するための選択インタフェースを表示する領域４０２が含まれる。領域４０２に表示される選択インタフェースには、第１の撮影モードとして「明部色重視モード」と第２の撮影モードとして「暗部色重視モード」とが表示される。図４では「明部色重視モード」が選択されている状態を示している。ユーザは、指示入力装置２０７のボタンやタッチパネルを操作することにより、選択するモードの切替を行うことができる。
【００３４】
本実施形態では、撮像装置１００において図４に示す表示画面が表示され、操作入力が行われる場合を説明するが、実施形態はこれに限定されるものではない。例えば、ネットワーク１１０を介して外部の情報処理装置１２０と接続し、当該情報処理装置１２０において図４に示す画面が表示されてユーザによる選択操作が行われてもよい。その場合には、選択されたモードの情報が撮像装置１００に対してネットワーク１１０を介して送信され、撮像装置１００のメモリ１０７に記憶される。
【００３５】
Ｓ３０１において、制御部１０５が「明部色重視モード」、即ち第１の撮影モードが選択されていると判定すると、処理はＳ３０２Ａに進む。この場合、ユーザは撮影シーンの中で明部に位置する被写体の色情報が暗部に位置する被写体の色情報よりも重要であり、被写体の色再現性を明部において優先することを求めている。そこで、第１の撮影モードでは、明部の色情報を重視して合成画像を生成するように露出目標を決定し、合成処理を行う。
【００３６】
一方、制御部１０５が「暗部色重視モード」、即ち第２の撮影モードが選択されていると判定した場合、処理はＳ３０２Ｂに進む。この場合、ユーザは撮影シーンの中で暗部に位置する被写体の色情報が、明部に位置する被写体の色情報よりも重要であると判断している。そこで、第２の撮影モードでは、暗部の色情報を重視して合成画像を生成するように露出目標を決定し、合成処理を行う。
【００３７】
このようにユーザが撮影モードを選択する場合、明部と暗部の色情報の重要度を判定する必要があるため、画面４００の領域４０１に表示される合成画像はＳＮ比よりも色再現性を重視した画像であるほうが好ましい。そこで、ユーザがモード選択を行う場合に表示する合成画像は、可視光画像に近い（αが１に近い）方が好ましく、可視光画像に一致（α＝１）していると、更に好ましい。
【００３８】
図３に戻り、第１の撮影モードと判定された場合の説明を行う。第１の撮影モードと判定されると、Ｓ３０２Ａにおいて、画像処理部１０６は可視光画像を２つの領域に分割する。当該領域は可視光画像における「明部」と「暗部」とに対応する。本実施形態では、明部に相当する領域を第１の領域と呼び、暗部に相当する領域を第２の領域と呼ぶことにする。第1の撮影モードでは、第１の領域が色再現性を優先する優先領域に指定され、第２の撮影モードでは、第２の領域が色再現性を優先する優先領域に指定されることとなる。領域分割には、輝度値の閾値（第１の閾値：ＴＨ１）を用いる。具体的に、可視光画像において輝度値Ｙ１が所定値以上（第１の閾値以上）である第１の領域と、所定値未満（第１の閾値未満）である第２の領域とに分割する。
【００３９】
ここで、第１の閾値の設定方法について図５を参照して説明する。図５は、実施形態に対応する第１の閾値（ＴＨ１）の設定方法を説明するための図である。図５において、横軸は可視光画像の輝度値（Ｙ１）を表し、縦軸は頻度を表すもので、これにより可視光画像の輝度値のヒストグラムを示している。一般に、明暗差の大きいシーンでは、ヒストグラムの形が二つの山に分かれたような形になる場合が多い。図５では、右側に第1の領域として示す範囲が明部に相当し、左側の第２の領域として示す範囲が暗部に相当する。そこで、第１の閾値を、ヒストグラム中の二つの山の谷間に位置するような値に設定する。具体的には、グレースケール画像の２値化問題の場合に使用される、判別分析法などを用いて、輝度の分布の分離度が最も大きくなるように第１の閾値を決定することができる。なお、ここで「最も大きい」とは、誤差を含んでいても良く、例えば、分布の分離度の最大値に対して、分離度が半分以上になるように、第１の閾値を決定してもよい。
【００４０】
再度、図３に戻り、Ｓ３０３Ａにおいて、制御部１０５は可視光撮像素子１０３及び赤外光撮像素子１０４の露出目標を決定する。可視光撮像素子１０３の露出目標は、第１の領域における可視光画像の輝度Ｙ1の平均値（または中間値）Ｙ11avから決定する。具体的には、適正露出レベル（一般的には、画像信号の飽和レベルの０．１倍から０．２倍程度）をＹ０、露出目標の初期値をＥＶ０とした場合、次のフレームにおける可視光撮像素子１０３の露出目標ＥＶ１１は以下の式で決定される。
【００４１】
ＥＶ１１＝ＥＶ０＋ｌｏｇ２（Ｙ11av／Ｙ０）・・・（式４）
一方、赤外光撮像素子１０４の露出目標は、第２の領域における赤外光画像の輝度Ｙ2の平均値（または中間値）Ｙ22avから決定する。具体的には、次のフレームにおける赤外光撮像素子１０４の露出目標ＥＶ１２は以下の式で決定される。
【００４２】
ＥＶ１２＝ＥＶ０＋ｌｏｇ２（Ｙ22av／Ｙ０）・・・（式５）
【００４３】
即ちＳ３０３Ａでは、次のフレームにおいて、第１の領域における可視光画像の輝度、および第２の領域における赤外光画像の輝度が、各々適正露出レベルになるように、露出目標を決定している。このように第１の撮影モードでは、赤外光撮像素子１０４の露出目標よりも可視光撮像素子１０３の露出目標の方が高くなる。露出目標の変え方としては、具体的には可視光撮像素子１０３と赤外光撮像素子１０４との露光時間（所謂ＴＶ値）や、アナログゲイン（所謂ＳＶ値）を変えればよい。
【００４４】
続くＳ３０４Ａでは、制御部１０５はＳ３０３Ａで決定した露出目標を用いて可視光撮像素子１０３と赤外光撮像素子１０４とを制御して撮像を行った後、画像処理部１０６が生成された可視光画像および赤外光画像を用いて合成処理を行う。具体的には、第１の領域についての係数αをα１、第２の領域の係数αをα２として合成画像を合成する。この時、α１とα２は以下の関係式を満たす。
【００４５】
α１＞α２・・・（式６）
第１の領域について、即ち、Ｙ１≧ＴＨ１の場合、式１は以下のように変形される。
Ｙ３＝α１×Ｙ１＋（１−α１）×Ｙ２・・・（式１'）
また、第２の領域について、即ち、Ｙ１＜ＴＨ１の場合、式１は以下のように変形される。
Ｙ３＝α２×Ｙ１＋（１−α２）×Ｙ２・・・（式１"）
【００４６】
このように、本実施形態の第１の撮影モードでは、明部に相当する第１の領域の方が暗部に相当する第２の領域よりも可視光画像に近くなるように露出目標の設定及び合成処理を行う。その結果、優先領域である第１の領域の方が、第２の領域よりも、色再現性に優れた画像信号となる。
【００４７】
式６において、α１は１に近いほど、α２は０に近いほど好ましく、例えばα１＝１、α２＝０としてもよい。或いは、第１の撮影モードにおいて、合成画像のうち第１の領域が可視光画像と一致し、合成画像のうち第２の領域が赤外光画像と一致するようにしてもよい。
【００４８】
以下で理由を説明する。Ｓ３０４Ａで取得された可視光画像は、第１の領域が適正な露出レベルになるように撮像されているため、可視光画像の第２の領域は、適正よりも暗い条件で撮像されており、黒ツブレが発生しやすい。従って、α２が１に近いほど、第２の領域で黒ツブレが発生しやすくなってしまう。同様に、Ｓ３０４Ａで取得された赤外光画像は、第２の領域が適正な露出レベルになるように撮像されているため、赤外光画像の第１の領域は、適正よりも明るい条件で撮像されており、白トビが発生しやすい。従って、α１が０に近いほど、第１の領域で白トビが発生しやすくなってしまう。
【００４９】
なお、合成処理時に、第１の領域と第２の領域の境界において、合成係数αを段階的に変化させても良い。具体的には、上記では、Ｙ１≧ＴＨ１を第１の領域とし、ＴＨ１＞Ｙ１を第２の領域としていたが、更に第２の閾値ＴＨ２（ＴＨ１＞ＴＨ２）を設けることができる。このときに、例えば、ＴＨ２＞Ｙ１を第２の領域とし、ＴＨ１＞Ｙ１≧ＴＨ２の範囲において、Ｙ１の値が大きい側（第１の領域に近い側）から小さくなる側（第２の領域に近い側）に向かって、合成係数αをα１からα２に向かって漸減するように変化させてもよい。このように、第１の領域と第２の領域の境界において、αを段階的に変化させることで、境界を滑らかにつなぐことができ、自然な合成画像が得ることができる。
【００５０】
図３に戻り、Ｓ３０４Ａにおける処理が完了すると、Ｓ３０２Ａ〜Ｓ３０４Ａの処理をフレーム毎に繰り返す。ここでは、可視光画像のヒストグラムから第１の閾値を更新し、第１の領域における可視光画像の輝度および、第２の領域における赤外光画像の輝度から露出目標を更新し、次のフレームの撮像と合成処理を行う。
【００５１】
このとき第１の閾値は毎フレーム更新しなくてもよい。第１の閾値の更新頻度を減らすことにより処理負荷を低減し、消費電力を低減することができる。その一方、第１の閾値の更新頻度を増やした方が明るさの時間変化に素早く対応できる。また、第１の閾値を更新する場合、変化量を一定値以下に抑えるように制御してもよい。このように第１の閾値の短時間での急激な増減を抑制することで、所謂ハンチング現象の発生を抑制することができる。
【００５２】
次に、Ｓ３０１において第２の撮影モードと判定された場合を説明する。第２の撮影モードと判定されるとＳ３０２Ａと同様にＳ３０２Ｂにおいて、画像処理部１０６は可視光画像を２つの領域に分割する。具体的には、可視光画像において輝度値Ｙ１が第１の閾値以上である第１の領域と、第１の閾値未満である第２の領域とに分割する。第１の閾値は、Ｓ３０２Ａで説明した場合と同様に、可視光画像のヒストグラムを元に決定することができる。
【００５３】
続いて、Ｓ３０３Ｂにおいて、制御部１０５は可視光撮像素子１０３、赤外光撮像素子１０４の露出目標を決定する。可視光撮像素子１０３の露出目標は、第２の領域における可視光画像の輝度Ｙ2の平均値（または中間値）Ｙ12avから決定する。また、赤外光撮像素子１０４の露出目標は、第１の領域における赤外光画像の輝度Ｙ2の平均値（または中間値）Ｙ21avから決定する。可視光撮像素子１０３の露出目標ＥＶ１１、赤外光撮像素子１０４の露出目標ＥＶ１２は、Ｓ３０３Ａと同様に、以下の式で決定される。
ＥＶ１１＝ＥＶ０＋ｌｏｇ２（Ｙ12av／Ｙ０）・・・（式７）
ＥＶ１２＝ＥＶ０＋ｌｏｇ２（Ｙ21av／Ｙ０）・・・（式８）
【００５４】
即ち、Ｓ３０３Ｂでは、次のフレームにおいて、第１の領域における赤外光画像の輝度、および第２の領域における可視光画像の輝度が、各々適正露出レベルになるように、露出目標を決定している。このように第２の撮影モードでは、赤外光撮像素子１０４の露出目標よりも可視光撮像素子１０３の露出目標の方が低くなる。露出目標の変え方としては、具体的には可視光撮像素子１０３と赤外光撮像素子１０４の露光時間（所謂ＴＶ値）や、アナログゲイン（所謂ＳＶ値）を変えればよい。
【００５５】
続くＳ３０４Ｂでは、制御部１０５はＳ３０３Ｂで決定した露出目標を用いて可視光撮像素子１０３と赤外光撮像素子１０４とを制御して撮像を行った後、画像処理部１０６が生成された可視光画像および赤外光画像を用いて合成処理を行う。具体的には、第１の領域の合成係数をα１、第２の領域の合成係数をα２として、合成画像を生成する。この時、α１とα２は以下の関係式を満たす。また、式１は、第１の撮影モードの時と同様に、第１の領域では式１'のように、第２の領域では、式１"のように変形される。
【００５６】
α１＜α２・・・（式９）
このように本実施形態の第２の撮影モードでは、暗部に相当する第２の領域の方が第１の領域よりも可視光画像に近くなるように露出目標の設定及び合成処理を行う。その結果、優先領域である第２の領域の方が、第１の領域よりも、色再現性に優れた画像信号となる。
【００５７】
式９によれば、α１は０に近いほど、α２は１に近いほど好ましく、α１＝０、α２＝１としてもよい。或いは、第２の撮影モードにおいて、合成画像のうち第２の領域が可視光画像と一致し、合成画像のうち第１の領域が赤外光画像と一致するようにしてもよい。
【００５８】
以下で理由を説明する。Ｓ３０４Ｂで取得された可視光画像は、第２の領域が適正な露出レベルになるように撮像されているため、可視光画像の第１の領域は、適正よりも明るい条件で撮像されており、白トビが発生しやすい。従って、α１が１に近いほど第１の領域で白トビが発生しやすくなってしまう。同様に、Ｓ３０４Ｂで取得された赤外光画像は、第１の領域が適正な露出レベルになるように撮像されているため。赤外光画像の第２の領域は、適正よりも暗い条件で撮像されており、黒ツブレが発生しやすい。従って、α２が０に近いほど、第２の領域で黒ツブレが発生しやすくなってしまう。
【００５９】
ステップＳ３０４Ｂにおいても、ステップＳ３０４Ａと同様に、第１の領域と第２の領域の境界において、合成係数αを段階的に変化させても良い。具体的には、第１の領域に近い側から、第２の領域に近い側に向かって、合成係数αをα１からα２に向かって漸増するように変化させてもよい。
【００６０】
図３に戻り、Ｓ３０４Ｂにおける処理が完了すると、Ｓ３０２Ｂ〜Ｓ３０４Ｂの処理をフレーム毎に繰り返す。ここでは、可視光画像のヒストグラムから第１の閾値を更新し、第１の領域における赤外光画像の輝度および、第２の領域における可視光画像の輝度から露出目標を更新し、次のフレームの撮像と合成処理を行う。
【００６１】
以上のように、本実施形態における撮像装置１００は、画像を明部（第１の領域）と暗部（第２の領域）との二つに分割し、第１の領域と第２の領域とのうち一方を可視光画像のみとし、他方を非可視光画像のみとして合成画像を生成する。そして、可視光撮像素子１０３と赤外光撮像素子１０４とで各領域について適正な露出条件で撮像して合成処理を行うことで、白トビと黒ツブレの発生を抑制できる。このとき、明部と暗部のどちらの色情報が重要であるか、或いは、色再現性を優先するかに応じて、明部と暗部をどちらの撮像素子で撮像するかを切り替えるようにしている。第１の撮影モードでは明部の色再現性を優先し、明部には可視光画像を、暗部には赤外光画像を用いて合成を行う。また、第２の撮影モードでは、暗部には可視光画像を、明部には赤外光画像を用いて合成を行う。これにより、色情報が重要な被写体の色情報を失わせずに、白トビと黒ツブレの発生を抑制することができる。
【００６２】
図２では、光分離部１０２が、可視光を透過し、赤外光を反射する波長選択プリズムからなっている例を示したが、赤外光を透過し、可視光を反射する波長選択プリズムを使用しても良い。その場合、図１において、可視光撮像素子１０３と赤外光撮像素子１０４の位置を入れ替えればよい。
【００６３】
また、図１では、光分離部１０２を用いて可視光撮像素子１０３と赤外光撮像素子１０４に異なる分光特性の光を導いていたが、可視光撮像素子１０３と赤外光撮像素子１０４が別々の独立した光学系を有する、所謂２眼タイプであっても良い。この場合も互いに同期した撮像を行なう。この場合、合成処理は、それぞれの合成前画像内の同一被写体の位置が一致するように、合成パラメタに基づき合成される。合成パラメタには、各撮像画像の拡大、縮小、歪曲補正等の変形処理を行うパラメタや、補正処理後の撮像画像からの画像切り出し等を行うためのパラメタが含まれる。合成パラメタは、各光学系と撮像素子１０３及び１０４の配置関係に基づき、予め算出してメモリ１０７に保持しておいてもよい。また、光学系と各撮像素子の配置を合わせ込み、位置合わせの必要がないように撮像装置１００を構成してもよい。
【００６４】
各々の撮像素子中の光学系に独立した絞りを設けることが可能であるため、露光時間とアナログゲインの他に、絞りの制御も（所謂ＡＶ値）も露出目標の制御に加えても良い。更に、可視光撮像素子１０３と赤外光撮像素子１０４が各々、ＮＤフィルタとその挿抜機構を有していても良い。その場合、ＮＤフィルタの挿抜も露出目標の制御に加えることができる。
【００６５】
また、撮像装置１００が、可視光を選択的に照射する白色照明素子、または赤外光を選択的に照射する赤外照明素子、のいずれか、または双方を有していても良い。白色照明素子の出力レベルを変えることで、赤外光撮像素子１０４に入射する光の量を変えずに、可視光撮像素子１０３に入射する光の量を制御することができる。同様に、赤外照明素子の出力レベルを変えることで、可視光撮像素子１０３に入射する光の量を変えずに、赤外光撮像素子１０４に入射する光の量を制御することができる。従って、白色照明素子、赤外照明素子の出力レベルの制御も、露出目標の制御に加えることができる。
【００６６】
図３のフローチャートに対応する処理では、Ｓ３０２Ａ及びＳ３０２Ｂの処理において撮像装置１００において第１の閾値を決定していたが、ユーザが第１の閾値を決定できるようにしても良い。具体的には、出力装置２０８のディスプレイに図６に示すような画面を表示してユーザからの設定入力を受け付けるようにしてもよい。
【００６７】
図６（Ａ）は、ユーザが可視光画像のヒストグラムから、直接に第１の閾値を決定する例を説明するための図である。図６（Ａ）では、画面６００には、合成画像を表示する領域６０１、ヒストグラムを表示する領域６０２、ヒストグラムを参照して第１の閾値（ＴＨ１）を設定するための設定用インタフェース６０３が含まれる。設定用インタフェース６０３においては、左右の方向ボタンを操作することで第１の閾値ＴＨ１の値を輝度方向（横軸方向）に移動させることができる。第１の閾値が変更されると、その値に応じて、領域６０１に表示されている合成画像上に枠線６０４により第１の領域６０１Ａと第２の領域６０１Ｂとが表示される。
【００６８】
このときにユーザが調整した第１の閾値の値に応じて、合成係数αが変化した合成画像を領域６０１に表示するようにしてもよい。ユーザは第１の領域６０１Ａと第２の領域６０１Ｂとがユーザが意図する通りに設定されると、設定用インタフェース６０３の閾値決定ボタンを操作することで第１の閾値ＴＨ１の値を決定することができる。決定された第１の閾値の値は、例えばメモリ１０７に保持される。
【００６９】
次に、図６（Ｂ）は、設定用インタフェース６０３の代替例を示す図である。図６（Ｂ）では、スクロールバーを利用することにより閾値の設定を可能としている。スクロールバーの位置に応じて第１の閾値が設定される。また、ユーザが調整した第１の閾値の値に応じて、合成係数が変化した合成画像を領域６０１に表示することができる。
【００７０】
上述した図４では、ユーザが動作モードを明部色重視モード（第１の撮影モード）と暗部色重視モード（第２の撮影モード）のうちいずれかから選択する場合を説明した。実施形態はこれに限らず、動作モードではなくユーザが色情報を重視したい領域を直接指定してもよい。図７は、そのような場合に表示されるユーザインタフェースの一例を示す。図７では、画面７００には、合成画像を表示する領域７０１が表示され、表示されている画像には色情報を重視したい領域を示す表示７０２が重畳されている。当該表示７０２は、インタフェース７０３により設定することができる。インタフェース７０３は、例えばタッチパネルやカーソルキーなどにより実現することができる。
【００７１】
撮像装置１００は、ユーザにより指定された領域７０２の平均輝度（中間値）が、それ以外の領域の平均輝度（中間値）以上の場合には、ユーザが明部の色情報を重視していると判定することができる。この場合、撮像装置１００は第１の撮影モードで動作する。一方で、領域７０２の平均輝度（中間値）が、それ以外の領域の平均輝度（中間値）よりも低い場合には、ユーザが暗部の色情報を重視したと判定することができる。この場合、撮像装置１００は第２の撮影モードで動作する。
【００７２】
色情報を重視したい領域７０２はユーザにより直接的に指定されるだけでなく、間接的に指定されても良い。例えば、ユーザが撮像装置１００の動作モードとして追跡モードを指定した場合、追跡対象の被写体である人物や車両の色情報を重視したいと判断して、追跡対象の被写体部分の輝度の平均値と、それ以外の背景の輝度の平均値を比較して、撮影モードを決定してもよい。
【００７３】
例えば、被写体として人物に対応する領域の平均輝度（中間値）が、それ以外の領域の平均輝度（中間値）以上の場合には、ユーザが明部の色情報を重視していると判定し、第１の撮影モードで動作する。一方で、人物に対応する領域の平均輝度が、それ以外の領域の平均輝度より低い場合には、ユーザが暗部の色情報を重視していると判定し、第２の撮影モードで動作する。なお、追跡対象が複数ある場合には、追跡対象自体の指定をユーザから受け付けてもよい。
【００７４】
また、ヒストグラムの形状によっては、第１の領域と第２の領域とにおいて合成係数を異ならせなくてもよい場合がある。例えば、図５に示すようなシーンの明暗差が所定値よりも小さい場合、可視光画像、赤外光画像のいずれを使用したとしても、白トビや黒ツブレは発生しない。そこで、このような場合には第１の領域、第２の領域ともに、共通の合成係数（α１＝α２）として合成処理を実行してもよい。
【００７５】
ここで、シーンの明暗差はヒストグラムの最大値と最小値の比で定義することができる。このとき、頻度が非常に低い信号はノイズとして除去してから、最大値と最小値の比を定義する方が好ましい。明暗差を判定する所定値は、可視光撮像素子１０３のダイナミックレンジ（最小信号レベルに対する最大信号レベルの比）を元に決定することができる。具体的には、可視光撮像素子１０３のダイナミックレンジの０．１倍以上、１倍以下の値に決定すると良い。
【００７６】
また、シーンの明暗差が小さい場合の合成係数を、可視光画像の輝度（から求めた被写体の照度）で決定してもよい。可視光画像の輝度が十分に高い（所定の輝度値よりも高い）場合には、色再現性を重視して、合成係数αを１に近づける方が好ましい。一方、可視光画像の輝度が低い（所定の輝度値以下）場合、合成係数αを０に近づけた方が好ましい。なぜならば、夜間などの低照度時には可視光成分よりも赤外光成分の方が強い場合が多く、αを０に近づけることで、可視光画像よりもＳＮ比に優れ、輝度情報と色情報の両方の情報を持つ合成画像を取得することができるためである。
【００７７】
なお、第１の領域と第２の領域とで異なる合成係数を使用している状態から、全領域で同一の合成係数を使用するモードに移行する際に、その旨をポップアップ表示しても良い。更に、図４の領域４０２において、明部色重視モード（第１の撮影モード）、暗部色重視モード（第２の撮影モード）の他に、どちらも同程度に重視するモード（第３の撮影モード）を選択できるようにしても良い。第３の撮影モードの場合、可視光画像の輝度に応じて決定された合成係数によって、全領域で同一の合成係数を使用する。
【００７８】
なお、上述の実施形態では、可視光画像と赤外光画像の合成処理を主に撮像装置１００の画像処理部１０６において実行する場合を説明した。しかし、実施形態はこれに限定されるものではない。例えば、撮像装置１００が生成した可視光画像と赤外光画像とをネットワーク１１０を介して情報処理装置１２０側に送信して、情報処理装置１２０側において合成処理を実行する画像処理装置として機能してもよい。その場合においても、処理の内容は上述と同様である。
【００７９】
以上のように、本実施形態に対応する撮像装置１００は、シーンの明暗差が大きい場合には、色情報が重要である被写体の色情報を失わせずに、白トビと黒ツブレの発生を抑制している。そして、シーンの明暗差が小さい場合には、シーン全体の明るさに応じて、合成係数を制御することで、低照度時にも、ＳＮ比に優れ、輝度情報と色情報の両方の情報を持つ画像を取得することができる。
【００８０】
［実施形態２］
実施形態１に示す撮像装置１００では、明部の色情報を重視するのか、暗部の色情報を重視するのかをユーザが選択していた。これに対し、本実施形態では、撮像装置１００において画像を解析することによって、明部の色情報が重要であるのか、暗部の色情報が重要であるのかを判定する。本実施形態に対応する撮像装置の構成は図１及び図２（Ｂ）を参照して説明したものと同様である。
【００８１】
本実施形態における処理では、例えば図３のフローチャートのＳ３０１におけるモード判定処理のステップの代わりに、画像解析処理のステップと、領域分割処理のステップとを実行することにより実施されてもよい。
【００８２】
より具体的には、まず、画像解析処理においては、あらかじめ定められた露出目標の初期値で撮像された可視光画像を元に、シーン全体から被写体（或いは、物体、動体等）に対応する領域（被写体領域）を検出、認識する。検出、認識する被写体は監視用途などで特に重要とされる、人物や車などで、あらかじめ機械学習などによって、認識すべき被写体を学習しておくことができる。
【００８３】
続く領域分割処理においては、各々の被写体領域の色情報重要度から、明部と暗部のどちらの色情報が重要であるかを判定し、撮影モードを決定することができる。赤外光画像（輝度情報のみ）で被写体認識を行った場合のＦ値（精度と再現率の調和平均演算により得られた演算値）と、可視光画像（輝度情報と色情報の両方）で被写体認識を行った場合のＦ値とを用いて、色情報重要度を以下の式で求めることができる。
【００８４】
色情報重要度＝可視光画像でのＦ値÷赤外光画像でのＦ値・・・（式１０）
上式によれば、赤外光画像で被写体認識を行った場合のＦ値に対して、可視光画像で被写体認識を行った場合のＦ値の比率が大きくなるような被写体は、色情報が重要と定義される。色情報重要度が大きくなる被写体としては、例えば道路標識などがあり、色情報重要度が小さくなる被写体としては、例えば文字情報がある。なお、可視光画像でのＦ値、赤外光画像でのＦ値は各々、可視光画像、赤外光画像各々で機械学習を行っておくことであらかじめ求めておくことができる。
【００８５】
次に、各々の被写体の色情報重要度から、明部と暗部のどちらの色情報が重要であるかを判定する。以下で、検出された被写体の数によって分類して説明を行う。
【００８６】
検出された被写体が１つの場合、その被写体の色情報が重要であるため、検出された被写体の平均輝度（中間値）と、それ以外の背景の輝度平均（中間値）とを比較する。そして、検出された被写体の平均輝度の方が背景の平均輝度以上であれば第１の撮影モードで動作し、検出された被写体の平均輝度の方が背景の平均輝度よりも低ければ第２の撮影モードで動作する。
【００８７】
検出された被写体が２つの場合、２つの被写体間で色情報重要度と、平均輝度（中間値）とを比較する。そして、色情報重要度が相対的に高い第１の被写体の平均輝度が、色情報重要度が相対的に低い第２の被写体の平均輝度よりも高い場合、第１の撮影モードで動作する。一方、色情報重要度が相対的に高い被写体の平均輝度が、色情報重要度が相対的に低い被写体の平均輝度よりも低い場合、第２の撮影モードで動作する。
【００８８】
検出された被写体が３つ以上の場合、明部または暗部のどちらかに、複数の被写体を割り当てる必要が生じる。このような場合、色情報重要度の高い被写体を明部か暗部のどちらか一方にまとめ、そちらの色情報を重視する撮影モードとする方が好ましい。具体的に、検出された被写体が３つ以上の場合の撮影モードの決定方法を、検出された被写体が３つの場合を例として、図８を参照して説明する。
【００８９】
図８（Ａ）は３つの被写体が含まれる可視光画像８００の一例を示す。ここでは被写体１、被写体２及び被写体３が含まれている。図８（Ｂ）は当該可視光画像のヒストグラムである。図８（Ｂ）によれば、可視光画像に含まれる３つの被写体１から被写体３を反映して、ヒストグラムに３つの山が存在している。明部と暗部への複数の被写体の割り当て方は、図８（Ｃ）に示す様に、最も輝度の小さい被写体のみを暗部とするか、図８（Ｄ）に示す様に、最も輝度の大きい被写体のみを明部とする、の２つの方法がある。
【００９０】
これは、被写体１から被写体３を２つのグループに分類するグループ分けの問題として捉えることができる。２つのグループのうち、第1のグループは第１の領域、即ち明部に対応し、第２のグループは第２の領域、即ち暗部に対応する。３つの被写体のグループ分けは、１つのグループに少なくとも１つの被写体が含まれることを条件とした場合には２通りの分類パターンを有する。具体的には、第1グループ：被写体２、被写体３、第２グループ：被写体１の場合と、第１グループ：被写体３、第２グループ：被写体１、被写体２の場合とに分けられる。この場合分けは図８（Ｃ）及び図８（Ｄ）にそれぞれ対応する。
【００９１】
本実施形態では、２通りの分類パターンについて、各グループの色情報重要度の調和平均を算出し、分類パターンごとのグループ調和平均の比率のうち、より大きいものを選択する。具体的には、第１のグループ（明部）に割り当てられた被写体の色情報重要度の調和平均をＣＢとすると、図８（Ｃ）と図８（Ｄ）の２通りの組み合わせにおいて調和平均ＣＢｃ、ＣＢｄが得られる。また、第２のグループ（暗部）に割り当てられた被写体の色情報重要度の調和平均をＣＤとすると、図８（Ｃ）と図８（Ｄ）の２通りの組み合わせにおいて調和平均ＣＤｃ、ＣＤｄが得られる。そして、これらをパターンごとの組み合わせにおいて比較して比率を算出する。比率の算出方法は、ＣＢとＣＤの大小関係によって異なり、より大きい値を有する方が分子に来るようにする。
【００９２】
例えば、ＣＢｃ＞ＣＤｃの場合、比率はＣＢｃ／ＣＤｃで算出し、ＣＤｃ＞ＣＢｃの場合、比率はＣＤｃ／ＣＢｃで算出する。ＣＢｄ、ＣＤｄの場合も同様である。このようにして得られた比率を比較し、例えば、ＣＢｃ／ＣＤｃ＞ＣＤｄ／ＣＢｄの場合には、図８（Ｃ）の分類パターンを選択する。
【００９３】
このようにして選択された比率において、ＣＢ＞ＣＤの場合には、明部の色情報重要度が暗部の色情報重要度よりも高いため、第１の撮影モードで動作する。一方、ＣＤ＞ＣＢの場合には、暗部の色情報重要度が明部の色情報重要度よりも高いため、第２の撮影モードで動作する。
【００９４】
なお、複数の被写体の色情報重要度を求める際に、単に調和平均を計算するのではなく、重みを付加して調和平均を求めても良い。例えば、被写体の大きさが小さいなど、認識が困難になりそうな被写体については、色情報重要度が大きくなるように、重みづけを大きくしても良い。あるいは、複数フレーム間のベクトルマッチングなどで被写体に動きがあることを検出した場合、動被写体を認識することの重要度が高いと判断して、動きの大きい被写体のほど、色情報重要度が大きくなるように、重みづけを行っても良い。また、被写体の数が多いほど、色情報重要度が大きくなるように補正係数をかけても良い。あるいは、被写体の彩度が高いほど、色情報重要度が大きくなるように補正係数をかけても良い。
【００９５】
このように本実施形態によれば、撮像装置１００において画像解析により明部の色情報が重要であるのか、暗部の色情報が重要であるのかを判定し、撮影モードを決定することができる。
【００９６】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【００９７】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９８】
１０：システム、１００：撮像装置、１１０：ネットワーク、１２０：情報処理装置
【図１】
2020150331.tif 000003
【図２】
2020150331.tif 000004
【図３】
2020150331.tif 000005
【図４】
2020150331.tif 000006
【図５】
2020150331.tif 000007
【図６】
2020150331.tif 000008
【図７】
2020150331.tif 000009
【図８】
2020150331.tif 000010