(57)【要約】【課題】  第１波長の光を撮像した第１画像と該第１波長とは異なる第２波長の光を撮像した第２画像とを合成した合成画像内における被写体の二重像の発生を抑制するための技術を提供すること。【解決手段】  第１波長の光を撮像した第１画像中の被写体が被写界深度内となるフォーカスレンズ位置の範囲を第１範囲として取得する。該第１波長とは異なる第２波長の光を撮像した第２画像中の該被写体が被写界深度内となるフォーカスレンズ位置の範囲を第２範囲として取得する。第１範囲および第２範囲のうち一方において他方と重複していない範囲内にフォーカスレンズを移動させる。【選択図】  図１
2020102825.tif 000002
【特許請求の範囲】
【請求項１】
第１波長の光を撮像した第１画像中の被写体が被写界深度内となるフォーカスレンズ位置の範囲を第１範囲として取得し、該第１波長とは異なる第２波長の光を撮像した第２画像中の該被写体が被写界深度内となるフォーカスレンズ位置の範囲を第２範囲として取得する取得手段と、
前記第１範囲および前記第２範囲のうち一方において他方と重複していない範囲内にフォーカスレンズを移動させる制御手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記取得手段は、
フォーカスレンズ位置ごとに、該フォーカスレンズ位置に対応する第１画像中の被写体の画質に関する第１評価値を取得し、該フォーカスレンズ位置に対応する第２画像中の被写体の画質に関する第２評価値を取得し、
被写界深度内に対応する第１評価値を取得したフォーカスレンズ位置の範囲を前記第１範囲として取得し、被写界深度内に対応する第２評価値を取得したフォーカスレンズ位置の範囲を前記第２範囲として取得する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、第１画像の合成比率と第２画像の合成比率とに応じた前記範囲内の位置にフォーカスレンズを移動させることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記制御手段は、前記第１範囲および前記第２範囲のうち、第１画像の合成比率と第２画像の合成比率との大小関係に応じた一方において他方と重複していない範囲内の位置にフォーカスレンズを移動させることを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
更に、
フォーカスレンズ位置の範囲のうち前記第１範囲を特定するための閾値と、フォーカスレンズ位置の範囲のうち前記第２範囲を特定するための閾値と、を第１画像の合成比率と第２画像の合成比率とに応じて特定する手段を備えることを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
【請求項６】
更に、
前記移動の後に撮像された第１画像と第２画像とを出力する出力手段を備えることを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
【請求項７】
更に、
前記移動の後に撮像された第１画像と第２画像とを合成する合成手段を備えることを特徴とする請求項１乃至６の何れか１項に記載の撮像装置。
【請求項８】
更に、
入光した光を前記第１波長の光と前記第２波長の光とに分離させる分離部と、
前記第１波長の光の成分に感度を有する第１イメージセンサと、
前記第２波長の光の成分に感度を有する第２イメージセンサと
を備えることを特徴とする請求項１乃至７の何れか１項に記載の撮像装置。
【請求項９】
更に、
前記第１イメージセンサに入光する前記第１波長の光の光路上もしくは前記第２イメージセンサに入光する前記第２波長の光の光路上に、焦点位置をずらす光学フィルタを備えることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
更に、
前記第１波長の光の成分に感度を有する画素と前記第２波長の光の成分に感度を有する画素とを有するイメージセンサを備えることを特徴とする請求項１乃至７の何れか１項に記載の撮像装置。
【請求項１１】
更に、
前記イメージセンサに入光する光の光路上に、焦点位置をずらす光学フィルタを備えることを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記第１画像において前記被写体に最も焦点が合うフォーカスレンズ位置と、前記第２画像において前記被写体に最も焦点が合うフォーカスレンズ位置と、は異なることを特徴とする請求項１乃至１１の何れか１項に記載の撮像装置。
【請求項１３】
前記第１波長の光は可視光であり、前記第２波長の光は赤外光であることを特徴とする請求項１乃至１２の何れか１項に記載の撮像装置。
【請求項１４】
第１波長の光を撮像した第１画像について予め登録されている、光学系の状態に対応する被写体の被写界深度を第１被写界深度として取得し、該第１波長とは異なる第２波長の光を撮像した第２画像について予め登録されている、光学系の状態に対応する被写体の被写界深度を第２被写界深度として取得する取得手段と、
前記被写体の測定した被写体距離が、前記第１被写界深度および前記第２被写界深度のうち一方において他方と重複していない範囲内となるように、フォーカス位置を制御する制御手段と
を備えることを特徴とする撮像装置。
【請求項１５】
撮像装置の制御方法であって、
前記撮像装置の取得手段が、第１波長の光を撮像した第１画像中の被写体が被写界深度内となるフォーカスレンズ位置の範囲を第１範囲として取得し、該第１波長とは異なる第２波長の光を撮像した第２画像中の該被写体が被写界深度内となるフォーカスレンズ位置の範囲を第２範囲として取得する取得工程と、
前記撮像装置の制御手段が、前記第１範囲および前記第２範囲のうち一方において他方と重複していない範囲内にフォーカスレンズを移動させる制御工程と
を備えることを特徴とする撮像装置の制御方法。
【請求項１６】
撮像装置の制御方法であって、
前記撮像装置の取得手段が、第１波長の光を撮像した第１画像について予め登録されている、光学系の状態に対応する被写体の被写界深度を第１被写界深度として取得し、該第１波長とは異なる第２波長の光を撮像した第２画像について予め登録されている、光学系の状態に対応する被写体の被写界深度を第２被写界深度として取得する取得工程と、
前記被写体の測定した被写体距離が、前記第１被写界深度および前記第２被写界深度のうち一方において他方と重複していない範囲内となるように、フォーカス位置を制御する制御工程と
を備えることを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、それぞれ異なる波長の光を撮像する撮像技術に関するものである。
【背景技術】
【０００２】
可視光および赤外光のそれぞれを撮像することによって可視光データと赤外光データとを取得し、該可視光データと該赤外光データとを合成出力する撮像装置がある。例えば、特許文献１に記載の発明では、可視光と赤外光とを分離する光分離部により分離された可視光および赤外光の夫々を可視光用撮像素子及び赤外光用撮像素子で撮像させ、二つのデータを合成している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２２９３１７公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献１に開示されている従来技術では、撮像装置組み立て時の公差などによって、可視光用撮像素子と赤外光用撮像素子とで光軸中心がずれてしまう場合がある。光軸中心がずれてしまうと、可視光と赤外光とでイメージセンサに結像される像の位置が異なるため、合成された画像に二重像が発生してしまう。また、二重像が発生してしまう他の要因としては倍率色収差も考えられる。レンズまたは光分離部の倍率色収差によって、可視光と赤外光とでイメージセンサに結像される像の倍率が異なるため、二重像が発生してしまう。
【０００５】
本発明では、第１波長の光を撮像した第１画像と該第１波長とは異なる第２波長の光を撮像した第２画像とを合成した合成画像内における被写体の二重像の発生を抑制するための技術を提供する。
【課題を解決するための手段】
【０００６】
本発明の一様態では、第１波長の光を撮像した第１画像中の被写体が被写界深度内となるフォーカスレンズ位置の範囲を第１範囲として取得し、該第１波長とは異なる第２波長の光を撮像した第２画像中の該被写体が被写界深度内となるフォーカスレンズ位置の範囲を第２範囲として取得する取得手段と、前記第１範囲および前記第２範囲のうち一方において他方と重複していない範囲内にフォーカスレンズを移動させる制御手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明の構成によれば、第１波長の光を撮像した第１画像と該第１波長とは異なる第２波長の光を撮像した第２画像とを合成した合成画像内における被写体の二重像の発生を抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置のハードウェア構成例を示すブロック図。
【図２】可視光画像と赤外光画像との合成画像における二重像を抑制するための手法を示す図。
【図３】フォーカス位置の調整例と、フォーカス位置の調整により得られる合成画像の例と、を示す図。
【図４】フォーカス位置の調整例と、フォーカス位置の調整により得られる合成画像の例と、を示す図。
【図５】各フォーカスレンズ位置に対応する可視光評価値および赤外光評価値の一例を示す図。
【図６】二重像の抑制が困難となる例を示す図。
【図７】二重像の抑制が困難となる例を示す図。
【図８】注目被写体の二重像を抑制した合成画像の生成処理のフローチャート。
【図９】撮像装置のハードウェア構成例を示すブロック図。
【図１０】撮像装置のハードウェア構成例を示すブロック図。
【図１１】撮像装置のハードウェア構成例を示すブロック図。
【図１２】ＧＵＩの構成例を示す図。
【図１３】ＧＵＩの構成例を示す図。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。
【００１０】
［第１の実施形態］
先ず、本実施形態に係る撮像装置のハードウェア構成例について、図１のブロック図を用いて説明する。外界からの光はレンズ群１０２を透過してプリズム１０３に入光する。レンズ群（フォーカスレンズ）１０２の駆動（移動など）はレンズ駆動部１０９によって行われ、該レンズ駆動部１０９の制御はレンズ制御部１０８によって行われる。
【００１１】
プリズム１０３はレンズ群１０２を透過した光を様々な波長の光に分離させる分離部の一例である。本実施形態では、プリズム１０３は、入光した光を可視光と赤外光とに分離させる。プリズム１０３で分離された可視光はイメージセンサ１０４に入光し、プリズム１０３で分離された赤外光はイメージセンサ１０５に入光する。
【００１２】
イメージセンサ１０４は、可視光の成分（例えば波長４００ｎｍ〜７５０ｎｍ）に感度を有し、入光した可視光に応じた映像信号（可視映像信号）を出力する。イメージセンサ１０５は、赤外光の成分（例えば波長７５０ｎｍ〜２５００ｎｍ）に感度を有し、入光した赤外光に応じた映像信号（赤外映像信号）を出力する。
【００１３】
映像信号処理部１０６はレンズ制御部１０８を制御してレンズ駆動部１０９にレンズ群１０２を移動させ、レンズ群１０２の各位置（各フォーカスレンズ位置）についてイメージセンサ１０４、イメージセンサ１０５の各々から出力された映像信号を取得する。そして映像信号処理部１０６は、イメージセンサ１０４から出力された映像信号が表す画像（可視光画像）中の被写体が被写界深度内となるフォーカスレンズ位置の範囲を第１範囲として取得する。また映像信号処理部１０６は、イメージセンサ１０５から出力された映像信号が表す画像（赤外光画像）中の該被写体が被写界深度内となるフォーカスレンズ位置の範囲を第２範囲として取得する。そして映像信号処理部１０６はレンズ制御部１０８を制御してレンズ駆動部１０９に、第１範囲および第２範囲のうち一方において他方と重複していない範囲内にレンズ群１０２を移動させる。そして映像信号処理部１０６は、該移動の後にイメージセンサ１０４から出力された映像信号が表す可視光画像とイメージセンサ１０５から出力された映像信号が表す画像（赤外光画像）とを合成して合成画像を生成する。
【００１４】
映像配信部１０７は、映像信号処理部１０６によって生成された合成画像を出力する。制御部１９０は、撮像装置１０１全体の動作制御を行う。制御部１９０は、例えば、ＣＰＵ等のプロセッサとメモリとを有し、該プロセッサは該メモリに格納されているコンピュータプログラムやデータを用いて処理を実行し、これにより該プロセッサは撮像装置１０１全体の動作制御を行う。このメモリには、撮像装置１０１が行うものとして後述する各処理で使用されるデータが保存されている。
【００１５】
次に、可視光画像と赤外光画像との合成画像における二重像を抑制するための本実施形態に係る手法について、図２を用いて説明する。図２は、あるフォーカスレンズ位置における可視光および赤外光のそれぞれの被写界深度を表しており、横軸は被写体距離（撮像装置１０１から被写体までの距離）を表している。
【００１６】
可視被写界深度２０１は、可視光の被写界深度（範囲）であり、被写体距離が可視被写界深度２０１の範囲内にある被写体の可視光画像における輪郭は明確である。可視光画像中の被写体の輪郭は、該被写体の被写体距離が可視被写界深度２０１の中央（可視ベストポイント）のときに最も明確になる。つまり可視ベストポイントとは、可視光画像において被写体に最も焦点が合うフォーカスレンズ位置である。
【００１７】
赤外被写界深度２０２は、赤外光の被写界深度（範囲）であり、被写体距離が赤外被写界深度２０２の範囲内にある被写体の赤外光画像における輪郭は明確である。赤外光画像中の被写体の輪郭は、該被写体の被写体距離が赤外被写界深度２０２の中央（赤外ベストポイント）のときに最も明確になる。つまり赤外ベストポイントとは、赤外光画像において被写体に最も焦点が合うフォーカスレンズ位置である。
【００１８】
本実施形態では、図２に示す如く、可視ベストポイントおよび赤外ベストポイントのそれぞれは互いに異なる。
【００１９】
被写体距離が可視被写界深度２０１と赤外被写界深度２０２との重複範囲（二重像発生領域２０３）内にある被写体の可視光画像における輪郭および赤外光画像における輪郭は何れも明確である。然るに、可視光画像と赤外光画像との合成画像上では、可視光画像における被写体の輪郭および赤外光画像における被写体の輪郭が明確であるから、該被写体の二重像が視認されてしまう。
【００２０】
被写体距離が可視被写界深度２０１において赤外被写界深度２０２と重複していない範囲（二重像抑制領域２０４）内にある被写体の可視光画像における輪郭は明確であるものの、赤外光画像における該被写体の輪郭は明確ではない（暈けている）。然るに、被写体距離が二重像抑制領域２０４内にある被写体については、可視光画像と赤外光画像との合成画像上では、可視光画像における被写体の輪郭を強調することができ、赤外光画像における被写体の輪郭は暈けているため、上記の二重像が抑制される。
【００２１】
被写体距離が赤外被写界深度２０２において可視被写界深度２０１と重複していない範囲（二重像抑制領域２０５）内にある被写体の赤外光画像における輪郭は明確であるものの、可視光画像における該被写体の輪郭は明確ではない（暈けている）。然るに、被写体距離が二重像抑制領域２０５内にある被写体については、可視光画像と赤外光画像との合成画像上では、赤外光画像における被写体の輪郭を強調することができ、可視光画像における被写体の輪郭は暈けているため、上記の二重像が抑制される。
【００２２】
つまり二重像抑制領域２０４や二重像抑制領域２０５の範囲内の被写体距離にフォーカス位置を合わせるべくフォーカスレンズ位置を調整して撮像を行い、該撮像で得られる可視光画像と赤外光画像との合成を行うことで二重像が抑制された合成画像が得られる。
【００２３】
なお、可視光画像と赤外光画像との合成方法には様々な合成方法が適用可能である。例えば、合成画像の各画素の輝度値を、可視光画像の該画素の輝度値と赤外光画像の該画素の輝度値との合計値や平均値とし、合成画像の各画素の色を可視光画像の該画素の色とする合成方法が適用可能である。
【００２４】
暗所で赤外照明を照射して被写体を撮像するケースにおいて、可視光画像と赤外光画像との合成を行う場合、赤外光画像からは低ノイズの輝度情報、可視光画像からは高ノイズの輝度情報と色情報とが抽出されることが想定される。そのため、輪郭（輝度情報）は赤外光画像から取得することが好ましい。
【００２５】
次に、フォーカス位置の調整例と、フォーカス位置の調整により得られる合成画像の例と、について図３，４を用いて説明する。図３（ａ）において横軸は被写体距離を表しており、Ａ，Ｂ，Ｃはそれぞれ、被写体Ａの被写体距離、被写体Ｂの被写体距離、被写体Ｃの被写体距離を表している。図３（ａ）では、被写体距離Ｂ（二重像発生領域２０３の中央）にフォーカス位置を合わせている。図３（ｂ）は、被写体距離Ｂにフォーカス位置を合わせて撮像された可視光画像と赤外光画像との合成画像３００の一例を示している。
【００２６】
被写体距離Ｂにフォーカス位置を合わせた場合、図３（ａ）に示す如く、被写体距離Ａは二重像抑制領域２０４の範囲内にあるため、可視光画像における被写体Ａの輪郭は明確であり、赤外光画像における被写体Ａの輪郭は明確ではない（暈ける）。その結果、図３（ｂ）に示す如く、合成画像３００において被写体Ａ（「Ａ」が記された矩形）の輪郭は明確である。
【００２７】
被写体距離Ｂにフォーカス位置を合わせた場合、図３（ａ）に示す如く、被写体距離Ｂは二重像発生領域２０３の範囲内にあるため、可視光画像における被写体Ｂの輪郭も赤外光画像における被写体Ｂの輪郭も明確である。その結果、図３（ｂ）に示す如く、合成画像３００において被写体Ｂ（「Ｂ」が記された矩形）の二重像が発生している。
【００２８】
被写体距離Ｂにフォーカス位置を合わせた場合、図３（ａ）に示す如く、被写体距離Ｃは二重像抑制領域２０５の範囲内にあるため、赤外光画像における被写体Ｃの輪郭は明確であり、可視光画像における被写体Ｃの輪郭は明確ではない（暈ける）。その結果、図３（ｂ）に示す如く、合成画像３００において被写体Ｃ（「Ｃ」が記された矩形）の輪郭は明確である。
【００２９】
図４（ａ）において横軸は被写体距離を表しており、Ａ，Ｂ，Ｃはそれぞれ、被写体Ａの被写体距離、被写体Ｂの被写体距離、被写体Ｃの被写体距離を表している。図４（ａ）では、被写体距離Ａにフォーカス位置を合わせている。図４（ｂ）は、被写体距離Ａにフォーカス位置を合わせて撮像された可視光画像と赤外光画像との合成画像４００の一例を示している。
【００３０】
被写体距離Ａにフォーカス位置を合わせた場合、図４（ａ）に示す如く、被写体距離Ａは二重像発生領域２０３の範囲内にあるため、可視光画像における被写体Ａの輪郭も赤外光画像における被写体Ａの輪郭も明確である。その結果、図４（ｂ）に示す如く、合成画像４００において被写体Ａの二重像が発生している。
【００３１】
被写体距離Ａにフォーカス位置を合わせた場合、図４（ａ）に示す如く、被写体距離Ｂは二重像抑制領域２０５の範囲内にあるため、赤外光画像における被写体Ｂの輪郭は明確であり、可視光画像における被写体Ｂの輪郭は明確ではない（暈ける）。その結果、図４（ｂ）に示す如く、合成画像４００において被写体Ｂの輪郭は明確である。
【００３２】
被写体距離Ａにフォーカス位置を合わせた場合、図４（ａ）に示す如く、被写体距離Ｃは可視被写界深度２０１および赤外被写界深度２０２の何れの範囲内でもない。然るに、赤外光画像における被写体Ｃの輪郭も可視光画像における被写体Ｃの輪郭も明確ではない（暈ける）。その結果、図４（ｂ）に示す如く、合成画像４００において被写体Ｃの輪郭は明確ではない（暈けている）。
【００３３】
このように、撮像対象（被写体）の被写体距離（つまりフォーカス位置）が二重像抑制領域２０４および二重像抑制領域２０５のうち一方の範囲内に位置するようにフォーカス位置を調整することで、合成画像中の該被写体の二重像を抑制することができる。
【００３４】
次に、撮像対象となる被写体（注目被写体）の二重像を抑制した合成画像の生成処理について、図８のフローチャートに従って説明する。注目被写体は、例えば、規定の被写体距離にある対象物である。
【００３５】
ステップＳ８０１では、映像信号処理部１０６は、イメージセンサ１０４から出力された映像信号が表す可視光画像と、イメージセンサ１０５から出力された映像信号が表す赤外光画像と、を取得する。
【００３６】
ステップＳ８０２では、映像信号処理部１０６は、ステップＳ８０１で取得した可視光画像中の注目被写体の評価値を求める。例えば映像信号処理部１０６は、可視光画像中の注目被写体のコントラスト比を該注目被写体の評価値として求める。また映像信号処理部１０６は、ステップＳ８０１で取得した赤外光画像中の注目被写体の評価値を求める。例えば映像信号処理部１０６は、赤外光画像中の注目被写体のコントラスト比を該注目被写体の評価値として求める。
【００３７】
ステップＳ８０３では、映像信号処理部１０６は、フォーカスレンズ位置の移動を完了させるか否かを判断する。例えば映像信号処理部１０６は、フォーカスレンズ位置が移動可能な範囲の一部若しくは全てを対象範囲とし、レンズ制御部１０８を制御してレンズ駆動部１０９に、レンズ群１０２を対象範囲内で移動させる（フォーカスレンズ位置を対象範囲内で移動させる）。そして映像信号処理部１０６は、対象範囲の一端から他端までレンズ群１０２を移動させ終われば、フォーカスレンズ位置の移動を完了させると判断する。一方、映像信号処理部１０６は、対象範囲の一端から他端までレンズ群１０２を移動させ終わっていない場合は、フォーカスレンズ位置の移動を完了させないと判断する。
【００３８】
この判断の結果、フォーカスレンズ位置の移動を完了させると判断した場合には、処理はステップＳ８０５に進み、フォーカスレンズ位置の移動を完了させないと判断した場合には、処理はステップＳ８０４に進む。ステップＳ８０４では、映像信号処理部１０６はレンズ制御部１０８を制御してレンズ駆動部１０９にレンズ群１０２を移動させる。
【００３９】
処理がステップＳ８０５に進んだ時点で、各フォーカスレンズ位置について、該フォーカスレンズ位置において撮像された可視光画像中の注目被写体の評価値、該フォーカスレンズ位置において撮像された赤外光画像中の注目被写体の評価値、が得られている。
【００４０】
ステップＳ８０５では、映像信号処理部１０６は、各フォーカスレンズ位置に対応する可視光画像中の注目被写体の評価値を用いて、可視光画像における注目被写体の被写界深度内に対応するフォーカスレンズ位置の範囲を、可視被写界深度２０１として求める。また映像信号処理部１０６は、各フォーカスレンズ位置に対応する赤外光画像中の注目被写体の評価値を用いて、赤外光画像における注目被写体の被写界深度内に対応するフォーカスレンズ位置の範囲を、赤外被写界深度２０２として求める。
【００４１】
各フォーカスレンズ位置に対応する可視光画像中の注目被写体の評価値（可視光評価値）、各フォーカスレンズ位置に対応する赤外光画像中の注目被写体の評価値（赤外光評価値）、の一例を図５に示す。図５において縦軸は注目被写体の評価値（可視光評価値、赤外光評価値）、横軸はフォーカスレンズ位置、を示す。
【００４２】
可視光評価値および赤外光評価値のそれぞれの最大値は、撮像装置１０１の設定や被写体や照明などの環境によって大きく異なるため、可視光評価値および赤外光評価値のそれぞれは正規化することが望ましい。また、図５中の被写界深度の境界は可視光画像と赤外光画像とで異なることも想定されるが、説明を簡易化するために、可視光画像と赤外光画像とで被写界深度の境界が一致した場合について示している。図５において可視ベストポイントは最も高い可視光評価値のフォーカスレンズ位置に対応しており、赤外ベストポイントは最も高い赤外光評価値のフォーカスレンズ位置に対応している。
【００４３】
図５の場合、映像信号処理部１０６は、閾値以上の可視光評価値に対応するフォーカスレンズ位置の範囲を、可視光画像中の注目被写体が被写界深度内となるフォーカスレンズ位置の範囲（可視被写界深度２０１）として特定する。また図５の場合、映像信号処理部１０６は、閾値以上の赤外光評価値に対応するフォーカスレンズ位置の範囲を、赤外光画像中の注目被写体が被写界深度内となるフォーカスレンズ位置の範囲（赤外被写界深度２０２）として特定する。閾値の設定方法は特定の設定方法に限らず、例えば、ユーザが事前に設定した値であっても良いし、可視光評価値や赤外光評価値の最大値の５０％の値として設定しても良い。
【００４４】
ステップＳ８０６では、映像信号処理部１０６は、赤外ベストポイントが二重像発生領域２０３の範囲内にあるか否かを判断する。この判断の結果、赤外ベストポイントが二重像発生領域２０３の範囲内にある場合には、処理はステップＳ８０８に進み、赤外ベストポイントが二重像発生領域２０３の範囲外にある場合には、処理はステップＳ８０７に進む。
【００４５】
ステップＳ８０７では、映像信号処理部１０６は、赤外ベストポイントをフォーカスレンズ位置の移動先として特定する。一方、ステップＳ８０８では、映像信号処理部１０６は、赤外被写界深度２０２において可視被写界深度２０１と重複していない範囲である二重像抑制領域２０５内の位置を、フォーカスレンズ位置の移動先として特定する。このとき、移動先は二重像抑制領域２０５の一端Ｘであっても良いし、他端Ｙであっても良いし、一端Ｘと他端Ｙとの間の位置であっても良い。なお、二重像抑制領域２０５が存在しない場合には、赤外ベストポイントをフォーカスレンズ位置の移動先としても良い。
【００４６】
ステップＳ８０９では、映像信号処理部１０６は、レンズ制御部１０８を制御してレンズ駆動部１０９に、ステップＳ８０７若しくはステップＳ８０８で特定した「フォーカスレンズ位置の移動先」にレンズ群１０２を移動させる。
【００４７】
ステップＳ８１０では、映像信号処理部１０６は、イメージセンサ１０４から出力された映像信号が表す可視光画像と、イメージセンサ１０５から出力された映像信号が表す赤外光画像と、を取得する。
【００４８】
ステップＳ８１１では、映像信号処理部１０６は、ステップＳ８１０で取得した可視光画像と、ステップＳ８１０で取得した赤外光画像と、を合成して合成画像を生成する。映像配信部１０７は、映像信号処理部１０６によって生成された合成画像を出力する。
【００４９】
なお、ステップＳ８０６では、映像信号処理部１０６は、可視ベストポイントが二重像発生領域２０３の範囲内にあるか否かを判断するようにしても良い。このとき、可視ベストポイントが二重像発生領域２０３の範囲外にある場合には、映像信号処理部１０６は、可視ベストポイントをフォーカスレンズ位置の移動先として特定する。一方、可視ベストポイントが二重像発生領域２０３の範囲内にある場合、映像信号処理部１０６は、可視被写界深度２０１において赤外被写界深度２０２と重複していない範囲である二重像抑制領域２０４内の位置をフォーカスレンズ位置の移動先として特定する。なお、二重像抑制領域２０４が存在しない場合には、可視ベストポイントをフォーカスレンズ位置の移動先としても良い。
【００５０】
なお、可視ベストポイントと赤外ベストポイントとのずれ量は主にレンズの光学設計で変わるため、光学設計時にずれ量を決めておくことが望ましい。また、ユーザが手動にてフォーカス調整を行うようにしても良く、その場合、ユーザが画像を見ながら赤外ベストピントを基点として可視ベストピントから遠ざかる方向にフォーカス調整できる手動調整部を用意し、ユーザが任意に設定できるようにする。この構成は撮像装置１０１が有しても良いし、撮像装置１０１に接続されている外部装置が有するようにしても良い。
【００５１】
ここで、二重像の抑制が困難となる場合について説明する。本実施形態では、可視ベストポイントと赤外ベストポイントとが異なることが必須条件である。そのため、図６（ａ）に示す如く、可視被写界深度２０１と赤外被写界深度２０２とに大きな差が無く、その結果、可視ベストポイントと赤外ベストポイントとに大きな差が小さい場合には、その殆どが二重像発生領域２０３となる。よって、図６（ｂ）に示す如く、二重像の抑制が困難である。
【００５２】
また、図７（ａ）に示す如く、可視ベストポイントと赤外ベストポイントとに大きな差があり、その結果、可視被写界深度２０１と赤外被写界深度２０２とに重複する範囲がない場合には、二重像発生領域２０３が存在しない。そのため、フォーカスレンズ位置の移動先を可視ベストポイントや赤外ベストポイントとする。その結果、図７（ｂ）に示す如く、可視被写界深度２０１および赤外被写界深度２０２の何れの範囲にも含まれてない被写体距離の被写体Ｂが暈けている。
【００５３】
＜変形例＞
第１の実施形態では、入光した光をプリズム１０３によって可視光と赤外光とに分離し、該可視光に対応する可視光画像と、該赤外光に対応する赤外光画像と、を生成した。しかし、同じ生成元の光から可視光画像と赤外光画像とを生成する方法は、この方法に限らない。例えば図９に示す如く、撮像装置１０１からプリズム１０３を除去し、イメージセンサ１０４およびイメージセンサ１０５の代わりに、可視光の成分に感度を有する画素と赤外光の成分に感度を有する画素とを有する１枚のイメージセンサ１１０を有しても良い。イメージセンサ１１０としては、例えば、Ｒ，Ｇ，Ｂ，ＩＲのフィルタ構造を用いたイメージセンサがある。この場合、Ｒ，Ｇ，Ｂが可視光に感度を有する画素、ＩＲが赤外光に感度を有する画素となる。このような場合、可視光に感度を有する画素Ｒ，Ｇ，Ｂから出力される可視映像信号が表す画像が可視光画像となり、赤外光に感度を有する画素ＩＲから出力される赤外映像信号が表す画像が赤外光画像となる。また、フィルタの構成はＲ，Ｇ，Ｂ，ＩＲに依らない。
【００５４】
また、第１の実施形態で説明したように、可視光画像と赤外光画像との合成方法には様々な合成方法が適用可能である。例えば、合成画像の各画素の輝度値として赤外光画像の各画素の輝度値を採用し、合成画像の各画素の色として可視光画像の各画素の色を採用するようにしても良い。また、合成画像の各画素の輝度値として、赤外光画像における該画素の輝度値と可視光画像における該画素の輝度値との合計値を採用するようにしても良い。
【００５５】
また、第１の実施形態では、第１波長の光の一例として可視光、第１波長とは異なる第２波長の光の一例として赤外光を例に取り説明したが、第１波長の光や第２波長の光として適用可能な光は上記の例に限らない。例えば、紫外線や遠赤外線などの光であっても良いし、可視のＲ（赤）の光やＢ（青）の光であっても良い。
【００５６】
第１の実施形態では、レンズ群１０２を移動させて各フォーカスレンズ位置における可視光評価値および赤外光評価値を取得し、該取得した可視光評価値および赤外光評価値からフォーカスレンズ位置の移動先を求めていた。しかしフォーカスレンズ位置の移動先の特定方法はこの方法に限らない。
【００５７】
例えば、事前の撮像装置１０１の光学特性の設計の情報から、光学系のステータス（絞りやレンズ群１０２の状態）ごとに、注目被写体の被写界深度（範囲）を登録したテーブルを作成しておく。このテーブルは、可視光および赤外光のそれぞれについて作成し、制御部１９０が有するメモリなどに格納しておく。ここでは、可視光について作成したテーブルを可視光用テーブル、赤外光について作成したテーブルを赤外光用テーブルと称する。そして映像信号処理部１０６は、可視光用テーブルから、撮像装置１０１における現在の光学系のステータスに対応する被写界深度（範囲）Ｒ１を取得する。また映像信号処理部１０６は、赤外光用テーブルから、撮像装置１０１における現在の光学系のステータスに対応する被写界深度（範囲）Ｒ２を取得する。そして映像信号処理部１０６は、撮像装置１０１から注目被写体までの距離（被写体距離）を測定する。被写体距離の測定方法は特定の測定方法に限らず、例えば、撮像装置１０１に距離センサを加え、該距離センサによる測定値に基づいて注目被写体の被写体距離を取得するようにしても良い。そして映像信号処理部１０６は、該取得した被写体距離が、被写界深度（範囲）Ｒ１および被写界深度（範囲）Ｒ２のうち一方において他方と重複していない範囲内に位置するようにフォーカスレンズ位置の移動先を特定する。
【００５８】
また、評価値（可視光評価値、赤外光評価値）の算出方法も、コントラスト比によるフォーカス方式に依らずに位相差検出やレーザー測距など、他の方式を利用しても良く、実際の画像の輪郭から評価値を算出しても良い。つまり、評価値は、画像中の被写体の画質に関するものであればよく、評価値として利用可能なものやその取得方法は上記の例に限らない。
【００５９】
また、図５に示した可視光評価値や赤外光評価値の分布形状は一例であり、可視ベストポイントや赤外ベストポイントの位置（最も評価値が高い位置）が一意に決まる形状であればよい。
【００６０】
また、第１の実施形態における「被写体」は、画像中に写っている何らかの物体（人、動物、車両、木、建物、山、海など）に限らず、画像中の特定の領域（画像の中央部の領域、画像の隅の領域、画像の全体領域等）であっても良い。
【００６１】
また、第１の実施形態では、図５の例では、一端Ｘと他端Ｙとの間の任意の位置をフォーカスレンズ位置の移動先としたが、可視光画像および赤外光画像のそれぞれの合成比率に応じた位置をフォーカスレンズ位置の移動先としても良い。ここで、可視光画像および赤外光画像のそれぞれの合成比率に応じて適切なフォーカスレンズ位置が異なることを説明する。例えば、赤外光画像の合成比率が可視光画像の合成比率に比べて極端に高い場合には、合成画像において可視光画像の成分が目立たないため、合成画像における二重像も目立たない。そのため、赤外光画像の合成比率が可視光画像の合成比率に比べて極端に高い場合には、フォーカスレンズ位置の移動先を赤外ベストポイントとすることが好ましい。例えば、図５の場合、赤外光画像の合成比率が可視光画像の合成比率に比べて高い場合には、フォーカスレンズ位置の移動先を一端Ｘとする。一方、赤外光画像の合成比率が可視光画像の合成比率に比べて高くない場合には、フォーカスレンズ位置の移動先を他端Ｙとする。また、赤外光画像の合成比率と可視光画像の合成比率との差が規定値未満の場合には、フォーカスレンズ位置の移動先を一端Ｘと他端Ｙとの中間位置としても良い。なお、可視光画像の合成比率および赤外光画像の合成比率のそれぞれは予め設定しておいても良いし、ユーザが適宜設定するようにしても良い。
【００６２】
また、被写界深度内外の境界を表す閾値は、可視光画像および赤外光画像のそれぞれの合成比率に応じて合成画像上の被写体の見え方が異なるため、可視光画像および赤外光画像のそれぞれの合成比率に応じて変更しても良い。例えば、可視光画像の合成比率＞赤外光画像の合成比率の場合、合成画像において可視光画像の成分が見えやすくなるため、可視光評価値に対する閾値を、赤外光評価値に対する閾値よりも相対的に低くする。一方、可視光画像の合成比率＜赤外光画像の合成比率の場合、合成画像において赤外光画像の成分が見えやすくなるため、赤外光画像に対する閾値を、可視光評価値に対する閾値よりも相対的に低くする。
【００６３】
また、第１の実施形態では、二重像抑制領域２０４および二重像抑制領域２０５のいずれかの範囲内の位置をフォーカスレンズ位置の移動先とした。しかし、合成画像において可視光画像の成分、赤外光画像の成分、の何れを重視したいのかに応じて、二重像抑制領域２０４および二重像抑制領域２０５のいずれか一方を選択し、該選択された一方の範囲内の位置をフォーカスレンズ位置の移動先としても良い。例えば、可視光画像の合成比率＞赤外光画像の合成比率の場合には、フォーカスレンズ位置の移動先を二重像抑制領域２０４の範囲内の位置とする。また、可視光画像の合成比率＜赤外光画像の合成比率の場合には、フォーカスレンズ位置の移動先を二重像抑制領域２０５の範囲内の位置とする。このように、可視光画像の合成比率と赤外光画像の合成比率との大小関係に応じて、フォーカスレンズ位置の移動先を二重像抑制領域２０４の範囲内の位置とするのか、それとも二重像抑制領域２０５の範囲内の位置とするのかを決定するようにしても良い。
【００６４】
［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。本実施形態では、フォーカスレンズ位置の移動先を二重像抑制領域２０５内の位置に移動させた後に撮像される可視光画像をより暈かすための構成の一例について説明する。
【００６５】
図１の構成においてイメージセンサ１０４から出力される可視光画像の焦点位置を第１の実施形態よりもずらすために、図１０に示す如く、プリズム１０３とイメージセンサ１０４との間の可視光の光路上に光学フィルタ１１１を配置する。この配置は、フォーカスレンズ位置の移動先を二重像抑制領域２０５内の位置に移動させた後に行われ、それ以外は配置されない。このような配置／非配置の切り替え（挿抜）は制御部１９０によって行われる。光学フィルタ１１１は、該光学フィルタを透過する可視光を屈折させて、焦点位置をずらす効果がある。具体的には光学フィルタ１１１は、ガラス板のような、空気と屈折率の異なる、透過率が高いフィルタであれば良い。
【００６６】
図１の構成に同様の目的で光学フィルタを加える場合、図１１に示す如く、レンズ群１０２とイメージセンサ１１０との間の光路上に光学フィルタ１１２を配置するようにしても良い。配置／非配置の切替は上記の光学フィルタ１１１と同様である。光学フィルタ１１２は、該光学フィルタ１１２を透過する光のうち可視光を屈折させて、焦点位置をずらす光学フィルタである。
【００６７】
なお、フォーカスレンズ位置の移動先を二重像抑制領域２０４内の位置に移動させた後に撮像される赤外光画像をより暈かすようにしても良い。例えば図１の構成においてイメージセンサ１０５から出力される赤外光画像の焦点位置を第１の実施形態よりもずらすため、プリズム１０３とイメージセンサ１０５との間の可視光の光路上に、赤外光を屈折させて焦点位置をずらす光学フィルタを配置しても良い。また例えば、図１の構成に同様の目的で光学フィルタを加える場合、レンズ群１０２とイメージセンサ１１０との間の光路上に赤外光を屈折させて、焦点位置をずらす光学フィルタを配置しても良い。
【００６８】
また、焦点位置のずれ量を変更したい場合には、特性（屈折率や屈折させる光の種別）が異なる複数の光学フィルタを切り替えて配置するようにしても良いし、光学フィルタの特性を電気的に変えても良い。
【００６９】
［第３の実施形態］
本実施形態では、生成した合成画像を撮像装置１０１において表示し、ユーザがこの表示された合成画像を見ながら合成比率や上記の二重像の抑制処理を行うか否か等の各種の設定を行うための構成を有する撮像装置１０１について説明する。
【００７０】
然るに本実施形態に係る撮像装置１０１は、表示画面を有する。なお、この表示画面は、画像や文字を表示する表示機能と、ユーザからの各種の操作を受け付ける受付機能と、を有するタッチパネル画面であるものとする。しかし、表示画面はタッチパネル画面であることに限らず、表示画面が表示機能を有し受付機能を有さない表示画面である場合には、ボタンなどの操作部を別途撮像装置１０１に加える必要がある。また、この表示画面や操作部を有する外部装置（ＰＣ（パーソナルコンピュータ）、タブレット型端末装置、スマートフォンなどのコンピュータ装置）を撮像装置１０１に接続して以下に説明する各処理をこの外部装置において行うようにしても良い。
【００７１】
表示画面には、例えば、図１２（ａ）に例示する構成を有するＧＵＩ（グラフィカルユーザインターフェース）を表示する。表示領域４０１には、生成した合成画像が表示される。中段には、現在設定されている可視光画像の合成比率をオブジェクト４０２の位置によって示しており、より左側に位置している場合には、より小さい合成比率を表し、より右側に位置している場合には、より大きい合成比率を表している。チェックボックス４０３は、図８のフローチャートに従った処理（二重像の抑制処理）を行うか否かを設定するためのものである。ユーザがチェックボックス４０３をタッチしてチェックボックス４０３をオンにする（チェックマークを付ける）と、二重像の抑制処理は行うと設定される。一方、ユーザがチェックボックス４０３をタッチしてチェックボックス４０３をオフにする（チェックマークを外す）と、二重像の抑制処理は行わないと設定される。このようにユーザは、領域４０１に表示されている合成画像やオブジェクト４０２の位置を確認しながら、二重像の抑制処理を行うか否かを設定することができる。
【００７２】
また表示画面には、例えば、図１２（ｂ）に例示する構成を有するＧＵＩを表示するようにしても良い。スライダ４０４は二重像抑制制御の強度（一方の画像のボケ量）を調整するためのものである。ユーザがスライダ４０４にタッチしてより左側に移動させると、より小さい強度が設定され、ユーザがスライダ４０４にタッチしてより右側に移動させると、より大きい強度が設定される。設定された強度に応じて生成された合成画像は領域４０１に表示される。ここで、二重像抑制制御の強度の調整では、例えば、図５において二重像抑制領域２０４の左端にフォーカスレンズ位置をより移動させると赤外光画像をより暈かすことができる。一方、二重像抑制領域２０５の右端にフォーカスレンズ位置をより移動させると可視光画像をより暈かすことができる。また、第２，３の実施形態で説明した手法でもって、暈かす側の画像の暈け量をスライダ４０４の位置に応じて制御するようにしても良い。
【００７３】
また表示画面には、例えば、図１３（ａ）に例示する構成を有するＧＵＩを表示するようにしても良い。ユーザがチェックボックス４０５をタッチしてチェックボックス４０５をオンにする（チェックマークを付ける）と、チェックボックス４０６はオフになり（チェックマークが外れ）、フォーカスレンズ位置の移動先は二重像抑制領域２０４の範囲内の位置となる。一方、ユーザがチェックボックス４０６をタッチしてチェックボックス４０６をオンにすると、チェックボックス４０５はオフになり、フォーカスレンズ位置の移動先は二重像抑制領域２０５の範囲内の位置となる。
【００７４】
また表示画面には、例えば、図１３（ｂ）に例示する構成を有するＧＵＩを表示するようにしても良い。ユーザがスライダ４０７を左側の位置（「赤外」と記されたボックスの上）に移動させると、フォーカスレンズ位置の移動先は二重像抑制領域２０５の範囲内の位置となる。一方、ユーザがスライダ４０７を右側の位置（「可視」と記されたボックスの上）に移動させると、フォーカスレンズ位置の移動先は二重像抑制領域２０４の範囲内の位置となる。
【００７５】
［第４の実施形態］
映像信号処理部１０６が行う処理の一部若しくは全部をソフトウェア（コンピュータプログラム）によって行うようにしても良い。このソフトウェアは、制御部１９０が有するメモリに格納されており、制御部１９０が有するプロセッサにより実行される。
【００７６】
また、映像配信部１０７による合成画像の配信先は特定の配信先に限らない。例えば、撮像装置１０１は、該撮像装置１０１と無線および／または有線のネットワークを介して接続されている外部装置に対して合成画像を送信しても良いし、該撮像装置１０１内のメモリ装置や表示画面に対して合成画像を出力しても良い。また、映像配信部１０７は、配信先に応じて配信する情報（合成画像、可視光画像と赤外光画像の両方若しくは片方）を切り替えても良い。
【００７７】
また、第１の実施形態では、撮像装置１０１が合成画像を生成するものとして説明したが、撮像装置１０１が可視光画像と赤外光画像とを外部装置に対して送信し、該外部装置にて該可視光画像と該赤外光画像との合成画像を生成するようにしても良い。
【００７８】
なお、以上説明した各実施形態や変形例の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態や変形例の一部若しくは全部を選択的に使用しても構わない。また、以上説明した各要素や条件は、その全てが必須であるとは限らず、適宜省略したり、変更／変化させても構わない。
【００７９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８０】
１０２：レンズ群  １０３：プリズム  １０４：イメージセンサ  １０５：イメージセンサ  １０６：映像信号処理部  １０７：映像配信部  １０８：レンズ制御部  １０９：レンズ駆動部  １９０：制御部
【図１】
2020102825.tif 000003
【図２】
2020102825.tif 000004
【図３】
2020102825.tif 000005
【図４】
2020102825.tif 000006
【図５】
2020102825.tif 000007
【図６】
2020102825.tif 000008
【図７】
2020102825.tif 000009
【図８】
2020102825.tif 000010
【図９】
2020102825.tif 000011
【図１０】
2020102825.tif 000012
【図１１】
2020102825.tif 000013
【図１２】
2020102825.tif 000014
【図１３】
2020102825.tif 000015