(57)【要約】【課題】合焦位置からのずれが大きくなることを抑制することができる撮像装置、監視システム、撮像装置の制御方法およびプログラムを提供する。【解決手段】撮像装置は、画像情報を出力する固体撮像素子と、絞りを調節する結像光学系と、画像情報を構成する複数の領域のうち、認識性能を示す評価値が第１閾値以上の第１領域を被写界深度内に収めるように結像光学系の絞りを制御する制御手段と、を備える。【選択図】図４
2020067503.tif 000002
【特許請求の範囲】
【請求項１】
画像情報を出力する固体撮像素子と、
絞りを調節する結像光学系と、
前記画像情報を構成する複数の領域のうち、認識性能を示す評価値が第１閾値以上の第１領域を被写界深度内に収めるように前記結像光学系の前記絞りを制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記結像光学系は、フォーカスレンズを有し、
前記制御手段は、前記第１領域を前記被写界深度内に収めつつ、前記フォーカスレンズの合焦位置のずらし量が第２閾値以下となるように前記結像光学系の前記フォーカスレンズを制御する、
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記制御手段は、前記複数の領域のうち、前記評価値が前記第１閾値未満の第２領域に対して、輪郭部の認識性能比を強調する画像処理を行う、
ことを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記制御手段は、前記第１領域のうち前記第１閾値より大きい第３閾値以下の領域を前記被写界深度内に収め、前記第３閾値より大きい領域を前記被写界深度内に収めないように前記結像光学系を制御する、
ことを特徴とする請求項１乃至３のうち何れか１項に記載の撮像装置。
【請求項５】
前記制御手段は、前記領域までの距離情報を用いてぼけが復元できるか否かに基づいて、前記評価値を決定する、
ことを特徴とする請求項１乃至４のうち何れか１項に記載の撮像装置。
【請求項６】
前記制御手段は、ぼけを復元した場合の認識性能の向上度合いが高くなるに応じて、前記評価値を高く設定する、
ことを特徴とする請求項５記載の撮像装置。
【請求項７】
前記制御手段は、前記フォーカスレンズの調節前の合焦位置と前記領域との間の距離、および前記評価値に基づいて、前記被写界深度内に収める前記第１領域を設定する、
ことを特徴とする請求項２記載の撮像装置。
【請求項８】
前記制御手段は、前記距離が所定距離より大きく、且つ前記評価値が前記第１閾値以上の領域を前記第１領域に設定する、
ことを特徴とする請求項７記載の撮像装置。
【請求項９】
前記制御手段は、前記画像情報の明るさが暗くなるに応じて、前記所定距離を短くする、
ことを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記制御手段は、前記フォーカスレンズの調節前の合焦位置と前記領域との間の距離の逆数が小さくなるに応じて、前記第１閾値を小さくする、
ことを特徴とする請求項２記載の撮像装置。
【請求項１１】
前記評価値は、コントラストと明るさと色差と空間周波数成分とのうち何れかまたは組み合わせであること、
を特徴とする請求項１乃至１０のうち何れか１項に記載の撮像装置。
【請求項１２】
請求項１乃至１１のうち何れか１項に記載の撮像装置と、
クライアント装置と、
を備えることを特徴とする監視システム。
【請求項１３】
画像情報を出力する固体撮像素子と、絞りを調節する結像光学系と、を有する撮像装置の制御方法であって、
前記画像情報を構成する複数の領域のうち、認識性能を示す評価値が第１閾値以上の第１領域を被写界深度内に収めるように前記結像光学系の前記絞りを制御する工程、
を備えることを特徴とする撮像装置の制御方法。
【請求項１４】
請求項１３記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、監視システム、撮像装置の制御方法およびプログラムに関する。
【背景技術】
【０００２】
コンパクトカメラやデジタルスチルカメラ等の撮像装置を用いて、複数の人物を撮影する場合、各人物に対してピントが合っていることが要求される場合がある。関連する技術として、特許文献１の撮像装置が提案されている。特許文献１の撮像装置では、複数の特定被写体のうちの最至近の特定被写体から最遠方の特定被写体までの距離を算出して、そのほぼ中央の位置が被写界深度の中心となるように、絞りと撮影光学系とが駆動される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１８１３２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、撮像装置が監視カメラ等の用途に使用される場合、被写体が人物であるか否かによらず、特定の被写体にピントが合っていることが求められることがある。このような撮像装置では、常に特定の領域を撮影し続けるために、合焦位置を固定した連続撮影を継続する必要がある。この点、特許文献１の撮像装置では、最至近の特定被写体と最遠方の特定被写体との中心に基づいて合焦位置が調節されてしまうため、合焦位置が変化することがある。特に、現在の合焦位置から最至近の特定被写体までの距離の逆数、または現在の合焦点位置から最遠方の特定被写体までの距離の逆数が大きい場合、現在の合焦位置からのずれが大きくなってしまう。
【０００５】
本発明の目的は、合焦位置からのずれが大きくなることを抑制することができる撮像装置、監視システム、撮像装置の制御方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の撮像装置は、画像情報を出力する固体撮像素子と、絞りを調節する結像光学系と、前記画像情報を構成する複数の領域のうち、認識性能を示す評価値が第１閾値以上の第１領域を被写界深度内に収めるように前記結像光学系の前記絞りを制御する制御手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、合焦位置からのずれが大きくなることを抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の構成例を示す図である。
【図２】結像光学系の断面図および絞りの部分を示す図である。
【図３】固体撮像素子の各画素と結像光学系の射出瞳領域との関係を示す図である。
【図４】第１実施形態に係る処理の流れを示すフローチャートである。
【図５】第１実施形態に係る被写体の距離分布、合焦位置および被写界深度の例を示す図である。
【図６】画素信号レベルのヒストグラムおよび合焦位置からの距離の逆数とカットオフ周波数との関係を示す図である。
【図７】他の例における固体撮像素子の各画素と結像光学系の射出瞳領域との関係を示す図である。
【図８】第２実施形態の処理の流れを示すフローチャートである。
【図９】第２実施形態に係る被写体の距離分布、合焦位置および被写界深度の例を示す図である。
【図１０】第３実施形態に係る第１閾値の設定方法を説明する図である。
【図１１】第４実施形態に係る監視システムの構成例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。
【００１０】
＜第１実施形態＞
図１は、各実施形態に係る撮像装置１００の構成例を示す図である。撮像装置１００は、結像光学系１０１、固体撮像素子１０２および制御部１０４を有する。固体撮像素子１０２は、距離情報取得手段１０３の機能を併せ持つ。制御部１０４は、ＣＰＵ２００、ＲＡＭ２０１およびＲＯＭ２０２を有する制御手段である。例えば、ＲＯＭ２０２に記憶されている所定のプログラムがＲＡＭ２０１に展開され、ＣＰＵ２００がＲＡＭ２０１に展開されたプログラムを実行することにより、各実施形態の処理が実現されてもよい。制御部１０４は、所定のプログラミング回路等により実現されてもよい。制御部１０４は、所定の画像処理を実施する画像処理部としても機能する。
【００１１】
図２は、結像光学系１０１の断面図および絞り１０８の部分を示す図である。図２（Ａ）に示されるように、結像光学系１０１は、絞り調節機構１０５、焦点調節機構１０６、フォーカスレンズ１０７および絞り１０８を有する。図２（Ａ）は、＋Ｙ方向から見た場合の結像光学系１０１の断面図である。Ｘ軸とＹ軸とＺ軸とは、相互に直交する関係にあるものとする。結像光学系１０１は、複数のレンズを有しており、当該複数のレンズのうち１つがフォーカスレンズ１０７である。焦点調節機構１０６は、例えば、ステッピングモーター等の駆動機構であり、フォーカスレンズ１０７を光軸方向（Ｚ軸方向）に移動させる。これにより、結像光学系１０１（フォーカスレンズ１０７）の合焦位置が調節される。また、結像光学系１０１は、複数の絞り羽根が重なり合って開口を形成する絞り１０８を有している。絞り調節機構１０５は、例えば、ステッピングモーター等によって絞り羽根（絞り１０８）の開口部の大きさを制御することで、結像光学系１０１の絞り値を調節する。図２（Ｂ）は、絞り羽根が８枚の場合の、絞り１０８の部分を−Ｚ方向から見た場合の平面図である。絞り羽根の枚数は、任意の枚数であってよい。
【００１２】
次に、固体撮像素子１０２について説明する。固体撮像素子１０２は、結像光学系１０１の光軸上に配置されており、被写体の画像情報を取得可能に構成されている。固体撮像素子１０２で取得された被写体の画像情報は、制御部１０４に出力（転送）される。制御部１０４は、被写体の画像情報（画像）を構成する各領域の認識性能評価値（認識性能を示す評価値）を取得する。各実施形態では、各領域のサイズは、１０×１０画素以上であり、且つ１００×１００画素以下に設定されるものとして説明するが、各領域は任意の画素数により構成されてよい。
【００１３】
認識性能評価値は、画像の各領域中の被写体を認識可能であるか否かを示す評価指標である。被写体が認識可能であるか否かは、被写体の視認性によって定められてもよい。例えば、認識性能評価値が高い被写体は視認性が高い被写体であり、認識性能評価値が低い被写体は視認性が低い被写体である。認識性能評価値は、画像における各領域のコントラストや明るさ、色差、空間周波数成分等の評価指標に応じて、または各評価指標の組み合わせに応じて決定される。以下、認識性能評価値に、コントラストが適用された例について説明する。この場合、各領域における最大信号レベルと最小信号レベルとの差（コントラスト）が認識性能評価値となる。コントラストが適用された認識性能評価値は、コントラスト評価値である。認識性能評価値に、各領域における明るさ、色差、空間周波数成分等を適用した例については、後述する。
【００１４】
上述したように、固体撮像素子１０２は、距離情報取得手段１０３の機能を併せ持つ。図３は、固体撮像素子１０２の中の各々の画素１１０と、結像光学系１０１の射出瞳領域との関係を示す図である。画素１１０は、第１光電変換部１１１、第２光電変換部１１２およびマイクロレンズ１１３を有している。マイクロレンズ１１３は、第１光電変換部１１１と第２光電変換部１１２とに跨って配置されている。第１光電変換部１１１は、結像光学系１０１の射出瞳１２３のうち、第１瞳領域１２１からの光束を受光できるようになっている。第２光電変換部１１２は、結像光学系１０１の射出瞳１２３のうち、第２瞳領域１２２からの光束を受光できるようになっている。ここで、複数の画素１１０の中の第１光電変換部１１１からの信号で生成された第１画像と、複数の画素１１０の中の第２光電変換部１１２からの信号で生成された第２画像との間のずれ量から、像ずれ量を求めることができる。当該像ずれ量に対して三角測量の原理を適用することで、被写体までの距離を求めることができる。そして、第１光電変換部１１１からの信号と第２光電変換部１１２からの信号との和に基づいて、被写体の画像情報（第３画像）を取得することができる。
【００１５】
次に、第１実施形態に係る処理について説明する。図４は、第１実施形態に係る処理の流れを示すフローチャートである。以下、撮像装置１００は、被写界深度優先モードに設定されているものとする。被写界深度優先モードの設定については後述する。制御部１０４は、固体撮像素子１０２で取得された被写体の画像情報と、距離情報取得手段１０３で取得された距離情報とに基づいて、画像情報の各領域における距離情報を取得する（Ｓ１１）。そして、制御部１０４は、固体撮像素子１０２で取得された被写体の画像情報に基づいて、画像における各領域の認識性能評価値を算出する（Ｓ１２）。上述したように、画像（画像情報）は、複数の領域により構成されている。制御部１０４は、Ｓ１２で算出された各領域の認識性能評価値と、第１閾値との比較結果に基づいて、各領域のそれぞれを、領域Ａ（第１領域）または領域Ｂ（第２領域）に振り分ける（Ｓ１３）。制御部１０４は、画像を構成する各領域のそれぞれについて、認識性能評価値が第１閾値以上の領域を領域Ａに振り分け、認識性能評価値が第１閾値未満の領域を領域Ｂに振り分ける。これにより、画像を構成する各領域は、領域Ａまたは領域Ｂの何れかに設定される。
【００１６】
制御部１０４は、Ｓ１３で求めた全ての領域Ａを被写界深度内に収めつつ、合焦位置のずらし量が第２閾値以下になるように、結像光学系１０１の合焦位置および絞りを調節する（Ｓ１４）。つまり、制御部１０４は、認識性能評価値が第１閾値未満の領域Ｂについては、被写界深度内に収まらなくてもよいと判定する。上述したように、認識性能評価値がコントラストの場合、画像信号のうち、最大信号レベルと最小信号レベルとの差が認識性能評価値となる。この場合、第１閾値は、画素信号の飽和レベルとダークレベルとの差の６４分の１以上に設定されることが好ましい。また、第１閾値は、画素信号の飽和レベルとダークレベルとの差の１６分の１以上に設定されると、さらに好ましい。被写界深度は、画像の１画素分の大きさで決定される許容錯乱円、および結像光学系１０１の結像特性から求めることができる。上述した例では、認識性能評価値としてコントラストを適用した例について説明したが、認識性能評価値には、他の評価指標（コントラストや明るさ、色差、空間周波数成分等）が適用されてもよい。他の評価指標が認識性能評価値に適用された場合、適用された認識性能評価値に対応する第１閾値が設定される。
【００１７】
上述したように、Ｓ１４において、制御部１０４は、全ての領域Ａを被写界深度内に収めつつ、合焦位置のずらし量が第２閾値以下になるように、結像光学系１０１の合焦位置および絞りを調節する。このとき、制御部１０４は、Ｓ１１で求めた各領域の距離情報を用いて、調節前と調節後との間の結像光学系１０１の合焦位置のずらし量が第２閾値以下となるように、合焦位置を調節する。第２閾値は、合焦位置のずれ量が目立たない程度の値に設定することができる。例えば、第２閾値は、結像光学系１０１の絞り１０８を最も開放した場合の被写界深度の５倍に設定されることが好ましい。また、第２閾値が、結像光学系１０１の絞りを最も開放した場合の被写界深度の２倍に設定されると、さらに好ましい。
【００１８】
図５は、第１実施形態に係る被写体の距離分布、合焦位置および被写界深度の例を示す図である。図５において、領域Ａおよび領域Ｂは被写体であるものとし、領域Ａと領域Ｂとの何れであるかを識別するラベルが各被写体に付されている。図５における被写体は人物を示しているが、被写体は人物以外であってもよい。図５（Ａ）は、Ｓ１４の調節前における被写体の距離分布、合焦位置および被写界深度の例を示す。図５（Ｂ）は、Ｓ１４の調節後における被写体の距離分布、合焦位置および被写界深度の例を示す。Ｓ１４の合焦位置および絞りの調節が行われることで、合焦位置のずれ量を低減しつつ、適正な被写界深度での撮影が可能となる。
【００１９】
絞り１０８を絞ることにより、被写界深度外に位置していた領域を被写界深度内に収めることができるため、視認性が向上する。しかしながら、認識性能評価値がもともと低い領域（例えば空やテクスチャの無い壁等）は、被写界深度内に収めたとしても十分な視認性を得ることができない。図５（Ａ）は、実施形態のＳ１４の調節が行われていない状態である。この場合、認識性能評価値によらず、全ての領域を被写界深度内に収めるように、結像光学系１０１の合焦位置および絞りが調節されると、合焦位置のずれ量が大きくなってしまう。図５（Ａ）の例において、端部に位置する被写体Ｂが、被写界深度内に収めたとしても十分な視認性を得ることができない被写体である場合、当該被写体Ｂを被写界深度内に収めようとすると、合焦位置が大きくずれる。
【００２０】
一方、各実施形態の制御部１０４は、被写界深度内に収めることによって十分な視認性が得られる領域Ａ（認識性能評価値が第１閾値以上の領域）については被写界深度内に収めるように制御している。一方、制御部１０４は、被写界深度内に収めても十分な視認性が得られない領域Ｂ（認識性能評価値が第１閾値未満の領域）については、被写界深度内に収める対象から除外している。つまり、制御部１０４は、被写界深度内に収めても十分な視認性が得られない領域Ｂは、被写界深度内に収めなくてよいと判定している。例えば、図５（Ｂ）の場合、被写界深度に収まっていない領域Ｂ（端部の領域Ｂ）が存在するが、領域Ｂは、被写界深度内に収めても十分な視認性が得られない領域である。従って、制御部１０４は、当該領域Ｂを除外して、領域Ａが被写界深度内に収まるように合焦位置を制御する。これにより、合焦位置のずれ量が大きくなることが抑制される。
【００２１】
そして、制御部１０４は、合焦位置および絞りの調節前と調節後との間の結像光学系１０１の合焦位置のずらし量が第２閾値以下となるように、合焦位置および絞りを調節している。これにより、合焦位置のずれ量が大きくなることを、さらに抑制することができる。このとき、制御部１０４は、合焦位置のずらし量が第２閾値以下となるように制御することなく、各領域Ａが被写界深度内に収まるように合焦位置の制御を行ってもよい。この場合でも、合焦位置のずれ量が大きくなることが抑制される。ただし、合焦位置のずらし量が第２閾値を超えると、合焦位置のずれ量が大きくなる。従って、制御部１０４は、各領域Ａを被写界深度内に収めつつ、合焦位置のずらし量が第２閾値以下となるように制御することが好ましい。これにより、合焦位置のずれ量の抑制効果がより高くなり、各領域Ａの視認性がさらに向上する。
【００２２】
ここで、撮像装置１００が、監視カメラ等のように、常に特定の領域を撮影し続けるカメラである場合、合焦位置を固定した連続撮影（または逐次撮影）を継続する必要がある。このとき、撮像装置１００の前を物体（領域Ｂに対応する物体）が横切った場合等の状況下では、撮影環境が変化し、合焦位置が変化する。例えば、撮像装置１００の前を上記物体が横切った場合等においては、合焦位置が大きく変化する。この点、本実施形態の撮像装置１００の制御部１０４は、各領域Ａを被写界深度内に収めるように制御するが、領域Ｂを被写界深度内に収めないように制御している。これにより、上記物体が撮像装置１００の前を横切ったとしても、合焦位置が大きく変化することが抑制される。
【００２３】
上述したように、制御部１０４は、各領域Ａを被写界深度内に収めつつ、合焦位置のずらし量が第２閾値以下となるように制御する。このため、領域Ｂの視認性は低くなる。制御部１０４は、領域Ｂに対して、画像の輪郭部の認識性能比を画像処理で強調することで、視認性を向上させてもよい。例えば、制御部１０４は、領域Ｂにおいて、元の画像の画素信号に対して、その２次微分との間の差分を取る演算（所謂、ラプラシアンフィルタ）を実施することで、画像の輪郭部の認識性能比を向上させることができる。これにより、被写界深度内に収めなくてもよいと判定された領域Ｂについての視認性も向上させることができる。
【００２４】
制御部１０４は、被写界深度内に収めると判定した各領域Ａのうち、認識性能評価値が十分に高い領域（第３閾値よりも大きい領域）を、被写界深度内に収めないように制御してもよい。第３閾値は第１閾値よりも大きい値であり、被写界深度内に収めなくても十分な視認性が得られていると判定できる値である。従って、制御部１０４が、被写界深度内に収める領域は、認識性能評価値が第１閾値以上であり、且つ第３閾値以下の領域である。画素信号のうち、最大信号レベルと最小信号レベルとの差（コントラスト）が認識性能評価値として適用される場合、第３閾値は、画素信号の飽和レベルとダークレベルとの差の２分の１以下に設定されることが好ましい。換言すれば、制御部１０４は、認識性能評価値が第１閾値以上であって、第３閾値以下である領域を、被写界深度内に収めつつ、合焦位置のずらし量が第２閾値以下となるように、結像光学系１０１の合焦位置および絞りを調節する。これにより、結像光学系１０１のＦ値を明るく保ちつつ、領域Ａに対して十分な視認性を得ることができる。その結果、画像のＳＮ比を低減させずに、より適正な被写界深度での撮影を可能とすることができる。認識性能評価値にコントラスト以外の他の評価指標が用いられる場合は、当該他の評価指標に応じた第３閾値が設定される。
【００２５】
上述したように、制御部１０４は、認識性能評価値として、コントラストとは異なる他の評価指標を使用してもよい。例えば、図６（Ａ）に示されるように、制御部１０４は、各領域内の画素信号レベルのヒストグラムを生成し、ヒストグラムから認識性能評価値を求めてもよい。例えば、制御部１０４は、画素信号レベルが最も大きい方から所定数の画素、および画素信号レベルが最も小さい方から所定数の画素を除外した場合における画素信号レベルの最大値と最小値との差を認識性能評価値として定義してもよい。上記所定数の画素は、例えば、１割の画素である。このように、ヒストグラムを用いて認識性能評価値が定義されることで、キズ画素等に起因する特異点が画像中に存在した場合でも、領域の視認性を正確に評価することができる。
【００２６】
また、制御部１０４は、コントラストの大小だけではなく、コントラストの空間周波数依存性を用いて認識性能評価値を求めてもよい。例えば、制御部１０４は、高い空間周波数のコントラスト成分に対する、低い空間周波数のコントラスト成分の比（周波数成分比）を認識性能評価値として定義することができる。なお、コントラスト成分の周波数依存性は、画像における各領域の画素信号を２次元フーリエ変換することで求めることができる。
【００２７】
図６（Ｂ）は、合焦位置からの距離の逆数とカットオフ周波数との関係を示す図である。合焦位置からの距離の逆数が小さくなるに応じて、結像光学系１０１のカットオフ周波数は小さくなる。そして、絞り１０８が開かれるに応じて（Ｆ値が明るくなるに応じて）、合焦位置からの距離の逆数が小さくなった場合のカットオフ周波数の減少度合いが大きくなる。つまり、合焦位置からの距離の逆数が小さい領域においては、カットオフ周波数以上の周波数成分が結像しないため、高い周波数のコントラスト成分が小さくなる。従って、上述した周波数成分比が大きい場合には、結像光学系１０１の性能によって視認性が低下している可能性が高く、結像光学系１０１の絞り１０８を絞ることで視認性が向上する可能性が高い。一方、周波数成分比が小さい場合には、カットオフ周波数によって視認性が低下している可能性は低く、結像光学系１０１の絞り１０８を絞ったとしても視認性が向上しない可能性が高い。従って、制御部１０４は、周波数成分比を認識性能評価値として使用し、認識性能評価値が第１閾値以上の領域を被写界深度内に収めるように、結像光学系１０１の絞り１０８を調節してもよい。
【００２８】
上述したように、認識性能は、コントラスト以外にも、明るさや色差、大きさ、空間周波数成分等にも依存する。従って、制御部１０４は、各種の評価指標を総合的に用いることが好ましい。例えば、制御部１０４は、予め、同じ被写体に対してぼけ具合や明るさの異なる画像を所定枚数以上収集し、収集された画像に映っている被写体が認識可能であるか否かの判定を行う。制御部１０４が収集する画像は、撮影された画像自体であってもよい。また、制御部１０４は、収集した画像に対して、結像光学系１０１のＰＳＦ（点像分布関数）をコンボリューションする画像処理、またはランダムノイズを付加する画像処理を行ってもよい。また、被写体を認識できるか否かの判定は、人手により行われてもよいし、機械学習による被写体認識技術により行われてもよい。制御部１０４が機械学習による被写体認識技術を使用して認識性能評価値を決定する場合、類似する複数の被写体と正答率（複数の被写体のそれぞれについての正答率）とを入力とした機械学習を行う。これにより、人手によらず、機械学習により、認識性能評価値を決定することができる。
【００２９】
また、制御部１０４は、後処理でぼけを復元することまで考慮して、認識性能評価値を決定してもよい。即ち、制御部１０４は、画像情報に加えて距離情報（被写体の領域までの距離を示す情報）を用いてぼけを復元した場合における認識性能の向上度合いが高くなるに応じて、認識性能評価値を高く設定してもよい。この場合、制御部１０４は、画像情報および距離情報に基づいて、認識性能評価値を決定する。例えば、制御部１０４は、予め、画像情報と距離情報とが紐づいたデータを所定量以上収集しておき、距離情報を用いてぼけが復元できるか否かの判定を行う。以上により、制御部１０４は、後処理でぼけを復元することによって認識性能が向上しない被写体を、被写界深度内に収めないように制御する。その結果、結像光学系１０１のＦ値を明るく保ちつつ、適正な被写界深度での撮影が可能となる。
【００３０】
次に、距離情報取得のバリエーションについて説明する。上述したように、固体撮像素子１０２は、距離情報取得手段１０３の機能を併せ持つ。図３の例では、各画素１１０について、第１光電変換部１１１および第２光電変換部１１２は、両者とも光束を受光可能である。図７は、他の例における固体撮像素子の各画素と結像光学系の射出瞳領域との関係を示す図である。
【００３１】
図７に一例を示した。図７に示す固体撮像素子は、結像光学系の瞳領域１２１からの光束を選択的に受光可能な画素１４１（図７Ａ）、結像光学系の瞳領域１２２からの光束を選択的に受光可能な画素１４２（図７Ｂ）、および、結像光学系の全瞳領域１２３からの光束を受光可能な画素１４３を有している（図７Ｃ）。具体的には、画素１４１は結像光学系の射出瞳１２３のうち、第一の瞳領域１２１以外からの領域からの光束を遮光する遮光膜１３１を有している。また、画素１４２は結像光学系の射出瞳１２３のうち、第二の瞳領域１２２以外からの領域からの光束を遮光する遮光膜１３２を有している。そして、画素１４３は遮光膜を有しておらず、結像光学系の射出瞳領域全体からの光束を受光可能な構造となっている。
【００３２】
撮像装置１００は、撮像面位相差測距を用いた距離情報取得精度を向上させるために、照明光照射装置を有していてもよい。上記照明光照射装置による照明光によって被写体の明るさが向上する。また、空間的な分布を有する照明光を有することで像ずれ量の検出精度が向上する。これにより、距離情報取得精度が向上する。また、距離情報取得手段１０３は、固体撮像素子１０２とは別個に設けられていてもよい。例えば、距離情報取得手段１０３は、レーザーレーダーやＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）センサ等であってもよい。以上において、撮像装置１００が被写界深度優先モードで駆動される場合について説明したが、撮像装置１００は、被写界深度優先モード以外のモードで駆動可能であってもよい。例えば、撮像装置１００は操作部を有しており、ユーザが操作部を操作することにより、被写界深度優先モードに設定するか否かを選択できるようになっていてもよい。
【００３３】
＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態の撮像装置１００は、被写界深度内に収める領域の判定を、認識性能評価値および距離情報に基づいて行う。図８は、第２実施形態の処理の流れを示すフローチャートである。Ｓ２１およびＳ２２は、第１実施形態における図４のＳ１１およびＳ１２と同様であるため、説明を省略する。制御部１０４は、Ｓ２２で算出された各領域の認識性能評価値と、合焦位置からの距離情報とに基づいて、各領域のそれぞれを、領域Ｃ（第１領域）または領域Ｄ（第２領域）に振り分ける（Ｓ２３）。領域Ｃは、合焦位置および絞りの調節時に、被写界深度に収める対象となる領域である。領域Ｄは、合焦位置および絞りの調節時に、被写界深度に収める対象にならない領域である。制御部１０４は、上記の振り分けにより、被写界深度に収める対象となる領域Ｃを設定する。
【００３４】
Ｓ２３において、制御部１０４は、各領域のそれぞれについて、認識性能評価値が第１閾未満である領域を領域Ｄに割り振る。認識性能評価値が第１閾未満である領域は、第１実施形態の領域Ｂに対応する。つまり、領域Ｄは、領域Ｂと同様、合焦位置および絞りの調節時に、被写界深度に収める対象にならない。Ｓ２３において、制御部１０４は、認識性能評価値が第１閾以上である領域のうち、調節前の結像光学系１０１の合焦位置からの距離が第４閾値（所定距離）より大きい領域を領域Ｄに割り振る。一方、Ｓ２３において、制御部１０４は、認識性能評価値が第１閾以上である領域のうち、調節前の結像光学系１０１の合焦位置からの距離が第４閾値以下である領域を領域Ｃに割り振る。従って、各領域のうち、認識性能評価値が第１閾値以上であり、且つ上記合焦位置からの距離が第４閾値以下であるという条件を満たす領域が、被写界深度に収める対象となる領域Ｃとなる。一方、上記条件を満たさない領域は、被写界深度に収める対象とならない領域Ｄとなる。
【００３５】
制御部１０４は、Ｓ２３で求めた全ての領域Ｃが、被写界深度内に収まるようにしつつ、合焦位置のずらし量が第２閾値以下となるように、結像光学系１０１の合焦位置および絞りを調節する（Ｓ２４）。つまり、制御部１０４は、認識性能評価値が第１閾値未満であるか、または、調節前の合焦位置からの距離が第４閾値よりも大きい領域Ｄについては、被写界深度内に収まらなくてもよいと判定する。第１実施形態と同様、Ｓ２４において、制御部１０４は、調節前と調節後との間の合焦位置のずらし量が第２閾値以下となるか否かにかかわらず、結像光学系１０１の絞り１０８を調節してもよい。制御部１０４は、認識性能評価値に加えて、距離情報も使用して、結像光学系１０１の合焦位置および絞り１０８を調節する。これにより、第１実施形態と比較して、結像光学系１０１のＦ値が大幅に暗くなることを抑制することができる。
【００３６】
図９は、第２実施形態に係る被写体の距離分布、合焦位置および被写界深度の例を示す図である。図９（Ａ）および（Ｂ）は、図５（Ａ）および（Ｂ）と同様である。つまり、図９（Ｂ）および（Ｂ）では、認識性能評価値が第１閾値以上である領域が被写界深度内に収まるように絞り１０８の調節がされている。一方、第２実施形態の制御部１０４は、認識性能評価値に加えて、距離情報も使用して、結像光学系１０１の合焦位置および絞り１０８を調節する。図９（Ｃ）において、制御部１０４は、上記合焦位置からの距離が第４閾値よりも大きい領域を被写界深度内に収めなくてもよいと判定している。図９（Ｃ）の例の場合、両端の被写体Ｄは、被写界深度内に収まらない。このため、図９（Ｃ）における調節後の被写界深度は、図９（Ｂ）における調節後の被写界深度よりも浅くなっている。第２実施形態の制御部１０４が、上記の制御に基づいて、結像光学系１０１の合焦位置および絞りを調節することで、Ｆ値を明るくすることができる（Ｆ値を小さくすることができる）。つまり、制御部１０４は、上記合焦位置からの距離が第４閾値（所定距離）よりも離れた領域を被写界深度内に収めないように制御することで、結像光学系１０１のＦ値が明るいままでの撮影が可能となる。その結果、画像のＳＮ比を低減させずに、適正な被写界深度での撮影を可能とすることができる。
【００３７】
制御部１０４は、上述した第４閾値を、許容される画像のＳＮ比や、絞り調節機構１０５のメカ精度から設定してもよい。例えば、制御部１０４は、許容される最大のＦ値を１６とした場合、Ｆ値が「１６」の場合の被写界深度を、第４閾値としてもよい。許容される画像のＳＮ比は、被写体の明るさ、即ち、画素信号レベルによって変化する。従って、画素信号レベルの平均値や中央値から求まる被写体の明るさが暗いほど、第４閾値を小さくした方が好ましい。
【００３８】
また、制御部１０４は、合焦位置からの距離が第４閾値以上の領域については、絞り１０８を絞ることによって被写界深度を深くするのではなく、画像の輪郭部の認識性能比を強調する画像処理を行う。これにより、合焦位置からの距離が第４閾値以上の領域の視認性が向上する。例えば、制御部１０４は、上述したようにラプラシアンフィルタ等を用いて、画像の輪郭部の認識性能比を強調する画像処理を行ってもよい。
【００３９】
＜第３実施形態＞
次に、第３実施形態について説明する。第３実施形態の制御部１０４は、画像の各領域の認識性能評価値と距離情報との双方を連動させて、被写界深度内に収める領域を判定している。第３実施形態の制御部１０４は、各々の領域について、調節前の合焦位置からの距離の逆数が小さくなるに応じて、第１閾値を小さくする。図１０は、第３実施形態に係る第１閾値の設定方法を説明する図である。図１０（Ａ）は、合焦位置からの距離の逆数と、結像光学系１０１の解像力の関係を示した図である。結像光学系１０１の解像力は、合焦位置近傍が最も高く、被写体が十分に遠い場合、ピント面から離れるにしたがって、合焦位置からの距離の逆数に比例して低下する傾向にある。合焦位置での解像力は、収差や回折の影響によって多少のずれを生じるものの、概略、結像光学系１０１の瞳透過率に基づく実効的なＦ値に反比例する。また、解像力の合焦位置からの距離の逆数に対する比例係数は、収差や回折の影響によって多少ずれるものの、概略、結像光学系の実効的なＦ値の２乗に反比例する。従って、合焦位置近傍では絞り１０８を開くほど認識性能評価値が高くなり、合焦位置から一定の距離以上離れた場合、絞り１０８を絞るほど認識性能評価値が低くなる。
【００４０】
以上より、合焦位置からの距離の逆数が大きいにもかかわらず、認識性能評価値が低い領域は、もともとテクスチャが無いこと等に起因して認識性能評価値が低いと判定することができる。一方、合焦位置からの距離の逆数が小さいにもかかわらず、認識性能評価値がある程度高い領域（十分な視認性が得られるほど認識性能評価値が高くない領域）は、絞り１０８を絞ることによって視認性が向上する可能性が高いと判定することができる。そこで、図１０（Ｂ）のように、制御部１０４は、画像を構成する各領域の合焦位置からの距離の逆数が小さい領域ほど、第１閾値を小さく設定する。概略、結像光学系１０１の解像力と認識性能評価値とは比例するため、制御部１０４は、各領域について、合焦位置からの距離の逆数が小さくなるに応じて、第１閾値が小さくなるように設定する。以上のように、制御部１０４は、合焦位置からの距離の逆数に応じて第１閾値を設定する。これにより、制御部１０４は、絞り１０８を絞ることによって視認性が向上する領域を被写界深度内に収め、絞り１０８を絞っても視認性が向上しない領域を被写界深度内に収めない、と判定できる。その結果、画像のＳＮ比を低下させずに、適正な被写界深度での撮影が可能となる。
【００４１】
＜第４実施形態＞
次に、第４実施形態について説明する。図１１は、第４実施形態に係る監視システム５００の構成例を示す図である。監視システム５００では、撮像装置１００とクライアント装置５０１とがネットワーク５０２を介して、相互に通信可能な状態に接続されている。撮像装置１００には、第１実施形態乃至第３実施形態のうち何れかの撮像装置１００を適用することができる。クライアント装置５０１は、撮像装置１００を制御する各種コマンドを送信する。例えば、撮像装置１００が監視カメラである場合、クライアント装置５０１は、監視カメラとしての撮像装置１００を制御する外部機器（例えば、パーソナルコンピュータ等）である。撮像装置１００は、クライアント装置５０１からの各種コマンドを受けて、コマンドに対するレスポンスや撮像した画像データをクライアント装置５０１に送信する。撮像装置１００を被写界深度優先モードで駆動するか否かは、クライアント装置５０１を介してユーザが選択できるようになっている。なお、撮像装置１００を被写界深度優先モードで駆動するか否かは、撮像装置１００に対する操作によって選択されてもよい。ネットワーク５０２は、有線ＬＡＮや無線ＬＡＮ等により構成されている。また、ネットワーク５０２を介して撮像装置１００に電源を供給する構成となっていてもよい。
【００４２】
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４３】
１００  撮像装置
１０１  結像光学系
１０２  固体撮像素子
１０３  距離情報取得手段
１０４  制御部
１０５  絞り調節機構
１０６  焦点調節機構
１０７  フォーカスレンズ
２００  ＣＰＵ
【図１】
2020067503.tif 000003
【図２】
2020067503.tif 000004
【図３】
2020067503.tif 000005
【図４】
2020067503.tif 000006
【図５】
2020067503.tif 000007
【図６】
2020067503.tif 000008
【図７】
2020067503.tif 000009
【図８】
2020067503.tif 000010
【図９】
2020067503.tif 000011
【図１０】
2020067503.tif 000012
【図１１】
2020067503.tif 000013