(57)【特許請求の範囲】
【請求項１】
撮像光学系を介して光学像が結像される撮像素子を備え、前記撮像素子の出力に応じて画像を得る撮像装置であって、
前記撮像光学系のレンズ主面と結像面とのなす角度を制御するチルト制御を行って撮影を行う第１の撮影モードと、前記撮像光学系の光軸と前記結像面が直交した状態で撮影を行う第２の撮影モードとのいずれかを選択する選択手段と、
前記撮像装置から前記画像の撮影範囲に存在する被写体までの距離を測距して距離情報を得る測距手段と、
前記第１の撮影モードの際に前記撮影範囲に存在する複数の被写体に合焦させるためのチルト角度および第１の絞り値を求める第１の演算手段と、
前記第２の撮影モードの際に前記撮影範囲に存在する複数の被写体に合焦させるための第２の絞り値を求める第２の演算手段とを有し、
前記選択手段は前記第１の絞り値と前記第２の絞り値との比較結果に基づいて前記第１の撮影モードおよび前記第２の撮影モードのいずれかを選択撮影モードとして選択することを特徴とする撮像装置。
【請求項２】
前記選択手段は、前記第１の絞り値と前記第２の絞り値とを比較して、その値が小さい方の絞り値に対応する撮影モードを前記選択撮影モードとして選択することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の撮影モードで撮影を行う際、前記撮像光学系および前記撮像素子の少なくとも一方の傾きを制御して前記チルト角度とする制御手段を有することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮影範囲において被写体を検知する検知手段を備えることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記検知手段は、前記被写体を検知する際、前記被写体が動体であるか否かを検知するとともに、前記被写体に予め定められた特定領域が存在するか否かを検知し、
前記測距手段は、前記検知手段によって前記被写体が動体であり、かつ前記特定領域が存在すると検知された場合に、当該被写体までの距離を測距することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記特定領域は人物の顔領域であることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記画像の撮影範囲に存在する被写体を選択的にマスクするマスク手段を有し、
前記第１の演算手段および前記第２の演算手段の各々は、前記マスク手段によってマスクされた被写体を合焦の対象外とすることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
撮像光学系を介して光学像が結像される撮像素子を備え、前記撮像素子の出力に応じて画像を得る撮像装置の制御方法であって、
前記撮像光学系のレンズ主面と結像面とのなす角度を制御するチルト制御を行って撮影を行う第１の撮影モードと、前記撮像光学系の光軸と前記結像面が直交した状態で撮影を行う第２の撮影モードとのいずれかを選択する選択ステップと、
前記撮像装置から前記画像の撮影範囲に存在する被写体までの距離を測距して距離情報を得る測距ステップと、
前記第１の撮影モードの際に前記撮影範囲に存在する複数の被写体に合焦させるためのチルト角度および第１の絞り値を求める第１の演算ステップと、
前記第２の撮影モードの際に前記撮影範囲に存在する複数の被写体に合焦させるための第２の絞り値を求める第２の演算ステップとを有し、
前記選択ステップでは前記第１の絞り値と前記第２の絞り値との比較結果に基づいて前記第１の撮影モードおよび前記第２の撮影モードのいずれかを選択撮影モードとして選択することを特徴とする制御方法。
【請求項９】
撮像光学系を介して光学像が結像される撮像素子を備え、前記撮像素子の出力に応じて画像を得る撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記撮像光学系のレンズ主面と結像面とのなす角度を制御するチルト制御を行って撮影を行う第１の撮影モードと、前記撮像光学系の光軸と前記結像面が直交した状態で撮影を行う第２の撮影モードとのいずれかを選択する選択ステップと、
前記撮像装置から前記画像の撮影範囲に存在する被写体までの距離を測距して距離情報を得る測距ステップと、
前記第１の撮影モードの際に前記撮影範囲に存在する複数の被写体に合焦させるためのチルト角度および第１の絞り値を求める第１の演算ステップと、
前記第２の撮影モードの際に前記撮影範囲に存在する複数の被写体に合焦させるための第２の絞り値を求める第２の演算ステップとを実行させ、
前記選択ステップでは前記第１の絞り値と前記第２の絞り値との比較結果に基づいて前記第１の撮影モードおよび前記第２の撮影モードのいずれかを選択撮影モードとして選択することを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、チルト駆動可能なレンズ又はチルト駆動可能な撮像素子を備える撮像装置、およびその制御方法、および制御プログラムに関する。
【背景技術】
【０００２】
従来、撮影の際に、撮像装置からの距離が異なる複数の被写体に合焦した画像を得るため、次の第１又は第２の手法が用いられている。第１の手法は、適切な絞り値によって、複数の被写体を包括しうる被写界深度を得る手法である（特許文献１参照）。以下、第１の手法を用いた撮影をノーマル撮影と呼ぶ。
【０００３】
一方、第２の手法では、後述するシャインプルフの法則を用いて、撮影光学系をチルト動作することによって、撮像光学系を撮像素子面に対して傾斜させて、撮像素子からの距離が異なる複数の被写体に関して合焦像を得る（特許文献２参照）。以下、第２の手法を用いた撮影をアオリ撮影と呼ぶ。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭６２−５２５３８号公報
【特許文献２】特開平５−５３１６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、監視カメラなどの撮像装置において、暗所（低照度環境）においても被写体を認識するためには、可能な限り絞りを開き小さいＦ値で撮影を行って高いＳＮＲ（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  ｒａｔｉｏ）を確保することが必要である。ところが、複数の被写体が存在する場合には、後述するように、ノーマル撮影およびアオリ撮影のどちらがより小さいＦ値で全ての被写体に合焦できるかについては、被写体の配置状況によって変化する。
【０００６】
よって、被写体の状況が刻々と変化する環境下においては、特許文献１および２に記載のように、ノーマル撮影およびアオリ撮影のいずれか一方を用いた撮像装置では、被写体の状況に対応することが困難である。その結果、特に、暗所における撮影では不適切な撮影モードで撮影が継続されることになる。
【０００７】
そこで、本発明の目的は、被写体の状況に拘わらず、暗所における撮影においてＳＮＲが良好な撮影モードを自動的に選択することができる撮像装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、本発明による撮像装置は、撮像光学系を介して光学像が結像される撮像素子を備え、前記撮像素子の出力に応じて画像を得る撮像装置であって、前記撮像光学系のレンズ主面と結像面とのなす角度を制御するチルト制御を行って撮影を行う第１の撮影モードと、前記撮像光学系の光軸と前記結像面が直交した状態で撮影を行う第２の撮影モードとのいずれかを選択する選択手段と、前記撮像装置から前記画像の撮影範囲に存在する被写体までの距離を測距して距離情報を得る測距手段と、前記第１の撮影モードの際に前記撮影範囲に存在する複数の被写体に合焦させるためのチルト角度および第１の絞り値を求める第１の演算手段と、前記第２の撮影モードの際に前記撮影範囲に存在する複数の被写体に合焦させるための第２の絞り値を求める第２の演算手段とを有し、前記選択手段は前記第１の絞り値と前記第２の絞り値との比較結果に基づいて前記第１の撮影モードおよび前記第２の撮影モードのいずれかを選択撮影モードとして選択することを特徴とする。
【０００９】
本発明による制御方法は、撮像光学系を介して光学像が結像される撮像素子を備え、前記撮像素子の出力に応じて画像を得る撮像装置の制御方法であって、前記撮像光学系のレンズ主面と結像面とのなす角度を制御するチルト制御を行って撮影を行う第１の撮影モードと、前記撮像光学系の光軸と前記結像面が直交した状態で撮影を行う第２の撮影モードとのいずれかを選択する選択ステップと、前記撮像装置から前記画像の撮影範囲に存在する被写体までの距離を測距して距離情報を得る測距ステップと、前記第１の撮影モードの際に前記撮影範囲に存在する複数の被写体に合焦させるためのチルト角度および第１の絞り値を求める第１の演算ステップと、前記第２の撮影モードの際に前記撮影範囲に存在する複数の被写体に合焦させるための第２の絞り値を求める第２の演算ステップとを有し、前記選択ステップでは前記第１の絞り値と前記第２の絞り値との比較結果に基づいて前記第１の撮影モードおよび前記第２の撮影モードのいずれかを選択撮影モードとして選択することを特徴とする。
【００１０】
本発明による制御プログラムは、撮像光学系を介して光学像が結像される撮像素子を備え、前記撮像素子の出力に応じて画像を得る撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記撮像光学系のレンズ主面と結像面とのなす角度を制御するチルト制御を行って撮影を行う第１の撮影モードと、前記撮像光学系の光軸と前記結像面が直交した状態で撮影を行う第２の撮影モードとのいずれかを選択する選択ステップと、前記撮像装置から前記画像の撮影範囲に存在する被写体までの距離を測距して距離情報を得る測距ステップと、前記第１の撮影モードの際に前記撮影範囲に存在する複数の被写体に合焦させるためのチルト角度および第１の絞り値を求める第１の演算ステップと、前記第２の撮影モードの際に前記撮影範囲に存在する複数の被写体に合焦させるための第２の絞り値を求める第２の演算ステップとを実行させ、前記選択ステップでは前記第１の絞り値と前記第２の絞り値との比較結果に基づいて前記第１の撮影モードおよび前記第２の撮影モードのいずれかを選択撮影モードとして選択することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮影範囲に存在する被写体に合焦させつつ、絞り値を適切に選択することができる結果、被写体の状況に拘わらず、暗所などにおける撮影においてＳＮＲが良好な画像を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】シャインプルフの法則を説明するための図であり、（ａ）はノーマル撮影における撮像素子とレンズの配置および合焦面の位置関係を示す図、（ｂ）は撮像素子に対してレンズを傾けた状態を示す図である。
【図２】第１の撮影シーンで得られた画像の一例を示す図である。
【図３】図２に示す撮影シーンにおいて被写体の配置関係をモデル化して示す図である。
【図４】図３に示す被写体の配置についてノーマル撮影によって全被写体に対して合焦を行う状態を示す図である。
【図５】図３に示す被写体の配置についてアオリ撮影によって全被写体に対して合焦を行う状態を示す図である。
【図６】第２の撮影シーンで得られた画像の一例を示す図である。
【図７】図６に示す撮影シーンにおいて被写体の配置関係をモデル化して示す図である。
【図８】図７に示す被写体の配置においてノーマル撮影の際の合焦面中心と被写体との位置関係を示す図である。
【図９】図７に示す被写体の配置についてアオリ撮影によって全被写体に対して合焦を行う状態を示す図である。
【図１０】本発明の第１の実施形態によるカメラの一例について構成を示すブロック図である。
【図１１】図１０に示すカメラで行われる撮影処理の一例を説明するためのフローチャートである。
【図１２】図１に示す被写体座標演算部で設定される見かけ位置（見かけ座標）の一例を示す図である。
【図１３】図１に示す被写体座標演算部で設定されるｚ軸座標の一例を示す図である。
【図１４】図１に示す撮像素子とレンズおよび合焦面との配置関係を示す図である。
【図１５】本発明の第２の実施形態によるカメラの一例についてその構成を示すブロック図である。
【図１６】図１５に示すカメラで行われる撮影処理の一例を説明するためのフローチャートである。
【図１７】本発明の第３の実施形態によるカメラで用いられる被写体検知部の構成を示すブロック図である。
【図１８】本発明の第３の実施形態によるカメラで行われる撮影処理を説明するためフローチャートである。
【図１９】本発明の第４の実施形態によるカメラの一例についてその構成を示すブロック図である。
【図２０】図１９に示すカメラで行われる撮影処理を説明するためのフローチャートである。
【図２１】図１９に示す表示部に表示された画像において設定されたマスク範囲の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
【００１４】
ここでは、本発明の実施の形態による撮像装置について説明する前に、シャインプルフの法則について概説する。
【００１５】
図１は、シャインプルフの法則を説明するための図である。そして、図１（ａ）はノーマル撮影における撮像素子とレンズの配置および合焦面の位置関係を示す図である。また、図１（ｂ）は撮像素子に対してレンズを傾けた状態を示す図である。
【００１６】
図１（ａ）においては、撮像素子２００ａとレンズ２０１ａとは撮像素子面（結像面）とレンズ主面とが平行となるよう配置されており、合焦面２０２ａ、撮像素子２００ａ、およびレンズ２０１ａは全てが平行となる。一方、図１（ｂ）においては、シャインプルフの法則を用いたアオリ撮影における撮像素子２００ｂおよびレンズ２０１ｂの配置と合焦面２０２ｂの位置関係が示されており、撮像素子２００ｂに対してレンズ２０１ｂが傾けられている。
【００１７】
撮像素子２００ｂの延長線と合焦面２０２ｂの延長線とが交わる点をＣＰとする。この際、レンズ２０１ｂをレンズ主面の延長線が点ＣＰを通過するように傾斜させると、合焦面２０２ｂに合焦させることができる。これをシャインプルフの法則という。
【００１８】
ここで、上述のシャインプルフの法則について２つの撮影シーンを例に挙げて説明する。
【００１９】
図２は、第１の撮影シーンで得られた画像の一例を示す図である。
【００２０】
第１の撮影シーンで得られた画像（撮影画像）１０においては、被写体１１、１２、１５，および１６が建物の一階エリアに立っており、被写体１３、１４、１７、および１８が建物の２階エリアに立っている。
【００２１】
図３は図２に示す撮影シーンにおいて被写体の配置関係をモデル化して示す図である。
【００２２】
図示の例では、被写体１１〜１８は直径ｗ１の黒い球体で近似されている。そして、被写体１１〜１８はそれぞれ一辺の長さがｄ１の立方体の頂点に位置づけられており、撮像装置（以下単にカメラと呼ぶ）１９によって図示の立方体を撮像する。
【００２３】
図４は、図３に示す被写体の配置についてノーマル撮影によって全被写体に対して合焦を行う状態を示す図である。
【００２４】
ノーマル撮影（第２の撮影モード）においては、合焦面の中心２０を被写体１１および１２によって規定される辺の中点と、被写体１３と１４、被写体１５、１６、および被写体１７と１８がそれぞれ規定する辺の中点とを通る平面に設定する。この際、全ての被写体を合焦範囲に収めるために必要な被写界深度Ｌ１は、Ｌ１＝ｄ１＋ｗ１となる。
【００２５】
図５は、図３に示す被写体の配置についてアオリ撮影によって全被写体に対して合焦を行う状態を示す図である。
【００２６】
アオリ撮影（第１の撮影モード）においては、合焦面中心２１は、被写体１１、１４、１５、および１８を通る平面に設定される。この際、全ての被写体を合焦範囲に収めるために必要な被写界深度Ｌ２は、Ｌ２＝√２×ｄ１＋ｗ１となる。
【００２７】
被写界深度Ｌ１およびＬ２を比較すると、被写界深度Ｌ１＜被写体深度Ｌ２であるので、第１の撮影シーンにおいてはノーマル撮影の方がＦ値（絞り値）を小さくして撮影することができる。
【００２８】
なお、図示の例では、ノーマル撮影とアオリ撮影との差を説明するために特殊な状況を仮定しているものの、実際の撮影シーンにおいても同様な状況は多様に存在する。そして、このことは、後述する第２の撮影シーンについても言えることである。
【００２９】
図６は、第２の撮影シーンで得られた画像の一例を示す図である。
【００３０】
第２の撮影シーンで得られた画像１０においては、被写体１１〜１６が建物の一階エリアに立っている。そして、これら被写体１１〜１６は画面奥行き方向に向かって一列に並んでいる。
【００３１】
図７は、図６に示す撮影シーンにおいて被写体の配置関係をモデル化して示す図である。
【００３２】
ここでは、被写体１１〜１６が直径ｗ１の円で近似されている。そして、被写体１１〜１６は各々一定距離ｄ３をおいて並んでいる。
【００３３】
図８は、図７に示す被写体の配置においてノーマル撮影の際の合焦面中心と被写体との位置関係を示す図である。
【００３４】
図示のように、合焦面の中心２３は被写体１３と１４との中間に位置し、この際に全ての被写体を合焦範囲に収めるために必要な被写界深度ｄ４は、ｄ４＝５×ｄ３＋ｗ１となる。
【００３５】
図９は、図７に示す被写体の配置についてアオリ撮影によって全被写体に対して合焦を行う状態を示す図である。
【００３６】
ここでは、合焦面の中心２４は被写体１１〜１６の各々の中心を結ぶ直線分を含んでいる。全ての被写体を合焦範囲に収めるために必要な被写界深度ｄ５は、ｄ５＝ｗ１となる。被写界深度ｄ４およびｄ５を比較すると、被写界深度ｄ５＜被写体深度ｄ４であるので、第２の撮影シーンにおいてはアオリ撮影の方がＦ値を小さくして撮影することができる。
【００３７】
このように、ノーマル撮影およびアオリ撮影のどちらがより小さいＦ値で全ての被写体に合焦できるかについては、被写体の配置状況によって変化することになる。
【００３８】
［第１の実施形態］
図１０は、本発明の第１の実施形態によるカメラの一例について構成を示すブロック図である。
【００３９】
カメラ１００は、チルト機構を備える撮像光学系１０１を有しており、撮像光学系１０１を介して、光学像（被写体像）がＣＣＤ、ＣＭＯＳセンサ、又はＩｎＧａＡｓセンサなどの撮像素子１０２に結像する。撮像光学系制御部１１１は、システムコントローラ１１２の制御下で、撮像光学系１０１の合焦制御、チルト制御、および露出制御などを行う。
【００４０】
撮像素子１０２は光学像に応じた画像信号（アナログ信号）を出力する。画像処理部１０３は画像信号をＡ／Ｄ変換してデジタル画像信号とする。そして、画像処理部１０３は、当該デジタル画像信号に対してガンマ補正およびカラーバランス調整など所定の画像処理を行って、ＪＰＥＧなどの画像データを生成する。
【００４１】
画像処理部１０３の出力である画像データは、被写体検知部１０４およびシステムコントローラ１１２に送られる。そして、システムコントローラ１１２は、画像データを映像として表示部１１３に表示する。
【００４２】
被写体検知部１０４は画像データを解析して被写体を検知する。そして、被写体検知部１０４は被写体検知結果とともに画像データを被写体座標演算部１０５に送る。被写体座標演算部１０５には、撮像素子１０２の縦横寸法、画素ピッチ寸法、および許容錯乱円径が予め保持されているとともに、撮像光学系１０１の焦点距離を示す焦点距離情報が保持されている。
【００４３】
被写体座標演算部１０５は、まず被写体検知結果および画像データを用いて、画像上における被写体の位置を示す被写体情報を生成する。そして、被写体座標演算部１０５は当該被写体情報をシステムコントローラ１１２に送る。
【００４４】
システムコントローラ１１２は、被写体情報に基づいて測距部１１０を制御して各被写体を測距する。そして、測距部１１０は被写体を測距した測距結果を被写体座標演算部１０５に送る。被写体座標演算部１０５は、測距結果を参照して被写体の各々について３次元座標を求める。被写体座標演算部１０５は画像データとともに当該３次元座標をアオリ撮影用合焦面演算部１０６およびノーマル撮影用被写界深度演算部１０８に送る。
【００４５】
アオリ撮影用合焦面演算部１０６は被写体の３次元座標に基づいてアオリ撮影を行う際に必要な合焦面を示す平面式を求める。そして、アオリ撮影用合焦面演算部１０は合焦面を示す平面式と被写体の３次元座標とをアオリ撮影用被写界深度演算部１０７に送る。アオリ撮影用被写界深度演算部１０７は、合焦面を示す平面式および被写体の３次元座標に基づいて、全被写体を合焦するために必要なＦ値（以下アオリ撮影用Ｆ値と呼ぶ）を求める。
【００４６】
なお、第１の撮影モードであるアオリ撮影においては、撮像光学系１０１のレンズ主面と撮像光学系１０１によって形成される結像面とのなす角度（チルト角度）を制御するチルト制御を行って撮影が行われる。なお、レンズ主面と結像面とのなす角度を制御することによって、撮像素子１０２の光軸と結像面となす角度も変化する。また、結像面は撮像素子１０２上に形成される。
【００４７】
一方、ノーマル撮影用被写界深度演算部１０８は被写体の３次元座標に基づいてノーマル撮影を行う際に全被写体を合焦するために必要なＦ値（以下ノーマル撮影用Ｆ値と呼ぶ）を求める。そして、アオリ撮影用被写界深度演算部１０７およびノーマル撮影用被写界深度演算部１０８は、それぞれアオリ撮影用Ｆ値およびノーマル撮影用Ｆ値を撮影モード選択部１０９に送る。
【００４８】
なお、第２の撮影モードであるノーマル撮影においては、撮像光学系１０１の光軸と撮像光学系１０１によって形成される結像面とが直交する状態で撮影が行われる。
【００４９】
撮影モード選択部１０９はアオリ撮影用Ｆ値とノーマル撮影用Ｆ値とを比較して、小さい方のＦ値を選択Ｆ値（選択絞り値）として選択する。そして、撮影モード選択部１０９は選択Ｆ値に対応する撮影モードを選択して選択撮影モードとしてシステムコントローラ１１２に送る。システムコントローラ１１２は、選択撮影モードに基づいて撮像光学系制御部１１１に制御して撮像光学系１０１を駆動する。
【００５０】
図１１は、図１０に示すカメラで行われる撮影処理の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、システムコントローラ１１２の制御下で行われる。
【００５１】
撮影処理が開始されると、システムコントローラ１１２は、被写体検知部１０４によって被写体が検知されたか否かを判定する（ステップＳ２）。画像において被写体が検知されないと（ステップＳ２において、ＮＯ）、システムコントローラ１１２は待機する。一方、画像において被写体が検知されると（ステップＳ２において、ＹＥＳ）、システムコントローラ１１２は、測距部１１０を制御して検知された全ての被写体について測距を行う（ステップＳ３）。
【００５２】
続いて、システムコントローラ１１２の制御下で、被写体座標演算部１０５は、画像（画面）上の被写体の見かけの位置に応じて実際の被写体位置を算出する（ステップＳ４）。
【００５３】
図１２は、図１に示す被写体座標演算部で設定される見かけ位置（見かけ座標）の一例を示す図である。
【００５４】
図１２に示す撮影画像には、複数の被写体３０１〜３０４が存在する。被写体３０１〜３０４の見かけ位置から被写体３０１〜３０４の被写体位置を算出する際には、被写体座標演算部１０５は撮影画像３００の中心を原点として横方向にＸ軸、縦方向にＹ軸を設定する。なお、Ｘ軸およびＹ軸の単位は画素数である。
【００５５】
被写体座標演算部１０５は、ＸＹ座標において被写体３０１〜３０３にそれぞれ座標（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）、（Ｘ３、Ｙ３）、および（Ｘ４、Ｙ４）を付与する。以下これらの座標を画像上のみかけ座標と呼ぶ。
【００５６】
図１３は、図１に示す被写体座標演算部で設定されるｚ軸座標の一例を示す図である。
【００５７】
被写体座標演算部１０５は、被写体３０１〜３０４について、測距部１１０で得られた測距値をそれぞれＺ座標Ｚ１、Ｚ２、Ｚ３、およびＺ４として付与する。そして、被写体座標演算部１０５は、Ｚ座標を用いて、被写体３０１〜３０４の見かけＸＹ座標から被写体の実際の座標である被写体位置（被写体座標）を算出する。
【００５８】
ここで、被写体３０１を例に挙げて、被写体位置算出の一例について説明する。
【００５９】
まず、被写体座標演算部１０５は画面（つまり、画像）上の見かけのＸＹ座標に撮像素子１０２の画素ピッチを乗算して、撮像素子面上における座標を算出する。画素ピッチをｐ（ｍｍ）とすると、被写体の撮像素子面上の実座標は（Ｘｐ、Ｙｐ）となる。なお、この座標はｍｍ単位である。
【００６０】
続いて、被写体座標演算部１０５は、撮像光学系１０１（レンズ）の焦点距離ｆ（ｍｍ）と撮像素子１０２の縦寸法Ｖ（ｍｍ）および横寸法Ｈ（ｍｍ）とに基づいて、被写体３０１の実空間におけるＸＹ座標（Ｘ１、Ｙ１）を、次の式（１）および式（２）によって求める。
【００６１】
【数１】
0006635764.tif 000002
【００６２】
これによって、被写体３０１の実空間における３次元座標は（Ｘ１、Ｙ１、Ｚ１）となる。同様にして、被写体３０２〜３０４について、実空間における３次元座標を求めると、それぞれ（Ｘ２、Ｙ２、Ｚ２）、（Ｘ３、Ｙ３、Ｚ３）、および（Ｘ４、Ｙ４、Ｚ４）となる。
【００６３】
再び図１１を参照して、被写体位置の算出の後、システムコントローラ１１２の制御下で、アオリ撮影用合焦面演算部１０６はアオリ撮影の際の合焦面を求める（ステップＳ５）。アオリ撮影の際の合焦面を求める際には、例えば、最小二乗近似が用いられる。
【００６４】
ここでは、被写体３０１〜３０４の実空間における３次元座標（Ｘ１、Ｙ１、Ｚ１）〜（Ｘ４、Ｙ４、Ｚ４）を点列と見做して、アオリ撮影用合焦面演算部１０６はこれらの点列をｚ軸方向の距離において最小二乗近似した平面を求める。
【００６５】
まず、アオリ撮影用合焦面演算部１０６は近似平面の式を、式（３）とする。
【００６６】
【数２】
0006635764.tif 000003
【００６７】
Ｚ方向の距離を考えた場合には、点（Ｘｉ、Ｙｉ、Ｚｉ）（但しｉ＝１〜４）と式（３）で示す平面との距離ｄｉは、次の式（４）で表される。
【００６８】
【数３】
0006635764.tif 000004
【００６９】
そして、全ての点列と平面との距離の二乗和Ωを考えると、二乗和Ωは、次の式（５）で表される。
【００７０】
【数４】
0006635764.tif 000005
【００７１】
アオリ撮影用合焦面演算部１０６は、式（５）を最小にするための係数ａ、ｂ、およびｃを求めるために、式（５）を計数ａ、ｂ、およびｃの各々について、式（６）〜式（８）で示すように偏微分する。
【００７２】
【数５】
0006635764.tif 000006
【００７３】
ここで、Ａｓ＝ΣＸｉ２、Ｂｓ＝ΣＹｉ２、Ｃｓ＝ΣＸｉＹｉ、Ｄｓ＝ΣＸｉｚｉ、Ｅｓ＝ΣＹｉｚｉ、Ｆｓ＝ΣＸｉ、Ｇｓ＝ΣＹｉ、およびＨｓ＝Σｚｉとおくと、式（６）〜式（８）はそれぞれ式（９）〜式（１０）で表される。
【００７４】
【数６】
0006635764.tif 000007
【００７５】
式（９）〜式（１１）で示す連立方程式を解けば、係数ａ、ｂ、およびｃはそれぞれ式（１２）〜式（１４）で示される。
【００７６】
【数７】
0006635764.tif 000008
【００７７】
そして、式（１２）〜式（１４）を式（３）式に代入すれば、最小二乗近似平面の平面式が得られる。この最小二乗近似平面がアオリ撮影における合焦面の平面式となる。そして、以後、ｚ＝ａｘ＋ｂｙ＋ｃがアオリ撮影における合焦面の平面式として用いられる。
【００７８】
次に、アオリ撮影用合焦面演算部１０６は、合焦面ｚ＝ａｘ＋ｂｙ＋ｃを得るために必要なレンズ主面が配置されるべき平面式を算出する。
【００７９】
図１４は、図１に示す撮像素子とレンズおよび合焦面との配置関係を示す図である。
【００８０】
図示の合焦面３００は、上述の式（３）および式（１２）〜式（１４）式で得られた合焦面である。そして、撮像素子１０２から焦点距離ｆだけ離れたＺ軸上に撮像光学系１０１であるレンズが配置されている。撮像素子面はｚ＝０の平面であって、合焦面の平面式との公線は、次の式（１５）によって求めることができる。
【００８１】
【数８】
0006635764.tif 000009
【００８２】
式（１５）で示す公線上の２点として、Ｘ軸との交点Ｅ１、Ｙ軸との交点Ｅ２をとると、その座標はＥ１＝（−ｃ／ａ、０、０）、Ｅ２＝（０、−ｃ／ｂ、０）となる。また、レンズの中心点Ｅ３の座標はＥ３＝（０、０、ｆ）であり、これら３点を通る平面が所望の合焦面を得るために必要なレンズ主面の平面式に相当する。座標Ｅ１〜Ｅ３の３点から平面上のベクトルＫ１＝（ｃ／ａ、−ｃ／ｂ、０）、Ｋ２＝（ｃ／ａ、０、ｆ）を生成して、これらの外積をとることによって、式（１６）に示すよう、レンズ主面の平面に対する法線ベクトルが算出される。
【００８３】
【数９】
0006635764.tif 000010
【００８４】
さらに、点Ｅ３を通って、式（１６）の法線ベクトルを有する平面の式は、次の式（１７）で与えられる。
【００８５】
【数１０】
0006635764.tif 000011
【００８６】
また、上記の式（１８）で与えられる平面とレンズ主面とが合致するようにレンズのチルト制御を行えば、前述のシャインプルフの法則からアオリ撮影における所望の合焦面ｚ＝ａｘ＋ｂｙ＋ｃが得られる。
【００８７】
再び図１１を参照して、システムコントローラ１１２の制御下で、アオリ撮影用被写界深度演算部１０７はアオリ撮影において全ての被写体に合焦するために必要なＦ値を算出する（ステップＳ６）。ここでは、まず、アオリ撮影用被写界深度演算部１０７は次の式（１９）を用いて被写体３０１〜３０４とアオリ撮影における合焦面ｚ＝ａｘ＋ｂｙ＋ｃとの距離を算出する。
【００８８】
【数１１】
0006635764.tif 000012
但しｉ＝１〜４である。
【００８９】
そして、アオリ撮影用被写界深度演算部１０７は合焦面との距離において正の最大値と負の最小値の絶対値との和Ｓｍを算出する。この和Ｓｍが被写体３０１〜３０４を全て合焦範囲に収めるために必要な被写界深度となる。
【００９０】
次に、アオリ撮影用被写界深度演算部１０７は被写界深度が和ＳｍとなるＦ値を算出する。被写界深度Ｔは前方被写界深度Ｔｆと後方被写界深度Ｔｒの合算で求められる。許容錯乱円径をＲとし、レンズの絞り値をＦとする。さらに、撮像素子面の中心からアオリ撮影における合焦面までの距離をＺｖとすると、被写界深度Ｔは、次の式（２０）で求めることができる。但し、Ｚｖは式（２１）で与えられる。
【００９１】
【数１２】
0006635764.tif 000013
【００９２】
そして、アオリ撮影用被写界深度演算部１０７は、次の式（２１）によって、式（２０）で示す被写界深度Ｔが前述の和（必要被写界深度）Ｓｍと等しいときのＦ値を算出する。
【００９３】
【数１３】
0006635764.tif 000014
【００９４】
式（２２）をＦ値に関して解くと、式（２３）で示すように、アオリ撮影において全被写体を合焦範囲に収めるために必要なＦ値を算出することができる。
【００９５】
【数１４】
0006635764.tif 000015
【００９６】
続いて、システムコントローラ１２２の制御下で、ノーマル撮影用被写界深度演算部１０８は、ノーマル撮影を用いた際に全被写体に合焦するために必要なＦ値を算出する（ステップＳ７）。前述のように、被写体３０１〜３０４の各々には、測距部１１０において得られた距離情報がｚ座標として付与されている。そして、このＺ座標はそれぞれＺ１、Ｚ２、Ｚ３、およびＺ４である。
【００９７】
ノーマル撮影用被写界深度演算部１０８は、これらＺ座標Ｚ１〜Ｚ４の内で最大値Ｚｍａｘおよび最小値Ｚｍｉｎを選択して、その差分（Ｚｍａｘ−Ｚｍｉｎ）を算出する。この差分（Ｚｍａｘ−Ｚｍｉｎ）がノーマル撮影において全被写体に合焦するために必要な被写界深度となる。
【００９８】
次に、アオリ撮影において用いた手法と同様にして、ノーマル撮影用被写界深度演算部１０８は、被写界深度が（Ｚｍａｘ−Ｚｍｉｎ）となるために必要なＦ値を算出する。この際の被写界深度Ｔは前方被写界深度Ｔｆと後方被写界深度Ｔｒとの合算で求められる。許容錯乱円径をＲとし、レンズの絞り値をＦとして、撮像素子面の中心からノーマル撮影における合焦面までの距離をＺｖとすると、被写界深度Ｔは、次の式（２４）によって得られる。但し、ここでは、Ｚｖは式（２５）で与えられる。
【００９９】
【数１５】
0006635764.tif 000016
【０１００】
Ｆ値に関して整理すると、式（２６）によってノーマル撮影におけるＦ値（ノーマル撮影Ｆ値）が得られる。
【０１０１】
【数１６】
0006635764.tif 000017
【０１０２】
式（２６）で示すＦ値がノーマル撮影において全被写体に合焦するために必要なＦ値となる。
【０１０３】
続いて、システムコントローラ１１２の制御下で、撮影モード選択部１０９はアオリ撮影Ｆ値とノーマル撮影Ｆ値とを比較して、当該比較結果に基づいて最小のＦ値で撮影可能なモードはアオリ撮影であるか否かを判定する（ステップＳ８）。つまり、撮影モード選択部１０９はより小さいＦ値で撮影可能な撮影モードを選択することになる。
【０１０４】
モード選択結果がアオリ撮影を示していると（ステップＳ８において、ＹＥＳ）、システムコントローラ１１２は撮像光学系制御部１１１を制御して、撮像光学系１０１をチルト（ＴＩＬＴ）駆動する（ステップＳ９）。この際、システムコントローラ１１２は、レンズの主面が式（３）および式（１２）〜式（１４）式で求めた合焦面となるようにチルト制御を行う。
【０１０５】
続いて、システムコントローラ１１２は撮像光学系制御部１１１を制御して、撮像光学系１０１を合焦制御する（ステップＳ１０）。そして、システムコントローラ１１２はアオリ撮影を実行する。その後、システムコントローラ１１２はステップＳ２の処理に戻る。
【０１０６】
一方、モード選択結果がノーマル撮影を示していると（ステップＳ８において、ＮＯ）、システムコントローラ１１２はステップＳ１０の処理に進んで、撮像光学系１０１を合焦制御する。そして、システムコントローラ１１２はノーマル撮影を実行する。
【０１０７】
このように、本発明の第１の実施形態では、アオリ撮影およびノーマル撮影のいずれにおいてより小さいＦ値で全被写体を合焦できるか否かを判定する。そして、当該判定結果に基づいて撮影モードを切り替えるようにしたので、被写体の状況が変化したとしても最適な撮影モードで被写体を撮影することができる。
【０１０８】
［第２の実施形態］
続いて、本発明の第２の実施形態によるカメラの一例について説明する。
【０１０９】
図１５は、本発明の第２の実施形態によるカメラの一例についてその構成を示すブロック図である。なお、図１５において、図１０に示すカメラと同一の構成要素について同一の参照番号を付す。
【０１１０】
図示のカメラ１００は、撮像素子制御部１１４を有している。撮像素子１０２はチルト機構を備えており、このチルト機構によって撮像光学系１０１に対して撮像素子面を傾斜させることができる。撮像素子制御部１１４は、システムコントローラ１１２の制御下で撮像素子１０２をチルト制御する。
【０１１１】
図１６は、図１５に示すカメラで行われる撮影処理の一例を説明するためのフローチャートである。なお、図１６において、図１１に示すフローチャートのステップと同一のステップについては同一の参照符号を付して説明を省略する。
【０１１２】
モード選択結果がアオリ撮影を示していると（ステップＳ８において、ＹＥＳ）、システムコントローラ１１２は撮像素子制御部１１４によって撮像素子１０２をチルト駆動（チルト制御）する（ステップＳ１１）。
【０１１３】
ここで、撮像素子１０２のチルト制御の際の駆動量の算出について説明する。
【０１１４】
まず、アオリ撮影における合焦面の平面式をｚ＝ａｘ＋ｂｙ＋ｃとする。第２の実施形態においては、撮像光学系１０１のチルト制御は行われず、この結果、レンズ主面の平面式はｚ＝ｆとなる。当該レンズ主面と合焦面ｚ＝ａｘ＋ｂｙ＋ｃとの公線は、０＝ａｘ＋ｂｙ−ｆ＋ｃとなる。そして、求めるべき撮像素子１０２の撮像面の平面式は、この公線を含み撮像素子中心の座標Ｉ１（０、０、０）を含む。
【０１１５】
公線０＝ａｘ＋ｂｙ−ｆ＋ｃ上の２点としてＸ軸との交点Ｉ２とＹ軸との交点Ｉ３を考えると、交点Ｉ２は（（ｆ−ｃ）／ａ、０  、ｆ）、交点Ｉ３は（０、（ｆ−ｃ）／ｂ、ｆ）である。システムコントローラ１１２は交点Ｉ１およびＩ２を用いてベクトルＴ１を生成し、交点Ｉ１およびＩ３を用いてベクトルＴ２を生成する。そして、システムコントローラ１１２は、式（２７）によってベクトルＴ１およびＴ２の外積を求めて、撮像面の平面の法線ベクトルを算出する。
【０１１６】
【数１７】
0006635764.tif 000018
【０１１７】
式（２７）で示す法線ベクトルを備え、点Ｉ１（０、０、０）を含む平面の式は、次の式（２８）で表される。
【０１１８】
【数１８】
0006635764.tif 000019
【０１１９】
式（２８）式を整理すると、式（２９）が得られる。
【０１２０】
【数１９】
0006635764.tif 000020
【０１２１】
システムコントローラ１１２は式（２９）で示す平面に撮像素子面（結像面）が合致するように、撮像素子１０２をチルト駆動する。これによって、アオリ撮影における合焦面ｚ＝ａｘ＋ｂｙ＋ｃを得ることができる。なお、ステップＳ１１の処理の後、システムコントローラ１１２はステップＳ１０の処理に進む。
【０１２２】
このように、本発明の第２の実施形態では、上述の第１の実施形態と同様に、判定結果に基づいて撮影モードを切り替えることによって、被写体の状況が変化したとしても、ＳＮＲの良好な撮影モードで撮影を行うことができる。さらに、撮像光学系に比べて小型である撮像素子をチルト制御するようにしたので、撮像光学系１０１をチルト制御する場合に比べて、カメラを小型化することができる。
【０１２３】
［第３の実施形態］
続いて、本発明の第３の実施形態によるカメラの一例について説明する。なお、第３の実施形態によるカメラの構成は図１５に示すカメラと同様である。
【０１２４】
図１７は、本発明の第３の実施形態によるカメラで用いられる被写体検知部の構成を示すブロック図である。
【０１２５】
図示の被写体検知部１０４は、動体検知部１１４および顔検知部１１５を有している。そして、画像処理部１０３から画像データが動体検知部１１４および顔検知部１１５に送られる。動体検知部１１４は画像データを解析して、動いている被写体である動体を検知して、動体検知結果を被写体座標演算部１０５に出力する。顔検知部１１５は画像データを解析して、被写体である人物の顔領域（特定領域）を検知して、顔検知結果を被写体座標演算部１０５に出力する。
【０１２６】
被写体座標演算部１０５は動体検知結果および顔検知結果を用いて合焦すべき被写体と合焦の対象外とする被写体とを判定する。ここでは、被写体座標演算部１０５は動体として検知されたが、顔が検知されない被写体を合焦の対象外と判定する。このようにして、合焦の対象とする被写体を選択することによって、合焦対象が減少するので、全被写体を合焦対象とするよりも被写界深度を浅くできる可能性が高まる。この結果、さらに小さなＦ値で撮影を行うことができることになる。
【０１２７】
図１８は、本発明の第３の実施形態によるカメラで行われる撮影処理を説明するためフローチャートである。なお、図１８において、図１１又は図１６に示すフローチャートのステップと同一のステップについては同一の参照符号を付して説明を省略する。
【０１２８】
撮影処理が開始されると、システムコントローラ１１２の制御下で、被写体検知部１０４は動体の検知を行う。そして、システムコントローラ１１２は被写体検知部１０４で動体が検知されたか否かを判定する（ステップＳ１２）。動体が検知されないと（ステップＳ１２において、ＮＯ）、システムコントローラ１１２は待機する。
【０１２９】
動体が検知されると（ステップＳ１２において、ＹＥＳ）、システムコントローラ１１２の制御下で、被写体検知部１０４は動体について顔検知を行う。そして、システムコントローラ１１２は被写体検知部１０４によって顔が検知されたか否かを判定する（ステップＳ１３）。顔が検知されないと（ステップＳ１３において、ＮＯ）、システムコントローラ１１２はステップＳ１２の処理に戻る。
【０１３０】
一方、顔が検知されると（ステップＳ１３において、ＹＥＳ）、システムコントローラ１１２は、顔が検知された動体（被写体）について測距部１１０によって測距を行う（ステップＳ１４）。その後、システムコントローラ１１２はステップＳ４の処理に進む。
【０１３１】
このように、本発明の第３の実施形態では、動体、つまり、行動している人物の顔を検知して、当該人物に注目して撮影処理を行う。つまり、不審者監視又は異常行動監視を行う際に注目したい被写体のみを合焦対象として、動体であっても人物以外のもののように監視上重要度の低い被写体を合焦の対象外とする。これによって、必要な合焦幅をより小さく抑えることが可能となる。この結果、必要となるＦ値をさらに小さくすることができ、ＳＮＲが良好な画像を得ることができる。
【０１３２】
［第４の実施形態］
続いて、本発明の第４の実施形態によるカメラの一例について説明する。
【０１３３】
図１９は、本発明の第４の実施形態によるカメラの一例についてその構成を示すブロック図である。なお、図１９において、図１５に示すカメラと同一の構成要素について同一の参照番号を付す。
【０１３４】
図１９に示すカメラにおいては、撮像被写体座標演算部１０５および表示部１１３とシステムコントローラ１１２とが双方向で接続されている。前述のように、システムコントローラ１１２は画像データに応じた画像を表示部１１３に表示する。ユーザーは表示部１１３に表示された画像を目視して、操作部（図示せず）によって画像において合焦対象からマスクしたい３次元範囲をマスク範囲として選択的に指定する。
【０１３５】
ユーザーがマスク範囲を指定すると、マスク範囲を示す情報が表示部１１３からシステムコントローラ１１２に送られる。そして、システムコントローラ１１２は当該マスク範囲情報を被写体座標演算部１０５に送る。被写体座標演算部１０５は、後述するように、マスク範囲情報によって規定されるマスク範囲を除いて被写体座標を求める。
【０１３６】
図２０は、図１９に示すカメラで行われる撮影処理を説明するためのフローチャートである。なお、図２０において、図１１および図１６に示すフローチャートのステップと同一のステップについては同一の参照符号を付して説明を省略する。
【０１３７】
撮影処理が開始されると、前述のようにして、ユーザーは必要に応じてマスク範囲を設定する（ステップＳ１５）。
【０１３８】
図２１は、図１９に示す表示部に表示された画像において設定されたマスク範囲の一例を示す図である。
【０１３９】
図示の例では、ユーザーは合焦対象外とするため３次元マスク範囲２０を設定したものとする。この結果、被写体１６は合焦対象外とされる。そして、システムコントローラ１１２は３次元マスク範囲２０を示すマスク範囲情報（マスク範囲の座標）を被写体座標演算部１０５に送る。
【０１４０】
続いて、システムコントローラ１１２は、ステップＳ２において被写体検知部１０４によって被写体が検知されたか否かを判定する。ステップＳ４の処理の後、システムコントローラ１１２の制御下で、被写体座標演算部１０５は、検知された被写体がマスク範囲（マスク領域ともいう）に存在するか否かを判定する（ステップＳ１６）。
【０１４１】
被写体がマスク範囲に存在すると（ステップＳ１６において、ＹＥＳ）、システムコントローラ１１２はステップＳ２の処理に戻る。一方、被写体がマスク範囲に存在しないと（ステップＳ１６において、ＮＯ）、システムコントローラ１１２はステップＳ５の処理に進み、アオリ撮影用合焦面演算部１０６によってアオリ撮影の際の合焦面が求められる。
【０１４２】
なお、第４の実施形態では、ステップＳ１１において撮像素子をチルト制御するようにしたが、撮像光学系１０１をチルト制御するようにしてもよい。この際には、図１９に示す撮像素子制御部１１４は不要となる。
【０１４３】
このように、本発明の第４の実施形態では、画像、つまり、撮影範囲に他のカメラによって撮影された範囲が存在する場合などにおいて、ユーザーが当該範囲をマスクすれば、不要な被写体を合焦対象から外すことができる。この結果、合焦に必要なＦ値をさらに小さくできる可能性を高めることができる。
【０１４４】
以上のように、本発明の実施の形態では、被写体の状況に拘わらず、暗所などにおける撮影においてＳＮＲが良好な撮影モードを自動的に選択することができる。
【０１４５】
上述の説明から明らかなように、図１０に示す例では、システムコントローラ１１２および撮影モード選択部１０９が選択手段として機能し、システムコントローラ１１２、被写体座標演算部１０５、アオリ撮影用合焦面演算部１０６、およびアオリ撮影用被写界深度演算部１０７が第１の演算手段として機能する。また、システムコントローラ１１２、被写体座標演算部１０５、およびノーマル撮影用被写界深度演算部１０８が第２の演算手段として機能する。そして、測距部１１０およびシステムコントローラ１１２は測距手段として機能し、システムコントローラ１１２および撮像光学系制御部１１１は制御手段として機能する。
【０１４６】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１４７】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１４８】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１４９】
１０４  被写体検知部
１０５  被写体座標演算部
１０６  アオリ撮影用合焦面演算部
１０７  アオリ撮影用被写界深度演算部
１０８  ノーマル撮影用被写界深度演算部
１０９  撮影モード選択部
１１０  測距部
１１１  撮像光学系制御部
１１２  システムコントーラ
１１４  撮像素子制御部
【図１】
0006635764.tif 000021
【図２】
0006635764.tif 000022
【図３】
0006635764.tif 000023
【図４】
0006635764.tif 000024
【図５】
0006635764.tif 000025
【図６】
0006635764.tif 000026
【図７】
0006635764.tif 000027
【図８】
0006635764.tif 000028
【図９】
0006635764.tif 000029
【図１０】
0006635764.tif 000030
【図１１】
0006635764.tif 000031
【図１２】
0006635764.tif 000032
【図１３】
0006635764.tif 000033
【図１４】
0006635764.tif 000034
【図１５】
0006635764.tif 000035
【図１６】
0006635764.tif 000036
【図１７】
0006635764.tif 000037
【図１８】
0006635764.tif 000038
【図１９】
0006635764.tif 000039
【図２０】
0006635764.tif 000040
【図２１】
0006635764.tif 000041