(57)【要約】【課題】  無駄な撮影レンズの駆動を行わずに、顔検出処理を効率的に行うことを可能にした撮像装置を提供すること。【解決手段】  第１の撮影光学系と第１の撮像素子を有する第１の撮像装置と、第１の撮像光学系より被写界深度の浅い第２の撮影光学系と第２の撮像素子を有する第２の撮像装置を含み、第１の撮像装置は、第１の撮像素子の出力信号から、第１の被写体情報を検出する第１の被写体検出手段と、第１の被写体情報を、第２の撮像装置に伝達する通信手段を備え、第２の撮像装置は、第２の撮像素子の出力信号から、第２の被写体情報を検出する第２の被写体検出手段と、第１の被写体情報を受信する受信手段と、第１の撮像素子と第２の撮像素子の撮影範囲の共通領域を算出する共通領域算出手段を備え、第２の撮像装置は、第２の撮影光学系の駆動制御を、共通領域における第１の被写体情報と第２の被写体情報を用いて行うことを特徴とすることを特徴とする構成とした。【選択図】  図１
2013236194.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮影光学系と第１の撮像素子を有する第１の撮像装置と、
第１の撮像光学系より被写界深度の浅い第２の撮影光学系と第２の撮像素子を有する第２の撮像装置を含み、
前記第１の撮像装置は、前記第１の撮像素子の出力信号から、第１の被写体情報を検出する第１の被写体検出手段と、
前記第１の被写体情報を、前記第２の撮像装置に伝達する通信手段を備え、
前記第２の撮像装置は、前記第２の撮像素子の出力信号から、第２の被写体情報を検出する第２の被写体検出手段と、
前記第１の被写体情報を受信する受信手段と、
前記第１の撮像素子と前記第２の撮像素子の撮影範囲の共通領域を算出する共通領域算出手段を備え、
前記第２の撮像装置は、前記第２の撮影光学系の駆動制御を、前記共通領域における前記第１の被写体情報と前記第２の被写体情報を用いて行うことを特徴とする撮影システム。
【請求項２】
前記被写体情報とは、被写体の数、前記共通領域上の位置、前記共通領域上の大きさのうちの少なくとも一つに関する情報であることを特徴とする請求項１に記載の撮影システム。
【請求項３】
前記共通領域内で、前記第１の被写体検出手段により検出された被写体数に対して、前記第２の被写体検出手段により検出された被写体数の方が少ない場合に、前記第２の撮影光学系の駆動制御を行うことを特徴とする請求項１に記載の撮影システム。
【請求項４】
前記共通領域内で、前記第１の被写体検出手段により検出された被写体数に対して、前記第２の被写体検出手段により検出された被写体数の方が少ない場合に、前記第２の被写体検出手段の被写体検出に関する閾値を、より多くの被写体が検出できるように変更することを特徴とする請求項１に記載の撮影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影システムに関し、特に人物の顔などの被写体を検出する手段を備えた撮像装置を含む撮影システムに関する。
【背景技術】
【０００２】
従来のデジタルカメラ等の撮像装置は、ユーザが失敗なく撮影できるように様々な機能、例えば、良好な画像を得るために撮影したい被写体に対して、自動でピントを合わせるオートフォーカス機能等を有している。更に、近年では人物を撮影するとき、撮像装置の画像認識処理によって、被写体となる人物の顔を検出し、検出した顔にピントが合うようにオートフォーカスを行う機能を有するものもある。
【０００３】
このような人物の顔を検出する技術については、多くの方法が提案されている。例えば、人物の顔の形状に相当する顔候補領域を抽出し、その領域内の特徴量から顔領域を決定する方法がある。しかし、人物の顔の形状を抽出する顔検出技術では、画像認識処理に用いる撮影画像がボケた状態の場合は顔検出の精度が落ちてしまい、撮像装置は、顔の位置にピントが合うようにオートフォーカスを行うことができないことがあった。
【０００４】
そこで、特許文献１には、レンズの被写界深度が浅く、検出すべき顔の形状がボケやすい撮像装置で、撮影者の操作に応じて、撮影レンズのフォーカス位置を移動させて、画像を取得し顔検出処理を行う方法が、開示されている。
【０００５】
また、近年、複数の撮像装置を用いて、特定の被写体を撮影する技術が開示されている。特許文献２には、他の撮像装置の位置情報から、他の撮像装置に所望の被写体が撮像できるか否かを判断し、撮影指示を他の撮像装置に送信できる撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１７５９７３号公報
【特許文献２】特開２０１０−１２４２６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献１に開示された従来技術では、撮影者の操作に応じて、新たに顔検出を行うため、撮影範囲内の顔を全て検出するために、何度も顔を検出できたか否かを確認する必要がある。また、この動作を自動的に撮像装置が行った場合でも、撮影範囲内の顔を全て検出し終えた後も、検出を続けることとなり、多大な時間を要してしまう。
【０００８】
また、上述の特許文献２に開示された従来技術では、撮影レンズの被写界深度が浅い場合に、複数の撮像装置間で、どのように被写体検出をするかについては、言及されていない。
【０００９】
そこで、本発明の目的は、無駄な撮影レンズの駆動を行わずに、顔検出処理を効率的に行うことを可能にした撮像装置を提供することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、第１の撮影光学系と第１の撮像素子を有する第１の撮像装置と、第１の撮像光学系より被写界深度の浅い第２の撮影光学系と第２の撮像素子を有する第２の撮像装置を含み、前記第１の撮像装置は、前記第１の撮像素子の出力信号から、第１の被写体情報を検出する第１の被写体検出手段と、前記第１の被写体情報を、前記第２の撮像装置に伝達する通信手段を備え、前記第２の撮像装置は、前記第２の撮像素子の出力信号から、第２の被写体情報を検出する第２の被写体検出手段と、前記第１の被写体情報を受信する受信手段と、前記第１の撮像素子と前記第２の撮像素子の撮影範囲の共通領域を算出する共通領域算出手段を備え、前記第２の撮像装置は、前記第２の撮影光学系の駆動制御を、前記共通領域における前記第１の被写体情報と前記第２の被写体情報を用いて行うことを特徴とすることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、無駄な撮影レンズの駆動を行わずに、顔検出処理を効率的に行うことを可能にした撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態にかかわる撮影システムを表した図
【図２】本発明の第１のカメラ、第２のカメラの構成を示すブロック図
【図３】第１の実施例の顔検出に関する動作を示すフローチャート
【図４（ａ）】第１の実施例における表示器に表示されるライブビュー画像を示す図（その１）
【図４（ｂ）】第１の実施例における表示器に表示されるライブビュー画像を示す図（その２）
【図５（ａ）】図４における被写体距離と被写界深度を示す概略図（その１）
【図５（ｂ）】図４における被写体距離と被写界深度を示す概略図（その２）
【図６】第２の実施例の顔検出に関する動作を示すフローチャート
【図７（ａ）】第２の実施例における表示器に表示されるライブビュー画像を示す図（その１）
【図７（ｂ）】第２の実施例における表示器に表示されるライブビュー画像を示す図（その２）
【発明を実施するための形態】
【００１３】
［実施例１］
以下に、本発明の好ましい第１の実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる撮影システムを表した図である。
【００１４】
図において第１のカメラ３０１と第２のカメラ３０２は、撮像装置と撮影レンズを含む。そして、その前方には、主被写体であるところの人物３０３、３０４、３０５が存在する。３０６ａ、３０６ｂは第１のカメラ３０１の撮影画角を示し、３０７ａ、３０７ｂは第２のカメラ３０２の撮影画角を示している。人物３０３、３０４、３０５はこの撮影画角内に位置することが分かる。図中では、被写体の距離と２台のカメラの間隔が正しくあらわされていないため、被写体の距離に応じて、撮影範囲が２台のカメラ同士で大きく異なるようにあらわされている。実際には、２台のカメラの間隔に対して、被写体距離は十分に長いため、２台のカメラは、ほぼ同様の撮影範囲を得ることができる。第１のカメラ３０１は、請求項中の第２の撮像装置と対応し、第２のカメラ３０２は、請求項中の第１の撮像装置と対応する。
【００１５】
次に、第１のカメラ３０１と第２のカメラ３０２の構成について、図２のブロック図を用いて説明する。本実施例の撮像システムにおいて、第１のカメラと第２のカメラの構成は同様のため、第１のカメラ３０１について、図示している。第２のカメラ３０２の構成要素については、添え字を２００番台に変えて表すこととする。例えば、第１のカメラ３０１のレンズユニット１００に対して、第２のカメラ３０２のレンズユニット２００のようにあらわすこととする。
【００１６】
本実施例のデジタルカメラは交換レンズ式一眼レフカメラであり、レンズユニット１００とカメラ本体１２０とを有する。レンズユニット１００は図中央の点線で示されるマウントＭを介して、カメラ本体１２０と接続される。
【００１７】
レンズユニット１００は、第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４、及び、駆動／制御系を有する。このようにレンズユニット１００は、フォーカスレンズ１０４を含むと共に被写体の像を形成する撮影レンズを有する。
【００１８】
第１レンズ群１０１は、レンズユニット１００の先端に配置され、光軸方向ＯＡに進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとして機能する。絞り兼用シャッタ１０２及び第２レンズ群１０３は一体として光軸方向ＯＡに進退し、第１レンズ群１０１の進退動作との連動によりズーム機能を実現する。フォーカスレンズ１０４は、光軸方向の進退により焦点調節を行う。
【００１９】
駆動／制御系は、ズームアクチュエータ１１１、絞りシャッタアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ１１７、レンズメモリ１１８を有する。
【００２０】
ズームアクチュエータ１１１は、第１レンズ群１０１や第３レンズ群１０３を光軸方向ＯＡに進退駆動し、ズーム操作を行なう。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。
【００２１】
フォーカスアクチュエータ１１３で、フォーカスレンズ１０４を光軸方向ＯＡに進退駆動して焦点調節を行なう。フォーカスアクチュエータ１１３は、フォーカスレンズ１０４の現在位置を検出する位置検出部としての機能が備わっている。
【００２２】
ズーム駆動回路１１４は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。シャッタ駆動回路１１５は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。
【００２３】
フォーカス駆動回路１１６は、焦点検出結果に基づいてフォーカスアクチュエータ１１３を駆動制御し、フォーカスレンズ１０４を光軸方向ＯＡに進退駆動して焦点調節を行なう。
【００２４】
レンズＭＰＵ１１７は、撮影レンズに係る全ての演算、制御を行い、ズーム駆動回路１１４、シャッタ駆動回路１１５、フォーカス駆動回路１１６、レンズメモリ１１８を制御する。また、レンズＭＰＵ１１７は、現在のレンズ位置を検出し、カメラＭＰＵ１２５からの要求に対してレンズ位置情報を通知する。このレンズ位置情報は、フォーカスレンズの光軸上位置、撮影光学系の射出瞳の光軸上位置、直径などの情報を含む。レンズメモリ１１８には自動焦点調節に必要な光学情報を記憶する。
【００２５】
カメラ本体１２０は、光学的ローパスフィルタ１２１、撮像素子１２２、駆動／制御系を有する。
【００２６】
光学的ローパスフィルタ１２１と撮像素子１２２はレンズユニット１００からの光束によって被写体像を形成する撮像光学系として機能する。第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４、光学的ローパスフィルタ１２１は、請求項中の第２の撮影光学系と対応している。撮像素子１２２は、請求項中の第２の撮像素子と対応している。同様に、カメラ３０２において、第１レンズ群２０１、絞り兼用シャッタ２０２、第２レンズ群２０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）２０４、光学的ローパスフィルタ２２１は、請求項中の第１の撮影光学系と対応している。撮像素子２２２は、請求項中の第１の撮像素子と対応している。
【００２７】
光学的ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減する。
【００２８】
撮像素子１２２はＣ−ＭＯＳセンサとその周辺回路で構成され、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上に１つの光電変換素子が配置される。撮像素子１２２は、全画素独立出力が可能なように構成されている。
【００２９】
駆動／制御系は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示器１２６、操作スイッチ群１２７、メモリ１２８、被写体検出部１２９、ＴＶＡＦ焦点検出部１３０、通信部１３１、カメラ位置/方向検出部１３２を有する。
【００３０】
撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してカメラＭＰＵ１２５に送信する。画像処理回路１２４は、撮像素子１２２が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮などを行う。
【００３１】
カメラＭＰＵ（プロセッサ）１２５は、カメラ本体１２０に係る全ての演算、制御を行い、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作ＳＷ１２７、メモリ１２８、被写体検出部１２９、ＴＶＡＦ焦点検出部１３０、通信部１３１を制御する。カメラＭＰＵ１２５はマウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７に対してレンズ位置の取得や所定の駆動量でのレンズ駆動要求を発行したり、レンズユニット１００に固有の光学情報を取得したりする。カメラＭＰＵ１２５には、カメラ動作を制御するプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ、諸パラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。
【００３２】
表示器１２６はＬＣＤなどから構成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、ライブビュー表示画像などを表示する。また、被写体を検出した際の被写体検出状態表示画像などを表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。本実施例のメモリ１２８は、着脱可能なフラッシュメモリで、撮影済み画像を記録する。
【００３３】
被写体検出部１２９は、撮像素子１２２の出力信号を用いて、被写体検出処理を行う。検出対象としては、例えば人物の顔を検出する。画像処理回路１２４からの画像データに対して所定の顔検出動作を行う。被写体検出部１２９で行う顔検出動作は、顔検出動作に被写体の画像データを用いる方法であれば、特に前述した処理方法に限定されるものではない。被写体検出部１２９は、請求項中の第２の被写体検出手段と対応する。同様に、カメラ３０２の被写体検出部２２９は、請求項中の第１の被写体検出手段と対応する。
【００３４】
ＴＶＡＦ焦点検出部１３０は、画像処理回路１２４にて得られた画像情報のコントラスト成分によりコントラスト方式の焦点検出処理を行う。コントラスト方式の焦点検出処理は、フォーカスレンズ１０４を移動してコントラスト評価値がピークとなるフォーカスレンズ位置を検出する。
【００３５】
通信部１３１は、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。通信部１３１は、情報の送受信のためのアンテナやコネクタなどのインターフェース部も含む。カメラ３０２の通信部２３１は、請求項中の通信手段と対応する。また、カメラ３０１の通信部１３１は、請求項中の受信手段と対応する。
【００３６】
カメラ位置/方向検出部１３２は、ＧＰＳと方位検出部から構成される。ＧＰＳにより、カメラの緯度、経度、標高、時刻などを含む位置情報の算出を行うことができる。また、方位検出部は、地磁気を感知可能な磁気センサにより構成されており、北を基準とするカメラの撮影方向を検出する。
【００３７】
以上が、本実施例における撮像装置の構成である。次に、撮像装置の動作について詳細を説明する。図３のフローチャートを用いて、本発明の第１の実施例の顔検出に関する動作を説明する。図３では、ステップＳ１から始まる連番は、カメラ３０１で行う処理、ステップＳ１０１から始まる連番は、カメラ３０２で行う処理を示している。
【００３８】
図３において、顔検出処理に関わる撮影前動作を開始すると、ステップＳ１で撮像素子１２２から撮像データを取得する。
【００３９】
次に、ステップＳ２で、被写体検出処理を行う。公知の人物の顔の位置や数やサイズなどの検出を行う。また、フォーカスレンズ１０４の位置から、被写体距離の概算値を取得する。被写体距離のここで、複数の被写体が検出された場合には、検出被写体のコントラスト、大きさ、画面中心からの距離などの情報を用いて、優先順位を設定する。人物の顔が、１つ以上検出された場合には、その数、位置、大きさに合わせて、被写体検出状態表示を、表示器１２６に行う。カメラ３０１が取得した上述の検出した被写体の数、位置、サイズの情報や検出被写体の距離情報は、請求項中の第２の被写体情報と対応している。
【００４０】
次に、ステップＳ３で、カメラ３０１は、通信部１３１を通じて情報送信要求を行い、近傍に撮影中のカメラが存在するか否かを検出する。この際に、カメラ３０１は、カメラ３０１を特定可能なカメラＩＤに関する情報を送信する。
【００４１】
カメラ３０２は、ステップＳ１０１で、カメラ３０１のカメラＩＤ情報と情報送信要求を受信する。カメラＩＤ情報から、情報送信可能なカメラであると認識し、ステップＳ１０２に進む。ステップＳ１０２では、カメラ３０２に関する情報を送信する。ここで、カメラ３０１に送信する情報は、カメラ３０２の撮影範囲と被写界深度がわかる情報で、撮影範囲を算出するための情報として、例えば、カメラ３０２のレンズユニット２００の撮影光学系の画角情報、カメラ位置/方向検出部１３２を用いたカメラの位置、方向情報などが含まれる。また、撮像素子２２２から得られる撮像データは、撮影範囲を検出するために用いることができるが、データ容量が大きいため、カメラ３０２の撮影範囲が認識できる範囲で、適宜、データの圧縮処理などを行いカメラ３０１に送信する。
【００４２】
また、カメラ３０２が被写界深度がわかる情報も送信する。送信される被写界深度情報の算出について説明する。被写体検出に必要な被写界深度ｄは、基本的に前方被写界深度ｄｆと後方被写界深度ｄｂを足し合わせたものであり、それぞれレンズ側から見た被写体の前方および後方の被写界深度を表している。そして、各被写界深度は、以下の（式１）、（式２）、（式３）で算出される。
（式１）ｄｆ＝δ×Ｆ×ｘ2／（ｆ2＋δ×Ｆ×ｘ）
（式２）ｄｂ＝δ×Ｆ×ｘ2／（ｆ2―δ×Ｆ×ｘ）
（式３）ｄ＝ｋ×（ｄｆ＋ｄｂ）
δ：許容錯乱円、Ｆ：絞り値、ｘ：被写体距離、ｆ：焦点距離、ｋ：被写体検出用の係数
なお、許容錯乱円は、撮像素子のセルピッチによって決まり、撮像素子の大きさと画素数から算出される。許容錯乱円の値はあらかじめ記憶されている。ここで算出された被写界深度ｄも、算出に用いた被写体距離情報と合わせて、カメラ３０２は、カメラ３０１に送信する。
【００４３】
ステップＳ３では、カメラ３０１のカメラＭＰＵ１２５は、カメラ３０２から送信されてきた情報を受信し、カメラ３０２が共通の撮影範囲を撮影しているか否かを判断する。カメラＭＰＵ１２５は、請求項中の共通領域算出手段と対応する。その際に、カメラ３０２の画角情報とカメラ３０２の位置、方向情報と、カメラ３０１の画角情報とカメラ３０２の位置、方向情報を合わせて、共通撮影範囲があるか否かを判断する。２台のカメラの共通撮影範囲は、カメラ３０１とカメラ３０２が同じ方向を撮影範囲としていた場合には、互いのカメラの位置ずれ量と画角から、比較的容易に、共通撮影範囲を算出することができる。一方、カメラ３０１とその近傍に存在するカメラ３０２の方向が異なるにつれ、共通撮影範囲は、カメラから近距離の被写体のみとなる。そのような場合には、カメラ３０２の撮像素子２２２の撮像データを得て、分割された撮像データを用いた画像マッチング処理を行い、カメラ３０１の撮像素子１２２の撮像データと相関が高い領域があるか否かを判断し、共通撮影範囲を算出する。
【００４４】
また、カメラ３０１は、カメラ３０２の被写体検出能力が、カメラ３０１に対して高いか否かを判断する。具体的には、カメラ３０２から送信された被写界深度情報と同じ距離の被写体に対するカメラ３０１の被写界深度を比較して、カメラ３０２の方が大きい場合に、カメラ３０２の被写体検出能力が高いと判断する。カメラ３０１の被写界深度も、カメラ３０２と同様にして、上述の通り算出する。
【００４５】
次に、ステップＳ４に進み、カメラ３０１の近傍に、改めて被写体検出処理を行う上で有効なカメラが存在するかを判断する。言い換えると、カメラ３０１の近傍に、共通の撮影範囲を持ち、被写体検出能力が、より高いカメラが存在するか否かを判断する。そのようなカメラが存在しない場合は、改めて被写体検出処理を行わず、ステップＳ１３に進む。
【００４６】
カメラ３０１の近傍に、共通の撮影範囲を持ち、被写体検出能力が高いカメラが存在する場合、ステップＳ５に進み、カメラ３０２の被写体検出情報を取得する。ステップＳ５では、まず、カメラ３０１は、通信部１３１を通じて情報送信要求を行う。
【００４７】
カメラ３０２は、ステップＳ１０３で、カメラ３０１のカメラＩＤ情報と情報送信要求を受信する。カメラＩＤ情報から、情報送信可能なカメラであると認識し、ステップＳ１０４に進む。ステップＳ１０４では、既に被写体検出情報を有しているか否かを判断する。事前に被写体検出を終えている場合には、ステップＳ１０７に進む。事前に被写体検出を終えていない場合には、ステップＳ１０５ではステップＳ１と同様に、ステップＳ１０６ではステップＳ２と同様に処理を行い、被写体検出を行う。
【００４８】
次に、ステップＳ１０７では、検出した被写体の数、位置、サイズの情報を、カメラ３０１に送信する。検出された被写体に対する焦点検出処理も終えている場合には、検出被写体の距離情報もフォーカスレンズ２０４の位置情報を用いて算出し、カメラ３０１に送信する。カメラ３０２で取得した上述の検出した被写体の数、位置、サイズの情報や検出被写体の距離情報は、請求項中の第１の被写体情報と対応している。
【００４９】
カメラ３０１は、ステップＳ５で、カメラ３０２から送信された被写体に関する情報を受信する。
【００５０】
次に、カメラ３０１は、ステップＳ６で、被写体検出情報の更新を行う。ステップＳ３で算出したカメラ３０２との共通撮影範囲における検出された被写体の数を算出し、カメラ３０２の被写体検出数と比較する。カメラ３０２が検出した被写体の数の方が多い場合、カメラ３０１は、検出した被写体の数の差分を、被写体検出残数として記憶する。
【００５１】
次に、カメラ３０１は、ステップＳ７で、被写体検出が終了しているか否かを判断する。ステップＳ６で算出した被写体検出の残数が０以下の場合には、更に多くの被写体の検出は期待できないと判断し、被写体検出の処理を終え、ステップＳ１３に進む。
【００５２】
一方、ステップＳ６で算出した被写体検出の残数が正の値の場合には、カメラ３０１は、被写界深度が浅いため、全ての被写体を検出しきれていないと判断し、被写体検出処理を続行するために、ステップＳ８に進む。
【００５３】
ステップＳ８では、レンズユニット１００の各種情報を取得する。レンズ情報には、レンズ固有情報、焦点距離、絞り値、フォーカスレンズ位置などの情報が含まれている。
【００５４】
次にステップＳ９では、既に算出された被写界深度情報を考慮し、フォーカスレンズ駆動量を算出する。駆動前のフォーカスレンズ位置では検出できない被写体を、効率的に検出できるよう顔検出に必要な被写界深度から、フォーカスレンズの駆動位置が算出される。なお、フォーカスレンズの駆動位置は、被写界深度情報をもとに至近から無限遠を顔検出に適切なステップに分割された複数位置であり、詳細な説明は特許文献１に記載されている。
【００５５】
次に、ステップＳ１０では、ステップＳ９で算出されたフォーカスレンズの駆動位置へ駆動を行う。ステップＳ１１では、Ｓ２と同様に被写体検出処理を行う。ここで、カメラ３０２との共通撮影範囲において、新たに検出された被写体の数を、上述の被写体検出残数から差し引き、被写体検出残数の更新を行う。
【００５６】
次に、ステップＳ１２では、ステップＳ７と同様に、被写体検出処理が終了しているか否かを判断する。被写体検出の残数が０以下の場合には、更に多くの被写体の検出は期待できないと判断し、被写体検出の処理を終え、ステップＳ１３に進む。一方、被写体検出の残数が正の値の場合には、カメラ３０１は、全ての被写体を検出しきれていないと判断し、被写体検出処理を続行するために、ステップＳ１０に戻り、被写体検出処理を続行する。
【００５７】
次に、ステップＳ１３では、検出を終えた被写体部分に、例えば四角枠を重ねて表示する等の方法で、被写体検出状態表示を、表示器１２６に行う。特に、検出された被写体の中で、サイズが大きいことや、距離が近いこと、撮影範囲の中心に近いことなどを鑑みて、主被写体を特定し、主被写体には、他の被写体とは異なる色の四角枠を重ねるなどして、より目立つように表示を行う。
【００５８】
図４は撮影画面５０１内に複数人が存在する場合を示し、表示器１２６に表示されるライブビュー画像を示す図である。また、図５は図４における人物の被写体距離と被写界深度、顔検出タイミングを示す概略図である。これらの図を用いて図３のフローチャートにおける動作をより理解しやすいように補足説明する。
【００５９】
まず、図４の撮影画面５０１内には３人の人物３０３、３０４、３０５が存在する。図４（ａ）は、カメラ３０１のライブビュー画像を示しており、図４（ｂ）は、カメラ３０２のライブビュー画像を示している。図４（ａ）では、人物３０４に概ねピントが合っており、被写体検出として顔の検出が行えたことを示す顔検出枠５０２が、人物に重畳して表示されている。一方、至近側の人物３０３と無限遠側の人物３０４は、ピントがずれており、カメラ３０１の撮影光学系の特性上、被写界深度が浅く、被写体検出が行えない状況を示している。
【００６０】
図４（ｂ）では、図４（ａ）と同様に人物３０４に概ねピントが合っているが、カメラ３０２の撮影光学系の特性上、被写界深度が深い。そのため、人物３０３，３０４，３０５の全ての人物に、被写体検出として顔の検出が行えたことを示す顔検出枠５０２が、人物に重畳して表示されている。説明を簡素化するため、図４（ａ）、図４（ｂ）は、カメラ３０１、カメラ３０２の２台のカメラがほぼ同等の撮影範囲を撮影した場合を示しているが、図４で示された撮影範囲は、２台のカメラの共通撮影範囲と考えて差し支えない。
【００６１】
一方、図５は、図４における人物３０３、３０４、３０５をカメラ３０１、３０２からの被写体距離順に示している。この図を用いて、カメラ３０１で全ての被写体を検出した流れについて説明する。なお、図５では理解しやすいようにフォーカスレンズ位置を被写体側の距離に換算して説明する。
【００６２】
図５（ａ）において、４００−１、４００−２、４００−３、４００−４は、カメラ３０１のレンズユニット１００のフォーカスレンズ１０４の位置を被写体側の距離に換算した被写体距離範囲を、それぞれ示す。これらの矢印の幅は、それぞれの被写体距離に対応した顔検出が可能な被写界深度を示している。
【００６３】
同様に、図５（ｂ）において、４０１−１、４０１−２、４０１−３は、カメラ３０２のレンズユニット２００のフォーカスレンズ２０４の位置を被写体側の距離に換算した被写体距離範囲を、それぞれ示す。これらの矢印の幅は、それぞれの被写体距離に対応した顔検出が可能な被写界深度を示している。
【００６４】
まずはじめに、被写体検出処理を行う前の現在のフォーカスレンズ位置に対応する被写体距離は、４００−３の中点の位置である。図３のステップＳ２の被写体検出処理が、この状態で行われ、被写界深度４００−３の範囲内にある人物３０４の顔が検出される。
【００６５】
続いて、カメラ３０１は、ステップＳ３で、カメラ３０２の撮影範囲と被写界深度の情報を得て、ステップＳ４で、カメラ３０２と共通の撮影範囲があり、カメラ３０２の方が、被写界深度が深いことを認識する。
【００６６】
カメラ３０１は、ステップＳ５で、カメラ３０２で得た被写体に関する情報を受信する。図４（ｂ）、図５（ｂ）の状況では、被写体の数として３、位置として図４（ｂ）のライブビュー画像内の座標、サイズとして図４（ｂ）の顔検出枠５０２のサイズの情報を受信する。
【００６７】
続いて、カメラ３０１は、検出した被写体の数の比較を行う。カメラ３０１では１つ、カメラ３０２では３つの被写体を検出しているため、カメラ３０１は全ての被写体を検出し終えていないと判断する。つまり、ステップＳ７においてＮｏを選択する。ステップＳ８，Ｓ９でレンズ情報を取得し、駆動量を算出する。この際の駆動量は、図５（ａ）で示した顔検出が可能な被写界深度である４００−１の距離範囲の中点で停止する駆動量とする。
【００６８】
その後、ステップＳ１０で被写体距離範囲４００−１の中点までフォーカスレンズ駆動を行い、ステップＳ１１で被写体検出処理を行う。図５（ａ）からわかるとおり、被写体距離範囲４００−１には、被写体が存在しないため、人物は検出されない。この結果、カメラ３０１で検出された被写体数は、依然として１つであり、カメラ３０２で検出された被写体数（３つ）を下回るため、ステップＳ１２でＮｏを選択し、被写体検出処理を続行する。
【００６９】
続いて、被写体距離範囲４００−２の中点までフォーカスレンズ駆動し、被写体検出を行い、人物３０３の顔検出に成功する。但し、カメラ３０１で検出した被写体数は２つであり、カメラ３０２で検出された被写体数（３つ）を下回るため、ステップＳ１２でＮｏを選択する。
【００７０】
続いて、被写体距離範囲４００−３は、既に被写体検出を終えているため、被写体距離範囲４００−４の中点までフォーカスレンズ駆動し、被写体検出を行い、人物３０５の顔検出に成功する。ここで、カメラ３０１で検出した被写体数が、カメラ３０２で検出された被写体数と同数となり、これ以上被写体が存在する情報を持っていないことから、カメラ３０１の被写体検出を終了する。本実施例では、既に被写体検出を終えている被写体距離範囲４００−３は、重複した処理を省き高速な被写体検出処理を実現することができる。一方、被写体の動きがある場合などは、再度、被写体距離範囲４００−３の被写体検出を行っても構わない。これにより、時間経過による誤差の少ない被写体検出を行うことができる。
【００７１】
また、本実施例では、カメラ３０２の情報を得た後に行う被写体検出処理において、フォーカスレンズを至近側から無限遠側に向かって駆動したが、駆動の方法はこれに限らない。カメラ３０２から得る被写体情報として、被写体の検出数と、被写体が検出された被写体距離範囲がわかる場合は、その範囲に限定して、被写体検出を行うことにより、より高速に被写体検出を行うことができる。例えば、図５（ｂ）で、３人の人物は、被写体距離範囲４０１−２に含まれる。この情報をカメラ３０１が利用し、カメラ３０１の被写体検出を行う被写体距離範囲を、４０１−２を含む最低限の被写体距離範囲４００−２、４００−３、４００−４に絞り込むことができる。
【００７２】
また、カメラ３０１が、カメラ３０２の被写体検出情報を用いて、フォーカスレンズを駆動しながら、より多くの被写体を検出するように構成したが、検出方法はこれに限らない。カメラ３０１の絞り兼用シャッタ１０２の開口径を制御して、カメラ３０１の被写体検出を行える被写界深度を深くすることで、より多くの被写体を検出可能に構成してもよい。
【００７３】
また、本実施例では、被写体の検出を撮像素子で行ったが、被写体の検出デバイスはこれに限らない。例えば、反射ミラーを備えた一眼レフカメラでは、測光センサで被写体像を受光可能なカメラがある。そのような場合には、測光センサで被写体検出を行ってもよい。
【００７４】
以上のように本実施例では、周囲の被写体検出能力がより高いカメラの被写体検出情報を用いて、被写体検出を行うため、比較的、被写界深度が浅い撮影光学系を有するカメラであっても、効率的に、被写体の検出を行うことができる。
【００７５】
また、検出すべき顔の数がわかっているため、不要なフォーカスレンズ位置での被写体検出処理を省くことができ、正確で高速な検出を可能としている。
【００７６】
［実施例２］
実施例２は、実施例１の変形例で、周囲のカメラから得る情報として、検出された被写体の数だけでなく、被写体の共通撮影範囲内での位置、サイズの情報を用いて、被写体検出を行う例である。実施例１では、周囲のカメラの検出した被写体数が多い場合に、その数の被写体検出を目指して、レンズ駆動を行いながら被写体検出を繰り返した。一方、実施例２では、周囲のカメラの検出した被写体の共通撮影範囲内での位置、サイズの情報を用いて、再度被写体検出処理を行う前に、主被写体の判定や被写体検出状態表示を行う。これにより、より高速な被写体検出処理が可能になり、また、撮影者にライブビュー表示では認識されない被写体の存在を通知することができる。
【００７７】
以下、図６のフローチャートを用いて、本発明の第１の実施例の顔検出に関する動作を説明する。図６では、第１の実施例の図３と同様に、ステップＳ１から始まる連番は、カメラ３０１で行う処理、ステップＳ１０１から始まる連番は、カメラ３０２で行う処理を示している。また、図３と同じ内容の処理については、同じ添え字をしており、説明を省略する。
【００７８】
ステップＳ１００では、被写体検出情報の更新を行う。第２の実施例では、被写体検出情報として、検出した被写体の数、位置、サイズの情報の更新を行う。ステップＳ３で算出したカメラ３０２との共通撮影範囲における検出された被写体の数、各被写体の位置、サイズを算出し、カメラ３０２の検出結果と比較する。被写体検出数に関して、カメラ３０２が検出した被写体の数の方が多い場合、カメラ３０１は、検出した被写体の数の差分を、被写体検出残数として記憶する。また、各被写体の位置、サイズ情報から、カメラ３０１とカメラ３０２で検出した被写体の対応を取る。
【００７９】
上述の被写体の対応取りについて、図７を用いて説明する。図７は、撮影画面５０１内に複数人が存在する場合を示し、表示器１２６に表示されるライブビュー画像を示す図である。図４との違いは、図７（ａ）で、被写体検出処理で検出できない人物３０３、３０５に対して、顔検出枠５０２が人物に重畳して表示されている点である。図６のステップＳ１００では、カメラ３０１が検出した人物３０４が、カメラ３０２で検出した３人の人物のうち、どの人物であるかを特定する。２台のカメラの撮影範囲が、概ね等しい場合には、共通撮影範囲内の被写体の位置情報を用いて、被写体を特定する。一方、カメラ３０１とカメラ３０２の撮影範囲が異なる場合には、カメラ３０１の検出した人物３０４の特徴量を用いて、カメラ３０２で検出した３人の人物のうち、どの人物であるかを特定する。カメラ３０１の検出した人物３０４とカメラ３０２が検出した人物３０４の対応が取れた後に、カメラ３０１の共通撮影範囲内の人物３０３、３０５の位置を特定する。
【００８０】
カメラ３０１の共通撮影範囲内の人物３０３、３０５の位置を特定する方法について、図７を用いて説明する。人物３０４の対応取りを行った際と同様に、２台のカメラの撮影範囲が、概ね等しい場合には、共通撮影範囲内の被写体の位置情報を用いて、カメラ３０１の共通撮影範囲内の被写体を人物３０３、３０５の位置を特定する。また、カメラ３０１とカメラ３０２の撮影範囲が異なる場合には、２台のカメラの位置、方向情報、画角情報とカメラ３０２で得た被写体の距離情報を用いて、カメラ３０１の共通撮影範囲内の被写体を人物３０３、３０５の位置を特定する。この際には、カメラ３０１の共通撮影範囲内の人物３０３、３０５が存在しうる場所の色情報を用いて、人物の存在を確認してもよい。
【００８１】
また、図７のように、カメラ３０２で検出した顔の数がカメラ３０１よりも多い場合には、カメラ３０１で行う被写体検出処理の閾値を変更し、より被写体を多く検出できるように処理を変更してもよい。例えば、通常時の被写体検出では、目、鼻、口などの位置関係や人物の肌の色情報などで検出を行うが、被写体検出処理の閾値を変更した場合には、人物の肌の色の情報のみで検出を行うように処理を変更する。このような変更をカメラ３０２の情報なしで行うと、被写体の誤検出につながるが、本実施例のように、検出される被写体数がわかっている場合には、上述の処理を行っても、誤検出することなく、精度のよい被写体検出を行うことができる。
【００８２】
その後、カメラ３０１は、ステップＳ１００で、カメラ３０１が検出していない人物３０３，３０５の位置に、顔検出枠５０２が人物に重畳して表示する。ステップＳ１００で、カメラ３０２の被写体情報を用いても新たに人物が検出できない場合には、新たに顔検出枠５０２を表示することなくステップＳ１０１に進む。
【００８３】
続いて、ステップＳ１０１では、主被写体検出を行う。複数の人物が検出された場合、主被写体であるか否かは、撮影範囲内の被写体の画面中心に対する位置、被写体のサイズ、被写体の距離などで判定する。本実施例では、人物３０３、３０４、３０５は、画面中心に対して同程度の位置に存在するが、人物３０３が最も大きいため、人物３０３を主被写体として判断する。ステップＳ１０１で行う判断は、ステップＳ１００で行ったカメラ３０１が特定した撮影範囲内の被写体の位置、サイズの情報やカメラ３０２から受信した情報を用いて行う。図７（ａ）のように人物３０３の位置、サイズが検出できている場合には、顔検出枠５０２の色を変えるなどして、主被写体であることがわかるような表示を行う。
【００８４】
ステップＳ１００で、カメラ３０２の被写体情報を用いても、カメラ３０１は新たに被写体位置、サイズなどを特定できない場合には、カメラ３０２の被写体情報を用いて、現在カメラ３０１が検出済の被写体である人物３０４が主被写体であるか否かを判断する。
【００８５】
次に、ステップＳ１０２では、被写体検出が終了しているか否かを判断する。被写体検出は、主被写体をカメラ３０１が被写体検出できている場合、もしくは、ステップＳ１００で算出した被写体検出の残数が０以下の場合に終了すると判断し、ステップＳ１３に進む。
【００８６】
図７（ａ）の状況では、主被写体である人物３０３が、カメラ３０１で被写体検出が行えていないため、ステップＳ１０２でＮｏとなり、ステップＳ８に進む。
【００８７】
ステップＳ８以後の処理は、第１の実施例の処理と同様だが、カメラ３０２から主被写体である人物３０３の被写体距離情報が送信されている場合には、その情報に基づき、レンズ駆動量を算出する。これにより、カメラ３０１は、高速に主被写体の検出を行うことができる。
【００８８】
以上のように、周囲のカメラの検出した被写体の共通撮影範囲内での位置、サイズの情報を用いて、再度被写体検出処理を行う前に、主被写体の判定や被写体検出状態表示を行う。これにより、より高速な被写体検出処理が可能になり、また、撮影者にライブビュー表示では認識されない被写体の存在を通知することができる。
【００８９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００９０】
１００  カメラ３０１のレンズユニット
１０１  カメラ３０１の第１レンズ群
１０２  カメラ３０１の絞り兼用シャッタ
１０３  カメラ３０１の第２レンズ群
１０４  カメラ３０１のフォーカスレンズ群
１２０  カメラ３０１のカメラ本体
１２１  カメラ３０１の光学的ローパスフィルタ
１２２  カメラ３０１の撮像素子
１２５  カメラＭＰＵ
１２９  カメラ３０１の被写体検出手段
１３１  カメラ３０１の通信部
２００  カメラ３０２のレンズユニット
２０１  カメラ３０２の第１レンズ群
２０２  カメラ３０２の絞り兼用シャッタ
２０３  カメラ３０２の第２レンズ群
２０４  カメラ３０２のフォーカスレンズ群
２２０  カメラ３０２のカメラ本体
２２１  カメラ３０２の光学的ローパスフィルタ
２２２  カメラ３０２の撮像素子
２２９  カメラ３０２の被写体検出手段
２３１  カメラ３０２の通信部
【図１】
2013236194.tif 000003
【図２】
2013236194.tif 000004
【図３】
2013236194.tif 000005
【図４（ａ）】
2013236194.tif 000006
【図４（ｂ）】
2013236194.tif 000007
【図５（ａ）】
2013236194.tif 000008
【図５（ｂ）】
2013236194.tif 000009
【図６】
2013236194.tif 000010
【図７（ａ）】
2013236194.tif 000011
【図７（ｂ）】
2013236194.tif 000012