(57)【特許請求の範囲】
【請求項１】
撮像光学系により結像された被写体像から画像を生成する撮像手段と、
前記画像上の主被写体を粒子フィルタによって検出する被写体検出手段と、
複数の焦点検出領域の中からいずれかの焦点検出領域を選択する選択手段と、
前記選択手段により選択された焦点検出領域の出力信号に基づいて前記撮像光学系の焦点位置を算出する焦点演算手段とを有し、
前記選択手段は、
前記画像を前記複数の焦点検出領域の各々に対応する分割領域に区切り、各前記分割領域に分布する前記被写体検出手段により検出された粒子の分布状態に基づいて焦点検出領域に優先度を設定し、前記優先度に基づいて焦点検出領域を選択することを特徴とする撮像装置。
【請求項２】
前記被写体検出手段は、各粒子を少なくとも１つ以上の粒子グループに分類したうえで、分類された粒子の尤度の合計に基づいて各粒子グループに優先順位を設定し、
前記選択手段は、各前記分割領域に分布する粒子が分類されている前記粒子グループの優先順位に基づいて前記焦点検出領域に優先度を設定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記選択手段は、各前記分割領域の面積と、各前記分割領域に分布する前記被写体検出手段で検出した粒子の数から算出された粒子の分布密度に基づいて前記焦点検出領域に優先度を設定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記被写体検出手段は、各粒子を少なくとも１つ以上の粒子グループに分類し、分類された粒子の尤度の合計、および、前記分割領域に分布する粒子の分布密度に基づいて、前記焦点検出領域に優先度を設定することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記選択手段により選択された焦点検出領域の出力信号に基づいて前記撮像光学系の焦点位置を算出できないのであれば、前記選択手段は、前記優先度に基づいて別の焦点検出領域を選択することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
撮像光学系により結像された被写体像から画像を生成する撮像工程と、
前記画像上の主被写体を粒子フィルタによって検出する被写体検出工程と、
複数の焦点検出領域の中からいずれかの焦点検出領域を選択する選択工程と、
前記選択工程において選択された焦点検出領域の出力信号に基づいて前記撮像光学系の焦点位置を算出する焦点演算工程とを有し、
前記選択工程は、
前記画像を前記複数の焦点検出領域の各々に対応する分割領域に区切り、各前記分割領域に分布する前記被写体検出工程において検出された粒子の分布状態に基づいて焦点検出領域に優先度を設定し、前記優先度に基づいて焦点検出領域を選択することを特徴とする撮像装置の制御方法。
【請求項７】
撮像光学系により結像された被写体像から画像を生成する撮像工程と、
前記画像上の主被写体を粒子フィルタによって検出する被写体検出工程と、
複数の焦点検出領域の中からいずれかの焦点検出領域を選択する選択工程と、
前記選択工程において選択された焦点検出領域の出力信号に基づいて前記撮像光学系の焦点位置を算出する焦点演算工程とをコンピュータに実行させ、
前記選択工程は、
前記画像を前記複数の焦点検出領域の各々に対応する分割領域に区切り、各前記分割領域に分布する前記被写体検出工程において検出された粒子の分布状態に基づいて焦点検出領域に優先度を設定し、前記優先度に基づいて焦点検出領域を選択するようコンピュータを制御することを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置および撮像装置の制御方法に関し、特に、撮像装置に搭載される被写体検出装置に用いて好適な技術に関するものである。
【背景技術】
【０００２】
従来、撮像センサーを搭載した撮像装置において、連続して撮像される画像の任意のフレームから主被写体を検出し、後続するフレームで主被写体を追尾する被写体追尾装置が知られている。このような被写体追尾装置を有する撮像装置では、画像中における主被写体の位置を検出することによって、主被写体の動きに合わせて撮像装置の向きを自動制御したり、主被写体に対して適切な自動焦点調節や自動露出演算をしたりすることができる。
【０００３】
しかしながら、被写体追尾は困難なタスクであり、被写体の色・形状の変化や、ノイズ等の影響によって追尾対象を見失ったり、追尾対象とは異なる被写体を追尾したりすることがある。また、被写体追尾装置が追尾対象を正確に追尾できたとしても、追尾対象が低コントラストであった場合には撮像装置が焦点を検出できず、自動焦点調節に失敗するという問題がある。
【０００４】
前者の問題に対しては、確率を用いた推定手法を用いて、追尾対象の状態を推定することで解決しようとするアプローチがある。そのひとつが粒子フィルタと呼ばれるもので、時系列データを遂次的にベイズ推定する手法である。
【０００５】
粒子フィルタは、過去の時系列データに基づく予測と、現在の時系列データを粒子と呼ばれる有限個のサンプル点によって観測したデータから、現在の時系列データを推定する手法である。各粒子は予測データと観測データに基づく尤度を持っており、これらの粒子の集合によって時系列データの確率分布を近似するため、確率分布が非線形あるいは非ガウス型であっても適用可能である。
【０００６】
また、時系列データのモデルに合わせて尤度関数を設定することで、様々な問題に対応できるという利点を持つ。例えば、非特許文献１、非特許文献２には、粒子フィルタによる画像追尾の方法が記載されている。
後者の問題に対しては、画像座標上の主被写体の検出位置を１点で表すのではなく、複数の座標や領域で表すことによって、焦点検出に適した領域を検出する可能性を向上させることで解決する方法がある。
【０００７】
例えば特許文献１では、粒子フィルタによる被写体追尾技術が開示されている。特許文献１に記載の目標追尾装置は、所定の規則にしたがって画像中を移動する粒子を用いて、粒子周辺の色と追尾対象の色との比較によって求められる尤度を測定することで、画像中の追尾対象の領域を推定するものである。
【０００８】
また、特許文献２では、主被写体の候補位置を複数検出することにより、主被写体領域中の焦点検出に適した領域で焦点を検出する技術が開示されている。特許文献２に記載の画像追尾装置および撮像装置は、追尾処理によって主被写体の位置を複数推定し、それら複数の位置を主被写体の候補領域とした上で、それぞれの候補領域に対して焦点検出を行うものである。
【０００９】
そして、複数の候補領域の中で最も主被写体と類似する領域が焦点検出に適していれば、その領域で焦点検出した結果に基づいて焦点調節を行う。
一方、最も類似度の高い候補領域が焦点検出に適さない場合、別の候補領域の中から焦点検出に適した領域を選択し、焦点調節を行う。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−１８８９７７号公報
【特許文献２】特開２０１２−２２６２０６号公報
【非特許文献】
【００１１】
【非特許文献１】M.Isard and A.Blake, "CONDENSATION - Conditional Density Propagation for Visual Tracking," International Journal of Computer Vision, Vol.29, No.1, pp.5-28, 1998.
【非特許文献２】樋口 知之, "粒子フィルタ," 電子情報通信学会誌, Vol.88, No.12, pp.989-994, 2005-12-01.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、前述の特許文献１に開示された従来技術では、主被写体に対する焦点調節について言及されていないため、焦点調節を行う撮像装置にそのまま利用することができない。
【００１３】
また、前述の特許文献２に開示された従来技術では、主被写体との類似度が最も高い領域で焦点検出できなかった場合に、他の候補領域は類似度が考慮されずに焦点検出を行う領域を選択する。このため、他に顕著に類似度の高い候補領域があったとしても、焦点検出を行う領域の選択において考慮されないという問題がある。
本発明は前述の問題点に鑑み、主被写体が存在する可能性の高い領域を優先して焦点検出を行うことができるようにすることを目的とする。
【課題を解決するための手段】
【００１４】
本発明の撮像装置は、撮像光学系により結像された被写体像から画像を生成する撮像手段と、前記画像上の主被写体を粒子フィルタによって検出する被写体検出手段と、複数の焦点検出領域の中からいずれかの焦点検出領域を選択する選択手段と、前記選択手段により選択された焦点検出領域の出力信号に基づいて前記撮像光学系の焦点位置を算出する焦点演算手段とを有し、前記選択手段は、前記画像を前記複数の焦点検出領域の各々に対応する分割領域に区切り、各前記分割領域に分布する前記被写体検出手段により検出された粒子の分布状態に基づいて焦点検出領域に優先度を設定し、前記優先度に基づいて焦点検出領域を選択することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、ユーザーの意図する被写体に対して焦点調節された写真を撮影する撮像装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態に関わる撮像装置の動作手順を示すフローチャートである。
【図２】第１の実施形態に関わる撮像装置の概略構成を説明する模式図である。
【図３】第１の実施形態に関わる撮像装置の基本構成を示すブロック線図である。
【図４】第１の実施形態に関わる撮像装置の測距点配置と測光センサー画像との関係を示す図である。
【図５】第１の実施形態に関わる撮像装置の被写体追尾手段の動作手順を示すフローチャートである。
【図６】第１の実施形態に関わる撮像装置の被写体追尾手段における粒子の初期配置を示す図である。
【図７】第１の実施形態に関わる撮像装置の被写体追尾手段における粒子の予測移動について示す図である。
【図８】第１の実施形態に関わる撮像装置の被写体追尾手段における追尾対象の状態推定について示す図である。
【図９】第１の実施形態に関わる撮像装置の被写体追尾手段における測距点の優先度設定について示す図である。
【図１０】第１の実施形態に関わる撮像装置の測距点に対する優先度設定の処理手順を示すフローチャートである。
【図１１】第１の実施形態に関わる撮像装置の優先度に基づく測距点選択について示す図である。
【図１２】第２の実施形態に関わる撮像装置の概略構成を説明する模式図である。
【図１３】第２の実施形態に関わる撮像装置の測距点配置と撮像センサー画像との関係を示す図である。
【図１４】第２の実施形態に関わる撮像装置の基本構成を示すブロック線図である。
【発明を実施するための形態】
【００１７】
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
[第１の実施形態]
以下、図２を参照して、本発明の第１の実施形態に関わる撮像装置について説明する。本実施形態の撮像装置は、撮像光学系により結像された被写体像から画像を生成する。
図２において２０１はデジタル一眼レフカメラ本体であり、その前面には撮影レンズ２０２が装着される。
【００１８】
撮影レンズ２０２は交換可能であり、またカメラ本体２０１と撮影レンズ２０２は、マウント接点群２１５を介して電気的にも接続される。撮影レンズ２０２の中には、フォーカシングレンズ２１３と絞りシャッター２１４があり、前記マウント接点群を介した制御により、カメラ内に取り込む光量とピントを調整できるようになっている。
【００１９】
２０３および２０４はクイックリターンミラーである。２０３はメインミラーであり、ハーフミラーとなっている。メインミラー２０３はファインダー観測状態では撮影光路上に斜設され、撮影レンズ２０２から入射される光束をファインダー光学系へと反射する。一方、透過光はサブミラー２０４を介して測距センサー２０５へと入射する。
【００２０】
測距センサー２０５は、撮影レンズ２０２の二次結像面を焦点検出ラインセンサー上に形成することで、位相差検出方式によって撮影レンズ２０２の焦点調節状態を検出することのできる像信号を生成する。
２０６はファインダー光学系を構成する撮影レンズ２０２の予定結像面に配置されたピント板である。
【００２１】
２０７はファインダー光路変更用のペンタプリズムである。２０９はアイピースであり、撮影者はここからピント板２０６を観察することによって、撮影画面と測距点マークを確認することができる。
【００２２】
２０８は測光センサーである。測光センサー２０８は、照射される光信号から輝度信号と色差信号を持つ画像データを生成する。測光センサー２０８で生成された画像データは、被写体の明るさ検出と自動露出演算に加え、被写体追尾処理に用いられる。
【００２３】
２１０はフォーカルプレーンシャッター、２１１は撮像素子よりなる撮像センサーである。露光を行う際は、メインミラー２０３、およびサブミラー２０４は撮影光路上から退避し、フォーカルプレーンシャッター２１０が開くことにより、撮像センサー２１１が露光される。また、２１２はディスプレイユニットであり、撮影情報や撮影画像を表示し、ユーザーが確認できるようにするものである。
【００２４】
次に、本実施形態の撮像装置の機能ブロックについて、図２の模式図および図３、図４を用いて説明する。なお、図３中の図２と同じ部材については、図２のものと同一符号を付す。
操作部３０１はユーザーがカメラ本体２０１に取り付けられた不図示のレリーズボタン、スイッチ、ダイヤル、接続機器等を介して行った操作を検知し、操作内容に応じた信号をシステム制御部３０２へ送る。
【００２５】
レリーズボタンは、半押し、全押しの状態を持つ二段押し込み式のスイッチであり、操作部３０１は、レリーズボタンが半押しされた瞬間にＳＷ１信号を、レリーズボタンを押し込んだ瞬間にＳＷ２信号をシステム制御部３０２に出力する。また、操作部３０１は、ユーザーがレリーズボタンから手を離した瞬間にＳＷ解除信号をシステム制御部３０２に出力する。
【００２６】
システム制御部３０２は、ＳＷ１信号が入力された場合には自動露出演算、自動焦点調節などの撮影前の準備動作を行い、ＳＷ２信号が入力された場合には撮像センサー２１１が露光して撮影処理を行う。以降、レリーズボタンが半押しされている状態をＳＷ１状態、レリーズボタンが全押しされている状態をＳＷ２状態と表現する。
【００２７】
測光センサー２０８は、入射された光信号から自動露出演算および被写体追尾を行うための画像データを生成し、システム制御部３０２に出力する。システム制御部３０２は、測光センサー２０８から入力された画像データに基づいて自動露出演算を行い、演算結果に基づいて絞りシャッター２１４の絞りを制御することで、カメラ本体内に入射する光の量を調節する。さらに、自動露出演算の結果に基づいてレリーズ時にシャッター２１０を制御することで、撮像センサー２１１の露光時間を調節する。
【００２８】
また、ＳＷ１状態およびＳＷ２状態においてシステム制御部３０２は、測光センサー２０８から入力される画像データに対して被写体追尾処理を行い、画像中の主被写体の位置を検出する。本発明における被写体追尾処理は、非特許文献１、非特許文献２に記載の「粒子フィルタによる画像追尾アルゴリズム」を応用する。
【００２９】
測距センサー２０５は、図４（ａ）に示すような測距点配置に対応する複数のラインセンサーで構成され、サブミラー２０４を介して入射される像から像信号を生成し、システム制御部３０２に出力する。システム制御部３０２は、測距センサー２０５から入力される像信号から、公知の技術である位相差検出方式に基づいて各測距点のデフォーカス量を計算し、焦点検出を行う。そして、システム制御部３０２は、任意の測距点の焦点検出結果に基づいて、マウント接点群２１５を介してフォーカシングレンズ２１３を制御することで焦点調節を行う。
【００３０】
ラインセンサーには横線検出センサーと縦線検出センサーの２種類が存在し、それぞれ横線と縦線の位相差を検出するための光センサーである。各測距点には、横線検出センサー、縦線検出センサー、あるいはその両方が十字に配置されたクロスタイプセンサーのいずれかが対応しており、クロスタイプセンサーに対応する測距点が最も焦点検出性能が高い。
【００３１】
また、ラインセンサーには焦点を検出可能な光束の大きさ（Ｆ値）が設定されており、位置によってＦ２．８、Ｆ４．０、Ｆ５．６に対応するラインセンサーが配置されている。Ｆ値が小さいほどより暗い照明環境でも焦点を検出でき、また、三角測距の原理で基線長を長くとれるため精度も高くなるという利点がある。
一方、Ｆ値が大きいほど有効口径の小さいレンズに対応でき、また、焦点を検出可能な距離範囲が広いという利点を持つ。
【００３２】
どの測距点の焦点検出結果で焦点調節を行うかについては、ユーザーが直接手動で選択する方法と、撮像装置が自動的に選択する方法がある。撮像装置が自動的に測距点を選択する場合には、焦点検出の結果、撮像装置に対して最も近い位置にいる被写体に合うように測距点を選択する。また、被写体追尾処理が有効に動作し、主被写体が検出されている場合には、測光センサー２０８から出力された画像中において主被写体が検出された領域に対応する測距点を選択する。
【００３３】
測光センサー２０８から出力された画像中の領域と測距点との対応は図４（ｂ）のように設定されている。測光センサー画像４０１は、測光センサー２０８から出力される画像であり、画像中に測距点対応領域群４０２が設定されている。測距点対応領域群４０２は、図４（ａ）の各測距点に対して１対１で対応する分割領域区切られ、図４（ａ）の各測距点に付記されている番号と、図４（ｂ）の各測距点対応領域に付記されている番号とが一致する測距点と測距点対応領域とが対応している。
【００３４】
これら対応する測距点と測距点対応領域は、それぞれ測距センサー２０５と測光センサー２０８において、同じ光束が入射するので、同じ被写体に対する像信号が得られる。なお、測距点対応領域群４０２の中で、６２〜９７が付記されている灰色の領域は、対応する測距点を持たない。
【００３５】
システム制御部３０２は、操作部３０１から入力される信号に基づいてミラー２０３、２０４およびシャッター２１０を制御する。操作部３０１から出力される信号がＳＷ２信号であれば、ミラー２０３、２０４を撮影光路上から退避させ、シャッター２１０を制御することで撮像センサー２１１に結像させる。シャッター制御が終了すれば、ミラー２０３、２０４を撮影光路上に再度設置する。
【００３６】
撮像センサー２１１は撮影レンズ２０２を通して入射する像から画像データを生成し、システム制御部３０２へ出力する。システム制御部３０２は撮像センサー２１１から入力される画像データをディスプレイ２１２で表示させるとともに、画像記憶装置３０３へ画像データを保存する。
【００３７】
続いて、本実施形態における、被写体追尾機能を備えた撮像装置の動作手順について、図１のフローチャートを用いて説明する。
図１は、本発明の実施形態に関わる撮像装置の、ＳＷ１状態あるいはＳＷ２状態における動作手順を説明するフローチャートである。システム制御部３０２にＳＷ１信号あるいはＳＷ２信号が入力された瞬間に動作を開始する。
【００３８】
Ｓ１０１では、システム制御部３０２は、測光センサー２０８および測距センサー２０５から像信号を読み出し、システム制御部３０２内のメモリ領域に保存する。以下、測光センサー２０８から読み出した画像を測光画像と呼ぶ。
Ｓ１０２では追尾対象は設定済みかどうかを判断する。設定済みの場合はＳ１０３に移行し、設定済みでない場合はＳ１０４に移行する。
【００３９】
Ｓ１０３では、システム制御部３０２は、測光画像に対して粒子フィルタによる被写体追尾処理を行い、測光画像中において主被写体が存在する領域を検出する被写体検出を行う。また、主被写体の検出結果に基づいて、各測距点に対して焦点検出の優先順位を示す優先度を設定する。被写体追尾処理における主被写体の検出方法および測距点の優先度設定の詳細については後述する。
【００４０】
Ｓ１０４では、システム制御部３０２は、各測距点の焦点状態を焦点検出領域ごとに検出し、どの測距点の焦点状態に基づいて焦点調節を行うかを決定する。
ここではまず、全ての測距点のうち、Ｓ１０３で設定された優先度が最も高い測距点を選択測距点候補として抽出する。そして、抽出された測距点に対して、Ｓ１０１で読み出した測距センサーの像信号に基づいて焦点検出を行う。この時、もし同じ優先度を持つ測距点が複数存在する場合には、それらの測距点の全てを選択測距点候補として抽出する。
【００４１】
続いて、全ての選択測距点候補の焦点検出結果に対して、焦点検出結果が正しく得られたかどうか、および、デフォーカス量が所定値以下であるかどうかの条件判定を行う。これは、低コントラスト等の原因により焦点検出ができない測距点や、被写体の移動では考えにくい不自然なデフォーカス量を持つ測距点を焦点調節の対象から除外するためである。
【００４２】
条件を満たす選択測距点候補が存在するならば、周囲の測距点の優先度がより高い測距点を焦点調節に用いる測距点として選択する。あるいは、条件を満たす選択測距点候補の中から最もデフォーカス量の小さい測距点を、焦点調節に用いる測距点として選択してもよい。
【００４３】
一方、条件を満たす測距点が存在しない場合には、次に高い優先度を持つ測距点を選択測距点候補として抽出し、前述の手順と同様に焦点検出および条件判定を行う。これを、条件を満たす焦点検出結果が得られるまで繰り返す。
【００４４】
こうすることで、焦点調節に適さない測距点を除外しつつ、主被写体上にある可能性の高い測距点が優先的に焦点調節用の測距点として選択されるため、主被写体にピントを合わせ続ける確率を向上させることができる。
【００４５】
Ｓ１０５では、システム制御部３０２は、Ｓ１０４で選択された測距点の焦点検出結果を示す出力信号に基づいて、撮像光学系の焦点位置を算出する焦点演算処理を行い、フォーカシングレンズ２１３の焦点調節を行う。
Ｓ１０６では、システム制御部３０２は、Ｓ１０１で測光センサー２０８から読み出した測光画像に基づいて公知の方法により自動露出演算を行う。
【００４６】
Ｓ１０７では、システム制御部３０２はＳＷ２状態かどうかを判定し、ＳＷ２状態であれば撮像処理を行うためＳ１０８へ移行する。一方、ＳＷ２状態でなければＳ１０８の撮像処理を省略してＳ１０９へ移行する。
【００４７】
Ｓ１０８では、システム制御部３０２は撮像処理を行う、撮影された画像を画像記憶装置３０３に記録する。具体的な処理としては、まず、Ｓ１０６の自動露出演算結果に基づいて露出制御を行い、絞りシャッター２１４を調節した後、クイックリターンミラー２０３および２０４を撮像光路上から退避させる。
【００４８】
続いて、フォーカルプレーンシャッター２１０を駆動させ、撮像センサー２１１を露光させる。そして、露光が完了した後に撮像センサー２１１から画像信号を読み出し、画像記憶装置３０３に画像を保存する。最後に、クイックリターンミラー２０３および２０４を再び撮像光路上に配置し、撮影レンズ２０２から入射される光束を反射する状態に戻す。
【００４９】
Ｓ１０９では、システム制御部３０２は、Ｓ１０３で測光センサー２０８から読み出した測光画像に対して主被写体領域を設定し、主被写体領域内で支配的な色を追尾対象の色として設定する。ここで、主被写体領域は、Ｓ１０４で焦点調節を行う測距点として選択された測距点を中心とする一定範囲の領域とする。あるいは、顔検出や人体検出によって検出された領域を主被写体領域としてもよい。
【００５０】
Ｓ１１０では、システム制御部３０２は、ＳＷ１状態かＳＷ２状態であればＳ１０１からＳ１０９の動作を繰り返し実行するため、Ｓ１０１に移行する。ユーザーがレリーズボタンから手を離していれば動作を終了する。
以上が、本実施形態における、被写体追尾機能を有する撮像装置の全体的な動作手順である。
【００５１】
続いて、図５〜図１１を用いて、本実施形態における被写体追尾処理について説明する。
図５は、被写体追尾処理Ｓ１０３の具体的な動作手順について示したフローチャートである。
Ｓ５０１では、システム制御部３０２は、Ｓ１０９の追尾対象設定処理において新たな追尾対象が設定されてから初回の被写体追尾処理であるかどうかの判定を行う。初回であれば、まだ追尾用の粒子が配置されていないことから、新たな追尾対象に対する粒子の初期配置を行うためにＳ５０２へ移行する。一方、現在の追尾対象に対して２回目以降の追尾処理であれば、直前のフレームにおけるＳ５０７の処理で既に追尾用の粒子が配置されているため、Ｓ５０２を行わずにＳ５０３へ移行する。Ｓ５０７の処理については後述する。
【００５２】
Ｓ５０２では、システム制御部３０２は、測光画像に対して粒子の初期配置を行う。各粒子は測光画像の画素座標上に配置される。配置する粒子の数については、粒子の数が多いほど追尾の精度も高まる傾向にあるが、同時に処理時間も増加するため、システムの仕様に合わせて適切な数に設定する。
【００５３】
また、粒子を配置する位置については、Ｓ１０９の追尾対象設定処理において検出された主被写体領域内の重心に全ての粒子を配置する。あるいは、Ｓ１０９の追尾対象設定処理において検出された主被写体領域内のランダムな位置に個別に配置してもよいし、測光画像内全体のランダムな位置に配置してもよい。
【００５４】
図６は、新たな追尾対象が設定されてから最初のフレームでの追尾対象処理における、粒子の初期配置について示した図である。
図６（ａ）は、ＳＷ１状態が開始されて最初のフレームの測光画像６０１の中に２台の自動車（被写体６１１と被写体６１２）が存在している状態で、ユーザーが選択した測距点に基づいて被写体６１２を主被写体としたことを示す図である。
【００５５】
その結果、Ｓ１０９の追尾対象設定処理において、被写体６１２のボンネットの部分が追尾対象の色として設定されている。なお、ＳＷ１状態が開始されて最初のフレームにおいては、Ｓ１０２の処理の時点ではまだ追尾対象が設定されていないため、被写体追尾処理Ｓ１０３は実行されない。
【００５６】
図６（ｂ）は、粒子の初期配置について示した図である。ＳＷ１状態の開始から２フレーム目は、新たな追尾対象が設定されてから最初のフレームであり、測光画像６０２はこのフレームで撮影された測光画像である。測光画像６０１と比較して、時刻の経過により２台の自動車が前方に移動している。この時、Ｓ５０２では、追尾開始時に選択された測距点の重心に全ての粒子を配置する。
【００５７】
Ｓ５０３では、システム制御部３０２は、測光画像上で追尾対象が存在すると予測される領域に全ての粒子を移動させる。追尾対象の予測位置については、追尾対象の動きが予測可能である場合には、予測される追尾対象の移動に応じて粒子を移動させた後、さらにノイズに対応するためにランダムな方向に移動させる。
【００５８】
一方、追尾対象の移動予測が困難である場合には、ランダムな方向に、正規分布に基づく距離だけ移動させる。図６（ｂ）の粒子の初期配置に対して、ランダムな方向に、正規分布に基づく距離だけ予測移動を行った結果を図７に示す。これにより、追尾対象がどの方向に移動したとしても対応することができる。
【００５９】
移動量の設定に関しては、移動の予測が困難な追尾対象であっても、直前のフレームにおける追尾対象位置から遠く離れた位置より、比較的近い位置に存在することが多いことから、直前の追尾対象位置付近により多くの粒子を分布させるようにしている。
【００６０】
Ｓ５０４では、システム制御部３０２は、粒子が位置する画素のパラメーターを入力とする尤度関数を用いて、各粒子の尤度を計算する。尤度関数の設定については、例えば、Ｓ１０９で設定された追尾対象の色と、粒子が位置する画素の色との差が小さいほど尤度を高くする。
【００６１】
例えばＲ（赤）、Ｇ（緑）、Ｂ（青）のベイヤー配列のカラーフィルタを有する撮像センサーで撮像された画像であれば、各画素におけるＲ、Ｇ、Ｂ成分のそれぞれの信号レベルと、主被写体の特徴色のＲ、Ｇ、Ｂ成分のそれぞれの信号レベルとの差分を求める。そして、Ｒ、Ｇ、Ｂ成分の差分の絶対値の和が小さくなるほど、尤度を高くすればよい。
【００６２】
さらに、直前のフレームにおける追尾対象の位置と粒子の位置の距離が近いほど尤度を高くするように定義する。また、粒子が配置されている画素周辺の色の分布状態と、追尾開始時の追尾対象の位置周辺の色分布を比較し、色分布が類似するほど尤度が高くなるような尤度関数を定義してもよい。
【００６３】
Ｓ５０５では、システム制御部３０２は、Ｓ５０４で計算した各粒子の尤度に基づいて、測光画像中において追尾対象が存在する領域を検出する。
ここではまず、尤度が所定値以上の粒子に対して、測光画像座標上において距離が所定値以下である粒子同士を分類してグルーピングし、１つ以上の粒子グループを作成する。続いて、各粒子グループに対して、グループに属する粒子の尤度の合計を計算し、尤度の合計値の高い順に最大３つの支配的粒子グループを選出する。そして、尤度の合計値の高いグループから順に、第１粒子グループ、第２粒子グループ、第３粒子グループとする。
【００６４】
尤度の高い粒子がより多く集まる領域が追尾対象の存在する領域である可能性が高いため、第１粒子グループに属する粒子が分布する領域が最も追尾対象の存在する可能性が高い領域となる。
【００６５】
図７の粒子群に対して、尤度を計算しグルーピングを行った結果を図８に示す。追尾対象の色は被写体６１２のボンネット部分の色であるため、同系統の色である２台の自動車の車体の粒子が高くなっており、それらの粒子が３つのグループにグルーピングされている。そして、直前のフレームの測光画像６０１において主被写体領域とされた領域に近く、属する粒子の数も多いグループが第１粒子グループとなっている。この第１粒子グループが形成する領域が、最も追尾対象が存在する可能性の高い領域として判断されるため、この例では主被写体の状態推定に成功していることが分かる。
【００６６】
Ｓ５０６では、システム制御部３０２は、支配的グループに属する粒子の分布に基づいて、測距点に優先度を設定する。図１０に、測距点に対して優先度の設定を行う処理の手順を示す。
【００６７】
Ｓ１００１では、システム制御部３０２は、測光画像中の全ての測距点対応領域群４０２に対して、支配的粒子グループに属する粒子がいくつ分布しているかを調査する。そして、各測距点対応領域の面積に対する粒子の数から、各測距点対応領域に分布する粒子の密度を計算し、密度が所定値以上となる測距点対応領域を抽出する。
【００６８】
図９（ａ）は、図８の３つの支配的粒子グループに属する粒子の分布と、図４（ｂ）の測距点対応領域群４０２を重ね合わせた図で、各測距点対応領域に分布する粒子がいくつあるかを示している。そして、１つでも粒子が分布している各測距点対応領域を抽出した結果が図９（ｂ）である。
【００６９】
Ｓ１００２では、システム制御部３０２は、Ｓ１００１で抽出された測距点対応領域に対して、領域内に分布する粒子の属するグループに基づいて優先度を設定する。
具体的には、第１粒子グループに属する粒子が存在する測距点対応領域には優先度７を、第２粒子グループに属する粒子が存在する測距点対応領域には優先度４を、第３粒子グループに属する粒子が存在する測距点対応領域には優先度１を設定する。異なるグループに属する粒子が１つの領域内に混在する場合には、高い方の優先度を設定する。
【００７０】
Ｓ５０５の状態推定処理によって、第１粒子グループ、第２粒子グループ、第３粒子グループの順に、追尾対象が存在する可能性の高い領域に粒子が分布している。したがって、このように順位の高いグループに属する粒子が分布する測距点対応領域に対して高い優先度を設定することにより、追尾対象が存在する可能性の高い測距点の優先度を高くすることができる。
【００７１】
Ｓ１００３では、システム制御部３０２は、各測距点対応領域の面積と、各測距点対応領域に分布する最も順位の高いグループに属する粒子の数から、粒子の分布密度を計算する。そして、分布する粒子の密度が第１の閾値よりも高い測距点対応領域に対して、Ｓ１００２で設定された優先度に２を加算する。また、分布する粒子の密度が第１の閾値よりは低いが、第２の閾値より高い測距点対応領域に対しては、Ｓ１００２で設定された優先度に１を加算する。そして、分布する粒子の密度が第２の閾値よりも低い測距点対応領域に対しては、優先度の加算を行わない。
【００７２】
粒子の密度が高いということは、Ｓ５０３の予測移動によってより粒子が多く配置された領域であるか、あるいは、追尾対象が存在領域と重なる面積が比較的広いことを示している。したがって、密度に基づいて優先度を設定することで、主被写体が存在する可能性の高い測距点の優先度を高く設定できる。
【００７３】
以上の優先度設定処理に基づいて、図９（ｂ）の各測距点対応領域に対応する測距点に対して優先度の設定を行った結果を図１１（ａ）に示す。測距点に付記されている数値が、その測距点に設定された優先度である。
【００７４】
第１粒子グループに属する粒子が３つ以上存在する測距点対応領域が優先度９、第１粒子グループに属する粒子が２つ存在する測距点対応領域が優先度８、第１粒子グループに属する粒子が１つ以下存在する測距点対応領域が優先度７となっている。
以下、第２粒子グループ、第３粒子グループに属する粒子の数に基づいて優先度が設定されている。
【００７５】
図５のフローチャートの説明に戻る。
Ｓ５０７では、システム制御部３０２は、Ｓ５０４で計算された各粒子の尤度に対して、全粒子の尤度の合計が１になるように正規化を行う。そして、正規化された尤度をその粒子の生成確率として、一様乱数による抽選によってＳ５０２で配置した粒子の数と同数の新たな粒子を生成し、この新たな粒子の群で既に配置されている粒子を置き換える。これにより、測光画像中の主被写体近傍の領域に粒子がより多く配置されるため、次のフレームにおいて追尾対象を検出するのにより適した粒子の配置となる。
【００７６】
前述のように、各測距点に対応する画像領域である測距点対応領域について、それぞれの領域に分布する粒子の密度に基づいて焦点検出の優先度を設定することにより、主被写体が存在する可能性の高い領域を優先して焦点検出を行うことができる。
【００７７】
例として、図１１（ａ）で設定された優先度に対して、最終的にＳ１０４の測距点選択処理で選択された測距点を図１１（ｂ）に示す。ここでは、まず優先度９の測距点を最優先にして焦点検出を行うが、優先度９の測距点は自動車のボンネットの部分にあるため、十分なコントラストが得られず、焦点を検出できなかった。その結果、続いて優先度８の測距点で焦点検出を行い、自動車のヘッドライトとボディの境目にコントラストが得られた測距点が最終的に焦点調節を行う測距点として選択されている。
【００７８】
以上の実施形態により本発明は完成するが、好ましくは前述のＳ１０４の測距点選択処理において、次の処理を付加するのがよい。
すなわち、Ｓ１０４において、優先度に基づいて焦点検出を行う測距点を選択する際、もし同じ優先度を持つ測距点が複数存在する場合には、それらの測距点がクロスタイプセンサーか否かを判定する。そして、クロスタイプセンサーである測距点だけを全て選択測距点候補として抽出する。また、クロスタイプセンサーの測距点が１つもなければ、対応するＦ値が最も小さい測距点を選択測距点候補として抽出する。対応Ｆ値も全て同じであれば、それらすべての測距点を選択測距点候補として抽出する。
【００７９】
続いて、全ての選択測距点候補に対して焦点調節に適するか否かを判定した結果、適した測距点が存在しない場合には、同じ優先度でクロスタイプセンサーではない測距点や、対応するＦ値がより大きい測距点を次の選択測距点候補とする。そして、同様に焦点検出および条件判定を行う。それでも条件を満たす測距点が存在しない場合には次に高い優先度を持つ測距点を選択測距点候補とし、同様に焦点検出および条件判定を行う。これを、条件を満たす焦点検出結果が得られるまで繰り返す。
【００８０】
同じ優先度でもクロスタイプセンサーであることや対応Ｆ値の小さい測距点を優先する理由は、焦点調節の精度を高めるためである。加えて、要求処理時間等の制約により、１フレームにおいて焦点を検出できる測距点の数に制限がある場合に、優先度が高く、精度も高い測距点を優先するため、少ない焦点検出数で効率的に主被写体上の測距点を選択できる。これにより、前述の実施形態と比較して、主被写体に対してより精度の高い焦点調節を行うことが可能となる。
【００８１】
[第２の実施形態]
第１の実施形態では、撮像装置は、クイックリターンミラー２０３および２０４、測距センサー２０５、測光センサー２０８、光学ファインダー用のペンタプリズム２０７を備えたデジタル一眼レフカメラであることが前提であった。しかし、本発明は光学ファインダーを備えていないカメラにおいても応用することができる。
【００８２】
そこで、光学ファインダーを備えていない撮像装置において本発明を実施する方法について、第２の実施形態で説明する。
以下、図１２、図１３、図１４を参照して、第２の実施形態による撮像装置について説明する。
【００８３】
図１２は、本発明の第２の実施形態による撮像装置について説明する。図１２において、第１の実施形態に記載の撮像装置と同様の部材については図２と同じ番号を付記し、本実施形態における説明を割愛する。
【００８４】
図１２において１２０１はカメラ本体であり、その前面には撮影レンズ２０２が装着される。撮影レンズ２０２は交換可能であり、またカメラ本体１２０１と撮影レンズ２０２は、不図示のマウント接点群を介して電気的にも接続される。
【００８５】
２１０はフォーカルプレーンシャッター、１２０２は撮像センサーである。露光を行う際は、フォーカルプレーンシャッター２１０が開くことにより、撮像センサー１２０２が露光される。撮像センサー１２０２は画像生成用の画素と、位相差検出用の画素を持つ。画像生成用の画素は露光時に撮影画像を生成するための画素であり、位相差検出用の画素は公知の位相差検出方式により被写体の焦点を検出して焦点調節を行うための画素である。本実施形態における撮像装置は、この位相差検出用の画素を用いてレンズの焦点調節を行う。
【００８６】
図１３は撮像センサー内における測距点を示した図であり、格子状に分けられた各測距点の領域に対応する位相差検出用画素の出力を用いて焦点調節を行う。本実施形態における撮像装置は、クイックリターンミラーを持たない、いわゆるミラーレスカメラと呼ばれる構造となっている。
【００８７】
図１４は、本実施形態の撮像装置の機能ブロックを示した図で、第１の実施形態の撮像装置とは異なり、測光専用のセンサーおよび測距専用のセンサーを持たない。
操作部３０１は、ユーザーがカメラ本体１２０１に取り付けられた不図示のレリーズボタン、スイッチ、ダイヤル、接続機器等を介して行った操作を検知し、操作内容に応じた信号をシステム制御部１４０１へ送る。
【００８８】
レリーズボタンは、半押し、全押しの状態を持つ二段押し込み式のスイッチであり、操作部３０１は、レリーズボタンが半押しされた瞬間にＳＷ１信号を、レリーズボタンを押し込んだ瞬間にＳＷ２信号をシステム制御部１４０１に出力する。また、操作部３０１は、ユーザーがレリーズボタンから手を離した瞬間にＳＷ解除信号をシステム制御部１４０１に出力する。
【００８９】
システム制御部１４０１は、ＳＷ１信号が入力された場合には自動露出演算、自動焦点調節などの撮影前の準備動作を行い、ＳＷ２信号が入力された場合には撮像センサー１２０２が露光して撮影処理を行う。 自動露出演算および被写体追尾処理は、撮像センサー１２０２の画像生成用の画素で構成される画像を用いて行う。一方、焦点検出演算は、撮像センサー１２０２の位相差検出用の画素からの出力に基づいて行う。
【００９０】
前述の通り、本実施形態においては各測距点と被写体追尾画像とが１つの撮像センサー１２０２から出力される。そのため、被写体追尾処理において、粒子の分布に基づいて測距点に優先度を設定する際に用いる測距点対応領域については、図１３に示すように、撮像センサー１２０２に配置された各測距点の領域と一致する。したがって、これらの測距点対応領域に対して第１の実施形態と同様の手順で優先度を設定することにより、本実施形態においても、主被写体が存在する可能性の高い領域を優先して焦点検出を行うことができる。
【００９１】
（その他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又はコンピュータ読み取り可能な記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９２】
２０１  デジタル一眼レフカメラ本体
２０２  撮影レンズ
２０３  メインミラー
２０４  サブミラー
２０５  測距センサー
２０６  ピント板
２０７  ペンタプリズム
２０８  測光センサー
２０９  アイピース
２１０  フォーカルプレーンシャッター
２１１  撮像センサー
２１２  ディスプレイユニット
２１３  フォーカシングレンズ
２１４  絞りシャッター
２１５  マウント接点群
３０１  操作部
３０２  システム制御部
３０３  画像記憶装置
１２０１  デジタルカメラ本体
１２０２  像面位相差ＡＦ画素を備えた撮像センサー
１４０１  システム制御部
【図１】
0006415196.tif 000002
【図２】
0006415196.tif 000003
【図３】
0006415196.tif 000004
【図４】
0006415196.tif 000005
【図５】
0006415196.tif 000006
【図６】
0006415196.tif 000007
【図７】
0006415196.tif 000008
【図８】
0006415196.tif 000009
【図９】
0006415196.tif 000010
【図１０】
0006415196.tif 000011
【図１１】
0006415196.tif 000012
【図１２】
0006415196.tif 000013
【図１３】
0006415196.tif 000014
【図１４】
0006415196.tif 000015