(57)【特許請求の範囲】
【請求項１】
撮像光学系により結像された被写体像から画像を生成する撮像手段と、
前記画像に対応付けられた複数の測距点の中からユーザーによって選択された測距点、および、該ユーザーによって選択された測距点に隣接する測距点を含む、前記画像の領域内において、所定の割合で存在する特徴情報を検出し主被写体情報候補とする候補選択手段と、
前記主被写体情報候補に類似する特徴情報の前記ユーザーによって選択された測距点からの距離、および、画像全体における前記主被写体情報候補に類似する特徴情報の分布状態に基づいて、主被写体の特徴情報を決定する決定手段と、
前記決定手段で決定された前記主被写体の特徴情報を用いて、前記主被写体が存在する領域を検出する検出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、粒子フィルタによって前記画像内における前記主被写体情報候補の分布状態を検出し、粒子の分布状態によって前記主被写体の特徴情報を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記候補選択手段は、前記ユーザーによって選択された測距点に隣接する全ての測距点に対応する領域内において、前記所定の割合で存在する前記特徴情報を検出し前記主被写体情報候補とすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記特徴情報とは、前記撮像手段に含まれる撮像センサーのカラーフィルタに対応する色成分の信号レベル、輝度、色差、彩度、および、色相の少なくとも１つであることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記検出手段によって検出された前記主被写体が存在する領域に対応する測距点を選択して焦点検出を行う焦点検出手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
撮像光学系により結像された被写体像から画像を生成する撮像工程と、
前記画像に対応付けられた複数の測距点の中からユーザーによって選択された測距点、および、該ユーザーによって選択された測距点に隣接する測距点を含む、前記画像の領域内において、所定の割合で存在する特徴情報を検出し主被写体情報候補とする候補選択工程と、
前記主被写体情報候補に類似する特徴情報の前記ユーザーによって選択された測距点からの距離、および、画像全体における前記主被写体情報候補に類似する特徴情報の分布状態に基づいて、主被写体の特徴情報を決定する決定工程と、
前記決定工程において決定された前記主被写体の特徴情報を用いて、前記主被写体が存在する領域を検出する検出工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項７】
撮像光学系により結像された被写体像から画像を生成する撮像工程と、
前記画像に対応付けられた複数の測距点の中からユーザーによって選択された測距点、および、該ユーザーによって選択された測距点に隣接する測距点を含む、前記画像の領域内において、所定の割合で存在する特徴情報を検出し主被写体情報候補とする候補選択工程と、
前記主被写体情報候補に類似する特徴情報の前記ユーザーによって選択された測距点からの距離、および、画像全体における前記主被写体情報候補に類似する特徴情報の分布状態に基づいて、主被写体の特徴情報を決定する決定工程と、
前記決定工程において決定された前記主被写体の特徴情報を用いて、前記主被写体が存在する領域を検出する検出工程と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理装置の制御方法に関し、特に撮像装置に搭載される主被写体検出装置に用いて好適な技術に関するものである。
【背景技術】
【０００２】
従来、撮像センサーを搭載した撮像装置において、連続して撮像される画像の任意のフレームから主被写体を検出し、後続するフレームで主被写体を追尾する画像追尾装置が知られている。
【０００３】
このような画像追尾装置を有する撮像装置では、画像中における主被写体の位置を検出し続けることによって、主被写体の動きに合わせて撮像装置の向きを自動制御したり、主被写体に対して適切な自動焦点調節や自動露出演算をしたりすることができる。
【０００４】
こうした撮像装置には、追尾対象とする被写体を、タッチパネルやボタン、ダイヤルの操作によってユーザーが任意に指定できるものがある。しかしながら、高速あるいは複雑に移動する被写体を指定する場合、画像中においてユーザーが指定した被写体領域と、追尾対象としたい被写体が実際に存在する領域とにずれが生じる場合がある。
【０００５】
このような場合、撮像装置はユーザーが主被写体としたい被写体とは別の被写体を追尾対象としてしまい、ユーザーが意図する画像が撮影できなくなることがあるという問題がある。
このような問題を解決するために、画像中においてユーザーが指定した領域と、主被写体が実際に存在する領域とのずれを検出し、追尾対象とする被写体の領域を補正する方法が提案されている。
【０００６】
例えば、特許文献１では、画像中において主被写体として指定された領域と、主被写体が実際に存在する領域とにずれがあった場合でも、主被写体を抽出することができる技術が開示されている。
【０００７】
特許文献１に記載の技術では、指定された画像領域において主被写体が持つ特徴量を抽出する。そして、主被写体が持つ特徴量と一致する画素の分布状況に基づいて、指定領域における主被写体の位置の偏りを検出することで、指定領域と主被写体領域のずれを検出している。これにより、主被写体として指定された領域に、主被写体とそれ以外の被写体が混在している場合でも、主被写体を抽出することができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−１３４１１７号公報
【非特許文献】
【０００９】
【非特許文献１】M.Isard and A.Blake, "CONDENSATION - Conditional Density Propagation for Visual Tracking," International Journal of Computer Vision, Vol.29, No.1, pp.5-28, 1998.
【非特許文献２】樋口 知之, "粒子フィルタ," 電子情報通信学会誌, Vol.88, No.12, pp.989-994, 2005-12-01.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１に開示された従来技術では、主被写体の特徴色の検出において、指定された領域内の画素から色相および明度のヒストグラムを作成し、ヒストグラムの最大値を特徴色としている。このため、画像全体における色の分布状態が考慮されていない。これでは、指定された領域において背景領域が占める割合が最大であった場合には、背景が主被写体として選択されてしまうという問題がある。
本発明は前述の問題点に鑑み、画像中においてユーザーが指定した位置と主被写体の位置にずれがある場合にも主被写体を検出できるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置は、撮像光学系により結像された被写体像から画像を生成する撮像手段と、前記画像に対応付けられた複数の測距点の中からユーザーによって選択された測距点、および、該ユーザーによって選択された測距点に隣接する測距点を含む、前記画像の領域内において、所定の割合で存在する特徴情報を検出し主被写体情報候補とする候補選択手段と、前記主被写体情報候補に類似する特徴情報の前記ユーザーによって選択された測距点からの距離、および、画像全体における前記主被写体情報候補に類似する特徴情報の分布状態に基づいて、主被写体の特徴情報を決定する決定手段と、前記決定手段で決定された前記主被写体の特徴情報を用いて、前記主被写体が存在する領域を検出する検出手段と、を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、画像中においてユーザーが指定した位置と主被写体の位置にずれがある場合にも主被写体を検出できる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に関わる撮像装置の動作手順を示すフローチャートである。
【図２】実施形態に関わる撮像装置の機械図面である。
【図３】実施形態に関わる撮像装置の基本構成を示すブロック線図である。
【図４】実施形態に関わる撮像装置の測距点配置と測光センサー画像との関係を示す図である。
【図５】実施形態に関わる撮像装置の入力画像と主被写体検出領域との関係について示す図である。
【図６ａ】特徴色候補１の粒子の初期配置を示す図である。
【図６ｂ】特徴色候補２の粒子の初期配置を示す図である。
【図６ｃ】特徴色候補３の粒子の初期配置を示す図である。
【図７ａ】実施形態に関わる撮像装置の主被写体検出処理における粒子の予測移動について示す図である。
【図７ｂ】実施形態に関わる撮像装置の主被写体検出処理における粒子の予測移動について示す図である。
【図７ｃ】実施形態に関わる撮像装置の主被写体検出処理における粒子の予測移動について示す図である。
【図８ａ】実施形態に関わる撮像装置の主被写体検出処理における粒子のリサンプリングについて示す図である。
【図８ｂ】実施形態に関わる撮像装置の主被写体検出処理における粒子のリサンプリングについて示す図である。
【図８ｃ】実施形態に関わる撮像装置の主被写体検出処理における粒子のリサンプリングについて示す図である。
【図９ａ】実施形態に関わる撮像装置の主被写体検出処理における粒子の最終的な分布について示す図である。
【図９ｂ】実施形態に関わる撮像装置の主被写体検出処理における粒子の最終的な分布について示す図である。
【図９ｃ】実施形態に関わる撮像装置の主被写体検出処理における粒子の最終的な分布について示す図である。
【図１０】実施形態に関わる撮像装置の被写体追尾手段の動作手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
[第１の実施形態]
以下、図２を参照して、本発明の画像処理装置について、撮像光学系により結像された被写体像から画像を生成する撮像装置を実施形態にして説明する。
図２において、２０１はデジタル一眼レフカメラ本体であり、その前面には撮影レンズ２０２が装着される。
【００１５】
撮影レンズ２０２は交換可能であり、またカメラ本体２０１と撮影レンズ２０２は、マウント接点群２１５を介して電気的にも接続される。撮影レンズ２０２の中には、フォーカシングレンズ２１３と絞りシャッター２１４があり、前述のマウント接点群を介した制御により、カメラ内に取り込む光量とピントを調整できるようになっている。
【００１６】
２０３および２０４はクイックリターンミラーである。２０３はメインミラーであり、ハーフミラーとなっている。メインミラー２０３はファインダー観測状態では撮影光路上に斜設され、撮影レンズ２０２から入射される光束をファインダー光学系へと反射する。一方、透過光はサブミラー２０４を介して測距センサー２０５へと入射する。
【００１７】
測距センサー２０５は、撮影レンズ２０２の二次結像面を焦点検出ラインセンサー上に形成することで、位相差検出方式によって撮影レンズ２０２の焦点調節状態を検出することのできる像信号を生成する。
２０６はファインダー光学系を構成する撮影レンズ２０２の予定結像面に配置されたピント板である。
【００１８】
２０７はファインダー光路変更用のペンタプリズムである。２０９はアイピースであり、撮影者はここからピント板２０６を観察することによって、撮影画面と測距点マークを確認することができる。
【００１９】
２０８は測光センサーである。測光センサー２０８は、照射される光信号から輝度信号と色差信号を持つ画像データを生成する。測光センサー２０８で生成された画像データは、被写体の明るさ検出と自動露出演算に加え、被写体検出処理に用いられる。
【００２０】
２１０はフォーカルプレーンシャッター、２１１は撮像センサーである。露光を行う際は、メインミラー２０３、およびサブミラー２０４は撮影光路上から退避し、フォーカルプレーンシャッター２１０が開くことにより、撮像センサー２１１が露光される。また、２１２はディスプレイユニットであり、撮影情報や撮影画像を表示し、ユーザーが確認できるようにするものである。
【００２１】
次に、本実施形態に関わる撮像装置の機能ブロックについて、図２の模式図および図３、図４を用いて説明する。なお、図３中の図２と同じ部材については、図２のものと同一符号を付す。
操作部３０１はユーザーがカメラ本体２０１に取り付けられた不図示のレリーズボタン、スイッチ、ダイヤル、接続機器等を介して行った操作を検知し、操作内容に応じた信号をシステム制御部３０２へ送る。これにより、画像中の領域の中心を被写体の座標として指定することができる。
【００２２】
レリーズボタンは、半押し、全押しの状態を持つ二段押し込み式のスイッチであり、操作部３０１は、レリーズボタンが半押しされた瞬間にＳＷ１信号を、レリーズボタンを押し込んだ瞬間にＳＷ２信号をシステム制御部３０２に出力する。また、操作部３０１は、ユーザーがレリーズボタンから手を離した瞬間にＳＷ解除信号をシステム制御部３０２に出力する。
【００２３】
システム制御部３０２は、ＳＷ１信号が入力された場合には自動露出演算、自動焦点調節などの撮影前の準備動作を行い、ＳＷ２信号が入力された場合には撮像センサー２１１が露光して撮影処理を行う。以降、レリーズボタンが半押しされている状態をＳＷ１状態、レリーズボタンが全押しされている状態をＳＷ２状態、レリーズボタンが全く押されていない状態をＳＷ解除状態と表現する。
【００２４】
測光センサー２０８は、入射された光信号から自動露出演算、被写体追尾および主被写体検出を行うための画像データを生成し、システム制御部３０２に出力する。システム制御部３０２は、測光センサー２０８から入力された画像データに基づいて自動露出演算を行い、演算結果に基づいて絞りシャッター２１４の絞りを制御することで、カメラ本体内に入射する光の量を調節する。さらに、自動露出演算の結果に基づいてレリーズ時にフォーカルプレーンシャッター２１０を制御することで、撮像センサー２１１の露光時間を調節する。
【００２５】
また、システム制御部３０２は、ＳＷ解除状態からＳＷ１状態あるいはＳＷ２状態に移行した瞬間に主被写体検出処理を行い、追尾対象となる主被写体の特徴色と位置を検出する。そして、ＳＷ１状態およびＳＷ２状態が続いている間、測光センサー２０８から入力される画像データに対して、主被写体検出処理にて検出された主被写体を追尾対象として被写体追尾を行い、画像中の主被写体の位置を検出する。
なお、被写体追尾処理の実行後に、追尾処理での追尾対象を更新するために、再度主被写体検出処理を実行してもよい。
【００２６】
本実施形態においては、主被写体を検出する手段に粒子フィルタと呼ばれるアルゴリズムを応用する。粒子フィルタは時系列データを遂次的にベイズ推定する手法で、過去の時系列データに基づく予測と、有限個のランダムなサンプル点による現在の時系列データの観測に基づいて、現在の時系列データを推定する。
【００２７】
観測に用いられるサンプル点を粒子と呼び、各粒子は予測データと観測データに基づく尤度を持つ。そして、これらの粒子の集合によって時系列データの確率分布を近似することで、追尾対象の状態を推定する。粒子フィルタの利点としては、粒子の集合に基づいて確率分布を近似するため、確率分布が非線形あるいは非ガウス型であっても適用可能であるということである。
【００２８】
また、時系列データのモデルに合わせて尤度関数を設定することで、様々な問題に対応できるという利点も持つ。粒子フィルタによる画像追尾の方法は、非特許文献１、非特許文献２に詳しく記載されている。
また、本実施形態における被写体追尾は、例えば上述の粒子フィルタやテンプレートマッチングなどの公知の手法を利用して行う。
【００２９】
測距センサー２０５は、図４に示すような測距点配置に対応する複数のラインセンサーで構成され、サブミラー２０４を介して入射される像から像信号を生成し、システム制御部３０２に出力する。
【００３０】
システム制御部３０２は、測距センサー２０５から入力される像信号から、公知の技術である位相差検出方式に基づいて各測距点のデフォーカス量を計算し、焦点検出を行う。そして、システム制御部３０２は、任意の測距点の焦点検出結果に基づいて、マウント接点群２１５を介してフォーカシングレンズ２１３を制御することで焦点調節を行う。
【００３１】
どの測距点に基づいて焦点調節を行うかについては、ユーザーが手動で測距点を選択する方法と、撮像装置が自動的に選択する方法がある。ユーザーが手動で測距点を選択する場合には、選択されている測距点で焦点検出を行い、焦点検出の結果に基づいて焦点調節を行う。
【００３２】
一方、撮像装置が自動的に測距点を選択する場合には、全ての測距点で焦点検出を行い、その結果、撮像装置に対して最も近い位置にいる被写体に合うように測距点を選択する。また、被写体追尾処理が有効に動作し、主被写体が検出されている場合には、測光センサー２０８から出力された画像中において主被写体が検出された領域に対応する測距点を選択する。
【００３３】
システム制御部３０２は、操作部３０１から入力される信号に基づいてミラー２０３、２０４およびフォーカルプレーンシャッター２１０を制御する。操作部３０１から出力される信号がＳＷ２信号であれば、ミラー２０３、２０４を撮影光路上から退避させ、フォーカルプレーンシャッター２１０を制御することで撮像センサー２１１に結像させる。シャッター制御が終了すれば、ミラー２０３、２０４を撮影光路上に再度設置する。
【００３４】
撮像センサー２１１は撮影レンズ２０２を通して入射する像から画像データを生成し、システム制御部３０２へ出力する。システム制御部３０２は撮像センサー２１１から入力される画像データをディスプレイ２１２で表示させるとともに、画像記憶装置３０３へ画像データを保存する。
【００３５】
続いて、本実施形態に関る被写体検出機能を備えた撮像装置の動作手順について、図１を用いて説明する。
図１は、本発明の実施形態にかかわる撮像装置における、主被写体検出処理の動作手順である。
Ｓ１０１では、システム制御部３０２は、主被写体検出に用いる画像データを測光センサー２０８から読み出し、システム制御部３０２内のメモリ領域に保存する。以下、測光センサー２０８から読み出した画像を測光画像と呼ぶ。
【００３６】
Ｓ１０２では、システム制御部３０２は、Ｓ１０１で読み出した測光画像に対して、主被写体検出領域を設定する。主被写体検出領域は、ユーザーが選択した測距点と、その測距点の上下左右斜めに隣接する８点の測距点を合わせた９点の測距点に対応する測光画像内の領域とする。ユーザーが選択した測距点と主被写体検出領域との対応関係を図５に示す。
【００３７】
図５（ａ）は、測光画像５０１に測距点の配置を重ね合わせた図で、ユーザーが選択測距点５０２を選択していることを示している。この時、ユーザーは主被写体５０４にピントを合わせたいと思っているが、主被写体５０４が素早く動き回るため、選択した測距点と主被写体５０４とがずれてしまっている。
【００３８】
図５（ｂ）は、選択測距点５０２が選択された場合に設定される主被写体検出領域５０３を示しており、主被写体検出領域５０３は選択測距点５０２および選択測距点５０２の上下左右斜めに隣接する８点の測距点に対応する領域をすべて含む領域として設定される。
【００３９】
Ｓ１０３では、システム制御部３０２は、Ｓ１０２で設定された主被写体検出領域内に含まれる情報から、主被写体の特徴の特徴情報を抽出する主被写体情報候補を選択する候補選択処理を行う。本実施形態においては色の分布から、主被写体の特徴色候補となる色を決定する。ここでは、主被写体の特徴となる情報として、主被写体検出領域を色の類似性に基づいて領域分割し、分割された領域について面積が広い色から順に所定の数だけ選択したものを主被写体の特徴色候補とする。
【００４０】
例えば、図５（ｂ）においては、主被写体検出領域５０３内に存在する、主被写体５０４の茶色、背景となる芝生の緑、背景となる空の青の３色が特徴色候補となる。以降、主被写体５０４の茶色を特徴色候補１、背景となる芝生の緑を特徴色候補２、背景となる空の青を特徴色候補３とする。
【００４１】
Ｓ１０４では、システム制御部３０２は、測光画像に対して各特徴色候補に対応する粒子の初期配置を行う。各粒子は測光画像の画素座標上に配置される。
配置する粒子の数については、粒子の数が多いほど検出の精度も高まる傾向にあるが、同時に処理時間も増加するため、システムの仕様に合わせて適切な数に設定する。
粒子を配置する位置については、全ての粒子を測光画像内全体のランダムな位置に配置する。あるいは、所定の割合の粒子を主被写体検出領域内のランダムな位置に配置してもよい。
【００４２】
図６は、図５の測光画像５０１に各特徴色の粒子を初期配置した図である。図６ａは特徴色候補１の粒子の初期配置、図６ｂは特徴色候補２の粒子の初期配置、図６ｃは特徴色候補３の粒子の初期配置をそれぞれ示している。
【００４３】
Ｓ１０５では、システム制御部３０２は、Ｓ１０６からＳ１０９までの処理を所定回数ループさせるのに用いるループカウンターを初期化する。
Ｓ１０６では、システム制御部３０２は、各特徴色候補の粒子をランダムな方向に、ランダムな距離だけ移動させる。図６ａ、図６ｂ、図６ｃ、の粒子の初期配置に対して、ランダムな方向にランダムな距離だけ予測移動を行った結果を、それぞれ図７ａ、図７ｂ、図７ｃに示す。
【００４４】
Ｓ１０７では、システム制御部３０２は、粒子が位置する画素のパラメーターを入力とする尤度関数を用いて、各粒子の尤度を計算する。尤度関数の設定については、例えば、粒子の特徴色候補と、粒子が位置する画素の色との差が所定値以内であれば１を、所定値より大きければ０とするように定義する。これにより、測光画像中において、各特徴色候補に類似する色が存在する領域に分布している粒子の尤度が１となるため、尤度が１となった粒子が分布する領域を検出することで、特徴色候補に類似する色の分布状態を検出できる。
【００４５】
Ｓ１０８では、システム制御部３０２は、ループカウンターを参照し、Ｓ１０６からＳ１０９までの処理が所定回数繰り返されたかどうかを判定する。ループカウンターが所定値に達していなければ、Ｓ１０９へ移行する。ループカウンターが所定の数値に達していれば、Ｓ１１１へ移行する。
【００４６】
Ｓ１０９では、システム制御部３０２は、各特徴色候補の粒子のリサンプリングを行い、粒子を再配置する。ここではまず、Ｓ１０７で計算された各特徴色候補の粒子に対して、全粒子の尤度の合計が１になるように正規化を行う。そして、正規化された尤度をその粒子の生成確率として、一様乱数による抽選によってＳ１０４で配置した粒子の数と同数の新たな粒子を生成し、この新たな粒子の群で既に配置されている粒子を置き換える。
【００４７】
これにより、Ｓ１０７において尤度１となった粒子のいずれかが分布していた領域に全ての粒子が再配置され、尤度０となった粒子が分布していた領域からは粒子が除去されることになる。その結果、測光画像中において各特徴色候補の類似色が分布する領域に粒子がより多く配置されるため、各特徴色候補の類似色が分布する領域を検出するのにより適した粒子の配置となる。
【００４８】
図８は、図７の粒子に対してリサンプリングを行った図である。図８ａは特徴色候補１に類似する色の領域に粒子が再配置されている。特徴色候補１は茶色であるため、主被写体５０４が存在する領域と、背景の木の幹の部分に粒子が再配置されている。同様にして、特徴色候補２の粒子を再配置した結果が図８ｂ、特徴色候補３の粒子を再配置した結果が図８ｃである。
【００４９】
Ｓ１１０では、システム制御部３０２は、Ｓ１０８の判定に用いるループカウンターをインクリメントする。
Ｓ１１１では、システム制御部３０２は、最後に行った粒子の尤度計算処理を行ったＳ１０７の結果に基づいて、各特徴色候補の測光画像内における分布状態を解析することにより、特徴色高の中から主被写体の特徴色と位置を決定する。具体的には、最後に行ったＳ１０７において尤度１となった各特徴色候補の粒子の分布を解析し、分布に基づいて各特徴色候補の評価値を計算することにより、最も評価値の高い特徴色候補を主被写体色候補とする。ここで、尤度が１である粒子を有効粒子と呼ぶこととする。
【００５０】
各特徴色候補の評価値は、２つの指標に基づいて計算する。１つ目の指標は、各特徴色候補の有効粒子全てに対して選択測距点５０２からの距離を計算し、距離の平均値が小さいほど評価値を高くするというものである。
２つ目の指標は、各特徴色候補の有効粒子のうち選択測距点５０２から一定の距離以内に存在する有効粒子の割合を計算し、その割合が高いほど評価値を高くするというものである。そして、これら２つの指標で計算された評価値を掛け合わせることで、各特徴色候補の評価値を計算する。
【００５１】
これら２つの指標に基づいて評価値を計算する理由は、ユーザーが主被写体を狙って測距点を選択している以上、ずれがあったとしても選択した測距点の比較的近い位置に主被写体が存在している可能性が高いためである。また、選択測距点からより遠くに多くの粒子が分布している特徴色候補は画像全体に類似する色が広く存在するということであるため、被写体追尾の対象となる主被写体としては不適切である。
これにより、主被写体検出領域の中に主被写体や背景が混在する場合においても、適切な主被写体を検出することができる。
【００５２】
図９は、最後に行った粒子の尤度計算処理を行ったＳ１０７で尤度１となった粒子を測光画像にプロットしたものである。特徴色候補１の粒子は、図９ａに示すように、主被写体５０４と背景の木の幹に分布している。特徴色候補２の粒子は、図９ｂに示すように、背景の草地に分布している。
【００５３】
特徴色候補３の粒子は、図９ｃに示すように、背景の青空に分布している。特徴色候補２と特徴色候補３は、背景が存在する広い範囲に平均的に分布している。一方、特徴色候補１は、狭い領域に集中して分布しており、また選択測距点５０２に近い位置に存在する割合が大きいため、ここでは特徴色候補１が主被写体の特徴色として選択される。
【００５４】
続いて、図１０を用いて、本実施形態における被写体追尾処理について説明する。
図１０は、被写体追尾処理Ｓ１０３の具体的な動作手順について示した図である。
Ｓ１００１では、システム制御部３０２は、Ｓ１０９の追尾対象設定処理において新たな追尾対象が設定されてから初回の被写体追尾処理であるかどうかの判定を行う。
【００５５】
初回であれば、まだ追尾用の粒子が配置されていないことから、新たな追尾対象に対する粒子の初期配置を行うためにＳ１００２へ移行する。一方、現在の追尾対象に対して２回目以降の追尾処理であれば、直前のフレームにおけるＳ１００７の処理で既に追尾用の粒子が配置されているため、Ｓ１００２を行わずにＳ１００３へ移行する。Ｓ１００７の処理については後述する。
【００５６】
Ｓ１００２では、システム制御部３０２は、ステップＳ１０２で設定した被写体検出領域のうち、Ｓ１１１で主被写体の特徴色と決定された色に対応する粒子が一つ選択され、その同じ位置に多数の粒子の初期配置を行う。配置する粒子の数については、粒子の数が多いほど追尾の精度も高まる傾向にあるが、同時に処理時間も増加するため、システムの仕様に合わせて適切な数に設定する。
【００５７】
Ｓ１００３では、システム制御部３０２は、測光画像上で追尾対象が存在すると予測される領域に全ての粒子を移動させる。追尾対象の予測位置については、追尾対象の動きが予測可能である場合には、予測される追尾対象の移動に応じて粒子を移動させた後、さらにノイズに対応するためにランダムな方向に移動させる。
一方、追尾対象の移動予測が困難である場合には、ランダムな方向に、正規分布に基づく距離だけ移動させる。
【００５８】
移動量の設定に関しては、移動の予測が困難な追尾対象であっても、直前のフレームにおける追尾対象位置から遠く離れた位置より、比較的近い位置に存在することが多いことから、直前の追尾対象位置付近により多くの粒子を分布させるようにしている。
【００５９】
Ｓ１００４では、システム制御部３０２は、粒子が位置する画素のパラメーターを入力とする尤度関数を用いて、各粒子の尤度を計算する。尤度関数の設定については、例えば、Ｓ１１１で決定された主被写体の特徴色と、粒子が位置する画素の色との差が小さいほど尤度を高くする。
【００６０】
例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のベイヤー配列のカラーフィルタを有する撮像センサーで撮像された画像であれば、各画素におけるＲ、Ｇ、Ｂ成分のそれぞれの信号レベルと、主被写体の特徴色のＲ、Ｇ、Ｂ成分のそれぞれの信号レベルとの差分を求める。そして、Ｒ、Ｇ、Ｂ成分の差分の絶対値の和が小さくなるほど、尤度を高くすればよい。
【００６１】
さらに、直前のフレームにおける追尾対象の位置と粒子の位置の距離が近いほど尤度を高くするように定義する。
また、粒子が配置されている画素周辺の色の分布状態と、追尾開始時の追尾対象の位置周辺の色分布を比較し、色分布が類似するほど尤度が高くなるような尤度関数を定義してもよい。
【００６２】
Ｓ１００５では、システム制御部３０２は、Ｓ１００４で計算した各粒子の尤度に基づいて、測光画像中において追尾対象が存在する領域を検出する。
ここではまず、尤度が所定値以上の粒子に対して、測光画像座標上において距離が所定値以下である粒子同士をグルーピングし、１つ以上の粒子グループを作成する。続いて、各粒子グループに対して、グループに属する粒子の尤度の合計を計算し、尤度の合計値の高い順に粒子グループに優先順位を設定する。
【００６３】
尤度の高い粒子がより多く集まる領域が追尾対象の存在する領域である可能性が高いため、優先順位の高い粒子グループに属する粒子が分布する領域が最も追尾対象の存在する可能性が高い領域となる。
【００６４】
Ｓ１００６では、システム制御部３０２は、優先順のグループに属する粒子の分布に基づいて、測距点に優先度を設定する。
Ｓ１００７では、システム制御部３０２は、Ｓ１００４で計算された各粒子の尤度に対して、全粒子の尤度の合計が１になるように正規化を行う。
【００６５】
そして、正規化された尤度をその粒子の生成確率として、一様乱数による抽選によってＳ１００２で配置した粒子の数と同数の新たな粒子を生成し、この新たな粒子の群で既に配置されている粒子を置き換える。これにより、測光画像中の主被写体近傍の領域に粒子がより多く配置されるため、次のフレームにおいて追尾対象を検出するのにより適した粒子の配置となる。
以上が、本発明の実施形態に関る撮像装置における、主被写体検出処理の動作手順である。
【００６６】
粒子フィルタを用いて、画像中において特徴色候補と類似する領域を検出し、その分布や位置関係に基づいて主被写体の特徴色を決定することにより、適切な被写体を主被写体とすることができる。
【００６７】
本実施形態においては、測光センサー２０８から出力される画像を用いて自動露出演算、主被写体検出および被写体追尾を行い、測距センサー２０５から出力される像信号に基づいて焦点調節を行う。しかし本発明はこの形態に限らず、これら自動露出、主被写体検出および被写体追尾、焦点調節の演算を１つの撮像センサーから出力された像信号を用いて行ってもよい。
【００６８】
前述したように、本発明は、画像上で、ユーザーが選択した位置を基準として所定範囲の領域を設定し、ユーザーが選択した位置だけでなく、その所定範囲の領域に含まれる情報から、主被写体の特徴となる情報を抽出する。
【００６９】
また、前述した実施形態においては、特徴となる情報として撮像センサーのカラーフィルタに対応する色成分のそれぞれの信号レベルを例にあげて説明を行ったが、これに限られるものではない。輝度、色差、彩度、あるいは、色相などの情報を利用することもできる。
例えば、主被写体検出領域の彩度が閾値以上であれば、特徴となる情報として色相を用いるようにし、彩度が閾値未満であれば、特徴となる情報として輝度を用いるようにしてもよい。この場合、主被写体検出領域の彩度が閾値未満であるならば、ユーザーにより指定された位置の周辺領域の輝度分布および画像全体の輝度分布に基づいて、追尾対象となる主被写体輝度を決定する。
【００７０】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又はコンピュータ読み取り可能な記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７１】
２０１  デジタル一眼レフカメラ本体
２０２  レンズ
２０３  メインミラー
２０４  サブミラー
２０５  測距センサー
２０６  ピント版
２０７  ペンタプリズム
２０８  測光センサー
２０９  アイピース
２１０  フォーカルプレーンシャッター
２１１  撮像センサー
２１２  ディスプレイユニット
２１３  フォーカシングレンズ
２１４  絞りシャッター
２１５  マウント接点群
３０１  操作部
３０２  システム制御部
３０３  画像記憶装置
【図１】
0006403509.tif 000002
【図２】
0006403509.tif 000003
【図３】
0006403509.tif 000004
【図４】
0006403509.tif 000005
【図５】
0006403509.tif 000006
【図６ａ】
0006403509.tif 000007
【図６ｂ】
0006403509.tif 000008
【図６ｃ】
0006403509.tif 000009
【図７ａ】
0006403509.tif 000010
【図７ｂ】
0006403509.tif 000011
【図７ｃ】
0006403509.tif 000012
【図８ａ】
0006403509.tif 000013
【図８ｂ】
0006403509.tif 000014
【図８ｃ】
0006403509.tif 000015
【図９ａ】
0006403509.tif 000016
【図９ｂ】
0006403509.tif 000017
【図９ｃ】
0006403509.tif 000018
【図１０】
0006403509.tif 000019