(57)【特許請求の範囲】
【請求項１】
画像において粒子を分布して、各粒子の位置で尤度の計算を行って被写体の画像領域を推定し、尤度の低い粒子を尤度の高い粒子の位置に配置することを繰り返す粒子フィルタ処理を利用した追尾処理を行う追尾手段を有し、
前記追尾手段は、画像を撮像した撮像装置に設定されたＩＳＯ感度が閾値以下であるときの前記粒子を分布する範囲を、前記閾値を超えているときの前記粒子を分布する範囲よりも、広くすることを特徴とする被写体追尾装置。
【請求項２】
画像において粒子を分布して、各粒子の位置で尤度の計算を行って被写体の画像領域を推定し、尤度の低い粒子を尤度の高い粒子の位置に配置することを繰り返す粒子フィルタ処理を利用した追尾処理を行う追尾手段を有し、
前記追尾手段は、画像を撮像した撮像装置に設定されたＩＳＯ感度が小さくなるほど、前記粒子を分布する範囲を広くすることを特徴とする被写体追尾装置。
【請求項３】
画像において粒子を分布して、各粒子の位置で尤度の計算を行って被写体の画像領域を推定し、尤度の低い粒子を尤度の高い粒子の位置に配置することを繰り返す粒子フィルタ処理を利用した追尾処理を行う追尾手段を有し、
前記追尾手段は、分布した前記粒子の一部が、前記画像の撮像に用いた撮像センサに含まれる欠陥画素の位置、あるいは、前記画像を撮像した撮像装置の測距枠の位置の少なくともいずれかと重なる場合には、重なる粒子の位置を移動することを特徴とする被写体追尾装置。
【請求項４】
前記追尾手段は、前記追尾処理の対象である被写体の移動量に応じて、前記粒子を分布する範囲を変更することを特徴とする請求項１乃至３のいずれか１項に記載の被写体追尾装置。
【請求項５】
前記追尾手段は、前記追尾処理の対象である被写体の移動速度に応じて、前記粒子を分布する範囲を変更することを特徴とする請求項１乃至４のいずれか１項に記載の被写体追尾装置。
【請求項６】
前記追尾手段は、前記追尾処理の対象である被写体の面積に応じて、前記粒子を分布する範囲を変更することを特徴とする請求項１乃至５のいずれか１項に記載の被写体追尾装置。
【請求項７】
前記追尾手段は、画像の撮像に用いた光学系の焦点距離が長くなるほど、前記粒子を分布する範囲を広くすることを特徴とする請求項１乃至６のいずれか１項に記載の被写体追尾装置。
【請求項８】
前記追尾手段は、画像を撮像した撮像装置から前記被写体までの距離が近づくほど、前記粒子を分布する範囲を広くすることを特徴とする請求項１乃至７のいずれか１項に記載の被写体追尾装置。
【請求項９】
前記追尾手段は、画像を撮像した撮像装置の角速度または加速度に応じて、前記粒子を分布する範囲を変更することを特徴とする請求項１乃至８のいずれか１項に記載の被写体追尾装置。
【請求項１０】
請求項１乃至９のいずれか１項に記載された被写体追尾装置と、
前記画像を生成する撮像手段を備えることを特徴とする撮像装置。
【請求項１１】
画像において粒子を分布して、各粒子の位置で尤度の計算を行って被写体の画像領域を推定し、尤度の低い粒子を尤度の高い粒子の位置に配置することを繰り返す粒子フィルタ処理を利用した追尾処理を行い、
前記追尾処理において、画像を撮像した撮像装置に設定されたＩＳＯ感度が閾値以下であるときの前記粒子を分布する範囲を、前記閾値を超えているときの前記粒子を分布する範囲よりも、広くすることを特徴とする被写体追尾方法。
【請求項１２】
画像において粒子を分布して、各粒子の位置で尤度の計算を行って被写体の画像領域を推定し、尤度の低い粒子を尤度の高い粒子の位置に配置することを繰り返す粒子フィルタ処理を利用した追尾処理を行い、
前記追尾処理において、画像を撮像した撮像装置に設定されたＩＳＯ感度が小さくなるほど、前記粒子を分布する範囲を広くすることを特徴とする被写体追尾方法。
【請求項１３】
画像において粒子を分布して、各粒子の位置で尤度の計算を行って被写体の画像領域を推定し、尤度の低い粒子を尤度の高い粒子の位置に配置することを繰り返す粒子フィルタ処理を利用した追尾処理を行い、
前記追尾処理において、分布した前記粒子の一部が、前記画像の撮像に用いた撮像センサに含まれる欠陥画素の位置、あるいは、前記画像を撮像した撮像装置の測距枠の位置の少なくともいずれかと重なる場合には、重なる粒子の位置を移動することを特徴とする被写体追尾方法。
【請求項１４】
コンピュータを、請求項１乃至９のいずれか１項に記載された被写体追尾装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、粒子フィルタ処理を利用した被写体追尾装置、撮像装置、被写体追尾方法及びプログラムに関する。
【背景技術】
【０００２】
従来、非特許文献１、２等に挙げられている粒子フィルタ処理を利用して、目標とする被写体を追尾する被写体追尾装置が知られている。粒子フィルタ処理は、有限個の粒子を分布し、粒子の位置する被写体像の画素をサンプリングし、時系列の特徴量に基づく尤度を求める演算を行う。粒子フィルタ処理は、尤度の高さから目標とする被写体位置の推定を行うことができ、尤度の高かった粒子の位置と重みに基づいて目標とする被写体の位置や移動を検出することができる。
【０００３】
上述の粒子フィルタ処理を利用した被写体追尾に関して、特許文献１には、追尾対象物の領域以外の位置における色の変化に基づいて、追尾対象物の特徴となる色の情報を変化させながら、粒子フィルタ処理を行う目標追尾装置が開示されている。
また、特許文献２には、認識物体の次の位置および形状を予測し、予測された位置に対応する画像の領域内から、予測された形状の認識物体を認識する構成が開示されている。
また、特許文献３には、所定画角内の画像を時系列的に複数枚順次撮像する撮像手段と、前記複数枚の画像の中から人物を検出する検出手段と、前記人物の頭（頭髪）部分を対象領域としてこの対象領域を追従する追従手段とを備える構成が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１８８９７７号公報
【特許文献２】特開２０１２−２０３４３９号公報
【特許文献３】特開２０１０−１９３３３３号公報
【非特許文献】
【０００５】
【非特許文献１】樋口知之著「解説  粒子フィルタ」電子情報通信学会誌  Ｖｏｌ．８８  Ｎｏ．１２、２００５年１２月、ｐｐ．９８９〜９９４
【非特許文献２】藤吉弘亘：動画画像理解技術とその応用  中部大学工学部情報工学科  http://www.vision.cs.chubu.ac.jp/VU/pdf/VU.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００６】
粒子フィルタ処理を利用した被写体追尾手法では、入力された画像の追尾範囲内を被写体の基準画像と比較しながら追尾する手法（いわゆるテンプレートマッチング法）に対して、演算負荷が比較的軽いといった利点がある。また、ロバスト性に優れ、物体の形状が変化しても、集合体として被写体の特徴量を捕捉することができる。
しかしながら、粒子フィルタ処理は、目標とする被写体に対して適切に粒子を適用できないと、特徴量を十分に捕捉できない。例えば目標とする被写体が急に大きく動いた場合や高速に移動している場合、動く前の被写体の位置のみに基づいて粒子を分布すると、被写体の存在しない領域に粒子が分布してしまう可能性がある。この場合、結果的に被写体の位置の変化を適切に検知できない可能性が生じる。
【０００７】
本発明は上記の点に鑑みてなされたものであり、粒子フィルタ処理を利用した被写体追尾の高精度化を図ることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の被写体追尾装置は、画像において粒子を分布して、各粒子の位置で尤度の計算を行って被写体の画像領域を推定し、尤度の低い粒子を尤度の高い粒子の位置に配置することを繰り返す粒子フィルタ処理を利用した追尾処理を行う追尾手段を有し、前記追尾手段は、画像を撮像した撮像装置に設定されたＩＳＯ感度が閾値以下であるときの前記粒子を分布する範囲を、前記閾値を超えているときの前記粒子を分布する範囲よりも、広くすることを特徴とする。
同様に、本発明の被写体追尾装置は、画像において粒子を分布して、各粒子の位置で尤度の計算を行って被写体の画像領域を推定し、尤度の低い粒子を尤度の高い粒子の位置に配置することを繰り返す粒子フィルタ処理を利用した追尾処理を行う追尾手段を有し、前記追尾手段は、画像を撮像した撮像装置に設定されたＩＳＯ感度が小さくなるほど、前記粒子を分布する範囲を広くすることを特徴とする。
同様に、本発明の被写体追尾装置は、画像において粒子を分布して、各粒子の位置で尤度の計算を行って被写体の画像領域を推定し、尤度の低い粒子を尤度の高い粒子の位置に配置することを繰り返す粒子フィルタ処理を利用した追尾処理を行う追尾手段を有し、前記追尾手段は、分布した前記粒子の一部が、前記画像の撮像に用いた撮像センサに含まれる欠陥画素の位置、あるいは、前記画像を撮像した撮像装置の測距枠の位置の少なくともいずれかと重なる場合には、重なる粒子の位置を移動することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、粒子フィルタ処理を利用した被写体追尾の高精度化を図ることができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る撮像装置の断面図である。
【図２】第１の実施形態に係る撮像装置の構成を示す図である。
【図３】測距点の配置を示す図である。
【図４】第１の実施形態に係る撮像装置の撮影時の動作を示すフローチャートである。
【図５】第１の実施形態における被写体追尾処理を示すフローチャートである。
【図６】粒子フィルタ処理の粒子の動きを示す図である。
【図７】第２の実施形態における被写体追尾処理を示すフローチャートである。
【図８】第３の実施形態における被写体追尾処理を示すフローチャートである。
【図９】第４の実施形態に係る撮像装置の断面図である。
【図１０】第４の実施形態における被写体追尾処理を示すフローチャートである。
【図１１】第５の実施形態に係る撮像装置の構成を示す図である。
【図１２】第５の実施形態における被写体追尾処理を示すフローチャートである。
【図１３】第６の実施形態における被写体追尾処理を示すフローチャートである。
【図１４】第７の実施形態に係る撮像装置の構成を示す図である。
【図１５】撮像装置の横位置、縦位置を示す図である。
【図１６】第７の実施形態における被写体追尾処理を示すフローチャートである。
【図１７】第７の実施形態における正規分布の分散の変更を説明するための図である。
【図１８】第８の実施形態に係る撮像装置の構成を示す図である。
【図１９】第８の実施形態における粒子の無作為移動処理を示すフローチャートである。
【図２０】第８の実施形態における粒子の再配置を説明するための図である。
【図２１】第８の実施形態における粒子の無作為移動処理の変形例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
［第１の実施形態］
図１は、第１の実施形態に係る撮像装置の例であるデジタル一眼レフカメラの断面図である。
１０１はカメラ本体、１０２は交換レンズであり、カメラ本体１０１の前面に交換可能な交換レンズ１０２が装着される。カメラ本体１０１と交換レンズ１０２は、不図示のマウント接点群を介して電気的に接続される。交換レンズ１０２はフォーカスレンズ１１３と絞り１１４を備え、マウント接点群を介した制御により、カメラ内に取り込む光量を調節し、ピントを調整できるようになっている。
１０３はメインミラーであり、ハーフミラーとなっている。１０４はサブミラーである。１０５はＡＦユニットである。メインミラー１０３はファインダー観測状態では撮影光路上に斜設され、交換レンズ１０２からの撮影光束をファインダー光学系へと反射する一方、透過光はサブミラー１０４を介してＡＦユニット１０５へと入射する。ＡＦユニット１０５は、位相差検出方式のＡＦを行う。
１０６はピント板であり、ファインダー光学系を構成する交換レンズ１０２の予定結像面に配置される。１０７はファインダー光路変更用のペンタプリズムである。１０９はアイピースであり、撮影者はここからピント板１０６を観察することによって、撮影画面を確認することができる。１０８はＡＥユニットであり、制御については後述する。
１１０はフォーカルプレーンシャッターである。１１１は撮像センサである。１１２はディスプレイユニットであり、撮影情報や撮影画像を表示し、撮影者が確認できるようにするものである。
【００１２】
図２は、第１の実施形態に係る撮像装置の構成を示す図である。なお、図１に示した構成要素と同じ構成要素には同一符号を付す。
操作部２０１は、不図示のボタン、スイッチ、ダイヤル、接続機器等で構成され、これらを介して撮影者が行った操作を検知し、操作内容に応じた信号をシステム制御部２０６に送る。操作部２０１は、不図示のレリーズボタンを包含する。レリーズボタンは２段ストローク式であり、第１段まで押された（＝半押しされた）瞬間にＳＷ１信号を、第２段まで押された（＝全押しされた）瞬間にＳＷ２信号をシステム制御部２０６に出力する。ここで、撮影者がレリーズボタンの半押しを維持した状態をＳＷ１保持状態と呼び、レリーズボタンの全押しを維持した状態をＳＷ２保持状態と呼ぶこととする。また、操作部２０１は、撮影者がＳＷ１保持状態においてレリーズボタンを離した瞬間にＳＷ１解除信号を、ＳＷ２保持状態においてレリーズボタンを離した瞬間にＳＷ２解除信号をシステム制御部２０６に出力する。
【００１３】
ＡＦユニット１０５は、自動焦点検出を行うものであり、ＡＦ制御部２０４及びＡＦセンサ２０５で構成される。ＡＦセンサ２０５は、図３に示すように６１点のＡＦ測距枠（測距点）配置に対応する一対のラインセンサで構成され、サブミラー１０４を介して入射される光を電気信号に変換し、像信号をＡＦ制御部２０４に出力する。ＡＦ制御部２０４は、ＡＦセンサ２０５から出力された一対の像信号の位相差に基づいて、図３に示す各ラインセンサに対応するＡＦ測距枠のデフォーカス量を計算し、焦点調節を行うＡＦ測距枠を１つ選択する。そして、各ＡＦ測距枠のデフォーカス量をデータとして持つデフォーカスマップと、選択したＡＦ測距枠の位置情報をシステム制御部２０６に出力する。
システム制御部２０６は、選択したＡＦ測距枠の位置及びデフォーカスマップに基づいて焦点調節演算を行う。交換レンズ１０２の焦点調節状態を検出し、その検出結果に基づいてフォーカスレンズ１１３を駆動して自動焦点調節を行う。
【００１４】
ＡＥユニット１０８は、自動露出演算を行うものであり、ＡＥ制御部２０２及びＡＥセンサ２０３で構成される。ＡＥ制御部２０２は、数万画素を備えるＡＥセンサ２０３から読み出した測光画像データに基づいて自動露出演算を行い、結果をシステム制御部２０６に出力する。
システム制御部２０６は、ＡＥ制御部２０２から出力された自動露出演算の結果に基づいて絞り１１４の開口を制御し、カメラ内に取り込む光量を調節する。さらに、レリーズ時にフォーカルプレーンシャッター１１０を制御し、撮像センサ１１１の露光時間を調節する。
また、ＳＷ１保持状態及び連写中において、システム制御部２０６は、ＡＥセンサ２０３から取得した測光画像データを用いて被写体追尾処理を行う。被写体追尾処理の詳細は後述する。システム制御部２０６は、追尾対象の位置データをＡＦ制御部２０４に出力する。なお、システム制御部２０６が被写体追尾処理を行うとしたが、例えばＡＥ制御部２０２に被写体追尾処理を担わせる形態としてもよい。
【００１５】
システム制御部２０６は、操作部２０１から出力される信号に基づいてメインミラー１０３、サブミラー１０４及びフォーカルプレーンシャッター１１０を制御する。操作部２０１から出力される信号がＳＷ２信号であれば、メインミラー１０３、サブミラー１０４を撮像センサ１１１へ至る撮像光学系の外へ退避し（第１のミラー位置）、フォーカルプレーンシャッター１１０を制御することで撮像センサ１１１に光を照射させる。フォーカルプレーンシャッター１１０の制御が終了すれば、撮像光学系を光路分割するようにメインミラー１０３、サブミラー１０４の位置を戻す（第２のミラー位置）。図１は、メインミラー１０３、サブミラー１０４が第２のミラー位置である様態を図示している。
【００１６】
撮像センサ１１１は、数百万〜数千万程度の画素を備え、交換レンズ１０２を通して入射する光を電気信号に変換して画像データを生成し、システム制御部２０６に出力する。
システム制御部２０６は、撮像センサ１１１から出力された画像データをディスプレイ１１２で表示させるとともに、画像記憶装置２０７に書き込む。
【００１７】
図４は、第１の実施形態に係る撮像装置の撮影時の動作を示すフローチャートである。特に説明しない限り、図４に示す動作はシステム制御部２０６の制御により行われる。
ステップＳ４０１で、ＡＥユニット１０８で撮像動作が行われ、測光画像データを取得する。図６（ａ）は、本ステップで得られた測光画像データの例であり、被写体６００が写っている。
ステップＳ４０２で、システム制御部２０６は、不図示のレリーズボタンが押下されてＳＷ１信号が出力されたか否かを検知する。ＳＷ１信号が出力されていなければ、ステップＳ４０１に戻り、ＳＷ１信号が出力されていれば、ステップＳ４０３に進む。
【００１８】
ステップＳ４０３で、システム制御部２０６は、ステップＳ４０１で得られた測光画像データのうち、中央に位置する被写体を今後追尾する被写体と認識して、その被写体の特徴色を抽出して記憶し、以後の被写体追尾処理に用いる。図６（ａ）の場合、中心に位置する範囲６０１の色を、被写体の特徴色として抽出する。
ステップＳ４０４で、システム制御部２０６は、粒子フィルタ処理の粒子の初期配置を制御する。図６（ａ）の符号６０２で示すように、全ての粒子を中央部に初期配置する。粒子フィルタ処理の粒子は、システム制御部２０６の処理速度を鑑みて、可能な範囲で多く配置することが好ましい。本実施形態では粒子を数百個程度配置するものとして説明するが、図の表現においては、そのうち代表的な１０個を図示することにする。図６（ａ）では、粒子が１か所に全て重なって配置されている。
【００１９】
ステップＳ４０５で、ステップＳ４０１と同様にＡＥユニット１０８で撮像動作が行われ、測光画像データを取得する。図６（ｂ）は、本ステップで得られた測光画像データの例であり、被写体６００が右に移動している。
ステップＳ４０６で、システム制御部２０６は、ステップＳ４０５で得られた測光画像データから被写体追尾処理を行う。ステップＳ４０３で記憶した被写体の特徴色に基づいて、粒子フィルタ処理による特徴色を基準とした被写体位置の推定、追尾を行う。この処理の詳細は、図５を用いて後述する。
【００２０】
ステップＳ４０７で、システム制御部２０６は、不図示のレリーズボタンが押下されてＳＷ２信号が出力されたか否かを検知する。ＳＷ２信号が出力されていなければ、ステップＳ４０５に戻り、ＳＷ２信号が出力されていれば、ステップＳ４０８に進む。
ステップＳ４０８で、システム制御部２０６は、メインミラー１０３を撮影光路外に移動させ、撮像センサ１１１で静止画撮影を行い、本動作を終了する。
【００２１】
図５は、第１の実施形態における被写体追尾処理（図４のステップＳ４０６）の詳細を説明するためのフローチャートである。図５に示す被写体追尾処理は、ＳＷ１保持状態及び連写中において繰り返し実行される。
ステップＳ５０１で、システム制御部２０６は、正規分布に従う乱数によって粒子を無作為に移動させる。図６（ｃ）は、中央部６０２に位置していた各粒子を無作為に移動させた例である。粒子を移動させる正規分布の分散については、後述するステップＳ５０８乃至ステップＳ５０９で説明する。
ステップＳ５０２で、システム制御部２０６は、無作為に移動させた各粒子の位置で尤度計算を行う。各粒子の位置における測光画像データの色を、図４のステップＳ４０３で抽出した被写体の特徴色と比較し、その類似性に基づいて尤度を算出する。粒子が位置する色が被写体の特徴色と類似していれば、尤度が高いと判定される。
【００２２】
ステップＳ５０３で、システム制御部２０６は、尤度の高い各粒子の位置に基づいて、被写体の画像領域を推定する。例えば図６（ｄ）において、画像領域６０３で尤度が高くなり、被写体の画像領域と推定される。
ステップＳ５０４で、システム制御部２０６は、尤度の低い粒子を尤度の高い粒子の位置に適応的に配置する。この動作は、粒子フィルタ処理における、いわゆるリサンプリングと称されるものである。図６（ｅ）では、被写体の画像領域６０３に含まれていない、つまり尤度の低い粒子が、画像領域６０３に内包される尤度の高い粒子に重なるように適応的に配置されている。
ステップＳ５０５で、システム制御部２０６は、ステップＳ５０３で推定した被写体に対して、自動露出制御（ＡＥ）、自動焦点位置制御（ＡＦ）、自動ホワイトバランス制御（ＡＷＢ）といった被写体を静止画撮影するための前準備を行う。
【００２３】
ステップＳ５０６で、システム制御部２０６は、ステップＳ５０３で推定した被写体の位置（移動後の位置）と、前段階における被写体の位置（移動前の位置）との差分から、被写体の移動ベクトルを算出する。
ステップＳ５０７で、システム制御部２０６は、ステップＳ５０６で算出した移動ベクトルの移動量が所定の閾値を超えているか否かを判定する。移動量が所定の閾値を超えていれば、ステップＳ５０８に進み、移動量が所定の閾値を超えていなければ、ステップＳ５０９に進む。
ステップＳ５０８で、システム制御部２０６は、次にステップＳ５０１で行われる無作為の移動に係る正規分布の分散が大きくなるよう変更して、被写体追尾処理の動作フローを終了する。このように変更することで、大きく移動する被写体に対して、粒子を少しでも掛かりやすく配置できる。粒子が少しでも被写体に掛かるようになるので、結果的に被写体追尾動作で被写体を見失いづらくすることができる。
ステップＳ５０９で、システム制御部２０６は、次にステップＳ５０１で行われる無作為の移動に係る正規分布の分散が小さくなるよう変更して、被写体追尾処理の動作フローを終了する。このように変更することで、全く移動していない、或いはさほど移動していない被写体に対して、粒子をできるだけ数多く掛かるように配置できる。粒子が数多く被写体に掛かるようになるので、結果的に追尾している対象が目標の被写体である信頼性をさらに高めることができる。
以上述べた動作を行うことにより、被写体の移動量が大きかった場合、粒子フィルタ処理の粒子の分布を広げることにより、被写体位置に粒子を配置し続けられるようになり、しいては被写体を適切に追尾し続けられるようにできる。
【００２４】
なお、本実施形態では、ステップＳ５０７で説明したように、移動ベクトルが所定の閾値を超えているか否かで動作を変更するようにした。しかしながら、これに限らず、算出された移動ベクトルの大きさに応じて多段階で動作を変更してもよい。このような動作を行うことにより、被写体の位置の変化に対して、粒子の分布をより適切に変更できる。
【００２５】
［第２の実施形態］
第１の実施形態では、追尾する被写体の移動量に応じて、粒子フィルタ処理の粒子の分布の仕方を変更するようにした。
第２の実施形態では、被写体の移動量の代わりに、単位時間当たりの移動量から求められる被写体の移動速度を用いる。なお、撮像装置の構成及び撮影動作は、第１の実施形態で説明したものと同様であり、第１の実施形態とは被写体追尾処理の動作が異なるため、この点を中心に説明する。
【００２６】
図７は、第２の実施形態における被写体追尾処理（図４のステップＳ４０６）の詳細を説明するためのフローチャートである。図５に示す被写体追尾処理は、ＳＷ１保持状態及び連写中において繰り返し実行される。
ステップＳ７０１で、システム制御部２０６は、被写体の移動速度を算出するための時間的な基準となる単位時間の計時中であるか否かを判定する。単位時間とは、例えば０．５秒や１秒といった直接的に表現された時間や、静止画撮影を連写する際の直近３枚といった所定の連写枚数から間接的に表現された時間とすればよく、また別の指標で表現された時間であっても差し支えない。計時が既に行われていれば、ステップＳ７０３に進む。計時が行われていなければ、ステップＳ７０２で単位時間の計時を開始した後、ステップＳ７０３に進む。
ステップＳ７０３で、システム制御部２０６は、正規分布に従う乱数によって粒子を無作為に移動させる（図６（ｃ）を参照のこと）。
ステップＳ７０４で、システム制御部２０６は、無作為に移動させた各粒子の位置で尤度計算を行う。各粒子の位置における測光画像データの色を、図４のステップＳ４０３で抽出した被写体の特徴色と比較し、その類似性に基づいて尤度を算出する。粒子が位置する色が被写体の特徴色と類似していれば、尤度が高いと判定される。
【００２７】
ステップＳ７０５で、システム制御部２０６は、尤度の高い各粒子の位置に基づいて、被写体の画像領域を推定する（図６（ｄ）を参照のこと）。
ステップＳ７０６で、システム制御部２０６は、尤度の低い粒子を尤度の高い粒子の位置に適応的に配置する（リサンプリング、図６（ｅ）を参照のこと）。
ステップＳ７０７で、システム制御部２０６は、ステップＳ７０５で推定した被写体に対して、自動露出制御（ＡＥ）、自動焦点位置制御（ＡＦ）、自動ホワイトバランス制御（ＡＷＢ）といった被写体を静止画撮影するための前準備を行う。
【００２８】
ステップＳ７０８で、システム制御部２０６は、ステップＳ７０５で推定した被写体の位置（移動後の位置）と、前段階における被写体の位置（移動前の位置）との差分から、被写体の移動ベクトルを算出する。
ステップＳ７０９で、システム制御部２０６は、ステップＳ７０８で算出した移動ベクトルを積算する。積算した結果は、後述する動作ステップで移動速度に変換される。
【００２９】
ステップＳ７１０で、システム制御部２０６は、被写体の移動速度を算出するための時間的な基準となる単位時間が経過したか否かを判定する。単位時間が経過していれば、ステップＳ７１１に進む。単位時間が経過していなければ、被写体追尾処理の動作フローを終了する。この場合、図４のステップＳ４０６乃至ステップＳ４０７に示すように、ＳＷ１信号が出力され続けていれば、繰り返し被写体追尾処理が呼び出される。このような動作により、単位時間が経過するまで被写体の移動量を積算し続けることができる。
ステップＳ７１１で、システム制御部２０６は、ステップＳ７０９で算出した移動ベクトル積算値に基づいて、単位時間当たりの移動ベクトル積算値から、被写体の移動速度を算出する。
【００３０】
ステップＳ７１２で、システム制御部２０６は、ステップＳ７１１で算出した移動速度が所定の閾値を超えているか否かを判定する。移動速度が所定の閾値を超えていれば、ステップＳ７１３に進み、移動速度が所定の閾値を超えていなければ、ステップＳ７１４に進む。
ステップＳ７１３で、システム制御部２０６は、次にステップＳ７０３で行われる無作為の移動に係る正規分布の分散が大きくなるよう変更する。このように変更することで、高速に移動する被写体に対して、粒子を少しでも掛かりやすく配置できる。粒子が少しでも被写体に掛かるようになるので、結果的に被写体追尾動作で被写体を見失いづらくすることができる。
ステップＳ７１４で、システム制御部２０６は、ステップＳ７０３で行われる無作為の移動に係る正規分布の分散が小さくなるよう変更する。このように変更することで、全く移動していない、或いは低速で移動する被写体に対して、粒子をできるだけ数多く掛かるように配置できる。粒子が数多く被写体に掛かるようになるので、結果的に追尾の信頼性をさらに高めることができる。
ステップＳ７１５で、正規分布の分散の変更を受けて、次の単位時間を計測するため、次の計時に備えて単位時間の計時を初期化し、被写体追尾処理の動作フローを終了する。
以上述べた動作を行うことにより、被写体の移動速度が大きかった場合、粒子フィルタ処理の粒子の分布を広げることにより、被写体位置に粒子を配置し続けられるようになり、しいては被写体を適切に追尾し続けられるようにできる。
【００３１】
なお、本実施形態では、被写体の移動速度を算出ための時間的な基準となる単位時間を計時して移動速度を算出後、単位時間の計時を初期化するようにした。しかしながら、これに限らず、ステップＳ７０９で積算される個々の移動ベクトルを記憶し、ステップＳ７０９の動作を行う度に、記憶されている個々の移動ベクトルを単位時間まで遡って積算するような動作を行うようにしてもよい。このような動作を行うことにより、ステップＳ７０３で行われる無作為の移動に係る正規分布の分散の変更タイミングを細かく設けることができるようになり、しいては被写体の移動速度の変化に対して被写体位置に粒子を適切に配置できる。
また、本実施形態では、ステップＳ７１２で説明したように、移動速度が所定の閾値を超えているか否かで動作を変更するようにした。しかしながら、これに限らず、算出された移動速度に応じて多段階で動作を変更してもよい。このような動作を行うことにより、被写体の位置の変化に対して、粒子の分布をより適切に変更できる。
【００３２】
［第３の実施形態］
第１、２の実施形態では、追尾する被写体の移動量や移動速度に応じて、粒子フィルタ処理の粒子の分布の仕方を変更するようにした。
第３の実施形態では、追尾する被写体の大きさに応じて粒子の分布の仕方を変更するようにして、被写体に対して一定割合の粒子を常に配置するよう努めることで、より安定して被写体を追尾できるようにする。なお、撮像装置の構成及び撮影動作は、第１の実施形態で説明したものと同様であり、第１の実施形態とは被写体追尾処理の動作が異なるため、この点を中心に説明する。
【００３３】
図８は、第３の実施形態における被写体追尾処理（図４のステップＳ４０６）の詳細を説明するためのフローチャートである。
ステップＳ８０１で、システム制御部２０６は、正規分布に従う乱数によって粒子を無作為に移動させる（図６（ｃ）を参照のこと）。
ステップＳ８０２で、システム制御部２０６は、無作為に移動させた各粒子の位置で尤度計算を行う。各粒子の位置における測光画像データの色を、図４のステップＳ４０３で抽出した被写体の特徴色と比較し、その類似性に基づいて尤度を算出する。粒子が位置する色が被写体の特徴色と類似していれば、尤度が高いと判定される。
ステップＳ８０３で、システム制御部２０６は、尤度の高い各粒子の位置に基づいて、被写体の画像領域を推定する（図６（ｄ）を参照のこと）。
ステップＳ８０４で、システム制御部２０６は、尤度の低い粒子を尤度の高い粒子の位置に適応的に配置する（リサンプリング、図６（ｅ）を参照のこと）。
ステップＳ８０５で、システム制御部２０６は、ステップＳ８０３で推定した被写体に対して、自動露出制御（ＡＥ）、自動焦点位置制御（ＡＦ）、自動ホワイトバランス制御（ＡＷＢ）といった被写体を静止画撮影するための前準備を行う。
【００３４】
ステップＳ８０６で、システム制御部２０６は、ステップＳ８０３で推定した被写体の画像領域に基づいて測光画像データ上の面積を算出する。被写体の画像領域は、ステップＳ８０２乃至ステップＳ８０３の動作から、各粒子の位置における測光画像データの色と、図４のステップＳ４０３で抽出した被写体の特徴色との類似性に基づいて推定されている。したがって、所定値以上の尤度の粒子が分布する領域の面積を算出することにより、被写体の特徴色と類似度の高い色域を被写体の画像領域として認識し、被写体の面積が算出される。
ステップＳ８０７では、システム制御部２０６は、ステップＳ８０６で算出した面積が所定の閾値を超えているか否かを判定する。面積が所定の閾値を超えていれば、ステップＳ８０８に進み、面積が所定の閾値を超えていなければ、ステップＳ８０９に進む。
ステップＳ８０８で、システム制御部２０６は、次にステップＳ８０１で行われる無作為の移動に係る正規分布の分散が大きくなるよう変更して、被写体追尾処理の動作フローを終了する。測光画像データに対する被写体の面積が比較的大きい条件での動作であることから、粒子フィルタ処理の粒子の配置を広げて、被写体の様々な部位を追尾対象にしやすくして、より安定した追尾を行えるようにする。
ステップＳ８０９で、システム制御部２０６は、次にステップＳ８０１で行われる無作為の移動に係る正規分布の分散が小さくなるよう変更して、被写体追尾処理の動作フローを終了する。測光画像データに対する被写体の面積が比較的小さい条件での動作であることから、粒子フィルタ処理の粒子の配置を狭めて、結果的に追尾している対象が目標の被写体である信頼性をさらに高めるようにする。
以上述べた動作を行うことにより、尤度の高い粒子の個数に応じて粒子の分布を変更できるので、被写体に対して一定割合の粒子を常に配置しやすくなり、より安定して被写体を追尾できるようになる。
【００３５】
（変形例）
本実施形態では、目標とする被写体像の特徴色を基準とした追尾動作を行い、ステップＳ８０６で、色の類似性に基づいて測光画像データ上の被写体の面積を算出するようにした。しかしながら、これに限らず、輝度や彩度の類似性に基づいて、又はそれらを加味した総合的な類似性に基づいて、面積を算出しても差し支えない。多様な類似性の結果に基づいて面積を算出することで、被写体の面積をより高精度に算出できる。
また、本実施形態では、ステップＳ８０７で説明したように、被写体の面積が所定の閾値を超えているか否かで動作を変更していた。しかしながら、これに限らず、算出された面積に応じて多段階で動作を変更してもよい。このような動作を行うことにより、被写体の位置の変化に対して、粒子の分布をより適切に変更できる。
【００３６】
［第４の実施形態］
第４の実施形態では、撮像装置の状態（各種設定）に応じて、粒子フィルタ処理の粒子の分布の仕方を変更する。
図９は、第４の実施形態に係る撮像装置の例であるデジタル一眼レフカメラの断面図である。図１との差異は、交換レンズ１０２に焦点距離を変更するズームレンズ９０１が追加されている点である。なお、図１と同一の構成要素には同一の符号を付し、その説明は省略する。また、撮影動作は、第１の実施形態で説明したものと同様であり、第１の実施形態とは被写体追尾処理の動作が異なるため、この点を中心に説明する。
【００３７】
図１０は、第４の実施形態における被写体追尾処理（図４のステップＳ４０６）の詳細を説明するためのフローチャートである。
ステップＳ１００１で、システム制御部２０６は、正規分布に従う乱数によって粒子を無作為に移動させる（図６（ｃ）を参照のこと）。
ステップＳ１００２で、システム制御部２０６は、無作為に移動させた各粒子の位置で尤度計算を行う。各粒子の位置における測光画像データの色を、図４のステップＳ４０３で抽出した被写体の特徴色と比較し、その類似性に基づいて尤度を算出する。粒子が位置する色が被写体の特徴色と類似していれば、尤度が高いと判定される。
ステップＳ１００３で、システム制御部２０６は、尤度の高い各粒子の位置に基づいて、被写体の画像領域を推定する（図６（ｄ）を参照のこと）。
ステップＳ１００４で、システム制御部２０６は、尤度の低い粒子を尤度の高い粒子の位置に適応的に配置する（リサンプリング、図６（ｅ）を参照のこと）。
ステップＳ１００５で、システム制御部２０６は、ステップＳ１００３で推定した被写体に対して、自動露出制御（ＡＥ）、自動焦点位置制御（ＡＦ）、自動ホワイトバランス制御（ＡＷＢ）といった被写体を静止画撮影するための前準備を行う。
【００３８】
ステップＳ１００６で、システム制御部２０６は、ズームレンズ９０１の焦点距離を記憶する。
ステップＳ１００７で、システム制御部２０６は、前回の被写体追尾処理においてステップＳ１００６で記憶された焦点距離と、今回の被写体追尾処理において直近のステップＳ１００６で記憶された焦点距離とを比較する。双方の焦点距離が異なっていれば、ステップＳ１００８に進む。双方の焦点距離が同一、すなわちズームレンズ９０１の焦点距離が変化していなければ、粒子の分布を変更しないため、被写体追尾処理の動作フローを終了する。
ステップＳ１００８で、システム制御部２０６は、前回の焦点距離と今回の焦点距離との大小関係を比較する。今回の焦点距離の方が長い場合、被写体像が前回より大きく写っていて、現状の粒子の分散のままでは被写体像のごく一部の領域しか配置できない可能性があり、粒子の分散を大きくする必要があると判断して、ステップＳ１００９に進む。前回の焦点距離の方が長い場合、被写体像が前回より小さく写っていて、現状の粒子の分散のままでは被写体像以外の領域に多く配置してしまう可能性があり、粒子の分散を小さくする必要があると判断して、ステップＳ１０１０に進む。
ステップＳ１００９で、システム制御部２０６は、次にステップＳ１００１で行われる無作為の移動に係る正規分布の分散が大きくなるよう変更して、被写体追尾処理の動作フローを終了する。このように変更することで、被写体像が前回より大きく写った場合でも、被写体の様々な部位に掛かるようになるので、結果的に被写体追尾動作で被写体を見失いづらくすることができる。
ステップＳ１０１０で、システム制御部２０６は、次にステップＳ１００１で行われる無作為の移動に係る正規分布の分散が小さくなるよう変更して、被写体追尾処理の動作フローを終了する。このように変更することで、被写体像が前回より小さく写った場合でも、被写体像に数多くの粒子が掛かりやすくすることができる。
以上述べた動作を行うことにより、ズームレンズの焦点距離の変化に応じて、被写体位置にできるだけ一様に粒子を配置し続けられるようになり、しいては被写体を適切に追尾し続けられるようにできる。
【００３９】
（変形例）
本実施形態では、ズームレンズ９０１の焦点距離の変化に応じて粒子フィルタ処理の粒子の分布を変更するようにした。しかしながら、これに限らず、ＡＦユニット１０５における被写体位置と重なるＡＦ測距枠の焦点検出結果を監視し、焦点検出結果の変化に応じて、粒子の分布を変更するようにしてもよい。焦点検出結果が近づく変化があるなら、被写体像が前回の被写体追尾時より大きく写っていて、現状の粒子の分散のままでは被写体像のごく一部の領域しか配置できない可能性があるため、粒子の分散を大きく制御すればよい。焦点検出結果が遠ざかる変化があるなら、被写体像が前回の被写体追尾時より小さく写っていて、現状の粒子の分散のままでは被写体像以外の領域に多く配置してしまう可能性があるため、粒子の分散を小さく制御すればよい。このような制御を行うことにより、焦点検出結果の変化を利用して、より敏速に被写体位置にできるだけ一様に粒子を配置し続けられる。
また、本実施形態とは別に、焦点距離と焦点位置の組み合わせで被写体距離を推測できるよう交換レンズ１０２の光学設計に基づく距離情報をフォーカスレンズ１１３が有し、焦点距離と焦点検出結果から推測した被写体距離に応じて、粒子の分布を変更するようにしてもよい。被写体距離が近ければ、被写体像が大きく写っていることから、近さに応じて粒子の分散を比較的大きくなるよう制御すればよい。また、被写体距離が遠ければ、被写体像が小さく写っていることから、遠さに応じて粒子の分散を比較的小さくなるよう制御すればよい。このような構成と制御を行うことにより、上記変形例と同様に焦点検出結果の変化を利用して、より敏速に被写体位置にできるだけ一様に粒子を配置し続けられる。
また、本実施形態では、ステップＳ１００７で説明したように、前回の焦点距離と今回の焦点距離の大小に応じて動作を変更するようにした。しかしながら、これに限らず、前回の焦点距離と今回の焦点距離の大小だけでなく、それらの差の大きさに応じて多段階で動作を変更してもよい。このような動作を行うことにより、被写体像の変化に対して、粒子の分布をより適切に変更できる。
【００４０】
［第５の実施形態］
第５の実施形態では、パン／チルトといったカメラ姿勢操作や手振れの程度に応じて粒子の分布の仕方を変更する。
図１１は、第５の実施形態に係る撮像装置の構成を示す図である。図２との差異は、撮像装置のロール／ヨー／ピッチの各方向で発生する角速度を検出する角速度センサ１１０１が追加されている点である。なお、図１、図２と同一の構成要素には同一の符号を付し、その説明は省略する。また、撮影動作は、第１の実施形態で説明したものと同様であり、第１の実施形態とは被写体追尾処理の動作が異なるため、この点を中心に説明する。
【００４１】
図１２は、第５の実施形態における被写体追尾処理（図４のステップＳ４０６）の詳細を説明するためのフローチャートである。
ステップＳ１２０１で、システム制御部２０６は、正規分布に従う乱数によって粒子を無作為に移動させる（図６（ｃ）を参照のこと）。
ステップＳ１２０２で、システム制御部２０６は、無作為に移動させた各粒子の位置で尤度計算を行う。各粒子の位置における測光画像データの色を、図４のステップＳ４０３で抽出した被写体の特徴色と比較し、その類似性に基づいて尤度を算出する。粒子が位置する色が被写体の特徴色と類似していれば、尤度が高いと判定される。
ステップＳ１２０３で、システム制御部２０６は、尤度の高い各粒子の位置に基づいて、被写体の画像領域を推定する（図６（ｄ）を参照のこと）。
ステップＳ１２０４で、システム制御部２０６は、尤度の低い粒子を尤度の高い粒子の位置に適応的に配置する（リサンプリング、図６（ｅ）を参照のこと）。
ステップＳ１２０５で、システム制御部２０６は、ステップＳ１２０３で推定した被写体に対して、自動露出制御（ＡＥ）、自動焦点位置制御（ＡＦ）、自動ホワイトバランス制御（ＡＷＢ）といった被写体を静止画撮影するための前準備を行う。
【００４２】
ステップＳ１２０６で、システム制御部２０６は、角速度センサ１１０１で撮像装置のロール／ヨー／ピッチの各方向の角速度を検出する。
ステップＳ１２０７で、システム制御部２０６は、いずれかの方向での角速度が所定の閾値を超えているか否かを判定する。いずれかの方向での角速度が所定の閾値を超えていれば、カメラ姿勢操作や手振れによって被写体像の位置が測光画像データ上を移動してしまい、従来の粒子フィルタ処理の粒子の分布では被写体の位置に粒子を配置できない可能性が生じる。よって、この場合はステップＳ１２０８に進む。いずれかの方向での角速度が所定の閾値を超えていなければ、ステップＳ１２０９に進む。
ステップＳ１２０８で、システム制御部２０６は、次にステップＳ１２０１で行われる無作為の移動に係る正規分布の分散が大きくなるように変更して、被写体追尾処理の動作フローを終了する。このように変更することで、カメラ姿勢操作や手振れが発生しても、より安定して被写体を追尾できるようになる。
ステップＳ１２０９で、システム制御部２０６は、次にステップＳ１２０１で行われる無作為の移動に係る正規分布の分散が小さくなるように変更して、被写体追尾処理の動作フローを終了する。このように変更することで、全く移動していない、或いはさほど移動していない被写体に対して、粒子をできるだけ数多く掛かるように配置できる。粒子が数多く被写体に掛かるようになるので、結果的に追尾している対象が目標の被写体である信頼性をさらに高めることができる。
以上述べた動作を行うことにより、パン／チルトといったカメラ姿勢操作や手振れの程度に応じて、粒子フィルタ処理の粒子の分布の仕方を変更するので、より安定して被写体を追尾できるようになる。
【００４３】
なお、本実施形態では、角速度センサ１１０１でいずれかの方向で所定の閾値を超える角速度が検出されていなければ、ステップＳ１２０９で説明したように、正規分布の分散が小さくなるように変更していた。しかし、これに限らず、正規分布の分散を変更しない形態でも差し支えない。
また、本実施形態では、角速度センサ１１０１で撮像装置のロール／ヨー／ピッチの各方向の角速度を検出するようにした。しかし、これに限らず、角速度センサ１１０１の代わりに加速度センサをカメラ姿勢の少なくとも１方向に備えて、加速度を検知することで、カメラ姿勢操作や手振れを検出しても差し支えない。
また、本実施形態では、ステップＳ１２０７で説明したように、所定の閾値を超える角速度がいずれかの方向で検出されているか否かで動作を変更するようにした。しかし、これに限らず、検出された角速度の大きさに応じて多段階で動作を変更してもよい。このような動作を行うことにより、被写体像の変化に対して、粒子の分布をより適切に変更できる。
【００４４】
［第６の実施形態］
粒子フィルタ処理を利用した被写体追尾では、個々の粒子の位置における被写体の特徴を抽出し、目標とする被写体との尤度を算出する。しかしながら、被写体の輝度が低い、或いは撮像のＩＳＯ感度が高められている場合、画素ノイズによりＳ／Ｎが悪化し、Ｓ／Ｎが良好な場合と比べて各粒子の位置における尤度が低下しがちになる。
第６の実施形態では、測光画像データのＳ／Ｎが悪化する条件下において、より安定して被写体を追尾できるようにする。なお、撮像装置の構成及び撮影動作は、第１の実施形態で説明したものと同様であり、第１の実施形態とは被写体追尾処理の動作が異なるため、この点を中心に説明する。
【００４５】
図１３は、第６の実施形態における被写体追尾処理（図４のステップＳ４０６）の詳細を説明するためのフローチャートである。
ステップＳ１３０１で、システム制御部２０６は、正規分布に従う乱数によって粒子を無作為に移動させる（図６（ｃ）を参照のこと）。
ステップＳ１３０２で、システム制御部２０６は、無作為に移動させた各粒子の位置で尤度計算を行う。各粒子の位置における測光画像データの色を、図４のステップＳ４０３で抽出した被写体の特徴色と比較し、その類似性に基づいて尤度を算出する。粒子が位置する色が被写体の特徴色と類似していれば、尤度が高いと判定される。
ステップＳ１３０３で、システム制御部２０６は、尤度の高い各粒子の位置に基づいて、被写体の画像領域を推定する（図６（ｄ）を参照のこと）。
ステップＳ１３０４で、システム制御部２０６は、尤度の低い粒子を尤度の高い粒子の位置に適応的に配置する（リサンプリング、図６（ｅ）を参照のこと）。
ステップＳ１３０５で、システム制御部２０６は、ステップＳ１３０３で推定した被写体に対して、自動露出制御（ＡＥ）、自動焦点位置制御（ＡＦ）、自動ホワイトバランス制御（ＡＷＢ）といった被写体を静止画撮影するための前準備を行う。
【００４６】
ステップＳ１３０６で、システム制御部２０６は、図４のステップＳ４０５で測光画像データを撮像した際の露出条件から、露出条件が露光不足の条件であるか、或いはＩＳＯ感度設定が所定の閾値（例えばＩＳＯ１６００）を超えているか否かを判定する。露光不足或いはＩＳＯ感度設定が所定の閾値を超えていれば、画素ノイズ対策の粒子フィルタ処理を行うため、ステップＳ１３０７に進む。露光不足でない或いはＩＳＯ感度設定が所定の閾値以下であれば、ステップＳ１３０８に進む。
ステップＳ１３０７で、システム制御部２０６は、次にステップＳ１３０１で行われる無作為の移動に係る正規分布の分散が大きくなるよう変更して、被写体追尾処理の動作フローを終了する。このように変更することで、粒子をできるだけ数多く被写体に掛かりやすくなるよう配置できる。粒子が数多く被写体に掛かるようになるので、画素ノイズが多い状況下で、結果的に追尾の信頼性を高めることができる。
ステップＳ１３０８で、システム制御部２０６は、次にステップＳ１３０１で行われる無作為の移動に係る正規分布の分散が大きくなるよう変更して、被写体追尾処理の動作フローを終了する。このように変更することで、画素ノイズの影響で被写体位置の検出精度が下がる状況下で、粒子を少しでも被写体に掛かりやすく配置できる。
以上述べた動作を行うことにより、測光画像データのＳ／Ｎが悪化する条件下において、露出条件に応じて粒子フィルタの粒子の分布を変更できるので、より安定して被写体を追尾できるようになる。
【００４７】
なお、本実施形態では、測光画像データを撮像した際の露出条件から、露光不足でない、或いはＩＳＯ感度設定が所定の閾値以下であれば、ステップＳ１３０８で説明したように、正規分布の分散が大きくなるよう変更するようにした。しかし、これに限らず、正規分布の分散を変更しない形態でも差し支えない。
また、本実施形態では、測光画像データを撮像した際の露出条件から、露光不足或いはＩＳＯ感度設定が所定の閾値を超えていれば、ステップＳ１３０７で説明したように、正規分布の分散が小さくなるよう変更するようにした。しかし、これに限らず、被写体追尾に用いる測光画像データに低周波フィルタを掛けて平滑化し、画素ノイズの影響を抑えた上で粒子フィルタ処理を行っても差し支えない。この場合、被写体の細かな様態を抽出できなくなってしまうが、例えばナイキスト周波数の１／３程度までの透過帯域を設定するような場合、特徴色に基づいて粒子フィルタ処理を行う上では、大きな影響を与えない。このような動作を行うことで、本実施形態での効果と同様に、測光画像データのＳ／Ｎが悪化する条件下において、より安定して被写体を追尾できるようになる。
また、本実施形態では、ステップＳ１３０６で説明したように、露出条件が露光不足の条件であるか、或いはＩＳＯ感度設定が所定の閾値を超えているか否かに応じて動作を変更するようにした。しかし、これに限らず、露光不足の程度やＩＳＯ感度設定に応じて多段階で動作を変更しても良い。このような動作を行うことにより、被写体像の変化に対して、粒子の分布をより適切に変更できる。
【００４８】
［第７の実施形態］
第７の実施形態では、カメラの縦横位置に応じて適正に被写体を追尾できるようにする。
図１４は、第７の実施形態に係る撮像装置の構成を示す図である。図２との差異は、カメラの地面に対する角度を検知する角度センサ１４０１が追加されており、図１５（ａ）に示すような横位置と、図１５（ｂ）に示すような縦位置とを検知できるようにした点である。なお、図１、図２と同一の構成要素には同一の符号を付し、その説明は省略する。また、撮影動作は、第１の実施形態で説明したものと同様であり、第１の実施形態とは被写体追尾処理の動作が異なるため、この点を中心に説明する。
【００４９】
図１６は、第７の実施形態における被写体追尾処理（図４のステップＳ４０６）の詳細を説明するためのフローチャートである。
ステップＳ１６０１で、システム制御部２０６は、角度センサ１４０１を用いて角度検知を行う。本実施形態では、９０度単位で角度を検知して、図１５（ａ）に示すような横位置と、図１５（ｂ）に示すような縦位置とを検知するが、９０度単位でなくより細かい角度を取り扱うようにしてもよい。
ステップＳ１６０２で、システム制御部２０６は、正規分布に従う乱数によって粒子を無作為に移動させる（図６（ｃ）を参照のこと）。このとき、ステップＳ１６０１で検知した角度に応じて、正規分布の分散を変更する。正規分布の分散の変更の詳細については、図１７を用いて後述する。
ステップＳ１６０３で、システム制御部２０６は、無作為に移動させた各粒子の位置で尤度計算を行う。各粒子の位置における測光画像データの色を、図４のステップＳ４０３で抽出した被写体の特徴色と比較し、その類似性に基づいて尤度を算出する。粒子が位置する色が被写体の特徴色と類似していれば、尤度が高いと判定される。
ステップＳ１６０４で、システム制御部２０６は、尤度の高い各粒子の位置に基づいて、被写体の画像領域を推定する（図６（ｄ）を参照のこと）。
ステップＳ１６０５で、システム制御部２０６は、ステップＳ１６０４で推定した被写体に対して、自動露出制御（ＡＥ）、自動焦点位置制御（ＡＦ）、自動ホワイトバランス制御（ＡＷＢ）といった被写体を静止画撮影するための前準備を行う。
ステップＳ１６０６で、システム制御部２０６は、尤度の低い粒子を尤度の高い粒子の位置に適応的に配置する（リサンプリング、図６（ｅ）を参照のこと）。
【００５０】
図１７を参照して、ステップＳ１６０２での正規分布の分散の変更を説明する。
図６（ａ）に示すように、追尾を画像の中央部６０２から行うとして、ステップＳ４０４の初期配置としてすべての粒子を中央部６０２に移動した。そこから、ステップＳ１６０２で粒子を移動した状態を図１７（ａ）、（ｂ）に示す。これらの粒子は、正規分布に従う乱数によって前回の粒子の位置（初期配置では中央部６０２）から移動する。
追尾すべき被写体は画面内においては横に移動する場合が多い。高い場所から俯瞰して撮影するような場合を除けば、被写体は地表を２次元的に移動し、それを横から撮影するからである。地上を２次元的に移動する被写体を横から撮影する場合、被写体は主に画面内を横方向に動く。そのため粒子の移動範囲は横長にする。
そこで、図１７（ａ）に示すように、横位置の場合、移動先の画面内でのＸ座標は分散の大きな正規分布１７０１に従う乱数によって、Ｙ座標は分散の小さな正規分布１７０２に従う乱数によって移動し、図１７（ａ）に示すように水平方向に伸びる楕円的な分布とする。
一方、図１７（ｂ）に示すように縦位置の場合、移動先の画面内でのＸ座標は分散の小さな正規分布１７０３に従う乱数によって、Ｙ座標は分散の大きな正規分布１７０４に従う乱数によって移動し、図１７（ｂ）に示すように水平方向に伸びる楕円的な分布とする。
なお、本実施形態では、角度センサ１４０１を用いてカメラ姿勢を検知するようにしたが、撮像センサ１１１で得られる画像を解析することによりカメラ姿勢を検知するようにしてもよい。
【００５１】
［第８の実施形態］
ＡＥセンサ２０３の出力には、センサ自体に欠陥画素があることもあり、またファインダースクリーン上に表示されるＡＦ測距枠等の本来の被写体像には無関係の情報も含まれてしまう。正規分布に従う乱数によって粒子を無作為に移動させたときに、粒子がこれらの座標に配置されると、正しく追尾情報を得られず追尾の精度を落とす原因となっていた。
第８の実施形態では、正規分布に従う乱数によって粒子を無作為に移動させるときに、追尾情報を得るのに適さない画素に配置されるようを避けられるようにする。
図１８は、第８の実施形態に係る撮像装置の構成を示す図である。図２との差異は、ＡＥセンサ２０３の欠陥画素の座標と、ピント板１０６上におけるファインダーのＡＦ測距枠に相当する座標を記憶する座標記憶部１８０１が追加されている点である。なお、図１、図２と同一の構成要素には同一の符号を付し、その説明は省略する。また、撮影動作は、第１の実施形態で説明したものと同様であり、第１の実施形態とは被写体追尾処理の動作が異なるため、この点を中心に説明する。
【００５２】
図１９は、第８の実施形態における粒子の無作為移動処理（例えば図５のステップＳ５０１、図７のステップＳ７０３等）の詳細を説明するためのフローチャートである。
システム制御部２０６は、正規分布に従う乱数によって粒子を無作為に移動させる（図６（ｃ）を参照のこと）。このとき、ステップＳ１９０１で、配置した粒子に関して、不都合のある箇所がないかチェックを行う。これは、座標記憶部１８０１に記憶する欠陥画素やＡＦ枠の座標情報と、配置を行った座標とを比較することで行う。一致箇所があった場合、ステップＳ１９０２で、不都合のあった粒子の再配置を行う。再配置を行う際は、配置された箇所から、不都合のない一番近い箇所に移動させる。例えば粒子がＡＦ測距枠の上側の線と重なった場合には、重ならない箇所で上側に移動する。また、粒子がＡＦ枠の右側の線と重なった場合には、重ならない箇所で右側に移動する。
図２０に、粒子を再配置する様子を示す。図２０（ａ）は粒子が欠陥画素に重なった例であり、これを避けるように粒子を再配置する。避けるべき画素としては、ＣＭＯＳの欠陥画素、撮像面位相差ＡＦ用の画素、ＩＲ（infrared）画素等が考えられる。また、図２０（ｂ）は粒子がＡＦ測距枠に相当する位置に重なった例であり、粒子がＡＦ測距枠の上側の線と重なったので、重ならない箇所で上側に移動している。
以上述べた動作を行うことにより、欠陥画素やＡＦ測距枠の影響を受けることなく追尾演算を行うことができ、追尾演算を高精度で行うことができる。
なお、本実施形態では欠陥画素とＡＦ測距枠の両方を対象としたが、いずれか一方だけであっても差し支えない。
【００５３】
図２１に、粒子の無作為移動処理の変形例を示す。
システム制御部２０６は、正規分布に従う乱数によって粒子を無作為に移動させる（図６（ｃ）を参照のこと）。このとき、ステップＳ２１０１で、配置した粒子に関して、不都合のある箇所がないかチェックを行う。これは、座標記憶部１８０１に記憶する欠陥画素やＡＦ枠の座標情報と、配置を行った座標とを比較することで行う。一致箇所があった場合、ステップＳ２１０２で、一致箇所があった周辺の粒子密度が所定の密度を超えているか否かを判定し、所定の密度を超えている場合、本処理を抜ける。所定の密度以下の場合、ステップＳ２１０３で、図１９で説明したのと同様に、不都合のあった粒子の再配置を行う。所定の密度以下の場合のみ再配置を行うのは、再配置を行う粒子の数を少なくするためであり、粒子密度が所定の密度を超えている場合には、再配置を行わなくても、その周辺に配置された粒子の演算情報より、問題なく追尾演算を行うことができるからである。これにより、再配置を行う際の処理時間を短縮する効果がある。
【００５４】
（変形例）
以上述べた各実施形態では、ＡＥユニット１０８で得られた測光画像データを用いて被写体追尾を行うようにした。しかしながら、これに限らず、さらに高解像度である撮像センサ１１１で得られた画像データを用いて被写体追尾を行ってもよい。このような動作を行うことで、演算量が比較的増加するものの、高解像度の画像を用いて小さな被写体を追尾できるようになる。
また、各実施形態では、ステップＳ４０３で、測光画像データの中央の被写体に対して追尾を行うようにした。しかしながら、これに限らず、追尾対象の被写体を撮影者に操作入力させても差し支えない。また、顔を検出する手段をさらに備えて、検出した顔を優先的に追尾させることで、顔に対する追尾能力を特に高めてもよい。
また、各実施形態では、目標とする被写体の特徴色を基準とした追尾動作を行い、色の類似性に基づいて尤度を算出するようにした。しかしながら、これに限らず、被写体像の輝度、色差、あるいは彩度を基準とした追尾動作を行い、輝度、色差、彩度の類似性に基づいて尤度を算出しても差し支えない。
【００５５】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５６】
１０５：ＡＦユニット、１０８：ＡＥユニット、２０２：ＡＥ制御部、２０３：ＡＥセンサ、２０４：ＡＦ制御部、２０５：ＡＦセンサ、２０６：システム制御部、１１０１：角速度センサ、１４０１：角度センサ、１８０１：座標記憶部
【図１】
0006399869.tif 000002
【図２】
0006399869.tif 000003
【図３】
0006399869.tif 000004
【図４】
0006399869.tif 000005
【図５】
0006399869.tif 000006
【図６】
0006399869.tif 000007
【図７】
0006399869.tif 000008
【図８】
0006399869.tif 000009
【図９】
0006399869.tif 000010
【図１０】
0006399869.tif 000011
【図１１】
0006399869.tif 000012
【図１２】
0006399869.tif 000013
【図１３】
0006399869.tif 000014
【図１４】
0006399869.tif 000015
【図１５】
0006399869.tif 000016
【図１６】
0006399869.tif 000017
【図１７】
0006399869.tif 000018
【図１８】
0006399869.tif 000019
【図１９】
0006399869.tif 000020
【図２０】
0006399869.tif 000021
【図２１】
0006399869.tif 000022