(57)【要約】【課題】時系列に撮影された複数の画像について特定の被写体を追尾する被写体追尾機能としてより正確な被写体追尾機能を有する撮像装置を提供すること。【解決手段】時系列に撮影した複数の画像が入力され、前のフレームで特定された被写体領域と相関の高い領域を、新たなフレームにおける被写体領域として特定する被写体検出手段と、前記被写体検出手段とは異なる処理を用いて、複数のフレーム間で同一の被写体領域を識別する被写体識別手段と、を有し、前記特定した被写体領域が、前記被写体識別手段によって同一の被写体領域ではないと識別された場合に、前記被写体検出手段は、予め定めた条件を満たすまでは、前記特定した被写体領域に対する追尾処理を継続することを特徴とする。【選択図】図３
2019008075.tif 000002
【特許請求の範囲】
【請求項１】
時系列に撮影した複数の画像が入力され、前のフレームで特定された被写体領域と相関の高い領域を、新たなフレームにおける被写体領域として特定する被写体検出手段と、
前記被写体検出手段とは異なる処理を用いて、複数のフレーム間で同一の被写体領域を識別する被写体識別手段と、
を有し、
前記特定した被写体領域が、前記被写体識別手段によって同一の被写体領域ではないと識別された場合に、前記被写体検出手段は、予め定めた条件を満たすまでは、前記特定した被写体領域に対する追尾処理を継続することを特徴とする撮像装置。
【請求項２】
前記被写体領域と相関の高い領域とは、前のフレームで特定された被写体領域付近に存在する特定された被写体と同色の領域であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記被写体識別手段とは、検出した顔の位置、または、検出した顔の特徴に基づき被写体を同定することを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記予め定めた条件とは、撮影レンズのデフォーカス量に基づくものであることを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
【請求項５】
前記予め定めた条件とは、前記被写体識別手段によって同一の被写体領域ではないと識別された直前の合焦位置を基準としたときの前記デフォーカス量が、所定の範囲内であることを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
【請求項６】
前記所定の範囲内とは、前記被写体識別手段により特定の被写体の同定が可能であるデフォーカス範囲であることを特徴とする請求項５に記載の撮像装置。
【請求項７】
撮影レンズのフォーカシングレンズの駆動を制御する制御手段を有し、前記制御手段は、前記被写体検出手段が前記追尾処理を継続する間は、前記追尾処理によって得られた被写体領域に応じてフォーカシングレンズを駆動することを特徴とする請求項１乃至請求項６の何れか一項に記載の撮像装置。
【請求項８】
被写体が画面から消える直前の動きから光軸方向の移動量を予測し、予測結果を考慮し前記デフォーカス量を算出することを特徴とする請求項４に記載の撮像装置。
【請求項９】
追尾対象の被写体の画面からの消え方を判定する被写体消失判定手段を有し、前記被写体検出手段と前記被写体追尾手段で検出した被写体の位置情報から被写体の画面からの消え方を判断することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記被写体消失判定手段により追尾対象の被写体が消えたと判断した後、画角内に所定の現れ方をした被写体が前記所定の範囲内のデフォーカス量となるようにフォーカシングレンズを駆動することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記所定の現れ方をした被写体とは、撮影者が画角外に存在する被写体を画角内に戻すことを目的に撮像装置の操作を行った時に、追尾対象の被写体が画面から消失した位置の周辺から新しく検出した被写体であることを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記撮影者による操作とは、撮影方向の変更もしくは撮影レンズのズーム操作であることを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
撮影レンズの絞りを制御する絞り制御手段を有し、前記デフォーカス量が前記所定の範囲内に収まるように前記絞りを制御することを特徴とする請求項４に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に被写体追尾機能を備えるものに関する。
【背景技術】
【０００２】
従来、時系列に撮影された動画像において画像に含まれる特定の被写体を指定し、後続するフレームにおいて当該の被写体を検出、追尾する制御が実用化されている。この被写体追尾機能を有することにより、追尾対象の被写体に対して適切にフォーカスや露出を制御することが可能である。例えば、時系列に撮影された動画像において、人物の顔を検出することで検出した顔を追尾し続けるデジタルカメラがある。また、あらかじめ人物の顔情報を登録することで、被写体における登録した人物を特定し追尾し続けるデジタルカメラも知られている。
【０００３】
特許文献１では、特定の被写体を追尾するために、前のフレームの特定の被写体が存在していた領域とその被写体の色情報を取得する。最新のフレームにおいて、前のフレームで取得した領域に存在する特定の被写体と同じ色の被写体領域を対象に追尾を行っている。被写体が人物である場合、顔を検出し位置情報と顔の肌色に基づき被写体領域を特定している。
【０００４】
特許文献２では、あらかじめ追尾したい人物や物のパターンを登録しておき、被写体からそのパターンを検出し追尾を行っている。現在の追尾対象が画面範囲外に消えた時、画像範囲内に追尾対象以外の登録パターンが存在している場合に、その中から最も優先度の高い登録パターンの被写体を追尾対象とするシステムを開示している。撮影者が設定を切り替えることで、優先度の高い登録パターンの被写体を追尾するか否かといった追尾モードを設定することも可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１０１３０５号公報
【特許文献２】特開２００９−２２９５８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の被写体追尾制御方法では、特定の被写体を追尾している時にその被写体の手前を重なるように他の被写体が移動した場合、他の被写体を追尾し始め、特定の被写体が画面に復帰後も他の被写体を追尾し続けることがある。
【０００７】
また、特許文献２に開示された従来技術では、被写体から顔やあらかじめ登録されているパターンを検出する際、被写体のデフォーカス量を考慮した対応がなされていないため、画像に存在するにもかかわらず正しく検出できないことがある。このことから、目的の被写体を特定することができず、追尾し続けることができないという課題がある。
【０００８】
本発明の目的は、時系列に撮影された複数の画像について特定の被写体を追尾する被写体追尾機能としてより正確な被写体追尾機能を有する撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る撮像装置は、
時系列に撮影した複数の画像が入力され、前のフレームで特定された被写体領域と相関の高い領域を、新たなフレームにおける被写体領域として特定する被写体検出手段と、前記被写体検出手段とは異なる処理を用いて、複数のフレーム間で同一の被写体領域を識別する被写体識別手段と、を有し、前記特定した被写体領域が、前記被写体識別手段によって同一の被写体領域ではないと識別された場合に、前記被写体検出手段は、予め定めた条件を満たすまでは、前記特定した被写体領域に対する追尾処理を継続することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、時系列に撮影された複数の画像について特定の被写体を追尾する被写体追尾機能としてより正確な被写体追尾機能を有する撮像装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る撮像装置の一例としてのデジタル一眼レフカメラの側断面図である。
【図２】本発明の実施形態に係る撮像装置の機能構成を示すブロック図である。
【図３】本発明の実施形態に係る撮像装置における、追尾制御処理を説明するためのフローチャートである。
【図４】本発明の実施形態に係る撮像装置における、被写体追尾処理を行うためのシーン例を示す図である。
【図５】本発明の実施形態に係る撮像装置における、動体の被写体を追尾する場合の追尾制御処理を説明するためのフローチャートである。
【図６】本発明の実施形態に係る撮像装置における、動体の被写体を追尾する場合の被写体追尾制御処理を行うシーン例を示す図である。
【図７】本発明の実施形態に係る撮像装置における、横向きで顔を検出できない第１の被写体を追尾する場合の被写体追尾制御処理を説明するためのフローチャートである。
【図８】本発明の実施形態に係る撮像装置における、横向きで顔を検出できない第１の被写体を追尾する場合の被写体追尾制御処理を行うシーン例を示す図である。
【図９】本発明の実施形態に係る撮像装置における、検出した特定の顔を対象としたピント調整を含む被写体追尾制御処理を説明するためのフローチャートである。
【図１０】本発明の実施形態に係る撮像装置における、検出した特定の顔を対象としたピント調整を含む被写体追尾制御処理を行うシーン例を示す図である。
【図１１】本発明の実施形態に係る撮像装置における、絞りの制御による被写界深度の調整を含む被写体追尾制御処理を説明するためのフローチャートである。
【図１２】本発明の実施形態に係る撮像装置における、絞りの制御による被写界深度の調整を含む被写体追尾制御処理を行うシーン例を示す図である。
【図１３】焦点検出画素の断面図を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００１３】
＜第１の実施形態＞
以下、本発明の第１の実施形態による、特定の被写体とそれ以外の被写体の追尾制御について説明する。
【００１４】
まず、図１と図２をもとに、本実施形態の撮像装置の一例としてデジタル一眼レフカメラ（ＤＳＬＲ）の主要な構成について説明する。
【００１５】
図１は、ＤＳＬＲの側断面図である。図２は、本実施形態のＤＳＬＲの機能ごとの構成例を示すブロック図である。なお、図２における図１と同じ構成要素については、同一符号を付してある。
【００１６】
ＤＳＬＲは、本体１０１と撮影レンズ１０２から成り、互いが機械的および電気的に接続されている。撮影レンズ１０２はフォーカシングレンズ１０３と絞り１０４を有しており、本体１０１からレンズマウント接点群１０５を介し制御されている。
【００１７】
メインミラー１０６はハーフミラーであり、背面にはサブミラー１０７が配置されている。図１で示した、ミラーアップされていない状態では、撮影レンズ１０２からの光束の一部をメインミラーで反射して上方のファインダースクリーン１０９へ入射させる。メインミラーで反射されず透過した一部の光束はサブミラー１０７で反射して下方のＡＦ装置１０８へ入射させる。
【００１８】
ＡＦ装置１０８は位相差検出方式の測距センサ２０２を備えている。撮影レンズ１０２からの光を集光し、ＡＦ装置１０８が有する焦点検出ラインセンサ上に結像面を形成することで、撮影レンズ１０２のデフォーカス量と焦点方向を検出し、検出結果をもとにフォーカシングレンズ１０３を駆動して自動焦点調整を行う。ＡＦ装置１０８の詳細な構成や制御に係る説明は後述する。
【００１９】
メインミラーで反射された入射光束は、ファインダースクリーン１０９上に結像され被写体像を形成する。ファインダースクリーン１０９上に結像された被写体像は、ペンタプリズム１１１および接眼レンズ１１０を通り撮影者の目へと導かれ、撮影者に視認される。また、ファインダースクリーン１０９上に結像された被写体像は、ペンタプリズム１１１を経由しＡＥ装置１１２へと導かれる。ＡＥ装置１１２は、被写体の明るさを観測するため、測光センサ２０５で光学ファインダー像を測光画像に変換する。ＡＥ装置１１２は、生成された測光画像を用いて、被写体の明るさの測定と露出演算、被写体検出を行う。
【００２０】
撮像素子１１３はＣＭＯＳイメージセンサやＣＣＤイメージセンサなどがあり、光電変換素子を有する画素が複数配列されている。撮影を行う際は、メインミラー１０６およびサブミラー１０７を撮影光路から退避し、フォーカルプレーンシャッター１１４を開くことで撮像素子１１３が露光され、被写体像が結像される。撮像素子１１３は露光中に撮影レンズ１０２を通して入射する光を各画素で電気信号に変換して画像を形成し、システム制御部２０３へ出力する。システム制御部２０３は撮像素子１１３から出力された画像に対して所定の画像処理などを施し、ディスプレイ１１５への表示などを行う。
【００２１】
操作部２０６は、本体１０１や撮影レンズ１０２に取り付けられたボタン、スイッチ、ダイヤルなどを介して行った操作を検知し、操作内容に応じた信号をシステム制御部２０３に伝達する。
【００２２】
上述の通り、ＡＦ装置１０８は位相差検出方式による自動焦点検出および、焦点検出結果に基づき、フォーカシングレンズ１０３を駆動し被写体への自動焦点調整（合焦）を行う。ＡＦ装置１０８は、ＡＦ制御部２０１および測距センサ２０２で構成されている。なお、測距センサ２０２には、ラインセンサが用いられる。サブミラー１０７を介して入射される光を電気信号に変換し、各測距点に対して像信号をＡＦ制御部２０１に出力する。
【００２３】
ＡＦ制御部２０１は、測距センサ２０２から出力された像信号の位相差に基づいて、各測距点のデフォーカス量を計算し、合焦させる測距点を選択する。前記デフォーカス量は、撮影レンズ１０２のフォーカシングレンズ１０３の位置、絞り１０４（開口の大きさ）、被写体と撮像装置との距離、画面における被写体の大きさなどにより変化する。各測距点のデフォーカス量をデータとして持つデフォーカスマップと、選択した測距点の位置情報をシステム制御部２０３に出力する。
【００２４】
システム制御部２０３は、選択測距点位置およびデフォーカスマップに基づき焦点調節演算を行い、選択された測距点に合焦するようにフォーカシングレンズ１０３の位置を制御する。ＡＦ制御部２０１は、システム制御部２０３から出力された被写体の位置、もしくはその近傍にある測距点のデフォーカス量を計算する。計算したデフォーカス量をもとに、システム制御部２０３に出力する選択測距点位置データを、ＡＦ制御部２０１が各測距点におけるデフォーカス量に基づいて選択した測距点から、被写体またはその近傍にある測距点に変更する。
【００２５】
ＡＥ装置１１２は、ＡＥ制御部２０４および測光センサ２０５で構成される。ＡＥ制御部２０４は、測光センサ２０５から連続し読み出した測光画像に基づき自動露出演算を行いシステム制御部２０３に出力する。システム制御部２０３は、ＡＥ制御部２０４から出力された自動露出演算の結果に基づき撮影レンズ１０２の絞り１０４の値を制御し、撮影レンズ１０２を通し入射する光量を調節する。
【００２６】
また、ＡＥ制御部２０４は、測光センサ２０５で撮像された測光画像を用いて被写体を検出し、被写体の位置情報をシステム制御部２０３に出力する。システム制御部２０３は、ＡＥ制御部２０４から出力された被写体の位置情報をＡＦ制御部２０１に出力する。連続して撮影された測光画像を用いて被写体を順次検出することで、被写体の追尾を実現している。
【００２７】
続いて、本実施形態におけるＤＳＬＲのＡＥ装置を介した被写体検出処理について説明する。ＡＥ装置１１２では、測光センサ２０５から出力された測光画像をＡＥ制御部２０４に入力し被写体検出処理に利用する。ＡＥ制御部２０４は、入力された測光画像から目的とする被写体を検出し被写体領域を特定する。目的とする被写体の一つに、人物の顔が挙げられる。
【００２８】
ＡＥ制御部２０４は、測光画像から検出した目的の被写体を追尾対象として第１の被写体に設定する。それ以外の被写体を第２、第３…の被写体とする。第１の被写体は撮影開始時、または、撮影中に選択した追尾対象となる被写体を指し、測光画像内に存在し検出された場合は優先して追尾処理が施される。第１被写体の設定方法は限定されるものではなく、種々の方法により設定することが可能である。例えば、画像内に存在する検出した顔の中から、撮影者が操作部２０６を介し選択することで設定する。または、撮影開始時、測光画像内に存在する顔を検出し、ディスプレイ１１５に示す。
【００２９】
示された顔の中から、操作部２０６を介し撮影者が自ら選択することで第１の被写体を決定する方法が挙げられる。その他の第１の被写体を決定する手段として、個人識別を利用する方法が挙げられる。あらかじめ個人識別用に人物の顔情報を登録しておくことで、当該の人物が被写体に存在する場合、優先的に第１の被写体に設定する。
【００３０】
この個人識別用の顔情報の登録は、撮影者が撮影を行うよりも前に顔を撮影することで登録するようにしてもよく、撮影開始時、最初に供給された測光画像の第１の被写体の顔を検出し利用することも可能である。また、被写体の撮影条件をもとに第１の被写体を決定してもよい。測光画像に存在する人物の顔を検出し、検出した顔が画像を占める割合や画像の中で顔が位置する座標をもとに第１の被写体を決定する。あるいは、撮影者が手動で測距点を設定している場合は、設定された測距点に近い顔を第１の被写体とする。
【００３１】
ＡＥ制御部２０４は、目的とする被写体の位置情報をシステム制御部２０３に出力するために、被写体検出手段２０７と被写体識別手段２０８により目的の被写体の位置情報を取得している。被写体検出手段２０７では、時系列に連続して取得される測光画像において、前のフレームで特定された第１の被写体の存在する領域と相関の高い領域を、新たなフレームにおける目的の被写体領域として特定する。新たなフレームにおいて、前のフレームで第１の被写体を検出した領域付近に存在する第１の被写体と同色の被写体領域を相関の高い領域とし位置情報を出力する。
【００３２】
被写体識別手段２０８では、測光センサにより供給される連続し読み出した測光画像間の顔を検出し、検出した顔の位置や特徴などの類似性に基づき同被写体を同定することで、第１の被写体の領域を検出する。また、個人識別を行うことでも目的の被写体領域を特定する。検出した顔の器官から特徴情報を抽出し、あらかじめ登録している目的の人物の顔の特徴情報と比較し類似度を示す識別評価値を出力する。その結果に基づき、被識別者が目的の人物であるかを判断し被写体領域を特定する。
【００３３】
被写体識別手段２０８は、被写体の顔の大きさや顔の向き、被写体のデフォーカス量によっては被写体の検出が不能であり位置情報の出力に及ばない場合がある。ただし、顔検出が可能で個人識別が不能な場合もある。被写体領域を特定できた手段の結果を用いることで、システム制御部２０３に位置情報を出力する。
【００３４】
ＡＥ制御部２０４は、検出した顔の位置や個人識別の結果を基に、第１の被写体の消失判定を行う。測光センサより連続して供給される測光画像において第１の被写体の個人識別に連続して失敗した場合、個人の特徴を検出できない状態にあることが分かる。この時、第１の被写体を追尾することで取得できる連続するフレーム間の第１の被写体の位置情報を基に、第１の被写体の消失判定を行う。
【００３５】
第１の被写体が画角端に移動するように位置情報が取得された直後に検出に失敗する場合は、第１の被写体が画角から外れた、というように判断をする。第１の被写体が画角の端以外で検出に失敗するようになった場合、第１の被写体が画角内で他の被写体に重なり顔が検出できなくなった、または、撮像装置に対して横や後ろを向くなどして検出できない状態にあると判断する。
【００３６】
続いて、撮影者が画角から外れた追尾対象の被写体を画角内に復帰させる操作を行ったかを判定する処理について説明する。撮像装置は、例えば、角速度計２０９および角度計２１０を備えて、撮像装置の撮影方向やその変化を検出する。前記撮影方向に変化があった時、第１の被写体が画角から外れた位置から新しく被写体を検出した場合、撮影者が第１の被写体を画角内に収めようと撮影方向を変更したと判定する。
【００３７】
また、撮影者が撮影レンズ１０２のズーム操作を行った直後、第１の被写体が画角から外れた位置から新しく被写体を検出した場合、撮影者が第１の被写体を画角内に収まるように撮像装置を操作したと判定する。
【００３８】
次に、図３と図４を参照して、本実施形態におけるＤＳＬＲのＡＥ装置を介した被写体追尾処理について説明する。
【００３９】
例えば、図４のような、２人の人物を被写体とし、第１の被写体とする人物の手前を第２の被写体の人物が横切るシーンにおける撮影を考える。静止する第１の被写体の近くを第２の被写体が撮像装置に平行に横切るシーン（画像４００、画像４０１、画像４０３、画像４０５）、静止する第１の被写体の近くを第２の被写体が撮像装置に近づくように横切るシーン（画像４００、画像４０１、画像４０４、画像４０６）、静止する第１の被写体から離れた位置で第１の被写体の手前を第２の被写体が横切るシーン（画像４００、画像４０２、画像４０７）の３つのシーンを挙げる。
【００４０】
前述した第１の被写体決定方法のいずれかを用いて、画像４００における顔を枠で囲われた人物を第１の被写体に選択している（Ｓ３００）。
【００４１】
第１の被写体を追尾中（Ｓ３０１）、第１の被写体が画面から消えたかを判定する（Ｓ３０２）。判定のために、前述した個人識別による第１の被写体の識別処理を行い、第１の被写体を検出できるか否か確認する。第１の被写体が検出できた場合（画像４００：Ｓ３０２がＹＥＳ）には、そのまま検出した第１の被写体を追尾し続ける。
【００４２】
画像４０１、画像４０２のように第１の被写体が第２の被写体の背後に隠れ画面から消えた場合は、第１の被写体の顔検出や個人識別に失敗し第１の被写体は検出されない（Ｓ３０２がＮＯ）。その場合は、第１の被写体の領域の特定が可能である前記被写体検出手段２０７の結果を利用する。前のフレームにおいて第１の被写体が検出された領域周辺に存在する、第１の被写体と同色の被写体領域が追尾する候補となる（Ｓ３０３）。
【００４３】
第１の被写体と第２の被写体が交差した場面では、第１の被写体が画面から消え、前のフレームで第１の被写体の顔が検出できた領域付近に第２の被写体の顔が存在するため、第２の被写体の顔が次に追尾を行う被写体領域の候補となる。この第２の被写体が追尾対象になり得るタイミングで、第２の被写体の追尾を行うか判定する（Ｓ３０５）。
【００４４】
第１の被写体に第２の被写体が交差し第１の被写体が画面から消えた瞬間、ステップＳ３０４で第１の被写体の顔が存在していた光軸方向の位置を基準位置とし、第２の被写体に合焦した場合に変化する第１の被写体のデフォーカス量を予測し算出する。ここで、算出した第１の被写体のデフォーカス量が閾値以下であった場合（Ｓ３０５でＹＥＳ）には、第２の被写体に合焦し追尾を開始する（画像４０１：Ｓ３０６）。第１の被写体のデフォーカス量が閾値より大きくなる場合（Ｓ３０５でＮＯ）には、第２の被写体への合焦、追尾は行わない（画像４０２：Ｓ３０７）。
【００４５】
ここでの閾値とは、第１の被写体が画面に復帰した時、個人識別により被写体から第１の被写体を識別し検出可能である最大デフォーカス量が設定される。画像４０２のように、第１の被写体のデフォーカス量が閾値以上の時には第２の被写体に合焦しないことで、第１の被写体が画面に復帰後、顔検出や個人識別による第１の被写体の特定がなされ、再度第１の被写体の追尾に戻ることが可能となる。
【００４６】
ステップＳ３０６で第２の被写体に合焦してからは、ステップＳ３０８にて第２の被写体を追尾し合焦することで変化する第１の被写体のデフォーカス量を算出する。算出した第１の被写体のデフォーカス量が閾値以下だった場合（Ｓ３０９でＹＥＳ）には、画像４０３のようにそのまま第２の被写体の追尾を継続する（Ｓ３１０）。第２の被写体が光軸方向に第１の被写体から離れた場所に移動した場合など、第１の被写体のデフォーカス量が閾値より大きくなる場合（Ｓ３０９でＮＯ）は、ステップＳ３１１で第２の被写体の追尾を中断する（画像４０４）。次に追尾する被写体領域を設定するまでＡＦを制御し、第１の被写体のデフォーカス量が変化しないようにする。
【００４７】
ステップＳ３１１に続くステップＳ３１２では、第１の被写体が検出できるか確認する。第１の被写体が画面内に存在し検出した場合（Ｓ３１２でＹＥＳ）は、ステップＳ３０１に戻り第２の被写体の追尾を中断し第１の被写体の追尾を再度開始する（画像４０５）。第１の被写体が画面内に存在していない場合（Ｓ３１２でＮＯ）には、第２の被写体の追尾を継続して行う。第２の被写体の追尾を継続して行う場合は、後続のフレームで第１の被写体の存在を確認できる（Ｓ３１２でＹＥＳ）まで後続のフレームを対象にステップＳ３０８以降の処理を繰り返し行う。
【００４８】
Ｓ３０７、Ｓ３１１で第２の被写体を追尾せず、第１の被写体も画面内に存在していない場合（Ｓ３１３がＮＯ）には、第１の被写体が画面内に確認される（Ｓ３１３でＹＥＳ）まで、後続のフレームを対象にステップＳ３０３以降の処理を行う。
【００４９】
画像４０２のように第２の被写体への合焦、追尾に移らなかったことで第１の被写体のデフォーカス量が閾値以下となり、画像４０７のように第１の被写体が画面に復帰後、個人識別により第１の被写体の検出がなされ、再度追尾に戻ることが可能である。また、画像４０４のように、第１の被写体のデフォーカス量が閾値以下となるように第２の被写体の追尾を中断したことでも、第１の被写体が画面に復帰後、第１の被写体を識別し再度追尾に戻ることができる（画像４０６：Ｓ３０２）。
【００５０】
本実施形態では、第１の被写体が画面から消え、検出されなくなった位置を基準とした第１の被写体のデフォーカス量の変化を指標とすることで、第２の被写体への合焦、追尾を制限している。その結果、第１の被写体は常に閾値以下のデフォーカス量となり、第１の被写体が画面に復帰後、個人識別により第１の被写体を検出することができる。
【００５１】
以上のことから、第１の被写体を追尾中に第１の被写体が画面から消えた場合、第１の被写体が画面に復帰した後にこれを検出し追尾に戻ることができ、一定のデフォーカス量となるまで第２の被写体を継続して追尾することが可能である。
【００５２】
＜第２の実施形態＞
以下、撮像装置を、動体である第１の被写体を含んだ被写体を対象に適用した本発明の実施形態について説明する。なお、第１の実施形態と同様の構成要素には同じ符号を付して説明を省略する。本実施形態におけるＤＳＬＲの主要な構成やＡＥ装置を介した被写体検出処理は、第１の実施形態と同様である。図５と図６を参照して、第１の被写体が動体である場合の被写体追尾処理について説明する。
【００５３】
ここでは、例えば、図６のように、２人の人物を被写体とし、撮像装置に向かい近づいてくる第１の被写体の手前を第２の被写体が撮像装置に近づきながら横切るシーンでの撮影を考える。この実施形態では、前述した実施形態１の第１の被写体決定方法のいずれかを用いて、画像６００における顔を枠で囲われた人物を第１の被写体としている（Ｓ５００）。
【００５４】
なお、第１の被写体に比べ第２の被写体は光軸方向の変化量が大きく、第１の被写体と第２の被写体間の光軸方向の距離は広がっていくものとする。
【００５５】
第１の被写体を追尾中（Ｓ５０１）、ステップＳ５０２で個人識別により第１の被写体が検出できるか判定する。第１の被写体が検出された場合（画像６００：Ｓ５０２がＹＥＳ）には、検出した第１の被写体の追尾を継続する。画像６０１のように、第１の被写体に第２の被写体が重なり第１の被写体が画面から消えた場合（Ｓ５０２がＮＯ）には、ステップＳ５０４で前のフレームで検出した第１の被写体の領域と色情報を利用することで第２の被写体が追尾の候補となる。この時、第１の被写体が画面から検出されなくなるまでの連続する過去複数フレームから、第１の被写体の光軸方向の単位時間の移動量を算出する（Ｓ５０３）。
【００５６】
続くステップＳ５０５では、第２の被写体に合焦した場合に変化する第１の被写体のデフォーカス量を算出する。このデフォーカス量は、前述の第１の被写体の単位時間の光軸方向の移動量を考慮し算出する。第１の被写体の光軸方向の移動量から現在の位置を予測し、その位置を基準位置として第２の被写体に合焦することで変化する第１の被写体のデフォーカス量を算出する。
【００５７】
算出した第１の被写体のデフォーカス量が閾値以下だった場合（Ｓ５０６でＹＥＳ）、画像６０１のように第２の被写体に合焦する（Ｓ５０７）。デフォーカス量が閾値以上であった場合（Ｓ５０６でＮＯ）は、ステップＳ５０８で第２の被写体に合焦しないように被写体追尾処理を制御する。閾値は第１の実施形態と同様に、第１の被写体が画面に復帰後、個人識別により第１の被写体を識別し検出可能な最大デフォーカス量が設定される。
【００５８】
第２の被写体を追尾している時（画像６０２）、ステップＳ５０９では前述の第１の被写体の単位時間の光軸方向の移動量から第１の被写体の位置を予測し、その位置を基準位置として、第２の被写体を追尾することで変化する第１の被写体のデフォーカス量を算出する。算出した第１の被写体のデフォーカス量が閾値以下の場合（Ｓ５１０がＹＥＳ）は、ステップＳ５１１で第２の被写体の追尾を継続する。
【００５９】
後続の画像６０３のように、第１の被写体が検出できない場合（Ｓ５１３でＮＯ）、画像６０３を対象としステップＳ５０９以降の処理を行う。本実施形態での撮影シーンでは、第１の被写体に比べ第２の被写体は光軸方向の変化が大きいことから、第１の被写体と追尾を行っている第２の被写体は光軸方向で離れる。これにより、第２の被写体を追尾している最中にステップＳ５０９で算出した第１の被写体のデフォーカス量が閾値以上（Ｓ５１０でＮＯ）となることで、画像６０３のようにステップＳ５１２で第２の被写体の追尾を中断する。
【００６０】
後続の画像６０４を対象にステップＳ５１４で第１の被写体が画面内に存在するかを確認し、第１の被写体が画面内に存在し検出された場合（Ｓ５１４でＹＥＳ）は、ステップＳ５０２に戻り第２の被写体の追尾を中断し第１の被写体の追尾を再度開始する。第１の被写体が検出できない場合（Ｓ５１４でＮＯ）、画像６０３を対象にステップＳ５０４以降を行う。
【００６１】
本実施形態では、第１の被写体が画面から消えるまでの光軸方向の移動量から第１の被写体が画面から消えている間の移動を予測し、第１の被写体のデフォーカス量の算出に考慮する。その上で、第１の被写体のデフォーカス量が閾値以下となるように第２の被写体の追尾を制御する。これにより、第１の被写体が画面に復帰後、画像６０５のように個人識別により第１の被写体が検出され、再度第１の被写体の追尾に戻ることが可能となる。
【００６２】
このことから、動体の第１の被写体を追尾するようなシーンにおいても、第１の被写体が画面から消えている間の移動を考慮することで、画面に復帰した後でも個人識別により第１の被写体を検出可能な範囲で第２の被写体を追尾することが可能である。
【００６３】
＜第３の実施形態＞
以下、撮像装置を、顔が検出できない第１の被写体を含んだ被写体を対象に適用した本発明の実施形態について説明する。なお、第１、第２の実施形態と同様の構成要素には同じ符号を付して説明を省略する。本実施形態におけるＤＳＬＲの主要な構成やＡＥ装置を介した被写体検出処理は、第１、第２の実施形態と同様である。
【００６４】
図７と図８を参照して、第１の被写体の顔が検出できない場合の被写体追尾処理について説明する。
【００６５】
ここでは、例えば、図８のように、第１の被写体を追尾中、第１の被写体が静止した第２の被写体の背後を横切るシーンでの撮影を考える。このシーンでは、画像８００に存在する人物を第１の被写体としていて、連続する撮影の中で、撮影者は第１の被写体が画面の中央に配置されるように撮像装置の向きを調整している。第１の被写体は横を向いていることで、顔検出や個人識別により検出できない場合となる。
【００６６】
ステップＳ７００で第１の被写体を決定した後、第１の被写体の色情報を取得し、後続のフレームにおいて同色の被写体を追尾領域としている。このシーンでは、第１の被写体の顔の色を取得している。
【００６７】
画像８００や画像８０１のように第１の被写体が画面内に存在しているが顔を検出できない場合は、前のフレームで第１の被写体が存在していた領域付近に存在する第１の被写体の顔の色を被写体から検出することでその被写体を追尾する。後続する画像８０２では、ステップＳ７０１で前のフレームで検出した第１の被写体の領域と色情報を利用することで、第１の被写体に交差している第２の被写体が追尾の候補となる。
【００６８】
この時、ステップＳ７０２で、追尾していた第１の被写体の顔が存在していた光軸方向の位置を基準位置とし、第１の被写体と同色の第２の被写体の顔に合焦することで変化する第１の被写体のデフォーカス量を算出する。算出したデフォーカス量が閾値以上であった場合（Ｓ７０３でＹＥＳ）には、画像８０２のように第２の被写体に合焦しない（Ｓ７０５）。閾値は、第１、第２の実施形態と同様に第１の被写体が画面に復帰し顔が検出された時、個人識別により被写体から第１の被写体を検出可能な最大デフォーカス量が設定される。
【００６９】
後続の画像８０３で第１の被写体が画面に復帰した時、第１の被写体は横顔であることから顔検出や個人識別により第１の被写体を検出することができない。しかし、第１の被写体と同じ色を被写体から検出することでその色を有する被写体に合焦する。被写体は第１の被写体であると判別されていないが、第１の被写体のデフォーカス量が閾値以下にあるため、第１の被写体には合焦することができる。第１の被写体のデフォーカス量が閾値以下であるため、第１の被写体が画面に復帰後、正面を向くなどした場合に、顔検出や個人識別により第１の被写体を検出可能（Ｓ７０６でＹＥＳ）となる。第１の被写体が検出できない場合（Ｓ７０６でＮＯ）には、ステップＳ７０１に戻る。
【００７０】
第１の被写体の検出には、過去複数フレームの第１の被写体のデフォーカス量や位置情報を利用して被写体から検出することで、被写体を第１の被写体だと識別することも可能である。
【００７１】
本実施形態では、前フレームの第１の被写体の領域と色情報に基づき追尾を行う中で、第１の被写体が閾値内のデフォーカス量となるように追尾を制御する。これにより、画像８０２のように第２の被写体に合焦、追尾することを制限する。画像８０３のように第１の被写体が画面に復帰後は、第１の被写体の顔の色を検出し、追尾に復帰する。
【００７２】
画像８０２で第２の被写体を追尾していた場合、後続の画像８０３以降では、第１の被写体が画面に復帰しているにもかかわらず第２の被写体を追尾し続ける可能性がある。また、第２の被写体に合焦、追尾を行うことで、画像８０３の後続のフレームにおいて第１の被写体が正面を向くなどした場合でも、第１の被写体のデフォーカス量が大きいことで個人識別による第１の被写体の識別ができない。
【００７３】
このことから、第１の被写体の顔が検出できない場合においても、第１の被写体に優先的に合焦、追尾することができる。また、第１の被写体の顔が検出できるようになれば、個人識別による第１の被写体の検出が可能となる。
【００７４】
＜第４の実施形態＞
以下、撮像装置を、第１の被写体とする人物が一時的に画角外に移動した場合に適用した本発明の実施形態について説明する。なお、第１乃至第３の実施形態と同様の構成要素には同じ符号を付して説明を省略する。本実施形態におけるＤＳＬＲの主要な構成やＡＥ装置を介した被写体検出処理は、第１乃至第３の実施形態と同様である。図９と図１０を参照して、図１０のように、２人の人物を被写体とし、第１の被写体が第２の被写体より後方で画角外に移動するシーンでの撮影を考える。
【００７５】
ここでは、例えば、第１の被写体とする人物を追尾している時、当該人物が移動し画角から外れた後、撮影者が撮影方向を変更することで再度第１の被写体が画角内に現れた場合の被写体追尾処理について説明する。この実施形態では、実施形態１で述べた第１の被写体の決定方法のいずれかを用いて画像１０００における顔を枠で囲われた人物を第１の被写体としている（Ｓ９００）。
【００７６】
ステップＳ９００で決定した第１の被写体を追尾している間（画像１０００：Ｓ９０１）、被写体検出手段を用い第１の被写体を検出できる場合（Ｓ９０２がＹＥＳ）は第１の被写体の追尾を継続して行う。画像１００１のように第１の被写体が画角外に移動し、被写体検出手段で第１の被写体が検出できなくなった場合（Ｓ９０２がＮＯ）には、ステップＳ９０３で第１の被写体が画角から外れたのか、画面内で消えたのかを被写体消失判定手段により判定する。画像１００１では、第１の被写体が移動することで画面内の端において検出できなくなることから、第１の被写体は画角から外れたと判断する。
【００７７】
続くフレームでは、前のフレームにおいて第１の被写体を検出した領域周辺に存在する、第１の被写体と同色の被写体領域が追尾する候補となる。画像１００１のような第１の被写体が画角から外れた場面では、第１の被写体の顔と同じ色を持つ第２の被写体の顔が存在するため、第２の被写体の顔が次に追尾を行う被写体領域の候補となる（Ｓ９０４）。
【００７８】
ステップＳ９０５では第２の被写体を追尾した場合に変化する、第１の被写体のデフォーカス量を算出する。算出したデフォーカス量が閾値以下であった場合（Ｓ９０６がＹＥＳ）、検出した第２の被写体を追尾する（画像１００１：Ｓ９０７）。第２の被写体を追尾している間、他に新しく顔を検出しない場合（Ｓ９０８がＮＯ）は、ステップＳ９０４に戻り、次のフレームにおいて追尾する被写体領域を特定する。画像１００１のように第２の被写体のみ画角内に存在する状態が続く場合は、第２の被写体の追尾を継続する。
【００７９】
追尾中の被写体以外に新しく顔を検出した場合（Ｓ９０８がＹＥＳ）には、検出した顔が個人識別可能なデフォーカス量であるか確認する（Ｓ９０９）。検出した顔が個人識別可能なデフォーカス量でない場合（画像１００２：Ｓ９０９がＮＯ）、ステップＳ９１０に進み、撮影者が意図的に新しい被写体を画角内に収めたのかを確認する。
【００８０】
画像１００１から画像１００２のように撮影者が撮影方向を変更したことで新しく顔を検出した場合（Ｓ９１０がＹＥＳ）、検出した顔が個人識別できるデフォーカス量となるようにピントを調整する（画像１００３：Ｓ９１１）。その上で、ピントを調整した顔の個人識別を行い（Ｓ９１２）、第１の被写体を検出した場合（Ｓ９１３がＹＥＳ）は、ステップＳ９０１に戻り第１の被写体の追尾を再開する。
【００８１】
本実施形態では、第１の被写体が画角から外れた後、撮影者が意図的に被写体を画角内に収めた被写体が個人識別に失敗するデフォーカス量にあるため、個人識別ができるデフォーカス量になるようにピントを調整する制御を行っている。そのため、再度画角内に現れた被写体が顔は検出できるが個人識別には失敗するような時でも個人識別による識別が行えるようになる。
【００８２】
このことから、追尾中の第１の被写体が画角から外れ第１の被写体以外に追尾が移った場合においても、第１の被写体が画角内に復帰すれば追尾に戻りやすくなる。
【００８３】
＜第５の実施形態＞
以下、撮像装置を、第１の被写体とする人物が画面内で消え、再度画面内に現れる場合に、撮影レンズの絞りを考慮し被写体追尾処理を適用した本発明の実施形態について説明する。なお、第１乃至第４の実施形態と同様の構成要素には同じ符号を付して説明を省略する。本実施形態におけるＤＳＬＲの主要な構成やＡＥ装置を介した被写体検出処理は、第１乃至第４の実施形態と同様である。図１１と図１２を参照して、図１２のように、２人の人物を被写体とし、第１の被写体の手前を他の人物が横切るシーンでの撮影を考える。
【００８４】
ここでは、例えば、第１の被写体とする人物を追尾している時、その手前を第２の被写体が横切り撮像装置に近づくように移動し、再度第１の被写体が画角内に現れた場合の被写体追尾処理について説明する。この実施形態では、実施形態１で述べた第１の被写体の決定方法のいずれかを用いて画像１２００における顔を枠で囲われた人物を第１の被写体としている（Ｓ１１００）。
【００８５】
ステップＳ１１００で決定した第１の被写体を追尾している間（画像１２００：Ｓ１１０１）、被写体検出手段を用いて第１の被写体が検出できる場合（Ｓ１１０２がＹＥＳ）、検出した第１の被写体の追尾を継続して行う。画像１２０１のように、第２の被写体が移動し第１の被写体の手前に位置する場面で被写体検出手段により第１の被写体を検出できなくなった場合（Ｓ１１０２がＮＯ）、前のフレームにおいて第１の被写体が検出された領域周辺に存在する第１の被写体と同色の被写体領域が追尾対象となる。画像１２０１のような第１の被写体が第２の被写体に隠れ画面から消失している場面では、第１の被写体の顔と同じ色を持つ第２の被写体の顔が次に追尾を行う被写体領域となる（Ｓ１１０３）。
【００８６】
次に、ステップＳ１１０４で特定した第２の被写体を追尾した場合に変化する第１の被写体のデフォーカス量を算出する（Ｓ１１０４）。算出したデフォーカス量が閾値以下であった場合（Ｓ１１０５がＹＥＳ）、ステップＳ１１０３で特定した被写体領域の追尾を行う（画像１２０１：Ｓ１１０７）。その後、現在のフレームで第１の被写体を検出できない場合（Ｓ１１０８がＮＯ）は、ステップＳ１１０３に戻り次のフレームにおいて追尾する被写体領域を特定する。画像１２０１のように第２の被写体のみ画角内に存在する状態が続く場合（Ｓ１１０８がＮＯ）は、第２の被写体の追尾を継続する。
【００８７】
画像１２０１から画像１２０２のように、第１の被写体が消えたままで、追尾中の第２の被写体が撮像装置に近づいてきている場合、第１の被写体のデフォーカス量は大きくなる。ステップＳ１１０４で算出したデフォーカス量が閾値より大きかった場合（Ｓ１１０５がＮＯ）、ステップＳ１１０６で絞り値を変更する。その上で、第２の被写体の追尾を継続する（Ｓ１１０７）。絞り値を変更し被写界深度を広げることで第１の被写体のデフォーカス量が小さくなり、第１の被写体が画面に再度現れた時に顔を検出できるようになる。
【００８８】
続く画像１２０３では、現在追尾中の被写体以外に新しく被写体を検出し、検出した被写体は第１の被写体だと識別する（Ｓ１１０７）。そのため、それまで追尾を行っていた被写体の追尾を中断し、第１の被写体の追尾に移る（画像１２０４：Ｓ１１０１）。
【００８９】
本実施形態では、第１の被写体が画面から消えている間に、他の被写体を追尾することで変化する第１の被写体のデフォーカス量が個人識別可能な範囲となるように絞り値を変更するよう制御を行っている。上述した第１の実施形態における静止する第１の被写体の近くを第２の被写体が撮像装置に近づくように横切るシーン（画像４００、画像４０１、画像４０４、画像４０６）では、第２の被写体を追尾中、第１の被写体のデフォーカス量が閾値を超え、第１の被写体が画面に再度現れた時に検出が行えるように第２の被写体の追尾を中断している。しかし、この場合、追尾を中断している間はどの被写体も追尾を行わない状態が発生してしまう。本実施形態のように第１の被写体のデフォーカス量が閾値を超えないように撮影レンズの絞りを制御することで、第２の被写体を追尾可能な範囲を拡張し追尾を継続して行えるようにしている。
【００９０】
このことから、第１の被写体が検出されない間は第１の被写体以外の被写体を継続して追尾することができ、第１の被写体が画面内に復帰すれば追尾に戻りやすくなる。
【００９１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、上述した実施形態では、測光センサから取得した測光画像を用いて被写体検出や撮像装置の制御を行う場合について説明したが、他の方法で取得した画像を用いて被写体検出を行ってもよい。例えば、撮像素子から取得した画像でも適用可能である。このことから、実施形態の撮像装置では一例としてＤＳＬＲを利用した場合について説明したが、これに限らず、他の撮像装置を利用した場合にも適用可能である。
【００９２】
また、上述した実施形態では、被写体として２人の人物が存在するシーンにおける撮影を例として説明したが、人数や被写体に限定するものではなく、１人以上の人物や動物、物体など、目的とする被写体を検出、特定可能な手段であれば、本発明を適用可能である。
【００９３】
また、上述した実施形態では、第１の被写体を撮影開始時に決定し、後続する画像において追尾行う対象とした場合について説明したが、第１の被写体の決定は撮影開始時に限らず、他のタイミングで決定してもよい。例えば、撮影を行っている中で、撮影開始時に設定した第１の被写体以外の被写体を第１の被写体に切り替えた場合にも適用可能である。
【００９４】
また、第４の実施形態では、第１の被写体の消失判定を行う際、第１の被写体の時系列の位置情報をもとに判定を行っていたが、第１の被写体以外の被写体の位置情報も判定のための指標としてもよい。第１の被写体が画角から外れる際、他の被写体の位置情報の変化も考慮することで第１の被写体の位置情報をより的確に把握することが可能である。
【００９５】
第５の実施形態では、第１の被写体のデフォーカス量を調整するために撮影レンズ１０２の絞り１０４を制御し被写界深度の変更を行っている。この時、レンズの焦点距離や被写体までの距離を考慮し絞り値を決定するようにしてもよい。また、焦点検出のために、焦点検出画素１３００の受光部を分割することで一対の光電変換部１３０２を持ち、マイクロレンズ１３０１を通し受ける光から一対の被写体像を取得する手段がある。この手段では、取得した一対の像のズレ量からデフォーカス量を演算している。
【００９６】
ここで取得される一対の像はそれぞれ絞り値の大きな像が取得できため、撮影レンズ１０２の絞り１０４を制御し絞り値を大きくした時と同様にデフォーカス量が小さくなる。この被写体像を利用することで撮影レンズ１０２の絞り１０４を変更しなくとも個人識別が可能となり得る。
【００９７】
また、第５の実施形態では、第１の被写体が画面から消えていて他の被写体を追尾している間変化する第１の被写体のデフォーカス量を指標に絞り値を変更している。変更後の絞り値は撮影者の意図していない設定になっている可能性もあるため、第１の被写体以外の被写体を追尾し始めた時の絞り値を取得しておき、第１の被写体の追尾に復帰した時に元の絞り値に戻してもよい。
【００９８】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【００９９】
以上、本発明によれば、時系列に撮影された複数のフレームについて特定の被写体を追尾する被写体追尾機能を有する撮像装置において、特定の被写体を識別し検出することで継続して追尾を行うことが可能であり、特定の被写体の検出不能な場面ではそれ以外の被写体の追尾を継続して行うことができ、特定の被写体が再度検出されてからは追尾に復帰しやすい被写体追尾機能を提供することが可能である。
【符号の説明】
【０１００】
１０１  ＤＳＬＲ本体、１０２  撮影レンズ、１０３  フォーカシングレンズ、
１０４  絞り、１０５  レンズマウント接点群、１０６  メインミラー、
１０７  ハーフミラー、１０８  ＡＦ装置、１０９  ファインダースクリーン、
１１０  接眼レンズ、１１１  ペンタプリズム、１１２  ＡＥ装置、
１１３  撮像素子、１１４  フォーカルプレーンシャッター、
１１５  ディスプレイ、１３００  焦点検出画素、１３０１  マイクロレンズ、
１３０２  光電変換部
【図１】
2019008075.tif 000003
【図２】
2019008075.tif 000004
【図３】
2019008075.tif 000005
【図４】
2019008075.tif 000006
【図５】
2019008075.tif 000007
【図６】
2019008075.tif 000008
【図７】
2019008075.tif 000009
【図８】
2019008075.tif 000010
【図９】
2019008075.tif 000011
【図１０】
2019008075.tif 000012
【図１１】
2019008075.tif 000013
【図１２】
2019008075.tif 000014
【図１３】
2019008075.tif 000015