(57)【要約】【課題】主被写体と主被写体の手前にある物体を追尾し、主被写体だけが存在する測距点を合焦時に選択する撮像装置を提供すること。【解決手段】追跡対象の少なくとも一部を含む基準画像を生成する基準画像生成手段と、前期追跡センサからの撮影画像と基準画像との相関度を評価することで前記撮影画像中の追跡対象位置を検出する追跡手段と、前記追跡手段は、焦点調節時にピントを合わせる被写体を主被写体、前記撮像装置から見て前記主被写体よりも手前に位置する被写体を遮蔽被写体としてそれぞれを個別に追跡し、前記焦点調節手段は、前記主被写体上に存在し、かつ前記遮蔽被写体上には存在しない測距点で焦点調節を行うことを特徴とする構成とした。【選択図】図１(a)
2014202875.tif 000002
【特許請求の範囲】
【請求項１】
ファインダ光学系からの画像を撮像する追跡センサ（２０８）と、
追跡対象の少なくとも一部を含む基準画像を生成する基準画像生成手段（Ｓ１０５）と、
前期追跡センサからの撮影画像と基準画像との相関度を評価することで前記撮影画像中の追跡対象位置を検出する追跡手段（Ｓ１０８）と、 
撮像画面中の複数の測距点の焦点状態を検出可能であり、前記追跡手段の結果に基づいて複数の測距点の中から前記追跡対象位置に応じた測距点を選択し、自動焦点調節を行う焦点調節手段（Ｓ１１７）を有した撮像装置において、 
前記追跡手段は、前記焦点調節手段においてピントを合わせる被写体を主被写体、前記撮像装置から見て前記主被写体よりも手前に位置する被写体を遮蔽被写体としてそれぞれを個別に追跡し（Ｓ１０６〜Ｓ１０８、Ｓ１１０〜Ｓ１１４）、
前記焦点調節手段は、前記主被写体上に存在し、かつ前記遮蔽被写体上には存在しない測距点で焦点調節を行うことを特徴とする撮像装置。
【請求項２】
前記追跡手段は、前記遮蔽被写体が、前記撮像装置から見て前記主被写体よりも奥に移動した場合には、追跡対象から除外すること（Ｓ１１０、Ｓ１１３）を特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に撮像装置に搭載される被写体追跡装置に関するものである。
【背景技術】
【０００２】
従来、固体撮像素子を搭載したカメラにおいて、連続して撮像される画像から任意の被写体を選択し、連続するコマ間でその被写体を追跡し続ける機能が実用化されている。このようなカメラでは、画像中における主被写体の位置を検出することによって、時間と共に変化する被写体に対して、適切な焦点調節や自動露出をし続けることが可能となっている。
【０００３】
また、上述の被写体追跡機能を備えるカメラにおいては、複数の被写体を個別に認識したり、主被写体とそうでない被写体を区別したりするために、1つの被写体ではなく複数の被写体を同時に追跡する機能をもつものも存在する。
【０００４】
特許文献１では、画像内に存在する複数の被写体を個別に認識し、それらを同時に追跡することで、画像上における被写体の位置を撮影者に示す技術が開示されている。
【０００５】
特許文献１に記載のデジタルカメラは、入力画像から検出した被写体を囲む追跡枠を画面に表示する機能を有し、その中から撮影者がタッチスクリーンＬＣＤ等を介して指定した１つ乃至複数の被写体を追跡対象として設定することが可能となっている。そして、追跡対象の指定後に撮影される画像に対し、追跡対象に最適なホワイトバランス調整やガンマ補正等の処理を施す機能を有している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１８３２５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献１に開示された従来技術では、撮影者が指定した追跡対象を全て追跡するため、シーン内に多数の被写体が存在する場合に全ての被写体を追跡対象とすると、演算コストが大きくなるという問題がある。また、被写体追跡の利用の仕方次第では、全ての被写体を追跡する必要はない場合もある。
【０００８】
例えば、追跡処理によって検出された被写体の位置情報を、位相差ＡＦ方式を有する一眼レフカメラの測距点選択に利用する場合を考える。このような場合、主被写体の位置を特定した上で、主被写体上に存在する測距点の中から、遠近競合など別の被写体の影響を受けた測距点を除外した測距点を選択すれば、主被写体にピントを合わせることができる。遠近競合は多くの場合、主被写体と撮像装置との間に別の被写体が割り込んだ場合に起こりうるため、主被写体と、主被写体よりも撮像装置の間に割り込む可能性のある被写体のみを追跡すれば、遠近競合の影響を受けた測距点を合焦の対象から除外できる。 
【０００９】
そこで、本発明の目的は、追跡対象を画像内に存在する全ての被写体ではなく、主被写体と主被写体の手前にある物体を追尾し、主被写体だけが存在する測距点を合焦時に選択する撮像装置を提供することである。
【００１０】
以下、本提案書においては、主被写体と撮像装置との間に割り込む可能性のある被写体を遮蔽被写体と呼ぶこととする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明は、ファインダ光学系からの画像を撮像する追跡センサと、追跡対象の少なくとも一部を含む基準画像を生成する基準画像生成手段と、
前期追跡センサからの撮影画像と基準画像との相関度を評価することで前記撮影画像中の追跡対象位置を検出する追跡手段と、
撮像画面中の複数の測距点の焦点状態を検出可能であり、前記追跡手段の結果に基づいて複数の測距点の中から前記追跡対象位置に応じた測距点を選択し、自動焦点調節を行う焦点調節手段を有した撮像装置において、
前記追跡手段は、前記焦点調節手段においてピントを合わせる被写体を主被写体、前記撮像装置から見て前記主被写体よりも手前に位置する被写体を遮蔽被写体としてそれぞれを個別に追跡し、
前記焦点調節手段は、前記主被写体上に存在し、かつ前記遮蔽被写体上には存在しない測距点で焦点調節を行うことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、追跡処理の負荷を軽減しつつ、ＡＦにおいて良くない影響を与える可能性の高い測距点領域を合焦の対象から除外する撮像装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１（ａ）】第１の実施形態に関わる撮像装置の動作手順を示す図である。
【図１（ｂ）】第１の実施形態に関わる撮像装置の動作手順を示す図である。
【図２】第１の実施形態に関わる撮像装置の機械図面である。
【図３】第１の実施形態に関わる撮像装置の基本構成を示すブロック線図である。
【図４】第１の実施形態に関わる撮像装置に搭載されるセンサの撮像範囲を示す図である。
【図５】第１の実施形態に関わる撮像装置の遮蔽被写体検出の例を示す図である。
【図６】第１の実施形態に関わる撮像装置の測距点選択の例を示す図である。
【発明を実施するための形態】
【００１４】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる撮像装置の動作手順である。
【００１５】
［実施例１］
以下、図２を参照して、本発明の第1の実施例による撮像装置について説明する。
【００１６】
図２において２０１はデジタル一眼レフカメラ本体であり、その前面には撮影レンズ２０２が装着される。撮影レンズ２０２は交換可能であり、またカメラ本体２０１と撮影レンズ２０２は、マウント接点群２１５を介して電気的にも接続される。撮影レンズ２０２の中には、フォーカシングレンズ２１３と絞りシャッター２１４があり、前記マウント接点群を介した制御により、カメラ内に取り込む光量とピントを調整できるようになっている。
【００１７】
２０３はメインミラーであり、ハーフミラーとなっている。メインミラー２０３はファインダ観測状態では撮影光路上に斜設され、撮影レンズ２０２からの撮影光束をファインダ光学系へと反射する。一方、透過光はサブミラー２０４を介して測距センサ２０５へと入射する。
【００１８】
測距センサ２０５は、撮影レンズ２０２の二次結像面を焦点検出ラインセンサ上に形成することで、位相差検出方式によって撮影レンズ２０２の焦点調節状態を検出することのできる像信号を生成する。
【００１９】
２０６はファインダ光学系を構成する撮影レンズ２０２の予定結像面に配置されたピント板である。
【００２０】
２０７はファインダ光路変更用のペンタプリズムである。２０９はアイピースであり、撮影者はここからピント板２０６を観察することによって、撮影画面と測距点マークを確認することができる。
【００２１】
２０８は測光センサである。測光センサ２０８は、照射される光信号から輝度信号と色差信号を持つ画像データを生成する。測光センサ２０８で生成された測光画像データは、被写体の明るさ検出と露出演算、被写体追跡を行う処理に用いられる。
【００２２】
２１０はフォーカルプレーンシャッター、２１１は撮像素子である。露光を行う際は、メインミラー２０３、およびサブミラー２０４は撮影光束上から退避し、フォーカルプレーンシャッター２１０が開くことにより、撮像センサ２１１が露光される。また、２１２はディスプレイユニットであり、撮影情報や撮影画像を表示し、ユーザが確認できるようにするものである。
【００２３】
次に、本実施形態の撮像装置の機能ブロックについて、図２の模式図および図３、図４を用いて説明する。なお、図３中の図２と同じ部材については、図２のものと同一符号を付す。
【００２４】
操作部３０１はユーザがカメラボディ部２０１に取り付けられた不図示のレリーズボタン、スイッチ、ダイヤル、接続機器等を介して行った操作を検知し、操作内容に応じた信号をシステム制御部３０４へ送る。操作部３０１は、レリーズボタンを半押しされた瞬間にＳＷ１信号を、レリーズボタンを押し込んだ瞬間にＳＷ２信号をシステム制御部３０４に出力する。以降、ユーザがレリーズボタンの半押しすることを「ＳＷ１ボタンを押す」と表現し、レリーズボタンの半押し状態を維持することをＳＷ１状態と表現する。また、レリーズボタンの押し込むことを「ＳＷ２ボタンを押す」と表現し、レリーズボタンを押し込んだ状態をＳＷ２状態と表現する。また、操作部３０１は、ユーザがＳＷ１状態においてレリーズボタンを離した瞬間にＳＷ１解除信号を、ＳＷ２状態においてレリーズボタンを離した瞬間にＳＷ２解除信号をシステム制御部３０４に出力する。
【００２５】
測光センサ３０２は、センサに入射する光信号から自動露出演算および被写体追跡を行うための画像データを生成し、システム制御部３０４に出力する。システム制御部３０４は、測光センサ３０２から入力される画像データに基づいて自動露出演算を行い、演算結果に基づいて絞りシャッター２１４の絞りを制御し、カメラ本体内に入射する光の量を調節する。さらに、レリーズ時にシャッター２１０を制御し、撮像素子２１１の露光時間を調節する。
【００２６】
また、ＳＷ１状態および連写中において、システム制御部３０４は測光センサ３０２から入力される画像データを用いて被写体追跡を行い、被写体の位置を検出する。
【００２７】
測距センサ３０３は、後述する図４の測距点マーク４０３の位置に対応するラインセンサで構成され、サブミラー２０４を介して入射される光信号から像信号を生成し、システム制御部３０４に出力する。システム制御部３０４は、測距センサ３０３から入力される像信号から、公知の技術である位相差検出方式に基づいて各測距点のデフォーカス値を計算し、焦点検出を行う。
【００２８】
そして、システム制御部３０４は、被写体追跡処理で検出された被写体位置近傍の測距点もしくは、ユーザの手動操作によって選択された測距点のいずれかの焦点検出結果に基づいて焦点調節を行い、マウント接点郡２１５を介してフォーカシングレンズ２１３を制御する。
【００２９】
システム制御部３０４は、操作部３０１から入力される信号に基づいてミラー２０３、２０４およびシャッター２１０を制御する。操作部３０１から出力される信号がＳＷ２信号であれば、ミラー２０３、２０４をアップし、シャッター２１０を制御することで撮像センサ２１１に光を照射させる。シャッター制御が終了すれば、ミラー２０３、２０４をダウンさせる。
【００３０】
撮像センサ２１１は撮影レンズ２０２を通して入射する光信号から画像データを生成し、システム制御部３０４へ出力する。システム制御部３０４は撮像センサ２１１から入力される画像データをディスプレイ２１２で表示させるとともに、画像記憶装置３０５へ画像データを保存する。
【００３１】
本実施形態における撮像センサ２１１、測光センサ３０２の撮影範囲と、測距センサ３０３の測距点マークの配置を図４に示す。撮像センサ２１１の撮影範囲が図４の撮像センサ範囲、測光センサ３０２の撮像範囲は測光センサ範囲４０２、測距センサ３０３の測距点位置は測距点マーク４０３で示される。
【００３２】
メインミラー２０３がダウン状態にある時、ピント版２０６に被写体像が投影されるため、ユーザは図２のアイピース２０９を覗き込むことで、追跡中の被写体像を視認することができる。また、図４の測距点マーク４０３のうち、その時点で焦点調節を行っている測距点がピント板２０６にスーパーインポーズして表示されるため、ユーザは現在追跡中の被写体位置にある測距点を確認することができる。
【００３３】
続いて、本実施形態における撮像装置の動作手順および被写体追跡のアルゴリズムについて、図１、図５、図６を用いて説明する。
【００３４】
図１（ａ）、（ｂ）はＳＷ１が押されてからのカメラの動作シーケンスを示したものである。
【００３５】
Ｓ１０１では、システム制御部３０４は基準画像生成フラグをＦＡＬＳＥに設定する。このフラグは、追跡が開始してから主被写体の基準画像が一度でも生成されていればＴＲＵＥとなるフラグである。
【００３６】
Ｓ１０２では、測光センサ３０２および測距センサ３０３は入射される光信号の蓄積を行い、像信号をシステム制御部３０４に出力する。以下、測光センサ３０２からシステム制御部３０４に出力される画像を入力画像と呼ぶ。
【００３７】
Ｓ１０３では、システム制御部３０４は、基準画像生成フラグの値を参照し、ＴＲＵＥであれば主被写体追跡のための基準画像が生成されているということであるため、Ｓ１０９の被写体追跡処理に移行する。ＦＡＬＳＥであれば、主被写体の基準画像が生成されていないため被写体追跡処理ではなく、Ｓ１０４のデフォーカス演算と測距点選択処理に移行する。
【００３８】
Ｓ１０４は、Ｓ１０３で主被写体の基準画像が存在していないと判定された場合に実行される処理であり、システム制御部３０４は、Ｓ１０２で測距センサ３０３から読み出した像信号に基づいて、全ての測距点のデフォーカス値を演算する。そして、ユーザが手動操作によって予め選択していた測距点を選択測距点とする。ここで算出したデフォーカス値は、後述するＳ１０７およびＳ１１７の処理にて利用する。
【００３９】
Ｓ１０５では、システム制御部３０４は、入力画像において、Ｓ１０４で選択された測距点と同じ位置に存在する被写体を主被写体として設定する。そして、入力画像からＳ１０４で選択された測距点の位置を中心とする一定の大きさの領域を切り出し、これを主被写体の基準画像とする。以降のコマにおいては、この主被写体の基準画像を追跡対象として、入力画像から主被写体を検出する。
【００４０】
Ｓ１０６では、システム制御部３０４は、各測距点のデフォーカス値に基づいて、Ｓ１１６からＳ１２１の処理を実行することで、入力画像から遮蔽被写体を検出する。以下、遮蔽被写体を検出するための具体的な方法について、図５を用いて述べる。図５は、測距点範囲内に３つの被写体５０１、５０２、５０３が存在するシーンである。図５（ａ）は、Ｓ１０４において選択された測距点が選択測距点５０４であり、Ｓ１０５において主被写体を被写体５０１とした状態を表している。
【００４１】
Ｓ１１６では、システム制御部３０４は、現時点で追跡対象として設定されている遮蔽被写体の情報をクリアし、追跡対象から除外する。
【００４２】
Ｓ１１７では、システム制御部３０４は、各測距点のデフォーカス値において、Ｓ１０５で設定された主被写体よりも手前のデフォーカス値を持つ測距点を抽出し、記憶する。
【００４３】
Ｓ１１８では、システム制御部３０４は、Ｓ１１７で主被写体よりも手前のデフォーカス値を持つ測距点が少なくとも１つ以上抽出されたならば、Ｓ１１９の処理に移行する。一方、１つも抽出されなかった場合には遮蔽被写体検出処理を終了する。
【００４４】
Ｓ１１９では、システム制御部３０４は、Ｓ１１７で抽出した測距点のうち、上下左右で隣り合い、かつ、デフォーカス値の差が所定値以下となる測距点同士をグループ化し、測距点グループを作成する。
【００４５】
図５（ａ）に対し、主被写体よりも手前のデフォーカス値を持つ測距点をグループ化した図が図５（ｂ）である。図５（ｂ）では、被写体５０１よりも手前に位置する被写体５０２と同位置にある測距点が抽出、グループ化され、測距点グループ５０５が得られている。一方で、撮像装置から見て、被写体５０１よりも奥に存在する被写体５０３上の測距点は、グループ化の対象とはならない。
【００４６】
Ｓ１２０では、システム制御部３０４は、入力画像中において、Ｓ１１９で作成された各測距点グループと同じ位置に存在する被写体を遮蔽被写体として検出し、次のコマにおける追跡対象に設定する。
【００４７】
Ｓ１２１では、システム制御部３０４は、Ｓ１２０で設定された全ての遮蔽被写体に対し、追跡処理用の基準画像を生成する。具体的な処理としては、各遮蔽被写体に対応する測距点グループに属する測距点の、入力画像上での重心位置を中心とする一定の大きさの領域を切り出し、これを遮蔽被写体の基準画像とする。
【００４８】
その様子を図５（ｃ）に示す。図５（ｃ）では、Ｓ１０５において、選択測距点を中心とする一定の大きさの画像を主被写体である被写体５０１の基準画像６０１としている。また、Ｓ１２１において、遮蔽被写体である被写体５０２の基準画像６０２を、被写体５０２に対応する測距点グループ５０５の重心位置を中心とする一定の大きさの画像としている。
【００４９】
以降のコマにおいては、この遮蔽被写体の基準画像を追跡対象として、入力画像から遮蔽被写体を検出する。
【００５０】
以上が、遮蔽被写体の検出処理の説明である。Ｓ１１６からＳ１２１の処理により、撮像装置から見て、主被写体よりも手前に存在する被写体を遮蔽被写体として検出し、追跡対象に設定することができる。また、Ｓ１１６において遮蔽被写体の初期化を行うため、時間の変化に従って主被写体よりも奥に移動した被写体を追跡対象から除外することができる。
【００５１】
Ｓ１０７では、システム制御部３０４は、Ｓ１０５で主被写体の基準画像を生成したため、基準画像生成フラグをＴＲＵＥとする。 
【００５２】
Ｓ１０８では、システム制御部３０４は、入力画像に対して主被写体および遮蔽被写体の基準画像を用いたテンプレートマッチング処理を行い、入力画像の各領域との相関度を計算する。そして、それぞれ最も相関度の高い領域を主被写体および遮蔽被写体の検出位置とする。
【００５３】
ここで、テンプレートマッチングについては、次のようなマッチング処理を行う。まず、入力画像の任意の領域について、追跡対象の基準画像と同じ大きさになるようにして切り出し、追跡入力画像とする。
【００５４】
そして、この追跡入力画像と追跡対象の基準画像との対応する全ての画素について、輝度信号と色差信号の差分値の総和を計算し、結果をマッチング評価値とする。マッチング評価値は小さければ小さいほど相関度が高いことを表す。
【００５５】
そして、入力画像から切り出す領域の位置を所定値ずつシフトしながら画像全体についてマッチング評価値を算出することで、最も相関度の高い追跡入力画像の領域を追跡対象の検出位置とする。これを、主被写体と全ての遮蔽被写体の基準画像に対して行うことで、入力画像における主被写体および各遮蔽被写体の位置を検出する。
【００５６】
Ｓ１０９では、システム制御部３０４は、Ｓ１０２で測距センサ３０３から読み出した像信号に基づいて各測距点のデフォーカス値を演算し、ピントを合わせる測距点を選択する。ここで、測距点の選択方法について図６を用いて説明する。図６（ａ）は、図６の基準画像６０１、６０２を用いて、Ｓ１０８の追跡処理にて被写体５０１と５０２を追跡した結果である。主被写体である被写体５０１を追跡した結果が追跡結果７０１、遮蔽被写体である被写体５０２を追跡した結果が追跡結果７０２となっている。
【００５７】
このような結果に対して、まず、各遮蔽被写体の追跡結果に最も近い測距点をそれぞれ１つずつ選択する。図６（ａ）では、遮蔽被写体は被写体５０２のみであるため、その追跡結果７０２に最も近い測距点７０３が選択される。続いて、図６（ｂ）に示すように、選択した測距点を始点として、上下左右で隣り合い、かつ、デフォーカス値の差が所定値以下となる測距点全てをグループ化することで、遮蔽測距点グループ７０４を作成する。      
【００５８】
そして最終的に、遮蔽測距点グループ７０４を除外した測距点の中から、被写体５０１の追跡結果７０１に最も近い測距点を選択測距点７０５とする。これにより、遮蔽被写体の影響を受けた測距点を選択測距点から除外することができるため、遮蔽被写体が主被写体の一部を隠してしまうような場合でも、主被写体にピントを合わせ続けることができる。
【００５９】
Ｓ１１０では、システム制御部３０４は、Ｓ１０６と同様の遮蔽被写体の検出処理を行い、主被写体よりも手前に存在する被写体を検出し、次のコマでの追跡対象として設定する。
【００６０】
このタイミングで遮蔽被写体の検出を行うことにより、Ｓ１０９のデフォーカス演算結果に基づいて次のコマで追跡する遮蔽被写体を検出できる。また、撮像装置から見て主被写体よりも奥に移動した遮蔽被写体があれば、これを追跡対象から除外することができる。
【００６１】
Ｓ１１１では、システム制御部３０４は、Ｓ１０８で算出された主被写体の基準画像と入力画像との相関度が所定値以上であれば、入力画像において主被写体が検出された領域の画像で、主被写体の基準画像を更新する。
【００６２】
Ｓ１１２では、システム制御部３０４は、入力画像に基づいて自動露出演算を行う。Ｓ１１３では、システム制御部３０４は、Ｓ１０４あるいはＳ１０９で選択された測距点の焦点検出結果に基づいて焦点調節を行う。また、Ｓ１１６の自動露出演算結果に基づいて露出制御を行う。
【００６３】
Ｓ１１４では、システム制御部３０４は、操作部３０１からＳＷ２信号を受信しているかどうかを判定し、受信していればＳ１１５の撮像処理に進む。受信していなければ、撮像は行わず、Ｓ１０２に移行する。
【００６４】
Ｓ１１５では、システム制御部３０４は、ミラー２０３、２０４をアップさせ、撮像センサ２１１に露光することで撮影を行う。撮影後はミラー２０３、２０４をダウンさせ、Ｓ１０２の処理に移行する。
【００６５】
以上の処理を、ＳＷ１状態あるいはＳＷ２状態が継続する間繰り返す。以上が、本実施形態における撮像装置の動作手順である。このような動作により、主被写体と、主被写体への合焦に良くない影響を与える可能性の高い遮蔽被写体だけを追尾することにより、演算負荷を軽減しつつ主被写体にピントを合わせ続けることができる。
【００６６】
本発明は、撮像装置に関し、特に撮像装置に搭載される被写体追跡装置に利用できる可能性がある。
【符号の説明】
【００６７】
２０１ デジタル一眼レフカメラ本体
２０２ レンズ
２０３ メインミラー
２０４ サブミラー
２０５ 測距センサ
２０６ ピント版
２０７ ペンタプリズム
２０８ 測光センサ
２０９ アイピース
２１０ フォーカルプレーンシャッター
２１１ 撮像素子
２１２ ディスプレイユニット
２１３ フォーカシングレンズ
２１４ 絞りシャッター
２１５ マウント接点群
３０１ 操作部
３０２ 測光センサ
３０３ 測距センサ
３０４ システム制御部
３０５ 画像記憶装置
【図４】
2014202875.tif 000003
【図１（ａ）】
2014202875.tif 000004
【図１（ｂ）】
2014202875.tif 000005
【図２】
2014202875.tif 000006
【図３】
2014202875.tif 000007
【図５】
2014202875.tif 000008
【図６】
2014202875.tif 000009