(57)【要約】【課題】  被写体像に付加情報の像が重畳した画像を用いた被写体追尾処理の精度低下を抑制可能な画像処理装置およびその制御方法の提供。【解決手段】  測距点マークのような付加情報の像が被写体光学像に重畳した画像を用いて被写体追尾を行う場合、追尾に用いる基準画像を更新する際に、新たな基準画像の元となる画像に含まれる付加情報像の画素を、更新前の基準画像の画素で補完して、更新後の基準画像を生成する。【選択図】  図６
2015198264.tif 000002
【特許請求の範囲】
【請求項１】
付加情報像が被写体光学像に重畳した画像を取得する取得手段と、
前記取得手段が取得した複数の画像について、追尾対象の被写体を含んだ基準画像に対応した領域を検出することにより、前記被写体の追尾を実現する追尾手段と、
前記基準画像を更新する更新手段とを有し、
前記更新手段は、新たな基準画像の元となる画像に含まれる前記付加情報像の画素を、更新前の前記基準画像の画素で補完して、更新後の基準画像を生成することを特徴とする画像処理装置。
【請求項２】
前記補完は、前記付加情報像の画素の、前記更新前の基準画像における同位置の画素による置換であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記更新手段は、前記更新前の基準画像を用いて補完できない前記付加情報像の画素については、周辺画素を用いて補完することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記更新手段は、前記更新前の基準画像に含まれる前記付加情報像の画素の数が所定値より少ない場合は、前記画素の数が前記所定値以上の場合よりも、前記基準画像が更新されにくくすることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記取得手段が取得した画像から特定の被写体を検出する検出手段をさらに有し、
前記更新手段は、前記更新前の基準画像が前記検出手段で検出された前記特定の被写体について生成されている場合は、前記更新前の基準画像が前記検出手段で検出された前記特定の被写体について生成されていない場合よりも、前記基準画像が更新されにくくすることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項６】
付加情報像が被写体光学像に重畳した画像を取得する取得手段と、
前記取得手段が取得した複数の画像について、追尾対象の被写体を含んだ基準画像に対応した領域を検出することにより、前記被写体の追尾を実現する追尾手段と、を有し、
前記追尾手段は、前記取得手段が取得した画像および前記基準画像に含まれる、前記被写体光学像の画素の相関に基づいて前記領域を検出することを特徴とする画像処理装置。
【請求項７】
前記追尾手段は、前記取得手段が取得した画像および前記基準画像のいずれにおいても前記付加情報像の画素でない、同じ座標の画素間の差分値を用いて前記相関を求めることを特徴とする請求項６記載の画像処理装置。
【請求項８】
請求項１から７のいずれか１項に記載された画像処理装置を有し、
光学ファインダー像を撮影する測光センサを前記取得手段として用いることを特徴とする撮像装置。
【請求項９】
取得手段が、付加情報像が被写体光学像に重畳した画像を取得する取得工程と、
追尾手段が、前記取得工程で取得した複数の画像について、追尾対象の被写体を含んだ基準画像に対応した領域を検出することにより、前記被写体の追尾を実現する追尾工程と、
更新手段が、前記基準画像を更新する更新工程とを有し、
前記更新工程において前記更新手段は、新たな基準画像の元となる画像に含まれる前記付加情報像の画素を、更新前の前記基準画像の画素で補完して、更新後の基準画像を生成することを特徴とする画像処理装置の制御方法。
【請求項１０】
取得手段が、付加情報像が被写体光学像に重畳した画像を取得する取得工程と、
追尾手段が、前記取得工程で取得した複数の画像について、追尾対象の被写体を含んだ基準画像に対応した領域を検出することにより、前記被写体の追尾を実現する追尾工程と、を有し、
前記追尾工程において前記追尾手段は、前記取得工程で取得された画像および前記基準画像に含まれる、前記被写体光学像の画素の相関に基づいて前記領域を検出することを特徴とする画像処理装置の制御方法。
【請求項１１】
コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置およびその制御方法に関し、特には被写体追尾技術に関する。
【背景技術】
【０００２】
従来、固体撮像素子を搭載したカメラにおいて、撮像された画像から抽出された任意の被写体（主被写体）を、その後撮影された画像で継続的に検出することにより、主被写体を追尾する機能が実用化されている。このようなカメラでは、主被写体の画像内の位置を検出することにより、主被写体に適切な自動焦点調節や自動露出演算を行うことが可能である。
【０００３】
このような被写体追尾技術を有するカメラには、追尾している主被写体をユーザが認識できるよう、主被写体の位置を表示する機能を有するものがある。例えば特許文献１には、テンプレートマッチングで検出された主被写体の位置と重複するＡＦ枠のマークを光学ファインダーの表示部に強調表示する機能を有するカメラが開示されている。これにより、ユーザはフォーカシングスクリーンに投影された被写体光学像と、ＡＦ枠の像が重畳した像を光学ファインダーで観察することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−００２８１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１のカメラにおける光学ファインダー像は、フォーカシングスクリーンに投影された被写体光学像と、光学ファインダーの表示部に表示されたＡＦ枠の像との合成像である。そのため、光学ファインダー像をＡＥセンサ（撮像素子）で撮影して得られた画像を用いて被写体追跡を行う構成とした場合、被写体光学像には含まれていないが光学ファインダー像に含まれるＡＦ枠の像が、追尾精度を悪化させるという問題があった。
【０００６】
本発明はこのような従来技術の課題に鑑みなされたものであり、被写体像に付加情報の像が重畳した画像を用いた被写体追尾処理の精度低下を抑制可能な画像処理装置およびその制御方法の提供を目的とする。
【課題を解決するための手段】
【０００７】
上述の目的は、付加情報像が被写体光学像に重畳した画像を取得する取得手段と、取得手段が取得した複数の画像について、追尾対象の被写体を含んだ基準画像に対応した領域を検出することにより、被写体の追尾を実現する追尾手段と、基準画像を更新する更新手段とを有し、更新手段は、新たな基準画像の元となる画像に含まれる付加情報像の画素を、更新前の基準画像の画素で補完して、更新後の基準画像を生成することを特徴とする画像処理装置によって達成される。
【発明の効果】
【０００８】
このような構成により、本発明によれば、被写体像に付加情報の像が重畳した画像を用いた被写体追尾処理の精度低下を抑制可能な画像処理装置およびその制御方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係るデジタル一眼レフカメラの動作を説明するためのフローチャート
【図２】実施形態に係る撮像装置の一例としてのデジタル一眼レフカメラの側断面図
【図３】実施形態に係るデジタル一眼レフカメラの機能構成例を示すブロック図
【図４】実施形態に係るデジタル一眼レフカメラの測距点配置および撮像範囲の例を示す図
【図５】第１の実施形態に係るデジタル一眼レフカメラにおける基準画像生成処理を模式的に示す図
【図６】第１の実施形態に係るデジタル一眼レフカメラにおける基準画像更新処理を模式的に示す図
【図７】第２の実施形態にデジタル一眼レフカメラが行うテンプレートマッチング処理を模式的に示す図
【図８】第３の実施形態に係るデジタル一眼レフカメラの動作を説明するためのフローチャート
【図９】第４の実施形態に係るデジタル一眼レフカメラの動作を説明するためのフローチャート
【発明を実施するための形態】
【００１０】
●（第１の実施形態）
以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態においては、本発明を画像処理装置の一例である撮像装置に適用した例について説明するが、本発明において被写体追尾に用いる、付加情報像が被写体光学像に重畳した画像は、予め記録されたものであってもよい。また、付加情報像の形状や位置に関する情報、撮影時に用いられた測距点の情報も、画像データの付加情報として取得することができる。従って、本発明に撮影機能は必須でなく、一般的な電子機器において実施可能である。また、撮像装置は撮像機能を有する電子機器を意味し、携帯電話機、ゲーム機、パーソナルコンピュータ等、カメラを有するまたは使用可能な任意の電子機器が含まれる。
【００１１】
図２は、本発明の実施形態に係る撮像装置の一例としてのデジタル一眼レフカメラ（ＤＳＬＲ）の主要な構成部品の配置例を示す側断面図である。ＤＳＬＲは、本体２０１と本体２０１の前面に装着される撮影レンズ２０２を有する。撮影レンズ２０２は交換可能であり、また本体２０１と撮影レンズ２０２は、不図示のレンズマウントにより機械的および電気的に接続される。撮影レンズ２０２の中には、フォーカシングレンズ２１３と絞り２１４がある。フォーカシングレンズ２１３と絞り２１４はレンズマウント接点群２１５を介した、本体２０１による電気的な制御に従って動作し、撮影レンズ２０２の焦点や撮影レンズ２０２から入射する光量を調整する。
【００１２】
メインミラー２０３はハーフミラーであり、背面にはサブミラー２０４が設けられている。図示した、ミラーアップされていない状態では、撮影レンズ２０２からの光束の一部を反射して上方のファインダー光学系へ入射させ、透過光をサブミラー２０４で反射して下方のＡＦユニット２０５へ入射させる。露光時などミラーアップされた状態では、光路から退避する。
【００１３】
ＡＦユニット２０５は位相差検出方式のＡＦセンサである。撮影レンズ２０２の二次結像面を、ＡＦユニット２０５が有する焦点検出ラインセンサ上に形成することによって、撮影レンズ２０２のデフォーカス量と焦点方向を検出し、検出結果をもとにフォーカシングレンズ２１３を駆動して自動焦点調節を行う。位相差検出方式による合焦制御については公知であり、ＡＦユニット２０５には公知の構成を適用可能であるため、ＡＦユニット２０５の詳細な構成や合焦制御についての説明は省略する。本実施形態のＡＦユニット２０５では６１個の測距点（焦点検出領域またはＡＦ枠とも呼ばれる）が図４に示すようにレイアウトされているものとする。
【００１４】
ピント板２０６はファインダー光学系としての撮影レンズ２０２の予定結像面に配置された半透明の板状部材である。また、撮影レンズ２０２の予定結像面もしくはその近傍にはさらにファインダー表示部２２０が配置されている。ファインダー表示部２２０はたとえば透過型の液晶ディスプレイであり、図４に示される測距点の枠を示すマークなどの付加情報像を表示する。ユーザは、アイピース２０９からファインダー光路変更用のペンタプリズム２０７を通じてピント板２０６を観察することにより、撮影される視野の光学像に、ファインダー表示部２２０が表示する付加情報像が重畳された像を見ることができる。なお、ファインダー表示部２２０には発光ダイオード（ＬＥＤ）、有機発光ダイオード（ＯＬＥＤ）、有機ＥＬディスプレイなど、他の方式の表示装置を用いてもよいし、複数の表示装置を用いてもよい。また、表示内容に応じて異なる方式の表示装置を用いてもよい。なお、ファインダー表示部２２０がピント板２０６を兼ねてもよい。
【００１５】
ＡＥユニット２０８は、被写体の明るさを観測するため、複数画素を持つＡＥセンサで光学ファインダー像を測光画像データに変換する。ここでは、ＡＥセンサが光学ファインダー像のうち、図４に測光センサ範囲４０２として示した範囲を撮影するものとする。この光学ファインダー像には、ファインダー表示部２２０で表示された測距点の枠などの情報が重畳されている。ＡＥセンサは画素数を除いて撮像素子２１１と同様の構成であってよいが、主に被写体輝度の検出に用いられるためＡＥセンサと呼ぶ。測光画像データは、Ｒ、Ｇ、およびＢ成分を有する。本実施形態においてＡＥユニット２０８は、生成された測光画像データを用いて、被写体の明るさ検出、露出演算、被写体検出および被写体追尾などを行う。なお、必要に応じて複数の測光画像データを加算することで、測光画像データのダイナミックレンジを拡張してもよい。
【００１６】
撮像素子２１１はＣＭＯＳイメージセンサやＣＣＤイメージセンサなどであり、光電変換素子を有する画素が複数配列されている。メインミラー２０３およびサブミラー２０４を撮影光路から退避させ、フォーカルプレーンシャッタ２１０を開くことにより、撮像素子２１１が露光され、被写体光学像が撮影される。
【００１７】
ディスプレイ２１２は例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー画像を表示して電子ビューファインダーとして用いたり、各種の設定値、撮影情報、装置情報、ＧＵＩ画面、撮影済み画像などの表示に用いたりする。
【００１８】
図３は、本実施形態のＤＳＬＲの機能的な構成例を示すブロック図である。なお、図２と同じ構成要素については、同一符号を付してある。
【００１９】
操作部３０１は、ユーザが本体２０１や撮影レンズ２０２に取り付けられたボタン、スイッチ、ダイヤル、接続機器等を介して行った操作を検知し、操作内容に応じた信号をシステム制御部３０６に出力する。また操作部３０１は、レリーズボタンの押下量によってＳＷ１信号とＳＷ２信号を送信する。具体的には、レリーズボタンが半分程度押下されるとＳＷ１信号を、レリーズボタンがさらに所定量押されるとＳＷ２信号を、それぞれシステム制御部３０６に出力する。なお、ＳＷ１信号が出力されるレリーズボタンの押下状態を「半押し」、ＳＷ２信号が出力されるレリーズボタンの押下状態を「全押し」と呼ぶ。また、レリーズボタンの半押し状態が維持されている状態を「ＳＷ１保持状態」と呼び、全押し状態が維持されている状態を「ＳＷ２保持状態」と呼ぶ。また、操作部３０１は、レリーズボタンの押下量がＳＷ１信号を送信するに満たない状態になるとＳＷ１解除信号を、ＳＷ２信号を送信するに満たない状態になるとＳＷ２解除信号を、それぞれシステム制御部３０６に出力する。
【００２０】
システム制御部３０６は例えばＣＰＵやＭＰＵといった、プログラムを実行可能なプロセッサであってよく、不揮発性のメモリや記憶装置に記録されたプログラムを実行して、ＤＳＬＲ１００を制御する。なお、ＡＥ制御部３０２およびＡＦ制御部３０４の少なくとも一部の機能は、システム制御部３０６が実行するようにしてもよい。
【００２１】
上述の通り、ＡＦユニット２０５は位相差検出方式による自動焦点検出および、焦点検出結果に基づく、フォーカシングレンズ２１３の合焦位置への駆動（自動焦点調節）を行う。ＡＦユニット２０５は、ＡＦ制御部３０４および測距センサ３０５で構成される。測距センサ３０５は例えば図４に示した６１箇所の測距点に対応する複数のラインセンサで構成され、サブミラー２０４を介して入射される光を電気信号に変換し、各測距点に対して一対の像信号をＡＦ制御部３０４に出力する。ＡＦ制御部３０４は、被写体追尾処理で検出された被写体位置の近傍にある測距点もしくはデフォーカス量の最も小さい測距点の焦点検出結果に基づいて焦点調節演算を行い、レンズマウント接点群２１５を通じてフォーカシングレンズ２１３の位置を制御する。
【００２２】
ＡＥユニット２０８は自動露出演算および被写体追尾を行う。ＡＥユニット２０８はＡＥ制御部３０２および測光センサ３０３で構成される。ＡＥ制御部３０２は測光センサ３０３から読み出した測光画像データに基づいて自動露出演算を行い、結果をシステム制御部３０６に出力する。システム制御部３０６はＡＥ制御部３０２から出力された自動露出演算の結果に基づいて、絞り２１４の値（開口の大きさ）を制御し、本体２０１に入射する光量を調節する。
【００２３】
また、ＳＷ１保持状態および連写中において、ＡＥ制御部３０２は測光センサ３０３による連続した撮像で順次得られる測光画像データを用いて被写体を順次検出することにより、被写体を追尾し、検出した被写体の位置情報をシステム制御部３０６に出力する。被写体検出処理および被写体追尾処理の詳細については後述する。システム制御部３０６はＡＥ制御部３０２から出力された被写体の位置情報をＡＦ制御部３０４に出力する。
【００２４】
ＡＦ制御部３０４は、システム制御部３０６から出力された被写体の位置もしくはその近傍にある測距点のデフォーカス量を計算し、計算結果をあらかじめ設定された閾値と比較する。比較の結果デフォーカス量が閾値以下であれば、システム制御部３０６に出力する選択測距点位置データを、ＡＦ制御部３０４が各測距点におけるデフォーカス量に基づいて選択した測距点から、被写体またはその近傍にある測距点に更新する。
【００２５】
システム制御部３０６は、操作部３０１からＳＷ２信号が出力されると、メインミラー２０３（およびサブミラー２０４）をアップし、光路から退避させる。そして、フォーカルプレーンシャッタ２１０を駆動し、撮像素子２１１を自動露出演算の結果に基づく時間、露光する。露光時間が終了すると、システム制御部３０６は、メインミラー２０３（およびサブミラー２０４）をダウンさせる。
【００２６】
撮像素子２１１は露光時間中に撮影レンズ２０２を通して入射する光を各画素で電気信号に変換して画像データを生成し、システム制御部３０６へ出力する。システム制御部３０６は撮像素子２１１から出力された画像データに対して所定の画像処理などを適用し、ディスプレイ２１２で表示させたり、画像記憶装置３０７へ書き込んだりする。
【００２７】
本実施形態における撮像素子２１１および測光センサ３０３の撮影範囲と、ファインダー表示部２２０が表示可能な測距点マークの配置との関係例を図４に示す。撮像素子２１１の撮影範囲は４０１で、測光センサ３０３の撮影範囲は４０２で示され、測距センサ３０５の測距点は枠状の固定パターンである測距点マーク４０３によって示されている。
【００２８】
メインミラー２０３が図２に示すダウン状態のとき、ピント板２０６に被写体光学像が投影されるため、ユーザはアイピース２０９を覗き込むことで、被写体光学像を視認することができる。また、図４の測距点マーク４０３のうち、その時点で焦点調節に用いられている測距点に対応するものがファインダー表示部２２０に表示されるため、ユーザは被写体光学像に測距点マークが重畳した光学ファインダー像から測距点を確認することができる。
【００２９】
測光センサ３０３は光学ファインダー像を撮影し、測光および被写体追尾に用いる画像データを生成するので、被写体追尾に用いる画像データには、被写体光学像に測距点マーク４０３が写りこんでいる。
なお、測光センサ３０３によって得られる画像データにおいて写りこんでいる測距点マーク４０３の画像中の位置は、予め本体２０１内の不揮発性メモリなどに保存してある測距点配置情報と、撮影時に用いられた測距点の情報とから判別することができる。
【００３０】
図１はＳＷ１が押下された状態におけるＤＳＬＲ１００の動作を示すフローチャートである。
Ｓ１０１で、システム制御部３０６は、基準画像フラグをＦＡＬＳＥに設定する。基準画像フラグは、追尾処理を開始してから基準画像が一度でも生成されていればＴＲＵＥとなるフラグである。
【００３１】
Ｓ１０２でシステム制御部３０６は、基準画像フラグの値がＴＲＵＥであれば、追尾用の基準画像が生成されているため、追尾処理を行うために処理をＳ１０３に進める。また、システム制御部３０６は、基準画像フラグの値がＦＡＬＳＥであれば、基準画像が生成されていないため、基準画像を生成するために処理をＳ１０９に進める。
【００３２】
Ｓ１０９〜Ｓ１１３は基準画像が存在しない場合に実行される処理であり、Ｓ１０９でシステム制御部３０６はＡＦ制御部３０４へ動作開始を指示し、ＡＦ制御部３０４は、測距センサ３０５における電荷蓄積および読み出しを実行する。
【００３３】
Ｓ１１０でＡＦ制御部３０４は、測距センサ３０５から読み出した像信号に基づいて、全測距点に対してデフォーカス量を演算し、最小のデフォーカス量を有する測距点を選択する。そしてＡＦ制御部３０４は、選択した測距点の情報をシステム制御部３０６に出力する。システム制御部３０６は、選択された測距点に対応する測距点マークを、ファインダー表示部２２０に表示させる。
【００３４】
Ｓ１１１でシステム制御部３０６は、新規に基準画像を生成するため、ＡＥ制御部３０２へ動作開始を指示し、ＡＥ制御部３０２は測光センサ３０３における電荷蓄積および読み出しを実行する。また、システム制御部３０６は、選択された測距点の情報をＡＥ制御部３０２に通知する。
【００３５】
Ｓ１１２でＡＥ制御部３０２は、Ｓ１１１で測光センサ３０３から読み出した画像から、Ｓ１１０で選択された測距点の位置を中心とする所定の大きさの領域を切り出し、追尾処理用の基準画像を生成する。
【００３６】
Ｓ１１０で、選択された測距点に対応する測距点マークがファインダー表示部２２０に表示されるので、Ｓ１１１で測光センサ３０３によって取得した光学ファインダー像には測距点マークが写り込んでいる。そして、選択された測距点を中心に基準画像を生成するので、測距点マークは基準画像にも写り込んでいる。
【００３７】
図５は、測光センサ３０３で撮影された画像５０１と、測距点マーク５０２と、基準画像５０４との関係例を模式的に示している。ここでは、撮影範囲の中央に存在する犬の顔に対応する測距点が選択されており、対応する測距点マーク５０２が表示されている。そして、選択された測距点を中心として予め定められた領域５０３を切り出すことで、基準画像５０４を生成するため、基準画像５０４には測距点マーク５０２が写り込んでいる。
【００３８】
図１に戻り、Ｓ１１３でシステム制御部３０６は、新規に基準画像を生成したため、基準画像フラグをＴＲＵＥとし、処理をＳ１１４に進める。
【００３９】
一方、Ｓ１０２で基準画像フラグがＴｒｕｅであった場合、システム制御部３０６はＳ１０３でＡＥ制御部３０２へ動作開始を指示し、ＡＥ制御部３０２は測光センサ３０３における電荷蓄積および読み出しを実行する。
【００４０】
Ｓ１０４でＡＥ制御部３０２は被写体追尾処理を行う。ＡＥ制御部３０２は、基準画像を追尾対象画像（テンプレート）とし、Ｓ１０２で読み出した画像に対してテンプレートマッチング処理を実行する。そして、ＡＥ制御部３０２は読み出した画像中における基準画像の位置を被写体追尾結果として検出し、システム制御部３０６に通知する。
【００４１】
テンプレートマッチング処理の具体的な方法については、特に制限はないが、例えば以下の様に行うことができる。まず、ＡＥ制御部３０２は測光センサ３０３から読み出した画像に対して、画像中の任意の領域を基準画像と同じ大きさになるようにして切り出し、追尾入力画像とする。そして、ＡＥ制御部３０２はこの追尾入力画像と基準画像との対応する全ての画素について、輝度信号と色差信号の差分値の総和を計算し、結果をマッチング評価値とする。マッチング評価値は小さければ小さいほど相関度が高いことを表す。
【００４２】
ＡＥ制御部３０２は、追尾入力画像を切り出す位置を所定値ずつシフトしながら画像全体についてマッチング評価値を算出し、最も相関度の高いマッチング評価値が得られた追尾入力画像の切り出し位置を、追尾対象の検出位置（被写体位置）とする。被写体位置は、切り出し範囲の頂点座標および中心座標の１つ以上であってよい。追尾入力画像の大きさはシステム制御部３０６に既知であるため、システム制御部３０６は被写体位置に対応する追尾入力画像の範囲を特定することができる。ＡＥ制御部３０２における被写体追尾処理で得られた被写体位置の情報は、システム制御部３０６を通じてＡＦ制御部３０４に通知される。
【００４３】
Ｓ１０５でシステム制御部３０６はＡＦ制御部３０４へ動作開始を指示し、ＡＦ制御部３０４は、測距センサ３０５における電荷蓄積および読み出しを実行する。
【００４４】
Ｓ１０６でＡＦ制御部３０４は、測距センサ３０５から読み出した像信号に基づいて、全測距点に対してデフォーカス量を演算し、被写体位置を考慮した位置の測距点、典型的には最も近い測距点を選択する。そしてＡＦ制御部３０４は、選択した測距点の情報をシステム制御部３０６に出力する。システム制御部３０６は、選択された測距点に対応する測距点マークを、ファインダー表示部２２０に表示させる。この時、被写体位置に近い測距点が複数ある場合には、複数の測距点マークを表示する。ここで、被写体位置に近い測距点とは、例えば被写体位置に対応する追尾入力画像の領域内に含まれる測距点および、被写体位置に対応する追尾入力画像の領域に最も近い測距点であってよい。
【００４５】
Ｓ１０７でＡＥ制御部３０２は、基準画像の更新要否を判定する。ここでは、Ｓ１０４の被写体追尾処理において得られた被写体位置の信頼度が高い場合に基準画像の更新を行うものと判定し、処理をＳ１０８に進める。これは、信頼度が低いと、後に説明する基準画像の補完処理の精度が低下するためである。一方、追尾処理で得られた被写体位置の信頼度が高くないと判定された場合、ＡＥ制御部３０２は基準画像の更新を行わないものと判定し、処理をＳ１１４に進める。
【００４６】
被写体位置の信頼度の指標に特に制限はないが、例えばテンプレートマッチング処理において求められた最も相関度の高い（つまり、被写体位置に対応する追尾入力画像に対応する）マッチング評価値を用いることができる。最も相関値の高いマッチング評価値の値が予め定めた第１の値以下である場合に基準画像を更新すると判定することができる。
【００４７】
Ｓ１０８でＡＥ制御部３０２は、追尾処理において最も相関度の高いマッチング評価値が得られた追尾入力画像で基準画像を置き換え、写り込んだ測距点マーク部分の画素を補完することにより、基準画像を更新する。
【００４８】
Ｓ１０８における基準画像更新処理について、図６を用いて詳細に説明する。図６は、基準画像５０４を用いた被写体追尾が実施され、６０６の領域を切り出した追尾入力画像６０２について、最も相関度の高いマッチング評価値が得られた場合を模式的に示している。また、ファインダー光学像を測光センサ３０３で撮影した画像６０１には、ファインダー表示部２２０に表示された、被写体位置に近い複数の測距点のマーク６０５が写り込んでいる。また、ここでは更新前の基準画像５０４にも測距点マークが写り込んでいる。
【００４９】
ここで、基準画像の更新にあたっては、図６に示すように、新たに基準画像とする追尾入力画像６０２に写り込んでいる測距点マークの画素を、現在の基準画像において対応する位置の画素で置換することにより、写り込んだ測距点マークを除去する。置換処理後の追尾入力画像６０２を、補完画像６０３として示す。
【００５０】
通常はこの置換処理によって測距点マークは除去できる。しかし、最初に生成された基準画像５０４のように、基準画像に測距点マークが写り込んでいる場合、基準画像５０４と追尾入力画像６０２の双方において同じ位置に写り込んでいる測距点マークは補完画像６０３にも残ってしまう。そこで、ＡＥ制御部３０２は、このような画素を補完画像６０３における周囲の画素値を補間した値で補完し、測距点マークを除去した新基準画像６０４を生成する。そして、次の追尾処理には新基準画像６０４を用いる。
【００５１】
なお、ＡＥ制御部３０２は、現在の基準画素に写り込んでいる測距点マークの位置と、新たな基準画像の元になる追尾入力画像に写り込んでいる測距点マークの位置を、それぞれの選択測距点情報と、測距点マークの情報とから判別可能である。より具体的には、測距点位置ごとに、対応する測距点マークの画像座標を対応付けた情報を予め記憶しておき、選択測距点に応じて対応する測距点マークの画像座標を取得し、切り出し画像範囲でクリッピングすれば良い。あるいは、測距点マークの表示に用いられる特定色の画素を抽出し、測距点マークのパターン（形状および大きさ）に合致する画素を特定することによって測距点マークの画像座標を特定してもよい。なお、これらは単なる例示であり、他の任意の方法を用いることができる。
【００５２】
ＡＥ制御部３０２は、現在の基準画像５０４と新たな基準画像の元になる追尾入力画像６０２の同位置に写り込んでいる測距点マークの画素を特定し、補完画像６０３における周辺画素の値から補完する。補完は、例えば欠陥画素位置の画素値を周辺画素値から求める場合に用いられる方法など、任意の方法で行うことができる。
以上のようにして基準画像を更新することにより、更新後の基準画像には測距点マークが含まれなくなるため、基準画像との相関度に基づく追尾処理の精度に対する測距点マークの影響を抑制することができる。
【００５３】
Ｓ１１４でＡＥ制御部３０２は、Ｓ１０３で測光センサ３０３から読み出した画像データに基づいて自動露出演算を行い、露出演算結果をシステム制御部３０６に出力する。なお、追尾対象である主被写体領域を基準に自動露出演算を行う場合には、基準画像のデータに基づいて自動露出演算を行ってもよい。
【００５４】
Ｓ１１５でシステム制御部３０６は、Ｓ１０６あるいはＳ１１０で得られた、選択測距点についての焦点検出結果に基づいてフォーカシングレンズ２１３を駆動し、自動焦点調節を行う。また、Ｓ１１４の自動露出演算結果に基づいて本撮影時の絞り値とシャッター速度（および必要に応じてさらに撮影感度）を決定する。
【００５５】
Ｓ１１６では、システム制御部３０６は、操作部３０１からＳＷ２信号を受信しているかどうかを判定し、受信していれば処理をＳ１１７に進め、受信していなければ、処理をＳ１０２に戻す。
【００５６】
Ｓ１１７でシステム制御部３０６はメインミラー２０３（およびサブミラー２０４）をアップさせて光路から退避させる。また、直前に行われた自動露出演算の結果に応じて絞り２１４およびフォーカルプレーンシャッタ２１０の制御を行い、本撮影を実行する。その後、システム制御部３０６は、メインミラー２０３（およびサブミラー２０４）をダウンさせ、処理をＳ１０２に戻す。
以上の処理を、ＳＷ１がＯＮである間（ＳＷ１信号を受信している間）繰り返す。ＳＷ１信号を受信しなくなると、図１の処理を終了する。
【００５７】
このように、本実施形態によれば、被写体光学像と付加情報像とが重畳された光学ファインダー像を用いて被写体の追尾処理を行う場合に、追尾処理に用いる基準画像の更新時に、付加情報像を除去することにより、追尾処理の精度に与える影響を抑制できる。
【００５８】
なお、本実施形態では、最初に生成する基準画像に含まれる測距点マークは除去しないものとして説明したが、測距点マークの画素を周辺画素から補完するように構成してもよい。
また、測距点マークを付加情報像の一例として説明したが、他の付加情報像についても同様の処理によって除去することができる。
【００５９】
●(第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、基準画像を更新する際、新たな基準画像とする追尾入力画像に写り込んだ測距点マークを現在の基準画像の画素もしくは周辺画素に基づいて補完することで除去するものであった。しかし、周辺画素からの補間を用いた場合、補完する画素付近の空間周波数が高い場合、適切な補間が困難となる場合があり、結果として被写体追尾処理の精度を低下させることがあった。本実施形態では、被写体追尾処理におけるマッチング処理を変更することで、このような被写体追尾処理の精度低下を抑制することを特徴とする。
【００６０】
本実施形態は、図１のＳ１０４の被写体追尾処理におけるマッチング処理の方法を除き、第１の実施形態と同様であってよいため、マッチング処理についてのみ説明する。本実施形態のマッチング処理は、基準画像あるいは追尾入力画像に含まれる、測距点マークの画素を相関演算の対象から除外することを特徴とする。
【００６１】
図７は、８×８画素の基準画像７０１と追尾入力画像７０２のマッチング処理（相関演算）を模式的に示した図である。図７において、黒色画素が測距点マークの画素を、白色画素が被写体光学像の画素を示している。なお、マッチング領域７０３は、測距点マークの画素について、基準画像７０１と追尾入力画像７０２との論理和を示している。
【００６２】
本実施形態では、マッチング領域７０３における白色画素位置、すなわち基準画像７０１と追尾入力画像７０２のいずれにおいても測距点マークでない位置の画素間の差分値の総和を求める。そして、総和を、マッチング領域７０３中の白色画素の数（差分を求めた画素対の数）で割ることにより正規化した値をマッチング評価値とする。この計算を式で表すと以下のようになる。
【数１】
2015198264.tif 000003
ここで、式（１）のPb(x,y)は基準画像７０１の(x,y)座標の画素値を表し、Pi(x,y)は追尾入力画像７０２の(x,y)座標の画素値を表す。また、関数W(x,y)は、マッチング領域７０３の座標(x,y)において測距点マークの画素（黒色画素）であれば０、被写体光学像の画素（白色画素）であれば１を返す。したがって、基準画像７０１と追尾入力画像７０２の少なくとも一方が測距点マークの画素となる座標についての差分値は必ず０となる。
【００６３】
このようにして求めたマッチング評価値に基づいて被写体位置を検出することにより、基準画像と追尾入力画像の少なくとも一方に測距点マークが写りこんでいる場合でも、測距点マークの影響を受けることなく相関度を計算することができる。つまり、測距点マークの画素を除外し、被写体光学像のみについて相関度を計算できるため、測距点マークが写りこむことによる追尾精度の低下を軽減できる。
【００６４】
また、同様の効果が得られる別の手法として、基準画像７０１と追尾入力画像７０２について、他方の画像に写り込んだ測距点マークの画素を反映させたのちにマッチング処理を行ってもよい。つまり、基準画像７０１と追尾入力画像７０２のいずれもが、マッチング領域７０３に示すような測距点マークの画素を有するようにしてからマッチング処理を行うのである。このように、基準画像７０１と追尾入力画像６０２とで測距点マークの画素を共通化してから、式（１）に従ったマッチング評価値を求める。
【００６５】
測距点マークの画素についてはマッチング処理時に差分値が０になるため、差分値の総和にカウントされない。そして、差分値の総和を測距点マークのない部分の画素数で正規化するので、測距点マークの画素を除外したマッチング評価値を得ることができる。
【００６６】
本実施形態によれば、被写体光学像と付加情報像とが重畳された光学ファインダー像を用いて被写体の追尾処理を行う場合に、付加情報像の画素を除外し、被写体光学像の画素にのみ基づく評価値によって被写体位置を検出する。そのため、測距点マーク近傍における被写体光学像の空間周波数が高い場合でも、精度の良い追尾処理結果を得ることができる。
【００６７】
●（第３の実施形態）
次に、本発明の第３の実施形態について説明する。本実施形態は、現在の基準画像に含まれる測距点マークの画素数を考慮して、基準画像の更新要否を判定することを特徴とする。基準画像に含まれる測距点マークの画素数が少ない場合には、多い場合よりも更新要と判定されにくくすることで、基準画像に測距点マークの画素が入り込む可能性を低減し、被写体追尾処理の精度低下を抑制するものである。
【００６８】
本実施形態は、図１のＳ１０７に相当する基準画像の更新要否判定処理を除き、第１の実施形態と同様であってよい。そのため、以下の説明においては、本実施形態に特徴的な基準画像の更新要否判定処理について説明する。
【００６９】
図８はＳＷ１が押下された状態における本実施形態のＤＳＬＲ１００の動作を示すフローチャートであり、第１の実施形態と同様の処理を行うステップについては図１と同じ参照数字を付して重複する説明を省略する。
【００７０】
Ｓ８０１でＡＥ制御部３０２は、現在の基準画像に含まれる、測距点マークの画素数が所定値よりも少なければ処理をＳ８０２へ、所定値以上であれば処理をＳ８０３に進める。
【００７１】
Ｓ８０２でＡＥ制御部３０２は、Ｓ１０４の被写体追尾処理で得られた最も高い相関度が、第１の判定値よりも高い第２の判定値より高いか比較する。ＡＥ制御部３０２は、相関度が第２の判定値よりも高い場合には処理をＳ１０８へ進め、上述した基準画像の更新処理を行う。一方、相関度が第２の判定値以下であった場合、ＡＥ制御部３０２は基準画像の更新は行わずに処理をＳ１１４へ進める。なお、上述の通り、相関度をマッチング評価値で表す場合、Ｓ８０２の処理は、第１の判定値よりも低い第２の判定値未満かどうかの判定になる。
【００７２】
Ｓ８０３でＡＥ制御部３０２は、Ｓ１０４の被写体追尾処理で得られた最も高い相関度が、第２の判定値よりも低い第１の判定値より高いか比較する。ＡＥ制御部３０２は、相関度が第１の判定値よりも高い場合には処理をＳ１０８へ進め、上述した基準画像の更新処理を行う。一方、相関度が第１の判定値以下であった場合、ＡＥ制御部３０２は基準画像の更新は行わずに処理をＳ１１４へ進める。
【００７３】
このように、基準画像中に含まれる付加情報像の画素数が所定値よりも少ない場合には所定値以上の場合よりも基準画像が更新されにくくすることで、基準画像への付加情報像の画素が混入する確率を低減することができる。
【００７４】
第１および第２の実施形態では、被写体追尾処理の結果の信頼性が高い場合には、最も高い相関度に対応する追尾入力画像に含まれる付加情報像の画素数にかかわらず基準画像の更新を行うものであった。しかし、基準画像に含まれる付加情報像の画素数が多くなると、相関演算における付加情報像の画素の影響が増加したり、相関演算に用いる被写体光学像の画素数が減少するため、相関演算の信頼性が低下するおそれがある。本実施形態によれば、付加情報像の画素数が少ない基準画像については更新されにくくなるため、このような問題の発生を抑制することができる。
【００７５】
●（第４の実施形態）
次に、本発明の第４の実施形態について説明する。本実施形態は、人物の顔のような特定被写体を画像から検出する被写体検出機能を有する場合に、被写体検出機能で検出された特定被写体の位置で基準画像が生成されたかどうかを考慮して、基準画像の更新要否を判定することを特徴とする。特定被写体の位置で基準画像が生成されていれば、正しい追尾が行われる可能性が高いため、そうでない場合よりも更新要と判定されにくくすることで、被写体追尾処理の精度低下を抑制するものである。
【００７６】
本実施形態に係るＤＳＬＲは、ＡＥ制御部３０２またはシステム制御部３０６が画像中の特定被写体領域を検出する機能、例えば顔検出機能を有している。ここでは典型例として、人物の顔が特定被写体であるものとして説明するが、画像の特徴量などに基づいて検出可能な任意の被写体であってよい。顔検出機能は、入力される画像を解析して画像内に存在する全ての顔を検出し、各顔の座標位置と大きさを特定する機能である。
【００７７】
図９はＳＷ１が押下された状態における本実施形態のＤＳＬＲ１００の動作を示すフローチャートであり、第１または第３の実施形態と同様の処理を行うステップについては図１または図８と同じ参照数字を付して重複する説明を省略する。
【００７８】
Ｓ９０１でシステム制御部３０６はＡＥ制御部３０２へ動作開始を指示し、ＡＥ制御部３０２は測光センサ３０３における電荷蓄積および読み出しを実行する。
【００７９】
Ｓ９０２でＡＥ制御部３０２は、測光センサ３０３から読み出した画像に対して顔検出処理を行い、画像内に存在する顔の位置と大きさを検出する。顔が複数検出された場合、ＡＥ制御部３０２はその１つを主顔として選択する。主顔の選択方法は任意だが、最も大きいもの、画面の中央に最も近いもの、ユーザが予め選択してある測距点に最も近いもの、などを例示することができる。顔が１つのみ検出された場合は、その顔が主顔となる。ＡＥ制御部３０２は、主顔の大きさと位置の情報をシステム制御部３０６に通知する。
【００８０】
Ｓ９０３でシステム制御部３０６は、Ｓ９０２で顔が検出されていれば処理をＳ９０４へ進め、検出されていなければ処理をＳ１０９へ進める。
Ｓ９０４およびＳ１０９でシステム制御部３０６はＡＦ制御部３０４へ動作開始を指示し、ＡＦ制御部３０４は、測距センサ３０５における電荷蓄積および読み出しを実行する。また、システム制御部３０６は、ＡＥ制御部３０２から通知された主顔の情報をＡＦ制御部３０４に通知する。
【００８１】
Ｓ９０５でＡＦ制御部３０４は、Ｓ１１０と同様に全ての測距点についてデフォーカス量を演算し、主顔に最も近い測距点を選択測距点とする。あるいは、ＡＦ制御部３０４は、主顔に最も近い測距点についてのみデフォーカス量を演算してもよい。
【００８２】
Ｓ９０６でＡＥ制御部３０２は、Ｓ９０１で測光センサ３０３から読み出した画像から、主顔の検出位置と大きさに合わせて画像を切り出し、新規の基準画像とする。
【００８３】
一方、基準画像フラグがＴｒｕｅの場合には、Ｓ１０６において測距点の選択が行われた後、Ｓ９０７でＡＥ制御部３０２は、現在の基準画像が主顔に対して生成されたもの（Ｓ９０６で生成されたもの）かどうか判定する。そして、ＡＥ制御部３０２は、基準画像が主顔に対して生成されたものであればＳ８０２へ、そうでない（Ｓ１１２で生成された）場合にはＳ８０３へ処理を進める。
【００８４】
Ｓ８０２およびＳ８０３移行の処理は第３の実施形態と同様である。ただし、第１および第２の判定値は第３の実施形態と同一であってもなくてもよい（第２の判定値＞第１の判定値であることは変わらない）。
【００８５】
基準画像が顔検出機能によって検出された主顔について生成された場合、その時点で適切な位置、大きさで生成されていると考えられ、主顔以外の位置で生成された基準画像よりも信頼できると考えられる。そのため、主顔について生成された基準画像は、そうでない基準画像よりも更新されにくくすることで、高い追尾精度を維持するように制御する。
【００８６】
（その他の実施形態）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、被写体の位置を認識する手法に関しては、テンプレートマッチングによる被写体追跡だけでなく、色情報を用いた追跡を用いても良い。
【００８７】
また、現在の基準画像に付加情報像が含まれている場合、更新しない場合であっても、付加情報像の補完に用いる程度に相関が高いと判断される追尾入力画像が得られた場合には、現在の基準画像の付加情報像の画素を追尾入力画像の画素で補完してもよい。これにより、引き続いて実施される被写体追尾処理の精度を向上させることができる。
【００８８】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８９】
２０１…本体、２０２…撮影レンズ、２０３…メインミラー、２０４…サブミラー、２０６…ピント板、２１１…撮像素子、２１２…ディスプレイ、２１３…フォーカシングレンズ、２１４…絞り
【図１】
2015198264.tif 000004
【図２】
2015198264.tif 000005
【図３】
2015198264.tif 000006
【図４】
2015198264.tif 000007
【図７】
2015198264.tif 000008
【図８】
2015198264.tif 000009
【図９】
2015198264.tif 000010
【図５】
2015198264.tif 000011
【図６】
2015198264.tif 000012