(57)【要約】【課題】主被写体の指定に関するユーザの負担を軽減することができる撮像装置を提供すること。【解決手段】追尾処理の開始指示がなされた場合（Ｓ１０００：ＹＥＳ）、撮像装置の状態を確認し、録画中であるなど、撮像装置が所定の状態であった場合（Ｓ１１００：ＹＥＳ）、追尾処理の初期設定（ステップＳ１１５０、ステップＳ１２００）をスキップして、前回の追尾処理で使用した特徴量を再利用し、追尾処理を開始する（ステップＳ１２５以降）。【選択図】図３
2010141728.tif 000002
【特許請求の範囲】
【請求項１】
被写界の光学像から映像データを作成する撮像部と、
被写界における主被写体の特徴量を取得する特徴量取得部と、
取得された特徴量を保持する特徴量保持部と、
作成された映像データおよび保持された特徴量を用いて、前記主被写体を追尾するための所定の処理を行う追尾処理部と、
前記特徴量取得部の動作を有効化または無効化する制御部と、を有し、
前記制御部は、
当該撮像装置が所定の条件を満たす場合、前記特徴量取得部の動作を無効化する、
撮像装置。
【請求項２】
作成された映像データを記録する記録部、をさらに有し、
前記所定の条件は、作成された映像データが前記記録部によって記録されている状態であることを含む、
請求項１記載の撮像装置。
【請求項３】
当該撮像装置の動きを検出する動き検出部、をさらに有し、
前記所定の条件は、前記動き検出部によって当該撮像装置の所定の動きが検出されている状態であることを含む、
請求項１記載の撮像装置。
【請求項４】
前記所定の動きは、当該撮像装置のパンニングまたはチルティングである、
請求項３記載の撮像装置。
【請求項５】
前記制御部は、
前記追尾処理部の動作が開始される場合において、再利用可能な特徴量が前記特徴量保持部に保持されていないときは、当該撮像装置が前記所定の条件を満たすか否かにかかわらず、前記特徴量取得部の動作を有効化する、
請求項１記載の撮像装置。
【請求項６】
当該撮像装置が前記所定の条件を満たしているか否かを通知する通知部、
をさらに有する請求項１記載の撮像装置。
【請求項７】
作成された映像データを表示する表示部、をさらに有し、
前記表示部は、
前記映像データに重畳して前記主被写体の位置を示すマークを表示し、
前記通知部は、
当該撮像装置が前記所定の条件を満たしている場合に、前記マークの表示内容を変更する、
請求項６記載の撮像装置。
【請求項８】
作成された映像データを表示する表示部、をさらに有し、
前記通知部は、
当該撮像装置が前記所定の条件を満たしている場合に、前記表示部に所定のアイコンを表示する、
請求項６記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、被写体追尾機能を備えた撮像装置に関する。
【背景技術】
【０００２】
撮影者（ユーザ）によって特定された被写体、または、所定の条件に基づいて撮像装置によって特定される被写体（以下「主被写体」という）の特徴量を求め、その特徴量を基に画像データ中から主被写体が存在する領域を推定する技術が知られている。特に、連続的に入力される画像データである動画データにおいて主被写体が存在する領域を順次求める処理は、移動する主被写体を追いかけるように動作するため、追尾処理または追跡処理と呼ばれることが多い。なお、本願では、動画データにおいて主被写体を追いかけることを「追尾」と呼ぶことにする。
【０００３】
こうした追尾処理によって主被写体の位置を求め、例えば、主被写体に合焦させる焦点制御や、撮影範囲を調整するフレーミング制御など、主被写体を適切に撮影できるよう撮影制御を行う撮像装置が種々提案されている（例えば、特許文献１および特許文献２参照）。なお、フレーミング制御では、通常、主被写体が画面中央に来るようパンニングやチルティング、ズームなどが行われる。
【０００４】
図７は、特許文献１に記載されている自動追尾機能を有する撮像装置において、主被写体が消失したと判定された際の動作の概要を示す動作概要図である。
【０００５】
図７（Ａ）において、撮影画角１０内には、主被写体２０が存在し、かつ、主被写体２０の抽出を行う基準位置を示す抽出指定位置３０が設定されている。図７（Ｂ）において、主被写体２０が別の物体４０に隠れてしまうと、主被写体２０が検出されなくなる。主被写体２０が検出されなくなると、撮像装置は、抽出指定位置３０の位置を固定して主被写体２０の検出動作を続行する。主被写体２０が抽出指定位置３０内に再び現れた場合、主被写体２０の検出が成功し、撮像装置は、抽出指定位置３０の位置の固定を解除する。
【０００６】
しかし、図７（Ｃ）に示すように、主被写体２０が再び撮影画角１０内に出現した際、主被写体２０が移動していれば、抽出指定位置３０とのずれのため、主被写体２０の検出が成功しない。
【０００７】
そこで、図７（Ｄ）に示すように、主被写体２０を見失った場合、主被写体２０を見失う直前の位置を中心として、抽出指定位置３０の位置を順次変更し、再び主被写体２０が撮影画角１０内に出現した際、主被写体２０を見失った位置とは別の位置に主被写体２０が移動していたとしても、主被写体２０を検出できるようにしている。
【０００８】
主被写体２０を見失った際の抽出指定位置３０の位置探索範囲は、他にもいくつか提案されており、例えば、画面全体や、画面中央に代表される初期位置などが挙げられている。
【０００９】
また、特許文献２に開示されているカメラでは、主被写体の位置を示す追尾視野を、初期位置に復帰させる操作手段が開示されている。主被写体を見失った際には、その操作手段を操作することによって、初期位置に追尾視野を戻す。ここで、初期位置とは、例えば、画面中央のことをいう。初期位置に追尾視野を戻した後の動作としては、主被写体の特徴量をクリアしてユーザの再度の追尾開始指示を待つ方式と、ユーザの再度の追尾開始指示を待つことなく、初期位置において主被写体の特徴量を取得して追尾処理を開始する方式とが提示されている。
【特許文献１】特開平８−００９２２７号公報
【特許文献２】特開昭６１−３４５１６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１記載の追尾方法においては、主被写体を見失った間も主被写体を検出する処理は続行しているため、主被写体が消失したと判定された時点またはそれ以降において、主被写体と似た特徴量を持つ類似被写体や、同じく主被写体と似た特徴量を持つ背景などを、主被写体と誤検出してしまう可能性があった。また、主被写体の前に類似被写体が重なった場合や、主被写体と似た特徴量を持つ領域を背景とする主被写体が障害物に隠れた場合など、主被写体が消失したと判定されないまま、類似被写体や背景などを主被写体と誤検出してしまう可能性もあった。主被写体を検出する画像処理技術に関しては、様々な方法が古くから研究されているが、いずれも精度に限界があるため、こうした誤検出が発生し得る。
【００１１】
したがって、ユーザの指示により、主被写体を見失った時点または主被写体の誤検出の可能性が高いと考えられる時点で、一旦追尾処理を停止させ、主被写体が再度現れたことをユーザが視認できた時点で追尾処理を再開するような仕組みが撮像装置に備えられていることが望ましい。
【００１２】
しかし、特許文献１には、そのような構成に関しては明記されておらず、誤検出を回避するためには、一旦追尾処理を停止させてから、再び主被写体を指定し、追尾処理を開始させる必要がある。本操作は、主被写体が変わっていないにもかかわらず、再度正確に主被写体を指定する必要があるため、ユーザにとって大きな負担を要する操作となり得る。もしユーザが主被写体を不正確に指定してしまった場合、主被写体以外の物体や背景などに対して追尾処理がなされてしまい、ユーザの意図どおりの映像を撮影できなくなる。
【００１３】
また、ユーザの指示による追尾処理の停止および再開に関しては、特許文献２記載の方法が開示されている。しかし、特許文献２記載の方法では、ユーザの指示により追尾視野を初期化すると、特徴量がクリアされてしまうか、または、追尾視野の初期位置の画像を基に特徴量が更新されてしまう。そのため、追尾処理の再開時には特徴量が新しく取得されるため、特許文献２記載の方法においても、ユーザは、正確に主被写体を指定し直す必要がある。
【００１４】
また、障害物などから姿を現した主被写体を指定する場合、特許文献１記載の撮像装置および特許文献２記載のカメラでは、主被写体が完全に姿を現した時点で、主被写体を指定する必要があった。一部だけ見えている状態で主被写体を指定すると、背景や障害物などを含めて特徴量を作成してしまうため、正確な追尾処理を行うことができなくなるからである。この制限もまた、ユーザにとって大きな負担となっていた。
【００１５】
このように、従来の技術では、ユーザは、誤検出回避のために、例えば、追尾処理再開時に毎回主被写体を正確に指定する必要があり、ユーザの負担が大きかった。
【００１６】
本発明は、かかる点に鑑みてなされたものであり、主被写体の指定に関するユーザの負担を軽減することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の撮像装置は、被写界の光学像から映像データを作成する撮像部と、被写界における主被写体の特徴量を取得する特徴量取得部と、取得された特徴量を保持する特徴量保持部と、作成された映像データおよび保持された特徴量を用いて、前記主被写体を追尾するための所定の処理を行う追尾処理部と、前記特徴量取得部の動作を有効化または無効化する制御部と、を有し、前記制御部は、当該撮像装置が所定の条件を満たす場合、前記特徴量取得部の動作を無効化する、構成を採る。
【発明の効果】
【００１８】
本発明によれば、主被写体の指定に関するユーザの負担を軽減することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、各実施の形態では、撮像装置としてビデオカメラを例にとって説明する。
【００２０】
（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置としてのビデオカメラの構成を示すブロック図である。
【００２１】
図１において、ビデオカメラ１００は、光学系１０５、固体撮像素子１１０、アナログデジタル（Ａ／Ｄ）変換部１１５、映像信号処理部１２０、Ｙ／Ｃ変換部１２５、システムバス１３０、バッファメモリ部１３５、コーデック部１４０、記録インタフェース（Ｉ／Ｆ）部１４５、ソケット１５０、追尾部１５５、システム制御部１６０、絞り制御部１６５、レンズ制御部１７０、動き検出部１７５、操作部１８０、および表示部１９０を有する。
【００２２】
光学系１０５は、図示しないが、複数枚のレンズや、露出制御を行う絞り部などから構成されている。光学系１０５を構成するレンズは、合焦状態調節のために光軸に沿って移動するフォーカスレンズと、被写体を含む被写界の光学的な像（光学像）を変倍するため光軸に沿って移動するズームレンズとを含む。被写界の光学像は、光学系１０５を介して固体撮像素子１１０上に結像される。
【００２３】
固体撮像素子１１０は、光学系１０５により結像された光学像を電気信号（アナログ映像信号）に変換する。固体撮像素子１１０としては、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどが用いられる。
【００２４】
Ａ／Ｄ変換部１１５は、固体撮像素子１１０から出力されたアナログ映像信号をデジタル映像信号に変換する。
【００２５】
映像信号処理部１２０は、Ａ／Ｄ変換部１１５から出力されたデジタル映像信号に対して、ゲイン調整やノイズ除去、ガンマ補正、アパーチャ処理、ニー処理などの、周知の映像信号処理を施すことにより、ＲＧＢ形式のデジタル映像信号を映像データとして生成する。生成された映像データは、Ｙ／Ｃ変換部１２５および追尾部１５５にそれぞれ出力される。
【００２６】
すなわち、光学系１０５、固体撮像素子１１０、Ａ／Ｄ変換部１１５、および映像信号処理部１２０は、光学系１０５を介して固体撮像素子１１０にて被写界の光学像を受光し、受光された光学像からデジタル映像信号を映像データとして生成する撮像部を構成する。
【００２７】
Ｙ／Ｃ変換部１２５は、映像信号処理部１２０により生成されたデジタル映像信号の形式をＲＧＢ形式からＹ／Ｃ形式に変換する。Ｙ／Ｃ変換部１２５によってＹ／Ｃ形式に変換されたデジタル映像信号は、システムバス１３０を経由してバッファメモリ部１３５に出力される。
【００２８】
バッファメモリ部１３５は、Ｙ／Ｃ変換部１２５またはコーデック部１４０から出力されたデジタル映像信号をデジタル映像情報として一時的に格納する。
【００２９】
コーデック部１４０は、バッファメモリ部１３５に格納されたデジタル映像情報を、システムバス１３０を経由して取得し、取得したデジタル映像情報に対して不可逆圧縮処理を施すことにより、例えば、ＭＰＥＧ−２（Moving Picture Experts Group phase 2）や、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣ（Moving Picture Experts Group phase 4 Part 10 Advanced Video Coding）などの、所定形式の圧縮映像データを生成する。さらに、コーデック部１４０は、生成した圧縮映像データを、システムバス１３０および記録Ｉ／Ｆ部１４５を経由して、ソケット１５０に電気的に接続された記録媒体１９５に記録する。
【００３０】
また、コーデック部１４０は、ソケット１５０に電気的に接続された記録媒体１９５に記録された圧縮映像データを取得し、取得した圧縮映像データに対して伸張処理を施すことにより、デジタル映像信号を生成する。コーデック部１４０は、生成したデジタル映像信号を、システムバス１３０を経由してバッファメモリ部１３５に出力する。
【００３１】
すなわち、コーデック部１４０および記録Ｉ／Ｆ部１４５は、上記撮像部により生成された映像データを記録媒体１９５に記録する機能と、記録媒体１９５に記録された映像データをビデオカメラ１００に取り込む機能とを兼備する記録部を構成する。
【００３２】
なお、本実施の形態では、記録媒体１９５は、ソケット１５０に対して挿抜自在なリムーバブルメディアであるが、ビデオカメラ１００に内蔵されたハードディスクなどの記録媒体であってもよい。
【００３３】
追尾部１５５は、被写体追尾機能を実現する部分であって、被写界における主被写体の特徴量を取得する特徴量取得部としての特徴量演算部１５６と、特徴量演算部１５６によって取得された特徴量を保持する特徴量保持部としてのメモリ１５７と、映像データおよび主被写体の特徴量を用いて、主被写体を追尾するための所定の処理を行う追尾処理部１５８とを含む。
【００３４】
追尾部１５５は、映像信号処理部１２０により映像データとして生成されたＲＧＢ形式のデジタル映像信号に対して画像縮小処理を適宜施すことにより、画像データを順次生成し、生成した各画像データを内部のメモリ１５７に格納する。
【００３５】
特に、特徴量演算部１５６は、メモリ１５７に格納された各画像データから様々な特徴量を抽出し、抽出した特徴量をメモリ１５７に格納する。また、追尾処理部１５８は、追尾モードが有効化されているときに、メモリ１５７に格納された特徴量に基づいて、被写界における主被写体を追尾するための所定の処理（追尾処理）を実行する。所定の処理（追尾処理）は、例えば、主被写体を撮影領域内に収めるよう撮影領域を変更する処理や、特定の主被写体に合わせて撮影条件を最適化する（後述するＡＦやＡＥなど）など、各種の処理を含むことができる。
【００３６】
ここで、特徴量の抽出について説明する。特徴量演算部１５６は、既知の手法により、画像データから様々な特徴量を抽出することができる。
【００３７】
抽出される特徴量の一例として、システム制御部１６０から指定された画像データにおける特定領域の輝度レベル値が挙げられる。これは露出制御に用いられる。より具体的には、特徴量演算部１５６が特定領域の輝度レベル値を抽出した場合、システム制御部１６０は、抽出された輝度レベル値に基づいて最適な絞り値を計算し、計算した絞り値に基づいて絞りの制御量を絞り制御部１６５に通知する。絞り制御部１６５は、システム制御部１６０から通知された絞りの制御量に基づいて、光学系１０５に備えられた絞り調整装置とシャッタ装置とを駆動することにより、光学系１０５の絞りを調整する。
【００３８】
抽出される特徴量の他の例として、システム制御部１６０から指定された画像データにおける特定領域の高周波成分情報が挙げられる。これは焦点制御に用いられる。映像信号に含まれる高周波成分は、合焦の度合いに対応しており、合焦点において最大値をとる。そこで、一般に「山登り方式」として知られている合焦検出方式では、光学系１０５を構成するフォーカスレンズとズームレンズとを移動させ、高周波成分の最大値を求めることによって、合焦検出動作が行われる。すなわち、特徴量演算部１５６が特定領域の高周波成分情報を抽出した場合、システム制御部１６０は、抽出された高周波成分情報に基づいて、光学系１０５を構成するフォーカスレンズとズームレンズとを制御するためのレンズ制御量を決定し、決定したレンズ制御量をレンズ制御部１７０に通知する。レンズ制御部１７０は、システム制御部１６０から通知されたレンズ制御量に基づいて、光学系１０５を構成するフォーカスレンズとズームレンズとを駆動する。
【００３９】
特徴量演算部１５６は、あらかじめ設定された主被写体の特徴量に基づいて、画像データにおいて主被写体が存在する可能性の高い領域（以下「被写体領域」という）を抽出することもできる。このような処理は、一般に、被写体検出と呼ばれているが、被写体識別または被写体認識と呼ばれることもある。
【００４０】
例えば、特徴量演算部１５６は、画素群の画素値そのものを特徴量として用い、入力画像に対して画素単位での領域比較を行うことにより、被写体領域を決定する。この手法は、一般に、テンプレートマッチングと呼ばれている。
【００４１】
なお、特徴量として、画素値の代わりに、画像領域内の色分布を示す色ヒストグラムを用いてもよい。この場合、特徴量演算部１５６は、入力画像から被写体領域の候補となる領域群を選出し、選出した領域群に対して色ヒストグラムを作成し、作成した色ヒストグラム間の類似度を、ヒストグラムインターセクション法などを用いて計算し、計算の結果、最も高い合致度を呈する画像領域を被写体領域として決定する。
【００４２】
ここで、被写体領域の候補となる領域群は、例えば、前回抽出された被写体領域の位置を中心とする一定範囲の領域内から選出する。これは、主被写体が短時間で大きく移動しないという仮定に基づいており、処理量の削減、および、主被写体から離れた位置に存在する類似被写体を無視することによる検出精度の向上を望むことができる。
【００４３】
また、特徴量として、輪郭を代用してもよいし、フレーム間差分を用いた動き情報などを代用してもよい。
【００４４】
また、特徴量として、ＧａｂｏｒまたはＨａａｒ−Ｌｉｋｅといった既知のウェーブレット特徴量を代用してもよい。あるいは、特徴量として、人間の顔もしくは人体または特定の人物もしくは物体といった検出対象物に応じてサンプル画像を用いて事前学習を行うことによって得られる特徴量を代用してもよい。この場合、特徴量演算部１５６は、得られた特徴量に基づいて、入力画像から検出対象の存在する領域を被写体領域として抽出する。
【００４５】
以上述べたような被写体検出に関する様々な技術は、古くから研究開発されている。本発明は、特定の特徴量にも特定の被写体検出方法にも依存していないため、任意の特徴量および被写体検出方法を用いることができ、また、複数の技術を組み合わせて使用することもできる。
【００４６】
なお、色ヒストグラムや画像テンプレートなどの、サンプル画像を用いた事前学習を必要としない特徴量については、特徴量演算部１５６は、システム制御部１６０から指示があったときに動的に作成する。特徴量の動的作成については後述する。
【００４７】
また、メモリ１５７は、ビデオカメラ１００の電源がＯＦＦされた時や撮影モードが無効化された時などに初期化される。初期化によって、メモリ１５７に保持されていた内容（特徴量など）はすべてクリアされる。
【００４８】
動き検出部１７５は、ビデオカメラ１００の動きを検出する。動き検出部１７５は、図示しないが、例えば、角速度センサおよびＡ／Ｄ変換器から構成されている。システム制御部１６０は、動き検出部１７５の角速度センサの出力に基づいて、ビデオカメラ１００のヨーイング方向およびピッチング方向の動きを検知することができる。なお、動き検出部１７５の構成については、実施の形態２においてより詳細に説明する。
【００４９】
制御部としてのシステム制御部１６０は、ＣＰＵ（Central Processing Unit）、プログラムを記録したＲＯＭ（Read Only Memory）、およびプログラム実行用のＲＡＭ（Random Access Memory）から成り（いずれも図示せず）、システムバス１３０を介してビデオカメラ１００の各部の動作を制御する。
【００５０】
より具体的には、システム制御部１６０は、ユーザが操作部１８０を操作したときに、その操作に応じて操作部１８０から入力される操作情報に従って、ビデオカメラ１００の各部、特に、コーデック部１４０と記録Ｉ／Ｆ部１４５とから構成される記録部と、追尾部１５５内の特徴量演算部１５６（特徴量取得部）と、追尾部１５５内のメモリ１５７（特徴量保持部）と、追尾部１５５内の追尾処理部１５８（追尾処理部）とを制御する。
【００５１】
特に、本実施の形態では、システム制御部１６０は、特徴量演算部１５６の動作を有効化または無効化する制御を行う。具体的には、システム制御部１６０は、ビデオカメラ１００が所定の条件を満たすか否かを判定し、ビデオカメラ１００が所定の条件を満たすと判定した場合に、特徴量演算部１５６の動作を無効化する。ここで、所定の条件とは、ビデオカメラ１００の状態が、主被写体を正確に捉えている可能性が低い状態であって、新しく特徴量を取得するよりも、すでに取得されている特徴量を再利用したほうが好ましいと考えられる場合である。特徴量を再利用したほうが好ましいと考えられる具体例は、次のとおりである。
【００５２】
例えば、第１のケースは、ビデオカメラ１００で撮影（録画）中に一旦追尾を停止させ（撮影は終了しない）、その後、追尾を再開する場合である。これは、撮影中、ユーザが主被写体の指定に気を取られると、撮影中の画像がブレてしまう可能性が高いためである。
【００５３】
第２のケースは、パン速度またはチルト速度が閾値を超えている場合である。この場合には、ビデオカメラ１００を速く動かしているため、主被写体を正確に捉えている可能性が低いためである。
【００５４】
第３のケースは、主被写体を指定するための指定枠内に人体または頭部と推定される領域が存在しない場合である。
【００５５】
なお、本実施の形態では、第１のケースを例にとって説明する。第２のケースは、実施の形態２において説明する。
【００５６】
特徴量演算部１５６の動作を無効化することによって、追尾処理において、すでに取得されている特徴量が再利用される。すなわち、システム制御部１６０は、主被写体を指定する際に、すでに取得されている特徴量を再利用するか、または、新しく特徴量を取得するかを、動的に判断する。
【００５７】
このように、システム制御部１６０は、主被写体が指定された場合、ビデオカメラ１００の状態に応じて、特徴量の取得を行うか否かを判断する。そして、システム制御部１６０は、ビデオカメラ１００の状態が所定の条件を満たしている場合、前回取得した特徴量を再利用し、追尾処理を開始する。ビデオカメラ１００の状態の具体例としては、上記のように、記録中である場合が挙げられる。あるいは、ビデオカメラ１００のチルティング中またはパンニング中といった、画面が動いているため主被写体の正確な指定が難しい場合を条件としてもよい。
【００５８】
これにより、ビデオカメラ１００の状態が所定の条件を満たした場合、前回の特徴量を再利用して追尾処理を行うため、ユーザが主被写体を正確に指定する必要がなくなり、ビデオカメラ１００を操作する負担を軽減することができる。
【００５９】
また、システム制御部１６０は、バッファメモリ部１３５に格納されたデジタル映像情報を、システムバス１３０を経由して取得し、取得したデジタル映像情報に対して画像縮小処理を施すことにより表示データを生成し、生成した表示データを表示部１９０に出力して、表示部１９０の表示画面において表示データを映像として表示させる。したがって、撮影モードが選択されているときは、バッファメモリ部１３５には上記撮像部により生成された映像データが格納されるため、生の映像が表示部１９０に表示される。また、再生モードが選択されているときは、バッファメモリ部１３５には上記記録部により生成された映像データが格納されるため、過去の記録映像が表示部１９０に表示される。
【００６０】
表示データを生成する際、システム制御部１６０は、記録時間情報、バッテリ残量情報、および動作中の機能を直感的に把握可能な各種アイコンなどが、表示画面に表示される映像に重畳されるよう、生成した表示データに対して画像処理を行う。また、操作部１８０が操作されることにより各種設定のためのメニューを表示することが要求された場合、システム制御部１６０は、要求されたメニューが表示画面に表示されるよう表示データに対して画像処理を行う。さらに、メニューの選択、ならびに、設定および設定解除の操作が行われた場合、システム制御部１６０は、それらの操作に応じた画像処理を表示データに対して行う。
【００６１】
表示部１９０は、例えば、小型のＬＣＤ（Liquid Crystal Display）パネルなどの薄型表示パネルを有するほか、電子ビューファインダ（ＥＶＦ：Electric View Finder）を有する。
【００６２】
操作部１８０は、複数の操作部材から構成される。ユーザは、小型の薄型表示パネルまたはＥＶＦに表示された映像を参照しながら、操作部１８０を操作することができる。操作部１８０が操作されたとき、操作部１８０からシステム制御部１６０にその操作情報が入力される。
【００６３】
操作部材は、典型的にはボタンやレバーなどである。操作部材がボタンである場合、ユーザは、操作部材の押下操作を行うことにより、ボタンを解放状態（ＯＦＦ状態）から押下状態（ＯＮ状態）に変化させたり押下状態（ＯＮ状態）から解放状態（ＯＦＦ状態）に復帰させたりする。
【００６４】
なお、操作部材は、操作部材への人体部位の接触を検知することができる、例えば、静電容量方式のセンサを有するものであってもよい。操作部１８０がこのようなセンサを有する場合、システム制御部１６０は、人体部位が操作部材に接触していることが検知されたときには、操作部材が押下状態（ＯＮ状態）を呈していると判定し、人体部位が操作部材に接触していないことが検知されたときには、操作部材が解放状態（ＯＦＦ状態）を呈していると判定する。
【００６５】
図示しないが、操作部１８０は、操作部材として、例えば、録画ボタンおよび追尾ボタンを有する。
【００６６】
録画ボタンは、録画の開始または停止を指示するボタンである。録画ボタンは、押圧されている間は押下状態を呈し、押圧されていない間は解放状態を呈するボタンである。録画ボタンが指で押されて解放状態から押下状態に変化するたびに、システム制御部１６０によって録画開始制御および録画停止制御が交互に行われ、これにより、録画ボタンが一度押されると録画が開始され、録画ボタンがもう一度押されると録画が停止される。すなわち、録画ボタンが１回の押下操作で解放状態から押下状態に変化して押下状態から解放状態に復帰するまでの間に、録画開始および録画停止の一方のみを記録部（図１のコーデック部１４０および記録Ｉ／Ｆ部１４５）に実行させる制御が、システム制御部１６０によって行われる。
【００６７】
追尾ボタンは、追尾の開始または停止を指示するボタンである。追尾ボタンは、押圧されている間は押下状態を呈し、押圧されていない間は解放状態を呈するボタンである。システム制御部１６０が実行する制御により、追尾ボタンが指で押されて解放状態から押下状態に変化する時点で追尾が開始され、追尾ボタンが指で押されている間は追尾が継続され、追尾ボタンから指が離される時点で追尾が停止され、追尾ボタンから指が離れている間は追尾が行われない。すなわち、追尾ボタンが１回の押下操作で解放状態から押下状態に変化して押下状態から解放状態に復帰するまでの間に、追尾開始および追尾停止の双方を追尾部（図１の追尾部１５５）に実行させる制御が、システム制御部１６０によって行われる。
【００６８】
次に、本実施の形態における主被写体の指定方法について説明する。
【００６９】
図２は、本実施の形態における表示部１９０の表示内容の一例を示す図である。図２（Ａ）において、指定枠２１０は、主被写体２００を指定するための枠表示であり、追尾モードが有効になっている場合に画面中央に表示される。指定枠２１０内に主被写体２００を捉えた状態で、操作部１８０を構成する追尾ボタンが押下されると、指定枠２１０内の領域に対応する画像データに基づいて、追尾部１５５内の特徴量演算部１５６にて、追尾処理に使用される特徴量が生成される。
【００７０】
追尾処理が開始されると、図２（Ｂ）に示すように、主被写体２００に追尾枠２２０が重畳して表示される。
【００７１】
次いで、主被写体の追尾結果が自動露出制御および自動焦点制御に適用された場合のビデオカメラ１００における処理の流れについて、図３に示すフローチャートを用いて説明する。
【００７２】
図３のフローチャートにおいて、事前に、ユーザは、操作部１８０を構成するモードダイヤルを操作し、ビデオカメラ１００を撮影モードに遷移させており、かつ、追尾機能を有効化しているものとする。
【００７３】
この状態において、まず、ステップＳ１０００では、システム制御部１６０は、操作部１８０を構成する追尾ボタンが押下状態（ＯＮ状態）にあるか否かを判定する。この判定の結果として、追尾ボタンが押下状態（ＯＮ状態）にある場合は（Ｓ１０００：ＹＥＳ）、ステップＳ１０５０に進み、追尾ボタンが押下状態（ＯＮ状態）にない場合は（Ｓ１０００：ＮＯ）、追尾ボタンが押下状態（ＯＮ状態）になるまで待機する。
【００７４】
そして、ステップＳ１０５０では、システム制御部１６０は、特徴量がすでに取得されているか否か、つまり、特徴量がメモリ１５７に保持されているか否かを判定する。この判定の結果として、特徴量がすでに取得されている場合は（Ｓ１０５０：ＹＥＳ）、ステップＳ１１００に進み、特徴量がまだ取得されていない場合は（Ｓ１０５０：ＮＯ）、直ちにステップＳ１１５０に進む。例えば、ビデオカメラ１００の電源がＯＮされてから最初の追尾指示時や、撮影モードが選択されてから最初の追尾指示時などは、特徴量が取得されていないと判定され、録画中か否かにかかわらず、直ちにステップＳ１１５０に進んで、追尾処理の初期設定（主被写体の位置情報の設定および主被写体の特徴量の取得）を行う。これは、再利用する特徴量が追尾部１５５内のメモリ１５７に保持されていないためである。
【００７５】
ステップＳ１１００では、システム制御部１６０は、ビデオカメラ１００が録画中であるか否かを判定する。この判定は、操作部１８０を構成する録画ボタンが押下状態（ＯＮ状態）にあって記録部（図１のコーデック部１４０および記録Ｉ／Ｆ部１４５）が記録処理を行っているか否かを確認することによって行われる。この判定の結果として、ビデオカメラ１００が録画中である場合は（Ｓ１１００：ＹＥＳ）、直ちにステップＳ１２５０に進み、ビデオカメラ１００が録画中でない場合は（Ｓ１１００：ＮＯ）、ステップＳ１１５０に進む。
【００７６】
ステップＳ１１５０では、システム制御部１６０は、図示しないメモリ（ＲＡＭ）に、指定枠２１０の座標を主被写体位置情報として設定する。
【００７７】
そして、ステップＳ１２００では、追尾部１５５内の特徴量演算部１５６は、既述の方法によって、ステップＳ１１５０で設定した主被写体位置情報が示す位置の部分画像の特徴量を取得する。取得された特徴量は、メモリ１５７に保持される。
【００７８】
すなわち、ステップＳ１１５０およびステップＳ１２００では、追尾処理の初期設定として、追尾処理を開始するために必要な情報が設定される。以降のステップでは、取得した情報に基づいて、追尾処理が実施される。なお、ビデオカメラ１００が録画中である場合は（Ｓ１１００：ＹＥＳ）、ステップＳ１１５０およびステップＳ１２００の処理はスキップされるため、前回の追尾処理で使用した特徴量、および、前回の追尾処理終了時の主被写体位置情報が、以降のステップで再利用されることになる。
【００７９】
ステップＳ１２５０では、追尾部１５５は、被写体領域の検出を行う。具体的には、追尾部１５５は、既述の方法によって、主被写体位置情報を基準として、画像データから被写体候補領域を抽出し、現在メモリ１５７に保持されている特徴量に最も合致する被写体領域を、被写体候補領域から選択し被写体領域とする。
【００８０】
そして、ステップＳ１３００では、システム制御部１６０は、ステップＳ１２５０での被写体領域検出結果が成功であったか否かを判定する。この判定の結果として、被写体領域検出結果が成功であった場合は（Ｓ１３００：ＹＥＳ）、ステップＳ１３５０に進み、被写体領域検出結果が不成功であった場合は（Ｓ１３００：ＮＯ）、直ちにステップＳ１４５０に進む。
【００８１】
ステップＳ１３５０では、システム制御部１６０は、主被写体位置情報を更新する。
【００８２】
そして、ステップＳ１４００では、システム制御部１６０は、ステップＳ１３５０で更新した主被写体位置情報に基づいて、追尾枠２２０の表示を更新する。
【００８３】
ステップＳ１４５０では、システム制御部１６０は、現在の主被写体位置情報に基づいて、既述の方法によって、自動露出（ＡＥ）制御および自動焦点（ＡＦ）制御を行う。
【００８４】
なお、本実施の形態では、被写体領域検出結果が不成功であった場合（Ｓ１３００：ＮＯ）、つまり、主被写体の検出が成功しなかった場合は、直ちにステップＳ１３００からステップＳ１４５０に処理が移行するため、前回の主被写体位置情報に基づいて自動露出制御および自動焦点制御が行われることになる。ただし、主被写体の検出が失敗した場合の処理に関しては種々考えられ、本動作は単にその一例にすぎない。
【００８５】
そして、ステップＳ１５００では、システム制御部１６０は、操作部１８０を構成する追尾ボタンが解放状態（ＯＦＦ状態）にあるか否かを判定する。この判定の結果として、追尾ボタンが解放状態（ＯＦＦ状態）にある場合は（Ｓ１５００：ＹＥＳ）、追尾処理を終了し、追尾ボタンが解放状態（ＯＦＦ状態）にない場合は（Ｓ１５００：ＮＯ）、ステップＳ１２５０に戻り、追尾処理を続行する。
【００８６】
なお、図３に示すフローチャートに基づく追尾処理の実施中、追尾部１５５には、随時、映像信号処理部１２０からデジタル映像信号が入力されており、入力されたデジタル映像信号に基づいて、追尾部１５５内のメモリ１５７の画像データが随時更新されているものとする。
【００８７】
図４は、図３に示すフローチャートに基づく追尾処理の一例を示す説明図である。
【００８８】
図４に示すように、ビデオカメラ１００の電源がＯＮされてから最初の追尾指示時や、撮影モードが選択されてから最初の追尾指示時などの、追尾開始時に主被写体の特徴量が取得され、その後、録画が開始された場合において、録画中に、主被写体が別の物体に隠れるなどしたため、ユーザが追尾を一旦停止した後、追尾を再開する場合には、追尾を停止した際に使用されていた特徴量が再利用される。すなわち、図３に示す処理により、録画中に追尾開始指示がなされた場合、前回の追尾処理で使用した特徴量が再利用される。
【００８９】
このように、本実施の形態によれば、追尾を再開する場合に、ビデオカメラ１００が記録中であるか否かを判定し、ビデオカメラ１００が記録中である場合には、前回取得した特徴量を再利用して追尾処理を開始するため、ユーザが主被写体を正確に指定する必要がなくなり、主被写体の指定に関するユーザの負担を軽減することができる。
【００９０】
（実施の形態２）
実施の形態２は、主被写体の特徴量を再利用するか否かの判定条件として、撮像装置（ビデオカメラ）が略静止しているか否かを判定条件とする場合である。
【００９１】
本実施の形態に係る撮像装置としてのビデオカメラは、図１に示す実施の形態１に対応するビデオカメラ１００と同様の基本的構成を有しており、同一の構成要素は同一の符号を用いて説明する。
【００９２】
本実施の形態の特徴は、ビデオカメラ１００がユーザによってパンニングまたはチルティングされていると判断できる場合、主被写体指定時に、主被写体特徴量を再利用することである。これは、ユーザがビデオカメラ１００のフレーミングに集中しているため、パンニングやチルティングを行っていない場合と比較して、被写体を正確に指定することが困難であると考えられるからである。
【００９３】
ビデオカメラ１００の動きは、動き検出部１７５によって検出される。動き検出部１７５は、例えば、角速度センサおよびＡ／Ｄ変換器から構成されている。これらの構成要素（角速度センサおよびＡ／Ｄ変換器）は、ヨーイング方向の動き検出用とピッチング方向の動き検出用に２組ずつ設けられている。
【００９４】
動き検出部１７５の角速度センサは、ヨーイング方向とピッチング方向の２つの角速度信号を出力する。角速度センサから出力された２つの角速度信号は、それぞれ、動き検出部１７５のＡ／Ｄ変換器でＡ／Ｄ変換された後、システム制御部１６０に通知される。システム制御部１６０は、２つの角速度信号に対してそれぞれハイパスフィルタを適用し低周波成分を遮断した後、角速度信号の積分を行い、角変位信号を得る。システム制御部１６０は、ヨーイング方向の角速度または角変位信号が所定値（第１の閾値）以上の場合、パンニングが行われていると判定する。同様に、システム制御部１６０は、ピッチング方向の角速度または角変位信号が所定値（第２の閾値）以上の場合、チルティングが行われていると判定する。
【００９５】
図５は、本実施の形態における追尾処理の手順を示すフローチャートである。
【００９６】
本実施の形態では、図５に示すように、ステップＳ１１１０を図３に示すフローチャートに挿入し、ステップＳ１１００を削除している。
【００９７】
ステップＳ１０００およびステップＳ１０５０は、図３に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【００９８】
ステップＳ１１１０では、システム制御部１６０は、ビデオカメラ１００が略静止中であるか否かを判定する。この判定は、上記のように、動き検出部１７５の出力を閾値と比較することによって行われる。この判定の結果として、ビデオカメラ１００が略静止中である場合は（Ｓ１１１０：ＹＥＳ）、ステップＳ１１５０に進み、ビデオカメラ１００が略静止中でない場合は（Ｓ１１００：ＮＯ）、直ちにステップＳ１２５０に進む。
【００９９】
ステップＳ１１５０からステップＳ１５００は、図３に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【０１００】
このように、本実施の形態によれば、追尾を再開する場合に、ビデオカメラ１００が略静止中であるか否かを判定し、ビデオカメラ１００が略静止中でない場合には、前回取得した特徴量を再利用して追尾処理を開始するため、ユーザが主被写体を正確に指定する必要がなくなり、主被写体の指定に関するユーザの負担を軽減することができる。
【０１０１】
（実施の形態３）
実施の形態３は、実施の形態１および実施の形態２における表示部１９０の表示内容に関し、主被写体の特徴量が再利用される状態であるか否かをユーザにわかりやすく提示する場合である。
【０１０２】
本実施の形態に係る撮像装置としてのビデオカメラは、図１に示す実施の形態１に対応するビデオカメラ１００と同様の基本的構成を有しており、同一の構成要素は同一の符号を用いて説明する。
【０１０３】
図６は、本実施の形態において、特徴量を再利用すると判定される状況で追尾処理を停止させた場合の表示部１９０の表示の一例を示す図である。本実施の形態では、表示部１９０は、ビデオカメラ１００が所定の条件（録画中、パンニングまたはチルティング中など）を満たしているか否かを通知する通知部としても機能する。
【０１０４】
図６（Ａ）においては、主被写体２００の位置を示すマークである追尾枠２３０の表示が実線から破線に変更されており（図２（Ｂ）参照）、次回追尾処理を行う場合に特徴量を再利用することがユーザに伝わるようになっている。なお、追尾枠２３０の表示形式は一例であり、描画色を変えるなどしてもよい。また、表示部１９０は、追尾枠２３０の表示内容の変更（実線から破線へ）に加えて、補足的にアイコン２４０も表示している。
【０１０５】
図６（Ａ）では、主被写体２００が障害物２５０に隠れそうになっている。この後、図６（Ｂ）に示すように、主被写体２００が障害物２５０から再び姿を見せた場合、ユーザが追尾ボタンを押下すると、特徴量が再利用され、追尾処理が始まる。図６（Ａ）に示す時点での主被写体位置情報を基準として、その周囲から主被写体が探索され、図６（Ｂ）に示すように、障害物２５０から姿を見せた主被写体２００を捉えることができる。
【０１０６】
主被写体２００の検出が試みられる範囲には制限があるため、図６（Ｃ）および図６（Ｄ）に示すように、一旦ビデオカメラ１００を動かして主被写体２００が次に姿を見せるであろう位置に追尾枠２３０を合わせておくと、より確実に主被写体２００を捉えることができる。図６（Ｂ）および図６（Ｄ）においては、主被写体２００の特徴量を再利用しない場合、障害物２５０の特徴量も含めて特徴量を取得してしまうため、以降の追尾処理において性能低下が発生し誤検出の可能性が高くなる。しかし、本発明の方式においてはそのような性能低下は発生しない。
【０１０７】
このように、本実施の形態によれば、表示部１９０は、ビデオカメラ１００が所定の条件（録画中、パンニングまたはチルティング中など）を満たしているか否かを通知するため、次回追尾処理を行う場合に特徴量を再利用することをユーザに伝えることができる。
【０１０８】
以上、本発明の好適な実施の形態について説明した。
【０１０９】
なお、本発明は、上記各実施の形態に限定されるわけではなく、本発明の要旨を逸脱しない範囲において種々の変形を実施し得ることは言うまでもない。特に、特徴量の再利用を判断する条件に関しては、上記した実施の形態１および実施の形態２の各例に限らず、例えば、自動焦点制御を無効化するマニュアル撮影が可能な場合、マニュアル撮影時であるか否かを条件とするなど、撮像装置が有する機能に応じて様々な条件を考えることができる。また、実施の形態１における録画中であるという条件と、実施の形態２におけるパンニングまたはチルティング中であるという条件とを組み合わせるなど、複数の条件を組み合わせてもよい。
【０１１０】
また、上記各実施の形態では、追尾結果を露出制御および焦点制御に対して適用したが、これに限定されない。例えば、光学的制御または電子的制御によって、可及的に主被写体が画面中央に映るようにする自動フレーミング制御に適用するなど、他の撮影機能に対して適用しても何ら問題はない。
【０１１１】
また、実施の形態３で示した表示内容は一例に過ぎず、例えば、主被写体の特徴量が再利用されることをメッセージで表示するようにしてもよい。
【０１１２】
また、上記各実施の形態では、撮像装置としてビデオカメラを例にとって説明したが、追尾機能を有するデジタルカメラその他の撮像装置においても本発明が同様に適用可能であることは明らかである。
【産業上の利用可能性】
【０１１３】
本発明に係る撮像装置は、主被写体の指定に関するユーザの負担を軽減することができる撮像装置として有用である。
【０１１４】
すなわち、かかる被写体指定方法では、例えば、録画中または撮像装置を動かしている時といった、ユーザが正確に主被写体を指定することが難しいと判断される場合には、主被写体の特徴量が再利用されるため、主被写体の指定に関するユーザの負担を軽減することができる。この効果は、被写体追尾機能の操作性を高めるものであり、追尾機能を備えたデジタルカメラやデジタルビデオカメラなどといった種々の動画を撮影可能な撮像装置に対して有用である。
【図面の簡単な説明】
【０１１５】
【図１】本発明の実施の形態１に係る撮像装置としてのビデオカメラの構成を示すブロック図
【図２】本実施の形態における表示部の表示内容の一例を示す図であり、（Ａ）は、主被写体指定時の表示部の表示例を示す図、（Ｂ）は、追尾処理中の表示部の表示例を示す図
【図３】本実施の形態における追尾処理の手順を示すフローチャート
【図４】図３に示すフローチャートに基づく追尾処理の一例を示す説明図
【図５】本発明の実施の形態２における追尾処理の手順を示すフローチャート
【図６】本発明の実施の形態３において、特徴量を再利用すると判定される状況で追尾処理を停止させた場合の表示部の表示の一例を示す図
【図７】従来の自動追尾機能を有する撮像装置において、主被写体が消失したと判定された際の動作の概要を示す動作概要図
【符号の説明】
【０１１６】
１００  ビデオカメラ
１０５  光学系
１１０  固体撮像素子
１１５  Ａ／Ｄ変換部
１２０  映像信号処理部
１２５  Ｙ／Ｃ変換部
１３０  システムバス
１３５  バッファメモリ部
１４０  コーデック部
１４５  記録Ｉ／Ｆ部
１５０  ソケット
１５５  追尾部
１５６  特徴量演算部
１５７  メモリ
１５８  追尾処理部
１６０  システム制御部
１６５  絞り制御部
１７０  レンズ制御部
１８０  操作部
１９０  表示部
１９５  記録媒体
【図１】
2010141728.tif 000003
【図２】
2010141728.tif 000004
【図３】
2010141728.tif 000005
【図４】
2010141728.tif 000006
【図５】
2010141728.tif 000007
【図６】
2010141728.tif 000008
【図７】
2010141728.tif 000009