(57)【要約】【課題】撮像素子出力を、画像の撮影、ＡＦ、ＡＥ、ＡＷＢ、検出追尾など、複数の用途で利用する構成の場合、それぞれの用途で利用する撮像素子領域と適切な信号レベルは異なる場合がある。撮影シーケンス上、撮像素子の利用目的を切り替えた際に露出の変動が発生し、被写体の追尾性能に影響が発生する課題がある。【解決手段】撮像素子の露出状態を切り替える自動露出制御手段、画像データ内から被写体を検出する検出手段、撮像時刻の異なる画像データ間の差分情報を利用する追尾手段、追尾処理の動作内容を指示可能な追尾動作設定手段、を有し、画像データの利用目的が同一の範囲において露出変動する場合は追尾を継続し、画像データの利用目的の変化に伴い一定期間露出状態が切り替わる際に所定を超える露出の変化が発生する場合、追尾動作設定手段により、追尾テンプレート画像更新の停止を含む追尾処理停止を指示し、停止からの追尾再開時、露出変動前に保持していたテンプレート画像を用いて追尾を再開することを特徴とする。【選択図】図９
2018014659.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の露出状態を切り替える自動露出制御手段、画像データ内から被写体を検出する検出手段、撮像時刻の異なる画像データ間の差分情報を利用する追尾手段、追尾処理の動作内容を指示可能な追尾動作設定手段、を有し、
画像データの利用目的が同一の範囲において露出変動する場合は追尾を継続し、画像データの利用目的の変化に伴い一定期間露出状態が切り替わる際に所定を超える露出の変化が発生する場合、追尾動作設定手段により、追尾テンプレート画像更新の停止を含む追尾処理停止を指示し、停止からの追尾再開時、露出変動前に保持していたテンプレート画像を用いて追尾を再開することを特徴とする撮像装置。
【請求項２】
画像データの利用目的は、被写体の検出、被写体の追尾、表示装置への表示、記録媒体への記録、ピントを好適にするＡＦ用評価値取得、露出を好適にするＡＥ用評価値取得、色を好適にするＡＷＢ用評価値取得のいずれかを含むこと特徴とする請求項１に記載の撮像装置。
【請求項３】
追尾動作設定手段は追尾成否判定閾値を再設定することを含み、利用目的の変化に伴う露出変動時、閾値を緩和することで追尾を継続させる請求項１又は請求項２に記載の撮像装置。
【請求項４】
自動露出制御手段は、開口径を調節する絞り機構、露光時間を調節するシャッター機構、撮像素子出力データレベルを調節するゲイン機構、被写体への投光可否と投光量を調節するストロボ機構、のいずれかを含むことを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を検出追尾して撮影する方法、装置に関する。
【背景技術】
【０００２】
撮像素子を使用したデジタルカメラにおいて、撮像素子から得られた画像データ内から被写体を検出及び追尾を行い、その被写体に対してピント、明るさ、色を好適な状態に合わせて撮影することが一般的になっている。検出対象となる被写体として一般的なものとしては、人物の顔や人体、あるいは犬猫などの特定の動物などが知られている。また、タッチパネルなどの画面位置指定手段を備え、撮影者が指定した位置に存在する何らかの物体を追尾する機能も実現されている。
【０００３】
撮像素子から出力される画像データの用途は複数ある。ピントを好適にするＡＦ用の評価値、露出を好適にするＡＥ用の評価値、あるいは、色を好適にするＡＷＢ用の評価値、そして、記録する画像そのものとしての用途などがある。それぞれの用途における撮像素子の使用方法は同一ではなく、撮像素子の信号レベルの適正値や、撮像素子の評価領域、撮像素子の駆動周期などに差が生じる。そしてこれら複数の用途は、それぞれが単独動作もしくは並行動作する。
【０００４】
並行動作する場合、異なる用途すべての要件を満たした撮像素子動作が実現できれば良いが、いずれかの用途の撮像素子駆動要件を満たした結果、別の用途には適さない撮像素子状態となる場合がある。
【０００５】
例えば、全画面を対象として適正露出にするＡＥ設定と、画面の特定の一部にピントを合わせるＡＦ設定がされている場合、撮像素子面での適切な露出値は異なる。両立させる一つの手段として、ＡＥとＡＦを時間排他で実現する設計とした場合、切り替わりの場面で露出変動が発生する。さらに追尾処理を並行動作させていた場合、この露出変動が追尾性能に影響し、誤追尾の発生を招く場合がある。
【０００６】
特許文献１は、このような撮像素子の用途の切り替えを想定したものではないが、輝度信号と色信号という２種類の信号を用いた追尾システムにおいて、輝度信号の相関が得られない場合、色信号を使うことで、一方の方式の性能限界をカバーする提案がなされている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2011-30072号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載の技術では、第１の信号での差分の小さい領域を探索して差分が閾値未満であれば追尾対象らしいと判断するが、撮像素子の用途切り替えが考慮されておらず、撮像素子の用途切り替えにより露出変動がある場合に、誤追尾の可能性が高まってしまう。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明に係る撮像装置は、
撮像素子の露出状態を切り替える自動露出制御手段、画像データ内から被写体を検出する検出手段、撮像時刻の異なる画像データ間の差分情報を利用する追尾手段、追尾処理の動作内容を指示可能な追尾動作設定手段、を有し、画像データの利用目的が同一の範囲において露出変動する場合は追尾を継続し、画像データの利用目的の変化に伴い一定期間露出状態が切り替わる際に所定を超える露出の変化が発生する場合、追尾動作設定手段により、追尾テンプレート画像更新の停止を含む追尾処理停止を指示し、停止からの追尾再開時、露出変動前に保持していたテンプレート画像を用いて追尾を再開することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮像素子出力を複数の用途で使用する撮像装置において、露出変動条件に応じて被写体追尾の実施判定や追尾用画像の更新判定を行うことで、追尾性能の低下を軽減する効果を持つ。
【図面の簡単な説明】
【００１１】
【図１】システム全体図
【図２】カメラ外観図
【図３】撮像素子20の出力を複数の用途で使用することを示したブロック図
【図４】撮像素子で露光した映像領域のうち、評価対象とする領域が用途ごとに異なる様子を示す図
【図５】代表的な撮影シーケンスを説明する図
【図６】撮像素子の用途の切り替わり時の露出変動により、追尾対象のＹ値が変化する様子を例示的に説明する図
【図７】人物顔を被写体とした場合の、人物顔の検出と追尾が正常に行われたタイミング図
【図８】非人物を被写体とした場合に、追尾が正常に行われたタイミング図
【図９】人物顔の検出追尾の動作を例示的に説明する図
【図１０】非人物を被写体として追尾中に、露出変動が発生した様子を図示
【図１１】カメラの全体フローを説明する図
【図１２】判定フローを説明する図
【発明を実施するための形態】
【００１２】
以下、図面に沿って本発明の実施の形態を説明する。
【００１３】
［実施例１］
図１に、実施形態のシステム全体図を示す。
【００１４】
レンズ10により外光を集光する。メカ駆動回路16にてレンズ10を光軸方向に沿って駆動することで焦点や画角を調節可能である。また、カメラブレに応じてレンズを光軸方向以外にも駆動することで手ぶれ補正を行うことも可能である。手ぶれ補正は撮像部20を動かすことでも同様に実現可能である。レンズを通過した光は光量調節機構12,13,14によりその光量を調節することができる。光量調節方法は、口径を変化させる光彩絞り13、光透過量を落とすNDフィルター14、全閉により遮光するメカシャッター12など様々な形態があり、用途に応じて使い分ける。
【００１５】
レンズ10、光量調節機構12,13,14 を通過した光は撮像部20に受光される。撮像部20は撮像駆動回路22からの駆動指示により動作し、受光素子への露光、露光量の調節、露光データの読み出し、読み出した画像信号の増幅/減衰、画像信号のA/D変換などを行う。撮像部20から出力された画像データは画像処理回路40に投入されるか、あるいは一時記憶メモリ(RAM)46に記憶される。
【００１６】
画像処理回路40は、撮像部20から直接、あるいは一時記憶メモリ46を経由して入力された画像データの画像処理や画像解析など様々な処理を行うことができる。撮影時の露出合わせ(AE:AutoExposure)やピント合わせ(AF:AutoFocus)では、撮像部から順次出力される画像データを画像処理回路40を用いて輝度成分や周波数成分を抽出し、これらを評価値として用いることでAE、AF動作を行う。
【００１７】
また、画像処理回路40は撮像部20から得た画像データを現像処理して画質を調節することができ、色合い、階調、明るさ、などを適切に設定して鑑賞に適した写真に仕上げる。また、画像処理回路40は、入力された画像の一部の切り出しや、画像の回転、画像の合成など、各種画像操作を行うことができる。さらに画像処理御回路40では、入力された画像内から人物顔を代表とする被写体を検出することができ、画像内における人物顔の位置、大きさ、傾き、顔の確からしさ情報などを得ることができる。また、検出した人物顔の特徴情報を抽出し、特定の個人であるかを認証することができる。
【００１８】
認証にあたっては、ROM48に記憶されている個人の特徴情報を読み出し、画像処理回路で特徴情報を比較して一致処理を行い、登録済みの個人と一致するかを確認する。また、画像処理回路は人物顔の詳細な解析を行うことができ、例えばその人物の眼を解析して視線方向を検出することができる。
【００１９】
LCDなどの表示装置50は、画像処理回路40で現像処理された画像を表示したり、文字やアイコンを表示することで機器使用者に対する情報伝達手段とすることもできる。
システム100に対して外部メモリ90の挿入や、外部機器92を接続することができる。外部メモリや外部機器を接続することで、画像の授受や互いの機器を動作させるコマンド情報などをやりとりすることができる。
【００２０】
図２に、カメラ外観図を示す。
【００２１】
カメラ前面にはレンズ10が配置され、メインカメラとして被写体像をとらえることができる。レンズ10の同一面にストロボユニット30が配置されている。主被写体が暗い場合にストロボ30を発光させることで十分な光量を得ることができ、暗い中でも速いシャッター速度を保ち、好適な画像を得ることができる。操作部材200,202,210,220,222,224,226,228は、カメラの電源投入、撮影モード切り替え、各種設定、など、ユーザー操作に応じて機能が発動する。
【００２２】
このような構成からなるカメラにおいて、撮像素子の露出変動を回避して検出追尾する方法について説明する。
【００２３】
図３は図１をさらに簡略化し、撮像素子20の出力を複数の用途で使用することを示したブロック図である。
【００２４】
撮像素子からの出力の主な用途として、記録媒体に記録する画像301、画像のピントを好適にするＡＦのためのＡＦ評価値311、画像の露出を好適にするＡＥのためのＡＥ評価値313、画像を色を好適にするＡＷＢのためのＡＷＢ評価値315、そして、被写体を検出及び追尾するための検出追尾用画像317、がある。これら複数の用途は、それぞれが排他的に単独で動作することもあれば、いくつかの用途を並行動作させる場合もある。
【００２５】
例えば静止画撮影前のライブビュー時、被写体を検出しながら、連続的にＡＦ／ＡＥ／ＡＷＢを動作させて検出した被写体を好適な状態にし続け、静止画撮影時は本画像のみを取得する用途として撮像素子を使用する場合がある。
【００２６】
図４は撮像素子で露光した映像領域のうち、評価対象とする領域が用途ごとに異なる様子を示している。図では、映像領域401の画角の中で、ＡＥ領域413がやや内側、ＡＦ領域が画角の一部領域を評価対象とする様子を示している。また、この領域内に配置される各画素値の適正レベルは、ＡＥやＡＦなどの用途ごとに異なる場合がある。例えばＡＥはＹ値レベル７０＠10bit、例えばＡＦはＹ値レベル１２０＠10bitという差が生じる場合がある。さらにＡＥやＡＦやＡＷＢは、これらの領域内を複数に分割して評価する場合もある。
【００２７】
また、撮像素子の参照領域の組み合わせは図４の限りでは無く、映像領域は撮影画像のアスペクト設定や電子ズーム設定に依存し、ＡＦ領域は１点ＡＦやゾーンＡＦといったＡＦ設定に依存し、ＡＥ領域はスポット測光や部分測光や中央重点測光などといったＡＥ測光設定に依存して決められる。
【００２８】
図５に、カメラの代表的な撮影シーケンスを示す。
【００２９】
この図は横軸を時間軸方向とし、撮像状態501と撮像素子の用途503の変化を模式的にあらわしたものである。被写体として人物顔を想定して撮像している。撮像状態のイメージ画像はフレームレートと読み出すデータ量（＝画像の解像度）を表現しており、周期が速いほど時間軸方向に短く、読みだすデータ量が多いほど垂直方向に大きくなるように図示している。ファインダーとしての用途に適した EVF状態511は、Liveビュー用の画像を表示装置に出力すると共に、ＡＦ，ＡＥ，ＡＷＢ，検出追尾を並行動作させている521。露出は主に被写体像を捕えるためのファインダーに適した状態になっている。
【００３０】
EVF状態から SW1が押下される 531。SW1は撮影準備を行う操作であり、静止画用のピント合わせを行うＡＦや、静止画用の露出を決定するＡＥが行われる。静止画用のピントの要求精度は高く、SW1押下時の処理の中ではＡＦに適した露出状態にすることが最優先され、図４において示したＡＦ領域内が所定の輝度レベルになるように露出制御される。また、ＡＦ所要時間短縮化のために高速なフレームレートで撮像素子を駆動する場合があり、この場合シャッター速度の低速化に限界が生じるため、アンダー露出に成る場合がある。
【００３１】
SW1保持状態から SW2が押下される 533。SW2は撮影を行う操作であり、SW1で決定した静止画用のピントと露出で、解像度の高い静止画像を撮影する。静止画用の露出状態は様々あり、ユーザーが任意の露出補正値を選択しているのであればその補正がかかった露出になり、ファインダー用途の露出とは異なるものとなる。また、ストロボ撮影が有効な場合、被写体に対してストロボが発光され、少なくともファインダー用途の露出とな異なるものとなる。
【００３２】
まとめると、図５において、撮像素子の用途の切り替わりである 551, 553, 555, 557において露出が変動する可能性があり、これら用途の切り替わりにおいて、検出追尾を継続的に動作させようとした場合、追尾性能に影響が生じることが懸念される。
【００３３】
図６に、撮像素子の用途の切り替わり時の露出変動により、追尾対象のＹ値が変化する様子を示す。
【００３４】
ファインダー時のＡＥは、ＡＥ領域601がファインダー用途として適正露出になるように動作し、ＡＥ領域の平均Ｙ値が１２０になるように収束するものとしている。この時、被写体として図示している自動車603のＹ値は３０である。このファインダー状態から、いくつかの異なる状態に遷移する例を示す。
【００３５】
ＡＦ時、ＡＦ領域611として自動車を含むエリアが指定されているとした場合、ＡＦ領域内をＡＦに適した露出にした結果、自動車613のＹ値は１２０となる。また、露出補正プラス１段が指定された静止画撮影時、自動車623のＹ値は６０となる。また、ストロボ発光を伴う静止画撮影時、自動車633のＹ値は１２０となる。
【００３６】
このように、ファインダー時は自動車のＹ値が３０だったところ、被写体自体には変化が無いにも関わらず、カメラ側の状態が変わったことで、撮像素子面での自動車のＹ値レベルが変化してしまう場合がある。
【００３７】
図７に、人物顔を被写体とした場合の、人物顔の検出と追尾が正常に行われたタイミング図を示す。
【００３８】
撮像素子上で被写体像が露光され、画像データとして順次読みだされる711〜716。図では、当初正面を向いていた顔が徐々に横顔を向いていく様子が見て取れる。顔検出処理は基本的には全ての画像を検出対象画像として扱う。
【００３９】
顔検出と並行動作する顔追尾処理は、前フレームで検出された顔位置をテンプレート画像とし、現フレームで類似度が高い領域を探索することで追尾を実現している。例えば画像711では、検出処理により検出された顔領域をテンプレート画像とし、画像712の中から類似位置を比較により探し出す731。
【００４０】
人物顔のように、検出手段と追尾手段を併用して顔位置を求める場合、検出手段による結果の方が信頼できるため、検出できればそれを採用する。しかし、画像の複雑度が高い場合や、システム負荷が高い場合に検出にかかる時間が延び722、画像713のように、顔検出されない画像が生じる場合がある。このとき、追尾処理により見つかった類似度の高い領域を人物顔領域として採用することができる732。また、顔が正面から外れていくにしたがって画像715,716からは信頼度の高い顔検出ができなくなる。このとき、追尾処理により顔類似領域を見つけて人物顔位置とすることができる734,735。
【００４１】
図８に、非人物を被写体とした場合に、追尾が正常に行われたタイミング図を示す。撮像素子上で被写体像が露光され、画像データとして順次読みだされる811〜816。図では、物体追尾発動手段として画像の任意の位置をタッチパネルで指定し801、指定位置の物体を追尾することを示している。物体追尾が発動後、テンプレートを逐次更新しながら、現フレームから類似パターンを探索することで、物体追尾を実現する。
【００４２】
図９（ａ）に、撮像素子の露出が一定期間変動した場合に、本発明を適用したことによる人物顔の検出追尾の動作を示す。
【００４３】
図では、画像911,912, 915,916の露出に対し、画像913,914の画像の露出がアンダー露出であることを示している。本来であれば、画像912と913の間、もしくは画像914と915の間で比較による追尾処理を行って人物顔位置を求めておきたいところであるが、露出変動の影響でテンプレート比較による追尾処理が成立しない可能性が高い。図では、露出変動が発生した画像913,914による追尾処理は行わず、画像912に基づいたテンプレートを用いて、画像915との比較による追尾処理を行っていることを図示している932。
【００４４】
図９（ａ）は人物顔が正面を向いているため、顔検出手段により人物顔位置は正しく把握できており、追尾結果は活用されていない。
【００４５】
図９（ｂ）は画像941と942の間で人物顔が横を向いてしまい検出不能となり、追尾手段による人物顔位置の把握が期待される。露出が変動した画像943,944の区間も人物顔は横を向いており顔検出手段による顔位置把握はできていないが、画像942と945の比較による追尾手段により、露出変動による性能影響を回避しながらも、人物顔位置を追尾できている。
【００４６】
図９（ｃ）は露出変動中に人物顔が検出できるようになったケースである。このように顔検出手段に寄り人物顔位置が正しく把握できるようになった場合は、追尾処理結果は活用されないが、顔検出されるかされないかは、顔検出を行ってみないことには分からないため、このように追尾処理を継続しておくことは有効である。
【００４７】
図１０は非人物を被写体として追尾中に、露出変動が発生した様子を図示している。被写体が人物と非人物の差はあるが、図９（ｂ）と同様の効果が得られるケースである。
【００４８】
図１１、図１２ に、カメラへの搭載フローを示す。
【００４９】
図１１に、カメラの全体フローを示す。
【００５０】
このフローは図２で示したカメラの主電源200がOnされてからのフローである。まずシステム起動を行うS103。ここではカメラシステムが動作するに必要なＣＰＵやＬＳＩへの電源供給、クロック供給をはじめ、メモリやＯＳの初期化など、基本システムの起動が行われる。
【００５１】
カメラ内のＣＣＤやＣＭＯＳといった撮像素子の起動や、フォーカスレンズやズームレンズといった鏡筒系デバイスの起動が行われる。メカシャッターやメカ絞りが動作し、撮像素子に外光が導かれ始める。続いて、撮像素子の駆動が開始される S105。
【００５２】
この状態でＡＥ、ＡＦ，ＡＷＢ、検出追尾処理を開始し、撮影対象に対して適切な明るさ、ピント、色になるように制御する S111,S113,S115。これと同時期に、画像表示装置に出力するライブ画像の現像処理も開始され、カメラ操作者はライブビュー映像をＬＣＤパネルなどの表示装置で確認することが可能となる。これはすなわちファインダー用途としての要件を満たした状態であり、撮影者は撮影対象を捕えて画角調節などのフレーミング作業を行うことができる。
【００５３】
このライブビューの定常状態で被写体の明るさに変化があった場合、ＡＥが適正露出に収束するように動作すると同時に、検出追尾処理も動作しており、両立させている。静止画の撮影準備として SW1が押下される S121。SW1押下後、ＡＦに適した露出にするためのＡＦ用のＡＥが行われる。図４で示したように、ＡＦ領域がＡＦに適切な輝度レベルになるようにＡＥが行われる S123。
【００５４】
ＡＦに適した露出になったのち、静止画用の OneShotAF を行うS131。同時に、ＡＦと並行して被写体の検出と追尾を行うが、検出と追尾を両方行うかS137、それとも検出のみを行うかS135の判定を行うS133。
【００５５】
図１２に、判定フローを示す。判定ではまず、前回追尾で使用した画像と今回追尾で使用する画像の露出差分を求め、これが閾値 Th を超えているかどうかをチェックする。
【００５６】
ここでテンプレートのマッチングが成立しないほどの露出差がある場合、誤追尾の恐れがあるため、追尾は行わない判定を下す S225。露出差の判定をクリアしたのち、被写体への投光を目的とした発光部材の発光有無の差異をチェックする。発光部材は、ＡＦの補助光や、静止画撮影時のストロボ光がある。発光の有無が変化する場合、発光した画像と発光していない画像とのマッチングは成立しない懸念があるため、追尾は行わない判定を下す S225。変動がないと判断された場合、追尾は行う S221。
【００５７】
SW1AF完了後はSW1保持状態に遷移し、ServoAF、ServoAE、検出追尾が再開される S141,S143,S145。SW2が押下されたことを検知して静止画撮影を開始する S151。連写撮影の場合、静止画撮影と、静止画と静止画の間にコマ間と称するライブビュー状態を交互に切り換えて連写を実現するS153。高解像度の画像データを得る静止画撮影S161と並行して、静止画画像を利用した検出追尾も行うが、このとき、図１２で示したSW1押下時と同等の露出変動判定により、追尾処理を行うか否かを判定する。
【００５８】
静止画撮影後にコマ間ライブビューが開始されると、ServoAF, ServoAE, 検出追尾を開始する。
【００５９】
以上のように、ファインダー目的のライブビュー、ＡＦ用の露出、静止画、コマ間用のライブビューなど、様々な用途に応じて露出の切り替えが発生しても、本発明により、露出変動による追尾の性能影響を回避することが可能となる。
【００６０】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００６１】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【００６２】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００６３】
10  レンズ、16  メカ駆動回路、20  撮像部、13  光彩絞り、14  NDフィルター
【図１】
2018014659.tif 000003
【図２】
2018014659.tif 000004
【図３】
2018014659.tif 000005
【図４】
2018014659.tif 000006
【図５】
2018014659.tif 000007
【図６】
2018014659.tif 000008
【図７】
2018014659.tif 000009
【図８】
2018014659.tif 000010
【図９】
2018014659.tif 000011
【図１０】
2018014659.tif 000012
【図１１】
2018014659.tif 000013
【図１２】
2018014659.tif 000014