(57)【要約】【課題】追尾対象を撮影画面の所定の位置に捕捉し続ける捕捉性能を向上させる。【解決手段】光学系により結像される対象の像を含む画像を撮像素子で撮像し、画像から対象の像の特徴を検出する。そして、撮像素子により繰り返し撮像される画像から検出された特徴の画像上の移動に基づいて対象の像の移動量を検出するとともに、撮像装置の移動量を検出し、対象の像の移動量と撮像装置の移動量とに基づいて対象の像を光学系による画面内の所定位置に捕捉するための光学系の光軸の移動量を演算し、演算された移動量にしたがって光学系を駆動する。【選択図】図1
2008193399.tif 000002
【特許請求の範囲】
【請求項１】
光学系により結像される対象の像を含む画像を撮像する撮像素子と、
前記画像から前記対象の像の特徴を検出する特徴検出手段と、
前記撮像素子により繰り返し撮像される前記画像から検出された前記特徴の前記画像上の移動に基づいて、前記対象の像の移動量を検出する第１移動量検出手段と、
撮像装置の移動量を検出する第２移動量検出手段と、
前記第１移動量検出手段により検出した前記対象の像の移動量と、前記第２移動量検出手段により検出した撮像装置の移動量とに基づいて、前記対象の像を前記光学系による画面内の所定位置に捕捉するための前記光学系の光軸の移動量を演算する光軸移動量演算手段と、
前記光軸移動量演算手段により演算された移動量にしたがって前記光学系を駆動する駆動手段とを備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記第２移動量検出手段は、撮像装置に生じる角速度を検出し、検出した角速度に基づいて撮像装置の移動量を検出することを特徴とする撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
前記光軸移動量演算手段は、前記対象の像の移動量と撮像装置の移動量とに基づいて前記対象の移動量を演算するとともに、前記第２移動量検出手段で検出された過去の撮像装置の移動量に基づいて将来の撮像装置の移動量を予測し、前記被写体の移動量と予測した撮像装置の移動量とに基づいて将来の前記光学系の光軸の移動量を演算することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関する。
【背景技術】
【０００２】
撮像画像の中から追尾対象の領域を設定して領域内の画像の特徴を抽出し、画像の特徴により撮影画面内の追尾対象の移動ベクトルを求め、移動ベクトルにしたがって撮影レンズの光軸を変えることにより、追尾対象を常に撮影画面の中央に捕捉するようにしたカメラが知られている（例えば、特許文献１参照）。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開２００２−３５４４０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来のカメラでは、追尾対象の移動ベクトルが追尾対象自体の移動量と撮影者によるカメラの移動量との相対差として求められている。追尾対象の移動量は大きく変わらない場合が多いが、撮影者によるカメラの移動量は変動しやすく、次回の撮影時までのカメラの移動量がまったく分からないため、カメラの移動量が大きいと撮影レンズの光軸駆動量も大きくなり、光軸駆動系の応答遅れが大きくなって追尾対象の捕捉性能が低くなるという問題がある。
【課題を解決するための手段】
【０００５】
（１）  請求項１の発明は、光学系により結像される対象の像を含む画像を撮像する撮像素子と、画像から対象の像の特徴を検出する特徴検出手段と、撮像素子により繰り返し撮像される画像から検出された特徴の画像上の移動に基づいて、対象の像の移動量を検出する第１移動量検出手段と、撮像装置の移動量を検出する第２移動量検出手段と、第１移動量検出手段により検出した対象の像の移動量と、第２移動量検出手段により検出した撮像装置の移動量とに基づいて、対象の像を光学系による画面内の所定位置に捕捉するための光学系の光軸の移動量を演算する光軸移動量演算手段と、光軸移動量演算手段により演算された移動量にしたがって光学系を駆動する駆動手段とを備え、これにより上記課題を解決する。
（２）  請求項２の撮像装置は、第２移動量検出手段によって、撮像装置に生じる角速度を検出し、検出した角速度に基づいて撮像装置の移動量を検出するようにしたものである。
（３）  請求項３の撮像装置は、光軸移動量演算手段によって、対象の像の移動量と撮像装置の移動量とに基づいて対象の移動量を演算するとともに、第２移動量検出手段で検出された過去の撮像装置の移動量に基づいて将来の撮像装置の移動量を予測し、被写体の移動量と予測した撮像装置の移動量とに基づいて将来の光学系の光軸の移動量を演算するようにしたものである。
【発明の効果】
【０００６】
本発明によれば、光軸駆動系の応答遅れが少なくなり、追尾対象を撮影画面の所定の位置に捕捉し続ける捕捉性能を向上させることができる。
【発明を実施するための最良の形態】
【０００７】
図１は一実施の形態の撮像装置５０の構成を示す。撮像センサー１は撮影レンズ２により結像される被写体像を撮像し、撮像信号を出力する。ＡＦモーター４は撮影レンズ２のフォーカシングレンズ（不図示）を駆動し、ＡＦモーター駆動量検出部５はＡＦモーター４の駆動量を検出する。ＡＦモーター制御部６は、マイクロコンピューター５１からの駆動量指令値とＡＦモーター駆動量検出部５からの駆動量検出値とに基づいてＡＦモーター４を駆動制御する。撮影距離検出部７は撮影距離Ｌを検出し、焦点距離検出部８は焦点距離ｆを検出する。
【０００８】
画像処理部１１は撮像センサー１の撮像信号を処理し、画像データ書き込み制御部１２は撮像画像を記録媒体１３と画像メモリ１４へ書き込む。焦点検出部１５は、画像メモリ１４に記憶されている撮像画像に基づいて撮影レンズ２の焦点調節状態を検出する。動きベクトル算出部１６は、画像メモリ１４に記憶されている撮像画像に基づいて主要被写体の動きベクトルを算出する。光軸移動モーター２１、２２は撮像センサー１や撮影レンズ２を含む可動部１０を移動し、撮影レンズ２の光軸９を移動する。光軸方向検出部２３、２４は撮影レンズ２の光軸９の移動量を検出する。光軸移動制御部２５はマイクロコンピューター５１からの移動指令にしたがって光軸移動モーター２１、２２により撮影レンズ光軸９を移動する。
【０００９】
角速度センサー３１、３２は撮影者によるカメラの角速度を検出し、カメラ移動量検出部３３は撮影者によるカメラの移動量を検出する。マイクロコンピューター５１はカメラの各種制御を実行する。マイクロコンピューター５１にはエリアセレクター４１、エリア表示器４２、画像表示部４３、レリーズボタン４４などが接続されている。
【００１０】
図２は一実施の形態の撮像動作を示すフローチャートである。撮影者がカメラの電源スイッチ（不図示）をオンすると、マイクロコンピューター５１はステップ１０１から撮像動作を開始する。ステップ１０２で撮影者がエリアセレクター４１を操作して選択した撮影画面内の位置を入力し、エリア表示部４２に表示する。この位置には撮影者が撮影対象とする被写体（以下、主要被写体という）が存在し、以後の撮影動作においてはこの主要被写体が撮影画面内の上記選択位置に来るように、撮影レンズ２の光軸９の方向を移動する。撮影者がカメラをパーンニングさせながら主要被写体を追いかけて複数駒の連続撮影をするときに、主要被写体が常に各駒の画面の前記選択位置に来るように撮影者がカメラの光軸方向を調節することは困難であり、撮影者に代わってカメラが主要被写体が常に各駒の画面の任意の位置に来るように撮影レンズ２の光軸９の方向を調節する。
【００１１】
ステップ１０３でレリーズボタン４４の半押しスイッチ（不図示）がオンしているか、すなわちレリーズ半押し操作が行われたか否かを確認し、レリーズ半押し操作が行われるとステップ１０２で選択された位置にある被写体を撮影者が撮影対象とする主要被写体であると認識する。続くステップ１０４でカメラの移動量（角度）を検出する角速度センサー３１、３２からの出力を開始し、カメラ移動量検出部３３で角速度センサー３１、３２の出力信号に基づいてカメラの移動量（角度）、すなわち撮影者によるカメラのパーンニングを検出する。
【００１２】
ステップ１０５から撮像動作を開始するが、ここでは説明を解りやすくするためにｎ回目の撮像動作であるとして説明する。ステップ１０５において、前回すなわち(ｎ−１)回目までの撮像により取得した画像に基づいて、焦点検出部１５でコントラスト検出などの方法により撮影レンズ２の焦点調節状態を検出する。続くステップ１０６では焦点検出結果に基づいてＡＦモーター制御部６、ＡＦモーター駆動量検出部５およびＡＦモーター４を制御し、撮影レンズ２のフォーカシングレンズ（不図示）を光軸９の方向に移動して撮影レンズ２の焦点調節を行う。焦点調節後のステップ１０７で撮影距離検出部７により撮影距離Ｌを検出するとともに、焦点距離検出部８で焦点距離ｆを検出する。
【００１３】
ステップ１０８において、レリーズボタン４４の全押しスイッチ（不図示）がオンしているか、すなわちレリーズ全押し操作が行われたか否かを確認する。レリーズ全押し操作が行われていないときはステップ１０９へ進み、撮像センサー１によりｎ回目の撮像を行う。ｎ回目の撮像後にステップ１１０〜１１３の処理と、ステップ１５１〜１５２の処理と、ステップ１６１〜１６２の処理とを同時に実行する。
【００１４】
まず、ステップ１１０では撮像センサー１から撮像信号を画像処理部１１へ読み出し、撮像信号に対しサンプリング、ノイズ除去、感度補正、Ａ／Ｄ変換などの処理を施して画像データを生成し、さらにこの画像データに対し画素補間、解像度変換、ホワイトバランス制御、ガンマ補正、マトリクス演算、画像圧縮などの処理を施す。画像処理後の続くステップ１１１で、画像データ書込み制御部１２により画像メモリ１４へ画像データを転送して記録するとともに、画像表示部４３に撮像画像を表示する。ステップ１１２において撮像回数ｎ＝１すなわち初回の撮像か否かを確認し、初回の撮像であれば主要被写体の移動量すなわち動きベクトルを演算できないから撮像回数ｎをインクリメントしてｎ＝２とし、ステップ１０５へ戻って上述した処理を繰り返す。
【００１５】
ステップ１０９のｎ回目の撮像後には、ステップ１５１〜１５２で(ｎ−１)回目の前回の撮像からｎ回目の今回の撮像までのカメラの移動量（角度）を算出する。まず、ステップ１５１で角速度センサー３１、３２の出力（角速度）から検出されるカメラ移動量（角度）の積算処理を終了する。次に、ステップ１５２でカメラ移動量検出部３３によりカメラ移動量の積算結果に基づいて(ｎ−１)回目の撮像からｎ回目の撮像までの間の、カメラが撮影者によって移動された移動量Ｄ２１（角度）を算出し、像面上での移動量ＤＺ２１に換算する。この計算方法については詳細を後述する。その後、ステップ１１４へ進む。
【００１６】
ステップ１０９のｎ回目の撮像後にはまた、ステップ１６１〜１６２でｎ回目の今回の撮像から(ｎ＋１)回目の次回の撮像までのカメラの移動量（角度）を予測する。まず、ステップ１６１で角速度センサー３１、３２の出力（角速度）から検出されるカメラ移動量（角度）の積算処理を開始する。次に、ステップ１６２でカメラ移動量検出部３３によりステップ１５１のカメラ移動量の積算結果に基づいてｎ回目から(ｎ＋１)回目までの、カメラが撮影者によって移動される移動量Ｄ３２（角度）を予測演算し、画面上での移動量ＤＺ３２に換算する。この計算方法についても後述する。その後、ステップ１１５へ進む。
【００１７】
一方、ステップ１０８でレリーズ全押し操作が行われたときはステップ１４１へ進み、撮像センサー１によりｎ回目の撮像を行う。ｎ回目の撮像後にステップ１４２〜１４４の処理と、上述したステップ１５１〜１５２の処理およびステップ１６１〜１６２の処理とを同時に実行する。まず、ステップ１４２で画像処理部１１により撮像画像の処理を行い、続くステップ１４３で画像データ書き込み制御部１２により画像メモリ１４へ画像を記録するとともに、画像表示部４３に画像を表示する。ステップ１４４で記録媒体へ撮像画像の保存を行う。
【００１８】
ステップ１１３において、動きベクトル算出部１６により(ｎ−１)回目の撮像画像とｎ回目の撮像画像から画像の特徴量を抽出し、主要被写体の動きベクトルＭ２１を演算する。画像の特徴量は輝度や色などであり、主要被写体の特徴量と同様な特徴量の領域を撮影画面内から検索し、(ｎ−１)回目からｎ回目までの撮影画面内の主要被写体の動きベクトルＭ２１を求める。
【００１９】
ステップ１１４において主要被写体の像面上での移動量ＰＺ２１を次式により算出する。
ＰＺ２１＝ＤＺ２１＋ＥＺ２１＋Ｍ２１  ・・・（１）
（１）式において、Ｍ２１はステップ１１３で求めた主要被写体の動きベクトル、ＤＺ２１はステップ１５２で求めた像面上換算のカメラ移動量、ＥＺ２１は後述するステップ１１６で求められる(ｎ−１)回目の前回の撮像からｎ回目の今回の撮像までの光軸移動量である。
【００２０】
ステップ１１５では(ｎ＋１)回目の次回の撮像までに移動させるべき光軸移動量（像面上における移動量）ＥＺ３２を次式により算出する。
ＥＺ３２＝ＰＺ２１−ＤＺ３２＋Ｍ２１  ・・・（２）
（２）式において、ＰＺ２１はステップ１１４で求めた像面上での主要被写体の移動量、ＤＺ３２はステップ１６２で求めた像面上換算のカメラの予測移動量である。
【００２１】
ステップ１１６において撮影レンズ２の光軸９を移動させるべき量、すなわち像面上換算の移動量ＥＺ３２を光軸移動モーター２１、２２の駆動量に換算する。続くステップ１１７で光軸移動制御部２５により光軸方向検出部２３、２４から実際の移動量をフィードバックしながら光軸移動モーター２１、２２を駆動制御し、撮影レンズ２や撮像センサー１を含む可動部１０を移動させる。
【００２２】
ステップ１１８でレリーズボタン４４の全押しまたは半押しが行われているか否かを確認し、全押しまたは半押し操作があればステップ１０５へ戻り、撮像回数ｎをインクリメントして上述した処理を繰り返す。レリーズボタン４４が解放されているときはステップ１１９へ進み、所定時間が経過してタイムアウトになったか、もしくは撮影者により電源スイッチがオフにされたかを検出し、どちらかが発生するとステップ１２０へ進み、そうでなければステップ１１８へ戻る。ステップ１２０で角速度センサー３１、３２の出力をオフにし、続くステップ１２１でカメラの電源をオフにして処理を終了する。
【００２３】
図３は、移動する主要被写体、撮影者によるカメラの移動量および光軸移動モーターによる光軸移動量の関係を示す図である。図４は、図３に示す時刻Ｔ１、Ｔ２、Ｔ３において撮像される主要被写体の位置、選択エリアの位置および動きベクトルの関係を示す図である。さらに、図５は、角速度センサーの出力から撮影者によるカメラの移動量を算出する方法を示す図である。これらの図により、上述した撮影者によるカメラの移動量ＤＺ２１とＤＺ３２、主要被写体の移動量ＰＺ２１、光軸移動モーターによる移動量ＥＺ３２の算出方法を詳細に説明する。
【００２４】
まず、撮影者によるカメラの移動量ＤＺ２１の算出方法を説明する。撮影者がＳの位置におり、移動被写体がＰ(t)の軌跡上を移動するものとする。時刻Ｔ１は(ｎ−１)回目の撮像時刻であり、その時刻における移動被写体の位置をＡ１とし、移動被写体は画面内において選択されたエリア位置Ｆに存在するものとする。時刻Ｔ２はｎ回目の撮像時刻であり、その時刻における移動被写体の位置をＡ２とし、移動被写体は時刻Ｔ１において画面内で存在していたＢ２より移動ベクトルＭ２１だけずれた位置に存在するものとする。
【００２５】
角速度センサー３１、３２から検出される、撮影者がカメラを移動する角速度をＶ(t)とすると、時刻Ｔ１からＴ２の間に撮影者がカメラを移動する角度Ｄ２１は次式で求められる。
Ｄ２１＝∫Ｖ(t)dt  ・・・（３）
（３）式において、∫はＴ１からＴ２までの積分を表す。撮影距離をＬ、焦点距離をｆとして上記角度Ｄ２１から像面換算の移動量ＤＺ２１を求める。
ＤＺ２１＝ＫＡ（Ｌ、ｆ）・Ｄ２１  ・・・（４）
（４）式において、ＫＡは係数であり、撮影距離Ｌと焦点距離ｆの関数である。
【００２６】
次に、撮影者によるカメラの移動量ＤＺ３２の算出方法について説明する。時刻Ｔ３における(ｎ＋１)回目の撮像までの間に、ステップ１１５からステップ１１７の光軸移動までを完了するために必要な時間をΔｔとすると、時刻Ｔ２から(Ｔ３−Δｔ)の間に撮影者がカメラを移動する角度ＤＴ３２は次式により求められる。
ＤＴ３２＝∫Ｖ(t)dt  ・・・（５）
（５）式において、∫はＴ２から(Ｔ３−Δｔ)までの積分を表す。時刻(Ｔ３−Δｔ)における角速度Ｖ(Ｔ３−Δｔ)のまま、時刻Ｔ３まで撮影者がカメラを移動するものとし、その間のカメラを移動する角度（予測）ΔＤＴ３２は次式で求められる。
ΔＤＴ３２＝Ｖ・(Ｔ３−Δｔ)  ・・・（６）
また、時刻Ｔ２からＴ３の間に撮影者がカメラを移動する角度（予測）Ｄ３２は、
Ｄ３２＝ＤＴ３２＋ΔＤＴ３２  ・・・（７）
上記角度Ｄ３２は、係数ＫＡを用いて像面換算の移動量（予測）ＤＺ３２に変換される。
ＤＺ３２＝ＫＡ(Ｌ，ｆ)・Ｄ３２  ・・・（８）
（８）式において、ＫＡは係数であり、撮影距離Ｌと焦点距離ｆの関数である。
【００２７】
光軸移動モーターにより光軸移動する量ＥＺ３２の算出方法を説明する。移動被写体の移動速度は、時刻Ｔ１からＴ２までの間と時刻Ｔ２からＴ３までの間とで等しいものとし、(Ｔ２−Ｔ１)＝(Ｔ３−Ｔ２)とすれば、時刻Ｔ２からＴ３までの間の移動被写体の移動量（像面）はステップ１１４で求めたＰＺ２１と等しい。また、時刻Ｔ２からＴ３までのカメラの移動量はＤＺ３２であり、(ｎ−１)回目の撮影（時刻Ｔ１）において、撮影者が選択したエリア位置にあった移動被写体が、ｎ回目の撮影（時刻Ｔ２）において動きベクトルＭ２１の分だけずれているので、これを加味し、（２）式により光軸の移動する量ＥＺ３２を求める。これにより、時刻Ｔ３においては選択したエリア位置に移動被写体が存在するようにする。
【００２８】
以上で説明した被写体の動きを像面上に示すと図４のようになる。(ａ)は時刻Ｔ１の像面上での状態を示し、選択エリアＦの位置に移動被写体Ａ１が存在する。(ｂ)は時刻Ｔ２の像面上での状態を示し、時刻Ｔ１において選択エリアＦの位置にあった移動被写体を仮想的にＢ２として示し、時刻Ｔ２における実際の移動被写体をＡ２とする。Ｂ２からＡ２へのベクトルが、算出される移動ベクトルＭ２１である。(ｃ)は時刻Ｔ３の像面上での状態を示し、時刻Ｔ２におけるＡ２、Ｂ２が撮影者によるカメラ移動と光軸移動によって時刻Ｔ３ではそれぞれＡ３、Ｂ３の位置に存在し、実際の移動被写体Ａ３が選択エリアＦの位置となる。このように、一実施の形態によれば、光軸駆動系の応答遅れが少なくなり、追尾対象を撮影画面の所定の位置に捕捉し続ける捕捉性能を向上させることができる。
【００２９】
上述した計算方法の説明では、説明を解りやすくするために各種移動量をスカラーであるように記述したが、実際には二次元の移動量であるので、以上の計算をベクトルとして計算すればそのまま二次元の移動量として扱うことができる。
【図面の簡単な説明】
【００３０】
【図１】一実施の形態の構成を示す図
【図２】一実施の形態の撮像動作を示すフローチャート
【図３】移動する主要被写体、撮影者によるカメラの移動量および光軸移動モーターによる光軸移動量の関係を示す図
【図４】図３に示す時刻Ｔ１、Ｔ２、Ｔ３において撮像される主要被写体の位置、選択エリアの位置および動きベクトルの関係を示す図
【図５】角速度センサーの出力から撮影者によるカメラの移動量を算出する方法を示す図
【符号の説明】
【００３１】
１  撮像センサー
２  撮影レンズ
１１  画像処理部
１６  動きベクトル算出部
２１、２２  光軸移動モーター
２３、２４  光軸方向検出部
２５  光軸移動制御部
３１、３２  角速度センサー
３３  カメラ移動量検出部
５１  マイクロコンピューター
【図１】
2008193399.tif 000003
【図２】
2008193399.tif 000004
【図３】
2008193399.tif 000005
【図４】
2008193399.tif 000006
【図５】
2008193399.tif 000007