(57)【要約】【課題】主被写体の振れ補正の精度を高めることが可能な制御装置を提供する。【解決手段】制御装置（１４１）は、振れ検出手段（１１１、１７１）から取得された振れ情報（ωＧ）と、画像信号から取得された動きベクトル情報とに基づいて、被写体像の撮像面上の移動量（ν）を検出する検出手段（１５４）と、被写体像の移動量（ν）と動きベクトル情報（νＢ）と被写体像の取得周期（ρ）とに基づいて、被写体角速度（ω）を算出する算出手段（１５５）と、被写体角速度に基づいて被写体振れを補正する補正手段（１５２）とを有する。【選択図】図１
2020118789.tif 000002
【特許請求の範囲】
【請求項１】
振れ検出手段から取得された振れ情報と、画像信号から取得された動きベクトル情報とに基づいて、被写体像の撮像面上の移動量を検出する検出手段と、
前記被写体像の前記移動量と前記動きベクトル情報と前記被写体像の取得周期とに基づいて、被写体角速度を算出する算出手段と、
前記被写体角速度に基づいて被写体振れを補正する補正手段と、を有することを特徴とする制御装置。
【請求項２】
前記算出手段は、前記動きベクトル情報に基づくゲインを焦点距離に乗算して得られた値を用いて、前記被写体角速度を算出することを特徴とする請求項１に記載の制御装置。
【請求項３】
前記算出手段は、前記動きベクトル情報のうち背景領域のベクトル情報と、前記振れ情報に基づく前記撮像面上の移動量とに基づいて、前記ゲインを算出することを特徴とする請求項２に記載の制御装置。
【請求項４】
前記算出手段は、前記振れ検出手段のオフセット成分が所定の閾値よりも小さい場合、前記焦点距離に前記ゲインを乗算して得られた前記値を用いて前記被写体角速度を算出することを特徴とする請求項３に記載の制御装置。
【請求項５】
前記算出手段は、前記振れ検出手段の前記オフセット成分が前記所定の閾値よりも大きい場合、前記ゲインを用いずに前記焦点距離を用いて前記被写体角速度を算出することを特徴とする請求項４に記載の制御装置。
【請求項６】
前記算出手段は、撮影状況に応じて、前記被写体角速度の算出方法を変更することを特徴とする請求項１乃至５のいずれか１項に記載の制御装置。
【請求項７】
前記算出手段は、
前記撮影状況が第１の状況である場合、レンズ装置から取得された情報に基づいて前記被写体角速度を算出し、
前記撮影状況が第２の状況である場合、前記被写体像の前記移動量と前記動きベクトル情報と前記被写体像の取得周期とに基づいて前記被写体角速度を算出することを特徴とする請求項６に記載の制御装置。
【請求項８】
前記算出手段は、前記撮影状況が前記第１の状況である場合、前記動きベクトル情報、前記被写体像の取得周期、前記レンズ装置の撮像光学系の前側主点を基準とした被写体までの第１の距離、前記撮像光学系の後側主点を基準とした撮像面までの第２の距離、および、前記被写体と前記撮像面との間の第３の距離に基づいて、前記被写体角速度を算出することを特徴とする請求項７に記載の制御装置。
【請求項９】
被写体像を光電変換する撮像素子と、
請求項１乃至８のいずれか１項に記載の制御装置と、を有することを特徴とする撮像装置。
【請求項１０】
振れ検出手段から取得された振れ情報と、画像信号から取得された動きベクトル情報とに基づいて、被写体像の撮像面上の移動量を検出するステップと、
前記被写体像の前記移動量と前記動きベクトル情報と前記被写体像の取得周期とに基づいて、被写体角速度を算出するステップと、
前記被写体角速度に基づいて被写体振れを補正するステップと、を有することを特徴とする制御方法。
【請求項１１】
請求項１０に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像システム、撮像装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、流し撮りの補助機能を有する撮像装置が知られている。特許文献１には、被写体の速度と撮像装置を振る速度との差分を検出し、この差分に相当するズレ量を、手振れ補正機能を用いて補正する方法が開示されている。特許文献２は、主被写体の像面上の移動量から移動角速度へ変換する際に、焦点距離の代わりに撮像装置の回転中心と撮像素子の撮像面との光軸上の結像点までの距離を用いることで、主被写体角速度の精度を向上させる方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３１７８４８号公報
【特許文献２】特開２０１８−３７７６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１または特許文献２に開示された方法によれば、レンズ交換式のカメラシステムにおいて焦点距離を取得することは可能である。しかし、この方法では、回転中心に基づく距離または、撮像光学系の前側主点を基準とした被写体までの第１の距離、撮像光学系の後側主点を基準とした撮像面までの第２の距離、被写体と撮像面との間の第３の距離を取得することができない場合がある。これは、レンズ交換式のカメラシステムにおいて、撮像装置は、焦点距離などのレンズに応じて決定される情報を専用のレンズ通信を介して取得するためである。すなわち、撮像装置に装着されたレンズが専用のレンズ通信に対応していない場合、撮像装置はレンズ装置から必要な情報を取得できず、振れ補正の精度を高めることができない。
【０００５】
そこで本発明は、主被写体の振れ補正の精度を高めることが可能な制御装置、撮像装置、制御方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面としての制御装置は、振れ検出手段から取得された振れ情報と、画像信号から取得された動きベクトル情報とに基づいて、被写体像の撮像面上の移動量を検出する検出手段と、前記被写体像の前記移動量と前記動きベクトル情報と前記被写体像の取得周期とに基づいて、被写体角速度を算出する算出手段と、前記被写体角速度に基づいて被写体振れを補正する補正手段とを有する。
【０００７】
本発明の他の側面としての撮像装置は、被写体像を光電変換する撮像素子と前記制御装置とを有する。
【０００８】
本発明の他の側面としての制御方法は、振れ検出手段から取得された振れ情報と、画像信号から取得された動きベクトル情報とに基づいて、被写体像の撮像面上の移動量を検出するステップと、前記被写体像の前記移動量と前記動きベクトル情報と前記被写体像の取得周期とに基づいて、被写体角速度を算出するステップと、前記被写体角速度に基づいて被写体振れを補正するステップとを有する。
【０００９】
本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させることを特徴とするプログラム。
【００１０】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１１】
本発明によれば、主被写体の振れ補正の精度を高めることが可能な制御装置、撮像装置、制御方法、および、プログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態における撮像システムのブロック図である。
【図２】本実施形態における光学補正系の制御ブロック図である。
【図３】本実施形態における像面上の被写体の動き量の説明図である。
【図４】本実施形態における回転中心距離の説明図である。
【図５】本実施形態における制御方法を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１４】
まず、図１を参照して、本実施形態におけるカメラシステム（撮像システム）１０の構成について説明する。図１は、カメラシステム１０のブロック図である。カメラシステム１０は、カメラ本体（撮像装置）１３０と、カメラ本体１３０に着脱可能な交換レンズ（レンズ装置）１００とを備えて構成される。なお本実施形態のカメラシステム１０は、カメラ本体１３０とカメラ本体１３０に着脱可能な交換レンズ１００とを備えて構成されるが、本発明はこれに限定されるものではなく、カメラ本体とレンズ装置とが一体的に構成されたカメラシステムにも適用可能である。
【００１５】
交換レンズ１００は、レンズユニット（撮像レンズ）１０１を有する。レンズユニット１０１は、主撮像光学系１０２、焦点距離を変更可能なズームレンズ１０３、および、カメラシステム１０の振れによる光軸ＯＡに対する像振れを光軸ＯＡと垂直方向に移動することにより光学的に補正するシフトレンズ１０４を有する。また交換レンズ１００は、ズームレンズ（ズームレンズ群）１０３の位置を検出するエンコーダ（ズームエンコーダ）１０６、および、シフトレンズ（シフトレンズ群）１０４の位置を検出するホール素子などの位置検出部（位置センサ）１０５を有する。また交換レンズ１００は、カメラシステム１０（交換レンズ１００）の振れを検出するジャイロ（角速度センサ）などの角速度検出部（振れ検出手段）１１１、および、レンズシステム制御用のマイクロコンピュータ（レンズマイコン）１１２を有する。また交換レンズ１００は、シフトレンズを駆動するドライバ（駆動部）１１３、および、シフトレンズ１０４の位置検出部１０５の出力を増幅するアンプ回路（ＡＭＰ）１１４を有する。また交換レンズ１００は、カメラ本体１３０とのマウント接点部１１５を有する。
【００１６】
レンズマイコン１１２は、手振れ補正制御を行う手振れ補正制御部１２１、および、流し撮りの際に適切な振れ補正制御を行う流し撮り制御部１２２を有する。またレンズマイコン１１２は、フォーカスレンズ制御や絞り制御なども行うが、ここでは省略する。また、手振れ補正のためには、例えば縦方向や横方向などの互いに直交する２つの軸に関して検出および補正を行うが、２つの軸の検出および補正に関しては全く同じ構成であるため、本実施形態では１つの軸に関してのみ説明する。このように本実施形態のカメラシステム１０は、光学素子を光軸ＯＡと直交する方向（光軸ＯＡと異なる方向）に駆動して像振れ補正を行う像振れ補正装置を有する。
【００１７】
カメラ本体１３０は、シャッタ１３１、ＣＭＯＳセンサなどの撮像素子１３２、アナログ信号処理回路（ＡＦＥ）１３３、および、カメラ信号処理回路１３４を有する。またカメラ本体１３０は、撮像素子１３２およびアナログ信号処理回路１３３の動作タイミングを設定するタイミングジェネレータ（ＴＧ）１３５を有する。またカメラ本体１３０は、電源スイッチやレリーズスイッチなどで構成される操作部１３６を有する。またカメラ本体１３０は、カメラ本体１３０の全体のシステムを制御するカメラシステム制御用マイクロコンピュータ（カメラマイコン）１４１を有する。またカメラ本体１３０は、シャッタ動作を行わせるためのモータを駆動するドライバ（駆動部）１３７、および、シャッタ駆動用モータ１３８を有する。またカメラ本体１３０は、撮影画像を記録するメモリカード１３９、撮影画像等の画像をモニタし、また撮影画像を表示する液晶パネル（ＬＣＤ）１４０、および、交換レンズ１００とのマウント接点部１４４を有する。レンズマイコン１１２とカメラマイコン１４１は、マウント接点部１１５、１４４を介して所定のタイミングでシリアル通信を行う。また交換レンズ１００は、カメラシステム１０（カメラ本体１３０）の振れを検出するジャイロなどの角速度検出部（振れ検出手段）１７１、および、距離検出部１８１を有する。
【００１８】
撮像素子１３２は、交換レンズ１００の撮像光学系を介して形成された被写体像（光学像）を光電変換する。カメラ信号処理回路１３４は、撮像素子１３２からの出力に基づいて被写体の動きを検出する動きベクトル検出部１４５を有する。カメラマイコン１４１は、シャッタ制御部１５１、被写体の振れ補正量を算出する被写体振れ補正算出部（補正手段）１５２、および、流し撮りに適切なシャッタ速度を算出するシャッタ速度算出部１５３を有する。またカメラマイコン１４１は、移動量検出部（検出手段）１５４および角速度算出部（算出手段）１５５を有する。移動量検出部１５４は、角速度検出部から取得された振れ情報と、画像信号から取得された動きベクトル情報とに基づいて、被写体像の撮像面上の移動量を検出する。角速度算出部１５５は、被写体角速度を算出する。
【００１９】
操作部１３６によりカメラ本体１３０の電源がＯＮされると、その状態変化をカメラマイコン１４１が検出し、カメラマイコン１４１の制御によりカメラ本体１３０の各回路への電源供給および初期設定が行われる。また、交換レンズ１００への電源供給が行われ、レンズマイコン１１２の制御により、交換レンズ１００内の初期設定が行われる。そしてレンズマイコン１１２とカメラマイコン１４１の制御との間で所定のタイミングで通信が開始する。この通信で、カメラ本体１３０から交換レンズ１００へ送られる通信データは、カメラ本体１３０の状態および撮影設定などを含む。また、交換レンズ１００からカメラ本体１３０へ送られる通信データは、交換レンズ１００の焦点距離情報および角速度情報等を含む。各通信データは、必要なタイミングで送受信される。交換レンズ１００において、角速度検出部１１１は手振れなどによるカメラシステム１０に加わる振れを検出し、手振れ補正制御部１２１は手振れ補正動作を行う。
【００２０】
次に、図２を参照して、手振れ補正動作に関して説明する。図２は手振れ補正動作を行う光学補正系（像振れ補正装置）の制御ブロック図である。なお図２において、図１と共通の構成については、同じ符号を付し説明を省略する。
【００２１】
手振れ補正制御部１２１は、オフセット除去部２０１、利得位相算出部２０２、積分器２０３、防振制御判定部２０４、減算器２０５、Ａ／Ｄ変換器２０６、制御器２０７、および、パルス幅変調部２０８を有する。流し撮り制御部１２２は、通信制御部２１１、角速度出力部２２２、被写体角速度取得部２２３、減算器２２４、積分器２２５、および、カメラ情報取得部２２６を有する。
【００２２】
オフセット除去部２０１は、ハイパスフィルタ（ＨＰＦ）などで構成されたフィルタ演算部であり、角速度検出部１１１の出力に含まれている直流成分を除去する。利得位相算出部２０２は、オフセット除去部２０１でオフセット成分が除去された角速度信号を、所定のゲインで増幅する増幅器、および位相補償フィルタを有する。積分器２０３は、任意の周波数帯域でその特性を変更し得る機能を有し、利得位相算出部２０２の出力を積分し、シフトレンズ１０４の駆動量を算出する。角速度検出部１１１の角速度が一定値以上の大きさで所定時間経過した場合はパンニング中と判定し、オフセット除去部２０１のＨＰＦのカットオフ周波数を高周波側に除々に変更する。カットオフ周波数を高周波側へ除々に変更することで、手振れ補正制御の目標信号を除々に小さくすることで、光学補正系を光学中心位置に戻す。これは、パンニングと判定するほどの大きな角速度を、カットオフ周波数を高周波側へ変更せずに光学補正系で補正すると、光学補正系は補正限界点に達し、ユーザに不自然な画角変化が見えてしまうことを防ぐためである。
【００２３】
防振制御判定部２０４は、カメラ情報取得部２２６の出力信号に応じてシフトレンズ１０４を駆動させるための制御信号を切り替える。例えば、カメラ本体１３０の撮影モードでユーザが流し撮りモードを選択した場合、流し撮り制御部１２２で算出された積分器２２５の出力を採用する。流し撮りモード以外の撮影モードがユーザにより選択された場合、手振れ補正制御部１２１で算出された積分器２０４の出力を採用する。減算器２０５は、防振制御判定部２０４の出力からシフトレンズ１０４の位置を検出する位置検出部１０５の出力をアンプ回路１１４で増幅した値をＡ／Ｄ変換器２０６にてデジタル化したデータを減算し、偏差データを制御器２０７へ出力する。
【００２４】
制御器２０７は、減算器２０５の偏差データを所定のゲインで増幅する増幅器、および、位相補償フィルタを有する。減算器２０５の出力である偏差データは、制御器２０７において増幅器および位相補償フィルタによる信号処理が行われた後、パルス幅変調部２０８に出力される。パルス幅変調部２０８は、制御器２０７の出力データを、パルス波のデューティー比を変化させる波形（ＰＷＭ波形）に変調して、シフトレンズ駆動用のドライバ１１３へ出力する。シフトレンズ駆動用のドライバ１１３は、シフトレンズ１０４を駆動するためのボイスコイル型モータである。シフトレンズ１０４は、パルス幅変調部２０８の出力に従って、光軸ＯＡと直交する方向に駆動する。
【００２５】
次に、図５を参照して、本実施形態における制御方法（被写体振れ補正量の算出方法）について説明する。図５は、本実施形態における制御方法を示すフローチャートである。図５の各ステップは、主に、カメラマイコン１４１またはレンズマイコン１１２の指令に基づいて実行される。
【００２６】
まずステップＳ１００において、レンズマイコン１１２は、位置検出部１０５を用いてシフトレンズ１０４の位置（レンズ位置）を検出し、アンプ回路１１４で増幅されたレンズ位置信号をレンズマイコン１１２からカメラマイコン１４１へ通信（送信）する。続いてステップＳ１０１において、レンズマイコン１１２は角速度検出部１１１から出力された角速度信号を取得し、カメラマイコン１４１は、角速度検出部１７１から出力された角速度信号を取得する。続いてステップＳ１０２において、カメラマイコン１４１は、動きベクトル検出部１４５を用いて、被写体とカメラ本体１３０との間の相対的なズレを、異なるフレーム間の動きをベクトル（動きベクトル）として検出する。なお動きベクトルは、例えば公知のテンプレートマッチング法に基づいて検出すればよい。
【００２７】
続いてステップＳ１０３において、カメラマイコン１４１は、ステップＳ１００からステップＳ１０２までに取得した各情報を利用して、ステップＳ１０２にて取得した動きベクトル（動きベクトル情報）を被写体領域のベクトルと背景領域のベクトルとに分割する。そしてカメラマイコン１４１は、被写体領域のベクトルから主被写体ベクトルを選択する。なお、被写体領域のベクトルと背景領域のベクトルに分割する方法としては、ステップＳ１０１にて検出した角速度信号に基づく撮像面上の移動量を算出し、角速度信号に基づく撮像面上の移動量に相当するベクトルを背景領域のベクトルとして判定する方法がある。
【００２８】
またカメラマイコン１４１は、分割した被写体領域のベクトルの中から主被写体ベクトルを選択する。図３を参照して、主被写体のベクトルの選択方法について説明する。図３は、像面上の被写体の動き量の説明図である。図３に示されるように、被写体３０２の前方部分３０３と被写体３０２の後方部分３０４で検出されるベクトルは異なる。カメラシステム１０を向ける方向を変えず（すなわちカメラシステム１０を回さず）に、カメラシステム１０と被写体を同じ速度で一緒に動かせば、被写体３０２の前方部分３０３と被写体３０２の後方部分３０４は同じベクトルになる。しかし、実際のカメラシステム１０の動きとしては、カメラシステム１０を平行方向に振っているのではなく、角度を伴いながらカメラシステム１０を振っている。このため、カメラシステム１０から見たときに被写体３０２の前方部分３０３と後方部分３０４のベクトルは互いに異なる。これは、焦点距離が広角になる程、撮影距離が近くなる程に影響が顕著に現れる。逆に、撮影距離が無限に長い場合、被写体と並走しながら撮影するのと同等になるため、被写体全体が止まりやすくなる。このため、ユーザが止めたい被写体部分のベクトルを最終的に主被写体ベクトルとして選択する。主被写体ベクトルの選択の方法としては、例えばフォーカス枠の最も合焦した枠位置に近い被写体領域のベクトルを選択すればよい。本実施形態では、被写体ベクトルを被写体角速度へ算出する際に用いられる焦点距離の代わりに、回転の中心を基点とした位置から撮像素子１３２の光軸上の結像点までの距離（回転中心距離）を用いる。
【００２９】
次に、図４を参照して、回転中心距離について説明する。図４は回転中心距離の説明図であり、光軸上の像面（撮像面）の位置Ｐ’１に回転中心位置がある場合の距離（回転中心距離ｄ）を説明するための模式図を示している。また図４は、主被写体の移動と、主被写体からの光がレンズユニットを通って撮像面上に結像した主被写体の移動を示している。
【００３０】
移動前の主被写体は光軸上の位置Ｐ１にあり、主被写体は光軸ＯＡと直交する方向に距離（移動量）δだけ離れた位置Ｐ２に移動するものとする。また、像面上に写る移動前の主被写体像は光軸上の位置Ｐ’１にあり、移動後は光軸ＯＡと直交する方向に距離（移動量）δ’だけ離れた位置Ｐ’２に移動する。前側主点位置Ｈと位置Ｐ１との間の被写体距離（前側主点位置Ｈを基準とした被写体までの第１の距離）ｓと、主被写体の移動角度θとを用いて、主被写体の移動量δは以下の式（１）のように表される。
【００３１】
【数１】
2020118789.tif 000003
【００３２】
ここで、後側主点位置Ｈ’と撮像面の光軸上の位置Ｐ’１との間の像距離（後側主点位置Ｈ’を基準とした撮像面までの第２の距離）をｓ’とする。このとき、撮像面上の主被写体の移動量δ’は、三角形ＨＰ１Ｐ２と三角形Ｈ‘Ｐ’１Ｐ‘２が相似の関係にあるため、以下の式（２）のように表される。
【００３３】
【数２】
2020118789.tif 000004
【００３４】
ここで、カメラシステム１０の回転角度をφ、撮像面から移動後の主被写体までの光軸上の第３の距離である撮影距離をＬとする。このとき、三角形Ｐ１Ｐ２Ｐ’１に関して、以下の式（３）が成立する。
【００３５】
【数３】
2020118789.tif 000005
【００３６】
撮像面上の主被写体の位置Ｐ’２から光軸ＯＡに対して、光軸ＯＡとなす角度がφとなる直線を引き、この直線が光軸ＯＡと交わる回転中心に対応する点Ｒから撮像面までの距離（回転中心距離ｄ）を定義する。すなわち距離（回転中心距離ｄ）は、カメラ本体１３０の回転角度と一致する角度分の移動量が連続して結像された画像間の主被写体の動きから求めた移動量と一致するような撮像面からの光軸上の距離である。回転中心位置Ｐ’１に対応する点Ｒと撮像面上の主被写体の移動前後の位置Ｐ’１、Ｐ’２が形成する三角形ＲＰ’１Ｐ’２と、回転中心位置Ｐ’１と実空間の移動前後の被写体の位置Ｐ１、Ｐ２が形成する三角形Ｐ’１Ｐ１Ｐ２は相似関係にある。移動後の被写体の位置Ｐ２に対応する撮像面上の被写体の位置Ｐ’２から、光軸ＯＡに対して回転中心位置Ｐ’１から見た移動後の被写体の位置Ｐ２の角度φを成す直前を引く。そして、この直線が光軸ＯＡと交わる点Ｒと撮像面との光軸上の距離が距離ｄとなる。撮像面上の被写体の移動量δ’は、距離ｄおよび角度φを用いて、以下の式（４）のように表される。
【００３７】
【数４】
2020118789.tif 000006
【００３８】
式（１）から式（４）を整理し、距離ｄについて以下の式（５）が得られる。
【００３９】
【数５】
2020118789.tif 000007
【００４０】
撮影距離Ｌは、第１の距離ｓ、第２の距離ｓ’、および、前側主点位置Ｈから後側主点位置Ｈ’までのレンズの厚みｗを用いて表すことができる。このため距離ｄは、撮影距離Ｌを用いずに以下の式（６）のように表される。
【００４１】
【数６】
2020118789.tif 000008
【００４２】
しかし、交換レンズ方式のカメラシステム１０においては、回転中心距離がレンズマイコン１１２からカメラマイコン１４１へ通信可能な場合と、通信不可能な場合の組合せが存在する。このため、通信状態に応じて回転中心距離と焦点距離のいずれを用いるかを切り替えながら制御を行う。そこで図５のステップＳ１０４において、カメラマイコン１４１は、回転中心距離ｄが取得可能か否かを判定する。回転中心距離ｄが取得可能である場合、ステップＳ１０５に進む。ステップＳ１０５において、カメラマイコン１４１は、回転中心距離ｄを取得する。続いてステップＳ１０６において、カメラマイコン１４１は、回転中心距離ｄおよび主被写体ベクトルを用いて、以下の式（７）に基づいて主被写体角速度を算出する。
【００４３】
【数７】
2020118789.tif 000009
【００４４】
式（７）において、ωは主被写体角速度、ρは被写体像の取得周期（フレームレート）、νは主被写体ベクトル、ｄは回転中心距離である。
【００４５】
続いてステップＳ１０７において、カメラマイコン１４１は、ステップＳ１０６にて算出された主被写体角速度をレンズマイコン１１２へ送る。そしてカメラマイコン１４１（レンズマイコン１１２）は、ステップＳ１０６にて算出された主被写体角速度と角速度検出部１１１からの出力信号との差分に基づく主被写体の振れ（像振れ）を、シフトレンズ１０４を用いて補正する。これにより、被写体振れが低減された（好ましくは被写体振れのない）主被写体が静止した画像を取得することができる。なお本実施形態において、振れ補正手段は交換レンズ１００のシフトレンズ１０４であるが、これに代えて、撮像素子１３２を振れ補正機構として駆動する回路構成を用いて、カメラ本体１３０の撮像素子１３２を駆動して被写体振れを補正してもよい。
【００４６】
一方、ステップＳ１０４にてカメラマイコン１４１が回転中心距離ｄを取得できない場合、ステップＳ１０８に進む。ステップＳ１０８において、カメラマイコン１４１は、撮像光学系の前側主点位置を基準とした被写体までの第１の距離ｓを取得できるか否かを判定する。カメラマイコン１４１が第１の距離ｓを取得できる場合、ステップＳ１０９に進む。一方、カメラマイコン１４１が第１の距離ｓを取得できない場合、ステップＳ１１３に進む。
【００４７】
ステップＳ１０９において、カメラマイコン１４１は、撮像光学系の後側主点位置を基準とした第２の距離ｓ’を取得できるか否かを判定する。カメラマイコン１４１が第２の距離ｓ’を取得できる場合、ステップＳ１１０に進む。一方、カメラマイコン１４１が第２の距離ｓ’を取得できない場合、ステップＳ１１３に進む。
【００４８】
ステップＳ１１０において、カメラマイコン１４１は、被写体（主被写体）と撮像面との間の第３の距離Ｌを取得できるか否かを判定する。カメラマイコン１４１が第３の距離Ｌを取得できる場合、ステップＳ１１２に進む。一方、カメラマイコン１４１が第３の距離Ｌを取得できない場合、ステップＳ１１１に進む。
【００４９】
ステップＳ１１１において、カメラマイコン１４１は、前側主点位置から後側主点位置までのレンズの厚みｗを取得できるか否かを判定する。カメラマイコン１４１がレンズの厚みｗを取得できる場合、ステップＳ１１２に進む。一方、カメラマイコン１４１が第３の距離Ｌを取得できない場合、ステップＳ１１３に進む。
【００５０】
ステップＳ１１２において、カメラマイコン１４１は、回転中心距離ｄを算出する。すなわちカメラマイコン１４１は、第１の距離ｓと第２の距離ｓ’と第３の距離Ｌ、または、レンズの厚みｗを取得することができる場合、式（５）または式（６）に基づいて回転中心距離ｄを算出する。
【００５１】
一方、ステップＳ１０８からステップＳ１１１にて第１の距離ｓ、第２の距離ｓ’、または、第３の距離Ｌもしくはレンズの厚みｗを取得できない場合、カメラマイコン１４１は焦点距離に所定のゲインを乗算して疑似的な回転中心距離ｄ’を算出する。回転中心距離ｄ’は、ステップＳ１０１にて取得した角速度ωＧを以下の式（８）を用いて変換された撮像面上の移動量νＧを用いて算出される。
【００５２】
【数８】
2020118789.tif 000010
【００５３】
式（８）において、ωＧは角速度、ρは被写体像の取得周期（フレームレート）、νＧはωＧの撮像面上の移動量、ｆは焦点距離である。ステップＳ１０２にて取得される動きベクトルは、撮像素子１３２から出力される画像信号に基づいて取得される。このため、回転中心が撮像素子基準にある場合、動きベクトル（背景領域のベクトルνＢ）と角速度ωＧに基づく撮像面上の移動量νＧとの差分が疑似的な回転中心距離ｄ’として得ることができる。しかし、式（８）にて角速度ωＧを検出している振れ検出手段は一般的にジャイロセンサであり、ジャイロセンサは一般的に温度ドリフトや外乱等の影響により出力が変動する。すなわち、単純に動きベクトルと式（８）に基づく撮像面上の移動量νＧとを比較すると、本来の回転中心までの距離の差分以外の誤差要因を含んでしまう。
【００５４】
そこでステップＳ１１３において、カメラマイコン１４１は、角速度のオフセット（オフセット成分）が閾値以下であるか否かを判定する。これは公知の技術で、カルマンフィルタを用いてジャイロセンサの数値モデル化を行い、ジャイロセンサの角速度やシフトレンズのレンズ位置、ベクトル情報を入力とし、カルマンフィルタ通じてジャイロセンサのオフセット成分が出力される。カメラマイコン１４１は、このオフセット成分が被写体像の取得周期（フレームレート）において閾値（例えば±０．００５［ｄｅｇ／ｓｅｃ］）以下であるかを判定する。オフセットが閾値よりも大きい場合、ステップＳ１１５に進む。ステップＳ１１５において、カメラマイコン１４１は、焦点距離ｆを取得し、ステップＳ１０６に進む。
【００５５】
一方、ステップＳ１１３にてジャイロセンサのオフセットが閾値以下である場合、ステップＳ１１４に進む。ステップＳ１１４において、カメラマイコン１４１は、以下の式（９）のように、ステップＳ１０３にて取得した背景領域のベクトルνＢと式（８）に基づく撮像面上の移動量νＧとの差分を焦点距離ｆに乗算することで疑似的な回転中心距離ｄ’を算出する。
【００５６】
【数９】
2020118789.tif 000011
【００５７】
そしてステップＳ１０６において、カメラマイコン１４１は、以下の式（１０）のように、式（９）に基づく疑似的な回転中心距離ｄ’を用いて式（７）式のｄの代わりにｄ’を適用し、主被写体角速度ωを算出する。
【００５８】
【数１０】
2020118789.tif 000012
【００５９】
ステップＳ１１３にてジャイロセンサのオフセット成分が閾値以上である場合、カメラマイコン１４１は、ステップＳ１１５にて取得した焦点距離ｆを用いて、以下の式（１１）に基づく主被写体角速度ωを算出する。
【００６０】
【数１１】
2020118789.tif 000013
【００６１】
本実施形態によれば、焦点距離の代わりに回転中心距離ｄまたは疑似的な回転中心距離ｄ’を用いることにより、主被写体角速度ωの算出精度を高めることで、主被写体の被写体振れ補正精度を高めることができる。
【００６２】
このように本実施形態において、制御装置（カメラマイコン１４１）は、検出手段（移動量検出部１５４）、算出手段（角速度算出部）１５５、および、補正手段（被写体振れ補正算出部１５２）を有する。検出手段は、振れ検出手段（角速度検出部１１１、１７１）から取得された振れ情報（ωＧ）と、画像信号（撮像素子１３２から出力された画像データ）から取得された動きベクトル情報とに基づいて、被写体像の撮像面上の移動量（ν）を検出する。算出手段は、被写体像の移動量（ν）と動きベクトル情報（νＢ）と被写体像の取得周期（ρ）とに基づいて、被写体角速度（ω）を算出する。補正手段は、被写体角速度に基づいて被写体振れを補正する。
【００６３】
好ましくは、算出手段は、動きベクトル情報に基づくゲインを焦点距離（ｆ）に乗算して得られた値（疑似的な回転中心距離ｄ’）を用いて、被写体角速度を算出する。より好ましくは、算出手段は、動きベクトル情報のうち背景領域のベクトル情報（νＢ）と、振れ情報に基づく撮像面上の移動量（νＧ）とに基づいて、ゲインを算出する（ステップＳ１１４：式（９））。より好ましくは、算出手段は、振れ検出手段のオフセット成分が所定の閾値よりも小さい場合、焦点距離にゲインを乗算して得られた値（ｄ’）を用いて被写体角速度を算出する（ステップＳ１１３、Ｓ１１４：式（１０））。より好ましくは、算出手段は、振れ検出手段のオフセット成分が所定の閾値よりも大きい場合、ゲインを用いずに焦点距離を用いて被写体角速度を算出する（ステップＳ１１３、Ｓ１１５：式（１１））。
【００６４】
好ましくは、算出手段は、撮影状況に応じて、被写体角速度の算出方法を変更する。より好ましくは、算出手段は、撮影状況が第１の状況である場合、レンズ装置（交換レンズ１００）から取得された情報に基づいて被写体角速度を算出する。一方、算出手段は、撮影状況が第２の状況である場合、被写体像の移動量と動きベクトル情報と被写体像の取得周期とに基づいて被写体角速度を算出する。第１の状況は、例えば、レンズ装置から回転中心距離ｄに関する情報（回転中心距離ｄ、または回転中心距離ｄの算出に必要な情報）を取得することができる状況である。第２の状況は、例えば、レンズ装置から回転中心距離ｄに関する情報を取得できない状況である。より好ましくは、算出手段は、撮影状況が第１の状況である場合、動きベクトル情報、被写体像の取得周期、第１の距離（ｓ）、第２の距離（ｓ’）、および、第３の距離（Ｌ）に基づいて、被写体角速度を検出する。第１の距離は、レンズ装置の撮像光学系の前側主点を基準とした被写体までの距離、第２の距離は、撮像光学系の後側主点を基準とした撮像面までの距離、第３の距離は、被写体と撮像面との間の距離である。
【００６５】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６６】
各実施形態によれば、主被写体の振れ補正の精度を高めることが可能な制御装置、撮像装置、制御方法、および、プログラムを提供することができる。
【００６７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６８】
１１１、１７１  角速度検出部（振れ検出手段）
１４１  カメラマイコン（制御装置）
１５２  被写体振れ補正算出部（補正手段）
１５４  移動量検出部（検出手段）
１５５  角速度算出部（算出手段）
【図１】
2020118789.tif 000014
【図２】
2020118789.tif 000015
【図３】
2020118789.tif 000016
【図４】
2020118789.tif 000017
【図５】
2020118789.tif 000018