(57)【要約】【課題】安定したパンニング映像を取得して撮影者の操作性を損なわないようにする。【解決手段】像ぶれ補正装置は、角速度を検出する角速度検出部と、角速度に基づいて第１パンニングを検出する第１パンニング検出部と、角速度に対してＬＰＦ処理を行うＬＰＦと、ＬＰＦの処理結果に基づいて、第１パンニングよりもパンニング速度が遅い第２パンニングを検出する第２パンニング検出部と、角速度に対してＨＰＦ処理を行うＨＰＦと、第１パンニング検出部又は第２パンニング検出部の検出結果とＨＰＦの処理結果とに基づいて像ぶれ補正量を算出する算出部と、像ぶれ補正量に基づいて像ぶれ補正機構を駆動させる駆動指示部とを備え、第１パンニング検出部により第１パンニングが検出された場合、又は、第２パンニング検出部により第２パンニングが検出された場合は、ＨＰＦ及び算出部の一方又は両方の特性を変更する。【選択図】図２
2019012093.tif 000002
【特許請求の範囲】
【請求項１】
装置の角速度を検出する角速度検出部と、
前記角速度に基づいて第１パンニングを検出する第１パンニング検出部と、
前記角速度に対してＬＰＦ（ローパスフィルタ）処理を行うＬＰＦと、
前記ＬＰＦの処理結果に基づいて、前記第１パンニングよりもパンニング速度が遅い第２パンニングを検出する第２パンニング検出部と、
前記角速度に対してＨＰＦ（ハイパスフィルタ）処理を行うＨＰＦと、
前記第１パンニング検出部の検出結果又は前記第２パンニング検出部の検出結果と、前記ＨＰＦの処理結果とに基づいて、像ぶれ補正量を算出する算出部と、
前記像ぶれ補正量に基づいて像ぶれ補正機構を駆動させる駆動指示部と、
を備え、
前記第１パンニング検出部により前記第１パンニングが検出された場合、又は、前記第２パンニング検出部により前記第２パンニングが検出された場合は、前記像ぶれ補正量が小さくなるように、前記ＨＰＦ及び前記算出部の一方又は両方の特性を変更する、
ことを特徴とする像ぶれ補正装置。
【請求項２】
前記第１パンニング検出部により前記第１パンニングが検出された場合、又は、前記第２パンニング検出部により前記第２パンニングが検出された場合は、前記ＨＰＦの遮断周波数を高くすること、及び、前記算出部が前記像ぶれ補正量を算出する際に乗算される係数を小さくすること、の一方又は両方を行う、
ことを特徴とする請求項１に記載の像ぶれ補正装置。
【請求項３】
前記第１パンニング検出部により前記第１パンニングが検出された場合は、前記第２パンニング検出部の検出結果を無効にする、
ことを特徴とする請求項１又は２に記載の像ぶれ補正装置。
【請求項４】
前記第１パンニング検出部の検出結果又は前記第２パンニング検出部の検出結果を選択する選択部を更に備え、
前記算出部は、前記選択部により選択された、前記第１パンニング検出部の検出結果又は前記第２パンニング検出部の検出結果と、前記ＨＰＦの処理結果とに基づいて、前記像ぶれ補正量を算出する、
ことを特徴とする請求項１又は２に記載の像ぶれ補正装置。
【請求項５】
前記装置は、撮像装置であって、
前記選択部は、前記撮像装置における、撮影条件、映像信号から検出される移動ベクトル、及び過去の撮影履歴情報のいずれか一つ以上に基づいて、前記選択を行う、
ことを特徴とする請求項４に記載の像ぶれ補正装置。
【請求項６】
前記撮影条件として、スポーツ又は子供の撮影に適した撮影条件が設定された場合は、前記選択部が前記第１パンニング検出部の検出結果を選択し、
前記撮影条件として、風景又は夜景の撮影に適した撮影条件が設定された場合は、前記選択部が前記第２パンニング検出部の検出結果を選択する、
ことを特徴とする請求項５に記載の像ぶれ補正装置。
【請求項７】
前記移動ベクトルの大きさが所定値よりも大きい場合は、前記選択部が前記第１パンニング検出部の検出結果を選択し、
前記移動ベクトルの大きさが所定値よりも小さい場合は、前記選択部が前記第２パンニング検出部の検出結果を選択する、
ことを特徴とする請求項５に記載の像ぶれ補正装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の像ぶれ補正装置を備えることを特徴とする撮像装置。
【請求項９】
像ぶれ補正装置の像ぶれ補正方法であって、
装置の角速度を検出することと、
前記角速度に基づいて第１パンニングの検出を行うことと、
前記角速度に対してＬＰＦ（ローパスフィルタ）処理を行うことと、
前記ＬＰＦ処理の処理結果に基づいて、前記第１パンニングよりもパンニング速度が遅い第２パンニングの検出を行うことと、
前記角速度に対してＨＰＦ（ハイパスフィルタ）処理を行うことと、
前記第１パンニングの検出結果又は前記第２パンニングの検出結果と、前記ＨＰＦ処理の処理結果とに基づいて、像ぶれ補正量の算出を行うことと、
前記像ぶれ補正量に基づいて像ぶれ補正機構を駆動させることと、
を含み、
前記第１パンニングが検出された場合、又は、前記第２パンニングが検出された場合は、前記像ぶれ補正量が小さくなるように、前記ＨＰＦ処理及び前記像ぶれ補正量の算出の一方又は両方の特性を変更する、
ことを特徴とする像ぶれ補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、像ぶれを補正する像ぶれ補正装置、像ぶれ補正装置を備えた撮像装置、及び、像ぶれ補正装置の像ぶれ補正方法に関する。
【背景技術】
【０００２】
近年のデジタルカメラ（以下、単にカメラという）においては、動画記録中や、ファインダービューに対して、光学手ぶれ補正を行うものが一般的になっている。ここで、ファインダービューとは、例えば撮影待機中に、リアルタイムに撮像、表示（ファインダー表示）される被写体映像のことであり、ライブビューとも言う。
【０００３】
動画やファインダービュー等の連続的な映像に対して手ぶれ補正を行うと、手ぶれによる映像の乱れを防止して見栄えが良くなる。しかしながら、撮影者の意図的なカメラワークによるカメラの姿勢変化がある場合は、カメラワークによるカメラの動きを揺れとして補正してしまうために、カメラで取得される映像の動きがカメラワークによるものとは異なってしまい、撮影者に違和感を与えるケースがある。
【０００４】
なお、撮影者の意図的なカメラワークとしては、例えば、カメラの向きを左右方向（水平方向）、上下方向（垂直方向）、又は斜め方向に振るといったカメラワークがある。広義には、これらのいずれのカメラワークもパンニングといい、狭義には、カメラの向きを左右方向に振るカメラワークをパンニングといい、カメラの向きを上下方向に振るカメラワークをチルティングという。本明細書では、特に断りが無い限り、パンニングといえば、広義のパンニングを指すものとする。
【０００５】
連続的な映像に対して手ぶれ補正を行う場合において、揺れの低周波成分を除去して補正を行う場合も、パンニングのようにカメラの動きに偏りが生じるケースでは、その動きの検出結果に大きな誤差が生じ、撮影者に違和感を与える場合がある。
【０００６】
このような場合の具体例を、図１２及び図１３を用いて説明する。
図１２及び図１３の各図は、パンニングが行われた場合にカメラで検出された角速度の時間変化の一例（図の上側参照）と、その場合にカメラで取得された映像の像移動量（像移動ベクトル量）の時間変化の一例（図の下側参照）を示す図である。なお、各図の上側において、実線は、検出された角速度（カメラの角速度）を示し、破線は、検出された角速度に対してＨＰＦ（ハイパスフィルタ）によるＨＰＦ処理（低周波成分を除去する処理）を行った後の角速度（ＨＰＦ処理後の角速度）を示している。また、各図の下側において、実線は、手ぶれ補正が行われなかった場合の像移動量を示し、破線は、手ぶれ補正が行われた場合の像移動量を示している。
【０００７】
図１２に示した例では、パンニング開始時に、手ぶれ補正によりパンニングを打ち消す効果が現れ、パンニングに対して像移動の遅れが生じている。このような場合は、映像が貼り付いたような違和感を撮影者に与える虞がある。
【０００８】
また、パンニング中は、ＨＰＦ処理後の角速度が基準値（ゼロ）に収束していき、その後、撮影者のカメラワークの減速によるパンニング速度低下により、ＨＰＦ処理後の角速度が、逆方向（パンニング方向の反対方向）へ大きく変化して、大きな検出誤差（ＨＰＦ処理前後での角速度の差）を生じている。
【０００９】
このような場合に手ぶれ補正が行われていると、カメラワークの減速によるパンニング速度低下を打ち消す効果が現れ、パンニング終了後も検出誤差が完全に収束するまで像移動が継続することとなる。その結果、撮影者がカメラワークを停止させた状態でも映像がしばらく移動し続けることとなり、撮影者に違和感を与える虞がある。
【００１０】
図１３に示した例では、パンニング開始を検出すると、補正範囲を確保するために手ぶれ補正機構を初期位置に戻す動作が行われ、その結果、像移動量がオーバーシュートして実際のパンニングよりも像移動が速くなってしまい、撮影者に違和感を与える虞がある。
【００１１】
また、パンニング終了時には、撮影者に図１２を用いて説明した違和感を与える虞がないように、ＨＰＦをリセットして検出誤差を解消している。これにより、パンニング後もしばらく映像が移動し続けるようなことは無くなり、パンニング終了時の映像の応答性が良くなる。しかしながら、手ぶれ補正によりパンニングの速度低下を打ち消す効果はそのままであるため、パンニング中の像移動量がパンニング終了間際まで維持されてパンニング終了時に急激に像移動量がゼロになる（すなわち像移動が急激に停止する）こととなり、撮影者に違和感を与える虞がある。
【００１２】
また、近年は、高画質な動画撮影が手軽にできるようになり、カメラワークを映像表現の手段として用いることが、一般的なユーザーにも定着しつつある。
例えば、ゆっくりとしたパンニングで主要被写体をフレームインさせたり、フレームアウトさせたりするケースがある。このようなシーンでは、カメラが従来の手法によりパンニング判定を行った場合に、パンニングの終了を誤検知してしまう場合がある。
【００１３】
このような場合の具体例を、図１４を用いて説明する。
図１４は、ゆっくりとしたパンニングが行われた場合にカメラで検出された角速度の時間変化の一例（図の上側参照）と、その場合にカメラで検出されたパンニングの一例（図の下側参照）を示す図である。なお、図１４において、Ｖthは、パンニングの検出に用いられる閾値を示す。
【００１４】
図１４に示したように、パンニングにより生じる角速度の偏りが小さい場合には、パンニング中において、手ぶれによる角速度の変動により、角速度の方向（符号）が反転してゼロクロス（角速度がゼロと交差すること）が生じる場合がある。このような場合は、カメラがパンニングの終了を誤検知してしまい、その結果、撮影者が１回のパンニングをしているにも関わらず、カメラが複数回（図１４では２回）のパンニングを検出してしまう場合がある。
【００１５】
このような場合、図１３を用いて説明したようにパンニング終了時にＨＰＦのリセットを行うと、パンニング終了と同時に手ぶれ補正が強く効き始めるため、カメラで取得される映像は、ゆっくり移動している状態から停止し、再びゆっくり移動する、といったものとなり、映像が引っかかったような違和感を撮影者に与える虞がある。
【００１６】
以上述べてきた問題に対して、パンニングの開始及び終了時に撮影者に与え得る違和感に対する対応については、既に様々な提案が為されている。
例えば、特許文献１に記載の撮像装置では、次のような処理が行われている。角速度センサは、撮像装置に加わる揺れを検出する。ＨＰＦ演算部は、角速度センサの出力の低周波数成分を減衰させる。その出力に基づいて像ぶれ補正量が算出されて、補正光学系の駆動制御により画像ぶれ補正が行われる。ＨＰＦ演算部を構成するデジタルハイパスフィルタにてサンプリング時刻毎の演算結果として中間値が保持され、撮像装置のパンニング動作を検出するパンニング制御部がパンニング動作の終了を検出した場合、デジタルハイパスフィルタにて保持されている中間値がパンニング制御部によって初期化され、ＨＰＦ演算部の出力がゼロに近づけられる。この撮像装置では、中間値を初期化しＨＰＦ演算部の出力をゼロに収束させるようにしたことで、パンニング終了時に撮影者に与え得る違和感を低減させている。
【００１７】
一方、ゆっくりとしたパンニングが行われた場合に撮影者に与え得る違和感に対する対応については、未だ提案されていない。
なお、パンニングが行われた場合の手ぶれ補正を行う装置として、例えば、特許文献２に記載の撮像装置が提案されている。この撮像装置は、振れ量を検出するセンサ、振れ補正用可動部品、及び信号処理装置を有する。信号処理装置は、センサの検出信号に基づいて、振れ補正用可動部品の目標位置を表す信号を生成する装置であって、カットオフ周波数が可変であり、センサの検出信号に高域通過のフィルタ処理を施すハイパスフィルタと、センサの検出信号の積分値のレベルが所定の閾値を超えたときに、カットオフ周波数を高くし、該積分値のレベルが該閾値以下となったときに、カットオフ周波数を元に戻すカットオフ周波数制御部と、を備える。このような信号処理装置を備えることにより、パンニングやチルティング等に適切に対処することが可能となっている。
【００１８】
また、パンニングの判定を行う装置として、例えば、特許文献３に記載の流し撮り装置が提案されている。この流し撮り装置は、手ぶれを検出してぶれ検出信号を出力するぶれ検出手段と、手ぶれを補正する補正光学系と、ぶれ検出手段からのぶれ検出信号に基づいて補正光学系を駆動するぶれ駆動部と、ぶれ検出手段からのぶれ検出信号の高周波成分を取り除くことにより、流し撮りであるか否かを判定する流し撮り判定手段と、流し撮り判定手段によって流し撮りであると判定されたときに、ぶれ駆動部へのぶれ検出信号を遮断する切換手段とを備える。このような構成により、流し撮りになったことを自動的に判別し、事前の準備なしに流し撮りを可能としている。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２０１２−１６８４２０号公報
【特許文献２】特開２０１３−７８１０４号公報
【特許文献３】特開平５−２１６１０４号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
特許文献１の撮像装置では、パンニング終了時に生じたオフセット誤差（中間値）を、所定時間かけて徐々に解消していくので、像移動が急激に停止することは無いが、パンニング終了に対して像移動が完全に停止するまでに遅延が生じ、パンニング終了時の映像の応答性を損なう虞がある。
【００２１】
また、オフセット誤差を徐々に解消する動作により補正範囲（補正光学系の駆動範囲）を消費してしまうため、焦点距離や、パンニングの条件によっては、補正範囲を使いきってしまい、パンニング後の補正性能が劣化する虞がある。
【００２２】
また、ゆっくりとしたパンニングが行われた場合に撮影者に与え得る違和感に対する対応策として、例えば特許文献２の撮像装置や特許文献３の流し撮り装置のようにＬＰＦ（ローパスフィルタ）を備え、そのＬＰＦの出力（低周波成分）に基づいて、ゆっくりとしたパンニングの検出を行うようにする方法が考えられる。しかしながら、このような方法では、速いパンニングに対しては、その検出に遅延が発生し、その結果、パンニング開始時の映像において撮影者に違和感を与える虞がある。
【００２３】
本発明は、上述したような、パンニングに対する手ぶれ補正により生じ得る問題に着眼したものであり、安定したパンニング映像を取得して撮影者の操作性を損なわないようにすることができる像ぶれ補正装置、撮像装置、及び像ぶれ補正方法を提供することを目的とする。
【課題を解決するための手段】
【００２４】
本発明の第１の態様は、装置の角速度を検出する角速度検出部と、前記角速度に基づいて第１パンニングを検出する第１パンニング検出部と、前記角速度に対してＬＰＦ（ローパスフィルタ）処理を行うＬＰＦと、前記ＬＰＦの処理結果に基づいて、前記第１パンニングよりもパンニング速度が遅い第２パンニングを検出する第２パンニング検出部と、前記角速度に対してＨＰＦ（ハイパスフィルタ）処理を行うＨＰＦと、前記第１パンニング検出部の検出結果又は前記第２パンニング検出部の検出結果と、前記ＨＰＦの処理結果とに基づいて、像ぶれ補正量を算出する算出部と、前記像ぶれ補正量に基づいて像ぶれ補正機構を駆動させる駆動指示部と、を備え、前記第１パンニング検出部により前記第１パンニングが検出された場合、又は、前記第２パンニング検出部により前記第２パンニングが検出された場合は、前記像ぶれ補正量が小さくなるように、前記ＨＰＦ及び前記算出部の一方又は両方の特性を変更する、像ぶれ補正装置である。
【００２５】
本発明の第２の態様は、第１の態様において、前記第１パンニング検出部により前記第１パンニングが検出された場合、又は、前記第２パンニング検出部により前記第２パンニングが検出された場合は、前記ＨＰＦの遮断周波数を高くすること、及び、前記算出部が前記像ぶれ補正量を算出する際に乗算される係数を小さくすること、の一方又は両方を行う。
【００２６】
本発明の第３の態様は、第１又は第２の態様において、前記第１パンニング検出部により前記第１パンニングが検出された場合は、前記第２パンニング検出部の検出結果を無効にする。
【００２７】
本発明の第４の態様は、第１又は第２の態様において、前記第１パンニング検出部の検出結果又は前記第２パンニング検出部の検出結果を選択する選択部を更に備え、前記算出部は、前記選択部により選択された、前記第１パンニング検出部の検出結果又は前記第２パンニング検出部の検出結果と、前記ＨＰＦの処理結果とに基づいて、前記像ぶれ補正量を算出する。
【００２８】
本発明の第５の態様は、第４の態様において、前記装置は、撮像装置であって、前記選択部は、前記撮像装置における、撮影条件、映像信号から検出される移動ベクトル、及び過去の撮影履歴情報のいずれか一つ以上に基づいて、前記選択を行う。
【００２９】
本発明の第６の態様は、第５の態様において、前記撮影条件として、スポーツ又は子供の撮影に適した撮影条件が設定された場合は、前記選択部が前記第１パンニング検出部の検出結果を選択し、前記撮影条件として、風景又は夜景の撮影に適した撮影条件が設定された場合は、前記選択部が前記第２パンニング検出部の検出結果を選択する。
【００３０】
本発明の第７の態様は、第５の態様において、前記移動ベクトルの大きさが所定値よりも大きい場合は、前記選択部が前記第１パンニング検出部の検出結果を選択し、前記移動ベクトルの大きさが所定値よりも小さい場合は、前記選択部が前記第２パンニング検出部の検出結果を選択する。
【００３１】
本発明の第８の態様は、第１乃至第７のいずれか１つの態様の像ぶれ補正装置を備える撮像装置である。
【００３２】
本発明の第９の態様は、像ぶれ補正装置の像ぶれ補正方法であって、装置の角速度を検出することと、前記角速度に基づいて第１パンニングの検出を行うことと、前記角速度に対してＬＰＦ（ローパスフィルタ）処理を行うことと、前記ＬＰＦ処理の処理結果に基づいて、前記第１パンニングよりもパンニング速度が遅い第２パンニングの検出を行うことと、前記角速度に対してＨＰＦ（ハイパスフィルタ）処理を行うことと、前記第１パンニングの検出結果又は前記第２パンニングの検出結果と、前記ＨＰＦ処理の処理結果とに基づいて、像ぶれ補正量の算出を行うことと、前記像ぶれ補正量に基づいて像ぶれ補正機構を駆動させることと、を含み、前記第１パンニングが検出された場合、又は、前記第２パンニングが検出された場合は、前記像ぶれ補正量が小さくなるように、前記ＨＰＦ処理及び前記像ぶれ補正量の算出の一方又は両方の特性を変更する、像ぶれ補正方法である。
【発明の効果】
【００３３】
本発明によれば、安定したパンニング映像を取得して撮影者の操作性を損なわないようにすることができる、という効果を奏する。
【図面の簡単な説明】
【００３４】
【図１】第１の実施形態に係る像ぶれ補正装置を備えた撮像装置であるカメラの構成例を示す図である。
【図２】第１の実施形態に係るぶれ補正マイコンの機能構成例を示す図である。
【図３】パンニングが行われたときの、第１の実施形態に係るぶれ補正マイコンの作用の一例を説明する図である。
【図４】リミット部が所定周期毎に行うリミット処理の一例を示すフローチャートである。
【図５】第２の実施形態に係るパンニング検出部の機能構成例を示す図である。
【図６】第２の実施形態に係る第１パンニング検出部の機能構成例を示す図である。
【図７】第２の実施形態に係る第２パンニング検出部の機能構成例を示す図である。
【図８】第３の実施形態に係るぶれ補正マイコンの機能構成例を示す図である。
【図９】振幅判定部により設定される閾値（th_l1 ）の一例を示す図である。
【図１０】第４の実施形態に係るパンニング検出部の機能構成例を示す図である。
【図１１】第５の実施形態に係るぶれ補正マイコンの機能構成例を示す図である。
【図１２】パンニングが行われた場合にカメラで検出された角速度の時間変化の一例と、その場合にカメラで取得された映像の像移動量の時間変化の一例を示す図（その１）である。
【図１３】パンニングが行われた場合にカメラで検出された角速度の時間変化の一例と、その場合にカメラで取得された映像の像移動量の時間変化の一例を示す図（その２）である。
【図１４】カメラが従来の手法によりパンニング判定を行った場合にパンニングの終了を誤検知してしまう場合の例を示す図である。
【発明を実施するための形態】
【００３５】
以下、図面を参照しながら、本発明の実施の形態について説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る像ぶれ補正装置を備えた撮像装置であるカメラの構成例を示す図である。
【００３６】
図１に示したように、カメラ１は、撮影光学系２、撮像素子３、駆動部４、システムコントローラ５、ぶれ補正マイコン６、角速度センサ７、レリーズＳＷ（switch）８、ＥＶＦ（electric viewfinder）９、及びメモリカード１０を含む。
【００３７】
撮影光学系２は、フォーカスレンズやズームレンズを含み、被写体からの光束を撮像素子３に結像する。
撮像素子３は、撮影光学系２により結像された被写体像（被写体光学像）を電気信号に変換する。撮像素子３は、例えばＣＣＤ（charge coupled device）又はＣＭＯＳ（complementary metal oxide semiconductor）等のイメージセンサである。
【００３８】
システムコントローラ５は、カメラ１の全体動作を制御する。例えば、システムコントローラ５は、撮像素子３により変換された電気信号を映像信号として読み出して所定の画像処理を行った後、映像（ライブビュー、ファインダービュー）としてＥＶＦ９に表示したり、記録画像としてメモリカード１０に記録したりする。メモリカード１０は、カメラ１に対して着脱可能な不揮発性メモリであり、例えばＳＤメモリカードである。
【００３９】
角速度センサ７は、撮影光学系２の光軸と直交する２軸（カメラ１の垂直方向の軸と水平方向の軸でもある）を回転軸とするヨー方向及びピッチ方向の角速度を検出する。
ぶれ補正マイコン６は、角速度センサ７により検出された角速度に基づいて、像面（撮像素子３の撮像面）に発生する像ぶれ量の算出や、カメラ１の姿勢状態の検出を行う。ぶれ補正マイコン６の詳細については、図２を用いて後述する。
【００４０】
駆動部４は、撮像素子３を保持し、撮影光学系２の光軸と直交する面上に撮像素子３を移動させる駆動機構である。駆動部４は、ヴォイスコイルモーター等のモーターが設置されており、モーターが発生する駆動力によって撮像素子３を移動させる。また駆動部４は、ぶれ補正マイコン６からの指示（駆動信号）に基づいて、像面に発生する像ぶれを打ち消す方向に撮像素子３を移動させるように駆動する。これにより、像面に発生する像ぶれが補正される。
【００４１】
レリーズＳＷ８は、撮影者の撮影操作をシステムコントローラ５に通知するためのスイッチであり、撮影者がレリーズＳＷ８を押下すると、システムコントローラ５は、動画記録の開始、終了をしたり、静止画撮影をしたりする。図示はしないが、カメラ１は、レリーズＳＷ８の他、カメラ１に対して他の指示操作を行うための操作部も有する。
【００４２】
ＥＶＦ９は、被写体の映像を表示してフレーミングの状態を撮影者に視認させたり、メニュー画面の表示によりカメラの設定状態を表示したりする。
なお、このような構成を有するカメラ１において、システムコントローラ５及びぶれ補正マイコン６の各々は、プロセッサ（例えばＣＰＵ）、メモリ、及び電子回路を含んで構成され、プロセッサがメモリに格納されているプログラムを実行することにより、システムコントローラ５及びぶれ補正マイコン６の各々の機能が実現される。あるいは、システムコントローラ５及びぶれ補正マイコン６の各々は、例えば、ＡＳＩＣ（application specific integrated circuit）又はＦＰＧＡ（field-programmable gate array）等の専用回路により構成されてもよい。
【００４３】
図２は、ぶれ補正マイコン６の機能構成例を示す図である。
但し、図２では、ぶれ補正マイコン６が、角速度センサ７により検出されたヨー方向の角速度に対して処理を行う機能構成と、角速度センサ７により検出されたピッチ方向の角速度に対して処理を行う機能構成とを有し、両者が同様の構成を有することから、その一方の機能構成のみを示し、他方の機能構成の図示を省略している。また、ここでは、その一方の機能構成のみを説明することとし、他方の機能構成の説明を省略することとする。
【００４４】
図２に示したように、ぶれ補正マイコン６は、信号処理部６１、ＨＰＦ６２、パンニング検出部６３、リミット部６４、乗算部６５、積分部６６、及び駆動指示部６７を含む。
信号処理部６１は、角速度センサ７からアナログ信号として出力される角速度をデジタル値に変換し、その変換結果から基準値を減算する処理を行う。基準値は、カメラ１が静止状態のときに角速度センサ７からアナログ信号として出力される角速度をデジタル値に変換した値である。このような処理により、符号付きのデジタル値が得られる。ここで、符号は角速度の方向（回転方向）を示し、符号付きのデジタル値の絶対値は角速度の大きさを示す。
【００４５】
なお、角速度センサ７が、検出した角速度をデジタル信号として出力する構成を有する場合には、信号処理部６１においてアナログ信号からデジタル信号への変換処理は行われない。また、このときの基準値は、カメラ１が静止状態のときに角速度センサ７からデジタル信号として出力される角速度の値となる。
【００４６】
ＨＰＦ６２は、信号処理部６１の処理結果である角速度に対して、低周波成分を除去する処理（ＨＰＦ処理）を行う。ＨＰＦ６２は、パンニング検出部６３によりパンニングの終了が検出された場合に初期化される。
【００４７】
パンニング検出部６３は、信号処理部６１の処理結果に基づいて、パンニングの検出とパンニング方向の検出を行う。より詳しくは、パンニング検出部６３は、信号処理部６１の処理結果である角速度の絶対値が所定の閾値を超え、その状態が所定期間継続すると、パンニングの開始を検出し、その後、信号処理部６１の処理結果である角速度がゼロと交差（ゼロクロス）すると、パンニングの終了を検出する。また、パンニング検出部６３は、パンニングの開始を検出した時の信号処理部６１の処理結果である角速度の符号をパンニングの方向として検出する。このようなパンニング検出部６３は、例えば、後述する第２の実施形態で説明する図６に示す機能構成により実現されるものであり、ここでは、その詳細説明を省略する。
【００４８】
リミット部６４は、パンニング検出部６３の検出結果に基づいて、ＨＰＦ６２の処理結果である角速度に対してクリップ処理を行う。このクリップ処理の詳細については、図３及び図４を用いて後述する。
【００４９】
乗算部６５は、リミット部６４の処理結果である角速度に、撮影光学系２の焦点距離を乗算する。これにより、リミット部６４の処理結果である角速度が、像面上の像移動量に変換される。なお、撮影光学系２の焦点距離に関する情報は、例えばシステムコントローラ５から通知される。
【００５０】
積分部６６は、積分係数を用いて乗算部６５の乗算結果を積分（累積加算）し、その積分結果を像ぶれ補正量として出力する。このときの積分では、所定周期毎に、下記式（１）の漸化式に示すように、乗算部６５の乗算結果Ｘn に対し、前回の積分結果Ｙn-1 に積分係数Ｋを乗算した値を加算して、積分結果Ｙn を得る、という処理が行われる。
【００５１】
Ｙn ＝Ｘn ＋Ｋ×Ｙn-1 ＝Ｘn ＋Ｋ×ΣＸn-1      式（１）
ここで、積分係数Ｋは１以下である（Ｋ≦１）。
例えば、積分係数Ｋを０．９９にした場合は、所定周期毎に、積分結果が１％ずつ減少し、像ぶれ補正量が徐々にゼロに収束することとなる。すなわち、駆動部４が徐々に初期位置へ戻ることとなる。或いは、積分係数Ｋを１にした場合（完全積分を行う場合）は初期位置への帰還を停止し、積分係数Ｋを０にした場合は像ぶれ補正機能自体が停止する。
【００５２】
駆動指示部６７は、積分部６６の積分結果である像ぶれ補正量を、駆動部４の駆動信号に変換し、駆動部４へ出力する。これにより、その駆動信号に従って駆動部４が駆動することで、像面上の像移動量が打ち消される方向に撮像素子３が移動する。
【００５３】
図３は、パンニングが行われたときのぶれ補正マイコン６の作用の一例を説明する図である。
図３の上側には、信号処理部６１の処理結果である角速度の時間変化の一例を実線で示し、そのときのＨＰＦ６２の処理結果である角速度の時間変化を破線で示している。
【００５４】
図３の上側に示した例では、パンニングが開始されると、信号処理部６１の処理結果である角速度は、一方向（正方向）に偏りを生じているが、ＨＰＦ６２の処理結果である角速度は、ＨＰＦ６２の作用により、ゼロに収束するように減衰している。
【００５５】
図３の上側において、「Limit 1(th_l1)」は、パンニング検出部６３がパンニングを検出する際に用いるパンニング検出閾値（正方向の閾値）を示している。負方向の閾値は、図示しないが、正方向の閾値と符号のみが異なる値である。この例では、時刻「ｔ0 」において、信号処理部６１の処理結果である角速度が「Limit 1(th_l1)」を超え、この状態が「Ｐ1 」の期間（この例では時刻「ｔ2 」まで）継続すると、パンニング検出部６３はパンニングの開始を検出する。その後、時刻「ｔ3  」において、信号処理部６１の処理結果である角速度がゼロと交差（ゼロクロス）すると、パンニング検出部６３はパンニングの終了を検出する。従って、時刻「ｔ2 」から「ｔ3 」までの「Ｐ2 」の期間は、パンニングが検出されている期間（パンニング検出期間）となる。
【００５６】
また、「Limit 1(th_l1)」は、パンニング検出部６３によりパンニングが検出されていないときに、リミット部６４がクリップ処理を行うときの上限値を兼ねている。下限値は、図示しないが、上限値と符号のみが異なる値である。パンニングが検出されていないときは、ＨＰＦ６２の処理結果である角速度において、その上限値と下限値の範囲に含まれない成分が、クリップ処理により除かれ、像ぶれ補正の対象外とされる。従って、パンニングが検出されていない、時刻「ｔ2 」よりも前の期間において、例えば、斜線で示す「Ａ」の成分は像ぶれ補正の対象とされ、網掛けで示す「Ｂ」の成分は像ぶれ補正の対象外とされる。なお、時刻「ｔ1 」は、ＨＰＦ６２の処理結果である角速度が、時刻「ｔ0 」以降に初めて上限値を超えた時刻である。
【００５７】
図３の上側において、「Limit 2(th_l2)」は、パンニング検出部６３によりパンニングが検出されているとき（パンニング検出期間中）に、リミット部６４がクリップ処理を行うときの、パンニング方向とは反対の方向にのみ設定される限界値である。この例では、パンニング検出部６３により検出されているパンニング方向が正方向であることから、限界値である「Limit 2(th_l2)」が負方向に設定されている。なお、パンニング方向は、パンニング検出期間中における信号処理部６１の処理結果である角速度の符号でもある。これにより、パンニング検出期間中は、ＨＰＦ６２の処理結果である角速度において、「Limit 2(th_l2)」未満の成分は、クリップ処理により除かれ、像ぶれ補正の対象外とされる。従って、時刻「ｔ2 」から「ｔ3 」までの「Ｐ2 」の期間（パンニング検出期間）において、斜線で示す「Ａ」の成分は像ぶれ補正の対象とされ、網掛けで示す「Ｂ」の成分は像ぶれ補正の対象外とされる。従って、パンニング終了前のパンニング速度低下中において、「Limit 2(th_l2)」未満の成分は、像ぶれ補正されなくなる。
【００５８】
図３の中央には、図３の上側に破線で示した角速度（ＨＰＦ６２の処理結果）の時間変化に対して、リミット部６４によるリミット処理が行われなかった場合の像ぶれ補正量（積分部６６の積分結果）の時間変化を実線で示し、リミット部６４によるリミット処理が行われた場合の像ぶれ補正量の時間変化を破線で示している。なお、このときの積分部６６に与えられる積分係数Ｋは１未満である。
【００５９】
図３の中央に示したように、いずれの場合も、積分係数Ｋの作用により、時間経過に伴って像ぶれ補正量が小さくなっていく。また、リミット処理が行われた場合の方が、それが行われなかった場合の方よりも、像ぶれ補正量が小さくなる。また、上記式（１）のＫ×ΣＸn-1 の変動量が小さくなるために、積分係数Ｋの影響も小さくなる。
【００６０】
図３の下側には、図３の上側に破線で示した角速度（ＨＰＦ６２の処理結果）の時間変化に対して、リミット部６４によるリミット処理が行われなかった場合の映像の像移動量（像移動ベクトル量）の時間変化を実線で示し、リミット部６４によるリミット処理が行われた場合の映像の像移動量の時間変化を破線で示している。
【００６１】
図３の下側に示したように、カメラワークの減速によるパンニング速度低下を打ち消す効果（像ぶれ補正による効果）が緩和され、図１３に示した例と比較すると、急激な変化が無くなっている。
【００６２】
図４は、リミット部６４が所定周期毎に行うリミット処理の一例を示すフローチャートである。
図４に示したように、リミット部６４は、パンニング検出部６３の検出結果から、パンニング中（パンニング検出期間中）であるか否かを判定する（Ｓ４０１）。
【００６３】
Ｓ４０１の判定結果がＹｅｓの場合、リミット部６４は、パンニング検出部６３の検出結果から、パンニング方向が正（＋）方向であるか負（−）方向であるかを判定する（Ｓ４０２）。
【００６４】
Ｓ４０２の判定結果が正（＋）方向である場合、リミット部６４は、負方向のリミット判定２を行う。より詳しくは、リミット部６４は、ＨＰＦ６２の処理結果である角速度（ω）が、負方向の限界値（th_l2 ×−１）未満であるか否かを判定する。（Ｓ４０３）。
【００６５】
Ｓ４０３の判定結果がＹｅｓの場合、リミット部６４は、クリップ処理により、ＨＰＦ６２の処理結果である角速度（ω）を、th_l2 ×−１にして出力し（Ｓ４０４）、リミット処理が終了する。
【００６６】
一方、Ｓ４０３の判定結果がＮｏの場合、リミット部６４は、ＨＰＦ６２の処理結果である角速度（ω）をそのまま出力して、リミット処理が終了する。
一方、Ｓ４０２の判定結果が負（−）方向である場合、リミット部６４は、正方向のリミット判定２を行う。より詳しくは、リミット部６４は、ＨＰＦ６２の処理結果である角速度（ω）が、正方向の限界値（th_l2 ）を超えたか否かを判定する（Ｓ４０５）。
【００６７】
Ｓ４０５の判定結果がＹｅｓの場合、リミット部６４は、クリップ処理により、ＨＰＦ６２の出力である角速度（ω）を、th_l2 にして出力し（Ｓ４０６）、リミット処理が終了する。
【００６８】
一方、Ｓ４０５の判定結果がＮｏの場合、リミット部６４は、ＨＰＦ６２の処理結果である角速度（ω）をそのまま出力して、リミット処理が終了する。
一方、Ｓ４０１の判定結果がＮｏの場合、リミット部６４は、リミット判定１を行う。より詳しくは、リミット部６４は、ＨＰＦ６２の処理結果である角速度（ω）の絶対値が、th_l1 を超えたか否かを判定する（Ｓ４０７）。
【００６９】
Ｓ４０７の判定結果がＹｅｓの場合、リミット部６４は、ＨＰＦ６２の処理結果である角速度（ω）の符号判定を行う。より詳しくは、リミット部６４は、ＨＰＦ６２の処理結果である角速度（ω）が０を超えているか否かを判定する（Ｓ４０８）。
【００７０】
Ｓ４０８の判定結果がＹｅｓの場合、リミット部６４は、クリップ処理により、ＨＰＦ６２の処理結果である角速度（ω）を、th_l1 にして出力し（Ｓ４０９）、リミット処理が終了する。
【００７１】
一方、Ｓ４０８の判定結果がＮｏの場合、リミット部６４は、クリップ処理により、ＨＰＦ６２の処理結果である角速度（ω）を、th_l1 ×−１にして出力し（Ｓ４１０）、リミット処理が終了する。
【００７２】
一方、Ｓ４０７の判定結果がＮｏの場合、リミット部６４は、ＨＰＦ６２の処理結果である角速度（ω）をそのまま出力して、リミット処理が終了する。
以上、第１の実施形態によれば、パンニングのようなカメラワークに対する映像の応答性を改善することができる。また、像ぶれ補正後の映像（パンニング映像）が撮影者に与え得る違和感を緩和することもできる。
【００７３】
なお、第１の実施形態においては、次のような変形が可能である。
例えば、図４に示したリミット処理において、リミット判定１に係る処理（Ｓ４０７乃至Ｓ４１０）を省いてもよい。この場合は、パンニングの終了時の映像の見栄えのみが改善されるようになる。
【００７４】
また、例えば、Ｓ４０３とＳ４０５のリミット判定２で使用されるth_l2 を、ゼロから所定の値までの範囲で可変としてもよい。この場合は、th_l2 を小さくするほど、パンニング終了時の映像が撮影者に違和感を与える虞が少なくなる。但し、th_l2 を小さくすると、ゆっくりとしたパンニングが行われてＳ４０３又はＳ４０５の判定結果がＹｅｓになった場合に、像ぶれ補正量が小さくなるために像ぶれ補正しきれない像ぶれ残りが生じ得る。そこで、これを考慮して、th_l2 を例えば２ｄｐｓ（degree per second）程度にすると、パンニング終了時の違和感の緩和に効果的であると共に、ゆっくりとしたパンニングが行われた場合に像ぶれ残りが頻発する虞もない。
【００７５】
また、th_l2 をゼロから所定の値までの範囲で可変とした場合において、カメラ１の使用状態や焦点距離により映像の見え方が異なることから、その使用状態や焦点距離に応じて、th_l2 を切り替えるようにしてもよい。例えば、焦点距離が長い場合は、像ぶれ補正量が大きくなって像移動に与える影響も大きくなるので、th_l2 を小さくすればよい。これにより、像ぶれ補正量が小さくなって像移動に与える影響も小さくなるので、パンニング終了時の違和感の緩和効果が大きくなる。
＜第２の実施形態＞
【００７６】
次に、本発明の第２の実施形態について説明する。この説明では、第１の実施形態に対して異なる点のみを説明する。また、第１の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
【００７７】
図５は、第２の実施形態に係るパンニング検出部６３の機能構成例を示す図である。
図５に示したように、第２の実施形態に係るパンニング検出部６３は、第１パンニング検出部６３１、第２パンニング検出部６３２、及び論理回路６３３を有する。
【００７８】
第１パンニング検出部６３１は、信号処理部６１の処理結果である角速度に基づいて、第１パンニングの検出とそのパンニング方向の検出を行い、第１パンニング検出結果信号と第１パンニング方向検出結果信号とを出力する。より詳しくは、第１パンニング検出部６３１は、第１パンニング検出結果信号として、第１パンニングの開始を検出してから第１パンニングの終了を検出するまでの間（第１パンニング検出中）はハイレベル信号を出力し、それ以外ではローレベル信号を出力する。また、第１パンニング検出部６３１は、第１パンニング方向検出結果信号として、正のパンニング方向を検出した場合にはハイレベル信号を出力し、負のパンニング方向を検出した場合にはローレベル信号を出力する。第１パンニング検出部６３１の詳細は、図６を用いて後述する。
【００７９】
第２パンニング検出部６３２は、信号処理部６１の処理結果である角速度に基づいて、第１パンニングよりもゆっくりとしたパンニングである第２パンニングの検出とそのパンニング方向の検出を行い、第２パンニング検出結果信号と第２パンニング方向検出結果信号とを出力する。より詳しくは、第２パンニング検出部６３２は、第２パンニング検出結果信号として、第２パンニングの開始を検出してから第２パンニングの終了を検出するまでの間（第２パンニング検出中）はハイレベル信号を出力し、それ以外ではローレベル信号を出力する。但し、第１パンニング検出部６３１の第１パンニング検出結果信号がハイレベル信号である場合には、第２パンニング検出結果信号としてローレベル信号を出力する。また、第２パンニング検出部６３２は、第２パンニング方向検出結果信号として、正のパンニング方向を検出した場合にはハイレベル信号を出力し、負のパンニング方向を検出した場合にはローレベル信号を出力する。第２パンニング検出部６３２の詳細は、図７を用いて後述する。
【００８０】
論理回路６３３は、選択回路（ＳＷ）６３３１と、ＯＲ回路６３３２を有する。
選択回路６３３１は、第１パンニング検出部６３１と第２パンニング検出部６３２の内、パンニングを検出している方のパンニング方向検出結果信号を選択し、出力する。両方がパンニングを検出している場合は、第１パンニング検出部６３１の検出方向が優先される。つまり、選択回路６３３１は、切り替える論理条件として、第１パンニング検出部６３１が出力した第１パンニング検出結果信号に対応する論理状態によって、第１パンニング検出部６３１と第２パンニング検出部６３２の内、パンニングを検出している方のパンニング方向検出結果信号を選択して出力する。なお、本実施形態では、選択回路６３３１に入力される第１パンニング検出結果信号がローレベル信号である場合、選択回路６３３１は、第２パンニング検出部６３２が第２パンニングを検出しているとみなして、第２パンニング検出部６３２からの第２パンニング方向検出結果信号を選択して出力する。
【００８１】
ＯＲ回路６３３２は、第１パンニング検出部６３１の第１パンニング検出結果信号と第２パンニング検出部６３２の第２パンニング検出結果信号とのＯＲ演算を行い、その演算結果信号を、第２の実施形態に係るパンニング検出部６３のパンニングの検出結果として出力する。これにより、第１パンニング検出部６３１が第１パンニングを検出しているか、第２パンニング検出部６３２が第２パンニングを検出していれば、第２の実施形態に係るパンニング検出部６３では、パンニングが検出されることになる。
【００８２】
図６は、第１パンニング検出部６３１の機能構成例を示す図である。
図６に示したように、第１パンニング検出部６３１は、パンニング開始判定部６３１１、ゼロクロス検出部６３１２、計時部６３１３、パンニング検出フラグ設定部６３１４、パンニング方向検出部６３１５、及びパンニング方向検出フラグ設定部６３１６を有する。
【００８３】
パンニング開始判定部６３１１は、信号処理部６１の処理結果である角速度の絶対値がパンニング開始検出閾値（th_s）を超えたか否かを判定する。
ゼロクロス検出部６３１２は、信号処理部６１の処理結果である角速度のゼロクロスを検出する。
【００８４】
計時部６３１３は、パンニング開始判定部６３１１の判定結果に基づいて、信号処理部６１の処理結果である角速度の絶対値がパンニング開始検出閾値（th_s）を超え続ける期間をカウントする。そして、そのカウント値が、所定の期間（例えば図３の上側に示した「Ｐ1 」の期間）に相当するカウント値に達したら、第１パンニングが開始したと判定する。但し、計時部６３１３は、信号処理部６１の処理結果である角速度の絶対値がパンニング開始検出閾値（th_s）を超えない場合や、ゼロクロス検出部６３１２によりゼロクロスが検出された場合には、カウント値をクリアする。
【００８５】
パンニング検出フラグ設定部６３１４は、計時部６３１３により第１パンニングが開始したと判定された場合にパンニング検出フラグをセットし、ゼロクロス検出部６３１２によりゼロクロスが検出された場合にパンニング検出フラグをクリアする。また、パンニング検出フラグ設定部６３１４は、パンニング検出フラグがセットされている場合に、第１パンニング検出結果信号としてハイレベル信号を出力し、パンニング検出フラグがクリアされている場合に、第１パンニング検出結果信号としてローレベル信号を出力する。
【００８６】
パンニング方向検出部６３１５は、計時部６３１３により第１パンニングが開始したと判定された場合に、当該時点の信号処理部６１の処理結果である角速度の符号を、第１パンニングの方向として検出する。
【００８７】
パンニング方向検出フラグ設定部６３１６は、パンニング方向検出部６３１５により検出された方向が正方向である場合にパンニング方向検出フラグをセットし、パンニング方向検出部６３１５により検出された方向が負方向である場合にパンニング方向検出フラグをクリアする。また、パンニング方向検出部６３１５は、パンニング方向検出フラグがセットされている場合に、第１パンニング方向検出結果信号としてハイレベル信号を出力し、パンニング方向検出フラグがクリアされている場合に、第１パンニング方向検出結果信号としてローレベル信号を出力する。
【００８８】
図７は、第２パンニング検出部６３２の機能構成例を示す図である。
第２パンニング検出部６３２は、例えば１ｄｐｓ程度の非常にゆっくりとした角速度のパンニングを第２パンニングとして検出する。そのため、第２パンニング検出部６３２は、信号処理部６１の処理結果である角速度に対して高周波成分を除去するＬＰＦ（ローパスフィルタ）処理を行ってからパンニングの開始及び終了を判定する構成を有する。
【００８９】
図７に示したように、第２パンニング検出部６３２は、ＬＰＦ６３２１、パンニング開始判定部６３２２、パンニング終了判定部６３２３、パンニング検出フラグ設定部６３２４、パンニング方向検出部６３２５、及びパンニング方向検出フラグ設定部６３２６を有する。
【００９０】
ＬＰＦ６３２１は、信号処理部６１の処理結果である角速度に対して、高周波成分を除去する処理（ＬＰＦ処理）を行う。なお、ＬＰＦ６３２１は、第２パンニング検出部６３２の外部に設けられてもよい。
【００９１】
パンニング開始判定部６３２２は、ＬＰＦ６３２１の出力である角速度の絶対値が、パンニング開始検出閾値（th_s）を超えた場合に、第２パンニングが開始したと判定する。
【００９２】
パンニング終了判定部６３２３は、ＬＰＦ６３２１の出力である角速度の絶対値が、パンニング終了検出閾値（th_e）    未満である場合、又は、第１パンニング検出部６３１の第１パンニング検出結果信号がハイレベル信号である場合（第１パンニングが検出された場合）に、第２パンニングが終了したと判定する。このように、後者の場合も第２パンニングが終了したと判定することにより、第２パンニングよりも第１パンニングの方が優先的に検出されるようになり、ゆっくりとしたパンニング（第２パンニング）に限らず、速いパンニング（第１パンニング）に対しても映像の応答性を損なうことがない構成になっている。
【００９３】
パンニング検出フラグ設定部６３２４は、パンニング開始判定部６３２２により第２パンニングが開始したと判定された場合にパンニング検出フラグをセットし、パンニング終了判定部６３２３により第２パンニングが終了したと判定された場合にパンニング検出フラグをクリアする。また、パンニング検出フラグ設定部６３２４は、パンニング検出フラグがセットされている場合に、第２パンニング検出結果信号としてハイレベル信号を出力し、パンニング検出フラグがクリアされている場合に、第２パンニング検出結果信号としてローレベル信号を出力する。
【００９４】
パンニング方向検出部６３２５は、パンニング開始判定部６３２２により第２パンニングが開始したと判定された場合に、当該時点のＬＰＦ６３２１の出力である角速度の符号を、第２パンニングの方向として検出する。
【００９５】
パンニング方向検出フラグ設定部６３２６は、パンニング方向検出部６３２５により検出された方向が正方向である場合にパンニング方向検出フラグをセットし、パンニング方向検出部６３２５により検出された方向が負方向である場合にパンニング方向検出フラグをクリアする。また、パンニング方向検出部６３２５は、パンニング方向検出フラグがセットされている場合に、第２パンニング方向検出結果信号としてハイレベル信号を出力し、パンニング方向検出フラグがクリアされている場合に、第２パンニング方向検出結果信号としてローレベル信号を出力する。
【００９６】
なお、このような構成の第２パンニング検出部６３２において、例えば１ｄｐｓ以上の角速度のパンニングを検出しようとする場合には、ＬＰＦ６３２１の伝達特性として、１Ｈｚ程度のカットオフ周波数が有効である。また、パンニング開始検出閾値（th_s）を１ｄｐｓとし、パンニング終了検出閾値（th_e）を０．５ｄｐｓとする、といったように閾値にヒステリシスを持たせることが望ましい。
【００９７】
また、第２の実施形態に係るぶれ補正マイコン６において、ＨＰＦ６２は、第２の実施形態に係るパンニング検出部６３によるパンニングの検出結果に応じてカットオフ周波数を切り替える。より詳しくは、ＨＰＦ６２は、パンニングが検出されていないときはカットオフ周波数をｆ１へ切り替え、パンニングが検出されているときはカットオフ周波数をｆ２（但し、ｆ２＞ｆ１）へ切り替える。これにより、第２の実施形態に係るパンニング検出部６３によるパンニングの検出結果に応じてＨＰＦ６２の処理特性が変更され、パンニングが検出されているときは、それが検出されていないときよりも像ぶれ補正量が小さくなるようにされる。
【００９８】
また、第２の実施形態に係るぶれ補正マイコン６において、積分部６６に与えられる積分係数Ｋは、第２の実施形態に係るパンニング検出部６３によるパンニングの検出結果に応じて切り替えられる。より詳しくは、積分係数Ｋは、パンニングが検出されていないときはｋ１へ切り替えられ、パンニングが検出されているときはｋ２（但し、ｋ２＜ｋ１）へ切り替えられる。これにより、第２の実施形態に係るパンニング検出部６３によるパンニングの検出結果に応じて積分部６６の処理特性が変更され、パンニングが検出されているときは、それが検出されていないときよりも像ぶれ補正量が小さくなるようにされる。
【００９９】
なお、上述のカットオフ周波数の切り替え及び積分係数Ｋの切り替えは、その一方のみが行われるようにしてもよい。
以上、第２の実施形態によれば、ゆっくりとしたパンニング（第２パンニング）に限らず、速いパンニング（第１パンニング）に対しても映像の応答性を損なうことが無い。
＜第３の実施形態＞
【０１００】
次に、本発明の第３の実施形態について説明する。この説明では、第１の実施形態に対して異なる点のみを説明する。また、第１の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
【０１０１】
図８は、第３の実施形態に係るぶれ補正マイコン６の機能構成例を示す図である。
図８に示したように、第３の実施形態に係るぶれ補正マイコン６は、図２に示した第１の実施形態に係るぶれ補正マイコン６に対して、更に振幅判定部６８を有する。
【０１０２】
振幅判定部６８は、現時点から所定時間前（所定サイクル前）までの間の信号処理部６１の処理結果である角速度に基づいて、パンニングが検出されていないときにリミット部６４がクリップ処理を行うときの上限値及び下限値を決定する閾値(図４のＳ４０９、Ｓ４１０の「th_l1 」）を変更する。より詳しくは、振幅判定部６８は、現時点から所定時間前までの間の、信号処理部６１の処理結果である角速度の最大値及び最小値の一方又は両方に基づいて、角速度の振幅値Ｗを取得する。例えば、角速度の最大値、又は、角速度の最小値の絶対値を、振幅値Ｗとして取得する。そして、その振幅値Ｗに所定の倍率（係数）αを乗算した結果を、パンニングが検出されていないときにリミット部６４がクリップ処理を行うときの上限値及び下限値を決定する閾値（th_l1 ）として設定する。
【０１０３】
なお、このようにして設定される閾値（th_l1 ）は、パンニング検出部６３がパンニングを検出する際に用いるパンニング検出閾値（絶対値としてのパンニング検出閾値）以下となる。また、所定の倍率αは、可変である。例えば、撮影光学系２の焦点距離が長くなるほど、所定の倍率αが小さくなる。
【０１０４】
図９は、振幅判定部６８により設定される閾値（th_l1 ）の一例を示す図である。
図９に示した例では、振幅判定部６８が、現時点から所定時間前までの間の、信号処理部６１の処理結果である角速度の最大値を振幅値Ｗとして取得し、それに所定の倍率αを乗算した結果を閾値（th_l1 ）として設定することで、上限値がＷ×αとされている。
【０１０５】
例えば、直近の０．５秒前までの角速度の最大値を振幅値Ｗとして取得し、その振幅値Ｗを１．５倍（α＝１．５）したものを閾値（th_l1 ）として設定した場合、カメラ１の姿勢変化が無ければ、ＨＰＦ６２の処理結果である角速度がリミット部６４により制限されることはないが、カメラ１の姿勢変化や撮影者によるフレーミングの切り替えがあれば、ＨＰＦ６２の処理結果である角速度が即座にリミット部６４により制限されることとなり、像ぶれ補正が抑制されることとなる。
【０１０６】
こうすることで、撮影者がカメラ１をしっかり構えているときのようにカメラ１の揺れが少ない場合には、閾値（th_l1 ）が小さい値に設定され、結果として、パンニングが行われた際に、カメラ１の動き出しにおいて、ＨＰＦ６２の出力結果である角速度の絶対値が閾値（th_l1 ）を超えるタイミングが早まり、また、像ぶれ補正の抑制効果も大きくなるので、パンニングに対する映像の反応が良くなる。
【０１０７】
また、撮影者が歩行中やカメラ１を片手で保持しているときのようにカメラ１の揺れが大きい場合には、閾値（th_l1 ）が大きい値に設定され、結果として、ＨＰＦ６２の出力結果である角速度の絶対値が閾値（th_l1 ）を超えるケースが少なくなり、リミット部６４のリミット処理による像ぶれ補正の抑制効果が抑えられ、像ぶれ補正性能の低下を防止することができる。
【０１０８】
また、閾値（th_l1 ）は、パンニング検出部６３がパンニングを検出する際に使用するパンニング検出閾値（絶対値としてのパンニング検出閾値）を上限として設定されるようにしてもよい。この場合、閾値（th_l1 ）は、そのパンニング検出閾値を上限として変動することになる。これにより、パンニング検出部６３がパンニングを検出するまでに算出される像ぶれ補正量を抑制することができる。
【０１０９】
以上、第３の実施形態によれば、パンニングが検出されていないときにリミット部６４がクリップ処理を行うときの上限値及び下限値を決定する閾値(th_l1 ）を、直前におけるカメラ１の姿勢変化に応じて変更するようにしたので、リミット部６４のリミット処理による像ぶれ補正性能の低下を防止することができる。
＜第４の実施形態＞
【０１１０】
次に、本発明の第４の実施形態について説明する。この説明では、第２の実施形態に対して異なる点のみを説明する。また、第２の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
【０１１１】
第４の実施形態は、第２の実施形態の変形である。
上述の第２の実施形態に係るパンニング検出部６３（図５参照）では、第１パンニング検出部６３１の検出結果が、第２パンニング検出部６３２の検出結果よりも優先されていた。しかしながら、撮影者や撮影シーンによっては、ゆっくりとしたパンニング（第２パンニング）しか行わない場合や、速いパンニング（第１パンニング）しか行わない場合もある。そこで、第４の実施形態に係るパンニング検出部６３では、第１パンニング検出部６３１と第２パンニング検出部６３２のいずれの検出結果でパンニング終了時にＨＰＦ６２をリセット（初期化）するかを選択可能に構成した。
【０１１２】
図１０は、第４の実施形態に係るパンニング検出部６３の機能構成例を示す図である。
図１０に示したように、第４の実施形態に係るパンニング検出部６３は、図５に示した論理回路６３３がセレクタ６３４に置き換えられると共に、更に、パンニング選択部６３５及び通信部６３６を有する。また、第４の実施形態に係るパンニング検出部６３では、第１パンニング検出部６３１の第１パンニング検出結果信号が、第２パンニング検出部６３２に入力されない。
【０１１３】
通信部６３６は、システムコントローラ５と通信を行う。なお、通信部６３６は、パンニング検出部６３の外部に設けられてもよい。
パンニング選択部６３５は、システムコントローラ５から通信部６３６を介して通知される情報に基づいて、第１パンニング検出部６３１と第２パンニング検出部６３２のいずれの検出結果を選択するかを決定する。ここで、システムコントローラ５から通知される情報は、映像から検出された移動ベクトル（動きベクトル）や、カメラ１に設定されている撮影条件（撮影シーンモード、露出等）等に関する情報である。なお、移動ベクトルの検出は、システムコントローラ５により行われる。
【０１１４】
例えば、パンニング選択部６３５は、映像から検出された移動ベクトルから、ゆっくりとしたパンニングの実施が想定される場合（カメラ１の動きがゆっくりの場合等）には、第２パンニング検出部６３２の検出結果を選択する。例えば、映像から検出された移動ベクトルの大きさが所定値よりも小さい場合に、第２パンニング検出部６３２の検出結果を選択する。一方、速いパンニングの実施が想定される場合（被写体の切り替えが頻発する場合等）には、第１パンニング検出部６３１の検出結果を選択する。例えば、映像から検出された移動ベクトルの大きさの変動が所定値よりも大きい場合や移動ベクトルの大きさが所定値よりも大きい場合は、被写体を追いかける速いパンニングが行われる可能性が高いので、パンニング選択部６３５は第１パンニング検出部６３１の検出結果を選択する。
【０１１５】
また、例えば、パンニング選択部６３５は、撮影シーンモードが、スポーツや子供等の撮影に適したモードである場合には、被写体を追いかける速いパンニングが行われる可能性が高いので、第１パンニング検出部６３１の検出結果を選択する。一方、撮影シーンモードが、風景や夜景等の撮影に適したモードである場合には、ゆっくりとしたパンニングが行われる可能性が高いので、第２パンニング検出部６３２の検出結果を選択する。
【０１１６】
セレクタ６３４は、パンニング選択部６３５の選択決定に応じて、第１パンニング検出部６３１の検出結果をＨＰＦ６２及び、リミット部６４へ出力するか、第２パンニング検出部６３２の検出結果をＨＰＦ６２及び、リミット部６４へ出力するかを切り替える。すなわち、セレクタ６３４は、パンニング選択部６３５が第１パンニング検出部６３１の検出結果を選択した場合には、第１パンニング検出部６３１の検出結果をＨＰＦ６２及び、リミット部６４へ出力し、パンニング選択部６３５が第２パンニング検出部６３２の検出結果を選択した場合には、第２パンニング検出部６３２の検出結果をＨＰＦ６２及び、リミット部６４へ出力する。
【０１１７】
以上、第４の実施形態によれば、撮影シーンに応じて選択されたパンニング検出結果に基づいてＨＰＦ６２のリセットタイミングの変更やリミット部６４によるリミット処理が行われるようになるので、撮影シーンに適した像ぶれ補正制御を行うことができる。
【０１１８】
なお、第４の実施形態においては、次のような変形が可能である。
例えば、第１パンニング検出部６３１と第２パンニング検出部６３２のいずれの検出結果を選択するかを、パンニング選択部６３５ではなくシステムコントローラ５が決定するようにしてもよい。この場合、セレクタ６３４は、通信部６３６及びパンニング選択部６３５を介して通知されるシステムコントローラ５の選択決定に応じて、第１パンニング検出部６３１の検出結果をＨＰＦ６２及び、リミット部６４へ出力するか、第２パンニング検出部６３２の検出結果をＨＰＦ６２及び、リミット部６４へ出力するかを切り替える。
【０１１９】
また、この場合は、例えば、撮影者の過去のパンニング時の平均角速度や、撮影者により過去に実施された速いパンニング（第１パンニング）と遅いパンニング（第２パンニング）の割合等を、撮影履歴情報としてシステムコントローラ５の図示しない不揮発性メモリに記憶するようにしてもよい。そして、システムコントローラ５が、その撮影履歴情報に基づいて、第１パンニング検出部６３１と第２パンニング検出部６３２のいずれの検出結果を選択するかを決定するようにしてもよい。例えば、撮影者により過去に実施された速いパンニングと遅いパンニングの割合において、前者の割合の方が高い場合には第１パンニング検出部６３１の検出結果を選択し、後者の割合の方が高い場合には第２パンニング検出部６３２の検出結果を選択する。一般に、動画撮影を行う場合、撮影者によってパンニングの特性に偏りが生じやすい。従って、このように撮影履歴情報に応じて検出結果の選択決定を行うことにより、撮影者の撮影スタイルに適した像ぶれ補正制御を行うことができる。
＜第５の実施形態＞
【０１２０】
次に、本発明の第５の実施形態について説明する。この説明では、第３の実施形態に対して異なる点のみを説明する。また、第３の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
【０１２１】
第５の実施形態は、第３の実施形態の変形である。
図１１は、第５の実施形態に係るぶれ補正マイコン６の機能構成例を示す図である。
図１１に示したように、第５の実施形態に係るぶれ補正マイコン６は、図８に示した振幅判定部６８の代わりに、通信部６９ａ及びリミット決定部６９ｂを有する。
【０１２２】
通信部６９ａは、システムコントローラ５と通信を行う。
リミット決定部６９ｂは、システムコントローラ５から通信部６９ａを介して通知される情報に基づいて、パンニングが検出されていないときにリミット部６４がクリップ処理を行うときの上限値及び下限値を決定する閾値(図４のＳ４０９、Ｓ４１０の「th_l1 」）を決定する。ここで、システムコントローラ５から通知される情報は、映像から検出された移動ベクトル（動きベクトル）や、カメラ１の操作状態（ズーム変更操作等）や、カメラ１に設定されている撮影条件（撮影シーンモード等）等に関する情報である。なお、移動ベクトルの検出は、システムコントローラ５により行われる。
【０１２３】
例えば、リミット決定部６９ｂは、映像から検出された移動ベクトルの大きさが所定値よりも小さい場合は、カメラ１の動きが小さいので、閾値（th_l1 ）を低い値に設定する。
また、例えば、リミット決定部６９ｂは、撮影者がカメラ１の操作中（ズーム変更操作中等）である場合は、カメラ１の大きい揺れを起こし易いので、閾値（th_l1 ）を高い値に設定する。
【０１２４】
また、例えば、リミット決定部６９ｂは、撮影シーンモードがスポーツや子供等の撮影に適したモードである場合には、カメラワークに対する映像の応答性を高めるために、閾値（th_l1 ）を低い値に決定する。また、例えば、撮影シーンモードが風景や夜景等の撮影に適したモードである場合には、カメラ１の動きが少なくなるので、閾値（th_l1 ）を低い値に設定する。
【０１２５】
以上、第５の実施形態によれば、撮影シーンやカメラ１の操作状態に応じて決定された閾値（th_l1 ）を用いてリミット部６４によるリミット処理が行われるようになるので、撮影シーンやカメラ１の操作状態に適した像ぶれ補正制御を行うことができる。
【０１２６】
なお、第５の実施形態においては、次のような変形が可能である。
例えば、撮影者の過去の撮影中のカメラ１の揺れに関する揺れ情報を、撮影履歴情報としてシステムコントローラ５の図示しない不揮発性メモリに記憶しておき、リミット決定部６９ｂは、その揺れ情報を参照して揺れが大きいか否かを判定し、その判定結果に応じて閾値（th_l1 ）を設定するようにしてもよい。なお、揺れ情報は、例えば、撮影中のカメラ１の揺れ量のピーク値や、その揺れ量の平均値等に関する情報である。
【０１２７】
これにより、撮影者に適した閾値（th_l1 ）が設定されるようになるので、撮影者に適さない閾値（th_l1 ）が設定されることで像ぶれ補正性能が劣化したような印象を撮影者に与えてしまうことを防止することができる。
【０１２８】
以上に述べた各実施形態では、撮像装置１が、撮影光学系２の光軸と直交する面上に撮像素子３を移動させることにより像ぶれ補正を行う構成であったが、例えば、その光軸に直交する面上に撮影光学系２に含まれるレンズを移動させることにより像ぶれ補正を行う構成としてもよい。あるいは、その両者の構成を備えて、両者が協働して像ぶれ補正を行う構成としてもよい。
【０１２９】
また、カメラ１は、レンズ一体型カメラであってもよいし、レンズ交換式カメラであってもよい。また、カメラ１は、例えばスマートフォン（登録商標）やタブレット等、カメラ機能付きの携帯型情報端末装置として構成されてもよい。
【０１３０】
以上、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、様々の発明を形成できる。例えば、実施形態に示される全構成要素のいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１３１】
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
装置の角速度を検出する角速度検出部と、
前記角速度に基づいてパンニングを検出するパンニング検出部と、
前記角速度に対してＨＰＦ（ハイパスフィルタ）処理を行うＨＰＦと、
前記パンニング検出部の検出結果に基づいて、前記ＨＰＦの処理結果に対してクリップ処理を行うリミット部と、
前記リミット部の処理結果に基づいて像ぶれ補正量を算出する算出部と、
前記像ぶれ補正量に基づいて像ぶれ補正機構を駆動させる駆動指示部と、
を備え、
前記パンニング検出部により前記パンニングが検出されている場合、前記リミット部は、前記パンニングの方向の反対方向に対応する符号を有する閾値を、前記ＨＰＦの処理結果に対する限界値として、前記クリップ処理を行い、
前記パンニング検出部により前記パンニングの終了が検出された場合は、前記ＨＰＦを初期化する、
ことを特徴とする像ぶれ補正装置。
（付記２）
前記パンニング検出部は、
前記角速度の絶対値がパンニング検出閾値を超えたか否かを判定する判定部と、
前記判定部の判定結果に基づいて、前記角速度の絶対値が前記パンニング検出閾値を超えた状態が継続する時間を計測する計時部と、
前記角速度の符号を検出する符号検出部と、
を備え、
前記パンニング検出部は、前記計時部により計測された時間が所定時間を越えた場合に前記パンニングを検出し、当該時点に前記符号検出部により検出された符号を前記パンニングの方向として検出する、
ことを特徴とする付記１記載の像ぶれ補正装置。
（付記３）
前記限界値とされる前記閾値の絶対値は可変である、
ことを特徴とする付記１又は２記載の像ぶれ補正装置。
（付記４）
前記装置が有する光学系の焦点距離が長くなるほど、前記限界値とされる前記閾値の絶対値が小さくなる、
ことを特徴とする付記３記載の像ぶれ補正装置。
（付記５）
付記１乃至４のいずれか１つに記載の像ぶれ補正装置を備えることを特徴とする撮像装置。
（付記６）
像ぶれ補正装置の像ぶれ補正方法であって、
装置の角速度を検出することと、
前記角速度に基づいてパンニングの検出を行うことと、
前記角速度に対して低周波成分を除去するＨＰＦ（ハイパスフィルタ）処理を行うことと、
前記パンニングの検出結果に基づいて、前記ＨＰＦ処理の処理結果に対してクリップ処理を行うことと、
前記クリップ処理の処理結果に基づいて像ぶれ補正量を算出することと、
前記像ぶれ補正量に基づいて像ぶれ補正機構を駆動させることと、
を含み、
前記パンニングが検出されている場合、前記パンニングの方向の反対方向に対応する符号を有する閾値を、前記ＨＰＦ処理の処理結果に対する限界値として、前記クリップ処理を行い、
前記パンニングの終了が検出された場合は、前記ＨＰＦ処理を初期化する、
ことを特徴とする像ぶれ補正方法。
（付記７）
装置の角速度を検出する角速度検出部と、
前記角速度に基づいてパンニングを検出するパンニング検出部と、
前記角速度に対してＨＰＦ（ハイパスフィルタ）処理を行うＨＰＦと、
前記ＨＰＦの処理結果に対する上限値及び下限値を決定する決定部と、
前記パンニング検出部の検出結果と前記上限値及び前記下限値とに基づいて、前記ＨＰＦの処理結果に対してクリップ処理を行うリミット部と、
前記リミット部の処理結果に基づいて像ぶれ補正量を算出する算出部と、
前記像ぶれ補正量に基づいて像ぶれ補正機構を駆動させる駆動指示部と、
を備え、
前記パンニング検出部により前記パンニングが検出されていない場合、前記リミット部は、前記上限値及び前記下限値を用いて前記クリップ処理を行う、
ことを特徴とする像ぶれ補正装置。
（付記８）
前記上限値と前記下限値は、符号が異なる値であって且つ絶対値が等しい値である、
ことを特徴とする付記７記載の像ぶれ補正装置。
（付記９）
前記決定部は、現在から所定期間前までの間の前記角速度から、前記角速度の振幅を決定し、前記振幅に基づいて前記絶対値を決定する、
ことを特徴とする付記８記載の像ぶれ補正装置。
（付記１０）
前記絶対値は、前記振幅に係数を乗算した値である、
ことを特徴とする付記９記載の像ぶれ補正装置。
（付記１１）
前記係数は可変である、
ことを特徴とする付記９記載の像ぶれ補正装置。
（付記１２）
前記装置が有する光学系の焦点距離が長くなるほど前記係数が小さくなる、
ことを特徴とする付記１１記載の像ぶれ補正装置。
（付記１３）
前記絶対値は、前記パンニング検出部が前記パンニングを検出する際に使用するパンニング検出閾値の絶対値以下である、
ことを特徴とする付記８記載の像ぶれ補正装置。
（付記１４）
前記装置は、撮像装置であって、
前記決定部は、前記撮像装置における、撮影条件、及び、映像信号から検出される移動ベクトル、の一方又は両方に基づいて、前記絶対値を決定する、
ことを特徴とする付記８に記載の像ぶれ補正装置。
（付記１５）
前記撮影条件に含まれる焦点距離が長い場合、又は、前記移動ベクトルの大きさが所定値よりも小さい場合、前記決定部は、前記絶対値を小さくして前記上限値及び前記下限値を決定する、
ことを特徴とする付記１４に記載の像ぶれ補正装置。
（付記１６）
付記７乃至１５のいずれか１つに記載の像ぶれ補正装置を備えることを特徴とする撮像装置。
（付記１７）
像ぶれ補正装置の像ぶれ補正方法であって、
装置の角速度を検出することと、
前記角速度に基づいてパンニングの検出を行うことと、
前記角速度に対してＨＰＦ（ハイパスフィルタ）処理を行うことと、
前記ＨＰＦ処理の処理結果に対する上限値及び下限値を決定することと、
前記パンニングの検出結果と前記上限値及び前記下限値とに基づいて、前記ＨＰＦ処理の処理結果に対してクリップ処理を行うことと、
前記クリップ処理の処理結果に基づいて像ぶれ補正量を算出することと、
前記像ぶれ補正量に基づいて像ぶれ補正機構を駆動させることと、
を含み、
前記パンニングが検出されていない場合、前記上限値及び前記下限値を用いて前記クリップ処理を行う、
ことを特徴とする像ぶれ補正方法。
【符号の説明】
【０１３２】
１              カメラ
２              撮影光学系
３              撮像素子
４              駆動部
５              システムコントローラ
６              ぶれ補正マイコン
７              角速度センサ
８              レリーズＳＷ
９              ＥＶＦ
１０            メモリカード
６１            信号処理部
６２            ＨＰＦ
６３            パンニング検出部
６４            リミット部
６５            乗算部
６６            積分部
６７            駆動指示部
６８            振幅判定部
６９ａ          通信部
６９ｂ          リミット決定部
６３１          第１パンニング検出部
６３２          第２パンニング検出部
６３３          論理回路
６３４          セレクタ
６３５          パンニング選択部
６３６          通信部
６３１１        パンニング開始判定部
６３１２        ゼロクロス検出部
６３１３        計時部
６３１４        パンニング検出フラグ設定部
６３１５        パンニング方向検出部
６３１６        パンニング方向検出フラグ設定部
６３２１        ＬＰＦ
６３２２        パンニング開始判定部
６３２３        パンニング終了判定部
６３２４        パンニング検出フラグ設定部
６３２５        パンニング方向検出部
６３２６        パンニング方向検出フラグ設定部
６３３１        選択回路
６３３２        ＯＲ回路
【図１】
2019012093.tif 000003
【図２】
2019012093.tif 000004
【図３】
2019012093.tif 000005
【図４】
2019012093.tif 000006
【図５】
2019012093.tif 000007
【図６】
2019012093.tif 000008
【図７】
2019012093.tif 000009
【図８】
2019012093.tif 000010
【図９】
2019012093.tif 000011
【図１０】
2019012093.tif 000012
【図１１】
2019012093.tif 000013
【図１２】
2019012093.tif 000014
【図１３】
2019012093.tif 000015
【図１４】
2019012093.tif 000016