(57)【特許請求の範囲】
【請求項１】
光学的な被写体像を結像する撮影光学系と、
上記被写体像を光電変換して撮像信号を生成する撮像素子と、
結像面における上記被写体像の並進方向および回転方向の像ブレ量を検出する像ブレ検出部と、
上記撮影光学系の光軸に垂直な面内で上記撮像素子を移動させて、上記並進方向の像ブレを光学補正すると共に、必要に応じてさらに上記回転方向の像ブレを光学補正する光学補正部と、
上記撮像信号に基づいて得られる画像データの一部を切り出して出力画像とする電子補正を行う電子補正部と、
撮像装置が歩行状態と非歩行状態との何れであるかを検知する歩行検知部と、
を有し、
上記歩行状態である場合には、上記非歩行状態である場合よりも、上記光学補正部による回転方向の像ブレの補正量を小さくして、かつ上記電子補正部による回転方向の像ブレの補正量を大きくすることを特徴とする撮像装置。
【請求項２】
上記歩行状態である場合には上記光学補正部による回転方向の像ブレの補正量を０として上記電子補正部により回転方向の像ブレを補正し、上記非歩行状態である場合には上記電子補正部による回転方向の像ブレの補正量を０として上記光学補正部により回転方向の像ブレを補正することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記光学補正を行って取得された取得時点の異なる複数の画像データに基づいて、上記光学補正後に残存する並進方向のブレ残り量を算出するブレ残り量算出部をさらに有し、
上記非歩行状態である場合には、並進方向の上記ブレ残り量を上記電子補正部により補正することを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記ブレ残り量算出部は、上記複数の画像データのパターンマッチングを行うパターンマッチング部を含み、該パターンマッチングの結果に基づいて、並進方向の上記ブレ残り量を算出することを特徴とする請求項３に記載の撮像装置。
【請求項５】
上記光学補正部の補正限界に近付いたときに、上記並進方向の光学補正機能を抑制する限界補正緩和部と、
上記並進方向の像ブレ量から、上記光学補正部により補正される上記並進方向の像ブレ量を減算して、ブレ残り量を算出するブレ残り量算出部と、
をさらに有し、
上記非歩行状態である場合には、並進方向の上記ブレ残り量を上記電子補正部により補正することを特徴とする請求項２に記載の撮像装置。
【請求項６】
上記光学補正部は、撮像装置に固定された固定部と、上記撮像素子を一体的に保持し上記固定部に対して上記撮影光学系の光軸に垂直な面内で移動可能な可動部と、を含み、
上記限界補正緩和部は、上記可動部が上記固定部に当て付く補正限界に到達する前に、上記像ブレ検出部により検出された並進方向の像ブレ量に、上記並進方向の光学補正機能を抑制するための当付補償係数を乗算する当付補償係数乗算部を含むことを特徴とする請求項５に記載の撮像装置。
【請求項７】
上記歩行検知部は、上記像ブレ検出部により検知された上記回転方向の像ブレの程度に基づき、上記歩行状態と上記非歩行状態との何れであるかを検知することを特徴とする請求項１に記載の撮像装置。
【請求項８】
光学的な被写体像を撮像素子により光電変換して撮像信号を生成する撮像ステップと、
結像面における上記被写体像の並進方向および回転方向の像ブレ量を検出する像ブレ検出ステップと、
撮影光学系の光軸に垂直な面内で上記撮像素子を移動させて、上記並進方向の像ブレを光学補正すると共に、必要に応じてさらに上記回転方向の像ブレを光学補正する光学補正ステップと、
上記撮像信号に基づいて得られる画像データの一部を切り出して出力画像とする電子補正を行う電子補正ステップと、
撮像装置が歩行状態と非歩行状態との何れであるかを検知する歩行検知ステップと、
を有し、
上記歩行状態である場合には、上記非歩行状態である場合よりも、上記光学補正ステップによる回転方向の像ブレの補正量を小さくして、かつ上記電子補正ステップによる回転方向の像ブレの補正量を大きくすることを特徴とする像ブレ補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体像の並進方向および回転方向の像ブレ量を検出して補正する撮像装置、像ブレ補正方法に関する。
【背景技術】
【０００２】
近年、手ブレ補正機能を搭載したカメラが一般的になり、手持ち撮影において、特に注意しなくても、像ブレのない良好な撮影画像を撮影できるようになってきている。
【０００３】
また、撮影用途に応じて撮影レンズを交換できるレンズ交換式カメラがある。このようなカメラでは、上述した手ブレ補正機能を、交換レンズに搭載する場合と、カメラ本体に搭載する場合と、の２通りが主にある（ただし、両方に搭載しても構わない）。
【０００４】
交換レンズに手ブレ補正機能を搭載する場合には、交換レンズ（ひいては交換レンズと一体的に連結されたカメラ本体）に加わる動きを検出するセンサを交換レンズ内に搭載して、検出した動きによって生じる像ブレを打ち消す方向に、撮影レンズ群の一部を光軸と直交する面上で移動することで、像ブレを補正している。
【０００５】
一方、カメラ本体に手ブレ補正機能を搭載する場合には、カメラ本体に加わる動きを検出するセンサをカメラ本体内に搭載して、検出した動きによって生じる像ブレを打ち消す方向に撮像素子を移動することで、像ブレを補正している。
【０００６】
また、動画は、手持ち静止撮影、パンニング撮影、歩行撮影、自動車や列車などの交通機関からの撮影、などの様々な方法で取得される。そして、どのような方法で撮影されたかに応じて、動画に生じるブレの特性が異なるために、ブレ補正に最適な補正範囲や処理方法が異なる。
【０００７】
例えば、歩行撮影は手持ち静止撮影に比べてブレ角度が大きいために、手持ち静止撮影に最適な補正範囲は、歩行撮影においては範囲不足となり、ブレの少ない動画を取得することは困難となる。
【０００８】
こうした点に着目した技術として、例えば特開２０１４−２０６６６０号公報には、ブレ補正が可能なレンズを有するカメラの制御の一例として、角速度センサから検出した回転ブレと、加速度センサから検出した並進ブレと、に基づいて歩行状態であるか否かを判定し、歩行状態であるときには、非歩行状態であるときよりもレンズによるブレ補正範囲を広くする技術が記載されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１４−２０６６６０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
歩行状態においては、撮影レンズの光軸周りのブレであるロール方向の回転ブレが、手持ち静止撮影等の非歩行状態に対して大きくなる。しかし、上記特開２０１４−２０６６６０号公報に記載されたような、レンズに手ブレ補正機能が搭載されている構成では、ロール方向のブレを補正することが原理的にできない。従って、歩行状態で撮影された動画は、光軸周りの回転により、狙った被写体に揺らぎが生じた、フレーミングが安定しない見栄えの悪い映像になったりしてしまう。
【００１１】
本発明は上記事情に鑑みてなされたものであり、歩行状態におけるロール方向を含むブレの補正性能を改善して、安定したフレーミングを確保することができる撮像装置、像ブレ補正方法を提供することを目的としている。
【課題を解決するための手段】
【００１２】
本発明のある態様による撮像装置は、光学的な被写体像を結像する撮影光学系と、上記被写体像を光電変換して撮像信号を生成する撮像素子と、結像面における上記被写体像の並進方向および回転方向の像ブレ量を検出する像ブレ検出部と、上記撮影光学系の光軸に垂直な面内で上記撮像素子を移動させて、上記並進方向の像ブレを光学補正すると共に、必要に応じてさらに上記回転方向の像ブレを光学補正する光学補正部と、上記撮像信号に基づいて得られる画像データの一部を切り出して出力画像とする電子補正を行う電子補正部と、撮像装置が歩行状態と非歩行状態との何れであるかを検知する歩行検知部と、を有し、上記歩行状態である場合には、上記非歩行状態である場合よりも、上記光学補正部による回転方向の像ブレの補正量を小さくして、かつ上記電子補正部による回転方向の像ブレの補正量を大きくする。
【００１３】
本発明のある態様による像ブレ補正方法は、光学的な被写体像を撮像素子により光電変換して撮像信号を生成する撮像ステップと、結像面における上記被写体像の並進方向および回転方向の像ブレ量を検出する像ブレ検出ステップと、撮影光学系の光軸に垂直な面内で上記撮像素子を移動させて、上記並進方向の像ブレを光学補正すると共に、必要に応じてさらに上記回転方向の像ブレを光学補正する光学補正ステップと、上記撮像信号に基づいて得られる画像データの一部を切り出して出力画像とする電子補正を行う電子補正ステップと、撮像装置が歩行状態と非歩行状態との何れであるかを検知する歩行検知ステップと、を有し、上記歩行状態である場合には、上記非歩行状態である場合よりも、上記光学補正ステップによる回転方向の像ブレの補正量を小さくして、かつ上記電子補正ステップによる回転方向の像ブレの補正量を大きくする。
【発明の効果】
【００１４】
本発明の撮像装置、像ブレ補正方法によれば、歩行状態におけるロール方向を含むブレの補正性能を改善して、安定したフレーミングを確保することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態１の撮像装置における回転運動の方向の定義を説明するための斜視図。
【図２】上記実施形態１の撮像装置の構成を示すブロック図。
【図３】上記実施形態１におけるブレ補正マイクロコンピュータの機能的な構成を示すブロック図。
【図４】上記実施形態１におけるヨー補正量算出部およびピッチ補正量算出部の構成の一例を示すブロック図。
【図５】上記実施形態１におけるロール補正量算出部の構成の一例を示すブロック図。
【図６】上記実施形態１において、歩行検知処理部の処理を説明するための、ロール角速度の時間変化の例を示す線図。
【図７】上記実施形態１における撮像素子駆動部の概略的な構成例を示す図。
【図８】上記実施形態１におけるシステムコントローラの機能的な構成を示すブロック図。
【図９】上記実施形態１におけるＸ／Ｙ補正量算出部の構成の一例を示すブロック図。
【図１０】上記実施形態１の撮像装置の手ブレ補正におけるブレ補正マイクロコンピュータの処理を示すフローチャート。
【図１１】上記実施形態１の撮像装置の手ブレ補正におけるシステムコントローラの処理を示すフローチャート。
【図１２】上記実施形態１において、歩行状態であるか否かに応じた電子補正と光学補正との使い分けと得られる効果とを示す図表。
【図１３】上記実施形態１において、ブレの検出結果が歩行状態であるか否かに応じて電子補正と光学補正とを使い分ける様子を示す線図。
【図１４】本発明の実施形態２におけるブレ補正マイクロコンピュータの機能的な構成を示すブロック図。
【図１５】上記実施形態２におけるヨー補正量算出部およびピッチ補正量算出部の構成の一例を示すブロック図。
【図１６】上記実施形態２におけるシステムコントローラの機能的な構成を示すブロック図。
【図１７】上記実施形態２の撮像装置の手ブレ補正におけるブレ補正マイクロコンピュータの処理を示すフローチャート。
【図１８】上記実施形態２の撮像装置の手ブレ補正におけるシステムコントローラの処理を示すフローチャート。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１７】
図１から図１３は本発明の実施形態１を示したものであり、図１は、撮像装置における回転運動の方向の定義を説明するための斜視図である。本実施形態においては、図１に外観を示すように、撮像装置がカメラに適用されているために、以下では、撮像装置を、適宜、カメラと呼称する。
【００１８】
まず、図１を参照して、撮像装置に対して座標を定義し、さらに回転運動の方向を定義する。
【００１９】
カメラは、カメラ本体１と交換レンズ２を備えている。このようなカメラを標準的な撮影姿勢にしたときの、上下方向（重力に沿った方向）をＹ方向とし、便宜上、上方向をＹの＋方向（従って、Ｙの−方向は下方向）とする。
【００２０】
さらに、カメラの左右方向をＸ方向とし、カメラを正面から見て右方向をＸの＋方向とする（従って、Ｘの−方向は左方向）。
【００２１】
そして、カメラの交換レンズ２の光軸方向をＺ方向とし、被写体側の方向をＺの＋方向とする（従って、Ｚの−方向は像側の方向）。
【００２２】
このような座標軸の定義において、ＸＹ平面は後述する撮像素子１２（図２参照）の撮像面と平行である（すなわち、撮像素子１２の撮像面は、光軸方向であるＺ方向に垂直である）ものとする。
【００２３】
次に、カメラに対して、Ｙ方向の軸であるＹ軸周りの回転運動をヨー（Yaw）方向の回転運動、Ｘ方向の軸であるＸ軸周りの回転運動をピッチ（Pitch）方向の回転運動、Ｚ方向の軸であるＺ軸周りの回転運動をロール（Roll）方向の回転運動とし、図１に示す各矢印の方向を各回転運動の＋方向（従って、各回転運動の−方向は各矢印の逆方向）とする。
【００２４】
ただし、ここで定義した各軸方向および各軸周りの回転方向の正負は、カメラに実装された加速度センサや角速度センサ（後述する）の方向に依存するために、上記に限定されるものではない。
【００２５】
次に、図２は、撮像装置の構成を示すブロック図である。
【００２６】
撮像装置であるカメラは、図２に示すように、カメラ本体１と交換レンズ２とを、例えばレンズマウント３を介して着脱可能に接続して構成されている。
【００２７】
カメラ本体１は、フォーカルプレーンシャッタ１１と、撮像素子１２と、撮像素子駆動部１３と、システムコントローラ１４と、ブレ補正マイクロコンピュータ１５と、角速度センサ１６と、操作部１７と、を有している。
【００２８】
交換レンズ２は、撮影光学系２１と、レンズコントロールユニット（ＬＣＵ）２２と、を有している。
【００２９】
レンズマウント３は、一部がカメラ本体１に、他の一部が交換レンズ２に設けられていて、これら一部と他の一部とを互いに連結することにより、カメラ本体１に交換レンズ２が一体的に固定されるようになっている。さらに、レンズマウント３には電気端子が設けられており、この電気端子を介してカメラ本体１と交換レンズ２とが電気的に通信することができる。
【００３０】
なお、ここではカメラ本体１と交換レンズ２とが着脱可能な一眼タイプのカメラを例に挙げたが、カメラ本体がレンズと一体化されたコンパクトタイプのカメラ等であっても構わない。
【００３１】
次に、上述したカメラ本体１および交換レンズ２の各部の、より詳細な構成や作用を説明する。
【００３２】
まず、交換レンズ２の各部の作用は、次のようになっている。
【００３３】
撮影光学系２１は、レンズや絞りを有して構成され、被写体からの光束を、撮像素子１２の表面に設けられた撮像面上に光学的な被写体像として結像する。このとき、カメラにブレが発生している場合には、撮像素子１２に結像される被写体像がブレることになる。このブレは、後述するように角速度センサ１６の出力に基づき検出され、ブレ補正マイクロコンピュータ１５の制御に基づき撮像素子駆動部１３により光学的に補正されるか、または、システムコントローラ１４により電子的に補正される。
【００３４】
ＬＣＵ２２は、レンズマウント３を介して、カメラ本体１と通信する。例えば、ＬＣＵ２２は、交換レンズ２に関する各種の情報（例えば、交換レンズ２の型番や製造番号、撮影光学系２１の光学特性など）を不揮発に記憶する記憶部を備え、必要に応じて情報をカメラ本体１へ通知する。また、ＬＣＵ２２は、撮影光学系２１のフォーカスの制御や絞りの制御も行うが、詳細は省略する。
【００３５】
続いて、カメラ本体１の各部の、より詳細な構成や作用を説明する。
【００３６】
フォーカルプレーンシャッタ１１は、撮影光学系２１が結像する光学的な被写体像の光路上の、撮像素子１２の前面に配置されており、シャッタ幕を開閉動作することにより光束の通過時間を制御し、ひいては撮像素子１２の露光時間を制御する。
【００３７】
従って、フォーカルプレーンシャッタ１１が開状態のときには、撮像素子１２の撮像面に光学的な被写体像が入射されて結像され、撮像素子１２は露光状態となる。
【００３８】
撮像素子１２は、結像された光学的な被写体像を撮像面において光電変換し、撮像信号を生成する。撮像素子１２により生成された撮像信号は、システムコントローラ１４からの制御信号を受けて読み出され、システムコントローラ１４に入力される。
【００３９】
撮像素子駆動部１３は、撮影光学系２１の光軸に垂直な面内で撮像素子１２を移動させて、並進方向の像ブレを光学補正すると共に、必要に応じてさらに回転方向の像ブレを光学補正する光学補正部である。
【００４０】
すなわち、撮像素子駆動部１３は、ブレ補正マイクロコンピュータ１５からの駆動指示に基づいて、撮像素子１２を、撮像面と平行な面内における、Ｘ方向、Ｙ方向、およびロール方向（図７のθ方向）に駆動する。ここに、ヨー方向のブレにより撮像素子１２がＸ方向に移動するために、撮像素子１２のＸ方向への駆動は、ヨー方向のブレに対応するために行われる。同様に、ピッチ方向のブレにより撮像素子１２がＹ方向に移動するために、撮像素子１２のＹ方向への駆動は、ピッチ方向のブレに対応するために行われる。
【００４１】
こうして、本実施形態では、カメラ本体１にブレ補正機能を有する撮像素子駆動部１３を設けることにより、交換レンズ２にブレ補正機能を設けた場合には補正することのできないロール方向のブレも補正することができるようにしている。この撮像素子駆動部１３の具体的な構成については、後で図７を参照して詳細に説明する。
【００４２】
システムコントローラ１４は、所定の処理プログラムに従って、カメラ全体を統括的に制御する制御部である。すなわち、システムコントローラ１４は、カメラ本体１内を制御すると共に、レンズマウント３の電気端子を介してＬＣＵ２２と通信を行い、交換レンズ２を制御する。
【００４３】
具体的に、システムコントローラ１４は、操作部１７からの操作入力に応じて制御を行うようになっており、上述した動作以外にも、例えば以下の動作を行う。
【００４４】
システムコントローラ１４は、撮像素子１２から読み出した撮像信号を画像データに変換する。また、システムコントローラ１４は、撮像素子１２から読み出した撮像信号から輝度画像を生成して、輝度画像に基づき後述するようにパターンマッチングを行う。
【００４５】
さらに、システムコントローラ１４は、ブレ補正マイクロコンピュータ１５と通信して、ブレ補正の開始および終了を制御する。そして、システムコントローラ１４は、ブレ補正マイクロコンピュータ１５と通信してロール補正量を受信し、電子補正としてロール補正を行う。
【００４６】
ブレ補正マイクロコンピュータ１５は、角速度センサ１６の検出結果に基づいて、撮像素子１２の撮像面に発生する被写体像の移動量を算出し、被写体像の移動量を打ち消す方向に撮像素子１２を移動させるように撮像素子駆動部１３を駆動する。このブレ補正マイクロコンピュータ１５の内部の構成や作用については、後で図３を参照して詳細に説明する。
【００４７】
角速度センサ１６は、カメラにおけるカメラ本体１に固定して設けられており、カメラ本体１に生じる角速度を検出するブレ検出部である。この角速度センサ１６は、ヨー角速度センサ１６ａと、ピッチ角速度センサ１６ｂと、ロール角速度センサ１６ｃと、を備えている。
【００４８】
ヨー角速度センサ１６ａはＹ軸周りの回転の角速度を、ピッチ角速度センサ１６ｂはＸ軸周りの回転の角速度を、ロール角速度センサ１６ｃはＺ軸（光軸）周りの回転の角速度を、それぞれ検出する。
【００４９】
ここで、３つの角速度センサ１６ａ，１６ｂ，１６ｃは、何れも同一の機能の角速度センサを用いているが、回転角速度の検出対象である軸の違い（Ｘ軸であるかＹ軸であるかＺ軸であるか）に伴って、それぞれの実装方向が異なっている。
【００５０】
操作部１７は、ボタンやスイッチ等の部材を含み、ユーザがカメラに対する各種の操作入力を行うためのものである。この操作部１７により、カメラの電源のオン／オフ、静止画撮影の指示入力、動画撮影の開始操作および終了操作等が行われる。この操作部１７からの操作入力は、システムコントローラ１４に通知される。
【００５１】
次に、図３はブレ補正マイクロコンピュータ１５の機能的な構成を示すブロック図である。
【００５２】
ブレ補正マイクロコンピュータ１５は、処理機能部として、アナログデジタルコンバータ（ＡＤＣ）１５１と、角度補正量算出部１５２と、駆動量算出部１５３と、ドライバ１５４と、通信部１５５と、歩行検知処理部１５６と、補正方式選択部１５７と、を有している。
【００５３】
ＡＤＣ１５１は、角速度センサ１６からアナログ信号として出力される検出結果をデジタル値に変換する。具体的に、ＡＤＣ１５１は、ヨー角速度センサ１６ａの検出結果をデジタル値に変換する第１のＡＤＣ１５１ａと、ピッチ角速度センサ１６ｂの検出結果をデジタル値に変換する第２のＡＤＣ１５１ｂと、ロール角速度センサ１６ｃの検出結果をデジタル値に変換する第３のＡＤＣ１５１ｃと、を備えている。
【００５４】
角度補正量算出部１５２は、ＡＤＣ１５１から出力されたデジタルの角速度に基づいて、ヨー、ピッチ、ロールの各回転方向の補正量を算出する。具体的に、角度補正量算出部１５２は、ＡＤＣ１５１ａの出力に基づきヨー方向の補正量を算出するヨー補正量算出部１５２ａと、ＡＤＣ１５１ｂの出力に基づきピッチ方向の補正量を算出するピッチ補正量算出部１５２ｂと、ＡＤＣ１５１ｃの出力に基づきロール方向の補正量を算出するロール補正量算出部１５２ｃと、を備えている。各補正量算出部１５２ａ，１５２ｂ，１５２ｃの内部の構成については、後で、図４および図５を参照して説明する。
【００５５】
ここに、角速度センサ１６、ＡＤＣ１５１、および角度補正量算出部１５２は、結像面における被写体像の並進方向および回転方向の像ブレ量を検出する像ブレ検出部を構成している。
【００５６】
駆動量算出部１５３は、角度補正量算出部１５２から出力された値に基づいて、撮像素子駆動部１３内に設けられた後述するＸ１駆動部１３１、Ｘ２駆動部１３２、Ｙ駆動部１３３（図７参照）のそれぞれに対する駆動量を算出する。
【００５７】
ドライバ１５４は、駆動量算出部１５３から出力された駆動量を、撮像素子駆動部１３内の各駆動部１３１，１３２，１３３に対する駆動信号に変換して出力する。具体的に、ドライバ１５４は、Ｘ１駆動部１３１に対する駆動量を駆動信号に変換して出力するＸ１ドライバ１５４ａと、Ｘ２駆動部１３２に対する駆動量を駆動信号に変換して出力するＸ２ドライバ１５４ｂと、Ｙ駆動部１３３に対する駆動量を駆動信号に変換して出力するＹドライバ１５４ｃと、を備えている。
【００５８】
通信部１５５は、システムコントローラ１４と通信して、ブレ補正の開始および終了などの制御に係る指示を取得すると共に、撮影光学系２１の焦点距離を含む光学特性を取得する。ここで取得された光学特性は、後述するように、ヨー補正量算出部１５２ａ，ピッチ補正量算出部１５２ｂの処理などに用いられる（図４参照）。また、通信部１５５は、下記に説明する歩行検知結果をシステムコントローラ１４へ通知する。
【００５９】
歩行検知処理部１５６は、撮像装置が歩行状態と非歩行状態との何れであるかを検知する歩行検知部である。すなわち、歩行検知処理部１５６は、ＡＤＣ１５１ｃから出力されたロール方向の角速度に基づいて、カメラが、現在、歩行状態であるか否かを判定して、判定結果を補正方式選択部１５７および通信部１５５へ出力する。この歩行検知処理部１５６による処理の詳細については、後で図６を参照して説明する。
【００６０】
補正方式選択部１５７は、歩行検知処理部１５６の判定結果に基づいて、ロール補正量算出部１５２ｃにより算出された補正量の通知先を選択し決定する。
【００６１】
具体的に、歩行検知処理部１５６の判定結果が非歩行状態である場合には、補正方式選択部１５７は、ロール補正量算出部１５２ｃにより算出された補正量を駆動量算出部１５３へ通知する。これにより、非歩行状態である場合には、ロール方向の補正は、撮像素子駆動部１３による光学補正として実施される。
【００６２】
また、歩行検知処理部１５６の判定結果が歩行である場合は、補正方式選択部１５７は、ロール補正量算出部１５２ｃにより算出された補正量を、通信部１５５を介してシステムコントローラ１４へ通知する。これにより、歩行状態である場合には、ロール方向の補正は、システムコントローラ１４による電子補正として実施される。このシステムコントローラ１４内における処理の詳細については、後で説明する。
【００６３】
次に、図４はヨー補正量算出部１５２ａおよびピッチ補正量算出部１５２ｂの構成の一例を示すブロック図である。
【００６４】
ヨー補正量算出部１５２ａおよびピッチ補正量算出部１５２ｂは、図４に示すように、乗算部１５２１と、積分部１５２２と、を備えている。
【００６５】
ヨー補正量算出部１５２ａにヨー角速度（または、ピッチ補正量算出部１５２ｂにピッチ角速度）が入力されると、乗算部１５２１は、撮影光学系２１の光学特性に基づく係数（具体的には、撮影光学系２１の焦点距離をｆとしたときに、焦点距離ｆに依存する係数ｋ（ｆ））を乗算することにより、撮像素子１２の撮像面において発生する被写体像のヨー方向（ピッチ補正量算出部１５２ｂの場合にはピッチ方向）の所定時間間隔毎の移動量を算出する。
【００６６】
ここに、撮影光学系２１の焦点距離ｆは、システムコントローラ１４によりＬＣＵ２２から定期的に取得され、ブレ補正マイクロコンピュータ１５へ通知される。従って、ブレ補正マイクロコンピュータ１５は、画像データを取得したときの焦点距離ｆに対応する係数ｋ（ｆ）を用いて、乗算部１５２１により乗算処理を行う。
【００６７】
次に、乗算部１５２１が算出した所定時間間隔毎の移動量を積分部１５２２が時間積分（具体的には、積算）して、撮像素子駆動部１３の駆動位置（ヨー方向の補正量／ピッチ方向の補正量）として出力する。
【００６８】
また、図５はロール補正量算出部１５２ｃの構成の一例を示すブロック図である。
【００６９】
ロール補正量算出部１５２ｃは、図５に示すように、積分部１５２２を備えているが、ヨー補正量算出部１５２ａおよびピッチ補正量算出部１５２ｂのような乗算部１５２１は備えていない。
【００７０】
ロール補正量算出部１５２ｃにロール角速度が入力されると、積分部１５２２は入力されたロール角速度を時間積分することで、撮像素子１２の撮像面におけるロール方向の回転量（具体的には回転角度）を算出する。こうして算出された回転量が、積分部１５２２から、ロール補正量として出力される。
【００７１】
続いて、図６は、歩行検知処理部１５６の処理を説明するための、ロール角速度の時間変化の例を示す線図である。
【００７２】
歩行検知処理部１５６は、一定期間ｔｓ以内にロール角速度が＋側の角速度閾値と−側の角速度閾値とを交互に超える場合に、カメラが歩行状態であると判定し、この条件を満たさない場合に、非歩行状態であると判定するようになっている。
【００７３】
具体的に、図６に示す例においては、時刻ｔａにおいてロール角速度が＋側の角速度閾値を超える。また、時刻ｔａ以降において、ロール角速度が−側の角速度閾値を初めて超えるのは時刻ｔｂである。そこで、歩行検知処理部１５６は、時刻ｔａから時刻ｔｂまでの時間間隔ｔ１が、一定期間ｔｓ以内であるか否かを判定する。ここでは、時間間隔ｔ１が一定期間ｔｓ以内であると判定されるために、歩行検知処理部１５６は、カメラが歩行状態であると判定する。
【００７４】
さらに、時刻ｔｂ以降において、ロール角速度が＋側の角速度閾値を初めて超えるのは時刻ｔｃである。そこで、歩行検知処理部１５６は、上述と同様に、時刻ｔｂから時刻ｔｃまでの時間間隔ｔ２が、一定期間ｔｓ以内であるか否かを判定する。ここでも、時間間隔ｔ２が一定期間ｔｓ以内であると判定されるために、歩行検知処理部１５６は、カメラが歩行状態であるとの判定を継続する。
【００７５】
さらに、歩行検知処理部１５６は、時刻ｔｃ以降において、ロール角速度が−側の角速度閾値を超えるのを待機する。この図６に示す例では、時刻ｔｃから一定期間ｔｓ以内にロール角速度が−側の角速度閾値を超えなかったために、歩行検知処理部１５６は、時刻ｔｃから一定期間ｔｓの時間が経過した時刻ｔｄにおいて、歩行状態であるとの判定を解除する（歩行状態ではないと判定する）。
【００７６】
このような処理を行うことにより、ロール角速度が図６に示すような時間変化を示す場合には、歩行検知処理部１５６は、時刻ｔｂから時刻ｔｄまでの期間においてカメラが歩行状態であると判定し、その他の期間においてカメラが非歩行状態であると判定する。
【００７７】
次に、図７は撮像素子駆動部１３の概略的な構成例を示す図である。この図７は、Ｚ軸の−方向（被写体側から像側を見た方向）を視線方向として撮像素子駆動部１３を見たときの図となっている。
【００７８】
従って、この図７において、図１のＸ軸およびＹ軸に対応する方向を示しているが、紙面右方向がＸ軸の正の方向、紙面上方向がＹ軸の正の方向である。また、図７において、Ｚ軸周りのロール回転量を示す角度θを示しているが、この角度θは、時計周りが正の方向（つまり反時計周りが負の方向）となるように定義している。
【００７９】
撮像素子駆動部１３は、Ｘ１駆動部１３１と、Ｘ２駆動部１３２と、Ｙ駆動部１３３と、固定部１３４と、可動部１３５と、を備えている。
【００８０】
固定部１３４は、撮像装置を構成するカメラ本体１に固定されていて、可動部１３５を移動可能に支持している。
【００８１】
可動部１３５は、撮像素子１２を一体的に保持しており、上述したように、固定部１３４に対して撮像面に平行な面（すなわち、撮影光学系２１の光軸に垂直な面）内を移動可能となっている。
【００８２】
駆動部１３１，１３２，１３３は、可動部１３５に対して駆動力を与えることで固定部１３４を移動させるものであり、具体的な構成の一例としては、可動部１３５と一体的に配置された図示しない電磁コイルと、固定部１３４に配置された図示しない固定磁石と、を有して構成される電磁式リニアモータ（ヴォイスコイルモータ等）となっている。
【００８３】
そして、Ｘ１駆動部１３１の電磁コイルは上述したブレ補正マイクロコンピュータ１５内のＸ１ドライバ１５４ａから、Ｘ２駆動部１３２の電磁コイルはＸ２ドライバ１５４ｂから、Ｙ駆動部１３１の電磁コイルはＹドライバ１５４ｃから、それぞれ駆動電圧（駆動電流）が上述した駆動信号として供給される。
【００８４】
駆動部１３１，１３２，１３３の各電磁コイルは、駆動電圧が供給されると駆動電圧に比例した駆動電流が流れて磁界が発生する。電磁コイルにより発生された磁界は、固定磁石と相互作用を行い、電磁コイルと固定磁石との間に駆動電流に比例した駆動力を発生させる。固定磁石は固定部１３４に固定されているために、電磁コイルが配置された可動部１３５が、発生した駆動力によって移動される。
【００８５】
そして、Ｘ１駆動部１３１は、可動部１３５の例えば左上端部に、Ｘ軸方向の駆動力を与えるように配置されている。また、Ｘ２駆動部１３２は、可動部１３５の例えば左下端部に、Ｘ軸方向の駆動力を与えるように配置されている。さらに、Ｙ駆動部１３３は、可動部１３５の例えば上端中央部に、Ｙ軸方向の駆動力を与えるように配置されている。こうして撮像素子駆動部１３は、撮像素子１２を撮像面と平行な面内に移動させるために、例えば駆動ステージの機構を採用している。
【００８６】
このような構成において、Ｙ駆動部１３３の電磁コイルに駆動電圧を与えることで、撮像素子１２がＹ方向に並進移動される。
【００８７】
また、Ｘ１駆動部１３１の電磁コイルとＸ２駆動部１３２の電磁コイルとに同一の駆動電圧を与えることで、Ｘ１駆動部１３１とＸ２駆動部１３２の移動量が同じとなり、撮像素子１２がＸ方向に並進移動される。
【００８８】
さらに、Ｘ１駆動部１３１の電磁コイルとＸ２駆動部１３２の電磁コイルとに正負が異なる駆動電圧を与えることで、Ｘ１駆動部１３１の移動量とＸ２駆動部１３２の移動量とは符号の異なる値となり、撮像素子１２が回転移動される。
【００８９】
従ってより一般に、Ｘ１駆動部１３１の電磁コイルとＸ２駆動部１３２の電磁コイルとに異なる駆動電圧を与えることで、Ｘ１駆動部１３１の移動量とＸ２駆動部１３２の移動量とが異なる値となり、撮像素子１２はＸ方向に並進移動されると共に回転移動される。
【００９０】
このときの撮像素子１２の角度θで示される回転移動量は、角度θが微小値であれば、下記式に示すように、Ｘ２駆動部１３２の移動量ＭＸ２とＸ１駆動部１３１の移動量ＭＸ１との差に比例する値になる。
θ＝Ｋ・（ＭＸ２−ＭＸ１）
ここに、Ｋは比例係数であり、可動部１３５に対するＸ１駆動部１３１およびＸ２駆動部１３２の配置で決まる定数となっている。
【００９１】
こうして、例えば図７に示すような機構を採用することで、撮像素子駆動部１３は、撮像素子１２を、撮像面に並行な面内において、Ｘ／Ｙ方向に並進移動させ、かつ回転移動させることが可能となっている。ただし、図７に示した構成は一例であるので、その他の構成を採用しても構わない。
【００９２】
続いて、図８はシステムコントローラ１４の機能的な構成を示すブロック図である。なお、システムコントローラ１４は各種の機能部を備えているが、ここでは、図８に示したブレ電子補正に関連する機能部の説明を行い、その他の機能部についての説明は省略する。
【００９３】
システムコントローラ１４は、図８に示すように、輝度画像生成部１４１と、メモリ１４２と、パターンマッチング部１４３と、Ｘ／Ｙ補正量算出部１４４と、補正量選択部１４６と、画像処理部１４７と、を備えている。
【００９４】
輝度画像生成部１４１は、撮像素子１２から読み出した撮像信号を輝度画像に変換する。
【００９５】
メモリ１４２は、輝度画像生成部１４１により生成された輝度画像を保存する記憶媒体である。ここに、輝度画像は、メモリ１４２内に予め確保された複数フレーム分の輝度画像を保存可能な領域に保存される。また、メモリ１４２は、パターンマッチング部１４３から後述するように出力されるベクトル情報も保存する。
【００９６】
パターンマッチング部１４３は、メモリ１４２に保存された取得時点の異なる複数フレームの輝度画像の内の２フレーム（例えば、取得時点が連続する２フレーム）を選択してパターンマッチングを行い、２フレームの画像間の像移動量を表すベクトル情報を算出して、並進方向のブレ残り量として出力する。このパターンマッチングとしては、公知の技術を適宜に使用することができる。こうしてパターンマッチング部１４３から出力されるベクトル情報は、上述したように、メモリ１４２に保存される。
【００９７】
Ｘ／Ｙ補正量算出部１４４は、パターンマッチング部１４３により算出されたベクトル情報に基づいて、Ｘ方向の補正量と、Ｙ方向の補正量と、をそれぞれ算出する。
【００９８】
ここで、図９は、Ｘ／Ｙ補正量算出部１４４の構成の一例を示すブロック図である。
【００９９】
この図９に示す例では、Ｘ／Ｙ補正量算出部１４４は、積分部１４４１を備えている。
【０１００】
そして、Ｘ／Ｙ補正量算出部１４４は、パターンマッチング部１４３により算出されたベクトル情報が入力されると、入力されたベクトルを積分部１４４１により時間積分（具体的には、積算）して、積算した結果を補正量として補正量選択部１４６へ出力する。
【０１０１】
こうして、輝度画像生成部１４１、メモリ１４２、パターンマッチング部１４３、およびＸ／Ｙ補正量算出部１４４は、光学補正を行って取得された取得時点の異なる複数の画像データに基づいて、光学補正後に残存する並進方向のブレ残り量を算出するブレ残り量算出部を構成している。
【０１０２】
補正量選択部１４６は、ブレ補正マイクロコンピュータ１５の通信部１５５から受信する歩行検知処理部１５６の判定結果に基づいて、画像処理部１４７へ出力する値を決定する。
【０１０３】
具体的に、補正量選択部１４６は、歩行検知処理部１５６での判定結果が非歩行状態である場合には、Ｘ／Ｙ補正量算出部１４４で算出した補正量（並進方向のブレ残り量）を画像処理部１４７へ出力する。従って、非歩行状態である場合には、並進方向のブレ残り量は、電子補正部である画像処理部１４７により補正される。
【０１０４】
また、補正量選択部１４６は、歩行検知処理部１５６での判定結果が歩行状態である場合には、ブレ補正マイクロコンピュータ１５の通信部１５５から受信した補正量（ロール補正量算出部１５２ｃで算出したロール補正量）を画像処理部１４７へ出力する。
【０１０５】
画像処理部１４７は、画像データの一部を切り出して出力画像とする電子補正を行う電子補正部である。具体的に、画像処理部１４７は、補正量選択部１４６から受信した補正量に基づき、画像データの一部である切出領域の画像切り出しを行って、切り出された画像を出力画像とする。従って、画像処理部１４７は、非歩行状態である場合には並進方向のブレ残り量を補正するように画像切り出しを行い、歩行状態である場合にはロール方向の像ブレを補正するように画像切り出しを行う。
【０１０６】
次に、図１０は、撮像装置の手ブレ補正におけるブレ補正マイクロコンピュータ１５の処理を示すフローチャートである。
【０１０７】
ブレ補正処理が開始されたら、歩行検知処理部１５６が、ＡＤＣ１５１ｃによりデジタル値に変換されたロール角速度情報に基づいて上述したように歩行検知処理を行い、カメラが歩行状態であるか否かを判定する（ステップＳ０１）。
【０１０８】
続いて、ヨー補正量算出部１５２ａが、ＡＤＣ１５１ａによりデジタル値に変換されたヨー角速度情報に基づいて、ヨー方向の補正量を算出する（ステップＳ０２）。
【０１０９】
さらに、ピッチ補正量算出部１５２ｂが、ＡＤＣ１５１ｂによりデジタル値に変換されたピッチ角速度情報に基づいて、ピッチ方向の補正量を算出する（ステップＳ０３）。
【０１１０】
そして、ロール補正量算出部１５２ｃが、ＡＤＣ１５１ｃによりデジタル値に変換されたロール角速度情報に基づいて、ロール方向の補正量を算出する（ステップＳ０４）。
【０１１１】
その後、補正方式選択部１５７が、上述したステップＳ０１での処理結果が歩行状態であるか否かを判定する（ステップＳ０５）。
【０１１２】
ここで、歩行状態であると判定された場合には、駆動量算出部１５３が、ステップＳ０２により算出されたヨー補正量と、ステップＳ０３により算出されたピッチ補正量と、に基づいて、撮像素子駆動部１３に指示するための駆動量を算出する。こうして算出された駆動量は、ドライバ１５４を介して撮像素子駆動部１３へ出力される（ステップＳ０６）。
【０１１３】
さらに、補正方式選択部１５７は、ステップＳ０４により算出されたロール補正量を、通信部１５５を介してシステムコントローラ１４へ送信する（ステップＳ０７）。
【０１１４】
一方、ステップＳ０５において、非歩行状態であると判定された場合には、補正方式選択部１５７が、ステップＳ０４により算出されたロール補正量を駆動量算出部１５３へ出力する。これにより、駆動量算出部１５３が、ステップＳ０２により算出されたヨー補正量と、ステップＳ０３により算出されたピッチ補正量と、ステップＳ０４により算出されたロール補正量と、に基づいて、撮像素子駆動部１３に指示するための駆動量を算出する。こうして算出された駆動量は、ドライバ１５４を介して撮像素子駆動部１３へ出力される（ステップＳ０８）。
【０１１５】
ステップＳ０７またはステップＳ０８の処理を行ったら、ブレ補正マイクロコンピュータ１５におけるブレ補正処理を終了する。
【０１１６】
次に、図１１は、撮像装置の手ブレ補正におけるシステムコントローラ１４の処理を示すフローチャートである。
【０１１７】
ブレ補正処理が開始されたら、ブレ補正マイクロコンピュータ１５内の歩行検知処理部１５６から通信部１５５を介して取得した検知結果に基づき、補正量選択部１４６が、歩行状態であるか否かを判定する（ステップＳ１１）。
【０１１８】
ここで、歩行状態であると判定された場合には、補正量選択部１４６がさらに、ブレ補正マイクロコンピュータ１５内のロール補正量算出部１５２ｃで算出されたロール補正量を、補正方式選択部１５７および通信部１５５を介して取得する（ステップＳ１２）。
【０１１９】
続いて、ステップＳ１２で取得したロール補正量に基づいて画像処理部１４７が画像データに対する画像切り出しを行うことにより、ロール補正を行う（ステップＳ１３）。
【０１２０】
一方、ステップＳ１１において非歩行状態であると判定された場合には、輝度画像生成部１４１により生成されメモリ１４２に保存された取得時点の異なる２フレーム分の輝度画像を読み出して、パターンマッチング部１４３がパターンマッチングを行い、パターンマッチングの結果として得られたベクトル情報をメモリ１４２に保存する（ステップＳ１４）。
【０１２１】
次に、メモリ１４２から読み出したベクトル情報に基づいて、Ｘ／Ｙ補正量算出部１４４が、Ｘ／Ｙ補正量（つまり、Ｘ方向の補正量とＹ方向の補正量）を算出する（ステップＳ１５）。
【０１２２】
そして、算出されたＸ／Ｙ補正量に基づいて、画像処理部１４７が画像データに対する画像切り出しを行うことにより、Ｘ方向およびＹ方向のブレ残り量の補正（Ｘ／Ｙ補正）を行う（ステップＳ１６）。
【０１２３】
こうしてステップＳ１３またはステップＳ１６の処理を行ったら、システムコントローラ１４におけるブレ補正処理を終了する。
【０１２４】
図１２は歩行状態であるか否かに応じた電子補正と光学補正との使い分けと得られる効果とを示す図表、図１３はブレの検出結果が歩行状態であるか否かに応じて電子補正と光学補正とを使い分ける様子を示す線図である。
【０１２５】
上述したように、本実施形態においては、ロール角速度に基づく歩行検知処理部１５６の検知結果が歩行状態であるか否かに応じて、電子補正と光学補正との使い分けが行われる。
【０１２６】
まず、非歩行状態である場合には、ブレ補正マイクロコンピュータ１５の制御に基づき撮像素子駆動部１３が駆動されて、ヨー角速度およびピッチ角速度に基づきヨー方向およびピッチ方向の光学的なブレ補正が行われると共に、ロール角速度に基づきロール方向の光学的なブレ補正が行われる。さらに、この光学補正後に取得される画像に残存しているブレ（いわゆるブレ残り）を、システムコントローラ１４が、パターンマッチングで検出してＸ／Ｙ補正量を算出し、画像データに対する画像切り出しを行って電子補正する。
【０１２７】
これにより、非歩行状態では、光学補正を行った結果のブレ残りをさらに電子補正するために、ブレをほぼ完全に抑制することができる。
【０１２８】
一方、歩行状態である場合には、ブレ補正マイクロコンピュータ１５の制御に基づき撮像素子駆動部１３が駆動されて、ヨー角速度およびピッチ角速度に基づきヨー方向およびピッチ方向の光学的なブレ補正が行われる。しかし、ロール方向のブレに対しては、光学補正は適用されない。そして、このヨー方向およびピッチ方向の光学補正後に取得される画像に生じているロール方向のブレを、システムコントローラ１４が、ブレ補正マイクロコンピュータ１５から取得したロール補正量に基づき画像データに対する画像切り出しを行って電子補正する。このときには、システムコントローラ１４によるＸ方向およびＹ方向のブレ残り量の補正は行われない。
【０１２９】
例えば、光学補正によりロール補正を行うと、図７に示したように、固定部１３４の四角枠が許容する可動範囲内において四角の可動部１３５が回転するが、回転した状態の可動部１３５は、固定部１３４の四角枠内におけるＸ方向の移動可能量、およびＹ方向の移動可能量が、回転していない状態よりも小さくなってしまう（可動部１３５は四角をなすために、回転した状態では、可動部１３５がＸ方向、Ｙ方向に占める範囲が、それぞれ可動部１３５の縦辺の長さや横辺の長さよりも、長くなるため）。
【０１３０】
歩行時は、非歩行時に比べて、ヨー／ピッチ／ロール全ての方向のブレが大きいために、ロール補正が光学補正により行われていると、光学補正の補正限界に容易に達してしまう。この場合には電子補正のみで補正するしかないが、電子補正は、露光によって得られた画像データに対して、被写体構図が移動する補正を行うことはできるが、露光中に発生する像ブレは補正することができない。このために、光学補正に比べて画像データ自体に像ブレが発生し、解像度が低下し易い。従って、（光学補正＋電子補正）の状態から電子補正のみの状態に変化すると、画像の解像度の急峻な変化が動画像に表れて画像の質が低下してしまう。
【０１３１】
また、歩行時は特にロール方向のブレが大きくなり、光学補正の補正限界により達し易くなるために、光学補正後に補正量が足りない分に相当するロール方向のブレが動画像に残り易く、安定した動画像を得ることが困難である。
【０１３２】
これに対して、本実施形態によれば、歩行時には、ロール方向には光学補正を適用しないために、その分だけ、ヨー方向およびピッチ方向の光学補正をより大きい補正幅で行うことができる。従って、ヨー方向およびピッチ方向の光学補正性能を非歩行時よりも高めることができる。
【０１３３】
さらに、歩行時にはロール方向のブレが大きくなるが、電子補正をロール方向のブレ補正のみに用い、Ｘ／Ｙ補正には用いないために、電子補正によるロール方向の補正範囲を広くとることができ、ロール方向のブレを十分に補正することができる。こうして、安定した動画像を得ることができる。
【０１３４】
なお、上述では、歩行状態である場合には光学補正部による回転方向の像ブレの補正量を０として電子補正部により回転方向の像ブレを補正し、非歩行状態である場合には電子補正部による回転方向の像ブレの補正量を０として光学補正部により回転方向の像ブレを補正したが、これに限るものではない。
【０１３５】
すなわち、歩行状態である場合には、非歩行状態である場合よりも、光学補正部による回転方向の像ブレの補正量を小さくして、かつ電子補正部による回転方向の像ブレの補正量を大きくするだけでも良い。この場合でも、光学補正部による回転方向の像ブレの補正量を小さくしているために、光学補正部による並進方向の像ブレの補正量を大きくすることができ、歩行時の並進方向の像ブレの補正性能を改善することができる。そして、残存する回転方向の像ブレを電子補正部により補正することができるために、回転方向の像ブレも有効に低減することが可能となる。
【０１３６】
また、上述した実施形態では、歩行検知部である歩行検知処理部１５６が、像ブレ検出部により検知された回転方向の像ブレの程度（すなわち、ＡＤＣ１５１ｃから出力されたロール角速度情報）に基づき、歩行状態であるか否かを検知していたが、これに限定されるものではない。例えば、独立した専用の歩行検知処理部を設けても良いし、その他の適宜の手段により歩行状態であるか否かを検知しても構わない。
【０１３７】
このような実施形態１によれば、歩行状態であるか否かを検知して、歩行状態である場合には、非歩行状態である場合よりも、撮像素子駆動部１３による回転方向の像ブレの光学補正量を小さくして、かつシステムコントローラ１４による回転方向の像ブレの電子補正量を大きくするようにしたために、歩行状態におけるロール方向（画像の回転方向）を含むブレの補正性能を改善して、安定したフレーミングを確保することができる。
【０１３８】
このとき、歩行状態である場合には撮像素子駆動部１３による回転方向の像ブレの補正量を０としてシステムコントローラ１４により回転方向の像ブレを補正し、非歩行状態である場合にはシステムコントローラ１４による回転方向の像ブレの補正量を０として撮像素子駆動部１３により回転方向の像ブレを補正するようにしたために、歩行状態である場合の並進方向の像ブレ補正性能を最大限に高めることができる。
【０１３９】
ロール方向のブレ（回転方向の像ブレ）は、ヨー方向およびピッチ方向のブレ（水平方向および垂直方向の並進による像ブレ）よりも、１フレームの画像の露光期間における被写体光学像の移動の影響が小さく、つまり１フレームの画像に生じる像ブレが小さい。このために、回転方向の像ブレ補正を、光学補正を行うことなく電子補正のみで行っても、画質劣化が比較的小さい。こうして、電子補正のみであっても、歩行時のロール方向のブレを良好に補正することができる。
【０１４０】
また、非歩行状態である場合には、光学補正を行って取得された取得時点の異なる複数の画像データに基づいて、ブレ残り量算出部により光学補正後に残存する並進方向のブレ残り量を算出し、並進方向のブレ残り量をシステムコントローラ１４により電子補正するようにしたために、非歩行時のブレをほぼ完全に除去することができる。
【０１４１】
さらに、並進方向のブレ残り量をパターンマッチングの結果に基づいて算出する場合には、画像データ自体に基づく正確な判定を行うことができる。
【０１４２】
そして、歩行検知処理部１５６が、角速度センサ１６およびブレ補正マイクロコンピュータ１５により検知された回転方向の像ブレの程度に基づき歩行状態と非歩行状態との何れであるかを検知するようにしたために、専用のセンサ等を別途設ける必要なく、二足歩行を行う人間の動きに応じた歩行検知をすることができる。
［実施形態２］
【０１４３】
図１４から図１８は本発明の実施形態２を示したものであり、図１４はブレ補正マイクロコンピュータ１５の機能的な構成を示すブロック図である。
【０１４４】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【０１４５】
後述する図１５に示すように、本実施形態のブレ補正マイクロコンピュータ１５におけるヨー補正量算出部１５２ａおよびピッチ補正量算出部１５２ｂは、駆動量算出部１５３へ出力するヨー補正量およびピッチ補正量をそれぞれ算出するだけでなく、さらに、ヨー方向のブレ残り量およびピッチ方向のブレ残り量をそれぞれ算出するようになっている。
【０１４６】
そして、ヨー補正量算出部１５２ａおよびピッチ補正量算出部１５２ｂでそれぞれ算出されたブレ残り量は、図１４に示すように、通信部１５５を介してシステムコントローラ１４へ送信される。
【０１４７】
ここで、図１５はヨー補正量算出部１５２ａおよびピッチ補正量算出部１５２ｂの構成の一例を示すブロック図である。
【０１４８】
ヨー補正量算出部１５２ａおよびピッチ補正量算出部１５２ｂは、図１５に示すように、乗算部１５２１と、積分部１５２２と、積分部１５２３と、当付補償係数乗算部１５２４と、減算部１５２５と、を備えている。
【０１４９】
ヨー補正量算出部１５２ａにヨー角速度（または、ピッチ補正量算出部１５２ｂにピッチ角速度）が入力されると、乗算部１５２１は、上述したように、撮影光学系２１の光学特性に基づく係数（上述した係数ｋ（ｆ））を乗算して、撮像素子１２の撮像面において発生する被写体像のヨー方向（ピッチ補正量算出部１５２ｂの場合にはピッチ方向）の所定時間間隔毎の移動量を算出する。
【０１５０】
この乗算部１５２１により算出された移動量は、積分部１５２２と積分部１５２３とにそれぞれ入力される。
【０１５１】
そして、積分部１５２２と積分部１５２３とは、所定時間間隔毎の移動量を時間積分して、撮像素子駆動部１３の駆動位置（ヨー方向の補正量／ピッチ方向の補正量）として出力する。
【０１５２】
なお、図１５に示す構成例では、積分部１５２２と積分部１５２３とを独立して設けたが、これらの積分部１５２２，１５２３を１つにまとめて、まとめた積分部から当付補償係数乗算部１５２４と減算部１５２５とへ演算結果を出力するようにしても構わない。
【０１５３】
当付補償係数乗算部１５２４は、撮像素子駆動部１３の補正限界に近付いたときに、並進方向の光学補正機能を抑制する限界補正緩和部である。例えば、当付補償係数乗算部１５２４は、可動部１３５が固定部１３４に当て付く補正限界に到達する前に、角速度センサ１６およびブレ補正マイクロコンピュータ１５により検出された並進方向の像ブレ量に、並進方向の光学補正機能を抑制するための当付補償係数を乗算する。
【０１５４】
具体的に、当付補償係数乗算部１５２４は、積分部１５２３により算出された駆動位置（ヨー方向の補正量／ピッチ方向の補正量）に当付補償係数を乗算する。ここに、撮像素子駆動部１３の光学補正の補正限界（つまり、図７に示したような可動部１３５が固定部１３４に当て付く位置）に到達する前の該補正限界に近付いたときに、積分部１５２３により算出された駆動位置をそのまま用いていると、可動部１３５が固定部１３４に急速に当て付いてしまうことがある。そこで、当付補償係数は、可動部１３５の移動量を、積分部１５２３により算出された駆動位置よりも抑制する係数（例えば、補正限界に近付くにつれて値が低下する１未満の係数）となっている。このような処理を行うことにより、可動部１３５は、固定部１３４との当て付き位置近傍において、緩やかに固定部１３４に近接する。
【０１５５】
こうして、当付補償係数乗算部１５２４により補正された駆動位置（ヨー方向の補正量／ピッチ方向の補正量）は、補正量として駆動量算出部１５３へ出力される。
【０１５６】
また、減算部１５２５は、並進方向の像ブレ量から、撮像素子駆動部１３により補正される並進方向の像ブレ量を減算して、ブレ残り量を算出するブレ残り量算出部である。具体的に、減算部１５２５は、積分部１５２２により算出された駆動位置から、当付補償係数乗算部１５２４により補正された駆動位置を減算することにより、光学補正で残存しているヨー方向およびピッチ方向のブレ残り量を算出する。
【０１５７】
こうして算出されたブレ残り量は、上述したように、通信部１５５を介してシステムコントローラ１４へ送信される。
【０１５８】
次に、図１６は、システムコントローラ１４の機能的な構成を示すブロック図である。なお、この図１６においても、上述した図８と同様に、システムコントローラ１４が備える各種の機能の内の、ブレ電子補正に関連する機能部を示している。
【０１５９】
システムコントローラ１４は、図１６に示すように、画像処理部１４７を備えている。すなわち、本実施形態においては、Ｘ／Ｙ補正量に対応するブレ残り量をブレ補正マイクロコンピュータ１５から受信するために、パターンマッチングを行って求める必要がない。そこで本実施形態のシステムコントローラ１４は、図８に示した構成から、輝度画像生成部１４１、メモリ１４２、パターンマッチング部１４３、Ｘ／Ｙ補正量算出部１４４、および補正量選択部１４６を削除したものとなっている。
【０１６０】
そして、システムコントローラ１４は、受信したヨー方向のブレ残り量をＸ補正量として用い、受信したピッチ方向のブレ残り量をＹ補正量として用いて、画像データに対する画像切り出しを行うことで、ヨー方向およびピッチ方向のブレ残り量の補正を行う。
【０１６１】
続いて、図１７は、撮像装置の手ブレ補正におけるブレ補正マイクロコンピュータ１５の処理を示すフローチャートである。
【０１６２】
この処理を開始すると、ステップＳ２１〜Ｓ２５の処理を、図１０に示したステップＳ０１〜Ｓ０５の処理と同様に行う。
【０１６３】
そして、ステップＳ２５において歩行状態であると判定された場合には、ステップＳ２６およびステップＳ２７の処理を、図１０に示したステップＳ０６およびステップＳ０７の処理と同様に行う。
【０１６４】
また、ステップＳ２５において非歩行状態であると判定された場合には、ステップＳ２８の処理を、図１０に示したステップＳ０８の処理と同様に行う。
【０１６５】
次に、ヨー補正量算出部１５２ａおよびピッチ補正量算出部１５２ｂが、上述したように、光学補正におけるヨー方向およびピッチ方向のブレ残り量を算出する（ステップＳ２９）。
【０１６６】
さらに、ステップＳ２９で求めたブレ残り量を、通信部１５５を介してシステムコントローラ１４へ出力する（ステップＳ３０）。
【０１６７】
こうしてステップＳ２７またはステップＳ３０の処理を行ったら、ブレ補正マイクロコンピュータ１５におけるブレ補正処理を終了する。
【０１６８】
次に、図１８は、撮像装置の手ブレ補正におけるシステムコントローラ１４の処理を示すフローチャートである。
【０１６９】
この処理を開始すると、ステップＳ３１の処理を、図１１に示したステップＳ１１の処理と同様に行う。
【０１７０】
このステップＳ３１において歩行状態であると判定された場合には、ステップＳ３２〜Ｓ３３の処理を、図１１に示したステップＳ１２〜Ｓ１３の処理と同様に行う。
【０１７１】
また、ステップＳ３１において非歩行状態であると判定された場合には、ブレ補正マイクロコンピュータ１５内のヨー補正量算出部１５２ａおよびピッチ補正量算出部１５２ｂにより算出されたヨー方向およびピッチ方向のブレ残り量を、通信部１５５を介して取得する（ステップＳ３４）。
【０１７２】
そして、ステップＳ３４で取得したブレ残り量に基づき、画像処理部１４７が画像データに対する画像切り出しを行うことで、並進方向のブレ残り量を補正する（ステップＳ３５）。
【０１７３】
こうして、ステップＳ３３またはステップＳ３５の処理を行ったら、システムコントローラ１４におけるブレ補正処理を終了する。
【０１７４】
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、撮像素子駆動部１３の補正限界に近付いたときに、並進方向の光学補正機能を抑制する限界補正緩和部と、並進方向の像ブレ量から、撮像素子駆動部１３により補正される並進方向の像ブレ量を減算して、ブレ残り量を算出するブレ残り量算出部である減算部１５２５とを備え、非歩行状態である場合には、並進方向のブレ残り量をシステムコントローラ１４により補正するようにしたために、光学補正から電子補正に切り替わるときの不自然な像ブレを抑制することができる。
【０１７５】
そして、上述した実施形態１におけるパターンマッチングが不要となるために、演算処理の負荷を軽減して構成を簡単にすることができる。さらに、パターンマッチングでは検出が苦手な被写体（例えば、逆光、ローコントラスト、繰り返し模様、動体など）も、良好に補正することができる。
【０１７６】
また、限界補正緩和部が、可動部１３５が固定部１３４に当て付く補正限界に到達する前に、角速度センサ１６およびブレ補正マイクロコンピュータ１５により検出された並進方向の像ブレ量に、並進方向の光学補正機能を抑制するための当付補償係数を乗算する当付補償係数乗算部１５２４を含むために、補正限界に近付いたときの並進方向の光学補正機能の抑制を、係数の乗算という簡単な処理で行うことができる。
【０１７７】
なお、上述した各部は、回路として構成されていても良い。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていても良いし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。
【０１７８】
また、上述では主として撮像装置について説明したが、撮像装置を上述したように制御する制御方法、あるいは撮像装置と同様の像ブレ補正を行う像ブレ補正方法であっても良いし、コンピュータに撮像装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【０１７９】
さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０１８０】
１…カメラ本体
２…交換レンズ
３…レンズマウント
１１…フォーカルプレーンシャッタ
１２…撮像素子
１３…撮像素子駆動部
１４…システムコントローラ
１５…ブレ補正マイクロコンピュータ
１６…角速度センサ
１６ａ…ヨー角速度センサ
１６ｂ…ピッチ角速度センサ
１６ｃ…ロール角速度センサ
１７…操作部
２１…撮影光学系
２２…レンズコントロールユニット（ＬＣＵ）
１３１…Ｘ１駆動部
１３２…Ｘ２駆動部
１３３…Ｙ駆動部
１３４…固定部
１３５…可動部
１４１…輝度画像生成部
１４２…メモリ
１４３…パターンマッチング部
１４４…Ｘ／Ｙ補正量算出部
１４６…補正量選択部
１４７…画像処理部
１５１，１５１ａ，１５１ｂ，１５１ｃ…アナログデジタルコンバータ（ＡＤＣ）
１５２…角度補正量算出部
１５２ａ…ヨー補正量算出部
１５２ｂ…ピッチ補正量算出部
１５２ｃ…ロール補正量算出部
１５３…駆動量算出部
１５４…ドライバ
１５４ａ…Ｘ１ドライバ
１５４ｂ…Ｘ２ドライバ
１５４ｃ…Ｙドライバ
１５５…通信部
１５６…歩行検知処理部
１５７…補正方式選択部
１４４１，１５２２，１５２３…積分部
１５２１…乗算部
１５２４…当付補償係数乗算部
１５２５…減算部
【図１】
0006655401.tif 000002
【図２】
0006655401.tif 000003
【図３】
0006655401.tif 000004
【図４】
0006655401.tif 000005
【図５】
0006655401.tif 000006
【図６】
0006655401.tif 000007
【図７】
0006655401.tif 000008
【図８】
0006655401.tif 000009
【図９】
0006655401.tif 000010
【図１０】
0006655401.tif 000011
【図１１】
0006655401.tif 000012
【図１２】
0006655401.tif 000013
【図１３】
0006655401.tif 000014
【図１４】
0006655401.tif 000015
【図１５】
0006655401.tif 000016
【図１６】
0006655401.tif 000017
【図１７】
0006655401.tif 000018
【図１８】
0006655401.tif 000019