(57)【特許請求の範囲】
【請求項１】
撮像装置の動きの角速度を算出する第１の算出手段と、
前記撮像装置の撮像手段により撮像された複数の画像から、被写体の動き量を算出する第２の算出手段と、
前記第１および第２の算出手段の出力に基づいて、被写体の動きの角速度を算出する第３の算出手段と、
被写体が歩行しているか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第３の算出手段により算出された被写体の動きの角速度とに基づいて像ブレ補正手段が被写体の像ブレを補正するように制御するか、前記第１の算出手段により算出された前記撮像装置の動きの角速度に基づいて前記像ブレ補正手段が被写体の像ブレを補正するように制御するかを選択する選択手段と、を備える像ブレ補正装置であって、
前記選択手段は、前記判定手段により被写体が歩行していると判定された場合には、前記被写体の進行方向については、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第３の算出手段により算出された被写体の動きの角速度とに基づいて前記像ブレ補正手段が被写体の像ブレを補正する制御を選択し、被写体の進行方向と直交する方向については、前記第１の算出手段により算出された前記撮像装置の動きの角速度に基づいて前記像ブレ補正手段が被写体の像ブレを補正する制御を選択することを特徴とする像ブレ補正装置。
【請求項２】
撮像装置の動きの角速度を算出する第１の算出手段と、
前記撮像装置の撮像手段により撮像された複数の画像から、被写体の動き量を算出する第２の算出手段と、
前記第１および第２の算出手段の出力に基づいて、被写体の動きの角速度を算出する第３の算出手段と、
被写体が歩行しているか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第３の算出手段により算出された被写体の動きの角速度とに基づいて像ブレ補正手段が被写体の像ブレを補正するように制御するか、前記第１の算出手段により算出された前記撮像装置の動きの角速度に基づいて前記像ブレ補正手段が被写体の像ブレを補正するように制御するかを選択する選択手段と、を備える像ブレ補正装置であって、
前記選択手段は、前記判定手段により被写体が歩行していないと判定された場合には、前記被写体の進行方向および被写体の進行方向と直交する方向の両方について、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第３の算出手段により算出された被写体の動きの角速度とに基づいて前記像ブレ補正手段が被写体の像ブレを補正する制御を選択することを特徴とする像ブレ補正装置。
【請求項３】
撮像装置の動きの角速度を算出する第１の算出手段と、
前記撮像装置の撮像手段により撮像された複数の画像から、被写体の動き量を算出する第２の算出手段と、
前記第１および第２の算出手段の出力に基づいて、被写体の動きの角速度を算出する第３の算出手段と、
被写体が歩行しているか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第３の算出手段により算出された被写体の動きの角速度とに基づいて像ブレ補正手段が被写体の像ブレを補正するように制御するか、前記第１の算出手段により算出された前記撮像装置の動きの角速度に基づいて前記像ブレ補正手段が被写体の像ブレを補正するように制御するかを選択する選択手段と、を備える像ブレ補正装置であって、
前記判定手段は、流し撮りのための前記撮像装置を振る方向が、地面に対して垂直な方向が支配的である場合は、被写体が歩行していないと判定することを特徴とする像ブレ補正装置。
【請求項４】
被写体としての人物を検出する人検出手段をさらに備え、前記第２の算出手段は、前記撮像手段により撮像された複数の画像から人物の動き量を算出することを特徴とする請求項１乃至３のいずれか１項に記載の像ブレ補正装置。
【請求項５】
前記撮像装置の姿勢を検知する姿勢検知手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の像ブレ補正装置。
【請求項６】
前記像ブレ補正手段は、撮像光学系に設けられ、前記撮像光学系の光軸と異なる方向に移動するシフトレンズであることを特徴とする請求項１乃至５のいずれか１項に記載の像ブレ補正装置。
【請求項７】
前記像ブレ補正手段は、撮像光学系の光軸と直交する方向に撮像素子を移動させる駆動手段を有することを特徴とする請求項１乃至６のいずれか１項に記載の像ブレ補正装置。
【請求項８】
前記選択手段は、前記判定手段により被写体が歩行していないと判定された場合には、前記被写体の進行方向および被写体の進行方向と直交する方向の両方について、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第３の算出手段により算出された被写体の動きの角速度とに基づいて前記像ブレ補正手段が被写体の像ブレを補正する制御を選択することを特徴とする請求項１に記載の像ブレ補正装置。
【請求項９】
前記判定手段は、流し撮りのための前記撮像装置を振る方向が、地面に対して垂直な方向が支配的である場合は、被写体が歩行していないと判定することを特徴とする請求項１又は２に記載の像ブレ補正装置。 
【請求項１０】
撮像装置の動きの角速度を算出する第１の算出工程と、
前記撮像装置の撮像手段により撮像された複数の画像から、被写体の動き量を算出する第２の算出工程と、
前記第１および第２の算出工程の出力に基づいて、被写体の動きの角速度を算出する第３の算出工程と、
被写体が歩行しているか否かを判定する判定工程と、
前記判定工程における判定結果に基づいて、前記第１の算出工程により算出された前記撮像装置の動きの角速度と、前記第３の算出工程により算出された被写体の動きの角速度とに基づいて像ブレ補正手段が被写体の像ブレを補正するように制御するか、前記第１の算出工程により算出された前記撮像装置の動きの角速度に基づいて前記像ブレ補正手段が被写体の像ブレを補正するように制御するかを選択する選択工程と、を有する像ブレ補正装置の制御方法であって、
前記選択工程では、前記判定工程において被写体が歩行していると判定された場合には、前記被写体の進行方向については、前記第１の算出工程により算出された前記撮像装置の動きの角速度と、前記第３の算出工程により算出された被写体の動きの角速度とに基づいて前記像ブレ補正手段が被写体の像ブレを補正する制御を選択し、被写体の進行方向と直交する方向については、前記第１の算出工程により算出された前記撮像装置の動きの角速度に基づいて前記像ブレ補正手段が被写体の像ブレを補正する制御を選択することを特徴とする像ブレ補正装置の制御方法。
【請求項１１】
撮像装置の動きの角速度を算出する第１の算出工程と、
前記撮像装置の撮像手段により撮像された複数の画像から、被写体の動き量を算出する第２の算出工程と、
前記第１および第２の算出工程の出力に基づいて、被写体の動きの角速度を算出する第３の算出工程と、
被写体が歩行しているか否かを判定する判定工程と、
前記判定工程における判定結果に基づいて、前記第１の算出工程により算出された前記撮像装置の動きの角速度と、前記第３の算出工程により算出された被写体の動きの角速度とに基づいて像ブレ補正手段が被写体の像ブレを補正するように制御するか、前記第１の算出工程により算出された前記撮像装置の動きの角速度に基づいて前記像ブレ補正手段が被写体の像ブレを補正するように制御するかを選択する選択工程と、を有する像ブレ補正装置の制御方法であって、
前記選択工程では、前記判定工程により被写体が歩行していないと判定された場合には、前記被写体の進行方向および被写体の進行方向と直交する方向の両方について、前記第１の算出工程により算出された前記撮像装置の動きの角速度と、前記第３の算出工程により算出された被写体の動きの角速度とに基づいて前記像ブレ補正手段が被写体の像ブレを補正する制御を選択することを特徴とする像ブレ補正装置の制御方法。
【請求項１２】
撮像装置の動きの角速度を算出する第１の算出工程と、
前記撮像装置の撮像手段により撮像された複数の画像から、被写体の動き量を算出する第２の算出工程と、
前記第１および第２の算出工程の出力に基づいて、被写体の動きの角速度を算出する第３の算出工程と、
被写体が歩行しているか否かを判定する判定工程と、
前記判定工程における判定結果に基づいて、前記第１の算出工程により算出された前記撮像装置の動きの角速度と、前記第３の算出工程により算出された被写体の動きの角速度とに基づいて像ブレ補正手段が被写体の像ブレを補正するように制御するか、前記第１の算出工程により算出された前記撮像装置の動きの角速度に基づいて前記像ブレ補正手段が被写体の像ブレを補正するように制御するかを選択する選択工程と、を有する像ブレ補正装置の制御方法であって、
前記判定工程では、流し撮りのための前記撮像装置を振る方向が、地面に対して垂直な方向が支配的である場合は、被写体が歩行していないと判定することを特徴とする像ブレ補正装置の制御方法。
【請求項１３】
請求項１０乃至１２のいずれか１項に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項１０乃至１２のいずれか１項に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置において、流し撮りをする場合に発生する像ブレを補正する技術に関するものである。
【背景技術】
【０００２】
従来より、移動している被写体のスピード感を表現する撮影技術として流し撮りと呼ばれる手法が知られている。この撮影手法は、撮影者が被写体の動きに合わせてカメラをパンニングすることにより、移動している被写体を静止させて背景は流すことを目的とする。流し撮り撮影においては撮影者が被写体の動きに合わせてカメラをパンニングする必要があるが、パンニング速度が速すぎたり遅すぎたりすると、被写体の移動速度とパンニング速度の間に差が発生してしまうことがある。この場合、画面内で静止させたい被写体がブレた画像になることも多い。
【０００３】
この問題を解決するために、特許文献１には、次のような技術が開示されている。すなわち、「露光前に算出した撮像装置に対する被写体の相対角速度」と「角速度センサから得た露光中の撮像装置の角速度」とに基づいて、露光中のレンズの光学系の一部または撮像部を移動させて被写体のブレ（被写体ブレ）を補正する。撮像装置に対する被写体の相対角速度は、「時間的に連続した画像から検出した被写体の像面上の移動量」と「角速度センサの出力」によって算出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平４−１６３５３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された従来技術では、被写体の動きが露光前と露光中とで大きく変わらないことを前提としている。例えば、歩行している人物（走っている人物を含む）が被写体である場合には、人物の体が上下に往復運動するため、進行方向に上記の前提が成り立ったとしても、進行方向に対して直交する方向に関してはこの前提が成り立たない。つまり、撮像装置に対して露光前の被写体の動き検知中には下向きに動いていた被写体が、露光中には逆の上向きに動くことがある。この場合、そのままブレ補正を行うと、逆方向に補正（逆補正）してしまい、さらにブレた画像となってしまう場合がある。
【０００６】
図１３は、一例として歩行している人物の顔付近の角速度の変化をグラフ化して示した図である。このグラフでは横軸が時間を示し、縦軸が角速度を示している。図１３（ａ）は、歩行している人物の水平方向の角速度変化のグラフで、徐々に角速度が速くなるが、一方向に移動している。これに対して、図１３（ｂ）は、歩行している人物の上下方向の角速度変化のグラフであり、被写体である人物は、角速度の検知中は下向きに動いているが、露光時には上向きに動いている。この場合には、特許文献１のような補正方法を用いることはできない。
【０００７】
本発明は上述した課題に鑑みてなされたものであり、その目的は、歩行している人物に対する流し撮りにおいても、良好な流し撮りを可能とすることである。
【課題を解決するための手段】
【０００８】
本発明に係わる像ブレ補正装置は、撮像装置の動きの角速度を算出する第１の算出手段と、前記撮像装置の撮像手段により撮像された複数の画像から、被写体の動き量を算出する第２の算出手段と、前記第１および第２の算出手段の出力に基づいて、被写体の動きの角速度を算出する第３の算出手段と、被写体が歩行しているか否かを判定する判定手段と、前記判定手段の判定結果に基づいて、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第３の算出手段により算出された被写体の動きの角速度とに基づいて像ブレ補正手段が被写体の像ブレを補正するように制御するか、前記第１の算出手段により算出された前記撮像装置の動きの角速度に基づいて前記像ブレ補正手段が被写体の像ブレを補正するように制御するかを選択する選択手段と、を備える像ブレ補正装置であって、前記選択手段は、前記判定手段により被写体が歩行していると判定された場合には、前記被写体の進行方向については、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第３の算出手段により算出された被写体の動きの角速度とに基づいて前記像ブレ補正手段が被写体の像ブレを補正する制御を選択し、被写体の進行方向と直交する方向については、前記第１の算出手段により算出された前記撮像装置の動きの角速度に基づいて前記像ブレ補正手段が被写体の像ブレを補正する制御を選択することを特徴とする。
また、本発明に係わる像ブレ補正装置は、撮像装置の動きの角速度を算出する第１の算出手段と、前記撮像装置の撮像手段により撮像された複数の画像から、被写体の動き量を算出する第２の算出手段と、前記第１および第２の算出手段の出力に基づいて、被写体の動きの角速度を算出する第３の算出手段と、被写体が歩行しているか否かを判定する判定手段と、前記判定手段の判定結果に基づいて、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第３の算出手段により算出された被写体の動きの角速度とに基づいて像ブレ補正手段が被写体の像ブレを補正するように制御するか、前記第１の算出手段により算出された前記撮像装置の動きの角速度に基づいて前記像ブレ補正手段が被写体の像ブレを補正するように制御するかを選択する選択手段と、を備える像ブレ補正装置であって、前記選択手段は、前記判定手段により被写体が歩行していないと判定された場合には、前記被写体の進行方向および被写体の進行方向と直交する方向の両方について、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第３の算出手段により算出された被写体の動きの角速度とに基づいて前記像ブレ補正手段が被写体の像ブレを補正する制御を選択することを特徴とする。
また、本発明に係わる像ブレ補正装置は、撮像装置の動きの角速度を算出する第１の算出手段と、前記撮像装置の撮像手段により撮像された複数の画像から、被写体の動き量を算出する第２の算出手段と、前記第１および第２の算出手段の出力に基づいて、被写体の動きの角速度を算出する第３の算出手段と、被写体が歩行しているか否かを判定する判定手段と、前記判定手段の判定結果に基づいて、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第３の算出手段により算出された被写体の動きの角速度とに基づいて像ブレ補正手段が被写体の像ブレを補正するように制御するか、前記第１の算出手段により算出された前記撮像装置の動きの角速度に基づいて前記像ブレ補正手段が被写体の像ブレを補正するように制御するかを選択する選択手段と、を備える像ブレ補正装置であって、前記判定手段は、流し撮りのための前記撮像装置を振る方向が、地面に対して垂直な方向が支配的である場合は、被写体が歩行していないと判定することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、歩行している人物に対する流し撮りにおいても、良好な流し撮りを可能とすることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の像ブレ補正装置を搭載した撮像装置の第１の実施形態であるカメラの構成を示すブロック図。
【図２】像ブレ補正装置の構成を示すブロック図。
【図３】パンニング制御の動作の一例を示すフローチャート。
【図４】パンニングが行われている場合の横方向の角速度データと、所定値α、βの関係を示した図。
【図５】流し撮りアシストモードにおける像ブレ補正装置の構成を示すブロック図。
【図６】流し撮りアシストモードにおける撮影動作を示すフローチャート。
【図７】動き量検出部の動作を示すフローチャート。
【図８】テンプレート枠の配置状態を示す図。
【図９】動き量のヒストグラムを示す図。
【図１０】第１の実施形態における被写体角速度決定処理を示すフローチャート。
【図１１】第２の実施形態における被写体角速度決定処理を示すフローチャート。
【図１２】第３の実施形態における被写体角速度決定処理を示すフローチャート。
【図１３】人物の角速度変化のイメージ図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１２】
（第１の実施形態）
図１は、本発明の像ブレ補正装置を搭載した撮像装置の第１の実施形態であるカメラの構成を示すブロック図である。図１において、カメラ１００はカメラ本体にレンズが一体的に組み込まれている。ただし、本発明は、レンズとカメラ本体が一体的に構成されたカメラに限らず、カメラ本体に対してレンズが着脱可能に構成された一眼レフタイプのカメラに対しても適用可能である。
【００１３】
カメラ１００は、撮影レンズユニット１０１を備える。撮影レンズユニット１０１は、主撮像光学系１０２、焦点距離を変更可能なズームレンズ群１０３、およびカメラ１００の振れに起因する光軸に対する像の振れを光軸と垂直な方向に移動することにより光学的に補正するシフトレンズ群１０４を備える。また、カメラ１００は、ズームレンズ群１０３の位置を検出するズームエンコーダ１０５、シフトレンズ群１０４の現在位置を検出する位置センサ１０６、カメラ１００の振れを検出する角速度センサ１０７を備える。さらに、角速度センサ１０７の出力を増幅するアンプ１０８、カメラ制御用マイクロコンピュータ（以下マイコン）１３０、シフトレンズ群１０４を駆動するドライバ１０９、シフトレンズ群１０４の位置センサ１０６の出力を増幅するアンプ１１０を備える。
【００１４】
カメラ１００は、さらに、シャッタ１１１、ＣＭＯＳセンサ等の撮像素子１１２、アナログ信号処理回路１１３、カメラ信号処理回路１１４、撮像素子１１２やアナログ信号処理回路１１３の動作タイミングを設定するタイミングジェネレータ１１５を備える。さらに、電源スイッチ、レリーズスイッチ、流し撮りアシストモードの選択スイッチ等を含む操作スイッチ１１６、シャッタ駆動モータ１１７、シャッタ駆動モータ１１７を駆動するドライバ１１８を備える。また、撮影した映像を記録するメモリカード１１９、カメラ１００で撮影しようとしている画像をモニタし、また撮影した画像を表示する液晶パネル（以下ＬＣＤ）１２０を備える。ＬＣＤ１２０は、撮影した映像を連続して表示することによりライブビュー表示を行うことができる。さらに、重力方向に対するカメラ１００の姿勢を検知する姿勢検知部１３７を備える。姿勢検知部１３７で検知された情報に応じて、カメラ１００を横に構えている状態（正位置）か、縦に構えている状態（縦位置）かを判定可能である。姿勢検知部１３７には加速度センサなどを用いることができる。
【００１５】
カメラ信号処理回路１１４は、動き量検出部１３５と人検出部１３６を備える。マイコン１３０は、像ブレ補正制御を行う像ブレ補正制御部１３１、流し撮りアシスト用の制御を行う流し撮り制御部１３２、シャッタを制御するシャッタ制御部１３３、被写体の角速度を算出する被写体角速度算出部１３４を備える。マイコン１３０はその他にもフォーカスレンズ制御、絞り制御等も行うが、ここでは図を分かりやすくするために省略している。また、像ブレ補正のためには、例えば横方向と縦方向といった、直交する２軸に関して振れの検出および補正を行うが、横方向についての構成と縦方向についての構成は、まったく同じであるため、ここでは１軸方向についてのみ記載する。
【００１６】
図１において、操作スイッチ１１６に含まれる電源スイッチによりカメラの電源がＯＮされると、その状態変化をマイコン１３０が検出し、カメラ１００の各回路への電源供給および初期設定が行われる。流し撮りアシストモードの設定が行われていない通常モードでは、角速度センサ１０７が手振れ等によるカメラの振れを検出し、その検出結果に基づいて、像ブレ補正制御部１３１がシフトレンズ１０４を駆動し、像ブレ補正動作が行われる。
【００１７】
ここで像ブレ補正機能に関して説明する。図２は像ブレ補正装置の構成を示すブロック図であり、図１と共通の構成については同じ符号を付し、説明を省略する。図２において、像ブレ補正制御部１３１は、Ａ／Ｄ変換器４０１、フィルタ演算部４０２、積分器４０３、加算器４０４、ＰＷＭ出力部４０５、Ａ／Ｄ変換器４０６、パンニング制御部４０７を備える。Ａ／Ｄ変換器４０１は、角速度センサ１０７で検出された振れ信号をデジタル信号に変換する。角速度センサ１０７の出力データのサンプリングは１〜１０ｋＨｚ程度の周波数で行われる。ハイパスフィルタ（ＨＰＦ）等で構成されるフィルタ演算部４０２は、角速度センサ１０７の出力に含まれているオフセット成分の除去を行い、またカットオフ周波数を変更することによりパンニング対策を行う。積分器４０３は、シフトレンズの駆動目標データを生成するために角速度データを角変位データに変換する。Ａ／Ｄ変換器４０６は、シフトレンズ群１０４の位置を検出する位置センサ１０６の出力をデジタルデータに変換する。加算器４０４は、シフトレンズ群１０４の駆動目標値から現在のシフトレンズ位置を減算してシフトレンズ群１０４の実際の駆動量のデータを算出する。ＰＷＭ出力部４０５は、算出された駆動量のデータをシフトレンズ駆動用のドライバ１０９に出力する。パンニング制御部４０７は、角速度データの状態からカメラ１００がパンニングされているか否かを判定する。また、パンニングされていると判定された場合は、フィルタ演算部４０２のカットオフ周波数の変更制御、および積分器４０３の出力の調整を行う。
【００１８】
図３は、マイコン１３０内の像ブレ補正制御部１３１によるパンニング制御の動作の一例を示すフローチャートである。以下、パンニング制御について、図３を用いて説明する。
【００１９】
図３において、Ｓ５０１では、Ａ／Ｄ変換器４０１でデジタル値に変換された角速度データの平均値（所定サンプリング回数分の平均値）が所定値αよりも大きいか否かが判定される。所定値α以下の場合はパンニングが行われていないと判断される。所定値αよりも大きい場合は、Ｓ５０２において、所定値βより大きいか否かが判定される。そして、所定値β以下の場合は、ゆっくりとしたパンニングが行われていると判断される。また、所定値βよりも大きい場合は、速いパンニングが行われていると判断し、Ｓ５０３でフィルタ演算部４０２内にあるＨＰＦのカットオフ周波数を最大値に設定し、Ｓ５０４で像ブレ補正制御を強制的にＯＦＦとする。これは、ＨＰＦのカットオフ周波数を高くすることによりシフトレンズが徐々に停止するようにし、像ブレ補正制御をＯＦＦしたときの違和感をなくすためである。また、速いパンニング時は手振れの大きさに対してパンニングによる移動量が非常に大きくなるため、像ブレ補正をＯＦＦすることで手振れが残っても違和感はないためである。この設定を行わず、パンニングを大きな振れとして補正しようとすると、パンニング開始時には画像の振れが停止するが、その後シフトレンズ群１０４が補正端に到達した瞬間に突然画像が大きく動き、非常に不自然な動きとして見えてしまう。
【００２０】
その後、Ｓ５０５では、積分器４０３の出力を現在のデータから徐々に初期位置のデータに変更することで、シフトレンズ群１０４を初期位置に動かすようにする。これは次に像ブレ補正動作を再開する場合に、シフトレンズ群１０４の位置が駆動範囲の初期位置にあることが望ましいためである。
【００２１】
一方、Ｓ５０２で角速度データの平均値が所定値β以下であった場合（ゆっくりとしたパンニングが行われていると判断された場合）はＳ５０６へと進む。そして、角速度データの大きさに応じてＨＰＦのカットオフ周波数を設定する。これは、ゆっくりとしたパンニングが行われている場合は手振れの影響を完全に無視することができないためであり、パンニング時の画像の追従性を不自然にならない程度に保ちながら、像ブレの補正を行うためである。
【００２２】
また、Ｓ５０１で角速度データの平均値が所定値α以下であった場合（パンニングが行われていないと判断された場合）は、Ｓ５０７でＨＰＦのカットオフ周波数を通常時の値に設定する。そして、速いパンニングでない場合は、Ｓ５０８において像ブレ補正制御の強制ＯＦＦ設定を解除する。
【００２３】
図４はパンニングが行われている場合の横方向の角速度データと、所定値α、βの関係を示した図であり、角速度データ７０１の例が示されている。この例では、右方向にパンニングした場合に＋方向の出力、左方向にパンニングした場合に−方向の出力となる。図４の例では、右方向の急激なパンニングと、左右方向のゆっくりとしたパンニングが検出されている。図４からわかるように、パンニング中は角速度データが初期値（ここでは０）から大きく外れる。そのため、このデータを積分してシフトレンズの駆動目標値を算出した場合、ＤＣ的なオフセット成分により、積分器４０３の出力が非常に大きな値となり、制御不能状態になってしまう。そのため、パンニングが検出された場合は、ＨＰＦのカットオフ周波数を高く変更することにより、ＤＣ成分をカットすることが必要となる。急激なパンニングの場合は、特に顕著になるために、よりカットオフ周波数を上げることにより、積分器４０３の出力が増大しないようにする。また、パンニング速度が速い場合は、パンニング速度による画像の動きが手ブレに対して非常に大きくなるため、パンニング方向に関して像ブレ補正機能をＯＦＦとしても特に違和感は生じない。以上のようにパンニング制御が行われることにより、パンニング中のライブビュー画像の表示において、違和感のない画像をモニタすることが可能となる。
【００２４】
次に、流し撮りアシストモードについて説明する。図１において、操作スイッチ群１１６により流し撮りアシストモードが設定されると、カメラ信号処理回路１１４内の動き量検出部１３５は、撮像した連続するフレームの映像から被写体の動き量を検出し出力する。そして、マイコン１３０は、この動き量と、角速度センサ１０７で検出された角速度データを受信する。
【００２５】
ここで、角速度データはカメラ１００の流し撮り速度に対応しているため、角速度データと、主被写体の像面上の移動量とレンズの現在の焦点距離から算出される角速度との差分を算出すると、それはカメラに対する主被写体の角速度となる。被写体角速度算出部１３４では、ライブビューのモニタ用の画像を処理するタイミングで、毎フレームにつき、この主被写体の角速度を算出している。また、被写体角速度算出部１３４は、算出した被写体の角速度を流し撮り制御部１３２へ送信する。
【００２６】
図５は流し撮りアシストモードにおける像振れ補正装置の構成を示すブロック図であり、図１、図２と共通の構成に対しては同じ符号を付している。図５において、流し撮り制御部１３２は、カメラ情報取得部６０１、角速度データ出力部６０２、被写体角速度決定部６０３、加算器６０４、第２の積分器６０５、設定変更部６０６を備える。カメラ情報取得部６０１は、特に、流し撮りアシストモードの設定情報、レリーズ情報を取得する。角速度データ出力部６０２は、所定のタイミングでカメラの角速度データをサンプリングし、被写体角速度算出部１３４へ出力する。被写体角速度決定部６０３は、被写体角速度算出部１３４で算出した被写体の角速度を露光時の被写体の角速度に決定する。加算器６０４は、角速度センサの角速度と被写体の角速度との差分を算出する。第２の積分器６０５は、所定期間のみ積分動作を行う。設定変更部６０６は、カメラ情報取得部６０１が取得したモード情報に応じて、設定を変更する。
【００２７】
操作スイッチ群１１６の操作により流し撮りアシストモードが設定されると、その情報がカメラ情報取得部６０１で読み込まれ、設定変更部６０６に通知される。設定変更部６０６は、通知されたモード情報に従い、パンニング制御部４０７の設定変更を行う。ここで行われる設定変更は、急激なパンニング状態に移行しやすくする変更であり、具体的には、前述のパンニング判定用の所定値βおよびαを変更する。また、加算器６０４は角速度センサにより検出された角速度と、主被写体の角速度の差を計算し、第２の積分器６０５へと送る。第２の積分器６０５は、カメラ情報取得部６０１で取得された露光期間中を示す信号により積分動作を開始し、その他の期間はシフトレンズの位置が中央となる値を出力する。ここで、露光期間以外はシフトレンズを中央位置に配置しようとした場合、露光期間終了時は現在のシフトレンズ位置から中央位置までシフトレンズ群１０４が急峻に移動することになる。しかし、露光期間終了直後は撮像素子１１２からの画像信号の読み出しを行っているため、ＬＣＤ上では画像が消失する。そのため、シフトレンズの急峻な移動による画像の動きは問題とはならない。また、第２の積分器６０５の出力は、加算器４０４で、積分器４０３の出力、およびシフトレンズ群１０４の位置情報と共に加算され、シフトレンズ群１０４の駆動量が算出される。
【００２８】
流し撮りアシストモードが設定されている場合に、実際に撮影者により流し撮り動作が行われると、パンニング制御部４０７が即座に急なパンニング状態に対するパンニング制御を行う。それにより、像ブレ補正動作が禁止され、シフトレンズ群１０４は、カメラのパンニングの角速度と被写体の角速度の差分に対応した量を補正することになる。そのため流し撮り失敗の原因となる露光期間中のカメラのパンニング速度と被写体の速度の差分がシフトレンズ群１０４の動作で相殺され（流し撮りアシスト）、その結果として流し撮りが成功する。
【００２９】
図６は、流し撮りアシストモードにおける撮影動作を示すフローチャートである。図６において、Ｓ２０１では、レリーズスイッチが半押し（スイッチＳＷ１がＯＮ）されたか否かが検出される。ＳＷ１がＯＮされると、Ｓ２０２へと進み、時間計測カウンタをインクリメントする。ＳＷ１がＯＮされていない場合は、Ｓ２０３において、時間計測カウンタをリセットする。
【００３０】
Ｓ２０４では、主被写体の角速度がすでに算出されているか否かを確認する。算出されている場合は、Ｓ２０５においてさらに時間計測カウンタが所定時間Ｔになっているか否かが確認される。主被写体の角速度がまだ算出されていない場合、およびすでに算出されていても一定時間が経過している場合は、Ｓ２０６において主被写体の角速度を算出する。ここで、主被写体の角速度を算出し直すのは、時間と共に主被写体の速度が変化する場合を考慮しての処置である。主被写体の角速度が算出されるたびに、流し撮り制御部１３２の被写体角速度決定部６０３へ通知が送られる。
【００３１】
Ｓ２０７では、被写体角速度算出部１３４から取得した過去数フレームの被写体角速度から角加速度を算出し、レリーズが切られてから露光開始までのタイムラグ分を加味して被写体角速度決定部６０３において露光時の被写体角速度を算出して決定する。Ｓ２０８では、レリーズスイッチが全押し（スイッチＳＷ２がＯＮ）されたか否かが検出される。ＳＷ２がＯＮされていなければ、Ｓ２０１へ戻る。Ｓ２０８においてＳＷ２がＯＮされると、Ｓ２０９において露光開始のためにシャッター制御部１３３によりシャッター制御が行われる。
【００３２】
Ｓ２１０では、流し撮り制御部１３２と像ブレ補正制御部１３１が連動してシフトレンズ群１０４を動かし、被写体の像ブレ補正を行う。Ｓ２１１では、露光完了か否かを判断し、露光完了であればＳ２１２に進み、未完了であればＳ２１０に戻る。Ｓ２１２では、ＳＷ２がＯＮされたか否かが判定される。ＳＷ２がＯＮされていれば、Ｓ２０９へ戻り次の撮影を開始する。ＳＷ２がＯＮされていなければ、Ｓ２０１へ戻る。
【００３３】
図７は、動き量検出部１３５の動作を示すフローチャートである。Ｓ８０１では、１回目の撮像を行い比較元の画像を取得し、Ｓ８０２に進む。Ｓ８０２では、人検出部１３６により人の座標情報を取得できたか否かが判定される。人の座標情報を取得できた場合はＳ８０７に進み、取得できなかった場合はＳ８０３に進む。Ｓ８０３では、次の撮像の前に、被写体の動き量を取得する枠（動き量取得枠１００３）を複数配置した枠（テンプレート枠１００２）を画面に配置し、Ｓ８０４に進む。テンプレート枠によって、動き量を取得する位置を複数指定することができる。Ｓ８０３でのテンプレート枠の位置は、画角の中心になるように配置する。図８（ａ）において、画角１００１とテンプレート枠１００２の例を示す。テンプレート枠１００２は、動き量取得枠１００３が横７つ縦５つ配置された７×５の大きな枠である。ライブビュー中には、動き量取得枠１００３およびテンプレート枠１００２は表示されない。
【００３４】
Ｓ８０４では、ライブビューのための撮像をしながらテンプレート枠１００２の配置に従って複数位置の動き量を検知し、Ｓ８０５に進む。Ｓ８０５では、動き量の検知結果を取得してＳ８０６に進む。Ｓ８０６では、取得した動き量からヒストグラムを生成して、被写体の動き量を決定し、被写体角速度算出部１３４へ渡してＳ８０２へ戻る。
【００３５】
図９はヒストグラムの例を示した図であり、横軸が動き量を示し縦軸が度数を示している。ここで、ヒストグラムに示される動き量は、撮影者が撮影しようとしている主被写体に対応した動き量と、流れている背景に対応した動き量の２種類が含まれる。本実施形態では、流し撮りが目的であるため、検出された動き量のうち、動き量の小さいデータが主被写体の動き量となり、この動き量の値が主被写体の像面上の移動量となる。集合１１０１の方が動き量がより０に近いので、集合１１０１を主被写体、集合１１０２を背景と判断する。主被写体と判断された集合の値の平均を動き量とする。
【００３６】
Ｓ８０７では、次の撮像前に、テンプレート枠１００２を人物の顔位置を中心にして配置し、Ｓ８０８に進む。図８（ｂ）に、人物を検知した場合の画角１００１とテンプレート枠１００２の例を示す。Ｓ８０８では、ライブビューによる撮像をしながら、テンプレート枠１００２により人物周辺の複数位置の動き量を検知し、Ｓ８０９に進む。Ｓ８０９では、動き量の検知結果を取得してＳ８１０に進む。Ｓ８１０では、顔の大きさに含まれる枠（図８（ｂ）におけるグレーの枠）に対応する動き量の平均を動き量として決定し、被写体角速度算出部１３４へ渡してＳ８０２へ戻る。
【００３７】
次に、被写体角速度算出部１３４は、Ｓ８０６およびＳ８１０で渡された被写体の動き量から被写体の角速度を決定する。図１０は、被写体角速度算出部１３４の動作を示すフローチャートである。本処理は、被写体角速度算出部１３４が動き量検出部１３５から動き量を取得すると開始される。Ｓ１０１では、人検出部１３６により人の座標情報を取得出来たか出来なかったかが判定される。人の座標情報を取得できた場合はＳ１０２に進み、取得できなかった場合はＳ１０５に進む。Ｓ１０２では、パンニング方向を算出し、Ｓ１０３に進む。ここで、角速度センサ１０７の出力について、撮影者が直立した状態でカメラを正位置に構えた場合の左右方向の出力をＸ方向出力、上下方向の出力をＹ方向出力とする（縦位置に構えた場合は、左右方向がＹ方向出力、上下方向がＸ方向出力となる）。パンニング方向は、Ｘ方向とＹ方向で「ある角速度」よりも一方が大きく他方が小さい場合に大きい方の方向とする。「ある角速度」とは例えば０．５ｄｅｇ／秒とする。
【００３８】
Ｓ１０３では、姿勢検知部１３７によりカメラ１００の姿勢を取得し、Ｓ１０４に進む。Ｓ１０４では、非歩行判定を行い、歩行していないと判断された場合（判定結果）はＳ１０５に進み、歩行していないと判断できない場合はＳ１０６に進む。ここで、歩行していないと判断する条件は、「カメラ１００の姿勢が正位置で、かつパンニング方向がＹ方向である場合」と「カメラ１００の姿勢が縦位置で、かつパンニング方向がＸ方向である場合」である。つまりは、カメラ１００を振る方向が地面に対して垂直な方向が支配的である場合は、被写体の人物は上方向または下方向に移動しており、歩行はしていないと判断する。例えば、遊園地のフリーフォール乗った人物の動きを追う場合などがこれに当たる。パンニング方向の判定で閾値となる「ある角速度」を工夫することにより、斜め方向のパンニングに関しても非歩行判定を拡張することができる。なお、本実施形態における「歩行」とは、人物が走っている場合なども含み、人物が進行方向に進みつつ、進行方向と直交する方向の往復運動も伴うような動き全般を指すものとする。また、ここでは「人物」と記載しているが、人物以外の歩行でもよいものとする。
【００３９】
Ｓ１０５では、「水平方向」と「水平方向に対して直交する方向」の両方向に対して被写体のブレ補正（流し撮りアシスト）を行うため、両方向共に動き量を焦点距離情報と画素ピッチを用いて角速度へ変換する。「水平方向」と「水平方向に対して直交する方向」の両方に流し撮りアシストを行うのは、Ｓ１０４において上下方向の動きが支配的であっても、「上下方向」だけでなく「水平方向」の動き成分も有していることが多いからである。そして、角速度センサ１０７により取得した角速度を加味して算出した被写体の角速度を流し撮り制御部１３２へ渡して処理を終了する。
【００４０】
Ｓ１０６では、「歩行方向（人物の進行方向）」は流し撮りアシストのためのブレの補正を行い、「歩行方向に対して直交する方向」については流し撮りアシストのためのブレ補正を行わずに手振れ等のカメラの振れに起因する像ブレ補正のみを行う制御を行う。つまりは、「歩行方向」については動き量を焦点距離情報と画素ピッチを用いて角速度へ変換し、角速度センサ１０７により取得した角速度を加味して算出した被写体の角速度を流し撮り制御部１３２へ渡す。一方、「歩行方向に対して直交する方向」については、角速度センサから取得した角速度のみを流し撮り制御部１３２へ渡して、手振れ等のカメラの振れに起因する像ブレ補正のみを行う。もしくは、手振れ等のカメラの振れに起因する像ブレ処理のみを行う通知を行うことで手振れ等のカメラの振れに起因する像ブレ補正のみを行っても良い。Ｓ１０６では、上記の制御を行い処理を終了する。
【００４１】
本実施形態によれば、人物を検知した場合に、カメラの姿勢とパンニング方向に基づいて被写体である人物が歩行していないことを検知する。被写体である人物が歩行している可能性がある場合は、「歩行方向に対して直交する方向」の被写体の流し撮りアシストのためのブレ補正を行わずに、手振れ等のカメラの振れに起因する像ブレ補正のみを行う。これにより流し撮りアシストのためのブレ補正による逆補正を防ぐことができ、良好な流し撮りアシストを可能にした撮像装置を提供することが可能となる。
【００４２】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。図１１は、第２の実施形態における被写体角速度算出部１３４の動作を示すフローチャートである。第１の実施形態における被写体角速度算出部１３４の動作との違いは、第１の実施形態では「歩行していない」ことを検知するのに対して、第２の実施形態では「歩行している」ことを検知することである。本処理は、被写体角速度算出部１３４が動き量検出部１３５から動き量を取得すると開始される。
【００４３】
Ｓ１２０１では、人検出部１３６により人の座標情報を取得出来たか出来なかったかが判定される。人の座標情報を取得できた場合はＳ１２０２に進み、取得できなかった場合はＳ１２０６に進む。Ｓ１２０２では、図１０のＳ１０２と同様にパンニング方向を算出し、Ｓ１２０３に進む。Ｓ１２０３では、取得した被写体の角速度を保持し、過去の角速度の変化とパンニング方向から人物が歩行していることを検知し、Ｓ１２０４に進む。ここで歩行の判定は、次のように行う。すなわち、パンニング方向と直交している方向の角速度の履歴が１秒から２秒の期間で図１３（ｂ）のようにプラスとマイナスの値をとり、その周期でプラスとマイナスを繰り返していれば歩行と判断する。また、実際の角速度センサの出力値はオフセットを持っていることが多いためオフセットを基準に増減を繰り返す。このようなオフセットを持つ角速度センサの対策として、角速度の変化量に注目し、変化量がプラスとマイナスを周期的に繰り返していれば歩行と判断してもよい。
【００４４】
Ｓ１２０４では、歩行判定を行い、歩行していると判断した場合はＳ１２０５に進み、歩行していると判断できない場合はＳ１２０６に進む。Ｓ１２０５では、「歩行方向（人物の進行方向）」は流し撮りアシストのためのブレの補正を行い、「歩行方向に対して直交する方向」については流し撮りアシストのためのブレ補正を行わずに手振れ等のカメラの振れに起因する像ブレ補正のみを行う制御を行う。
【００４５】
Ｓ１２０６では、「水平方向」と「水平方向に対して直交する方向」の両方向に対して被写体のブレ補正（流し撮りアシスト）を行うため、両方向共に動き量を焦点距離情報と画素ピッチを用いて角速度へ変換する。
【００４６】
本実施形態によれば、人物を検知した場合に、パンニング方向に対して直交方向の角速度の変化から歩行していることを検知する。被写体である人物が歩行している場合は、「歩行方向に対して直交する方向」の被写体の流し撮りアシストのためのブレ補正を行わずに、手振れ等のカメラの振れに起因する像ブレ補正のみを行う。これにより流し撮りアシストのためのブレ補正による逆補正を防ぐことができ、良好な流し撮りアシストを可能にした撮像装置を提供することが可能となる。
【００４７】
（第３の実施形態）
以下、本発明の第３の実施形態について説明する。図１２は、第３の実施形態における被写体角速度算出部１３４の動作を示すフローチャートである。この第３の実施形態では、第１の実施形態の動作と第２の実施形態の動作を適切に組み合わせている。
【００４８】
Ｓ１３０１〜Ｓ１３０３は第１の実施形態のＳ１０１〜Ｓ１０３と同様である。Ｓ１３０４では、非歩行判定を行い、歩行していないと判断した場合はＳ１３０５に進み、歩行していないと判断できない場合はＳ１３０６に進む。判定内容は、図１０のＳ１０４と同じである。Ｓ１３０５は、図１０のＳ１０５と同じである。Ｓ１３０６は図１１のＳ１２０３と同じである。Ｓ１３０７では、図１１のＳ１２０４と同じく歩行判定を行い、歩行していると判断した場合はＳ１３０８に進み、歩行していると判断できない場合はＳ１３０５に進む。Ｓ１３０８は図１０のＳ１０６と同じである。
【００４９】
本実施形態によれば、まず、人物を検知した場合にカメラの姿勢とパンニング方向から歩行していないことを検知する。そして、歩行している可能性がない場合は、「水平方向」および「水平方向に対して直交する方向」の両方向とも流し撮りアシストのためのブレ補正を行う。歩行している可能性がある場合は、さらに、歩行を検知し、歩行している場合は、「歩行方向に対して直交する方向」の被写体の流し撮りアシストのためのブレ補正を行わずに、手振れ等のカメラの振れに起因する像ブレ補正のみを行う。歩行していない場合は、「水平方向」および「水平方向に対して直交する方向」の両方向とも流し撮りアシストのためのブレ補正を行う。これにより流し撮りアシストのためのブレ補正による逆補正を防ぐことができ、良好な流し撮りアシストを可能にした撮像装置を提供することが可能となる。
【００５０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００５１】
例えば、上記の実施形態では、像振れを補正する構成として、撮影レンズユニットに光軸と直交する方向に移動するシフトレンズを備える場合について説明した。しかし、これに限定されず、チルトさせるなどの撮影レンズの光軸と異なる方向に移動することにより光路を変更する光学素子を用いてもよいし、可変頂角プリズムなどを用いて光路を変更してもよい。また、撮像素子をシフトさせることにより像振れ補正をするようにしてもよい。
【００５２】
また、上記の実施形態では、カメラ本体に配置された角速度センサによりカメラの振れを検出するように説明したが、角速度センサは撮影レンズ側に配置されていてもよい。
【００５３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５４】
１００：カメラ、１０１：撮影レンズユニット、１０２：主撮影光学系、１０３：ズームレンズ群、１０４：シフトレンズ群、１０５：ズームエンコーダ、１０６：位置センサ、１０７：角速度センサ、１０９：ドライバ、１１１：シャッター、１１２：撮像素子、１１３：アナログ信号処理回路、１１４：カメラ信号処理回路、１３５：動き量検出部、１３６：人検出部、１３７：姿勢検知部
【図１】
0006726032.tif 000002
【図２】
0006726032.tif 000003
【図３】
0006726032.tif 000004
【図４】
0006726032.tif 000005
【図５】
0006726032.tif 000006
【図６】
0006726032.tif 000007
【図７】
0006726032.tif 000008
【図８】
0006726032.tif 000009
【図９】
0006726032.tif 000010
【図１０】
0006726032.tif 000011
【図１１】
0006726032.tif 000012
【図１２】
0006726032.tif 000013
【図１３】
0006726032.tif 000014