(57)【要約】【課題】角速度センサの検出軸のズレによって発生する他軸への悪影響の度合いを最小限に抑え、良好な像振れ補正効果が得られるようにした撮像装置を提供する。【解決手段】光軸に垂直な２軸回りの振れと、光軸の回りの振れを得る振れ検出部と、光軸に垂直な２軸回りの振れの情報に基づいて、撮像画像の並進方向の振れによる像振れの補正量を演算する並進補正量演算部と、光軸回りの振れの情報に基づいて、撮像画像の光軸の回りの振れによる像振れの補正量を演算する回転補正量演算部と、並進補正量演算部と回転補正量演算部とにより演算された像振れの補正量に基づいて画像振れを補正する像振れ補正部と、光軸に垂直な２軸のうちの一方の軸回りの振れに基づいて、撮像画像の光軸の回りの像振れの補正量を制御する制御部とを備える。【選択図】図３
2014066766.tif 000002
【特許請求の範囲】
【請求項１】
光軸に垂直な２軸回りの振れと、前記光軸の回りの振れを得る振れ検出手段と、
前記光軸に垂直な２軸回りの振れの情報に基づいて、前記撮像画像の並進方向の振れによる像振れの補正量を演算する並進補正量演算手段と、
前記光軸回りの振れの情報に基づいて、前記撮像画像の光軸の回りの振れによる像振れの補正量を演算する回転補正量演算手段と、
前記並進補正量演算手段と前記回転補正量演算手段とにより演算された像振れの補正量に基づいて前記画像振れを補正する像振れ補正手段と、
前記光軸に垂直な２軸のうちの一方の軸回りの振れに基づいて、前記撮像画像の光軸の回りの像振れの補正量を制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記一方の軸回りの前記振れの情報を用いて演算された信号が、所定の閾値より大きい時間が、所定時間以上継続したときに、パンニング或いはチルティングされた状態であると判定し、前記パンニング或いはチルティングされた状態であると判定された場合に、前記撮像画像の光軸の回りのブレの補正量を制御することを特徴する請求項１に記載の撮像装置。
【請求項３】
前記回転補正量演算手段は、高域通過フィルタを有し、
前記制御手段は、前記光軸に垂直な２軸のうちの一方の軸回りの振れに基づいて、前記高域通過フィルタの遮断周波数を高くすることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記回転補正量演算手段は、積分手段を有し、
前記制御手段は、前記光軸に垂直な２軸のうちの一方の軸回りの振れに基づいて、前記積分手段の時定数を短くすることを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記回転補正量演算手段は、前記撮像画像の光軸回りの像振れの補正量は可変であり、
前記制御手段は、前記光軸に垂直な２軸のうちの一方の軸回りの振れに基づいて、前記回転補正量演算手段の演算値の限界を小さくすることを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記撮像装置は更に、前記光軸に垂直な２軸回りの振れの情報に基づいて、撮影者が移動しながら撮影を行っているかどうかの判定を行う判定手段を備え、
前記制御手段は、前記判定手段が撮影者が移動しながら撮影を行っていると判定した場合、前記撮像画像の光軸回りの像振れの補正量の制御を禁止する、もしくは緩和することを特徴とする請求項２に記載の撮像装置。
【請求項７】
前記判定手段は、前記光軸に垂直な２軸回りの振れの情報に基づいて演算された信号が、所定期間内に所定回数以上、所定の振幅よりも大きい振幅で変化した場合に、撮影者が移動しながら撮影を行っていると判定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
画像振れを補正する機能を有する撮像装置を制御する方法であって、
前記撮像装置の光軸に垂直な２軸回りの振れと、前記光軸回りの振れを得る振れ検出工程と、
前記互いに垂直な２軸回りの振れの情報に基づいて、前記撮像画像の並進方向のブレの補正量を演算する並進補正量演算工程と、
前記光軸回りの振れの情報に基づいて、前記撮像画像の光軸回りの像振れの補正量を演算する回転補正量演算工程と、
前記並進補正量演算工程と前記回転補正量演算工程とにより演算された像振れの補正量に基づいて前記撮像画像の振れを補正する像振れ補正工程と、
前記互いに垂直な２軸のうちの一方の軸回りの振れの情報に基づいて、前記撮像画像の光軸の回りの像振れの補正量を制御する制御工程と、
を備えることを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置における画像の振れを補正する技術に関する。
【背景技術】
【０００２】
近年、撮像装置の振れに起因して生じる像振れを補正する技術が進歩している。これに伴い、撮像装置が光軸回りに回転することによって、撮像画像の回転や、撮像装置が被写体に対して傾くことによって撮像画像が台形状に歪む像振れ（あおり）等を補正する像振れ補正機能が普及してきている。
【０００３】
撮像画像が回転する像振れを補正する方法としては、例えば、特許文献１のように撮像素子を機械的に回転することにより補正する方法がある。また、例えば、撮像画像が回転する像振れや台形状に歪む像振れを補正する方法として、特許文献２のように撮像画像の画像変形量を算出し、その画像変形量を打ち消すように画像を変形する方法が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−７１７４３号公報
【特許文献２】特開２０１１−１４６２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来例では以下のような問題点があった。
【０００６】
撮像装置の振れを角速度センサの出力から検出して像振れを補正している場合は、撮像光学系の光軸に垂直な平面上の軸回りの振れ（ＹＡＷ及びＰＩＴＣＨ方向）と、光軸回りの振れ（ＲＯＬＬ方向）を、角速度センサによって検出する。このとき、角速度センサは電子回路基板上に実装される際の組み立て上の誤差は免れない。この誤差によって、例えばＹＡＷ方向に撮像装置をパンニングする等の大きな振れが発生したときに、ＲＯＬＬあるいはＰＩＴＣＨ方向の角速度センサの出力も変動してしまう。
【０００７】
この場合、ＹＡＷ方向にパンニングしたときに画像が回転（ＲＯＬＬ方向）したり、縦方向（ＰＩＴＣＨ方向）の台形歪み（あおり）が発生すると、映像としては非常に目立ち、ユーザーに不快感を与える程の不自然な映像となる可能性があった。
【０００８】
本発明は上述した課題に鑑みてなされたものであり、その目的は、角速度センサの検出軸のズレによって発生する他軸への悪影響の度合いを最小限に抑え、良好な像振れ補正効果が得られるようにした撮像装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明に係わる撮像装置は、光軸に垂直な２軸回りの振れと、前記光軸の回りの振れを得る振れ検出手段と、前記光軸に垂直な２軸回りの振れの情報に基づいて、前記撮像画像の並進方向の振れによる像振れの補正量を演算する並進補正量演算手段と、前記光軸回りの振れの情報に基づいて、前記撮像画像の光軸の回りの振れによる像振れの補正量を演算する回転補正量演算手段と、前記並進補正量演算手段と前記回転補正量演算手段とにより演算された像振れの補正量に基づいて前記画像振れを補正する像振れ補正手段と、前記光軸に垂直な２軸のうちの一方の軸回りの振れに基づいて、前記撮像画像の光軸の回りの像振れの補正量を制御する制御手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、角速度センサの検出軸のズレによって発生する他軸への悪影響の度合いを最小限に抑え、良好な像振れ補正効果が得られる撮像装置を提供することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る撮像装置の一例としてのビデオカメラの構成例を示すブロック図。
【図２】ピンホールカメラモデルを説明する図。
【図３】第１及び第２の実施形態に係る画像変形量演算部の構成を示すブロック図。
【図４】第１の実施形態に係る画像変形部における回転の補正を説明する図。
【図５】第１の実施形態に係る回転制御変更部の処理、及び第３の実施形態に係るあおり制御変更部の処理の一例を示すフローチャート。
【図６】第１の実施形態に係る回転制御変更部の処理、及び第３の実施形態に係るあおり制御変更部の処理を説明するためのグラフ。
【図７】第２及び第４の実施形態に係る撮影者移動判定部の処理の一例を示すフローチャート。
【図８】第２及び第４の実施形態に係る撮影者移動判定部３０１の処理を説明するためのグラフ。
【図９】第３及び第４の実施形態に係る画像変形量演算部の構成を示すブロック図。
【図１０】第３の実施形態に係る画像変形部におけるあおりの補正について説明する図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１３】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る像振れ補正装置を備えた撮像装置の一例として、デジタルビデオカメラの構成を示すブロック図である。以下、図１の撮像装置１００の各構成部とその一例の動作について具体的に説明する。
【００１４】
角速度センサ１０２は、撮像装置１００の振れ（撮影光軸に垂直な平面上の２軸回りの振れ、及び光軸回りの振れ）を角速度信号として検出し、その角速度信号をＡ／Ｄ変換器１０３に供給する。このときの２軸は、撮像光学系の光軸（Ｚ軸とする）に垂直な２軸（Ｘ軸とＹ軸）とすると、この場合の角速度検出方向をＹＡＷ及びＰＩＴＣＨ方向であり、また光軸回りとはＲＯＬＬ方向であるとする。Ａ／Ｄ変換器１０３は、角速度センサ１０２からの角速度信号をそれぞれデジタル化して、角速度データとしてμＣＯＭ１０１内部の画像変形量演算部２００に供給する。
【００１５】
撮像光学系１０６は、ズーミング、フォーカシング等の動作を行い、被写体像を撮像素子１０７に結像する。ズームエンコーダ１０４は、撮像光学系１０６の中の変倍光学系１０５の位置（ズーム位置）を検出し、μＣＯＭ１０１内部の画像変形量演算部２００に出力する。
【００１６】
画像変形量演算部２００は、上記角速度データ及びズームエンコーダ１０４の出力を用いて、撮像画像の振れを補正するための画像変形量を算出し、画像変形部１１０に算出した画像変形量を設定する。画像変形量演算部２００の処理の詳細は後述する。
【００１７】
撮像素子１０７は、撮像光学系１０６によって結像された被写体像を撮像画像信号としての電気信号に変換し、信号処理部１０８に供給する。信号処理部１０８は、撮像素子１０７により得られた信号から、例えばＮＴＳＣフォーマットに準拠したビデオ信号（映像信号）を生成して画像メモリ１０９に供給する。
【００１８】
画像変形部１１０は、画像変形量演算部２００で算出された画像変形量に基づいて、画像メモリ１０９に格納された画像を変形することによって撮像画像の振れを補正し、記録制御部１１１及び表示制御部１１３に出力する。表示制御部１１３は、画像変形部１１０から供給された映像信号を出力して表示デバイス１１４に画像を表示させる。表示制御部１１３は表示デバイス１１４を駆動し、表示デバイス１１４は液晶表示素子（ＬＣＤ）等により画像を表示する。また、記録制御部１１１は、記録開始や終了の指示に用いる操作部（不図示）によって映像信号の記録が指示された場合、画像変形部１１０から供給された映像信号を記録媒体１１２に出力し、記録させる。記録媒体１１２は、半導体メモリ等の情報記録媒体やハードディスク等の磁気記録媒体である。
【００１９】
画像変形部１１０は、例えば射影変換等の幾何変換を用いて画像変形を行う。具体的には、変形前の画像（画像メモリ１０９に格納された画像）中の画素座標を（Ｘ０，Ｙ０）（ただし、撮像光学系１０６の光軸に対応した撮像画像の中心を原点とする）とし、変形後の画像（画像変形部１１０の出力画像）中の画素座標を（Ｘ１，Ｙ１）として、同次座標で表現すると、（式１）のように記述することができる。
【００２０】
【数１】
2014066766.tif 000003
【００２１】
（式１）の左辺と右辺は同値関係（左辺または右辺に任意の倍率をかけても意味が変わらない）を示し、通常の等号では（式２）（式３）となる。
【００２２】
【数２】
2014066766.tif 000004
【００２３】
また（式１）において、３×３の行列は一般的に射影変換行列と呼ばれ、行列の要素ｈ１〜ｈ８は、画像変形量演算部２００が設定する。なお、以下の説明では、画像変形部１１０の画像変形は、射影変換を用いることとして説明を行うが、例えばアフィン変換等、如何なる変形方法を用いても良い。
【００２４】
次に、画像変形量演算部２００によって行われる処理の詳細について説明する。画像変形量演算部２００では、角速度センサ１０２の出力から算出される撮像装置の振れ角度と、ズームエンコーダ１０４から算出される撮像光学系１０６の焦点距離とを用いて、画像変形部１１０の画像変形量を算出する。具体的には、（式１）の射影変換行列を算出する。
【００２５】
ここで、振れ角度と撮像光学系１０６の焦点距離を用いた射影変換行列の算出方法について、以下に説明する。図２（ａ）は、撮像装置による被写体の撮像面への投影を、ピンホールカメラモデルで図示したものである。図２（ａ）において、ＸＹＺ空間座標の原点（０，０，０）は、ピンホールカメラモデルにおけるピンホール位置である。撮像面は、ピンホール位置よりも後ろ側に配置すると、撮像面に投影される画像が倒立してしまうため、像が倒立せずに扱いやすいように、図２（ａ）では仮想的にピンホール位置よりも前に撮像面Ｉを配置している。
【００２６】
ＸＹＺ空間座標の原点（０，０，０）と撮像面ＩとのＺ軸方向の距離は、焦点距離ｆとなる。撮像面Ｉ上の座標は、ｕｖ平面座標として定義し、ｕｖ平面座標の原点（０，０）は、ＸＹＺ空間座標における（０，０，ｆ）と一致しているものとする。ｕｖ平面座標上の座標Ｐ（ｕ，ｖ）は、ＸＹＺ空間座標上の被写体Ａ（Ｘ，Ｙ，Ｚ）が、撮像面Ｉに投影されたときの座標である。このとき、座標Ｐは（式４）で表すことができる。
【００２７】
【数３】
2014066766.tif 000005
【００２８】
（式４）は、同次座標を用いると、（式５）で表すことができる。
【００２９】
【数４】
2014066766.tif 000006
【００３０】
（式５）の３×４の行列の４列目の要素は、本実施形態においては０のままとするので、（式５）は（式６）としても同じである。
【００３１】
【数５】
2014066766.tif 000007
【００３２】
図２（ｂ）は、図２（ａ）のピンホールカメラモデルを、Ｒ回転したときものである。図２（ｂ）においては、図２（ａ）のＸＹＺ空間座標をＲ回転した座標をＸ’Ｙ’Ｚ’空間座標としている。Ｘ’Ｙ’Ｚ’空間座標の原点（０，０，０）は、ＸＹＺ空間座標と一致しているものとする。つまり図２（ｂ）は、撮像装置に回転振れＲが生じ、シフト振れは生じていない状態を、ピンホールカメラモデルで単純化して表現しているものである。
【００３３】
図２（ｂ）のピンホールカメラモデルにおいて、撮像面Ｉ’は、図２（ａ）と同様、原点（０，０，０）からの距離が焦点距離ｆの位置に配置されている。撮像面Ｉ’上の座標は、ｕ’ｖ’平面座標として定義し、ｕ’ｖ’平面座標の原点（０，０）は、Ｘ’Ｙ’Ｚ’空間座標における（０，０，ｆ）と一致しているものとする。ｕ’ｖ’平面座標上の座標Ｐ’（ｕ’，ｖ’）は、Ｘ’Ｙ’Ｚ’空間座標上の被写体Ａ’（Ｘ’，Ｙ’，Ｚ’）が、撮像面Ｉ’に投影されたときの座標である。なお、図２（ａ）の被写体Ａと図２（ｂ）の被写体Ａ’の世界座標系での位置は、同じ位置である（すなわち、被写体が移動していない）ものとする。このとき座標Ｐ’は、同次座標を用いると、（式６）と同様に（式７）で表すことができる。
【００３４】
【数６】
2014066766.tif 000008
【００３５】
また、被写体Ａと被写体Ａ’の世界座標系での位置は同じであるため、両者の座標の関係は、（式８）で表すことができる。
【００３６】
【数７】
2014066766.tif 000009
【００３７】
更に、（式６）、（式７）を変形して（式８）に代入すると、（式９）を導出することができる。
【００３８】
【数８】
2014066766.tif 000010
【００３９】
（式９）は、ピンホールカメラがＲ回転する前後での、撮像面上での被写体像の位置の対応関係を示したものである。即ち、撮像装置にＲ回転の振れが加わったとき、撮像面上での画素がどこからどこへ移動するかを示す式となる。よって、像振れ補正を行うためには、撮像装置が振れたときの画素移動量を元に戻す変換を行えばよい。すなわち（式１０）に従って、撮像装置にＲ回転の振れが加わったことにより、移動してしまった画素位置を元に戻す変換を行えばよい。
【００４０】
【数９】
2014066766.tif 000011
【００４１】
よって、図１の撮像装置１００の振れをＲ、撮像光学系１０６の焦点距離をｆとし、画像振れ補正を行うための射影変換行列をＨとすると、Ｈは（式１１）となる。
【００４２】
【数１０】
2014066766.tif 000012
【００４３】
なお、撮像装置のＹＡＷ方向の角度振れ量をθy、ＰＩＴＣＨ方向の角度振れ量をθp、ＲＯＬＬ方向の角度振れ量をθrとすると、Ｒは（式１２）で表すことができる。
【００４４】
【数１１】
2014066766.tif 000013
【００４５】
（式１１）のＨは、（式１３）を用いることにより、並進ｔ→、拡大縮小ｓ(定数)、回転ｒ（行列）、せん断ｋ（行列）、あおりν→の各変形成分に分解することができる。
【００４６】
【数１２】
2014066766.tif 000014
【００４７】
ｔｘ  …  水平並進量
ｔｙ  …  垂直並進量
θ    …  回転角
ｖx    …  水平あおり量
ｖy    …  垂直あおり量
α    …  せん断の非等方倍率
φ    …  せん断の方向角
ただし、文章中でのｔ→、ν→は、それぞれ、式中の
【００４８】
【数１３】
2014066766.tif 000015
【００４９】
を表す。
【００５０】
（式１１）（式１２）（式１３）より、各変形成分に対する方程式を解くと、（式１４）〜（式２１）となる。
【００５１】
【数１４】
2014066766.tif 000016
【００５２】
ここで、撮像装置の振れ角度がγのとき、cosγ＝１、sinγtanγ＝０、sinγsinγ＝０と近似すると、（式１４）〜（式２１）は（式２２）〜（式２９）で表す式で近似することができる。
【００５３】
【数１５】
2014066766.tif 000017
【００５４】
以下、図３のブロック図を用いて、本実施形態における、画像変形量演算部２００の各構成部とその一例の動作について具体的に説明する。なお、本実施形態においては、画像変形部１１０で行う画像変形の各変形成分のうち、あおり、せん断、拡大縮小の成分は図３の構成には図示しないが、（式１７）乃至（式２１）あるいは（式２５）乃至（式２９）に従って各変形を行う構成にしてもよい。
【００５５】
図３のブロック図において、符号２０１から２０４までのブロックは、並進方向の像振れ（画像の水平垂直方向の像振れ）を補正するための補正量を算出するためのブロックである。符号２１１から２１３までのブロックは画像の回転を補正するための補正量を算出するためのブロックである。
【００５６】
まず、並進ブレの補正量を算出するための符号２０１から２０４までのブロックについて説明する。ＨＰＦ（ハイパスフィルタ）２０１には、前述したＡ／Ｄ変換器１０３からの出力のうち、ＹＡＷ方向またはＰＩＴＣＨ方向の角速度データが供給される。ＨＰＦ２０１は、任意の周波数帯域でその特性を変更し得る機能を有しており、角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。
【００５７】
積分器２０２は、任意の周波数帯域でその特性を変更し得る機能を有しており、ＨＰＦ２０１からの出力を積分し、焦点距離乗算部２０３に供給する。焦点距離演算部２３１は、前述したズームエンコーダ１０４の出力から、撮像光学系１０６の焦点距離を算出し、焦点距離乗算部２０３の演算に用いる焦点距離を算出する。焦点距離乗算部２０３は、積分器２０２の出力に、焦点距離演算部２３１によって算出された焦点距離ｆを乗算して、飽和防止制御部２０４に供給する。
【００５８】
飽和防止制御部２０４は、焦点距離乗算部２０３からの出力が所定値（以下、リミッタとする）以上とならないように、焦点距離乗算部２０３からの出力をリミットする制御を行う。また、飽和防止制御部２０４は、焦点距離乗算部２０３からの出力がリミッタに近づいたときに、ＨＰＦ２０１のカットオフ周波数を高域側に変更したり、積分器２０２の時定数を短くする等の制御を行う。飽和防止制御部２０４の出力は、最終的な並進補正量（並進補正量演算）となり、画像変形量合成部２３０に供給される。
【００５９】
次に、回転振れの補正量を算出する（回転補正量演算）ための符号２１１から２１３までのブロックについて説明する。ＨＰＦ２１１には、前述したＡ／Ｄ変換器１０３からの出力のうち、ＲＯＬＬ方向の角速度データが供給される。ＨＰＦ２１１は、任意の周波数帯域でその特性を変更し得る機能を有しており、角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。
【００６０】
積分器２１２は、任意の周波数帯域でその特性を変更し得る機能を有しており、ＨＰＦ２１１からの出力を積分し、飽和防止制御部２１３に供給する。飽和防止制御部２１３は、積分器２１２からの出力が所定のリミッタ以上とならないように、積分器２１２からの出力をリミットする制御を行う。また、飽和防止制御部２１３は、積分器２１２からの出力がリミッタに近づいたときに、ＨＰＦ２１１のカットオフ周波数を高域側に変更したり、積分器２１２の時定数を短くしたりする等の制御を行う。飽和防止制御部２１３の出力は、最終的な回転補正量となり、画像変形量合成部２３０に供給される。
【００６１】
画像変形量合成部２３０は、飽和防止制御部２０４、２１３から出力された、並進、回転、その他図示しないあおり等の補正量を合成する演算を行う。具体的には（式１３）に従って、（式１）の射影変換行列を算出する。画像変形量合成部２３０は、算出した射影変換行列の各要素の値を、画像変形部１１０へと出力する。画像変形部１１０では、画像変形量合成部２３０からの出力に基づいて、画像変形による像振れ補正が行われる。
【００６２】
図４（ａ）、４（ｂ）、４（ｃ）は、画像変形部１１０における回転の補正について説明するための図である。図４（ａ）は、撮像装置に振れが生じていないときの撮像画像を示している。図４（ｂ）は、撮像装置にＲＯＬＬ方向の振れが生じたときの撮像画像を示しており、画像変形部１１０では、画像変形量合成部２３０からの出力に基づいて、図４（ｂ）の点線部のように画像メモリ１０９からの画像読み出し範囲を回転させる。図４（ｃ）は、図４（ｂ）の点線部のように画像読み出し範囲を回転させて出力した出力画像を示しており、図４（ｂ）で傾いて撮像されていた被写体が元の形状に補正されている。ＲＯＬＬ方向の振れが正しく検出された場合は、図４（ｃ）に示すように画像の回転補正を行うことができる。
【００６３】
回転制御変更部３００は、Ａ／Ｄ変換器１０３のＹＡＷ方向あるいはＰＩＴＣＨ方向の出力に基づいて、ＨＰＦ２１１、積分器２１２、飽和防止制御部２１３の制御を変更する。以下、図５、図６を用いて、回転制御変更部３００の処理について説明する。
【００６４】
図５のフローチャートは、回転制御変更部３００の処理の一例を示したものである。図５のフローチャートの処理は、例えば６０Ｈｚ等の所定の周期で繰り返し実行される。
【００６５】
まず、Ｓ１００では、変数ＳＥＮＳＯＲ＿ＯＵＴ１を、Ａ／Ｄ変換器１０３のＹＡＷ方向あるいはＰＩＴＣＨ方向の出力に基づいて生成された信号とすると、ＳＥＮＳＯＲ＿ＯＵＴ１が閾値ＡＭＰ＿ＴＨ１より大きいかどうかの判定を行う。Ａ／Ｄ変換器１０３のＹＡＷ方向あるいはＰＩＴＣＨ方向の出力に基づいて生成された信号とは、Ａ／Ｄ変換器１０３の出力そのものであってもよいし、Ａ／Ｄ変換器１０３の出力に対して、種々のフィルタリング処理を行ったり、ゲイン等をかけた信号であってもよい。すなわちＡ／Ｄ変換器１０３の出力を元に生成された信号であれば、どのような信号を用いてもよい。Ｓ１００でＳＥＮＳＯＲ＿ＯＵＴ１がＡＭＰ＿ＴＨ１より大きいと判定された場合は、Ｓ１０１の処理へと進む。
【００６６】
Ｓ１０１では、カウンタＣＯＵＮＴＥＲ１の値をインクリメントし、Ｓ１０２の処理に進む。Ｓ１０２では、カウンタＣＯＵＮＴＥＲ１が閾値ＴＩＭＥ＿ＴＨ１より大きいかどうかの判定を行う。Ｓ１０２でＣＯＵＮＴＥＲ１がＴＩＭＥ＿ＴＨ１以下であると判定された場合は、図５の処理は終了となる。Ｓ１０２でＣＯＵＮＴＥＲ１がＴＩＭＥ＿ＴＨ１より大きいと判定された場合は、Ｓ１０３の処理に進む。Ｓ１０３の処理が行われるのは、ＹＡＷ方向或いはＰＩＴＣＨ方向に所定時間（ＴＩＭＥ＿ＴＨ１）以上、所定の大きさ（ＡＭＰ＿ＴＨ１）以上の振れが加えられたとき、即ち、撮像装置１００にパンニング或いはチルティング操作が行われた状態のときとなる。
【００６７】
Ｓ１０３では、回転補正量（ＲＯＬＬ方向の補正量）が小さくなるように制御する。ＨＰＦ２１１のカットオフ周波数を高くする、積分器２１２の時定数を短くする、および飽和防止制御部２１３のリミッタを狭くする等の制御を行うことにより、回転補正量を制限するなどの制御を行う。なお、上記ＨＰＦ２１１、積分器２１２、飽和防止制御部２１３の３種類の制御は、いずれか１種類のみ行うようにしてもよいし、複数種類の制御を組み合わせて行うようにしてもよい。また、上記３種類の制御に限らず、回転補正量が小さくなるように制御する方法であれば、他の方法を用いてもよい。例えば、回転の補正量がゼロに近づくような信号を、強制的に入力するような構成にしてもよい。また、飽和防止制御部２１３への入力値がある閾値を超えたときに、ＨＰＦ２１１のカットオフ周波数を高くし、積分器２１２の時定数を短くする構成とし、当該閾値を小さくすることにより、回転補正量を制限するようにしてもよい。Ｓ１０３の処理の後、図５の処理は終了となる。  Ｓ１００において、ＳＥＮＳＯＲ＿ＯＵＴ１がＡＭＰ＿ＴＨ１以下であると判定された場合は、Ｓ１０４の処理へと進む。Ｓ１０４では、Ｓ１０１でインクリメントするカウンタＣＯＵＮＴＥＲ１の値をクリアし、Ｓ１０５に進む。
【００６８】
Ｓ１０５では、Ｓ１０３で変更したＨＰＦ２１１のカットオフ周波数、又は積分器２１２の時定数、又は飽和防止制御部２１３のリミッタを元に戻す処理を行う。また、その他回転の補正量を制限するための制御を行った場合はそれを解除する。Ｓ１０５の後、図５の処理は終了となる。
【００６９】
図６は、回転制御変更部３００が図５の処理を行ったときの、回転補正量の演算に与える効果を説明するためのグラフである。図６は、時間０からＴ０の期間、固定被写体（動きのない被写体）の撮影が行われ、次に時間Ｔ０からＴ２までパンニング等の大きな動きが撮像装置に加わる撮影が行われ、その後また固定被写体の撮影に戻ったときの各種信号の変化を示している。
【００７０】
図６（ａ）は、上記Ａ／Ｄ変換器１０３のＹＡＷ方向あるいはＰＩＴＣＨ方向の出力に基づいて生成された信号であるＳＥＮＳＯＲ＿ＯＵＴ１の、時間による変化を示したグラフである。ＳＥＮＳＯＲ＿ＯＵＴ１は、撮像装置に大きな動きが加えられる時間帯であるＴ０からＴ２の間に出力が大きくなり、それ以外の時間ではＹＡＷ方向あるいはＰＩＴＣＨ方向の手振れが検出されている様子を示している。
【００７１】
図６（ｂ）は、Ａ／Ｄ変換器１０３のＲＯＬＬ方向の出力をＳＥＮＳＯＲ＿ＯＵＴ２として、ＳＥＮＳＯＲ＿ＯＵＴ２の時間による変化を示したグラフである。図６（ｂ）は、ＹＡＷ方向あるいはＰＩＴＣＨ方向に対して撮像装置に大きな動きが加えられる時間Ｔ０からＴ２の間に、ＲＯＬＬ方向への動きが発生していないにもかかわらず、角速度センサの検出軸のズレがあった場合にそのずれによって、出力が生じている様子を示している。Ｔ０からＴ２以外の時間ではＲＯＬＬ方向の手振れのみが検出されている。
【００７２】
図６（ｃ）は、回転制御変更部３００による、図５のフローチャートの処理が行われなかったと仮定したときの飽和防止制御部２１３の出力信号をＣＡＬＣ＿ＯＵＴ１として、ＣＡＬＣ＿ＯＵＴ１の時間による変化を示したグラフである。図６（ｃ）は、図６（ｂ）のグラフにおいて、時間Ｔ０からＴ２の間に角速度センサの検出軸のズレによって発生した出力が、ＨＰＦ２１１及び積分器２１２の時定数によって減衰しきれずに、積分されてる様子を示している。
【００７３】
図４（ｄ）（ｅ）は、図６（ｃ）の信号に基づいて、画像変形部１１０で回転の補正を行ったと仮定したときの画像について説明するための図である。図４（ｄ）では、撮像装置にＲＯＬＬ方向の振れが生じていないにも関わらず、撮像画像に対して、図６（ｃ）の信号に基づいて図４（ｄ）の点線部のように画像メモリ１０９からの画像読み出し範囲を回転させている。図４（ｅ）は、図４（ｄ）の点線部のように画像読み出し範囲を回転させて出力した出力画像を示しており、図４（ｄ）で傾いていなかった被写体が傾いて出力されている。
【００７４】
図６（ｄ）は、回転制御変更部３００による、図５のフローチャートの処理が行われたときの飽和防止制御部２１３の出力信号をＣＡＬＣ＿ＯＵＴ２として、ＣＡＬＣ＿ＯＵＴ２の時間による変化を示したグラフである。図６（ａ）において、図５のＳ１００の判定がＹｅｓになるのは、ＳＥＮＳＯＲ＿ＯＵＴ１の値がＡＭＰ＿ＴＨ１よりも大きくなる、時間Ｔ０のタイミングである。更に、Ｓ１０２の判定がＹｅｓになるのは、ＣＯＵＮＴＥＲ１がＴＩＭＥ＿ＴＨ１よりも大きくなる、時間Ｔ１のタイミングとなる。よって、Ｓ１０３の処理は、時間Ｔ１から、Ｓ１００の判定がＮｏに変わる時間Ｔ２までの期間に実行される。Ｓ１０３の処理において、ＨＰＦ２１１のカットオフ周波数を高くすると、低周波数帯域の減衰率が大きくなるため、図６（ｂ）の検出軸のズレによって発生した出力を減衰することができる。また、積分器２１２の時定数を短くすると、積分器２１２の出力がゼロに収束する速度が速くなるので、図６（ｂ）の検出軸のズレによって発生した出力を減衰することができる。飽和防止制御部２１３のリミッタを狭くすると、積分器２１２の出力がリミッタに到達する時間が速くなり、ＨＰＦ２１１のカットオフ周波数が高くなりやすく、積分器２１２の時定数が短くなりやすくなる。その結果、図６（ｂ）の検出軸のズレによって発生した出力を減衰することができる。これによって、図６（ｃ）で時間Ｔ０から大きくなり続けていた飽和防止制御部２１３の出力を、図６（ｄ）に示すように減衰することができる。そして、図６（ｄ）の信号に基づいて画像変形部１１０で回転の補正を行うことにより、図４（ｅ）のように、撮像装置がＲＯＬＬ方向に動いていないのにも関わらず、撮像画像の回転補正を行ってしまう現象を防止することができる。
【００７５】
以上説明してきたように、本発明の第１の実施形態においては、撮像装置１００に対してＹＡＷあるいはＰＩＴＣＨ方向にパンニング等の大きな動きが発生した場合、ＲＯＬＬ方向の角速度センサの出力に基づいた補正量の演算を制限することとした。これによって、角速度センサの検出軸のズレによって発生するＲＯＬＬ方向の信号の影響を最小限に抑え、良好な像振れ補正効果を得ることができる。
【００７６】
なお、本実施形態においては、回転の補正方法として、画像変形によるものを例にとって説明したが、撮像素子を機械的に回転する方法を用いてもよい。
【００７７】
（第２の実施形態）
本発明の第２の実施形態に係る撮像装置について、以下に説明する。本実施形態において、撮像装置の構成は図１と同様であり、画像変形量演算部２００の内部構成が異なるものであるため、図１の説明は省略する。また、本実施形態における画像変形量演算部２００が、第１の実施形態と異なる点は、図３に示した第１の実施形態の構成に、図３に破線で示した撮影者移動判定部３０１が追加されている点である。
【００７８】
撮影者移動判定部３０１は、Ａ／Ｄ変換器１０３のＹＡＷ方向あるいはＰＩＴＣＨ方向あるいはＲＯＬＬ方向の出力に基づいて生成された信号から、撮像装置１００が撮影者が歩く等の移動をしながら撮影を行っているかどうかの判定を行う。撮影者移動判定部３０１は、撮影者が移動しながら撮影を行っていると判定したとき、回転制御変更部３００で行われる処理の変更を行う。
【００７９】
図７のフローチャートは、撮影者移動判定部３０１の処理の一例を示したものである。図７のフローチャートの処理は、例えば６０Ｈｚ等の所定の周期で繰り返し実行される。
【００８０】
図７の処理の概要としては、Ａ／Ｄ変換器１０３の出力に基づいて生成された信号が、所定期間中に所定の振幅を超えてプラス方向とマイナス方向に所定回数振れたときに、撮影者が移動していると判定し、回転制御変更部３００の処理を変更するものである。言い換えると、撮影者移動判定部３０１は、角速度センサ１０２の出力に基づいた信号の変化が、予め定めた周波数及び振幅より大きいと判定されたときに、撮影者が移動していると判定し、回転制御変更部３００の処理を変更する。以下、図７の処理について説明する。
【００８１】
まず、Ｓ２００では、カウンタＣＯＵＮＴＥＲ２の値をインクリメントし、Ｓ２０１の処理に進む。Ｓ２０１では、フラグＳＩＧＮ＿ＦＬＡＧが０かどうかの判定を行う。Ｓ２０１で、ＳＩＧＮ＿ＦＬＡＧが０のときはＳ２０２の処理に進み、ＳＩＧＮ＿ＦＬＡＧが１のときはＳ２０６の処理に進む。
【００８２】
Ｓ２０２では、変数ＳＥＮＳＯＲ＿ＯＵＴ３を、Ａ／Ｄ変換器１０３のＹＡＷ方向あるいはＰＩＴＣＨ方向あるいはＲＯＬＬ方向の出力に基づいて生成された信号とすると、ＳＥＮＳＯＲ＿ＯＵＴ３が閾値ＡＭＰ＿ＴＨ２より大きいかどうかの判定を行う。Ａ／Ｄ変換器１０３のＹＡＷ方向あるいはＰＩＴＣＨ方向あるいはＲＯＬＬ方向の出力に基づいて生成された信号とは、Ａ／Ｄ変換器１０３の出力そのものであってもよいし、Ａ／Ｄ変換器１０３の出力に対して、種々のフィルタリング処理を行ったり、ゲイン等をかけた信号であってもよい。すなわち、Ａ／Ｄ変換器１０３の出力を元に生成された信号であれば、どのような信号を用いてもよい。Ｓ２０２でＳＥＮＳＯＲ＿ＯＵＴ３がＡＭＰ＿ＴＨ２より大きいと判定された場合は、Ｓ２０３の処理に進み、ＳＥＮＳＯＲ＿ＯＵＴ３がＡＭＰ＿ＴＨ２以下であると判定された場合は、Ｓ２１０の処理に進む。
【００８３】
Ｓ２０３では、上記ＳＥＮＳＯＲ＿ＯＵＴ２の振幅が、閾値ＡＭＰ＿ＴＨ２を超えた回数をカウントするための変数ＯＶＥＲ＿ＣＯＵＮＴをインクリメントし、Ｓ２０４に進む。Ｓ２０４ではフラグＳＩＧＮ＿ＦＬＡＧの値を１に変更し、次に図７の処理が行われるときは、Ｓ２０１でＮｏと判定されるようにする。Ｓ２０５ではＳ２００でインクリメントしたカウンタＣＯＵＮＴＥＲ２の値をクリアし、Ｓ２１０の処理に移る。
【００８４】
Ｓ２０６では、上記ＳＥＮＳＯＲ＿ＯＵＴ３が閾値（０−ＡＭＰ＿ＴＨ２）より小さいかどうかの判定を行う。Ｓ２０６でＳＥＮＳＯＲ＿ＯＵＴ３が（０−ＡＭＰ＿ＴＨ２）より小さいと判定された場合は、Ｓ２０７の処理に進み、ＳＥＮＳＯＲ＿ＯＵＴ３が（０−ＡＭＰ＿ＴＨ２）以上であると判定された場合は、Ｓ２１０の処理に進む。
【００８５】
Ｓ２０７では、Ｓ２０３と同様に上記変数ＯＶＥＲ＿ＣＯＵＮＴをインクリメントし、Ｓ２０８に進む。Ｓ２０８ではフラグＳＩＧＮ＿ＦＬＡＧの値を０に変更し、次に図７の処理が行われるときは、Ｓ２０１で再びＹｅｓと判定されるようにする。Ｓ２０９は、Ｓ２０５と同様にＳ２００でインクリメントしたカウンタＣＯＵＮＴＥＲ２の値をクリアし、Ｓ２１０の処理に移る。
【００８６】
Ｓ２１０では、Ｓ２００でインクリメントしたカウンタＣＯＵＮＴＥＲ２が、閾値ＴＩＭＥ＿ＴＨ２以上かどうかの判定を行う。Ｓ２１０で、ＣＯＵＮＴＥＲ２がＴＩＭＥ＿ＴＨ２以上であると判定された場合はＳ２１４に進み、ＣＯＵＮＴＥＲ２がＴＩＭＥ＿ＴＨ２より小さいと判定された場合はＳ２１１に進む。Ｓ２１１では、上記ＯＶＥＲ＿ＣＯＵＮＴの値が閾値ＣＯＵＮＴ＿ＴＨ以上かどうかの判定を行う。Ｓ２１１で、ＯＶＥＲ＿ＣＯＵＮＴがＣＯＵＮＴ＿ＴＨ以上の場合は、Ｓ２１２の処理に進み、ＯＶＥＲ＿ＣＯＵＮＴの値がＣＯＵＮＴ＿ＴＨより小さい場合は、Ｓ２１６の処理に進む。Ｓ２１２では、ＯＶＥＲ＿ＣＯＵＮＴがオーバーフローしないように、ＯＶＥＲ＿ＣＯＵＮＴの値をＣＯＵＮＴ＿ＴＨにリミットし、Ｓ２１３の処理に進む。
【００８７】
Ｓ２１３の処理が行われる場合は、ＣＯＵＮＴＥＲ２がＴＩＭＥ＿ＴＨ２に達する前に、Ｓ２０３及びＳ２０７でＯＶＥＲ＿ＣＯＵＮＴの値がインクリメントされ、ＣＯＵＮＴ＿ＴＨに達したときである。すなわち、ＳＥＮＳＯＲ＿ＯＵＴ３の出力が、プラスマイナス方向にＡＭＰ＿ＴＨ２より大きい振幅でＯＶＥＲ＿ＣＯＵＮＴ回数以上振れたとき（所定期間内で閾値より大きい振幅で所定回数以上振れたとき）である。このとき、撮像装置は撮影者が移動しながら（たとえば歩きながら）撮影されているものと判断する。
【００８８】
Ｓ２１３では、回転制御変更部３００が行う図５のＳ１０３の処理を禁止又は限定する。Ｓ１０３の処理を禁止するとは、Ｓ１０３で行うＨＰＦ２１１のカットオフ周波数変更、積分器２１２の時定数変更、飽和防止制御部２１３のリミッタ変更を元に戻すことをいう。また、その他回転の補正量を制限するための制御を行っていた場合はそれを解除する。Ｓ１０３の処理を限定するとは、ＨＰＦ２１１のカットオフ周波数を高くする量や、積分器２１２の時定数を短くする量、飽和防止制御２１３のリミッタを狭くする量を小さくすることをいう。また、例えばＨＰＦ２１１のカットオフ周波数変更と積分器２１２の時定数変更を行っていた場合に、一方の変更を行わないというように、Ｓ１０３における複数の回転補正量の制限のうち、いくつかを禁止するという構成にしてもよい。Ｓ２１３の後は、図７の処理は終了となる。
【００８９】
Ｓ２１４の処理が行われる場合は、ＣＯＵＮＴＥＲ２がＳ２０５あるいはＳ２０９でクリアされずにＴＩＭＥ＿ＴＨ２に達したときである。すなわち、ＳＥＮＳＯＲ＿ＯＵＴ３の出力が、ＡＭＰ＿ＴＨ２以下の振幅で推移し続けたときである。このとき、撮像装置は撮影者が移動していない状態（立ち止まったり座っている状態）で撮影されているものと判断する。Ｓ２１４では、ＣＯＵＮＴＥＲ２がオーバーフローしないように、ＣＯＵＮＴＥＲ２の値をＴＩＭＥ＿ＴＨ２にリミットし、Ｓ２１５の処理に進む。Ｓ２１５ではＯＶＥＲ＿ＣＯＵＮＴの値をクリアしＳ２１６に進む。
【００９０】
Ｓ２１６の処理は、Ｓ２１４、Ｓ２１５を経由する場合、ＯＶＥＲ＿ＣＯＵＮＴが、まだ撮影者が移動しながら撮影されているかどうかの判定のための閾値であるＣＯＵＮＴ＿ＴＨに達していない場合に実行される。Ｓ２１６では、回転制御変更部３００が行う図５のＳ１０３の処理の実行を許可する。すなわち、Ｓ２１３における、Ｓ１０３の処理を禁止又は限定する処理を解除し、回転制御変更部３００が図５のフローチャートに従って動作する状態に戻す。Ｓ２１６の後は、図７の処理は終了となる。
【００９１】
図８は、撮影者移動判定部３０１の処理を説明するためのグラフである。図８は、時間０からＴ１０の期間、撮影者が静止した状態で固定被写体の撮影が行われ、時間Ｔ１０から、撮影者が歩きながら撮影が行われたときの各種信号の変化を示している。
【００９２】
図８（ａ）は、上記Ａ／Ｄ変換器１０３のＹＡＷ方向あるいはＰＩＴＣＨ方向あるいはＲＯＬＬ方向の出力に基づいて生成された信号であるＳＥＮＳＯＲ＿ＯＵＴ３の、時間による変化を示したグラフである。ＳＥＮＳＯＲ＿ＯＵＴ３は、Ｔ１０から歩行時の振動により出力が大きくなり、Ｔ１０より前の時間では比較的小さい静止時の手振れが検出されている様子を示している。
【００９３】
図７のフローチャートにおいて、ＣＯＵＮＴ＿ＴＨ＝２とすると、ＳＥＮＳＯＲ＿ＯＵＴ３の出力の大きさが、プラス方向とマイナス方向でＡＭＰ＿ＴＨ２を超えたＴ１１から、撮影者移動判定部３０１によって、撮影者が移動しながら撮影されているという判定が行われる。
【００９４】
図８（ｂ）は、Ａ／Ｄ変換器１０３のＲＯＬＬ方向の出力をＳＥＮＳＯＲ＿ＯＵＴ２として、ＳＥＮＳＯＲ＿ＯＵＴ２の時間による変化を示したグラフである。撮影者が移動して撮影を行う場合、角速度センサ１０２の出力は、ＹＡＷ方向、ＰＩＴＣＨ方向、ＲＯＬＬ方向全てにおいて出力が大きくなる。よって、図５の処理において、Ｓ１０３の処理が行われる頻度が高くなる。第１の実施形態で説明したように、検出軸のズレによってＳＥＮＳＯＲ＿ＯＵＴ２に重畳される、ＹＡＷ方向あるいはＰＩＴＣＨ方向の振れによる出力成分が大きくなる影響を軽減するためである。
【００９５】
しかし一方で、Ａ／Ｄ変換器１０３のＲＯＬＬ方向の出力であるＳＥＮＳＯＲ＿ＯＵＴ２自体の信号も、図９（ｂ）に示すように、撮影者が歩き始めるＴ１０から大きくなる。その状態で、Ｓ１０３の処理に従って、画像の回転補正量を制限してしまうと、歩行時のＲＯＬＬ方向の振れの補正効果が弱くなり、却って見づらい映像となってしまう。そこで、撮影者移動判定部３０１によるＳ２１３の処理において、Ｓ１０３の処理の実行を禁止あるいは限定することによって、これを回避している。
【００９６】
以上説明してきたように、本発明の第２の実施形態においては、撮像装置１００に対してＹＡＷあるいはＰＩＴＣＨ方向にパンニング等の大きな動きが発生した場合、ＲＯＬＬ方向の角速度センサの出力に基づいた補正量の演算を制限する第１の実施形態に対し、更に以下の処理を追加した。すなわち、角速度センサの出力から、撮影者が歩く等の移動をしながら撮影が行われているかどうかの判定を行い、移動しながらの撮影という判定が行われているときは、ＲＯＬＬ方向に発生している振れの補正を優先して行うようにした。これによって、撮影者が移動する際の大きな振れによって発生する撮像画像の振れに対しても、良好な像振れ補正効果を得ることができる。
【００９７】
なお、本第２の実施形態においては、回転の補正方法として、画像変形によるものを例にとって説明したが、撮像素子を機械的に回転する方法を用いてもよい。
【００９８】
（第３の実施形態）
本発明の第３の実施形態に係る撮像装置について、以下に説明する。本実施形態において、撮像装置の構成は図１と同様であり、画像変形量演算部２００の内部構成が異なるものであるため、図１の説明は省略する。
【００９９】
以下、図９のブロック図を用いて、本実施形態における、画像変形量演算部２００の各構成部とその一例の動作について具体的に説明する。なお、図９において、図３と同様の構成には、同じ符号を付し、説明は省略する。また、本実施形態においては、画像変形部１１０で行う画像変形の各変形成分のうち、並進、回転、せん断、拡大縮小の成分は必須でないため、図１０の構成には図示しないが、（式１６）、（式１９）乃至（式２１）あるいは（式２４）、（式２７）乃至（式２９）に従って各変形を行う構成にしてもよい。
【０１００】
図９のブロック図において、符号２２０から２２３までのブロックは、撮像装置へのＹＡＷ方向の振れによって生じる、水平方向のあおりを補正するための補正量を算出するためのブロック（あおり補正量演算部）である。符号２２４から２２７までのブロックは、撮像装置へのＰＩＴＣＨ方向の振れによって生じる、垂直方向のあおりを補正するための補正量を算出するためのブロック（あおり補正量演算部）である。
【０１０１】
まず、水平方向のあおりの補正量を算出するための符号２２０から２２３までのブロックについて説明を行う。ＨＰＦ２２０には、Ａ／Ｄ変換器１０３からの出力のうち、ＹＡＷ方向の角速度データが供給される。ＨＰＦ２２０は、任意の周波数帯域でその特性を変更し得る（可変）機能を有しており、角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。
【０１０２】
積分器２２１は、任意の周波数帯域でその特性を変更し得る機能を有しており、ＨＰＦ２２０からの出力を積分し、焦点距離除算部２２２に供給する。焦点距離除算部２２２は、積分器２２１の出力を、焦点距離演算部２３１によって算出された焦点距離ｆで除算して、飽和防止制御部２２３に供給する。積分器２２１の出力を焦点距離ｆで除算する理由は（式２５）による。
【０１０３】
飽和防止制御部２２３は、焦点距離除算部２２２からの出力（演算値）がリミッタ（限界値）以上とならないように、焦点距離除算部２２２からの出力をリミットする制御を行う。また、飽和防止制御部２２３は、焦点距離除算部２２２からの出力がリミッタに近づいたときに、ＨＰＦ２２０のカットオフ周波数を高域側に変更したり、積分器２２１の時定数を短くする等の制御を行う。飽和防止制御部２２３の出力は、最終的な水平方向のあおり補正量となり、画像変形量合成部２３０に供給される。
【０１０４】
次に、垂直方向のあおりの補正量を算出するための符号２２４から２２７までのブロックについて説明を行う。ＨＰＦ２２４には、Ａ／Ｄ変換器１０３からの出力のうち、ＰＩＴＣＨ方向の角速度データが供給される。ＨＰＦ２２４は、任意の周波数帯域でその特性を変更し得る機能を有しており、角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。
【０１０５】
積分器２２５は、任意の周波数帯域でその特性を変更し得る機能を有しており、ＨＰＦ２２４からの出力を積分し、焦点距離除算部２２６に供給する。焦点距離除算部２２６は、積分器２２５の出力を、焦点距離演算部２３１によって算出された焦点距離ｆで除算して、飽和防止制御部２２７に供給する。積分器２２５の出力を焦点距離ｆで除算する理由は（式２６）による。
【０１０６】
飽和防止制御部２２７は、焦点距離除算部２２６からの出力がリミッタ以上とならないように、焦点距離除算部２２６からの出力をリミットする制御を行う。また、飽和防止制御部２２７は、焦点距離除算部２２６からの出力がリミッタに近づいたときに、ＨＰＦ２２４のカットオフ周波数を高域側に変更したり、積分器２２５の時定数を短くする等の制御を行う。飽和防止制御部２２７の出力は、最終的な垂直方向のあおり補正量となり、画像変形量合成部２３０に供給される。
【０１０７】
画像変形量合成部２３０は、飽和防止制御部２２３、２２７から出力された、水平および垂直方向のあおり、その他図示しない並進、回転等の補正量を合成する演算を行う。具体的には（式１３）に従って、（式１）の射影変換行列を算出する。画像変形量合成部２３０は、算出した射影変換行列の各要素の値を、画像変形部１１０へと出力する。画像変形部１１０では、画像変形量合成部２３０からの出力に基づいて、画像変形による像振れ補正が行われる。
【０１０８】
図１０（ａ）、１０（ｂ）、１０（ｃ）は、画像変形部１１０における幾何変換処理による垂直方向のあおりの補正について説明するための図である。図１０（ａ）は、撮像装置に振れが生じていないときの撮像画像を示している。図１０（ｂ）は、撮像装置にＰＩＴＣＨ方向の振れが生じ、垂直方向のあおりの変形が生じたときの撮像画像を示している。画像変形部１１０では、画像変形量合成部２３０からの出力に基づいて、図１０（ｂ）の点線部のように画像メモリ１０９からの画像読み出し範囲を台形状の範囲とする。図１０（ｃ）は、図１０（ｂ）の点線部のように画像読み出し範囲を台形状として出力した出力画像を示しており、図１０（ｂ）で台形状に歪んで撮像されていた被写体が元の形状に補正されている。角速度センサ１０２により振れが正しく検出された場合は、図１０（ｃ）に示すように画像のあおり補正を行うことができる。
【０１０９】
あおり制御変更部３０２は、Ａ／Ｄ変換器１０３のＹＡＷ方向あるいはＰＩＴＣＨ方向の出力に基づいて、ＨＰＦ２２０、積分器２２１、飽和防止制御部２２３、ＨＰＦ２２４、積分器２２５、飽和防止制御部２２７の制御を変更する。以下、図５、図６を用いて、あおり制御変更部３０２の処理について説明する。なお、図５、図６は、第１の実施形態においては、回転制御変更部３００の処理として説明を行ったが、回転制御変更部３００とあおり制御変更部３０２では、処理する信号が異なり、処理のステップは同様である。よって、本実施形態においては、図５、図６を、あおり制御変更部３０２が行う処理として説明する。また、以下の説明においては、ＹＡＷ方向の振れ信号に基づいて、ＰＩＴＣＨ方向の振れ信号に対する処理を変更する場合について説明を行う。なお、ＰＩＴＣＨ方向の振れ信号に基づいて、ＹＡＷ方向の振れ信号に対する処理を変更する場合は、同様であるため説明は省略する。
【０１１０】
図５のフローチャートは、あおり制御変更部３０２の処理の一例を示したものである。図５のフローチャートの処理は、例えば６０Ｈｚ等の所定の周期で繰り返し実行される。
【０１１１】
まず、Ｓ１００では、変数ＳＥＮＳＯＲ＿ＯＵＴ１を、Ａ／Ｄ変換器１０３のＹＡＷ方向の出力に基づいて生成された信号とすると、ＳＥＮＳＯＲ＿ＯＵＴ１が閾値ＡＭＰ＿ＴＨ１より大きいかどうかの判定を行う。Ａ／Ｄ変換器１０３のＹＡＷ方向の出力に基づいて生成された信号とは、Ａ／Ｄ変換器１０３の出力そのものであってもよいし、Ａ／Ｄ変換器１０３の出力に対して、種々のフィルタリング処理を行ったり、ゲイン等をかけた信号であってもよい。すなわちＡ／Ｄ変換器１０３の出力を元に生成された信号であれば、どのような信号を用いてもよい。Ｓ１００でＳＥＮＳＯＲ＿ＯＵＴ１がＡＭＰ＿ＴＨ１より大きいと判定された場合は、Ｓ１０１の処理へと進む。
【０１１２】
Ｓ１０１では、カウンタＣＯＵＮＴＥＲ１の値をインクリメントし、Ｓ１０２の処理に進む。Ｓ１０２では、カウンタＣＯＵＮＴＥＲ１が閾値ＴＩＭＥ＿ＴＨ１より大きいかどうかの判定を行う。Ｓ１０２でＣＯＵＮＴＥＲ１がＴＩＭＥ＿ＴＨ１以下であると判定された場合は、図５の処理は終了となる。Ｓ１０２でＣＯＵＮＴＥＲ１がＴＩＭＥ＿ＴＨ１より大きいと判定された場合は、Ｓ１０３の処理に進む。Ｓ１０３の処理が行われるのは、ＹＡＷ方向に所定時間（ＴＩＭＥ＿ＴＨ１）以上、所定の大きさ（ＡＭＰ＿ＴＨ１）以上の振れが加えられたとき（振れが所定の閾値より大きい時間が、所定時間以上継続したとき）、即ち、撮像装置１００にパンニング操作が行われた状態のときとなる。
【０１１３】
Ｓ１０３では、あおりの補正量が小さくなるように制御する。ＨＰＦ（高域通過フィルタ）２２４のカットオフ周波数（遮断周波数）を高くする、積分器２２５の時定数を短くする、飽和防止制御部２２７のリミッタを狭くする等の制御を行う。なお、上記ＨＰＦ２２４、積分器２２５、飽和防止制御部２２７の３種類の制御は、いずれか１種類のみ行うようにしてもよいし、複数種類の制御を組み合わせて行うようにしてもよい。また、上記３種類の制御に限らず、あおりの補正量が小さくなるように制御する方法であれば、他の方法を用いてもよい。例えば、あおりの補正量がゼロに近づくような信号を、強制的に入力するような構成にしてもよい。また、飽和防止制御部２２７への入力値がある閾値を超えたときに、ＨＰＦ２２４のカットオフ周波数を高くし、積分器２２５の時定数を短くする構成とし、当該閾値を小さくすることにより、あおりの補正量を制限するようにしてもよい。Ｓ１０３の処理の後、図５の処理は終了となる。
【０１１４】
Ｓ１００において、ＳＥＮＳＯＲ＿ＯＵＴ１がＡＭＰ＿ＴＨ１以下であると判定された場合は、Ｓ１０４の処理へと進む。Ｓ１０４では、Ｓ１０１でインクリメントするカウンタＣＯＵＮＴＥＲ１の値をクリアし、Ｓ１０５に進む。
【０１１５】
Ｓ１０５では、Ｓ１０３で変更したＨＰＦ２２４のカットオフ周波数、又は積分器２２５の時定数、又は飽和防止制御部２２７のリミッタを元に戻す処理を行う。また、その他回転の補正量を制限するための制御を行った場合はそれを解除する。Ｓ１０５の後、図５の処理は終了となる。
【０１１６】
図６は、あおり制御変更部３０２が図５の処理を行ったときの、垂直方向のあおり補正量の演算に与える効果を説明するためのグラフである。図６は、時間０からＴ０の期間、固定被写体の撮影が行われ、次に時間Ｔ０からＴ２までパンニング等の大きな動きが撮像装置に加わる撮影が行われ、その後また固定被写体の撮影に戻ったときの各種信号の変化を示している。
【０１１７】
図６（ａ）は、上記Ａ／Ｄ変換器１０３のＹＡＷ方向の出力に基づいて生成された信号であるＳＥＮＳＯＲ＿ＯＵＴ１の、時間による変化を示したグラフである。ＳＥＮＳＯＲ＿ＯＵＴ１は、撮像装置に大きな動きが加えられる時間帯であるＴ０からＴ２の間に出力が大きくなり、それ以外の時間ではＹＡＷ方向の手振れが検出されている様子を示している。
【０１１８】
図６（ｂ）は、Ａ／Ｄ変換器１０３のＰＩＴＣＨ方向の出力をＳＥＮＳＯＲ＿ＯＵＴ２として、ＳＥＮＳＯＲ＿ＯＵＴ２の時間による変化を示したグラフである。図６（ｂ）は、ＹＡＷ方向に対して撮像装置に大きな動きが加えられる時間Ｔ０からＴ２の間に、ＰＩＴＣＨ方向への動きが発生していないにもかかわらず、角速度センサの検出軸のズレによって、出力が生じている様子を示している。Ｔ０からＴ２以外の時間ではＰＩＴＣＨ方向の手振れが検出されている。
【０１１９】
図６（ｃ）は、あおり制御変更部３０２による、図５のフローチャートの処理が行われなかったと仮定したときの飽和防止制御部２２７の出力信号をＣＡＬＣ＿ＯＵＴ１として、ＣＡＬＣ＿ＯＵＴ１の時間による変化を示したグラフである。図６（ｃ）は、図６（ｂ）のグラフにおいて、時間Ｔ０からＴ２の間に角速度センサの検出軸のズレによって発生した出力が、ＨＰＦ２２４及び積分器２２５の時定数によって減衰しきれずに、積分されている様子を示している。
【０１２０】
図１０（ｄ）、１０（ｅ）は、図６（ｃ）の信号に基づいて、画像変形部１１０で垂直方向のあおりの補正を行ったと仮定したときの画像について説明するための図である。図１０（ｄ）では、撮像装置にＰＩＴＣＨ方向の振れが生じていないにも関わらず、撮像画像に対して、図６（ｃ）の信号に基づいて図１０（ｄ）の点線部のように画像メモリ１０９からの画像読み出し範囲を台形状に変更している。図１０（ｅ）は、図１０（ｄ）の点線部のように画像読み出し範囲を台形状に変更させて出力した出力画像を示しており、図１０（ｄ）で台形状に変形していなかった被写体が台形状に変形して出力されている。
【０１２１】
図６（ｄ）は、あおり制御変更部３０２による、図５のフローチャートの処理が行われたときの飽和防止制御部２２７の出力信号をＣＡＬＣ＿ＯＵＴ２として、ＣＡＬＣ＿ＯＵＴ２の時間による変化を示したグラフである。図６（ａ）において、図５のＳ１００の判定がＹｅｓになるのは、ＳＥＮＳＯＲ＿ＯＵＴ１の値がＡＭＰ＿ＴＨ１よりも大きくなる、時間Ｔ０のタイミングである。更に、Ｓ１０２の判定がＹｅｓになるのは、ＣＯＵＮＴＥＲ１がＴＩＭＥ＿ＴＨ１よりも大きくなる、時間Ｔ１のタイミングとなる。よって、Ｓ１０３の処理は、時間Ｔ１から、Ｓ１００の判定がＮｏに変わる時間Ｔ２までの期間に実行される。Ｓ１０３の処理において、ＨＰＦ２２４のカットオフ周波数を高くすると、低周波数帯域の減衰率が大きくなるため、図６（ｂ）の検出軸のズレによって発生した出力を減衰することができる。また、積分器２２５の時定数を短くすると、積分器２２５の出力がゼロに収束する速度が速くなるので、図６（ｂ）の検出軸のズレによって発生した出力を減衰することができる。飽和防止制御部２２７のリミッタを狭くすると、積分器２２５の出力がリミッタに到達する時間が速くなり、ＨＰＦ２２４のカットオフ周波数が高くなりやすく、積分器２２５の時定数が短くなりやすくなる。その結果、図６（ｂ）の検出軸のズレによって発生した出力を減衰することができる。これによって、図６（ｃ）で時間Ｔ０から大きくなり続けていた飽和防止制御部２２７の出力を、図６（ｄ）に示すように減衰することができる。そして、図６（ｄ）の信号に基づいて画像変形部１１０であおりの補正を行うことにより、図１０（ｅ）のように、撮像装置がＰＩＴＣＨ方向に動いていないのにも関わらず、撮像画像の垂直方向のあおりの補正を行ってしまう現象を防止することができる。
【０１２２】
なお上述したように、あおり制御変更部３０２は、ＰＩＴＣＨ方向の振れ信号に基づいて、水平方向のあおりの補正量算出の処理を変更する制御も行うが、上記説明においてＹＡＷ方向とＰＩＣＨ方向を入れ替えれば同様の処理となるため、説明は省略する。
【０１２３】
以上説明してきたように、本発明の第３の実施形態においては、撮像装置１００に対してＹＡＷ方向にパンニング等の大きな動きが発生した場合、ＰＩＴＣＨ方向の角速度センサの出力に基づいたあおりの補正量の演算を制限することとした。また、撮像装置１００に対してＰＩＴＣＨ方向にチルティング等の大きな動きが発生した場合、ＹＡＷ方向の角速度センサの出力に基づいたあおりの補正量の演算を制限することとした。これによって、角速度センサの検出軸のズレによって発生する信号の誤差の影響を最小限に抑え、良好な像振れ補正効果を得ることができる。
【０１２４】
（第４の実施形態）
本発明の第４の実施形態に係る撮像装置について、以下に説明する。本実施形態において、撮像装置の構成は図１と同様であり、画像変形量演算部２００の内部構成が異なるものであるため、図１の説明は省略する。また、本実施形態における画像変形量演算部２００は、図９にも示した第３の実施形態の構成と類似しており、第３の実施形態と異なる点は、第３の実施形態の構成に、図９に破線で示した撮影者移動判定部３０１が追加されている点である。
【０１２５】
撮影者移動判定部３０１は、Ａ／Ｄ変換器１０３のＹＡＷ方向あるいはＰＩＴＣＨ方向あるいはＲＯＬＬ方向の出力に基づいて生成された信号から、撮像装置１００が撮影者が歩く等の移動をしながら撮影を行っているかどうかの判定を行う。撮影者移動判定部３０１は、撮影者が移動しながら撮影を行っていると判定したとき、あおり制御変更部３０２で行われる処理の変更を行う。撮影者移動判定部３０１の処理は、第２の実施形態において、図７のフローチャートで説明したものと、Ｓ２１３及びＳ２１６の処理以外は同様であるため、Ｓ２１３及びＳ２１６の処理以外の詳細な説明は省略する。
【０１２６】
Ｓ２１３では、あおり制御変更部３０２が行う図５のＳ１０３の処理を禁止又は限定する。Ｓ１０３の処理を禁止するとは、Ｓ１０３で行うＨＰＦ２２０あるいはＨＰＦ２２４のカットオフ周波数変更、積分器２２１あるいは積分器２２５の時定数変更、飽和防止制御部２２３あるいは飽和防止制御部２２７のリミッタ変更を元に戻すことをいう。また、その他あおりの補正量を制限するための制御を行っていた場合はそれを解除する。Ｓ１０３の処理を限定するとは、ＨＰＦ２２０あるいはＨＰＦ２２４のカットオフ周波数を高くする量や、積分器２２１あるいは積分器２２５の時定数を短くする量、飽和防止制御部２２３あるいは飽和防止制御部２２７のリミッタを狭くする量を小さくすることをいう。また、例えばＨＰＦ２２０あるいはＨＰＦ２２４のカットオフ周波数変更と、積分器２２１あるいは積分器２２５の時定数変更を行っていた場合に、一方の変更を行わない、というように、Ｓ１０３における複数のあおり補正量の制限のうち、いくつかのあおり補正量の制限を禁止するという構成にしてもよい。
【０１２７】
Ｓ２１６では、あおり制御変更部３０２が行う図５のＳ１０３の処理の実行を許可する。すなわち、Ｓ２１３における、Ｓ１０３の処理を禁止又は限定する処理を解除し、あおり制御変更部３０２が図５のフローチャートに従って動作する状態に戻す。Ｓ２１６の後は、図７の処理は終了となる。
【０１２８】
次に図８を用いて、撮影者が歩きながら撮影を行ったときの、撮影者移動判定部３０１の処理について説明する。上記第２の実施形態において、図８（ｂ）のＳＥＮＳＯＲ＿ＯＵＴ２は、Ａ／Ｄ変換器１０３のＲＯＬＬ方向の出力であるとして説明を行ったが、本実施形態においては、Ａ／Ｄ変換器１０３のＹＡＷ方向あるいはＰＩＴＣＨ方向の出力として説明を行う。図９は、上述したように、時間０からＴ１０の期間、撮影者が静止した状態で固定被写体の撮影が行われ、時間Ｔ１０から、撮影者が歩きながら撮影が行われたときの各種信号の変化を示している。
【０１２９】
図８（ａ）は、上記Ａ／Ｄ変換器１０３のＹＡＷ方向あるいはＰＩＴＣＨ方向あるいはＲＯＬＬ方向の出力に基づいて生成された信号であるＳＥＮＳＯＲ＿ＯＵＴ３の、時間による変化を示したグラフである。ＳＥＮＳＯＲ＿ＯＵＴ３は、Ｔ１０から歩行時の振動により出力が大きくなり、Ｔ１０より前の時間では比較的小さい静止時の手振れが検出されている様子を示している。
【０１３０】
図７のフローチャートにおいて、ＣＯＵＮＴ＿ＴＨ＝２とすると、ＳＥＮＳＯＲ＿ＯＵＴ３の出力の大きさが、プラス方向とマイナス方向でＡＭＰ＿ＴＨ２を超えたＴ１１から、撮影者移動判定部３０１によって、撮影者が移動しながら撮影されているという判定が行われる。
【０１３１】
図８（ｂ）は、Ａ／Ｄ変換器１０３のＹＡＷ方向あるいはＰＩＴＣＨ方向の出力をＳＥＮＳＯＲ＿ＯＵＴ２として、ＳＥＮＳＯＲ＿ＯＵＴ２の時間による変化を示したグラフである。撮影者が移動して撮影を行う場合、角速度センサ１０２の出力は、ＹＡＷ方向、ＰＩＴＣＨ方向、ＲＯＬL方向全てにおいて出力が大きくなる。よって、図５の処理において、Ｓ１０３の処理が行われる頻度が高くなる。第２の実施形態で説明したように、検出軸のズレによってＳＥＮＳＯＲ＿ＯＵＴ２に重畳される、他軸方向の振れによる出力成分が大きくなる影響を軽減するためである。
【０１３２】
しかし一方で、Ａ／Ｄ変換器１０３のＹＡＷ方向自体の出力あるいはＰＩＴＣＨ方向自体の出力であるＳＥＮＳＯＲ＿ＯＵＴ２も、図８（ｂ）に示すように、撮影者が歩き始めるＴ１０から大きくなる。その状態で、Ｓ１０３の処理に従って、画像のあおりの補正量を制限してしまうと、歩行時のあおりの補正効果が弱くなり、却って見づらい映像となってしまう。そこで、撮影者移動判定部３０１によるＳ２１３の処理において、Ｓ１０３の処理の実行を禁止あるいは限定（緩和）することによって、これを回避している。
【０１３３】
以上説明してきたように、本発明の第４の実施形態においては、撮像装置１００に対してＹＡＷあるいはＰＩＴＣＨ方向にパンニング等の大きな動きが発生した場合、他方向の角速度センサの出力に基づいた補正量の演算を制限する第３の実施形態に対し、更に以下の処理を追加した。すなわち、角速度センサの出力から、撮影者が歩く等の移動をしながら撮影が行われているかどうかの判定を行い、移動しながらの撮影という判定が行われているときは、ＹＡＷ方向あるいはＰＩＴＣＨ方向に発生している振れの補正を優先して行うようにした。これによって、撮影者が移動する際の大きな振れによって発生する撮像画像の振れに対しても、良好なブレ補正効果を得ることができる。
【０１３４】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【０１３５】
例えば、本実施形態はデジタルビデオカメラを例に説明したが、デジタルカメラや監視カメラであってもよい。また、デジタル一眼レフカメラでもあってもよく、たとえば交換レンズに振れ検出センサが搭載され、撮像装置側がロール方向の回転振れやあおりの補正や制限のために適宜ＰＩＴＣＨやＹＡＷ方向の振れ情報を受け取る構成であっても良い。また、携帯電話やスマートフォン、携帯ゲーム機のようにカメラユニットを備えた電子機器であってもよい。
【図１】
2014066766.tif 000018
【図２】
2014066766.tif 000019
【図３】
2014066766.tif 000020
【図４】
2014066766.tif 000021
【図５】
2014066766.tif 000022
【図６】
2014066766.tif 000023
【図７】
2014066766.tif 000024
【図８】
2014066766.tif 000025
【図９】
2014066766.tif 000026
【図１０】
2014066766.tif 000027