(57)【要約】【課題】振れ角度の基準値を、状況に応じて動的に変更することで、簡易な構成で高精度な手ぶれ補正が可能な、新規かつ改良された信号処理装置を提供する。【解決手段】ジャイロセンサ２０で検出された撮像部の動き検出情報から、撮像部の動きを表す動き情報を算出するものであって、ジャイロセンサ２０で検出された動き検出情報から、手ぶれによる動きと使用者が意図した動きとを判別する動き判別部４６と、動き判別部４６からの情報に基づき、補正係数を算出する補正係数算出部４５と、補正係数算出部４５で算出された補正係数に基づき、ジャイロセンサ２０で検出された動き検出情報から算出される動き情報を補正する補正部４３と、を有する信号処理装置が提供される。【選択図】図２
2019121864.tif 000002
【特許請求の範囲】
【請求項１】
ジャイロセンサで検出された撮像部の動き検出情報から、前記撮像部の動きを表す動き情報を算出する信号処理装置であって、
前記ジャイロセンサで検出された動き検出情報から、手ぶれによる動きと使用者が意図した動きとを判別する動き判別部と、
前記動き判別部からの情報に基づき、補正係数を算出する補正係数算出部と、
前記補正係数算出部で算出された補正係数に基づき、前記ジャイロセンサで検出された動き検出情報から算出される動き情報を補正する補正部と、
を有することを特徴とする信号処理装置。
【請求項２】
前記ジャイロセンサは、前記動き検出情報として角速度を検出し、
前記ジャイロセンサで検出された角速度を積算し、前記動き情報として角度を算出する角度積算部をさらに有し、
前記補正部は、前記角度積算部で算出された角度を補正することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記角度積算部は、前記補正部で補正された角度に対して、前記ジャイロセンサで検出された角速度を適用し角度を算出することを特徴とする請求項２に記載の信号処理装置。
【請求項４】
前記補正係数算出部は、撮像装置の起動から一定の設定時間以内であるか否かを判別し、起動から一定の設定時間内の場合、起動時用の補正係数を前記補正部に出力することを特徴とする請求項２または３に記載の信号処理装置。
【請求項５】
前記補正係数算出部は、前記ジャイロセンサで検出された角速度から算出される角度を取得し、該取得した角度の変化が一定の設定値を超える場合、補正可能範囲超過時用の補正係数を前記補正部に出力することを特徴とする請求項２〜４のいずれか１項に記載の信号処理装置。
【請求項６】
前記ジャイロセンサで検出された角速度から低周波成分を検出する低周波検出部を有し、
前記補正係数算出部は、前記補正係数を算出する際に前記低周波検出部で検出された低周波成分の値を適用することを特徴とする請求項２〜５のいずれか１項に記載の信号処理装置。
【請求項７】
前記ジャイロセンサで検出された角速度と、前記補正部で補正された角度とが入力される第２角度積算部を有し、
前記第２角度積算部は、前記ジャイロセンサで検出された角速度を積算して算出した角度と、前記補正部で補正された角度とから、前記撮像部の振れ角度を算出することを特徴とする請求項２〜６のいずれか１項に記載の信号処理装置。
【請求項８】
前記補正部は、前記動き判別部で使用者が意図した動きが検出された場合、１回前の演算時における補正前角度を前記角度積算部で算出された角度とすることを特徴とする請求項２〜７のいずれか１項に記載の信号処理装置。
【請求項９】
前記補正係数算出部は、算出した補正係数の変化量が設定された最大更新値を超える場合、変化量が当該最大更新値となるように、補正係数を算出することを特徴とする請求項２〜８のいずれか１項に記載の信号処理装置。
【請求項１０】
前記角度積算部に前記ジャイロセンサで検出された角速度が入力される前に、前記ジャイロセンサに固有の特性に基づき前記角速度を補正する特性補正部を有することを特徴とする請求項２〜９のいずれか１項に記載の信号処理装置。
【請求項１１】
撮像部と、ジャイロセンサと、前記撮像部及び前記ジャイロセンサからの信号が入力される請求項１〜１０のいずれか１項に記載の信号処理装置と、該信号処理装置から出力される動き情報に基づいて、前記撮像部からの画像を変形させる画像変形部と、を有することを特徴とする撮像装置。
【請求項１２】
ジャイロセンサで検出された撮像装置の角速度から、前記撮像装置の振れ角度を算出する振れ角度算出方法であって、
前記ジャイロセンサで検出された角速度を積算して角度を算出する第１ステップと、
前記ジャイロセンサで検出された角速度から、手ぶれによる角度変化と使用者が意図した角度変化とを判別する第２ステップと、
前記第２ステップで検出された角度変化の判別の情報に基づき、積算された角度を補正する補正係数を算出する第３ステップと、
前記第１ステップで算出された角度を、前記第３ステップで算出された補正係数に基づき補正する第４ステップと、
前記第４ステップで補正された角度に基づき、前記振れ角度を算出する第５ステップと、
を有することを特徴とする振れ角度算出方法。
【請求項１３】
ジャイロセンサで検出された撮像装置の角速度から、前記撮像装置の振れ角度を算出するコンピュータが読取り可能な振れ角度算出プログラムであって、
前記ジャイロセンサで検出された角速度を積算して角度を算出する第１ステップと、
前記ジャイロセンサで検出された角速度から、手ぶれによる角度変化と使用者が意図した角度変化とを判別する第２ステップと、
前記第２ステップで検出された角度変化の判別の情報に基づき、積算された角度を補正する補正係数を算出する第３ステップと、
前記第１ステップで算出された角度を、前記第３ステップで算出された補正係数に基づき補正する第４ステップと、
前記第４ステップで補正された角度に基づき、前記振れ角度を算出する第５ステップと、
をコンピュータに実行させることを特徴とする振れ角度算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に設けられるジャイロセンサ（Ｇｙｒｏ  ｓｅｎｓｏｒ）で検出された角速度から、撮像装置の振れ角度を算出する信号処理装置と、これを有する撮像装置と、振れ角度算出方法及び振れ角度算出プログラムに関する。
【背景技術】
【０００２】
撮像装置には、手ぶれ補正機能が搭載されることがある。手ぶれ補正の手法として、光学式手ぶれ補正と、電子式手ぶれ補正がある。手ぶれ補正を行うため、撮像装置には、ジャイロセンサ等の動き検出部が設けられる。手ぶれ補正装置は、動き検出部から取得した動き検出情報に基づき、撮像部の動き情報を得る。電子式手ぶれ補正における手ぶれ補正装置は、撮像素子から得た画像データを、得られた撮像部の動き情報に応じ変形させて出力する。これにより、手ぶれによる画像の揺れを低減できる。
【０００３】
手ぶれ補正装置は、動き検出部で検出した動き検出情報から撮像部の動きを表す動き情報を算出する信号処理装置を有する。角速度を検出する動き検出部の場合、一定の時間毎に得られた角速度を時間積分することにより、補正すべき振れ角度が算出される。例えば、特許文献１には、ジャイロセンサからの信号を積分する手ぶれ補正装置について開示されている。特許文献１の手ぶれ補正装置は、積分値が発散しないよう、角速度を加算する際に、一定の補正を行う。
【０００４】
撮像装置を使用する使用者は、意図して撮像装置の向きを大きく変える場合がある。特許文献２には、使用者が意図的に、撮像装置を一方向に向かって角度変化させた際の手ぶれ補正方法が開示されている。特許文献２の手ぶれ補正装置は、角度変化時に、露光中か否かによって、向心力を変化させる。向心力は、補正動作部を中心位置に復帰させるために付加される力である。
【０００５】
特許文献３には、ローパスフィルタ（Ｌｏｗ  ｐａｓｓ  ｆｉｌｅｒ）により、角度の基準値を算出することが開示されている。特許文献３の手ぶれ補正装置は、低周波の動きによる基準値の誤差を補正するため、画像の動きベクトル（Ｖｅｃｔｏｒ）を用いる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２０８８３２号公報
【特許文献２】国際公開２０１３／０２１７２８号明細書
【特許文献３】特開２０１６−１４５８５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
電子式手ぶれ補正による手ぶれ補正装置では、ジャイロセンサの他、加速度検出部、地磁気検出部などの情報を組み合わせて振れ角度を算出する。この場合、補正角度の値が大きくなりやすく、画像全体を記憶するフレームメモリ（Ｆｒａｍｅ  ｍｅｍｏｒｙ）を必要とする。このため、構成が大掛かりとなり、手ぶれ補正装置の小型化や省電力化が妨げられる。
【０００８】
本発明は、この課題に鑑みてなされたものであり、手ぶれ補正の基準値を、状況に応じて動的に変更することで、簡易な構成で高精度な手ぶれ補正が可能な、新規かつ改良された信号処理装置、撮像装置、振れ角度算出方法及び振れ角度算出プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、ジャイロセンサで検出された撮像部の動き検出情報から、前記撮像部の動きを表す動き情報を算出する信号処理装置であって、前記ジャイロセンサで検出された動き検出情報から、手ぶれによる動きと使用者が意図した動きとを判別する動き判別部と、前記動き判別部からの情報に基づき、補正係数を算出する補正係数算出部と、前記補正係数算出部で算出された補正係数に基づき、前記ジャイロセンサで検出された動き検出情報から算出される動き情報を補正する補正部と、を有することを特徴とする信号処理装置が提供される。
【００１０】
上記構成により、状況に応じた補正係数が算出され、その補正係数が動き情報の補正に適用される。このため、手ぶれ補正の基準位置が、状況に応じて動的に変更される。
【００１１】
また、本発明の信号処理装置は、前記ジャイロセンサは、前記動き検出情報として角速度を検出し、前記ジャイロセンサで検出された角速度を積算し、前記動き情報として角度を算出する角度積算部をさらに有し、前記補正部は、前記角度積算部で算出された角度を補正するようにしてもよい。これにより、ジャイロセンサで検出された角速度から角度を算出しつつ、算出された角度を随時補正できる。
【００１２】
また、前記角度積算部は、前記補正部で補正された角度に対して、前記ジャイロセンサで検出された角速度を適用し角度を算出するようにしてもよい。これにより、角度積算部で算出される角度が、随時補正されながら更新され、基準位置を動的に変更できる。
【００１３】
また、前記補正係数算出部は、撮像装置の起動から一定の設定時間以内であるか否かを判別し、起動から一定の設定時間内の場合、起動時用の補正係数を前記補正部に出力するようにしてもよい。これにより、撮像装置の起動直後において、振れ角度を適切に補正することができる。
【００１４】
また、前記補正係数算出部は、前記ジャイロセンサで検出された角速度から算出される角度を取得し、該取得した角度の変化が一定の設定値を超える場合、補正可能範囲超過時用の補正係数を前記補正部に出力するようにしてもよい。これにより、補正可能範囲を超えて撮像装置の角度が変化した場合に、振れ角度を適切に補正することができる。
【００１５】
また、本発明の信号処理装置は、前記ジャイロセンサで検出された角速度から低周波成分を検出する低周波検出部を有し、前記補正係数算出部は、前記補正係数を算出する際に前記低周波検出部で検出された低周波成分の値を適用するようにしてもよい。これにより、手ぶれより低周波の揺れに対して、角度補正を対応させることができる。
【００１６】
また、本発明の信号処理装置は、前記ジャイロセンサで検出された角速度と、前記補正部で補正された角度とが入力される第２角度積算部を有し、前記第２角度積算部は、前記ジャイロセンサで検出された角速度を積算して算出した角度と、前記補正部で補正された角度とから、前記撮像部の振れ角度を算出するようにしてもよい。これにより、ジャイロセンサで検出された角速度に基づく角度と、補正された角度の両方を考慮した振れ角度の算出を行うことができる。
【００１７】
また、前記補正部は、前記動き判別部で使用者が意図した動きが検出された場合、１回前の演算時における補正前角度を前記角度積算部で算出された角度とするようにしてもよい。これにより、撮像装置の角度が大きく変化する場合に、その影響を緩和することができる。
【００１８】
また、前記補正係数算出部は、算出した補正係数の変化量が設定された最大更新値を超える場合、変化量が当該最大更新値となるように、補正係数を算出するようにしてもよい。これにより、補正係数が急激に変化することを抑え、安定的な手ぶれ補正を行うことができる。
【００１９】
また、本発明の信号処理装置は、前記角度積算部に前記角速度が入力される前に、前記ジャイロセンサに固有の特性に基づき前記角速度を補正する特性補正部を有するようにしてもよい。これにより、振れ角度の算出に用いる角速度の精度を向上させることができる。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、撮像部と、ジャイロセンサと、前記撮像部及び前記ジャイロセンサからの信号が入力される前記いずれかの信号処理装置と、該信号処理装置から出力される動き情報に基づいて、前記撮像部からの画像を変形させる画像変形部と、を有することを特徴とする撮像装置が提供される。
【００２１】
また、上記課題を解決するために、本発明の別の観点によれば、ジャイロセンサで検出された撮像装置の角速度から、前記撮像装置の振れ角度を算出する振れ角度算出方法であって、前記ジャイロセンサで検出された角速度を積算して角度を算出する第１ステップと、前記ジャイロセンサで検出された角速度から、手ぶれによる角度変化と使用者が意図した角度変化とを判別する第２ステップと、前記第２ステップで検出された角度変化の判別の情報に基づき、積算された角度を補正する補正係数を算出する第３ステップと、前記第１ステップで算出された角度を、前記第３ステップで算出された補正係数に基づき補正する第４ステップと、前記第４ステップで補正された角度に基づき、前記振れ角度を算出する第５ステップと、を有する振れ角度算出方法が提供される。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、ジャイロセンサで検出された撮像装置の角速度から、前記撮像装置の振れ角度を算出するコンピュータが読取り可能な振れ角度算出プログラムであって、前記ジャイロセンサで検出された角速度を積算して角度を算出する第１ステップと、前記ジャイロセンサで検出された角速度から、手ぶれによる角度変化と使用者が意図した角度変化とを判別する第２ステップと、前記第２ステップで検出された角度変化の判別の情報に基づき、積算された角度を補正する補正係数を算出する第３ステップと、前記第１ステップで算出された角度を、前記第３ステップで算出された補正係数に基づき補正する第４ステップと、前記第４ステップで補正された角度に基づき、前記振れ角度を算出する第５ステップと、をコンピュータに実行させることを特徴とする振れ角度算出プログラムが提供される。
【発明の効果】
【００２３】
本発明によれば、振れ角度の基準位置が状況に応じて動的に変更されるので、撮像装置での撮影時に、安定的に手ぶれ補正の効果を得ることができる。また、本発明は、手ぶれ補正の振れ角度を小さい角度範囲に維持できる。このため、画像変形に用いる記憶部の容量を小さくでき、装置の小型化及び低コスト化を図ることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態における撮像装置の部分概略構成図である。
【図２】振れ角度算出部の構成図である。
【図３】補正係数を算出する手順を表した説明図である。
【図４】時間に対する撮像部の角度変化と、算出される振れ角度とを表したグラフである。
【図５】撮像装置の変形例を表した部分概略構成図である。
【発明を実施するための形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２６】
［手ぶれ補正装置の構成］
まず、信号処理装置を有する手ぶれ補正装置の構成について、図１を参照して説明する。信号処理装置は、撮像装置に設けられる。撮像装置は、撮像素子１０に集光された像を画像データとして出力し、記憶する。撮像装置は、撮像部１１を有する撮像素子１０と、ジャイロセンサ２０と、手ぶれ補正装置３０とを有している。撮像部１１は、取得した画像データを手ぶれ補正装置３０に対して出力する。撮像部１１としては、例えばＣＭＯＳセンサが用いられる。ただし、それ以外の種類のセンサであってもよい。また、ジャイロセンサ２０は、撮像部１１の動き検出情報として、角速度を検出する。ジャイロセンサ２０は、検出した角速度を手ぶれ補正装置３０に対して出力する。なお、撮像装置の手ぶれ補正装置３０より後段部分については、説明を省略する。
【００２７】
手ぶれ補正装置３０は、信号処理装置である振れ角度算出部３１、同期処理部３２、及び画像変形部３３を有している。振れ角度算出部３１は、ジャイロセンサ２０で検出された角速度に基づき、撮像部１１の動きを表す動き情報を算出する。動き情報は、撮像部１１において補正すべき振れ角度である。同期処理部３２は、撮像部１１からの画像データと、振れ角度算出部３１からの振れ角度とを同期させる。同期処理部３２は、撮像部１１で露光している時間から、同期処理部３２の画像データ受信時までの時間を考慮する。また、同期処理部３２は、ジャイロセンサ２０のサンプリングレート（Ｓａｍｐｌｉｎｇ  ｒａｔｅ）及びレイテンシ（Ｌａｔｅｎｃｙ）を考慮する。また、同期処理部３２は、ジャイロセンサ２０から振れ角度算出部３１を経て、同期処理部３２に信号が到達するまでの時間を考慮する。撮像部１１が、ローリングシャッタ（Ｒｏｌｌｉｎｇ  ｓｈｕｔｔｅｒ）方式で露光する場合は、画像のライン（Ｌｉｎｅ）毎に露光時間にずれがある。この場合、同期処理部３２は、画像のライン毎のずれ量も考慮し、ライン毎に同期化を行う。
【００２８】
撮像部１１やジャイロセンサ２０からのデータは、Ａ／Ｄ変換器（図示しない）を経て、手ぶれ補正装置３０に入力される。手ぶれ補正装置３０の振れ角度算出部３１、同期処理部３２、画像変形部３３は、それぞれデジタル信号処理回路（ＤＳＰ）で構成できる。これらは、別々の回路で構成されてもよいし、一つの回路で構成されてもよい。
【００２９】
画像変形部３３は、画像データをライン単位で記憶するラインメモリ（Ｌｉｎｅ  ｍｅｍｏｒｙ）３３ａを有している。画像変形部３３は、同期処理部３２で同期化された画像データと振れ角度とから、画像変形処理を行う。この処理において画像変形部３３は、画像データに対し、ライン毎に振れ角度に基づく座標変換を行う。そして、画像変形部３３は、変換後の座標に基づき画像変形を行う。画像変形部３３は、座標変換時において、レンズ歪みなど他の要因による座標変換を同時に行ってもよい。画像変形部３３は、画像変形処理を行った画像データを、撮像装置の後段部分に出力する。
【００３０】
［振れ角度算出部の構成］
次に、振れ角度算出部３１の構成について、図２を参照して説明する。振れ角度算出部３１には、前述のように、ジャイロセンサ２０からの角速度が入力される。振れ角度算出部３１に入力された角速度は、特性補正部４０で補正される。特性補正部４０は、ジャイロセンサ２０のジャイロドリフト（Ｇｙｒｏ  ｄｒｉｆｔ）や他軸感度など、ジャイロセンサに固有の特性を補正する。
【００３１】
特性補正部４０で補正された角速度は、ローパスフィルタ部４１、動き判別部４６、及び低周波検出部４７に出力される。ローパスフィルタ部４１は、角速度のデータのうち、高域の成分を遮断する。これにより、ノイズ（Ｎｏｉｓｅ）成分を除去できる。ローパスフィルタ部４１の遮断周波数は、１００Ｈｚ〜２００Ｈｚの範囲に設定される。ただし、遮断周波数はこの範囲には限られない。
【００３２】
動き判別部４６は、角速度のデータから、手ぶれによる動きと使用者が意図した動きとを判別する。使用者が意図した動きは、例えば、一方向へのパンニング（Ｐａｎｎｉｎｇ）動作などがある。動き判別部４６は、ローパスフィルタを有している。このローパスフィルタは、手ぶれ動作で発生が想定される周波数よりやや高い周波数を遮断周波数とする。この遮断周波数としては、１０Ｈｚ〜３０Ｈｚの範囲に設定することができる。ただし、これ以外の範囲に遮断周波数を設定してもよい。動き判別部４６は、ローパスフィルタからの出力値が一定の設定値以上となった場合に、使用者が意図した動きと判別する。一方、動き判別部４６は、ローパスフィルタからの出力値が一定の設定値未満の場合、手ぶれによる動きと判別する。ただし、角度変化の判別は、この手法には限られず、その他の手法を用いてもよい。
【００３３】
低周波検出部４７は、角速度のデータから、低周波成分を検出する。低周波検出部４７で検出するのは、手ぶれ動作による周波数より低い周波数の動きである。低周波検出部４７には、低い周波数を遮断周波数とするローパスフィルタを用いることができる。低周波検出部４７の遮断周波数としては、数分の１〜数十分の１Ｈｚとすることができる。ただし、低周波の検出手段としては、ローパスフィルタには限られず、その他の手段を用いてもよい。
【００３４】
ローパスフィルタ部４１から出力される角速度のデータは、角度積算部４２に入力される。角度積算部４２は、角速度のデータを時間積分処理し、角度を算出する。角度積算部４２で算出された角度のデータは、補正部４３に出力される。補正部４３は、入力された角度を補正係数に基づき補正する。
【００３５】
補正部４３で補正された角度のデータは、角度積算部４２に入力される。角度積算部４２は、補正部４３で補正された角度に対し、ジャイロセンサ２０からの角速度を積算して、新たな角度を算出する。
【００３６】
補正部４３で用いられる補正係数は、補正係数算出部４５で算出される。補正係数は、撮像装置の状況に応じて、手ぶれ補正の基準位置を変更するように定められる。これにより、出力される振れ角度が、補正可能範囲内で推移するように調整される。補正係数の詳細は後で詳述する。
【００３７】
補正係数算出部４５に対しては、動き判別部４６、低周波検出部４７、及び角度積算部４２からの出力値が入力される。補正係数算出部４５は、動き判別部４６において検出した、使用者が意図した動きであるか否かの情報によって、異なる補正係数を出力する。また、補正係数算出部４５は、低周波検出部４７で検出した低周波成分に応じた補正係数の算出を行う。また、補正係数算出部４５は、角度積算部４２で算出された角度が、補正可能範囲を超過しているか否かによって、異なる補正係数を出力する。
【００３８】
動き判別部４６からの情報は、補正部４３にも入力される。補正部４３は、使用者が意図した動きが検出された場合に、角度の変化量が大きくなり過ぎないように、調整を行う。その詳細は後で詳述する。
【００３９】
補正部４３で算出された角度と、ローパスフィルタ部４１を通過した角速度のデータとは、第２角度積算部４４に入力される。第２角度積算部４４は、角速度を時間積分処理して、補正部４３で補正されていない角度を算出する。第２角度積算部４４は、補正部４３で補正された角度と、補正されていない角度とから、出力する振れ角度を算出する。
【００４０】
振れ角度算出部３１の各機能部分は、前述のようにデジタル信号処理回路で構成できる。振れ角度算出部３１を構成するデジタル信号処理回路は、一つの回路で形成されていてもよい。また、デジタル信号処理回路は、機能部分単位で分かれた複数の回路により形成されていてもよい。
【００４１】
［補正係数の算出］
次に、補正係数算出部４５における補正係数の算出について、図３を参照して説明する。まず、補正係数算出部４５は、撮像装置が起動時であるか否かを判別する（Ｓ１）。補正係数算出部４５は、撮像装置の起動から一定の設定時間以内である場合には、起動時と判別する。Ｓ１で起動時と判別された場合、補正係数算出部４５は、起動時用の補正係数Ｋ１を採用する。起動時用の補正係数Ｋ１は、予め設定されている値である。撮像装置の起動直後は、第２角度積算部４４においてジャイロセンサ２０からの角速度が十分に積算されていない。また、ジャイロセンサ２０も起動直後は不安定な値を出力することもある。補正係数算出部４５は、起動時用の補正係数Ｋ１により、これらの影響を緩和する。
【００４２】
Ｓ１で起動時でなかった場合、補正係数算出部４５は、角度積算部４２で算出された角度を取得する。そして、補正係数算出部４５は、取得した角度の変化が、一定の設定値を超えるか否かを判別する（Ｓ３）。この判別は、角度変化が補正可能範囲を超過するか否かを判別するものである。Ｓ３で補正可能範囲を超過していると判別される場合、補正係数算出部４５は、補正範囲超過時用の補正係数Ｋ２を算出する（Ｓ４）。補正係数算出部４５は、補正範囲超過時用の補正係数Ｋ２により、補正する振れ角度が補正可能な範囲内に納まるように調整する。
【００４３】
Ｓ３で補正可能範囲を超過していない場合、補正係数算出部４５は、動き判別部４６の出力を基に、意図した角度変化か否かを判別する（Ｓ５）。意図した角度変化の場合、補正係数算出部４５は、意図した動作時用の補正係数Ｋ３を算出する。意図した動作時用の補正係数Ｋ３は、予め設定されている値である。意図した角度変化の際には、撮像部１１の角度が大きく変化する。補正係数算出部４５は、意図した動作時用の補正係数Ｋ３により、手ぶれ補正の基準位置が角度変化に追随するよう調整する。
【００４４】
Ｓ５で意図した角度変化でないと判別される場合、補正係数算出部４５は、通常の手ぶれ補正時用の補正係数Ｋ４を算出する（Ｓ７）。補正係数Ｋ４は、低周波検出部４７で検出された低周波成分の値により補正される（Ｓ８）。予め設定された設定値をαとすると、補正後のＫ４は、［補正前のＫ４］＋［低周波成分の値］×αで算出できる。これにより、低周波成分の影響を考慮した補正係数とすることができる。
【００４５】
本実施形態では、通常の手ぶれ補正時に、低周波成分の値で補正係数を補正している。低周波成分による補正係数の補正は、これに加えて他の状況時にも行うことができる。例えば、補正可能範囲を超過している場合にも、低周波成分の値で補正係数を補正することができる。また、低周波成分の値による補正時に用いる設定値αは、低周波成分による補正係数の補正が開始されてからの時間経過に応じて、変化するようにしてもよい。
【００４６】
各状況に対応する補正係数Ｋ１，Ｋ２，Ｋ３，Ｋ４は、使用するジャイロセンサ２０の特性を考慮して決定する。この他に、撮像装置の形状・重量・使用形態・フレームレート（Ｆｒａｍｅ  ｒａｔｅ）なども考慮される。さらに、補正係数は、その他の要因を考慮して決定されてもよい。
【００４７】
補正係数が算出されたら、補正係数算出部４５は、前回算出した補正係数と今回算出した補正係数との差分値を算出する（Ｓ９）。補正係数算出部４５は、算出した差分値が、予め設定された最大値より小さいか否かを判別する（Ｓ１０）。差分値が最大値より小さい場合は、その差分値を更新値とする（Ｓ１１）。差分値が最大値以上の場合は、最大値を更新値とする（Ｓ１２）。これにより、補正係数が大きく変動する際に、その変動を抑制できる。補正係数の急激な変動を抑制することで、手ぶれ補正の効果を確実に発揮することができる。また、差分値の最大値は、補正係数が変化し始めてからの時間経過に応じて、変化するようにしてもよい。
【００４８】
更新値が定まったら、補正係数算出部４５は、新たな補正係数を算出する（Ｓ１３）。新たな補正係数は、前回算出した補正係数に対して、Ｓ１１またはＳ１２で定まった更新値を加えることで、算出される。補正係数算出部４５は、ここで算出された補正係数を、補正部４３に出力する。
【００４９】
［角度補正の実行］
補正部４３は、補正係数算出部４５で算出された補正係数を用いて、角度の補正を行う。補正部４３は、入力される角度をθｉｎ、補正した角度をθｏｕｔ、補正係数をＫとすると、θｏｕｔ＝θｉｎ−θｉｎ／２Ｋの演算を行い、補正した角度を算出する。
【００５０】
補正部４３には、動き判別部４６の結果も入力される。動き判別部４６において、使用者が意図した動きと判別された場合、撮像部１１の角度は大きく変化する。この場合、補正部４３は、入力される角度θｉｎの代わりに、前回算出した補正後の角度を用いて、前記演算を行う。これにより、急激な角度変化の影響を緩和できる。
【００５１】
［振れ角度の算出例］
図４（ａ）には、時間に対する撮像部１１の角度変化例を示している。本例では時間Ｔ０から時間Ｔ１まで、使用者は撮像装置を手に持ったまま静止した状態である。この時間帯においては、撮像部１１の角度は０°付近で推移している。また、手ぶれが発生しており、小さい角度変化が繰り返し生じている。時間Ｔ１から時間Ｔ４まで、使用者は撮像装置を水平方向にパンニングしている状態である。この時間帯においては、使用者は意図的に撮像装置の角度を大きく変化させる。また、時間Ｔ４以降は、使用者は撮像装置を手に持ったまま歩いている状態である。この時間帯においては、手ぶれに加えて、よりゆっくりした角度変化も生じている。
【００５２】
図４（ｂ）には、図４（ａ）の角度変化から振れ角度算出部３１で算出された角度を示している。時間Ｔ０から時間Ｔ１までの時間帯は、通常の手ぶれ補正の動作が行われている。この際、補正係数算出部４５では、補正係数Ｋ４が基準値として選択されている。図に示すように、通常の手ぶれ補正では、角度０°を中心に、小さい範囲の振れ角度が算出される。
【００５３】
時間Ｔ１から時間Ｔ４までの時間帯は、使用者が意図した動きに対応する動作が行われている。補正可能範囲を超過している間を除くこの時間帯では、補正係数算出部４５は、補正係数Ｋ３を基準値として選択している。使用者が意図した動きでは、急激に角度が変化する。前述のように、補正部４３は、急激な角度変化に対して、それを緩和するような調整を行う。
【００５４】
時間Ｔ２から時間Ｔ３までは、振れ角度が補正可能範囲を超過している。補正可能範囲超過時には、補正係数算出部４５では、補正係数Ｋ２が基準値として選択されている。図に示すように、補正可能範囲超過時には、振れ角度が一定値となる。時間Ｔ３で振れ角度が補正可能範囲内に戻ったら、補正係数算出部４５では、再び補正係数Ｋ３が基準値として選択される。時間Ｔ４の段階では、時間Ｔ１の時より撮像装置の向きは大きく変わっているが、振れ角度の基準位置（０°）からの差は、小さいまま維持される。これは、補正部４３によって、振れ角度の基準位置を随時変化させていることによる。
【００５５】
時間Ｔ４以降は、手ぶれ補正の動作が行われると共に、低周波成分による補正係数の補正も行われている。これにより、通常の手ぶれよりゆっくりした動きがあっても、それに追随して振れ角度の基準位置を随時変化させていくことができる。
【００５６】
このように、本実施形態の信号処理装置である振れ角度算出部３１は、撮像装置の状況に応じて補正係数を変更し、振れ角度の算出に反映している。これにより、本実施形態の信号処理装置は、手ぶれ補正に用いる振れ角度の基準位置を、状況に応じて動的に変更することができる。このため、振れ角度を小さい角度範囲に維持し、動画撮影時において安定性を確保することができる。振れ角度の角度範囲が大きいと、画像変形部３３の記憶容量が多く必要となる。また、本実施形態の信号処理装置は、振れ角度を小さい角度範囲に維持できる。このため、手ぶれ補正装置３０において記憶容量の少ないラインメモリ３３ａを採用できる。これによって、装置の小型化及び低コスト化を図ることができる。
【００５７】
信号処理装置を有する撮像装置の変形例について、図５を参照して説明する。本変形例で手ぶれ補正装置３０は、撮像素子１０に内蔵されている。撮像素子１０は、撮像部１１と、手ぶれ補正装置３０とを有している。手ぶれ補正装置３０は、信号処理装置である振れ角度算出部３１と、ラインメモリ３３ａを有した画像変形部３３とを有している。振れ角度算出部３１には、ジャイロセンサ２０からの角速度データが入力される。信号処理装置である振れ角度算出部３１の構成は、図２と同じである。この場合に、手ぶれ補正装置３０は、撮像素子１０のチップと組み合わされるユニット（Ｕｎｉｔ）の一部として構成される。
【００５８】
このように、手ぶれ補正装置３０が撮像素子１０に内蔵されていることで、撮像装置の小型化を図ることができる。
【００５９】
本発明の振れ角度算出の手法は、本実施形態の信号処理装置以外にも適用できる。したがって、振れ角度算出の手法につき、プログラムとして提供することもできる。この場合、以下のステップをコンピュータに実行させる。
【００６０】
まず、ジャイロセンサ２０で検出された角速度を積算して角度を算出する（第１ステップ）。次に、ジャイロセンサで検出された角速度から、手ぶれによる角度変化と使用者が意図した角度変化とを判別する（第２ステップ）。次に、第２ステップで検出された角度変化の判別の情報に基づき、積算された角度を補正する補正係数を算出する（第３ステップ）。次に、第１ステップで算出された角度を、第３ステップで算出された補正係数に基づき補正する（第４ステップ）。次に、第４ステップで補正された角度に基づき、振れ角度を算出する（第５ステップ）。各ステップにおける判別、算出、補正の具体的方法は、上述の実施形態で説明したとおりである。
【００６１】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００６２】
上述の実施形態では、ジャイロセンサ２０及び手ぶれ補正装置３０は、撮像装置内に設けられているが、これに限られない。例えば、ジャイロセンサ２０や手ぶれ補正装置３０は、撮像装置に対して追加的に取付可能なものであってもよい。
【符号の説明】
【００６３】
１０    撮像素子
１１    撮像部
２０    ジャイロセンサ
３０    手ぶれ補正装置
３１    振れ角度算出部
３２    同期処理部
３３    画像変形部
３３ａ  ラインメモリ
４０    特性補正部
４１    ローパスフィルタ部
４２    角度積算部
４３    補正部
４４    第２角度積算部
４５    補正係数算出部
４６    動き判別部
４７    低周波検出部
【図１】
2019121864.tif 000003
【図２】
2019121864.tif 000004
【図３】
2019121864.tif 000005
【図４】
2019121864.tif 000006
【図５】
2019121864.tif 000007