(57)【要約】【課題】  高精度に振れ信号に重畳するドリフト誤差を推定すること。【解決手段】  第１の振れ検出手段の出力に基づいて得られる第１の振れ検出信号の履歴から、前記第１の振れ検出信号に含まれる誤差を予測すると共に、前記第１の振れ検出手段と異なる第２の振れ検出手段の出力に基づいて得られる第２の振れ検出信号と前記第１の振れ検出信号との差分を誤差として検出する。そして、予測された誤差が前記検出された誤差に近づくように、予測に用いられるパラメータを繰り返し求め、求めたパラメータを用いて誤差を予測する。【選択図】  図３
2020187259.tif 000002
【特許請求の範囲】
【請求項１】
第１の振れ検出手段の出力に基づいて得られる第１の振れ検出信号の履歴から、前記第１の振れ検出信号に含まれる誤差を予測する誤差予測手段と、
前記第１の振れ検出手段と異なる第２の振れ検出手段の出力に基づいて得られる第２の振れ検出信号と前記第１の振れ検出信号との差分を誤差として検出し、前記予測された誤差が前記検出された誤差に近づくように、前記誤差予測手段による予測に用いられるパラメータを繰り返し求める修正手段と、を有し、
前記誤差予測手段は、前記修正手段により求められた前記パラメータを用いて誤差を予測することを特徴とする誤差予測装置。
【請求項２】
前記修正手段は、前記検出された誤差を教師データとして、前記予測された誤差と比較する機械学習により前記パラメータを求めることを特徴とする請求項１に記載の誤差予測装置。
【請求項３】
前記第１の振れ検出手段は、ジャイロセンサであって角速度を検出して出力することを特徴とすることを特徴とする請求項１または２に記載の誤差予測装置。
【請求項４】
前記第２の振れ検出手段は、撮像素子から繰り返し出力される画像信号に基づいて、動きベクトルを検出して出力することを特徴とする請求項１乃至３のいずれか１項に記載の誤差予測装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の誤差予測装置と、
振れを補正するための振れ補正信号を生成する生成手段と、を有し、
前記生成手段は、
前記第２の振れ検出信号が得られている場合に、第２の振れ検出信号に基づいて、前記振れ補正信号を生成し、
前記第２の振れ検出信号が得られない場合に、前記第１の振れ検出信号から、前記誤差予測手段により予測された誤差を差し引いた信号に基づいて、前記振れ補正信号を生成する
ことを特徴とする防振制御装置。
【請求項６】
請求項５に記載の防振制御装置と、
撮像素子と
を有することを特徴とする撮像装置。
【請求項７】
前記第２の振れ検出信号が得られない場合とは、前記撮像素子により静止画撮影を行っている期間であることを特徴とする請求項６に記載の撮像装置。
【請求項８】
誤差予測手段が、第１の振れ検出手段の出力に基づいて得られる第１の振れ検出信号の履歴から、前記第１の振れ検出信号に含まれる誤差を予測する誤差予測工程と、
修正手段が、前記第１の振れ検出手段と異なる第２の振れ検出手段の出力に基づいて得られる第２の振れ検出信号と前記第１の振れ検出信号との差分を誤差として検出し、前記予測された誤差が前記検出された誤差に近づくように、前記誤差予測手段による予測に用いられるパラメータを繰り返し求める修正工程と、を有し、
前記誤差予測工程では、前記修正手段により求められた前記パラメータを用いて誤差を予測することを特徴とする誤差予測方法。
【請求項９】
誤差予測手段が、第１の振れ検出手段の出力に基づいて得られる第１の振れ検出信号の履歴から、前記第１の振れ検出信号に含まれる誤差を予測する誤差予測工程と、
修正手段が、前記第１の振れ検出手段と異なる第２の振れ検出手段の出力に基づいて得られる第２の振れ検出信号と前記第１の振れ検出信号との差分を誤差として検出し、前記予測された誤差が前記検出された誤差に近づくように、前記誤差予測手段による予測に用いられるパラメータを繰り返し求める修正工程と、
生成手段が、前記第２の振れ検出信号が得られている場合に、第２の振れ検出信号に基づいて、振れを補正するための振れ補正信号を生成する振れ補正信号を生成する第１の生成工程と、
前記生成手段が、前記第２の振れ検出信号が得られない場合に、前記第１の振れ検出信号から、前記誤差予測手段により予測された誤差を差し引いた信号に基づいて、前記振れ補正信号を生成する第２の生成工程と、を有し、
前記誤差予測工程では、前記修正手段により求められた前記パラメータを用いて誤差を予測することを特徴とする防振制御方法。
【請求項１０】
コンピュータを、請求項１乃至４のいずれか１項に記載の誤差予測装置の各手段として機能させるためのプログラム。
【請求項１１】
コンピュータを、請求項５に記載の防振制御装置の各手段として機能させるためのプログラム。
【請求項１２】
請求項１１または１２に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラや交換レンズ等の光学機器において、像振れを低減する防振制御を行う撮像装置または像ぶれ信号における誤差を予測する技術に関する。
【背景技術】
【０００２】
デジタルカメラにより静止画撮像を行う際に、ユーザの手振れ等によるカメラの振れに起因する像振れを補正（低減）する防振技術として、レンズや撮像素子（ＣＭＯＳセンサ等）を撮影光軸に対してシフトさせる光学防振がある。また、カメラの振れは、角速度センサ（ジャイロセンサ）等の振れセンサを用いたり、特許文献１にて開示されているように撮像している動画を構成するフレーム画像間で動きベクトルを算出したりすることで検出される。
【０００３】
しかしながら、振れセンサを用いる場合には、本来のカメラ振れに応じたセンサ出力にドリフトと呼ばれる低周波ノイズ（誤差成分）が重畳することでカメラ振れの検出精度が低下し、この結果、良好な防振制御を行えなくなるおそれがある。一方、特許文献１のように動きベクトルを検出する場合には、カメラ振れを高精度に検出することはできるが、静止画撮像のための撮像素子の露光時間中には動きベクトルを検出することができないため、動きベクトルを用いた防振制御を行うことができない。
【０００４】
これらの課題に対し、特許文献２では、露光直前までに検出された動きベクトルから露光中の動きベクトルを予測し、予測した動きベクトルから得られるノイズ成分と、振れセンサからの振れ信号とを用いて、露光中の防振制御を行うことが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０５−１２２５９０号公報
【特許文献２】特開２０１６−２０６６５６号公報
【非特許文献１】Williams, R. J. and Zipser, D.: A learning algo-rithm for continually running fully recurrent neu-ral networks, Neural Computation, Vol. 1, No. 2, pp. 270{280 (1989).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２の装置においては、露光直前までに検出された動きベクトルから露光中のノイズ成分を予測しているが、露光中に誤差の傾向が変化した場合等に対応できず、防振性能が低下し得るという問題があった。
【０００７】
本発明は上記問題点を鑑みてなされたものであり、高精度に振れ信号に重畳するドリフト誤差を推定することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の誤差予測装置は、第１の振れ検出手段の出力に基づいて得られる第１の振れ検出信号の履歴から、前記第１の振れ検出信号に含まれる誤差を予測する誤差予測手段と、前記第１の振れ検出手段と異なる第２の振れ検出手段の出力に基づいて得られる第２の振れ検出信号と前記第１の振れ検出信号との差分を誤差として検出し、前記予測された誤差が前記検出された誤差に近づくように、前記誤差予測手段による予測に用いられるパラメータを繰り返し求める修正手段と、を有し、前記誤差予測手段は、前記修正手段により求められた前記パラメータを用いて誤差を予測することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、高精度に振れ信号に重畳するドリフト誤差を推定することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態における防振制御を行う撮像装置の構成を示すブロック図。
【図２】実施形態における各種信号を説明する図。
【図３】実施形態における誤差予測を含む防振制御における信号の流れを示すブロック図。
【図４】実施形態における誤差予測演算の入出力データの相関図。
【図５】実施形態における誤差予測演算としてのＲＮＮの構成図。
【図６】実施形態における誤差予測処理を含む防振制御処理を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１２】
図１は、本発明の実施形態における防振制御装置を備えた撮像装置（光学機器）として、デジタルカメラ１の構成を示している。カメラ１は、撮影レンズ２を含む。
【００１３】
撮影レンズ２内の撮影光学系２０は、変倍レンズやその他のレンズにより構成されるレンズ群２１と、焦点調節を行うフォーカスレンズ２２と、光量を調節する虹彩絞り２３とを含む。また、撮影光学系２０は、該撮影光学系２０の光軸に対して、これに直交する方向に移動（シフト）することで後述するカメラ振れに起因する像振れを補正（低減）する光学防振素子としてのシフトレンズ２４を含む。なお、図に示すシフトレンズ２４には、シフトレンズと、これを光軸に対して直交する方向に駆動するシフトアクチュエータと、該シフトアクチュエータを駆動するドライバ回路が含まれる。
【００１４】
さらに、撮影レンズ２は、手振れ等に起因するカメラ１の振れであるカメラ振れを検出する振れセンサとしてのジャイロセンサ２６（第１の振れ検出手段）と、フォーカスレンズ２２、虹彩絞り２３及びシフトレンズ２４の動作を制御するレンズ制御部２５とを有する。ジャイロセンサ２６は、カメラ振れの角速度を示す信号である角速度信号を出力する。
【００１５】
レンズ制御部２５は、カメラ制御部１０との通信を行いながら、フォーカスレンズ２２および虹彩絞り２３の動作（即ち、ＡＦ及びＡＥ）を制御する。さらに、レンズ制御部２５は、後述する動きベクトル検出部１４からの動きベクトル検出信号及びジャイロセンサ２６からの角速度検出信号を用いたシフトレンズ２４のシフト駆動の制御、つまりはシフトアクチュエータの駆動の制御である防振制御を行う防振制御部を有する。
【００１６】
また、カメラ１において、撮像素子１１は、撮影レンズ２内の撮影光学系２０により形成された光学像を光電変換して撮像信号（アナログ信号）を出力し、撮像信号は、画像処理部１２内の不図示のＡ／Ｄ変換器によってデジタル信号に変換される。画像処理部１２は、更に、カメラ制御部１０の命令に応じて、このデジタル撮像信号に対してホワイトバランス処理、ガンマ補正処理、画素補間処理等の各種画像処理を行い、画像信号（映像信号及び静止画信号）を生成する。画像処理部１２で生成された画像信号は、メモリ部１３にて不図示の半導体メモリ等の記録媒体に記録される。
【００１７】
また、カメラ１は、映像信号から動きベクトルを検出する動きベクトル検出部１４（第２の振れ検出手段）と、ユーザ（撮影者）の操作を認識する操作部１５と、画像信号等を表示する画像表示部１６とを有する。さらに、カメラ１は、撮影レンズ２を含むカメラ１全体の制御を司るカメラ制御部１０を有する。
【００１８】
動きベクトル検出部１４は、映像信号を構成する２つのフレーム画像間において、対応点間の距離（変位）と方向を示す動きベクトルを検出し、その検出結果を示す動きベクトル検出信号を出力する。なお、動きベクトルは、連続する２つのフレーム画像間の動きベクトルに限られるものでは無く、時系列に取得された複数の画像において、前の時刻の画像と現在の時刻の画像を比較することにより得られる動きベクトルであってもよい。
【００１９】
また、カメラ１は、後述するように、ジャイロセンサ２６の角速度信号から生成される振れ検出信号から、動きベクトル検出部１４からの動きベクトル検出信号を減算することで、振れ検出信号に含まれるドリフト誤差を検出する誤差検出部５６を有する。さらに、カメラ１は、振れ検出信号をメモリ部１３に所定期間記録し続けた時間応答履歴から、振れ検出信号に含まれるドリフト誤差を予測する誤差予測部５７を含む。
【００２０】
カメラ制御部１０は、ＣＰＵや内部メモリ等を含むコンピュータとして構成されている。カメラ制御部１０は、撮像に際してタイミング信号や命令をカメラ１内の各部や撮影レンズ２内のレンズ制御部２５に出力する。また、カメラ制御部１０は、操作部１５に含まれるレリーズスイッチがユーザにより半押し操作されることで生成される撮像準備指示としての第１レリーズ信号ＳＷ１に応じて、撮像準備動作（ＡＦ及びＡＥ等）の制御を行う。さらに、レリーズスイッチが全押し操作されることで生成される静止画撮像指示としての第２レリーズ信号ＳＷ２に応じて、静止画の撮像動作（静止画の生成／記録）の制御を行う。
【００２１】
＜誤差予測及び防振制御の概要説明＞
次に、図２を用いて、静止画露光前の期間Ｔ１（第１の撮影期間）及び静止画露光中の期間Ｔ２（第２の撮影期間）におけるドリフト誤差予測及び防振制御の概要について説明する。
【００２２】
図２の上部に示すグラフにおいて、横軸は時間を示し、縦軸はカメラ振れ量を示す。太実線３１は、動きベクトル検出部１４からの動きベクトル検出信号（第２の振れ検出信号）を示し、撮影光学系２０の焦点距離（撮像素子１１上での被写体像の大きさ）等によらず実際のカメラ振れ量に対応する信号値を有するように補正された信号として示している。細実線３２は、ジャイロセンサ２６からの角速度信号が積分されることで生成される振れ検出信号（第１の振れ検出信号。以下、「ジャイロ振れ検出信号」と呼ぶ。）であり、動きベクトル検出信号３１が示すカメラ振れ量と同じカメラ振れ量に対して生成される信号として示している。
【００２３】
また、図２の下部に示すグラフにおいて、細実線３３は、ジャイロセンサ２６において発生するドリフト（ノイズ）に相当する誤差成分（以下、「ドリフト誤差」と呼ぶ。）を誤差検出部５６で検出した誤差検出結果であるドリフト誤差信号を示している。ドリフト誤差は、ジャイロ振れ検出信号３２に含まれているため、ジャイロ振れ検出信号３２は、本来のカメラ振れ量にドリフト誤差が重畳された信号である。
【００２４】
また、一点鎖線３４ａ１，３４ａ２，３４ａ３は、誤差予測部５７で予測された、予測ドリフト誤差信号を示している。静止画露光前の期間Ｔ１の予測ドリフト誤差信号を３４ａ１、静止画露光中の期間Ｔ２の予測ドリフト誤差信号を３４ａ２、静止画露光後の期間Ｔ３の予測ドリフト誤差信号を３４ａ３として表している。
【００２５】
また、二点鎖線３４ｂ２は、期間Ｔ２において予測された予測ドリフト誤差信号３４ａ２をジャイロ振れ検出信号３２から差し引いた信号を示し、これを防振制御において補正に用いられる信号とする。
【００２６】
それぞれの信号は、積分や補正が行われて、同じ次元のブレ信号に変換されている。さらに、グラフ下部のタイミングチャートは、撮像素子１１の露光タイミングを表しており、Ｈが露光中を、Ｌが露光停止時を示している。
【００２７】
図２において、静止画撮影前の期間Ｔ１では、連続的に短時間の露光が撮像素子１１に対し、一定周期で行われ、その結果得られた画像より、動きベクトル検出部１４により動きベクトルが検出される。この期間Ｔ１では、後述するようにジャイロ振れ検出信号３２から動きベクトル検出信号３１を差し引き、ドリフト誤差信号３３の検出を行う誤差検出動作と、ジャイロ振れ検出信号３２の所定期間の時間変動履歴データより誤差を予測する誤差予測動作とが行われる。
【００２８】
この期間Ｔ１において検出される動きベクトル検出信号３１は、取得した画像信号からブレ信号を算出するため、実際の振れ量とほぼ一致する。
【００２９】
一方、ジャイロ振れ検出信号３２には、ドリフト誤差が重畳されているため、ドリフト分の誤差が積算され、動きベクトル検出信号３１と乖離が生じている。そのため、ジャイロ振れ検出信号３２をそのまま防振制御に使用すると、ドリフト誤差分だけ防振精度が低下してしまう。
【００３０】
そのため、本実施形態では、期間Ｔ１においては、防振制御は上記実際の振れ量とほぼ一致する動きベクトル検出信号３１を振れ補正信号として用いて行う。
【００３１】
同時に、誤差検出部５６において、動きベクトル検出信号３１とジャイロ振れ信号３２との差分を取ることで、ジャイロ振れ信号３２に重畳するドリフト誤差成分として、ドリフト誤差信号３３を検出する。検出されたドリフト誤差信号３３は、実際に生じているドリフト誤差とほぼ一致すると考えてよい。
【００３２】
また、ここで、誤差予測部５７により、ジャイロ振れ信号３２の所定時間前から現在までの時間変動履歴データから、ドリフト誤差成分の予測を並行して行う。図２においては、時刻ｔ１において、その時点から所定時間Ｔ’前の時刻までのジャイロ振れ信号３２における時間変動履歴から、ドリフト誤差を予測している例を示している。図では、時刻ｔ１が誤差予測結果３４ａ１の開始点となっている。これ以降の時刻では、同様にその時刻より所定期間Ｔ’前の時刻までの時間変動履歴から、その時点でのドリフト誤差を予測する動作が繰り返されていく。
【００３３】
このように、静止画露光前の期間Ｔ１において、誤差検出と誤差予測の両方を並行して行う。
【００３４】
ここで、実際に生じているドリフト誤差とほぼ等しいドリフト誤差信号３３と、誤差予測結果３４ａ１とは、期間Ｔ１の前半部では両者に乖離がある。つまり、この時点においては誤差予測部５７が、実際に生じているドリフト誤差を正確に予測できていないということになる。
【００３５】
そこで、本実施形態では、誤差予測部５７が下記のように機械学習を行うことで、徐々に両者の差異を減らす方向に修正する動作を行う。
【００３６】
期間Ｔ１においては、誤差検出部５６によるドリフト誤差信号３３と誤差予測部５７による予測ドリフト誤差信号３４ａ１の双方が得られている。ここで、両者の比較を行い、その比較結果をもとに誤差予測部５７において予測演算に用いられるパラメータを変更する。具体的には、ドリフト誤差信号３３を正解の値である教師データとして、予測ドリフト誤差信号３４ａ１が、教師データからどれだけずれているかを検知して、ずれ量が減少するように誤差予測部５７で予測演算に用いるパラメータの修正を行う機械学習を実施する。
【００３７】
期間Ｔ１の間には多数回の短時間露光が行われ、その度に上記比較及びパラメータの修正が、同じ回数だけ行われるものとする。その結果、図２に示す、実際に生じているドリフト誤差とほぼ等しいドリフト誤差信号３３と、予測ドリフト誤差信号３４ａ１は、期間Ｔ１の前半部においてあった両者の乖離は時間が進むに従って減少し、後半部では両者がほぼ一致することになる。
【００３８】
なお、期間Ｔ１における短時間の露光の周期は、一例として、１２０ＦＰＳや２４０ＦＰＳ等に設定される。また、期間Ｔ１において、ユーザが操作部１５に含まれるレリーズボタンを操作することで生成される第１レリーズ信号ＳＷ１に対応して撮像準備動作が行われる。
【００３９】
次に、ユーザが操作部１５を通じて第２レリーズ信号ＳＷ２を発生させることに応じて、時刻ｔ２から開始される期間Ｔ２は、撮像素子１１による静止画撮影の露光を行う期間であり、適正露光になるように定められた所定の時間の露光を行う。
【００４０】
静止画露光中の期間Ｔ２においては、静止画撮影のための長時間の露光が、期間Ｔ２の開始のタイミングである時刻ｔ２から、期間Ｔ２の終了のタイミングである時刻ｔ３の間で行われる。露光が終了した時刻ｔ３以降に撮像素子１１から電荷信号が画像処理部１２へと送信され、静止画撮影の画像を得ることができる。期間Ｔ２の間の露光で得られる画像はこの１枚だけであるため、期間Ｔ２では期間Ｔ１のように短時間の周期で撮像素子１１から画像を連続的に得ることができず、連続する画像間を比較・解析する事で得られる動きベクトルを取得することができない。そのため、期間Ｔ１における動きベクトル検出信号３１を用いた防振制御と、動きベクトルとジャイロ振れ検出信号３２との差をとることによるドリフト誤差検出動作を行うことができない。図２においては、動きベクトル検出信号３１を示す太線と、ドリフト誤差信号３３は、期間Ｔ１の終了する時刻ｔ２で一旦途絶え、期間Ｔ２が終了する時刻ｔ３まで信号が再開しない事で示している。
【００４１】
期間Ｔ２の間に得られる信号は、ジャイロセンサ２６からのジャイロ振れ検出信号３２のみである。また、ドリフト誤差を見積もるためにできる動作は、ジャイロ振れ検出信号３２の時間変動履歴のみを用いて、信号に含まれるドリフト誤差成分を予測する誤差予測動作のみである。
【００４２】
したがって、本実施形態においては、ドリフト誤差に対して、期間Ｔ１においては誤差検出動作と誤差予測動作の双方を行っていたのに対し、期間Ｔ２の間は、誤差検出動作が行えないため、誤差予測動作のみを行い、予測結果を用いて防振制御を行う。防振制御に用いるブレ信号として、ジャイロ振れ検出信号３２から予測ドリフト誤差信号３４ａ２を差し引いた信号を用いる。図２においては、期間Ｔ２中の二点鎖線３４ｂ２がこれに相当する。
【００４３】
ここで、本実施形態における特徴として、誤差予測部５７は、期間Ｔ２の前の期間Ｔ１において、機械学習によって誤差予測部５７で予測演算に用いるパラメータの修正を繰り返し、高精度の誤差予測が可能となっている事が挙げられる。そのため、動きベクトルが得られない期間Ｔ２においても、ジャイロ振れ検出信号３２から誤差信号を精度良く予測することができるようになっている。したがって、ジャイロ振れ検出信号３２と予測ドリフト誤差信号３４ａ２とを用いて、高精度のブレ補正を行うことが可能になる。
【００４４】
期間Ｔ２が終了する時刻ｔ３に開始される期間Ｔ３は、静止画撮影が終わった後の期間であり、再度、期間Ｔ１と同様な短時間の周期的な露光が行われ、誤差検出動作と誤差予測動作とが並行してが行われる。
【００４５】
＜ドリフト誤差検出動作及びブレ補正制御の説明＞
次に図３を用いて、前述した補正に用いるブレ信号の算出動作及び、ブレ補正動作について説明する。図３はブレ信号を算出する信号処理回路のブロック図である。図３（ａ）は、静止画露光前の期間Ｔ１における処理経路を表し、図３（ｂ）は静止画露光中の期間Ｔ２における処理経路を表す。
【００４６】
図３（ａ）に示す様に、静止画露光前の期間Ｔ１において、信号は下記のような経路で処理される。
【００４７】
まず、前述したように、期間Ｔ１において短時間周期の露光を繰り返し、撮像素子１１で連続的に取得された画像は、画像処理部１２、及び動きベクトル検出部１４で処理され、動きベクトル検出信号３１が得られる。なお、Ａ／Ｄ変換器５１のサンプリングレートは、動きベクトル検出部１４で用いられる画像のフレームレートであるサンプリングレートと同じ値に設定されている。得られた動きベクトル検出信号３１は、取得した画像信号からブレ信号を算出するため、実際の振れ量とほぼ一致する。よって期間Ｔ１においては、動きベクトル検出信号３１はブレ補正駆動部６０に送られ、シフトレンズ２４がそれに応じて駆動され、ブレ補正が実施される形で防振制御が行われる。
【００４８】
また、動きベクトル検出信号３１は、バンドパスフィルタ（ＢＰＦ）５３ｂを介してゲイン比較部５４に出力される。
【００４９】
一方、ジャイロセンサ２６からの角速度信号は、アナログデジタル変換器（Ａ／Ｄ）５１でＡ／Ｄ変換された後、積分器５２により一階積分されて、角速度信号から角度信号に変換されてジャイロ振れ検出信号３２となる。ジャイロ振れ検出信号３２は、バンドパスフィルタ（ＢＰＦ）５３ａを介してゲイン比較部５４に出力される。
【００５０】
ＢＰＦ５３ａ，ＢＰＦ５３ｂを介することで、ジャイロ振れ検出信号３２及び動きベクトル検出信号３１からそれぞれ所定帯域の信号が抽出され、ゲイン比較部５４では両者のゲインが比較される。そして、ジャイロ振れ検出信号３２に対しては、ゲイン比較器の結果を受けたゲイン補正部５５により、ゲイン補正が行われる。ジャイロ振れ検出信号３２は角度ブレ信号であるのに対して、動きベクトル検出信号３１は撮像素子１１上のブレ信号になるので、カメラ１が同じブレ方をしても、光学系の焦点距離、被写体距離によって大きさが異なる。そこで、手ブレにあまり含まれない高周波や、ドリフトの誤差が重畳する極低周波領域をＢＰＦ５３ａ，ＢＰＦ５３ｂによりカットしてゲイン比較部５４においてゲイン比較を行い、ゲイン補正部５５によりブレ信号の大きさを同レベルに補正している。
【００５１】
上記ゲイン補正された、ジャイロ振れ検出信号３２及び動きベクトル検出信号３１は、減算器である誤差検出部５６に送られ、ジャイロ振れ検出信号３２から動きベクトル検出信号３１を減算する。これにより、ジャイロ振れ検出信号３２に重畳するドリフト誤差信号３３の検出が行われる。
【００５２】
また、ゲイン補正部５５を介したこの時点におけるジャイロ振れ検出信号３２は、メモリ部１３にも送られ、その値が記録される。
【００５３】
メモリ部１３では、上記のようにジャイロ振れ検出信号３２が得られる度に記録が行われ、所定時間前から現時点までの時間変動履歴が保持される。また、メモリ部１３には、後述する誤差予測で使用される重み付けパラメータの係数が記録されている。
【００５４】
次に、メモリ部１３に記録された所定時間前から現時点までのジャイロ振れ検出信号３２の時間変動履歴及び誤差予測で使用される重み付けパラメータの係数を読み出して、続く誤差予測部５７に送信する。
【００５５】
誤差予測部５７においては、所定時間前から現時点までのジャイロ振れ検出信号３２の時間変動履歴データを入力データとして、また、共に読み込んだ重み付けパラメータの係数を使用して、現時点におけるドリフト誤差信号の演算予測を行う。本実施形態では、誤差予測部５７は、ＲＮＮタイプのニューラルネットワーク構成を用いて行うものとし、その詳細は後述する。
【００５６】
次に、誤差検出部５６からのドリフト誤差信号３３と、誤差予測部５７からの予測ドリフト誤差信号３４ａ１が比較部５８に送付され、両者の比較が行われる。これはＲＮＮにおいては、教師信号として誤差検出部５６からのドリフト誤差信号３３を用いて、誤差予測部５７による予測ドリフト誤差信号３４ａ１の値の評価を行っていることにあたる。
【００５７】
その結果がパラメータ修正部５９に送付され、誤差予測部５７における誤差予測で用いられる重み付けパラメータの係数が再計算されて修正される。修正された重み付けパラメータの係数は、メモリ部１３に送られて上書き保存される。次回以降の予測には、この修正済みの重み付けパラメータが使用される。そして、時刻が進み新たなデータが得られる度に再修正するといった学習のサイクルを繰り返して行うことで、徐々に、重み付けパラメータの最適化が行われ、誤差が減り、誤差予測部５７による予測精度が向上する。静止画露光前には前述のように１２０ＦＰＳ〜２４０ＦＰＳの頻度の動きベクトル及び角速度信号の取得機会があり、それと同回数の頻度の学習機会がある。
【００５８】
上記の様に、期間Ｔ１では、動きベクトル検出部１４からの動きベクトル検出信号３１による防振制御が行われる。また、それと並行して、動きベクトル検出信号３１とジャイロ振れ検出信号３２の差分による誤差検出動作と、ジャイロ振れ検出信号３２の時間変動履歴から誤差予測動作とを行う。そして、ドリフト誤差信号３３を教師データとして予測ドリフト誤差信号３４ａ１を評価する。それを受けて誤差予測動作に用いる重み付け係数を修正する機械学習を行う。
【００５９】
上記の様に信号処理を行う経路では、スイッチＳＷ１、スイッチＳＷ２は接続され、スイッチＳＷ３は、端子０側に接続される。また、ジャイロ振れ検出信号３２がブレ補正駆動部６０に送られないように、スイッチＳＷ４は非接続とされる。
【００６０】
次に、図３（ｂ）を用いて、静止画露光中の期間Ｔ２における信号の処理経路について説明する。期間Ｔ２の間、信号は下記のような経路で処理される。
【００６１】
静止画露光が開始され、期間Ｔ２が開始すると、期間Ｔ１において繰り返されていた短時間周期の露光による画像の連続取得ができなくなるため、動きベクトルが取得できなくなる。そのため、この期間では、動きベクトル検出部１４からのスイッチＳＷ２を非接続として、信号が出力されないようにしておく。また、ジャイロセンサ２６からのジャイロ振れ検出信号３２は得られるが、動きベクトル検出部１４からの動きベクトル検出信号３１が出力されないので、両者の減算処理等ができない。よって、ゲイン補正部５５から誤差検出部５６までの経路におけるスイッチＳＷ１も非接続とし、ジャイロ振れ検出信号３２が誤差検出部５６に届かない状態にする。
【００６２】
ジャイロ振れ検出信号３２は、ゲイン補正部５５を経た後はメモリ部１３にのみ送られ、その時点での該ブレ信号の値がメモリ部１３に記録される。メモリ部１３には前述のように所定時間前から現時点までのジャイロ振れ検出信号３２の時間変動履歴が記録されていると共に、期間Ｔ１において機械学習によって修正された誤差予測動作に用いる補正パラメータデータも記録されている。次に、メモリ部１３に記憶された時間変動履歴及び補正パラメータの値が読み出されて、誤差予測部５７に送信される。
【００６３】
誤差予測部５７においては、現時点までのブレ信号の所定期間の時間変動履歴を入力データとして、読み込んだ補正パラメータを用いてドリフト誤差の予測を行う。
【００６４】
スイッチＳＷ３は、期間Ｔ２では端子１側に接続され、誤差予測部５７で予測された予測ドリフト誤差信号３４ａ２は、端子１側に接続されたスイッチＳＷ３部を介して、ブレ補正駆動部６０に送られる。また、スイッチＳＷ４を接続することで、ジャイロ振れ検出信号３２もブレ補正駆動部６０に入力される。ブレ補正駆動部６０では、ジャイロ振れ検出信号３２から予測ドリフト誤差信号３４ａ２を差し引くことで、振れ補正信号を生成し、これを受けたシフトレンズ２４が前述と同様に駆動され、ブレ補正が実施される形で防振制御が行われる。
【００６５】
このように、期間Ｔ２中において得られるジャイロ振れ検出信号３２を用いたドリフト誤差の推定が可能となり、期間Ｔ２中における誤差傾向の変動にも対応した、より高精度な誤差予測及び防振制御が可能となる。
【００６６】
なお、Ａ／Ｄ５１、積分器５２、ＢＰＦ５３ａ，５３ｂ、ゲイン比較部５４、ゲイン補正部５５、ブレ補正駆動部６０は、レンズ制御部２５に構成される。もちろん、これらの構成の一部または全部をレンズ制御部２５とは別に構成しても良い。また、比較部５８及びパラメータ修正部５９は、カメラ制御部１０に構成される。もちろん、これらの構成の一部または全部をカメラ制御部１０とは別に構成しても構わない。
【００６７】
以上のように、本実施形態では、静止画露光前の期間Ｔ１においては防振制御を動きベクトル信号を用いて行う。これと並行してジャイロ振れ検出信号から動きベクトル検出信号を差し引いた誤差検出結果と、ジャイロ振れ検出信号の時間変動履歴から予測した誤差予測結果を比較して機械学習を行う。そして、静止画露光中の期間Ｔ２においては、期間Ｔ１において機械学習させて精度を上げた誤差予測演算によって、ジャイロ振れ検出信号から誤差を予測し、それを用いて防振制御を行う。このような制御により、静止画露光中においても高精度の誤差予測と防振制御を行うことが可能となる。
【００６８】
＜ドリフト誤差予測方法の説明＞
これまでにジャイロセンサ２６からのブレ信号の時間変動履歴から現時点でのドリフト誤差を予測することについて述べてきたが、誤差予測方法の一例として、以下の手法を挙げ、その説明を行う。
【００６９】
信号の時間変動履歴を入力とする予測においては、様々な手法が適用できるが、本実施形態においては一例として、ＲＮＮ（再起型ニューラルネットワーク）処理によりジャイロ振れ検出信号３２に含まれるドリフト誤差成分を予測する方法について説明する。なお、ＲＮＮは一例であって、機械学習により、ジャイロ振れ検出信号３２を入力として、そこに含まれるドリフト誤差成分を出力する補正方法であれば、本発明を適用可能である。
【００７０】
まず、図４を用いて、入力信号ｘ（ｔ）に対する出力信号ｙ（ｔ）の相関性について説明する。入力信号ｘ（１）、ｘ（２）、ｘ（３）・・・、ｘ（ｔ）は、時刻ｔ＝１、２、３・・・ｔの時点での入力信号を示す。これらは、各々の時刻ｔにおいてジャイロセンサ２６から出力されてメモリ部１３に記録されたブレ信号に相当し、誤差予測が行われる際に読み出されて誤差予測部５７まで伝達される。出力信号ｙ（ｔ）は、時刻ｔにおいて誤差予測部５７が上記入力を受けて出力するドリフト誤差予測結果の信号である。出力信号ｙ（ｔ）は、期間Ｔ１においては比較部５８に送信され、期間Ｔ２においてはブレ補正駆動部６０に送られる。
【００７１】
入力信号は、所定時間前から現在の時刻ｔまでの時間変動履歴として、誤差予測部５７に入力される。図４に示す様に、現在の時刻ｔをｔ＝Ｔとした場合には、出力ｙ（Ｔ）を得るために、実線で囲まれたＴ個の入力信号ｘ（１）、ｘ（２）、ｘ（３）・・・、ｘ（Ｔ）が誤差予測演算であるＲＮＮ処理に用いられる。同様に、時刻Ｔ＋１での出力ｙ（Ｔ＋１）を得る場合には、点線で囲まれたＴ個の入力信号ｘ（２）、ｘ（３）、ｘ（４）、・・・、ｘ（Ｔ＋１）を用いる。また、同様に時刻Ｔ＋２での出力ｙ（Ｔ＋２）を得る場合には、一点鎖線で囲まれたＴ個の入力信号ｘ（３）、ｘ（４）、ｘ（５）、・・・、ｘ（Ｔ＋２）が用いられ、この後の時刻についても同様に行われる。
【００７２】
上記の様に、時間変動履歴データが入力されると、ＲＮＮは、所定時間前から現在の時刻ｔまでの複数の入力信号ｘのデータから、現在の出力ｙ（ｔ）を一つ出力する。
【００７３】
また、ＲＮＮからの出力ｙ（ｔ）は、別の手段で検出された検出誤差ｙ’（ｔ）を教師データとして、両者の値の差異を用いて、誤差予測演算に用いられるパラメータを修正する機械学習を行う。教師データである検出誤差ｙ’（ｔ）は、前述のジャイロセンサ２６からのジャイロ振れ検出信号３２と動きベクトル検出部１４からの動きベクトル検出信号３１との差分から算出されたドリフト誤差信号３３に相当する。
【００７４】
出力ｙ（ｔ）と教師データｙ’（ｔ）は、両者の差異を元に、その差異を最小化する方向で、誤差予測演算で用いられる後述の重み付けパラメータを修正する形で機械学習が行われる。この時、出力ｙ（ｔ）と教師データｙ’（ｔ）を用いてのコスト関数Ｅ（ｙ、ｙ’）が設定される。一例として、コスト関数を最小二乗誤差で表現すると、下記の式（１）により表される。
E(y(t),y’(t)) = Σi=0〜T { y(t-i) - y’(t-i) }2      …（１）
【００７５】
上記コスト関数Ｅの値が最小化するように誤差逆伝播法等を用いて、後述するＲＮＮの処理に用いられる重み付けパラメータ等の再計算を行う。そして、修正したパラメータをメモリ部１３に保存して、次回以降はそれを使用するといった形式で機械学習を行う。上記例では、最小二乗誤差をコスト関数として示したが、本発明はこれに限られるものではなく、クロスエントロピー等の他の誤差関数を用いてもよく、機械学習に使用し、教師データと出力との差異を低減可能なコスト関数であればよい。
【００７６】
次に図５を用いて、ジャイロ振れ検出信号３２の現在の時刻Ｔまでの時間変動履歴ｘ（１），ｘ（２），ｘ（３），・・・，ｘ（Ｔ）を入力した際に、現在の時刻Ｔにおけるドリフト誤差ｙ（Ｔ）を出力するＲＮＮの構成について説明を行う。図５に示すように、ＲＮＮは入力層、隠れ層、出力層の複層構造がとられている。
【００７７】
最上段が入力層で、ジャイロ振れ検出信号３２について、現在の時刻ｔ＝Ｔから所定時間前までの時間変動履歴ｘ（１），ｘ（２），ｘ（３），・・・，ｘ（Ｔ）のＴ個のデータが入力される。この例では、所定時間ΔＴは、前述と同じくΔＴ＝（Ｔ−１）である。
【００７８】
中央の段が隠れ層であり、ｈ（ｔ）の値をとる。ｈ（ｔ）は、入力層ｘ（ｔ）の値と一つ前の隠れ層の値ｈ（ｔ−１）の双方の影響を受けて決定される。入力層ｘ（ｔ）は図示の重み付け係数行列Ｗinを通して、また、一つ前の隠れ層の値ｈ（ｔ−１）は図示の重みつけ係数行列Ｗhidを通して隠れ層に伝達され、ｈ（ｔ）の値が決定される。
【００７９】
時刻ｔにおいて、隠れ層へ入力されるジャイロ振れ検出信号３２と時刻ｔ−１の際の隠れ層の値の合計をｕ（ｔ）とすると、ｕ（ｔ）は、
u(t) = Win × x(t) + Whid × h(t-1)      …（２）
と表される。
【００８０】
この時、時刻ｔでの隠れ層の値ｈ（ｔ）は、
h(t) = f1(u(t))      …（３）
で表される。ｆ1は活性化関数であり、tanhや、sigmoid関数等を用いることができる。
【００８１】
図５の例では、時刻ｔ＝Ｔの際の隠れ層の値ｈ（Ｔ）を決定するために、同じく時刻ｔ＝Ｔの時点での入力信号ｘ（Ｔ）と、一つ前の時刻の隠れ層の値ｈ（Ｔ−１）を上記重み付け係数をかけた上で入力している。
【００８２】
ここで、一つ前の時刻の隠れ層の値ｈ（Ｔ−１）も、さらに一つ前の時刻の隠れ層の値ｈ（Ｔ−２）に影響されて決定されており、その隠れ層の値ｈ（Ｔ−２）もさらに前の時刻の隠れ層の値に影響されるように、隠れ層を通じて影響が伝播している。
【００８３】
最初の時刻ｔ＝１での隠れ層の値ｈ（１）を算出するため、隠れ層は図示のように初期値ｈ（０）が設定されている。
【００８４】
最後に、最下段が出力層であり、上記時系列の影響が伝播された隠れ層の値ｈ（ｔ）が重みつけ係数行列Ｗoutを通して出力層に伝達され、出力ｙ（ｔ）の値が決定される。
【００８５】
出力層へと入力される隠れ層からの信号をｖ（ｔ）とすると、ｖ（ｔ）は、
v(t) = Wout × h(t)      …（４）
で表される。
【００８６】
この時、出力層のｙ（ｔ）は、活性化関数ｆ2を用いて、
y(t)  = f2 (v(t))      …（５）
で表される。
【００８７】
ｆ2はｆ1と同様に活性化関数であり、tanhや、sigmoid関数等を用いることができる。
【００８８】
図５の例では、時刻ｔ＝Ｔでの隠れ層の値ｈ（Ｔ）が上記重み付け係数Ｗoutをかけた上で入力されて、出力ｙ（Ｔ）が得られている。
【００８９】
上記の様に、前の時刻の値が次の時刻の隠れ層の値に影響を及ぼすといった動作を繰り返す構成により、所定期間の時間変動履歴が出力ｙ（ｔ）の値に影響を与える事を達成できており、これがＲＮＮの大きな特徴となっている。
【００９０】
また、教師データが得られた場合に、上記ＲＮＮにおいて使用される重みつけ係数Ｗin、Ｗhid、Ｗoutを修正する方式を以下に示す。
【００９１】
上記ジャイロ振れ検出信号ｘ（ｔ）の時間変動履歴から、現在の時刻でのドリフト誤差ｙ（ｔ）をＲＮＮで予測すると同時に、ジャイロ振れ検出信号３２と動きベクトル検出信号３１との差分であるドリフト誤差信号３３が、ドリフト誤差の教師データｙ’（ｔ）として得られているものとする。
【００９２】
この時、出力ｙ（ｔ）と教師データｙ’（ｔ）との差異から、機械学習を行い、前述の重み付け係数Win、Whid、Woutを修正する。
【００９３】
修正後の重みつけ係数をＷin’として、式（１）に示すコスト関数Ｅ（ｙ、ｙ’）に対し、学習率ηを設定し、コスト関数Ｅを重み付け係数Ｗinで微分すると、次の形で表すことができる。
Win’ ＝Win − η × ∂E(y(t), y'(t)) / ∂Win      …（６）
【００９４】
学習率ηは初期値としてはガウス分布等の確率分布に従う乱数とする。コスト関数Ｅは前述のように最小二乗誤差やクロスエントロピー等を用いる。
【００９５】
上記式より、勾配降下法及び誤差逆伝播法によってＷinパラメータの最適化を行う。同様にＷhid、Ｗoutについてもコスト関数Ｅ（ｙ、ｙ’）をそれぞれの重み付け係数で微分し、勾配降下法及び誤差逆伝播法によってパラメータの最適化を行えばよい。勾配降下法及び誤差逆伝播法については非特許文献１に記載の方法を用いればよい。
【００９６】
上記の通り本実施形態では、ジャイロ振れ検出信号ｘ(ｔ)の時間変動履歴を入力とし、ジャイロ振れ検出信号に重畳するドリフト誤差成分である出力ｙ（ｔ）の算出を、前の時刻のデータを反映させる隠れ層を用いるＲＮＮの構成で可能としている。
【００９７】
＜機械学習によるドリフト誤差予測及び防振制御動作のフローチャート＞
これまでに原理を説明した、本実施形態におけるドリフト誤差予測機能を有するカメラの動作について、図６のフローチャートに従って説明する。
【００９８】
カメラ電源がＯＮされて処理が開始されると、Ｓ１０１において、撮像素子１１がスルー画像を取得開始し、画像信号を画像処理部１２を経由してカメラ制御部１０に送信し、カメラ制御部１０は取得したスルー画像を画像表示部１６に表示する。
【００９９】
次にＳ１０２において、静止画露光開始動作がなされたか否かの判定を行う。静止画露光開始動作は、カメラ１における操作部１５によって行われ、一例として、カメラ１のレリーズボタンを押下し、第２レリーズ信号ＳＷ２が発生される動作によって行われる。静止画露光開始動作が行われていなければＳ１０３に進み、静止画露光開始動作が行われていれば、Ｓ２００に進む。
【０１００】
静止画露光が開始されなかった場合、Ｓ１０３では、ジャイロセンサ２６によるジャイロ振れ検出信号３２と、動きベクトル検出部１４からの動きベクトル検出信号３１を取得し、Ｓ１０４に進む。
【０１０１】
Ｓ１０４では、動きベクトル検出信号３１のみを用いて振れ補正信号を作成し、Ｓ１０５に進む。
【０１０２】
Ｓ１０５では、ジャイロ振れ検出信号３２から動きベクトル検出信号３１を差し引くことで、前述のようにドリフト誤差信号３３を求める。これは図３（ａ）の誤差検出部５６（減算器）を用いて行われる。
【０１０３】
Ｓ１０６では、メモリ部１３から読み出したジャイロ振れ検出信号３２の所定時間前から現在の時刻までの時間変動履歴を入力データとして、現時点での予測ドリフト誤差信号３４ａ１を検出する動作を、上述したＲＮＮの構成を用いて行う。ＲＮＮによって、現時点より前の時刻のデータを参照にして、現時点でのドリフト誤差を予測することができる。
【０１０４】
Ｓ１０７では、Ｓ１０５で求めた誤差検出結果を教師データとして、Ｓ１０６で求めた誤差予測結果と比較して、誤差予測演算に用いる重み付け係数の修正を行う。本実施形態では、ＲＮＮに用いられる前述の重み付け係数Win、Whid、Woutの修正を行う。
【０１０５】
Ｓ１０８において、Ｓ１０７で修正された重み付け係数のデータをメモリ部１３に上書きして記録することで、誤差予測演算に用いる重み付け係数の更新を行い、Ｓ１０９に進む。
【０１０６】
Ｓ１０９においては、Ｓ１０４において作成されたブレ信号を用いてブレ補正駆動部６０がシフトレンズ２４を駆動させて、ブレ補正制御を行い、Ｓ１０１のスルー画像の取得に戻る。
【０１０７】
一方、Ｓ１０２において静止画露光が開始されていたと判定された場合、Ｓ２００において、ジャイロ振れ検出信号３２のみを取得して、Ｓ２０１に進む。
【０１０８】
次にＳ２０１においては、Ｓ１０６と同様に、メモリ部１３から読み出したジャイロ振れ検出信号の所定時間前から現在の時刻までの時間変動履歴を入力データとして、現時点での予測ドリフト誤差信号３４ａ２を求め、Ｓ２０２に進む。
【０１０９】
Ｓ２０２においては、後に続くブレ補正制御に用いる振れ補正信号を、ジャイロ振れ検出信号３２から、Ｓ２０１で予測した予測ドリフト誤差信号３４ａ２を差し引くことで作成して、Ｓ２０３に進む。
【０１１０】
Ｓ２０３においては、Ｓ２０２において作成された振れ補正信号を用いてブレ補正駆動部６０がシフトレンズ２４を駆動させて、ブレ補正制御を行い、Ｓ２０４に進む。
【０１１１】
Ｓ２０４においては所定時間、待機した後、Ｓ２０５に進む。
【０１１２】
Ｓ２０５においては、静止画露光終了の動作がなされたか否かの判定を行う。静止画露光終了の動作は、カメラ１における操作部１５に対する使用者の動作によって行われる。これは、一例として、Ｓ１０２において押下されていたレリーズボタンから、指を離す動作によって、第２レリーズ信号ＳＷ２がＯＦＦにされることが挙げられる。そして、静止画露光終了動作が行われていなければＳ２００に戻り、静止画露光を継続したまま、現時点でのジャイロ振れ検出信号を再び取得する。静止画終了露光終了動作が行われていれば、撮影された静止画を保存した上で、Ｓ１０１に戻り、スルー画像の取得を始める。
【０１１３】
上記Ｓ１０３〜Ｓ１０９は前述の静止画露光前の期間Ｔ１における動作であり、防振制御には動きベクトル検出部１４からの動きベクトル検出信号３１を用いつつ、並行して誤差検出結果を教師データとして誤差予測結果と比較し、重み付け係数の修正を機械学習で行っている。
【０１１４】
Ｓ２００〜Ｓ２０５は前述の静止画露光中の期間Ｔ２における動作であり、ジャイロセンサ２６からのジャイロ振れ検出信号３２を用いて誤差予測を行う。そして、得られた予測ドリフト誤差信号をジャイロ振れ検出信号３２から差し引いて作成した信号を用いて防振制御を行っている。
【０１１５】
上記処理により、Ｓ１０３〜Ｓ１０９の静止画露光前の期間において機械学習により精度が向上した誤差予測演算により、Ｓ２００からの静止画露光中の期間においても、ジャイロセンサ２６に重畳されるドリフト誤差を精度良く予測できる。これにより、動きベクトルが得られない静止画露光中の期間においても、予測された誤差を用いて振れ補正信号を作成することで、高精度の防振制御を行う事ができる。
【０１１６】
＜他の実施形態＞
なお、上述した実施形態では、撮像装置に搭載された、複数の振れ検出手段を有する防振制御装置について説明したが、本発明はこれに限られるものでは無い。例えば、複数の振れ検出手段の内、低周波ノイズの影響を受けにくい振れ検出手段が何らかの理由により使用できなくなる、防振制御を必要とする装置に適用することが可能である。
【０１１７】
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１１８】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【０１１９】
１：カメラ、２：撮影レンズ、１０：カメラ制御部、１１：撮像素子、１２：画像処理部、１３：メモリ部、１４：動きベクトル検出部、２４：シフトレンズ、２５：レンズ制御部、２６：ジャイロセンサ、５６：誤差検出部、５７：誤差予測部、５８：比較部、５９：パラメータ修正部、６０：ブレ補正駆動部
【図１】
2020187259.tif 000003
【図２】
2020187259.tif 000004
【図３】
2020187259.tif 000005
【図４】
2020187259.tif 000006
【図５】
2020187259.tif 000007
【図６】
2020187259.tif 000008