(57)【要約】【課題】ブレ補正効果が高く、大きな手振れに対しても適切なブレ補正動作を行うことができるブレ補正カメラを提供する。【解決手段】振動を検出して振動検出信号を出力する角速度センサ１０と、振動検出信号の基準値をローパスフィルタを用いて演算する基準値演算部（３１）と、ブレ補正レンズ７０を用いてブレ補正を行う光学式ブレ補正動作に加えて画像回復によりブレ補正を行う又は画像回復によりブレ補正を行うための準備を行う画像回復モードを行うか否かを選択するブレ補正モード選択スイッチ１９３とを備え、駆動制御部３０は、ブレ補正モード選択部の選択状態に応じて、ブレ補正モード選択部が画像回復を行う選択状態のカットオフ周波数を、ブレ補正モード選択部が画像回復を行わない選択状態のカットオフ周波数よりも高周波数側に変更するようにする。【選択図】図１
2004205808.tif 000002
【特許請求の範囲】
【請求項１】
振動を検出して振動検出信号を出力する振動検出部と、
前記振動検出信号の基準値を演算する基準値演算部と、
前記基準値及び前記振動検出信号に基づいて駆動され、像ブレを補正するブレ補正光学系と、
前記振動検出信号及び前記基準値に基づいて前記ブレ補正光学系の動作を制御する駆動制御部と、
画像処理により像のブレを補正する画像回復に必要な点像分布関数を前記基準値に基づいて演算する点像分布関数演算部と、
前記ブレ補正光学系を用いてブレ補正を行う光学式ブレ補正動作に加えて前記画像回復によりブレ補正を行う又は前記画像回復によりブレ補正を行うための準備を行う画像回復モードを行うか否かを選択するブレ補正モード選択部と、
を備え、
前記駆動制御部は、前記ブレ補正モード選択部の選択状態に応じて、前記ブレ補正光学系の制御内容を変更すること、
を特徴とするブレ補正カメラ。
【請求項２】
請求項１に記載のブレ補正カメラにおいて、
前記駆動制御部は、前記ブレ補正モード選択部の選択状態に応じて、前記基準値の演算方法を変えることにより、前記ブレ補正光学系の制御内容を変更すること、
を特徴とするブレ補正カメラ。
【請求項３】
請求項１又は請求項２に記載のブレ補正カメラにおいて、
前記基準値演算部は、ローパスフィルタを用いて基準値を演算し、
前記駆動制御部は、前記ローパスフィルタのカットオフ周波数を変更することにより、前記ブレ補正光学系の制御内容を変更すること、
を特徴とするブレ補正カメラ。
【請求項４】
請求項１から請求項３までのいずれか１項に記載のブレ補正カメラにおいて、
前記駆動制御部は、前記ブレ補正モード選択部が画像回復を行う選択状態のカットオフ周波数を、前記ブレ補正モード選択部が画像回復を行わない選択状態のカットオフ周波数よりも高周波数側に変更すること、
を特徴とするブレ補正カメラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、手振れ等による振動を検出し、像のブレを補正するブレ補正カメラに関し、特に、光学式ブレ補正の他に、画像回復に対応したブレ補正カメラに関するものである。
【０００２】
【従来の技術】
従来から撮影時に生じる手ブレによる撮像画像の劣化を防ぐため、ブレ補正機能を付けたカメラが知られている。ブレを補正する方法として大別して以下に示す２つの手法がある。
１つ目のブレ補正手法は、角速度センサ、加速度センサなどの振動検出センサによりカメラの振動を検出して、その検出量に応じて撮影レンズや可変頂角プリズムなどの光学系を駆動してブレ補正を行う光学式ブレ補正手法である（例えば、特許文献１，２参照）。
２つ目のブレ補正手法は、撮像された画像と一時的にメモリ記憶された前画像との差分からブレ量を求め画像読み出し時にブレ補正する電子式的補正法である（例えば、特許文献３参照）。これら２つの手法は、いずれも撮影時にブレ補正をリアルタイムで行う方法である。
【０００３】
一方、上述の手法とは別のブレ補正手法であって従来から知られた技術として、劣化画像を手ブレやぼけのない画像に回復する技術が知られている。例えば、特許文献４には、撮影時のブレによる画像劣化を点像分布関数で表し、この点像分布関数に基づいてブレのない画像に回復する手法が開示されている。また、カメラにブレ検出手段のみを設けて手ブレ情報を記録し、再生時にその情報を用いて画像回復処理を行うことによりブレを補正する技術が知られている（例えば、特許文献５〜７参照）。
【０００４】
ここで、画像回復処理の具体的方法について説明する。画像回復とは、ブレの情報を利用してブレた画像を処理し、ブレの少ない画像に回復するものである。今、（ｘ，ｙ）を画面上の位置座標とし、ブレのない時の画像（以下、元画像）をｏ（ｘ，ｙ）、ブレによって劣化した画像（以下、ブレ画像）をｚ（ｘ，ｙ）、ブレによって広がった点像の情報（以下、点像関数）をｐ（ｘ，ｙ）とすると、この３つは、次の関係を満たす。
【０００５】
【数１】
2004205808.tif 000003
【０００６】
ここで、＊は、コンボリューション（畳み込み積分）演算を表すもので、具体的には、以下の式で表される。
【０００７】
【数２】
2004205808.tif 000004
【０００８】
これをフーリエ変換して空間周波数（ｕ，ｖ）領域にすると、数１，２は、以下の式のようになる。
【０００９】
【数３】
2004205808.tif 000005
【００１０】
ここで、Ｚ（ｕ，ｖ）、Ｏ（ｕ，ｖ）、Ｐ（ｕ，ｖ）は、それぞれｚ（ｘ，ｙ）、ｏ（ｘ，ｙ）、ｐ（ｘ，ｙ）のスペクトルである。また、数３において、Ｐ（ｕ，ｖ）は、特に空間周波数伝達関数と呼ばれている。
ここで、ブレ画像ｚ（ｘ，ｙ）に加えて、何らかの方法により点像関数ｐ（ｘ，ｙ）を知ることができれば、それぞれのスペクトルを算出し、数３を変形した以下の数４を利用することで、元画像のスペクトルＯ（ｕ，ｖ）を算出することができる。
【００１１】
【数４】
2004205808.tif 000006
【００１２】
数４において、１／Ｐ（ｕ，ｖ）は、特に逆フィルタと呼ばれている。数４により算出したスペクトルを逆フーリエ変換すれば、元画像ｏ（ｘ，ｙ）を求めることができる。
【００１３】
図１３，図１４は、従来の画像回復を説明する図である。
ここでは、簡単のために、ブレは、図１３（ｂ）に示すように一軸（Ｘ軸）方向に一様に発生したものとする。
この点像分布関数の断面をとると、図１４（ａ）のようになる。これをフーリエ変換したものが図１４（ｂ）であり、これが図１３（ａ）に示すブレの空間周波数伝達関数である。この伝達関数で注目すべきところは、値が０となっているところが何カ所かある点である。これを逆フィルタにすると図１４（ｃ）に示すように、無限大となってしまうところが存在する。これを数４に適用すると、ある特定の空間周波数に関しては、以下に示す数５のようになってしまい、元画像のスペクトル値は不定となる。
【００１４】
【数５】
2004205808.tif 000007
【００１５】
伝達関数が０であるということは、ブレによって伝達されない（＝情報が失われる）周波数成分が存在するということであり、この式は、失われた周波数成分は、回復できないことを示している。これは、元画像を完全に回復させることができないことを意味している。
なお、実際には、逆フィルタが無限大とならないよう、以下の式で表されるウィナーフィルタを画像回復に使用する。
【００１６】
【数６】
2004205808.tif 000008
【００１７】
図１４（ｄ）は、ウィナーフィルタをグラフにしたものである。
ウィナーフィルタにすることにより、数５のようにＯ（ｕ，ｖ）が不定となるところはなくなる。
【００１８】
【特許文献１】
特開昭６１−２４０７８０号公報
【特許文献２】
特開昭６１−２２３８１９号公報
【特許文献３】
特開昭６３−１８７８８３号公報
【特許文献４】
特開昭６２−１２７９７６号公報
【特許文献５】
特開平６−２７６５１２号公報
【特許文献６】
特開平６−３４３１５９号公報
【特許文献７】
特開平７−２２６９０５号公報
【００１９】
【発明が解決しようとする課題】
しかし、上述した従来の光学式ブレ補正及び画像回復には、以下に示す問題があった。
（光学式ブレ補正の問題）
光学式ブレ補正では、振動を検出するセンサとして一般に角速度センサが用いられている。角速度センサから検出された角速度を角度に変換するためには動作時のセンサ静止時の出力値（基準値）が必要であり、この基準値は、温度によるドリフトの影響を受けやすいことが知られている。この問題について図１５（ａ），（ｂ）を参照して詳しく説明する。
【００２０】
図１５は、ドリフト成分を含む角速度センサ出力、基準値の出力、像面でのブレ量を示す図である。
図１５（ａ）は、時間に対する角速度センサ出力値の変化を示したものであり、説明を簡単にするために正弦波で手ブレが生じている場合を想定している。図１５（ａ）において、波形ｅ０は、正弦波で手ブレが生じている時のブレセンサの出力を表している。また、波形ｅ１、ｅ２は、いずれもローパスフィルタで演算された基準値でり、波形ｅ１の遮断周波数は、波形ｅ２よりも低く設定されている。図１５（ａ）では、出力値が環境条件の影響で時間の経過とともに振動中心がずれていき、ドリフトしている。
【００２１】
図１５（ｂ）は、図１５（ａ）の角速度センサ出力と基準値とを利用してブレ補正した時の像面ブレ量を示したものである。図１５（ｂ）中の波形ｆ０，ｆ１，ｆ２は、それぞれ図１５（ａ）中の波形ｅ０，ｅ１，ｅ２に対応し、波形ｆ０は、ブレ補正を全く行わなかったときの像面のブレ量を表している。波形ｆ１は、波形ｆ２に比較して、低い遮断周波数の基準値ｅ１を使用することにより、高い周波数成分はカットされているものの時間経過とともにブレ量が大きくなってしまっている。逆に波形ｆ２は、波形ｆ１よりも基準値の遮断周波数が高くなっているため、ｆ１よりもドリフトは小さくなっているが、手ぶれによる高周波成分を除くことができていない。このように、手ブレによる像ブレの除去とドリフトの影響を少なくすることは相反する問題であり、像ブレを十分に補正し、かつ、ドリフトの影響が少なくなるようにローパスフィルタの遮断周波数を設定することが難しい。そのため検出したブレ量には、必ず検出誤差が生じ、光学式ブレ補正を行っても得られる画像にブレが残るという問題があった。
【００２２】
また、光学式ブレ補正では、ブレ補正光学系を駆動して撮影光学系の光軸を偏向することにより像ブレを補正するので、ブレ補正光学系の可動範囲を超える補正はすることができない。したがって、大きな振れに対しては適切なブレ補正駆動を行うことができないという問題があった。
【００２３】
（画像回復の問題）
次に、画像回復の問題について説明する。
従来からブレ画像をウィナーフィルタを用いて回復処理することにより得られた画像は、元画像に比べ解像が向上することは知られている。しかし、Ｐ（ｕ’，ｖ’）≒０となる空間周波数（ｕ’，ｖ’）では、フィルタの値が大きくなるため、画像に含まれるノイズがその空間周波数成分を含む場合、ノイズ成分を増幅してしまう。その結果、画像に不必要な縞模様を生じ画質を低下させてしまうという問題があった。この縞模様は、元のブレが小さければそれほど大きな問題にはならないが、ブレが大きい場合に顕著に現れるので問題となるケースが多かった。
【００２４】
また、従来の画像回復処理機能を設けたカメラは、光学的にブレ補正できるものはなく、単に角速度センサなどのブレセンサからの出力データを記録し、再生時にそれらブレ情報に基づいて回復処理するというものであった。そのため、画像のブレが大きくなりすぎると、画像回復処理を行っても前述の縞模様等の影響で画質が改善されないという問題があった。
【００２５】
本発明の課題は、ブレ補正効果が高く、大きな手振れに対しても適切なブレ補正動作を行うことができるブレ補正カメラを提供することである。
【００２６】
【課題を解決するための手段】
本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。すなわち、請求項１の発明は、振動を検出して振動検出信号を出力する振動検出部（１０）と、前記振動検出信号の基準値を演算する基準値演算部（３１）と、前記基準値及び前記振動検出信号に基づいて駆動され、像ブレを補正するブレ補正光学系（７０）と、前記振動検出信号及び前記基準値に基づいて前記ブレ補正光学系の動作を制御する駆動制御部（３０）と、画像処理により像のブレを補正する画像回復に必要な点像分布関数を前記基準値に基づいて演算する点像分布関数演算部（１００）と、前記ブレ補正光学系を用いてブレ補正を行う光学式ブレ補正動作に加えて前記画像回復によりブレ補正を行う又は前記画像回復によりブレ補正を行うための準備を行う画像回復モードを行うか否かを選択するブレ補正モード選択部（１９３）と、を備え、前記駆動制御部は、前記ブレ補正モード選択部の選択状態に応じて、前記ブレ補正光学系の制御内容を変更する（Ｓ４００，Ｓ６００）こと、を特徴とするブレ補正カメラである。
【００２７】
請求項２の発明は、請求項１に記載のブレ補正カメラにおいて、前記駆動制御部（３０）は、前記ブレ補正モード選択部（１９３）の選択状態に応じて、前記基準値の演算方法を変えることにより、前記ブレ補正光学系（７０）の制御内容を変更する（Ｓ４００，Ｓ６００）こと、を特徴とするブレ補正カメラである。
【００２８】
請求項３の発明は、請求項１又は請求項２に記載のブレ補正カメラにおいて、前記基準値演算部（３１）は、ローパスフィルタを用いて基準値を演算し、前記駆動制御部（３０）は、前記ローパスフィルタのカットオフ周波数を変更することにより、前記ブレ補正光学系（７０）の制御内容を変更する（Ｓ４００，Ｓ６００）こと、を特徴とするブレ補正カメラである。
【００２９】
請求項４の発明は、請求項１から請求項３までのいずれか１項に記載のブレ補正カメラにおいて、前記駆動制御部（３０）は、前記ブレ補正モード選択部（１９３）が画像回復を行う選択状態のカットオフ周波数を、前記ブレ補正モード選択部が画像回復を行わない選択状態のカットオフ周波数よりも高周波数側に変更する（Ｓ４００，Ｓ６００）こと、を特徴とするブレ補正カメラである。
【００３０】
【発明の実施の形態】
以下、図面等を参照しながら、本発明の実施の形態について、さらに詳しく説明する。
（第１実施形態）
図１は、本発明によるブレ補正カメラの第１実施形態のシステム構成を示すブロック図である。
本実施形態におけるブレ補正カメラ１は、画像再生装置２と組み合わせて使用することにより、画像回復を行うことができるカメラシステムを形成している。
画像再生装置２は、ブレ補正カメラ１により撮像された画像を画像記録部１２０又はブレ補正カメラ１と再生装置とを転送ケーブルなどを用いて接続し再生するとともに、画像回復を行うことができる画像回復装置である。
ブレ補正カメラ１は、画像を電子的に撮像する所謂デジタルスチルカメラであり、光学式補正系５００を備えている。
光学式補正系５００は、角速度センサ１０，Ａ／Ｄ変換部２０，駆動制御部３０，追従制御部４０，光学系駆動部５０，位置検出部６０，ブレ補正レンズ７０等を備えている。
【００３１】
角速度センサ１０は、ブレ補正カメラ１に印加された振動を角速度値で検出する振動検出部である。角速度センサ１０は、コリオリ力を利用して角速度を検出し、検出結果を電圧信号として出力する。
図１には、理解を容易にするため角速度センサ１０を１つのみ示しているが、撮影レンズの光軸に直交するＸ軸及びＸ軸に直交するＹ軸方向それぞれに対応して１つずつ設けられており、ブレ補正カメラ１の振動を２次元において検出する。なお、角速度センサ１０は、電源供給部９０より電源が供給されている間のみ角速度の検出が可能となっている。
【００３２】
Ａ／Ｄ変換部２０は、アナログ信号をデジタル信号に変換する変換器であり、角速度センサ１０からの振動検出信号をアナログ信号からデジタル信号に変換し、駆動制御部３０へ伝える。
【００３３】
駆動制御部３０は、角速度センサ１０により検出された振動検出信号と、後述の位置検出部６０により検出されたブレ補正レンズ７０の位置情報とから、ブレ補正レンズ７０を駆動するための駆動信号を演算し、光学系駆動部５０に駆動信号を出力してブレ補正レンズ７０の動作を制御する部分である。駆動制御部３０には、基準値演算部３１が含まれている（図２参照）。基準値演算部３１は、角速度センサ１０から得られた振動検出信号の基準値を演算する部分であり、本実施形態では、デジタルローパスフィルタ（ＬＰＦ）を使用し、ＬＰＦの出力を基準値としている。
追従制御部４０は、駆動制御部３０から得る駆動信号と、位置検出部６０から得るブレ補正レンズ７０の位置情報に基づいてブレ補正レンズ７０を駆動制御する信号を光学系駆動部５０へ伝える部分である。
駆動制御部３０及び追従制御部４０による制御動作の詳細については、後に説明する。
【００３４】
光学系駆動部５０は、駆動制御部３０から出力された駆動信号を基に、ブレ補正レンズ７０を駆動するアクチュエータである。
位置検出部６０は、ブレ補正するためにブレ補正レンズ７０のＸ軸方向及びＹ軸方向の位置を検出する位置検出部であり、位置検出部６０の出力は、Ａ／Ｄ変換器（不図示）を経由して追従制御部４０に送信される。
【００３５】
ブレ補正レンズ７０は、カメラの撮影光学系の一部であり、撮影光学系の光軸と略直交する平面内を動くことができる単レンズ、又は、複数枚のレンズより構成されるレンズ群からなるブレ補正光学系である。ブレ補正レンズ７０は、光学系駆動部７０によって光軸と略直交する方向に駆動され、撮影光学系の光軸を偏向させる。
写真等の像のブレは、手ブレ等のカメラに加えられる振動により、露光中に結像面の像が動いてしまうことにより発生する。本実施形態におけるブレ補正カメラ１では、角速度センサ１０により、ブレ補正カメラ１に加えられた振動を検出することができる。そして、ブレ補正カメラ１に加えられた振動が検出されれば、その振動による結像面の像の動きを知ることができるので、結像面上の像の動きを抑えるようにブレ補正レンズ７０を駆動し、結像面上の像の動き、すなわち像ブレを補正することができる。
【００３６】
ブレ補正カメラ１は、上述の光学式補正系５００の他に、制御部８０，電源供給部９０，点像関数演算部１００，撮像部１１０，画像記録部１２０，インターフェイス部１３０，補正動作判断部１４０，露出制御部１５０，合焦レンズ位置検出部１６０，焦点検出部１７０，閃光制御部１８０，操作部１９０等を備えている。
【００３７】
制御部８０は、ブレ補正カメラ１の動作全体を制御する制御部であり、駆動制御部３０、追従制御部４０、点像関数演算部１００、露出制御部１５０、合焦レンズ位置検出部１６０、焦点検出部１７０、閃光制御部１８０などを制御する各種制御演算など行う。
【００３８】
電源供給部９０は、不図示の半押タイマがＯＮの間は、角速度センサ１０を始めとするカメラ内で電源が必要とされるところに電源を供給し続ける部分である。また、半押しタイマがＯＦＦとなっているときは、電源の供給は停止する。したがって、カメラの半押しタイマがＯＮの間のみ、角速度センサ１０によるカメラの振動検出が可能となる。
【００３９】
点像関数演算部１００は、駆動制御部３０、追従制御部４０、露出制御部１５０、合焦レンズ位置検出部１６０、焦点距離検出部１７０などから得られた各種情報に基づき露光中の点像関数（点像分布関数）を演算する点像分布関数演算部である。
ブレ補正レンズ７０による光学式ブレ補正が完全であれば点像関数は１点となるが、実際には、光学式ブレ補正は、完全でないため、点像関数は１点にはならない。つまり、ブレ補正レンズ７０によって補正しきれない像ブレ（ブレ補正残差）が残る。ここで算出する点像関数は、ブレ補正レンズ７０で補正しきれずに結像面に残ったブレ補正残差を、後に画像処理によりさらにブレ補正するときに使用するものである。
【００４０】
撮像部１１０は、撮像素子１１１，Ａ／Ｄ変換部１１２，信号処理部１１３等を備え、撮影光学系により結像面に結像した像を撮像し、画像記録部１２０へ画像データを出力する部分である。
撮像素子１１１は、撮影光学系により結像面に結像した被写体像を受光し、アナログ信号の画像データに変換する素子である。
Ａ／Ｄ変換部１１２は、アナログ画像をデジタル画像に変換する変換器である。
信号処理部１１３は、Ａ／Ｄ変換部１１２によりデジタル信号に変換された画像データを処理する部分である。
【００４１】
画像記録部１２０は、撮像部１１０により撮像した画像、点像関数演算部１００により演算された点像関数、各種画像回復処理に必要な各種情報（パラメータ）などをそれぞれ画像に対応づけて記録保存する部分である。これら点像関数、各種情報などは、例えば、画像ファイル内にヘッダとして埋め込んで記録してもよいし、電子透かし技術のように画像の中に直接埋め込む方法でもよい。また、画像ファイルに対応させた別ファイルを作成し、そこに情報を書き込むようにしてもよい。
【００４２】
画像記録部１２０の具体的な形態は、例えば、コンパクトディスク（商標）、スマートメディア（商標）などの可動記録媒体でもよいし、画像転送を行うバッファメモリであってもよい。実施形態では、インターフェイス部１３０と画像再生装置２とを転送ケーブル３００を用いて接続し、画像記録部１２０に保存された画像、及び、画像回復処理に必要な情報を必要に応じて画像再生装置２へ転送する。
【００４３】
インターフェイス部１３０は、ブレ補正カメラ１と画像再生装置２とを接続するときなどに、転送ケーブル３００を接続する端子を備えた通信手段である。
接続ケーブル３００は、インターフェイス部１３０の接続コネクタと画像再生装置２の通信ポート（例えば、ＲＳ−２３２Ｃ、ＵＳＢ、パラレルポート、ＩＥＥＥ１３９４等）を接続するケーブルである。この接続ケーブル３００を介してブレ補正カメラ１と画像再生装置２との間でデータの送受信が行われる。
【００４４】
補正動作判断部１４０は、点像関数演算を行うか否か判断処理する部分である。補正動作判断部１４０により点像関数演算の必要性を判断するので、画像記録部１２０に保存する情報をできるだけ必要なデータだけとすることができ、無駄な演算動作やメモリ容量の軽減を図ることができる。
【００４５】
露出制御部１５０は、不図示のコマンドダイヤルなどで設定された露光時間の設定値から撮像素子への露光時間を制御する部分である。露光時間情報や露光の開始／終了のタイミング情報は、点像関数演算部１００に送信される。
【００４６】
合焦レンズ位置検出部１６０は、不図示の合焦レンズの位置を検出する部分である。合焦レンズの位置を検出することにより、点像関数の演算に必要な結像面から被写体までの距離を算出することができる。
【００４７】
焦点検出部１７０は、撮影光学系の撮影時のレンズ焦点距離ｆを検出する部分である。このレンズ焦点距離ｆも、点像関数の演算に必要な情報である。
閃光制御部１８０は、閃光発光部１８１の発光を制御する部分である。
【００４８】
操作部１９０は、半押しスイッチ（ＳＷ）１９１、全押しスイッチ（ＳＷ）１９２、ブレ補正モード選択スイッチ（ＳＷ）１９３などを有している。
半押しスイッチ１９１は、不図示のレリーズボタンの半押し動作に連動してＯＮとなるスイッチである。この半押しスイッチ１９１がＯＮとなることにより、不図示の測光部による測光演算、オートフォーカス駆動などが開始される。また、半押しタイマがＯＦＦであった場合には、この半押しスイッチ１９１のＯＮに同期して半押しタイマがＯＮとなる。
【００４９】
全押しスイッチ１９２は、不図示のレリーズボタンの全押し動作に連動してＯＮとなるスイッチである。この全押しスイッチ１９２がＯＮとなることにより、図示しないシャッタ機構によるシャッタの開閉、イメージセンサによる画像の取り込みなど一連の撮影動作が行われる。
【００５０】
ブレ補正モード選択スイッチ１９３は、光学式補正動作モードと画像回復モードの組み合わせ選択を行う操作部材であり、ブレ補正モード選択部として働く。本実施形態では、ブレ補正動作モードを３モード選択可能なスイッチとし、その動作は次のようになる。
「ブレ補正ＯＦＦモード」が選択された場合、光学式補正も画像回復も行わない。すなわち、ブレ補正レンズ７０の駆動を停止し、ブレ補正動作は一切行わず、画像回復用のデータの記録保存も行わない。
「光学式補正動作モード」が選択された場合、光学式補正動作のみ行い、ブレ補正レンズ７０を駆動させて像ブレ補正動作を行うが、画像回復処理のための点像関数の演算、画像回復用のデータの記録保存等は行わない。
「画像回復動作モード」が選択された場合、光学式補正動作と画像回復のために必要な動作が行われる。光学式補正系５００から画像回復処理するために必要な画像回復用のデータは、光学式補正系５００から補正動作判断部１４０を介して点像関数演算部１００に送出される。
【００５１】
次に、画像再生装置２について説明する。
画像再生装置２は、画像回復処理を実行する画像回復演算部２１０と画像を表示する画像表示部２２０とを備えている。
本実施形態における画像再生装置２は、パソコンを利用しており、このパソコンに画像回復に必要な専用のブレ補正プログラムを含むアプリケーションソフトウェアをインストールすることにより、画像再生装置として機能させている。
なお、画像再生装置２は、パソコンを利用する場合に限らず、例えば、専用の再生装置としてもよいし、カメラの中に組み込んでもよい。
【００５２】
画像回復演算部２１０は、ブレ補正カメラ１の画像記録部１２０から送られてきた画像データと、画像データに対応する点像関数情報及び画像回復処理するための各種パラメータに基づいて、画像に含まれるブレを補正する画像回復処理を実行する部分である。
画像回復演算部２１０における画像回復処理には、数６で述べたウィナーフィルタを使用するが、これに限らず他の手法を用いてもよい。
画像表示部２２０は、撮影者が撮影した画像、又は、画像回復した後の画像を表示する部分であり、本実施形態では、パソコンのモニタ部がこの部分に相当する。
【００５３】
次に、駆動制御部３０及び追従制御部４０に関連する部分について、光学式ブレ補正動作の制御を含めて説明する。
図２は、光学式補正系５００の駆動制御部３０及び追従制御部４０の制御動作を説明する制御ブロック図である。
まず、カメラに加えられた振動を角速度センサ１０により検出する。角速度センサ１０は、通常、コリオリ力を検出する圧電振動式角速度センサを用いる。角速度センサ１０の出力は、基準値演算部（低周波成分抽出）３１へ入力される。基準値演算部３１は、角速度センサ１０の出力よりブレの基準値を演算する部分である。通常の手振れの基準値は、角速度センサ１０が完全に静止している状態での出力（以下、ゼロ出力）値とすればよい。しかし、このゼロ出力値は、ドリフトや温度などの環境条件で変動してしまうため、基準値を固定値とすることができない。したがって、実際に使用されている状態、つまり撮影者の手振れの信号から基準値を演算し、ゼロ出力を求めなければならない。基準値演算には、デジタルローパスフィルタ（ＬＰＦ）を用いる。
【００５４】
デジタルローパスフィルタのカットオフ周波数ｆｃは、出来るだけ低く設定する事が望ましいが、従来技術の説明においても述べた通り、カットオフ周波数ｆｃをあまり低く設定するとセンサドリフトの影響を受けやすくなる。また、逆に高く設定するとｆｃ以下の周波数成分は、光学補正されないため像ブレとして残ってしまう。後で詳しく述べるが、この光学補正されない基準値出力を基に点像関数を求め、画像回復処理を行うことにより光学補正で取りきれなかった像ブレを後処理により回復することが可能となる。
【００５５】
本実施形態では、ＬＰＦのカットオフ周波数ｆｃを、画像回復を行わない場合（光学式補正動作モード）と、画像回復を行う場合（画像回復動作モード）と、で変更することとしている。具体的には、画像回復を行わない「光学式補正動作モード」の場合、ｆｃ＝０．１Ｈｚとし、画像回復を行う「画像回復動作モード」の場合、ｆｃ＝１Ｈｚとしている。このカットオフ周波数ｆｃの詳細な説明は、後述する図４，５におけるＳ４００，Ｓ６００の説明において行う。
【００５６】
次に、基準値演算した後、角速度センサ１０からのブレ検出信号から基準値を減算したブレ検出信号を、積分部３２へ送信する。
積分部３２では、角速度の単位で表されているブレ検出信号を時間積分し、カメラのブレ角度に変換する。例えば、以下の数７により演算する。
【００５７】
【数７】
2004205808.tif 000009
【００５８】
数７中の各記号は、θ(t)：目標駆動位置，ω(t)：ブレ検出信号，ω0 (t)：基準値，t：時間（整数値）であり、Ｃは、レンズの焦点距離等の条件によって決まる定数である。
積分部３２により演算された目標駆動位置信号は、追従制御部４０へ送信される。
【００５９】
目標駆動位置演算部３３では、積分部３２から送られてきたブレ角度情報に焦点検出部１７０からのレンズ焦点距離ｆや合焦レンズ位置検出部１６０からの被写体距離Ｄなどの情報を加味して、ブレ補正レンズ７０を駆動するための目標駆動位置情報を演算する。
追従制御部４０では、公知のＰＩＤ制御等用いて、この目標駆動位置情報に応じてブレ補正レンズ７０を動かすために目標駆動位置情報とブレ補正レンズ７０の位置検出６０からの位置情報との差をとり、光学系駆動部５０を駆動するための駆動信号を送出する。送出された駆動信号に基づいて光学系駆動部５０のコイルに電流を流すことによりブレ補正レンズ７０を光軸に直交する方向に駆動することが可能となる。
【００６０】
位置検出部６０では、ブレ補正レンズ７０の位置をモニタしており、検出されたレンズ位置信号を用いてブレ補正レンズ７０が駆動制御部３０によりフィードバック制御される。
また、目標駆動位置演算部３３から出力される目標駆動位置情報は、ブレ補正レンズ７０を追従制御する追従制御部４０と補正動作判断部１４０を介して点像関数演算部１００へと送出される。
【００６１】
次に、本実施形態におけるブレ補正カメラ１の基本動作について説明する。
図３は、ブレ補正動作を行う場合のカメラの基本動作を示すフローチャートである。
ステップ（以下、Ｓとする）２１０において、半押しスイッチ１９１がＯＮされると、Ｓ２２０へ進む。
Ｓ２２０では、ブレ補正モード選択スイッチ１９３の状態を判別する。「光学式補正動作モード」の場合Ｓ２３０の光学式補正動作フローに進み、「画像回復動作モード」の場合Ｓ２４０の光学式ブレ補正動作と画像回復処理動作とを行う画像回復処理フローへと進む。
以下、「光学式補正動作モード」及び「画像回復動作モード」それぞれの場合のブレ補正カメラ１の動作を分けて説明する。
【００６２】
まず、「光学式補正動作モード」時のブレ補正カメラの動作について説明する。
図４は、光学式ブレ補正動作モード時のカメラの基本動作を示すフローチャートである。
Ｓ４００では、基準値演算部３１に用いられているＬＰＦ部のカットオフ周波数ｆｃをｆｃ＝０．１Ｈｚに設定する。
Ｓ４１０では、振動検出部である角速度センサ１０がＯＮとなる。
Ｓ４２０では、ロックされていたブレ補正レンズ７０のロックを解除する。
Ｓ４３０では、ブレ補正動作が開始される。ここで開始されるブレ補正とは、角速度センサ１０の出力に基づき、その像ブレを打ち消すようにブレ補正レンズ７０を光軸方向に略直交する方向に移動させて、ブレを補正する光学式ブレ補正動作である。
Ｓ４４０では、半押しタイマの状態を検出し、半押しタイマがＯＦＦならばＳ４５０へ進み、半押しタイマがＯＮならばＳ４７０へ進む。
Ｓ４５０では、ブレ補正動作を停止し、Ｓ４６０で補正レンズをロックし光学補正モード終了する。
【００６３】
Ｓ４７０では、全押しスイッチ１９２の状態を検出し、全押しスイッチ１９２がＯＮならばＳ４８０へ進み、全押しスイッチ１９２がＯＦＦならばＳ４４０へ戻る。
Ｓ４８０では、ブレ補正レンズ７０のセンタリング動作が実行される。光学系駆動部５０により駆動されていない状態では、撮影光学系の光軸とブレ補正レンズ７０の光軸とが必ずしも一致していない。通常は、ブレ補正レンズ７０は、その可動範囲の端部に移動した状態にあることが多く、そのままブレ補正動作を行うと、駆動できない方向が生じてしまうので、このセンタリング動作によりブレ補正レンズ７０の光軸と撮影光学系の光軸とが略一致するように、ブレ補正レンズ７０を駆動する。
【００６４】
Ｓ４９０では、シャッタ開動作が行われ、撮像部１１０への露光が開始される。
Ｓ５００では、閃光（ＳＢ）発光するか否かの判断が行われ、閃光の発光を行う場合Ｓ５１０へ進み、閃光の発光を行わない場合Ｓ５２０へ進む。
Ｓ５１０では、閃光の発光が行われる。
Ｓ５２０では、シャッタが閉じられ、露出が終了する。その後、Ｓ４４０の半押しタイマ判断ルーチンへ戻る。
【００６５】
次に、「画像回復動作モード」時のブレ補正カメラの動作について説明する。
図５は、画像回復動作モード時のカメラの基本動作を示すフローチャートである。
Ｓ６００では、基準値演算部３１に用いられているＬＰＦ部のカットオフ周波数ｆｃをｆｃ＝１Ｈｚに設定する。
上述した「光学式補正動作モード」時には、ｆｃ＝０．１Ｈｚとしたのに対して、この「画像回復動作モード」時には、カットオフ周波数ｆｃを上げている。このようにすることにより、「画像回復動作モード」時には、「光学式補正動作モード」時に比べて、ブレ補正カメラ１の振動の内、点像関数演算部１００により演算される点像関数に現れる成分を多くし、ブレ補正レンズ７０を駆動してブレ補正する成分を少なくすることができる。こうすることにより、ブレ補正レンズ７０を駆動する駆動量を減少させることができ、ブレ補正レンズ７０が駆動可能な範囲内で余裕を持って駆動することができる。この場合、光学式ブレ補正動作により補正されるブレ量が減少し、撮像される画像のブレ量が増加するが、この増加したブレについては、後に画像回復により補正されるので、最終的には、ブレ補正効果が高く、像ブレがない、又は、像ブレが非常に少ない画像を得ることができる。
このように、「画像回復動作モード」時には、基準値演算に使用するカットオフ周波数を「光学式補正動作モード」時に比べて高くし、ブレ補正する成分を光学式ブレ補正と画像回復とに配分することにより、「光学式補正動作モード」時に比べて、より大きな手振れであっても、適切なブレ補正を行うことができる。
【００６６】
図５におけるＳ６１０からＳ６７０までのフローは、図４におけるＳ４１０からＳ４７０までのフローにおける動作と同様なので、ここでの詳細な説明は省略する。
Ｓ６８０では、回復処理判断を行う。このＳ６８０の回復処理判断の詳細な説明は、後に図６を用いて行う。このステップにおける回復処理判断により画像回復処理が必要無いと判断された場合は、Ｓ６９０へ進み、画像回復処理が必要であると判断された場合は、Ｓ７２０へ進む。
【００６７】
Ｓ６９０では、図４におけるＳ４８０と同様に、ブレ補正レンズ７０のセンタリング動作が実行される。
Ｓ７００では、シャッタ開動作が行われ、撮像部１１０への露光が開始される。
Ｓ７１０では、シャッタが閉じられ、露出が終了する。その後、Ｓ６４０の半押しタイマ判断ルーチンへ戻る。
Ｓ７２０では、図４におけるＳ４８０と同様に、ブレ補正レンズ７０のセンタリング動作が実行される。
Ｓ７３０では、シャッタ開動作が行われ、撮像部１１０への露光が開始される。
Ｓ７４０では、露光期間中に点像関数演算用のデータ取得を行う。このＳ７４０における点像関数演算用データ取得の詳細については、後に図７を用いて説明する。
【００６８】
Ｓ７５０では、点像関数演算用データの取得後、取得したデータを用いて点像関数の演算を行う。点像関数の演算は、取得した基準値から基準値演算平均値を減算し、これを積分、誤差角度θ（ｔ）を求め、さらに焦点距離情報ｆから像面での点像分布関数Ｘ（ｔ）を以下の数８により求める。
【００６９】
【数８】
2004205808.tif 000010
【００７０】
なお、テレコンバータ装着時は、テレコンバータの倍率に応じて焦点距離を変更する必要がある。また、被写体距離情報を用いて補正を行うとさらに点像分布関数の精度は高くなる。この場合、以下の数９を用いるとよい。
【００７１】
【数９】
2004205808.tif 000011
【００７２】
これらの演算をそれぞれＸ方向、Ｙ方向について行い、それらをＸ−Ｙ平面に展開すると点像分布関数が得られる。
なお、上述の例は、点像関数演算の一例であって、点像関数の演算には、他の方法を利用してもよい。
点像関数演算の後、Ｓ７６０では、画像回復処理対象画像に、ブレマークを付与する。
Ｓ７７０では、演算した点像関数をブレ情報として記録し、Ｓ６４０へ戻る。
【００７３】
次に、ブレ光学式補正系から出力されたブレ情報の処理と点像関数演算用データの取得について説明する。
図６は、ブレ検出データに基づいて点像関数演算を行うか否か（画像回復動作モードを行うことの適否）を判断する画像回復適否判断部（図５におけるＳ６８０）の詳細な動作を示すフローチャートである。
この画像回復適否判断部の判断に基づき画像回復に必要なブレ検出データを記録するか否かが判断される。
【００７４】
Ｓ３１０では、ブレ検出量の大きさに基づき、画像回復処理の有効性を判断する。このステップでは、目標駆動位置演算結果から画像回復処理することによりブレを効果的に補正することができるか否かをブレ情報やカメラ撮影情報に基づいて画像回復可能条件範囲を予め設定しておき、その条件に基づき判断を行う。例えば、ブレ量が大きすぎる（最大限界ブレ量）と画像回復処理しても画像に縞模様が目立ち、この縞模様による画質劣化を避けることができない。また、ブレ量が小さすぎる（最小限界ブレ量）と画像回復してもその改善効果が現れない。そこで、これら限界ブレ量は、予め実験や経験により得ることにより設定しておく。
【００７５】
Ｓ３２０では、シャッタ速度（露光時間）により画像回復処理の必要性を判断する。このステップでは、シャッタ速度によりある程度ブレ量の大きさが予測され、その予測されるブレ量により画像回復処理の必要か否かを判断する。シャッタ速度が速い場合は、たとえブレが生じても非常に小さいブレ量であり、鑑賞に堪えられる画像であると判断される。この場合のブレ量は、焦点距離とシャッタ速度の双方から求められる。光学式ブレ補正を行わない場合には、手ブレが発生するのは、（１／焦点距離）のシャッタ速度より遅い場合であると一般的にいわれている。しかし、本実施形態では、光学式ブレ補正も行っているので、例えば、以下の式を満たす場合にのみ、画像回復処理を行うようにする。
【００７６】
（Ａ／焦点距離）＜シャッタ秒時（露光時間）
ここで、上記Ａは、所定値としてもよいし、他の条件により変化する変数としてもよい。
【００７７】
Ｓ３１０，Ｓ３２０におけるシャッタ速度判断及びブレ検出量判断共に回復処理必要と判断された場合には、回復処理有りのＳ３３０の露光シーケンスとなり、図５におけるＳ７２０へ進む。
一方、Ｓ３１０，Ｓ３２０におけるシャッタ速度判断又はブレ検出量判断のいずれかにおいて回復処理不要と判断された場合には、Ｓ３４０へ進み、画像回復動作を行わない旨の警告・表示（告知）を行う。告知は、例えば、警告音であってもよいし、所定の表示を行うようにしてもよい。
Ｓ３４０を実行した後、Ｓ３５０の回復処理無しの露光シーケンスとなり、図５におけるＳ６９０へ進む。
この図６に示したように、画像回復の適否を判断することにより、画像回復処理のためのブレ情報量を軽減でき、メモリ容量の軽減を行うことができる。
【００７８】
図７は、点像関数演算用データ取得の動作（図５におけるＳ７４０）を詳細に示したフローチャートである。
本実施形態では、メモリ容量の節約等を主な目的として、図７に示す間引き処理（情報量減少部としての処理）を行っている。
露光開始後、Ｓ９１０では、カウンタをリセットする。具体的には、Ｎ＝１，Ｋ＝０とする。ここで、Ｎは、複数の基準値を区別するために付与する番号となるカウンタであり、Ｋは、時間を計るタイマとなるカウンタである。
Ｓ９２０では、最初の基準値出力であるω0（１） を保存する。
Ｓ９３０では、基準値出力の平均値ω0 ａｖｅを以下の式により演算する。
【００７９】
【数１０】
2004205808.tif 000012
【００８０】
Ｓ９４０では、カウンタの確認を行う。Ｋ＝１００であれば、Ｓ９５０へ進み、それ以外の場合には、Ｓ９７０へ進む。
Ｓ９５０では、基準値出力ω0（Ｎ） を保存する。
Ｓ９６０では、Ｋ＝０としてタイマカウンタをリセットする。本実施形態では、角速度センサ１０のサンプリング周波数が１ＫＨｚであって、０．１ｓｅｃ毎に基準値出力を保存するので、基準値出力を間引くことになる。
【００８１】
Ｓ９７０では、露光が終了しているか否かを確認し、露光終了前ならばＳ９９０へ進み、露光終了の場合には、Ｓ９８０へ進む。
Ｓ９８０では、最後の基準値出力ω0（Ｎ）を保存しておく。これは、基準値出力の間引き保存によりシャッタ秒時が速い場合、基準値出力の最初のポイントしか保存されないことを避けるためである。例えば、本実施形態では、サンプリング周波数１ＫＨｚのときに０.１ｓｅｃ毎に基準値出力を保存するので、１／１０ｓｅｃよりも速いシャッタスピードでは、最初の基準値出力しか保存されておらず、点像関数が構成できなくなってしまうからである。
Ｓ９９０及びＳ１０００では、カウンタを進め、Ｓ９３０に戻り、基準値出力の平均値演算を行う。
【００８２】
ここで、上述の間引き処理について説明する。
画像回復処理に用いる点像関数は、基準値出力を基に演算される。基準値出力は、前述の様に１Ｈｚ（画像回復を行う図５のフローの場合）のカットオフ周波数を有するＬＰＦ出力であるため、手ブレの周波数成分より低い。したがって、点像関数演算に用いるデータ数も少なくする事が可能である。点像関数演算を行う場合に、光学式補正系５００から送出されるブレ検出データの全てのデータについて点像関数を演算しようとすると、多大な演算量とメモリ容量が必要となってしまう。
【００８３】
目標位置演算結果から得られるブレ検出データの個数は、例えば、基準値演算のサンプリング周波数が１ｋＨｚの時、１秒分の基準値のデータ個数は、Ｎ＝１０００個であり、非常に多くのデータ量である。手振れの周波数は、０．１〜１０Ｈｚ程度であり、手振れ振動の基準値を算出する基準値演算部３１に設けられたローパスフィルタのカットオフ周波数は、１Ｈｚ程度である。つまり、点像関数演算部には、１Ｈｚ以下の周波数が主成分となる。１Ｈｚの周波数を表すにはその１０倍程度、つまり０．１ｓｅｃ周期のデータで十分である。したがって、１ＫＨｚサンプリングのデータを１／１００までデータの間引きを行う事が可能となる。
また、基準値出力演算のためのＬＰＦのカットオフ周波数を変更する場合には、このカットオフ周波数から間引き量を変更する必要がある。
このような処理により、演算処理時間の短縮、メモリ容量等の節約を行うことができる。
【００８４】
間引き処理した後に、画像再生装置により画像回復処理するために記録媒体にブレ情報を記録したり、画像再生装置にデータを転送したりすることが行われる。本実施形態では、間引き処理により画像回復処理に必要な最低のデータ個数を記録や転送することにより、転送時間、演算処理時間の短縮、とりわけメモリ容量の節約に大きな効果を奏することができる。
【００８５】
ここで、図５のＳ７５０において行われる点像関数演算部１００の動作について説明する。
光学式補正系５００によりブレ補正を実行してもブレを補正しきれず、若干のブレが画像に残ってしまう（ブレ補正残差）という問題については、従来技術の説明において述べた（図１５）。このようなブレ補正残差が発生する原因は、主に基準値によるところが大きい。そこで、本実施形態における点像関数演算部１００では、基準値を元にブレ補正残差の点像関数を算出する。ここで算出した点像関数は、画像回復演算部２１０に送信される。画像回復演算部２１０は、この送信された点像関数を基に画像回復演算を行い、ブレ補正レンズ７０のブレ補正動作では補正しきれなかった像ブレを補うことにより、ブレ補正効果の高い高画質な画像を得ることができる。
【００８６】
従来の画像回復処理に用いるデータは、角速度センサ等により検出されたブレ検出データから直接点像関数を求めて画像回復を行う例がほとんどであった。しかし、先にも述べたように、このような方法では、画像のブレが大きくなってしまった場合、画像回復をしても画質が改善されないという問題があった。しかし、本実施形態によれば、光学式ブレ補正機構によりある程度ブレを補正し、そのときのブレ情報を用いて画像回復処理することにより大幅な画質改善が可能である。
【００８７】
図８及び図９は、本実施形態における画像回復を説明する図である。
本実施形態では、光学式ブレ補正機構によりブレ補正された後の画像データ及びブレ情報を用いているので、ブレ量が大きすぎることはない。この点の効果は、図１４と比較することにより明らかである。ブレが大きくなるほど伝達されない周波数成分が増え、画像の回復が難しくなる。図９（ｂ）に示す空間周波数伝達関数が０になっている点が図１４（ｂ）のそれよりも少なくなっていることがわかる。これは、伝達されない周波数成分を減らしていることになるので、画像回復を効果的に行うことができることを示している。
【００８８】
次に、画像再生装置２の動作について説明する。
図１０は、画像再生装置２の基本動作を示すフローチャートである。
画像再生装置２には、画像回復を行うためのブレ補正プログラムは、すでに画像再生装置２にインストールされているものとする。
先に示したように、本実施形態では、カメラ側の画像データは、転送ケーブル３００を介して画像再生装置２に転送される。
図１０では、既に、画像の転送が行われ、ブレ補正（画像回復処理）プログラムが立ち上がりメニュー画面表示されているものとする。
【００８９】
Ｓ２０１０では、回復処理ボタンをマウスでクリックする等により、画像回復動作を開始する。
Ｓ２０２０では、予めカメラ側で回復処理する対象の画像であると判断された画像には、ブレマークが付与され記録されているので、再生時において画像読み込み動作開始とともにこのブレマークが付与されている画像のみが読み出されて表示される。
【００９０】
Ｓ２０３０では、画像又は像ブレに関する各種パラメータを見ながら利用者が画像回復処理を実行する画像を選択し、表示する。
Ｓ２０４０では、選択された画像に関し、画像回復のために必要なパラメータであるブレ軌跡データ及び点像ブレをより詳細に表示する。具体的には、画像表示部（ディスプレイ）２２０上にブレ軌跡データや点像ブレなどのブレ補正カメラ１により記録された補正情報や撮影情報などを表示し、操作者が適宜ブレ軌跡データを画像表示部２２０上で直接操作することができる。
図１１及び図１２は、具体的な画像表示及び各種パラメータの操作例を示す図である。
【００９１】
Ｓ２０５０では、画像回復を行うときの上記パラメータを任意に変更、設定する。
Ｓ２０６０では、Ｓ２０５０において設定したパラメータに従い回復処理を実行する。
Ｓ２０７０では、画像再生装置２の画像表示部２２０上に回復処理する前のブレ画像と回復処理した回復画像とを比較表示する。
Ｓ２０８０では、画像回復前のブレ画像と回復画像後の回復画像とを目視にて比較し、回復画像でよいか否か（再度画像回復を行うか否か）を判断する。回復画像でよい場合には、Ｓ２０９０へ進み、再度画像回復を行う場合には、Ｓ２０４０へ戻る。
【００９２】
Ｓ２０８５では、回復画像及びパラメータを保存するか否かの判断を、利用者が判断して決定する。回復画像及びパラメータを保存する場合には、Ｓ２０９０へ進み、保存しない場合には終了する。
Ｓ２０９０では、回復画像及びパラメータを上書き保存するか否か利用者が判断して選択指示する。上書き保存しない場合は、Ｓ２１１０へ進み、上書き保存する場合はＳ２１００に進む。また、上書き保存する場合には、上書きされて消されるデータ（既に保存されているデータ）の選択も併せて行う。
Ｓ２１００では、原画像に対応して保存されている過去の回復画像及びパラメータ（Ｓ２０９０において上書きされる選択がされたデータ）を削除する。
Ｓ２１１０では、回復画像と、今回の画像回復処理に使用した新たなパラメータとを原画像に関連づけて保存する。
【００９３】
図１１に示す例では、画像表示部２２０上には、回復処理する前のブレ画像と回復処理した回復画像、点像関数に関する情報とブレ軌跡データとがそれぞれ対応づけてウインドウ表示されている。このように同一画面上に比較して表示することにより、操作者が直感的にどの個所を修正すればよいかが一目にして判断することができる。
また、図１１の右下に表示されている部分には、ブレ軌跡データの操作を行うことができる表示が行われている。本実施形態では、このようにして、画像表示部２２０上に表示されているブレ軌跡データをマウスなどを用いて局所的に操作することができる。このように操作されたブレ軌跡データに基づいて再度回復処理を実行し、より詳細な比較判断をすることができる。
【００９４】
また、本実施形態では、得られたブレ軌跡データ〔図１２（ａ）〕をマウス指示点Ｐを基準に縮小拡大することにより、図１２（ｂ）に示す画像データ操作の粗調整、図１２（ｃ）に示す微調整を行うことができる。図１２（ｃ）は、微調モードにした例であり、データ数を細かく操作することができるため、得られた回復画像のパラメータに対する評価がし易くなり、画像操作自由度を高められるとともに効率的な処理を行うことができる。
【００９５】
従来、点像関数演算では、角速度センサなどのセンサ出力から得られた出力を直接演算に用いていたので、非常に多くの誤差要因が点像関数に含まれ、画像表示操作しても高画質な画像を得ることは困難であった。これに対し、本実施形態では、点像関数演算は、光学式ブレ補正動作によりブレ補正されたノイズ誤差の少ない出力データを用いて画像回復処理を行うので、非常に高画質の回復画像が得られる。また、ブレ軌跡データや点像データなどを、例えば、マウスなどを用いて直接画像を操作することができ、画像回復処理に用いるパラメータの画像回復に対する効果の度合いも評価し易くなり、効率的な処理作業をすることができる。
【００９６】
このように、本実施形態では、画像に関連づけてブレ情報を記録しているため、画像再生装置２（画像閲覧ソフト）により画像を閲覧するだけでブレ情報が利用者にわかるようになっている。したがって、画像回復する前に画像とブレ情報とを利用者が関連づけする必要がなくなり、作業効率が向上する。また、画像回復が必要か否かの情報もブレマークにより表示されるため、さらに作業効率がよくなる。
【００９７】
本実施形態によれば、画像回復を行う場合に、それより前に行われる光学式ブレ補正におけるブレ補正量を少なくし、残る像ブレを画像回復により補正することとしたので、光学式ブレ補正だけでは補正することができない大きな手振れであっても、適正にブレ補正することができる。
【００９８】
（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の均等の範囲内である。
例えば、本実施形態において、基準値演算には、デジタルローパスフィルタを用いる例を示したが、これに限らず、例えば、移動平均演算を行うなど、他の手法により基準値演算を行ってもよい。
【００９９】
【発明の効果】
以上詳しく説明したように、本発明によれば、以下の効果を奏することができる。
（１）駆動制御部は、ブレ補正モード選択部の選択状態に応じて、ブレ補正光学系の制御内容を変更するので、画像回復を行う場合に適した光学式ブレ補正動作を行うことができる。
【０１００】
（２）駆動制御部は、ブレ補正モード選択部の選択状態に応じて、基準値の演算方法を変えることにより、ブレ補正光学系の制御内容を変更するので、画像回復を行う場合に光学式ブレ補正動作のブレ補正量を変更することができ、光学式ブレ補正動作のブレ補正量を減少させることにより、より大きな手振れに対しても、適正なブレ補正動作を行うことができる。また、残る像ブレは、画像回復によりブレ補正を行うことができるので、十分にブレ補正された高画質な画像を得ることができる。
【０１０１】
（３）駆動制御部は、ローパスフィルタのカットオフ周波数を変更することにより、ブレ補正光学系の制御内容を変更するので、光学式ブレ補正動作のブレ補正量の変更を容易に行うことができ、本発明の実施を容易に行うことができる。
【０１０２】
（４）駆動制御部は、ブレ補正モード選択部が画像回復を行う選択状態のカットオフ周波数を、ブレ補正モード選択部が画像回復を行わない選択状態のカットオフ周波数よりも高周波数側に変更するので、画像回復を行う場合に光学式ブレ補正動作のブレ補正量を減少させることとなり、より大きな手振れに対しても、適正なブレ補正動作を行うことができる。
【図面の簡単な説明】
【図１】本発明によるブレ補正カメラの第１実施形態のシステム構成を示すブロック図である。
【図２】光学式補正系５００の駆動制御部３０及び追従制御部４０の制御動作を説明する制御ブロック図である。
【図３】ブレ補正動作を行う場合のカメラの基本動作を示すフローチャートである。
【図４】光学式ブレ補正動作モード時のカメラの基本動作を示すフローチャートである。
【図５】画像回復動作モード時のカメラの基本動作を示すフローチャートである。
【図６】ブレ検出データに基づいて点像関数演算を行うか否かを判断する画像回復適否判断部の詳細な動作を示すフローチャートである。
【図７】点像関数演算用データ取得の動作を詳細に示したフローチャートである。
【図８】本実施形態における画像回復を説明する図である。
【図９】本実施形態における画像回復を説明する図である。
【図１０】画像再生装置の基本動作を示すフローチャートである。
【図１１】具体的な画像表示及び各種パラメータの操作例を示す図である。
【図１２】具体的な画像表示及び各種パラメータの操作例を示す図である。
【図１３】従来の画像回復を説明する図である。
【図１４】従来の画像回復を説明する図である。
【図１５】ドリフト成分を含む角速度センサ出力、基準値の出力、像面でのブレ量を示す図である。
【符号の説明】
１  ブレ補正カメラ
２  画像再生装置
１０  角速度センサ
２０  Ａ／Ｄ変換部
３０  駆動制御部
３１  基準値演算部
３２  積分部
３３  目標駆動位置演算部
４０  追従制御部
５０  光学系駆動部
６０  位置検出部
７０  ブレ補正レンズ
８０  制御部
９０  電源供給部
１００  点像関数演算部
１１０  撮像部
１２０  画像記録部
１３０  インターフェイス部
１４０  補正動作判断部
１５０  露出制御部
１６０  合焦レンズ位置検出部
１７０  焦点検出部
１８０  閃光制御部
１９０  操作部
１９１  半押しスイッチ
１９２  全押しスイッチ
１９３  ブレ補正モード選択スイッチ
２１０  画像回復演算部
２２０  画像表示部
３００  接続ケーブル
５００  光学式補正系
【図１】
2004205808.tif 000013
【図２】
2004205808.tif 000014
【図３】
2004205808.tif 000015
【図４】
2004205808.tif 000016
【図５】
2004205808.tif 000017
【図６】
2004205808.tif 000018
【図７】
2004205808.tif 000019
【図８】
2004205808.tif 000020
【図９】
2004205808.tif 000021
【図１０】
2004205808.tif 000022
【図１１】
2004205808.tif 000023
【図１２】
2004205808.tif 000024
【図１３】
2004205808.tif 000025
【図１４】
2004205808.tif 000026
【図１５】
2004205808.tif 000027