(57)【要約】【課題】  この発明は、撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、手ぶれとピンボケによる画像劣化を同時に補正できる手ぶれ補正装置を提供することを目的とする。【解決手段】  撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、手ぶれ関数に平滑化処理を行う平滑化処理手段および合焦状態に応じて平滑化処理手段の平滑化強度を制御する制御手段を備えており、平滑化処理手段によって得られた手ぶれ関数から一般逆フィルタが生成される。【選択図】  図２
2006279807.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、
手ぶれ関数に平滑化処理を行う平滑化処理手段および合焦状態に応じて平滑化処理手段の平滑化強度を制御する制御手段を備えており、平滑化処理手段によって得られた手ぶれ関数から一般逆フィルタが生成されることを特徴とする手ぶれ補正装置。
【請求項２】
撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、
角速度センサによって検出された手ぶれ情報に平滑化処理を行う平滑化処理手段および合焦状態に応じて平滑化処理手段の平滑化強度を制御する制御手段を備えており、平滑化処理手段によって得られた手ぶれ情報から手ぶれ関数が生成されることを特徴とする手ぶれ補正装置。
【請求項３】
撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、
一般逆フィルタに先鋭化処理を行う先鋭化処理手段および合焦状態に応じて先鋭化処理手段の先鋭化強度を制御する制御手段を備えており、先鋭化処理手段によって得られた一般逆フィルタを用いて撮像画像に対して画像復元が行われることを特徴とする手ぶれ補正装置。
【請求項４】
平滑化処理手段としてガウシアンフィルタを用いた平滑化処理手段が用いられており、制御手段は合焦状態に応じてガウシアンフィルタの分散を制御することを特徴とする請求項１および２のいずれかに記載の手ぶれ補正装置。
【請求項５】
合焦状態は、合焦制御方式として山登り方式が採用されている場合には、撮影が行われた時点のコントラスト値で表され、合焦制御方式として自己相関方式が採用されている場合には、撮影が行われた時点での結像位置間隔と予め設定された合焦時の結像位置間隔との差の絶対値で表されることを特徴とする請求項１、２、３および４のいずれかに記載の手ぶれ補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、手ぶれ補正装置に関する。
【背景技術】
【０００２】
静止画手ぶれ補正技術は、静止画撮影における手ぶれを軽減する技術であり、手ぶれを検出して、その検出結果に基づいて画像を安定化することで実現される。
【０００３】
手ぶれを検出する方法には、手ぶれセンサ（角速度センサ）を用いる方法と、画像を解析して検出する電子式とがある。画像を安定化させる方法には、レンズや撮像素子を安定化させる光学式と、画像処理により手ぶれによるぼけを除去する電子式とがある。
【０００４】
一方、完全電子式の手ぶれ補正技術、すなわち、撮影された一枚の手ぶれ画像だけを解析・処理することで、手ぶれの除去された画像を生成する技術は、実用レベルに達していない。特に、手ぶれセンサで得られる精度の手ぶれ信号を、一枚の手ぶれ画像を解析することによって求めることは困難である。
【０００５】
したがって、手ぶれセンサを用いて手ぶれを検出し、その手ぶれデータを用いて画像処理により手ぶれぼけを除去することが現実的である。画像処理によるぼけの除去を画像復元と呼ぶ。また、手ぶれセンサと画像復元による手法を、ここでは電子式手ぶれ補正と呼ぶことにする。
【０００６】
ところで、画像劣化の原因は、手ぶれと、ピンボケとに大別できる。角速度センサで検出した手ぶれ情報から手ぶれ関数（画像劣化関数）を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて画像復元を行うことにより、手ぶれによる画像劣化を補正することができる。しかしながら、ピンボケに対しては効果はない。
【特許文献１】特開平１１−２４１５５号公報
【０００７】
この公報には、センサで検出した角速度データを用いて画像復元を行う手ぶれ補正装置において、角速度データの算出時にシャッター開口経時変化を考慮することで、より正確な画像劣化関数を作成する手ぶれ補正方法が開示されている。
【特許文献２】特開２００４−８８５６７号公報  この公報には、角速度センサで検出した手ぶれデータと焦点距離データとを撮像画像ファイルのヘッダに付加して記録し、画像再生時に上記手ぶれデータと焦点距離データとを用いて画像復元を行う手ぶれ補正装置が開示されている。
【特許文献３】特開２００４−２９９８１３号公報  この公報には、連写撮影時に角速度センサで検出した角速度データを撮像画像ファイルのヘッダに付加して記録し、連写画像再生時に表示範囲を制限することで手ぶれによる画像の表示変動を視覚的に抑制する電子撮像装置が開示されている。
【特許文献４】特開２００１−３５００８１号公報  この公報には、デジタルカメラの自動焦点調節方式である、山登り方式（コントラスト方式）と自己相関方式（位相差方式）についての簡単な説明が記載されている。
【特許文献５】特開平１１−２５８４８９号公報  この公報には、デジタルカメラの自動焦点調節方式である自己相関方式（位相差方式）についての詳細な説明が記載されている。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
この発明は、撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、手ぶれとピンボケによる画像劣化を同時に補正できる手ぶれ補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１に記載の発明は、撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、手ぶれ関数に平滑化処理を行う平滑化処理手段および合焦状態に応じて平滑化処理手段の平滑化強度を制御する制御手段を備えており、平滑化処理手段によって得られた手ぶれ関数から一般逆フィルタが生成されることを特徴とする。
【００１０】
請求項２に記載の発明は、撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、角速度センサによって検出された手ぶれ情報に平滑化処理を行う平滑化処理手段および合焦状態に応じて平滑化処理手段の平滑化強度を制御する制御手段を備えており、平滑化処理手段によって得られた手ぶれ情報から手ぶれ関数が生成されることを特徴とする。
【００１１】
請求項３に記載の発明は、撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、一般逆フィルタに先鋭化処理を行う先鋭化処理手段および合焦状態に応じて先鋭化処理手段の先鋭化強度を制御する制御手段を備えており、先鋭化処理手段によって得られた一般逆フィルタを用いて撮像画像に対して画像復元が行われることを特徴とする。
【００１２】
請求項４に記載の発明は、請求項１乃至２の発明において、平滑化処理手段としてガウシアンフィルタを用いた平滑化処理手段が用いられており、制御手段は合焦状態に応じてガウシアンフィルタの分散を制御することを特徴とする。
【００１３】
請求項５に記載の発明は、請求項１乃至４の発明において、合焦状態は、合焦制御方式として山登り方式が採用されている場合には、撮影が行われた時点のコントラスト値で表され、合焦制御方式として自己相関方式が採用されている場合には、撮影が行われた時点での結像位置間隔と予め設定された合焦時の結像位置間隔との差の絶対値で表されることを特徴とする。
【発明の効果】
【００１４】
この発明によれば、撮像装置に設けられた角速度センサによって検出された手ぶれ情報から手ぶれ関数を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて、撮像画像に対して画像復元を行う手ぶれ補正装置において、手ぶれとピンボケによる画像劣化を同時に補正できるようになる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して、この発明をデジタルカメラに適用した場合の実施例について説明する。
【実施例１】
【００１６】
〔１〕本発明の基本的な考え方
【００１７】
角速度センサで検出した角速度データから手ぶれ関数（ＰＳＦ）を生成した後、手ぶれ関数から一般逆フィルタを生成し、得られた一般逆フィルタを用いて画像復元を行う手ぶれ補正装置では、角速度方向のカメラぶれは補正されるが、それ以外のぶれやぼけ（例えば、平行移動ぶれやピンボケ）は補正されない。
【００１８】
そこで、本発明では、合焦状態に基づいて、角速度データまたは手ぶれ関数（ＰＳＦ）を平滑化することにより、手ぶれ関数（ＰＳＦ）に手ぶれ情報だけでなくそれ以外のぼけ情報を付加する。具体的には、合焦評価値が低いほどピンボケの度合いが強いと判定し、角速度データまたは手ぶれ関数（ＰＳＦ）に強い平滑化処理を施す。このようにして得られた手ぶれ関数（ＰＳＦ）を用いて画像復元処理を行うと、角速度方向のぶれ補正だけでなく、エッジ強調効果が得られるため、ピンボケが改善される。
【００１９】
なお、角速度データまたは手ぶれ関数（ＰＳＦ）を平滑化する代わりに、一般逆フィルタに対して先鋭化処理を施すようにしてもよい。
【００２０】
上記平滑化処理には、例えば、移動平均、ガウシアンフィルタ等を用いる。また、上記先鋭化処理には、アンシャープマスク等を用いる。
【００２１】
〔２〕デジタルカメラの構成
【００２２】
図１は、デジタルカメラの構成を示している。
ＣＣＤ２は、レンズ１を通して入射した光学像を光電変換し、電気信号として出力する。ＣＣＤ２の出力信号は、Ａ／Ｄ変換器３によってデジタル信号に変換される。Ａ／Ｄ変換器３の出力データは、画像処理回路４によって所定の画像処理が施された後、画像メモリ５に格納される。画像メモリ５に格納された画像データは、手ぶれ補正回路２３によって手ぶれ補正が行われた後、モニタ７に表示されたり、メモリカード８に記憶されたりする。なお、画像メモリ５は、メモリ制御回路２２によって制御される。
【００２３】
角速度センサ１１、１２は、カメラの角速度を検出するために設けられている。一方の角速度センサ１１はカメラのパン方向の角速度を、他方の角速度センサ１２はカメラのチルト方向の角速度をそれぞれ検出する。
【００２４】
各角速度センサ１１、１２の出力信号は、それぞれアンプ１３、１４によって増幅された後、Ａ／Ｄ変換器１５、１６によってデジタルデータに変換される。Ａ／Ｄ変換器１５、１６によって得られた角速度データは、センサデータメモリ１７を介してマイコン２０に入力される。
【００２５】
マイコン２０は、合焦制御回路（オートフォーカス制御回路）１８、メモリ制御回路２２、手ぶれ補正回路２３等を制御する。マイコン２０には、そのプログラムや必要なデータを記憶するプログラム＆データメモリ２１が接続されている。また、マイコン２０には、操作部１９から操作信号が入力される。
【００２６】
〔３〕合焦制御回路１８についての説明
合焦制御回路１８で用いられるＡＦ（オートフォーカス）制御方式には、山登り方式（コントラスト方式）と自己相関方式（位相差方式）とがある。これらの方式について説明する。
【００２７】
〔３−１〕山登り方式（コントラスト方式）
山登り方式は、合焦状態では画像のコントラストが最大になるという特性を利用して、画面のある特定領域の画像信号のコントラスト値を評価値とし、その評価値が極大となるレンズ位置を探索する方式である。コントラスト値としては、例えば、画面のある特定領域内の画像信号の高周波成分の総和が用いられる。
【００２８】
つまり、あるレンズ位置でコントラスト値を取得した後、レンズ位置を少し移動させてコントラスト値を取得する。前回よりもコントラスト値が高くなれば、レンズ位置を同じ移動方向に移動させて同様な処理を行う。前回よりもコントラスト値が低くなった場合には、レンズ位置を逆の移動方向に移動させて同様な処理を行う。このようにして、レンズ位置を少しずつ移動させては、コントラスト値を前回の値と比較するといったことを繰り返し行うことにより、合焦位置を探索する。最終的には、どちらの方向に移動させてもコントラスト値が低下する位置を合焦位置とする。
【００２９】
この方式では、合焦位置を高精度に検出できるという長所があるが、反復処理を伴うため時間がかかるという短所がある。合焦制御回路１８に山登り方式が採用されている場合には、合焦制御回路１８からマイコン２０に、撮影が行われた時点（その時点の直前）のコントラスト値が合焦評価値Ｅとして送られる。
【００３０】
〔３−２〕自己相関方式（位相差方式）
自己相関方式では、レンズの光軸から離れた箇所を通過した光のみで結像された像は焦点合わせ（レンズ位置）により、光軸と直角方向に動くことを利用して、レンズの光軸から離れた光を２つに分解して結像し、その結像位置間隔で前ピン、合焦、後ピン状態を検出する。合焦時の結像位置間隔は撮像装置毎に既知の値Ｄ0 である。前ピン状態（レンズが予定焦点面よりも被写体側にある状態）では結像位置間隔は狭くなり、後ピン状態（レンズが予定焦点面よりも撮影者側にある状態）では結像位置間隔は広くなる。
【００３１】
検出した結像位置間隔Ｄと予め設定された合焦時の結像位置間隔Ｄ0 との差の絶対値｜Ｄ−Ｄ0 ｜を合焦評価値Ｅとして、合焦評価値Ｅが所定の閾値Ｅthより小さいか（Ｅ＜Ｅth）か否かを判別する。Ｅ＜Ｅthなら、現在のレンズ位置を合焦位置と判定とする。Ｅ≧Ｅthなら、前ピンであるか後ピンであるか、および合焦評価値Ｅとに基づいて、合焦評価値Ｅが小さくなるようにレンズ位置を調整する。このように処理を、Ｅ＜Ｅthとなるまで行う。
【００３２】
この方式では、ピントのずれ量（合焦評価値Ｅに応じた値）とずれ方向（前ピン状態または後ピン状態）とが検出できるため、比較的短時間で合焦させることが可能であるという長所があるが、合焦位置精度が低いという問題がある。そこで、最終的な微調整に山登り方式を用いることが多い。
【００３３】
合焦制御回路１８に自己相関方式が採用されている場合には、合焦制御回路１８からマイコン２０に、撮影が行われた時点（その時点の直前）での結像位置間隔Ｄと予め設定された合焦時の結像位置間隔Ｄ0 との差の絶対値｜Ｄ−Ｄ0 ｜が合焦評価値Ｅとして送られる。
【００３４】
〔４〕手ぶれ補正処理回路の構成
【００３５】
図２は、手ぶれ補正処理回路２３の構成を示している。
【００３６】
手ぶれ補正処理回路２３は、画像復元フィルタ計算部３０、画像復元処理部４０およびリンギング除去処理部５０を備えている。
【００３７】
画像復元フィルタ計算部３０は、パン方向の角速度データおよびチルト方向の角速度データと合焦評価値とに基づいて、画像復元フィルタ（一般逆フィルタ）の係数を算出する。画像復元処理部４０は、画像復元フィルタ計算部３０によって算出されたフィルタ係数に基づいて、撮像画像（手ぶれ画像）に対して画像復元処理を行う。リンギング除去処理部５０は、画像復元処理部４０によって得られた復元画像からリンギングを除去する。
【００３８】
〔５〕画像復元フィルタ計算部３０の説明
【００３９】
画像復元フィルタ計算部３０は、角速度センサ１１、１２によって検出された角速度データ（手ぶれ信号）を動きベクトルに変換する手ぶれ信号／動きベクトル変換処理部３１、手ぶれ信号／動きベクトル変換処理部３１によって得られた動きベクトルを、画像のボケを表す手ぶれ関数（ＰＳＦ：Point Spread Function)に変換する動きベクトル／手ぶれ関数変換処理部３２、動きベクトル／手ぶれ関数変換処理部３２よって得られた手ぶれ関数（ＰＳＦ）を合焦評価値に応じて平滑化する平滑化処理部３３および平滑化処理部３３によって得られた手ぶれ関数（ＰＳＦ）を一般逆フィルタ（画像復元フィルタ）に変換する手ぶれ関数／一般逆フィルタ変換処理部３４を備えている。
【００４０】
〔５−１〕手ぶれ信号／動きベクトル変換処理部３１についての説明
【００４１】
手ぶれの元データは、撮影開始から撮影終了までの間の角速度センサ１１、１２の出力データである。角速度センサ１１、１２を用いてカメラの露光時期と同期させることで、撮影開始と共に所定のサンプリング間隔ｄｔ[sec] でパン方向およびチルト方向の角速度を計測し、撮影終了までのデータを得る。サンプリング間隔ｄｔ[sec] は、たとえば、１ｍｓｅｃである。  
【００４２】
図３に示すように、例えば、カメラのパン方向の角速度θ’[deg/sec] は、角速度センサ１１によって電圧Ｖg [mV]に変換された後、アンプ１３によって増幅される。アンプ１３から出力される電圧Ｖa [mV] はＡ／Ｄ変換器１５によってデジタル値ＤL [step]に変換される。デジタル値として得られたデータを角速度に変換するには、センサ感度Ｓ[mV/deg/sec]、アンプ倍率Ｋ[ 倍] 、Ａ／Ｄ変換係数Ｌ[mV/step] を用いて計算する。
【００４３】
角速度センサ１１によって得られる電圧値Ｖg [mV]は、角速度θ’[deg/sec] の値と比例する。このときの比例定数はセンサ感度であるので、Ｖg [mV]は、次式（１）で表される。
【００４４】
Ｖg ＝Ｓθ’…（１）
【００４５】
また、アンプ１３は電圧値を増幅するだけなので、増幅された電圧Ｖa [mV] は、次式（２）で表される。
【００４６】
Ｖa ＝ＫＶg …（２）
【００４７】
アンプ１３で増幅された電圧値Ｖa [mV] はＡ／Ｄ変換され、ｎ[step]（例えば、−５１２〜５１２）のデジタル値ＤL [step]を使って表現される。Ａ／Ｄ変換係数をＬ[mV/step] とすると、デジタル値ＤL [step]は、次式（３）で表される。
【００４８】
ＤL ＝Ｖa ／Ｌ…（３）
【００４９】
上記式（１）〜（３）を用いることで、次式（４）に示すように、センサデータから角速度を求めることができる。
【００５０】
θ’＝（Ｌ／ＫＳ）ＤL …（４）
【００５１】
撮影中の角速度データから、撮影された画像上でどれだけのぶれが生じたかを計算することができる。この画像上でのみかけの動きを動きベクトルと呼ぶ。
【００５２】
角速度データの１つのサンプル値から次のサンプル値までにカメラに生じた回転量をθ[deg] とする。この間、角速度一定でカメラが回転すると仮定し、サンプリング周波数をf ＝１／ｄｔ[Hz]とすると、θ[deg] は次式（５）で表される。
【００５３】
θ＝θ’／ｆ＝（Ｌ／ＫＳｆ）ＤL …（５）
【００５４】
図４に示すように、ｒ[mm]を焦点距離（３５[mm]フィルム換算）とすると、カメラの回転量θ[deg] から画面上の移動量ｄ[mm]が次式（６）により求められる。
【００５５】
ｄ＝ｒｔａｎθ…（６）
【００５６】
ここで求められた移動量ｄ[mm]は、３５[mm]フィルム換算時の手ぶれの大きさで、単位は[mm]である。実際に計算処理するときには、画像の大きさをデジタルカメラの画像の大きさの単位[pixel] で考えなければならない。
【００５７】
３５[mm]フィルム換算の画像と、デジタルカメラで撮影した[pixel] 単位の画像は縦横比も異なるので、次のように計算を行う。図５に示すように、３５[mm]フィルム換算時は画像サイズの横×縦が３６[mm]×２４[mm]と決まっている。デジタルカメラで撮影した画像の大きさをＸ[pixel] ×Ｙ[pixel] とし、水平方向（パン方向）のぶれをｘ[pixel] 、垂直方向（チルト方向）のぶれをｙ[pixel] とすると、変換式は次式（７）、（８）となる。
【００５８】
ｘ＝ｄx （Ｘ／３６）＝ｒｔａｎθx （Ｘ／３６）…（７）
ｙ＝ｄy （Ｙ／２４）＝ｒｔａｎθy （Ｙ／２４）…（８）
【００５９】
上記式（７）、（８）には、ｄとθに添字のｘとｙが使用されているが、添字ｘは水平方向の値であることを、添字ｙは垂直方向の値であることを示している。
【００６０】
上記式（１）〜（８）をまとめると、水平方向（パン方向）のぶれｘ[pixel] 、垂直方向（チルト方向）のぶれｙ[pixel] は、次式（９）、（１０）で表される。
【００６１】
ｘ＝ｒｔａｎ｛（Ｌ／ＫＳｆ）ＤLx｝Ｘ／３６…（９）
ｙ＝ｒｔａｎ｛（Ｌ／ＫＳｆ）ＤLy｝Ｙ／２４…（１０）
【００６２】
この変換式（９）、（１０）を用いることで、デジタル値として得られたカメラの各軸の角速度データから画像のぶれ量（動きベクトル）を求めることができる。
【００６３】
撮影中の動きベクトルは、センサから得られた角速度のデータの数だけ（サンプル点の数だけ）得ることができ、それらの始点と終点を順番に結んでいくと、画像上での手ぶれの軌跡になる。また、各ベクトルの大きさを見ることで、その時点での手ぶれの速度がわかる。
【００６４】
〔５−２〕動きベクトル／手ぶれ関数変換処理部３２について
手ぶれを空間フィルタを使って表すことができる。図６の左側の図で示される手ぶれの軌跡（カメラがぶれたときに画像上である一点が描いた軌跡、画像のぶれ量）に合わせて、オペレータの要素に重みを加え空間フィルタ処理を行うと、フィルタリング過程において画素の濃淡値が手ぶれの軌跡に応じた近傍画素の濃淡値のみを考慮するようになるので、手ぶれ画像を作成することができる。
【００６５】
この軌跡に合わせて重み付けしたオペーレータのことをPoint Spread Function(PSF)と呼び、手ぶれの数学モデルとして使用する。ＰＳＦの各要素の重みは、その要素を手ぶれ軌跡が通過する時間に比例した値であって、各要素の重みの総和が１になるように正規化された値となる。すなわち、動きベクトルの大きさの逆数に比例した重みとする。手ぶれが画像に与える影響を考えたとき、遅く動いたところの方が画像に大きな影響を与えているからである。
【００６６】
図６の中央の図は、手ぶれの動きが等速であると仮定した場合のＰＳＦを表し、図６の右側の図は、実際の手ぶれの動きの大きさを考慮した場合のＰＳＦを表している。図６の右側の図においては、ＰＳＦの重みの低い（動きベクトルの大きさが大きい）要素を黒く表示し、重みの高い（動きベクトルの大きさが小さい）要素を白く表示している。
【００６７】
上記〔５−１〕で得られた動きベクトル（画像のぶれ量）は手ぶれの軌跡と、軌跡の速度をデータとして持つ。
【００６８】
ＰＳＦを作成するには、まず、手ぶれの軌跡からＰＳＦの重みをかける要素を決定する。そして、手ぶれの速度からＰＳＦの要素にかける重みを決定する。
【００６９】
上記〔５−１〕で得られた一連の動きベクトルをつなぎ合わせることで折れ線近似された手ぶれの軌跡が得られる。この軌跡は小数点以下の精度を持つが、これを整数化することでＰＳＦにおいて重みをかける要素を決定する。そのために、この実施例では、Bresenham の直線描画アルゴリズムを用いてＰＳＦにおいて重みをかける要素を決定する。Bresenham の直線描画アルゴリズムとは、デジタル画面上で任意の2 点を通る直線を引きたい時に最適なドット位置を選択するアルゴリズムである。                                    
【００７０】
Bresenham の直線描画アルゴリズムを図７の例を用いて説明する。図７において矢印のついた直線は動きベクトルを示している。
【００７１】
（ａ）ドット位置の原点（０，０）から出発し、動きベクトルの水平方向の要素を１つ増やす。
（ｂ）動きベクトルの垂直方向の位置を確認し、この垂直方向位置が前のドットの垂直方向位置に比べて１より大きくなった場合にはドット位置の垂直方向を１つ増やす。
（ｃ）再び動きベクトルの水平方向の要素を１つ増やす。
【００７２】
このような処理を動きベクトルの終点まで繰り返すことにより、動きベクトルが通る直線をドット位置で表現することができる。                                                
【００７３】
ＰＳＦの要素にかける重みは、動きベトクル毎にベクトルの大きさ（速度成分）が異なることを利用して決定する。重みは動きベクトルの大きさの逆数をとり、各動きベクトルに対応する要素に重みを代入する。ただし、各要素の重みの総和が１になるように、各要素の重みを正規化する。図８に図７の動きベクトルにより得られるＰＳＦを示す。速度の速いところ（動きベクトルの長いところ）は重みが小さくなり、速度の遅いところ（動きベクトルの短いところ）は重みが大きくなる。
【００７４】
〔５−３〕平滑化処理部３３について
【００７５】
〔５−３−１〕合焦制御回路１８に山登り方式が採用されている場合
合焦制御回路１８に山登り方式が採用されている場合には、合焦制御回路１８からマイコン２０を介して平滑化処理部３３に、撮影が行われた時点（その時点の直前）のコントラスト値が合焦評価値Ｅとして送られる。この評価値Ｅが大きいほど、合焦状態に近いと判定できる。
【００７６】
同じシーンを撮影した場合、合焦評価値Ｅが小さいほど、撮像画像のピンボケの度合いが高くなる。例えば、山登り探索中に撮影が行われた場合には、ピンボケが発生するが、このときの合焦評価値Ｅは小さい値を示す。また、山登り探索結果が間違った極値に陥った場合も、ピンボケが発生するが、このときの合焦評価値Ｅは小さい値を示す。
【００７７】
特開平５−７３２３号公報には、シーンに依存しないように評価値を正規化する手法が開示されている。この手法によって、合焦評価値Ｅを正規化した値を用いることにより、シーンが異なってもピンボケの度合いを正確に検出することができる。
【００７８】
平滑化処理部３３では、手ぶれ信号／動きベクトル変換処理部３１によって得られたＰＳＦに対して、次式（１１）で示す二次元ガウス関数（ガウシアンフィルタ）を畳み込むことにより、ＰＳＦを平滑化する。
【００７９】
【数１】
2006279807.tif 000003
【００８０】
上記式（１１）において、σは分散を表し、ｒは中央要素からの半径を表している。
【００８１】
上記式（１１）の分散σを大きくすると裾野の長いフィルタ係数分布になり、ＰＳＦのぼけの度合いが増加し、このようなＰＳＦから生成された一般逆フィルタを用いて画像復元を行うと、先鋭化効果が増大する。つまり、分散σを大きくするとピンボケ復元効果が強まる。
【００８２】
そこで、合焦評価値Ｅの大きさとガウシアンフィルタの分散σを逆比例させる。すなわち、合焦評価値Ｅが大きい（ぼけ度合いが小さい）場合には、分散σを小さくして、ピンボケ復元効果を弱める。逆に合焦評価値Ｅが小さい（ぼけ度合いが大きい）場合には、分散σを大きくして、ピンボケ復元効果を強める。
【００８３】
図９は、合焦制御回路１８に山登り方式が採用されている場合の合焦評価値Ｅ、ピンボケの度合い、平滑化強度（分散σ）、ＰＳＦ、補正信号（復元信号）およびピンボケ復元効果の関係を示している。
【００８４】
図９において、信号ａはピンボケおよび手ぶれのない信号を示し、信号ｂは信号ａに対してピンボケおよび手ぶれのある手ぶれ信号を示している。補正信号ｃ１、ｃ２、ｃ３は、手ぶれ信号ｂに対する補正信号を示している。
【００８５】
合焦評価値Ｅが大きい（ぼけ度合いが小さい）場合には、平滑化強度（分散σ）が小さくされ、それによって得られたＰＳＦから生成された一般逆フィルタによって復元された補正信号ｃ１は、ピンボケ復元効果が小さいことがわかる。逆に、合焦評価値Ｅが小さい（ぼけ度合いが大きい）場合には、平滑化強度（分散σ）が大きくされ、それによって得られたＰＳＦから生成された一般逆フィルタによって復元された補正信号ｃ３は、ピンボケ復元効果が大きいことがわかる。
【００８６】
このように合焦評価値Ｅの大きさとガウシアンフィルタの分散σを逆比例させることにより、ピンボケの度合いに応じた適度なピンボケ復元効果が得られる。
【００８７】
〔５−３−２〕合焦制御回路１８に自己相関方式が採用されている場合
合焦制御回路１８に自己相関方式が採用されている場合には、合焦制御回路１８からマイコン２０を介して平滑化処理部３３に、撮影が行われた時点（その時点の直前）での結像位置間隔Ｄと予め設定された合焦時の結像位置間隔Ｄ0 との差の絶対値｜Ｄ−Ｄ0 ｜が合焦評価値Ｅとして送られる。この評価値Ｅが０に近いほど、合焦状態に近いと判定できる。
【００８８】
平滑化処理部３３では、手ぶれ信号／動きベクトル変換処理部３１によって得られたＰＳＦに対して、上記式（１１）で示す二次元ガウス関数（ガウシアンフィルタ）を畳み込むことにより、ＰＳＦを平滑化する。
【００８９】
合焦制御回路１８に自己相関方式が採用されている場合には、合焦評価値Ｅの大きさとガウシアンフィルタの分散σを比例させる。すなわち、合焦評価値Ｅが小さい（ぼけ度合いが小さい）場合には、分散σを小さくして、ピンボケ復元効果を弱める。逆に合焦評価値Ｅが大きい（ぼけ度合いが大きい）場合には、分散σを大きくして、ピンボケ復元効果を強める。このように合焦評価値Ｅの大きさとガウシアンフィルタの分散σを比例させることにより、ピンボケの度合いに応じた適度なピンボケ復元効果が得られる。
【００９０】
〔５−４〕手ぶれ関数／一般逆フィルタ変換処理部３４について
【００９１】
画像は水平方向にＮx 画素、垂直方向にＮy 画素の解像度でデジタル化されているものとする。水平方向にｉ番目、垂直方向にｊ番目の位置にある画素の値をｐ（ｉ，ｊ）で表す。空間フィルタによる画像の変換とは、注目画素の近傍画素の畳み込みによって変換をモデル化するものである。畳み込みの係数をｈ（ｌ，ｍ）とする。ここで、簡単のため、−ｎ＜ｌ，ｍ＜ｎとすると、注目画素の変換は次式（１２）によって表現することができる。また、ｈ（ｌ，ｍ）自身を空間フィルタと呼んだり、フィルタ係数と呼んだりする。変換の性質はｈ（ｌ，ｍ）の係数値によって決まる。
【００９２】
【数２】
2006279807.tif 000004
【００９３】
デジタルカメラなどの撮像装置で点光源を観察した場合、画像の形成過程に劣化がないと仮定すれば、画像上に観察される像は、ある一点だけが０以外の画素値を持ち、それ以外の画素値は０となる。実際の撮像装置は劣化過程を含むので、点光源を観察しても、その像は一点にならず、広がった像になる。手ぶれが発生した場合、点光源は手ぶれに応じた軌跡を画面上に生成する。
【００９４】
点光源に対する観察画像の画素値に比例した値を係数として持ち、係数値の総和が１になる空間フィルタをPoint Spread Function(PSF 、点広がり関数 )と呼ぶ。この実施例では、ＰＳＦとして動きベクトル／手ぶれ関数変換処理部３２によって得られたＰＳＦを用いる。
【００９５】
ＰＳＦを縦横（２ｎ＋１）×（２ｎ＋１）の空間フィルタｈ（ｌ，ｍ）、−ｎ＜ｌ，ｍ＜ｎでモデル化するとき、各画素について、ボケの無い画像の画素値ｐ（ｉ，ｊ）とボケのある画像の画素値ｐ’（ｉ，ｊ）とは、上記式（１２）の関係になる。ここで、実際に観察できるのは、ボケた画像の画素値ｐ’（ｉ，ｊ）であり、ボケの無い画像の画素値ｐ（ｉ，ｊ）は何らかの方法で計算する必要がある。
【００９６】
上記式（１２）を全ての画素について書き並べると、次式（１３）に示すようになる。      
【００９７】
【数３】
2006279807.tif 000005
【００９８】
これらの式をまとめて行列表現することが可能であり、次式（１４）となる。ここで、Ｐは元画像をラスター走査順に一元化したものである。
【００９９】
Ｐ’＝Ｈ×Ｐ    …（１４）
【０１００】
Ｈの逆行列Ｈ-1が存在すれば、Ｐ＝Ｈ-1×Ｐを計算することによって、劣化した画像Ｐ’から劣化の無い画像Ｐを求めることが可能であるが、一般にはＨの逆行列は存在しない。逆行列が存在しない行列に対して、一般逆行列ないしは擬似逆行列と呼ばれるものが存在する。次式（１５）に一般逆行列の例を示す。                                          
【０１０１】
Ｈ* ＝（Ｈt ・Ｈ＋γ・Ｉ）-1・Ｈt   …（１５）
【０１０２】
ここでＨ* はＨの一般逆行列、Ｈt はＨの転置行列、γはスカラー、ＩはＨt ・Ｈと同じサイズの単位行列である。Ｈ* を用いて次式（１６）を計算することで、観察された手ぶれ画像Ｐ’から手ぶれが補正された画像Ｐを得ることができる。γは補正の強さを調整するパラメータである。γが小さければ強い補正処理となり、γが大きければ弱い補正処理となる。
【０１０３】
Ｐ’＝Ｈ* ×Ｐ    …（１６）
【０１０４】
画像サイズを６４０×４８０とした場合、上記式（１６）のＰは３０７，２００×１の行列、Ｈ* は３０７，２００×３０７，２００の行列となる。このような非常に大きな行列となるため、上記式（１５）、（１６）を直接用いることは実用的ではない。そこで、次のような方法で計算に用いる行列のサイズを小さくする。
【０１０５】
まず、上記式（１６）において、Ｐの元になる画像のサイズを６３×６３など、比較小さなサイズにする。６３×６３の画像であれば、Ｐは３９６９×１の行列、Ｈ* は３９６９×３９６９の行列となる。Ｈ* はボケ画像全体を補正された画像全体に変換する行列であり、Ｈ* の各行とＰの積は各画素の補正を行う演算に相当する。Ｈ* の真ん中の行とＰの積は、６３×６３画素の元画像の、真ん中の画素に対する補正に該当する。Ｐは元画像をラスター走査順に一元化したものであったから、逆に、Ｈ* の真ん中の行を逆ラスター走査により２次元化することで、６３×６３のサイズの空間フィルタを構成することができる。このように構成した空間フィルタを一般逆フィルタと呼ぶ。このようにして作成した実用的なサイズの空間フィルタを、大きな画像全体の各画素に順次適用することで、ボケ画像を補正することが可能となる。
【０１０６】
〔６〕画像復元処理部４０について
【０１０７】
画像復元処理部４０は、図２に示すように、ノイズ除去のためのフィルタ回路４１と、一般逆フィルタを用いて画像復元を行うためのフィルタ回路部４２とを備えている。フィルタ回路４１はメディアンフィルタを用いてフィルタ処理を行う。
【０１０８】
カメラによって撮影された手ぶれ画像は、フィルタ回路４１に送られ、メディアンフィルタを用いたフィルタ処理が行われ、ノイズが除去される。フィルタ回路４１によって得られた画像は、画像復元フィルタ計算部３０によって生成された一般逆フィルタを用いたフィルタ処理が行われ、手ぶれ画像から手ぶれおよびピンボケのない画像が復元される。フィルタ回路４２によって得られた画像v ＿fukugen は、リンギング除去処理部５０内の加重平均処理部５３に送られる。
【０１０９】
〔６〕リンギング除去処理部５０についての説明
【０１１０】
リンギング除去処理部５０は、図２に示すように、エッジ強度算出部５１、加重平均係数算出部５２および加重平均処理部５３を備えている。
【０１１１】
カメラによって撮影された手ぶれ画像v ＿tebre は、エッジ強度算出部５１に送られ、各画素毎にエッジ強度が算出される。エッジ強度の求め方について説明する。
【０１１２】
図１０に示すように、注目画素ｖ２２を中心とする３×３の領域を想定する。注目画素ｖ２２に対して、水平エッジ成分dhと垂直エッジ成分dvを算出する。エッジ成分の算出には、例えば、図１１に示すPrewitt のエッジ抽出オペレータを用いる。図１１（ａ）は水平エッジ抽出オペレータを示し、図１１（ｂ）は垂直エッジ抽出オペレータを示している。
【０１１３】
水平エッジ成分dhおよび垂直エッジ成分dvは、次式（１７）、（１８）によって求められる。
【０１１４】
dh＝v11 ＋v12 ＋v13 −v31 −v32 −v33 …（１７）
dv＝v11 ＋v21 ＋v31 −v13 −v23 −v33 …（１８）
【０１１５】
次に、水平エッジ成分dhおよび垂直エッジ成分dvから、注目画素ｖ２２のエッジ強度v ＿edgeを次式（１９）に基づいて算出する。
【０１１６】
v ＿edge＝sqrt(dh ×dh＋dv×dv）  …（１９）
【０１１７】
なお、注目画素ｖ２２のエッジ強度v ＿edgeとして、abs(dh) ＋abs(dv) を用いてもよい。また、このようにして得られたエッジ強度画像に対してさらに３×３のノイズ除去フィルタをかけてもよい。
【０１１８】
エッジ強度算出部５１によって算出された各画素のエッジ強度v ＿edgeは、加重平均係数算出部５２に与えられる。加重平均係数算出部５２は、次式（２０）に基づいて、各画素の加重平均係数ｋを算出する。
【０１１９】
If  v ＿edge＞ th  then  k＝1 
If  v ＿edge≦ th  then  k＝v ＿edge/th     …（２０）
【０１２０】
th は十分に強いエッジであることを判定するための閾値である。つまり、v ＿edgeと加重平均係数ｋとの関係は、図１２に示すような関係となる。
【０１２１】
加重平均係数算出部５２によって算出された各画素の加重平均係数ｋは、加重平均処理部５３に与えられる。画像復元処理部４０によって得られた復元画像の画素値をv ＿fukugen とし、カメラによって撮像された手ぶれ画像の画素値をv ＿tebre とすると、加重平均処理部５３は、次式（２１）で表される計算を行うことにより、復元画像の画素値v ＿fukugen と手ぶれ画像の画素値v ＿tebre とを加重平均する。
【０１２２】
v ＝k ×v ＿fukugen ＋（１−ｋ）×v ＿tebre     …（２１）
【０１２３】
つまり、エッジ強度v ＿edgeが閾値ｔｈより大きな画素については、その位置に対応する復元画像のリンギングが目立たないので、画像復元処理部４０によって得られた復元画像の画素値v ＿fukugen がそのまま出力される。エッジ強度v ＿edgeが閾値ｔｈ以下の画素については、エッジ強度v ＿edgeが小さいほど、復元画像のリンギングが目立つので、復元画像の度合いを弱くし、手ぶれ画像の度合いを強くする。
【０１２４】
上記実施例では、画像復元フィルタ計算部３０内の動きベクトル／手ぶれ関数変換処理部３２によって生成されたＰＳＦに対して、合焦評価値Ｅに応じた平滑化処理を施しているが、角速度データに対して、合焦評価値Ｅに応じた平滑化処理を施すようにしてもよい。
【０１２５】
また、上記のような平滑化処理を行う代わりに、画像復元フィルタ計算部３０内の手ぶれ関数／一般逆フィルタ変換処理部３４によって生成された一般逆フィルタに、合焦評価値Ｅに応じた先鋭化処理を行うようにしてもよい。この場合には、ピンボケの度合いが高いほど（山登り方式では合焦評価値Ｅが小さいほど、自己相関方式では合焦評価値Ｅが大きいほど）、先鋭度が高くなるように先鋭化処理を行う。この先鋭化処理には、アンシャープマスクなどが用いられる。
【図面の簡単な説明】
【０１２６】
【図１】デジタルカメラの構成を示すブロック図である。
【図２】手ぶれ補正処理回路の構成を示すブロック図である。
【図３】角速度センサ１１の出力を増幅するアンプ１３およびアンプ出力をデジタル値に変換するＡ／Ｄ変換器１５を示すブロック図である。
【図４】カメラの回転量θ[deg] と画面上の移動量ｄ[mm]との関係を示す模式図である。
【図５】３５[mm]フィルム換算の画像サイズと、デジタルカメラの画像サイズとを示す模式図である。
【図６】手ぶれを表現する空間フィルタ（ＰＳＦ）を示す模式図である。
【図７】Bresenham の直線描画アルゴリズムを説明するための模式図である。
【図８】図７の動きベクトルにより得られるＰＳＦを示す模式図である。
【図９】合焦制御回路１８に山登り方式が採用されている場合の合焦評価値Ｅ、ピンボケの度合い、平滑化強度（分散σ）、ＰＳＦ、補正信号（復元信号）およびピンボケ復元効果の関係を示す模式図である。
【図１０】注目画素ｖ２２を中心とする３×３の領域を示す模式図である。
【図１１】Prewitt のエッジ抽出オペレータを示す模式図である。
【図１２】エッジ強度v ＿edgeと加重平均係数ｋとの関係を示すグラフである。
【符号の説明】
【０１２７】
１１、１２  角速度センサ
３０  画像復元フィルタ計算部
４０  画像復元処理部
５０  リンギング除去処理部
３１  手ぶれ信号／動きベクトル変換処理部
３２  動きベクトル／手ぶれ関数変換処理部
３３  平滑化処理部
３４  手ぶれ関数／一般逆フィルタ変換処理部
４２  フィルタ回路
【図１】
2006279807.tif 000006
【図２】
2006279807.tif 000007
【図３】
2006279807.tif 000008
【図４】
2006279807.tif 000009
【図５】
2006279807.tif 000010
【図６】
2006279807.tif 000011
【図７】
2006279807.tif 000012
【図８】
2006279807.tif 000013
【図９】
2006279807.tif 000014
【図１０】
2006279807.tif 000015
【図１１】
2006279807.tif 000016
【図１２】
2006279807.tif 000017