(57)【要約】【課題】  この発明は、撮影シーンにかかわらず、手ぶれ補正による副作用を効率よく低減させることができる撮像装置を提供することを目的とする。【解決手段】  撮影シーンを自動的に検出する撮影シーン検出手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、ならびに撮影シーン検出手段によって検出された撮影シーンに基づいて、手ぶれ補正手段による手ぶれ補正の強度を制御する制御手段を備えている。例えば、手ぶれ補正手段としては逆フィルタを用いて手ぶれ補正を行うものが用いられ、制御手段としては撮影シーン検出手段によって検出された撮影シーンに基づいて、逆フィルタを生成する際に用いられる正則化係数を制御するものが用いられる。【選択図】  図１
2006237985.tif 000002
【特許請求の範囲】
【請求項１】
撮影シーンを自動的に検出する撮影シーン検出手段、
入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、ならびに
撮影シーン検出手段によって検出された撮影シーンに基づいて、手ぶれ補正手段による手ぶれ補正の強度を制御する制御手段、
を備えていることを特徴とする撮像装置。
【請求項２】
手ぶれ補正手段は逆フィルタを用いて手ぶれ補正を行うものであり、制御手段は撮影シーン検出手段によって検出された撮影シーンに基づいて、逆フィルタを生成する際に用いられる正則化係数を制御するものであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
撮影シーンを自動的に検出する撮影シーン検出手段、
入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、
手ぶれ補正手段によって得られた復元画像からリンギングを除去するためのリンギング除去手段、ならびに
撮影シーン検出手段によって検出された撮影シーンに基づいて、リンギング除去手段によるリンギング除去の強度を制御する制御手段、
を備えていることを特徴とする撮像装置。
【請求項４】
リンギング除去手段は、手ぶれ補正前の入力画像の画素毎のエッジ強度を算出するエッジ強度算出手段、エッジ強度算出手段によって算出された画素毎のエッジ強度と、エッジ強度に対する加重加算係数との関係とに基づいて、画素毎に加重加算係数を求める係数算出手段、および画像毎に求められた加重加算係数を用いて、入力画像と、手ぶれ補正手段によって得られた復元画像とを画素毎に加重加算する加重平均手段を備えており、
エッジ強度と加重加算係数とは、エッジ強度が閾値以下ではエッジ強度が大きくなるほど復元画像の加重比率が高くなり、エッジ強度が閾値以上になると復元画像の加重比率が１００％となるような関係にあり、
制御手段は撮影シーン検出手段によって検出された撮影シーンに基づいて、上記閾値を制御するものであることを特徴とする請求項３に記載の撮像装置。
【請求項５】
撮影シーンを自動的に検出する撮影シーン検出手段、
入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、
手ぶれ補正手段によって得られた第１画像からリンギングを除去するためのリンギング除去手段、
リンギング除去手段によって得られた第２画像に対してエッジ強調処理を行うためのアンシャープマスキング処理手段、ならびに
撮影シーン検出手段によって検出された撮影シーンに基づいて、アンシャープマスキング処理手段によるエッジ強調幅およびエッジ強調の度合いのうちの少なくとも一方を制御する制御手段、
を備えていることを特徴とする撮像装置。
【請求項６】
アンシャープマスキング処理手段は、ガウシアンフィルタを用いて第２画像の平滑化画像を生成し、第２画像と第２画像の平滑化画像との差分に補正強度パラメータを乗算することによってエッジ強度画像を生成し、第２画像にエッジ強度画像を足し合わせることによりエッジが強調された画像を得るものであり、
制御手段は、撮影シーン検出手段によって検出された撮影シーンに基づいて、平滑化画像を生成するために用いられる二次元ガウス関数中の分散を表すパラメータと、エッジ強調画像を生成するために用いられる上記補正強度パラメータとのうちの少なくとも一方を制御するものであることを特徴とする請求項５に記載の撮像装置。
【請求項７】
撮影シーンを設定するための撮影シーン設定手段、
入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、ならびに
撮影シーン設定手段によって設定された撮影シーンに基づいて、手ぶれ補正手段による手ぶれ補正の強度を制御する制御手段、
を備えていることを特徴とする撮像装置。
【請求項８】
手ぶれ補正手段は逆フィルタを用いて手ぶれ補正を行うものであり、制御手段は撮影シーン設定手段によって設定された撮影シーンに基づいて、逆フィルタを生成する際に用いられる正則化係数を制御するものであることを特徴とする請求項７に記載の撮像装置。
【請求項９】
撮影シーンを設定するための撮影シーン設定手段、
入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、
手ぶれ補正手段によって得られた復元画像からリンギングを除去するためのリンギング除去手段、ならびに
撮影シーン設定手段によって設定された撮影シーンに基づいて、リンギング除去手段によるリンギング除去の強度を制御する制御手段、
を備えていることを特徴とする撮像装置。
【請求項１０】
リンギング除去手段は、手ぶれ補正前の入力画像の画素毎のエッジ強度を算出するエッジ強度算出手段、エッジ強度算出手段によって算出された画素毎のエッジ強度と、エッジ強度に対する加重加算係数との関係とに基づいて、画素毎に加重加算係数を求める係数算出手段、および画像毎に求められた加重加算係数を用いて、入力画像と、手ぶれ補正手段によって得られた復元画像とを画素毎に加重加算する加重平均手段を備えており、
エッジ強度と加重加算係数とは、エッジ強度が閾値以下ではエッジ強度が大きくなるほど復元画像の加重比率が高くなり、エッジ強度が閾値以上になると復元画像の加重比率が１００％となるような関係にあり、
制御手段は撮影シーン設定手段によって設定された撮影シーンに基づいて、上記閾値を制御するものであることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
撮影シーンを設定するための撮影シーン設定手段、
入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、
手ぶれ補正手段によって得られた第１画像からリンギングを除去するためのリンギング除去手段、
リンギング除去手段によって得られた第２画像に対してエッジ強調処理を行うためのアンシャープマスキング処理手段、ならびに
撮影シーン設定手段によって設定された撮影シーンに基づいて、アンシャープマスキング処理手段によるエッジ強調幅およびエッジ強調の度合いのうちの少なくとも一方を制御する制御手段、
を備えていることを特徴とする撮像装置。
【請求項１２】
アンシャープマスキング処理手段は、ガウシアンフィルタを用いて第２画像の平滑化画像を生成し、第２画像と第２画像の平滑化画像との差分に補正強度パラメータを乗算することによってエッジ強度画像を生成し、第２画像にエッジ強度画像を足し合わせることによりエッジが強調された画像を得るものであり、
制御手段は、撮影シーン設定手段によって検出された撮影シーンに基づいて、平滑化画像を生成するために用いられる二次元ガウス関数中の分散を表すパラメータと、エッジ強調画像を生成するために用いられる上記補正強度パラメータとのうちの少なくとも一方を制御するものであることを特徴とする請求項１１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、手ぶれ補正手段を備えたデジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
静止画手ぶれ補正技術は、静止画撮影における手ぶれを軽減する技術であり、手ぶれを検出して、その検出結果に基づいて画像を安定化することで実現される。
【０００３】
手ぶれを検出する方法には、手ぶれセンサ（角速度センサ）を用いる方法と、画像を解析して検出する電子式とがある。画像を安定化させる方法には、レンズや撮像素子を安定化させる光学式と、画像処理により手ぶれによるぼけを除去する電子式とがある。
【０００４】
一方、完全電子式の手ぶれ補正技術、すなわち、撮影された一枚の手ぶれ画像だけを解析・処理することで、手ぶれの除去された画像を生成する技術は、実用レベルに達していない。特に、手ぶれセンサで得られる精度の手ぶれ信号を、一枚の手ぶれ画像を解析することによって求めることは困難である。
【０００５】
したがって、手ぶれセンサを用いて手ぶれを検出し、その手ぶれデータを用いて画像処理により手ぶれぼけを除去することが現実的である。画像処理によるぼけの除去を画像復元と呼ぶ。また、手ぶれセンサと画像復元による手法を、ここでは電子式手ぶれ補正と呼ぶことにする。
【０００６】
ところで、手ぶれやピンボケなどの画像の劣化過程が明確であるならば、ウィーナフィルタや一般逆フィルタと呼ばれる画像復元フィルタを用いることで、その劣化を軽減することが可能である。しかし、その副作用として、画像のエッジ部の周辺部にリンギングと呼ばれる波状の劣化が発生したり、ノイズが強調されるといったことが起こる。
【０００７】
このような副作用を軽減する方法として、画像復元フィルタで復元を行う前または後ろに平滑化フィルタ（メディアンフィルタ、ガウシアンフィルタ等）を挿入したり、画像復元後の画像に対してリンギング除去またはアンシャープマスキングを行ったりする方法がある。しかしながら、夜景、人物、風景、動作等の撮像シーンによって、副作用が大きく変化するため、全ての撮影シーンにおいて副作用を効率よく低減させることは困難であった。
【特許文献１】特開平８−２６５５７２号公報
【特許文献２】特開２００４−８８５６７号公報
【特許文献３】特開平１１−２４１２２号公報
【特許文献４】特開２００３−２７４２８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
この発明は、撮影シーンにかかわらず、手ぶれ補正による副作用を効率よく低減させることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１に記載の発明は、撮影シーンを自動的に検出する撮影シーン検出手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、ならびに撮影シーン検出手段によって検出された撮影シーンに基づいて、手ぶれ補正手段による手ぶれ補正の強度を制御する制御手段を備えていることを特徴とする。
【００１０】
請求項２に記載の発明は、請求項１に記載の撮像装置において、手ぶれ補正手段は逆フィルタを用いて手ぶれ補正を行うものであり、制御手段は撮影シーン検出手段によって検出された撮影シーンに基づいて、逆フィルタを生成する際に用いられる正則化係数を制御するものであることを特徴とする。
【００１１】
請求項３に記載の発明は、撮影シーンを自動的に検出する撮影シーン検出手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、手ぶれ補正手段によって得られた復元画像からリンギングを除去するためのリンギング除去手段、ならびに撮影シーン検出手段によって検出された撮影シーンに基づいて、リンギング除去手段によるリンギング除去の強度を制御する制御手段を備えていることを特徴とする。
【００１２】
請求項４に記載の発明は、請求項３に記載の撮像装置において、リンギング除去手段は、手ぶれ補正前の入力画像の画素毎のエッジ強度を算出するエッジ強度算出手段、エッジ強度算出手段によって算出された画素毎のエッジ強度と、エッジ強度に対する加重加算係数との関係とに基づいて、画素毎に加重加算係数を求める係数算出手段、および画像毎に求められた加重加算係数を用いて、入力画像と、手ぶれ補正手段によって得られた復元画像とを画素毎に加重加算する加重平均手段を備えており、エッジ強度と加重加算係数とは、エッジ強度が閾値以下ではエッジ強度が大きくなるほど復元画像の加重比率が高くなり、エッジ強度が閾値以上になると復元画像の加重比率が１００％となるような関係にあり、制御手段は撮影シーン検出手段によって検出された撮影シーンに基づいて、上記閾値を制御するものであることを特徴とする。
【００１３】
請求項５に記載の発明は、撮影シーンを自動的に検出する撮影シーン検出手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、手ぶれ補正手段によって得られた第１画像からリンギングを除去するためのリンギング除去手段、リンギング除去手段によって得られた第２画像に対してエッジ強調処理を行うためのアンシャープマスキング処理手段、ならびに撮影シーン検出手段によって検出された撮影シーンに基づいて、アンシャープマスキング処理手段によるエッジ強調幅およびエッジ強調の度合いのうちの少なくとも一方を制御する制御手段を備えていることを特徴とする。
【００１４】
請求項６に記載の発明は、請求項５に記載の撮像装置において、アンシャープマスキング処理手段は、ガウシアンフィルタを用いて第２画像の平滑化画像を生成し、第２画像と第２画像の平滑化画像との差分に補正強度パラメータを乗算することによってエッジ強度画像を生成し、第２画像にエッジ強度画像を足し合わせることによりエッジが強調された画像を得るものであり、制御手段は、撮影シーン検出手段によって検出された撮影シーンに基づいて、平滑化画像を生成するために用いられる二次元ガウス関数中の分散を表すパラメータと、エッジ強調画像を生成するために用いられる上記補正強度パラメータとのうちの少なくとも一方を制御するものであることを特徴とする。
【００１５】
請求項７に記載の発明は、撮影シーンを設定するための撮影シーン設定手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、ならびに撮影シーン設定手段によって設定された撮影シーンに基づいて、手ぶれ補正手段による手ぶれ補正の強度を制御する制御手段を備えていることを特徴とする。
【００１６】
請求項８に記載の発明は、請求項７に記載の撮像装置において、手ぶれ補正手段は逆フィルタを用いて手ぶれ補正を行うものであり、制御手段は撮影シーン設定手段によって設定された撮影シーンに基づいて、逆フィルタを生成する際に用いられる正則化係数を制御するものであることを特徴とする。
【００１７】
請求項９に記載の発明は、撮影シーンを設定するための撮影シーン設定手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、手ぶれ補正手段によって得られた復元画像からリンギングを除去するためのリンギング除去手段、ならびに撮影シーン設定手段によって設定された撮影シーンに基づいて、リンギング除去手段によるリンギング除去の強度を制御する制御手段を備えていることを特徴とする。
【００１８】
請求項１０に記載の発明は、請求項９に記載の撮像装置において、リンギング除去手段は、手ぶれ補正前の入力画像の画素毎のエッジ強度を算出するエッジ強度算出手段、エッジ強度算出手段によって算出された画素毎のエッジ強度と、エッジ強度に対する加重加算係数との関係とに基づいて、画素毎に加重加算係数を求める係数算出手段、および画像毎に求められた加重加算係数を用いて、入力画像と、手ぶれ補正手段によって得られた復元画像とを画素毎に加重加算する加重平均手段を備えており、エッジ強度と加重加算係数とは、エッジ強度が閾値以下ではエッジ強度が大きくなるほど復元画像の加重比率が高くなり、エッジ強度が閾値以上になると復元画像の加重比率が１００％となるような関係にあり、制御手段は撮影シーン設定手段によって設定された撮影シーンに基づいて、上記閾値を制御するものであることを特徴とする。
【００１９】
請求項１１に記載の発明は、撮影シーンを設定するための撮影シーン設定手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、手ぶれ補正手段によって得られた第１画像からリンギングを除去するためのリンギング除去手段、リンギング除去手段によって得られた第２画像に対してエッジ強調処理を行うためのアンシャープマスキング処理手段、ならびに撮影シーン設定手段によって設定された撮影シーンに基づいて、アンシャープマスキング処理手段によるエッジ強調幅およびエッジ強調の度合いのうちの少なくとも一方を制御する制御手段を備えていることを特徴とする。
【００２０】
請求項１２に記載の発明は、請求項１１に記載の撮像装置において、アンシャープマスキング処理手段は、ガウシアンフィルタを用いて第２画像の平滑化画像を生成し、第２画像と第２画像の平滑化画像との差分に補正強度パラメータを乗算することによってエッジ強度画像を生成し、第２画像にエッジ強度画像を足し合わせることによりエッジが強調された画像を得るものであり、制御手段は、撮影シーン設定手段によって検出された撮影シーンに基づいて、平滑化画像を生成するために用いられる二次元ガウス関数中の分散を表すパラメータと、エッジ強調画像を生成するために用いられる上記補正強度パラメータとのうちの少なくとも一方を制御するものであることを特徴とする。
【発明の効果】
【００２１】
この発明によれば、撮影シーンにかかわらず、手ぶれ補正による副作用を効率よく低減させることができるようになる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して、この発明をデジタルカメラに適用した場合の実施例について説明する。
【実施例１】
【００２３】
以下、第１実施例について説明する。
〔１〕手ぶれ補正処理回路の構成
図１は、デジタルカメラに設けられた手ぶれ補正処理回路の構成を示している。
【００２４】
１ａ、１ｂは、角速度を検出するための角速度センサである。一方の角速度センサ１ａはカメラのパン方向の角速度を、他方の角速度センサ１ｂはカメラのチルト方向の角速度をそれぞれ検出する。２は、角速度センサ１ａ、１ｂによって検出された２軸の角速度に基づいて、画像復元フィルタの係数を算出する画像復元フィルタ計算部である。３は、画像復元フィルタ計算部２によって算出された係数に基づいて、撮像画像（手ぶれ画像）に対して画像復元処理を行う画像復元処理部である。
【００２５】
４は、撮影シーンを自動的に検出する撮影シーン検出部である。５は、撮影シーン検出部４によって検出された撮影シーンに応じて、画像復元フィルタ計算部２で用いられる補正強度パラメータを変更するための補正強度パラメータ制御部である。
【００２６】
なお、特許請求の範囲に記載された”手ぶれ補正手段”は、この実施例では、各速度センサ１ａ、１ｂ、画像復元フィルタ計算部２および画像復元処理部３内のフィルタ処理部３１、３２から構成されている。つまり、画像復元フィルタ（逆フィルタ）によって復元された復元画像（v ＿fukugen)が”手ぶれ補正手段”によって得られた画像となる。
【００２７】
以下、画像復元フィルタ計算部２、画像復元処理部３、撮影シーン検出部４および補正強度パラメータ制御部５について説明する。
【００２８】
〔２〕画像復元フィルタ計算部２の説明
画像復元フィルタ計算部２は、角速度センサ１ａ，１ｂによって検出された角速度データ（手ぶれ信号）を動きベクトルに変換する手ぶれ信号／動きベクトル変換処理部２１、手ぶれ信号／動きベクトル変換処理部２１によって得られた動きベクトルを、画像のボケを表す手ぶれ関数（ＰＳＦ：Point Spread Function)に変換する動きベクトル／手ぶれ関数変換処理部２２および動きベクトル／手ぶれ関数変換処理部２２によって得られた手ぶれ関数を一般逆フィルタ（画像復元フィルタ）に変換する手ぶれ関数／一般逆フィルタ変換処理部２３を備えている。
【００２９】
〔２−１〕手ぶれ信号／動きベクトル変換処理部２１についての説明
手ぶれの元データは、撮影開始から撮影終了までの間の角速度センサ１ａ、１ｂの出力データである。角速度センサ１ａ、１ｂを用いてカメラの露光時期と同期させることで、撮影開始と共に所定のサンプリング間隔ｄｔ[sec] でパン方向およびチルト方向の角速度を計測し、撮影終了までのデータを得る。サンプリング間隔ｄｔ[sec] は、たとえば、１ｍｓｅｃである。  
【００３０】
図２に示すように、例えば、カメラのパン方向の角速度θ’[deg/sec] は、角速度センサ１ａによって電圧Ｖg [mV]に変換された後、アンプ１０１によって増幅される。アンプ１０１から出力される電圧Ｖa [mV] はＡ／Ｄ変換器１０２によってデジタル値ＤL [step]に変換される。デジタル値として得られたデータを角速度に変換するには、センサ感度Ｓ[mV/deg/sec]、アンプ倍率Ｋ[ 倍] 、Ａ／Ｄ変換係数Ｌ[mV/step] を用いて計算する。なお、アンプおよびＡ／Ｄ変換器は、各角速度センサ１ａ、１ｂ毎に設けられている。これらのアンプおよびＡ／Ｄ変換器は、手ぶれ信号／動きベクトル変換処理部２１内に設けられている。
【００３１】
角速度センサ１ａによって得られる電圧値Ｖg [mV]は、角速度θ’[deg/sec] の値と比例する。このときの比例定数はセンサ感度であるので、Ｖg [mV]は、次式（１）で表される。
【００３２】
Ｖg ＝Ｓθ’…（１）
【００３３】
また、アンプ１０１は電圧値を増幅するだけなので、増幅された電圧Ｖa [mV] は、次式（２）で表される。
【００３４】
Ｖa ＝ＫＶg …（２）
【００３５】
アンプ１０１で増幅された電圧値Ｖa [mV] はＡ／Ｄ変換され、ｎ[step]（例えば、−５１２〜５１２）のデジタル値ＤL [step]を使って表現される。Ａ／Ｄ変換係数をＬ[mV/step] とすると、デジタル値ＤL [step]は、次式（３）で表される。
【００３６】
ＤL ＝Ｖa ／Ｌ…（３）
【００３７】
上記式（１）〜（３）を用いることで、次式（４）に示すように、センサデータから角速度を求めることができる。
【００３８】
θ’＝（Ｌ／ＫＳ）ＤL …（４）
【００３９】
撮影中の角速度データから、撮影された画像上でどれだけのぶれが生じたかを計算することができる。この画像上でのみかけの動きを動きベクトルと呼ぶ。
【００４０】
角速度データの１つのサンプル値から次のサンプル値までにカメラに生じた回転量をθ[deg] とする。この間、角速度一定でカメラが回転すると仮定し、サンプリング周波数をf ＝１／ｄｔ[Hz]とすると、θ[deg] は次式（５）で表される。
【００４１】
θ＝θ’／ｆ＝（Ｌ／ＫＳｆ）ＤL …（５）
【００４２】
図３に示すように、ｒ[mm]を焦点距離（３５[mm]フィルム換算）とすると、カメラの回転量θ[deg] から画面上の移動量ｄ[mm]が次式（６）により求められる。
【００４３】
ｄ＝ｒｔａｎθ…（６）
【００４４】
ここで求められた移動量ｄ[mm]は、３５[mm]フィルム換算時の手ぶれの大きさで、単位は[mm]である。実際に計算処理するときには、画像の大きさをデジタルカメラの画像の大きさの単位[pixel] で考えなければならない。
【００４５】
３５[mm]フィルム換算の画像と、デジタルカメラで撮影した[pixel] 単位の画像は縦横比も異なるので、次のように計算を行う。図４に示すように、３５[mm]フィルム換算時は画像サイズの横×縦が３６[mm]×２４[mm]と決まっている。デジタルカメラで撮影した画像の大きさをＸ[pixel] ×Ｙ[pixel] とし、水平方向（パン方向）のぶれをｘ[pixel] 、垂直方向（チルト方向）のぶれをｙ[pixel] とすると、変換式は次式（７）、（８）となる。
【００４６】
ｘ＝ｄx （Ｘ／３６）＝ｒｔａｎθx （Ｘ／３６）…（７）
ｙ＝ｄy （Ｙ／２４）＝ｒｔａｎθy （Ｙ／２４）…（８）
【００４７】
上記式（７）、（８）には、ｄとθに添字のｘとｙが使用されているが、添字ｘは水平方向の値であることを、添字ｙは垂直方向の値であることを示している。
【００４８】
上記式（１）〜（８）をまとめると、水平方向（パン方向）のぶれｘ[pixel] 、垂直方向（チルト方向）のぶれｙ[pixel] は、次式（９）、（１０）で表される。
【００４９】
ｘ＝ｒｔａｎ｛（Ｌ／ＫＳｆ）ＤLx｝Ｘ／３６…（９）
ｙ＝ｒｔａｎ｛（Ｌ／ＫＳｆ）ＤLy｝Ｙ／２４…（１０）
【００５０】
この変換式（９）、（１０）を用いることで、デジタル値として得られたカメラの各軸の角速度データから画像のぶれ量（動きベクトル）を求めることができる。
【００５１】
撮影中の動きベクトルは、センサから得られた角速度のデータの数だけ（サンプル点の数だけ）得ることができ、それらの始点と終点を順番に結んでいくと、画像上での手ぶれの軌跡になる。また、各ベクトルの大きさを見ることで、その時点での手ぶれの速度がわかる。
【００５２】
〔２−２〕動きベクトル／手ぶれ関数変換処理部２２について
手ぶれを空間フィルタを使って表すことができる。図５の左側の図で示される手ぶれの軌跡（カメラがぶれたときに画像上である一点が描いた軌跡、画像のぶれ量）に合わせて、オペレータの要素に重みを加え空間フィルタ処理を行うと、フィルタリング過程において画素の濃淡値が手ぶれの軌跡に応じた近傍画素の濃淡値のみを考慮するようになるので、手ぶれ画像を作成することができる。
【００５３】
この軌跡に合わせて重み付けしたオペレータのことをPoint Spread Function(PSF)と呼び、手ぶれの数学モデルとして使用する。ＰＳＦの各要素の重みは、その要素を手ぶれ軌跡が通過する時間に比例した値であって、各要素の重みの総和が１になるように正規化された値でとなる。すなわち、動きベクトルの大きさの逆数に比例した重みとする。手ぶれが画像に与える影響を考えたとき、遅く動いたところの方が画像に大きな影響を与えているからである。
【００５４】
図５の中央の図は、手ぶれの動きが等速であると仮定した場合のＰＳＦを表し、図５の右側の図は、実際の手ぶれの動きの大きさを考慮した場合のＰＳＦを表している。図５の右側の図においては、ＰＳＦの重みの低い（動きベクトルの大きさが大きい）要素を黒く表示し、重みの高い（動きベクトルの大きさが小さい）要素を白く表示している。
【００５５】
上記〔２−１〕で得られた動きベクトル（画像のぶれ量）は手ぶれの軌跡と、軌跡の速度をデータとして持つ。
【００５６】
ＰＳＦを作成するには、まず、手ぶれの軌跡からＰＳＦの重みをかける要素を決定する。そして、手ぶれの速度からＰＳＦの要素にかける重みを決定する。
【００５７】
上記〔２−１〕で得られた一連の動きベクトルをつなぎ合わせることで折れ線近似された手ぶれの軌跡が得られる。この軌跡は小数点以下の精度を持つが、これを整数化することでＰＳＦにおいて重みをかける要素を決定する。そのために、この実施例では、Bresenham の直線描画アルゴリズムを用いてＰＳＦにおいて重みをかける要素を決定する。Bresenham の直線描画アルゴリズムとは、デジタル画面上で任意の2 点を通る直線を引きたい時に最適なドット位置を選択するアルゴリズムである。                                    
【００５８】
Bresenham の直線描画アルゴリズムを図６の例を用いて説明する。図６において矢印のついた直線は動きベクトルを示している。
【００５９】
（ａ）ドット位置の原点（０，０）から出発し、動きベクトルの水平方向の要素を１つ増やす。
（ｂ）動きベクトルの垂直方向の位置を確認し、この垂直方向位置が前のドットの垂直方向位置に比べて１より大きくなった場合にはドット位置の垂直方向を１つ増やす。
（ｃ）再び動きベクトルの水平方向の要素を１つ増やす。
【００６０】
このような処理を動きベクトルの終点まで繰り返すことにより、動きベクトルが通る直線をドット位置で表現することができる。                                                
【００６１】
ＰＳＦの要素にかける重みは、動きベトクル毎にベクトルの大きさ（速度成分）が異なることを利用して決定する。重みは動きベクトルの大きさの逆数をとり、各動きベクトルに対応する要素に重みを代入する。ただし、各要素の重みの総和が１になるように、各要素の重みを正規化する。図７に図６の動きベクトルにより得られるＰＳＦを示す。速度の速いところ（動きベクトルの長いところ）は重みが小さくなり、速度の遅いところ（動きベクトルの短いところ）は重みが大きくなる。
【００６２】
〔２−３〕手ぶれ関数／一般逆フィルタ変換処理部２３について
画像は水平方向にＮx 画素、垂直方向にＮy 画素の解像度でデジタル化されているものとする。水平方向にｉ番目、垂直方向にｊ番目の位置にある画素の値をｐ（ｉ，ｊ）で表す。空間フィルタによる画像の変換とは、注目画素の近傍画素の畳み込みによって変換をモデル化するものである。畳み込みの係数をｈ（ｌ，ｍ）とする。ここで、簡単のため、−ｎ＜ｌ，ｍ＜ｎとすると、注目画素の変換は次式（１１）によって表現することができる。また、ｈ（ｌ，ｍ）自身を空間フィルタと呼んだり、フィルタ係数と呼んだりする。変換の性質はｈ（ｌ，ｍ）の係数値によって決まる。
【００６３】
【数１】
2006237985.tif 000003
【００６４】
デジタルカメラなどの撮像装置で点光源を観察した場合、画像の形成過程に劣化がないと仮定すれば、画像上に観察される像は、ある一点だけが０以外の画素値を持ち、それ以外の画素値は０となる。実際の撮像装置は劣化過程を含むので、点光源を観察しても、その像は一点にならず、広がった像になる。手ぶれが発生した場合、点光源は手ぶれに応じた軌跡を画面上に生成する。
【００６５】
点光源に対する観察画像の画素値に比例した値を係数として持ち、係数値の総和が１になる空間フィルタをPoint Spread Function(PSF 、点広がり関数 )と呼ぶ。この実施例では、ＰＳＦとして動きベクトル／手ぶれ関数変換処理部２２によって得られたＰＳＦを用いる。
【００６６】
ＰＳＦを縦横（２ｎ＋１）×（２ｎ＋１）の空間フィルタｈ（ｌ，ｍ）、−ｎ＜ｌ，ｍ＜ｎでモデル化するとき、各画素について、ボケの無い画像の画素値ｐ（ｉ，ｊ）とボケのある画像の画素値ｐ’（ｉ，ｊ）とは、上記式（１１）の関係になる。ここで、実際に観察できるのは、ボケた画像の画素値ｐ’（ｉ，ｊ）であり、ボケの無い画像の画素値ｐ（ｉ，ｊ）は何らかの方法で計算する必要がある。
【００６７】
上記式（１１）を全ての画素について書き並べると、次式（１２）に示すようになる。      
【００６８】
【数２】
2006237985.tif 000004
【００６９】
これらの式をまとめて行列表現することが可能であり、次式（１３）となる。ここで、Ｐは元画像をラスター走査順に一元化したものである。
【００７０】
Ｐ’＝Ｈ×Ｐ    …（１３）
【００７１】
Ｈの逆行列Ｈ-1が存在すれば、Ｐ＝Ｈ-1×Ｐを計算することによって、劣化した画像Ｐ’から劣化の無い画像Ｐを求めることが可能であるが、一般にはＨの逆行列は存在しない。逆行列が存在しない行列に対して、一般逆行列ないしは擬似逆行列と呼ばれるものが存在する。次式（１４）に一般逆行列の例を示す。                                          
【００７２】
Ｈ* ＝（Ｈt ・Ｈ＋γ・Ｉ）-1・Ｈt   …（１４）
【００７３】
ここでＨ* はＨの一般逆行列、Ｈt はＨの転置行列、γはスカラー、ＩはＨt ・Ｈと同じサイズの単位行列である。Ｈ* を用いて次式（１５）を計算することで、観察された手ぶれ画像Ｐ’から手ぶれが補正された画像Ｐを得ることができる。γは補正の強さを調整する正則化係数（補正強度パラメータ）である。γが小さければ強い補正処理となり、γが大きければ弱い補正処理となる。第１実施例では、後述するように、撮像シーンに応じて、補正強度パラメータγの値が決定される。
【００７４】
Ｐ’＝Ｈ* ×Ｐ    …（１５）
【００７５】
画像サイズを６４０×４８０とした場合、上記式（１５）のＰは３０７，２００×１の行列、Ｈ* は３０７，２００×３０７，２００の行列となる。このような非常に大きな行列となるため、上記式（１４）、（１５）を直接用いることは実用的ではない。そこで、次のような方法で計算に用いる行列のサイズを小さくする。
【００７６】
まず、上記式（１５）において、Ｐの元になる画像のサイズを６３×６３など、比較小さなサイズにする。６３×６３の画像であれば、Ｐは３９６９×１の行列、Ｈ* は３９６９×３９６９の行列となる。Ｈ* はボケ画像全体を補正された画像全体に変換する行列であり、Ｈ* の各行とＰの積は各画素の補正を行う演算に相当する。Ｈ* の真ん中の行とＰの積は、６３×６３画素の元画像の、真ん中の画素に対する補正に該当する。Ｐは元画像をラスター走査順に一元化したものであったから、逆に、Ｈ* の真ん中の行を逆ラスター走査により２次元化することで、６３×６３のサイズの空間フィルタを構成することができる。このように構成した空間フィルタを一般逆フィルタ（以下、画像復元フィルタという）と呼ぶ。
【００７７】
このようにして作成した実用的なサイズの空間フィルタを、大きな画像全体の各画素に順次適用することで、ボケ画像を補正することが可能となる。なお、以上の手順で求めたボケ画像の復元フィルタにも、γであらわされる復元の強度を調整するパラメータが存在する。
【００７８】
〔３〕画像復元処理部３について
画像復元処理部３は、図１に示すように、フィルタ処理部３１、フィルタ処理部３２、リンギング除去処理部３３およびアンシャープマスキング処理部３４を備えている。フイルタ処理部３１はメディアンフィルタを用いてフィルタ処理を行う。フイルタ処理部３２は、画像復元フィルタ計算部２によって得られた画像復元フィルタを用いてフィルタ処理を行う。
【００７９】
カメラによって撮影された手ぶれ画像は、フィルタ処理部３１に送られ、メディアンフィルタを用いたフィルタ処理が行われ、ノイズが除去される。フィルタ処理部３１によって得られた画像は、フィルタ処理部３２に送られる。フィルタ処理部３２では、手ぶれ関数／一般逆フィルタ変換処理部２３によって生成された画像復元フィルタを用いたフィルタ処理が行われ、手ぶれ画像から手ぶれのない画像が復元される。フィルタ処理部３２によって得られた画像は、リンギング除去処理部３３に送られ、リンギングが除去される。リンギング除去処理部３３によって得られた画像は、アンシャープマスキング処理部３４に送られ、エッジを強調するための処理が行われる。
【００８０】
〔３−１〕リンギング除去処理部３３についての説明
リンギング除去処理部３３は、図８に示すように、エッジ強度算出部６１、加重平均係数算出部６２および加重平均処理部６３を備えている。
【００８１】
カメラによって撮影された手ぶれ画像（v ＿tebre)は、エッジ強度算出部６１に送られ、各画素毎にエッジ強度が算出される。エッジ強度の求め方について説明する。
【００８２】
図９に示すように、注目画素ｖ２２を中心とする３×３の領域を想定する。注目画素ｖ２２に対して、水平エッジ成分dhと垂直エッジ成分dvを算出する。エッジ成分の算出には、例えば、図１０に示すPrewitt のエッジ抽出オペレータを用いる。図１０（ａ）は水平エッジ抽出オペレータを示し、図１０（ｂ）は垂直エッジ抽出オペレータを示している。      
【００８３】
水平エッジ成分dhおよび垂直エッジ成分dvは、次式（１６）、（１７）によって求められる。
【００８４】
dh＝v11 ＋v12 ＋v13 −v31 −v32 −v33 …（１６）
dv＝v11 ＋v21 ＋v31 −v13 −v23 −v33 …（１７）
【００８５】
次に、水平エッジ成分dhおよび垂直エッジ成分dvから、注目画素ｖ２２のエッジ強度v ＿edgeを次式（１８）に基づいて算出する。
【００８６】
v ＿edge＝sqrt(dh ×dh＋dv×dv）  …（１８）
【００８７】
なお、注目画素ｖ２２のエッジ強度v ＿edgeとして、abs(dh) ＋abs(dv) を用いてもよい。また、このようにして得られたエッジ強度画像に対してさらに３×３のノイズ除去フィルタをかけてもよい。
【００８８】
エッジ強度算出部６１によって算出された各画素のエッジ強度v ＿edgeは、加重平均係数算出部６２に与えられる。加重平均係数算出部６２は、次式（１９）に基づいて、各画素の加重平均係数ｋを算出する。
【００８９】
If  v ＿edge＞ th  then  k＝1 
If  v ＿edge≦ th  then  k＝v ＿edge/th     …（１９）
【００９０】
th は十分に強いエッジであることを判定するための閾値である。つまり、v ＿edgeと加重平均係数ｋとの関係は、図１１に示すような関係となる。
【００９１】
加重平均係数算出部６２によって算出された各画素の加重平均係数ｋは、加重平均処理部６３に与えられる。フィルタ処理部３２によって得られた復元画像の画素値をv ＿fukugen とし、カメラによって撮像された手ぶれ画像の画素値をv ＿tebre とすると、加重平均処理部６２は、次式（２０）で表される計算を行うことにより、復元画像の画素値v ＿fukugen と手ぶれ画像の画素値v ＿tebre とを加重平均する。
【００９２】
v ＝k ×v ＿fukugen ＋（１−ｋ）×v ＿tebre     …（２０）
【００９３】
つまり、エッジ強度v ＿edgeが閾値ｔｈより大きな画素については、その位置に対応する復元画像のリンギングが目立たないので、画像復元処理部３によって得られた復元画像の画素値v ＿fukugen がそのまま出力される。エッジ強度v ＿edgeが閾値ｔｈ以下の画素については、エッジ強度v ＿edgeが小さいほど、復元画像のリンギングが目立つので、復元画像の度合いを弱くし、手ぶれ画像の度合いを強くする。
【００９４】
〔３−２〕アンシャープマスキング処理部３４についての説明
【００９５】
アンシャープマスキングとは、エッジ強調を行う画像処理手法である。リンギング除去処理部３３からアンシャープマスキング処理部３４に送られてくる画像を元画像と呼ぶことにする。アンシャープマスキング処理部３４は、まず、ガウシアンフィルタを用いて元画像を平滑化することによって平滑化画像を生成し、元画像と平滑化画像の差分をとり、その差分に補正強度パラメータを乗算することによってエッジ強度画像を得る。そして、元画像にエッジ強度画像を足し合わせることにより、エッジが強調された画像を得る。
【００９６】
元画像をＩとし、アンシャープマスキング処理によって得られた画像をＩ’とすると、Ｉ’は次式（２１）で表される。
【００９７】
Ｉ’＝Ｉ＋Ｋ（Ｉ−Ｇ（Ｉ））    …（２１）
【００９８】
上記式（２１）において、Ｇ（Ｉ）は元画像の平滑化画像であり、Ｋは補正強度パラメータである。
【００９９】
アンシャープマスキング処理を行う時に必要なパラメータは２種類ある。その１つは上記式（２１）の補正強度パラメータＫであり、エッジ強調の度合いを調整するためのパラメータである。もう１つは、ガウシアンフィルタを用いて平滑化を行う際に用いられるパラメータである。
【０１００】
ガウシアンフィルタを用いて平滑化を行った画像Ｇ（Ｉ）は、元画像Ｉ（ｘ，ｙ）に対して、平均を０、分散をσ2 とする次式（２２）で示される二次元ガウス関数を畳み込むことによって求められる。
【０１０１】
【数３】
2006237985.tif 000005
【０１０２】
つまり、Ｇ（Ｉ）は、次式（２３）で表される。
【０１０３】
【数４】
2006237985.tif 000006
【０１０４】
上記式（２３）において、記号＊は畳み込みを表している。分散を表すパラメータσが調整パラメータとなる。
【０１０５】
このパラメータσは、エッジの強調幅を示すものである。図１２は、σが小さい場合と、σが大きい場合のエッジ強調効果の差異を示している。図１２では、わかりやすくするために、１次元の信号を用いている。
【０１０６】
Ａは、エッジ信号（元の信号）を示している。Ｂはエッジ信号Ａを平滑化した信号を示している。Ｃは、エッジ信号Ａと平滑化信号Ｂとの差分（Ａ−Ｂ）  をとることにより得られたエッジ強度信号を示している。Ｄは、エッジ信号Ａにエッジ強度信号Ｃを足し合わせることにより得られた信号を示している。
【０１０７】
σを小さくすると、図１２の信号Ｄに現れるエッジ強調幅ａが狭くなる。エッジ強調幅ａが狭い場合、エッジ幅の狭い急峻なエッジに対しては、満足な強調効果が得られる。しかしながら、エッジ幅の広い緩やかなエッジに対しては、元信号のエッジ幅に対して強調する幅が足りないので、得られる画像は強調効果が弱い画像となる。
【０１０８】
σを大きくすると、エッジ強調幅ａが広くなる。エッジ強調幅ａが広い場合には、σが小さい場合とは逆に、エッジ幅の広い緩やかなエッジに対しては、満足な強調効果が得られる。しかしながら、エッジ幅の狭い急峻なエッジに対しては、元信号のエッジ幅に対して強調する幅が広いため、得られる画像は不自然な画像となる。
【０１０９】
パラメータＫは、図１２の信号Ｃに現れるエッジ強調部の高さｂを調整するパラメータである。Ｋを大きくすると、よりエッジが強調されるようになるが、画像に含まれるノイズも強調される。Ｋを小さくすると、エッジ強調効果が低くなる。
【０１１０】
〔４〕撮影シーン検出部４についての説明
撮影シーン検出部４は、撮影シーンを自動的に検出する。撮影シーンを自動的に検出する方法としては、例えば、特開２００３−２７４２８０号公報に開示された手法を用いることができる。
【０１１１】
具体的には、表１に示す判定基準に基づいて、撮影シーンを判別する。
【０１１２】
【表１】
2006237985.tif 000007
【０１１３】
判別される撮影シーンの種類としては、”ポートレート”、”遠景”、”夜景”、”スポーツ”がある。判定パラメータとしては、被写体距離、焦点距離、輝度、光源および動体がある。被写体距離は、被写体との距離を表しており、オートフォーカスの制御値に基づいて求められる。焦点距離は、ズーム倍率のことであり、ズーム倍率値に基づいて求められる。輝度は画像の明るさを表しており、画像の輝度値に基づいて明るいか暗いかが判別される。光源は光源の色を表しており、ホワイトバランスの評価値に基づいて判別される。動体は、被写体が動いているか静止しているかを表し、特徴点や色の変化（動き）に基づいて判別される。
【０１１４】
以下、各撮影シーンに対して判定基準が表１のように設定された理由について説明する。
【０１１５】
（１）ポートレート
人物を撮影する場合、他の撮影シーンと比較して被写体距離は短く（近く）なる。さらに、近くの被写体をやや望遠することによって大きく写すことが多いので、撮影の際に焦点距離の設定がやや大きくなる。また、撮影は明るい所で行われる確率が高いとともに、光源は昼光色または室内光（自然光に近い照明光）である確率が高い。また、被写体は止まっていることが多い。
【０１１６】
（２）遠景
遠景を撮影する場合、被写体距離は大きく（遠く）なる。さらに、全体を撮影するために広角側で撮影することが多いので、撮影の際に焦点距離の設定は小さくなる。また、撮影は明るい屋外で行われ、光源は昼光色である確率が高い。また、被写体は止まっていることが多い。
【０１１７】
（３）夜景
夜景を撮影する場合、被写体距離は大きく（遠く）なる。さらに、全体を撮影するために広角側で撮影することが多いので、撮影の際に焦点距離の設定は小さくなる。また、撮影は暗い状態で行われ、光源は蛍光灯、ネオン管、ナトリウム管などの器具による照明光が多くなる。
【０１１８】
（４）スポーツ
動いている被写体を撮影する場合、被写体距離は大きく（遠く）なることが多い。さらに、高速で移動している被写体を画面内に収めるために、被写体を遠くから撮影することが多くなるので、撮影の際に焦点距離の設定は大きくなる。また、撮影は明るい所で行われ、光源は昼光色または室内光（自然光に近い照明光）である確率が高い。また、被写体は動いている。
【０１１９】
〔５〕補正強度パラメータ制御部５についての説明
【０１２０】
補正強度パラメータ制御部５は、撮影シーン検出部４によって検出された撮影シーンに応じて、画像復元フィルタ計算部２内の手ぶれ関数／一般逆フィルタ変換処理部２３で用いられる補正強度パラメータ（正則化係数）γの値を制御する。上述したように、γが小さければ強い手ぶれ補正処理となり、γが大きければ弱い手ぶれ補正処理となる。
【０１２１】
表２は、撮影シーン検出部４によって検出された撮影シーンと、補正強度パラメータ制御部５によって決定される補正強度パラメータγの値との関係を示している。
【０１２２】
【表２】
2006237985.tif 000008
【０１２３】
補正強度パラメータ制御部５は、撮影シーン検出部４によって検出された撮影シーンが遠景である場合、γを標準値に設定する。
【０１２４】
補正強度パラメータ制御部５は、撮影シーン検出部４によって検出された撮影シーンが夜景である場合、手ぶれ補正を弱くするために、γを標準値より大きな値に設定する。これは、撮影シーンが夜景である場合には、光量が少なくノイズが顕著である画像を撮影する確率が高いため、手ぶれ補正を強くすると副作用が大きくなるので、手ぶれ補正を弱くすることが好ましいからである。
【０１２５】
補正強度パラメータ制御部５は、撮影シーン検出部４によって検出された撮影シーンがポートレートである場合、手ぶれ補正効果を高くするために、γを標準値より小さな値に設定する。これは、撮影シーンがポートレートである場合には、エッジ成分の少ない被写体を撮影する確率が高いため、手ぶれ補正の強度を高くしても副作用が小さいので、手ぶれ補正効果を高くすることが好ましいからである。
【０１２６】
補正強度パラメータ制御部５は、撮影シーン検出部４によって検出された撮影シーンがスポーツである場合、手ぶれと異なる被写体のぶれが発生する確率が高いため、手ぶれ補正を行わない。この場合には、図１において、入力画像（v ＿tebre)をフィルタ処理部３１でフィルタ処理した後、アンシャープマスキング処理部３４でアンシャープマスキング処理を行い、得られた画像を復元画像として出力する。
【実施例２】
【０１２７】
以下、第２実施例について説明する。
【０１２８】
図１３は、デジタルカメラに設けられた手ぶれ補正処理回路の構成を示している。図１３において、図１と同じものには、同じ符号を付してその説明を省略する。
【０１２９】
図１３の手ぶれ補正処理回路では、図１の手ぶれ補正処理回路の補正強度パラメータ制御部５の代わりに、リンギング除去処理部３３内の加重平均係数算出部６２で用いられる閾値ｔｈ（図１１参照）を制御するための閾値制御部５Ａが用いられている。
【０１３０】
閾値制御部５Ａは、撮影シーン検出部４によって検出された撮影シーンに応じて、リンギング除去処理部３３内の加重平均係数算出部６２で用いられる閾値ｔｈを制御する。
【０１３１】
図１１に示すｋは、復元画像の画素値v ＿fukugen と手ぶれ画像の画素値v ＿tebre との混合比（加重平均係数）を示している。ｋが大きいほど、復元画像の画素値v ＿fukugen の割合が多くなる。ｋは、エッジ強度v ＿edgeが閾値ｔｈ以下である場合には、エッジ強度v ＿edgeに比例して大きくなる。エッジ強度v ＿edgeが閾値ｔｈ以上である場合には、ｋは１となる。
【０１３２】
エッジ強度v ＿edgeが閾値ｔｈより大きな画素については、その位置に対応する復元画像のリンギングが目立たないので、画像復元処理部３によって得られた復元画像の画素値v ＿fukugen がそのまま出力される。エッジ強度v ＿edgeが閾値ｔｈ以下の画素については、エッジ強度v ＿edgeが小さいほど、復元画像のリンギングが目立つので、復元画像の度合いを弱くし、手ぶれ画像の度合いを強くする。
【０１３３】
閾値ｔｈを大きくすると、手ぶれ画像v ＿tebre の割合が多くなるので、手ぶれ補正効果は低くなるが、リンギング除去効果は高くなる。また、手ぶれ補正によって増幅されるノイズは低くなる。なお、手ぶれが大きい場合には、リンギングが発生しやすくなるので、リンギング除去効果を高めるために、閾値ｔｈを大きくすることが好ましい。
【０１３４】
逆に、閾値ｔｈを小さくすると、復元画像v ＿fukugen の割合が多くなるので、手ぶれ補正効果は高くなるが、リンギング除去効果は低くなる。また、手ぶれ補正によって増幅されるノイズは高くなる。
【０１３５】
表３は、撮影シーン検出部４によって検出された撮影シーンと、閾値制御部５Ａによって決定される閾値ｔｈの値との関係を示している。
【０１３６】
【表３】
2006237985.tif 000009
【０１３７】
閾値制御部５Ａは、撮影シーン検出部４によって検出された撮影シーンが夜景である場合、閾値ｔｈを標準値より大きな値に設定する。撮影シーンが夜景である場合には、光量が少なくノイズが顕著である画像を撮影する確率が高い。また、光量が少ないため露光時間が長くなるため、手ぶれが大きくなる確率が高い。つまり、手ぶれ補正効果を高めると、リンギングやノイズが発生しやすくなる。そこで、リンギング除去効果とノイズ除去効果を高くするために、閾値ｔｈを標準値より大きな値に設定する。
【０１３８】
閾値制御部５Ａは、撮影シーン検出部４によって検出された撮影シーンが遠景である場合、閾値ｔｈを標準値より小さな値に設定する。撮影シーンが遠景である場合には、大きな手ぶれが発生する確率は低いため、リンギングが発生しにくい。また、明るい所で撮影が行われるので、ノイズも少ないと考えられる。つまり、手ぶれ補正効果を高めても、リンギングやノイズが発生しにくいので、閾値ｔｈを標準値より小さな値に設定する。
【０１３９】
閾値制御部５Ａは、撮影シーン検出部４によって検出された撮影シーンがポートレートである場合、閾値ｔｈを標準値に設定する。撮影シーンがポートレートである場合には、遠景モードに比べて焦点距離がやや大きくなる（表１参照）。このため、遠景モードに比べて手ぶれが起こりやすくなる。ただし、夜景に比べて手ぶれは発生しにくい。そこで、閾値ｔｈを遠景の場合とより大きくかつ夜景の場合より小さな標準値に設定する。
【０１４０】
閾値制御部５Ａは、撮影シーン検出部４によって検出された撮影シーンがスポーツである場合、手ぶれと異なる被写体のぶれが発生する確率が高いため、手ぶれ補正を行わない。このため、リンギング除去処理も行わない。
【実施例３】
【０１４１】
以下、第３実施例について説明する。
【０１４２】
図１４は、デジタルカメラに設けられた手ぶれ補正処理回路の構成を示している。図１４において、図１と同じものには、同じ符号を付してその説明を省略する。
【０１４３】
図１４の手ぶれ補正処理回路では、図１の手ぶれ補正処理回路の補正強度パラメータ制御部５の代わりに、アンシャープマスキング処理部３４で用いられるパラメータσ、Ｋを制御するためのパラメータ制御部５Ｂが用いられている。
【０１４４】
パラメータ制御部５Ｂは、撮影シーン検出部４によって検出された撮影シーンに応じて、アンシャープマスキング処理部３４で用いられるパラメータσ、Ｋを制御する。
【０１４５】
上述したように、エッジ幅の狭い急峻なエッジに対してはσを小さくすることが好ましく、エッジ幅の広い緩やかなエッジに対してはσを大きくすることが好ましい。また、Ｋを大きくすると、よりエッジが強調されるようになるが、画像に含まれるノイズが強調され、Ｋを小さくすると、エッジ強調効果が低くなる。
【０１４６】
表４は、撮影シーン検出部４によって検出された撮影シーンと、パラメータ制御部５Ｂによって決定されるパラメータσ、Ｋの値との関係を示している。
【０１４７】
【表４】
2006237985.tif 000010
【０１４８】
パラメータ制御部５Ｂは、撮影シーン検出部４によって検出された撮影シーンがポートレートである場合、σを標準値より大きな値に設定するとともにＫを標準値より大きな値に設定する。撮影シーンがポートレートである場合には、人物を主に撮影するため、エッジの緩やかな画像を撮影する確率が高いので、σを標準値より大きな値に設定する。また、明るい所での撮影が行われるため、ノイズが発生しにくいので、Ｋを標準値より大きな値に設定する。
【０１４９】
パラメータ制御部５Ｂは、撮影シーン検出部４によって検出された撮影シーンが遠景である場合、σを標準値より小さな値に設定するとともにＫを標準値より大きな値に設定する。撮影シーンが遠景である場合には、ポートレートに比べて、建物や乗物など比較的エッジが急峻な画像を撮影する確率が高いので、σを標準値より小さな値に設定する。また、明るい所での撮影が行われるため、ノイズが発生しにくいので、Ｋを標準値より大きな値に設定する。
【０１５０】
パラメータ制御部５Ｂは、撮影シーン検出部４によって検出された撮影シーンが夜景である場合、σを標準値より小さな値に設定するとともにＫを標準値より小さな値に設定する。撮影シーンが夜景である場合には、ポートレートに比べて、建物や乗物など比較的エッジが急峻な画像を撮影する確率が高いので、σを標準値より小さな値に設定する。また、暗い所での撮影が行われるため、ノイズが発生しやすいので、Ｋを標準値より小さな値に設定する。
【０１５１】
パラメータ制御部５Ｂは、撮影シーン検出部４によって検出された撮影シーンがスポーツである場合、σを標準値に設定するとともにＫを標準値より小さな値に設定する。撮影シーンがスポーツである場合には、被写体がぶれて、エッジの急峻なところと、緩やかなところとの両方ができるので、σを標準値に設定する。また、通常、動作している被写体を撮影するため、撮影時にシャッター速度が速い値に設定され、光量が少なくなり、撮影時にノイズが発生しやすくなるので、Ｋを標準値より小さな値に設定する。
【０１５２】
なお、σとＫのうちのいずれか一方のみを制御するようにしてもよい。                    
【０１５３】
上記第１〜第３実施例においては、撮影シーンは、撮影シーン検出手段４によって自動的に検出されているが、撮影シーンをユーザに設定させるための設定手段をカメラに設けるようにしてもよい。この場合には、設定手段によって設定された撮影シーンに基づいて、補正強度パラメータγ、閾値ｔｈ、パラメータσ、Ｋが制御される。
【図面の簡単な説明】
【０１５４】
【図１】第１実施例である手ぶれ補正処理回路の構成を示すブロック図である。
【図２】角速度センサ１ａの出力を増幅するアンプおよびアンプ出力をデジタル値に変換するＡ／変換器を示すブロック図である。
【図３】カメラの回転量θ[deg] と画面上の移動量ｄ[mm]との関係を示す模式図である。
【図４】３５[mm]フィルム換算の画像サイズと、デジタルカメラの画像サイズとを示す模式図である。
【図５】手ぶれを表現する空間フィルタ（ＰＳＦ）を示す模式図である。
【図６】Bresenham の直線描画アルゴリズムを説明するための模式図である。
【図７】図６の動きベクトルにより得られるＰＳＦを示す模式図である。
【図８】図１のリンギング除去処理部３３の構成を示すブロック図である。
【図９】注目画素ｖ２２を中心とする３×３の領域を示す模式図である。
【図１０】Prewitt のエッジ抽出オペレータを示す模式図である。
【図１１】エッジ強度v ＿edgeと加重平均係数ｋとの関係を示すグラフである。
【図１２】図１２は、σが小さい場合と、σが大きい場合の効果の差異を示すための波形図である。
【図１３】第２実施例である手ぶれ補正処理回路の構成を示すブロック図である。
【図１４】第３実施例である手ぶれ補正処理回路の構成を示すブロック図である。
【符号の説明】
【０１５５】
１ａ、１ｂ  角速度センサ
２  画像復元フィルタ計算部
３  画像復元処理部
４  撮影シーン検出部
５  補正強度パラメータ制御部
５Ａ  閾値制御部
５Ｂ  パラメータ制御部
２１  手ぶれ信号／動きベクトル変換処理部
２２  動きベクトル／手ぶれ関数変換処理部
２３  手ぶれ関数／一般逆フィルタ変換処理部
３１  フィルタ処理部
３２  フィルタ処理部
３３  リンギング除去処理部
３４  アンシャープマスキング処理部
６１  エッジ強度算出部
６２  加重平均係数算出部
６３  加重平均処理部
【図１】
2006237985.tif 000011
【図２】
2006237985.tif 000012
【図３】
2006237985.tif 000013
【図４】
2006237985.tif 000014
【図５】
2006237985.tif 000015
【図６】
2006237985.tif 000016
【図７】
2006237985.tif 000017
【図８】
2006237985.tif 000018
【図９】
2006237985.tif 000019
【図１０】
2006237985.tif 000020
【図１１】
2006237985.tif 000021
【図１２】
2006237985.tif 000022
【図１３】
2006237985.tif 000023
【図１４】
2006237985.tif 000024