(57)【要約】  【課題】  ハードウエア量を抑えると同時に補正性能を向上させることができる画像処理装置、画像処理方法、画像処理プログラム及びプログラム記録媒体を提供すること。  【解決手段】  画像処理装置１は、手ぶれ軌跡の特徴量を検出する特徴量検出部８と、手ぶれ軌跡と手ぶれ画像から手ぶれ補正信号を生成するとともに、検出された特徴量に応じて手ぶれ補正信号の振幅を変化させる補正信号生成部７と、手ぶれ補正信号によって手ぶれ画像の補正演算を行う補正演算部４とを備える。【選択図】  図１
2007043393.tif 000002
【特許請求の範囲】
【請求項１】
手ぶれ軌跡の特徴量を検出する特徴量検出手段と、
前記手ぶれ軌跡と手ぶれ画像から手ぶれ補正信号を生成するとともに、前記特徴量に応じて前記手ぶれ補正信号の振幅を変化させる補正信号生成手段と、
前記手ぶれ補正信号によって前記手ぶれ画像の補正演算を行う補正演算手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記特徴量検出手段は、前記手ぶれ軌跡の重み合計に対する手ぶれ軌跡の最大重みの割合を特徴量として検出する最大重み割合検出手段を有し、
前記補正信号生成手段は、前記手ぶれ軌跡の最大重みの割合が小さくなるに従って、前記手ぶれ補正信号の振幅を小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴量検出手段は、前記手ぶれ軌跡の重みの分散を特徴量として検出する重み分散検出手段を有し、
前記補正信号生成手段は、前記手ぶれ軌跡の重みの分散が大きくなるに従って、前記手ぶれ補正信号の振幅を小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記特徴量検出手段は、前記手ぶれ軌跡の長さを特徴量として検出する軌跡長算出手段を有し、
前記補正信号生成手段は、前記手ぶれ軌跡の長さが長くなるに従って、手ぶれ補正信号の振幅を小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記特徴量検出手段は、前記手ぶれ軌跡の最大重みの位置と前記手ぶれ軌跡の最大重みを除いた手ぶれ軌跡の重心までの距離を検出する距離検出手段を有し、
前記補正信号生成手段は、前記手ぶれ軌跡の最大重みの位置と前記手ぶれ軌跡の最大重みを除いた手ぶれ軌跡の重心までの距離が長くなるに従って、手ぶれ補正信号の振幅を小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
手ぶれ軌跡の特徴量を検出する特徴量検出ステップと、
前記手ぶれ軌跡と手ぶれ画像から手ぶれ補正信号を生成するとともに、前記特徴量に応じて前記手ぶれ補正信号の振幅を変化させる補正信号生成ステップと、
前記手ぶれ補正信号によって前記手ぶれ画像の補正演算を行う補正演算ステップとを備えることを特徴とする画像処理方法。
【請求項７】
前記特徴量検出ステップは、前記手ぶれ軌跡の重み合計に対する手ぶれ軌跡の最大重みの割合を特徴量として検出する最大重み割合検出ステップを有し、
前記補正信号生成ステップは、前記手ぶれ軌跡の最大重みの割合が小さくなるに従って、前記手ぶれ補正信号の振幅を小さくすることを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記特徴量検出ステップは、前記手ぶれ軌跡の重みの分散を特徴量として検出する重み分散検出ステップを有し、
前記補正信号生成ステップは、前記手ぶれ軌跡の重みの分散が大きくなるに従って、前記手ぶれ補正信号の振幅を小さくすることを特徴とする請求項６に記載の画像処理方法。
【請求項９】
前記特徴量検出ステップは、前記手ぶれ軌跡の長さを特徴量として検出する軌跡長算出ステップを有し、
前記補正信号生成ステップは、前記手ぶれ軌跡の長さが長くなるに従って、手ぶれ補正信号の振幅を小さくすることを特徴とする請求項６に記載の画像処理方法。
【請求項１０】
前記特徴量検出ステップは、前記手ぶれ軌跡の最大重みの位置と前記手ぶれ軌跡の最大重みを除いた手ぶれ軌跡の重心までの距離を検出する距離検出ステップを有し、
前記補正信号生成ステップは、前記手ぶれ軌跡の最大重みの位置と前記手ぶれ軌跡の最大重みを除いた手ぶれ軌跡の重心までの距離が長くなるに従って、手ぶれ補正信号の振幅を小さくすることを特徴とする請求項６に記載の画像処理方法。
【請求項１１】
コンピュータに、
手ぶれ軌跡の特徴量を検出する特徴量検出ステップと、
前記手ぶれ軌跡と手ぶれ画像から手ぶれ補正信号を生成するとともに、前記特徴量に応じて前記手ぶれ補正信号の振幅を変化させる補正信号生成ステップと、
前記手ぶれ補正信号によって前記手ぶれ画像の補正演算を行う補正演算ステップとを実行させることを特徴とする画像処理プログラム。
【請求項１２】
前記特徴量検出ステップは、前記手ぶれ軌跡の重み合計に対する手ぶれ軌跡の最大重みの割合を特徴量として検出する最大重み割合検出ステップを有し、
前記補正信号生成ステップは、前記手ぶれ軌跡の最大重みの割合が小さくなるに従って、前記手ぶれ補正信号の振幅を小さくすることを特徴とする請求項１１に記載の画像処理プログラム。
【請求項１３】
前記特徴量検出ステップは、前記手ぶれ軌跡の重みの分散を特徴量として検出する重み分散検出ステップを有し、
前記補正信号生成ステップは、前記手ぶれ軌跡の重みの分散が大きくなるに従って、前記手ぶれ補正信号の振幅を小さくすることを特徴とする請求項１１に記載の画像処理プログラム。
【請求項１４】
前記特徴量検出ステップは、前記手ぶれ軌跡の長さを特徴量として検出する軌跡長算出ステップを有し、
前記補正信号生成ステップは、前記手ぶれ軌跡の長さが長くなるに従って、手ぶれ補正信号の振幅を小さくすることを特徴とする請求項１１に記載の画像処理プログラム。
【請求項１５】
前記特徴量検出ステップは、前記手ぶれ軌跡の最大重みの位置と前記手ぶれ軌跡の最大重みを除いた手ぶれ軌跡の重心までの距離を検出する距離検出ステップを有し、
前記補正信号生成ステップは、前記手ぶれ軌跡の最大重みの位置と前記手ぶれ軌跡の最大重みを除いた手ぶれ軌跡の重心までの距離が長くなるに従って、手ぶれ補正信号の振幅を小さくすることを特徴とする請求項１１に記載の画像処理プログラム。
【請求項１６】
請求項１１〜請求項１５の何れかに記載の画像処理プログラムを記録したプログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像時の手ぶれによってぼけた画像を補正する画像処理装置、画像処理方法、画像処理プログラム及びプログラム記録媒体に関する。
【背景技術】
【０００２】
従来、この種の技術としては、手ぶれ画像は手ぶれなし画像のフーリエ変換と手ぶれ伝達関数のフーリエ変換の積を逆フーリエ変換したものであるという原理に基づいて、手ぶれ画像の補正を行うようにしたものが知られている（例えば、特許文献１参照。）。
【０００３】
図１０は、従来の画像処理装置のブロック図を示す。また、図１１は手ぶれデータを空間的に表現したもの（以下、手ぶれ軌跡行列という）を説明する図である。
【０００４】
図１０において、撮像素子６１によって撮影された画像は画像メモリ６２に記憶される。次いで、ＦＦＴ回路６３においてフーリエ変換により周波数領域に変換され、除算部６７に供給される。一方、手ぶれ軌跡データ記憶部６４に記憶されている手ぶれ軌跡データは、手ぶれ軌跡データ変換部６５を経てＦＦＴ回路６６により周波数領域に変換される。
【０００５】
図１１に示す手ぶれ軌跡行列は、水平方向に３画素、垂直方向に３ライン分手ぶれしている状態を示したものである。なお、行列内の各数値は手ぶれ軌跡の重みの割合をパーセント表示したものである。また、数値が記載されていない領域の手ぶれ軌跡の重みは０％である。図１１に示す例では、手ぶれ軌跡の始点を手ぶれ軌跡データの左下に配置しているので、手ぶれ軌跡の終点の重み割合は、右上角に記載するように１０％となる。ここで、手ぶれ画像が拡大された場合には、手ぶれ軌跡データの倍率も一致させておく必要がある。すなわち、手ぶれ軌跡行列の要素（以下、「重み」という）をＫ（ｘ，ｙ）とすると、手ぶれ画像がｍ倍拡大されたときには、手ぶれ軌跡データ変換部６５は、手ぶれ軌跡データＫ’（ｘ，ｙ）をＫ（ｘ／ｍ，ｙ／ｍ）で変換算出し、このＫ’（ｘ，ｙ）をＦＦＴ回路６６に出力する。除算部６７では、周波数領域に変換された手ぶれ画像を、周波数領域に変換された手ぶれ軌跡データで割ることにより、周波数領域における手ぶれ補正画像を算出し、逆ＦＦＴ回路６８に出力する。逆ＦＦＴ回路６８は、手ぶれを補正された画像を実空間に変換し、画像表示部６９は補正画像を表示する。このように、従来の技術では、フーリエ変換、逆フーリエ変換を行うことにより手ぶれ画像の補正を行うようになっている。
【０００６】
【特許文献１】特許第３０９６５２１号（第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の技術では、手ぶれ軌跡行列を手ぶれ画像と同じ大きさに拡張することにより補正画質を向上させるようになっているが、手ぶれによってぼけた画像を補正するフィルタ（以下、周波数領域における手ぶれ補正行列という）を手ぶれ軌跡行列を拡張してから求めると、領域が大きな画像ではフィルタ係数を記憶するメモリが多く必要となり、また、手ぶれ補正行列の係数と画素とで畳み込み演算を行う際に積和演算をするハードウエア量も増大するという問題があった。
【０００８】
図１２、図１３はこの問題を示し、図１２は手ぶれ軌跡行列の幅を画像と同じ大きさに水平、垂直方向に拡張する手法を説明するものであり、図１３（ａ）〜（ｄ）は手ぶれ画像の波形に対して拡張する場合と拡張しない場合との画質差の課題を説明するものである。なお、図１３において、波形の水平方向は空間の方向、垂直方向は映像信号のレベルをそれぞれ表している。
【０００９】
従来の技術では、まず、手ぶれ軌跡データ変換部６５が手ぶれ軌跡行列を図１２に示す大きさに領域を拡張する。次いで、拡張された数値が未記述の領域には０が埋められる。この拡張した手ぶれ軌跡行列をＦＦＴ回路６６によりフーリエ変換すると、拡張した領域に精度のある係数が存在する周波数領域における手ぶれ補正行列を生成することになる。従って、拡張せずにフーリエ変換して求めた周波数領域における手ぶれ補正行列よりも積和演算の係数が多くなり、積和演算を行うハードウエアも増大してしまう。図１３（ｂ）に示す手ぶれした波形に対して、図１３（ｃ）に示す手ぶれ画像と同じ大きさの領域に拡張された手ぶれ補正行列を用いて手ぶれ補正した波形は、図１３（ａ）に示す手ぶれしない波形、すなわち手ぶれのない状態で撮像された映像信号の波形に近くなる。しかし、ハードウエア量を増加させないようにするために拡張しなかった場合では、補正行列の係数が打ち切られて係数の精度が低下する。そのため、図１３（ｄ）に示すように、輪郭部分に幅Ｐで濃淡差Ｌのエッジが重畳されたり、リンギングが発生してしまい、輪郭部が過度に強調されて、補正された画像が不自然なものとなる。また、手ぶれの長さが大きく手ぶれ重みが均等に近くなるに従って幅Ｐが長くなり、不自然さが目立ってしまう。
【００１０】
本発明はこのような課題を解決するためになされたもので、ハードウエア量を抑えると同時に補正性能を向上させることができる画像処理装置、画像処理方法、画像処理プログラム及びプログラム記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置は、手ぶれ軌跡の特徴量を検出する特徴量検出手段と、前記手ぶれ軌跡と手ぶれ画像から手ぶれ補正信号を生成するとともに、前記特徴量に応じて前記手ぶれ補正信号の振幅を変化させる補正信号生成手段と、前記手ぶれ補正信号によって前記手ぶれ画像の補正演算を行う補正演算手段とを備えるよう構成している。
【００１２】
この構成により、手ぶれ軌跡の特徴を制御パラメータとして画質を制御することができ、補正画質の良い画像処理を行うことができるので、ハードウエア量を抑えると同時に補正性能を向上させることができる。
【００１３】
また、本発明の画像処理装置は、前記特徴量検出手段は、前記手ぶれ軌跡の重み合計に対する手ぶれ軌跡の最大重みの割合を特徴量として検出する最大重み割合検出手段を有し、前記補正信号生成手段は、前記手ぶれ軌跡の最大重みの割合が小さくなるに従って、前記手ぶれ補正信号の振幅を小さくするように構成している。
【００１４】
この構成により、手ぶれ軌跡の最大重みの割合を特徴量として用いて画質を制御するので、手ぶれ軌跡の重みが集中している場合と均一な場合の各々に対してより自然に補正された画質を得ることができ、ハードウエア量を抑えると同時に補正性能を向上させることができる。
【００１５】
また、本発明の画像処理装置は、前記特徴量検出手段は、前記手ぶれ軌跡の重みの分散を特徴量として検出する重み分散検出手段を有し、前記補正信号生成手段は、前記手ぶれ軌跡の重みの分散が大きくなるに従って、前記手ぶれ補正信号の振幅を小さくするように構成している。
【００１６】
この構成により、手ぶれ軌跡の重みの全体ばらつきを考慮するようになっているので、手ぶれ軌跡の重みの集中及び均等度合検出の精度向上により自然に補正された画質を得ることができ、ハードウエア量を抑えると同時に補正性能を向上させることができる。
【００１７】
また、本発明の画像処理装置は、前記特徴量検出手段は、前記手ぶれ軌跡の長さを特徴量として検出する軌跡長算出手段を有し、前記補正信号生成手段は、前記手ぶれ軌跡の長さが長くなるに従って、手ぶれ補正信号の振幅を小さくするように構成している。
【００１８】
この構成により、手ぶれ幅で変化する補正信号に対して手ぶれ軌跡の長さを考慮して画質を制御するので、補正画質を向上させることができ、ハードウエア量を抑えると同時に補正性能を向上させることができる。
【００１９】
また、本発明の画像処理装置は、前記特徴量検出手段は、前記手ぶれ軌跡の最大重みの位置と前記手ぶれ軌跡の最大重みを除いた手ぶれ軌跡の重心までの距離を検出する距離検出手段を有し、前記補正信号生成手段は、前記手ぶれ軌跡の最大重みの位置と前記手ぶれ軌跡の最大重みを除いた手ぶれ軌跡の重心までの距離が長くなるに従って、手ぶれ補正信号の振幅を小さくするように構成している。
【００２０】
この構成により、主に補正画質に寄与する部分の長さを制御パラメータとすることにより、画質制御の精度を向上させ補正画質を向上させることができ、ハードウエア量を抑えると同時に補正性能を向上させることができる。
【００２１】
また、本発明の画像処理方法は、手ぶれ軌跡の特徴量を検出する特徴量検出ステップと、前記手ぶれ軌跡と手ぶれ画像から手ぶれ補正信号を生成するとともに、前記特徴量に応じて前記手ぶれ補正信号の振幅を変化させる補正信号生成ステップと、前記手ぶれ補正信号によって前記手ぶれ画像の補正演算を行う補正演算ステップとを備える。
【００２２】
このため、手ぶれ軌跡の特徴を制御パラメータとして画質を制御することができ、補正画質の良い画像処理を行うことができるので、ハードウエア量を抑えると同時に補正性能を向上させることができる。
【００２３】
また、本発明の画像処理方法は、前記特徴量検出ステップは、前記手ぶれ軌跡の重み合計に対する手ぶれ軌跡の最大重みの割合を特徴量として検出する最大重み割合検出ステップを有し、前記補正信号生成ステップは、前記手ぶれ軌跡の最大重みの割合が小さくなるに従って、前記手ぶれ補正信号の振幅を小さくするように構成している。
【００２４】
このため、手ぶれ軌跡の最大重みの割合を特徴量として用いて画質を制御するので、手ぶれ軌跡の重みが集中している場合と均一な場合の各々に対してより自然に補正された画質を得ることができ、ハードウエア量を抑えると同時に補正性能を向上させることができる。
【００２５】
また、本発明の画像処理方法は、前記特徴量検出ステップは、前記手ぶれ軌跡の重みの分散を特徴量として検出する重み分散検出ステップを有し、前記補正信号生成ステップは、前記手ぶれ軌跡の重みの分散が大きくなるに従って、前記手ぶれ補正信号の振幅を小さくするように構成している。
【００２６】
このため、手ぶれ軌跡の重みの全体ばらつきを考慮するようになっているので、手ぶれ軌跡の重みの集中及び均等度合検出の精度向上により自然に補正された画質を得ることができ、ハードウエア量を抑えると同時に補正性能を向上させることができる。
【００２７】
また、本発明の画像処理方法は、前記特徴量検出ステップは、前記手ぶれ軌跡の長さを特徴量として検出する軌跡長算出ステップを有し、前記補正信号生成ステップは、前記手ぶれ軌跡の長さが長くなるに従って、手ぶれ補正信号の振幅を小さくするように構成している。
【００２８】
このため、手ぶれ幅で変化する補正信号に対して手ぶれ軌跡の長さを考慮して画質を制御するので、補正画質を向上させることができ、ハードウエア量を抑えると同時に補正性能を向上させることができる。
【００２９】
また、本発明の画像処理方法は、前記特徴量検出ステップは、前記手ぶれ軌跡の最大重みの位置と前記手ぶれ軌跡の最大重みを除いた手ぶれ軌跡の重心までの距離を検出する距離検出ステップを有し、前記補正信号生成ステップは、前記手ぶれ軌跡の最大重みの位置と前記手ぶれ軌跡の最大重みを除いた手ぶれ軌跡の重心までの距離が長くなるに従って、手ぶれ補正信号の振幅を小さくするように構成している。
【００３０】
このため、主に補正画質に寄与する部分の長さを制御パラメータとすることにより、画質制御の精度を向上させ補正画質を向上させることができ、ハードウエア量を抑えると同時に補正性能を向上させることができる。
【００３１】
また、本発明の画像処理プログラムは、コンピュータに、手ぶれ軌跡の特徴量を検出する特徴量検出ステップと、前記手ぶれ軌跡と手ぶれ画像から手ぶれ補正信号を生成するとともに、前記特徴量に応じて前記手ぶれ補正信号の振幅を変化させる補正信号生成ステップと、前記手ぶれ補正信号によって前記手ぶれ画像の補正演算を行う補正演算ステップとを実行させるように構成している。
【００３２】
このため、手ぶれ軌跡の特徴を制御パラメータとして画質を制御することができ、補正画質の良い画像処理を行うことができるので、ハードウエア量を抑えると同時に補正性能を向上させることができる。
【００３３】
また、本発明の画像処理プログラムは、前記特徴量検出ステップは、前記手ぶれ軌跡の重み合計に対する手ぶれ軌跡の最大重みの割合を特徴量として検出する最大重み割合検出ステップを有し、前記補正信号生成ステップは、前記手ぶれ軌跡の最大重みの割合が小さくなるに従って、前記手ぶれ補正信号の振幅を小さくするように構成している。
【００３４】
このため、手ぶれ軌跡の最大重みの割合を特徴量として用いて画質を制御するので、手ぶれ軌跡の重みが集中している場合と均一な場合の各々に対してより自然に補正された画質を得ることができ、ハードウエア量を抑えると同時に補正性能を向上させることができる。
【００３５】
また、本発明の画像処理プログラムは、前記特徴量検出ステップは、前記手ぶれ軌跡の重みの分散を特徴量として検出する重み分散検出ステップを有し、前記補正信号生成ステップは、前記手ぶれ軌跡の重みの分散が大きくなるに従って、前記手ぶれ補正信号の振幅を小さくするように構成している。
【００３６】
このため、手ぶれ軌跡の重みの全体ばらつきを考慮するようになっているので、手ぶれ軌跡の重みの集中及び均等度合検出の精度向上により自然に補正された画質を得ることができ、ハードウエア量を抑えると同時に補正性能を向上させることができる。
【００３７】
また、本発明の画像処理プログラムは、前記特徴量検出ステップは、前記手ぶれ軌跡の長さを特徴量として検出する軌跡長算出ステップを有し、前記補正信号生成ステップは、前記手ぶれ軌跡の長さが長くなるに従って、手ぶれ補正信号の振幅を小さくするように構成している。
【００３８】
このため、手ぶれ幅で変化する補正信号に対して手ぶれ軌跡の長さを考慮して画質を制御するので、補正画質を向上させることができ、ハードウエア量を抑えると同時に補正性能を向上させることができる。
【００３９】
また、本発明の画像処理プログラムは、前記特徴量検出ステップは、前記手ぶれ軌跡の最大重みの位置と前記手ぶれ軌跡の最大重みを除いた手ぶれ軌跡の重心までの距離を検出する距離検出ステップを有し、前記補正信号生成ステップは、前記手ぶれ軌跡の最大重みの位置と前記手ぶれ軌跡の最大重みを除いた手ぶれ軌跡の重心までの距離が長くなるに従って、手ぶれ補正信号の振幅を小さくするように構成している。
【００４０】
このため、主に補正画質に寄与する部分の長さを制御パラメータとすることにより、画質制御の精度を向上させ補正画質を向上させることができ、ハードウエア量を抑えると同時に補正性能を向上させることができる。
【００４１】
また、本発明のプログラム記録媒体は、上記画像処理プログラムの何れかを記録するように構成している。
【００４２】
このため、ハードウエア量を抑えると同時に補正性能を向上させることができる。
【発明の効果】
【００４３】
本発明によれば、ハードウエア量を抑えると同時に補正性能を向上させることができる画像処理装置、画像処理方法、画像処理プログラム及びプログラム記録媒体を提供することができる。
【発明を実施するための最良の形態】
【００４４】
（第１の実施の形態）
以下、本発明の第１の実施の形態の画像処理装置について図面を用いて説明する。
【００４５】
図１は、本実施の形態に係る画像処理装置の構成を示すブロック図である。画像処理装置１は、画像を撮影するための撮像素子２と、撮像素子２が撮影した画像を格納する画像メモリ３と、画像メモリ３から読み出した画像に対し補正信号生成部７から出力される手ぶれ補正信号を用いて演算を行う補正演算部４と、手ぶれ補正済み画像を表示する画像表示部５とを備える。
【００４６】
また、画像処理装置１は、手ぶれ軌跡データを格納する手ぶれ軌跡データ記憶部６と、手ぶれ軌跡データ記憶部６が格納する手ぶれ軌跡データから手ぶれ軌跡の特徴量を検出する特徴量検出部８と、手ぶれ軌跡データから手ぶれ補正行列を生成するともに、生成した手ぶれ補正行列と手ぶれ画像から、補正を行うための手ぶれ補正信号を生成して補正演算部４に出力する補正信号生成部７とを備える。なお、手ぶれ軌跡データ記憶部６に格納される手ぶれ軌跡の情報は、撮影時に取得したものである。
【００４７】
ここで、画像処理装置１による画像処理の概要を説明する。
【００４８】
図２（ａ）は、手ぶれのない状態で撮像された一次元の映像信号の波形を示す。なお、図２において、横軸は空間の方向、縦軸は映像信号のレベルを表している。
【００４９】
手ぶれによって映像信号の勾配が変化すると、撮像素子２からは、図２（ｂ）に示すように、傾斜のある映像信号の波形が得られ、画像メモリ３に格納される。また、手ぶれ軌跡データ記憶部６からは、図３（ａ）、（ｂ）に示す手ぶれ軌跡行列のデータが読み出される。ここで図３（ａ）に示す手ぶれ軌跡行列は、左下の重み“６０”が起点で、左上の重み“２２６”が終点であり、ぶれが左下から左上の方向に発生しており、水平１画素のぶれ、垂直６ラインのぶれとなっている。また、図３（ｂ）に示す手ぶれ軌跡行列は、左上の重み“１８”が起点で、右下の重み“２８”が終点であり、ぶれが左上から右下の方向に発生しており、水平５画素のぶれ、垂直８ラインのぶれとなっている。
【００５０】
画像領域に対して手ぶれ補正行列を拡張しない場合、すなわち手ぶれ補正行列の水平及び垂直の幅が画像より小さい場合は、手ぶれ画像と手ぶれ補正行列とをそのまま畳み込み演算すると、図２（ｃ）に示すように輪郭部分に幅Ｐで濃淡差Ｌのエッジが重畳されたり、リンギングが発生してしまい、輪郭部が過度に強調されて不自然となる。また、手ぶれの長さが大きく手ぶれ重みが均等に近くなるにつれて幅Ｐが長くなり、不自然さが目立ってくる。図３（ａ）、（ｂ）に示した手ぶれ軌跡を例にすると、図３（ａ）に示すような軌跡の重みが集中し長さが短い手ぶれ軌跡よりも、図３（ｂ）に示すような手ぶれ重みが分散し長さが長い手ぶれ軌跡の方が過度な強調になりやすいので、図２（ｃ）に示す波形が生成され、画質が不自然となってしまう。
【００５１】
そこで、本実施の形態の画像処理装置１では、特徴量検出部８が、手ぶれの長さや、手ぶれ重みが均等になるなどの特徴を手ぶれ軌跡行列から検出し、画質が不自然となるような特徴量、すなわち手ぶれ軌跡の重みが分散し、手ぶれ軌跡の長さが長い特徴量を大きく検出した場合には、補正信号生成部７は、図２（ｃ）のような過度な輪郭レベルＬを低減する波形生成を行う。
【００５２】
具体的には、補正信号生成部７は、手ぶれ軌跡から補正行列を求め、画像メモリ３から読み出した手ぶれ画像から補正行列を用いて、図２（ｄ）に示す基本的な補正波形を生成した上で、図２（ｅ）に示す１以下のゲイン値Ｇ（図５参照）を乗じた波形を生成する。また、補正演算部４は、図２（ｂ）に示す手ぶれのある波形に対し、図２（ｅ）に示す波形による補正を行う。これにより、図２（ｆ）に示すような過度な強調のない補正済みの波形を得ることができる。
【００５３】
すなわち、図３（ｂ）に示すような手ぶれ軌跡であっても、図３（ａ）に示す手ぶれ軌跡のときよりもゲイン値Ｇを小さくすることにより、補正後の波形を、図２（ａ）に示す手ぶれの起きていない波形に類似させることができるため、補正画質を向上させることができるようになっている。
【００５４】
次に、このように構成された画像処理装置１の動作を図面を参照して説明する。図４は画像処理装置１の動作を示すフローチャートである。
【００５５】
まず、撮像素子２は、撮影によって、手ぶれ画像及び撮影の露光時間中の手ぶれ軌跡を取得する（ステップＳ１）。なお、手ぶれ画像のデータは画像メモリ３に記憶される。また、手ぶれ軌跡のデータは手ぶれ軌跡データ記憶部６に記憶される。
【００５６】
次いで、補正信号生成部７は、取得した手ぶれ軌跡のデータから手ぶれ補正を行う手ぶれ補正関数を生成する（ステップＳ２）。
【００５７】
次いで、補正信号生成部７は、ステップＳ２で生成された手ぶれ補正関数とステップＳ１で取得された手ぶれ画像から、図２（ｄ）に示すような手ぶれ補正信号を生成する（ステップＳ３）。
【００５８】
次いで、特徴量検出部８は、手ぶれ軌跡の特徴量を検出する（ステップＳ４）。具体的には、手ぶれの長さや手ぶれ重みが均等になる等の特徴を手ぶれ行列から検出する。
【００５９】
次いで、補正信号生成部７は、手ぶれ補正信号の振幅を変化させる（ステップＳ５）。具体的には、ステップＳ４で検出した特徴量が、補正後の画質が図２（ｃ）に示すように不自然になってしまうような特徴量であった場合に、補正信号生成部７は、手ぶれ補正信号の振幅を変化させ、図２（ｅ）のような波形を生成する。手ぶれ補正信号の振幅の変化は、例えば、図５に示すような特性のゲイン値Ｇを手ぶれ補正信号に乗ずることにより行われる。すなわち、検出された特徴量が大きくなるに従って小さなゲイン値Ｇを手ぶれ補正信号に乗ずる。
【００６０】
次いで、補正演算部４は、ステップＳ５で振幅が変化された手ぶれ補正信号を手ぶれ画像に加算することにより補正を行い（ステップＳ６）、図２（ｆ）に示すような波形を得る。
【００６１】
このように、本実施の形態によれば、図５に示すように、検出された特徴量と補正波形生成のためのゲイン値Ｇとの関係を、特徴量が大きくなるにつれてゲイン値Ｇを減じるようにすることにより、図３（ｂ）に示す軌跡の重みが分散し長さが長い手ぶれ軌跡であっても、ゲイン値Ｇを図３（ａ）に示す軌跡の重みが集中し長さが短い手ぶれ軌跡のときよりも小さくすることにより、図２（ａ）の本来手ぶれの発生していない波形に類似させることができるので、ハードウエア量を抑えると同時に補正性能を向上させることができる。
【００６２】
また、手ぶれ補正行列を拡張しない場合に生ずる輪郭部の過度な補正を低減することができ、且つ、補正可能な手ぶれと補正不可能な手ぶれの境界における画質が不連続になることも防止することができる。
【００６３】
従って、種々の手ぶれ軌跡中の重み分布や長さに関するパラメータを用いて手ぶれ補正信号のゲイン値Ｇを変化させることにより、手ぶれ軌跡の重みが均一に近い場合や、手ぶれ軌跡が長い場合には過度な補正を抑えることが出来る。すなわち、手ぶれ軌跡の行列と同じ大きさの補正行列を求め、手ぶれ軌跡の重みの偏りや長さなどの軌跡の特徴量をパラメータとして、補正信号のゲイン値Ｇを調整して手ぶれを補正するので、従来よりも補正行列の係数を格納するメモリ領域や積和演算量を減らすとともに、良好な補正画質を得ることができる。
【００６４】
なお、本実施例においてはゲイン値Ｇを変化させることにより基本的な補正波形の振幅を変化させているが、この方法に限らず、例えば、補正波形の上下クリップレベルを変化させ、検出された特徴量が大きくなるにつれて補正波形の振幅を減じるようにしてもよい。
【００６５】
また、検出した特徴量が大きくなるにつれてゲイン値Ｇが小さくなるようにするならば、両者の関係は一次関数に限定されることはない。また、本実施の形態では、補正演算部４において手ぶれ画像と手ぶれ補正信号とを加算するようにしているが、調整済みの手ぶれ補正信号により過度な補正のないように出力されれば良く、加算に限定されることはない。
【００６６】
また、手ぶれ補正行列の求め方としては上記の方法に限定されるものではない。例えば、図３（ａ）、（ｂ）の既知の手ぶれ軌跡行列の重みすなわち係数と、未知の補正行列の係数の畳み込み演算結果がデルタ関数になる条件を連立方程式に表現し、この連立方程式を解いて手ぶれ補正行列の係数を求める方法を用いることができる。また、手ぶれ軌跡行列と同じ大きさで規定するデルタ関数をフーリエ変換した結果を手ぶれ軌跡行列のフーリエ変換した結果で割り、その商を逆フーリエ変換して手ぶれ補正行列を求める方法を用いることができる。
（第２の実施の形態）
以下、本発明の第２の実施の形態の画像処理装置について図面を用いて説明する。第２の実施の形態の画像処理装置は、第１の実施の形態の画像処理装置１において、特徴量検出部８に代えて、図６に示す特徴量検出部９を備える構成を有している。また、他の構成及び動作は第１の実施の形態の画像処理装置１と同様であるので説明を省略する。以下、特徴量検出部９の詳細について説明する。
【００６７】
図６は、特徴量検出部９の構成を示すブロック図である。特徴量検出部９は、手ぶれ軌跡行列中の最大重みを検出する最大重み検出部２１と、手ぶれ軌跡行列の全ての重みを合計する重み合計算出部２２と、最大重み検出部２１と重み合計算出部２２とから最大の重みが全体重み合計に対しどれだけの割合かを算出する最大重み割合算出部２３を有している。
【００６８】
次に、本実施の形態における、手ぶれ軌跡重み合計に対する最大重みの割合による手ぶれ補正信号の制御について説明する。図３（ａ）の矢印Ａで示す値２２６及び矢印Ｃで示す値５２は、手ぶれ軌跡中の最大重みを示す。また、図３（ａ）の矢印Ｂで示す値６０及び矢印Ｄで示す値１２は、手ぶれ軌跡中の最大重みを除いた重心位置を示す。
【００６９】
ここで、手ぶれ軌跡の各重みをＫ（ｉ，ｊ）（ｉ，ｊ：それぞれ水平、垂直の係数の位置）とすると、手ぶれ軌跡重み合計に対する最大重みの割合は数１で示す式で表される。
【数１】
2007043393.tif 000003
【００７０】
また、図３（ａ）、（ｂ）の手ぶれ軌跡の特徴量をそれぞれＴａ、Ｔｂとすると、Ｔａ、Ｔｂは、数２、数３の式でそれぞれ表される。
【数２】
2007043393.tif 000004
【００７１】
【数３】
2007043393.tif 000005
【００７２】
ここで、Ｔａ、Ｔｂを比較すると、図３（ａ）の方が手ぶれ軌跡の重みが集中し、図３（ｂ）は手ぶれ軌跡が均一に近くなることが判る。従って図５に示す特徴量とゲイン値Ｇとの関係において、重み均一に近くなるときの過度の補正を抑えるように、すなわちＴ１（＝１／Ｔａ）＜Ｔ２（＝１／Ｔｂ）のときＧ１＞Ｇ２となるようにゲイン値Ｇの制御を行う。
【００７３】
このように、本実施の形態によれば、検出された最大重みの割合の逆数と補正波形生成のためのゲイン値Ｇとの関係を、最大重み割合の逆数が大きくなるに連れて、つまり最大重みの割合が小さくなるに連れてゲイン値Ｇを減じるようにすることにより、特に図３（ｂ）に示すような重みの均一な手ぶれ軌跡であっても、ゲイン値Ｇを図３（ａ）のときよりも小さくすることにより、図２（ａ）の本来手ぶれの起きていない波形に類似させることができるため、より自然に見える補正画像を得ることができる。
（第３の実施の形態）
以下、本発明の第３の実施の形態の画像処理装置について図面を用いて説明する。第３の実施の形態の画像処理装置は、第１の実施の形態の画像処理装置１において、特徴量検出部８に代えて、図７に示す特徴量検出部１０を備える構成を有している。また、他の構成及び動作は第１の実施の形態の画像処理装置１と同様であるので説明を省略する。以下、特徴量検出部１０の詳細について説明する。
【００７４】
図７は、特徴量検出部１０の構成を示すブロック図である。特徴量検出部１０は、手ぶれ軌跡行列中の重みの総数を計数する軌跡重み計数部３１と、手ぶれ軌跡行列の全ての重みを合計し、軌跡重み計数部３１の出力から全重みの平均値を算出する重み平均算出部３２と、軌跡重み計数部３１と重み平均算出部３２から重みの分散を算出する重み分散算出部３３を有している。
【００７５】
次に、本実施の形態における、手ぶれ軌跡の分散による手ぶれ補正信号の制御について説明する。
【００７６】
ここで、重みの分散は、数４の式で表される。
【数４】
2007043393.tif 000006
【００７７】
ここで、図３（ａ）、（ｂ）について特徴量をＴａ、Ｔｂとすると、Ｔａ＝３０９５、Ｔｂ＝２０５となり、Ｔａ＞Ｔｂであるため、図３（ａ）の方が手ぶれ軌跡の重みのばらつきが多い分だけ重みが集中し、図３（ｂ）はばらつきが少ないため重みが均等に近いといえる。従って、図５に示す特徴量とゲイン値Ｇとの関係において、重み均一に近くなるときの過度の補正を抑えるように補正信号のゲイン値Ｇを下げるようにする。すなわち、Ｔ１（＝１／Ｔａ）＜Ｔ２（＝１／Ｔｂ）のとき、Ｇ１＞Ｇ２となるようにゲイン値Ｇの制御を行う。
【００７８】
このように、本実施の形態によれば、重みの分散の逆数と補正波形生成のためのゲイン値Ｇとの関係を、重みの分散の逆数が小さくなるにつれて、ゲイン値Ｇを減じるようにすることにより、図３（ｂ）のような手ぶれ軌跡でも、ゲイン値Ｇを図３（ａ）のときよりも小さくすることにより、図２（ａ）の本来手ぶれの起きていない波形に類似させることができる。従って、過度な補正を低減することができ、手ぶれ軌跡の重みの集中・均等度合検出の精度の向上により、より自然に見える補正画像を得ることができる。
（第４の実施の形態）
以下、本発明の第４の実施の形態の画像処理装置について図面を用いて説明する。第４の実施の形態の画像処理装置は、第１の実施の形態の画像処理装置１において、特徴量検出部８に代えて、図８に示す特徴量検出部１１を備える構成を有している。また、他の構成及び動作は第１の実施の形態の画像処理装置１と同様であるので説明を省略する。以下、特徴量検出部１１の詳細について説明する。
【００７９】
図８は、特徴量検出部１１の構成を示すブロック図である。特徴量検出部１１は、手ぶれ軌跡行列にて水平方向の重みが存在する幅を検出する軌跡水平幅検出部４１と、手ぶれ軌跡行列にて垂直方向の重みが存在する幅を検出する軌跡垂直幅検出部４２と、軌跡水平幅検出部４１と軌跡垂直幅検出部４２から出力されたそれぞれの幅から軌跡の長さを算出する軌跡長算出部４３とを有している。
【００８０】
次に、手ぶれ軌跡の長さによる手ぶれ補正信号の制御について説明する。手ぶれ軌跡長さは数５の式で表される。
【数５】
2007043393.tif 000007
【００８１】
また、図３（ａ）、（ｂ）の特徴量をそれぞれＴａ、Ｔｂとすると、Ｔａ、Ｔｂはそれぞれ数６、数７の式で表される。
【数６】
2007043393.tif 000008
【００８２】
【数７】
2007043393.tif 000009
【００８３】
ここで、図３（ｂ）の手ぶれ軌跡が図３（ａ）の手ぶれ軌跡より長く、Ｔａ＜Ｔｂとなっている。従って、手ぶれ軌跡が長いときは、過度の補正を抑えるように補正信号のゲイン値Ｇを下げる。すなわち、Ｔ１（＝Ｔａ）＜Ｔ２（＝Ｔｂ）のとき、Ｇ１＞Ｇ２となるようにゲイン値Ｇの制御を行う。
【００８４】
このように、本実施の形態によれば、手ぶれ軌跡の長さと補正波形生成のためのゲイン値Ｇとの関係を、手ぶれ軌跡が長くなるにつれてゲイン値Ｇを減じるようにすることにより、図３（ｂ）のような手ぶれ軌跡であっても、ゲイン値Ｇを図３（ａ）のときよりも小さくすることにより、補正がされた波形を図２（ａ）の本来手ぶれの起きていない波形に類似させることができる。このため、輪郭部の過度な補正を低減させ、補正画質を向上させることができる。
（第５の実施の形態）
以下、本発明の第５の実施の形態の画像処理装置について図面を用いて説明する。第５の実施の形態の画像処理装置は、第１の実施の形態の画像処理装置１において、特徴量検出部８に代えて、図９に示す特徴量検出部１２を備える構成を有している。また、他の構成及び動作は第１の実施の形態の画像処理装置１と同様であるので説明を省略する。以下、特徴量検出部１２の詳細について説明する。
【００８５】
図９は、特徴量検出部１２の構成を示すブロック図である。特徴量検出部１２は、手ぶれ手ぶれ軌跡行列中の最大重みの位置を検出する最大重み位置検出部５１と、手ぶれ軌跡行列にて最大重みを除いた手ぶれ軌跡にて重心の位置を検出する重心位置検出部５２と、最大重み位置検出部５１と重心位置検出部５２から出力されたそれぞれの位置から両者の距離を算出する距離算出部５３とを有している。
【００８６】
次に、手ぶれ軌跡の最大重み位置と手ぶれ軌跡の最大重みを除いた手ぶれ軌跡の重心との距離を用いた手ぶれ補正信号の制御について説明する。手ぶれ軌跡の最大重みの位置と手ぶれ軌跡の最大重みを除いた手ぶれ軌跡の重心までの距離を特徴量とし、図３（ａ）、（ｂ）の手ぶれ軌跡の特徴量をＴａ、Ｔｂとすると、Ｋ（０，０）（＝２２６）とＫ（１，３）（＝６０）との距離であるＴａは数８の式で表される。
【数８】
2007043393.tif 000010
【００８７】
また、Ｋ（４，７）（＝５２）とＫ（２，４）（＝１２）との距離であるＴｂは数９の式で表される。
【数９】
2007043393.tif 000011
【００８８】
従って、Ｔａ＜Ｔｂとなるので、最大重みと重心位置との距離が長いときに、過度の補正にならないように補正信号のゲイン値Ｇを下げる。すなわち、Ｔ１（＝Ｔａ）＜Ｔ２（＝Ｔｂ）のときＧ１＞Ｇ２になるようにゲイン値Ｇの制御を行う。
【００８９】
このように、本実施の形態によれば、手ぶれ軌跡の最大重みの位置と最大重みを除いた手ぶれ軌跡の重心位置との両者の距離と、補正波形生成のためのゲイン値Ｇとの関係を、距離が長くなるにつれてゲイン値Ｇを減じるようにすることにより、図３（ｂ）のような手ぶれ軌跡でも、図３（ａ）のときよりもゲイン値Ｇを小さくすることにより、補正がされた波形を図２（ａ）の本来手ぶれの起きていない波形に類似させることができる。従って、輪郭部の過度な補正を低減し、画質制御の精度を向上させて補正画質を向上させることができる。
【００９０】
なお、上記の各実施の形態では、それぞれ単独に特徴量を検出しているが、複数の特徴量からゲイン値Ｇを決定するようにしてもよい。例えば、手ぶれ軌跡の最大重みの割合と手ぶれ軌跡の長さとを組み合わせ、ある最大重み割合と手ぶれ軌跡の長さに対してゲイン値Ｇを決定するようにしてもよい。
【００９１】
また、手ぶれ補正信号を加算する対象については、手ぶれ画像だけでなく、手ぶれ画像に対しある程度の補正を行った画像を対象として追加の補正を行うようにしてもよい。
【００９２】
また、以上説明した発明は、画像処理装置としてだけでなく、画像処理方法、画像処理プログラム及びプログラム記録媒体として実施することができる。
【産業上の利用可能性】
【００９３】
以上のように、本発明は、手ぶれ軌跡の行列と同じ大きさの補正行列を求め、手ぶれ軌跡の重みの偏りや長さなどの手ぶれ軌跡の特徴量をパラメータとして補正信号のゲイン値Ｇを調整して手ぶれを補正することができるという効果を有し、補正行列の係数を格納するメモリ領域や積和演算を減らすとともに補正画質を維持することができる画像処理装置として有用である。
【図面の簡単な説明】
【００９４】
【図１】本発明の第１の実施の形態の画像処理装置の構成を示すブロック図
【図２】（ａ）〜（ｆ）は第１の実施の形態の画像処理装置の画像処理を説明する図
【図３】（ａ）、（ｂ）は第１〜第５の実施の形態における手ぶれ軌跡行列の例を示す図
【図４】第１の実施の形態の画像処理装置の動作を示すフロー図
【図５】第１〜第５の実施の形態における特徴量と補正波形ゲイン値との関係説明図
【図６】第２の実施の形態の画像処理装置の特徴量検出部のブロック図
【図７】第３の実施の形態の画像処理装置の特徴量検出部のブロック図
【図８】第４の実施の形態の画像処理装置の特徴量検出部のブロック図
【図９】第５の実施の形態の画像処理装置の特徴量検出部のブロック図
【図１０】従来の画像処理装置の構成を示すブロック図
【図１１】従来の画像処理装置における手ぶれ軌跡行列を説明する図
【図１２】従来の画像処理装置における軌跡行列の拡張を説明する図
【図１３】従来の画像処理装置における画質課題を説明する図
【符号の説明】
【００９５】
１  画像処理装置
２  撮像素子
３  画像メモリ
４  補正演算部（補正演算手段）
５  画像表示部
６  手ぶれ軌跡データ記憶部
７  補正信号生成部（補正信号生成手段）
８、９、１０、１１、１２  特徴量検出部（特徴量検出手段）
２１  最大重み検出部
２２  重み合計算出部
２３  最大重み割合算出部
３１  軌跡重み計数部
３２  重み平均算出部
３３  重み分散算出部
４１  軌跡水平幅検出部
４２  軌跡垂直幅検出部
４３  軌跡長算出部
５１  最大重み位置検出部
５２  重心位置検出部
５３  距離算出部
６１  撮像素子
６２  画像メモリ
６３  ＦＦＴ回路
６４  手ぶれ軌跡データ記憶部
６５  手ぶれ軌跡データ変換部
６６  ＦＦＴ回路
６７  除算部
６８  逆ＦＦＴ回路
６９  画像表示部
【図１】
2007043393.tif 000012
【図２】
2007043393.tif 000013
【図３】
2007043393.tif 000014
【図４】
2007043393.tif 000015
【図５】
2007043393.tif 000016
【図６】
2007043393.tif 000017
【図７】
2007043393.tif 000018
【図８】
2007043393.tif 000019
【図９】
2007043393.tif 000020
【図１０】
2007043393.tif 000021
【図１１】
2007043393.tif 000022
【図１２】
2007043393.tif 000023
【図１３】
2007043393.tif 000024