(57)【要約】【課題】  低い計算コストで精度よく手ぶれの方向を判定することができるプログラムや精度よく手ぶれの程度を判定する。【解決手段】  撮影画像の輝度に基づいて水平方向，垂直方向のエッジ勾配画像を作成すると共に（Ｓ１１０）、半分円の角度範囲［０，π］の各判定角度θｎに対してエッジ強度Ｅ（ｎ）を計算する（Ｓ１２０）。そして、半分円の角度範囲の範囲内で判定角度θｎを起点とする四分円Ｑ１を範囲とする第１エッジ強度平均μ１と残余の四分円Ｑ２を範囲とする第２エッジ強度平均μ２との全範囲のエッジ強度平均μに対する偏差の和（平均強度偏差ＤＥＶ）が最大となる判定角度θｍａｘを求め（Ｓ１３０〜Ｓ１６０）、その第１エッジ強度平均μ１（ｍａｘ）と第２エッジ強度平均μ２（ｍａｘ）のうち小さい方に対応する四分円を二等分する角度を手ぶれ方向角θｍとする（Ｓ１７０〜Ｓ１９０）。【選択図】        図１
2006025394.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像の手ぶれの方向を判定する手ぶれ方向判定方法であって、
（ａ）撮影画像の輝度情報に基づいて該撮影画像の異なる２方向におけるエッジ勾配画像を作成し、
（ｂ）前記作成した２方向におけるエッジ勾配画像に基づいて、［０，π］の半分円角度範囲を所定数に分割してなる所定数の判定角度におけるエッジ強度を各判定角度毎に演算し、
（ｃ）前記半分円角度範囲のうち判定角度を中心とする四分円の範囲における前記エッジ強度の平均である第１エッジ強度平均と該四分円の範囲外における前記エッジ強度の平均である第２エッジ強度平均とに基づいて手ぶれの方向を判定する
手ぶれ方向判定方法。
【請求項２】
前記ステップ（ａ）は、画素間の輝度差が大きいほど大きくなる傾向のエッジ勾配となるようエッジ勾配画像を作成するステップである請求項１記載の手ぶれ方向判定方法。
【請求項３】
前記ステップ（ａ）は、前記撮影画像の水平方向と垂直方向におけるエッジ勾配画像を作成するステップである請求項１または２記載の手ぶれ方向判定方法。
【請求項４】
前記ステップ（ａ）は、ソーベルエッジ検出器を用いてエッジ勾配画像を作成するステップである請求項３記載の手ぶれ方向判定方法。
【請求項５】
前記ステップ（ｂ）は、次式（Ａ）により得られる左辺をエッジ強度として演算するステップである請求項１ないし４いずれか記載の手ぶれ方向判定方法。
ここで、n：判定角度の数、θn：判定角度、Gx(x,y)：x方向のエッジ勾配、Gy(x,y)：y方向のエッジ勾配である。
【数１】
2006025394.tif 000009
【請求項６】
前記ステップ（ｃ）は、前記半分円角度範囲におけるエッジ強度の平均である全範囲エッジ強度平均と前記第１エッジ強度平均と前記第２エッジ強度平均とに基づいて手ぶれの方向を判定するステップである請求項１ないし５いずれか記載の手ぶれ方向判定方法。
【請求項７】
前記ステップ（ｃ）は、前記全範囲エッジ強度平均と前記第１エッジ強度平均との偏差と前記全範囲エッジ強度平均と前記第２エッジ強度平均との偏差との和である偏差和が最大となる判定角度から手ぶれの方向を判定するステップである請求項６記載の手ぶれ方向判定方法。
【請求項８】
前記ステップ（ｃ）は、前記第１エッジ強度平均が前記第２エッジ強度平均より小さいときには該第１エッジ強度平均を演算した四分円の中央角度の方向を手ぶれの方向として判定し、前記第１エッジ強度平均が前記第２エッジ強度平均より大きいときには該第２エッジ強度平均を演算した四分円の中央角度の方向を手ぶれの方向として判定するステップである請求項７記載の手ぶれ方向判定方法。
【請求項９】
撮影画像の手ぶれの程度を判定する手ぶれ程度判定方法であって、
（ａ）請求項１ないし８いずれか記載の手ぶれ方向判定方法の各ステップにより手ぶれの方向を判定し、
（ｂ）前記撮影画像の輝度情報に基づいて前記判定した手ぶれの方向のエッジ勾配画像である手ぶれ方向エッジ勾配画像を作成し、
（ｃ）該作成した手ぶれ方向エッジ勾配画像のエッジ勾配に基づいて前記判定した手ぶれの方向に垂直な方向のエッジ勾配画像である判定用エッジ勾配画像を作成し、
（ｄ）該作成した判定用エッジ勾配画像におけるエッジ勾配に基づいて手ぶれの程度を判定する
手ぶれ程度判定方法。
【請求項１０】
前記ステップ（ｄ）は、前記判定用エッジ勾配画像における手ぶれの方向のエッジ勾配の変位に対する平均自己相関関数で最小値となる変位を手ぶれの程度として判定する請求項９記載の手ぶれ程度判定方法。
【請求項１１】
撮影画像の手ぶれの方向を判定するためのプログラムであって、
撮影画像の輝度情報に基づいて該撮影画像の異なる２方向におけるエッジ勾配画像を作成するモジュールと、
前記作成した２方向におけるエッジ勾配画像に基づいて、［０，π］の半分円角度範囲を所定数に分割してなる所定数の判定角度におけるエッジ強度を各判定角度毎に演算するモジュールと、
前記半分円角度範囲のうち判定角度を中心とする四分円の範囲における前記エッジ強度の平均である第１エッジ強度平均と該四分円の範囲外における前記エッジ強度の平均である第２エッジ強度平均とに基づいて手ぶれの方向を判定するモジュールと、
を備えるプログラム。
【請求項１２】
撮影画像の手ぶれの程度を判定するためのプログラムであって、
撮影画像の輝度情報に基づいて該撮影画像の異なる２方向におけるエッジ勾配画像を作成するモジュールと、
前記作成した２方向におけるエッジ勾配画像に基づいて、［０，π］の半分円角度範囲を所定数に分割してなる所定数の判定角度におけるエッジ強度を各判定角度毎に演算するモジュールと、
前記半分円角度範囲のうち判定角度を中心とする四分円の範囲における前記エッジ強度の平均である第１エッジ強度平均と該四分円の範囲外における前記エッジ強度の平均である第２エッジ強度平均とに基づいて手ぶれの方向を判定するモジュールと、
前記撮影画像の輝度情報に基づいて前記判定した手ぶれの方向のエッジ勾配画像である手ぶれ方向エッジ勾配画像を作成するモジュールと、
該作成した手ぶれ方向エッジ勾配画像のエッジ勾配に基づいて前記判定した手ぶれの方向に垂直な方向のエッジ勾配画像である判定用エッジ勾配画像を作成するモジュールと、
該作成した判定用エッジ勾配画像におけるエッジ勾配に基づいて手ぶれの程度を判定するモジュールと、
を備えるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手ぶれ方向判定方法および手ぶれ程度判定方法並びにこれらに用いるプログラムに関し、詳しくは、撮影画像の手ぶれの方向を判定する手ぶれ方向判定方法および撮影画像の手ぶれの程度を判定する手ぶれ程度判定方法並びにこれらに用いるプログラムに関する。
【背景技術】
【０００２】
従来、この種の手ぶれを判定する手法としては、カメラに搭載されて撮影時にハード的に手ぶれを検出するものが提案されている。ソフト的に手ぶれを検出するものとしては、撮影画像のスペクトルを分析すると共に分析したスペクトルをフーリエ変換を行なって判定する方法や撮影画像の強度の勾配に基づいて手ぶれを判定するものも提案されている（例えば、非特許文献１参照）。
【非特許文献１】「Identification of Blur Parameters from Motion Blurred Image」，Y.Yizhaky and N.S.Kopeika，GRAPHICAL MODELS AND IMAGE PROCESSING Vol.59, No.5, September, pp. 310-320, 1997
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述のソフト的に手ぶれを判定するもののうち、フーリエ変換を行なって判定するものは、計算が複雑なものとなり、計算コストが高くなるという問題があった。また、撮影画像の強度の勾配に基づいて手ぶれを判定するものは、ノイズの影響を受けやすく低コントラストによるエラーに敏感に反応してしまうという問題があった。
【０００４】
本発明の手ぶれ方向判定方法は、低い計算コストで精度よく手ぶれの方向を判定することを目的とする。また、本発明の手ぶれ程度判定方法は、精度よく手ぶれの程度を判定することを目的とする。本発明のプログラムは、低い計算コストで精度よく手ぶれの方向を判定することができるプログラムや精度よく手ぶれの程度を判定することができるプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の手ぶれ方向判定方法および手ぶれ程度判定方法並びにこれらに用いるプログラムは、上述の目的の少なくとも一部を達成するために以下の手段を採った。
【０００６】
本発明の手ぶれ方向判定方法は、
撮影画像の手ぶれの方向を判定する手ぶれ方向判定方法であって、
（ａ）撮影画像の輝度情報に基づいて該撮影画像の異なる２方向におけるエッジ勾配画像を作成し、
（ｂ）前記作成した２方向におけるエッジ勾配画像に基づいて、［０，π］の半分円角度範囲を所定数に分割してなる所定数の判定角度におけるエッジ強度を各判定角度毎に演算し、
（ｃ）前記半分円角度範囲のうち判定角度を中心とする四分円の範囲における前記エッジ強度の平均である第１エッジ強度平均と該四分円の範囲外における前記エッジ強度の平均である第２エッジ強度平均とに基づいて手ぶれの方向を判定する
ことを要旨とする。
【０００７】
この本発明の手ぶれ方向判定方法では、撮影画像の輝度情報に基づいて撮影画像の異なる２方向におけるエッジ勾配画像を作成し、この作成した２方向におけるエッジ勾配画像に基づいて、［０，π］の半分円角度範囲を所定数に分割してなる所定数の判定角度におけるエッジ強度を各判定角度毎に演算し、半分円角度範囲のうち判定角度を中心とする四分円の範囲におけるエッジ強度の平均である第１エッジ強度平均と四分円の範囲外におけるエッジ強度の平均である第２エッジ強度平均とに基づいて手ぶれの方向を判定する。したがって、規則的に簡易な計算を行なうだけで手ぶれの方向を判定することができる。しかも、判定角度の数を多くすることにより、手ぶれの方向の判定精度を高めることができる。この結果、低い計算コストで精度よく手ぶれの方向を判定することができる。
【０００８】
こうした本発明の手ぶれ方向判定方法において、前記ステップ（ａ）は、画素間の輝度差が大きいほど大きくなる傾向のエッジ勾配となるようエッジ勾配画像を作成するステップであるものとすることもできる。
【０００９】
また、本発明の手ぶれ方向判定方法において、前記ステップ（ａ）は、前記撮影画像の水平方向と垂直方向におけるエッジ勾配画像を作成するステップであるものとすることもできる。こうすれば、より精度よく手ぶれの方向を判定することができる。この場合、前記ステップ（ａ）は、ソーベルエッジ検出器を用いてエッジ勾配画像を作成するステップであるものとすることもできる。
【００１０】
さらに、本発明の手ぶれ方向判定方法において、前記ステップ（ｂ）は、次式（Ａ）により得られる左辺をエッジ強度として演算するステップであるものとすることもできる。ここで、式（Ａ）中「n」は判定角度の数、「θn」は判定角度、「Gx(x,y)」はx方向のエッジ勾配、「Gy(x,y)」はy方向のエッジ勾配である。
【００１１】
【数１】
2006025394.tif 000003
【００１２】
あるいは、本発明の手ぶれ方向判定方法において、前記ステップ（ｃ）は、前記半分円角度範囲におけるエッジ強度の平均である全範囲エッジ強度平均と前記第１エッジ強度平均と前記第２エッジ強度平均とに基づいて手ぶれの方向を判定するステップであるものとすることもできる。この場合、前記ステップ（ｃ）は、前記全範囲エッジ強度平均と前記第１エッジ強度平均との偏差と前記全範囲エッジ強度平均と前記第２エッジ強度平均との偏差との和である偏差和が最大となる判定角度から手ぶれの方向を判定するステップであるものとすることもできる。さらにこの場合、前記ステップ（ｃ）は、前記第１エッジ強度平均が前記第２エッジ強度平均より小さいときには該第１エッジ強度平均を演算した四分円の中央角度の方向を手ぶれの方向として判定し、前記第１エッジ強度平均が前記第２エッジ強度平均より大きいときには該第２エッジ強度平均を演算した四分円の中央角度の方向を手ぶれの方向として判定するステップであるものとすることもできる。
【００１３】
本発明の手ぶれ程度判定方法は、
撮影画像の手ぶれの程度を判定する手ぶれ程度判定方法であって、
（ａ）上述したいずれかの態様の手ぶれ方向判定方法の各ステップにより手ぶれの方向を判定し、
（ｂ）前記撮影画像の輝度情報に基づいて前記判定した手ぶれの方向のエッジ勾配画像である手ぶれ方向エッジ勾配画像を作成し、
（ｃ）該作成した手ぶれ方向エッジ勾配画像のエッジ勾配に基づいて前記判定した手ぶれの方向に垂直な方向のエッジ勾配画像である判定用エッジ勾配画像を作成し、
（ｄ）該作成した判定用エッジ勾配画像におけるエッジ勾配に基づいて手ぶれの程度を判定する
ことを要旨とする。
【００１４】
この本発明の手ぶれ程度判定方法では、上述した本発明の手ぶれ方向判定方法により手ぶれの方向を判定し、撮影画像の輝度情報に基づいて手ぶれの方向のエッジ勾配画像である手ぶれ方向エッジ勾配画像を作成すると共に作成した手ぶれ方向エッジ勾配画像のエッジ勾配に基づいて手ぶれの方向に垂直な方向のエッジ勾配画像である判定用エッジ勾配画像を作成し、この作成した判定用エッジ勾配画像におけるエッジ勾配に基づいて手ぶれの程度を判定する。したがって、低い計算コストで精度よく手ぶれの方向を判定することができると共に精度よく手ぶれの程度を判定することができる。
【００１５】
本発明の手ぶれ程度判定方法において、前記ステップ（ｄ）は、前記判定用エッジ勾配画像における手ぶれの方向のエッジ勾配の変位に対する平均自己相関関数で最小値となる変位を手ぶれの程度として判定するものとすることもできる。こうすれば、より精度よく手ぶれ程度を判定することができる。
【００１６】
本発明の第１のプログラムは、
撮影画像の手ぶれの方向を判定するためのプログラムであって、
撮影画像の輝度情報に基づいて該撮影画像の異なる２方向におけるエッジ勾配画像を作成するモジュールと、
前記作成した２方向におけるエッジ勾配画像に基づいて、［０，π］の半分円角度範囲を所定数に分割してなる所定数の判定角度におけるエッジ強度を各判定角度毎に演算するモジュールと、
前記半分円角度範囲のうち判定角度を中心とする四分円の範囲における前記エッジ強度の平均である第１エッジ強度平均と該四分円の範囲外における前記エッジ強度の平均である第２エッジ強度平均とに基づいて手ぶれの方向を判定するモジュールと、
を備えることを要旨とする。
【００１７】
この本発明の第１のプログラムでは、これをコンピュータやデジタルスチルカメラなどにインストールして機能させることにより、コンピュータやデジタルスチルカメラで前述した本発明の手ぶれ方向判定方法を実行することができる。即ち、撮影画像の輝度情報に基づいて撮影画像の異なる２方向におけるエッジ勾配画像を作成し、この作成した２方向におけるエッジ勾配画像に基づいて、［０，π］の半分円角度範囲を所定数に分割してなる所定数の判定角度におけるエッジ強度を各判定角度毎に演算し、半分円角度範囲のうち判定角度を中心とする四分円の範囲におけるエッジ強度の平均である第１エッジ強度平均と四分円の範囲外におけるエッジ強度の平均である第２エッジ強度平均とに基づいて手ぶれの方向を判定することができる。したがって、規則的に簡易な計算を行なうだけで手ぶれの方向を判定することができる。しかも、判定角度の数を多くすることにより、手ぶれの方向の判定精度を高めることができる。この結果、低い計算コストで精度よく手ぶれの方向を判定することができる。
【００１８】
本発明の第２のプログラムは、
撮影画像の手ぶれの程度を判定するためのプログラムであって、
撮影画像の輝度情報に基づいて該撮影画像の異なる２方向におけるエッジ勾配画像を作成するモジュールと、
前記作成した２方向におけるエッジ勾配画像に基づいて、［０，π］の半分円角度範囲を所定数に分割してなる所定数の判定角度におけるエッジ強度を各判定角度毎に演算するモジュールと、
前記半分円角度範囲のうち判定角度を中心とする四分円の範囲における前記エッジ強度の平均である第１エッジ強度平均と該四分円の範囲外における前記エッジ強度の平均である第２エッジ強度平均とに基づいて手ぶれの方向を判定するモジュールと、
前記撮影画像の輝度情報に基づいて前記判定した手ぶれの方向のエッジ勾配画像である手ぶれ方向エッジ勾配画像を作成するモジュールと、
該作成した手ぶれ方向エッジ勾配画像のエッジ勾配に基づいて前記判定した手ぶれの方向に垂直な方向のエッジ勾配画像である判定用エッジ勾配画像を作成するモジュールと、
該作成した判定用エッジ勾配画像におけるエッジ勾配に基づいて手ぶれの程度を判定するモジュールと、
を備えることを要旨とする。
【００１９】
この本発明の第２のプログラムでは、これをコンピュータやデジタルスチルカメラなどにインストールして機能させることにより、コンピュータやデジタルスチルカメラで前述した本発明の手ぶれ程度判定方法を実行することができる。即ち、上述した本発明の手ぶれ方向判定方法により手ぶれの方向を判定し、撮影画像の輝度情報に基づいて手ぶれの方向のエッジ勾配画像である手ぶれ方向エッジ勾配画像を作成すると共に作成した手ぶれ方向エッジ勾配画像のエッジ勾配に基づいて手ぶれの方向に垂直な方向のエッジ勾配画像である判定用エッジ勾配画像を作成し、この作成した判定用エッジ勾配画像におけるエッジ勾配に基づいて手ぶれの程度を判定することができる。したがって、低い計算コストで精度よく手ぶれの方向を判定することができると共に精度よく手ぶれの程度を判定することができる。
【発明を実施するための最良の形態】
【００２０】
次に、本発明を実施するための最良の形態を実施例を用いて説明する。
【実施例１】
【００２１】
図１は、実施例の手ぶれ方向判定方法の一例を示すフローチャートである。実施例の手ぶれ方向判定方法では、まず、赤（Ｒ），緑（Ｇ），青（Ｂ）の表色系で表現された撮影画像（ＲＧＢ画像）を次式（１）によりＹ（輝度），Ｉ（オレンジ−シアン），Ｑ（緑−マゼンダ）の三要素からなるＹＩＱ色空間に変換する（ステップＳ１００）。
【００２２】
【数２】
2006025394.tif 000004
【００２３】
続いて、ＹＩＱ色空間に変換した画像のＹチャンネル画像に対して水平方向と垂直方向に対するソーベルエッジ検出器を作用して各画素の水平方向および垂直方向におけるエッジ勾配からなる画像（以下、エッジ勾配画像という）Ｇｘ（ｘ，ｙ），Ｇｙ（ｘ，ｙ）を作成する（ステップＳ１１０）。水平方向と垂直方向に対するソーベルエッジ検出器は、次式（２）および式（３）により表わされる。ここで、エッジ勾配は、対象とする画素（ピクセル）を中心とする周囲の９個の画素のＹチャンネルの値にソーベルエッジ検出器の対応する位置の値を各々乗じ、その総和を演算することにより得られる。このソーベルエッジ検出器では、画素間の輝度差が大きいほど大きなエッジ勾配が得られるようになっている。
【００２４】
【数３】
2006025394.tif 000005
【００２５】
続いて、半分円の角度範囲［０，π］を所定数（例えば、１８０）で分割してなる所定数（この場合、１８０）の判定角度θｎの各々に対して次式（４）によりエッジ強度Ｅ（ｎ）を計算すると共に（ステップＳ１２０）、計算したすべてのエッジ強度Ｅ（ｎ）の平均（以下、全範囲エッジ強度平均という）μを計算する（ステップＳ１３０）。ここで、エッジ強度Ｅ（ｎ）は、式（４）から明らかなように、判定角度θｎの方向に対するエッジ勾配の総和として計算される。
【００２６】
【数４】
2006025394.tif 000006
【００２７】
そして、半分円の角度範囲の範囲内で判定角度θｎを起点とする四分円Ｑ１（Ｑ１＝［θｎ，θｎ＋π／２］）を範囲とするエッジ強度の平均（以下、第１エッジ強度平均という）μ１と、半分円のうちこの四分円Ｑ１に属さない四分円Ｑ２（Ｑ２＝［０，θｎ］＋［θｎ＋π／２，π］）を範囲とするエッジ強度Ｅの平均（以下、第２エッジ強度平均という）μ２と、を演算する（ステップＳ１４０）。四分円Ｑ１，Ｑ２の一例を図２に示す。図示するように、判定角度θｎから角度θｎ＋π／２までの斜線の部分が四分円Ｑ１であり、角度０から判定角度θｎまでと角度θｎ＋π／２から角度πまでの斜線が施されていない部分が四分円Ｑ２である。なお、半分円の角度範囲内で考えればよいのは、手ぶれの方向としてある角度θｍを考えると、それよりπだけ大きい角度θｍ＋πは向きが逆になるだけで手ぶれの方向としては同一だからである。ここで、第１エッジ強度平均μ１は四分円Ｑ１を二等分する角度方向のエッジ勾配の影響が反映されたエッジ強度としての意味をもつことになり、第２エッジ強度平均μ２は四分円Ｑ２を二等分する角度方向のエッジ勾配の影響が反映されたエッジ強度としての意味をもつことになる。
【００２８】
次に、判定角度θｎについて計算した第１エッジ強度平均μ１（ｎ）と全範囲エッジ強度平均μとの偏差と同じく判定角度θｎについて計算した第２エッジ強度平均μ２（ｎ）と全範囲エッジ強度平均μとの偏差の和として次式（５）により判定角度θｎにおける平均強度偏差ＤＥＶ（ｎ）を計算し（ステップＳ１５０）、計算した平均強度偏差ＤＥＶ（ｎ）のうち最大の平均強度偏差ＤＥＶ（ｍａｘ）を抽出する（ステップＳ１６０）。前述したように、第１エッジ強度平均μ１（ｎ）と第２エッジ強度平均μ２（ｎ）は判定角度θｎを起点とする四分円Ｑ１，Ｑ２を二等分する角度方向のエッジ勾配の影響が反映されたエッジ強度としての意味をもつから、平均強度偏差ＤＥＶ（ｎ）は判定角度θｎを起点とする四分円Ｑ１，Ｑ２を二等分する角度方向のエッジ勾配の影響が反映されたエッジ強度の全範囲のエッジ強度の平均に対する偏差の程度を意味する。したがって、平均強度偏差ＤＥＶ（ｎ）のうち最大の平均強度偏差ＤＥＶ（ｍａｘ）は、エッジ強度が最も強い方
向とその垂直な方向（エッジ強度が最も弱い方向）とが四分円Ｑ１，Ｑ２を二等分する角度方向となる判定角度θｍａｘに対応するものとなる。
【００２９】
【数５】
2006025394.tif 000007
【００３０】
そして、抽出した平均強度偏差ＤＥＶ（ｍａｘ）の判定角度θｍａｘに対応する第１エッジ強度平均μ１（ｍａｘ）と第２エッジ強度平均μ２（ｍａｘ）の大きさを比較し（ステップＳ１７０）、第１エッジ強度平均μ１（ｍａｘ）の方が第２エッジ強度平均μ２（ｍａｘ）より小さいときには、判定角度θｍａｘにおける四分円Ｑ１を二等分する角度、即ち、判定角度θｍａｘにπ／４を加えた角度を手ぶれ方向角θｍとして計算する（ステップＳ１８０）。一方、第１エッジ強度平均μ１（ｍａｘ）の方が第２エッジ強度平均μ２（ｍａｘ）より大きいときには、判定角度θｍａｘにおける四分円Ｑ２を二等分する角度、即ち、判定角度θｍａｘにπ・３／４を加えた角度を手ぶれ方向角θｍとして計算する（ステップＳ１９０）。四分円Ｑ１や四分円Ｑ２と手ぶれ方向角θｍとの関係の一例を図３に示す。エッジ強度平均が小さい方の四分円を二等分する方向を手ぶれの方向角θｍとするのは、手ぶれの方向に対してはエッジはスライドすることから、手ぶれの方向に対するエッジ強度は小さくなり、逆に手ぶれの方向に垂直な方向に対するエッジ強度は大きくなることに基づく。
【００３１】
以上説明した実施例の手ぶれ方向判定方法によれば、撮影画像の輝度に基づいて精度よく手ぶれの方向を判定することができる。しかも、所定数の判定角度θｎに対応して簡易な計算を行なうだけでよいから、計算コストを低くすることができる。しかも、所定数の判定角度θｎの個数を増やすことにより手ぶれの方向の判定の精度を高くすることができる。
【００３２】
実施例の手ぶれ方向判定方法では、水平方向および垂直方向におけるエッジ勾配からなるエッジ勾配画像Ｇｘ（ｘ，ｙ），Ｇｙ（ｘ，ｙ）を作成するものとしたが、作成するエッジ勾配画像は水平方向と垂直方向に限られず、異なる２方向であれば如何なる２方向のエッジ勾配画像を作成するものとしてもよい。
【００３３】
実施例の手ぶれ方向判定方法では、ソーベルエッジ検出器を用いて水平方向および垂直方向におけるエッジ勾配からなるエッジ勾配画像Ｇｘ（ｘ，ｙ），Ｇｙ（ｘ，ｙ）を作成するものとしたが、他のエッジ検出器を用いて水平方向および垂直方向におけるエッジ勾配からなるエッジ勾配画像Ｇｘ（ｘ，ｙ），Ｇｙ（ｘ，ｙ）を作成するものとしてもよい。
【００３４】
実施例の手ぶれ方向判定方法では、水平方向と垂直方向のエッジ勾配画像のすべての画素のエッジ勾配を用いて各判定角度θｎに対するエッジ強度Ｅ（ｎ）を計算するものとしたが、水平方向と垂直方向のエッジ勾配画像の一部の画素のエッジ勾配だけを用いて各判定角度θｎに対するエッジ強度Ｅ（ｎ）を計算するものとしてもかまわない。
【００３５】
実施例の手ぶれ方向判定方法では、半分円の角度範囲の範囲内で判定角度θｎを起点とする四分円Ｑ１を範囲とする第１エッジ強度平均μ１と半分円のうちこの四分円Ｑ１に属さない四分円Ｑ２を範囲とする第２エッジ強度平均μ２とを演算し、この第１エッジ強度平均μ１と第２エッジ強度平均μ２とを用いて手ぶれ方向角θｍを判定するものとしたが、半分円の角度範囲の範囲内で判定角度θｎから所定角度までとして設定される所定角度分円Ｑ１を範囲とする第１エッジ強度平均μ１と判定角度θｎ＋π／２から所定角度までとして設定される所定角度分円Ｑ２を範囲とする第２エッジ強度平均μ２とを演算し、この第１エッジ強度平均μ１と第２エッジ強度平均μ２とを用いて手ぶれ方向角θｍを判定するものとしてもよい。この場合、所定角度は如何なる角度としてもよい。なお、実施例では、所定角度をπ／２としている。
【００３６】
実施例では、手ぶれの方向を判定する方法として説明したが、手ぶれの方向を判定するプログラムの形態としてもよい。この場合、図１に例示した手ぶれ方向判定方法における各ステップを各手順として適当なプログラミング言語を用いてプログラムすればよい。
【実施例２】
【００３７】
次に、本発明の一実施例としての手ぶれ程度判定方法について説明する。図４は、実施例の手ぶれ程度判定方法の一例を示すフローチャートである。実施例の手ぶれ程度判定方法は、撮影画像に対して手ぶれ方向角θｍが判定されているのを前提としている。実施例では、上述した手ぶれ方向判定方法により判定された手ぶれ方向角θｍを用いることにする。手ぶれ程度判定方法では、まず、赤（Ｒ），緑（Ｇ），青（Ｂ）の表色系で表現された撮影画像（ＲＧＢ画像）を上述した式（１）によりＹ（輝度），Ｉ（オレンジ−シアン），Ｑ（緑−マゼンダ）の三要素からなるＹＩＱ色空間に変換する（ステップＳ２００）。続いて、ＹＩＱ色空間に変換した画像のＹチャンネル画像に対して手ぶれ方向角θｍの方向に対するソーベルエッジ検出器を作用して各画素の手ぶれ方向角θｍの方向におけるエッジ勾配からなるエッジ勾配画像Ｒｍ（ｘ，ｙ）を作成する（ステップＳ２１０）。
【００３８】
こうして作成されたエッジ勾配画像Ｒｍに対し、手ぶれ方向角θｍに垂直な手ぶれ垂直角θｍｖの方向に対するソーベルエッジ検出器を作用して手ぶれ方向と垂直方向におけるエッジ勾配画像Ｒｍｖ（ｘ，ｙ）を作成する（ステップＳ２２０）。
【００３９】
そして、得られたエッジ勾配画像Ｒｍｖに対して手ぶれ方向に所定数（例えば、１００）のサンプルラインを設定し（ステップＳ２３０）、設定した各サンプルラインで次式（６）により自己相関関数ＡＣＦｋ（τ）を計算する（ステップＳ２４０）。式（６）中、Ｓｋ（ｘ）はエッジ勾配画像Ｒｍｖにおける手ぶれ方向のサンプルラインの一つを示し、τはエッジの画素（ピクセル）を単位とする変位であり、ＬはＳｋ（ｘ）におけるピクセル数である。また、ｘが［０，Ｌ−１］に属さないときにはＳｋ（ｘ）＝０である。自己相関関数ＡＣＦｋ（τ）は、Ｓｋ（τ）とτだけシフトしたＳｋ（ｘ＋τ）との自己相関関係を求めるものであり、自己相関関数ＡＣＦｋ（τ）が高い値ほど、Ｓｋ（ｘ）とＳｋ（ｘ＋τ）とが一致していることを示す。このため、自己相関関数ＡＣＦｋ（τ）が最も小さい値となる変位τが手ぶれのピクセル数に一致するものと考えられる。
【００４０】
【数６】
2006025394.tif 000008
【００４１】
そして、すべてのサンプルライン上の自己相関関数ＡＣＦｋ（τ）の平均としての平均自己相関関数ＡＣＦａｖｅを計算し（ステップＳ２５０）、平均自己相関関数ＡＣＦａｖｅで最小となる変位を手ぶれの程度Ｄｍとして設定する（ステップＳ２６０）。手ぶれの程度Ｄｍと変位と平均自己相関関数ＡＣＦａｖｅとの関係の一例を図５に示す。ここで、平均自己相関関数ＡＣＦａｖｅで最小となる変位を手ぶれの程度Ｄｍとして設定するのは、手ぶれによって生じる変位は自己相関関数ＡＣＦｋ（τ）を最小とすると考えられるからであり、その変位を手ぶれの程度（Ｄｍ）として計算するのが妥当と考えられるからである。複数サンプルラインで自己相関関数ＡＣＦｋ（τ）の計算を行ない、それらに基づいて平均自己相関関数ＡＣＦａｖｅを求める理由としては、手ぶれがある画像について全ピクセルが同じ量ぶれるとは限らないことを前提としている。直線的に動いた場合は同じ量動くと考えられるが軌跡的に動いた場合は同じ量はぶれないため、複数のサンプルラインで自己相関関数ＡＣＦｋ（τ）を求め平均自己相関関数ＡＣＦａｖｅを計算する。なお、１つのサンプルラインのみを用いて１つの自己相関関数ＡＣＦｋ（τ）を計算し、これが最小となる時の変位τを手ぶれの程度としても、計算量を減らし処理の簡易な方法として手ぶれの程度が求められる。
【００４２】
以上説明した実施例の手ぶれ程度判定方法によれば、撮影画像の輝度に基づいて精度よく手ぶれの程度を判定することができる。しかも、ソーベルエッジ検出器によるエッジ勾配画像Ｒｍ，Ｒｍｖの演算やサンプルラインにおける自己相関関数ＡＣＦｋ（τ）などの簡易な計算を行なうだけでよいから、計算コストを低くすることができる。しかも、サンプルラインを適当な数に設定することにより、手ぶれの程度の判定の精度を高くすることができる。
【００４３】
実施例の手ぶれ程度判定方法では、ソーベルエッジ検出器を用いて手ぶれ方向角θｍの方向のエッジ勾配画像Ｒｍや手ぶれ垂直角θｍｖの方向のエッジ勾配画像Ｒｍｖを作成したが、他のエッジ検出器を用いて手ぶれ方向角θｍの方向のエッジ勾配画像Ｒｍや手ぶれ垂直角θｍｖの方向のエッジ勾配画像Ｒｍｖを作成するものとしてもよい。
【００４４】
実施例の手ぶれ程度判定方法では、エッジ勾配画像Ｒｍｖに対して手ぶれ方向に所定数のサンプルラインを設定すると共に設定したサンプルラインで自己相関関数ＡＣＦｋ（τ）を計算するものとしたが、エッジ勾配画像Ｒｍｖに対して手ぶれ方向の可能なすべてのラインで自己相関関数ＡＣＦｋ（τ）を計算するものとしてもかまわない。
【００４５】
実施例では、手ぶれの程度を判定する方法として説明したが、手ぶれの程度を判定するプログラムの形態としてもよい。この場合、図４に例示した手ぶれ程度判定方法における各ステップを各手順として適当なプログラミング言語を用いてプログラムすればよい。
【００４６】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。
【産業上の利用可能性】
【００４７】
本発明は、撮影装置製造産業や印刷産業，画像処理を用いるソフトウエア産業などに利用可能である。
【図面の簡単な説明】
【００４８】
【図１】手ぶれ方向判定方法の一例を示すフローチャート。
【図２】四分円Ｑ１，Ｑ２の一例を示す説明図。
【図３】手ぶれ方向角θｍの方向を説明する説明図。
【図４】手ぶれ程度判定方法の一例を示すフローチャート。
【図５】エッジの変位と平均自己相関関数との関係の一例を示す説明図。
【図１】
2006025394.tif 000010
【図２】
2006025394.tif 000011
【図３】
2006025394.tif 000012
【図４】
2006025394.tif 000013
【図５】
2006025394.tif 000014