(57)【要約】【課題】  デジタル写真画像を撮像する装置の大型化を避けると共に、画像中の手ぶれの補正を行う。【解決手段】  補正手段１０による、手ぶれを有するデジタル写真画像Ｄに対して、複数の異なる方向Ｒｉに実際に方向性補正処理を施して、各方向に対応する複数の処理済画像Ｄｉを得る処理と、評価値算出手段２０による、各処理済画像Ｄｉにおける手ぶれの程度の評価を行う処理と、方向選択手段３０による、手ぶれの程度が最も小さくなる処理済画像に対応する方向Ｒｊを選択する処理と、方向Ｒｊの近傍で、方向性補正処理を施す方向Ｒｉを再設定する処理とを、所定の条件を満たすまで繰返し、最後に選択された方向に対応する処理済画像を手ぶれ補正されたデジタル写真画像Ｄ’として取得する。【選択図】          図１
2005100144.tif 000002
【特許請求の範囲】
【請求項１】
手ぶれを有するデジタル写真画像に対して、前記手ぶれを補正するための方向性補正処理を複数の異なる方向毎に施して、各該方向にそれぞれ対応する複数の処理済画像を得る補正処理と、
該複数の処理済画像の各々における手ぶれの程度を表す評価値を算出する評価値算出処理と、
前記複数の異なる方向の中から、前記算出された評価値のうち最も小さい手ぶれの程度を表す前記評価値が算出された前記処理済画像に対応する方向を選択する方向選択処理と、
前記複数の異なる方向のうち前記方向選択処理により選択された方向以外のいずれの方向よりも、前記選択された方向の成分を多く含む複数の異なる方向を、前記補正処理において前記方向性補正処理を施す新たな複数の異なる方向として設定する方向設定処理とを、所定の条件を満たすまで繰り返し、
前記方向選択処理により最後に選択された方向に対応する前記処理済画像を、前記手ぶれが補正された前記デジタル写真画像として取得することを特徴とする画像処理方法。
【請求項２】
手ぶれを有するデジタル写真画像における所定の部分画像に対して、前記手ぶれを補正するための方向性補正処理を複数の異なる方向毎に施して、各該方向にそれぞれ対応する複数の処理済部分画像を得る補正処理と、
該複数の処理済部分画像の各々における手ぶれの程度を表す評価値を算出する評価値算出処理と、
前記複数の異なる方向の中から、前記算出された評価値のうち最も小さい手ぶれの程度を表す前記評価値が算出された前記処理済部分画像に対応する方向を選択する方向選択処理と、
前記複数の異なる方向のうち前記方向選択処理により選択された方向以外のいずれの方向よりも、前記選択された方向の成分を多く含む複数の異なる方向を、前記補正処理において前記方向性補正処理を施す新たな複数の異なる方向として設定する方向設定処理とを、所定の条件を満たすまで繰り返し、
前記デジタル写真画像に対して、前記方向性補正処理を前記方向選択処理により最後に選択された方向に施して、前記手ぶれが補正された前記デジタル写真画像を取得することを特徴とする画像処理方法。
【請求項３】
前記所定の条件が、前記繰返しの回数が所定数に達すること、前記繰返しの所要時間が所定時間に達すること、前記評価値が所定値に達することのうちいずれかであることを特徴とする請求項１または２記載の画像処理方法。
【請求項４】
前記複数の異なる方向が、所定の角度おきに配されたものであることを特徴とする請求項１、２または３記載の画像処理方法。
【請求項５】
手ぶれを有するデジタル写真画像に対して、前記手ぶれを補正するための方向性補正処理を複数の異なる方向毎に施して、各該方向にそれぞれ対応する複数の処理済画像を得る補正手段と、
該複数の処理済画像の各々における手ぶれの程度を表す評価値を算出する評価値算出手段と、
前記複数の異なる方向の中から、前記算出された評価値のうち最も小さい手ぶれの程度を表す前記評価値が算出された前記処理済画像に対応する方向を選択する方向選択手段と、
前記複数の異なる方向のうち前記方向選択手段により選択された方向以外のいずれの方向よりも、前記選択された方向の成分を多く含む複数の異なる方向を、前記補正手段において前記方向性補正処理を施す新たな複数の異なる方向として設定する方向設定手段と、
前記補正手段による方向性補正処理と、前記評価値算出手段による評価値の算出と、前記方向選択手段による方向の選択と、前記方向設定手段による方向の設定とを、所定の条件を満たすまで繰り返す反復手段と、
前記方向選択手段により最後に選択された方向に対応する前記処理済画像を、前記手ぶれが補正された前記デジタル写真画像として取得する画像取得手段とを備えたことを特徴とする画像処理装置。
【請求項６】
手ぶれを有するデジタル写真画像における所定の部分画像に対して、前記手ぶれを補正するための方向性補正処理を複数の異なる方向毎に施して、各該方向にそれぞれ対応する複数の処理済部分画像を得る補正手段と、
該複数の処理済部分画像の各々における手ぶれの程度を表す評価値を算出する評価値算出手段と、
前記複数の異なる方向の中から、前記算出された評価値のうち最も小さい手ぶれの程度を表す前記評価値が算出された前記処理済部分画像に対応する方向を選択する方向選択手段と、
前記複数の異なる方向のうち前記方向選択手段により選択された方向以外のいずれの方向よりも、前記選択された方向の成分を多く含む複数の異なる方向を、前記補正手段において前記方向性補正処理を施す新たな複数の異なる方向として設定する方向設定手段と、
前記補正手段による方向性補正処理と、前記評価値算出手段による評価値の算出と、前記方向選択手段による方向の選択と、前記方向設定手段による方向の設定とを、所定の条件を満たすまで繰り返す反復手段と、
前記デジタル写真画像に対して、前記方向性補正処理を前記方向選択手段により最後に選択された方向に施して、前記手ぶれが補正された前記デジタル写真画像を取得する第２の補正手段とを備えたことを特徴とする画像処理装置。
【請求項７】
前記所定の条件が、前記繰返しの回数が所定数に達すること、前記繰返しの所要時間が所定時間に達すること、前記評価値が所定値に達することのうちいずれかであることを特徴とする請求項５または６記載の画像処理装置。
【請求項８】
前記複数の異なる方向が、所定の角度おきに配されたものであることを特徴とする請求項５、６または７記載の画像処理装置。
【請求項９】
コンピュータを、
手ぶれを有するデジタル写真画像に対して、前記手ぶれを補正するための方向性補正処理を複数の異なる方向毎に施して、各該方向にそれぞれ対応する複数の処理済画像を得る補正手段と、
該複数の処理済画像の各々における手ぶれの程度を表す評価値を算出する評価値算出手段と、
前記複数の異なる方向の中から、前記算出された評価値のうち最も小さい手ぶれの程度を表す前記評価値が算出された前記処理済画像に対応する方向を選択する方向選択手段と、
前記複数の異なる方向のうち前記方向選択手段により選択された方向以外のいずれの方向よりも、前記選択された方向の成分を多く含む複数の異なる方向を、前記補正手段において前記方向性補正処理を施す新たな複数の異なる方向として設定する方向設定手段と、
前記補正手段による方向性補正処理と、前記評価値算出手段による評価値の算出と、前記方向選択手段による方向の選択と、前記方向設定手段による方向の設定とを、所定の条件を満たすまで繰り返す反復手段と、
前記方向選択手段により最後に選択された方向に対応する前記処理済画像を、前記手ぶれが補正された前記デジタル写真画像として取得する画像取得手段として機能させるためのプログラム。
【請求項１０】
コンピュータを、
手ぶれを有するデジタル写真画像における所定の部分画像に対して、前記手ぶれを補正するための方向性補正処理を複数の異なる方向毎に施して、各該方向にそれぞれ対応する複数の処理済部分画像を得る補正手段と、
該複数の処理済部分画像の各々における手ぶれの程度を表す評価値を算出する評価値算出手段と、
前記複数の異なる方向の中から、前記算出された評価値のうち最も小さい手ぶれの程度を表す前記評価値が算出された前記処理済部分画像に対応する方向を選択する方向選択手段と、
前記複数の異なる方向のうち前記方向選択手段により選択された方向以外のいずれの方向よりも、前記選択された方向の成分を多く含む複数の異なる方向を、前記補正手段において前記方向性補正処理を施す新たな複数の異なる方向として設定する方向設定手段と、
前記補正手段による方向性補正処理と、前記評価値算出手段による評価値の算出と、前記方向選択手段による方向の選択と、前記方向設定手段による方向の設定とを、所定の条件を満たすまで繰り返す反復手段と、
前記デジタル写真画像に対して、前記方向性補正処理を前記方向選択手段により最後に選択された方向に施して、前記手ぶれが補正された前記デジタル写真画像を取得する第２の補正手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル写真画像における手ぶれを補正する画像処理方法および装置並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
ネガフィルムやカラーリバーサルフィルムなどの写真フィルムに記録された写真画像をスキャナーなどの読取装置で光電的に読み取って得たデジタル写真画像や、デジタルスチルカメラ（ＤＳＣ）で撮像して得たデジタル写真画像などに対して、種々の画像処理を施してプリントすることが行われている。これらの画像処理の一つとして、ボケた画像（ボケ画像）からボケを取り除くボケ画像修復処理が挙げられる。
【０００３】
被写体を撮像して得た写真画像がぼけてしまう理由としては、焦点距離が合わないことに起因するピンボケと、撮像者の手のぶれに起因するぶれボケ（以下略し手ぶれという）が挙げられる。ピンボケの場合には、点像が２次元的に広がり、すなわち写真画像上における広がりが無方向性を呈することに対して、手ぶれの場合には、点像がある軌跡を描き画像上に１次元的に広がり、すなわち写真画像上における広がりがある方向性を呈する。
【０００４】
デジタル写真画像の分野において、従来、ボケ画像を修復するために、様々な方法が提案されている。写真画像の撮像時にぶれの方向やぶれ幅などの情報が分かれば、Ｗｉｅｎｅｒフィルタや逆フィルタなどの復元フィルタを写真画像に適用することにより修復ができることから、撮像時にぶれの方向やぶれ幅などの情報を取得することができる装置（例えば加速度センサー）を撮像装置に設け、撮像と共にぶれの方向やぶれ幅などの情報を取得し、取得された情報に基づいて修復を図る方法が広く知られている（例えば、特許文献１参照）。
【０００５】
一方、携帯電話の急激な普及に伴って、携帯電話機の機能が向上し、その中でも携帯電話付属のデジタルカメラ（以下略した携帯カメラという）の機能の向上が注目を浴びている。近年、携帯カメラの画素数が１００万の桁に上がり、携帯カメラが通常のデジタルカメラと同様な使い方がされている。友達同士で旅行に行く時の記念写真などは勿論、好きなタレント、スポーツ選手を携帯カメラで撮像する光景が日常的になっている。このような背景において、携帯カメラにより撮像して得た写真画像は、携帯電話機のモニタで鑑賞することにと留まらず、例えば、通常のデジタルカメラにより取得した写真画像と同じようにプリントすることも多くなっている。
【０００６】
他方、携帯カメラは、人間工学的に、本体（携帯電話機）が撮像専用に製造されていないため、撮像時のホールド性が悪いという問題がある。また、携帯カメラは、フラッシュがないため、通常のデジタルカメラよりシャッタースピードが遅い。このような理由から携帯カメラにより被写体を撮像するときに、通常のカメラより手ぶれが起きやすい。極端な手ぶれは、携帯電話機のモニタで確認することができるが、小さな手ぶれは、モニタで確認することができず、プリントして始めて画像のぶれに気付くことが多いため、携帯カメラにより撮像して得た写真画像に対して手ぶれの補正を施す必要性が高い。
【特許文献１】特開２００２−１１２０９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、携帯電話機の小型化は、その性能、コストに並び、各携帯電話機メーカの競争の焦点の１つであり、携帯電話機付属のカメラに、ぶれの方向やぶれ幅を取得する装置を設けることが現実的ではないため、特許文献１に提案されたような方法は、携帯カメラに適用することができないという問題がある。
【０００８】
本発明は、上記事情に鑑み、特別な装置を撮像装置に設けることを必要とせずに、デジタル写真画像における手ぶれの補正を行うことが可能な画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【０００９】
なお、特開平７−１２１７０３号公報に、ボケ画像（ボケがある画像）に対して劣化関数を設定し、設定された劣化関数に対応する復元フィルタでボケ画像を修復し、修復後の画像を評価し、評価の結果に基づいて劣化関数を再設定するようにして、所望の画質になるまで、修復、評価、劣化関数の再設定を繰り返すことによって修復を図る方法が開示されているが、この方法は、ボケ画像に対応する劣化関数を探索する方法であり、そのプロセスは本発明とは異なる。
【課題を解決するための手段】
【００１０】
本発明の第１の画像処理方法は、手ぶれを有するデジタル写真画像に対して、上記手ぶれを補正するための方向性補正処理を複数の異なる方向毎に施して、各当該方向にそれぞれ対応する複数の処理済画像を得る補正処理と、
当該複数の処理済画像の各々における手ぶれの程度を表す評価値を算出する評価値算出処理と、
上記複数の異なる方向の中から、算出された評価値のうち最も小さい手ぶれの程度を表す評価値が算出された処理済画像に対応する方向を選択する方向選択処理と、
上記複数の異なる方向のうち上記方向選択処理により選択された方向以外のいずれの方向よりも、上記選択された方向の成分を多く含む複数の異なる方向を、上記補正処理において方向性補正処理を施す新たな複数の異なる方向として設定する方向設定処理とを、所定の条件を満たすまで繰り返し、
上記方向選択処理により最後に選択された方向に対応する処理済画像を、上記手ぶれが補正されたデジタル写真画像として取得することを特徴とする方法である。
【００１１】
本発明の第２の画像処理方法は、手ぶれを有するデジタル写真画像における所定の部分画像に対して、上記手ぶれを補正するための方向性補正処理を複数の異なる方向毎に施して、各当該方向にそれぞれ対応する複数の処理済部分画像を得る補正処理と、
当該複数の処理済部分画像の各々における手ぶれの程度を表す評価値を算出する評価値算出処理と、
上記複数の異なる方向の中から、算出された評価値のうち最も小さい手ぶれの程度を表す評価値が算出された処理済部分画像に対応する方向を選択する方向選択処理と、
上記複数の異なる方向のうち上記方向選択処理により選択された方向以外のいずれの方向よりも、上記選択された方向の成分を多く含む複数の異なる方向を、上記補正処理において方向性補正処理を施す新たな複数の異なる方向として設定する方向設定処理とを、所定の条件を満たすまで繰り返し、
上記デジタル写真画像に対して、方向性補正処理を上記方向選択処理により最後に選択された方向に施して、上記手ぶれが補正されたデジタル写真画像を取得することを特徴とする方法である。
【００１２】
ここで、「複数の異なる方向」とは、デジタル写真画像（第２の画像処理方法においては、デジタル写真画像の部分画像）に対して、補正処理毎に施す方向性補正処理の方向を意味するものであり、この方向の数が多いほど、手ぶれ補正の精度の向上につながるが、その分処理時間が長くなるので、この方向の数は、手ぶれ補正の精度と処理時間との優先する割合により、決定するのがよい。
【００１３】
ここで、「方向性補正」とは、所定の方向にのみ作用する補正を意味する。「方向性補正処理」としては、従来公知の、画像の鮮鋭度を向上させるための補正の方法、例えば、ＵＳＭ（アン・シャープネス・マスキング）などを用いることができ、補正パラメータとして、所定の方向に作用する方向性補正マスクを設定するようにすればよい。
【００１４】
「評価値」としては、例えば、デジタル写真画像において検出される、複数の異なる方向毎のエッジのエッジ幅の大きさに基づいて算出されるスコアを考えることができる。エッジ幅は、手ぶれのない通常画像では比較的小さい値に集中し、一方、手ぶれの程度が大きい画像では比較的大きい値に分散する傾向がある。そこで、エッジ幅の大きさに応じてスコアが算出されるように、例えば、エッジ幅が小さいほど高いスコアが算出され、大きいほど低いスコアが算出されるようにして、検出されたエッジ幅毎にスコアを算出し、その平均スコアを評価値として用いることができる。
【００１５】
「所定の条件」は、上記のような処理の繰返しの回数が所定数に達すること、この繰返しの所要時間が所定時間に達すること、上記評価値が所定値に達することのうちいずれかとすることができる。
【００１６】
上記条件のうちいずれを採用するかは、本発明の画像処理方法を実施する上で、優先される事項に応じて決めることができ、例えば、処理時間の短縮を優先させたい場合には「所要時間に基づく条件」、補正の精度を優先させたい場合には「評価値に基づく条件」、処理時間の短縮と補正の精度の両方を優先させたい場合には「繰返しの回数に基づく条件」を用いるようにすればよい。もちろん、上記いずれかの条件を１つだけ用いるのではなく、各条件毎に閾値を設定し、いずれか１つの条件が満たされたときに、繰返し処理を終了するようにしてもよい。
【００１７】
「複数の異なる方向」は、ある方向に偏ると、デジタル写真画像における実際の手ぶれの方向とは大幅に異なる方向で方向性補正処理が施され、十分な補正がなされたデジタル写真画像を得ることができなくなる虞があるため、所定の角度おきに配されたものであることが好ましい。
【００１８】
この「複数の異なる方向」は、任意の方向であってもよいが、アルゴリズムを簡単化するため、予め決められた所定の複数の方向、例えば、図２に示すような、８方向の中から設定されるようにしてもよい。
【００１９】
本発明の第２の画像処理方法において、「所定の部分画像」としては、デジタル写真画像において予め決められた特定の領域の部分画像であってもよいし、領域指定処理をさらに設け、この処理により指定された領域の部分画像であってもよい。なお、一般的なデジタル写真画像の場合、被写体の主要部が画像の中央に存在する傾向があることから、上記特定の領域として、例えば、デジタル写真画像の中央部分とすることができる。
【００２０】
本発明の第１の画像処理装置は、手ぶれを有するデジタル写真画像に対して、上記手ぶれを補正するための方向性補正処理を複数の異なる方向毎に施して、各当該方向にそれぞれ対応する複数の処理済画像を得る補正手段と、
当該複数の処理済画像の各々における手ぶれの程度を表す評価値を算出する評価値算出手段と、
上記複数の異なる方向の中から、算出された評価値のうち最も小さい手ぶれの程度を表す評価値が算出された処理済画像に対応する方向を選択する方向選択手段と、
上記複数の異なる方向のうち上記方向選択手段により選択された方向以外のいずれの方向よりも、上記選択された方向の成分を多く含む複数の異なる方向を、上記補正手段において方向性補正処理を施す新たな複数の異なる方向として設定する方向設定手段と、
上記補正手段による方向性補正処理と、上記評価値算出手段による評価値の算出と、上記方向選択手段による方向の選択と、上記方向設定手段による方向の設定とを、所定の条件を満たすまで繰り返す反復手段と、
上記方向選択手段により最後に選択された方向に対応する処理済画像を、上記手ぶれが補正されたデジタル写真画像として取得する画像取得手段とを備えたことを特徴とするものである。
【００２１】
本発明の第２の画像処理装置は、手ぶれを有するデジタル写真画像における所定の部分画像に対して、上記手ぶれを補正するための方向性補正処理を複数の異なる方向毎に施して、各当該方向にそれぞれ対応する複数の処理済部分画像を得る補正手段と、
当該複数の処理済部分画像の各々における手ぶれの程度を表す評価値を算出する評価値算出手段と、
上記複数の異なる方向の中から、算出された評価値のうち最も小さい手ぶれの程度を表す評価値が算出された処理済部分画像に対応する方向を選択する方向選択手段と、
上記複数の異なる方向のうち上記方向選択手段により選択された方向以外のいずれの方向よりも、上記選択された方向の成分を多く含む複数の異なる方向を、上記補正手段において方向性補正処理を施す新たな複数の異なる方向として設定する方向設定手段と、
上記補正手段による方向性補正処理と、上記評価値算出手段による評価値の算出と、上記方向選択手段による方向の選択と、上記方向設定手段による方向の設定とを、所定の条件を満たすまで繰り返す反復手段と、
上記デジタル写真画像に対して、方向性補正処理を上記方向選択手段により最後に選択された方向に施して、上記手ぶれが補正されたデジタル写真画像を取得する第２の補正手段とを備えたことを特徴とするものである。
【００２２】
「所定の条件」は、上記のような処理の繰返しの回数が所定数に達すること、この繰返しの所要時間が所定時間に達すること、上記評価値が所定値に達することのうちいずれかとすることができる。
【００２３】
「複数の異なる方向」は、ある方向に偏ると、デジタル写真画像における実際の手ぶれの方向とは大幅に異なる方向で方向性補正処理が施され、十分な補正がなされたデジタル写真画像を得ることができなくなる虞があるため、所定の角度おきに配されたものであることが好ましい。
【００２４】
本発明の第１のプログラムは、コンピュータを、
手ぶれを有するデジタル写真画像に対して、上記手ぶれを補正するための方向性補正処理を複数の異なる方向毎に施して、各当該方向にそれぞれ対応する複数の処理済画像を得る補正手段と、
当該複数の処理済画像の各々における手ぶれの程度を表す評価値を算出する評価値算出手段と、
上記複数の異なる方向の中から、算出された評価値のうち最も小さい手ぶれの程度を表す評価値が算出された処理済画像に対応する方向を選択する方向選択手段と、
上記複数の異なる方向のうち上記方向選択手段により選択された方向以外のいずれの方向よりも、上記選択された方向の成分を多く含む複数の異なる方向を、上記補正手段において方向性補正処理を施す新たな複数の異なる方向として設定する方向設定手段と、
上記補正手段による方向性補正処理と、上記評価値算出手段による評価値の算出と、上記方向選択手段による方向の選択と、上記方向設定手段による方向の設定とを、所定の条件を満たすまで繰り返す反復手段と、
上記方向選択手段により最後に選択された方向に対応する処理済画像を、上記手ぶれが補正されたデジタル写真画像として取得する画像取得手段として機能させるためのプログラムである。
【００２５】
本発明の第２のプログラムは、コンピュータを、
手ぶれを有するデジタル写真画像における所定の部分画像に対して、上記手ぶれを補正するための方向性補正処理を複数の異なる方向毎に施して、各当該方向にそれぞれ対応する複数の処理済部分画像を得る補正手段と、
当該複数の処理済部分画像の各々における手ぶれの程度を表す評価値を算出する評価値算出手段と、
上記複数の異なる方向の中から、算出された評価値のうち最も小さい手ぶれの程度を表す評価値が算出された処理済部分画像に対応する方向を選択する方向選択手段と、
上記複数の異なる方向のうち上記方向選択手段により選択された方向以外のいずれの方向よりも、上記選択された方向の成分を多く含む複数の異なる方向を、上記補正手段において方向性補正処理を施す新たな複数の異なる方向として設定する方向設定手段と、
上記補正手段による方向性補正処理と、上記評価値算出手段による評価値の算出と、上記方向選択手段による方向の選択と、上記方向設定手段による方向の設定とを、所定の条件を満たすまで繰り返す反復手段と、
上記デジタル写真画像に対して、方向性補正処理を上記方向選択手段により最後に選択された方向に施して、上記手ぶれが補正されたデジタル写真画像を取得する第２の補正手段として機能させるためのプログラムである。
【発明の効果】
【００２６】
本発明の第１の画像処理方法および装置並びにそのためのプログラムによれば、手ぶれを有するデジタル写真画像に対して、複数の異なる方向に実際に方向性補正処理を施して、手ぶれの程度を評価し、手ぶれの程度が小さくなる方向に絞って方向性補正処理を施す新たな方向を再設定することを繰り返すことにより、手ぶれが補正されたデジタル写真画像を取得するようにしているので、手ぶれを補正するために、撮像時にぶれに関する情報を取得するための装置を設ける必要がない。そのため、撮像装置を大型化することがなく手ぶれの補正を行うことができ、特に小型化を必須条件とする携帯電話機付属のデジタルカメラの場合には、メリットが大きい。
【００２７】
本発明の第２の画像処理方法および装置並びにそのためのプログラムによれば、手ぶれを有するデジタル写真画像の全体ではなく部分画像に対して、方向性補正処理を施して、手ぶれの程度を評価し、手ぶれの程度が小さくなる方向に絞って方向性補正処理を施す新たな方向を再設定することを繰り返すことにより、手ぶれの方向を探索した後、デジタル写真画像の全体に対してその方向に方向性補正処理を施すようにしているので、手ぶれの方向を探索する間は、データ量の少ない部分画像を用いることで、処理量を少なくすることができ、手ぶれの補正に要する所要時間の短縮化を図ることができる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照して、本発明の実施形態について説明する。
【００２９】
図１は、本発明の第１の画像処理装置の一実施形態による構成を示すブロック図である。図示のように、本実施形態の画像処理装置は、手ぶれを有するデジタル写真画像Ｄに対して、手ぶれを補正するための方向性補正処理を、図２に示すような、所定の角度おきに配された８方向の中の所定の複数の異なる方向Ｒｉ（ｉ＝１，２，３，・・・８のうちいずれか複数）毎に施して、この各方向にそれぞれ対応する複数の処理済画像Ｄｉを得る補正手段１０と、複数の処理済画像Ｄｉの各々における手ぶれの程度を表す評価値Ｈｉを算出する評価値算出手段２０と、複数の異なる方向Ｒｉの中から、算出された評価値Ｈｉのうち最も小さい手ぶれの程度を表す評価値が算出された処理済画像に対応する方向Ｒｊ（ｊ＝ｉがとり得る値のうちいずれか１つ）を選択する方向選択手段３０と、複数の異なる方向Ｒｉのうち方向選択手段３０により選択された方向Ｒｊ以外のいずれの方向よりも、上記選択された方向の成分を多く含む複数の異なる方向を、補正手段１０において方向性補正処理を施す新たな複数の異なる方向Ｒｉとして、図２に示す８方向の中から設定する方向設定手段４０と、補正手段１０による方向性補正処理と、評価値算出手段２０による評価値の算出と、方向選択手段３０による方向の選択と、方向設定手段４０による方向の設定とを、所定の条件を満たすまで繰り返す反復手段５０と、方向選択手段３０により最後に選択された方向に対応する処理済画像を、上記手ぶれが補正されたデジタル写真画像Ｄ’として取得する画像取得手段６０とを備えている。
【００３０】
なお、本実施形態においては、繰返し処理を終了させる「所定の条件」を、繰返し処理の回数、より具体的には、方向選択手段３０による方向の選択の回数が３回に達したときとする。
【００３１】
次に、上記のように構成された画像処理装置の動作について説明する。
【００３２】
図３は、本画像処理装置の処理フローを示した図である。
【００３３】
補正手段１０は、デジタル写真画像Ｄに対して、所定の方向Ｒｉ毎に方向性補正処理を施して、その各方向に対応した処理済画像Ｄｉを得る（ステップＳ１１）。１回目の処理では、方向Ｒ１とＲ５の各方向毎に方向性補正処理を施し、処理済画像Ｄ１，Ｄ５を得る。
【００３４】
方向性補正処理には、画像の鮮鋭度を向上させるための補正の方法である、ＵＳＭ（アン・シャープネス・マスキング）を用い、補正パラメータとして、所定の方向（ここでは、方向Ｒ１とＲ５の方向）に作用する方向性補正マスクを設定する。
【００３５】
補正手段１０により処理済画像Ｄｉが得られると、評価値算出手段２０は、その処理済画像Ｄｉそれぞれにおける手ぶれの程度を表す評価値Ｈｉを算出する（ステップＳ１２）。１回目の処理では、処理済画像Ｄ１，Ｄ５それぞれにおける手ぶれの程度を表す評価値Ｈ１，Ｈ５を算出する。評価値としては、デジタル写真画像において検出されるエッジのエッジ幅の大きさに基づいて算出される指標値を用いる。
【００３６】
エッジ幅は、手ぶれのない通常画像では比較的小さい値に集中し、一方、手ぶれの程度が大きい画像では比較的大きい値に分散する傾向がある。よって、エッジ幅の大きさと手ぶれの程度とは相関があり、このエッジ幅の大きさに基づいて算出される指標値を、評価値として用いることができる。
【００３７】
評価値算出手段２０による評価値算出の具体的な処理としては、以下のようになる。
【００３８】
まず、処理済画像（ここでは、Ｄ１，Ｄ５）に対して、図８に示す８方向毎に、所定の強度以上のエッジを検出する。検出された各エッジに対して、そのエッジ幅の大きさに応じたスコアを付与する。例えば、閾値Ｗ１，Ｗ２をＷ１＜Ｗ２で設定し、エッジ幅がＷ１以下では１００点、Ｗ２以上では０点、Ｗ１からＷ２の間では、１００点から０点の間でエッジ幅が小さいほど高いスコアとなるようにスコアリングする。そして、検出された全エッジのスコアの平均値を、上記評価値とする。このようにすれば、評価値が高いほど、手ぶれの程度が小さいと判定することができる。
【００３９】
なお、閾値Ｗ１，Ｗ２は、例えば、手ぶれのない通常画像と手ぶれのある手ぶれ画像の複数のサンプルから、通常画像と手ぶれ画像におけるエッジ幅のヒストグラムの典型的なモデルを作成し、このモデルに基づいて決定するようにすればよい。
【００４０】
評価値算出手段２０により評価値Ｈｉが算出されると、方向選択手段３０は、これらの評価値Ｈｉを互いに比較して、手ぶれの程度が最も小さい評価値を検出し、その評価値が算出された処理済画像に対応する方向Ｒｊを、より手ぶれの方向に近い方向として選択する（ステップＳ１３）。ここでは、評価値Ｈ１，Ｈ５が算出されており、方向Ｒ５が選択されたことにする。
【００４１】
方向選択手段３０により方向Ｒｊが選択されると、反復手段５０は、その選択が所定回数、すなわち、３回目の選択であるか否かを判定し、３回目の場合は繰返し処理を終了させ、３回未満の場合は、繰返し処理を続行させる（ステップＳ１４）。ここでは、まだ１回目なので、繰返し処理を続行させる。
【００４２】
方向設定手段４０は、複数の異なる方向Ｒｉのうち方向選択手段３０により選択された方向Ｒｊ以外のいずれの方向よりも、上記選択された方向の成分を多く含む複数の異なる方向を、補正手段１０において方向性補正処理を施す新たな複数の異なる方向Ｒｉとして、図２に示す８方向の中から設定する（ステップＳ１５）。１回目の処理では、方向選択手段３０により選択された方向とその両側に一つ飛ばした２つの方向を含む３つの方向を新たな方向として設定する。ここでは、方向Ｒ５が選択されているので、方向Ｒ５の他に方向Ｒ３とＲ７を加えた３つの方向を設定する。
【００４３】
方向設定手段４０により複数の異なる方向Ｒｉが新たに設定されると、補正手段１０は、２回目の処理を行う（ステップＳ１１）。ここでは、方向Ｒ３，Ｒ５，Ｒ７の各方向毎に方向性補正処理を施し、処理済画像Ｄ３，Ｄ５，Ｄ７を得る。なお、方向Ｒ５に対応する処理済画像Ｄ５は、１回目の処理で既に得られているので、方向Ｒ５への方向性補正処理は省略する。
【００４４】
補正手段１０により処理済画像が得られると、評価値算出手段２０は、２回目の処理を行う（ステップＳ１２）。ここでは、処理済画像Ｄ３，Ｄ５，Ｄ７が得られているので、評価値Ｈ３，Ｈ５，Ｈ７を算出する。なお、評価値Ｈ５は、１回目の処理で算出済みなので、処理済画像Ｄ５に対する評価値の算出は省略する。
【００４５】
評価値算出手段２０により評価値が算出されると、方向選択手段３０は、２回目の処理を行う（ステップＳ１３）。ここでは、評価値Ｈ３，Ｈ５，Ｈ７が算出されており、方向Ｒ３が選択されたことにする。
【００４６】
このときの選択の回数は２回目であり、３回目に達していないので、反復手段５０は、繰返し処理を続行させる（ステップＳ１４）。
【００４７】
そして、方向設定手段４０は、２回目の処理を行うが（ステップＳ１５）、１回目と２回目で選択された方向が異なる場合は、２回目に選択された方向に加え、１回目に選択された方向と２回目に選択された方向との間の方向を含めた２つの方向を設定し、１回目と２回目で選択された方向が同じである場合は、選択された方向に加え、その方向の両隣の方向を含めた３つの方向を設定する。ここでは、１回目と２回目で選択された方向が異なるので、方向Ｒ３に加え、方向Ｒ４を含めた２つの方向を設定する。
【００４８】
方向設定手段４０により新たな方向が設定されると、補正手段１０は、３回目の処理を行う（ステップＳ１１）。ここでは、新たな方向として、方向Ｒ３，Ｒ４が設定されているので、処理済画像Ｄ３，Ｄ４を得る。なお、方向Ｒ３に対応する処理済画像Ｄ３は、２回目の処理で既に得られているので、方向Ｒ３への方向性補正処理は省略する。
【００４９】
補正手段１０により処理済画像が得られると、評価値算出手段２０は、３回目の処理を行う（ステップＳ１２）。ここでは、処理済画像Ｄ３，Ｄ４が得られているので、評価値Ｈ３，Ｈ４を算出する。なお、評価値Ｈ３は、２回目の処理で算出済みなので、処理済画像Ｄ３に対する評価値の算出は省略する。
【００５０】
評価値算出手段２０により評価値が算出されると、方向選択手段３０は、３回目の処理を行う（ステップＳ１３）。ここでは、評価値Ｈ３，Ｈ４が算出されており、方向Ｒ４が選択されたことにする。
【００５１】
ここで、方向選択手段３０による処理が３回目に達したので、反復手段５０は、それに応答して繰返し処理を終了させ（ステップＳ１４）、画像取得手段６０はそれを受けて、方向選択手段３０により最後に選択された方向Ｒ４に対応する処理済画像Ｄ４を、上記手ぶれが補正されたデジタル写真画像Ｄ’として取得する（ステップＳ１６）。
【００５２】
このように、本実施形態による画像処理装置によれば、手ぶれを有するデジタル写真画像に対して、複数の異なる方向に実際に方向性補正処理を施して、手ぶれの程度を評価し、手ぶれの程度が小さくなる方向に絞って方向性補正処理を施す新たな方向を再設定することを繰り返すことにより、手ぶれが補正されたデジタル写真画像を取得するようにしているので、手ぶれを補正するために、撮像時にぶれに関する情報を取得するための装置を設ける必要がない。そのため、撮像装置を大型化することがなく手ぶれの補正を行うことができ、特に小型化を必須条件とする携帯電話機付属のデジタルカメラの場合には、メリットが大きい。
【００５３】
図４は、本発明の第２の画像処理装置の一実施形態による構成を示すブロック図である。図示のように、本実施形態の画像処理装置は、手ぶれを有するデジタル写真画像Ｄの所定の部分画像ｄに対して、上記手ぶれを補正するための方向性補正処理を、図２に示すような、所定の角度おきに配された８方向の中の所定の複数の異なる方向Ｒｉ（ｉ＝１，２，３，・・・８のうちいずれか複数）毎に施して、この各方向にそれぞれ対応する複数の処理済部分画像ｄｉを得る補正手段１０と、複数の処理済部分画像ｄｉの各々における手ぶれの程度を表す評価値ｈｉを算出する評価値算出手段２０と、複数の異なる方向Ｒｉの中から、算出された評価値ｈｉのうち最も小さい手ぶれの程度を表す評価値が算出された処理済部分画像に対応する方向Ｒｊ（ｊ＝ｉのとり得る値のうちいずれか１つ）を選択する方向選択手段３０と、複数の異なる方向Ｒｉのうち方向選択手段３０により選択された方向Ｒｊ以外のいずれの方向よりも、上記選択された方向の成分を多く含む複数の異なる方向を、補正手段１０において方向性補正処理を施す新たな複数の異なる方向Ｒｉとして、図２に示す８方向の中から設定する方向設定手段４０と、補正手段１０による方向性補正処理と、評価値算出手段２０による評価値の算出と、方向選択手段３０による方向の選択と、方向設定手段４０による方向の設定とを、所定の条件を満たすまで繰り返す反復手段５０と、デジタル写真画像Ｄの全体に対して、方向選択手段３０により最後に選択された方向に方向性補正処理を施して、上記手ぶれが補正されたデジタル写真画像Ｄ’を取得する第２の補正手段７０とを備えている。
【００５４】
なお、本実施形態においては、方向性補正処理を施す「所定の部分画像」を、デジタル写真画像Ｄの中央の特定領域内の画像とする。
【００５５】
また、本実施形態における、補正手段１０、評価値算出手段２０、方向選択手段３０、方向設定手段４０、反復手段５０の動作は、処理する対象がデジタル写真画像Ｄではなく、デジタル写真画像Ｄの部分画像ｄである点を除いて、先の第１の画像処理装置の実施形態と同じである。
【００５６】
次に、本画像処理装置の動作について説明する。
【００５７】
図５は、本画像処理装置の処理フローを示した図である。
【００５８】
補正手段１０は、デジタル写真画像Ｄの部分画像ｄに対して、所定の方向Ｒｉ毎に方向性補正処理を施して、その各方向に対応した処理済部分画像ｄｉを得る（ステップＳ２１）。１回目の処理では、図２に示した方向Ｒ１とＲ５の各方向毎に方向性補正処理を施し、処理済部分画像ｄ１，ｄ５を得る。
【００５９】
方向性補正処理には、先の実施形態と同様に、ＵＳＭを用い、補正パラメータとして、所定の方向（ここでは、方向１と方向５の方向）に作用する方向性補正マスクを設定する。
【００６０】
補正手段１０により処理済画像ｄｉが得られると、評価値算出手段２０は、その処理済部分画像ｄｉそれぞれにおける手ぶれの程度を表す評価値ｈｉを算出する（ステップＳ２２）。１回目の処理では、処理済部分画像ｄ１，ｄ５それぞれにおける手ぶれの程度を表す評価値ｈ１，ｈ５を算出する。評価値としては、先の実施形態と同様に、デジタル写真画像において検出されるエッジのエッジ幅の大きさに基づいて算出される指標値を用いる。
【００６１】
評価値算出手段２０により評価値ｈｉが算出されると、方向選択手段３０は、これらの評価値ｈｉを互いに比較して、手ぶれの程度が最も小さい評価値を検出し、その評価値が算出された処理済部分画像に対応する方向Ｒｊを、より手ぶれの方向に近い方向として選択する（ステップＳ２３）。ここでは、評価値ｈ１，ｈ５が算出されており、方向Ｒ５が選択されたことにする。
【００６２】
方向選択手段３０により方向Ｒｊが選択されると、反復手段５０は、その選択が所定回数、すなわち、３回目の選択であるか否かを判定し、３回目の場合は繰返し処理を終了させ、３回未満の場合は、繰返し処理を続行させる（ステップＳ２４）。ここでは、まだ１回目なので、繰返し処理を続行させる。
【００６３】
方向設定手段４０は、複数の異なる方向Ｒｉのうち方向選択手段３０により選択された方向Ｒｊ以外のいずれの方向よりも、上記選択された方向の成分を多く含む複数の異なる方向を、補正手段１０において方向性補正処理を施す新たな複数の異なる方向Ｒｉとして、図２に示す８方向の中から設定する（ステップＳ２５）。１回目の処理では、方向選択手段３０により選択された方向とその両側に一つ飛ばした２つの方向を含む３つの方向を新たな方向として設定する。ここでは、方向Ｒ５が選択されているので、方向Ｒ５の他に方向Ｒ３とＲ７を加えた３つの方向を設定する。
【００６４】
方向設定手段４０により複数の異なる方向Ｒｉが新たに設定されると、補正手段１０は、２回目の処理を行う（ステップＳ２１）。ここでは、方向Ｒ３、Ｒ５、Ｒ７の各方向毎に方向性補正処理を施し、処理済部分画像ｄ３，ｄ５，ｄ７を得る。なお、方向Ｒ５に対応する処理済部分画像ｄ５は、１回目の処理で既に得られているので、方向Ｒ５への方向性補正処理は省略する。
【００６５】
補正手段１０により処理済部分画像が得られると、評価値算出手段２０は、２回目の処理を行う（ステップＳ２２）。ここでは、処理済部分画像ｄ３，ｄ５，ｄ７が得られているので、評価値ｈ３，ｈ５，ｈ７を算出する。なお、評価値ｈ５は、１回目の処理で算出済みなので、処理済部分画像ｄ５に対する評価値の算出は省略する。
【００６６】
評価値算出手段２０により評価値が算出されると、方向選択手段３０は、２回目の処理を行う（ステップＳ２３）。ここでは、評価値ｈ３，ｈ５，ｈ７が算出されており、方向Ｒ３が選択されたことにする。
【００６７】
このときの選択の回数は２回目であり、３回目に達していないので、反復手段５０は、繰返し処理を続行させる（ステップＳ２４）。
【００６８】
そして、方向設定手段４０は、２回目の処理を行うが（ステップＳ２５）、１回目と２回目で選択された方向が異なる場合は、２回目に選択された方向に加え、１回目に選択された方向と２回目に選択された方向との間の方向を含めた２つの方向を設定し、１回目と２回目で選択された方向が同じである場合は、選択された方向に加え、その方向の両隣の方向を加えた３つの方向を設定する。ここでは、１回目と２回目で選択された方向が異なるので、方向Ｒ３に加え、方向Ｒ４を含めた２つの方向を設定する。
【００６９】
方向設定手段４０により新たな方向が設定されると、補正手段１０は、３回目の処理を行う（ステップＳ２１）。ここでは、新たな方向として、方向Ｒ３，Ｒ４が設定されているので、処理済部分画像ｄ３，ｄ４を得る。なお、方向Ｒ３に対応する処理済部分画像ｄ３は、２回目の処理で既に得られているので、方向Ｒ３への方向性補正処理は省略する。
【００７０】
補正手段１０により処理済部分画像が得られると、評価値算出手段２０は、３回目の処理を行う（ステップＳ２２）。ここでは、処理済部分画像ｄ３，ｄ４が得られているので、評価値ｈ３，ｈ４を算出する。なお、評価値ｈ３は、２回目の処理で算出済みなので、処理済部分画像ｄ３に対する評価値の算出は省略する。
【００７１】
評価値算出手段２０により評価値が算出されると、方向選択手段３０は、３回目の処理を行う（ステップＳ２３）。ここでは、評価値ｈ３，ｈ４が算出されており、方向Ｒ４が選択されたことにする。
【００７２】
ここで、方向選択手段３０による処理が３回目に達したので、反復手段５０は、それに応答して繰返し処理を終了させ（ステップＳ１４）、第２の補正手段７０はそれを受けて、デジタル写真画像Ｄの全体に対して、方向選択手段３０により最後に選択された方向Ｒ４に方向性補正処理を施して、手ぶれが補正されたデジタル写真画像Ｄ’を取得する（ステップＳ２６）。
【００７３】
このように、本実施形態による画像処理装置によれば、手ぶれを有するデジタル写真画像の全体ではなく部分画像に対して、方向性補正処理を施して、手ぶれの程度を評価し、手ぶれの程度が小さくなる方向に絞って方向性補正処理を施す新たな方向を再設定することを繰り返すことにより、手ぶれの方向を探索した後、デジタル写真画像の全体に対してその方向に方向性補正処理を施すようにしているので、手ぶれの方向を探索する間は、データ量の少ない部分画像を用いることで、処理量を少なくすることができ、手ぶれの補正に要する所要時間の短縮化を図ることができる。
【００７４】
なお、上記２つの実施形態においては、方向性補正処理を施す方向を、図２に示すような、所定の角度おきに配された８方向としているので、実際の手ぶれの方向と方向性補正処理の方向とが大幅にずれることがない。また、このような８方向に限定せず、精度が必要であれば、さらに細分化した１６方向（角度１１．２５°おきに設定される方向）にしてもよい。
【００７５】
また、上記２つの実施形態においては、補正手段１０により方向性補正処理を施す方向は、１回目の処理では、方向Ｒ１，Ｒ５とし、２回目の処理では、方向選択手段３０により選択された方向とその両側に一つ飛ばした２つの方向を含む３つの方向を新たな方向として設定しているが、もちろん、このような決め方に限定されるものではなく、例えば、１回目の処理では、方向Ｒ２，Ｒ５，Ｒ８とし、次に、方向選択手段３０により選択された方向とその両隣の方向を含む３つの方向を新たな方向として設定するようにしてもよい。
【００７６】
また、上記実施例では、１次元ＵＳＭのような対称フィルタを用いたが、非対称フィルタを用いてもよく、この場合は、図２に示す８方向と反対の方向も考慮し、図６に示すような１６方向（角度２２．５°おきに設定される方向）で、同様の処理を行えばよい。
【００７７】
また、上記２つの実施形態においては、補正手段１０による各方向毎の方向性補正処理の後、評価値算出手段２０による評価値の算出を行っているが、このような手順に拘らず、各方向毎に、方向性補正処理と評価値の算出を同時に行うようにしてもよい。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１の画像処理装置の一実施形態による構成を示すブロック図
【図２】方向性補正処理を施す際に用いられる方向を示す図
【図３】第１の画像処理装置の実施形態における処理フローを示す図
【図４】本発明の第２の画像処理装置の一実施形態による構成を示すブロック図
【図５】第２の画像処理装置の実施形態における処理フローを示す図
【図６】非対称フィルタによる方向性補正処理を施す際に用いられる方向を示す図
【符号の説明】
【００７９】
１０    補正手段
２０    評価値算出手段
３０    方向選択手段
４０    方向設定手段
５０    反復手段
６０    画像取得手段
７０    第２の補正手段
Ｄ    デジタル写真画像
Ｄｉ    処理済画像
Ｄ’    手ぶれ補正されたデジタル写真画像
ｄ    デジタル写真画像の部分画像
ｄｉ    処理済部分画像
Ｈｉ    処理済画像における手ぶれの程度を表す評価値
ｈｉ    処理済部分画像における手ぶれの程度を表す評価値
Ｒｉ    方向性補正処理を施す方向
Ｒｊ    方向選択手段により選択された方向
【図１】
2005100144.tif 000003
【図２】
2005100144.tif 000004
【図３】
2005100144.tif 000005
【図４】
2005100144.tif 000006
【図５】
2005100144.tif 000007
【図６】
2005100144.tif 000008