(57)【要約】【課題】短い処理時間でぶれが十分に低減された補正画像を得る。【解決手段】画像処理装置１０４は、撮像装置により取得された原画像が入力され、原画像よりもぶれ成分が低減された補正画像を算出する画像算出処理を該ぶれ成分がより少なくなるように繰り返す処理手段と、該撮像装置又は他の撮像装置に生じたぶれを計測することで得られたぶれに関する情報を記憶する記憶手段１０５とを有する。処理手段は、記憶手段に記憶されたぶれに関する情報に基づいて画像算出処理を行う。【選択図】図１
2009182576.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により取得された原画像が入力され、前記原画像よりもぶれ成分が低減された補正画像を算出する画像算出処理を該ぶれ成分がより少なくなるように繰り返す処理手段と、
前記撮像装置または他の撮像装置に生じたぶれを計測することで得られたぶれに関する情報を記憶する記憶手段とを有し、
前記処理手段は、前記記憶手段に記憶された前記ぶれに関する情報に基づいて前記画像算出処理を行うことを特徴とする画像処理装置。
【請求項２】
前記原画像のうち一部の領域を指定する領域指定手段を有し、
前記処理手段は、前記領域指定手段により指定された領域に対して前記画像算出処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記処理手段は、前記画像算出処理において、前記原画像と前記ぶれに関する情報に基づいて決定した畳み込みフィルタとを用いた逆畳み込み演算を行うことにより前記補正画像を算出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記処理手段は、
前記畳み込みフィルタを前記ぶれに関する情報に基づいて決定した第１のフィルタに固定して前記画像算出処理を前記ぶれ成分がより少なくなるように繰り返す第１の処理と、
前記補正画像を前記第１の処理で算出された第１の補正画像に固定して、前記ぶれ成分がより少なくなるように前記畳み込みフィルタの算出を繰り返す第２の処理と、
前記畳み込みフィルタを前記第２の処理で算出された第２のフィルタに固定して前記画像算出処理を前記ぶれ成分がより少なくなるように繰り返す第３の処理とを行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記撮像装置に生じたぶれの計測は、表示手段に順次表示される互いに異なるパターンを有する複数の計測用画像を前記撮像装置の１回の静止画撮像処理により撮像することで行われ、
前記ぶれに関する情報は、前記複数の計測用画像と前記静止画撮像処理により取得された画像とに基づいて生成されることを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
【請求項６】
前記撮像装置に生じたぶれの計測を複数回行い、該計測ごとに生成された前記ぶれに関する情報の代表値を前記画像算出処理に用いることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
被写体像を撮像して原画像を生成する撮像系と、
該原画像が入力される請求項１から６のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項８】
撮像装置により取得された原画像が入力される請求項１から４のいずれか１つに記載の画像処理装置と、
該画像処理装置から出力された画像を印刷する印刷手段とを有することを特徴とする印刷装置。
【請求項９】
撮像装置により取得された原画像が入力されるステップと、
前記原画像よりもぶれ成分が低減された補正画像を算出する画像算出処理を該ぶれ成分がより少なくなるように繰り返す処理ステップと、
前記撮像装置または他の撮像装置に生じたぶれを計測し、該計測により得られたぶれに関する情報を記憶手段に記憶させる計測ステップとを有し、
前記処理ステップにおいて、前記記憶手段に記憶された前記ぶれに関する情報に基づいて前記画像算出処理を行うことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置の振動に起因したぶれ成分を含む画像（静止画像又は動画像を構成するフレーム画像）から、該ぶれ成分が低減された静止画像を生成する画像処理技術に関する。
【背景技術】
【０００２】
静止画像又は動画像を構成するフレーム画像の露光時間内に手ぶれ等による撮像装置の振動が生じると、互いにずれた被写体像が多重露光された撮影画像（以下、ぶれ画像という）が生成される。
【０００３】
このようなぶれ画像から、ぶれ成分が低減された補正画像を生成する方法として、逆フィルタ、ウィナーインバースフィルタ（Wiener inverse filter）を用いた方法や、Lucy-Richardson法がある。さらに、Lucy-Richardson法を改良した方法として、「MATLAB」（登録商標）を用いたぶれ除去関数である「deconvblind」（MathWorks社製）を使用する方法も知られている。
【０００４】
逆フィルタを用いる方法は、ぶれ成分を含まない非ぶれ画像をｆとし、劣化過程（ぶれに関する情報）をｈとし、ぶれ成分を含む画像をｇとして、
【０００５】
【数１】
2009182576.tif 000003
【０００６】
を仮定し、補正画像
2009182576.tif 000004
【０００７】
を、
【０００８】
【数２】
2009182576.tif 000005
【０００９】
により算出する方法である。
【００１０】
ウィナーインバースフィルタを用いる方法は、
【００１１】
【数３】
2009182576.tif 000006
【００１２】
により補正画像を算出する方法である。
【００１３】
また、Lucy-Richardson法は、劣化過程ｈを固定し、
2009182576.tif 000007
【００１４】
の尤度が最大になる補正画像
2009182576.tif 000008
【００１５】
を反復演算して探索する方法である。具体的には、補正の良さ（ぶれ成分の残量）を示す指標ｅを、
【００１６】
【数４】
2009182576.tif 000009
【００１７】
で表す。指標ｅは、ぶれ成分を含む補正前画像ｇと、補正画像
2009182576.tif 000010
【００１８】
に劣化過程ｈを畳み込むことで得られる画像
2009182576.tif 000011
【００１９】
との差（残差）を二乗した値に相当する。そして、Jacobi法、最急降下法、共役勾配法又は勾配投影法を用いて反復演算の演算ごとに
2009182576.tif 000012
【００２０】
を算出し、指標（残差）ｅが所定値以下になった時点での
2009182576.tif 000013
【００２１】
を最終的な補正画像とする。
【００２２】
図１０には、
2009182576.tif 000014
【００２３】
の関数である指標
2009182576.tif 000015
【００２４】
が、反復演算回数ｉが増すに従って減少する概念を示している。縦軸は指標
2009182576.tif 000016
【００２５】
、横軸は反復演算回数ｉである。
【００２６】
2009182576.tif 000017
【００２７】
を残差
2009182576.tif 000018
【００２８】
が減少する方向に変化させ、
2009182576.tif 000019
【００２９】
が所定値以下になった時点での
2009182576.tif 000020
【００３０】
を補正画像とする。
【００３１】
図１１には、Jacobi法による反復演算のフローチャートを示す。Ｓ１３１０では、（３）式において、補正前の画像（例えば、撮影画像）ｇを
2009182576.tif 000021
【００３２】
とし、劣化過程ｈを固定する（例えば、ｈの要素の全てを１にして）。そして、画像ｇからｉ番目の補正画像
2009182576.tif 000022
【００３３】
に劣化過程ｈを畳み込むことで得られる画像を差し引いたときの残差
2009182576.tif 000023
【００３４】
を算出する。ｉ＝０，１，２，３…である。
【００３５】
Ｓ１３２０では、Ｓ１３１０で算出した残差
2009182576.tif 000024
【００３６】
が所定値以下か否かを判別し、該残差
2009182576.tif 000025
【００３７】
が所定値以下であればＳ１３４０に進んで補正処理を終了する。
【００３８】
一方、残差
2009182576.tif 000026
【００３９】
が所定値より大きければ、Ｓ１３３０に進んで補正処理を継続する。
【００４０】
Ｓ１３３０では、
2009182576.tif 000027
【００４１】
をｉ番目の補正画像
2009182576.tif 000028
【００４２】
に加算して（ｉ＋１）番目の補正画像
2009182576.tif 000029
【００４３】
を算出する。
【００４４】
Ｓ１３４０では、残差
2009182576.tif 000030
【００４５】
が所定値以下になった時点での補正画像
2009182576.tif 000031
【００４６】
を、最終的な補正画像として出力する。
【００４７】
なお、Lucy-Richardson法の詳細は、非特許文献１にて説明されている。また、Jacobi法、最急降下法、共役勾配法、及び勾配投影法の詳細は、非特許文献２にて説明されている。
【００４８】
また、関数「deconvblind」は、劣化過程ｈを変化させながら、
2009182576.tif 000032
【００４９】
の尤度が最大になる補正画像
2009182576.tif 000033
【００５０】
を反復演算により探索する方法である。関数「deconvblind」は、ブラインドデコンボリューションアルゴリズムを用いて画像ぶれの除去を行う関数である。ブラインドデコンボリューションアルゴリズムは、仮定されたポアソン雑音を含む画像に点像分布関数（ＰＳＦ）を畳み込んだ結果得られる画像の尤度を最大にするように繰り返し演算を行うアルゴリズムである。
【００５１】
また、特許文献１には、撮影者（大人、子供、男性、女性）の手ぶれの様態を予めぶれに関する情報として保有しておき、該ぶれに関する情報を用いて画像のぶれ補正を行う撮像装置が開示されている。ただし、この撮像装置では、ぶれ補正演算の反復は行わない。
【００５２】
なお、非特許文献３には、撮像装置に生じるぶれの傾向を計測するための具体的な方法が開示されている。ただし、非特許文献３には、計測したぶれの傾向を用いて画像の補正を行うことについては言及されていない。
【００５３】
【特許文献１】特開２００６−２３８０９８号公報
【非特許文献１】B.Lucy:” An interactive method for  the rectification of observed distributions” ,Astron.J 79,pp. 745〜754(1974)
【非特許文献２】「科学計測のためのデータ処理入門  第６章  ６．８  反復解法と２乗誤差和マップについて  ｐ１３４〜ｐ１３７」（ＣＱ出版社  南茂夫  監修、池田聡  編著）
【非特許文献３】「手ぶれ量の３Ｄ計測と定量化」（電子情報通信学会技術研究報告  パターン認識・メディア理解  ２００７年１月１９日  ｐ４９〜ｐ５４）
【発明の開示】
【発明が解決しようとする課題】
【００５４】
上記逆フィルタやウィナーインバースフィルタを用いる場合には、劣化過程ｈが既知である必要がある。すなわち、劣化過程ｈが撮影画像の実際の劣化過程ｈと異なると、期待した補正画像を算出することはできない。
【００５５】
また、Lucy-Richardson法は、撮影画像のｈが不明であるため、通常はｈの要素の全てを１として反復演算を行う。そして、Jacobi法、最急降下法、共役勾配法、勾配投影法を用いて反復演算を行うため、逆フィルタやウィナーインバースフィルタを用いる場合よりも期待した補正画像に近い画像を得ることができる。しかし、劣化過程ｈが撮影画像のｈと異なるため、図１３に示すように、反復演算回数ｉの増加によって残差が極値に陥りやすく、この結果、満足できる補正画像を得ることが困難となる。しかも、反復演算回数ｉが増加することで、処理時間が増大する。
【００５６】
また、関数「deconvblind」も、Lucy-Richardson法と同様に、劣化過程ｈの初期値として、通常はｈの要素の全てを１として反復演算を行う。したがって、Lucy-Richardson法と同様の問題がある。
【００５７】
以上のように、劣化過程ｈが不明である場合には、良好な補正画像を得ることが困難であったり、処理時間が増大したりするという問題が生じる。
【００５８】
本発明は、短い処理時間でぶれが十分に低減された補正画像が得られる画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【００５９】
本発明の一側面としての画像処理装置は、撮像装置により取得された原画像が入力され、原画像よりもぶれ成分が低減された補正画像を算出する画像算出処理を該ぶれ成分がより少なくなるように繰り返す処理手段と、該撮像装置又は他の撮像装置に生じたぶれを計測することで得られたぶれに関する情報を記憶する記憶手段とを有する。そして、処理手段は、記憶手段に記憶されたぶれに関する情報に基づいて画像算出処理を行うことを特徴とする。
【００６０】
なお、上記画像処理装置を備えた撮像装置及び印刷装置も本発明の他の側面を構成する。
【００６１】
さらに、本発明の他の一側面としての画像処理方法は、撮像装置により取得された原画像が入力されるステップと、原画像よりもぶれ成分が低減された補正画像を算出する画像算出処理を該ぶれ成分がより少なくなるように繰り返す処理ステップと、該撮像装置又は他の撮像装置に生じたぶれを計測し、該計測により得られたぶれに関する情報を記憶手段に記憶させる計測ステップとを有する。そして、処理ステップにおいて、記憶手段に記憶されたぶれに関する情報に基づいて画像算出処理を行うことを特徴とする。
【発明の効果】
【００６２】
本発明によれば、撮影装置のぶれに起因するぶれ成分を含む原画像を入力することで、該原画像よりもぶれ成分が良好に低減された補正画像を短時間で得ることができる。
【発明を実施するための最良の形態】
【００６３】
以下、本発明の好ましい実施例について図面を参照しながら説明する。
【実施例１】
【００６４】
図１には、本発明の実施例１である画像処理方法の流れを示している。
【００６５】
本実施例の画像処理方法は、デジタルスチルカメラやビデオカメラに搭載されたコンピュータプログラムに従って実行される。本実施例によれば、デジタルスチルカメラで取得された静止画像やビデオカメラで取得された動画像のうち１フレーム画像のぶれを低減し、鮮明な静止画像を得ることができる。これらのことは、後述する他の実施例の画像処理方法についても同じである。
【００６６】
図１のＳ（ステップ）１１０では、記憶手段としてのメモリＭに予め記憶されているぶれの傾向を示す情報（ぶれに関する情報）に基づいて、劣化過程ｈを設定する。ぶれの傾向を示す情報の生成方法については後述する。
【００６７】
次にＳ１２０では、不図示の撮像装置により取得された原画像（以下、撮影画像という）ｇとＳ１１０で設定した劣化過程ｈとを用いた逆畳み込み演算（デコンボリュージョン）を行って補正画像を算出する画像算出処理を繰り返し行う。本実施例での逆畳み込み演算は、ブラインドデコンボリュージョンとも呼ばれる。補正画像は、撮影画像よりもぶれ成分が低減された画像である。画像算出処理の具体的な流れを図２に示す。
【００６８】
図２において、Ｓ２１０では、先に説明した（３）式において、撮影画像ｇから、ｉ番目の補正画像（ｉ＝０，１，２，３…）に劣化過程ｈを畳み込んだ画像を差し引いたときの残差
2009182576.tif 000034
【００６９】
を算出する。
【００７０】
ｉ番目の補正画像とは、繰り返される画像算出処理のうちｉ回目の画像算出処理によって算出される補正画像を示す。また、残差
2009182576.tif 000035
【００７１】
は、ｉ番目の補正画像に含まれる（残っている）ぶれ成分に相当する。画像算出処理を繰り返すことで、残差
2009182576.tif 000036
【００７２】
がより小さく（少なく）なる。
【００７３】
なお、最初の画像算出処理では、撮影画像ｇを初期の補正画像
2009182576.tif 000037
【００７４】
とする。また、劣化過程ｈは、繰り返し行われる画像算出処理において固定されている。
【００７５】
Ｓ２２０では、Ｓ２１０で算出した残差
2009182576.tif 000038
【００７６】
が所定値以下か否かを判定する。残差
2009182576.tif 000039
【００７７】
が所定値以下であればＳ２４０に進み、残差
2009182576.tif 000040
【００７８】
が所定値より大きければＳ２３０に進む。
【００７９】
Ｓ２３０では、補正画像
2009182576.tif 000041
【００８０】
に残差
2009182576.tif 000042
【００８１】
である
2009182576.tif 000043
【００８２】
を加算することにより（ｉ＋１）番目の補正画像
2009182576.tif 000044
【００８３】
を算出する。最初の画像算出処理では、初期の補正画像
2009182576.tif 000045
【００８４】
に残差
2009182576.tif 000046
【００８５】
を加算することで２番目の補正画像が算出される。そして、Ｓ２１０に戻る。こうして、Ｓ２２０にて残差
2009182576.tif 000047
【００８６】
が所定値以下と判定されるまで、Ｓ２１０〜Ｓ２３０の処理が繰り返される。
【００８７】
一方、Ｓ２４０では、残差
2009182576.tif 000048
【００８８】
が所定値以下になった時点での補正画像
2009182576.tif 000049
【００８９】
を最終的な補正画像として出力する。  
【００９０】
なお、Ｓ２１０〜Ｓ２４０では、Jacobi法による繰り返し演算を行っているが、最急行下法、共役勾配法又は勾配投影法を用いてもよい。
【００９１】
図３には、繰り返される画像算出処理の回数（以下、反復演算回数という）ｉが増すにしたがって残差
2009182576.tif 000050
【００９２】
が減少する様子と、残差
2009182576.tif 000051
【００９３】
が所定値以下になった時点での補正画像
2009182576.tif 000052
【００９４】
とを概念的に示している。図３において、縦軸は残差
2009182576.tif 000053
【００９５】
を示し、横軸に反復演算回数ｉを示す。
【００９６】
撮像装置に生じたぶれ及び該ぶれの傾向を示す情報（以下、単にぶれの傾向ともいう）は、以下に手順１〜６で示す流れにしたがって計測及び生成される。
【００９７】
手順１：モニタ（表示手段）に、所定の時間間隔で複数の計測用画像を順次表示する。複数の計測用画像は、互いに異なるパターンを有する画像である。
【００９８】
手順２：手順１でモニタに表示される複数の計測用画像を、モニタから所定距離離れた位置でユーザが手持ちした撮像装置の１回の静止画撮像処理（上記所定の時間間隔よりも長いシャッター秒時）により撮像する。ここで使用する撮像装置は、前述した原画像を取得するために用いる撮像装置と同じものである。ただし、原画像を取得するために用いる撮像装置と異なる撮像装置（又は他の撮像装置）を用いて計測用画像を撮像してもよい。
【００９９】
手順３：手順１でモニタに表示された複数の計測用画像と、手順２で１回の静止画撮像処理により取得した撮影画像とを比較して、該撮影画像内での各計測用画像（パターン）のＰａｎ角度、Ｔｉｌｔ角度、Ｒｏｌｌ角度を算出する。さらに、該撮影画像内での各計測用画像における各パターンの強度を示す指標（以下、各計測用画像の強度という）を算出する
手順４：手順３で算出した各計測用画像のＰａｎ角度、Ｔｉｌｔ角度及びＲｏｌｌ角度  から、各角度の時系列順の変化量（以下、各角度の変化量の時系列データという）を算出する。
【０１００】
手順５：手順３で算出した各計測用画像の強度を時系列に並べ、２番目以降の計測用画像の強度（以下、強度の時系列データという）を求める。
【０１０１】
手順６：手順４で算出した各角度の変化量の時系列データと、手順５で求めた強度の時系列データとを時系列順に対応付けをする。このように時系列順に対応付けがなされた各角度の変化量の時系列データと強度の時系列データを、２次元座標の軌跡に変換することで、ユーザが撮像装置で撮像を行うときのぶれの傾向（言い換えれば、ユーザの手ぶれに関するくせ）を示す情報となる。そして、ぶれの傾向を、図１に示したメモリＭに記憶させる。
【０１０２】
なお、手順１〜６は、撮像装置による原画像の撮像前及び撮像後のいずれで行ってもよい。
【０１０３】
ここで、図１２には、手順１における撮像装置に生じたぶれの計測方法の具体例を示している。この計測方法は、先に示した非特許文献３に記載されている。
【０１０４】
ユーザは、モニタから所定距離Ｌ（例えば３１０ｃｍ）離れた位置でカメラを持ち、モニタに所定時間間隔（１／Ｍ秒：例えば１／６０秒）で表示される複数（Ｍ）のパターン画像（計測用画像）を、シャッター速度（１／Ｓ秒：例えば１／１０秒）で撮像する。ここで、１／Ｍ秒＜１／Ｓ秒である。これにより、カメラによる撮影画像（例えば７００ｘ７００画素の１枚の静止画像）に複数のパターン画像が写る。複数のパターン画像は、互いに重なりのないパターンを有する画像であり、例えば３０ｘ３０ｃｍのサイズを有する。
【０１０５】
そして、該撮影画像と各パターン画像とのマッチングを行い、各時点でのＰａｎ角度、Ｔｉｌｔ角度、Ｒｏｌｌ角度を算出して、各角度の変化量の時系列データを求める。また、各時点でのマッチング度を各計測用画像の強度として、強度の時系列データを求める。さらに、これらデータからぶれの傾向を示す情報を生成する。
【０１０６】
前述した手順１〜６の計測を複数回行い、ぶれによるＰａｎ角度、Ｔｉｌｔ角度、Ｒｏｏｌ角度及び強度の変化量の代表値（中心値又は平均値）を算出し、その代表値を２次元座標の軌跡に変換した結果をぶれの傾向としてメモリＭに記憶させてもよい。
【０１０７】
以上の処理により、撮影装置のぶれに起因するぶれ成分を含む原画像ｇよりもぶれ成分が良好に低減された補正画像
2009182576.tif 000054
【０１０８】
を短時間で得ることができる。
【０１０９】
なお、本実施例にて説明したぶれの計測方法及びぶれの傾向を示す情報の生成方法は一例であり、他の計測方法や生成方法を採用することもできる。例えば、撮像装置に搭載されたぶれセンサ（角速度センサや加速度センサ等）を用いて撮像装置に生じたぶれを計測し、該計測結果に基づいてぶれの傾向を示す情報を生成してもよい。
【実施例２】
【０１１０】
本発明の実施例２である画像処理方法について説明する。
【０１１１】
本実施例の画像処理方法は、実施例１のＳ１１０〜Ｓ１２０（図１参照）と基本的に同じ流れの処理である。ただし、Ｓ１２０のうち図２に示したＳ２１０での処理が実施例１と異なる。すなわち、本実施例では、Ｓ２１０において、（３）式における初期の補正画像
2009182576.tif 000055
【０１１２】
を、逆フィルタである、
【０１１３】
【数５】
2009182576.tif 000056
【０１１４】
を用いて算出した画像とする。劣化過程ｈはぶれの傾向であり、ｇは撮影画像（原画像）である。
【０１１５】
本実施例でも、実施例１と同様に、撮影装置のぶれに起因するぶれ成分を含む原画像ｇよりもぶれ成分が良好に低減された補正画像
2009182576.tif 000057
【０１１６】
を短時間で得ることができる。このことは、後述する他の実施例でも同じである。
【実施例３】
【０１１７】
本発明の実施例３である画像処理方法について説明する。
【０１１８】
本実施例の画像処理方法は、実施例１のＳ１１０〜Ｓ１２０（図１参照）と基本的に同じ流れの処理である。ただし、Ｓ１２０のうち図２に示したＳ２１０での処理が実施例１と異なる。すなわち、本実施例では、Ｓ２１０において、（３）式における初期の補正画像
2009182576.tif 000058
【０１１９】
を、ウィナーインバースフィルタである、
【０１２０】
【数６】
2009182576.tif 000059
【０１２１】
を用いて算出した画像とする。劣化過程ｈはぶれの傾向、ｇは撮影画像（原画像）である。
【実施例４】
【０１２２】
本発明の実施例４である画像処理方法について説明する。
【０１２３】
本実施例の画像処理方法は、実施例１のＳ１１０〜Ｓ１２０（図１参照）と基本的に同じ流れの処理である。ただし、Ｓ１２０のうち図２に示したＳ２１０での処理が実施例１と異なる。すなわち、本実施例では、Ｓ２１０において、（３）式における初期の補正画像
2009182576.tif 000060
【０１２４】
を、適当なパターン画像、例えば白一色の平坦画像とする。
【実施例５】
【０１２５】
本発明の実施例５である画像処理方法について説明する。
【０１２６】
本実施例の画像処理方法は、実施例１のＳ１１０〜Ｓ１２０（図１参照）と基本的に同じ流れの処理である。ただし、Ｓ１２０のうち図２に示したＳ２２０及びＳ２３０に相当する処理が実施例１と異なる。
【０１２７】
実施例１では、Ｓ２２０において残差
2009182576.tif 000061
【０１２８】
が所定値以下になった時点での補正画像
2009182576.tif 000062
【０１２９】
を出力する補正画像とする（Ｓ２３０）場合について説明した。これに対し、本実施例は、残差
2009182576.tif 000063
【０１３０】
が所定値以下になった後、さらに所定回数だけ残差
2009182576.tif 000064
【０１３１】
をより小さくする（ぶれ成分をより少なくする）ための演算（画像算出処理）を行う。そして、残差
2009182576.tif 000065
【０１３２】
が所定値以下である複数の補正画像を、出力する補正画像の候補とする。
【０１３３】
図４には、本実施例での画像算出処理を概念的に示している。図４において、縦軸は残差
2009182576.tif 000066
【０１３４】
を示し、横軸は反復演算回数ｉを示す。図４には、残差
2009182576.tif 000067
【０１３５】
が所定値以下になった後、さらに２回の繰り返し演算を行い、残差
2009182576.tif 000068
【０１３６】
が所定値以下である３つの補正画像を出力する補正画像の候補とする場合を示している。
【０１３７】
本実施例におけるＳ１２０での処理を図５に示す。Ｓ７１０では、（３）式において、撮影画像ｇから、ｉ番目の補正画像（ｉ＝０，１，２，３…）に劣化過程ｈを畳み込んだ画像を差し引いたときの残差
2009182576.tif 000069
【０１３８】
を算出する。本実施例でも、劣化過程ｈは、繰り返し行われる画像算出処理において固定されている。
【０１３９】
Ｓ７２０では、Ｓ７１０で算出した残差
2009182576.tif 000070
【０１４０】
が所定値以下か否か、及び残差
2009182576.tif 000071
【０１４１】
が所定値以下になってからの演算回数（画像算出処理の回数）が所定回数以下であるか否かを判定する。残差
2009182576.tif 000072
【０１４２】
が所定値以下で、かつ残差
2009182576.tif 000073
【０１４３】
が所定値以下になってからの演算回数が所定回数に到達していればＳ７４０に進む。また、残差
2009182576.tif 000074
【０１４４】
が所定値より大きいか、又は残差
2009182576.tif 000075
【０１４５】
が所定値以下になってからの演算回数が所定回数に達していなければＳ７３０に進む。
【０１４６】
Ｓ７３０では、補正画像
2009182576.tif 000076
【０１４７】
に残差
2009182576.tif 000077
【０１４８】
を加算することにより（ｉ＋１）番目の補正画像
2009182576.tif 000078
【０１４９】
を算出する。そして、Ｓ７１０に戻る。こうして、Ｓ７２０にて残差
2009182576.tif 000079
【０１５０】
が所定値以下と判定され、かつ残差
2009182576.tif 000080
【０１５１】
が所定値以下になってからの演算回数が所定回数に到達するまで、Ｓ７１０〜Ｓ７３０の処理が繰り返される。
【０１５２】
一方、Ｓ７４０では、残差
2009182576.tif 000081
【０１５３】
が所定値以下になった時点での補正画像と、さらにその後、所定回数の演算（画像算出処理）により得られた補正画像とを出力する補正画像の候補とする。これら補正画像候補のうち最も残差
2009182576.tif 000082
【０１５４】
が小さい補正画像を出力する。
【０１５５】
なお、Ｓ７１０〜Ｓ７４０では、Jacobi法による繰り返し演算を行っているが、最急行下法、共役勾配法又は勾配投影法を用いてもよい。
【実施例６】
【０１５６】
本発明の実施例６である画像処理方法について説明する。
【０１５７】
本実施例の画像処理方法は、実施例５と基本的に同じ流れの処理である。ただし、図５に示したＳ７１０での処理が実施例５と異なる。すなわち、本実施例では、Ｓ７１０において、（３）式における初期の補正画像
2009182576.tif 000083
【０１５８】
を、逆フィルタである、
【０１５９】
【数７】
2009182576.tif 000084
【０１６０】
を用いて算出した画像とする。劣化過程ｈはぶれの傾向であり、ｇは撮影画像（原画像）である。
【実施例７】
【０１６１】
本発明の実施例７である画像処理方法について説明する。
【０１６２】
本実施例の画像処理方法は、実施例５と基本的に同じ流れの処理である。ただし、図５に示したＳ７１０での処理が実施例５と異なる。すなわち、本実施例では、Ｓ７１０において、（３）式における初期の補正画像
2009182576.tif 000085
【０１６３】
を、ウィナーインバースフィルタである、
【０１６４】
【数８】
2009182576.tif 000086
【０１６５】
を用いて算出した画像とする。劣化過程ｈはぶれの傾向、ｇは撮影画像（原画像）である。
【実施例８】
【０１６６】
本発明の実施例８である画像処理方法について説明する。
【０１６７】
本実施例の画像処理方法は、実施例５と基本的に同じ流れの処理である。ただし、図５に示したＳ７１０での処理が実施例５と異なる。
【０１６８】
すなわち、本実施例では、Ｓ７１０において、（３）式における初期の補正画像
2009182576.tif 000087
【０１６９】
を、適当なパターン画像、例えば白一色の平坦画像とする。
【実施例９】
【０１７０】
本発明の実施例９である画像処理方法について、図６及び図７を用いて説明する。図６は補正画像が反復演算回数ｉの増加とともに変化することによる残差
2009182576.tif 000088
【０１７１】
の減少を示している。図６の縦軸は残差
2009182576.tif 000089
【０１７２】
を示し、横軸は反復演算回数ｉを示す。また、図７は、劣化過程ｈが反復演算回数ｉの増加とともに変化することによる残差ｅ（ｈ）の減少を示している。図７の縦軸は残差ｅ（ｈ）を示し、横軸は反復演算回数ｉを示す。
【０１７３】
本実施例では、第１の処理として、劣化過程ｈを第１の劣化過程（第１のフィルタ）ｈ１に固定して、残差
2009182576.tif 000090
【０１７４】
がより小さくなって所定値１以下となるまで、実施例１〜８で説明した画像算出処理を繰り返す。第１の劣化過程ｈ１は、実施例１〜８で説明した劣化過程ｈと同じように、ぶれの傾向に基づいて決定される。こうして、残差
2009182576.tif 000091
【０１７５】
が所定値１以下となった時点での第１の補正画像
2009182576.tif 000092
【０１７６】
を得る。
【０１７７】
次に、第２の処理として、補正画像
2009182576.tif 000093
【０１７８】
を第１の補正画像
2009182576.tif 000094
【０１７９】
に固定する。そして、残差ｅ（ｈ）がより小さくなって（計算上での第１の補正画像
2009182576.tif 000095
【０１８０】
に含まれるぶれ成分が少なくなって）所定値１より小さい所定値Ａ以下となるまで、逆畳み込み演算による劣化過程ｈの算出を繰り返す。こうして、残差ｅ（ｈ）が所定値Ａ以下となった時点での第２の劣化過程（第２のフィルタ）ｈ２を得る。
【０１８１】
さらに、第３の処理として、劣化過程ｈを第２の劣化過程ｈ２に固定して、残差
2009182576.tif 000096
【０１８２】
がより小さくなって所定値１より小さい所定値２以下となるまで画像算出処理を繰り返す。こうして、残差
2009182576.tif 000097
【０１８３】
が所定値２以下となった時点での第２の補正画像
2009182576.tif 000098
【０１８４】
を得る。
【０１８５】
これ以後は、第２及び第３の処理と同様の処理を繰り返し、残差ｅが良好なぶれ補正状態に対応する所定値（所定値２より小さい値）以下になった時点での補正画像（ここではｊ番目の補正画像とする）を最終的に出力する補正画像とする。
【０１８６】
なお、第１〜第３の処理において、補正画像又は劣化過程を算出する際には、Ｊａｃｏｂｉ法、最急行下法、共役勾配法、及び勾配投影法のいずれも用いることができる。
【０１８７】
このように、劣化過程を固定して行う補正画像の繰り返し算出と、補正画像を固定して行う劣化過程の繰り返し算出（推定）とを交互に行うことで、より良好にぶれ成分が低減された補正画像を短時間で得ることができる。
【実施例１０】
【０１８８】
本発明の実施例１０である画像処理方法について、図８及び図９を用いて説明する。図８は補正画像が反復演算回数ｉの増加とともに変化することによる残差
2009182576.tif 000099
【０１８９】
の減少を示している。図８の縦軸は残差
2009182576.tif 000100
【０１９０】
を示し、横軸は反復演算回数ｉを示す。また、図９は、劣化過程ｈが反復演算回数ｉの増加とともに変化することによる残差ｅ（ｈ）の減少を示している。図９の縦軸は残差ｅ（ｈ）を示し、横軸は反復演算回数ｉを示す。
【０１９１】
本実施例では、実施例９において第１〜第３の処理（第２及び第３の処理の繰り返し）によって、ｊ番目の画像算出処理による残差、すなわち所定値以下の残差が得られた時点でのｊ番目の補正画像を得る。さらにその後、所定回数（ここでは２回とする）の画像算出処理を行い、ｊ番目の補正画像とこれ以後に算出された２つの補正画像とを出力する補正画像の候補とする。これら３つの補正画像候補のうち最も残差が小さい補正画像を出力する。
【実施例１１】
【０１９２】
本発明の実施例１１である画像処理方法について説明する。本実施例の画像処理方法は、特に、撮像装置やパーソナルコンピュータにおいて、撮像装置によって取得された撮影画像（原画像）よりもぶれ成分が低減された補正画像を生成するために使用される。
【０１９３】
本実施例では、撮像装置やパーソナルコンピュータに、撮影画像全体のうち一部の領域を指定する領域指定操作部（領域指定手段）を設け、指定された領域に対して実施例１〜１０にて説明した処理を行う。ここにいう「一部の領域」は、主被写体を含んでいる注目領域であり、例えば、撮像装置を回転（パン又はチルト）させながら動く被写体を撮像する、いわゆる流し撮りによって得られた撮影画像における該被写体を含む領域に相当する。主被写体とは、例えば、運動会において走る人物（顔）や、モータースポーツにおいて走行する車である。
【０１９４】
流し撮り画像の注目領域に対して実施例１〜１０にて説明した処理を行うことにより、注目領域についてはぶれが低減された良好な画像が得られる一方、その周囲の背景の流れを示すぶれが残るので、流し撮り効果を確保することができる。
【０１９５】
また、時刻表や新聞に用いられるような小さな文字が撮影画像においてぶれて読みにくい場合に、読みたい文字を注目領域とし、該ぶれを低減してクリアな文字とすることで、読みやすくすることができる。
【０１９６】
以上の実施例１〜１１では、撮像装置のぶれに起因した画像中のぶれを低減した補正画像を生成する場合について説明したが、本発明は、撮像装置のぶれに加えて、物体ぶれ（被写体ぶれ）に起因した画像ぶれを低減した補正画像を生成する場合にも有効である。
【実施例１２】
【０１９７】
図１４には、実施例１〜１１にて説明した画像処理方法を実行する撮像装置の構成を示している。
【０１９８】
図１４において、１０１は撮像光学系であり、被写体像を形成する。１０２はＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子であり、被写体像を光電変換する。１０３は画像生成部であり、撮像素子１０２からの出力に基づいて撮影画像（原画像）を生成する。撮像素子１０２と画像生成部１０３とにより撮像系が構成される。
【０１９９】
１０４は画像処理部（処理手段）であり、画像生成部１０３で生成された撮影画像に対して実施例１〜１１にて説明した画像処理方法を適用するよう、コンピュータプログラムに従って動作する。
【０２００】
１０５はぶれの傾向を示す情報を記憶するメモリ（記憶手段）であり、図１に示したメモリＭに相当する。１０９はぶれ計測部であり、実施例１にて説明した方法により撮像装置に生じたぶれを計測し、ぶれの傾向を示す情報を生成する。ここで生成されたぶれの傾向を示す情報がメモリ１０５に記憶（保持）される。
【０２０１】
１０６は実施例１１にて説明した領域指定操作部であり、後述するディスプレイ１０７に表示された撮影画像のうちぶれを低減したい一部の領域をタッチパネル方式やボタン操作方式等によって指定するためにユーザにより操作される。
【０２０２】
画像処理部１０４、メモリ１０５及び領域指定操作部１０６により画像処理装置が構成される。
【０２０３】
ディスプレイ１０７は、撮影画像や画像処理部１０４から出力された補正画像を表示する。１０８は半導体メモリ、光ディスク等により構成される記録媒体であり、画像処理部１０４から出力された補正画像を記録する。
【０２０４】
なお、画像処理部１０４（又は画像生成部１０３）に、メモリ１０５から読み出したぶれの傾向を示す情報を、撮影画像のデータに付加して記録媒体１０８に出力する機能を設けてもよい。撮影画像に付加されたぶれの傾向を示す情報は、撮影画像を後述する印刷装置により印刷したり、パーソナルコンピュータにて処理したりする場合に使用される。
【０２０５】
また、撮像装置に、撮影画像のデータとは別に、メモリ１０５に記憶しているぶれの傾向を示す情報を外部に出力する機能を設けてもよい。
【実施例１３】
【０２０６】
図１５には、実施例１〜１１にて説明した画像処理方法を実行するプリンタ等の印刷装置の構成を示している。
【０２０７】
図１５において、２０１は画像入力部であり、撮像装置により取得された撮影画像（静止画像及び動画像）のデータが入力される。画像入力部２０１には、撮影画像のデータを記録した記録媒体が装着されるスロットや、撮像装置との通信（有線及び無線）によって撮影画像のデータを取り込む通信ユニットが設けられている。
【０２０８】
画像入力部２０１を介して入力される撮影画像のデータには、実施例１２で説明したぶれの傾向を示す情報が付加されていてもよい。また、画像入力部２０１を介して、撮影画像のデータとは別に撮像装置からぶれの傾向を示す情報を取り込むようにしてもよい。
【０２０９】
２０２はメモリであり、画像入力部２０１を介して入力された撮影画像のデータ及びぶれの傾向を示す情報を一時的に記憶する。該メモリ２０２は、図１に示したメモリＭに相当する。
【０２１０】
２０３は画像処理部（処理手段）であり、メモリ２０２から読み出した撮影画像に対して実施例１〜１１にて説明した画像処理方法を適用するよう、コンピュータプログラムに従って動作する。このとき、メモリ２０２からぶれの傾向を示す情報も読み出す。画像処理部２０３は、画像入力部２０１を介して動画像が入力された場合には、その動画像を構成するフレーム画像に対して実施例１〜１１にて説明した画像処理方法を適用し、静止画像としての補正画像を出力する。
【０２１１】
２０６はフレーム／領域指定操作部であり、不図示のディスプレイに表示された撮影画像（動画像）のうち印刷出力したいフレーム画像や、撮影画像（フレーム画像又は静止画像）のうちぶれを低減したい一部の領域を指定するためにユーザにより操作される。操作方法としては、タッチパネル方式やボタン操作方式等が採用される。
【０２１２】
画像処理部２０３、メモリ２０２及び領域指定操作部２０６により画像処理装置が構成される。
２０７は印刷部であり、画像処理部２０３から出力された補正画像（フレーム画像又は静止画像）を紙やシートに印刷する。
【実施例１４】
【０２１３】
図１６には、実施例１〜１１にて説明した画像処理方法を実行する画像処理装置としてのパーソナルコンピュータを示している。
【０２１４】
撮像装置１４０１によって取得された撮影画像及びぶれに関する情報は、パーソナルコンピュータ１４０２に送信される。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやＬＡＮを介して送信してもよい。
【０２１５】
パーソナルコンピュータ１４０２には、図示はしないが、撮像装置１４０１から受け取った撮影画像及びぶれに関する情報を一時的に記憶する記憶部が設けられている。
【０２１６】
そして、パーソナルコンピュータ１４０２は、実施例１〜１１にて説明した処理を実行して補正画像を生成する。補正画像は、パーソナルコンピュータ１４０２のディスプレイに表示されたり、パーソナルコンピュータ１４０２内のハードディスクに記録されたり、パーソナルコンピュータ１４０２に装着された記録媒体に記録されたりする。さらに、補正画像は、パーソナルコンピュータ１４０２に接続されたプリンタによって印刷される。
【０２１７】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【図面の簡単な説明】
【０２１８】
【図１】本発明の実施例１である画像処理方法の手順を示すフローチャート。
【図２】図１におけるＳ１２０での手順を示すフローチャート。
【図３】実施例１における残差ｅの減少を示す図。
【図４】本発明の実施例５における残差ｅの減少を示す図。
【図５】実施例５における画像処理方法の手順を示すフローチャート。
【図６】本発明の実施例９における補正画像の変化に伴う残差ｅの減少を示す図。
【図７】実施例９における劣化経過ｈの変化に伴う残差ｅの減少を示す図。
【図８】本発明の実施例１０における補正画像の変化に伴う残差ｅの減少を示す図。
【図９】実施例１０における劣化経過ｈの変化に伴う残差ｅの減少を示す図。
【図１０】Lucy-Richardson法における残差ｅの減少を示す図。
【図１１】Jacobi法による反復演算のフローチャート。
【図１２】実施例１におけるぶれの計測方法を示す図。
【図１３】従来の画像処理方法における残差ｅの変化を示す図。
【図１４】本発明の実施例１２である撮像装置の構成を示すブロック図。
【図１５】本発明の実施例１３である印刷装置の構成を示すブロック図。
【図１６】本発明の実施例１４である画像処理装置（パーソナルコンピュータ）を示す図。
【符号の説明】
【０２１９】
１０２  撮像素子
１０４，２０３  画像処理部
１０５，２０２  メモリ
１０９  ぶれ計測部
２０７  印刷部
【図１０】
2009182576.tif 000101
【図１３】
2009182576.tif 000102
【図１】
2009182576.tif 000103
【図２】
2009182576.tif 000104
【図３】
2009182576.tif 000105
【図４】
2009182576.tif 000106
【図５】
2009182576.tif 000107
【図６】
2009182576.tif 000108
【図７】
2009182576.tif 000109
【図８】
2009182576.tif 000110
【図９】
2009182576.tif 000111
【図１１】
2009182576.tif 000112
【図１２】
2009182576.tif 000113
【図１４】
2009182576.tif 000114
【図１５】
2009182576.tif 000115
【図１６】
2009182576.tif 000116