(57)【特許請求の範囲】
【請求項１】
撮像時の手振れによるぼやけを減少させた復元画像を生成する撮像装置であって、
撮像素子と、
前記撮像素子の撮像面に像を形成する光学系と、
前記撮像素子によって取得された信号を処理する画像処理部と、
を備え、
前記画像処理部は、
前記撮像素子によって取得された画像の手振れによるぼやけを規定するブラーカーネルを決定するブラーカーネル決定部と、
決定された前記ブラーカーネルを用いて前記画像から手振れによるぼやけを減少させた復元画像を生成する画像復元部と、
を有し、
前記ブラーカーネル決定部は、前記画像のぼやけの程度に影響を及ぼす情報に基づいて、前記ブラーカーネルのサイズを決定する、
撮像装置。
【請求項２】
前記ブラ―カーネル決定部は、前記光学系のズーム倍率に応じて、前記ブラ―カーネルのサイズを変化させる、請求項１に記載の撮像装置。
【請求項３】
前記光学系のズーム倍率と前記ブラーカーネルのサイズとの間の対応関係を規定する変換テーブルをさらに備え、
前記ブラーカーネル決定部は、前記変換テーブルに基づいて前記ブラーカーネルのサイズを決定する、請求項２に記載の撮像装置。
【請求項４】
前記変換テーブルは、前記光学系のズーム倍率と、前記ブラーカーネルの基準サイズからの倍率との間の対応関係を規定する、請求項３に記載の撮像装置。
【請求項５】
前記ブラーカーネル決定部は、前記光学系のズーム倍率および露光時間の両方の情報に基づいて前記ブラーカーネルのサイズを決定する、請求項２に記載の撮像装置。
【請求項６】
前記光学系のズーム倍率および前記露光時間の組み合わせと、前記ブラ―カーネルのサイズとの対応関係を規定する変換テーブルをさらに備え、
前記ブラ―カーネル決定部は、前記変換テーブルに基づいて前記ブラ―カーネルのサイズを決定する、
請求項５に記載の撮像装置。
【請求項７】
前記ブラ―カーネル決定部は、露光時間に応じて前記ブラ―カーネルのサイズを変化させる、請求項１に記載の撮像装置。
【請求項８】
前記露光時間と前記ブラーカーネルのサイズとの間の対応関係を規定する変換テーブルをさらに備え、
前記ブラーカーネル決定部は、前記変換テーブルに基づいて前記ブラーカーネルのサイズを決定する、請求項７に記載の撮像装置。
【請求項９】
前記変換テーブルは、前記露光時間と、前記ブラーカーネルの基準サイズからの倍率との間の対応関係を規定する、請求項８に記載の撮像装置。
【請求項１０】
撮像時の手振れの大きさを検知する手振れ検知部をさらに備え、
前記ブラーカーネル決定部は、前記手ぶれ検知部によって検知された前記手ぶれの大きさに基づいて前記ブラーカーネルのサイズを決定する、請求項１から９のいずれかに記載の撮像装置。
【請求項１１】
前記手振れ検知部は、ジャイロセンサである、請求項１０に記載の撮像装置。
【請求項１２】
撮像装置によって取得された画像から手振れによるぼやけを減少させた復元画像を生成する画像処理装置であって、
画像および前記画像のぼやけの程度に影響を及ぼす情報を取得する画像取得部と、
前記画像の手振れによるぼやけを規定するブラーカーネルを決定するブラーカーネル決定部と、
決定された前記ブラーカーネルを用いて前記画像から手振れによるぼやけを減少させた復元画像を生成する画像復元部と、
を備え、
前記ブラーカーネル決定部は、前記画像のぼやけの程度に影響を及ぼす情報に基づいて、前記ブラーカーネルのサイズを決定する、画像処理装置。
【請求項１３】
前記画像のぼやけの程度に影響を及ぼす情報は、撮像時の光学系のズーム倍率、露光時間、手振れの大きさを示す情報の少なくとも１つである、請求項１２に記載の画像処理装置。
【請求項１４】
撮像装置によって取得された画像から手振れによるぼやけを減少させた復元画像を生成するためのプログラムであって、
コンピュータに対し、
画像および前記画像のぼやけの程度に影響を及ぼす情報を取得するステップと、
前記画像のぼやけの程度に影響を及ぼす情報に基づいて、前記画像の手振れによるぼやけを規定するブラーカーネルのサイズを決定するステップと、
前記ブラーカーネルを決定するステップと、
決定された前記ブラーカーネルを用いて前記画像から手振れによるぼやけを減少させた復元画像を生成するステップと、
を実行させるプログラム。
【請求項１５】
前記画像のぼやけの程度に影響を及ぼす情報は、撮像時の光学系のズーム倍率、露光時間、および手振れの大きさを示す情報の少なくとも１つである、請求項１４に記載のプログラム。
【請求項１６】
撮像装置によって取得された画像から手振れによるぼやけを減少させた復元画像を生成する画像処理方法であって、
画像および前記画像のぼやけの程度に影響を及ぼす情報を取得するステップと、
前記画像のぼやけの程度に影響を及ぼす情報に基づいて、前記画像の手振れによるぼやけを規定するブラーカーネルのサイズを決定するステップと、
前記ブラーカーネルを決定するステップと、
決定された前記ブラーカーネルを用いて前記画像から手振れによるぼやけを減少させた復元画像を生成するステップと、
を含む画像処理方法。
【請求項１７】
前記画像のぼやけの程度に影響を及ぼす情報は、撮像時の光学系のズーム倍率、露光時間、および手振れの大きさを示す情報の少なくとも１つである、請求項１６に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像時の手振れによるぼやけを減少させた復元画像を生成する撮像装置、画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラで画像の取得（撮像）を行うと、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）、あるいはＣＭＯＳの読み出し回路の特性や伝送路の特性により画像にノイズが加わることがある。また、撮像時にフォーカスが合っていないこと（焦点外れ：ｏｕｔ−ｏｆ−ｆｏｃｕｓ）による画像のぼやけ（ブラー：ｂｌｕｒ）や、手振れ（ｃａｍｅｒａ  ｓｈａｋｅ）などによる画像のぼやけが発生する。このように撮像画像には、撮像画像固有の特性によるノイズに、撮影時の人為的な操作を起因とするぼやけが加わることにより、画像が劣化することになる。これらの「ぼやけ」のうち、撮影（露光）中におけるカメラの運動による画像のぼやけを「ブレ（ｍｏｔｉｏｎ  ｂｌｕｒ）」と称する場合がある。【０００３】
近年、特に高感度撮影の需要が増大していることにより、ぼやけによって劣化した画像（以下、「劣化画像」という）を元の画像（以下、「理想画像」という）にできるだけ近い画像に復元することが必要となる。高感度撮影に要求される、明るくノイズやぼやけのない画像を実現するために、大別して感度をあげるという考え方と、露光時間を長くするという考え方がある。【０００４】
しかしながら、感度を高めるとノイズも増幅してしまう、そのため、信号がノイズに埋もれてしまい、ノイズが大半を占める画像になることが多い。一方で露光時間を長くすることで、その場で生じる光を多く蓄積し、ノイズの少ない画像が得られる。この場合、信号がノイズで埋もれることはないが、手振れによって画像にブレが生じ易いという問題がある。【０００５】
そこで、従来、２通りの考え方で露光時間を長くする場合の対処法がとられていた。一つは、レンズシフトやセンサシフトといった光学式手振れ補正である。他方は、得られた画像やセンサによってブレの方向／大きさを求め、そこから信号処理によって画像を復元するという方法（信号処理による復元方法）である。【０００６】
光学式手振れ補正では、補正の範囲に限界がある。露光時間を長くすると、手振れが発生しやすくなるため、レンズやセンサの稼動範囲を大きくする必要がある。しかし、稼動範囲が大きくなるとレンズやセンサの移動の際に時間遅れが生じるという問題がある。また、大型化にはサイズの物理的な限界がある。【０００７】
信号処理による復元方法は、例えば特許文献１、非特許文献１、非特許文献２などに開示されている。以下、信号処理による復元方法を説明する。【０００８】
ここでは、撮像素子の撮像面に形成される画像の輝度分布をＩ（ｘ，ｙ）で表すことにする。座標（ｘ，ｙ）は、撮像面の画素（光感知セル）の位置を示す２次元座標である。画像が例えば行列状に配列されたＭ×Ｎ個の画素からなる場合において、ｘおよびｙが、それぞれ、０≦ｘ≦Ｍ−１、０≦ｙ≦Ｎ−１の関係を満足する整数であるとすると、画像を構成する個々の画素の位置を座標（ｘ，ｙ）によって特定することができる。ここでは、座標の原点（０、０）を画像の左上隅に置き、ｘ軸は垂直方向、ｙ軸は水平方向に延びるものとする。ただし、座標のとり方は、任意である。【０００９】
ぼやけ（ｂｌｕｒ）のない画像（理想画像または元画像）の輝度分布をＬ（ｘ，ｙ）とし、ぼやけを規定するＰＳＦ、すなわち「点広がり関数（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）」をＰＳＦ（ｘ，ｙ）、ノイズをｎ（ｘ，ｙ）とすると、以下の式１が成立する。
【数１】
0005596138.tif 000002
ここで、記号「＊」は、２次元の畳み込み演算（コンボリューション）を示している。【００１０】
手振れの点広がり関数ＰＳＦ（ｘ，ｙ）は、撮影（露光）中における手振れの軌跡に依存する。手振れの軌跡はカメラ撮影毎に異なるため、ＰＳＦ（ｘ，ｙ）もカメラ撮影毎に変化する。【００１１】
撮影中の手振れの軌跡がジャイロセンサなどによって検出され、ＰＳＦ（ｘ，ｙ）が既知の場合は、このＰＳＦ（ｘ，ｙ）を用いて逆畳み込み演算（デコンボリューション）を行うことにより、劣化画像Ｉ（ｘ、ｙ）から画像Ｌ（ｘ、ｙ）を復元することが可能になる。一方、ＰＳＦ（ｘ，ｙ）が既知ではない場合は、劣化画像Ｉ（ｘ、ｙ）からＰＳＦ（ｘ，ｙ）を推定し、画像Ｌ（ｘ，ｙ）を復元する必要がある。前者を「ノンブラインド・デコンボリューション」、後者を「ブラインド・デコンボリューション」と称する。ブラインド・デコンボリューションでは、ＰＳＦ（ｘ，ｙ）および画像Ｌ（ｘ，ｙ）の両方を劣化画像Ｉ（ｘ，ｙ）から推定する必要があるため、ノンブラインド・デコンボリューションよりもぼやけの低減が難しくなる。【００１２】
手振れによるぼやけを規定するＰＳＦの畳み込み演算は、線形フィルタによって行われる。２次元畳み込み演算の線形フィルタは、通常、Ｎ×Ｎ画素のサイズを有する係数行例からなる積分核（カーネル）によって表される。ここで、Ｎは３以上の整数である。ぼやけを規定するＰＳＦは、ブラーカーネル（ｂｌｕｒ  ｋｅｒｎｅｌ）によって表現され得る。ぼやけのある画像から、ぼやけを低減した画像（ぼやけを除去した画像を含む）を復元するには、ぼやけを規定するブラーカーネルを推定する必要がある。【００１３】
信号処理による画像復元として、例えば非特許文献１は、ぼやけのある１枚の画像からブラーカーネルおよび復元画像を推定する場合において、多重スケール推定法（ｍｕｌｔｉ−ｓｃａｌｅ  ｉｎｆｅｒｅｎｃｅ  ｓｃｈｅｍｅ）を用いることを開示している。この多重スケール推定法では、最初に解像度の低い劣化画像を用いて３×３画素のサイズを有するブラーカーネルを推定している。そして、推定に用いる劣化画像の解像度を徐々に高めることにより、ブラーカーネルの解像度も高めていく。図１８（ａ）〜（ｈ）は、非特許文献１に開示されている方法を説明するための図である。図１８（ａ）の上段は３×３画素のブラーカーネルを示し、下段は対応する解像度の復元画像を示している。図１８（ｂ）〜（ｈ）も同様であるが、徐々に解像度が向上している。【００１４】
解像度の低い劣化画像では、画素数が少ないため、手振れによるぼやけの画素サイズも小さくなる。その結果、解像度の低い劣化画像では、ブラーカーネルのサイズも小さくなり、ブラーカーネルを推定するために必要な計算量も少なくなる。また、最初から画素数の大きな高解像度の劣化画像を用いてブラーカーネルの推定を行うと、真のブラーカーネルとは異なるブラーカーネル（局所解：ｌｏｃａｌ  ｍｉｎｉｍａ）に収束が生じてしまう可能性がある。多重スケール推定法によれば、ブラーカーネルの推定精度を高めることができる。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２００９−１１１５９６号公報
【非特許文献】
【００１６】
【非特許文献１】Rob Fergus et al., "Removing camera shake from a single image", Barun Singh Aaron Hertzmann, SIGGRAPH 2006
【非特許文献２】"High-quality Motion Deblurring from a Single Image", Qi Shan, Jiaya Jia, and Aseem Agarwala, SIGGRAPH 2008
【発明の概要】
【発明が解決しようとする課題】
【００１７】
非特許文献１、２に開示された方法によれば、最終的なブラーカーネルのサイズは予め固定値に設定される。そのため、ブレの程度が大きい劣化画像に対して正しく復元処理を行うためには、ブラーカーネルのサイズを大きい値に設定しておく必要がある。設定されたブラーカーネルのサイズを超える大きなブレを含む劣化画像は正しく復元できない。【００１８】
特に、遠くの被写体を撮影するために光学系のズーム倍率（または焦点距離）を大きくする場合、ズーム倍率が小さい場合よりも、画像のブレの程度は大きくなる。したがって、遠くのシーンを撮影するためにズーム倍率を大きくする場合、予めブラーカーネルのサイズを大きい値に設定しておく必要がある。なお、本明細書における「ズーム倍率」とは、撮像装置における光学系の最小（広角側）焦点距離に対する撮影時の焦点距離の割合を意味するものとする。従って、撮影時の焦点距離が最小焦点距離であるとき、ズーム倍率が１倍であるものとする。本明細書における「ズーム倍率」は、一般に用いられているような、広角側の焦点距離に対する望遠側の焦点距離の割合を意味するものではない。【００１９】
また、暗い環境で撮影するときは、十分な受光量を確保するために、露光時間を長くする必要がある。露光時間を長くすると、カメラの動きに起因する画像のブレの程度は一般に大きくなる。従って、暗いシーンを撮影するために露光時間を長くする場合も、予めブラーカーネルのサイズを大きい値に設定しておく必要がある。【００２０】
しかしながら、ブラーカーネルのサイズを大きくすると、ブレの程度が小さい画像に対しても、大きいサイズを有するブラーカーネルによる復元処理が行われるため、復元処理に要する計算量が多くなるという課題がある。例えば、ブラーカーネルのサイズが１００×１００画素に設定されているとき、そのうちの１０×１０画素でブレを規定できる画像を復元する場合、１００×１００−１０×１０＝９９００画素に対する計算が不必要に発生する。【００２１】
特許文献１は、予め設定されたブラーカーネルのサイズを超えるブレを含む画像に対して、画素サイズを縮小した上でブラーカーネルの算出および復元処理を行うことを開示している。これにより、ブレの程度が大きい画像に対しても、設定されたサイズのブラーカーネルによって正しく復元することができる。この方法によれば、ブレの程度が小さい画像では画素サイズの縮小を行わず、ブレの程度が大きい画像に対してだけ画素サイズの縮小が行われるため、ブラーカーネルのサイズを低く抑えることができる。【００２２】
しかしながら、特許文献１に開示された技術では、ブレの程度が大きい画像に対して、画素サイズを縮小してから復元処理を行うため、復元された画像も縮小されたものとなる。復元された画像は、元画像と同じ画素サイズになるように拡大されるため、最終的に得られる画像は、元画像と比較して画質が劣化したものとなる。【００２３】
本発明は、上記従来技術の課題を解決するためになされたものである。本発明の目的は、劣化画像のブレの程度が小さい場合に復元処理に要する計算量を抑えることができ、かつ、劣化画像のブレの程度が大きい場合であっても復元画像の画質の劣化が生じない画像復元技術を提供することにある。
【課題を解決するための手段】
【００２４】
本発明による撮像装置は、撮像時の手振れによるぼやけを減少させた復元画像を生成する撮像装置であって、撮像素子と、前記撮像素子の撮像面に像を形成する光学系と、前記撮像素子によって取得された信号を処理する画像処理部とを備える。前記画像処理部は、前記撮像素子によって取得された画像の手振れによるぼやけを規定するブラーカーネルを決定するブラーカーネル決定部と、決定された前記ブラーカーネルを用いて前記画像から手振れによるぼやけを減少させた復元画像を生成する画像復元部とを有し、前記ブラーカーネル決定部は、前記画像のぼやけの程度に影響を及ぼす情報に基づいて、前記ブラーカーネルのサイズを決定する。【００２５】
ある実施形態において、前記ブラ―カーネル決定部は、前記光学系のズーム倍率に応じて、前記ブラ―カーネルのサイズを変化させる。【００２６】
ある実施形態において、撮像装置は、前記光学系のズーム倍率と前記ブラーカーネルのサイズとの間の対応関係を規定する変換テーブルをさらに備え、前記ブラーカーネル決定部は、前記変換テーブルに基づいて前記ブラーカーネルのサイズを決定する。【００２７】
ある実施形態において、前記変換テーブルは、前記光学系のズーム倍率と、前記ブラーカーネルの基準サイズからの倍率との間の対応関係を規定する。【００２８】
ある実施形態において、前記ブラーカーネル決定部は、前記光学系のズーム倍率および露光時間の両方の情報に基づいて前記ブラーカーネルのサイズを決定する。【００２９】
ある実施形態において、撮像装置は、前記光学系のズーム倍率および前記露光時間の組み合わせと、前記ブラ―カーネルのサイズとの対応関係を規定する変換テーブルをさらに備え、前記ブラ―カーネル決定部は、前記変換テーブルに基づいて前記ブラ―カーネルのサイズを決定する。【００３０】
ある実施形態において、前記ブラ―カーネル決定部は、露光時間に応じて前記ブラ―カーネルのサイズを変化させる。【００３１】
ある実施形態において、撮像装置は、前記露光時間と前記ブラーカーネルのサイズとの間の対応関係を規定する変換テーブルをさらに備え、前記ブラーカーネル決定部は、前記変換テーブルに基づいて前記ブラーカーネルのサイズを決定する。【００３２】
ある実施形態において、前記変換テーブルは、前記露光時間と、前記ブラーカーネルの基準サイズからの倍率との間の対応関係を規定する。【００３３】
ある実施形態において、撮像装置は、撮像時の手振れの大きさを検知する手振れ検知部をさらに備え、前記ブラーカーネル決定部は、前記手ぶれ検知部によって検知された前記手ぶれの大きさに基づいて前記ブラーカーネルのサイズを決定する。【００３４】
ある実施形態において、前記手振れ検知部は、ジャイロセンサである。【００３５】
本発明による画像処理装置は、撮像装置によって取得された画像から手振れによるぼやけを減少させた復元画像を生成する画像処理装置である。前記画像処理装置は、画像および前記画像のぼやけの程度に影響を及ぼす情報を取得する画像取得部と、前記画像の手振れによるぼやけを規定するブラーカーネルを決定するブラーカーネル決定部と、決定された前記ブラーカーネルを用いて前記画像から手振れによるぼやけを減少させた復元画像を生成する画像復元部とを備えている。前記ブラーカーネル決定部は、前記前記画像のぼやけの程度に影響を及ぼす情報に基づいて、前記ブラーカーネルのサイズを決定する。【００３６】
ある実施形態において、前記撮像情報は、撮像時の光学系のズーム倍率、露光時間、手振れの大きさを示す情報の少なくとも１つである。【００３７】
本発明による画像処理プログラムは、撮像装置によって取得された画像から手振れによるぼやけを減少させた復元画像を生成するためのプログラムである。前記プログラムは、コンピュータに対し、画像および前記画像のぼやけの程度に影響を及ぼす情報を取得するステップと、前記画像のぼやけの程度に影響を及ぼす情報に基づいて、前記画像の手振れによるぼやけを規定するブラーカーネルのサイズを決定するステップと、前記ブラーカーネルを決定するステップと、決定された前記ブラーカーネルを用いて前記画像から手振れによるぼやけを減少させた復元画像を生成するステップとを実行させる。【００３８】
ある実施形態において、前記画像のぼやけの程度に影響を及ぼす情報は、撮像時の光学系のズーム倍率、露光時間、および手振れの大きさを示す情報の少なくとも１つである。【００３９】
本発明による画像処理方法は、撮像装置によって取得された画像から手振れによるぼやけを減少させた復元画像を生成する画像処理方法ある。前記画像処理方法は、画像および前記画像のぼやけの程度に影響を及ぼす情報を取得するステップと、前記画像のぼやけの程度に影響を及ぼす情報に基づいて、前記画像の手振れによるぼやけを規定するブラーカーネルのサイズを決定するステップと、前記ブラーカーネルを決定するステップと、決定された前記ブラーカーネルを用いて前記画像から手振れによるぼやけを減少させた復元画像を生成するステップと、を含む。【００４０】
ある実施形態において、前記画像のぼやけの程度に影響を及ぼす情報は、撮像時の光学系のズーム倍率、露光時間、および手振れの大きさを示す情報の少なくとも１つである。
【発明の効果】
【００４１】
本発明によれば、劣化画像のブレの程度が小さい場合に復元処理に要する計算量を抑えることができ、かつ、劣化画像のブレの程度が大きい場合であっても復元画像の画質の劣化が生じない画像復元が可能になる。
【図面の簡単な説明】
【００４２】
【図１Ａ】本発明の撮像装置の概略構成の一例を示す図である。
【図１Ｂ】本発明の画像処理装置の概略構成の一例を示す図である。
【図１Ｃ】画像処理部あるいは画像処理装置による画像復元処理の流れの概略を示すフロー図である。
【図２】（ａ）は、３×３画素のサイズを有するブラーカーネルの一例を示す図であり、（ｂ）は、ぼやけの無い画像の画素値の配列例を示す図である。
【図３Ａ】図２（ｂ）の画像における位置（ｘ，ｙ）＝（２，２）の画素に対する畳み込み演算結果を示す図である。
【図３Ｂ】図２（ｂ）の画像における位置（ｘ，ｙ）＝（２，３）の画素に対する畳み込み演算結果を示している。
【図４】（ａ）は、９×９画素のブラーカーネルの係数行列の一例を示す図であり、（ｂ）は、（ａ）に示す係数のうち、ゼロでない値を有する要素を黒く塗りつぶし、ゼロの値を有する要素を白く塗りつぶした図である。
【図５】（ａ）は、ズーム倍率に対するブラーカーネルサイズの変化を例示的に示す図であり、（ｂ）は、カメラがある角度で回転したときに、ズーム倍率が大きいほど画像のブレの程度が大きくなることを模式的に示す図である。
【図６】（ａ）は、想定される手振れが小さい場合に、ブラーカーネルのサイズが小さい値に設定されることを示す図であり、（ｂ）は、想定される手振れが大きい場合に、ブラーカーネルのサイズが大きい値に設定されることを示す図である。
【図７】実施形態１における撮像装置の概略構成を示すブロック図である。
【図８】撮像部１００における撮像素子１０、撮影レンズ２０、光学系駆動部４０の概略構成を模式的に示す図である。
【図９】撮像素子１０の撮像面１０ａの模式的な上面図である。
【図１０】図６に示す画像処理部２２０の構成例を示すブロック図である。
【図１１】（ａ）は実施形態１における変換テーブルの一例を示す図であり、（ｂ）は実施形態１における変換テーブルの他の例を示す図である。
【図１２】実施形態１において実行される復元処理の例を示すフローチャートである。
【図１３】（ａ）は露光時間に関する変換テーブルの一例を示す図であり、（ｂ）は露光時間に関する変換テーブルの他の例を示す図である。
【図１４】（ａ）はズーム倍率および露光時間の組み合わせに関する変換テーブルの一例を示す図であり、（ｂ）はズーム倍率および露光時間の組み合わせに関する変換テーブルの他の例を示す図である。
【図１５】実施形態２における撮像装置の概略構成を示すブロック図である。
【図１６】実施形態２における変換テーブルの一例を示す図である。
【図１７】実施形態２において実行される復元処理の例を示すフローチャートである。
【図１８】（ａ）〜（ｈ）は、非特許文献１に開示されている方法を説明するための図である。
【発明を実施するための形態】
【００４３】
以下、本発明の好ましい実施形態を説明する前に、本発明の基本的原理を説明する。なお、本明細書では、画像またはブラーカーネルの「サイズ」を、それらの「画素数」または「画素サイズ」と同じ意味で使用する。
【００４４】
図１Ａは、本発明の撮像装置の概略構成の一例を示す図である。撮像装置は、撮像素子１０および光学系２０を有する撮像部１００と、撮像素子１０によって取得された画像信号を処理する画像処理部２２０とを備えている。画像処理部２２０は、撮像素子１０によって取得された画像のブレを規定するブラーカーネルを決定するブラーカーネル決定部２２７と、復元画像を生成する画像復元部２２４とを有している。ブラーカーネル決定部２２７は、ズーム倍率や露光時間などの画像のブレの程度に影響を及ぼす情報（以下、「撮像情報」と呼ぶことがある。）に基づいてブラーカーネルのサイズを変化させることができる。
【００４５】
図１Ｂは、本発明の画像処理装置の概略構成の一例を示す図である。画像処理装置２５０は、撮像装置によって取得された画像および撮像時のズーム倍率や露光時間などの撮像情報を取得する画像取得部２２３と、画像のブレを規定するブラーカーネルを決定するブラーカーネル決定部２２７と、復元画像を生成する画像復元部２２４とを備えている。ブラーカーネル決定部２２７は、ズーム倍率や露光時間などの撮像情報に基づいてブラーカーネルのサイズを変化させることができる。
【００４６】
図１Ｃは、画像処理部２２０あるいは画像処理装置２５０による画像復元処理の流れの一例を示すフローチャートである。まず、ステップＳ１０１において、撮像装置によって取得された劣化画像および撮像情報が取得される。次に、ステップ１０２において、劣化画像のブレの程度を規定するブラ―カーネルサイズが決定される。続いて、ステップＳ１０３において、ブラ―カーネルが決定される。そして、ステップ１０４において、決定したブラ―カーネルを用いて復元画像が生成される。以上の処理により、劣化画像からブレが除去された復元画像が得られる。本発明によれば、画像のブレの程度に影響を及ぼす情報に基づいてブラ―カーネルのサイズを適切に決定することにより、演算量を抑えながら高精度の復元が可能となる。各処理の詳細については後述する。
【００４７】
次に、図２を参照しながら、本発明のブラーカーネルを具体的に説明する。
【００４８】
図２（ａ）は、３×３画素のサイズを有するブラーカーネルの一例を示している。このブラーカーネルは、露光中の手振れにより、カメラが水平方向に３画素だけ移動した場合のぼやけの一例を規定している。図２（ｂ）は、ぼやけのない画像の画素値の配列例を示す図である。このぼやけのない画像は、５×５画素のサイズを有しているものとする。図２（ｂ）に示される２５個の数値は、画像を構成する画素の輝度値の例である。
【００４９】
図２（ａ）に示すブラーカーネルで表される手振れによるぼやけが発生した場合、劣化画像は、図２（ａ）のブラーカーネルによる２次元畳み込み演算を図２（ｂ）の画像に対して実行することによって得られる。
【００５０】
ブラーカーネルをＫ、元画像をＬ、ノイズをＮとすると、撮影によって取得された画像（劣化画像）Ｉは、以下の式２によって表される。
【数２】
0005596138.tif 000003
【００５１】
図３Ａは、図２（ｂ）の画像における位置（ｘ，ｙ）＝（２，２）の画素に対する畳み込み演算結果を示している。この演算は、図３Ａの左端の画像における破線の矩形に囲まれた３×３画素＝９個の画素値に対して行われる。ブラーカーネルにおける９つの係数のうちの３つの要素は、０．２、０．４、０．４の値を有しているが、他の６つの要素はゼロの値を有している。このブラーカーネルを用いた畳み込み演算を行うと、０．２、０．４、０．４の係数は、それぞれ、画像内の位置（２，１）、（２，２）、（２，３）の画素値にかけられ、総和が求められる。その結果、１８×０．２＋１９×０．４＋２１×０．４＝１９．６の値が得られ、この値が演算後の画素値として位置（２，２）に格納される。
【００５２】
一方、図３Ｂは、図２（ｂ）の画像における位置（ｘ，ｙ）＝（２，３）の画素に対する畳み込み演算結果を示している。この演算は、図３Ｂの左端の画像における破線の矩形に囲まれた３×３画素＝９個の画素値に対して行われる。ブラーカーネルを用いた畳み込み演算を行うと、０．２、０．４、０．４の係数は、それぞれ、画像内に位置（２，２）、（２，３）、（２，４）の画素値にかけられ、総和が求められる。その結果、１９×０．２＋２１×０．４＋１８×０．４＝１９．４の値が得られ、この値が演算後の画素値として位置（２，３）に格納される。
【００５３】
与えられた解像度（画素数）の画像の画素値に対してブラーカーネルの中心位置をシフトさせながら上記の計算を行うことにより、畳み込み演算後の画像、すなわち、手振れによるぼやけを有する画像（劣化画像）が定まることになる。
【００５４】
劣化画像から、ぼやけの無い画像を復元するためには、劣化の原因となるブラーカーネルの係数行列を推定する必要がある。ブラーカーネルが推定されれば、逆畳み込み演算によって劣化前の画像を得ること（復元）ができる。
【００５５】
図４（ａ）は、９×９画素のブラーカーネルの係数行列の一例を示している。この係数行列のうち、ゼロでない係数の総和は１に等しくなるように規格化されている。図４（ｂ）は、図４（ａ）に示す係数のうち、ゼロでない値を有する要素を黒く塗りつぶし、ゼロの値を有する要素を白く塗りつぶした図である。図４（ｂ）の黒い要素の集合は、手振れの軌跡に対応している。露光中における手振れの軌跡に応じて、図４（ｂ）の黒い要素の集合は、異なるパターンを有する。
【００５６】
手振れは、露光中におけるカメラの動きによって生じるため、その軌跡は、始点と終点とを結ぶ直線または曲線によって構成される。図４（ｂ）に示すように、有限のサイズを有するブラーカーネルによって表現される手振れ軌跡では、その一部に含まれる「曲線」も、２つの画素を直線で結ぶことによって得られる。
【００５７】
本発明において、ブラーカーネルのサイズは、撮影前に予め設定されるのではなく、想定される画像のブレの程度の大きさに基づいて適応的に決定される。ブラーカーネルのサイズは、例えば、ズームの倍率や露光時間などに基づいて決定される。
【００５８】
図５（ａ）は、画像のブレの程度とズーム倍率との関係を例示的に示すグラフである。図示されるように、一般にズーム倍率が大きくなるほど、画像のブレの程度は大きくなる。図５（ｂ）は、手振れ発生時の画像のブレの程度がズーム倍率によって変化することを模式的に示す図である。ここで、露光中に撮像装置が手振れによってある角度で回転したときの、撮像装置の重心Ａと、回転前後における光軸上の対応点同士を結ぶ線分とによって形成される三角形を考える。ズーム倍率が小さい場合の三角形△ＡＢＢ´と、ズーム倍率が大きい場合の三角形△ＡＣＣ´とは、互いに相似である。図示されるように、ズーム倍率が大きいほど形成される三角形は大きくなるため、画像のブレの程度も大きくなることがわかる。単純に考えれば、相似な関係にある２つの三角形において、１辺がｍ倍（ｍ：正の数）されたとき、残りの辺もｍ倍されるため、画像のブレの程度は、ズーム倍率に比例して大きくなる。ただし、実際には、露光時間中の撮像装置は一定の角速度で動くわけではなく、不規則な動きをするため、露光時間が長くなるほどズーム倍率とブレの程度との間の関係は単純な比例関係からずれることとなる。
【００５９】
同様のことは撮影時の露光時間を長くするときにも発生する。一般に、ズーム倍率が一定であっても、露光時間が長いほど手振れによるぼやけが多く蓄積されるため、画像のブレの程度は大きくなる。
【００６０】
以下、本発明において設定され得るブラーカーネルのサイズの例を示す。図６（ａ）は、ブレの程度が比較的小さい画像におけるブラーカーネルのサイズを示している。これは、例えばズーム倍率が小さい場合や露光時間が短い場合などに対応する。このとき、ブラーカーネルのサイズは、比較的小さいサイズに設定される。図６（ｂ）は、ブレの程度が比較的大きい画像におけるブラーカーネルのサイズの例を示している。これは、例えばズーム倍率が大きい場合や露光時間が長い場合などに対応する。このとき、ブラーカーネルのサイズは、比較的大きいサイズに設定される。
【００６１】
このように、本発明によれば、ズーム倍率や露光時間などの、画像のブレの程度に影響を及ぼす情報に基づき、想定されるブレの程度に適合したブラーカーネルのサイズが設定される。その結果、ブレの程度が小さい画像に対する復元処理において、必要以上に計算量が多くなることを防ぐことができる。また、特許文献１に開示された技術とは異なり、元画像の画素サイズの縮小および復元画像の画素サイズの拡大処理を伴わないため、最終的な復元画像の解像度が低下することはない。その結果、高画質の復元画像を得ることが可能となる。なお、本発明において、画像のブレの程度に影響を及ぼす情報とは、ズーム倍率や露光時間に限定されない。例えば、後述するように、撮像装置に搭載された手振れ検知機構によって検知した手振れの大きさを示す情報であってもよい。
【００６２】
以下、図７から図１７を参照しながら本発明の好ましい実施形態を説明する。以下の説明において、同一の構成要素には同じ参照符号を付している。
【００６３】
（実施形態１）
まず、図７から図１４を参照しながら本発明の第１の実施形態を説明する。
【００６４】
図７は、本実施形態の撮像装置の概略構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、各種信号処理を行う信号処理部２００と、撮像によって取得した画像を表示する撮像表示部３００と、画像のデータを記録する記録媒体４００と、各部を制御するシステム制御部５００とを備える。
【００６５】
撮像部１００は、撮像面上に配列された複数の光感知セル（フォトダイオード）を備える撮像素子（イメージセンサ）１０と、絞り機能を有するシャッタ１５と、撮像素子１０の撮像面上に像を形成するための撮影レンズ２０とを有している。また、撮像部１００は、シャッタ１５および撮影レンズ２０を駆動する光学系駆動部４０と、撮像素子１０を駆動する撮像素子駆動部３０とを有している。撮像素子１０の典型例は、ＣＣＤまたはＣＭＯＳセンサである。本実施形態における撮影レンズ２０は、公知の構成を有しており、現実には複数のレンズから構成されたレンズユニットである。光学系駆動部４０は、例えばレンズドライバなどのＬＳＩから構成され、シャッタ１５および撮影レンズ２０を駆動し、光学ズーミング、自動露光（ＡＥ：Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）、自動焦点（ＡＦ：Ａｕｔｏ  Ｆｏｃｕｓ）に必要な動作を実行させる。撮像素子駆動部３０は、例えばＣＣＤドライバなどのＬＳＩから構成されている。撮像素子駆動部３０は、撮像素子１０を駆動することにより、撮像素子１０からアナログ信号を読み出してデジタル信号に変換する。
【００６６】
信号処理部２００は、画像処理部（イメージプロセッサ）２２０、メモリ２４０、インターフェース（ＩＦ）部２６０、および変換テーブル２８０を備えている。変換テーブル２８０は、撮影時のズーム倍率と、ブラーカーネルのサイズとの関係を規定するテーブルである。変換テーブル２８０の情報に基づいて、画像処理部２２０は、ブラーカーネルのサイズを変化させる。なお、変換テーブル２８０は、メモリ２４０や他の記録媒体に格納されていてもよい。以下、変換テーブルに記録された情報を「変換テーブル情報」と呼ぶ。また、信号処理部２００は、液晶表示パネルなどの表示部３００、および、メモリカードなどの記録媒体４００に接続されている。記録媒体は撮像装置から取り外し可能である。
【００６７】
画像処理部２２０は、色調補正、解像度変更、自動露光、自動焦点、データ圧縮などの動作に必要な各種信号処理を行うほか、本発明による劣化画像の復元処理を実行する。画像処理部２２０は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、本発明に係る画像復元の処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現される。メモリ２４０は、ＤＲＡＭなどによって構成される。このメモリ２４０は、撮像部１００から得られた画像データを記録するとともに、画像処理部２２０によって各種の画像処理を受けた画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、アナログ信号に変換された後、表示部３００によって表示されたり、デジタル信号のままインターフェース部２６０を介して記録媒体４００に記録される。
【００６８】
上記の構成要素は、不図示の中央演算処理ユニット（ＣＰＵ）およびフラッシュメモリを含むシステム制御部５００によって制御される。なお、本実施形態の撮像装置は、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。
【００６９】
次に図８および図９を参照しながら、撮像部１００の構成を説明する。
【００７０】
図８は、撮像部１００における撮像素子１０、レンズ２０、および光学系駆動部４０の概略構成を模式的に示している。図示されるように、撮像素子１０は、撮像面１０ａを有している。撮像面１０ａ上には、複数の光感知セルが配列されている。レンズ２０は、光学系駆動部４０からの信号に基づいて撮像面に垂直な方向に移動することにより、焦点距離を変化させ、ズーム倍率を変化させることができる。なお、図８では、簡単のためレンズ２０は１つのレンズであるかのように描かれているが、実際には、複数のレンズの組み合わせで構成され得る。
【００７１】
図９は、撮像面１０ａを模式的に表す上面図である。この例では、光感知セル１１が行列状に配列されている。なお、光感知セル１１の配列形態は、図示されている例に限られず、個々の光感知セルの平面形状も正方形に限定されない。カラーの画像信号を生成するため、典型的には、原色カラーフィルタまたは補色カラーフィルタが個々の光感知セル１１の上に配置されている。ただし、３つの撮像素子を備え、例えばＲＧＢの３色に光を分離した後、それぞれの色の光を別々の撮像素子で受ける構成を採用してもよい。
【００７２】
以上の構成により、撮像部１００は、撮像により取得した画像および撮像時のズーム倍率を示す情報（ズーム情報）を信号処理部２００に送出する。
【００７３】
次に、図１０を参照しながら画像処理部２２０の構成を説明する。
【００７４】
図１０は、画像処理部２２０の概略構成を示すブロック図である。画像処理部２２０は、劣化画像、ズーム情報、変換テーブル情報を取得し、劣化画像から手振れによるぼやけが低減された復元画像を出力する。画像処理部２２０は、画像取得部２２３、カーネルサイズ決定部２２１、初期カーネル設定部２２２、画像復元部２２４、カーネル推定部２２６、パラメータ更新部２２８を含んでいる。
【００７５】
画像取得部２２３は、撮像部１００から劣化画像およびズーム情報を取得する。
【００７６】
カーネルサイズ決定部２２１は、撮像部１００から取得したズーム情報および変換テーブル２８０に記録された変換テーブル情報に基づいてブラーカーネルのサイズを決定する。具体的には、劣化画像取得時のズーム倍率に対応する「ブラーカーネル倍率」を変換テーブルから求め、求めたブラーカーネル倍率を基準サイズに掛けた値をブラーカーネルのサイズとして決定する。なお、「基準サイズ」とは、ズーム倍率が１倍であるときのブラーカーネルのサイズを意味するものとする。基準サイズは、予め固定値として撮像装置に設定されていてもよいし、ユーザによって手動で設定されてもよい。ブラーカーネルのサイズがユーザによって手動で設定される場合、ユーザの違いによるブレの程度の違いを考慮した、より好ましい基準サイズを設定することができる。あるいは、画像取得時の各種の撮影パラメータに基づいて撮影ごとに異なるサイズが決定されてもよい。変換テーブルの詳細については後述する。
【００７７】
初期カーネル設定部２２２は、復元処理に必要な初期ブラーカーネルを設定する。初期ブラーカーネルは、手動で設定してもよいし、予め固定の係数行列として設定されていてもよい。あるいは、画像取得時の各種の撮影パラメータに基づいて撮影ごとに異なる初期ブラーカーネルが決定されてもよい。画像処理に要する時間を短縮するという観点から、初期ブラーカーネルは、実際のブラーカーネルに近いことが好ましいが、必ずしも近くなくても復元処理は可能である。なお、初期ブラーカーネルのサイズは、後述する復元アルゴリズムによって異なる値に設定され得る。例えば、非特許文献１に開示されたアルゴリズムを用いる場合、初期ブラーカーネルのサイズは、３×３画素などの比較的小さい値に設定される。また、復元過程でブラーカーネルのサイズの変化を伴わないアルゴリズムを用いる場合、初期ブラーカーネルのサイズは、上記のカーネルサイズ決定部２２１によって決定されるサイズに設定される。
【００７８】
画像復元部２２４は、初期ブラーカーネルを用いて劣化画像から復元画像を生成する。カーネル推定部２２６は、劣化画像、および画像復元部２２４によって生成された復元画像に基づいてブラーカーネルの推定を行う。パラメータ更新部２２８は、カーネル推定部２２６によって推定されたブラーカーネルで初期ブラーカーネルを更新する。更新された初期ブラーカーネルは、画像復元部２２４に与えられ、上記の処理が繰り返し実行される。
【００７９】
図１０に示される構成は、画像処理部２２０の機能ブロックの一例を示すものであり、画像処理部２２０は他の機能ブロックに分割され得る。画像処理部２２０は、例えば公知のハードウェアに画像処理のソフトウェアを組み込むことによっても好適に実現される。なお、図１０におけるカーネルサイズ決定部２２１およびカーネル推定部２２６を合わせて、ブラーカーネル決定部２２７と呼ぶ。
【００８０】
次に、本実施形態における変換テーブルを説明する。図１１（ａ）は、本実施形態における変換テーブルの一例を示す図である。この例では、変換テーブルには、ズーム倍率の範囲とブラーカーネル倍率との間の対応関係が規定されている。このような変換テーブルを参照することにより、カーネルサイズ決定部２２１は、例えばズーム倍率がｚ１倍からｚ２倍までの範囲内にあるとき、ブラーカーネルの倍率をＡ１倍に設定すべきであることを知る。図１１（ｂ）は、変換テーブルの他の例を示す図である。この例のように、ズーム倍率に応じてブラーカーネルのサイズが直接決定されるように規定されていてもよい。この場合、上述のブラーカーネルの基準サイズを設定する必要はない。例えばズーム倍率がｚ１倍からｚ２倍までの範囲内にあるとき、ブラーカーネルのサイズは、Ｎ１×Ｎ１（Ｎ１：３以上の整数）に設定される。なお、ズーム倍率は、光学系の焦点距離を変化させることによって調整されるため、変換テーブルにおいて「ズーム倍率」の変わりに、「焦点距離」が規定されていてもよい。変換テーブルは、上記のものに限らず、光学系のズーム倍率とブラーカーネルのサイズとの間の対応関係を示すものであれば、どのようなテーブルであってもよい。
【００８１】
変換テーブルは、予め事前情報として作成される。以下、変換テーブルの作成方法の一例を説明する。
【００８２】
まず、あるズーム倍率に設定された状態で、複数人が複数回にわたって目印となる物体（画像内で移動距離が計測できるようなチャートや点光源など）を撮影し、移動量をそれぞれ計測する。次に、他のズーム倍率についても同様の計測を行い、ズーム倍率ごとに移動量の平均を求める。このようにして得られた平均移動量とズーム倍率との関係を示す情報が変換テーブルに記録される。
【００８３】
なお、変換テーブルに格納された情報は、必要に応じて書き換えられてもよい。例えば、撮像装置は、ユーザが過去に行った撮影における画像のブレの傾向を学習し、当該ユーザに合わせて変換テーブルを書き換える機能を備えていてもよい。
【００８４】
次に、本実施形態の撮像装置を使用して撮影を行う際の概略手順の例を説明する。
【００８５】
まず、ユーザは被写体に撮像装置を向け、所望のズーム倍率を選択する。次に、ユーザがシャッタボタンを半押しすると、自動焦点動作により被写体に焦点が合う。ユーザがシャッタボタンを深く押し込むと、「露光」が開始される。このとき、撮像素子１０の撮像面に被写体の像が形成される。露光中にユーザによって撮像装置が不安定に動くと、撮像素子１０の撮像面上を像が移動するため、手振れによるぼやけが画像に付加されることになる。露光が終了すると、撮像部１００は、取得した画像（劣化画像）およびズーム倍率を示す情報（ズーム情報）を信号処理部２００における画像処理部２２０に送出する。
【００８６】
次に、図１２を参照しながら画像処理部２２０における動作の手順を説明する。
【００８７】
画像処理部２２０は、ステップＳ１において、劣化画像を取得する。同様に、ステップＳ２において、ズーム情報を取得する。なお、ステップＳ１とステップＳ２とは互いに逆であってもよい。次に、ステップＳ３において、カーネルサイズ決定部２２１によってブラーカーネルのサイズが決定される。このとき、カーネルサイズ決定部２２１は、変換テーブル情報を参照してズーム倍率に対応するブラーカーネルのサイズを決定する。続いて、ステップＳ４において初期ブラーカーネル設定部２２２によって初期ブラーカーネルが決定される。
【００８８】
次に、ステップＳ５において、画像復元部２２４は、ステップＳ１で取得された劣化画像とステップＳ４で設定された初期ブラーカーネルとを用いて画像復元処理を実行する。この画像復元処理は、画像復元部２２４によって、公知の復元アルゴリズムによって実行される。画像復元部２２４は、得られた復元画像をいったんメモリ２４０に記録する。ステップＳ６では、カーネル推定部２２６が復元画像からブラーカーネルの推定を行い、パラメータ更新部２２８が、推定されたブラーカーネルによって以前のブラーカーネルを更新する。
【００８９】
続いてステップＳ７において、更新前後のブラーカーネル、および、更新前後の復元画像の変化が所定の閾値よりも小さいか否かを判定する。変化が閾値以上である場合は、再びステップＳ５の処理が行われ、以後、変化が閾値よりも小さくなるまでステップＳ５〜Ｓ７が繰り返される。変化が閾値よりも小さくなった場合は処理が収束したと判断し、ステップＳ８において、復元結果をメモリ２４０に格納する。
【００９０】
以下、ステップＳ５、Ｓ６で行われ得るブラーカーネルの推定および画像復元の詳細を説明する。
【００９１】
ここでは、非特許文献２に開示されている信号処理法による画像復元方法を説明する。非特許文献２の信号処理法による場合、まずステップＳ４で設定された初期ブラーカーネルに基づいて、第１の画像復元が行われる。この段階のブラーカーネルは、必ずしも真のブラーカーネル（正解）に一致しているものではないが、復元される結果は、劣化画像に比べると元画像に近づいたものとなる。
【００９２】
続いて、第１の画像復元の結果である第１の復元画像からブラーカーネルの推定を行う。第１の復元画像が劣化画像よりも元画像に近づいているため、推定されるブラーカーネルは正解に近づく。ここで推定したブラーカーネルを用いて、すなわち、初期ブラーカーネルを次のブラーカーネルで更新して、第２の画像復元を行う。この処理をブラーカーネルの変化、および、画像復元結果の変化がなくなるまで繰り返し行うことにより、ブラーカーネル推定と画像復元を同時に行う。
【００９３】
以下、画像復元処理の更に具体的な方法を述べる。
【００９４】
画像復元部２２４は、与えられたブラーカーネル（最初は初期値、次からは更新値）と劣化画像により、画像の復元を行う。この処理に使用する評価式ＥLを式３に示す。
【数３】
0005596138.tif 000004
ここで、Ｉは劣化画像、Ｌはぼやけのない画像Ｌ、ｆはブラーカーネルである。変数ｗｋ、λ１、λ２は手動で設定される「重み」である。Θは、どのような微分を画像に施すかを規定する演算子のセットである。Θは、具体的には、０回微分、１回微分（ｘ、ｙ方向それぞれ）、２回微分（ｘ方向に２回、ｙ方向に２回、ｘとｙ方向に１回ずつ）の合計６個の微分パラメータを持つ。ｄ*は、微分演算子である。ｄ*を用いてΘを表現すると、Θ＝｛ｄ0、ｄx、ｄy、ｄxx、ｄxy、ｄyy｝と表される。ｄ*により、輝度情報とエッジ情報の両方を用いた処理を行うことが可能になり、輝度だけでは得られない情報も得ることができる。Ｍは、２次元のマスクであり、画像中の平坦な領域、すなわち局所的なスムーズな領域（Ω）に含まれる画素では「１」の要素、それ以外の画素では「０」の要素を有している。||・||pは、ｐノルム演算子である。Φ（ｘ）は、自然に観察される画像中の輝度勾配ｘとその分布密度（対数表示）との関係を近似的に示す関数である。
【００９５】
式３の右辺における第１項は、復元画像Ｌとブラーカーネルｆとの畳み込みを行って得られる画像と劣化画像Ｉとの差（距離）を示す項である。画像に対して６個の微分パラメータによる演算を施すことにより、輝度以外の情報に基づいて画像の近似度を評価できる。
【００９６】
式３の右辺における第２項は、画像内の輝度勾配の性質（「ｈｅａｖｙ  ｔａｉｌ」と呼ばれる）を示す項である。Φ（ｄxＬ）、Φ（ｄyＬ）は、復元画像の輝度勾配をヒストグラム化したときに、勾配が０付近に出現確率の急激なピークが現れ、勾配が大きくなるにつれ出現確率が小さくなるという、統計的性質を持つ。第２項では、ｘ方向の勾配とｙ方向の勾配のそれぞれに対して、上記の統計的性質を示す分布からの距離を算出している。この統計的性質は、非特許文献１に開示されている方法でも利用されている。
【００９７】
式３の右辺における第３項は、マスクＭと微分劣化画像と微分復元画像を用いて、平坦度の評価を行う項である。平坦な領域では、劣化画像と復元画像との間で輝度の勾配値が近い値を持つ。そのため、ｘ、ｙ方向の勾配値の誤差を評価値として用いる。
【００９８】
式３の右辺を最小化するＬを求めることにより、復元画像Ｌを求めることができる（Ｌの最適化）。Ｌの最適化の具体的な計算方法は、非特許文献２に開示されている。
【００９９】
次に、復元画像Ｌが得られた後に行う、カーネル推定部２２６による処理を詳しく説明する。
【０１００】
ブラーカーネル推定は、画像復元部２２４で得られた復元画像Ｌと劣化画像Ｉとを用いてブラーカーネルｆを推定する問題である。ｆは、以下の式４の右辺を最小化するようにｆを決定することにより、ブラーカーネルｆを求めることができる（ｆの最適化）。
【数４】
0005596138.tif 000005
【０１０１】
式４の右辺における第１項は、式３の右辺における第１項に相当し、復元画像Ｌとブラーカーネルｆとの畳み込みが劣化画像Ｉに近いか否かを示す評価基準を与える。式４の右辺における第２項は、ブラーカーネルｆの１ノルムである。第２項は、スパースコーディングと呼ばれる考え方に基づく項である。ブラーカーネルｆの行例における大部分の要素が０（動きがない）であることから、この最適化項が用いられる。本実施形態では、非特許文献２と同様に「ｉｎｔｅｒｉｏｒ  ｐｏｉｎｔ  ｍｅｔｈｏｄ」による最適化を行い、全体最適化を実現できる。
【０１０２】
なお、画像復元の手順は、上記の例に限定されない。例えば、非特許文献１に開示された方法や、その他のブラインド・デコンボリューション法を用いることができる。
【０１０３】
本実施形態における画像復元で重要な点は、ズーム倍率の変化に応じてブラーカーネルのサイズを変化させることにある。これにより、画像のブレが生じ易い高倍率のズーム撮影時にはブラーカーネルのサイズは大きい値に設定されるため、ブラーカーネルのサイズが予め設定されたサイズを超えることを防止できる。逆に、低倍率のズーム撮影時にはブラーカーネルのサイズは小さい値に設定されるため、計算量が必要以上に多くなることを防止できる。また、本実施形態の撮像装置によれば、復元処理の過程で劣化画像の画素サイズを縮小する処理は含まれないため、解像度を低下させることなく画像を復元できる。
【０１０４】
なお、上記の説明において、ブラーカーネルのサイズはズーム倍率に基づいて決定されるが、ズーム倍率の代わりに露光時間に基づいてブラーカーネルのサイズを決定してもよい。その場合、変換テーブル２８０には、露光時間とブラーカーネルのサイズとの間の関係が規定される。また、画像処理部２２０は、画像取得時の露光時間を示す情報を撮像部１００から取得する。このような構成により、カーネルサイズ決定部２２１は、撮像部１００から得た露光時間と、変換テーブルの情報とから、ブラーカーネルの最適なサイズを決定することができる。
【０１０５】
図１３は、露光時間の変化に応じてブラーカーネルのサイズを変化させる構成において用いられ得る変換テーブルの例を示している。図１３（ａ）は、露光時間の範囲とブラーカーネル倍率との関係を規定する変換テーブルの例を示し、図１３（ｂ）は、露光時間の範囲とブラーカーネルのサイズとの関係を規定する変換テーブルの例を示している。図１３（ａ）、図１３（ｂ）のいずれの変換テーブルを用いても露光時間に応じて最適なサイズを決定することができる。例えば、図１３（ａ）に示す変換テーブルが用いられるとき、画像取得時の露光時間がＴ１からＴ２までの範囲内であった場合、ブラーカーネル倍率はＢ１に設定される。
【０１０６】
さらに、撮像装置は、ズーム倍率および露光時間の両方の変化に応じてブラーカーネルのサイズを変化させてもよい。この場合、ズーム倍率に関する変換テーブルおよび露光時間に関する変換テーブルの両方が撮像装置に記録されていればよい。このとき、ズーム倍率および露光時間に基づいて各テーブルから得られる倍率を基準サイズに掛け合わせることによってブラーカーネルのサイズが決定される。例えば、図１１（ａ）に示すズーム倍率に関する変換テーブルと図１３（ａ）に示す露光時間に関する変換テーブルとが撮像装置に記録されている場合において、ズーム倍率がｚ２からｚ３までの間の範囲内にあり、露光時間がＴ１０からＴ１１までの範囲内にあるとき、ブラーカーネルのサイズは、基準サイズに（Ａ２×Ｂ１０）を掛けたサイズに設定される。
【０１０７】
また、ズーム倍率に関する変換テーブルと露光時間に関する変換テーブルとは、１つのテーブルに統合されていてもよい。図１４は、これらの情報が統合されたテーブルの例を示す図である。図１４（ａ）は、ズーム倍率および露光時間の組み合わせと、ブラ―カーネル倍率との対応関係を規定する変換テーブルの例を示している。図１４（ｂ）は、ズーム倍率および露光時間の組み合わせと、ブラ―カーネルサイズとの対応関係を規定する変換テーブルの例を示している。図１４（ａ）、図１４（ｂ）のいずれの変換テーブルを用いても、ズーム倍率および露光時間の両方の情報を加味して最適なブラ―カーネルのサイズを決定することができる。例えば、図１４（ａ）に示す変換テーブルを用いた場合、ズーム倍率がｚ２からｚ３までの間の範囲内にあり、露光時間がＴ２からＴ３までの範囲内にあるとき、ブラ―カーネル倍率はＣ２２に設定される。
【０１０８】
なお、本実施形態において、ズーム倍率や露光時間などの変化に応じてブラーカーネルのサイズを適切に変化させることができれば、必ずしも変換テーブルを用いる必要はない。例えば、ズーム倍率や露光時間とブラーカーネルサイズとの関係を表す関数を用いれば同様の処理が可能となる。この場合、まず、予め既知の撮影対象をズーム倍率や露光時間を変えながら撮影し、様々なズーム倍率や露光時間におけるブラーカーネルサイズを取得する。次に、ズーム倍率や露光時間を横軸とし、ブラーカーネルサイズを縦軸とする二次元空間に取得したデータをプロットする。続いて、プロットされたデータに対して線形回帰や曲線当てはめを行い、ズーム倍率や露光時間とブラーカーネルサイズとの間の関係を多次元関数として表す。このようにして多次元関数が求まれば、撮影時に得られるズーム倍率や露光時間を、求めた多次元関数に入力することにより、ブラーカーネルサイズが得られる。このような方法によれば変換テーブルは不要である。
【０１０９】
なお、本実施形態の画像復元処理は、撮像装置とは独立した画像処理装置によっても実行され得る。例えば、撮像装置によって取得された劣化画像、ズーム情報、露光時間情報などを画像処理装置に入力し、図１２に示す処理を規定するプログラムをその画像処理装置内のコンピュータに実行させることによっても復元画像を得ることができる。
【０１１０】
（実施形態２）
次に、図１５から図１７を参照しながら本発明の第２の実施形態を説明する。本実施形態の撮像装置においても、実施形態１の撮像装置と同様、ズーム倍率の変化とブラーカーネルサイズの変化との関係に基づいてブラーカーネルサイズが決定される。ただし、本実施形態の撮像装置は、実施形態１の撮像装置とは異なり、撮像装置に設けられた手振れ検知部の情報に基づいてブラーカーネルのサイズが決定される。以下、本実施形態の撮像装置と実施形態１の撮像装置との間の相違点を説明し、重複部分についての説明は省略する。
【０１１１】
図１５は、本実施形態の撮像装置の概略構成を示す図である。図示されるように、撮像部１００は手振れ検知部５０を備えている。手振れ検知部５０は、例えばジャイロセンサなどの角速度センサであり、撮影時の撮像装置の角速度を検知することによってカメラの移動量を示す情報（手振れ情報）を生成する。ここで、手振れ検知部５０は、手振れの大きさを検知できるものであれば公知のどのようなセンサであってもよい。手振れ情報は、劣化画像およびズーム情報とともに信号処理部２００における画像処理部２２０に与えられる。
【０１１２】
本実施形態における変換テーブル２８０は、ズーム倍率に関する情報に加え、カメラの移動量に関する情報が含まれている。図１６は、そのような変換テーブル２８０の例を示す図である。例えば、ズーム倍率がｚ１からｚ２の範囲内にあり、かつ手振れ情報から得られるカメラの移動量がＭ２からＭ３の範囲内にあるとき、ブラーカーネル倍率はＡ１２に設定される。ここで、カメラの移動量とは、例えば、露光中に発生した手振れに起因して像が最大何画素移動するかを示す数値として定義することができる。なお、変換テーブル２８０は、上記の例に限らず、ズーム倍率に関する変換テーブルと、手振れの大きさに関する変換テーブルとが個別に記録されていてもよい。その場合、各テーブルから得られる倍率をかけ合わせることによってブラーカーネル倍率を決定することができる。
【０１１３】
図１７は、本実施形態における画像処理部２２０における画像処理の流れを示すフロー図である。ステップＳ１１、Ｓ１２では、実施形態１におけるステップＳ１、Ｓ２と同様、劣化画像およびズーム情報が取得される。Ｓ１３において、カーネルサイズ決定部２２１は、手振れ検知部５０によって生成された手振れ情報を取得する。続いて、ステップＳ１４において、カーネルサイズ決定部２２１は、ブラーカーネルのサイズを、ズーム倍率、手振れ情報、および変換テーブル情報に基づいて決定する。ステップＳ１５以降の処理は、実施形態１と同様の処理が実行される。
【０１１４】
なお、ステップＳ１５においては、手振れ検知部５０から得られる情報を用いて公知の方法によってブラーカーネルを推定し、推定されたブラーカーネルを初期ブラーカーネルとして設定してもよい。手振れ検知部の情報からブラーカーネルを推定する方法は、例えば、特開２００６−１２９２３６に開示されている。このようにして初期ブラーカーネルを設定した場合、ステップＳ１６〜Ｓ１８の代わりに公知のウィーナーフィルタ法やリチャードソン・ルーシー（ＲＬ）法などのノンブラインド・デコンボリューション法によって復元画像を得てもよい。
【０１１５】
本実施形態における変換テーブルの作成方法は、実施形態１における作成方法とほぼ同様である。ただし、ズーム倍率（焦点距離）だけではなく、手振れ検知部からの情報も考慮して計測を行う必要がある。
【０１１６】
本実施形態の撮像装置によれば、手振れ検知部５０による情報を利用するため、実際に発生した手振れの大きさを考慮してブラーカーネルのサイズを決定することができる。そのため、実施形態１の撮像装置と比較して、ブラーカーネルのサイズを、さらに適した値に設定することができる。
【０１１７】
本実施形態においては、ズーム倍率および手振れ情報に基づいてブラーカーネルのサイズを決定するが、本発明は、このような決定の仕方に限られない。例えば、実施形態１と同様、さらに露光時間を示す情報を用いてブラーカーネルのサイズを決定してもよい。また、ズーム倍率を示す情報は利用せず、代わりに露光時間を示す情報を用いてもよい。さらに、ズーム倍率や露光時間に関する情報を用いず、手振れ検知部５０から得られる情報のみに基づいてブラーカーネルのサイズを決定することも可能である。このような構成は、特にズームレンズを有さず焦点距離が固定された単焦点レンズを有する撮像装置において有用である。
【０１１８】
なお、本実施形態の復元処理も、撮像装置とは独立した画像処理装置によって実行され得る。例えば、撮像装置によって取得された劣化画像、ズーム情報、手振れ情報などを画像処理装置に入力し、図１７に示す処理を規定するプログラムをその画像処理装置に実行させることによっても復元画像を得ることができる。
【産業上の利用可能性】
【０１１９】
本発明の撮像装置は、手振れによってぼやけが生じ得る撮像装置に適用して高い産業上の利用可能性がある。ＰＳＦが未知の状況下でＰＳＦおよび復元画像の両方を推定することができるため、特別の手振れ防止機構を設けることなく、あるいは、そのような手振れ防止機構とともに、ぼやけの少ない画像を得ることが可能になる。【０１２０】
本発明の画像処理装置は、撮像装置に内蔵される必要は無く、撮像装置によって取得された画像のデータを受け取り、処理するように構成され得る。
【符号の説明】
【０１２１】
１０    撮像素子
１１    光感知セル
１５    絞り機能を有するシャッタ
２０    撮影レンズ
３０    撮像素子駆動部
４０    光学系駆動部
５０    手振れ検知部
１００  撮像部
２００  信号処理部
２２０  画像処理部
２２１  カーネルサイズ決定部
２２２  初期カーネル推定部
２２３  画像取得部
２２４  画像復元部
２２６  カーネル推定部
２２７  ブラーカーネル決定部
２２８  パラメータ更新部
２４０  メモリ
２５０  画像処理装置
２６０  インターフェース（ＩＦ）
２８０  変換テーブル
３００  表示部
４００  記録媒体
５００  システム制御部
【図１Ａ】
0005596138.tif 000006
【図１Ｂ】
0005596138.tif 000007
【図１Ｃ】
0005596138.tif 000008
【図２】
0005596138.tif 000009
【図３Ａ】
0005596138.tif 000010
【図３Ｂ】
0005596138.tif 000011
【図４】
0005596138.tif 000012
【図５】
0005596138.tif 000013
【図６】
0005596138.tif 000014
【図７】
0005596138.tif 000015
【図８】
0005596138.tif 000016
【図９】
0005596138.tif 000017
【図１０】
0005596138.tif 000018
【図１１】
0005596138.tif 000019
【図１２】
0005596138.tif 000020
【図１３】
0005596138.tif 000021
【図１４】
0005596138.tif 000022
【図１５】
0005596138.tif 000023
【図１６】
0005596138.tif 000024
【図１７】
0005596138.tif 000025
【図１８】
0005596138.tif 000026