(57)【要約】【課題】像ブレ画像を良好に回復可能な画像処理装置を提供する。【解決手段】画像処理装置は、撮影条件情報に基づいて光学伝達関数を決定する決定手段と、ブレ情報を取得する取得手段と、光学伝達関数およびブレ情報に基づいて画像回復処理の方法を選択する制御手段と、選択された画像回復処理の方法を用いて画像回復処理を行う画像回復手段とを有する。【選択図】図１
2015231190.tif 000002
【特許請求の範囲】
【請求項１】
撮影条件情報に基づいて光学伝達関数を決定する決定手段と、
ブレ情報を取得する取得手段と、
前記光学伝達関数および前記ブレ情報に基づいて画像回復処理の方法を選択する制御手段と、
選択された前記画像回復処理の方法を用いて画像回復処理を行う画像回復手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、
前記撮影条件情報に基づく前記光学伝達関数を第１の光学伝達関数として決定し、
前記ブレ情報に基づいて前記第１の光学伝達関数から第２の光学伝達関数を決定する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記第１の光学伝達関数に、前記ブレ情報に基づいて取得されるブレの周波数特性を付加することにより、前記第２の光学伝達関数を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記制御手段は、前記第１の光学伝達関数または前記第２の光学伝達関数の絶対値である変調伝達関数に基づいて、前記画像回復処理の方法を選択することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記制御手段は、前記変調伝達関数の窪み領域に基づいて、前記画像回復処理の方法を選択することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記制御手段は、前記変調伝達関数の前記窪み領域の数に基づいて、前記画像回復処理の方法を選択することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記制御手段は、
前記窪み領域の数が所定の数以上である場合、前記画像回復処理を行わないように制御し、
前記窪み領域の数が前記所定の数よりも小さい場合、前記画像回復処理を行うように制御する、ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記制御手段は、前記窪み領域の値に基づいて前記画像回復処理の方法を選択することを特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記制御手段は、前記窪み領域のうち最も低周波の窪み領域の位置および値に基づいて、前記画像回復処理の方法を選択することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記制御手段は、
前記窪み領域の値が所定の値以下である場合、前記第１の光学伝達関数を用いて前記画像回復処理を行うように制御し、
前記窪み領域の値が前記所定の値よりも大きい場合、前記第２の光学伝達関数を用いて前記画像回復処理を行うように制御する、ことを特徴とする請求項８または９に記載の画像処理装置。
【請求項１１】
前記制御手段は、
前記窪み領域の値ＭＴＦＤＩＰが０≦ＭＴＦＤＩＰ≦０．０５を満たす場合、前記第１の光学伝達関数を用いて前記画像回復処理を行うように制御し、
ＭＴＦＤＩＰ＞０．０５を満たす場合、前記第２の光学伝達関数を用いて前記画像回復処理を行うように制御する、ことを特徴とする請求項８乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記ブレ情報は、ブレ軌跡、ブレ最大値、および、ブレ平均座標に関する情報の少なくとも一つを含むことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記ブレ情報は、撮影の際における撮像装置に設けられたブレ補正手段の動作に関する情報を含むことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記決定手段は、像高ごとに前記光学伝達関数を決定することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
撮像光学系を介して得られた光学像を光電変換する撮像手段と、
撮影条件情報に基づいて光学伝達関数を決定する決定手段と、
ブレ情報を取得する取得手段と、
前記光学伝達関数および前記ブレ情報に基づいて画像回復処理の方法を選択する制御手段と、
選択された前記画像回復処理の方法を用いて画像回復処理を行う画像回復手段と、を有することを特徴とする撮像装置。
【請求項１６】
撮影条件情報に基づいて光学伝達関数を決定するステップと、
ブレ情報を取得するステップと、
前記光学伝達関数および前記ブレ情報に基づいて画像回復処理の方法を選択するステップと、
選択された前記画像回復処理の方法を用いて画像回復処理を行うステップと、を有することを特徴とする画像処理方法。
【請求項１７】
撮影条件情報に基づいて光学伝達関数を決定するステップと、
ブレ情報を取得するステップと、
前記光学伝達関数および前記ブレ情報に基づいて画像回復処理の方法を選択するステップと、
選択された前記画像回復処理の方法を用いて画像回復処理を行うステップと、コンピュータに実行させるように構成されていることを特徴とする画像処理プログラム。
【請求項１８】
請求項１７に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像回復を行う画像処理装置に関する。
【背景技術】
【０００２】
撮像光学系を介して撮影された被写体は、撮像光学系で発生する回折や収差等の影響により、１点から発生した光を１点に収束させることができず、微小な広がりを持つ。このような微小な広がりを持った分布を、点像強度分布関数（ＰＳＦ）と呼ぶ。このような撮像光学系の影響により、撮影画像は、被写体像にＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。
【０００３】
近年、撮影画像を電子データとして保持することが一般的になり、画像処理によって光学系による画像劣化を補正する画像回復処理が提案されている。画像回復処理としては、例えば、ウィナーフィルタを用いた画像回復処理が知られている。また、撮影時にはブレによる画像劣化（手振れに伴う像ブレ）が生じ得る。防振機能を備えた撮像装置を用いても、ブレが大きくなるとブレ補正（像ブレ補正）を効果的に行うことができない場合がある。
【０００４】
特許文献１には、ブレ補正光学系が駆動したか否かに応じて回復処理を切り替える撮像装置が開示されている。特許文献２には、ブレ補正光学系が駆動した際の制御位置の誤差を考慮して回復処理を行う撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２３９９６２号公報
【特許文献２】特開２００５−２５２７６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、像ブレ画像（撮影画像）には光学伝達関数（ＯＴＦ）が０となる複数の点が含まれており、画像回復を行うことは困難である。また、撮影画像には、像ブレだけでなく撮像装置によるボケに伴う像劣化も生じる。像ブレとボケの両方を合わせた特性により、画像回復処理の難易度は変化する。ここで、画像回復処理の難易度とは、画像回復処理における容認できない弊害の発生のしやすさである。このような弊害が発生しやすい場合には画像回復処理の難易度は高く、発生しにくい場合には難易度は低いといえる。このような弊害に関して、特許文献１、２には言及されていない。
【０００７】
そこで本発明は、像ブレ画像を良好に回復可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての画像処理装置は、撮影条件情報に基づいて光学伝達関数を決定する決定手段と、ブレ情報を取得する取得手段と、前記光学伝達関数および前記ブレ情報に基づいて画像回復処理の方法を選択する制御手段と、選択された画像回復処理の方法を用いて画像回復処理を行う画像回復手段とを有する。
【０００９】
本発明の他の側面としての撮像装置は、撮像光学系を介して得られた光学像を光電変換する撮像手段と、撮影条件情報に基づいて光学伝達関数を決定する決定手段と、ブレ情報を取得する取得手段と、前記光学伝達関数および前記ブレ情報に基づいて画像回復処理の方法を選択する制御手段と、選択された前記画像回復処理の方法を用いて画像回復処理を行う画像回復手段とを有する。
【００１０】
本発明の他の側面としての画像処理方法は、撮影条件情報に基づいて光学伝達関数を決定するステップと、ブレ情報を取得するステップと、前記光学伝達関数および前記ブレ情報に基づいて画像回復処理の方法を選択するステップと、選択された画像回復処理の方法を用いて画像回復処理を行うステップとを有する。
【００１１】
本発明の他の側面としての画像処理プログラムは、撮影条件情報に基づいて光学伝達関数を決定するステップと、ブレ情報を取得するステップと、前記光学伝達関数および前記ブレ情報に基づいて画像回復処理の方法を選択するステップと、選択された画像回復処理の方法を用いて画像回復処理を行うステップと、コンピュータに実行させるように構成されている。
【００１２】
本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。
【００１３】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１４】
本発明によれば、像ブレ画像を良好に回復可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】実施例１における画像処理方法（画像回復処理）のフローチャートである。
【図２】実施例１において、ブレ特性を含むＯＴＦの生成過程を示す図である。
【図３】実施例１において、ブレ特性を含むＯＴＦの周波数ディップの一例を示す図である。
【図４】実施例１におけるブレ特性の一例を示す図である。
【図５】実施例１において、ブレ特性のみを画像回復処理した際の画像回復効果の一例を示す図である。
【図６】実施例１におけるボケとブレ特性の一例を示す図である。
【図７】実施例１において、ボケとブレ特性を画像回復処理した際の画像回復効果の一例を示す図である。
【図８】実施例１において、ボケのみを画像回復処理した際の画像回復効果の一例を示す図である。
【図９】実施例１におけるボケとブレ特性の一例を示す図である。
【図１０】実施例１において、ボケとブレ特性を画像回復処理した際の画像回復効果の一例を示す図である。
【図１１】実施例１において、ボケのみを画像回復処理した際の画像回復効果の一例を示す図である。
【図１２】実施例２における画像処理装置のブロック図である。
【図１３】実施例３における撮像装置のブロック図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。
【００１７】
まず、本実施例における画像処理方法（画像回復処理）の概略について説明する。実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）、ＰＳＦ（点像強度分布関数）をｈ（ｘ，ｙ）、劣化した画像をｇ（ｘ，ｙ）とすると、これらは以下の式（１）のように表される。
【００１８】
ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ…  （１）
式（１）にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、以下の式（２）の関係が成立する。
【００１９】
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ）  …  （２）
ここで、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。このため、以下の式（３）が成立する。
【００２０】
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）  …  （３）
式（３）は、周波数空間上で、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）を点像強度分布関数ｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で割ると、劣化を受ける前の画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）が得られることを意味している。従って、Ｆ（ｕ，ｖ）にフーリエ逆変換を施せば、劣化をうける前の画像ｆ（ｘ，ｙ）を得ることができる。
【００２１】
しかしながら、実際に、このような処理を行って劣化を受ける前の画像を得ようとすると、撮像素子によって生じたノイズが増幅し、また画像上にリンギング（細かい線状の信号または縞模様など）を発生させる可能性が高くなる。このため、単純な逆特性で除算することにより良好な画像を得ることは困難である。
【００２２】
そこで、ノイズ増幅を抑制するための画像回復方法として、以下の式（４）で表されるウィナーフィルタＷ（ｕ，ｖ）を用いることが知られている。
【００２３】
Ｗ（ｕ，ｖ）＝１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜２／（｜Ｈ（ｕ，ｖ）２＋Γ）  …  （４）
ここで、Ｈ（ｕ，ｖ）は光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）であり、Γはノイズの増幅量を低減するための定数である。
【００２４】
式（４）を、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）に乗算すれば、光学系の回折や収差により発生したＰＳＦの位相成分を０にし、振幅成分の周波数特性を増幅することで、高解像度かつ良好な画像を得ることができる。すなわち、ウィナーフィルタを用いた画像回復処理により回復された画像の周波数空間情報をＲ（ｕ，ｖ）とすると、以下の式（５）が成り立つ。
【００２５】
Ｒ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）＊Ｗ（ｕ，ｖ）  …  （５）
また、一般的な撮影環境を考えると、撮影時にはブレによる画像劣化（手振れに伴う像ブレ）も発生しやすい。近年、三脚などの固定機材を用いることなく、防振機能（ブレ補正手段）を用いてブレによる画像劣化を低減可能な撮像装置が知られている。しかし、防振機能を備えた撮像装置を用いても、ブレが大きくなると効果的な防振を行うことができない場合がある。
【００２６】
ブレの周波数特性（ブレの特性）をＳ（ｕ，ｖ）、ブレの周波数特性を含む光学伝達関数（ＯＴＦ）をＨｓ（ｕ，ｖ）とすると、以下の式（６）が成り立つ。
【００２７】
Ｈｓ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）＊Ｓ（ｕ，ｖ）  …  （６）
また、式（４）のＨ（ｕ，ｖ）をＨｓ（ｕ，ｖ）に置き換えると、以下の式（７）のように表される。
【００２８】
Ｗ（ｕ，ｖ）＝１／Ｈｓ（ｕ，ｖ）＊｜Ｈｓ（ｕ，ｖ）｜２／（｜Ｈｓ（ｕ，ｖ）｜２＋Γ）  …  （７）
このように、式（７）を用いることにより、ボケとブレの同時補正が可能となる。以降、ボケの特性をＨ（ｕ，ｖ）、ブレの特性をＳ（ｕ，ｖ）、ブレの特性を含むボケの特性をＨｓ（ｕ，ｖ）とする。一般的に、ブレの特性を含む画像回復処理には共通の課題がある。すなわち、ブレの特性Ｓ（ｕ，ｖ）による画像劣化が極めて大きく、何回も０を跨ぐような振舞いをみせることである。前述のように、画像回復処理は周波数特性を割り戻す処理であるから、式（３）において、Ｈ（ｕ０，ｖ０）＝０となる場合があり、常にこのような問題が生じ得る。以降、この場合を「０割」と呼び、各実施例は、これを回避するように構成される。
【実施例１】
【００２９】
次に、図１を参照して、本発明の実施例１における画像処理方法（画像回復処理）について説明する。図１は、本実施例における画像処理方法のフローチャートである。図１の各ステップ（本実施例における画像処理方法）は、例えば、画像処理装置または撮像装置に設けられた画像処理部により実行される。
【００３０】
まずステップＳ１０１において、画像処理部は、画像回復処理の対象画像（撮影画像）を選択する。この画像には、予め撮影時の様々な情報（撮影条件情報）が付加されている。そしてステップＳ１０２において、画像処理部は、画像回復処理を開始する。続いてステップＳ１０３において、画像処理部は、撮影条件情報に含まれる、撮影時の撮像光学系の焦点距離、Ｆ値、および、被写体距離などに基づいて、撮像光学系の光学伝達関数（ＯＴＦ）を取得する。また、撮影条件情報には、画素ピッチや画素開口形状などの撮像素子の情報、および、光学ローパスフィルタに関する情報も含まれており、画像処理部は、これらの情報（撮像素子や光学ローパスフィルタの特性）を加味したＯＴＦを生成する。また、ＯＴＦの特性は像高ごとに互いに異なるため、画像処理部は、像高ごとにＯＴＦを生成する。ステップＳ１０３にて決定されたＯＴＦは、ボケを補正するように画像回復処理を行うためのＯＴＦ（第１のＯＴＦ）である。
【００３１】
続いてステップＳ１０４において、画像処理部は、撮影時のブレ（像ブレ）に関する情報（ブレ情報）を取得する。撮像装置にジャイロセンサが設けられている場合、画像処理部は、ブレ情報として、ジャイロセンサから取得される信号またはその信号に基づく情報を用いる。また、撮像装置（撮像光学系）に光学的な防振機構（ブレ補正手段）が設けられている場合、画像処理部は、ブレ情報として、防振機構が駆動されたか否かの情報、および、防振のために駆動される防振レンズ群の移動軌跡に関する情報を用いる。また、画像処理部は、防振レンズ群の移動軌跡に代えて、ブレ最大値やブレ平均座標に関する情報などを用いてもよい。画像処理部は、ブレ情報に基づいて、ブレの周波数特性（ブレ特性）を算出する。そしてステップＳ１０５において、画像処理部は、ステップＳ１０３にて取得したＯＴＦ（第１のＯＴＦ）に、ブレ特性を乗算する（付加する）ことにより、ブレの影響を考慮したＯＴＦ（第２のＯＴＦ）を生成する。ステップＳ１０５にて決定されたＯＴＦは、ボケとブレを補正するように画像回復処理を行うためのＯＴＦ（第２のＯＴＦ）である。
【００３２】
ここで、図２を参照して、ブレの周波数特性（ブレ特性）を含むＯＴＦの生成過程（ステップＳ１０３〜Ｓ１０５）について具体的に説明する。図２は、ブレ特性を含むＯＴＦの生成過程を示す図である。
【００３３】
画像処理部は、予め想定される撮像光学系に対応するＯＴＦを準備し、例えば内部または外部の記憶手段に記憶させておく。そして画像処理部は、前述の撮影条件に関して（撮影条件情報に基づいて）各像高位置に対応するＯＴＦを色成分ごとに取得する（ステップＳ１０３）。また画像処理部は、各像高位置に対応するブレ特性を取得する（ステップＳ１０４）。続いて画像処理部は、撮影条件情報に基づいて取得したＯＴＦに、撮像装置のブレ特性を付加したＯＴＦ（ブレ特性を含むＯＴＦ）を生成する（ステップＳ１０５）。このとき、処理負荷やデータ量などを考慮して、前述の像高に応じて可変なブレ特性を用いることが困難である場合、ブレ特性を像高に依存しない一定の特性としてもよい。
【００３４】
続いて、図１のステップＳ１０６において、画像処理部は、画像回復処理（画像回復方法）を決定する。画像回復処理においてブレとボケの両方を補正する際、ブレによるＯＴＦの周波数０落ちや、ＯＴＦの変調に伴い大きな変動が発生することにより、画像回復が困難になる場合がある。このため、ブレによる劣化およびボケによる劣化を同時に考慮して画像回復処理を行うことが好ましい。ブレ補正の可否は、ブレの大きさに加えて、ブレがないときのＯＴＦに依存する。このため画像処理部は、ブレとボケを同時に含む画像を補正する場合、まず画像回復方法を選択する。ここで画像回復方法の選択とは、例えば、ブレとボケを同時に補正する処理、ボケのみを補正する処理、ブレとボケの両方とも補正しない処理の３つの画像回復方法の中から一つを選択することである。
【００３５】
続いて、ステップＳ１０６における画像回復方法の選択基準の一例について説明する。まず、画像処理部は、ブレがないときのＯＴＦにブレの周波数特性（ブレ特性）を乗算し、ブレとボケの両方の特性を含むＯＴＦを生成する。次に、画像処理部は、生成したＯＴＦの絶対値である変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）を生成する。そして画像処理部は、ＭＴＦのディップ（周波数ディップ）に基づいて画像回復方法を決定する。以降、ＯＴＦの実部成分をｒｅＯＴＦ、ＯＴＦの虚部成分をｉｍＯＴＦとする。ここで、ディップとは、周波数空間において発生する窪み（窪み領域）である。本実施例において、任意の周波数空間上の窪みにおいて、その窪みのＭＴＦ値（ＭＴＦＤＩＰ）より５％以上高いＭＴＦ値がその窪みよりも高周波側に存在する場合、その窪みをディップであると定義する。ただし本実施例はこれに限定されるものではなく、他の基準に基づいてディップ（窪み）を定義してもよい。例えば、ＭＴＦ値が所定の値以下である（０≦ＭＴＦＤＩＰ≦０．１、または、０≦ＭＴＦＤＩＰ≦０．０５など）場合、この領域を窪みとして定義することもできる。
【００３６】
第１の判定として、ＭＴＦのディップの数が所定の数を超えている場合、画像処理部は、ブレとボケの両方とも補正しない処理（第１の処理）を選択する（すなわち、画像回復処理を行わない）。このとき、図１のフローは、ステップＳ１０７、Ｓ１０８を経て、ステップＳ１１１に進む。ＭＴＦのディップの数は、２次元の周波数空間上での数であるか、または、特定の１次元方向における数でもよい。図３は、ブレ特性を含むＯＴＦの周波数ディップの一例であり、ブレ特性を乗じた２次元ＭＴＦを示している。図３中の白丸がディップである。
【００３７】
第１の判定にてＭＴＦのディップの数が所定の数を超えていない場合、画像処理部は第２の判定を行う。第２の判定では、画像処理部は、ＭＴＦのディップの位置および値に基づいて、ブレとボケを同時に補正する処理（第２の処理）、または、ボケのみを補正する処理（第３の処理）のうち一つを選択する。好ましくは、画像処理部は、ＭＴＦのディップの中で最も低周波なディップの位置および値に基づいて、第２の処理または第３の処理の一方を選択する。第２の処理が選択された場合、ステップＳ１０７を経てステップＳ１０９に進む。ステップＳ１０９において、画像処理部はブレとボケを同時に画像回復し、ステップＳ１１１に進む。一方、第３の処理が選択された場合、ステップＳ１０７、Ｓ１０８を経てステップＳ１１０に進む。ステップＳ１１０において、画像処理部はボケのみを画像回復し、ステップＳ１１１に進む。そしてステップＳ１１１において、画像処理部は、第１の処理、第２の処理、または、第３の処理を行った後の画像（回復画像）を出力する。
【００３８】
次に、ＭＴＦのディップに基づいて画像回復方法（画像回復処理）を判定する方法について詳述する。図４は、ブレ特性の一例を示す図である。図４は、撮像領域の中心部に相当する光学性能が良好である場合を示しており、撮影画像の劣化はブレのみにより発生している。図４中の各グラフの点線はＰＳＦの垂直方向の周波数特性を示し、実線はＰＳＦの水平方向の周波数特性を示している。また各グラフにおいて、横軸は±ナイキスト周波数で規格化されている。なお各グラフにおいて、前述のように、ＰＳＦにはボケによる劣化は含まれていないため、各グラフはブレ特性（ブレの周波数特性）そのものを示している。
【００３９】
図４（ａ）は、撮像素子の１画素のみにＰＳＦが存在している場合を示している。このとき、ＯＴＦの実部ｒｅＯＴＦは帯域内の全周波数において１、虚部ｉｍＯＴＦは帯域内の全周波数において０、ＭＴＦは帯域内の全周波数において１である。図４（ｂ）は、図４（ａ）のＰＳＦがブレにより若干シフトしている場合を示している。図４（ｃ）は、図４（ａ）のＰＳＦがブレにより図４（ｂ）の場合よりも大きくシフトしている場合を示している。図４（ｂ）、（ｃ）を見ると、実部ｒｅＯＴＦ、虚部ｉｍＯＴＦ、および、ＭＴＦの全てが大きく振動し、多数のディップ（窪み）が発生していることがわかる。また図４（ｂ）、（ｃ）は、振動の特性として、何回も０の周辺を通る特性を示している。このように、単に値が０近傍になる場合だけでなく、低周波側の周波数特性の値が高周波側の周波数特性の値よりも著しく小さい場合、良好に画像回復処理を行うことが困難となる。このような場合、ブレを含めた画像回復処理を行っても良好な結果を期待することができない。このため、ボケの成分のみに関して画像回復処理を行うことが好ましい。
【００４０】
図５は、ブレ特性のみを画像回復処理した際の画像回復効果の一例を示す図である。図５（ａ）〜（ｃ）の撮影画像（上段）および回復画像（下段）は、図４（ａ）〜（ｃ）のそれぞれにおけるブレを補正した場合に対応している。図５に示される撮影画像と回復画像とを比較すると、図５（ｂ）、（ｃ）において、回復画像には被写体のエッジ部にリンギングやムラが発生していることがわかる。このような現象は、前述のＯＴＦの大きな振動により生じ、画像回復処理による弊害ともいえる。従って、このような場合、画像回復処理そのものを行わないほうがよい。
【００４１】
図６は、ボケとブレ特性の一例を示す図であり、撮像領域の周辺部に相当する光学性能が良好でない場合を示す。図６（ａ）、（ｂ）、（ｃ）のブレ量は、図４（ａ）、（ｂ）、（ｃ）のブレ量とそれぞれ同じである。図４と同様に、図６中の各グラフの点線はＰＳＦの垂直方向の周波数特性を示し、実線はＰＳＦの水平方向の周波数特性を示している。また同様に、各グラフの横軸は、±ナイキスト周波数で規格化されている。
【００４２】
図６（ａ）は、ブレがない場合のＰＳＦを示している。このとき、ＯＴＦの実部ｒｅＯＴＦは、周波数が高くなるにつれてなだらかに減少し、虚部ｉｍＯＴＦも同様になだらかな特性を示す。ＭＴＦも同様に、周波数が高くなるにつれてなだらかに減少している。図６（ｂ）は、図６（ａ）のＰＳＦがブレにより、図４（ｂ）のＰＳＦで示される軌跡でシフトした場合を示している。図６（ｃ）は、図６（ａ）のＰＳＦがブレにより、図４（ｃ）のＰＳＦで示される軌跡で、図６（ｂ）よりも大きくシフトしている場合を示している。図６（ｂ）に示されるように、実部ｒｅＯＴＦ、虚部ｉｍＯＴＦ、および、ＭＴＦにおいて、ブレによる振動が見られるが、図４（ｂ）と比較するとその振動は小さい。このような場合、ブレがない状態で光学性能が低い場合と同様に留意することにより、良好な画像回復処理が可能である。すなわち、例えばＯＴＦにおいて周波数０のＤＣから第１のディップまでに帯域を制限するなどにより画像回復処理を行うと、良好な回復処理を行うことができる。図６（ｃ）では、ブレによるＯＴＦの変調が大きく、弊害を発生させない良好な画像回復処理を行うことは困難である。このため図６（ｃ）の場合、ブレ成分に関しては画像回復処理を行うことなく、ボケ成分のみに関して画像回復処理を行うことが好ましい。
【００４３】
図７は、ボケとブレ特性を画像回復処理した際の画像回復効果の一例を示す図である。図７（ａ）〜（ｃ）の撮影画像（上段）および回復画像（下段）は、図６（ａ）〜（ｃ）のそれぞれにおけるボケとブレを補正した場合に対応している。図７（ａ）は、ブレがなくボケのみの撮影画像および回復画像を示している。図７（ｂ）、（ｃ）は、撮影画像に含まれるブレとボケを同時に補正して得られた回復画像を示している。図７（ａ）において、撮影画像にはブレが含まれていないため、良好な回復画像が得られる。図７（ｂ）は、前述のようにＯＴＦがブレにより変調されている。ただし図６（ｂ）に示されるように、ブレ特性を乗算して得られたＯＴＦはなだらかな特性を有しているため、図７（ｂ）の撮影画像から良好に回復画像が得られる。一方、図７（ｃ）はブレが大きいため、撮影画像から良好に回復画像を得ること（弊害なく回復すること）は難しい。
【００４４】
図８は、ボケのみを画像回復処理した際の画像回復効果の一例を示す図である。図８（ａ）〜（ｃ）の撮影画像（上段）および回復画像（下段）は、図６（ａ）〜（ｃ）のそれぞれにおけるボケのみを補正した場合に対応している。図８（ａ）〜（ｃ）において、ボケ成分のみであるが、撮影画像から良好に回復画像が得られている。
【００４５】
図９は、ボケとブレ特性の一例を示す図であり、図４の光学特性と図６の光学特性の中間程度の光学性能を有する場合を示している。図９（ａ）、（ｂ）、（ｃ）のブレ量は、図４（ａ）、（ｂ）、（ｃ）のブレ量とそれぞれ同じである。図４と同様に、図９中の各グラフの点線はＰＳＦの垂直方向の周波数特性を示し、実線はＰＳＦの水平方向の周波数特性を示している。また同様に、図９中の各グラフにおいて、横軸は±ナイキスト周波数で規格化されている。
【００４６】
図９（ａ）は、ブレがないため、良好な画像回復が可能な状態を示している。図９（ｂ）は、ブレの周波数特性（ブレ特性）とボケに関するＯＴＦとを合わせた特性が、良好に画像回復可能な（弊害を発生させることなく回復処理が可能な）境界に近い状態を示している。この場合も、ＯＴＦにおいて周波数０のＤＣ成分から第１のディップまでに帯域を制限するなどにより画像回復処理を行うと、良好な画像回復処理を行うことができる。一方、図９（ｃ）は、ブレが大きく、良好に画像回復処理を行うのが困難な状態を示している。
【００４７】
図１０は、ボケとブレ特性を画像回復処理した際の画像回復効果の一例を示す図である。図１０（ａ）〜（ｃ）の撮影画像（上段）および回復画像（下段）は、図９（ａ）〜（ｃ）のそれぞれにおけるボケとブレを補正した場合に対応している。図１０（ａ）は、ブレがなくボケのみの撮影画像および回復画像を示している。図１０（ｂ）、（ｃ）は、撮影画像に含まれるブレとボケを同時に補正して得られた回復画像を示している。図１０（ａ）において、撮影画像にはブレが含まれていないため、良好な回復画像が得られる。図１０（ｂ）は、前述のようにＯＴＦがブレにより変調されているが、撮影画像から良好に回復画像が得られる。一方、図１０（ｃ）においてはブレが大きいため、ブレとボケを同時に補正すること（撮影画像から良好に回復画像を得ること）は難しい。
【００４８】
図１１は、図９に示されるボケのみを画像回復処理した際の画像回復効果の一例を示す図である。図１１（ａ）〜（ｃ）の撮影画像（上段）および回復画像（下段）は、図９（ａ）〜（ｃ）のそれぞれにおけるボケのみを補正した場合に対応している。図１１（ａ）〜（ｃ）において、ボケ成分のみであるが、撮影画像から良好に回復画像が得られている。
【実施例２】
【００４９】
次に、図１２を参照して、本発明の実施例２における画像処理装置について説明する。図１２は、本実施例における画像処理装置１２００のブロック図である。画像処理装置１２００は、実施例１の画像処理方法（画像処理プログラム）を実行可能に構成されている。
【００５０】
画像処理装置１２００は、画像処理部１２０１およびＯＴＦ記憶部１２０２を備えている。画像処理部１２０１には、後述の実施例３の画像処理部１３０４と同様に、決定手段、取得手段、制御手段、および、画像回復手段が設けられている。画像回復処理を行うため、画像処理装置１２００（画像処理部１２０１）には、撮影時の撮影条件（撮影条件情報）および撮影時のブレ情報が付帯された画像（撮影画像）が入力される。撮影画像は、画像処理装置１２００の外部に設けられた装置１２０３から、無線または有線により入力可能である。または、撮影画像は、ＣＤ−ＲＯＭなどの記憶媒体１２０４を介して画像処理装置１２００に入力することもできる。
【００５１】
画像処理部１２０１は、入力画像（撮影画像）の撮影条件情報に基づいて、ＯＴＦ記憶部１２０２からＯＴＦ（第１のＯＴＦ）を取得する。ＯＴＦ記憶部１２０２は、撮影条件ごとに対応するＯＴＦを記憶している。本実施例において、画像処理部１２０１は、入力画像の撮影条件情報に基づいて、その撮影条件に合致する（撮影条件に対応する）ＯＴＦを取得する。ここで、入力画像の撮影条件に合致するＯＴＦがＯＴＦ記憶部１２０２に記憶されていない場合、画像処理部１２０１は、入力画像の撮影条件に近い撮影条件に対応するＯＴＦ（第１のＯＴＦ）を取得する。そして、撮影条件の重み付けを行い、入力画像の撮影条件に対応するＯＴＦを補間により生成する。
【００５２】
続いて、画像処理部１２０１は、入力画像の撮影条件情報およびブレ情報に基づいて、画像回復方法（画像回復処理）を選択して決定する。画像回復処理の選択は、図１のステップＳ１０６を参照して説明した実施例１と同様の基準で行われる。画像処理部１２０１は、入力画像に対してボケとブレ特性を画像回復処理する場合、入力画像のブレ情報に基づいてブレ特性を求める。そして画像処理部１２０１は、ブレ特性をＯＴＦ（第１のＯＴＦ）に乗算し、ブレ特性を含むＯＴＦ（第２のＯＴＦ）を用いて画像回復処理を行う。そして画像処理装置１２００（画像処理部１２０１）は、回復処理後の画像（回復画像）を出力画像として出力する。
【実施例３】
【００５３】
次に、図１３を参照して、本発明の実施例３における撮像装置について説明する。図１３は、本実施例における撮像装置１３００のブロック図である。撮像装置１３００は、実施例１の画像処理方法（画像処理プログラム）を実行可能な画像処理装置（画像処理部１３０４）を内蔵している。
【００５４】
撮像装置１３００において、被写体（不図示）は、絞り１３０１ａ（または遮光部材）およびフォーカスレンズ１３０１ｂを含む撮像光学系１３０１を介して撮像素子１３０２に結像する。絞り値は、絞り１３０１ａまたは遮光部材により決定される。撮像素子１３０２は、撮像光学系１３０１を介して形成された被写体像を光電変換して撮影画像を取得する。撮像素子１３０２により取得された撮影画像（結像光）は、電気信号に変換され、Ａ／Ｄ変換器１３０３に出力される。Ａ／Ｄ変換器１３０３は、撮像素子１３０２から入力された電気信号（アナログ信号）をデジタル信号に変換し、デジタル信号を画像処理部１３０４に出力する。
【００５５】
画像処理部１３０４は、所定の処理と併せて実施例１の画像回復処理（画像処理方法）を実行する。まず画像処理部１３０４は、状態検知部１３０７から撮像装置１３００の撮影条件（撮影条件情報）を取得する。撮像条件情報は、絞り値、撮影距離、ズームレンズにおける焦点距離などを含む。状態検知部１３０７は、システムコントローラ１３１０（制御部）から直接に撮像条件情報を取得可能であり、また、例えば撮像光学系１３０１に関する撮像条件情報を撮像光学系制御部１３０６から取得することもできる。記憶部１３０８は、撮影条件ごと（焦点距離、Ｆ値、撮影距離、像高、撮像素子１３０２の画素サイズ、撮像光学系１３０１の識別情報などの組み合わせごと）に、光学伝達関数情報（ＯＴＦ情報）を記憶している。
【００５６】
画像処理部１３０４には、決定手段１３０４ａ、取得手段１３０４ｂ、制御手段１３０４ｃ、および、画像回復手段１３０４ｄが設けられている。決定手段１３０４ａは、撮影条件情報に基づいて光学伝達関数を決定する。取得手段１３０４ｂは、ブレ情報を取得する。制御手段１３０４ｃは、光学伝達関数およびブレ情報に基づいて画像回復処理の方法を選択する。画像回復手段１３０４ｄは、選択された画像回復処理の方法を用いて画像回復処理を行う。
【００５７】
画像処理部１３０４で処理された出力画像（回復画像）は、画像記録媒体１３０９に所定のフォーマットで記録される。表示部１３０５には、本実施例における画像処理後の画像に表示用の所定の処理を行った画像が表示される。または、高速表示のために簡易的な処理を行った画像を表示してもよい。また表示部１３０５は、ユーザが画像回復モードまたは通常撮影モードを選択するためのＧＵＩを表示する。表示部１３０５のＧＵＩを介して、ユーザにより画像回復モードが選択されると、システムコントローラ１３１０は、図１を参照して説明した画像処理方法を実行するように画像処理部１３０４を制御する。
【００５８】
画像回復モードにおいて、撮像素子１３０２は、撮像光学系１３０１を介して得られた光学像を電気信号に変換して撮影画像を出力する。このとき、撮像光学系制御部１３０６および状態検知部１３０７は、撮像光学系１３０１の識別情報、撮影時の焦点距離、撮影距離、Ｆ値、撮像素子の画素サイズなどの撮影条件を取得する。また、撮像光学系制御部１３０６および状態検知部１３０７は、撮影時のブレ情報を取得する。Ａ／Ｄ変換器１３０３は、撮像素子１３０２から出力されたアナログ信号をデジタル信号に変換する。画像処理部１３０４は、取得された撮影条件およびブレ情報により決定されたＯＴＦ情報に基づいて画像回復処理方法を決定し、撮影画像に対して画像回復処理を実行する。
【００５９】
画像処理部１３０４には、撮影条件情報が付加された撮影画像を記録するための画像記録媒体１３０９が接続されている。画像記録媒体１３０９に記録された撮影画像の撮影時における撮影条件に対応するＯＴＦ情報は、前述のように記憶部１３０８に記憶されている。システムコントローラ１３１０は、ＣＰＵやＭＰＵなどを備えて構成され、撮像装置１３００の全体の制御を司る。
【００６０】
本実施例において、撮像光学系１３０１（レンズ装置）は、撮像装置（撮像装置本体）と一体的に構成されているが、これに限定されるものではない。撮像光学系１３０１は、一眼レフカメラなどの撮像装置本体に対して着脱可能に構成された交換レンズであってもよい。
【００６１】
［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。
【００６２】
このように各実施例の画像処理装置（または撮像装置）において、決定手段１３０４ａは、撮影条件情報に基づいて光学伝達関数を決定する。取得手段１３０４ｂは、ブレ情報を取得する。制御手段１３０４ｃは、光学伝達関数およびブレ情報に基づいて画像回復処理の方法を選択する。画像回復手段１３０４ｄは、選択された画像回復処理の方法を用いて画像回復処理を行う。「画像回復処理の方法を選択する」とは、例えば、画像回復処理を行うか否か、または、第１の光学伝達関数もしくは第２の光学伝達関数のいずれを用いて画像回復処理を行うかなどを選択することであるが、これらに限定されるものではない。
【００６３】
好ましくは、決定手段１３０４ａは、撮影条件情報に基づく光学伝達関数を第１の光学伝達関数（第１のＯＴＦ）として決定し、ブレ情報に基づいて第１の光学伝達関数から第２の光学伝達関数（第２のＯＴＦ）を決定する。より好ましくは、決定手段１３０４ａは、第１の光学伝達関数に、ブレ情報に基づいて取得されるブレの周波数特性（ブレ特性）を付加（乗算）することにより、第２の光学伝達関数を決定する。
【００６４】
好ましくは、制御手段１３０４ｃは、第１の光学伝達関数または第２の光学伝達関数の絶対値である変調伝達関数（ＭＴＦ）に基づいて、画像回復処理の方法を選択する。より好ましくは、制御手段１３０４ｃは、変調伝達関数の窪み領域（周波数ディップ）に基づいて、画像回復処理の方法を選択する。また好ましくは、制御手段１３０４ｃは、変調伝達関数の窪み領域の数に基づいて画像回復処理の方法を選択する。より好ましくは、制御手段１３０４ｃは、窪み領域の数が所定の数以上である場合、画像回復処理を行わないように制御する。一方、制御手段１３０４ｃは、窪み領域の数が所定の数よりも小さい場合、画像回復処理を行うように制御する。
【００６５】
好ましくは、制御手段１３０４ｃは、窪み領域の値ＭＴＦＤＩＰ（ＭＴＦ値）に基づいて画像回復処理の方法を選択する。また好ましくは、制御手段１３０４ｃは、窪み領域のうち最も低周波の窪み領域の位置および値に基づいて画像回復処理の方法を選択する。より好ましくは、制御手段１３０４ｃは、窪み領域の値が所定の値以下である場合、第１の光学伝達関数を用いて画像回復処理を行うように制御する。一方、制御手段１３０４ｃは、窪み領域の値が所定の値よりも大きい場合、第２の光学伝達関数を用いて画像回復処理を行うように制御する。更に好ましくは、制御手段１３０４ｃは、窪み領域の値ＭＴＦＤＩＰが０≦ＭＴＦＤＩＰ≦０．０５を満たす場合、第１の光学伝達関数を用いて画像回復処理を行うように制御する。一方、制御手段１３０４ｃは、ＭＴＦＤＩＰ＞０．０５を満たす場合、第２の光学伝達関数を用いて画像回復処理を行うように制御する。
【００６６】
好ましくは、ブレ情報は、ブレ軌跡、ブレ最大値、および、ブレ平均座標に関する情報の少なくとも一つを含む。より好ましくは、ブレ情報は、撮影の際における撮像装置に設けられたブレ補正手段（手振れによる像ブレを補正する装置）の動作に関する情報を含む。また好ましくは、決定手段１３０４ａは、画像の位置（像高）ごとに光学伝達関数を決定する。
【００６７】
各実施例の構成においては、撮像装置により発生するボケに加え、さらに撮影時のブレを含む画像に対して、撮影時のブレと撮像装置により発生するボケの両方の特性を考慮して適切な画像回復方法を決定することが可能となる。このため各実施例によれば、像ブレ画像を良好に回復可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【００６８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６９】
１３０４  画像処理部
１３０４ａ  決定手段
１３０４ｂ  取得手段
１３０４ｃ  制御手段
１３０４ｄ  画像回復手段
【図１】
2015231190.tif 000003
【図２】
2015231190.tif 000004
【図３】
2015231190.tif 000005
【図４】
2015231190.tif 000006
【図５】
2015231190.tif 000007
【図６】
2015231190.tif 000008
【図７】
2015231190.tif 000009
【図８】
2015231190.tif 000010
【図９】
2015231190.tif 000011
【図１０】
2015231190.tif 000012
【図１１】
2015231190.tif 000013
【図１２】
2015231190.tif 000014
【図１３】
2015231190.tif 000015