(57)【要約】【課題】ユーザーが簡易に補正値を決定して画像回復処理の補正量の変化をリアルタイムに体感出来る表示方法を提供する。【解決手段】撮影画像を光学伝達関数情報に基づいて画像回復を行う画像処理プログラムは、撮影画像の撮影条件に対応した光学伝達関数情報を取得するステップと、光学伝達関数情報を用いて複数の補正値に対応する画像回復フィルタを生成するステップを有する。少なくとも第一の補正値と第二の補正値に対応する第一の画像回復フィルタと第二の画像回復フィルタを生成するステップを有し、画像回復時に使用する第三の補正値設定を行うステップを有し、第三の補正値に基づいた第三の画像回復フィルタを、第一及び第二の補正値と第一及び第二の画像回復フィルタを用いて生成するステップを有し、撮影画像に対して第三の画像回復フィルタを用いて画像回復を行うステップを有し、画像回復処理後の画像を表示するステップを有する。【選択図】図１
2019220045.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像を光学伝達関数情報に基づいて画像回復を行う画像処理プログラムであって、
前記撮影画像の撮影条件に対応した光学伝達関数情報を取得するステップと、前記光学伝達関数情報を用いて複数の補正値に対応する画像回復フィルタを生成するステップを有し、
少なくとも第一の補正値と第二の補正値に対応する第一の画像回復フィルタと第二の画像回復フィルタを生成するステップを有し、
画像回復時に使用する第三の補正値設定を行うステップを有し、
前記第三の補正値に基づいた第三の画像回復フィルタを、前記第一及び第二の補正値と第一及び第二の画像回復フィルタを用いて生成するステップを有し、
前記撮影画像に対して前記第三の画像回復フィルタを用いて画像回復を行うステップを有し、
前記画像回復処理後の画像を表示するステップを有することを特徴とする画像処理プログラム。
【請求項２】
前記第一の補正値に対応する前記画像回復フィルタは、前記光学伝達関数情報の逆特性と該逆特性の制約条件とにより設定された補正値に基づいて生成されることを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記第二の補正値に対応する前記画像回復フィルタは、前記光学伝達関数情報の逆特性と該逆特性の制約条件とにより設定された補正値に基づいて生成されることを特徴とする請求項１に記載の画像処理プログラム。
【請求項４】
前記第三の補正値は前記第一の補正値以上かつ前記第二の補正値以下または前記第二の補正値以上かつ前記第二の補正値以下であることを特徴とする請求項１に記載の画像処理プログラム。
【請求項５】
前記第三の画像回復フィルタは、前記第一の画像回復フィルタと前記第二の画像回復フィルタとを用いて、前記第一の補正値と前記第二の補正値及び前記第三の補正値に基づいて補間生成されることを特徴とする請求項１に記載の画像処理プログラム。
【請求項６】
コンピュータに、前記第三の補正値の補正値に基づく画像回復フィルタに基づいた画像回復処理を施した画像を表示する表示ステップを実行させることを特徴とする請求項１に記載の画像処理プログラム。
【請求項７】
撮影画像を光学伝達関数情報に基づいて画像回復を行う画像処理方法であって、
前記撮影画像の撮影条件に対応した光学伝達関数情報を取得するステップと、前記光学伝達関数情報を用いて複数の補正値に対応する画像回復フィルタを生成するステップを有し、
少なくとも第一の補正値と第二の補正値に対応する第一の画像回復フィルタと第二の画像回復フィルタを生成するステップを有し、
画像回復時に使用する第三の補正値設定を行うステップを有し、
前記第三の補正値に基づいた第三の画像回復フィルタを、前記第一及び第二の補正値と第一及び第二の画像回復フィルタを用いて生成するステップを有し、
前記撮影画像に対して前記第三の画像回復フィルタを用いて画像回復を行うステップを有し、
前記画像回復処理後の画像を表示するステップを有することを特徴とする画像処理方法。
【請求項８】
撮影画像を光学伝達関数情報に基づいて画像回復を行う画像処理装置であって、
前記撮影画像の撮影条件に対応した光学伝達関数情報を取得する手段と、前記光学伝達関数情報を用いて複数の補正値に対応する画像回復フィルタを生成する手段を有し、
少なくとも第一の補正値と第二の補正値に対応する第一の画像回復フィルタと第二の画像回復フィルタを生成する手段を有し、
画像回復時に使用する第三の補正値設定を行う手段を有し、
前記第三の補正値に基づいた第三の画像回復フィルタを、前記第一及び第二の補正値と第一及び第二の画像回復フィルタを用いて生成する手段を有し、
前記撮影画像に対して前記第三の画像回復フィルタを用いて画像回復を行う手段を有し、
前記画像回復処理後の画像を表示する手段を有することを特徴とする画像処理装置。
【請求項９】
撮像光学系により形成される光学像を撮像する撮像素子と、
撮影画像の撮影条件に対応した光学伝達関数情報を記憶する記憶部と、
前記撮像素子において取得された前記撮影画像に画像処理を実行する画像処理部を有し、
前記画像処理部は、
前記記憶部において記憶された前記光学伝達関数情報を取得し、
前記光学伝達関数情報を用いて複数の補正値に対応する画像回復フィルタを生成し、
少なくとも第一の補正値と第二の補正値に対応する第一の画像回復フィルタと第二の画像回復フィルタを生成し、
画像回復時に使用する第三の補正値設定を実行し、
前記第三の補正値に基づいた第三の画像回復フィルタを、前記第一及び第二の補正値と第一及び第二の画像回復フィルタを用いて生成し、
前記撮影画像に対して前記第三の画像回復フィルタを用いて画像回復を実行し、 前記画像回復処理後の画像を表示することを特徴とする撮像装置。
【請求項１０】
撮像光学系を有することを特徴とする請求項９に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像の画像処理に関し、特に撮像光学系による撮影画像の劣化を高精細に補正する技術に関する。
【背景技術】
【０００２】
撮像光学系により撮影された被写体は、撮像光学系で発生する回折や収差等の影響により、１点から発生した光が１点に収束することができなくなるため微小な広がりを持つこととなる。このような微小な広がりを持った分布をＰＳＦ（点像強度分布関数）と呼ぶ。該撮像光学系の影響のため、撮影された画像は、撮影画像にＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。
【０００３】
近年、撮影画像を電子データとして保持することが一般的になり、画像処理によって光学系による画像劣化を補正する技術が提案されるようになった。以下、このような画像劣化補正技術を画像回復と称し、従来行われている一般的な方法を示す。
実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）、ＰＳＦをｈ（ｘ，ｙ）、劣化した画像をｇ（ｘ，ｙ）とすると、これらは以下に示す（１）式で書くことができる。
ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ‐Ｘ，ｙ−Ｙ）ｄＸｄＹ  ・・・（１）
【０００４】
上記（１）式にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ）  ・・・（２）
と書くことができる。
【０００５】
ここで、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換であり、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換であり、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。
さらに、上記（２）式を変形すると、
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）  ・・・（３）
となる。これは周波数空間上で、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）をＰＳＦであるｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で割ることにより、劣化を受ける前の画像ｆ（ｘ，ｙ）のフーリエ変換であるＦ（ｕ，ｖ）を得ることができることを意味する。従って、Ｆ（ｕ，ｖ）にフーリエ逆変換を施せば、劣化をうける前の画像ｆ（ｘ，ｙ）を得ることができる。
【０００６】
しかしながら実際に、このような処理をおこなって劣化を受ける前の画像を得ようとすると、撮像素子によって生じ得るノイズを著しく増幅させることになり、良好な画像を得ることは出来ない。そこで、ノイズの増幅を抑制するための画像回復手法として、下記（４）式で表されるウィナーフィルタを用いることが知られている。ここで、Ｈ（ｕ，ｖ）はＯＴＦ（光学伝達関数）であり、Γはノイズの増幅量を低減するための定数である。
Ｗ（ｕ，ｖ）＝１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜２／（｜Ｈ（ｕ，ｖ）｜２＋Γ）  ・・・（４）
【０００７】
上記（４）式を、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）に乗算すれば、光学系の回折や収差によって発生したＰＳＦの位相成分を０にし、振幅成分の周波数特性を増幅することで高解像度かつ良好な画像を得ることができる。即ち、ウィナーフィルタを用いた画像回復処理により回復された画像の周波数空間情報をＲ（ｕ，ｖ）とすると、
Ｒ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）＊Ｗ（ｕ，ｖ）  ・・・（５）
が得られる。
【０００８】
このとき（４）式から｜Ｗ（ｕ，ｖ）｜≦１／｜Ｈ（ｕ，ｖ）｜なる関係が分かる。即ち、画像回復フィルタを用いることで増幅できる周波数特性の最大値は１／｜Ｈ（ｕ，ｖ）｜であり、ＯＴＦの絶対値の逆数、所謂逆フィルタの特性と一致する。
【０００９】
一般的なカメラ等で撮影された画像に対して、例えば（４）式のウィナーフィルタによる処理で画像回復処理を行う場合、式中のΓの値を制御することで回復処理の補正値を０から１／｜Ｈ（ｕ，ｖ）｜まで制御することが出来る。またウィナーフィルタに種々変形を施したものでも、回復処理の補正値は０から１／｜Ｈ（ｕ，ｖ）｜までの範囲で制御することが可能である。本明細書においては、０から１／｜Ｈ（ｕ，ｖ）｜までの範囲を補正可能範囲（以下、設定可能範囲ともいう。）と定義する。
【００１０】
ユーザーの指示により設定された補正値を用いて、画像処理装置や撮像装置やソフトウエアがインストールされたコンピュータが処理を行う場合は、所望の回復度合いに応じた補正値を選択あるいは変更することが好ましい。
【００１１】
例えば特許文献１では画像処理等の分野でエッジ強調等の補正値の補正の強さの範囲を変更するという発明が開示されている。また、特許文献２では画像と画像出力装置の周波数特性から復元限界を検出して画像回復処理を行うという発明が開示されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特許第３８４００３２号
【特許文献２】特開２０１１−２２８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上述の特許文献に開示された従来技術は、様々な条件の組み合わせがあるシステムにおける補正値の強さの範囲をリアルタイムに変更してユーザーに効果を体感させる具体的な手法については言及していなかった。デジタルカメラに用いられる画像回復処理は、一般的なエッジ強調処理やシャープネス処理とは異なり撮像光学系の識別情報を含む焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素サイズなどの撮影条件の組み合わせ毎のＯＴＦに基づいた処理を行うため、リアルタイム処理が難しい。従ってユーザーが補正値を変更しても、画像回復処理の効果をリアルタイムに画像に反映させることが困難でユーザーがリアルタイムに補正値を変更した際の効果を体感できない。
【課題を解決するための手段】
【００１４】
本発明の画像処理プログラムは、撮影画像を光学伝達関数情報に基づいて画像回復を行う画像処理プログラムであって、
前記撮影画像の撮影条件に対応した光学伝達関数情報を取得するステップと、前記光学伝達関数情報を用いて複数の補正値に対応する画像回復フィルタを生成するステップを有し、
少なくとも第一の補正値と第二の補正値に対応する第一の画像回復フィルタと第二の画像回復フィルタ を生成するステップを有し、
画像回復時に使用する第三の補正値設定を行うステップを有し、
前記第三の補正値に基づいた第三の画像回復フィルタを、前記第一及び第二の補正値と第一及び第二の画像回復フィルタを用いて生成するステップを有し、
前記撮影画像に対して前記第三の画像回復フィルタを用いて画像回復を行うステップを有し、
前記画像回復処理後の画像を表示するステップを有することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、画像回復処理においてユーザーが簡易に補正値を決定して画像回復処理の補正量の変化をリアルタイムに体感出来る表示方法を提供することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】実施例１における画像回復処理方法の処理フローの一例を示す図である。
【図２】実施例１における画像回復処理時の画像表示方法の一例を示す図である。
【図３】実施例２における画像回復処理に用いるＯＴＦデータ等の一例を示す図である。
【図４】実施例２における画像回復処理に用いる各種条件の一例を示す図である。
【図５】実施例２における画像回復処理に用いるＯＴＦデータのから回復限界値を算出する手法の一例を示す図である。
【図６】実施例２における画像回復フィルタの一例を示す図である。
【図７】実施例３における画像処理ＧＵＩの一例を示す図である。
【図８】実施例４における画像処理装置を内蔵した撮像装置の一例を示す図である。
【図９】実施例５における画像処理プログラムの一例を示す図である。
【図１０】実施例２における画像回復処理方法の処理フローの一例を示す図である。
【発明を実施するための形態】
【００１７】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１８】
（実施例１）
図１は本発明における画像処理の流れの一例を示す図である。まず、カメラ等の撮像装置で被写体を撮像し（Ｓ１０１）、光学系による劣化をうけた撮影画像データを画像処理装置に入力して、画像回復処理を開始する。該撮影画像データには、撮影光学系の識別情報、撮影時の焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素サイズ等といった撮影条件情報が付加されている。したがって、まずは画像処理装置で撮影画像データに付加されている撮影条件情報を取得する。
【００１９】
次に画像処理装置内部の光学特性データ記憶部に保持されている光学特性データから、取得した撮影条件情報に対応するステータスを持つ撮影画像の各像高位置に対応するＯＴＦ情報（光学伝達関数情報）を取得する（Ｓ１０２）。そして、該ＯＴＦ情報に基づいて、撮影時の撮影条件における補正可能最大値を算出し、設定する（Ｓ１０３）。該補正可能最大値は撮影画像の像高位置毎に決定しても良いし、各像高位置全ての中から補正可能最大値を決定しても良い。次に標準補正値を決定する。標準補正値は例えば補正可能最大値の半分などとして動的に決定しても良いし、予め特定の値に決定しておいても良い。標準補正値を予め決定しておいた場合には補正可能最大値と比較し、標準補正値が補正可能最大値を上回らないように値をクリッピングするなどして標準補正値を設定する（Ｓ１０４）。
【００２０】
補正可能最大値と標準補正値が決定された後、補正可能最大値に基づいた画像回復フィルタと標準補正値に基づいた画像回復フィルタを生成する（Ｓ１０５）。さらに、補正可能最大値以下を補正可能範囲として取得し（Ｓ１０６）、該補正可能範囲内でユーザーが補正値を決定する（Ｓ１０７）。
【００２１】
次に、決定した補正値と補正可能最大値と標準補正値に基づいて補正可能最大値に基づいた画像回復フィルタと標準補正値に基づいた画像回復フィルタを補間生成して（Ｓ１０８）、撮影画像を補正し（Ｓ１０９）、補正処理後の画像を表示する（Ｓ１１０）。ここで用いる画像回復処理は、一般的に知られているウィナーフィルタなどを用いればよい。
【００２２】
図２は本実施例における画像の表示の概念を示す図である。ユーザーが画像回復処理を実行する画像を選択すると、自動的に上述の撮影条件情報が取得される。すると、この回復処理に使用する撮像光学系の光学伝達関数や撮像素子の特性が全て自動的に決定される。そしてこれらを用いることで補正可能最大値と標準補正値が自動的に決定され、それらに基づいた画像回復フィルタが生成される。また、この際に最小の補正値とそれに基づいた画像回復フィルタも生成しておくことが望ましい。最小の補正値はどのような値もとれるが、この値が１を下回るとローパスフィルタとなってしまい、画像をより劣化させることになる。従って最小の補正値は予め１と設定しておくことが望ましい。
【００２３】
本実施例においては、実際にユーザーが操作、決定する補正値は最小の補正値から補正可能最大値の範囲である。補正値の選択時に最小の補正値、標準補正値、補正可能最大値とそれらに基づいて生成された画像回復フィルタを用いて補間生成された補間画像回復フィルタことでリアルタイムな補正値の変更を表示画像に反映することが可能となる。
【００２４】
（実施例２）
図３〜図５を用いて、画像回復処理における補正可能最大値を取得し、補正可能範囲を決定する手法を説明する。図３の（ａ）、（ｂ）、（ｃ）はそれぞれ異なった撮像光学系、撮影条件（焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素のサイズ等）で撮影した画像である。以下図３（ａ）を代表的に説明する。図３（ａ）の撮影画像には、図４に示すような撮像光学系情報、光学ローパスフィルタ情報、撮像素子情報が添付されている。この撮影画像を、画像回復処理を行う画像処理装置に入力すると、これらの添付情報に基づいて、撮影画像上の各像高点におけるＯＴＦ情報を取得し、該各像高点のＯＴＦ情報に基づいて補正可能最大値を取得する。
【００２５】
図５（ａ）の丸囲みの１〜３はそれぞれ撮像光学系の識別情報および像高を含む撮影条件が異なる３つのＯＴＦの絶対値を２次元分布｜ＯＴＦ（ｕ，ｖ）｜で示しており、これはＭＴＦとも呼ばれる。撮像素子によって取得された光学像は、撮像素子のナイキスト周波数までの周波数帯域にデジタルサンプリングされる。ＯＴＦ（ｕ，ｖ）を計算によって算出して光学特性データ記憶部に保持しておく場合は、まず光学空中像の遮断周波数までのＯＴＦ（ｕ，ｖ）が得られる。光学特性データ記憶部内部に、光学的遮断周波数までの全帯域でＯＴＦ（ｕ，ｖ）情報を保持している場合は、撮像素子のナイキスト周波数までに注目すればよい。
【００２６】
画像回復処理で得られる補正効果として最大のものは、ナイキスト周波数内の全周波数帯域においてＯＴＦ（ｕ，ｖ）が１になることである。即ちこの最大の補正効果が得られる補正値は｜１／ＯＴＦ（ｕ，ｖ）｜となり、図５（ｃ）に示すような各周波数において図５（ａ）に示した｜ＯＴＦ（ｕ，ｖ）｜の逆数の値となる。
【００２７】
図５（ｂ）の丸囲みの１〜３はそれぞれ図５（ａ）における｜ＯＴＦ（ｕ，ｖ）｜の一断面を示したものであり、実線は｜ＯＴＦ（０，ｖ）｜、破線は｜ＯＴＦ（ｕ，０）｜を示している。また同様に図５（ｄ）の丸囲みの１〜３はそれぞれ図５（ｃ）における｜１／ＯＴＦ（ｕ，ｖ）｜の一断面を示したものであり、実線は｜１／ＯＴＦ（０，ｖ）｜、破線は｜１／ＯＴＦ（ｕ，０）｜を示している。図５（ｅ）は｜ＯＴＦ（ｕ，ｖ）｜の逆特性と補正可能範囲を制御可能な制約条件に基づいて補正された補正値のｕ，ｖ軸上についての一断面を示したものである。実際には、｜ＯＴＦ（ｕ，ｖ）｜の２次元空間上における補正可能範囲の最大値を算出するが、本実施例においては、説明を簡単にするために一次元の図５（ｂ）、（ｄ）、（ｅ）を用いて説明する。
【００２８】
図５（ｂ）の丸囲みの１〜３のような｜ＯＴＦ｜を持つ撮像光学系において、図５（ｄ）の丸囲みの１〜３がそれぞれに対応する｜ＯＴＦ（ｕ，ｖ）｜の逆特性の周波数特性となる。図５（ｄ）の丸囲みの１〜３において、それぞれの撮像素子の周波数帯域内での最大値は５、３、∞となっている。この時、周波数によって｜ＯＴＦ（ｕ，ｖ）｜の値に０もしくは０近傍の値が発生してしまうと、その逆特性が、∞のような不定値や大きな値に発散してしまう。このとき逆特性に一致した大きな補正可能最大値を設定しても、補正効果が飽和してしまって補正効果を体感しにくくなる。さらに、ノイズの大幅な増幅やリンギング等の、画像を劣化させる要因が大きく発生してしまう。
【００２９】
従って｜ＯＴＦ（ｕ，ｖ）｜の逆特性が大きく発散しないような制約条件を設定することとし、これを以降において補正可能範囲制御条件と称することにする。図５（ｅ）は｜ＯＴＦ（ｕ，ｖ）｜の逆特性と補正可能範囲制御条件に基づいて決定した補正可能最大値を示している。該補正可能最大値以下を補正可能範囲とすることで、ユーザーが指定した通りの補正値が実現でき、該補正値通りの補正効果を体感できる。
【００３０】
この補正可能最大値を決定する際の補正可能範囲制御条件は、画像回復フィルタ設計の際に所定の周波数以上に補正量の制限を設ける等の、所謂帯域制限条件として設定しても良い。また、式（４）に示したウィナーフィルタまたはそれに類似する画像回復フィルタにおいて、画像回復フィルタ設計の際に特定の周波数帯に重みづけして補正可能最大値を算出しても良い。上述した手法を画像の色成分ごとのＯＴＦに応じて行うことが望ましいが、計算時間を低減させるために該色成分のうち、Ｒ成分、Ｇ成分、Ｂ成分のうちのいずれか一つにおいて算出して用いても良い。
【００３１】
上述した手法により求めた補正可能最大値とＯＴＦ情報から画像回復フィルタを生成し、撮影画像を補正する。図１０に詳細な手順を示す。まずステップＳ９００において、画像処理装置は、撮影された画像データとともに記録された、焦点距離、Ｆ値、撮影距離情報を取得する。
【００３２】
次にステップＳ９０１において、画像処理装置は、画像回復フィルタを生成する画像上の像高位置をＮ個設定する。ここで、像高位置やその個数Ｎは、画像上の像高位置に対する光学特性がなめらかに変化するように設定することが望ましい。特に一般的な撮像光学系ではＮ≧１５０程度が好ましい。１５０未満であると、各像高間での光学特性の変化が大きくなり、回復精度が低下してしまう。
【００３３】
次にステップＳ９０２において、画像処理装置は、ステップＳ９００において取得された焦点距離、Ｆ値、撮影距離とステップＳ９０１において設定されたＮ個の像高位置に対して、記憶部に保持されたＯＴＦ情報からＯＴＦ（ｆ，Ｆ，ｄ，ｈ，ｕ，ｖ）を生成する。
【００３４】
本実施例においては、画像回復フィルタとしてウィナーフィルタを用いる。ウィナーフィルタは式（４）に示す画像回復フィルタであり、画像回復時の周波数成分の増幅に対して、ノイズを抑制する補正項Γをもつ。
【００３５】
式（４）を様々な焦点距離：ｆ、Ｆ値：Ｆ、撮影距離：ｄ、像高：ｈにおけるＯＴＦに適用し、帯域制限値：Ｒを用いて改めて書き直すと、下記の式（６）となる。
Ｗ（ＯＴＦ（ｆ，Ｆ，ｄ，ｈ，ｕ，ｖ），Ｒ，ａ）＝１／ＯＴＦ（ｆ，Ｆ，ｄ，ｈ，ｕ，ｖ）＊｜ＯＴＦ（ｆ，Ｆ，ｄ，ｈ，ｕ，ｖ）｜２／（｜ＯＴＦ（ｆ，Ｆ，ｄ，ｈ，ｕ，ｖ）｜２＋Γ）＊Ｒ＋（１−Ｒ）
・・・（６）
【００３６】
以下、画像回復処理を実行する対象画像の撮影条件が、焦点距離：ｆ１、Ｆ値：Ｆ１、撮影距離：ｄ１であったとして説明する。
【００３７】
次にステップＳ９０３において、画像処理装置は、式（６）にｆ＝ｆ１、Ｆ＝Ｆ１、ｄ＝ｄ１を代入して、以下の式（７）で示す画像回復フィルタを得る。尚、焦点距離：ｆ１、Ｆ値：Ｆ１、撮影距離：ｄ１、像高：ｈ１は、撮像光学系がとり得る任意の値である。また、帯域制限値：Ｒは定数でもよいし、周波数（ｕ，ｖ）の関数でもよい。
Ｗ（ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，），Ｒ，Γ）＝１／ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ）＊｜ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ）｜２／（｜ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ）｜２＋Γ）＊Ｒ＋（１−Ｒ）
・・・（７）
【００３８】
さらにステップＳ９０３において、画像処理装置は、式（７）に補正可能最大値を算出するためのΓｍａｘをΓに代入する。ウィナーフィルタの場合、Γｍａｘ＝０であり、このとき式（７）は帯域制限された逆フィルタとなる。すなわち、Γｍａｘは、ウィナーフィルタの逆特性に基づく値である。各像高位置において、Γｍａｘが代入された関数の絶対値｜Ｗ（ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ），Ｒ，Γｍａｘ＝０）｜における周波数空間内の最大値ｍａｘ｜Ｗ（ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ），Ｒ，Γｍａｘ＝０）｜を求める。これが、補正値の設定可能範囲の最大値となる。
【００３９】
以下、補正値の設定可能範囲の最大値を補正可能最大値と称する。この補正可能最大値を算出するために用いるΓｍａｘは、ウィナーフィルタやそれを変形したフィルタなど、種々の画像回復フィルタおいて理論的なｍａｘ｜Ｗ（ＯＴＦ（ｆ１，Ｆ１，ｄ１，ｈ１，ｕ，ｖ），Ｒ，Γｍａｘ＝０）｜の最大値が得られる値とすればよい。即ち、本実施例においては、Γmaxとして値０（零）を用いたが、これに限られない。
【００４０】
ステップＳ９０３Ａにおいて、画像処理装置は、ステップＳ９０１において設定された像高Ｎ個分の補正可能最大値が求められたか否かを判定する。本実施例においては、対象画像の各像高位置別に補正可能最大値を算出するが、各像高でなくともよく、あらかじめ設定された特定の像高において、補正可能最大値を取得してもよい。
【００４１】
次にステップＳ９０４において、画像処理装置は、各像高のうち、最も補正可能最大値が大きい値を補正可能最大値として設定する。尚、補正可能最大値は任意の１つの像高から算出してもよいし、全像高から算出してその中の最大値を用いても良い。
【００４２】
次にステップＳ９０５において、ユーザーが指定した補正値と補正可能最大値を比較し、小さい値を表示部に表示する。具体的な表示例については後述する。尚、ステップＳ９０４において、任意の１つの像高のみから補正可能最大値を算出する場合は、ステップＳ９０２〜Ｓ９０３のループ処理は実行されず、ステップＳ９０５において、任意の１つの像高における補正可能最大値が設定される。さらに、撮影条件によっては帯域制限や回復フィルタ設計時の留意のみでは補正可能最大値が大きくなりすぎる場合も存在する。このような場合に対応するために、記憶部に補正可能最大値を撮影条件毎にテーブル化して保持させておいても良い。
【００４３】
次に、ステップＳ９０６において、画像処理装置は、ＧＵＩによって表示された補正可能範囲からユーザーによって操作部を介して選択あるいは設定された補正値を用いた画像回復フィルタを生成する。画像回復フィルタは、少なくとも補正可能最大値に基づく画像回復フィルタと、補正可能最大値に基づいて決定された標準補正値に基づいて生成される画像回復フィルタである。補正された画像回復フィルタを用いて、画像処理部は、回復対象画像と画像回復フィルタをコンボリューションすることによって、回復画像を生成する。ＧＵＩの詳細については、後述する。
【００４４】
本実施例においては画像回復処理を行う周波数帯域に制限を設ける手法を示したが、制限を設ける手法は帯域制限に限られるものではなく、例えば帯域制限値：Ｒを用いなくてもよい。あるいは、周波数帯域に制限を設けることと同様の作用を得られるように、他の項の値や関数を変更してもよい。
【００４５】
また本実施例では、画像回復フィルタとしてウィナーフィルタを用いて説明してきたが、ＯＴＦの逆特性を用いて画像回復処理を行うものならば、特にウィナーフィルタに限定されるものではなく様々な変形を行ってもかまわない。従って、先に述べたように、Γｍａｘは、あくまで逆フィルタであるＷ＝１／ＯＴＦを導くものに過ぎず、Γｍａｘは、値０（零）に限られない。
【００４６】
画像回復フィルタは図６（ａ）に示すような２次元フィルタであり、図６（ａ）の破線に沿った一軸上では図６（ｂ）のような形状をしている。このように、本発明の画像回復フィルタは、一般的なエッジ強調フィルタ等と異なって、タップ数が大きく、また非対称な形状をしている場合もあるなどの特徴がある。
【００４７】
（実施例３）
先に述べたように、画像回復処理は、撮影条件の組み合わせ毎に最適な補正可能範囲が大きく変化する。即ち、撮像光学系の収差量が大きく、撮影画像の劣化が大きいほど、上記補正可能範囲は大きくなる。一方で、撮像光学系の収差量が小さく、撮影画像の劣化が小さい場合、上記補正可能範囲は小さくなる。また、撮像光学系が同一でも、撮影条件が異なると収差量が大きく変化し、同様に上記補正可能範囲は大きく変化する。よって、撮像光学系の識別情報を含む撮影条件の組み合わせに応じて、ユーザーが簡易に補正値を決定して画像回復処理を行えるＧＵＩを提供することは重要である。
【００４８】
図７は本発明を用いた画像回復処理装置を簡易にするためのＧＵＩ（グラフィカル・ユーザー・インターフェース）の一例を示す図である。図７（ａ）は、ＧＵＩの左端を１、右端を回復限界値（補正可能最大値、設定可能最大値）とし、ＯＴＦから回復限界値を算出して表示してＧＵＩの１から回復限界値の範囲内でユーザーが回復処理の強さを決定する。このようなＧＵＩを設計することで自動的に右端が回復限界値となり、ユーザーが設定する回復処理の強さによらず、設定どおりの画像回復処理が可能である。
【００４９】
図７（ｂ）はＧＵＩの左端を１、右端を５０として表示してＯＴＦから算出される回復限界値以下の範囲でユーザーが回復処理の強さを決定できるようなＧＵＩである。図７（ｂ）のＧＵＩでは右端は５０であるが、回復限界値までの範囲でユーザーが回復処理の強さを設定できる。本実施例ではＧＵＩの一例としてスライダーで説明したが、スピンコントロール等でもよい。
【００５０】
（実施例４）
図８は本発明における画像処理方法を用いた画像処理装置を内蔵した撮像装置であり、記憶部２０８内に撮像光学系２０１の識別情報及びＯＴＦ情報を焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素のサイズなどの撮影条件の組み合わせ毎に保持しておく。撮像光学系２０１には、絞り２０１ａやフォーカスレンズ２０１ｂ等が設けられている。表示部２０５のＧＵＩ等により図１に示す画像処理フローを含む画像処理実行の決定が行われる。
【００５１】
該決定が行われると、撮像光学系２０１により形成された光学像を撮像する撮像素子２０２にて、該光学像を電気信号に変換して撮影画像を得る。このとき、撮像光学系制御部２０６や状態検知部２０７において、撮像光学系２０１の識別情報、撮影時の焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素サイズなる撮影条件を取得する。Ａ／Ｄ変換器２０３は撮像素子２０２から出力される光学像に対応したアナログ信号をデジタル信号に変換する。画像処理部２０４において、取得した撮影条件に対応するＯＴＦ情報に基づいて補正可能範囲を決定する。
【００５２】
表示部２０５において、決定された補正可能範囲からユーザーが補正値を決定するためのＧＵＩを表示する。ＧＵＩは図６に示す補正可能範囲を表示するもので、補正可能範囲内においてユーザーが補正値を決定する。ＧＵＩにおいてユーザーが補正値を決定した後、画像処理部２０４において該補正値とＯＴＦ情報に基づいて画像回復フィルタを生成し、撮影画像に画像回復処理を施して、画像回復処理済みの画像を出力する。画像処理部２０４には、撮影条件情報が付加された撮影画像を記録するための画像記録媒体２０９が接続されている。該画像記録媒体２０９に記録された撮影画像を撮影した時の撮影条件に対応したＯＴＦ情報は、上記のように記憶部２０８に記憶されている。システムコントローラ２１０は、ＣＰＵやＭＰＵ等によって構成され、撮像装置全体の制御を司る。
【００５３】
（実施例５）
本発明における画像処理方法をコンピュータ（パソコン等）で動作させるプログラムについて図９を用いて説明する。上記プログラムは、コンピュータに、撮像光学系の光学特性データである焦点距離、Ｆ値、撮影距離、像高などの組み合わせ毎のＯＴＦ情報と、該ＯＴＦ情報を用いて画像回復フィルタを生成する画像処理方法を実行させるプログラムである。ＯＴＦ情報は、光学特性データが保存されているＤＶＤ等のメディア等やインターネットを介して取得することができる。
【００５４】
本発明のプログラムは図１及び図１０の画像処理フローを実行する画像処理プログラムである。以下に図１に沿って本実施例における画像処理プログラムの実行手順を説明する。パソコンを起動し、プログラムを実行する。モニター等のディスプレイ画面上のＧＵＩを用いて画像処理を開始する。撮影画像と該撮影画像を取得した際の撮影条件（撮像光学系の識別情報、焦点距離、Ｆ値、撮影距離、像高、撮像素子の画素サイズ等）と該撮影条件に対応するＯＴＦ情報を用いて補正可能範囲を決定する。プログラムが画像処理を開始する際に、パソコンを介したディスプレイ上に図７に示すＧＵＩを用いて補正可能範囲を表示する。該補正可能範囲内でユーザーが補正値を決定し、該補正値とＯＴＦ情報に基づいて画像回復フィルタを生成し、撮影画像に画像回復処理を施して、画像回復処理済みの画像を出力する。撮影画像を補正する方法については、これまでに詳細に説明したので割愛する。
【００５５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【産業上の利用可能性】
【００５６】
本発明の画像処理技術は、ビデオカメラ、コンパクトカメラあるいは一眼レフカメラなどの撮像装置に好適に利用できる。
【符号の説明】
【００５７】
２０１  撮像光学系
２０４  画像処理部
２０５  表示部
２０８  記憶部
【図１】
2019220045.tif 000003
【図２】
2019220045.tif 000004
【図３】
2019220045.tif 000005
【図４】
2019220045.tif 000006
【図５】
2019220045.tif 000007
【図６】
2019220045.tif 000008
【図７】
2019220045.tif 000009
【図８】
2019220045.tif 000010
【図９】
2019220045.tif 000011
【図１０】
2019220045.tif 000012