(57)【要約】【課題】撮影距離情報が得られない場合でも、適切なＯＴＦデータを選択して良好な回復画像を取得可能な画像処理装置を提供する。【解決手段】撮影画像から回復画像を生成可能な画像処理装置であって、撮影画像から撮影条件情報を取得する情報取得手段と、撮影条件情報に撮影距離に関する情報が含まれていない場合、複数の撮影距離のそれぞれに対応する複数の光学伝達関数を用いて複数の回復フィルタを作成する回復フィルタ作成手段と、複数の回復フィルタのそれぞれを用いた画像回復結果に基づいて、複数の光学伝達関数のうち一つの光学伝達関数を決定する決定手段と、一つの光学伝達関数に基づく回復フィルタを用いて前記回復画像を生成する画像回復手段とを有する。【選択図】図２
2015129990.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像から回復画像を生成可能な画像処理装置であって、
前記撮影画像から撮影条件情報を取得する情報取得手段と、
前記撮影条件情報に撮影距離に関する情報が含まれていない場合、複数の撮影距離のそれぞれに対応する複数の光学伝達関数を用いて複数の回復フィルタを作成する回復フィルタ作成手段と、
前記複数の回復フィルタのそれぞれを用いた画像回復結果に基づいて、前記複数の光学伝達関数のうち一つの光学伝達関数を決定する決定手段と、
前記一つの光学伝達関数に基づく回復フィルタを用いて前記回復画像を生成する画像回復手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記複数の撮影距離のそれぞれに対応する前記複数の光学伝達関数を記憶する記憶手段を更に有し、
前記回復フィルタ作成手段は、前記記憶手段に記憶された前記複数の光学伝達関数のそれぞれを用いて前記複数の回復フィルタを作成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記回復フィルタ作成手段は、前記複数の光学伝達関数のそれぞれを用いて、像高ごとに前記複数の回復フィルタを作成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記複数の回復フィルタのそれぞれを用いた回復処理後の回復度合いに基づいて、前記複数の光学伝達関数のうち一つの光学伝達関数を決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記決定手段は、撮影距離ごとの前記複数の光学伝達関数を用いて得られた複数の回復ゲインのそれぞれを適用し、光学伝達関数の振幅成分ＭＴＦの周波数特性に基づいて該複数の光学伝達関数のうち一つの光学伝達関数を決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像回復手段により生成される回復ゲインを取得するゲイン取得手段を更に有し、
前記決定手段は、前記回復ゲインに基づいて前記複数の光学伝達関数のうち一つの光学伝達関数を決定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記決定手段は、
前記複数の回復フィルタのそれぞれを適用した場合の前記回復ゲインを像高ごと取得し、
前記回復ゲインが所定の周波数領域において所定の条件を満たし、かつ、該回復ゲインが０以下となる周波数領域が生じないように、前記一つの光学伝達関数を決定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記ゲイン取得手段により取得された前記回復ゲインを調整可能な調整手段を更に有し、
前記画像回復手段は、前記調整手段による調整値を用いて前記回復画像を生成することを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記調整値を用いて画像回復を行った場合の検証結果を表示する表示装置を更に有することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
請求項１乃至９のいずれか１項に記載の画像処理装置と、
被写体像を光電変換して前記撮影画像を取得する撮像素子と、を有することを特徴とする撮像装置。
【請求項１１】
撮影画像から回復画像を生成可能な画像処理方法であって、
前記撮影画像から撮影条件情報を取得するステップと、
前記撮影条件情報に撮影距離に関する情報が含まれていない場合、複数の撮影距離のそれぞれに対応する複数の光学伝達関数を用いて複数の回復フィルタを作成するステップと、
前記複数の回復フィルタのそれぞれを用いた画像回復結果に基づいて、前記複数の光学伝達関数のうち一つの光学伝達関数を決定するステップと、
前記一つの光学伝達関数に基づく回復フィルタを用いて前記回復画像を生成するステップと、を有することを特徴とする画像処理方法。
【請求項１２】
コンピュータに、請求項１１に記載の画像処理方法を実行させることを特徴とする画像処理プログラム。
【請求項１３】
請求項１２に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像から回復画像を生成可能な画像処理装置に関する。
【背景技術】
【０００２】
撮像装置により画像（撮影画像）には、撮影光学系の球面収差、コマ収差、像面湾曲、非点収差などに起因する画像劣化成分としてのぼけ成分が含まれる。ここでいう「ぼけ成分」は、光学的には、点像分布関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）により表される。
【０００３】
点像分布関数ＰＳＦをフーリエ変換して得られる光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数の絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）といい、位相成分をＰＴＦ（Ｐｈａｓｅ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）という。振幅成分ＭＴＦおよび位相成分ＰＴＦは、それぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。
【０００４】
光学伝達関数ＯＴＦは、画像の振幅成分ＭＴＦと位相成分ＰＴＦに影響を与える（劣化させる）ため、撮影光学系を介して取得された被写体像（撮影画像）は、各点がコマ収差のように非対称にボケた画像（劣化画像）になる。また、画像が有する色成分（例えば、赤、青、緑など）ごとに点像分布関数ＰＳＦは異なるため、色成分ごとに異なるボケが発生し、色がにじんだ画像（劣化画像）になる。このような撮影光学系による画像劣化を画像処理にて高精度に補正するには、収差の振幅劣化成分および位相劣化成分を補正することが必要である。
【０００５】
従来から、振幅劣化成分および位相劣化成分を補正する方法として、光学伝達関数ＯＴＦに基づく画像回復処理が知られている。この撮影光学系（光学系）の光学伝達関数ＯＴＦを用いて撮影画像（劣化画像）を補正する処理を画像回復処理という。
【０００６】
特許文献１には、光学収差補正に必要な情報が得られない場合、補間処理により補正量を算出する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−３９７５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１のように撮影距離情報を取得できない場合において、例えば撮影距離が無限遠であると仮定すると、撮影画像に最適な回復フィルタを作成することはできない。この結果、実際には撮影画像が至近距離で撮影されたなど場合には、画像回復効果が強すぎ、または弱すぎることになり、良好な回復画像を取得することができない。
【０００９】
そこで本発明は、撮影距離情報が得られない場合でも、適切なＯＴＦデータを選択して良好な回復画像を取得可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【００１０】
本発明の一側面としての画像処理装置は、撮影画像から回復画像を生成可能な画像処理装置であって、前記撮影画像から撮影条件情報を取得する情報取得手段と、前記撮影条件情報に撮影距離に関する情報が含まれていない場合、複数の撮影距離のそれぞれに対応する複数の光学伝達関数を用いて複数の回復フィルタを作成する回復フィルタ作成手段と、前記複数の回復フィルタのそれぞれを用いた画像回復結果に基づいて、前記複数の光学伝達関数のうち一つの光学伝達関数を決定する決定手段と、前記一つの光学伝達関数に基づく回復フィルタを用いて前記回復画像を生成する画像回復手段とを有する。
【００１１】
本発明の一側面としての撮像装置は、前記画像処理装置と、被写体像を光電変換して前記撮影画像を取得する撮像素子とを有する。
【００１２】
本発明の他の側面としての画像処理方法は、撮影画像から回復画像を生成可能な画像処理方法であって、前記撮影画像から撮影条件情報を取得するステップと、前記撮影条件情報に撮影距離に関する情報が含まれていない場合、複数の撮影距離のそれぞれに対応する複数の光学伝達関数を用いて複数の回復フィルタを作成するステップと、前記複数の回復フィルタのそれぞれを用いた画像回復結果に基づいて、前記複数の光学伝達関数のうち一つの光学伝達関数を決定するステップと、前記一つの光学伝達関数に基づく回復フィルタを用いて前記回復画像を生成するステップとを有する。
【００１３】
本発明の他の側面としての画像処理プログラムは、コンピュータに、前記画像処理方法を実行させる。
【００１４】
本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。
【００１５】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１６】
本発明によれば、撮影距離情報が得られない場合でも、適切なＯＴＦデータを選択して良好な回復画像を取得可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態における画像処理装置の概略構成を示すブロック図である。
【図２】実施形態１における画像処理装置の処理部の模式図である。
【図３】実施形態１における画像処理方法のフローチャートである。
【図４】実施形態１において、画像の分割領域の説明図である。
【図５】実施形態１において、回復フィルタを分割領域に適用した場合の適用ゲインの表である。
【図６】画像回復処理における位相成分ＰＴＦの周波数空間での回復の状態を示す模式図である。
【図７】実施形態２における画像処理装置の処理部の模式図である。
【図８】実施形態２における画像処理方法のフローチャートである。
【図９】実施形態２における調整画面および検証結果表示画面のユーザインタフェースの例である。
【図１０】画像回復処理における振幅成分ＭＴＦを回復した際の周波数空間での回復の度合いの説明図である。
【図１１】撮影距離情報が得られない場合に撮影距離を仮定して作成した回復フィルタを適用した場合の画像回復結果の例である。
【図１２】本実施形態における撮像装置の外観図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。
【００１９】
［画像回復処理の概要］
まず、画像回復処理の概要について説明する。劣化画像（撮影画像）をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦのフーリエペアである点像分布関数ＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（１）が成立する。
【００２０】
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）  …  （１）
ここで、「＊」はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は実空間における画像の座標（撮影画像上の座標）である。
【００２１】
また、式（１）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（２）が得られる。
【００２２】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）  …  （２）
ここで、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ、Ｆはそれぞれ劣化画像ｇ、もとの画像ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。
【００２３】
劣化画像ｇからもとの画像ｆを得るには、以下の式（３）のように、式（２）の両辺を光学伝達関数Ｈ（ｕ，ｖ）で除算すればよい。
【００２４】
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）  …  （３）
そして、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面（実空間）に戻すことにより、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。
【００２５】
Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。
【００２６】
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）  …  （４）
ここで、Ｒ（ｘ，ｙ）は画像回復フィルタと呼ばれる。画像回復フィルタＲ（ｘ，ｙ）は、光学伝達関数ＯＴＦに基づいて設定されるため、振幅成分ＭＴＦおよび位相成分ＰＴＦの劣化の両方を高精度に補正することができる。
【００２７】
ただし、画像回復処理に適用される回復フィルタは、レンズの合焦距離に応じて異なる。すなわち、回復フィルタに対しては最適な撮影距離（被写体距離）が存在する。そして、撮影距離が不明である場合（撮影距離が得られない場合）に、至近または無限遠など適当な距離に対応する回復フィルタを用いて画像回復処理を行うと、良好な回復画像を取得することはできない。そこで本実施形態では、この問題を解決するため、後述のような画像処理装置および画像処理方法を提供する。
【００２８】
図１０は、画像回復処理における振幅成分ＭＴＦを回復した際の周波数空間での回復の度合いの説明図である。図１０中の線（ａ）は、対象とする画像（元画像）のＭＴＦ曲線である。この画像に対して、ＭＴＦが１、すなわち図１０中の線（ｂ）で示される回復画像（完全回復画像）を取得するため、画像回復処理を行う。実際の画像にはノイズ成分があるため、光学伝達関数ＯＴＦの逆数をとって作成された画像回復フィルタを用いると、図１０に示されるように、劣化画像（元画像）の回復とともにノイズ成分が大幅に増幅されてしまう。撮影光学系による振幅成分（振幅劣化）であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がり、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されるためである。
【００２９】
図１１は、撮影距離情報が得られない場合に撮影距離を仮定して作成した回復フィルタを適用した場合の画像回復結果の例である。図１１（ａ）〜（ｃ）は、撮影距離が得られない場合、至近、中距離、無限遠の３つの場合で撮影距離を仮定して、画像回復フィルタを作成した場合のＭＴＦの回復度合いをグラフ化したものである。図１１（ａ）は、画像の高周波成分領域で、実際に回復したデータが０以下になる場合を示している。図１１（ａ）に示されるように、画像高周波領域では明るい部分と暗い部分での輝度差が大きくなり、リンギングや黒沈みなどのアーティファクトが発生し、ふちがある画像が形成される。図１１（ｂ）は、回復度合いが強すぎ、高周波領域に至る領域にてノイズ成分が大幅に増幅される場合を示している。図１１（ｃ）は、回復度合いが弱く、期待通りの画像劣化の回復が行われていない場合を示している。
【００３０】
［画像処理装置の構成］
続いて、図１を参照して、本実施形態における画像処理装置の構成について説明する。図１は、画像処理装置１０の概略構成を示すブロック図である。図１に示される画像処理装置１０の構成は、後述の実施形態１および実施形態２において共通である。画像処理装置１０は、撮影画像から回復画像を生成可能である。
【００３１】
画像処理装置１０において、ＣＰＵ１００は、外部記憶装置１０３に記憶されたオペレーティングシステム（ＯＳ）や画像処理アプリケーションプログラムをメモリ１０２（記憶手段）に展開して実行する。これによりＣＰＵ１００は、画像処理装置１０の全体の動作を制御し、画像処理装置１０で実行される各種の処理を実現する。
【００３２】
外部記憶装置１０３としては、ハードディスクなどの記憶部が用いられる。メモリ１０２としては、ＲＡＭなどの記憶部が用いられる。なお、ＯＳや画像処理アプリケーションプログラムは、外部記憶装置１０３に代えて、ＲＯＭなどの不揮発性メモリに記憶されていてもよい。外部記憶装置１０３には、画像データおよび画像回復処理に用いられるレンズ（光学系）のＯＴＦデータが格納されている。本実施形態において、外部記憶装置１０３に格納されている画像は、デジタルカメラ（撮像装置）を用いて撮影された撮影画像であるが、これに限定されるものではない。ＣＰＵ１００は、外部記憶装置１０３から補正対象（画像回復処理の対象）となる画像（画像データ）を読み出して表示用メモリ１０１に展開し、読み出された画像を表示装置１０５に表示する。表示装置１０５としては、液晶ディスプレイやＣＲＴなどが用いられる。
【００３３】
操作者は、キーボードやマウスなどの入力装置１０４を介して、画像処理装置１０を操作する。外部記憶装置１０３から読み出された画像（撮影画像）に対して補正（画像回復処理）を行うことにより生成される新しい画像データ（回復処理後の画像）は、外部記憶装置１０３に格納される。また本実施形態において、画像処理装置１０は、外部記憶装置１０３に格納されたソフトウエア（画像処理プログラム）に基づいて、以下の実施形態１、２で説明する画像処理方法を適宜実行する。
【００３４】
［実施形態１］
次に、本発明の実施形態１における画像処理装置および画像処理方法について説明する。図２は、本実施形態における画像処理装置１０の処理手段２０の模式図である。処理手段２０は、本実施形態の画像処理方法を実行する。処理手段２０は、ＣＰＵ１００が外部記憶装置１０３に記憶されたアプリケーションプログラムなどの画像処理プログラムをメモリ１０２に展開して実行し、画像処理装置１０の各部がＣＰＵ１００からの指令に基づいて所定の動作を行うことで実現される。なお、処理手段２０に含まれる各手段と同様の処理を実現するためのハードウェア回路を設け、ＣＰＵ１００がこれらのハードウェア回路を制御するようにしても構わない。
【００３５】
処理手段２０は、画像入力手段２００、付帯情報取得手段２０１、画像表示手段２０２、および、回復フィルタ作成手段２０３を備えている。また処理手段２０は、画像回復実行手段２０４、本実施形態の全処理を制御する画像処理制御手段２０５、ＯＴＦデータ決定手段２０６、および、回復実効値取得手段２０７を備えている。また本実施形態において、ＯＴＦデータ（ＯＴＦデータ群２１０）が画像回復処理を行うために予めレンズ（光学系）ごとに用意されており、外部記憶装置１０３に提供される。
【００３６】
画像入力手段２００は、外部記憶装置１０３から画像データ（画像）をメモリ１０２に読み込む。付帯情報取得手段２０１（情報取得手段）は、メモリ１０２に展開された画像データ（撮影画像）から、レンズ情報（レンズの種類やレンズＩＤなど）、絞り、撮影距離（被写体距離）などの画像回復処理に必要な付帯情報（撮影条件情報）を取得する。画像表示手段２０２は、画像データ（画像）を表示用メモリ１０１に展開し、補正前または補正後の画像を表示装置１０５に表示する。
【００３７】
回復フィルタ作成手段２０３は、外部記憶装置１０３にレンズごとに予め用意された光学伝達関数ＯＴＦ、すなわちＯＴＦデータ（離散的なＯＴＦデータ群（２０１）を用いて、画像回復処理に用いられる回復フィルタを生成する。このとき回復フィルタ作成手段２０３は、付帯情報取得手段２０１により取得された撮影条件情報に基づいて決定されるＯＴＦデータを用いて回復フィルタを生成する。後述のように、回復フィルタ作成手段２０３は、撮影条件情報に撮影距離に関する情報が含まれていない場合、複数の撮影距離のそれぞれに対応する複数の光学伝達関数ＯＴＦ（ＯＴＦデータ）を用いて複数の回復フィルタを作成する。好ましくは、回復フィルタ作成手段２０３は、複数の光学伝達関数のそれぞれを用いて、像高ごとに複数の回復フィルタを作成する。
【００３８】
画像回復実行手段２０４（画像回復手段）は、回復フィルタ作成手段２０３により生成された回復フィルタを利用して画像回復処理を行うことにより、回復画像を生成する。回復実効値取得手段２０７（ゲイン取得手段）は、画像回復実行手段２０４による画像回復処理結果に基づいて、像高（像高領域）ごとの回復実効値すなわち回復ゲイン（回復実効ゲインＧｅ）を取得する。回復実効値（回復ゲイン）は、画像回復実行手段２０４により生成され、メモリ１０２に記憶される。そして後述のように、ＯＴＦデータ決定手段２０６は、回復実効値に基づいて複数のＯＴＦデータのうち一つのＯＴＦデータを決定する。
【００３９】
図４は、本実施形態において画像の分割領域の説明図である。図４（ａ）は画像４００を領域４０１〜４０４に４分割した状態を示し、図４（ｂ）は、分割領域（領域４０２）をさらに小さい領域に分割した状態を示している。本実施形態において、回復フィルタは、図４（ａ）に示されるように画像４００を４分割し、各分割領域をさらに像高に応じて分割することにより、図４（ｂ）に示されるような小領域（領域Ｒ１１〜Ｒ７７）ごとに算出して用意される。本実施形態では、各分割領域（例えば領域４０２）は、７×７小領域（領域Ｒ１１〜Ｒ７７）に分割されている。分割領域の大きさは、画像回復処理を行う演算装置（ＣＰＵ１００など）の演算能力や精度に応じて任意に選択することが可能である。
【００４０】
図５は、回復フィルタを分割領域に適用した場合の適用ゲインの表である。図５には、適切な（好ましくは最適な）強度で回復フィルタを分割領域（領域４０２）に適用した場合の像高領域ごとの回復実効値（回復実効ゲインＧｅ）の例が示されている。図５に示される回復実効ゲインＧｅは、前述のように、全ての撮影条件を考慮して決定された回復フィルタを適用した結果である。このため、付帯情報取得手段２０１において、ＯＴＦデータ群２１０（複数のＯＴＦデータ）から利用するＯＴＦデータを特定するのに十分な情報が取得できていない場合、回復フィルタ作成手段２０３は適切な回復フィルタを作成することはできない。
【００４１】
そこで本実施形態では、ＯＴＦデータを特定するのに必要な撮影条件として撮影距離が不明である場合、回復フィルタ作成手段２０３は、予め用意された複数の撮影距離をパラメータとして複数のＯＴＦフィルタを用いて、複数の回復フィルタを作成する。また画像回復実行手段２０４は、実際に撮影画像の一部の領域（例えば領域４０２）に対して画像回復処理を行う。ＯＴＦデータ決定手段２０６（決定手段）は、回復処理後の実際の回復度合いを検証する。そしてＯＴＦデータ決定手段２０６は、複数の回復フィルタのそれぞれを用いた回復処理後の回復度合いに基づいて、複数のＯＴＦデータ（光学伝達関数）のうち一つのＯＴＦデータを決定する。
【００４２】
例えば、あるレンズの撮影距離が不明である場合、予め用意されている対象レンズに関するＯＴＦデータを、至近から無限遠までｎ分割（ｎは２以上の整数）し、それぞれの撮影距離ごとに（第１〜第ｎの撮影距離ごとに）ＯＴＦデータが予め用意されている。そして、ｎ分割された複数のＯＴＦデータの一つについて、図５に示されるように７×７領域に対する回復フィルタを作成し、作成した回復フィルタを画像４００の１／４の領域（例えば領域４０２）に適用する。ここで、各領域で適用された回復ゲイン（７×７個）の全てを保存しておく。撮影距離ごとにｎ分割された全てのＯＴＦデータを用いて回復ゲインを取得し、各回復ゲインを領域ごとに適用した場合において、図１１に示されるようなＭＴＦの周波数特性を検証する。検証の詳細については後述する。この検証により複数の撮影距離ごとのＯＴＦデータから適切な（好ましくは最適な）ＯＴＦデータが決定された場合、画像の全領域に対して、決定されたＯＴＦデータから算出される回復フィルタを適用して、画像回復処理を行う。すなわちＯＴＦデータ決定手段２０６は、撮影距離ごとの複数のＯＴＦデータを用いて得られた複数の回復ゲインのそれぞれを適用する。そしてＯＴＦデータ決定手段２０６は、光学伝達関数ＯＴＦの振幅成分ＭＴＦの周波数特性に基づいて複数のＯＴＦデータのうち一つのＯＴＦデータを決定する。
【００４３】
次に、本実施形態における画像処理装置１０による画像処理方法（画像回復処理）について説明する。操作者（編集者）が入力装置１０４を介して画像処理アプリケーションを選択すると、ＣＰＵ１００は対応する画像処理プログラムを外部記憶装置１０３から読み出して実行する。これにより、画像処理アプリケーション、すなわち本実施形態の画像回復処理の実行画面が表示装置１０５に表示される。この画像処理アプリケーションは、入力された画像に対して、画像回復処理を行い、光学的かつ鑑賞にも良好な画像を表示するものである。
【００４４】
続いて図３を参照して、本実施形態における画像処理方法（画像処理プログラム）について説明する。図３は、本実施形態における画像処理方法のフローチャートである。図３の各ステップは、主に、ＣＰＵ１００または画像処理制御手段２０５の指令に基づいて各手段により実行される。
【００４５】
まずステップＳ３０１において、操作者が補正（回復処理）対象となる画像を指定すると、画像入力手段２００は、指定された画像（画像データ）を読み込む（入力する）。続いてステップＳ３０２において、付帯情報取得手段２０１は、読み込まれた画像データに付帯するレンズ情報や撮影距離などの撮影条件情報（付帯情報）を解析し、撮影条件情報を取得する。
【００４６】
続いてステップＳ３０３において、画像処理制御手段２０５は、取得した付帯情報（撮影条件情報）から、予め用意されているＯＴＦデータ群２１０の中から適用するＯＴＦデータを決定するのに十分な情報を得ることができたかを判定する。すなわち画像処理制御手段２０５は、取得した付帯情報の中に撮影距離に関する情報（撮影距離情報）が含まれているか否かを判定する。撮影距離に関する情報が含まれている場合、ステップＳ３０４に進み、ＯＴＦデータ決定手段２０６（決定手段）は、取得した付帯情報に基づいて画像回復処理に適用されるＯＴＦデータを決定する。すなわちＯＴＦデータ決定手段２０６は、複数の回復フィルタのそれぞれを用いた画像回復結果に基づいて、複数の光学伝達関数のうち一つの光学伝達関数を決定する。
【００４７】
一方、取得した付帯情報の中に撮影距離に関する情報が含まれてない場合、ステップＳ３０５に進む。ステップＳ３０５において、画像処理制御手段２０５は、外部記憶装置１０３に保存されている対象レンズのＯＴＦデータを参照する。そして画像処理制御手段２０５は、至近から無限遠までの複数の撮影距離（用意されている全ての撮影距離）に対応するＯＴＦデータをメモリ１０２に読み出す（取得する）。メモリ１０２は、至近から無限遠までの複数の撮影距離のそれぞれに対応する複数の光学伝達関数（ＯＴＦデータ群２１０）を記憶する。ＯＴＦデータは、例えば、レンズＩＤなどのレンズ情報（レンズＩＤ）、焦点距離、絞り、撮影距離、および、撮像装置に具備されるローパスフィルタの種類をパラメータとするテーブルとして用意されている。特に本実施形態では、撮影距離に関して、無限遠から至近までの撮影距離中において複数の分割点で区切られたテーブルが用意される。
【００４８】
続いてステップＳ３０６において、回復フィルタ作成手段２０３は、用意されている全ての撮影距離に対応するＯＴＦデータを用いて（メモリ１０２に記憶されている複数のＯＴＦデータを用いて）、複数の回復フィルタを作成する。そしてステップＳ３０７において、画像回復実行手段２０４は、複数の回復フィルタを用いて、図４（ａ）に示されるように画像回復処理を行う。画像回復処理は、対象画像の１／４の領域（領域４０２）に対して、さらに図４（ｂ）に示されるように７×７分割した小領域（領域Ｒ１１〜Ｒ７７）のそれぞれに対して実行される。続いてステップＳ３０８において、画像処理制御手段２０５は、ステップＳ３０７の画像回復処理の結果、画像回復実行手段２０４により算出された回復実効ゲインＧｅを、領域ごとにメモリ１０２に保存する。この画像回復処理は、用意されている全ての撮影距離をパラメータとするＯＴＦデータを用いて行われる。
【００４９】
続いてステップＳ３０９において、画像処理制御手段２０５は、全てのＯＴＦデータを用いて画像回復処理が完了したか否かを判定する。画像回復処理が完了していない場合、ステップＳ３０６に戻り、ステップＳ３０６〜Ｓ３０８を繰り返す。一方、画像回復処理が完了した場合、ステップＳ３１０に進み、回復実効値取得手段２０７は、メモリ１０２に保存された回復実効ゲインＧｅ（回復実効値）を取得する。そしてしてステップＳ３１１において、ＯＴＦデータ決定手段２０６（画像処理制御手段２０５）は、有効なＯＴＦデータ（有効ＯＴＦ）の検証を行う。
【００５０】
ここで、有効なＯＴＦデータの検証方法について説明する。具体的には、注目する小領域において、以下の（１）〜（３）の場合について検証する。
【００５１】
（１）全周波数領域でＯＴＦの絶対値（振幅成分）であるＭＴＦ（または回復実効値）が０以下になるような値を持つ場合、すなわち図１１（ａ）に相当する場合
（２）所定の周波数領域（高周波領域）で、回復ゲイン（回復実効値）が所定値以上に回復してノイズも一緒に増幅されている場合、すなわち図１１（ｂ）に相当する場合
（３）所定の周波数領域（低周波数領域）で、所定値以上の回復ゲイン（回復実効値）を有しない場合、すなわち図１１（ｃ）に相当する場合
本実施形態では、このような３つの場合について、ＯＴＦデータ決定手段２０６は、７×７の分割領域において該当する領域が存在するか否かを判定し、それぞれの場合について重み付けを行い得点化する。そしてＯＴＦデータ決定手段２０６は、７×７の全ての小領域に対する得点の合計を算出し、弊害がより少ない適切な回復ゲインを導出した一つのＯＴＦデータを決定する。ＯＴＦデータが確定することにより、撮影距離が推定されたことになる。このように、ＯＴＦデータ決定手段２０６は、複数の回復フィルタのそれぞれを適用した場合の回復実効値を像高ごと取得する。そしてＯＴＦデータ決定手段２０６は、回復実効値が所定の周波数領域において所定の条件を満たし、かつ、回復実効値が０以下となる周波数領域が生じないように、一つのＯＴＦデータを決定する。
【００５２】
続いてステップＳ３１２において、画像回復実行手段２０４は、ステップＳ３０４またはステップＳ３１１にて決定されたＯＴＦデータに対応する回復フィルタ（一つの光学伝達関数に基づく回復フィルタ）を用いて、画像全体に対して画像回復処理を実行する。このとき回復フィルタ作成部２０３は、撮影画像の１／４の領域に対して、決定された一つの光学伝達関数（決定された一つのＯＴＦデータ）に基づく回復フィルタを生成し、これを反転もしくは回転させることで、画像全体の回復フィルタを生成する。そして、画像回復実行部２０４は、この回復フィルタを用いて回復画像を生成する。そしてステップＳ３１３において、ＣＰＵ１００は、画像処理結果を表示装置１０５に表示して、本フローは終了する。
【００５３】
前述の検証方法以外にも、例えばＯＴＦの絶対値成分であるＭＴＦだけでなく、位相成分であるＰＴＦを検証材料として用いることもできる。ＰＴＦは、画像のある点における３次元で表現される空間のインパルス応答である。図６は、画像回復処理における位相成分ＰＴＦの周波数空間での回復の状態を示す模式図であり、空間のインパルス応答を２次元平面内で示す図である。図６において、縦軸は分布強度、横軸は点像の中心からの距離をそれぞれ示している。図６（ａ）は、補正対象画像のある点でのＰＴＦの形状を示している。図６（ｂ）は、無収差で像に広がりがない状態、すなわち劣化のない状態（理想状態）を示している。図６（ａ）に示される分布形状を有する画像を回復させると、図６（ｃ）に示されるように、位相のずれが補正され、点像としての広がりはあるものの、対象性をもったボケ状態とすることができる。図６（ｃ）の状態が図６（ｂ）に示されるようにならないのは、この広がりの大きさがノイズ成分であるからである。広がりが小さくなるにつれて先鋭度は向上することになる。
【００５４】
また、ユーザの期待する回復度合いに応じて、各着目ポイントの重み付けを変更してもよい。また、何を重視して回復処理を行うかをユーザ選択させるように構成してもよい。
【００５５】
本実施形態の画像処理装置および画像処理方法によれば、撮影距離が不明でも適切な回復フィルタを作成することにより、良好な画像を取得することができる。
【００５６】
［実施形態２］
次に、本発明の実施形態２における画像処理装置および画像処理方法について説明する。実施形態１では、撮影距離を取得できないために適切なＯＴＦデータを決定することができない場合、複数のＯＴＦデータから、弊害が少なく十分な効果が得られるＯＴＦフィルタを選別し、そのＯＴＦフィルタから撮影距離を特定している。一方、本実施形態では、検証により適切（好ましくは最適）とされたＯＴＦフィルタの回復実効ゲインＧｅを調整可能に構成し、ユーザの許容範囲内において、自動的に決定される実効値を補正する機能を追加している。
【００５７】
図７は、本実施形態における画像処理装置１０の処理手段２０ａの模式図である。処理手段２０ａは、回復ゲイン入力手段２０８（調整手段）を備えている点で、図２を参照して説明した実施形態１の処理手段２０とは異なる。なお、図７に示される処理手段２０ａのその他の構成は、実施形態１の処理手段２０と同一であるため、それらの説明は省略する。
【００５８】
図８は、本実施形態における画像処理方法のフローチャートである。図３の各ステップは、主に、ＣＰＵ１００または画像処理制御手段２０５の指令に基づいて各手段により実行される。なお、図８のステップＳ８０１〜Ｓ８１１、Ｓ８１３、Ｓ８１５は、図３を参照して説明したステップＳ３０１〜Ｓ３１３とそれぞれ同一であるため、それらの説明は省略する。
【００５９】
ステップＳ８１１にてＯＴＦデータ決定手段２０６（画像処理制御手段２０５）が有効なＯＴＦデータ（有効ＯＴＦ）の検証を行い、ＯＴＦデータが決定する。ステップＳ８０４またはステップＳ８１１にてＯＴＦデータが決定されると、ステップＳ８１２において、ユーザの指示に基づいてゲイン調整を行う。すなわち回復ゲイン入力手段２０８は、図５に示されるような回復実効ゲインＧｅ（回復実効値）に対して回復ゲインを入力し、ゲイン調整を行う。図５において、画像の中心付近の領域（右上部分）では、画像の劣化度が少ないため、回復実効ゲインＧｅは小さい値で最適な回復状態にある。一方、像高の大きい領域（左下部分）では、画像を回復させるための回復実効ゲインＧｅが大きい。
【００６０】
ただし、ユーザによっては、若干ノイズが大きくなっても、回復度合いをより強くしたいなどの要求がある。そこで、図９に示されるようなユーザインタフェース画面を用意して、図８のステップＳ８１２において調整値としての回復ゲインの入力値（入力ゲインＧｉ）を、実効ゲインＧｅに上乗せする。この結果、最終適用回復ゲインＧｔは、以下のように表される。
【００６１】
最終適用回復ゲインＧｔ＝回復実効ゲインＧｅ＋入力ゲインＧｉ
そして図８のステップＳ８１３において、画像回復実行手段２０４は、最終適用回復ゲインＧｔ（調整値）を用いて画像回復処理を実行する。続いてステップＳ８１４において、ＯＴＦデータ決定手段２０６（画像処理制御手段２０５）は、図９に示されるように最終適用回復ゲインＧｔを用いて画像回復処理を行った場合におけるＯＴＦデータを検証する。そしてＣＰＵ１００は、その検証結果を表示装置１０５に表示する。続いてステップＳ８１５において、ＣＰＵ１００は、画像処理結果を表示装置１０５に表示して、本フローは終了する。
【００６２】
このように本実施形態において、回復ゲイン入力手段２０８は、回復実効値取得手段２０７により取得された回復実効値を調整可能である。そして画像回復実行手段２０４は、回復ゲイン入力手段２０８による調整値を用いて回復画像を生成する。好ましくは、画像表示手段２０２は、回復ゲイン入力手段２０８により設定された調整値を用いて画像回復を行った場合の検証結果を、表示装置１０５に表示する。
【００６３】
本実施形態において、ステップＳ８１１にて決定されたＯＴＦデータは、有効ＯＴＦの検証で最大得点を生み出した弊害の少ないＯＴＦデータである。このため、そのＯＴＦデータに基づいて回復ゲインを調整し、かつ、このときの調整値（回復ゲインの調整値）による検証結果を合わせて表示することにより、ユーザの許容範囲内で広い調整、すなわちより適切な調整が可能となる。また本実施形態において、図９の調整画面の例として示されるように、撮影距離入力手段を設けることにより撮影距離そのものを微調整可能に構成してもよい。このとき、デフォルトの設定値は、検証により選択された撮影距離である。
【００６４】
［その他の実施形態］
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、コンピュータに供給、インストールされるプログラムコード自体も本発明を実現する。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータなど、プログラムの形態を問わない。
【００６５】
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープなどの磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【００６６】
また、各実施形態の画像処理装置は、撮像装置に設けることもできる。図１２は、撮像装置１２００の外観図である。撮像装置１２００は、レンズ１２１０（撮影光学系）、各実施形態の画像処理装置１０、および、被写体像を光電変換して撮影画像を取得する撮像素子１２２０を有する。このように撮像装置１２００は、レンズ１２１０を介して得られた撮影画像から回復画像を生成するように構成されている。
【００６７】
各実施形態によれば、撮影距離情報が得られない場合でも、適切なＯＴＦデータを選択して良好な回復画像を取得可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【００６８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【００６９】
２０１  付帯情報取得手段
２０３  回復フィルタ作成手段
２０４  画像回復実行手段
２０６  ＯＴＦデータ決定手段
【図５】
2015129990.tif 000003
【図１０】
2015129990.tif 000004
【図１１】
2015129990.tif 000005
【図１】
2015129990.tif 000006
【図２】
2015129990.tif 000007
【図３】
2015129990.tif 000008
【図４】
2015129990.tif 000009
【図６】
2015129990.tif 000010
【図７】
2015129990.tif 000011
【図８】
2015129990.tif 000012
【図９】
2015129990.tif 000013
【図１２】
2015129990.tif 000014