(57)【要約】【課題】端部で不連続となるデータを変換する際に不連続性に起因する高周波ノイズの影響を抑制可能な情報処理装置、光学機器、情報処理方法、情報処理プログラム、および記録媒体を提供すること。【解決手段】第１の光学伝達関数を取得する取得部と、第１の光学伝達関数の端部の周波数である第１境界周波数と、第１境界周波数より高い周波数である第２境界周波数との間の周波数領域に対応する第２の光学伝達関数を生成する生成部と、第１および第２の光学伝達関数を点像強度分布関数に変換する変換処理部と、を有し、生成部は、第１境界周波数に対応する第１の光学伝達関数および第１の光学伝達関数の微分値、並びに第２境界周波数に対応する第２の光学伝達関数の微分値を境界条件として使用する。【選択図】図９
2017163491.tif 000002
【特許請求の範囲】
【請求項１】
第１の光学伝達関数を取得する取得部と、
前記第１の光学伝達関数の端部の周波数である第１境界周波数と、前記第１境界周波数より高い周波数である第２境界周波数との間の周波数領域に対応する第２の光学伝達関数を生成する生成部と、
前記第１および第２の光学伝達関数を点像強度分布関数に変換する変換処理部と、を有し、
前記生成部は、前記第１境界周波数に対応する前記第１の光学伝達関数および前記第１の光学伝達関数の微分値、並びに前記第２境界周波数に対応する前記第２の光学伝達関数の微分値を境界条件として使用することを特徴とする情報処理装置。
【請求項２】
前記生成部は、前記第２の光学伝達関数の微分値を生成し、前記第２の光学伝達関数の微分値に基づいて前記第２の光学伝達関数を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記生成部は、前記第２境界周波数に対応する前記第２の光学伝達関数の微分値をゼロとして前記第２の光学伝達関数の微分値を生成することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記生成部は、前記第２の光学伝達関数の実部および虚部を生成することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
前記第２の光学伝達関数は、２次元データであり、非対称性を有することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記第１および第２境界周波数は、方向によって異なることを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記変換処理部は、逆フーリエ変換を実行することで前記第１および第２の光学伝達関数を点像強度分布関数に変換することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
【請求項８】
前記変換処理部により変換された点像強度分布関数に基づいて、撮像光学系を介した撮像により生成される画像に対して鮮鋭化処理を実行する鮮鋭化処理部を更に有することを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
【請求項９】
請求項１から８のいずれか１項に記載の情報処理装置を有することを特徴とする光学機器。
【請求項１０】
請求項１から７のいずれか１項に記載の情報処理装置における前記変換処理部により変換された点像強度分布関数に関する情報を記憶した記憶部を有することを特徴とする光学機器。
【請求項１１】
前記記憶部に記憶した前記点像強度分布関数に関する情報に基づいて、撮像光学系を介した撮像により生成される画像に対して鮮鋭化処理を実行する鮮鋭化処理部を有することを特徴とする請求項１０に記載の光学機器。
【請求項１２】
第１の光学伝達関数を取得する取得ステップと、
前記第１の光学伝達関数の端部の周波数である第１境界周波数と、前記第１境界周波数より高い周波数である第２境界周波数との間の周波数領域に対応する第２の光学伝達関数を生成する生成ステップと、
前記第１および第２の光学伝達関数を点像強度分布関数に変換する変換処理ステップと、を有し、
前記生成ステップでは、前記第１境界周波数に対応する前記第１の光学伝達関数および前記第１の光学伝達関数の微分値、並びに前記第２境界周波数に対応する前記第２の光学伝達関数の微分値を境界条件として使用することを特徴とする情報処理方法。
【請求項１３】
請求項１２に記載の情報処理方法のステップをコンピュータに実行させるための情報処理プログラム。
【請求項１４】
請求項１３に記載の情報処理プログラムを記録するコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、光学機器、情報処理方法、情報処理プログラム、および記録媒体に関する。
【背景技術】
【０００２】
画像処理の分野において、画像や画像に適用するフィルタの周波数特性を分析するためにフーリエ変換等の変換処理が利用される。一般的に、計算機上で変換処理を行う場合、離散化されたフーリエ変換である離散フーリエ変換（ＤＦＴ）、あるいは高速化された高速フーリエ変換（ＦＦＴ）が利用される。そのため、計算機上で変換処理が実行されると、対象となる画像や画像に適用するフィルタは、標本化された有限の大きさを有する離散データとなる。一方、計算機上で周波数空間から実空間に変換する逆フーリエ変換を行う場合、逆離散フーリエ変換（iＤＦＴ）、あるいは逆高速フーリエ変換（iＦＦＴ）が利用される。本来、フーリエ変換あるいは逆フーリエ変換は無限大区間を前提としているが、ＦＦＴ（ＤＦＴ）あるいはiＦＦＴ（iＤＦＴ）は有限区間を周期データとして処理される。そのため、周期の境界において不連続となる場合、不連続性に起因する高周波ノイズが発生してしまう。
【０００３】
また、光学系の点像強度分布関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）は、計算機上で光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）のｉＦＦＴ等の逆フーリエ変換を行うことで算出される。そのため、不連続性に起因する高周波ノイズが発生してしまい、高精度にＰＳＦを算出することができない。
【０００４】
特許文献１では、こうした問題に対して窓関数を用いる画像処理方法を提案している。具体的には、ローパスフィルタのカットオフ周波数に基づいて窓関数を決定し、窓関数を用いて処理された成分に対してローパスフィルタを適用してフーリエ変換処理を実行する処理が開示されている。
【０００５】
また、特許文献２では、被検眼眼球光学系の高周波側のＯＴＦを推定し、推定したＯＴＦとあらかじめ測定した周波数伝達関数（ＭＴＦ）およびＰＴＦを用いて高精度に眼光学特性を測定する方法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１５−１０８８７２号公報
【特許文献２】特許第４６８４７０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１では、ローパスフィルタを適用するため、本来の周波数特性を保つことが困難となる。また、特許文献２の方法では、光学系のＯＴＦに関して低周波側の周波数特性から高周波側の周波数特性を推定する手法が提案されているが、不連続なデータを変換処理する場合の影響については述べられておらず、その対策についても開示されていない。
【０００８】
このような課題に鑑みて、本発明は、端部で不連続となるデータを変換する際に不連続性に起因する高周波ノイズの影響を抑制可能な情報処理装置、光学機器、情報処理方法、情報処理プログラム、および記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一側面としての情報処理装置は、第１の光学伝達関数を取得する取得部と、前記第１の光学伝達関数の端部の周波数である第１境界周波数と、前記第１境界周波数より高い周波数である第２境界周波数との間の周波数領域に対応する第２の光学伝達関数を生成する生成部と、前記第１および第２の光学伝達関数を点像強度分布関数に変換する変換処理部と、を有し、前記生成部は、前記第１境界周波数に対応する前記第１の光学伝達関数および前記第１の光学伝達関数の微分値、並びに前記第２境界周波数に対応する前記第２の光学伝達関数の微分値を境界条件として使用することを特徴とする。
【００１０】
また、本発明の他の側面としての情報処理方法は、第１の光学伝達関数を取得する取得ステップと、前記第１の光学伝達関数の端部の周波数である第１境界周波数と、前記第１境界周波数より高い周波数である第２境界周波数との間の周波数領域に対応する第２の光学伝達関数を生成する生成ステップと、前記第１および第２の光学伝達関数を点像強度分布関数に変換する変換処理ステップと、を有し、前記生成ステップでは、前記第１境界周波数に対応する前記第１の光学伝達関数および前記第１の光学伝達関数の微分値、並びに前記第２境界周波数に対応する前記第２の光学伝達関数の微分値を境界条件として使用することを特徴とする。
【発明の効果】
【００１１】
本発明は、端部で不連続となるデータを変換する際に不連続性に起因する高周波ノイズの影響を抑制可能な情報処理装置、光学機器、情報処理方法、情報処理プログラム、および記録媒体を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】アンシャープマスク処理による鮮鋭化の模式図である。
【図２】ｘｙ平面における撮像光学系のＰＳＦの模式図である。
【図３】回転対称なアンシャープマスクを用いた鮮鋭化処理の模式図である。
【図４】回転非対称なアンシャープマスクを用いた鮮鋭化処理の模式図である。
【図５】本発明の実施形態に係る撮像装置のブロック図である（実施例１、２）。
【図６】画像処理部のブロック図である（実施例１、２）。
【図７】鮮鋭化処理を示すフローチャートである（実施例１、２）。
【図８】ベイヤー配列の模式図である。
【図９】実施例１のＰＳＦ生成処理を示すフローチャートである。
【図１０】ＯＴＦの説明図である。
【図１１】境界条件の説明図である。
【図１２】ＯＴＦの生成方法の説明図である。
【図１３】生成したＯＴＦの説明図である。
【図１４】ＰＳＦの説明図である。
【図１５】アンシャープマスクの模式図と断面図である。
【図１６】実施例２のＰＳＦ生成処理を示すフローチャートである。
【図１７】交換レンズおよびカメラ本体の概略図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
［入力画像］
入力画像は、撮像装置において撮像光学系（以下、光学系という）により形成された被写体像を光電変換した撮像素子から出力される信号を用いて生成されるデジタル画像である。入力画像は、レンズや光学フィルタ等の光学素子を含む光学系の収差を含む光学伝達関数（ＯＴＦ）により劣化した画像である。撮像素子は、ＣＭＯＳやＣＣＤ等の光電変換素子により構成される。光学系は、曲率を有するミラー（反射面）を含んでもよい。また、光学系は、撮像装置に対して着脱（交換）可能であってもよい。撮像装置において、光学系、撮像素子および撮像素子から出力される信号を用いてデジタル画像（入力画像）を生成する信号処理回路により撮像系が構成される。
【００１４】
入力画像の色成分は、例えばＲＧＢ色成分の情報を有している。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相および彩度や、ＹＣｂＣｒで表現される輝度および色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間としては、例えば、ＸＹＺ，Ｌａｂ，Ｙｕｖ，ＪＣｈを用いることが可能であり、さらに色温度を用いることも可能である。
【００１５】
入力画像や出力画像には、入力画像を生成（撮像）した際の撮像装置における光学系の焦点距離、絞り値、および撮像距離等の撮影条件に関する情報（以下、撮影条件情報という）を付帯することができる。また、入力画像を補正するための各種の補正情報も付帯することができる。撮像装置から、撮像装置とは別に設けられた画像処理装置に入力画像を出力し、画像処理装置にて画像処理を行う場合、入力画像に撮影条件情報や補正情報を付帯することが好ましい。撮影条件情報や補正情報は、入力画像に付帯する以外に、撮像装置から画像処理装置に直接または間接的に通信により受け渡すこともできる。
［画像鮮鋭化処理］
図１は、アンシャープマスク処理（画像鮮鋭化処理）による鮮鋭化の模式図である。図１の横軸は座標であり、縦軸は画素値または輝度値である。図１（Ａ）の実線は入力画像、破線は入力画像をアンシャープマスクでぼかした画像（ボケ画像）、点線は鮮鋭化後の画像を表す。図１（Ｂ）は、補正成分を表す。なお、図１は、後述する図２の所定の方向（例えば、ｘ方向）の断面に相当する。
【００１６】
入力画像をｆ（ｘ，ｙ）、補正成分をｈ（ｘ，ｙ）とすると、鮮鋭化後の画像ｇ（ｘ，ｙ）は以下の式（１）で表される。
【００１７】
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｈ（ｘ，ｙ）               （１）
ｍは補正の強さを変化させるための調整係数であり、調整係数ｍを変化させることで補正量を調整することができる。なお、調整係数ｍは、入力画像の位置によらない定数であってもよいし、入力画像の位置に応じて変化させてもよい。調整係数ｍを入力画像の位置に応じて異ならせることで、入力画像の位置に応じて補正量を調整することができる。また、調整係数ｍは、光学系の焦点距離、絞り値、または被写体距離といった撮影条件に応じて異なる数であってもよい。
【００１８】
補正成分ｈ（ｘ，ｙ）は、アンシャープマスクをＵＳＭ（ｘ，ｙ）とすると、以下の式（２）で表される。アンシャープマスクＵＳＭ（ｘ，ｙ）は、例えば、座標（ｘ，ｙ）におけるタップ値である。
【００１９】
ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）        （２）
式（２）の右辺を変形することで、補正成分ｈ（ｘ，ｙ）は以下の式（３）で表される。
【００２０】
ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））    （３）
＊はコンボリューション（畳み込み積分、積和）、δはデルタ関数（理想点像）である。デルタ関数とは、アンシャープマスクＵＳＭ（ｘ，ｙ）とタップ数が等しく、中心の値が１でそれ以外が０で埋まっているデータである。
【００２１】
以下、補正成分ｈ（ｘ，ｙ）の生成について説明する。一般的なアンシャープマスク処理では、アンシャープマスクとしてガウシアンフィルタ、メディアンフィルタ、または移動平均フィルタ等の平滑化フィルタが使用される。例えば、図１（Ａ）の実線で示される入力画像ｆ（ｘ，ｙ）に対してアンシャープマスクＵＳＭ（ｘ，ｙ）としてガウシアンフィルタを適用する場合、入力画像ｆ（ｘ，ｙ）は図１（Ａ）の破線で示されるボケ画像となる。補正成分ｈ（ｘ，ｙ）は、式（２）に示されるように、入力画像ｆ（ｘ，ｙ）とボケ画像の差分値であり、図１（Ａ）の実線から図１（Ａ）の破線を減算することで図１（Ｂ）の実線で表される。入力画像ｆ（ｘ，ｙ）は、式（１）の演算を行うことで、図１（Ａ）の点線で示される鮮鋭化後の画像ｇ（ｘ，ｙ）となる。
【００２２】
以下、被写体の光学像を形成する光学系により劣化した画像に対して、アンシャープマスク処理を行うことで画像を鮮鋭化する方法について説明する。光学系を介して取得される入力画像ｆ（ｘ，ｙ）は、撮影前の元の画像（被写体像）をＩ（ｘ，ｙ）、光学系の点光源に対する応答を表す関数であるＰＳＦをｐｓｆ（ｘ，ｙ）とすると、以下の式（４）で表される。
【００２３】
ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＊ｐｓｆ（ｘ，ｙ）               （４）
光学系が回転対称な共軸光学系である場合、画像の中心部に対応するＰＳＦは回転対称となる。そのため、画像の中心部に対して回転対称なアンシャープマスクＵＳＭ（ｘ，ｙ）を適用することで、入力画像ｆ（ｘ，ｙ）を元の画像Ｉ（ｘ，ｙ）に近づける鮮鋭化を行うことができる。補正成分ｈ（ｘ，ｙ）は入力画像ｆ（ｘ，ｙ）とボケ画像の差分値であるため、アンシャープマスクＵＳＭ（ｘ，ｙ）として単純な平滑化フィルタではなく、ＰＳＦに近い形状のフィルタを使用することで入力画像ｆ（ｘ，ｙ）を精度良く補正することができる。例えば、球面収差の影響で入力画像が劣化する場合、球面収差は入力画像に回転対称に影響を与えるが、ガウシアンフィルタのような平滑化フィルタは、球面収差の影響によるＰＳＦとは分布の形状が異なる。そのため、入力画像が回転対称にぼける影響を低減する場合、ＰＳＦを使用することで入力画像を精度良く補正することができる。
【００２４】
本実施形態では、アンシャープマスクＵＳＭ（ｘ，ｙ）としてＰＳＦを用いる。図１（Ａ）の実線で示される入力画像ｆ（ｘ，ｙ）は、簡略化のため対称な形状としているが、非対称な形状であってもよい。元の画像Ｉ（ｘ，ｙ）の形状が非対称であってもｐｓｆ（ｘ，ｙ）に相当する元の画像Ｉ（ｘ，ｙ）の劣化関数が回転対称であれば、回転対称なアンシャープマスクＵＳＭ（ｘ，ｙ）を用いて鮮鋭化することができる。
【００２５】
画像の中心部以外では、光学系が回転対称な共軸光学系であっても、ＰＳＦは通常非対称な形状となる。図２は、ｘｙ平面における撮像光学系のＰＳＦの模式図である。図２（Ａ）は軸上のＰＳＦ、図２（Ｂ）は軸外のＰＳＦを表す。例えば、元の画像（被写体像）が理想点像である場合、入力画像ｆ（ｘ，ｙ）は、式（４）に示されるように、光学系のＰＳＦになる。図２（Ｂ）に対応する画角に理想点像があり、光学系のＰＳＦの影響を受けて元の画像（被写体像）が劣化する場合、入力画像ｆ（ｘ，ｙ）として得られる画像は、図２（Ｂ）に示されるように、ぼけた画像となる。
【００２６】
以下、非対称にぼけた画像に対して、アンシャープマスク処理による鮮鋭化を行う場合について説明する。図３は、非対称に劣化した画像に対して回転対称なアンシャープマスクとしてガウシアンフィルタを適用するアンシャープマスク処理による鮮鋭化の模式図である。図４は、非対称に劣化した画像に対して回転非対称なアンシャープマスクとして光学系のＰＳＦを適用するアンシャープ処理の模式図である。図３（Ａ）および図４（Ａ）の実線は入力画像、点線は入力画像をアンシャープマスクでぼかした画像（ボケ画像）を表す。図３（Ｂ）および図４（Ｂ）は、入力画像とボケ画像の差分値である補正成分を表す。なお、図３および図４は、図２のｙ軸方向の断面に相当する。図３および図４の横軸と縦軸は、図１と同様である。図３および図４の横軸では、ボケ画像のうちよりぼけて裾野が広くなっている側を便宜的にプラス側としている。
【００２７】
図３（Ａ）では、実線のピーク位置に対してマイナス側の入力画像とボケ画像の差分値がプラス側の入力画像とボケ画像の差分値より大きい。そのため、図３（Ｂ）に示されるように、ピーク位置に対してマイナス側の補正成分の極値は、プラス側の補正成分の極値に比べて小さい。すなわち、プラス側の補正成分が小さく、マイナス側の補正成分は大きいため、式（１）を用いてアンシャープマスク処理を行っても非対称なボケを補正できない。図３（Ｃ）は、式（１）の調整係数ｍが１である場合の鮮鋭化後の画像を表す。鮮鋭化後の画像は、図３（Ｃ）に示されるように、図３（Ａ）の実線で示される入力画像に対して鮮鋭化されているが、マイナス側の領域がプラス側の領域に比べて大きく凹んでおり、非対称なボケは補正されていない。また、入力画像のプラス側の領域を適切に補正するように調整係数ｍを設定すると、入力画像のマイナス側の領域は補正過剰（アンダーシュート）になる。入力画像のマイナス側の領域を適切に補正するように調整係数ｍを設定すると、入力画像のプラス側の領域は補正不足になる。
【００２８】
以上説明したように、非対称にぼけた入力画像に対して回転対称なアンシャープマスクを適用してアンシャープマスク処理を行う場合、入力画像の非対称性を改善して鮮鋭化することは困難である。このような問題は、ガウシアンフィルタ以外の回転対称なフィルタを使用する場合でも発生する。
【００２９】
図４（Ａ）では、実線のピーク位置に対してプラス側の入力画像とボケ画像の差分値がマイナス側の入力画像とボケ画像の差分値より大きい。そのため、図４（Ｂ）に示されるように、ピーク位置に対してプラス側の補正成分の極値は、マイナス側の補正成分の極値に比べて小さい。すなわち、ボケ量が大きいプラス側の補正成分は大きく、ボケ量の少ないマイナス側の補正成分は小さくなっている。したがって、図４（Ａ）の実線で示される入力画像に対してアンシャープマスク処理を行うと、入力画像のボケのバランスと補正成分の補正量のバランスの傾向が一致するため、補正の過不足も起きにくい。図４（Ｃ）は、式（１）の調整係数ｍが１である場合の鮮鋭化後の画像を表す。鮮鋭化後の画像は、図４（Ｃ）に示されるように、図４（Ａ）の実線で示される入力画像に対して鮮鋭化されるとともに、図３（Ｃ）の鮮鋭化後の画像に比べてマイナス側の領域とプラス側の領域の凹みのバランス差が改善されている。また、回転対称なアンシャープマスクを適用する場合と比べて、補正過剰になりにくくなるため、調整係数ｍの値も比較的大きく変化させることできる。そのため、鮮鋭化の画像は、非対称なボケを低減されるとともにより鮮鋭化される。また、補正成分の補正量のバランスは入力画像とボケ画像の差分値となるため、より精度良くアンシャープマスク処理を行うためには、光学系のＰＳＦによって大きくぼけた領域がアンシャープマスクによって他の領域に比べてよりぼかされる必要がある。したがって、アンシャープマスクとして光学系のＰＳＦを利用することで、より精度良くアンシャープマスク処理を行うことができる。なお、ＰＳＦは、ウィナーフィルタに代表される画像復元処理や、ＲＬ法に代表される反復処理型の画像復元処理に用いてもよい。また、近年研究が進んでいるＤＬ（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）の学習画像の生成に用いてもよい。
［保持データ］
アンシャープマスクとして光学系のＰＳＦを利用するためには、ＰＳＦを撮像装置や画像処理装置内に保持しておく必要がある。ＰＳＦをこれらの装置内に保持する場合、鮮鋭化処理ではＰＳＦをアンシャープマスクとして直接用いることができる。しかしながら、ＰＳＦは撮影時の条件（撮影条件）および像高によって異なるため、高精度な補正処理を行うためにはＰＳＦの変動に応じたデータを保持する必要がある。ＰＳＦは２次元データであり、カラー画像においてはＲＧＢ等の色成分ごとのデータも必要となるため、そのデータ量が膨大となる。
【００３０】
そこで、本実施形態では、ＰＳＦでなく、ＯＴＦを装置内に保持し、ＯＴＦをフーリエ変換することでＰＳＦを取得する。１つの像高に対応するＯＴＦデータは、縦方向のタップ数×横方向のタップ数×２（実部および虚部）×３（ＲＧＢ）となる。さらに、これらを、像高、Ｆナンバー（絞り値）、ズーム位置（焦点距離）および撮像距離（被写体距離）等の全ての撮影条件について装置内に保持しようとすると、装置が保持するデータ量は結局増大してしまう。しかしながら、ＯＴＦは、周波数特性が比較的ブロードであるため、ＰＳＦに比べて推定処理や補間処理による復元が可能である。そのため、本実施形態では、所定の周波数領域内の２次元ＯＴＦデータだけを保持し、保持するデータ量を抑制することができる。
【実施例１】
【００３１】
図５は、本発明の実施形態に係る撮像装置（光学機器）２００のブロック図である。撮像装置２００は、撮像光学系２０１および撮像装置本体（カメラ本体）を備える。撮像光学系２０１は、絞り２０１ａおよびフォーカスレンズ２０１ｂを備え、撮像装置本体と一体的に構成されている。なお、撮像光学系２０１は、撮像装置本体に対して着脱可能に構成されてもよい。レンズ交換式カメラの場合、ＯＴＦデータあるいはＯＴＦの係数データを交換レンズ側の記憶部に保持し、必要に応じて撮像装置本体にデータを送信する構成であってもよい。撮像光学系２０１には、ローパスフィルタや赤外線カットフィルタなどの光学素子を挿入してもよい。ただし、ローパスフィルタなどの撮像光学系２０１のＯＴＦの特性に影響を与える光学素子を用いる場合、ＰＳＦを生成する際に挿入した光学素子について考慮する必要がある。
【００３２】
撮像素子２０２は、撮像光学系２０１を介して得られる被写体像（結像光）を光電変換してアナログ電気信号を出力する。Ａ／Ｄコンバータ２０３は、撮像素子２０２から出力されるアナログ電気信号をデジタル信号に変換し、変換したデジタル信号を画像処理部（画像処理装置）２０４に出力する。
【００３３】
画像処理部２０４は、Ａ／Ｄコンバータ２０３から取得したデジタル信号に対して所定の処理を行うことで撮影画像を生成し、生成した撮影画像を入力画像として鮮鋭化処理を行う。また、画像処理部２０４は、状態検出部２０７から撮像装置２００の撮影条件に関する情報（撮影条件情報）を取得する。撮影条件情報とは、絞り、撮影距離、またはズームレンズの焦点距離などに関する情報である。状態検出部２０７は、撮影条件情報をシステムコントローラ２１０から取得してもよいし、光学系制御部２０６から取得してもよい。
【００３４】
図６は、画像処理部２０４のブロック図である。画像処理部２０４は、ＯＴＦ取得部２０４１、ＯＴＦ生成部２０４２、変換処理部２０４３、および鮮鋭化処理部２０４４を有する。画像処理部２０４により実行される入力画像を鮮鋭化するための画像処理は、ソフトウエアおよびハードウエア上で動作するコンピュータプログラムとしての画像処理プログラムにしたがって実行される。本実施例では、画像処理部２０４が画像処理を実行するが、パーソナルコンピュータ（ＰＣ）や専用の装置が画像処理装置として画像処理を実行してもよい。また、画像処理プログラムに対応する回路を設け、回路を動作させることでアンシャープマスク処理を実行させてもよい。また、本実施例では、鮮鋭化処理部２０４４は、画像処理部２０４内に設けられているが、画像処理部２０４とは別に撮像装置２００内に設けられてもよい。この場合、画像処理部２０４は、情報処理部（情報処理装置）として機能し、ＰＳＦを生成する。生成されたＰＳＦは、撮像光学系２０１あるいは撮像装置本体の記憶部に記憶されてもよい。また、画像処理部２０４が撮像装置２００とは別の情報処理装置として機能する場合は、情報処理装置で生成されたＰＳＦを、撮像装置２００にインターネットを通じてダウンロードさせるようにしてもよい。
【００３５】
記録部２０８には、画像処理部２０４により実行される画像処理プログラムがインストールされている。画像処理を実行する画像処理装置が画像処理部２０４とは別に設けられている場合、画像処理プログラムは画像処理装置内にインストールされてもよい。また、画像処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録されていてもよい。
【００３６】
画像記録媒体２０９は、画像処理部２０４で生成された補正画像（出力画像）を所定のフォーマットで保存する。表示部２０５は、補正画像を表示する。システムコントローラ２１０は、マイクロコンピュータやＣＰＵ（プロセッサ）として構成され、撮像装置２００内の一連の処理を制御する。光学系制御部２０６は、システムコントローラ２１０の指示に基づいて撮像光学系２０１の機械的な駆動を行う。
【００３７】
以下、図７のフローチャートを参照して、画像処理部２０４により実行される鮮鋭化処理について説明する。図７は、鮮鋭化処理を示すフローチャートである。図７のフローチャートは、コンピュータに各ステップの機能を実行させるための画像処理プログラムとして具現化が可能である。図７の各ステップは、システムコントローラ２１０の指示に基づいて、画像処理部２０４により実行される。なお、図７の各ステップは、撮像装置とは別に設けられた画像処理装置により実行されてもよい。
【００３８】
ステップＳ１０１では、画像処理部２０４は、撮像装置２００が撮像光学系２０１を介して撮像を行うことで生成したデジタル画像を入力画像として取得する。なお、撮像装置２００とは別に設けられた画像処理装置が画像処理を実行する場合、撮像装置２００から有線または無線通信によりまたは記憶媒体を介して入力画像を取得する。
【００３９】
入力画像として使用するデータは、例えばデモザイキング後のＧチャンネルの画像データである。なお、ＲチャンネルやＢチャンネルの画像データ、ＲＧＢすべてのチャンネルの画像データ、あるいはデモザイキング前の画像データを入力画像として用いてもよい。図８は、入力画像の画素配列の一例であるベイヤー配列の模式図である。例えば、単純にＲＧＢの各チャンネルのデータをそのまま抜き出して、色ごとに入力画像として処理してもいいし、特定のチャンネルのデータのみを入力画像として使用してもよい。また、図８に示されるように、ＧチャンネルをＧ１とＧ２の２つに分け、４チャンネルとして取り扱ってもよい。Ｇチャンネルを２つに分けることで、Ｒ、Ｇ１、Ｇ２、Ｂのそれぞれを抜き出した画像データは解像度が等しくなるため、処理やデータ加工がしやすくなる。
【００４０】
ステップＳ１０２では、画像処理部２０４は、撮影条件情報を取得する。レンズが交換可能な撮像装置において入力画像が生成された場合は、撮影条件にレンズや撮像装置に固有のレンズＩＤやカメラＩＤを含む。画像処理部２０４は、撮影条件情報を撮像装置から直接取得してもよいし、入力画像に付帯された情報として取得してもよい。
【００４１】
ステップＳ１０３では、画像処理部２０４は、本実施例のＰＳＦ生成処理（情報処理）に基づいて撮影条件に適したＰＳＦを生成する。画像処理部２０４が鮮鋭化処理部２０４４を備えず、鮮鋭化処理を行わない情報処理部として機能する場合、画像処理部２０４は本ステップの処理だけを行う。
【００４２】
以下、図９を参照して、取得した２次元ＯＴＦデータの高周波側の周波数領域を復元し、復元したＯＴＦに基づいてＰＳＦを生成するＰＳＦ生成処理について説明する。図９は、本実施例のＰＳＦ生成処理を示すフローチャートである。図９のフローチャートは、コンピュータに各ステップの機能を実行させるための情報処理プログラムとして具現化が可能である。情報処理プログラムは、記録部２０８にインストールされていてもよいし、撮像装置２００とは別の情報処理装置内にインストールされていてもよい。また、情報処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録されていてもよい。
【００４３】
ステップＳ１００１では、ＯＴＦ取得部２０４１は、撮影条件情報を取得する。ＯＴＦ取得部２０４１は、撮影条件情報を撮像装置２００から直接取得してもよいし、入力画像に付帯された情報として取得してもよい。レンズ交換式カメラで入力画像が生成される場合、撮影条件情報にはレンズＩＤやカメラＩＤが含まれる。
【００４４】
ステップＳ１００２では、ＯＴＦ取得部２０４１は、撮影条件に適したＯＴＦデータ（第１の光学伝達関数。以下、第１ＯＴＦという）を取得する。ＯＴＦ取得部２０４１は、図１０に示される２次元データを取得してもよいし、あらかじめ多項式等の関数での高精度なフィッティングをしておき、ＯＴＦの係数データを取得してＯＴＦデータを再構成してもよい。図１０は、ＯＴＦデータの説明図である。図１０（ａ）はＯＴＦデータの実部、図１０（ｂ）はＯＴＦデータの虚部を示している。図１０では、便宜的に図の中心を原点とする。なお、第１ＯＴＦを別の装置から取得する場合、ＰＳＦ生成処理では本ステップから開始するようにしてもよい。
【００４５】
ＯＴＦ生成部２０４２は、後述するように、図１１の実線で示される枠（第１境界）の第１境界周波数と、破線で示される枠（第２境界）の第２境界周波数との間の周波数領域に対応するＯＴＦ（第２の光学伝達関数。以下、第２ＯＴＦという）を生成する。ステップＳ１００３では、ＯＴＦ生成部２０４２は、第２ＯＴＦの微分値を算出する際に使用される境界条件を算出する。図１１は、境界条件の説明図である。図１１（ａ）、図１１（ｂ）中の実線で示される枠内はそれぞれ、図１０（ａ）、図１０（ｂ）に対応している。第２境界の周波数（第２境界周波数）は、第１境界の周波数（第１境界周波数）に比べて高い周波数である。第１境界および第２境界の形状は、図１１では正方形であるが、これに限定されない。例えば、共軸光学系におけるＯＴＦデータに対して本処理を実行する場合、特に共軸光学系の光軸と像面の交点に位置するＯＴＦは回転対称となるため、第１境界あるいは第２境界を円形にすることでＯＴＦの対称性を維持することができる。
【００４６】
高周波ノイズの影響をなくすためには、ＯＴＦの微分値を第１境界前後で連続的に変化させる必要がある。そのため、ＯＴＦ生成部２０４２は、第１境界に対応する第１境界の内側の第１ＯＴＦの微分値を算出する。また、第１ＯＴＦは２次元データであるため、微分はｘ軸方向およびｙ軸方向ともに偏微分を行う。ＯＴＦ生成部２０４２は、例えば、差分法を用いて各偏微分値を算出する。算出した偏微分値は、第１境界の境界条件として使用される。
【００４７】
ＯＴＦ生成部２０４２は、第２境界の境界条件として、第２境界に対応する第２ＯＴＦの実部および虚部の微分値をゼロに設定する。このように設定することで、第２境界前後で第２ＯＴＦの傾きが緩くなり、第２ＯＴＦを周期的に配列させた際の第２ＯＴＦの端部の微分値の連続性を維持することができる。なお、微分値は厳密にゼロでなくてもよく、第１ＯＴＦの端部である第１境界よりも微分値の絶対値がゼロに近ければよい。微分値の絶対値をゼロに近づけておけば、第１ＯＴＦをそのまま離散逆フーリエ変換するよりも変換処理による高周波ノイズの影響を低減することができる。
【００４８】
ステップＳ１００４では、ＯＴＦ生成部２０４２は、第２ＯＴＦの微分値を算出する。ＯＴＦ生成部２０４２は、第２ＯＴＦの実部と虚部を分けて算出する。第２ＯＴＦをＯＴＦ（ｘ，ｙ）、ＯＴＦ（ｘ，ｙ）の実部をＲｅ（ｘ，ｙ）、虚部をＩｍ（ｘ，ｙ）、虚数単位をｉとすると、第２ＯＴＦは以下の式（５）で表される。
【００４９】
ＯＴＦ（ｘ，ｙ）＝  Ｒｅ（ｘ，ｙ）＋  ｉ×Ｉｍ（ｘ，ｙ）          （５）
ＯＴＦ生成部２０４２は、第２ＯＴＦの実部Ｒｅ（ｘ，ｙ）のｘおよびｙの偏微分、ＯＴＦの虚部Ｉｍ（ｘ，ｙ）のｘおよびｙの偏微分を算出する。各偏微分値の分布は、以下の式（６）で表されるラプラス方程式を利用して生成される。
【００５０】
【数１】
2017163491.tif 000003
【００５１】
式（６）では、ψ（ｘ，ｙ）は第２ＯＴＦの実部Ｒｅ（ｘ，ｙ）の偏微分値または虚部Ｉｍ（ｘ，ｙ）の偏微分値である。ＯＴＦ生成部２０４２は、ステップＳ１０３で取得した境界条件を利用して式（６）を解く。第１境界については、ＯＴＦ生成部２０４２は、第１境界に対応する第１ＯＴＦの偏微分値をゼロとする境界条件を使用する。また、第２境界については、ＯＴＦ生成部２０４２は、第２ＯＴＦの実部Ｒｅ（ｘ，ｙ）のｘ方向の偏微分を求める場合、第２境界のｘ方向の偏微分値を境界条件として使用する。また、ＯＴＦ生成部２０４２は、第２ＯＴＦの実部Ｒｅ（ｘ，ｙ）のｙ方向の偏微分を求める場合、第２境界のｙ方向の偏微分値を境界条件として使用する。同様に、ＯＴＦ生成部２０４２は、第２ＯＴＦの虚部Ｉｍ（ｘ，ｙ）のｘ方向の偏微分を求める場合、第２境界のｘ方向の偏微分値を境界条件として使用する。また、ＯＴＦ生成部２０４２は、第２ＯＴＦの虚部Ｉｍ（ｘ，ｙ）のｙ方向の偏微分を求める場合、第２境界のｙ方向の偏微分値を境界条件として使用する。なお、式（６）の具体的な解法については後述する。
【００５２】
ステップＳ１００５では、ＯＴＦ生成部２０４２は、例えば、差分法を用いて第２ＯＴＦの実部Ｒｅ（ｘ，ｙ）のｘ方向およびｙ方向の偏微分値、第２ＯＴＦの虚部Ｉｍ（ｘ，ｙ）のｘ方向およびｙ方向の偏微分値に対して微分処理を行う。ＯＴＦ生成部２０４２は、第２ＯＴＦの実部Ｒｅ（ｘ，ｙ）のｘ方向の偏微分値に対してｘ方向の偏微分を行い、実部Ｒｅ（ｘ，ｙ）のｙ方向の偏微分値に対してｙ方向の偏微分を行う。同様に、ＯＴＦ生成部２０４２は、第２ＯＴＦの虚部Ｉｍ（ｘ，ｙ）のｘ方向の偏微分値に対してｘ方向の偏微分を行い、虚部Ｉｍ（ｘ，ｙ）のｙ方向の偏微分値に対してｙ方向の偏微分を行う。すなわち、ＯＴＦ生成部２０４２は、第２ＯＴＦの実部Ｒｅ（ｘ，ｙ）のｘ方向およびｙ方向の２階偏微分値と、虚部Ｉｍ（ｘ，ｙ）のｘ方向およびｙ方向の２階偏微分値を算出する。
【００５３】
ステップＳ１００６では、ＯＴＦ生成部２０４２は、以下の式（７）で表されるポアソン方程式を用いて第２ＯＴＦを生成する。
【００５４】
【数２】
2017163491.tif 000004
【００５５】
Ｕｘ（ｘ，ｙ）およびＵｙ（ｘ，ｙ）はそれぞれステップＳ１０５で算出したｘ方向の２階偏微分およびｙ方向の２階偏微分であり、ψ（ｘ，ｙ）は第２ＯＴＦの実部Ｒｅ（ｘ，ｙ）または虚部Ｉｍ（ｘ，ｙ）である。つまり、第２ＯＴＦの実部Ｒｅ（ｘ，ｙ）を計算する場合、Ｕｘ（ｘ，ｙ）に第２ＯＴＦの実部Ｒｅ（ｘ，ｙ）のｘ方向の２階偏微分、Ｕｙ（ｘ，ｙ）に第２ＯＴＦの実部Ｒｅ（ｘ，ｙ）のｙ方向の２階偏微分を代入する。また、第２ＯＴＦの虚部Ｉｍ（ｘ，ｙ）を計算する場合、Ｕｘ（ｘ，ｙ）に第２ＯＴＦの虚部Ｉｍ（ｘ，ｙ）のｘ方向の２階偏微分、Ｕｙ（ｘ，ｙ）に第２ＯＴＦの虚部Ｉｍ（ｘ，ｙ）のｙ方向の２階偏微分を代入する。
【００５６】
図１２は、第２ＯＴＦの生成方法の説明図である。図１２の座標（ｉ，ｊ）は図１１の座標（ｘ，ｙ）に対応し、ＯＴＦのサイズをＮ×Ｎとすると図１２ではＮ＝１５である。なお、図１２ではＮ＝１５としているが、実際にはＮ＝６５やＮ＝１２９などＮはある程度大きい値であることが好ましい。Ｎが小さいとＯＴＦのサンプリング間隔が小さくなり、逆フーリエ変換処理後にＰＳＦが表現できなくなってしまい、Ｎが大きいと保持するＯＴＦデータ量が増大してしまうため、Ｎはシステムに合わせて決定する必要がある。
【００５７】
図１２の黒で示される中心部の領域は第１ＯＴＦ、白で示される領域は第２ＯＴＦ、灰色で示される領域は第１境界および第２境界を表している。座標（ｉ，ｊ）である第２ＯＴＦの実部または虚部のデータをφ（ｉ，ｊ）としたとき、データφ（ｉ，ｊ）は以下の式（８）を満足する。
【００５８】
【数３】
2017163491.tif 000005
【００５９】
iおよびｊは、Ｎ以下の自然数である。Ｕ（ｉ，ｊ）は、ステップＳ１０５で算出したｘ方向の２階偏微分およびｙ方向の２階偏微分の和、つまり（Ｕｘ（ｘ，ｙ）＋Ｕｙ（ｘ，ｙ））である。
【００６０】
ＯＴＦ生成部２０４２は、境界条件を利用して式（８）を解くことで各座標のデータφ（ｉ，ｊ）を算出する。具体的には、ＯＴＦ生成部２０４２は、第２ＯＴＦの初期値をゼロ、つまりデータφ（ｉ，ｊ）＝０とした後、式（８）を用いてｉ、ｊを変更しながら各座標のデータφ（ｉ，ｊ）を計算することでＯＴＦの実部および虚部の分布を生成する。なお、ＳＯＲ法等を利用して式（８）を効率的に計算してもよい。第１境界については、ＯＴＦ生成部２０４２は、第１境界に対応する第１ＯＴＦの値を境界条件として使用するため、第１境界に隣接する領域について式（８）を計算することができる。また、第２境界については、第２ＯＴＦを周期的に配列した際、第２境界に対応する第２ＯＴＦの値および第２ＯＴＦの微分値が可能な限り連続になることを境界条件として使用する。第２境界については、第１境界のように値が分からないため、隣接する領域をそのまま計算することができないからである。
【００６１】
ＯＴＦ生成部２０４２は、第２境界における境界条件を成立させるために、式（８）を用いて第２ＯＴＦの計算を行う。具体的には、ＯＴＦ生成部２０４２は、式（８）の方程式を作る際に、第２境界を境界条件として計算を行う。例えば、ＯＴＦ生成部２０４２は、i＝１の場合は（ｉ−１）をＮ、ｉ＝Ｎの場合は（ｉ＋１）を１として式（８）を計算する。ｊについても同様であり、このように計算することで、第２境界条件を満たすＯＴＦの実部および虚部を生成することができる。ＯＴＦ生成部２０４２は、生成した第２ＯＴＦの実部および虚部を式（５）に代入することで第２ＯＴＦを生成する
なお、ステップＳ１０６で説明した計算方法は、ステップＳ１０４の第２ＯＴＦの実部および虚部の微分値の計算にも利用可能である。式（７）でＵｘ（ｘ，ｙ）およびＵｙ（ｘ，ｙ）を０とすると式（６）となるため、ＯＴＦ生成部２０４２は、式（８）のＵ（ｉ，ｊ）を０とすれば同様の手順でＯＴＦの実部および虚部の微分値を算出する。第１境界については、ＯＴＦ生成部２０４２は、第１境界に対応する第１ＯＴＦの偏微分値をゼロとする境界条件を使用する。また、第２境界については、ＯＴＦ生成部２０４２は、第２境界に対応するデータφ（ｉ，ｊ）がゼロとする境界条件を使用する。
【００６２】
ステップＳ１００７では、変換処理部２０４３は、第１ＯＴＦおよび第２ＯＴＦに対してｉＤＦＴを実行することで、ＯＴＦをＰＳＦに変換する。図１３は、本ステップで変換するＯＴＦを示す図である。図１４（ａ）は図１３のＯＴＦから変換されたＰＳＦを示す図であり、図１４（ｃ）は図１４（ａ）の原点を通るｘ軸方向の断面を表す図である。図１４（ｂ）は図１０の第１ＯＴＦから変換されたＰＳＦを示す図であり、図１４（ｄ）は図１４（ｂ）の原点を通るｘ軸方向の断面を表す図である。
【００６３】
図１４（ｂ）および図１４（ｄ）では、ＯＴＦデータに対してｉＤＦＴを実行することで生じる高周波ノイズが発生している。一方、図１４（ａ）および図１４（ｃ）では、第１ＯＴＦ、および境界部の連続性を考慮して第２ＯＴＦが周期的に配置されているため、高周波ノイズは低減している。なお、境界部の連続性を改善させることができれば、ローパスフィルタ等を用いて高周波ノイズを抑制することができる。しかしながら、境界部の連続性を改善させるためには、元の分布の劣化は避けることは難しく高周波ノイズが低減できても変換処理後に得られる分布は本来の形状とは異なってしまう。一方、本実施例では、元の分布である第１ＯＴＦを変化させずにそのまま残すことができるため、変換処理によって取得すべき分布の形状は崩さずに高周波ノイズのみ低減することができる。
【００６４】
ステップＳ１０４では、鮮鋭化処理部２０４４は、本実施例のＰＳＦ生成方法で生成したＰＳＦを用いて鮮鋭化処理に利用するフィルタを生成する。鮮鋭化処理後の画像ｇ（ｘ，ｙ）は、式（１）、（３）から導かれる以下の式（９）で表される。
【００６５】
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）｝       （９）
式（９）を変形すると、以下の式（１０）が導かれる。
【００６６】
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））｝   （１０）
本実施例では、便宜的に式（１０）の中括弧｛｝の部分を鮮鋭化フィルタとする。ステップＳ１０４では、ＵＳＭ（ｘ，ｙ）にステップＳ１０３で生成したＰＳＦを用いてフィルタを生成する。
【００６７】
図１５を参照して、アンシャープマスクについて説明する。アンシャープマスクは、光学系の収差の特性や要求される画像の鮮鋭化精度に応じてそのタップ数が決定される。図１５（ａ）は、アンシャープマスクの一例として、１１×１１タップの２次元マスクを表している。図１５（ａ）では各タップ内の値（係数）を省略しているが、図１５（ｂ）にはアンシャープマスクの一断面が示されている。図１５（ｂ）に示されるように、アンシャープマスクは、フィルタ面内で回転非対称な係数を有するフィルタである。なお、アンシャープマスクの各タップ値（係数値）の分布は、収差により広がった信号値（光学系のＰＳＦ）の形状に近い分布が好ましい。
【００６８】
ステップＳ１０５では、鮮鋭化処理部２０４４は、式（１０）に基づいてステップＳ１０４で生成したフィルタをステップＳ１０１で取得した画像に対してコンボリューションを実行することで鮮鋭化画像を生成する。本実施例では、ステップＳ１０３で本実施例のＰＳＦ生成方法によって生成された高周波ノイズのないＰＳＦをアンシャープマスクとして用いている。仮に、図１４（ｂ）、（ｄ）に示される高周波ノイズを含むＰＳＦをアンシャープマスクとして利用する場合、鮮鋭化フィルタに高周波ノイズが残る。そのため、鮮鋭化画像ｇ（ｘ，ｙ）には、高周波ノイズによるリンギング等の弊害が発生してしまう。一方、本実施例では、図１４（ａ）、（ｃ）に示される高周波ノイズを抑制したＰＳＦをアンシャープマスクとして利用するため、鮮鋭化フィルタに高周波ノイズが残らない。そのため、鮮鋭化画像ｇ（ｘ，ｙ）におけるリンギング等の弊害の発生を抑制することができる。
【実施例２】
【００６９】
本実施例では、図１６のフローチャートを参照し、実施例１とは異なるＰＳＦ生成処理について説明する。図１６は、本実施例のＰＳＦ生成処理を示すフローチャートである。
【００７０】
ステップＳ２００１およびステップＳ２００２はそれぞれ、図９のステップＳ１００１およびステップＳ１００２と同様であるため、説明は省略する。
【００７１】
ステップＳ２００３では、画像処理部２０４は、第１境界に対応する第１ＯＴＦの絶対値に基づいて算出されるＭＴＦが所定の閾値より大きいかどうかを判定する。第１ＯＴＦの端部（第１境界）に分布が残っている場合、そのまま変換処理を行うと画像に高周波ノイズが残る可能性が高くなるためである。ＭＴＦが所定の閾値より大きい場合、ステップＳ２００４に進み、小さい場合、ステップＳ２０１０に進む。なお、画像処理部２０４は、判断基準としてＭＴＦではなく、ＯＴＦの実部や虚部を用いてもよい。
【００７２】
ステップＳ２００４からステップＳ２００７はそれぞれ、図７のステップＳ１００３からステップＳ１００６と同様であり、ステップＳ２００８およびステップＳ２０１０はステップＳ１００７と同様であるため、説明は省略する。
【００７３】
ステップＳ２００３でＭＴＦが閾値を下回る場合、第１ＯＴＦに対して逆フーリエ変換が実行され、ＭＴＦが閾値を上回る場合、第１ＯＴＦの高周波側の第２ＯＴＦを生成した後、第１ＯＴＦおよび第２ＯＴＦに対して逆フーリエ変換が実行される。そのため、ステップＳ２００３の分岐によりＯＴＦの最大周波数が異なり、ステップＳ２００８で生成されるＰＳＦはステップＳ２０１０で生成されるＰＳＦよりもピッチが細かくなる。
【００７４】
ステップＳ２００９では、変換処理部２０４３は、ステップＳ２００８で生成されるＰＳＦに対して再サンプリングを実行する。例えば、ステップＳ２００４で第２境界を第１境界の２倍の周波数で設定した場合、第２ＯＴＦの最大周波数は第１ＯＴＦの倍となり、ステップＳ２００８で生成されるＰＳＦのピッチはステップＳ２０１０で生成されるＰＳＦの半分となる。この場合、変換処理部２０４３は、ステップＳ２００８で生成されるＰＳＦに対して、ピッチを２倍、すなわち、ステップＳ２１０で生成されるＰＳＦのピッチと同等となるように、ダウンサンプリングを実行する。なお、変換処理部２０４３は、ダウンサンプリングを実行する場合、ダウンサンプリング後のＰＳＦの合計値がダウンサンプリング前のＰＳＦの合計値と一致するようにＰＳＦの正規化処理も実行する。また、本変形例では、変換処理部２０４３は、ステップＳ２０８の後にステップＳ２０９でダウンサンプリングを実行しているが、ステップＳ２０１０の後にアップサンプリングを実行するようにしてもよい。
【００７５】
光学系の軸上付近のように性能が比較的高くなる撮影条件では高周波側までＯＴＦが残り、そのようなＯＴＦほど高周波ノイズの影響が出やすくなる。逆に、性能が低い撮影条件では高周波側までＯＴＦが残らず、そのようなＯＴＦほど高周波ノイズの影響が出にくい。すなわち、撮影条件によって高周波ノイズの出やすさも変わる。本実施例では、取得した第１ＯＴＦに対してＯＴＦの高周波側を生成するか否かの判定を行い、その結果に応じて処理を変更することで、よりＰＳＦの生成処理を効率化することができる。
（変形例）
図１７は、レンズ交換式のカメラシステムにおける交換レンズ１とカメラ本体２の内部ブロック図であり、交換レンズ１およびカメラ本体２の構成を模式的に示している。
【００７６】
交換レンズ１（レンズ装置）は、フォーカスユニット３、モータ４、移動量検出ユニット５、不揮発性メモリ（ＲＯＭ）６、レンズマイコン７、接点ユニット８、および、フォーカスレンズ９を備える。
【００７７】
フォーカスユニット３は、フォーカスレンズ９を光軸ＯＡの方向（光軸方向）へ移動可能に保持し、被写体にピントを合わせるための保持機構である。モータ４は、フォーカスユニット３を駆動させるアクチュエータである。移動量検出ユニット５は、モータ４の回転量および回転速度を検出する検出手段であり、フォーカスユニット３の移動量を計測することができる。ＲＯＭ６は、実施例１や実施例２のＰＳＦ生成処理によって生成されたＰＳＦに関する情報（ＰＳＦデータあるいはＰＳＦの係数データ）を含む情報を記憶している。ＰＳＦの係数データは、ＯＴＦの係数データと同様に、ＰＳＦを多項式等の関数を用いて高精度にフィッティングしたときの関数の係数データであり、係数データとフィッティングに用いた関数とに基づいてＰＳＦを再構成することができる。レンズマイコン７は、交換レンズ１の内部の各構成要素を制御するレンズ制御手段（制御手段）である。レンズマイコン７は、交換レンズ１とカメラ本体２との間で通信を行うための通信回路（通信手段）、リセット例外処理、Ａ／Ｄ、タイマー、入出力ポート、内蔵ＲＯＭ、および、内蔵ＲＡＭ等の機能を有する。通信回路は、カメラ本体２との間で、撮影モード（動画撮影モードあるいは静止画撮影モード）に応じた制御情報を含む通信方式で通信を行う。レンズマイコン７は、通信回路を介して得られた制御情報を用いてレンズや絞りなどの光学素子の駆動制御を行う。接点ユニット８は、交換レンズ１とカメラ本体２との間で通信を行うための複数の金属接点を備え、レンズマイコン７とカメラマイコン１１とを電気的に接続する接続手段である。
【００７８】
カメラ本体２（撮像装置本体）は、測距ユニット１０、カメラマイコン１１、および、撮像素子（ＣＭＯＳセンサやＣＣＤセンサ）１２を備える。測距ユニット１０は、被写体までの距離に対するフォーカスユニット３の現在位置の撮像面でのズレ量を測距する測定手段である。カメラマイコン１１は、撮像素子１２で撮影した画像の鮮鋭化処理を行う画像処理部(鮮鋭化処理部)を備える。カメラマイコン１１は、接点ユニット８を介して、交換レンズ１のＲＯＭ６に記憶されているＰＳＦに関する情報を取得し、ＰＳＦに関する情報を用いてフィルタを生成し、生成されたフィルタを用いて撮影画像の鮮鋭化処理を行う。なお、カメラ本体２は、交換レンズ１のＰＳＦに関する情報を、インターネットを通じてダウンロードすることによって取得しても良いし、カメラ本体２のメモリスロットに挿入されたメモリの情報を読み取ることによって取得しても良い。
【００７９】
また、レンズとカメラが一体のレンズ一体型カメラにおいても、レンズ交換式のカメラシステムと同様に、本発明を実施することができる。
【００８０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００８１】
２０４    画像処理部（情報処理装置）
２０４１  ＯＴＦ取得部（取得部）
２０４２  ＯＴＦ生成部（生成部）
２０４３  変換処理部
【図１】
2017163491.tif 000006
【図２】
2017163491.tif 000007
【図３】
2017163491.tif 000008
【図４】
2017163491.tif 000009
【図５】
2017163491.tif 000010
【図６】
2017163491.tif 000011
【図７】
2017163491.tif 000012
【図８】
2017163491.tif 000013
【図９】
2017163491.tif 000014
【図１０】
2017163491.tif 000015
【図１１】
2017163491.tif 000016
【図１２】
2017163491.tif 000017
【図１３】
2017163491.tif 000018
【図１４】
2017163491.tif 000019
【図１５】
2017163491.tif 000020
【図１６】
2017163491.tif 000021
【図１７】
2017163491.tif 000022