(57)【要約】      （修正有）【課題】鮮鋭化処理に必要な情報量を低減しつつ、高精度な鮮鋭化処理を実行することが可能な画像処理装置を提供する。【解決手段】画像処理装置１０５は、光学系を介した撮像により生成された撮影画像を取得する取得部１０５１と、光学系の撮影条件に対応する点像強度分布関数の近似に使用される係数データを用いて、離散化された点像強度分布関数を再構成する再構成処理部１０５２と、再構成された点像強度分布関数の情報に基づいて、撮影画像に対するアンシャープマスク処理を行う鮮鋭化処理部１０５３とを有する。再構成された点像強度分布関数の離散化間隔は、撮像に用いられた撮像素子の画素ピッチとは異なる。【選択図】図９
2019121928.tif 000002
【特許請求の範囲】
【請求項１】
光学系を介した撮像により生成された撮影画像を取得する取得部と、
前記光学系の撮影条件に対応する点像強度分布関数の近似に使用される係数データを用いて、離散化された点像強度分布関数を再構成する再構成処理部と、
再構成された前記点像強度分布関数の情報に基づいて、前記撮影画像に対するアンシャープマスク処理を行う鮮鋭化処理部と、を有し、
再構成された前記点像強度分布関数の離散化間隔は、前記撮像に用いられた撮像素子の画素ピッチとは異なることを特徴とする画像処理装置。
【請求項２】
前記鮮鋭化処理部は、再構成された前記点像強度分布関数の情報に基づいて生成されたフィルタを用いて、前記撮影画像に対する前記アンシャープマスク処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フィルタは、フィルタ係数が回転非対称に分布している二次元フィルタであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記フィルタは、前記撮影画像の位置に応じた調整係数により調整されていることを特徴とする請求項２または３に記載の画像処理方法。
【請求項５】
前記再構成処理部は、前記点像強度分布関数の離散化を調整する離散化係数を用いて前記点像強度分布関数を再構成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記離散化係数は、前記撮像素子の画素ピッチに関する線形関数の係数であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記再構成処理部は、
前記離散化係数および前記画素ピッチを用いて前記係数データを更新し、
更新した係数データを用いて前記点像強度分布関数を再構成することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記再構成処理部は、不等間隔に離散化された前記点像強度分布関数を再構成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記撮影条件は、像高、焦点距離、Ｆ値、および、撮影距離のうち少なくとも一つを含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
光学系を介して形成された光学像を光電変換する撮像素子と、
請求項１乃至９のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
【請求項１１】
光学系を介した撮像により生成された撮影画像を取得するステップと、
前記光学系の撮影条件に対応する点像強度分布関数の近似に使用される係数データを用いて、離散化された点像強度分布関数を再構成するステップと、
再構成された前記点像強度分布関数の情報に基づいて、前記撮影画像に対するアンシャープマスク処理を行うステップと、を有し、
再構成された前記点像強度分布関数の離散化間隔は、前記撮像に用いられた撮像素子の画素ピッチとは異なることを特徴とする画像処理方法。
【請求項１２】
コンピュータに、
光学系を介した撮像により生成された撮影画像を取得するステップと、
前記光学系の撮影条件に対応する点像強度分布関数の近似に使用される係数データを用いて、離散化された点像強度分布関数を再構成するステップと、
再構成された前記点像強度分布関数の情報に基づいて、前記撮影画像に対するアンシャープマスク処理を行うステップと、を実行させる画像処理プログラムであって、
再構成された前記点像強度分布関数の離散化間隔は、前記撮像に用いられた撮像素子の画素ピッチとは異なることを特徴とする画像処理プログラム。
【請求項１３】
請求項１２に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の鮮鋭化処理を行う画像処理装置に関する。
【背景技術】
【０００２】
従来、元画像にアンシャープマスクを適用してぼかした画像と元画像との差分を、元画像に加算あるいは減算することで画像を鮮鋭化するアンシャープマスク処理が知られている。ぼかした画像と入力画像の差分が大きいところほど画像はより鮮鋭化される。特許文献１には、像高方向に配列する画素信号列に対して非対称な一次元のフィルタを適用することで光学系の点像強度分布関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）の影響を低減する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−８１２６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のアンシャープマスク処理は、アンシャープマスクに回転対称なフィルタを利用しており、非対称収差やサジタルハロのような複雑な形状を有するＰＳＦの影響を受けて劣化した画像を鮮鋭化することは困難である。すなわち、収差の大きいアジムス方向における収差を補正しようとすると、収差の小さいアジムス方向ではアンダーシュートが発生する。逆に、アンダーシュートを抑制すると、収差を十分に補正することができない。
【０００５】
また、特許文献１の方法は、像高方向への非対称性しか考慮しておらず、補正フィルタも１次元となっているため、像高方向以外の方向への非対称性を改善することができない。なお像高方向とはメリジオナルのアジムス方向である。また、フィルタに関しても、マイナスタップ係数の個数でフィルタの非対称性を調整しており、像高方向の補正についても光学系のＰＳＦのぼけ方とは異なるため、従来手法では十分に鮮鋭化することができない。
【０００６】
そこで本発明は、鮮鋭化処理に必要な情報量を低減しつつ、高精度な鮮鋭化処理を実行することが可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理装置は、光学系を介した撮像により生成された撮影画像を取得する取得部と、前記光学系の撮影条件に対応する点像強度分布関数の近似に使用される係数データを用いて、離散化された点像強度分布関数を再構成する再構成処理部と、再構成された前記点像強度分布関数の情報に基づいて、前記撮影画像に対するアンシャープマスク処理を行う鮮鋭化処理部とを有し、再構成された前記点像強度分布関数の離散化間隔は、前記撮像に用いられた撮像素子の画素ピッチとは異なる。
【０００８】
本発明の他の側面としての撮像装置は、光学系を介して形成された光学像を光電変換する撮像素子と、前記画像処理装置とを有する。
【０００９】
本発明の他の側面としての画像処理方法は、光学系を介した撮像により生成された撮影画像を取得するステップと、前記光学系の撮影条件に対応する点像強度分布関数の近似に使用される係数データを用いて、離散化された点像強度分布関数を再構成するステップと、再構成された前記点像強度分布関数の情報に基づいて、前記撮影画像に対するアンシャープマスク処理を行うステップとを有し、再構成された前記点像強度分布関数の離散化間隔は、前記撮像に用いられた撮像素子の画素ピッチとは異なる。
【００１０】
本発明の他の側面としての画像処理プログラムは、コンピュータに前記画像処理方法を実行させる。
【００１１】
本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。
【００１２】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１３】
本発明によれば、鮮鋭化処理に必要な情報量を低減しつつ、高精度な鮮鋭化処理を実行することが可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】実施例１、２における画像処理方法を示すフローチャートである。
【図２】各実施例における撮像装置のブロック図である。
【図３】各実施例におけるアンシャープマスク処理による鮮鋭化の模式図である。
【図４】各実施例におけるｘｙ平面上の撮像光学系のＰＳＦの模式図である。
【図５】各実施例における回転対称なアンシャープマスクによる鮮鋭化処理の模式図である。
【図６】各実施例における回転非対称なアンシャープマスクによる鮮鋭化処理の模式図である。
【図７】各実施例におけるアンシャープマスクの模式図および概略断面図である。
【図８】各実施例におけるベイヤー配列の模式図である。
【図９】各実施例における画像処理部のブロック図である。
【図１０】近似ＰＳＦの等高線図である。
【図１１】各実施例における係数の算出方法を示すフローチャートである。
【図１２】各実施例における近似ＰＳＦと設計値を示す図である。
【図１３】点像強度分布関数の回転処理の説明図である。
【図１４】再構成された点像強度分布関数の断面図である。
【図１５】各実施例における離散化処理の説明図である。
【図１６】各実施例における画素ピッチと離散化間隔との関係図である。
【図１７】実施例３における画像処理方法を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１６】
［入力画像］
入力画像は、撮像装置において撮像光学系（光学系）を介して形成された被写体像（光学像）を光電変換した撮像素子からの出力を用いて生成されたデジタル画像（撮影画像）である。デジタル画像は、レンズや光学フィルタ等の光学素子を含む光学系の収差を含む光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）により劣化した画像である。撮像素子は、ＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子により構成される。撮像光学系は、曲率を有するミラー（反射面）を含んでもよい。光学系は、撮像装置に対して着脱（交換）が可能であってもよい。撮像装置において、光学系、撮像素子、および、撮像素子の出力を用いてデジタル画像（入力画像）を生成する信号処理回路により、撮像系が構成される。
【００１７】
入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相および彩度や、ＹＣｂＣｒで表現される輝度および色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間としては、例えば、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能であり、さらに色温度を用いることも可能である。
【００１８】
入力画像や出力画像には、入力画像を生成（撮像）した際の撮像装置における光学系の焦点距離、絞り値（Ｆ値）、撮像距離、像高等の撮影条件に関する情報（撮影条件情報）を付帯させることができる。また入力画像や出力画像には、入力画像を補正するための各種の補正情報を付帯させることもできる。撮像装置から、これとは別に設けられた画像処理装置に入力画像を出力し、画像処理装置にて画像処理を行う場合には、入力画像に撮影条件情報や補正情報を付帯させることが好ましい。撮影条件情報や補正情報は、入力画像に付帯する以外に、撮像装置から画像処理装置に直接または間接的に通信により受け渡すこともできる。
【００１９】
［画像鮮鋭化処理］
図３は、本実施形態のアンシャープマスク処理（画像鮮鋭化処理）による鮮鋭化の模式図である。図３（Ａ）において、実線は入力画像、破線は入力画像をアンシャープマスクでぼかした画像、点線は鮮鋭化後の画像をそれぞれ示している。図３（Ｂ）の実線は、補正成分を示している。図３（Ａ）、（Ｂ）のそれぞれにおいて、横軸は座標、縦軸は画素値または輝度値である。図３は、後述する図４の所定の方向（例えば、Ｘ方向）における断面に相当する。
【００２０】
元画像をｆ（ｘ，ｙ）、補正成分をｈ（ｘ，ｙ）とすると、鮮鋭化後の画像ｇ（ｘ，ｙ）は以下の式（１）で表すことができる。
【００２１】
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｈ（ｘ，ｙ）  …  （１）
式（１）において、ｍは補正の強さを変化させるための調整係数である。調整係数ｍの値を変化させることにより、補正量を調整することができる。なお調整係数ｍは、入力画像の位置（像高）によらず一定の定数であっても良いし、入力画像の位置に応じて異ならせることにより入力画像の位置に応じて補正量を調整することもできる。また調整係数ｍ（ｘ，ｙ）は、光学系の焦点距離、絞り値（Ｆ値）、または、撮影距離などの撮影条件に応じて異ならせることもできる。
【００２２】
補正成分ｈ（ｘ，ｙ）は、アンシャープマスクをＵＳＭ（ｘ，ｙ）とすると、以下の式（２）のように表すことができる。ＵＳＭ（ｘ，ｙ）は、例えば、座標（ｘ，ｙ）におけるタップ値である。
【００２３】
ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）  …  （２）
式（２）の右辺を変形することにより、以下の式（３）が得られる。
【００２４】
ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））  …  （３）
式（２）、式（３）において、＊はコンボリューション（畳み込み積分、積和）、δはデルタ関数（理想点像）である。「デルタ関数」とは、ＵＳＭ（ｘ，ｙ）とタップ数が等しく中心の値が１でそれ以外が０で埋まっているデータである。式（２）を変形することにより式（３）を表現することができるため、式（２）と式（３）とは互いに等価である。よって、以下、式（２）を用いて補正成分の生成について説明する。
【００２５】
式（２）では、撮影画像ｆ（ｘ，ｙ）と撮影画像ｆ（ｘ，ｙ）をアンシャープマスクでぼかした画像との差分をとり、この差分情報に基づいて補正成分ｈ（ｘ，ｙ）を生成している。一般的なアンシャープマスク処理では、アンシャープマスクにガウシアンフィルタ、メディアンフィルタ、移動平均フィルタ等の平滑化フィルタが使用される。
【００２６】
例えば、図３（Ａ）の実線で示される撮影画像ｆ（ｘ，ｙ）に対して、アンシャープマスクとしてガウシアンフィルタを使用した場合、撮影画像ｆ（ｘ，ｙ）をぼかした画像は、図３（Ａ）の破線で示されるようになる。補正成分ｈ（ｘ，ｙ）は、式（２）に示されるように、撮影画像ｆ（ｘ，ｙ）とぼかした画像との差分であるため、図３（Ａ）の実線から図３（Ａ）の破線を減算することにより、図３（Ｂ）の実線で表現される成分となる。このように算出された補正成分を用いて、式（１）の演算を行うことにより、図３（Ａ）の実線に示される撮影画像ｆ（ｘ，ｙ）を図３（Ａ）の点線のように鮮鋭化することができる。
【００２７】
次に、被写体の光学像を形成する撮像光学系により劣化した画像に対して、アンシャープマスク処理を適用することで画像を鮮鋭化する場合について説明する。撮像光学系を介して得られた撮影画像ｆ（ｘ，ｙ）は撮影前の画像（被写体の像）をＩ（ｘ，ｙ）、撮像光学系の点光源に対する応答を表す関数である点像強度分布関数ＰＳＦをｐｓｆ（ｘ，ｙ）とすると、以下の式（４）のように表すことができる。
【００２８】
ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＊ｐｓｆ（ｘ，ｙ）  …  （４）
ここで、撮像光学系が回転対称な共軸光学系であれば、画像の中心部に対応するＰＳＦは回転対称となる。このため、画像の中心部については回転対称なＵＳＭを適用することで、撮影画像ｆ（ｘ，ｙ）を元の画像Ｉ（ｘ，ｙ）に近づける鮮鋭化を行うことができる。補正量は、撮影画像とアンシャープマスクでぼかした撮影画像との差分値となるため、精度良く補正するには、アンシャープマスクとして単純な平滑化フィルタを使用するのではなく、ｐｓｆ（ｘ，ｙ）により近い形状のマスクを使用することが好ましい。例えば、球面収差の影響で撮影画像が劣化する場合、球面収差であれば回転対称に影響を与えるものの、ガウシアンフィルタのような平滑化フィルタでは球面収差の影響によるＰＳＦとは分布の形状が異なる。このため、回転対称にぼける影響を低減する場合であっても、撮像光学系のＰＳＦを使用する方が精度良く補正することができる。
【００２９】
本実施形態では、アンシャープマスクＵＳＭ（ｘ，ｙ）にＰＳＦを用いる。図３（Ａ）に示される撮影画像ｆ（ｘ，ｙ）は簡略化のため対称な形状となっているが、画像の形状が対称でなくてもよい。元の画像Ｉ（ｘ，ｙ）の形状が非対称であってもｐｓｆ（ｘ，ｙ）に相当する元の画像Ｉ（ｘ，ｙ）にかかる劣化関数が回転対称であれば、回転対称なアンシャープマスクを用いて鮮鋭化することができる。
【００３０】
一方、画像の中心部以外の位置については撮像光学系が回転対称な共軸光学系であっても、ＰＳＦは通常非対称な形状となる。図４は、ｘｙ平面における撮像光学系のＰＳＦの模式図であり、図４（Ａ）は軸上のＰＳＦ、図４（Ｂ）は軸外のＰＳＦをそれぞれ示している。
【００３１】
例えば、元の画像（被写体）が理想点像であるとすると、式（４）から撮影画像ｆ（ｘ，ｙ）は撮像光学系のＰＳＦになる。図４（Ｂ）に対応する画角に理想点像があり、撮像光学系のＰＳＦの影響を受けて元の画像（被写体）が劣化したとすると、入力画像として得られる画像は図４（Ｂ）の形状のようにぼけた画像となる。このように非対称にぼけた画像に対して、アンシャープマスク処理による鮮鋭化を行う場合について説明する。
【００３２】
図５および図６は非対称に劣化した画像に対するアンシャープ処理の模式図であり、図５は回転対称なアンシャープマスクを用いた場合、図６は回転非対称なアンシャープマスクを用いて処理を行った場合をそれぞれ示している。縦軸と横軸はそれぞれ図３と同様である。
【００３３】
図５（Ａ）および図６（Ａ）の実線は、図４（Ｂ）のｙ軸方向の断面を表しており、点線はアンシャープマスクでぼかした撮影画像を表している。図５の回転対称なアンシャープマスクにはガウシアンフィルタを適用し、図６の回転非対称なアンシャープマスクには撮像装置のＰＳＦを適用している。
【００３４】
図５（Ｂ）および図６（Ｂ）はそれぞれ、各アンシャープマスクでぼかした撮影画像と元の撮影画像との差分値をプロットしたものであり、補正成分を表している。便宜的に、図５（Ａ）および図６（Ａ）においては、撮影画像がＰＳＦによって、よりぼけて裾野が広くなっている方をＹ軸のプラス側とする。
【００３５】
図５（Ａ）では、実線のピーク位置に対してプラス側のぼけた画像と元の画像の差分値が小さく、マイナス側のぼけた画像と元の画像の差分値が大きくなっている。このため、図５（Ｂ）の補正成分も中心のピーク位置に対して右側（プラス側）より左側（マイナス側）の方が極値は小さくなっている。図５（Ａ）と図５（Ｂ）の曲線を比較すればわかるように、撮影画像のプラス側は補正成分の補正量が小さく、裾野が狭いマイナス側は補正量が大きいため、式（４）による鮮鋭化を行っても非対称なぼけを補正することはできない。
【００３６】
図５（Ｃ）は、ｍ＝１のときの鮮鋭化後の結果を示したものであり、図５（Ａ）の実線に対して鮮鋭化はできているものの、プラス側に対してマイナス側が大きく凹んでおり、非対称なぼけは補正できていないことがわかる。例えば、アンシャープマスクを変えずに式（４）の調整係数ｍを変更することで補正量を調整する場合を考える。画像のプラス側を十分に補正するために調整係数ｍの値を大きくすると、画像のマイナス側は補正過剰（アンダーシュート）になる。一方、画像のマイナス側の補正量を適切になるように調整係数ｍの値を設定すると、画像のプラス側は補正不足となる。
【００３７】
このように、非対称にぼけた画像に対して回転対称なアンシャープマスクを使用してアンシャープマスク処理を行っても、非対称性を改善して鮮鋭化することは困難である。このような問題は、回転対称なアンシャープマスクとしてガウシアンフィルタ以外の回転対称なフィルタを使用しても同様に発生する。
【００３８】
一方、図６（Ａ）では、実線のピーク位置に対してプラス側がぼけた画像と元画像の差分値が大きく、マイナス側がぼけた画像と元の画像の差分値が小さくなっており、この傾向は図５（Ａ）と逆になっている。そのため、図６（Ｂ）の補正成分も中心のピーク位置に対して左側（マイナス側）より右側（プラス側）の方が極値は小さくなっている。図６（Ａ）の実線で表された撮影画像に対して、このような補正成分を適用すると、ピーク位置に対してプラス側のぼけが大きい方には補正量が大きく、そしてマイナス側のぼけが小さい方には補正量が小さくなる。このような非対称なアンシャープマスクの場合、入力画像のぼけ方のバランスと補正成分の補正量のバランスの傾向が一致するため、回転対称なアンシャープマスクを適用する場合に問題となる補正の過不足も起きにくくなる。図６（Ｃ）はｍ＝１のときの鮮鋭化後の結果を示したものであり、図６（Ａ）の実線に対しても鮮鋭化できており、かつ図５（Ｃ）で目立ったマイナス側とプラス側の凹みのバランスの差が改善している。さらに、回転対称なアンシャープマスクの場合と比べて、補正過剰になりにくくなるため、式（４）の調整係数ｍの値も比較的大きくとることができ、非対称性を低減しつつより鮮鋭化することができる。また、より精度良く補正を行うには、補正成分の補正量のバランスはぼけた画像と元の画像との差分となるため、撮像光学系のＰＳＦによってより大きくぼけた部分が、アンシャープマスクによって他の部分に比べてもよりぼかされる必要がある。このように、さらに精度によく補正するには、アンシャープマスクとして撮像光学系のＰＳＦを利用することが理想的である。
【００３９】
以上、画像鮮鋭化処理としてＰＳＦを用いたアンシャープマスクの例を示したが、ＰＳＦは、ウィナーフィルタに代表される画像復元処理や、ＲＬ法に代表される反復処理型の画像復元処理に用いてもよい。また、近年研究が進んでいるＤＬ（ディープラーニング）の学習画像の生成に用いることもできる。
【００４０】
［係数データ］
次に、アンシャープマスクＵＳＭの生成に用いる係数について説明する。前述のように、各実施例では撮像光学系のＰＳＦをアンシャープマスクとして用いる。このとき、撮像光学系のＰＳＦは像高、焦点距離、Ｆ値および撮像距離等の撮像条件によって変化するため、鮮鋭化を行う際には撮像条件に応じたアンシャープマスクを生成する必要がある。撮像条件によって変化するＰＳＦに応じてアンシャープマスクを変形させるために、すべての組み合わせを計算しておき、撮像条件に対応するＰＳＦを選択する方法も考えられる。しかし、このような手法はアンシャープマスクを適用する際の処理速度やデータを保持しておくための記録容量の観点からも好ましくない。
【００４１】
このため各実施例では、撮像光学系のＰＳＦを近似するための係数のデータ（係数データ）を保持しておき、アンシャープマスクを作成する際に係数のデータを用いて、（離散化された）ＰＳＦを再構成（近似）する。これにより、保持すべきデータ量を低減しつつ、鮮鋭化の効果を最大限とすることを可能としている。各実施例では、ＰＳＦを近似してアンシャープマスクを作成する方法として、以下に説明するように、連続関数とその係数のデータを用いる。
【００４２】
まず、撮像光学系のＰＳＦの近似に用いる連続関数について説明する。前述のように、天文物理学の分野において測光した天体をフィッティングする際には、Ｍｏｆｆａｔ関数と呼ばれる、以下の式（５）で表される関数Ｐ（ｘ，ｙ）がよく利用される。
【００４３】
【数１】
2019121928.tif 000003
【００４４】
ここで、式（５）のα，βは係数であり、特にβ＝１のときをローレンツ関数と呼ぶ。例えば式（５）を用いてＰＳＦをモデル化する場合、計測あるいは計算により算出したＰＳＦの分布に対して式（５）でフィッティングすることで、係数α，βを求める。そして、算出した係数α，βと式（５）を用いることで、ＰＳＦをモデル化することができる。このように、式（５）でも近似的なＰＳＦを作成することはできるが、式（５）は座標ｘ，ｙに対して回転対称な分布のみを表現可能な関数である。このため、式（５）を用いて回転非対称な分布やＮ回回転対称性を有する分布（Ｎは整数）を作成することはできない。
【００４５】
式（５）を変形した関数として、楕円形状（２回回転対称性を有する分布）を表現できるＥｌｌｉｐｔｉｃａｌ  Ｍｏｆｆａｔ関数と呼ばれる式（６）（および（６ａ））で表される関数がある。
【００４６】
【数２】
2019121928.tif 000004
【００４７】
【数３】
2019121928.tif 000005
【００４８】
式（６）中のα，β，γは係数である。式（６ａ）は角度θの回転行列である。式（６）と式（６ａ）とをまとめると、次式（７）のように表現することができる。
【００４９】
【数４】
2019121928.tif 000006
【００５０】
式（７）において、ａ，ｂ，ｃ，σ，βは係数である。なお、式（７）を用いる場合において楕円形状を保つためには、係数ａ，ｂ，ｃに関して、ｂ２−ａｃ＜０の関係を満たす必要がある。
【００５１】
式（７）（または式（６））を用いることにより、式（５）の関数では表現できない楕円形状の分布も再現することができるため、式（５）の関数を用いる場合に比べて補正の精度は向上する。しかし、撮像光学系のＰＳＦにフィッティングに式（７）の関数を用いても、非対称収差やサジタルハロのような複雑な形状を再現することができない。すなわち、式（７）では、回転対称やＮ回回転対称性を有する分布は表現できるものの、回転非対称な分布を表現することができない。
【００５２】
そこで、各実施例では、撮像光学系の非対称収差やサジタルハロのような複雑な形状のＰＳＦを再現可能な関数として、以下の式（８）（（８ａ）〜（８ｃ））で表される関数を用いる。
ｘ≧０かつｙ≧０において、
【００５３】
【数５】
2019121928.tif 000007
【００５４】
ｘ≧０かつｙ＜０において、
【００５５】
【数６】
2019121928.tif 000008
【００５６】
ｘ＜０において、
【００５７】
【数７】
2019121928.tif 000009
【００５８】
式（８）において、ａ，ｂ，ｃ，ｄ，ｅ，σ，βは係数である。なお、式（８）についても、式（７）の場合と同様に、係数ａ，ｂ，ｃに関して、ｂ２−ａｃ＜０の関係を満たす必要がある。
【００５９】
図１０（Ａ）〜（Ｆ）は、式（８）をベースとした関数で表現できる分布形状の例である。図１０（Ａ）はＸＹ座標において回転対称な分布を示しており、式（５）〜式（８）のいずれの関数でも表現できる。撮像光学系が共軸系であり、像点が光軸上であればＰＳＦも回転対称となるため、式（５）〜式（８）のいずれの関数を用いても図１０（Ａ）の分布形状を表現することができる。
【００６０】
図１０（Ｂ），（Ｃ）は、Ｘ軸とＹ軸に楕円の長軸と短軸が重なる楕円形状の分布（以下、楕円分布という）を示している。これらの楕円分布は、式（５）の関数では表現できず、式（６）〜（８）の関数のいずれかを用いることで近似精度は向上する。図１０（Ｄ）は、Ｘ軸とＹ軸に楕円の長軸と短軸が重ならない場合の楕円分布を示しており、式（５）や式（６）の関数ではこの楕円分布を表現することはできない。この楕円分布は、式（７），（８）の関数いずれか用いることで良好な精度で近似することができる。
【００６１】
図１０（Ｅ），（Ｆ）は、Ｙ軸に関して（つまりはＸ方向において）対称で、Ｘ軸に関して（つまりはＹ方向において）非対称な分布形状を示している。図１０（Ｅ）の分布形状は、図１０（Ｄ）に示す楕円分布のうちＹ軸より＋Ｘ側の部分をＹ軸に関して−Ｘ側に鏡映した分布に相当する。また、図１０（Ｆ）の分布形状は、長軸がＹ軸に重なり、短軸がＸ軸に重ならない楕円分布のうちＸ軸よりも上側の部分をＹ軸に関して鏡映し、かつＸ軸より下側の部分を同心半円形状とした分布に相当する。式（５）〜（７）の関数では図１０（Ｅ），（Ｆ）のように線対称な分布形状を表現することはできない。一方、本実施形態で用いる式（８）の関数は回転非対称な分布も表現可能な関数であり、図１０（Ｅ），（Ｆ）に示す分布形状も精度良く近似することができる。
【００６２】
前述したように、撮像光学系の光軸上の像点におけるＰＳＦは回転対称な分布形状となるが、光軸に直交する平面（像面）内における光軸上以外の像点ではＰＳＦは回転対称な分布形状になるとは限らない。しかし、撮像光学系が共軸光学系である場合、光軸上以外の像点であっても、像面内で像点と光軸とを結ぶ直線が伸びる方向（メリジオナル方向）に対して直交する方向（サジタル方向）においてはその像点上のＰＳＦは対称な分布形状を持つ。このように撮像光学系のＰＳＦは回転対称な分布形状を有するとは限らないが、サジタル方向においては対称性を有する。このため、式（８）のｘ方向（図１０（Ｅ），（Ｆ）中のＸ方向）をサジタル方向とし、ｙ方向（図１０（Ｅ），（Ｆ）中のＹ方向）をメリジオナル方向に一致させることで複雑な非対称収差に対応することができる。
【００６３】
次に、式（８）における各係数について詳細に説明する。式（８）の係数のうち、係数ａ，ｂ，ｃは、図１０（Ｄ）に示すようにＸ軸とＹ軸に長軸と短軸が重ならない楕円分布を生成するための係数である。そして、これらの係数ａ，ｂ，ｃを制御することにより、楕円分布のＸ方向とＹ方向での非対称性を制御することができる。また、図１０（Ｅ），（Ｆ）に示したように、Ｘ軸とＹ軸以外に長軸および短軸のうち少なくとも一方を設定した楕円分布をＹ軸に関してのみ対称化したサジタルハロのような他の関数では表現が困難な収差も表現することができる。
【００６４】
係数ｄは、Ｙ方向（特定方向）において楕円分布を非対称化するための係数であり、この係数ｄを制御することでメリジオナル方向において非対称な形状となる収差に対応することができる。例えばコマ収差はこの係数ｄを制御することで、より近似精度を向上させることができる。
【００６５】
係数ｅ，σ，βは、楕円分布の拡がりを制御するための係数である。近似する楕円分布の拡がりが大きい場合は係数σを大きくし、近似する楕円分布の形状がピーク付近で急激に変化する場合は係数βを大きくすることで、近似精度を向上させることができる。係数ｅは、楕円分布の拡がりを制限するための係数である。係数ｅ＝０の場合は式（８）より楕円分布は周辺側でＰ（ｘ，ｙ）＝０に漸近する。このため、楕円分布の拡がりが小さい場合は係数ｅをｅ＞０とすることで近似精度を向上させることができる。
【００６６】
なお、撮像光学系のＰＳＦを近似するために、楕円分布はＰ（ｘ，ｙ）≧０とする必要がある。このため、ｅ＞０とした場合は、周辺部ではＰ（ｘ，ｙ）＜０となるが、その場合はクリップしてＰ（ｘ，ｙ）＝０とすればよい。
【００６７】
次に、図１１を参照して、係数データの算出方法について説明する。図１１は、係数データの算出方法を示すフローチャートである。各実施例では、撮像光学系１０１の設計値を用いて、アンシャープマスクの生成に用いられる係数（係数データ）を算出する。
【００６８】
まずステップＳ１において、係数を算出するために必要となる情報を取得する。具体的には、係数を算出する対象となる撮像画像を生成するための撮像時の撮像条件および撮像光学系１０１のＰＳＦ（設計ＰＳＦ）と近似ＰＳＦとのずれに対応する目標値（評価値Ｅの閾値）を取得する。
【００６９】
続いてステップＳ２において、ステップＳ１にて取得した撮像条件に対応する撮像光学系１０１の設計値のデータから、設計ＰＳＦを算出する。図１２は、ステップＳ２で算出される設計ＰＳＦと後述するステップＳ４で生成される近似ＰＳＦの断面を示す。図１２に示されるように、ステップＳ２で算出される設計ＰＳＦは分割数（タップ数）がＮ、間隔（離散化間隔）Ｄｏで離散化されている。設計ＰＳＦのサイズ（カーネルサイズ）は、図１２から明らかなように間隔Ｄｏとタップ数Ｎとの積で表すことができる。すなわち、離散化された設計ＰＳＦは、間隔Ｄｏ、タップ数Ｎおよびカーネルサイズのうちいずれか２つが分かれば残りの１つも一意に決まる。例えば、間隔Ｄｏ＝２．０μｍでタップ数Ｎ＝１１とすると、カーネルサイズはＤｏ×（Ｎ−１）＝２０μｍとなる。また、Ｄｏ×Ｎをカーネルサイズと呼んでもよく、この場合は２２μｍとなる。また、間隔Ｄｏはフィッティングする際のピッチとなるため、実在する撮像素子の画素ピッチよりも小さい方がよい。予め小さい画素ピッチでフィッティングしておくことで、様々な画素ピッチの撮像素子に対しても対応することができる。なお、フィッティングに撮像光学系１０１の設計値のデータを用いているが、チャート等を撮像して撮像画像から撮像光学系１０１のＰＳＦを推定したデータを用いてもよい。
【００７０】
続いてステップＳ３において、ＰＳＦを近似する際に用いる係数ａ，ｂ，ｃ，ｄ，ｅ，σ，βの初期値を設定する。各係数はこの後の処理で更新（変換）されるため、ステップＳ３では初期値として仮の値を設定する。
【００７１】
続いてステップＳ４において、係数を式（８）に代入してＰＳＦを近似することで、近似ＰＳＦを作成する。本処理では、設計値に対してフィッティングを行うことで最適な係数を導出するため、近似ＰＳＦを離散化する。離散化における分割数や間隔はステップＳ２で算出した設計ＰＳＦに合わせる。
【００７２】
続いてステップＳ５において、ステップＳ２で算出した設計ＰＳＦとステップＳ４で作成した近似ＰＳＦとのずれを評価する。設計ＰＳＦと近似ＰＳＦのずれを評価する際の指標としては、例えば、設計ＰＳＦと近似ＰＳＦとの差分の二乗平均平方根を計算してこれを評価値Ｅとして用いる。評価値Ｅが小さいほど近似ＰＳＦが設計ＰＳＦに近いことを意味する。
【００７３】
続いてステップＳ６において、ステップＳ５で算出した評価値ＥとステップＳ１で取得した目標値を用いて判定を行う。評価値Ｅは、設計ＰＳＦと近似ＰＳＦとのずれに関する情報だけでなく、近似ＰＳＦの係数に関する情報を含んでもよい。本実施形態では、ＰＳＦを近似するための関数（モデル）として式（８）を用いるが、前述したように係数ａ，ｂ，ｃはｂ２−ａｃ＜０の関係を満たす必要がある。このため、係数ａ，ｂ，ｃがこの関係を満たさず、ｂ２−ａｃ≧０となった場合には望ましい結果が得られないため、評価値Ｅが大きくなるよう重みを付けることでより効率的にフィッティングを行うことができる。また、各係数の取り得る範囲の制約がある場合には、同様に評価値Ｅを変化させることで、フィッティングの効率化や精度向上を図ることができる。
【００７４】
ステップＳ６では、このように算出した評価値Ｅと予め設定された目標値とを比較する。評価値Ｅが目標値以下である場合、フィッティング、すなわち近似ＰＳＦの生成を完了し、近似ＰＳＦを得た係数のデータを出力する。一方、評価値Ｅが目標値を超えている場合、まだ十分にフィッティングができていないため、ステップＳ７に進む。
【００７５】
ステップＳ７において、係数（係数データ）を変更（更新）する。このとき、更新する係数は１つのみでもよいし複数であってもよい。係数を更新した後、ステップＳ４に戻り、再度近似ＰＳＦを算出し、さらにステップＳ５で評価値Ｅを算出する。そして、ステップＳ６において評価値Ｅが目標値以下に収束するまでステップＳ４からステップＳ７の処理を繰り返す。なお、係数の更新前の評価値Ｅに対して更新後の評価値Ｅが小さくならなければ更新前の係数に戻ってステップＳ４からの処理をやり直してもよいし、また局所解から抜け出すためにステップＳ３まで戻り、再度初期値を設定してもよい。
【００７６】
以上の係数（係数データ）の算出処理により、種々の撮像光学系（交換可能な場合）１０１に対する、かつ様々な撮像条件に対するＰＳＦを予め係数化し、そのデータ（係数データ）を記憶部１１２に格納しておくことができる。このように事前に近似ＰＳＦの係数を算出しておくことで、鮮鋭化処理の段階では算出された係数データを取得するだけで撮像光学系１０１や撮像条件に応じた近似ＰＳＦを再構成（再現）することができる。
【００７７】
［離散化処理］
次に、図１５を参照して、撮像光学系のＰＳＦの近似に用いる連続関数から離散データを作る際の離散化処理について説明する。図１５（Ａ）は連続関数に対する離散化処理を示す近似ＰＳＦの断面図であり、実線が連続関数、白丸が離散データ、横軸が座標（画素位置）、縦軸が輝度に対応している。また、横軸のＰ１からＰ９は矩形の１区画が撮像素子の画素サイズ（画素ピッチ）に対応している。白丸は各区画の中央値を画素位置ごとに連続関数からとったものであり、図１５（Ａ）の白丸のように単純に中央値をとるだけでも連続関数から離散データを作ることはできる。
【００７８】
しかし、画素は有限の大きさを有するため、画素ピッチの間隔で画素の中央に位置する連続関数の値をとるだけでは正確な離散データを得ることはできない。画素サイズを考慮した正確な離散データを取得するには、各画素区間内で積分を行う必要がある。すなわち、式（８）ついて、ｘ軸、ｙ軸方向に積分計算を繰り返し行うことで、正しく離散化することができる。しかし、このような積分処理は処理負荷が大きく、撮像装置内で実行するのは困難である。
【００７９】
そこで本実施形態は、近似ＰＳＦの離散化処理について、処理負荷を抑えつつより高精度に離散化する。離散化処理による誤差は、画素区間内の積分値（平均値）と中央値の差が小さければ誤差も小さくなる。よって、区間内の連続関数の変化が線形に近いほど、誤差は小さく線形であれば中央値と平均値が一致する。逆に、非線形で区間内において連続関数の傾きが単調に増加する場合や減少する場合は誤差が大きくなる。また、一般的に撮像光学系の点像強度分布は分布のピーク値付近で変化が大きく、尖度も大きいことが多い。図１５（Ａ）において、連続関数のピーク値を区間内に有するＰ５において、中央値と平均値の乖離が大きく、平均値に比べて中央値は大きくなっている。
【００８０】
このように、乖離があると図１５（Ａ）の白丸のように中央値をとってきた場合、正規化処理によって離散化後の近似ＰＳＦのデータが本来よりも分布が小さくなってしまう。ここで、正規化処理とは、離散データの総和を１に保つ処理であり、詳細は後述する。
【００８１】
次に、図１５（Ｂ）を参照して、本実施形態における調整方法（離散化処理）について説明する。図１５（Ｂ）の×印は、離散化する際に取得する代表点を示している。図１５（Ａ）、（Ｂ）において、ｓｐは離散化間隔を表しており、図１５（Ａ）では各区間の中央値で離散化しているため、離散化間隔ｓｐは撮像素子の画素ピッチに対応している。一方、図１５（Ｂ）では、離散化間隔ｓｐは撮像素子の画素ピッチとは異なる間隔で離散化を行う。具体的には、図１５（Ｂ）の×印は画素ピッチよりも小さい間隔が設定されており、例えば画素ピッチｐに対して０．９倍の間隔（ｓｐ＝０．９ｐ）などに設定して離散化を行う。
【００８２】
前述のように、点像強度分布関数は、ピーク値に向かって、分布の値が急激に増加するため、画素ピッチよりも小さい間隔で離散化することにより、×印で示された代表点の値は図１５（Ａ）の白丸の中央値よりも値が大きくなる。すなわち、×印と白丸の値を比べたときに、ピーク値を含む区間Ｐ５の値は変わらずに、その他の区間では×印の値の方が大きくなるため、相対的に離散化後の分布の広がりが大きくなる。このように、中央値をとってくる方法における課題である本来よりも分布が小さくなるという問題に対して、本実施形態では画素ピッチと異なる間隔で離散化することにより分布を広げることで、離散化誤差の低減を実施する。
【００８３】
なお、撮像素子がベイヤー配列の場合、同じ色は一つ飛ばしに存在する。このため、ベイヤー配列を考慮し、図１５（Ａ）における離散化間隔ｓｐは、画素ピッチｐの２倍（ｓｐ＝２ｐ）としてもよい。この場合、図１５（Ｂ）における離散化間隔ｓｐも２倍でとる必要があり、前述の例のように、画素ピッチの０．９倍で調整する際には離散化間隔ｓｐはその倍の１．８（ｓｐ＝１．８ｐ）となる。また、図１５（Ｂ）では、各区間内に対応する代表値が存在する場合を示しているが、必ずしも各区間内に代表値を設定する必要なく、例えば区間Ｐ９に対応する代表値が区間Ｐ８の区間内にあってもよい。
【００８４】
次に、図１６を参照して、撮像装置１００がレンズ交換式カメラの場合の画素ピッチの変化に対する処理について説明する。図１６は、画素ピッチと離散化間隔との関係図である。図１６において、横軸は画素ピッチｐ、縦軸は調整後の離散化間隔ｓｐ、画素ピッチｐ１、ｐ２はそれぞれ再構成する際の最小画素ピッチと最大画素ピッチを示している。画素ピッチをｐ、調整後の離散化関数（離散化間隔）をｆ（ｐ）とするとき、線形関数で表される場合には以下の式（９）のように表現することができる。
【００８５】
ｆ（ｐ）＝Ａｐ＋Ｂ  …  （９）
式（９）において、Ａ、Ｂは離散化を実施する際の離散化係数（離散化調整係数）である。図１５（Ａ）、（Ｂ）の説明において離散化する際の誤差について述べたが、離散化は画素ピッチの大きさにも依存する。図１５（Ａ）、（Ｂ）の各区間が十分に小さい場合、区間内の連続関数の変化はほぼ線形とみなすことができるため、各区間の平均値と中央値がほぼ一致し、図１５（Ａ）の白丸のように中央値のみで離散化しても離散化による誤差は小さい。すなわち、画素ピッチが小さくなるほど、画素内を積分して正確に計算した場合と区間の中央値のみをとってきた場合の誤差が少なくなる。このため、図１５（Ｂ）のような補正（調整）を行う際も、画素ピッチが大きいほど補正（調整）の程度を大きく、小さいほど補正（調整）の程度を小さくすることが好ましい。
【００８６】
このように、画素ピッチに応じた補正（調整）を可能にするため、本実施形態では、式（９）の関数を用いる。式（９）を用いた場合、離散化係数Ａは、画素ピッチｐに対する傾きであり、画素ピッチｐに対する割合で調整することができる。前述の例のように、離散化間隔ｓｐを画素ピッチｐの０．９倍とする場合、離散化関数ｆ（ｐ）の離散化係数Ａ、Ｂはそれぞれ、Ａ＝０．９、Ｂ＝０となる。式（９）を用いて画素ピッチを調整する際には、より調整が必要な画素ピッチが大きい領域において、離散化間隔を小さくする必要があるため、離散化係数Ａは０より大きく１より小さい範囲に収まることが好ましい。
【００８７】
ただし、本実施形態は、離散化間隔が画素ピッチよりも小さくなるように設定する場合に限定されるものではなく、必要に応じて、離散化間隔が画素ピッチよりも大きくなるように設定してもよい。例えば、離散化間隔を画素ピッチと異なるように設定することにより、アンシャープマスク処理における周波数特性を制御することができる。すなわち、離散化間隔を画素ピッチよりも大きくすると周波数特性のゲインが下がり、離散化間隔を画素ピッチよりも小さくすると周波数特性のゲインが上がる。したがって、アンシャープマスク処理における周波数特性のゲインを低下させるために、離散化間隔が画素ピッチよりも大きくなるように、例えば離散化間隔を画素ピッチの２倍に設定してもよい。この場合、離散化関数ｆ（ｐ）の離散化係数Ａ、Ｂはそれぞれ、Ａ＝２．０、Ｂ＝０となる。
【００８８】
離散化係数Ｂは、画素ピッチに依存しない係数であり、Ａ＝０として、Ｂだけ値をもつようにすることにより、全画素ピッチを一律に調整することが可能である。なお、式（９）の離散化関数（離散化間隔）ｆ（ｐ）は、離散化係数Ａ、Ｂを用いた線形関数として表現されているが、必ずしも線形でなくてもよく非線形な冪級数関数や指数関数、対数関数などを用いてもよい。
【００８９】
以下、具体的な実施例について説明する。
【実施例１】
【００９０】
まず、図２を参照して、本発明の実施例１における撮像装置について説明する。図２は、本実施例における撮像装置１００のブロック図である。撮像装置１００は、カメラ本体（撮像装置本体）１１６と、カメラ本体１１６に着脱可能な交換レンズ（レンズ装置）１０２とを有する。カメラ本体１１６には、入力画像（撮影画像）の鮮鋭化処理（画像処理方法）を行うプログラムがＲＯＭ（メモリ）やハードディスクドライブなどの記憶部１０９にインストールされており、鮮鋭化処理は画像処理部（画像処理装置）１０５により実行される。なお、記憶部１０９に代えて、画像処理部１０５の内部に設けられた記憶部に本実施例の画像処理方法のプログラムをインストールしてもよい。また、プログラムに対応する回路を設計し、その回路を動作させることで鮮鋭化処理を実行させてもよい。
【００９１】
交換レンズ１０２は、撮像光学系１０１、光学系制御部１０７、記憶部１１２、レンズＣＰＵ１１３、および、接点ユニット１１４を備える。撮像光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを備えて構成されている。本実施例では、交換レンズ１０２はカメラ本体１１６に対して交換可能な構成としているが、これに限定されるものではなく、カメラ本体１１６と一体的に構成される撮像装置にも適用可能である。記憶部１１２は、書き換え可能な不揮発性メモリである。記憶部１１２に記憶されるデータは、主に交換レンズ１０２に特有の光学的な特性を示す情報である。カメラ本体１１６は、この情報を交換レンズ１０２から取得し、取得した情報に基づいて撮影画像を補正する。
【００９２】
記憶部１１２は、撮像光学系１０１の点像強度分布関数ＰＳＦを再構成（近似）するために使用される係数データや調整係数ｍなどのＰＳＦに関する情報を記憶している。これらの情報は、接点ユニット１１４、１１５を介して、交換レンズ１０２からカメラ本体１１６へ通信により送信される。カメラ本体１１６は、交換レンズ１０２から送信されたＰＳＦに関する情報に基づいてフィルタを生成して補正処理を実行し、鮮鋭化画像を生成する。なお、ＰＳＦに関する情報をカメラ本体１１６の記憶部１０９に格納しておいてもよい。交換レンズ１０２がカメラ本体１１６に装着された際、初期通信時に記憶部１１２に格納された係数データ等をレンズＣＰＵ１１３およびカメラＣＰＵ１１１を介して記憶部１０９に転送して格納することもできる。本実施例において、記憶部１１２または記憶部１０９に格納されている係数データや調整係数ｍなどＰＳＦに関する情報は、交換レンズ１０２の撮像光学系１０１に対応する情報である。
【００９３】
レンズＣＰＵ１１３は、交換レンズ１０２とカメラ本体１１６との間で通信を行うための通信回路（通信手段）、リセット例外処理、Ａ／Ｄ、タイマー、入出力ポート、内蔵ＲＯＭ、および、内蔵ＲＡＭなどの機能を有する。通信回路は、交換レンズ１０２とカメラ本体１１６との間で、撮影モード（動画撮影モード、静止画撮影モード）に応じた制御情報を含む通信方式で通信を行う。光学系制御部１０７は、交換レンズ１０２の内部の各構成要素を制御するレンズ制御手段であり、レンズＣＰＵ１１３の指示に基づいて、通信回路を介して得られた制御情報を用いてレンズや絞りなどの光学素子の駆動制御を行う。接点ユニット１１４は、交換レンズ１０２とカメラ本体１１６との間で通信を行うための複数の金属接点を備え、レンズＣＰＵ１１３とカメラＣＰＵ１１１とを電気的に接続する接続手段である。
【００９４】
カメラ本体１１６は、光学ローパスフィルタ１０３、撮像素子１０４、画像処理部１０５、表示部１０６、状態検知部１０８、記憶部１０９、画像記録媒体１１０、カメラＣＰＵ１１１、および、接点ユニット１１５を備える。撮像素子１０４は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの二次元撮像素子である。撮像素子１０４は、撮像光学系１０１および光学ローパスフィルタ１０３を介して得られた被写体像（光学像、結像光）を光電変換して撮影画像を生成する。被写体像は、撮像素子１０４により光電変換が行われてアナログ信号（電気信号）に変換される。アナログ信号は、不図示のＡ／Ｄコンバータによりデジタル信号に変換され、デジタル信号は画像処理部１０５に入力される。
【００９５】
画像処理部１０５は、デジタル信号に対して所定の処理を行うとともに所定のアンシャープマスク処理を行う画像処理手段である。なお、本実施例では、カメラ本体１１６の画像処理部１０５が鮮鋭化処理を行っているが、パーソナルコンピュータ（ＰＣ）や専用の装置が画像処理装置として鮮鋭化処理を行ってもよい。画像処理部１０５は、状態検知部１０８から撮像装置１００の撮影条件（撮像条件情報）を取得する。撮像条件情報とは、像高、絞り値（Ｆ値）、撮影距離、または、ズームレンズの焦点距離などに関する情報である。状態検知部１０８は、カメラＣＰＵ１１１から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば、撮像光学系１０１に関する撮像条件情報は、光学系制御部１０７からレンズＣＰＵを介して取得することもできる。
【００９６】
画像処理部１０５は、図９に示されるように、取得部１０５１、再構成処理部１０５２、および、鮮鋭化処理部１０５３を有し、入力画像（撮影画像）に対して画像鮮鋭化処理を行う。画像処理部１０５で処理された出力画像は、記憶部１０９に所定のフォーマットで保存される。記憶部１０９は、撮像光学系１０１の撮影条件と撮像光学系のＰＳＦとの関係を記憶する記憶手段としても機能する。アンシャープマスク処理を実行する画像処理装置が画像処理部１０５とは別に設けられている場合、カメラＣＰＵ１１１は撮影画像と対応付けて収差情報を記憶してもよい。
【００９７】
表示部１０６は、鮮鋭化処理後に表示用の所定の処理を行って得られた画像を表示することができる。表示部１０６には、高速表示のために簡易処理を行って得られた画像を表示してもよい。以上の一連の処理は、カメラＣＰＵ１１１により制御される。
【００９８】
撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタ等の光学素子を設けてもよい。ローパスフィルタ等、ＰＳＦに影響を与える光学素子を用いる場合、アンシャープマスクを作成する時点でこの光学素子の影響を考慮すれば、より高精度な鮮鋭化処理が可能である。赤外カットフィルタを設ける場合も、分光波長のＰＳＦの積分値であるＲＧＢチャンネル（ＲＧＢ色成分）のそれぞれのＰＳＦ、特にＲチャンネルのＰＳＦに影響を与えるため、アンシャープマスクを作成する時点でその影響を考慮することが好ましい。
【００９９】
次に、図１を参照して、本実施例の画像処理方法について説明する。図１は、本実施例の画像処理方法を示すフローチャートである。図１のフローチャートは、コンピュータに各ステップの機能を実行させるためのプログラム（画像処理プログラム）として具現化することが可能である。これは他の実施例のフローチャートにおいても同様である。図１の各ステップは、カメラＣＰＵ１１１の指示に基づいて、画像処理部１０５により実行される。
【０１００】
まずステップＳ１１において、画像処理部１０５（取得部１０５１）は、光学系（撮像光学系１０１）を介して生成された撮影画像を入力画像として取得する。入力画像として使用する補正対象としての色成分データは、例えば、デモザイキング後のＧチャンネルの画像データである。ただし、ＲチャンネルやＢチャンネルの画像データや、ＲＧＢの全てのチャンネルの画像データ、またはデモザイキング前の画像データであってもよい。
【０１０１】
図８は、離散的な規則配列であるベイヤー配列の模式図である。例えば、単純にＲＧＢの各チャンネルのデータをそのまま抜き出して、色ごとに入力画像として使用してもよく、または、特定のチャンネルのみ入力画像として使用してもよい。また、図８に示されるように、ＧチャンネルをＧ１、Ｇ２の２つに分け、４チャンネルとして取り扱ってもよい。Ｇチャンネルを２つに分けることで、Ｒ、Ｇ１、Ｇ２、Ｂのそれぞれを抜き出した画像データは解像度が等しくなるため、処理やデータ加工がしやすくなる。
【０１０２】
続いて、図１のステップＳ１２において、画像処理部１０５（取得部１０５１）は、撮像条件に応じた撮像光学系１０１のＰＳＦの再構成に用いる式（８）の関数（所定の関数）の係数ａ、ｂ、ｃ、ｄ、ｅ、σ、βのデータ（係数データ）を取得する。なお、ある像点に対応する近似ＰＳＦを生成するには、必ずしもこれら全ての係数のデータを取得する必要はない。例えば光軸上のＰＳＦであれば、前述した回転対称な形状となるため、ａ＝ｃ、ｂ＝０、ｄ＝１となる。
【０１０３】
係数βはべき乗の項であるため、係数βをＰＳＦに応じて変化できるようにすると処理負荷が増大する。このため、β＝１と固定してもよい。このように係数βを固定すると、係数βを有する場合に比べて表現できる形状が減るが、記憶部１１２または記憶部１０９に保持する係数データ量の削減や処理負荷の低減を図ることができる。また、近似精度を向上させるため、係数を追加してもよい。例えば分布の拡がりが小さく、ピークが高くなるようなＰＳＦに対しては、連続関数で高精度にフィッティングするのは難しいため、ＰＳＦのピークまたはピーク付近の値を直接、係数として設定してもよい。このように、分布が急激に変化する領域を直接、係数として設定することにより、関数で再現する領域をそれ以外の領域とすることができ、近似精度を向上させることが可能となる。
【０１０４】
また、ステップＳ１２において、画像処理部１０５（取得部１０５１）は、係数データだけでなく、鮮鋭化処理を実行する際に用いる調整係数ｍを取得してもよい。また、ステップＳ１２において、近似ＰＳＦの再構成を実施する際に利用する離散化係数（離散化調整係数）を取得する。離散化調整係数は、連続関数を離散化する際に離散化による誤差の低減に寄与する係数データであり、式（９）で調整を行う場合は、離散化係数Ａ、Ｂを取得する。
【０１０５】
次に、図７を参照して、アンシャープマスクＵＳＭについて説明する。図７（Ａ）はアンシャープマスクの模式図、図７（Ｂ）はアンシャープマスクの概略断面図である。アンシャープマスクＵＳＭは、撮像光学系の収差特性や要求される鮮鋭化の精度に応じてそのタップ数が決定される。図７（Ａ）に示されるアンシャープマスクＵＳＭは、一例として、１１×１１タップの二次元のマスクである。図７（Ａ）に示されるアンシャープマスクＵＳＭは、フィルタ係数が回転非対称に分布した二次元フィルタとなっている。
【０１０６】
図７（Ａ）では、各タップ内の値（フィルタ係数に相当する）を省略しているが、アンシャープマスクＵＳＭの一断面を図７（Ｂ）に示す。図７（Ｂ）において、実線がアンシャープマスクＵＳＭの断面であり、横軸はタップ、縦軸はタップの値である。アンシャープマスクＵＳＭの各タップの値（係数値）の分布は、収差により広がった信号値（撮像光学系のＰＳＦ）の分布が理想的である。
【０１０７】
本実施例において、画像処理部１０５は、係数データを用いて近似ＰＳＦを生成し、近似ＰＳＦに対応するアンシャープマスクＵＳＭを生成する。このため、撮像光学系１０１のＰＳＦに対応するデータを直接保持する場合と比べて、補正精度を維持したまま保持すべきデータ量を大幅に削減することができる。例えば、図７に示されるように、１１×１１タップのアンシャープマスクＵＳＭであれば、１２１個のタップ値のデータを持つ必要がある。ＲＧＢに対するデータを別々に保持する場合にはその３倍になるため、３６３個のタップ値のデータを保持しなければならない。一方、係数を保持する場合、式（８）の係数は７個であり、ＲＧＢに対する係数を別々に保持する場合であっても２１個となる。このように、係数のデータを保持することで保持データ量を削減することができる。
【０１０８】
続いて、図１のステップＳ１３において、画像処理部１０５（再構成処理部１０５２）は、ステップＳ１２にて取得した係数データを用いてＰＳＦ（離散化されたＰＳＦ）を再構成する（再構成処理）。ＰＳＦは、係数データと係数データを算出する際に利用した関数である式（８）に基づいて再構成され、本実施例は再構成したＰＳＦをアンシャープマスクして利用する。
【０１０９】
図１４は、再構成された点像強度分布関数ＰＳＦの断面図である。アンシャープマスクとして図１４中の領域Ａの部分を再現させようとする場合、少し広めの領域Ｂでフィッティングし、係数を生成してもよい。これにより、交換レンズ１０２などにより、後からタップ数やピッチを変更した場合に、領域を増やす方向にも変更することが可能となる。
【０１１０】
本実施例において、式（８）のような連続関数を離散化する際には、ステップＳ１２にて取得した離散化調整係数を用いる。離散化間隔は、式（９）および撮像素子１０４の画素ピッチより基づいて決定される。例えば、Ａ＝０．２、Ｂ＝１．６の場合、画素ピッチが２．０［ｕｍ］であれば離散化間隔は２．０［ｕｍ］となり、画素ピッチが６．０［ｕｍ］であれば２．８［ｕｍ］となる。画素ピッチが大きいほど離散化する際の誤差の影響が大きくなる。このためステップＳ１３では、その影響を低減するために調整処理を行う。前述の例では、画素ピッチが２．０［ｕｍ］のときは離散化間隔と一致するため、調整処理を実行しない。一方、画素ピッチが６．０［ｕｍ］のとき離散化間隔は約画素ピッチの半分程度となり、本来の画素ピッチも細かい間隔で離散化を行う。
【０１１１】
次に、画像処理部１０５（再構成処理部１０５２）は、離散化した近似ＰＳＦに対して、正規化処理を行う。連続関数からある間隔で離散化したデータの合計値は、離散化する間隔やタップ数に応じて異なる。しかしながら、離散化したデータをＰＳＦとして扱う場合、ＰＳＦデータは総和が１となるようにしなければならない。本実施例における正規化処理としては、まず近似ＰＳＦデータのタップの値の総和を算出する。次に、近似ＰＳＦデータの各タップの値に対して算出したタップの値の総和を除算する。この除算により近似ＰＳＦデータは、タップの値の総和が常に１となる。これを正規化後の近似ＰＳＦデータとして利用する。このとき処理としては除算の代わりに総和の逆数を積算してもよい。なお、各タップが保持する値の小数点精度の影響で正規化にタップの値の総和が１に合わない場合もあるが、多少ずれは許容できるため、本実施例ではタップの値の総和約１になるよう調整すればよい。また、ここでは除算による正規化を行っているが、除算以外の方法を利用してもよい。除算以外方法としては、タップの値の総和を算出した後、１と総和の差分をある特定のタップ（最大値のタップや中央のタップ等）に加算することでも実現できる。
【０１１２】
連続関数から近似ＰＳＦを生成する場合、このような正規化処理が必須になるため、近似ＰＳＦの離散データは正規化処理に応じて変化する。すなわち図１５（Ａ）に示されるように、離散化するとピーク値を有するタップの値は本来よりも大きくなり、正規化処理によって全体を持ち上げる量がその分減るため、正規化処理後の近似ＰＳＦは本来よりも分布形状が小さくなる。本実施例では、その影響を緩和するため、図１５（Ｂ）のように離散化間隔を調整し、画素内を積分して求める本来の結果に近い近似ＰＳＦを生成する。なお、この誤差の影響は連続関数の形状も影響するため、離散化係数Ａ、Ｂはレンズの性能等に応じで適宜決定することが好ましい。このため、離散化係数Ａ、Ｂのような近似ＰＳＦの離散化に関する情報は、交換レンズ１０２内の記憶部１１２に記憶させておくことが好ましい。
【０１１３】
図１３（Ａ）は、生成したアンシャープマスクの位置と入力画像との関係を示している。白丸は作成するアンシャープマスクの位置を示し、図１３（Ａ）のように入力画像を分割して８１点分のアンシャープマスクを生成する。そして、これらのアンシャープマスクに対して線形補間などを行うことにより、入力画像における任意の位置のアンシャープマスクを生成することができ、ＰＳＦの像高変化への対応が可能となる。ここで、分割数については、図１３（Ａ）では９×９としているが、軽量化のため減らしてもよいし、より精度を重視して増やしてもよい。また、図１３（Ａ）の白丸の各点について直接ＰＳＦを取得するのではなく、補間により生成してもよい。
【０１１４】
図１３（Ｂ）はその一例を示し、各位置におけるアンシャープマスクを補間により生成する場合を表している。図１３（Ｂ）の黒点は、ステップＳ１３にて作成するアンシャープマスクの位置を示している。一般的に撮像光学系のＰＳＦは光軸に対して回転対称となるため、アンシャープマスクも同様に回転対称になる。この特徴を利用して、図１３（Ｂ）の例では、画像の中心から下方向に１０点分のアンシャープマスクを生成しておき、これらを画像の中心に対して回転しながら各白丸に対応する位置のアンシャープマスクを補間により生成する。これにより、入力画像の各位置におけるアンシャープマスクを一つ一つ作成する必要がなくなるため、処理負荷を低減することができる。像高に対する対応については以上となる。
【０１１５】
続いて、図１のステップＳ１４において、画像処理部１０５（鮮鋭化処理部１０５３）は、ステップＳ１３にて生成したアンシャープマスクＵＳＭを用いて、撮影画像の鮮鋭化処理を実行する。本実施例では、アンシャープマスクＵＳＭに撮像光学系のＰＳＦを用いているため、入力画像の周辺部に見られるような撮像光学系の非対称なＰＳＦによって劣化した画像であっても、入力画像を精度良く補正し鮮鋭化することができる。
【０１１６】
鮮鋭化処理後の画像ｇ（ｘ，ｙ）は、式（１）、（３）より、以下の式（１０）、（１１）、（１２）のように表現することができる。
【０１１７】
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×｛ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）｝  …  （１０）
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）｝  …  （１１）
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））｝  …  （１２）
ここで、便宜的に式（１２）の中括弧｛｝の部分を鮮鋭化フィルタと呼ぶ。鮮鋭化フィルタは、アンシャープマスクＵＳＭおよび調整係数ｍを用いて生成することができる。調整係数ｍは、画像のノイズや鮮鋭化の補正過剰や補正不足を考慮して値を決定される。ステップＳ１４において、鮮鋭化処理部１０５３は、ステップＳ１３にて生成したアンシャープマスクＵＳＭを用いて、式（１２）に基づき入力画像に対して鮮鋭化処理を実行する。
【０１１８】
本実施例において、アンシャープマスクＵＳＭは、入力画像に関して図１３（Ａ）に示されるように離散的に保持されている。このため、図１３（Ａ）の白丸以外の位置で鮮鋭化処理を行うには、対応するアンシャープマスクＵＳＭまたは鮮鋭化フィルタが必要になる。本実施例では、離散的に生成したアンシャープＵＳＭを線形補間することにより、任意の位置で鮮鋭化処理を行うことが可能である。具体的には、ある位置に対応したアンシャープマスクＵＳＭをその位置近傍の４点の白丸に対応したアンシャープマスクを線形補間することで生成し、式（１２）に基づいて鮮鋭化処理を実施する。これにより、画像内の任意の位置での鮮鋭化処理が可能となり、画像内の鮮鋭化効果も連続的に変化するため、より自然な鮮鋭化画像が生成することができる。また、線形補間はアンシャープマスクＵＳＭではなく、鮮鋭化フィルタで行ってもよい。
【０１１９】
なお本実施例では、式（１２）に基づく鮮鋭化処理について説明したが、式（１０）または式（１１）を用いて鮮鋭化処理を実行してもよく、いずれの場合も同様の効果を得ることができる。式（１０）または式（１１）は、入力画像に補正成分を加算する形で表現されているが、これは調整係数ｍが正の場合であり、調整係数ｍが負の場合は減算になる。このように、調整係数ｍの符号の違いによるもので本質的には同じことを意味するため、調整係数ｍの符号によって変えれば演算はどちらであっても構わない。
【０１２０】
本実施例では、撮像光学系のＰＳＦに対応する式（８）およびその係数から生成した近似ＰＳＦをアンシャープマスクＵＳＭに用いている。このため、入力画像の周辺部にみられるような撮像光学系の非対称なＰＳＦによる劣化に対しても精度良く鮮鋭化することができる。また本実施例では、近似ＰＳＦの再構成を実施する際に、離散化調整係数を用いることにより、単純に画素ピッチの間隔で離散化するよりも離散化の誤差が小さい近似ＰＳＦを生成するこすることができる。このように、離散化誤差の影響を低減した近似ＰＳＦを用いて鮮鋭化を実施することで、鮮鋭化処理の精度も向上させることができる。
【０１２１】
以上、本実施例の画像処理方法を用いることにより、鮮鋭化処理に必要な情報量を低減しつつ、高精度な鮮鋭化処理を実行することが可能となる。
【実施例２】
【０１２２】
次に、本発明の実施例２における撮像装置について説明する。本実施例は、再構成処理における離散化方法の点で実施例１と異なるが、本実施例の撮像装置は、実施例１の撮像装置と同様の構成を有するため、その詳細な説明は省略する。
【０１２３】
本実施例の画像処理方法に関し、図１に示されるフローチャート中のステップＳ１３が異なるため、その処理について説明する。ステップＳ１３において、画像処理部１０５（再構成処理部１０５２）は、ステップＳ１２にて取得した係数データを用いて、離散化されたＰＳＦを再構成する（再構成処理）。ＰＳＦは、係数データと係数データを算出する際に利用した関数である式（８）とに基づいて再構成される。ここで、離散化後のＰＳＦを算出するため、離散化後の座標を（ｉ，ｊ）とする。式（８）の（ｘ，ｙ）と離散化後の座標（ｉ，ｊ）との関係は、以下の式（１３ａ）、（１３ｂ）で表現することができる。
【０１２４】
【数８】
2019121928.tif 000010
【０１２５】
【数９】
2019121928.tif 000011
【０１２６】
式（１３ａ）、（１３ｂ）において、Δは離散化間隔、Δｆはフィッティング時の間隔、フィッティング時のタップ数を（２Ｎｆ＋１）、離散化後のＰＳＦのタップ数を（２ｎ＋１）とする（Ｎｆ、ｎは整数）。離散化後のＰＳＦは、式（８）、（１３ａ）、（１３ｂ）を用いて表現することができ、ｉ、ｊについて−ｎからｎまでの整数値を順次代入することにより、各タップの値を算出することができる。実施例１ではこのようにして離散化処理を行うが、本実施例では補正精度を更に向上させるため、位置に応じて離散化間隔を変化させる（不等間隔で離散化する）。より具体的には、ｉ、ｊに整数値を代入するのではなく、−ｎからｎの範囲はそのままで小数を用いて不等間隔に値を代入する。
【０１２７】
図１５（Ａ）のＰＳＦの断面からわかるように、基本的にはＰＳＦのピーク値付近が非線形で変化が大きく、ピーク値から離れるほど値も小さくなる分変化量が小さくなる。離散化による誤差は、１画素内の変化が大きく非線形に変化すると誤差も大きくなり、変化量が小さい場合や線形に変化している場合は離散化による誤差も小さくなる。図１５（Ａ）のＰＳＦであれば、Ｐ５付近は離散化による誤差も大きくなりやすく、Ｐ１やＰ９のようにピーク位置から離れるほど誤差の影響は小さい。よって本実施例では、ピーク位置付近をより細かく離散化し（離散化間隔を小さくし）、周辺になるほど間隔を荒くする（離散化間隔を大きくする）。ＰＳＦの近似を式（８）で行った場合、ｘ＝０、ｙ＝０がピーク値となるため、ｉ＝０、ｊ＝０付近を密に離散化して近似ＰＳＦを生成する。
【０１２８】
本実施例によれば、ＰＳＦの形状に合わせて（ＰＳＦの位置に応じて）不等間隔で離散化処理を行うため、離散化に伴う誤差をより低減した近似ＰＳＦを生成することができる。
【実施例３】
【０１２９】
次に、本発明の実施例３における撮像装置について説明する。本実施例の撮像装置の構成は、実施例１および実施例２と同様であるため、その説明を省略する。
【０１３０】
図１７を参照して、本実施例における画像処理方法について説明する。図１７は、本実施例における画像処理方法を示すフローチャートである。本実施例の画像処理方法は、ステップＳ３３のみ実施例１の画像処理方法と異なる。ステップＳ３１、Ｓ３２、Ｓ３４、Ｓ３５はそれぞれ、図１のステップＳ１１〜Ｓ１４と同様であるため、それらの説明を省略する。
【０１３１】
ステップＳ３３において、画像処理部１０５（再構成処理部１０５２）は、ステップＳ３２にて取得した係数データを更新（変換）する。式（８）、（１３ａ）、（１３ｂ）より、離散化されたＰＳＦデータは、以下の式（１４）（式（１４ａ）〜（１４ｃ））のように変形することができる。
【０１３２】
ｉ≧０かつｊ≧０において、
【０１３３】
【数１０】
2019121928.tif 000012
【０１３４】
ｉ≧０かつｊ＜０において、
【０１３５】
【数１１】
2019121928.tif 000013
【０１３６】
ｉ＜０において、
【０１３７】
【数１２】
2019121928.tif 000014
【０１３８】
式（１４）において、γ＝Δ／ΔｆＮｆであり、離散化間隔Δは式（９）のｆ（ｐ）に対応する。すなわち、Δｆ、ＮｆはＰＳＦを関数化する際に決定される係数データであるため、γは撮像素子１０４の画素ピッチにより決定される。また、式（１４）において、係数ａ、ｂ、ｃに対してγの二乗がかかっており、画素ピッチの変化によりこれらの係数が変化すると考えることもできる。したがって、ステップＳ３３では、ステップＳ３２にて取得した係数データのうち、係数ａ、ｂ、ｃに対して画素ピッチおよび離散化調整係数に応じて決定されるγの二乗をかけることにより、係数データを更新（変換）する（更新後の係数データを生成する）。係数ａ、ｂ、ｃ以外の係数については、画素ピッチの変化による影響はないため、本実施例では更新前の係数をそのまま更新後の係数データとして用いる。
【０１３９】
なお、撮像素子１０４がベイヤー配列で色ごとにＰＳＦデータを生成する場合、同じ色が一画素おきに配置されるため離散化間隔Δを倍にする必要がある。このため、その場合にはγを二倍にすれば同様に対応することができる。実施例１では、再構成する際に画素ピッチに応じた間隔で離散化処理を実施したが、本実施例では先に画素ピッチに応じて係数データを更新し、再構成時には画素ピッチに依存しない処理となる。再構成したＰＳＦデータや鮮鋭化結果は、実施例１の手法も実施例３の手法も同様になるが、本実施例のように係数データを更新する工程を挿入することにより、後段の再構成処理をより単純化することができる。
【０１４０】
ステップＳ３４以降は、ステップＳ３３にて生成した更新後の係数データを用いて、実施例１のステップＳ１３の再構成処理、および、ステップＳ１４の鮮鋭化処理を行うことにより、高精度な鮮鋭化処理を実行することが可能となる。
【０１４１】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１４２】
各実施例によれば、鮮鋭化処理に必要な情報量を低減しつつ、高精度な鮮鋭化処理を実行することが可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【０１４３】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１４４】
１０５  画像処理部（画像処理装置）
１１５１  取得部
１１５２  再構成処理部
１１５３  鮮鋭化処理部
【図１】
2019121928.tif 000015
【図２】
2019121928.tif 000016
【図３】
2019121928.tif 000017
【図４】
2019121928.tif 000018
【図５】
2019121928.tif 000019
【図６】
2019121928.tif 000020
【図７】
2019121928.tif 000021
【図８】
2019121928.tif 000022
【図９】
2019121928.tif 000023
【図１０】
2019121928.tif 000024
【図１１】
2019121928.tif 000025
【図１２】
2019121928.tif 000026
【図１３】
2019121928.tif 000027
【図１４】
2019121928.tif 000028
【図１５】
2019121928.tif 000029
【図１６】
2019121928.tif 000030
【図１７】
2019121928.tif 000031
【手続補正書】
【提出日】平成30年6月27日(2018.6.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
光学系を介した撮像により生成された撮影画像を取得する取得部と、
前記光学系の点像強度分布関数の近似に使用される係数データを用いて、離散化された前記点像強度分布関数を再構成する再構成処理部と、
再構成された前記点像強度分布関数の情報に基づいて、前記撮影画像に対するアンシャープマスク処理を行う鮮鋭化処理部と、を有し、
再構成された前記点像強度分布関数の離散化間隔は、前記撮像に用いられた撮像素子の画素ピッチとは異なることを特徴とする画像処理装置。
【請求項２】
前記鮮鋭化処理部は、再構成された前記点像強度分布関数の情報に基づいて生成されたフィルタを用いて、前記撮影画像に対する前記アンシャープマスク処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フィルタは、フィルタ係数が回転非対称に分布している二次元フィルタであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記フィルタは、前記撮影画像の位置に応じた調整係数により調整されていることを特徴とする請求項２または３に記載の画像処理方法。
【請求項５】
前記再構成処理部は、前記点像強度分布関数の離散化を調整する離散化係数を用いて前記点像強度分布関数を再構成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記離散化係数は、前記撮像素子の画素ピッチに関する線形関数の係数であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記再構成処理部は、
前記離散化係数および前記画素ピッチを用いて前記係数データを更新し、
更新した係数データを用いて前記点像強度分布関数を再構成することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記再構成処理部は、不等間隔に離散化された前記点像強度分布関数を再構成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記再構成処理部は、前記点像強度分布関数のピーク位置から離れるにつれて離散化間隔が粗くなるように前記点像強度分布関数を再構成することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記点像強度分布関数は前記撮影画像の撮影条件に対応した点像強度分布関数であり、
前記撮影条件は、像高、焦点距離、Ｆ値、および、撮影距離のうち少なくとも一つを含むことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
光学系を介して形成された光学像を光電変換する撮像素子と、
請求項１乃至１０のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
【請求項１２】
前記撮像装置は、前記撮像装置と通信可能であって前記光学系を有するレンズ装置が取り外し可能に装着されるように構成されており、
前記画像処理装置は、前記点像強度分布関数の離散化を調整する離散化係数を用いて前記点像強度分布関数を再構成し、
前記レンズ装置は、前記光学系に関する前記係数データおよび前記離散化係数を記憶する記憶部を備え、
前記撮像装置は前記レンズ装置と通信を行うことにより前記記憶部に記憶された前記係数データと前記離散化係数を取得することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
光学系を介した撮像により生成された撮影画像を取得するステップと、
前記光学系の点像強度分布関数の近似に使用される係数データを用いて、離散化された前記点像強度分布関数を再構成するステップと、
再構成された前記点像強度分布関数の情報に基づいて、前記撮影画像に対するアンシャープマスク処理を行うステップと、を有し、
再構成された前記点像強度分布関数の離散化間隔は、前記撮像に用いられた撮像素子の画素ピッチとは異なることを特徴とする画像処理方法。
【請求項１４】
コンピュータに、
光学系を介した撮像により生成された撮影画像を取得するステップと、
前記光学系の点像強度分布関数の近似に使用される係数データを用いて、離散化された前記点像強度分布関数を再構成するステップと、
再構成された前記点像強度分布関数の情報に基づいて、前記撮影画像に対するアンシャープマスク処理を行うステップと、を実行させる画像処理プログラムであって、
再構成された前記点像強度分布関数の離散化間隔は、前記撮像に用いられた撮像素子の画素ピッチとは異なることを特徴とする画像処理プログラム。
【請求項１５】
請求項１４に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
【請求項１６】
撮像素子を有する撮像装置に取り外し可能に装着され、前記撮像装置と通信可能なレンズ装置であって、
光学系と、
前記光学系の点像強度分布関数の近似に使用される係数データおよび前記点像強度分布関数を再構成する際の離散化間隔を前記撮像素子の画素ピッチとは異なる間隔に調整するための離散化係数を記憶する記憶部と、
を有し、
前記撮像装置は、
前記レンズ装置から送信された前記係数データおよび前記離散化係数を用いて、離散化された点像強度分布関数を再構成し、
再構成された前記点像強度分布関数の情報に基づいて、前記光学系を介した撮像により生成された撮影画像に対するアンシャープマスク処理を行うことを特徴とするレンズ装置。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
そこで本発明は、鮮鋭化処理に必要な情報量を低減しつつ、高精度な鮮鋭化処理を実行することが可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体、および、レンズ装置を提供することを目的とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の一側面としての画像処理装置は、光学系を介した撮像により生成された撮影画像を取得する取得部と、前記光学系の点像強度分布関数の近似に使用される係数データを用いて、離散化された前記点像強度分布関数を再構成する再構成処理部と、再構成された前記点像強度分布関数の情報に基づいて、前記撮影画像に対するアンシャープマスク処理を行う鮮鋭化処理部とを有し、再構成された前記点像強度分布関数の離散化間隔は、前記撮像に用いられた撮像素子の画素ピッチとは異なる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の他の側面としての画像処理方法は、光学系を介した撮像により生成された撮影画像を取得するステップと、前記光学系の点像強度分布関数の近似に使用される係数データを用いて、離散化された前記点像強度分布関数を再構成するステップと、再構成された前記点像強度分布関数の情報に基づいて、前記撮影画像に対するアンシャープマスク処理を行うステップとを有し、再構成された前記点像強度分布関数の離散化間隔は、前記撮像に用いられた撮像素子の画素ピッチとは異なる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。
本発明の他の側面としてのレンズ装置は、撮像素子を有する撮像装置に取り外し可能に装着され、前記撮像装置と通信可能なレンズ装置であって、光学系と、前記光学系の点像強度分布関数の近似に使用される係数データおよび前記点像強度分布関数を再構成する際の離散化間隔を前記撮像素子の画素ピッチとは異なる間隔に調整するための離散化係数を記憶する記憶部と、を有し、前記撮像装置は、前記レンズ装置から送信された前記係数データおよび前記離散化係数を用いて、離散化された点像強度分布関数を再構成し、再構成された前記点像強度分布関数の情報に基づいて、前記光学系を介した撮像により生成された撮影画像に対するアンシャープマスク処理を行う。