(57)【要約】【課題】入力画像の画像端に疑似画像を付加することなく画像端近傍までフィルタ処理を行う。【解決手段】画像処理装置２０４は、光学系を用いた撮像により生成された入力画像を取得し、該入力画像に対して画像処理を行う。画像処理装置は、入力画像のうち、第１の画像領域に対して、光学系の光学伝達関数または点像分布関数に関する情報に基づいて生成された第１のフィルタを用いて第１の鮮鋭化処理を行う。第１の画像領域よりも画像端側の第２の画像領域に対して、第１のフィルタに比べてタップ数が少なく、光学系の光学伝達関数または点像分布関数に関する情報に基づくことなく生成された第２のフィルタを用いて第２の鮮鋭化処理を行う。【選択図】図１７
2018107541.tif 000002
【特許請求の範囲】
【請求項１】
光学系を用いた撮像により生成された入力画像を取得する画像取得手段と、
前記入力画像に対して画像処理を行う処理手段とを有し、
前記処理手段は、前記入力画像のうち、
第１の画像領域に対して、前記光学系の光学伝達関数または点像分布関数に関する情報に基づいて生成された第１のフィルタを用いて第１の鮮鋭化処理を行い、
前記第１の画像領域よりも画像端側の第２の画像領域に対して、前記第１のフィルタに比べてタップ数が少なく、前記光学系の光学伝達関数または点像分布関数に関する情報に基づくことなく生成された第２のフィルタを用いて第２の鮮鋭化処理を行うことを特徴とする画像処理装置。
【請求項２】
前記第１の鮮鋭化処理は、前記光学系の光学伝達関数に関する情報に基づいて生成された第１のフィルタを用いた画像回復処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の鮮鋭化処理は、前記光学系の点像分布関数に関する情報に基づいて生成された第１のフィルタを用いたアンシャープマスク処理であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２の画像領域は、処理対象画素の周囲に前記第１のフィルタを適用するために必要な数の画素を含まない領域であることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記第１のフィルタのタップ数と前記入力画像における前記処理対象画素から画像端までの画素数とを用いて、該処理対象画素に前記第１のフィルタを適用するか前記第２のフィルタを適用するかを判定する判定手段を有することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１のフィルタのタップ数は、０ではないタップ値を有するタップの数であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記処理手段は、前記第１の画像領域において、前記第２の画像領域に近づくほど前記第１の鮮鋭化処理の効果が小さくなるように前記第１の鮮鋭化処理を行うことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記処理手段は、前記第２の画像領域において、前記第１の画像領域に近づくほど前記第２の鮮鋭化処理の効果が小さくなるように該第２の鮮鋭化処理を行うことを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
前記処理手段は、
前記第１の画像領域と前記第２の画像領域との間に前記第１の鮮鋭化処理と前記第２の鮮鋭化処理の両方を行う第３の画像領域を設け、
該第３の画像領域において前記第１の鮮鋭化処理を行った後に前記第２の鮮鋭化処理を行うことを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
光学系により形成された被写体像を撮像する撮像素子と、
請求項１から９のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項１１】
光学系を用いた撮像により生成された入力画像を取得するステップと、
前記入力画像に対して画像処理を行う処理ステップとを有し、
前記処理ステップにおいて、前記入力画像のうち、
第１の画像領域に対して、前記光学系の光学伝達関数または点像分布関数に関する情報に基づいて生成された第１のフィルタを用いて第１の鮮鋭化処理を行い、
前記第１の画像領域よりも画像端側の第２の画像領域に対して、前記第１のフィルタに比べてタップ数が少なく、前記光学系の光学伝達関数または点像分布関数に関する情報に基づくことなく生成された第２のフィルタを用いて第２の鮮鋭化処理を行うことを特徴とする画像処理方法。
【請求項１２】
コンピュータに、光学系を用いた撮像により生成された入力画像に対する画像処理を実行させるコンピュータプログラムであって、
前記コンピュータに、前記入力画像のうち、
第１の画像領域に対して、前記光学系の光学伝達関数または点像分布関数に関する情報に基づいて生成された第１のフィルタを用いて第１の鮮鋭化処理を行わせ、
前記第１の画像領域よりも画像端側の第２の画像領域に対して、前記第１のフィルタに比べてタップ数が少なく、前記光学系の光学伝達関数または点像分布関数に関する情報に基づくことなく生成された第２のフィルタを用いて第２の鮮鋭化処理を行わせることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像により生成された入力画像に対して鮮鋭化処理を行う画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。
【０００３】
ここにいうぼけ成分は、光学的には、点像分布関数（Point Spread Function：ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。さらに、横方向の色ずれも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる。
【０００４】
点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（Optical Transfer Function：ＯＴＦ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分を、ＭＴＦ（Modulation Transfer Function）といい、位相成分をＰＴＦ（Phase Transfer Function）という。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部および虚部を表す。
ＰＴＦ＝ｔａｎ-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、光学系の光学伝達関数（ＯＴＦ）は、画像の振幅成分と位相成分に対して劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になる。
【０００５】
劣化画像（入力画像）における振幅成分（ＭＴＦ）の劣化と位相成分（ＰＴＦ）の劣化を補正する方法として、光学系の光学伝達関数の情報を用いるものが知られている。この方法は、画像回復や画像復元とも呼ばれており、以下、この光学系の光学伝達関数の情報を用いて劣化画像を補正（低減）する処理を画像回復処理と称する。そして、詳細は後述するが、画像回復処理の方法の１つとして、光学伝達関数の逆特性を有する実空間の画像回復フィルタを入力画像に対して畳み込む（コンボリューション）方法が知られている。
【０００６】
画像回復フィルタを用いて画像回復処理（フィルタ処理）を行う場合に、入力画像のうち該処理の対象となる画素（以下、処理対象画素という）に画像回復フィルタを畳み込むには、処理対象画素の周囲に画像回復フィルタのサイズ（タップ数）と同数の画素が必要である。このため、入力画像のうち端付近の画像領域においては画像回復フィルタを適用することができない。
【０００７】
図２に示す入力画像にフィルタをコンボリューションするフィルタ処理を行う場合について説明する。入力画像の左上の座標を（０，０）として図に示すように各画素の座標を与える。この入力画像に対して図３（ａ）に示す１１×１１タップの画像回復フィルタを用いたフィルタ処理を行う場合、処理対象画素から±５画素の画素データがある場合にはフィルタ処理が可能である。しかし、図３（ｂ）や図３（ｃ）に示すように処理対象画素から±５画素の画素データがない画像端付近の周辺画像領域（フィルタ処理不可領域）ではフィルタ処理を行うことができない。このため、画像回復処理を行うことが可能な画像領域（回復処理可能領域）は、図３（ｄ）に示すように、画像端から５画素の周辺画像領域（回復処理不可領域）を除いた画像領域となる。
【０００８】
このような場合において、周辺画像領域にもフィルタ処理を行うために、特許文献１や特許文献２にて開示されているように、入力画像の画像端の外側にフィルタ処理に必要な画素の画素データ（つまりは疑似画像）を付加する方法がある。具体的には、単色の同一輝度画像を付加したり、入力画像のうち画像端付近の部分画像をコピーして付加したりする。
【０００９】
ただし、このような疑似画像を付加してフィルタ処理を行う方法では、実際の被写体画像を示す画素データとは異なる画素データを用いてフィルタ処理を行うため、正しい画像回復処理を行うことができない。特許文献１では、画像端付近の部分画像を入力画像の画像端の外側に付加してフィルタ処理を行う際に、画像回復精度を向上させるために、付加した部分画素の画素数に応じてフィルタの重み付けを変えている。また、特許文献２では、周辺画像領域にてフィルタ処理を行う場合に必要な画素が不足する場合は、不足画素分だけフィルタのサイズを小さくする。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００８−１２９８０８号公報
【特許文献２】特開２００１−０６７４６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
画像回復処理とは異なる画像処理を行うフィルタとして、画像のエッジ部分を強調するエッジ強調フィルタがある。ＯＴＦに基づいて作成される画像回復フィルタは、エッジ強調フィルタに対して、撮像光学系の光学特性に応じたフィルタであるため、より正確な画像回復処理を可能とする。エッジ強調フィルタとしては、図４（ａ）に示すように中心の処理対象画素の上下左右の４画素の画素データを用いて鮮鋭化を行うものや、図４（ｂ）に示すように処理対象画素の周囲８画素の画素データを用いて鮮鋭化を行うものがある。
【００１２】
しかしながら、ある程度の収差を有する一般的な撮像光学系のＯＴＦに基づいて作成される画像回復フィルタは、これらのエッジ強調フィルタに比べてサイズが大きい。このため、入力画像においてフィルタ処理を行うための画素データがない周辺画像領域が大きくなる。
【００１３】
特許文献１にて開示されているようにフィルタ処理を行うために画像端の外側に疑似画像を付加する場合は、疑似画像のデータを保持するための記憶領域を確保する必要がある。また、ＯＴＦに基づいて作成した画像回復フィルタのサイズを特許文献２にて開示された方法のように周辺画像領域において小さくすると、撮像光学系の実際の収差を反映した画像回復フィルタとはならないため、画像回復処理を十分に行うことができない。
【００１４】
さらに、フィルタ処理を行うことができない領域においてはフィルタ処理を行わず、フィルタ処理が可能な領域についてのみを切り出してフィルタ処理を行うという方法もあるが、この方法では生成される画像のサイズ（画角）が減少する。
【００１５】
本発明は、入力画像の画像端に疑似画像を付加することなく画像端近傍までフィルタ処理を行うことができ、良好な画質を有するフィルタ処理画像を生成することができるようにした画像処理装置等を提供する。
【課題を解決するための手段】
【００１６】
本発明の一側面としての画像処理装置は、光学系を用いた撮像により生成された入力画像を取得する画像取得手段と、入力画像に対して画像処理を行う処理手段とを有する。処理手段は、入力画像のうち、第１の画像領域に対して、光学系の光学伝達関数または点像分布関数に関する情報に基づいて生成された第１のフィルタを用いて第１の鮮鋭化処理を行い、第１の画像領域よりも画像端側の第２の画像領域に対して、第１のフィルタに比べてタップ数が少なく、光学系の光学伝達関数または点像分布関数に関する情報に基づくことなく生成された第２のフィルタを用いて第２の鮮鋭化処理を行うことを特徴とする。
【００１７】
なお、光学系により形成された被写体像を撮像する撮像素子と、上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。
【００１８】
また、本発明の他の一側面としての画像処理方法は、光学系を用いた撮像により生成された入力画像を取得するステップと、入力画像に対して画像処理を行う処理ステップとを有する。処理ステップにおいて、入力画像のうち、第１の画像領域に対して、光学系の光学伝達関数または点像分布関数に関する情報に基づいて生成された第１のフィルタを用いて第１の鮮鋭化処理を行い、第１の画像領域よりも画像端側の第２の画像領域に対して、第１のフィルタに比べてタップ数が少なく、光学系の光学伝達関数または点像分布関数に関する情報に基づくことなく生成された第２のフィルタを用いて第２の鮮鋭化処理を行うことを特徴とする。
【００１９】
なお、上記画像処理方法に従う画像処理をコンピュータに実行させる画像処理プログラムも、本発明の他の一側面を構成する。
【発明の効果】
【００２０】
本発明では、第１の画像領域では、光学系の光学伝達関数または点像分布関数に関する情報に基づいて生成された第１のフィルタを用いた第１の鮮鋭化処理を行う。また、第１の画像領域より画像端側の第２の画像領域では、第１のフィルタよりタップ数が少なく、光学系の光学伝達関数または点像分布関数に関する情報に基づくことなく生成された第２のフィルタを用いて第２の鮮鋭化処理を行う。これにより、入力画像の画像端に疑似画像を付加することなく、画像端近傍まで第２のフィルタを用いたフィルタ処理を行うことができ、良好な画質を有するフィルタ処理画像を生成することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施例における画像回復フィルタを示す図。
【図２】入力画像を示す図。
【図３】従来の画像回復フィルタ、フィルタ処理不可領域、回復可能領域および回復処理不可領域を説明する図。
【図４】第２のフィルタを示す図。
【図５】本発明の実施例１における処理を示すフローチャート。
【図６】実施例１における画像回復フィルタを示す図。
【図７】実施例１における画像回復フィルタのタップ値を示す図。
【図８】実施例１における劣化点像の補正を示す図。
【図９】実施例１における振幅と位相を示す図。
【図１０】実施例１における画像回復フィルタの別の例を示す図。
【図１１】図１０に示した画像回復フィルタを用いた画像回復処理を示す図。
【図１２】実施例１における画像回復処理の別の例を示す図。
【図１３】図１２の画像回復処理に用いられる画像回復フィルタおよび第２のフィルタの重み付けを説明する図。
【図１４】実施例２である画像処理システムの構成を示す図。
【図１５】実施例２における係数算出処理を示す図。
【図１６】実施例２における再構成ＯＴＦを説明する図。
【図１７】実施例３である撮像装置の構成を示す図。
【図１８】実施例４である画像処理システムの構成を示す図。
【図１９】アンシャープマスク処理の説明図
【発明を実施するための形態】
【００２２】
以下、本発明の実施例について図面を参照しながら説明する。はじめに、後述する本発明の実施例で用いる用語の定義と画像回復処理について説明する。
「入力画像」
入力画像は、撮像装置において撮像光学系により形成された被写体像を光電変換した撮像素子からの出力を用いて生成されたデジタル画像であり、例えばＲＧＢ色成分の情報を有するＲＡＷ画像（ＲＡＷデータ）である。入力画像は、レンズや光学フィルタ等の光学素子を含む撮像光学系の収差を含む光学伝達関数（以下、ＯＴＦという）により劣化した画像である。
【００２３】
撮像光学系は、曲率を有するミラー（反射面）を含んでもよい。また、撮像光学系は、撮像装置に対して着脱（交換）が可能であってもよい。撮像装置において、撮像素子および該撮像素子の出力を用いて入力画像を生成する信号処理部により撮像系が構成される。撮像素子は、ＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子により構成される。
【００２４】
入力画像や出力画像には、撮像光学系の焦点距離および絞り値や撮像距離（被写体距離）等の撮像パラメータや、入力画像を補正するための各種補正情報が付帯されていてもよい。
【００２５】
［画像回復処理］
撮像装置により生成された入力画像（劣化画像）をｇ（ｘ，ｙ）とし、元の画像（劣化していない画像）をｆ（ｘ，ｙ）とし、光学伝達関数（以下、ＯＴＦという）のフーリエペアである点像分布関数（以下、ＰＳＦという）をｈ（ｘ，ｙ）とする。この場合、以下の式（１）が成り立つ。ただし、＊はコンボリューション（畳み込み積分または積和）を示し、（ｘ，ｙ）は入力画像上の座標（位置）を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）  …（１）
この式（１）をフーリエ変換して周波数面での表示形式に変換すると、以下の式（２）のように周波数ごとの積の形式になる。Ｈ（ｕ，ｖ）はＰＳＦであるｈ（ｘ，ｙ）をフーリエ変換して得られたＯＴＦである。Ｇ（ｕ，ｖ），Ｆ（ｕ，ｖ）はそれぞれ、ｇ（ｘ，ｙ），ｆ（ｘ，ｙ）をフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）  …（２）
劣化画像から元の画像を得るためには、以下の式（３）ように、上記式（２）の両辺をＨ（ｕ，ｖ）で除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）  …（３）
Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。
【００２６】
ここで、Ｈ−１（ｕ，ｖ）を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像ｆ（ｘ，ｙ）である回復画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）  …（４）
式（４）中のＲ（ｘ，ｙ）が画像回復フィルタである。入力画像が２次元画像であるとき、一般に画像回復フィルタも該２次元画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に画像回復フィルタのタップ数（セル数）が多いほど画像回復精度が向上するため、出力画像としての要求画質、画像処理装置としての画像処理能力、ＰＳＦの広がり幅等に応じて実現可能なタップ数が設定される。
【００２７】
画像回復フィルタ（第１のフィルタ）は、ＯＴＦに基づいて生成されるため、劣化画像（入力画像）における振幅成分と位相成分の劣化をともに高精度に補正することができる。このため、画像回復フィルタは、光学系の光学伝達関数または点像分布関数に関する情報に基づくことなく生成される第２のフィルタとしての従来の水平垂直各３タップ程度の鮮鋭化フィルタ（エッジ強調フィルタ）等とは全く異なる。
【００２８】
実際の画像にはノイズ成分が含まれるため、上記のようにＯＴＦの完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像が回復されるだけでなくノイズ成分が大幅に増幅されてしまう。これは、入力画像の振幅成分にノイズの振幅が付加されている状態に対して撮像光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。撮像光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズ成分のパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合い、すなわち回復ゲインに応じてノイズが増幅されてしまう。したがって  ノイズ成分が含まれる入力画像からは鑑賞用画像として良好な回復画像が得られない。
【００２９】
ノイズ成分が含まれる画像を画像回復する方法としては、例えば式（６）に示すウィナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合いを制御する方法が知られている。
【００３０】
【数１】
2018107541.tif 000003
【００３１】
Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性を示し、｜Ｈ（ｕ，ｖ）｜はＯＴＦの絶対値（ＭＴＦ）を示す。後述する実施例では、式（６）のＭ（ｕ，ｖ）が画像回復フィルタの周波数特性を示す。この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、撮像光学系のＭＴＦは、低周波数側が高く、高周波数側が低くなるため、実質的に画像信号の高周波数側の回復ゲインを抑制する方法となる。画像回復フィルタの具体例については後述する。
【００３２】
画像回復フィルタを図６および図７を用いて説明する。画像回復フィルタは、撮像光学系の収差特性や要求される画像回復精度に応じてタップ数が決められる。図６では、例として、１１×１１タップの２次元画像回復フィルタを示している。図６では、各タップ内の値（係数値）を省略しているが、この画像回復フィルタの１つの断面を図７に示す。画像回復フィルタの各タップ内の値の分布が、収差によって空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す役割を果たす。
【００３３】
画像回復処理では、画像回復フィルタの各タップの値が、入力画像における各タップに対応する各画素に対してコンボリューション（畳み込み積分や積和ともいう）される。コンボリューションの処理では、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、入力画像と画像回復フィルタの対応画素ごとに入力画像の信号値と画像回復フィルタのタップの値（係数値）との積をとり、その総和を中心画素の信号値として置き換える。
【００３４】
画像回復処理の実空間と周波数空間での特性を図８（ａ），（ｂ）および図９を用いて説明する。図８（ａ）は画像回復前のＰＳＦを示し、図８（ｂ）は画像回復後のＰＳＦを示している。また、図９の（Ｍ）中の（ａ）は画像回復前のＭＴＦを示し、（Ｍ）中の（ｂ）は画像回復後のＭＴＦを示している。さらに、図９の（Ｐ）中の（ａ）は画像回復前のＰＴＦを示し、（Ｐ）中の（ｂ）は画像回復後のＰＴＦを示している。画像回復前のＰＳＦは非対称な広がりを持っており、この非対称性によりＰＴＦは周波数に対して非直線的な値を持つ。画像回復処理は、ＭＴＦを増幅し、ＰＴＦを零に補正するため、画像回復後のＰＳＦは対称で、かつ鮮鋭になる。
【００３５】
画像回復フィルタの作成法については、撮像光学系の光学伝達関数（ＯＴＦ）の逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。例えば、ウィナーフィルタを用いる場合、式（１）を逆フーリエ変換することで、実際に入力画像に畳み込む実空間の画像回復フィルタを作成することができる。
【００３６】
また、光学伝達関数（ＯＴＦ）は、同じ撮像条件であっても撮像光学系の像高（画像上での位置）に応じて変化するので、画像回復フィルタは像高に応じて変更して使用される。
【００３７】
以下、本発明の具体的な実施例について説明する。
【実施例１】
【００３８】
図５を用いて、本発明の実施例１である画像処理（画像処理方法）について説明する。本処理は、コンピュータとしての画像処理装置がコンピュータプログラムである画像処理プログラムに従って実行する。
【００３９】
ステップＳ１１では、画像処理装置は、撮像系により生成された撮像画像を入力画像として取得する。入力画像は、撮像装置から有線または無線通信を介して取得することもできるし、入力画像が記録された記録媒体を介して取得することもできる。
【００４０】
次にステップＳ１２では、画像処理装置は、入力画像が取得された際の撮像系の撮像条件を取得する。撮像条件は、撮像光学系の焦点距離、絞り値、撮像距離（被写体距離）等である。また、撮像装置において撮像光学系の交換が可能な場合は、撮像装置の識別情報であるカメラＩＤと撮像光学系（交換レンズ）の識別情報であるレンズＩＤを含む。撮像条件の情報は、撮像装置から直接取得してもよいし、入力画像に付帯された情報から取得してもよい。
【００４１】
次にステップＳ１３では、画像処理装置は、ステップＳ１２で今回取得した撮像条件に応じた画像回復フィルタを取得する。具体的には、予め用意（保存）された様々な撮像条件に対応する画像回復フィルタのデータから今回取得した撮像条件に対応する画像回復フィルタを選択する。この際、それぞれの撮像条件に対応する画像回復フィルタを生成するための係数のデータを保存しておき、今回取得した撮像条件に対応する係数を選択することで該撮像条件に対応する画像回復フィルタを生成してもよい。また、今回取得した撮像条件に対応する画像回復フィルタ（または係数）が保存されていない場合は、今回取得した撮像条件に近い複数の撮像条件に対応する画像回復フィルタを用いた補間処理により今回取得した撮像条件に対応する画像回復フィルタを生成してもよい。補間処理の方法としては、バイリニア補間（線形補間）やバイキュービック補間等を用いることができる。
【００４２】
次にステップＳ１４では、画像処理装置は、入力画像に対するフィルタ処理を開始する。次にステップＳ１５では、画像処理装置（判定手段）は、入力画像に対する画像回復処理の可否を判定する。この判定には、画像回復フィルタの特定方向でのタップ数（つまりは必要画素数）と、入力画像において画像回復フィルタを適用して画像回復処理を行う処理対象画素から上記特定方向での画像端の画素までの画素数（画像端までの残り画素数）とを用いる。そして、画像回復フィルタのコンボリューション（フィルタ処理）に必要な画素が入力画像に存在するか否か、つまりは画像端までの残り画素数が必要画素数以上か否かを判定する。
【００４３】
処理対象画素に対する画像回復処理が可能である場合は、画像処理装置はステップＳ１６に進み、処理対象画素に対して画像回復フィルタ（第１のフィルタ）を用いたフィルタ処理（第１の鮮鋭化処理）としての画像回復処理を行う。処理対象画素に対する画像回復処理が不可能である場合は、画像処理装置はステップＳ１７に進む。ステップＳ１７では、処理対象画素に対して、光学系の光学伝達関数または点像分布関数に関する情報に基づくことなく生成された鮮鋭化フィルタ（第２のフィルタ）を用いたフィルタ処理としての鮮鋭化処理（第２の鮮鋭化処理）を行う。
【００４４】
ステップＳ１５〜Ｓ１７の処理によって、図１に示すように、入力画像のうち画像回復フィルタの適用が可能な第１の画像領域に含まれる処理対象画素は画像回復処理によって回復される。一方、入力画像のうち第１の画像領域より外側の画像領域であって画像回復フィルタの適用が不可能な第２の画像領域に含まれる処理対象画素は鮮鋭化処理によって鮮鋭化される。
【００４５】
鮮鋭化フィルタとしては、例えば図４（ａ）に示したように中心の処理対象画素の上下左右の４画素の画素データに有効なタップ値を適用するフィルタがある。また、図４（ｂ）に示したように処理対象画素の周囲の８画素の画素データに有効なタップ値を適用するフィルタを用いてもよい。
【００４６】
また、鮮鋭化フィルタとしては、図４（ａ），（ｂ）に示したように３×３タップのフィルタであってもよいし、５×５タップや７×７タップ等、画像回復フィルタよりもタップ数が少ないフィルタであればよい。特に、画像回復フィルタの半分以下のタップ数を有する鮮鋭化フィルタを用いることが好ましい。鮮鋭化フィルタも最小でも３×３タップを有するため、画像端の処理対象画素については鮮鋭化フィルタをコンボリューションするための画素が不足するためにフィルタ処理を行うことができない。しかし、鮮鋭化フィルタは画像回復フィルタに比べてタップ数が少ないために、鮮鋭化フィルタを用いたフィルタ処理を行うことができない画像領域は小さくなる。このため、より画像端に近い画像領域まで高解像度なフィルタ処理画像を生成することができる。
【００４７】
ところで、画像回復フィルタが１１×１１タップを有する場合でも、１１×１１タップのすべてが０ではない有効なタップ値を有するとは限らない。一般には、撮像光学系の焦点距離や被写体距離等による収差の変動を考慮して多めのタップ数の画像回復フィルタを用いる。このため、図１０に示すように、画像回復フィルタの端付近のタップが有効なタップ値を持たない場合がある。
【００４８】
また図１５に示すように、入力画像の処理対象画素に対して図１４に示した画像回復フィルタをコンボリューションする場合において、フィルタの上部のタップに対応する画素が入力画像にはない。しかし、そのタップのタップ値は０であるため、対応画素の有無はコンボリューションに関係がない。このため、このような画素については０を返すことで処理対象画素のフィルタ処理（画像回復処理）を行うことができる。したがって、コンボリューションに必要な画素の有無を判定する場合は、画像回復フィルタ内において有効なタップ値を有するタップに対応する画素の有無を判定することで、より画像端の近い処理対象画素まで画像回復処理を行うことができる。
【００４９】
さらに、本実施例のように画像回復フィルタを適用する第１の画像領域と鮮鋭化フィルタを適用する第２の画像領域とを分ける場合には、これらフィルタの特性が異なるために画像領域の境界が不自然なフィルタ処理画像が得られるおそれがある。そこで、このような不自然さを解消するために、図１２に示すように、第１の画像領域において、第２の画像領域に近づくほど画像回復処理の効果（回復量）が小さくなるように画像回復処理を行うようにすることが望ましい。また、第２の画像領域において、第１の画像領域に近づくほど鮮鋭化処理の効果（鮮鋭化量）が小さくなるように鮮鋭化処理を行うことが望ましい。
【００５０】
具体的には、図１３に示すように、画像回復フィルタによる回復量に対する重み付けを１から第２の画像領域に近づくほど減少させ、第２の画像領域における画像回復フィルタの適用が不可能な境界画素で０となるようにする。また、鮮鋭化フィルタによる鮮鋭化量に対する重み付けを１から第１の画像領域に近づくほど減少させ、第１の画像領域における画像回復フィルタの適用が可能な境界画素で０となるようにする。これにより、第１および第２の画像領域（つまりは適用するフィルタ）の切り替わりによる不自然さを低減したフィルタ処理画像を得ることができる。
【００５１】
このような処理を行う場合には、画像回復処理と鮮鋭化処理の両方の処理を受ける画素（以下、両処理対象画素という）が存在する。鮮鋭化処理の後に画像回復処理を行うと、収差によるぼけが鮮鋭化処理によって鮮鋭化されてしまうために、画像回復処理を正しく行うことができない。このため、両処理対象画素に対しては、画像回復処理を行ってから鮮鋭化処理を行うことが望ましい。
【００５２】
最後にステップＳ１８では、画像処理装置は入力画像におけるフィルタ処理が可能なすべての画素に対するフィルタ処理（画像回復処理または鮮鋭化処理）が完了したか否かを確認する。完了していれば、画像処理装置はステップＳ１９に進んで出力画像としてのフィルタ処理画像を得る。一方、まだフィルタ処理が完了していない画素があれば、画像処理装置はステップＳ１５に戻ってフィルタ処理が完了していない画素に対するステップＳ１５以降の処理を行う。
【実施例２】
【００５３】
図１４は、本発明の実施例２である画像処理システムの構成を示している。画像処理システムは、係数算出装置１００、撮像装置としてのカメラ１１０および画像処理装置１２０を含む。
【００５４】
係数算出装置１００は、ＯＴＦを再構成するための係数を算出する。係数算出装置１００は、まず撮像光学系を含む撮像レンズ１１２の設計値または測定値からＯＴＦを算出する処理を行う。係数算出装置１００は、ＯＴＦを係数に変換する処理を行い、その必要精度に応じて後にＯＴＦの再構成に用いる係数の次数を決定する処理を行う。係数算出装置１００は、ＰＳＦの空間的な分布の大きさから後にＯＴＦを再現する際に必要な像高ごとのタップ数を決定する処理を行う。係数算出装置１００は、様々な撮像レンズ（交換レンズ）とカメラ１１０に設けられた撮像素子１１１との組み合わせに対して、必要次数までの係数のデータとタップ値の情報を算出して出力する。
【００５５】
カメラ１００は、撮像素子１１１と撮像レンズ１１２を有する。カメラ１１０は、撮像レンズ１１２を用いた撮像により取得された撮像画像に、撮像レンズ１１２のレンズＩＤ、撮像条件（絞り、焦点距離および撮像距離等）の情報および撮像素子１１１が表現可能は空間周波数のナイキスト周波数を付加して出力する。
【００５６】
画像処理装置１２０は、係数算出装置１００およびカメラ１１０から出力されたデータや情報を保持し、該データおよび情報を用いて撮像レンズ１１２により劣化した入力画像に対するフィルタ処理を行う。
【００５７】
画像回復処理装置１２０は、画像回復情報保持部１２１、ＯＴＦ再構成部１２２およびフィルタ処理部１２３を含む。画像回復情報保持部１２１は、係数算出装置１００によって算出された様々な撮像レンズと撮像素子の組み合わせのそれぞれに対して、係数、タップ数、レンズＩＤ、撮像条件および撮像素子のナイキスト周波数を記録保持する。ＯＴＦ再構成部１２２は、カメラ１１０から撮像素子１１１のナイキスト周波数、撮像レンズ１１２のレンズＩＤおよび撮像条件を取得する。そして、ＯＴＦ再構成部１２２は、カメラ１１０において撮像が行われた際のレンズＩＤと撮像条件から、画像回復情報保持部１２１内に保存されている係数とタップ数をサーチする。ＯＴＦ再構成部１２２は、撮像素子のナイキスト周波数までの空間周波数領域において、サーチした係数とタップ数を用いてフィルタ処理部１２３で用いるＯＴＦを再構成する。以下の説明において、ＯＴＦ再構成部１２２で作成したＯＴＦを再構成ＯＴＦと称する。
【００５８】
フィルタ処理部１２３は、ＯＴＦ再構成部１２２で作成した再構成ＯＴＦを用いて、撮像画像の劣化を回復するための画像回復フィルタを作成し、該画像回復フィルタを用いて画像回復処理を行う、係数算出装置１００で予め算出した係数やタップ数を画像回復情報保持部１２１に保持しておくことにより、係数算出装置１００をユーザ（撮像者）に提供する必要は無い。また、ユーザはネットワークや各種の記憶媒体を通して係数のデータ等の画像回復処理に必要な情報をダウンロードして用いることもできる。
【００５９】
次に、係数算出処理装置１００での係数算出方法について説明する。本実施例では、撮像光学系のＯＴＦを関数へのフィッティングによって近似することで係数を作成する。ここではフィッティングに用いる関数をLegendre多項式として説明するが、これ以外にもChebushev多項式等を用いてもよい。Legendre多項式は、式（７）で与えられる。ここで、［ｘ］はｘを超えない最大の整数である。
【００６０】
【数２】
2018107541.tif 000004
【００６１】
ＯＴＦはｚ＝ｆ（ｘ，ｙ）の形で表されるため、式（８）の係数ａｉｊを算出する。
【００６２】
【数３】
2018107541.tif 000005
【００６３】
式（８）は直交関数であり、ａｉｊの値はフィッティング時の次数によらず決定される。直交関数の性質を利用することにより、ＯＴＦのフィッティングが低次数でも十分に高精度に行うことが可能な場合は低次数で算出を打ち切ることができ、装置内に保持すべき係数情報量を最小量に抑えることが可能となる。
【００６４】
図１５は、式（７）と式（８）を用いてＯＴＦをフィッティングする具体的な方法を示している。図１５に示すｆｕｍおよびｆｖｍはそれぞれ、ＯＴＦのメリディオナル方向およびサジタル方向でのナイキスト周波数である。また、ＮｘおよびＮｙはそれぞれ、ＯＴＦのメリディオナル方向およびサジタル方向での奇数のタップ数である。係数算出装置１００では、ＯＴＦの実部と虚部のそれぞれに対して、上記フィッティングにより係数を算出する処理を行う。
【００６５】
ＯＴＦの実部は、メリディオナル方向およびサジタル方向において対称であるという特徴を有している。ＯＴＦの虚部は、メリディオナル方向において正負逆になるものの対称であり、サジタル方向において対称である。
【００６６】
これらの対称性からフィッティング対象とするＯＴＦのデータとして、定義域全体の１／４領域の情報があれば必要にして十分である。上記理由により、本実施例ではＯＴＦを高精度にフィッティングするために、ＯＴＦから実部および虚部ともに定義域全体の１／４の領域をＤＣ成分が含まれるように切り出してフィッティングを行う。
【００６７】
本実施例では、ＯＴＦデータがＮｘ（行）×Ｎｙ（列）タップの場合の例を示し、該ＯＴＦデータから、１〜［Ｎｘ／２］＋１行および１〜［Ｎｙ／２］＋１列のデータを切り出している。ただし、フィッティング方法がこれに限定されるものではない。
【００６８】
図１６に再構成ＯＴＦのナイキスト周波数とタップ数との関係をより詳しく示す。図１６は再構成ＯＴＦの断面を示している。前述したように、ナイキスト周波数は撮像素子１１１の空間分解能から決定されるパラメータであり、タップ数は撮像レンズのＰＳＦに依存するパラメータである。これら２つのパラメータと係数とから、所望の再構成ＯＴＦを作成する。
【００６９】
図１６において、ナイキスト周波数はｆ＿ｎｙｑ１＞ｆ＿ｎｙｑ２であり、タップ数はＮ＞Ｍ１＞Ｍ２である。図示のように、ナイキスト周波数とタップ数を所望の値に制御することが可能である。
【００７０】
以上説明したように、撮像素子と撮像レンズとの組合せおよび撮像件に応じたＯＴＦを係数データ化して画像処理装置１２０に記憶しておくことで、撮像条件に応じた画像回復処理が可能になる。
【実施例３】
【００７１】
図１７は、本発明の実施例３である撮像装置の基本構成を示している。撮像光学系２０１は、不図示の被写体からの光に被写体像を形成する。撮像素子２０２は、被写体像を電気信号に変換し、その出力はＡ／Ｄコンバータ２０３でデジタル信号（撮像信号）に変換されて画像処理部２０４に入力される。撮像光学系２０１と撮像素子２０２とにより撮像系が構成される。
【００７２】
画像処理部２０４は、撮像信号に対して所定の処理を行うとともに画像回復処理を行う。状態検知部２０７は、撮像条件の情報を画像処理部２０４に供給する。撮像条件は、先の実施例でも説明したように、絞り値、焦点距離および撮像距離等である。状態検知部２０７はシステムコントローラ２１０から直接、撮像条件の情報を得てもよいし、撮像光学系２１に関する撮像条件については光学系制御部２０６から得ることもできる。画像処理部２０４は、実施例１において図５を用いて説明した処理と同様の処理を行う。また、再構成ＯＴＦを生成するための係数データは記憶部２０８に保持されている。
【００７３】
そして、画像処理部２０４により生成されたフィルタ処理画像としての出力画像は、画像記録媒体２０９に所定のフォーマットで保存される。また、表示部２０５は、フィルタ処理画像を表示する。
【００７４】
本撮像装置における一連の制御はシステムコントローラ２１０が行い、撮像光学系２０６の機械的な駆動は、システムコントローラ２１０からの指示により光学系制御部２０６が行う。絞り２０１ａは、絞り値（Ｆナンバー）を可変設定する。フォーカスレンズ２０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス機構により位置が制御される。撮像光学系２０１にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れてもよいが、ローパスフィルタ等の光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合には画像回復フィルタを作成する時点での考慮が必要になる場合がある。赤外カットフィルタにおいても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点での考慮が必要になる場合がある。この場合、ＯＴＦを再構成した後に回転非対称な伝達関数を付加する。
【００７５】
また、撮像光学系２０１は、撮像装置の一部として構成してもよいし、撮像素子２０２を有する撮像装置本体に対して取り外し（交換）可能であってもよい。
【実施例４】
【００７６】
本発明の実施例４である画像処理システムについて図１８を用いて説明する。画像処理フローについては、第一の実施例で説明したフローを適宜用いることができるため説明は省略する。
【００７７】
画像処理装置３０１は、実施例１にて説明した画像処理プログラムを含む画像処理ソフトウェア３０６を搭載したコンピュータ機器である。撮像機器３０２は、カメラ、顕微鏡、内視鏡、スキャナ等の撮像装置である。記憶媒体３０３は、半導体メモリー、ハードディスク、ネットワーク上のサーバー等、撮像画像を記憶する媒体である。
【００７８】
画像処理装置３０１は、撮像機器３０２または記憶媒体３０３から撮像画像のデータを取得し、所定の画像処理を行った画像データを出力機器３０５、撮像機器３０２および記憶媒体３０３のうち少なくとも１つに出力する。また、出力先を画像処理装置３０１に内蔵された記憶部とすることもできる。出力機器３０５としては、例えばプリンタがある。画像処理装置３０１には、モニタである表示機器３０４が接続されており、ユーザはこの表示機器３０４を通して画像処理作業を行うとともに、画像処理された出力画像を観察（評価）することができる。画像処理ソフトウェア３０６は、実施例１で説明した画像処理を画像処理装置３０１に実行させる機能の他に、必要に応じて現像やその他の画像処理を実行させる機能を有する。
【実施例５】
【００７９】
上記実施例では、光学系の光学伝達関数に関する情報に基づいて生成された第１のフィルタを用いた第１の鮮鋭化処理が画像回復処理である場合について説明したが、第１の鮮鋭化処理は画像回復処理に限られない。例えば、光学系の点像分布関数に関する情報に基づいて生成された第１のフィルタを用いたアンシャープマスク処理であってもよい。すなわち、第１の鮮鋭化処理は、元画像にアンシャープマスクを適用してぼかした画像と元画像との差分を、元画像に対して加算あるいは減算することで画像を鮮鋭化するアンシャープマスク処理を含む。以下、アンシャープマスク処理を用いた実施例５について説明する。
【００８０】
［アンシャープマスク処理］
図１９は、アンシャープマスク処理（鮮鋭化処理）による鮮鋭化の模式図であり、図１９（Ａ）の実線は入力画像、破線は入力画像をアンシャープマスクでぼかした画像、点線は鮮鋭化後の画像を表し、図１９（Ｂ）の実線は補正成分を表している。図１９の横軸は座標であり、縦軸は画素値または輝度値である。図１９は、画像の所定の方向（例えば、Ｘ方向）における断面に相当する。
【００８１】
元画像をｇ（ｘ，ｙ）、補正成分をｃ（ｘ，ｙ）とすると、鮮鋭化後の画像ｆ（ｘ，ｙ）は次式（９）により表すことができる。
ｆ（ｘ，ｙ）＝ｇ（ｘ，ｙ）＋ｍ×ｃ（ｘ，ｙ）  ・・・（９）
式（９）では、補正信号ｃ（ｘ，ｙ）は定数倍されて入力画像であるｇ（ｘ，ｙ）に加算されている。式（９）において、ｍは定数であいる。ｍの値を変化させることにより、補正量を調整することができる。なお、ｍは入力画像の位置によらず一定の定数であってもよいし、入力画像の位置に応じて異ならせた調整係数ｍ（ｘ，ｙ）を用いることにより入力画像の位置に応じて補正量を調整することもできる。また、定数ｍや調整係数ｍ（ｘ，ｙ）は光学系の焦点距離や絞り値や被写体距離といった撮像条件に応じて異ならせることもできる。定数ｍの代わりに調整係数ｍ（ｘ，ｙ）を用いることができることは以下の説明においても同様である。
【００８２】
補正成分ｃ（ｘ，ｙ）は、アンシャープマスクをＵＳＭとすると、次式（１０）のように表すことができる。ＵＳＭ（ｘ，ｙ）は、例えば、ＵＳＭのある座標（ｘ，ｙ）におけるタップ値である。
ｃ（ｘ，ｙ）＝ｇ（ｘ，ｙ）−ｇ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）  ・・・（１０）
＊はコンボリューション（畳み込み積分、積和）であり、δはデルタ関数（理想点像）である。デルタ関数とは、ＵＳＭ（ｘ，ｙ）とタップ数が等しく中心の値が１でそれ以外が０で埋まっているデータである。
【００８３】
式（１０）の右辺を変形すると、次式（１１）で表すことができる。
ｃ（ｘ，ｙ）＝ｇ（ｘ，ｙ）＊（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））  ・・・（１１）
式（１０）を変形することで数式（１１）を表現できるため、式（１０）と式（１１）は等価である。よって、以下、式（１０）を用いて補正成分の生成について説明する。
【００８４】
式（１０）では、撮像画像ｇ（ｘ，ｙ）と該撮像画像ｇ（ｘ，ｙ）をアンシャープマスクＵＳＭでぼかした画像との差分をとり、この差分情報に基づいて補正成分ｃ（ｘ，ｙ）を生成している。一般的なアンシャープマスク処理では、アンシャープマスクＵＳＭにガウシアンフィルタ、メディアンフィルタ、移動平均フィルタ等の平滑化フィルタが使用される。
【００８５】
例えば、図１９（Ａ）の実線で示す撮像画像ｇ（ｘ，ｙ）に対して、アンシャープマスクＵＳＭとしてガウシアンフィルタを使用した場合、撮像画像ｇ（ｘ，ｙ）をぼかした画像は図１９（Ａ）の破線で示すようになる。補正成分ｃ（ｘ，ｙ）は、式（１０）に示すように、撮像画像ｇ（ｘ，ｙ）とこれをぼかした画像の差分となるため、図１９（Ａ）の実線から図１９（Ａ）の破線を減算することで図１９（Ｂ）の実線で表現される成分となる。このように算出された補正成分を用いて、式（９）の演算を行うことによって、図１９（Ａ）の実線に示す撮像画像ｆ（ｘ，ｙ）を図１９（Ａ）の点線のように鮮鋭化することができる。
【００８６】
次に、被写体の光学像を形成する撮像光学系により劣化した画像に対して、アンシャープマスク処理を適用することで画像を鮮鋭化する場合について説明する。撮像光学系を介して得られた撮像画像ｇ（ｘ，ｙ）は撮像前の画像（被写体の像）をＩ（ｘ，ｙ）、撮像光学系の点光源に対する応答を表す関数であるＰＳＦをｐｓｆ（ｘ，ｙ）とすると、次式（１２）のように表すことができる。
ｇ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＊ｐｓｆ（ｘ，ｙ）  ・・・（１２）
撮像光学系が回転対称な共軸光学系であれば、画像の中心部に対応するＰＳＦは回転対称となる。そのため、画像の中心部については回転対称なＵＳＭを適用することで撮像画像ｇ（ｘ，ｙ）を元の画像Ｉ（ｘ，ｙ）に近づける鮮鋭化を行うことができる。補正量は撮像画像とこれをアンシャープマスクでぼかした画像との差分値となるため、精度良く補正するためにはアンシャープマスクＵＳＭは単純な平滑化フィルタを使用するのではなく、よりｐｓｆ（ｘ，ｙ）に近い形状のマスクを使用した方がよい。例えば、球面収差の影響で撮像画像が劣化する場合は、球面収差であれば回転対称に影響を与えるものの、ガウシアンフィルタのような平滑化フィルタでは球面収差の影響によるＰＳＦとは分布の形状が異なる。このため、回転対称にぼける影響を低減する場合であっても、撮像光学系の点像分布関数（ＰＳＦ）を使用する方が精度良く補正することができる。
【００８７】
なお、撮像光学系のＰＳＦは、光学系を介して形成される像の像高、光学系の焦点距離、Ｆ値および被写体距離を含む撮像条件ごとに異なるため、撮像条件ごとに異なるＰＳＦを用いてアンシャープマスク処理を実行するのがよい。
【００８８】
式（９）および（１０）から導かれる以下の式（１３）を用いてアンシャープマスク処理を実行することができる。
ｆ（ｘ，ｙ）＝ｇ（ｘ，ｙ）＋ｍ×｛ｇ（ｘ，ｙ）−ｇ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）｝
・・・（１３）
また、式（１３）を変形することにより導かれる式（１４）、（１５）および（１６）を用いてアンシャープマスク処理を実行することができる。
【００８９】
ｆ（ｘ，ｙ）＝ｇ（ｘ，ｙ）＋ｍ×ｇ（ｘ，ｙ）＊｛δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）｝
・・・（１４）
ｆ（ｘ，ｙ）＝ｇ（ｘ，ｙ）＊｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））｝
・・・（１５）
ｆ（ｘ，ｙ）＝ｇ（ｘ，ｙ）＊｛（１＋ｍ）×δ（ｘ，ｙ）−ｍ×ＵＳＭ（ｘ，ｙ）｝
・・・（１６）
（他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【００９０】
２０１  撮像光学系
２０２  撮像素子
２０４  画像処理部
３０１  画像処理装置
【図１】
2018107541.tif 000006
【図２】
2018107541.tif 000007
【図３】
2018107541.tif 000008
【図４】
2018107541.tif 000009
【図５】
2018107541.tif 000010
【図６】
2018107541.tif 000011
【図７】
2018107541.tif 000012
【図８】
2018107541.tif 000013
【図９】
2018107541.tif 000014
【図１０】
2018107541.tif 000015
【図１１】
2018107541.tif 000016
【図１２】
2018107541.tif 000017
【図１３】
2018107541.tif 000018
【図１４】
2018107541.tif 000019
【図１５】
2018107541.tif 000020
【図１６】
2018107541.tif 000021
【図１７】
2018107541.tif 000022
【図１８】
2018107541.tif 000023
【図１９】
2018107541.tif 000024