(57)【要約】【課題】合焦している像高の情報を用いて高精度な画像処理を行うこと【解決手段】撮影光学系の光学伝達関数または点像強度分布関数の情報を、撮影条件と合焦している像高ごとに記憶する記憶部３０８と、前記撮影光学系を介して撮像された画像の撮影条件と合焦している像高が、前記記憶手段に記憶された前記撮影条件および前記合焦している像高と一致する光学伝達関数または点像強度分布関数の情報を使用して前記画像を処理する画像処理手段と、を有する。【選択図】図１
2015198380.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系の撮影条件と合焦している像高ごとに補正データを記憶する記憶手段と、
前記撮影光学系を介して撮像された画像の撮影条件と合焦している像高が、前記記憶手段に記憶された前記撮影条件および前記合焦している像高と一致する補正データを使用して前記画像を処理する画像処理手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記撮影光学系を介して撮像された画像の撮影条件と合焦している像高が、前記記憶手段に記憶された前記撮影条件および前記合焦している像高と一致しない場合、前記画像処理手段は、前記撮影光学系を介して撮像された画像の撮影条件と合焦している像高に対応する補正データを補間によって生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮影光学系の像面湾曲量が閾値以上である場合に、前記画像処理手段は前記画像を処理し、前記撮影光学系の像面湾曲量が閾値未満である場合に、前記画像処理手段は前記画像を処理しないことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記撮影条件は、焦点距離、Ｆ値、および被写体距離を含むことを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理装置。
【請求項５】
前記補正データは、前記撮影光学系の光学伝達関数または点像強度分布関数の情報を含み、
前記画像処理手段は、前記光学伝達関数または前記点像強度分布関数を用いた画像回復処理を行うことを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
【請求項６】
前記補正データは、前記撮影光学系の光学伝達関数または点像強度分布関数の情報を含み、
前記画像処理手段は、前記点像強度分布関数をアンシャープマスクに用いたアンシャープマスク処理を行うことを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
【請求項７】
前記撮影光学系を介して撮像された画像はカラー画像であり、
前記補正データは前記カラー画像に対して色にじみを軽減するための補正量を含み、
前記画像処理手段は、前記補正量を推定し、推定された補正量に基づいて色にじみを軽減することを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
【請求項８】
被写体の光学像を形成する撮影光学系と、
合焦すべき像高を選択する選択手段と、
前記撮影光学系の撮影条件と合焦している像高ごとに補正データを記憶する記憶手段と、
前記撮影光学系を介して撮像された画像の撮影条件と前記選択手段によって選択された前記像高が、前記記憶手段に記憶された前記撮影条件および前記合焦している像高と一致する補正データをを使用して前記画像を処理する画像処理手段と、
を有することを特徴とする撮像装置。
【請求項９】
記憶手段に、撮影光学系の撮影条件と合焦している像高ごとに補正データを記憶させ、
前記撮影光学系を介して撮像された画像の撮影条件と合焦している像高が、前記記憶手段に記憶された前記撮影条件および前記合焦している像高と一致する補正データを使用して前記画像を処理することを特徴とする画像処理方法。
【請求項１０】
コンピュータを、
記憶手段に、撮影光学系の撮影条件と合焦している像高ごとに補正データを記憶させる手段、
前記撮影光学系を介して撮像された画像の撮影条件と合焦している像高が、前記記憶手段に記憶された前記撮影条件および前記合焦している像高と一致する補正データを使用して前記画像を処理する手段、
として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理プログラム、および画像処理方法に関する。
【背景技術】
【０００２】
像面湾曲の大きいレンズでは、画面中心部と画面周辺部の光軸方向の結像位置が異なるため、画面中心部に合焦した状態で画面中心部のＭＴＦピーク位置を撮像面として撮影画像を取り込むと、画面中心部に比べて画面周辺部の解像力が低下する。同様に、画面周辺部で合焦させて画面周辺部のＭＴＦピーク位置を撮像面として撮影画像を取り込むと、画面中心部で合焦した場合と比べて画面周辺部の解像力は向上するが、画面中心部の解像力は低下する。
【０００３】
そこで、特許文献１は、画面中心部の結像位置と画面周辺部の結像位置の中間で画像を取得し、画像取得像面での回復フィルタで画像回復する方法を提案している。特許文献２は画面領域を被写体の距離情報をもとに分割し、分割した領域ごとに対応する画像回復フィルタを用いて回復する方法を提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１２４６９２号公報
【特許文献２】特開２０１１−２１１６６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、本来ユーザが意図する画面内の位置にピントが合わないという課題がある。
【０００６】
本発明は、合焦している像高の情報を用いて高精度な画像処理を行うことが可能な画像処理装置、撮像装置、画像処理プログラム、および画像処理方法を提供することを例示的な目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、撮影光学系の撮影条件と合焦している像高ごとに補正データを記憶する記憶手段と、前記撮影光学系を介して撮像された画像の撮影条件と合焦している像高が、前記記憶手段に記憶された前記撮影条件および前記合焦している像高と一致する補正データを使用して前記画像を処理する画像処理手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、合焦している像高の情報を用いて高精度な画像処理を行うことが可能な画像処理装置、撮像装置、画像処理プログラム、および画像処理方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の概念の説明するための概略図である。
【図２】図１の点像強度分布関数を説明するための概略図である。
【図３】本発明の撮像装置のブロック図である。
【図４】本発明のフローチャートである。（実施例１）
【図５】本発明のフローチャートである。（実施例２）
【図６】本発明のフローチャートである。（実施例３）
【発明を実施するための形態】
【００１０】
図１は、本発明の概念を説明するための概略図であり、横軸はデフォーカス方向、縦軸は中心ＭＴＦピーク像面における位置である。図１（ａ）はユーザが画面中心部の焦点検出点を選択した場合を示し、図１（ｂ）はユーザが画面周辺部の焦点検出点を選択した場合を示している。焦点検出点は、例えば、後述する図３に示す、背面の液晶ディスプレイなどの表示部３０５の撮影画面に表示され、自動焦点調節（ＡＦ）において、焦点検出を行う領域である。一般に、複数の焦点検出領域が画面に表示され、不図示の選択手段を介してユーザによって選択される。
【００１１】
図２は、図１の点像強度分布関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）を説明するための概略図であり、横軸Ｓはサジタル方向を表し、縦軸Ｍはメリディオナル方向を表している。
【００１２】
デジタルカメラ等の撮像装置により被写体を撮像して得られる画像には、撮影光学系の球面収差、コマ収差、像面湾曲、非点収差等に起因するボケが含まれる。このボケは、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生し、光学的に、ＰＳＦにより表される。また、このボケはピントずれによるボケとは異なる。
【００１３】
カラー画像における色にじみも、撮影光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのボケ方の相違ということができる。また、横方向の色ずれも、撮影光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれということができる。
【００１４】
従来、光学系の収差により劣化した画像を回復する技術（以下、画像回復処理とする）が知られている。画像回復処理として、光学系のＯＴＦ（ＯｐｔｉｃａｌＴｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：光学伝達関数）またはこれとフーリエ変換の関係にある光学系のＰＳＦの情報を用いる方法がある。
【００１５】
ＯＴＦは、実部と虚部を持ち、一般的には２次元のデータとして記憶手段に格納される。一般的な画像回復処理では、ＲＧＢのごとにＯＴＦデータを用意するので、１像高のＯＴＦデータは、ｘ方向のタップ数×ｙ方向のタップ数×２（実部、虚部）×３（色成分）となる。また、ＯＴＦやＰＳＦは、光学系を介して形成される像の像高、光学系の焦点距離、Ｆ値、および被写体距離を含む撮影条件ごとに異なる。
【００１６】
ＯＴＦは、収差の周波数成分情報であり、複素数で表される。ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）といい、位相成分をＰＴＦ（Ｐｈａｓｅ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）という。ＭＴＦおよびＰＴＦはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。
【００１７】
位相成分を位相角とすると次式が成立する。ここで、Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部と虚部である。
【００１８】
ＰＴＦ＝ｔａｎ−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））            （１）
このように、撮影光学系のＯＴＦは画像の振幅成分と位相成分に劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。
【００１９】
また、倍率色収差は光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えば、ＲＧＢの色成分として取得することで発生する。ＲＧＢ間で結像位置がずれることで像の広がりが発生するだけでなく、各色成分内で波長ごとの結像位置のずれ、すなわち位相ずれによっても像の広がりが発生する。このため、ＰＳＦを主光線（撮影光学系の瞳の中心を通る光線）と直交する各方向（アジムス方向）の１次元断面で見たときに、収差の位相劣化成分はＰＳＦに非対称性を発生させる。また、振幅劣化成分はアジムス方向ごとのＰＳＦの広がりの大きさに影響する。
【００２０】
実空間における画像上の座標を（ｘ，ｙ）とし、光学系による劣化を受ける前の原画像をｆ（ｘ，ｙ）、ＰＳＦをｈ（ｘ，ｙ）、劣化画像（入力画像）をｇ（ｘ，ｙ）とすると、次式が成立する。但し、＊はコンボリューションである。
【００２１】
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）                      （２）
数式２にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと次式が成立する。ここで、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換であり、ＯＴＦである。
【００２２】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）                      （３）
劣化画像から元の画像を得るために、両辺をＨで除算する。
【００２３】
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）                      （４）
Ｆ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。
【００２４】
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）                      （５）
Ｒ（ｘ，ｙ）を、画像回復フィルタという。画像が２次元のとき、通常は画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。一般に、画像回復フィルタのタップ数が多いほど回復精度が向上する。画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平／垂直方向においてそれぞれ３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）とは一線を隔する。画像回復フィルタはＯＴＦに基づいて作成されるため、振幅成分および位相成分の劣化をともに高精度に補正することができる。
【００２５】
図１（ａ）では、画面中心部の焦点検出点が選択され、中心ＭＴＦピーク像面で画像を取り込んだ場合を示している。図２（ａ）は、図１（ａ）のＡで示す画面中心部のＰＳＦ、図２（ｂ）は、図１（ａ）のＢで示す画面周辺部のＰＳＦをそれぞれ示している。
【００２６】
図１（ｂ）では、画面周辺部の焦点検出点が選択され、周辺部ＭＴＦピーク像面で画像を取り込んだ場合を示している。図２（ｃ）は、図１（ｂ）のＣで示す画面中心部のＰＳＦ、図２（ｄ）は、図１（ｂ）のＤで示す画面周辺部のＰＳＦである。
【００２７】
焦点検出点が画面中心部に配置されている場合は、図１（ａ）に示す撮影状態で画像を取り込み、図２の（ａ）（ｂ）に示す、対応するＰＳＦを用いて精度良く画像回復することができる。
【００２８】
しかし、近年、焦点検出点が画面周辺部にまで拡大されてきたため、図１（ｂ）に示す撮影状態で画像を取り込む機会が増えている。これに従来の画像回復を行うと図２（ｃ）（ｄ）に示すＰＳＦを図２（ａ）（ｂ）に示すＰＳＦを用いて画像処理で補正することになる。この結果、画面中心部では、実際のＰＳＦよりも狭いＰＳＦを用いて補正することになり、画像周辺部では、実際のＰＳＦよりも広いＰＳＦを用いて補正することになるため、画像回復精度が低下する。
【００２９】
本実施形態では、ユーザが選択した焦点検出点（合焦している像高）に応じて画像処理に使用する補正データ、例えば、ＯＴＦまたはＰＳＦの情報を変更し、高精度の画像処理を実現する。デフォーカス方向に大量の補正データを保持すると実装負荷が高くなるため、補正データは像面湾曲の範囲内、即ち、像面湾曲量が閾値以上である範囲で用いる。像面湾曲量が閾値未満である撮影光学系の場合には、焦点検出点の選択に基づく補正データの変化の影響が少ないために、本実施形態を適用しなくても画像処理精度を維持することができる。
【００３０】
撮影光学系による画像劣化を画像処理にて高精度に補正する別の方法を以下に示す。
【００３１】
まず、入力画像に対しアンシャープマスクを適用することでぼかした画像データと元の入力画像の差分をとり、この差分データを元の入力画像に対して加算あるいは減算することで画像の鮮鋭化を実現するアンシャープマスク処理がある。アンシャープマスクには平滑化フィルタ等の画像をぼかすためのフィルタが使用されており、ぼかした画像と入力画像の差分が大きいところほど画像はより鮮鋭化される。
【００３２】
アンシャープマスク処理は、アンシャープマスクに回転対称なフィルタを使用するため、非対称収差やサジタルハロのような複雑な形状のＰＳＦの影響を受け劣化した撮影画像に対しては正しく鮮鋭化できない。この結果、収差が大きく発生しているアジムス方向の収差を補正しようとすると収差の小さなアジムス方向ではアンダーシュートが発生してしまう。逆にアンダーシュートを抑制すると収差が十分に補正できない。
【００３３】
従来のアンシャープマスク処理は、メリディオナルのアジムス方向である像高方向以外の方向の非対称性について改善することができない。また、マイナスタップ係数の個数でフィルタの非対称性を調整しており、像高方向の補正についても光学系のＰＳＦのぼけ方とは異なるため、十分に鮮鋭化することができない。
【００３４】
そこで、本実施形態は、撮影条件および合焦している像高に応じたＰＳＦをアンシャープマスクに用いることで高精度なアンシャープマスク処理を提供する。
【００３５】
別の画像処理方法として、カラー画像に対して色にじみを軽減する色にじみ処理がある。撮影光学系の色収差により、画像の明るい部分の周囲に本来存在しない色（色にじみ）が生じる場合がある。可視光撮像では、撮影光学系の中心波長である緑から離れた部分で色にじみが起きやすく、青や赤或いは双方が混じった紫色のアーチファクトがにじみ状に生じ、パープルフリンジとも呼ばれる。
【００３６】
撮影光学系の色収差は、異なる分散を持つレンズを複数組み合わせることにより、ある程度抑えることができるが、近年の撮像素子の高解像度化と撮影光学系の小型化の要求から、撮影光学系のみで十分に抑えることは困難になっている。そこで、画像処理によるアーチファクトの抑制が求められている。
【００３７】
色収差は、横色収差（倍率色収差）と縦色収差（軸上色収差）に分けられる。横色収差は結像位置が波長により像面に沿う方向にずれる現象であり、縦色収差は結像位置が波長により光軸に沿う方向にずれる現象である。
【００３８】
横色収差は、原色系のデジタル撮像系であれば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色プレーンに対し、異なる歪曲を加える幾何変換により補正することができる。
【００３９】
可視光域の中心波長を担うＧプレーンで合焦した画像に対し、縦色収差は、可視光域端部となるＲプレーンやＢプレーンでは被写体に焦点が合わず不鮮明な画像（ピンボケ画像）となって現れ、横色収差のような幾何変換では補正できない。色にじみ処理は、主に白とび（予め設定した信号の飽和領域）周辺に生じる特性を利用し、Ｇプレーンの飽和している領域を探索し、その周辺の領域の画素を積分して補正量を算出し、補正する。
【００４０】
色にじみは白とび周辺で大きく発生するが、白とびしていない領域にも観察者にとって違和感のある色にじみは生じる。撮影したカラー画像における色プレーンの画素値が単調増加或いは単調減少している領域を色にじみ発生領域と判定し、色にじみを除去してもよい。
【００４１】
色にじみは撮影光学系の収差により発生するため、コマ収差などの非対称な収差を持つ撮影光学系では、被写体に対して色にじみが発生する方向や発生しない方向が存在する。
【００４２】
被写体の色が色にじみと同系色の場合、本来は色にじみが発生しない方向でも被写体の色を色にじみとして誤判定し、被写体本来の色を除去してしまうという問題が発生する。
【００４３】
そこで、本実施形態では、カラー画像の色にじみ補正処理の際、各色プレーンの画素値の単調増加或いは単調減少判定と撮影光学系の色にじみ発生方向の情報を用いることで、被写体本来の色を除去する弊害を低減し、色にじみ処理を補正してもよい。
【００４４】
色にじみ処理では、色にじみを軽減するための補正量を領域ごとに推定し、推定された複数の領域の複数の補正量を平滑化し、平滑化された補正量を使用して色にじみを軽減する画像処理を行ってもよい。ここで、推定される補正量は、推定されるにじみ量を補正するためのものであり、推定にじみ量は、撮影条件とユーザが選択した焦点検出点（合焦している像高）によって相違する。このため、推定される補正量も撮影条件と合焦している像高によって相違する。
【００４５】
以下、本発明の各実施例の画像処理方法について説明する。また、各実施例の画像処理方法を表すフローチャートにおいて、「Ｓ」はステップ（工程）を表す。各実施例の画像処理方法は、専用の画像処理装置、図３に示す撮像装置、パーソナルコンピュータ（ＰＣ）、ネットワーク上のサーバ等において実行される。
【００４６】
画像処理装置は、記憶手段と画像処理手段を有する。記憶手段は、補正データ（撮影光学系のＯＴＦまたはＰＳＦの情報や色にじみを軽減するための補正量）を、撮影条件と合焦している像高ごとに記憶する。画像処理手段は、撮影光学系を介して撮像された画像の撮影条件と合焦している像高が、記憶手段に記憶された撮影条件および合焦している像高と一致する補正データを使用して画像を処理する。
【００４７】
画像処理手段は、数式２や３のｈ（ｘ，ｙ）やＨ（ｕ，ｖ）を使用した画像回復処理を行ってもよいし、取得したＰＳＦをアンシャープマスクに用いたアンシャープマスク処理を行ってもよい。あるいは、画像処理手段は、推定される補正量を使用して（平滑化を行った後で）色にじみを軽減してもよい。
【００４８】
画像処理手段はコンピュータ（プロセッサ）によって実現可能である。この場合、各フローチャートはコンピュータに各ステップの機能を実現させるためのプログラム（画像処理プログラム）として具現化が可能である。
【００４９】
図３は、本実施形態の画像処理方法を実行する撮像装置のブロック図である。撮像装置は、デジタルスチルカメラ、デジタルビデオカメラ、デジタル顕微鏡、内視鏡などを含む。撮像装置は、撮影光学系３０１、撮像素子３０２、Ａ／Ｄ変換器３０３、画像処理部３０４、表示部３０５、撮影光学系制御部３０６、状態検知部３０７、記憶部３０８、画像記録媒体３０９、システムコントローラ３１０、選択手段３１１を有する。
【００５０】
撮影光学系３０１は、被写体の光学像を撮像面に形成する。撮像素子３０２は、撮影光学系３０１が形成した光学像を光電変換する。Ａ／Ｄ変換器３０３は、撮像素子３０２から出力されるアナログ電気信号をデジタル信号に変換する。
【００５１】
画像処理部３０４は、本実施形態の画像処理方法をデジタル信号に施し、取得部３０４ａと補正部３０４ｂを有する。取得部３０４ａは、状態検知部３０７が取得した情報を取得する。補正部３０４ｂは、取得部３０４ａが取得した情報に対応する補正データを記憶部３０８から取得し、これを利用して画像処理を行う。画像処理部３０４は、撮影光学系３０１を介して撮像された画像の撮影条件と合焦している像高が、記憶部３０８に記憶された撮影条件および合焦している像高と一致する補正データを使用して画像を処理する画像処理手段として機能する。
【００５２】
撮影光学系を介して撮像された画像の撮影条件と合焦している像高が、記憶部３０８に記憶された撮影条件および合焦している像高と一致しない場合、画像処理部３０４は、対応する補正データを補間によって生成する。
【００５３】
表示部３０５は、画像処理部３０４によって処理された画像を表示する液晶ディスプレイなどである。表示部３０５は、画面内に複数の焦点検出点を表示し、ユーザはその中で合焦すべき焦点検出点を選択手段３１１によって選択する。複数の焦点検出点は、像高や位置が異なるように画面上に配列されている。
【００５４】
撮影光学系制御部３０６は、システムコントローラ３１０の命令に基づいて、撮影光学系３０１の不図示のフォーカスレンズ、絞り、ズームレンズ、像ぶれ補正レンズの駆動を制御する。
【００５５】
状態検知部３０７は、撮影光学系制御部３０６から撮影状態の情報（焦点距離、Ｆ値、被写体距離など）を受信する。記憶部３０８は画像処理に使用される補正データを、撮影条件と合焦している像高ごとに記憶する記憶手段として機能する。
【００５６】
画像記録媒体３０９は、画像処理部３０４によって処理された画像を記録する。システムコントローラ３１０は、撮像装置の各部の動作を制御し、例えば、撮影光学系制御部３０６に、絞り、ズームポジション、フォーカス位置などを指示する。
【００５７】
撮影光学系を介して撮像された画像の合焦している像高が、記憶部３０８に記憶された合焦している像高に一致しない場合には、画像処理手段は補正データを補間によって生成してもよい。
【実施例１】
【００５８】
図４は、実施例１のフローチャートを示している。本実施例は、画像処理として画像回復処理を用いる。
【００５９】
まず、画像処理手段は、入力画像を取得する（Ｓ１０）。入力画像は補正データを用いて画像処理される前に取得されればよく、この順番には限定されない。次に、画像処理手段は、入力画像を取得した撮影時の撮影光学系の撮影情報、合焦箇所情報を取得する（Ｓ１２）。合焦箇所情報とは、焦点検出点が画面内のどこにあるか（合焦している像高）を表す情報である。次に、画像処理手段は、取得した撮影情報、合焦箇所情報に対応する補正データを記憶手段のデータベースから取得する（Ｓ１４）。次に、画像処理手段は、取得した補正データを用いて入力画像に画像回復処理を行う（Ｓ１６）。画像回復処理に用いるフィルタは、特許文献２に開示されているような撮影光学系のＯＴＦを用いて作成してもよい。
【実施例２】
【００６０】
図５は、実施例２のフローチャートを示している。本実施例は、画像処理としてエッジ強調処理を用いる。エッジ強調処理は、画質改善効果は画像回復処理ほどではないが、保存に必要なデータ量が画像回復処理よりも少なくなる。
【００６１】
まず、画像処理手段は、入力画像を取得する（Ｓ２０）。入力画像は補正データを用いて画像処理される前に取得されればよい。次に、画像処理手段は、入力画像を取得した撮影時の撮影光学系の撮影情報、合焦箇所情報を取得する（Ｓ２２）。次に、画像処理手段は、取得した撮影情報、合焦箇所情報に対応する補正データを記憶手段のデータベースから取得する（Ｓ２４）。次に、画像処理手段は、取得した補正データを用いて入力画像にエッジ強調処理を行う（Ｓ２６）。
【実施例３】
【００６２】
図６は、実施例３のフローチャートを示している。本実施例は、画像処理として色にじみ処理を用いる。
【００６３】
まず、画像処理手段は、シャッターを押す（Ｓ３０）。次に、画像処理手段は、撮影時の撮影光学系の撮影情報、合焦箇所情報を取得する（Ｓ３２）。次に、画像処理手段は、取得した撮影情報、合焦箇所情報に対応する補正データを記憶手段のデータベースから取得する（Ｓ３４）。次に、画像処理手段は、入力画像を取得する（Ｓ３６）。次に、画像処理手段は、取得した補正データを用いて入力画像に色にじみ処理を行う（Ｓ３８）。
【００６４】
以上、本実施例について説明したが、本発明は本実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【産業上の利用可能性】
【００６５】
本発明の画像処理装置はカメラなどの撮像装置が撮影した画像を回復する用途に適用することができる。
【符号の説明】
【００６６】
３０４…画像処理部（画像処理手段）、３０８…記憶部（記憶手段）
【図３】
2015198380.tif 000003
【図１】
2015198380.tif 000004
【図２】
2015198380.tif 000005
【図４】
2015198380.tif 000006
【図５】
2015198380.tif 000007
【図６】
2015198380.tif 000008