(57)【要約】【課題】製造ばらつき等の個別補正データを用いて画像回復処理を行う際、経年劣化等よって光学特性が変化した場合に、同じ個別補正データを適用することによって画像回復結果に画質劣化が生じてしまうことを防ぎ、良好な回復画像が得られる撮像装置を提供すること。【解決手段】撮影画像を取得する撮像手段と、撮影レンズのレンズ種別で共通の画像回復フィルタを取得する画像回復フィルタ取得手段と、撮影レンズの個体毎に異なる補正データを取得する個別補正データ取得手段と、前記撮影画像から光学特性の変化量を算出する光学特性変化量算出手段と、前記画像回復フィルタを前記個別補正データと前記光学特性変化量から算出した前記個別補正データの適用量を用いて補正回復フィルタを生成する補正回復フィルタ生成手段と前記補正回復フィルタを用いて前記撮影画像に対する回復処理を行う回復手段と、を有することを特徴とする。【選択図】図２
2018207419.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像を取得する撮像手段と、
撮影レンズのレンズ種別で共通の画像回復フィルタを取得する画像回復フィルタ取得手段と、
撮影レンズの個体毎に異なる補正データを取得する個別補正データ取得手段と、
前記撮影画像から光学特性の変化量を算出する光学特性変化量算出手段と、
前記画像回復フィルタを前記個別補正データと前記光学特性変化量から算出した前記個別補正データの適用量を用いて補正回復フィルタを生成する補正回復フィルタ生成手段と
前記補正回復フィルタを用いて前記撮影画像に対する回復処理を行う回復手段と、
を有する特徴とする撮像装置。
【請求項２】
前記光学特性変化量は、前記撮影画像データから算出した色ずれ率と、前記撮影画像の撮影日時より前に撮影された撮影画像の色ずれ率との差分であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記色ずれ率は、複数色の色信号を含む画像データからエッジ成分を抽出し、前記複数色の色信号のうちの第１の色信号と第２の色信号について、それぞれの色信号ごとに、前記エッジ成分を横切る方向の高域成分を抽出し、前記画像データの画面内において、前記高域成分抽出手段により抽出された前記第１の色信号と前記第２の色信号の高域成分が最大値を示す前記画面内の位置と最小値を示す前記画面内の位置の色信号の位置ずれ量であることを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記光学特性変化量から算出した個別補正データの適用量を表示する個別補正データ適用量表示手段を有することを特徴とする請求項１乃至請求項３の何れか一項にに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像により得られた画像に対しぼけや収差の画像復元処理に関する。
【背景技術】
【０００２】
撮影された画像には、撮影光学系の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。
【０００３】
ここにいうぼけ成分は、光学的には、点像分布関数ＰＳＦにより表され、光学系の収差の影響によって発生するぼけであって、ピントのずれによって発生するぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違ということができる。さらに、横方向の色ずれも光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれということができる。
【０００４】
点像分布関数ＰＳＦをフーリエ変換して得られる光学伝達関数ＯＴＦは、収差の周波数成分情報であり、複素数で表される。光学伝達関数ＯＴＦの絶対値、すなわち振幅成分をＭＴＦと呼び、位相成分をＰＴＦと呼ぶ。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）とＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部と虚部を表す。
ＰＴＦ＝ｔａｎ−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、光学系の光学伝達関数ＯＴＦは画像の振幅成分と位相成分を劣化させ、劣化した画像における被写体の各点はコマ収差のように非対称にぼけた状態になる。
【０００５】
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮
像装置の分光特性に応じて、例えばＲＧＢの色成分として取得することで発生する。この
ため、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置
のずれ、すなわち位相ずれによる像の拡がりが発生する。
【０００６】
振幅ＭＴＦの劣化と位相ＰＴＦの劣化を、光学系の光学伝達関数ＯＴＦの情報を用いて補正する方法が知られている。この方法は、画像回復や画像復元と呼ばれており、以下の説明では、光学系の光学伝達関数ＯＴＦの情報を用いて画像の劣化を補正する処理を画像回復処理または単に回復処理と記す。
【０００７】
実際にレンズを製造する場合、レンズの形状、保持機構および駆動機構に製造誤差による個体差が発生する。この個体差は光学伝達関数ＯＴＦに影響を与える。したがって、製造誤差にも対応してより高精度に画像回復処理を行うためには、レンズの個体毎の光学伝達関数ＯＴＦに基づいて画像回復フィルタを生成することが望ましい。
【０００８】
特許文献１には、予め保持した複数の画像回復フィルタを用いて回復処理した複数の画像のうち所定の評価量が得られた画像に対して用いられた画像回復フィルタを実際の画像回復処理に用いる画像回復処理方法が開示されている。
【０００９】
また、特許文献２には、生産工程において予め設定した画像を撮影し、そこから機器毎の直線ブレや焦点ボケを補正する方法が開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００８−８５６９７号公報
【特許文献２】特開２００６−５０４９４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１にて開示された方法を用いる場合、複数の画像回復フィルタによる回復処理を試行する必要があるため、最終的に回復画像を出力するまでに多大な処理時間を要する。
【００１２】
また、特許文献２にて開示された方法を用いる場合、製造工程で個々のレンズ毎の個別補正データを決定してしまうため、レンズの経年劣化等による光学特性の変化に対応できないという問題がある。経年劣化等による光学特性の変化が発生した場合、個別補正データを適用し続けてしまうことによって画像劣化が発生する。
【００１３】
そこで、本発明は、経年劣化等より学特性が変化した場合に、個別補正データを適用したことによって画質劣化してしまうことを防ぎ、レンズの個体差に応じた良好な回復画像が得られる撮像装置、画像処理装置、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記の目的を達成するために、本発明に係る撮像装置は、
撮影画像を取得する撮像手段と、撮影レンズのレンズ種別で共通の画像回復フィルタを取得する画像回復フィルタ取得手段と、撮影レンズの個体毎に異なる補正データを取得する個別補正データ取得手段と、前記撮影画像から光学特性の変化量を算出する光学特性差分量算出手段と、前記画像回復フィルタを前記個別補正データと前記光学特性差分量から算出した前記個別補正データの補正量を用いて補正回復フィルタを生成する補正回復フィルタ生成手段と前記補正回復フィルタを用いて前記撮影画像に対する回復処理を行う回復手段とを備えることを特徴とする。
【発明の効果】
【００１５】
本発明に係る撮像装置によれば、経年変化等によって光学特性が変化した場合に、個別補正データを適用し続けてしまうことによる画質劣化を防ぎ、良好な回復画像を得ることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施例における撮像装置の構成を示す構成図
【図２】本発明の実施例における撮像装置の動作を示すフローチャート
【図３】本発明の実施例における個別補正データ適用量の算出処理を示すフローチャート
【図４】本発明の実施例における補正前後の画像回復フィルタを示す図
【図５】本発明の実施例における補正前後の画像のＭＴＦを示す図
【図６】本発明の実施例における色ズレの様子を示す図
【図７】本発明の実施例における像高毎の色ズレ率を示す図
【図８】本発明の実施例における光学特性履歴を示す図
【図９】本発明の実施例における光学特性差分と個別補正データの適用量の対応関係を示す図
【図１０】本発明の実施例における撮影画像のプレビュー表示を示す図
【発明を実施するための形態】
【００１７】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１８】
図１は、本発明の実施例の構成を示す図である。
【００１９】
図１における撮像装置は、カメラ本体１００と、カメラ本体に接続し通信可能な撮影レンズ１２０から構成される。
【００２０】
カメラ本体１００は、操作部１０１、制御部１０２、撮像部１０３、第１撮影レンズ通信部１０４、画像処理部１０５、画像出力部１０６、記録部１０７、メモリ１０８、メモリバス１０９、制御線１１０、から構成される。また、レンズ１２０は、光学部１２１、レンズ制御部１２２、レンズ通信部１２３、レンズデータ記憶部１２４から構成される。
【００２１】
まず、カメラ本体１００の各ブロックについて説明する。以下に説明するカメラ本体１００内の多くのブロックはメモリバス１０９に接続され、メモリ１０８に対してデータのやり取りを行なってデータ処理を行なっている。メモリ１０８は、高速でランダムアクセス可能なダイナミックＲＡＭである。メモリ内はレンズデータ領域、画像データ領域、制御信号領域がある。
【００２２】
メモリバス１０９は、いわゆる信号線であり、各ブロックからのメモリアクセス要求を調停し、時分割で１０８メモリへのデータ読み書きが行なえるよう制御している。制御線１１０は、制御部１０２からの制御信号を各ブロックへと送信するための信号線である。
【００２３】
操作部１０１は、ユーザーが操作するボタン、タッチパネル、ズームレバー等を備えており、これらのデバイスをユーザーが操作した結果は、制御部１０２へ出力される。
【００２４】
制御部１０２は、カメラ本体１００の動作を制御する、いわゆるＣＰＵである。制御部１０２は、ユーザーが選択したカメラ本体１００の動作に関わる様々な制御信号を、制御線１１０を通して各ブロックへ出力し、各ブロックの動作を制御する。また、制御部１０２は、カメラ本体１００の動作に係る様々な情報を、メモリバス１０９を通して各ブロックへ出力することができる。例えば、ユーザーが操作部１０１でシャッターを切るという動作を選択した場合、シャッターを切るという動作に関する制御信号を、制御線１１０を通して各ブロックに送信することでカメラ本体１００はシャッターを切るという処理を行う。また、制御部１０２は、シャッターを切ったときの様々な情報（露出等の撮影情報や、日時など）を、メモリバス１０９を通して各ブロックへ送信することができる。
【００２５】
撮像部１０３は、ズーム機能を備えたレンズ、絞り、撮像センサーにより構成される。撮像部１０３は、撮影レンズ１２０における光学部１２１によって集光された光を撮像センサーで受光し、Ａ／Ｄ変換し、メモリ１０８の画像データ領域に画像データとして記憶する。
【００２６】
通信部１０４は、カメラ本体１００に取り付けられた撮影レンズ１２０と通信を行い、撮影レンズ１２０内のレンズデータ記憶部１２４に記憶されているレンズデータを、撮影レンズ通信部１２３を通して受信し、メモリ１０８のレンズデータ領域に記憶する。ここでいうレンズデータとは、撮影レンズ１２０の光学特性に関するデータのことを示す。レンズデータについての詳細は後述する。通信部１０４は、撮影レンズ１２０から送信されるレンズデータの受信の進捗を判断することができる。また、通信部１０４は、撮影レンズ１２０への電力供給を行う。通信部１０４による撮影レンズ１２０への電力供給は、通信部１０４に電力が供給されている場合にのみ行われる。また、通信部１０４は、制御部１０２から送信される制御信号を、撮影レンズ通信部１２３を通して撮影レンズ制御部１２２へ送信することができる。
【００２７】
画像処理部１０５は、撮像部１０３にて得られメモリ１０８の画像データ領域に記憶されている画像データに対して、画像処理を行う。このとき、画像処理部１０５は、通信部１０４にて得られメモリ１０８のレンズデータ領域に記憶されているレンズデータを用いて、撮影レンズ１２０の光学系を補正するような画像処理（歪曲補正、収差補正、等）を行うこともできる。画像処理部１０５は、処理を終えた画像データをメモリ１０８の画像データ領域へ書き戻す。
【００２８】
画像出力部１０６は、いわゆる表示パネルであり、メモリ１０８の画像データ領域に記憶された画像データを読み出して表示する。記録部１０７は、いわゆるＳＤカード等の記録媒体であり、制御部１０２から制御信号により、メモリ１０８の画像データ領域に記憶されている画像データを、制御部１０２から送信される情報と共に画像ファイルとして記録する。
【００２９】
以上が、本実施例における、カメラ本体１００の構成の概要である。つづいて、撮影レンズ１２０の各ブロックについて説明する。以下に説明する撮影レンズ１２０内の各ブロックは、撮影レンズ制御部１２２から送信される制御信号によって動作する。
【００３０】
光学部（レンズ）１２１は、少なくとも１枚以上のレンズから構成されるレンズ群、及びレンズ群や絞りを駆動し集光するための駆動系から構成される。光学部１２１は、撮影レンズ制御部１２２から送信される、制御信号を受けて、光学部１２１内の駆動系を駆動させ、レンズ群を通して集光する。集光された光線は、カメラ本体の撮像部１０３にて受光される。また、光学部１２１内の駆動系は、ユーザーが手動で動かすこともできる。ユーザーの手動で動かしたときの駆動系の情報（駆動量など）は、撮影レンズ制御部１２２にて読み出される。
【００３１】
撮影レンズ制御部１２２は、いわゆるマイコンであり、カメラ本体１００の通信部１０４を通して制御部１０２から送信される信号を、撮影レンズ通信部１２３を通して受信する。撮影レンズ制御部１２２は、通信部１０４、撮影レンズ通信部１２３を通して送信されたカメラ本体１００からの制御信号を受けて、撮影レンズ１２０内の各ブロックへ制御信号を送信する。また、撮影レンズ制御部１２２は、光学部１２１が駆動した際の、レンズ位置などの情報を読み出すことができる。また、撮影レンズ制御部１２２は、レンズデータ記憶部１２４から、撮影レンズ１２０のレンズデータを読み出して、撮影レンズ通信部１２３へ送信する。
【００３２】
撮影レンズ通信部１２３は、カメラ本体１００に撮影レンズ１２０が取り付けられた際、通信部１０４を通してカメラ本体１００と通信を行う通信モジュール、及び、カメラ本体１００から通信部１０４を通して電力供給される電気接点から構成される。撮影レンズ通信部１２３は、撮影レンズ制御部１２２からの制御信号をうけて、カメラ本体１００の通信部１０４との通信を行う。
【００３３】
レンズデータ記憶部１２４は、撮影レンズ１２０の特性に関するデータ（レンズデータ）を記憶しているＲＯＭである。レンズデータ記憶部１２４にて記憶されているレンズデータは、撮影レンズ制御部１２２によって読み出され、撮影レンズ通信部１２３へ送信される。
【００３４】
以上が、本実施例で記載する撮像装置の構成である。
【００３５】
つづいて、レンズデータ記憶部１２４に記憶されているレンズデータに対する詳細な説明を行う。レンズデータは、撮影レンズ１２０の特性を表すデータであり、レンズ種別で共通であるレンズ設計値データとレンズ製造誤差を補正する個別補正データで、さらに個別補正データの信頼度データを含む。
【００３６】
レンズ種別で共通であるレンズ設計値データは、代表的な撮像条件に対応する複数の画像回復フィルタである。この画像回復フィルタは、例えば、撮影レンズの光学系の設計上の光学伝達関数ＯＴＦに基づいて作成することができる。
【００３７】
個別補正データは、例えば、製造誤差による個体差を有する光学部１２１ごとの片ぼけを示す情報である。片ぼけとは、製造誤差により、光学系を構成する複数のレンズ等の光学素子が互いに偏心することで、該光学系の像面での設計上の光学特性（結像特性）の回転対称性が崩れ、該像面上での位置又は領域ごとに結像状態が異なることをいう。製造誤差がなければ、光学系の結像特性は回転対称性を有する。なお、光学系の像面は、撮像素子の受光面又は画像と読み替えることもできる。また、像面上での位置は、像高と読み替えることもできる。
【００３８】
製造誤差がない場合の結像特性ＭＴＦを基準としたとき、画像の左側はＭＴＦが低く鮮鋭度が低くなっており、右側はＭＴＦが高く鮮鋭度が高くなっている。個別補正データは、このような画像上の位置ごとに異なる結像特性つまりは片ぼけを示す情報であり、結像特性の相異に応じてレンズの個体ごとに異なる情報である。
【００３９】
個別補正データは、像面（撮像素子の受光面又は画像）における位置と結像特性との関係を示すテーブルデータとしてもよいし、像面における位置ごとの結像特性を示す関数およびその係数としてもよい。個別補正情報を関数として保持することで、テーブルデータとして保持するよりも保持データ量を削減することができる。
【００４０】
レンズ個体ごとの個別補正情データは、製造工程時などにその光学特性を個別に計測することで取得することができる。
【００４１】
個別補正データは、実際の像面が理想とする像面に対してどのように変形しているかを示す情報とすることができるので、画像上の各位置の光学伝達関数ＯＴＦを測定する場合に比べて容易に作成することができる。
【００４２】
なお、画像を構成する色成分ごとに結像特性が異なる場合には、個別補正データを、色成分ごとに異なる情報として作成することが望ましい。
【００４３】
個別補正データは、片ぼけに限らず、製造誤差に関するあらゆる要因によって画像上の位置によって結像特性が異なる場合に用いることができる。
【００４４】
個別補正データは、製造工程時などにその光学特性を個別に計測しているため、経年劣化や外的要因によってその光学特性が変化してしまった場合にも、個別補正データを使いつづけてしまう。そのため、回復フィルタの補正に個別補正データの使用の有無などを判定するためのデータが、光学特性履歴データで、撮影画像から検出可能な光学特性の変化の履歴を記録したデータである。撮影画像から光学特性変化量を算出する詳細については後述する。
【００４５】
なお、レンズデータが、上述した３種類とは異なるデータを含んでいてもよい。たとえば、光学偏心成分や、カメラ本体１００側からのレンズ駆動指令１パルスあたりの像面移動量に関するデータや、レンズ駆動系メカのガタつきに関するデータ（駆動量差分情報）等のような情報を含んでいてもよい。以上で述べたレンズデータはすべてレンズデータ記憶部１２４に記憶されている。
【００４６】
図２のフローチャートは、本実施例における撮像装置の動作を示している。
【００４７】
まず、ステップＳ２０１にて、カメラ本体１００は撮影レンズ１２０からレンズデータであるレンズ種別で共通な画像回復フィルタ（レンズ設計値データ）と個別補正データと光学特性履歴データの取得を行う。カメラ本体１００と、撮影レンズ１２０が物理的に接続されると、カメラ本体１００と、撮影レンズ１２０との間でシリアル通信が開始され、カメラ本体１００は、撮影レンズのレンズＩＤを取得する。カメラ本体１００は撮影レンズ１２０のレンズデータの取得を開始し、制御部１０２から通信部１０４を通して、レンズデータ取得のリクエスト信号が、撮影レンズ１２０へ送信される。撮影レンズ１２０では、レンズデータ取得のリクエスト信号を、撮影レンズ通信部１２３を通して撮影レンズ制御部１２２が受信する。撮影レンズ制御部１２２はレンズデータ取得のリクエスト信号を受けて、レンズデータをレンズデータ記憶部１２４より読み出す。
【００４８】
撮影レンズ制御部１２２は、読み出したレンズデータを、撮影レンズ通信部１２３を通してカメラ本体１００へ順次送信する。カメラ本体１００は、撮影レンズ１２０から送信されてくるレンズデータを、通信部１０４を通して、制御部１０２が順次受信し、制御部１０２で受信されたレンズデータは、メモリ１０８のレンズデータ記憶部に記憶される。
【００４９】
次に、Ｓ２０２で、撮影画像の取得を行う。シャッターが押されると、カメラ本体１００と撮影レンズ１２０で撮影が実行される。操作部１０１にてシャッターが押されると、その信号が制御部１０２へ送信され、制御部１０２は撮像部１０３へ撮影実行の制御信号が送信される。撮像部１０３は、撮影実行の制御信号を受けて、撮影レンズ１２０にて集光された光線をセンサーで受光し撮像する。撮像された画像は、メモリ１０８の画像データ領域に記憶される。
【００５０】
ステップＳ２０３で、画像処理部１０５は、メモリ１０８に記憶された複数の画像回復フィルタから、撮影画像の撮像条件に対応する画像回復フィルタを選択又は生成する。ここで選択又は生成された画像回復フィルタを、使用画像回復フィルタともいう。撮像条件に関する情報は、光学部１２１のレンズ位置等の駆動系の情報である。
【００５１】
使用画像回復フィルタとしては、メモリ１０８に記憶された複数の画像回復フィルタの中から実際の撮像条件に対応したもの又は近いものを選択すればよい。また、代表的な撮像条件に対応した画像回復フィルタを実際の撮像条件に応じて補正したものを使用画像回復フィルタとして生成してもよい。例えば代表的な撮像条件に対応した複数の画像回復フィルタのうち実際の撮像条件に近い２つの代表的な撮像条件に対応した画像回復フィルタから補間処理により使用画像回復フィルタを生成してもよい。
【００５２】
なお、仮に製造誤差による個体差がない場合であっても、光学系の結像特性、すなわち光学伝達関数ＯＴＦが、該光学系の像面上、つまりは入力画像上における位置又は領域によって異なる。このため、使用画像回復フィルタは、入力画像上の位置又は領域によって変更することが望ましい。
【００５３】
次に、ステップＳ２０４で、画像処理部１０５は、メモリ１０８に記憶された個別補正データから撮影画像の撮像条件に対応する個別補正データを取得する。
【００５４】
次に、ステップＳ２０５で、個別補正データ信頼度を算出する。個別補正データ信頼度算出の詳細については、図３のフローチャートを用いて後述する。
【００５５】
次に、ステップＳ２０６では、画像回復手段としての画像処理部１０５は、ステップＳ２０３で取得した使用画像回復フィルタを、ステップＳ２０４で取得した個別補正データとステップＳ２０５で取得した個別補正データの信頼度から生成した補正フィルタを用いて補正する。
【００５６】
画像回復フィルタは、光学伝達関数ＯＴＦに基づいて生成されるため、例えば１１×１１タップという比較的多くのタップ数を有する。これに対して、補正フィルタは、画像回復フィルタのゲインを増減する機能を主とすることで、例えば３×３タップといった少ないタップ数、つまりはデータ量で画像回復フィルタを補正することができる。
【００５７】
画像回復フィルタに補正フィルタをコンボリューションすることにより、画像回復フィルタの特性を補正することができる。補正の前後の画像回復フィルタの係数値の変化を、図４に示す。図４中の（ａ）と（ｂ）はそれぞれ、補正前の画像回復フィルタと補正後の画像回復フィルタの同一断面での係数値を示している。
【００５８】
また、図５には、補正フィルタによる画像回復フィルタの補正の有無と、画像回復処理によるＭＴＦの変化との関係を示す。図５中の（ｃ）は回復処理前の撮影画像のＭＴＦであり、（ａ）は補正フィルタにより補正をしていない画像回復フィルタを用いた回復処理後の画像のＭＴＦである。（ｂ）は補正後の画像回復フィルタを用いた回復処理後の画像のＭＴＦである。このように、製造誤差による個体差のあるレンズにより生成された画像のＭＴＦを、個別補正データに基づいて補正した画像回復フィルタを用いて、個体差に応じて回復させることができる。
【００５９】
次に、ステップＳ２０７で、画像処理部１０５は、撮影画像に対して、補正画像回復フィルタを用いた画像回復処理を行い、補正した画像データをメモリ１０８の画像データ領域へ書き戻す。
【００６０】
そして、ステップＳ２０８で、メモリ１０８の画像データ領域に記憶されている画像回復処理の結果画像は、記録部１０７にて読み出され、ＳＤカード等の記録媒体に記録される。
【００６１】
さらに、画像回復処理の結果画像は、画像出力部１０６にプレビュー表示される。図１０に画像出力部１０６に表示されるプレビュー表示について示す。図中の８０１は画像表示領域で、ステップＳ２０７で補正された画像を表示している。８０２は撮影情報表示領域で各撮影情報と回復フィルタと個別補正データの適用の有無が表示される。個別補正データの適用量が０のときは、個別補正データの適用はなしと表示される。
【００６２】
次に、ステップＳ２０９で、制御部１０２は、ステップＳ２０５で更新した光学特性履歴データをメモリ１０８から読み出し、通信部１０４を通して、撮影レンズ１２０へ送信する。レンズ制御部１２２はレンズ通信部１２３を通じて受信した、光学特性履歴データをレンズデータ記憶部１２４に記録する。
【００６３】
以上が、本実施例における撮像装置の動作の概要である。
【００６４】
以下、本実施形態における、ステップＳ２０５の個別補正データの適用量算出の詳細について、図３のフローチャートを参照して説明する。
【００６５】
まず、ステップＳ３０１で、画像処理部１０５は、撮影画像から倍率色収差による色ズレが顕著に現れるエッジを画像から検出する。画像処理部１０５は、撮影画像をＲ、Ｇ、Ｂプレーンに分離し、さらにＹ（輝度）プレーンを生成する。エッジの検出にはこのＹプレーンを使用する。ここで検出するエッジは光学中心からの動径方向に大きく画素値の変化するエッジに限定することで精度の高い色ズレ量取得が可能になる。また、Ｙプレーンにおいて、倍率色収差による色ズレは、にじみとなって現れるので、画素値が単調増加、もしくは単調減少する画素が複数画素続くような、ある程度幅のあるエッジを対象とするのが良い。
【００６６】
次に、ステップＳ３０２で、画像処理部１０５は、ステップＳ３０１で検出された各エッジにおいて色ズレ量を算出する。まず、ステップＳ３０１のエッジ検出で検出された画像内のエッジ付近で、色ズレ量取得処理の対象とする画素を取得する。色ズレ量算出処理の対象とする画素は色ズレ量を取得する注目エッジを横切る色ズレ量取得方向の１ライン（注目ライン）とする。以降、色ズレ量取得の対象とする領域を注目ラインと呼ぶ。
【００６７】
注目ラインのサイズは注目エッジの幅と輝度変化量により設定することが好ましい。例えば、エッジの幅の２倍程度の長さとするのがよい。取得したＧプレーン、Ｂプレーンの画素信号の例を図６（ａ）に示す。
【００６８】
次に、各色成分の対象画素に対し、ハイパスフィルタ処理を施し、高域成分抽出を行う。そして、図６（ａ）に示したＧとＢの各画素にハイパスフィルタを施した結果を図６（ｂ）に示す。周波数領域において、エッジの始点・終点は高域成分を多く含むため、ハイパスフィルタによりエッジの始点・終点（エッジ始点位置及びエッジ終点位置）の抽出が可能となる。ハイパスフィルタの出力値の絶対値が大きい箇所がエッジの始点・終点を表わしている。なお、ノイズなどの影響を抑え、エッジの始点・終点の検出精度を向上させるために、ハイパスフィルタ実施前に、対象画素に対し画素値の平滑化を実施してもよい。
【００６９】
次に、ハイパスフィルタの出力結果からエッジの始点・終点を求める。ハイパスフィルタの出力値の最大値と最小値の位置をそれぞれの色プレーンで求め、その位置をエッジの始点・終点とする。
【００７０】
Ｇプレーンのハイパスフィルタ出力値の最大値位置をＧｍａｘ、最小値位置をＧｍｉｎとし、Ｂプレーンのハイパスフィルタ出力値の最大値位置をＢｍａｘ、最小値位置をＢｍｉｎとする。注目ライン内で、エッジの始点・終点以外の箇所で高域成分を多く含む画素がある場合は、最大値・最小値がエッジの始点・終点ではない場合がある。これに対応するために、注目ラインの中央部に近い変曲点を求めることでエッジの始点・終点を求めてもよい。
【００７１】
さらに、次式を満たす場合は、色ズレ量取得処理に適していないエッジと判断し、このエッジでは色ズレ量取得を行わないようにする。
【００７２】
（Ｇｍａｘ＞Ｂｍａｘ  ＡＮＤ  Ｇｍｉｎ＜Ｂｍｉｎ）  ＯＲ
（Ｇｍａｘ＜Ｂｍａｘ  ＡＮＤ  Ｇｍｉｎ＞Ｂｍｉｎ）
次の色ズレ量決定ステップＳ２０４では、まず、次式によりズレ量を２つ（ｄ１，ｄ２）求める。ここで、ｄ１，ｄ２は次のように表わされる。
【００７３】
ｄ１＝｜Ｇｍａｘ−Ｂｍａｘ｜
ｄ２＝｜Ｇｍｉｎ−Ｂｍｉｎ｜
次に、この２つのズレ量ｄ１、ｄ２を比較し、下記のように色ズレ量を決定する。
【００７４】
ｄ１≧ｄ２の場合  ：  ｄ２を色ズレ量とする。
【００７５】
ｄ１＜ｄ２の場合  ：  ｄ１を色ズレ量とする。
【００７６】
図６（ｂ）の例では、ｄ１≧ｄ２となるため、ｄ２が色ズレ量となる。色ズレ量は、Ｇプレーンに対しＲプレーン（もしくはＢプレーン）が光学中心方向へずれている場合に負の値とする。また、Ｇプレーンに対しＲプレーン（もしくはＢプレーン）が光学中心とは逆方向へずれている場合に正の値とする。
【００７７】
ＧプレーンとＲプレーンにおいても同様の処理で色ズレ量算出を行う。
【００７８】
次に、ステップＳ３０３で、画像処理部１０５は、図７（ａ）で示す領域Ｉ〜ＩＶごとに、ステップＳ１０１で検出された各エッジの像高と、ステップＳ１０２で取得した各エッジの色ズレ量から、像高と色ズレ率の関係を表す高次の多項近似式Ｆ（Ｌ）を算出する。ここでいう像高とは、光学中心に相当する画素（以降、単に光学中心という）からの距離である。
【００７９】
図７（ｂ）は像高と色ズレ率を表した図である。以下、像高と色ズレ率の関係を表す高次の多項近似式の算出手順について具体的に説明する。
（１）ステップＳ３０１で検出したエッジの像高をＬ、ステップＳ３０２で算出した色ズレ量をＤとした場合、下記のように像高に対する色ズレ率Ｍを求める。
【００８０】
Ｍ＝Ｄ／Ｌ
（２）図７（ａ）に示すように画像を８つの像高（ｈ１〜ｈ８）に分割し、上記エッジが属する領域を選別する。
（３）画像内で検出された複数のエッジついて上記（１）（２）を行い、像高毎に分割した８つの像高毎に色ズレ率Ｍを集計し、各像高毎に色ズレ率Ｍの平均値を求め、各像高の色ズレ率を決定する。
（４）図３（ｂ）に示したように、像高と求めた色ズレ率から、像高と色ズレ率の関係を表す高次の多項近似式Ｆ（Ｌ）を算出する。
【００８１】
以上の像高と色ズレ率の関係式を４つの領域（領域Ｉ〜領域ＩＶ）およびＧプレーンとＲプレーンにおいても同様の処理で算出する。
【００８２】
次に、ステップＳ３０４で、メモリ１０８に光学特性履歴データが記録されている場合には、ステップＳ３０５に進み、光学特性履歴データが記録されていない場合には、ステップＳ３０７に進む。
【００８３】
ステップＳ３０５で、画像処理部１０５は、光学特性履歴データをメモリ１０８から取得する。
【００８４】
図８に光学特性履歴データを示す。光学特性履歴データは撮影日付毎にステップＳ３０３で算出した像高と色ズレ率の関係式と色ずれ率の差分をまとめた表である。
【００８５】
次に、ステップＳ３０６で、画像処理部１０５は、光学特性変化を算出する。光学特性変化量は撮影日時の一番古い日時、つまり該レンズの製造時に一番近い日時の像高と色ズレ率の関係式との差分を算出したものであり、算出する撮影日時の差分をＥｔｎ、算出する撮影日時の色ずれ率Ｆｔｎ（Ｌ）、レンズの製造時に一番近い日時の色ズレ率をＦｔ０（Ｌ）として、次式により求める。
【００８６】
Ｅｔｎ＝∫（Ｆｔ０（Ｌ）−Ｆｔｎ（Ｌ））＾２ｄＬ
４つの領域（領域Ｉ〜領域ＩＶ）についてそれぞれ差分を求め、その差分を加算したものをその日時の変化量とする。
【００８７】
次に、ステップＳ３０７で、画像処理部１０５は、個別補正データの適用量を算出する。
【００８８】
図９は、ステップＳ３０６で算出した光学特性変化量と個別補正データの適用量の対応を示す図である。光学特性変化量が閾値１以下の場合には、個別補正データの適用量を１００となり、光学特性変化量が閾値１から閾値２までは線形適用量が減少し、閾値２より大きいときは適用量が０となる。
【００８９】
次に、ステップＳ３０８で、制御部１０２は、ステップＳ３０３で算出した色ずれ率関係式とステップＳ３０６で算出した光学特性差分を、光学特性履歴に記録し更新し、メモリ１０８に記録する。
【００９０】
以上が、個別補正データの適用量算出の概要である。
【００９１】
このように個体差を有するレンズに対して、個別補正データを用いて画像回復フィルタを補正して回復処理を行う場合に、光学特性履歴を算出して個別補正データの適用量を調整することで、光学特性が変化しているにも関わらず、個別補正データを適用してしまうことによる画像劣化を防ぎ、良好な回復画像を得ることができる。
【００９２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００９３】
１００  撮像装置、１０１  操作部、１０２  制御部、１０３  撮像部、
１０４  通信部、１０５  画像処理部、１０６  画像出力部、１０７  記録部、
１０８  メモリ、１０９  メモリバス、１１０  制御線、１２０  撮影レンズ、
１２１  光学部、１２２  レンズ制御部、１２３  レンズ通信部、
１２４  レンズデータ記憶部
【図１】
2018207419.tif 000003
【図２】
2018207419.tif 000004
【図３】
2018207419.tif 000005
【図４】
2018207419.tif 000006
【図５】
2018207419.tif 000007
【図６】
2018207419.tif 000008
【図７】
2018207419.tif 000009
【図８】
2018207419.tif 000010
【図９】
2018207419.tif 000011
【図１０】
2018207419.tif 000012