(57)【要約】【課題】画像ぼけを適切に補正する。【解決手段】複数の像高にそれぞれ設定されているぼけ補正を行うフィルタを取得する取得部と、取得部により取得されたフィルタを用いて、補正対象とされた像高における画素の画素値を補正する補正部とを備える。補正部は、補正対象とされた像高に隣接する像高に設定されているフィルタを、補正対象とされた画素の画素値に適用し、補正対象とされた像高と隣接する像高との位置関係から係数を算出し、フィルタ適用後の画素値と係数を用いて補正後の画素値を算出する。本技術は、撮影された画像を処理する画像処理装置、例えば、カメラに適用できる。【選択図】図２
2015216576.tif 000002
【特許請求の範囲】
【請求項１】
複数の像高にそれぞれ設定されているぼけ補正を行うフィルタを取得する取得部と、
前記取得部により取得された前記フィルタを用いて、補正対象とされた像高における画素の画素値を補正する補正部と
を備える画像処理装置。
【請求項２】
前記補正部は、
前記補正対象とされた像高に隣接する像高に設定されている前記フィルタを、前記補正対象とされた画素の画素値に適用し、
前記補正対象とされた像高と前記隣接する像高との位置関係から係数を算出し、
前記フィルタ適用後の画素値と前記係数を用いて補正後の画素値を算出する
請求項１に記載の画像処理装置。
【請求項３】
前記補正部は、
前記補正対象とされた像高と前記隣接する像高との位置関係から係数を算出し、
前記補正対象とされた像高に隣接する像高に設定されている前記フィルタと前記係数を用いて、前記補正対象とされた画素の画素値に適用するフィルタを生成し、
生成された前記フィルタと前記補正対象とされた画素の画素値を用いて補正後の画素値を算出する
請求項１に記載の画像処理装置。
【請求項４】
前記フィルタの係数は、
前記第１の像高上の複数の像点から、ＰＳＦ（Point Spread Function）データが算出され、
前記ＰＳＦデータが平均化され、
前記平均化された前記ＰＳＦデータが用いられて、所定の関数で近似され、
前記近似された前記ＰＳＦデータから算出された係数である
請求項１に記載の画像処理装置。
【請求項５】
前記フィルタの係数の算出は、ウィナーフィルタを用いる
請求項４に記載の画像処理装置。
【請求項６】
前記フィルタが設定されている像高は、前記ＰＳＦの形状が大きく変化するところの像高である
請求項４に記載の画像処理装置。
【請求項７】
前記フィルタの係数は、
前記第１の像高上の複数の像点から、ＭＴＦ（Modulation Transfer Function）データが算出され、
前記ＭＴＦデータが平均化され、
前記平均化された前記ＭＴＦデータが用いられて、所定の関数で近似され、
前記近似された前記ＭＴＦデータから算出された係数である
請求項１に記載の画像処理装置。
【請求項８】
前記フィルタの係数の算出は、ウィナーフィルタを用いる
請求項７に記載の画像処理装置。
【請求項９】
前記フィルタが設定されている像高は、前記ＭＴＦデータの変曲点である
請求項７に記載の画像処理装置。
【請求項１０】
複数の像高にそれぞれ設定されているぼけ補正を行うフィルタを取得し、
取得された前記フィルタを用いて、補正対象とされた像高における画素の画素値を補正する
ステップを含む画像処理方法。
【請求項１１】
複数の像高にそれぞれ設定されているぼけ補正を行うフィルタを取得し、
取得された前記フィルタを用いて、補正対象とされた像高における画素の画素値を補正する
ステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラム。
【請求項１２】
撮像素子と、
複数の像高にそれぞれ設定されているぼけ補正を行うフィルタを取得する取得部と、
前記取得部により取得された前記フィルタを用いて、前記撮像素子で撮像された画素のうち、補正対象とされた像高における画素の画素値を補正する補正部と
を備える撮像装置。
【請求項１３】
複数の像高にそれぞれ設定されているぼけ補正を行うフィルタを取得する取得部と、
前記取得部により取得された前記フィルタを用いて、補正対象とされた像高における画素の画素値を補正する補正部と、
前記補正部からの補正後の画素値に対して、所定の画像処理を施す画像処理部と
を備える電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、撮像装置、電子機器、並びにプログラムに関する。詳しくは、画像のぼけ補正を行う画像処理装置、画像処理方法、撮像装置、電子機器、並びにプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置において撮影される画像には、ぼけが発生する可能性がある。特に、安価なレンズを用いたカメラでは、像高（光学中心からの距離）が大きくなるほど、レンズの収差に起因した画像のぼけが大きくなる。
【０００３】
このような様々な要因に基づく画像のノイズやぼけの補正処理について開示した従来技術として、例えば、特許文献１乃至３がある。特許文献１は、撮影画像の領域単位で異なる先鋭化パラメータを用いた補正処理構成を開示している。具体的には、像高（光学中心からの距離）が大きくなるほど、先鋭化パラメータを強くして画像補正を行う構成である。
【０００４】
しかしながら、この特許文献１の処理は、像高に応じて高周波成分の強度を強める処理を施すのみであり、例えばぼけの周波数特性の変化等については考慮しておらず、適切な補正が実行されない可能性がある。
【０００５】
また、特許文献２は、レンズの固体差や製造誤差によって変化するぼけに対応するため、それぞれのレンズ特性に応じたフィルタを選択してぼけ補正処理を実行する構成を開示している。しかしながら、上述の像高依存型のぼけのように像高に応じてぼけ方が連続的に変化するぼけに対して、この補正処理を適用しようとすると、ぼけ補正用のフィルタの種類が膨大な数になる可能性がある。
【０００６】
さらに、特許文献３は、像高によって偏りの発生するぼけ方を示すいわゆる片ぼけに対して、像高毎に重心位置をずらしたフィルタを適用することで、像高に応じた適切な補正を実行する構成を開示している。具体的には、フィルタの重心位置の補正によって片ぼけに対応した補正を行うものである。しかし、重心位置の補正に主眼をおいており、補正強度の制御については示されておらず、ぼけの強い部分や弱い部分に対応した個別の処理が実行されず、適切な補正がなされない場合が発生する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２４６０８０号公報
【特許文献２】特開２００９−１５９６０３号公報
【特許文献３】特開２０１０−０８１２６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来のぼけ補正は、上記したようなことの他に、例えば、畳み込み演算によるフィルタリングに基づく画素値補正を行うものであるが、様々な補正を行うために、このフィルタリングを行うためのフィルタを多数、格納するため容量の大きなメモリを必要とするなど、小型かつ低コストの実現の妨げとなる可能性があった。
【０００９】
本技術は、このような状況に鑑みてなされたものであり、像高に応じた適切な補正を行うことができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の画像処理装置は、複数の像高にそれぞれ設定されているぼけ補正を行うフィルタを取得する取得部と、前記取得部により取得された前記フィルタを用いて、補正対象とされた像高における画素の画素値を補正する補正部とを備える。
【００１１】
前記補正部は、前記補正対象とされた像高に隣接する像高に設定されている前記フィルタを、前記補正対象とされた画素の画素値に適用し、前記補正対象とされた像高と前記隣接する像高との位置関係から係数を算出し、前記フィルタ適用後の画素値と前記係数を用いて補正後の画素値を算出するようにすることができる。
【００１２】
前記補正部は、前記補正対象とされた像高と前記隣接する像高との位置関係から係数を算出し、前記補正対象とされた像高に隣接する像高に設定されている前記フィルタと前記係数を用いて、前記補正対象とされた画素の画素値に適用するフィルタを生成し、生成された前記フィルタと前記補正対象とされた画素の画素値を用いて補正後の画素値を算出するようにすることができる。
【００１３】
前記フィルタの係数は、前記第１の像高上の複数の像点から、ＰＳＦ（Point Spread Function）データが算出され、前記ＰＳＦデータが平均化され、前記平均化された前記ＰＳＦデータが用いられて、所定の関数で近似され、前記近似された前記ＰＳＦデータから算出された係数であるようにすることができる。
【００１４】
前記フィルタの係数の算出は、ウィナーフィルタを用いるようにすることができる。
【００１５】
前記フィルタが設定されている像高は、前記ＰＳＦの形状が大きく変化するところの像高であるようにすることができる。
【００１６】
前記フィルタの係数は、前記第１の像高上の複数の像点から、ＭＴＦ（Modulation Transfer Function）データが算出され、前記ＭＴＦデータが平均化され、前記平均化された前記ＭＴＦデータが用いられて、所定の関数で近似され、前記近似された前記ＭＴＦデータから算出された係数であるようにすることができる。
【００１７】
前記フィルタの係数の算出は、ウィナーフィルタを用いるようにすることができる。
【００１８】
前記フィルタが設定されている像高は、前記ＭＴＦデータの変曲点であるようにすることができる。
【００１９】
本技術の一側面の画像処理方法は、複数の像高にそれぞれ設定されているぼけ補正を行うフィルタを取得し、取得された前記フィルタを用いて、補正対象とされた像高における画素の画素値を補正するステップを含む。
【００２０】
本技術の一側面のプログラムは、複数の像高にそれぞれ設定されているぼけ補正を行うフィルタを取得し、取得された前記フィルタを用いて、補正対象とされた像高における画素の画素値を補正するステップを含む処理を実行させる。
【００２１】
本技術の一側面の撮像装置は、撮像素子と、複数の像高にそれぞれ設定されているぼけ補正を行うフィルタを取得する取得部と、前記取得部により取得された前記フィルタを用いて、前記撮像素子で撮像された画素のうち、補正対象とされた像高における画素の画素値を補正する補正部とを備える。
【００２２】
本技術の一側面の電子機器は、複数の像高にそれぞれ設定されているぼけ補正を行うフィルタを取得する取得部と、前記取得部により取得された前記フィルタを用いて、補正対象とされた像高における画素の画素値を補正する補正部と、前記補正部からの補正後の画素値に対して、所定の画像処理を施す画像処理部とを備える。
【００２３】
本技術の一側面の画像処理装置、画像処理方法、並びにプログラムにおいては、複数の像高にそれぞれ設定されているぼけ補正を行うフィルタが取得され、取得されたフィルタが用いられて、補正対象とされた像高における画素の画素値が補正される。
【００２４】
本技術の一側面の撮影装置においては、前記画像処理装置が含まれ、画像を撮像するための撮像素子が備えられる。
【００２５】
本技術の一側面の電子機器においては、前記画像処理装置が含まれ、前記画像処理装置で処理された信号をさらに処理する処理部が備えられる。
【発明の効果】
【００２６】
本技術の一側面によれば、像高に応じた適切な補正を行うことができるようになる。
【００２７】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２８】
【図１】本技術を適用した画像処理装置の一実施の形態の構成を示す図である。
【図２】信号処理部の構成を示す図である。
【図３】レンズ収差補正フィルタ係数の一例を示す図である。
【図４】レンズ収差補正フィルタ係数の一例を示す図である。
【図５】レンズ収差補正フィルタ係数の一例を示す図である。
【図６】レンズＰＳＦデータについて説明するための図である。
【図７】コマ収差について説明するための図である。
【図８】レンズ収差補正フィルタ係数の求め方について説明するための図である。
【図９】レンズ収差補正フィルタ係数の求め方について説明するための図である。
【図１０】係数を算出する像高の選択について説明するための図である。
【図１１】係数が算出された像高の位置について説明するための図である。
【図１２】ブレンド係数について説明するための図である。
【図１３】記録媒体について説明するための図である。
【発明を実施するための形態】
【００２９】
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．画像処理装置の構成
２．信号処理部の構成
３．レンズ収差補正フィルタ係数について
４．第１のレンズ収差補正フィルタ係数の求め方
５．第２のレンズ収差補正フィルタ係数の求め方
６．レンズ収差補正フィルタ係数を算出する像高について
７．レンズ収差補正フィルタ係数の補間について
８．記録媒体について
【００３０】
＜画像処理装置の構成＞
以下に説明する本技術は、撮影画像に発生するぼけを補正する装置に適用できる。まず、撮影画像に発生するぼけの特性について説明する。
【００３１】
デジタルカメラ等の撮像装置によって撮影された画像には、レンズ特性やＣＣＤ、ＣＭＯＳ等の撮像素子の特性に応じたぼけが発生する。特に、安価なレンズを用いたカメラでは、像高（光学中心からの距離）が大きくなるほど、レンズの収差に起因した画像のぼけが大きくなる。
【００３２】
一般的に像高に応じて発生するぼけのうち、画像の中心領域は、ぼけが小さい。すなわち、光学中心に近い（像高が小さい）ほど、ぼけが小さい。一方、光学中心からの距離が大きくなるほど、すなわち像高が大きくなるほど、ぼけが大きくなる。
【００３３】
このように、カメラによる撮影画像に発生するぼけは、カメラのレンズの光学中心に近い画像領域の中心部ほど小さく、レンズの光学中心から遠い画像の周辺領域ほど大きくなる傾向がある。このようなぼけを補正することができる本技術を適用した撮像装置について説明を加える。
【００３４】
＜信号処理部の構成＞
図１は、本技術を適用した撮像装置の一実施の形態の構成を示す図である。撮像装置１００は、光学レンズ１１１、撮像素子（イメージセンサ）１１２、信号処理部１１３、制御部１１４、メモリ１１５を有する。なお、撮像装置は画像処理装置の一態様である。
【００３５】
なお、本開示の画像処理装置には、例えばパーソナルコンピュータ（ＰＣ）などの装置も含まれる。ＰＣ等の画像処理装置は、図１に示す撮像装置１００の光学レンズ１１１、撮像素子１１２を持たず、その他の構成要素から構成され、撮像装置１００の取得データの入力部、または記憶部を持つ構成となる。
【００３６】
以下では、図１に示す撮像装置１００を本開示の画像処理装置の代表例として説明する。なお、図１に示す撮像装置１００は、例えばスチルカメラ、ビデオカメラなどである。
【００３７】
図１に示す撮像装置１００の撮像素子１１２は、ＲＧＢ配列からなるベイヤ配列を持つカラーフィルタを備えた構成である。ここでは、ＲＧＢ配列からなる撮像素子１１２を利用した構成と処理について説明するが、本技術は、ＲＧＢ配列以外の例えばＲＧＢＷ配列を持つ撮像素子を利用した構成に対しても適用できる。また例えば、Ｙ（イエロー）、Ｃ（シアン）、Ｍ（マゼンタ）等の配列を持つ撮像素子を利用した構成に対しても適用できる。ここで例示した配列以外の他の色配列に対しても本技術は適用できる。
【００３８】
図１に示す撮像装置１００の撮像素子１１２は、ＲＧＢ配列１２１を持つ。すなわち、
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
これら３種類の分光特性を持つフィルタを備えた撮像素子である。
【００３９】
このＲＧＢ配列１２１を持つ撮像素子１１２は、光学レンズ１１１を介してＲＧＢいずれかの光を各画素単位で受光し、光電変換により受光信号強度に対応する電気信号を生成して出力する。この撮像素子１１２によってＲＧＢ３種類の分光から成るモザイク画像が得られる。
【００４０】
撮像素子１１２の出力信号は、信号処理部１１３の画像信号補正部１３１に入力される。
【００４１】
画像信号補正部１３１は、例えば像高（光学中心からの距離）やフォーカス位置に応じて変化するぼけ方を考慮したぼけ補正処理を実行する。この画像信号補正部１３１の構成については、図２を参照して後述する。
【００４２】
画像信号補正部１３１においてぼけ補正のなされたモザイク画像は、ＲＧＢ信号処理部１３２に出力される。画像信号補正部１３１の出力は、撮像素子１１２からの出力と同様、ベイヤ配列を持つデータである。
【００４３】
ＲＧＢ信号処理部１３２は、デモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像１１６を生成する。生成したカラー画像１１６はメモリ１１５に記録される。
【００４４】
制御部１１４は、これら一連の処理の制御を実行する。例えば、一連の処理を実行させるプログラムがメモリ１１５に格納されており、制御部１１４は、メモリ１１５から読み出したプログラムを実行して一連の処理を制御する。なお、メモリ１１５は、例えば磁気ディスク、光ディスク、フラッシュメモリ等の各種記録媒体によって構成可能である。
【００４５】
画像信号補正部１３１の詳細構成について図２を参照して説明する。画像信号補正部１３１は、図２に示すように、像高算出部２０１、ブレンド係数算出部２０２、ラインメモリ２０３、レンズ収差補正処理部２０４、エッジ検出部２０５、およびエッジ・平坦部ブレンド処理部２０６を有する。またレンズ収差補正処理部２０４は、レンズ収差補正部２２１とブレンド処理部２２２を備える。
【００４６】
撮像素子１１２から出力された各画素対応の画素値信号は一旦、ラインメモリ２０３に蓄えられる。また、各画素の画素値に対応付けられた各画素の座標位置を示すｘｙアドレスが像高算出部２０１に出力される。
【００４７】
ラインメモリ２０３は、撮像素子１１２の、例えば、水平７ライン分のラインメモリを有する。ラインメモリ２０３からは、７つの水平ライン分のデータを並列に順次出力する。出力先は、レンズ収差補正部２２１、エッジ検出部２０５、エッジ・平坦部ブレンド処理部２０６である。これらの各処理部に対して、ＲＧＢ配列１２１の撮像データが７ライン単位で出力される。
【００４８】
なお、ここでは、７ライン単位で出力されるとして説明を続けるが、後述するフィルタが、７×７画素に対するフィルタを例に挙げて説明するためであり、このフィルタが７×７画素以外に対するフィルタであれば、そのフィルタに対応するライン数が設定され、ラインメモリ２０３は、設定されているライン数分の画素値を蓄積し、出力する。
【００４９】
エッジ検出部２０５は、ラインメモリ２０３からの出力信号を検証して、画像に含まれるエッジ情報、例えばエッジ方向とエッジ強度を含むエッジ情報を生成してエッジ・平坦部ブレンド処理部２０６に出力する。具体的には、例えば、処理対象画素（７×７画素の中心画素）を中心として７×７画素の画素情報から算出される平坦度（ｗｅｉｇｈｔＦｌａｔ）を算出してエッジ・平坦部ブレンド処理部２０６に出力する。なお、この平坦度（ｗｅｉｇｈｔＦｌａｔ）算出処理は、本出願人の先の出願である特開２０１１−５５０３８号公報に記載の処理と同様の処理として実行可能である。
【００５０】
レンズ収差補正処理部２０４は、ラインメモリ２０３からの入力信号（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）を検証して、画像ぼけを補正する処理を行い、その処理結果として得られるぼけ補正信号（Ｒｄ，Ｇｄ，Ｂｄ）を算出してエッジ・平坦部ブレンド処理部２０６に出力する。
【００５１】
レンズ収差補正処理部２０４は、画像ぼけ、特に本実施の形態においては、像高に依存する画像ぼけを補正する。レンズ収差補正処理部２０４のレンズ収差補正部２２１は、各像高におけるレンズ収差補正フィルタ係数が取得する。このレンズ収差補正フィルタ係数に関しては、後述するが、像高毎に異なるレンズ収差を補正するために、例えば、ウィナーフィルタを用いて算出された係数である。
【００５２】
レンズ収差補正部２２１による補正結果は、ブレンド処理部２２２に供給される。ブレンド処理部２２２には、ブレンド係数算出部２０２からの係数αも供給される。ブレンド処理部２２２は、ブレンド係数算出部２０２からの係数αに基づき、レンズ収差補正フィルタ係数が設定されていない像高におけるレンズ収差補正後のぼけ補正信号（Ｒｄ，Ｇｄ，Ｂｄ）を生成し、エッジ・平坦部ブレンド処理部２０６に供給する。
【００５３】
エッジ・平坦部ブレンド処理部２０６は、ラインメモリ２０３からの出力信号中のＲＧＢ信号（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）、エッジ検出部２０５から出力されるエッジ情報、およびレンズ収差補正処理部２０４から出力されるぼけ補正信号（Ｒｄ，Ｇｄ，Ｂｄ）を入力する。エッジ・平坦部ブレンド処理部２０６は、これらの情報を利用して、エッジを考慮したぼけ補正のなされた出力信号ＲＧＢを生成してＲＧＢ信号処理部１３２に出力する。
【００５４】
エッジ・平坦部ブレンド処理部２０６は、エッジ検出部２０５で算出された処理対象画素のエッジ情報、すなわち、処理対象画素（７×７画素の中心画素）を中心として７×７画素の画素情報から算出される平坦度（ｗｅｉｇｈｔＦｌａｔ）に応じて、レンズ収差補正処理部２０４から出力されるぼけ補正信号（Ｒｄ，Ｇｄ，Ｂｄ）の加重平均処理を実行して、ＲＧＢ配列１２１のＲＧＢ各画素値を算出する。具体的には、以下の式に従ってＲＧＢ画素値を決定する。
【００５５】
Ｒ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｒｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｒｉｎ
Ｇ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｇｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｇｉｎ
Ｂ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｂｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｂｉｎ
【００５６】
この式の算出結果として得られるＲ、Ｇ、ＢをＲＧＢ信号処理部１３２に出力する。ＲＧＢ信号処理部１３２は、ＲＧＢ配列（ベイヤ配列）信号に対する信号処理として、エッジ・平坦部ブレンド処理部２０６から出力されるＲＧＢ配列（ベイヤ配列）信号に対する信号処理を実行してカラー画像１１６（図１）を生成する。ＲＧＢ信号処理部１３２は、例えば、ホワイトバランス調整処理、デモザイク処理、シェーディング処理、ＲＧＢカラーマトリクス処理、γ補正処理などを実行してカラー画像１１６を生成する。
【００５７】
＜レンズ収差補正フィルタ係数について＞
レンズ収差補正部２２１に供給される所定の像高におけるレンズ収差補正フィルタ係数について説明を加える。
【００５８】
レンズ収差補正フィルタ係数は、例えば、ウィナー（Ｗｉｅｎｅｒ）フィルタが用いられて算出される。ここで、ウィナーフィルタについて簡単に説明する。
（１）ぼけのない理想画像（原画像）、
（２）ぼけのある撮影画像、
（３）撮影画像に対するフィルタの適用処理によって復元される復元画像、
これらの３つの画像を想定する。
【００５９】
ここで、
（１）ぼけのない理想画像（原画像）と、
（３）撮影画像に対するフィルタの適用処理によって復元される復元画像、
これらの２つの画像の二乗誤差を最小とするフィルタが、最小二乗フィルタ、またはウィナーフィルタと呼ばれる。
【００６０】
ｆ（ｘ，ｙ）を、ぼけのない理想画像（原画像）、
ｇ（ｘ，ｙ）を、ぼけを含む撮影画像、
ｈ（ｘ，ｙ）を、レンズ収差や手ぶれによる劣化関数、
ｎ（ｘ，ｙ）を、ノイズ成分、
とする。
（ｘ，ｙ）は各画像の画素位置であり、ｆ（ｘ，ｙ）〜ｎ（ｘ，ｙ）は各画像の座標位置（ｘ，ｙ）の画素値を示す場合もある。ここで、レンズ収差や手ぶれによる劣化関数ｈ（ｘ，ｙ）が、固定値であると仮定すると、以下の式（１）の関係が成り立つ。
【００６１】
【数１】
2015216576.tif 000003
【００６２】
上記式（１）の両辺をフーリエ変換すると、次式（２）となる。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）×Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）  ・・・（２）
【００６３】
式（２）において、Ｇ（ｕ，ｖ），Ｈ（ｕ，ｖ），Ｆ（ｕ，ｖ），Ｎ（ｕ，ｖ）はそれぞれｇ（ｘ，ｙ），ｈ（ｘ，ｙ），ｆ（ｘ，ｙ），ｎ（ｘ，ｙ）のフーリエ変換を表す。この式からレンズ収差や手ぶれによる劣化関数に零点がなく、ノイズ成分が既知であるとき、Ｆ（ｕ，ｖ）は、次式（３）から求めることが可能である。
【００６４】
【数２】
2015216576.tif 000004
【００６５】
しかしながら、一般にノイズ成分は未知であるため、上記式（３）を厳密に解くことはできない。そこで、理想画像（Ｆ）と、ぼけの補正された復元画像（Ｆ'）の誤差を最小とする次式（４）のウィナーフィルタＫ（ｕ，ｖ）を用いてぼけ補正が行われる。
【００６６】
【数３】
2015216576.tif 000005
【００６７】
ただし、上記式（４）において、
（Ｓｎ（ｕ，ｖ）／Ｓｆ（ｕ，ｖ））：理想画像（原画像）Ｆと、ノイズＮとのパワースペクトル密度（Γ）を示す。
（Γ＝Ｓｎ（ｕ，ｖ）／Ｓｆ（ｕ，ｖ））
【００６８】
次式（５）のとおり、このフィルタを逆フーリエ変換したものｋ（ｘ，ｙ）と、観測画像を実空間で畳み込むことで、ぼけ補正のされた画像ｆ'（ｘ，ｙ）を得ることができる。
【００６９】
【数４】
2015216576.tif 000006
【００７０】
上記式（５）に従ったウィナーフィルタによるぼけ補正処理の一例を図３に示す。図３には、
（ａ）撮影画像Ｇ
（ｂ）ウィナーフィルタＫ
を示している。
【００７１】
撮影画像は、ＲＧＢ画素からなるＲＡＷ画像である。補正対象画素は、図３の左側に示した７×７画素の中心のＧ画素である。図３の右側に示したウィナーフィルタＫは、７×７画素に含まれる複数のＧ画素各々に対する乗算係数を示したものである。７×７画素に含まれるＧ画素の画素値に各係数を乗算して加算する畳み込み演算を実行して、中心のＧ画素の補正画素値を算出する。
【００７２】
式で表すと、次式（６）となる。
【数５】
2015216576.tif 000007
【００７３】
同様に、Ｒ画素についても処理される。図４は、Ｒ画素を処理するときの画像とフィルタの一例を示している。補正対象画素は、図４の左側に示した７×７画素の中心のＲ画素である。図４の右側に示したウィナーフィルタＫは、７×７画素に含まれる複数のＲ画素各々に対する乗算係数を示したものである。７×７画素に含まれるＲ画素の画素値に各係数を乗算して加算する畳み込み演算を実行して、中心のＲ画素の補正画素値を算出する。
【００７４】
式で表すと、次式（７）となる。
【数６】
2015216576.tif 000008
【００７５】
同様に、Ｂ画素についても処理される。図５は、Ｒ画素を処理するときの画像とフィルタの一例を示している。補正対象画素は、図５の左側に示した７×７画素の中心のＢ画素である。図５の右側に示したウィナーフィルタＫは、７×７画素に含まれる複数のＢ画素各々に対する乗算係数を示したものである。７×７画素に含まれるＢ画素の画素値に各係数を乗算して加算する畳み込み演算を実行して、中心のＢ画素の補正画素値を算出する。
【００７６】
式で表すと、次式（８）となる。
【数７】
2015216576.tif 000009
【００７７】
このようなレンズ収差補正フィルタ係数を生成するには、レンズＰＳＦ（Point Spread Function）データが必要となる。ＰＳＦ（点拡がり関数）は、光学系の点光源に対する応答を表す関数である。図６に、レンズＰＳＦデータの一例を示す。図６の左側に示した図は、像点の位置を表す図であり、右側のグラフは、各像点から得られるＰＳＦデータ値を表す。
【００７８】
図６の左側の図には、イメージセンサ（撮像素子１１２（図２））の有効領域３０１内に存在する１つの像高３０２を示す。また図６中、横方向をＸ軸、縦方向をＹ軸とする。像高３０２とＹ軸の交点を、像点Ａ、像点Ｃとし、像高３０２とＸ軸との交点を、像点Ｂ、像点Ｄとする。
【００７９】
図６の右側には、各像点Ａ乃至Ｄから得られるグラフをそれぞれ表している。また各像点Ａ乃至Ｄにおいて、サジタル（sagittal）方向とタンジェンシャル（tangential）方向でそれぞれ得られたグラフを表している。
【００８０】
例えば、像点Ａのサジタル方向から得られたグラフとタンジェンシャル方向から得られたグラフを比較した場合、同じ像点Ａから得られるグラフであっても、その形は異なることがわかる。このことから、レンズＰＳＦは、異方性があり、例えば、サジタル方向とタンジェンシャル方向でぼけ具合が異なることがわかる。
【００８１】
また、像点Ａのサジタル方向から得られたグラフ、像点Ｂのサジタル方向から得られたグラフ、像点Ｃのサジタル方向から得られたグラフ、像点Ｄのサジタル方向から得られたグラフをそれぞれ比較した場合、同じサジタル方向から得られるグラフであっても、その形は異なることがわかる。このことから、レンズＰＳＦは、同じ像高であっても、レンズ内の位置によりぼけ具合が異なることがわかる。このことは、タンジェンシャル方向においても同じである。
【００８２】
このように、同一レンズ内でもぼけ具合が異なる。ぼけ具合が異なる要因としては、例えば、製造時のばらつきなどがある。よって、同一工程で作られたレンズであっても、ぼけ具合は異なる可能性がある。
【００８３】
例えば、図７に示すような軸外でコマ収差を補正する場合、角度に応じて非等方のレンズ収差補正フィルタ係数を複数保持する必要がある。
【００８４】
仮に、像高毎に、サジタル方向やタンジェンシャル方向などの方向毎に、角度毎に、レンズ収差補正フィルタ係数を保持するように構成した場合、保持すべきレンズ収差補正フィルタ係数の数が多くなり、それを保持するためのメモリの容量が大きくなってしまう可能性が高い。
【００８５】
保持すべきレンズ収差補正フィルタ係数の数を効果的に削減する構成について説明を続ける。ここでは、レンズＰＳＦを、ガウス関数やベッセル関数等を用いて近似することにより、レンズ収差補正フィルタ係数の数を減らし、メモリを削減し、その結果として、回路規模を削減することができる場合について説明する。
【００８６】
＜第１のレンズ収差補正フィルタ係数の求め方＞
図８を参照し、ガウス関数を用いて、レンズ収差補正フィルタ係数を算出する工程について説明する。工程Ｓ１において、所定の像点において、レンズＰＳＦデータが取得される。ここでは、図６を参照して説明したように、レンズの像高３０２上にあるＸ軸、Ｙ軸上の４箇所の像点Ａ、像点Ｂ、像点Ｃ、および像点Ｄから、それぞれサジタル方向とタンジェンシャル方向におけるＰＳＦデータが取得されるとして説明を続ける。
【００８７】
この場合、光学レンズ１１１の端における同一像高上に位置する４個の像点から、この像高におけるレンズ収差補正フィルタ係数を求める場合を例に挙げて説明する。
【００８８】
図８の工程Ｓ１に示したように、ここでは、８個のＰＳＦデータが取得される。なお、このＰＳＦデータを取得する像点（像高）の決め方については、後述する。
【００８９】
工程Ｓ２において、得られたＰＳＦデータの全てを用いて、平均化が行われる。この場合、８個のＰＳＦデータの平均が求められる。
【００９０】
工程Ｓ３において、平均化されたＰＳＦデータと１種類のガウス関数を用いて、近似が行われる。ガウス関数の近似係数は、平均化を行ったＰＳＦデータとガウス関数との最小二乗法を解くことにより求められる。
【００９１】
このような演算が行われた結果、工程Ｓ４において、等方的なＰＳＦデータに近似されたＰＳＦデータが求められる。
【００９２】
工程Ｓ５において、等方的なＰＳＦデータに近似されたＰＳＦデータから、ウィナーフィルタを解くことによりレンズ収差補正フィルタ係数が求められる。
【００９３】
ここでは、１種類の関数を用いた近似例を示したが、ベッセル関数による近似も可能である。また、関数を組み合わせた結果が等方的になる限りは、複数の関数を組み合わせることによって、レンズＰＳＦデータの近似精度を向上させるように構成することも可能であり、レンズＰＳＦデータの近似精度を向上させることで、レンズ収差補正性能を向上させることも可能となる。
【００９４】
＜第２のレンズ収差補正フィルタ係数の求め方＞
次に、図９を参照し、ガウス関数を用いて、レンズ収差補正フィルタ係数を算出する他の工程について説明する。工程Ｓ１１において、所定の像点において、ＭＴＦ（Modulation Transfer Function）データが取得される。ＭＴＦデータは、レンズ性能を評価する指標のひとつで、被写体の持つコントラストをどの程度忠実に再現できるかを周波数特性によって表したデータである。
【００９５】
ＭＴＦデータのグラフは、図９の工程Ｓ１１のところに示すように、横軸が空間周波数、縦軸がレンズによって結像される画像のＭＴＦデータとされたグラフである。なお、ＭＴＦデータのグラフは、コントラスト再現率（%）、横軸に画面中心からの距離（mm）をとったグラフとされることもある。
【００９６】
図９の工程Ｓ１１のところに示したグラフも、図６を参照して説明したように、レンズの像高３０２上であり、Ｘ軸、Ｙ軸上の４箇所の像点Ａ、像点Ｂ、像点Ｃ、および像点Ｄから、それぞれサジタル方向とタンジェンシャル方向におけるＭＴＦデータが取得されるとして説明を続ける。
【００９７】
ＭＴＦデータも、ＰＳＦデータと同じく、同一の像点において異方性があるため、方向により異なり、異なる像点においても異なる。よって、ＭＴＦデータも、ＰＳＦデータと同じく同一の像点において、複数の方向でのＭＴＦデータを取得し、同一レンズ内でも、異なる像点から、それぞれＭＴＦデータが取得される。
【００９８】
図９の工程Ｓ１１に示したように、ここでは、８個のＭＴＦデータが取得されるとして説明を続ける。なお、このＭＴＦデータを取得する像点の決め方については、後述する。
【００９９】
工程Ｓ１２において、得られたＭＴＦデータの全てを用いて、平均化が行われる。この場合、８個のＭＴＦデータの平均が求められる。
【０１００】
工程Ｓ１３において、平均化されたＭＴＦデータと１種類のガウス関数を用いて、近似が行われる。ガウス関数の近似係数は、平均化を行ったＭＴＦデータとガウス関数との最小二乗法を解くことにより求められる。
【０１０１】
このような演算が行われた結果、工程Ｓ１４において、等方的なＭＴＦデータに近似されたＭＴＦデータが求められる。
【０１０２】
工程Ｓ１５において、等方的なＭＴＦデータに近似されたＭＴＦデータから、ウィナーフィルタを解くことによりレンズ収差補正フィルタ係数が求められる。
【０１０３】
ここでは、１種類の関数を用いた近似例を示したが、ベッセル関数による近似も可能である。また、関数を組み合わせた結果が等方的になる限りは、複数の関数を組み合わせることによって、ＭＴＦデータの近似精度を向上させるように構成することも可能であり、ＭＴＦデータの近似精度を向上させることで、レンズ収差補正性能を向上させることも可能となる。
【０１０４】
このように、レンズ上の複数の像点から、また１つの像点の異なる角度から、それぞれ求められるＰＳＦデータやＭＴＦデータが平均化され、その平均化されたデータが用いられて、レンズ内の所定の像高におけるＰＳＦデータやＭＴＦデータの近似値が得られる。そして得られた近似値とウィナーフィルタが用いられて、レンズ収差補正フィルタ係数が算出される。
【０１０５】
所定の像高から算出されたレンズ収差補正フィルタ係数と、その所定の像高におけるレンズ収差補正フィルタ係数を用いた演算については、図３乃至５を参照して説明したので、ここではその説明を省略する。
【０１０６】
＜レンズ収差補正フィルタ係数を算出する像高について＞
上記したように、所定の像高において、その像高に位置する画素に対して適用するレンズ収差補正フィルタ係数が算出される。１つのレンズに対して、複数の像高が選択され、それぞれの像高において、レンズ収差補正フィルタ係数が算出される。
【０１０７】
１つのレンズから選択される像高の個数を増やす、換言すれば、選択される像高の間隔を狭めることで、レンズ収差補正フィルタ係数を用いた細かなぼけ補正を行える可能性は高くなると思われるが、保持すべきレンズ収差補正フィルタ係数が多くなり、多くのメモリの容量が必要となる可能性が高くなる。
【０１０８】
しかしながら、図１１、図１２を参照して後述するように、レンズ収差補正フィルタ係数が設定されていない像高の画素に対しては、補間により補正ができるため、また、図１０を参照して説明するような方法で、レンズ収差補正フィルタ係数を算出する像高を決定するため、選択される像高の間隔を、ある程度広くとることが可能である。
【０１０９】
選択される像高の間隔は、等間隔とすることが可能であり、また、その間隔は、レンズによらず一定としても良い。しかしながら、ここでは、等間隔ではなく、図１０を参照して説明するように、特徴がある像高を検出することで、効果的にレンズ収差フィルタ係数の数を削減することができ、その検出された像高のレンズ収差補正フィルタ係数を算出する場合を例に挙げて説明する。
【０１１０】
図１０は、ＭＴＦデータのグラフを示す図であり、図１０に示したＭＴＦデータのグラフの縦軸は、ＭＴＦデータを表し、横軸は、像高を表す。図１０に示したグラフを参照するに、ＭＴＦデータは、像高により変化し、一定値ではない。
【０１１１】
図１０に示したように、ＭＴＦデータは、像高により変化する可能性がある。そこで、変化が激しい像高を、レンズ収差補正フィルタ係数を算出する像高として選択するようにする。
【０１１２】
図１０においては、像高０は、レンズの中心位置なので、選択される。像高２は、ＭＴＦデータが落ち込む像高であるため、選択される。像高１は、像高０と像高２の間隔が離れているため、その略中央の像高として選択される。
【０１１３】
像高３は、像高２で一旦下がったＭＴＦデータが再度上がり、そして再度下がる転換点なので、選択される。像高４は、レンズの端であるため、選択される。例えば、図６の像点Ａ乃至Ｄは、像高４の位置にある像点であり、像高４に該当するレンズ上の複数箇所から、ＭＴＦデータが取得され、上記したような処理によりレンズ収差補正フィルタ係数が算出される。
【０１１４】
なお図１０では、ＭＴＦデータとしたが、ＰＳＦデータであっても良い。ＰＳＦデータの場合も同様に、ＰＳＦの形状が大きく変化するところの像高が選択されればよい。
【０１１５】
このように、レンズ収差補正フィルタ係数を算出する像高は、ＭＴＦデータの変化が激しい変曲点が選択される。また、レンズ中心や端なども、レンズ内では特徴的な位置であるため、その位置の像高も、レンズ収差補正フィルタ係数を算出する像高として選択される。
【０１１６】
また、このような処理により選択された像高の個数が少ない場合や、選択された像高の間隔が広い場合、適切な間隔になるように追加の像高が選択されるようにすれば良い。
【０１１７】
このようにして選択された像高から、複数の像点が選択され、選択された像点からＭＴＦデータまたはＰＳＦデータが取得されることで、レンズ収差補正フィルタ係数が算出される。
【０１１８】
ＭＴＦデータのグラフやＰＳＦデータのグラフは、レンズにより異なる可能性がある。よって、レンズ毎に、データが取得され、像高が選択され、レンズ収差補正フィルタ係数が算出されるようにすることで、レンズ毎に異なる特性に対応したレンズ収差補正フィルタ係数を算出できるようになり、ぼけ補正をより精度良く行えるようになる。
【０１１９】
このようにして算出されるレンズ収差補正フィルタ係数は、例えば、レンズが製造される製造時に算出され、レンズと関連付けられて保持される。例えば、撮像装置１００(図１)の本体と着脱自在のレンズ（光学レンズ１１１）の場合、光学レンズ１１１の筐体部分にメモリなどの保持機能が備えられ、その保持機能によりレンズ収差補正フィルタ係数が保持される。
【０１２０】
この場合、図２に示したように、レンズ収差補正フィルタ係数は、信号処理部１１３と異なる外部の光学レンズ１１１側から供給される。
【０１２１】
光学レンズ１１１と撮像装置１００が一体型の場合、レンズ収差補正部２２１(図２)にレンズ収差補正フィルタ係数が保持されるように構成しても良い。
【０１２２】
または、光学レンズ１１１の製造時に算出されるのではなく、ユーザにより、撮像装置１００が使用されているときに、レンズ収差補正フィルタ係数が算出されるような構成としても良い。
【０１２３】
例えば、ユーザにより、撮像装置１００でテストパターンなどが撮影され、その撮影された画像から、ＰＳＦデータまたはＭＴＦデータが取得され、上記したような方法により、レンズ収差補正フィルタ係数が算出されるように構成することも可能である。
【０１２４】
このように、使用時に、レンズ収差補正フィルタ係数が算出されるようにした場合、使用環境の変化や経年変化などに対応して、レンズ収差補正フィルタ係数を適切に更新することが可能となる。また、光学レンズ１１１が交換可能な撮像装置である場合、光学レンズ１１１が交換されたときなどに、レンズ収差補正フィルタ係数を算出するための処理が実行され、保持されるように構成することも可能である。
【０１２５】
または、光学レンズ１１１の製造時に、レンズ収差補正フィルタ係数を算出し、ＩＰアドレスと関連付けて、光学レンズ１１１を製造した側で管理しておく。ＩＰｖ６（Internet Protocol Version 6）の技術を用いれば、光学レンズ１１１にＩＰアドレスを割り振ることが可能である。またＩＰアドレスでなくても、光学レンズ１１１を一意に識別できる、例えば製造番号などでも良い。
【０１２６】
このような構成とされた場合、一例として、光学レンズ１１１が、撮像装置１００に装着され、撮像装置１００がネットワークに接続されたときに、ＩＰアドレスや製造番号などと関連付けられているレンズ収差補正フィルタ係数がダウンロードされ、撮像装置１００側で保持することが可能となる構成とすることができる。
【０１２７】
このように、レンズ収差補正フィルタ係数は、光学レンズ１１１毎に算出され、撮像装置１００のレンズ収差補正部２２１に供給または保持される。
【０１２８】
＜レンズ収差補正フィルタ係数の補間について＞
次に、複数の像高にそれぞれ対応するレンズ収差補正フィルタ係数を用いて、ぼけの補正を行う場合の処理について、図１１と図１２を参照して説明する。
【０１２９】
図１１は、レンズ収差補正フィルタ係数を算出するとして選択された像高の位置について説明するための図である。図１１に示した例では、５箇所の像高が選択された例を示している。この５箇所は、図１０に示した像高０乃至４に相当する。図１１の下側に、ＭＴＦデータのグラフを示したが、このグラフは、図１０に示したグラフと同じである。
【０１３０】
図１０に示したグラフにおける像高０は、図１１に示したグラフにおいては、像高ｉｈ０と示している。同じく、像高１は、像高ｉｈ１、像高２は、像高ｉｈ２、像高３は、像高ｉｈ３、像高４は、像高ｉｈ４である。
【０１３１】
図１１に示した例では、像高ｉｈ４は、光学レンズ１１１のイメージサークル３０３上に位置している。像高ｉｈ０乃至４の各像高に対するレンズ収差補正フィルタ係数は、それぞれ算出され、保持されている。
【０１３２】
このような像高と、レンズ収差補正フィルタ係数が設定されている場合、光学レンズ１１１の座標（ｘ、ｙ）におけるぼけ補正は、次式（９）に基づいて行われる。補正対象とされる座標（ｘ、ｙ）に位置する画素の像高には、レンズ補正フィルタ係数は設定されていないために、以下の式（９）に基づいて座標（ｘ、ｙ）に位置する画素の画素値が算出される。
【０１３３】
【数８】
2015216576.tif 000010
【０１３４】
式(９)において、deblur_r(x,y)は、座標（ｘ、ｙ）における補正後の画素値を表す。αは、ブレンド係数を表す。ｉｈｎは像高位置を示し、例えば、図１１における像高ｉｈ０乃至４である。
【０１３５】
deblur_ihnは、座標（ｘ，ｙ）よりもレンズの中心に近い側で隣接するレンズ補正フィルタ係数が設定されている像高ｉｈnであり、その像高ｉｈnに設定されているレンズ補正フィルタ係数Filter ihn(i,j)を、座標（ｘ，ｙ）に位置する画素の画素値Ｐｒ（ｉ,ｊ）に適用して算出された画素値を表す。
【０１３６】
deblur_ihn+1は、座標（ｘ，ｙ）よりもレンズの中心よりも遠い側で隣接するレンズ補正フィルタ係数が設定されている像高ｉｈn+1であり、その像高ｉｈn+1に設定されているレンズ補正フィルタ係数Filter ihn+1(i,j)を、座標（ｘ，ｙ）に位置する画素の画素値Ｐｒ（ｉ,ｊ）に適用して算出された画素値を表す。
【０１３７】
ブレンド係数αは、図１１の上図において、α１０、α２１、α３２、α４３と記載してある。すなわち、像高ｉｈ０と像高ｉｈ１との間の像高のときには、ブレンド係数α１０が用いられ、像高ｉｈ１と像高ｉｈ２との間の像高のときには、ブレンド係数α２１が用いられ、像高ｉｈ２と像高ｉｈ３との間の像高のときには、ブレンド係数α３２が用いられ、像高ｉｈ３と像高ｉｈ４との間の像高のときには、ブレンド係数α４３が用いられる。
【０１３８】
ブレンド係数αは、レンズ収差補正フィルタ係数が設定されている隣接する像高間で、同一の値が用いられるのではなく、図１２に示したように、像高に応じて算出される。補正対象の画素の位置が、光学レンズ１１１の中心からの距離ｒであり、この距離ｒが、像高ｉｈ０以上であり、像高ｉｈ１よりも小さい場合、ブレンド係数α１０が算出される。このブレンド係数α１０は、距離ｒから、像高ｉｈ０を減算した値を、像高ｉｈ１から像高ｉｈ０を減算した値で除算した値とされる。
【０１３９】
補正対象の画素の位置が、像高ｉｈ１以上であり、像高ｉｈ２よりも小さい場合、ブレンド係数α２１が算出される。このブレンド係数α２１は、距離ｒから、像高ｉｈ１を減算した値を、像高ｉｈ２から像高ｉｈ１を減算した値で除算した値とされる。
【０１４０】
補正対象の画素の位置が、像高ｉｈ２以上であり、像高ｉｈ３よりも小さい場合、ブレンド係数α３２が算出される。このブレンド係数α３２は、距離ｒから、像高ｉｈ２を減算した値を、像高ｉｈ３から像高ｉｈ２を減算した値で除算した値とされる。
【０１４１】
補正対象の画素の位置が、像高ｉｈ３以上であり、像高ｉｈ４以下の場合、ブレンド係数α４３が算出される。このブレンド係数α４３は、距離ｒから、像高ｉｈ３を減算した値を、像高ｉｈ４から像高ｉｈ３を減算した値で除算した値とされる。
【０１４２】
このように、ブレンド係数αは、補正対象の画素の位置により、その位置に隣接する２つのレンズ収差補正フィルタ係数が設定されている像高を用いて算出される値とされる。すなわち、ブレンド係数αは、図１２に示したように、光学レンズ１１１の中心からの距離r(x,y)に応じて線形的に計算が行われることにより算出される値とされる。
【０１４３】
式（９）を参照するに、光学レンズ１１１の中心からの距離ｒ（ｘ、ｙ）の補正後の画素値deblur_r(x,y)は、その距離ｒの位置に前後するレンズ収差補正フィルタ係数が設定されている像高ｉｈｎと像高ｉｈｎ＋１に、それぞれ設定されているレンズ補正フィルタ係数が、補正対象とされている画素値Ｐｒに対して適用され、そのフィルタ適用後の画素値deblur_ihnと画素値deblur_ihn＋１が用いられて算出される。
【０１４４】
式(９)に示したように、補正対象とされている画素の像高に隣接する像高に、設定されているレンズ補正フィルタ係数を、補正対象とされている画素の画素値に適用して算出された補正後の画素値を、レンズ収差補正フィルタ係数が設定されていない画素の像高位置に応じてブレンドすることによってレンズ収差補正が行われる。
【０１４５】
ここで、図２を再度参照する。像高算出部２０１には、撮像素子１１２から、各画素の画素値に対応付けられた各画素の座標位置を示すｘｙアドレスが供給される。像高算出部２０１は、供給されたｘｙアドレスから、上記した光学レンズ１１１の中心からの距離ｒ（ｘ、ｙ）、すなわち像高を導き出す。
【０１４６】
ブレンド係数算出部２０２は、像高算出部２０１により算出された像高に応じたブレンド係数αを、図１２を参照して説明したように、光学レンズ１１１の中心からの距離r(x,y)に応じた線形的な演算により算出する。算出されたブレンド係数αは、レンズ収差補正処理部２０４のブレンド処理部２２２に供給される。
【０１４７】
このようなブレンド係数αの算出に関わる処理が行われている一方で、レンズ収差補正処理部２０４のレンズ収差補正部２２１は、供給されるレンズ収差補正フィルタ係数を取得し、その取得されたレンズ収差補正フィルタ係数を用いて、処理対象とされている画素値のぼけ補正を行う。レンズ収差補正部２２１は、式（９）における画素値deblur ihｎと画素値deblur ihｎ+1を算出する。
【０１４８】
レンズ収差補正部２２１は、図３乃至５を用いて説明したように、７×７画素に含まれる画素の画素値に、レンズ収差補正フィルタ係数の各係数を乗算して加算する畳み込み演算を実行して、中心の画素の補正画素値を算出する。
【０１４９】
ブレンド処理部２２２は、レンズ収差補正部２２１から供給される２つの補正後の画素値と、ブレンド係数算出部２０２から供給されるブレンド係数αを用いて、式(９)に基づく演算を行い、最終的なレンズ収差補正後の画素値を算出し、エッジ・平坦部ブレンド処理部２０６に出力する。
【０１５０】
このように、像高に応じたぼけ補正が行われる。
【０１５１】
ここでは、レンズ収差補正部２２１によりレンズ収差の補正が行われた後、その補正後の画素値を用いたブレンド処理が行われ、補正対象とされた画素に対する最終的なレンズ収差補正後画素値が算出される例を示した。
【０１５２】
他の構成として、各像高位置で設定されているレンズ補正フィルタ係数を、ブレンド係数αを用いてブレンドし、ブレンド後のレンズ補正フィルタ係数を算出し、そのブレンド後のレンズ補正フィルタ係数を用いたフィルタ処理を行うことで、像高依存に対応したレンズ収差補正が行われるようにしても良い。
【０１５３】
この場合、次式（１０）に基づく演算で、補正が行われる。
【数９】
2015216576.tif 000011
【０１５４】
式（１０）において、Filter blend(i,j)は、補正対象とされている画素に対して適用するレンズ補正フィルタ係数を表す。Filter ihnは、像高ihnに設定されているレンズ補正フィルタ係数を表し、Filter ihn+1は、像高ihn+1に設定されているレンズ補正フィルタ係数を表す。像高ihnと像高ihn+1は、補正対象とされている画素の像高に隣接する像高である。
【０１５５】
式（１０）に示したように、補正対象とされている画素の像高に隣接する像高に設定されている２つのレンズ補正フィルタ係数をブレンドすることで、補正対象とされている画素に適用するレンズ補正フィルタ係数が算出される。このブレンドに用いられるブレンド係数αは、図１２を参照して説明したようにして算出される係数であり、上記した場合と同様にして算出され、用いられる。
【０１５６】
deblur r(x,y)は、補正対象とされている画素の補正後の画素値を表す。補正対象とされている画素の画素値に、ブレンド後のレンズ補正フィルタ係数Filter blend(i,j)が用いられることで算出される。
【０１５７】
このように、レンズ補正フィルタ係数をブレンドした後、補正対象とされている画素値に対して適用するようにした場合、図２に示した信号処理部１１３のレンズ収差補正処理部２０４内の構成は、ブレンド処理部２２２においてフィルタ係数のブレンドが行われた後、レンズ収差補正部２２１による補正が行われる構成とされる。
【０１５８】
本技術によれば、レンズのＭＴＦ特性に最適化されたレンズ収差補正処理が可能となる。また大規模なシステムを用いることなく、像高依存に対応したレンズ収差補正が可能となる。その結果、大規模なシステムを用いることができないイメージセンサ(撮像素子)内で像高依存に対応したレンズ収差補正が可能となる。
【０１５９】
また像高依存のＭＴＦ曲線の変曲点から像高を選択することで、少ない像高点数でも精度の高いレンズ収差補正が可能となり、レンズ補正フィルタ係数を保持するメモリの容量の削減などによる小規模な回路で実現可能となる。
【０１６０】
ＰＳＦデータを関数で近似することにより、回路の小規模化が可能となり、製造バラつきの影響を抑えたレンズ収差補正フィルタ係数の作成が可能となる。
【０１６１】
＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１６２】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、およびドライブ１１１０が接続されている。
【０１６３】
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１１１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１１１１を駆動する。
【０１６４】
以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５およびバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１６５】
コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１６６】
コンピュータでは、プログラムは、リムーバブルメディア１１１１をドライブ１１１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１６７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１６８】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１６９】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０１７０】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１７１】
なお、本技術は以下のような構成も取ることができる。
【０１７２】
（１）
複数の像高にそれぞれ設定されているぼけ補正を行うフィルタを取得する取得部と、
前記取得部により取得された前記フィルタを用いて、補正対象とされた像高における画素の画素値を補正する補正部と
を備える画像処理装置。
（２）
前記補正部は、
前記補正対象とされた像高に隣接する像高に設定されている前記フィルタを、前記補正対象とされた画素の画素値に適用し、
前記補正対象とされた像高と前記隣接する像高との位置関係から係数を算出し、
前記フィルタ適用後の画素値と前記係数を用いて補正後の画素値を算出する
前記（１)に記載の画像処理装置。
（３）
前記補正部は、
前記補正対象とされた像高と前記隣接する像高との位置関係から係数を算出し、
前記補正対象とされた像高に隣接する像高に設定されている前記フィルタと前記係数を用いて、前記補正対象とされた画素の画素値に適用するフィルタを生成し、
生成された前記フィルタと前記補正対象とされた画素の画素値を用いて補正後の画素値を算出する
前記（１)に記載の画像処理装置。
（４）
前記フィルタの係数は、
前記第１の像高上の複数の像点から、ＰＳＦ（Point Spread Function）データが算出され、
前記ＰＳＦデータが平均化され、
前記平均化された前記ＰＳＦデータが用いられて、所定の関数で近似され、
前記近似された前記ＰＳＦデータから算出された係数である
前記（１)乃至（３）のいずれかに記載の画像処理装置。
（５）
前記フィルタの係数の算出は、ウィナーフィルタを用いる
前記（４)に記載の画像処理装置。
（６）
前記フィルタが設定されている像高は、前記ＰＳＦの形状が大きく変化するところの像高である
前記（４)または（５）に記載の画像処理装置。
（７）
前記フィルタの係数は、
前記第１の像高上の複数の像点から、ＭＴＦ（Modulation Transfer Function）データが算出され、
前記ＭＴＦデータが平均化され、
前記平均化された前記ＭＴＦデータが用いられて、所定の関数で近似され、
前記近似された前記ＭＴＦデータから算出された係数である
前記（１)乃至（３）のいずれかに記載の画像処理装置。
（８）
前記フィルタの係数の算出は、ウィナーフィルタを用いる
前記（７)に記載の画像処理装置。
（９）
前記フィルタが設定されている像高は、前記ＭＴＦデータの変曲点である
前記（７)または（８）に記載の画像処理装置。
（１０）
複数の像高にそれぞれ設定されているぼけ補正を行うフィルタを取得し、
取得された前記フィルタを用いて、補正対象とされた像高における画素の画素値を補正する
ステップを含む画像処理方法。
（１１）
複数の像高にそれぞれ設定されているぼけ補正を行うフィルタを取得し、
取得された前記フィルタを用いて、補正対象とされた像高における画素の画素値を補正する
ステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラム。
（１２）
撮像素子と、
複数の像高にそれぞれ設定されているぼけ補正を行うフィルタを取得する取得部と、
前記取得部により取得された前記フィルタを用いて、前記撮像素子で撮像された画素のうち、補正対象とされた像高における画素の画素値を補正する補正部と
を備える撮像装置。
（１３）
複数の像高にそれぞれ設定されているぼけ補正を行うフィルタを取得する取得部と、
前記取得部により取得された前記フィルタを用いて、補正対象とされた像高における画素の画素値を補正する補正部と、
前記補正部からの補正後の画素値に対して、所定の画像処理を施す画像処理部と
を備える電子機器。
【符号の説明】
【０１７３】
１００  撮像装置，  １１１  光学レンズ，  １１２  撮像素子，  １１３  信号処理部，  １３１  画像信号補正部，  １３２  ＲＧＢ信号処理部，  ２０１  像高算出部，  ２０２  ブレンド係数算出部，  ２０３  ラインメモリ，  ２０４  レンズ収差補正処理部，  ２０５  エッジ検出部，  ２０６  エッジ・平坦部ブレンド処理部
【図１】
2015216576.tif 000012
【図２】
2015216576.tif 000013
【図３】
2015216576.tif 000014
【図４】
2015216576.tif 000015
【図５】
2015216576.tif 000016
【図６】
2015216576.tif 000017
【図７】
2015216576.tif 000018
【図８】
2015216576.tif 000019
【図９】
2015216576.tif 000020
【図１０】
2015216576.tif 000021
【図１１】
2015216576.tif 000022
【図１２】
2015216576.tif 000023
【図１３】
2015216576.tif 000024