(57)【要約】【課題】単板イメージセンサにより取得される各色の情報から、本来の解像度を有効に活用して、解像度が劣化しないボケ復元を実現する画像処理装置、画像処理方法、及び、プログラムを提供すること。【解決手段】単板イメージセンサから入力される入力画像データに対し、レンズの所定の光学ボケを再現させてボケ再現画像データを出力するボケ再現部と、ボケ再現部から出力されるボケ再現画像データと入力画像データとの二乗誤差が小さくなる補正によりボケ再現画像を補正したボケ補正画像データを出力するボケ補正部と、ボケ補正画像データの複数の色コンポーネントのそれぞれの画素値による曲面形状が、色コンポーネント間で同一になるように、色コンポーネント毎の曲面形状を変更することにより、ボケ補正画像データを更新する曲面フィッティング部と、を有する画像処理装置。【選択図】図１
2010087614.tif 000002
【特許請求の範囲】
【請求項１】
単板イメージセンサから入力される入力画像データに対し、レンズの所定のボケを再現させてボケ再現画像データを出力するボケ再現部と、
前記ボケ再現部から出力されるボケ再現画像データと前記入力画像データとの二乗誤差が小さくなる補正により前記ボケ再現画像を補正したボケ補正画像データを出力するボケ補正部と、
前記ボケ補正画像データの複数の色コンポーネントのそれぞれの画素値による曲面形状が、前記色コンポーネント間で同一になるように、前記色コンポーネント毎の曲面形状を変更することにより、前記ボケ補正画像データを更新する曲面フィッティング部と、
を有し、
前記ボケ再現部は、さらに、前記曲面フィッティング部により更新されたボケ補正画像データに対し、前記所定のボケを再現させてボケ再現画像データを出力する画像処理装置。
【請求項２】
前記曲面フィッティング部は、最小二乗法により、前記曲面形状を前記色コンポーネント間で同一にする請求項１記載の画像処理装置。
【請求項３】
前記曲面フィッティング部は、前記色コンポーネント毎の局所領域に対応する前記ボケ補正画像データの領域の画素値に対して重み付けして曲面形状を変更する請求項２記載の画像処理装置。
【請求項４】
前記曲面フィッティング部は、前記局所領域が有するエッジの強度及びエッジの方向に基づいて、前記ボケ補正画像データの領域の画素値に対して重みを付する請求項３記載の画像処理装置。
【請求項５】
前記曲面フィッティング部は、複数の前記色コンポーネント間で一以上のパラメータを共有させることにより、前記曲面形状を前記色コンポーネント間で同一にする請求項１ないし４何れか一項に記載の画像処理装置。
【請求項６】
前記曲面フィッティング部は、さらに、前記曲面形状を前記色コンポーネント間で同一にする最小二乗法の行列式における、前記ボケ補正画像データの色コンポーネント毎の値が除かれた部分式が計算されて得られるフィルタ値が保持されたテーブルから前記フィルタ値を取得し、前記ボケ補正画像データの色コンポーネント毎の画素値に対して前記フィルタ値を乗じることにより、曲面フィッティングを行う請求項３又は４記載の画像処理装置。
【請求項７】
前記フィルタ値を保持する記憶手段を有する請求項６記載の画像処理装置。
【請求項８】
前記フィルタ値が、前記局所領域が有するエッジの強度及びエッジの方向に基づく分類がなされる場合に、
前記曲面フィッティング部は、前記エッジの強度及び前記エッジの方向に基づいて、前記フィルタ値を選択して取得する請求項６又は７記載の画像処理装置。
【請求項９】
単板イメージセンサから入力される入力画像データに対し、レンズの所定のボケを再現させてボケ再現画像データを出力するボケ再現ステップと、
前記ボケ再現ステップにおいて出力されるボケ再現画像データと前記入力画像データとの二乗誤差が小さくなる補正により前記ボケ再現画像を補正したボケ補正画像データを出力するボケ補正ステップと、
前記ボケ補正画像データの複数の色コンポーネントのそれぞれの画素値による曲面形状が、前記色コンポーネント間で同一になるように、前記色コンポーネント毎の曲面形状を変更することにより、前記ボケ補正画像データを更新する曲面フィッティングステップと、
を有し、
前記ボケ再現ステップにおいて、さらに、前記曲面フィッティングステップにおいて更新されたボケ補正画像データに対し、前記所定のボケを再現させてボケ再現画像データを出力する画像処理方法。
【請求項１０】
単板イメージセンサから入力される入力画像データに対し、レンズの所定のボケを再現させてボケ再現画像データを出力するボケ再現ステップと、
前記ボケ再現ステップにおいて出力されるボケ再現画像データと前記入力画像データとの二乗誤差が小さくなる補正により前記ボケ再現画像を補正したボケ補正画像データを出力するボケ補正ステップと、
前記ボケ補正画像データの複数の色コンポーネントのそれぞれの画素値による曲面形状が、前記色コンポーネント間で同一になるように、前記色コンポーネント毎の曲面形状を変更することにより、前記ボケ補正画像データを更新する曲面フィッティングステップと、
を有し、
前記ボケ再現ステップにおいて、さらに、前記曲面フィッティングステップにおいて更新されたボケ補正画像データに対し、前記所定のボケを再現させてボケ再現画像データを出力する画像処理方法を、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
従来から、イメージセンサから出力される画像に含まれる様々な収差を補正する技術がある。イメージセンサは、外部の光線がレンズによりイメージセンサ上に集光されることにより、光電変換され電荷として蓄積されるものである。イメージセンサが高解像度に対応する場合でも、レンズの集光がその解像度に対応しなければ、ボケが生じる。
【０００３】
例えば、非特許文献１には、Ｌａｎｄｗｅｂｅｒ  Ｍｅｔｈｏｄによるボケ画像を復元することが開示されている。非特許文献１には、さらに、正則化によりノイズを抑えることが開示されている。Ｌａｎｄｗｅｂｅｒ  Ｍｅｔｈｏｄを用いることで、レンズの相対的な性能の低下を補償することができるが、Ｌａｎｄｗｅｂｅｒ  Ｍｅｔｈｏｄは、ノイズに弱い。そこで正則化によりノイズを抑えることにより、ボケ補正を好適に行うことができる。
【０００４】
例えば、特開２００５−３５４６１０号公報（特許文献１）は、入力されるカラー画像に対して単板イメージセンサによる撮像をシミュレートした推定画像を生成し、推定画像に対して光学ボケをシミュレートし、シミュレート画像と撮像画像とを比較してボケ補正量を算出し、さらに色の相関を用いて不自然応答に対するペナルティを算出し、ボケ補正量とペナルティとに基づいて、ボケを補正する画像処理装置等の発明が開示されている。特許文献１に開示の画像処理装置等の発明は、色の相関の有無により適応的に正則化を行う手法である。
【０００５】
【特許文献１】特開２００５−３５４６１０号公報
【非特許文献１】Ｊ．  Ｂｉｅｍｏｎｄ，  Ｒ．Ｌ．  Ｌａｇｅｎｄｉｊｋ，  Ｒ．Ｍ．  Ｍｅｒｓｅｒｅａｕ，  “Ｉｔｅｒａｔｉｖｅ  ｍｅｔｈｏｄｓ  ｆｏｒ  ｉｍａｇｅ  ｄｅｂｌｕｒｒｉｎｇ”，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ，  Ｖｏｌｕｍｅ  ７８，  Ｉｓｓｕｅ  ５，  Ｐａｇｅ（ｓ）：８５６  -  ８８３，  Ｍａｙ  １９９０
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、画像処理における正則化は、近傍の画素値の変動が滑らかであるという制約がある。単板イメージセンサによる画像データは、各画素位置に単色しか存在しないため、隣接する画素間の相関の有無を判断する際には、画素補間が必要となる。したがって、単板イメージセンサによる画像データは、正則化を制御する解像度が補間の精度に依存し、本来の解像度が有効に活用されないという課題があるが、上記特許文献１に開示の画像処理装置等の発明では、そのようなことは考慮されていない。
【０００７】
本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、単板イメージセンサにより取得される各色の情報から、本来の解像度を有効に活用して、解像度が劣化しないボケ復元を実現する画像処理装置、画像処理方法、及び、プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の画像処理装置は、単板イメージセンサから入力される入力画像データに対し、レンズの所定のボケを再現させてボケ再現画像データを出力するボケ再現部と、前記ボケ再現部から出力されるボケ再現画像データと前記入力画像データとの二乗誤差が小さくなる補正により前記ボケ再現画像を補正したボケ補正画像データを出力するボケ補正部と、前記ボケ補正画像データの複数の色コンポーネントのそれぞれの画素値による曲面形状が、前記色コンポーネント間で同一になるように、前記色コンポーネント毎の曲面形状を変更することにより、前記ボケ補正画像データを更新する曲面フィッティング部と、を有し、前記ボケ再現部は、さらに、前記曲面フィッティング部により更新されたボケ補正画像データに対し、前記所定のボケを再現させてボケ再現画像データを出力する構成とすることができる。
【０００９】
また、上記目的を達成するために、本発明の画像処理方法は、単板イメージセンサから入力される入力画像データに対し、レンズの所定のボケを再現させてボケ再現画像データを出力するボケ再現ステップと、前記ボケ再現ステップにおいて出力されるボケ再現画像データと前記入力画像データとの二乗誤差が小さくなる補正により前記ボケ再現画像を補正したボケ補正画像データを出力するボケ補正ステップと、前記ボケ補正画像データの複数の色コンポーネントのそれぞれの画素値による曲面形状が、前記色コンポーネント間で同一になるように、前記色コンポーネント毎の曲面形状を変更することにより、前記ボケ補正画像データを更新する曲面フィッティングステップと、を有し、前記ボケ再現ステップにおいて、さらに、前記曲面フィッティングステップにおいて更新されたボケ補正画像データに対し、前記所定のボケを再現させてボケ再現画像データを出力する構成とすることができる。
【００１０】
また、上記目的を達成するために、本発明の画像処理プログラムは、単板イメージセンサから入力される入力画像データに対し、レンズの所定のボケを再現させてボケ再現画像データを出力するボケ再現ステップと、前記ボケ再現ステップにおいて出力されるボケ再現画像データと前記入力画像データとの二乗誤差が小さくなる補正により前記ボケ再現画像を補正したボケ補正画像データを出力するボケ補正ステップと、前記ボケ補正画像データの複数の色コンポーネントのそれぞれの画素値による曲面形状が、前記色コンポーネント間で同一になるように、前記色コンポーネント毎の曲面形状を変更することにより、前記ボケ補正画像データを更新する曲面フィッティングステップと、を有し、前記ボケ再現ステップにおいて、さらに、前記曲面フィッティングステップにおいて更新されたボケ補正画像データに対し、前記所定のボケを再現させてボケ再現画像データを出力する画像処理方法を、コンピュータに実行させるためのプログラムとすることができる。
【発明の効果】
【００１１】
本発明の画像処理装置、画像処理方法、及び、プログラムによれば、単板イメージセンサにより取得される各色の情報から、本来の解像度を有効に活用して、解像度が劣化しないボケ復元を実現することが可能になる。
【発明を実施するための最良の形態】
【００１２】
以下、本実施の形態を図面に基づき説明する。本実施例の構成は、例えば、デジタルカメラ等で用いられるイメージセンサ用の画像処理装置である。本実施の形態によれば、外部の光線が、レンズによりイメージセンサ上に集光され、それがイメージセンサにより光電変換されて電荷として蓄積される。蓄積された電荷は、本実施の形態に係る画像処理装置に入力され光学ボケが補正される。なお、以下の実施の形態では、単板イメージセンサによるカラー画像としてＲＧＢを用いて説明する。しかしながら、本発明の実施の形態は、ＲＧＢに限らず補色系でもよい。
【００１３】
半導体プロセスで製造されるイメージセンサは、半導体のプロセスルールが微細化するほどイメージセンサ上に作り込まれるトランジスタの密度が増加し、生成する画像の高解像度化が実現される。しかしながら、イメージセンサ上に光を集光するレンズの性能は、光学設計の複雑さやレンズシステムの小型化要求等により、イメージセンサに比して向上の程度が少ない。そこで、イメージセンサが高解像度化してもレンズによる集光がそれに追いつかなければ、解像感のある絵が得られず、生成される画像がボケた画像となる。
【００１４】
以下の実施の形態では、局所的な多項式近似（Ｋｅｒｎｅｌ  Ｒｅｇｒｅｓｓｉｏｎ）を用いることにより、ＲＧＢの曲面形状を連動させることによって、単板イメージセンサ上のすべての情報を有効に活用し、解像度の劣化しないボケ復元方法等について説明する。
【００１５】
〔第１の実施の形態〕
（本実施形態の画像処理装置の機能ブロック）
図１は、本実施形態の画像処理装置の機能構成を示すブロック図である。図１の画像処理装置１００は、イメージセンサ１１０、微分部１２０、画像構造パラメータ算出部１３０、ボケ再現部１４１、ボケ再現部１４３、ボケ再現部１４５、ボケ補正部１５１、ボケ補正部１５３、ボケ補正部１５５、マルチプレクサ１６０、曲面フィッティング部１７０、及び、デマルチプレクサ１９９を有する。
【００１６】
イメージセンサ１１０は、光電変換によりレンズにより集光される光を電荷に変換してＲＧＢの画像データを出力する。出力される画像データは、ＲＡＷデータである。微分部１２０は、画像のＲＡＷデータから、ｘ方向及びｙ方向の一次微分を算出する。画像構造パラメータ算出部１３０は、一次微分から、画像構造のパラメータを算出する。画像構造のパラメータは、例えば、異方性ガウス関数により表される。
【００１７】
ボケ再現部１４１は、ＲＡＷデータのうち、Ｒコンポーネントに対してイメージセンサによるボケをシミュレートする。ボケ補正部１５１は、ボケ再現部１４１により生成されたＲコンポーネントのボケ再現画像とボケが補正されたボケ補正画像との最小二乗誤差が最小になるボケ補正画像を出力する。
【００１８】
ボケ再現部１４３とボケ補正部１５３とは、Ｇコンポーネントに対するボケ再現とボケ補正との処理を行い、ボケ再現部１４５とボケ補正部１５５とは、Ｂコンポーネントに対するボケ再現とボケ補正との処理を行う。マルチプレクサ１６０は、ボケ補正された色コンポーネント毎の補正画像のデータをエンコードしてＲＡＷデータとする。
【００１９】
曲面フィッティング部１７０は、色コンポーネント毎に画素値を結ぶ曲面形状をＲＧＢ間において同一にすることにより、正則化を好適に行わせる。なお、「色コンポーネント毎に画素値を結ぶ曲面形状をＲＧＢ間において同一にすること」を、「曲面形状をＲＧＢで連動させる」という。
【００２０】
（本実施形態による画像処理方法の概略）
図２は、本実施形態による画像処理装置１００における画像処理方法の概略を説明する図である。本実施の形態ではＬａｎｄｗｅｂｅｒ  Ｍｅｔｈｏｄによるボケ復元アルゴリズムを用い、正則化としてＫｅｒｎｅｌ  Ｒｅｇｒｅｓｓｉｏｎによる曲面フィッティングを行う。
【００２１】
Ｌａｎｄｗｅｂｅｒ  Ｍｅｔｈｏｄのボケ復元アルゴリズムは、ボケ再現ステップ２４０とボケ補正ステップ２５０とを有する。Ｌａｎｄｗｅｂｅｒ  ＭｅｔｈｏｄはＲＧＢの色コンポーネント毎に、それぞれ独立に行う。
【００２２】
また、Ｋｅｒｎｅｌ  Ｒｅｇｒｅｓｓｉｏｎによる曲面フィッティングは、微分ステップ２２０、画像構造パラメータ算出ステップ２３０、曲面フィッティングステップ２７０、及び、判断ステップ２７５を有する。曲面フィッティングはＲＧＢの色コンポーネントを全て使って行う。
【００２３】
微分ステップ２２０、及び、画像構造パラメータ算出ステップ２３０は、入力されたＲＡＷデータに対して一回だけ行われる。ボケ再現ステップ２４０、ボケ補正ステップ２５０、及び、曲面フィッティングステップ２７０は、任意のイテレーション回数ＩＴＥまで繰り返し処理される。イテレーション回数の判断は、判断ステップ２７５において実行される。最後にボケ補正された画像が出力される。
【００２４】
（イメージセンサから得られる画像データの例）
図３及び図４は、イメージセンサから得られる画像データを説明する図である。図３では、連続する１６箇所の画素位置における、３つの色コンポーネントの画素値が示されている。図３の画素値は、例えば、図４に示すベイヤ配列を有するイメージセンサにより得られた画像データである。図４のベイヤ配列では、ドットのハッチングがＧの画素値を取得する画素位置であり、斜線のハッチングがＲの画素値を取得する画素位置であり、斜線が交叉するハッチングがＢの画素値を取得する画素位置である。
【００２５】
図３では、各画素位置には、１色のデータしか存在しない。そこで、色コンポーネント毎に画素値を結ぶ曲面形状をＲＧＢで連動させることにより、イメージセンサ上のすべてのデータを利用して正則化をおこなうことができる。
【００２６】
本実施の形態では、カラーフィルタ配列がベイヤ配列の単板イメージセンサから得られた画像データを処理するが、本発明の実施の形態は、ベイヤ配列に限らず、他のカラーフィルタ配列でもよい。
【００２７】
（本実施形態における画像処理方法の詳細）
以下は、本実施形態における画像処理方法の詳細について、図２に示すステップ毎に説明する。ここでは、イメージセンサから出力される画像データを、ＲＡＷデータと呼ぶ。画素位置ｉ＝（ｉ，ｊ）ＴのＲＡＷデータをｙｉとする。カラーフィルタ配列をｃｉ∈｛Ｒ，Ｇ，Ｂ｝とする。また、求めるべき補正された画像をχｉとする。光学ボケにより画像がどのようにぼけるかは、例えば、Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ（以下、「ＰＳＦ」という。）によって記述することができる。画素位置ｉを中心とした局所位置ｓ＝（ｓ，ｔ）Ｔの色ｃｉのＰＳＦをｈ（ｓ，ｉ，ｃｉ）とする。またこのＰＳＦは既知である。ＰＳＦはレンズの設計地によるシミュレーションや測定などによって事前に求めておくことができる。
【００２８】
（微分ステップ２２０）
図５は、微分部１２０により行われる微分ステップ２２０の詳細を説明するフロー図である。微分ステップ２２０では、画素位置毎の一次微分を求める。図５のステップＳ１０１では、一次微分を求める画素位置を（ｉ，ｊ）とする。ステップＳ１０１に続いてステップＳ１０２に進み、変数ｓｒｃの値を、画素位置（ｉ，ｊ）のＲＡＷデータとする。さらに、画素位置（ｉ，ｊ）におけるｘ方向の微分データを出力するための変数ｄｉｆｆｘと、画素位置（ｉ，ｊ）におけるｙ方向の微分データを出力するための変数ｄｉｆｆｙとの領域を確保する。
【００２９】
ステップＳ１０２に続いてステップＳ１０３に進み、画素位置（ｉ，ｊ）における色コンポーネントに応じて、図６に示す方法により、微分値ｄｘ及びｄｙを得る。図６では、一次微分を、ＲＧＢそれぞれ独立に求める。ＲＡＷデータは、ＲＧＢの配列がそれぞれ異なるため、そのための処理をおこなう必要がある。
【００３０】
図６（ａ）は、ベイヤ配列を示す。また、図６（ｃ）及び（ｄ）は、ベイヤ配列における、ＲとＢとの一次微分を求める例を示す図である。ＲとＢはＧよりもサンプリングの粗い正方の格子配列である。図６（ｃ）及び（ｄ）において、ｘ方向の一次微分とｙ方向の一次微分は、それぞれの方向の差分で近似する。ｘ方向の一次微分とｙ方向の一次微分をそれぞれｄｘｉ，ｄｙｉとすると、ｃｉ＝＝Ｒ又はｃｉ＝＝Ｂのとき、ｄｘｉ及びｄｙｉは、次式（１）で計算することができる。
【００３１】
【数１】
2010087614.tif 000003
【００３２】
一方、図６（ｂ）に示すＧは、ベイヤ配列において斜め格子であり、ＲとＢとは異なる処理を行う。テーラー展開の１次成分が１次微分であることに着目し、テーラー展開を１次で打ち切った平面を２点のＧによって当てはめることにより１次微分を求める。図６（ｂ）に示す２つの三角形を考え、それぞれの三角形に対する平面当てはめによる１次微分の和を求めることとする。
【００３３】
先ず、一つめの三角形に対して次式（２）が成り立ち、式（２）を解くことにより、一つ目の三角形による一次微分が得られる。式（３）は、一つ目の三角形による一次微分である。
【００３４】
【数２】
2010087614.tif 000004
【００３５】
二つ目の三角形に対しても、対しても同様に、式（４）が成り立ち、式（４）を解くことにより、二つ目の三角形による一次微分が得られる。式（５）は、二つ目の三角形による一次部分である。
【００３６】
【数３】
2010087614.tif 000005
さらに、次式（６）により、式（３）及び式（５）の和を求めることにより、Ｇの一次微分が得られる。
【００３７】
【数４】
2010087614.tif 000006
【００３８】
図５に戻り、ステップＳ１０３に続くステップＳ１０４では、変数ｄｉｆｆｘ及びｄｉｆｆｙの値が、それぞれｄｘとｄｙとなり、処理を終了する。
【００３９】
（画像構造パラメータ算出ステップ）
図７及び図８は、画像構造パラメータ算出ステップ２３０において用いられる異方性ガウス関数を説明する図である。画像の局所構造を表す統計量として、例えば、構造テンソルがある。Ｃｕｍａｎｉらは構造テンソルの固有値・固有ベクトルを用いて詳細なエッジの強度・方向を算出した［Ａ．  Ｋｏｓｃｈａｎ，  Ｍ．  Ａｂｉｄｉ，  “Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｏｆ  ｅｄｇｅｓ  ｉｎ  ｃｏｌｏｒ  ｉｍａｇｅｓ”，  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍａｇａｚｉｎｅ，  ＩＥＥＥ，  Ｖｏｌｕｍｅ  ２２，  Ｉｓｓｕｅ  １，  Ｊａｎ  ２００５，  Ｐａｇｅ（ｓ）：６４  -  ７３］。
【００４０】
また、構造テンソルからフィッティングの際の重みを決定してもよい。これは構造テンソルを共分散行列とする異方性ガウス関数を用いたものである。異方性ガウス関数を図７に示す。図７（ａ）は、異方性ガウス関数の平面図であり、図７（ｂ）は、異方性ガウス関数の俯瞰図である。
【００４１】
図８は、本実施の形態による画像構造カーネルパラメータを説明する図である。図８（ａ）において、λ＋及びλ−は、それぞれ、大なる固有値と小なる固有値とであり、θは固有ベクトルとｘ軸とのなすを表す。固有ベクトルは、エッジに沿う方向となる。構造テンソルを共分散行列とした異方性ガウス関数は、エッジ強度の強い方向に沿って楕円がつぶれるため、エッジを跨いだフィッティングを防止し先鋭度が保たれる。
【００４２】
ここでは微分ステップ２２０において求められたｘ方向の１次微分とｙ方向の１次微分とを用いて、Ｃｕｍａｎｉらと同様に位置ｉにおけるエッジの方向・大きさを示した画像構造カーネルパラメータを算出する。画像構造カーネルは図８（ａ）に示す異方性のガウス関数で表され、微分値の構造テンソルＨｉは、次式（７）により定義される。
【００４３】
【数５】
2010087614.tif 000007
【００４４】
式（７）において、ｓ∈Ｎは、位置ｉを中心とした局所近傍Ｎ内の点の位置である。また、グローバルスムースｈ＞０は、異方性ガウス関数の標準偏差を表す。グローバルスムースｈにより、平滑化の強度を設定することができる。すなわち、ｈが大きい値の場合に、平滑化が強くなる。図８（ｂ）から図８（ｇ）は、エッジと画像構造カーネルとの関係を示す図である。これらの画像構造カーネルは、エッジの法線方向成分が強い、つまりエッジが明確なほど、エッジの接線方向に潰れた楕円形状となる。
【００４５】
式（７）の構造テンソルＨｉより、画像構造カーネルパラメータの算出は次式（８）及び（９）により行うことができる。
【００４６】
【数６】
2010087614.tif 000008
【００４７】
式（８）において、画像構造角θが画像のｘ軸と画像構造カーネルの長軸方向とのなす角を表し、λ＋が長軸方向の長さ、λ−が短軸方向の長さを表す。なお、λ＋及びλ−は構造テンソルの固有値である。画像構造カーネルの長軸はエッジの接線方向であり、画像構造カーネルの短軸はエッジの法線方向に一致する。
【００４８】
式（８）及び（９）は、画像に含まれるノイズにより、画像構造カーネルパラメータが安定して算出されない。そこで次式（１０）による、位置ｉを中心とした局所近傍Ｎ内の点に関して畳み込んだ構造テンソルを用いてもよい。
【００４９】
【数７】
2010087614.tif 000009
式（１０）において、局所近傍Ｎは任意の形状を考えることができる。例えば、位置ｉを中心とした５ｘ５タップの矩形領域などを用いてもよい。
【００５０】
（ボケ再現処理及びボケ補正処理）
Ｌａｎｄｗｅｂｅｒ  Ｍｅｔｈｏｄのボケ復元アルゴリズムは、ボケ再現ステップとボケ補正ステップとからなる。Ｌａｎｄｗｅｂｅｒ  Ｍｅｔｈｏｄは、ＰＳＦを用いてボケ補正画像をぼかしたボケ再現画像とＲＡＷデータとの二乗誤差が最小となるように、ボケ補正画像を反復的に更新する手法である。
【００５１】
（ボケ再現ステップ２４０）
ボケ再現ステップ２４０は、ボケ補正画像に対してＰＳＦを適用してぼかしボケ再現画像を生成する。ボケ再現画像ｂｉは、画素位置ｉを中心とした局所領域Ｎの画素をＰＳＦの重み付けて畳み込むことにより次式（１１）により得られる。
【００５２】
【数８】
2010087614.tif 000010
式（１１）において、局所領域Ｎ内の局所位置をｓとする。
【００５３】
（ボケ再現処理のフロー）
図９は、ボケ再現部１４１等により行われるボケ再現ステップ２４０の詳細を説明するフロー図である。図９のステップＳ２０１では、ボケ再現処理が行われる画素位置（ｉ，ｊ）が定められる。ステップＳ２０１に続いてステップＳ２０２に進み、各変数に所定の値が代入される。
【００５４】
より詳細には、配列変数ｐｒｏｃに、画素位置（ｉ，ｊ）のＲＡＷデータの値が設定され、変数ｂｌｕｒｒｅｄは、画素位置（ｉ，ｊ）のボケＲＡＷデータが代入される変数として設定される。また、画素位置（ｉ，ｊ）のＰＳＦデータが読み込まれて、配列変数ｆｉｌｔｅｒに代入される。図１０は、色コンポーネント毎のＰＳＦを説明する図である。図１０において、各色コンポーネントのＰＳＦはベイヤ配列に対応し、正規化されている。
【００５５】
さらに、ＰＳＦデータの半径ｒ、画素位置（ｉ，ｊ）の色コンポーネント種別が設定される。
【００５６】
ステップＳ２０２に続いてステップＳ２０３に進み、フィルタリング処理が開始される。初期値として、変数ｓｕｍに値０が代入され、フィルタリングを行う範囲ｍ及びｎを、−ｒ≦ｍ≦ｒ，−ｒ≦ｎ≦ｒとする。ステップＳ２０３に続いてステップＳ２０４に進み、変数ｓｕｍの値に、配列変数ｆｉｌｔｅｒの値と変数ｐｒｏｃの値とを乗じた数が加算される。すなわち、ｓｕｍ＝ｓｕｍ＋（ｆｉｌｔｅｒ（ｍ，ｎ））＊（ｐｒｏｃ（ｉ＋ｍ，ｊ＋ｎ））なる式により、変数ｓｕｍの値が更新される。
【００５７】
ステップＳ２０４に続いてステップＳ２０５に進み、配列変数ｆｉｌｔｅｒの各変数を用いる処理が全て終了している場合には、ステップＳ２０６に進み、終了していない場合には、ステップＳ２０４に戻って処理を繰り返す。
【００５８】
ステップＳ２０５に続くステップＳ２０６では、変数ｂｌｕｒｒｅｄ（ｉ，ｊ）に、変数ｓｕｍの値が代入され、処理を終了する。
【００５９】
（ボケ補正ステップ）
ボケ補正ステップ２５０では、ボケ再現画像とＲＡＷデータとの二乗誤差が小さくなるようにボケ補正画像を更新する。二乗誤差最小化問題は式（１２）となる。式（１２）の最急降下法による更新式は式（１３）及び式（１４）となる。
【００６０】
【数９】
2010087614.tif 000011
式（１３）及び式（１４）の微分方程式を差分方程式により置き換えると式（１５）ののＬａｎｄｗｅｂｅｒ  Ｍｅｔｈｏｄによる更新式が得られる。
【００６１】
【数１０】
2010087614.tif 000012
式（１５）中、上付き添え字（ｌ）はイテレーションの回数を示す数である。
【００６２】
（ボケ補正処理のフロー）
図１１は、ボケ補正部１５１等により行われるボケ補正ステップ２５０の詳細を説明するフロー図である。図１１のステップＳ３０１では、ボケ補正処理が行われる画素位置（ｉ，ｊ）が定められる。ステップＳ３０１に続いてステップＳ３０２に進み、各変数に所定の値が代入される。
【００６３】
より詳細には、配列変数ｓｒｃに、画素位置（ｉ，ｊ）を中心とするＲＡＷデータが代入され、配列変数ｂｌｕｒｒｅｄに、ボケ再現ステップ２４０により得られた画素位置（ｉ，ｊ）のボケＲＡＷデータが代入される。
【００６４】
また、配列変数ｐｒｏｃは、画素位置（ｉ，ｊ）の補正後のＲＡＷデータの値が代入される変数として設定され、画素位置（ｉ，ｊ）のＰＳＦデータが読み込まれて、配列変数ｆｉｌｔｅｒに代入される。
【００６５】
図１２は、色コンポーネント毎のＰＳＦを説明する図である。図１２において、各色コンポーネントのＰＳＦはベイヤ配列に対応し、正規化されている。図１１に戻り、ステップＳ３０２では、さらに、ＰＳＦデータの半径ｒ、画素位置（ｉ，ｊ）の色コンポーネント種別Ｃ、ステップ幅ｓｔｅｐ＿ｓｉｚｅが設定される。
【００６６】
ステップＳ３０２に続いてステップＳ３０３に進み、フィルタリング処理が開始される。初期値として、変数ｓｕｍに値０が代入され、フィルタリングを行う範囲ｍ及びｎを、−ｒ≦ｍ≦ｒ，−ｒ≦ｎ≦ｒとする。
【００６７】
ステップＳ３０３に続いてステップＳ３０４に進み、変数ｓｕｍの値に、配列変数ｆｉｌｔｅｒの値と変数ｓｒｃの値とを乗じた数に配列変数ｂｌｕｒｒｅｄの値を減算した数が加算される。すなわち、ｓｕｍ＝ｓｕｍ＋（ｆｉｌｔｅｒ（ｍ，ｎ））＊（ｓｒｃ（ｉ＋ｍ，ｊ＋ｎ））−（ｂｌｕｒｒｅｄ（ｉ＋ｍ，ｊ＋ｎ））なる式により、変数ｓｕｍの値が更新される。
【００６８】
ステップＳ３０４に続いてステップＳ３０５に進み、配列変数ｆｉｌｔｅｒの各変数を用いる処理が全て終了している場合には、ステップＳ３０６に進み、終了していない場合には、ステップＳ３０４に戻って処理を繰り返す。
【００６９】
ステップＳ３０５に続くステップＳ３０６では、変数ｐｒｏｃの値が、ｐｒｏｃ（ｉ，ｊ））＝ｐｒｏｃ（ｉ，ｊ））＋ｓｔｅｐ＿ｓｉｚｅ＊ｓｕｍなる式により更新され、処理を終了する。
【００７０】
（曲面フィッティングステップ２７０）
曲面フィッティングステップ２７０では、図３に示すＲＧＢの連動した曲面モデルを用いて、ボケ補正画像に対して曲面フィッティングすることにより、ノイズの抑えられた滑らかなボケ補正画像を得る。このような連動を実現するモデルは、例えば、次式（１６）に示す多項式関数がある。
【００７１】
【数１１】
2010087614.tif 000013
【００７２】
ここでａｉ＝（aR，aG，aB，a０，a１，a２，a３）Tは、曲面モデルのパラメータであり、定数項（aR，aG，aB）Tは、フィッティング後のボケ補正画像の画素値となる。局所位置ｓは、画像の基準座標（ｘ，ｙ）Tと平行に設定されることがあるが、その場合は、画像の局所構造を反映していない。一方、画像の局所構造は、画像構造パラメータステップで算出した構造テンソルの固有値と回転角によって表すことができるので、これらの画像構造を反映させた曲面モデルを設定することにより、画像の構造にマッチした曲面フィッティングを行うことができる。
【００７３】
そこで、回転角θに応じて画素位置ｉの局所位置ｓを、画像構造カーネルの局所座標ｕｖへ座標変換する。画像のｓｔ座標から回転カーネルの局所座標ｕｖへの座標変換を、次式（１７）に示す。
【００７４】
【数１２】
2010087614.tif 000014
ここでｕ＝（ｕ，ｖ）Ｔは、画像構造カーネルの局所座標であり、ｕが楕円の長軸方向、ｖが楕円の短軸方向を示す。
【００７５】
本実施形態の画像構造パラメータ算出ステップでは、構造テンソルを用いて画像の局所的な特徴を表現するエッジの接線方向、楕円の長軸、短軸といったパラメータを算出している。ところで、Ｈａｒｒｉｓらは構造テンソルから画像の特徴分類を行っている［Ｃ．  Ｈａｒｒｉｓ  ａｎｄ  Ｍ．  Ｓｔｅｐｈｅｎｓ  （１９８８）．  “Ａ  Ｃｏｍｂｉｎｅｄ  Ｃｏｒｎｅｒ  ａｎｄ  Ｅｄｇｅ  Ｄｅｔｅｃｔｏｒ”．  Ｐｒｏｃ．  ｏｆ  ｔｈｅ  ４ｔｈ  ＡＬＶＥＹ  Ｖｉｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ：  ｐｐ．  １４７−１５１］。
【００７６】
図１３は、Ｈａｒｒｉｓらによる画像特徴分類を説明する図であり、λ＋，λ−は、構造テンソルの固有値である。図１３では、画像特徴が、エッジ領域と、フラット領域と、コーナー領域とに分類されている。どちらかの固有値が大きく、もう片方が小さければ、楕円はつぶれており、エッジ領域であることを示す。両方の固有値が大きければ、楕円は等方の円形で小さくなり、角や尖端等のコーナー領域を示している。両方の固有値が小さければ楕円は等方の円形で大きくなり、フラットな領域を示している。
エッジ領域では、エッジ法線方向、すなわち、ｖ軸に情報が集中しているため、次式（１８）のモデルを当てはめることができる。
【００７７】
【数１３】
2010087614.tif 000015
【００７８】
一方、コーナー領域とフラット領域とは、等方的な楕円であるため、情報が短軸であるｖ軸に集中していない。そこで、ｕ軸とｖ軸との両方を使う方がよい。コーナー領域は画素の変化も大きいため曲面モデルの自由度は高い方が適している。そこで、次式（１９）のモデルを当てはめることができる。
【００７９】
【数１４】
2010087614.tif 000016
フラット領域は、なるべくノイズを押さえたいので曲面モデルを低次とする。フラット領域は、次式（２０）のモデルを当てはめることができる。
【００８０】
【数１５】
2010087614.tif 000017
【００８１】
曲面モデル選択ステップでは、構造テンソルの固有値λ＋，λ−に基づき、例えば図１３に示す分類に従い、対象画素の分類を行い、その分類に応じて上記曲面モデルを選択する。次式（２１）は、曲面モデルのベクトル表記である。
【００８２】
【数１６】
2010087614.tif 000018
【００８３】
曲面フィッティング処理では、観測されるＲＡＷデータにノイズが含まれる状況で、未知の曲面パラメータａｉを求める。これは最小二乗法によって解くとよい。最小二乗問題を、次式（２２）及び（２３）に示す。
【００８４】
【数１７】
2010087614.tif 000019
ここでサーカムフレックス（ａｉ）が最小二乗フィッティングパラメータ、ｋ（ｉ，ｓ）は、点ｓにおける重みである。ここでは回転カーネルの式（７）を用いる。またｃｉをカラーフィルタベクトルとし、次式（２４）で定義する。
【００８５】
【数１８】
2010087614.tif 000020
【００８６】
カラーフィルタベクトルは、ＲＡＷデータとＲＧＢ曲面モデルとを接続するために用いる。局所近傍Ｎは任意の形状を考えることができるが、例えば位置ｘを中心とした５ｘ５タップの矩形領域などを用いるとよい。
【００８７】
さらにカラー毎のＰＳＦの違いを、重みとして反映させてもよい。ＲＧＢの色コンポーネント毎にＰＳＦが異なり、レンズによっては、例えば、ＧはボケていないがＲとＢはボケている状況が発生することがある。
【００８８】
図１４及び図１５は、ＲＧＢで曲面形状を連動させる前後のＲＧＢの曲面を示す図である。図１４は、ＲＧＢ間のＰＳＦの違いを考慮しないで曲面形状を連動させる処理を示す図であり、図１４（ａ）が、曲面フィッティング前の曲面形状を表し、図１４（ｂ）が、曲面フィッティング後の曲面形状を表す。ＰＳＦの違いを考慮していないと、図１４（ｂ）に示すようにＲ，Ｇ，Ｂの平均曲率曲面にフィッティングされることになり、Ｇがボケてしまう。
【００８９】
一方、図１５は、ＲＧＢのＰＳＦの違いを考慮して曲面形状を連動させる処理を示す図である。図１５（ｂ）に示すように、ＲＧＢのＰＳＦの違いを考慮し、Ｇの曲率に沿った曲面形状でフィッティングをおこなえば、Ｇがボケることはなく、ＲとＢのボケも解消できる。次式（２５）は、ＰＳＦの違いを考慮して曲面フィッティングを行う際の誤差関数である。
【００９０】
【数１９】
2010087614.tif 000021
ここでｒＣｉ≧０は、色コンポーネント毎のＰＳＦによる補正係数であり、ボケの少ない色コンポーネントでは重みを大きくし、それ以外の色コンポーネントは重みを小さくする。記述を簡単にするため式（２５）を、行列形式の式（２６）及び（２７）にする。
【００９１】
【数２０】
2010087614.tif 000022
ここで局所近傍Ｎ内の点をＮ＝｛ｓ０，・・・，ｓＮ｝である。行列形式を用いると最小二乗法の解は次式（２８）により一意に求められる。
【００９２】
【数２１】
2010087614.tif 000023
【００９３】
式（２８）は、正規方程式と呼ばれ、線形の最小二乗法の場合にはこれが最適解となる。逆行列はＬＵ分解や特異値分解などにより数値計算することができる。サーカムフレックス（ａｉ）内の（aR，aG，aB）Tがフィッティング後の画素値である。また、次式（２９）のように、ボケ補正画像を、曲面フィッティング処理した画素値によって更新する。
【００９４】
【数２２】
2010087614.tif 000024
また（aR，aG，aB）Tをそのまま出力すればＲＧＢ全部の値を取得できデモザイキングも行うことができる。
【００９５】
（曲面フィッティングステップ２７０の詳細）
図１６は、曲面フィッティングステップ２７０の詳細等を示すフロー図である。図１６の処理は、主として曲面フィッティング部１７０により行われる。
【００９６】
ステップＳ４０１では、微分部１２０が、画像のＲＡＷデータから、ｘ方向及びｙ方向の一次微分を算出する。ステップＳ４０１に続いてステップＳ４０２に進み、画像構造パラメータ算出部２３０が、カーネル内のｘ方向微分とｙ方向の微分との構造テンソルから、画像構造パラメータを算出する。
【００９７】
ステップＳ４０２に続くステップＳ４０３からステップＳ４１０の処理は、曲面フィッティングステップ２７０において行われる。ステップＳ４０３では、構造テンソルの固有値から、図１３等に従い画像特徴によりクラス分けして曲面モデルを選択する。
【００９８】
ステップＳ４０３に続いてステップＳ４０４に進み、式（１７）により回転補正を行う。ステップＳ４０４に続いてステップＳ４０５に進み、式（２７）によりＰを計算する。ステップＳ４０５に続いてステップＳ４０６に進み、画像構造パラメータを用いる式（２７）により、Ｗを計算する。
【００９９】
ステップＳ４０６に続くステップＳ４０７及びステップＳ４０８では、それぞれ、ＰＴＷＰとＰＴＷＹとを計算する。ステップＳ４０８に続いてステップＳ４０９に進み、（ＰＴＷＰ）−１を計算する。ステップＳ４０９に続いてステップＳ４１０に進み、サーカムフレックス（ａｉ）を計算する。
【０１００】
〔第２の実施の形態〕
（ルックアップテーブルを用いる処理）
図１７は、第２の実施の形態の画像処理装置の機能構成を示すブロック図である。図１７の画像処理装置１００ａは、イメージセンサ１１０、微分部１２０、画像構造パラメータ算出部１３０、ボケ再現部１４１、ボケ再現部１４３、ボケ再現部１４５、ボケ補正部１５１、ボケ補正部１５３、ボケ補正部１５５、マルチプレクサ１６０、フィルタ選択部１８０、フィルタリング部１９０、及び、デマルチプレクサ１９９を有する。
【０１０１】
図１７において、図１の画像処理装置１００と同一の機能及び構成を有するブロックは、図１と同一の符号を付し、ここでは説明を省略する。
【０１０２】
フィルタ選択部１８０は、図示しない記憶部等に保存されている正規方程式を解いた結果のフィルタ係数が格納されているをルックアップテーブル（以下、「ＬＵＴ」という。）から、フィルタを選択する。これにより、回路による実装を容易にする構成となる。フィルタリング部１９０は、フィルタ選択部１８０において選択されたフィルタにより、フィルタリング処理を行う。
【０１０３】
（本実施形態における画像処理方法の概略）
図１８は、本実施形態による画像処理装置１００ａにおける画像処理方法の概略を説明する図である。本実施の形態では、第１の実施の形態と同様に、Ｌａｎｄｗｅｂｅｒ  Ｍｅｔｈｏｄによるボケ復元アルゴリズムを用い、正則化としてＫｅｒｎｅｌ  Ｒｅｇｒｅｓｓｉｏｎによる曲面フィッティングを行う。
【０１０４】
Ｌａｎｄｗｅｂｅｒ  Ｍｅｔｈｏｄのボケ復元アルゴリズムは、ボケ再現ステップ３４０とボケ補正ステップ３５０とを有する。Ｌａｎｄｗｅｂｅｒ  ＭｅｔｈｏｄはＲＧＢの色コンポーネント毎に、それぞれ独立に行う。
【０１０５】
また、Ｋｅｒｎｅｌ  Ｒｅｇｒｅｓｓｉｏｎによる曲面フィッティングは、微分ステップ３２０、画像構造パラメータ算出ステップ３３０、フィルタ選択ステップ３８０、フィルタリングステップ３９０、及び、判断ステップ３９５を有する。
【０１０６】
以下の説明では、図２の画像処理方法と異なるステップである、フィルタ選択ステップ３８０、及び、フィルタリングステップ３９０について説明し、他のステップの説明は省略する。
【０１０７】
フィルタ選択ステップ３８０は、予め正規方程式が解かれ、その結果としてＬＵＴに保存されているフィルタから、一のフィルタを選択する。これにより、回路による実装を容易にする構成となる。フィルタリングステップ３９０は、フィルタ選択ステップ３８０において選択されたフィルタにより、フィルタリング処理を行う。
【０１０８】
図１９は、本実施形態の処理の概略を説明するフロー図である。図１９のステップＳ５０１では、微分部１２０が、画像のＲＡＷデータから、ｘ方向及びｙ方向の一次微分を計算する。ステップＳ５０１に続いてステップＳ５０２に進み、画像構造パラメータ算出部１３０が、カーネル内のｘ方向微分とｙ方向微分との構造テンソルにより、画像構造パラメータを算出する。
【０１０９】
ステップＳ５０２に続いてステップＳ５０３に進み、フィルタ選択部１８０が、ステップＳ５０２で取得された構造テンソルの固有値から、画像特徴を、例えば図１３に従いクラス分けし、曲面モデルを選択する。ステップＳ５０３に続いてステップＳ５０４に進み、フィルタ選択部１８０が、ステップＳ５０２で取得された画像構造パラメータにより、フィルタＸ（λ＋，λ−，θ）ｍを選択する。
【０１１０】
ステップＳ５０４に続いてステップＳ５０５に進み、フィルタリング部１９０が、サーカムフレックス（ａｉ）を計算する。
【０１１１】
（フィルタ選択ステップ３８０）
フィルタ選択ステップ３８０では、画像構造パラメータ算出ステップ３３０において算出された画像構造パラメータに基づき、正規方程式を解いた結果のＬＵＴから適切なフィルタを選択する。
【０１１２】
正規方程式は式（２８）により与えられる。式（２７）より、Ｙは、画素値を表しており入力画像に依存して変化する。それに対して（ＰＴＷＰ）−１（ＰＴＷ）は画像構造パラメータ（λ＋，λ−，θ）のみに依存する部分であり、画像には依存しない。画像構造カーネルは式（７）に示す入力画像の微分の構造テンソルにより、次式（３０）となる。
【０１１３】
【数２３】
2010087614.tif 000025
式（３０）を画像構造パラメータにより書き直すと、式（３１）となる。また、回転カーネルは、式（３２）となる。
【０１１４】
【数２４】
2010087614.tif 000026
行列Ｗは、式（３３）となり、画像構造パラメータのみに依存する。同様に、行列Ｐは、式（３４）となり、画像構造パラメータのみに依存する。
【０１１５】
【数２５】
2010087614.tif 000027
ゆえに、次式（３５）も、画像構造パラメータのみに依存する。
【０１１６】
【数２６】
2010087614.tif 000028
【０１１７】
式（３５）より、任意の離散化を行った画像構造パラメータの組（λ＋，λ−，θ）ｌ，（ｍ＝０，・・・Ｍ）に対して事前にＸ（λ＋，λ−，θ）ｍ，（ｍ＝０，・・・Ｍ）を計算しておけば、追加計算をすることなく解を次式（３６）により求めることができる。
【０１１８】
【数２７】
2010087614.tif 000029
【０１１９】
そこで、フィルタ選択ステップ３８０では、画像構造パラメータの組（λ＋，λ−，θ）ｍ，（ｍ＝０，・・・Ｍ）に対して事前にＸ（λ＋，λ−，θ）ｍ，（ｍ＝０，・・・Ｍ）を計算して、ＬＵＴに登録しておく。ＬＵＴは、フィルタバンクともいう。より詳細には、算出された画像構造パラメータ（λ＋，λ−，θ）に基づき、ＬＵＴから対応するＸ（λ＋，λ−，θ）ｍを選択する処理を行う。
【０１２０】
（フィルタリングステップ３９０）
フィルタリングステップ３９０は、フィルタ選択ステップ３８０で選択されたフィルタＸ（λ＋，λ−，θ）ｍを用いて画素値ベクトルＹとの畳み込み演算を行ない最小二乗フィッティングされた出力画素を計算する。具体的には次式（３７）に示す行列演算を行う。
【０１２１】
【数２８】
2010087614.tif 000030
【０１２２】
（フィルタリングステップ３９０の詳細）
図２０は、フィルタリングステップ３９０の詳細を示すフロー図である。図２０のステップＳ６０１からステップＳ６０６は、図９のステップＳ２０１からステップＳ２０６とほぼ同一であるが、フィルタ係数を事前に計算されＬＵＴに格納されている値を用いる点が異なる。
【０１２３】
図２０のステップＳ６０１では、ボケ再現処理が行われる画素位置（ｉ，ｊ）が定められる。ステップＳ６０１に続いてステップＳ６０２に進み、各変数に所定の値が代入される。
【０１２４】
より詳細には、配列変数ｐｒｏｃに、画素位置（ｉ，ｊ）のＲＡＷデータの値が設定される。また、画素位置（ｉ，ｊ）のフィルタ係数が読み込まれて、配列変数ｆｉｌｔｅｒに代入される。図２１は、色コンポーネント毎のＰＳＦを説明する図である。図２１において、各色コンポーネントのＰＳＦはベイヤ配列に対応し、正規化されている。図２１には、さらに、ベイヤ配列における色コンポーネント毎のフィルタ中心を示す。フィルタ中心は、４×４のベイヤ配列における中心４画素の何れか一である。図２０に戻り、さらに、画素位置（ｉ，ｊ）の色コンポーネント種別Ｃが設定される。
【０１２５】
ステップＳ６０２に続いてステップＳ６０３に進み、フィルタリング処理が開始される。初期値として、変数ｓｕｍに値０が代入されフィルタリングを行う範囲ｍ及びｎを、−ｒ≦ｍ≦ｒ，−ｒ≦ｎ≦ｒとする。ステップＳ６０３に続いてステップＳ６０４に進み、変数ｓｕｍの値に、配列変数ｆｉｌｔｅｒの値と変数ｐｒｏｃの値とを乗じた数が加算される。すなわち、ｓｕｍ＝ｓｕｍ＋（ｆｉｌｔｅｒ（ｍ，ｎ））＊（ｐｒｏｃ（ｉ＋ｍ，ｊ＋ｎ））なる式により、変数ｓｕｍの値が更新される。
【０１２６】
ステップＳ６０４に続いてステップＳ６０５に進み、配列変数ｆｉｌｔｅｒの各変数を用いる処理が全て終了している場合には、ステップＳ６０６に進み、終了していない場合には、ステップＳ６０４に戻って処理を繰り返す。
【０１２７】
ステップＳ６０５に続くステップＳ６０６では、配列変数ｐｒｏｃの所定の配列位置に、変数ｓｕｍの値が代入される。所定の配列位置は、ｐｒｏｃ−ｒ＊ｈ＿ｓｉｚｅ−ｒなる式により得られる。ステップＳ６０６の後、処理を終了する。
【０１２８】
（コンピュータ等による実現）
図２２は、本実施形態の画像処理装置を実現するコンピュータ４００のハードウェア構成を示したブロック図である。図２２に示すように、コンピュータ４００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）４０１、操作部４０２、表示部４０３、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）４０４、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）４０５、信号入力部４０６、及び、記憶部４０７を有し、各部はバス４０８により接続されている。
【０１２９】
ＣＰＵ４０１は、ＲＡＭ４０５の所定領域を作業領域として、ＲＯＭ４０４等に予め記憶された各種プログラムとの協働により各種処理を実行し、コンピュータ４００を構成する各部の動作を統括的に制御する。ＣＰＵ４０１は、また、ＲＯＭ４０４等に予め記憶されたプログラムとの協働により、本実施形態に係る画像処理方法を実行する。なお、本実施形態に係る画像処理方法をコンピュータに実行させるためのコンピュータプログラムは、ドライブに挿入されることによりコンピュータに読み取り可能となる情報記録媒体に格納されてよい。
【０１３０】
操作部４０２は、各種入力キー等を備え、ユーザーから操作入力された情報を入力信号として受け付け、その入力信号をＣＰＵ４０１に出力する。
【０１３１】
表示部４０３は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等の表示手段により構成され、ＣＰＵ４０１からの表示信号に基づいて、各種情報を表示する。なお、表示部４０３は、操作部４０２と一体的にタッチパネルを構成する態様としてもよい。
【０１３２】
ＲＯＭ４０４は、コンピュータ４００の制御に係るプログラムや各種設定情報等を書き換え不可能に記憶する。ＲＡＭ４０５は、例えば、ＳＤＲＡＭ等の記憶手段であって、ＣＰＵ４０１の作業エリアとして機能し、バッファ等の役割を果たす。
【０１３３】
信号入力部４０６は、動画像や音声を電気信号に変換し、映像信号としてＣＰＵ４０１に出力するものである。信号入力部４０６は、放送番組受信機（チューナー）等を用いてもよい。
【０１３４】
記憶部４０７は、磁気的又は光学的に記録可能な記憶媒体を有し、信号入力部４０６を介して取得された映像信号、又は、図示しない通信部やＩ／Ｆ（インターフェース）等を介して外部から入力される映像信号等のデータを記憶する。
【０１３５】
以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。
【図面の簡単な説明】
【０１３６】
【図１】第１の実施の形態の画像処理装置の機能構成を示すブロック図。
【図２】第１の実施の形態による画像処理方法の概略。
【図３】イメージセンサから得られる画像データ（その１）。
【図４】イメージセンサから得られる画像データ（その２）。
【図５】微分ステップ２２０の詳細を説明するフロー図。
【図６】ベイヤ配列における一次微分の演算例。
【図７】異方性ガウス関数の例。
【図８】異方性ガウス関数による画像構造カーネルパラメータ。
【図９】ボケ再現ステップ２４０の詳細を説明するフロー図。
【図１０】色コンポーネント毎のＰＳＦを説明する図（その１）。
【図１１】ボケ補正ステップ２５０の詳細を説明するフロー図。
【図１２】色コンポーネント毎のＰＳＦを説明する図（その２）。
【図１３】Ｈａｒｒｉｓらによる画像特徴分類を説明する図。
【図１４】ＲＧＢで曲面形状を連動させる前後のＲＧＢの曲面を示す図（その１）。
【図１５】ＲＧＢで曲面形状を連動させる前後のＲＧＢの曲面を示す図（その２）。
【図１６】曲面フィッティングステップ２７０の詳細等を示すフロー図。
【図１７】第２の実施の形態の画像処理装置の機能構成を示すブロック図。
【図１８】第２の実施の形態による画像処理方法の概略。
【図１９】第２の実施の形態の処理の概略を説明するフロー図
【図２０】フィルタリングステップ３９０の詳細を示すフロー図。
【図２１】色コンポーネント毎のＰＳＦを説明する図（その３）。
【図２２】画像処理装置４００のハードウェア構成例。
【符号の説明】
【０１３７】
１００、１００ａ画像処理装置
１１０ イメージセンサ
１２０ 微分部
１３０ 画像構造パラメータ算出部
１４１ ボケ再現部
１４３ ボケ再現部
１４５ ボケ再現部
１５１ ボケ補正部
１５３ ボケ補正部
１５５ ボケ補正部
１６０ マルチプレクサ
１７０ 曲面フィッティング部
１８０ フィルタ選択部
１９０ フィルタリング部
１９９ デマルチプレクサ
４００ 画像処理装置
４０２ 操作部
４０３ 表示部
４０６ 信号入力部
４０７ 記憶部
４０８ バス
【図１】
2010087614.tif 000031
【図２】
2010087614.tif 000032
【図３】
2010087614.tif 000033
【図４】
2010087614.tif 000034
【図５】
2010087614.tif 000035
【図６】
2010087614.tif 000036
【図７】
2010087614.tif 000037
【図８】
2010087614.tif 000038
【図９】
2010087614.tif 000039
【図１０】
2010087614.tif 000040
【図１１】
2010087614.tif 000041
【図１２】
2010087614.tif 000042
【図１３】
2010087614.tif 000043
【図１４】
2010087614.tif 000044
【図１５】
2010087614.tif 000045
【図１６】
2010087614.tif 000046
【図１７】
2010087614.tif 000047
【図１８】
2010087614.tif 000048
【図１９】
2010087614.tif 000049
【図２０】
2010087614.tif 000050
【図２１】
2010087614.tif 000051
【図２２】
2010087614.tif 000052