(57)【特許請求の範囲】
【請求項１】
入力画像を、よりボケが軽減された出力画像に変換する画像処理装置において、
前記出力画像内の注目する画素である注目画素に対応する前記入力画像の画素とその周辺の所定の画素からなる複数の画素を抽出する第１の画素抽出手段と、
前記第１の画素抽出手段により抽出された前記複数の画素から第１の特徴量を算出する第１の特徴量算出手段と、
前記第１の特徴量と積和演算するための係数であって、学習装置により予め学習された第１の処理係数と、前記第１の特徴量との積和演算により、予測演算に用いる係数である第２の処理係数を生成する処理係数生成手段と、
前記注目画素に対応する画素とその周辺の所定の画素からなる複数の画素を前記入力画像から抽出する第２の画素抽出手段と、
前記予測演算として、前記第２の画素抽出手段により抽出された前記複数の画素と前記第２の処理係数との積和演算を行うことにより、前記注目画素の画素値を生成する予測手段と
を備え、
前記第１の特徴量算出手段は、前記第１の画素抽出手段により抽出された前記複数の画素のうち前記注目画素に対して所定画素離れた画素と、前記注目画素との画素値の差分を用いた微分特徴量か、または、前記注目画素を中心とする複数画素からなる基準ブロックの自己相関値と、前記基準ブロックから水平方向または垂直方向に所定画素ずらしたブロックの自己相関値との差分のいずれかを、前記第１の特徴量として算出し、
前記第１の処理係数は、前記学習装置により、生徒画像としての複数種類のボケ量のボケが付加されたボケ画像から前記第１の特徴量算出手段と同様に抽出した学習用特徴量と前記第１の処理係数との積和演算により前記第２の処理係数が求められ、その第２の処理係数と、前記第２の画素抽出手段と同様に前記生徒画像から抽出した複数画素との積和演算により、前記生徒画像のボケが付加されていない教師画像が生成されるとした関係式に基づく正規方程式を解くことにより求められる
画像処理装置。
【請求項２】
前記注目画素に対応する前記入力画像の画素およびその周辺の所定の画素の画素値に応じて前記注目画素を所定のクラスに分類するクラス分類手段をさらに備え、
前記処理係数生成手段は、前記学習装置により前記クラス毎に学習された前記第１の処理係数のうち、前記クラス分類手段の分類結果のクラスの前記第１の処理係数を用いた前記積和演算により、前記第２の処理係数を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記生徒画像に複数種類のボケ量のボケを付加して、前記複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、
前記第１の特徴量を用いて第２の特徴量を算出する第２の特徴量算出手段と
をさらに備え、
前記第１の特徴量算出手段は、前記複数種類のボケ除去結果画像それぞれに対して前記微分特徴量を算出し、算出された前記微分特徴量を連結した特徴量コードを前記第１の特徴量として算出し、
前記第２の特徴量算出手段は、前記特徴量コードに対応する、ぼけ具合を表すぼけパラメータを、前記第２の特徴量として算出し、
前記処理係数生成手段は、前記第１の特徴量に代えて前記第２の特徴量と、前記第１の処理係数との積和演算により、前記第２の処理係数を生成する
請求項１に記載の画像処理装置。
【請求項４】
入力画像を、よりボケが軽減された出力画像に変換する画像処理方法において、
前記出力画像内の注目する画素である注目画素に対応する前記入力画像の画素とその周辺の所定の画素からなる第１周辺画素を抽出し、
抽出された前記第１周辺画素から特徴量を算出し、
前記特徴量と積和演算するための係数であって、学習装置により予め学習された第１の処理係数と、前記特徴量との積和演算により、予測演算に用いる係数である第２の処理係数を生成し、
前記注目画素に対応する画素とその周辺の所定の画素からなる第２周辺画素を前記入力画像からさらに抽出し、
前記予測演算として、抽出された前記第２周辺画素と前記第２の処理係数との積和演算を行うことにより、前記注目画素の画素値を生成する
ステップを含み、
前記特徴量の算出において、抽出された前記第１周辺画素のうち前記注目画素に対して所定画素離れた画素と、前記注目画素との画素値の差分を用いた微分特徴量か、または、前記注目画素を中心とする複数画素からなる基準ブロックの自己相関値と、前記基準ブロックから水平方向または垂直方向に所定画素ずらしたブロックの自己相関値との差分のいずれかを、前記特徴量として算出し、
前記第１の処理係数は、前記学習装置により、生徒画像としての複数種類のボケ量のボケが付加されたボケ画像から前記特徴量と同様に抽出した学習用特徴量と前記第１の処理係数との積和演算により前記第２の処理係数が求められ、その第２の処理係数と、前記第２周辺画素と同様に前記生徒画像から抽出した複数画素との積和演算により、前記生徒画像のボケが付加されていない教師画像が生成されるとした関係式に基づく正規方程式を解くことにより求められる
画像処理方法。
【請求項５】
入力画像を、よりボケが軽減された出力画像に変換する画像処理を、コンピュータに実行させるプログラムであって、
前記出力画像内の注目する画素である注目画素に対応する前記入力画像の画素とその周辺の所定の画素からなる第１周辺画素を抽出し、
抽出された前記第１周辺画素から特徴量を算出し、
前記特徴量と積和演算するための係数であって、学習装置により予め学習された第１の処理係数と、前記特徴量との積和演算により、予測演算に用いる係数である第２の処理係数を生成し、
前記注目画素に対応する画素とその周辺の所定の画素からなる第２周辺画素を前記入力画像からさらに抽出し、
前記予測演算として、抽出された前記第２周辺画素と前記第２の処理係数との積和演算を行うことにより、前記注目画素の画素値を生成する
ステップを含み、
前記特徴量の算出において、抽出された前記第１周辺画素のうち前記注目画素に対して所定画素離れた画素と、前記注目画素との画素値の差分を用いた微分特徴量か、または、前記注目画素を中心とする複数画素からなる基準ブロックの自己相関値と、前記基準ブロックから水平方向または垂直方向に所定画素ずらしたブロックの自己相関値との差分のいずれかを、前記特徴量として算出し、
前記第１の処理係数は、前記学習装置により、生徒画像としての複数種類のボケ量のボケが付加されたボケ画像から前記特徴量と同様に抽出した学習用特徴量と前記第１の処理係数との積和演算により前記第２の処理係数が求められ、その第２の処理係数と、前記第２周辺画素と同様に前記生徒画像から抽出した複数画素との積和演算により、前記生徒画像のボケが付加されていない教師画像が生成されるとした関係式に基づく正規方程式を解くことにより求められる
処理をコンピュータに実行させるプログラム。
【請求項６】
生徒画像としての複数種類のボケ量のボケが付加されたボケ画像から、教師画像内の注目する画素である注目画素に対応する前記生徒画像の画素とその周辺の所定の画素からなる複数の画素を抽出する第１の画素抽出手段と、
前記第１の画素抽出手段により抽出された前記複数の画素から第１の特徴量を算出する第１の特徴量算出手段と、
前記生徒画像の前記注目画素に対応する画素とその周辺の所定の画素からなる複数の画素を前記生徒画像から抽出する第２の画素抽出手段と、
前記第１の特徴量算出手段により抽出された前記第１の特徴量と第１の処理係数との積和演算により第２の処理係数が求められ、その第２の処理係数と、前記生徒画像から前記第２の画素抽出手段により抽出された複数画素との積和演算により、前記生徒画像のボケが付加されていない前記教師画像が生成されるとした関係式に基づく正規方程式を生成する正規方程式生成手段と、
前記正規方程式を解法することにより、前記第１の処理係数を生成する係数生成手段と
を備え、
前記第１の特徴量算出手段は、前記第１の画素抽出手段により抽出された前記複数の画素のうち前記注目画素に対して所定画素離れた画素と、前記注目画素との画素値の差分を用いた微分特徴量か、または、前記注目画素を中心とする複数画素からなる基準ブロックの自己相関値と、前記基準ブロックから水平方向または垂直方向に所定画素ずらしたブロックの自己相関値との差分のいずれかを、前記第１の特徴量として算出する
学習装置。
【請求項７】
前記注目画素に対応する前記生徒画像の画素およびその周辺の所定の画素の画素値に応じて前記注目画素を所定のクラスに分類するクラス分類手段をさらに備え、
前記係数生成手段は、前記クラス分類手段の分類結果のクラスごとに生成された前記正規方程式を解法することにより、クラスごとに前記第１の処理係数を生成する
請求項６に記載の学習装置。
【請求項８】
前記生徒画像に複数種類のボケ量のボケを付加して、前記複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、
前記第１の特徴量を用いて第２の特徴量を算出する第２の特徴量算出手段と
をさらに備え、
前記第１の特徴量算出手段は、前記複数種類のボケ除去結果画像それぞれに対して前記微分特徴量を算出し、算出された前記微分特徴量を連結した特徴量コードを前記第１の特徴量として算出し、
前記第２の特徴量算出手段は、前記特徴量コードに対応する、ぼけ具合を表すぼけパラメータを、前記第２の特徴量として算出し、
前記正規方程式生成手段は、前記第１の特徴量に代えて前記第２の特徴量と、前記第１の処理係数との積和演算により前記第２の処理係数が求められるとした前記関係式に基づく正規方程式を生成する
請求項６に記載の学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム、および学習装置に関し、特に、画像内で焦点距離の異なる被写体が複数含まれることによって生じているぼけを最適に除去することができるようにする画像処理装置、画像処理方法、プログラム、および学習装置に関する。
【背景技術】
【０００２】
本出願人は、例えば、ピンボケや動きボケのある画像や低解像度の画像データを、所定の処理係数を用いてマッピング（写像）することにより、ボケのない、または高解像度の画像データに変換する画像変換処理において、ユーザにより調整されたパラメータによって生成される処理係数を異なるものとして、画像変換を行う方法を提案している（例えば、特許文献１参照）。
【０００３】
しかしながら、特許文献１で提案される方法は、パラメータを全画面一様に与えるものであり、例えば、画像内で焦点距離の異なる被写体が複数含まれることによって、一画面中にピントの合った領域とそうでない領域が存在する画像のぼけを除去するような場合には、ピントの合っていない領域の画素に対して最適なパラメータに設定すると、ピントの合っている領域に対しても同様のぼけ除去処理を行うために、ピントの合っている領域ではかえってぼけが生じてしまうことになる。即ち、画素ごとには最適な処理係数を生成することはできず、画面全体でぼけを除去した画像を生成することができない場合がある。
【０００４】
また、本出願人は、上述の画像変換処理において、予め特徴量に応じて、解像度、ノイズ感といった係数生成パラメータに変換される変換テーブルを用意しておき、その係数生成パラメータに基づいて処理係数を生成することも提案している（例えば、特許文献２参照））。
【特許文献１】特開２００２−２１８４１４号公報
【特許文献２】特開２００５−１４２７４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２では、特徴量と係数生成パラメータの対応が主観に基づくものであるため、変換後の画像が必ずしも最適化されている保証はない。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、画像内で焦点距離の異なる被写体が複数含まれることによって生じているぼけを最適に除去することができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の第１の側面の画像処理装置は、入力画像を、よりボケが軽減された出力画像に変換する画像処理装置において、前記出力画像内の注目する画素である注目画素に対応する前記入力画像の画素とその周辺の所定の画素からなる複数の画素を抽出する第１の画素抽出手段と、前記第１の画素抽出手段により抽出された前記複数の画素から第１の特徴量を算出する第１の特徴量算出手段と、前記第１の特徴量と積和演算するための係数であって、学習装置により予め学習された第１の処理係数と、前記第１の特徴量との積和演算により、予測演算に用いる係数である第２の処理係数を生成する処理係数生成手段と、前記注目画素に対応する画素とその周辺の所定の画素からなる複数の画素を前記入力画像から抽出する第２の画素抽出手段と、前記予測演算として、前記第２の画素抽出手段により抽出された前記複数の画素と前記第２の処理係数との積和演算を行うことにより、前記注目画素の画素値を生成する予測手段とを備え、前記第１の特徴量算出手段は、前記第１の画素抽出手段により抽出された前記複数の画素のうち前記注目画素に対して所定画素離れた画素と、前記注目画素との画素値の差分を用いた微分特徴量か、または、前記注目画素を中心とする複数画素からなる基準ブロックの自己相関値と、前記基準ブロックから水平方向または垂直方向に所定画素ずらしたブロックの自己相関値との差分のいずれかを、前記第１の特徴量として算出し、前記第１の処理係数は、前記学習装置により、生徒画像としての複数種類のボケ量のボケが付加されたボケ画像から前記第１の特徴量算出手段と同様に抽出した学習用特徴量と前記第１の処理係数との積和演算により前記第２の処理係数が求められ、その第２の処理係数と、前記第２の画素抽出手段と同様に前記生徒画像から抽出した複数画素との積和演算により、前記生徒画像のボケが付加されていない教師画像が生成されるとした関係式に基づく正規方程式を解くことにより求められる。
【０００９】
前記生徒画像に複数種類のボケ量のボケを付加して、前記複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、前記第１の特徴量を用いて第２の特徴量を算出する第２の特徴量算出手段とをさらに設け、前記第１の特徴量算出手段は、前記複数種類のボケ除去結果画像それぞれに対して前記微分特徴量を算出し、算出された前記微分特徴量を連結した特徴量コードを前記第１の特徴量として算出し、前記第２の特徴量算出手段は、前記特徴量コードに対応する、ぼけ具合を表すぼけパラメータを、前記第２の特徴量として算出し、前記処理係数生成手段は、前記第１の特徴量に代えて前記第２の特徴量と、前記第１の処理係数との積和演算により、前記第２の処理係数を生成することができる。
【００１０】
前記注目画素に対応する前記入力画像の画素およびその周辺の所定の画素の画素値に応じて前記注目画素を所定のクラスに分類するクラス分類手段をさらに設け、前記処理係数生成手段は、前記学習装置により前記クラス毎に学習された前記第１の処理係数のうち、前記クラス分類手段の分類結果のクラスの前記第１の処理係数を用いた前記積和演算により、前記第２の処理係数を生成することができる。
【００１１】
本発明の第１の側面の画像処理方法は、入力画像を、よりボケが軽減された出力画像に変換する画像処理方法において、前記出力画像内の注目する画素である注目画素に対応する前記入力画像の画素とその周辺の所定の画素からなる第１周辺画素を抽出し、抽出された前記第１周辺画素から特徴量を算出し、前記特徴量と積和演算するための係数であって、学習装置により予め学習された第１の処理係数と、前記特徴量との積和演算により、予測演算に用いる係数である第２の処理係数を生成し、前記注目画素に対応する画素とその周辺の所定の画素からなる第２周辺画素を前記入力画像からさらに抽出し、前記予測演算として、抽出された前記第２周辺画素と前記第２の処理係数との積和演算を行うことにより、前記注目画素の画素値を生成するステップを含み、前記特徴量の算出において、抽出された前記第１周辺画素のうち前記注目画素に対して所定画素離れた画素と、前記注目画素との画素値の差分を用いた微分特徴量か、または、前記注目画素を中心とする複数画素からなる基準ブロックの自己相関値と、前記基準ブロックから水平方向または垂直方向に所定画素ずらしたブロックの自己相関値との差分のいずれかを、前記特徴量として算出し、前記第１の処理係数は、前記学習装置により、生徒画像としての複数種類のボケ量のボケが付加されたボケ画像から前記特徴量と同様に抽出した学習用特徴量と前記第１の処理係数との積和演算により前記第２の処理係数が求められ、その第２の処理係数と、前記第２周辺画素と同様に前記生徒画像から抽出した複数画素との積和演算により、前記生徒画像のボケが付加されていない教師画像が生成されるとした関係式に基づく正規方程式を解くことにより求められる。
【００１２】
本発明の第１の側面のプログラムは、入力画像を、よりボケが軽減された出力画像に変換する画像処理を、コンピュータに実行させるプログラムであって、前記出力画像内の注目する画素である注目画素に対応する前記入力画像の画素とその周辺の所定の画素からなる第１周辺画素を抽出し、抽出された前記第１周辺画素から特徴量を算出し、前記特徴量と積和演算するための係数であって、学習装置により予め学習された第１の処理係数と、前記特徴量との積和演算により、予測演算に用いる係数である前記第２の処理係数を生成し、前記注目画素に対応する画素とその周辺の所定の画素からなる第２周辺画素を前記入力画像からさらに抽出し、前記予測演算として、抽出された前記第２周辺画素と前記第２の処理係数との積和演算を行うことにより、前記注目画素の画素値を生成するステップを含み、前記特徴量の算出において、抽出された前記第１周辺画素のうち前記注目画素に対して所定画素離れた画素と、前記注目画素との画素値の差分を用いた微分特徴量か、または、前記注目画素を中心とする複数画素からなる基準ブロックの自己相関値と、前記基準ブロックから水平方向または垂直方向に所定画素ずらしたブロックの自己相関値との差分のいずれかを、前記特徴量として算出し、前記第１の処理係数は、前記学習装置により、生徒画像としての複数種類のボケ量のボケが付加されたボケ画像から前記特徴量と同様に抽出した学習用特徴量と前記第１の処理係数との積和演算により前記第２の処理係数が求められ、その第２の処理係数と、前記第２周辺画素と同様に前記生徒画像から抽出した複数画素との積和演算により、前記生徒画像のボケが付加されていない教師画像が生成されるとした関係式に基づく正規方程式を解くことにより求められる処理をコンピュータに実行させる。
【００１３】
本発明の第１の側面においては、入力画像よりボケが軽減された出力画像内の注目する画素である注目画素に対応する入力画像の画素とその周辺の所定の画素からなる第１周辺画素が抽出され、抽出された第１周辺画素から特徴量が算出され、特徴量と積和演算するための係数であって、学習装置により予め学習された第１の処理係数と、特徴量との積和演算により、予測演算に用いる係数である第２の処理係数が生成され、注目画素に対応する画素とその周辺の所定の画素からなる第２周辺画素が入力画像からさらに抽出され、予測演算として、抽出された第２周辺画素と第２の処理係数との積和演算を行うことにより、注目画素の画素値が生成される。特徴量の算出において、抽出された第１周辺画素のうち注目画素に対して所定画素離れた画素と、注目画素との画素値の差分を用いた微分特徴量か、または、注目画素を中心とする複数画素からなる基準ブロックの自己相関値と、基準ブロックから水平方向または垂直方向に所定画素ずらしたブロックの自己相関値との差分のいずれかが、特徴量として算出され、第１の処理係数は、学習装置により、生徒画像としての複数種類のボケ量のボケが付加されたボケ画像から特徴量と同様に抽出した学習用特徴量と第１の処理係数との積和演算により第２の処理係数が求められ、その第２の処理係数と、第２周辺画素と同様に生徒画像から抽出した複数画素との積和演算により、生徒画像のボケが付加されていない教師画像が生成されるとした関係式に基づく正規方程式を解くことにより求められる。
【００１４】
本発明の第２の側面の学習装置は、生徒画像としての複数種類のボケ量のボケが付加されたボケ画像から、教師画像内の注目する画素である注目画素に対応する前記生徒画像の画素とその周辺の所定の画素からなる複数の画素を抽出する第１の画素抽出手段と、前記第１の画素抽出手段により抽出された前記複数の画素から第１の特徴量を算出する第１の特徴量算出手段と、前記生徒画像の前記注目画素に対応する画素とその周辺の所定の画素からなる複数の画素を前記生徒画像から抽出する第２の画素抽出手段と、前記第１の特徴量算出手段により抽出された前記第１の特徴量と第１の処理係数との積和演算により第２の処理係数が求められ、その第２の処理係数と、前記生徒画像から前記第２の画素抽出手段により抽出された複数画素との積和演算により、前記生徒画像のボケが付加されていない前記教師画像が生成されるとした関係式に基づく正規方程式を生成する正規方程式生成手段と、前記正規方程式を解法することにより、前記第１の処理係数を生成する係数生成手段とを備え、前記第１の特徴量算出手段は、前記第１の画素抽出手段により抽出された前記複数の画素のうち前記注目画素に対して所定画素離れた画素と、前記注目画素との画素値の差分を用いた微分特徴量か、または、前記注目画素を中心とする複数画素からなる基準ブロックの自己相関値と、前記基準ブロックから水平方向または垂直方向に所定画素ずらしたブロックの自己相関値との差分のいずれかを、前記第１の特徴量として算出する。
【００１６】
前記生徒画像に複数種類のボケ量のボケを付加して、前記複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、前記第１の特徴量を用いて第２の特徴量を算出する第２の特徴量算出手段とをさらに設け、前記第１の特徴量算出手段は、前記複数種類のボケ除去結果画像それぞれに対して前記微分特徴量を算出し、算出された前記微分特徴量を連結した特徴量コードを前記第１の特徴量として算出し、前記第２の特徴量算出手段は、前記特徴量コードに対応する、ぼけ具合を表すぼけパラメータを、前記第２の特徴量として算出し、前記正規方程式生成手段は、前記第１の特徴量に代えて前記第２の特徴量と、前記第１の処理係数との積和演算により前記第２の処理係数が求められるとした前記関係式に基づく正規方程式を生成することができる。
【００１７】
前記注目画素に対応する前記生徒画像の画素およびその周辺の所定の画素の画素値に応じて前記注目画素を所定のクラスに分類するクラス分類手段をさらに設け、前記係数生成手段は、前記クラス分類手段の分類結果のクラスごとに生成された前記正規方程式を解法することにより、クラスごとに前記第１の処理係数を生成することができる。
【００１８】
本発明の第２の側面においては、生徒画像としての複数種類のボケ量のボケが付加されたボケ画像から、教師画像内の注目する画素である注目画素に対応する生徒画像の画素とその周辺の所定の画素からなる複数の画素が抽出され、抽出された複数の画素から第１の特徴量が算出され、生徒画像の注目画素に対応する画素とその周辺の所定の画素からなる複数の画素が生徒画像から抽出され、抽出された第１の特徴量と第１の処理係数との積和演算により第２の処理係数が求められ、その第２の処理係数と生徒画像から第２の画素抽出手段により抽出された複数画素との積和演算により、生徒画像のボケが付加されていない教師画像が生成されるとした関係式に基づく正規方程式が生成され、正規方程式を解法することにより、第１の処理係数が生成される。第１の特徴量算出手段では、第１の画素抽出手段により抽出された複数の画素のうち注目画素に対して所定画素離れた画素と、注目画素との画素値の差分を用いた微分特徴量か、または、注目画素を中心とする複数画素からなる基準ブロックの自己相関値と、基準ブロックから水平方向または垂直方向に所定画素ずらしたブロックの自己相関値との差分のいずれかが、第１の特徴量として算出される。
【発明の効果】
【００１９】
本発明の第１の側面によれば、画像内で焦点距離の異なる被写体が複数含まれることによって生じているぼけを最適に除去することができる。
【００２０】
本発明の第２の側面によれば、画像内で焦点距離の異なる被写体が複数含まれることによって生じているぼけを最適に除去する画像処理装置に使用するための第１の処理係数を求めることができる。
【発明を実施するための最良の形態】
【００２１】
図１は、本発明を適用した画像処理装置の第１の実施の形態の構成例を示している。
【００２２】
図１の画像処理装置１は、注目画素設定部１１、予測画素抽出部１２、積和演算部１３、特徴量算出画素抽出部１４、特徴量算出部１５、係数生成部１６、および係数ROM１７により構成されている。
【００２３】
画像処理装置１には、被写体とカメラの距離に応じてぼけ量の異なるオブジェクト領域が複数存在する画像が入力画像として供給され、画像処理装置１は、その入力画像に対して、ぼけた箇所と、ぼけていない箇所の処理をそれぞれ適切に行うことにより、全体として入力画像のぼけ（ボケ）を除去した画像を出力画像として出力する。
【００２４】
注目画素設定部１１は、出力画像を構成する各画素を順に注目画素に設定する。
【００２５】
予測画素抽出部１２は、注目画素を予測するのに用いる画素として、入力画像の所定の領域内の画素（の画素値）を抽出する。ここで抽出される画素を、以下では、予測タップと称する。予測タップの最適な形状（抽出する範囲）は、動きぼけやピンぼけなど、想定される入力画像の劣化の状態（劣化モデル）によって異なるが、本実施の形態のように、レンズの焦点ずれによるピンぼけを想定する場合には、例えば、図２に示されるような、入力画像の、注目画素に対応する画素を中心として円状の領域内の画素を予測タップとして抽出する。
【００２６】
積和演算部１３は、予測画素抽出部１２から供給される予測タップの画素値と、係数生成部１６から供給される予測タップに対応する処理係数との積和演算により、注目画素の画素値を求め、出力する。
【００２７】
ここで、予測タップを構成する画素の画素値をｘ1乃至ｘNとし、画素値ｘ1乃至ｘNに対応する処理係数をｗ1乃至ｗNとすると、注目画素の画素値ｚを求める積和演算は、次式（１）で表すことができる。
【００２８】
【数１】
0005061883.tif 000002
【００２９】
式（１）は、画素値ｘ1乃至ｘNを成分とする画素値ベクトルＸと、処理係数ｗ1乃至ｗNを成分とする処理係数ベクトルＷで表すと、式（２）と書くことができる。
【００３０】
【数２】
0005061883.tif 000003
【００３１】
特徴量算出画素抽出部１４は、注目画素の特徴量を算出するための画素を入力画像から抽出し、特徴量算出部１５に供給する。具体的には、特徴量算出画素抽出部１４は、注目画素に対応する入力画像の画素と、その周辺の所定の画素を、注目画素の特徴量を算出するための画素として抽出し、特徴量算出部１５に供給する。
【００３２】
特徴量算出部１５は、特徴量算出画素抽出部１４から供給された画素（の画素値）を用いて、注目画素の特徴量を算出する。ここで、注目画素の座標値を（ｘ，ｙ）、その特徴量をｐ（ｘ，ｙ）とすると、注目画素（ｘ，ｙ）の特徴量ｐ（ｘ，ｙ）としては、例えば、注目画素と、そこから水平方向（ｘ方向）、垂直方向（ｙ方向）、または斜め方向にｉd画素離れた画素との式（３），（４）、または（５）で表される１次微分特徴量や、式（６），（７）、または（８）で表される２次微分特徴量を採用することができる。
【００３３】
ｐ（ｘ，ｙ）＝｜Ｘ（ｘ，ｙ）−Ｘ（ｘ＋ｉd，ｙ）｜    ・・・・・（３）
ｐ（ｘ，ｙ）＝｜Ｘ（ｘ，ｙ）−Ｘ（ｘ，ｙ＋ｉd）｜    ・・・・・（４）
ｐ（ｘ，ｙ）＝｜Ｘ（ｘ，ｙ）−Ｘ（ｘ＋ｉd，ｙ＋ｉd）｜・・・・・（５）
ｐ（ｘ，ｙ）＝｜２×Ｘ（ｘ，ｙ）−Ｘ（ｘ＋ｉd，ｙ）−Ｘ（ｘ−ｉd，ｙ）｜
・・・・・（６）
ｐ（ｘ，ｙ）＝｜２×Ｘ（ｘ，ｙ）−Ｘ（ｘ，ｙ＋ｉd）−Ｘ（ｘ，ｙ−ｉd）｜
・・・・・（７）
ｐ（ｘ，ｙ）＝｜２×Ｘ（ｘ，ｙ）−Ｘ（ｘ＋ｉd，ｙ＋ｉd）−Ｘ（ｘ−ｉd，ｙ−ｉd）｜
・・・・・（８）
【００３４】
また、例えば、図３に示されるように、注目画素（ｘ，ｙ）を中心として水平方向にＭ画素、垂直方向にＮ画素からなる基準ブロックを重ねたときの自己相関値Corr(０)と、基準ブロックを水平方向または垂直方向にｉd画素ずらしたときの自己相関値Corr(ｉd)を算出し、Corr(０)とCorr(ｉd)の差分（Corr(０)−Corr(ｉd)）を、特徴量ｐ（ｘ，ｙ）とすることもできる。
【００３５】
注目画素（ｘ，ｙ）を中心として水平方向にＭ画素、垂直方向にＮ画素からなる基準ブロックを水平方向にｉd画素ずらしたときの自己相関値Corr(ｉd)は、次式（９）で表すことができる。
【００３６】
【数３】
0005061883.tif 000004
【００３７】
式（９）において、ｇ（ｕ，ｖ）は、基準ブロック内の各画素の画素値を表し、Ｍ1は、式（１０）で表され、基準ブロック内の画素値の平均値を表す。また、ｇ（ｕ＋ｉd，ｖ）は、基準ブロックをｘ方向にｉd画素ずらしたブロック内の各画素の画素値を表し、Ｍ2は、式（１１）で表され、そのブロック内の画素値の平均値を表す。
【００３８】
【数４】
0005061883.tif 000005
【００３９】
また、Ｖ1およびＶ2は、それぞれ、式（１２）および式（１３）で表される値である。
【００４０】
【数５】
0005061883.tif 000006
【００４１】
注目画素（ｘ，ｙ）を中心とする基準ブロックを、垂直方向に、ｉd画素ずらしたときの自己相関値Corr(ｉd)は、次式（１４）で表すことができる。
【００４２】
【数６】
0005061883.tif 000007
【００４３】
そして、このときの、Ｍ1，Ｍ2，Ｖ1，およびＶ2は、それぞれ、式（１５），（１６），（１７）、および（１８）で求められる。
【００４４】
【数７】
0005061883.tif 000008
【００４５】
図１に戻り、係数生成部１６は、各予測タップに対応する処理係数を成分とする処理係数ベクトルＷを生成し、積和演算部１３に供給する。即ち、係数生成部１６は、式（２）の処理係数ベクトルＷを生成する。より具体的には、係数生成部１６は、処理係数ベクトルＷを、各予測タップ（画素）における特徴量を成分とする特徴量ベクトルｐと演算用係数ベクトルＷをｋ次の次数まで展開した式（１９）により生成する。
【００４６】
【数８】
0005061883.tif 000009
【００４７】
なお、式（１９）は、初期値である演算用係数ベクトルＷ0を分離すると、式（２０）のように書くことができる。
【００４８】
【数９】
0005061883.tif 000010
【００４９】
いま、式（１９）の処理係数ベクトルＷのうち、予測タップのうちの１つである予測タップ（ｉ，ｊ）に着目すると、予測タップ（ｉ，ｊ）の処理係数Ｗ（ｉ，ｊ）は、式（２１）で表すことができる。
【００５０】
【数１０】
0005061883.tif 000011
【００５１】
したがって、係数生成部１６は、予測タップ（ｉ，ｊ）のｋ個の演算用係数Ｗ0（ｉ，ｊ），Ｗ1（ｉ，ｊ），・・・，Ｗk（ｉ，ｊ）を係数ROM１７から取得し、特徴量算出部１５から供給される特徴量ｐ（ｘ，ｙ）を用いた式（２１）の積和演算をすることにより、予測タップ（ｉ，ｊ）の処理係数Ｗ（ｉ，ｊ）を求める。そして、すべての予測タップについての処理係数が求められると、係数生成部１６は、注目画素（ｘ，ｙ）の処理係数ベクトルＷを積和演算部１３に供給する。
【００５２】
係数ROM１７は、係数生成部１６に供給する、ｋ個の演算用係数ベクトルＷ0乃至Ｗkを記憶する。予測タップ（ｉ，ｊ）について言えば、係数ROM１７は、ｋ個の演算用係数Ｗ0（ｉ，ｊ），Ｗ1（ｉ，ｊ），・・・，Ｗk（ｉ，ｊ）を記憶する。ここに記憶される演算用係数ベクトルＷ0乃至Ｗkは、図５を参照して後述する学習装置５１で求められたものである。
【００５３】
次に、図４のフローチャートを参照して、図１の画像処理装置１によるぼけ除去処理について説明する。
【００５４】
初めに、ステップＳ１において、注目画素設定部１１は、出力画像の所定の画素を注目画素に設定する。
【００５５】
ステップＳ２において、予測画素抽出部１２は、予測タップを抽出する。例えば、入力画像の図２に示される円状の領域内の各画素が予測タップとして抽出される。
【００５６】
ステップＳ３において、特徴量算出画素抽出部１４は、注目画素の特徴量を算出するための画素を入力画像から抽出し、特徴量算出部１５に供給する。
【００５７】
ステップＳ４において、特徴量算出部１５は、特徴量算出画素抽出部１４から供給された画素（の画素値）を用いて、注目画素の特徴量を算出する。算出された特徴量は、係数生成部１６に供給される。
【００５８】
ステップＳ５において、係数生成部１６は、処理係数ベクトルＷを生成し、積和演算部１３に供給する。例えば、予測タップ（ｉ，ｊ）については、係数生成部１６は、ｋ個の演算用係数Ｗ0（ｉ，ｊ），Ｗ1（ｉ，ｊ），・・・，Ｗk（ｉ，ｊ）を係数ROM１７から取得し、式（２１）の積和演算により、処理係数Ｗ（ｉ，ｊ）を求めることができる。
【００５９】
ステップＳ６において、積和演算部１３は、式（２）により、注目画素の画素値を算出し、出力する。すなわち、積和演算部１３は、予測画素抽出部１２から供給される予測タップの画素値と、係数生成部１６から供給される予測タップに対応する処理係数との積和演算により、注目画素の画素値を求め、出力する。
【００６０】
ステップＳ７において、注目画素設定部１１は、出力画像の全画素について画素値を求めたかを判定する。ステップＳ７で、出力画像の全画素について出力画素値を求めていないと判定された場合、処理はステップＳ１に戻り、それ以降の処理が再度実行される。即ち、まだ画素値が求められていない出力画像の画素が注目画素に設定され、画素値が求められる。
【００６１】
一方、ステップＳ７で、出力画像の全画素について画素値を求めたと判定された場合、処理は終了する。
【００６２】
以上のように、画像処理装置１は、入力画像の各画素のぼけ量を特徴量として算出し、特徴量と演算用係数との積和演算により最適な処理係数を算出することで、特徴量に応じた最適な処理を行ってぼけを除去する。これにより、画像内で焦点距離の異なる被写体が複数含まれる場合であっても、画面全体において焦点があった画像を出力することができる。
【００６３】
次に、画像処理装置１の係数ROM１７に記憶される演算用係数を求める学習について説明する。
【００６４】
図５は、図１の係数ROM１７に記憶される演算用係数を求める学習装置の構成例を示すブロック図である。
【００６５】
図５の学習装置５１は、注目画素設定部６０、３種類の異なるぼけ量のぼけ画像を生成するぼけ画像生成部６１−１乃至６１−３、正規方程式加算部６２、および行列演算部６３により構成されている。
【００６６】
学習装置５１には、ぼけのない画像が教師画像として入力される。注目画素設定部６０は、教師画像として入力された入力画像の所定の画素を注目画素に設定する。
【００６７】
ぼけ画像生成部６１−１は、ぼけ付加部７１−１、特徴量算出画素抽出部７２−１、特徴量抽出部７３−１、および予測画素抽出部７４−１により構成されている。
【００６８】
ぼけ付加部７１−１は、入力画像に対して擬似的にぼけを付加してぼけ画像を生成し、特徴量算出画素抽出部７２−１および予測画素抽出部７４−１に供給する。具体的には、ほけ付加部７１−１は、次式（２２）に従って、注目画素（ｘ，ｙ）に対してぼけ画像を生成する。
【００６９】
【数１１】
0005061883.tif 000012
【００７０】
式（２２）におけるＸin（x＋id，y＋jd）は、ぼけが発生していない入力画像（教師画像）の座標（x＋id，y＋jd）の画素値を表し、これに重み付け係数Ｗg（id，jd）を乗算した値をたたみ込むことで、ぼけが発生した生徒画像の画素（x，y）の画素値ｚg（x，y）が発生するものとされる。ここで、重み付け係数Ｗg（id，jd）としては、例えば、次式に示されるような、レンズの焦点ずれによるぼけを表したガウス関数が採用される。
【００７１】
【数１２】
0005061883.tif 000013
【００７２】
図６は、式（２３）で表される劣化モデルの例を表しており、ぼけに対応するパラメータであるパラメータσの値が大きくなるほど、ぼけも大きくなる。逆に、パラメータσの値が小さいと、ぼけも小さくなる。
【００７３】
式（２２）と式（２３）によれば、ｘ座標がx＋idで、ｙ座標がy＋jdの位置にある画素から、ｘ座標がｘで、ｙ座標がｙの位置にある注目画素に拡散される画素値を積算することにより、注目画素に対応する画素のぼけ付加後の画素値が求められる。
【００７４】
特徴量算出画素抽出部７２−１は、図１の特徴量算出画素抽出部１４と同様に、特徴量を算出するための画素をぼけ画像（生徒画像）から抽出し、特徴量算出部７３−１に供給する。
【００７５】
特徴量抽出部７３−１は、図１の特徴量算出部１５と同様に、特徴量算出画素抽出部７２−１から供給された画素（の画素値）を用いて、注目画素の特徴量を算出する。ここで採用される特徴量は、特徴量算出部１５と同一のものである。
【００７６】
予測画素抽出部７４−１は、図１の予測画素抽出部１２と同様に、注目画素に対して、ぼけ画像の所定の領域内の画素（の画素値）を予測タップとして抽出する。
【００７７】
特徴量抽出部７３−１により抽出された注目画素の特徴量と、予測画素抽出部７４−１により抽出された予測タップは、正規方程式加算部６２に供給される。
【００７８】
ぼけ画像生成部６１−２は、ぼけ付加部７１−２、特徴量算出画素抽出部７２−２、特徴量抽出部７３−２、および予測画素抽出部７４−２により構成され、ぼけ画像生成部６１−３は、ぼけ付加部７１−３、特徴量算出画素抽出部７２−３、特徴量抽出部７３−３、および予測画素抽出部７４−３により構成されている。
【００７９】
ぼけ画像生成部６１−２と６１−３内の各部は、ぼけ付加部７１−２および７１−３が生成するぼけ画像のぼけ量が、ぼけ付加部７１−１が生成するぼけ画像のものと異なる以外は同様であるので、その説明を省略する。
【００８０】
なお、本実施の形態では、ぼけ画像生成部６１−１乃至６１−３を設けることにより、３種類の異なるぼけ量のぼけ画像を生成し、その特徴量や予測タップ（の画素値）を正規方程式加算部６２に供給するものとするが、３種類以外の種類数の異なるぼけ量のぼけ画像を生成し、その特徴量や予測タップ（の画素値）を正規方程式加算部６２に供給するようにしてもよいことは勿論である。種類が多い方が、より様々なぼけ量に対応できる。
【００８１】
正規方程式加算部６２は、教師画像としての入力画像と、ぼけ画像生成部６１−１乃至６１−３から供給される各ぼけ画像およびその特徴量を用いて、正規方程式を立てる。
【００８２】
演算用係数ベクトルＷ0乃至Ｗkを求めるために、演算用係数ベクトルＷ0乃至Ｗkが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、式（２４）で表される関数Ｑを最小にする演算用係数ベクトルＷ0乃至Ｗkを求めることで、最適な演算用係数ベクトルＷ0乃至Ｗkを求めることができる。
【００８３】
【数１３】
0005061883.tif 000014
【００８４】
式（２４）において、Ｎは学習に用いるサンプル数であり、Ｔは行列（ベクトル）の転置を表す。また、式（２４）のＸm＝｛ｘm1，ｘm2，・・・，ｘmN｝は生徒画像（ぼけ画像）の予測タップの画素値、ｚmは、その際の教師画像（入力画像）の画素値である。
【００８５】
式（２４）を、すべての変数に対して偏微分をとり、その値が０となるように足し込み行列を構築すると、図７のようになる。
【００８６】
正規方程式加算部６２は、教師画像としての入力画像と、ぼけ画像生成部６１−１乃至６１−３から供給される各ぼけ画像およびその特徴量を用いて、図７の足し込み行列を計算し、正規方程式を完成させる。
【００８７】
行列演算部６３は、正規方程式加算部６２で完成された正規方程式を解くことにより、演算用係数ベクトルＷ0乃至Ｗkを求める。
【００８８】
図８は、学習装置５１による学習処理のフローチャートである。
【００８９】
初めに、ステップＳ２１において、ぼけ画像生成部６１−１のぼけ付加部７１−１は、入力画像に所定のぼけ量を付加した生徒画像としてのぼけ画像を生成する。ぼけ付加部７１−２と７１−３も同様に、入力画像からぼけ画像を生成する。なお、ぼけ付加部７１−１乃至７１−３が生成するぼけ画像のぼけ量は異なる。
【００９０】
ステップＳ２２において、注目画素設定部６０は、教師画像（入力画像）の所定の画素を注目画素に設定する。
【００９１】
ステップＳ２３において、特徴量算出画素抽出部７２−１は、特徴量を算出するための画素をぼけ画像（生徒画像）から抽出し、特徴量算出部７３−１に供給する。特徴量算出画素抽出部７２−２と７２−３も同様に、特徴量を算出するための画素をぼけ画像（生徒画像）から抽出する。
【００９２】
ステップＳ２４において、特徴量抽出部７３−１は、特徴量算出画素抽出部７２−１から供給された画素（の画素値）を用いて、注目画素の特徴量を算出する。特徴量抽出部７３−２と７３−３も同様に、注目画素の特徴量を算出する。
【００９３】
ステップＳ２５において、予測画素抽出部７４−１は、ぼけ付加部７１−１から供給されたぼけ画像から、予測タップを抽出する。予測画素抽出部７４−２と７４−３も同様に、ぼけ付加部７１−２と７１−３からそれぞれ供給されたぼけ画像から、予測タップを抽出する。
【００９４】
ステップＳ２６において、正規方程式加算部６２は、足し込みを行う。即ち、正規方程式加算部６２は、ぼけ画像生成部６１−１乃至６１−３から供給される各ぼけ画像における予測タップの画素値と、注目画素の画素値および特徴量を、図７の足し込み行列に足し込む。
【００９５】
ステップＳ２７において、注目画素設定部６０は、教師画像の全画素を注目画素としたかを判定する。ステップＳ２７で、教師画像の全画素をまだ注目画素としていないと判定された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返される。
【００９６】
一方、ステップＳ２７で、教師画像の全画素を注目画素としたと判定された場合、処理はステップＳ２８に進む。なお、上述したステップＳ２１乃至Ｓ２７の説明では、１枚の教師画像に対する処理として説明したが、実際には、学習に用いるサンプル数分のすべての教師画像に対してステップＳ２１乃至Ｓ２７の処理が終了した後に、処理がステップＳ２８に進められる。
【００９７】
ステップＳ２８において、行列演算部６３は、正規方程式加算部６２で完成された正規方程式を解くことにより、演算用係数ベクトルＷ0乃至Ｗkを求めて、処理を終了する。
【００９８】
以上のように、学習装置５１による学習処理では、入力画像に複数種類のボケ量のボケが付加された生徒画像としての複数種類のボケ画像より求められる特徴量ベクトルｐと演算用係数ベクトルＷ0乃至Ｗk（第１の処理係数）との演算により処理係数ベクトルＷ（第２の処理係数）を求め、その処理係数ベクトルＷと生徒画像との演算によりボケが付加されていない教師画像としての入力画像を生成する関係式を解法するために、生徒画像としてのボケ画像の画素値と教師画像としての入力画像の画素値を用いて正規方程式が生成され、その正規方程式を解法することにより、演算用係数ベクトルＷ0乃至Ｗkが生成される。そして、求められた演算用係数ベクトルＷ0乃至Ｗkが、画像処理装置１の係数ROM１７に記憶される。
【００９９】
次に、画像処理装置のその他の実施の形態について説明する。
【０１００】
図９は、本発明を適用した画像処理装置の第２の実施の形態の構成例を示すブロック図である。
【０１０１】
図９において、図１の画像処理装置１と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
【０１０２】
画像処理装置１００では、クラス分類画素抽出部１０１とクラス分類部１０２が新たに設けられており、さらに、係数生成部１６と係数ROM１７に代えて、係数生成部１０３と係数ROM１０４が設けられている。
【０１０３】
クラス分類画素抽出部１０１は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる画素として、入力画像の画素の幾つかを抽出する。クラス分類画素抽出部１０１により抽出される画素をクラスタップと称する。クラスタップは、予測画素抽出部１２が抽出する予測タップと同一のものでもよいし、異なっていてもよい。
【０１０４】
クラス分類部１０２は、クラス分類画素抽出部１０１からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数生成部１０３に供給する。
【０１０５】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【０１０６】
ADRCを用いる方法では、クラスタップを構成する画素（の画素値）が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【０１０７】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各画素の画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（再量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【０１０８】
なお、クラス分類部１０２には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Kビットが割り当てられているとすると、クラス分類部１０２が出力するクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Kに指数的に比例した膨大な数となる。
【０１０９】
従って、クラス分類部１０２においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
【０１１０】
係数ROM１０４は、演算用係数ベクトルＷ0乃至Ｗkをクラスごとに記憶しており、係数生成部１０３は、クラス分類部１０２から供給されるクラスの演算用係数ベクトルＷ0乃至Ｗkを係数ROM１０４から取得し、式（１９）にしたがって処理係数ベクトルＷを求め、積和演算部１３に供給する。
【０１１１】
係数ROM１０４に記憶される演算用係数ベクトルを学習する学習装置は、クラス分類画素抽出部１０１とクラス分類部１０２と同様のクラス分類画素抽出部とクラス分類部を設け、入力画像（教師画像）をクラス分類し、クラスごとに演算用係数ベクトルを求める以外は、図５の学習装置５１と同様である。
【０１１２】
図１０は、本発明を適用した画像処理装置の第３の実施の形態の構成例を示すブロック図である。
【０１１３】
図１０において、図１の画像処理装置１と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
【０１１４】
即ち、図１０の画像処理装置１２０では、図１の特徴量抽出部１４と特徴量算出部１５に代えて、特徴量抽出部１２１が設けられている。
【０１１５】
図１１は、特徴量抽出部１２１の詳細な構成例を示すブロック図である。
【０１１６】
特徴量抽出部１２１は、ぼけ除去処理部１４０ａ乃至１４０ｆ、特徴量算出部１４１ａ乃至１４１ｆ、縮退部１４２ａ乃至１４２ｆ、連結部１４３、確率分布DB（Data Base）１４４、および、ぼけ量判定部１４５により構成されている。
【０１１７】
ぼけ除去処理部１４０ａ乃至１４０ｆは、入力画像に対してぼけ除去処理を施し、ぼけ除去結果画像を生成する。ぼけ除去処理部１４０ａ乃至１４０ｆが除去する画像のぼけ量はそれぞれ異なり、例えば、ぼけ除去処理部１４０ａ乃至１４０ｆの順に除去するぼけ量が大となる。ぼけ除去処理部１４０ａ乃至１４０ｆでは、注目画素を基準に特定された入力画像の所定の範囲の画素の画素値と、それに対応する予め学習により得られたぼけ除去係数との積和演算によって、注目画素のぼけ除去後の画素値（即ち、ぼけ除去結果画像の画素値）が求められるようになされている。
【０１１８】
特徴量算出部１４１ａ乃至１４１ｆそれぞれは、注目画素に対して設定される入力画像の所定の領域内の各画素について特徴量を算出し、縮退部１４２ａ乃至１４２ｆに供給する。例えば、特徴量算出部１４１ａ乃至１４１ｆは、上述した式（３）乃至（８）で表されるいずれかの微分系特徴量を算出し、縮退部１４２ａ乃至１４２ｆに供給する。
【０１１９】
縮退部１４２ａ乃至１４２ｆは、それぞれ、特徴量算出部１４１ａ乃至１４１ｆから供給される特徴量に対して、ビットの縮退処理を行う。例えば、特徴量算出部１４１ａ乃至１４１ｆから供給される特徴量が８ビットである場合に、LSB (Least Significant Bit)の３ビットを削除し、５ビットに縮退して出力する。なお、縮退部１４２ａ乃至１４２ｆでは、連結部１４３がぼけ量判定部１４５に供給する特徴量コードの分類数が適切な数となるように、実験などによって予め縮退量が決定されている。
【０１２０】
連結部１４３は、縮退部１４２ａ乃至１４２ｆから供給される縮退後の特徴量を所定の順序で連結した特徴量コードをぼけ量判定部１４５に供給する。
【０１２１】
確率分布DB１４４は、図示せぬDB生成装置で生成された情報に基づく、各特徴量コードについての、ぼけパラメータσごとの確率を記憶する。
【０１２２】
DB生成装置では、式（２３）のぼけパラメータσを様々な値に設定して、それにより生成された様々なぼけ量のぼけ画像に対して、ぼけ除去処理部１４０ａ乃至１４０ｆ、特徴量算出部１４１ａ乃至１４１ｆ、縮退部１４２ａ乃至１４２ｆ、および連結部１４３と同様の構成によって特徴量コードが決定され、決定された特徴量コードの情報をぼけパラメータσの情報とともに蓄積することで、各特徴量コードの度数（特徴量コードの総発生回数）とともに、特徴量コードのそれぞれにおける、各ぼけパラメータσの度数（発生回数）の情報が蓄積される。確率分布DB１４４には、そのようにしてDB生成装置で蓄積された情報に基づいて、各ぼけパラメータの度数（発生回数）を、その特徴量コードの度数（特徴量コードの総発生回数）で除算した値であるぼけパラメータσごとの確率を、すべての特徴量コードについて記憶している。
【０１２３】
ぼけ量判定部１４５は、確率分布DB１４４を参照して、連結部１４３から供給された特徴量コードに対応するぼけ量を特徴量として出力する。より詳しくは、ぼけ量判定部１４５は、連結部１４３から供給された特徴量コードと同一の特徴量コードの、ぼけパラメータσごとの確率を確率分布DB１４４において特定し、特定したぼけパラメータσごとの確率のうち、最も確率の高いぼけパラメータσを、注目画素（ｘ，ｙ）の特徴量ｐ（ｘ，ｙ）として出力する。
【０１２４】
以上のように、係数生成部１６に供給される特徴量を、第１および第２の実施の形態で使用した式（３）乃至（８）で表される微分系特徴量のような線形特徴量の他、第３の実施の形態のように線形和では求められない非線形特徴量とすることも可能である。
【０１２５】
図１０の画像処理装置１２０の係数ROM１７に記憶される演算用係数ベクトルを学習する学習装置は、特徴量の算出が、図１１の特徴量抽出部１２１と同様のものに変更される以外は、図５の学習装置５１と同様である。
【０１２６】
なお、図１１の特徴量抽出部１２１については、さらなる変形が可能である。例えば、上述したように注目画素のみで最も確率の高いぼけパラメータσを特徴量として出力するのではなく、注目画素周辺の複数の画素それぞれで最も確率の高いぼけパラメータσを求め、同一のぼけパラメータσどうしを加算した加算確率の最も高いぼけパラメータσを特徴量として出力するようにしてもよい。
【０１２７】
また例えば、画像中の平坦な箇所にノイズがのった場合の、ぼけ量の誤検出の対策として、ノイズを判別するDBを備え、ノイズであると判別されたぼけパラメータσは採用しないようにした上で、最も確率（または加算確率）の高いぼけパラメータσを出力するなども可能である。
【０１２８】
本発明の画像処理装置（画像処理装置１、画像処理装置１００、および画像処理装置１２０）においては、各画素の特徴量に応じて最適な処理係数を用いて出力画像を生成するので、画像内で焦点距離の異なる被写体が複数含まれることによって生じているぼけを最適に除去することができる。
【０１２９】
演算用係数ベクトルＷ0乃至Ｗkは、学習装置の最小自乗法を用いた処理によって最適化されているため、特徴量ごとに処理係数を切替える場合の選択ミスを回避でき、画像に破綻が生じにくいという効果を奏する。また、本発明の画像処理装置では、特徴量ごとに処理係数ベクトルＷを保持する場合と比べると、保持する情報量を削減することもできる。
【０１３０】
なお、上述した例では、算出される特徴量が１種類の例について説明したが、２種類以上の特徴量を用いて、演算用係数ベクトルＷ0乃至Ｗkを決定することも可能である。
【０１３１】
例えば、特徴量ベクトルｐとｑの２種類の特徴量によって処理係数ベクトルＷが決定される場合、上述した式（１９）に対応する、処理係数ベクトルＷを生成するときの式は、式（２５）で表すことができる。
【０１３２】
【数１４】
0005061883.tif 000015
【０１３３】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１３４】
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１３５】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１３６】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０１３７】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１３８】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１３９】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１４０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４１】
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４２】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１４３】
【図１】本発明を適用した画像処理装置の第１の実施の形態の構成例を示すブロック図である。
【図２】予測タップの例を示す図である。
【図３】自己相関値を説明する図である。
【図４】図１の画像処理装置によるぼけ除去処理について説明するフローチャートである。
【図５】本発明を適用した学習装置の実施の形態の構成例を示すブロック図である。
【図６】ぼけモデルの例を示す図である。
【図７】足し込み行列を説明する図である。
【図８】学習処理を説明するフローチャートである。
【図９】本発明を適用した画像処理装置の第２の実施の形態の構成例を示すブロック図である。
【図１０】本発明を適用した画像処理装置の第３の実施の形態の構成例を示すブロック図である。
【図１１】図１０の特徴量抽出部の詳細な構成例を示すブロック図である。
【図１２】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０１４４】
１  画像処理装置，  １２  予測画素抽出部，  １３  積和演算部，  １４  特徴量算出画素抽出部，  １５  特徴量算出部，  １６  係数生成部，  １７  係数ROM，  ５１  学習装置，  ６２  正規方程式加算部，  ６３  行列演算部，  １００  画像処理装置，  １０１  クラス分類画素抽出部，  １０２  クラス分類部，  １０３  係数生成部，  １０４  係数ROM，  １２０  画像処理装置，  １２１  特徴量抽出部，  １４０ａ乃至１４０ｆ  ぼけ除去処理部，  １４１ａ乃至１４１ｆ  特徴量算出部，  １４４  確率分布DB，  １４５  ぼけ量判定部
【図１】
0005061883.tif 000016
【図２】
0005061883.tif 000017
【図３】
0005061883.tif 000018
【図４】
0005061883.tif 000019
【図５】
0005061883.tif 000020
【図６】
0005061883.tif 000021
【図７】
0005061883.tif 000022
【図８】
0005061883.tif 000023
【図９】
0005061883.tif 000024
【図１０】
0005061883.tif 000025
【図１１】
0005061883.tif 000026
【図１２】
0005061883.tif 000027