(57)【要約】【課題】画素位置に応じたイメージセンサの特性を考慮して撮像画像を高画質化すること。【解決手段】第１画像に含まれる複数の画素であって、当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を予測タップとして抽出する予測タップ抽出部と、前記注目画素の前記第２画像における画素位置に応じて、当該注目画素のクラスを決定するクラス分類部と、前記第２画像の画質を有する予め取得された教師画像と、当該教師画像に画素位置に応じて異なるフィルタを適用して生成された前記第１画像の画質を有する生徒画像とを用いて、前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数を前記クラス分類部により決定された前記クラスごとに算出する係数算出部と、を備える学習装置を提供する。【選択図】図７
2010066925.tif 000002
【特許請求の範囲】
【請求項１】
第１画像よりも高質な第２画像の画質を有する予め取得された教師画像に画素位置に応じて異なるフィルタを適用することにより、前記第１画像の画質を有する生徒画像を生成する生徒画像生成部と；
前記生徒画像に含まれる複数の画素であって前記教師画像を予測する際に注目される注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と；
前記注目画素の画素位置に応じて、当該注目画素のクラスを決定するクラス分類部と；
前記予測タップの画素値から前記教師画像における前記注目画素の画素値を予測するために用いられる予測係数を前記クラス分類部により決定された前記クラスごとに算出する係数算出部と；
を備える学習装置。
【請求項２】
前記クラス分類部は、前記教師画像の中心位置から前記注目画素の画素位置までの距離に応じて前記クラスを決定する、請求項１に記載の学習装置。
【請求項３】
前記第１画像は、イメージセンサにより撮像される撮像画像であって、
前記生徒画像生成部は、画素位置に応じた前記イメージセンサの固有の集光特性を反映させたフィルタを前記教師画像に適用することにより、前記生徒画像を生成する、請求項１又は請求項２のいずれかに記載の学習装置。
【請求項４】
前記生徒画像生成部は、前記フィルタの特性を画素位置に応じて連続的に変化させて前記生徒画像を生成する、請求項１〜３のいずれかに記載の学習装置。
【請求項５】
前記係数算出部は、さらに、前記クラスごとに算出された前記予測係数を用いて、各クラスを代表する代表画素位置の間の画素位置に対応する予測係数を線形補間により算出する、請求項１〜３のいずれかに記載の学習装置。
【請求項６】
前記第１画像は、イメージセンサを含むカメラを用いて撮像された撮像画像であって、
前記クラス分類部は、さらに、前記教師画像が前記カメラにより撮像された際の当該カメラの特徴又は状態を表すカメラパラメータに応じて前記クラスを決定する、請求項１に記載の学習装置。
【請求項７】
前記学習装置は、前記生徒画像に含まれる複数の画素であって、前記注目画素の近傍の画素位置に対応する複数の画素をクラスタップとして抽出するクラスタップ抽出部、をさらに備え、
前記クラス分類部は、前記クラスタップの画素値のパターンと前記注目画素の画素位置とに応じて前記クラスを決定する、
請求項１に記載の学習装置。
【請求項８】
第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と；
前記注目画素の前記第２画像における画素位置に応じて、当該注目画素のクラスを決定するクラス分類部と；
前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数であって、前記第２画像の画質を有する予め取得された教師画像と、当該教師画像に画素位置に応じて異なるフィルタを適用して生成された前記第１画像の画質を有する生徒画像とを用いて前記クラスごとに算出された予測係数を記憶している記憶部と；
前記予測タップの画素値と前記記憶部から取得された前記予測係数とを線形一次結合することにより、前記注目画素の画素値に相当する予測値を計算する予測演算部と；
を備える画像処理装置。
【請求項９】
前記クラス分類部は、前記第２画像の中心位置から前記注目画素の画素位置までの距離に応じて前記クラスを決定する、請求項８に記載の画像処理装置。
【請求項１０】
前記第１画像は、イメージセンサにより撮像された撮像画像であって、
前記生徒画像は、画素位置に応じた前記イメージセンサの固有の集光特性を反映させたフィルタを前記教師画像に適用して生成された画像である、請求項８又は請求項９のいずれかに記載の画像処理装置。
【請求項１１】
前記生徒画像は、画素位置に応じて連続的に特性の変化するフィルタを前記教師画像に適用して生成された画像である、請求項８〜１０のいずれかに記載の画像処理装置。
【請求項１２】
前記予測演算部は、さらに、前記記憶部から取得された前記クラスごとの前記予測係数を用いて、各クラスを代表する代表画素位置の間の画素位置に対応する予測係数を線形補間により算出する、請求項８〜１０のいずれかに記載の画像処理装置。
【請求項１３】
前記第１画像は、イメージセンサを含むカメラを用いて撮像された撮像画像であって、
前記クラス分類部は、さらに、前記第１画像が前記カメラにより撮像された際の当該カメラの特徴又は状態を表すカメラパラメータに応じて前記クラスを決定する、請求項８に記載の画像処理装置。
【請求項１４】
前記画像処理装置は、前記第１画像に含まれる複数の画素であって、前記注目画素の近傍の画素位置に対応する複数の画素をクラスタップとして抽出するクラスタップ抽出部、をさらに備え、
前記クラス分類部は、前記クラスタップの画素値のパターンと前記注目画素の画素位置とに応じて前記クラスを決定する、
請求項８に記載の画像処理装置。
【請求項１５】
第１画像よりも高質な第２画像の画質を有する予め取得された教師画像に画素位置に応じて異なるフィルタを適用することにより、前記第１画像の画質を有する生徒画像を生成する生徒画像生成ステップと；
前記生徒画像に含まれる複数の画素であって前記教師画像を予測する際に注目される注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出ステップと；
前記注目画素の画素位置に応じて、当該注目画素のクラスを決定するクラス分類ステップと；
前記予測タップの画素値から前記教師画像における前記注目画素の画素値を予測するために用いられる予測係数を前記クラス分類ステップにおいて決定された前記クラスごとに算出する係数算出ステップと；
を含む学習方法。
【請求項１６】
学習装置を制御するコンピュータを：
第１画像よりも高質な第２画像の画質を有する予め取得された教師画像に画素位置に応じて異なるフィルタを適用することにより、前記第１画像の画質を有する生徒画像を生成する生徒画像生成部と；
前記生徒画像に含まれる複数の画素であって前記教師画像を予測する際に注目される注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と；
前記注目画素の画素位置に応じて、当該注目画素のクラスを決定するクラス分類部と；
前記予測タップの画素値から前記教師画像における前記注目画素の画素値を予測するために用いられる予測係数を前記クラス分類部により決定された前記クラスごとに算出する係数算出部と；
として機能させるための、プログラム。
【請求項１７】
第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出ステップと；
前記注目画素の前記第２画像における画素位置に応じて、当該注目画素のクラスを決定するクラス分類ステップと；
前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数であって、前記第２画像の画質を有する予め取得された教師画像と、当該教師画像に画素位置に応じて異なるフィルタを適用して生成された前記第１画像の画質を有する生徒画像とを用いて前記クラスごとに算出された予測係数を記憶している記憶部から、前記クラス分類ステップにより決定された前記クラスに応じた前記予測係数を取得する予測係数取得ステップと；
前記予測タップの画素値と前記予測係数取得ステップにより取得された前記予測係数とを線形一次結合することにより、前記注目画素の画素値に相当する予測値を計算する予測演算ステップと；
を含む画像処理方法。
【請求項１８】
画像処理装置を制御するコンピュータを：
第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と；
前記注目画素の前記第２画像における画素位置に応じて、当該注目画素のクラスを決定するクラス分類部と；
前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数であって、前記第２画像の画質を有する予め取得された教師画像と、当該教師画像に画素位置に応じて異なるフィルタを適用して生成された前記第１画像の画質を有する生徒画像とを用いて前記クラスごとに算出された予測係数を記憶している記憶部と；
前記予測タップの画素値と前記記憶部から取得された前記予測係数とを線形一次結合することにより、前記注目画素の画素値に相当する予測値を計算する予測演算部と；
として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習装置、画像処理装置、学習方法、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラなどに搭載されるイメージセンサを用いて実世界の光を撮像する過程においては、撮像の結果として得られる画像信号の品質を低下させる様々な要因が存在する。例えば、フォーカスのずれや被写体の動き、イメージセンサのノイズ、又はベイヤ配列などの画素配列に応じた信号変換などは、画像信号の品質を低下させる要因の一例である。
【０００３】
そこで、従来、カメラ内部の画像処理によって画像信号に含まれるノイズを除去し、又は画質を改善させるための技術開発が進められている。例えば、下記特許文献１では、画像信号の性質に応じて分類したクラスごとに適応的に画像信号の品質を向上させる、クラス分類適応処理と呼ばれる手法が開示されている。
【０００４】
【特許文献１】特開２００４−２６０３９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の手法では、例えば装置のノイズ特性が適応的に学習され、それにより高画質化が図られる場合はあったが、パラメータ・チューニングによって試行錯誤的に画質を向上させる場合を除き、イメージセンサ内の画素位置に応じたセンサ特性が適切に考慮された例は存在しなかった。例えば、イメージセンサの集光特性は、画素の開口率と密接な関係にあり、同一受光面内においても、画素の位置によってイメージセンサの集光特性は異なる。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画素位置に応じたイメージセンサの特性を考慮し、撮像画像を高画質化することのできる、新規かつ改良された学習装置、画像処理装置、学習方法、画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、第１画像よりも高質な第２画像の画質を有する予め取得された教師画像に画素位置に応じて異なるフィルタを適用することにより、前記第１画像の画質を有する生徒画像を生成する生徒画像生成部と、前記生徒画像に含まれる複数の画素であって前記教師画像を予測する際に注目される注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と、前記注目画素の画素位置に応じて、当該注目画素のクラスを決定するクラス分類部と、前記予測タップの画素値から前記教師画像における前記注目画素の画素値を予測するために用いられる予測係数を前記クラス分類部により決定された前記クラスごとに算出する係数算出部と、を備える学習装置が提供される。
【０００８】
また、前記クラス分類部は、前記教師画像の中心位置から前記注目画素の画素位置までの距離に応じて前記クラスを決定してもよい。
【０００９】
また、前記第１画像は、イメージセンサにより撮像される撮像画像であって、前記生徒画像生成部は、画素位置に応じた前記イメージセンサの固有の集光特性を反映させたフィルタを前記教師画像に適用することにより、前記生徒画像を生成してもよい。
【００１０】
また、前記生徒画像生成部は、前記フィルタの特性を画素位置に応じて連続的に変化させて前記生徒画像を生成してもよい。
【００１１】
また、前記係数算出部は、さらに、前記クラスごとに算出された前記予測係数を用いて、各クラスを代表する代表画素位置の間の画素位置に対応する予測係数を線形補間により算出してもよい。
【００１２】
また、前記第１画像は、イメージセンサを含むカメラを用いて撮像された撮像画像であって、前記クラス分類部は、さらに、前記教師画像が前記カメラにより撮像された際の当該カメラの特徴又は状態を表すカメラパラメータに応じて前記クラスを決定してもよい。
【００１３】
また、前記学習装置は、前記生徒画像に含まれる複数の画素であって、前記注目画素の近傍の画素位置に対応する複数の画素をクラスタップとして抽出するクラスタップ抽出部、をさらに備え、前記クラス分類部は、前記クラスタップの画素値のパターンと前記注目画素の画素位置とに応じて前記クラスを決定してもよい。
【００１４】
上記課題を解決するために、本発明の別の観点によれば、第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と、前記注目画素の前記第２画像における画素位置に応じて、当該注目画素のクラスを決定するクラス分類部と、前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数であって、前記第２画像の画質を有する予め取得された教師画像と、当該教師画像に画素位置に応じて異なるフィルタを適用して生成された前記第１画像の画質を有する生徒画像とを用いて前記クラスごとに算出された予測係数を記憶している記憶部と、前記予測タップの画素値と前記記憶部から取得された前記予測係数とを線形一次結合することにより、前記注目画素の画素値に相当する予測値を計算する予測演算部と、を備える画像処理装置が提供される。
【００１５】
また、前記クラス分類部は、前記第２画像の中心位置から前記注目画素の画素位置までの距離に応じて前記クラスを決定してもよい。
【００１６】
また、前記第１画像は、イメージセンサにより撮像された撮像画像であって、前記生徒画像は、画素位置に応じた前記イメージセンサの固有の集光特性を反映させたフィルタを前記教師画像に適用して生成された画像であってもよい。
【００１７】
また、前記生徒画像は、画素位置に応じて連続的に特性の変化するフィルタを前記教師画像に適用して生成された画像であってもよい。
【００１８】
また、前記予測演算部は、さらに、前記記憶部から取得された前記クラスごとの前記予測係数を用いて、各クラスを代表する代表画素位置の間の画素位置に対応する予測係数を線形補間により算出してもよい。
【００１９】
また、前記第１画像は、イメージセンサを含むカメラを用いて撮像された撮像画像であって、前記クラス分類部は、さらに、前記第１画像が前記カメラにより撮像された際の当該カメラの特徴又は状態を表すカメラパラメータに応じて前記クラスを決定してもよい。
【００２０】
また、前記画像処理装置は、前記第１画像に含まれる複数の画素であって、前記注目画素の近傍の画素位置に対応する複数の画素をクラスタップとして抽出するクラスタップ抽出部、をさらに備え、前記クラス分類部は、前記クラスタップの画素値のパターンと前記注目画素の画素位置とに応じて前記クラスを決定してもよい。
【００２１】
上記課題を解決するために、本発明の別の観点によれば、第１画像よりも高質な第２画像の画質を有する予め取得された教師画像に画素位置に応じて異なるフィルタを適用することにより、前記第１画像の画質を有する生徒画像を生成する生徒画像生成ステップと、前記生徒画像に含まれる複数の画素であって前記教師画像を予測する際に注目される注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出ステップと、前記注目画素の画素位置に応じて、当該注目画素のクラスを決定するクラス分類ステップと、前記予測タップの画素値から前記教師画像における前記注目画素の画素値を予測するために用いられる予測係数を前記クラス分類ステップにおいて決定された前記クラスごとに算出する係数算出ステップと、を含む学習方法が提供される。
【００２２】
上記課題を解決するために、本発明の別の観点によれば、学習装置を制御するコンピュータを、第１画像よりも高質な第２画像の画質を有する予め取得された教師画像に画素位置に応じて異なるフィルタを適用することにより、前記第１画像の画質を有する生徒画像を生成する生徒画像生成部と、前記生徒画像に含まれる複数の画素であって前記教師画像を予測する際に注目される注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と、前記注目画素の画素位置に応じて、当該注目画素のクラスを決定するクラス分類部と、前記予測タップの画素値から前記教師画像における前記注目画素の画素値を予測するために用いられる予測係数を前記クラス分類部により決定された前記クラスごとに算出する係数算出部と、として機能させるためのプログラムが提供される。
【００２３】
上記課題を解決するために、本発明の別の観点によれば、第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出ステップと、前記注目画素の前記第２画像における画素位置に応じて、当該注目画素のクラスを決定するクラス分類ステップと、前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数であって、前記第２画像の画質を有する予め取得された教師画像と、当該教師画像に画素位置に応じて異なるフィルタを適用して生成された前記第１画像の画質を有する生徒画像とを用いて前記クラスごとに算出された予測係数を記憶している記憶部から、前記クラス分類ステップにより決定された前記クラスに応じた前記予測係数を取得する予測係数取得ステップと、前記予測タップの画素値と前記予測係数取得ステップにより取得された前記予測係数とを線形一次結合することにより、前記注目画素の画素値に相当する予測値を計算する予測演算ステップと、を含む画像処理方法が提供される。
【００２４】
上記課題を解決するために、本発明の別の観点によれば、画像処理装置を制御するコンピュータを、第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と、前記注目画素の前記第２画像における画素位置に応じて、当該注目画素のクラスを決定するクラス分類部と、前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数であって、前記第２画像の画質を有する予め取得された教師画像と、当該教師画像に画素位置に応じて異なるフィルタを適用して生成された前記第１画像の画質を有する生徒画像とを用いて前記クラスごとに算出された予測係数を記憶している記憶部と、前記予測タップの画素値と前記記憶部から取得された前記予測係数とを線形一次結合することにより、前記注目画素の画素値に相当する予測値を計算する予測演算部と、として機能させるためのプログラムが提供される。
【発明の効果】
【００２５】
以上説明したように、本発明に係る学習装置、画像処理装置、学習方法、画像処理方法、及びプログラムによれば、画素位置に応じたイメージセンサの特性を考慮し、撮像画像を高画質化することができる。
【発明を実施するための最良の形態】
【００２６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２７】
また、以下の順序にしたがって当該「発明を実施するための最良の形態」を説明する。
１．イメージセンサの特性を考慮した高画質化の概要
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．まとめ
【００２８】
＜１．イメージセンサの特性を考慮した高画質化の概要＞
まず、イメージセンサの特性を考慮した高画質化の概要について説明する。
【００２９】
図１は、一例として、デジタルスチルカメラなどに使用されるイメージセンサ１０の外観を示す模式図である。イメージセンサ１０は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの、実世界の光を感知して画素ごとに電気信号を発生させる任意のセンサであってよい。
【００３０】
図１を参照すると、イメージセンサ１０は、受光面１２を有する。受光面１２には、典型的には、各々光を感知して電気信号を生成する複数の画素が配置される。また、図１には、受光面１２の中央部の画素位置Ｐ１、及び受光面１２の周辺部の画素位置Ｐ２が示されている。
【００３１】
図２〜図５は、それぞれ、イメージセンサの特性の一例としての集光特性を実測して得られた特性図である。このうち、図２及び図３は、イメージセンサＳ１の画素位置Ｐ１及び画素位置Ｐ２における集光特性をそれぞれ表している。また、図４及び図５は、イメージセンサＳ２の画素位置Ｐ１及び画素位置Ｐ２における集光特性をそれぞれ表している。
【００３２】
図２〜図５の各特性図において、二次元の水平面上の各座標は、画素Ｐ１又は画素Ｐ２に入射する入射光の方向に対応する。また、当該水平面に対する格子線の高さは、当該画素において生成される電気信号（画素信号）の信号レベルに対する、各入射光の寄与率を表す。
【００３３】
ここで、理想的なイメージセンサを仮定すると、全ての画素について、当該画素に垂直に入射する入射光の寄与率、即ち特性図の中央（座標（０，０））における寄与率が１となり、それ以外の斜めに入射する入射光の寄与率はゼロとなるのが望ましい。しかしながら、現実のイメージセンサの集光特性は、図２〜図５から理解されるように、入射角において一定の広がりを持つ範囲の入射光を畳み込みながら各画素信号が生成されることを示している。
【００３４】
また、図２と図３、又は図４と図５を比較すると、いずれのイメージセンサにおいても、画素位置Ｐ１における集光特性は比較的急峻であり、画素位置Ｐ２における集光特性は比較的なだらかである。即ち、イメージセンサの集光特性は、受光面上の画素位置に応じて異なることが分かる。
【００３５】
また、例えば、図２と図４とを比較すると、受光面上の画素位置は同じＰ１であっても、イメージセンサＳ１とイメージセンサＳ２では集光特性は異なっている。また、図３と図５とを比較しても同様である。即ち、画素位置が同じであっても、イメージセンサの個体が異なることによって集光特性が変化し得ることが分かる。
【００３６】
このようなイメージセンサの集光特性の違いは、例えば、イメージセンサの開口部の形状やオンチップレンズの影響などに起因する。また、図には現われていないが、同一の個体であっても、撮影時のカメラの特徴又は状態を表すカメラパラメータが異なる場合には、イメージセンサの集光特性がカメラパラメータに応じて変化することも考えられる。
【００３７】
ここで、上述したようなイメージセンサの特性は、イメージセンサへ入力される原画像に作用するフィルタとして扱うことができる。その場合、例えば、図２〜図５に示した特性図上の各座標における格子線の高さは、フィルタの特性を表すフィルタ係数となる。そして、かかるフィルタ係数は、前述したように、実測し得る。
【００３８】
そこで、イメージセンサの特性を反映させた仮想的なフィルタを用いて所与の教師画像から生徒画像を生成し、生成した画像から教師画像を予測することが考えられる。また、予測の精度は、上記特許文献１に記載のクラス分類適応処理を応用し、適応的な学習により高めることができる。
【００３９】
図６は、イメージセンサの特性を反映させた仮想的なフィルタを用いた学習処理及び予測処理について説明するための説明図である。
【００４０】
学習処理において、まず、所与の教師画像ＩＴに対して、実測した個々のイメージセンサの特性を反映したフィルタが適用され、生徒画像ＩＳが生成される。ここで、教師画像ＩＴは、生徒画像ＩＳよりも高い解像度で与えられているものとする。例えば、生徒画像ＩＳの画素位置（ｕ，ｖ）における画素値ＩＳｕ，ｖは、当該画素位置に対応する教師画像ＩＴの近傍の画素値ＩＴｕ＋ｉ，ｖ＋ｊを用いて、次式により計算される。
【００４１】
【数１】
2010066925.tif 000003
（１）
【００４２】
ここで、αｉ，ｊ（ｕ，ｖ）は、イメージセンサの特性を反映したフィルタ処理において、教師画像ＩＴ内の各画素値に乗算される個々のフィルタ係数を表す。なお、前述したように、フィルタ係数αｉ，ｊ（ｕ，ｖ）は、画素位置（ｕ，ｖ）に依存して変動し得る。
【００４３】
そして、このように生成した生徒画像ＩＳから教師画像ＩＴを予測するための予測係数を、上記特許文献１に記載のクラス分類適応処理における学習の考え方に従って算出する。
【００４４】
即ち、生徒画像ＩＳの各画素値は、所定の予測係数を用いて、教師画像ＩＴにマッピング（写像）される。例えば、予測係数を用いたマッピング方法として線形一次結合モデルを採用すると、教師画像ＩＴの注目画素値ｙは、次の線形一次式（線形結合）によって求められる。
【００４５】
【数２】
2010066925.tif 000004
（２）
【００４６】
ここで、ｄｎは、生徒画像ＩＳから抽出されたＮ個の画素よりなる予測タップのうち、ｎ番目の画素の画素値を表す。また、ｗｎは、ｎ番目の予測タップに乗算される予測係数を表す。なお、注目画素値ｙは、式（２）に示した線形一次式ではなく、二次以上の高次式によって求められてもよい。
【００４７】
ここで、第ｋ番目の注目画素の画素値の真値をｙｋ、予測値をｙｋ’とする。そうすると、予測誤差ｅｋは次式で表される。
【００４８】
【数３】
2010066925.tif 000005
（３）
【００４９】
式（３）の予測値ｙｋ’は式（２）に従って求められるため、式（３）の予測値ｙｋ’を式（２）に従って置き換えると、次式が得られる。
【００５０】
【数４】
2010066925.tif 000006
（４）
【００５１】
但し、式（４）において、ｄｎ，ｋは、第ｋ番目の注目画素についての予測タップのうち、ｎ番目の画素値を表す。
【００５２】
ここで、最適な予測係数ｗｎは、最小自乗法の考え方により、例えば、統計的な誤差としての次式で表される自乗誤差の総和Ｅを最小（極小）にすることで求められる。
【００５３】
【数５】
2010066925.tif 000007
（５）
【００５４】
但し、Ｋは、教師画像ＩＴを予測する際の全注目画素数を表す。
【００５５】
そして、式（４）と式（５）から、自乗誤差の総和Ｅを最小（極小）にする最適な予測係数ｗｎは、次式で表される正規方程式を、例えば掃き出し法（Ｇａｕｓ−Ｊｏｒｄａｎの消去法）を用いて解くことにより求められる。
【００５６】
【数６】
2010066925.tif 000008
（６）
【００５７】
即ち、図６における学習処理では、所与の教師画像ＩＴと画素位置に応じたフィルタ係数αｉ，ｊ（ｕ，ｖ）とを用いて生徒画像ＩＳが生成された後、まず、注目画素位置ごとに順次、生徒画像ＩＳから予測タップｄｎが抽出される。次に、予測タップｄｎと教師画像ＩＴの注目画素値ｙｋ（真値）とを用いて、式（６）の正規方程式が生成される。そして、式（６）の正規方程式を解くことにより、生徒画像ＩＳから教師画像ＩＴを予測する予測係数ｗｎが算出される。
【００５８】
さらに、図６における予測処理では、学習処理にて算出しておいた予測係数ｗｎを用いて、イメージセンサによって撮像された撮像画像Ｉ１から、撮像前の原画像Ｉ２が予測される。ここで、撮像画像Ｉ１は前述の生徒画像ＩＳに相当し、原画像Ｉ２は前述の教師画像ＩＴに相当する。撮像画像Ｉ１からの原画像Ｉ２の予測は、学習処理と同様に撮像画像Ｉ１から予測タップｄｎを抽出した後、式（２）に従って行われる。
【００５９】
ここまで、図１〜図６を用いて、イメージセンサの特性を考慮した高画質化の概要について説明した。以下、本明細書では、図６に関連して説明した学習処理を行う学習装置、及び予測処理を行う画像処理装置について、イメージセンサの特性を考慮した高画質化の３つの実施形態に沿って詳細に説明する。
【００６０】
＜２．第１の実施形態＞
［学習装置］
図７は、本発明の第１の実施形態に係る学習装置１００の論理的な構成を示すブロック図である。
【００６１】
図７を参照すると、学習装置１００は、生徒画像生成部１１０、特性記憶部１１２、画像記憶部１１６、注目画素設定部１２０、クラス分類部１４２、予測タップ抽出部１５０、教師画素抽出部１５２、正規方程式生成部１６０、学習記憶部１６２、係数算出部１７０、及び係数記憶部１７２を備える。
【００６２】
生徒画像生成部１１０は、学習装置１００に教師画像ＩＴが供給されると、特性記憶部１１２からイメージセンサの特性を反映したフィルタ係数を取得し、取得したフィルタ係数を用いて教師画像ＩＴから生徒画像ＩＳを生成する。
【００６３】
より具体的には、生徒画像生成部１１０は、まず、生徒画像ＩＳ内の特定の画素位置（ｕ，ｖ）の画素に注目する。そして、生徒画像生成部１１０は、例えば、画素位置（ｕ，ｖ）に応じたイメージセンサの集光特性を表すフィルタ係数αｉ，ｊ（ｕ，ｖ）を、特性記憶部１１２から取得する。その後、生徒画像生成部１１０は、上述した式（１）に従って、フィルタ係数αｉ，ｊ（ｕ，ｖ）と教師画像ＩＴの各画素値から生徒画像ＩＳの注目画素値ＩＳｕ，ｖを計算する。生徒画像生成部１１０は、かかる処理を生成すべき生徒画像ＩＳの全画素について繰返し、生徒画像ＩＳを生成する。
【００６４】
特性記憶部１１２には、学習の対象とするイメージセンサの特性を反映したフィルタ係数αｉ，ｊが、予め記憶されている。フィルタ係数αｉ，ｊは、例えば、イメージセンサの製造後の試験により画素位置に応じて実測される。
【００６５】
ここで、例えばイメージセンサの集光特性は、センサの開口部やオンチップレンズの形状の対称性から、一般的には、受光面の中央を中心とする同心円の円周上では一定となる。また、受光面の中央からの距離が大きくなるに従い、集光特性は連続的に変化する。
【００６６】
そのため、例えば、特性記憶部１１２には、受光面の中央からの距離が異なる数個の画素位置についてのフィルタ係数αｉ，ｊのみを記憶させておいてもよい。そして、生徒画像生成部１１０は、注目画素位置（ｕ，ｖ）について受光面の中央からの距離を計算し、特性記憶部１１２から取得した離散的なフィルタ係数を距離に応じて補間することにより、注目画素値ＩＳｕ，ｖの計算に用いるフィルタ係数を算出してもよい。また、この場合の補間手法は、線形補間に限定されず、より高次の補間関数を用いた手法などであってもよい。
【００６７】
画像記憶部１１６は、生徒画像生成部１１０により生成された生徒画像ＩＳを一時的に記憶する。
【００６８】
注目画素設定部１２０は、画像記憶部１１６から生徒画像ＩＳを取得し、生徒画像ＩＳから教師画像ＩＴを予測する予測係数の算出に用いる注目画素位置Ｓ（ｓ，ｔ）を順次設定する。そして、注目画素設定部１２０は、注目画素位置Ｓを設定すると、クラス分類部１４２に注目画素位置Ｓを入力し、注目画素位置Ｓに応じたクラスを決定させる。また、注目画素設定部１２０は、予測タップ抽出部１５０に生徒画像ＩＳと注目画素位置Ｓとを入力し、生徒画像ＩＳから予測タップｄｎを抽出させる。また、注目画素設定部１２０は、教師画素抽出部１５２に注目画素位置Ｓを入力し、教師画像ＩＴから注目画素位置Ｓにおける教師画素の真値ｙｋを抽出させる。
【００６９】
クラス分類部１４２は、注目画素設定部１２０から入力された注目画素位置Ｓに応じて１以上のクラスのうちのいずれかのクラスに注目画素を分類し、注目画素のクラスを表すクラスコードＣを学習記憶部１６２に出力する。
【００７０】
クラス分類部１４２により分類されるクラスは、図８に一例として示したように、イメージセンサの受光面の中央から注目画素位置Ｓまでの距離Ｄ（Ｓ）に応じて区分されたクラスであってもよい。
【００７１】
図８（Ａ）を参照すると、クラスコードＣ１、Ｃ２、Ｃ３、及びＣ４を与えられた４種類のクラスが用意されている。また、クラスコードごとに、当該クラスに分類されるための分類条件が示されている。
【００７２】
例えば、クラスコードＣ１の分類条件は、距離Ｄ（Ｓ）が、Ｄ（Ｓ）＜Ｄ１を満たすことである。例えば、図８（Ｂ）における画素位置Ｐ１は、受光面１２の中央からの距離がＤ１よりも小さいため、クラスコードＣ１で表されるクラスに分類される。また、クラスコードＣ２の分類条件はＤ１≦Ｄ（Ｓ）＜Ｄ２、クラスコードＣ３の分類条件はＤ２≦Ｄ（Ｓ）＜Ｄ３である。さらに、クラスコードＣ４の分類条件はＤ３≦Ｄ（Ｓ）である。例えば、図８（Ｂ）における画素位置Ｐ２は、受光面１２の中央からの距離がＤ３よりも大きいため、クラスコードＣ４で表されるクラスに分類される。
【００７３】
なお、クラス分類部１４２により分類されるクラスは、図８に示した例に限定されず、注目画素位置Ｓに応じて分類される任意のクラスであってよい。例えば、受光面の中央から注目画素位置Ｓまでのベクトルの向きなどをクラスに対応付けてもよい。
【００７４】
予測タップ抽出部１５０は、生徒画像ＩＳに含まれる注目画素位置Ｓの近傍の複数の画素を予測タップｄｎとして抽出し、抽出した予測タップｄｎを正規方程式生成部１６０へ出力する。
【００７５】
図９は、予測タップ抽出部１５０により抽出される予測タップｄｎの一例を示している。図９の例において、予測タップ抽出部１５０は、注目画素位置Ｓ（ｓ，ｔ）を中心とする、いわゆる菱形に配置された計１３個の画素ｄ１〜ｄ１３を予測タップｄｎとして抽出している。なお、予測タップ抽出部１５０により抽出される予測タップｄｎは、図９の例に限定されず、注目画素位置Ｓの近傍の任意の位置又は任意の数の画素の集合であってよい。
【００７６】
教師画素抽出部１５２は、注目画素設定部１２０から入力された注目画素位置Ｓにおける画素値を教師画像ＩＴから抽出し、真値ｙｋとして正規方程式生成部１６０に出力する。なお、教師画素の真値ｙｋにおけるｋは、注目画素位置Ｓ（ｓ，ｔ）を一次元化することにより与えられる。
【００７７】
正規方程式生成部１６０は、予測タップ抽出部１５０から入力される予測タップｄｎと教師画素抽出部１５２から入力される教師画素の真値ｙｋとを用いて、式（６）により表される正規方程式への足し込みを行う。
【００７８】
ここで、正規方程式への足し込みとは、式（６）に現れる各行列及びベクトルの要素を算出し、算出した結果を正規方程式に設定する処理をいう。即ち、正規方程式生成部１６０は、まず、式（６）の左辺の行列における予測タップｄｎの画素値同士の乗算とサメーション（Σ）を行う。次に、正規方程式生成部１６０は、式（６）の右辺のベクトルにおける予測タップｄｎの画素値と教師画素の真値ｙｋとの間の乗算とサメーション（Σ）を行う。そして、正規方程式生成部１６０は、乗算とサメーション（Σ）の結果を、正式方程式に設定する。
【００７９】
正規方程式生成部１６０は、注目画素設定部１２０により設定される全ての注目画素位置Ｓについて前述した足し込みを行い、生成した正規方程式を学習記憶部１６２へ出力する。
【００８０】
学習記憶部１６２は、クラス分類部１４２により決定されたクラスコードＣにより表されるクラスごとに、正規方程式生成部１６０により生成された正規方程式を記憶する。
【００８１】
係数算出部１７０は、学習記憶部１６２から前述したクラスごとに正規方程式を取得し、取得した正規方程式を解くことにより、クラスごとの予測係数ｗｎを算出する。そして、係数算出部１７０は、算出したクラスごとの予測係数ｗｎを係数記憶部１７２に出力する。
【００８２】
係数記憶部１７２は、係数算出部１７０から入力されたクラスごとの予測係数ｗｎを記憶する。ここで記憶された予測係数ｗｎは、後述する画像処理装置において、撮像画像から抽出した予測タップの画素値から原画像の画素値を予測するために用いられる。
【００８３】
［処理フロー説明：学習処理］
次に、図１０のフローチャートを用いて、本実施形態に係る学習装置１００による学習処理の流れの一例を説明する。
【００８４】
図１０を参照すると、まず、学習装置１００に教師画像ＩＴが供給される（Ｓ２０２）。教師画像ＩＴは、生徒画像生成部１１０及び教師画素抽出部１５２に入力される。
【００８５】
次に、教師画像ＩＴと特性記憶部１１２から取得されたフィルタ係数とを用いて、生徒画像生成部１１０により、生徒画像ＩＳが生成される（Ｓ２０４）。ここで生成された生徒画像ＩＳは、画像記憶部１１６へ出力され、記憶される。
【００８６】
その後、注目画素設定部１２０により、画像記憶部１１６から生徒画像ＩＳが取得され、生徒画像ＩＳから教師画像ＩＴを予測する際に注目する注目画素位置Ｓが設定される（Ｓ２０６）。
【００８７】
そして、クラス分類部１４２により、注目画素位置Ｓに応じたクラスが決定され、決定されたクラスを表すクラスコードが学習記憶部１６２へ出力される（Ｓ２０８）。
【００８８】
また、予測タップ抽出部１５０により、生徒画像ＩＳから注目画素位置Ｓの近傍に位置する複数の画素が予測タップｄｎとして抽出され、抽出された予測タップｄｎが正規方程式生成部１６０へ出力される（Ｓ２１０）。
【００８９】
また、教師画素抽出部１５２により、教師画像ＩＴから注目画素位置Ｓにおける画素の真値ｙｋが抽出され、抽出された注目画素の真値ｙｋが正規方程式生成部１６０へ出力される（Ｓ２１２）。
【００９０】
そして、正規方程式生成部１６０により、予測タップｄｎ及び注目画素の真値ｙｋを用いて、正規方程式への足し込みが行われる（Ｓ２１４）。ここで生成された正規方程式は、クラス分類部１４２により決定されたクラスごとに学習記憶部１６２により記憶される。
【００９１】
その後、全ての注目画素について正規方程式への足し込みが終了したか否かが判定される（Ｓ２１６）。ここで、正規方程式への足し込みが終了していない注目画素が残っていれば、処理はＳ２０６へ戻り、注目画素設定部１２０によって新たな注目画素位置Ｓが設定される。一方、全ての注目画素について正規方程式への足し込みが終了していれば、処理はＳ２１８へ進む。
【００９２】
Ｓ２１８では、係数算出部１７０により、正規方程式がクラスごとに順次学習記憶部１６２から取得され、取得された正規方程式を解くことにより、クラスごとの予測係数ｗｎが算出される（Ｓ２１８）。ここで算出された予測係数ｗｎは、クラスごとに係数記憶部１７２により記憶される。
【００９３】
その後、全てのクラスについての予測係数ｗｎの算出が終了したか否かが判定される（Ｓ２２０）。ここで、予測係数ｗｎの算出が終了していないクラスが残っていれば、処理はＳ２１８へ戻り、係数算出部１７０によって残っているクラスについての予測係数ｗｎの算出が行われる。一方、全てのクラスについて予測係数ｗｎの算出が終了していれば、学習処理は終了する。
【００９４】
［変形例］
なお、本実施形態では、全てのクラスについて正規方程式を解くことにより予測係数ｗｎを算出する例について説明した。しかしながら、その代わりに、一部のクラスについて正規方程式を解くことにより予測係数ｗｎを算出し、残りのクラスについては、次に説明するように、各クラスを代表する代表画素位置の間の関係に応じて予測係数を補間して算出してもよい。
【００９５】
図１１は、クラスを代表する代表画素位置について説明するための説明図である。
【００９６】
図１１では、一例として、イメージセンサの受光面１２上の画素位置に応じてクラスコードＣ１、Ｃ２及びＣ３で表される３つのクラス（以下、クラスＣ１、クラスＣ２及びクラスＣ３という。）が定義されている。クラスＣ１は、受光面１２の中央を含む円形の領域に対応するクラスである。クラスＣ２は、クラスＣ１とクラスＣ３との間に位置し、受光面１２の中央との間の距離が中程度の領域に対応するクラスである。クラスＣ３は、クラスＣ２の外側に位置し、受光面１２の中央との間の距離が最も遠い領域に対応するクラスである。そして、図１１には、クラスＣ１の代表画素位置Ｑ１、クラスＣ２の代表画素位置Ｑ２、及びクラスＣ３の代表画素位置Ｑ３が示されている。
【００９７】
ここで、例えば、クラスＣ１及びクラスＣ３の予測係数ｗｎが前述の正規方程式を解くことにより既に算出されているとする。その場合、例えば、図１２に示した線形補間の手法を用いて、クラスＣ２の予測係数ｗｎを算出することができる。
【００９８】
図１２において、グラフの横軸は、図１１に示した各クラスの代表画素位置の、受光面１２の中央からの距離を表す。また、グラフの縦軸は、各クラスについての予測係数ｗｎの係数値を表す。
【００９９】
図１２に示されたクラスＣ１（代表画素値Ｑ１）の予測係数値Ｗｎ（Ｑ１）、及びクラスＣ３（代表画素値Ｑ３）の予測係数値Ｗｎ（Ｑ３）は、それぞれ正規方程式を解いて算出された結果からプロットされる。そうすると、プロットされた２つの端点を結ぶ直線上の、代表画素位置Ｑ２に対応する予測係数値が、クラスＣ２（代表画素値Ｑ２）の予測係数値Ｗｎ（Ｑ２）となる。なお、図１２では、クラスＣ２の予測係数値を線形補間によって算出したが、予測係数値の補間手法は線形補間に限定されず、任意の手法であってよい。
【０１００】
このように、一部のクラス又は一部の画素位置に対応する予測係数ｗｎを補間によって算出することで、学習装置１００による学習に掛かる演算量を低減させることができる。
【０１０１】
ここまで、本発明の第１の実施形態に係る学習装置１００について説明した。本実施形態に係る学習装置１００によれば、イメージセンサが画素位置に応じて異なる特性を有している場合に、イメージセンサによる撮像過程を経て得られた撮像画像から原画像を予測するための予測係数が適応的に生成される。それにより、試行錯誤的な画質のチューニングを行うことなく、次項で述べる画像処理装置によってイメージセンサの特性を考慮した高画質化を行うことが可能となる。
【０１０２】
また、当該予測係数は、撮像画像から原画像を予測する際の注目画素の画素位置に応じて分類されたクラスごとに算出される。即ち、例えば近傍に位置する２つの注目画素については、予測係数の１つのセットのみが生成され得る。そのため、予測係数の学習に掛かる演算量と予測係数の記憶に用いられる記憶領域を節約しながら、精度の高い予測係数の学習を行うことができる。
【０１０３】
［画像処理装置］
次に、前述した学習装置１００により生成された予測係数を用いて、撮像画像から撮像前の原画像を予測する予測処理を行う画像処理装置について説明する。図１３は、本発明の第１の実施形態に係る画像処理装置３００の論理的な構成を示すブロック図である。
【０１０４】
図１３を参照すると、画像処理装置３００は、注目画素設定部３２０、クラス分類部３４２、予測タップ抽出部３５０、係数記憶部３７２、予測係数取得部３７４、及び予測演算部３８０を備える。
【０１０５】
画像処理装置３００は、イメージセンサにより撮像された撮像画像Ｉ１に対し、学習装置１００により予め生成された予測係数を用いて、以下に詳しく説明する予測演算を行うことにより、撮像前の原画像に相当する予測画像Ｉ２を生成して出力する。
【０１０６】
まず、画像処理装置３００に撮像画像Ｉ１が供給されると、撮像画像Ｉ１は注目画素設定部３２０に入力される。
【０１０７】
注目画素設定部３２０は、イメージセンサにより撮像される前の原画像に相当する予測画像Ｉ２のうち、予測の対象とする任意の画素を注目画素として順次設定する。そして、注目画素設定部３２０は、設定した注目画素の予測画像Ｉ２における画素位置Ｓをクラス分類部３４２へ出力する。また、注目画素設定部３２０は、撮像画像Ｉ１と注目画素位置Ｓとを予測タップ抽出部３５０へ出力する。
【０１０８】
クラス分類部３４２は、注目画素設定部３２０から入力された注目画素位置Ｓに応じて、後述する係数記憶部３７２において予測係数と対応付けられたいずれかのクラスに注目画素を分類する。そして、クラス分類部３４２は、分類したクラスを表すクラスコードＣを予測係数取得部３７４へ出力する。
【０１０９】
例えば、図８に関連して説明したように、イメージセンサの受光面の中央から注目画素位置Ｓまでの距離Ｄ（Ｓ）に応じて区分されたクラスごとに、係数記憶部３７２において予測係数が記憶されているとする。その場合には、クラス分類部３４２は、まず、注目画素設定部３２０から入力された注目画素位置Ｓの受光面の中央からの距離Ｄ（Ｓ）を計算する。そして、クラス分類部３４２は、計算の結果得られた距離Ｄ（Ｓ）に応じたクラスコードＣを、図８（Ａ）に例示した分類条件に従って決定する。そして、クラス分類部３４２は、決定したクラスコードＣを予測係数取得部３７４へ出力する。
【０１１０】
係数記憶部３７２は、学習装置１００による前述した学習処理の結果得られた予測係数ｗｎを、画素位置に応じたクラスごとに記憶している。そして、係数記憶部３７２は、例えば、予測係数取得部３７４から指定されたクラスコードＣに対応するアドレスに記憶されている予測係数ｗｎを読み出し、予測係数取得部３７４へ出力する。
【０１１１】
予測係数取得部３７４は、クラス分類部３４２から入力されたクラスコードＣに対応する予測係数ｗｎを係数記憶部３７２から取得し、予測演算部３８０へ出力する。
【０１１２】
予測タップ抽出部３５０は、注目画素設定部３２０から入力された注目画素位置Ｓの近傍の複数の画素を撮像画像Ｉ１から予測タップｄｎとして抽出し、抽出した予測タップｄｎを予測演算部３８０へ出力する。ここで予測タップ抽出部３５０により抽出される予測タップｄｎは、例えば、図９に関連して説明した、注目画素位置Ｓ（ｓ，ｔ）を中心とする菱形状の計１３個の画素ｄ１〜ｄ１３などとなる。
【０１１３】
予測演算部３８０は、前述した式（２）に従い、予測タップ抽出部３５０から入力された予測タップｄｎの各画素値と予測係数取得部３７４から入力された予測係数ｗｎの各係数値とを線形一次結合することにより、注目画素の画素値に相当する予測値を計算する。
【０１１４】
このような予測値の演算は、予測画像Ｉ２の全ての注目画素値が算出されるまで繰り返される。
【０１１５】
［処理フロー説明：予測処理］
次に、図１４のフローチャートを用いて、本実施形態に係る画像処理装置３００による予測処理の流れの一例を説明する。
【０１１６】
図１４を参照すると、まず、画像処理装置３００に撮像画像Ｉ１が供給される（Ｓ４０２）。撮像画像Ｉ１は、注目画素設定部３２０に入力される。
【０１１７】
その後、注目画素設定部３２０により、予測画像Ｉ２のうち予測の対象とする注目画素の画素位置Ｓが設定される（Ｓ４０４）。ここで設定された画素位置Ｓはクラス分類部３４２へ出力され、また注目画素位置Ｓと撮像画像Ｉ１は予測タップ抽出部３５０へ出力される。
【０１１８】
そして、クラス分類部３４２により、注目画素位置Ｓに応じて注目画素のクラスが決定され、決定されたクラスを表すクラスコードＣが予測係数取得部３７４へ出力される（Ｓ４０６）。
【０１１９】
さらに、予測係数取得部３７４により、クラスコードＣと対応付けて係数記憶部３７２に記憶されている予測係数ｗｎが取得され、取得された予測係数ｗｎが予測演算部３８０へ出力される（Ｓ４０８）。
【０１２０】
また、予測タップ抽出部３５０により、撮像画像Ｉ１において注目画素位置Ｓの近傍に位置する複数の画素が予測タップｄｎとして抽出され、予測演算部３８０へ出力される（Ｓ４１０）。
【０１２１】
そして、予測演算部３８０において、予測係数ｗｎと予測タップｄｎの線形一次結合が式（２）に従って行われ、注目画素の予測値が算出される（Ｓ４１２）。
【０１２２】
その後、全ての注目画素についての予測値の算出が終了したか否かが判定される（Ｓ４１４）。ここで、予測値の算出が終了していない画素が残っていれば、処理はＳ４０４へ戻り、注目画素設定部３２０によって新たな注目画素が設定される。一方、予測画像Ｉ２の全ての画素について予測値の算出が終了していれば、予測処理は終了する。
【０１２３】
ここまで、本発明の第１の実施形態に係る画像処理装置３００について説明した。本実施形態に係る画像処理装置３００によれば、イメージセンサが画素位置に応じて異なる特性を有している場合に、前項で述べた学習装置１００による学習の結果得られた予測係数を用いて、撮像画像から原画像を予測することができる。それにより、試行錯誤的な画質のチューニングを行うことなく、イメージセンサの特性を考慮して撮像画像を高画質化することが可能となる。
【０１２４】
なお、ここでは、注目画素位置に応じて決定したクラスに対応する予測係数をそのまま予測演算部３８０による線形一次結合に適用する例について説明した。しかしながら、その代わりに、注目画素位置に応じて複数のクラスに対応する予測係数を取得し、各クラスを代表する代表画素位置と注目画素位置の間の関係に応じて、予測係数を補間して適用してもよい。例えば、図１２に例示した線形補間、又はより高次の補間手法を用いることができる。そうすることにより、予測係数を記憶しておくために必要な記憶領域を節約しながら、精度の高い予測を行うことが可能となる。
【０１２５】
＜３．第２の実施形態＞
第１の実施形態では、画素位置に応じたイメージセンサの特性のみを考慮して撮像画像を高画質化する例について説明した。ここで、前述したように、画像を撮影した際のカメラパラメータが異なる場合には、イメージセンサの特性が、画素位置に加えてカメラパラメータに応じて変化することも考えられる。そこで、本発明の第２の実施形態では、撮像時のカメラパラメータも考慮に入れて撮像画像を高画質化する例について説明する。
【０１２６】
［学習装置］
図１５は、本発明の第２の実施形態に係る学習装置５００の論理的な構成を示すブロック図である。
【０１２７】
図１５を参照すると、学習装置５００は、生徒画像生成部５１０、特性記憶部５１２、カメラパラメータ取得部５１４、画像記憶部５１６、注目画素設定部５２０、クラス分類部５４２、予測タップ抽出部１５０、教師画素抽出部１５２、正規方程式生成部１６０、学習記憶部１６２、係数算出部１７０、及び係数記憶部１７２を備える。
【０１２８】
学習装置５００による学習時には、撮像画像よりも高質な教師画像ＩＴ、及び教師画像ＩＴが撮像された際のカメラパラメータＣＰが、学習装置５００に供給される。ここで、カメラパラメータとは、画像が撮影された際のカメラの特徴又は状態を表すパラメータのうち、例えば、焦点距離（フォーカス）、ズーム、絞り（アイリス）、又は被写界深度など、イメージセンサの特性に影響を与える任意のパラメータであってよい。
【０１２９】
なお、図１５の各機能ブロックのうち、予測タップ抽出部１５０、教師画素抽出部１５２、正規方程式生成部１６０、学習記憶部１６２、係数算出部１７０、及び係数記憶部１７２は、それぞれ図７に関連して説明した内容と同等の機能を有する。そのため、ここでは主に、生徒画像生成部５１０、特性記憶部５１２、カメラパラメータ取得部５１４、画像記憶部５１６、注目画素設定部５２０、及びクラス分類部５４２について説明する。
【０１３０】
図１５において、カメラパラメータ取得部５１４は、教師画像ＩＴが撮像された際のカメラパラメータＣＰを取得し、生徒画像生成部５１０へ出力する。
【０１３１】
生徒画像生成部５１０は、教師画像ＩＴが供給されると、カメラパラメータ取得部５１４から入力されたカメラパラメータＣＰに応じたフィルタ係数を特性記憶部５１２から取得する。そして、生徒画像生成部５１０は、取得したフィルタ係数を用いて教師画像ＩＴから生徒画像ＩＳを生成する。
【０１３２】
または、生徒画像生成部５１０は、教師画像ＩＴが供給されると、特性記憶部５１２から取得したフィルタ係数をカメラパラメータＣＰに応じた値に再計算し、再計算したフィルタ係数を用いて教師画像ＩＴから生徒画像ＩＳを生成してもよい。
【０１３３】
例えば、イメージセンサの集光特性は、一般的に被写体に焦点が合っている場合には急峻であり、被写体に焦点が合っていない場合にはなだらかである。そのため、教師画像ＩＴにおける被写体との距離と焦点距離との一致度に応じて、フィルタ係数を再計算してもよい。
【０１３４】
特性記憶部５１２には、例えばカメラパラメータＣＰと関連付けて、学習の対象となるイメージセンサの特性を反映したフィルタ係数αｉ，ｊが予め記憶される。
【０１３５】
画像記憶部５１６は、生徒画像生成部５１０により生成された生徒画像ＩＳを、カメラパラメータＣＰと関連付けて一時的に記憶する。
【０１３６】
注目画素設定部５２０は、画像記憶部５１６からカメラパラメータＣＰ及び生徒画像ＩＳを取得し、生徒画像ＩＳから教師画像ＩＴを予測する予測係数の算出に用いる注目画素位置Ｓを、順次設定する。そして、注目画素設定部５２０は、クラス分類部５４２にカメラパラメータＣＰ及び注目画素位置Ｓを入力する。また、注目画素設定部５２０は、予測タップ抽出部１５０に生徒画像ＩＳ及び注目画素位置Ｓを入力する。また、注目画素設定部５２０は、教師画素抽出部１５２に注目画素位置Ｓを入力する。
【０１３７】
クラス分類部５４２は、注目画素設定部５２０から入力されたカメラパラメータＣＰ及び注目画素位置Ｓに応じたいずれかのクラスを決定し、決定したクラスを表すクラスコードＣを学習記憶部１６２に出力する。
【０１３８】
クラス分類部５４２により決定されるクラスは、図１６に一例として示したように、イメージセンサの受光面の中央から注目画素位置Ｓまでの距離Ｄ（Ｓ）に関する条件と、カメラパラメータＣＰの値に関する条件に応じて与えられるクラスであってもよい。
【０１３９】
図１６を参照すると、ＣＰ＝ＣＰ１の場合、Ｄ（Ｓ）＜Ｄ１であればクラスＣ１１、Ｄ１≦Ｄ（Ｓ）＜Ｄ２であればクラスＣ１２、Ｄ２≦Ｄ（Ｓ）であればクラスＣ１３がそれぞれ与えられる。同様に、ＣＰ＝ＣＰ２の場合、Ｄ（Ｓ）＜Ｄ１であればクラスＣ２１、Ｄ１≦Ｄ（Ｓ）＜Ｄ２であればクラスＣ２２、Ｄ２≦Ｄ（Ｓ）であればクラスＣ２３がそれぞれ与えられる。ＣＰ＝ＣＰ３の場合、Ｄ（Ｓ）＜Ｄ１であればクラスＣ３１、Ｄ１≦Ｄ（Ｓ）＜Ｄ２であればクラスＣ３２、Ｄ２≦Ｄ（Ｓ）であればクラスＣ３３がそれぞれ与えられる。
【０１４０】
このような学習装置５００の構成により、生徒画像ＩＳから教師画像ＩＴを予測するための予測係数ｗｎが、注目画素位置Ｓ及びカメラパラメータＣＰに応じたクラスごとに適応的に学習される。
【０１４１】
［処理フロー説明：学習処理］
次に、図１７のフローチャートを用いて、本実施形態に係る学習装置５００による学習処理の流れの一例を説明する。
【０１４２】
図１７を参照すると、まず、学習装置５００に教師画像ＩＴが供給される（Ｓ６０２）。教師画像ＩＴは、生徒画像生成部５１０及び教師画素抽出部１５２に入力される。
【０１４３】
次に、カメラパラメータ取得部５１４により、教師画像ＩＴが撮像された際のカメラパラメータＣＰが取得され、生徒画像生成部５１０に入力される（Ｓ６０４）。
【０１４４】
そして、生徒画像生成部５１０により、教師画像ＩＴ、カメラパラメータＣＰ、及び特性記憶部５１２から取得されたフィルタ係数を用いて、生徒画像ＩＳが生成される（Ｓ６０６）。ここで生成された生徒画像ＩＳは、画像記憶部５１６へ出力され、記憶される。
【０１４５】
次に、注目画素設定部５２０により、画像記憶部５１６から生徒画像ＩＳが取得され、生徒画像ＩＳから教師画像ＩＴを予測する際に注目する注目画素位置Ｓが設定される（Ｓ６０８）。
【０１４６】
そして、クラス分類部５４２により、注目画素位置Ｓ及びカメラパラメータＣＰに応じたクラスが決定され、決定されたクラスを表すクラスコードＣが学習記憶部１６２へ出力される（Ｓ６１０）。
【０１４７】
また、予測タップ抽出部１５０により、生徒画像ＩＳから注目画素位置Ｓの近傍に位置する複数の画素が予測タップｄｎとして抽出され、抽出された予測タップｄｎが正規方程式生成部１６０へ出力される（Ｓ６１２）。
【０１４８】
また、教師画素抽出部１５２により、教師画像ＩＴから注目画素位置Ｓにおける画素の真値ｙｋが抽出され、正規方程式生成部１６０へ出力される（Ｓ６１４）。
【０１４９】
そして、正規方程式生成部１６０により、予測タップｄｎ及び注目画素の真値ｙｋを用いて、正規方程式への足し込みが行われる（Ｓ６１６）。ここで生成された正規方程式は、クラス分類部５４２により決定されたクラスごとに学習記憶部１６２により記憶される。
【０１５０】
その後、全ての注目画素について正規方程式への足し込みが終了したか否かが判定される（Ｓ６１８）。ここで、正規方程式への足し込みが終了していない注目画素が残っていれば、処理はＳ６０８へ戻り、注目画素設定部５２０によって新たな注目画素位置Ｓが設定される。一方、全ての注目画素について正規方程式への足し込みが終了していれば、処理はＳ６２０へ進む。
【０１５１】
Ｓ６２０では、係数算出部１７０により、正規方程式がクラスごとに学習記憶部１６２から取得され、取得された正規方程式を解くことにより、クラスごとの予測係数ｗｎが算出される（Ｓ６２０）。ここで算出された予測係数ｗｎは、クラスごとに係数記憶部１７２により記憶される。
【０１５２】
その後、全てのクラスについての予測係数ｗｎの算出が終了したか否かが判定される（Ｓ６２２）。ここで、予測係数ｗｎの算出が終了していないクラスが残っていれば、処理はＳ６２０へ戻り、残っているクラスについての予測係数ｗｎの算出が行われる。一方、全てのクラスについて予測係数ｗｎの算出が終了していれば、学習処理は終了する。
【０１５３】
ここまで、本発明の第２の実施形態に係る学習装置５００について説明した。本実施形態に係る学習装置５００によれば、画素位置に応じたイメージセンサの特性がさらに撮像時のカメラパラメータによって変動する場合に、撮像画像から原画像を予測するための予測係数が適応的に生成される。それにより、試行錯誤的な画質のチューニングを行うことなく、次項で述べる画像処理装置によって、カメラパラメータをも考慮した撮像画像の高画質化を行うことが可能となる。
【０１５４】
［画像処理装置］
次に、前述した学習装置５００により生成された予測係数を用いて、撮像画像から撮像前の原画像を予測する予測処理を行う画像処理装置について説明する。図１８は、本発明の第２の実施形態に係る画像処理装置７００の論理的な構成を示すブロック図である。
【０１５５】
図１８を参照すると、画像処理装置７００は、カメラパラメータ取得部７１４、注目画素設定部３２０、クラス分類部７４２、予測タップ抽出部３５０、係数記憶部３７２、予測係数取得部３７４、及び予測演算部３８０を備える。
【０１５６】
なお、図１８の各機能ブロックのうち、注目画素設定部３２０、予測タップ抽出部３５０、係数記憶部３７２、予測係数取得部３７４、及び予測演算部３８０は、それぞれ図１３に関連して説明した内容と同等の機能を有する。そのため、ここでは主に、カメラパラメータ取得部７１４及びクラス分類部７４２について説明する。
【０１５７】
カメラパラメータ取得部７１４は、画像処理装置７００に撮像画像Ｉ１が供給されると、撮像画像Ｉ１が撮像された際のカメラパラメータＣＰを取得する。カメラパラメータＣＰは、前述したように、例えば、焦点距離（フォーカス）、ズーム、絞り（アイリス）、又は被写界深度など、イメージセンサの特性に影響を与える任意のパラメータであってよい。そして、カメラパラメータ取得部７１４は、取得したカメラパラメータＣＰをクラス分類部７４２へ出力する。
【０１５８】
クラス分類部７４２は、注目画素位置Ｓと、カメラパラメータ取得部７１４から入力されたカメラパラメータＣＰに応じて、例えば図１６に関連して説明した条件に従ってクラスを決定し、クラスコードＣを予測係数取得部３７４へ出力する。
【０１５９】
このような画像処理装置７００の構成により、イメージセンサを用いて撮像された撮像画像Ｉ１から、画素位置だけではなくカメラパラメータＣＰも考慮して高画質化された原画像に相当する予測画像Ｉ２が生成される。
【０１６０】
［処理フロー説明：予測処理］
次に、図２４のフローチャートを用いて、本実施形態に係る画像処理装置７００による予測処理の流れの一例を説明する。
【０１６１】
図２４を参照すると、まず、画像処理装置７００に撮像画像Ｉ１が供給される（Ｓ８０２）。供給された撮像画像Ｉ１は、注目画素設定部３２０に入力される。
【０１６２】
次に、カメラパラメータ取得部７１４により、撮像画像Ｉ１が撮像された際のカメラパラメータＣＰが取得され、クラス分類部７４２へ出力される（Ｓ８０４）。
【０１６３】
その後、注目画素設定部３２０により、予測画像Ｉ２のうち予測の対象とする注目画素が設定される（Ｓ８０６）。ここで設定された注目画素の画素位置Ｓはクラス分類部７４２へ出力され、また注目画素位置Ｓと撮像画像Ｉ１は予測タップ抽出部３５０へ出力される。
【０１６４】
そして、クラス分類部７４２により、注目画素位置ＳとカメラパラメータＣＰとに応じてクラスが決定され、決定されたクラスを表すクラスコードＣが予測係数取得部３７４へ出力される（Ｓ８０８）。
【０１６５】
さらに、予測係数取得部３７４により、クラスコードＣと対応付けて係数記憶部３７２に記憶されている予測係数ｗｎが取得され、取得された予測係数ｗｎが予測演算部３８０へ出力される（Ｓ８１０）。
【０１６６】
また、予測タップ抽出部３５０により、撮像画像Ｉ１において注目画素位置Ｓの近傍に位置する複数の画素が予測タップｄｎとして抽出され、予測演算部３８０へ出力される（Ｓ８１２）。
【０１６７】
そして、予測演算部３８０において、予測係数ｗｎと予測タップｄｎの線形一次結合が式（２）に従って行われ、注目画素の予測値が算出される（Ｓ８１４）。
【０１６８】
その後、全ての注目画素についての予測値の算出が終了したか否かが判定される（Ｓ８１６）。ここで、予測値の算出が終了していない画素が残っていれば、処理はＳ８０６へ戻り、注目画素設定部３２０によって新たな注目画素が設定される。一方、予測画像Ｉ２の全ての画素について予測値の算出が終了していれば、予測処理は終了する。
【０１６９】
ここまで、本発明の第２の実施形態に係る画像処理装置７００について説明した。本実施形態に係る画像処理装置７００によれば、イメージセンサが画素位置に加えてカメラパラメータに応じて異なる特性を有している場合に、前項で述べた学習装置５００による学習の結果得られた予測係数を用いて、撮像画像から原画像を予測することができる。それにより、試行錯誤的な画質のチューニングを行うことなく、カメラパラメータをも考慮して撮像画像を高画質化することが可能となる。
【０１７０】
なお、本明細書において説明する第１〜第３の実施形態に係る学習、即ちイメージセンサの特性を考慮した予測係数の算出は、典型的には、製品ごとの特性をより正確に反映させるために、製品を製造した後の出荷前に行われる。そうした場合には、学習は１つの製品に閉じた範囲で行われるため、学習時に製品の種類を考慮しなくてもよい。
【０１７１】
しかしながら、その代わりに、例えば、独立した学習モジュールを用いて、イメージセンサの複数の種類にわたって一度に学習を行ってもよい。例えば、本実施形態に係る学習装置５００による学習処理として、カメラパラメータ取得部５１４にイメージセンサの個体識別番号を取得させ、注目画素位置Ｘに加えて当該個体識別番号に応じてクラスを決定してもよい。そうした場合には、注目画素位置Ｘと個体識別番号に応じたクラスごとに、予測係数が算出される。そして、画像処理装置７００による予測処理では、画像処理装置７００のカメラパラメータ取得部７１４により個体識別番号が取得され、画素位置と個体識別番号とに応じて決定されたクラスに対応する予測係数を用いて、撮像画像から原画像が予測される。
【０１７２】
＜４．第３の実施形態＞
イメージセンサの特性を考慮した撮像画像の高画質化は、注目画素の近傍の画素値のパターンに応じたクラス分類と組み合わせることも可能である。そこで、本発明の第３の実施形態では、画素位置に加えて、注目画素の近傍の画素値のパターンを考慮に入れて撮像画像を高画質化する例について説明する。
【０１７３】
［学習装置］
図２０は、本発明の第３の実施形態に係る学習装置９００の論理的な構成を示すブロック図である。
【０１７４】
図２０を参照すると、学習装置９００は、生徒画像生成部１１０、特性記憶部１１２、画像記憶部１１６、注目画素設定部９２０、クラスタップ抽出部９４０、クラス分類部９４２、予測タップ抽出部１５０、教師画素抽出部１５２、正規方程式生成部１６０、学習記憶部１６２、係数算出部１７０、及び係数記憶部１７２を備える。
【０１７５】
なお、ここでは主に、注目画素設定部９２０、クラスタップ抽出部９４０、及びクラス分類部９４２について説明する。
【０１７６】
注目画素設定部９２０は、生徒画像生成部１１０により生成された生徒画像ＩＳを画像記憶部１１６から取得し、教師画像ＩＴを予測する予測係数の算出に用いる注目画素位置Ｓを、順次設定する。そして、注目画素設定部９２０は、クラスタップ抽出部９４０及び予測タップ抽出部１５０に生徒画像ＩＳと注目画素位置Ｓとを出力する。また、注目画素設定部９２０は、教師画素抽出部１５２に注目画素位置Ｓを出力する。
【０１７７】
クラスタップ抽出部９４０は、注目画素についてのクラス分類に用いるクラスタップｘｎを生徒画像ＩＳから抽出し、クラス分類部９４２へ出力する。ここで、クラスタップとは、その画素値のパターンに応じたクラス分類を行うための、注目画素の近傍に位置する画素の集合を指す。
【０１７８】
図２１は、クラスタップ抽出部９４０により抽出されるクラスタップｘｎの一例を示している。図２１の例において、クラスタップ抽出部９４０は、注目画素位置Ｓ（ｓ，ｔ）を中心とする、縦横５個ずつのいわゆる十字型に配置された計９個の画素ｘ１〜ｘ９をクラスタップｘｎとして抽出している。なお、クラスタップ抽出部９４０により抽出されるクラスタップｘｎは、図２１の例に限定されず、注目画素位置Ｓの近傍の任意の位置又は任意の数の画素の集合であってよい。
【０１７９】
クラス分類部９４２は、クラスタップ抽出部９４０から入力されたクラスタップｘｎの画素値のパターン及び注目画素位置Ｓに応じたいずれかのクラスを決定し、決定したクラスを表すクラスコードＣを学習記憶部１６２に出力する。
【０１８０】
クラスタップｘｎの画素値のパターンに応じてクラスを分類する方法としては、例えば、ＡＤＲＣ（Adaptive  Dynamic  Range  Coding）等を用いることができる。ＡＤＲＣを用いる場合には、クラスタップｘｎに含まれる各画素値がＡＤＲＣ処理され、その結果としてＡＤＲＣコードが得られる。
【０１８１】
より具体的には、例えばＫビットＡＤＲＣにおいては、まず、クラスタップｘｎに含まれる各画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを画素値の集合の局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、クラスタップｘｎに含まれる各画素値が再度Ｋビットに量子化される。即ち、クラスタップｘｎに含まれる各画素値から、最小値ＭＩＮが減算され、その減算値がＤＲ／２Ｋで除算（量子化）される。そして、以上のようにして得られるＫビットの各画素値を所定の順番で並べたビット列が、ＡＤＲＣコードとして得られる。
【０１８２】
例えば、クラスタップｘｎが例えば１ビットＡＤＲＣ処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値ＭＡＸと最小値ＭＩＮとの平均値で除算され（小数点以下切り捨て）、これにより各画素値が二値化される。そして、二値化された画素値を所定の順番で並べたビット列が、ＡＤＲＣコードとして得られる。
【０１８３】
クラス分類部９４２は、例えば、そのようにして得られたＡＤＲＣコードと、注目画素位置Ｓとに応じたいずれかのクラスを決定し、決定したクラスを表すクラスコードＣを学習記憶部１６２に出力する。
【０１８４】
なお、クラス分類部９４２は、ＡＤＲＣ処理ではなく、例えば、クラスタップを構成する画素をベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化することなどによってクラスを決定してもよい。
【０１８５】
［処理フロー説明：学習処理］
次に、図２２のフローチャートを用いて、本実施形態に係る学習装置９００による学習処理の流れの一例を説明する。
【０１８６】
図２２を参照すると、まず、学習装置９００に教師画像ＩＴが供給される（Ｓ１００２）。教師画像ＩＴは、生徒画像生成部１１０及び教師画素抽出部１５２に入力される。
【０１８７】
次に、教師画像ＩＴと特性記憶部１１２から取得されたフィルタ係数とを用いて、生徒画像生成部１１０により、生徒画像ＩＳが生成される（Ｓ１００４）。ここで生成された生徒画像ＩＳは、画像記憶部１１６へ出力され、記憶される。
【０１８８】
その後、注目画素設定部９２０により、画像記憶部１１６から生徒画像ＩＳが取得され、生徒画像ＩＳから教師画像ＩＴを予測する際に注目する注目画素位置Ｓが設定される（Ｓ１００６）。
【０１８９】
そして、クラスタップ抽出部９４０により、注目画素位置Ｓの近傍の画素位置に対応する複数の画素がクラスタップｘｎとして抽出され、クラス分類部９４２へ出力される（Ｓ１００８）。
【０１９０】
さらに、クラス分類部９４２により、クラスタップｘｎと注目画素位置Ｓに応じたクラスが決定され、決定されたクラスを表すクラスコードが学習記憶部１６２へ出力される（Ｓ１０１０）。
【０１９１】
また、予測タップ抽出部１５０により、生徒画像ＩＳから注目画素位置Ｓの近傍に位置する複数の画素が予測タップｄｎとして抽出され、正規方程式生成部１６０へ出力される（Ｓ１０１２）。
【０１９２】
また、教師画素抽出部１５２により、教師画像ＩＴから注目画素位置Ｓにおける画素の真値ｙｋが抽出され、正規方程式生成部１６０へ出力される（Ｓ１０１４）。
【０１９３】
そして、正規方程式生成部１６０により、予測タップｄｎ及び注目画素の真値ｙｋを用いて、正規方程式への足し込みが行われる（Ｓ１０１６）。ここで生成された正規方程式は、クラス分類部９４２により決定されたクラスごとに学習記憶部１６２により記憶される。
【０１９４】
その後、全ての注目画素について正規方程式への足し込みが終了したか否かが判定される（Ｓ１０１８）。ここで、正規方程式への足し込みが終了していない注目画素が残っていれば、処理はＳ１００６へ戻り、注目画素設定部９２０によって新たな注目画素位置Ｓが設定される。一方、全ての注目画素について正規方程式への足し込みが終了していれば、処理はＳ１０２０へ進む。
【０１９５】
Ｓ１０２０では、係数算出部１７０により、正規方程式がクラスごとに学習記憶部１６２から取得され、クラスごとの予測係数ｗｎが算出される（Ｓ１０２０）。ここで算出された予測係数ｗｎは、クラスごとに係数記憶部１７２により記憶される。
【０１９６】
その後、全てのクラスについての予測係数ｗｎの算出が終了したか否かが判定される（Ｓ１０２２）。ここで、予測係数ｗｎの算出が終了していないクラスが残っていれば、処理はＳ１０２０へ戻る。一方、全てのクラスについて予測係数ｗｎの算出が終了していれば、学習処理は終了する。
【０１９７】
ここまで、本発明の第３の実施形態に係る学習装置９００について説明した。本実施形態に係る学習装置９００によれば、イメージセンサによる撮像過程を経て得られた撮像画像から原画像を予測するための予測係数が、画素位置に応じたフィルタ特性だけではなく、注目画素の近傍の画素値のパターンも考慮に入れて適応的に学習される。それにより、次項で述べる画像処理装置によって、イメージセンサの特性を考慮した高画質化と同時に例えばノイズが除去されるなど、より効果的な高画質化を実現できる。
【０１９８】
［画像処理装置］
次に、前述した学習装置９００により生成された予測係数を用いて、撮像画像から撮像前の原画像を予測する予測処理を行う画像処理装置について説明する。図２３は、本発明の第３の実施形態に係る画像処理装置１１００の論理的な構成を示すブロック図である。
【０１９９】
図２３を参照すると、画像処理装置１１００は、注目画素設定部１１２０、クラスタップ抽出部１１４０、クラス分類部１１４２、予測タップ抽出部３５０、係数記憶部３７２、予測係数取得部３７４、及び予測演算部３８０を備える。
【０２００】
なお、ここでは主に、注目画素設定部１１２０、クラスタップ抽出部１１４０、クラス分類部１１４２について説明する。
【０２０１】
注目画素設定部１１２０は、イメージセンサにより撮像される前の原画像に相当する予測画像Ｉ２のうち、予測の対象とする任意の画素を注目画素として順次設定する。そして、注目画素設定部３２０は、設定した注目画素の予測画像Ｉ２における画素位置Ｓをクラス分類部３４２へ出力する。また、注目画素設定部３２０は、撮像画像Ｉ１と注目画素位置Ｓとを、クラスタップ抽出部１１４０及び予測タップ抽出部３５０へ出力する。
【０２０２】
クラスタップ抽出部１１４０は、注目画素についてのクラス分類に用いるクラスタップｘｎとして、注目画素位置Ｓの近傍に位置する複数の画素を撮像画像Ｉ１から抽出し、クラス分類部１１４２へ出力する。例えば、クラスタップ抽出部１１４０は、図２１を用いて説明した注目画素位置Ｓの近傍の９つの画素を、クラスタップｘｎとして抽出する。
【０２０３】
クラス分類部１１４２は、注目画素位置Ｓと、クラスタップ抽出部１１４０から入力されたクラスタップｘｎとに応じてクラスを決定し、クラスコードＣを予測係数取得部３７４へ出力する。例えば、クラス分類部１１４２は、学習装置９００のクラス分類部９４２と同様に、クラスタップｘｎに含まれる各画素値からＡＤＲＣ処理によりＡＤＲＣコード生成し、ＡＤＲＣコードと注目画素位置Ｓに対応するクラスコードＣを決定する。
【０２０４】
このような画像処理装置１１００の構成により、イメージセンサを用いて撮像された撮像画像Ｉ１から、画素位置だけではなく注目画素の近傍の画素値のパターンも考慮して、原画像に相当する予測画像Ｉ２が生成される。
【０２０５】
［処理フロー説明：予測処理］
次に、図２４のフローチャートを用いて、本実施形態に係る画像処理装置１１００による予測処理の流れの一例を説明する。
【０２０６】
図２４を参照すると、まず、画像処理装置１１００に撮像画像Ｉ１が供給される（Ｓ１２０２）。供給された撮像画像Ｉ１は、注目画素設定部１１２０に入力される。
【０２０７】
次に、注目画素設定部１１２０により、予測画像Ｉ２のうち予測の対象とする注目画素の画素位置Ｓが設定される（Ｓ１２０４）。ここで設定された注目画素の画素位置Ｓはクラス分類部１１４２へ出力され、また注目画素位置Ｓと撮像画像Ｉ１はクラスタップ抽出部１１４０及び予測タップ抽出部３５０へ出力される。
【０２０８】
その後、クラスタップ抽出部１１４０により、撮像画像Ｉ１から、注目画素位置Ｓの近傍の複数の画素がクラスタップｘｎとして抽出される（Ｓ１２０６）。
【０２０９】
そして、クラス分類部１１４２により、注目画素位置Ｓとクラスタップｘｎに含まれる各画素値のパターンとに応じて決定されたクラスを表すクラスコードＣが、予測係数取得部３７４へ出力される（Ｓ１２０８）。
【０２１０】
さらに、予測係数取得部３７４により、クラスコードＣと対応付けて係数記憶部３７２に記憶されている予測係数ｗｎが取得され、予測演算部３８０へ出力される（Ｓ１２１０）。
【０２１１】
また、予測タップ抽出部３５０により、撮像画像Ｉ１において注目画素位置Ｓの近傍に位置する複数の画素が予測タップｄｎとして抽出され、予測演算部３８０へ出力される（Ｓ１２１２）。
【０２１２】
そして、予測演算部３８０において、予測係数ｗｎと予測タップｄｎの線形一次結合が式（２）に従って行われ、注目画素の予測値が算出される（Ｓ１２１４）。
【０２１３】
その後、全ての注目画素についての予測値の算出が終了したか否かが判定される（Ｓ１２１６）。ここで、予測値の算出が終了していない画素が残っていれば、処理はＳ１２０４へ戻る。一方、予測画像Ｉ２の全ての画素について予測値の算出が終了していれば、予測処理は終了する。
【０２１４】
ここまで、本発明の第３の実施形態に係る画像処理装置１１００について説明した。本実施形態に係る画像処理装置１１００によれば、画素位置に応じたフィルタ特性だけでなく注目画素の近傍の画素値のパターンも考慮に入れた学習に基づく予測係数を用いて、イメージセンサによる撮像過程を経て得られた撮像画像から原画像が予測される。それにより、撮像画像から原画像が予測される際に例えばノイズが除去されるなど、より効果的な高画質化を実現できる。
【０２１５】
＜５．まとめ＞
ここまで、図１〜図２４を用いて、イメージセンサの特性を考慮した高画質化に関する３つの実施形態について、それぞれ予測係数を学習する学習装置と高質な画像を予測する画像処理装置とに分けて詳細に説明した。
【０２１６】
各実施形態に係る学習装置は、例えば、イメージセンサに接続される独立した学習モジュール、イメージセンサ自体、又はイメージセンサを搭載したカメラ（若しくはカメラモジュール）などであってよい。また、各実施形態に係る画像処理装置は、例えば、イメージセンサに接続される独立した画像処理モジュール、イメージセンサ自体、又はイメージセンサを搭載したカメラ（若しくはカメラモジュール）などであってよい。
【０２１７】
なお、各実施形態に係る一連の処理をハードウェアで実現するかソフトウェアで実現するかは問わない。一連の処理又はその一部をソフトウェアで実行させる場合には、ソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれたコンピュータ、又は例えば図２５に示した汎用的なコンピュータなどを用いて実行される。
【０２１８】
図２５において、ＣＰＵ（Central  Processing  Unit）１２は、汎用コンピュータの動作全般を制御する。ＲＯＭ（Read  Only  Memory）１４には、一連の処理の一部又は全部を記述したプログラム又はデータが格納される。ＲＡＭ（Random  Access  Memory）１６には、処理の実行時にＣＰＵ１２により用いられるプログラムやデータなどが一時的に記憶される。
【０２１９】
ＣＰＵ１２、ＲＯＭ１４、及びＲＡＭ１６は、バス２０を介して相互に接続される。バス２０にはさらに、入出力インタフェース２２が接続される。
【０２２０】
入出力インタフェース２２は、ＣＰＵ１２、ＲＯＭ１４、及びＲＡＭ１６と、入力装置３０、出力装置３２、記憶装置３４、通信装置３６、及びドライブ４０とを接続するためのインタフェースである。
【０２２１】
入力装置３０は、例えばボタン、スイッチ、レバーなどの入力装置を介して、ユーザからの指示や情報入力を受け付ける。出力装置３２は、例えば液晶ディスプレイやＯＬＥＤ（Organic  Light  Emitting  Diode）などの表示装置、又はスピーカなどの音声出力装置を介してユーザに情報を出力する。
【０２２２】
記憶装置３４は、例えばハードディスクドライブ又はフラッシュメモリなどにより構成され、プログラムやプログラムデータ、又は画像データなどを記憶する。通信装置３６は、例えばＵＳＢ（Universal  Serial  Bus）などによる通信ポートを介する通信処理を行う。ドライブ４０には、例えばリムーバブルメディア４２が装着される。
【０２２３】
第１〜第３の実施形態に係る一連の処理をソフトウェアで実行する場合には、例えば図２５に示したＲＯＭ１４又は記憶装置３４に格納されたプログラムが、実行時にＲＡＭ１６に読み込まれ、ＣＰＵ１２によって実行される。
【０２２４】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０２２５】
例えば、第１〜第３の実施形態に係る学習処理又は予測処理を、必ずしもフローチャートに記載された順序に沿って実行しなくてもよい。各処理ステップは、並列的あるいは個別に独立して実行される処理を含んでもよい。
【図面の簡単な説明】
【０２２６】
【図１】イメージセンサの概観を示す模式図である。
【図２】イメージセンサの中央部における集光特性の一例を示す特性図である。
【図３】イメージセンサの周辺部における集光特性の一例を示す特性図である。
【図４】イメージセンサの中央部における集光特性の他の例を示す特性図である。
【図５】イメージセンサの周辺部における集光特性の他の例を示す特性図である。
【図６】イメージセンサの特性を考慮した高画質化処理の概要を示す説明図である。
【図７】第１の実施形態に係る学習装置の構成を示すブロック図である。
【図８】画素位置に応じたクラス分類の一例を示す説明図である。
【図９】注目画素の近傍から抽出される予測タップの一例を示す説明図である。
【図１０】第１の実施形態に係る学習処理の一例を示すフローチャートである。
【図１１】クラスごとの代表画素位置の一例を示す説明図である。
【図１２】代表画素位置を用いた予測係数値の補間の一例を示す説明図である。
【図１３】第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図１４】第１の実施形態に係る予測処理の一例を示すフローチャートである。
【図１５】第２の実施形態に係る学習装置の構成を示すブロック図である。
【図１６】画素位置とカメラパラメータに応じたクラス分類の一例を示す説明図である。
【図１７】第２の実施形態に係る学習処理の一例を示すフローチャートである。
【図１８】第２の実施形態に係る画像処理装置の構成を示すブロック図である。
【図１９】第２の実施形態に係る予測処理の一例を示すフローチャートである。
【図２０】第３の実施形態に係る学習装置の構成を示すブロック図である。
【図２１】注目画素の近傍から抽出されるクラスタップの一例を示す説明図である。
【図２２】第３の実施形態に係る学習処理の一例を示すフローチャートである。
【図２３】第３の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２４】第３の実施形態に係る予測処理の一例を示すフローチャートである。
【図２５】汎用的なコンピュータの構成例を示すブロック図である。
【符号の説明】
【０２２７】
１０                        イメージセンサ
１２                        受光面
１００、５００、９００      学習装置
１１０、５１０              生徒画像生成部
１１２、５１２              特性記憶部
５１４                      カメラパラメータ取得部
１１６、５１６              画像記憶部
１２０、５２０、９２０      注目画素設定部
９４０                      クラスタップ抽出部
１４２、５４２、９４２      クラス分類部
１５０                      予測タップ抽出部
１５２                      教師画素抽出部
１６０                      正規方程式生成部
１６２                      学習記憶部
１７０                      係数算出部
１７２                      係数記憶部
３００、７００、１１００    画像処理装置
７１４                      カメラパラメータ取得部
３２０、１１２０            注目画素設定部
１１４０                    クラスタップ抽出部
３４２、７４２、１１４２    クラス分類部
３５０                      予測タップ抽出部
３７２                      係数記憶部
３７４                      予測係数取得部
３８０                      予測演算部
【図１】
2010066925.tif 000009
【図２】
2010066925.tif 000010
【図３】
2010066925.tif 000011
【図４】
2010066925.tif 000012
【図５】
2010066925.tif 000013
【図６】
2010066925.tif 000014
【図７】
2010066925.tif 000015
【図８】
2010066925.tif 000016
【図９】
2010066925.tif 000017
【図１０】
2010066925.tif 000018
【図１１】
2010066925.tif 000019
【図１２】
2010066925.tif 000020
【図１３】
2010066925.tif 000021
【図１４】
2010066925.tif 000022
【図１５】
2010066925.tif 000023
【図１６】
2010066925.tif 000024
【図１７】
2010066925.tif 000025
【図１８】
2010066925.tif 000026
【図１９】
2010066925.tif 000027
【図２０】
2010066925.tif 000028
【図２１】
2010066925.tif 000029
【図２２】
2010066925.tif 000030
【図２３】
2010066925.tif 000031
【図２４】
2010066925.tif 000032
【図２５】
2010066925.tif 000033