(57)【要約】【課題】ジッパーノイズを低減することができるようにする。【解決手段】各クラスタップ選択部は、単板式画素部から出力される画像信号により構成される第１の画像から、複数の色成分に対応する画素に係る画素値を、クラスタップとして選択し、各クラス分類部は、クラスタップの特徴量に基づいて、第２の画像の注目画素をクラス分類し、各予測タップ選択部は、第１の画像から、複数の色成分のうち、第１の色成分に対応する画素に係る画素値を、予測タップとして選択し、各積和演算部は、予測タップの第１の色成分に対応する画素に係る画素値を変数とし、読み出された係数を用いた積和演算により、第２の画像の画素値をそれぞれ演算する。本技術は、例えば、単板式カメラにより取得された画像信号に対する画像処理を行う画像処理装置に適用することができる。【選択図】図１６
2014200009.tif 000002
【特許請求の範囲】
【請求項１】
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択するクラスタップ選択部と、
前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類部と、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
前記第１の画像から、前記複数の色成分のうち、第１の色成分に対応する画素に係る画素値を、予測タップとして選択する予測タップ選択部と、
前記予測タップの前記第１の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する積和演算部と
を備え、
前記複数の色成分の画像のうち、前記第１の色成分のみで構成される第２の画像を生成し、
前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される
画像処理装置。
【請求項２】
前記第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、
前記予測タップの前記第１の色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第１の変換値に変換する第１の色成分変換部と
をさらに備え、
前記積和演算部は、前記第１の変換値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する
請求項１に記載の画像処理装置。
【請求項３】
前記クラスタップの前記複数の色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第２の変換値に変換する第２の色成分変換部をさらに備え、
前記クラス分類部は、前記第２の変換値に基づいて、前記クラスタップの特徴量を決定する
請求項２に記載の画像処理装置。
【請求項４】
前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有するベイヤー配列の画素部であり、
前記代表値演算部は、
前記ＲまたはＢの画素の周囲のＧの画素に基づいて、前記ＲまたはＢの画素の補間値ｇを算出し、
前記Ｇの画素の周囲のＲの画素またはＢの画素に基づいて、それぞれ前記Ｇの画素の補間値ｒおよび補間値ｂを算出し、
前記Ｇの画素から直接得られる入力値Ｇと前記補間値ｇとの平均値により、Ｇの代表値を演算し、
前記補間値ｒと前記入力値Ｇとの差分、および、前記Ｒの画素から直接得られる入力値Ｒと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＲの代表値を演算し、
前記補間値ｂと前記入力値Ｇとの差分、および、前記Ｂの画素から直接得られる入力値Ｂと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＢの代表値を演算する
請求項３に記載の画像処理装置。
【請求項５】
前記色成分変換部は、
前記第２の画像がＧの画素のみで構成される画像である場合、
前記入力値Ｒを、前記Ｒの代表値と前記Ｇの代表値の差分によりオフセットし、
前記入力値Ｂを、前記Ｂの代表値と前記Ｇの代表値の差分によりオフセットし、
前記第２の画像がＲの画素のみで構成される画像である場合、
前記入力値Ｇを、前記Ｇの代表値と前記Ｒの代表値の差分によりオフセットし、
前記入力値Ｂを、前記Ｂの代表値と前記Ｒの代表値の差分によりオフセットし、
前記第２の画像がＢの画素のみで構成される画像である場合、
前記入力値Ｇを、前記Ｇの代表値と前記Ｂの代表値の差分によりオフセットし、
前記入力値Ｒを、前記Ｒの代表値と前記Ｂの代表値の差分によりオフセットする
請求項４に記載の画像処理装置。
【請求項６】
前記第１の画像から、色成分の変化を検出する色変化検出部をさらに備え、
前記クラス分類部は、前記色変化検出部の検出結果に基づいて、クラス分類を行う
請求項１に記載の画像処理装置。
【請求項７】
前記係数読み出し部により読み出される係数は、予め学習により求められ、
前記学習では、
前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、
前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、
前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される
請求項１に記載の画像処理装置。
【請求項８】
画像処理装置の画像処理方法において、
前記画像処理装置が、
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択し、
前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類し、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
前記第１の画像から、前記複数の色成分のうち、第１の色成分に対応する画素に係る画素値を、予測タップとして選択し、
前記予測タップの前記第１の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算し、
前記複数の色成分の画像のうち、前記第１の色成分のみで構成される第２の画像を生成し、
前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される
ステップを含む画像処理方法。
【請求項９】
第１の画像から第２の画像を生成する画像処理をコンピュータに行わせるプログラムにおいて、
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される前記第１の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択し、
前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である前記第２の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類し、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
前記第１の画像から、前記複数の色成分のうち、第１の色成分に対応する画素に係る画素値を、予測タップとして選択し、
前記予測タップの前記第１の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算し、
前記複数の色成分の画像のうち、前記第１の色成分のみで構成される第２の画像を生成し、
前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、並びにプログラムに関し、特に、ジッパーノイズを低減することができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
イメージセンサを用いた撮像装置には、主に、１つのイメージセンサを用いた単板方式のもの（以下、単板式カメラという）と、３つのイメージセンサを用いた３板方式のもの（以下、３板式カメラという）とがある。
【０００３】
３板式カメラでは、例えばＲ信号用、Ｇ信号用およびＢ信号用の３つのイメージセンサを用いて、その３つのイメージセンサにより３原色信号を得る。そして、この３原色信号から生成されるカラー画像信号が記録媒体に記録される。
【０００４】
単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのイメージセンサを用いて、色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。色コーディングフィルタを構成する色フィルタアレイとしては、例えば、Ｒ（Red），Ｇ（Green），Ｂ（Blue）の原色フィルタアレイや、Ｙｅ（Yellow），Ｃｙ（Cyanogen），Ｍｇ（Magenta）の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、イメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、３板式カメラにより得られる画像に近い画像を得るようしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。
【０００５】
色コーディングフィルタを構成する色フィルタアレイとして、ベイヤー配列の色フィルタアレイが用いられることが多い。ベイヤー配列では、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。
【０００６】
この場合、イメージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色のフィルタが配置された各画素から、そのフィルタの色に対応する画像信号のみが出力される。すなわち、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は出力されるが、Ｇ成分およびＢ成分の画像信号は出力されない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが出力され、Ｒ成分およびＢ成分の画像信号は出力されず、Ｂの画素からは、Ｂ成分の画像信号のみが出力され、Ｒ成分およびＧ成分の画像信号は出力されない。
【０００７】
しかしながら、画像処理の後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分およびＢ成分の画像信号が必要となる。そこで、従来の技術では、ｎ×ｍ（ｎおよびｍは正の整数）個の画素で構成されるイメージセンサの出力から、ｎ×ｍ個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号およびｎ×ｍ個のＢ画素の画像信号が、それぞれ補間演算により求められ、後段に出力される。
【０００８】
このような従来の技術としてDLMMSE法が知られている（非特許文献１参照）。
【０００９】
DLMMSE法では、まず、イメージセンサからの入力画像に対し、Ｇ成分の画素信号を補間し、Ｇ成分を補間した後の色差（Ｂ−Ｇ，Ｒ−Ｇ）を用いてＢ成分の画素信号とＲ成分の画素信号を補間する。また、このＧ成分を補間する際には、入力画像の垂直方向と水平方向でそれぞれ、自乗誤差が最小となる補間値を生成する。そして、垂直方向と水平方向の方向性を検出し、その検出結果に応じて垂直方向の補間値と水平方向の補間値を按分することになる。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】DLMMSE algorithm from L. Zhang and X. Wu, “Color demosaicking via directional linear minimum mean square-error estimation,” IEEE Trans. on Image Processing, vol. 14, no. 12, pp. 2167-2178, 2005.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ところで、DLMMSE法を用いた場合に、局所的にＲ成分だけ存在する絵柄では、平均化した色差が本来の色差よりも減少する現象が発生する。この現象は、いわゆる色抜けと称される現象であり、色差が減少した結果、Ｇ成分のレベルが持ち上がることになる。
【００１２】
具体的には、図１に示すように、DLMMSE法を用いて、イメージセンサからの入力画像（図２）におけるＲ画素を中心画素としたときの左右両隣のＧ画素を含む３点で計算された色差と、左右両隣のＧ画素とＲ画素を含む５点で計算された色差とを比較すると、５点で計算された色差のほうが、３点で計算された色差よりもレベルが低くなる。つまり、Ｒ成分だけが存在する絵柄において、中心画素となるＲ画素のレベルが、左右両隣のＲ画素のレベルの平均よりも下がっていると、中心のＲ画素の色差（Ｒ−Ｇ）のレベルが低下する。その結果、Ｒ成分は固定で計算されるので、中心のＲ画素のＧ成分のレベルは上昇することになる。
【００１３】
このように１点だけＧ成分のレベルが持ち上がって白点や黒点が孤立して発生したノイズは、ジッパーノイズと称されている。つまり、DLMMSE法のように、ある方向に色差を平均化して解像感を増加させる方式であると、局所的に色差変化のある箇所でジッパーノイズが発生してしまう可能性がある。なお、図３には３点で計算した場合に得られる画像を示し、図４には５点で計算した場合に得られる画像を示しており、５点で計算した場合に得られる画像ではジッパーノイズが発生している。
【００１４】
本技術はこのような状況に鑑みてなされたものであり、イメージセンサからの入力画像に局所的に色差変化のある箇所があっても、そこで発生するジッパーノイズを低減することができるようにするものである。
【課題を解決するための手段】
【００１５】
本技術の一側面の画像処理装置は、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択するクラスタップ選択部と、前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類部と、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、前記第１の画像から、前記複数の色成分のうち、第１の色成分に対応する画素に係る画素値を、予測タップとして選択する予測タップ選択部と、前記予測タップの前記第１の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する積和演算部とを備え、前記複数の色成分の画像のうち、前記第１の色成分のみで構成される第２の画像を生成し、前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される。
【００１６】
前記第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、前記予測タップの前記第１の色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第１の変換値に変換する第１の色成分変換部とをさらに備え、前記積和演算部は、前記第１の変換値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する。
【００１７】
前記クラスタップの前記複数の色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第２の変換値に変換する第２の色成分変換部をさらに備え、前記クラス分類部は、前記第２の変換値に基づいて、前記クラスタップの特徴量を決定する。
【００１８】
前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有するベイヤー配列の画素部であり、前記代表値演算部は、前記ＲまたはＢの画素の周囲のＧの画素に基づいて、前記ＲまたはＢの画素の補間値ｇを算出し、前記Ｇの画素の周囲のＲの画素またはＢの画素に基づいて、それぞれ前記Ｇの画素の補間値ｒおよび補間値ｂを算出し、前記Ｇの画素から直接得られる入力値Ｇと前記補間値ｇとの平均値により、Ｇの代表値を演算し、前記補間値ｒと前記入力値Ｇとの差分、および、前記Ｒの画素から直接得られる入力値Ｒと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＲの代表値を演算し、前記補間値ｂと前記入力値Ｇとの差分、および、前記Ｂの画素から直接得られる入力値Ｂと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＢの代表値を演算する。
【００１９】
前記色成分変換部は、前記第２の画像がＧの画素のみで構成される画像である場合、前記入力値Ｒを、前記Ｒの代表値と前記Ｇの代表値の差分によりオフセットし、前記入力値Ｂを、前記Ｂの代表値と前記Ｇの代表値の差分によりオフセットし、前記第２の画像がＲの画素のみで構成される画像である場合、前記入力値Ｇを、前記Ｇの代表値と前記Ｒの代表値の差分によりオフセットし、前記入力値Ｂを、前記Ｂの代表値と前記Ｒの代表値の差分によりオフセットし、前記第２の画像がＢの画素のみで構成される画像である場合、前記入力値Ｇを、前記Ｇの代表値と前記Ｂの代表値の差分によりオフセットし、前記入力値Ｒを、前記Ｒの代表値と前記Ｂの代表値の差分によりオフセットする。
【００２０】
前記第１の画像から、色成分の変化を検出する色変化検出部をさらに備え、前記クラス分類部は、前記色変化検出部の検出結果に基づいて、クラス分類を行う。
【００２１】
前記係数読み出し部により読み出される係数は、予め学習により求められ、前記学習では、前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される。
【００２２】
本技術の一側面の画像処理方法またはプログラムは、上述した本技術の一側面の画像処理装置に対応する画像処理方法またはプログラムである。
【００２３】
本技術の一側面の画像処理装置および方法、並びにプログラムにおいては、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、前記複数の色成分に対応する画素に係る画素値が、クラスタップとして選択され、前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の注目画素が、複数のクラスのうちのいずれかのクラスに分類され、前記クラス分類の結果に基づいて、予め記憶されている係数が読み出され、前記第１の画像から、前記複数の色成分のうち、第１の色成分に対応する画素に係る画素値が、予測タップとして選択され、前記予測タップの前記第１の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値がそれぞれ演算され、前記複数の色成分の画像のうち、前記第１の色成分のみで構成される第２の画像が生成され、前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される。
【発明の効果】
【００２４】
本技術の一側面によれば、ジッパーノイズを低減することができる。
【図面の簡単な説明】
【００２５】
【図１】ジッパーノイズの原理を説明する図である。
【図２】入力画像を示す図である。
【図３】DLMMSE法（３点計算）により得られる画像を示す図である。
【図４】DLMMSE法（５点計算）により得られる画像を示す図である。
【図５】単板式カメラのイメージセンサにおける画像信号の取得方式を説明する図である。
【図６】本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。
【図７】指定エリアの例を示す図である。
【図８】補間値ｇの算出方式の例を説明する図である。
【図９】補間値ｒの算出方式の例を説明する図である。
【図１０】補間値ｂの算出方式の例を説明する図である。
【図１１】図６の画像処理装置に対応する学習装置の構成例を示す図である。
【図１２】図６の画像処理装置、または、図１１の学習装置において取得されるクラスタップまたは予測タップの構造の例を示す図である。
【図１３】図６の画像処理装置による画像処理の例を説明するフローチャートである。
【図１４】代表ＲＧＢ演算処理の例を説明するフローチャートである。
【図１５】図１１の学習装置による係数学習処理の例を説明するフローチャートである。
【図１６】本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。
【図１７】図１６の画像処理装置において取得されるＧクラスタップの構造の例を示す図である。
【図１８】図１６の画像処理装置において取得されるＧ予測タップの構造の例を示す図である。
【図１９】図１６の画像処理装置において取得されるＲクラスタップの構造の例を示す図である。
【図２０】図１６の画像処理装置において取得されるＲ予測タップの構造の例を示す図である。
【図２１】図１６の画像処理装置において取得されるＢクラスタップの構造の例を示す図である。
【図２２】図１６の画像処理装置において取得されるＢ予測タップの構造の例を示す図である。
【図２３】図１６の画像処理装置の他の構成例を示すブロック図である。
【図２４】本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。
【図２５】図２４の画像処理装置による画像処理の例を説明するフローチャートである。
【図２６】図１６または図２４の画像処理装置において取得されるクラスタップの別の構造の例を示す図である。
【図２７】図１６または図２４の画像処理装置において取得される予測タップの別の構造の例を示す図である。
【図２８】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら本技術の実施の形態について説明する。
【００２７】
＜画像信号の取得方式＞
【００２８】
図５は、単板式カメラのイメージセンサにおける画像信号の取得方式を説明する図である。
【００２９】
この例では、被写体１１で反射した光が、光学ローパスフィルタ１２を通過してイメージセンサ１３により受光されるようになされている。
【００３０】
単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのイメージセンサを用いて、色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。
【００３１】
ここでは、イメージセンサ１３においてベイヤー配列の色フィルタアレイが用いられており、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。すなわち、イメージセンサ１３の中の矩形の領域内の４画素は、２つのＧの画素と、それぞれ１つのＲの画素およびＢの画素により構成されることになる。
【００３２】
単板式カメラでは、画像処理の後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分およびＢ成分の画像信号が必要となる。このため、イメージセンサ１３から出力される画素値に基づいて、各画素毎にＲ成分，Ｇ成分およびＢ成分の画素値を補間演算などにより求める必要がある。
【００３３】
また、イメージセンサ１３においては、偽色やアーティファクトなどの影響を回避するため、イメージセンサに入射する光が光学ローパスフィルタ１２を通過するようになされている。しかしながら、このように光学ローパスフィルタ１２を通過させることにより、画像がぼけてしまうことがあった。
【００３４】
そこで、本技術では、イメージセンサ１３から出力される画素値に基づいて、あたかも枠（図中の点線の矩形）１４に、Ｒ成分，Ｇ成分およびＢ成分のそれぞれに対応する３つのイメージセンサを配置した場合に得られる画素値を求めることができるようにする。
【００３５】
＜１．第１の実施の形態＞
【００３６】
＜画像処理装置の構成＞
【００３７】
図６は、本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。この画像処理装置１００は、入力画像における注目画素に対応する画素およびその周辺の画素値を変数とし、予め学習により得られた係数を用いた積和演算により出力画像の注目画素の画素値を予測するようになされている。
【００３８】
画像処理装置１００に入力される入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。すなわち、入力画像は、例えば、図５のイメージセンサ１３から出力される信号に対応する画像とされる。従って、入力画像では、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は得られるが、Ｇ成分およびＢ成分の画像信号は得られない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが得られ、Ｒ成分およびＢ成分の画像信号は得られず、Ｂの画素からは、Ｂ成分の画像信号のみが得られ、Ｒ成分およびＧ成分の画像信号は得られない。
【００３９】
図６の画像処理装置１００は、代表ＲＧＢ演算部１０１、並びに、それぞれ、Ｒ、Ｇ、Ｂの各色に対応した、各クラスタップ選択部、各予測タップ選択部、各色変換部、各クラス分類部、各係数メモリ、および各積和演算部により構成されている。
【００４０】
代表ＲＧＢ演算部１０１は、後述するクラスタップまたは予測タップを取得するための画像の中の領域（以下、指定エリアという）における、Ｒ、Ｇ、Ｂの各色成分の画素値の基準となる代表値として、それぞれＤｒ、Ｄｂ、およびＤｇを演算する。
【００４１】
例えば、図７の太線の枠で示されるように、指定エリアが設定されるものとする。図７では、図中の円のそれぞれが、入力画像の画素を表しており、中央のハッチングされた円で示される画素が、クラスタップまたは予測タップの中心画素とされる。なお、各円内に記されたＲ、Ｇ、Ｂの文字は、各画素の色成分を表している。
【００４２】
指定エリアは、中心画素を中心としてクラスタップまたは予測タップを含む領域として任意に設定され得るが、クラスタップまたは予測タップを大幅に超える領域とすると、画像の領域に応じた最適な処理を施すことが困難になる。このため、指定エリアは、クラスタップまたは予測タップと同じ領域とされることが望ましい。
【００４３】
なお、以下の説明においては、演算により算出される平均値、補間値、代表値などが適宜参照されるが、演算前の入力画像の画素値のそれぞれは、各画素の色成分に応じて、入力値Ｇ、入力値Ｒ、および入力値Ｂと称して区別することにする。すなわち、ベイヤー配列のイメージセンサのＲの色フィルタが配置された画素から直接得られる画素値を入力値Ｒとし、ベイヤー配列のイメージセンサのＧの色フィルタが配置された画素から直接得られる画素値を入力値Ｇとし、ベイヤー配列のイメージセンサのＢの色フィルタが配置された画素から直接得られる画素値を入力値Ｂとする。
【００４４】
この例では、図中の太線で囲まれた領域であって、中心画素を中心とした２５（＝５×５）画素により構成される領域が指定エリアとされている。
【００４５】
代表ＲＧＢ演算部１０１は、最初に、Ｇ成分の代表値Ｄｇを算出する。
【００４６】
このとき、代表ＲＧＢ演算部１０１は、図８に示されるように、指定エリア内のＲ成分の画素、または、Ｂ成分の画素を中心画素とし、中心画素の周囲（上下左右）の４つのＧの画素である画素Ｇ１乃至画素Ｇ４の入力値Ｇ１乃至入力値Ｇ４を平均することにより、中心画素の画素位置における補間されたＧ成分の値である補間値ｇを算出する。これにより、入力画像ではＧ成分を有していなかったＲ成分の画素とＢ成分の画素が、補間されたＧ成分（補間値ｇ）を有することになる。
【００４７】
そして、代表ＲＧＢ演算部１０１は、指定エリア内の全てのＧの画素（この例では１２個）の入力値Ｇと補間値ｇとの平均値を代表値Ｄｇとして算出する。
【００４８】
次に、代表ＲＧＢ演算部１０１は、Ｒ成分の代表値Ｄｒを算出する。この際、代表ＲＧＢ演算部１０１は、指定エリア内のＧの画素のそれぞれの画素位置における補間されたＲ成分の値である補間値ｒを算出する。例えば、図８の画素Ｇ１または画素Ｇ４に示される位置の補間値ｒを算出する場合、図９に示されるように、この場合、Ｇの画素の左右両隣に位置する画素Ｒ１と画素Ｒ２の平均値が補間値ｒとされる。
【００４９】
これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｒを得ることができ、指定エリア内のＲの画素の画素位置では、入力値Ｒおよび補間値ｇを得ることができる。
【００５０】
そして、各画素位置において、（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｒが算出される。
【００５１】
さらに、代表ＲＧＢ演算部１０１は、Ｂ成分の代表値Ｄｂを算出する。この際、代表ＲＧＢ演算部１０１は、指定エリア内のＧの画素のそれぞれの画素位置における補間されたＢ成分の値である補間値ｂを算出する。例えば、図８の画素Ｇ１または画素Ｇ４に示される位置の補間値ｂを算出する場合、図１０に示されるように、Ｇの画素の上下両隣に位置する画素Ｂ１と画素Ｂ２の平均値が補間値ｂとされる。
【００５２】
これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｂを得ることができ、指定エリア内のＢの画素の画素位置では、入力値Ｂおよび補間値ｇを得ることができる。
【００５３】
そして、各画素位置において、（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｂが算出される。
【００５４】
図６に戻って、Ｇクラスタップ選択部１０２−１は、Ｇ成分の画像を生成するため必要となるクラスタップであるＧクラスタップを入力画像から選択して取得する。Ｇクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【００５５】
Ｇクラスタップ選択部１０２−１により選択されたＧクラスタップは、Ｇ変換部１０５−１１に供給される。Ｇ変換部１０５−１１は、Ｇクラスタップを構成する各画素値にＧ変換処理を施すものとされる。
【００５６】
Ｇ変換処理は、例えば、次のようにして行われる。Ｇクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｇクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｇクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。
【００５７】
ここで、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´は、それぞれ式（１）乃至式（３）により演算される。
【００５８】
【数１】
2014200009.tif 000003
・・・（１）
【数２】
2014200009.tif 000004
・・・（２）
【数３】
2014200009.tif 000005
・・・（３）
【００５９】
このようなＧ変換処理が施されることにより、Ｇクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のＲの画素およびＢの画素のそれぞれの画素値が、Ｇの画素の画素値を基準としてオフセットされることになり、Ｇクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。
【００６０】
図６に戻って、Ｇ変換部１０５−１１から出力されるＧクラスタップは、Ｇクラス分類部１０６−１に供給される。なお、Ｇ変換部１０５−１１から出力されるＧクラスタップは、上述した式（１）乃至式（３）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。
【００６１】
Ｇクラス分類部１０６−１は、供給されたＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｇ係数メモリ１０７−１に出力される。
【００６２】
Ｇ係数メモリ１０７−１は、Ｇクラス分類部１０６−１から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＧ積和演算部１０８−１に供給する。なお、Ｇ係数メモリ１０７−１には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
【００６３】
Ｇ予測タップ選択部１０３−１は、Ｇ成分の画像を生成するため必要となる予測タップであるＧ予測タップを入力画像から選択して取得する。Ｇ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【００６４】
Ｇ予測タップ選択部１０３−１により選択されたＧ予測タップは、Ｇ変換部１０５−１２に供給される。Ｇ変換部１０５−１２は、Ｇ予測タップを構成する各画素値にＧ変換処理を施すものとされる。
【００６５】
Ｇ変換部１０５−１２によるＧ変換処理は、Ｇ変換部１０５−１１によるものと同様である。すなわち、上述した式（１）乃至式（３）により、Ｇ予測タップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｇ予測タップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｇ予測タップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。
【００６６】
Ｇ変換部１０５−１２から出力されるＧ予測タップは、Ｇ積和演算部１０８−１に供給される。なお、Ｇ変換部１０５−１２から出力されるＧ予測タップは、上述した式（１）乃至式（３）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。
【００６７】
Ｇ積和演算部１０８−１は、予め設定された線形一次式において、Ｇ変換部１０５−１２から出力されるＧ予測タップを変数として代入し、Ｇ係数メモリ１０７−１から供給された係数を用いて予測値の演算を行う。すなわち、Ｇ積和演算部１０８−１は、出力画像となるＧ成分の画像（以下、Ｇ出力画像という）における注目画素の画素値を、Ｇ予測タップに基づいて予測演算する。
【００６８】
ここで、出力画像の注目画素の画素値の予測演算について説明する。
【００６９】
いま、例えば、ベイヤー配列の色フィルタアレイを有するイメージセンサから出力される画像データを第１の画像データとし、図５の枠１４に配置されたＧ成分のイメージセンサから出力される画像データを第２の画像データとする。そして、第１の画像データの画素値から第２の画像データの画素値を所定の予測演算により求めることを考える。
【００７０】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、第２の画像データ（以下、適宜、第２の画像の画素という）の画素の画素値yは、次の線形１次式によって求められることになる。
【００７１】
【数４】
2014200009.tif 000006
【００７２】
但し、式（４）において、xnは、第２の画像の画素yについての予測タップを構成する、ｎ番目の第１の画像データの画素（以下、適宜、第１の画像の画素という）の画素値を表し、wnは、ｎ番目の第１の画像の画素（の画素値）と乗算されるn番目のタップ係数を表す。なお、式（４）では、予測タップが、Ｎ個の第１の画像の画素x1，x2，・・・，xNで構成されるものとしてある。
【００７３】
ここで、第２の画像の画素の画素値yは、式（４）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００７４】
いま、第ｋサンプルの第２の画像の画素の画素値の真値をykと表すとともに、式（４）によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。
【００７５】
【数５】
2014200009.tif 000007
【００７６】
いま、式（５）の予測値yk’は、式（４）にしたがって求められるため、式（５）のyk’を、式（４）にしたがって置き換えると、次式が得られる。
【００７７】
【数６】
2014200009.tif 000008
【００７８】
但し、式（６）において、xn,kは、第kサンプルの第２の画像の画素についての予測タップを構成するｎ番目の第１の画像の画素を表す。
【００７９】
式（６）（または式（５））の予測誤差ekを０とするタップ係数wnが、第２の画像の画素を予測するのに最適なものとなるが、全ての第２の画像の画素について、そのようなタップ係数wnを求めることは、一般には困難である。
【００８０】
そこで、タップ係数wnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数wnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００８１】
【数７】
2014200009.tif 000009
【００８２】
但し、式（７）において、Ｋは、第２の画像の画素ykと、その第２の画像の画素ykについての予測タップを構成する第１の画像の画素x1,k，x2,k，・・・，xN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【００８３】
式（７）の自乗誤差の総和Ｅの最小値（極小値）は、式（８）に示すように、総和Ｅをタップ係数wnで偏微分したものを０とするwnによって与えられる。
【００８４】
【数８】
2014200009.tif 000010
【００８５】
そこで、上述の式（６）をタップ係数wnで偏微分すると、次式が得られる。
【００８６】
【数９】
2014200009.tif 000011
【００８７】
式（８）と（９）から、次式が得られる。
【００８８】
【数１０】
2014200009.tif 000012
【００８９】
式（１０）のekに、式（６）を代入することにより、式（１０）は、式（１１）に示す正規方程式で表すことができる。
【００９０】
【数１１】
2014200009.tif 000013
【００９１】
式（１１）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数wnについて解くことができる。
【００９２】
式（１１）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）wnを、クラスごとに求めることができる。例えば、このようにして求められたタップ係数wnが、Ｇ係数メモリ１０７−１にＧ係数として記憶されている。なお、係数を学習によって予め求める方式の詳細については後述する。
【００９３】
例えば、式（４）の画素x1，x2，・・・，xNに、Ｇ変換部１０５−１２の処理を経たＧ予測タップを代入し、式（４）におけるタップ係数wnが、Ｇ係数メモリ１０７−１から供給され、Ｇ積和演算部１０８−１で式（４）の演算が行われることによって、出力画像の注目画像の画素値が予測される。
【００９４】
このように、各注目画素のそれぞれについて予測することにより、Ｇ出力画像を得ることができる。
【００９５】
Ｒクラスタップ選択部１０２−２は、Ｒ成分の画像を生成するため必要となるクラスタップであるＲクラスタップを入力画像から選択して取得する。Ｒクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【００９６】
Ｒクラスタップ選択部１０２−２により選択されたＲクラスタップは、Ｒ変換部１０５−２１に供給される。Ｒ変換部１０５−２１は、Ｒクラスタップを構成する各画素値にＲ変換処理を施すものとされる。
【００９７】
Ｒ変換処理は、例えば、次のようにして行われる。Ｒクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。
【００９８】
ここで、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´は、それぞれ式（１２）乃至式（１４）により演算される。
【００９９】
【数１２】
2014200009.tif 000014
・・・（１２）
【数１３】
2014200009.tif 000015
・・・（１３）
【数１４】
2014200009.tif 000016
・・・（１４）
【０１００】
このようなＲ変換処理が施されることにより、Ｒクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のＧの画素およびＢの画素のそれぞれの画素値が、Ｒの画素の画素値を基準としてオフセットされることになり、Ｒクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。
【０１０１】
図６に戻って、Ｒ変換部１０５−２１から出力されるＲクラスタップは、Ｒクラス分類部１０６−２に供給される。なお、Ｒ変換部１０５−２１から出力されるＲクラスタップは、上述した式（１２）乃至式（１４）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。
【０１０２】
Ｒクラス分類部１０６−２は、供給されたＲクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｒ係数メモリ１０７−２に出力される。
【０１０３】
Ｒ係数メモリ１０７−２は、Ｒクラス分類部１０６−２から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＲ積和演算部１０８−２に供給する。なお、Ｒ係数メモリ１０７−２には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
【０１０４】
Ｒ予測タップ選択部１０３−２は、Ｒ成分の画像を生成するため必要となる予測タップであるＲ予測タップを入力画像から選択して取得する。Ｒ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【０１０５】
Ｒ予測タップ選択部１０３−２により選択されたＲ予測タップは、Ｒ変換部１０５−２２に供給される。Ｒ変換部１０５−２２は、Ｒ予測タップを構成する各画素値にＲ変換処理を施すものとされる。
【０１０６】
Ｒ変換部１０５−２２によるＲ変換処理は、Ｒ変換部１０５−２１によるものと同様である。すなわち、上述した式（１２）乃至式（１４）により、Ｒ予測タップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｒ予測タップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｒ予測タップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。
【０１０７】
Ｒ変換部１０５−２２から出力されるＲ予測タップは、Ｒ積和演算部１０８−２に供給される。なお、Ｒ変換部１０５−２１から出力されるＲ予測タップは、上述した式（１２）乃至式（１４）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。
【０１０８】
Ｒ積和演算部１０８−２は、予め設定された線形一次式において、Ｒ変換部１０５−２２から出力されるＲ予測タップを変数として代入し、Ｒ係数メモリ１０７−２から供給された係数を用いて予測値の演算を行う。すなわち、Ｒ積和演算部１０８−２は、出力画像となるＲ成分の画像（以下、Ｒ出力画像という）における注目画素の画素値を、Ｒ予測タップに基づいて予測演算する。
【０１０９】
例えば、式（４）の画素x1，x2，・・・，xNに、Ｒ変換部１０５−２２の処理を経たＲ予測タップを代入し、式（４）におけるタップ係数wnが、Ｒ係数メモリ１０７−２から供給され、Ｒ積和演算部１０８−２で式（４）の演算が行われることによって、出力画像の注目画像の画素値が予測される。
【０１１０】
このように、各注目画素のそれぞれについて予測することにより、Ｒ出力画像を得ることができる。
【０１１１】
Ｂクラスタップ選択部１０２−３は、Ｂ成分の画像を生成するため必要となるクラスタップであるＢクラスタップを入力画像から選択して取得する。Ｂクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【０１１２】
Ｂクラスタップ選択部１０２−３により選択されたＢクラスタップは、Ｂ変換部１０５−３１に供給される。Ｂ変換部１０５−３１は、Ｂクラスタップを構成する各画素値にＢ変換処理を施すものとされる。
【０１１３】
Ｂ変換処理は、例えば、次のようにして行われる。Ｂクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｂクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｂクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。
【０１１４】
ここで、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´は、それぞれ式（１５）乃至式（１７）により演算される。
【０１１５】
【数１５】
2014200009.tif 000017
・・・（１５）
【数１６】
2014200009.tif 000018
・・・（１６）
【数１７】
2014200009.tif 000019
・・・（１７）
【０１１６】
このようなＢ変換処理が施されることにより、Ｂクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のＧの画素およびＲの画素のそれぞれの画素値が、Ｂの画素の画素値を基準としてオフセットされることになり、Ｂクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。
【０１１７】
図６に戻って、Ｂ変換部１０５−３１から出力されるＢクラスタップは、Ｂクラス分類部１０６−３に供給される。なお、Ｂ変換部１０５−３１から出力されるＢクラスタップは、上述した式（１５）乃至式（１７）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。
【０１１８】
Ｂクラス分類部１０６−３は、供給されたＢクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｂ係数メモリ１０７−３に出力される。
【０１１９】
Ｂ係数メモリ１０７−３は、Ｂクラス分類部１０６−３から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＢ積和演算部１０８−３に供給する。なお、Ｂ係数メモリ１０７−３には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
【０１２０】
Ｂ予測タップ選択部１０３−３は、Ｂ成分の画像を生成するため必要となる予測タップであるＢ予測タップを入力画像から選択して取得する。Ｂ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【０１２１】
Ｂ予測タップ選択部１０３−３により選択されたＢ予測タップは、Ｂ変換部１０５−３２に供給される。Ｂ変換部１０５−３２は、Ｂ予測タップを構成する各画素値にＢ変換処理を施すものとされる。
【０１２２】
Ｂ変換部１０５−３２によるＢ変換処理は、Ｂ変換部１０５−３１によるものと同様である。すなわち、上述した式（１５）乃至式（１７）により、Ｂ予測タップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｂ予測タップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｂ予測タップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。
【０１２３】
Ｂ変換部１０５−３２から出力されるＢ予測タップは、Ｂ積和演算部１０８−３に供給される。なお、Ｂ変換部１０５−３１から出力されるＢ予測タップは、上述した式（１５）乃至式（１７）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。
【０１２４】
Ｂ積和演算部１０８−３は、予め設定された線形一次式において、Ｂ変換部１０５−３２から出力されるＢ予測タップを変数として代入し、Ｂ係数メモリ１０７−３から供給された係数を用いて予測値の演算を行う。すなわち、Ｂ積和演算部１０８−３は、出力画像となるＢ成分の画像（以下、Ｂ出力画像という）における注目画素の画素値を、Ｂ予測タップに基づいて予測演算する。
【０１２５】
例えば、式（４）の画素x1，x2，・・・，xNに、Ｂ変換部１０５−３２の処理を経たＢ予測タップを代入し、式（４）におけるタップ係数wnが、Ｂ係数メモリ１０７−３から供給され、Ｂ積和演算部１０８−３で式（４）の演算が行われることによって、出力画像の注目画像の画素値が予測される。
【０１２６】
このように、各注目画素のそれぞれについて予測することにより、Ｂ出力画像を得ることができる。
【０１２７】
＜学習装置の構成＞
【０１２８】
次に、Ｇ係数メモリ１０７−１、Ｒ係数メモリ１０７−２、およびＢ係数メモリ１０７−３に記憶される係数の学習について説明する。
【０１２９】
図１１は、図６の画像処理装置１００に対応する学習装置の構成例を示すブロック図である。
【０１３０】
図１１に示される学習装置２００は、注目画素選択部２０１、生徒画像生成部２０２、代表ＲＧＢ演算部２０３、クラスタップ選択部２０４、予測タップ選択部２０５、色変換部２０６−１、色変換部２０６−２、クラス分類部２０７、正規方程式加算部２０８、および係数データ生成部２０９を備えている。
【０１３１】
学習装置２００において係数の学習を行う場合、例えば、図５の枠１４に、Ｒ成分，Ｇ成分およびＢ成分のそれぞれに対応する３つのイメージセンサを配置して得られたＧ成分の画像、Ｒ成分の画像、およびＢ成分の画像を教師画像として用意する。
【０１３２】
生徒画像生成部２０２は、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、教師画像を劣化させるとともに、ベイヤー配列に従って配置された画素により構成されるイメージセンサから出力される画像を生成する。このようにして生成された画像が生徒画像とされる。
【０１３３】
注目画素選択部２０１は、教師画像の中の任意の１画素を注目画素として選択する。なお、注目画素として選択された画素の座標値などが、代表ＲＧＢ演算部２０３、クラスタップ選択部２０４、および、予測タップ選択部２０５に供給されるようになされている。
【０１３４】
代表ＲＧＢ演算部２０３は、生徒画像の中の指定エリア内の画素について、図６の代表ＲＧＢ演算部１０１の場合と同様に、代表値Ｄｇ、代表値Ｄｒ、代表値Ｄｂを算出する。なお、指定エリアは、注目画素選択部２０１により選択された注目画素に対応する位置の画素を中心とした所定の領域として設定される。
【０１３５】
クラスタップ選択部２０４は、生徒画像の中の指定エリア内の画素からクラスタップを選択して取得する。なお、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｇクラスタップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｒクラスタップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｂクラスタップを選択するようになされている。
【０１３６】
予測タップ選択部２０５は、生徒画像の中の指定エリア内の画素から予測タップを選択して取得する。なお、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｇ予測タップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｒ予測タップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｂ予測タップを選択するようになされている。
【０１３７】
色変換部２０６−１は、クラスタップ選択部２０４により取得されたクラスタップに所定の変換処理を施す。ここで、クラスタップ選択部２０４によりＧクラスタップが取得された場合、色変換部２０６−１は、Ｇ変換処理を施すようになされている。また、クラスタップ選択部２０４によりＲクラスタップが取得された場合、色変換部２０６−１は、Ｒ変換処理を施し、クラスタップ選択部２０４によりＢクラスタップが取得された場合、色変換部２０６−１は、Ｂ変換処理を施すようになされている。
【０１３８】
色変換部２０６−１の処理を経たクラスタップは、クラス分類部２０７に供給される。
【０１３９】
色変換部２０６−２は、予測タップ選択部２０５により取得された予測タップに所定の変換処理を施す。ここで、予測タップ選択部２０５によりＧ予測タップが取得された場合、色変換部２０６−２は、Ｇ変換処理を施すようになされている。また、予測タップ選択部２０５によりＲ予測タップが取得された場合、色変換部２０６−２は、Ｒ変換処理を施し、予測タップ選択部２０５によりＢ予測タップが取得された場合、色変換部２０６−２は、Ｂ変換処理を施すようになされている。
【０１４０】
色変換部２０６−２の処理を経た予測タップは、正規方程式加算部２０８に供給される。
【０１４１】
クラス分類部２０７は、供給されたクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、クラスタップとともに、正規方程式加算部２０８に供給される。
【０１４２】
正規方程式加算部２０８は、例えば、上述した式（４）に示される線形１次式を生成する。このとき、色変換部の処理を経たクラスタップが式（４）の画素x1，x2，・・・，xNとして用いられる。
【０１４３】
注目画素選択部２０１が新たな注目画素を選択すると、上述した場合と同様にして新たに線形１次式が生成されることになる。正規方程式加算部２０８は、このように生成される線形１次式をクラスコード毎に加算し、式（１１）の正規方程式を生成する。
【０１４４】
係数データ生成部２０９は、式（１１）の正規方程式を、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数wnについて解く。そして、係数データ生成部２０９は、注目画素が設定された教師画像の種類（Ｇ成分の画像、Ｒ成分の画像、または、Ｂ成分の画像）に応じて、得られたタップ係数wnを、Ｇ出力画像の予測演算を行うために必要となるＧ係数、Ｒ出力画像の予測演算を行うために必要となるＲ係数、または、Ｂ出力画像の予測演算を行うために必要となるＢ係数として出力する。
【０１４５】
このようにして、得られたクラスコード毎のＧ係数、Ｒ係数、およびＢ係数が、図６のＧ係数メモリ１０７−１、Ｒ係数メモリ１０７−２、Ｂ係数メモリ１０７−３に記憶されることになる。
【０１４６】
このようにして、係数の学習が行われる。
【０１４７】
＜クラスタップまたは予測タップの構造の例＞
【０１４８】
図１２は、図６の画像処理装置１００、または、図１１の学習装置２００において取得されるクラスタップまたは予測タップの構造の例を示す図である。ここで、クラスタップは、上述したＧクラスタップ、Ｒクラスタップ、およびＢクラスタップを総称しており、予測タップは、上述したＧ予測タップ、Ｒ予測タップ、およびＢ予測タップを総称している。
【０１４９】
図１２の例では、出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした９（＝３×３）個の画素により構成されるクラスタップまたは予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。
【０１５０】
図１２Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０１５１】
図１２Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０１５２】
図１２Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０１５３】
図１２Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０１５４】
なお、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。また、クラスタップの中で、Ｇクラスタップ、Ｒクラスタップ、およびＢクラスタップの構造が同じであってもよいし、異なってもよい。同様に、予測タップの中で、Ｇ予測タップ、Ｒ予測タップ、およびＢ予測タップの構造が同じであってもよいし、異なってもよい。
【０１５５】
＜画像処理装置による画像処理＞
【０１５６】
図１３は、図６の画像処理装置１００による画像処理の例を説明するフローチャートである。
【０１５７】
ステップＳ２１において、画像処理の対象となる画像（入力画像）が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップＳ２１において、画像が入力されたと判定された場合、処理は、ステップＳ２２に進む。
【０１５８】
なお、上述したように、入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。従って、入力画像では、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は得られるが、Ｇ成分およびＢ成分の画像信号は得られない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが得られ、Ｒ成分およびＢ成分の画像信号は得られず、Ｂの画素からは、Ｂ成分の画像信号のみが得られ、Ｒ成分およびＧ成分の画像信号は得られない。
【０１５９】
ステップＳ２２において、注目画素が設定される。これにより、入力画像における中心画素が定まることになる。
【０１６０】
ステップＳ２３において、代表ＲＧＢ演算部１０１は、図１４を参照して後述する代表ＲＧＢ演算処理を実行する。これにより、上述した代表値Ｄｇ、代表値Ｄｒ、および代表値Ｄｂが演算される。
【０１６１】
ステップＳ２４において、Ｇクラスタップ選択部１０２−１、Ｒクラスタップ選択部１０２−２、または、Ｂクラスタップ選択部１０２−３は、それぞれＧクラスタップ、Ｒクラスタップ、または、Ｂクラスタップを取得する。
【０１６２】
なお、Ｇ出力画像を生成する場合は、Ｇクラスタップが取得され、Ｒ出力画像を生成する場合は、Ｒクラスタップが取得され、Ｂ出力画像を生成する場合は、Ｂクラスタップが取得される。これ以降は、説明を簡単にするため、Ｇ出力画像を生成する場合について説明する。
【０１６３】
ステップＳ２５において色変換が行われる。例えば、Ｇ出力画像を生成する場合、Ｇ変換部１０５−１１がＧ変換を行う。このとき、上述した式（１）乃至式（３）により、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´が演算される。
【０１６４】
ステップＳ２６においてクラス分類が行われる。例えば、Ｇ出力画像を生成する場合、Ｇクラス分類部１０６−１が、供給されたＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成することでクラス分類する。
【０１６５】
ステップＳ２７において、予測タップが取得される。例えば、Ｇ出力画像を生成する場合、Ｇ予測タップ取得部１０３−１がＧ予測タップを取得する。
【０１６６】
ステップＳ２８において、色変換が行われる。例えば、Ｇ出力画像を生成する場合、Ｇ変換部１０５−１２がＧ変換を行う。このとき、上述した式（１）乃至式（３）により、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´が演算される。
【０１６７】
ステップＳ２９において、係数が読み出される。例えば、Ｇ出力画像を生成する場合、Ｇ係数メモリ１０７−１から、ステップＳ２６の処理で生成されたクラスコードに対応づけられて記憶されている係数が読み出される。
【０１６８】
ステップＳ３０において、注目画素値が予測される。例えば、Ｇ出力画像を生成する場合、式（４）の画素x1，x2，・・・，xNに、ステップＳ２８の処理で色変換されたＧ予測タップを代入し、式（４）におけるタップ係数wnとして、ステップＳ２９の処理で読み出された係数が供給され、Ｇ積和演算部１０８−１が式（４）の演算を行うことによって、出力画像の注目画像の画素値が予測される。
【０１６９】
ステップＳ３１において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返し実行される。
【０１７０】
ステップＳ３１において、次の注目画素がないと判定された場合、処理は終了する。
【０１７１】
このようにして、画像生成処理が実行される。
【０１７２】
＜代表ＲＧＢ演算処理＞
【０１７３】
次に、図１４のフローチャートを参照して、図１３のステップＳ２３の代表ＲＧＢ演算処理の詳細な例について説明する。
【０１７４】
ステップＳ４１において、代表ＲＧＢ演算部１０１は、入力画像の中の指定エリアにおいて、Ｒ成分の画素とＢ成分の画素の補間値ｇを算出する。このとき、例えば、図８に示されるように、指定エリア内の中心画素の周囲（上下左右）の４つのＧの画素である画素Ｇ１乃至画素Ｇ４の入力値Ｇ１乃至入力値Ｇ４を平均することにより、中心画素の画素位置における補間されたＧ成分の値である補間値ｇを算出する。
【０１７５】
ステップＳ４２において、代表ＲＧＢ演算部１０１は、代表値Ｄｇを算出する。このとき、指定エリア内の全てのＧの画素の入力値ＧとステップＳ４１で算出された補間値ｇとの平均値が代表値Ｄｇとして算出される。
【０１７６】
ステップＳ４３において、代表ＲＧＢ演算部１０１は、Ｇ成分の画素の補間値ｒを算出する。例えば、図８の画素Ｇ１または画素Ｇ４に示される位置の補間値ｒを算出する場合、図９に示されるように、この場合、Ｇの画素の左右両隣に位置する画素Ｒ１と画素Ｒ２の平均値が補間値ｒとされる。
【０１７７】
これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｒを得ることができ、指定エリア内のＲの画素の画素位置では、入力値Ｒおよび補間値ｇを得ることができる。
【０１７８】
ステップＳ４４において、代表ＲＧＢ演算部１０１は、代表値Ｄｒを算出する。このとき、各画素位置において、（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｒが算出される。
【０１７９】
ステップＳ４５において、代表ＲＧＢ演算部１０１は、Ｇ成分の画素の補間値ｂを算出する。例えば、図８の画素Ｇ１または画素Ｇ４に示される位置の補間値ｂを算出する場合、図１０に示されるように、Ｇの画素の上下両隣に位置する画素Ｂ１と画素Ｂ２の平均値が補間値ｂとされる。
【０１８０】
これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｂを得ることができ、指定エリア内のＢの画素の画素位置では、入力値Ｂおよび補間値ｇを得ることができる。
【０１８１】
ステップＳ４６において、代表ＲＧＢ演算部１０１は、代表値Ｄｂを算出する。このとき、各画素位置において、（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｂが算出される。
【０１８２】
このようにして、代表ＲＧＢ演算処理が実行される。
【０１８３】
＜学習装置による係数学習処理＞
【０１８４】
次に、図１５のフローチャートを参照して、図１１の学習装置２００による係数学習処理の例について説明する。
【０１８５】
ステップＳ６１において、教師画像が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップＳ６１において、教師画像が入力されたと判定された場合、処理は、ステップＳ６２に進む。
【０１８６】
なお、上述したように、教師画像は、例えば、図５の枠１４に、Ｒ成分，Ｇ成分およびＢ成分のそれぞれに対応する３つのイメージセンサを配置して得られたＧ成分の画像、Ｒ成分の画像、およびＢ成分の画像とされる。
【０１８７】
ステップＳ６２において、生徒画像生成部２０２は、生徒画像を生成する。このとき、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、教師画像を劣化させるとともに、ベイヤー配列に従って配置された画素により構成されるイメージセンサから出力される画像が生成され、生徒画像とされる。
【０１８８】
ステップＳ６３において、注目画素選択部２０１は、教師画像の中の任意の１画素を注目画素として選択（設定）する。これにより、生徒画像の中の中心画素が定まることになる。
【０１８９】
ステップＳ６４において、代表ＲＧＢ演算部２０３は、図１４のフローチャートを参照して上述した代表ＲＧＢ演算処理を実行する。これにより、代表値Ｄｇ、代表値Ｄｒ、代表値Ｄｂが算出される。
【０１９０】
ステップＳ６５において、クラスタップ選択部２０４は、生徒画像の中の指定エリア内の画素からクラスタップを選択して取得する。
【０１９１】
ここで、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｇクラスタップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｒクラスタップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｂクラスタップを選択するようになされている。
【０１９２】
ステップＳ６６において、色変換部２０６−１は、ステップＳ６５の処理で取得されたクラスタップに所定の変換処理を施す。
【０１９３】
ここで、クラスタップ選択部２０４によりＧクラスタップが取得された場合、色変換部２０６−１は、Ｇ変換処理を施すようになされている。また、クラスタップ選択部２０４によりＲクラスタップが取得された場合、色変換部２０６−１は、Ｒ変換処理を施し、クラスタップ選択部２０４によりＢクラスタップが取得された場合、色変換部２０６−１は、Ｂ変換処理を施すようになされている。
【０１９４】
ステップＳ６７において、クラス分類部２０７は、供給されたクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、クラスタップとともに、正規方程式加算部２０８に供給される。
【０１９５】
ステップＳ６８において、予測タップ選択部２０５は、生徒画像の中の指定エリア内の画素から予測タップを選択して取得する。
【０１９６】
ここで、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｇ予測タップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｒ予測タップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｂ予測タップを選択するようになされている。
【０１９７】
ステップＳ６９において、色変換部２０６−２は、ステップＳ６８の処理で取得された予測タップに所定の変換処理を施す。
【０１９８】
ここで、予測タップ選択部２０５によりＧ予測タップが取得された場合、色変換部２０６−２は、Ｇ変換処理を施すようになされている。また、予測タップ選択部２０５によりＲ予測タップが取得された場合、色変換部２０６−２は、Ｒ変換処理を施し、予測タップ選択部２０５によりＢ予測タップが取得された場合、色変換部２０６−２は、Ｂ変換処理を施すようになされている。
【０１９９】
ステップＳ７０において、正規方程式加算部２０８は、正規方程式の足し込みを行う。
【０２００】
上述したように、正規方程式加算部２０８は、例えば、上述した式（４）に示される線形１次式を生成し、色変換部の処理を経たクラスタップが式（４）の画素x1，x2，・・・，xNとして用いられる。そして、正規方程式加算部２０８は、このようにして生成した線形１次式を、ステップＳ６７の処理で生成されたクラスコード毎に足し込んで、式（１１）の正規方程式を生成する。
【０２０１】
ステップＳ７１において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ６３に戻り、それ以降の処理が繰り返し実行される。
【０２０２】
一方、ステップＳ７１において、次の注目画素がないと判定された場合、処理は、ステップＳ７２に進む。
【０２０３】
ステップＳ７２において、係数データ生成部２０９は、係数を算出する。
【０２０４】
このとき、上述したように、係数データ生成部２０９は、式（１１）の正規方程式を、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数wnについて解く。そして、係数データ生成部２０９は、注目画素が設定された教師画像の種類（Ｇ成分の画像、Ｒ成分の画像、または、Ｂ成分の画像）に応じて、得られたタップ係数wnを、Ｇ出力画像の予測演算を行うために必要となるＧ係数、Ｒ出力画像の予測演算を行うために必要となるＲ係数、または、Ｂ出力画像の予測演算を行うために必要となるＢ係数として出力する。
【０２０５】
このようにして、得られたクラスコード毎のＧ係数、Ｒ係数、およびＢ係数が、図６のＧ係数メモリ１０７−１、Ｒ係数メモリ１０７−２、Ｂ係数メモリ１０７−３に記憶され、図１３のステップＳ２９の処理で読み出されることになる。
【０２０６】
このようにして、係数学習処理が実行される。
【０２０７】
＜２．第２の実施の形態＞
【０２０８】
ところで、図６を参照して上述した実施の形態では、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像が同時に生成され得るものとされていた。しかしながら、ベイヤー配列においては、単位面積あたりのＧの画素数が多いため、予測精度が高い。また、カラーフィルタの特性上、Ｇの方がＲまたはＢと比較してＳＮ比が良好となる。このため、例えば、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようにしてもよい。このようにすることで、ノイズ量や解像度（周波数特性）の面でより品質の高い画像処理を行うことが可能となる。
【０２０９】
また、ジッパーノイズは、入力画像において局所的に色差変化のある箇所で発生するため、各予測タップにおいてＧ成分の画素のみを用いることで、Ｒ成分およびＢ成分の画素値の局所的な変化の影響を受けないようにすることができる。このようにすることで、中心画素の周辺でＲ成分またはＢ成分の画素値に局所的な変化が発生しても、Ｇ成分の画素値の変化が少なければ、出力画像において発生するジッパーノイズを低減することが可能となる。
【０２１０】
＜画像処理装置の構成＞
【０２１１】
図１６は、本技術を適用した画像処理装置の実施の形態に係る構成例を示すブロック図である。同図に示される画像処理装置１５０は、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようになされている。また、同図に示される画像処理装置１５０では、出力画像において発生するジッパーノイズを低減する対策として、各予測タップがＧ成分の画素のみから構成されるようになされている。
【０２１２】
図１６における代表ＲＧＢ演算部１５１は、図６の代表ＲＧＢ演算部１０１と同様に構成されるものなので詳細な説明は省略する。
【０２１３】
Ｇクラスタップ選択部１５２−１は、Ｇ成分の画像を生成するため必要となるクラスタップであるＧクラスタップを入力画像から選択して取得する。Ｇクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【０２１４】
Ｇクラスタップ選択部１５２−１により選択されたＧクラスタップは、Ｇ変換部１５５−１１に供給される。Ｇ変換部１５５−１１は、Ｇクラスタップを構成する各画素値にＧ変換処理を施すものとされる。
【０２１５】
Ｇ変換部１５５−１１によるＧ変換処理は、図６のＧ変換部１０５−１１によるものと同様である。すなわち、上述した式（１）乃至式（３）により、Ｇクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。
【０２１６】
Ｇ変換部１５５−１１から出力されるＧクラスタップは、Ｇクラス分類部１５６−１に供給される。
【０２１７】
Ｇクラス分類部１５６−１は、供給されたＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｇ係数メモリ１５７−１に出力される。
【０２１８】
Ｇ係数メモリ１５７−１は、Ｇクラス分類部１５６−１から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＧ積和演算部１５８−１に供給する。なお、Ｇ係数メモリ１５７−１には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
【０２１９】
なお、図１６の構成の画像処理装置１５０を用いる場合、Ｇ係数メモリ１５７−１に記憶される係数の学習の際には、例えば、図５の枠１４に、Ｇ成分に対応するイメージセンサを配置して得られたＧ成分の画像を教師画像としてＧ出力画像を生成するための学習が行われるものとする。
【０２２０】
Ｇ予測タップ選択部１５３−１は、Ｇ成分の画像を生成するため必要となる予測タップであるＧ予測タップを入力画像から選択して取得する。Ｇ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。なお、図６の場合とは異なり、図１６の場合、Ｇ予測タップ選択部１５３−１により入力画像からＧ成分の画素のみが選択される。従って、いまの場合、Ｇ予測タップは、全てＧ成分の画素により構成されていることになる。
【０２２１】
Ｇ予測タップ選択部１５３−１により選択されたＧ予測タップは、Ｇ変換部１５５−１２に供給される。Ｇ変換部１５５−１２は、Ｇ予測タップを構成する各画素値にＧ変換処理を施すものとされる。
【０２２２】
ここでのＧ変換処理は、例えば、次のようにして行われる。
【０２２３】
図１６においても、Ｇ予測タップ選択部１５３−１により入力画像からＧ予測タップが選択されるが、図６の場合とは異なり、Ｇ予測タップは、全てＧ成分の画素により構成されていることになる。従って、Ｇ変換部１５５−１２は、Ｇ予測タップを構成する各画素値に上述の式（１）の演算を施して変換値Ｇ´を算出する。Ｇ変換部１５５−１２から出力されるＧ予測タップは、Ｇ積和演算部１５８−１に供給される。
【０２２４】
Ｇ積和演算部１５８−１は、図６のＧ積和演算部１０８−１と同様に構成されるものであるが、Ｇ出力画像における注目画素の画素値を、Ｇ予測タップに基づいて予測演算する。
【０２２５】
このように、各注目画素のそれぞれについて予測することにより、Ｇ出力画像を得ることができる。但し、ここで得られるＧ出力画像は、予め設定された線形一次式において、Ｇ成分のみから構成されるＧ予測タップを変数として代入し、Ｒ，Ｇ，Ｂの各成分から構成されるＧクラスタップから生成されたクラスコードに対応づけられている係数を用いて演算されたものとなる。
【０２２６】
このようにして得られるＧ出力画像は、Ｇ予測タップにおいてＧ成分の画素のみを用いているため、Ｒ成分およびＢ成分の画素値の局所的な変化の影響を受けにくい。また、ＧクラスタップにおいてはＲ，Ｇ，Ｂの各成分の画素を用いているため、Ｒ成分およびＢ成分の画素をクラスコードに対応づけることができるので、Ｇ予測タップがＧ成分の画素のみから構成されるようにしても、Ｇ出力画像の解像度が低下することはない。
【０２２７】
また、図１６の構成の場合、図６の場合とは異なり、入力画像が遅延部１６１−１を介して、Ｒクラスタップ選択部１５２−２およびＢクラスタップ選択部１５２−３に供給されるようになされている。また、図１６の構成の場合、図６の場合とは異なり、代表ＲＧＢ演算部１５１から出力されるデータが、遅延部１６１−２を介して、Ｒ変換部１５５−２１およびＲ変換部１５５−２２、並びに、Ｂ変換部１５５−３１およびＢ変換部１５５−３２に供給されるようになされている。
【０２２８】
また、図１６の構成の場合、図６の場合とは異なり、Ｇ積和演算部１５８−１から出力されるデータが、Ｒ予測タップ選択部１５３−２およびＢ予測タップ選択部１５３−３に供給されるようになされている。
【０２２９】
Ｒクラスタップ選択部１５２−２は、Ｒ成分の画像を生成するため必要となるクラスタップであるＲクラスタップを入力画像から選択して取得する。Ｒクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【０２３０】
Ｒクラスタップ選択部１５２−２により選択されたＲクラスタップは、Ｒ変換部１５５−２１に供給される。Ｒ変換部１５５−２１は、Ｒクラスタップを構成する各画素値にＲ変換処理を施すものとされる。
【０２３１】
Ｒ変換部１５５−２１によるＲ変換処理は、図６のＲ変換部１０５−２１によるものと同様である。すなわち、上述した式（１２）乃至式（１４）により、Ｒクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。
【０２３２】
Ｒ変換部１５５−２１から出力されるＲクラスタップは、Ｒクラス分類部１５６−２に供給される。
【０２３３】
Ｒクラス分類部１５６−２は、供給されたＲクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｒ係数メモリ１５７−２に出力される。
【０２３４】
Ｒ係数メモリ１５７−２は、Ｒクラス分類部１５６−２から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＲ積和演算部１５８−２に供給する。なお、Ｒ係数メモリ１５７−２には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
【０２３５】
なお、図１６の構成の画像処理装置１５０を用いる場合、Ｒ係数メモリ１５７−２に記憶される係数の学習の際には、例えば、図５の枠１４に、Ｒ成分に対応するイメージセンサを配置して得られたＲ成分の画像を教師画像としてＲ出力画像を生成するための学習が行われるものとする。
【０２３６】
Ｒ予測タップ選択部１５３−２は、Ｒ成分の画像を生成するため必要となる予測タップであるＲ予測タップをＧ出力画像から選択して取得する。Ｒ予測タップは、例えば、出力画像の注目画素に対応する位置のＧ出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。なお、図６の場合とは異なり、図１６の場合、Ｒ予測タップ選択部１５３−２によりＧ出力画像からＲ予測タップが選択される。従って、いまの場合、Ｒ予測タップは、全てＧ成分の画素により構成されていることになる。
【０２３７】
Ｒ予測タップ選択部１５３−２により選択されたＲ予測タップは、Ｒ変換部１５５−２２に供給される。Ｒ変換部１５５−２２は、Ｒ予測タップを構成する各画素値にＲ変換処理を施すものとされる。
【０２３８】
ここでのＲ変換処理は、例えば、次のようにして行われる。
【０２３９】
図６の場合とは異なり、図１６の場合、Ｒ予測タップ選択部１５３−２によりＧ出力画像からＲ予測タップが選択される。従って、いまの場合、Ｒ予測タップは、全てＧ成分の画素により構成されていることになる。いま、Ｇ出力画像のＧ成分の画素を予測値Ｇｐで表すことにする。
【０２４０】
【数１８】
2014200009.tif 000020
・・・（１８）
【０２４１】
このようなＲ変換処理が施されることにより、Ｒ予測タップを構成する各画素値の相関性を高めることができる。すなわち、Ｇ出力画像の画素値が、入力画像のＲの画素の画素値を基準としてオフセットされることになり、Ｒ予測タップを構成する各画素値の色成分の違いによる変化を除去することができる。
【０２４２】
Ｒ変換部１５５−２２から出力されるＲ予測タップは、Ｒ積和演算部１５８−２に供給される。なお、Ｒ変換部１５５−２１から出力されるＲ予測タップは、上述した式（１８）により演算された変換値Ｇｐ´により構成されることになる。
【０２４３】
Ｒ積和演算部１５８−２は、図６のＲ積和演算部１０８−２と同様に構成されるものであるが、Ｒ出力画像における注目画素の画素値を、Ｒ予測タップに基づいて予測演算する。
【０２４４】
このように、各注目画素のそれぞれについて予測することにより、Ｒ出力画像を得ることができる。但し、ここで得られるＲ出力画像は、予め設定された線形一次式において、Ｇ成分のみから構成されるＲ予測タップを変数として代入し、Ｒ，Ｇ，Ｂの各成分から構成されるＲクラスタップから生成されたクラスコードに対応づけられている係数を用いて演算されたものとなる。
【０２４５】
このようにして得られるＲ出力画像は、Ｒ予測タップにおいてＧ成分の画素のみを用いているため、Ｒ成分およびＢ成分の画素値の局所的な変化の影響を受けにくい。また、ＲクラスタップにおいてはＲ，Ｇ，Ｂの各成分の画素を用いているため、Ｒ成分およびＢ成分の画素をクラスコードに対応づけることができるので、Ｒ予測タップがＧ成分の画素のみから構成されるようにしても、Ｒ出力画像の解像度が低下することはない。
【０２４６】
また、図１６の構成の場合、Ｂクラスタップ選択部１５２−３は、Ｂ成分の画像を生成するため必要となるクラスタップであるＢクラスタップを入力画像から選択して取得する。Ｂクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【０２４７】
Ｂクラスタップ選択部１５２−３により選択されたＢクラスタップは、Ｂ変換部１５５−３１に供給される。Ｂ変換部１５５−３１は、Ｂクラスタップを構成する各画素値にＢ変換処理を施すものとされる。
【０２４８】
Ｂ変換部１５５−３１によるＢ変換処理は、図６のＢ変換部１０５−３１によるものと同様である。すなわち、上述した式（１５）乃至式（１７）により、Ｒクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。
【０２４９】
Ｂ変換部１５５−３１から出力されるＢクラスタップは、Ｂクラス分類部１５６−３に供給される。
【０２５０】
Ｂクラス分類部１５６−３は、供給されたＢクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｂ係数メモリ１５７−３に出力される。
【０２５１】
Ｂ係数メモリ１５７−３は、Ｂクラス分類部１５６−３から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＢ積和演算部１５８−３に供給する。なお、Ｂ係数メモリ１５７−３には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
【０２５２】
なお、図１６の構成の画像処理装置１５０を用いる場合、Ｂ係数メモリ１５７−３に記憶される係数の学習の際には、例えば、図５の枠１４に、Ｂ成分に対応するイメージセンサを配置して得られたＢ成分の画像を教師画像としてＢ出力画像を生成するための学習が行われるものとする。
【０２５３】
Ｂ予測タップ選択部１５３−３は、Ｂ成分の画像を生成するため必要となる予測タップであるＢ予測タップをＧ出力画像から選択して取得する。Ｂ予測タップは、例えば、出力画像の注目画素に対応する位置のＧ出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。なお、図６の場合とは異なり、図１６の場合、Ｂ予測タップ選択部１５３−３によりＧ出力画像からＢ予測タップが選択される。従って、いまの場合、Ｂ予測タップは、全てＧ成分の画素により構成されていることになる。
【０２５４】
Ｂ予測タップ選択部１５３−３により選択されたＢ予測タップは、Ｂ変換部１５５−３２に供給される。Ｂ変換部１５５−３２は、Ｂ予測タップを構成する各画素値にＢ変換処理を施すものとされる。
【０２５５】
ここでのＢ変換処理は、例えば、次のようにして行われる。
【０２５６】
図６の場合とは異なり、図１６の場合、Ｂ予測タップ選択部１５３−３によりＧ出力画像からＢ予測タップが選択される。従って、いまの場合、Ｂ予測タップは、全てＧ成分の画素により構成されていることになる。いま、Ｇ出力画像のＧ成分の画素を予測値Ｇｐで表すことにする。
【０２５７】
【数１９】
2014200009.tif 000021
・・・（１９）
【０２５８】
このようなＢ変換処理が施されることにより、Ｂ予測タップを構成する各画素値の相関性を高めることができる。すなわち、Ｇ出力画像の画素値が、入力画像のＢの画素の画素値を基準としてオフセットされることになり、Ｂ予測タップを構成する各画素値の色成分の違いによる変化を除去することができる。
【０２５９】
Ｂ変換部１５５−３２から出力されるＢ予測タップは、Ｂ積和演算部１５８−３に供給される。なお、Ｂ変換部１５５−３２から出力されるＢ予測タップは、上述した式（１９）により演算された変換値Ｇｐ´により構成されることになる。
【０２６０】
Ｂ積和演算部１５８−３は、図６のＢ積和演算部１０８−３と同様に構成されるものであるが、Ｂ出力画像における注目画素の画素値を、Ｂ予測タップに基づいて予測演算する。
【０２６１】
このように、各注目画素のそれぞれについて予測することにより、Ｂ出力画像を得ることができる。但し、ここで得られるＢ出力画像は、予め設定された線形一次式において、Ｇ成分のみから構成されるＢ予測タップを変数として代入し、Ｒ，Ｇ，Ｂの各成分から構成されるＢクラスタップから生成されたクラスコードに対応づけられている係数を用いて演算されたものとなる。
【０２６２】
このようにして得られるＢ出力画像は、Ｂ予測タップにおいてＧ成分の画素のみを用いているため、Ｒ成分およびＢ成分の画素値の局所的な変化の影響を受けにくい。また、ＢクラスタップにおいてはＲ，Ｇ，Ｂの各成分の画素を用いているため、Ｒ成分およびＢ成分の画素をクラスコードに対応づけることができるので、Ｂ予測タップがＧ成分の画素のみから構成されるようにしても、Ｂ出力画像の解像度が低下することはない。
【０２６３】
＜クラスタップまたは予測タップの構造の例＞
【０２６４】
（Ｇクラスタップの構造）
図１７は、図１６の画像処理装置１５０において取得されるＧクラスタップの構造の例を示す図である。
【０２６５】
図１７の例では、Ｇ出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした９（＝３×３）個の画素により構成されるＧクラスタップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、Ｇクラスタップの構造の例が示されている。
【０２６６】
図１７Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のＧクラスタップの例を示す図である。
【０２６７】
図１７Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のＧクラスタップの例を示す図である。
【０２６８】
図１７Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のＧクラスタップの例を示す図である。
【０２６９】
図１７Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のＧクラスタップの例を示す図である。
【０２７０】
（Ｇ予測タップの構造）
図１８は、図１６の画像処理装置１５０において取得されるＧ予測タップの構造の例を示す図である。
【０２７１】
図１８の例では、Ｇ出力画像の注目画素に対応する入力画素の画素（中心画素）を中心とした９（＝３×３）個の画素のうち、Ｇ成分の画素のみから構成されるＧ予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、Ｇ予測タップの構造の例が示されている。
【０２７２】
図１８Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のＧ予測タップの例を示す図である。
【０２７３】
図１８Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のＧ予測タップの例を示す図である。
【０２７４】
図１８Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のＧ予測タップの例を示す図である。
【０２７５】
図１８Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のＧ予測タップの例を示す図である。
【０２７６】
なお、Ｇクラスタップは、Ｒ，Ｇ，Ｂの各成分の画素から構成され、Ｇ予測タップは、Ｇ成分の画素のみから構成されるものであれば、ＧクラスタップとＧ予測タップは同じ構造としてもよいし、異なる構造としてもよい。
【０２７７】
（Ｒクラスタップの構造）
図１９は、図１６の画像処理装置１５０において取得されるＲクラスタップの構造の例を示す図である。
【０２７８】
図１９の例では、Ｒ出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした十字型の５個の画素により構成されるＲクラスタップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、Ｒクラスタップの構造の例が示されている。
【０２７９】
図１９Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のＲクラスタップの例を示す図である。
【０２８０】
図１９Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のＲクラスタップの例を示す図である。
【０２８１】
図１９Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のＲクラスタップの例を示す図である。
【０２８２】
図１９Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のＲクラスタップの例を示す図である。
【０２８３】
（Ｒ予測タップの構造）
図２０は、図１６の画像処理装置１５０において取得されるＲ予測タップの構造の例を示す図である。同図に示されるように、Ｒ予測タップは、Ｇ出力画像から取得されるので、図中の円の中は、全てＧｐと記載されている。
【０２８４】
図２０の例では、Ｒ出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした十字型の５個の画素により構成されるＲ予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、Ｒ予測タップの構造の例が示されている。
【０２８５】
図２０Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のＲ予測タップの例を示す図である。
【０２８６】
図２０Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のＲ予測タップの例を示す図である。
【０２８７】
図２０Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のＲ予測タップの例を示す図である。
【０２８８】
図２０Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のＲ予測タップの例を示す図である。
【０２８９】
なお、ＲクラスタップとＲ予測タップは同じ構造としてもよいし、異なる構造としてもよい。
【０２９０】
（Ｂクラスタップの構造）
図２１は、図１６の画像処理装置１５０において取得されるＢクラスタップの構造の例を示す図である。
【０２９１】
図２１の例では、Ｂ出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした十字型の５個の画素により構成されるＢクラスタップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、Ｂクラスタップの構造の例が示されている。
【０２９２】
図２１Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のＢクラスタップの例を示す図である。
【０２９３】
図２１Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のＢクラスタップの例を示す図である。
【０２９４】
図２１Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のＢクラスタップの例を示す図である。
【０２９５】
図２１Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のＢクラスタップの例を示す図である。
【０２９６】
（Ｂ予測タップの構造）
図２２は、図１６の画像処理装置１５０において取得されるＢ予測タップの構造の例を示す図である。同図に示されるように、Ｂ予測タップは、Ｇ出力画像から取得されるので、図中の円の中は、全てＧｐと記載されている。
【０２９７】
図２２の例では、Ｂ出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした十字型の５個の画素により構成されるＢ予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、Ｂ予測タップの構造の例が示されている。
【０２９８】
図２２Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のＢ予測タップの例を示す図である。
【０２９９】
図２２Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のＢ予測タップの例を示す図である。
【０３００】
図２２Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のＢ予測タップの例を示す図である。
【０３０１】
図２２Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のＢ予測タップの例を示す図である。
【０３０２】
なお、ＢクラスタップとＢ予測タップは同じ構造としてもよいし、異なる構造としてもよい。また、クラスタップの中で、Ｇクラスタップ、Ｒクラスタップ、およびＢクラスタップの構造が同じであってもよいし、異なってもよい。同様に、予測タップの中で、Ｇ予測タップ、Ｒ予測タップ、およびＢ予測タップの構造が同じであってもよいし、異なってもよい。
【０３０３】
以上のように、図１６に示されるように画像処理装置を構成することで、例えば、図６の構成の場合と比較して、ノイズ量や解像度（周波数特性）の面でより品質の高い画像処理を行うことが可能となる。また、各予測タップにおいて、Ｇ成分の画素のみを用いることで、Ｒ成分およびＢ成分の画素値の局所的な変化の影響を受けにくくなるため、出力画像におけるジッパーノイズを低減することができる。その際に、各クラスタップにおいてはＲ，Ｇ，Ｂの各成分の画素を用いているため、Ｒ成分およびＢ成分の画素をクラスコードに対応づけることができるので、各予測タップがＧ成分の画素のみから構成されるようにしても、出力画像の解像度が低下することはない。
【０３０４】
＜画像処理装置の他の構成＞
【０３０５】
なお、図１６の画像処理装置１５０において、Ｒクラスタップ選択部１５２−２は、入力画像からＲクラスタップを選択すると説明したが、図２３に示すように、Ｇ出力画像からＲクラスタップを選択するようにしてもよい。この場合、Ｒクラスタップは、全てＧ成分の画素により構成されていることになるので、Ｒ変換部１５５−２１によるＲ変換処理としては、Ｇ出力画像のＧ成分の画素を予測値Ｇｐとすれば、上述した式（１８）により変換値Ｇｐ´が演算されることになる。
【０３０６】
また、図１６の画像処理装置１５０において、Ｂクラスタップ選択部１５２−３は、入力画像からＢクラスタップを選択すると説明したが、図２３に示すように、Ｇ出力画像からＢクラスタップを選択するようにしてもよい。この場合、Ｂクラスタップは、全てＧ成分の画素により構成されていることになるので、Ｂ変換部１５５−３１によるＢ変換処理としては、Ｇ出力画像のＧ成分の画素を予測値Ｇｐとすれば、上述した式（１９）により変換値Ｇｐ´が演算されることになる。
【０３０７】
＜３．第３の実施の形態＞
【０３０８】
ところで、ジッパーノイズは、タップ内の画素の色差変化が大きい場合に発生する現象である。従って、各クラス分類部により生成されるクラスコードに、入力画像における色成分の変化の検出結果を含ませることで、ジッパーノイズを低減させる精度をさらに向上させることができる。
【０３０９】
＜画像処理装置の構成＞
【０３１０】
図２４は、本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。同図に示される画像処理装置１８０は、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようになされている。また、同図に示される画像処理装置１８０では、出力画像において発生するジッパーノイズを低減する対策として、各予測タップがＧ成分の画素のみから構成されるようになされている。さらに、図１６の場合とは異なり、図２４の場合、色変化検出部１９０が設けられており、出力画像において発生するジッパーノイズを低減する対策として、色変化検出部１９０による色成分の変化の検出結果がクラスコードに含まれるようになされている。
【０３１１】
図２４における代表ＲＧＢ演算部１８１は、図１６の代表ＲＧＢ演算部１５１と同様に構成されるものなので詳細な説明は省略するが、代表ＲＧＢ演算部１８１により演算された代表値Ｄｒ、代表値Ｄｂおよび代表値Ｄｇのうち、Ｇ成分の代表値Ｄｇは、色変化検出部１９０にも供給される。
【０３１２】
色変化検出部１９０は、入力画像から、Ｒ成分の色変化量およびＢ成分の色変化量を算出する。いま、Ｒ成分の色変化量をΔＲで表すことにすると、色変化検出部１９０は、式（２０）の演算を行うことで、ΔＲを算出する。
【０３１３】
【数２０】
2014200009.tif 000022
・・・（２０）
【０３１４】
但し、式（２０）において、ＤＲはダイナミックレンジを表している。また、Ｒは画素Ｒの入力値Ｒ、ｇは補間値ｇ、Ｄｇは代表値Ｄｇをそれぞれ表している。これにより、Ｇ成分に対するＲ成分の変化量が求められる。
【０３１５】
色変化検出部１９０は、ΔＲの値が所定の閾値を超えるか否かを判定する。色変化検出部１９０は、例えば、ΔＲの値が所定の閾値以上となる場合、Ｒ成分の色変化量が大きいと判定し、ΔＲの値が所定の閾値未満となる場合には、Ｒ成分の色変化量が小さいと判定する。
【０３１６】
また、Ｂ成分の色変化量をΔＢで表すことにすると、色変化検出部１９０は、式（２１）の演算を行うことで、ΔＢを算出する。
【０３１７】
【数２１】
2014200009.tif 000023
・・・（２１）
【０３１８】
但し、式（２１）において、ＤＲはダイナミックレンジを表している。また、Ｂは画素Ｂの入力値Ｂ、ｇは補間値ｇ、Ｄｇは代表値Ｄｇをそれぞれ表している。これにより、Ｇ成分に対するＢ成分の変化量が求められる。
【０３１９】
色変化検出部１９０は、ΔＢの値が所定の閾値を超えるか否かを判定する。色変化検出部１９０は、例えば、ΔＢの値が所定の閾値以上となる場合、Ｂ成分の色変化量が大きいと判定し、ΔＢの値が所定の閾値未満となる場合には、Ｂ成分の色変化量が小さいと判定する。
【０３２０】
このようにして求められた色変化の検出結果は、Ｇクラス分類部１８６−１、並びに、遅延部１９１−３を介して、Ｒクラス分類部１８６−２およびＢクラス分類部１８６−３に供給されるようになされている。すなわち、いまの場合、色変化の検出結果としては、Ｒ成分の色変化量の大小のいずれかを示す情報と、Ｂ成分の色変化量の大小のいずれかを示す情報が含まれることになる。
【０３２１】
図２４において、Ｇ出力画像の生成に係る機能ブロックである、Ｇクラスタップ選択部１８２−１、Ｇ変換部１８５−１１、Ｇクラス分類部１８６−１、Ｇ係数メモリ１８７−１、Ｇ予測タップ選択部１８３−１、Ｇ変換部１８５−１２、およびＧ積和演算部１８８−１は、それぞれ図１６のＧクラスタップ選択部１５２−１、Ｇ変換部１５５−１１、Ｇクラス分類部１５６−１、Ｇ係数メモリ１５７−１、Ｇ予測タップ選択部１５３−１、Ｇ変換部１５５−１２、およびＧ積和演算部１５８−１と基本的に同様に構成されるものなので詳細な説明は省略する。
【０３２２】
但し、Ｇクラス分類部１８６−１は、ＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成するが、このクラスコードには、色変化検出部１９０による色変化の検出結果を示すコードが含まれることになる。なお、Ｇ係数メモリ１８７−１には、予め学習により求められた係数であって、Ｇ積和演算部１５８−１による積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
【０３２３】
なお、図２４の構成の画像処理装置１８０を用いる場合、Ｇ係数メモリ１８７−１に記憶される係数の学習の際には、例えば、図５の枠１４に、Ｇ成分に対応するイメージセンサを配置して得られたＧ成分の画像を教師画像としてＧ出力画像を生成するための学習が行われるものとする。
【０３２４】
このようにして得られるＧ出力画像は、Ｒ成分の色変化量およびＢ成分の色変化量の大きさに応じた係数を用いた積和演算により生成されるものとなるため、ジッパーノイズを低減させる精度をさらに向上させることができる。
【０３２５】
また、図２４において、Ｒ出力画像の生成に係る機能ブロックである、Ｒクラスタップ選択部１８２−２、Ｒ変換部１８５−２１、Ｒクラス分類部１８６−２、Ｒ係数メモリ１８７−２、Ｒ予測タップ選択部１８３−２、Ｒ変換部１８５−２２、およびＲ積和演算部１８８−２は、それぞれ図１６のＲクラスタップ選択部１５２−２、Ｒ変換部１５５−２１、Ｒクラス分類部１５６−２、Ｒ係数メモリ１５７−２、Ｒ予測タップ選択部１５３−２、Ｒ変換部１５５−２２、およびＲ積和演算部１５８−２と基本的に同様に構成されるものなので詳細な説明は省略する。
【０３２６】
但し、Ｒクラス分類部１８６−２は、ＲクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成するが、このクラスコードには、色変化検出部１９０による色変化の検出結果を示すコードが含まれることになる。なお、Ｒ係数メモリ１８７−２には、予め学習により求められた係数であって、Ｒ積和演算部１５８−２による積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
【０３２７】
なお、図２４の構成の画像処理装置１８０を用いる場合、Ｒ係数メモリ１８７−２に記憶される係数の学習の際には、例えば、図５の枠１４に、Ｒ成分に対応するイメージセンサを配置して得られたＲ成分の画像を教師画像としてＲ出力画像を生成するための学習が行われるものとする。
【０３２８】
このようにして得られるＲ出力画像は、Ｒ成分の色変化量およびＢ成分の色変化量の大きさに応じた係数を用いた積和演算により生成されるものとなるため、ジッパーノイズを低減させる精度をさらに向上させることができる。
【０３２９】
また、図２４において、Ｂ出力画像の生成に係る機能ブロックである、Ｂクラスタップ選択部１８２−３、Ｂ変換部１８５−３１、Ｂクラス分類部１８６−３、Ｂ係数メモリ１８７−３、Ｂ予測タップ選択部１８３−３、Ｂ変換部１８５−３２、およびＢ積和演算部１８８−３は、それぞれ図１６のＢクラスタップ選択部１５２−３、Ｂ変換部１５５−３１、Ｂクラス分類部１５６−３、Ｂ係数メモリ１５７−３、Ｂ予測タップ選択部１５３−３、Ｂ変換部１５５−３２、およびＢ積和演算部１５８−３と基本的に同様に構成されるものなので詳細な説明は省略する。
【０３３０】
但し、Ｂクラス分類部１８６−３は、ＢクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成するが、このクラスコードには、色変化検出部１９０による色変化の検出結果を示すコードが含まれることになる。なお、Ｂ係数メモリ１８７−３には、予め学習により求められた係数であって、Ｂ積和演算部１５８−３による積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
【０３３１】
なお、図２４の構成の画像処理装置１８０を用いる場合、Ｂ係数メモリ１８７−３に記憶される係数の学習の際には、例えば、図５の枠１４に、Ｂ成分に対応するイメージセンサを配置して得られたＢ成分の画像を教師画像としてＢ出力画像を生成するための学習が行われるものとする。
【０３３２】
このようにして得られるＢ出力画像は、Ｒ成分の色変化量およびＢ成分の色変化量の大きさに応じた係数を用いた積和演算により生成されるものとなるため、ジッパーノイズを低減させる精度をさらに向上させることができる。
【０３３３】
なお、上述の説明では、Ｒ成分の色変化量であるΔＲは、式（２０）の演算を行うことで算出されると説明したが、Ｒ成分の色変化量を算出可能な他の演算式により求めるようにしてもよい。また、Ｂ成分の色変化量であるΔＢは、式（２１）の演算を行うことで算出されると説明したが、Ｂ成分の色変化量を算出可能な他の演算式により求めるようにしてもよい。
【０３３４】
また、上述の説明では、Ｇクラス分類部１８６−１、Ｒクラス分類部１８６−２、およびＢクラス分類部１８６−３の全てにおいて色変化の検出結果を示すコードが含まれるクラスコードを生成すると説明したが、各クラス分類部においては必ずしもクラスコードに色変化の検出結果を示すコードを含ませる必要はない。例えば、Ｇクラス分類部１８６−１のみが、色変化の検出結果を示すコードをクラスコードに含ませてもよい。
【０３３５】
さらに、上述の説明では、色変化の検出結果には、Ｒ成分の色変化量の大小のいずれかを示す情報と、Ｂ成分の色変化量の大小のいずれかを示す情報の両方を含ませると説明したが、それらの情報のうち少なくとも一方を含ませるようにすればよい。また、所定の演算式により求められるＧ成分の色変化量の大小のいずれかを示す情報が、色変化の検出結果に含まれるようにしてもよい。例えば、Ｒクラス分類部１８６−２では、色変化の検出結果として、Ｒ成分の色変化量の大小のいずれかを示す情報のみを示すコードが含まれるクラスコードを生成して、Ｒ出力画像が得られるようにすることができる。また、Ｂクラス分類部１８６−３では、Ｂ成分の色変化量の大小のいずれかを示す情報のみを示すコードが含まれるクラスコードを生成して、Ｂ出力画像が得られるようにすることができる。
【０３３６】
＜画像処理装置による画像処理＞
【０３３７】
図２５は、図２４の画像処理装置１８０による画像処理の例を説明するフローチャートである。
【０３３８】
ステップＳ８１において、画像処理の対象となる画像（入力画像）が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップＳ８１において、画像が入力されたと判定された場合、処理は、ステップＳ８２に進む。
【０３３９】
ステップＳ８２において、注目画素が設定される。これにより、入力画像における中心画素が定まることになる。
【０３４０】
ステップＳ８３において、代表ＲＧＢ演算部１８１は、図１４を参照して後述する代表ＲＧＢ演算処理を実行する。これにより、上述した代表値Ｄｇ、代表値Ｄｒ、および代表値Ｄｂが演算される。
【０３４１】
ステップＳ８４において、色変化検出部１９０は、入力画像から、色成分の変化を検出する。例えば、色変化の検出結果として、Ｒ成分の色変化量の大小のいずれかを示す情報と、Ｂ成分の色変化量の大小のいずれかを示す情報が得られる。
【０３４２】
ステップＳ８５において、Ｇクラスタップ選択部１８２−１、Ｒクラスタップ選択部１８２−２、または、Ｂクラスタップ選択部１８２−３は、それぞれＧクラスタップ、Ｒクラスタップ、または、Ｂクラスタップを取得する。
【０３４３】
なお、Ｇ出力画像を生成する場合は、Ｇクラスタップが取得され、Ｒ出力画像を生成する場合は、Ｒクラスタップが取得され、Ｂ出力画像を生成する場合は、Ｂクラスタップが取得される。これ以降は、説明を簡単にするため、Ｇ出力画像を生成する場合について説明する。但し、上述したように、Ｇクラスタップは、Ｒ，Ｇ，Ｂの各成分から構成されていることになる。
【０３４４】
ステップＳ８６において色変換が行われる。例えば、Ｇ出力画像を生成する場合、Ｇ変換部１８５−１１がＧ変換を行う。このとき、上述した式（１）乃至式（３）により、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´が演算される。
【０３４５】
ステップＳ８７においてクラス分類が行われる。例えば、Ｇ出力画像を生成する場合、Ｇクラス分類部１８６−１が、供給されたＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成することでクラス分類する。ここで生成されたクラスコードには、色変化の検出結果を示すコードが含まれる。
【０３４６】
ステップＳ８８において、予測タップが取得される。例えば、Ｇ出力画像を生成する場合、Ｇ予測タップ取得部１８３−１がＧ予測タップを取得する。但し、上述したように、Ｇ予測タップは、全てＧ成分の画素により構成されていることになる。
【０３４７】
ステップＳ８９において、色変換が行われる。例えば、Ｇ出力画像を生成する場合、Ｇ変換部１８５−１２がＧ変換を行う。このとき、Ｇ予測タップは、全てＧ成分の画素により構成されているので、上述した式（１）により、変換値Ｇ´が演算される。
【０３４８】
ステップＳ９０において、係数が読み出される。例えば、Ｇ出力画像を生成する場合、Ｇ係数メモリ１８７−１から、ステップＳ８７の処理で生成されたクラスコードに対応づけられて記憶されている係数が読み出される。
【０３４９】
ステップＳ９１において、注目画素値が予測される。例えば、Ｇ出力画像を生成する場合、式（４）の画素x1，x2，・・・，xNに、ステップＳ８９の処理で色変換されたＧ予測タップを代入し、式（４）におけるタップ係数wnとして、ステップＳ９０の処理で読み出された係数が供給され、Ｇ積和演算部１８８−１が式（４）の演算を行うことによって、出力画像の注目画像の画素値が予測される。
【０３５０】
ステップＳ９２において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ８２に戻り、それ以降の処理が繰り返し実行される。
【０３５１】
ステップＳ９２において、次の注目画素がないと判定された場合、処理は終了する。
【０３５２】
このようにして、画像生成処理が実行される。
【０３５３】
＜色フィルタアレイの配列の他の例＞
【０３５４】
なお、上述の説明では、色フィルタアレイとして、ベイヤー配列の色フィルタアレイが用いられる例を説明したが、ベイヤー配列以外の色フィルタアレイが用いられるようにしてもよい。例えば、ベイヤー配列の１水平ライン毎に画素の配置位置を１／２画素ずつシフトさせた画素配列（以下、斜めベイヤー配列という）を用いることができる。図２６および図２７には、斜めベイヤー配列を用いた場合のクラスタップおよび予測タップの構造の例を示している。
【０３５５】
（クラスタップの構造）
図２６は、図１６の画像処理装置１５０、または、図２４の画像処理装置１８０において取得されるクラスタップの構造の例を示す図である。ここで、クラスタップは、上述したＧクラスタップ、Ｒクラスタップ、およびＢクラスタップを総称している。
【０３５６】
図２６の例では、斜めベイヤー配列で配された１３個の画素により構成されるクラスタップが示されている。図１６の画像処理装置１５０、または、図２４の画像処理装置１８０において、各クラスタップは、Ｒ，Ｇ，Ｂの各成分の画素から構成されることになる。
【０３５７】
（予測タップの構造）
図２７は、図１６の画像処理装置１５０、または、図２４の画像処理装置１８０において取得される予測タップの構造の例を示す図である。ここで、予測タップは、上述したＧ予測タップ、Ｒ予測タップ、およびＢ予測タップを総称している。
【０３５８】
図２７の例では、図２６のクラスタップに対応する１３個の画素のうち、Ｇ成分となる９個の画素のみから構成される予測タップが示されている。すなわち、図１６の画像処理装置１５０、または、図２４の画像処理装置１８０において、各予測タップは、Ｇ成分の画素のみから構成されることになる。
【０３５９】
なお、斜めベイヤー配列を用いた場合であっても、上述のベイヤー配列と同様に、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。また、クラスタップの中で、Ｇクラスタップ、Ｒクラスタップ、およびＢクラスタップの構造が同じであってもよいし、異なってもよい。同様に、予測タップの中で、Ｇ予測タップ、Ｒ予測タップ、およびＢ予測タップの構造が同じであってもよいし、異なってもよい。
【０３６０】
＜コンピュータの構成＞
【０３６１】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２８に示されるような汎用のコンピュータ９００などに、ネットワークや記録媒体からインストールされる。
【０３６２】
図２８において、ＣＰＵ（Central Processing Unit）９０１は、ＲＯＭ（Read Only Memory）９０２に記憶されているプログラム、または記憶部９０８からＲＡＭ（Random Access Memory）９０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ９０３にはまた、ＣＰＵ９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０３６３】
ＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３は、バス９０４を介して相互に接続されている。このバス９０４にはまた、入出力インタフェース９０５も接続されている。
【０３６４】
入出力インタフェース９０５には、キーボード、マウスなどよりなる入力部９０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部９０７、ハードディスクなどより構成される記憶部９０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部９０９が接続されている。通信部９０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０３６５】
入出力インタフェース９０５にはまた、必要に応じてドライブ９１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア９１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部９０８にインストールされる。
【０３６６】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア９１１などからなる記録媒体からインストールされる。
【０３６７】
なお、この記録媒体は、図２８に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア９１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ９０２や、記憶部９０８に含まれるハードディスクなどで構成されるものも含む。
【０３６８】
本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３６９】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３７０】
なお、本技術は以下のような構成も取ることができる。
【０３７１】
（１）
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択するクラスタップ選択部と、
前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類部と、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
前記第１の画像から、前記複数の色成分のうち、第１の色成分に対応する画素に係る画素値を、予測タップとして選択する予測タップ選択部と、
前記予測タップの前記第１の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する積和演算部と
を備え、
前記複数の色成分の画像のうち、前記第１の色成分のみで構成される第２の画像を生成し、
前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される
画像処理装置。
（２）
前記第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、
前記予測タップの前記第１の色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第１の変換値に変換する第１の色成分変換部と
をさらに備え、
前記積和演算部は、前記第１の変換値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する
（１）に記載の画像処理装置。
（３）
前記クラスタップの前記複数の色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第２の変換値に変換する第２の色成分変換部をさらに備え、
前記クラス分類部は、前記第２の変換値に基づいて、前記クラスタップの特徴量を決定する
（２）に記載の画像処理装置。
（４）
前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有するベイヤー配列の画素部であり、
前記代表値演算部は、
前記ＲまたはＢの画素の周囲のＧの画素に基づいて、前記ＲまたはＢの画素の補間値ｇを算出し、
前記Ｇの画素の周囲のＲの画素またはＢの画素に基づいて、それぞれ前記Ｇの画素の補間値ｒおよび補間値ｂを算出し、
前記Ｇの画素から直接得られる入力値Ｇと前記補間値ｇとの平均値により、Ｇの代表値を演算し、
前記補間値ｒと前記入力値Ｇとの差分、および、前記Ｒの画素から直接得られる入力値Ｒと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＲの代表値を演算し、
前記補間値ｂと前記入力値Ｇとの差分、および、前記Ｂの画素から直接得られる入力値Ｂと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＢの代表値を演算する
（２）または（３）に記載の画像処理装置。
（５）
前記色成分変換部は、
前記第２の画像がＧの画素のみで構成される画像である場合、
前記入力値Ｒを、前記Ｒの代表値と前記Ｇの代表値の差分によりオフセットし、
前記入力値Ｂを、前記Ｂの代表値と前記Ｇの代表値の差分によりオフセットし、
前記第２の画像がＲの画素のみで構成される画像である場合、
前記入力値Ｇを、前記Ｇの代表値と前記Ｒの代表値の差分によりオフセットし、
前記入力値Ｂを、前記Ｂの代表値と前記Ｒの代表値の差分によりオフセットし、
前記第２の画像がＢの画素のみで構成される画像である場合、
前記入力値Ｇを、前記Ｇの代表値と前記Ｂの代表値の差分によりオフセットし、
前記入力値Ｒを、前記Ｒの代表値と前記Ｂの代表値の差分によりオフセットする
（４）に記載の画像処理装置。
（６）
前記第１の画像から、色成分の変化を検出する色変化検出部をさらに備え、
前記クラス分類部は、前記色変化検出部の検出結果に基づいて、クラス分類を行う
（１）乃至（５）のいずれか一項に記載の画像処理装置。
（７）
前記係数読み出し部により読み出される係数は、予め学習により求められ、
前記学習では、
前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、
前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、
前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される
（１）乃至（６）のいずれか一項に記載の画像処理装置。
（８）
画像処理装置の画像処理方法において、
前記画像処理装置が、
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択し、
前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類し、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
前記第１の画像から、前記複数の色成分のうち、第１の色成分に対応する画素に係る画素値を、予測タップとして選択し、
前記予測タップの前記第１の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算し、
前記複数の色成分の画像のうち、前記第１の色成分のみで構成される第２の画像を生成し、
前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される
ステップを含む画像処理方法。
（９）
第１の画像から第２の画像を生成する画像処理をコンピュータに行わせるプログラムにおいて、
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される前記第１の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択し、
前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である前記第２の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類し、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
前記第１の画像から、前記複数の色成分のうち、第１の色成分に対応する画素に係る画素値を、予測タップとして選択し、
前記予測タップの前記第１の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算し、
前記複数の色成分の画像のうち、前記第１の色成分のみで構成される第２の画像を生成し、
前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される
ステップを含むプログラム。
【符号の説明】
【０３７２】
１５０  画像処理装置，  １５１  代表ＲＧＢ演算部，  １５２−１  Ｇクラスタップ選択部，  １５２−２，  Ｒクラスタップ選択部，  １５２−３  Ｂクラスタップ選択部，  １５３−１  Ｇ予測タップ選択部，  １５３−２，  Ｒ予測タップ選択部，  １５３−３  Ｂ予測タップ選択部，  １５５−１１  Ｇ変換部，  １５５−１２  Ｇ変換部，  １５５−２１  Ｒ変換部，  １５５−２２  Ｒ変換部，  １５５−３１  Ｂ変換部，  １５５−３２  Ｂ変換部，  １５６−１  Ｇクラス分類部，  １５６−２  Ｒクラス分類部，  １５６−３  Ｂクラス分類部，  １５７−１  Ｇ係数メモリ，  １５７−２  Ｒ係数メモリ，  １５７−３  Ｂ係数メモリ，  １５８−１  Ｇ積和演算部，  １５８−２  Ｒ積和演算部，  １５８−３  Ｂ積和演算部，  １８０  画像処理装置，  １８１  代表ＲＧＢ演算部，  １８２−１  Ｇクラスタップ選択部，  １８２−２，  Ｒクラスタップ選択部，  １８２−３  Ｂクラスタップ選択部，  １８３−１  Ｇ予測タップ選択部，  １８３−２，  Ｒ予測タップ選択部，  １８３−３  Ｂ予測タップ選択部，  １８５−１１  Ｇ変換部，  １８５−１２  Ｇ変換部，  １８５−２１  Ｒ変換部，  １８５−２２  Ｒ変換部，  １８５−３１  Ｂ変換部，  １８５−３２  Ｂ変換部，  １８６−１  Ｇクラス分類部，  １８６−２  Ｒクラス分類部，  １８６−３  Ｂクラス分類部，  １８７−１  Ｇ係数メモリ，  １８７−２  Ｒ係数メモリ，  １８７−３  Ｂ係数メモリ，  １８８−１  Ｇ積和演算部，  １８８−２  Ｒ積和演算部，  １８８−３  Ｂ積和演算部，  １９０  色変化検出部，  ９００  コンピュータ，  ９０１  ＣＰＵ
【図１】
2014200009.tif 000024
【図２】
2014200009.tif 000025
【図３】
2014200009.tif 000026
【図４】
2014200009.tif 000027
【図５】
2014200009.tif 000028
【図６】
2014200009.tif 000029
【図７】
2014200009.tif 000030
【図８】
2014200009.tif 000031
【図９】
2014200009.tif 000032
【図１０】
2014200009.tif 000033
【図１１】
2014200009.tif 000034
【図１２】
2014200009.tif 000035
【図１３】
2014200009.tif 000036
【図１４】
2014200009.tif 000037
【図１５】
2014200009.tif 000038
【図１６】
2014200009.tif 000039
【図１７】
2014200009.tif 000040
【図１８】
2014200009.tif 000041
【図１９】
2014200009.tif 000042
【図２０】
2014200009.tif 000043
【図２１】
2014200009.tif 000044
【図２２】
2014200009.tif 000045
【図２３】
2014200009.tif 000046
【図２４】
2014200009.tif 000047
【図２５】
2014200009.tif 000048
【図２６】
2014200009.tif 000049
【図２７】
2014200009.tif 000050
【図２８】
2014200009.tif 000051