(57)【要約】【課題】画像処理による解像度変換に際して、複数の色成分により構成される色フィルタアレイを有するイメージセンサの出力から、画質を劣化させることなく、各色成分の画像信号を得ることができるようにする。【解決手段】単板式画素部から出力される第１の画像の指定領域における各色成分の代表値をそれぞれ演算する代表値演算部と、指定領域の特徴量に基づくクラス分類の結果に基づいて、予め記憶されている係数を読み出し、指定領域内の所定の画素に係る予測タップの各色成分の画素値を、複数の色成分のうち、１の色成分の画素値を基準とし、代表値を用いてオフセットすることにより得られる変換値に変換する色成分変換部と、変換値を変数とし、係数を用いた積和演算により、複数の色成分における各色成分の画素のみで構成され、第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算する。【選択図】図２
2014200000.tif 000002
【特許請求の範囲】
【請求項１】
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、
前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する色成分変換部と、
前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算する積和演算部と
を備える画像処理装置。
【請求項２】
前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有する画素部であり、
前記代表値演算部は、
前記ＲまたはＢの画素の周囲のＧの画素に基づいて、前記ＲまたはＢの画素の補間値ｇを算出し、
前記Ｇの画素の周囲のＲの画素またはＢの画素に基づいて、それぞれ前記Ｇの画素の補間値ｒおよび補間値ｂを算出し、
前記Ｇの画素から直接得られる入力値Ｇと前記補間値ｇとの平均値により、Ｇの代表値を演算し、
前記補間値ｒと前記入力値Ｇとの差分、および、前記Ｒの画素から直接得られる入力値Ｒと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＲの代表値を演算し、
前記補間値ｂと前記入力値Ｇとの差分、および、前記Ｂの画素から直接得られる入力値Ｂと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＢの代表値を演算する
請求項１に記載の画像処理装置。
【請求項３】
前記色成分変換部は、
前記第２の画像がＧの画素のみで構成される画像である場合、
前記入力値Ｒを、前記Ｒの代表値と前記Ｇの代表値の差分によりオフセットし、
前記入力値Ｂを、前記Ｂの代表値と前記Ｇの代表値の差分によりオフセットし、
前記第２の画像がＲの画素のみで構成される画像である場合、
前記入力値Ｇを、前記Ｇの代表値と前記Ｒの代表値の差分によりオフセットし、
前記入力値Ｂを、前記Ｂの代表値と前記Ｒの代表値の差分によりオフセットし、
前記第２の画像がＢの画素のみで構成される画像である場合、
前記入力値Ｇを、前記Ｇの代表値と前記Ｂの代表値の差分によりオフセットし、
前記入力値Ｒを、前記Ｒの代表値と前記Ｂの代表値の差分によりオフセットする
請求項２に記載の画像処理装置。
【請求項４】
前記単板式画素部が、ベイヤー配列の画素を斜めに配置した斜めベイヤー配列の画素部とされる
請求項３に記載の画像処理装置。
【請求項５】
前記複数の色成分の画像のうち、第１の色成分のみで構成される第２の画像を生成し、
前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、
前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される
請求項１に記載の画像処理装置。
【請求項６】
前記予測タップの仮想色差を演算する仮想色差演算部をさらに備え、
前記複数の色成分の画像のうち、第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、
前記積和演算部は、前記予測タップの仮想色差を変数とし、前記読み出された係数を用いた積和演算により、前記第２の画像の仮想色差を演算し、
前記第１の画像における指定領域から前記第２の色成分に対応する画素のみで構成される前記予測タップが取得される
請求項１に記載の画像処理装置。
【請求項７】
前記仮想色差演算部は、
前記予測タップを構成する画素の値に、色空間の規格により規定されるマトリックス係数を乗じて前記仮想色差を演算する
請求項６に記載の画像処理装置。
【請求項８】
前記指定領域内の所定の画素に係る画素値をクラスタップとし、前記クラスタップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する他の色成分変換部をさらに備え、
前記クラス分類部は、前記他の色成分変換部により変換された前記変換値に基づいて、前記クラスタップの特徴量を決定する
請求項１に記載の画像処理装置。
【請求項９】
前記係数読み出し部により読み出される係数は、予め学習により求められ、
前記学習では、
前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、
前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、
前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される
請求項１に記載の画像処理装置。
【請求項１０】
代表値演算部が、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算し、
クラス分類部が、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類し、
係数読み出し部が、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
色成分変換部が、前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換し、
積和演算部が、前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算するステップ
を含む画像処理方法。
【請求項１１】
コンピュータを、
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、
前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する色成分変換部と、
前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算する積和演算部とを備える画像処理装置として機能させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、並びにプログラムに関し、特に、画像処理による解像度変換に際して、複数の色成分により構成される色フィルタアレイを有するイメージセンサの出力から、画質を劣化させることなく、各色成分の画像信号を得ることができるようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、いわゆる４ｋ２ｋや８ｋ４ｋなど画像の解像度向上に対する要求が高まっているが、例えば、イメージセンサのサイズを拡大するなどしても、光学系の大きさや重量などの点から十分な解像度向上を実現することが困難になってきた。また、イメージセンサの感度の面からもフレームレートを増加させることが困難になってきている。
【０００３】
このため、イメージセンサのセルの面積をこれ以上小さくすることなく、解像度を向上させる技術が求められている。例えば、低解像度の入力画像に対して画像処理を施すことによって、出力画像の画素を生成し、高解像度の出力画像を得る技術などが求められる。
【０００４】
また、イメージセンサを用いた撮像装置には、主に、１つのイメージセンサを用いた単板方式のもの（以後、単板式カメラという）と、３つのイメージセンサを用いた３板方式のもの（以後、３板式カメラという）とがある。
【０００５】
３板式カメラでは、例えばＲ信号用、Ｇ信号用およびＢ信号用の３つのイメージセンサを用いて、その３つのイメージセンサにより３原色信号を得る。そして、この３原色信号から生成されるカラー画像信号が記録媒体に記録される。
【０００６】
単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのイメージセンサを用いて、色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。色コーディングフィルタを構成する色フィルタアレイとしては、例えば、Ｒ（Red），Ｇ（Green），Ｂ（Blue）の原色フィルタアレイや、Ｙｅ（Yellow），Ｃｙ（Cyanogen），Ｍｇ（Magenta）の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、イメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、３板式カメラにより得られる画像に近い画像を得るようしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。
【０００７】
色コーディングフィルタを構成する色フィルタアレイとして、ベイヤー配列の色フィルタアレイが用いられることが多い。ベイヤー配列では、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。
【０００８】
この場合、イメージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色のフィルタが配置された各画素から、そのフィルタの色に対応する画像信号のみが出力される。すなわち、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は出力されるが、Ｇ成分およびＢ成分の画像信号は出力されない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが出力され、Ｒ成分およびＢ成分の画像信号は出力されず、Ｂの画素からは、Ｂ成分の画像信号のみが出力され、Ｒ成分およびＧ成分の画像信号は出力されない。
【０００９】
しかしながら、画像処理の後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分およびＢ成分の画像信号が必要となる。そこで、従来の技術では、ｎ×ｍ（ｎおよびｍは正の整数）個の画素で構成されるイメージセンサの出力から、ｎ×ｍ個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号およびｎ×ｍ個のＢ画素の画像信号が、それぞれ補間演算により求められ、後段に出力される。
【００１０】
また、ｎ×ｍ個のＲ画素の画像信号から２ｎ×２ｍ個のＲ画素の画像信号が補間演算により求められ、ｎ×ｍ個のＧ画素の画像信号から２ｎ×２ｍ個のＧ画素の画像信号が補間演算により求められ、さらに、ｎ×ｍ個のＢ画素の画像信号から、２ｎ×２ｍ個のＢ画素の画像信号が演算により求められる技術も提案されている（例えば、特許文献１参照）。
【００１１】
特許文献１の技術によれば、入力画像における注目画素に対応する画素およびその周辺の画素値を変数とし、予め学習により得られた係数を用いた積和演算により出力画像の注目画素の画素値を予測する。このようにすることで、単板式カメラのイメージセンサの出力から、３原色信号を生成するとともに、原画像の４倍の画素密度の画像信号を生成することも可能となる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０００−３４１７０５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
ところで、特許文献１の場合、イメージセンサにおけるＲ、Ｇ、Ｂのそれぞれに対応する画素値が、そのまま、予測演算の変数であるタップとして用いられる。
【００１４】
しかしながら、Ｒ、Ｇ、Ｂの各画素値は、もともと相関が小さいため、例えば、注目画素周辺の複数の画素値をタップとして入力しても、予測演算において、十分な効果を発揮することができなかった。
【００１５】
また、単板式カメラのイメージセンサでは、偽色やアーティファクトなどの影響を回避するため、一般的に、イメージセンサに入射する光が光学ローパスフィルタを通過するようになされている。
【００１６】
しかしながら、このように光学ローパスフィルタを通過させることにより、画像がぼけてしまうことがあった。
【００１７】
すなわち、従来の技術では、単板式カメラにおいて、画像のぼけ、偽色やアーティファクトなどの画質劣化を引き起こすことなく、３原色信号を得ることが難しかった。
【００１８】
このような状況の下、低解像度の入力画像から高解像度の出力画像を得る画像処理においても、従来の技術では、ベイヤー変換時に発生する偽色やアーティファクトなどの画質劣化が強調されてしまうため、十分な効果をあげることができなかった。
【００１９】
本技術はこのような状況に鑑みて開示するものであり、画像処理による解像度変換に際して、複数の色成分により構成される色フィルタアレイを有するイメージセンサの出力から、画質を劣化させることなく、各色成分の画像信号を得ることができるようにするものである。
【課題を解決するための手段】
【００２０】
本技術の一側面は、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する色成分変換部と、前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算する積和演算部とを備える画像処理装置である。
【００２１】
前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有する画素部であり、前記代表値演算部は、前記ＲまたはＢの画素の周囲のＧの画素に基づいて、前記ＲまたはＢの画素の補間値ｇを算出し、前記Ｇの画素の周囲のＲの画素またはＢの画素に基づいて、それぞれ前記Ｇの画素の補間値ｒおよび補間値ｂを算出し、前記Ｇの画素から直接得られる入力値Ｇと前記補間値ｇとの平均値により、Ｇの代表値を演算し、前記補間値ｒと前記入力値Ｇとの差分、および、前記Ｒの画素から直接得られる入力値Ｒと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＲの代表値を演算し、前記補間値ｂと前記入力値Ｇとの差分、および、前記Ｂの画素から直接得られる入力値Ｂと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＢの代表値を演算するようにすることができる。
【００２２】
前記色成分変換部は、前記第２の画像がＧの画素のみで構成される画像である場合、前記入力値Ｒを、前記Ｒの代表値と前記Ｇの代表値の差分によりオフセットし、前記入力値Ｂを、前記Ｂの代表値と前記Ｇの代表値の差分によりオフセットし、前記第２の画像がＲの画素のみで構成される画像である場合、前記入力値Ｇを、前記Ｇの代表値と前記Ｒの代表値の差分によりオフセットし、前記入力値Ｂを、前記Ｂの代表値と前記Ｒの代表値の差分によりオフセットし、前記第２の画像がＢの画素のみで構成される画像である場合、前記入力値Ｇを、前記Ｇの代表値と前記Ｂの代表値の差分によりオフセットし、前記入力値Ｒを、前記Ｒの代表値と前記Ｂの代表値の差分によりオフセットするようにすることができる。
【００２３】
前記単板式画素部が、ベイヤー配列の画素を斜めに配置した斜めベイヤー配列の画素部とされるようにすることができる。
【００２４】
前記複数の色成分の画像のうち、第１の色成分のみで構成される第２の画像を生成し、前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得されるようにすることができる。
【００２５】
前記予測タップの仮想色差を演算する仮想色差演算部をさらに備え、前記複数の色成分の画像のうち、第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記積和演算部は、前記予測タップの仮想色差を変数とし、前記読み出された係数を用いた積和演算により、前記第２の画像の仮想色差を演算し、前記第１の画像における指定領域から前記第２の色成分に対応する画素のみで構成される前記予測タップが取得されるようにすることができる。
【００２６】
前記仮想色差演算部は、前記予測タップを構成する画素の値に、色空間の規格により規定されるマトリックス係数を乗じて前記仮想色差を演算するようにすることができる。
【００２７】
前記指定領域内の所定の画素に係る画素値をクラスタップとし、前記クラスタップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する他の色成分変換部をさらに備え、前記クラス分類部は、前記他の色成分変換部により変換された前記変換値に基づいて、前記クラスタップの特徴量を決定するようにすることができる。
【００２８】
前記係数読み出し部により読み出される係数は、予め学習により求められ、前記学習では、前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出されるようにすることができる。
【００２９】
本技術の一側面は、代表値演算部が、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算し、クラス分類部が、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類し、係数読み出し部が、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、色成分変換部が、前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換し、積和演算部が、前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算するステップを含む画像処理方法である。
【００３０】
本技術の一側面は、コンピュータを、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する色成分変換部と、前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算する積和演算部とを備える画像処理装置として機能させるプログラムである。
【００３１】
本技術の一側面においては、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値がそれぞれ演算され、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域がクラス分類され、前記クラス分類の結果に基づいて、予め記憶されている係数が読み出され、前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値が、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換され、前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値がそれぞれ演算される。
【発明の効果】
【００３２】
本技術によれば、画像処理による解像度変換に際して、複数の色成分により構成される色フィルタアレイを有するイメージセンサの出力から、画質を劣化させることなく、各色成分の画像信号を得ることができる。
【図面の簡単な説明】
【００３３】
【図１】単板式カメラのイメージセンサにおける画像信号の取得方式を説明する図である。
【図２】本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。
【図３】指定エリアの例を示す図である。
【図４】補間値ｇの算出方式の例を説明する図である。
【図５】補間値ｒの算出方式の例を説明する図である。
【図６】補間値ｂの算出方式の例を説明する図である。
【図７】図２の画像処理装置に対応する学習装置の構成例を示す図である。
【図８】図２の画像処理装置、または、図７の学習装置において取得されるクラスタップまたは予測タップの構造の例を示す図である。
【図９】図２の画像処理装置による画像処理の例を説明するフローチャートである。
【図１０】代表ＲＧＢ演算処理の例を説明するフローチャートである。
【図１１】図７の学習装置による係数学習処理の例を説明するフローチャートである。
【図１２】本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。
【図１３】図１２の画像処理装置において取得されるクラスタップまたは予測タップの構造の例を示す図である。
【図１４】図１２の画像処理装置において取得されるクラスタップまたは予測タップの構造の例を示す図である。
【図１５】図１２の画像処理装置において取得されるクラスタップまたは予測タップの構造の例を示す図である。
【図１６】本技術を適用した画像処理装置のさらに別の実施の形態に係る構成例を示すブロック図である。
【図１７】図１６の画像処理装置において取得されるクラスタップまたは予測タップの構造の例を示す図である。
【図１８】図１２の画像処理装置において取得されるクラスタップまたは予測タップの構造の例を示す図である。
【図１９】図２の画像処理装置において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップを説明する図である。
【図２０】ベイヤー配列の画素の配置を説明する図である。
【図２１】斜めベイヤー配列の画素の配置を説明する図である。
【図２２】図２の画像処理装置において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップを説明する図である。
【図２３】図１２の画像処理装置において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップの例を示す図である。
【図２４】図１２の画像処理装置において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップの例を示す図である。
【図２５】図１６の画像処理装置において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップを説明する図である。
【図２６】図１６の画像処理装置において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップを説明する図である。
【図２７】図１６の画像処理装置において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップを説明する図である。
【図２８】図１６の画像処理装置において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップの例を示す図である。
【図２９】図１６の画像処理装置において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップの例を示す図である。
【図３０】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３４】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００３５】
図１は、単板式カメラのイメージセンサにおける画像信号の取得方式を説明する図である。
【００３６】
この例では、被写体１１で反射した光が、光学ローパスフィルタ１２を通過してイメージセンサ１３により受光されるようになされている。
【００３７】
単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのイメージセンサを用いて、色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。
【００３８】
ここでは、イメージセンサ１３においてベイヤー配列の色フィルタアレイが用いられており、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。すなわち、イメージセンサ１３の中の矩形の領域内の４画素は、２つのＧの画素と、それぞれ１つのＲの画素およびＢの画素により構成されることになる。
【００３９】
単板式カメラでは、画像処理の後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分およびＢ成分の画像信号が必要となる。このため、イメージセンサ１３から出力される画素値に基づいて、各画素毎にＲ成分，Ｇ成分およびＢ成分の画素値を補間演算などにより求める必要がある。
【００４０】
また、イメージセンサ１３においては、偽色やアーティファクトなどの影響を回避するため、イメージセンサに入射する光が光学ローパスフィルタ１２を通過するようになされている。しかしながら、このように光学ローパスフィルタ１２を通過させることにより、画像がぼけてしまうことがあった。
【００４１】
そこで、本技術では、イメージセンサ１３から出力される画素値に基づいて、あたかも枠（図中の点線の矩形）１４に、Ｒ成分，Ｇ成分およびＢ成分のそれぞれに対応する３つのイメージセンサを配置した場合に得られる画素値を求めることができるようにする。
【００４２】
図２は、本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。この画像処理装置１００は、入力画像における注目画素に対応する画素およびその周辺の画素値を変数とし、予め学習により得られた係数を用いた積和演算により出力画像の注目画素の画素値を予測するようになされている。
【００４３】
画像処理装置１００に入力される入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。すなわち、入力画像は、例えば、図１のイメージセンサ１３から出力される信号に対応する画像とされる。従って、入力画像では、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は得られるが、Ｇ成分およびＢ成分の画像信号は得られない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが得られ、Ｒ成分およびＢ成分の画像信号は得られず、Ｂの画素からは、Ｂ成分の画像信号のみが得られ、Ｒ成分およびＧ成分の画像信号は得られない。
【００４４】
図２の画像処理装置１００は、代表ＲＧＢ演算部１０１、並びに、それぞれ、Ｒ、Ｇ、Ｂの各色に対応した、各クラスタップ選択部、各予測タップ選択部、各色変換部、各クラス分類部、各係数メモリ、および各積和演算部により構成されている。
【００４５】
代表ＲＧＢ演算部１０１は、後述するクラスタップまたは予測タップを取得するための画像の中の領域（指定エリアと称することにする）における、Ｒ、Ｇ、Ｂの各色成分の画素値の基準となる代表値として、それぞれＤｒ、Ｄｂ、およびＤｇを演算する。
【００４６】
例えば、図３の太線の枠で示されるように、指定エリアが設定されるものとする。図３では、図中の円のそれぞれが、入力画像の画素を表しており、中央のハッチングされた円で示される画素が、クラスタップまたは予測タップの中心画素とされる。なお、各円内に記されたＲ、Ｇ、Ｂの文字は、各画素の色成分を表している。
【００４７】
指定エリアは、中心画素を中心としてクラスタップまたは予測タップを含む領域として任意に設定され得るが、クラスタップまたは予測タップを大幅に超える領域とすると、画像の領域に応じた最適な処理を施すことが困難になる。このため、指定エリアは、クラスタップまたは予測タップと同じ領域とされることが望ましい。
【００４８】
なお、以後の説明においては、演算により算出される平均値、補間値、代表値などが適宜参照されるが、演算前の入力画像の画素値のそれぞれは、各画素の色成分に応じて、入力値Ｇ、入力値Ｒ、および入力値Ｂと称して区別することにする。すなわち、ベイヤー配列のイメージセンサのＲの色フィルタが配置された画素から直接得られる画素値を入力値Ｒとし、ベイヤー配列のイメージセンサのＧの色フィルタが配置された画素から直接得られる画素値を入力値Ｇとし、ベイヤー配列のイメージセンサのＢの色フィルタが配置された画素から直接得られる画素値を入力値Ｂとする。
【００４９】
この例では、図中の太線で囲まれた領域であって、中心画素を中心とした２５（＝５×５）画素により構成される領域が指定エリアとされている。
【００５０】
代表ＲＧＢ演算部１０１は、最初に、Ｇ成分の代表値Ｄｇを算出する。
【００５１】
このとき、代表ＲＧＢ演算部１０１は、図４に示されるように、指定エリア内のＲ成分の画素、または、Ｂ成分の画素を中心画素とし、中心画素の周囲（上下左右）の４つのＧの画素である画素Ｇ１乃至画素Ｇ４の入力値Ｇ１乃至入力値Ｇ４を平均することにより、中心画素の画素位置における補間されたＧ成分の値である補間値ｇを算出する。これにより、入力画像ではＧ成分を有していなかったＲ成分の画素とＢ成分の画素が、補間されたＧ成分（補間値ｇ）を有することになる。
【００５２】
そして、代表ＲＧＢ演算部１０１は、指定エリア内の全てのＧの画素（この例では１２個）の入力値Ｇと補間値ｇとの平均値を代表値Ｄｇとして算出する。
【００５３】
次に、代表ＲＧＢ演算部１０１は、Ｒ成分の代表値Ｄｒを算出する。この際、代表ＲＧＢ演算部１０１は、指定エリア内のＧの画素のそれぞれの画素位置における補間されたＲ成分の値である補間値ｒを算出する。例えば、図４の画素Ｇ１または画素Ｇ４に示される位置の補間値ｒを算出する場合、図５に示されるように、この場合、Ｇの画素の左右両隣に位置する画素Ｒ１と画素Ｒ２の平均値が補間値ｒとされる。
【００５４】
これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｒを得ることができ、指定エリア内のＲの画素の画素位置では、入力値Ｒおよび補間値ｇを得ることができる。
【００５５】
そして、各画素位置において、（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｒが算出される。
【００５６】
さらに、代表ＲＧＢ演算部１０１は、Ｂ成分の代表値Ｄｂを算出する。この際、代表ＲＧＢ演算部１０１は、指定エリア内のＧの画素のそれぞれの画素位置における補間されたＢ成分の値である補間値ｂを算出する。例えば、図４の画素Ｇ１または画素Ｇ４に示される位置の補間値ｂを算出する場合、図６に示されるように、Ｇの画素の上下両隣に位置する画素Ｂ１と画素Ｂ２の平均値が補間値ｂとされる。
【００５７】
これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｂを得ることができ、指定エリア内のＢの画素の画素位置では、入力値Ｂおよび補間値ｇを得ることができる。
【００５８】
そして、各画素位置において、（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｂが算出される。
【００５９】
図２に戻って、Ｇクラスタップ選択部１０２−１は、Ｇ成分の画像を生成するため必要となるクラスタップであるＧクラスタップを入力画像から選択して取得する。Ｇクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【００６０】
Ｇクラスタップ選択部１０２−１により選択されたＧクラスタップは、Ｇ変換部１０５−１１に供給される。Ｇ変換部１０５−１１は、Ｇクラスタップを構成する各画素値にＧ変換処理を施すものとされる。
【００６１】
Ｇ変換処理は、例えば、次のようにして行われる。Ｇクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｇクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｇクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。
【００６２】
ここで、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´は、それぞれ式（１）乃至式（３）により演算される。
【００６３】
【数１】
2014200000.tif 000003
・・・（１）
【数２】
2014200000.tif 000004
・・・（２）
【数３】
2014200000.tif 000005
・・・（３）
【００６４】
このようなＧ変換処理が施されることにより、Ｇクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のＲの画素およびＢの画素のそれぞれの画素値が、Ｇの画素の画素値を基準としてオフセットされることになり、Ｇクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。
【００６５】
図２に戻って、Ｇ変換部１０５−１１から出力されるＧクラスタップは、Ｇクラス分類部１０６−１に供給される。なお、Ｇ変換部１０５−１１から出力されるＧクラスタップは、上述した式（１）乃至式（３）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。
【００６６】
Ｇクラス分類部１０６−１は、供給されたＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｇ係数メモリ１０７−１に出力される。
【００６７】
Ｇ係数メモリ１０７−１は、Ｇクラス分類部１０６−１から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＧ積和演算部１０８−１に供給する。なお、Ｇ係数メモリ１０７−１には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
【００６８】
Ｇ予測タップ選択部１０３−１は、Ｇ成分の画像を生成するため必要となる予測タップであるＧ予測タップを入力画像から選択して取得する。Ｇ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【００６９】
Ｇ予測タップ選択部１０３−１により選択されたＧ予測タップは、Ｇ変換部１０５−１２に供給される。Ｇ変換部１０５−１２は、Ｇ予測タップを構成する各画素値にＧ変換処理を施すものとされる。
【００７０】
Ｇ変換部１０５−１２によるＧ変換処理は、Ｇ変換部１０５−１１によるものと同様である。すなわち、上述した式（１）乃至式（３）により、Ｇ予測タップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｇ予測タップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｇ予測タップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。
【００７１】
Ｇ変換部１０５−１２から出力されるＧ予測タップは、Ｇ積和演算部１０８−１に供給される。なお、Ｇ変換部１０５−１２から出力されるＧ予測タップは、上述した式（１）乃至式（３）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。
【００７２】
Ｇ積和演算部１０８−１は、予め設定された線形一次式において、Ｇ変換部１０５−１２から出力されるＧ予測タップを変数として代入し、Ｇ係数メモリ１０７−１から供給された係数を用いて予測値の演算を行う。すなわち、Ｇ積和演算部１０８−１は、出力画像となるＧ成分の画像（Ｇ出力画像と称する）における注目画素の画素値を、Ｇ予測タップに基づいて予測演算する。
【００７３】
ここで、出力画像の注目画素の画素値の予測演算について説明する。
【００７４】
いま、例えば、ベイヤー配列の色フィルタアレイを有するイメージセンサから出力される画像データを第１の画像データとし、図１の枠１４に配置されたＧ成分のイメージセンサから出力される画像データを第２の画像データとする。そして、第１の画像データの画素値から第２の画像データの画素値を所定の予測演算により求めることを考える。
【００７５】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、第２の画像データ（以下、適宜、第２の画像の画素という）の画素の画素値yは、次の線形１次式によって求められることになる。
【００７６】
【数４】
2014200000.tif 000006
・・・（４）
【００７７】
但し、式（４）において、xnは、第２の画像の画素yについての予測タップを構成する、ｎ番目の第１の画像データの画素（以下、適宜、第１の画像の画素という）の画素値を表し、wnは、ｎ番目の第１の画像の画素（の画素値）と乗算されるn番目のタップ係数を表す。なお、式（４）では、予測タップが、Ｎ個の第１の画像の画素x1，x2，・・・，xNで構成されるものとしてある。
【００７８】
ここで、第２の画像の画素の画素値yは、式（４）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００７９】
いま、第ｋサンプルの第２の画像の画素の画素値の真値をykと表すとともに、式（４）によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。
【００８０】
【数５】
2014200000.tif 000007
・・・（５）
【００８１】
いま、式（５）の予測値yk’は、式（４）にしたがって求められるため、式（５）のyk’を、式（４）にしたがって置き換えると、次式が得られる。
【００８２】
【数６】
2014200000.tif 000008
・・・（６）
【００８３】
但し、式（６）において、xn,kは、第kサンプルの第２の画像の画素についての予測タップを構成するｎ番目の第１の画像の画素を表す。
【００８４】
式（６）（または式（５））の予測誤差ekを０とするタップ係数wnが、第２の画像の画素を予測するのに最適なものとなるが、すべての第２の画像の画素について、そのようなタップ係数wnを求めることは、一般には困難である。
【００８５】
そこで、タップ係数wnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数wnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００８６】
【数７】
2014200000.tif 000009
・・・（７）
【００８７】
但し、式（７）において、Ｋは、第２の画像の画素ykと、その第２の画像の画素ykについての予測タップを構成する第１の画像の画素x1,k，x2,k，・・・，xN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【００８８】
式（７）の自乗誤差の総和Ｅの最小値（極小値）は、式（８）に示すように、総和Ｅをタップ係数wnで偏微分したものを０とするwnによって与えられる。
【００８９】
【数８】
2014200000.tif 000010
・・・（８）
【００９０】
そこで、上述の式（６）をタップ係数wnで偏微分すると、次式が得られる。
【００９１】
【数９】
2014200000.tif 000011
・・・（９）
【００９２】
式（８）と（９）から、次式が得られる。
【００９３】
【数１０】
2014200000.tif 000012
・・・（１０）
【００９４】
式（１０）のekに、式（６）を代入することにより、式（１０）は、式（１１）に示す正規方程式で表すことができる。
【００９５】
【数１１】
2014200000.tif 000013
・・・（１１）
【００９６】
式（１１）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数wnについて解くことができる。
【００９７】
式（１１）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）wnを、クラスごとに求めることができる。例えば、このようにして求められたタップ係数wnが、Ｇ係数メモリ１０７−１にＧ係数として記憶されている。なお、係数を学習によって予め求める方式の詳細については後述する。
【００９８】
例えば、式（４）の画素x1，x2，・・・，xNに、Ｇ変換部１０５−１２の処理を経たＧ予測タップを代入し、式（４）におけるタップ係数wnが、Ｇ係数メモリ１０７−１から供給され、Ｇ積和演算部１０８−１で式（４）の演算が行われることによって、出力画像の注目画像の画素値が予測される。
【００９９】
このように、各注目画素のそれぞれについて予測することにより、Ｇ出力画像を得ることができる。
【０１００】
Ｒクラスタップ選択部１０２−２は、Ｒ成分の画像を生成するため必要となるクラスタップであるＲクラスタップを入力画像から選択して取得する。Ｒクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【０１０１】
Ｒクラスタップ選択部１０２−２により選択されたＲクラスタップは、Ｒ変換部１０５−２１に供給される。Ｒ変換部１０５−２１は、Ｒクラスタップを構成する各画素値にＲ変換処理を施すものとされる。
【０１０２】
Ｒ変換処理は、例えば、次のようにして行われる。Ｒクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。
【０１０３】
ここで、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´は、それぞれ式（１２）乃至式（１４）により演算される。
【０１０４】
【数１２】
2014200000.tif 000014
・・・（１２）
【数１３】
2014200000.tif 000015
・・・（１３）
【数１４】
2014200000.tif 000016
・・・（１４）
【０１０５】
このようなＲ変換処理が施されることにより、Ｒクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のＧの画素およびＢの画素のそれぞれの画素値が、Ｒの画素の画素値を基準としてオフセットされることになり、Ｒクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。
【０１０６】
図２に戻って、Ｒ変換部１０５−２１から出力されるＲクラスタップは、Ｒクラス分類部１０６−２に供給される。なお、Ｒ変換部１０５−２１から出力されるＲクラスタップは、上述した式（１２）乃至式（１４）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。
【０１０７】
Ｒクラス分類部１０６−２は、供給されたＲクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｒ係数メモリ１０７−２に出力される。
【０１０８】
Ｒ係数メモリ１０７−２は、Ｒクラス分類部１０６−２から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＲ積和演算部１０８−２に供給する。なお、Ｒ係数メモリ１０７−２には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
【０１０９】
Ｒ予測タップ選択部１０３−２は、Ｒ成分の画像を生成するため必要となる予測タップであるＲ予測タップを入力画像から選択して取得する。Ｒ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【０１１０】
Ｒ予測タップ選択部１０３−２により選択されたＲ予測タップは、Ｒ変換部１０５−２２に供給される。Ｒ変換部１０５−２２は、Ｒ予測タップを構成する各画素値にＲ変換処理を施すものとされる。
【０１１１】
Ｒ変換部１０５−２２によるＲ変換処理は、Ｒ変換部１０５−２１によるものと同様である。すなわち、上述した式（１２）乃至式（１４）により、Ｒ予測タップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｒ予測タップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｒ予測タップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。
【０１１２】
Ｒ変換部１０５−２２から出力されるＲ予測タップは、Ｒ積和演算部１０８−２に供給される。なお、Ｒ変換部１０５−２１から出力されるＲ予測タップは、上述した式（１２）乃至式（１４）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。
【０１１３】
Ｒ積和演算部１０８−２は、予め設定された線形一次式において、Ｒ変換部１０５−２２から出力されるＲ予測タップを変数として代入し、Ｒ係数メモリ１０７−２から供給された係数を用いて予測値の演算を行う。すなわち、Ｒ積和演算部１０８−２は、出力画像となるＲ成分の画像（Ｒ出力画像と称する）における注目画素の画素値を、Ｒ予測タップに基づいて予測演算する。
【０１１４】
例えば、式（４）の画素x1，x2，・・・，xNに、Ｒ変換部１０５−２２の処理を経たＲ予測タップを代入し、式（４）におけるタップ係数wnが、Ｒ係数メモリ１０７−２から供給され、Ｒ積和演算部１０８−２で式（４）の演算が行われることによって、出力画像の注目画像の画素値が予測される。
【０１１５】
このように、各注目画素のそれぞれについて予測することにより、Ｒ出力画像を得ることができる。
【０１１６】
Ｂクラスタップ選択部１０２−３は、Ｂ成分の画像を生成するため必要となるクラスタップであるＢクラスタップを入力画像から選択して取得する。Ｂクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【０１１７】
Ｂクラスタップ選択部１０２−３により選択されたＢクラスタップは、Ｂ変換部１０５−３１に供給される。Ｂ変換部１０５−３１は、Ｂクラスタップを構成する各画素値にＢ変換処理を施すものとされる。
【０１１８】
Ｂ変換処理は、例えば、次のようにして行われる。Ｂクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｂクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｂクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。
【０１１９】
ここで、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´は、それぞれ式（１５）乃至式（１７）により演算される。
【０１２０】
【数１５】
2014200000.tif 000017
・・・（１５）
【数１６】
2014200000.tif 000018
・・・（１６）
【数１７】
2014200000.tif 000019
・・・（１７）
【０１２１】
このようなＢ変換処理が施されることにより、Ｂクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のＧの画素およびＲの画素のそれぞれの画素値が、Ｂの画素の画素値を基準としてオフセットされることになり、Ｂクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。
【０１２２】
図２に戻って、Ｂ変換部１０５−３１から出力されるＢクラスタップは、Ｂクラス分類部１０６−３に供給される。なお、Ｂ変換部１０５−３１から出力されるＢクラスタップは、上述した式（１５）乃至式（１７）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。
【０１２３】
Ｂクラス分類部１０６−３は、供給されたＢクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｂ係数メモリ１０７−３に出力される。
【０１２４】
Ｂ係数メモリ１０７−３は、Ｂクラス分類部１０６−３から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＢ積和演算部１０８−３に供給する。なお、Ｂ係数メモリ１０７−３には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
【０１２５】
Ｂ予測タップ選択部１０３−３は、Ｂ成分の画像を生成するため必要となる予測タップであるＢ予測タップを入力画像から選択して取得する。Ｂ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【０１２６】
Ｂ予測タップ選択部１０３−３により選択されたＢ予測タップは、Ｂ変換部１０５−３２に供給される。Ｂ変換部１０５−３２は、Ｂ予測タップを構成する各画素値にＢ変換処理を施すものとされる。
【０１２７】
Ｂ変換部１０５−３２によるＢ変換処理は、Ｂ変換部１０５−３１によるものと同様である。すなわち、上述した式（１５）乃至式（１７）により、Ｂ予測タップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｂ予測タップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｂ予測タップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。
【０１２８】
Ｂ変換部１０５−３２から出力されるＢ予測タップは、Ｂ積和演算部１０８−３に供給される。なお、Ｂ変換部１０５−３１から出力されるＢ予測タップは、上述した式（１５）乃至式（１７）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。
【０１２９】
Ｂ積和演算部１０８−３は、予め設定された線形一次式において、Ｂ変換部１０５−３２から出力されるＢ予測タップを変数として代入し、Ｂ係数メモリ１０７−３から供給された係数を用いて予測値の演算を行う。すなわち、Ｂ積和演算部１０８−３は、出力画像となるＢ成分の画像（Ｂ出力画像と称する）における注目画素の画素値を、Ｂ予測タップに基づいて予測演算する。
【０１３０】
例えば、式（４）の画素x1，x2，・・・，xNに、Ｂ変換部１０５−３２の処理を経たＢ予測タップを代入し、式（４）におけるタップ係数wnが、Ｂ係数メモリ１０７−３から供給され、Ｂ積和演算部１０８−３で式（４）の演算が行われることによって、出力画像の注目画像の画素値が予測される。
【０１３１】
このように、各注目画素のそれぞれについて予測することにより、Ｂ出力画像を得ることができる。
【０１３２】
次に、Ｇ係数メモリ１０７−１、Ｒ係数メモリ１０７−２、およびＢ係数メモリ１０７−３に記憶される係数の学習について説明する。
【０１３３】
図７は、図２の画像処理装置１００に対応する学習装置の構成例を示すブロック図である。
【０１３４】
図７に示される学習装置２００は、注目画素選択部２０１、生徒画像生成部２０２、代表ＲＧＢ演算部２０３、クラスタップ選択部２０４、予測タップ選択部２０５、色変換部２０６−１、色変換部２０６−２、クラス分類部２０７、正規方程式加算部２０８、および係数データ生成部２０９を備えている。
【０１３５】
学習装置２００において係数の学習を行う場合、例えば、図１の枠４に、Ｒ成分，Ｇ成分およびＢ成分のそれぞれに対応する３つのイメージセンサを配置して得られたＧ成分の画像、Ｒ成分の画像、およびＢ成分の画像を教師画像として用意する。
【０１３６】
生徒画像生成部２０２は、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、教師画像を劣化させるとともに、ベイヤー配列に従って配置された画素により構成されるイメージセンサから出力される画像を生成する。このようにして生成された画像が生徒画像とされる。
【０１３７】
注目画素選択部２０１は、教師画像の中の任意の１画素を注目画素として選択する。なお、注目画素として選択された画素の座標値などが、代表ＲＧＢ演算部２０３、クラスタップ選択部２０４、および、予測タップ選択部２０５に供給されるようになされている。
【０１３８】
代表ＲＧＢ演算部２０３は、生徒画像の中の指定エリア内の画素について、図２の代表ＲＧＢ演算部１０１の場合と同様に、代表値Ｄｇ、代表値Ｄｒ、代表値Ｄｂを算出する。なお、指定エリアは、注目画素選択部２０１により選択された注目画素に対応する位置の画素を中心とした所定の領域として設定される。
【０１３９】
クラスタップ選択部２０４は、生徒画像の中の指定エリア内の画素からクラスタップを選択して取得する。なお、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｇクラスタップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｒクラスタップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｂクラスタップを選択するようになされている。
【０１４０】
予測タップ選択部２０５は、生徒画像の中の指定エリア内の画素から予測タップを選択して取得する。なお、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｇ予測タップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｒ予測タップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｂ予測タップを選択するようになされている。
【０１４１】
色変換部２０６−１は、クラスタップ選択部２０４により取得されたクラスタップに所定の変換処理を施す。ここで、クラスタップ選択部２０４によりＧクラスタップが取得された場合、色変換部２０６−１は、Ｇ変換処理を施すようになされている。また、クラスタップ選択部２０４によりＲクラスタップが取得された場合、色変換部２０６−１は、Ｒ変換処理を施し、クラスタップ選択部２０４によりＢクラスタップが取得された場合、色変換部２０６−１は、Ｂ変換処理を施すようになされている。
【０１４２】
色変換部２０６−１の処理を経たクラスタップは、クラス分類部２０７に供給される。
【０１４３】
色変換部２０６−２は、予測タップ選択部２０５により取得された予測タップに所定の変換処理を施す。ここで、予測タップ選択部２０５によりＧ予測タップが取得された場合、色変換部２０６−２は、Ｇ変換処理を施すようになされている。また、予測タップ選択部２０５によりＲ予測タップが取得された場合、色変換部２０６−２は、Ｒ変換処理を施し、予測タップ選択部２０５によりＢ予測タップが取得された場合、色変換部２０６−２は、Ｂ変換処理を施すようになされている。
【０１４４】
色変換部２０６−２の処理を経た予測タップは、正規方程式加算部２０８に供給される。
【０１４５】
クラス分類部２０７は、供給されたクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、クラスタップとともに、正規方程式加算部２０８に供給される。
【０１４６】
正規方程式加算部２０８は、例えば、上述した式（４）に示される線形１次式を生成する。このとき、色変換部の処理を経たクラスタップが式（４）の画素x1，x2，・・・，xNとして用いられる。
【０１４７】
注目画素選択部２０１が新たな注目画素を選択すると、上述した場合と同様にして新たに線形１次式が生成されることになる。正規方程式加算部２０８は、このように生成される線形１次式をクラスコード毎に加算し、式（１１）の正規方程式を生成する。
【０１４８】
係数データ生成部２０９は、式（１１）の正規方程式を、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数wnについて解く。そして、係数データ生成部２０９は、注目画素が設定された教師画像の種類（Ｇ成分の画像、Ｒ成分の画像、または、Ｂ成分の画像）に応じて、得られたタップ係数wnを、Ｇ出力画像の予測演算を行うために必要となるＧ係数、Ｒ出力画像の予測演算を行うために必要となるＲ係数、または、Ｂ出力画像の予測演算を行うために必要となるＢ係数として出力する。
【０１４９】
このようにして、得られたクラスコード毎のＧ係数、Ｒ係数、およびＢ係数が、図２のＧ係数メモリ１０７−１、Ｒ係数メモリ１０７−２、Ｂ係数メモリ１０７−３に記憶されることになる。
【０１５０】
このようにして、係数の学習が行われる。
【０１５１】
図８は、図２の画像処理装置１００、または、図７の学習装置２００において取得されるクラスタップまたは予測タップの構造の例を示す図である。ここで、クラスタップは、上述したＧクラスタップ、Ｒクラスタップ、およびＢクラスタップを総称しており、予測タップは、上述したＧ予測タップ、Ｒ予測タップ、およびＢ予測タップを総称している。
【０１５２】
図８の例では、出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした９（＝３×３）個の画素により構成されるクラスタップまたは予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。
【０１５３】
図８Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０１５４】
図８Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０１５５】
図８Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０１５６】
図８Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０１５７】
なお、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。また、クラスタップの中で、Ｇクラスタップ、Ｒクラスタップ、およびＢクラスタップの構造が同じであってもよいし、異なってもよい。同様に、予測タップの中で、Ｇ予測タップ、Ｒ予測タップ、およびＢ予測タップの構造が同じであってもよいし、異なってもよい。
【０１５８】
図９は、図２の画像処理装置１００による画像処理の例を説明するフローチャートである。
【０１５９】
ステップＳ２１において、画像処理の対象となる画像（入力画像）が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップＳ２１において、画像が入力されたと判定された場合、処理は、ステップＳ２２に進む。
【０１６０】
なお、上述したように、入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。従って、入力画像では、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は得られるが、Ｇ成分およびＢ成分の画像信号は得られない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが得られ、Ｒ成分およびＢ成分の画像信号は得られず、Ｂの画素からは、Ｂ成分の画像信号のみが得られ、Ｒ成分およびＧ成分の画像信号は得られない。
【０１６１】
ステップＳ２２において、注目画素が設定される。これにより、入力画像における中心画素が定まることになる。
【０１６２】
ステップＳ２３において、代表ＲＧＢ演算部１０１は、図１０を参照して後述する代表ＲＧＢ演算処理を実行する。これにより、上述した代表値Ｄｇ、代表値Ｄｒ、および代表値Ｄｂが演算される。
【０１６３】
ステップＳ２４において、Ｇクラスタップ選択部１０２−１、Ｒクラスタップ選択部１０２−２、または、Ｂクラスタップ選択部１０２−３は、それぞれＧクラスタップ、Ｒクラスタップ、または、Ｂクラスタップを取得する。
【０１６４】
なお、Ｇ出力画像を生成する場合は、Ｇクラスタップが取得され、Ｒ出力画像を生成する場合は、Ｒクラスタップが取得され、Ｂ出力画像を生成する場合は、Ｂクラスタップが取得される。これ以降は、説明を簡単にするため、Ｇ出力画像を生成する場合について説明する。
【０１６５】
ステップＳ２５において色変換が行われる。例えば、Ｇ出力画像を生成する場合、Ｇ変換部１０５−１１がＧ変換を行う。このとき、上述した式（１）乃至式（３）により、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´が演算される。
【０１６６】
ステップＳ２６においてクラス分類が行われる。例えば、Ｇ出力画像を生成する場合、Ｇクラス分類部１０６−１が、供給されたＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成することでクラス分類する。
【０１６７】
ステップＳ２７において、予測タップが取得される。例えば、Ｇ出力画像を生成する場合、Ｇ予測タップ選択部１０３−１がＧ予測タップを取得する。
【０１６８】
ステップＳ２８において、色変換が行われる。例えば、Ｇ出力画像を生成する場合、Ｇ変換部１０５−１２がＧ変換を行う。このとき、上述した式（１）乃至式（３）により、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´が演算される。
【０１６９】
ステップＳ２９において、係数が読み出される。例えば、Ｇ出力画像を生成する場合、Ｇ係数メモリ１０７−１から、ステップＳ２６の処理で生成されたクラスコードに対応づけられて記憶されている係数が読み出される。
【０１７０】
ステップＳ３０において、注目画素値が予測される。例えば、Ｇ出力画像を生成する場合、式（４）の画素x1，x2，・・・，xNに、ステップＳ２８の処理で色変換されたＧ予測タップを代入し、式（４）におけるタップ係数wnとして、ステップＳ２９の処理で読み出された係数が供給され、Ｇ積和演算部１０８−１が式（４）の演算を行うことによって、出力画像の注目画像の画素値が予測される。
【０１７１】
ステップＳ３１において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返し実行される。
【０１７２】
ステップＳ３１において、次の注目画素がないと判定された場合、処理は終了する。
【０１７３】
このようにして、画像生成処理が実行される。
【０１７４】
次に、図１０のフローチャートを参照して、図９のステップＳ２３の代表ＲＧＢ演算処理の詳細な例について説明する。
【０１７５】
ステップＳ４１において、代表ＲＧＢ演算部１０１は、入力画像の中の指定エリアにおいて、Ｒ成分の画素とＢ成分の画素の補間値ｇを算出する。このとき、例えば、図４に示されるように、指定エリア内の中心画素の周囲（上下左右）の４つのＧの画素である画素Ｇ１乃至画素Ｇ４の入力値Ｇ１乃至入力値Ｇ４を平均することにより、中心画素の画素位置における補間されたＧ成分の値である補間値ｇを算出する。
【０１７６】
ステップＳ４２において、代表ＲＧＢ演算部１０１は、代表値Ｄｇを算出する。このとき、指定エリア内の全てのＧの画素の入力値ＧとステップＳ４１で算出された補間値ｇとの平均値が代表値Ｄｇとして算出される。
【０１７７】
ステップＳ４３において、代表ＲＧＢ演算部１０１は、Ｇ成分の画素の補間値ｒを算出する。例えば、図４の画素Ｇ１または画素Ｇ４に示される位置の補間値ｒを算出する場合、図５に示されるように、この場合、Ｇの画素の左右両隣に位置する画素Ｒ１と画素Ｒ２の平均値が補間値ｒとされる。
【０１７８】
これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｒを得ることができ、指定エリア内のＲの画素の画素位置では、入力値Ｒおよび補間値ｇを得ることができる。
【０１７９】
ステップＳ４４において、代表ＲＧＢ演算部１０１は、代表値Ｄｒを算出する。このとき、各画素位置において、（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｒが算出される。
【０１８０】
ステップＳ４５において、代表ＲＧＢ演算部１０１は、Ｇ成分の画素の補間値ｂを算出する。例えば、図４の画素Ｇ１または画素Ｇ４に示される位置の補間値ｂを算出する場合、図６に示されるように、Ｇの画素の上下両隣に位置する画素Ｂ１と画素Ｂ２の平均値が補間値ｂとされる。
【０１８１】
これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｂを得ることができ、指定エリア内のＢの画素の画素位置では、入力値Ｂおよび補間値ｇを得ることができる。
【０１８２】
ステップＳ４６において、代表ＲＧＢ演算部１０１は、代表値Ｄｂを算出する。このとき、各画素位置において、（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｂが算出される。
【０１８３】
このようにして、代表ＲＧＢ演算処理が実行される。
【０１８４】
次に、図１１のフローチャートを参照して、図７の学習装置２００による係数学習処理の例について説明する。
【０１８５】
ステップＳ６１において、教師画像が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップＳ６１において、教師画像が入力されたと判定された場合、処理は、ステップＳ６２に進む。
【０１８６】
なお、上述したように、教師画像は、例えば、図１の枠１４に、Ｒ成分，Ｇ成分およびＢ成分のそれぞれに対応する３つのイメージセンサを配置して得られたＧ成分の画像、Ｒ成分の画像、およびＢ成分の画像とされる。
【０１８７】
ステップＳ６２において、生徒画像生成部２０２は、生徒画像を生成する。このとき、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、教師画像を劣化させるとともに、ベイヤー配列に従って配置された画素により構成されるイメージセンサから出力される画像が生成され、生徒画像とされる。
【０１８８】
ステップＳ６３において、注目画素選択部２０１は、教師画像の中の任意の１画素を注目画素として選択（設定）する。これにより、生徒画像の中の中心画素が定まることになる。
【０１８９】
ステップＳ６４において、代表ＲＧＢ演算部２０３は、図１０のフローチャートを参照して上述した代表ＲＧＢ演算処理を実行する。これにより、代表値Ｄｇ、代表値Ｄｒ、代表値Ｄｂが算出される。
【０１９０】
ステップＳ６５において、クラスタップ選択部２０４は、生徒画像の中の指定エリア内の画素からクラスタップを選択して取得する。
【０１９１】
ここで、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｇクラスタップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｒクラスタップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｂクラスタップを選択するようになされている。
【０１９２】
ステップＳ６６において、色変換部２０６−１は、ステップＳ６５の処理で取得されたクラスタップに所定の変換処理を施す。
【０１９３】
ここで、クラスタップ選択部２０４によりＧクラスタップが取得された場合、色変換部２０６−１は、Ｇ変換処理を施すようになされている。また、クラスタップ選択部２０４によりＲクラスタップが取得された場合、色変換部２０６−１は、Ｒ変換処理を施し、クラスタップ選択部２０４によりＢクラスタップが取得された場合、色変換部２０６−１は、Ｂ変換処理を施すようになされている。
【０１９４】
ステップＳ６７において、クラス分類部２０７は、供給されたクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、クラスタップとともに、正規方程式加算部２０８に供給される。
【０１９５】
ステップＳ６８において、予測タップ選択部２０５は、生徒画像の中の指定エリア内の画素から予測タップを選択して取得する。
【０１９６】
ここで、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｇ予測タップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｒ予測タップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｂ予測タップを選択するようになされている。
【０１９７】
ステップＳ６９において、色変換部２０６−２は、ステップＳ６８の処理で取得された予測タップに所定の変換処理を施す。
【０１９８】
ここで、予測タップ選択部２０５によりＧ予測タップが取得された場合、色変換部２０６−２は、Ｇ変換処理を施すようになされている。また、予測タップ選択部２０５によりＲ予測タップが取得された場合、色変換部２０６−２は、Ｒ変換処理を施し、予測タップ選択部２０５によりＢ予測タップが取得された場合、色変換部２０６−２は、Ｂ変換処理を施すようになされている。
【０１９９】
ステップＳ７０において、正規方程式加算部２０８は、正規方程式の足し込みを行う。
【０２００】
上述したように、正規方程式加算部２０８は、例えば、上述した式（４）に示される線形１次式を生成し、色変換部の処理を経たクラスタップが式（４）の画素x1，x2，・・・，xNとして用いられる。そして、正規方程式加算部２０８は、このようにして生成した線形１次式を、ステップＳ６７の処理で生成されたクラスコード毎に足し込んで、式（１１）の正規方程式を生成する。
【０２０１】
ステップＳ７１において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ６３に戻り、それ以降の処理が繰り返し実行される。
【０２０２】
一方、ステップＳ７１において、次の注目画素がないと判定された場合、処理は、ステップＳ７２に進む。
【０２０３】
ステップＳ７２において、係数データ生成部２０９は、係数を算出する。
【０２０４】
このとき、上述したように、係数データ生成部２０９は、式（１１）の正規方程式を、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数wnについて解く。そして、係数データ生成部２０９は、注目画素が設定された教師画像の種類（Ｇ成分の画像、Ｒ成分の画像、または、Ｂ成分の画像）に応じて、得られたタップ係数wnを、Ｇ出力画像の予測演算を行うために必要となるＧ係数、Ｒ出力画像の予測演算を行うために必要となるＲ係数、または、Ｂ出力画像の予測演算を行うために必要となるＢ係数として出力する。
【０２０５】
このようにして、得られたクラスコード毎のＧ係数、Ｒ係数、およびＢ係数が、図２のＧ係数メモリ１０７−１、Ｒ係数メモリ１０７−２、Ｂ係数メモリ１０７−３に記憶され、図９のステップＳ２９の処理で読み出されることになる。
【０２０６】
このようにして、係数学習処理が実行される。
【０２０７】
ところで、図２を参照して上述した実施の形態では、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像が同時に生成され得るものとされていた。しかしながら、ベイヤー配列においては、単位面積あたりのＧの画素数が多いため、予測精度が高い。また、カラーフィルタの特性上、Ｇの方がＲまたはＢと比較してＳＮ比が良好となる。このため、例えば、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようにしてもよい。このようにすることで、ノイズ量や解像度（周波数特性）の面でより品質の高い画像処理を行うことが可能となる。
【０２０８】
図１２は、本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。同図に示される画像処理装置１５０は、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようになされている。
【０２０９】
図１２における代表ＲＧＢ演算部１５１は、図２の代表ＲＧＢ演算部１０１と同様に構成されるものなので詳細な説明は省略する。
【０２１０】
また、図１２において、Ｇ出力画像の生成に係る機能ブロックである、Ｇクラスタップ選択部１５２−１、Ｇ変換部１５５−１１、Ｇクラス分類部１５６−１、Ｇ係数メモリ１５７−１、Ｇ予測タップ選択部１５３−１、Ｇ変換部１５５−１２、および、Ｇ積和演算部１５８−１は、それぞれ図２のＧクラスタップ選択部１０２−１、Ｇ変換部１０５−１１、Ｇクラス分類部１０６−１、Ｇ係数メモリ１０７−１、Ｇ予測タップ選択部１０３−１、Ｇ変換部１０５−１２、および、Ｇ積和演算部１０８−１と同様に構成されるものなので詳細な説明は省略する。
【０２１１】
図１２の構成の場合、図２の場合とは異なり、Ｇ積和演算部１０８−１から出力されるデータが遅延部１６１−１を介して、Ｒクラスタップ選択部１５２−２およびＲ予測タップ選択部１５３−２、並びに、Ｂクラスタップ選択部１５２−３およびＢ予測タップ選択部１５３−３に供給されるようになされている。また、図１２の構成の場合、図２の場合とは異なり、代表ＲＧＢ演算部１５１から出力されるデータが、遅延部１６１−２を介して、Ｒ変換部１５５−２１およびＲ変換部１５５−２２、並びに、Ｂ変換部１５５−３１およびＢ変換部１５５−３２に供給されるようになされている。
【０２１２】
図１２の構成の場合、Ｒクラスタップ選択部１５２−２は、Ｒ成分の画像を生成するため必要となるクラスタップであるＲクラスタップをＧ出力画像から選択して取得する。Ｒクラスタップは、例えば、出力画像の注目画素に対応する位置のＧ出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【０２１３】
Ｒクラスタップ選択部１５２−２により選択されたＲクラスタップは、Ｒ変換部１５５−２１に供給される。Ｒ変換部１５５−２１は、Ｒクラスタップを構成する各画素値にＲ変換処理を施すものとされる。
【０２１４】
ここでのＲ変換処理は、例えば、次のようにして行われる。
【０２１５】
図２の場合とは異なり、図１２の場合、Ｒクラスタップ選択部１５２−２によりＧ出力画像からＲクラスタップが選択される。従って、いまの場合、Ｒクラスタップは、全てＧ成分の画素により構成されていることになる。いま、Ｇ出力画像のＧ成分の画素を予測値Ｇｐで表すことにする。
【０２１６】
Ｒ変換部１５５−２１は、Ｒクラスタップを構成する各画素値に式（１８）の演算を施して変換値Ｇｐ´を算出する。
【０２１７】
【数１８】
2014200000.tif 000020
・・・（１８）
【０２１８】
このようなＲ変換処理が施されることにより、Ｒクラスタップを構成する各画素値の相関性を高めることができる。すなわち、Ｇ出力画像の画素値が、入力画像のＲの画素の画素値を基準としてオフセットされることになり、Ｒクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。
【０２１９】
Ｒ変換部１５５−２１から出力されるＲクラスタップは、Ｒクラス分類部１５６−２に供給される。なお、Ｒ変換部１５５−２１から出力されるＲクラスタップは、上述した式（１８）により演算された変換値Ｇｐ´により構成されることになる。
【０２２０】
Ｒクラス分類部１５６−２は、供給されたＲクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｒ係数メモリ１５７−２に出力される。
【０２２１】
Ｒ係数メモリ１５７−２は、Ｒクラス分類部１５６−２から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＲ積和演算部１５８−２に供給する。なお、Ｒ係数メモリ１５７−２には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
【０２２２】
なお、図１２の構成の画像処理装置１５０を用いる場合、Ｒ係数メモリ１５７−２に記憶される係数の学習の際にも、やはり、Ｇ出力画像を教師画像としてＲ出力画像を生成するための学習が行われるものとする。
【０２２３】
Ｒ予測タップ選択部１５３−２は、Ｒ成分の画像を生成するため必要となる予測タップであるＲ予測タップをＧ出力画像から選択して取得する。Ｒ予測タップは、例えば、出力画像の注目画素に対応する位置のＧ出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。なお、図２の場合とは異なり、図１２の場合、Ｒ予測タップ選択部１５３−２によりＧ出力画像からＲ予測タップが選択される。従って、いまの場合、Ｒ予測タップは、全てＧ成分の画素により構成されていることになる。
【０２２４】
Ｒ予測タップ選択部１５３−２により選択されたＲ予測タップは、Ｒ変換部１５５−２２に供給される。Ｒ変換部１５５−２２は、Ｒ予測タップを構成する各画素値にＲ変換処理を施すものとされる。
【０２２５】
Ｒ変換部１５５−２２によるＲ変換処理は、Ｒ変換部１５５−２１によるものと同様である。すなわち、上述した式（１８）により、変換値Ｇｐ´が演算される。
【０２２６】
Ｒ変換部１５５−２２から出力されるＲ予測タップは、Ｒ積和演算部１５８−２に供給される。なお、Ｒ変換部１５５−２１から出力されるＲ予測タップは、上述した式（１８）により演算された変換値Ｇｐ´により構成されることになる。
【０２２７】
Ｒ積和演算部１５８−２は、図２のＲ積和演算部１０８−２と同様に構成されるものであるが、出力画像となるＲ成分の画像（Ｒ出力画像と称する）における注目画素の画素値を、Ｒ予測タップに基づいて予測演算する。
【０２２８】
このように、各注目画素のそれぞれについて予測することにより、Ｒ出力画像を得ることができる。
【０２２９】
また、図１２の構成の場合、Ｂクラスタップ選択部１５２−３は、Ｂ成分の画像を生成するため必要となるクラスタップであるＢクラスタップをＧ出力画像から選択して取得する。Ｂクラスタップは、例えば、出力画像の注目画素に対応する位置のＧ出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【０２３０】
Ｂクラスタップ選択部１５２−３により選択されたＢクラスタップは、Ｂ変換部１５５−３１に供給される。Ｂ変換部１５５−３１は、Ｂクラスタップを構成する各画素値にＢ変換処理を施すものとされる。
【０２３１】
ここでのＢ変換処理は、例えば、次のようにして行われる。
【０２３２】
図２の場合とは異なり、図１２の場合、Ｂクラスタップ選択部１５２−３によりＧ出力画像からＢクラスタップが選択される。従って、いまの場合、Ｂクラスタップは、全てＧ成分の画素により構成されていることになる。いま、Ｇ出力画像のＧ成分の画素を予測値Ｇｐで表すことにする。
【０２３３】
Ｂ変換部１５５−３１は、Ｂクラスタップを構成する各画素値に式（１９）の演算を施して変換値Ｇｐ´を算出する。
【０２３４】
【数１９】
2014200000.tif 000021
・・・（１９）
【０２３５】
このようなＢ変換処理が施されることにより、Ｂクラスタップを構成する各画素値の相関性を高めることができる。すなわち、Ｇ出力画像の画素値が、入力画像のＢの画素の画素値を基準としてオフセットされることになり、Ｂクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。
【０２３６】
Ｂ変換部１５５−３１から出力されるＢクラスタップは、Ｂクラス分類部１５６−３に供給される。なお、Ｂ変換部１５５−３１から出力されるＢクラスタップは、上述した式（１９）により演算された変換値Ｇｐ´により構成されることになる。
【０２３７】
Ｂクラス分類部１５６−３は、供給されたＢクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｂ係数メモリ１５７−３に出力される。
【０２３８】
Ｂ係数メモリ１５７−３は、Ｂクラス分類部１５６−３から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＢ積和演算部１５８−３に供給する。なお、Ｂ係数メモリ１５７−３には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
【０２３９】
なお、図１２の構成の画像処理装置１５０を用いる場合、Ｂ係数メモリ１５７−３に記憶される係数の学習の際にも、やはり、Ｇ出力画像を教師画像としてＢ出力画像を生成するための学習が行われるものとする。
【０２４０】
Ｂ予測タップ選択部１５３−３は、Ｂ成分の画像を生成するため必要となる予測タップであるＢ予測タップをＧ出力画像から選択して取得する。Ｂ予測タップは、例えば、出力画像の注目画素に対応する位置のＧ出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。なお、図２の場合とは異なり、図１２の場合、Ｂ予測タップ選択部１５３−３によりＧ出力画像からＢ予測タップが選択される。従って、いまの場合、Ｂ予測タップは、全てＧ成分の画素により構成されていることになる。
【０２４１】
Ｂ予測タップ選択部１５３−３により選択されたＢ予測タップは、Ｂ変換部１５５−３２に供給される。Ｂ変換部１５５−３２は、Ｂ予測タップを構成する各画素値にＢ変換処理を施すものとされる。
【０２４２】
Ｂ変換部１５５−３２によるＢ変換処理は、Ｂ変換部１５５−３１によるものと同様である。すなわち、上述した式（１９）により、変換値Ｇｐ´が演算される。
【０２４３】
Ｂ変換部１５５−３２から出力されるＢ予測タップは、Ｂ積和演算部１５８−３に供給される。なお、Ｂ変換部１５５−３１から出力されるＢ予測タップは、上述した式（１９）により演算された変換値Ｇｐ´により構成されることになる。
【０２４４】
Ｂ積和演算部１５８−３は、図２のＢ積和演算部１０８−３と同様に構成されるものであるが、出力画像となるＢ成分の画像（Ｂ出力画像と称する）における注目画素の画素値を、Ｂ予測タップに基づいて予測演算する。
【０２４５】
このように、各注目画素のそれぞれについて予測することにより、Ｂ出力画像を得ることができる。
【０２４６】
図１３は、図１２の画像処理装置１５０において取得されるＧクラスタップまたはＧ予測タップの構造の例を示す図である。
【０２４７】
図１３の例では、出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした９（＝３×３）個の画素により構成されるクラスタップまたは予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。
【０２４８】
図１３Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２４９】
図１３Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２５０】
図１３Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２５１】
図１３Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２５２】
なお、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。
【０２５３】
図１４は、図１２の画像処理装置１５０において取得されるＲクラスタップまたはＲ予測タップの構造の例を示す図である。同図に示されるように、ＲクラスタップまたはＲ予測タップは、Ｇ出力画像から取得されるので、図中の円の中は、全てＧｐと記載されている。
【０２５４】
図１４の例では、出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした十字型の５個の画素により構成されるクラスタップまたは予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。
【０２５５】
図１４Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２５６】
図１４Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２５７】
図１４Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２５８】
図１４Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２５９】
なお、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。
【０２６０】
図１５は、図１２の画像処理装置１５０において取得されるＢクラスタップまたはＢ予測タップの構造の例を示す図である。同図に示されるように、ＢクラスタップまたはＢ予測タップは、Ｇ出力画像から取得されるので、図中の円の中は、全てＧｐと記載されている。
【０２６１】
図１５の例では、出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした十字型の５個の画素により構成されるクラスタップまたは予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。
【０２６２】
図１５Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２６３】
図１５Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２６４】
図１５Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２６５】
図１５Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２６６】
なお、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。
【０２６７】
図１２に示されるように画像処理装置を構成することで、例えば、図２の構成の場合と比較して、ノイズ量や解像度（周波数特性）の面でより品質の高い画像処理を行うことが可能となる。
【０２６８】
図２および図１２を参照して上述した例においては、色変換により画素値を変換値に置き換えてクラス分類、積和演算が行われるものとして説明したが、例えば、画素値を色差に置き換えてクラス分類、積和演算が行われるようにしてもよい。
【０２６９】
図１６は、本技術を適用した画像処理装置のさらに別の実施の形態に係る構成例を示すブロック図である。同図に示される画像処理装置１８０は、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようになされている。また、生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成する際に、画素値を色差に置き換えてクラス分類、積和演算が行われるようになされている。
【０２７０】
図１６における代表ＲＧＢ演算部１８１は、図２の代表ＲＧＢ演算部１０１と同様に構成されるものなので詳細な説明は省略する。
【０２７１】
また、図１６において、Ｇ出力画像の生成に係る機能ブロックである、Ｇクラスタップ選択部１８２−１、Ｇ変換部１８５−１１、Ｇクラス分類部１８６−１、Ｇ係数メモリ１８７−１、Ｇ予測タップ選択部１８３−１、Ｇ変換部１８５−１２、および、Ｇ積和演算部１８８−１は、それぞれ図２のＧクラスタップ選択部１０２−１、Ｇ変換部１０５−１１、Ｇクラス分類部１０６−１、Ｇ係数メモリ１０７−１、Ｇ予測タップ選択部１０３−１、Ｇ変換部１０５−１２、および、Ｇ積和演算部１０８−１と同様に構成されるものなので詳細な説明は省略する。
【０２７２】
図１６の構成の場合、図２の場合とは異なり、入力画像が遅延部１９１−１を介してＲクラスタップ選択部１８２−２およびＲ予測タップ選択部１８３−２、並びに、Ｂクラスタップ選択部１８２−３およびＢ予測タップ選択部１８３−３に供給されるようになされている。
【０２７３】
また、図１６の構成の場合、図２の場合とは異なり、Ｇ積和演算部１０８−１から出力されるデータが、Ｒ変換部１８９−２およびＢ変換部１８９−３に供給されるようになされている。
【０２７４】
また、図１６の構成の場合、代表ＲＧＢ演算部１８１から出力されるデータが、遅延部１９１−２を介して、（Ｒ−Ｇ）変換部１８５−２１および（Ｒ−Ｇ）変換部１８５−２２、並びに、（Ｂ−Ｇ）変換部１８５−３１および（Ｂ−Ｇ）変換部１８５−３２に供給されるようになされている。
【０２７５】
さらに、図１６の構成を採用する場合、Ｒクラスタップ、Ｂクラスタップ、Ｒ予測タップ、およびＢ予測タップの構造が、図２または図１２の場合とは異なる。なお、図１６の構成を採用する場合においても、ＧクラスタップおよびＧ予測タップの構造は、図１３を参照して上述した場合と同様である。
【０２７６】
図１７は、図１６の画像処理装置１８０において取得されるＲクラスタップまたはＲ予測タップの構造の例を示す図である。
【０２７７】
図１７の例では、十字型の５個の画素により構成されるクラスタップまたは予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。
【０２７８】
図１７Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２７９】
図１７Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２８０】
図１７Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２８１】
図１７Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２８２】
図１７Ａ乃至図１７Ｄに示されるように、ＲクラスタップまたはＲ予測タップを構成する５個の画素は、全てＲ成分の画素とされており、Ｇ成分の画素およびＢ成分の画素は含まれていない。また、図１７Ｂ乃至図１７Ｄにおいては、ＲクラスタップまたはＲ予測タップの中心となる画素が、図中ハッチングされた円で示される本来の中心画素に隣接する位置の画素とされている。
【０２８３】
なお、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。
【０２８４】
図１８は、図１６の画像処理装置１８０において取得されるＢクラスタップまたはＢ予測タップの構造の例を示す図である。
【０２８５】
図１８の例では、十字型の５個の画素により構成されるクラスタップまたは予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。
【０２８６】
図１８Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２８７】
図１８Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２８８】
図１８Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２８９】
図１８Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０２９０】
図１８Ａ乃至図１８Ｄに示されるように、ＢクラスタップまたはＢ予測タップを構成する５個の画素は、全てＢ成分の画素とされており、Ｇ成分の画素およびＲ成分の画素は含まれていない。また、図１８Ａ乃至図１８Ｃにおいては、ＢクラスタップまたはＢ予測タップの中心となる画素が、図中ハッチングされた円で示される本来の中心画素に隣接する位置の画素とされている。
【０２９１】
なお、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。
【０２９２】
図１６に戻って、Ｒクラスタップ選択部１８２−２は、Ｒ成分の画像を生成するため必要となるクラスタップであるＲクラスタップを入力画像から選択して取得する。
【０２９３】
Ｒクラスタップ選択部１５２−２により選択されたＲクラスタップは、（Ｒ−Ｇ）変換部１８５−２１に供給される。（Ｒ−Ｇ）変換部１８５−２１は、Ｒクラスタップを構成する各画素値に（Ｒ−Ｇ）変換処理を施すものとされ、（Ｒ−Ｇ）変換処理により仮想色差が算出される。
【０２９４】
すなわち、（Ｒ−Ｇ）変換部１８５−２１は、Ｒクラスタップを構成する各画素値に式（２０）の演算を施して仮想色差ＲＧｃを算出する。
【０２９５】
【数２０】
2014200000.tif 000022
・・・（２０）
【０２９６】
なお、式（２０）における補間値ｇは、代表ＲＧＢ演算部１８１から供給される。
【０２９７】
Ｒ変換部１８５−２１から出力されるＲクラスタップは、Ｒクラス分類部１８６−２に供給される。なお、Ｒ変換部１８５−２１から出力されるＲクラスタップは、上述した式（２０）により演算された仮想色差ＲＧｃにより構成されることになる。
【０２９８】
Ｒクラス分類部１８６−２は、供給されたＲクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、（Ｒ−Ｇ）係数メモリ１８７−２に出力される。
【０２９９】
（Ｒ−Ｇ）係数メモリ１８７−２は、Ｒクラス分類部１８６−２から出力されたクラスコードに対応づけられて記憶されている係数を読み出して（Ｒ−Ｇ）積和演算部１８８−２に供給する。なお、（Ｒ−Ｇ）係数メモリ１８７−２には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
【０３００】
なお、図１６の構成の画像処理装置１８０を用いる場合、（Ｒ−Ｇ）係数メモリ１８７−２に記憶される係数の学習の際にも、やはり、仮想色差をクラスタップまたは予測タップとしてＲ出力画像を生成するための学習が行われるものとする。
【０３０１】
Ｒ予測タップ選択部１８３−２は、Ｒ成分の画像を生成するため必要となる予測タップであるＲ予測タップを入力画像から選択して取得する。
【０３０２】
Ｒ予測タップ選択部１８３−２により選択されたＲ予測タップは、（Ｒ−Ｇ）変換部１８５−２２に供給される。（Ｒ−Ｇ）変換部１８５−２２は、Ｒ予測タップを構成する各画素値に（Ｒ−Ｇ）変換処理を施すものとされ、（Ｒ−Ｇ）変換処理により仮想色差が算出される。
【０３０３】
（Ｒ−Ｇ）変換部１８５−２２による（Ｒ−Ｇ）変換処理は、（Ｒ−Ｇ）変換部１８５−２１によるものと同様である。すなわち、上述した式（２０）により、仮想色差ＲＧｃが演算される。
【０３０４】
（Ｒ−Ｇ）変換部１８５−２２から出力されるＲ予測タップは、（Ｒ−Ｇ）積和演算部１８８−２に供給される。なお、（Ｒ−Ｇ）変換部１８５−２１から出力されるＲ予測タップは、上述した式（２０）により演算された仮想色差ＲＧｃにより構成されることになる。
【０３０５】
（Ｒ−Ｇ）積和演算部１８８−２は、出力画像となるＲ成分の画像（Ｒ出力画像と称する）における注目画素の（Ｒ−Ｇ）の色差を、Ｒ予測タップに基づいて予測演算する。
【０３０６】
Ｒ変換部１８９−２は、（Ｒ−Ｇ）積和演算部１８８−２から出力された注目画素の（Ｒ−Ｇ）の色差の予測値（Ｒ−Ｇ）ｐを、例えば、式（２１）の演算によってＲ成分の画素値の予測値Ｒｐに変換する。
【０３０７】
【数２１】
2014200000.tif 000023
・・・（２１）
【０３０８】
このように、各注目画素のそれぞれについて予測することにより、Ｒ出力画像を得ることができる。
【０３０９】
Ｂクラスタップ選択部１８２−３は、Ｂ成分の画像を生成するため必要となるクラスタップであるＢクラスタップを入力画像から選択して取得する。
【０３１０】
Ｂクラスタップ選択部１５２−３により選択されたＢクラスタップは、（Ｂ−Ｇ）変換部１８５−３１に供給される。（Ｂ−Ｇ）変換部１８５−３１は、Ｂクラスタップを構成する各画素値に（Ｂ−Ｇ）変換処理を施すものとされ、（Ｂ−Ｇ）変換処理により仮想色差が算出される。
【０３１１】
すなわち、（Ｂ−Ｇ）変換部１８５−３１は、Ｂクラスタップを構成する各画素値に式（２２）の演算を施して仮想色差ＢＧｃを算出する。
【０３１２】
【数２２】
2014200000.tif 000024
・・・（２２）
【０３１３】
なお、式（２２）における補間値ｇは、代表ＲＧＢ演算部１８１から供給される。
【０３１４】
（Ｂ−Ｇ）変換部１８５−３１から出力されるＢクラスタップは、Ｂクラス分類部１８６−３に供給される。なお、（Ｂ−Ｇ）変換部１８５−３１から出力されるＢクラスタップは、上述した式（２０）により演算された仮想色差ＢＧｃにより構成されることになる。
【０３１５】
Ｂクラス分類部１８６−３は、供給されたＢクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、（Ｂ−Ｇ）係数メモリ１８７−３に出力される。
【０３１６】
（Ｂ−Ｇ）係数メモリ１８７−３は、Ｂクラス分類部１８６−３から出力されたクラスコードに対応づけられて記憶されている係数を読み出して（Ｂ−Ｇ）積和演算部１８８−３に供給する。なお、（Ｂ−Ｇ）係数メモリ１８７−３には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
【０３１７】
なお、図１６の構成の画像処理装置１８０を用いる場合、（Ｂ−Ｇ）係数メモリ１８７−３に記憶される係数の学習の際にも、やはり、仮想色差をクラスタップまたは予測タップとしてＢ出力画像を生成するための学習が行われるものとする。
【０３１８】
Ｂ予測タップ選択部１８３−３は、Ｂ成分の画像を生成するため必要となる予測タップであるＢ予測タップを入力画像から選択して取得する。
【０３１９】
Ｂ予測タップ選択部１８３−３により選択されたＢ予測タップは、（Ｂ−Ｇ）変換部１８５−３２に供給される。（Ｂ−Ｇ）変換部１８５−３２は、Ｂ予測タップを構成する各画素値に（Ｂ−Ｇ）変換処理を施すものとされ、（Ｂ−Ｇ）変換処理により仮想色差が算出される。
【０３２０】
（Ｂ−Ｇ）変換部１８５−３２による（Ｂ−Ｇ）変換処理は、（Ｂ−Ｇ）変換部１８５−３１によるものと同様である。すなわち、上述した式（２２）により、仮想色差ＢＧｃが演算される。
【０３２１】
（Ｂ−Ｇ）変換部１８５−３２から出力されるＢ予測タップは、（Ｂ−Ｇ）積和演算部１８８−３に供給される。なお、（Ｂ−Ｇ）変換部１８５−３１から出力されるＢ予測タップは、上述した式（２２）により演算された仮想色差ＢＧｃにより構成されることになる。
【０３２２】
（Ｂ−Ｇ）積和演算部１８８−３は、出力画像となるＢ成分の画像（Ｂ出力画像と称する）における注目画素の（Ｂ−Ｇ）の色差を、Ｂ予測タップに基づいて予測演算する。
【０３２３】
Ｂ変換部１８９−３は、（Ｂ−Ｇ）積和演算部１８８−３から出力された注目画素の（Ｂ−Ｇ）の色差の予測値（Ｂ−Ｇ）ｐを、例えば、式（２３）の演算によってＢ成分の画素値の予測値Ｂｐに変換する。
【０３２４】
【数２３】
2014200000.tif 000025
・・・（２３）
【０３２５】
このように、各注目画素のそれぞれについて予測することにより、Ｂ出力画像を得ることができる。
【０３２６】
また、仮想色差を算出する際に、各色成分の画素値に、例えば、ＢＴ７０９、ＢＴ６０１などに規定されるマトリックス係数であって、ＲＧＢからＹ、ｐｂ、またはｐｒへの変換を行う際に用いられる係数が乗じられるようにしてもよい。このようにすることで、出力画像においてより良好なＳ／Ｎ比を実現することができる。
【０３２７】
以上においては、単板式カメラのイメージセンサから出力される画像信号に対応する画像の画素値に基づいて、同一の解像度のＧ出力画像、Ｒ出力画像、およびＢ出力画像の画素値をそれぞれ生成（予測）する例について説明した。
【０３２８】
しかし、単板式カメラのイメージセンサから出力される画像信号に対応する画像の画素値に基づいて、解像度の異なるＧ出力画像、Ｒ出力画像、およびＢ出力画像の画素値をそれぞれ生成（予測）することも可能である。例えば、単板式カメラのイメージセンサに配置された画素数を超える画素のＧ出力画像、Ｒ出力画像、およびＢ出力画像の画素値をそれぞれ生成（予測）し、解像度を変換することもできる。
【０３２９】
図１９は、図２を参照して上述した画像処理装置１００において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップと、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置の関係を説明する図である。図１９の例では、中心画素を中心とした９（＝３×３）個の画素により、クラスタップまたは予測タップが構成されている。
【０３３０】
図１９Ａには、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｒ成分の画素を中心画素とした場合のクラスタップまたは予測タップと、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置の関係が示されている。同図においては、ハッチングされた円内にＲが記された画素が中心画素とされ、小さい黒い丸がＧ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置とされる。
【０３３１】
図１９Ａに示されるように、中心画素であるＲ成分の画素の周囲の４つの位置に、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素が配置されている。すなわち、図１９Ａに示される９個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。なお、ここでは、Ｇ予測タップ、Ｒ予測タップ、および、Ｂ予測タップが同一の構造であるものとし、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像のそれぞれについて、４通りの画素値が予測（生成）されるものとする。
【０３３２】
図１９Ｂには、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｇ成分の画素を中心画素とした場合のクラスタップまたは予測タップと、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置の関係が示されている。同図においては、ハッチングされた円内にＧが記された画素が中心画素とされ、小さい黒い丸がＧ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置とされる。
【０３３３】
図１９Ｂに示されるように、中心画素であるＧ成分の画素の周囲の４つの位置に、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素が配置されている。すなわち、図１９Ｂに示される９個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。なお、ここでは、Ｇ予測タップ、Ｒ予測タップ、および、Ｂ予測タップが同一の構造であるものとし、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像のそれぞれについて、４通りの画素値が予測（生成）されることになる。
【０３３４】
同様に、図１９Ｃには、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、別のＧ成分の画素を中心画素とした場合のクラスタップまたは予測タップと、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置の関係が示されている。また、図１９Ｄには、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｂ成分の画素を中心画素とした場合のクラスタップまたは予測タップと、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置の関係が示されている。
【０３３５】
ところで、近年、単板式カメラのイメージセンサの画素密度を高める工夫が考えられている。例えば、ベイヤー配列のイメージセンサの画素の配置を、斜めに変更することにより、画素密度を高めることができる。
【０３３６】
例えば、図２０に示されるようなベイヤー配列の画素の配置を、図２１に示されるように変更する。図２０および図２１においては小さい矩形によりイメージセンサの画素が示されており、それらの矩形の中に記されたＲ、Ｇ、Ｂの文字は、各画素の色成分を表している。
【０３３７】
イメージセンサの画素を配置する際には、例えば、光の混入などを回避するため、上下左右に隣接する画素間の距離には制約があり、一定の距離より短くすることができない。しかしながら、画素を斜めに配置することにより、上下左右に隣接する画素間の距離を保持したまま、単位面積あたりの画素数を多くすることができる。
【０３３８】
例えば、図２０に示されるようなベイヤー配列の画素の配置を図２１に示されるように変更した場合、同一の面積に２倍の画素を配置することが可能となる。
【０３３９】
ここで、図２１に示されるような画素の配置を斜めベイヤー配列と称することにする。
【０３４０】
図２２は、図２を参照して上述した画像処理装置１００において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップと、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置の関係を説明する図である。図２２の例では、中心画素を中心とした９（＝３×３）個の画素により、クラスタップまたは予測タップが構成されている。同図においては、ハッチングされた円内にＧが記された画素が中心画素とされ、小さい黒い丸がＧ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置とされる。
【０３４１】
図２２に示されるように、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素は、入力画像におけるＧ成分の画素とＲ成分の画素との間、または、Ｇ成分の画素とＢ成分の画素との間に配置されることになる。従って、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップは、常にＧ成分の画素を中心としたものになり、図２２Ａまたは図２２Ｂに示されるように、クラスタップまたは予測タップが取得されることになる。
【０３４２】
なお、ここでは、Ｇ予測タップ、Ｒ予測タップ、および、Ｂ予測タップが同一の構造であるものとし、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像のそれぞれについて、図２２Ａまたは図２２Ｂに示されるように画素値が予測（生成）されるものとする。
【０３４３】
また、画像の解像度を変換する場合も、例えば、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようにしてもよい。このようにすることで、ノイズ量や解像度（周波数特性）の面でより品質の高い画像処理を行うことが可能となる。
【０３４４】
図２３は、図１２を参照して上述した画像処理装置１５０において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のＲクラスタップ若しくはＲ予測タップ、または、Ｂクラスタップ若しくはＢ予測タップの例を示す図である。図２３の例では、中心画素を中心とした９（＝３×３）個の画素により、ＧクラスタップまたはＧ予測タップが構成されるものとされる。上述したように、画像処理装置１５０は、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようになされている。
【０３４５】
なお、図１２を参照して上述した画像処理装置１５０において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップと、Ｇ出力画像の画素の位置の関係は、図１９と同様になる。
【０３４６】
従って、図１２を参照して上述した画像処理装置１５０において、ベイヤー配列の画素により構成される画像の解像度を変換する場合、Ｇ予測タップ（またはＧクラスタップ）と、Ｒ予測タップ（またはＲクラスタップ）の構造が異なることになる。また、Ｇ予測タップ（またはＧクラスタップ）と、Ｂ予測タップ（またはＲクラスタップ）の構造が異なることになる。
【０３４７】
図２３においては、中にＲ，Ｇ，Ｂの文字が記された円により、入力画像の画素が示されており、Ｒ，Ｇ，Ｂの文字が記された円の周囲の４つの白い丸がＧ出力画像の画素を表している。そして、Ｇ出力画像のうち、点線の円で示されるものがクラスタップまたは予測タップとされ、黒く塗られた点線の円がクラスタップまたは予測タップの中心画素を表している。
【０３４８】
図２３Ａには、Ｇ出力画像生成時のＧ予測タップ（またはＧクラスタップ）が、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｒ成分の画素を中心画素とする場合の、Ｒ予測タップ（若しくはＲクラスタップ）、または、Ｂ予測タップ（若しくはＢクラスタップ）が示されている。
【０３４９】
図２３Ｂには、Ｇ出力画像生成時のＧ予測タップ（またはＧクラスタップ）が、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｇ成分の画素を中心画素とする場合の、Ｒ予測タップ（若しくはＲクラスタップ）、または、Ｂ予測タップ（若しくはＢクラスタップ）が示されている。
【０３５０】
図２３Ｃには、Ｇ出力画像生成時のＧ予測タップ（またはＧクラスタップ）が、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、別のＧ成分の画素を中心画素とする場合の、Ｒ予測タップ（若しくはＲクラスタップ）、または、Ｂ予測タップ（若しくはＢクラスタップ）が示されている。
【０３５１】
図２３Ｄには、Ｇ出力画像生成時のＧ予測タップ（またはＧクラスタップ）が、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｂ成分の画素を中心画素とする場合の、Ｒ予測タップ（若しくはＲクラスタップ）、または、Ｂ予測タップ（若しくはＢクラスタップ）が示されている。
【０３５２】
図２４は、図１２を参照して上述した画像処理装置１５０において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のＲクラスタップ若しくはＲ予測タップ、または、Ｂクラスタップ若しくはＢ予測タップの例を示す図である。図２４の例では、中心画素を中心とした９（＝３×３）個の画素により、ＧクラスタップまたはＧ予測タップが構成されるものとされる。上述したように、画像処理装置１５０は、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようになされている。
【０３５３】
なお、図１２を参照して上述した画像処理装置１５０において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップと、Ｇ出力画像の画素の位置の関係は、図２２と同様になる。
【０３５４】
従って、図１２を参照して上述した画像処理装置１５０において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合、Ｇ予測タップ（またはＧクラスタップ）と、Ｒ予測タップ（またはＲクラスタップ）の構造が異なることになる。また、Ｇ予測タップ（またはＧクラスタップ）と、Ｂ予測タップ（またはＲクラスタップ）の構造が異なることになる。
【０３５５】
図２４においては、中にＲ，Ｇ，Ｂの文字が記された円により、入力画像の画素が示されており、Ｒ，Ｇ，Ｂの文字が記された円の周囲の４つの白い丸がＧ出力画像の画素を表している。そして、Ｇ出力画像のうち、点線の円で示されるものがクラスタップまたは予測タップとされ、黒く塗られた点線の円がクラスタップまたは予測タップの中心画素を表している。
【０３５６】
図２４Ａには、Ｇ出力画像生成時のＧ予測タップ（またはＧクラスタップ）が図２２Ａに示されるものである場合の、Ｒ予測タップ（若しくはＲクラスタップ）、または、Ｂ予測タップ（若しくはＢクラスタップ）が示されている。
【０３５７】
図２４Ｂには、Ｇ出力画像生成時のＧ予測タップ（またはＧクラスタップ）が図２２Ｂに示されるものである場合の、Ｒ予測タップ（若しくはＲクラスタップ）、または、Ｂ予測タップ（若しくはＢクラスタップ）が示されている。
【０３５８】
また、画像の解像度を変換する場合も、例えば、画素値を色差に置き換えてクラス分類、積和演算が行われるようにしてもよい。
【０３５９】
図２５は、図１６を参照して上述した画像処理装置１８０において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のＧクラスタップまたはＧ予測タップと、Ｇ出力画像の画素の位置の関係を説明する図である。図２５の例では、中心画素を中心とした９（＝３×３）個の画素により、クラスタップまたは予測タップが構成されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。
【０３６０】
図２５では、中にＲ，Ｇ，Ｂの文字が記された円により、入力画像の画素が示されており、Ｒ，Ｇ，Ｂの文字が記された円の周囲の４つの白い丸がＧ出力画像の画素を表している。
【０３６１】
上述したように、画像処理装置１８０は、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようになされている。ただし、ＲクラスタップおよびＲ予測タップ、並びにＢクラスタップおよびＢ予測タップは、入力画像から直接取得される。また、生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成する際に、画素値を色差に置き換えてクラス分類、積和演算が行われるようになされている。
【０３６２】
図２５Ａには、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｒ成分の画素を中心画素とした場合のＧクラスタップまたはＧ予測タップと、Ｇ出力画像の画素の位置の関係が示されている。同図においては、ハッチングされた円内にＲが記された画素が中心画素とされ、小さい黒い丸がこれから生成されるＧ出力画像の画素の位置とされる。また、同図には参考のため、Ｇ出力画像の全ての画素の位置が小さい白い丸によって表されている。
【０３６３】
図２５Ａに示されるように、中心画素であるＲ成分の画素の周囲の４つの位置に、Ｇ出力画像の画素が配置されている。すなわち、図２５Ａに示される９個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。
【０３６４】
図２５Ｂには、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｇ成分の画素を中心画素とした場合のＧクラスタップまたはＧ予測タップと、Ｇ出力画像の画素の位置の関係が示されている。同図においては、ハッチングされた円内にＧが記された画素が中心画素とされ、小さい黒い丸がこれから生成されるＧ出力画像の画素の位置とされる。また、同図には参考のため、Ｇ出力画像の全ての画素の位置が小さい白い丸によって表されている。
【０３６５】
図２５Ｂに示されるように、中心画素であるＧ成分の画素の周囲の４つの位置に、Ｇ出力画像の画素が配置されている。すなわち、図２５Ｂに示される９個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。
【０３６６】
同様に、図２５Ｃには、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、別のＧ成分の画素を中心画素とした場合のＧクラスタップまたはＧ予測タップと、Ｇ出力画像の画素の位置の関係が示されている。また、図２５Ｄには、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｂ成分の画素を中心画素とした場合のＧクラスタップまたはＧ予測タップと、Ｇ出力画像の画素の位置の関係が示されている。
【０３６７】
なお、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。
【０３６８】
図２６は、図１６を参照して上述した画像処理装置１８０において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のＲクラスタップまたはＲ予測タップと、Ｒ出力画像の画素の位置の関係を説明する図である。図２６の例では、十字型の５個の画素により、クラスタップまたは予測タップが構成されている。
【０３６９】
また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。
【０３７０】
図２６Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０３７１】
同図においては、ハッチングされた円内にＲが記された画素が中心画素とされ、小さい黒い丸がこれから生成されるＲ出力画像の画素の位置とされる。また、同図には参考のため、Ｒ出力画像の全ての画素の位置が小さい白い丸によって表されている。
【０３７２】
図２６Ａに示されるように、中心画素であるＲ成分の画素の周囲の４つの位置に、Ｒ出力画像の画素が配置されている。すなわち、図２６Ａに示される５個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。
【０３７３】
図２６Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０３７４】
同図においては、ハッチングされた円内にＧが記された画素が中心画素とされ、小さい黒い丸がこれから生成されるＲ出力画像の画素の位置とされる。また、同図には参考のため、Ｒ出力画像の全ての画素の位置が小さい白い丸によって表されている。
【０３７５】
図２６Ｂに示されるように、中心画素であるＧ成分の画素の周囲の４つの位置に、Ｒ出力画像の画素が配置されている。すなわち、図２６Ｂに示される５個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。
【０３７６】
同様に、図２６Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図であり、図２６Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０３７７】
図２６Ａ乃至図２６Ｄに示されるように、ＲクラスタップまたはＲ予測タップを構成する５個の画素は、全てＲ成分の画素とされており、Ｇ成分の画素およびＢ成分の画素は含まれていない。また、図２６Ｂ乃至図２６Ｄにおいては、ＲクラスタップまたはＲ予測タップの中心となる画素が、図中ハッチングされた円で示される本来の中心画素に隣接する位置の画素とされている。
【０３７８】
なお、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。
【０３７９】
図２７は、図１６を参照して上述した画像処理装置１８０において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のＢクラスタップまたはＢ予測タップと、Ｂ出力画像の画素の位置の関係を説明する図である。図２７の例では、十字型の５個の画素により、クラスタップまたは予測タップが構成されている。
【０３８０】
また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。
【０３８１】
図２７Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０３８２】
同図においては、ハッチングされた円内にＲが記された画素が中心画素とされ、小さい黒い丸がこれから生成されるＢ出力画像の画素の位置とされる。また、同図には参考のため、Ｂ出力画像の全ての画素の位置が小さい白い丸によって表されている。
【０３８３】
図２７Ａに示されるように、中心画素であるＲ成分の画素の周囲の４つの位置に、Ｂ出力画像の画素が配置されている。すなわち、図２７Ａに示される５個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。
【０３８４】
図２７Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０３８５】
同図においては、ハッチングされた円内にＧが記された画素が中心画素とされ、小さい黒い丸がこれから生成されるＢ出力画像の画素の位置とされる。また、同図には参考のため、Ｂ出力画像の全ての画素の位置が小さい白い丸によって表されている。
【０３８６】
図２７Ｂに示されるように、中心画素であるＧ成分の画素の周囲の４つの位置に、Ｂ出力画像の画素が配置されている。すなわち、図２７Ｂに示される５個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。
【０３８７】
同様に、図２７Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図であり、図２７Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
【０３８８】
図２７Ａ乃至図２７Ｄに示されるように、ＢクラスタップまたはＢ予測タップを構成する５個の画素は、全てＢ成分の画素とされており、Ｇ成分の画素およびＲ成分の画素は含まれていない。また、図２７Ａ乃至図２７Ｃにおいては、ＢクラスタップまたはＢ予測タップの中心となる画素が、図中ハッチングされた円で示される本来の中心画素に隣接する位置の画素とされている。
【０３８９】
なお、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。
【０３９０】
図２８は、図１６を参照して上述した画像処理装置１８０において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のＲクラスタップまたはＲ予測タップの例を示す図である。上述したように、画像処理装置１５０は、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようになされている。ただし、ＲクラスタップおよびＲ予測タップ、並びにＢクラスタップおよびＢ予測タップは、入力画像から直接取得される。また、生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成する際に、画素値を色差に置き換えてクラス分類、積和演算が行われるようになされている。
【０３９１】
なお、図１６を参照して上述した画像処理装置１５０において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のＧクラスタップまたはＧ予測タップと、Ｇ出力画像の画素の位置の関係は、図２２と同様になる。
【０３９２】
図２８では、中にＲ，Ｇ，Ｂの文字が記された円により、入力画像の画素が示されており、Ｒ，Ｇ，Ｂの文字が記された円の周囲の４つの白い丸がＧ出力画像、Ｒ出力画像、またはＢ出力画像の画素を表している。
【０３９３】
図２８においては、ハッチングされた円内にＧが記された画素が中心画素とされ、小さい黒い丸がこれから生成されるＲ出力画像の画素の位置とされる。また、同図には参考のため、Ｒ出力画像の全ての画素の位置が小さい白い丸によって表されている。ここでは、右または左に傾いた斜めの長方形状の６個の画素により、ＲクラスタップまたはＲ予測タップが構成されている。
【０３９４】
図２８Ａには、Ｇ予測タップ（またはＧクラスタップ）が図２２Ａに示されるものである場合の、Ｒ予測タップまたはＲクラスタップが示されている。
【０３９５】
図２８Ｂには、Ｇ予測タップ（またはＧクラスタップ）が図２２Ｂに示されるものである場合の、Ｒ予測タップまたはＲクラスタップが示されている。
【０３９６】
図２８Ａおよび図２８Ｂに示されるように、中心画素であるＧ成分の画素の周囲の４つの位置に、Ｒ出力画像の画素が配置されている。すなわち、図２８Ａおよび図２８Ｂに示される６個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。
【０３９７】
図２９は、図１６を参照して上述した画像処理装置１８０において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のＢクラスタップまたはＢ予測タップの例を示す図である。
図２９では、中にＲ，Ｇ，Ｂの文字が記された円により、入力画像の画素が示されており、Ｒ，Ｇ，Ｂの文字が記された円の周囲の４つの白い丸がＧ出力画像、Ｒ出力画像、またはＢ出力画像の画素を表している。
【０３９８】
図２９においては、ハッチングされた円内にＧが記された画素が中心画素とされ、小さい黒い丸がこれから生成されるＲ出力画像の画素の位置とされる。また、同図には参考のため、Ｂ出力画像の全ての画素の位置が小さい白い丸によって表されている。ここでは、左または右に傾いた斜めの長方形状の６個の画素により、ＢクラスタップまたはＢ予測タップが構成されている。
【０３９９】
図２９Ａには、Ｇ予測タップ（またはＧクラスタップ）が図２２Ａに示されるものである場合の、Ｂ予測タップまたはＢクラスタップが示されている。
【０４００】
図２９Ｂには、Ｇ予測タップ（またはＧクラスタップ）が図２２Ｂに示されるものである場合の、Ｂ予測タップまたはＢクラスタップが示されている。
【０４０１】
図２９Ａまたは図２９Ｂに示されるように、中心画素であるＧ成分の画素の周囲の４つの位置に、Ｒ出力画像の画素が配置されている。すなわち、図２９Ａまたは図２９Ｂに示される６個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。
【０４０２】
このように、本技術によれば、単板式カメラのイメージセンサから出力される画像信号に対応する画像の画素値に基づいて、解像度の異なるＧ出力画像、Ｒ出力画像、およびＢ出力画像の画素値をそれぞれ生成（予測）することもできる。また、この際、例えば、ベイヤー配列のイメージセンサの画素の配置を、斜めに変更することにより、画素密度を高めるようにした、斜めベイヤー配列のイメージセンサから出力される画像信号に対応する画像の解像度を変換することもできる。
【０４０３】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図３０に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０４０４】
図３０において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０４０５】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０４０６】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０４０７】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０４０８】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０４０９】
なお、この記録媒体は、図３０に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０４１０】
本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４１１】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０４１２】
なお、本技術は以下のような構成も取ることができる。
【０４１３】
（１）
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、
前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する色成分変換部と、
前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算する積和演算部と
を備える画像処理装置。
（２）
前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有する画素部であり、
前記代表値演算部は、
前記ＲまたはＢの画素の周囲のＧの画素に基づいて、前記ＲまたはＢの画素の補間値ｇを算出し、
前記Ｇの画素の周囲のＲの画素またはＢの画素に基づいて、それぞれ前記Ｇの画素の補間値ｒおよび補間値ｂを算出し、
前記Ｇの画素から直接得られる入力値Ｇと前記補間値ｇとの平均値により、Ｇの代表値を演算し、
前記補間値ｒと前記入力値Ｇとの差分、および、前記Ｒの画素から直接得られる入力値Ｒと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＲの代表値を演算し、
前記補間値ｂと前記入力値Ｇとの差分、および、前記Ｂの画素から直接得られる入力値Ｂと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＢの代表値を演算する
（１）に記載の画像処理装置。
（３）
前記色成分変換部は、
前記第２の画像がＧの画素のみで構成される画像である場合、
前記入力値Ｒを、前記Ｒの代表値と前記Ｇの代表値の差分によりオフセットし、
前記入力値Ｂを、前記Ｂの代表値と前記Ｇの代表値の差分によりオフセットし、
前記第２の画像がＲの画素のみで構成される画像である場合、
前記入力値Ｇを、前記Ｇの代表値と前記Ｒの代表値の差分によりオフセットし、
前記入力値Ｂを、前記Ｂの代表値と前記Ｒの代表値の差分によりオフセットし、
前記第２の画像がＢの画素のみで構成される画像である場合、
前記入力値Ｇを、前記Ｇの代表値と前記Ｂの代表値の差分によりオフセットし、
前記入力値Ｒを、前記Ｒの代表値と前記Ｂの代表値の差分によりオフセットする
（２）に記載の画像処理装置。
（４）
前記単板式画素部が、ベイヤー配列の画素を斜めに配置した斜めベイヤー配列の画素部とされる
（３）に記載の画像処理装置。
（５）
前記複数の色成分の画像のうち、第１の色成分のみで構成される第２の画像を生成し、
前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、
前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される
（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記予測タップの仮想色差を演算する仮想色差演算部をさらに備え、
前記複数の色成分の画像のうち、第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、
前記積和演算部は、前記予測タップの仮想色差を変数とし、前記読み出された係数を用いた積和演算により、前記第２の画像の仮想色差を演算し、
前記第１の画像における指定領域から前記第２の色成分に対応する画素のみで構成される前記予測タップが取得される
（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記仮想色差演算部は、
前記予測タップを構成する画素の値に、色空間の規格により規定されるマトリックス係数を乗じて前記仮想色差を演算する
（６）に記載の画像処理装置。
（８）
前記指定領域内の所定の画素に係る画素値をクラスタップとし、前記クラスタップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する他の色成分変換部をさらに備え、
前記クラス分類部は、前記他の色成分変換部により変換された前記変換値に基づいて、前記クラスタップの特徴量を決定する
（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記係数読み出し部により読み出される係数は、予め学習により求められ、
前記学習では、
前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、
前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、
前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
代表値演算部が、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算し、
クラス分類部が、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類し、
係数読み出し部が、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
色成分変換部が、前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換し、
積和演算部が、前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算するステップ
を含む画像処理方法。
（１１）
コンピュータを、
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、
前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する色成分変換部と、
前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算する積和演算部とを備える画像処理装置として機能させる
プログラム。
【符号の説明】
【０４１４】
１００  画像処理装置，  １０１  代表ＲＧＢ演算部，  １０２−１  Ｇクラスタップ選択部，  １０２−２，  Ｒクラスタップ選択部，  １０２−３  Ｂクラスタップ選択部，  １０３−１  Ｇ予測タップ選択部，  １０３−２，  Ｒ予測タップ選択部，  １０３−３  Ｂ予測タップ選択部，  １０５−１１  Ｇ変換部，  １０５−１２  Ｇ変換部，  １０５−２１  Ｒ変換部，  １０５−２２  Ｒ変換部，  １０５−３１  Ｂ変換部，  １０５−３２  Ｂ変換部，  １０６−１  Ｇクラス分類部，  １０６−２  Ｒクラス分類部，  １０６−３  Ｂクラス分類部，  １０７−１  Ｇ係数メモリ，  １０７−２  Ｒ係数メモリ，  １０７−３  Ｂ係数メモリ，  １０８−１  Ｇ積和演算部，  １０８−２  Ｒ積和演算部，  １０８−３  Ｂ積和演算部，  １５０  画像処理装置，  １５１  代表ＲＧＢ演算部，  １５２−１  Ｇクラスタップ選択部，  １５２−２，  Ｒクラスタップ選択部，  １５２−３  Ｂクラスタップ選択部，  １５３−１  Ｇ予測タップ選択部，  １５３−２，  Ｒ予測タップ選択部，  １５３−３  Ｂ予測タップ選択部，  １５５−１１  Ｇ変換部，  １５５−１２  Ｇ変換部，  １５５−２１  Ｒ変換部，  １５５−２２  Ｒ変換部，  １５５−３１  Ｂ変換部，  １５５−３２  Ｂ変換部，  １５６−１  Ｇクラス分類部，  １５６−２  Ｒクラス分類部，  １５６−３  Ｂクラス分類部，  １５７−１  Ｇ係数メモリ，  １５７−２  Ｒ係数メモリ，  １５７−３  Ｂ係数メモリ，  １５８−１  Ｇ積和演算部，  １５８−２  Ｒ積和演算部，  １５８−３  Ｂ積和演算部，  １８５−２１  （Ｒ−Ｇ）変換部，  １８５−２２  （Ｒ−Ｇ）変換部，  １８５−３１  （Ｂ−Ｇ）変換部，  １８５−３２  （Ｂ−Ｇ）変換部，  １８８−２  （Ｒ−Ｇ）積和演算部，  １８８−３  （Ｂ−Ｇ）積和演算部
【図１】
2014200000.tif 000026
【図２】
2014200000.tif 000027
【図３】
2014200000.tif 000028
【図４】
2014200000.tif 000029
【図５】
2014200000.tif 000030
【図６】
2014200000.tif 000031
【図７】
2014200000.tif 000032
【図８】
2014200000.tif 000033
【図９】
2014200000.tif 000034
【図１０】
2014200000.tif 000035
【図１１】
2014200000.tif 000036
【図１２】
2014200000.tif 000037
【図１３】
2014200000.tif 000038
【図１４】
2014200000.tif 000039
【図１５】
2014200000.tif 000040
【図１６】
2014200000.tif 000041
【図１７】
2014200000.tif 000042
【図１８】
2014200000.tif 000043
【図１９】
2014200000.tif 000044
【図２０】
2014200000.tif 000045
【図２１】
2014200000.tif 000046
【図２２】
2014200000.tif 000047
【図２３】
2014200000.tif 000048
【図２４】
2014200000.tif 000049
【図２５】
2014200000.tif 000050
【図２６】
2014200000.tif 000051
【図２７】
2014200000.tif 000052
【図２８】
2014200000.tif 000053
【図２９】
2014200000.tif 000054
【図３０】
2014200000.tif 000055