(57)【要約】【課題】複数の色成分により構成される色フィルタアレイを有するイメージセンサの出力から、画質を劣化させることなく、各色成分の画像信号を得ることができるようにする。【解決手段】単板式画素部から出力される第１の画像の指定領域内の画素における第１の色成分のおよび第２の色成分の、第３の色成分に対する変化量を表す色変化量、並びに、第１の色成分の画素値および第２の色成分の画素値の正規化ダイナミックレンジをそれぞれ演算し、指定領域のクラス分類の結果に基づいて、予め記憶されている係数を読み出し、予測タップを変数と係数を用いた積和演算により、各色成分の画素のみで構成される第２の画像の画素値をそれぞれ演算し、色変化量および正規化ダイナミックレンジに基づいて、第１の色成分の画素のみで構成される第２の画像の画素値の演算方式と、第２の色成分の画素のみで構成される第２の画像の画素値の演算方式が変更される。【選択図】図２
2014200001.tif 000002
【特許請求の範囲】
【請求項１】
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域内の画素における前記複数の色成分の中の第１の色成分のおよび第２の色成分の、第３の色成分に対する変化量を表す色変化量、並びに、第１の色成分の画素値および第２の色成分の画素値のダイナミックレンジを正規化して得られる正規化ダイナミックレンジをそれぞれ演算する色変化量正規化ダイナミックレンジ演算部と、
前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップを変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の画素値をそれぞれ演算する積和演算部とを備え、
前記色変化量および前記正規化ダイナミックレンジに基づいて、前記第１の色成分の画素のみで構成される第２の画像の画素値の演算方式および前記第２の色成分の画素のみで構成される第２の画像の画素値の演算方式が変更される
画像処理装置。
【請求項２】
前記色変化量および前記正規化ダイナミックレンジに基づいて、前記予測タップの構造が変化する
請求項１に記載の画像処理装置。
【請求項３】
前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、
前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する色成分変換部をさらに備え、
前記積和演算部は、
前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の画素値をそれぞれ演算する
請求項１に記載の画像処理装置。
【請求項４】
前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有するベイヤー配列の画素部であり、
前記代表値演算部は、
前記ＲまたはＢの画素の周囲のＧの画素に基づいて、前記ＲまたはＢの画素の補間値ｇを算出し、
前記Ｇの画素の周囲のＲの画素またはＢの画素に基づいて、それぞれ前記Ｇの画素の補間値ｒおよび補間値ｂを算出し、
前記Ｇの画素から直接得られる入力値Ｇと前記補間値ｇとの平均値により、Ｇの代表値を演算し、
前記補間値ｒと前記入力値Ｇとの差分、および、前記Ｒの画素から直接得られる入力値Ｒと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＲの代表値を演算し、
前記補間値ｂと前記入力値Ｇとの差分、および、前記Ｂの画素から直接得られる入力値Ｂと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＢの代表値を演算する
請求項３に記載の画像処理装置。
【請求項５】
前記色成分変換部は、
前記第２の画像がＧの画素のみで構成される画像である場合、
前記入力値Ｒを、前記Ｒの代表値と前記Ｇの代表値の差分によりオフセットし、
前記入力値Ｂを、前記Ｂの代表値と前記Ｇの代表値の差分によりオフセットする
請求項４に記載の画像処理装置。
【請求項６】
前記色変化量正規化ダイナミックレンジ演算部は、
前記入力値Ｒと前記Ｒの画素の補間値ｇの差分値のダイナミックレンジに基づいて、Ｒ成分の色変化量Ｒｖを算出し、
前記入力値Ｂと前記Ｂの画素の補間値ｇの差分値のダイナミックレンジに基づいて、Ｂ成分の色変化量Ｂｖを算出し、
前記入力値Ｒのダイナミックレンジを正規化してＲ成分の正規化ダイナミックレンジＮＤＲ＿Ｒを算出し、
前記入力値Ｂのダイナミックレンジを正規化してＲ成分の正規化ダイナミックレンジＮＤＲ＿Ｂを算出し、
前記入力値Ｇのダイナミックレンジを正規化してＧ成分の正規化ダイナミックレンジＮＤＲ＿Ｇを算出する
請求項４に記載の画像処理装置。
【請求項７】
前記複数の色成分の画像のうち、Ｇ成分のみで構成される第２の画像を生成し、
前記複数の色成分の画像のうち、前記Ｒ成分のみで構成される第２の画像および前記Ｂ成分の画素のみで構成される第２の画像を生成する場合、
前記Ｇ成分のみで構成される第２の画像から、前記予測タップが取得される
請求項６に記載の画像処理装置。
【請求項８】
前記Ｒ成分のみで構成される第２の画像が生成される場合、
前記色変化量Ｒｖ、前記正規化ダイナミックレンジＮＤＲ＿Ｒ、前記正規化ダイナミックレンジＮＤＲ＿Ｇ、および、前記色変化量Ｒｖと色変化量Ｂｖの差分値絶対値をそれぞれ閾値と比較することで、
前記第１の画像の入力値Ｒ、および、前記Ｇの色成分の画素のみで構成される第２の画像の画素値を含む予測タップを取得する第１のモード、
前記Ｇの色成分の画素のみで構成される第２の画像の画素値のみから成る予測タップを取得する第２のモード、
前記第１の画像の入力値Ｒのみから成る予測タップを取得する第３のモードのいずれかが選択される
請求項７に記載の画像処理装置。
【請求項９】
前記予測タップの仮想色差を演算する仮想色差演算部をさらに備え、
前記複数の色成分の画像のうち、第１の色成分または第２の色成分のみで構成される第２の画像を生成する場合、
前記積和演算部は、前記予測タップの仮想色差を変数とし、前記読み出された係数を用いた積和演算により、前記第２の画像の仮想色差を演算し、
前記第１の画像における指定領域から前記第１の色成分または前記第２の色成分に対応する画素のみで構成される前記予測タップが取得される
請求項１に記載の画像処理装置。
【請求項１０】
前記色変化量および前記正規化ダイナミックレンジに基づいて、前記仮想色差演算部による演算の実行または停止が制御される
請求項９に記載の画像処理装置。
【請求項１１】
前記仮想色差演算部は、
前記予測タップを構成する画素の値に、色空間の規格により規定されるマトリックス係数を乗じて前記仮想色差を演算する
請求項９に記載の画像処理装置。
【請求項１２】
前記指定領域内の所定の画素に係る画素値をクラスタップとし、前記クラスタップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する他の色成分変換部をさらに備え、
前記クラス分類部は、前記他の色成分変換部により変換された前記変換値に基づいて、前記クラスタップの特徴量を決定する
請求項３に記載の画像処理装置。
【請求項１３】
前記係数読み出し部により読み出される係数は、予め学習により求められ、
前記学習では、
前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、
前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、
前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される
請求項１に記載の画像処理装置。
【請求項１４】
色変化量正規化ダイナミックレンジ演算部が、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域内の画素における前記複数の色成分の中の第１の色成分のおよび第２の色成分の、第３の色成分に対する変化量を表す色変化量、並びに、第１の色成分の画素値および第２の色成分の画素値のダイナミックレンジを正規化して得られる正規化ダイナミックレンジをそれぞれ演算し、
クラス分類部が、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類し、
係数読み出し部が、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
積和演算部が、前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップを変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の画素値をそれぞれ演算するステップを含み、
前記色変化量および前記正規化ダイナミックレンジに基づいて、前記第１の色成分の画素のみで構成される第２の画像の画素値の演算方式および前記第２の色成分の画素のみで構成される第２の画像の画素値の演算方式が変更される
画像処理方法。
【請求項１５】
コンピュータを、
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域内の画素における前記複数の色成分の中の第１の色成分のおよび第２の色成分の、第３の色成分に対する変化量を表す色変化量、並びに、第１の色成分の画素値および第２の色成分の画素値のダイナミックレンジを正規化して得られる正規化ダイナミックレンジをそれぞれ演算する色変化量正規化ダイナミックレンジ演算部と、
前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップを変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の画素値をそれぞれ演算する積和演算部とを備え、
前記色変化量および前記正規化ダイナミックレンジに基づいて、前記第１の色成分の画素のみで構成される第２の画像の画素値の演算方式および前記第２の色成分の画素のみで構成される第２の画像の画素値の演算方式が変更される画像処理装置として機能させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、並びにプログラムに関し、特に、複数の色成分により構成される色フィルタアレイを有するイメージセンサの出力から、画質を劣化させることなく、各色成分の画像信号を得ることができるようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
イメージセンサを用いた撮像装置には、主に、１つのイメージセンサを用いた単板方式のもの（以後、単板式カメラという）と、３つのイメージセンサを用いた３板方式のもの（以後、３板式カメラという）とがある。
【０００３】
３板式カメラでは、例えばＲ信号用、Ｇ信号用およびＢ信号用の３つのイメージセンサを用いて、その３つのイメージセンサにより３原色信号を得る。そして、この３原色信号から生成されるカラー画像信号が記録媒体に記録される。
【０００４】
単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのイメージセンサを用いて、色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。色コーディングフィルタを構成する色フィルタアレイとしては、例えば、Ｒ（Red），Ｇ（Green），Ｂ（Blue）の原色フィルタアレイや、Ｙｅ（Yellow），Ｃｙ（Cyanogen），Ｍｇ（Magenta）の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、イメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、３板式カメラにより得られる画像に近い画像を得るようしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。
【０００５】
色コーディングフィルタを構成する色フィルタアレイとして、ベイヤー配列の色フィルタアレイが用いられることが多い。ベイヤー配列では、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。
【０００６】
この場合、イメージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色のフィルタが配置された各画素から、そのフィルタの色に対応する画像信号のみが出力される。すなわち、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は出力されるが、Ｇ成分およびＢ成分の画像信号は出力されない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが出力され、Ｒ成分およびＢ成分の画像信号は出力されず、Ｂの画素からは、Ｂ成分の画像信号のみが出力され、Ｒ成分およびＧ成分の画像信号は出力されない。
【０００７】
しかしながら、画像処理の後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分およびＢ成分の画像信号が必要となる。そこで、従来の技術では、ｎ×ｍ（ｎおよびｍは正の整数）個の画素で構成されるイメージセンサの出力から、ｎ×ｍ個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号およびｎ×ｍ個のＢ画素の画像信号が、それぞれ補間演算により求められ、後段に出力される。
【０００８】
また、ｎ×ｍ個のＲ画素の画像信号から２ｎ×２ｍ個のＲ画素の画像信号が補間演算により求められ、ｎ×ｍ個のＧ画素の画像信号から２ｎ×２ｍ個のＧ画素の画像信号が補間演算により求められ、さらに、ｎ×ｍ個のＢ画素の画像信号から、２ｎ×２ｍ個のＢ画素の画像信号が演算により求められる技術も提案されている（例えば、特許文献１参照）。
【０００９】
特許文献１の技術によれば、入力画像における注目画素に対応する画素およびその周辺の画素値を変数とし、予め学習により得られた係数を用いた積和演算により出力画像の注目画素の画素値を予測する。このようにすることで、単板式カメラのイメージセンサの出力から、３板式カメラにより得られる画像信号に匹敵する３原色信号を生成することも可能となる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０００−３０８０７９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ところで、特許文献１の場合、イメージセンサにおけるＲ、Ｇ、Ｂのそれぞれに対応する画素値が、そのまま、予測演算の変数であるタップとして用いられる。
【００１２】
しかしながら、Ｒ、Ｇ、Ｂの各画素値は、もともと相関が小さいため、例えば、注目画素周辺の複数の画素値をタップとして入力しても、予測演算において、十分な効果を発揮することができなかった。例えば、Ｒ、Ｇ、Ｂの各画素値の変化にほとんど相関がみられない領域などにおいて予測演算により画素値が生成されると、偽色、色にじみ、リンギングなどの画質劣化が顕著に発生することがある。
【００１３】
また、単板式カメラのイメージセンサでは、偽色やアーティファクトなどの影響を回避するため、一般的に、イメージセンサに入射する光が光学ローパスフィルタを通過するようになされている。
【００１４】
しかしながら、このように光学ローパスフィルタを通過させることにより、画像がぼけてしまうことがあった。
【００１５】
すなわち、従来の技術では、単板式カメラにおいて、画像のぼけ、偽色、色にじみ、リンギングなどの画質劣化を引き起こすことなく、３原色信号を得ることが難しかった。
【００１６】
本技術はこのような状況に鑑みて開示するものであり、複数の色成分により構成される色フィルタアレイを有するイメージセンサの出力から、画質を劣化させることなく、各色成分の画像信号を得ることができるようにするものである。
【課題を解決するための手段】
【００１７】
本技術の一側面は、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域内の画素における前記複数の色成分の中の第１の色成分のおよび第２の色成分の、第３の色成分に対する変化量を表す色変化量、並びに、第１の色成分の画素値および第２の色成分の画素値のダイナミックレンジを正規化して得られる正規化ダイナミックレンジをそれぞれ演算する色変化量正規化ダイナミックレンジ演算部と、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、前記指定領域内の所定の画素値を予測タップとし、前記予測タップを変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の画素値をそれぞれ演算する積和演算部とを備え、前記色変化量および前記正規化ダイナミックレンジに基づいて、前記第１の色成分の画素のみで構成される第２の画像の画素値の演算方式と、前記第２の色成分の画素のみで構成される第２の画像の画素値の演算方式が変更される画像処理装置である。
【００１８】
前記色変化量および前記正規化ダイナミックレンジに基づいて、前記予測タップの構造が変化するようにすることができる。
【００１９】
前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する色成分変換部をさらに備え、前記積和演算部は、前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の画素値をそれぞれ演算するようにすることができる。
【００２０】
前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有するベイヤー配列の画素部であり、前記代表値演算部は、前記ＲまたはＢの画素の周囲のＧの画素に基づいて、前記ＲまたはＢの画素の補間値ｇを算出し、前記Ｇの画素の周囲のＲの画素またはＢの画素に基づいて、それぞれ前記Ｇの画素の補間値ｒおよび補間値ｂを算出し、前記Ｇの画素から直接得られる入力値Ｇと前記補間値ｇとの平均値により、Ｇの代表値を演算し、前記補間値ｒと前記入力値Ｇとの差分、および、前記Ｒの画素から直接得られる入力値Ｒと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＲの代表値を演算し、前記補間値ｂと前記入力値Ｇとの差分、および、前記Ｂの画素から直接得られる入力値Ｂと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＢの代表値を演算するようにすることができる。
【００２１】
前記色成分変換部は、前記第２の画像がＧの画素のみで構成される画像である場合、前記入力値Ｒを、前記Ｒの代表値と前記Ｇの代表値の差分によりオフセットし、前記入力値Ｂを、前記Ｂの代表値と前記Ｇの代表値の差分によりオフセットするようにすることができる。
【００２２】
前記色変化量正規化ダイナミックレンジ演算部は、前記入力値Ｒと前記Ｒの画素の補間値ｇの差分値のダイナミックレンジに基づいて、Ｒ成分の色変化量Ｒｖを算出し、前記入力値Ｂと前記Ｂの画素の補間値ｇの差分値のダイナミックレンジに基づいて、Ｂ成分の色変化量Ｂｖを算出し、前記入力値Ｒのダイナミックレンジを正規化してＲ成分の正規化ダイナミックレンジＮＤＲ＿Ｒを算出し、前記入力値Ｂのダイナミックレンジを正規化してＲ成分の正規化ダイナミックレンジＮＤＲ＿Ｂを算出し、前記入力値Ｇのダイナミックレンジを正規化してＧ成分の正規化ダイナミックレンジＮＤＲ＿Ｇを算出するようにすることができる。
【００２３】
前記複数の色成分の画像のうち、第Ｇの色成分のみで構成される第２の画像を生成し、前記複数の色成分の画像のうち、前記第Ｒの色成分のみで構成される第２の画像および前記第Ｇの色成分の画素のみで構成される第２の画像を生成する場合、前記第３の色成分のみで構成される第２の画像から、前記予測タップが取得されるようにすることができる。
【００２４】
前記Ｒ成分のみで構成される第２の画像が生成される場合、前記色変化量Ｒｖ、前記正規化ダイナミックレンジＮＤＲ＿Ｒ、前記正規化ダイナミックレンジＮＤＲ＿Ｇ、および、前記色変化量Ｒｖと色変化量Ｂｖの差分値絶対値をそれぞれ閾値と比較することで、前記第１の画像の入力値Ｒ、および、前記Ｇの色成分の画素のみで構成される第２の画像の画素値を含む予測タップを取得する第１のモード、前記Ｇの色成分の画素のみで構成される第２の画像の画素値のみから成る予測タップを取得する第２のモード、前記第１の画像の入力値Ｒのみから成る予測タップを取得する第３のモードのいずれかが選択されるようにすることができる。
【００２５】
前記予測タップの仮想色差を演算する仮想色差演算部をさらに備え、前記複数の色成分の画像のうち、第１の色成分または第２の色成分のみで構成される第２の画像を生成する場合、前記積和演算部は、前記前記予測タップの仮想色差を変数とし、前記読み出された係数を用いた積和演算により、前記第２の画像の仮想色差を演算し、前記第１の画像における指定領域から前記第１の色成分または前記第２の色成分に対応する画素のみで構成される前記予測タップが取得されるようにすることができる。
【００２６】
前記色変化量および前記正規化ダイナミックレンジに基づいて、前記仮想色差演算部による演算の実行または停止が制御されるようにすることができる。
【００２７】
前記仮想色差演算部は、前記予測タップを構成する画素の値に、色空間の規格により規定されるマトリックス係数を乗じて前記仮想色差を演算するようにすることができる。
【００２８】
前記指定領域内の所定の画素値をクラスタップとし、前記クラスタップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準としてオフセットすることにより得られる変換値に変換する他の色成分変換部をさらに備え、前記クラス分類部は、前記他の色成分変換部により変換された前記変換値に基づいて、前記クラスタップの特徴量を決定するようにすることができる。
【００２９】
前記係数読み出し部により読み出される係数は、予め学習により求められ、前記学習では、前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出されるようにすることができる。
【００３０】
本技術の一側面は、色変化量正規化ダイナミックレンジ演算部が、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域内の画素における前記複数の色成分の中の第１の色成分のおよび第２の色成分の、第３の色成分に対する変化量を表す色変化量、並びに、第１の色成分の画素値および第２の色成分の画素値のダイナミックレンジを正規化して得られる正規化ダイナミックレンジをそれぞれ演算し、クラス分類部が、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類し、係数読み出し部が、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、積和演算部が、前記指定領域内の所定の画素値を予測タップとし、前記予測タップを変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の画素値をそれぞれ演算するステップを含み、前記色変化量および前記正規化ダイナミックレンジに基づいて、前記第１の色成分の画素のみで構成される第２の画像の画素値の演算方式と、前記第２の色成分の画素のみで構成される第２の画像の画素値の演算方式が変更される画像処理方法である。
【００３１】
本技術の一側面は、コンピュータを、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域内の画素における前記複数の色成分の中の第１の色成分のおよび第２の色成分の、第３の色成分に対する変化量を表す色変化量、並びに、第１の色成分の画素値および第２の色成分の画素値のダイナミックレンジを正規化して得られる正規化ダイナミックレンジをそれぞれ演算する色変化量正規化ダイナミックレンジ演算部と、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、前記指定領域内の所定の画素値を予測タップとし、前記予測タップを変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の画素値をそれぞれ演算する積和演算部とを備え、前記色変化量および前記正規化ダイナミックレンジに基づいて、前記第１の色成分の画素のみで構成される第２の画像の画素値の演算方式と、前記第２の色成分の画素のみで構成される第２の画像の画素値の演算方式が変更される画像処理装置として機能させるプログラムである。
【００３２】
本技術の一側面においては、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域内の画素における前記複数の色成分の中の第１の色成分のおよび第２の色成分の、第３の色成分に対する変化量を表す色変化量、並びに、第１の色成分の画素値および第２の色成分の画素値のダイナミックレンジを正規化して得られる正規化ダイナミックレンジがそれぞれ演算され、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域がクラス分類され、前記クラス分類の結果に基づいて、予め記憶されている係数が読み出され、前記指定領域内の所定の画素値を予測タップとし、前記予測タップを変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の画素値がそれぞれ演算され、前記色変化量および前記正規化ダイナミックレンジに基づいて、前記第１の色成分の画素のみで構成される第２の画像の画素値の演算方式と、前記第２の色成分の画素のみで構成される第２の画像の画素値の演算方式が変更される。
【発明の効果】
【００３３】
本技術によれば、複数の色成分により構成される色フィルタアレイを有するイメージセンサの出力から、画質を劣化させることなく、各色成分の画像信号を得ることができる。
【図面の簡単な説明】
【００３４】
【図１】単板式カメラのイメージセンサにおける画像信号の取得方式を説明する図である。
【図２】本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。
【図３】指定エリアの例を示す図である。
【図４】補間値ｇの算出方式の例を説明する図である。
【図５】補間値ｒの算出方式の例を説明する図である。
【図６】補間値ｂの算出方式の例を説明する図である。
【図７】図２の画像処理装置において取得されるＧクラスタップおよびＧ予測タップの例を示す図である。
【図８】図２の画像処理装置において取得されるＲクラスタップおよびＲ予測タップの例を示す図である。
【図９】図２の画像処理装置において取得されるＢクラスタップおよびＢ予測タップの例を示す図である。
【図１０】図２の画像処理装置に対応するＧ係数の学習に係る学習装置の構成例を示す図である。
【図１１】図２の画像処理装置に対応するＲ係数およびＢ係数の学習に係る学習装置の構成例を示す図である。
【図１２】図２の画像処理装置によるＧ出力画像生成処理の例を説明するフローチャートである。
【図１３】代表ＲＧＢ演算処理の例を説明するフローチャートである。
【図１４】図２の画像処理装置によるＲＢ出力画像生成処理の例を説明するフローチャートである。
【図１５】色変化量・正規化ダイナミックレンジ演算処理の例を説明するフローチャートである。
【図１６】図１０の学習装置によるＧ係数学習処理の例を説明するフローチャートである。
【図１７】図１１の学習装置によるＲＢ係数学習処理の例を説明するフローチャートである。
【図１８】本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。
【図１９】図１８の画像処理装置において取得されるクラスタップまたは予測タップの構造の例を示す図である。
【図２０】図１８の画像処理装置において取得されるクラスタップまたは予測タップの構造の例を示す図である。
【図２１】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３５】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００３６】
図１は、単板式カメラのイメージセンサにおける画像信号の取得方式を説明する図である。
【００３７】
この例では、被写体１１で反射した光が、光学ローパスフィルタ１２を通過してイメージセンサ１３により受光されるようになされている。
【００３８】
単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのイメージセンサを用いて、色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。
【００３９】
ここでは、イメージセンサ１３においてベイヤー配列の色フィルタアレイが用いられており、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。すなわち、イメージセンサ１３の中の矩形の領域内の４画素は、２つのＧの画素と、それぞれ１つのＲの画素およびＢの画素により構成されることになる。
【００４０】
単板式カメラでは、画像処理の後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分およびＢ成分の画像信号が必要となる。このため、イメージセンサ１３から出力される画素値に基づいて、各画素毎にＲ成分，Ｇ成分およびＢ成分の画素値を補間演算などにより求める必要がある。
【００４１】
また、イメージセンサ１３においては、偽色やアーティファクトなどの影響を回避するため、イメージセンサに入射する光が光学ローパスフィルタ１２を通過するようになされている。しかしながら、このように光学ローパスフィルタ１２を通過させることにより、画像がぼけてしまうことがあった。
【００４２】
そこで、本技術では、イメージセンサ１３から出力される画素値に基づいて、あたかも枠（図中の点線の矩形）１４に、Ｒ成分，Ｇ成分およびＢ成分のそれぞれに対応する３つのイメージセンサを配置した場合に得られる画素値を求めることができるようにする。
【００４３】
図２は、本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。この画像処理装置１００は、入力画像における注目画素に対応する画素およびその周辺の画素値を変数とし、予め学習により得られた係数を用いた積和演算により出力画像の注目画素の画素値を予測するようになされている。
【００４４】
画像処理装置１００に入力される入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。すなわち、入力画像は、例えば、図１のイメージセンサ１３から出力される信号に対応する画像とされる。従って、入力画像では、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は得られるが、Ｇ成分およびＢ成分の画像信号は得られない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが得られ、Ｒ成分およびＢ成分の画像信号は得られず、Ｂの画素からは、Ｂ成分の画像信号のみが得られ、Ｒ成分およびＧ成分の画像信号は得られない。
【００４５】
図２の画像処理装置１００は、代表ＲＧＢ演算部１０１、色変化・正規化ＤＲ演算部１１０、並びに、それぞれ、Ｒ、Ｇ、Ｂの各色に対応した、各クラスタップ選択部、各予測タップ選択部、各色変換部（Ｇ変換部、Ｒ変換部、Ｂ変換部）、各クラス分類部、各係数メモリ、および各積和演算部により構成されている。
【００４６】
代表ＲＧＢ演算部１０１は、後述するクラスタップまたは予測タップを取得するための画像の中の領域（指定エリアと称することにする）における、Ｒ、Ｇ、Ｂの各色成分の画素値の基準となる代表値として、それぞれＤｒ、Ｄｂ、およびＤｇを演算する。
【００４７】
例えば、図３の太線の枠で示されるように、指定エリアが設定されるものとする。図３では、図中の円のそれぞれが、入力画像の画素を表しており、中央のハッチングされた円で示される画素が、クラスタップまたは予測タップの中心画素とされる。なお、各円内に記されたＲ、Ｇ、Ｂの文字は、各画素の色成分を表している。
【００４８】
指定エリアは、中心画素を中心としてクラスタップまたは予測タップを含む領域として任意に設定され得るが、クラスタップまたは予測タップを大幅に超える領域とすると、画像の領域に応じた最適な処理を施すことが困難になる。このため、指定エリアは、クラスタップまたは予測タップと同じ領域とされることが望ましい。
【００４９】
なお、以後の説明においては、演算により算出される平均値、補間値、代表値などが適宜参照されるが、演算前の入力画像の画素値のそれぞれは、各画素の色成分に応じて、入力値Ｇ、入力値Ｒ、および入力値Ｂと称して区別することにする。すなわち、ベイヤー配列のイメージセンサのＲの色フィルタが配置された画素から直接得られる画素値を入力値Ｒとし、ベイヤー配列のイメージセンサのＧの色フィルタが配置された画素から直接得られる画素値を入力値Ｇとし、ベイヤー配列のイメージセンサのＢの色フィルタが配置された画素から直接得られる画素値を入力値Ｂとする。
【００５０】
この例では、図中の太線で囲まれた領域であって、中心画素を中心とした２５（＝５×５）画素により構成される領域が指定エリアとされている。
【００５１】
代表ＲＧＢ演算部１０１は、最初に、Ｇ成分の代表値Ｄｇを算出する。
【００５２】
このとき、代表ＲＧＢ演算部１０１は、図４に示されるように、指定エリア内のＲ成分の画素、または、Ｂ成分の画素を中心画素とし、中心画素の周囲（上下左右）の４つのＧの画素である画素Ｇ１乃至画素Ｇ４の入力値Ｇ１乃至入力値Ｇ４を平均することにより、中心画素の画素位置における補間されたＧ成分の値である補間値ｇを算出する。これにより、入力画像ではＧ成分を有していなかったＲ成分の画素とＢ成分の画素が、補間されたＧ成分（補間値ｇ）を有することになる。
【００５３】
そして、代表ＲＧＢ演算部１０１は、指定エリア内の全てのＧの画素（この例では１２個）の入力値Ｇと補間値ｇとの平均値を代表値Ｄｇとして算出する。
【００５４】
次に、代表ＲＧＢ演算部１０１は、Ｒ成分の代表値Ｄｒを算出する。この際、代表ＲＧＢ演算部１０１は、指定エリア内のＧの画素のそれぞれの画素位置における補間されたＲ成分の値である補間値ｒを算出する。例えば、図４の画素Ｇ１または画素Ｇ４に示される位置の補間値ｒを算出する場合、図５に示されるように、この場合、Ｇの画素の左右両隣に位置する画素Ｒ１と画素Ｒ２の平均値が補間値ｒとされる。
【００５５】
これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｒを得ることができ、指定エリア内のＲの画素の画素位置では、入力値Ｒおよび補間値ｇを得ることができる。
【００５６】
そして、各画素位置において、（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｒが算出される。
【００５７】
さらに、代表ＲＧＢ演算部１０１は、Ｂ成分の代表値Ｄｂを算出する。この際、代表ＲＧＢ演算部１０１は、指定エリア内のＧの画素のそれぞれの画素位置における補間されたＢ成分の値である補間値ｂを算出する。例えば、図４の画素Ｇ１または画素Ｇ４に示される位置の補間値ｂを算出する場合、図６に示されるように、Ｇの画素の上下両隣に位置する画素Ｂ１と画素Ｂ２の平均値が補間値ｂとされる。
【００５８】
これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｂを得ることができ、指定エリア内のＢの画素の画素位置では、入力値Ｂおよび補間値ｇを得ることができる。
【００５９】
そして、各画素位置において、（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｂが算出される。
【００６０】
図２に戻って、色変化・正規化ＤＲ演算部１１０は、ベイヤー配列のイメージセンサのＲ成分の画素値のＧ成分の画素値に対する変化量、およびＢ成分の画素値のＧ成分の画素値に対する変化量である色変化量を算出する。また、色変化・正規化ＤＲ演算部１１０は、ベイヤー配列のイメージセンサのＲ成分の画素値のダイナミックレンジを正規化した値、Ｇ成分の画素値のダイナミックレンジを正規化した値、およびＢ成分の画素値のダイナミックレンジを正規化した値である正規化ダイナミックレンジを算出する。
【００６１】
色変化・正規化ＤＲ演算部１１０は、Ｒ成分の画素に係る色変化量Ｒｖを算出する。このとき、指定エリア内のＲ成分の画素の入力値Ｒと補間値ｇの差分値のダイナミックレンジに、２５６／Ｄｇを乗じた値が色変化量Ｒｖとして算出される。すなわち、色変化量Ｒｖは、指定エリア内の画素におけるＲ成分のＧ成分に対する変化量を表す値として算出される。
【００６２】
また、色変化・正規化ＤＲ演算部１１０は、Ｂ成分の画素に係る色変化量Ｂｖを算出する。このとき、指定エリア内のＢ成分の画素の入力値Ｂと補間値ｇの差分値のダイナミックレンジに、２５６／Ｄｇを乗じた値が色変化量Ｂｖとして算出される。すなわち、色変化量Ｂｖは、指定エリア内の画素におけるＢ成分のＧ成分に対する変化量を表す値として算出される。
【００６３】
さらに、色変化・正規化ＤＲ演算部１１０は、Ｒ成分の画素に係る正規化ダイナミックレンジＮＤＲ＿Ｒを算出する。このとき、指定エリア内の入力値ＲのダイナミックレンジＤＲ＿Ｒを指定エリア内の入力値Ｒの平均値で割った値が正規化ダイナミックレンジＮＤＲ＿Ｒとして算出される。
【００６４】
また、色変化・正規化ＤＲ演算部１１０は、Ｇ成分の画素に係る正規化ダイナミックレンジＮＤＲ＿Ｇを算出する。このとき、指定エリア内の入力値ＧのダイナミックレンジＤＲ＿Ｇを指定エリアの代表値Ｄｇで割った値が正規化ダイナミックレンジＮＤＲ＿Ｇとして算出される。
【００６５】
さらに、色変化・正規化ＤＲ演算部１１０は、Ｂ成分の画素に係る正規化ダイナミックレンジＮＤＲ＿Ｂを算出する。このとき、指定エリア内の入力値ＢのダイナミックレンジＤＲ＿Ｂを指定エリア内の入力値Ｂの平均値で割った値が正規化ダイナミックレンジＮＤＲ＿Ｂとして算出される。
【００６６】
Ｇクラスタップ選択部１０２−１は、Ｇ成分の画像を生成するため必要となるクラスタップであるＧクラスタップを入力画像から選択して取得する。Ｇクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。なお、Ｇクラスタップの詳細については後述する。
【００６７】
Ｇクラスタップ選択部１０２−１により選択されたＧクラスタップは、Ｇ変換部１０５−１１に供給される。Ｇ変換部１０５−１１は、Ｇクラスタップを構成する各画素値にＧ変換処理を施すものとされる。
【００６８】
Ｇ変換処理は、例えば、次のようにして行われる。Ｇクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｇクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｇクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。
【００６９】
ここで、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´は、それぞれ式（１）乃至式（３）により演算される。
【００７０】
【数１】
2014200001.tif 000003
・・・（１）
【数２】
2014200001.tif 000004
・・・（２）
【数３】
2014200001.tif 000005
・・・（３）
【００７１】
このようなＧ変換処理が施されることにより、Ｇクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のＲの画素およびＢの画素のそれぞれの画素値が、Ｇの画素の画素値を基準としてオフセットされることになり、Ｇクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。
【００７２】
図２に戻って、Ｇ変換部１０５−１１から出力されるＧクラスタップは、Ｇクラス分類部１０６−１に供給される。なお、Ｇ変換部１０５−１１から出力されるＧクラスタップは、上述した式（１）乃至式（３）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。
【００７３】
Ｇクラス分類部１０６−１は、供給されたＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｇ係数メモリ１０７−１に出力される。
【００７４】
Ｇ係数メモリ１０７−１は、Ｇクラス分類部１０６−１から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＧ積和演算部１０８−１に供給する。なお、Ｇ係数メモリ１０７−１には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
【００７５】
Ｇ予測タップ選択部１０３−１は、Ｇ成分の画像を生成するため必要となる予測タップであるＧ予測タップを入力画像から選択して取得する。Ｇ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。なお、Ｇ予測タップの詳細については後述する。
【００７６】
Ｇ予測タップ選択部１０３−１により選択されたＧ予測タップは、Ｇ変換部１０５−１２に供給される。Ｇ変換部１０５−１２は、Ｇ予測タップを構成する各画素値にＧ変換処理を施すものとされる。
【００７７】
Ｇ変換部１０５−１２によるＧ変換処理は、Ｇ変換部１０５−１１によるものと同様である。すなわち、上述した式（１）乃至式（３）により、Ｇ予測タップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｇ予測タップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｇ予測タップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。
【００７８】
Ｇ変換部１０５−１２から出力されるＧ予測タップは、Ｇ積和演算部１０８−１に供給される。なお、Ｇ変換部１０５−１２から出力されるＧ予測タップは、上述した式（１）乃至式（３）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。
【００７９】
Ｇ積和演算部１０８−１は、予め設定された線形一次式において、Ｇ変換部１０５−１２から出力されるＧ予測タップを変数として代入し、Ｇ係数メモリ１０７−１から供給された係数を用いて予測値の演算を行う。すなわち、Ｇ積和演算部１０８−１は、出力画像となるＧ成分の画像（Ｇ出力画像と称する）における注目画素の画素値を、Ｇ予測タップに基づいて予測演算する。
【００８０】
ここで、出力画像の注目画素の画素値の予測演算について説明する。
【００８１】
いま、例えば、ベイヤー配列の色フィルタアレイを有するイメージセンサから出力される画像データを第１の画像データとし、図１の枠１４に配置されたＧ成分のイメージセンサから出力される画像データを第２の画像データとする。そして、第１の画像データの画素値から第２の画像データの画素値を所定の予測演算により求めることを考える。
【００８２】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、第２の画像データ（以下、適宜、第２の画像の画素という）の画素の画素値yは、次の線形１次式によって求められることになる。
【００８３】
【数４】
2014200001.tif 000006
・・・（４）
【００８４】
但し、式（４）において、xnは、第２の画像の画素yについての予測タップを構成する、ｎ番目の第１の画像データの画素（以下、適宜、第１の画像の画素という）の画素値を表し、wnは、ｎ番目の第１の画像の画素（の画素値）と乗算されるn番目のタップ係数を表す。なお、式（４）では、予測タップが、Ｎ個の第１の画像の画素x1，x2，・・・，xNで構成されるものとしてある。
【００８５】
ここで、第２の画像の画素の画素値yは、式（４）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００８６】
いま、第ｋサンプルの第２の画像の画素の画素値の真値をykと表すとともに、式（４）によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。
【００８７】
【数５】
2014200001.tif 000007
・・・（５）
【００８８】
いま、式（５）の予測値yk’は、式（４）にしたがって求められるため、式（５）のyk’を、式（４）にしたがって置き換えると、次式が得られる。
【００８９】
【数６】
2014200001.tif 000008
・・・（６）
【００９０】
但し、式（６）において、xn,kは、第kサンプルの第２の画像の画素についての予測タップを構成するｎ番目の第１の画像の画素を表す。
【００９１】
式（６）（または式（５））の予測誤差ekを０とするタップ係数wnが、第２の画像の画素を予測するのに最適なものとなるが、すべての第２の画像の画素について、そのようなタップ係数wnを求めることは、一般には困難である。
【００９２】
そこで、タップ係数wnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数wnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００９３】
【数７】
2014200001.tif 000009
・・・（７）
【００９４】
但し、式（７）において、Ｋは、第２の画像の画素ykと、その第２の画像の画素ykについての予測タップを構成する第１の画像の画素x1,k，x2,k，・・・，xN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【００９５】
式（７）の自乗誤差の総和Ｅの最小値（極小値）は、式（８）に示すように、総和Ｅをタップ係数wnで偏微分したものを０とするwnによって与えられる。
【００９６】
【数８】
2014200001.tif 000010
・・・（８）
【００９７】
そこで、上述の式（６）をタップ係数wnで偏微分すると、次式が得られる。
【００９８】
【数９】
2014200001.tif 000011
・・・（９）
【００９９】
式（８）と（９）から、次式が得られる。
【０１００】
【数１０】
2014200001.tif 000012
・・・（１０）
【０１０１】
式（１０）のekに、式（６）を代入することにより、式（１０）は、式（１１）に示す正規方程式で表すことができる。
【０１０２】
【数１１】
2014200001.tif 000013
・・・（１１）
【０１０３】
式（１１）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数wnについて解くことができる。
【０１０４】
式（１１）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）wnを、クラスごとに求めることができる。例えば、このようにして求められたタップ係数wnが、Ｇ係数メモリ１０７−１にＧ係数として記憶されている。なお、係数を学習によって予め求める方式の詳細については後述する。
【０１０５】
例えば、式（４）の画素x1，x2，・・・，xNに、Ｇ変換部１０５−１２の処理を経たＧ予測タップを代入し、式（４）におけるタップ係数wnが、Ｇ係数メモリ１０７−１から供給され、Ｇ積和演算部１０８−１で式（４）の演算が行われることによって、出力画像の注目画像の画素値が予測される。
【０１０６】
このように、各注目画素のそれぞれについて予測することにより、Ｇ出力画像を得ることができる。
【０１０７】
Ｇ積和演算部１０８−１から出力されるデータは、Ｒクラスタップ選択部１０２−２およびＲ予測タップ選択部１０３−２、並びに、Ｂクラスタップ選択部１０２−３およびＢ予測タップ選択部１０３−３に供給されるようになされている。また、入力画像が、遅延部１１１−１を介してＲクラスタップ選択部１０２−２およびＲ予測タップ選択部１０３−２、並びに、Ｂクラスタップ選択部１０２−３およびＢ予測タップ選択部１０３−３に供給されるようになされている。
【０１０８】
また、色変化・正規化ＤＲ演算部１１０から出力されるデータが遅延部１１１−２を介して、Ｒクラスタップ選択部１０２−２およびＲ予測タップ選択部１０３−２、並びに、Ｂクラスタップ選択部１０２−３およびＢ予測タップ選択部１０３−３に供給されるようになされている。さらに、色変化・正規化ＤＲ演算部１１０から出力されるデータが遅延部１１１−２を介して、Ｒ係数メモリ１０７−２およびＲ積和演算部１０８−２、並びに、Ｂ係数メモリ１０７−３およびＢ積和演算部１０８−３に供給されるようになされている。
【０１０９】
また、代表ＲＧＢ演算部１０１から出力されるデータが、遅延部１１１−３を介して、Ｒ変換部１０５−２１およびＲ変換部１０５−２２、並びに、Ｂ変換部１０５−３１およびＢ変換部１０５−３２に供給されるようになされている。
【０１１０】
Ｒクラスタップ選択部１０２−２は、Ｒ成分の画像を生成するため必要となるクラスタップであるＲクラスタップを入力画像またはＧ出力画像から選択して取得する。Ｒクラスタップは、例えば、出力画像の注目画素に対応する位置のＧ出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【０１１１】
また、Ｒクラスタップ選択部１０２−２は、取得するＲクラスタップの構造を、色変化・正規化ＤＲ演算部１１０から出力値に応じて変化させるようになされている。なお、Ｒクラスタップの詳細については後述する。
【０１１２】
Ｒクラスタップ選択部１０２−２により選択されたＲクラスタップは、Ｒ変換部１０５−２１に供給される。Ｒ変換部１０５−２１は、Ｒクラスタップを構成する各画素値にＲ変換処理を施すものとされる。
【０１１３】
ここでのＲ変換処理は、例えば、次のようにして行われる。
【０１１４】
いま、Ｇ出力画像のＧ成分の画素を予測値Ｇｐで表すことにする。
【０１１５】
Ｒ変換部１０５−２１は、Ｒクラスタップを構成するＧ出力画像の画素値に式（１２）の演算を施して変換値Ｇｐ´を算出する。
【０１１６】
【数１２】
2014200001.tif 000014
・・・（１２）
【０１１７】
このようなＲ変換処理が施されることにより、Ｒクラスタップを構成する各画素値の相関性を高めることができる。すなわち、Ｇ出力画像の画素値が、入力画像のＲの画素の画素値を基準としてオフセットされることになり、Ｒクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。
【０１１８】
Ｒ変換部１０５−２１から出力されるＲクラスタップは、Ｒクラス分類部１０６−２に供給される。
【０１１９】
Ｒクラス分類部１０６−２は、供給されたＲクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｒ係数メモリ１０７−２に出力される。
【０１２０】
Ｒ係数メモリ１０７−２は、記憶している係数を読み出してＲ積和演算部１０８−２に供給する。なお、Ｒ係数メモリ１０７−２には、予め学習により求められた係数であって、積和演算に用いられる係数が、クラスコード、および後述するタップモードに対応づけられて記憶されている。
【０１２１】
Ｒ予測タップ選択部１０３−２は、Ｒ成分の画像を生成するため必要となる予測タップであるＲ予測タップをＧ出力画像から選択して取得する。Ｒ予測タップは、例えば、出力画像の注目画素に対応する位置のＧ出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。Ｇ出力画像からＲ予測タップが選択されるので、いまの場合、Ｒ予測タップは、全てＧ成分の画素により構成されていることになる。
【０１２２】
また、Ｒ予測タップ選択部１０３−２は、取得するＲ予測タップの構造を、色変化・正規化ＤＲ演算部１１０からの出力値に応じて変化させるようになされている。なお、Ｒ予測タップの詳細については後述する。
【０１２３】
Ｒ予測タップ選択部１０３−２により選択されたＲ予測タップは、Ｒ変換部１０５−２２に供給される。Ｒ変換部１０５−２２は、Ｒ予測タップを構成する各画素値にＲ変換処理を施すものとされる。
【０１２４】
Ｒ変換部１０５−２２によるＲ変換処理は、Ｒ変換部１０５−２１によるものと同様である。すなわち、上述した式（１２）により、変換値Ｇｐ´が演算される。
【０１２５】
このようなＲ変換処理が施されることにより、Ｒクラスタップを構成する各画素値の相関性を高めることができる。すなわち、Ｇ出力画像の画素値が、入力画像のＲの画素の画素値を基準としてオフセットされることになり、Ｒクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。
【０１２６】
Ｒ変換部１０５−２２から出力されるＲ予測タップは、Ｒ積和演算部１０８−２に供給される。なお、Ｒ変換部１０５−２１から出力されるＲ予測タップは、上述した式（１２）により演算された変換値Ｇｐ´により構成されることになる。
【０１２７】
Ｒ積和演算部１０８−２は、予め設定された線形一次式において、Ｒ変換部１０５−２２から出力されるＲ予測タップを変数として代入し、Ｒ係数メモリ１０７−２から供給された係数を用いて予測値の演算を行う。すなわち、Ｒ積和演算部１０８−２は、出力画像となるＲ成分の画像（Ｒ出力画像と称する）における注目画素の画素値を、Ｒ予測タップに基づいて予測演算する。
【０１２８】
例えば、式（４）の画素x1，x2，・・・，xNに、Ｒ変換部１０５−２２の処理を経たＲ予測タップを代入し、式（４）におけるタップ係数wnが、Ｒ係数メモリ１０７−２から供給され、Ｒ積和演算部１０８−２で式（４）の演算が行われることによって、出力画像の注目画像の画素値が予測される。
【０１２９】
なお、色変化・正規化ＤＲ演算部１１０からの出力値に応じてＲ予測タップの構造が変化するので、Ｒ積和演算部１０８−２も色変化・正規化ＤＲ演算部１１０からの出力値に応じて線形一次式の変数の数を変更する。
【０１３０】
このように、各注目画素のそれぞれについて予測することにより、Ｒ出力画像を得ることができる。
【０１３１】
Ｂクラスタップ選択部１０２−２は、Ｂ成分の画像を生成するため必要となるクラスタップであるＢクラスタップを入力画像またはＧ出力画像から選択して取得する。Ｂクラスタップは、例えば、出力画像の注目画素に対応する位置のＧ出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【０１３２】
また、Ｂクラスタップ選択部１０２−２は、取得するＢクラスタップの構造を、色変化・正規化ＤＲ演算部１１０からの出力値に応じて変化させるようになされている。なお、Ｂクラスタップの詳細については後述する。
【０１３３】
Ｂクラスタップ選択部１０２−２により選択されたＢクラスタップは、Ｂ変換部１０５−２１に供給される。Ｂ変換部１０５−２１は、Ｂクラスタップを構成する各画素値にＢ変換処理を施すものとされる。
【０１３４】
ここでのＢ変換処理は、例えば、次のようにして行われる。
【０１３５】
いま、Ｇ出力画像のＧ成分の画素を予測値Ｇｐで表すことにする。
【０１３６】
Ｂ変換部１０５−２１は、Ｂクラスタップを構成するＧ出力画像の画素値に式（１３）の演算を施して変換値Ｇｐ´を算出する。
【０１３７】
【数１３】
2014200001.tif 000015
・・・（１３）
【０１３８】
このようなＢ変換処理が施されることにより、Ｂクラスタップを構成する各画素値の相関性を高めることができる。すなわち、Ｇ出力画像の画素値が、入力画像のＢの画素の画素値を基準としてオフセットされることになり、Ｂクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。
【０１３９】
Ｂ変換部１０５−２１から出力されるＢクラスタップは、Ｂクラス分類部１０６−２に供給される。
【０１４０】
Ｂクラス分類部１０６−２は、供給されたＢクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｂ係数メモリ１０７−２に出力される。
【０１４１】
Ｂ係数メモリ１０７−２は、記憶している係数を読み出してＢ積和演算部１０８−２に供給する。なお、Ｂ係数メモリ１０７−２には、予め学習により求められた係数であって、積和演算に用いられる係数が、クラスコード、および後述するタップモードに対応づけられて記憶されている。
【０１４２】
Ｂ予測タップ選択部１０３−２は、Ｒ成分の画像を生成するため必要となる予測タップであるＢ予測タップをＧ出力画像から選択して取得する。Ｂ予測タップは、例えば、出力画像の注目画素に対応する位置のＧ出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
【０１４３】
また、Ｂ予測タップ選択部１０３−２は、取得するＢ予測タップの構造を、色変化・正規化ＤＲ演算部１１０からの出力値に応じて変化させるようになされている。なお、Ｂ予測タップの詳細については後述する。
【０１４４】
Ｂ予測タップ選択部１０３−２により選択されたＢ予測タップは、Ｂ変換部１０５−２２に供給される。Ｂ変換部１０５−２２は、Ｂ予測タップを構成するＧ出力画像の各画素値にＢ変換処理を施すものとされる。
【０１４５】
Ｂ変換部１０５−２２によるＢ変換処理は、Ｂ変換部１０５−２１によるものと同様である。すなわち、上述した式（１３）により、変換値Ｇｐ´が演算される。
【０１４６】
このようなＢ変換処理が施されることにより、Ｂ予測タップを構成する各画素値の相関性を高めることができる。すなわち、Ｇ出力画像の画素値が、入力画像のＢの画素の画素値を基準としてオフセットされることになり、Ｂ予測タップを構成する各画素値の色成分の違いによる変化を除去することができる。
【０１４７】
Ｂ変換部１０５−２２から出力されるＢ予測タップは、Ｂ積和演算部１０８−２に供給される。
【０１４８】
Ｂ積和演算部１０８−２は、予め設定された線形一次式において、Ｂ変換部１０５−２２から出力されるＢ予測タップを変数として代入し、Ｂ係数メモリ１０７−２から供給された係数を用いて予測値の演算を行う。すなわち、Ｂ積和演算部１０８−２は、出力画像となるＢ成分の画像（Ｂ出力画像と称する）における注目画素の画素値を、Ｂ予測タップに基づいて予測演算する。
【０１４９】
例えば、式（４）の画素x1，x2，・・・，xNに、Ｂ変換部１０５−２２の処理を経たＢ予測タップを代入し、式（４）におけるタップ係数wnが、Ｂ係数メモリ１０７−２から供給され、Ｂ積和演算部１０８−２で式（４）の演算が行われることによって、出力画像の注目画像の画素値が予測される。
【０１５０】
なお、色変化・正規化ＤＲ演算部１１０からの出力値に応じてＢ予測タップの構造が変化するので、Ｂ積和演算部１０８−２も色変化・正規化ＤＲ演算部１１０からの出力値に応じて線形一次式の変数の数を変更する。
【０１５１】
このように、各注目画素のそれぞれについて予測することにより、Ｂ出力画像を得ることができる。
【０１５２】
次に、各クラスタップおよび各予測タップの詳細について説明する。
【０１５３】
図７は、ＧクラスタップおよびＧ予測タップの例を示す図である。ここでは、図中のハッチングされた円内にＲが記された画素（Ｒ成分の画素）が中心画素であるものとする。また、図中太線の円で示される画素が、ＧクラスタップまたはＧ予測タップを構成する画素とされる。
【０１５４】
図７の例では、中心画素を中心とする９（＝３×３）個の画素がＧクラスタップおよびＧ予測タップとされている。なお、ここでは、ＧクラスタップとＧ予測タップが同一の構造であるものとして説明したが、ＧクラスタップとＧ予測タップの構造が異なってもよい。
【０１５５】
図８および図９は、それぞれＲクラスタップおよびＲ予測タップおよびＢクラスタップおよびＢ予測タップの例を示す図である。図７と同様に、図中のハッチングされた円内にＲが記された画素（Ｒ成分の画素）が中心画素であるものとする。また、図中太線の円で示される画素が、各クラスタップまたは各予測タップを構成する画素とされる。
【０１５６】
上述したように、Ｒクラスタップ選択部１０２−２およびＢクラスタップ選択部１０２−３は、それぞれ取得するＲクラスタップおよびＢクラスタップの構造を、色変化・正規化ＤＲ演算部１１０からの出力値に応じて変化させるようになされている。また、Ｒ予測タップ選択部１０３−２およびＢ予測タップ選択部１０３−３は、それぞれ取得するＲ予測タップおよびＢ予測タップの構造を、色変化・正規化ＤＲ演算部１１０からの出力値に応じて変化させるようになされている。
【０１５７】
Ｒクラスタップ選択部１０２−２およびＢクラスタップ選択部１０２−３、並びに、Ｒ予測タップ選択部１０３−２およびＢ予測タップ選択部１０３−３は、タップモードを選択することにより、それぞれ取得する各クラスタップおよび各予測タップの構造を決定する。ここでは、タップモード０乃至タップモード３の４つのうちから、タップモードが選択される例について説明する。
【０１５８】
ＲクラスタップまたはＲ予測タップのタップモードを選択する場合、正規化ダイナミックレンジＮＤＲ＿Ｒの比較に用いる閾値Ａｔｈおよび閾値Ｅｔｈを予め設定する。また、色変化量Ｒｖの比較に用いる閾値Ｂｔｈを予め設定する。さらに、正規化ダイナミックレンジＮＤＲ＿Ｇの比較に用いる閾値Ｃｔｈを予め設定する。また、色変化量Ｒｖと色変化量Ｂｖの差分絶対値の比較に用いる閾値Ｄｔｈを予め設定する。
【０１５９】
ＮＤＲ＿Ｇ＞閾値Ｃであり、かつ、Ｒｖ≧Ｂｔｈである場合、タップモード１が選択される。タップモード１は、指定エリア内のＧ成分の画素同士の画素値の変化が大きく、かつＲ成分の画素の色変化量が大きい場合に選択されるタップモードである。
【０１６０】
│Ｒｖ−Ｂｖ│≦Ｄｔｈであり、かつ、ＮＤＲ＿Ｒ≦Ｅｔｈである場合、タップモード２が選択される。タップモード２は、指定エリア内でのＲ成分の画素とＢ成分の画素の色変化量に大きな差異がなく、かつ、Ｒ成分の画素同士の画素値の差異も小さい場合に選択されるタップモードである。
【０１６１】
ＮＤＲ＿Ｒ＞Ａｔｈであり、かつ、Ｒｖ≧Ｂｔｈである場合、タップモード３が選択される。タップモード３は、指定エリア内においてＲ成分のみ、画素値の変化量が大きく、他の色成分の画素値の変化量が小さい場合に選択されるタップモードである。
【０１６２】
上記のいずれにも該当しない場合は、タップモード０が選択される。
【０１６３】
図８Ａは、タップモード０が選択された場合のＲクラスタップまたはＲ予測タップの例を示す図である。同図の例では、中心画素とともに、中心画素の水平右側で最も近いＲ成分の画素、中心画素の垂直下側で最も近いＲ成分の画素がタップとして取得されている。また、中心画素を含む上下左右、十字型の５つの画素のそれぞれにおける予測値Ｇｐがタップとして取得されている。つまり、タップモード０の場合、入力値Ｒのタップ（画素）が３つ、予測値Ｇｐのタップ（画素）が５つ取得されている。
【０１６４】
なお、ここでは、中心画素がＲ成分の画素とされているが、仮に中心画素がＧ成分またはＢ成分の画素であった場合、入力値Ｒのタップについては、基準となる画素の位置が、中心画素の最寄のＲ成分の画素の位置にずれることになる。一方、予測値Ｇｐのタップについては、Ｇ成分またはＢ成分の画素を中心として十字型に取得されることになる。
【０１６５】
図８Ｂは、タップモード１が選択された場合のＲクラスタップまたはＲ予測タップの例を示す図である。この例では、タップモードが０の場合と、タップモードが１の場合とでは同じＲクラスタップまたはＲ予測タップが取得されるものとされている。
【０１６６】
なお、タップモード０とタップモード１では、ＲクラスタップまたはＲ予測タップの構造は変化しないが、Ｒ係数メモリ１０７−２から読み出される係数が異なる。
【０１６７】
図８Ｃは、タップモード２が選択された場合のＲクラスタップまたはＲ予測タップの例を示す図である。同図の例では、中心画素を含む上下左右の５つの画素のそれぞれにおける予測値Ｇｐがタップとして取得されている。
【０１６８】
上述したように、タップモード２は、指定エリア内でのＲ成分の画素とＢ成分の画素の色変化量に大きな差異がなく、かつ、Ｒ成分の画素同士の画素値の差異も小さい場合に選択されるタップモードである。このような指定エリア内の画素に基づいて出力画像の画素を生成（予測）すると、出力画像において偽色が発生し易い。このため、本技術では、タップモード２が選択された場合、Ｒ出力画像の画素の生成において入力値Ｒの画素を用いない。
【０１６９】
図８Ｄは、タップモード３が選択された場合のＲクラスタップまたはＲ予測タップの例を示す図である。同図の例では、中心画素の水平左側および水平右側でそれぞれ最も近いＲ成分の画素、中心画素の垂直上側および垂直下側でそれぞれ最も近いＲ成分の画素がタップとして取得されている。
【０１７０】
なお、ここでは、中心画素がＲ成分の画素とされているが、仮に中心画素がＧ成分またはＢ成分の画素であった場合、基準となる画素の位置が、中心画素の最寄のＲ成分の画素の位置にずれることになる。
【０１７１】
上述したように、タップモード３は、指定エリア内においてＲ成分のみ、画素値の変化量が大きく、他の色成分の画素値の変化量が小さい場合に選択されるタップモードである。このような場合、Ｇ出力画像における指定エリア内の画素に基づいて出力画像の画素を生成（予測）すると、出力画像において色にじみやリンギングが発生し易い。このため、本技術では、タップモード３が選択された場合、Ｒ出力画像の画素の生成において入力値Ｒの画素のみを用いる。
【０１７２】
また、ＢクラスタップまたはＢ予測タップのタップモードを選択する場合、正規化ダイナミックレンジＮＤＲ＿Ｂの比較に用いる閾値Ａｔｈおよび閾値Ｅｔｈを予め設定する。また、色変化量Ｂｖの比較に用いる閾値Ｂｔｈを予め設定する。さらに、正規化ダイナミックレンジＮＤＲ＿Ｇの比較に用いる閾値Ｃｔｈを予め設定する。また、色変化量Ｒｖと色変化量Ｂｖの差分絶対値の比較に用いる閾値Ｄｔｈを予め設定する。
【０１７３】
ＮＤＲ＿Ｇ＞閾値Ｃであり、かつ、Ｂｖ≧Ｂｔｈである場合、タップモード１が選択される。タップモード１は、指定エリア内のＧ成分の画素同士の画素値の変化が大きく、かつＲ成分の画素の色変化量が大きい場合に選択されるタップモードである。
【０１７４】
│Ｒｖ−Ｂｖ│≦Ｄｔｈであり、かつ、ＮＤＲ＿Ｂ≦Ｅｔｈである場合、タップモード２が選択される。タップモード２は、指定エリア内でのＲ成分の画素とＢ成分の画素の色変化量に大きな差異がなく、かつ、Ｂ成分の画素同士の画素値の差異も小さい場合に選択されるタップモードである。
【０１７５】
ＮＤＲ＿Ｂ＞Ａｔｈであり、かつ、Ｂｖ≧Ｂｔｈである場合、タップモード３が選択される。タップモード３は、指定エリア内においてＢ成分のみ、画素値の変化量が大きく、他の色成分の画素値の変化量が小さい場合に選択されるタップモードである。
【０１７６】
上記のいずれにも該当しない場合は、タップモード０が選択される。
【０１７７】
図９Ａは、タップモード０が選択された場合のＢクラスタップまたはＢ予測タップの例を示す図である。同図の例では、中心画素の右斜め上側で最も近いＢ成分の画素、中心画素の右斜め下側で最も近いＢ成分の画素、中心画素の左斜め下側で最も近いＢ成分の画素がタップとして取得されている。また、中心画素を含む上下左右の５つの画素のそれぞれにおける予測値Ｇｐがタップとして取得されている。つまり、タップモード０の場合、入力値Ｂのタップ（画素）が３つ、予測値Ｇｐのタップ（画素）が５つ取得されている。
【０１７８】
なお、ここでは、中心画素がＲ成分の画素とされているが、仮に中心画素がＢの画素であった場合、入力値Ｂのタップについては、基準となる画素の位置が、中心画素であるＢ成分の画素の位置にずれることになる。また、予測値Ｇｐのタップについても、中心画素であるＢ成分の画素を中心として十字型に取得されることになる。
【０１７９】
図９Ｂは、タップモード１が選択された場合のＢクラスタップまたはＢ予測タップの例を示す図である。この例では、タップモードが０の場合と、タップモードが１の場合とでは同じＢクラスタップまたはＢ予測タップが取得されるものとされている。
【０１８０】
なお、タップモード０とタップモード１では、ＢクラスタップまたはＢ予測タップの構造は変化しないが、Ｂ係数メモリ１０７−３から読み出される係数が異なる。
【０１８１】
図９Ｃは、タップモード２が選択された場合のＢクラスタップまたはＢ予測タップの例を示す図である。同図の例では、中心画素を含む上下左右の５つの画素のそれぞれにおける予測値Ｇｐがタップとして取得されている。
【０１８２】
上述したように、タップモード２は、指定エリア内でのＲ成分の画素とＢ成分の画素の色変化量に大きな差異がなく、かつ、Ｂ成分の画素同士の画素値の差異も小さい場合に選択されるタップモードである。このような指定エリア内の画素に基づいて出力画像の画素を生成（予測）すると、出力画像において偽色が発生し易い。このため、本技術では、タップモード２が選択された場合、Ｂ出力画像の画素の生成において入力値Ｂの画素を用いない。
【０１８３】
図９Ｄは、タップモード３が選択された場合のＢクラスタップまたはＢ予測タップの例を示す図である。同図の例では、中心画素の右斜め下側で最も近いＢ成分の画素、並びにそのＢ成分の画素の水平左側および水平右側でそれぞれ最も近いＢ成分の画素、垂直上側および垂直下側でそれぞれ最も近いＢ成分の画素がタップとして取得されている。
【０１８４】
なお、ここでは、中心画素がＲ成分の画素とされているが、仮に中心画素がＢ成分の画素であった場合、基準となる画素の位置が、中心画素であるＢ成分の画素の位置にずれることになる。
【０１８５】
上述したように、タップモード３は、指定エリア内においてＢ成分のみ、画素値の変化量が大きく、他の色成分の画素値の変化量が小さい場合に選択されるタップモードである。このような場合、Ｇ出力画像の指定エリア内の画素に基づいて出力画像の画素を生成（予測）すると、出力画像において色にじみやリンギングが発生し易い。このため、本技術では、タップモード３が選択された場合、Ｂ出力画像の画素の生成において入力値Ｂの画素のみを用いる。
【０１８６】
このように、本技術では、Ｒ出力画像の生成およびＢ出力画像の生成の際に、色変化量および正規化ダイナミックレンジに応じたクラスタップまたは予測タップが取得されるようにしたので、偽色、色にじみ、リンギングなどの発生を抑止することができる。
【０１８７】
次に、Ｇ係数メモリ１０７−１、Ｒ係数メモリ１０７−２、およびＢ係数メモリ１０７−３に記憶される係数の学習について説明する。
【０１８８】
図１０および図１１は、図２の画像処理装置１００に対応する学習装置の構成例を示すブロック図である。図１０は、Ｇ係数メモリ１０７−１に記憶される係数の学習に用いられる学習装置２００の構成例を示しており、図１１は、Ｒ係数メモリ１０７−２およびＢ係数メモリ１０７−３に記憶される係数の学習に用いられる学習装置２２０の構成例を示している。
【０１８９】
図１０に示される学習装置２００は、注目画素選択部２０１、生徒画像生成部２０２、代表ＲＧＢ演算部２０３、Ｇクラスタップ選択部２０４、Ｇ予測タップ選択部２０５、Ｇ変換部２０６−１、Ｇ変換部２０６−２、Ｇクラス分類部２０７、正規方程式加算部２０８、およびＧ係数データ生成部２０９を備えている。
【０１９０】
学習装置２００において係数の学習を行う場合、例えば、図１の枠１４に、Ｇ成分に対応するイメージセンサを配置して得られたＧ成分の画像を教師画像として用意する。
【０１９１】
生徒画像生成部２０２は、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、教師画像を劣化させるとともに、ベイヤー配列に従って配置された画素により構成されるイメージセンサから出力される画像を生成する。このようにして生成された画像が生徒画像とされる。
【０１９２】
注目画素選択部２０１は、教師画像の中の任意の１画素を注目画素として選択する。なお、注目画素として選択された画素の座標値などが、代表ＲＧＢ演算部２０３、Ｇクラスタップ選択部２０４、および、Ｇ予測タップ選択部２０５に供給されるようになされている。
【０１９３】
代表ＲＧＢ演算部２０３は、生徒画像の中の指定エリア内の画素について、図２の代表ＲＧＢ演算部１０１の場合と同様に、代表値Ｄｇ、代表値Ｄｒ、代表値Ｄｂを算出する。なお、指定エリアは、注目画素選択部２０１により選択された注目画素に対応する位置の画素を中心とした所定の領域として設定される。
【０１９４】
Ｇクラスタップ選択部２０４は、生徒画像の中の指定エリア内の画素からＧクラスタップを選択して取得する。
【０１９５】
Ｇ予測タップ選択部２０５は、生徒画像の中の指定エリア内の画素からＧ予測タップを選択して取得する。
【０１９６】
Ｇ変換部２０６−１は、Ｇクラスタップ選択部２０４により取得されたクラスタップにＧ換処理を施す。
【０１９７】
Ｇ変換部２０６−１の処理を経たＧクラスタップは、Ｇクラス分類部２０７に供給される。
【０１９８】
Ｇ変換部２０６−２は、Ｇ予測タップ選択部２０５により取得されたＧ予測タップにＧ変換処理を施す。
【０１９９】
Ｇ変換部２０６−２の処理を経たクラスタップは、正規方程式加算部２０８に供給される。
【０２００】
Ｇクラス分類部２０７は、供給されたクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、クラスタップとともに、正規方程式加算部２０８に供給される。
【０２０１】
正規方程式加算部２０８は、例えば、上述した式（４）に示される線形１次式を生成する。このとき、色変換部の処理を経たクラスタップが式（４）の画素x1，x2，・・・，xNとして用いられる。
【０２０２】
注目画素選択部２０１が新たな注目画素を選択すると、上述した場合と同様にして新たに線形１次式が生成されることになる。正規方程式加算部２０８は、このように生成される線形１次式をクラスコード毎に加算し、式（１１）の正規方程式を生成する。
【０２０３】
Ｇ係数データ生成部２０９は、式（１１）の正規方程式を、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数wnについて解く。そして、係数データ生成部２０９は、得られたタップ係数wnを、Ｇ出力画像の予測演算を行うために必要となるＧ係数として出力する。
【０２０４】
このようにして、得られたクラスコード毎のＧ係数が、図２のＧ係数メモリ１０７−１に記憶されることになる。
【０２０５】
このようにして、Ｇ係数の学習が行われる。
【０２０６】
図１１に示される学習装置２２０は、注目画素選択部２２１、生徒画像生成部２２２、代表ＲＧＢ演算部２２３、クラスタップ選択部２２４、予測タップ選択部２２５、色変換部２２６−１、色変換部２２６−２、クラス分類部２２７、正規方程式加算部２２８、および係数データ生成部２２９を備えている。
【０２０７】
学習装置２２０において係数の学習を行う場合、例えば、図１の枠１４に、Ｒ成分またはＢ成分に対応するイメージセンサを配置して得られたＲ成分またはＢ成分の画像を教師画像として用意する。なお、学習装置２２０における教師画像の取得は、学習装置２００における教師画像の取得に用いた被写体と同一の被写体を同時に撮影することにより行われる。
【０２０８】
生徒画像生成部２２２は、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、教師画像を劣化させるとともに、ベイヤー配列に従って配置された画素により構成されるイメージセンサから出力される画像を生成する。このようにして生成された画像が生徒画像とされる。
【０２０９】
さらに、生徒画像生成部２２２により生成された生徒画像を入力画像とし、図１０のＧ係数データ生成部２０９により生成されたＧ係数を用いて図２の画像処理装置１００により出力されるＧ出力画像を用意する。
【０２１０】
注目画素選択部２２１は、教師画像の中の任意の１画素を注目画素として選択する。なお、注目画素として選択された画素の座標値などが、代表ＲＧＢ演算部２２３、クラスタップ選択部２２４、および、予測タップ選択部２２５に供給されるようになされている。
【０２１１】
代表ＲＧＢ演算部２２３は、生徒画像の中の指定エリア内の画素について、図２の代表ＲＧＢ演算部１０１の場合と同様に、代表値Ｄｇ、代表値Ｄｒ、代表値Ｄｂを算出する。なお、指定エリアは、注目画素選択部２２１により選択された注目画素に対応する位置の画素を中心とした所定の領域として設定される。
【０２１２】
色変化・正規化ＤＲ演算部２３０は、図２の色変化・正規化ＤＲ演算部１１０と同様に、ベイヤー配列のイメージセンサのＲ成分の画素値のＧ成分の画素値に対する変化量、およびＢ成分の画素値のＧ成分の画素値に対する変化量である色変化量を算出する。また、色変化・正規化ＤＲ演算部２３０は、ベイヤー配列のイメージセンサのＲ成分の画素値のダイナミックレンジを正規化した値、Ｇ成分の画素値のダイナミックレンジを正規化した値、およびＢ成分の画素値のダイナミックレンジを正規化した値である正規化ダイナミックレンジを算出する。
【０２１３】
色変化・正規化ＤＲ演算部２３０からの出力値は、クラスタップ選択部２２４、予測タップ選択部２２５、色変換部２２６−１、色変換部２２６−２、および正規方程式加算部２２８に供給される。
【０２１４】
クラスタップ選択部２２４は、生徒画像またはＧ出力画像の中の指定エリア内の画素からクラスタップを選択して取得する。なお、注目画素選択部２２１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、クラスタップ選択部２２４は、Ｒクラスタップを選択し、注目画素選択部２２１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、クラスタップ選択部２２４は、Ｂクラスタップを選択するようになされている。
【０２１５】
なお、クラスタップ選択部２２４は、色変化・正規化ＤＲ演算部２３０からの出力値に応じて、上述したタップモードを選択して各クラスタップを取得する。
【０２１６】
予測タップ選択部２２５は、Ｇ出力画像の中の指定エリア内の画素から予測タップを選択して取得する。なお、注目画素選択部２２１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、予測タップ選択部２２５は、Ｒ予測タップを選択し、注目画素選択部２２１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、予測タップ選択部２２５は、Ｂ予測タップを選択するようになされている。
【０２１７】
なお、予測タップ選択部２２５は、色変化・正規化ＤＲ演算部２３０からの出力値に応じて、上述したタップモードを選択して各予測タップを取得する。
【０２１８】
色変換部２２６−１は、クラスタップ選択部２２４により取得されたクラスタップに色換処理を施す。ここで、クラスタップ選択部２２４によりＲクラスタップが取得された場合、色変換部２２６−１は、Ｒ変換処理を施し、クラスタップ選択部２２４によりＢクラスタップが取得された場合、色変換部２２６−１は、Ｂ変換処理を施すようになされている。
【０２１９】
色変換部２２６−１の処理を経たクラスタップは、クラス分類部２２７に供給される。
【０２２０】
色変換部２２６−２は、予測タップ選択部２２５により取得された予測タップに色変換処理を施す。ここで、予測タップ選択部２２５によりＲ予測タップが取得された場合、色変換部２２６−２は、Ｒ変換処理を施し、予測タップ選択部２２５によりＢ予測タップが取得された場合、色変換部２２６−２は、Ｂ変換処理を施すようになされている。
【０２２１】
色変換部２２６−２の処理を経た予測スタップは、正規方程式加算部２２８に供給される。
【０２２２】
クラス分類部２２７は、供給されたクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、クラスタップとともに、正規方程式加算部２２８に供給される。
【０２２３】
正規方程式加算部２２８は、例えば、上述した式（４）に示される線形１次式を生成する。このとき、色変換部の処理を経たクラスタップが式（４）の画素x1，x2，・・・，xNとして用いられる。
【０２２４】
注目画素選択部２２１が新たな注目画素を選択すると、上述した場合と同様にして新たに線形１次式が生成されることになる。正規方程式加算部２２８は、このように生成される線形１次式を、タップモードとクラスコード毎に加算し、式（１１）の正規方程式を生成する。
【０２２５】
係数データ生成部２２９は、式（１１）の正規方程式を、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数wnについて解く。そして、係数データ生成部２０９は、注目画素が設定された教師画像の種類（Ｒ成分の画像、または、Ｂ成分の画像）に応じて、得られたタップ係数wnを、Ｒ出力画像の予測演算を行うために必要となるＲ係数、または、Ｂ出力画像の予測演算を行うために必要となるＢ係数として出力する。
【０２２６】
このようにして、得られたタップモードとクラスコード毎のＲ係数またはＢ係数が、図２のＲ係数メモリ１０７−２またはＢ係数メモリ１０７−３に記憶されることになる。
【０２２７】
このようにして、Ｒ係数またはＢ係数の学習が行われる。
【０２２８】
図１２は、図２の画像処理装置１００によるＧ出力画像の生成に係る、Ｇ出力画像生成処理の例を説明するフローチャートである。
【０２２９】
ステップＳ２１において、画像処理の対象となる画像（入力画像）が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップＳ２１において、画像が入力されたと判定された場合、処理は、ステップＳ２２に進む。
【０２３０】
なお、上述したように、入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。従って、入力画像では、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は得られるが、Ｇ成分およびＢ成分の画像信号は得られない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが得られ、Ｒ成分およびＢ成分の画像信号は得られず、Ｂの画素からは、Ｂ成分の画像信号のみが得られ、Ｒ成分およびＧ成分の画像信号は得られない。
【０２３１】
ステップＳ２２において、注目画素が設定される。これにより、入力画像における中心画素が定まることになる。
【０２３２】
ステップＳ２３において、代表ＲＧＢ演算部１０１は、図１３を参照して後述する代表ＲＧＢ演算処理を実行する。これにより、上述した代表値Ｄｇ、代表値Ｄｒ、および代表値Ｄｂが演算される。
【０２３３】
ステップＳ２４において、Ｇクラスタップ選択部１０２−１は、Ｇクラスタップを取得する。
【０２３４】
ステップＳ２５において、Ｇ変換部１０５−１１は、Ｇ変換を行う。このとき、上述した式（１）乃至式（３）により、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´が演算される。
【０２３５】
ステップＳ２６においてＧクラス分類が行われる。このとき、Ｇクラス分類部１０６−１が、供給されたＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成することでクラス分類する。
【０２３６】
ステップＳ２７において、Ｇ予測タップ選択部１０３−１は、Ｇ予測タップを取得する。
【０２３７】
ステップＳ２８において、Ｇ変換部１０５−１２は、Ｇ変換を行う。このとき、上述した式（１）乃至式（３）により、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´が演算される。
【０２３８】
ステップＳ２９において、Ｇ係数メモリ１０７−１から、ステップＳ２６の処理で生成されたクラスコードに対応づけられて記憶されているＧ係数が読み出される。
【０２３９】
ステップＳ３０において、注目画素値が予測される。このとき、式（４）の画素x1，x2，・・・，xNに、ステップＳ２８の処理で色変換されたＧ予測タップを代入し、式（４）におけるタップ係数wnとして、ステップＳ２９の処理で読み出された係数が供給され、Ｇ積和演算部１０８−１が式（４）の演算を行うことによって、出力画像の注目画像の画素値が予測される。
【０２４０】
ステップＳ３１において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返し実行される。
【０２４１】
ステップＳ３１において、次の注目画素がないと判定された場合、処理は終了する。
【０２４２】
このようにして、Ｇ出力画像生成処理が実行される。
【０２４３】
次に、図１３のフローチャートを参照して、図１２のステップＳ２３の代表ＲＧＢ演算処理の詳細な例について説明する。
【０２４４】
ステップＳ４１において、代表ＲＧＢ演算部１０１は、入力画像の中の指定エリアにおいて、Ｒ成分の画素とＢの画素の補間値ｇを算出する。このとき、例えば、図４に示されるように、指定エリア内の中心画素の周囲（上下左右）の４つのＧの画素である画素Ｇ１乃至画素Ｇ４の入力値Ｇ１乃至入力値Ｇ４を平均することにより、中心画素の画素位置における補間されたＧ成分の値である補間値ｇを算出する。
【０２４５】
ステップＳ４２において、代表ＲＧＢ演算部１０１は、代表値Ｄｇを算出する。このとき、指定エリア内の全てのＧの画素の入力値ＧとステップＳ４１で算出された補間値ｇとの平均値が代表値Ｄｇとして算出される。
【０２４６】
ステップＳ４３において、代表ＲＧＢ演算部１０１は、Ｇ成分の画素の補間値ｒを算出する。例えば、図４の画素Ｇ１または画素Ｇ４に示される位置の補間値ｒを算出する場合、図５に示されるように、この場合、Ｇの画素の左右両隣に位置する画素Ｒ１と画素Ｒ２の平均値が補間値ｒとされる。
【０２４７】
これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｒを得ることができ、指定エリア内のＲの画素の画素位置では、入力値Ｒおよび補間値ｇを得ることができる。
【０２４８】
ステップＳ４４において、代表ＲＧＢ演算部１０１は、代表値Ｄｒを算出する。このとき、各画素位置において、（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｒが算出される。
【０２４９】
ステップＳ４５において、代表ＲＧＢ演算部１０１は、Ｇ成分の画素の補間値ｇを算出する。例えば、図４の画素Ｇ１または画素Ｇ４に示される位置の補間値ｂを算出する場合、図６に示されるように、Ｇの画素の上下両隣に位置する画素Ｂ１と画素Ｂ２の平均値が補間値ｂとされる。
【０２５０】
これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｂを得ることができ、指定エリア内のＢの画素の画素位置では、入力値Ｂおよび補間値ｇを得ることができる。
【０２５１】
ステップＳ４６において、代表ＲＧＢ演算部１０１は、代表値Ｄｂを算出する。このとき、各画素位置において、（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｂが算出される。
【０２５２】
このようにして、代表ＲＧＢ演算処理が実行される。
【０２５３】
図１４は、図２の画像処理装置１００によるＲ出力画像およびＢ出力画像の生成に係る、ＲＢ出力画像生成処理の例を説明するフローチャートである。
【０２５４】
ステップＳ６１において、画像処理の対象となる画像（入力画像）が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップＳ６１において、画像が入力されたと判定された場合、処理は、ステップＳ６２に進む。
【０２５５】
なお、上述したように、入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。従って、入力画像では、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は得られるが、Ｇ成分およびＢ成分の画像信号は得られない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが得られ、Ｒ成分およびＢ成分の画像信号は得られず、Ｂの画素からは、Ｂ成分の画像信号のみが得られ、Ｒ成分およびＧ成分の画像信号は得られない。
【０２５６】
ステップＳ６２において、注目画素が設定される。これにより、入力画像およびＧ出力画像における中心画素が定まることになる。
【０２５７】
ステップＳ６３において、代表ＲＧＢ演算部１０１は、図１３を参照して上述した代表ＲＧＢ演算処理を実行する。これにより、上述した代表値Ｄｇ、代表値Ｄｒ、および代表値Ｄｂが演算される。
【０２５８】
ステップＳ６４において、色変化・正規化ＤＲ演算部１１０は、図１５を参照して後述する色変化量・正規化ダイナミックレンジ演算処理を実行する。これにより、ベイヤー配列のイメージセンサのＲ成分の画素値のＧ成分の画素値に対する変化量、およびＢ成分の画素値のＧ成分の画素値に対する変化量である色変化量が算出される。また、ベイヤー配列のイメージセンサのＲ成分の画素値のダイナミックレンジを正規化した値、Ｇ成分の画素値のダイナミックレンジを正規化した値、およびＢ成分の画素値のダイナミックレンジを正規化した値である正規化ダイナミックレンジが算出される。
【０２５９】
ステップＳ６５において、Ｒクラスタップ選択部１０２−２、または、Ｂクラスタップ選択部１０２−３は、それぞれＲクラスタップ、または、Ｂクラスタップを取得する。
【０２６０】
なお、Ｒ出力画像を生成する場合は、Ｒクラスタップが取得され、Ｂ出力画像を生成する場合は、Ｂクラスタップが取得される。また、この際、図８および図９を参照して上述したように、タップモードが選択されて、ＲクラスタップまたはＢクラスタップが取得される。
【０２６１】
ステップＳ６６において色変換が行われる。例えば、Ｒ出力画像を生成する場合、Ｒ変換部１０５−２１がＲ変換を行う。このとき、上述した式（１２）により、変換値Ｇｐ´が演算される。また、Ｂ出力画像を生成する場合、Ｂ変換部１０５−３１がＢ変換を行う。このとき、上述した式（１３）により、変換値Ｇｐ´が演算される。
【０２６２】
ステップＳ６７においてクラス分類が行われる。例えば、Ｒ出力画像を生成する場合、Ｒクラス分類部１０６−２が、供給されたＲクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成することでクラス分類する。また、Ｂ出力画像を生成する場合、Ｂクラス分類部１０６−３が、供給されたＢクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成することでクラス分類する。
【０２６３】
さらに、ステップＳ６５でクラスタップを取得する際に選択されたタップモードを特定する情報がクラスコードに付加される。
【０２６４】
ステップＳ６８において、予測タップが取得される。例えば、Ｒ出力画像を生成する場合、Ｒ予測タップ選択部１０３−２がＲ予測タップを取得し、Ｂ出力画像を生成する場合、Ｂ予測タップ選択部１０３−３がＢ予測タップを取得する。また、この際、図８および図９を参照して上述したように、タップモードが選択されて、Ｒ予測タップまたはＢ予測タップが取得される。
【０２６５】
ステップＳ６９において、色変換が行われる。例えば、Ｒ出力画像を生成する場合、Ｒ変換部１０５−２２がＲ変換を行う。このとき、上述した式（１２）により、変換値Ｇｐ´が演算される。また、Ｂ出力画像を生成する場合、Ｂ変換部１０５−３２がＢ変換を行う。このとき、上述した式（１３）により、変換値Ｇｐ´が演算される。
【０２６６】
ステップＳ７０において、係数が読み出される。例えば、Ｒ出力画像を生成する場合、Ｒ係数メモリ１０７−２から、ステップＳ６７の処理で生成されたクラスコード、および、ステップＳ６５またはステップＳ６８の処理に伴って選択されたタップモードに対応づけられて記憶されているＲ係数が読み出される。また、Ｂ出力画像を生成する場合、Ｂ係数メモリ１０７−３から、クラスコードおよびタップモードに対応付けられて記憶されているＢ係数が読み出される。
【０２６７】
ステップＳ７１において、注目画素値が予測される。例えば、Ｒ出力画像を生成する場合、式（４）の画素x1，x2，・・・，xNに、ステップＳ６９の処理でＲ変換されたＲ予測タップを代入し、式（４）におけるタップ係数wnとして、ステップＳ７０の処理で読み出されたＲ係数が供給され、Ｒ積和演算部１０８−２が式（４）の演算を行うことによって、出力画像の注目画像の画素値が予測される。また、Ｂ出力画像を生成する場合、式（４）の画素x1，x2，・・・，xNに、ステップＳ６９の処理でＢ変換されたＢ予測タップを代入し、式（４）におけるタップ係数wnとして、ステップＳ７０の処理で読み出されたＢ係数が供給され、Ｂ積和演算部１０８−３が式（４）の演算を行うことによって、出力画像の注目画像の画素値が予測される。
【０２６８】
ステップＳ７２において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ６２に戻り、それ以降の処理が繰り返し実行される。
【０２６９】
ステップＳ７２において、次の注目画素がないと判定された場合、処理は終了する。
【０２７０】
このようにして、ＲＢ出力画像生成処理が実行される。
【０２７１】
次に、図１５のフローチャートを参照して、図１４のステップＳ６４の色変化量・正規化ダイナミックレンジ演算処理の詳細な例について説明する。
【０２７２】
ステップＳ９１において、色変化・正規化ＤＲ演算部１１０は、Ｒ成分の画素に係る色変化量Ｒｖを算出する。このとき、指定エリア内のＲ成分の画素の入力値Ｒと補間値ｇの差分値のダイナミックレンジに、２５６／Ｄｇを乗じた値が色変化量Ｒｖとして算出される。
【０２７３】
ステップＳ９２において、色変化・正規化ＤＲ演算部１１０は、Ｂ成分の画素に係る色変化量Ｂｖを算出する。このとき、指定エリア内のＢ成分の画素の入力値Ｂと補間値ｇの差分値のダイナミックレンジに、２５６／Ｄｇを乗じた値が色変化量Ｂｖとして算出される。
【０２７４】
ステップＳ９３において、色変化・正規化ＤＲ演算部１１０は、Ｒ成分の画素に係る正規化ダイナミックレンジＮＤＲ＿Ｒを算出する。このとき、指定エリア内の入力値ＲのダイナミックレンジＤＲ＿Ｒを指定エリア内の入力値Ｒの平均値で割った値が正規化ダイナミックレンジＮＤＲ＿Ｒとして算出される。
【０２７５】
ステップＳ９４において、色変化・正規化ＤＲ演算部１１０は、Ｇ成分の画素に係る正規化ダイナミックレンジＮＤＲ＿Ｇを算出する。このとき、指定エリア内の入力値ＧのダイナミックレンジＤＲ＿Ｇを指定エリアの代表値Ｄｇで割った値が正規化ダイナミックレンジＮＤＲ＿Ｇとして算出される。
【０２７６】
ステップＳ９５において、色変化・正規化ＤＲ演算部１１０は、Ｂ成分の画素に係る正規化ダイナミックレンジＮＤＲ＿Ｂを算出する。このとき、指定エリア内の入力値ＢのダイナミックレンジＤＲ＿Ｇを指定エリア内の入力値Ｂの平均値で割った値が正規化ダイナミックレンジＮＤＲ＿Ｂとして算出される。
【０２７７】
このようにして、色変化量・正規化ダイナミックレンジ演算処理が実行される。
【０２７８】
次に、図１６のフローチャートを参照して、図１０の学習装置２００によるＧ係数の学習に係る、Ｇ係数学習処理の例について説明する。
【０２７９】
ステップＳ１１１において、教師画像が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップＳ１１１において、教師画像が入力されたと判定された場合、処理は、ステップＳ１１２に進む。
【０２８０】
なお、上述したように、教師画像は、例えば、図１の枠１４に、Ｇ成分に対応するイメージセンサを配置して得られたＧ成分の画像とされる。
【０２８１】
ステップＳ１１２において、生徒画像生成部２０２は、生徒画像を生成する。このとき、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、教師画像を劣化させるとともに、ベイヤー配列に従って配置された画素により構成されるイメージセンサから出力される画像が生成され、生徒画像とされる。
【０２８２】
ステップＳ１１３において、注目画素選択部２０１は、教師画像の中の任意の１画素を注目画素として選択（設定）する。これにより、生徒画像の中の中心画素が定まることになる。
【０２８３】
ステップＳ１１４において、代表ＲＧＢ生成部は、図１３のフローチャートを参照して上述した代表ＲＧＢ演算処理を実行する。これにより、代表値Ｄｇ、代表値Ｄｒ、代表値Ｄｂが算出される。
【０２８４】
ステップＳ１１５において、Ｇクラスタップ選択部２０４は、生徒画像の中の指定エリア内の画素からＧクラスタップを選択して取得する。
【０２８５】
ステップＳ１１６において、Ｇ変換部２０６−１は、ステップＳ１１５の処理で取得されたＧクラスタップにＧ変換処理を施す。
【０２８６】
ステップＳ１１７において、Ｇクラス分類部２０７は、供給されたクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、クラスタップとともに、正規方程式加算部２０８に供給される。
【０２８７】
ステップＳ１１８において、Ｇ予測タップ選択部２０５は、生徒画像の中の指定エリア内の画素からＧ予測タップを選択して取得する。
【０２８８】
ステップＳ１１９において、Ｇ変換部２０６−２は、ステップＳ１１８の処理で取得されたＧ予測にＧ変換処理を施す。
【０２８９】
ステップＳ１２０において、正規方程式加算部２０８は、正規方程式の足し込みを行う。
【０２９０】
上述したように、正規方程式加算部２０８は、例えば、上述した式（４）に示される線形１次式を生成し、Ｇ変換部の処理を経たクラスタップが式（４）の画素x1，x2，・・・，xNとして用いられる。そして、正規方程式加算部２０８は、このようにして生成した線形１次式を、ステップＳ１１７の処理で生成されたクラスコード毎に足し込んで、式（１１）の正規方程式を生成する。
【０２９１】
ステップＳ１２１において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ１１３に戻り、それ以降の処理が繰り返し実行される。
【０２９２】
一方、ステップＳ１２１において、次の注目画素がないと判定された場合、処理は、ステップＳ１２２に進む。
【０２９３】
ステップＳ１２２において、Ｇ係数データ生成部２０９は、係数を算出する。
【０２９４】
このとき、上述したように、Ｇ係数データ生成部２０９は、式（１１）の正規方程式を、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数wnについて解く。そして、係数データ生成部２０９は、得られたタップ係数wnを、Ｇ出力画像の予測演算を行うために必要となるＧ係数として出力する。
【０２９５】
このようにして、得られたクラスコード毎のＧ係数が、図２のＧ係数メモリ１０７−１に記憶され、図１２のステップＳ２９の処理で読み出されることになる。
【０２９６】
このようにして、Ｇ係数学習処理が実行される。
【０２９７】
次に、図１７のフローチャートを参照して、図１１の学習装置２２０によるＲ係数およびＢ係数の学習に係る、ＲＢ係数学習処理の例について説明する。
【０２９８】
ステップＳ１４１において、教師画像が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップＳ１４１において、教師画像が入力されたと判定された場合、処理は、ステップＳ１４２に進む。
【０２９９】
なお、上述したように、教師画像は、例えば、図１の枠１４に、Ｒ成分およびＢ成分のそれぞれに対応する２つのイメージセンサを配置して得られたＲ成分の画像、およびＢ成分の画像とされる。
【０３００】
ステップＳ１４２において、生徒画像生成部２０２は、生徒画像を生成する。このとき、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、教師画像を劣化させるとともに、ベイヤー配列に従って配置された画素により構成されるイメージセンサから出力される画像が生成され、生徒画像とされる。
【０３０１】
ステップＳ１４３において、ステップＳ１４２の処理で生成された生徒画像を入力画像とし、図１６のステップＳ１２２の処理で算出されたＧ係数を用いて図２の画像処理装置１００により出力されるＧ出力画像を用意する。
【０３０２】
ステップＳ１４４において、注目画素選択部２２１は、教師画像の中の任意の１画素を注目画素として選択する。なお、注目画素として選択された画素の座標値などが、代表ＲＧＢ演算部２２３、クラスタップ選択部２２４、および、予測タップ選択部２２５に供給されるようになされている。
【０３０３】
ステップＳ１４５において、代表ＲＧＢ生成部は、図１３のフローチャートを参照して上述した代表ＲＧＢ演算処理を実行する。これにより、代表値Ｄｇ、代表値Ｄｒ、代表値Ｄｂが算出される。
【０３０４】
ステップＳ１４６において、色変化・正規化ＤＲ演算部１１０は、図１５を参照して上述した色変化量・正規化ダイナミックレンジ演算処理を実行する。これにより、ベイヤー配列のイメージセンサのＲ成分の画素値のＧ成分の画素値に対する変化量、およびＢ成分の画素値のＧ成分の画素値に対する変化量である色変化量が算出される。また、ベイヤー配列のイメージセンサのＲ成分の画素値のダイナミックレンジを正規化した値、Ｇ成分の画素値のダイナミックレンジを正規化した値、およびＢ成分の画素値のダイナミックレンジを正規化した値である正規化ダイナミックレンジが算出される。
【０３０５】
ステップＳ１４７において、クラスタップ選択部２２４は、Ｇ出力画像の中の指定エリア内の画素からクラスタップを選択して取得する。なお、ステップＳ１４４で教師画像の中のＲ成分の画像から注目画素が選択された場合、ステップＳ１４７では、Ｒクラスタップが選択され、ステップＳ１４４で教師画像の中のＢ成分の画像から注目画素が選択された場合、ステップＳ１４７ではＢクラスタップが選択される。
【０３０６】
また、ステップＳ１４７では、クラスタップ選択部２２４が、色変化・正規化ＤＲ演算部２３０からの出力値に応じて、上述したタップモードを選択して各クラスタップを取得する。
【０３０７】
ステップＳ１４８において、色変換部２２６−１は、クラスタップ選択部２２４により取得されたクラスタップに色換処理を施す。ステップＳ１４７でＲクラスタップが取得された場合、ステップＳ１４８ではＲ変換処理が施され、ステップＳ１４７でＢクラスタップが取得された場合、ステップＳ１４８ではＢ変換処理が施される。
【０３０８】
ステップＳ１４９において、クラス分類部２２７は、供給されたクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。また、ステップＳ１４７でクラスタップを取得する際に選択されたタップモードを特定する情報が、クラスコードに付加される。
【０３０９】
ステップＳ１５０において、予測タップ選択部２２５は、生徒画像またはＧ出力画像の中の指定エリア内の画素から予測タップを選択して取得する。なお、ステップＳ１４４で教師画像の中のＲ成分の画像から注目画素が選択された場合、ステップＳ１５０では、Ｒ予測タップが選択され、ステップＳ１４４で教師画像の中のＢ成分の画像から注目画素が選択された場合、ステップＳ１５０ではＢクラスタップが選択される。
【０３１０】
また、ステップＳ１５０では、クラスタップ選択部２２４が、色変化・正規化ＤＲ演算部２３０からの出力値に応じて、上述したタップモードを選択して各クラスタップを取得する。
【０３１１】
ステップＳ１５１において、色変換部２２６−２は、クラスタップ選択部２２４により取得されたクラスタップに色換処理を施す。ステップＳ１５０でＲクラスタップが取得された場合、ステップＳ１５１ではＲ変換処理が施され、ステップＳ１５０でＢクラスタップが取得された場合、ステップＳ１５１ではＢ変換処理が施される。
【０３１２】
ステップＳ１５２において、正規方程式加算部２０８は、正規方程式の足し込みを行う。
【０３１３】
上述したように、正規方程式加算部２０８は、例えば、上述した式（４）に示される線形１次式を生成し、Ｇ変換部の処理を経たクラスタップが式（４）の画素x1，x2，・・・，xNとして用いられる。そして、正規方程式加算部２０８は、このようにして生成した線形１次式を、ステップＳ１４９の処理で生成されたクラスコード、およびステップＳ１４７またはステップＳ１５０の処理に伴って選択されたタップモード毎に足し込んで、式（１１）の正規方程式を生成する。
【０３１４】
ステップＳ１５３において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ１４４に戻り、それ以降の処理が繰り返し実行される。
【０３１５】
一方、ステップＳ１５３において、次の注目画素がないと判定された場合、処理は、ステップＳ１５４に進む。
【０３１６】
ステップＳ１５４において、係数データ生成部２２９は、Ｒ係数およびＢ係数を算出する。
【０３１７】
このようにして、得られたクラスコードとタップモード毎のＲ係数およびＢ係数が、それぞれ図２のＲ係数メモリ１０７−２およびＢ係数メモリ１０７−３に記憶され、図１４のステップＳ７０の処理で読み出されることになる。
【０３１８】
このようにして、ＲＢ係数学習処理が実行される。
【０３１９】
図２を参照して上述した例においては、色変換により画素値を変換値に置き換えてクラス分類、積和演算が行われるものとして説明したが、例えば、画素値を色差に置き換えてクラス分類、積和演算が行われるようにしてもよい。
【０３２０】
図１８は、本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。同図に示される画像処理装置１５０は、生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成する際に、画素値を色差に置き換えてクラス分類、積和演算が行われるようになされている。
【０３２１】
図１８における代表ＲＧＢ演算部１５１は、図２の代表ＲＧＢ演算部１０１と同様に構成されるものなので詳細な説明は省略する。
【０３２２】
また、図１８において、Ｇ出力画像の生成に係る機能ブロックである、Ｇクラスタップ選択部１５２−１、Ｇ変換部１５５−１１、Ｇクラス分類部１５６−１、Ｇ係数メモリ１５７−１、Ｇ予測タップ選択部１５３−１、Ｇ変換部１５５−１２、および、Ｇ積和演算部１５８−１は、それぞれ図２のＧクラスタップ選択部１０２−１、Ｇ変換部１０５−１１、Ｇクラス分類部１０６−１、Ｇ係数メモリ１０７−１、Ｇ予測タップ選択部１０３−１、Ｇ変換部１０５−１２、および、Ｇ積和演算部１０８−１と同様に構成されるものなので詳細な説明は省略する。
【０３２３】
図１８の構成の場合、入力画像が遅延部１６１−１を介してＲクラスタップ選択部１５２−２およびＲ予測タップ選択部１５３−２、並びに、Ｂクラスタップ選択部１５２−３およびＢ予測タップ選択部１５３−３に供給されるようになされている。
【０３２４】
また、図１８の構成の場合、Ｇ積和演算部１０８−１から出力されるデータが遅延部１６１−１を介して、Ｒ変換部１５９−２およびＢ変換部１５９−３に供給されるようになされている。
【０３２５】
また、図１８の構成の場合、色変化・正規化ＤＲ演算部１１０から出力されるデータが、遅延部１６１−２を介して、Ｒクラスタップ選択部１５２−２およびＲ予測タップ選択部１５３−２、並びに、Ｂクラスタップ選択部１５２−３およびＢ予測タップ選択部１５３−３に供給される。さらに、色変化・正規化ＤＲ演算部１１０から出力されるデータが、遅延部１６１−２を介して、（Ｒ−Ｇ）変換部１５５−２１および（Ｒ−Ｇ）変換部１５５−２２、並びに、（Ｂ−Ｇ）変換部１５５−３１および（Ｂ−Ｇ）変換部１５５−３２に供給される。また、色変化・正規化ＤＲ演算部１１０から出力されるデータが、遅延部１６１−２を介して、（Ｒ−Ｇ）係数メモリ１５７−２および（Ｂ−Ｇ）係数メモリ１５７−３、並びに、Ｒ変換部１５９−２およびＢ変換部１５９−３に供給される
【０３２６】
さらに、図１８の構成の場合、代表ＲＧＢ演算部１５１から出力されるデータが、遅延部１６１−３を介して、（Ｒ−Ｇ）変換部１５５−２１および（Ｒ−Ｇ）変換部１５５−２２、並びに、（Ｂ−Ｇ）変換部１５５−３１および（Ｂ−Ｇ）変換部１５５−３２に供給されるようになされている。
【０３２７】
さらに、図１８の構成を採用する場合、Ｒクラスタップ、Ｂクラスタップ、Ｒ予測タップ、およびＢ予測タップの構造が、図８と図９を参照して上述した場合とは異なる。なお、図１８の構成を採用する場合にもいても、ＧクラスタップおよびＧ予測タップの構造は、図７を参照して上述した場合と同様である。
【０３２８】
図１９は、図１８の構成を採用する場合の、Ｒクラスタップ、およびＲ予測タップの例を示す図である。なお、図１８の構成を採用する場合、後述するように、色変化・正規化ＤＲ演算部１１０からの出力値に応じてタップモード０または１が選択される。
【０３２９】
図１９Ａは、タップモード０が選択された場合のＲクラスタップまたはＲ予測タップの例を示す図である。同図の例では、中心画素を含む上下左右、十字型の５つのＲ成分の画素がタップとして取得されている。つまり、タップモード０の場合、入力値Ｒのタップ（画素）が５つ取得されている。
【０３３０】
なお、ここでは、中心画素がＲ成分の画素とされているが、仮に中心画素がＧ成分またはＢ成分の画素であった場合、タップの基準となる画素の位置が、中心画素の最寄のＲ成分の画素の位置にずれることになる。
【０３３１】
図１９Ｂは、タップモード１が選択された場合のＲクラスタップまたはＲ予測タップの例を示す図である。この例では、タップモードが０の場合と、タップモードが１の場合とでは同じＲクラスタップまたはＲ予測タップが取得されるものとされている。
【０３３２】
この例では、タップモード０とタップモード１では、ＲクラスタップまたはＲ予測タップの構造は変化しないが、（Ｒ−Ｇ）係数メモリ１５７−２から読み出される係数が異なる。
【０３３３】
なお、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。
【０３３４】
このようにして、取得されたＲクラスタップおよびＲ予測タップは、それぞれ（Ｒ−Ｇ）変換部１５５−２１および（Ｒ−Ｇ）変換部１５５−２２に供給される。
【０３３５】
図２０は、図１８の構成を採用する場合の、Ｂクラスタップ、およびＢ予測タップの例を示す図である。なお、図１８の構成を採用する場合、後述するように、色変化・正規化ＤＲ演算部１１０からの出力値に応じてタップモード０または１が選択される。
【０３３６】
図２０Ａは、タップモード０が選択された場合のＢクラスタップまたはＢ予測タップの例を示す図である。同図の例では、中心画素の斜め下側のＢ成分の画素を基準として上下左右、十字型の５つのＲ成分の画素がタップとして取得されている。つまり、タップモード０の場合、入力値Ｂのタップ（画素）が５つ取得されている。
【０３３７】
なお、ここでは、中心画素がＲ成分の画素とされているが、仮に中心画素がＢ成分の画素であった場合、基準となる画素の位置が、中心画素であるＢ成分の画素の位置にずれることになる。
【０３３８】
図２０Ｂは、タップモード１が選択された場合のＢクラスタップまたはＢ予測タップの例を示す図である。この例では、タップモードが０の場合と、タップモードが１の場合とでは同じＢクラスタップまたはＢ予測タップが取得されるものとされている。
【０３３９】
この例では、タップモード０とタップモード１では、ＢクラスタップまたはＢ予測タップの構造は変化しないが、（Ｂ−Ｇ）係数メモリ１５７−３から読み出される係数が異なる。
【０３４０】
なお、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。
【０３４１】
このようにして、取得されたＢクラスタップおよびＢ予測タップは、それぞれ（Ｂ−Ｇ）変換部１５５−３１および（Ｂ−Ｇ）変換部１５５−３２に供給される。
【０３４２】
また、図１８の構成を採用する場合、Ｒ出力画像を生成する場合のタップモードは次のようにして選択される。
【０３４３】
Ｒ出力画像の生成の際にタップモードを選択する場合、正規化ダイナミックレンジＮＤＲ＿Ｒの比較に用いる閾値Ａｔｈ、色変化量Ｒｖの比較に用いる閾値Ｂｔｈを予め設定する。
【０３４４】
ＮＤＲ＿Ｒ＞Ａｔｈであり、かつ、Ｒｖ≧Ｂｔｈである場合、タップモード１が選択される。タップモード１は、指定エリア内においてＲ成分のみ、画素値の変化量および色変化量が大きく、他の色成分の画素値の変化量および色変化量が小さい場合に選択されるタップモードである。
【０３４５】
上記に該当しない場合は、タップモード０が選択される。
【０３４６】
図１８の構成の場合、（Ｒ−Ｇ）変換部１５５−２１および（Ｒ−Ｇ）変換部１５５−２２は、それぞれ、タップモードに応じて演算の実行または停止が制御されるようになされている。
【０３４７】
タップモード１の場合、（Ｒ−Ｇ）変換部１５５−２１は、Ｒクラスタップを構成する各画素値に（Ｒ−Ｇ）変換処理を施すものとされ、（Ｒ−Ｇ）変換処理により仮想色差が算出される。すなわち、（Ｒ−Ｇ）変換部１５５−２１は、Ｒクラスタップを構成する各画素値に式（１４）の演算を施して仮想色差ＲＧｃを算出する。
【０３４８】
【数１４】
2014200001.tif 000016
・・・（１４）
【０３４９】
なお、式（１４）における補間値ｇは、代表ＲＧＢ演算部１５１から供給される。
【０３５０】
一方、タップモード０の場合、（Ｒ−Ｇ）変換部１５５−２１は、式（１４）の演算を行うことなく、Ｒクラスタップをそのまま（Ｒ−Ｇ）クラス分類部１５６−２に出力する。
【０３５１】
このようにすることで、Ｒクラスタップを構成する画素の特性に応じて仮想色差ＲＧｃをクラス分類に用いるか否かを適切に選択することができる。
【０３５２】
（Ｒ−Ｇ）変換部１５５−２１から出力されるＲクラスタップは、（Ｒ−Ｇ）クラス分類部１５６−２に供給される。タップモード１の場合、（Ｒ−Ｇ）変換部１５５−２１から出力されるＲクラスタップは、上述した式（１４）により演算された仮想色差ＲＧｃにより構成されることになり、タップモード０の場合、（Ｒ−Ｇ）変換部１５５−２１から出力されるＲクラスタップは、入力値Ｒにより構成されることになる。
【０３５３】
（Ｒ−Ｇ）クラス分類部１５６−２は、供給されたＲクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。また、Ｒクラスタップを取得する際に選択されたタップモードを特定する情報が、クラスコードに付加される。ここで生成されたクラスコードは、（Ｒ−Ｇ）係数メモリ１５７−２に出力される。
【０３５４】
（Ｒ−Ｇ）係数メモリ１５７−２は、（Ｒ−Ｇ）クラス分類部１５６−２から出力されたクラスコードおよびタップモードに対応づけられて記憶されている係数を読み出して（Ｒ−Ｇ）積和演算部１５８−２に供給する。なお、（Ｒ−Ｇ）係数メモリ１５７−２には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードおよびタップモードに対応づけられて記憶されている。
【０３５５】
なお、図１８の構成の画像処理装置１５０を用いる場合、（Ｒ−Ｇ）係数メモリ１５７−２に記憶される係数の学習の際には、クラスタップまたは予測タップを仮想色差により構成する場合と入力値により構成する場合とで、Ｒ出力画像を生成するための学習が行われるものとする。
【０３５６】
Ｒ予測タップ選択部１５３−２により選択されたＲ予測タップは、（Ｒ−Ｇ）変換部１５５−２２に供給される。（Ｒ−Ｇ）変換部１５５−２２は、Ｒ予測タップを構成する各画素値に（Ｒ−Ｇ）変換処理を施すものとされ、（Ｒ−Ｇ）変換処理により仮想色差が算出される。
【０３５７】
（Ｒ−Ｇ）変換部１５５−２２による（Ｒ−Ｇ）変換処理は、（Ｒ−Ｇ）変換部１５５−２１によるものと同様である。すなわち、タップモード１の場合、上述した式（１４）により、仮想色差ＲＧｃが演算され、タップモード０の場合、式（１４）の演算を行うことなく、Ｒ予測タップをそのまま（Ｒ−Ｇ）積和演算部１５８−２に出力する。
【０３５８】
このようにすることで、Ｒ予測タップを構成する画素の特性に応じて仮想色差ＲＧｃを積和演算に用いるか否かを適切に選択することができる。
【０３５９】
（Ｒ−Ｇ）変換部１５５−２２から出力されるＲ予測タップは、（Ｒ−Ｇ）積和演算部１５８−２に供給される。タップモード１の場合、（Ｒ−Ｇ）変換部１５５−２２から出力されるＲ予測タップは、上述した式（１４）により演算された仮想色差ＲＧｃにより構成されることになり、タップモード０の場合、（Ｒ−Ｇ）変換部１５５−２２から出力されるＲ予測タップは、入力値Ｒにより構成されることになる。
【０３６０】
（Ｒ−Ｇ）積和演算部１５８−２は、タップモード１の場合、出力画像となるＲ成分の画像（Ｒ出力画像）における注目画素の（Ｒ−Ｇ）の色差を、Ｒ予測タップに基づいて予測演算する。一方、（Ｒ−Ｇ）積和演算部１５８−２は、タップモード０の場合、出力画像となるＲ成分の画像（Ｒ出力画像）における注目画素の値を、Ｒ予測タップに基づいて予測演算する。
【０３６１】
Ｒ変換部１５９−２は、タップモード１の場合、（Ｒ−Ｇ）積和演算部１５８−２から出力された注目画素の（Ｒ−Ｇ）の色差の予測値（Ｒ−Ｇ）ｐを、例えば、式（１５）の演算によってＲ成分の画素値の予測値Ｒｐに変換する。
【０３６２】
【数１５】
2014200001.tif 000017
・・・（１５）
【０３６３】
一方、Ｒ変換部１５９−２は、タップモード０の場合、式（１５）の演算を行うことなく、（Ｒ−Ｇ）積和演算部１５８−２から出力された注目画素の値をそのまま出力する。
【０３６４】
このように、各注目画素のそれぞれについて予測することにより、Ｒ出力画像を得ることができる。
【０３６５】
また、図１８の構成を採用する場合、Ｂ出力画像を生成する場合のタップモードは次のようにして選択される。
【０３６６】
Ｂ出力画像の生成の際にタップモードを選択する場合、正規化ダイナミックレンジＮＤＲ＿Ｂの比較に用いる閾値Ａｔｈ、色変化量Ｂｖの比較に用いる閾値Ｂｔｈを予め設定する。
【０３６７】
ＮＤＲ＿Ｂ＞Ａｔｈであり、かつ、Ｂｖ≧Ｂｔｈである場合、タップモード１が選択される。タップモード１は、指定エリア内においてＢ成分のみ、画素値の変化量および色変化量が大きく、他の色成分の画素値の変化量および色変化量が小さい場合に選択されるタップモードである。
【０３６８】
上記に該当しない場合は、タップモード０が選択される。
【０３６９】
図１８の構成の場合、（Ｂ−Ｇ）変換部１５５−３１および（Ｂ−Ｇ）変換部１５５−３２は、それぞれ、タップモードに応じて演算の実行または停止が制御されるようになされている。
【０３７０】
タップモード１の場合、（Ｂ−Ｇ）変換部１５５−３１は、Ｂクラスタップを構成する各画素値に（Ｂ−Ｇ）変換処理を施すものとされ、（Ｂ−Ｇ）変換処理により仮想色差が算出される。すなわち、（Ｂ−Ｇ）変換部１５５−３１は、Ｂクラスタップを構成する各画素値に式（１６）の演算を施して仮想色差ＢＧｃを算出する。
【０３７１】
【数１６】
2014200001.tif 000018
・・・（１６）
【０３７２】
なお、式（１６）における補間値ｇは、代表ＲＧＢ演算部１５１から供給される。
【０３７３】
一方、タップモード０の場合、（Ｂ−Ｇ）変換部１５５−３１は、式（１６）の演算を行うことなく、Ｂクラスタップをそのまま（Ｂ−Ｇ）クラス分類部１５６−３に出力する。
【０３７４】
このようにすることで、Ｂクラスタップを構成する画素の特性に応じて仮想色差ＢＧｃをクラス分類に用いるか否かを適切に選択することができる。
【０３７５】
（Ｂ−Ｇ）変換部１５５−３１から出力されるＢクラスタップは、（Ｂ−Ｇ）クラス分類部１５６−３に供給される。タップモード１の場合、（Ｂ−Ｇ）変換部１５５−３１から出力されるＢクラスタップは、上述した式（１４）により演算された仮想色差ＢＧｃにより構成されることになり、タップモード０の場合、（Ｂ−Ｇ）変換部１５５−３１から出力されるＢクラスタップは、入力値Ｂにより構成されることになる。
【０３７６】
（Ｂ−Ｇ）クラス分類部１５６−３は、供給されたＢクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。また、Ｂクラスタップを取得する際に選択されたタップモードを特定する情報がクラスコードに付加される。ここで生成されたクラスコードは、（Ｂ−Ｇ）係数メモリ１５７−３に出力される。
【０３７７】
（Ｂ−Ｇ）係数メモリ１５７−３は、（Ｂ−Ｇ）クラス分類部１５６−３から出力されたクラスコードおよびタップモードに対応づけられて記憶されている係数を読み出して（Ｂ−Ｇ）積和演算部１５８−３に供給する。なお、（Ｂ−Ｇ）係数メモリ１５７−３には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードおよびタップモードに対応づけられて記憶されている。
【０３７８】
なお、図１８の構成の画像処理装置１５０を用いる場合、（Ｂ−Ｇ）係数メモリ１５７−３に記憶される係数の学習の際には、クラスタップまたは予測タップを仮想色差により構成する場合と入力値により構成する場合とで、Ｂ出力画像を生成するための学習が行われるものとする。
【０３７９】
Ｂ予測タップ選択部１５３−３により選択されたＢ予測タップは、（Ｂ−Ｇ）変換部１５５−３２に供給される。（Ｂ−Ｇ）変換部１５５−３２は、Ｂ予測タップを構成する各画素値に（Ｂ−Ｇ）変換処理を施すものとされ、（Ｂ−Ｇ）変換処理により仮想色差が算出される。
【０３８０】
（Ｂ−Ｇ）変換部１５５−３２による（Ｂ−Ｇ）変換処理は、（Ｂ−Ｇ）変換部１５５−３１によるものと同様である。すなわち、タップモード１の場合、上述した式（１６）により、仮想色差ＢＧｃが演算され、タップモード０の場合、式（１６）の演算を行うことなく、Ｂ予測タップをそのまま（Ｂ−Ｇ）積和演算部１５８−３に出力する。
【０３８１】
このようにすることで、Ｂ予測タップを構成する画素の特性に応じて仮想色差ＢＧｃを積和演算に用いるか否かを適切に選択することができる。
【０３８２】
（Ｂ−Ｇ）変換部１５５−３２から出力されるＢ予測タップは、（Ｂ−Ｇ）積和演算部１５８−３に供給される。タップモード１の場合、（Ｂ−Ｇ）変換部１５５−３２から出力されるＢ予測タップは、上述した式（１６）により演算された仮想色差ＢＧｃにより構成されることになり、タップモード０の場合、（Ｂ−Ｇ）変換部１５５−３２から出力されるＢ予測タップは、入力値Ｂにより構成されることになる。
【０３８３】
（Ｂ−Ｇ）積和演算部１５８−３は、タップモード１の場合、出力画像となるＢ成分の画像（Ｂ出力画像）における注目画素の（Ｂ−Ｇ）の色差を、Ｂ予測タップに基づいて予測演算する。一方、（Ｂ−Ｇ）積和演算部１５８−３は、タップモード０の場合、出力画像となるＢ成分の画像（Ｂ出力画像）における注目画素の値を、Ｂ予測タップに基づいて予測演算する。
【０３８４】
Ｂ変換部１５９−３は、タップモード１の場合、（Ｂ−Ｇ）積和演算部１５８−３から出力された注目画素の（Ｂ−Ｇ）の色差の予測値（Ｂ−Ｇ）ｐを、例えば、式（１７）の演算によってＢ成分の画素値の予測値Ｂｐに変換する。
【０３８５】
【数１７】
2014200001.tif 000019
・・・（１７）
【０３８６】
一方、Ｂ変換部１５９−３は、タップモード０の場合、式（１７）の演算を行うことなく、（Ｂ−Ｇ）積和演算部１５８−３から出力された注目画素の値をそのまま出力する。
【０３８７】
このように、各注目画素のそれぞれについて予測することにより、Ｂ出力画像を得ることができる。
【０３８８】
また、仮想色差を算出する際に、各色成分の画素値に、例えば、ＢＴ７０９、ＢＴ６０１などに規定されるマトリックス係数であって、ＲＧＢからＹ、ｐｂ、またはｐｒへの変換を行う際に用いられる係数が乗じられるようにしてもよい。このようにすることで、出力画像においてより良好なＳ／Ｎ比を実現することができる。
【０３８９】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２１に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０３９０】
図２１において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０３９１】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０３９２】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０３９３】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０３９４】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０３９５】
なお、この記録媒体は、図２１に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０３９６】
本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３９７】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３９８】
なお、本技術は以下のような構成も取ることができる。
【０３９９】
（１）
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域内の画素における前記複数の色成分の中の第１の色成分のおよび第２の色成分の、第３の色成分に対する変化量を表す色変化量、並びに、第１の色成分の画素値および第２の色成分の画素値のダイナミックレンジを正規化して得られる正規化ダイナミックレンジをそれぞれ演算する色変化量正規化ダイナミックレンジ演算部と、
前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップを変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の画素値をそれぞれ演算する積和演算部とを備え、
前記色変化量および前記正規化ダイナミックレンジに基づいて、前記第１の色成分の画素のみで構成される第２の画像の画素値の演算方式および前記第２の色成分の画素のみで構成される第２の画像の画素値の演算方式が変更される
画像処理装置。
（２）
前記色変化量および前記正規化ダイナミックレンジに基づいて、前記予測タップの構造が変化する
（１）に記載の画像処理装置。
（３）
前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、
前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する色成分変換部をさらに備え、
前記積和演算部は、
前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の画素値をそれぞれ演算する
（１）または（２）に記載の画像処理装置。
（４）
前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有するベイヤー配列の画素部であり、
前記代表値演算部は、
前記ＲまたはＢの画素の周囲のＧの画素に基づいて、前記ＲまたはＢの画素の補間値ｇを算出し、
前記Ｇの画素の周囲のＲの画素またはＢの画素に基づいて、それぞれ前記Ｇの画素の補間値ｒおよび補間値ｂを算出し、
前記Ｇの画素から直接得られる入力値Ｇと前記補間値ｇとの平均値により、Ｇの代表値を演算し、
前記補間値ｒと前記入力値Ｇとの差分、および、前記Ｒの画素から直接得られる入力値Ｒと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＲの代表値を演算し、
前記補間値ｂと前記入力値Ｇとの差分、および、前記Ｂの画素から直接得られる入力値Ｂと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＢの代表値を演算する
（３）に記載の画像処理装置。
（５）
前記色成分変換部は、
前記第２の画像がＧの画素のみで構成される画像である場合、
前記入力値Ｒを、前記Ｒの代表値と前記Ｇの代表値の差分によりオフセットし、
前記入力値Ｂを、前記Ｂの代表値と前記Ｇの代表値の差分によりオフセットする
（４）に記載の画像処理装置。
（６）
前記色変化量正規化ダイナミックレンジ演算部は、
前記入力値Ｒと前記Ｒの画素の補間値ｇの差分値のダイナミックレンジに基づいて、Ｒ成分の色変化量Ｒｖを算出し、
前記入力値Ｂと前記Ｂの画素の補間値ｇの差分値のダイナミックレンジに基づいて、Ｂ成分の色変化量Ｂｖを算出し、
前記入力値Ｒのダイナミックレンジを正規化してＲ成分の正規化ダイナミックレンジＮＤＲ＿Ｒを算出し、
前記入力値Ｂのダイナミックレンジを正規化してＲ成分の正規化ダイナミックレンジＮＤＲ＿Ｂを算出し、
前記入力値Ｇのダイナミックレンジを正規化してＧ成分の正規化ダイナミックレンジＮＤＲ＿Ｇを算出する
（４）に記載の画像処理装置。
（７）
前記複数の色成分の画像のうち、Ｇ成分のみで構成される第２の画像を生成し、
前記複数の色成分の画像のうち、前記Ｒ成分のみで構成される第２の画像および前記Ｂ成分の画素のみで構成される第２の画像を生成する場合、
前記Ｇ成分のみで構成される第２の画像から、前記予測タップが取得される
（６）に記載の画像処理装置。
（８）
前記Ｒ成分のみで構成される第２の画像が生成される場合、
前記色変化量Ｒｖ、前記正規化ダイナミックレンジＮＤＲ＿Ｒ、前記正規化ダイナミックレンジＮＤＲ＿Ｇ、および、前記色変化量Ｒｖと色変化量Ｂｖの差分値絶対値をそれぞれ閾値と比較することで、
前記第１の画像の入力値Ｒ、および、前記Ｇの色成分の画素のみで構成される第２の画像の画素値を含む予測タップを取得する第１のモード、
前記Ｇの色成分の画素のみで構成される第２の画像の画素値のみから成る予測タップを取得する第２のモード、
前記第１の画像の入力値Ｒのみから成る予測タップを取得する第３のモードのいずれかが選択される
（７）に記載の画像処理装置。
（９）
前記予測タップの仮想色差を演算する仮想色差演算部をさらに備え、
前記複数の色成分の画像のうち、第１の色成分または第２の色成分のみで構成される第２の画像を生成する場合、
前記積和演算部は、前記予測タップの仮想色差を変数とし、前記読み出された係数を用いた積和演算により、前記第２の画像の仮想色差を演算し、
前記第１の画像における指定領域から前記第１の色成分または前記第２の色成分に対応する画素のみで構成される前記予測タップが取得される
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記色変化量および前記正規化ダイナミックレンジに基づいて、前記仮想色差演算部による演算の実行または停止が制御される
（９）に記載の画像処理装置。
（１１）
前記仮想色差演算部は、
前記予測タップを構成する画素の値に、色空間の規格により規定されるマトリックス係数を乗じて前記仮想色差を演算する
（９）または（１０）に記載の画像処理装置。
（１２）
前記指定領域内の所定の画素に係る画素値をクラスタップとし、前記クラスタップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する他の色成分変換部をさらに備え、
前記クラス分類部は、前記他の色成分変換部により変換された前記変換値に基づいて、前記クラスタップの特徴量を決定する
（３）に記載の画像処理装置。
（１３）
前記係数読み出し部により読み出される係数は、予め学習により求められ、
前記学習では、
前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、
前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、
前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される
（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
色変化量正規化ダイナミックレンジ演算部が、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域内の画素における前記複数の色成分の中の第１の色成分のおよび第２の色成分の、第３の色成分に対する変化量を表す色変化量、並びに、第１の色成分の画素値および第２の色成分の画素値のダイナミックレンジを正規化して得られる正規化ダイナミックレンジをそれぞれ演算し、
クラス分類部が、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類し、
係数読み出し部が、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
積和演算部が、前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップを変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の画素値をそれぞれ演算するステップを含み、
前記色変化量および前記正規化ダイナミックレンジに基づいて、前記第１の色成分の画素のみで構成される第２の画像の画素値の演算方式および前記第２の色成分の画素のみで構成される第２の画像の画素値の演算方式が変更される
画像処理方法。
（１５）
コンピュータを、
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域内の画素における前記複数の色成分の中の第１の色成分のおよび第２の色成分の、第３の色成分に対する変化量を表す色変化量、並びに、第１の色成分の画素値および第２の色成分の画素値のダイナミックレンジを正規化して得られる正規化ダイナミックレンジをそれぞれ演算する色変化量正規化ダイナミックレンジ演算部と、
前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップを変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の画素値をそれぞれ演算する積和演算部とを備え、
前記色変化量および前記正規化ダイナミックレンジに基づいて、前記第１の色成分の画素のみで構成される第２の画像の画素値の演算方式および前記第２の色成分の画素のみで構成される第２の画像の画素値の演算方式が変更される画像処理装置として機能させる
プログラム。
【符号の説明】
【０４００】
１００  画像処理装置，  １０１  代表ＲＧＢ演算部，  １０２−１  Ｇクラスタップ選択部，  １０２−２，  Ｒクラスタップ選択部，  １０２−３  Ｂクラスタップ選択部，  １０３−１  Ｇ予測タップ選択部，  １０３−２，  Ｒ予測タップ選択部，  １０３−３  Ｂ予測タップ選択部，  １０５−１１  Ｇ変換部，  １０５−１２  Ｇ変換部，  １０５−２１  Ｒ変換部，  １０５−２２  Ｒ変換部，  １０５−３１  Ｂ変換部，  １０５−３２  Ｂ変換部，  １０６−１  Ｇクラス分類部，  １０６−２  Ｒクラス分類部，  １０６−３  Ｂクラス分類部，  １０７−１  Ｇ係数メモリ，  １０７−２  Ｒ係数メモリ，  １０７−３  Ｂ係数メモリ，  １０８−１  Ｇ積和演算部，  １０８−２  Ｒ積和演算部，  １０８−３  Ｂ積和演算部，  １１０  色変化・正規化ＤＲ演算部，  １５０  画像処理装置，  １５１  代表ＲＧＢ演算部，  １５２−１  Ｇクラスタップ選択部，  １５２−２，  Ｒクラスタップ選択部，  １５２−３  Ｂクラスタップ選択部，  １５３−１  Ｇ予測タップ選択部，  １５３−２，  Ｒ予測タップ選択部，  １５３−３  Ｂ予測タップ選択部，  １５５−２１  （Ｒ−Ｇ）変換部，  １５５−２２  （Ｒ−Ｇ）変換部，  １５５−３１  （Ｂ−Ｇ）変換部，  １５５−３２  （Ｂ−Ｇ）変換部，  １５８−２  （Ｒ−Ｇ）積和演算部，  １５８−３  （Ｂ−Ｇ）積和演算部，  １６０  色変化・正規化ＤＲ演算部
【図１】
2014200001.tif 000020
【図２】
2014200001.tif 000021
【図３】
2014200001.tif 000022
【図４】
2014200001.tif 000023
【図５】
2014200001.tif 000024
【図６】
2014200001.tif 000025
【図７】
2014200001.tif 000026
【図８】
2014200001.tif 000027
【図９】
2014200001.tif 000028
【図１０】
2014200001.tif 000029
【図１１】
2014200001.tif 000030
【図１２】
2014200001.tif 000031
【図１３】
2014200001.tif 000032
【図１４】
2014200001.tif 000033
【図１５】
2014200001.tif 000034
【図１６】
2014200001.tif 000035
【図１７】
2014200001.tif 000036
【図１８】
2014200001.tif 000037
【図１９】
2014200001.tif 000038
【図２０】
2014200001.tif 000039
【図２１】
2014200001.tif 000040