(57)【特許請求の範囲】
【請求項１】
画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す色成分を画素データとして持つ入力画像信号を処理する画像信号処理装置において、
上記入力画像信号を取得する固体撮像素子と、
上記固体撮像素子で取得した入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第１の画素として抽出する第１の抽出手段と、
上記第１の抽出手段で抽出された複数の画素の各画素データに基づいて第１の特徴情報を生成する第１の特徴情報生成手段と、
上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第２の画素として抽出する第２の抽出手段と、
上記第２の画素の各画素データに基づいて、上記注目画素近傍の斜め線の画素及び細線の画素の有無を判定し、該斜め線の画素及び該細線の画素の少なくとも一方が存在する場合には、該画素の種類を第２の特徴情報として生成する第２の特徴情報生成手段と、
上記第１の特徴情報及び第２の特徴情報に基づいて１つのクラスを決定するクラス決定手段と、
各クラス毎の予測係数セットが記憶された記憶手段と、該記憶手段に記憶されている上記クラス決定手段で決定されたクラスに応じた予測係数セットと、画素抽出手段によって抽出された上記注目画素近傍の複数の画素値とを乗算した線形和から、上記注目画素の色成分とは異なる色成分を持つ画素を生成する演算手段とを有する画素生成手段と
を備える画像信号処理装置。
【請求項２】
上記第１の特徴情報生成手段は、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理によって上記第１の特徴情報を生成する請求項１記載の画像信号処理装置。
【請求項３】
上記色成分で表される色は、赤、青、緑の何れかである請求項１記載の画像信号処理装置。
【請求項４】
上記固体撮像素子は、ベイヤー配列のＣＣＤイメージセンサである請求項１記載の画像信号処理方法。
【請求項５】
画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す色成分を画素データとして持つ入力画像信号を処理する画像信号処理方法において、
上記入力画像信号を取得する取得ステップと、
上記取得ステップで取得した入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第１の画素として抽出する第１の抽出ステップと、
上記第１の抽出ステップで抽出された複数の画素の各画素データに基づいて第１の特徴情報を生成する第１の特徴情報生成ステップと、
上記取得ステップで取得した入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第２の画素として抽出する第２の抽出ステップと、
上記第２の画素の各画素データに基づいて、上記注目画素近傍の斜め線の画素及び細線の画素の有無を判定し、該斜め線の画素及び該細線の画素の少なくとも一方が存在する場合には、該画素の種類を第２の特徴情報として生成する第２の特徴情報生成ステップと、
上記第１の特徴情報及び第２の特徴情報に基づいて１つのクラスを決定するクラス決定ステップと、
各クラス毎の予測係数セットが記憶された記憶手段に記憶されている上記クラス決定ステップで決定されたクラスに応じた予測係数セットと、画素抽出手段によって抽出された上記注目画素近傍の複数の画素値との演算を行うことにより、上記注目画素の色成分とは異なる色成分を持つ画素を生成する画素生成ステップと
を備える画像信号処理方法。
【請求項６】
上記第１の特徴情報生成ステップでは、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理によって上記第１の特徴情報を生成する請求項５記載の画像信号処理方法。
【請求項７】
上記色成分で表される色は、赤、青、緑の何れかである請求項５記載の画像信号処理方法。
【請求項８】
画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す色成分を画素データとして持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、
上記プログラムは、
上記入力画像信号を取得する取得ステップと、
上記取得ステップで取得した入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第１の画素として抽出する第１の抽出ステップと、
上記第１の抽出ステップで抽出された複数の画素の各画素データに基づいて第１の特徴情報を生成する第１の特徴情報生成ステップと、
上記取得ステップで取得した入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第２の画素として抽出する第２の抽出ステップと、
上記第２の画素の各画素データに基づいて、上記注目画素近傍の斜め線の画素及び細線の画素の有無を判定し、該斜め線の画素及び該細線の画素の少なくとも一方が存在する場合には、該画素の種類を第２の特徴情報として生成する第２の特徴情報生成ステップと、
上記第１の特徴情報及び第２の特徴情報に基づいて１つのクラスを決定するクラス決定ステップと、
各クラス毎の予測係数セットが記憶された記憶手段に記憶されている上記クラス決定ステップで決定されたクラスに応じた予測係数セットと、画素抽出手段によって抽出された上記注目画素近傍の複数の画素値との演算を行うことにより、上記注目画素の色成分とは異なる色成分を持つ画素を生成する画素生成ステップとを備える記録媒体。
【請求項９】
画素位置毎に輝度あるいは複数の色のうちのいずれか１つの色成分を画像データとして持つ生徒画像信号の注目画素の近傍の複数の画素を第１の画素として抽出する第１の抽出手段と、
上記第１の抽出手段で抽出された複数の画素の各画素データに基づいて第１の特徴情報を生成する第１の特徴情報生成手段と、
上記生徒画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第２の画素として抽出する第２の抽出手段と、
上記第２の画素の各画素データに基づいて、上記注目画素近傍の斜め線の画素及び細線の画素の有無を判定し、該斜め線の画素及び該細線の画素の少なくとも一方が存在する場合には、該画素の種類を第２の特徴情報として生成する第２の特徴情報生成手段と、
上記第１の特徴情報及び第２の特徴情報に基づいて１つのクラスを決定するクラス決定手段と、
上記生徒画像信号と対応する画像信号であり、画素位置毎に輝度あるいは複数の色のうちのいずれか１つの色成分を画像データとして持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を第３の画素として抽出する第３の抽出手段と、
上記第１及び第３の抽出手段で抽出された複数の画素の各画素データに基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段と
を備える学習装置。
【請求項１０】
上記第１の特徴情報生成手段では、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理によって上記第１の特徴情報を生成する請求項９記載の学習装置。
【請求項１１】
画素位置毎に輝度あるいは複数の色のうちのいずれか１つの色成分を画像データとして持つ生徒画像信号の注目画素の近傍の複数の画素を第１の画素として抽出する第１の抽出ステップと、
上記第１の抽出ステップで抽出された複数の画素の各画素データに基づいて第１の特徴情報を生成する第１の特徴情報生成ステップと、
上記生徒画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第２の画素として抽出する第２の抽出ステップと、
上記第２の画素の各画素データに基づいて、上記注目画素近傍の斜め線の画素及び細線の画素の有無を判定し、該斜め線の画素及び該細線の画素の少なくとも一方が存在する場合には、該画素の種類を第２の特徴情報として生成する第２の特徴情報生成ステップと、
上記第１の特徴情報及び第２の特徴情報に基づいて１つのクラスを決定するクラス決定ステップと、
上記生徒画像信号と対応する画像信号であり、画素位置毎に輝度あるいは複数の色のうちのいずれか１つの色成分を画像データとして持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を第３の画素として抽出する第３の抽出ステップと、
上記第１及び第３の抽出ステップで抽出された複数の画素の各画素データに基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップと
を備える学習方法。
【請求項１２】
上記第１の特徴情報生成ステップでは、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理によって上記第１の特徴情報を生成する請求項１１記載の学習方法。
【請求項１３】
クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、
上記プログラムは、
画素位置毎に輝度あるいは複数の色のうちのいずれか１つの色成分を画像データとして持つ生徒画像信号の注目画素の近傍の複数の画素を第１の画素として抽出する第１の抽出ステップと、
上記第１の抽出ステップで抽出された複数の画素の各画素データに基づいて第１の特徴情報を生成する第１の特徴情報生成ステップと、
上記生徒画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第２の画素として抽出する第２の抽出ステップと、
上記第２の画素の各画素データに基づいて、上記注目画素近傍の斜め線の画素及び細線の画素の有無を判定し、該斜め線の画素及び該細線の画素の少なくとも一方が存在する場合には、該画素の種類を第２の特徴情報として生成する第２の特徴情報生成ステップと、
上記第１の特徴情報及び第２の特徴情報に基づいて１つのクラスを決定するクラス決定ステップと、
上記生徒画像信号と対応する画像信号であり、画素位置毎に輝度あるいは複数の色のうちのいずれか１つの色成分を画像データとして持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を第３の画素として抽出する第３の抽出ステップと、
上記第１及び第３の抽出ステップで抽出された複数の画素の各画素データに基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップと
を備える記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関し、特に、１つの固体イメージセンサにより得られる画像に対し、その画像信号の１画素が赤(Ｒ：Red) 成分、緑(Ｇ：Green) 成分及び青(Ｂ：Blue)成分をもつように、クラス分類適応処理を用いて色成分を補間する画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関する。
【０００２】
【従来の技術】
ＣＣＤ(Charge Coupled Device) イメージセンサなどの固体イメージセンサを用いた撮像装置には、主に、１つのＣＣＤイメージセンサを用いた単板方式のもの（以後、単板式カメラという）と、３つのＣＣＤイメージセンサを用いた３板方式のもの（以後、３板式カメラという）とがある。
【０００３】
３板式カメラでは、例えばＲ信号用、Ｇ信号用及びＢ信号用の３つのＣＣＤイメージセンサを用いて、その３つのＣＣＤイメージセンサにより３原色信号を得る。そして、この３原色信号から生成されるカラー画像信号が記録媒体に記録される。
【０００４】
単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのＣＣＤイメージセンサを用いて、上記色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。上記色コーディングフィルタを構成する色フィルタアレイとしては、例えば、Ｒ(Red) ，Ｇ(Green) ，Ｂ(Blue) の原色フィルタアレイや、Ｙｅ(Yellow) ，Ｃｙ(Cyanogen)，Ｍｇ(Magenta) の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、ＣＣＤイメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、３板式カメラにより得られる画像に近い画像を得るようにしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。
【０００５】
単板式カメラにおいて、例えば図２２の（Ａ）に示すような色配列の色フィルタアレイにより構成された色コーディングフィルタが設けられたＣＣＤイメージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色のフィルタが配置された各画素から、そのフィルタの色に対応する画像信号のみが出力される。すなわち、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は出力されるが、Ｇ成分及びＢ成分の画像信号は出力されない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが出力され、Ｒ成分及びＢ成分の画像信号は出力されず、Ｂの画素からは、Ｂ成分の画像信号のみが出力され、Ｒ成分及びＧ成分の画像信号は出力されない。
【０００６】
ここで、図２２の（Ａ）に示す色フィルタアレイの色配列は、ベイヤー配列と称される。この場合においては、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。
【０００７】
しかしながら、後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分及びＢ成分の画像信号が必要となる。そこで、従来、ｎ×ｍ（ｎ及びｍは正の整数）個の画素で構成されるＣＣＤイメージセンサの出力から、図２２の（Ｂ）に示すように、ｎ×ｍ個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号及びｎ×ｍ個のＢ画素の画像信号、すなわち、３板式カメラのＣＣＤ出力相当の画像信号が、それぞれ補間演算により求められ、それらの画像信号が後段に出力される。
【０００８】
そして、さらに、例えば４倍密度の画像信号を生成する場合、図２２の（Ｃ）に示すように、ｎ×ｍ個のＲ画素の画像信号から２ｎ×２ｍ個のＲ画素の画像信号が補間演算により求められ、ｎ×ｍ個のＧ画素の画像信号から２ｎ×２ｍ個のＧ画素の画像信号が補間演算により求められ、さらに、ｎ×ｍ個のＢ画素の画像信号から、２ｎ×２ｍ個のＢ画素の画像信号が補間演算により求められる。
【０００９】
【発明が解決しようとする課題】
ＣＣＤイメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成する単板式カメラにおいては、画像の斜め線や細線の部分で上記線形補間処理に破綻を生じ易いという問題点がある。
【００１０】
また、線形処理を行うことにより色信号の補間を行っているので、画像の波形が鈍つてしまい、画像全体が不鮮明となってしまうので、輪郭強調処理等の処理を行って、見掛けの解像度を上げる処理が必要であった。
【００１１】
さらに、線形補間と異なる処理方法として、単板式カメラのＣＣＤ出力から、Ｒ，Ｇ，Ｂの３原色の各画像信号毎に独立にクラス分類適応処理を行うことよって３板式カメラのＣＣＤ出力に相当する画像信号を生成することが提案されている（国際公開番号：ＷＯ９６／０７２７５）。しかしながら、クラス分類適応処理においても、基本的に波形によるクラス分類を行っているため、画像の斜め線や細線の部分で波形の連続性が壊れる等の破綻を生じる傾向にあった。これは、ベイヤ配列等の色フィルタの配列に起因する問題であって、通常の波形によるクラス分類では対応できないのが現状であった。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、画像の斜め線や細線の部分に対応したクラス分類適応処理により、解像度が高く、細部まで鮮明な画像を再現できる画像信号を単板式カメラのＣＣＤ出力から得られるようにすることを目的とする。
【００１３】
【課題を解決するための手段】
本発明は、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す色成分を画素データとして持つ入力画像信号を処理する画像信号処理装置において、上記入力画像信号を取得する固体撮像素子と、上記固体撮像素子で取得した入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第１の画素として抽出する第１の抽出手段と、上記第１の抽出手段で抽出された複数の画素の各画素データに基づいて第１の特徴情報を生成する第１の特徴情報生成手段と、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第２の画素として抽出する第２の抽出手段と、上記第２の画素の各画素データに基づいて、上記注目画素近傍の斜め線の画素及び細線の画素の有無を判定し、該斜め線の画素及び該細線の画素の少なくとも一方が存在する場合には、該画素の種類を第２の特徴情報として生成する第２の特徴情報生成手段と、上記第１の特徴情報及び第２の特徴情報に基づいて１つのクラスを決定するクラス決定手段と、各クラス毎の予測係数セットが記憶された記憶手段と、該記憶手段に記憶されている上記クラス決定手段で決定されたクラスに応じた予測係数セットと、画素抽出手段によって抽出された上記注目画素近傍の複数の画素値とを乗算した線形和から、上記注目画素の色成分とは異なる色成分を持つ画素を生成する演算手段とを有する画素生成手段とを備える。
【００１４】
また、本発明は、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す色成分を画素データとして持つ入力画像信号を処理する画像信号処理方法において、上記入力画像信号を取得する取得ステップと、上記取得ステップで取得した入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第１の画素として抽出する第１の抽出ステップと、上記第１の抽出ステップで抽出された複数の画素の各画素データに基づいて第１の特徴情報を生成する第１の特徴情報生成ステップと、上記取得ステップで取得した入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第２の画素として抽出する第２の抽出ステップと、上記第２の画素の各画素データに基づいて、上記注目画素近傍の斜め線の画素及び細線の画素の有無を判定し、該斜め線の画素及び該細線の画素の少なくとも一方が存在する場合には、該画素の種類を第２の特徴情報として生成する第２の特徴情報生成ステップと、上記第１の特徴情報及び第２の特徴情報に基づいて１つのクラスを決定するクラス決定ステップと、各クラス毎の予測係数セットが記憶された記憶手段に記憶されている上記クラス決定ステップで決定されたクラスに応じた予測係数セットと、画素抽出手段によって抽出された上記注目画素近傍の複数の画素値との演算を行うことにより、上記注目画素の色成分とは異なる色成分を持つ画素を生成する画素生成ステップとを備える。
【００１５】
また、本発明は、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す色成分を画素データとして持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、上記プログラムは、上記入力画像信号を取得する取得ステップと、上記取得ステップで取得した入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第１の画素として抽出する第１の抽出ステップと、上記第１の抽出ステップで抽出された複数の画素の各画素データに基づいて第１の特徴情報を生成する第１の特徴情報生成ステップと、上記取得ステップで取得した入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第２の画素として抽出する第２の抽出ステップと、上記第２の画素の各画素データに基づいて、上記注目画素近傍の斜め線の画素及び細線の画素の有無を判定し、該斜め線の画素及び該細線の画素の少なくとも一方が存在する場合には、該画素の種類を第２の特徴情報として生成する第２の特徴情報生成ステップと、上記第１の特徴情報及び第２の特徴情報に基づいて１つのクラスを決定するクラス決定ステップと、各クラス毎の予測係数セットが記憶された記憶手段に記憶されている上記クラス決定ステップで決定されたクラスに応じた予測係数セットと、画素抽出手段によって抽出された上記注目画素近傍の複数の画素値との演算を行うことにより、上記注目画素の色成分とは異なる色成分を持つ画素を生成する画素生成ステップとを備える。
【００１６】
また、本発明に係る学習装置は、画素位置毎に輝度あるいは複数の色のうちのいずれか１つの色成分を画像データとして持つ生徒画像信号の注目画素の近傍の複数の画素を第１の画素として抽出する第１の抽出手段と、上記第１の抽出手段で抽出された複数の画素の各画素データに基づいて第１の特徴情報を生成する第１の特徴情報生成手段と、上記生徒画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第２の画素として抽出する第２の抽出手段と、上記第２の画素の各画素データに基づいて、上記注目画素近傍斜め線の画素及び細線の画素の有無を判定し、該斜め線の画素及び該細線の画素の少なくとも一方が存在する場合には、該画素の種類を第２の特徴情報として生成する第２の特徴情報生成手段と、上記第１の特徴情報及び第２の特徴情報に基づいて１つのクラスを決定するクラス決定手段と、上記生徒画像信号と対応する画像信号であり、画素位置毎に輝度あるいは複数の色のうちのいずれか１つの色成分を画像データとして持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を第３の画素として抽出する第３の抽出手段と、上記第１及び第３の抽出手段で抽出された複数の画素の各画素データに基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段とを備える。
【００１７】
また、本発明に係る学習方法は、画素位置毎に輝度あるいは複数の色のうちのいずれか１つの色成分を画像データとして持つ生徒画像信号の注目画素の近傍の複数の画素を第１の画素として抽出する第１の抽出ステップと、上記第１の抽出ステップで抽出された複数の画素の各画素データに基づいて第１の特徴情報を生成する第１の特徴情報生成ステップと、上記生徒画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第２の画素として抽出する第２の抽出ステップと、上記第２の画素の各画素データに基づいて、上記注目画素近傍の斜め線の画素及び細線の画素の有無を判定し、該斜め線の画素及び該細線の画素の少なくとも一方が存在する場合には、該画素の種類を第２の特徴情報として生成する第２の特徴情報生成ステップと、上記第１の特徴情報及び第２の特徴情報に基づいて１つのクラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、画素位置毎に輝度あるいは複数の色のうちのいずれか１つの色成分を画像データとして持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を第３の画素として抽出する第３の抽出ステップと、上記第１及び第３の抽出ステップで抽出された複数の画素の各画素データに基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを備える。
【００１８】
さらに、本発明は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、上記プログラムは、画素位置毎に輝度あるいは複数の色のうちのいずれか１つの色成分を画像データとして持つ生徒画像信号の注目画素の近傍の複数の画素を第１の画素として抽出する第１の抽出ステップと、上記第１の抽出ステップで抽出された複数の画素の各画素データに基づいて第１の特徴情報を生成する第１の特徴情報生成ステップと、上記生徒画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第２の画素として抽出する第２の抽出ステップと、上記第２の画素の各画素データに基づいて、上記注目画素近傍の斜め線の画素及び細線の画素の有無を判定し、該斜め線の画素及び該細線の画素の少なくとも一方が存在する場合には、該画素の種類を第２の特徴情報として生成する第２の特徴情報生成ステップと、上記第１の特徴情報及び第２の特徴情報に基づいて１つのクラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、画素位置毎に輝度あるいは複数の色のうちのいずれか１つの色成分を画像データとして持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を第３の画素として抽出する第３の抽出ステップと、上記第１及び第３の抽出ステップで抽出された複数の画素の各画素データに基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを備える。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２０】
本発明は、例えば図１に示すような構成のデジタルスチルカメラ１に適用される。このデジタルスチルカメラ１は、１画素毎に割り当てられたベイヤ配列などの色フィルタからなる色コーディングフィルタ４が前面に設置された１つのＣＣＤイメージセンサ５を用いてカラー撮像を行う単板式カメラであって、被写体からの入射光が、レンズ２により集光され、アイリス３及び色コーディングフィルタ４を介してＣＣＤイメージセンサ５に入射されるようになっている。上記ＣＣＤイメージセンサ５の撮像面上には、上記アイリス３により所定レベルの光量とされた入射光により被写体像が結像される。なお、このデジタルスチルカメラ１においては、色コーディングフィルタ４とＣＣＤイメージセンサ５は別体としたが、一体化した構造とすることができる。
【００２１】
上記ＣＣＤイメージセンサ５は、タイミングジェネレータ９からのタイミング信号により制御される電子シャッタに応じて所定時間にわたって露光を行い、色コーディングフィルタ４を透過した入射光の光量に応じた信号電荷（アナログ量）を画素毎に発生することにより、上記入射光により結像された被写体像を撮像して、その撮像出力として得られる画像信号を信号調整部６に供給する。
【００２２】
信号調整部６は、画像信号の信号レベルが一定となるようにゲインを調整するＡＧＣ(Automatic Gain Contorol) 回路と、ＣＣＤイメージセンサ５が発生する１／ｆのノイズを除去するＣＤＳ(Correiated Double Sampling)回路からなる。
【００２３】
上記信号調整部６から出力される画像信号は、Ａ／Ｄ変換部７によりアナログ信号からデジタル信号に変換されて、画像信号処理部８に供給される。上記Ａ／Ｄ変換部７では、タイミングジェネレータ９からのタイミング信号に応じて、例えば１サンプル１０ビットのディジタル撮像信号を生成する。
【００２４】
このデジタルスチルカメラ１において、タイミングジェネレータ９は、ＣＣＤイメージセンサ５、信号調整部６、Ａ／Ｄ変換部７及びＣＰＵ(Central Processing Unit) １０に各種タイミング信号を供給する。ＣＰＵ１０は、モータ１１を駆動することにより、アイリス３を制御する。また、ＣＰＵ１０は、モータ１２を駆動することにより、レンズ２などを移動させ、ズームやオートフォーカスなどの制御をする。さらに、ＣＰＵ１０は、必要に応じ、フラッシュ１３により閃光を発する制御を行うようにされている。
【００２５】
画像信号処理部８は、Ａ／Ｄ変換部７から供給された画像信号に対し、欠陥補正処理、ディジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、クラス分類適応処理を用いた予測処理等の処理を行う。
【００２６】
この画像信号処理部８に接続されたメモリ１５は、例えば、ＲＡＭ(Random Access Memory)で構成され、画像信号処理部８が画像処理を行う際に必要な信号を記憶する。画像信号処理部８により処理された画像信号は、インタフェース１４を介してメモリ１６に記憶される。このメモリ１６に記憶された画像信号は、インタフェース１４を介してデジタルスチルカメラ１に対して着脱可能な記録媒体１７に記録される。
【００２７】
なお、モータ１１は、ＣＰＵ１０からの制御情報に基づいてアイリス３を駆動し、レンズ２を介して入射される光の量を制御する。また、モータ１２は、ＣＰＵ１０からの制御情報に基づいてレンズ２のＣＣＤイメージセンサ２に対するフォーカス状態を制御する。これにより、自動絞り制御動作や自動焦点制御動作が実現される。また、フラッシュ１３は、ＣＰＵ１０による制御の下で、被写体に対して所定の閃光を照射する。
【００２８】
また、インターフェース１４は、画像信号処理部８からの画像信号を必要に応じてメモリ１６に記憶し、所定のインターフェース処理を実行した後、記録媒体１７に供給し、記憶させる。記録媒体１７としては、デジタルスチルカメラ１の本体に対して着脱可能な記録媒体、例えばフロッピーディスク、ハードディスク等のディスク記録媒体、メモリカード等のフラッシュメモリ等を用いることができる。
【００２９】
コントローラ１８は、ＣＰＵ１０の制御の下で、画像信号処理部８及びインターフェース１４に制御情報を供給してそれぞれを制御する。ＣＰＵ１０には、シャッタボタンやズームボタンなどの操作ボタンから構成される操作部２０からユーザによる操作情報が入力される。ＣＰＵ１０は、入力された操作情報を基に、上述した各部を制御する。電源部１９は、バッテリ１９ＡとＤＣ／ＤＣコンバータ１９Ｂなどを有する。ＤＣ／ＤＣコンバータ１９Ｂは、バッテリ１９Ａからの電力を所定の値の直流電圧に変換し、装置内の各構成要素に供給する。充電可能なバッテリ１９Ａは、デジタルスチルカメラ１の本体に着脱可能とされている。
【００３０】
次に、図２のフローチャートを参照し、図１に示したデジタルスチルカメラ１の動作について説明する。このデジタルスチルカメラ１は、ステップＳ１において、電源がオンされることにより、被写体の撮像を開始する。すなわち、ＣＰＵ１０は、モータ１１及びモータ１２を駆動し、焦点を合わせたりアイリス３を調整することにより、レンズ２を介してＣＣＤイメージセンサ５上に被写体像を結像させる。
【００３１】
ステップＳ２では、結像された像をＣＣＤイメージセンサ５により撮像した画像信号が、信号調整部６において、信号レベルが一定となるようにゲイン調整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換部７によりデジタル化される。
【００３２】
また、ステップＳ３では、上記Ａ／Ｄ変換部７によりデジタル化された画像信号に対して、画像信号処理部８によりクラス分類適応処理を含む画像信号処理を行う。
【００３３】
ここで、被写体像は、ＣＣＤイメージセンサ５の撮像出力として得られる画像信号を電子ビューファインダに表示するよりユーザが確認できるようになっている。なお、被写体像は、光学的ビューファインダによりユーザが確認できるようにすることもできる。
【００３４】
そして、ユーザは、ビューファインダにより確認した被写体像の画像を記録媒体１７に記録したい場合、操作部２０のシャッタボタンを操作する。デジタルスチルカメラ１のＣＰＵ１０は、ステップＳ４において、シャッタボタンが操作されたか否かを判断する。デジタルスチルカメラ１は、シャッタボタンが操作されたと判断するまで、ステップＳ２〜Ｓ３の処理を繰り返し、シャッタボタンが操作されたと判断すると、ステップＳ５に進む。
【００３５】
そして、ステップＳ５では、画像信号処理部８による画像信号処理が施された画像信号をインターフェース１４を介して記録媒体１７に記録する。
【００３６】
次に、図３を参照して画像信号処理部８について説明する。
【００３７】
この画像信号処理部８は、上記Ａ／Ｄ変換部７によりデジタル化された画像信号が供給される欠陥補正部２１を備える。ＣＣＤイメージセンサ５の画素の中で、何らかの原因により入射光に反応しない画素や、入射光に依存せず、電荷が常に蓄えられている画素、換言すれば、欠陥がある画素を検出し、その検出結果に従って、それらの欠陥画素の影響が露呈しないように、画像信号を補正する処理を行う。
【００３８】
Ａ／Ｄ変換部７では、負の値がカットされるのを防ぐため、一般に信号値を若干正の方向ヘシフトさせた状態でＡ／Ｄ変換が行われている。クランプ部２２は、欠陥補正部２１により欠陥補正された画像信号に対し、上述したシフト量がなくなるようにクランプする。
【００３９】
クランプ部２２によりクランプされた画像信号は、ホワイトバランス調整部２３に供給される。ホワイトバランス調整部２３は、クランプ部２２から供給された画像信号のゲインを補正することにより、ホワイトバランスを調整する。このホワイトバランス調整部２３によりホワイトバランスが調整された画像信号は、クラス分類適応処理２４に供給される。
【００４０】
クラス分類適応処理２４では、ホワイトバランス調整部２３によりホワイトバランスが調整された画像信号について、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理などにより局所的な画像の特徴量を抽出し、各特徴に基づいてクラスを作成して、クラス毎の処理を行う。具体的な処理としては、単板画像から３板相当画像の変換、任意の画素数への変換、又はそれらの処理を同時に行うなどの各種処理が可能である。ここでは、斜め線や細線に対して特別なクラスを用意することにより、斜め線や細線部分における処理の破綻に対処する。このクラス分類適応処理２４によりクラス分類適応処理された画像信号は、ガンマ補正部２５に供給される。
【００４１】
ガンマ補正部２５は、クラス分類適応処理された画像信号の信号レベルをガンマ曲線に従って補正する。このガンマ補正部２５によりガンマ補正された画像信号は、補正部２６に供給される。
【００４２】
補正部２６は、上記ガンマ補正部２５によりガンマ補正された画像信号に対してエッジ強調等の画像を視覚的に良く見せるために必要ないわゆる画作りのための処理を行う。
【００４３】
そして、色空間変換部２７は、補正部２６によりエッジ強調などの処理が施された画像信号（ＲＧＢ信号）をマトリクス変換してＹＵＶ（輝度Ｙと色差Ｕ，Ｖとでなる信号）などの所定の信号フォーマットの画像信号に変換する。ただし、マトリクス変換処理を行わず、色空間変換部２７からＲＧＢ信号をそのまま出力させても良い。この発明の一実施形態では、例えばユーザの操作によって、ＹＵＶ信号、ＲＧＢ信号の何れを出力するかを切り換えることが可能とされている。
色空間変換部２７により変換された画像信号は、上述のインタフェース１４に供給される。
【００４４】
ここで、上記図２に示したフローチャートのステップＳ３において、画像信号処理部８により行われる画像信号処理について、図４のフローチャートを参照して説明する。
【００４５】
すなわち、画像信号処理部８では、Ａ／Ｄ変換部７によりデジタル化された画像信号に対する画像信号処理を開始すると、先ず、ステップＳ１１において、ＣＣＤイメージセンサ５の欠陥の影響が出ないように、欠陥補正部２１により画像信号の欠陥補正を行う。そして、次のステップＳ１２では、欠陥補正部２１により欠陥補正された画像信号に対して、正の方向にシフトされていた量をもとに戻すクランプ処理をクランプ部２２により行う。
【００４６】
次のステップＳ１３では、クランプ部２２によりクランプされた画像信号に対して、ホワイトバランス調整部２３によりホワイトバランスの調整を行い各色信号間のゲインを調整する。さらに、ステップＳ１４では、ホワイトバランスが調整された画像信号に対して、クラス分類適応処理部２４により単板画像から３板相当画像の変換を含むクラス分類適応処理を行う。
【００４７】
ステップＳ１５では、クラス分類適応処理されたステップＳ１５によって得られた３板式カメラのＣＣＤ出力相当の画像信号に対して、ガンマ補正部２５によりガンマ曲線に従った補正を施す。
【００４８】
ステップＳ１６では、ステップＳ１５でガンマ補正された画像信号に対して、視覚的に良く見せるための補正処理（いわゆる画作り）を行う。ステップＳ１７では、ステップＳ１６によって得られた画像に例えばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変換処理を施す。これにより、例えば記録信号として好適な信号フォーマットを有する出力画像が生成される。
【００４９】
この画像信号処理部８におけるクラス分類適応処理部２４は、図５に示すように斜め線・細線抽出回路３１、クラスタップ抽出回路３２、ＡＤＲＣ処理回路３３、クラス分類回路３４、係数メモリ３５、予測タップ抽出回路３６及び適応処理回路３７からなる。
【００５０】
斜め線・細線抽出回路３１は、入力画像信号の急峻なエッジ部分の画素の信号値を第２の特徴情報として抽出する第２の抽出手段として機能するものであって、注目領域に対してフィルタ等を用いて斜め線や細線等の補間処理の難しい波形の有無を判定し、そのような波形が存在する場合は、その種類を第２の特徴情報としてクラス分類回路３４に渡す。
【００５１】
クラスタップ抽出回路３２は、注目領域から指定されたタップ位置の画素値を抽出してＡＤＲＣ処理回路３３に渡す。ＡＤＲＣ処理回路３３は、クラスタップ抽出回路３２から渡されたクラスタップの画素値に対してＡＤＲＣ処理を行い、各画素に数ビットの符号を与えたＡＤＲＣ処理の結果を第１の特徴情報としてクラス分類回路３４に渡す。
【００５２】
クラス分類回路３４は、ＡＤＲＣ処理回路３３から受け取ったクラスタップのＡＤＲＣ処理結果すなわち第１の特徴情報と、斜め線・細線抽出回路３１から受け取った斜め線や細線等の急峻なエッジ部分の画素を示す第２の特徴情報からクラスを決定してクラス番号を係数メモリ３５に出力する。係数メモリ３５は、クラス分類回路３４から受け取ったクラス番号に対応した予測係数セットを読み出して適応処理回路３７に渡す。また、予測タップ抽出回路３６は、注目領域から指定されたタップ位置の画素値を抽出して適応処理回路３７に渡す。
【００５３】
そして、適応処理回路３７は、予測タップ抽出回路３６から渡された予測タップの画素値に、係数メモリ３５から読み出されるクラス番号に対応した予測係数セットを乗算し、線形和をもって予測画素値として出力する。
【００５４】
すなわち、クラス分類適応処理部２４では、図６のフローチャートに示す手順に従ってクラス分類適応処理を行う。
【００５５】
ステップＳ２１では、ホワイトバランス調整部２３によりホワイトバランスが調整された画像信号について、クラスタップ抽出回路３２及び予測タップ抽出回路３６によりクラスタップ及び予測タップの画素値を抽出するブロック化処理を行う。
【００５６】
次のステップＳ２２では、斜め線・細線抽出回路３１により、注目画素に対して、フィルタなどの処理により斜め線や細線が存在するか否かを判定し、その結果を第２の特徴情報としてクラス分類回路３４に渡して、クラス分類に反映させる。
【００５７】
次のステップＳ２３では、クラスタップ抽出回路３２から渡されたクラスタップの画素値に対してＡＤＲＣ処理を行い、各タップに数ビットの符号を与える。
【００５８】
次のステップＳ２４では、クラス分類回路３４により、ＡＤＲＣ処理回路３３によるＡＤＲＣ処理結果すなわち第１の特徴情報と、斜め線・細線抽出回路３１によるからの第２の特徴情報からクラスを決定してクラス番号を出力する。
【００５９】
次のステップＳ２５では、予測タップ抽出回路３６により抽出された予測タップの画素値に、適応処理回路３７によりクラス番号に対応した予測係数セットを乗算し、それらの線形和を予測画素値とする。
【００６０】
次のステップＳ２６では、全てのブロックについての処理が終了したか否かを判定し、まだ処理していないブロックが存在する場合には、ステップＳ２１に戻り、それ以降の処理を繰り返し実行する。そして、ステップＳ２６において、全てのブロックについての処理が終了したと判定された場合には、クラス分類適応処理を終了して、上述のステップＳ１６に移行する。
【００６１】
ここで、上記クラス分類適応処理に用いる予測係数セットは、予め学習により得られるもので、上記係数メモリ３５に記憶されている。
【００６２】
次に、この学習について説明する。図７は、予測係数セットを学習により得る学習装置４０の構成を示すブロック図である。
【００６３】
この学習装置４０では、クラス分類適応処理の結果として生成されるべき出力画像信号、すなわち３板式カメラのＣＣＤ出力相当の画像信号と同一の信号形式を有する高解像度の教師画像信号が間引き回路４１及び予測対象画素抽出回路４７に供給される。間引き回路４１は、教師画像信号から、色フィルタアレイの各色の配置に従つて画素を間引く。間引き処理は、ＣＣＤイメージセンサ５に対して着される光学ローパスフィルタを想定したフィルタをかけることによって行う。すなわち、実際の光学系を想定した間引き処理を行う。間引き回路４１の出力が生徒画像信号として、斜め線・細線抽出回路４２、クラスタップ抽出回路４３及び予測タップ抽出回路４６に供給される。なお、教師画像信号と生徒画像信号を個別に準備しておくことにより、上記間引き回路４１を省略することもできる。
【００６４】
斜め線・細線抽出回路４２は、生徒画像信号について局所的な注目領域に対してフィルタ等を用いて斜め線や細線等の有無を判定し、その判別結果を第２の特徴情報としてクラス分類回路４５に渡す。
【００６５】
クラスタップ抽出回路４３は、間引き回路４１により生成された生徒画像信号から、クラス分類に用いるクラスタップを抽出してＡＤＲＣ処理回路４４に渡す。
【００６６】
ＡＤＲＣ処理回路４４は、クラスタップ抽出回路４３から渡されたクラスタップの画素値に対してＡＤＲＣ処理を行い、タップ位置の波形の起伏をクラスに反映させるＡＤＲＣ処理結果を第１の特徴情報としてクラス分類回路４５に渡す。
【００６７】
クラス分類回路４５は、ＡＤＲＣ処理回路４４から受け取ったクラスタップのＡＤＲＣ処理結果すなわち第１の特徴情報と、斜め線・細線抽出回路４２から受け取った斜め線や細線等の急峻なエッジ部分の画素を示す第２の特徴情報からクラスを決定してクラス番号を第１の演算回路４８に出力する。
【００６８】
予測タップ抽出回路４６は、生徒画像におけるクラスタップとの対応をとりながら、間引き回路４１により生成された生徒画像信号から予測タップを抽出して第１の演算回路４８に出力する。ここでは、全色信号から予測タップを抽出するものとする。
【００６９】
予測対象画素抽出回路４７は、生徒画像から抽出されるクラスタップ及び予測タップとの対応をとりながら、予測の対象となる画素値を教師画像信号から抽出して第１の演算回路４８に出力する。
【００７０】
第１の演算回路４８は、クラス分類回路４５から出力されたクラス番号毎に、予測タップの画素値と予測対象画素の画素値を、最小自乗法を解くための正規方程式に足し込み、予測係数セットを解とする方程式である正規方程式のマトリクスの係数を演算する。上記第１の演算回路４８によって生成される正規方程式のマトリクスの係数が学習データメモリ４９に逐次読み込まれ、蓄積される。
【００７１】
第２の演算回路５０は、学習データメモリ４９に蓄積された正規方程式のマトリクスの係数を用いて、コレスキー分解など手法により正規方程式を解く処理を実行する。これにより、クラス毎の予測係数セットが算出される。算出された予測係数セットは、クラスに対応させて係数メモリ５１に記憶される。係数メモリ５１の記憶内容は、上述の係数メモリ３５にロードされ、クラス分類適応処理を行う際に使用される。
【００７２】
次に、図８のフローチャートを参照して、学習装置４０の動作について説明する。
【００７３】
この学習装置４０に入力されるデジタル画像信号は、３板式カメラで撮像された画像に相当する画質が得られる画像信号である。なお、３板式カメラで得られる画像信号（教師画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号を含んでいるのに対し、単板式カメラで得られる画像信号（生徒画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号の内の１つの色信号のみを含んでいる。例えば図９の（Ａ）に示すように３板式カメラで撮像されたＨＤ画像信号をフィルタリングして図９の（Ｂ）に示すように１／４サイズのＳＤ画像信号に変換した教師画像信号が、この学習装置４０に入力される。
【００７４】
ステップＳ３１では、３板式カメラで撮像された画像に相当する画質が得られる教師画像信号に対して間引き回路４１により単板カメラのＣＣＤイメージセンサ５に用いられる色コーディングフィルタ４に相当するフィルタをかける間引き処理を実行することで、図９の（Ｃ）に示すように単板式カメラのＣＣＤイメージセンサ５が出力する画像信号に対応する生徒画像信号を教師画像信号から生成し、生成した生徒画像信号をクラスタップ抽出回路４３及び予測タップ抽出回路４６に供給する。
【００７５】
ステップＳ３２では、間引き回路４１により生成された生徒画像信号から、クラスタップ抽出回路４３及び予測タップ抽出回路４６によりクラスタップ及び予測タップの画素値を抽出するブロック化処理を行う。また、予測対象画素抽出回路４７により、生徒画像から抽出されるクラスタップ及び予測タップとの対応をとりながら、予測対象画素の画素値を教師画像信号から抽出する。
【００７６】
ステップＳ３３では、斜め線・細線抽出回路４２において生徒画像信号について局所的な注目領域に対してフィルタをかけることにより斜め線や細線等の有無を判定し、その判別結果を第２の特徴情報としてクラス分類回路４５に渡す。
【００７７】
ステップＳ３４では、ＡＤＲＣ処理回路４４により、クラスタップ抽出回路４３から渡されたクラスタップの画素値についてＡＤＲＣ処理を行う。
【００７８】
ステップＳ３５では、ＡＤＲＣ処理回路４４によるクラスタップのＡＤＲＣ処理の結果から、クラス分類回路４５によりクラスを決定してクラス番号を出力する。
【００７９】
ステップＳ３６では、第１の演算回路４８により、クラス分類回路４５から出力されたクラス番号にしたがって予測タップの画素値と予測対象画素の画素値を正規方程式に足し込む。
【００８０】
ステップＳ３７では、第１の演算回路４８による正規方程式への足し込みの処理が、学習の対象画素の全てに対して行われたか否かを判定する。まだ処理していない対象画素が存在する場合には、ステップＳ３２に戻り、また、全て対象画素についての処理が行われていればステップＳ３８に進む。
【００８１】
ステップＳ３８では、第２の演算回路５０は、学習データメモリ４９に蓄積された正規方程式のマトリクスの係数を用いて、コレスキー分解などの手法により正規方程式を解く処理を実行する。
【００８２】
ステップＳ３９では、第２の演算回路５０による正規方程式を解く処理が、全てのクラス番号の正規方程式について行われたか否かを判定する。まだ処理していない正規方程式が存在する場合には、ステップＳ３８に戻り、また、全ての処理が行われていれば、学習処理を終了する。
【００８３】
このようにしてクラスコードと関連付けられて係数メモリ５１に記憶された予測係数セットは、図５に示したクラス分類適応処理部２４の係数メモリ３５に記憶されることになる。そして、画像信号処理部８のクラス分類適応処理部２４は、上述したように、係数メモリ３５に記憶されている予測係数セットを用いて、線形１次結合モデルにより、注目画素に対して適応処理を行う。
【００８４】
例えば、図１０の（Ａ）に示すｎ×ｍ（ｎ及びｍは正の整数）個の画素で構成されるＣＣＤイメージセンサにより得られるベイヤー配列の色フィルタアレイにより色コーディングされた出力画像信号から、図１０の（Ｂ）に示す２ｎ×２ｍ個のＲ画素の画像信号、２ｎ×２ｍ個のＧ画素の画像信号及び２ｎ×２ｍ個のＢ画素の画像信号を、それぞれ直接生成する適応処理を行うことにより、４倍密度の画像を生成する。この場合、画像信号処理部８では、クラスタップ抽出部３０により入力画像信号をｐ×ｑ（ｐ及びｑは正の整数）個のブロックに分割し、各ブロック毎にクラスタップを抽出する。
【００８５】
この場合、例えば、図１１乃至図１４に示すようような構造のクラスタップが使用される。図１１の（Ａ）、図１２の（Ａ）、図１３の（Ａ）及び図１４の（Ａ）に示される注目画素の斜め方向に隣接する位置に×印で示される予測画素のＲ信号、Ｇ信号又はＢ信号を生成する場合、及び、そのための予測係数セットを算出する際に、クラスを決定するのに用いられるにクラスタップの一例の構造を図１１の（Ｂ）、図１２の（Ｂ）、図１３の（Ｂ）及び図１４の（Ｂ）に示す。
図１１の（Ｂ）、図１２の（Ｂ）、図１３の（Ｂ）及び図１４の（Ｂ）において、△はＢ信号のクラスタップを示し、○はＧ信号のクラスタップを示し、さらに、□はＲ信号のクラスタップを示している。
【００８６】
そして、このような構造のクラスタップをクラスタップ抽出部３０により抽出し、クラス分類回路４５では、ＡＤＲＣ処理回路４４によるクラスタップ（９タップ）の１ビットＡＤＲＣの結果を示す第１の特徴情報による５１２クラスを、斜め線・細線抽出回路４２による急峻なエッジパターンの有無の判別結果を示す第２の特徴情報によりそれぞれ２クラスに分類し、１０２４クラスに分類する。
【００８７】
ここで、斜め線・細線抽出回路４２に使用するフィルタとしては、例えば図１５の（Ａ）〜（Ｆ）に示すようなタップ構造のフィルタを使用することができる。
【００８８】
図１５の（Ａ）は、水平エッジ検出用のフィルタのタップ構造を示している。
水平エッジ検出用のフィルタでは、図１５の（Ａ）に◎で示す注目画素に対して、□で示すように、上下に隣接する２個のＧ画素と、これらのＧ画素の左右にある４個のＧ画素の合計６個のＧ画素がフィルタタップとされる。
【００８９】
図１５の（Ｂ）は、垂直エッジ検出用のフィルタのタップ構造を示している。
垂直エッジ検出用のフィルタでは、図１５の（Ｂ）に◎で示す注目画素に対して、□で示すように、左右に隣接する２個のＧ画素と、これらのＧ画素の上下にある４個のＧ画素の合計６個のＧ画素がフィルタタップとされる。
【００９０】
図１５の（Ｃ），（Ｄ）は、それぞれ斜めエッジ検出用のフィルタのタップ構造を示している。斜めエッジ検出用のフィルタでは、図１５の（Ｃ），（Ｄ）に◎で示す注目画素に対して、□で示すように、上下左右に隣接する４個のＧ画素がフィルタタップとされる。
【００９１】
図１５の（Ｅ）は、水平細線検出用のフィルタのタップ構造を示している。水平細線検出用のフィルタでは、図１５の（Ｅ）に◎で示す注目画素に対して、□で示すように、左右に隣接する２個のＧ画素を上記水平エッジ検出用のフィルタにおける６個のＧ画素に加えた合計８個のＧ画素がフィルタタップとされる。
【００９２】
図１５の（Ｆ）は、垂直細線検出用のフィルタのタップ構造を示している。垂直細線検出用のフィルタでは、図１５の（Ｆ）に◎で示す注目画素に対して、□で示すように、上下に隣接する２個のＧ画素を上記垂直エッジ検出用のフィルタにおける６個のＧ画素に加えた合計８個のＧ画素がフィルタタップとされる。
【００９３】
斜め線・細線抽出回路４２における急峻なエッジの判別は、これらのフィルタの結果に閾値による判定を加えることにより行われる。
【００９４】
このようなフィルタは、問題を生じるエッジや波形に従って設計することが可能であり、ＣＣＤイメージセンサの色フィルタの特性によっても調整することができる。
【００９５】
また、予測タップ抽出部３６では、図１６乃至図１９に示すようような構造の予測タップを抽出する。図１６の（Ａ）、図１７の（Ａ）、図１８の（Ａ）及び図１９の（Ａ）に示される注目画素の斜め方向に隣接する位置に×印で示される予測画素のＲ信号、Ｇ信号又はＢ信号を生成する場合、及び、そのための予測係数セットを算出する際に用いられるに予測タップの一例の構造を図１６の（Ｂ）、図１７の（Ｂ）、図１８の（Ｂ）及び図１９の（Ｂ）に示す。すなわち、予測タップは、図１６の（Ｂ）、図１７の（Ｂ）、図１８の（Ｂ）及び図１９の（Ｂ）に○を付して示すように注目画素を含む５×５の２５個の画素にて構成される。
【００９６】
なお、本来、クラスタップ及び予測タップの位置は、それぞれ最も効率の良いように配置される。そして、クラスタップ及び予測タップは数多く使用する方が、処理の精度は向上する。
【００９７】
以上の実施の形態の効果を評価するため、色フィルタアレイとしてベイヤー配列のものを用いた場合を想定したシミュレーションを行った。
【００９８】
学習装置４０と同様の処理を行うアルゴリズムで予測係数セットを生成し、３板式カメラのＣＣＤ出力相当の画像信号から、クラス分類適応処理の倍率と画素の位置関係を考慮した間引き操作により、単板式カメラのＣＣＤ出力相当の画像信号を生成し、上述したクラス分類適応処理による補間を行ったところ、従来の線形補間、また、ＲＧＢそれぞれのＡＤＲＣの波形分類を組み合わせたクラス分類などとの対比の結果、本発明の優位性を確認することができた。
【００９９】
シミュレーションには、ＩＴＥ(Institute of Television Engineers) のハイビジョン標準画像９枚を使用し、予測係数セットの算出に関してもその９枚を用いてシミュレーションを行った。その結果、線形補間との比較では、全ての画像のＲＧＢにおいて斜め線やエッジ部分、細部の鮮鋭度が増加し、ＳＮも向上することができた。
【０１００】
なお、上述した説明では、色コーディングフィルタ４として、ベイヤー配列のものを用いた場合を説明したが、他の構成のであっても情報の密度に差がある構成の色コーディングフィルタを用いる場合には本発明を適応するができる。
【０１０１】
ここで、このデジタルスチルカメラ１のＣＣＤイメージセンサ５に用いることのできる色コーディングフィルタ４を構成する色フィルタアレイの構成例を図２０の（Ａ）〜（Ｎ）に示す。
【０１０２】
図２０の（Ａ）〜（Ｇ）は、原色（Ｒ，Ｇ，Ｂ）成分を通過させる原色フィルタアレイで構成された色コーディングフィルタ４における緑（Ｇ）・赤（Ｒ）・青（Ｂ）の色配列の例を示している。
【０１０３】
図２０の（Ａ）はベイヤー配列を示し、図２０の（Ｂ）はインタライン配列を示し、図２０の（Ｃ）はＧストライプＲＢ市松配列を示し、図２０の（Ｄ）はＧストライプＲＢ完全市松配列を示し、図２０（Ｅ）はストライプ配列を示し、図２０の（Ｆ）は斜めストライプ配列を示し、図２０の（Ｇ）は原色色差配列を示す。
【０１０４】
また、図２０の（Ｈ）〜（Ｎ）は、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分を通過させる補色フィルタアレイで構成された色コーディングフィルタ４におけるマゼンタ（Ｍ）・黄（Ｙ）・シアン（Ｃ）・白（Ｗ）の色配列を示す。図２０の（Ｈ）はフィールド色差順次配列を示し、図２０の（Ｉ）がフレーム色差順次配列を示し、図２０の（Ｊ）はＭＯＳ型配列を示し、図２０の（Ｋ）は改良ＭＯＳ型配列を示し、図２０の（Ｌ）はフレームインターリーブ配列を示し、図２０の（Ｍ）はフィールドインターリーブ配列を示し、図２０の（Ｎ）はストライプ配列を示す。
【０１０５】
なお、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分は、
Ｙ＝Ｇ＋Ｒ
Ｍ＝Ｒ＋Ｂ
Ｃ＝Ｇ＋Ｂ
Ｗ＝Ｒ＋Ｇ＋Ｂ
にて与えられる。また、図２０の（Ｉ）に示すフレーム色差順対応の色コーディングフィルタ４を通過する各色（ＹＭ，ＹＧ，ＣＭ，ＣＧ）成分は、
ＹＭ＝Ｙ＋Ｍ＝２Ｒ＋Ｇ＋Ｂ
ＣＧ＝Ｃ＋Ｇ＝２Ｇ＋Ｂ
ＹＧ＝Ｙ＋Ｇ＝Ｒ＋２Ｇ
ＣＭ＝Ｃ＋Ｍ＝Ｒ＋Ｇ＋２Ｒ
にて与えられる。
【０１０６】
また、このデジタルスチルカメラ１では、単板のＣＣＤイメージセンサ５により撮像された画像信号から４倍密度の画像信号をクラス分類適応処理により生成するようにしたが、単板画像から３板相当画像への変換に限られることなく、任意の画素数への変換をクラス分類適応処理により行うようにすることができ、また、それらの処理を同時に行うなどの各種処理をクラス分類適応処理により行うようにすることができる。
【０１０７】
上記クラス分類適応処理を行うためのクラス分類の手法には、クラスタップの画素値について、波形の特徴をＡＤＲＣによって表す以外にも、クラスタップの画素値のＭＳＢ数ビットを用いるなどの手法があるが、本発明は基本的のどのクラス分類を採用することもできる。
【０１０８】
さらに、上記クラス分類適応処理部２４におけるクラス分類適応処理や、上記学習装置４０において予測係数セットを得るための学習処理は、例えば図２１に示すように、バス３１１に接続されたＣＰＵ(Central Processing Unit) ３１２、メモリ３１３、入力インターフェース３１４、ユーザインターフェース３１５や出力インターフェース３１６などにより構成される一般的なコンピュータシステム３１０により実行することができる。上記処理を実行するコンピュータプログラムは、記録媒体に記録されて、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体、又は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体として、ユーザに提供される。上記記録媒体には、磁気ディスク、ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【０１０９】
【発明の効果】
以上の如く本発明によれば、本発明は、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す色成分を画素データとして持つ入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第１の画素として抽出し、抽出された複数の画素の各信号値から第１の特徴情報を生成するとともに、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第２の画素として抽出し、上記第２の画素の各画素データに基づいて、上記注目画素近傍のエッジ情報を第２の特徴情報として生成し、上記第１の特徴情報及び第２の特徴情報に基づいて１つのクラスを決定し、そのクラスに基づいて、少なくとも上記注目画素の位置に、上記色成分である上記画素データを生成するので、画像の斜め線や細線の部分に対応したクラス分類適応処理により、解像度が高く、細部まで鮮明な画像を再現できる画像信号を単板式カメラのＣＣＤ出力から得ることができる。
【０１１０】
また、本発明によれば、画素位置毎に輝度あるいは複数の色のうちのいずれか１つの色成分を画像データとして持つ生徒画像信号の注目画素の近傍の複数の画素を第１の画素として抽出し、抽出された複数の画素の各画素データに基づいて第１の特徴情報を生成するとともに、上記生徒画像信号の注目画素毎に、上記注目画素近傍の複数の画素を第２の画素として抽出し、上記第２の画素の各画素データに基づいて、上記注目画素近傍のエッジ情報を第２の特徴情報として生成し、上記第１の特徴情報及び第２の特徴情報に基づいて１つのクラスを決定する。
そして、上記生徒画像信号と対応する画像信号であり、画素位置毎に輝度あるいは複数の色のうちのいずれか１つの色成分を画像データとして持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を第３の画素として抽出し、上記第１の画素及び第３の画素として抽出された複数の画素の各画素データに基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成するので、画像の斜め線や細線の部分に対応したクラス分類適応処理により、解像度が高く、細部まで鮮明な画像を再現できる画像信号を得るための処理行う画像信号処理装置が用いる予測係数セットを算出することができる。
【図面の簡単な説明】
【図１】本発明を適用したデジタルスチルカメラの構成を示すブロック図である。
【図２】上記デジタルスチルカメラの動作を説明するためのフローチャートである。
【図３】上記デジタルスチルカメラにおける画像信号処理部の構成を示すブロック図である。
【図４】上記画像信号処理部により行われる画像信号処理を説明するためのフローチャートである。
【図５】クラス分類適応処理を行うクラス分類適応処理部の構成例を示す示すブロック図である。
【図６】上記クラス分類適応処理部により行われるクラス分類適応処理を説明するためのフローチャートである。
【図７】上記クラス分類適応処理部におけるクラス分類適応処理に用いる予測係数セットを学習により得る学習装置の構成例を示すブロック図である。
【図８】上記学習装置の動作を説明するためのフローチャートである。
【図９】上記学習装置による学習処理の一例を模式的に示す図である。
【図１０】上記画像信号処理部におけるクラス適応処理による画像信号処理の一例を模式的に示す図である。
【図１１】上記クラス適応処理に使用するクラスタップの構造を模式的に示す図である。
【図１２】上記クラス適応処理に使用するクラスタップの構造を模式的に示す図である。
【図１３】上記クラス適応処理に使用するクラスタップの構造を模式的に示す図である。
【図１４】上記クラス適応処理に使用するクラスタップの構造を模式的に示す図である。
【図１５】上記クラス適応処理部における斜め線・細線抽出回路に使用するフィルタのタップ構造を模式的に示す図である。
【図１６】上記クラス適応処理に使用する予測タップの構造を模式的に示す図である。
【図１７】上記クラス適応処理に使用する予測タップの構造を模式的に示す図である。
【図１８】上記クラス適応処理に使用する予測タップの構造を模式的に示す図である。
【図１９】上記クラス適応処理に使用する予測タップの構造を模式的に示す図である。
【図２０】上記デジタルスチルカメラのＣＣＤイメージセンサに用いることのできる色コーディングフィルタの色フィルタアレイの構成例を模式的に示す図である。
【図２１】上記クラス分類適応処理や予測係数セットを得るための学習処理を行うコンピュータシステムの一般的な構成を示すブロック図である。
【図２２】従来の線形補間による画像信号処理を模式的に示す図である。
【符号の説明】
１  デジタルスチルカメラ、５  ＣＣＤイメージセンサ、８  画像信号処理部、２４  クラス分類適応処理部、３１  斜め線・細線抽出回路、３２  クラスタップ抽出回路、３３  ＡＤＲＣ処理回路、３４  クラス分類回路、３５  係数セットメモリ、３６  予測タップ抽出回路、３７  適応処理回路、４０  学習装置、４１  間引き部、４２  斜め線・細線抽出回路、４３  クラスタップ抽出回路、４４  ＡＤＲＣ処理回路、４５  クラス分類回路、４６  予測タップ抽出回路、４７  予測対象画素抽出回路、４８  第１の演算回路、４９  学習データメモリ、５０  第２の演算回路、５１  係数メモリ
【図１】
0004581199.tif 000002
【図２】
0004581199.tif 000003
【図３】
0004581199.tif 000004
【図４】
0004581199.tif 000005
【図５】
0004581199.tif 000006
【図６】
0004581199.tif 000007
【図７】
0004581199.tif 000008
【図８】
0004581199.tif 000009
【図９】
0004581199.tif 000010
【図１０】
0004581199.tif 000011
【図１１】
0004581199.tif 000012
【図１２】
0004581199.tif 000013
【図１３】
0004581199.tif 000014
【図１４】
0004581199.tif 000015
【図１５】
0004581199.tif 000016
【図１６】
0004581199.tif 000017
【図１７】
0004581199.tif 000018
【図１８】
0004581199.tif 000019
【図１９】
0004581199.tif 000020
【図２０】
0004581199.tif 000021
【図２１】
0004581199.tif 000022
【図２２】
0004581199.tif 000023