(57)【特許請求の範囲】
【請求項１】
複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される、単板式カメラの固体撮像素子によって生成された入力画像信号を処理する画像信号処理装置において、
上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出手段と、
上記抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、
上記クラス決定手段で決定されたクラスに基づいて、上記入力画像信号の各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換する処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成手段と
を備える画像信号処理装置。
【請求項２】
上記出力画像生成手段は、
クラス毎の予測係数セットを記憶する記憶手段と、
上記クラス決定手段で決定されたクラスに応じた予測係数セットと上記抽出手段によって抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記出力画像信号を生成する演算手段と
を備える請求項１記載の画像信号処理装置。
【請求項３】
複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される単板式カメラの固体撮像素子によって生成された入力画像信号を処理する画像信号処理方法において、
上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、
上記抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、
上記クラス決定ステップで決定されたクラスに基づいて、上記入力画像信号の各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換する処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成ステップと
を有する画像信号処理方法。
【請求項４】
上記出力画像生成ステップでは、
上記クラス決定ステップで決定されたクラスに応じた予測係数セットと上記抽出ステップで抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記出力画像信号を生成することを特徴とする請求項３記載の画像信号処理方法。
【請求項５】
複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される、単板式カメラの固体撮像素子によって生成された入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、
上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、
上記抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、
上記クラス決定ステップで決定されたクラスに基づいて、上記入力画像信号の各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換する処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成ステップと
を含む処理をコンピュータに実行させるプログラムがコンピュータに読み取り可能に記録された記録媒体。
【請求項６】
上記出力画像生成ステップでは、
上記クラス決定ステップで決定されたクラスに応じた予測係数セットと上記抽出ステップで抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記出力画像信号を生成することを特徴とする請求項５記載の記録媒体。
【請求項７】
複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される、単板式カメラの固体撮像素子によって生成された生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出手段と、
上記第１の画素抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、
上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出手段と、
上記第１及び第２の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換することによって、上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段と
を備えることを特徴とする学習装置。
【請求項８】
上記クラス決定手段は、
上記第１の画素抽出手段で抽出された複数の画素に対して、ＡＤＲＣ(Adaptive  Dynamic  Range  Coding)  処理により特徴情報を生成し、特徴情報に基づいてクラスを決定することを特徴とする請求項７記載の学習装置。
【請求項９】
複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される、単板式カメラの固体撮像素子によって生成された生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、
上記第１の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、
上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、
上記第１及び第２の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号の各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換することによって、上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップと
を有する学習方法。
【請求項１０】
上記クラス決定ステップでは、
上記第１の画素抽出手段で抽出された複数の画素に対して、ＡＤＲＣ(Adaptive  Dynamic  Range  Coding)  処理により特徴情報を生成し、特徴情報に基づいてクラスを決定する請求項９記載の学習方法。
【請求項１１】
クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、
複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される単板式カメラの固体撮像素子によって生成された生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、上記第１の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、上記第１及び第２の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップと
を含む処理をコンピュータに実行させるプログラムがコンピュータに読み取り可能に記録された記録媒体。
【請求項１２】
上記クラス決定ステップでは、
上記第１の画素抽出手段で抽出された複数の画素に対して、ＡＤＲＣ(Adaptive  Dynamic  Range  Coding)  処理により特徴情報を生成し、特徴情報に基づいてクラスを決定する請求項１１記載の記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関し、特に、より高精細度の画像を得ることができるようにした画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関する。
【０００２】
【従来の技術】
ＣＣＤ（Charge Coupled Device）イメージセンサなどの固体イメージセンサを用いた撮像装置には、主に、１つのＣＣＤイメージセンサを用いた単板方式のもの（以後、単板式カメラという）と、３つのＣＣＤイメージセンサを用いた３板方式のもの（以後、３板式カメラという）とがある。
【０００３】
３板式カメラでは、例えばＲ信号用、Ｇ信号用及びＢ信号用の３つのＣＣＤイメージセンサを用いて、その３つのＣＣＤイメージセンサにより３原色信号を得る。そして、この３原色信号から生成されるカラー画像信号が記録媒体に記録される。
【０００４】
単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのＣＣＤイメージセンサを用いて、上記色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。上記色コーディングフィルタを構成する色フィルタアレイとしては、例えば、Ｒ（Red），Ｇ（Green），Ｂ（Blue）の原色フィルタアレイや、Ｙｅ（Yellow），Ｃｙ（Cyanogen），Ｍｇ（Magenta）の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、ＣＣＤイメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、３板式カメラにより得られる画像に近い画像を得るようしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。
【０００５】
単板式カメラにおいて、例えば図２１の（Ａ）に示すような色配列の色フィルタアレイにより構成された色コーディングフィルタが設けられたＣＣＤイメージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色のフィルタが配置された各画素から、そのフィルタの色に対応する画像信号のみが出力される。すなわち、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は出力されるが、Ｇ成分及びＢ成分の画像信号は出力されない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが出力され、Ｒ成分及びＢ成分の画像信号は出力されず、Ｂの画素からは、Ｂ成分の画像信号のみが出力され、Ｒ成分及びＧ成分の画像信号は出力されない。
【０００６】
ここで、図２１の（Ａ）に示す色フィルタアレイの色配列は、ベイヤー配列と称される。この場合においては、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。
【０００７】
しかしながら、後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分及びＢ成分の画像信号が必要となる。そこで、従来、ｎ×ｍ（ｎ及びｍは正の整数）個の画素で構成されるＣＣＤイメージセンサの出力から、図２１の（Ｂ）に示すように、ｎ×ｍ個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号及びｎ×ｍ個のＢ画素の画像信号、すなわち、３板式カメラのＣＣＤ出力相当の画像信号が、それぞれ補間演算により求められ、それらの画像信号が後段に出力される。
【０００８】
そして、さらに、例えば４倍密度の画像信号を生成する場合、図２１の（Ｃ）に示すように、ｎ×ｍ個のＲ画素の画像信号から２ｎ×２ｍ個のＲ画素の画像信号が補間演算により求められ、ｎ×ｍ個のＧ画素の画像信号から２ｎ×２ｍ個のＧ画素の画像信号が補間演算により求められ、さらに、ｎ×ｍ個のＢ画素の画像信号から、２ｎ×２ｍ個のＢ画素の画像信号が補間演算により求められる。
【０００９】
【発明が解決しようとする課題】
従来の装置においては、このように、単板式カメラのＣＣＤイメージセンサの出力から、同一解像度の３原色の成分を各画素毎に生成し、その画像信号から、さらにより高密度の画像信号を演算するようにしている。その結果、画素密度を大きくしたとしても、十分な精細度を得ることができないという問題点があった。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、確実に高精細度の画像を得ることができるようにすることを目的とするものである。
【００１１】
【課題を解決するための手段】
本発明は、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される、単板式カメラの固体撮像素子によって生成された入力画像信号を処理する画像信号処理装置において、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出手段と、上記抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、上記クラス決定手段で決定されたクラスに基づいて、上記入力画像信号の各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換する処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成手段とを備えることを特徴とする。
【００１２】
また、本発明は、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される単板式カメラの固体撮像素子によって生成された入力画像信号を処理する画像信号処理方法において、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、上記入力画像信号の各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換する処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成ステップとを有することを特徴とする。
【００１３】
更に、本発明は、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される、単板式カメラの固体撮像素子によって生成された入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、上記入力画像信号の各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換する処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成ステップとを含む処理をコンピュータに実行させるプログラムがコンピュータに読み取り可能に記録されていることを特徴とする。
【００１４】
また、本発明にかかる学習装置は、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される、単板式カメラの固体撮像素子によって生成された生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出手段と、上記第１の画素抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出手段と、上記第１及び第２の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換することによって、上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段とを備えることを特徴とする。
【００１５】
更に、本発明にかかる学習方法は、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される、単板式カメラの固体撮像素子によって生成された生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、上記第１の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、上記第１及び第２の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号の各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換することによって、上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを有することを特徴とする。
【００１６】
また、本発明は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される単板式カメラの固体撮像素子によって生成された生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、上記第１の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、上記第１及び第２の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを含む処理をコンピュータに実行させるプログラムがコンピュータに読み取り可能に記録されていることを特徴とする。
【００１７】
【発明の実施の形態】
図１は、ＣＣＤイメージセンサの出力から、より高密度（この例の場合、４倍密度）の画像信号を生成する処理の原理を表している。本発明においては、図１の（Ａ）に示すｎ×ｍ（ｎ及びｍは正の整数）個の画素で構成されるＣＣＤイメージセンサの出力画像信号から、図１の（Ｂ）に示す２ｎ×２ｍ個のＲ画素の画像信号、２ｎ×２ｍ個のＧ画素の画像信号及び２ｎ×２ｍ個のＢ画素の画像信号を、それぞれ直接生成する適応処理を行う。
【００１８】
図２は、以上のような原理に従って、被写体を撮像するデジタルスチルカメラ１の構成例を示す。
【００１９】
このデジタルスチルカメラ１は、１画素毎に割り当てられた色フィルタからなる色コーディングフィルタ４が前面に設置された１つのＣＣＤイメージセンサ５を用いてカラー撮像を行う単板式カメラであって、被写体からの入射光が、レンズ２により集光され、アイリス３及び色コーディングフィルタ４を介してＣＣＤイメージセンサ５に入射されるようになっている。上記ＣＣＤイメージセンサ５の撮像面上には、上記アイリス３により所定レベルの光量とされた入射光により被写体像が結像される。なお、このデジタルスチルカメラ１においては、色コーディングフィルタ４とＣＣＤイメージセンサ５は別体としたが、一体化した構造とすることができる。
【００２０】
上記ＣＣＤイメージセンサ５は、タイミングジェネレータ９からのタイミング信号により制御される電子シャッタに応じて所定時間にわたって露光を行い、色コーディングフィルタ４を透過した入射光の光量に応じた信号電荷（アナログ量）を画素毎に発生することにより、上記入射光により結像された被写体像を撮像して、その撮像出力として得られる画像信号を信号調整部６に供給する。
【００２１】
信号調整部６は、画像信号の信号レベルが一定となるようにゲインを調整するＡＧＣ(Automatic Gain Contorol) 回路と、ＣＣＤイメージセンサ５が発生する１／ｆのノイズを除去するＣＤＳ(Correiated Double Sampling)回路からなる。
【００２２】
上記信号調整部６から出力される画像信号は、Ａ／Ｄ変換部７によりアナログ信号からデジタル信号に変換されて、画像信号処理部８に供給される。上記Ａ／Ｄ変換部７では、タイミングジェネレータ９からのタイミング信号に応じて、例えば１サンプル１０ビットのディジタル撮像信号を生成する。
【００２３】
このデジタルスチルカメラ１において、タイミングジェネレータ９は、ＣＣＤイメージセンサ５、信号調整部６、Ａ／Ｄ変換部７及びＣＰＵ(Central Processing Unit) １０に各種タイミング信号を供給する。ＣＰＵ１０は、モータ１１を駆動することにより、アイリス３を制御する。また、ＣＰＵ１０は、モータ１２を駆動することにより、レンズ２などを移動させ、ズームやオートフォーカスなどの制御をする。さらに、ＣＰＵ１０は、必要に応じ、フラッシュ１３により閃光を発する制御を行うようにされている。
【００２４】
画像信号処理部８は、Ａ／Ｄ変換部７から供給された画像信号に対し、欠陥補正処理、ディジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、クラス分類適応処理を用いた予測処理等の処理を行う。
【００２５】
この画像信号処理部８に接続されたメモリ１５は、例えば、ＲＡＭ(Random Access Memory)で構成され、画像信号処理部８が画像処理を行う際に必要な信号を記憶する。画像信号処理部８により処理された画像信号は、インタフェース１４を介してメモリ１６に記憶される。このメモリ１６に記憶された画像信号は、インタフェース１４を介してデジタルスチルカメラ１に対して着脱可能な記録媒体１７に記録される。
【００２６】
なお、モータ１１は、ＣＰＵ１０からの制御情報に基づいてアイリス３を駆動し、レンズ２を介して入射される光の量を制御する。また、モータ１２は、ＣＰＵ１０からの制御情報に基づいてレンズ２のＣＣＤイメージセンサ２に対するフォーカス状態を制御する。これにより、自動絞り制御動作や自動焦点制御動作が実現される。また、フラッシュ１３は、ＣＰＵ１０による制御の下で、被写体に対して所定の閃光を照射する。
【００２７】
また、インターフェース１４は、画像信号処理部８からの画像信号を必要に応じてメモリ１６に記憶し、所定のインターフェース処理を実行した後、記録媒体１７に供給し、記憶させる。記録媒体１７としては、デジタルスチルカメラ１の本体に対して着脱可能な記録媒体、例えばフロッピーディスク、ハードディスク等のディスク記録媒体、メモリカード等のフラッシュメモリ等を用いることができる。
【００２８】
コントローラ１８は、ＣＰＵ１０の制御の下で、画像信号処理部８及びインターフェース１４に制御情報を供給してそれぞれを制御する。ＣＰＵ１０には、シャッタボタンやズームボタンなどの操作ボタンから構成される操作部２０からユーザによる操作情報が入力される。ＣＰＵ１０は、入力された操作情報を基に、上述した各部を制御する。電源部１９は、バッテリ１９ＡとＤＣ／ＤＣコンバータ１９Ｂなどを有する。ＤＣ／ＤＣコンバータ１９Ｂは、バッテリ１９Ａからの電力を所定の値の直流電圧に変換し、装置内の各構成要素に供給する。充電可能なバッテリ１９Ａは、デジタルスチルカメラ１の本体に着脱可能とされている。
【００２９】
次に、図３のフローチャートを参照し、図２に示したデジタルスチルカメラ１の動作について説明する。このデジタルスチルカメラ１は、ステップＳ１において、電源がオンされることにより、被写体の撮像を開始する。すなわち、ＣＰＵ１０は、モータ１１及びモータ１２を駆動し、焦点を合わせたりアイリス３を調整することにより、レンズ２を介してＣＣＤイメージセンサ５上に被写体像を結像させる。
【００３０】
ステップＳ２では、結像された像をＣＣＤイメージセンサ５により撮像した画像信号が、信号調整部６において、信号レベルが一定となるようにゲイン調整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換部７によりデジタル化される。
【００３１】
また、ステップＳ３では、上記Ａ／Ｄ変換部７によりデジタル化された画像信号に対して、画像信号処理部８によりクラス分類適応処理を含む画像信号処理を行う。
【００３２】
ここで、被写体像は、ＣＣＤイメージセンサ５の撮像出力として得られる画像信号を電子ビューファインダに表示するよりユーザが確認できるようになっている。なお、被写体像は、光学的ビューファインダによりユーザが確認できるようにすることもできる。
【００３３】
そして、ユーザは、ビューファインダにより確認した被写体像の画像を記録媒体１７に記録したい場合、操作部２０のシャッタボタンを操作する。デジタルスチルカメラ１のＣＰＵ１０は、ステップＳ４において、シャッタボタンが操作されたか否かを判断する。デジタルスチルカメラ１は、シャッタボタンが操作されたと判断するまで、ステップＳ２〜Ｓ３の処理を繰り返し、シャッタボタンが操作されたと判断すると、ステップＳ５に進む。
【００３４】
そして、ステップＳ５では、画像信号処理部８による画像信号処理が施された画像信号をインターフェース１４を介して記録媒体１７に記録する。
【００３５】
次に、図４を参照して画像信号処理部８について説明する。
【００３６】
この画像信号処理部８は、上記Ａ／Ｄ変換部７によりデジタル化された画像信号が供給される欠陥補正部２１を備える。ＣＣＤイメージセンサ５の画素の中で、何らかの原因により入射光に反応しない画素や、入射光に依存せず、電荷が常に蓄えられている画素、換言すれば、欠陥がある画素を検出し、その検出結果に従って、それらの欠陥画素の影響が露呈しないように、画像信号を補正する処理を行う。
【００３７】
Ａ／Ｄ変換部７では、負の値がカットされるのを防ぐため、一般に信号値を若干正の方向ヘシフトさせた状態でＡ／Ｄ変換が行われている。クランプ部２２は、欠陥補正部２１により欠陥補正された画像信号に対し、上述したシフト量がなくなるようにクランプする。
【００３８】
クランプ部２２によりクランプされた画像信号は、ホワイトバランス調整部２３に供給される。ホワイトバランス調整部２３は、クランプ部２２から供給された画像信号のゲインを補正することにより、ホワイトバランスを調整する。このホワイトバランス調整部２３によりホワイトバランスが調整された画像信号は、ガンマ補正部２４に供給される。ガンマ補正部２４は、ホワイトバランス調整部２３によりホワイトバランスが調整された画像信号の信号レベルをガンマ曲線に従って補正する。このガンマ補正部２４によりガンマ補正された画像信号は、予測処理部２５に供給される。
【００３９】
予測処理部２５は、クラス分類適応処理を行うことによってガンマ補正部２４の出力を例えば３板式カメラのＣＣＤ出力相当の画像信号に変換して、補正部２６に供給する。上記予測処理部２５は、ブロック化部２８、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理部２９、クラス分類部３０、適応処理部３１、係数メモリ３２等からなる。
【００４０】
ブロック化部２８は、後述するクラスタップの画像信号をＡＤＲＣ処理部２９に供給するとともに、予測タップの画像信号を適応処理部３１に供給する。ＡＤＲＣ処理部２９は、入力されたクラスタップの画像信号に対してＡＤＲＣ処理を行って再量子化コードを生成し、この再量子化コードを特徴情報としてクラス分類部３０に供給する。クラス分類部３０は、ＡＤＲＣ処理部２９から供給される特徴情報に基づいて、画像信号パターンの分類を行い、分類結果を示すクラス番号（クラスコード）を生成する。係数メモリ３２は、クラス分類部３０により分類されたクラス番号に対応する係数セットを適応処理部３１に供給する。適応処理部３１は、係数セットメモリ３２から供給された係数セットを用いて、ブロック化部２８から供給された予測タップの画像信号から予測画素値を求める処理を行う。
【００４１】
補正部２６は、上記予測処理部２５により処理された画像信号に対してエッジ強調等の画像を視覚的に良く見せるために必要ないわゆる画作りのための処理を行う。
【００４２】
そして、色空間変換部２７は、補正部２６によりエッジ強調などの処理が施された画像信号（ＲＧＢ信号）をマトリクス変換してＹＵＶ（輝度Ｙと色差Ｕ，Ｖとでなる信号）などの所定の信号フォーマットの画像信号に変換する。ただし、マトリクス変換処理を行わず、色空間変換部２７からＲＧＢ信号をそのまま出力させても良い。この発明の一実施形態では、例えばユーザの操作によつて、ＹＵＶ信号、ＲＧＢ信号の何れを出力するかを切り換えることが可能とされている。
色空間変換部２７により変換された画像信号は、上述のインタフェース１４に供給される。
【００４３】
ここで、上記図３に示したフローチャートのステップＳ３において、画像信号処理部８により行われる画像信号処理について、図５のフローチャートを参照して説明する。
【００４４】
すなわち、画像信号処理部８では、Ａ／Ｄ変換部７によりデジタル化された画像信号に対する画像信号処理を開始すると、先ず、ステップＳ１１において、ＣＣＤイメージセンサ５の欠陥の影響が出ないように、欠陥補正部２１により画像信号の欠陥補正を行う。そして、次のステップＳ１２では、欠陥補正部２１により欠陥補正された画像信号に対して、正の方向にシフトされていた量をもとに戻すクランプ処理をクランプ部２２により行う。
【００４５】
次のステップＳ１３では、クランプ部２２によりクランプされた画像信号に対して、ホワイトバランス調整部２３によりホワイトバランスの調整を行い各色信号間のゲインを調整する。さらに、ステップＳ１４では、ホワイトバランスが調整された画像信号に対して、ガンマ補正部２４によりガンマ曲線に従った補正を施す。
【００４６】
ステップＳ１５では、クラス分類適応処理を用いた予測処理を行う。かかる処理は、ステップＳ１５１〜ステップＳ１５５までのステップからなる。
【００４７】
ステップＳ１５１では、ガンマ補正部２４によりガンマ補正された画像信号に対してブロック化部２８によりブロック化、すなわち、クラスタップ及び予測タップの切り出しを行う。ここで、クラスタップは、複数種類の色信号に対応する画素を含む。
【００４８】
ステップＳ１５２では、ＡＤＲＣ処理部２９によりＡＤＲＣ処理を行う。
【００４９】
ステップＳ１５３では、クラス分類部３０においてＡＤＲＣ処理の結果に基づいてクラスを分類するクラス分類処理を行う。そして、分類されたクラスに対応するクラス番号を適応処理部３１に与える。
【００５０】
ステップＳ１５４において、適応処理部３１は、クラス分類部３０より与えられたクラス番号に対応する予測係数セットを係数メモリ３２から読み出し、その予測係数セットを対応する予測タップの画像信号に乗算し、それらの総和をとることで、予測画素値を演算する。
【００５１】
ステップＳ１５５では、すべての領域に対して処理が行われたか否かを判定する。すべての領域に対して処理が行われたと判定される場合にはステップＳ１６に移行し、それ以外の場合にはステップＳ１５２に移行し、次の領域に対する処理を行う。
【００５２】
ステップＳ１６では、ステップＳ１５によつて得られた３板式カメラのＣＣＤ出力相当の画像に対して、視覚的に良く見せるための補正処理（いわゆる画作り）を行う。ステップＳ１７では、ステップＳ１６によつて得られた画像に例えばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変換処理を施す。これにより、例えば記録信号として好適な信号フォーマットを有する出力画像が生成される。
【００５３】
このデジタルスチルカメラ１における画像信号処理部８では、ブロック化部２８により入力画像信号をｐ×ｑ（ｐ及びｑは正の整数）個のブロックに分割し、ＡＤＲＣ処理部２９において、各ブロック毎に次のようなクラスタップを抽出し、そのクラスタップにＡＤＲＣ処理を施す。
【００５４】
ここで、クラス分類適応処理について説明する。クラス分類適応処理を用いた予測演算を行うための構成例を図６に示す。入力画像信号が領域切り出し部１０１、１０２に供給される。領域切り出し部１０１は、入力画像信号から所定の画像領域（クラスタップと称される）を抽出し、クラスタップの信号をＡＤＲＣ処理部１０３に供給する。ＡＤＲＣ処理部１０３は、供給される信号にＡＤＲＣ処理を施すことにより、再量子化コードを生成する。なお、再量子化コードを生成する方法として、ＡＤＲＣ以外の方法を用いても良い。
【００５５】
ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recorder) 用の高能率符号化のために開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語調で効率的に表現できるという特徴を有する。このため、クラス分類のコードを発生するための、画像信号の時空間内でのパターンすなわち空間アクティビティの検出に使用することができる。ＡＤＲＣ処理部１０３では、以下の式（１）により、クラスタップとして切り出される領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット数で均等に分割して再量子化する。
【００５６】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）×２ｎ ／ＤＲ〕      （１）
ここで、ＤＲは領域内のダイナミックレンジである。また、ｎはビット割当て数であり、例えばｎ＝２とすることができる。また、Ｌは領域内画素の信号レベルであり、Ｑが再量子化コードである。ただし、大かっこ（〔・・・〕）は小数点以下を切り捨てる処理を意味する。
【００５７】
これにより、１画素当たり例えば８ビットからなるクラスタップの画像信号が例えば２ビットの再量子化コード値に変換される。このようにして生成される再量子化コード値により、クラスタップの信号におけるレベル分布のパターンがより少ない情報量によつて表現される。例えば７画素からなるクラスタップ構造を用いる場合、上述したような処理により、各画素に対応する７個の再量子化コードｑ１〜ｑ７が生成される。クラスコードclass は、次の式（２）のようなものである。
【００５８】
【数１】
0004547757.tif 000002
【００５９】
ここで、ｎはクラスタップとして切り出される画素の数である。また、ｐの値としては、例えばp＝２とすることができる。
【００６０】
クラスコードclass は、時空間内での画像信号のレベル分布のパターンすなわち空間アクティビティを特徴情報として分類してなるクラスを表現している。クラスコードclass は、予測係数メモリ１０４に供給される。予測係数メモリ１０４は、後述するようにして予め決定されたクラス毎の予測係数セットを記憶しており、供給される再量子化コードによって表現されるクラスの予測係数セットを出力する。一方、領域切り出し部１０２は、入力画像から所定の画像領域（予測タップと称される）を抽出し、予測タップの画像信号を予測演算部１０５に供給する。予測演算部１０５は、領域切り出し部１０２の出力と、予測係数メモリ１０４から供給される予測係数セットとに基づいて以下の式（３）のような演算を行うことにより、出力画像信号ｙを生成する。
【００６１】
ｙ＝ｗ1×ｘ1＋ｗ2×ｘ2＋・・・＋ｗn×ｘn          （３）
ここで、ｘ1 ，・・・，ｘn が各予測タップの画素値であり、ｗ1 ，・・・，ｗn が各予測係数である。
【００６２】
また、予測係数セットを決定するための処理について図７を参照して説明する。出力画像信号と同一の画像信号形式を有するＨＤ(High Definition) 画像信号がＨＤ−ＳＤ変換部２０１と画素抽出部２０８に供給される。ＨＤ−ＳＤ変換部２０１は、間引き処理等を行うことにより、ＨＤ画像信号を入力画像信号と同等の解像度（画素数）の画像信号（以下、ＳＤ(Standard Definition) 画像信号という）に変換する。このＳＤ画像信号が領域切り出し部２０２、２０３に供給される。領域切り出し部２０２は、上記領域切り出し部１０１と同様に、ＳＤ画像信号からクラスタップを切り出し、クラスタップの画像信号をＡＤＲＣ処理部２０４に供給する。
【００６３】
ＡＤＲＣ処理部２０４は、図６中のＡＤＲＣ処理部１０３と同様なＡＤＲＣ処理を行い、供給される信号に基づく再量子化コードを生成する。再量子化コードは、クラスコード生成部２０５に供給される。クラスコード生成部２０５は、供給される再量子化コードに対応するクラスを示すクラスコードを生成し、クラスコードを正規方程式加算部２０６に供給する。一方、領域切り出し部２０３は、図６中の領域切り出し部１０２と同様に、供給されるＳＤ画像信号から予測タップを切り出し、切り出した予測タップの画像信号を正規方程式加算部２０６に供給する。
【００６４】
正規方程式加算部２０６は、領域切り出し部２０３から供給される画像信号と画素抽出部２０８から供給される画像信号について、クラスコード生成部２０５から供給されるクラスコード毎に加算し、加算した各クラス毎の信号を予測係数決定部２０７に供給する。予測係数決定部２０７は、供給される各クラス毎の信号に基づいて各クラス毎に予測係数セットを決定する。
【００６５】
さらに、予測係数セットを決定するための演算について説明する。予測係数ｗi は、図７に示したような構成に対し、ＨＤ画像信号として複数種類の画像信号を供給することにより、次のよう演算される。これらの画像信号の種類数をｍと表記する場合、式（３）から、以下の式（４）が設定される。
【００６６】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋・・・＋ｗn ×ｘkn （４）
（ｋ＝１，２，・・・，ｍ）
ｍ＞ｎの場合には、ｗ1 ，・・・，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅｋを以下の式（５）で定義して、式（６）によつて定義される誤差ベクトルｅの２乗を最小とするように予測係数セットを定めるようにする。すなわち、いわゆる最小２乗法によつて予測係数セットを一意に定める。
【００６７】
ｅk ＝ｙk−｛w1 ×ｘk1＋ｗ2 ×ｋ2 ＋・・・＋ｗn ×ｋn ｝      (５）
（ｋ＝１，２，・・・ｍ）
【００６８】
【数２】
0004547757.tif 000003
【００６９】
式（６）のｅ2 を最小とする予測係数セットを求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi （ｉ＝１，２，・・・）で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗi を決定すればよい。
【００７０】
【数３】
0004547757.tif 000004
【００７１】
式（７）から各予測係数ｗi を決定する具体的な手順について説明する。式（８），（９）のようにＸji，Ｙi を定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００７２】
【数４】
0004547757.tif 000005
【００７３】
【数５】
0004547757.tif 000006
【００７４】
【数６】
0004547757.tif 000007
【００７５】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算部２０５は、供給される信号に基づいて式（８），（９）に示すような演算を行うことにより、Ｘji，Ｙi （ｉ＝１，２，・・・，ｎ）をそれぞれ計算する。予測係数決定部２０７は、掃き出し法等の一般的な行列解法に従って正規方程式（１０）を解くことにより、予測係数ｗi （ｉ＝１，２，・・・）を算出する。
【００７６】
ここでは、注目画素の特徴情報に対応した予測係数セットと予測タップを用いて、上述の式（３）における線形１次結合モデルの演算を行うことにより、適応処理を行う。なお、適応処理に用いる注目画素の特徴情報に対応した予測係数セットは、学習により得るが、クラス対応の画素値を用いたり、非線形モデルの演算により適応処理を行うこともできる。
【００７７】
上述したようなクラス分類適応処理により、入力画像信号から、例えばノイズが除去された画像信号、走査線構造が変換されてなる画像信号等を出力画像信号として生成する種々の画像信号変換処理が実現される。
【００７８】
このデジタルスチルカメラ１では、例えば、単板式カメラのＣＣＤイメージセンサによって生成される画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号から、入力画像信号の注目画素毎に、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、１枚の画像が構成される入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出し、抽出された複数の画素に基づいてクラスを決定し、決定されたクラスに基づいて、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成するクラス分類適応処理を上記予測処理部２５で行うことより、高精細度の画像信号を得ることができる。このように、本発明を適用したデジタルスチルカメラ１においては、クラス分類適応処理を用いて、単板カメラのＣＣＤ出力を４倍密度の画像信号の各色信号Ｒ，Ｇ，Ｂを得ることができるので、エッジ部分や細部の鮮鋭度が増し、Ｓ／Ｎ比の評価値も向上する。
【００７９】
図８乃至図１１は、クラスタップの例を表している。この例においては、ＣＣＤイメージセンサ５の色フィルタアレイがベイヤー配列のものである場合の例を示している。図８は、１個のＲ画素の周囲に４倍の密度のＲＧＢ全ての画素を生成する場合のクラスタップの例を表している。図中、生成する画素は×印で表されており、クラスタップは太い枠で示されている。
【００８０】
図９と図１０は、１個のＧの画素の周囲に４倍密度のＲＧＢ全ての画素を生成する場合のクラスタップを表しており、図７は、Ｒ画素が存在する行のＧ画素の周囲に画素を生成する場合のクラスタップの例を表し、図８は、Ｂ画素が存在する行のＧ画素の周囲に４倍密度のＲＧＢ全ての画素を生成する場合のクラスタップの例を表している。
【００８１】
図１１は、１個のＢ画素の周囲に４倍密度のＲＧＢ全ての画素を生成する場合のクラスタップの例を表している。
【００８２】
ＡＤＲＣ処理部２９は、例えば、Ｒ画素の周囲の４画素のＲ，Ｇ，Ｂの各色成分の画像信号を生成する場合、図８の太枠で示す２６個の画素のうちの対応する色の画素をクラスタップとして抽出し、それぞれのＲ，Ｇ，Ｂの成分の信号値をＡＤＲＣ処理する。
【００８３】
クラス分類部３０は、ステップＳ１７において、ＡＤＲＣ処理部３１より入力された信号から、クラス分類処理を行う。すなわち、例えば図６に示すような２６個の画素のうち抽出された色の画素をＡＤＲＣ処理して得られた信号値に対応するクラスを決定し、そのクラス番号を適応処理部３１に供給する。適応処理部３１は、ステップＳ１８において、クラス分類部３０より供給されたクラス番号に対応する予測係数セットを係数メモリ３２から読み出し、その予測係数セットを対応する予測タップに乗算し、その和を求めることで、４倍密度の画素の画像信号を生成する。
【００８４】
図１２乃至図１５は、予測タップの例を表している。図１２は、１個のＲ画素の周囲に４倍密度の４個の画素を生成する場合の予測タップの例を表している。
図１３と図１４は、１個のＧ画素の周囲に４倍密度の４個の画素を生成する場合の予測タップの例を表し、図１３は、Ｒ画素が存在する行のＧ画素の周囲に４倍密度の画素を生成する場合の予測タップを表しており、図１４は、Ｂ画素が存在する行のＧ画素の周囲に４倍密度の画素を生成する場合の予測タップの例を表している。
【００８５】
図１５は、１個のＢ画素の周囲に４倍密度の４個の画素を生成する場合の予測タップの例を表している。
【００８６】
図１２乃至図１５を参照して明らかなように、この例では、４倍密度の４個のＲＧＢ全ての画素に対応する注目画素の周囲の５×５個の画素が予測タップとされる。
【００８７】
適応処理部３１は、例えば図１２に示す１個のＲの画素の左上の４倍密度の画素を予測する場合、クラス分類部３０より供給されたクラス番号の係数セットのうち、左上の画素を予測する場合の予測係数セットを対応する予測タップに乗算し、その和を求める。同様の処理が、右上、左下、右下の各予測画素を生成する場合にも行われる。
【００８８】
このようなクラス分類適応処理により、図１の（Ａ）に示すｎ×ｍ（ｎ及びｍは正の整数）個の画素で構成されるＣＣＤイメージセンサの出力画像信号（各画素は１つの色の信号のみを有している）から、図１の（Ｂ）に示す２ｎ×２ｍ個のＲ画素の画像信号、２ｎ×２ｍ個のＧ画素の画像信号及び２ｎ×２ｍ個のＢ画素の画像信号を、それぞれ直接生成することによって、一旦、ｎ×ｍ個のＲの画像信号、ｎ×ｍ個のＧ画素の画像信号及びｎ×ｍ個のＢ画素の画像信号を生成してから、４倍密度の画像信号を生成する場合に較べて、より高精細度の画像を得ることが可能となる。
【００８９】
上記クラス分類適応処理に用いられる予測係数セットは、予め学習により得られるもので、上記係数メモリ３２に記憶されている。
【００９０】
ここで、この学習について説明する。図１６は、予測係数セットを学習により得る学習装置４０の構成を示すブロック図である。
【００９１】
この学習装置４０では、クラス分類適応処理の結果として生成されるべき出力画像信号、すなわち３板式カメラのＣＣＤ出力相当の画像信号と同一の信号形式を有する画像信号が教師画像信号として間引き部４１及び教師画像ブロック化部４５に供給される。間引き部４１は、教師画像信号から、色フィルタアレイの各色の配置に従つて画素を間引く。間引き処理は、ＣＣＤイメージセンサ５に対して着される光学ローパスフィルタを想定したフィルタをかけることによって行う。すなわち、実際の光学系を想定した間引き処理を行う。間引き部４１の出力が生徒画像信号として生徒画像ブロック化部４２に供給される。
【００９２】
生徒画像ブロック化部４２は、間引き部４１により生成された生徒信号から、ブロック毎に教師画像信号の予測画素との対応を取りながら、注目画素に基づくクラスタップ及び予測タップを抽出することにより、生徒画像信号をブロック化してＡＤＲＣ処理部４３と演算部４６に供給する。ＡＤＲＣ処理部４３は、生徒画像ブロック化部４２から供給された生徒画像信号にＡＤＲＣ処理を施し特徴情報を生成し、クラス分類部４４に供給する。クラス分類部４４は、入力された特徴情報からクラスコードを発生し、演算部４６に出力する。
【００９３】
ここでは、教師画像信号は、３板式カメラのＣＣＤ出力相当の解像度をもつ画像信号であり、生徒画像信号は、単板式カメラのＣＣＤ出力相当の解像度をもつ画像信号、換言すれば、３板式カメラより解像度の低い画像信号である。さらに換言するに、教師画像信号は、１画素がＲ成分，Ｇ成分及びＢ成分すなわち３原色成分をもつ画像信号であり、生徒画像信号は、１画素がＲ成分，Ｇ成分又はＢ成分のうちの１つの色成分のみをもつ画像信号である。
【００９４】
一方、教師画像ブロック化部４５は、生徒画像信号におけるクラスタップとの対応を取りながら、教師画像信号から予測画素の画像信号を切り出し、切り出した予測画像信号を演算部４６に供給する。演算部４６は、生徒画像ブロック化部４２から供給される予測タップの画像信号と、教師画像ブロック化部４５より供給される予測画画像信号との対応を取りながら、クラス分類部４４より供給されるクラス番号に従って、予測係数セットを解とする方程式である正規方程式のデータを生成する演算を行う。上記演算部４６によつて生成される正規方程式のデータが学習データメモリ４７に逐次読み込まれ、記憶される。
【００９５】
演算部４８は、学習データメモリ４７に蓄積された正規方程式のデータを用いて正規方程式を解く処理を実行する。これにより、クラス毎の予測係数セットが算出される。算出された予測係数セットは、クラスに対応させて係数メモリ４９に記憶される。係数メモリ４９の記憶内容は、上述の係数メモリ３２にロードされ、クラス分類適応処理を行う際に使用される。
【００９６】
次に、図１７のフローチャートを参照して、学習装置４０の動作について説明する。
【００９７】
この学習装置４０に入力されるデジタル画像信号は、３板式カメラで撮像された画像に相当する画質が得られる画像信号である。なお、３板式カメラで得られる画像信号（教師画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号を含んでいるのに対し、単板式カメラで得られる画像信号（生徒画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号の内の１つの色信号のみを含んでいる。例えば図１８の（Ａ）に示すように３板式カメラで撮像されたＨＤ画像信号をフィルタリングして図１８の（Ｂ）に示すように１／４サイズのＳＤ画像信号に変換した教師画像信号が、この学習装置４０に入力される。
【００９８】
ステップＳ３１では、教師画像ブロック化部４５において、入力された教師画像信号をブロック化し、入力された教師画像信号から生徒画像ブロック化部４２が注目画素として設定する画素に対応する位置に位置する予測画素の画素値を抽出して、演算部４６に出力する。
【００９９】
また、ステップＳ３２では、３板式カメラで撮像された画像に相当する画質が得られる教師画像信号に対して間引き部４１により単板カメラのＣＣＤイメージセンサ５に用いられる色コーディングフィルタ４に相当するフィルタをかける間引き処理を実行することで、図１８の（Ｃ）に示すように単板式カメラのＣＣＤイメージセンサ５が出力する画像信号に対応する生徒画像信号を教師画像信号から生成し、生成した生徒画像信号を生徒画像ブロック化部４２に出力する。
【０１００】
ステップＳ３３では、生徒画像ブロック化部４２において、入力された生徒画像信号のブロック化を行い、各ブロック毎に、注目画素に基づいて、クラスタップと予測タップを生成する。
【０１０１】
ステップＳ３４では、ＡＤＲＣ処理部４３において、生徒画像信号から切り出されたクラスタップの信号を各色信号毎にＡＤＲＣ処理する。
【０１０２】
ステップＳ３５では、クラス分類部４４において、ステップＳ３３におけるＡＤＲＣ処理の結果に基づいてクラス分類し、分類されるクラスに対応するクラス番号を示す信号を出力する。
【０１０３】
ステップＳ３６では、演算部４６において、クラス分類部４４より供給されたクラス毎に、生徒画像ブロック化部４２より供給された予測タップと、教師画像ブロック化部４５より供給される予測画像に基づいて、上述の式（１０）の正規方程式を生成する処理を実行する。正規方程式は、学習データメモリ４７に記憶される。
【０１０４】
ステップＳ３７では、演算部４６によりすべてのブロックについての処理が終了したか否かを判定する。まだ処理していないブロックが存在する場合には、ステップＳ３６に戻り、それ以降の処理を繰り返し実行する。そして、ステップＳ３７において、すべてのブロックについての処理が終了したと判定された場合、ステップＳ３８に進む。
【０１０５】
ステップＳ３８では、演算部４８において、学習データメモリ４７に記憶された正規方程式を例えば掃き出し法(Gauss-Jordan の消去法) やコレスキー分解法を用いて解く処理を実行することにより、予測係数セットを算出する。このようにして算出された予測係数セットはクラス分類部４４により出力されたクラスコードと関連付けられ、係数メモリ４９に記憶される。
【０１０６】
ステップＳ３９において、演算部４８においてすべてのクラスについての正規方程式を解く処理を実行したか否かを判定し、まだ実行していないクラスが残っている場合には、ステップＳ３８に戻り、それ以降の処理を繰り返し実行する。
【０１０７】
ステップＳ３９において、すべてのクラスについての正規方程式を解く処理が完了したと判定された場合、処理は終了される。
【０１０８】
このようにしてクラスコードと関連付けられて係数メモリ４９に記憶された予測係数セットは、図４に示した画像信号処理部８の係数メモリ３２に記憶されることになる。そして、画像信号処理部８の適応処理部３１は、上述したように、係数メモリ３２に記憶されている予測係数セットを用いて、式（３）に示した線形１次結合モデルにより、注目画素に対して適応処理を行う。
【０１０９】
上述した説明では、色コーディングフィルタ４として、ベイヤー配列のものを用いた場合を説明したが、他の色コーディングフィルタを用いた場合においても、本発明を適応することができる。
【０１１０】
ここで、このデジタルスチルカメラ１のＣＣＤイメージセンサ５に用いることのできる色コーディングフィルタ４を構成する色フィルタアレイの構成例を図１９に示す。
【０１１１】
図１９の（Ａ）〜（Ｇ）は、原色（Ｒ，Ｇ，Ｂ）成分を通過させる原色フィルタアレイで構成された色コーディングフィルタ４における緑（Ｇ）・赤（Ｒ）・青（Ｂ）の色配列の例を示している。
【０１１２】
図１９の（Ａ）はベイヤー配列を示し、図１９の（Ｂ）はインタライン配列を示し、図１９の（Ｃ）はＧストライプＲＢ市松配列を示し、図１９の（Ｄ）はＧストライプＲＢ完全市松配列を示し、図１９の（Ｅ）はストライプ配列を示し、図１９の（Ｆ）は斜めストライプ配列を示し、図１９の（Ｇ）は原色色差配列を示す。
【０１１３】
また、図１９の（Ｈ）〜（Ｎ）は、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分を通過させる補色フィルタアレイで構成された色コーディングフィルタ４におけるマゼンタ（Ｍ）・黄（Ｙ）・シアン（Ｃ）・白（Ｗ）の色配列を示す。図１９の（Ｈ）はフィールド色差順次配列を示し、図１９の（Ｉ）がフレーム色差順次配列を示し、図１９の（Ｊ）はＭＯＳ型配列を示し、図１９の（Ｋ）は改良ＭＯＳ型配列を示し、図１９の（Ｌ）はフレームインターリーブ配列を示し、図１９の（Ｍ）はフィールドインターリーブ配列を示し、図１９の（Ｎ）はストライプ配列を示す。
【０１１４】
なお、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分は、
Ｙ＝Ｇ＋Ｒ
Ｍ＝Ｒ＋Ｂ
Ｃ＝Ｇ＋Ｂ
Ｗ＝Ｒ＋Ｇ＋Ｂ
にて与えられる。また、図１９の（Ｉ）に示すフレーム色差順対応の色コーディングフィルタ４を通過する各色（ＹＭ，ＹＧ，ＣＭ，ＣＧ）成分は、
ＹＭ＝Ｙ＋Ｍ＝２Ｒ＋Ｇ＋Ｂ，
ＣＧ＝Ｃ＋Ｇ＝２Ｇ＋Ｂ，
ＹＧ＝Ｙ＋Ｇ＝Ｒ＋２Ｇ
ＣＭ＝Ｃ＋Ｍ＝Ｒ＋Ｇ＋２Ｒ
にて与えられる。
【０１１５】
以上の実施の形態の効果を評価するため、色フィルタアレイとしてベイヤー配列のものを用いた場合を想定し、ＩＴＥ(Institute of Television Engineers) のハイビジョン標準画像９枚を使用し、予測係数セットの算出に関してもその９枚を用いてシミュレーションを行った。
【０１１６】
３板式カメラのＣＣＤ出力相当の画像信号から、クラス分類適応処理の倍率と画素の位置関係を考慮した間引き操作により、単板式カメラのＣＣＤ出力相当の画像信号を生成し、学習装置４０と同様の処理を行うアルゴリズムで予測係数セットを生成した。そして、単板式カメラのＣＣＤイメージセンサの出力を、縦と横それぞれ２倍ずつの画素数を有する変換処理を、その予測係数セットを用いて、クラス分類適応処理により予測生成した。クラスタップ及び予測タップは、図８乃至図１５に示すものを用いた。クラスタップについては、ＲＧＢそれぞれ独立に扱い、予測タップは、ＲＧＢを混合して使用した。
【０１１７】
シミュレーションの結果、単板式カメラのＣＣＤ出力から、３板式カメラのＣＣＤ出力相当の画像信号を介して、４倍密度の画像信号を得る場合より、エッジや細部の鮮鋭度が向上しており、より高い解像度の画像が得られた。クラス分類適応処理に代えて、線形補間処理についてもシミュレーションしてみたが、クラス分類した方が、解像度も、Ｓ／Ｎ比も良好な結果が得られた。
【０１１８】
このように、本発明を適用したデジタルスチルカメラ１においては、クラス分類適応処理を用いて、単板カメラのＣＣＤ出力を４倍密度の画像信号の各色信号Ｒ，Ｇ，Ｂを得ることができるので、エッジ部分や細部の鮮鋭度が増し、ＳＮの評価値も向上する。
【０１１９】
なお、以上においては、単板カメラのＣＣＤ出力を４倍密度の画像信号とするようにしたが、それ以外の倍率の画像信号を生成する場合にも、本発明は適用することが可能である。上述した説明においては、画像信号処理部８が適応処理に用いる予測タップと、学習装置５１が予測係数セットを算出する際に用いるクラスタップは、異なる構造としたが、同一の構造としても良い。また、予測タップとクラスタップは、上述した構造に限定されるものではない。また、画像信号のクラス削減方式として、ＡＤＲＣを用いたが、例えば、ＤＣＴ(Discrete Cosine Transform) 、ＶＱ（ベクトル量子化）、ＤＰＣＭ(Differential Pulse Code Modulation)、ＢＴＣ(Block Trancation Coding) 、非線形量子化などを用いても良い。さらに、この発明は、デジタルスチルカメラ以外に、例えばカメラ一体型ＶＴＲ等の映像機器や、例えば放送業務に用いられる画像処理装置、さらには、例えばプリンタやスキャナ等に対しても適用することができる。
【０１２０】
さらに、上記予測処理部２５におけるクラス分類適応処理や、上記学習装置４０において予測係数セットを得るための学習処理は、例えば図２０に示すように、バス３１１に接続されたＣＰＵ(Central Processing Unit) ３１２、メモリ３１３、入力インターフェース３１４、ユーザインターフェース３１５や出力インターフェース３１６などにより構成される一般的なコンピュータシステム３１０により実行することができる。上記処理を実行するコンピュータプログラムは、記録媒体に記録されて、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体、又は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体として、ユーザに提供される。上記記録媒体には、磁気ディスク、ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【０１２１】
【発明の効果】
以上の如く、本発明では、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、１枚の画像が構成される入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出し、抽出された複数の画素に基づいてクラスを決定し、決定されたクラスに基づいて、上記入力画像信号の各画素に処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成することより、高精細度の画像信号を得ることができる。
【０１２２】
また、本発明によれば、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、１枚の画像が構成される生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出し、抽出された複数の画素に基づいてクラスを決定し、
上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出し、抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成することにより、より高精細度の良好な画像信号を得ることのできるクラス適応処理に用いる係数セットを得ることができる。
【図面の簡単な説明】
【図１】本発明により４倍密度の画像を得る原理を説明する図である。
【図２】本発明を適用したデジタルスチルカメラの構成を示すブロック図である。
【図３】上記デジタルスチルカメラの動作を説明するためのフローチャートである。
【図４】上記デジタルスチルカメラにおける画像信号処理部の構成を示すブロック図である。
【図５】上記画像信号処理部により行われる画像信号処理を説明するためのフローチャートである。
【図６】クラス分類適応処理を用いた予測演算を行うための構成例を示す示すブロック図である。
【図７】予測係数セットを決定するための構成例を示すブロック図である。
【図８】上記画像信号処理部のＡＤＲＣ処理部において抽出されるクラスタップの例を示す図である。
【図９】上記ＡＤＲＣ処理部において抽出されるクラスタップの例を示す図である。
【図１０】上記ＡＤＲＣ処理部において抽出されるクラスタップの例を示す図である
【図１１】上記ＡＤＲＣ処理部において抽出されるクラスタップの例を示す図である
【図１２】上記ＡＤＲＣ処理部において抽出される予測タップの例を示す図である。
【図１３】上記ＡＤＲＣ処理部において抽出される予測タップの例を示す図である。
【図１４】上記ＡＤＲＣ処理部において抽出される予測タップの例を示す図である。
【図１５】上記ＡＤＲＣ処理部において抽出される予測タップの例を示す図である。
【図１６】予測係数セットを学習により得る学習装置の構成例を示すブロック図である。
【図１７】上記学習装置の動作を説明するためのフローチャートである。
【図１８】上記学習装置による学習処理の一例を模式的に示す図である。
【図１９】上記デジタルスチルカメラのＣＣＤイメージセンサに用いることのできる色コーディングフィルタの色フィルタアレイの構成例を模式的に示す図である。
【図２０】上記クラス分類適応処理や予測係数セットを得るための学習処理を行うコンピュータシステムの一般的な構成を示すブロック図である。
【図２１】従来の線形補間による画像信号処理を模式的に示す図である。
【符号の説明】
１  デジタルスチルカメラ、５  ＣＣＤイメージセンサ、８  画像信号処理部、２５  予測処理部、２８  ブロック化部、２９  ＡＤＲＣ処理部、３０  クラス分類部、３１  適応処理部、３２  係数セットメモリ、４０  学習装置、４１間引き部、４２  生徒画像ブロック化部、４３  ＡＤＲＣ処理部、４４  クラス分類部、４５  教師画像ブロック化部、４６  演算部、４７  学習データメモリ、４８  演算部、４９  係数メモリ
【図１】
0004547757.tif 000008
【図２】
0004547757.tif 000009
【図３】
0004547757.tif 000010
【図４】
0004547757.tif 000011
【図５】
0004547757.tif 000012
【図６】
0004547757.tif 000013
【図７】
0004547757.tif 000014
【図８】
0004547757.tif 000015
【図９】
0004547757.tif 000016
【図１０】
0004547757.tif 000017
【図１１】
0004547757.tif 000018
【図１２】
0004547757.tif 000019
【図１３】
0004547757.tif 000020
【図１４】
0004547757.tif 000021
【図１５】
0004547757.tif 000022
【図１６】
0004547757.tif 000023
【図１７】
0004547757.tif 000024
【図１８】
0004547757.tif 000025
【図１９】
0004547757.tif 000026
【図２０】
0004547757.tif 000027
【図２１】
0004547757.tif 000028