(57)【特許請求の範囲】
【請求項１】
複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理装置において、
撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行なう複数の補間フィルタ演算手段と、
撮像信号から画像の輝度勾配方向を推定する手段と、
上記推定された輝度勾配方向により変換行列の特性を決定する手段と、
上記補間フィルタ演算手段から出力する信号と、上記輝度勾配方向によって決定された特性の変換行列とにより演算を行なう変換手段と、
を有することを特徴とする画像処理装置。
【請求項２】
上記輝度勾配方向によって決定された変換行列の特性を輝度勾配の方向により連続的に変化させる請求項１記載の画像処理装置。
【請求項３】
複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理装置において、
撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行なう複数の補間フィルタ演算手段と、
撮像信号から画像の輝度勾配方向を推定する手段と、
上記推定された輝度勾配方向により修正して上記補間フィルタ演算手段から出力された信号と、変換行列とにより演算を行なう変換手段と
を有することを特徴とする画像処理装置。
【請求項４】
複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理方法において、
撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行なうとともに撮像信号から画像の輝度勾配方向を推定し、上記推定された輝度勾配方向により変換行列の特性を決定し、補間フィルタ処理した信号に対して輝度勾配方向により決定された特性の変換行列とにより演算を行なうことを特徴とする画像処理方法。
【請求項５】
上記輝度勾配方向によって決定された変換行列の特性を輝度勾配の方向により連続的に変化させる請求項４記載の画像処理方法。
【請求項６】
複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理方法において、
撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行うとともに撮像信号から画像の輝度勾配方向を推定し、上記推定された輝度勾配方向により修正した補間フィルタ処理した信号と、変換行列とにより演算を行なうことを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えばデジタルカメラやデジタルスキャナ等のように複数の色分解フィルタを配列した撮像素子の出力する信号から通常のカラーデジタル画像信号に変換する画像処置装置及び画像処理方法、特に画質劣化の抑制に関するものである。
【０００２】
【従来の技術】
１個の撮像デバイスから３原色信号を得るために、２次元に配列した画素おのおの色フィルタを重ね合わせ、色情報を輝度情報に多重された形式で撮像デバイスから取り出す単板式ＣＣＤがデジタルカメラやデジタルスキャナに使用されている。この単板式ＣＣＤで色再現性の向上を図る処理装置が、例えば特開平２−１２８５９１号公報に示されている。特開平２−１２８５９１号公報に示されている処理装置は、ＣＣＤに４種のカラーフィルタを設け、ＣＣＤから出力する各色フィルタ毎の信号を補間して、各々同時化されたマゼンタＭｒ，シアンＣｒ，イェローＹｒ，グリーンＧｒの色信号を得た後、各色信号を行列演算してＲ，Ｇ，Ｂの３信号を生成するようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、各色フィルタの配列によっては補間によりモアレやエッジの色付きなどといった画質劣化が生じる。例えば、ＲＧＢの３種類の色分解フィルタをもつ単板式ＣＣＤの場合、３×３画素が図２に示すように、ある点を中心にして（Ｇ，Ｒ，Ｇ），（Ｂ，Ｇ，Ｂ），（Ｇ，Ｒ，Ｇ）と配列されている場合、中心の画素位置のＲ，Ｇ，Ｂ値を求めるためには、従来の線形補間ではそれぞれ図５に示すように９画素に重み付けをしたＲ，Ｇ，Ｂの補間フィルタを用い、その和を求めて中心の位置の色信号を得ている。例えば図２に示す場合は上下のＲ画素の平均値を注目画素のＲ値としている。
【０００４】
このような補間フィルタを使用すると、撮像面上で図７（ａ），（ｂ）に示すように、２画素周期の白黒の横縞の像を撮像した場合、像が白黒であるから色フィルタの種類によらず各画素から、図に示すように、白か黒を示す「０」と「２５５」数値を出力するため、補間結果の（Ｒ，Ｇ，Ｂ）値は、図７（ａ）の場合（２５５，０，０）となり、（ｂ）の場合は（０，２５５，２５５）となる。すなわち、撮像面上では白／黒の像が補間処理された画像信号では赤／シアンになってしまう。同様なことが他の配置についても起こり、像の変化が激しいと実際の色とは異なる色をもつＲＧＢ画像データが得られてしまい、モアレや色付きの原因になってしまう。
【０００５】
この発明はかかる短所を改善し、単板式ＣＣＤで得られるデータからＲＧＢなどの画像データに変換するときに、モアレやエッジ色付きなどが生じることを防ぎ、画質劣化を抑制することができる画像処理装置及び画像処理方法を提供することを目的とするものである。
【０００６】
【課題を解決するための手段】
この発明に係る画像処理装置は、複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理装置において、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行なう複数の補間フィルタ演算手段と、撮像信号から画像の輝度勾配方向を推定する手段と、上記推定された輝度勾配方向により変換行列の特性を決定する手段と、上記補間フィルタ演算手段から出力する信号と、上記輝度勾配方向によって決定された特性の変換行列とにより演算を行なう変換手段とを有することを特徴とする。この輝度勾配方向によって決定された変換行列の特性を輝度勾配の方向により連続的に変化させると良い。
【０００７】
この発明に係る他の画像処理装置は、複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理装置において、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行なう複数の補間フィルタ演算手段と、撮像信号から画像の輝度勾配方向を推定する手段と、上記推定された輝度勾配方向により修正して上記補間フィルタ演算手段から出力された信号と、変換行列とにより演算を行なう変換手段とを有することを特徴とする。
【０００８】
この発明に係る画像処理方法は、複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理方法において、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行なうとともに撮像信号から画像の輝度勾配方向を推定し、上記推定された輝度勾配方向により変換行列の特性を決定し、補間フィルタ処理した信号に対して輝度勾配方向により決定された特性の変換行列とにより演算を行なうことを特徴とする。この輝度勾配方向によって決定された変換行列の特性を輝度勾配の方向により連続的に変化させると良い。
【０００９】
この発明に係る他の画像処理方法は、複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理方法において、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行うとともに撮像信号から画像の輝度勾配方向を推定し、上記推定された輝度勾配方向により修正した補間フィルタ処理した信号と、変換行列とにより演算を行なうことを特徴とする。
【００１２】
【発明の実施の形態】
この発明の画像入力装置は、２×２画素周期のＲＧＢ型単板ＣＣＤを有する撮像手段と信号処理部を有する。信号処理部はＡ／Ｄ変換器とラインバッファと行／列カウンタとフィルタ係数選択部及び３組の係数メモリと３組の補間フィルタを有する。Ａ／Ｄ変換器は撮像手段で撮像した画像の画素毎の画像信号をＡ／Ｄ変換する。ラインバッファは撮像手段からスキャンライン順にシリアルに転送されてくる画像データから縦横３×３画素分のデータを取り出す。行／列カウンタは撮像手段が出力するデータ中の現在の注目画素位置の行と列をカウントし、行／列信号を出力して色フィルタの配列パターンを示す。フィルタ係数選択部はラインバッファから得られる３×３画素分の画像データに対して所定の演算を行ない、所定の閾値と比較して、縦，横，通常の３種類の補間フィルタ係数を選択する信号を出力する。係数メモリには２画素周期の縦縞用補間フィルタの補間用フィルタ係数と、線形補間用の補間用フィルタ係数があらかじめ記録され、フィルタ係数選択部からの係数選択信号と行／列カウンタからの行／列信号によりあらかじめ記録してある補間用フィルタ係数の中の１組を出力する。補間フィルタはラインバッファから入力する画像データを係数メモリから入力する補間用フィルタ係数を使って積和演算を行いＲＧＢ信号に変換する。
【００１３】
撮像手段から画素毎の画像信号が入力するとＡ／Ｄ変換器でＡ／Ｄ変換したのちラインバッファに送る。ラインバッファは送られた画像データから縦横３×３画素分のデータを取り出してフィルタ係数選択部と補間フィルタに出力する。一方、行／列カウンタは撮像手段が出力するデータ中の現在の注目画素位置の行と列をカウントし、「０／０」，「０／１」，「１／０」，「１／１」の行／列信号を係数メモリに出力して色フィルタの配列パターンを示す。フィルタ係数選択部はラインバッファから得られた３×３画素分の画像データに対してあらかじめ定めた演算を行ない、所定の閾値と比較して、輝度勾配方向に応じた縦，横，通常の３種類の補間フィルタ係数を選択する信号を各係数メモリに出力する。各係数メモリはフィルタ係数選択部からの係数選択信号と行／列カウンタからの行／列信号にしたがい、あらかじめ記録してある補間用フィルタ係数の中の一組をそれぞれ補間フィルタに出力する。補間フィルタはラインバッファから入力する画像データをフィルタ係数メモリから入力する補間用フィルタ係数を使って積和演算を行いフィルタを処理しＲ，Ｇ，Ｂの画像信号を出力する。このようにして、輝度勾配の方向を調べ、方向に応じた補間用フィルタ係数を採用し、モアレや色付きなどの画質劣化を抑制する。
【００１４】
【実施例】
図１はこの発明の一実施例の画像入力装置の構成を示すブロック図である。図に示すように、画像入力装置１は、２×２画素周期のＲＧＢ型単板ＣＣＤを有する撮像手段２と信号処理部３を有する。撮像手段２のＣＣＤは３×３画素周期の色フィルタ配列を有する。この色フィルタは、例えば図２に示すように、３×３画素のある点を中心にして（Ｇ，Ｒ，Ｇ），（Ｂ，Ｇ，Ｂ），（Ｇ，Ｒ，Ｇ）の画素配置を有する。この３×３画素の範囲内のＲＧＢの色フィルタ配列として図３に示す２×２の行／列信号で定まる４種類を有する。
【００１５】
信号処理部３はＡ／Ｄ変換器４とラインバッファ５と行／列カウンタ６とフィルタ係数選択部７及び３組の係数メモリ８ａ，８ｂ，８ｃと補間フィルタ９ａ，９ｂ，９ｃを有する。Ａ／Ｄ変換器４は撮像手段２で撮像した画像の画素毎の画像信号を入力して読出クロックに同期したタイミングでＡ／Ｄ変換する。ラインバッファ５は、例えば図４に示すように、ＦＩＦＯメモリを使った１ライン遅延メモリ５１ａ，５１ｂと、３×３画素の各行に対応して直列に接続された３組のラッチ５２ａ，５２ｂ，５２ｃと３組のラッチ５３ａ，５３ｂ，５３ｃと３組のラッチ５４ａ，５４ｂ，５４ｃからなり、撮像手段２からスキャンライン順にシリアルに転送されてくる画像データから縦横３×３画素分のデータを取り出す。行／列カウンタ６は撮像手段２のＣＣＤが出力するデータ中の現在の注目画素位置の行と列をカウントし、図３に示すように、「０／０」，「０／１」，「１／０」，「１／１」の行／列信号を出力して色フィルタの配列パターンを示す。フィルタ係数選択部７はラインバッファ５から得られる３×３画素分の画像データに対して所定の演算を行ない、所定の閾値と比較して、縦，横，通常の３種類の補間フィルタ係数を選択する信号（０，１，２）を出力する。係数メモリ８ａ，８ｂ，８ｃには２画素周期の縦縞用補間フィルタの補間用フィルタ係数と、図５に示す線形補間用の補間用フィルタ係数があらかじめ記録され、フィルタ係数選択部７からの係数選択信号と行／列カウンタ６からの行／列信号にしたがい、あらかじめ記録してある補間用フィルタ係数の中の１組を出力する。補間フィルタ９ａ，９ｂ，９ｃは、ラインバッファ５から入力する画像データを係数メモリ８ａ〜８ｃから入力する補間用フィルタ係数を使って積和演算を行いＲＧＢ信号に変換する。
【００１６】
上記のように構成された画像入力装置１の動作を説明するにあたり、まず、入力した各画素の画像データ信号をＲ，Ｇ，Ｂ信号に変換する補間用フィルタ係数について説明する。
【００１７】
図２に示す色フィルタの配列についての補間フィルタとしては、図６に示す構成を考える。この補間フィルタの特徴は、Ｒ画素にかかる係数は図５に示す従来の線形補間用の補間フィルタと同じ「１／２」であり、Ｂ画素にかかる係数も従来の補間フィルタと同じ「０」と「１／２」であり、Ｇ画素にかかる係数は従来の補間フィルタと異なり「１／２」と「−１／８」と「１／８」であり、Ｇ画素の係数の総和は「０」である。したがって３×３画素領域内の４つのＧ画像が同じ値を持っていれば、図５に示した従来の補間フィルタによる補間と全く同じ結果になる。さらに、このフィルタ係数には、横方向の３画素分の係数の和は上から順に「１／４」，「１／２」，「１／４」である。この特徴により図７（ａ），（ｂ）に示すように、２画素周期の白黒の横縞の像を撮像した場合、補間結果の（Ｒ，Ｇ，Ｂ）値は、（ａ）の場合と（ｂ）の場合で同じ値（１２８，１２８，１２８）になる。すなわち、このような補間フィルタを使えば、平坦な画像に対しては従来の補間と同じ値を持ち、２画素周期の白黒の横縞に対してはモアレがでないフラットな出力をすることができる。また、上記と同じ特徴を有する図８に示す係数を有する補間フィルタを使用しても、平坦な画像に対しての補間特性を保ったまま、２画素周期の縦縞に対してフラットな出力を得ることができる。
【００１８】
このような特徴を有する補間フィルタの補間フィルタ係数は次のようにして得ることができる。ここで３×３画素の補間フィルタの補間フィルタ係数が上下左右で対象とする制約をつけると、補間フィルタ係数の自由度は図９に示すように（ａ，ｂ，ｃ，ｄ）の４つである。これらの補間フィルタ係数には平坦な画像に対応するためＲＧＢごとの制約がある。すなわち、Ｒ信号を出力する補間フィルタは、Ｒフィルタ位置の係数の和が１となり、Ｇ，Ｂフィルタ位置の係数の和はそれぞれ０とはならなければならない。このため２ｃ＝１と（ａ＋４ｄ）＝０と２ｂ＝０の関係を満たさなければならない。さらに、２画素周期の横縞を透過させないために、上下行の係数の和と中段の係数の和を等しくすると、（２ｃ＋４ｄ）＝（２ｂ＋ａ）となる。この関係からＲ信号を出力する補間フィルタの補間フィルタ係数は、（ａ，ｂ，ｃ，ｄ）＝（１／２，０，１／２，−１／８）となる。Ｇ，Ｂ信号を出力する補間フィルタの補間フィルタ係数も同様にして得ることができ、図１０及び図１１に示す２画素周期の縦縞用補間用フィルタ係数を得ることができる。この図１０及び図１１に示す２画素周期の縦縞用補間フィルタ係数と図５に示す線形補間用の補間用フィルタ係数をあらかじめ係数メモリ８ａ〜８ｃに記憶しておく。
【００１９】
しかしながら３×３画素の補間フィルタでは、上記のように４つの自由度に対して、制約条件はＲＧＢそれぞれの和について３つである。残りの自由度は１つなので、縦または横方向の縞に対しての要求のどちらかしか満たすことはできない。３×３画素より大きい補間フィルタを使用すれば自由度は増すが、ＲＧＢそれぞれの制約条件があるため自由な周波数特性を作ることはできず、遠くの画素の影響が大きければそれだけ補間結果がぼけることになる。また、マスクが大きくなればバッファメモリ、加算器など必要なハードウエアも増えてしまう。このため輝度勾配の方向を調べ、方向によって上記のような補間方法のいずれかを採用することにより、モアレ色付きなどの画質劣化を抑制する。
【００２０】
この輝度勾配の方向を推定するため、注目画素の周囲３×３画素の画像データを図１２に示すようにＶ（ｘ，ｙ）とする。ここでｘは（ｉ−１），（ｉ），（ｉ＋１）、ｙは（ｊ−１），（ｊ），（ｊ＋１）である。この画像デ−タＶ（ｘ，ｙ）に対して、注目画素ｖ（ｉ，ｊ）の左側の輝度変化を表す量ｄｌと、注目画素ｖ（ｉ，ｊ）の右側と上側と下側の輝度変化をそれぞれ表す量ｄｒ，ｄｕ，ｄｄを下記（１）式で計算する。
【００２１】
【数１】
0003771054.tif 000002
【００２２】
次にｄｌ，ｄｒ，ｄｕ，ｄｄの最大値を探す。最大値がｄｌまたはｄｒである場合、注目画素ｖ（ｉ，ｊ）付近では横方向の輝度変化が大きいと判断できるので、図８に示す補間用フィルタ係数を使う。逆に最大値がｄｕまたはｄｄである場合は、図６に示す補間用フィルタ係数を使う。このような方法により、縦縞または横縞の対象物を撮影した場合でもモアレや色付きのないＲＧＢ画像を得ることができる。また、斜め方向の縞を撮影した場合、縦横ともに変化が大きくなる。その場合、縦／横どちらのフィルタをつかっても多少モアレが生る。また、わずかな雑音などにより図６，図８の縦横用フィルタ係数の処理結果が混在することで画質劣化が生じる。これを避けるために下記（２）式を演算する。
【００２３】
【数２】
0003771054.tif 000003
【００２４】
上記（２）式においてｍａｘ（ｄｌ，ｄｒ）はｄｌ，ｄｒの最大値を示す。フィルタ係数選択部７は、この（１），（２）の演算を行ない、演算したｄｉｒを所定の閾値ｔｒと比較し、ｄｉｒ＞ｔｒの場合は縦用、ｄｉｒ＜−ｔｒの場合は横用、それ以外は図５に示す線形補間用の補間用フィルタ係数を選択して選択信号（０，１，２）を出力する。
【００２５】
上記のように構成された画像入力装置１において、撮像手段２から入力した画像の画素毎の画像信号はＡ／Ｄ変換器４でＡ／Ｄ変換したのちラインバッファ５に送られる。ラインバッファ５は送られた画像データから縦横３×３画素分のデータを取り出してフィルタ係数選択部７と補間フィルタ９ａ〜９ｃに出力する。一方、行／列カウンタ６は撮像手段２のＣＣＤが出力するデータ中の現在の注目画素位置の行と列をカウントし、図３に示すように「０／０」，「０／１」，「１／０」，「１／１」の行／列信号を係数メモリ８ａ〜８ｃに出力して色フィルタの配列パターンを示す。フィルタ係数選択部７はラインバッファ５から得られた３×３画素分の画像データに対して前記（１）、（２）式の演算を行ない、所定の閾値ｔｒと比較して、縦，横，通常の３種類の補間フィルタ係数を選択する信号（０，１，２）を係数メモリ８ａ〜８ｃに出力する。係数メモリ８ａ〜８ｃはフィルタ係数選択部７からの係数選択信号と行／列カウンタ６からの行／列信号にしたがい、あらかじめ記録してある補間用フィルタ係数の中の一組を補間フィルタ９ａ〜９ｃに出力する。補間フィルタ９ａ〜９ｃはラインバッファ５から入力する画像データをフィルタ係数メモリ８ａ〜８ｃからの補間用フィルタ係数を使って積和演算を行いフィルタを処理しＲ，Ｇ，Ｂの画像信号を出力する。
【００２６】
このようにして、輝度勾配の方向を調べ、方向によって上記のような補間方法のいずれかを採用することにより、モアレや色付きなどの画質劣化を抑制することができる。また、例えば撮影対象が一様なシアン（Ｒ＝Ｇ＝２５５，Ｂ＝０）の場合、入力データは図１３に示すようになり、輝度勾配の方向を推定しない場合は、勾配が無いにもかかわらず縦と判断されるが、輝度勾配の方向を推定して補間用フィルタ係数を選択することにより、補間フィルタ９ａ〜９ｃは輝度勾配のない入力に対しては縦でも横でも同じ出力をするので、画像の輝度勾配に適応した補間処理を行なうことができる。
【００２７】
上記実施例は画像の輝度勾配によって補間用フィルタ係数を切り替える場合について説明したが、画像の輝度勾配の方向によってＲＧＢ変換行列を変えるようにしても上記実施例と同様にが知るの劣化を抑制することができる。
【００２８】
この画像の輝度勾配の方向によってＲＧＢ変換行列を変える実施例の構成を図１４に示す。図に示すように、画像入力装置１の信号処理部３にはＡ／Ｄ変換器４とラインバッファ５と行／列カウンタ６と変換係数選択部１１と変換係数メモリ１２と補間フィルタ１３ａ〜１３ｄ及びＲＧＢ変換部１４を有する。変換係数選択部１１は前記第１の実施例のフィルタ係数選択部７と同様な演算を行い、縦，横，通常の３種類の係数を選択する信号（０，１，２）を出力する。変換係数メモリ１２には、図１５に示すように、行／列信号毎に横勾配用の行列と縦勾配用の行列の勾配方向係数があらかじめ記憶され、変換係数選択部１１からの係数選択信号と行／列カウンタ６からの行／列信号にしたがい勾配方向係数の中の一組を選択して出力する。補間フィルタ１３ａには、例えば図２に示す３×３画素の配置に対して図１６に示すＣｈ０の補間用フィルタ係数を有し、補間フィルタ１３ｂはＣｈ１の補間用フィルタ係数を有し、補間フィルタ１３ｃにはＣｈ２の補間用フィルタ係数、補間フィルタ１３ｄにはＣｈ３の補間用フィルタ係数を有し、ラインバッファ５から入力した画像データに対して各補間用フィルタ係数を使用して演算処理する。この補間フィルタ１３ａ〜１３ｄの各補間用フィルタ係数は「０」か「１」なので、演算処理を下記（３）式により選択と加算だけで実現することができる。したがって補間フィルタ１３ａ〜１３ｄを前記第１の実施例と比べて簡単な回路構成で形成することができる。
【００２９】
【数３】
0003771054.tif 000004
【００３０】
ＲＧＢ変換部１４は補間フィルタ１３ａ〜１３ｄで得た結果Ｃｈ０〜Ｃｈ３と変換係数メモリ１２からの勾配方向係数により下記（４）式に示す行列演算してＲＧＢ信号を出力する。
【００３１】
【数４】
0003771054.tif 000005
【００３２】
このＲＧＢ変換部１４でＲＧＢ信号を求めるとき、変換係数メモリ１２から下記（５）式に示す横勾配用行列の勾配方向係数と（６）式に示す縦勾配用行列の勾配方向係数のいずれかが選択された場合、図１２に示す注目画素Ｖ（ｘ，ｙ）のＲＧＢ信号は下記（７）式又は（８）式で得られる。
【００３３】
【数５】
0003771054.tif 000006
【００３４】
この結果、前記図６，図８に示した補間用フィルタ係数を使用した場合と同じ結果を得ることができる。また、このＲＧＢ変換と同時に色補正処理を行ったり、色差信号を生成することもできる。その場合、乗算処理が必要になるが、行列演算処理を簡単な回路構成で行なうことができる。
【００３５】
次に、輝度勾配の方向によりＲＧＢ変換行列を連続的に変化させる第３の実施例について説明する。この実施例の画像入力装置１は、図１７のブロック図に示すように、信号処理部３にＡ／Ｄ変換器４とラインバッファ５と行／列カウンタ６と勾配係数フィルタ１５と変換係数決定部１６と補間フィルタ１３ａ〜１３ｄ及びＲＧＢ変換部１４を有する。勾配係数フィルタ１５は第１の実施例のフィルタ係数選択部７と同様に（１），（２）式の計算を行い、その演算結果ｄｉｒを下記（９）式に示すように、所定の閾値ｔｒでクリッピングして正規化したｄｉｒを出力する。
【００３６】
【数６】
0003771054.tif 000007
【００３７】
変換係数決定部１６は、例えば図１５に示す勾配方向係数を記憶しておき、６行／列カウンタ６からの入力にしたがい勾配方向係数を選択し、選択した勾配方向係数に変換係数フィルタ１５から入力したｄｉｒの値を乗じてＲＧＢ変換部１４に出力する。ＲＧＢ変換部１４は補間フィルタ１３ａ〜１３ｄから出力されるＣｈ０〜Ｃｈ３と変換係数決定部１６から出力される勾配方向係数にｄｉｒの値を乗算した結果から行列演算してＲＧＢ信号を出力する。このように輝度勾配の方向によりＲＧＢ変換行列を連続的に変化させることにより、斜め方向の輝度勾配などによる画質劣化を低減することができる。すなわち、（５）式と（６）式を比べると、２組の勾配方向係数で係数ｒ０，ｒ３，ｂ０，ｂ３の符号が反転している。また、通常の線形補間はこれらを全て「０」とした場合に対応する。そこで、縦から横へ「１」から「−１」まで変化する数値ｄｉｒを出力し、係数ｒ０，ｒ３，ｂ０，ｂ３にｄｉｒを乗算することで縦縞用と横縞用及びその他用の処理を連続的に変化させるができる。したがって斜め方向の縞などで縦用と横用係数が混在することによる画質劣化を抑えることができる。
【００３８】
上記第２，第３の実施例は画像の輝度勾配の方向によってＲＧＢ変換行列を変える場合について説明したが、ＲＧＢ変換行列の係数は一定にしておき、補間フィルタ１３ａ〜１３ｄから出力するＣｈ０〜Ｃｈ３のデータを輝度勾配の方向により修正するようにしても良い。この場合の実施例の画像入力装置１の構成を図１８に示す。図１８に示すように、信号処理部３の勾配係数フィルタ１５で演算した結果をＲＢＧ変換部１４に送る。変換係数決定部１６は、例えば図１５に示す勾配方向係数を記憶しておき、変換係数決定部１６は行／列カウンタ６から入力する行／列信号により勾配方向係数を選択してＲＧＢ変換部１４に送る。ＲＧＢ変換部１４は補間フィルタ１３ａ〜１３ｄから出力されるＣｈ０〜Ｃｈ３データと勾配係数フィルタ１５から送られた演算結果ｄｉｒ及び変換係数決定部１６から送られた勾配方向係数により下記（１０）式でＲＧＢ信号を演算して出力する。
【００３９】
【数７】
0003771054.tif 000008
【００４０】
このように、補間フィルタ１３ａ〜１３ｄから出力されるＣｈ０〜Ｃｈ３データを輝度勾配の方向で修正することにより、簡単な回路構成で画質の劣化を抑制することができる。
【００４１】
上記各実施例は画素ごとのＲＧＢ信号を出力する場合について説明したが、補間用フィルタ係数又はＲＧＢ変換係数を変更することにより、輝度信号と色差信号を得ることもできる。さらに、補間用フィルタ係数又はＲＧＢ変換係数を変更することにより色分解フィルタの特性を補正する色補正処理を組み込むこともできる。
【００４２】
上記各実施例は撮像手段２から入力した画像データを信号処理部３で所定の演算処理をして各画素毎のＲＧＢ信号を出力する場合について説明したが、図１９のブロック図に示すように、信号処理部３の各演算処理をプログラムとしてハードディスク装置２３に格納しておき、ＣＰＵ２１でハードディスク装置２３に格納した各演算処理プログラムにより演算処理を実行して画素毎のＲＧＢ信号を得るようにしても良い。
【００４３】
この場合、例えばデジタルカメラ２８で撮像した画像データをＡ／Ｄ変換してから通信装置２７を介して入力する。ＣＰＵ２１は入力した画像データをハードディスク装置２３に格納された演算処理プログラムにより、上記各実施例と同様に演算処理して画素毎のＲＧＢ信号を算出し、入力した画像のカラーデジタル画像信号を得る。このカラーデジタル画像信号により入力した画像のカラー画像をディスプレイ２４やプリンタ２５に出力して表示したり印刷する。このようにハードディスク装置２３に格納した各演算処理プログラムによりＣＰＵ２１で演算処理を実行して画素毎のＲＧＢ信号を得ることにより、フロッピーディスクに記憶した画像データをフロッピーディスク装置２６で読み取って再現することもできる。
【００４４】
【発明の効果】
この発明は以上説明したように、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理するとともに撮像信号から画像の輝度勾配方向を推定し、推定された輝度勾配方向により変換行列の特性を決定し、補間フィルタ処理した信号と、輝度勾配方向によって決定された特性の変換行列とにより演算を行なうから、画像の勾配に適応した変換処理を行うことができ、モアレ、色つきを低減することができる。さらに、補間処理は加算だけで済むから、小規模な演算回路で補間処理を行なうことができる。
【００４５】
また、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行うとともに撮像信号から画像の輝度勾配方向を推定し、上記推定された輝度勾配方向により修正した補間フィルタ処理した信号と、変換行列とにより演算を行なうから、画像の勾配に適応した変換処理を行うことができ、モアレ、色つきを低減することができる。さらに、補間処理は加算だけで済むから、小規模な演算回路で補間処理を行なうことができる。
【００４６】
また、輝度勾配方向によって決定された変換行列の特性を輝度勾配の方向により連続的に変化させることにより、斜め方向の勾配などによる画質劣化を低減することができる。
【００４７】
また、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行うとともに撮像信号から画像の輝度勾配方向を推定し、上記推定された輝度勾配方向により修正した補間フィルタ処理した信号と、変換行列とにより演算を行なうことにより、小規模な演算回路で任意の色変換行列に対応することができる。
【図面の簡単な説明】
【図１】この発明の実施例の構成を示すブロック図である。
【図２】３×３画素の配置図である。
【図３】色フィルタの配列パターンを示す説明図である。
【図４】ラインバッファの構成を示すブロック図である。
【図５】線形補間用の補間フィルタの補間用フィルタ係数を示す説明図である。
【図６】横縞用の補間フィルタの補間用フィルタ係数を示す説明図である。
【図７】横縞の入力データを示す３×３画素の配置図である。
【図８】他の横縞用の補間フィルタの補間用フィルタ係数を示す説明図である。
【図９】３×３画素の補間用フィルタ係数の自由度を示す説明図である。
【図１０】横縞用の補間用フィルタ係数を示す説明図である。
【図１１】他の横縞用の補間用フィルタ係数を示す説明図である。
【図１２】注目画素の周囲３×３画素のデータを示す説明図である。
【図１３】シアンの入力データを示す説明図である。
【図１４】第２の実施例の構成を示すブロック図である。
【図１５】横勾配用の行列と縦勾配用の行列の勾配方向係数を示す説明図である。
【図１６】第２の実施例の補間用フィルタ係数を示す説明図である。
【図１７】第３の実施例の構成を示すブロック図である。
【図１８】第４の実施例の構成を示すブロック図である。
【図１９】第５の実施例の構成を示すブロック図である。
【符号の説明】
１      画像入力装置
２      撮像手段
３      信号処理部
４      Ａ／Ｄ変換器
５      ラインバッファ
６      行／列カウンタ
７      フィルタ係数選択部
８      係数メモリ
９      補間フィルタ
１１    変換係数選択部
１２    変換係数メモリ
１３    補間フィルタ
１４    ＲＧＢ変換部
１５    勾配係数フィルタ
１６    変換係数決定部
【図１】
0003771054.tif 000009
【図２】
0003771054.tif 000010
【図３】
0003771054.tif 000011
【図４】
0003771054.tif 000012
【図５】
0003771054.tif 000013
【図６】
0003771054.tif 000014
【図７】
0003771054.tif 000015
【図８】
0003771054.tif 000016
【図９】
0003771054.tif 000017
【図１０】
0003771054.tif 000018
【図１１】
0003771054.tif 000019
【図１２】
0003771054.tif 000020
【図１３】
0003771054.tif 000021
【図１４】
0003771054.tif 000022
【図１５】
0003771054.tif 000023
【図１６】
0003771054.tif 000024
【図１７】
0003771054.tif 000025
【図１８】
0003771054.tif 000026
【図１９】
0003771054.tif 000027