(57)【特許請求の範囲】
【請求項１】
同一面上にＲチャネル受光素子、Ｇチャネル受光素子、Ｂチャネル受光素子が交互に配置されたカラー画像撮像装置による撮像信号のＲ値，Ｇ値，Ｂ値をＲ０値，Ｇ０値，Ｂ０値とし、
Ｇ，Ｂチャネルの各受光素子位置のＲ値を当該受光素子位置近傍の２以上のＲチャネル受光素子位置のＲ０値を用いた補間演算によって生成し、Ｒ，Ｂチャネルの各受光素子位置のＧ値を当該受光素子位置近傍の２以上のＧチャネル受光素子位置のＧ０値を用いた補間演算によって生成し、Ｒ，Ｇチャネルの各受光素子位置のＢ値を当該受光素子位置近傍の２以上のＢチャネル受光素子位置のＢ０値を用いた補間演算によって生成する補間処理工程と、
前記補間処理工程後の各受光素子位置のＲ値，Ｇ値，Ｂ値をＲ１値，Ｇ１値，Ｂ１値とし、各受光素子位置について、当該受光素子位置のＲ１値，Ｇ１値，Ｂ１値と所定の係数セットを用いた積和演算により色度値Ｃｒ０を求め、各受光素子位置について、当該受光素子位置のＲ１値，Ｇ１値，Ｂ１値と所定の係数セットを用いた積和演算により色度値Ｃｂ０を求める色度マトリクス処理工程と、
各受光素子位置について、当該受光素子位置の色度値Ｃｒ０と近傍の複数の受光素子位置の色度値Ｃｒ０の平均をとった色度値Ｃｒを求め、各受光素子位置について、当該受光素子位置の色度値Ｃｂ０と近傍の複数の受光素子位置の色度値Ｃｂ０の平均をとった色度値Ｃｂを求めるローパスフィルタ処理工程と、
Ｒチャネルの各受光素子位置について、当該受光素子位置のＲ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算により輝度値Ｙを求め、Ｇチャネルの各受光素子位置について、当該受光素子位置のＧ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算により輝度値Ｙを求め、Ｂチャネルの各受光素子位置について、当該受光素子位置のＢ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算により輝度値Ｙを求める輝度推定処理工程とからなり、
前記輝度推定処理工程により求められた輝度値Ｙ、前記ローパスフィルタ処理工程により得られた色度値Ｃｒ及び色度値Ｃｂを処理結果として出力することを特徴とする撮像信号処理方法。
【請求項２】
同一面上にＲチャネル受光素子、Ｇチャネル受光素子、Ｂチャネル受光素子が交互に配置されたカラー画像撮像装置による撮像信号のＲ値，Ｇ値，Ｂ値をＲ０値，Ｇ０値，Ｂ０値とし、
Ｇ，Ｂチャネルの各受光素子位置のＲ値を当該受光素子位置近傍の２以上のＲチャネル受光素子位置のＲ０値を用いた補間演算によって生成し、Ｒ，Ｂチャネルの各受光素子位置のＧ値を当該受光素子位置近傍の２以上のＧチャネル受光素子位置のＧ０値を用いた補間演算によって生成し、Ｒ，Ｇチャネルの各受光素子位置のＢ値を当該受光素子位置近傍の２以上のＢチャネル受光素子位置のＢ０値を用いた補間演算によって生成する補間処理工程と、
前記補間処理工程後の各受光素子位置のＲ値，Ｇ値，Ｂ値をＲ１値，Ｇ１値，Ｂ１値とし、各受光素子位置について、当該受光素子位置のＲ１値，Ｇ１値，Ｂ１値と所定の係数セットを用いた積和演算により色度値Ｃｒ０を求め、各受光素子位置について、当該受光素子位置のＲ１値，Ｇ１値，Ｂ１値と所定の係数セットを用いた積和演算により色度値Ｃｂ０を求める色度マトリクス処理工程と、
各受光素子位置について、当該受光素子位置の色度値Ｃｒ０と近傍の複数の受光素子位置の色度値Ｃｒ０の平均をとった色度値Ｃｒを求め、各受光素子位置について、当該受光素子位置の色度値Ｃｂ０と近傍の複数の受光素子位置の色度値Ｃｂ０の平均をとった色度値Ｃｂを求めるローパスフィルタ処理工程と、
Ｒチャネルの各受光素子位置について、当該受光素子位置のＲ０値，Ｃｒ値，Ｃｂ値と所定の係数セットを用いた積和演算によりＧ値，Ｂ値を求め、Ｇチャネルの各受光素子位置について、当該受光素子位置のＧ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算によりＲ値，Ｂ値を求め、Ｂチャネルの各受光素子位置について、当該受光素子位置のＢ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算によりＲ値，Ｇ値を求めるＲＧＢ推定処理工程とからなり、
Ｒチャネルの各受光素子位置についてはＲ０値と前記ＲＧＢ推定処理工程により求められたＧ値，Ｂ値を、Ｇチャネルの各受光素子位置についてはＧ０値と前記ＲＧＢ推定処理工程により求められたＲ値，Ｂ値を、Ｂチャネルの各受光素子位置についてはＢ０値と前記ＲＧＢ推定処理工程により求められたＲ値，Ｇ値を、それぞれ処理結果として出力することを特徴とする撮像信号処理方法。
【請求項３】
請求項２記載の撮像信号処理方法であって、
前記補間処理工程、前記色度マトリクス処理工程、前記ローパスフィルタ処理工程及び前記ＲＧＢ推定処理工程の処理は１つの積和演算処理工程に統合され、
前記積和演算処理工程において、
（ａ）Ｒチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＲ０値、当該受光素子位置の近傍の複数の受光素子位置のＧ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＧ値が求められ、
（ｂ）Ｒチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＲ０値、当該受光素子位置の近傍の複数の受光素子位置のＢ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＢ値が求められ、
（ｃ）Ｇチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＧ０値、当該受光素子位置の近傍の複数の受光素子位置のＲ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＲ値が求められ、
（ｄ）Ｇチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＧ０値、当該受光素子位置の近傍の複数の受光素子位置のＢ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＢ値が求められ、
（ｅ）Ｂチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＢ０値、当該受光素子位置の近傍の複数の受光素子位置のＲ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＲ値が求められ、
（ｆ）Ｂチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＢ０値、当該受光素子位置の近傍の複数の受光素子位置のＧ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＧ値が求められ、
Ｒチャネルの各受光素子位置についてはＲ０値と前記積和演算処理工程により求められたＧ値，Ｂ値を、Ｇチャネルの各受光素子位置についてはＧ０値と前記積和演算処理工程により求められたＲ値，Ｂ値を、Ｂチャネルの各受光素子位置についてはＢ０値と前記積和演算処理工程により求められたＲ値，Ｇ値を、それぞれ処理結果として出力することを特徴とする撮像信号処理方法。
【請求項４】
同一面上にＲチャネル受光素子、Ｇチャネル受光素子、Ｂチャネル受光素子が交互に配置されたカラー画像撮像装置による撮像信号のＲ値，Ｇ値，Ｂ値をＲ０値，Ｇ０値，Ｂ０値とし、
Ｇ，Ｂチャネルの各受光素子位置のＲ値を当該受光素子位置近傍の２以上のＲチャネル受光素子位置のＲ０値を用いた補間演算によって生成し、Ｒ，Ｂチャネルの各受光素子位置のＧ値を当該受光素子位置近傍の２以上のＧチャネル受光素子位置のＧ０値を用いた補間演算によって生成し、Ｒ，Ｇチャネルの各受光素子位置のＢ値を当該受光素子位置近傍の２以上のＢチャネル受光素子位置のＢ０値を用いた補間演算によって生成する補間処理を行う補間処理手段と、
前記補間処理手段による補間処理後の各受光素子位置のＲ値，Ｇ値，Ｂ値をＲ１値，Ｇ１値，Ｂ１値とし、各受光素子位置について、当該受光素子位置のＲ１値，Ｇ１値，Ｂ１値と所定の係数セットを用いた積和演算により色度値Ｃｒ０を求め、各受光素子位置について、当該受光素子位置のＲ１値，Ｇ１値，Ｂ１値と所定の係数セットを用いた積和演算により色度値Ｃｂ０を求める色度マトリクス処理手段と、
各受光素子位置について、当該受光素子位置の色度値Ｃｒ０と近傍の複数の受光素子位置の色度値Ｃｒ０の平均をとった色度値Ｃｒを求め、各受光素子位置について、当該受光素子位置の色度値Ｃｂ０と近傍の複数の受光素子位置の色度値Ｃｂ０の平均をとった色度値Ｃｂを求めるローパスフィルタ処理手段と、
Ｒチャネルの各受光素子位置について、当該受光素子位置のＲ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算により輝度値Ｙを求め、Ｇチャネルの各受光素子位置について、当該受光素子位置のＧ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算により輝度値Ｙを求め、Ｂチャネルの各受光素子位置について、当該受光素子位置のＢ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算により輝度値Ｙを求める輝度推定処理手段とからなり、
前記輝度推定処理手段により求められた輝度値Ｙ、前記ローパスフィルタ処理手段により得られた色度値Ｃｒ及び色度値Ｃｂを処理結果として出力することを特徴とする撮像信号処理装置。
【請求項５】
同一面上にＲチャネル受光素子、Ｇチャネル受光素子、Ｂチャネル受光素子が交互に配置されたカラー画像撮像装置による撮像信号のＲ値，Ｇ値，Ｂ値をＲ０値，Ｇ０値，Ｂ０値とし、
Ｇ，Ｂチャネルの各受光素子位置のＲ値を当該受光素子位置近傍の２以上のＲチャネル受光素子位置のＲ０値を用いた補間演算によって生成し、Ｒ，Ｂチャネルの各受光素子位置のＧ値を当該受光素子位置近傍の２以上のＧチャネル受光素子位置のＧ０値を用いた補間演算によって生成し、Ｒ，Ｇチャネルの各受光素子位置のＢ値を当該受光素子位置近傍の２以上のＢチャネル受光素子位置のＢ０値を用いた補間演算によって生成する補間処理を行う補間処理手段と、
前記補間処理手段による補間処理後の各受光素子位置のＲ値，Ｇ値，Ｂ値をＲ１値，Ｇ１値，Ｂ１値とし、各受光素子位置について、当該受光素子位置のＲ１値，Ｇ１値，Ｂ１値と所定の係数セットを用いた積和演算により色度値Ｃｒ０を求め、各受光素子位置について、当該受光素子位置のＲ１値，Ｇ１値，Ｂ１値と所定の係数セットを用いた積和演算により色度値Ｃｂ０を求める色度マトリクス処理手段と、
各受光素子位置について、当該受光素子位置の色度値Ｃｒ０と近傍の複数の受光素子位置の色度値Ｃｒ０の平均をとった色度値Ｃｒを求め、各受光素子位置について、当該受光素子位置の色度値Ｃｂ０と近傍の複数の受光素子位置の色度値Ｃｂ０の平均をとった色度値Ｃｂを求めるローパスフィルタ処理手段と、
Ｒチャネルの各受光素子位置について、当該受光素子位置のＲ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算によりＧ値，Ｂ値を求め、Ｇチャネルの各受光素子位置について、当該受光素子位置のＧ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算によりＲ値，Ｂ値を求め、Ｂチャネルの各受光素子位置について、当該受光素子位置のＢ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算によりＲ値，Ｇ値を求めるＲＧＢ推定処理手段とからなり、
Ｒチャネルの各受光素子位置についてはＲ０値と前記ＲＧＢ推定処理手段により求められたＧ値，Ｂ値を、Ｇチャネルの各受光素子位置についてはＧ０値と前記ＲＧＢ推定処理手段により求められたＲ値，Ｂ値を、Ｂチャネルの各受光素子位置についてはＢ０値と前記ＲＧＢ推定処理手段により求められたＲ値，Ｇ値を、それぞれ処理結果として出力することを特徴とする撮像信号処理装置。
【請求項６】
請求項５記載の撮像信号処理装置であって、
前記補間処理手段、前記色度マトリクス処理手段、前記ローパスフィルタ処理手段及び前記ＲＧＢ推定処理手段は１つの積和演算処理手段に統合され、
前記積和演算処理手段において、
（ａ）Ｒチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＲ０値、当該受光素子位置の近傍の複数の受光素子位置のＧ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＧ値が求められ、
（ｂ）Ｒチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＲ０値、当該受光素子位置の近傍の複数の受光素子位置のＢ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＢ値が求められ、
（ｃ）Ｇチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＧ０値、当該受光素子位置の近傍の複数の受光素子位置のＲ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＲ値が求められ、
（ｄ）Ｇチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＧ０値、当該受光素子位置の近傍の複数の受光素子位置のＢ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＢ値が求められ、
（ｅ）Ｂチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＢ０値、当該受光素子位置の近傍の複数の受光素子位置のＲ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＲ値が求められ、
（ｆ）Ｂチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＢ０値、当該受光素子位置の近傍の複数の受光素子位置のＧ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＧ値が求められ、
さらに、
前記積和演算処理手段における積和演算に用いられる複数の係数セットを記録する係数記録手段と、
前記係数記録手段に記録されている係数セットの中から、前記積和演算処理手段において積和演算の対象とされる受光素子位置に応じて係数セットを選択する係数選択手段とを有し、この係数選択手段により選択された係数セットが前記積和演算処理手段により積和演算に用いられ、
Ｒチャネルの各受光素子位置についてはＲ０値と前記積和演算処理手段により求められたＧ値，Ｂ値を、Ｇチャネルの各受光素子位置についてはＧ０値と前記積和演算処理手段により求められたＲ値，Ｂ値を、Ｂチャネルの各受光素子位置についてはＢ０値と前記積和演算処理手段により求められたＲ値，Ｇ値を、それぞれ処理結果として出力する
ことを特徴とする撮像信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理に係り、特に、同一平面上に分光感度の異なる複数種類の受光素子が交互に配置されたカラー画像撮像装置による撮像信号の処理に関する。本発明は、デジタルカメラ、デジタルスキャナ等の画像機器に広く応用可能である。
【０００２】
【従来の技術】
ＣＣＤなどを用いたカラー画像撮像装置として、分光感度の異なる複数の種類（チャネル）の受光素子が同一平面上に交互に配置されているものがある。例えば一次元センサの場合、図４に示すようにＲ，Ｇ，Ｂの各チャネルの受光素子（図中の一つの区画が一つの受光素子を意味する）が１列に交互に配置される。通常、連続したＲ，Ｇ，Ｂチャネルの３個の受光素子の組が一つの画素を構成する。このようなカラー撮像装置には、次の２つの問題がある。
【０００３】
一つは、各画素のＲ，Ｇ，Ｂ値を同一位置で得られないため、色ずれが起き、明暗の激しい部分で偽色が生じることである。
【０００４】
もう一つは、各チャネルごとの受光素子数は全受光素子数より少ないため、高い解像度を得にくいことである。例えば、図４のようにＲ，Ｇ，Ｂ各チャネルの受光素子数が等しい場合、各チャネルの受光素子数は全受光素子数の３分の１しかないため、Ｒ，Ｇ，Ｂ各チャネルの画像は、同じ素子数のモノクロ撮像装置に比べ解像度が３分の１になる。
【０００５】
このような問題を解決するため、補間処理を利用する方法が知られている（特開平２−１５３６７９号）。例えば、図４に示したような受光素子配列の場合におけるＲチャネルに関する補間処理を図５に示す。Ｒチャネルの受光素子は位置１と位置４に配置されており、それぞれの受光素子より出力されるＲ値をＲ(1），Ｒ(4）とする。Ｇ，Ｂチャネルの受光素子が配置された位置２及び位置３のＲ値であるＲ(2），Ｒ(3）を（１）式の補間演算により計算する。Ｂ，Ｇチャネルについても同様の補間演算により補間する。
【０００６】
【数１】
0003806211.tif 000002
【０００７】
この補間処理により、同一位置でのＲ，Ｇ，Ｂ値が得られるので、色ずれは減少する。しかし、すべての受光素子位置でＲ，Ｂ，Ｇの３つの値が得られるので、補間処理をしない場合に比べデータの数が３倍に増えるが、増えたデータは補間によるものであるため、実質的な情報（帯域）は増えず、多少ぼけた画像データとなるという問題がある。
【０００８】
別の従来技術として、Ｒ，Ｇ，Ｂ各チャネルの受光素子をモノクロの受光素子として使用し、解像度を向上させる方法が知られている（特開平２−２３９７９１号、特開平７−１２３４２１号）。例えば、無彩色光に対するＲ，Ｇ，Ｂ各チャネルの受光素子の感度が同一で、撮像面上に無彩色の像があるとする。その場合、図６に黒丸で示したＲ，Ｇ，Ｂ各チャネルの受光素子の出力をすべて白黒の受光素子の出力とみなせば、全受光素子位置で独立した画素値が得られる。また、各チャネルの受光素子の感度が同一でない、あるいは像が無彩色でない場合でも、その光に対する各素子の感度比が予めわかっていれば、感度補正によって各受光素子位置でのモノクロ画素値が得られる。
【０００９】
このような方法によれば、確かに解像度は向上する。しかし、対象は単色だけに限定され、各種の色が混在する自然画像には適用できず、また、単色だけを対象とするにしても、その色をユーザが指定しなければならず処理の完全な自動化は難しい。
【００１０】
【発明が解決しようとする課題】
本発明の一つの目的は、カラー画像撮像装置による撮像信号から、見かけの解像度の高いカラー画像信号を生成するための撮像信号処理方法及び装置を提供することにある。本発明のもう一つの目的は、撮像対象をモノクロ画像に限定したり、対象の色をユーザが指定することなく、任意の画像の撮像信号から、見かけの解像度の高いカラー画像信号を生成する装置を提供することにある。本発明のもう一つの目的は、カラー画像撮像装置による撮像信号から、解像度が高く、色ずれ・偽色の少ないカラー画像信号を生成するための撮像信号処理装置を提供することにある。本発明の他の目的は、カラー画像撮像装置による撮像信号から高い解像度のカラー画像信号を生成するための、構成の簡単な撮像信号処理装置を提供することにある。
【００１１】
【課題を解決するための手段】
請求項１記載の発明は、同一面上にＲチャネル受光素子、Ｇチャネル受光素子、Ｂチャネル受光素子が交互に配置されたカラー画像撮像装置による撮像信号のＲ値，Ｇ値，Ｂ値をＲ０値，Ｇ０値，Ｂ０値とし、
Ｇ，Ｂチャネルの各受光素子位置のＲ値を当該受光素子位置近傍の２以上のＲチャネル受光素子位置のＲ０値を用いた補間演算によって生成し、Ｒ，Ｂチャネルの各受光素子位置のＧ値を当該受光素子位置近傍の２以上のＧチャネル受光素子位置のＧ０値を用いた補間演算によって生成し、Ｒ，Ｇチャネルの各受光素子位置のＢ値を当該受光素子位置近傍の２以上のＢチャネル受光素子位置のＢ０値を用いた補間演算によって生成する補間処理工程と、
前記補間処理工程後の各受光素子位置のＲ値，Ｇ値，Ｂ値をＲ１値，Ｇ１値，Ｂ１値とし、各受光素子位置について、当該受光素子位置のＲ１値，Ｇ１値，Ｂ１値と所定の係数セットを用いた積和演算により色度値Ｃｒ０を求め、各受光素子位置について、当該受光素子位置のＲ１値，Ｇ１値，Ｂ１値と所定の係数セットを用いた積和演算により色度値Ｃｂ０を求める色度マトリクス処理工程と、
各受光素子位置について、当該受光素子位置の色度値Ｃｒ０と近傍の複数の受光素子位置の色度値Ｃｒ０の平均をとった色度値Ｃｒを求め、各受光素子位置について、当該受光素子位置の色度値Ｃｂ０と近傍の複数の受光素子位置の色度値Ｃｂ０の平均をとった色度値Ｃｂを求めるローパスフィルタ処理工程と、
Ｒチャネルの各受光素子位置について、当該受光素子位置のＲ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算により輝度値Ｙを求め、Ｇチャネルの各受光素子位置について、当該受光素子位置のＧ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算により輝度値Ｙを求め、Ｂチャネルの各受光素子位置について、当該受光素子位置のＢ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算により輝度値Ｙを求める輝度推定処理工程とからなり、
前記輝度推定処理工程により求められた輝度値Ｙ、前記ローパスフィルタ処理工程により得られた色度値Ｃｒ及び色度値Ｃｂを処理結果として出力することを特徴とする撮像信号処理方法である。
【００１２】
請求項２記載の発明は、同一面上にＲチャネル受光素子、Ｇチャネル受光素子、Ｂチャネル受光素子が交互に配置されたカラー画像撮像装置による撮像信号のＲ値，Ｇ値，Ｂ値をＲ０値，Ｇ０値，Ｂ０値とし、
Ｇ，Ｂチャネルの各受光素子位置のＲ値を当該受光素子位置近傍の２以上のＲチャネル受光素子位置のＲ０値を用いた補間演算によって生成し、Ｒ，Ｂチャネルの各受光素子位置のＧ値を当該受光素子位置近傍の２以上のＧチャネル受光素子位置のＧ０値を用いた補間演算によって生成し、Ｒ，Ｇチャネルの各受光素子位置のＢ値を当該受光素子位置近傍の２以上のＢチャネル受光素子位置のＢ０値を用いた補間演算によって生成する補間処理工程と、
前記補間処理工程後の各受光素子位置のＲ値，Ｇ値，Ｂ値をＲ１値，Ｇ１値，Ｂ１値とし、各受光素子位置について、当該受光素子位置のＲ１値，Ｇ１値，Ｂ１値と所定の係数セットを用いた積和演算により色度値Ｃｒ０を求め、各受光素子位置について、当該受光素子位置のＲ１値，Ｇ１値，Ｂ１値と所定の係数セットを用いた積和演算により色度値Ｃｂ０を求める色度マトリクス処理工程と、
各受光素子位置について、当該受光素子位置の色度値Ｃｒ０と近傍の複数の受光素子位置の色度値Ｃｒ０の平均をとった色度値Ｃｒを求め、各受光素子位置について、当該受光素子位置の色度値Ｃｂ０と近傍の複数の受光素子位置の色度値Ｃｂ０の平均をとった色度値Ｃｂを求めるローパスフィルタ処理工程と、
Ｒチャネルの各受光素子位置について、当該受光素子位置のＲ０値，Ｃｒ値，Ｃｂ値と所定の係数セットを用いた積和演算によりＧ値，Ｂ値を求め、Ｇチャネルの各受光素子位置について、当該受光素子位置のＧ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算によりＲ値，Ｂ値を求め、Ｂチャネルの各受光素子位置について、当該受光素子位置のＢ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算によりＲ値，Ｇ値を求めるＲＧＢ推定処理工程とからなり、
Ｒチャネルの各受光素子位置についてはＲ０値と前記ＲＧＢ推定処理工程により求められたＧ値，Ｂ値を、Ｇチャネルの各受光素子位置についてはＧ０値と前記ＲＧＢ推定処理工程により求められたＲ値，Ｂ値を、Ｂチャネルの各受光素子位置についてはＢ０値と前記ＲＧＢ推定処理工程により求められたＲ値，Ｇ値を、それぞれ処理結果として出力することを特徴とする撮像信号処理方法である。
【００１３】
請求項３記載の発明は、請求項２記載の発明の撮像信号処理方法であって、
前記補間処理工程、前記色度マトリクス処理工程、前記ローパスフィルタ処理工程及び前記ＲＧＢ推定処理工程の処理は１つの積和演算処理工程に統合され、
前記積和演算処理工程において、
（ａ）Ｒチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＲ０値、当該受光素子位置の近傍の複数の受光素子位置のＧ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＧ値が求められ、
（ｂ）Ｒチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＲ０値、当該受光素子位置の近傍の複数の受光素子位置のＢ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＢ値が求められ、
（ｃ）Ｇチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＧ０値、当該受光素子位置の近傍の複数の受光素子位置のＲ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＲ値が求められ、
（ｄ）Ｇチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＧ０値、当該受光素子位置の近傍の複数の受光素子位置のＢ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＢ値が求められ、
（ｅ）Ｂチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＢ０値、当該受光素子位置の近傍の複数の受光素子位置のＲ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＲ値が求められ、
（ｆ）Ｂチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＢ０値、当該受光素子位置の近傍の複数の受光素子位置のＧ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＧ値が求められ、
Ｒチャネルの各受光素子位置についてはＲ０値と前記積和演算処理工程により求められたＧ値，Ｂ値を、Ｇチャネルの各受光素子位置についてはＧ０値と前記積和演算処理工程により求められたＲ値，Ｂ値を、Ｂチャネルの各受光素子位置についてはＢ０値と前記積和演算処理工程により求められたＲ値，Ｇ値を、それぞれ処理結果として出力することを特徴とする撮像信号処理方法である。
【００１４】
請求項４記載の発明は、同一面上にＲチャネル受光素子、Ｇチャネル受光素子、Ｂチャネル受光素子が交互に配置されたカラー画像撮像装置による撮像信号のＲ値，Ｇ値，Ｂ値をＲ０値，Ｇ０値，Ｂ０値とし、
Ｇ，Ｂチャネルの各受光素子位置のＲ値を当該受光素子位置近傍の２以上のＲチャネル受光素子位置のＲ０値を用いた補間演算によって生成し、Ｒ，Ｂチャネルの各受光素子位置のＧ値を当該受光素子位置近傍の２以上のＧチャネル受光素子位置のＧ０値を用いた補間演算によって生成し、Ｒ，Ｇチャネルの各受光素子位置のＢ値を当該受光素子位置近傍の２以上のＢチャネル受光素子位置のＢ０値を用いた補間演算によって生成する補間処理を行う補間処理手段と、
前記補間処理手段による補間処理後の各受光素子位置のＲ値，Ｇ値，Ｂ値をＲ１値，Ｇ１値，Ｂ１値とし、各受光素子位置について、当該受光素子位置のＲ１値，Ｇ１値，Ｂ１値と所定の係数セットを用いた積和演算により色度値Ｃｒ０を求め、各受光素子位置について、当該受光素子位置のＲ１値，Ｇ１値，Ｂ１値と所定の係数セットを用いた積和演算により色度値Ｃｂ０を求める色度マトリクス処理手段と、
各受光素子位置について、当該受光素子位置の色度値Ｃｒ０と近傍の複数の受光素子位置の色度値Ｃｒ０の平均をとった色度値Ｃｒを求め、各受光素子位置について、当該受光素子位置の色度値Ｃｂ０と近傍の複数の受光素子位置の色度値Ｃｂ０の平均をとった色度値Ｃｂを求めるローパスフィルタ処理手段と、
Ｒチャネルの各受光素子位置について、当該受光素子位置のＲ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算により輝度値Ｙを求め、Ｇチャネルの各受光素子位置について、当該受光素子位置のＧ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算により輝度値Ｙを求め、Ｂチャネルの各受光素子位置について、当該受光素子位置のＢ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算により輝度値Ｙを求める輝度推定処理手段とからなり、
前記輝度推定処理手段により求められた輝度値Ｙ、前記ローパスフィルタ処理手段により得られた色度値Ｃｒ及び色度値Ｃｂを処理結果として出力することを特徴とする撮像信号処理装置である。
【００１５】
請求項５記載の発明は、同一面上にＲチャネル受光素子、Ｇチャネル受光素子、Ｂチャネル受光素子が交互に配置されたカラー画像撮像装置による撮像信号のＲ値，Ｇ値，Ｂ値をＲ０値，Ｇ０値，Ｂ０値とし、
Ｇ，Ｂチャネルの各受光素子位置のＲ値を当該受光素子位置近傍の２以上のＲチャネル受光素子位置のＲ０値を用いた補間演算によって生成し、Ｒ，Ｂチャネルの各受光素子位置のＧ値を当該受光素子位置近傍の２以上のＧチャネル受光素子位置のＧ０値を用いた補間演算によって生成し、Ｒ，Ｇチャネルの各受光素子位置のＢ値を当該受光素子位置近傍の２以上のＢチャネル受光素子位置のＢ０値を用いた補間演算によって生成する補間処理を行う補間処理手段と、
前記補間処理手段による補間処理後の各受光素子位置のＲ値，Ｇ値，Ｂ値をＲ１値，Ｇ１値，Ｂ１値とし、各受光素子位置について、当該受光素子位置のＲ１値，Ｇ１値，Ｂ１値と所定の係数セットを用いた積和演算により色度値Ｃｒ０を求め、各受光素子位置について、当該受光素子位置のＲ１値，Ｇ１値，Ｂ１値と所定の係数セットを用いた積和演算により色度値Ｃｂ０を求める色度マトリクス処理手段と、
各受光素子位置について、当該受光素子位置の色度値Ｃｒ０と近傍の複数の受光素子位置の色度値Ｃｒ０の平均をとった色度値Ｃｒを求め、各受光素子位置について、当該受光素子位置の色度値Ｃｂ０と近傍の複数の受光素子位置の色度値Ｃｂ０の平均をとった色度値Ｃｂを求めるローパスフィルタ処理手段と、
Ｒチャネルの各受光素子位置について、当該受光素子位置のＲ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算によりＧ値，Ｂ値を求め、Ｇチャネルの各受光素子位置について、当該受光素子位置のＧ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算によりＲ値，Ｂ値を求め、Ｂチャネルの各受光素子位置について、当該受光素子位置のＢ０値，色度値Ｃｒ，色度値Ｃｂと所定の係数セットを用いた積和演算によりＲ値，Ｇ値を求めるＲＧＢ推定処理手段とからなり、
Ｒチャネルの各受光素子位置についてはＲ０値と前記ＲＧＢ推定処理手段により求められたＧ値，Ｂ値を、Ｇチャネルの各受光素子位置についてはＧ０値と前記ＲＧＢ推定処理手段により求められたＲ値，Ｂ値を、Ｂチャネルの各受光素子位置についてはＢ０値と前記ＲＧＢ推定処理手段により求められたＲ値，Ｇ値を、それぞれ処理結果として出力することを特徴とする撮像信号処理装置である。
【００１６】
請求項６記載の発明は、請求項５記載の発明の撮像信号処理装置であって、
前記補間処理手段、前記色度マトリクス処理手段、前記ローパスフィルタ処理手段及び前記ＲＧＢ推定処理手段は１つの積和演算処理手段に統合され、
前記積和演算処理手段において、
（ａ）Ｒチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＲ０値、当該受光素子位置の近傍の複数の受光素子位置のＧ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＧ値が求められ、
（ｂ）Ｒチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＲ０値、当該受光素子位置の近傍の複数の受光素子位置のＢ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＢ値が求められ、
（ｃ）Ｇチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＧ０値、当該受光素子位置の近傍の複数の受光素子位置のＲ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＲ値が求められ、
（ｄ）Ｇチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＧ０値、当該受光素子位置の近傍の複数の受光素子位置のＢ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＢ値が求められ、
（ｅ）Ｂチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＢ０値、当該受光素子位置の近傍の複数の受光素子位置のＲ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＲ値が求められ、
（ｆ）Ｂチャネルの各受光素子位置について、当該受光素子位置及びその近傍の複数の受光素子位置のＢ０値、当該受光素子位置の近傍の複数の受光素子位置のＧ０値と、所定の係数セットを用いた積和演算により当該受光素子位置のＧ値が求められ、
さらに、
前記積和演算処理手段における積和演算に用いられる複数の係数セットを記録する係数記録手段と、
前記係数記録手段に記録されている係数セットの中から、前記積和演算処理手段において積和演算の対象とされる受光素子位置に応じて係数セットを選択する係数選択手段とを有し、この係数選択手段により選択された係数セットが前記積和演算処理手段により積和演算に用いられ、
Ｒチャネルの各受光素子位置についてはＲ０値と前記積和演算処理手段により求められたＧ値，Ｂ値を、Ｇチャネルの各受光素子位置についてはＧ０値と前記積和演算処理手段により求められたＲ値，Ｂ値を、Ｂチャネルの各受光素子位置についてはＢ０値と前記積和演算処理手段により求められたＲ値，Ｇ値を、それぞれ処理結果として出力することを特徴とする撮像信号処理装置である。
【００１７】
【発明の実施の形態】
以下、図面を参照し、本発明の実施例について説明する。
＜実施例１＞
図１は、本実施例による撮像信号処理装置１００の構成を、その処理の流れに沿って表した概略ブロック図である。この撮像信号処理装置１００に入力する撮像信号１１０は、ＣＣＤなどを用いたカラー画像撮像装置より与えられるＲＧＢ信号である。本実施例では、カラー画像撮像装置として、図４に示した受光素子配列１９０のように、Ｒ，Ｇ，Ｂ各チャネルの受光素子が交互に一列に配置されたものを想定している。ここで、撮像信号１１０のＲ，Ｇ，Ｂの値をＲ０，Ｇ０，Ｂ０と表す。本撮像信号処理装置１００は、Ｒ０，Ｇ０，Ｂ０信号を処理することにより、低解像度の色度信号と高解像度の輝度信号からなるカラー画像信号１６０を生成する。
【００１８】
補間処理部１２０、色度マトリックス処理部１３０及びローパスフィルタ処理部１４０は、各画素位置つまり各受光素子位置の近傍での平均的な色度値を得る部分である。この平均的な色度値は、後述の輝度推定処理にも必要となる。
【００１９】
Ｒ，Ｇ，Ｂ各チャネルの受光素子は飛び飛びに配置されているため、まず、補間処理部１２０によって、従来技術の説明において図５に関連して述べたような補間演算を行い、各受光素子位置でのＲ，Ｇ，Ｂの３つの値をすべて求める。補間処理後のＲ，Ｇ，Ｂ値をＲ１，Ｇ１，Ｂ１と表す。
【００２０】
次に、色度マトリックス処理部１３０において、各受光素子位置でのＲ，Ｇ，Ｂ値、つまりＲ１，Ｇ１，Ｂ１に２×３行列を掛け、各受光素子位置での色度値を得る。本実施例では、撮像信号１１０として入力されるＲＧＢ信号をＮＴＳＣ−ＲＧＢ空間の信号であると仮定し、色度値として次の（２）式のようなＣｒ，Ｃｂを採用するものとする。ただし、Ｒ，Ｇ，Ｂは［０，１］の範囲、Ｙは［０，１００］の範囲とする。
【００２１】
【数２】
0003806211.tif 000003
【００２２】
ＮＴＳＣ−ＲＧＢとＸＹＺの定義（（３）式）により、ＲＧＢと色度（Ｃｒ，Ｃｂ）の関係は（４）式のように表される。
【００２３】
【数３】
0003806211.tif 000004
【００２４】
【数４】
0003806211.tif 000005
【００２５】
よって、色度マトリックス処理部１３０において、（５）式に示す演算をＲ１，Ｇ１，Ｂ１信号に施すことによってＣｒ，Ｃｂを求めることができる。ただし、（５）式中のｎijは、（４）式の行列Ｎのｉ行ｊ列要素を表す。この段階で得られた色度値Ｃｒ，ＣｂをＣｒ０，Ｃｂ０と表す。
【００２６】
【数５】
0003806211.tif 000006
【００２７】
次にローパスフィルタ処理部１４０について説明する。撮像面上で光学像に急激な変化がある場合、前述の補間処理をしても、実際には存在しない色（偽色）が生じることがある。その例を図７で説明する。図７において、ＲＧＢ受光素子配列１９０に対し、７０１に示すような白黒画像濃度となった場合を考える。黒丸、黒四角、黒三角はそれぞれＲ，Ｇ，Ｂ受光素子より出力されたＲ，Ｇ，Ｂ値を示し、白丸、白四角、白三角はそれぞれ補間演算により求められたＲ，Ｇ，Ｂ値である。濃度が急激に変化する白黒エッジの付近では、補間されたＲ，Ｇ，Ｂ値は同じ値にはならず、Ｒ＞Ｇ＞Ｂの大小関係となって色がついた形になる。つまり、偽色が発生する。白黒エッジの位置が異なれば、Ｒ，Ｇ，Ｂの大小関係は変化するが、いずれにしてエッジ付近で補間によるＲ，Ｇ，Ｂ値に差が生じるため偽色が発生する。
【００２８】
このような偽の色信号の発生を抑えるためには、白黒エッジ付近でのＲ，Ｇ，Ｂ値の変化をなだらかにし、Ｒ，Ｇ，Ｂ値に差を生じにくくなるようにすれば効果があることが、図７に示す例から理解されよう。本実施例では、それと同様の効果を達成するため、ローパスフィルタ処理部１４０において、色度マトリックス処理後の色度データに対し、ローパスフィルタ特性を持つデジタルフィルタをかけて色度信号の変化をなだらかにする。本実施例では例えば、注目画素位置と、その左３画素、右３画素の計７画素分の色度値の平均をとって、注目画素位置の色度とするようなフィルタを使う。すなわち、注目したある画素位置ｉのフィルタ処理後の色度値Ｃｒi，Ｃｂiは次式で表される。
【００２９】
【数６】
0003806211.tif 000007
【００３０】
このようなローパスフィルタ処理により、色度信号の解像度は若干低下する。しかし、人間の視覚特性上、輝度信号の解像度が高ければ、そのような色度信号の解像度低下による画像品質の劣化はほとんど感じられない。
【００３１】
輝度推定処理部１５０は、各受光素子位置でのＲ，Ｇ，Ｂ値（Ｒ０，Ｇ０，Ｂ０）と、各受光素子位置近傍での平均的な色度値Ｃｒ，Ｃｂから、各受光素子位置での輝度値を推定して輝度信号を得る。輝度値は各受光素子ごとに独立に求められるので、全受光素子から得られる画像信号と同等の帯域を持つ輝度信号を得られる。
【００３２】
具体的に説明する。Ｒ０とＣｒ，Ｃｂを既知変数、Ｙ，Ｇ，Ｂを未知変数として、ＲＧＢとＹＣｒＣｂの２つの色空間の関係を示す（４）式を解けば、Ｒ受光素子位置の輝度値Ｙは（７）式により計算できることが解る。同様に、Ｇ受光素子位置の輝度値は（８）式により、またＢ受光素子位置の輝度値は（９）式により、それぞれ計算できる。ただし、（７）式乃至（９）式のｎijは（４）式の行列Ｎのｉ行ｊ列要素である。
【００３３】
【数７】
0003806211.tif 000008
【００３４】
【数８】
0003806211.tif 000009
【００３５】
【数９】
0003806211.tif 000010
【００３６】
（７）式はＣｒ，Ｃｂ，Ｒ０の加重和であり、係数セット（ａr，ｂr，ｃr）
を予め計算し記録しておけば１回の積和演算で実現できる。（８）式及び（９）式も同様で、その係数セット（ａg，ｂg，ｃg），（ａb，ｂb，ｃb）を予め計算しておけば１回の積和演算で実現できる。輝度推定処理部１５０は、そのような３組の係数セットを持ち、各受光素子位置のＲ，Ｇ，Ｂの種類に応じて使用する係数セットを切り替えて積和演算を行うことにより、各受光素子位置の輝度値を推定する。そして、推定した輝度値Ｙの信号と、ローパスフィルタ処理部１４０で得られた色度値Ｃｒ，Ｃｂの信号からなるカラー画像信号１６０を生成する。かくして、解像度の高い輝度信号と、色ずれ・偽色の少ない色度信号からなるカラー画像信号が得られる。
【００３７】
＜実施例２＞
図２は、本実施例による撮像信号処理装置２００の構成を、その処理の流れに沿って表した概略ブロック図である。この撮像信号処理装置２００は、前記実施例１の撮像信号処理装置１００の出力カラー画像信号１６０と等価なＲＧＢ信号を生成し、それをカラー画像信号１８０として出力するもので、前記実施例１の撮像信号処理装置１００の輝度推定処理部１５０をＲＧＢ推定処理部１７０に置き換えた構成である。
【００３８】
（４）式のＣｒ，Ｃｂ，Ｒ０を既知変数とすると、Ｒ受光素子位置のＧ，Ｂ値の推定式として（１０）式が得られる（Ｒ＝Ｒ０）。同様に、Ｃｒ，Ｃｂ，Ｇ０を既知変数とすると、Ｇ受光素子位置のＲ，Ｂ値の推定式として（１１）式が得られ（Ｇ＝Ｇ０）、Ｃｒ，Ｃｂ，Ｂ０を既知変数とするとＢ受光素子位置のＲ，Ｇ値の推定式として（１２）式が得られる（Ｂ＝Ｂ０）。ただし、（１０）式乃至（１２）式のｎijは（４）式の行列Ｎのｉ行ｊ列要素である。
【００３９】
【数１０】
0003806211.tif 000011
【００４０】
【数１１】
0003806211.tif 000012
【００４１】
【数１２】
0003806211.tif 000013
【００４２】
ＲＧＢ推定処理部１７０は、Ｒ受光素子位置では、Ｒ０値と（１０）式で推定したＧ，Ｂ値とを組合せたＲＧＢ信号をカラー画像信号１８０として出力し、Ｇ受光素子位置では、Ｇ０値と（１１）式で推定したＲ，Ｂ値とを組み合わせたＲＧＢ信号をカラー画像信号１８０として出力する。同様に、Ｂ受光素子位置では、Ｂ０値と（１２）式で推定したＲ，Ｇ値とを組み合わせたＲＧＢ信号を出力する。かくして、前記実施例１の撮像信号処理装置１００より出力されるＹＣｒＣｂ信号と等価なＲＧＢ信号を得ることができる。
【００４３】
＜実施例３＞
図３は、本実施例による撮像信号処理装置３００の概略ブロック図である。この撮像信号処理装置３００は、カラー撮像装置から入力されるＲＧＢ信号１１０（Ｒ０，Ｇ０，Ｂ０）から積和演算によって直接的に、前記実施例２の撮像信号処理装置２００の出力カラー画像信号１８０と同じＲＧＢ信号を生成し、カラー画像信号３４０として出力する構成である。
【００４４】
前記実施例２においては、補間処理（Ｒ０，Ｂ０，Ｇ０→Ｒ１，Ｇ１，Ｂ１）、色度マトリクス処理（Ｒ１，Ｇ１，Ｂ１→Ｃｒ０，Ｃｂ０）、ローパスフィルタ処理（Ｃｒ０，Ｃｂ０→Ｃｒ，Ｃｂ）、ＲＧＢ推定処理（Ｃｒ，Ｃｂ→Ｒ，Ｇ，Ｂ）の各段階が直列的に接続されていた。そして、各処理の段階は、（１）式、（５）式、（６）式、（１０）式乃至（１２）式に示したように、すべて入力データに対する積和演算である。また、図８に示すように、ある受光素子位置ＮのＲ，Ｇ，Ｂ値を決定するために、その左右５画素を含む計１１画素の範囲のＲ０，Ｇ０，Ｂ０値を実質的に参照していた（ただし、図８はＲ受光素子位置に関する参照範囲を例示しているが、Ｇ，Ｂ受光素子位置についても同様である）。したがって、注目した各受光素子位置でのＲ，Ｂ，Ｇ値は、その位置と周辺の１１画素分のＲ０，Ｂ０，Ｇ０データに対する積和演算によって直接的に求める事が可能である。しかして、（１）式、（５）式、（６）式、（１０）式乃至（１２）式をまとめると、各受光素子位置のＲ，Ｇ，Ｂ値をＲ０，Ｇ０，Ｂ０から直接的に求めるための（１３）式、（１４）式、（１５）式が導かれる。
【００４５】
【数１３】
0003806211.tif 000014
【００４６】
【数１４】
0003806211.tif 000015
【００４７】
【数１５】
0003806211.tif 000016
【００４８】
（１３）式はＲ受光素子位置ｉのＧ，Ｂ値を求める式であり、その位置のＲ０i,と、その周辺位置のＲ０i-3，Ｒ０i+3，Ｇ０i-5，Ｇ０i-2，Ｇ０i+1，Ｇ０i+4，Ｂ０i-4，Ｂ０i-1，Ｂ０i+2，Ｂ０i+5の積和の形になっている。（１４）式はＧ受光素子位置ｉのＲ，Ｂ値を求める式であり、また（１５）式はＢ受光素子位置ｉのＲ，Ｇ値を求める式であって、いずれも（１３）式と同様に、その位置及び周辺のＲ０，Ｇ０，Ｂ０値の積和の形になっている。なお、各式中のｎijは（４）式の行列Ｎのｉ行ｊ列要素を示す。
【００４９】
図３を参照する。係数記録部３１０は、（１３）式の係数セット（Ｒ受光素子位置用）、（１４）式の係数セット（Ｇ受光素子位置用）、（１５）式の係数セット（Ｂ受光素子位置用）の計３組の係数セットを保持している。位置カウンタ３３０は、注目した画素位置（受光素子位置）をカウントし、注目画素値がＲ，Ｇ，Ｂいずれのチャネルの受光素子位置に対応するかを判断し、注目画素位置の積和演算に用いる係数セットを選択し、それを積和演算部３２０に指示する。
【００５０】
積和演算部３２０は、注目画素位置がＲ受光素子位置に対応している場合には、（１３）式の係数セットを係数記録部３１０より取り込み、（１３）式に従って必要な参照画素位置のＲ０，Ｂ０，Ｇ０値の積和演算を実行し、結果をカラー画像信号３４０として出力する。同様に、Ｇ又はＢの受光素子位置に対応する画素を処理する場合には、（１４）又は（１５）式の係数セットを係数記録部３１０より取り込み、同式に従って必要な参照画素位置のＲ０，Ｇ０，Ｇ０値の積和演算を実行し、その結果を出力する。
【００５１】
以上、実施例に関連して説明したような本発明は一般的なコンピュータシステムを利用しソフトウエアによって実施することもでき、そのようなコンピュータシステムの一例を図９に示す。図９において、４１０はＣＰＵ、４１２はメモリ、４１４はディスプレイ、４１６はハードディスク装置、４１８はプリンタ、４２０は通信装置、４２２はフロッピーディスク装置、４２４はフロッピーディスク、４２６はバスである。このようなコンピュータシステムの一般的な動作は周知であるので詳細な説明は省略するが、本発明の実施手順の概略は次の通りである。
【００５２】
本発明の撮像信号処理又は前記各実施例の機能部を実現するためのプログラムと、処理したい撮像信号データをフロッピーディスク装置４２２や通信装置４２０などの入力装置を経由してシステムに取り込む。そして、そのプログラムを実行させ、得られたカラー画像信号データをメモリ４１２に得る。この処理結果のカラー画像信号データは、例えば、ディスプレイ４１４やプリンタ４１８などの画像出力装置によって出力され、又はフロッピーディスク装置４２２や通信装置４２０などのデータ出力装置によって外部に出力され、あるいはハードディスク装置４１６などの記憶装置に保存される。
【００５３】
本発明を実施するためのプログラムの例として、前記実施例３に対応するプログラムの概略フローチャートを図１０に示す。
【００５４】
最初のステップ５００において、１ライン分の撮像信号データ（Ｒ０，Ｇ０，Ｂ０）と積和演算のための係数セットを読み込みメモリに格納する。ステップ５０１において注目画素位置のカウンタｉを０に初期化し、ステップ５０２からステップ５０５の処理ループを開始する。
【００５５】
この処理ループの最初のステップ５０２で、注目画素位置の積和演算のために（１３）式、（１４）式又は（１５）式のいずれかの係数セットを選択する。ここでは、図４に示す受光素子配列１９０のようにＲ，Ｇ，Ｂ受光素子がその順に一列に配置されている撮像装置を想定しているので、カウンタｉの値を３で除した余りを求め、余りが０ならばＲ受光素子位置用係数セット、つまり（１３）式の係数セットを選択し、余りが１ならばＧ受光素子位置用の（１４）式の係数セットを選択し、余りが２ならばＢ受光素子位置用の（１５）の係数セットを選択する。ステップ５０３において、ステップ５０２で選択した係数セットと参照画素位置の撮像信号データ（Ｒ０，Ｇ０，Ｂ０）を用いて、（１３）式、（１４）式又は（１５）式の積和演算を実行し、得られたＲＧＢ値を画素位置順に保存する。ステップ５０４でカウンタｉを１だけインクリメントし、ステップ５０２に戻る。
【００５６】
処理が最終画素位置まで終わり、カウンタｉが最終値ＥＮＤまで増加すると、ステップ５０５で処理ループを抜け、ステップ５０６で保存されていた１ライン分のＲＧＢデータを順に出力する。
【００５７】
ここまで、１次元の撮像信号データを処理するものとして説明した。しかし、本発明は、２次元的に配列した受光素子による撮像信号データに対しても適用でき、２次元的な補間処理、２次元的なフィルタ処理をすることにより、同様に高解像度の輝度成分と低解像度の色度成分を含むカラー画像信号を得ることができる。
【００５８】
【発明の効果】
受光素子配列で得られる情報量は受光素子の数によって決まってくる。一方、人間の視覚特性は、輝度信号についての解像度が高い。請求項１乃至６の発明によれば、受光素子配列で得られる画像信号の限られた情報をＲＧＢなどのチャネルごとに等分するのではなく、輝度成分に多くの情報を割り振ることにより、見かけの解像度の高いカラー画像信号を得ることができる。撮像対象をモノクロ画像に限定したり、対象の色をユーザが指定することなく、任意の画像の撮像信号から見かけの解像度が高く、色ずれの少ないカラー画像信号を得ることができる。白黒エッジの付近での偽色の発生を抑えることができる。請求項６の発明によれば、撮像信号処理装置の構成を極めて単純にできる。
【図面の簡単な説明】
【図１】  本発明の第１の実施例による撮像信号処理装置の概略ブロック図である。
【図２】  本発明の第２の実施例による撮像信号処理装置の概略ブロック図である。
【図３】  本発明の第３の実施例による撮像信号処理装置の概略ブロック図である。
【図４】  Ｒ，Ｇ，Ｂ受光素子の一次元的配列を示す図である。
【図５】  Ｒ値に関する補間処理の説明図である。
【図６】  Ｒ，Ｇ，Ｂ各受光素子を独立した受光素子として利用する方法の説明図である。
【図７】  白黒エッジによる偽色の発生の説明図である。
【図８】  Ｒ受光素子位置のＧ，Ｂ値を決定するための参照範囲を示す図である。
【図９】  本発明をソフトウエアにより実施するためのコンピュータシステムの例を示すブロック図である。
【図１０】  本発明を実施するためのプログラムの一例を示す概略フローチャートである。
【符号の説明】
１００  撮像信号処理装置
１２０  補間処理部
１３０  色度マトリクス処理部
１４０  ローパスフィルタ処理部
１５０  輝度推定処理部
１７０  ＲＧＢ推定処理部
２００  撮像信号処理装置
３００  撮像信号処理装置
３１０  係数記録部
３２０  積和演算部
３３０  位置カウンタ
【図１】
0003806211.tif 000017
【図２】
0003806211.tif 000018
【図３】
0003806211.tif 000019
【図４】
0003806211.tif 000020
【図５】
0003806211.tif 000021
【図６】
0003806211.tif 000022
【図７】
0003806211.tif 000023
【図８】
0003806211.tif 000024
【図９】
0003806211.tif 000025
【図１０】
0003806211.tif 000026