(57)【要約】【課題】あらゆる条件の画像に対してサンプリングに起因する高調波成分が軽減され，解像度の改善された全画素に対応するＧ信号を生成できる単板カラーカメラの信号補間方法を提供する。【解決手段】全画素の信号に対するＤＣＴによって第１の係数を生成し、ある色フィルタの画素信号を分離してからこれに含まれない画素の位置に対応する信号を仮に補間した信号に対するＤＣＴによって第２の係数を生成し、第２の係数のうち高調波成分が多く混入する可能性のある部分を第１の係数のものと置き換えてから逆直交変換を施すことによって上記ある色フィルタに対応しない画素の位置に補間信号を生成する。【選択図】        図１
2004282366.tif 000002
【特許請求の範囲】
【請求項１】
二次元状に配列された複数の画素を持ち、しかも上記複数の画素には分光感度特性の異なる複数種の微小フィルタが一定の繰り返しで組み合わされた撮像素子を用いて上記複数種の微小フィルタのうちの第１のフィルタに対応する信号を上記撮像素子のすべての画素位置に対応して生成する単板カラーカメラの信号補間方法において、
上記撮像素子から得られる上記複数の画素の信号から上記第１のフィルタが組み合わされた第１の画素群の信号を分離して第１の信号を生成し、
上記第１の信号において上記第１の画素群に含まれない画素の位置に対応する信号を該画素の位置の周辺に存在する上記第１の画素群の信号を用いて補間した第２の信号を生成し、
Ｎを任意の整数として上記撮像素子の上記複数の画素から任意に選んだ水平方向Ｎ画素、垂直方向Ｎ画素のブロックの画素群を取り出して第１のブロック信号を生成し、
上記第２の信号から上記ブロックの画素群に対応する位置で得られる信号を取り出して第２のブロック信号を生成し、
上記第１のブロック信号に直交変換を施すことによって第１の係数群を生成し、上記第２のブロック信号に直交変換を施すことによって第２の係数群を生成し、上記第２の係数群において、上記第１のフィルタの上記繰り返し周期が大きな方向に対応する部分の係数を上記第１の係数群のものと合成して第３の係数群を生成し、
上記第３の係数群に対して逆直交変換を施すことによって生成した信号で上記第１の信号あるいは上記第２の信号における上記第１の画素群に含まれない画素の位置に対応する信号を補間することを特徴とした単板カラーカメラの信号補間方法。
【請求項２】
上記第１のフィルタは上記二次元状に配列された複数の画素においてすべての画素列で１画素おきに、しかも隣り合う画素列では互いに補間する関係に配置されており、上記第３の係数群を生成する際に上記第１の係数群と合成する上記第２の係数群の係数は、水平方向の周波数が上記複数の画素の水平方向の繰り返し周波数の半分で、垂直方向の周波数が上記複数の画素の垂直方向の繰り返し周波数の半分である周波数領域の周辺に対応する係数であることを特徴とした請求項１記載の単板カラーカメラの信号補間方法。
【請求項３】
上記第１のフィルタは上記二次元状に配列された複数の画素において一方向に１画素おきに、しかも直交する方向には連続に配置されており、上記第３の係数群を生成する際に上記第１の係数群と合成する上記第２の係数群の係数は、上記１画素おきとなる方向の周波数が上記複数の画素の繰り返し周波数の半分である周波数領域の周辺に対応する係数であることを特徴とした請求項１記載の単板カラーカメラの信号補間方法。
【請求項４】
上記第１のフィルタは緑色光を透過するフィルタであることを特徴とした請求項１ないし請求項３記載の単板カラーカメラの信号補間方法。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、単板カラーカメラで得られる緑色信号等の生成方法に関わり、特に、緑色の画素が欠落した画素位置に対して補間信号を生成する単板カラーカメラの信号補間方法に関する。
【０００２】
【従来の技術】
電子スチルカメラの撮像部の多くは、固体撮像素子を１つだけ用いてカラーの画像信号を得る単板カラーカメラで構成されている。単板カラーカメラでは、固体撮像素子の画素ごとに透過光の異なる微小な色フィルタを組み合わせることによってカラー画像の生成に必要なＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の信号を得ている。ここで微小な色フィルタの配列の代表的な例は、米国特許番号３、９７１、０６５で示されているいわゆる原色形ベイヤ配列である。
【０００３】
原色形ベイヤ配列における微少フィルタの構成を図２に示す。原色形ベイヤ配列では、固体撮像素子の各画素に対応する微小フィルタのうち、Ｇを透過する微小フィルタがすべての水平画素列において水平方向に１画素おきに、なおかつ奇数番目の水平画素列と偶数番目の水平画素列では水平方向に１画素分だけずれた、インタリーブの関係に配置されている。一方、Ｒを透過する微小フィルタは偶数番目の水平画素列のＧの間にある画素に配置され、Ｂを透過する微小フィルタは奇数番目の水平画素列のＧの間にある画素に配置されている。この結果、全体の構成は水平方向２画素、垂直方向２画素の部分が繰り返される構成となっている。
【０００４】
単板カラーカメラでは、色フィルタを組み合わせた固体撮像素子からＲ、Ｇ、Ｂの信号を取り出してカラー画像を得る。このとき、画像の解像度に関わる輝度信号Ｙは、ＮＴＳＣ方式のビデオ信号では次の（１）式の関係で生成される。
【０００５】
【数１】
2004282366.tif 000003
【０００６】
（１）式の関係から、画像の解像度は大きな割合を占めるＧの解像度に大きく関わるので、固体撮像素子のＲ、Ｂの画素位置に対応するＧ信号を正しく補間し、すべての画素に対するＧ信号が得られれば、画像の解像度向上が達成できる。
【０００７】
また、Ｇ信号がすべての画素で得られると、信号の相関の大きな方向を判定するにあたり、Ｇ信号から判定することで高い精度での判定が期待できる。このとき，たとえば公開特許公報の特開昭５７−１３１１８５あるいは特開平７−２３６１４７で提案されているような信号の相関の大きな方向を判別し、それに対応してその位置で得られないＲ，Ｂの補間信号の生成方法を選択する方法を適用すると、Ｒ、Ｂの補間信号の精度向上が期待できる。
【０００８】
また，ＧとＲ、Ｂの低周波成分の相関を利用してＧの画素位置のＲ、Ｂ信号を補間する方法を適用する場合にも、補間信号の精度向上が見込める。すなわちＲ、ＢとＧを同じ画素位置で得られると、たとえば５画素程度の狭い範囲内でもＲ、ＢとＧに対して帯域の一致したローパスフィルタが構成できるので、両者の低周波成分の比がより高精度で得られる。こうしたＧとＲ、Ｂの低周波成分の相関を利用してＧの位置のＲ、Ｂ信号を補間する方法についてはここでは詳しく説明しないが、たとえば公開特許公報の特開平１１−２４３５５４が提案されいる。
【０００９】
インタリーブの関係にあるＧの信号を補間する一般的な方法は、公開特許公報の特開昭６１−５０１４２４において（１６）式として述べられているように、周辺にある４画素の信号の平均値を用いる方法である。たとえば図２に示した原色形ベイヤ配列において水平方向の画素位置が２ｍ、垂直方向の画素位置が２ｎであるＲの信号をＲ（２ｍ，２ｎ）とあらわすものとする（以後、同様）。このとき、実在しないＧ（２ｍ＋２，２ｎ＋２）に対する補間信号に、実在するＧ（２ｍ＋２，２ｎ＋１）、Ｇ（２ｍ＋１，２ｎ＋２）、Ｇ（２ｍ＋３，２ｎ＋２）、およびＧ（２ｍ＋２，２ｎ＋３）の４画素の平均値を用いる。
【００１０】
こうした隣接画素のみの加算平均の演算から得られる信号は、Ｇ信号にコサインカーブの狭帯域なローパスフィルタの処理を施したことにほかならないので、補間信号を欠落する画素の位置に組み込んだあとのＧ信号の解像度は若干低下する。そこで、解像度を低下することなくベイヤ配列の単板カラーカメラで得られるＧ信号を補間する方法が、公開特許公報の特開平９−８４０３１、特開平１０−１０８２０９、特開平１１−２７５３７３等で提案されている。
【００１１】
こうした公開特許公報に述べられている方法は、いずれも、Ｇが欠落した画素の位置に対応するＧ信号を、その周辺の画素の信号から判定した相関の方向性に基づいて、水平方向に隣接するＧの画素から生成した補間信号、あるいは垂直方向に隣接するＧの画素から生成した補間信号のうちのいづれかを選択して補間に用いるものである。すなわち、図２に示す配列において実在しないＧ（２ｍ＋２，２ｎ＋２）を、画像の水平方向の変化が垂直方向の変化よりも小さいと判定したときにはＧ（２ｍ＋１，２ｎ＋２）とＧ（２ｍ＋３，２ｎ＋２）の平均値で補間し、画像の垂直方向の変化が水平方向の変化よりも小さいと判定したときにはＧ（２ｍ＋２，２ｎ＋１）とＧ（２ｍ＋２，２ｎ＋３）の平均値で補間する。
【００１２】
この結果、変化の大きな方向の信号を加算平均するローパスフィルタの処理を行わないので、補間後のＧ信号の周波数特性が低下するのを軽減できる。このとき補間信号の生成に用いるのは変化の小さい方向の信号であるから、もともと高域の周波数成分は少なく、加算平均することによってローパスフィルタの処理を施しても周波数特性の低下には結びつかない。このように、上記の公開特許公報に述べられている方法によると、画像の方向性の判定が正しくなされれば、解像度を低下させることなくＧ信号を補間できる。
【００１３】
画像の方向性の判定は、特開平１０−１０８２０９では周辺のＧの画素信号から求めることとしている。すなわち、実在しないＧ（２ｍ＋２，２ｎ＋２）の補間信号を生成する際は、Ｇ（２ｍ＋１，２ｎ＋２）とＧ（２ｍ＋３，２ｎ＋２）の差から水平方向の変化を検出し、Ｇ（２ｍ＋２，２ｎ＋１）とＧ（２ｍ＋２，２ｎ＋３）の差から垂直方向の変化を検出する。ところが、この差信号の周波数特性は２画素での位相が等しくなる周波数で出力が零になることから、画素間隔の２倍の逆数に対応する周波数、すなわち画素の繰り返し周期ｄｘ（ｄｙ）の２倍に対応する周波数１／２ｄｘ（１／２ｄｙ）周辺で零となる。１／２ｄｘ（１／２ｄｙ）の周波数はＲとＢのサンプリング周波数に等しいので、Ｒ信号とＢ信号から１／２ｄｘ（１／２ｄｙ）の周波数成分を正しく得ることも期待できず、画像が１／２ｄｘ（１／２ｄｙ）の周波数成分を多く含む場合には補間信号の解像度向上は望めない。
【００１４】
特開平９−８４０３１における画像の方向性の判定方法も周辺のＧの画素信号を利用するものであり、特開平１０−１０８２０９と同様の問題点を持つ。また、特開平１１−２７５３７３では、補間する画素の位置で得られるＲあるいはＢの画素信号と周辺のＧの画素信号から画像の方向性の判定を行うことが述べられている。すなわち、実在しないＧ（２ｍ＋２，２ｎ＋２）の補間信号を生成する際は、Ｒ（２ｍ＋２，２ｎ＋２）とＧ（２ｍ＋１，２ｎ＋２）あるいはＧ（２ｍ＋３，２ｎ＋２）の差から水平方向の変化を検出し、Ｒ（２ｍ＋２，２ｎ＋２）とＧ（２ｍ＋２，２ｎ＋１）あるいはＧ（２ｍ＋２，２ｎ＋３）の差から垂直方向の変化を検出する。こうした隣り合う２画素から求めた差信号には周波数１／２ｄｘ（１／２ｄｙ）の周波数成分が含まれるので、広い周波数帯域をもつ画像での方向性の判定に有利であるが、彩度の高い被写体ではＲとＧの差信号に色彩に起因する差が含まれるので、方向性の判定結果の信頼性は低下する。
【発明が解決しようとする課題】
以上述べたように、原色形ベイヤ配列においてＲ、Ｂの画素位置に対応するＧの補間信号を生成する際に、周辺に位置する４画素のＧ信号の平均値を用いる従来の単板カラーカメラの信号補間方法では、補間前のＧ信号よりも周波数特性が劣化した信号しか得られないという問題がある。また、補間の対象となる画素位置における信号の相関の方向を判定して、対応する補間信号の生成方法を選択する従来の単板カラーカメラの信号補間方法では、相関の方向性が正しく判定できた場合には周波数帯域を低下させることなく補間信号を生成できるが、画像が広い周波数帯域を持つ場合、あるいは彩度が高い場合などを含むあらゆる条件での正しい方向性の判定が難しいという問題がある。
【００１５】
本発明は、上記従来技術の問題点に鑑み、あらゆる条件の画像で周波数帯域を低下させることなく欠落した画素位置での補間信号を生成できる、単板カラーカメラの信号補間方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記課題を解決するために本発明の単板カラーカメラの信号補間方法は、二次元状に配列された複数の画素を持ち、しかも上記複数の画素には分光感度特性の異なる複数種の微少フィルタが一定の繰り返しで組み合わされた撮像素子を用いて上記複数種の微少フィルタのうちの第１のフィルタに対応する信号を上記撮像素子のすべての画素位置に対応して生成する単板カラーカメラの信号補間方法において、上記撮像素子から得られる上記複数の画素の信号から上記第１のフィルタが組み合わされた第１の画素群の信号を分離して第１の信号を生成し、上記第１の信号において上記第１の画素群に含まれない画素の位置に対応する信号を該画素の位置の周辺に存在する上記第１の画素群の信号を用いて補間した第２の信号を生成し、Ｎを任意の整数として上記撮像素子の上記複数の画素から任意に選んだ水平方向Ｎ画素、垂直方向Ｎ画素のブロックの画素群を取り出して第１のブロック信号を生成し、上記第２の信号から上記ブロックの画素群に対応する位置で得られる信号を取り出して第２のブロック信号を生成し、上記第１のブロック信号に直交変換を施すことによって第１の係数群を生成し、上記第２のブロック信号に直交変換を施すことによって第２の係数群を生成し、上記第２の係数群において、上記第１のフィルタの上記繰り返し周期が大きな方向に対応する部分の係数を上記第１の係数群のものと合成して第３の係数群を生成し、上記第３の係数群に対して逆直交変換を施すことによって生成した信号で上記第１の信号あるいは上記第２の信号における上記第１の画素群に含まれない画素の位置に対応する信号を補間する。
【００１７】
ここで，上記第１のフィルタは上記二次元状に配列された複数の画素においてすべての画素列で１画素おきに、しかも隣り合う画素列では互いに補間する関係に配置されているときには、上記第３の係数群を生成する際に上記第１の係数群と合成する上記第２の係数群の係数は、水平方向の周波数が上記複数の画素の水平方向の繰り返し周波数の半分で、垂直方向の周波数が上記複数の画素の垂直方向の繰り返し周波数の半分である周波数領域の周辺に対応する係数である。また、上記第１のフィルタは上記二次元状に配列された複数の画素において一方向に１画素おきに、しかも直交する方向には連続に配置されているときには、上記第３の係数群を生成する際に上記第１の係数群と合成する上記第２の係数群の係数は、上記１画素おきとなる方向の周波数が上記複数の画素の繰り返し周波数の半分である周波数領域の周辺に対応する係数である。
【００１８】
なお、上記第１のフィルタが緑色光を透過するフィルタであるときに、特に好ましい。
【００１９】
【作用】
本発明の単板カラーカメラの信号補間方法によれば、たとえばＧに対応する画素の信号の周波数係数のうち，高調波成分が多く混入する可能性のある部分を固体撮像素子の全画素から得られる周波数係数と置き換えるので，高調波成分の影響が軽減され、しかも全画素に対応したＧ信号を得ることができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を用いて説明する。
【００２１】
図１は本発明の実施の形態の一例を示すブロック図であり、ベイヤ配列の単板カラーカメラの信号処理装置におけるＧ信号の補間処理に関わる部分を示す。図１において、固体撮像素子１から得られる画素の信号はＡ／Ｄ変換器２でディジタル信号に変換される。ここで、固体撮像素子１には図２に示したベイヤ配列のフィルタが組み合わされているものとする。
【００２２】
このとき固体撮像素子１は、Ｒ、Ｇ、Ｂの微小フィルタを組み合わせた各画素が、撮像面に結像した被写体像をベイヤ配列の構成に応じて二次元でサンプリングすることによって得られる各画素の信号を順次出力する。したがって固体撮像素子１から得られるＲ、Ｇ、Ｂ信号をあらわす空間領域の関数は、当該色の画素の二次元での空間的な位置をあらわす関数と、被写体像の当該色の成分の２次元での明るさをあらわす関数を掛け合わせたものである。これを周波数領域に変換すると、Ｒ、Ｇ、Ｂ信号の周波数成分をあらわす関数は、当該色の画素の周波数領域での位置をあらわす関数と被写体像の当該色がもつ周波数成分をあらわす関数との重畳積分（コンボリューション）となることが知られている。ここで重畳積分は次の（２）式に示す関係である。
【００２３】
【数２】
2004282366.tif 000004
【００２４】
図２に示すベイヤ配列の色フィルタは，水平方向２画素、垂直方向２画素の最小単位が繰り返されるものであるから、画素の空間的な位置をあらわす関数は４種類を考慮すればよい。ここで、水平方向の画素間隔をｄｘ、垂直方向の画素間隔をｄｙ、正方形である画素の一辺の長さをｄｗとする。また、水平位置と垂直位置がともに零であるＲの画素の中心位置を、空間的な座標（０，０）にとる。
【００２５】
水平位置２ｍ、垂直位置２ｎ（ｎおよびｍは任意の整数）の画素からはＲ信号が得られ、その二次元の周波数成分をＳｒ（ｆｘ，ｆｙ）とすると下記の（３）式となる。また、水平位置２ｍ＋１、垂直位置２ｎの画素からはＧ信号が得られ、その二次元の周波数成分をＳｇ１（ｆｘ，ｆｙ）とすると下記の（４）式となる。同様に水平位置２ｍ、垂直位置２ｎ＋１の画素からはＧ信号が得られ、その二次元の周波数成分をＳｇ２（ｆｘ，ｆｙ）とすると下記の（５）式となる。さらに、水平位置２ｍ＋１、垂直位置２ｎ＋１の画素からはＢ信号が得られ、その二次元の周波数成分をＳｂ（ｆｘ，ｆｙ）とすると下記の（６）式となる。
【００２６】
【数３】
2004282366.tif 000005
【００２７】
【数４】
2004282366.tif 000006
【００２８】
【数５】
2004282366.tif 000007
【００２９】
【数６】
2004282366.tif 000008
【００３０】
（３）ないし（６）式において、ｆｘ、ｆｙはそれぞれ水平方向と垂直方向の周波数である。Ｆｒｘ、Ｆｒｙは被写体像のＲ成分、Ｆｇｘ、Ｆｇｙは被写体像のＧ成分、Ｆｂｘ、Ｆｂｙは被写体像のＢ成分のそれぞれ水平方向の変化と垂直方向の変化をあらわす関数である。また、”＊”は（２）式に示した重畳積分をあらわす。デルタ関数は、サンプリングに起因して発生する高調波成分の発生位置をあらわす関数である。また、Ｆａｘ、Ｆａｙはそれぞれ画素のアパーチャに起因して発生する周波数レスポンスであり、次の（７）、（８）式のとおりである。
【００３１】
【数７】
2004282366.tif 000009
【００３２】
【数８】
2004282366.tif 000010
【００３３】
（３）式と（４）式の比較、あるいは（５）式と（６）式の比較から、水平方向の位置がｄｘだけ異なると、サンプリングに起因して発生する水平方向の高調波成分の位相が−ｊｋπ（ｋは整数）だけ回転することがわかる。同様に（３）式と（５）式の比較、あるいは（４）式と（６）式の比較から、垂直方向の位置がｄｙだけ異なると、サンプリングに起因して発生する垂直方向の高調波成分の位相が−ｊｌπ（ｌは整数）だけ回転することがわかる。
【００３４】
この結果，被写体像においてＦｒｘ，Ｆｇｘ，Ｆｂｘ（Ｆｒｙ，Ｆｇｙ，Ｆｂｙ）の分布する周波数範囲が等しく，その２次元の周波数領域での範囲が図３（ａ）に円で示すものであるとき，Ｓｒ（ｆｘ，ｆｙ）、Ｓｇ１（ｆｘ，ｆｙ）、Ｓｇ２（ｆｘ，ｆｙ）、Ｓｂ（ｆｘ，ｆｙ）はそれぞれ図３（ｂ），（ｃ），（ｄ），（ｅ）に示す周波数位置に高調波成分を持ったものとなる。なお，図３は存在する周波数成分の位置のみを二次元の周波数領域にあらわし，周波数成分の大きさはあらわさないものとする．また，斜線を施した円で示す周波数成分は、被写体像の持つ周波数成分とは逆の位相関係であることをあらわすものとする。
【００３５】
ここで図１に示す構成において，Ａ／Ｄ変換器２でディジタル信号に変換された画素信号を分離器３に加え、Ｇに対応する画素信号のみを分離する．分離されたＧの画素信号のもつ周波数成分Ｓｇ（ｆｘ，ｆｙ）は，（４）式であらわされるＳｇ１（ｆｘ，ｆｙ）と（５）式であらわされるＳｇ２（ｆｘ，ｆｙ）を加算したものであるから、図３（ｃ）、（ｄ）に示す両者で逆の位相関係にあるものが相殺されて図４（ａ）に示すものとなる．一方，Ａ／Ｄ変換器２から得られる全画素の信号のもつ周波数成分Ｓａ（ｆｘ，ｆｙ）は，Ｓｒ（ｆｘ，ｆｙ）、Ｓｇ１（ｆｘ，ｆｙ）、Ｓｇ２（ｆｘ，ｆｙ）、Ｓｂ（ｆｘ，ｆｙ）を加えあわせたものであるから、図３（ｂ）、（ｃ）、（ｄ）、（ｅ）を合成した図４（ｂ）に示すものとなる。
【００３６】
図４（ａ）において水平の周波数１／２ｄｘ、垂直の周波数１／２ｄｙに発生する高調波は、ベースバンド成分と大きさが等しく、位相が逆の関係となる。一方、図４（ｂ）において水平の周波数１／２ｄｘ、垂直の周波数１／２ｄｙに発生する高調波は”Ｒ＋Ｂ−２Ｇ”に対応した大きさで、被写体がＧ成分のみあるいはＲとＢ成分のみのときを除いてベースバンドの大きさ”Ｒ＋Ｂ＋２Ｇ”より小さい。一方、図４（ａ）では水平の周波数１／２ｄｘ、垂直の周波数零の位置、および水平の周波数零、垂直の周波数１／２ｄｙに高調波成分は発生しないのに対して、図４（ｂ）では”Ｒ−Ｂ”に対応した大きさの高調波成分が発生する。
【００３７】
そこで図１に示すブロック図において、分離器３で取り出されたＧの画素信号を仮の補間を行うプリ補間器４に加え、Ｒ、Ｂの画素位置に対応するＧの補間信号を仮に生成する。プリ補間器４の一例は、隣接する４画素の平均値信号を生成する従来技術の補間方法によるものである。プリ補間器４によって固体撮像素子の全画素に対応して生成された１画面分のＧ信号はフレームメモリ５に記録される。同時に、Ａ／Ｄ変換器２から出力される全画素の信号は、フレームメモリ５に記録されたのと同じ１画面分がフレームメモリ７に記録される。
【００３８】
さらに、フレームメモリ５からは、記録された１画面分のＧ信号のうち、たとえば水平方向８画素、垂直方向８画素の合計６４画素分が１ブロックとして直交変換器６に送り出される。１ブロックの画素は、たとえば図２におけるＲ（２ｍ，２ｎ）から水平方向に８画素、垂直方向に８画素を取り出した、図５に丸で示す画素位置の信号である。同様に、フレームメモリ７に記録された全画素の信号のうち、上記の画素位置で得られた６４画素分の信号が１ブロック分として直交変換器８に送り出される。図５において、白丸で示すのはＧの画素位置であり、黒丸で示すのはＲあるいはＢの画素位置である。したがって、黒丸で示す画素位置の信号は、直交変換器６に送られる１ブロックでは隣接する白丸で示す４画素の平均値信号であり、直交変換器８に送られる１ブロックではＲあるいはＢの画素信号である。
【００３９】
ここで、直交変換の一例に離散コサイン変換（以後”ＤＣＴ”）を用いて以後説明する。図５に示す１ブロック分の画素位置において水平方向ｉを零から７、垂直方向ｊを零から７に書き直して、直交変換器６に送り出された各画素位置のＧ信号をｇ（ｉ，ｊ）であらわすと、直交変換器６から得られるＧ信号の周波数係数Ｆｇ（ｕ，ｖ）は次の（９）式であることが知られている。ここで、ｕは水平周波数、ｖは垂直周波数、ＮはＤＣＴの対象となるブロックの水平方向および垂直方向の画素数であり、図５の例では”８”である。
【００４０】
【数９】
2004282366.tif 000011
【００４１】
同様に図５に示す画素位置をｉ、ｊで書き直して、直交変換器８に送り出された全画素の信号をｓ（ｉ，ｊ）であらわすと、直交変換器８から得られる全画素の信号の周波数係数Ｆａ（ｕ，ｖ）は次の（１０）式である。
【００４２】
【数１０】
2004282366.tif 000012
【００４３】
（９）式あるいは（１０）式で得られる周波数係数Ｆｇ（ｕ，ｖ）あるいはＦａ（ｕ，ｖ）は、ｕおよびｖがともに零から７までである。（９）式あるいは（１０）式のコサインの項から、ｕ（またはｖ）が零の周波数は画素によって位相が変わらない直流であり、ｕ（またはｖ）＝１の周波数では１ブロック内にある７画素間隔の間でｃｏｓ（ＰＩ／１６）からｃｏｓ（１５ＰＩ／１６）まで変化する。ここで、”ＰＩ”は円周率である。これは、ブロックの周期の８画素間隔ではちょうどＰＩの位相変化に対応するので、８画素間隔が１／２周期にあたる周波数１／１６ｄｘ（または１／１６ｄｙ）である。ｕ（またはｖ）＝２、３、４、．．．、７ではその２、３、４、．．．、７倍であることから、（８）式あるいは（９）式で得られる周波数係数Ｆｇ（ｕ，ｖ）、Ｆａ（ｕ，ｖ）においてｕ（またはｖ）が取る最大の周波数は７／１６ｄｘ（または７／１６ｄｙ）である。この結果、Ｆｇ（ｕ，ｖ）、Ｆａ（ｕ，ｖ）が存在するのは図６に点で示した周波数の位置となる。図６において、水平方向は水平周波数ｕ、垂直方向は垂直周波数ｖをあらわし、各点は周波数係数の大きさはあらわさず，存在する周波数の位置のみをあらわすものとする。
【００４４】
ここで、図６に示す周波数係数の存在する位置と、図４に示すＧ信号あるいは全画素の信号において高調波成分が発生する周波数位置を比較する。図４（ａ）からわかるように、Ｇ信号では水平周波数１／２ｄｘ、垂直周波数１／２ｄｙにベースバンドと大きさが等しく、位相が逆である高調波成分が発生するので、図６において水平周波数１／２ｄｘと垂直周波数１／２ｄｙを結ぶ直線１００より周波数の高い領域にある周波数係数は、高調波成分を多く含む可能性が高い。これに対して図４（ｂ）から、全画素の信号では水平周波数１／２ｄｘ、垂直周波数１／２ｄｙに発生する高調波成分はベースバンドより小さくなるので、直線１００より周波数の高い領域にある周波数係数はベースバンド成分を多く含むことが期待できる。
【００４５】
一方、図４（ａ）に示すように、Ｇ信号では垂直周波数が零で水平周波数１／２ｄｘ、あるいは水平周波数が零で垂直周波数１／２ｄｙの周波数位置には高調波成分が発生しないので、こうした周波数領域では周波数係数はベースバンド成分を多く含むことが期待できる。これに対して図４（ｂ）に示すように、全画素の信号では垂直周波数が零で水平周波数１／２ｄｘ、あるいは水平周波数が零で垂直周波数１／２ｄｙの周波数位置に高調波成分が発生する。
【００４６】
そこで図１に示すブロック図では、直交変換器６で得られた周波数係数Ｆｇ（ｕ，ｖ）と直交変換器８で得られた周波数係数Ｆａ（ｕ，ｖ）を合成器９に加える。合成器９では、各周波数位置の周波数係数Ｆｇ（ｕ，ｖ）と周波数係数Ｆａ（ｕ，ｖ）を高調波成分の混入が小さくなる可能性が高くなる方向に合成して、新たな周波数係数Ｆ（ｕ，ｖ）を生成する。合成器９の合成方法の一例は、図６に示した直線１００よりも低い周波数領域の周波数係数をＦｇ（ｕ，ｖ）とし、直線１００よりも高い周波数領域の周波数係数をＦａ（ｕ，ｖ）とするものである。また、直線１００の周辺では周波数係数Ｆｇ（ｕ，ｖ）と周波数係数Ｆａ（ｕ，ｖ）に重み付けして徐々に切り替えることとしてもよい。このほか、本発明は水平周波数１／２ｄｘ、垂直周波数１／２ｄｙ周辺で周波数係数Ｆｇ（ｕ，ｖ）を用いないことが本質であるから、水平周波数１／２ｄｘ、垂直周波数１／２ｄｙ周辺のみＦａ（ｕ，ｖ）を用い、それ以外は周波数係数Ｆｇ（ｕ，ｖ）を用いるなどの方法が可能である。
【００４７】
こうして合成器９で生成した周波数係数Ｆ（ｕ，ｖ）は、逆変換器１０に加えられる。逆変換器１０は直交変換器６の逆変換を行うもので、ここでは直交変換器６でＤＣＴを施したので逆変換器１０は次の（１１）式で示す逆離散コサイン変換（以後”ＩＤＣＴ”）を行えばよい。
【００４８】
【数１１】
2004282366.tif 000013
【００４９】
図５との比較から、こうして得られるｘ（ｉ，ｊ）のうちｉ、ｊがともに偶数あるいはともに奇数のとき得られる信号は、ＲあるいはＢの画素位置に対応した信号である。これを分離器１１によって取り出し、分離器３の出力信号を遅延回路１３に加えることによって処理時間の違いを調整したＧ信号とともに補間器１２に加えて合成すれば、水平周波数１／２ｄｘ、垂直周波数１／２ｄｙに発生する高調波成分の影響が軽減され、しかも固体撮像素子の全画素に対応するＧ信号が得られる。
【００５０】
このとき、ｘ（０，０）、ｘ（２，０）などブロックの端に位置する画素に対応する信号は、隣のブロックの画素信号を考慮せずに生成されるので、周波数係数に処理を加えた場合には補間信号に誤差が含まれることがある。そこで、ブロックの周辺の画素、すなわち図５におけるｉあるいはｊが零あるいは７である画素位置の信号を補間に用いないこととする。このときすべてのＲあるいはＢの画素の位置で補間信号を生成するには、各ブロックの範囲を隣接するブロックのあいだで１画素分重複するよう設定すればよい。
【００５１】
なお、本発明の実施例では直交変換にＤＣＴを行う場合を説明したが、離散ウェーブレット変換など周波数係数に変換する直交変換を用いれば、同様の効果が得られることは明らかである。
【００５２】
また本発明の実施例は、図２に示したＧを市松状に配した色フィルタを用いる場合を例にとって説明したが、Ｗ（透明）など他のフィルタを市松状に配した色フィルタに適用できることは明らかである。さらに、代表的な例として市松状に配したＧ信号を補間する場合を説明したが、本発明の本質は、ある色フィルタに対応する画素の信号の周波数係数のうち、高調波成分が多く混入する可能性のある部分を、固体撮像素子の全画素から得られる周波数係数と置き換えることによって、高調波成分の影響を軽減することにある。たとえば図７に示す配列のフィルタで得られるＧ信号は、図３（ｂ），（ｄ）からの類推で水平周波数が１／２ｄｘ，垂直周波数が零の周波数位置に高調波成分が発生するので、図６に示す周波数係数のうち水平周波数が１／４ｄｘを超える部分の周波数係数を全画素から得られる周波数係数と置き換えればよい。
【００５３】
さらに、本発明の実施例はハードウェアによる処理を例にとって説明したが、ソフトウェアによる汎用コンピュータ上での処理によっても実現できることは明らかである。
【００５４】
【発明の効果】
以上説明したように、本発明の単板カラーカメラの信号補間方法によれば、あらゆる条件の画像に対してサンプリングに起因する高調波成分が軽減され，解像度の改善された全画素に対応するＧ信号を生成できる。しかも、ローパスフィルタで取り出したＧ信号の低域成分とハイパスフィルタで取り出した全画素信号の高域成分を合成する方法と異なり、直交変換と逆変換を用いることによって実在のＧ信号に影響を与えることなくＲ、Ｂの画素の信号のみを選択的に補間することができる。
【図面の簡単な説明】
【図１】本発明の単板カラーカメラの信号補間方法による実施の形態の一例を示す図である。
【図２】本発明に関わる単板カラーカメラに使用される色フィルタの配列の一例を示す図である。
【図３】図２に示したベイヤ配列の色フィルタで得られる各画素信号に発生する高調波成分の周波数位置を示す図である。
【図４】図２に示したベイヤ配列の色フィルタで得られるＧ信号に発生する高調波成分および全画素の信号に発生する高調波成分の周波数位置を示す図である。
【図５】ＤＣＴの処理の説明に用いる１ブロック分の画素位置をあらわす図である。
【図６】ＤＣＴの処理で得られる周波数係数の周波数領域での位置をあらわす図である。
【図７】本発明に関わる単板カラーカメラの信号補間方法に使用できる他の色フィルタの配列の一例を示す図である。
【符号の説明】
１    固体撮像素子
２    Ａ／Ｄ変換器
３    分離器
４    プリ補間器
５、７    フレームメモリ
６、８    直交変換器
９    合成器
１０    逆変換器
１１    分離器
１２    補間器
１３    遅延回路
【図１】
2004282366.tif 000014
【図２】
2004282366.tif 000015
【図３】
2004282366.tif 000016
【図４】
2004282366.tif 000017
【図５】
2004282366.tif 000018
【図６】
2004282366.tif 000019
【図７】
2004282366.tif 000020