(57)【要約】【課題】  得られる画像の解像度を低下することなく、高い周波数成分をもつ被写体像の場合にも偽の色信号の発生を抑圧できる単板カラーカメラの信号生成方法を提供する。【解決手段】  複数フレームで得られた画素信号を積算することによって被写体像の高周波成分を抑圧した積分画素信号を生成する。さらに、積分画素信号を用いて当該色信号の低周波成分と他の色信号の低周波成分の比を求め、それを他の色信号に乗算して当該色信号の補間信号を生成する。【選択図】図１
2005303675.tif 000002
【特許請求の範囲】
【請求項１】
二次元状に配列された複数の画素を持ち、しかも上記複数の画素には透過光の異なる複数種の微小光学フィルタが一定の繰り返し周期で組み合わされた撮像素子を用いてカラーの画像信号を生成する単板カラーカメラの信号生成方法において、
上記複数の画素の各々から第１の１枚の画像を読み出す期間に取り出された第１の画像の画素信号群を得て、
少なくとも上記複数の画素の各々から上記第１の１枚の画像を読み出す期間の直前あるいは直後の第２の１枚の画像を読み出す期間に取り出された第２の画像の画素信号群を得て、
上記第１の画像の画素信号群と少なくとも上記第２の画像の画素信号群を、上記複数の画素における同一の画素から得られたものごとに合成して合成された画素信号群を生成し、
上記第１の画像の画素信号群から輝度信号を生成し、上記合成された画素信号群を対応する上記複数の画素に組み合わされた上記微小光学フィルタの透過光が同種類であるものごとに選択的に分離して複数の色信号を生成することを特徴とする単板カラーカメラの信号生成方法。
【請求項２】
二次元状に配列された複数の画素を持ち、しかも上記複数の画素には透過光の異なる複数種の微小光学フィルタが一定の繰り返し周期で組み合わされた撮像素子を用いてカラーの画像信号を生成する単板カラーカメラの信号生成方法において、
上記複数の画素の各々から第１の１枚の画像を読み出す期間に取り出された第１の画像の画素信号群を得て、
少なくとも上記複数の画素の各々から上記第１の１枚の画像を読み出す期間の直前あるいは直後の第２の１枚の画像を読み出す期間に取り出された第２の画像の画素信号群を得て、
上記第１の画像の画素信号群と少なくとも上記第２の画像の画素信号群を、上記複数の画素における同一の画素から得られたものごとに合成して合成された画素信号群を生成し、
上記第１の画像の画素信号群のなかから上記複数の画素から任意に選んだ第１の画素から得られた第１の画素信号を取り出し、
上記合成された画素信号群のなかから上記第１の画素に対応する第１の合成された画素信号を取り出し、
上記合成された画素信号群のなかから上記複数の画素のうち上記第１の画素の周辺に存在し、しかも上記複数種の微小光学フィルタのうちの上記第１の画素に組み合わせられた第１の種類の微小光学フィルタとは透過光の異なる第２の種類の微小光学フィルタが組み合わせられた第２の画素に対応する第２の合成された画素信号を取り出し、
上記合成された画素信号群のなかから上記複数の画素のうち上記第１の画素の周辺に存在し、しかも上記第２の種類の微小光学フィルタが組み合わせられ、かつ、上記第２の画素とは異なる第３の画素に対応する第３の合成された画素信号を取り出し、
すくなくとも上記第２の合成された画素信号と上記第３の合成された画素信号から第１の補間信号を生成し、
上記第１の補間信号を上記第１の合成された画素信号で除した大きさに対応する比信号を生成し、
上記第１の画素信号と上記比信号を乗算した大きさに対応する第２の補間信号を生成し、
上記第１の画像の画素信号群から上記複数の画素のうち上記第２の種類の微小光学フィルタを組み合わせられた画素に対応する画素信号群を選択的に取り出して第１の色信号を生成し、
上記第２の補間信号を上記第１の色信号における上記第１の画素に対応した信号として用いることを特徴とする単板カラーカメラの信号生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単板カラーカメラで得られる緑色、赤色、青色等の画素信号を用いて、高解像度で偽の色信号が発生しないカラーの画像信号を生成する単板カラーカメラの信号生成方法に関する。
【背景技術】
【０００２】
２次元状に画素を並べた固体撮像素子を一つだけ用いて、カラーの画像信号を得る単板カラーカメラは、家庭用ビデオカメラやディジタルスチルカメラなど、広い分野で利用されている。単板カラーカメラでは、固体撮像素子の各画素に数種類の微小色フィルタを周期的に対応させ、それぞれの画素から微小色フィルタの透過光に対応した色信号を得る。
【０００３】
ここで微小色フィルタの配列の代表的な例は、米国特許番号３、９７１、０６５で示されている、いわゆる原色形ベイヤ配列である。原色形ベイヤ配列における微小色フィルタの構成を図２に示す。図２において、微小色フィルタの配列の上部に記された番号は水平方向の位置番号であり、左側に記された番号は垂直方向の位置番号である。以後、たとえば水平方向の位置番号が2mで、垂直方向の位置番号が2nであるＲの画素の出力信号をR(2m,2n)とする。
【０００４】
原色形ベイヤ配列では、固体撮像素子の各画素に対応する微小色フィルタのうち、Ｇ（緑色）を透過する微小色フィルタがすべての水平画素列において水平方向に１画素おきに、なおかつ奇数番目の水平画素列と偶数番目の水平画素列では水平方向に１画素分だけずれた、インタリーブの関係に配置されている。一方、Ｒ（赤色）を透過する微小色フィルタは偶数番目の水平画素列におけるＧの間にある画素に配置され、Ｂ（青色）を透過する微小色フィルタは奇数番目の水平画素列におけるＧの間にある画素に配置されている。この結果、全体の構成は水平方向２画素、垂直方向２画素の部分が繰り返される構成となっている。
【０００５】
このとき固体撮像素子から得られる各色信号は、空間的に異なる位置の被写体像に対応したものであるので、被写体像の境界部では偽の色信号が発生しやすい。被写体像の境界部で発生する偽の色信号の発生原因は、次のとおりである。
【０００６】
図２に示す原色形ベイヤ配列の色フィルタによって得られる各色信号の大きさをあらわす空間的な関数は、当該色信号が得られる画素の空間的な位置をあらわす関数と、被写体像の当該色信号に対応する成分の大きさをあらわす関数を乗算したものである。したがって各色信号のもつ空間的な周波数成分は、周波数領域での位置をあらわす関数と被写体の各色成分がもつ周波数成分との重畳積分（コンボリューション）となることがフーリエ変換の定理から知られている。ここで重畳積分は、次の数１で示す関係である。
【０００７】
【数１】
2005303675.tif 000003
【０００８】
図２に示す色フィルタは水平方向２画素、垂直方向２画素の最小単位が繰り返されるから、画素の空間的な位置をあらわす関数は４種類を考慮すればよい。ここで、水平方向の画素間隔をdx、垂直方向の画素間隔をdy、正方形である画素の一辺の長さをdwとする。また、水平位置と垂直位置がともに０であるR(0,0)の画素の中心位置を空間的な座標(0,0)にとる。
【０００９】
水平位置2m、垂直位置2n（ｍおよびｎは任意の整数）の画素からはＲ信号が得られ、その２次元の周波数成分をSr(fx,fy)とすると、フーリエ変換の定理から下記の数２であらわされる。また、水平位置2m+1、垂直位置2nの画素からはＧ信号が得られ、その２次元の周波数成分をSg1(fx,fy)とすると下記の数３であらわされる。同様に水平位置2m、垂直位置2n+1の画素からはＧ信号が得られ、その２次元の周波数成分をSg2(fx,fy)とすると次の数４であらわされる。さらに、水平位置2m+1、垂直位置2n+1の画素からはＢ信号が得られ、その２次元の周波数成分をSb(fx,fy)とすると下記の数５であらわされる。
【００１０】
【数２】
2005303675.tif 000004
【００１１】
【数３】
2005303675.tif 000005
【００１２】
【数４】
2005303675.tif 000006
【００１３】
【数５】
2005303675.tif 000007
【００１４】
数２ないし数５において、fx、fyはそれぞれ水平方向と垂直方向の周波数である。Frx、Fryは被写体像のＲ成分、Fgx、Fgyは被写体像のＧ成分、Fbx、Fbyは被写体像のＢ成分のそれぞれ水平方向の周波数成分と垂直方向の周波数成分をあらわす関数である。また、「＊」は数１に示した重畳積分をあらわす。デルタ関数は、サンプリングに起因して発生する高調波成分の発生位置をあらわす関数である。また、Fax、Fayはそれぞれ画素のアパーチャに起因して発生する周波数レスポンスであり、次の数６、数７のとおりである。
【００１５】
【数６】
2005303675.tif 000008
【００１６】
【数７】
2005303675.tif 000009
【００１７】
数２と数３の比較、あるいは数４と数５の比較から、水平方向の位置がdxだけ異なると、サンプリングに起因して発生する水平方向の高調波成分の位相が-jkπ（kは整数）だけ回転することがわかる。同様に数２と数４の比較、あるいは数３と数５の比較から、垂直方向の位置がdyだけ異なると、サンプリングに起因して発生する垂直方向の高調波成分の位相が-jlπ（lは整数）だけ回転することがわかる。
【００１８】
ここで、たとえば図２に示した垂直位置が2nの画素列１００のみに注目する。垂直位置が同一の画素列上では、垂直方向の変化は考慮する必要がないので、水平方向の周波数成分のみを検討すればよい。このとき、数２および数３は次の数８および数９に書き換えることができる。
【００１９】
【数８】
2005303675.tif 000010
【００２０】
【数９】
2005303675.tif 000011
【００２１】
被写体像が無彩色であるときは数８、数９においてFgx(fx)＝Frx(fx)であるが、その水平方向の周波数成分が図３（ａ）に示すものであるとする。このとき数８、数９が示す各信号の持つ水平方向の周波数成分Sr(fx)、Sg1(fx)は、それぞれ図３（ｂ）、図３（ｃ）に示すものとなる。数９における高調波成分の-jkπの位相回転は、図３（ｂ）と図３（ｃ）の比較でわかるように1/2dxを中心に発生する高調波成分が逆極性となって現れることにつながる。
【００２２】
ここで、Sr(fx)とSg1(fx)のうちの図に斜線で示す０から1/4dxの周波数領域をローパスフィルタで取り出して色信号に用いると、1/2dxを中心に発生する高調波成分の一部が有効帯域内に混入する。有効帯域に混入するのは被写体像の1/4dxよりも高い周波数成分であるが、ステップ状に明るさが変化するなど、広い範囲の周波数成分を持つ被写体像では、有効帯域への混入成分が無視できない大きさとなる。なおかつ、Sr(fx)とSg1(fx)では高調波成分の混入が逆相となり、その影響が全く逆の方向に現れるので、混入成分の大きさに対応した偽の色信号が発生する。
【００２３】
以上が偽の色信号の発生原因を、周波数領域から説明したものである。無彩色の被写体像の境界部分で発生する偽の色信号は、本来無彩色である部分が着色して再生されるので、視覚上特に目立ちやすい。
【００２４】
偽の色信号を低減する第１の従来の方法は、固体撮像素子と光学レンズの間に光学ローパスフィルタを挿入する方法であり、最も一般的に用いられている。光学ローパスフィルタは、たとえば厚さと結晶方向を調整した水晶板で固体撮像素子の画素の間隔dxに等しい距離だけずれた被写体の二重像を生成することによって実現できる。このとき、光学ローパスフィルタの周波数特性fop(f)は次の数１０であらわされるものとなり、画素の間隔dxの２倍を周期とする周波数成分は二重像によって相殺されるので、周波数1/2dxを中心とした減衰特性が得られる。
【００２５】
【数１０】
2005303675.tif 000012
【００２６】
この結果、光学ローパスフィルタを用いないときに図３（ａ）に示すものであった被写体の周波数成分は、図４（ａ）に示すものとなる。同様に、Sr(fx)、Sg1(fx)も高周波成分が抑圧された図４（ｂ）、（ｃ）に示すものとなる。このとき、斜線で示した有効帯域に高調波となって混入する被写体像の1/4dxよりも高い周波数成分が減少するので、偽の色信号を抑圧できる。しかしこのとき、被写体像の高周波成分自体が減衰しているので、解像度が低減するという弊害を生じる。
【００２７】
偽の色信号を低減する他の従来の方法は、特許番号２９４８２４０号などに示された方法である。特許番号２９４８２４０号の方法は、例えば上述のSr(fx)の低周波成分とSg1(fx)の低周波成分の比を求めて、それをSr(fx)に乗算し、得られた信号をSg1(fx)の補間信号として用いるものである。これは図３（ｂ）に示すSr(fx)を、ベースバンド成分の大きさが図３（ｃ）に示すSg1(fx)のベースバンド成分の大きさに等しくなるよう増幅して、Sg1(fx)と加えあわせたときに周波数1/2dxを中心に発生する高調波成分を相殺させてしまうことをねらったものである。上記の特許の方法によると、それぞれの低周波成分に混入する高調波成分の割合がベースバンド成分に比べて小さいときには、低周波成分の比とベースバンド成分の比が近いので高調波成分を大幅に低減でき、有効帯域に混入する高調波成分に起因する偽の色信号が抑圧される。しかし、それぞれの低周波成分に混入する高調波成分の割合がベースバンド成分に比べて無視できない程度であるときには、低周波成分の比とベースバンド成分の比の誤差が大きくなるので、周波数1/2dxを中心に発生する高調波成分を十分に低減できず、偽の色信号が十分に抑圧できないという問題点がある。
【特許文献１】米国特許番号３、９７１、０６５
【特許文献２】特許番号２９４８２４０号公報
【発明の開示】
【発明が解決しようとする課題】
【００２８】
以上述べたように、従来の光学ローパスフィルタを用いた単板カラーカメラの信号生成方法では、得られる画像の解像度が低下するという問題点がある。また、当該色信号の低周波成分と他の色信号の低周波成分の比を求めて、それを他の色信号に乗算して当該色信号の補間信号を得る従来の単板カラーカメラの信号生成方法では、低周波成分に混入する高調波成分の割合がベースバンド成分に比べて無視できない程度である被写体像では偽の色信号が十分に抑圧できないという問題点がある。
【００２９】
本発明は、上記従来技術の問題点に鑑み、得られる画像の解像度を低下することなく、高い周波数成分をもつ被写体像の場合にも偽の色信号を抑圧できる単板カラーカメラの信号生成方法を提供することを目的とする。
【課題を解決するための手段】
【００３０】
上記課題を解決するために本発明の単板カラーカメラの信号生成方法は、二次元状に配列された複数の画素を持ち、しかも上記複数の画素には透過光の異なる複数種の微小光学フィルタが一定の繰り返し周期で組み合わされた撮像素子を用いてカラーの画像信号を生成する単板カラーカメラの信号生成方法において、上記複数の画素の各々から第１の１枚の画像を読み出す期間に取り出された第１の画像の画素信号群を得て、少なくとも上記複数の画素の各々から上記第１の１枚の画像を読み出す期間の直前あるいは直後の第２の１枚の画像を読み出す期間に取り出された第２の画像の画素信号群を得て、上記第１の画像の画素信号群と少なくとも上記第２の画像の画素信号群を、上記複数の画素における同一の画素から得られたものごとに合成して合成された画素信号群を生成し、上記第１の画像の画素信号群から輝度信号を生成し、上記合成された画素信号群を対応する上記複数の画素に組み合わされた上記微少光学フィルタの透過光が同種類であるものごとに選択的に分離して複数の色信号を生成する。
【００３１】
また，二次元状に配列された複数の画素を持ち、しかも上記複数の画素には透過光の異なる複数種の微小光学フィルタが一定の繰り返し周期で組み合わされた撮像素子を用いてカラーの画像信号を生成する単板カラーカメラの信号生成方法において、上記複数の画素の各々から第１の１枚の画像を読み出す期間に取り出された第１の画像の画素信号群を得て、少なくとも上記複数の画素の各々から上記第１の１枚の画像を読み出す期間の直前あるいは直後の第２の１枚の画像を読み出す期間に取り出された第２の画像の画素信号群を得て、上記第１の画像の画素信号群と少なくとも上記第２の画像の画素信号群を、上記複数の画素における同一の画素から得られたものごとに合成して合成された画素信号群を生成し、上記第１の画像の画素信号群のなかから上記複数の画素から任意に選んだ第１の画素から得られた第１の画素信号を取り出し、上記合成された画素信号群のなかから上記第１の画素に対応する第１の合成された画素信号を取り出し、上記合成された画素信号群のなかから上記複数の画素のうち上記第１の画素の周辺に存在し、しかも上記複数種の微小光学フィルタのうちの上記第１の画素に組み合わせられた第１の種類の微小光学フィルタとは透過光の異なる第２の種類の微小光学フィルタが組み合わせられた第２の画素に対応する第２の合成された画素信号を取り出し、上記合成された画素信号群のなかから上記複数の画素のうち上記第１の画素の周辺に存在し、しかも上記第２の種類の微小光学フィルタが組み合わせられ、かつ、上記第２の画素とは異なる第３の画素に対応する第３の合成された画素信号を取り出し、すくなくとも上記第２の合成された画素信号と上記第３の合成された画素信号から第１の補間信号を生成し、上記第１の補間信号を上記第１の合成された画素信号で除した大きさに対応する比信号を生成し、上記第１の画素信号と上記比信号を乗算した大きさに対応する第２の補間信号を生成し、上記第１の画像の画素信号群から上記複数の画素のうち上記第２の種類の微小光学フィルタを組み合わせられた画素に対応する画素信号群を選択的に取り出して第１の色信号を生成し、上記第２の補間信号を上記第１の色信号における上記第１の画素に対応した信号として用いることとしてもよい。
【発明の効果】
【００３２】
本発明の単板カラーカメラの信号生成方法によれば、複数のフレームで得られた画素信号を積算することによって被写体像の高周波成分を抑圧した積分後の画素信号を得ることができるので、これを利用することで被写体像が高周波成分をもつ場合にも高調波成分の混入が軽減された狭帯域の色信号を得ることができる。また、被写体像の高周波成分が軽減された積分後の画素信号を用いれば、当該色信号の低周波成分と他の色信号の低周波成分の比を求めて、それを他の色信号に乗算して当該色信号の補間信号を得る際に、低周波成分に混入する高調波成分の割合をベースバンド成分に比べて小さくできるので、誤差の少ない補間信号を生成することができる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の実施の形態を、図面を用いて説明する。
【実施例１】
【００３４】
図１は本発明の第１の実施の形態を示すブロック図であり、原色形ベイヤ配列の色フィルタを用いた単板カラーカメラにおけるＲ、Ｇ、Ｂ信号の生成に関わる部分を示す。図１において、固体撮像素子１には図２に示した原色形ベイヤ配列の色フィルタが組み合わされているものとする。
【００３５】
固体撮像素子１から得られるアナログの画素信号は、Ａ／Ｄ変換器２でディジタルの画素信号に変換される。Ａ／Ｄ変換器２から得られたディジタルの画素信号は輝度信号生成器３に加えられて、広帯域の輝度信号を発生する。
【００３６】
一方、Ａ／Ｄ変換器２から得られたディジタルの画素信号は、同時に積分信号生成器４に加えられ、固体撮像素子１から得られるたとえば連続する４フレームの画素信号を、同一の画素から得られる画素信号ごとに加算平均した積分画素信号を生成する。ここで固体撮像素子１が水平方向６４０画素、垂直方向４８０画素程度であるとき、１フレームを読み出すのに要する時間は通常１／３０秒程度であるから、得られる積分画素信号は１／７．５秒の間に各画素で生成された信号が積分されたものにあたる。
【００３７】
静止している被写体像を撮影する場合であっても、特に、三脚等を用いずに手のみでカメラを保持した場合、数フレーム間にわたって固体撮像素子の撮像面の被写体像を画素間隔に比べて無視できる程度の動きにおさえることことは難しい。これは、手ぶれ補正機能の開発が進められていることからも容易に理解できる。このとき積分信号生成器４で生成される積分画素信号は、１／７．５秒間に被写体像が数画素程度の範囲で動いて得られた信号の積算値となり、光学ローパスフィルタを用いて得られるのと同様の被写体像の高周波成分が低減されたものとなることが期待できる。ここで、図２におけるR(2m,2n)の画素に対応する積分信号生成器４の出力である積分画素信号をRs(2m,2n)とあらわすこととする。他の積分画素信号も、対応する位置の画素信号に”ｓ”を付加してあらわすものとする。
【００３８】
積分信号生成器４で生成された積分画素信号は補間信号生成器５に加えられ、たとえば輝度信号生成器３から図２に示すR(2m,2n)の画素に対応する輝度信号が得られるときには出力６からRs(2m,2n)を出力する。同時に出力７からはその上下の画素に対応する積分画素信号であるGs(2m,2n-1)とGs(2m,2n+1)の平均値信号を出力し、出力８からは左右の画素に対応する積分画素信号であるGs(2m-1,2n)とGs(2m+1,2n)の平均値信号を出力する。また同時に、出力９からは四方の斜め方向の画素に対応する積分画素信号であるBs(2m-1,2n-1)、Bs(2m+1,2n-1)、Bs(2m-1,2n+1)、およびBs(2m+1,2n+1)の平均値信号を出力する。
【００３９】
出力６ないし出力９から得られる各信号は、ゲート回路１０とゲート回路１１に加えられる。ここでゲート回路１０は、輝度信号生成器３からR(2m,2n)の画素に対応する信号が得られるときは出力６から加えられたRs(2m,2n)の積分画素信号を出力し、輝度信号生成器３からG(2m+1,2n)の画素に対応する信号が得られるときには出力８から加えられた左右の画素に対応するRs(2m,2n)とRs(2m+2,2n)の平均値信号を出力し、輝度信号生成器３からG(2m,2n+1)の画素に対応する信号が得られるときには出力７から加えられた上下の画素に対応するRs(2m,2n)とRs(2m,2n+2)の平均値信号を出力し、さらに輝度信号生成器３からB(2m+1,2n+1)の画素に対応する信号が得られたときには出力９から加えられた四方の斜め方向の画素に対応するRs(2m,2n)、Rs(2m+2,2n)、Rs(2m,2n+2)、およびRs(2m+2,2n+2)の平均値信号を出力するよう動作するものとする。この結果、ゲート回路１０からはあらゆる位置の画素に対応したＲの積分画素信号あるいはその補間信号が得られる。前述のように、積分画素信号は光学ローパスフィルタを用いて得られる画素信号と同様、被写体像の高周波成分が低減されたものとなることが期待できるので、ゲート回路１０の出力をローパスフィルタ１３に加えて得られる信号は、クロマ信号の有効帯域への高調波成分の混入が少ないＲ信号であることが期待できる。
【００４０】
同様にゲート回路１１は、輝度信号生成器３からR(2m,2n)の画素に対応する信号が得られるときは出力９から加えられた四方の斜め方向の画素に対応するBs(2m-1,2n-1)、Bs(2m+1,2n-1)、Bs(2m-1,2n+1)、およびBs(2m+1,2n+1)の平均値信号を出力し、輝度信号生成器３からG(2m+1,2n)の画素に対応する信号が得られるときには出力７から加えられた上下の画素に対応するBs(2m+1,2n-1)とBs(2m+1,2n+1)の平均値信号を出力し、輝度信号生成器３からG(2m,2n+1)の画素に対応する信号が得られるときには出力８から加えられた左右の画素に対応するBs(2m-1,2n+1)とBs(2m+1,2n+1)の平均値信号を出力し、さらに輝度信号生成器３からB(2m+1,2n+1)の画素に対応する信号が得られたときには出力６から加えられたBs(2m+1,2n+1)を出力するよう動作するものとする。この結果、ゲート回路１１からはあらゆる位置の画素に対応したＢの積分画素信号あるいはその補間信号が得られ、これをローパスフィルタ１４に加えて得られる信号は、クロマ信号の有効帯域への高調波成分の混入が少ないＢ信号であることが期待できる。
【００４１】
また、出力６ないし出力８から得られる各信号は同時にゲート回路１２に加えられる。ここでゲート回路１２は、輝度信号生成器３からR(2m,2n)の画素あるいはB(2m+1,2n+1)の画素に対応する信号が得られるときは、出力７から加えられた上下のＧの画素に対応する積分画素信号の平均値信号と出力８から加えられた左右のＧの画素に対応する積分画素信号の平均値信号のうちのいずれか一方、あるいは両者の平均値信号を出力し、輝度信号生成器３からG(2m+1,2n)の画素あるいはG(2m,2n+1)の画素に対応する信号が得られるときは出力６から加えられたＧの積分画素信号を出力するよう動作するものとする。これをローパスフィルタ１５に加えて得られる信号も、ローパスフィルタ１３、ローパスフィルタ１４から出力されるＲ信号、Ｂ信号と同様に、クロマ信号の有効帯域への高調波成分の混入が少ないＧ信号であることが期待できる。
【００４２】
こうしてローパスフィルタ１３、ローパスフィルタ１４、およびローパスフィルタ１５から得られたＲ、Ｂ、Ｇ信号は、クロマ信号の有効帯域への高調波成分の混入が少ないことが期待できるので、これに起因する偽色の発生が低減される。しかも輝度信号生成器３から得られる輝度信号は、光学ローパスフィルタを用いた場合のように高周波成分が低減することはない。
【００４３】
なお、図１における積分信号生成器４は、図５に示す構成によって実現できる。図５において、積分信号生成器４に入力された画素信号は、入力信号を１フレームに等しい期間だけ遅延させるフレーム遅延メモリ２０１によって１フレーム期間遅延される。フレーム遅延メモリ２０１の出力は、さらにフレーム遅延メモリ２０２、フレーム遅延メモリ２０３へ順次加えられ、それぞれ２フレーム期間遅延した信号、３フレーム期間遅延した信号となる。積分信号生成器の入力信号とフレーム遅延メモリ２０１、２０２、２０３の出力信号は、固体撮像素子の同一画素から連続する４フレームに得られる画素信号であるから、これらを加算平均値生成器２０４に加えて加算平均した出力信号は、４フレーム分の積分画素信号である。加算平均値生成器２０４の出力信号はメモリ２０５に書き込まれて、補間信号生成器５が必要とする当該画素の積分画素信号と周辺画素の積分画素信号を同時に出力する。
【００４４】
また積分信号生成器４は、図６に示す構成としても同様の効果が得られる。図６において、積分信号生成器４に入力された信号は係数器２０６に加えられ、たとえば１／２倍に減衰される。一方、あらかじめフレームメモリ２０９に記録された積分信号生成器の入力信号に対応する画素位置のアドレスの信号がフレームメモリ２０９から読み出されて係数器２０７に加えられる。すなわち、積分信号生成器に入力される信号がR(2m,2n)であるとき、フレームメモリのアドレス(2m,2n)の信号が読み出されて減衰器２０７に加えられる。ここで減衰器２０７の減衰係数は、（係数器２０７の減衰係数）＝１−（係数器２０６の減衰係数）であり、ここでは１／２倍であるとする。係数器２０６と係数器２０７の出力信号は加算器２０８によって加算される。加算器２０８の出力信号はフレームメモリ２０９に加えられ、この信号が積分信号生成器の入力信号R(2m,2n)に対応する画素位置のアドレス、(2m,2n)に上書きされる。
【００４５】
この結果、加算器２０８からは固体撮像素子の各画素に対応する”現在のフレームに得られた画素信号の１／２倍＋１フレーム前に得られた画素信号の１／４倍＋２フレーム前に得られた画素信号の１／８倍＋．．．＋ｋフレーム前に得られた画素信号の１／（２のｋ＋１乗）倍＋．．．”が順次得られる。これは現在に近いフレームの信号ほど大きな割合で加算されているが、複数のフレームで得られた信号から生成されるので、動いた被写体像を積分する効果は図５の構成例による積分信号生成器の場合と同様であり、被写体像の高周波成分が低減された積分画素信号であることが期待できる。加算器２０８の出力信号はメモリ２１０に書き込まれて、補間信号生成器５が必要とする当該画素の積分画素信号と周辺画素の積分画素信号を同時に出力する。
【００４６】
また上述の説明では、補間信号生成器５は上下の画素、左右の画素、あるいは斜め方向にある４つの画素から得られる画素信号を用いて補間信号を生成する方法を述べたが、ここに特許番号２９４８２４０号に述べられた方法などの従来技術を用いてもよいことは明らかである。
【実施例２】
【００４７】
図７は本発明の第２の実施の形態を示すブロック図である。図７において、図１のブロック図と同じ番号を付した固体撮像素子１、Ａ／Ｄ変換器２、積分信号生成器４、補間信号生成器５、ゲート回路１０、ゲート回路１１、ゲート回路１２の動作は図１の実施例の場合と同一であるので説明を省略する。
【００４８】
図７に示す実施例では、ゲート回路１０から出力されたＲ信号とゲート回路１２から出力されたＧ信号を割り算器１６に加え、Ｇ／Ｒに対応した信号を生成する。また、ゲート回路１１から出力されたＢ信号とゲート回路１２から出力されたＧ信号を割り算器１７に加え、Ｇ／Ｂに対応した信号を生成する。一方、Ａ／Ｄ変換器２の出力信号は、Ａ／Ｄ変換器２とゲート回路１０、１１、１２の出力信号の相対時刻を合わせるための遅延調整器２１に加えられる。割り算器１６の出力信号は遅延調整器２１から得られる信号とともに掛け算器１８に加えられ、割り算器１７の出力信号は遅延調整器２１から得られる信号とともに掛け算器１９に加えられる。
【００４９】
ここで、たとえば遅延調整器２１から図２に示すR(2m,2n)の画素信号が出力され、ゲート回路１０から積分画素信号Rs(2m,2n)、ゲート回路１２からはGs'(2m,2n)が得られるとき、掛け算器１８の出力信号G'(2m,2n)は次の数１１となる。ここでGs'(2m,2n)は、Gs(2m,2n-1)、Gs(2m-1,2n)、Gs(2m+1,2n)、Gs(2m,2n+1)の加算平均値とする。
【００５０】
【数１１】
2005303675.tif 000013
【００５１】
割り算器１６の出力信号は、被写体像の高周波成分が軽減されたＲ信号とＧ信号との比であるから、高調波成分の混入が少なく、被写体像のＲ信号とＧ信号のベースバンド成分の比に近いものとなることが期待できる。この結果、この比をＲ信号に掛け合わせた掛け算器１８の出力信号は、被写体像が高周波成分を多く含む場合にも、誤差の少ないＧ信号の補間信号となることが期待できる。
【００５２】
同様に、遅延調整器２１からB(2m+1,2n+1)の画素信号が出力され、ゲート回路１１からBs(2m+1,2n+1)の積分画素信号、ゲート回路１２からはGs'(2m+1,2n+1)が得られるとき、掛け算器１９の出力信号G'(2m+1,2n+1)は次の数１２となる。ここでGs'(2m+1,2n+1)は、Gs(2m+1,2n)、Gs(2m,2n+1)、Gs(2m+2,2n+1)、Gs(2m+1,2n+2)の加算平均値とする。
【００５３】
【数１２】
2005303675.tif 000014
【００５４】
こうして掛け算器１８、掛け算器１９から得られるG'(2m,2n)やG'(2m+1,2n+1)は、遅延調整器２１の出力信号とともにゲート回路２０に加えられる。このときゲート回路２０は、遅延調整器２１からG(2m+1,2n)あるいはG(2m,2n+1)の画素信号が得られるときはそれらを出力し、遅延調整器２１からR(2m,2n)の画素信号が得られるときは掛け算器１８で得られるG'(2m,2n)を出力し、遅延調整器２１からB(2m+1,2n+1)の画素信号が得られるときは掛け算器１９で得られるG'(2m+1,2n+1)を出力するよう動作するものとする。この結果、ゲート回路２０からは固体撮像素子１のすべての画素位置に対応したＧ信号が得られるので、Ｇ信号の高解像度化が達成できる。
【００５５】
なお、上述の実施例の説明では、ＲあるいはＢの画素位置におけるＧ信号の補間信号を生成する方法を述べたが、同様に、たとえば遅延調整器２１からG(2m,2n+1)が得られるときにRs'(2m,2n+1)あるいはBs'(2m,2n+1)をGs(2m,2n+1)で除した比の信号にG(2m,2n+1)を掛け合わせれば、G(2m,2n+1)の画素位置におけるＲあるいはＢの補間信号を生成できることは明らかである。ここで、Rs'(2m,2n+1)はRs(2m,2n)とRs(2m,2n+2)の平均値信号、また、Bs'(2m,2n+1)はBs(2m-1,2n+1)とBs(2m+1,2n+1)の平均値信号である。
【００５６】
また、上述の説明では図２に示した原色形ベイヤ配列の色フィルタを用いる場合を例に取ったが、本発明の主旨は複数フレームで得られた画素信号を積算することによって被写体像の高周波成分を抑圧した信号を得ることにあるので、他の配列の色フィルタを用いた場合にも適用できることは明らかである。
【００５７】
また、上述の説明では積分信号生成器が固体撮像素子のすべての画素位置に対応する積分画素信号を得るものとしたが、積分画素信号から得る周波数帯域がさらに狭帯域でよい場合は、たとえば任意の整数ｉ、ｊに対してRs(4i,4j)、Gs(4i+1,4j)、Gs(4i,4j+1)、Bs(4i+1,4j+1)のみを生成するなど、積分画素信号を間引きして生成することもでる。このとき積分信号生成器に必要なメモリの容量を１／４に軽減することができる。
【００５８】
さらに、本発明の実施例はハードウェアによる処理を例にとって説明したが、ソフトウェアによる汎用コンピュータ上での処理によっても実現できることは明らかである。
【産業上の利用可能性】
【００５９】
以上説明したように、本発明の単板カラーカメラの信号生成方法によれば、高周波成分を含む被写体像においても、画像の解像度を低下させることなく、サンプリングに起因する高調波成分の混入が軽減さた低域のＲ、Ｇ、Ｂ信号を得ることができる。また、本発明の単板カラーカメラの信号生成方法によれば、高周波成分を含む被写体像においてもサンプリングに起因する高調波成分の混入が軽減さた低域のＲ、Ｇ、Ｂ信号を得ることができるので、当該色信号の低周波成分と他の色信号の低周波成分の比がベースバンド成分の比に近いものとなり、それを他の色信号に乗算することで誤差の少ない当該色信号の補間信号を得ることができる。これらのことから本発明の単板カラーカメラの信号生成方法は、高解像度で偽の色信号の発生が少ない単板カラーカメラの実現を目的とする際に好適である。
【図面の簡単な説明】
【００６０】
【図１】本発明の単板カラーカメラの信号生成方法による第１の実施の形態の構成を示す図である。
【図２】本発明の関わる単板カラーカメラに使用される色フィルタの一例である、原色形ベイヤ配列の構成を示す図である。
【図３】図２に示した原色形ベイヤ配列の色フィルタにおいて、各画素信号に発生する周波数成分を示す図である。
【図４】図２に示した原色形ベイヤ配列の色フィルタにおいて、光学ローパスフィルタを組み合わせた場合に各画素信号に発生する周波数成分を示す図である。
【図５】本発明に用いることのできる積分信号生成器の構成例を示す図である。
【図６】本発明に用いることのできる積分信号生成器の他の構成例を示す図である。
【図７】本発明の単板カラーカメラの信号生成方法による第２の実施の形態の構成を示す図である。
【符号の説明】
【００６１】
１    固体撮像素子
２    Ａ／Ｄ変換器
３    輝度信号生成器
４    積分信号生成器
５    補間信号生成器
１０、１１、１２、２０    ゲート回路
１３、１４、１５    ローパスフィルタ
１６、１７    割り算器
１８、１９    掛け算器
２１    遅延調整器
２０１、２０２、２０３    フレーム遅延メモリ
２０４    加算平均値生成器
２０５、２１０    メモリ
２０６、２０７    係数器
２０８    加算器
２０９    フレームメモリ
【図１】
2005303675.tif 000015
【図２】
2005303675.tif 000016
【図３】
2005303675.tif 000017
【図４】
2005303675.tif 000018
【図５】
2005303675.tif 000019
【図６】
2005303675.tif 000020
【図７】
2005303675.tif 000021