(57)【特許請求の範囲】
【請求項１】
Ｇの画素が市松状に配置され、上記Ｇの画素の間にＲ又はＢの画素が走査線毎に交互に配置されている撮像面における全画素の信号が所定の水平走査方向のサンプリング周波数で走査線毎に順次に読み出され、Ｒの画素及びＧの画素の走査線信号とＧの画素及びＢの画素の走査線信号とがそれぞれ第１、第２の映像信号として出力されるように成された撮像手段と、
上記第１、第２の映像信号の利得をそれぞれ制御する第１、第２の利得制御手段と、
上記第１、第２の利得制御手段からそれぞれ出力される上記第１、第２の映像信号に含まれるＲの画素信号及びＢの画素信号について水平及び垂直方向に平均値補間を行う第一処理、及び、上記第１、第２の利得制御手段の出力信号に含まれるＧの画素信号について垂直方向に平均値補間を行う第二処理、を施すことによって、すべての画素位置についてＲ、Ｇ、Ｂの画素データを持つように補間する信号処理手段と、
上記信号処理手段から出力された上記第二処理が行われたＧの画素信号から上記サンプリング周波数の１／２の周波数成分を除去するフィルタ手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
上記信号処理手段は、上記第二処理を行うことによって得られる色信号を輝度信号として出力し、
上記フィルタ手段は、上記輝度信号から上記サンプリング周波数の１／２の周波数成分を除去することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、所謂ベイヤー配列に色フィルタが配置されている順次走査固体撮像素子を用いる場合に好適な撮像装置に関する。
【０００２】
【従来の技術】
近年、半導体技術の進歩に伴い順次走査で信号を読み出すことのできるＣＣＤ等の固体撮像素子（全画素読み出し固体撮像素子、以下全画素撮像素子）が開発されている。このような全画素撮像素子は、従来のインターレース走査（飛び越し走査）方式の撮像素子に比べて、動きのある被写体に対してもぶれが少なく、解像度の高い画像を取り込むことができる。つまり、インターレース撮像素子では、１フレームの画像は１フィールド期間ずれた２枚のフィールドで構成されるため、動きのある被写体を撮像した場合、フィールド間の時間差により動きブレが生ずる。また、１フィールドの画像を取り出すと動きブレは無くなるものの、垂直の解像度が１／２になってしまう。これに対して全画素撮像素子では、１フィールド期間で１フレーム分撮像することができるため、上述のような問題は生じない。このような特徴を利用して、全画素撮像素子は静止画像取り込みカメラやＥＤＴＶ  ＩＩ用カメラなどへ応用が期待されている。
【０００３】
ここで従来の垂直２画素加算読み出し方式の撮像素子を用いた撮像装置について図５を用いて説明する。
図５において、撮像素子１はタイミング発生器（ＴＧ）９からのタイミング信号ｔ１、ｔ２に従って垂直方向に２画素づつ加算されて読み出される。その出力信号はバッファ２を介してＣＤＳ回路３で撮像素子１のリセットノイズを除去された後、ＡＧＣ回路４でマイコン８からの制御信号ｃ２によりゲイン制御される。ゲイン制御された信号はＡ／Ｄ変換器５でディジタル信号に変換されてカメラプロセス回路６に送られ、所定の処理が施されて輝度信号Ｙ及び色差信号Ｃが出力される。また、マイコン８はカメラプロセス回路６で検出されたゲイン情報ｃ２に基づいてＡＧＣ回路４の制御信号ｃ１を生成する。
【０００４】
次に、現在使用されている全画素撮像素子のほとんどは、図６に示すような所謂ベイヤー配列にＲ、Ｇ、Ｂフィルタが配置されているものである。この色配列ではＧが輝度信号として使われている。また、全画素撮像素子は１フィールド期間に１フレームの画像データを読み出すために、上述した図５に示すような従来の垂直２画素加算読み出しの撮像素子に比べて電荷の転送速度が２倍となる。そこで、図７に示すように、撮像素子からの出力を従来の１ライン読み出しから、奇数・偶数の走査線信号出力が例えばそれぞれ第１及び第２の信号出力となるような構成の２ライン読み出しにすることが望ましい。
【０００５】
ここで、従来の２ライン読み出しの全画素撮像素子を用いた撮像装置の回路構成を図７、図８、図９を用いて説明する。
全画素撮像素子１は、ＴＧ９から与えられたタイミング信号ｔ１、ｔ２に従って垂直レジスタ転送、水平レジスタ転送を行い、ｃｈ１、ｃｈ２からそれぞれ奇数・偶数の走査線信号が出力される。このｃｈ１、ｃｈ２からの出力信号は、それぞれ全画素撮像素子１の奇数ライン、偶数ラインに対応しており、バッファ２１、２２を介してそれぞれＣＤＳ回路３１、３２に送られる。ＣＤＳ回路３１、３２は撮像素子１のリセットノイズの除去を行いそれぞれＡＧＣ回路４１、４２に映像信号を送る。ＡＧＣ回路４１、４２は、カメラプロセス回路６で検知された各チャンネルのゲインの差を元に、指定されたゲインを映像信号に与える。Ａ／Ｄ変換器５１、５２は、アナログの映像信号をディジタル信号に変換して、カメラプロセス回路６にディジタル信号を送る。
【０００６】
カメラプロセス回路６は図８のように構成されており、ここではまず入力端子６００−１、６００−２からそれぞれｃｈ１、ｃｈ２の出力信号を受け取り、処理周波数を２倍にして奇数・偶数ラインをライン順次にするための遅延を１Ｈメモリ６１１−１、６１１−２で行う。色分離回路６０１は、図６に示したような画素配列のまま点順次で送られてきたＧ、Ｂ、Ｒの画素データを、Ｇについては図１０（ａ）のように水平方向の平均値補間で、Ｂ、Ｒについては水平、垂直方向の平均値補間で、それぞれのチャンネルがすべての画素位置についてデータを持つように補間し、それぞれ点順次化する。この色分離回路６０１からの出力Ｇは、本線信号と輪郭補償信号とに分岐され、Ｖ−ＨＰＦ６０３及びＨ−ＨＰＦ６０４によって輪郭信号を抽出した後、本線信号にそれぞれ加算され、γ処理回路６０６を経て色変換マトリクス回路６０７に送られる。また、色分離回路６０１の出力Ｇ−ｌｏｗ、Ｂ−ｌｏｗ、Ｒ−ｌｏｗは、ホワイトバランス回路６０５によってホワイトバランスがとられた後、γ処理回路６０６を経て色変換マトリクス回路６０７に送られる。
【０００７】
色変換マトリクス回路６０７は、Ｇ、Ｇ−ｌｏｗ、Ｂ−ｌｏｗ、Ｒ−ｌｏｗを受けて、リニアマトリクス処理及びＲＧＢ−ＹＣｂＣｒ変換を行い、輝度信号Ｙと色差信号Ｃｂ、Ｃｒにする。色変換マトリクス回路６０７からの出力Ｙは出力端子６０９Ｙから出力され、出力Ｃｂ、Ｃｒについては点順次化回路６０８で帯域圧縮と点順次化を行った後、出力端子６０９Ｃから出力される。そして、低照度時の撮影などで画面全体が暗くなると、映像信号レベルを適切に上げるために、Ｈ−ＬＰＦ６１０を経たＧから求めたゲイン情報ｃ１をマイコン８に送る。マイコン８はカメラプロセス回路６から受け取ったデータを基にＡＧＣ回路４１、４２のゲインをそれぞれ決定し制御信号ｃ２を送る。
ＡＧＣ回路４１、４２は制御信号ｃ２を受け取って所望のゲインに調整する。
【０００８】
ＡＧＣ回路４１、４２は、ゲインが与えられると、映像信号を所定のゲインだけ変化させるが、ＡＧＣ回路４１、４２には個々に動作のばらつきがあり、ＡＧＣ回路４１、４２に同じゲイン指定をしても映像信号レベルが異なってしまうことになる。このような現象が起きると、全面一様なもの（例えばホワイトチャート）を撮像したときに、図１０（ｂ）に示すように、ＡＧＣ回路４１、４２のゲインのばらつきは、画面上では奇数・偶数フィールドの出力レベルの差として現れ、このためフィールドフリッカが起きる。これは画像を著しく劣化させるものである。
【０００９】
そこで、カメラプロセス回路６を図９のように構成して、入力時にｃｈ１、ｃｈ２のデータを色分離回路６０１で点順次化して、色分離回路６０１でＧについては垂直方向の平均補間をする方式も考えられる。しかし、この方式でも全面一様なもの（例えばホワイトチャート）を撮像したときに、図３（ｂ）に示すように、ＡＧＣ回路４１、４２のゲインのばらつきは、奇数・偶数画素の出力レベルの差として現れるために、画面上では縦縞が入ることになり、画像を著しく劣化させる。
【００１０】
このため従来では、図７に示すように、ＴＧ９によって予め定められたタイミングで基準信号発生部１０にタイミング信号ｔ３を送っている。この基準信号発生部１０は、ｃｈ１、ｃｈ２の水平レジスタにｔ３で定められたタイミングで基準信号を注入する。この基準信号を映像信号と同様に処理した後、マイコン８はゲイン情報ｃ１に基づいて基準信号のゲイン差を示す情報ｄ１を基準信号発生部１０に送る。このｄ１に応じて基準信号発生部１０は、ｃｈ１、ｃｈ２の水平レジスタに注入する基準信号のレベルを調整し、マイコン８は、ゲインの制御にＡＧＣ回路４１、４２の上記ゲイン差を乗じ、再び変更された基準信号を映像信号と同様に処理し、ＡＧＣ回路４１、４２のゲイン差が補正されたことを確認する。
このようにして、２つのＡＧＣ回路４１、４２のゲインにばらつきが生じても、そのばらつきをフィードバック制御で補正することが可能となる。
【００１１】
【発明が解決しようとする課題】
しかしながら図７の方式では、２つのＡＧＣ回路のゲインのばらつきを補正するようなフィードバック構成をとることと、そのために必要な回路構成が追加されることで、ハード量の増加を招くことになるという問題があった。
【００１２】
本発明は上記のような従来の問題を解決するためになされたもので、上述したゲイン差を補正するためのフィードバック構成の補正回路を用いずに、ＡＧＣ回路のゲインのばらつきを効果的に除去する構成を提案するものである。
【００１３】
【課題を解決するための手段】
本発明は、Ｇの画素が市松状に配置され、上記Ｇの画素の間にＲ又はＢの画素が走査線毎に交互に配置されている撮像面における全画素の信号が所定の水平走査方向のサンプリング周波数で走査線毎に順次に読み出され、Ｒの画素及びＧの画素の走査線信号とＧの画素及びＢの画素の走査線信号とがそれぞれ第１、第２の映像信号として出力されるように成された撮像手段と、上記第１、第２の映像信号の利得をそれぞれ制御する第１、第２の利得制御手段と、上記第１、第２の利得制御手段からそれぞれ出力される上記第１、第２の映像信号に含まれるＲの画素信号及びＢの画素信号について水平及び垂直方向に平均値補間を行う第一処理、及び、上記第１、第２の利得制御手段の出力信号に含まれるＧの画素信号について垂直方向に平均値補間を行う第二処理、を施すことによって、すべての画素位置についてＲ、Ｇ、Ｂの画素データを持つように補間する信号処理手段と、上記信号処理手段から出力された上記第二処理が行われたＧの画素信号から上記サンプリング周波数の１／２の周波数成分を除去するフィルタ手段と、を備えたことを特徴とする。
【００１４】
【作用】
本発明によれば、輝度信号を垂直方向に補間することにより２つの利得制御手段のゲインのばらつきを水平周波数軸のナイキスト周波数振動に置き換えているので、フィルタ手段により上記ゲインのばらつきを有効に除去することができる。
【００１５】
【発明の実施の形態】
図１は本発明の実施の形態による撮像装置を示し、図２は図１のカメラプロセス回路６の構成を示す。
図１においては、図７の基準信号発生部１０及びこれに関する構成が省略されており、他の部分は図７と同一構成されている。また、図２においては、図９に水平フィルタ（Ｈ−ＬＰＦ）６０２を追加した構成となっている。
【００１６】
次に動作について説明する。
全画素撮像素子１がＴＧ９により読み出されてｃｈ１、ｃｈ２の信号が得られ、それぞれカメラプロセス回路６に入力されるまでの動作は図７の場合と同様に行われる。
【００１７】
次に図２に示すカメラプロセス回路６においては、まず入力端子６００−１、６００−２からそれぞれｃｈ１、ｃｈ２の出力信号を受け取る。色分離回路６０１は、図６に示したような画素配列のまま点順次で送られてきたＧ、Ｂ、Ｒの画素データを、Ｇについては図３（ａ）のように垂直方向の平均値補間で、Ｂ、Ｒについては水平、垂直方向の平均値補間でそれぞれの画素位置についてデータを持つように補間し、それぞれ点順次化する。
【００１８】
この色分離回路６０１からの出力Ｇは、例えば図４のような周波数特性を有するＨ−ＬＰＦ６０２によってサンプリング周波数ｆｓに対して１／２ｆｓがトラップされる。ＡＧＣ回路４１、４２にゲインが与えられると、ＡＧＣ回路４１、４２は映像信号を所定のゲインだけ変化させるが、前述したように、ＡＧＣ回路４１、４２は個々に動作のばらつきがあり、ＡＧＣ回路４１、４２に同じゲイン指定をしても映像信号レベルが異なってしまうことになる。このような現象が起きると、奇数・偶数画素で出力レベルに差が生じるために、全面一様なもの（例えばホワイトチャート）を撮像したときに、図３（ｂ）に示すようにＡＧＣ回路４１、４２のゲインのばらつきは奇数・偶数画素の出力レベルの差として現れるために、画面上では縦縞が入ることになり、これは画像を著しく劣化させるものである。しかし、１／２ｆｓがトラップされたことによって、この奇数・偶数画素の出力レベルの差は、１／２ｆｓの周波数振動に置き換えられているので解消される。
【００１９】
その後、Ｇは本線信号と輪郭補償信号とに分岐され、Ｖ−ＨＰＦ６０３及びＨ−ＨＰＦ６０４によって輪郭信号を抽出した後、本線信号にそれぞれ加算され、γ処理回路６０６を経て色変換マトリクス回路６０７に送られる。また、Ｇ−ｌｏｗ、Ｂ−ｌｏｗ、Ｒ−ｌｏｗは、ホワイトバランス回路６０５によってホワイトバランスがとられた後、γ処理回路６０６を経て色変換マトリクス回路６０７に送られる。色変換マトリクス回路６０７は、Ｇ、Ｇ−ｌｏｗ、Ｂ−ｌｏｗ、Ｒ−ｌｏｗを受けて、リニアマトリクス処理及びＲＧＢ−ＹＣｂＣｒ変換を行い、輝度信号Ｙと色差信号Ｃｂ、Ｃｒにする。色変換マトリクス回路６０７からの出力Ｙは出力端子６０９Ｙから出力され、Ｃｂ、Ｃｒについては点順次化回路６０８で帯域圧縮と点順次化を行った後、出力端子６０９Ｃから出力される。
そして、低照度時の撮影などで画面全体が暗くなると、映像信号レベルを適切に上げるために、Ｈ−ＬＰＦ６１０を経たＧから求めたゲイン情報ｃ１をマイコン８に送る。
【００２０】
マイコン８は、カメラプロセス回路６から受け取ったデータに基づいてＡＧＣ回路４１、４２のゲインをそれぞれ決定し制御信号ｃ２を送る。ＡＧＣ回路４１、４２は制御信号ｃ２を受け取って所望のゲインに調整する。ＡＧＣ回路４１、４２は、ゲインが与えられると映像信号を所定のゲインだけ変化させるが、ＡＧＣ回路４１、４２は個々に動作のばらつきがあり、同じゲイン指定をしても映像信号レベルが異なってしまうことになる。このような現象が起きても、Ｈ−ＬＰＦ６０２によって１／２ｆｓがトラップされることによって解消され、好適な画像を得ることができる。
【００２１】
本実施の形態によれば、水平方向のサンプリング周波数の１／２の周波数成分をトラップするＨ−ＬＰＦ６０１を輝度信号処理系に設けることにより、２つのＡＧＣ回路４１、４２のゲインのばらつきを水平周波数軸上のナイキスト周波数振動に置き換えているので、ハード量の増加を招くことなく、各ＡＧＣ回路のゲインのばらつきを効果的に除去することが可能となる。
【００２２】
【発明の効果】
以上に説明したように、本発明によれば、Ｒ、Ｇ、Ｂの画素からなるベイヤー配列された色フィルタを備えた全画素撮像素子の２ライン読み出しを行う場合に、従来のようなフィードバック構成の補正回路を設けず、ハード量を増やすことなく、２つの利得制御手段のゲインのばらつきを有効に除去することができ、さらに、画像の劣化をなくすことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示すブロック図である。
【図２】図１のカメラプロセス回路の構成例を示すブロック図である。
【図３】Ｇ信号の垂直補間を示す構成図である。
【図４】図１のＨ−ＬＰＦの特性図である。
【図５】従来の垂直２画素加算方式の撮像装置を示すブロック図である。
【図６】色フィルタの配列を示す構成図である。
【図７】従来の全画素撮像素子を用いた撮像装置を示すブロック図である。
【図８】従来のカメラプロセス回路を示すブロック図である。
【図９】従来の他のカメラプロセス回路を示すブロック図である。
【図１０】従来のＧ信号の補間処理を示す構成図である。
【符号の説明】
１  全画素撮像素子
６  カメラプロセス回路
８  マイコン
４１、４２  ＡＧＣ回路
６０１  色分離回路
６０２  Ｈ−ＬＰＦ
【図１】
0004011647.tif 000002
【図２】
0004011647.tif 000003
【図３】
0004011647.tif 000004
【図４】
0004011647.tif 000005
【図５】
0004011647.tif 000006
【図６】
0004011647.tif 000007
【図７】
0004011647.tif 000008
【図８】
0004011647.tif 000009
【図９】
0004011647.tif 000010
【図１０】
0004011647.tif 000011