(57)【特許請求の範囲】
【請求項１】
水平方向のピッチがＰｈで垂直方向のピッチがＰｖの２次元の格子状の画素を構成するように受光素子が配置され、
前記受光素子に対応して設けられ、水平方向のピッチが２Ｐｈで垂直方向のピッチがＰｖだけオフセットされた第１の色フィルタと水平方向のピッチが２Ｐｈで垂直方向のピッチが２Ｐｖの第２の色フィルタ及び第３の色フィルタとを有する色フィルタアレイを有する撮像センサと、
前記撮像センサの出力より輝度信号を得る手段と、
前記第１のフィルタに対応する画素の出力より得られた第１の色信号のうち前記第２の色フィルタに対応する画素の出力より得られた第２の色信号の画素と同じ列の画素の信号のみを同時化して該第２の色信号との差をとった第１の差信号と、前記第１の色信号のうち第２の色信号の画素と同じ行の画素の信号のみを同時化して該第２の色信号との差をとった第２の差信号とから、前記輝度信号を得る手段より得られた輝度信号の大きさに応じて第１の色情報を生成する第１の色情報生成手段と、
前記第１の色信号のうち前記第３の色フィルタに対応する画素の出力より得られた第３の色信号の画素と同じ列の画素の信号のみを同時化して該第３の色信号との差をとった第３の差信号と、前記第１の色信号のうち前記第３の色信号の画素と同じ行の画素の信号のみを同時化して該第３の色信号との差をとった第４の差信号とから、前記輝度信号を得る手段より得られた輝度信号の大きさに応じて第２の色情報を生成する第２の色情報生成手段とを具備したことを特徴とするカラー撮像装置。
【請求項２】
水平方向のピッチがＰｈで垂直方向のピッチがＰｖの２次元の格子状の画素を構成するように受光素子が配置され、前記受光素子に対応して設けられ、水平方向のピッチが２Ｐｈで垂直方向のピッチがＰｖだけオフセットされた第１の色フィルタと水平方向のピッチが２Ｐｈで垂直方向のピッチが２Ｐｖの第２の色フィルタ及び第３の色フィルタとを有する色フィルタアレイを有する撮像センサと、
前記第１のフィルタに対応する画素の出力より得られた第１の色信号のうち前記第２の色フィルタに対応する画素の出力より得られた第２の色信号の画素と同じ列の画素の信号のみを同時化して該第２の色信号との差をとった第１の差信号と、前記第１の色信号のうち第２の色信号の画素と同じ行の画素の信号のみを同時化して該第２の色信号との差をとった第２の差信号とから、第１の色情報を生成する第１の色情報生成手段と、
前記第１の色信号のうち前記第３の色フィルタに対応する画素の出力より得られた第３の色信号の画素と同じ列の画素の信号のみを同時化して該第３の色信号との差をとった第３の差信号と、前記第１の色信号のうち前記第３の色信号の画素と同じ行の画素の信号のみを同時化して該第３の色信号との差をとった第４の差信号とから、第２の色情報を生成する第２の色情報生成手段とを有し、
前記第１の色情報生成手段は、第１の差信号と第２の差信号の大きさに対応した混合比を定めたテーブルにより第１の差信号と第２の差信号を混合する割合を決定し、前記第２の色情報生成手段は、第３の差信号と第４の差信号の大きさに対応した混合比を定めたテーブルにより第３の差信号と第４の差信号を混合する割合を決定することを特徴とする請求項１記載のカラー撮像装置。
【請求項３】
水平方向のピッチがＰｈで垂直方向のピッチがＰｖの２次元の格子状の画素を構成するように受光素子が配置され、前記受光素子に対応して設けられ、水平方向のピッチが２Ｐｈで垂直方向のピッチがＰｖだけオフセットされた第１の色フィルタと水平方向のピッチが２Ｐｈで垂直方向のピッチが２Ｐｖの第２の色フィルタ及び第３の色フィルタとを有する色フィルタアレイを有する撮像センサと、
前記第１のフィルタに対応する画素の出力より得られた第１の色信号のうち前記第２の色フィルタに対応する画素の出力より得られた第２の色信号の画素と同じ列の画素の信号のみを同時化して該第２の色信号との差をとった第１の差信号と、前記第１の色信号のうち第２の色信号の画素と同じ行の画素の信号のみを同時化して該第２の色信号との差をとった第２の差信号とから、第１の色情報を生成する第１の色情報生成手段と、
前記第１の色信号のうち前記第３の色フィルタに対応する画素の出力より得られた第３の色信号の画素と同じ列の画素の信号のみを同時化して該第３の色信号との差をとった第３の差信号と、前記第１の色信号のうち前記第３の色信号の画素と同じ行の画素の信号のみを同時化して該第３の色信号との差をとった第４の差信号とから、第２の色情報を生成する第２の色情報生成手段とを有し、
前記第１の色情報生成手段は、第１の差信号と第２の差信号の差をとった差信号の大きさに応じて第１の差信号と第２の差信号を混合する割合を決定し、前記第２の色情報生成手段は、第３の差信号と第４の差信号の差をとった差信号の大きさに応じて第３の差信号と第４の差信号を混合する割合を決定することを特徴とする請求項１記載のカラー撮像装置。
【請求項４】
第１の色フィルタは緑色光透過性を有し、第２の色フィルタは赤色光透過性を有し、第３の色フィルタは青色光透過性を有していることを特徴とする請求項１ないし３いずれかに記載のカラー撮像装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、２次元の格子状に複数の受光素子（画素）が配置された撮像センサを有し、その受光素子に結像した被写体像を輝度情報と色情報を有する電気信号に変換するビデオカメラ等のカラー撮像装置に関するものであり、特にモアレが少なく、かつ疑似輪郭の少ない画像を出力することが可能なカラー撮像装置に関するものである。
【０００２】
【従来の技術】
図１０は従来より知られているモアレを抑制するようにしたカラー撮像装置の回路構成を示すブロック図である。被写体からの撮像光は、不図示の結像光学系により撮像素子である撮像センサ１０１に入射する。この撮像センサ１０１には、図１１に示すベイヤー配列のＲ（赤），Ｇ１（緑），Ｇ２（緑），Ｂ（青）の色フィルタを有した色フィルタアレイ１００が設けられている。そして、撮像センサ１０１から１画素ごとに読み出された画像信号は色分離部１０２によりＲ，Ｇ１，Ｇ２，Ｂの色信号に分離される。ここで、Ｇ１，Ｇ２信号は、図１１に示すようにそれぞれＲ，Ｂの画素と同じ列の画素のＧの信号である。
【０００３】
上記の各Ｒ，Ｇ１，Ｇ２，Ｂ信号は、Ａ／Ｄ（アナログ−デジタル）変換器１０３でＡ／Ｄ変換された後、ホワイトバランス部（ＷＢ）１１１で各々のゲインがホワイトバランスセンサ（ＡＷＢ）１２０より得られた色温度情報をもとにホワイトバランス調整され、更にγ変換部１１２でγ変換される。
【０００４】
また輝度信号は、スイッチ回路（ＳＷＹ）１２６によりスイッチングされることにより読み出し順に並べられ、バンドパスフィルタ（ＢＰＦ）１１６を通過した輝度信号の高域成分ＹＨ  は、後述する手法で得られる輝度信号の低域成分ＹＬ  と加算器１１７で加算され、エンハンスメント回路１４２でエンハンスされた後、Ｄ／Ａ（デジタル−アナログ）変換器１１８でＤ／Ａ変換されて出力される。
【０００５】
一方色信号は、Ａ／Ｄ変換器１０３，ホワイトバランス部１１１及びγ変換部１１２を経たＲ（γ乗）信号，Ｇ１（γ乗）信号，Ｇ２（γ乗）信号，Ｂ（γ乗）信号が補間フィルタ１０６，１０７，１０８，１０９に入力され、各々同時化された信号Ｒ，Ｇ１，Ｇ２，Ｂとなる。
【０００６】
上記同時化されたＲ信号，Ｇ１信号は加算器１２９で第１の差信号Ｒ−Ｇ１となり、Ｒ信号，Ｇ２信号は加算器１３９で第２の差信号Ｒ−Ｇ２となり、同様にＢ信号とＧ２信号は加算器１３０で第３の差信号Ｂ−Ｇ２となり、Ｂ信号，Ｇ１信号は加算器１４０で第４の差信号Ｂ−Ｇ１となる。そして、これらの第１，２，３，４の差信号は判定回路１４１に入力される。
【０００７】
上記判定回路１４１では、入力された４つの差信号の大きさが比較され、その結果から２つの差信号
0003576600.tif 000002
が出力される。この判定方法は、例えば以下のような方法となっている。
【０００８】
すなわち、Ｋ１，Ｋ２をある定数とし、
0003576600.tif 000003
とする。
【０００９】
ここで、空間周波数（１／２ＰＨ  ，０）の白黒の被写体が撮像素子１０１により採取されるとする。この被写体は周期２ＰＨ  の縦縞であり、このような被写体に対しては、Ｒ信号＝Ｇ１信号，Ｂ信号＝Ｇ２信号となるため、加算器１２９，１３０より出力されるＲ−Ｇ１信号，Ｂ−Ｇ２信号はいずれも零となる。よって判定回路１４１では、
0003576600.tif 000004
を出力する。ゆえに、色差マトリクス処理部１１３から出力される色差信号Ｒ−Ｙ，Ｂ−Ｙも零となる。このとき、周波数（１／２ＰＨ  ，０）上でのＲ信号のキャリアとＧ１信号のキャリアは同位相であり、Ｂ信号のキャリアとＧ２信号のキャリアは同位相である。したがって、この周波数でのこれらのＲ−Ｇ１信号，Ｂ−Ｇ２信号のキャリアを消滅させることができるため、色差信号のキャリアが発生せず、モアレを抑制することができる。
【００１０】
次に、空間周波数（０，１／２ＰＶ  ）の白黒の被写体が撮像素子１０１により採取されるとする。この被写体は周期２ＰＶ  の横縞であり、このような被写体に対しては、Ｒ信号＝Ｇ２信号，Ｂ信号＝Ｇ１信号となるため、加算器１３９，１４０より出力されるＲ−Ｇ２信号，Ｂ−Ｇ１信号はいずれも零となる。よって判定回路１４１では、
0003576600.tif 000005
を出力する。
【００１１】
ゆえに、色差マトリクス処理部１１３から出力される色差信号Ｒ−Ｙ，Ｂ−Ｙも零となる。このとき、周波数（０，１／２ＰＶ  ）上でのＲ信号のキャリアとＧ２信号のキャリアは同位相であり、Ｂ信号のキャリアとＧ１信号のキャリアは同位相である。したがって、この周波数でのこれらのＲ−Ｇ２信号，Ｂ−Ｇ１信号のキャリアを消滅させることができるため、色差信号のキャリアが発生せず、モアレが抑制される。
【００１２】
上述の判定回路１４１より出力された２つの色差信号Ｒ−Ｇ，Ｂ−Ｇは、ローパスフィルタ１３７，１３８で所定の帯域制限がなされ、ホワイトバランス部（ＷＢ）１４５でホワイトバランス調整された後、色差マトリクス処理部１１３に入力される。この色差マトリクス処理部１１３では、
【００１３】
【数１】
0003576600.tif 000006
【００１４】
という変換処理が行われ、色差信号Ｒ−Ｙ，Ｂ−Ｙが生成される。そして、これらの色差信号Ｒ−Ｙ，Ｂ−Ｙは、引き続きＤ／Ａ変換器１１４，１１５でＤ／Ａ変換されて出力される。
【００１５】
また、上記補間フィルタ１０６，１０７，１０８，１０９の出力信号は、ローパスフィルタ（ＬＰＦ）１３５で所定の帯域に制限され、輝度信号生成回路１２７に入力される。そして、輝度信号の低域成分ＹＬ  がこの輝度信号生成回路１２７で、
ＹＬ  ＝０．３０Ｒ（αＧ１＋βＧ２）＋０．１１Ｂ（但し、α＋β＝０．５９）
により生成され、前述したように輝度信号の高域成分ＹＨ  と加算器１１７で加算され、輝度信号Ｙとなる。この輝度信号Ｙは、Ｄ／Ａ変換器１１８でＤ／Ａ変換されて出力される。
【００１６】
【発明が解決しようとする課題】
しかしながら、上記のような従来のカラー撮像装置にあっては、正しい色調が再現されない場合があり、また疑似輪郭が生じやすいという問題点があった。
【００１７】
すなわち、図１１に示す画素配置に対して、図１２の（ａ）に示すように、Ｙ方向に一様でＸ方向にのみ入力信号Ｓが変化している場合を考えると、判定回路１４１が存在しない場合、Ｇ信号はＧ１，Ｇ２画素の加算平均で得られるため、差信号Ｒ−Ｇ，Ｂ−Ｇは、
0003576600.tif 000007
となり、図１２の（ｃ）に示すような出力信号となる。これに対して、判定回路１４１が存在する場合、Ｇ信号はＧ１あるいはＧ２画素の信号値のみで得られるため、差信号Ｒ−Ｇ，Ｂ−Ｇは、判定式（式２），（式３）より、
0003576600.tif 000008
となり、Ｇ１信号とＧ２信号の切り替え処理を行うため、差信号Ｒ−Ｇ，Ｂ−ＧはＧに対する信号情報が１部欠如した出力となり、図１２の（ｂ）に示すような本来の画像に比べ急激な画像変化のある出力信号となり、色調が異なったり、あるいは存在しないはずの輪郭を再現してしまうという疑似輪郭を生じやすいという問題点を有していた。
【００１８】
本発明は、上記のような問題点に鑑みてなされたもので、モアレが少なく、かつ正しい色調を再現でき、疑似輪郭が少ないカラー撮像装置を提供することを目的とするものである。
【００１９】
【課題を解決するための手段】
本発明のカラー撮像装置は、次のように構成したものである。
【００２０】
（１）水平方向のピッチがＰｈで垂直方向のピッチがＰｖの２次元の格子状の画素を構成するように受光素子が配置され、
前記受光素子に対応して設けられ、水平方向のピッチが２Ｐｈで垂直方向のピッチがＰｖだけオフセットされた第１の色フィルタと水平方向のピッチが２Ｐｈで垂直方向のピッチが２Ｐｖの第２の色フィルタ及び第３の色フィルタとを有する色フィルタアレイを有する撮像センサと、
前記撮像センサの出力より輝度信号を得る手段と、
前記第１のフィルタに対応する画素の出力より得られた第１の色信号のうち前記第２の色フィルタに対応する画素の出力より得られた第２の色信号の画素と同じ列の画素の信号のみを同時化して該第２の色信号との差をとった第１の差信号と、前記第１の色信号のうち第２の色信号の画素と同じ行の画素の信号のみを同時化して該第２の色信号との差をとった第２の差信号とから、前記輝度信号を得る手段より得られた輝度信号の大きさに応じて第１の色情報を生成する第１の色情報生成手段と、
前記第１の色信号のうち前記第３の色フィルタに対応する画素の出力より得られた第３の色信号の画素と同じ列の画素の信号のみを同時化して該第３の色信号との差をとった第３の差信号と、前記第１の色信号のうち前記第３の色信号の画素と同じ行の画素の信号のみを同時化して該第３の色信号との差をとった第４の差信号とから、前記輝度信号を得る手段より得られた輝度信号の大きさに応じて第２の色情報を生成する第２の色情報生成手段とを具備。
【００２１】
（２）上記（１）のカラー撮像装置において、水平方向のピッチがＰｈで垂直方向のピッチがＰｖの２次元の格子状の画素を構成するように受光素子が配置され、前記受光素子に対応して設けられ、水平方向のピッチが２Ｐｈで垂直方向のピッチがＰｖだけオフセットされた第１の色フィルタと水平方向のピッチが２Ｐｈで垂直方向のピッチが２Ｐｖの第２の色フィルタ及び第３の色フィルタとを有する色フィルタアレイを有する撮像センサと、
前記第１のフィルタに対応する画素の出力より得られた第１の色信号のうち前記第２の色フィルタに対応する画素の出力より得られた第２の色信号の画素と同じ列の画素の信号のみを同時化して該第２の色信号との差をとった第１の差信号と、前記第１の色信号のうち第２の色信号の画素と同じ行の画素の信号のみを同時化して該第２の色信号との差をとった第２の差信号とから、第１の色情報を生成する第１の色情報生成手段と、
前記第１の色信号のうち前記第３の色フィルタに対応する画素の出力より得られた第３の色信号の画素と同じ列の画素の信号のみを同時化して該第３の色信号との差をとった第３の差信号と、前記第１の色信号のうち前記第３の色信号の画素と同じ行の画素の信号のみを同時化して該第３の色信号との差をとった第４の差信号とから、第２の色情報を生成する第２の色情報生成手段とを有し、
前記第１の色情報生成手段は、第１の差信号と第２の差信号の大きさに対応した混合比を定めたテーブルにより第１の差信号と第２の差信号を混合する割合を決定し、前記第２の色情報生成手段は、第３の差信号と第４の差信号の大きさに対応した混合比を定めたテーブルにより第３の差信号と第４の差信号を混合する割合を決定ようにした。
【００２２】
（３）上記（１）のカラー撮像装置において、水平方向のピッチがＰｈで垂直方向のピッチがＰｖの２次元の格子状の画素を構成するように受光素子が配置され、前記受光素子に対応して設けられ、水平方向のピッチが２Ｐｈで垂直方向のピッチがＰｖだけオフセットされた第１の色フィルタと水平方向のピッチが２Ｐｈで垂直方向のピッチが２Ｐｖの第２の色フィルタ及び第３の色フィルタとを有する色フィルタアレイを有する撮像センサと、
前記第１のフィルタに対応する画素の出力より得られた第１の色信号のうち前記第２の色フィルタに対応する画素の出力より得られた第２の色信号の画素と同じ列の画素の信号のみを同時化して該第２の色信号との差をとった第１の差信号と、前記第１の色信号のうち第２の色信号の画素と同じ行の画素の信号のみを同時化して該第２の色信号との差をとった第２の差信号とから、第１の色情報を生成する第１の色情報生成手段と、
前記第１の色信号のうち前記第３の色フィルタに対応する画素の出力より得られた第３の色信号の画素と同じ列の画素の信号のみを同時化して該第３の色信号との差をとった第３の差信号と、前記第１の色信号のうち前記第３の色信号の画素と同じ行の画素の信号のみを同時化して該第３の色信号との差をとった第４の差信号とから、第２の色情報を生成する第２の色情報生成手段とを有し、
前記第１の色情報生成手段は、第１の差信号と第２の差信号の差をとった差信号の大きさに応じて第１の差信号と第２の差信号を混合する割合を決定し、前記第２の色情報生成手段は、第３の差信号と第４の差信号の差をとった差信号の大きさに応じて第３の差信号と第４の差信号を混合する割合を決定ようにした。
【００２５】
（４）上記（１）ないし（３）いずれかのカラー撮像装置において、第１の色フィルタは緑色光透過性を有し、第２の色フィルタは赤色光透過性を有し、第３の色フィルタは青色光透過性を有するようにした。
【００２８】
【作用】
本発明のカラー撮像装置によれば、２次元周波数空間上の（１／２Ｐｈ，０）及び（０，１／２Ｐｖ）の色差信号のキャリアを抑制し、モアレが軽減されるとともに、従来問題となっていた色調や疑似輪郭も抑制することができる。
【００２９】
【実施例】
図１は本発明の第１実施例によるカラー撮像装置の回路構成を示すブロック図であり、輝度信号と色信号の信号処理系の構成を示し、図１０と同一符号は同一構成要素を示している。
【００３０】
撮像センサ１０１には、水平方向のピッチがＰｈで垂直方向のピッチがＰｖの２次元の格子状の画素を構成するように複数の受光素子が配置されており、その画素を構成する受光素子に対応して、水平方向のピッチが２Ｐｈで垂直方向のピッチがＰｖだけオフセットされたオフセットサンプリング構造を有する第１の色フィルタと水平方向のピッチが２Ｐｈで垂直方向のピッチが２Ｐｖの矩形格子状サンプリング構造を有する第２の色フィルタ及び第３の色フィルタとを有する色フィルタアレイ１００が設けられている。
【００３１】
補間フィルタ１０６〜１０９は色信号を同時化する手段として設けられ、加算器１２９，１３０及び１３９，１４０は色信号の差をとる手段として設けられている。そして、上記第１のフィルタに対応する画素の出力より得られた第１の色信号のうち上記第２の色フィルタに対応する画素の出力より得られた第２の色信号の画素と同じ列の画素の信号のみを同時化して該第２の色信号との差をとった第１の差信号と、上記第１の色信号のうち第２の色信号の画素と同じ行の画素の信号のみを同時化して該第２の色信号との差をとった第２の差信号、あるいは上記受光素子の出力より得られた輝度信号の大きさに応じて該第１の差信号と第２の差信号から被写体の色情報を生成する第１の色情報生成手段が混合回路（１）１５０により構成され、上記第１の色信号のうち上記第３の色フィルタに対応する画素の出力より得られた第３の色信号の画素と同じ列の画素の信号のみを同時化して該第３の色信号との差をとった第３の色信号と、上記第１の色信号のうち上記第３の色信号の画素と同じ行の画素の信号のみを同時化して該第３の色信号との差をとった第４の差信号、あるいは上記輝度信号の大きさに応じて該第３の差信号と第４の差信号から被写体の色情報を生成する第２の色情報生成手段が混合回路（２）１５１により構成されている。
【００３２】
記憶部１５５には、上記第１の差信号と第２の差信号の大きさに対応した混合比と、第３の差信号と第４の差信号の大きさに対応した混合比を定めた混合テーブルが格納されており、混合回路１５０，１５１はその混合テーブルにより差信号を混合する割合を決定して色差信号（色情報）Ｒ−Ｇ，Ｂ−Ｇを生成するように構成されている。
【００３３】
上記被写体像が結像する撮像センサ１０１の色フィルタアレイ１００は、図１１に示すベイヤー配列の色フィルタから構成されており、上記第１の色フィルタは緑色（Ｇ１，Ｇ２）光透過性を有し、第２の色フィルタは赤色（Ｒ）光透過性を有し、第３の色フィルタは青色（Ｂ）光透過性を有している。
【００３４】
そして、従来と同様撮像センサ１０１から１画素ごとに読み出された画像信号は、色分離部１０２により、Ｒ，Ｇ１，Ｇ２，Ｂの色信号に分離される。ここで、Ｇ１，Ｇ２信号はそれぞれＲ，Ｂの画素と同じ列の画素のＧの信号であり、これらの各Ｒ，Ｇ１，Ｇ２，Ｂ信号は、Ａ／Ｄ変換器１０３でＡ／Ｄ変換された後、ホワイトバランス部１１１で各々のゲインがホワイトバランスセンサ１２０より得られた色温度情報をもとにホワイトバランス調整され、更にγ変換部１１２でγ変換される。
【００３５】
輝度信号も従来と同様、スイッチ回路１２６によりスイッチングされることにより読み出し順に並べられ、バンドパスフィルタ１１６を通過した輝度信号の高域成分ＹＨ  は、後述の輝度信号の低域成分ＹＬ  と加算器１１７で加算され、エンハンスメント回路１４２でエンハンスされた後、Ｄ／Ａ変換器１１８でＤ／Ａ変換されて出力される。
【００３６】
一方色信号は、Ａ／Ｄ変換器１０３，ホワイトバランス部１１１及びγ変換部１１２を経たＲ（γ乗）信号，Ｇ１（γ乗）信号，Ｇ２（γ乗）信号，Ｂ（γ乗）信号が補間フィルタ１０６，１０７，１０８，１０９に入力され、各々同時化された信号Ｒ，Ｇ１，Ｇ２，Ｂとなる。なお、補間フィルタ１０６〜１０９での補間は、水平及び垂直方向に隣接する画素の信号値をそのままもってくる前置補間ないしは、水平及び垂直方向の帯域を余り落とさないものが望ましく、いずれかの補間方法あるいはそれらの組み合わせを行っても良い。
【００３７】
上記同時化されたＲ信号，Ｇ１信号は加算器１２９で上述の第１の差信号Ｒ−Ｇ１となり、Ｒ信号，Ｇ２信号は加算器１３９で第２の差信号Ｒ−Ｇ２となり、同様にＢ信号とＧ２信号は加算器１３０で第３の差信号Ｂ−Ｇ２となり、Ｂ信号，Ｇ１信号は加算器１４０で第４の差信号Ｂ−Ｇ１となる。そして、これらの第１，第２の差信号が混合回路１５０に入力され、第３，第４の差信号が混合回路１５１に入力される。
【００３８】
混合回路１５０では、入力された第１の差信号Ｒ−Ｇ１と第２の差信号Ｒ−Ｇ２の値の大きさから記憶部１５５に格納された混合テーブルより得られる値に基づいて、それぞれに掛ける係数ａ，ｂを決定し、それらの係数と差信号Ｒ−Ｇ１，Ｒ−Ｇ２から、
Ｒ−Ｇ＝ａ（Ｒ−Ｇ１）＋ｂ（Ｒ−Ｇ２）  （ａ＋ｂ＝１）    （式１０）
としてＲ−Ｇ信号を出力する。
【００３９】
混合回路１５１では、入力された第３の差信号Ｂ−Ｇ２と第４の差信号Ｂ−Ｇ１の値の大きさから上記の混合テーブルより得られる値に基づいて、それぞれに掛ける係数ｃ，ｄを決定し、それらの係数と差信号Ｂ−Ｇ２，Ｂ−Ｇ１から、
Ｂ−Ｇ＝ｃ（Ｂ−Ｇ１）＋ｄ（Ｂ−Ｇ２）  （ｃ＋ｄ＝１）    （式１１）
としてＢ−Ｇ信号を出力する。
【００４０】
このとき、混合テーブルの値を適正に定めることによって、あまり色の変化の少ない画像ではほとんど切り替え処理を行わず、混合回路１５０，１５１ではそれぞれ、
0003576600.tif 000009
という出力を行うことにより、色調の急激な変化を抑制し、かつ疑似輪郭が生じることを防ぐことができ、また急激な色の変化のある場合にはその大きさに応じて差信号Ｒ−Ｇ１，Ｒ−Ｇ２あるいはＢ−Ｇ１，Ｂ−Ｇ２の切り替えを行うことにより、モアレを抑制することができ、正しい色調を再現することができる。
【００４１】
上記混合回路１５０，１５１より出力された２つの色差信号Ｒ−Ｇ，Ｂ−Ｇは、ローパスフィルタ１３７，１３８でそれぞれ所定の帯域制限がなされ、ホワイトバランス部１４５でホワイトバランス調整された後、色差マトリクス処理部１１３に入力される。この色差マトリクス処理部１１３では、
【００４２】
【数２】
0003576600.tif 000010
【００４３】
という変換処理が行われ、色差信号Ｒ−Ｙ，Ｂ−Ｙが生成される。そして、これらの色差信号Ｒ−Ｙ，Ｂ−Ｙは引き続きＤ／Ａ変換器１１４，１１５でＤ／Ａ変換されて出力される。
【００４４】
また、上記補間フィルタ１０６，１０７，１０８，１０９の出力信号は、ローパスフィルタ１３５で所定の帯域に制限され、輝度信号生成回路１２７に入力される。そして、輝度信号の低域成分ＹＬ  がこの輝度色差信号生成回路１２７で、
0003576600.tif 000011
により生成され、前述したように輝度信号の高域成分ＹＨ  と加算器１１７で加算され、輝度信号Ｙとなる。この輝度信号Ｙは、Ｄ／Ａ変換器１１８でＤ／Ａ変換されて出力される。
【００４５】
なお、一般に色差信号Ｒ−Ｙ，Ｂ−Ｙ及び輝度の低域成分ＹＬ  は輝度信号Ｙに比べ十分帯域が狭いため、同時化されたＲ信号，Ｇ１信号，Ｇ２信号，Ｂ信号の色差マトリクス処理部１１３，輝度色差信号生成回路１２７等での処理は、間引きなどを行って輝度信号Ｙの処理より遅いクロックで行っても良い。また、ホワイトバランス１４５は省略しても良い。
【００４６】
次に本発明の第２実施例について説明する。この第２実施例は、上述の第１実施例と２つの差信号Ｒ−Ｇ，Ｂ−Ｇの生成方法が異なっており、色信号の２つの差信号の差を取った差信号の大きさに応じて２つの差信号の混合割合を決定している。図２にその信号処理系の回路構成を示し、図１と同一構成部分には同一符号を付して詳細説明を省略する。
【００４７】
加算器１２９，１３９でそれぞれ生成された第１の差信号Ｒ−Ｇ１と第２の差信号Ｒ−Ｇ２は、加算器１６０で
Ｋ１＝（Ｒ−Ｇ２）−（Ｒ−Ｇ１）                          （式１５）
の差信号となり、判定回路（１）１６５に入力される。判定回路１６５では、入力された差信号Ｋ１＝（Ｒ−Ｇ２）−（Ｒ−Ｇ１）の大きさから、それぞれに掛ける係数ａ，ｂが決定される。そして、この判定回路１６５は、例えば、
0003576600.tif 000012
というような判定を行う。ここで、Ｃ１，Ｃ２，Ｃ３，Ｃ４，ａ１，ａ２，ａ３，ａ４，ｂ１，ｂ２，ｂ３，ｂ４は任意定数である。
【００４８】
混合回路１５０は、第１の差信号Ｒ−Ｇ１，第２の差信号Ｒ−Ｇ２と上記判定回路１６５より得られた係数ａ，ｂから、
Ｒ−Ｇ＝ａ（Ｒ−Ｇ１）＋Ｂ（Ｒ−Ｇ２）  （ａ＋ｂ＝１）    （式１７）
としてＲ−Ｇ信号を出力する。
【００４９】
また、加算器１３０，１４０でそれぞれ生成された第３の差信号Ｂ−Ｇ２と第４の差信号Ｂ−Ｇ１は、加算器１６１で
Ｋ２＝（Ｂ−Ｇ１）−（Ｂ−Ｇ２）                          （式１８）
の差信号となり、判定回路（２）１６６に入力される。判定回路１６６では、入力された差信号Ｋ２＝（Ｂ−Ｇ１）−（Ｂ−Ｇ２）の大きさから、それぞれに掛ける係数ｃ，ｄが決定される。そして、この判定回路１６５は、例えば、
0003576600.tif 000013
というような判定を行う。ここでＤ１，Ｄ２，Ｄ３，Ｄ４，ｃ１，ｃ２，ｃ３，ｃ４，ｄ１，ｄ２，ｄ３，ｄ４は任意定数である。
【００５０】
混合回路１５１は、第３の差信号Ｂ−Ｇ２，第４の差信号Ｂ−Ｇ１と上記判定回路１６６より得られた係数ｃ，ｄから、
Ｂ−Ｇ＝ｃ（Ｂ−Ｇ１）＋ｄ（Ｂ−Ｇ２）  （ｃ＋ｄ＝１）    （式２０）
としてＢ−Ｇ信号を出力する。
【００５１】
このように、判定回路１６５，１６６と混合回路１５０，１５１を用いることによって、第１実施例と同様に、あまり色の変化の少ない画像ではほとんど切り替え処理を行わず、２つの差信号を用いて色調の急激な変化を抑制し、かつ疑似輪郭が生じることを防ぎ、急激な色の変化のある場合にはその大きさに応じて差信号の切り替えを行い、モアレを抑制することができる。
【００５２】
次に本発明の第３実施例について説明する。この第３実施例は、上述の第２実施例とほぼ同様の構成であるが２つの差信号Ｒ−Ｇ，Ｂ−Ｇの生成に伴う判定方法が異なっている。図３にその信号処理系の回路構成を示し、図１と同一構成部分には同一符号を付して詳細説明を省略する。
【００５３】
判定回路１５９は、輝度信号情報をもとに上述の２つの差信号を混合する割合の判定を行う。すなわち、スイッチ回路１２６から得られた輝度信号をバンドパスフィルタを通して帯域成分を抽出し、その大きさから第１の差信号Ｒ−Ｇ１と第２の差信号Ｒ−Ｇ２に掛ける係数ａ，ｂ（ａ＋ｂ＝１）、及び第３の差信号Ｂ−Ｇ２と第４の差信号Ｂ−Ｇ１に掛ける係数ｃ，ｄ（ｃ＋ｄ＝１）を決定する。
【００５４】
混合回路１５０は、第１の差信号Ｒ−Ｇ１，第２の差信号Ｒ−Ｇ２と上記判定回路１５９より得られた係数ａ，ｂから
Ｒ−Ｇ＝ａ（Ｒ−Ｇ１）＋ｂ（Ｒ−Ｇ２）  （ａ＋ｂ＝１）    （式２１）
としてＲ−Ｇ信号を出力する。
【００５５】
また混合回路１５１は、第３の差信号Ｂ−Ｇ２，第４の差信号Ｂ−Ｇ１と上記判定回路１５９より得られた係数ｃ，ｄから、
Ｂ−Ｇ＝ｃ（Ｂ−Ｇ１）＋ｄ（Ｂ−Ｇ２）  （ｃ＋ｄ＝１）    （式２２）
としてＢ−Ｇ信号を出力する。
【００５６】
次に本発明の第４実施例について説明する。図４に本実施例の信号処理系の回路構成を示し、図１と同一構成部分には同一符号を付して詳細説明を省略する。
【００５７】
被写体からの撮像光は、結像光学系により撮像センサ１０１に入射するが、この撮像センサ１０１には、図５に示す補色フィルタであるシアン光透過フィルタＣｙ，イエロー（黄色）光透過フィルタＹｅ，マゼンタ光透過フィルタＭｇがベイヤー配列されたＣｙ，Ｙｅ１，Ｙｅ２，Ｍｇの着色フィルタによる色フィルタアレイ１００が設けられている。そして、撮像センサ１０１から１画素ごとに読み出された画像信号は、色分離部１０２によりＣｙ，Ｙｅ１，Ｙｅ２，Ｍｇの色信号に分離される。ここで、Ｙｅ１，Ｙｅ２信号は図５に示すようにそれぞれＭｇ，Ｃｙの画素と同じ列の画素のＹｅの信号であり、これらの各Ｃｙ，Ｙｅ１，Ｙｅ２，Ｍｇ信号は、Ａ／Ｄ変換器１０３でＡ／Ｄ変換される。
【００５８】
また輝度信号の高域成分ＹＨ  は、スイッチ回路１２６によりスイッチングされることにより読み出し順に並べられ、バンドパスフィルタ１１６を通過した後、ホワイトバランス（ＷＢ）１２２でホワイトバランス調整され、次にγ変換部１２１でγ変換される。そして、この輝度信号の高域成分ＹＨ  は、後述のように輝度信号の低域成分ＹＬ  と加算器１１７で加算され、エンハンスメント回路１４２でエンハンスされた後、Ｄ／Ａ変換器１１８でＤ／Ａ変換されて出力される。
【００５９】
一方色信号は、Ａ／Ｄ変換器１０３からのＣｙ信号，Ｙｅ１信号，Ｙｅ２信号，Ｍｇ信号が補間フィルタ１０６，１０７，１０８，１０９に入力され、各々同時化された信号Ｃｙ，Ｙｅ１，Ｙｅ２，Ｍｇとなり、この同時化された信号Ｃｙ，Ｙｅ１，Ｙｅ２，Ｍｇが図６に示す差信号生成回路１７０に入力される。ここで、Ｃｙ信号，Ｙｅ１信号は加算器１２９で第１の差信号Ｃｙ−Ｙｅ１となり、Ｃｙ信号，Ｙｅ２信号は加算器１３９で第２の差信号Ｃｙ−Ｙｅ２となり、またＭｇ信号とＹｅ２信号は加算器１３０で第３の差信号Ｍｇ−Ｙｅ２となり、Ｍｇ信号，Ｙｅ１信号は加算器１４０で第４の差信号Ｍｇ−Ｙｅ１となる。そして、これらの第１の差信号，第２の差信号，第３の差信号，第４の差信号が判定回路１７２に入力される。
【００６０】
上記判定回路１７２では、第１の差信号Ｃｙ−Ｙｅ１，第２の差信号Ｃｙ−Ｙｅ２，第３の差信号Ｍｇ−Ｙｅ２，第４の差信号Ｍｇ−Ｙｅ１の値の大きさから、記憶部１７１に格納された図１の実施例と同様の混合テーブルより得られた値に基づいて、Ｙｅ１，Ｙｅ２に掛ける係数ａ，ｂ（ａ＋ｂ＝１）を定める。そして、前述の第１の色情報生成手段と第２の色情報生成手段を共通の回路を用いて構成した混合回路１７３は、判定回路１７２で得られた係数ａ，ｂとＹｅ１，Ｙｅ２の値を用いて
Ｙｅ＝ａＹｅ１＋ｂＹｅ２  （ａ＋ｂ＝１）                  （式２３）
としてＹｅ信号を出力する。
【００６１】
次に、原色分離マトリクス部１８０でＣｙ，Ｙｅ，Ｍｇの信号からＲ，Ｇ，Ｂの信号を得る。この色変換には、例えば、
【００６２】
【数３】
0003576600.tif 000014
【００６３】
のような変換マトリクス処理が行われる。ここで、ｓ，ｔ，ｕは、任意定数である。
【００６４】
上記原色分離されたＲ，Ｇ，Ｂの信号は、ホワイトバランス部（ＷＢ）１８１で各々のゲインがホワイトバランス調整され、次にγ変換部１８２でγ変換される。このγ変換された信号は、ローパスフィルタ１８５で所定の帯域制限がなされた後、マトリクス処理部１８６に入力され、
【００６５】
【数４】
0003576600.tif 000015
【００６６】
という変換処理が行われて、色差信号Ｒ−Ｙ，Ｂ−Ｙが生成される。これらの色差信号は、引き続きＤ／Ａ変換器１１４，１１５でＤ／Ａ変換されて出力される。
【００６７】
また、上記γ変換部１８２の出力信号は、ローパスフィルタ１２８で所定の帯域に制限され輝度信号生成回路１２７に入力される。そして、輝度信号の低域成分ＹＬ  がこの輝度色差信号生成回路１２７で、
ＹＬ  ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ                  （式２６）
により生成され、前述したように輝度信号の高域成分ＹＨ  と加算器１１７で加算され、輝度信号Ｙとなる。この輝度信号Ｙは、Ｄ／Ａ変換器１１８でＤ／Ａ変換されて出力される。
【００６８】
なお、一般に色差信号Ｒ−Ｙ，Ｂ−Ｙ及び輝度の低域成分ＹＬ  は輝度信号Ｙに比べ十分帯域が狭いため、同時化されたＣｙ信号，Ｙｅ１信号，Ｙｅ２信号，Ｍｇ信号の色差マトリクス処理部１１３，輝度色差信号生成回路１２７等での処理は、間引きなどを行って輝度信号Ｙの処理より遅いクロックで行っても良い。また、図５の色フィルタ配列に代えて、図７に示す色フィルタ配列としても良い。
【００６９】
本実施例では、色フィルタに補色の色フィルタを用いているので、前述の第１実施例に比べて、感度が良いという利点がある。
【００７０】
次に本発明の第５実施例について説明する。この第５実施例は、上述の第４実施例とほぼ同様の構成であるがＹｅ信号の生成方法が異なっている。図８にその信号処理系の回路構成を示し、図４と同一部分には同一符号を付して詳細説明を省略する。
【００７１】
差信号生成回路１７０でそれぞれ生成された第１の差信号Ｃｙ−Ｙｅ１及び第２の差信号Ｃｙ−Ｙｅ２と第３の差信号Ｍｇ−Ｙｅ２及び第４の差信号Ｍｇ−Ｙｅ１は、それぞれ加算器１９０と１９１で（Ｃｙ−Ｙｅ２）−（Ｃｙ−Ｙｅ１）信号と（Ｍｇ−Ｙｅ１）−（Ｍｇ−Ｙｅ２）信号となり、判定回路１９３に入力される。この判定回路１９３では、（Ｃｙ−Ｙｅ２）−（Ｃｙ−Ｙｅ１）信号と（Ｍｇ−Ｙｅ１）−（Ｍｇ−Ｙｅ２）信号の大きさから、それぞれに掛ける係数ａ，ｂが決定される。そして、図４の混合回路１７３と同様に構成された混合回路１９４は、Ｙｅ１とＹｅ２及び判定回路１９３より得られた係数ａ，ｂから、
Ｙｅ＝ａＹｅ１＋Ｙｅ２  （ａ＋ｂ＝１）                    （式２７）
としてＹｅ信号を出力する。
【００７２】
なお、この第５実施例についても、上述の第４実施例と同様図５の色フィルタ配列の他に図７に示すような色フィルタ配列としても良い。このとき、ＹｅフィルタとＣｙフィルタの役割を交換すれば、それぞれ図４，図８と同様の信号処理系で実施することができる。また、この第５実施例において、図３の第３実施例のように輝度信号を判定条件にするような判定を行っても良い。
【００７３】
次に本発明の第６実施例について説明する。この第６実施例は、図１の第１実施例と低域の輝度信号の形成方法が異なっている。図９にその信号処理系の回路構成を示し、図１と同一構成部分には同一符号を付して詳細説明を省略する。
【００７４】
スイッチ回路１２６でスイッチングされることにより読み出し順に並べられた輝度信号は、ローパスフィルタ（ＬＰＦ）２００で帯域制限され、高域成分を含む輝度信号ＹＧ  として加算器１１７に入力される。また、ローパスフィルタ１３７，１３８で帯域制限された２つの差信号Ｒ−Ｇ，Ｂ−Ｇは、係数乗算器２０１，２０２でそれぞれ定数Ｓ１，Ｓ２が乗算され、更に加算器２０３で加算され、
ＹＬ  ＝Ｓ１（Ｒ−Ｇ）＋Ｓ２（Ｂ−Ｇ）                      （式２８）
により輝度信号ＹＬ  として加算器１１７に入力される。そして、この加算器１１７で輝度信号ＹＬ  と輝度信号ＹＧ  が加算されて輝度信号Ｙとなる。このような処理にすると、輝度信号形成のための回路規模を簡略化することができるという利点がある。
【００７５】
以上、本発明の実施例について説明したが、各実施例においてはベイヤー方式の色フィルタ配列を採用し、被写体の水平方向または垂直方向の周波数成分によって各差信号の混合割合を決定するような信号処理を行っているので、２次元周波数空間上の（１／２Ｐｈ，０）及び（０，１／２Ｐｖ）の色差信号のキャリアを抑制し、モアレが軽減されるとともに、従来問題となっていた色調や疑似輪郭も抑制することができる。
【００７６】
なお、上述の各実施例では、ベイヤー配列の色フィルタの色の組み合わせとしてＲ，Ｇ，Ｂの色フィルタを用いた場合と、Ｙｅ，Ｍｇ，Ｃｙの色フィルタを用いた場合について示したが、その他の色の組み合わせの色フィルタを用いたベイヤー配列を用いても良いことは言うまでもない。
【００７７】
また、出力をデジタルＲ，Ｇ，Ｂ出力としても、本発明の適用が可能であることも言うまでもない。
【００７８】
【発明の効果】
以上説明したように、本発明によれば、撮像センサにベイヤー配列の色フィルタアレイを設け、各色フィルタの画素からの各色信号の差信号を形成して、その差信号あるいは輝度信号の大きさに応じて被写体の色情報を生成するようにしたので、モアレを抑制することができ、かつ正しい色調を再現でき、疑似輪郭を抑制することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１実施例の回路構成を示すブロック図
【図２】本発明の第２実施例の回路構成を示すブロック図
【図３】本発明の第３実施例の回路構成を示すブロック図
【図４】本発明の第４実施例の回路構成を示すブロック図
【図５】第４実施例における色フィルタ配列例を示す説明図
【図６】差信号生成回路の詳細を示す構成図
【図７】第４実施例における他の色フィルタ配列例を示す説明図
【図８】本発明の第５実施例の回路構成を示すブロック図
【図９】本発明の第６実施例の回路構成を示すブロック図
【図１０】従来例の回路構成を示すブロック図
【図１１】ベイヤー配列の色フィルタ配列例を示す説明図
【図１２】疑似輪郭発生の原理を示す説明図
【符号の説明】
１００  色フィルタアレイ
１０１  撮像センサ
１０２  色分離部
１０６  補間フィルタ
１０７  補間フィルタ
１０８  補間フィルタ
１０９  補間フィルタ
１１３  色差マトリクス処理部
１１７  加算器
１２６  スイッチ回路
１２７  輝度信号生成回路
１２９  加算器
１３０  加算器
１３９  加算器
１４０  加算器
１５０  混合回路（第１の色情報生成手段）
１５１  混合回路（第２の色情報生成手段）
１５５  記憶部
１５９  判定回路
１６０  加算器
１６１  加算器
１６５  判定回路
１６６  判定回路
１７０  差信号生成回路
１７１  記憶部
１７２  判定回路
１７３  混合回路
１９１  加算器
１９２  加算器
１９３  判定回路
１９４  混合回路
２０１  係数乗算器
２０２  係数乗算器
２０３  加算器
【図１】
0003576600.tif 000016
【図２】
0003576600.tif 000017
【図３】
0003576600.tif 000018
【図４】
0003576600.tif 000019
【図５】
0003576600.tif 000020
【図６】
0003576600.tif 000021
【図７】
0003576600.tif 000022
【図８】
0003576600.tif 000023
【図９】
0003576600.tif 000024
【図１０】
0003576600.tif 000025
【図１１】
0003576600.tif 000026
【図１２】
0003576600.tif 000027