(57)【特許請求の範囲】
【請求項１】
光の三原色に対する補色を表す第１乃至第３の補色成分が所定の規則で繰り返される画像データを取り込み、輝度データ及び第１及び第２の色差データを生成する画像データ処理装置であって、上記画像データに対して、各補色成分毎に固有のゲインを与えて、各補色成分の所定期間内の平均レベルを整える色バランス制御回路と、バランス調整された上記画像データを成分別に分離して第１乃至第３の補色成分データを生成する分離回路と、上記第１乃至第３の補色成分データの内の２つを互いに乗算して第１乃至第３の積を生成する乗算回路と、上記第１乃至第３の積に基づいて上記第１及び第２の色差データを生成する色差データ算出回路と、バランス調整された上記画像データを合成して輝度データを生成する輝度データ生成回路と、を備えたことを特徴とする画像データ処理装置。
【請求項２】
上記色差データ算出回路は、上記第１乃至第３の積の平方根を算出して第１乃至第３の根を生成する開平回路と、上記第１乃至第３の根を光の三原色を表す第１乃至第３の原色データと見なし、それぞれ所定の割合で合成して第１及び第２の色差データを生成するマトリクス回路と、を含むことを特徴とする請求項１に記載の画像データ処理装置。
【請求項３】
上記色差データ算出回路は、上記第１及び第３の積から上記第２の積をそれぞれ減算して第１及び第２の差を生成する減算回路と、上記第１及び第２の差の絶対値の平方根を算出して第１及び第２の根を生成する開平回路と、上記第１及び第２の根に上記第１及び第２の差の符号をそれぞれ付加する符号付加回路と、上記符号が付加された上記第１及び第２の根を合成して上記第１及び第２の色差データを生成する色差マトリクス回路と、を含むことを特徴とする請求項１に記載の画像データ処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、補色成分を含む画像データから色差データ及び輝度データを生成する画像データ処理装置に関する。
【０００２】
【従来の技術】
図９は、ＣＣＤイメージセンサを用いた撮像装置の構成を示すブロック図であり、図１０は、ＣＣＤイメージセンサに装着されるモザイク型のカラーフィルタの一例を示す平面図である。
【０００３】
ＣＣＤイメージセンサ１は、複数の受光画素、複数の垂直シフトレジスタ及び通常１つの水平シフトレジスタを有している。複数の受光画素は、受光面に一定の間隔で行列配置され、それぞれ受光した被写体画像に対応して情報電荷を発生して蓄積する。複数の垂直シフトレジスタは、受光画素の各列に対応して配置され、各受光画素に蓄積された情報電荷を順次垂直方向へ転送する。そして、水平シフトレジスタは、垂直シフトレジスタの出力側に配置され、複数の垂直シフトレジスタから転送出力される情報電荷を受け取り、１行単位で転送出力する。これにより、各受光画素に蓄積された情報電荷量に応じて電圧値を変化させる画像信号Ｉ0が出力される。
【０００４】
アナログ処理回路２は、ＣＣＤ１から入力される画像信号Ｉ0に対し、サンプルホールド、レベルクランプ等の処理を施し、所定のフォーマットに従う画像信号Ｉ1を生成する。例えば、サンプルホールド処理においては、ＣＣＤ１の出力動作に同期してリセットレベルと信号レベルとが交互に繰り返される画像信号Ｉ0から、信号レベルのみが取り出される。また、レベルクランプ処理においては、画像信号Ｉ0の水平走査期間の終端に設定される黒基準レベルが各水平走査期間毎に所定のレベルにクランプされる。Ａ／Ｄ変換回路３は、アナログ処理回路２から入力される画像信号Ｉ1をアナログ処理回路２の動作、即ち、ＣＣＤ１の出力動作に従うタイミングで量子化し、ＣＣＤ１の各受光画素に対応する情報をデジタル値で表す画像データＤ１を生成する。
【０００５】
デジタル処理回路４は、Ａ／Ｄ変換回路３から入力される画像データＤ１に対して、色分離、マトリクス演算等の処理を施し、輝度データＹ及び色差データＵ、Ｖを生成する。例えば、色分離処理においては、画像データＤ１が、ＣＣＤ１の各受光面に装着されるカラーフィルタの色配列に従って振り分けられ、複数の色成分データが生成される。また、マトリクス演算処理においては、振り分けられた各色成分データから光の三原色に対応した原色データが生成され、さらに、その原色データを所定の割合で合成することにより色差データが生成される。
【０００６】
駆動回路５は、後述するタイミング制御回路６からの各種タイミング信号に応答し、ＣＣＤ１の各シフトレジスタに対して多相の駆動クロックを供給する。例えば、垂直シフトレジスタに対し、４相の垂直転送クロックφvを供給し、水平シフトレジスタに対して２相の水平転送クロックφhを供給する。タイミング制御回路６は、一定周期の基準クロックに従い、ＣＣＤ１の垂直走査のタイミングを決定する垂直タイミング信号と水平走査のタイミングを決定する水平タイミング信号とを生成し、駆動回路５に供給する。同時に、アナログ処理回路２、Ａ／Ｄ変換回路３及びデジタル処理回路４に対して、各回路の動作をＣＣＤ１の出力動作に同期させるためのタイミングクロックＣＴを供給する。
【０００７】
ところで、カラー撮像を行う場合、ＣＣＤ１の各受光画素を所定の色成分に対応付けるため、受光面に色分離用のカラーフィルタが装着される。このカラーフィルタは、垂直方向につながる複数のセグメントが配置されるストライブ型及び各受光画素毎に対応付けて複数のセグメントが配置されるモザイク型があげられる。例えば、モザイク型のカラーフィルタは、図９に示すように、ＣＣＤ１の受光部の各画素に対応して複数のセグメントに分割され、各セグメントに、Ｙｅ（イエロー）、Ｃｙ（シアン）、Ｗ（ホワイト）及びＧ（グリーン）の各色成分が周期的に割り当てられる。ここでは、Ｗ及びＧの各成分が奇数行に交互に配置され、Ｙｅ及びＣｙの各成分が偶数行に交互に配置されている。このようなカラーフィルタが装着されたＣＣＤ１から得られる画像信号は、奇数行の読み出しでＷ及びＧの各成分が繰り返され、偶数行の読み出しではＹｅ及びＣｙの各成分が繰り返される。
【０００８】
図１１は、映像信号処理装置としてのデジタル信号処理部４の構成を示すブロック図であり、図１２は、その動作を説明するタイミング図である。この図においては、図１０に示すモザイク型のカラーフィルタがＣＣＤ１に装着された場合に対応している。
【０００９】
色分離回路１１は、各色成分がカラーフィルタの各セグメントの配列に対応する順序で連続する画像データＤ１を各色成分毎に振り分けて色成分データＣ[Ye]、Ｃ[Cy]、Ｃ[G]、Ｃ[W]を生成する。Ａ／Ｄ変換回路３から入力される画像データＤ１は、図１０に示すように、奇数行（ＯＤＤ）の読み出し動作においては、Ｇ成分及びＷ成分が交互に連続し、偶数行（ＥＶＥＮ）の読み出しではＹｅ成分及びＣｙ成分が交互に連続する。そこで、色分離回路１１は、画像データＤ１を少なくとも１行分保持することにより、各行の読み出しの際に全ての色成分データＣ[Ye]、Ｃ[C y]、Ｃ[G]、Ｃ[W]の出力を可能にしている。即ち、奇数行の読み出しが行われているときには、その行の画像データＤ１を振り分けて色成分データＣ[G]、Ｃ[W]を出力し、同時に、１行前の画像データＤ１を振り分けて色成分データＣ[Ye]、Ｃ[Cy]を出力するように構成される。さらに、シリアルに出力される画像データＤ１の振り分けによって間欠的になる各色成分データＣ[Ye]、Ｃ[Cy]、Ｃ[G]、Ｃ[W]は、同一データを連続して２度出力することによって補間される。
【００１０】
色演算回路１２は、色分離回路１１から入力される色成分データＣ[Ye]、Ｃ[Cy]、Ｃ[G]、Ｃ[W]に対して、例えば、
Ｙｅ−Ｇ＝Ｒ
Ｃｙ−Ｇ＝Ｂ
Ｇ＝Ｇ
の式に従う色演算処理を施し、光の三原色（Ｒ：赤、Ｇ：緑、Ｂ：青）に対応する原色データＰ[R]、Ｐ[G]、Ｐ[B]を生成する。
【００１１】
ホワイトバランス制御回路１３は、色演算回路１２から入力される原色データＰ[R]、Ｐ[G]、Ｐ[B]に対して、各色毎に設定される固有のゲインを与えることにより、各色のバランスを調整する。即ち、ホワイトバランス制御回路１３では、ＣＣＤの受光画素において生じる色成分毎の感度の差を補償するため、原色データＰ[R]、Ｐ[G]、Ｐ[B]のゲインを色毎に個別に設定することにより再生画面の色再現性を向上させている。
【００１２】
色差マトリクス回路１４は、ホワイトバランス制御回路１３から入力される原色データＰ[R]、Ｐ[G]、Ｐ[B]に対して色差データＵ、Ｖを生成する。即ち、各原色データＰ[R]、Ｐ[G]、Ｐ[B]を３：６：１の割合で合成することにより、輝度情報を生成し、この輝度情報をＢ成分に対応する原色データＰ[B]から差し引くことによって色差データＵを生成し、Ｒ成分に対応する原色データＰ[R]から差し引くことによって色差データＶを生成する。
【００１３】
モアレバランス制御回路１５は、色分離回路１１に入力される画像データＤ１に含まれる色成分毎の平均レベルをそろえるようにして各成分毎に固有のゲインを設定する。即ち、カラーフィルタの各色成分毎に光の透過率にばらつきがあり、これに起因して、画像データにも色成分毎の平均レベルにばらつきが含まれているため、このようなばらつきを補正するように各成分毎に固有のゲインが与えられる。これにより、各色成分毎の平均レベルがそろえられた画像データＤ２が生成される。
【００１４】
輝度演算回路１６は、モアレバランス制御回路１５から入力される画像データＤ２に含まれる４つの色成分を合成することにより、輝度データＹを生成する。即ち、Ｙｅ、Ｃｙ、Ｇ、Ｗの各成分を合成すれば、
0003895878.tif 000002
となり、Ｒ、Ｇ及びＢの各成分が１：２：１の割合で合成された輝度データＹを得ることができる。本来、輝度信号は、ＮＴＳＣ方式の規格によれば、Ｒ、Ｇ及びＢの各成分を３：６：１の割合で合成して生成されるものであるが、これに近い割合で合成して生成したものであれば、実用上問題はない。
【００１５】
ガンマ補正回路１７は、再生画面上の発光輝度と視覚的感度との線形性のずれを補正するため、非線形変換を行う。アパーチャ回路１８は、輝度データＹに含まれる特定の周波数成分を強調してアパーチャデータを生成し、このアパーチャデータを輝度データＹに加算する。即ち、被写体画像の輪郭を強調するため、画像信号Ｉ１から画像データＤ１を得る際のサンプリング周波数の１／４の周波数成分を強調するように画像データＤに対してフィルタリング処理を施し、アパーチャデータを生成するように構成される。このようにして生成される輝度データＹは、色差データＵ、Ｖと共に外部の表示機器あるいは記録機器へ供給される。
【００１６】
【発明が解決しようとする課題】
ホワイトバランス制御回路１３において各原色データＰ[R]、Ｐ[G]、Ｐ[B]毎に設定されるゲインは、原色データＰ[R]、Ｐ[G]、Ｐ[B]を所定の期間にそれぞれ積分し、その積分値をそろえるようにして設定される。例えば、原色データＰ[R]、Ｐ[G]、Ｐ[B]をそれぞれ１画面単位で積分し、原色データＰ[G]の積分値Ｉ[G]に対して原色データＰ[R]、Ｐ[B]の積分値Ｉ[R]、Ｉ[B]が一致するように、原色データＰ[R]に対するゲインをＩ[G]／Ｉ[R]とし、原色データＰ[B]に対するゲインをＩ[G]／Ｉ[R]として設定するようにしている。また、モアレバランス制御回路１５において画像データＤ１の各成分毎に設定されるゲインについても、ホワイトバランス制御回路１３において設定されるゲインと同様に、画像データＤ１の各成分毎の所定期間の成分値を算出し、その積分値に基づいて設定するように構成される。これらの演算処理では、同等の演算処理でありながらも、扱うデータが異なっているため共通化が困難であり、回路規模縮小の障害となっている。
【００１７】
そこで本発明は、ホワイトバランス制御とモアレバランス制御とを共通化できるようにして、回路規模の縮小を可能にすることを目的とする。
【００１８】
【課題を解決するための手段】
本発明は、上述の課題を解決するために成されたもので、その特徴とするところは、光の三原色に対する補色を表す第１乃至第３の補色成分が所定の規則で繰り返される画像データを取り込み、輝度データ及び第１及び第２の色差データを生成する画像データ処理装置であって、上記画像データに対して、各補色成分毎に固有のゲインを与えて、各補色成分の所定期間内の平均レベルを整える色バランス制御回路と、バランス調整された上記画像データを成分別に分離して第１乃至第３の補色成分データを生成する分離回路と、上記第１乃至第３の色成分データの内の２つを互いに乗算して第１乃至第３の積を生成する乗算回路と、上記第１乃至第３の積に基づいて上記第１及び第２の色差データを生成する色差データ算出回路と、バランス調整された上記画像データを合成して輝度データを生成する輝度データ生成回路と、を備えたことにある。
【００１９】
本発明によれば、色バランスを調整した後、それぞれの色成分を互いに加算または減算することなく原色データが生成されるため、原色成分についても色バランスは保たれ、ホワイトバランスの調整が不要になる。
【００２０】
【発明の実施の形態】
図１は、本発明の画像データ処理装置の構成を示すブロック図であり、図２は、その動作を説明するタイミング図である。ここで、装置に入力される画像データＤは、例えば、光の三原色の補色（Ｙｅ：イエロー、Ｍｇ：マゼンタ、Ｃｙ：シアン）からなるストライプフィルタが装着されたイメージセンサから得られるものであり、３種類の補色成分が繰り返されるものとする。
【００２１】
色バランス制御回路２０は、ゲイン算出回路２１から供給されるゲインデータＧに基づいて、画像データＤ１の各色成分毎に固有のゲインを与え、所定期間内の各色成分の平均レベルを所定の範囲に収束させる。ゲイン算出回路２１は、画像データＤ１に対して色成分毎に積分処理を施し、その積分値がそれぞれ所定の適正範囲に納まるように各色成分毎のゲインを算出する。
【００２２】
分離回路２２は、色バランス制御回路２０から１画素単位で入力される画像データＤ２を色成分毎に振り分け、Ｙｅ、Ｍｇ、Ｃｙに対応する補色データＣ[Ye]、Ｃ[Mg]、Ｃ[Cy]を生成する。即ち、画像データＤ２では、各補色成分が、例えば、Ｙｅ、Ｍｇ、Ｃｙの順に１画素単位で繰り返されるため、一定の順序で３つに振り分けることで、各補色成分を表す補色データＣ[Ye]、Ｃ[Mg]、Ｃ[Cy]が生成される。第１〜第３のラッチ回路２３ａ〜２３ｃは、色分離回路２２に対して並列に接続され、色分離回路２２から入力される補色データＣ[Ye]、Ｃ[Mg]、Ｃ[Cy]をそれぞれラッチし、色分離回路２１から次のデータが出力されるまでラッチしたデータを繰り返し出力する。画像データＤ２を３つに分離して得られる補色データＣ[Ye]、Ｃ[Mg]、Ｃ[Cy]の場合、データ量が画像データＤの１／３であり、それぞれ３画素毎に１回更新されるため、連続する３画素は同じデータで表されることになる。
【００２３】
第１の乗算回路２４ａは、第１及び第２のラッチ回路２３ａ、２３ｂに接続され、各ラッチ回路２３ａ、２３ｂから得られる補色データＣ[Ye]、Ｃ[Mg]を乗算して、第１の積Ｐ[r]を生成する。そして、第２の乗算回路２４ｂは、第１及び第３のラッチ回路２３ａ、２３ｃに接続され、各ラッチ回路２３ａ、２３ｃから得られる補色データＣ[Y e]、Ｃ[Cy]を乗算して、第２の積Ｐ[g]を生成する。さらに、第３の乗算回路２４ｃは、第２及び第３のラッチ回路２３ｂ、２３ｃに接続され、各ラッチ回路２３ｂ、２３ｃから得られる補色データＣ[Mg]、Ｃ[Cy]を乗算して、第３の積Ｐ[b]を生成する。第１〜第３の開平回路２５ａ〜２５ｃは、それぞれ第１〜第３の乗算回路２４ａ〜２４ｃに接続され、各乗算回路２４ａ〜２４ｃから入力される第１〜第３の積Ｐ[r]、Ｐ[g]、Ｐ[b]の平方根を算出し、第１〜第３の根Ｐ[R]、Ｐ[G]、Ｐ[B]を出力する。これら第１〜第３の根Ｐ[R]、Ｐ[G]、Ｐ[B]は、そのまま、光の三原色に対応する３種類の原色データとして色差マトリクス回路２６へ供給される。
【００２４】
色差マトリクス回路２６は、ホワイトバランス制御回路２５から入力される原色データＰ[R]、Ｐ[B]、Ｐ[G]に対して色差データＵ、Ｖを生成する。ここで、色差マトリクス回路２６に入力される原色データＰ[R]、Ｐ[B]、Ｐ[G]は、色バランス制御回路２０において所定期間の平均値がそろえられた補色データＣ[Ye]、Ｃ[Mg]、Ｃ[Cy]に対して乗算及び開平処理を施したものであるため、ゲインのバランスは維持されている。即ち、補色データＣ[Ye]、Ｃ[Mg]、Ｃ[Cy]から原色データＰ[R]、Ｐ[B]、Ｐ[G]を生成する過程において加算処理あるいは減算処理を用いていないため、補色データＣ[Ye]、Ｃ[Mg]、Ｃ[Cy]においてそろえられたゲインのバランスは、原色データＰ[R]、Ｐ[B]、Ｐ[G]においても維持されている。従って、図１３に示すようなホワイトバランス制御回路１３は必要ない。
輝度演算回路２７は、色バランス制御回路２０から入力される画像データＤ２に含まれる４つの色成分を合成することにより、輝度データＹを生成する。ガンマ補正回路２８は、輝度データＹを非線形変換することにより、再生画面上の発光輝度と視覚的感度との線形性を保つようにしている。そして、アパーチャ回路２９は、輝度データＹに含まれる特定の周波数成分を強調することで、被写体画像の輪郭を強調する。これらの輝度演算回路２７からアパーチャ回路２９までの構成は、図１１に示す輝度演算回路１６からアパーチャ回路１８までの構成と一致する。
【００２５】
ここで、画像データの処理方法について説明する。
【００２６】
図３は、光の三原色とそれらの補色とに対応付けられたカラーフィルタの分光特性を示す図である。
【００２７】
一般に、光の三原色（Ｒ：レッド、Ｇ：グリーン、Ｂ：ブルー）に対応するカラーフィルタは、図３の波線に示すような分光特性を示す。Ｒフィルタは、波長の長い赤色の光に対応する部分で透過率が極大値を示し、赤色よりも波長の短い光に対しては透過率が低下する。逆に、Ｂフィルタは、波長の短い青色の光に対応する部分で透過率が極大値を示し、青色よりも波長の長い光に対しては透過率が低下する。そして、Ｇフィルタは、ＲフィルタとＧフィルタとの中間の特性を示す。
【００２８】
これに対して、Ｒ、Ｇ、Ｂの補色（Ｙｅ、Ｍｇ、Ｃｙ）に対応するフィルタは、図３の実線に示すような分光特性を示す。即ち、Ｒの補色となるＣｙフィルタは、Ｒフィルタと相反する特性を示し、赤色の光に対応する部分を除いた短波長側で透過率が高くなる。また、Ｂの補色となるＹｅフィルタは、Ｂフィルタと相反する特性を示し、青色の光に対応する部分を除いた長波長側で透過率が高くなる。そして、Ｇの補色となるＭｇフィルタは、緑色の光に対応する部分を除いて透過率が高くなる。
【００２９】
ここで、Ｙｅフィルタを透過した光に応じて得られたＹｅ成分と、Ｍｇフィルタを透過した光に応じて得られたＭｇ成分とを乗算すると、両成分に含まれているＲ成分が強調され、一方の成分にしか含まれないＢ成分及びＧ成分は減衰される。同様に、Ｍｇフィルタを透過した光に応じて得られたＭｇ成分と、Ｃｙフィルタを透過した光に応じて得られたＣｙ成分とを乗算することにより、両成分に含まれているＢ成分が強調され、一方の成分にしか含まれないＧ成分及びＲ成分は減衰される。また、Ｃｙフィルタを透過した光に応じて得られたＣｙ成分と、Ｙｅフィルタを透過した光に応じて得られたＹｅ成分とを乗算することにより、両成分に含まれているＧ成分が強調され、一方の成分にしか含まれないＲ成分及びＢ成分は減衰される。このようにして得られる各補色成分の積は、特定の原色成分に対応付けられるが、補色成分の乗算により、実際の原色成分に対しては二乗倍の値として表される。そこで、各積の平方根をとることにより、各原色成分を近似的に表すことができる。
【００３０】
図４は、ゲイン算出回路２１の一例を示すブロックずである。この図においては、Ｙｅ、Ｍｇ、Ｃｙの各成分が一定の規則で繰り返される画像信号Ｄ１に対応するものであり、Ｙｅ成分を基準にしてＭｇ成分及びＣｙ成分のゲインを決定する場合を示している。
【００３１】
ゲイン算出回路２１は、分離回路３１、第１〜第３の積分回路３２ａ〜３２ｃ及び第１、第２の除算回路３３ａ、３３ｂにより構成される。分離回路３１は、入力される画像データＤ１を色成分毎に分離し、第１〜第３の分離データＤ[Ye]、Ｄ[Mg]、Ｄ[Cy]を生成する。第１〜第３の積分回路３２ａ〜３２ｃは、それぞれ分離回路３１に接続され、第１〜第３の分離データＤ[Ye]、Ｄ[Mg]、Ｄ[Cy]を所定の期間、例えば、１垂直走査期間毎に積分し、第１〜第３の積分データＩ[Ye]、Ｉ[Mg]、Ｉ[Cy]を生成する。第１の除算回路３３ａは、第１の積分データＩ[Ye]を第２の積分データＩ[Mg]で除算し、Ｍｇ成分に対応する第１のゲインデータＧ[Mg]を生成する。そして、第２の除算回路３３ｂは、第１の積分データＩ[Ye]を第３の積分データＩ[Cy]で除算し、Ｃｙ成分に対応する第２のゲインデータＧ[Cy]を生成する。このようにして生成される第１、第２のゲインデータＧ[Mg]、Ｇ[Cy]は、画像データＤ１に含まれるＭｇ成分及びＣｙ成分の平均レベルをＹｅ成分にそろえる。
【００３２】
図５は、本発明の処理方法を採用するのに適したモザイク型のカラーフィルタの構成を示す平面図であり、図６は、そのカラーフィルタを装着したイメージセンサから得られた画像信号を各補色成分に分離する分離部の構成を示すブロック図である。この分離部は、図１に示す処理装置において、色分離回路２２及び第１〜第３のラッチ回路２３ａ〜２３ｃに置き換えて用いるものである。
【００３３】
カラーフィルタは、各セグメントがＹｅ、Ｍｇ、Ｃｙ及びＧの各成分に対応付けられている。このうち、Ｍｇ成分及びＧ成分が奇数行に交互に配置され、Ｙｅ成分及びＣｙ成分が偶数行に交互に配置される。ここで、Ｙｅ、Ｍｇ、Ｃｙの各成分は、色情報の生成に加えて、輝度情報の生成に用いられ、Ｇ成分は、輝度情報の生成のみに用いられる。このようなカラーフィルタを装着したイメージセンサでは、奇数行から読み出された画像信号においてＭｇ成分とＧ成分とが交互に連続し、偶数行から読み出された画像信号においてＹｅ成分とＣｙ成分とが交互に連続することになる。
【００３４】
分離部は、第１〜第３のラインメモリ４１ａ〜４１ｃ、フィルタ演算回路４２及びセレクタ回路４３より構成される。第１〜第３のラインメモリ４１ａ〜４１ｃは、直列に接続され、画像データＤを３行分記憶すると共に、各行の画像データＤ[L1]、Ｄ[L2]、Ｄ[L3]を同時に読み出してフィルタ演算回路４２へ供給できるできるように構成される。
【００３５】
フィルタ演算回路４２は、第１〜第３のラインメモリ４１ａ〜４１ｃから入力される画像データＤ[L1]、Ｄ[L2]、Ｄ[L3]を３列分保持し、３行×３列単位のフィルタ演算によって、カラーフィルタの各セグメントに対応する色成分データＣ[1]、Ｃ[2]、Ｃ[3]、Ｃ[4]を生成する。例えば、図５において、波線に示す９画素に対しては、中心の画素を目標画素とし、目標画素のＭｇ成分は、そのまま色成分データＣ[1]として出力される。そして、目標画素の左右に位置するＧ成分の２画素から、それらの平均値が色成分データＣ[2]として出力され、目標画素の上下に位置するＹｅ成分の２画素から、それらの平均値が色成分データＣ[3]として出力される。さらに、４角に位置するＣｙ成分の４画素は、それらの平均値が色成分データＣ[4]として出力される。このような色成分データＣ[1]、Ｃ[2]、Ｃ[3]、Ｃ[4]と各色成分Ｙｅ、Ｍｇ、Ｃｙ、Ｇとの対応関係は、目標画素がずれる毎に切り換えられる。
【００３６】
セレクタ回路４３は、色成分データＣ[1]、Ｃ[2]、Ｃ[3]、Ｃ[4]の内、常にＹｅ、Ｍｇ及びＣｙの各成分を表すものを選択し、補色データＣ[Ye]、Ｃ[Mg]、Ｃ[Cy]として出力する。この選択動作は、目標画素の色成分に応じて、４つのパターンが切り換えられる。従って、図１に示す第１〜第３のラッチ回路２３ａ〜２３ｃと同様に、全ての期間で欠落することのない３種類の補色データＣ[Ye]、Ｃ[Mg]、Ｃ[Cy]が出力され、図１に示す処理装置において第１〜第３の乗算回路２４ａ〜２４ｃにそれぞれ入力される。このような分離部によれば、モザイク型のカラーフィルタにおいても、本願発明の処理装置を適用することが可能になる。
【００３７】
図７は、図５に示すモザイクフィルタに対応して得られる画像データＤ１に対応するように構成したゲイン算出回路２１の一例を示すブロックずである。この図においては、Ｇ成分を基準にしてＹｅ成分、Ｍｇ成分及びＣｙ成分のゲインを決定する場合を示している。
【００３８】
ゲイン算出回路２１は、分離回路５１、第１〜第４の積分回路５２ａ〜５２ｄ、乗算回路５３及び第１〜第３の除算回路５４ａ〜５４ｃにより構成される。分離回路５１は、入力される画像データＤ１を色成分毎に分離し、第１〜第４の分離データ、Ｄ[Ye]、Ｄ[Mg]、Ｄ[Cy]、Ｄ[G]を生成する。第１〜第４の積分回路５２ａ〜５２ｄは、それぞれ分離回路５１に接続され、第１〜第４の分離データＤ[G]、Ｄ[Ye]、Ｄ[Mg]、Ｄ[Cy]を所定の期間、例えば、１垂直走査期間毎に積分し、第１〜第４の積分データＩ[G]、Ｉ[Ye]、Ｉ[Mg]、Ｉ[Cy]を生成する。乗算回路５３は、積分データＩ[G]を２倍する。この乗算回路５３による乗算処理は、補色系のフィルタに対して光の透過率が半分程度になる原色系（Ｇ）のフィルタの感度不足を補うためのものである。第１の除算回路５４ａは、２倍された第１の積分データ２Ｉ[G]を第２の積分データＩ[Ye]で除算し、Ｙｅ成分に対応する第１のゲインデータＧ[Ye]を生成する。第２の除算回路５４ｂは、２倍された第１の積分データ２Ｉ[G]を第３の積分データＩ[Mg]で除算し、Ｍｇ成分に対応する第２のゲインデータＧ[Mg]を生成する。そして、第３の除算回路５４ｂは、２倍された第１の積分データ２Ｉ[Ye]を第４の積分データＩ[Cy]で除算し、Ｃｙ成分に対応する第３のゲインデータＧ[Cy]を生成する。このようにして生成される第１〜第３のゲインデータＧ[Ye]、Ｇ[Mg]、Ｇ[Cy]は、画像データＤ１に含まれるＹｅ成分、Ｍｇ成分及びＣｙ成分の平均レベルをＧ成分の２倍にそろえる。
【００３９】
図８は、乗算回路２４ａ〜２４ｃで生成される第１〜第３の積Ｐ[r]、Ｐ[g]、Ｐ[b]から色差データＵ、Ｖを生成するための別の回路構成を示すブロック図である。この図に示す色差データ生成回路は、図１において、第１〜第３の開平回路２５ａ〜２５ｃ及び色差マトリクス回路２６に置き換えられるものである。
【００４０】
色差データ生成回路は、第１、第２の減算回路６１ａ、６１ｂ、第１、第２の絶対値回路６２ａ、６２ｂ、第１、第２の開平回路６３ａ、６３ｂ、第１、第２の符号付加回路６４ａ、６４ｂ及び色差マトリクス回路６５により構成される。第１の減算回路６１ａは、第１の積Ｐ[r]から第２の積Ｐ[g]を減算して第１の差Ｓ[r]を生成する。第２の減算回路６１ｂは、第３の積Ｐ[b]から第２の積Ｐ[g]を減算して第２の差Ｓ[b]を生成する。
【００４１】
第１及び第２の絶対値回路６２ａ、６２ｂは、それぞれ第１及び第２の減算回路６１ａ、６１ｂに接続され、第１及び第２の絶対値Ａ[r]、Ａ[b]を生成する。同時に、第１及び第２の絶対値回路６２ａ、６２ｂは、第１及び第２の差Ｓ[r]、Ｓ[b]の正／負を示す第１及び第２の符号Ｑ[r]、Ｑ[b]をそれぞれ取り出し、後述する符号付加回路６４ａ、６４ｂへそれぞれ供給する。第１及び第２の開平回路６３ａ、６３ｂは、それぞれ第１及び第２の絶対値回路６２ａ、６２ｂに接続され、各絶対値回路６２ａ、６２ｂから入力される第１及び第２の絶対値Ａ[r]、Ａ[b]の平方根を算出し、第１、第２の根Ｒ１[r]、Ｒ１[b]を生成する。そして、第１及び第２の符号付加回路６４ａ、６４ｂは、第１及び第２の開平回路６３ａ、６３ｂから入力される第１、第２の根Ｒ１[r]、Ｒ１[b]に、第１及び第２の絶対値回路６２ａ、６２ｂから供給される第１及び第２の符号Ｑ[r]、Ｑ[b]を付加し、極性を有する第１、第２の根Ｒ２[r]、Ｒ２[b]を生成する。
【００４２】
色差マトリクス回路６５は、第１及び第２の符号付加回路６４ａ、６４ｂに接続され、極性が付加された第１、第２の根Ｒ２[r]、Ｒ２[b]を合成して色差データＵ、Ｖを生成する。この色差マトリクス回路６４においては、例えば、第２の根Ｒ２[b]に所定の乗数を乗算し、その積を第１の根Ｒ２[r]に加算して色差データＶを生成し、第１の根Ｒ２[r]に所定の乗数を乗算し、その積を第２の根Ｒ２[g]に加算して色差データＵを生成するように構成される。この結果、図１に示す回路構成の場合を同様に、色差データＵ、Ｖを得ることができる。
【００４３】
以上の実施形態においては、イメージセンサとしてＣＣＤを例示しているが、イメージセンサとしては、その他にＭＯＳセンサを用いることも可能である。また、カラーフィルタの構成としては、少なくとも３種類の補色（Ｙｅ、Ｍｇ、Ｃｙ）を備えていれば適用可能であり、その他の色成分と組み合わせることも可能である。
【００４４】
【発明の効果】
本発明によれば、画像データの入力段階で色バランスを調整し、その後、そのバランスを維持した状態で輝度データ及び色差データを生成することができる。従って、色差データの生成過程でのホワイトバランス制御と輝度データの生成過程でのモアレバランス制御とを共通化することができ、ホワイトバランス制御回路と、そのゲインを算出するための回路を省略することが可能になる。
【図面の簡単な説明】
【図１】本発明の画像データ処理装置の構成を示すブロック図である。
【図２】本発明の画像データ処理装置の動作を説明するタイミング図である。
【図３】カラーフィルタの分光特性を示す図である。
【図４】ゲイン算出回路の構成の第１の例を示すブロック図である。
【図５】モザイク型カラーフィルタの一例を示す構成図である。
【図６】モザイクフィルタに対応した色分離部の構成を示すブロック図である。
【図７】ゲイン算出回路の構成の第２の例を示すブロック図である。
【図８】色差データ生成回路の別の構成例を示すブロック図である。
【図９】従来の固体撮像素子の構成を示すブロック図である。
【図１０】モザイク型カラーフィルタの一例を示す構成図である。
【図１１】従来の画像データ処理装置の構成を示すブロック図である。
【図１２】従来の画像データ処理装置の動作を説明するタイミング図である。
【符号の説明】
１  ＣＣＤイメージセンサ
２  アナログ処理回路
３  Ａ／Ｄ変換回路
４  デジタル処理回路
５  駆動回路
６  タイミング制御回路
１１  色分離回路
１２  色演算回路
１３  ホワイトバランス制御回路
１４  色差マトリクス回路
１５  モアレバランス制御回路
１６、２７  輝度演算回路
１７、２８  ガンマ補正回路
１８、２９  アパーチャ回路
２０  色バランス制御回路
２１  ゲイン算出回路
２２  分離回路
２３ａ〜２３ｃ  ラッチ回路
２４ａ〜２４ｃ  乗算回路
２５ａ〜２５ｃ、６３ａ、６３ｂ  開平回路
２６、６５  色差マトリクス回路
３１、５３  分離回路
３２ａ〜３２ｃ、５２ａ〜５２ｄ  積分回路
３３ａ、３３ｂ、５４ａ〜５４ｃ  除算回路
４１ａ〜４１ｃ  ラインメモリ
４２  フィルタ演算回路
４３  セレクタ回路
【図１】
0003895878.tif 000003
【図２】
0003895878.tif 000004
【図３】
0003895878.tif 000005
【図４】
0003895878.tif 000006
【図５】
0003895878.tif 000007
【図６】
0003895878.tif 000008
【図７】
0003895878.tif 000009
【図８】
0003895878.tif 000010
【図９】
0003895878.tif 000011
【図１０】
0003895878.tif 000012
【図１１】
0003895878.tif 000013
【図１２】
0003895878.tif 000014