(57)【要約】【課題】  イメージセンサのクロストークによる画質の劣化を、簡易な制御で効果的に再生する。【解決手段】  イメージセンサの出力レベルに応じたクロストーク補正係数を読み出し、輝度信号補正回路を制御する。【選択図】        図１
2006121164.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、該撮像手段のクロストーク補正値を記憶するデータ記憶手段と、該撮像手段の出力から輝度信号成分を生成する輝度信号成分手段と、該輝度信号成分を補正する輝度信号補正手段とを有し、
該撮像手段の出力レベルに応じて、該データ記憶手段から該クロストーク補正値を出力し、該クロストーク補正値で、輝度信号補正手段を制御することを特徴とする撮像装置。
【請求項２】
該クロストーク補正値で、該輝度信号補正手段におけるアパーチャ補正手段とガンマ補正手段とを制御することを特徴とする請求項１記載の撮像装置。
【請求項３】
該クロストーク補正値で、該アパーチャ補正手段におけるアパーチャ利得を制御することを特徴とする請求項２記載の撮像装置。
【請求項４】
該クロストーク補正値で、該アパーチャ補正手段におけるフィルタの周波数特性を切り換えることを特徴とする請求項２記載の撮像装置。
【請求項５】
該撮像手段は、第一の色光を透過する第一の撮像素子と、第二の色光を透過する第二の撮像素子と、第三の色光を透過する第三の撮像素子とを有することを特徴とする請求項１記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサを用いた撮像装置に係るものであり、特に、イメージセンサの隣接画素へのクロストーク（電荷漏れ）の補正を行う撮像装置に関するものである。
【背景技術】
【０００２】
イメージセンサにおいては、信号が隣接画素へ漏れこむクロストークが起きる。主な原因には、入射光が隣接画素に光学的に漏れこむことと、イメージセンサの基板内部で発生した信号電荷が拡散により隣接画素に電気的に漏れこむことの２つがある。
【０００３】
また、入射光が増えるに従って、このクロストークも増えることが一般に知られている。クロストークにより、単一のイメージセンサに複数種類の色フィルタを搭載した単板カメラシステムでは、混色を引き起こして色再現性を劣化させ、３つのイメージセンサがそれぞれ、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）を透過する三板カメラシステムでは、クロストークが低域通過フィルタと等価なものになり、輝度信号の高域成分を劣化させてしまう。
【０００４】
このクロストークは、ＣＣＤイメージセンサに比べて、ＣＭＯＳイメージセンサにおいて顕著である。
【０００５】
このような状況に対して、例えば特許文献１では、混色成分を補正する補正係数を記憶するデータ記憶手段と、補正係数に基づいて混色成分を補正する混色補正手段とを有して、レンズのＦ値に応じて補正係数を読み出して混色成分（クロストーク）を補正している。
【特許文献１】特開平１０−２７１５１９号公報
【特許文献２】特開平１０−１５５１００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の技術においては、レンズのＦ値（絞り）を変えない限り同一の補正係数を読み出すため、入射光量の変化に絞りの変化が追従できない場合は、データ記憶手段から出力される補正係数が、本来、必要な値とは異なる値になるため、適切なクロストーク補正ができない、といった問題点を含んでいる。
【０００７】
本発明は、以上の点に着目して成されたもので、撮像手段の出力レベルに応じて、データ記憶手段からクロストーク補正値を出力し、クロストーク補正を施すことにより、入射光量に応じた適切なクロストーク補正を行うもので、クロストークにより失われた画像の高域成分を容易に再生することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明では、上記従来の問題に鑑み、撮像手段の出力レベルに応じて、データ記憶手段からクロストーク補正値を出力し、クロストーク補正を施すことにより、入射光量に応じた適切なクロストーク補正を行うものである。
【０００９】
なお、さらに説明すれば、本発明の第一の発明について下記のように示す。
【００１０】
（１）撮像手段と、該撮像手段のクロストーク補正値を記憶するデータ記憶手段と、該撮像手段の出力から輝度信号成分を生成する輝度信号成分手段と、該輝度信号成分を補正する輝度信号補正手段とを有し、該撮像手段の出力レベルに応じて、該データ記憶手段から該クロストーク補正値を出力し、該クロストーク補正値で、輝度信号補正手段を制御することを特徴とする撮像装置。
【発明の効果】
【００１１】
本発明は、撮像手段の出力レベルに応じて、データ記憶手段からクロストーク補正値を出力し、クロストーク補正を施すことにより、入射光量に応じた適切なクロストーク補正を行うもので、クロストークにより失われた画像の高域成分を容易に再生することができる。
【発明を実施するための最良の形態】
【００１２】
以下本発明を実施するための最良の形態を、実施例により詳しく説明する。
【実施例１】
【００１３】
本発明の第一の実施例を適用する撮像装置を図１に示す。図１は三板式撮像装置であり、撮像素子にはＣＭＯＳセンサを用いている。ＣＭＯＳセンサ１〜３でそれぞれ赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）を光電変換された入力信号は、アナログフロントエンド（ＡＦＥ）回路４〜６でノイズ除去、利得調整、アナログ−ディジタル（ＡＤ）変換等を行う。この後、輝度信号生成回路７で例えば、
Ｙ＝０．３＊Ｒ＋０．５９＊Ｇ＋０．１１＊Ｂ    式（１）
式（１）の演算により、輝度信号を生成する。輝度信号生成回路７の出力は、輝度信号補正回路８でアパーチャ補正、ガンマ補正等の処理を行う。
【００１４】
ＡＦＥ回路４〜６の出力は、色信号処理回路１０へも送られ、ガンマ補正、ホワイトバランス等の処理を行い、色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する。色信号処理回路１０の出力は輝度信号補正回路８の出力と、ＹＣ多重回路１１で多重化される。
【００１５】
ＡＦＥ回路４〜６の出力は、さらに、クロストーク量記憶手段９へも入力される。クロストーク量記憶手段９はマイコン１２の指示により、後述の動作によりクロストーク量を記憶し、クロストーク補正時にクロストーク補正値ｋを輝度信号補正回路８へ出力する。
【００１６】
図２にクロストーク量記憶手段９の内部回路を示す。ＡＦＥ回路４〜６の出力信号はレベル合成回路９１で加算される。加算比は特に限定するものではないが、上述の輝度信号生成回路７で用いた式（１）と共通の加算比を用いる場合は、レベル合成回路９１は設けず、輝度信号生成回路７の出力をクロストーク量記憶手段９に入力してもよい。
【００１７】
レベル合成回路９１の出力はメモリ９２に記憶され、同時にセレクタ９４にも入力される。
【００１８】
カウンタ９３はマイコン１２からカウンタのインクリメントを許可する信号ＣＥＮを受け取り、ＣＥＮが有効な期間は不図示のクロックが入力される毎にインクリメントを行い、その値をセレクタ９４に送出する。セレクタ９４では、クロストーク量測定時に“１”になるＴＥＳＴ信号をマイコン１２から入力し、ＴＥＳＴ＝“０”の通常使用時は、レベル合成回路９１の出力を選択し、ＴＥＳＴ＝“１”のクロストーク量測定時にはカウンタ９３の出力を選択する。セレクタ９４の出力は、メモリ９２のアドレス信号となる。マイコン１２からはメモリ９２の書き込みを許可するＷＥＮもメモリ９２に送る。
【００１９】
図３に輝度信号補正回路８の内部回路を示す。アパーチャ補正回路８１では、高域通過フィルタ（ＨＰＦ）８１１で、信号の高域を抽出する。ゲイン生成回路８１２では図１のクロストーク量記憶手段９の出力ｋに基づいて、ハードウェア構成もしくはＲＯＭテーブル等の手段によりアパーチャゲインＡＰＣＧを生成し、乗算器８１３でＨＰＦ８１１の出力とＡＰＣＧを掛け合わせる。加算器８１４で輝度信号生成回路７の出力と、乗算器８４２の出力を加算することで、アパーチャ補正を施す。アパーチャ補正回路８１の出力はガンマ補正回路８２に送られ、ガンマ補正を施す。
【００２０】
図４に入射光量とそのときのクロストーク量との関係の一例を示す。図４のような特性を得るためには、工場調整時等に入射光に対するクロストークを測定してメモリ９２に格納しておく必要がある。なお、メモリ９２には、不揮発性メモリを使用するのが望ましいが、これに限ったものではない。
【００２１】
図８にクロストーク測定原理の説明図を示す。８Ａ，８Ｂ，８ＣはＣＭＯＳセンサ１〜３のうちの３画素を抜き出したもので、各画素はマイクロレンズ８０１、色フィルタ８０２、配線層８０３、フォトダイオード８０４、シリコン基板８０５からなる。クロストーク測定時にはＣＭＯＳセンサ１〜３の一部の領域を遮光版８１０で覆う。図８では、画素８Ａを遮光版８１０で覆い、画素８Ｂ，８Ｃは通常通り入射光８１１を受ける例を示している。クロストークはシリコン基板８０５を通じた隣接画素への電荷の漏れであるから、遮光した画素８Ａの出力値を測定すれば、入射光８１１に対するクロストーク量を測定できる。
【００２２】
図１１にクロストーク測定の手順を表すフローチャートを示す。ステップ（Ｓ）１１０１で測定を開始する際、マイコン１２でＴＥＳＴ信号を“１”にする。Ｓ１１０２でＣＭＯＳセンサの一部の領域を遮光板８１０で遮光する。Ｓ１１０３でマイコン１２からＷＥＮ信号を出力し、メモリ９２への書き込みを可能にする。次に、Ｓ１１０４で、あるレベルの入射光７１１を照射する。Ｓ１１０５では遮光した領域の端の画素（図８における８Ａ）の画素の出力レベルを測定する。図１に示すように撮像素子にＣＭＯＳセンサを用いると、所望の位置の画素を自由に読み出せる。ここで読み出した信号を、Ｓ１１０６でメモリ９２に書き込む。このときのアドレス値はマイコン１２で制御されたカウンタ９３の出力値である。このときのアドレス値を、入射光７１１のレベル値と一致するようにしておく。Ｓ１１０７で測定を継続すると判断したときは、アドレスをインクリメントする（Ｓ１１０８）。Ｓ１１０９では、アドレスのインクリメントに対応するだけ照射レベルを変更するように不図示の光源を制御し、再びＳ１１０４で照射を行う。
【００２３】
Ｓ１１０７で測定を終了すると判断したときは、Ｓ１１１０でマイコン１２からのＷＥＮ信号を変更し、メモリ９２への書き込みを不可にする。そして、Ｓ１１１１ではマイコン１２の指示でＴＥＳＴ信号を“０”にして、クロストークの測定を終了する。
【００２４】
通常使用時には、工場調整時等に測定したクロストーク特性を用いて、クロストークを補正する。以下でその動作を説明する。
【００２５】
図１のような三板カメラシステムではクロストークが発生すると、輝度信号成分が隣接画素に漏れこむ。これは画像を低域通過回路（ＬＰＦ）に通したのと等価である。従って、画像の高域成分が劣化し、ボケた画像になってしまう。そこで本発明では、アパーチャ補正回路８１とガンマ補正回路８２を、測定したクロストーク量で制御して、劣化した高域成分を再生することで、クロストーク補正を行う。
【００２６】
上述のクロストーク測定動作により、クロストーク量記憶手段９は、入力信号レベルに対するクロストーク量ｋを出力するので、入力信号のレベルに対して最適なクロストーク補正を行うことができる。
【００２７】
本発明では、ゲイン生成回路８１２の入出力特性を図６（ａ）または（ｂ）のようにする。図６（ａ）では、クロストーク量ｋの値が大きくなるにつれ、アパーチャゲインＡＰＣを大きくさせる。これにより、クロストーク量が比較的大きく、画像の高域が大幅に落ちたときには、アパーチャ補正を強めに掛けて、クロストークによって失われた高域成分を再生する。
【００２８】
また、ゲイン生成回路８１２の入出力特性を図６（ｂ）のようにして、複数の直線でアパーチャゲインＡＰＣの特性を決めてもよい。
【００２９】
アパーチャ補正を強めにかけると、付加したエッジ成分は高レベル側に飽和しやすく、ややもすると、エッジ部分が白くなったり、ぎらついたりすることがある。そこで、ガンマ補正を制御してエッジ成分の飽和を防ぐ必要がある。このときのガンマ補正回路８２の入出力特性を図５に示す。ｋの値が低いとき、即ちクロストーク量が少ない場合は、アパーチャゲインＡＰＣＧは低く、エッジの飽和は起きにくいので、高輝度領域の出力を抑える必要はないが、ｋの値が高いとき、即ちクロストーク量が多い場合は、アパーチャゲインＡＰＣＧが高く、エッジの飽和は起きやすいので、ガンマの入出力特性を変えて高輝度領域の出力を抑える必要がある。なお、ガンマ補正回路８２の実現方法は、ハードウェアで構成しても、ＲＯＭテーブルで構成してもよい。
【実施例２】
【００３０】
本発明の第二の実施例で適用されるクロストーク量記憶手段９の内部構成を図１２に示す。第一の実施例では、クロストーク測定時のメモリ９２のアドレスを発生させる方法として、入射光８１１に相当する値をカウンタ９３で発生させていたが、本実施例では、クロストーク量を遮光した画素８Ａから読み出す直前のクロック期間に、遮光しない画素８Ｂの信号、即ち入射光量を読み出して、Ｄフリップフロップ（ＤＦＦ）９５に蓄積しておき、次のクロック期間で、遮光した画素８Ａからクロストーク量を読み出し、ＤＦＦ９５の出力をアドレスとして、メモリ９２に書き込む。この動作により、第一の実施例と同様、入射光量に対応するクロストーク量ｋを出力するルックアップテーブルを実現することができる。
【実施例３】
【００３１】
本発明の第三の実施例で適用される輝度信号補正回路８の内部回路を図９に示す。
【００３２】
一般に、撮像素子の内部でクロストークが起こる場合、クロストーク量ｋにより、画像の高域成分の劣化の仕方が変わる。つまり、クロストークと等価なＬＰＦの特性が変わるので、本実施例では、クロストーク量ｋに応じて、アパーチャ補正回路８１のフィルタ特性を切り換える。
【００３３】
クロストーク量ｋが多い場合、即ち、ｋ≧ａのときは、図７（ａ）の周波数特性をもつＨＰＦ８１１をセレクタ８１６で選択する。
【００３４】
この場合は、電荷の漏れこみによって、隣接画素とのレベル差が無くなりやすいので、輝度信号の最高域が劣化する。従って、失われた最高域を再生するために、図７（ａ）のような周波数特性をもつフィルタを用いる。
【００３５】
クロストーク量ｋが少ない場合、即ち、ｋ＜ａのときは、図７（ｂ）の周波数特性をもつＢＰＦ８１５をセレクタ８１６で選択する。このときは、電荷の漏れこみがあるにせよ、隣接画素とのレベル差がある程度保たれるので、中域を補正するために、図７（ｂ）のような周波数特性をもつフィルタを用いる。
【実施例４】
【００３６】
本発明の第四の実施例で適用されるカメラ信号処理回路８の内部構成を図１０に示す。第三の実施例では、クロストーク量ｋに応じてアパーチャ補正回路８１のフィルタの特性を切り換える例として、２つのフィルタとセレクタを用いる例を挙げたが、本実施例では、パラメータｋでフィルタ８１８のタップ係数、またはタップ数を切り換える。
【００３７】
その他の動作は第三の実施例と同様である。
【図面の簡単な説明】
【００３８】
【図１】本発明の第一の実施例を示す図
【図２】クロストーク量記憶手段の構成図
【図３】輝度信号補正回路の構成図
【図４】入射光量とクロストーク量の関係の一例を示す入出力特性図
【図５】ガンマ補正回路の入出力特性図
【図６】アパーチャゲインの特性図
【図７】フィルタの周波数特性図
【図８】クロストーク量測定の原理を表す図
【図９】本発明の第三の実施例に用いられる輝度信号補正回路の構成図
【図１０】本発明の第四の実施例に用いられる輝度信号補正回路の構成図
【図１１】クロストーク量測定の手順を表すフローチャート
【図１２】本発明の第二の実施例に用いられるクロストーク量記憶手段の構成図
【符号の説明】
【００３９】
１、２、３  ＭＯＳセンサ
４、５，６  ＡＦＥ
７  輝度信号生成回路
８  輝度信号補正処理回路
９  クロストーク量記憶手段
１０  色信号処理回路
１１  ＹＣ多重回路
１２  マイコン
【図１】
2006121164.tif 000003
【図２】
2006121164.tif 000004
【図３】
2006121164.tif 000005
【図４】
2006121164.tif 000006
【図５】
2006121164.tif 000007
【図６】
2006121164.tif 000008
【図７】
2006121164.tif 000009
【図８】
2006121164.tif 000010
【図９】
2006121164.tif 000011
【図１０】
2006121164.tif 000012
【図１１】
2006121164.tif 000013
【図１２】
2006121164.tif 000014