(57)【要約】【課題】  撮像素子において発生するスミアを目立たなくすることを課題とする。【解決手段】  本発明によれば補正時の誤差などにより抑圧し切れなかった、特に原色フィルタの撮像素子において目立つマゼンタ色のスミアを、その色をスミア前後の背景の色と同色にすることにより、画質の劣化を緩和することが可能となった。  また、夜景などのゲインが上がるような被写体でかつ、スミアが検出された場合に限って、その部分の色が前のラインの色情報と同じになるため、スミアの色が目立たなくなり、画質劣化を防ぐことが可能となった。【選択図】  図１
2009004968.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、該撮像素子の出力信号である撮像信号に重畳されるスミア成分を検出するスミア検出手段と、検出したスミア成分に基づいて前記撮像信号を補正するスミア補正手段と、被写体輝度情報に基づいて前記撮像素子における露出を制御することが可能な露出制御手段と、露出制御手段の出力信号に基づいて撮像出力信号を増幅するゲイン手段を有し、前記ゲイン手段の増幅度に応じて、スミア補正後の信号の色位相および色ゲインを可変させることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関するものである。
【背景技術】
【０００２】
固体撮像素子を用いた撮像装置においては、固体撮像素子特有の現象として、強い光が入射したときに発生するスミア現象による画質劣化がある。このスミア現象は、以下の要因により、疑信号として重畳されるものが相当する。本来の電荷蓄積領域に捕捉されなかった電荷がポテンシャル領域を越えて転送路に漏れこむ。またＸ−Ｙアドレス方式の撮像素子において、強い光の入射に対して流れるビットラインの電流が、寄生抵抗によって電圧上昇を起こす。そして、該ビットラインの寄生容量に充電された電荷が、スイッチングを受けて選択されたときに放電電流として流れる。
【特許文献１】特開平７−６７０３８
【特許文献２】特開平４−２１２８１
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１は、ＯＢの出力レベルをスミア除去基準信号とし、これを有効画面の画素出力信号から減じることにより抑圧しようというものである。また特許文献２は、Ｘ−Ｙアドレス方式撮像素子でのスミア除去をするものであり、読み出す際に接続されるリファレンスラインに流れる電流を制限し、電位上昇を押えることにより横スミアの発生を抑制するものである。いずれもスミアの発生自体を抑えようとするものであり、その抑圧レベルには、特許文献１の場合はＯＢ部のノイズ、キズによる影響など、また特許文献２の場合は寄生抵抗、寄生容量のばらつきなどにより限界がある。
【０００４】
また、特にＲ，Ｇ，Ｂの原色フィルタを用いる信号処理システムにおいては、輝度信号の解像度を主とするため、Ｇ信号レベルを多く設定するのが通常となる。そのため色信号はＲ，ＢのレベルがＧに対し低めに設定されるため、ホワイトバランス回路においてはＲ，Ｂのゲインが上がる設定となり、Ｒ，Ｇ，Ｂに均等に発生するスミアは、Ｒ，Ｂのレベルが高くなりマゼンタ色に着色する傾向がある。
【０００５】
また、横方向に出る横スミアにおいては、垂直のＬＰＦ信号処理の影響でスミア成分が広がってしまい、さらに画質を悪化させていた。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、撮像素子と、該撮像素子の出力信号である撮像信号に重畳されるスミア成分を検出するスミア検出手段と、検出したスミア成分に基づいて前記撮像信号を補正するスミア補正手段と、被写体輝度情報に基づいて前記撮像素子における露出を制御することが可能な露出制御手段と、露出制御手段の出力信号に基づいて撮像出力信号を増幅するゲイン手段を有し、前記ゲイン手段の増幅度に応じて、スミア補正後の信号の色位相および色ゲインを可変させることを特徴とする。
【発明の効果】
【０００７】
本発明によれば補正時の誤差などにより抑圧し切れなかったスミアを、その色をスミア前後の背景の色と同色にすることにより、画質の劣化を緩和することが可能となった。
【０００８】
また、夜景などのゲインが上がるような被写体でかつ、スミアが検出された場合に限って、その部分の色が前のラインの色情報と同じになるため、スミアの色が目立たなくなり、画質劣化を防ぐことが可能となった。
【発明を実施するための最良の形態】
【０００９】
（実施例１）
次に上記実施形態の信号処理ブロックを用いた撮像装置について説明する。
【００１０】
図１は、本発明の信号処理ブロックを用いた撮像装置を示すブロック図である。
【００１１】
図１において、５０１が、レンズおよび絞りからなる光学系である。５０２が、シャッタを兼用する絞りである。５０３が、撮像素子のＣＭＯＳである。５０４がディジタル変換を行うＡＤである。５０６はタイミング信号を発生するタイミング信号発生回路である。５０７が、光学系５０１および絞り５０２および撮像素子ＣＭＯＳ５０３の駆動回路である。５０８が、撮影した画像データに必要な信号処理およびスミアの補正を行う信号処理ブロックである。５０９が、信号処理された画像データを記憶する画像メモリである。５１０が、撮像装置から取り外し可能な画像記録媒体（記録媒体と図示する）である。５１１が、信号処理された画像データを画像記録媒体５１０に記録する記録回路である。５１２が、信号処理された画像データを表示する画像表示装置である。５１３が、画像表示装置５１２に画像を表示する表示回路である。５１４が、撮像装置全体を制御するシステム制御部である。５１５が、システム制御部５１４で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、および、キズアドレス等の補正データを記憶しておく不揮発性メモリ（ＲＯＭ）である。５１６が、不揮発性メモリ５１５に記憶されたプログラムである。そして、制御データおよび補正データを転送して記憶しておき、システム制御部５１４が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）となっている。
【００１２】
以下、上述のように構成された撮像装置を用いてシャッタ兼用の絞り５０２を使用した撮影動作について説明する。撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部５１４の動作開始時に次の動作を行う。不揮発性メモリ５１５から必要なプログラム、制御データおよび補正データを揮発性メモリ５１６に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部５１４が撮像装置を制御する際に使用する。さらに、必要に応じて、追加のプログラムやデータを不揮発性メモリ５１５から揮発性メモリ５１６に転送したり、システム制御部５１４が直接不揮発性メモリ５１５内のデータを読み出して使用したりするものとする。
【００１３】
まず、光学系５０１は、システム制御部５１４からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子ＣＭＯＳ５０３に結像させる。次に、シャッタ兼用絞り５０２は、システム制御部５１４からの制御信号により、必要な露光時間となるように撮像素子の動作に合わせてＣＭＯＳ５０３を遮光するように駆動される。この時、撮像素子が電子シャッタ機能を有する場合は、シャッタ兼用絞り５０２と併用して、必要な露光時間を確保してもよい。ＣＭＯＳ５０３は、システム制御部５１４により制御されるタイミング信号発生回路５０６が発生する動作パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。次に、システム制御部５１４により制御される信号処理ブロック５０８において、撮像素子５０３から出力された画像信号に対して、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等と、スミアの検出及びスミア補正を行う。画像メモリ５０９は、信号処理中の画像信号を一時的に記憶したり、信号処理された画像信号である画像データを記憶したりするために用いられる。信号処理ブロック５０８で信号処理された画像データや画像メモリ５０９に記憶されている画像データは、記録回路５１１において画像記録媒体５１０に適したデータ（例えば階層構造を持つファイルシステムデータ）に変換される。そして、画像記録媒体５１０に記録したり、信号処理ブロック５０８で解像度変換処理を実施される。その後、表示回路５１３において画像表示装置５１２に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて画像表示装置５１２に表示されたりする。
【００１４】
次に図２を用いて信号処理ブロック５０８の構成を説明する。
【００１５】
８０は前段のＡＤコンバータ５０３の出力を受けて、Ｒ，Ｇ，Ｂ各チャンネルのホワイトバランス制御を行うＲＧＢゲイン回路である。８２はＲ，Ｇ，Ｂ信号から輝度成分の信号を生成する輝度信号処理回路である。８１は輝度信号のレベルを検出してレンズおよびゲインをコントロールする露出制御回路である。８７は輝度信号出力に対してエッジ強調等を行うアパ−チャ回路である。８９はγ補正を行うγ回路である。８４は色信号を分離するためのマトリクス回路である。８６は色差信号を増幅するための色差ゲイン回路である。８８はγ回路、９０は色信号を抑圧する色抑圧回路、８３はスミアの検出を行うスミア検出回路である。８５はスミア検出回路で検出した信号と、露出制御回路からの信号をもとにスミアの抑圧信号を生成するスミア抑圧信号回路、である。
【００１６】
ここでスミア検出回路８３およびスミア抑圧回路８５の動作を、図３、図４を用いて説明する。スミア検出回路８３に入力されたスミアを含む信号を図３に表す。図３は夜景などの風景で、「ハイライト部」の図示位置に点光源が入射した画像である。ここでは、Ｘ−Ｙアドレス方式のＣＭＯＳ撮像素子についての例が示されており、「横スミア」の図示位置にスミアが発生している。実線で示す、ａ１−ａ２−ａ３−ａ４−ａ５−ａ６は図中のａ−ａ’のライン上の垂直方向の信号振幅を示す。「ハイライト部」が入射し、横スミアとなった部分では信号レベルがΔＥ分上がっている。
【００１７】
スミア検出回路８３において、上記垂直信号レベルを前のラインでのレベルと比較検出し、あらかじめ決められたスレッシュレベルＥを上回った場合に、その部分をスミアと検出し、スミア抑圧回路８５に送られる。スミア抑圧回路８５はもう一方の信号を露出制御回路８１より入力されている。本実施例のような夜景の被写体においての輝度信号レベルは少なく、露出検出回路はゲインを上げるよう、露出制御出力信号としてシステム制御部５１４へ信号を送り、システム制御部５１４にてゲインアップの制御信号をＲＧＢゲイン回路８０に送る。もう一方の制御回路はスミア抑圧回路８５に送られ、ゲインがあがった状態にてスミアの検出結果を有効とする。
【００１８】
図４はスミア抑圧信号発生回路での動作を説明するフローチャート図である。
【００１９】
スミア検出回路８３でスミアが検出される。そして、次にシステム制御部５１４からのゲイン情報に基づき、例えばゲインが３ｄＢ以上かかっている場合は、色差ゲインを保持する動作を色差ゲイン回路８６にて設定される。そして、Ｒ−ＹおよびＢ−Ｙ信号は前ラインの設定が継続され、色相が保持される。ゲインが３ｄＢ以下の場合は、通常の色差ゲイン動作となる。
【００２０】
ここで、信号処理ブロック５０８においては、システム制御部５１４からの制御信号により信号処理をせずに画像信号をそのまま画像データとして、画像メモリ５０９や記録回路５１１に出力してもよい。また、信号処理ブロック５０８は、システム制御部５１４から要求があった場合に、信号処理の過程で生じた画像信号や画像データの情報をシステム制御部５１４に出力する。画像デ―タの情報は、例えば、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報がある。さらに、記録回路５１１は、システム制御部５１４から要求があった場合に、画像記録媒体５１０の種類や空き容量等の情報をシステム制御部５１４に出力する。
【００２１】
さらに、画像記録媒体５１０に画像データが記録されている場合の再生動作について説明する。
システム制御部５１４からの制御信号により記録回路５１１は、画像記録媒体５１０から画像データを読み出す。同じくシステム制御部５１４からの制御信号により信号処理ブロック５０８は、画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ５０９に記憶する。画像メモリ５０９に記憶されている画像データは、信号処理ブロック５０８で解像度変換処理を実施された後、表示回路５１３において画像表示装置５１２に適した信号に変換されて画像表示装置５１２に表示される。
【００２２】
本実施例では、以下のような構成を有することにより、高画質を得られる。
１）撮像素子。２）該撮像素子の出力信号である撮像信号に重畳されるスミア成分を検出するスミア検出部。３）検出したスミア成分に基づいて前記撮像信号を補正するスミア補正部。４）被写体輝度情報に基づいて前記撮像素子における露出を制御することが可能な露出制御部。５）露出制御部の出力信号に基づいて撮像出力信号を増幅するゲイン部。そして、前記ゲイン部の増幅度に応じて、スミア補正後の信号の色位相および色ゲインを可変させることを特徴としている。
【００２３】
（実施例２）
次に横スミアの上下方向への広がりを防ぐための実施例について説明する。
【００２４】
図８は実施例を示す信号処理ブロック図である。図２と同じ部分は同符号を付し、説明は省略する。
【００２５】
スミア検出回路８３で検出された信号が、スミア抑圧信号発生回路８５に送られる。ここでシステム制御部からのゲイン情報に基づいて、補間処理回路９１にて補間処理がなされる。
【００２６】
図７は補間処理回路９１の詳細をの信号処理を示すブロック図である。
【００２７】
通常垂直方向の信号処理は、１Ｈディレイラインをいくつか使用して行うことが多く、ＬＰＦのケースを例にとって説明する。入力信号を１Ｈディレイラインを１個通した信号、２個通した信号にそれぞれ係数をかけて加算し、
出力信号＝０Ｈ×α＋１Ｈ×β＋２Ｈ×α−−−−（式１）
としてＬＰＦを実現させる。
【００２８】
しかしながら、横スミアのような、上下に相関関係の薄い信号を例にとって考えた場合、上記ＬＰＦ信号処理により横スミアが上下にはみ出し、にじみを発生させていた。
【００２９】
したがって、スミア検出回路８３にてスミアが検出された場合、その情報に基づき上記ＬＰＦ信号の係数を可変させることで，ＬＰＦ効果を無くし、横スミアのにじみを防ぐことが可能となる。
【００３０】
図５は従来の、通常の係数を用いた場合の垂直方向の信号レスポンス波形である。信号ｃ（１Ｈ）はハイライト部が入射されているラインに相当する。ｃ（０Ｈ）はｃ（１Ｈ）の１Ｈ前の信号で、係数αを乗じられて図示のような波形となる。ｃ（２Ｈ）はｃ（１Ｈ）１Ｈ後の信号で、同じ係数αを乗じされ図示の信号波形となる。これら３ライン分の信号は式１により、加算され図示の出力信号となる。ハイライト部の影響によるスミア信号が上下に広がってしまう。
【００３１】
図６はこれに対し、スミア検出回路８３にてスミアが検出された信号が、スミア抑圧発生回路８５に送られる。システム処理部からのゲイン情報に基づいて、補間処理回路９１にて補間動作がなされる。図６は本発明の補正をする場合の垂直方向信号レスポンス波形である。信号ｅ（１Ｈ）はハイライト部が入射されているラインに相当する。ｅ（０Ｈ）はｅ（１Ｈ）の１Ｈ前の信号で、係数α´を乗じられて図示のような波形となる。ｅ（２Ｈ）はｅ（１Ｈ）１Ｈ後の信号で、同じ係数α´を乗じされ図示の信号波形となる。これに中心ラインｅ（１Ｈ）に係数β´の３ライン分の信号は式１により、加算され図示の出力信号となる。α´とβ´の係数を可変させることで，ＬＰＦ効果を無くし、横スミアのにじみを防ぐことが可能となる。
【００３２】
本実施例では、以下のような構成を有することにより、高画質を得られる。
【００３３】
１）撮像素子。２）該撮像素子の出力信号である撮像信号に重畳されるスミア成分を検出するスミア検出部。３）検出したスミア成分に基づいて前記撮像信号を補正するスミア補正部。４）被写体輝度情報に基づいて前記撮像素子における露出を制御することが可能な露出制御部。５）露出制御部の出力信号に基づいて撮像出力信号を増幅するゲイン部。そして、前記ゲイン部の増幅度に応じて、スミア補正後の信号の色位相および色ゲインを可変させることを特徴としている。
【図面の簡単な説明】
【００３４】
【図１】本発明の信号処理ブロックを用いた撮像装置を示すブロック図
【図２】本発明の信号処理ブロックの詳細を表したブロック図
【図３】本発明の説明図
【図４】本発明のフローチャート
【図５】本発明の第２の実施例の説明図
【図６】本発明の第２の実施例の説明図
【図７】本発明の第２の実施例の補間処理回路の詳細を表したブロック図
【図８】本発明の第２の実施例の信号処理ブロックの詳細を表した図
【符号の説明】
【００３５】
５０１  光学系
５０２  絞り
５０３  撮像素子
５０４  ＡＤコンバータ
５０６  タイミング信号発生回路
５０７  駆動回路
５０８  信号処理ブロック
５０９  画像メモリ
５１０  画像記録媒体
５１１  記録回路
５１２  画像表示装置
５１３  表示回路
５１４  システム制御部
５１５  不揮発性メモリ（ＲＯＭ）
５１６  揮発性メモリ（ＲＡＭ）
８０  ＲＧＢゲイン回路
８１  露出制御回路
８２  輝度信号処理回路
８３  スミア検出回路
８４  マトリクス回路
８５  スミア抑圧回路
８６  色差ゲイン回路
８７  アパ−チャ回路
８８  γ回路
８９  γ回路
９０  色抑圧回路
９１  補間処理回路
【図１】
2009004968.tif 000003
【図２】
2009004968.tif 000004
【図３】
2009004968.tif 000005
【図４】
2009004968.tif 000006
【図５】
2009004968.tif 000007
【図６】
2009004968.tif 000008
【図７】
2009004968.tif 000009
【図８】
2009004968.tif 000010