(57)【要約】【課題】線状の表示不良を精度高く補正する。【解決手段】撮像素子Ｐ１〜Ｐｍに蓄積された電荷Ｄ１〜Ｄｍを撮像素子Ｐ１〜Ｐｍの配列面上の一方向に沿って転送する転送部１０５の電荷転送を所定の時間停止させる。電荷転送を所定時間停止したのち撮像素子Ｐ１〜Ｐｍの電荷読み出しを行うことなく転送部１０５から電荷を転送する。転送される電荷Ｄ１〜Ｄｍの信号レベルに基づいて、撮像センサ１０１の不良発生位置を特定する。特定された不良発生位置を含みかつ前記一方向に平行な線上に生じる撮像センサ１０１の信号レベル不良を補正する。以上の処理を行うことで、線状の表示不良を精度高く補正する。【選択図】  図１
2005354670.tif 000002
【特許請求の範囲】
【請求項１】
二次元配置された撮像素子と、前記撮像素子に蓄積された電荷を当該撮像素子の配列面上の一方向に沿って転送する転送部とを備える撮像センサの信号レベル不良を補正する画像処理方法であって、
前記転送部の電荷転送を所定の時間停止させる第１のステップと、
電荷転送を所定時間停止したのち前記撮像素子の電荷読み出しを行うことなく前記転送部から電荷を転送する第２のステップと、
前記第２のステップで転送される電荷の信号レベルに基づいて、前記撮像センサの不良発生位置を特定する第３のステップと、
前記第３のステップで特定された不良発生位置を含みかつ前記一方向に平行な線上に生じる前記撮像センサの信号レベル不良を補正する第４のステップと、
を含む画像処理方法。
【請求項２】
前記第１のステップでは、
電荷転送停止により前記転送部に蓄積される暗電流が検出可能な信号レベルに達するまで前記転送部による電荷転送を停止する、
請求項１の画像処理方法。
【請求項３】
前記第１のステップを実施する時間的前に、
前記撮像素子や前記転送部の電荷を消去する、
請求項１の画像処理方法。
【請求項４】
前記第３のステップでは、
前記撮像センサ上の各位置の信号レベルと当該位置の周辺位置における信号レベルとの比較に基づいて、前記不良発生位置を特定する、
請求項１の画像処理方法。
【請求項５】
前記第３のステップでは、
前記撮像センサ上の各位置の信号レベルと当該位置の周辺位置における信号レベルとの間の差分を算出し、算出した差分が予め設定した閾値より大きい場合にその位置を不良発生位置とする、
請求項４の画像処理方法。
【請求項６】
前記撮像センサは、前記一方向の両端それぞれにOptical Black領域を備えており、
前記第４のステップでは、
前記不良発生位置を含みかつ前記一方向に平行な線上の各位置における信号レベルと、前記転送部の転送方向において前記不良発生位置より上流側に位置する前記Optical Black領域内で前記一方向に沿って前記不良発生位置に対向する位置における信号レベルとの比較に基づいて、前記撮像センサの信号レベル不良を補正する、
請求項１の画像処理方法。
【請求項７】
前記第４のステップでは、
前記Optical Black領域内で前記一方向に沿って前記不良発生位置に対向する位置における信号レベルとして、複数位置の平均値を用いる、
請求項６の画像処理方法。
【請求項８】
前記第４のステップでは、
前記Optical Black領域内で前記一方向に沿って前記不良発生位置に対向する位置における信号レベルを不良信号レベルとし、
前記不良発生位置を含みかつ前記一方向に平行な線上の各位置における信号レベルから前記不良信号レベルを減算することで、前記撮像センサの信号レベル不良を補正する、
請求項６の画像処理方法。
【請求項９】
前記第４のステップでは、
前記Optical Black領域内で前記一方向に沿って前記不良発生位置に対向する位置における信号レベルとして、複数フレームにわたって加重平均された各位置の信号レベルを用いる、
請求項６の画像処理方法。
【請求項１０】
前記第４のステップでは、
実撮像を実施するフレームの時間的前にダミーフレームを設け、当該ダミーフレームにおいて、前記不良発生位置を含みかつ前記一方向に平行な線上に生じる前記信号レベル不良の不良程度を特定したうえで、実撮影フレームにおいて、前記不良発生位置を含みかつ前記一方向に平行な線上に生じる前記撮像センサの信号レベル不良を、前記特定した信号不良程度に基づいて補正する、
請求項１の画像処理方法。
【請求項１１】
前記第４のステップでは、
前記不良発生位置より前記転送部の転送方向上流側の各位置における信号不良レベルとして、前記転送部の転送方向上流側に位置するOptical Black領域内で前記一方向に沿って前記不良発生位置に対向する位置における信号レベルを用い、
前記不良発生位置より前記転送部の転送方向下流側の各位置における信号不良レベルとして、前記転送部の転送方向下流側に位置するOptical Black領域内で前記一方向に沿って前記不良発生位置に対向する位置における信号レベルを用いる、
請求項１０の画像処理方法。
【請求項１２】
前記第４のステップでは、
前記不良発生位置を含みかつ前記一方向に平行な線上の信号レベルを、前記平行な線に隣接する並列線上の信号レベルを用いて補正する、
請求項１の画像処理方法。
【請求項１３】
前記第４のステップでは、
前記不良発生位置を含みかつ前記一方向に平行な線上の信号レベルを、前記並列線上において前記平行な線上の各位置に隣接する位置の信号レベルに置き換える、
請求項１２の画像処理方法。
【請求項１４】
撮像センサと、前記撮像センサの信号レベル不良を補正する画像処理器とを備え、
前記撮像センサは、二次元配置された撮像素子と、前記撮像素子に蓄積された電荷を当該撮像素子の配列面上の一方向に沿って転送する転送部とを備え、
前記画像処理器は、
前記転送部の電荷転送を所定の時間停止させたうえで、
電荷転送を所定時間停止したのち前記撮像素子の電荷読み出しを行うことなく前記転送部から電荷を転送し、
前記転送される電荷の信号レベルに基づいて、前記撮像センサの不良発生位置を特定し、
前記特定した不良発生位置を含みかつ前記一方向に平行な線上に生じる前記撮像センサの信号レベル不良を補正する、
カメラシステム。
【請求項１５】
前記画像処理器は、
電荷転送停止により前記転送部に蓄積される暗電流が検出可能な信号レベルに達するまで前記転送部による電荷転送を停止する、
請求項１４のカメラシステム。
【請求項１６】
前記画像処理器は、
前記転送部の電荷転送を停止させる時間的前に、前記撮像素子や前記転送部の電荷を消去する、
請求項１４のカメラシステム。
【請求項１７】
前記画像処理器は、
前記撮像センサ上の各位置の信号レベルと当該位置の周辺位置における信号レベルとの比較に基づいて、前記不良発生位置を特定する、
請求項１４のカメラシステム。
【請求項１８】
前記画像処理器は、
前記撮像センサ上の各位置の信号レベルと当該位置の周辺位置における信号レベルとの間の差分を算出し、算出した差分が予め設定した閾値より大きい場合にその位置を不良発生位置とする、
請求項１４のカメラシステム。
【請求項１９】
前記撮像センサは、前記一方向の両端それぞれにOptical Black領域を備えており、
前記画像処理器は、
前記不良発生位置を含みかつ前記一方向に平行な線上の各位置における信号レベルと、前記転送部の転送方向において前記不良発生位置より上流側に位置する前記Optical Black領域内で前記一方向に沿って前記不良発生位置に対向する位置における信号レベルとの比較に基づいて、前記撮像センサの信号レベル不良を補正する、
請求項１４のカメラシステム。
【請求項２０】
前記画像処理器は、
前記Optical Black領域内で前記一方向に沿って前記不良発生位置に対向する位置における信号レベルとして、複数位置の平均値を用いる、
請求項１９のカメラシステム。
【請求項２１】
前記画像処理器は、
前記Optical Black領域内で前記一方向に沿って前記不良発生位置に対向する位置における信号レベルを不良信号レベルとし、
前記不良発生位置を含みかつ前記一方向に平行な線上の各位置における信号レベルから前記不良信号レベルを減算することで、前記撮像センサの信号レベル不良を補正する、
請求項１９のカメラシステム。
【請求項２２】
前記画像処理器は、
前記Optical Black領域内で前記一方向に沿って前記不良発生位置に対向する位置における信号レベルとして、複数フレームにわたって加重平均された各位置の信号レベルを用いる、
請求項１９のカメラシステム。
【請求項２３】
前記画像処理器は、
実撮像を実施するフレームの時間的前にダミーフレームを設け、当該ダミーフレームにおいて、前記不良発生位置を含みかつ前記一方向に平行な線上に生じる前記信号レベル不良の不良程度を特定したうえで、実撮影フレームにおいて、前記不良発生位置を含みかつ前記一方向に平行な線上に生じる前記撮像センサの信号レベル不良を、前記特定した信号不良程度に基づいて補正する、
請求項１４のカメラシステム。
【請求項２４】
前記画像処理器は、
前記不良発生位置より前記転送部の転送方向上流側の各位置における信号不良レベルとして、前記転送部の転送方向上流側に位置するOptical Black領域内で前記一方向に沿って前記不良発生位置に対向する位置における信号レベルを用い、
前記不良発生位置より前記転送部の転送方向下流側の各位置における信号不良レベルとして、前記転送部の転送方向下流側に位置するOptical Black領域内で前記一方向に沿って前記不良発生位置に対向する位置における信号レベルを用いる、
請求項２３のカメラシステム。
【請求項２５】
前記画像処理器は、
前記不良発生位置を含みかつ前記一方向に平行な線上の信号レベルを、前記平行な線に隣接する並列線上の信号レベルを用いて補正する、
請求項１４のカメラシステム。
【請求項２６】
前記画像処理器は、
前記不良発生位置を含みかつ前記一方向に平行な線上の信号レベルを、前記並列線上において前記平行な線上の各位置に隣接する位置の信号レベルに置き換える、
請求項２５のカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像センサの表示不良補正を行う画像処理方法およびカメラシステムに関する。
【背景技術】
【０００２】
デジタルスチルカメラの高撮像素子化に伴い、撮像センサの製造工程は微細になってきている。微細プロセスで製造される撮像センサでは、垂直転送部の暗電流の影響が大きくなってくる。垂直転送部の暗電流の影響が大きいと、垂直転送時に垂直方向に線状の表示不良（表示上のキズ）が発生して画質が悪化する。表示不良補正（キズ補正）に関する先行技術文献として、特許文献１に示されるものがある。
【特許文献１】特開２００２−８４４６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に示される表示不良補正（キズ補正）の技術では、その補正精度は十分とはいえない。特に、線状の表示不良を精度高く補正することができない。
以上の従来技術の課題を解決するために、本発明は、線状の表示不良を精度高く補正することを目的とする。
【課題を解決するための手段】
【０００４】
上記課題を解決するために本発明は、二次元配置された撮像素子と、前記撮像素子に蓄積された電荷を当該撮像素子の配列面上の一方向に沿って転送する転送部とを備える撮像センサの信号レベル不良を補正する画像処理方法を、次のように構成する。すなわち、本発明は、前記転送部の電荷転送を所定の時間停止させる第１のステップと、電荷転送を所定時間停止したのち前記撮像素子の電荷読み出しを行うことなく前記転送部から電荷を転送する第２のステップと、前記第２のステップで転送される電荷の信号レベルに基づいて、前記撮像センサの不良発生位置を特定する第３のステップと、前記第３のステップで特定された不良発生位置を含みかつ前記一方向に平行な線上に生じる前記撮像センサの信号レベル不良を補正する第４のステップとを含む。
【０００５】
また、本発明のカメラシステムは、撮像センサと、前記撮像センサの信号レベル不良を補正する画像処理器とを備える。前記撮像センサは、二次元配置された撮像素子と、前記撮像素子に蓄積された電荷を当該撮像素子の配列面上の一方向に沿って転送する転送部とを備える。前記画像処理器は、前記転送部の電荷転送を所定の時間停止させたうえで、電荷転送を所定時間停止したのち前記撮像素子の電荷読み出しを行うことなく前記転送部から電荷を転送し、前記転送される電荷の信号レベルに基づいて、前記撮像センサの不良発生位置を特定し、前記特定した不良発生位置を含みかつ前記一方向に平行な線上に生じる前記撮像センサの信号レベル不良を補正する。
【発明の効果】
【０００６】
本発明による表示不良補正を行うことにより撮像センサで発生した線状の表示不良を精度高く補正することができる。
【発明を実施するための最良の形態】
【０００７】
本発明を実施するための最良の形態について以下に説明する、なお、以下で説明する実施形態はあくまで一例に過ぎず、本発明の趣旨を変えない範囲で改変され得ることは言うまでもない。例えば、以下の説明は全て垂直方向に沿って生じる表示不良（表示キズ）を例にとって説明しているが、撮像センサの駆動方向によっては水平方向に沿って生じる表示不良においても本発明は同様に実施できる。
【０００８】
図１は本発明のデジタルカメラシステムの全体構成図である。図１において、撮像センサ１０１は被写体の撮像を行って画像信号を生成したうえで、その画像信号をＤＳＰ（Digital signal Processor）１０２に出力する。ＤＳＰ１０２は画像信号をモニタ装置で表示可能となるように信号処理して外部（図示しないモニタ装置や記録装置等）に出力する。本実施形態では、ＤＳＰ１０２から画像処理器の一例が構成される。ＤＳＰ１０２はマイクロコンピュータ等から構成される制御器１０３に制御情報を出力する。制御器１０３はＤＳＰ１０２から出力される制御情報に応じてタイミングジェネレータ１０４を制御する。タイミングジェネレータ１０４は撮像センサ１０１の駆動タイミングを制御するタイミング制御信号を生成して、そのタイミング制御信号を撮像センサ１０１に供給する。撮像センサ１０１は、供給されるタイミング制御信号に基づいて撮像処理を行う。
【０００９】
図２は撮像センサ１０１の電荷転送に関する図である。撮像センサ１０１は２次元状に配置された複数の撮像素子Ｐ１〜Ｐｍ（ｍは任意の自然数）を備える。撮像素子Ｐ１〜Ｐｍはフォトダイオード等から構成されており、撮像時に電荷Ｄ１〜Ｄｍを蓄積可能となっている。撮像素子Ｐ１〜Ｐｍ各々には、撮像センサ１０１の素子面の一方向（例えば、垂直方向）に沿った各撮像素子配置ライン毎に転送部１０５が設けられている。以下、この転送部１０５を、垂直方向に沿って配置されていることを前提にして垂直転送部１０５という。各撮像素子配置ラインの撮像素子Ｐ１〜Ｐｎ（ｎは任意の自然数であってｎ＜ｍ）のグループでは、撮像タイミング毎に電荷蓄積が完了すると垂直転送部１０５に電荷を転送する。図２では、一つの撮像素子配置ラインの撮像素子Ｐ１〜Ｐｎと転送部１０５との構成が取り出されて表示されている。しかしながら、実際の撮像センサ１０１では、このような構成が多数並列配置されてｍ個の撮像素子Ｐ１〜Ｐｍからなる撮像センサ１０１が構成されている。
【００１０】
図２において撮像素子Ｐ１の電荷Ｄ１は垂直転送部１０５の電荷Ｄ１’に、撮像素子Ｐ２の電荷Ｄ２は垂直転送部１０５の電荷Ｄ２’に、撮像素子Ｐ３の電荷Ｄ３は垂直転送部１０５の電荷Ｄ３’に、撮像素子Ｐｎの電荷Ｄｎは垂直転送部１０５の電荷Ｄｎ’にそれぞれ対応している。垂直転送部１０５は垂直方向にＤｎ’,〜Ｄ３’,Ｄ２’,Ｄ１’の順に電荷を転送する。
【００１１】
ここで、垂直転送部１０５に何かしらの不良が生じてその暗電流のレベルが上昇した場合には、その影響が順次転送されてその垂直転送部１０５に接続された撮像素子Ｐ１〜Ｐｎの全ての出力電荷に影響を与える。具体的には垂直転送部１０５から出力される各撮像素子Ｐ１〜Ｐｎの電荷の信号レベルを上昇させる。そのため、表示画面上において、一方向（この例では垂直方向）に沿って線状の白色表示不良が発生する。
【００１２】
（表示不良発生位置の位置検出方法）
このように垂直転送部１０５の不良は表示画面上において垂直方向の白色表示不良の原因となる。そこでまず、垂直転送部１０５の不良発生位置を特定する方法について説明する。
【００１３】
撮像センサ１０１による撮像開始時や撮像終了時に、撮像素子Ｐ１〜Ｐｍに蓄積された電荷Ｄ１’〜Ｄｍ’を全て掃き出す。すなわち、撮像素子Ｐ１〜Ｐｍや各垂直転送部１０５に蓄積された電荷Ｄ１’〜Ｄｍ’を全て消去する。ここで、Ｄｍ’は、撮像素子Ｐｍから出力される電荷である。
【００１４】
この処理は、不良垂直転送部の検出時においてノイズとなる電荷が垂直転送部１０５に蓄積される可能性が高い場合に有効となる。具体的には、長時間の撮像終了時において不良垂直転送部の位置を検出する場合には、不良垂直転送部の検出時においてノイズとなる電荷が撮像素子Ｐ１〜Ｐｍや各垂直転送部１０５に比較的多量に蓄積される場合がある。そのような場合であっても、撮像素子Ｐ１〜Ｐｍに蓄積される電荷Ｄ１’〜Ｄｍ’を全て消去することで上記不具合は解消される。
【００１５】
撮像素子Ｐ１〜Ｐｍの電荷Ｄ１’〜Ｄｍ’を全て消去したのち、撮像素子Ｐ１〜Ｐｍから各垂直転送部１０５への電荷の転送を比較的長時間停止させる。これにより各垂直転送部１０５に生じる暗電流を蓄積する。転送停止時間は、垂直転送部１０５における暗電流の蓄積量が十分に検出可能なレベルに達する時間長さに設定される。具体的には、１／３０秒程度が適当である。
【００１６】
そののち、撮像素子Ｐ１〜Ｐｍから電荷を読み出すことなく各垂直転送部１０５の転送処理を行うことで、撮像センサ１０１から画像信号を出力させる。
【００１７】
図３は、上記処理を実施した撮像センサ１０１の出力に基づいて作成される撮像画像の表示例を示す。図３に示すように、撮像素子Ｐ１〜Ｐｍから電荷が読み出されていないにもかかわらず、垂直転送部１０５の不良発生位置（Ｋ１,Ｋ２）では対応する画素位置での信号レベルが高くなる。このような垂直転送部１０５の出力特徴からみて、表示上の白レベルが高くなった画素位置では、その画素位置に対応する撮像センサ１０１の位置において、撮像素子Ｐ１〜Ｐｍではなく垂直転送部１０５に何らかの不良が生じていると判断できる。
【００１８】
このような垂直転送部１０５の不良の具象化処理に基づいて、垂直転送部１０５の不良を検出する。すなわち、上述した状態において撮像センサＰ１〜Ｐｍから出力される信号をＤＳＰ１０２に入力し、ＤＳＰ１０２において、各注目画素に対応する信号と、その注目画素の周辺に位置する画素に対応する信号との間の差分を算出する。ＤＳＰ１０２には、予め前記差分の閾値が記憶されている。ここで、閾値とは、これ以上前記差分が大きい場合には、その注目画素の信号を供給する垂直転送部１０５に何らかの不良が生じていると判断できる前記差分の境界値を示している。
【００１９】
ＤＳＰ１０２は、算定した前記差分と前記閾値とを比較し、算定した差分が閾値より大きい場合には、その出力を送ってきた垂直転送部１０５になんらかの不良が生じていると判定する。不良と判定する場合はその注目画素の位置を不良発生位置として記憶する。図３において、不良発生位置Ｋ１の画素が周辺画素に比べて格段に明るいために不良発生位置として判定される。そのため、不良発生位置Ｋ１のアドレスＸ１,Ｙ１が図示しないレジスタなどに記憶される。同様に不良発生位置Ｋ２についても、アドレスＸ２,Ｙ２が図示しないレジスタなどに記憶される。
（不良発生位置における不良信号レベルが線上で一定の場合の表示不良の補正方法）
次に位置が特定された不良発生位置における表示不良の補正の方法について説明する。撮像センサ１０１には、図１に示すように、有効領域Ａ２の他、通常、Optical Blackレベルを判定するためのOptical Black領域Ａ１，Ａ３と呼ばれる撮像素子領域が設けられている。Optical Black領域Ａ１，Ａ３は、通常、有効領域Ａ２の垂直方向両端に設けられている。撮像センサ１０１では、Optical Black領域Ａ１，Ａ３に光が当たらないように構成されている。撮像センサ１０１は、Optical Black領域Ａ１，Ａ３領域の信号レベルをオフセットレベルとして用いることで、Optical Blackレベルを判定している。
【００２０】
本発明は、モニタ駆動モードにおいて、このOptical Black領域Ａ１，Ａ３を用いて垂直転送部１０５の不良に起因する表示不良を補正する。すなわち、Optical Black領域Ａ１，Ａ３は光が当たらないためにその信号レベルは、垂直転送部１０５の不良によって上昇する垂直転送部１０５の信号レベル（暗電流レベル）と同等であると考えられる。本発明では、このことを利用して次のように信号処理する。
【００２１】
不良が生じていると判定した垂直転送部１０５から転送される画像信号から、その垂直転送部１０５のOptical Black領域Ａ１，Ａ３における信号レベルを減算することで、その垂直転送部１０５に出力レベルを補正する。
【００２２】
以下、その補正方法について、図４を参照してさらに詳細に説明する。図４は、本発明のカメラシステムより作成される映像の表示画面例である。図４では、有効画素領域Ａ２’の両端にOptical Black画素領域Ａ１’,Ａ３’が設けられる。
【００２３】
Optical Black画素領域Ａ１’は、有効画素領域Ａ２’に対して垂直転送部１０５の転送方向（垂直アドレス）の上流側、すなわち有効画素領域Ａ２’より時間的に先に転送される画素領域であって表示画面上の上側に位置する。Optical Black画素領域Ａ３’は、有効画素領域Ａ２’に対して垂直転送部１０５の転送方向（垂直アドレス）の下流側、すなわち有効画素領域Ａ２’より時間的に後に転送される画素領域であって表示画面上の下側に位置する。
【００２４】
なお、Optical Black画素領域Ａ１’は、撮像センサ１０１のOptical Black領域Ａ１からの信号に基づいて生成される画素領域（画面領域）であり、有効画素領域Ａ２’は、撮像センサ１０１の有効領域Ａ２からの信号に基づいて生成される画素領域（画面領域）であり、Optical Black画素領域Ａ３’は、撮像センサ１０１のOptical Black領域Ａ３から出力される画像信号に基づいて生成される画素領域（画面領域）である。
【００２５】
図３に示す不良発生位置Ｋ１,Ｋ２と同じ水平アドレス（Ｘアドレス）に位置する画素群をキズ画素群Ｓ１,Ｓ２と称す。キズ画素群Ｓ１,Ｓ２は、それぞれ同一の不良垂直転送部から出力される画像信号から生成される。キズ画素群Ｓ１,Ｓ２の中で、Optical Black画素領域Ａ１’に位置する画素をＬ１,Ｌ２と称す。
【００２６】
モニタ駆動モードとは被写体の画像を連続的にモニタ装置に出力するモードであり、その際、各フレームは同一の露光時間で駆動される。そのため、モニタ駆動モードでは、各フレームで垂直転送部１０５に起因する表示不良の程度（キズレベル）は同等であると考えられる。また、モニタ駆動モードでは、フレーム間で垂直転送部１０５の暗電流がリセットされない。そのため、不良垂直転送部では、不良電荷が各フレームにわたって長期間保持される結果、不良垂直転送部に起因する表示不良（直線状白キズ）は、垂直方向に同一信号レベルとなる。
【００２７】
以上の前提に基づき、不良発生位置Ｋ１,Ｋ２より垂直アドレス上流側に位置するOptical Black画素領域Ａ１’において垂直転送部１０５の不良発生位置Ｋ１,Ｋ２と同じ水平アドレス（Ｘアドレス）に位置する画素Ｌ１,Ｌ２を特定し、画素Ｌ１,Ｌ２の信号レベルを検出する。検出した画素Ｌ１,Ｌ２の信号レベルを、キズ画素群Ｓ１,Ｓ２の表示不良レベル（暗電流レベル）と見なす。
【００２８】
次に、キズ画素群Ｓ１の信号レベルから画素Ｌ１の信号レベルを減算することにより、キズ画素群Ｓ１における出力レベル補正（表示不良補正）を行う。同様に、キズ画素群Ｓ２の信号レベルから画素Ｌ２の信号レベルを減算することにより、画素群Ｓ２における出力レベル補正（表示不良補正）を行う。これにより、モニタ駆動モードでの出力レベル補正（表示不良補正）が実施される。
【００２９】
ここで、不良発生位置Ｋ１,Ｋ２より垂直アドレス方向上側に位置する画素Ｌ１,Ｌ２は、不良発生位置Ｋ１,Ｋ２より垂直転送部１０５の転送方向上流側にあり、その信号レベルの測定は、不良発生位置Ｋ１,Ｋ２のレベル測定より時間的に前になる。そのため、表示不良レベルの特定が画素作成より時間的前になって特に問題とはならない。
【００３０】
なお、Optical Black画素領域Ａ１’が垂直方向に複数画素ある場合には、その複数画素の平均をとって表示不良レベルとしても良い。このようにして平均をとることにより、画素間の微妙なばらつきを軽減でき、より適切な表示不良補正を行うことが可能となる。また、不良発生位置Ｋ１,Ｋ２のアドレス特定、および表示不良レベルの算定は、ＤＳＰ１０２ではなく制御器１０３により実施してもよい。
【００３１】
（表示不良発生位置の上下で表示不良レベルが異なる場合の表示不良補正方法）
例えば、静止画撮影を行う場合などでは、垂直転送部１０５の暗電流が一度クリアされる。そのような場合、暗電流が消去された以降のフレームでは不良発生位置の上下（垂直アドレスが不良発生位置より上側と下側）との間で表示不良レベルが相違する。すなわち、暗電流が消去された直後のフレームにおいては、不良発生位置より垂直アドレス方向上流側の画素位置では、表示不良レベルは低くなる一方、下流側では、上流側より表示レベルが高くなる。図５はこのような場合の撮像画像を示している。キズ画素群Ｓ１,Ｓ２において、不良発生位置Ｋ１,Ｋ２より垂直アドレス方向上側（上流側）に位置する上側キズ画素群Ｓ３,Ｓ５と、不良発生位置Ｋ１,Ｋ２より垂直アドレス方向下側（下流側）に位置する下側キズ画素群Ｓ４,Ｓ６とでは、表示不良レベル（キズレベル）が異なる。
【００３２】
次に、このような表示不良レベルが不良発生位置の上下で相違する場合の補正方法について説明する。
（第１の補正方法）
本撮像されるフレームの時間的前にダミーフレームを追加し、ダミーフレームの信号レベルを用いて補正を行う。以下、説明する。
【００３３】
図６に垂直同期信号（ＶＤ）のタイミングチャートを示す。図６に示すように、本フレームｆ２の読み出し処理を行う時間的前に、撮像素子Ｐ１〜Ｐｍから電荷を読み出すことなく撮像センサ１０１から上述したダミーフレームｆ１の画像信号を出力させる。ダミーフレームｆ１は、本フレームｆ２の時間的直前において設定される。
【００３４】
この状態においてダミーフレームｆ１の上側キズ画素群Ｓ３,Ｓ５の表示不良レベルＲ３,Ｒ５および下側キズ画素群Ｓ４,Ｓ６の表示不良レベルＲ４,Ｒ６を測定してレジスタなどに記憶する。具体的には、次のように測定する。
【００３５】
図７に示すように、上側キズ画素群Ｓ３の表示不良レベルＲ３の測定では、不良発生位置Ｋ１より垂直アドレス上流側に位置するOptical Black画素領域Ａ１’において不良発生位置Ｋ１と同じ水平アドレス（Ｘアドレス）に位置する画素Ｌ３を特定し、特定した画素Ｌ３の信号レベルを検出する。そして、検出した画素Ｌ３の信号レベルを、キズ画素群Ｓ３の表示不良レベル（暗電流レベル）Ｒ３として記憶する。
【００３６】
上側キズ画素群Ｓ５の表示不良レベルＲ５の測定では、不良発生位置Ｋ２より垂直アドレス上流側に位置するOptical Black画素領域Ａ１’において不良発生位置Ｋ２と同じ水平アドレス（Ｘアドレス）に位置する画素Ｌ５を特定し、特定した画素Ｌ５の信号レベルを検出する。そして、検出した画素Ｌ５の信号レベルを、キズ画素群Ｓ５の表示不良レベル（暗電流レベル）Ｒ５として記憶する。
【００３７】
一方、下側キズ画素群Ｓ４の表示不良レベルＲ４の測定では、不良発生位置Ｋ１より垂直アドレス下流側に位置するOptical Black画素領域Ａ３’において不良発生位置Ｋ１と同じ水平アドレス（Ｘアドレス）に位置する画素Ｌ４を特定し、画素Ｌ４の信号レベルを検出する。検出した画素Ｌ４の信号レベルを、キズ画素群Ｓ４の表示不良レベル（暗電流レベル）Ｒ４として記憶する。
【００３８】
下側キズ画素群Ｓ６の表示不良レベルＲ６の測定では、不良発生位置Ｋ２より垂直アドレス下流側に位置するOptical Black画素領域Ａ３’において不良発生位置Ｋ２と同じ水平アドレス（Ｘアドレス）に位置する画素Ｌ６を特定し、画素Ｌ６の信号レベルを検出する。そして、検出した画素Ｌ６の信号レベルを、キズ画素群Ｓ６の表示不良レベル（暗電流レベル）Ｒ６として記憶する。
【００３９】
ここで、不良発生位置Ｋ１,Ｋ２より垂直アドレス方向下側に位置する画素Ｌ４,Ｌ６は、不良発生位置Ｋ１,Ｋ２より垂直転送部１０５の転送方向下流側にあり、その信号レベルの測定は、不良発生位置Ｋ１,Ｋ２のレベル測定より時間的に後になる。しかしながら、この測定を行うフレームは本フレームｆ１ではなく、それより時間的前となるダミーフレームｆ１であって、このダミーフレームｆ１では、表示不良レベルＲ３〜Ｒ６の検出を行うだけであり、ダミーフレームｆ１ではリアルタイムに表示不良補正を行わない。そのため、特に問題とはならない。
【００４０】
不良発生位置Ｋ１の垂直アドレス上側に位置する画素群Ｓ３では、各画素の信号レベルから表示不良レベルＲ３を減算することにより、表示不良補正を行う。不良発生位置Ｋ１の垂直アドレス下側に位置する画素群Ｓ４では、各画素の信号レベルから表示不良レベルＲ４を減算することにより表示不良補正を行う。不良発生位置Ｋ２の垂直アドレス上側に位置する画素群Ｓ５では、各画素の信号レベルから表示不良レベルＲ５を減算することにより表示不良補正を行う。不良発生位置Ｋ２の垂直アドレス下側に位置する画素群Ｓ６では、各画素の信号レベルから表示不良レベルＲ６を減算することにより表示不良補正を行う。
【００４１】
なお、ダミーフレームｆ１において算定する表示不良レベルＲ３〜Ｒ６は１つの画素の信号レベルとする他、複数画素の平均値を表示不良レベルとして設定してもよい。平均値とすることにより画素間の微妙なばらつきを低減したより適切な補正が可能となる。
（第２の補正方法）
この補正方法では、ダミーフレームｆ１を用いることなく本フレームｆ２のデータを用いてに次のように補正する。
【００４２】
本フレームｆ２において、表示不良が発生している各画素の水平アドレス（Ｘアドレス）方向に隣接する両画素の信号レベルの平均値で算出し、算出した平均値をキズ発生撮像素子の信号レベルとすることで表示不良補正を行う。つまり、不良発生位置を含みかつ垂直方向に平行な線上の画素の信号レベルを、この平行な線に隣接する並列線上において、表示不良画素に隣接する画素の信号レベルを用いて補正する。このような表示不良補正は、キズ画素郡Ｓ１,Ｓ２の全撮像素子について実施してもよい。
【００４３】
（キズ補正方法の変形例）
上述の実施形態においては、１フレーム内でのOptical Black領域Ａ１,Ａ３（Optical Black画素領域Ａ１’,Ａ３’）の信号のみを用いて表示不良レベルを求めていた。しかしながら、あるフレームに特に大きなランダムノイズが発生した場合等では、１フレーム内でのOptical Black領域Ａ１,Ａ３（Optical Black画素領域Ａ１’,Ａ３’）の信号のみを用いてキズ補正しても精度の高い補正を行うことができない場合がある。また、撮像センサ１０１が強い光源に晒された場合にもOptical Black領域Ａ１,Ａ３（Optical Black画素領域Ａ１’,Ａ３’）にスミアが発生するために適切な表示不良補正を行うことができない場合もある。
【００４４】
このような場合、複数のフレームにわたってOptical Black領域（Optical Black画素領域）の信号を加重平均することで表示不良レベルにする。このような場合、図８に示すように、巡回型加算フィルタを用いてOptical Black領域（Optical Black画素領域）の信号を加重平均する。なお、以下に説明される巡回型加算フィルタは例えば、ＤＳＰ１０２に組み込まれる。
【００４５】
以下、巡回型加算フィルタを用いた補正方法を具体的に説明する。図８において、Ａ６は、撮像センサ１０１の有効素子領域である。Ａ５は、表示不良レベルの検出を行う撮像センサ１０１のOptical Black領域である。８０４は、Optical Black領域Ａ５から出力される画像信号に加算処理を加える加算器である。８０１は、加算器８０４の出力を蓄積するバッファである。８０２は、バッファ８０１の出力からOptical Black領域Ａ５の画像信号を減算する減算器である。８０３は、減算器８０３の出力に乗算処理を加える乗算器である。なお、加算器８０４は、Optical Black領域Ａ５の画像信号に乗算器８０３の出力を加算している。８０５は、有効素子領域Ａ６から出力される画像信号から加算器８０４の出力を減算する減算器である。
【００４６】
Optical Black領域Ａ５から出力される画像信号の信号レベルをＸとする。バッファ８０１に蓄積される信号レベルをＹとする。すると、減算器８０２の出力はＹ−Ｘとなる。ここで、乗算器８０３の巡回係数をＫとする。すると、乗算器８０３の出力はＫ×（Ｙ−Ｘ）となる。加算器８０４はOptical Black領域Ａ５の信号レベルＸと乗算器８０３の出力Ｋ×（Ｙ−Ｘ）を加算する。すると加算器８０４の出力は、Ｋ×Ｙ＋（１−Ｋ）×Ｘとなる。このように、加算器８０４からは、信号レベルＸとバッファ８０１の蓄積値Ｙとを加重平均した値が出力される。
【００４７】
ＤＳＰ１０２はこの加算器８０４の出力を表示不良レベルとして、有効素子領域Ａ６の信号に対して補正を行う。すなわち、減算器８０５は不良発生位置と同一の水平アドレスのキズ画素群において、加算器８０４で算出された表示不良レベルを、画像信号から減算する。なお、この加算器８０４の出力は逐次バッファ８０１に蓄積されていく。したがって、加算器８０４は前フレームまでの加重平均された表示不良レベルの値と、現フレームの表示不良レベルの値とを加重平均していくことになる。
【００４８】
なお、巡回係数Ｋは制御器１０３によって適宜設定することが可能であり、想定されるランダムノイズやスミアによって変化させることができる。ここで巡回係数Ｋが大きいほど現フレームより前フレームのデータに重みがおかれ、巡回係数Ｋが小さいほど前フレームより現フレームのデータに重みがおかれることになる。
【００４９】
以上のようにして表示不良レベルを算出することにより、フレーム毎のばらつきまで考慮した表示不良補正を行うことが可能となる。なお、不良発生位置の垂直アドレス方向の上下で表示不良レベルが異なる場合等は、すでに説明したダミーフレームｆ１を用いる方法などを組み合わせることが可能であることは言うまでもない。
【００５０】
さらに、上述したように、大きなランダムノイズやスミアが発生すると、Optical Black領域の信号を表示不良レベルの算出に用いる場合のみならず、通常通りのOptical Blackレベルの算出に用いる場合でも悪影響が生じる。したがって、図８に示す巡回型加算フィルタを通常のOptical Blackレベルの算出などにも用いても良い。そうすることにより、特にモニタ駆動モードにおいて、フレーム間のばらつきのない高品質の画像を生成することが可能となる。
【産業上の利用可能性】
【００５１】
本発明にかかる垂直キズ補正は、カメラ撮像の画質改善に有効であり、デジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ、カメラ付き携帯等）に利用可能である。
【図面の簡単な説明】
【００５２】
【図１】本発明のカメラシステムの全体構成を示す図である。
【図２】本発明の撮像センサの電荷転送を示す図である。
【図３】本発明の撮像センサからの撮像例を示す図である。
【図４】本発明の垂直キズ補正方法を説明する図である。
【図５】本発明の撮像センサからの撮像例を示す図である。
【図６】本発明のタイミングチャートである。
【図７】本発明の垂直キズ補正方法を説明する図である。
【図８】本発明の巡回型加算フィルタを示す図である。
【符号の説明】
【００５３】
１０１  撮像センサ
１０２  ＤＳＰ
１０３  制御器
１０４  タイミングジェネレータ
１０５  垂直転送部
８０１  バッファ
８０２  減算器
８０３  乗算器
８０４  加算器
８０５  減算器
Ｄ１〜Ｄｍ  電荷
Ｐ１〜Ｐｍ  撮像素子
【図１】
2005354670.tif 000003
【図２】
2005354670.tif 000004
【図３】
2005354670.tif 000005
【図４】
2005354670.tif 000006
【図５】
2005354670.tif 000007
【図６】
2005354670.tif 000008
【図７】
2005354670.tif 000009
【図８】
2005354670.tif 000010