(57)【要約】【課題】画像が不自然にならないようにスミアを抑制する。【解決手段】オプティカルブラック部のＯＢピクセルデータ値Ｖｏｂをスミア判定閾値Ｖｔｈｏｂと比較することで、スミアの有無を判定し、スミアが検出された場合には、飽和電圧Ｖｓａｔとして、通常のリニア領域２１ａのリニア領域飽和電圧値ＶＬの代りに、拡張領域２１ｂの拡張領域飽和電圧値Ｖｅｘを設定して画像処理を行う。飽和電圧Ｖｓａｔが拡張領域飽和電圧値Ｖｅｘまで拡張されているので、アナログ出力電圧信号２１に占めるスミア成分Ｖｓの比率が低下し、スミアが目立たなくなる。【選択図】  図４
2007158747.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から画像データを読み出す第１工程と、
前記画像データからスミアの有無を検出する第２工程と、
前記スミアが検出された場合に、前記撮像素子の飽和電圧の値を、前記スミアが検出されない場合の第１電圧値よりも大きな第２電圧値に設定する第３工程と、
を含むことを特徴とする固体撮像装置の制御方法。
【請求項２】
請求項１記載の固体撮像装置の制御方法において、
前記第２工程では、前記撮像素子におけるオプティカルブラック部からの前記画像データとしての出力電圧が所定の閾値を超えたか否かに基づいて、前記スミアの有無を判別することを特徴とする固体撮像装置の制御方法。
【請求項３】
請求項１記載の固体撮像装置の制御方法において、
前記第２工程では、前記撮像素子におけるオプティカルブラック部からの前記画像データとしての出力電圧が所定の閾値を超えたか否かに基づいて、前記スミアの有無を判別し、
前記第３工程では、前記オプティカルブラック部から出力される前記出力電圧の大きさに応じて、前記飽和電圧として設定される前記第２電圧値を変化させることを特徴とする固体撮像装置の制御方法。
【請求項４】
請求項１記載の固体撮像装置の制御方法において、
前記第１電圧値は、前記撮像素子に対する露光量と当該撮像素子からの前記画像データとしての出力電圧がほぼ比例するリニア領域の上限の前記出力電圧に対応する値であり、
前記第２電圧値は、前記リニア領域を超えた拡張領域内における前記出力電圧に設定されることを特徴とする固体撮像装置の制御方法。
【請求項５】
請求項１記載の固体撮像装置の制御方法において、
さらに、前記飽和電圧に対する前記出力電圧の比として当該出力電圧に対応する画素の輝度または彩度を決定する第４工程を含むことを特徴とする固体撮像装置の制御方法。
【請求項６】
光を電圧に変換する撮像手段と、前記電圧に基づいて画像を構成する画像処理手段と、を含む固体撮像装置であって、
前記画像処理手段は、前記撮像手段におけるオプティカルブラック部から出力される前記電圧が所定の閾値を超過するか否かに基づいてスミアの有無を判別し、前記スミアが検出された場合に、前記撮像素子の飽和電圧の値を、前記スミアが検出されない場合の第１電圧値よりも大きな第２電圧値に設定する機能を含むことを特徴とする固体撮像装置。
【請求項７】
請求項６記載の固体撮像装置において、
前記画像処理手段は、前記オプティカルブラック部から出力される前記出力電圧の大きさに応じて、前記飽和電圧として設定される前記第２電圧値を変化させることを特徴とする固体撮像装置。
【請求項８】
請求項６記載の固体撮像装置において、
前記第１電圧値は、前記撮像手段に対する露光量と当該撮像素子からの出力電圧がほぼ比例するリニア領域の上限の前記出力電圧に対応する値であり、
前記第２電圧値は、前記リニア領域を超えた拡張領域内に設定されることを特徴とする固体撮像装置。
【請求項９】
請求項８記載の固体撮像装置において、
前記画像処理手段は、前記飽和電圧に対する前記出力電圧の比として当該出力電圧に対応する画素の輝度または彩度を決定することを特徴とする固体撮像装置。
【請求項１０】
撮像素子と、前記撮像素子から出力される画像データを処理するコンピュータとを含む固体撮像装置を制御する画像処理プログラムであって、
前記コンピュータに、
前記撮像素子から画像データを読み出す第１工程と、
前記画像データからスミアの有無を検出する第２工程と、
前記スミアが検出された場合に、前記撮像素子の飽和電圧の値を、前記スミアが検出されない場合の第１電圧値よりも大きな第２電圧値に設定する第３工程と、
を実行させることを特徴とする画像処理プログラム。
【請求項１１】
請求項１０記載の画像処理プログラムにおいて、
前記第２工程では、前記撮像素子におけるオプティカルブラック部からの前記画像データとしての出力電圧が所定の閾値を超えたか否かに基づいて、前記スミアの有無を判別することを特徴とする画像処理プログラム。
【請求項１２】
請求項１０記載の画像処理プログラムにおいて、
前記第２工程では、前記撮像素子におけるオプティカルブラック部からの前記画像データとしての出力電圧が所定の閾値を超えたか否かに基づいて、前記スミアの有無を判別し、
前記第３工程では、前記オプティカルブラック部から出力される前記出力電圧の大きさに応じて、前記飽和電圧として設定される前記第２電圧値を変化させることを特徴とする画像処理プログラム。
【請求項１３】
請求項１０記載の画像処理プログラムにおいて、
前記第１電圧値は、前記撮像素子に対する露光量と当該撮像素子からの前記画像データとしての出力電圧がほぼ比例するリニア領域の上限の前記出力電圧に対応する値であり、
前記第２電圧値は、前記リニア領域を超えた拡張領域内における前記出力電圧に設定されることを特徴とする画像処理プログラム。
【請求項１４】
請求項１０記載の画像処理プログラムにおいて、
さらに、前記コンピュータに前記飽和電圧に対する前記出力電圧の比として当該出力電圧に対応する画素の輝度または彩度を決定する処理を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置の制御方法、固体撮像装置、画像処理プログラムに関し、たとえば、スミア等のノイズ対策に適用して有効な技術にする。
【背景技術】
【０００２】
たとえば、撮像素子としてＣＣＤを用いる固体撮像装置では、画像ノイズの一つとして、撮像エリアに非常に高輝度の被写体が存在した場合、垂直転送中に光電変換される電荷量が無視できなくなり、高輝度の被写体を中心に縦方向に画面を縦断する白っぽい筋が現れる、いわゆるスミアが知られている。
【０００３】
このスミアの対策として、従来、特許文献１には、撮像素子内の垂直ＯＢ（オプティカルブラック）画素の出力を用いてスミア成分を検出し、このスミア成分と通常の画素信号の差を取ってスミアの除去を行う技術が開示されている。
【０００４】
しかし、上述の従来の方法では、ＯＢ画素部の出力（電荷）に基づいてスミアを検出しているため、ＯＢ画素部のＳ／Ｎ比の影響によりにより、スミア成分の検出精度が劣化した場合には、スミア除去後の画像が不自然になってしまうという懸念があった。
【０００５】
すなわち、たとえば、図１０のように高輝度の被写体（この場合、点灯した蛍光灯）の背景に、スミア成分の検出精度のばらつきによる縦すじのノイズが現れる。
【特許文献１】特開２００１−０２４９４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、画像が不自然にならないようにスミアを抑制することが可能な技術を提供することにある。
本発明の他の目的は、可能な限り色のキャリアバランスを保ちつつスミアを抑制することが可能な技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の第１の観点は、撮像素子から画像データを読み出す第１工程と、
前記画像データからスミアの有無を検出する第２工程と、
前記スミアが検出された場合に、前記撮像素子の飽和電圧の値を、前記スミアが検出されない場合の第１電圧値よりも大きな第２電圧値に設定する第３工程と、
を含む固体撮像装置の制御方法を提供する。
【０００８】
本発明の第２の観点は、第１の観点に記載の固体撮像装置の制御方法において、
前記第２工程では、前記撮像素子におけるオプティカルブラック部からの前記画像データとしての出力電圧が所定の閾値を超えたか否かに基づいて、前記スミアの有無を判別する固体撮像装置の制御方法を提供する。
【０００９】
本発明の第３の観点は、第１の観点に記載の固体撮像装置の制御方法において、
前記第２工程では、前記撮像素子におけるオプティカルブラック部からの前記画像データとしての出力電圧が所定の閾値を超えたか否かに基づいて、前記スミアの有無を判別し、
前記第３工程では、前記オプティカルブラック部から出力される前記出力電圧の大きさに応じて、前記飽和電圧として設定される前記第２電圧値を変化させる固体撮像装置の制御方法を提供する。
【００１０】
本発明の第４の観点は、第１の観点に記載の固体撮像装置の制御方法において、
前記第１電圧値は、前記撮像素子に対する露光量と当該撮像素子からの前記画像データとしての出力電圧がほぼ比例するリニア領域の上限の前記出力電圧に対応する値であり、
前記第２電圧値は、前記リニア領域を超えた拡張領域内における前記出力電圧に設定される固体撮像装置の制御方法を提供する。
【００１１】
本発明の第５の観点は、第１の観点に記載の固体撮像装置の制御方法において、
さらに、前記飽和電圧に対する前記出力電圧の比として当該出力電圧に対応する画素の輝度または彩度を決定する第４工程を含む固体撮像装置の制御方法を提供する。
【００１２】
本発明の第６の観点は、光を電圧に変換する撮像手段と、前記電圧に基づいて画像を構成する画像処理手段と、を含む固体撮像装置であって、
前記画像処理手段は、前記撮像手段におけるオプティカルブラック部から出力される前記電圧が所定の閾値を超過するか否かに基づいてスミアの有無を判別し、前記スミアが検出された場合に、前記撮像素子の飽和電圧の値を、前記スミアが検出されない場合の第１電圧値よりも大きな第２電圧値に設定する機能を含む固体撮像装置を提供する。
【００１３】
本発明の第７の観点は、第６の観点に記載の固体撮像装置において、
前記画像処理手段は、前記オプティカルブラック部から出力される前記出力電圧の大きさに応じて、前記飽和電圧として設定される前記第２電圧値を変化させる固体撮像装置を提供する。
【００１４】
本発明の第８の観点は、第６の観点に記載の固体撮像装置において、
前記第１電圧値は、前記撮像手段に対する露光量と当該撮像素子からの出力電圧がほぼ比例するリニア領域の上限の前記出力電圧に対応する値であり、
前記第２電圧値は、前記リニア領域を超えた拡張領域内に設定される固体撮像装置を提供する。
【００１５】
本発明の第９の観点は、第８の観点に記載の固体撮像装置において、
前記画像処理手段は、前記飽和電圧に対する前記出力電圧の比として当該出力電圧に対応する画素の輝度または彩度を決定する固体撮像装置を提供する。
【００１６】
本発明の第１０の観点は、撮像素子と、前記撮像素子から出力される画像データを処理するコンピュータとを含む固体撮像装置を制御する画像処理プログラムであって、
前記コンピュータに、
前記撮像素子から画像データを読み出す第１工程と、
前記画像データからスミアの有無を検出する第２工程と、
前記スミアが検出された場合に、前記撮像素子の飽和電圧の値を、前記スミアが検出されない場合の第１電圧値よりも大きな第２電圧値に設定する第３工程と、
を実行させる画像処理プログラムを提供する。
【００１７】
本発明の第１１の観点は、第１０の観点に記載の画像処理プログラムにおいて、
前記第２工程では、前記撮像素子におけるオプティカルブラック部からの前記画像データとしての出力電圧が所定の閾値を超えたか否かに基づいて、前記スミアの有無を判別する画像処理プログラムを提供する。
【００１８】
本発明の第１２の観点は、第１０の観点に記載の画像処理プログラムにおいて、
前記第２工程では、前記撮像素子におけるオプティカルブラック部からの前記画像データとしての出力電圧が所定の閾値を超えたか否かに基づいて、前記スミアの有無を判別し、
前記第３工程では、前記オプティカルブラック部から出力される前記出力電圧の大きさに応じて、前記飽和電圧として設定される前記第２電圧値を変化させる画像処理プログラムを提供する。
【００１９】
本発明の第１３の観点は、第１０の観点に記載の画像処理プログラムにおいて、
前記第１電圧値は、前記撮像素子に対する露光量と当該撮像素子からの前記画像データとしての出力電圧がほぼ比例するリニア領域の上限の前記出力電圧に対応する値であり、
前記第２電圧値は、前記リニア領域を超えた拡張領域内における前記出力電圧に設定される画像処理プログラムを提供する。
【００２０】
本発明の第１４の観点は、第１０の観点に記載の画像処理プログラムにおいて、
さらに、前記コンピュータに前記飽和電圧に対する前記出力電圧の比として当該出力電圧に対応する画素の輝度または彩度を決定する処理を実行させる画像処理プログラムを提供する。
【００２１】
すなわち、通常はＣＣＤ等の撮像素子からの出力信号を取り扱う際に、画像データとして使用する出力電圧の範囲としては、撮像素子に対する露光量と撮像素子からの出力電圧がリニアな領域のみを用いるが、本発明の場合には、画像にスミアが検出された場合には、画像データとして使用する出力電圧の範囲をリニアではない領域まで広げ、見かけ上のスミアを抑制する。
【００２２】
すなわち、個々の画素の輝度や彩度は、個々の画素の出力電圧が取り得る最大の電圧幅（従来ではリニア領域の最大の電圧値に固定された飽和電圧）と、実際の出力電圧との比率によって決定される。
【００２３】
本発明では、このような個々の画素の処理の基準となる電圧を、スミアの有無に応じて動的に変化させ、画質に対するスミア成分の影響を低下させることで、スミアを抑止する。
【発明の効果】
【００２４】
本発明によれば、画像が不自然にならないようにスミアを抑制することができる。
また、可能な限り色のキャリアバランスを保ちつつスミアを抑制することができる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。
まず、本発明の原理について簡単に説明し、その後、実施の形態について説明する。
図１は、本発明の固体撮像装置の制御方法、固体撮像装置、画像処理プログラムの原理を説明する線図である。
【００２６】
図２は、本発明の固体撮像装置の制御方法、固体撮像装置、画像処理プログラムの原理を説明するグラフである。
図３は、本発明の一実施の形態である固体撮像装置の制御方法、固体撮像装置、画像処理プログラムの原理を説明する線図である。
【００２７】
図４は、本発明の一実施の形態である固体撮像装置の制御方法、固体撮像装置、画像処理プログラムの原理を説明するグラフである。
ＣＣＤ等の撮像素子１１における露光量と出力電圧（後述のアナログ出力電圧信号２１）の関係は、図１のようにある程度の露光量まではリニアになっているが、徐々にリニアではなくなってくる（非リニア領域）。非リニア領域まで使用して、画像を構成すると色のキャリアバランスが崩れ、正常な画像が作成できないため、通常はリニア領域のみを使用しています。
【００２８】
この画像を構成する際に使用する撮像素子１１の出力電圧領域の閾値は「飽和電圧」と呼ばれている。
また、スミアは撮像素子１１に照射する光が強ければ強い程、多くなるが、撮像素子１１の出力が飽和電圧に達していない場合は出力電圧も光りの強さにつれて増加するのでスミアは目立たない。
【００２９】
しかし、非常に明るい場所で撮影すると、図２のように、撮像素子１１の出力電圧（総電荷量）が飽和電圧を超え、スミア成分だけが増加し、スミアが目立つようになる。
そこで、本実施の形態では、スミアを目立たなくする手法として、スミア成分がある一定量を超えた場合は、飽和電圧をリニアではない領域まで使用する。
【００３０】
具体的には、一例として以下のような技術を採用する。
まず、図３のように撮像素子１１の出力電圧（後述のアナログ出力電圧信号２１）の領域をリニア領域２１ａ、拡張領域２１ｂ、無効領域２１ｃに分割する。
【００３１】
そして、スミアが発生している場合は、飽和電圧の範囲を撮像素子１１の出力電圧に従って拡張領域２１ｂまで広げる。
このような手法をとることにより、図４に例示されるように、作成した画像の見た目のスミアを抑制することができる。
【００３２】
すなわち、個々の画素の輝度や彩度は、飽和電圧をフルレンジとして、当該飽和電圧に対する当該画素の出力電圧の比率として算出される場合、飽和電圧を大きく設定することで、正味の画像成分ＶＧが切り捨てられる量が小さくなり、画像成分ＶＧに対するスミア成分Ｖｓの比率が相対的に小さくなり、スミアが目立たなくなる。
【００３３】
この場合、リニア領域２１ａを超過した画像成分ＶＧも画像作成に使用するため、キャリアバランスは、若干崩れるが、もともと、スミアが生じる高輝度の被写体の近傍は比較的画像が劣化するため、本実施の形態の手法を使用した方が、結果として良質の画像を得ることができる。
【００３４】
以下、本実施の形態の固体撮像装置の制御方法、固体撮像装置、画像処理プログラムについて、より詳細に説明する。
図５は、本発明の一実施の形態である固体撮像装置の制御方法および画像処理プログラムを実施する固体撮像装置の構成の一例を示すブロック図である。
【００３５】
図６は、本実施の形態の固体撮像装置を構成する固体撮像素子の構成の一例を示す概念図である。
図５に例示されるように、本実施の形態の固体撮像装置１０は、撮像素子１１、素子駆動部１２、ディジタル信号処理プロセッサ１３、ＣＰＵ１４、メモリ１５、バス１６、集光光学系１７を含んでいる。
【００３６】
撮像素子１１は、図６に例示されるように、複数のフォトダイオード１１ａ、トランスファゲート１１ｂ、垂直転送ＣＣＤ１１ｃ、水平転送ＣＣＤ１１ｄ、電荷／電圧変換部１１ｅを含んでいる。
【００３７】
フォトダイオード１１ａは、縦横に格子状に配列され、各々が、受光した光２０を、その光量に応じた電荷量に変換する。
トランスファゲート１１ｂは、フォトダイオード１１ａの列毎に配置され、フォトダイオード１１ａの電荷を垂直転送ＣＣＤ１１ｃに転送する動作を行う。
【００３８】
垂直転送ＣＣＤ１１ｃは、フォトダイオード１１ａの垂直方向の各列毎に設けられ、各列のフォトダイオード１１ａからトランスファゲート１１ｂを介して転送された電荷を、水平転送ＣＣＤ１１ｄの側に順次送り出す動作を行う。
【００３９】
水平転送ＣＣＤ１１ｄは、各列の垂直転送ＣＣＤ１１ｃから送られる電荷を列毎に順次、素子駆動部１２のアナログフロントエンド１２ｄに送り出す。
電荷／電圧変換部１１ｅは、個々のフォトダイオード１１ａから到来する電荷をアナログ出力電圧信号２１に変換して、アナログフロントエンド１２ｄに出力する。
【００４０】
トランスファゲート１１ｂ、垂直転送ＣＣＤ１１ｃおよび水平転送ＣＣＤ１１ｄの領域は遮光膜等により遮光されている。
また、縦横に格子状に配列された複数のフォトダイオード１１ａのうち、最外周の少なくとも１列（１行）は遮光されてオプティカルブラック部（画素）を構成している。そして、この遮光されたフォトダイオード１１ａから出力されるアナログ出力電圧信号２１は、オプティカルブラック部に対応したものである。
【００４１】
オプティカルブラック部以外のフォトダイオード１１ａが、撮像のための露光部（画素）となる。
縦方向の１列のフォトダイオード１１ａから垂直転送ＣＣＤ１１ｃおよび水平転送ＣＣＤ１１ｄを介してアナログフロントエンド１２ｄにシリアルに取り出される画像データとしてのアナログ出力電圧信号２１には、先頭部と後端部にオプティカルブラック部の画素に対応した画像データが位置し、その間に、露光部の画素に対応した画像データが位置することになる。
【００４２】
素子駆動部１２は、タイミング生成部１２ａ、垂直駆動ドライバ１２ｂ、水平駆動ドライバ１２ｃ、アナログフロントエンド１２ｄを含んでいる。
タイミング生成部１２ａは、ディジタル信号処理プロセッサ１３からの指令に基づいて垂直駆動ドライバ１２ｂ、水平駆動ドライバ１２ｃ、アナログフロントエンド１２ｄを同期させて動作させる。
【００４３】
垂直駆動ドライバ１２ｂは、撮像素子１１の垂直転送ＣＣＤ１１ｃの駆動クロックを生成する。水平駆動ドライバ１２ｃは、撮像素子１１のアナログフロントエンド１２ｄの駆動クロックを生成する。
【００４４】
アナログフロントエンド１２ｄは、撮像素子１１から到来するアナログ出力電圧信号２１に対してノイズ除去やＡ／Ｄ変換を行い、画像データとしてのディジタル出力電圧信号２２をディジタル信号処理プロセッサ１３に出力する。
【００４５】
ディジタル信号処理プロセッサ１３は、タイミング生成部１２ａを介して、撮像素子１１および素子駆動部１２の各部を同期させる。また、ディジタル出力電圧信号２２を、バス１６を介してメモリ１５に転送する。
【００４６】
ＣＰＵ１４は、メモリ１５に格納された画像処理プログラム３０等を実行することで、固体撮像装置１０の全体を制御するとともに、後述のフローチャートに例示されるような処理を行う。
【００４７】
以下、図７のフローチャートを参照して、本実施の形態の固体撮像装置１０の作用の一例を説明する。
メモリ１５には、スミア判定閾値Ｖｔｈｏｂ、リニア領域飽和電圧値ＶＬ（第１電圧値）、拡張領域飽和電圧値Ｖｅｘ（第２電圧値）、飽和電圧Ｖｓａｔ、が格納されている。これらの値の設定は、予め、ユーザインタフェース等を介して外部から設定される。
【００４８】
本実施の形態の場合、飽和電圧Ｖｓａｔは、後述のように、撮像素子１１から到来するディジタル出力電圧信号２２に含まれるＯＢピクセルデータ値Ｖｏｂの値に応じて変化する。
【００４９】
リニア領域飽和電圧値ＶＬは、図３におけるアナログ出力電圧信号２１のリニア領域２１ａの最大（拡張領域２１ｂとの境界）の電圧値である。通常は、このリニア領域飽和電圧値ＶＬが飽和電圧Ｖｓａｔとして用いられる。
【００５０】
拡張領域飽和電圧値Ｖｅｘは、拡張領域２１ｂの最大（無効領域２１ｃとの境界）の電圧値である。本実施の形態の場合、スミアが検出された場合には、この拡張領域飽和電圧値Ｖｅｘを飽和電圧Ｖｓａｔとして用いる。
【００５１】
まず、ＣＰＵ１４で実行される画像処理プログラム３０は、アナログフロントエンド１２ｄおよびディジタル信号処理プロセッサ１３を介して撮像素子１１から、縦１列分のディジタル出力電圧信号２２を画像データとして読み出し（ステップ１０１）（第１工程）、当該アナログ出力電圧信号２１の先頭部のオプティカルブラック部の画素に対応したＯＢピクセルデータ値Ｖｏｂが、スミア判定閾値Ｖｔｈｏｂを超過したか否か（Ｖｏｂ＞Ｖｔｈｏｂ）を判別する（ステップ１０２）（第２工程）。
【００５２】
そして、Ｖｏｂ≦Ｖｔｈｏｂの場合には、飽和電圧Ｖｓａｔとして、通常のリニア領域飽和電圧値ＶＬを設定する（ステップ１０８）。
また、ステップ１０２で、Ｖｏｂ＞Ｖｔｈｏｂの場合には、飽和電圧Ｖｓａｔとして拡張領域飽和電圧値Ｖｅｘ（＞リニア領域飽和電圧値ＶＬ）がすでに設定されているか否かを判別し（ステップ１０３）、設定済みでない場合には、飽和電圧Ｖｓａｔとして拡張領域飽和電圧値Ｖｅｘを設定する（ステップ１０４）（第３工程）。
【００５３】
その後、画像処理では、露光部の個々の画素に対応したディジタル出力電圧信号２２の、飽和電圧Ｖｓａｔに対する比率で、当該画素の輝度や彩度を決定して、画像データ２３としてメモリ１５に出力する等の画像処理（ステップ１０５）を、当該列内の露光部の画素に対応したディジタル出力電圧信号２２に対して実行し（ステップ１０６）、このステップ１０１〜１０６、ステップ１０８の処理を、１フレーム内の他の全ての列にも適用する（ステップ１０７）。
【００５４】
このように、本実施の形態では、撮像素子１１から得られる画像データにスミアが検出された場合には、飽和電圧Ｖｓａｔのレベルをリニア領域２１ａ（リニア領域飽和電圧値ＶＬ）から拡張領域２１ｂ（拡張領域飽和電圧値Ｖｅｘ）へ広げることにより、飽和電圧Ｖｓａｔに占めるスミア成分Ｖｓの比率が相対的に減少し、メモリ１５に得られた画像データ２３におけるスミアに起因する画質の劣化を抑制できる効果が得られる。
【００５５】
撮像素子１１からのディジタル出力電圧信号２２の読み出し方法としては、縦方向の各列のフォトダイオード１１ａから１画素ずつ１行分だけ水平転送ＣＣＤ１１ｄに送り出し、１行単位に電荷／電圧変換部１１ｅを介してアナログフロントエンド１２ｄの側に送出するようにしてもよい。
【００５６】
上述の例では、スミアを検出すると飽和電圧Ｖｓａｔをリニア領域２１ａのリニア領域飽和電圧値ＶＬから、拡張領域２１ｂの最大値（拡張領域飽和電圧値Ｖｅｘ）へと離散的に変更を行う場合を例示したが、スミアの量の大小に応じて拡張領域２１ｂ内の範囲で、飽和電圧Ｖｓａｔを可変にしてもよい。
【００５７】
この例を、図８のフローチャートに示す。この図８において図７と共通する部分には、同一のステップ番号を付して重複した説明は割愛する。
すなわち、図７に例示したフローチャートにおけるステップ１０３の代りに、図８のフローチャートのステップ２０１に例示されるように、オプティカルブラック部の画素に対応したＯＢピクセルデータ値Ｖｏｂの値の大小に比例するように拡張領域飽和電圧値Ｖｅｘ’（第２電圧値）を動的に決定して、飽和電圧Ｖｓａｔとして設定する（ステップ１０３）。
【００５８】
このようにすることにより、可能な限り、飽和電圧Ｖｓａｔの本来のリニア領域飽和電圧値ＶＬの値からの変化量を小さくして、できる限り色のキャリアバランスを保ちつつスミアを抑制することができる。
【００５９】
上述の説明では、スミアの有無に応じて列単位に飽和電圧Ｖｓａｔを変化させる例を示したが、フレーム単位に、飽和電圧Ｖｓａｔを変化させてもよい。
以下、図９のフローチャートを用いて、その例を説明する。
【００６０】
まず、撮像素子１１から１フレーム分のディジタル出力電圧信号２２からなる画像データを読み出す（ステップ３０１）。
そして、当該フレームの先頭行に含まれるオプティカルブラック部の画素に対応したＯＢピクセルデータ値Ｖｏｂを読み出し、当該がＯＢピクセルデータ値Ｖｏｂがスミア判定閾値Ｖｔｈｏｂを超過したか否かを判別する（ステップ３０２）。なお、この判定では、一つのオプティカルブラック画素のＯＢピクセルデータ値Ｖｏｂで判定してもよいし、複数画素分のＯＢピクセルデータ値Ｖｏｂの統計的な値と、スミア判定閾値Ｖｔｈｏｂとを比較してもよい。
【００６１】
そして、ステップ３０２でＶｏｂ＞Ｖｔｈｏｂと判定された場合には、現在の飽和電圧Ｖｓａｔが拡張領域飽和電圧値Ｖｅｘに設定済みか否かを判別する（ステップ３０３）。
そして、設定済みでない場合には、飽和電圧Ｖｓａｔの設定値を拡張領域飽和電圧値Ｖｅｘに変更し（ステップ３０５）、この変更された飽和電圧Ｖｓａｔを用いて、当該１フレーム内の全画素のディジタル出力電圧信号２２について、当該飽和電圧Ｖｓａｔに対する比率で、当該フレーム内の各画素の輝度や彩度等を決定して、画像データ２３として出力する画像処理を実行する（ステップ３０５）。
【００６２】
上述のステップ３０２で、Ｖｏｂ≦Ｖｔｈｏｂと判定された場合には、飽和電圧Ｖｓａｔとして通常のリニア領域飽和電圧値ＶＬを設定して（ステップ３０７）、ステップ３０４の画像処理を実行する。
【００６３】
また、上述のステップ３０３で飽和電圧Ｖｓａｔとして拡張領域飽和電圧値Ｖｅｘが設定済みの場合は、ステップ３０４はスキップされる。
このような１フレーム毎の処理を、撮像素子１１から順次読み出される全てのフレームに適用する（ステップ３０６）。
【００６４】
これにより、スミアが検出された１フレームの全体を、拡張領域飽和電圧値Ｖｅｘまで拡張された飽和電圧Ｖｓａｔを用いて画像処理することで、フレーム内の画像全体が、スミアが目立たないように均一に補正される。
【００６５】
なお、複数のフレームを連続して処理する場合、最初のフレームではＯＢピクセルデータ値Ｖｏｂをスキャンしてスミアの検出判定のみを行い、その判定結果を、以降のフレームの画像データに適用するようにしてもよい。
【００６６】
なお、本発明は、上述の実施の形態に例示した構成に限らず、その趣旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
たとえば、上述の説明では、図７、図８および図９に例示されるフローチャートの処理をＣＰＵ１４にて行わせる例を示したが、これに限らず、素子駆動部１２のアナログフロントエンド１２ｄにおいてハードウェア的に処理すること、あるいは、ディジタル信号処理プロセッサ１３において処理させることも可能である。
【図面の簡単な説明】
【００６７】
【図１】本発明の固体撮像装置の制御方法、固体撮像装置、画像処理プログラムの原理を説明する線図である。
【図２】本発明の固体撮像装置の制御方法、固体撮像装置、画像処理プログラムの原理を説明するグラフである。
【図３】本発明の一実施の形態である固体撮像装置の制御方法、固体撮像装置、画像処理プログラムの原理を説明する線図である。
【図４】本発明の一実施の形態である固体撮像装置の制御方法、固体撮像装置、画像処理プログラムの原理を説明するグラフである。
【図５】本発明の一実施の形態である固体撮像装置の制御方法および画像処理プログラムを実施する固体撮像装置の構成の一例を示すブロック図である。
【図６】本発明の一実施の形態である固体撮像装置を構成する固体撮像素子の構成の一例を示す概念図である。
【図７】本発明の一実施の形態である固体撮像装置の制御方法および画像処理プログラムの作用の一例を示すフローチャートである。
【図８】本発明の一実施の形態である固体撮像装置の制御方法および画像処理プログラムの作用の変形例を示すフローチャートである。
【図９】本発明の一実施の形態である固体撮像装置の制御方法および画像処理プログラムの作用の変形例を示すフローチャートである。
【図１０】参考技術のスミア対策後の画像を示す説明図である。
【符号の説明】
【００６８】
１０  固体撮像装置
１１  撮像素子
１１ａ  フォトダイオード
１１ｂ  トランスファゲート
１１ｃ  垂直転送ＣＣＤ
１１ｄ  水平転送ＣＣＤ
１２  素子駆動部
１２ａ  タイミング生成部
１２ｂ  垂直駆動ドライバ
１２ｃ  水平駆動ドライバ
１２ｄ  アナログフロントエンド
１３  ディジタル信号処理プロセッサ
１４  ＣＰＵ
１５  メモリ
１６  バス
１７  集光光学系
２０  光
２１  アナログ出力電圧信号
２１ａ  リニア領域
２１ｂ  拡張領域
２１ｃ  無効領域
２２  ディジタル出力電圧信号
２３  画像データ
３０  画像処理プログラム
ＯＢ  垂直
ＶＧ  画像成分
ＶＬ  リニア領域飽和電圧値
Ｖｅｘ  拡張領域飽和電圧値
Ｖｅｘ'  拡張領域飽和電圧値
Ｖｏｂ  ＯＢピクセルデータ値
Ｖｓ  スミア成分
Ｖｓａｔ  飽和電圧
Ｖｔｈｏｂ  スミア判定閾値
【図１】
2007158747.tif 000003
【図５】
2007158747.tif 000004
【図７】
2007158747.tif 000005
【図８】
2007158747.tif 000006
【図９】
2007158747.tif 000007
【図２】
2007158747.tif 000008
【図３】
2007158747.tif 000009
【図４】
2007158747.tif 000010
【図６】
2007158747.tif 000011
【図１０】
2007158747.tif 000012