(57)【要約】【課題】撮像素子からの出力信号のばらつきに基づいて画像信号に対する処理を調整して高画質の画像を得る。【解決手段】外部からの光が遮光された受光画素から出力された出力信号のばらつきの大きさを検出するばらつき検出部３６ｅを備え、ばらつき検出部３６ｅにおいて検出された出力信号のばらつきの大きさに応じて撮像素子から出力された出力信号に処理を施すことによって上記課題を解決できる。【選択図】図７
2006345422.tif 000002
【特許請求の範囲】
【請求項１】
入射された光の強度に応じた情報電荷を生成する受光画素を複数含む撮像素子、を備えた撮像装置において、
外部からの光が遮光された受光画素から出力された出力信号のばらつきの大きさを検出するばらつき検出部を備え、
前記ばらつき検出部において検出された出力信号のばらつきの大きさに応じて前記撮像素子から出力された出力信号に処理を施すことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記外部からの光が遮光された受光画素はオプティカルブラック領域であることを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置であって、
前記オプティカルブラック領域に含まれる受光画素から出力された出力信号のうち一部を除いて黒レベルを決定するオプティカルブラック処理部を備えることを特徴とする撮像装置。
【請求項４】
請求項１〜３のいずれか１つに記載の撮像装置であって、
前記ばらつき検出部は、前記外部からの光が遮光された受光画素から出力された出力信号に対して統計的な処理を施すことによって出力信号のばらつきを算出することを特徴とする撮像装置。
【請求項５】
請求項１〜４のいずれか１つに記載の撮像装置であって、
前記撮像素子から出力された出力信号の周波数帯域を低減させるフィルタを備え、
前記フィルタは、前記ばらつき検出部において検出された出力信号のばらつきの大きさに応じてフィルタ係数を変更することを特徴とする撮像装置。
【請求項６】
請求項１〜５のいずれか１つに記載の撮像装置であって、
前記撮像素子から出力された出力信号を増幅して出力するアナログ増幅器を備え、
前記アナログ増幅器は、前記ばらつき検出部において検出された出力信号のばらつきの大きさに応じて前記撮像素子から出力された出力信号に対するゲインを調整することを特徴とする撮像装置。
【請求項７】
請求項１〜６のいずれか１つに記載の撮像装置であって、
前記撮像素子から出力された出力信号を増幅して出力するデジタル増幅器を備え、
前記デジタル増幅器は、前記ばらつき検出部において検出された出力信号のばらつきの大きさに応じて前記撮像素子から出力された出力信号に対するゲインを調整することを特徴とする撮像装置。
【請求項８】
請求項１〜７のいずれか１つに記載の撮像装置であって、
前記撮像素子から出力された出力信号に対して補正を行うデジタル信号処理部を備え、
前記デジタル信号処理部は、前記ばらつき検出部において検出された出力信号のばらつきの大きさに応じて前記撮像素子から出力された出力信号に対する補正処理を行うことを特徴とする撮像装置。
【請求項９】
入射された光の強度に応じた情報電荷を生成する受光画素を複数含む撮像素子、から出力された信号に対する信号処理方法において、
外部からの光が遮光された受光画素から出力された出力信号のばらつきの大きさを検出する第１の工程と、
前記第１の工程において検出された出力信号のばらつきの大きさに応じて前記撮像素子から出力された出力信号に処理を施す第２の工程と、
を備えることを特徴とする信号処理方法。
【請求項１０】
請求項９に記載の信号処理方法であって、
前記第１の工程では、前記外部からの光が遮光された受光画素からなるオプティカルブラック領域から出力された信号のばらつきの大きさを検出することを特徴とする信号処理方法。
【請求項１１】
請求項１０に記載の信号処理方法であって、
さらに、前記オプティカルブラック領域に含まれる受光画素から出力された出力信号のうち一部を除いて黒レベルを決定する第３の工程を備えることを特徴とする信号処理方法。
【請求項１２】
請求項９〜１１のいずれか１つに記載の信号処理方法であって、
前記第１の工程では、前記外部からの光が遮光された受光画素から出力された出力信号に対して統計的な処理を施すことによって出力信号のばらつきを算出することを特徴とする信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、出力画像の画質を向上させた撮像装置及び信号処理方法に関する。
【背景技術】
【０００２】
電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等の固体撮像素子を備えた撮像装置は、図２１に示すように、撮像素子１０、相関２重サンプリング部（ＣＤＳ部：Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）１２、クランプ部１３、アナログ増幅器（ＡＧＣ：Ａｕｔｏ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）１４、アナログ／デジタル変換器（Ａ／Ｄ変換器）１５、信号処理部１６及び制御部１８を含んで構成される。
【０００３】
撮像素子１０は、例えば、フレーム転送型のＣＣＤ固体撮像素子とされる。フレーム転送方式のＣＣＤ固体撮像素子は、図２２に示すように、撮像部１０ｉ、蓄積部１０ｓ、水平転送部１０ｈ及び出力部１０ｄを含んで構成される。撮像部１０ｉは、それぞれ複数の受光画素の列からなる垂直シフトレジスタを備える。各受光画素は、外部からの光を受けて、その入射光の強度に応じた量の情報電荷を生成する。また、制御部１８から撮像部１０ｉへ垂直クロックパルスが入力されることによって、各受光画素で生成された情報電荷は垂直シフトレジスタに沿って蓄積部１０ｓへ転送される。
【０００４】
撮像部１０ｉには、図２２に示すように、有効画素領域１０ａとオプティカルブラック領域１０ｂとが設けられる。有効画素領域１０ａの受光面は外部からの光を受光できるように構成されている。オプティカルブラック領域１０ｂの受光面は外部からの光を遮断する金属層等で覆われている。オプティカルブラック領域１０ｂから出力される信号は、撮像素子１０の黒レベルＳｂを決定するオプティカルブラック信号として用いられる。オプティカルブラック領域１０ｂは、一般的に撮像部１０ｉにおける蓄積部１０ｓに近接する数行分の画素領域及び撮像部１０ｉにおける左右のいずれかの数列分の画素領域から構成される。
【０００５】
蓄積部１０ｓは、撮像部１０ｉの垂直シフトレジスタと連続して配置された垂直シフトレジスタを備える。蓄積部１０ｓの垂直シフトレジスタは全体が遮光されており、情報電荷を１フレーム分だけ蓄積しておくために用いられる。蓄積部１０ｓには、制御部１８から垂直クロックパルス及び出力制御クロックが入力される。垂直クロックパルス及び出力制御クロックが印加されることによって、蓄積部１０ｓに保持された情報電荷が水平転送部１０ｈへ１行分ずつ転送出力される。水平転送部１０ｈは、水平シフトレジスタを備える。水平転送部１０ｈの水平シフトレジスタの各ビットには蓄積部１０ｓの各垂直シフトレジスタからそれぞれ１画素分の情報電荷が順次転送出力される。水平転送部１０ｈには、制御部１８から水平クロックパルスが入力される。水平転送部１０ｈでは、水平クロックパルスを受けて、１画素単位で情報電荷が出力部１０ｄへ転送される。出力部１０ｄは１画素毎の情報電荷量を電圧値に変換し、その電圧値の変化がＣＣＤ出力としてＣＤＳ部１２へ出力される。
【０００６】
ＣＤＳ部１２は、制御部１８からクロックパルスを受けて、撮像素子１０からの信号の出力に同期して相関２重サンプリングを行い、クロック成分を除去してノイズを低減させる。クランプ部１３は、ＣＤＳ部１２の出力信号Ｓを受けて、オプティカルブラック領域１０ｂからのオプティカルブラック信号に基づいて黒レベルＳｂをクランプする。アナログ増幅器１４は、ＣＤＳ部１２でサンプリングされた出力信号Ｓを受けて、出力信号Ｓを増幅して出力する。Ａ／Ｄ変換器１５は、アナログ増幅器１４からの出力を受けて、アナログ信号をデジタル信号に変換して出力する。Ａ／Ｄ変換器１５における基準レベルは、クランプ部１３に設定された黒レベルＳｂとすることができる。信号処理部１６は、デジタル増幅器（Ｄｉｇｉｔａｌ  ＡＭＰ）、デジタル信号処理部（ＤＳＰ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等を含んで構成される。信号処理部１６は、Ａ／Ｄ変換器１５から出力された信号に対してデジタル増幅処理、各種補正処理等を施して出力する。このとき、クランプ部１３においてクランプされた黒レベルＳｂを基準として処理を行うことができる。
【０００７】
制御部１８は、タイミングパルス生成回路を含んで構成される。制御部１８は、撮像素子１０における撮像及び情報電荷の転送を制御するための垂直クロックパルス、水平クロックパルス、出力パルス、リセットパルス等のクロックパルスを生成して撮像素子１０の各部へ出力する。また、ＣＤＳ部１２、クランプ部１３、アナログ増幅器１４、Ａ／Ｄ変換器１５及び信号処理部１６に対してそれぞれ制御クロックを出力する。これによって、撮像素子１０、ＣＤＳ部１２、クランプ部１３、アナログ増幅器１４、Ａ／Ｄ変換器１５及び信号処理部１６の制御が同期される。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところが、撮像素子１０を備える撮像装置では、撮像素子１０に固有の特性や撮像装置全体としての特性にばらつきがあり、出力信号Ｓにも撮像素子１０又は撮像装置に固有のばらつきが発生する。一般的に、クランプ部１３、アナログ増幅器１４、Ａ／Ｄ変換器１５及び信号処理部１６における処理に用いられるパラメータは出力信号Ｓのばらつきを考慮せずに決定されており、その結果、出力信号Ｓに対する処理が最適化されていなかった。
【０００９】
例えば、信号処理部１６に出力信号Ｓのノイズを低減させるためのローパスフィルタを設けた場合、出力信号Ｓのばらつきの度合いに関わらずフィルタ係数を決定している。したがって、出力信号Ｓのばらつきが大きい場合にはノイズの除去が不十分となり、出力信号Ｓのばらつきが小さい場合には不必要に低域の信号が除去されることになっている。
【００１０】
また、オプティカルブラック領域１０ｂは、一般的に撮像部１０ｉにおける蓄積部１０ｓに近接する数行分の画素領域及び撮像部１０ｉにおける左右のいずれかの数列分の画素領域から構成される。従来技術では、クランプ部１３において、オプティカルブラック領域１０ｂに含まれる全領域の画素から出力された信号の加算値又はその平均値を黒レベルＳｂとしてクランプしている。
【００１１】
ところが、オプティカルブラック領域１０ｂの近傍に位置する有効画素領域１０ａへの入射光の強度が極めて高い場合、有効画素領域１０ａから入射した光が撮像部１０ｉ内で反射してオプティカルブラック領域１０ｂにも影響を及ぼす場合がある。これによって、オプティカルブラック領域１０ｂ内の画素において回り込んだ光によって情報電荷が生成されて、画像処理の基準となる黒レベルＳｂがずれてしまう問題を生ずる。
【００１２】
また、転送時のスミア電荷の発生や転送クロックパルスの経時的な変化等の伝送系における低域特性の影響によって、出力信号Ｓに垂直サグ（Ｖサグ）や水平サグ（Ｈサグ）と呼ばれる波形のひずみが生ずる。
【００１３】
例えば、撮像部１０ｉの１行分の出力信号Ｓに着目すると、出力信号Ｓの基準レベルにオフセットが徐々に増加（又は、低下）するような水平サグが重畳される。また、例えば、撮像部１０ｉの１列分の出力信号Ｓに着目すると、出力信号Ｓの基準レベルにオフセットが徐々に増加（又は、低下）するような垂直サグが重畳される。このようなサグ成分はノイズ成分であるので元の画像信号を劣化させる要因となる。
【００１４】
本発明は、上記従来技術の問題を鑑み、高品質の画像を得ることができる撮像装置及び信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明は、入射された光の強度に応じた情報電荷を生成する受光画素を複数含む撮像素子、を備えた撮像装置において、外部からの光が遮光された受光画素から出力された出力信号のばらつきの大きさを検出するばらつき検出部を備え、前記ばらつき検出部において検出された出力信号のばらつきの大きさに応じて前記撮像素子から出力された出力信号に処理を施すことを特徴とする。
【００１６】
入射された光の強度に応じた情報電荷を生成する受光画素を複数含む撮像素子、から出力された信号に対する信号処理方法であって、外部からの光が遮光された受光画素から出力された出力信号のばらつきの大きさを検出する第１の工程と、前記第１の工程において検出された出力信号のばらつきの大きさに応じて前記撮像素子から出力された出力信号に処理を施す第２の工程と、を備える信号処理方法を実行する。
【００１７】
このように、出力信号のばらつきに応じて出力信号への処理を調整することによって高品質の画像を得ることができる。
【００１８】
例えば、前記撮像素子から出力された出力信号を増幅して出力するアナログ増幅器を備える場合、前記アナログ増幅器は、前記前記ばらつき検出部において検出された出力信号のばらつきの大きさに応じて前記撮像素子から出力された出力信号に対するゲインを調整することが好適である。また、前記撮像素子から出力された出力信号を増幅して出力するデジタル増幅器を備える場合、前記デジタル増幅器は、前記ばらつき検出部において検出された出力信号のばらつきの大きさに応じて前記撮像素子から出力された出力信号に対するゲインを調整することが好適である。
【００１９】
また、前記撮像素子から出力された出力信号に対して補正を行うデジタル信号処理部を備え、前記デジタル信号処理部は、前記ばらつき検出部において検出された出力信号のばらつきの大きさに応じて前記撮像素子から出力された出力信号に対する補正処理を行うことも好適である。
【００２０】
また、前記撮像素子から出力された出力信号の周波数帯域を低減させるフィルタを備え、前記フィルタは、前記ばらつき検出部において検出された出力信号のばらつきの大きさに応じてフィルタ係数を変更することも好適である。
【００２１】
ここで、前記外部からの光が遮光された受光画素はオプティカルブラック領域であることが好適である。さらに、前記オプティカルブラック領域に含まれる受光画素から出力された出力信号のうち一部を除いて黒レベルを決定するオプティカルブラック処理部を備えることが好適である。これによって、後処理の基準となるクランプレベルを正確に設定することができる。
【００２２】
また、前記ばらつき検出部は、前記外部からの光が遮光された受光画素から出力された出力信号に対して統計的な処理を施すことによって出力信号のばらつきを算出することも好適である。また、前記オプティカルブラック領域内の各受光画素から出力される出力信号の変化に基づいて前記撮像素子の各受光画素から出力される出力信号のサグ成分を補正するサグ補正部を備えることも好適である。サグ成分を除去することによって、高画質の画像を得ることができる。
【発明の効果】
【００２３】
本発明によれば、撮像素子からの出力信号のばらつきに基づいて画像信号に対する処理を調整することができる。例えば、信号に対する増幅率、アナログ／デジタル変換特性、フィルタ特性、各種補正特性等を出力信号のばらつきに応じて最適化することができる。これにより、画像の画質を向上させることができる。
【００２４】
また、出力信号の黒レベルを適切に設定することができる。適切に設定された黒レベルに基づいて、画像信号の処理や撮像素子の制御を適確に行うことが可能となる。また、さらに、出力信号に重畳されたサグ成分を除去することができる。
【００２５】
さらに、出力信号のばらつきに基づく画像信号の処理、黒レベルの適切な設定、出力信号からのサグ成分の除去を適宜組み合わせることによって画像の画質を向上させることができる。
【発明を実施するための最良の形態】
【００２６】
本発明の実施の形態における撮像装置１００は、図１に示すように、撮像素子１０、相関２重サンプリング部（ＣＤＳ部：Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）１２、クランプ部３３、アナログ増幅器（ＡＧＣ：Ａｕｔｏ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）３４、アナログ／デジタル変換器（Ａ／Ｄ変換器）３５、信号処理部３６及び制御部３８を含んで構成される。撮像装置１００のうち、従来の撮像装置と同様の構成部には図２１と同一の符号を付した。
【００２７】
撮像素子１０は、例えば、フレーム転送型のＣＣＤ固体撮像素子とされる。フレーム転送方式のＣＣＤ固体撮像素子は、図２２に示したように、撮像部１０ｉ、蓄積部１０ｓ、水平転送部１０ｈ及び出力部１０ｄを含んで構成される。
【００２８】
撮像部１０ｉ及び蓄積部１０ｓは、図２の素子内部の平面図に示すように、半導体基板の表面領域に形成された垂直シフトレジスタから構成される。蓄積部１０ｓは、撮像部１０ｉの垂直シフトレジスタと連続して配置された垂直シフトレジスタを備える。蓄積部１０ｓの垂直シフトレジスタは全体が遮光されており、情報電荷を１フレーム分だけ蓄積しておくために用いられる。
【００２９】
垂直シフトレジスタは、垂直方向（図２２の縦方向）に向けて互いに平行に延伸された分離領域２８によって区画された複数のチャネル領域２６と、チャネル領域２６に交差する複数の転送電極２４−１〜２４−３から構成することができる。本実施の形態では、連続する３つの転送電極２４−１，２４−２，２４−３の組が１つの受光画素を構成する。制御部３８から一組の転送電極２４−１，２４−２，２４−３の各々に対して所定の周期の転送クロックφi1〜φi3を印加することによって撮像部１０ｉで生成された情報電荷が蓄積部１０ｓへ転送され、転送クロックφs1〜φs3を印加することによって蓄積部１０ｓにバッファリングされた情報電荷が水平転送部１０ｈへ転送される。
【００３０】
また、撮像部１０ｉは、有効画素領域１０ａ（白抜きの領域）とオプティカルブラック領域１０ｂ（ハッチングされた領域）とに分けられる。
【００３１】
有効画素領域１０ａの受光面は、ガラス等の透明部材に覆われており、外部からの光を受光できるように構成されている。有効画素領域１０ａに含まれる各画素は、入射される光の強度に対応した情報電荷を生成する。カラー撮像用のＣＣＤ固体撮像素子では、有効画素領域１０ａの各受光画素はマトリックス状に配置された赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長に対応する透過フィルタのいずれかで被われる。例えば、垂直転送方向に沿って赤（Ｒ）を透過するフィルタと緑（Ｇ）を透過するフィルタとを垂直シフトレジスタの延伸方向に沿って交互に各受光画素と重ね合わせるように配列した列と、緑（Ｇ）を透過するフィルタと青（Ｂ）を透過するフィルタとを垂直シフトレジスタの延伸方向に沿って交互に各受光画素と重ね合わせるように配列した列と、を各波長領域に対応する受光画素をマトリクス状の画素配列を構成してカラー画像の取得を可能とする。
【００３２】
オプティカルブラック領域１０ｂの受光面は、外部からの光が遮断されるように金属層等で覆われている。オプティカルブラック領域１０ｂから出力される信号は、暗電流などによって生じる電荷による信号であって、撮像素子１０の黒レベルＳｂを決定するオプティカルブラック信号として用いられる。オプティカルブラック領域１０ｂは、一般的に撮像部１０ｉにおける蓄積部１０ｓに近接する数行分の画素領域、又は、撮像部１０ｉにおける各行の先頭又は末尾の少なくとも一方の数列分の画素領域から構成される。
【００３３】
図３に、撮像装置１００における撮像時のチャネル領域２６に沿ったウェル内のポテンシャル分布の様子を示す。撮像時には、図４に示すように、１組の転送電極２４−１，２４−２，２４−３のうち１つの転送電極（例えば、転送電極２４−２）をオン状態にすると共に、残りの転送電極（例えば、転送電極２４−１，２４−３）をオフ状態にする。これにより、オン状態とした転送電極下のチャネル領域２６にポテンシャル井戸５０が形成される。各受光画素では外部からの入射光の強度に応じた量の情報電荷が生成され、ポテンシャル井戸５０に情報電荷が蓄積される。
【００３４】
転送時には、図４に示すように、１画素を構成する３つの転送電極２４−１，２４−２，２４−３の組み合わせ毎に３相の転送クロックφi1〜φi3が印加され、転送電極２４−１，２４−２，２４−３の下にあるチャネル領域２６のポテンシャルが制御されて情報電荷が蓄積部１０ｓへ転送される。同時に、蓄積部１０ｓの垂直シフトレジスタにおいても、３つの転送電極２４−１，２４−２，２４−３の組み合わせ毎に３相の転送クロックφs1〜φs3が印加され、情報電荷が水平転送部１０ｈへ転送される。
【００３５】
また、制御部３８から蓄積部１０ｓに出力制御クロックが印加されることによって、蓄積部１０ｓに保持された情報電荷が水平転送部１０ｈへ１行分ずつ転送出力される。水平転送部１０ｈは、水平シフトレジスタを備える。水平転送部１０ｈの水平シフトレジスタの各ビットには蓄積部１０ｓの各垂直シフトレジスタからそれぞれ１画素分の情報電荷が順次転送出力される。水平転送部１０ｈには、制御部３８から水平クロックパルスが入力される。水平転送部１０ｈでは、水平クロックパルスを受けて、１画素単位で情報電荷が出力部１０ｄへ転送される。出力部１０ｄは１画素毎の情報電荷量を電圧値に変換し、その電圧値の変化がＣＣＤ出力としてＣＤＳ部１２へ出力される。
【００３６】
ＣＤＳ部１２は、制御部３８からクロックパルスを受けて、撮像素子１０からの信号の出力に同期して相関２重サンプリングを行い、クロック成分を除去してノイズを低減させる。撮像部１０ｉの受光素子の行列配置に対応付けて出力信号Ｓ（Ｓ（ｎ，ｍ）；ｎ，ｍは受光画素の行番及び列番をそれぞれ表す）がサンプリングされる。相関２重サンプリングは、既存の方法で行うことができるので説明を省略する。
【００３７】
クランプ部３３は、ＣＤＳ部１２から出力信号Ｓ及び信号処理部３６からばらつき補正係数Ｓｄを受けて、出力信号Ｓ及びばらつき補正係数Ｓｄに基づいてＡ／Ｄ変換器３５における変換処理の基準となるクランプレベルＳｃをクランプする。クランプされたクランプレベルＳｃはアナログ増幅器３４、Ａ／Ｄ変換器３５、信号処理部１６及び制御部３８へ出力される。クランプレベルＳｃは、後段のアナログ増幅処理、アナログ／デジタル変換処理、デジタル信号処理に対する基準レベルとして用いられる。
【００３８】
クランプ部３３は、例えば、オプティカルブラック領域１０ｂから出力された出力信号Ｓの平均値を黒レベルＳｂとして算出する。クランプレベルＳｃは、基本的に黒レベルＳｂに応じて設定される。
【００３９】
また、ばらつき検出部３６ｅから出力される補正係数Ｓｄに応じてクランプレベルＳｃを補正する。ばらつき補正係数Ｓｄは、後述するばらつき検出部３６ｅにおいて生成されるパラメータであり、出力信号Ｓのばらつきの大きさを示すパラメータである。
【００４０】
図５に、出力信号Ｓのばらつきの大きさとクランプレベルの設定の関係について示す。図５では、出力信号Ｓのばらつきをハッチングされた領域の幅で示している。従来は、図５（ａ）に示すように、出力信号Ｓのばらつきの大きさに関わらず、出力信号Ｓの黒レベルＳｂのみを基準としてクランプレベルＳｃを設定していた。一方、本実施の形態では、例えば、図５（ｂ）に示すように、ばらつき補正係数Ｓｄにより示される出力信号Ｓのばらつきが小さくなるにつれてクランプレベルＳｃを低く設定する。すなわち、出力信号Ｓのばらつきが大きい場合にはクランプレベルＳｃを通常よりも高く設定し、出力信号Ｓのばらつきが小さい場合にはクランプレベルＳｃを通常よりも低く設定する。
【００４１】
アナログ増幅器３４は、ＣＤＳ部１２でサンプリングされた出力信号Ｓを受けて、出力信号Ｓを増幅して出力する。アナログ増幅器３４における増幅率は、出力信号Ｓの平均強度、すなわち撮像素子１０で撮像された画像の平均的な明るさに応じて調整される。
【００４２】
具体的には、信号処理部３６の自動露光調整部３６ｄにおいて決定されるゲインコードＧＣに応じて増幅率が決定される。ゲインコードＧＣは、撮像された画像の平均的な明るさを示すパラメータであり、後述する自動露光調整部３６ｄにおいて設定される。撮像された画像の平均的な明るさが高いほどアナログ増幅器３４の増幅率は低く設定される。すなわち、撮像された画像の平均的な明るさが高いときにアナログ増幅器３４における増幅率は低く設定され、撮像された画像の平均的な明るさが低いときにアナログ増幅器３４における増幅率は高く設定される。
【００４３】
さらに、クランプ部３３に設定されたクランプレベルＳｃに基づいてアナログ増幅器３４における増幅率を調整することも好ましい。クランプレベルＳｃが高い場合には、出力信号Ｓの基準レベルとなる黒レベルＳｂが高いことを示すので、アナログ増幅器３４における増幅率を低く設定する。一方、クランプレベルＳｃが低い場合には、出力信号Ｓの基準レベルとなる黒レベルＳｂが低いことを示すので、アナログ増幅器３４における増幅率を高く設定する。
【００４４】
また、ばらつき検出部３６ｅから出力されるばらつき補正係数Ｓｄに応じてアナログ増幅器３４の増幅率を調整することも好適である。例えば、ばらつき補正係数Ｓｄにより示される出力信号Ｓのばらつきが大きくなるにつれてアナログ増幅器３４の増幅率を低くする。すなわち、出力信号Ｓのばらつきが大きい場合にはアナログ増幅器３４の増幅率を低くし、出力信号Ｓのばらつきが小さい場合にはアナログ増幅器３４の増幅率を高くする。
【００４５】
このように、出力信号Ｓのばらつきの度合いに応じてアナログ増幅器３４の増幅率を補正することによって、出力信号Ｓのばらつきによる画像のざらつき感を抑制することができる。
【００４６】
Ａ／Ｄ変換器３５は、アナログ増幅器３４からの出力を受けて、アナログ信号をデジタル信号に変換して出力する。Ａ／Ｄ変換器３５では、アナログ信号をデジタル信号に変換する際の基準電圧としてクランプレベルＳｃを用いる。
【００４７】
従来技術のように、出力信号ＳのばらつきによらずクランプレベルＳｃを設定する場合、図６（ａ）に示すように、出力信号Ｓのばらつきが大きくなった場合に出力信号ＳがＡ／Ｄ変換可能な範囲を超えてしまい、低いレベルの信号成分がカットされて画像内に白く浮き上がった領域が発生してしまうことがある。本実施の形態では、出力信号Ｓのばらつきの大きさに応じてクランプレベルＳｃが設定されているので、図６（ｂ）に示すように、出力信号Ｓのばらつきが大きくなった場合にも出力信号ＳがＡ／Ｄ変換可能な範囲を超えることがなくなる。これによって、撮像装置１００から出力される画像の画質を向上することができる。
【００４８】
信号処理部３６は、図７に示すように、デジタル増幅器（Ｄｉｇｉｔａｌ  ＡＭＰ）３６ａ、デジタルフィルタ３６ｂ、デジタル信号処理部（ＤＳＰ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）３６ｃ、自動露光調整部３６ｄを含んで構成される。さらに、信号処理部３６はばらつき検出部３６ｅを含む。
【００４９】
デジタル増幅器３６ａは、Ａ／Ｄ変換器３５でデジタル化された出力信号Ｓを増幅して出力する。デジタル増幅器３６ａにおける増幅率は、出力信号Ｓの平均強度、すなわち撮像素子１０で撮像された画像の平均的な明るさに応じて調整される。
【００５０】
具体的には、自動露光調整部３６ｄにおいて決定されるゲインコードＧＣに応じて増幅率が設定される。撮像された画像の平均的な明るさが高いほどデジタル増幅器３６ａにおける増幅率は低く設定される。すなわち、撮像された画像の平均的な明るさが高いときにデジタル増幅器３６ａにおける増幅率は低く設定され、撮像された画像の平均的な明るさが低いときにデジタル増幅器３６ａにおける増幅率は高く設定される。
【００５１】
また、ばらつき検出部３６ｅから出力されるばらつき補正係数Ｓｄに応じてデジタル増幅器３６ａの増幅率を調整することも好適である。例えば、ばらつき補正係数Ｓｄにより示される出力信号Ｓのばらつきが大きくなるにつれてデジタル増幅器３６ａの増幅率を低くする。すなわち、出力信号Ｓのばらつきが大きい場合にはデジタル増幅器３６ａの増幅率を低くし、出力信号Ｓのばらつきが小さい場合にはデジタル増幅器３６ａの増幅率を高くする。
【００５２】
このように、出力信号Ｓのばらつきの度合いに応じてデジタル増幅器３６ａの増幅率を補正することによって、出力信号Ｓのばらつきによる画像のざらつき感を抑制することができる。
【００５３】
デジタルフィルタ３６ｂは、出力信号Ｓの低域ノイズを除去する。デジタルフィルタ３６ｂは、例えば、出力信号Ｓを高速フーリエ変換し、出力信号Ｓから所定の周波数帯域ｆｃを除去することによって実現することができる。
【００５４】
ここで、ばらつき検出部３６ｅから出力されるばらつき補正係数Ｓｄに応じて周波数帯域ｆｃの帯域幅や中心周波数を調整できるようにすることが好適である。例えば、ばらつき補正係数Ｓｄにより示される出力信号Ｓのばらつきが大きい場合には周波数帯域ｆｃを通常よりも広く設定し、ばらつき補正係数Ｓｄにより示される出力信号Ｓのばらつきが小さい場合には周波数帯域ｆｃを通常よりも狭く設定する。また、例えば、ばらつき補正係数Ｓｄにより示される出力信号Ｓのばらつきが大きい場合には周波数帯域ｆｃの中心周波数ｆｍを通常よりも高く設定し、ばらつき補正係数Ｓｄにより示される出力信号Ｓのばらつきが小さい場合には周波数帯域ｆｃの中心周波数ｆｍを通常よりも低く設定する。
【００５５】
このように、出力信号Ｓのばらつきの大きさに応じてフィルタ特性を調整することによって、ばらつきが大きい場合にはばらつきによる高周波のノイズ成分を確実に除去し、ばらつきが小さい場合には不必要に出力信号Ｓの高周波成分がカットされることがないようにすることができる。
【００５６】
デジタル信号処理部３６ｃは、デジタルフィルタ３６ｂから出力された出力信号Ｓに対して各種の補正処理等を行う。デジタル信号処理部３６ｃで行われる処理としては、色抑圧補正、輪郭補正処理、ガンマ補正処理等の画像処理が挙げられる。
【００５７】
デジタル信号処理部３６ｃにおける処理をばらつき補正係数Ｓｄに応じて調整することも好適である。色抑圧補正処理では、出力信号Ｓのばらつきに応じて色の抑圧を調整することが好適である。例えば、色抑圧補正処理において、出力信号Ｓのばらつきが大きくなるにつれて赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色の抑圧を強くし、出力信号Ｓのばらつきが小さくなるにつれて色の抑圧を弱くする。また、ガンマ補正処理において、出力信号Ｓのばらつきに応じてガンマ曲線の低周波数帯域を調整することが好適である。例えば、出力信号Ｓのばらつきが大きくなるにつれてガンマ曲線の低周波数帯域を低下させ、出力信号Ｓのばらつきが小さくなるにつれてガンマ曲線の低周波数帯域を増加させる。また、輪郭補正処理において、出力信号Ｓのばらつきに応じて輪郭の強調を調整することが好適である。例えば、出力信号Ｓのばらつきが大きくなるにつれて輪郭の強調を強くし、出力信号Ｓのばらつきが小さくなるにつれて輪郭の強調を弱くする。
【００５８】
自動露光調整部３６ｄは、デジタル増幅器３６ａで増幅された出力信号Ｓを受けて、出力信号Ｓに基づいて撮像素子１０の露光時間を決定する。自動露光調整部３６ｄは、出力信号Ｓから有効画素領域１０ａに対応する信号を抽出し、抽出された信号の平均値に応じて次フレームの撮像の露光時間を示す露光調整信号Ｓｅを算出する。露光調整信号Ｓｅは、制御部３８へ出力される。また、自動露光調整部３６ｄは、抽出された信号の平均値に応じてゲインコードＧＣを設定する。ゲインコードＧＣは、信号の平均値が小さくなるにつれて大きな値を有するように設定される。ゲインコードＧＣは、アナログ増幅器３４及びデジタル増幅器３６ａへ出力される。
【００５９】
ばらつき検出部３６ｅは、デジタル増幅器３６ａで増幅された出力信号Ｓを受けて、出力信号Ｓのばらつきの大きさを示すばらつき補正係数Ｓｄを設定する。より具体的には、オプティカルブラック領域１０ｂからの出力信号Ｓに対して統計的な処理を施すことによって、出力信号Ｓのばらつきの大きさを表す統計値を算出し、その統計値に基づいてばらつき補正係数Ｓｄを設定する。ばらつき補正係数Ｓｄは、クランプ部３３、アナログ増幅器３４、デジタル増幅器３６ａ、デジタルフィルタ３６ｂ、デジタル信号処理部３６ｃに出力される。
【００６０】
オプティカルブラック領域１０ｂからの出力信号Ｓは一般的に黒レベルＳｂを平均値μとする正規分布となる。そこで、１フレーム内のオプティカルブラック領域１０ｂからの出力信号Ｓのうち最大値と最小値とを抽出し、最大値と最小値との差の絶対値に応じてばらつき補正係数Ｓｄを設定することが好適である。また、例えば、１フレーム内のオプティカルブラック領域１０ｂからの出力信号Ｓの分布の分散σを求め、分散値σに基づいてばらつき補正係数Ｓｄを設定してもよい。
【００６１】
制御部３８は、タイミングパルス生成回路を含んで構成される。制御部３８は、システムクロックに基づいて、撮像素子１０における撮像及び情報電荷の転送を制御するための垂直クロックパルス、水平クロックパルス、出力パルス、リセットパルス等のクロックパルスを生成して撮像部１０の各部へ出力する。また、出力部１０ｄから各画素の出力信号Ｓが出力される毎に、リセットパルス等のクロックパルスに同期させてＣＤＳ部１２、クランプ部３３、アナログ増幅器３４、Ａ／Ｄ変換器３５及び信号処理部３６に対して順に制御クロックを出力する。これによって、各画素からの出力信号ＳがＣＤＳ部１２、クランプ部３３、アナログ増幅器３４、Ａ／Ｄ変換器３５及び信号処理部３６に順に伝達される。これによって、適切なタイミングで出力信号Ｓに対する処理が行われる。
【００６２】
ここで、制御部３８は、露光調整信号Ｓｅを受けて、露光調整信号Ｓｅに基づいて撮像素子１０への垂直クロックパルスを制御して撮像期間を調整することが好適である。また、クランプ部３３においてクランプされたクランプレベルＳｃを基準として、撮像素子１０における撮像の条件を変更することも好適である。例えば、クランプレベルＳｃが高くなるほど次の撮像期間を短くする処理を行うことによって、信号のダイナミックレンジを高く維持することができる。
【００６３】
以上のように、オプティカルブラック領域からの出力信号のばらつきを評価することによって、信号に対する増幅率、アナログ／デジタル変換特性、フィルタ特性、各種補正特性等を出力信号のばらつきに応じて最適化することができる。これにより、画像の画質を向上させることができる。
【００６４】
なお、本実施の形態では、撮像部１０ｉに遮光されたオプティカルブラック領域を設けて、オプティカルブラック領域から出力された出力信号のばらつきを評価したが、これに限定されるものではない。例えば、撮像部１０ｉに機械的に開閉できるシャッタを設け、シャッタを閉じた状態で得られた出力信号のばらつきを評価してもよい。
【００６５】
＜黒レベル補正処理＞
上記実施の形態では、オプティカルブラック領域１０ｂ全体の出力信号Ｓの平均値から黒レベルＳｂを決定した。ところが、オプティカルブラック領域１０ｂの近傍に位置する有効画素領域１０ａへの入射光の強度が極めて高い場合、有効画素領域１０ａから入射した光が撮像部１０ｉ内で反射してオプティカルブラック領域１０ｂへ回り込み黒レベルＳｂにも影響を及ぼす場合がある。そこで、撮像装置１００を変形して黒レベルＳｂをより正確に求めることを可能とする。
【００６６】
本変形例における撮像装置１０２は、図８に示すように、撮像素子１０、相関２重サンプリング部１２、オプティカルブラック処理部２０、クランプ部３３、アナログ増幅器３４、Ａ／Ｄ変換器３５、信号処理部３６及び制御部３８を含んで構成される。撮像装置１０２のうち、撮像装置１００と同様の構成部には図１と同一の符号を付した。なお、オプティカルブラック処理部２０はクランプ部３３と一体の回路として設けてもよい。
【００６７】
オプティカルブラック処理部２０は、ＣＤＳ部１２から出力された信号を受けて、オプティカルブラック領域１０ｂに含まれる受光画素から出力された出力信号Ｓのうち一部を除いて黒レベルＳｂを決定する。
【００６８】
具体的には、オプティカルブラック領域１０ｂの少なくとも一部の領域を空間的に互いに分離された複数のサブ領域に分割して、複数のサブ領域における各々の出力信号Ｓに基づいて黒レベルＳｂを決定する。黒レベルＳｂはクランプ部３３へ出力される。クランプ部３３は、オプティカルブラック領域１０ｂで求められた黒レベルＳｂに基づいてクランプレベルＳｃを設定する。
【００６９】
なお、オプティカルブラック処理部２０の処理は、各フレーム毎に行うことが好適であるが、撮像装置１００の電源投入時に行うことも好適である。また、オプティカルブラック処理部２０の処理は、所定の時間が経過する毎に定期的に行うことも好適である。
【００７０】
以下、オプティカルブラック処理部２０における信号処理方法について図９のフローチャートを参照して説明する。オプティカルブラック処理部２０における信号処理では、撮像部１０ｉの有効画素領域１０ａ及びオプティカルブラック領域１０ｂから出力される信号を半導体メモリ等の記憶手段にバッファリングして行うことが好適である。
【００７１】
ステップＳ１０では、オプティカルブラック領域１０ｂの少なくとも一部の領域を空間的に互いに分離された位置に配置された複数のサブ領域１０ｃに分割する。図２２に示すように、オプティカルブラック領域１０ｂが撮像部１０ｉにおける蓄積部１０ｓに近接する数行分の画素領域及び撮像部１０ｉにおける左右のいずれかの数列分の画素領域から構成される場合、例えば、図１０に示すように、蓄積部１０ｓに近接する数行分の画素領域のうち左下及び右下の領域及び左右のいずれかの数列分の画素領域の上部の領域をサブ領域１０ｃ−１，１０ｃ−２，１０ｃ−３とする。
【００７２】
ステップＳ１２では、各サブ領域からの出力信号Ｓに対して統計的な処理を施して統計値を算出する。オプティカルブラック処理部２０は、ステップＳ１０で分割されたサブ領域の各々について出力信号Ｓの統計値を算出する。統計値として、例えば、各サブ領域に含まれる総ての受光画素の出力信号Ｓの加算値を算出することが好適である。また、統計値として、各サブ領域に含まれる総ての受光画素の出力信号Ｓの平均値を算出することも好適である。
【００７３】
さらに、統計値を算出する際に、有効画素領域１０ａからオプティカルブラック領域１０ｂの各画素までの距離に応じてサブ領域１０ｃの各画素の出力信号Ｓに重み付けをして処理を行うことも好適である。有効画素領域１０ａから距離が離れるに従って有効画素領域１０ａへの入射光がオプティカルブラック領域１０ｂに与える影響は小さくなると考えられるので、有効画素領域１０ａから離れるに従って出力信号Ｓに対する重み付けを小さくして統計値を算出することが好適である。例えば、有効画素領域１０ａに隣接する画素よりも有効画素領域１０ａから１画素以上離れた位置にある画素の重み付けを小さくして統計値を算出することが好ましい。
【００７４】
ステップＳ１４では、出力信号Ｓの黒レベルＳｂを決定する。オプティカルブラック処理部２０は、ステップＳ１２において算出された統計値に基づいて黒レベルＳｂを決定する。黒レベルＳｂは次の幾つかの方法で決定することができる。
【００７５】
第１の方法として、受光画素の出力信号Ｓの加算値又は平均値のうち最も小さい値を選択し、その選択された加算値又は平均値に対応するサブ領域１０ｃに含まれる受光画素の出力信号Ｓの平均値を黒レベルＳｂとすることが好適である。第１の方法では、有効画素領域１０ａ内における入射光が強い領域から最も遠くに位置するサブ領域１０ｃの出力信号Ｓに基づいて黒レベルＳｂを決定することができる。この方法は、有効画素領域１０ａ内に入射光が強い領域が複数存在する場合に有効である。
【００７６】
さらに、最も小さい加算値又は平均値に対応するサブ領域１０ｃに含まれる受光画素の平均値に所定のオフセット値を加えた値をオプティカルブラック参照値とし、オプティカルブラック参照値とオプティカルブラック領域１０ｂの各受光画素からの出力値とを比較して、オプティカルブラック参照値を超える出力値を除いて、残りの出力値の平均値を黒レベルＳｂとすることも好適である。すなわち、オプティカルブラック参照値を超える出力信号Ｓを出力するオプティカルブラック領域１０ｂの受光画素には有効画素領域１０ａから回り込んだ光の影響が及んでいるものとして除外する。
【００７７】
第２の方法として、受光画素の出力信号Ｓの加算値又は平均値のうち最も大きい値を選択し、その選択された加算値又は平均値に対応するサブ領域１０ｃを除いて、残ったサブ領域１０ｃに含まれる受光画素の出力の平均値を黒レベルＳｂとすることが好適である。第２の方法では、有効画素領域１０ａ内における入射光が強い強度を有する領域に最も近いサブ領域１０ｃの影響を除いて黒レベルＳｂを決定することができる。
【００７８】
さらに、最も大きい加算値又は平均値を有するサブ領域１０ｃを除いて、残りのサブ領域１０ｃに含まれる受光画素の平均値に所定のオフセット値を加えた値をオプティカルブラック参照値とし、オプティカルブラック参照値とオプティカルブラック領域１０ｂの各受光画素からの出力値とを比較して、オプティカルブラック参照値を超える出力値を除いて、残りの出力値の平均値を黒レベルＳｂとすることも好適である。オプティカルブラック参照値を超える出力信号Ｓを出力するオプティカルブラック領域１０ｂの受光画素には有効画素領域１０ａから回り込んだ光の影響が及んでいるものとして除外する。
【００７９】
以上のようにして算出された黒レベルＳｂをクランプ部３３においてクランプすることによって、後段における出力信号Ｓへの各種処理や撮像素子１０における撮像の条件の設定に利用することができる。
【００８０】
また、ステップＳ１０において、撮像素子１０からの出力信号Ｓに応じて、サブ領域１０ｃの分割処理を変更することも好適である。例えば、撮像素子１０の有効画素領域１０ａからの出力信号Ｓの強度の最大値、加算値、平均値等の統計値に応じて、サブ領域１０ｃの大きさ、数、形状等を変更することが好適である。具体的には、有効画素領域１０ａからの出力信号Ｓの最大値が高くなるにつれて、各サブ領域１０ｃのサイズを大きくすると共に分割数を低減させることが好ましい。これによって、極めて入射光の強度が強い領域が存在する場合に、その領域から影響を受けたサブ領域１０ｃを除いて黒レベルＳｂを決定することができる。
【００８１】
また、撮像素子１０の有効画素領域１０ａからの出力信号Ｓと所定の閾値とを比較し、閾値を超える信号が含まれていた場合にはオプティカルブラック領域１０ｂを複数のサブ領域１０ｃに分割して黒レベルＳｂを決定し、閾値を超える信号が含まれていなかった場合にはオプティカルブラック領域１０ｂをサブ領域１０ｃに分割せず黒レベルＳｂを決定してもよい。これによって、入射光の強度が強い領域が存在する場合にはその領域から影響を受けたサブ領域１０ｃを除いて黒レベルＳｂを決定し、入射光の強度が強い領域が存在しない場合にはオプティカルブラック領域１０ｂ全体を用いて黒レベルＳｂを決定することができる。
【００８２】
以上のように、本実施の形態によれば、有効画素領域からオプティカルブラック領域へ回り込んだ光の影響を除いて、撮像素子の画像信号の黒レベルを適切に決定することができる。このように適切に決められた黒レベルを基準とすることによって、画像信号の処理や撮像素子の制御を適確に行うことが可能となる。その結果、より高品質の画質を有する画像を得ることができる。
【００８３】
なお、本変形例では、フレームトランスファー型ＣＣＤ固体撮像素子について説明したが、他形式のＣＣＤ固体撮像素子やＣＭＯＳ固体撮像素子等を備えた撮像素子にも適用することができる。
【００８４】
＜水平サグ補正処理＞
撮像素子１０からの出力信号Ｓには、垂直サグ（Ｖサグ）や水平サグ（Ｈサグ）と呼ばれる波形のひずみが生ずる場合がある。本変形例では、出力信号Ｓからサグ成分を除去することを可能とする。
【００８５】
本変形例における撮像装置１０４は、図１１に示したように、撮像素子１０、相関２重サンプリング部１２、クランプ部３３、アナログ増幅器３４、Ａ／Ｄ変換器３５、信号処理部３７及び制御部３８を含んで構成される。撮像装置１０４は、図１２に示すように、信号処理部３７にサグ補正部２２を含む点で撮像装置１００と異なっている。
【００８６】
サグ補正部２２は、Ａ／Ｄ変換器３５でデジタル化された出力信号Ｓを受けて、オプティカルブラック領域１０ｂ内の各受光画素から出力される出力信号Ｓの傾向に基づいて出力信号Ｓのサグ成分を補正する。サグ補正部２２を含む信号処理部３７は、半導体メモリ等の記憶素子等を含むマイクロコンピュータで構成することができる。なお、サグ補正部２２の処理は、撮像装置１００の電源投入時に行うことが好適である。また、サグ補正部２２の処理は、所定の時間が経過する毎に定期的に行うことも好適である。
【００８７】
信号処理部３７におけるサグ補正部２２の後段では、サグ成分が除去された出力信号Ｐに対してデジタル増幅処理等の各種処理が施される。
【００８８】
以下、サグ補正部２２における水平サグ（Ｈサグ）の補正処理方法について図１３のフローチャートを参照して説明する。ここでは、図１４に示すように、撮像部１０ｉの行方向に沿って蓄積部１０ｓに最も近い行から５行分の画素領域がオプティカルブラック領域１０ｂとされた場合を説明する。サグ補正部２２における信号処理では、撮像部１０ｉの有効画素領域１０ａ及びオプティカルブラック領域１０ｂからの出力信号Ｓを半導体メモリ等の記憶手段にバッファリングして行うことが好適である。
【００８９】
ステップＳ２０では、オプティカルブラック領域１０ｂから出力された出力信号Ｓについて各列に対する平均値Ｗｖを算出する。サグ補正部２２は、Ａ／Ｄ変換器３５でデジタル化された出力信号Ｓを受けて、オプティカルブラック領域１０ｂからの出力信号Ｓの列毎の平均値Ｗｖを算出する。
【００９０】
撮像部１０ｉの行方向に沿って蓄積部１０ｓに最も近い行から５行分の画素領域がオプティカルブラック領域１０ｂとされた場合、撮像素子１０から出力される１フレームの出力信号Ｓは、図１５に示すように、先頭の５行に遮光されたオプティカルブラック領域１０ｂに対応する信号が表れ、続いて有効画素領域１０ａに対応する信号が表れる。サグ補正部２２は、先頭の５行の出力信号Ｓについて列毎の平均値を算出する。すなわち、第ｎ行，第ｍ列の受光画素の出力信号Ｓ（ｎ，ｍ）について、Ｍ列の平均値Ｗｖ（Ｍ）＝[（１，Ｍ）＋（２，Ｍ）＋（３，Ｍ）＋（４，Ｍ）＋（５，Ｍ）]／５を算出する。
【００９１】
ステップＳ２２では、出力信号Ｓの平均値Ｗｖ（Ｍ）の水平方向（行方向）への変化に基づいて各列に対する水平サグ成分Ｖｖ（Ｍ）（但し、Ｍは列番）を求める。サグ補正部２２は、ステップＳ２０で算出したオプティカルブラック領域１０ｂの各列に対する平均値について最小二乗法等を用いて近似し、その近似式から各列に対する水平サグ成分Ｖｖ（Ｍ）を求める。
【００９２】
転送時の転送クロックパルスの経時的な変化等の伝送系における低域特性の影響がある場合、図１６に示すように、出力信号Ｓの平均値Ｗｖ（Ｍ）が水平方向（行方向）に沿って徐々に増加（又は、低下）するような水平サグと呼ばれる波形のひずみが重畳する。
【００９３】
例えば、図１６に示すように、出力信号Ｓの平均値Ｗｖ（ｍ）が水平方向（行方向）に沿って直線的に増加する傾向を示した場合、最小二乗法により出力信号Ｓの平均値を水平方向（行方向）に沿って直線近似すると、近似式Ｗｖ（ｍ）＝Ａｍ＋Ｂ（ｍは列番、Ａ，Ｂは係数）が得られる。そこで、得られた近似式から算出される近似平均値Ｗｖ（Ｍ）を第Ｍ列に対する水平サグ成分Ｖｖ（Ｍ）とする。
【００９４】
なお、近似法は最小二乗法に限定されるものではなく、他の近似法を用いてもよい。また、直線近似に限定されるものではなく、二次曲線による近似としてもよい。
【００９５】
ステップＳ２４では、出力信号Ｓからサグ成分を取り除く補正処理が行われる。サグ補正部２２は、Ａ／Ｄ変換器３５でデジタル化された出力信号Ｓから対応する列の水平サグ成分を引いて補正された出力信号Ｐを算出する。すなわち、第ｎ行，第ｍ列から出力された出力信号Ｓ（ｎ，ｍ）については、出力信号Ｓ（ｎ，ｍ）−水平サグ成分Ｖｖ（ｍ）を補正された出力信号Ｐ（ｎ，ｍ）として出力する。
【００９６】
以上のように、サグ補正部２２における水平サグ（Ｈサグ）の補正処理方法が行われる。これによって、転送クロックパルスの経時的な変化等の伝送系における低域特性の影響を除去することができる。したがって、出力信号の波形のひずみを抑制することができ、画像信号を適切に処理することができる。これにより、画像の画質を向上させることができる。
【００９７】
なお、本変形例では、フレームトランスファー型ＣＣＤ固体撮像素子について説明したが、他形式のＣＣＤ固体撮像素子やＣＭＯＳ固体撮像素子等を備えた撮像素子にも適用することができる。
【００９８】
＜垂直サグ補正処理＞
以下、サグ補正部２２における垂直サグ（Ｖサグ）の補正処理方法について図１７のフローチャートを参照して説明する。ここでは、図１８に示すように、撮像部１０ｉの列方向に沿って各行の先頭から５列分の画素領域がオプティカルブラック領域１０ｂとされた場合を説明する。サグ補正部２２における信号処理では、撮像部１０ｉの有効画素領域１０ａ及びオプティカルブラック領域１０ｂからの出力信号Ｓを半導体メモリ等の記憶手段にバッファリングして行うことが好適である。
【００９９】
ステップＳ３０では、オプティカルブラック領域１０ｂから出力された出力信号Ｓについて各行に対する平均値Ｗｈを算出する。サグ補正部２２は、Ａ／Ｄ変換器３５でデジタル化された出力信号Ｓを受けて、オプティカルブラック領域１０ｂからの出力信号Ｓの列毎の平均値Ｗｈを算出する。
【０１００】
撮像部１０ｉの列方向に沿って各行の先頭から５列分の画素領域がオプティカルブラック領域１０ｂとされた場合、撮像素子１０から出力される１フレームの出力信号Ｓは、図１９に示すように、各行の出力信号Ｓの先頭に５列分の遮光されたオプティカルブラック領域１０ｂに対応する信号が表れ、続いて有効画素領域１０ａに対応する信号が表れる。サグ補正部２２は、先頭の５列の出力信号Ｓについて行毎の平均値Ｗｈを算出する。すなわち、第ｎ行，第ｍ列の受光画素の出力信号Ｓ（ｎ，ｍ）に対して、Ｎ行の平均値Ｗｈ（Ｎ）＝[（Ｎ，１）＋（Ｎ，２）＋（Ｎ，３）＋（Ｎ，４）＋（Ｎ，５）]／５が算出される。
【０１０１】
ステップＳ３２では、出力信号Ｓの平均値Ｗｈの垂直方向（列方向）への変化に基づいて各行に対する垂直サグ成分Ｖｈ（Ｎ）（但し、Ｎは行番）を求める。サグ補正部２２は、ステップＳ３０で算出したオプティカルブラック領域１０ｂの各行に対する平均値について最小二乗法等を用いて近似し、その近似式から各行に対する水平サグ成分Ｖｈ（Ｎ）を求める。
【０１０２】
転送クロックパルスの経時的な変化等の伝送系における低域特性の影響がある場合、図２０に示すように、出力信号Ｓの平均値Ｗｈ（Ｎ）が垂直方向（列方向）に沿って徐々に増加（又は、低下）するような垂直サグと呼ばれる波形のひずみが生ずる。
【０１０３】
例えば、図２０に示すように、出力信号Ｓの平均値Ｗｈ（ｎ）が垂直方向（列方向）に沿って直線的に増加する傾向を示した場合、最小二乗法により出力信号Ｓの平均値を垂直方向（列方向）に沿って直線近似すると、近似式Ｗｈ（ｎ）＝Ｃｎ＋Ｄ（ｎは行番、Ｃ，Ｄは係数）が得られる。そこで、得られた近似式から算出される近似平均値Ｗｈ（Ｎ）を第Ｎ行に対する垂直サグ成分Ｖｈ（Ｎ）とする。
【０１０４】
なお、近似法は最小二乗法に限定されるものではなく、他の近似法を用いてもよい。また、直線近似に限定されるものではなく、二次曲線による近似としてもよい。
【０１０５】
ステップＳ３４では、出力信号Ｓからサグ成分を取り除く補正処理が行われる。サグ補正部２２は、Ａ／Ｄ変換器３５でデジタル化された出力信号Ｓから対応する行の垂直サグ成分Ｖｈを引いて補正された出力信号Ｐを算出する。すなわち、第ｎ行，第ｍ列から出力された出力信号Ｓ（ｎ，ｍ）については、出力信号Ｓ（ｎ，ｍ）−垂直サグ成分Ｖｈ（ｎ）を補正された出力信号Ｐ（ｎ，ｍ）として出力する。
【０１０６】
以上のように、サグ補正部２２における垂直サグ（Ｖサグ）の補正処理方法が行われる。これによって、転送時の転送クロックパルスの経時的な変化等の伝送系における低域特性の影響を除去することができる。したがって、出力信号の波形のひずみを抑制することができ、画像信号を適切に処理することができる。これにより、画像の画質を向上させることができる。
【０１０７】
さらに、水平サグ（Ｈサグ）の補正処理方法と垂直サグ（Ｖサグ）の補正処理方法とを組み合わせて補正処理を行うこともできる。この場合、図１４及び図１８を組み合わせるように、オプティカルブラック領域１０ｂは、撮像部１０ｉにおける蓄積部１０ｓに近接する数行分の画素領域及び撮像部１０ｉにおける左右のいずれかの数列分の画素領域から構成する。上記方法により水平サグ成分Ｖｖ（ｍ）及び垂直サグ成分Ｖｈ（ｎ）を算出し、出力信号Ｓ（ｎ，ｍ）から対応する列ｍの水平サグ成分Ｖｖ（ｍ）と対応する行ｎの垂直サグ成分Ｖｈ（ｎ）の積を引いて補正された出力信号Ｐ（ｎ，ｍ）を算出する。すなわち、補正された出力信号Ｐ（ｎ，ｍ）＝出力信号Ｓ（ｎ，ｍ）−Ｖｖ（ｍ）×Ｖｈ（ｎ）として算出することができる。
【０１０８】
なお、本変形例では、フレームトランスファー型ＣＣＤ固体撮像素子について説明したが、他形式のＣＣＤ固体撮像素子やＣＭＯＳ固体撮像素子等を備えた撮像素子にも適用することができる。
【図面の簡単な説明】
【０１０９】
【図１】本発明の実施の形態における撮像装置の構成を示す図である。
【図２】ＣＣＤ固体撮像素子の撮像部及び蓄積部の画素の配列構成を示す平面図である。
【図３】ＣＣＤ固体撮像素子における情報電荷の蓄積の様子を説明する図である。
【図４】ＣＣＤ固体撮像素子における垂直クロックパルスのタイミングチャートを示す図である。
【図５】本発明の実施の形態におけるクランプレベルの設定方法を説明する図である。
【図６】本発明の実施の形態におけるアナログ／デジタル変換処理を説明する図である。
【図７】本発明の実施の形態における信号処理部の構成を示す図である。
【図８】本発明の変形例における撮像装置の構成を示す図である。
【図９】本発明の変形例における撮像装置の信号処理方法のフローチャートを示す図である。
【図１０】オプティカルブラック領域をサブ領域に分割した例を示す図である。
【図１１】本発明の変形例における撮像装置の構成を示す図である。
【図１２】本発明の変形例における信号処理部の構成を示す図である。
【図１３】本発明の変形例における撮像装置の信号処理方法のフローチャートを示す図である。
【図１４】撮像部におけるオプティカルブラック領域を示す図である。
【図１５】撮像素子からの出力信号の例を示す図である。
【図１６】サグ成分が重畳されている場合の出力信号の傾向を示す図である。
【図１７】本発明の変形例における撮像装置の信号処理方法のフローチャートを示す図である。
【図１８】撮像部におけるオプティカルブラック領域を示す図である。
【図１９】撮像素子からの出力信号の例を示す図である。
【図２０】サグ成分が重畳されている場合の出力信号の傾向を示す図である。
【図２１】従来の撮像装置の構成を示す図である。
【図２２】撮像部におけるオプティカルブラック領域を含むＣＣＤ固体撮像素子の構成を示す図である。
【符号の説明】
【０１１０】
１０  撮像素子、１０ａ  有効画素領域、１０ｂ  オプティカルブラック領域、１０ｃ  サブ領域、１０ｉ  撮像部、１０ｓ  蓄積部、１０ｈ  水平転送部、１０ｄ  出力部、１２  ＣＤＳ部、１３  クランプ部、１４  アナログ増幅器、１６  信号処理部、１８  制御部、２０  オプティカルブラック処理部、２２  サグ補正部、２４  転送電極、２６  チャネル領域、２８  分離領域、３３  クランプ部、３４  アナログ増幅器、３５  アナログ／デジタル変換器、３６，３７  信号処理部、３６ａ  デジタル増幅器、３６ｂ  デジタルフィルタ、３６ｃ  デジタル信号処理部、３６ｄ  自動露光調整部、３６ｅ  ばらつき検出部、３８  制御部、５０  ポテンシャル井戸、１００，１０２，１０４  撮像装置。
【図１】
2006345422.tif 000003
【図２】
2006345422.tif 000004
【図３】
2006345422.tif 000005
【図４】
2006345422.tif 000006
【図５】
2006345422.tif 000007
【図６】
2006345422.tif 000008
【図７】
2006345422.tif 000009
【図８】
2006345422.tif 000010
【図９】
2006345422.tif 000011
【図１０】
2006345422.tif 000012
【図１１】
2006345422.tif 000013
【図１２】
2006345422.tif 000014
【図１３】
2006345422.tif 000015
【図１４】
2006345422.tif 000016
【図１５】
2006345422.tif 000017
【図１６】
2006345422.tif 000018
【図１７】
2006345422.tif 000019
【図１８】
2006345422.tif 000020
【図１９】
2006345422.tif 000021
【図２０】
2006345422.tif 000022
【図２１】
2006345422.tif 000023
【図２２】
2006345422.tif 000024