(57)【要約】【課題】高輝度時の画像信号の出力低下を防止し、高輝度画素と同時に読み出される同一行画素の出力変動を防止することを課題とする。【解決手段】２次元行列状に配置され、光を電荷に変換する複数の画素と、画素の信号をサンプリング及びホールドするサンプルホールド回路と、サンプルホールド回路によりホールドされた信号を処理する信号処理部とを有し、信号処理部は、サンプルホールド回路によりホールドされた複数の画素のうちの同一行の画素の信号の平均値を算出する平均化部（Ｓ１０３）と、平均値を複数行にわたって積算することにより積算値を算出する積算部（Ｓ１０８）と、平均化部により算出された所定の行における平均値と積算部により算出された積算値との差分が第１の閾値より大きいときには、サンプルホールド回路のサンプリング期間が長くなるようにサンプリング期間を変更するサンプリング期間変更部（Ｓ１０５）とを有することを特徴とする。【選択図】図７
2012129871.tif 000002
【特許請求の範囲】
【請求項１】
光を電荷に変換する光電変換素子と、
前記光電変換素子により変換された電荷をフローティングディフュージョンに転送する転送トランジスタと、
前記フローティングディフュージョンの電位に基づく信号を信号線に出力するソースフォロワトランジスタと、
前記フローティングディフュージョンの電位をリセットするリセットトランジスタとを含み、２次元行列状に配置された複数の画素と、
前記ソースフォロワトランジスタにより前記信号線に出力された信号をサンプリング及びホールドするサンプルホールド回路と、
前記サンプルホールド回路によりホールドされた信号を処理する信号処理部とを有し、
前記信号処理部は、
前記サンプルホールド回路によりホールドされた前記複数の画素のうちの同一行の画素の信号の平均値を算出する平均化部と、
前記平均値を複数行にわたって積算することにより積算値を算出する積算部と、
前記平均化部により算出された所定の行における平均値と、前記積算部により算出された積算値との差分を算出する差分算出部と、
前記差分算出部により算出された差分と第１の閾値とを比較する第１の比較部と、
前記差分が前記第１の閾値より大きいときには、前記サンプルホールド回路のサンプリング期間が長くなるように前記サンプリング期間を変更するサンプリング期間変更部とを有することを特徴とする撮像装置。
【請求項２】
前記信号処理部は、
前記差分算出部により算出された差分と第２の閾値とを比較する第２の比較部と、
前記差分が前記第２の閾値より大きいときには、前記差分算出部により算出された差分を基に、前記所定の行の前記画素の信号を補正する補正部とを有することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記第１の閾値は、前記第２の閾値より大きいことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記複数の画素は、各行において遮光された遮光画素及び受光する受光画素を有し、
前記平均化部は、前記同一行の前記遮光画素の信号の平均値を算出、又は前記同一行の前記受光画素の信号の平均値を算出することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記信号処理部は、前記差分算出部により算出された差分と第３の閾値とを比較する第３の比較部を有し、
前記サンプリング期間変更部は、全行にわたって前記差分が前記第３の閾値以下であるときには、前記サンプルホールド回路のサンプリング期間が短くなるように前記サンプリング期間を変更することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
光を電荷に変換する光電変換素子と、
前記光電変換素子により変換された電荷をフローティングディフュージョンに転送する転送トランジスタと、
前記フローティングディフュージョンの電位に基づく信号を信号線に出力するソースフォロワトランジスタと、
前記フローティングディフュージョンの電位をリセットするリセットトランジスタとを含み、２次元行列状に配置された複数の画素と、
前記画素の信号を増幅する増幅部と、
前記ソースフォロワトランジスタにより前記信号線に出力された信号をサンプリング及びホールドするサンプルホールド回路と、
前記サンプルホールド回路によりホールドされた信号を処理する信号処理部とを有し、
前記信号処理部は、
前記画素の露出量を算出する露出量算出部と、
前記露出量算出部により算出された露出量及び前記増幅部の増幅量の両方又はいずれか一方に基づき、前記サンプルホールド回路のサンプリング期間を変更するサンプリング期間変更部とを有することを特徴とする撮像装置。
【請求項７】
さらに、前記露出量算出部により算出された露出量を基に、露光時間、絞り量、光学フィルターの有無、露出補正量、フラッシュ発光量及び露出測光エリアのうちの少なくとも１つ以上を調整する露光調整部を有することを特徴とする請求項６記載の撮像装置。
【請求項８】
光を電荷に変換する光電変換素子と、
前記光電変換素子により変換された電荷をフローティングディフュージョンに転送する転送トランジスタと、
前記フローティングディフュージョンの電位に基づく信号を信号線に出力するソースフォロワトランジスタと、
前記フローティングディフュージョンの電位をリセットするリセットトランジスタとを含み、２次元行列状に配置された複数の画素と、
前記ソースフォロワトランジスタにより前記信号線に出力された信号をサンプリング及びホールドするサンプルホールド回路と、
前記サンプルホールド回路によりホールドされた信号を処理する信号処理部とを有し、
前記信号処理部は、
前記画素の信号が所定値以上である画素の領域の面積を算出する面積算出部と、
前記面積算出部により算出された面積が所定の面積範囲内であるときには、前記サンプルホールド回路のサンプリング期間が長くなるように前記サンプリング期間を変更するサンプリング期間変更部とを有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
静止画や動画を撮影することを目的としたデジタルカメラにおいて、これまでは撮像素子としてＣＣＤセンサが用いられてきた。しかし、近年においては、ＣＭＯＳセンサの性能向上がめざましく、一部ＣＣＤセンサの置き換えが進んできている。ＣＭＯＳセンサの特徴は、画素ごとに電荷を信号出力に変換するためのアクティブ素子を用いることである。そのため、画素ごとの閾値ばらつきやリセット時の熱ノイズが存在するため、画像の固定パターンノイズやランダムノイズが発生し、画像の品質を向上させる際の障害となっている。これらのノイズを取り除くために、リセット後のリセットノイズ出力信号と電荷転送後の出力信号の差分を求めることで、画像信号を読み出すノイズ低減策（ＣＤＳ：Correlated Double Sampling）が提案されている。以下、リセット後のリセットノイズ出力信号をＮ信号、電荷転送後の出力信号をＳ信号という。
【０００３】
しかし、ＣＭＯＳセンサには、ＣＤＳを行うことによる問題点が存在する。その問題が発生するのは撮影領域内に、非常に強い輝度の被写体が含まれる場合である。強い光が入射し、フォトダイオード（以下、ＰＤという）が飽和レベルに近い状態になった場合、電荷を電圧に変換するソースフォロワから出力されるリセット後のリセットノイズ出力と電荷転送後の出力の信号差は非常に大きくなる。特に、ある行で複数のＰＤが飽和するような光が照射された場合、大きく変動したソースフォロワの出力が、寄生容量を介して列アンプの基準電圧を変動させることがある。基準電圧は全ての列アンプで共通に使用しているため、列アンプの基準電圧の変動は、その行内のすべての出力信号に影響を与えることになる。この問題はＳ信号においてのみ発生するため、強い光が被写体に存在する場合、ＣＤＳを行うことによって特定行の画像信号値が低下し、黒い帯が発生する可能性がある。
【０００４】
この問題を回避する方法として、信号処理時のＯＢクランプの補正係数を上げたり、撮像素子自体の構造を変更したりする方法が知られている。前者は、行全体がオフセット値を持って変動する特性がある点に着目して、後段の信号処理で補正する方法である。具体的にはＯＢクランプ処理にて補正を行う。この処理はアナログ信号をＡＤ変換する際に、ＯＢ画素の信号値の電圧値を予め設定した基準値になるようにオフセット値を加算するものである。ＯＢ画素部は遮光されているため外光の影響で出力電圧が変化することは無いが、温度等の環境の変化に伴い変動することがある。そのため、ＯＢ画素の信号値をある値に置き換えて基準とするためには、前述のオフセット値も環境の変化に伴いフィードバックする必要がある。このフィードバック制御をＯＢクランプという。例えば、ＯＢ画素の信号の電圧値と目標値との差分がＳとしたら、Ｓに補正係数を掛けたものをオフセット値として加算する。次の読み出しで（電圧値＋オフセット値）と目標値の差分に補正係数をかけたものを更にオフセット値に加算する。これを繰り返すことでオフセット値が適正に近づき、（電圧値＋オフセット値）≒目標値となる。ここで、補正係数が大きいほど、オフセット値が適正に早く近づくが、ＯＢ画素部にノイズが発生した際に、その影響を受けやすくなる。黒い帯が発生したら、開口部と同じ量の変動がＯＢ画素部でも発生しているため、予めＯＢクランプの補正係数を上げる。これにより、変動量をＯＢ画素部のオフセット値へ加算し、目標値へ早く収束させることができ、開口部を読み出すときに黒い帯の影響を受けにくくなる。この方法は、読み出し行のＯＢ画素部の画素数と補正係数の上限によって補正の可否が決まり、ＯＢ画素部の画素が少なかったり、補正係数が上げられない場合は、開口部の読み出し時に目標値に黒レベルを合わせたりすることが出来ず、黒い帯が残ることもある。
【０００５】
また、後者は、画素回路の出力部にクリップ回路を設け、画素回路の出力を一定電圧以下に制限し、行間の出力電圧の変動を小さくする方法である。この方法は画素ピッチの大きいセンサにおいて垂直信号線の後段の定電流回路で発生する黒い帯の対策としては有効であるが、前述のメカニズムで発生する黒い帯に対しては、効果が小さい。
【０００６】
例えば、被写体の光学像を電気信号に変換して撮像信号として出力するとともに、光学的黒領域から得られる電気信号を撮像信号として出力する撮像装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２１７２６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ＯＢクランプの補正係数を上げることは、黒い帯を軽減するのに有効であるが、その反面、ＯＢ画素部が暗電流の影響を受けた際に、暗電流に対してＯＢクランプをするため、補正係数を上げた際には、より暗電流の影響が現れやすくなる。特に黒い帯が目立つのは高感度動作をしているときが多く、常にＯＢクランプの補正係数を高くすることはＯＢ画素部のノイズの影響で画質を低下させやすいという課題がある。
【０００９】
本発明は、上記の課題、すなわち、高輝度時の画像信号の出力低下を防止し、高輝度画素と同時に読み出される同一行画素の出力変動を防止することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、光を電荷に変換する光電変換素子と、前記光電変換素子により変換された電荷をフローティングディフュージョンに転送する転送トランジスタと、前記フローティングディフュージョンの電位に基づく信号を信号線に出力するソースフォロワトランジスタと、前記フローティングディフュージョンの電位をリセットするリセットトランジスタとを含み、２次元行列状に配置された複数の画素と、前記ソースフォロワトランジスタにより前記信号線に出力された信号をサンプリング及びホールドするサンプルホールド回路と、前記サンプルホールド回路によりホールドされた信号を処理する信号処理部とを有し、前記信号処理部は、前記サンプルホールド回路によりホールドされた前記複数の画素のうちの同一行の画素の信号の平均値を算出する平均化部と、前記平均値を複数行にわたって積算することにより積算値を算出する積算部と、前記平均化部により算出された所定の行における平均値と、前記積算部により算出された積算値との差分を算出する差分算出部と、前記差分算出部により算出された差分と第１の閾値とを比較する第１の比較部と、前記差分が前記第１の閾値より大きいときには、前記サンプルホールド回路のサンプリング期間が長くなるように前記サンプリング期間を変更するサンプリング期間変更部とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、高輝度時の画像信号の出力の変動を軽減し、高輝度画素と同時に読み出される同一行画素の出力変動を抑制することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る撮像装置の構成を示す機能ブロック図である。
【図２】本発明の実施形態に係る撮像素子の構成を示す構成図である。
【図３】本発明の実施形態に係る撮像素子の内部回路を示すブロック図である。
【図４】図３に示した撮像素子を駆動するためのタイミングチャートである。
【図５】図３に示した撮像素子の内部の寄生容量を示す図である。
【図６】高輝度の被写体を撮影した際の模式図である。
【図７】本発明の第１の実施形態におけるフローチャートである。
【図８】本発明の第１の実施形態におけるタイミングチャートである。
【図９】高輝度を撮影した画素の読み出し時の電源変動を表した模式図である。
【図１０】画像信号補正の効果を表した模式図である。
【図１１】本発明の第２の実施形態におけるフローチャートである。
【図１２】本発明の第３の実施形態におけるフローチャートである。
【図１３】本発明の第４の実施形態におけるフローチャートである。
【図１４】本発明の第５の実施形態におけるフローチャートである。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。１００は固体撮像装置であり、例えばデジタルカメラである。以下、固体撮像装置１００の内部の構成を説明する。１０１は被写体からの光を固体撮像素子１０２へ集光するレンズである。１０２はＣＭＯＳ型撮像素子であり、レンズ１０１の光学系を通して入射した光を光電変換してアナログの電気信号に変換する。１０３はＡＤ変換部であり、撮像素子１０２から入力されたアナログ信号をデジタル信号へ変換する。ここで、ＡＤ変換部１０３には、ＡＤ変換処理を行う際に、アナログ信号を予め決めておいた値を基準としたデジタル値に変換するＯＢクランプ回路も含まれている。１０４は信号処理部であり、ＡＤ変換部１０３の出力信号を処理する。１０５はタイミング生成部（以下、ＴＧという）であり、全体制御・演算部１０６からの入力信号を基に、撮像素子１０２、ＡＤ変換部１０３、信号処理部１０４の処理を同期させるための信号を生成する。１０６は全体制御・演算部であり、固体撮像装置１００の動作に応じて必要な処理及び演算を行う。１０７は記憶部であり、撮影データ、調整データ、画像データ、信号処理用データ等を記憶する。１０８は記録部であり、信号処理部１０４からの信号を基にして全体制御・演算部１０６にて生成される画像データを記録する。１０９は操作部であり、釦やダイヤル等のヒューマンインターフェースで構成されていて、撮像装置１００の動作命令をする。１１０は表示部であり、信号処理部１０４からの信号を基にして全体制御・演算部１０６にて生成される画像データを表示したり、操作部１０９に入力された操作に対応したアイコン等を表示したりする。
【００１４】
図２は、図１に示した撮像装置１００に含まれる撮像素子１０２の構成例を示す。複数の画素２０１及び２０２は、２次元行列状に配置される。画素２０１はレンズ１０１からの光を受光する受光画素であり、表面に入射した光を光電変換して電気信号として出力する。画素２０２は遮光された遮光画素（以下、ＯＢ画素という）であり、受光画素２０１と異なり表面が遮光されており、後段の画像処理で、画像の黒の基準を決める際に使用される。各行において、遮光画素２０２及び受光画素２０１を有する。２０３は垂直シフトレジスタであり、撮像素子１０２の読み出し行を選択する。このとき、複数行を選択した場合、選択された行の信号が加算されて読み出される。２０４は垂直信号線であり、画素２０１，２０２の信号を後段へ伝達するために設けられている。２０５は列アンプであり、垂直シフトレジスタ２０３で選択された画素の信号を入力して増幅する。２０６は水平シフトレジスタであり、選択した列アンプ２０５の出力を外部へ出力する。ここでは、ＡＤ変換部１０３は水平シフトレジスタ２０６の後段に配置されている例を示したが、水平シフトレジスタ２０６の前段にＡＤ変換部１０３を配置する構造においても、本実施形態の動作を行うことで、同様の効果を得ることができる
【００１５】
図３は、図２に示した撮像素子１０２に含まれる画素２０１，２０２及びその周辺回路を示す。ここでは、所定の行における３つの画素に関して例示する。フォトダイオード（ＰＤ）３０３ａ〜３０３ｃは、光を電荷に変換する光電変換素子である。３０２ａ〜３０２ｃは、ＰＤ３０３ａ〜３０３ｃにより変換された電荷をフローティングディフュージョン３０４ａ〜３０４ｃに転送する転送トランジスタ（以下、転送Ｔｒという）である。３０４ａ〜３０４ｃは、電荷を蓄積するフローティングディフュージョン（以下、ＦＤという）である。３０１ａ〜３０１ｃは、ＦＤ３０４ａ〜３０４ｃの電位をリセットするリセットトランジスタ（以下、リセットＴｒという）である。３０５ａ〜３０５ｃは選択トランジスタ（以下、選択Ｔｒという）である。３０６ａ〜３０６ｃは、ＦＤ３０４ａ〜３０４ｃの電位に基づく信号を垂直信号線２０４ａ〜２０４ｃに出力するソースフォロワトランジスタ（以下、ＳＦという）である。２０４ａ〜２０４ｃは垂直信号線である。３０７は列アンプ２０５ａ〜２０５ｃでの信号増幅用の基準として用いる基準電圧Ｖｒｅｆである。３０８は画素である。２０５ａ〜２０５ｃは、垂直信号線２０４ａ〜２０４ｃの信号を増幅する列アンプである。３０９ａ〜３０９ｃは、列アンプ２０５ａ〜２０５ｃが出力するＮ信号をサンプリング及びホールド（記憶）するサンプルホールド回路（以下、Ｓ／Ｈ（Ｎ）という）である。３１０ａ〜３１０ｃは、列アンプ２０５ａ〜２０５ｃが出力するＳ信号をサンプリング及びホールドするサンプルホールド回路（以下、Ｓ／Ｈ（Ｓ）という）である。次に、固体撮像素子を制御する信号線を説明する。３１１は行選択線（以下、ＰＳＥＬという）である。３１２はリセット信号線（以下、ＰＲＥＳという）である。３１３は信号転送線（以下、ＰＴＸという）である。３１４はＳ／Ｈ（Ｎ）３０９ａ〜３０９ｃへの読み出し期間を決定する信号線（以下、ＰＴＮという）である。３１５はＳ／Ｈ（Ｓ）３１０ａ〜３１０ｃへの読み出し期間を決定する信号線（以下、ＰＴＳという）である。
【００１６】
ここでは、画素３０８に４つのトランジスタを持つ構成に関して例示したが、２種類以上のリセット電圧を用い、ＳＦを不活性化・活性化させる方式を用いることで、選択Ｔｒ３０５を削除することもできる。また、ＦＤ３０４ａ〜３０４ｃ及びＳＦ３０６ａ〜３０６ｃを複数のＰＤ３０３ａ〜３０３ｃで共有する構造においても、本実施形態の動作を行うことで、同様の効果を得ることができる。
【００１７】
図４は、図３の撮像素子１０２の制御信号線のタイミング動作を示す。撮影動作が開始されてＰＤ３０３ａ〜３０３ｃに光が入射されると、電荷が発生し、蓄積を開始する。ＰＲＥＳ３１２がハイレベルになり、ＦＤ３０４ａ〜３０４ｃの信号をリセットする。次に、ＰＳＥＬ３１１がハイレベルになり、リセットノイズを含むリセットレベルをＳＦ３０６ａ〜３０６ｃを通して、垂直信号線２０４ａ〜２０４ｃへ読み出す。そして、垂直信号線２０４ａ〜２０４ｃに読み出されたリセットレベルと基準電圧Ｖｒｅｆ３０７との差分を列アンプ２０５ａ〜２０５ｃにて増幅し出力する。Ｓ／Ｈ（Ｎ）３０９ａ〜３０９ｃは、この出力されるＮ信号を、ＰＴＮ３１４がハイレベルのサンプリング期間（以下、Ｎ読み期間という）でサンプリングし、ＰＴＮ３１４がローレベルのホールド期間でホールドする。その後、ＰＴＸ３１３をハイレベルにして、ＰＤ３０３ａ〜３０３ｃにおいて発生した電荷を、ＦＤ３０４ａ〜３０４ｃに読み出す。Ｓ／Ｈ（Ｓ）３１０ａ〜３１０ｃは、Ｎ信号と同様に、ＳＦ３０６ａ〜３０６ｃ、垂直信号線２０４ａ〜２０４ｃ、列アンプ２０５ａ〜２０５ｃを通過した後に出力されるＳ信号を入力する。そして、Ｓ／Ｈ（Ｓ）３１０ａ〜３１０ｃは、Ｓ信号を、ＰＴＳ３１５がハイレベルのサンプリング期間（以下、Ｓ読み期間という）にてサンプリングし、ＰＴＳ３１５がローのホールド期間でホールドする。ここで、Ｓ信号はＮ信号にＰＤ３０３ａ〜３０３ｃで発生した電荷による信号が加わったものである。よって、先に述べたように、Ｓ信号とＮ信号の差分を取るＣＤＳを行うことで、各画素３０８のリセットノイズや固定パターンの低減された高品質な画像信号を得ることが可能となる。
【００１８】
次に、高輝度画素と同時に読み出される同一行画素の出力が変動する問題に関して説明する。すでに述べたようにＮ信号はリセット電圧に依存した値を出力するため、ＰＤ３０３ａ〜３０３ｃの影響を受けず、被写体の輝度に依存しないＮ信号を得ることができる。一方で、読み出した画素のＳ信号は被写体の輝度に依存する。そのため、被写体の輝度が高い場合、直前に読み出しているＮ信号との信号差が大きくなり、ＳＦ３０６ａ〜３０６ｃの出力が短時間で大きく変動することになる。ＳＦ３０６ａ〜３０６ｃの出力の急峻な変動は、列アンプ２０５ａ〜２０５ｃの入力部の寄生容量５０１（図５）を介して、基準電圧Ｖｒｅｆ３０７に影響を与える。ここで、基準電圧Ｖｒｅｆ３０７は全ての列アンプ２０５ａ〜２０５ｃで共通に使用しているため、所定の画素３０８において発生した基準電圧Ｖｒｅｆ３０７の変動は、行全体のＳ信号に影響を与えてしまう。上述したように画像信号は、Ｓ信号とＮ信号の差分を取ることで得ることができるが、基準電圧Ｖｒｅｆ３０７の変動はＳ信号にのみ影響を与えるため、Ｓ信号とＮ信号の差分として得られる画像信号値は、図６に示すように、本来の値とは異なったものとなる。図６は、高輝度の被写体を撮影した際の模式図である。６０１は高輝度部分、６０２は異常部分、６０３は正常部分である。
【００１９】
図７は、本実施形態における画像信号の変動を検出し、撮影画像への影響を軽減する流れを示す。図７の記号はそれぞれ、ＨＯＢ（ｎ）はｎ行目のＯＢ画素２０２の信号の平均値、ΣＯＢ（ｎ）はｎ行目までの少なくとも１行以上の平均値ＨＯＢ（ｎ）の積算値、Ｔｈ１は第１の閾値、Ｔｈ２は第２の閾値を示す。
【００２０】
撮影が開始し（ステップＳ１０１）、撮像素子１０２は、必要な露光が行われた後、各画素の画像信号値を行ごとに順次取得する（ステップＳ１０２）。ＡＤ変換部１０３は、取り込んだ画像信号を、逐次、デジタル信号に変換する。信号処理部１０４の平均化部は、同一行のＯＢ画素２０２の信号の平均化を行い、平均値ＨＯＢ（ｎ）を算出する（ステップＳ１０３）。次に、信号処理部１０４の差分算出部は、所定のｎ行目における平均値ＨＯＢ（ｎ）と積算値ΣＯＢ（ｎ−１）の差分を算出する（ステップＳ１０４）。次に、信号処理部１０４の第１の比較部は、平均値ＨＯＢ（ｎ）と積算値ΣＯＢ（ｎ−１）の差分と、第１の閾値Ｔｈ１とを比較する（ステップＳ１０４）。平均値ＨＯＢ（ｎ）と積算値ΣＯＢ（ｎ−１）の差分は注目行における信号値の変動量を表しており、その変動量を閾値と比較することで、画素信号の変動を検出できる。信号処理部１０４のサンプリング期間変更部は、比較した結果、平均値ＨＯＢ（ｎ）と積算値ΣＯＢ（ｎ−１）の差分が第１の閾値Ｔｈ１より大きい場合、第１の閾値Ｔｈ１より大きい変動があったことを、記憶部１０７に記憶させる。全体制御・演算部１０６は、記憶部１０７に記憶された情報を基に、次の画像取得までの間に、図８に示すように、Ｓ読み期間を所定のクロック数延長するために、ＰＴＳのハイレベルのサンプリング期間が長くなるようにＴＧ１０５に指示する（ステップＳ１０５）。すなわち、信号処理部１０４のサンプリング期間変更部は、上記の差分が第１の閾値Ｔｈ１より大きいときには、サンプルホールド回路３１０ａ〜３１０ｃのサンプリング期間が長くなるようにサンプリング期間を変更する。その後、信号処理部１０４の第２の比較部は、算出した平均値ＨＯＢ（ｎ）と積算値ΣＯＢ（ｎ−１）の差分と、第２の閾値Ｔｈ２とを比較する（ステップＳ１０６）。信号処理部１０４の補正部は、比較した結果、上記の差分が第２の閾値Ｔｈ２より大きかった場合、注目行の画像信号は基準電圧Ｖｒｅｆ３０７の変動の影響を受けていると判断し、画像信号値の補正を行う（ステップＳ１０７）。具体的には、平均値ＨＯＢ（ｎ）と積算値ΣＯＢ（ｎ−１）の差分を用いた次式（１）で表される補正値を、注目行の画像信号値に加算する補正を行う。この加算処理によって画像信号値の変動を軽減することができる。ここで、α及びβは定数である。すなわち、信号処理部１０４の補正部は、上記の差分が第２の閾値Ｔｈ２より大きいときには、上記の差分を基に、所定のｎ行目の画素の信号を補正する。
（補正値）＝α×（ＨＯＢ（ｎ）−ΣＯＢ（ｎ−１））＋β      （１）
【００２１】
信号処理部１０４は、上記第２の閾値Ｔｈ２との比較の結果、基準電圧Ｖｒｅｆ３０７の変動の影響を受けていないか判断する。信号処理部１０４の積算部は、変動の影響を受けていないと判断された場合、算出した平均値ＨＯＢ（ｎ）と積算値ΣＯＢ（ｎ−１）から、次の行の変動検出に使用する平均値の積算値ΣＯＢ（ｎ）を算出する（ステップＳ１０８）。すなわち、信号処理部１０４の積算部は、平均値を複数行にわたって積算することにより積算値ΣＯＢ（ｎ）を算出する。そして、信号処理部１０４は、上記の検出・補正動作を実施した画像信号を出力する（ステップＳ１０９）。これら、ステップＳ１０２〜ステップＳ１０９を各行ごとに順次実行し（ステップＳ１１０）、全ての行で検出・補正動作を実行した後に撮影終了となる（ステップＳ１１１）。
【００２２】
次に、基準電圧Ｖｒｅｆ３０７の変動が、画像信号出力に影響を与えるシーンにおいて、Ｓ読み期間の延長でその影響が低減することに関して説明する。図９（Ａ）に示すように、飽和レベルに近い信号が含まれる画素において、ＰＴＸ３１３がハイレベルとなる時間ｔ３からの列アンプ２０５ａ〜２０５ｃの入力は、それ以前のＮ読み期間ｔ１〜ｔ２での信号値より非常に大きい値となる。前述したようにＳ信号とＮ信号の信号差は、基準電圧Ｖｒｅｆ３０７の電圧変動を引き起こす。発生した電圧変動は時間が経過するにつれて収束していくが、電圧変動が大きい場合はＳ読み期間の終了時間ｔ４までに収束しきれずに、Ｖｒｅｆ変動成分９０１が残ってしまう。このことは、画像信号出力が所望の値と異なってしまうことを意味する。この問題を解決するため、本実施形態における撮像装置は、基準電圧Ｖｒｅｆ３０７の影響による画像信号出力の変動を検出し、図９（Ｂ）に示すように、ＰＴＳ３１５の立ち下がり時間ｔ４’を遅らせることを行う。このＳ読み期間を延長する動作を行うことで、Ｖｒｅｆ変動成分９０２を低減することができる。しかし、Ｓ読み期間の延長によって、所定ブランキング期間を超えてしまう場合は、各行の読み出し時間が長くなってしまい、連写速度が低下するという問題がある。つまり、Ｓ読み期間を延長する対策は、適さないシーンがあるため常に実施することは望ましくない。
【００２３】
次に、２つの閾値Ｔｈ１，Ｔｈ２を用いることの効果に関して説明する。図１０（Ａ）で示すように、１０００は画像信号補正前の画像、１００１はダイナミックレンジ、１００２はＯＢ画素２０２の出力変動、１００３は出力変動である。１０１０は画像信号補正後の画像、１０１１はダイナミックレンジ、１０１２は補正量である。通常であれば、行ごとの出力変動１００３は、Ｓ読み期間を延長するか、ステップＳ１０７における画像信号補正を行うことで低減することができる。しかし、すでに述べたようにＳ読み期間の延長には弊害が有り、また、ステップＳ１０７の画像信号補正においては、出力変動１００３が大きいシーンにおいて効果を十分に得ることができない場合がある。ステップＳ１０７の画像信号補正が有効に働かないシーンが存在するのは、撮像素子１０２内で発生する暗電流ノイズの影響を抑えるため、ＡＤ変換部１０３でＡＤ変換する際に、ＯＢ画素２０２の信号値を一定の目標値ＯＢＣにするＯＢクランプを行うためである。一般的に、目標値ＯＢＣは、限られたＡＤ変換部１０３のダイナミックレンジを、画像信号用に広く確保するため、ダイナミックレンジの下限近くに設定することが望ましい。しかし、ＯＢ画素２０２の信号において、基準電圧Ｖｒｅｆ３０７の変動の影響で目標値ＯＢＣ以上の出力変動１００２が発生した場合、図１０（Ｂ）に示すように、ＡＤ変換部１０３のダイナミックレンジの下限値を下回ってしまう可能性がある。図１０（Ｂ）において、１０２０は画像信号補正前の画像、１０２１はダイナミックレンジ、１０２２はＯＢ画素２０２の出力変動、１０２３は出力変動である。１０３０は画像信号補正後の画像、１０３１はダイナミックレンジ、１０３２は補正残り量、１０３３は補正量である。この場合、ＡＤ変換部１０３からの出力は、下限値でクリップされてしまうため、正常なＯＢ画素２０２の信号値を取得することができなくなる。つまり、ステップＳ１０７における画像信号補正の効果を十分に得るためには、変動を検出するＯＢ画素２０２の信号の変動量１０２２を目標値ＯＢＣ以下に抑える必要がある。本実施形態の撮像装置１００においては、第１の閾値Ｔｈ１と第２の閾値Ｔｈ２の２つの閾値を設けることで、この問題を軽減している。具体的には、第１の閾値Ｔｈ１を、第２の閾値Ｔｈ２より大きくかつ目標値ＯＢＣ以下の値に設定する。このように閾値を設定することで、信号変動が小さいシーンにおいては、第２の閾値Ｔｈ２との比較によるステップＳ１０７における画像信号補正で信号変動を低減することができる。また、信号変動が大きいシーンにおいては、信号補正に加えてステップＳ１０５でＳ読み期間を延長することで信号変動を低減することができる。信号変動が大きい場合のみ、Ｓ読み期間を延長することになるため、Ｓ読み期間の延長による弊害を最小限にとどめ、幅広いシーンで基準電圧Ｖｒｅｆ３０７の影響を低減することができる。
【００２４】
ここでは、各行にあるＯＢ画素２０２の変動を検知する方法に関して例示したが、比較に用いる平均値を求める画素をＯＢ画素２０２以外の画素２０１に置き換えてもよい。すなわち、信号処理部１０４の平均化部は、同一行の遮光画素２０２の信号の平均値を算出、又は同一行の受光画素２０１の信号の平均値を算出する。また、第１の閾値Ｔｈ１と第２の閾値Ｔｈ２との比較に用いる平均値は、それぞれ異なる画素領域から求めてもよい。第１の閾値Ｔｈ１との比較に用いる平均値として、受光画素２０１を用いた場合、第１の閾値Ｔｈ１の値は、ＡＤ変換部１０３のダイナミックレンジ上限近くの値であることが望ましい。
【００２５】
以上より、画像出力信号に目標値ＯＢＣ以上の変動が発生してしまう場合においても、基準電圧Ｖｒｅｆ３０７の電圧変動の影響を低減させ、ステップＳ１０７における画像信号補正の効果を十分に得ることができる。また、高輝度被写体が発生したシーンにおいてのみ、Ｓ読み期間を延長するため、読み出し期間の増加の弊害も抑えることができる。
【００２６】
（第２の実施形態）
第１の実施形態においては、基準電圧Ｖｒｅｆ３０７の変動の影響を抑えるために、二つの閾値を用いることを例示した。固体撮像素子１０２を用いたデジタルカメラ等の撮像装置１００は、連続して複数の画像を取得し、動画形式として記憶することができる。その際に、記憶した動画をＴＶモニタ等の汎用機器で再生可能にするためには、毎秒３０フレーム等の決められたフレームレートや所定の露光時間以内で画像を取得する必要がある。本発明の第２の実施形態での撮像装置１００の構成、画素構造、画素回路、画像信号に変動を検知した際の画像信号値の補正式等は第１の実施形態と同様である。以下では、第１の閾値Ｔｈ１との比較結果を基にＳ読み期間を延長する手順に着目して例示する。
【００２７】
図１１は、本発明の第２の実施形態において、連続して画像を撮影する場合の流れを示す。撮影を開始し（ステップＳ２０１）、信号処理部１０４は、一枚目の画像を取得する（ステップＳ２０２）。次に、信号処理部１０４は、Ｓ読み期間の延長が必要か否かを判断するため、取得した画像において、上記の差分が第１の閾値Ｔｈ１を上回ったかどうかの比較を行う（ステップＳ２０３）。差分が第１の閾値Ｔｈ１より大きければステップＳ２０４へ進み、小さければステップＳ２０６へ進む。ステップＳ２０４では、信号処理部１０４は、現在のフレームレートが所定のフレームレート以下に収まっているかどうかを判断する。収まっている場合にはステップＳ２０５へ進み、収まっていない場合にはステップＳ２０６へ進む。第１の閾値Ｔｈ１より大きい変動があり、かつ現在のフレームレートが所定のフレームレート以下であった場合、ステップＳ２０５において、信号処理部１０４は、次の撮影動作において、Ｓ読み期間を所定の期間延長するようにＴＧ１０５の設定を行う。次に、ステップＳ２０６では、画像の取得を終了する。そして、連続して撮影される画像において、撮影が終了するまで逐次ステップＳ２０２からステップＳ２０６の動作を繰り返す（ステップＳ２０７、Ｓ２０８）。この動作を行うことで、変動が第１の閾値Ｔｈ１以下になるまで、基準電圧Ｖｒｅｆ３０７の影響を抑えることができる。また一方で、Ｓ読み期間の延長に限度が設定してあるため、動画等における決められたフレームレートを下回ることを防ぐことができる。ここでは、動画撮影の際に関して例示したが、静止画を撮影する場合に、決められた露光時間を超過しないようにする目的においても有効である。
【００２８】
以上より、動画撮影時や露光時間が限定された撮影時のＳ読み期間の延長に対して、上限を設定することで、毎秒３０フレーム等の決められたフレームレートや所定の露光時間以内で画像を取得することができる。
【００２９】
（第３の実施形態）
第２の実施形態においては、フレームレートの低下を抑えるため、Ｓ読み期間の延長に対して上限を設ける事に関して例示した。すでに述べたように、Ｓ読み期間の延長には、フレームレートの低下の問題がある。Ｓ読み期間の延長は必要なシーンのみで実施することが望ましい。そのため、基準電圧Ｖｒｅｆ３０７の変動を検知してＳ読み期間の延長を実行した状態において、基準電圧Ｖｒｅｆ３０７の変動の影響がなくなった場合は、速やかにＳ読み期間を元の状態に戻すことが必要となる。本発明の第３の実施形態での撮像装置１００の構成、画素構造、画素回路、画像信号に変動を検知した際の画像信号値の補正式等は第１の実施形態と同様である。以下では、第３の閾値Ｔｈ３との比較結果を基にＳ読み期間を短縮する手順に着目して例示する。
【００３０】
図１２は、本発明の第３の実施形態における、画像信号の変動を検出し、画像信号の変動による撮影画像への影響を軽減する流れを示す。図１２の記号において、Ｔｈ３は第３の閾値を示す。ステップＳ３０１〜ステップＳ３０８は、第１の実施形態のステップＳ１０１〜Ｓ１０８と同様の動作となる。本実施形態においては、ステップＳ３０８の後、信号処理部１０４の第３の比較部は、上記の差分と第３の閾値Ｔｈ３を比較することで、延長しているＳ読み期間を元に戻すかどうかの判断を行う（ステップＳ３０９）。信号処理部１０４のサンプリング期間変更部は、比較した結果、平均値ＨＯＢ（ｎ）と積算値ΣＯＢ（ｎ−１）の差分が第３の閾値Ｔｈ３より大きい場合、第３の閾値Ｔｈ３より大きい変動があったことを、記憶部１０７に記憶させる（ステップＳ３１０）。次に、信号処理部１０４は、画像信号を出力する（ステップＳ３１１）。そして、ステップＳ３０２〜ステップＳ３１１の動作を各行ごとに順次実行し（ステップＳ３１２）、検出・補正動作を必要とするすべての行で検出・補正動作を実行する。その後、全体制御・演算部１０６は、第３の閾値Ｔｈ３より大きい変動があった旨を示す情報が記憶部１０７に記憶されているか否かを判断する。第３の閾値Ｔｈ３より大きい変動があった旨を示す情報がない場合にはステップＳ３１４へ進み、その情報がある場合にはステップＳ３１５へ進む。ステップＳ３１４では、全体制御・演算部１０６は、次の画像取得までの間に、Ｓ読み期間を所定の期間短縮するため、サンプルホールド回路３１０ａ〜３１０ｃのサンプリング期間が短くなるようにＴＧ１０５に設定する（ステップＳ３１４）。すなわち、信号処理部１０４のサンプリング期間変更部は、全行にわたって上記の差分が第３の閾値Ｔｈ３以下であるときには、サンプルホールド回路３１０ａ〜３１０ｃのサンプリング期間が短くなるようにサンプリング期間を変更する。ここで、第３の閾値Ｔｈ３は、第２の閾値Ｔｈ２以下の値に設定することが望ましい。このように設定することで、Ｓ読み期間の状態遷移ヒステリシスを持つことができ、状態のハンチングの発生を抑えることができる。その後、ステップＳ３１５で、撮影を終了する。
【００３１】
以上より、第３の閾値Ｔｈ３を設けることにより、基準電圧Ｖｒｅｆ３０７の変動が発生する可能性のあるシーンにおいて、Ｓ読み期間を延長し、変動が無くなった場合は速やかにＳ読み期間を短縮することができる。つまり、フレームレートが低下するシーンを少なくすることができる。
【００３２】
（第４の実施形態）
これまで、基準電圧Ｖｒｅｆ３０７の変動の影響を、画素信号の変化として検知し、その影響を低減する方法に関して例示した。すでに述べたように、Ｓ読み期間の延長が必要となるのは非常に高い輝度の被写体を撮影したときである。しかし、撮影される被写体の輝度は、信号の増幅量や露光条件にも依存する。つまり、Ｓ読み期間の延長に関して信号の増幅量や露光条件の考慮が必要となる場合がある。本発明の第４の実施形態での撮像装置１００の構成、画素構造、画素回路、画像信号に変動を検知した際の画像信号値の補正式等は第１の実施形態と同様である。以下では、信号増幅量や露光条件を基に、Ｓ読み期間を延長する手順に着目して例示する。
【００３３】
図１３は、本発明の第４の実施形態において、Ｓ読み期間を延長し、基準電圧Ｖｒｅｆ３０７の変動の影響を抑える流れを示す。撮影を開始し（ステップＳ４０１）、信号処理部１０４は、一枚目の画像を取得する（ステップＳ４０２）。次に、信号処理部１０４の露出量算出部は、取得した画像において、画素２０１の設定された露出測光エリアにて、露出量を算出する（ステップＳ４０３）。ここでは、画面全体を露出測光エリアとして用いる。その後、信号処理部１０４は、露出量を適正値とするために、増幅部の増幅量Ａを変化させる必要があるかどうかを判断する（ステップＳ４０４）。増幅部は、図１の撮像素子１０２、ＡＤ変換部１０３、信号処理部１０４のいずれかに設けられ、画素２０１，２０２の信号を増幅する。本実施形態では最適露出を算出し、最適な信号増幅量を設定しているが、シーンに応じて手動で設定してもよい。ステップＳ４０４の結果として、増幅量Ａを増幅量Ａｕｐに増加するとなった場合、信号処理部１０４は、増幅量Ａｕｐと閾値Ａｔｈとの比較を行う（ステップＳ４０５）。信号処理部１０４のサンプリング期間変更部は、増幅量Ａｕｐが閾値Ａｔｈ以上であった場合、ステップＳ４０６の処理を行う。ステップＳ４０６では、信号処理部１０４のサンプリング期間変更部は、次回の撮影において、Ｓ読み期間を所定の期間延長するため、サンプルホールド回路３１０ａ〜３１０ｃのサンプリング期間が長くなるようにＴＧ１０５の設定を行う。そして、全体制御・演算部１０６は、次回撮影において、増幅部の増幅量を増幅量Ａｕｐにて撮影するように設定し（ステップＳ４０７）、一枚目の画像の取得を終了する（ステップＳ４０８）。そして、連続して撮影される画像において、撮影画終了するまで逐次ステップＳ４０２からステップＳ４０８の動作を行う（ステップＳ４０９、Ｓ４１０）。この動作を行うことで、信号変動が発生する可能性が高いシーンにおいて、Ｓ読み期間を延長することができ、基準電圧Ｖｒｅｆ３０７の変動の影響を抑えることができる。ここでは、信号の増幅量の増加に対応してＳ読み期間を延長することを例示したが、これに限定されない。全体制御・演算部１０６の露光調整部は、ステップＳ４０３で算出された露出量を基に、増幅量の他に、露光時間、絞り量、光学フィルターの有無、露出補正量、フラッシュ発光量及び露出測光エリア等のうちの少なくとも１つ以上を調整する。
【００３４】
以上のように、信号処理部１０４は、ステップＳ４０３で画素の露出量を算出する露出量算出部を有する。信号処理部１０４のサンプリング期間変更部は、露出量算出部により算出された露出量及び増幅部の増幅量の両方又はいずれか一方に基づき、サンプルホールド回路３１０ａ〜３１０ｃのサンプリング期間を変更する。これにより、発生した信号変動を検出するのではなく、増幅量や露出量を基にＳ読み期間を延長することで、信号変動が発生する可能性が高いシーンにおいて、信号変動の発生を未然に防止することができる。
【００３５】
（第５の実施形態）
第４の実施形態では、信号増幅量や露光条件を基に基準電圧Ｖｒｅｆ３０７の変動を予測し、Ｓ読み期間を延長する方法に関して例示した。すでに述べたように、基準電圧Ｖｒｅｆ３０７の変動は、信号レベルの高い画素の数に依存している。つまり、画面内において所定以上の信号レベルの画素で構成される領域の面積によって基準電圧Ｖｒｅｆ３０７の変動を予測することができる。本発明の第５の実施形態での撮像装置１００の構成、画素構造、画素回路、画像信号に変動を検知した際の画像信号値の補正式等は第１の実施形態と同様である。以下では、Ｓ読み期間を延長する手順に着目して例示する。
【００３６】
図１４は、本発明の第５の実施形態において、Ｓ読み期間を延長し基準電圧Ｖｒｅｆ３０７の変動の影響を抑える流れを示す。撮影を開始し（ステップＳ５０１）、信号処理部１０４は、一枚目の画像を取得する（ステップＳ５０２）。次に、信号処理部１０４は、取得した画像において、画面内の画素の信号レベルを取得する（ステップＳ５０３）。その後、信号処理部１０４の面積算出部は、ステップＳ５０３で取得した画素の信号レベルにおいて、画素の信号が所定値以上である画素の領域の面積Ｓを算出する（ステップＳ５０４）。次に、信号処理部１０４は、面積Ｓが所定の面積範囲内（Ｓｔｈ１≦Ｓ≦Ｓｔｈ２）かどうか判断する（ステップＳ５０５）。信号処理部１０４のサンプリング期間変更部は、面積Ｓが所定の面積範囲内であるときには、ステップＳ５０６の処理を行う。ステップＳ５０６では、信号処理部１０４のサンプリング期間変更部は、次回の撮影において、Ｓ読み期間を所定の期間延長するため、サンプルホールド回路３１０ａ〜３１０ｃのサンプリング期間が長くなるようにＴＧ１０５の設定を行う。その後、信号処理部１０４は、一枚目の画像の取得を終了する（ステップＳ５０７）。そして、連続して撮影される画像において、撮影画終了するまで逐次ステップＳ５０２からステップＳ５０７の動作を繰り返す（ステップＳ５０８、Ｓ５０９）。この動作を行うことで、信号変動が発生する可能性が高いシーンにおいて、Ｓ読み期間を延長することができ、基準電圧Ｖｒｅｆ３０７の変動の影響を抑えることができる。ここでは、所定の信号レベル以上の画素で構成される領域の面積Ｓに対応して、Ｓ読み期間を延長することを例示したが、これに限定されない。本実施形態は、第４の実施形態で例示した、信号の増幅量や、露光時間、絞り量、光学フィルターの有無、露出補正量、フラッシュ発光量、露出測光エリア等の露出条件のうち少なくとも一つ以上と組み合わせてもよい。また、本実施形態は、第４の実施形態と組み合わせてもよい。
【００３７】
以上より、発生した信号変動を検出するのではなく、所定の信号レベル以上の画素で構成される領域の面積を基にＳ読み期間を延長することで、信号変動が発生する可能性が高いシーンにおいて、信号変動の発生を未然に防止することができる。
【００３８】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００３９】
１００  固体撮像装置、１０２  撮像素子、１０３  ＡＤ変換部、１０４  信号処理部、２０１  受光画素、２０２  遮光画素（ＯＢ画素）、２０４  垂直信号線、３０１  リセットトランジスタ、３０２  転送トランジスタ、３０３  フォトダイオード、３０４  フローティングディフュージョン、３０５  選択トランジスタ、３０６  ソースフォロワトランジスタ、３０８  画素、３０９，３１０  サンプルホールド回路
【図１】
2012129871.tif 000003
【図２】
2012129871.tif 000004
【図３】
2012129871.tif 000005
【図４】
2012129871.tif 000006
【図５】
2012129871.tif 000007
【図６】
2012129871.tif 000008
【図７】
2012129871.tif 000009
【図８】
2012129871.tif 000010
【図９】
2012129871.tif 000011
【図１０】
2012129871.tif 000012
【図１１】
2012129871.tif 000013
【図１２】
2012129871.tif 000014
【図１３】
2012129871.tif 000015
【図１４】
2012129871.tif 000016