(57)【要約】【課題】ＣＣＤ固体撮像素子によって撮影された映像からスミアを適切に除去することができる画像信号処理方法を提供する。【解決手段】固体撮像素子から出力される画像信号を処理する画像信号処理方法であって、固体撮像部に含まれる１つの画素を着目画素とし、着目画素から出力された画像信号が撮像時において着目画素に蓄積できる飽和電荷量に相当する信号値より大きいか否かを判断する工程Ｓ１２と、工程Ｓ１２において着目画素から出力された画像信号が撮像時において着目画素に蓄積できる飽和電荷量に相当する信号値より大きいと判断された場合に、着目画素から出力された画像信号から飽和電荷量に相当する信号値を差し引く工程Ｓ１４とを含む画像信号処理方法により上記課題を解決できる。【選択図】図５
2005167665.tif 000002
【特許請求の範囲】
【請求項１】
入射する光の強度に応じた電荷を発生させて蓄積する画素を有し、電荷を転送することにより電荷量に応じた画像信号を出力し、転送時に画素に蓄積可能な飽和電荷量が撮像時に画素に蓄積可能な飽和電荷量よりも大きい固体撮像素子、から出力された前記画像信号を処理する画像信号処理装置であって、
前記固体撮像素子に含まれる画素の１つを着目画素とし、
前記着目素子から出力された画像信号が撮像時において前記着目画素に蓄積可能な飽和電荷量に相当する信号値よりも大きい場合、前記着目素子から出力された画像信号から前記飽和電荷量に相当する信号値を引いた値を電荷の転送時に付加されたスミア電荷に相当する信号値として処理することを特徴とする画像信号処理装置。
【請求項２】
請求項１に記載の画像信号処理装置において、
前記スミア電荷に相当する信号値に基づいて前記着目画素に蓄積可能な飽和電荷量に相当する信号値よりも大きい理想出力値を算出することを特徴とする画像信号処理装置。
【請求項３】
受光した光に応じて発生した電荷を蓄積する列数Ｊに行列配置された複数の画素（ｉ，ｊ）（ｉ≧１，Ｊ≧ｊ≧１）を含み、撮像時における各画素（ｉ，ｊ）に蓄積可能な電荷量が飽和電荷量Ｑmaxである撮像部を備え、撮像期間Ｔsにおいて前記撮像部の各画素（ｉ，ｊ）に蓄積された電荷Ｑi,jを転送サイクルＴで順次転送して画素（ｉ，ｊ）に対応する画像信号Ｖi,jとして出力し、転送時に画素に蓄積可能な飽和電荷量が撮像時に画素に蓄積可能な飽和電荷量Ｑmaxよりも大きい固体撮像素子、から出力される前記画像信号Ｖi,jを処理する画像信号処理装置であって、
画像信号Ｖi,jが前記飽和電荷量Ｑmaxに相当する信号値Ｖmaxより大きい場合には、ΔＶi,j＝Ｖi,j−Ｖmaxとし、
画像信号Ｖi,jが前記信号値Ｖmax以下の場合には、ΔＶi,1＝０、又は、ΔＶi,j＝ΔＶi,j-1＋Ｖi,j-1÷Ｔ／Ｔs（ｊは２以上）とし、
前記ΔＶi,jを画像信号の補正処理に供することを特徴とする画像信号処理装置。
【請求項４】
請求項３に記載の画像信号処理装置において、
転送サイクルＴに画素（ｉ，ｊ）で発生する電荷による信号値ｖi,jをｖi,1＝０、又は、ｖi,j＝ΔＶi,j−ΔＶi,j-1（ｊは２以上）とし、
前記撮像期間Ｔsに前記飽和電荷量Ｑmaxを蓄積する画素において前記転送サイクルＴに発生する電荷に相当する信号値をＶyとし、
画像信号Ｖi,jが前記信号値Ｖmaxより大きい場合の理想出力値Ｉi,jをＩi,j＝Ｖmax＋α×（ｖi,j−Ｖy）×Ｔs／Ｔ，（０＜係数α≦１）として算出することを特徴とする画像信号処理装置。
【請求項５】
入射する光の強度に応じた電荷を発生させて蓄積する画素を有し、電荷を転送することにより電荷量に応じた画像信号を出力し、転送時に画素に蓄積可能な飽和電荷量が撮像時に画素に蓄積可能な飽和電荷量よりも大きい固体撮像素子、から出力された前記画像信号を処理する画像信号処理方法であって、
前記固体撮像素子に含まれる画素の１つを着目画素とし、
前記着目素子から出力された画像信号が撮像時において前記着目画素に蓄積可能な飽和電荷量に相当する信号値よりも大きいか否かを判定する第１の工程と、
前記第１の工程において前記着目画素から出力された画像信号が撮像時において前記着目画素に蓄積可能な飽和電荷量に相当する信号値よりも大きいと判断された場合、前記着目素子から出力された画像信号から前記飽和電荷量に相当する信号値を引いた値を電荷の転送時に付加されたスミア電荷に相当する信号値とする第２の工程と、
を含むことを特徴とする画像信号処理方法。
【請求項６】
請求項５に記載の画像信号処理方法において、
前記スミア電荷に相当する信号値に基づいて前記着目画素に蓄積可能な飽和電荷量に相当する信号値よりも大きい理想出力値を算出する第３の工程を有することを特徴とする画像信号処理方法。
【請求項７】
受光した光に応じて発生した電荷を蓄積する列数Ｊに行列配置された複数の画素（ｉ，ｊ）（ｉ≧１，Ｊ≧ｊ≧１）を含み、撮像時における各画素（ｉ，ｊ）に蓄積可能な電荷量が飽和電荷量Ｑmaxである撮像部を備え、撮像期間Ｔsにおいて前記撮像部の各画素（ｉ，ｊ）に蓄積された電荷Ｑi,jを転送サイクルＴで順次転送して画素（ｉ，ｊ）に対応する画像信号Ｖi,jとして出力し、転送時に画素に蓄積可能な飽和電荷量が撮像時に画素に蓄積可能な飽和電荷量Ｑmaxよりも大きい固体撮像素子、から出力される前記画像信号Ｖi,jを処理する画像信号処理方法であって、
画像信号Ｖi,jが前記飽和電荷量Ｑmaxに相当する信号値Ｖmaxより大きいか否かを判断する第１の工程と、
前記第１の工程において画像信号Ｖi,jが前記飽和電荷量Ｑmaxに相当する信号値Ｖmaxより大きいと判断された場合には、ΔＶi,j＝Ｖi,j−Ｖmaxとする第２の工程と、
前記第１の工程において画像信号Ｖi,jが前記信号値Ｖmax以下と判断された場合には、ΔＶi,1＝０、又は、ΔＶi,j＝ΔＶi,j-1＋Ｖi,j-1÷Ｔ／Ｔs（ｊは２以上）とする第３の工程と、
をｊを増加させながら行い、前記ΔＶi,jを画像信号の補正処理に供することを特徴とする画像信号処理方法。
【請求項８】
請求項７に記載の画像信号処理方法において、
転送サイクルＴに画素（ｉ，ｊ）で発生する電荷による信号値ｖi,jをｖi,1＝０、又は、ｖi,j＝ΔＶi,j−ΔＶi,j-1（ｊは２以上）とし、
前記撮像期間Ｔsに前記飽和電荷量Ｑmaxを蓄積する画素において前記転送サイクルＴに発生する電荷に相当する信号値をＶyとし、
画像信号Ｖi,jが前記信号値Ｖmaxより大きい場合の理想出力値Ｉi,jをＩi,j＝Ｖmax＋α×（ｖi,j−Ｖy）×Ｔs／Ｔ，（０＜係数α≦１）として算出する第４の工程、
を含むことを特徴とする画像信号処理方法。
【請求項９】
入射する光の強度に応じた電荷を発生させて蓄積する画素を有し、電荷を転送することにより電荷量に応じた画像信号を出力し、転送時に画素に蓄積可能な飽和電荷量が撮像時に画素に蓄積可能な飽和電荷量よりも大きい固体撮像素子、から出力された前記画像信号を処理する画像信号処理プログラムであって、
コンピュータを、
前記固体撮像素子に含まれる画素の１つを着目画素とし、
前記着目素子から出力された画像信号が撮像時において前記着目画素に蓄積可能な飽和電荷量に相当する信号値よりも大きい場合、前記着目素子から出力された画像信号から前記飽和電荷量に相当する信号値を引いた値を電荷の転送時に付加されたスミア電荷に相当する信号値として処理する画像信号処理装置として機能させることを特徴とする画像信号処理プログラム。
【請求項１０】
請求項９に記載の画像信号処理プログラムにおいて、
前記コンピュータを、
前記スミア電荷に相当する信号値に基づいて前記着目画素に蓄積可能な飽和電荷量に相当する信号値よりも大きい理想出力値を算出する画像信号処理装置として機能させることを特徴とする画像信号処理プログラム。
【請求項１１】
複数の画素が行列配置された撮像部を備え、撮像期間において画素が受光した光に応じて発生する電荷を蓄え、転送期間において各画素に蓄積された電荷を順次転送する固体撮像素子の制御装置であって、
撮像期間において前記撮像部に形成されるポテンシャル井戸の容量よりも転送期間において前記撮像部に形成されるポテンシャル井戸の容量を大きくすることを特徴とする固体撮像素子の制御装置。
【請求項１２】
複数の画素が行列配置された撮像部を備え、撮像期間において画素が受光した光に応じて発生する電荷を蓄え、転送期間において各画素に蓄積された電荷を順次転送する固体撮像素子の制御方法であって、
撮像期間において前記撮像部に形成されるポテンシャル井戸の容量よりも転送期間において前記撮像部に形成されるポテンシャル井戸の容量を大きくすることを特徴とする固体撮像素子の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子によって取得された映像信号の画質を向上する画像信号処理装置、画像信号処理方法及び画像信号処理プログラムに関する。また、映像信号の画質を向上するために適した固体撮像素子の制御装置及び固体撮像素子の制御方法に関する。
【背景技術】
【０００２】
ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）固体撮像素子は情報電荷を一塊の信号パケットとして、外部クロックパルスに同期した速度で一方向に順序良く移動させることのできる電荷転送素子である。
【０００３】
フレーム転送方式のＣＣＤ固体撮像素子は、図７に示すように、撮像部２ｉ、蓄積部２ｓ、水平転送部２ｈ及び出力部２ｄを有する。撮像部２ｉは、垂直方向（図７の縦方向）に互いに平行に延伸された複数のシフトレジスタからなる垂直シフトレジスタを含み、各シフトレジスタの各ビットはそれぞれ２次元行列として配置された受光画素の１つとして機能する。蓄積部２ｓも、垂直方向（図７の縦方向）に互いに平行に延伸された複数のシフトレジスタからなる垂直シフトレジスタを含んで構成される。蓄積部２ｓに含まれる垂直シフトレジスタは遮光され、各シフトレジスタの各ビットが情報電荷を蓄積する蓄積画素として機能する。水平転送部２ｈは、水平方向（図７の横方向）に延伸して配置される水平シフトレジスタを含んで構成され、水平シフトレジスタの各ビットに蓄積部２ｓの各シフトレジスタの出力が接続される。出力部２ｄは、水平転送部２ｈの水平シフトレジスタから転送されてくる電荷を一時的に蓄積する容量及びその容量に蓄積された電荷を排出するリセットトランジスタを含んで構成される。
【０００４】
撮像部２ｉに入射された光が撮像部２ｉの各ビットを構成する受光画素により光電変換されて情報電荷が生成される。撮像部２ｉにおいて生成された情報電荷の２次元配列は、撮像部２ｉの垂直シフトレジスタにより蓄積部２ｓに高速で転送される。これにより、１フレーム分の情報電荷が蓄積部２ｓの垂直シフトレジスタに保持される。その後、情報電荷は１行分ずつ蓄積部２ｓから水平転送部２ｈへ転送される。さらに、情報電荷は１画素単位で水平転送部２ｈから出力部２ｄへ転送される。出力部２ｄは１画素毎の電荷量を電圧値に変換し、その電圧値の変化がＣＣＤ出力とされる。
【０００５】
撮像部２ｉ及び蓄積部２ｓは、図８（ａ）の素子内部の平面図及び図８（ｂ）の素子断面図に示すように、半導体基板１０の表面領域に形成された複数のシフトレジスタから構成される。図８（ｂ）は、図８（ａ）のＡ−Ａ線に沿った断面を示したものである。ここでは、説明を適切に行うために、撮像部２ｉ又は蓄積部２ｓの一部のみを示した。
【０００６】
Ｎ型半導体基板（Ｎ−ＳＵＢ）１０内にＰウェル（ＰＷ）１２が形成され、その上にＮウェル１４が形成される。すなわち、Ｎ型の半導体基板１０に、Ｐ型の不純物を添加することによってＰウェル１２が形成される。このＰウェル１２の表面領域に、Ｎ型の不純物を高濃度に添加することによってＮウェル１４が形成される。さらに、Ｎウェル１４の表面領域に、所定の間隔をもって互いに平行にＰ型の不純物がイオン注入されることによってＰ型不純物領域からなる分離領域１６が形成される。Ｎウェル１４は、隣接する分離領域１６によって電気的に区画され、これらの分離領域１６で挟まれた領域が情報電荷の転送経路であるチャネル領域２２となる。分離領域１６は、隣接するチャネル領域の間にポテンシャル障壁を形成し、各チャネル領域２２を電気的に分離する。
【０００７】
半導体基板１０の表面上には絶縁膜１８が成膜される。この絶縁膜１８上にチャネル領域２２の延伸方向に直交するように、ポリシリコン膜からなる複数の転送電極２６（２６−１，２６−２，２６−３）が互いに平行に配置される。ここで、隣接する３つの転送電極２６−１，２６−２，２６−３の組み合わせが１つの画素に相当する。
【０００８】
転送電極２６−１，２６−２，２６−３には、図９に示すように、電圧が印加される。図１０に、撮像期間及び転送期間におけるチャネル領域２２の延伸方向に沿ったＮウェル１４内のポテンシャル分布の様子を示す。撮像時には、例えば図９に示すように、１組の転送電極２６のうち１つの転送電極２６−２をオン状態にする。これによって、図１０（ａ）に示すように、転送電極２６−２の下のチャネル領域２２にポテンシャル井戸３２を形成する。残りの転送電極２６−１，２６−３をオフ状態にすることで、転送電極２６−２の下のポテンシャル井戸３２に情報電荷３０が蓄積される。
【０００９】
転送時には、図９に示すように、隣接する３つの転送電極２６−１，２６−２，２６−３の組み合わせ毎に互いに位相がずれた３相の転送クロックφ１〜φ３が印加される。その結果、図１０（ｂ）に示すように、転送電極２６−１，２６−２，２６−３の下にあるチャネル領域２２に形成されるポテンシャル井戸３２が転送方向に順次移動させられて、情報電荷がチャネル領域２２の延伸方向に沿って転送される。
【００１０】
例えば、図１１に示すように、撮像部２ｉに転送方向に対して垂直にＩ行（ｉ＝１〜Ｉ）、転送方向に対して平行にＪ列（ｊ＝１〜Ｊ）の画素（ｉ，ｊ）が行列配置されていると仮定する。
【００１１】
図１２（ａ）に示すように、撮像期間Ｔsにおいて画素（ｉ，ｊ）のポテンシャル井戸３２に情報電荷Ｑi,jが蓄積される。転送電極２６−１〜２６−３に１サイクルの転送クロックが印加される毎に、図１２（ｃ），（ｄ）に示すように、情報電荷Ｑi,jは、蓄積部２ｓに近い画素から順に遮光された蓄積部２ｓへと転送される。
【００１２】
機械的なシャッタが設けられていない場合、撮像部２ｉの各画素（ｉ，ｊ）には転送期間においても外部光が入射され続け、図１２（ｂ）に示すように、新たな電荷ｑi,jが各画素（ｉ，ｊ）の電荷に付加され続ける。
【００１３】
このとき、Ｊ列の画素が存在し、総ての画素の情報電荷が蓄積部２ｓに転送される時間、すなわち転送期間がＴtであったとするなら、画素（ｉ，ｊ）から次の画素（ｉ，ｊ−１）へ情報電荷が移される転送サイクルＴはＴ＝転送期間Ｔt／列数Ｊで表される。図１３に、撮像部２ｉの画素における受光強度と撮像期間Ｔs及び転送サイクルＴでその画素において発生する電荷量との関係を示す。転送サイクルＴで着目画素（ｉ，ｊ）を通過する際に発生する電荷量ｑi,jと撮像期間Ｔsにおいて着目画素（ｉ，ｊ）で蓄積される情報電荷Ｑi,jとの比は転送サイクルＴと撮像期間Ｔsとの比と等しくなる。すなわち、画素（ｉ，ｊ）から次の画素（ｉ，ｊ−１）へと情報電荷が転送される間に画素（ｉ，ｊ）において発生する新たな電荷ｑi,jは、撮像期間Ｔsに画素（ｉ，ｊ）に蓄積された情報電荷Ｑi,jと転送サイクルＴ／撮像期間Ｔsの比との積に等しくなる。これは、撮像期間Ｔsと転送サイクルＴとでの各画素（ｉ，ｊ）に対する受光強度が時間的に一定であるとみなせるからである。
【００１４】
例えば、図１２（ａ）から図１２（ｃ）のように、情報電荷が１画素分だけ転送方向に移動させられると、情報電荷Ｑi,1は新たに電荷が加わることなく隣接する蓄積部に転送されるが、情報電荷Ｑi,2には電荷ｑi,1＝Ｑi,1×Ｔ／Ｔsが加えられる。同様に、情報電荷Ｑi,j（ｊ≧３）には画素（ｉ，ｊ−１）において電荷ｑi,j-1＝Ｑi,j-1×Ｔ／Ｔsが加えられる。さらに、図１２（ｃ）から図１２（ｄ）へと情報電荷がさらに１画素分だけ転送方向に転送されると、情報電荷Ｑi,2には新たな電荷が加えられることなく、蓄積部２ｓへと転送されるが、情報電荷Ｑj,3には画素（ｉ，１）において電荷ｑi,1＝Ｑi,1×Ｔ／Ｔsが加えられる。同様に、情報電荷Ｑi,j（ｊ≧４）には画素（ｉ，ｊ−２）において電荷ｑi,j-2＝Ｑi,j-2×Ｔ／Ｔsが加えられる。
【００１５】
蓄積部２ｓに近い画素の情報電荷は遮光された蓄積部２ｓへ直ちに転送され、転送期間中に発生する電荷の影響を受け難い。一方、蓄積部２ｓから遠い画素の情報電荷は蓄積部２ｓへ向けて転送されていく間に多く画素を通過する。従って、転送期間中に蓄積される電荷量が多くなり、転送期間中に発生する電荷の影響を受け易い。
【００１６】
通常、転送期間Ｔtは撮像期間Ｔsよりも非常に短く設定されているため、転送期間中に加えられる電荷の量は撮像期間中に生成される情報電荷の量よりも非常に少ない。従って、転送期間中における電荷の蓄積の影響は通常は問題とならない。
【００１７】
しかし、太陽や輝度が高い照明等から強い光を受光している場合、撮像時間に生成された情報電荷に対して転送期間中に生成される電荷の量が無視できなくなる。その結果、図１４に示すように、画像２００内の強い光を受けている画素以降に垂直転送方向に筋を引いた映像２０２が発生することになる。この現象のことをスミアという。また、転送中に加えられる電荷をスミア電荷という。
【００１８】
スミアの発生を防ぐためには、情報電荷の転送時に撮像部２ｉを機械的に遮蔽するメカニカルシャッタを用いることが効果的である。しかしながら、メカニカルシャッタは機械的な機構やその制御装置も複雑であり高価なカメラ以外に搭載することは困難である。さらに、携帯電話のように小型化が必要なカメラへの搭載はできないのが実情である。
【００１９】
そこで、ＣＣＤ固体撮像素子で取得された映像信号を画像処理することによりスミアを除去する方法が開発されている。最も一般的な方法は、オフセットスミア除去法と呼ばれる方法である。
【００２０】
オフセットスミア除去法では、転送期間中に着目画素（ｉ，ｊ）を通過する際に発生する電荷量ｑi,jと撮像期間において着目画素（ｉ，ｊ）で蓄積された情報電荷Ｑi,jとの比が転送サイクルＴと撮像期間Ｔsとの比と等しくなることを利用してスミア成分の除去を行う。
【００２１】
例えば、図１１に示したように、撮像部２ｉの転送方向にＪ列の画素が配置され、撮像期間Ｔsにおいて画素（ｉ，ｊ）で発生した情報電荷がＱi,jであり、転送期間がＴtであった場合、転送期間において情報電荷Ｑi,jに加えられるスミア電荷ΔＱi,jは関係式（１）で表すことができる。
【００２２】
【数１】
2005167665.tif 000003
【００２３】
画素（ｉ，ｊ）から蓄積部２ｓへと転送されてくる電荷量Ｓi,jは、撮像期間Ｔsに画素（ｉ，ｊ）で蓄積された情報電荷Ｑi,jにスミア電荷ΔＱi,jを加えた値Ｓi,j＝Ｑi,j＋ΔＱi,jとなる。これらの関係式に基づいて、最終的に電荷量Ｓi,jを電圧値に変換して得られる出力部２ｄからの出力値からスミア電荷ΔＱi,jに相当する電圧値を差し引くことにより撮影画像からスミアを除去することができる。
【００２４】
【特許文献１】特許第３１５７４５５号明細書
【発明の開示】
【発明が解決しようとする課題】
【００２５】
ところが、撮像部２ｉに太陽や輝度が高い照明等からの強い光を受けている場合、強い光を受けている領域内に含まれる画素では撮像期間Ｔsに生成される情報電荷が非常に多くなる。特に光が強い場合、図１３及び図１５に示すように、発生する情報電荷が転送電極２６に印加された電圧によって形成されたポテンシャル井戸３２に蓄積可能な飽和電荷量Ｑmaxより大きくなり、情報電荷３０のオーバーフローが発生する。
【００２６】
情報電荷のオーバーフローが発生した場合、転送期間Ｔtに発生する電荷はポテンシャル井戸３２に蓄積されないため、撮像期間に蓄積された電荷Ｑi,jとスミア電荷ΔＱi,jとの関係は数式（１）では表されなくなる。従って、数式（１）を用いてスミア電荷ΔＱi,jを算出すると、スミア電荷ΔＱi,jは実際に発生する電荷量よりも少なく見積もられてしまう。その結果、従来のオフセットスミア除去法ではスミアを完全に取り除くことができなくなる。
【００２７】
本発明は、上記従来技術の問題を鑑み、ＣＣＤ固体撮像素子によって撮影された映像からスミアを適切に除去することができ、撮像素子によって取得された映像信号の画質を向上することができる画像信号処理装置、画像信号処理方法及び画像信号処理プログラムを提供することを目的とする。
【００２８】
また、画像信号の画質を向上するために適した固体撮像素子の制御装置及び固体撮像素子の制御方法を提供することを目的とする。
【課題を解決するための手段】
【００２９】
本発明は、入射する光の強度に応じた電荷を発生させて蓄積する画素を有し、電荷を転送することにより電荷量に応じた画像信号を出力し、転送時に画素に蓄積可能な飽和電荷量が撮像時に画素に蓄積可能な飽和電荷量よりも大きい固体撮像素子、から出力された前記画像信号を処理する画像信号処理装置であって、前記固体撮像素子に含まれる画素の１つを着目画素とし、前記着目素子から出力された画像信号が撮像時において前記着目画素に蓄積可能な飽和電荷量に相当する信号値よりも大きい場合、前記着目素子から出力された画像信号から前記飽和電荷量に相当する信号値を引いた値を電荷の転送時に付加されたスミア電荷に相当する信号値として処理することを特徴とする。
【００３０】
上記本発明の画像信号処理装置において、前記スミア電荷に相当する信号値に基づいて前記着目画素に蓄積可能な飽和電荷量に相当する信号値よりも大きい理想出力値を算出することもできる。
【００３１】
より具体的には、受光した光に応じて発生した電荷を蓄積する列数Ｊに行列配置された複数の画素（ｉ，ｊ）（ｉ≧１，Ｊ≧ｊ≧１）を含み、撮像時における各画素（ｉ，ｊ）に蓄積可能な電荷量が飽和電荷量Ｑmaxである撮像部を備え、撮像期間Ｔsにおいて前記撮像部の各画素（ｉ，ｊ）に蓄積された電荷Ｑi,jを転送サイクルＴで順次転送して画素（ｉ，ｊ）に対応する画像信号Ｖi,jとして出力し、転送時に画素に蓄積可能な飽和電荷量が撮像時に画素に蓄積可能な飽和電荷量Ｑmaxよりも大きい固体撮像素子、から出力される前記画像信号Ｖi,jを処理する画像信号処理装置であって、画像信号Ｖi,jが前記飽和電荷量Ｑmaxに相当する信号値Ｖmaxより大きい場合には、ΔＶi,j＝Ｖi,j−Ｖmaxとし、画像信号Ｖi,jが前記信号値Ｖmax以下の場合には、ΔＶi,1＝０、又は、ΔＶi,j＝ΔＶi,j-1＋Ｖi,j-1÷Ｔ／Ｔs（ｊは２以上）とし、前記ΔＶi,jを画像信号の補正処理に供することを特徴とする。
【００３２】
ここで、転送サイクルＴに画素（ｉ，ｊ）で発生する電荷による信号値ｖi,jをｖi,1＝０、又は、ｖi,j＝ΔＶi,j−ΔＶi,j-1（ｊは２以上）とし、前記撮像期間Ｔsに前記飽和電荷量Ｑmaxを蓄積する画素において前記転送サイクルＴに発生する電荷に相当する信号値をＶyとし、画像信号Ｖi,jが前記信号値Ｖmaxより大きい場合の理想出力値Ｉi,j＝Ｖmax＋α×（ｖi,j−Ｖy）×Ｔs／Ｔ，（０＜係数α≦１）として算出することが好適である。
【００３３】
本発明の別の態様は、入射する光の強度に応じた電荷を発生させて蓄積する画素を有し、電荷を転送することにより電荷量に応じた画像信号を出力し、転送時に画素に蓄積可能な飽和電荷量が撮像時に画素に蓄積可能な飽和電荷量よりも大きい固体撮像素子、から出力された前記画像信号を処理する画像信号処理方法であって、前記固体撮像素子に含まれる画素の１つを着目画素とし、前記着目素子から出力された画像信号が撮像時において前記着目画素に蓄積可能な飽和電荷量に相当する信号値よりも大きいか否かを判定する第１の工程と、前記第１の工程において前記着目画素から出力された画像信号が撮像時において前記着目画素に蓄積可能な飽和電荷量に相当する信号値よりも大きいと判断された場合、前記着目素子から出力された画像信号から前記飽和電荷量に相当する信号値を引いた値を電荷の転送時に付加されたスミア電荷に相当する信号値とする第２の工程とを含むことを特徴とする。
【００３４】
さらに、前記スミア電荷に相当する信号値に基づいて前記着目画素に蓄積可能な飽和電荷量に相当する信号値よりも大きい理想出力値を算出する第３の工程を有することも好適である。
【００３５】
より具体的には、受光した光に応じて発生した電荷を蓄積する列数Ｊに行列配置された複数の画素（ｉ，ｊ）（ｉ≧１，Ｊ≧ｊ≧１）を含み、撮像時における各画素（ｉ，ｊ）に蓄積可能な電荷量が飽和電荷量Ｑmaxである撮像部を備え、撮像期間Ｔsにおいて前記撮像部の各画素（ｉ，ｊ）に蓄積された電荷Ｑi,jを転送サイクルＴで順次転送して画素（ｉ，ｊ）に対応する画像信号Ｖi,jとして出力し、転送時に画素に蓄積可能な飽和電荷量が撮像時に画素に蓄積可能な飽和電荷量Ｑmaxよりも大きい固体撮像素子、から出力される前記画像信号Ｖi,jを処理する画像信号処理方法であって、画像信号Ｖi,jが前記飽和電荷量Ｑmaxに相当する信号値Ｖmaxより大きいか否かを判断する第１の工程と、前記第１の工程において画像信号Ｖi,jが前記飽和電荷量Ｑmaxに相当する信号値Ｖmaxより大きいと判断された場合には、ΔＶi,j＝Ｖi,j−Ｖmaxとする第２の工程と、前記第１の工程において画像信号Ｖi,jが前記信号値Ｖmax以下と判断された場合には、ΔＶi,1＝０、又は、ΔＶi,j＝ΔＶi,j-1＋Ｖi,j-1÷Ｔ／Ｔs（ｊは２以上）とする第３の工程と、をｊを増加させながら行い、前記ΔＶi,jを画像信号の補正処理に供することを特徴とする。
【００３６】
ここで、転送サイクルＴに画素（ｉ，ｊ）で発生する電荷による信号値ｖi,jをｖi,1＝０、又は、ｖi,j＝ΔＶi,j−ΔＶi,j-1（ｊは２以上）とし、前記撮像期間Ｔsに前記飽和電荷量Ｑmaxを蓄積する画素において前記転送サイクルＴに発生する電荷に相当する信号値をＶyとし、画像信号Ｖi,jが前記信号値Ｖmaxより大きい場合の理想出力値Ｉi,jをＩi,j＝Ｖmax＋α×（ｖi,j−Ｖy）×Ｔs／Ｔ，（０＜係数α≦１）として算出する第４の工程、を含むことも好適である。
【００３７】
また、本発明の別の態様は、入射する光の強度に応じた電荷を発生させて蓄積する画素を有し、電荷を転送することにより電荷量に応じた画像信号を出力し、転送時に画素に蓄積可能な飽和電荷量が撮像時に画素に蓄積可能な飽和電荷量よりも大きい固体撮像素子、から出力された前記画像信号を処理する画像信号処理プログラムであって、コンピュータを、前記固体撮像素子に含まれる画素の１つを着目画素とし、前記着目素子から出力された画像信号が撮像時において前記着目画素に蓄積可能な飽和電荷量に相当する信号値よりも大きい場合、前記着目素子から出力された画像信号から前記飽和電荷量に相当する信号値を引いた値を電荷の転送時に付加されたスミア電荷に相当する信号値として処理する画像信号処理装置として機能させることを特徴とする。
【００３８】
ここで、前記コンピュータを、前記スミア電荷に相当する信号値に基づいて前記着目画素に蓄積可能な飽和電荷量に相当する信号値よりも大きい理想出力値を算出する画像信号処理装置として機能させることも好適である。
【００３９】
また、本発明の別の態様は、複数の画素が行列配置された撮像部を備え、撮像期間において画素が受光した光に応じて発生する電荷を蓄え、転送期間において各画素に蓄積された電荷を順次転送する固体撮像素子の制御装置であって、撮像期間において前記撮像部に形成されるポテンシャル井戸の容量よりも転送期間において前記撮像部に形成されるポテンシャル井戸の容量を大きくすることを特徴とする。
【００４０】
また、本発明の別の態様は、複数の画素が行列配置された撮像部を備え、撮像期間において画素が受光した光に応じて発生する電荷を蓄え、転送期間において各画素に蓄積された電荷を順次転送する固体撮像素子の制御方法であって、撮像期間において前記撮像部に形成されるポテンシャル井戸の容量よりも転送期間において前記撮像部に形成されるポテンシャル井戸の容量を大きくすることを特徴とする。
【発明の効果】
【００４１】
本発明によれば、ＣＣＤ固体撮像素子によって取得された映像信号の画質を向上することができる。特に、ＣＣＤ固体撮像素子によって撮影された映像からスミアを適切に除去することができる。
【発明を実施するための最良の形態】
【００４２】
本発明の実施の形態で用いられるＣＣＤ固体撮像素子は、図７に示した従来のＣＣＤ固体撮像素子と同様に、撮像部２ｉ、蓄積部２ｓ、水平転送部２ｈ及び出力部２ｄを有する。また、撮像部２ｉ及び蓄積部２ｓの構成も、図８に示した従来と同様の構成とすることができる。従って、ＣＣＤ固体撮像素子の構成については説明を省略する。
【００４３】
ＣＣＤ固体撮像素子１００は、図１に示すように、制御装置１０２及び画像信号処理装置１０４に接続される。制御装置１０２は、クロックパルス発生部４０、転送クロック発生部４２を含んで構成される。クロックパルス発生部４０は、水晶発振素子等の発振素子を含み、転送クロック発生部４２へタイミングパルスを出力する。転送クロック発生部４２は、タイミングパルスを受けて、撮像部２ｉ及び蓄積部２ｓの転送電極２６へ印加される転送クロックφ１，φ２，φ３を発生させる。転送クロックφ１，φ２，φ３はそれぞれ転送電極２６−１，２６−２，２６−３へ印加される。
【００４４】
図２に、転送電極２６−１，２６−２，２６−３に印加される転送クロックφ１，φ２，φ３のタイミングチャートを示す。図３に、撮像期間及び転送期間におけるチャネル領域２２の延伸方向に沿ったＮウェル１４内のポテンシャル分布の様子を示す。撮像時には、例えば図２に示すように、１組の転送電極２６のうち１つの転送電極２６−２をオン状態にする。これによって、図３（ａ）に示すように、転送電極２６−２の下のチャネル領域２２にポテンシャル井戸５２が形成される。残りの転送電極２６−１，２６−３をオフ状態にすることで、転送電極２６−２の下のポテンシャル井戸５２に情報電荷５０が蓄積される。
【００４５】
転送時には、図２に示すように、隣接する３つの転送電極２６−１，２６−２，２６−３の組み合わせ毎に互いに位相がずれた３相の転送クロックφ１〜φ３が印加される。これにより、図３（ｂ）に示すように、転送電極２６−１，２６−２，２６−３の下にあるチャネル領域２２に形成されるポテンシャル井戸５４が転送方向に順次移動させられて、情報電荷５０がチャネル領域２２の延伸方向に沿って転送される。
【００４６】
このとき、図２に示すように、転送期間における各転送クロックφ１〜φ３のパルスの振幅を撮像期間におけるパルスの振幅よりも大きく設定する。これにより、転送期間のポテンシャル井戸５４は撮像期間のポテンシャル井戸５２よりも深く形成される。
【００４７】
ここで、ポテンシャル井戸５４が転送期間において発生するスミア電荷を情報電荷に加えてもオーバーフローしない程度の容量となるように転送期間における各転送クロックφ１〜φ３のパルスの振幅を設定することが好適である。すなわち、撮影時に撮像部２ｉに強い光が入射し、撮像時にポテンシャル井戸５２から溢れるほどの情報電荷が発生した場合においても、転送期間中に発生するスミア電荷によってポテンシャル井戸５４がオーバーフローしない程度に十分な容量となるように規定する。
【００４８】
画像信号処理装置１０４は、アナログ／デジタル変換器を備えたインターフェースを含むコンピュータとすることができる。ＣＣＤ固体撮像素子１００の出力部２ｄから出力された電圧は、画像信号処理装置１０４のインターフェースでアナログ／デジタル変換されて画像信号処理装置１０４に入力される。
【００４９】
画像信号処理装置１０４では画像信号処理が実行される。本実施の形態における画像信号処理方法は、コンピュータで実行可能なプログラムとしてコーディングされ、画像信号処理装置１０４において実行される。
【００５０】
以下では、図１１に示したように、撮像部２ｉに画素（ｉ，ｊ）が行列配置されているものとして説明を行う。すなわち、撮像部２ｉには転送方向に沿ってＪ列の画素が配置されているものとする。
【００５１】
撮像期間Ｔsにおいて画素（ｉ，ｊ）のポテンシャル井戸５２には情報電荷Ｑi,jが蓄積される。このとき、ポテンシャル井戸５２をオーバーフローする電荷量は飽和電荷量Ｑmaxとなる。また、転送期間Ｔtで総ての画素の情報電荷が蓄積部２ｓへ転送される。転送期間Ｔtにおいて情報電荷Ｑi,jにはスミア電荷ΔＱi,jが付加される。
【００５２】
転送期間Ｔtに形成されるポテンシャル井戸５４を撮像期間Ｔsにおけるポテンシャル井戸５２よりも深く形成した場合、スミア電荷ΔＱi,jは撮像時にオーバーフローが発生したか否かによって異なる関係式で表すことができる。
【００５３】
撮像時において、画素（ｉ，ｊ）のポテンシャル井戸５２がオーバーフローしなかった場合、図４（ａ）に示すように、スミア電荷量ΔＱi,jは蓄積部２ｓに到達するまでに通過する画素で発生する電荷量ｑi,j，ｑi,j-1・・・を順次加え合わせた量となる。画素（ｉ，ｊ）から蓄積部２ｓに転送されてくる電荷量Ｓi,jは電荷量Ｑi,jとスミア電荷量ΔＱi,jとの和となる。
【００５４】
オーバーフローが発生したか否かは、電荷量Ｓi,jが飽和電荷量Ｑmaxを超えているか否かで判断する。電荷量Ｓi,j≦飽和電荷量Ｑmaxである場合、スミア電荷ΔＱi,jは従来のオフセットスミア除去法と同様に数式（１）で表される。
【００５５】
【数２】
2005167665.tif 000004
【００５６】
一方、撮像時において画素（ｉ，ｊ）のポテンシャル井戸５２にオーバーフローが生じた場合、図４（ｂ）に示すように、スミア電荷量ΔＱi,jは蓄積部２ｓに転送されてくる電荷量Ｓi,jから飽和電荷量Ｑmaxを引いた値となる。
【００５７】
すなわちＳi,j＞Ｑmaxである場合、スミア電荷ΔＱi,jは数式（２）で表される。
【００５８】
【数３】
2005167665.tif 000005
【００５９】
ここで、Ｔsは撮像期間であり、Ｑi,jは撮像期間Ｔsにおいて画素（ｉ，ｊ）で発生した情報電荷であり、Ｔtは転送期間であり、ΔＱi,jは転送期間において情報電荷Ｑi,jに加えられるスミア電荷、Ｓi,jは蓄積部２ｓに転送されてくる画素（ｉ，ｊ）の電荷量、Ｑmaxは撮像時におけるポテンシャル井戸５２に蓄積可能な電荷量の最大値を示す飽和電荷量である。
【００６０】
固体撮像素子１００は、電荷量Ｓi,jをその電荷量に比例する出力電圧値Ｖi,jに順次変換して画像信号として出力する。そこで、画像信号処理装置１０４では、図５のフローチャートに沿って、画像信号に対してスミアの除去処理が行われる。
【００６１】
ステップＳ１０では、初期設定が行われる。すなわち、カウンタｊが２に設定され、出力電圧値ΔＶi,1が０に設定される。ステップＳ１２では、出力電圧値Ｖi,jが飽和電荷量Ｑmaxに相当する撮像時飽和電圧値Ｖmaxよりも大きいか否かが判断される。その結果、出力電圧値Ｖi,jが撮像時飽和電圧値Ｖmaxよりも大きければ、ステップＳ１４に処理が移行される。出力電圧値Ｖi,jが撮像時飽和電圧値Ｖmax以下であれば、ステップＳ１６に処理が移行される。なお、飽和電荷量Ｑmaxに相当する撮像時飽和電圧値Ｖmaxは予め取得しておくことができる。
【００６２】
ステップＳ１４では、関係式（２）に基づいて、スミア成分の算出が行われる。出力電圧値Ｖi,j、撮像時飽和電圧値Ｖmax及びスミア電荷ΔＱi,jに対応するスミア電圧値ΔＶi,jはそれぞれ電荷量Ｓi,j、飽和電荷量Ｑmax及びスミア電荷ΔＱi,jに比例するので、関係式（３）により、出力電圧値Ｖi,jから撮像時飽和電圧値Ｖmaxを差し引くことによりスミア電圧値ΔＶi,jを算出することができる。
【００６３】
【数４】
2005167665.tif 000006
【００６４】
一方、ステップＳ１６では、関係式（１）に基づいて、スミア成分の算出が行われる。関係式（４）により、スミア電圧値ΔＶi,jが算出される。
【００６５】
【数５】
2005167665.tif 000007
【００６６】
ステップＳ１８では、出力電圧値Ｖi,jからスミア電圧値ΔＶi,jを引き算することにより、スミア成分を除去した画像信号Ｘi,jが算出される。ステップＳ２０では、カウンタｊが撮像部２ｉの列数Ｊに到達したか否かが判断される。カウンタｊが列数Ｊ以上であれば、その行におけるスミアの除去処理を終了する。カウンタｊが列数Ｊより小さければ、カウンタｊを１つ増加させて、次の列に対応する画素のスミア成分の除去を行う。
【００６７】
すなわち、撮像部２ｉの同一行ｉからの出力電圧値Ｖi,2，Ｖi,3・・・Ｖi,Jを対象とし、蓄積部２ｓに近い画素から出力された出力電圧値Ｖi,jから順にスミア電圧値ΔＶi,jを引いていくことにより、画像信号からスミア成分を取り除くことができる。
【００６８】
なお、出力部２ｄからの出力が電圧では表されない場合でも、同様に出力値からスミア電荷ΔＱi,jに相当する値を算出して差し引くことにより撮影画像からスミア成分を除去することができる。
【００６９】
＜変形例＞
図６に、撮像部２ｉの画素における受光強度と撮像期間Ｔs及び転送サイクルＴでその画素において発生する電荷量との関係を示す。
【００７０】
上記実施の形態では、図６に示すように、撮像時において着目画素（ｉ，ｊ）でオーバーフローが生じた場合、着目画素（ｉ，ｊ）に対するスミア成分を除去した画像信号Ｘi,jは出力電圧値Ｖi,j−スミア電圧値ΔＶi,j＝撮像時飽和電圧値Ｖmaxとして算出される。すなわち、撮像時においてオーバーフローが生じた画素に対するスミア成分を除去した画像信号Ｘi,jは受光強度に応じた信号値ではなく、飽和電荷量Ｑmaxに相当する撮像時飽和電圧値Ｖmaxに制限されたものとなる。
【００７１】
しかし、オーバーフローが起こらない理想的な状況において着目画素（ｉ，ｊ）から出力されるべき理想出力電圧値Ｉi,jは、図６においてＡとして示すように、オーバーフローが起こらなかった場合の理想電荷量Ｑidealに相当する電圧値となる。
【００７２】
ここで、着目画素（ｉ，ｊ）の理想電荷量Ｑidealと転送サイクルＴで画素（ｉ，ｊ）から次の画素（ｉ，ｊ−１）へと情報電荷が転送される間に画素（ｉ，ｊ）において発生する新たな電荷ｑi,jとの比は撮像期間Ｔsと転送サイクルＴとの比と等しくなる。すなわち、理想出力電圧値Ｉi,jは、転送サイクルＴに着目画素（ｉ，ｊ）を通過する際に発生する電荷量ｑi,jに相当する電圧値ｖi.jに撮像期間Ｔs／転送サイクルＴの比を乗じた値となる。
【００７３】
本実施の形態では、転送時のポテンシャル井戸５４が撮像時のポテンシャル井戸５２よりも大きいので着目画素（ｉ，ｊ）から蓄積部２ｓへと転送されたスミア電圧値ΔＶi,jは数式（３）及び数式（４）から求めることができる。従って、転送サイクルＴにおいて着目画素（ｉ，ｊ）で発生する電荷ｑi,jによる電圧値ｖi,jは数式（５）で算出することができる。
【００７４】
【数６】
2005167665.tif 000008
【００７５】
そこで、着目画素（ｉ，ｊ）における理想出力電圧値Ｉi,jは、電圧値ｖi,jを用いて数式（６）で算出することかできる。
【００７６】
【数７】
2005167665.tif 000009
【００７７】
電荷ｑi,jは極めて短い転送期間Ｔtにおける受光によって発生するので、撮像期間Ｔsにおいてオーバーフローが生じた場合、数式（６）で理想電圧値Ｉi,jを算出すると誤差が大きくなる可能性がある。そこで、撮像時飽和電荷量Ｖmaxと、飽和受光強度を受ける画素において転送サイクルＴに発生する電荷量Ｑyに相当する電圧値Ｖｙと、を用いて数式（６）を数式（７）のように変形することが好適である。
【００７８】
【数８】
2005167665.tif 000010
【００７９】
以上のように、オーバーフローが起こらない理想的な状況において着目画素（ｉ，ｊ）から出力されるべき理想出力電圧値Ｉi,jは、実際にオーバーフローが起こらなかった画素に対しては図５のフローに基づいて算出することができ、実際にオーバーフローが起こった画素に対しては数式（７）に基づいて算出することができる。
【００８０】
また、電圧値ｖi,jを用いたことによる誤差を低減するために、数式（８）のように数式（７）の右辺第２項に１以下の正の数である係数αを乗じても良い。このとき、係数αは撮像期間Ｔｓと転送サイクルＴとの比に応じて定めることができる。例えば、転送サイクルＴが撮像期間Ｔsに対して短くなるほど電圧値ｖi,jを用いることによる誤差が大きくなる可能性が高い。そこで、係数αをより小さい値に設定することが好ましい。
【００８１】
【数９】
2005167665.tif 000011
【００８２】
以上のように、本実施の形態によれば、撮像時に撮像部２ｉのポテンシャル井戸５２からオーバーフローを起こすほどの強い光が入射された場合においても、撮影された画像からスミアを適切に除去することができる。これによって、撮像素子によって取得された映像信号の画質を向上することができる。
【００８３】
なお、本発明が適用できるＣＣＤ固体撮像素子は、図７に示す構成を有するＣＣＤ固体撮像素子に限定されるものではない。例えば、フレーム転送方式のＣＣＤ固体撮像素子であれば同様に適用することができる。
【００８４】
また、撮像時に撮像部２ｉに形成するポテンシャル井戸５２と、転送時に撮像部２ｉに形成するポテンシャル井戸５４と、の容量を変調する方法は、転送電極２６への印加電圧を変調する方法に限定されるものではない。例えば、撮像部２ｉを４相ゲート構造とし、撮像時においては１つの転送電極のみをオン状態とし、転送時においては２つ以上の転送電極をオン状態に保って転送を行うことにより、転送時のポテンシャル井戸の容量を撮像時のポテンシャル井戸の容量よりも大きくすることができる。また、例えば、撮像部２ｉに、情報電荷を蓄積するための蓄積領域と、情報電荷を転送するためのチャネル領域と、を別個に設けておき、それぞれを異なるドーピング分布で形成することにより異なる容量のポテンシャル井戸を形成することもできる。
【図面の簡単な説明】
【００８５】
【図１】本発明の実施の形態における制御装置及び画像信号処理装置の構成及びＣＣＤ固体撮像素子との接続関係を示す図である。
【図２】本発明の実施の形態における制御装置からの転送クロックのタイミングチャート示す図である。
【図３】本発明の実施の形態における撮像時及び転送時の撮像部のポテンシャルを示す模式図である。
【図４】本発明の実施の形態における転送時の電荷の変化を示す模式図である。
【図５】本発明の実施の形態における画像信号処理方法のフローチャートを示す図である。
【図６】撮像期間と転送サイクルとにおける受光強度と発生する電荷との関係を示す図である。
【図７】ＣＣＤ固体撮像素子の構成を示す模式図である。
【図８】ＣＣＤ固体撮像素子の撮像部及び蓄積部の素子内部の平面図及び側断面図を示す図である。
【図９】従来の転送クロックのタイミングチャート示す図である。
【図１０】従来の撮像時及び転送時の撮像部のポテンシャルの様子を示す模式図である。
【図１１】１０行×１０列の画素を有する撮像部を備えたＣＣＤ固体撮像素子の例を示す模式図である。
【図１２】転送時におけるスミア電荷の蓄積の様子を説明するための模式図である。
【図１３】撮像期間と転送サイクルとにおける受光強度と発生する電荷との関係を示す図である。
【図１４】スミアが発生した画像の例を示す図である。
【図１５】オーバーフローが発生したポテンシャル井戸を説明する図である。
【符号の説明】
【００８６】
２ｄ  出力部、２ｉ  撮像部、２ｈ  水平転送部、２ｓ  蓄積部、１０  半導体基板、１２  Ｐウェル、１４  Ｎウェル、１６  分離領域、１８  絶縁膜、２２  チャネル領域、２６  転送電極、３０  情報電荷、３２  ポテンシャル井戸、４０  クロックパルス発生部、４２  転送クロック発生部、５０  情報電荷、５２  撮像時のポテンシャル井戸、５４  転送時のポテンシャル井戸、１００  固体撮像素子、１０２  制御装置、１０４  画像信号処理装置、２００  画像、２０２  スミアの領域。
【図１】
2005167665.tif 000012
【図２】
2005167665.tif 000013
【図３】
2005167665.tif 000014
【図４】
2005167665.tif 000015
【図５】
2005167665.tif 000016
【図６】
2005167665.tif 000017
【図７】
2005167665.tif 000018
【図８】
2005167665.tif 000019
【図９】
2005167665.tif 000020
【図１０】
2005167665.tif 000021
【図１１】
2005167665.tif 000022
【図１２】
2005167665.tif 000023
【図１３】
2005167665.tif 000024
【図１４】
2005167665.tif 000025
【図１５】
2005167665.tif 000026