(57)【特許請求の範囲】
【請求項１】
入射光量に応じた電流信号を出力する光電変換素子と、上記電流信号を電圧信号に変換するトランジスタと、上記電圧信号を増幅して画素信号として出力する増幅回路で構成される画素がマトリクス状に配列された画素部と、上記複数の画素を行単位で列方向に順次選択して上記画素信号を信号線に出力させる第１走査手段と、上記信号線を行方向に順次選択して上記画素信号を増幅手段に出力する第２走査手段を有する固体撮像装置において、
フレーム周波数ｆvが、照明で使用する商用電源周波数をｆaとした際に、下記の式で表される周波数になるように、上記第１走査手段と第２走査手段との動作タイミングを設定するタイミング設定手段を備えたことを特徴とする固体撮像装置において、
上記画素を構成するトランジスタによる上記電流信号から電圧信号への変換は対数変換であり、
上記増幅手段からのアナログ画素信号をディジタル信号に変換するＡ/Ｄ変換手段と、
上記Ａ/Ｄ変換手段からのディジタル画素信号を少なくとも１フレーム分記憶し且つ読み出すフレームメモリと、
上記フレームメモリの動作を制御するフレームメモリ制御手段と、
同じ画素に関して、上記Ａ/Ｄ変換手段からの現フレームにおけるディジタル画素信号と、フレームメモリ制御手段の制御の下に上記フレームメモリから送出されてくる前フレームにおけるディジタル画素信号との夫々に対して、線形変換を行って線形変換信号を得る線形変換手段と、
上記線形変換手段からの両線形変換信号を加算する加算手段
を備えたことを特徴とする固体撮像装置。
0003950330.tif 000039
【請求項２】
請求項１に記載の固体撮像装置において、
上記フレームメモリ制御回路は、上記Ａ/Ｄ変換手段からの現フレームにおけるディジタル画素信号を上記フレームメモリに書き込ませる直前に、上記フレームメモリに記憶されている前フレームにおけるディジタル画素信号のうち上記書き込ませるディジタル画素信号と同じ画素に係るディジタル画素信号を読み出させるように、上記フレームメモリの動作を制御する
ことを特徴とする固体撮像装置。
【請求項３】
請求項１に記載の固体撮像装置において、
上記Ａ/Ｄ変換手段とこのＡ/Ｄ変換手段の後段との間に、
上記Ａ/Ｄ変換手段からのディジタル画素信号のうち上記商用電源周波数の影響を受けて明滅する上記照明が暗である場合のディジタル画素信号を記憶するノイズメモリと、
上記Ａ/Ｄ変換手段からのディジタル画素信号のうち上記照明が明である場合のディジタル画素信号から、上記ノイズメモリに記憶された暗時のディジタル画素信号を減算する減算手段
を備えたことを特徴とする固体撮像装置。
【請求項４】
請求項１に記載の固体撮像装置において、
上記線形変換手段とこの線形変換手段の前段との間に、上記現フレームのディジタル画素信号と上記前フレームのディジタル画素信号との夫々に対して、正規化を行う正規化手段を備えた
ことを特徴とする固体撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、ＣＭＯＳ(相補型金属酸化膜半導体)型イメージセンサ等の固体撮像装置に関する。
【０００２】
【従来の技術】
近年、ＣＭＯＳ型イメージセンサを用いた携帯電話用カメラ,低価格スチルカメラ,パソコン用カメラ等が商品化されている。上記ＣＭＯＳ型イメージセンサは、マイクロプロセッサ等で用いられる標準的なＣＭＯＳプロセスを基本プロセスとするためにＣＣＤ(電荷結合素子)に比べて低コストで生産できること、低消費電力であることから、大きな市場を形成しつつある。
【０００３】
しかしながら、上記ＣＭＯＳ型イメージセンサは、銀塩フィルムや人間の目と比較してダイナミックレンジが狭く、自然環境下で利用するに際して明るいシーンと暗いシーンとが混在する場合には、撮像画像が黒くつぶれたり、白く飽和してしまうという問題がある。
【０００４】
そこで、上述のような問題を解決するために、例えば特開平３‐１９２７６４号公報に開示されているように、ＭＯＳ(金属酸化膜半導体)トランジスタのサブスレッショルド電流特性を利用して、入射光量の対数変換出力を得ることによって広いダイナミックレンジを確保するた固体撮像装置が提案されている。
【０００５】
この特開平３‐１９２７６４号公報に開示された従来の固体撮像装置を、図７に従って説明する。図７は、固体撮像装置の画素の回路図であり、ＭＯＳトランジスタ１を流れる電流ＩDは、
0003950330.tif 000002
のとき(すなわち、ＭＯＳトランジスタ１がサブスレッショルド領域で動作する場合)に、
0003950330.tif 000003
となる。ここで、ＶG：ゲート電圧、ＶS：ソース電圧、ＶT：閾値電圧、Ｚ：トランジスタチャネル幅、Ｌ：トランジスタチャネル長、μn：電子移動度、ｑ：電子電荷量、ｋ：ボルツマン定数、Ｔ：絶対温度、Ｃo：ゲート絶縁膜容量
である。また、
0003950330.tif 000004
であり、Ｃd：空乏層容量、Ｎfs：表面準位密度である。
【０００６】
また、定常状態において、光電変換素子としてのｐｎ接合ダイオード２を流れる光電流Ｉpは
Ｉp＝ＩD
である。したがって、
0003950330.tif 000005
を得ることができる。この式(４)より
0003950330.tif 000006
が得られる。すなわち、光電流Ｉpは、対数変換されてＭＯＳトランジスタ１のゲート電圧ＶGとなるのである。尚、３は、ゲート電圧ＶGを増幅して取り出すための増幅回路である。
【０００７】
このような対数変換は各画素で行われるために、画素以外の信号増幅部等によるダイナミックレンジの影響を受けることがなく、高輝度から低輝度までを高精度に撮像することができるのである。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来の図７に示す固体撮像装置には以下のような問題がある。すなわち、上述のような瞬間的な光電流Ｉpに対する応答を得る方式の固体撮像装置の場合には、蛍光灯のような商用電源周波数の影響を受けて明滅する照明下で撮影を行うと、各画素における光電流Ｉpに対する応答を読む時間が各走査ライン毎に異なるために、撮影画面上に明暗差に基づく横縞模様が現れることになる。また、走査周期によっては、横縞模様が縦方向に流れるという現象が起きる。
【０００９】
このような横縞模様は目について不快である。また、横縞模様における暗部に相当する画素の応答は、照明が暗い期間の応答であるからＳＮＲ(信号対雑音比)が悪く、画質が損なわれるという問題がある。
【００１０】
そこで、この発明の目的は、蛍光灯のような商用電源周波数の影響を受けて明滅する照明下で撮影を行った場合に起こる横縞模様を抑圧し、画質の向上を図ることができる固体撮像装置を提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、この発明は、
入射光量に応じた電流信号を出力する光電変換素子と、上記電流信号を電圧信号に変換するトランジスタと、上記電圧信号を増幅して画素信号として出力する増幅回路で構成される画素がマトリクス状に配列された画素部と、上記複数の画素を行単位で列方向に順次選択して上記画素信号を信号線に出力させる第１走査手段と、上記信号線を行方向に順次選択して上記画素信号を増幅手段に出力する第２走査手段を有する固体撮像装置において、
フレーム周波数ｆvが、照明で使用する商用電源周波数をｆaとした際に、次式
0003950330.tif 000007
で表される周波数になるように、上記第１走査手段と第２走査手段との動作タイミングを設定するタイミング設定手段を備えたことを特徴とする固体撮像装置において、
上記画素を構成するトランジスタによる上記電流信号から電圧信号への変換は対数変換であり、
上記増幅手段からのアナログ画素信号をディジタル信号に変換するＡ/Ｄ変換手段と、
上記Ａ/Ｄ変換手段からのディジタル画素信号を少なくとも１フレーム分記憶し且つ読み出すフレームメモリと、
上記フレームメモリの動作を制御するフレームメモリ制御手段と、
同じ画素に関して、上記Ａ/Ｄ変換手段からの現フレームにおけるディジタル画素信号と、フレームメモリ制御手段の制御の下に上記フレームメモリから送出されてくる前フレームにおけるディジタル画素信号との夫々に対して、線形変換を行って線形変換信号を得る線形変換手段と、
上記線形変換手段からの両線形変換信号を加算する加算手段
を備えたことを特徴としている。
【００１２】
上記構成によれば、第１走査手段と第２走査手段との動作による画素部に対する列方向への走査が一巡するフレーム周期１/ｆvは、商用電源周期１/ｆaの１/４の奇数倍である。つまり、連続する２フレームの上記商用電源周期を基準とした位相差は９０°(２ｎ−１)となる。ここで、商用電源を利用する蛍光灯のような照明の光量は、商用電源周波数ｆaの２倍の周波数(つまり、商用電源周期１/ｆaの１/２の周期)で周期的に変動する。したがって、上述のように、連続する２フレームの位相差を９０°(２ｎ−１)とすることによって、上記照明の明滅によって生ずる横縞模様の空間移動が抑制される。さらに、上記連続する２フレームからの画素信号を用いて時間に依存しない映像信号、つまり撮像画面上に横縞模様を生じさせない映像信号を得ることが可能になるのである。
【００１３】
さらに、上記９０°(２ｎ−１)の位相差を有する連続する２フレームにおける同じ画素に関して、対数信号である夫々の画素信号に対して線形変換が行われ、得られた夫々の線形変換信号が加算されて、時間に依存しない映像信号が生成される。こうして、撮像画面上に横縞模様を生じさせない映像信号が得られるのである。
【００１４】
また、１実施例では、この発明の固体撮像装置において、
上記フレームメモリ制御回路は、上記Ａ/Ｄ変換手段からの現フレームにおけるディジタル画素信号を上記フレームメモリに書き込ませる直前に、上記フレームメモリに記憶されている前フレームにおけるディジタル画素信号のうち上記書き込ませるディジタル画素信号と同じ画素に係るディジタル画素信号を読み出させるように上記フレームメモリの動作を制御する。
【００１５】
この実施例によれば、上記フレームメモリ制御回路による制御の下に、上記フレームメモリ上における同一個所には常に同一画素の画素信号が書き込まれる。したがって、上記フレームメモリに対するフレーム毎の書き込み/読み出し時のアドレス制御が簡単になる。
【００１６】
また、１実施例では、この発明の固体撮像装置において、
上記Ａ/Ｄ変換手段とこのＡ/Ｄ変換手段の後段との間に、上記Ａ/Ｄ変換手段からのディジタル画素信号のうち上記商用電源周波数の影響を受けて明滅する上記照明が暗である場合のディジタル画素信号を記憶するノイズメモリと、上記Ａ/Ｄ変換手段からのディジタル画素信号のうち上記照明が明である場合のディジタル画素信号から,上記ノイズメモリに記憶された暗時のディジタル画素信号を減算する減算手段を備えている。
【００１７】
この実施例によれば、減算手段によって、明時のディジタル画素信号から暗時のディジタル画素信号が減算されて、上記画素を構成するトランジスタにおけるサブスレッショルド特性等の各画素のプロセスばらつき及び暗電流等による直流成分に依らない画素信号が得られる。したがって、画質の劣化が防止される。
【００１８】
また、１実施例では、この発明の固体撮像装置において、
上記線形変換手段とこの線形変換手段の前段との間に、上記現フレームのディジタル画素信号と上記前フレームのディジタル画素信号との夫々に対して、正規化を行う正規化手段を備えている。
【００１９】
この実施例によれば、正規化手段によってディジタル画素信号に対して正規化が行われ、後に行われる対数信号であるディジタル画素信号に対する線形変換が簡単な処理で行われる。
【００２０】
【発明の実施の形態】
以下、この発明を図示の実施の形態により詳細に説明する。
【００２１】
＜第１実施の形態＞
図１は、本実施の形態の固体撮像装置におけるブロック図である。図１において、１１は対数変換型固体撮像素子であり、画素単位で上記式(５)による光電流Ｉpの対数変換と増幅とを行って、各画素の画素信号を順次出力する。上記タイミング設定手段としてのクロック生成回路１２は、撮像フレーム周期を商用電源周波数の影響による照明の明滅周期の１/２の奇数倍とするような走査クロックを生成し、対数変換型固体撮像素子１１及びフレームメモリ制御回路の１７の動作タイミングを設定する。そして、対数変換型固体撮像素子１１からの画素信号は、Ａ/Ｄ変換回路１３によってディジタル変換されて、ＦＰＮ(Fixed Pattern Noise)メモリ１４に出力される。そすると、ＦＰＮメモリ１４は、Ａ/Ｄ変換回路１３によってディジタル化された暗時の画素信号を記憶する。
【００２２】
減算回路１５は、上記Ａ/Ｄ変換回路１３によってディジタル化された明時(暗時以外)における画素信号からＦＰＮメモリ１４に記憶されている暗時の画素信号を減算してＦＰＮ除去を行い、対数変換型固体撮像素子１１におけるプロセスばらつきおよび暗電流等による直流成分に依らない画素データを得る。そして、得られた画素データをフレームメモリ１６とディジタル信号処理部１８とに送出する。フレームメモリ１６は、減算回路１５によって得られた画素データを最低１フレーム分記憶する。そして、フレームメモリ１６は、フレームメモリ制御回路１７による制御の下に、今減算回路１５から送出されてくる画素データの画素に対応した座標からの画素データの読み出しと、減算回路１５からの画素データの上記座標への書き込みとを同期して行い、読み出した画素データをディジタル信号処理部１８に送出する。そうすると、ディジタル信号処理部１８は、減算回路１５から送出されてくる画素データと、フレームメモリ１６から送出されてくる１フレーム前の同じ画素の画素データとに基づいて、横縞模様が抑圧された映像信号を計算して出力するのである。
【００２３】
上記減算回路１５からディジタル信号処理部１８に入力された画素データは、第１正規化部１９によって自然対数関数に正規化され、第１対数/線形変換部２０によって指数関数による線形変換が行われる。一方、フレームメモリ１６からディジタル信号処理部１８に入力された前フレームの同じ画素の画素データは、第２正規化部２１によって自然対数関数に正規化され、第２対数/線形変換部２２によって指数関数による線形変換が行われる。そして、加算部２３によって、第１,第２対数/線形変換部２０,２２からの両画素データが加算されて、時間に依存しなく横縞模様が抑圧された映像信号が得られるのである。
【００２４】
上述したように、上記クロック生成回路１２によって、商用電源で動作する照明による明滅周期の１/２の奇数倍のフレーム周期を設定するようにしている。したがって、横縞模様の空間位置変動が抑制されると共に、連続する２つのフレームの商用電源周期を基準とした位相が９０°の奇数倍になる。したがって、クロック生成回路１２からのクロックに従って、ディジタル信号処理部１８によって、連続する２つフレームにおける同じ画素(座標)の画素データ同士を加算することによって、照明の明滅による横縞模様の発生を抑圧することができるのである。
【００２５】
図２は、上記対数変換型固体撮像素子１１の内部ブロックを示す。図２において、画素部２５は、図７と同様に構成された複数の単位画素２６がマトリクス状に配列されて構成されている。垂直走査回路２７は、画素部２５における単位画素２６を各行毎に列方向に走査して各行の単位画素２６の選択トランジスタ(図示せず)をオンにして垂直信号線２８に画素信号を読み出す。そうすると、マルチプレクサ２９は、水平走査回路３０からの水平走査信号に従って、複数の垂直信号線２８から順次一つの垂直信号線２８を選択して画素信号を水平増幅回路３１に送出する。そして、水平増幅回路３１によって、各単位画素２６からの画素信号が増幅されるのである。すなわち、本実施の形態においては、垂直走査回路２７で上記第１走査手段を構成し、マルチプレクサ２９および水平走査回路３０で上記第２走査手段を構成するのである。
【００２６】
こうして、上述のような上記垂直走査回路２７による垂直方向への走査と水平走査回路３０による水平方向への走査とが繰り返されることによって、水平増幅回路３１からは、全単位画素２６からの増幅された画素信号がＡ/Ｄ変換回路１３に順次送出されるのである。ここで、各画素信号をｐ(i,j)(ｉ：列番号,ｊ：行番号)とすると、水平増幅回路３１は、ｐ(１,１),ｐ(２,１),ｐ(３,１),…,ｐ(Ｎi,１),ｐ(１,２),ｐ(２,２),ｐ(３,２),…,ｐ(Ｎi,２),ｐ(１,３),ｐ(２,３),ｐ(３,３),…,ｐ(Ｎi,３),…,ｐ(Ｎi,Ｎj),ｐ(１,１),…のような順番で繰り返し画素信号を出力する。但し、Ｎi,Ｎjは、列画素数および行画素数である。水平走査回路３０による水平走査が一巡する周期は水平周期と呼ばれ、垂直走査回路２７による垂直走査が一巡する周期は垂直周期あるいはフレーム周期と呼ばれる。
【００２７】
ところで、上述したように上記単位画素２６の出力選択を順次行うと、各単位画素２６は夫々の時間での瞬間的な入射光量に応じた画素信号を出力する。ところが、蛍光灯のような商用電源で動作する照明下においては、図３に示すように照明自身の光量が時間と共に変動するため、単位画素２６の入射光量は照明の明滅に応じた光量となる。この様は、対数変換型固体撮像素子１１の出力信号に現れ、本実施の形態を適用しない場合には、撮像画面上に横縞模様として表れることになる。
【００２８】
この現象を、図４に従って説明する。図４は、対数変換型固体撮像素子１１による撮像画像を図示したものである。尚、図４(a)はあるフレームでの画像Ａであり、図４(b)は図４(a)の次のフレームでの画像Ｂである。画像Ａには、照明の明滅のために間隔Ｎg(本)の横縞模様が見られる。この横縞模様の撮像画面上の空間位置は、一般には、時間と共に撮像画面上におけるｙ方向(縦方向)に移動する。すなわち、画像Ｂにおいて、上記横縞模様は撮像画面上における画像Ａとは異なる場所に現れる。こうして、画像Ａと画像Ｂとの横縞模様には距離Ｎd(本)の空間移動が生ずるため、横縞模様は撮像画面上でｙ方向に流れるように見えるのである。
【００２９】
以下の説明においては、上記水平周期および周波数をＴh,ｆhとし、上記フレーム(垂直)周期および周波数をＴv,ｆvとし、照明の明滅周期および周波数をＴb,ｆbとし、垂直走査数(垂直ブランキングを含む)をＮxとする。例えば、西日本における商用電源周波数は６０Ｈzであるから、Ｔb＝１/１２０(sec),ｆb＝１２０(Ｈz)となる。
【００３０】
上記横縞模様の位相変動周波数ｆgを、毎秒当りの水平ライン移動数と１フレーム垂直走査数との比で定義すると、ｆg(Ｈz)は式(６)で表される。
0003950330.tif 000008
但し、Ｔdは、次式(７)で表される。
0003950330.tif 000009
ここで、「mod」は剰余演算を表し、Ｔv/Ｔbの余りがＴdとなる。
【００３１】
また、図４における横縞模様間隔Ｎg(本)は
0003950330.tif 000010
横縞模様移動量Ｎd(本)は
0003950330.tif 000011
であり、照明の明滅周波数とフレーム周波数が近い場合、すなわｆv≒ｆbの場合には、式(６)は、次式(１０)で近似できる。
0003950330.tif 000012
尚、式(１０)は、上記横縞模様の位相変動周波数ｆgが照明の明滅周波数ｆbとフレーム周波数ｆvとの差分で近似できることを表す。この現象は、２つの音源の周波数が近い場合におけるうなり(ビート)としてよく知られている現象と同種の現象である。
【００３２】
上記横縞模様の空間位置変動が生じない条件は、式(７)にも示すように、次のように表される。
0003950330.tif 000013
ところで、照明の明滅輝度波形は、商用電源周波数ｆaの正弦波の二次関数ｆと見なせるので、式(１２)のように表すことができる。
0003950330.tif 000014
また、図２における単位画素２６内の光電変換素子における光電変換の変換関数ｈは線形変換と見なせるので、式(１３)のように表すことができる。
0003950330.tif 000015
式(１３)において、「ａ'」は、照明の輝度に比例する上記光電変換素子の電流振幅を表す。また、「ｂ'」は、上記光電変換素子の暗電流成分における直流成分を表す。
【００３３】
上記対数変換型固体撮像素子１１の場合、光電変換信号は単位画素２６内におけるトランジスタのサブスレッショルド特性を用いて対数変換される。そのために、式(１２)で表わされる照明下においてｉ列ｊ行に位置する単位画素２６の撮像出力ｇ(x)[i,j]は、式(１４)で表すことができる。
0003950330.tif 000016
【００３４】
式(１４)において、ｈ・f(x)[i,j]は各単位画素２６での入射光量の違いに基づく式(１３)で示される振幅ａ'[i,j]の画素信号を表す。また、Ａは対数変換型固体撮像素子１１内の画素出力回路以降における回路の増幅係数であり、Ｂはサブスレッショルド特性のプロセスばらつき及び対数変換型固体撮像素子１１内の増幅回路のプロセスばらつきに因るオフセットである。対数変換型固体撮像素子１１においては、一般に、これらのプロセスばらつきに因るオフセットが固定パターンノイズ(ＦＰＮ)となり、画質劣化の原因となる。そのために、上述したように、ＦＰＮメモリ１４と減算回路１５とによるＦＰＮ除去を行うのである。以降においては、電流振幅ａ'を呈する画素の座標を示す[i,j]の表記は、便宜上省略する。
【００３５】
上記ＦＰＮメモリ１４と減算回路１５とによるＦＰＮ除去方法は、上記暗時における各単位画素２６の出力をオフセット信号として予めＦＰＮメモリ１４に書き込んでおき、上記明時における各単位画素２６の出力から単位画素２６毎に上記暗時の出力を減算することによって行うのである。以下に詳述する。
【００３６】
図１において、上記暗時における対数変換型固体撮像素子１１の各単位画素２６の出力は、予めＡ/Ｄ変換回路１３によってディジタル信号に変換されて、ＦＰＮメモリ１４に記憶される。この暗時の出力は、式(１４)から次式(１５)のように表すことができる。
0003950330.tif 000017
一方、上記明時における対数変換型固体撮像素子１１の各単位画素２６の出力は次式(１６)のように表される。
0003950330.tif 000018
そして、減算回路１５によって、Ａ/Ｄ変換回路１３からの上記式(１６)で表わされる明時の出力と、ＦＰＮメモリ１４に記憶されている上記式(１５)で表わされる暗時の出力との差分が計算される。その結果、減算回路１５からは次式(１７)で表される信号が出力される。
0003950330.tif 000019
【００３７】
上記式(１７)で表わされる上記暗電流等による直流成分を除いた信号は、照明が十分に明るい場合、すなわち「a'ｘ2＞b'」である場合には、次式(１８)で近似できる。
0003950330.tif 000020
上記式(１８)から明らかなように、減算回路１５の出力は、サブスレッショルド特性のばらつき等による「Ｂ」及び暗電流等による直流成分「ｂ'」に依らない信号となる。こうして、画質劣化の原因を除くＦＰＮ除去が行われるのである。尚、本実施の形態においては、ＦＰＮメモリ１４を用いたＦＰＮ除去法を用いたが、よく知られたＣＤＳ(Correlated Double Sampling)回路を用いたアナログ信号処理によるＦＰＮ除去方法であっても適用可能である。
【００３８】
上記式(１８)で表わされる映像信号は時間に依存する信号である。そして、上述したように、垂直走査回路２７によって単位画素行を選択する時間は各単位画素行毎に異なるために、図４に示すように撮像画面上に横縞模様が生じるのである。本実施の形態においては、撮像画面上に横縞模様が生じないようにするために、時間に依存しない映像信号を得るのである。そして、そのために、以下に詳述するように、商用電源周期を基準とした位相が９０°異なるようにフレーム周波数制御された連続する２つのフレーム間における同一単位画素２６からの画素データを利用するのである。
【００３９】
ところで、上記位相が９０°異なるフレームを得るためには、フレーム周波数ｆvは次式(１９)を満たしていれば良い。
0003950330.tif 000021
以下、図５に従って、上記式(１９)が表す意味について説明する。図５は、本実施の形態におけるフレーム周期の例を示すものである。図５は、図３の場合と同様に、商用電源を使用するために明滅する照明の光量の時間変動を示す。図５に示すように、蛍光灯のような照明の場合には、商用電源周波数をｆaとすると、上記照明の光量は商用電源周波数ｆaの２倍の周波数で周期的に変動する。
【００４０】
上述したように、本実施の形態においては、時間に依存しない映像信号を得るために２つの連続したフレームの画素信号を利用する。そして、それらのフレーム間の商用電源周期を基準とした位相差を９０°にするためには、図５に示すように、任意のフレーム番号ｍのフレームと次のフレーム番号(ｍ＋１)のフレームとの時間間隔（すなわちフレーム周期）を、１/４ｆa,３/４ｆa,５/４ｆa,７/４ｆa,…となるように設定すればよい。すなわち、本実施の形態において使用するフレーム周波数は、式(１９)で示すようなフレーム周波数となるのである。
【００４１】
ここで、上記任意のフレーム番号ｍのフレームにおける上記減算回路１５の出力は、上記式(１８)より、次式(２０)のようになる。
0003950330.tif 000022
一方、フレーム番号(ｍ＋１)のフレームにおける減算回路１５の出力は、フレーム番号ｍのフレームにおける出力と位相が９０°異なること以外、すなわち照明の輝度振幅,光電変換係数および対数変換型固体撮像素子１１における増幅係数は、フレーム番号ｍのフレームと等しいものとすると、
0003950330.tif 000023
と表すことができる。
【００４２】
図１において、上記減算回路１５からのフレーム番号ｍの画素データは、フレームメモリ制御回路１７のタイミング制御によってフレームメモリ１６に書き込まれる。そして、減算回路１５からフレーム番号(ｍ＋１)の画素データが出力される際には、フレームメモリ１６からフレーム番号ｍの画素データが読み出される。その場合、フレームメモリ１６から読み出される画素データの(ｘ,ｙ)座標に係る画素が、減算回路１５から出力される画素データに係る画素と同一になるように、フレームメモリ１６の読み出し座標と書き込み座標とがフレームメモリ制御回路１７によって制御される。こうすることによって、フレームメモリ１６から画素データが読み出された後に、その読み出し座標に減算回路１５からの画素データが書き込まれるのである。
【００４３】
上記減算回路１５から出力された上記式(２１)で表されるフレーム番号(ｍ＋１)の画素データと、フレームメモリ１６から読み出された上記式(２０)で表されるフレーム番号ｍの画素データとは、上記ディジタル信号処理部１８に入力される。そして、第１正規化部１９によってフレーム番号(ｍ＋１)の画素データが自然対数関数に正規化される。一方、第２正規化部２１によってフレーム番号ｍの画素データが自然対数関数に正規化される。その際に、各正規化部１９,２１においては、予め求められた値Ａによって除算が行われる。したがって、フレーム番号ｍの画素データは
0003950330.tif 000024
となる。また、フレーム番号(ｍ＋１)の画素データは
0003950330.tif 000025
となる。
【００４４】
さらに、これらの画素データに対して、上記ディジタル信号処理部１８における第１対数/線形変換部２０および第２対数/線形変換部２２によって線形変換が行われる。すなわち、第１,第２対数/線形変換部２０,２２においては指数関数による演算が行われる。したがって、フレーム番号ｍの画素データは
0003950330.tif 000026
となる。また、フレーム番号(ｍ＋１)の画素データは
0003950330.tif 000027
となる。
【００４５】
さらに、これら両画素データが加算部２３によって加算されることによって、次式(２６)で表わされる映像信号が得られるのである。
0003950330.tif 000028
こうして算出された映像信号においては時間変動成分が相殺されている。したがって、ディジタル信号処理部１８において上述したような計算を各単位画素２６毎に行うことによって撮像画面上の横縞模様が抑圧されるのである。
【００４６】
上述したように、本実施の形態においては、クロック生成回路１２によって、映像信号のフレーム周波数ｆvが、(商用電源周波数ｆaの４倍)/奇数になるような走査クロックを生成する。そして、この走査クロックに基づいて、対数変換型固体撮像素子１１によって各単位画素２６からの画素データを順次出力し、ＦＰＮメモリ１４にディジタル化された暗時の画素信号を記憶する。さらに、減算回路１５によって、Ａ/Ｄ変換回路１３でディジタル化された明時(暗時以外)における画素信号からＦＰＮメモリ１４に記憶されている暗時の画素信号を減算してＦＰＮ除去を行うようにしている。したがって、対数変換型固体撮像素子１１におけるサブスレッショルド特性等のプロセスばらつき及び暗電流等による直流成分に依らない画素信号を得ることができる。こうして、画質の劣化が防止されるのである。
【００４７】
さらに、上記ＦＰＮ除去が行われた後の画素データを、ディジタル信号処理部１８に送出すると共に、フレームメモリ１６に最低１フレーム分記憶する。そして、上記クロック生成回路１２からの走査クロックに基づくフレームメモリ制御回路１７の制御に従って、フレームメモリ１６によって、減算回路１５からの画素データと同じ画素に係る前フレームの画素データを読み出して、商用電源周期１/ｆaの１/４の奇数倍だけ前の位相(つまり、９０°(２ｎ−１)だけ前の位相)の画像データをディジタル信号処理部１８に送出するのである。
【００４８】
したがって、上記ディジタル信号処理部１８によって、同一画素に係る９０°（２ｎ−１)だけ位相が異なる画像データの夫々について、第１,第２正規化部１９,２１で自然対数関数に正規化し、第１,第２対数/線形変換部２０,２２で指数関数によって線形変換し、加算部２３で両画素データを加算することによって、時間変動成分が相殺されて撮像画面上の横縞模様が抑圧された映像信号を得ることができるのである。
【００４９】
すなわち、本実施の形態によれば、対数変換型固体撮像素子１１によって、商用電源周波数の影響を受けて明滅する照明下で撮影を行った場合に起こる横縞模様を抑圧し、画質の向上を図ることができるのである。
【００５０】
＜第２実施の形態＞
線形応答型固体撮像素子の場合には、単位画素の出力は入射光量に対して線形に応答する。このように、単位画素の出力が入射光量の瞬時値を表すような特性を有する固体撮像素子に対してもこの発明を適用することは可能である。
【００５１】
図６は、本実施の形態の固体撮像装置におけるブロック図である。図６において、クロック生成回路４２,Ａ/Ｄ変換回路４３,ＦＰＮメモリ４４,減算回路４５,フレームメモリ４６およびフレームメモリ制御回路４７は、上記第１実施の形態におけるクロック生成回路１２,Ａ/Ｄ変換回路１３,ＦＰＮメモリ１４,減算回路１５,フレームメモリ１６およびフレームメモリ制御回路１７と同様である。
【００５２】
線形応答型固体撮像素子４１は、上記第１実施の形態における対数変換型固体撮像素子１１とは各単位画素が線形応答する点が異なり、その内部ブロックは対数変換型固体撮像素子１１の内部ブロックと同様である。したがって、線形応答型固体撮像素子４１の内部ブロックについての詳細な説明は省略する。
【００５３】
ディジタル信号処理部４８は、加算部４９によって、上記減算回路４５からの画素データとフレームメモリ４６から読み出された１フレーム前の同一画素の画素データとを加算して、横縞模様が抑圧された映像信号を計算して出力する。
【００５４】
蛍光灯のような商用電源で動作する照明下においては、図３に示すように、照明自身の光量が時間と共に変動するために、画素への入射光量は照明の明滅に応じた光量となる。この様は、線形応答型固体撮像素子４１の出力信号に現れ、本実施の形態を適用しない場合には、撮像画面上に横縞模様として表れることになる。この現象の説明は、上記第１実施の形態における図４の説明と同様であるから省略する。
【００５５】
ところで、照明の明滅輝度波形は、商用電源周波数ｆaの正弦波の二次関数ｆと見なせるので、式(２７)のように表すことができる。
0003950330.tif 000029
また、図６における線形応答型固体撮像素子４１の単位画素内の光電変換素子における光電変換の変換関数ｈは線形変換と見なせるので、式(２８)のように表すことができる。
0003950330.tif 000030
式(２８)において、「ａ'」は、上記各単位画素からの画素信号の振幅を表す。また、「ｂ'」は、上記光電変換素子の暗電流成分における直流成分を表す。
【００５６】
上記線形応答型固体撮像素子４１の場合、光電変換信号をそのまま画素信号として出力するかあるいは単位画素内において線形増幅される。何れにしろ、上記式(２７)に示すような明滅輝度波形を有する照明下においてｉ列ｊ行に位置する単位画素の撮像出力ｇ(x)[i,j]は、式(２９)で表すことができる。
0003950330.tif 000031
【００５７】
式(２９)において、ａ''[i,j]は、上記式(２７)で表わされる照明下におけるｉ列ｊ行に位置する単位画素からの撮像信号の振幅を表し、線形応答型固体撮像素子４１内の画素出力回路以降における回路の増幅係数をも含んでいる。また、ｂ''は、暗電流および線形応答型固体撮像素子４１内の増幅回路におけるプロセスばらつきによるオフセットである。線形応答型固体撮像素子４１においては、一般に、これらのプロセスばらつきに因るオフセットが固定パターンノイズ(ＦＰＮ)となり、画質劣化の原因となる。そのため、上述したように、ＦＰＮメモリ４４と減算回路４５とによるＦＰＮ除去を行うのである。以降においては、撮像信号の振幅ａ''を呈する画素の座標を示す[i,j]の表記は、便宜上省略する。
【００５８】
上記ＦＰＮメモリ４４と減算回路４５とによるＦＰＮ除去方法は、上記第１実施の形態の場合と同様に、上記暗時における各単位画素の出力をオフセット信号として予めＦＰＮメモリ４４に書き込んでおき、上記明時における各単位画素の出力から単位画素毎に上記暗時の出力を減算することによって行う。以下に詳述する。
【００５９】
図６において、上記暗時における線形応答型固体撮像素子４１の各単位画素の出力は、予めＡ/Ｄ変換回路４３によってディジタル信号に変換されて、ＦＰＮメモリ４４に記憶される。この暗時の出力は、式(２９)から次式(３０)のように表すことができる。
0003950330.tif 000032
一方、上記明時における線形応答型固体撮像素子４１の各単位画素の出力は次式(３１)のように表される。
0003950330.tif 000033
そして、減算回路４５によって、Ａ/Ｄ変換回路４３からの上記式(３１)で表わされる明時の出力と、ＦＰＮメモリ４４に記憶された上記式(３０)で表わされる暗時の出力との差分が計算される。その結果、減算回路４５からは次式(３２)で表される信号が出力される。
0003950330.tif 000034
【００６０】
上記式(３２)から明らかなように、減算回路４５の出力は、暗電流および線形応答型固体撮像素子４１内における増幅回路のプロセスばらつきによるオフセットに依らない信号となる。こうして、画質劣化の原因を除くＦＰＮ除去が行われるのである。尚、本実施の形態においては、ＦＰＮメモリ４４を用いたＦＰＮ除去方法を用いたが、よく知られたＣＤＳ回路を用いたアナログ信号処理によるＦＰＮ除去方法であっても適用可能である。
【００６１】
上記式(３２)で表わされる映像信号は時間に依存する信号である。そして、上述したように、単位画素行を選択する時間は各単位画素行毎に異なるために、撮像画面上に横縞模様が生じるのである。本実施の形態においては、撮像画面上に横縞模様が生じないようにするために、時間に依存しない映像信号を得るのである。そして、そのために、以下に詳述するように、商用電源周期を基準とした位相が９０°異なるようにフレーム周波数制御された連続する２つのフレーム間における同一単位画素からの画素データを利用するのである。
【００６２】
ところで、上記位相が９０°異なるフレームを得るためには、上記第１実施の形態の場合と同様に、フレーム周波数ｆvは上記式(１９)を満たしていれば良いのである。尚、上記式(１９)の表すところは、上記第１実施の形態において行った図５の説明の場合と同様であるから、ここでの説明は省略する。
【００６３】
ここで、任意のフレーム番号ｍのフレームにおける減算回路４５の出力は、上記式(３２)より、次式(３３)のようになる。
0003950330.tif 000035
一方、フレーム番号(ｍ＋１)のフレームにおける減算回路４５の出力は、フレーム番号ｍのフレームにおける出力と位相が９０°異なること以外、すなわち照明の輝度振幅,光電変換係数および線形応答型固体撮像素子４１における増幅係数は、フレーム番号ｍのフレームと等しいものとすると、
0003950330.tif 000036
と表すことができる。
【００６４】
図６において、上記減算回路４５からのフレーム番号ｍの画素データは、フレームメモリ制御回路４７のタイミング制御によってフレームメモリ４６に書き込まれる。そして、減算回路４５からフレーム番号(ｍ＋１)の画素データが出力される際には、フレームメモリ４６からフレーム番号ｍの画素データが読み出される。その場合、フレームメモリ４６から読み出される画素データの(ｘ,ｙ)座標に係る画素が、減算回路４５から出力される画素データに係る画素と同一になるように、フレームメモリ４６の読み出し座標と書込み座標とがフレームメモリ制御回路４７によって制御される。こうすることによって、フレームメモリ４６から画素データが読み出された後に、その読み出し座標に減算回路４５からの画素データが書き込まれるのである。
【００６５】
上記減算回路４５から出力された上記式(３４)で表されるフレーム番号(ｍ＋１)の画素データと、フレームメモリ４６から読み出された上記式(３３)で表されるフレーム番号ｍの画素データとは、上記ディジタル信号処理部４８に入力される。そして、これらの両画素データが加算部４９によって加算されることによって、次式(３５)で表わされる映像信号が得られるのである。
0003950330.tif 000037
ここで、上記式(３５)はｘの関数ではなく、式(３５)によって算出された映像信号においては時間変動成分は相殺されている。したがって、ディジタル信号処理部４８において上述したような計算を各単位画素毎に行うことによって撮像画面上の横縞模様が抑圧されるのである。
【００６６】
上述のごとく、本実施の形態においては、クロック生成回路４２によって、映像信号のフレーム周波数ｆvが(商用電源周波数ｆaの４倍)/奇数になるような走査クロックを生成する。そして、この走査クロックに基づいて、線形応答型固体撮像素子４１から順次出力される画素データをＡ/Ｄ変換回路４３でディジタル化し、ＦＰＮメモリ４４および減算回路４５によってＦＰＮ除去を行うようにしている。したがって、線形応答型固体撮像素子４１における増幅回路等のプロセスばらつき及び暗電流等による直流成分に依らない画素信号を得ることができ、画質の劣化を防止することができる。
【００６７】
さらに、上記第１実施の形態の場合と同様に、フレームメモリ４６およびフレームメモリ制御回路４７によって、減算回路４５からの画素データと同じ画素に関する１フレーム前の画素データをディジタル信号処理部４８に送出する。そして、ディジタル信号処理部４８の加算部４９によって、同一画素に関する商用電源周期１/ｆaの１/４の奇数倍だけ位相が異なる画像データを加算することによって、時間変動成分が相殺されて撮像画面上の横縞模様が抑圧された映像信号を得ることができるのである。
【００６８】
すなわち、本実施の形態によれば、上記線形応答型固体撮像素子４１を用いる場合であっても、商用電源周波数の影響を受けて明滅する照明下で撮影を行った場合に生ずる横縞模様を抑圧して、画質の向上を図ることができるのである。
【００６９】
【発明の効果】
以上より明らかなように、この発明の固体撮像装置は、タイミング設定手段によって、複数の画素を行単位で列方向に順次走査して画素信号を信号線に出力させる第１走査手段と上記信号線を行方向に順次選択して上記画素信号を増幅手段に出力する第２走査手段との動作タイミングを、照明で使用する商用電源周波数をｆaとした際に、フレーム周波数ｆvが次式
0003950330.tif 000038
で表される周波数になるように設定するので、上記照明の明滅による横縞模様の空間移動を抑制することができ、連続する２フレームの上記商用電源の周期を基準とした位相差を９０°(２ｎ−１)にすることができる。したがって、連続する２つのフレームからの画素信号を用いて時間に依存しない映像信号を得ることができ、商用電源周期１/ｆaの１/２の周期で明滅する照明下で撮像する場合に、撮像画面上に横縞模様を生じさせない映像信号を得ることが可能になる。
【００７０】
さらに、上記画素を構成するトランジスタは上記電流信号から電圧信号へ対数変換し、上記増幅手段からのアナログ画素信号をＡ/Ｄ変換手段によってディジタル画像信号に変換し、フレームメモリ制御手段の制御の下に、変換後の少なくとも１フレーム分のディジタル画素信号をフレームメモリに記憶し、線形変換手段によって、上記フレームメモリからの現フレームとＡ/Ｄ変換手段からの前フレームとの同じ画素に係るディジタル画素信号の夫々に線形変換を行い、加算手段によって上記線形変換手段からの両線形変換信号を加算して映像信号を得るので、上記９０°(２ｎ−１)の位相差を有する連続する２フレームからの同じ画素に関する画素信号を線形変換した後に加算することによって、時間に依存しない映像信号を得ることができる。したがって、上記画素部が対数変換型である場合に撮像画面上に横縞模様を生じさせないようにできるのである。
【００７１】
また、１実施例の固体撮像装置は、上記フレームメモリ制御回路は、上記Ａ/Ｄ変換手段からの現フレームのディジタル画素信号を上記フレームメモリに書き込ませる直前に、上記フレームメモリから同じ画素に係るディジタル画素信号を読み出させるように上記フレームメモリの動作を制御するので、上記フレームメモリ上の同一個所には常に同一画素の画素信号を書き込むことができる。したがって、フレーム毎の書き込み/読み出し時のアドレス制御を簡単にできる。
【００７２】
また、１実施例の固体撮像装置は、上記Ａ/Ｄ変換手段からの暗時のディジタル画素信号をノイズメモリに記憶し、減算手段によって、上記Ａ/Ｄ変換手段からの明時のディジタル画素信号から上記ノイズメモリに記憶された暗時のディジタル画素信号を減算するので、上記各画素のプロセスばらつき及び暗電流等による直流成分に依らない画素信号を得ることができる。したがって、画質の劣化を防止することができる。
【００７３】
また、１実施例の固体撮像装置は、現フレームのディジタル画素信号と前フレームのディジタル画素信号との夫々に対して、正規化手段によって正規化を行うので、対数信号であるディジタル画素信号に対して後に行われる線形変換を、簡単な処理で行うことができる。
【図面の簡単な説明】
【図１】  この発明の固体撮像装置におけるブロック図である。
【図２】  図１における対数変換型固体撮像素子の内部ブロックを示す図である。
【図３】  商用電源で動作する照明の光量の時間変動を示す図である。
【図４】  撮像画像における横縞模様の流れの説明図である。
【図５】  位相が９０°異なるフレームを得るためのフレーム周波数の説明図である。
【図６】  図１とは異なる固体撮像装置におけるブロック図である。
【図７】  広いダイナミックレンジを確保する固体撮像装置における画素の回路図である。
【符号の説明】
１１…対数変換型固体撮像素子、
１２,４２…クロック生成回路、
１３,４３…Ａ/Ｄ変換回路、
１４,４４…ＦＰＮメモリ、
１５,４５…減算回路、
１６,４６…フレームメモリ、
１７,４７…フレームメモリ制御回路、
１８,４８…ディジタル信号処理部、
１９,２１…正規化部、
２０,２２…対数/線形変換部、
２３,４９…加算部、
２５…画素部、
２６…単位画素、
２７…垂直走査回路、
２８…垂直信号線、
２９…マルチプレクサ、
３０…水平走査回路、
３１…水平増幅回路
４１…線形応答型固体撮像素子。
【図１】
0003950330.tif 000040
【図２】
0003950330.tif 000041
【図３】
0003950330.tif 000042
【図４】
0003950330.tif 000043
【図５】
0003950330.tif 000044
【図６】
0003950330.tif 000045
【図７】
0003950330.tif 000046