(57)【要約】【課題】  フレーム転送型ＣＣＤイメージセンサにおいて、一部領域の画像を利用する場合に、スミアを抑制しつつフレームレートを向上させる。【解決手段】  スミア演算回路１００は、画像抽出対象であるセンターエリアの各行の画像信号Ｖ(j)のスミア成分を、先行する行の画像信号の累積加算値から求める。ここでセンターエリアに先行する先行読み出し領域からのスミア成分の寄与は、先行読み出し領域の画像信号の累積加算によることなく、センターエリアの先頭行の画像信号に基づいて推定する。この推定値をラインメモリ１０６にスミア成分初期値として設定し、センターエリアの各行についての累積加算処理を開始する。これにより、先行読み出し領域の画像信号の読み出しが省略され、フレームレートが向上する。【選択図】        図６
2005184777.tif 000002
【特許請求の範囲】
【請求項１】
信号電荷の蓄積及び列方向転送が可能な複数の画素が行列配置された撮像部と、前記複数の画素に蓄積される信号電荷を前記撮像部から列方向に取り込んで一時蓄積する蓄積部とを含む固体撮像素子により得られた画像信号に基づいて、前記撮像部から前記蓄積部へのフレーム転送にて前記信号電荷に混入するスミア量を求めるスミア演算回路であって、
前記撮像部内に設定される所定の画像抽出対象領域の前記各画素に対応する画像データ及び、撮像期間と前記フレーム転送の１行当たりの転送周期との比に基づいて、当該画素で発生するスミア成分を推定し、前記画像抽出対象領域において前記列方向に並ぶ前記各画素について得られる前記スミア成分を前記画像信号の出力順序に従って順次累積加算し、各列について得られた現在の累積加算データを、当該列の次の画素に対応する画像データに含まれるスミア量として出力する累積加算部と、
前記撮像部のうち前記画像抽出対象領域と前記蓄積部とに挟まれるオフセット領域で発生するスミア量に応じたスミア成分初期値を各列毎に、前記累積加算データの初期値として前記累積加算部に設定する初期値設定部と、
を有することを特徴とするスミア演算回路。
【請求項２】
請求項１に記載のスミア演算回路において、
前記画像抽出対象領域のうち前記オフセット領域に隣接する行における画像データに基づいて前記オフセット領域での画像データを推定し、当該推定した画像データに基づいて前記スミア成分初期値を定める初期値推定部を有することを特徴とするスミア演算回路。
【請求項３】
信号電荷の蓄積及び列方向転送が可能な複数の画素が行列配置された撮像部と、前記複数の画素に蓄積される信号電荷を前記撮像部から列方向に取り込んで一時蓄積する蓄積部と、前記撮像部内に設定される所定の画像抽出対象領域と前記蓄積部とに挟まれるオフセット領域にて発生した前記信号電荷を除去可能な電荷除去手段とを備えた固体撮像素子と、
前記電荷除去手段により前記オフセット領域の前記信号電荷を前記固体撮像素子上にて除去して、前記固体撮像素子から前記画像抽出対象領域の画像信号を選択的に読み出す画像抽出動作と、前記固体撮像素子から前記オフセット領域の画像信号を読み出すオフセット領域読み出し動作とを行うことができる駆動回路と、
前記撮像部の前記各画素に対応する画像データ及び、撮像期間とフレーム転送の１行当たりの転送周期との比に基づいて、当該画素で発生するスミア成分を推定し、前記撮像部において前記列方向に並ぶ前記各画素について得られる前記スミア成分を前記固体撮像素子からの前記画像信号の出力順序に従って順次累積加算し、各列について得られた現在の累積加算データを、当該列の次の画素に対応する画像データに含まれるスミア量として出力する累積加算部と、
前記画像抽出動作に際して、前記オフセット領域で発生するスミア量に応じたスミア成分初期値を各列毎に、前記累積加算データの初期値として前記累積加算部に設定する初期値設定部と、
を有し、
前記駆動回路は、前記画像抽出動作を反復実行する一方、所定周期で前記オフセット領域読み出し動作を実行し、
前記初期値設定部は、前記オフセット領域読み出し動作における前記累積加算部の累積加算結果を、後続する前記画像抽出動作にて用いる前記スミア成分初期値とすること、
を特徴とする撮像装置。
【請求項４】
信号電荷の蓄積及び列方向転送が可能な複数の画素が行列配置された撮像部と、前記複数の画素に蓄積される信号電荷を前記撮像部から列方向に取り込んで一時蓄積する蓄積部と、前記撮像部のうち前記蓄積部に隣接する所定のオフセット領域を少なくとも含む領域から前記信号電荷を除去可能な撮像部電荷除去手段とを備えた固体撮像素子と、
前記蓄積部との間に前記オフセット領域を挟んで前記撮像部内に設定される所定の画像抽出対象領域の画像信号を、前記固体撮像素子から選択的に読み出す画像抽出動作を行う駆動回路と、
前記撮像部の前記各画素に対応する画像データ及び、撮像期間とフレーム転送の１行当たりの転送周期との比に基づいて、当該画素で発生するスミア成分を推定し、前記撮像部において前記列方向に並ぶ前記各画素について得られる前記スミア成分を前記固体撮像素子からの画像信号の出力順序に従って順次累積加算し、各列について得られた現在の累積加算データを、当該列の次の画素に対応する画像データに含まれるスミア量として出力する累積加算部と、
前記画像抽出動作に際して、前記オフセット領域で発生するスミア量に応じたスミア成分初期値を各列毎に、前記累積加算データの初期値として前記累積加算部に設定する初期値設定部と、
を有し、
前記駆動回路は、
前記画像抽出対象領域の前記信号電荷を前記蓄積部にフレーム転送する第１フレーム転送動作と、
前記第１フレーム転送動作後に、前記撮像部電荷除去手段により、前記オフセット領域から前記信号電荷を除去する電荷除去動作と、
前記電荷除去動作に続けて、前記オフセット領域の前記信号電荷を前記蓄積部へフレーム転送する第２フレーム転送動作と、を行い、
前記初期値設定部は、前記第２フレーム転送動作にて前記蓄積部に格納された前記オフセット領域に対応する前記画像信号に基づいて前記スミア成分初期値を決定すること、
を特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記駆動回路は、前記オフセット領域のうち前記画像抽出対象領域に隣接する後端オフセット行から前記蓄積部へ前記第２フレーム転送動作にて転送された前記信号電荷に基づいて得られる後端オフセット画像信号を前記固体撮像素子から読み出し、
前記初期値設定部は、前記後端オフセット画像信号に基づいて前記スミア成分初期値を設定すること、
を特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記駆動回路は、第２フレーム転送動作にて前記オフセット領域のうち前記後端オフセット行に先行する複数の先行オフセット行の前記信号電荷を前記撮像部から前記蓄積部へ転送する際に、前記蓄積部の前記列方向転送を持続的又は断続的に停止して、前記蓄積部の入力端に位置する行にて、少なくとも一部の前記先行オフセット行の前記信号電荷を互いに加算合成すること、を特徴とする撮像装置。
【請求項７】
請求項４から請求項６のいずれか１つに記載の撮像装置において、
前記撮像部電荷除去手段は、前記撮像部の全領域の前記信号電荷を除去する電子シャッタ動作を行うこと、を特徴とする撮像装置。
【請求項８】
信号電荷の蓄積及び列方向転送が可能な複数の画素が行列配置された撮像部と、前記複数の画素に蓄積される信号電荷を前記撮像部から列方向に取り込んで一時蓄積する蓄積部と、前記撮像部のうち前記蓄積部に隣接するオフセット領域を少なくとも含む領域から前記信号電荷を除去可能な撮像部電荷除去手段とを備えた固体撮像素子の駆動方法において、
前記画像抽出対象領域の前記信号電荷を前記蓄積部にフレーム転送する第１フレーム転送ステップと、
前記第１フレーム転送ステップ後に、前記撮像部内に設定される所定の画像抽出対象領域と前記蓄積部との間を占める前記オフセット領域から、前記撮像部電荷除去手段により前記信号電荷を除去する電荷除去ステップと、
前記電荷除去ステップに続けて、前記オフセット領域の前記信号電荷を前記蓄積部へフレーム転送する第２フレーム転送ステップと、
前記第２フレーム転送ステップ後に、前記蓄積部にて前記信号電荷を順次、列方向転送して、前記画像抽出対象領域に対応する抽出対象画像信号を前記蓄積部から読み出す画像抽出ステップと、
前記オフセット領域のうち前記画像抽出対象領域に隣接する後端オフセット行から前記蓄積部へ前記第２フレーム転送ステップにて転送された前記信号電荷に基づいて得られる画像信号であって、前記画像抽出対象領域の先頭行に含まれるスミア成分に応じたスミア成分信号を読み出すスミア成分信号取得ステップと、
を有することを特徴とする駆動方法。
【請求項９】
請求項８に記載の駆動方法において、
前記第２フレーム転送ステップは、
前記オフセット領域のうち前記後端オフセット行に先行する複数の先行オフセット行の前記信号電荷を前記撮像部から前記蓄積部へ転送する際に、前記蓄積部の前記列方向転送を持続的又は断続的に停止して、前記蓄積部の入力端に位置する行にて、少なくとも一部の前記先行オフセット行の前記信号電荷を互いに加算合成する合成ステップと、
前記後端オフセット行の前記信号電荷を前記先行オフセット行の前記信号電荷とは独立して前記蓄積部に格納する後端オフセット行格納ステップと、
を有することを特徴とする固体撮像素子の駆動方法。
【請求項１０】
請求項９に記載の駆動方法において、
前記第２フレーム転送ステップは、前記合成ステップに先立って、前記蓄積部の前記列方向転送を行って、前記蓄積部の前記入力端側に前記信号電荷が蓄積されていない少なくとも１行の余白行を形成する余白行形成ステップを有することを特徴とする固体撮像素子の駆動方法。
【請求項１１】
請求項８から請求項１０のいずれか１つに記載され、前記蓄積部に蓄積された前記信号電荷を読み出す際に当該信号電荷を行単位で選択的に除去可能な蓄積部電荷除去手段を備えた固体撮像素子の駆動方法において、
前記第１フレーム転送ステップで前記オフセット領域から前記蓄積部に転送された前記信号電荷を前記蓄積部電荷除去手段により除去するステップと、
前記第２フレーム転送ステップで前記蓄積部に転送された前記先行オフセット行の前記信号電荷を前記蓄積部電荷除去手段により除去するステップと、
を有することを特徴とする固体撮像素子の駆動方法。
【請求項１２】
請求項８から請求項１０のいずれか１つに記載の駆動方法において、
前記撮像部電荷除去手段は、前記撮像部の全領域の前記信号電荷を除去する電子シャッタ動作を行うことができ、
前記電荷除去ステップは、前記電子シャッタ動作を行うこと、
を特徴とする固体撮像素子の駆動方法。
【請求項１３】
請求項８から請求項１０のいずれか１つに記載され、前記撮像部電荷除去手段は、前記撮像部のうち前記オフセット領域の前記信号電荷を選択的に除去可能である固体撮像素子の駆動方法において、
前記第１フレーム転送ステップに先立って、前記オフセット領域から、前記撮像部電荷除去手段により前記信号電荷を除去するステップを有すること、を特徴とする固体撮像素子の駆動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム転送型ＣＣＤイメージセンサの画像信号に含まれ得るスミア成分を求めるスミア演算回路、撮像装置、及び固体撮像素子の駆動方法に関する。
【背景技術】
【０００２】
固体撮像素子等を用いて画像信号を生成する撮像装置においては、画像の拡大はレンズを用いた光学的なズーム（光学ズーム）だけでなく、信号処理によるズーム（デジタルズーム）によっても行うことができる。特に、固体撮像素子を用いた撮像装置では、固体撮像素子の画素数の増大に伴い、デジタルズームを行っても十分な解像度が得られるようになった。
【０００３】
従来は、固体撮像素子の撮像部の全画素の信号電荷を画像信号として読み出し、その画像信号のうちの拡大対象領域に対応する部分を信号処理することによりデジタルズームが実現されている。
【０００４】
さて、フレーム転送型のＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサでは、その構造上、素子から読み出される画像信号にスミア成分が混入するという問題がある。これはフレーム転送型のＣＣＤイメージセンサでは、撮像部自体が垂直ＣＣＤシフトレジスタとして構成され、撮像部の各セル（画素）に蓄積された信号電荷を一旦、遮光された蓄積部に移送（フレーム転送）する際に、信号電荷が遮光されていない撮像部を列方向（画像上での垂直方向）に転送されるからである。すなわち、信号電荷は蓄積部までの途中の各セルに、フレーム転送の転送クロックの周期だけ位置する。そして、転送中の当該信号電荷には、その別の位置での受光に応じた信号電荷が重畳され、これがスミア成分となる。特に、強い光を受けスミア成分を多く発生するセルが存在すると、出力画像において、当該セルに端を発して下向きに延びる高輝度の線状のノイズが現れ、画質劣化が顕著となる。以下、撮像部及び蓄積部での垂直転送の仕組みと、フレーム転送に伴う上述のスミアの発生について図を用いて説明する。
【０００５】
図１５は、フレーム転送型ＣＣＤイメージセンサの模式的な平面図である。このイメージセンサ２は撮像部２ｉ、蓄積部２ｓ、水平転送部２ｈ及び出力部２ｄより構成される。撮像部２ｉ及び蓄積部２ｓは互いに列方向に互いのチャネルが連続した垂直ＣＣＤシフトレジスタからなり、撮像部２ｉ及び蓄積部２ｓにはそれら垂直ＣＣＤシフトレジスタが行方向（画像上の水平方向）に複数配列される。撮像部２ｉの垂直ＣＣＤシフトレジスタの各ビットを構成するセルは入射光に応じて信号電荷を発生し蓄積する。設定された露光時間が経過すると、撮像部２ｉから蓄積部２ｓへのフレーム転送が行われる。蓄積部２ｓは遮光膜で覆われ、光の入射による電荷発生を防止されるので、フレーム転送された撮像部２ｉからの信号電荷をそのまま保持することができる。水平転送部２ｈはＣＣＤシフトレジスタからなり、その各ビットは蓄積部２ｓの複数の垂直ＣＣＤシフトレジスタの各出力に接続される。蓄積部２ｓに保持された１画面分の信号電荷は、１行単位で水平転送部２ｈに転送される。水平転送部２ｈは１行分の信号電荷を順次、出力部２ｄに転送する。出力部２ｄは、電気的に独立した容量及びその電位変化を取り出すアンプからなり、水平転送部２ｈから出力される信号電荷を１ビット単位で容量に受けて電圧値に変換し、時系列の画像信号として出力する。
【０００６】
図１６は、フレーム転送型ＣＣＤイメージセンサの撮像部２ｉ及び蓄積部２ｓを構成する垂直ＣＣＤシフトレジスタの構造を示す模式的な部分断面図である。基板には、ｎ型半導体基板４と、その上にｐ型不純物を拡散して形成されたｐウェル６と、さらに基板表面からｐウェル６より浅くｎ型不純物を拡散して形成されたｎ型領域８とからなる、基板の深さ方向に関するｎｐｎ型の構造が形成される。基板表面にはシリコン酸化膜（図示せず）を介して、列方向に複数のゲート電極１０が配列される。ゲート電極１０には３相クロックが印加され、このクロック電圧に応じて、シリコン酸化膜下の半導体基板内のチャネル電位が制御される。撮像部ではゲート電極１０-1〜１０-3それぞれに３相クロックφi1〜φi3が印加され、蓄積部では３相クロックφs1〜φs3が印加される。蓄積部にはゲート電極１０の上に遮光膜（図示せず）が設けられる。
【０００７】
図１７は、ｎｐｎ型ＣＣＤシフトレジスタの基板方向のポテンシャルプロファイルを示す模式図である。図において横軸が基板表面からの深さを表す。また、縦軸は電位を表し、下が正電位側、上が負電位側となる。曲線１２（ＡＢＣ）は、ゲート電極１０に転送クロックのオン電圧（所定の正電圧）を印加したときのポテンシャルプロファイル、曲線１４（Ａ’ＢＣ）は、ゲート電極１０に転送クロックのオフ電圧（オン電圧より低い所定電圧）を印加したときのポテンシャルプロファイルを表す。基板表面寄りの領域１６には、ゲート電極にオン電圧を印加すると電位の井戸が形成され、ここに電子を蓄積することができる。一方、オフ電圧を印加すると、その電位井戸は消滅する。例えば、露光時には撮像部のゲート電極１０-2に印加される転送クロックφi2をオン電圧とし、ゲート電極１０-2に隣接するゲート電極１０-1，１０-3にそれぞれ印加される転送クロックφi1，φi3をオフ電圧とすれば、ゲート電極１０-2の下に電位の井戸が形成され、入射光に応じて発生した信号電荷がここに蓄積される。次にこの信号電荷を蓄積部に向けて転送する際には、クロックφi3をオンとし、次いでクロックφi2をオフとすることで、信号電荷はゲート電極１０-2の下からゲート電極１０-3の下に移動する。同様にして、ゲート電極１０-3の下からゲート電極１０-1の下への信号電荷の移動、及びゲート電極１０-1の下からゲート電極１０-2の下への信号電荷の移動が行われる。フレーム転送ではこれら電極間での信号電荷の移動が高速に繰り返され、信号電荷が撮像部から蓄積部へ移動される。
【０００８】
図１８は、スミアの発生を説明する模式図であり、ここでは簡略化して撮像部２ｉ及び蓄積部２ｓがそれぞれ列方向に関して４セルしかない場合を図示している。図には露光期間Ｅが終了したｔ０及びｔ０以降の転送クロック周期Ｔ毎の各時刻ｔ１〜ｔ４での撮像部２ｉの４セルＩ(1)〜Ｉ(4)及び蓄積部２ｓの４セルＳ(1)〜Ｓ(4)が列上での並び順に従って横方向に配列されている状態が示されている。ここで個々の箱形状がセルに対応し、その箱形状の中に示される網線は露光期間Ｅに発生した信号電荷Ｑimageを、また斜線はスミア成分Ｑsmearを表す。露光が終了すると、転送クロック周期Ｔでフレーム転送が開始され、撮像部２ｉの各セルに蓄積された信号電荷が周期Ｔ毎に蓄積部２ｓに向けて列方向に１セルずつ移動する。ちなみに各セルにはそれぞれ１セットのゲート電極１０-1〜１０-3が割り当てられ、信号電荷は期間Ｔの間にこれら３つのゲート電極下を順次転送される。
【０００９】
図１８において、時刻ｔ０は各セルでの露光が終わるタイミングである。また時刻ｔｉ（ｉ＝１〜４）に対応して図示される状態は列方向にｉセル移動された信号電荷の様子を表している。時刻ｔ１（＝ｔ０＋Ｔ）では、蓄積部に隣接するセルＩ(1)で発生した信号電荷Ｑimage(1)はスミア成分が加わることなく蓄積部のセルＳ(4)に転送されるが、残りのセルＩ(2)〜Ｉ(4)で発生した信号電荷Ｑimage(2)〜Ｑimage(4)はそれぞれセルＩ(1)〜Ｉ(3)に転送され、それぞれ転送先のセルにてスミア成分の電荷Ｑsmear(1)〜Ｑsmear(3)が重畳される。時刻ｔ２〜ｔ４においても同様に、撮像部に蓄積される信号電荷のうち蓄積部に隣接するセルＩ(1)に移動している信号電荷以外のものには、それぞれ転送先のセルにてスミア成分が重畳される。時刻ｔ４はフレーム転送が完了した状態を示しており、セルＩ(j)で発生した信号電荷Ｑimage(j)にはフレーム転送で通過した撮像部のセル毎にスミア成分が累積加算されている。このスミア成分を含んだセルＩ(j)に対応する信号電荷量をＱ(j)で表す。蓄積部にフレーム転送された信号電荷は順次、水平転送部により出力部に転送され、出力部は撮像部の各セルについて信号電荷Ｑ(j)に応じた画像信号Ｖ(j)を生成し出力する。
【００１０】
この固体撮像素子から出力された画像信号に対する信号処理により、スミア成分を求め、除去する方法がある。図１８に示す例について説明したところから理解されるように、一般に、露光期間Ｅ終了後、フレーム転送クロックの第ｎ周期にて撮像部から蓄積部に移動するセルＩ(j)の信号電荷量Ｑ(j)に対応する画像信号Ｖ(j)は次式で表される。ここで、Ｖimage(j)，Ｖsmear(n)はそれぞれ出力部にて信号電荷Ｑimage(j)、スミア成分の電荷Ｑsmear(n)に対応して得られる電圧値を表す。
【００１１】
【数１】
2005184777.tif 000003
【００１２】
ここで、露光期間Ｅとフレーム転送期間（転送クロック周期Ｔ）とでの撮像部の各セルに対する入射光強度が時間的に一定であるとみなせる場合には、Ｖsmear(n)はＶimage(n)に比例し、次式で求めることができる。
【００１３】
Ｖsmear(n)＝Ｖimage(n)・Ｔ／Ｅ    …（２）
【００１４】
これら（１），（２）式に基づいて、先行して出力される画像信号Ｖ(n)（ｎ＝１〜ｊ−１）からスミア成分を含まない画像信号Ｖimage(j)を求めることができる。具体的には、例えば、Ｖ(1)＝Ｖimage(1)より、Ｖimage(2)が次式で得られる。
【００１５】
Ｖimage(2)＝Ｖ(2)−Ｖimage(1)・Ｔ／Ｅ    …（３）
【００１６】
このように既に出力部から出力された画像信号Ｖ(n)に基づいて得られたＶimage(n)（ｎ＝１〜ｊ−１）と、新たに出力部から出力された画像信号Ｖ(j)とから、次式に基づき、スミア成分を含まない画像信号Ｖimage(j)を求めることができる。
【００１７】
【数２】
2005184777.tif 000004
【００１８】
図１９は、上述の信号処理を行いスミア成分が除去するスミア除去回路のブロック構成図である。この回路は、出力部から出力された画像信号Ｖ(j)を入力され、スミア成分Ｖsmear(j)を除去して、Ｖimage(j)を出力する。当該スミア除去回路は、Ｖ(j)に含まれるスミア成分を求めるスミア演算回路２０と、当該スミア成分をＶ(j)から除去してＶimage(j)を求める減算回路２２とから構成される。スミア演算回路２０は、（４）式の右辺第２項を演算する回路であり、減算回路２２は（４）式第１項から第２項を減算する回路である。
【００１９】
スミア演算回路２０は加算回路２４、ラインメモリ２６及び乗算回路２８を含んで構成される。ラインメモリ２６は固体撮像素子の１行分の信号を記憶することができ、固体撮像素子から第ｊ行の画像信号Ｖ(j)が出力されるタイミングでは、第１行から第（ｊ−１）行までのＶimageを列毎に累積加算した値が格納されている。ラインメモリ２６の記憶内容は、行の先頭から順番に読み出される。乗算回路２８は、ラインメモリ２６から読み出された値に係数（Ｔ／Ｅ）を乗じて、第ｊ行の画像信号Ｖ(j)に含まれるスミア成分値を求め、減算回路２２に入力する。減算回路２２では固体撮像素子の第ｋ列（ｋは任意の列番号）に対応する画像信号値から当該第ｋ列に対応するスミア成分値が減算されるように、乗算回路２８にて得られるスミア成分値を減算回路２２へ入力するタイミングが調整される。このようにして減算回路２２からはスミア成分が除去された第ｊ行の画像信号Ｖimage(j)が出力され、図示しない後段の信号処理に供せられる。一方、このＶimage(j)はスミア演算回路２０の加算回路２４にも入力される。加算回路２４は第１行から第（ｊ−１）行までのＶimageの加算値をラインメモリ２６から読み出し、この値と減算回路２２から出力されたＶimage(j)とを加算し、この加算値はラインメモリ２６に格納される。これにより、ラインメモリ２６に格納されるＶimageの累積加算値が、第１行から第ｊ行までの合計値に更新される。
【特許文献１】特許第３１５７４５５号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
固体撮像素子の撮像部のうちの一部分の画像を抽出する処理は、上述のようにデジタルズームに利用することができる。
【００２１】
ここで、デジタルカメラやその他のカメラ機能付きの携帯端末等において、固体撮像素子の画素数の向上は、プレビュー用のモニタの画素数の向上に比べて著しい。そのため、メモリ等の記録媒体に画像を記録する際には、固体撮像素子の画素数に応じた高解像度の画像を撮影するが、プレビュー時にはプレビューモニタの画素数に応じた少ない画素数での撮影で十分である場合がある。また、人間の視覚特性上、動画像は静止画ほどの解像度を必要とせず、むしろ記録データ量を抑制する意味でも静止画に比べて少ない画素数での撮影が選択される場合もある。これらの場合にも、固体撮像素子の撮像部の一部分の画像を取り出し利用する処理が行われ得る。
【００２２】
さて、スミア成分を画像信号の処理によって求める従来技術では、固体撮像素子から出力された第ｊ行の画像信号Ｖ(j)に含まれるスミア成分を求めるために、先行して読み出される各行のＶimageが必要とされる。すなわち、従来技術では、固体撮像素子の撮像部２ｉのうちの一部領域を画像信号の抽出対象とする場合であっても、それに含まれるスミア成分を求めるために、蓄積部２ｓと抽出対象領域との間に位置する領域（オフセット領域）の画像信号を読み出す必要があった。
【００２３】
このように抽出対象以外の領域を読み出すために、固体撮像素子の駆動において水平転送する行数が抽出対象領域を構成する行より多くなる。その結果、プレビューや動画撮影のフレームレートを上げることができず、画像が滑らかな動きを表現できなかったり、水平転送部の駆動に要する電力が多くなるといった問題が生じる。
【００２４】
また、従来技術では、抽出対象領域以外の画像信号に対しても図１９に示す回路を動作させて（４）式で表される累積加算演算を実行する必要がある。近年の撮像装置では消費電力の低減を図るため、画像信号処理回路を構成する各ブロックの駆動を、処理を要しない期間にて停止させる等の努力がなされている。そのような観点からすれば、抽出対象領域以外においても図１９の回路を動作させる必要がある従来技術は、消費電力の低減余地がある。
【００２５】
本発明は上記問題点を解決することを目的とし、固体撮像素子の撮像部の一部に設定された画像抽出対象領域の画像だけを利用する際に、高フレームレートの確保や低消費電力化を図りつつ、信号処理で簡易にスミアを求め除去することを可能とするスミア演算回路、撮像装置、及び固体撮像素子の駆動方法を提供することを目的とする。
【課題を解決するための手段】
【００２６】
本発明に係るスミア演算回路は、信号電荷の蓄積及び列方向転送が可能な複数の画素が行列配置された撮像部と、前記複数の画素に蓄積される信号電荷を前記撮像部から列方向に取り込んで一時蓄積する蓄積部とを含む固体撮像素子により得られた画像信号に基づいて、前記撮像部から前記蓄積部へのフレーム転送にて前記信号電荷に混入するスミア量を求める回路であって、前記撮像部内に設定される所定の画像抽出対象領域の前記各画素に対応する画像データ及び、撮像期間と前記フレーム転送の１行当たりの転送周期との比に基づいて、当該画素で発生するスミア成分を推定し、前記画像抽出対象領域において前記列方向に並ぶ前記各画素について得られる前記スミア成分を前記画像信号の出力順序に従って順次累積加算し、各列について得られた現在の累積加算データを、当該列の次の画素に対応する画像データに含まれるスミア量として出力する累積加算部と、前記撮像部のうち前記画像抽出対象領域と前記蓄積部とに挟まれるオフセット領域で発生するスミア量に応じたスミア成分初期値を各列毎に、前記累積加算データの初期値として前記累積加算部に設定する初期値設定部とを有する。
【００２７】
撮像部の或る画素（目的画素）の信号電荷に混入するスミア量は、本来、当該目的画素の信号電荷が蓄積部までフレーム転送される間に通過する各画素で発生するスミア成分の累積値である。すなわち、スミア量を求める際には、目的画素の属する画素列において、蓄積部に隣接する画素から当該目的画素の手前までの各画素にて生じるスミア成分を累積するべきである。これに対し、累積加算部は、オフセット領域に位置する画素でのスミア成分は累積加算せず、目的画素の属する画素列における画像抽出対象領域の先頭画素（オフセット領域に隣接する画素）から当該目的画素の手前までの各画素にて生じるスミア成分を累積する。ここで、初期値設定部が、オフセット領域で発生するスミア量に応じたスミア成分初期値を累積加算部に設定し、累積加算部はこれを初期値として上記累積加算演算を行うことにより、当該累積加算部での累積加算結果は、目的画素の信号電荷に対するスミア量の推定値を与える。この構成によれば、オフセット領域に対応する行の信号電荷はスミア成分を求めるために固体撮像素子から読み出す必要がなく、水平転送動作を省略してフレームレートを上げることが可能となる。また、オフセット領域での累積加算部の動作を停止することができ、消費電力が低減可能である。
【００２８】
他の本発明に係るスミア演算回路は、さらに、前記画像抽出対象領域のうち前記オフセット領域に隣接する行における画像データに基づいて前記オフセット領域での画像データを推定し、当該推定した画像データに基づいて前記スミア成分初期値を定める初期値推定部を有する。
【００２９】
画像抽出対象領域の先頭行はオフセット領域に隣接し、よって当該先頭行の画像データと、オフセット領域の画像データとの間には相関を期待し得る。そこで本発明では、当該先頭行の画像データに基づいてオフセット領域の画像データを推定する。簡単な例では、オフセット領域の各列の画像データは先頭行の同じ列に属する画素の画像データと同じとする。オフセット領域の各画素にて生じるスミア成分は、当該画素での画像データの推定値を用いて推定することができる。例えば、その推定は、累積加算部と同様に、画像データの推定値及び、撮像期間とフレーム転送の１行当たりの転送周期との比に基づいて行うことができる。例えば、オフセット領域及び画像抽出対象領域の先頭行に映る画像が一様性の高い、すなわち空間的な変化の少ない画像である場合には、画像抽出対象領域の先頭行に基づいてスミア成分初期値を好適に推定することができる。一様性が高い画像は、例えば、空、海、壁などに見られる。
【００３０】
本発明に係る撮像装置は、信号電荷の蓄積及び列方向転送が可能な複数の画素が行列配置された撮像部と、前記複数の画素に蓄積される信号電荷を前記撮像部から列方向に取り込んで一時蓄積する蓄積部と、前記撮像部内に設定される所定の画像抽出対象領域と前記蓄積部とに挟まれるオフセット領域にて発生した前記信号電荷を除去可能な電荷除去手段とを備えた固体撮像素子と、前記電荷除去手段により前記オフセット領域の前記信号電荷を前記固体撮像素子上にて除去して、前記固体撮像素子から前記画像抽出対象領域の画像信号を選択的に読み出す画像抽出動作と、前記固体撮像素子から前記オフセット領域の画像信号を読み出すオフセット領域読み出し動作とを行うことができる駆動回路と、前記撮像部の前記各画素に対応する画像データ及び、撮像期間とフレーム転送の１行当たりの転送周期との比に基づいて、当該画素で発生するスミア成分を推定し、前記撮像部において前記列方向に並ぶ前記各画素について得られる前記スミア成分を前記固体撮像素子からの画像信号の出力順序に従って順次累積加算し、各列について得られた現在の累積加算データを、当該列の次の画素に対応する画像データに含まれるスミア量として出力する累積加算部と、前記画像抽出動作に際して、前記オフセット領域で発生するスミア量に応じたスミア成分初期値を各列毎に、前記累積加算データの初期値として前記累積加算部に設定する初期値設定部とを有し、前記駆動回路が、前記画像抽出動作を反復実行する一方、所定周期で前記オフセット領域読み出し動作を実行し、前記初期値設定部が、前記オフセット領域読み出し動作における前記累積加算部の累積加算結果を、後続する前記画像抽出動作にて用いる前記スミア成分初期値とする。
【００３１】
本発明によれば、固体撮像素子はオフセット領域にて発生した信号電荷を固体撮像素子内にて除去することができる。例えば、固体撮像素子は、撮像部又は蓄積部においてオフセット領域に対応する部分の垂直転送電極と残りの部分の垂直転送電極とを別個に駆動可能とし、電子シャッタと同様にしてオフセット領域に対応する部分に蓄積された信号電荷を基板裏面に排出する構成とすることができる。オフセット領域の信号電荷を除去した場合、オフセット領域に対応する行に対しては水平転送を省略することができ、画像抽出対象領域に対応する行から水平転送を開始する。この場合には、オフセット領域の読み出しが省略され、固体撮像素子からは画像抽出対象領域に対応する画像信号が選択的に出力される（画像抽出動作）。一方、固体撮像素子は、オフセット領域の信号電荷を除去せずに画像信号として読み出すこともできる（オフセット領域読み出し動作）。累積加算部は、オフセット領域読み出し動作において、オフセット領域の各画素列の先頭から後尾までのスミア成分の累積加算を行う。初期値設定部は、そのオフセット領域読み出し動作での累積加算結果をスミア成分初期値として累積加算部に設定する。画像抽出動作においては、このオフセット領域読み出し動作毎に設定されるスミア成分初期値を累積加算演算の初期値として、累積加算部が画像抽出対象領域の先頭行の画素から目的画素の手前までのスミア成分を累積加算する。例えば、オフセット領域読み出し動作と画像抽出動作とを交互に行ってもよいし、画像抽出動作の複数回に１回の割合でオフセット領域読み出し動作を行うようにしてもよい。オフセット領域読み出し動作の頻度は、所望のフレームレート（画像抽出動作の頻度）に応じて定めることができる。
【００３２】
他の本発明に係る撮像装置は、信号電荷の蓄積及び列方向転送が可能な複数の画素が行列配置された撮像部と、前記複数の画素に蓄積される信号電荷を前記撮像部から列方向に取り込んで一時蓄積する蓄積部と、前記撮像部のうち前記蓄積部に隣接する所定のオフセット領域を少なくとも含む領域から前記信号電荷を除去可能な撮像部電荷除去手段とを備えた固体撮像素子と、前記蓄積部との間に前記オフセット領域を挟んで前記撮像部内に設定される所定の画像抽出対象領域の画像信号を、前記固体撮像素子から選択的に読み出す画像抽出動作を行う駆動回路と、前記撮像部の前記各画素に対応する画像データ及び、撮像期間とフレーム転送の１行当たりの転送周期との比に基づいて、当該画素で発生するスミア成分を推定し、前記撮像部において前記列方向に並ぶ前記各画素について得られる前記スミア成分を前記固体撮像素子からの画像信号の出力順序に従って順次累積加算し、各列について得られた現在の累積加算データを、当該列の次の画素に対応する画像データに含まれるスミア量として出力する累積加算部と、前記画像抽出動作に際して、前記オフセット領域で発生するスミア量に応じたスミア成分初期値を各列毎に、前記累積加算データの初期値として前記累積加算部に設定する初期値設定部と、を有し、前記駆動回路が、前記画像抽出対象領域の前記信号電荷を前記蓄積部にフレーム転送する第１フレーム転送動作と、前記第１フレーム転送動作後に、前記撮像部電荷除去手段により、前記オフセット領域から前記信号電荷を除去する電荷除去動作と、前記電荷除去動作に続けて、前記オフセット領域の前記信号電荷を前記蓄積部へフレーム転送する第２フレーム転送動作と、を行い、前記初期値設定部が、前記第２フレーム転送動作にて前記蓄積部に格納された前記オフセット領域に対応する前記画像信号に基づいて前記スミア成分初期値を決定する。
【００３３】
本発明によれば、画像抽出対象領域の信号電荷を蓄積部にフレーム転送した後、電荷除去動作によりオフセット領域から信号電荷を除去する。オフセット領域に形成された電位井戸は撮像部電荷除去手段により信号電荷を除去された後、第２フレーム転送動作により蓄積部に移動するまでの撮像部の通過画素で発生するスミア電荷を累積的に蓄積する。すなわちオフセット領域に対応する各行の画像信号はスミア成分の量を表しており、その全部又は一部の行の画像信号に基づいてスミア成分初期値を定めることができる。ここで、第１フレーム転送動作、電荷除去動作及び第２フレーム転送動作の一連の動作は、蓄積部に蓄積された信号電荷に基づく画像信号の読み出し動作と共に、各フレーム周期内に行うことができるので、各フレーム周期にて、画像抽出対象領域に対応する画像信号（抽出画像）の取得とスミア成分初期値の取得との両方が行われる。すなわち、スミア成分初期値の取得のために抽出画像が得られないフレーム周期が生じず、抽出画像のフレームレートが確保される。
【００３４】
別の本発明に係る撮像装置においては、前記駆動回路が、前記オフセット領域のうち前記画像抽出対象領域に隣接する後端オフセット行から前記蓄積部へ前記第２フレーム転送動作にて転送された前記信号電荷に基づいて得られる後端オフセット画像信号を前記固体撮像素子から読み出し、前記初期値設定部が、前記後端オフセット画像信号に基づいて前記スミア成分初期値を設定する。
【００３５】
さらに別の本発明に係る撮像装置においては、前記駆動回路が、第２フレーム転送動作にて前記オフセット領域のうち前記後端オフセット行に先行する複数の先行オフセット行の前記信号電荷を前記撮像部から前記蓄積部へ転送する際に、前記蓄積部の前記列方向転送を持続的又は断続的に停止して、前記蓄積部の入力端に位置する行にて、少なくとも一部の前記先行オフセット行の前記信号電荷を互いに加算合成する。
【００３６】
本発明によれば、スミア成分初期値の決定には後端オフセット画像信号が用いられ、先行オフセット行の情報は不要である。蓄積部への転送時に、先行オフセット行の信号電荷の加算合成を行うことでオフセット領域の行数が削減される。これにより、画像抽出対象領域とオフセット領域との格納に必要な蓄積部のサイズが小さくなる。
【００３７】
本発明の好適な態様は、前記撮像部電荷除去手段が、前記撮像部の全領域の前記信号電荷を除去する電子シャッタ動作を行う撮像装置である。
【００３８】
本発明に係る固体撮像素子の駆動方法は、信号電荷の蓄積及び列方向転送が可能な複数の画素が行列配置された撮像部と、前記複数の画素に蓄積される信号電荷を前記撮像部から列方向に取り込んで一時蓄積する蓄積部と、前記撮像部のうち前記蓄積部に隣接するオフセット領域を少なくとも含む領域から前記信号電荷を除去可能な撮像部電荷除去手段とを備えた固体撮像素子の駆動方法において、前記画像抽出対象領域の前記信号電荷を前記蓄積部にフレーム転送する第１フレーム転送ステップと、前記第１フレーム転送ステップ後に、前記撮像部内に設定される所定の画像抽出対象領域と前記蓄積部との間を占める前記オフセット領域から、前記撮像部電荷除去手段により前記信号電荷を除去する電荷除去ステップと、前記電荷除去ステップに続けて、前記オフセット領域の前記信号電荷を前記蓄積部へフレーム転送する第２フレーム転送ステップと、前記第２フレーム転送ステップ後に、前記蓄積部にて前記信号電荷を順次、列方向転送して、前記画像抽出対象領域に対応する抽出対象画像信号を前記蓄積部から読み出す画像抽出ステップと、前記オフセット領域のうち前記画像抽出対象領域に隣接する後端オフセット行から前記蓄積部へ前記第２フレーム転送ステップにて転送された前記信号電荷に基づいて得られる画像信号であって、前記画像抽出対象領域の先頭行に含まれるスミア成分に応じたスミア成分信号を読み出すスミア成分信号取得ステップと、を有するものである。
【００３９】
他の本発明に係る駆動方法においては、前記第２フレーム転送ステップが、前記オフセット領域のうち前記後端オフセット行に先行する複数の先行オフセット行の前記信号電荷を前記撮像部から前記蓄積部へ転送する際に、前記蓄積部の前記列方向転送を持続的又は断続的に停止して、前記蓄積部の入力端に位置する行にて、少なくとも一部の前記先行オフセット行の前記信号電荷を互いに加算合成する合成ステップと、前記後端オフセット行の前記信号電荷を前記先行オフセット行の前記信号電荷とは独立して前記蓄積部に格納する後端オフセット行格納ステップと、を有する。
【００４０】
さらに他の本発明に係る駆動方法においては、前記第２フレーム転送ステップが、前記合成ステップに先立って、前記蓄積部の前記列方向転送を行って、前記蓄積部の前記入力端側に前記信号電荷が蓄積されていない少なくとも１行の余白行を形成する余白行形成ステップを有する。
【００４１】
本発明によれば、蓄積部の入力端にて先行オフセット行の信号電荷を加算合成する際に、加算合成された信号電荷が当該入力端の電位井戸の蓄積容量を超えたとしても、溢れた信号電荷は余白行に蓄積され、画像抽出対象領域に流れ込んだり、後端オフセット行へ逆流することが抑制される。
【００４２】
本発明の好適な態様は、前記蓄積部に蓄積された前記信号電荷を読み出す際に当該信号電荷を行単位で選択的に除去可能な蓄積部電荷除去手段を備えた固体撮像素子の駆動方法であり、前記第１フレーム転送ステップで前記オフセット領域から前記蓄積部に転送された前記信号電荷を前記蓄積部電荷除去手段により除去するステップと、前記第２フレーム転送ステップで前記蓄積部に転送された前記先行オフセット行の前記信号電荷を前記蓄積部電荷除去手段により除去するステップと、を有するものである。
【００４３】
本発明の他の好適な態様は、前記撮像部電荷除去手段が、前記撮像部の全領域の前記信号電荷を除去する電子シャッタ動作を行うことができ、前記電荷除去ステップが、前記電子シャッタ動作を行う駆動方法である。
【００４４】
本発明のさらに他の好適な態様は、前記撮像部電荷除去手段が、前記撮像部のうち前記オフセット領域の前記信号電荷を選択的に除去可能である固体撮像素子の駆動方法において、前記第１フレーム転送ステップに先立って、前記オフセット領域から、前記撮像部電荷除去手段により前記信号電荷を除去するステップを有するものである。
【発明の効果】
【００４５】
本発明によれば、固体撮像素子の撮像部の一部に設定された画像抽出対象領域の画像だけを利用する際に、高フレームレートの確保や低消費電力化を図りつつ、信号処理で簡易にスミアを求め除去することが可能となる。
【発明を実施するための最良の形態】
【００４６】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。
【００４７】
［実施形態１］
図１は、本発明の実施形態であるフレーム転送型のＣＣＤイメージセンサの模式的な平面図である。このイメージセンサ４０は、半導体基板表面に形成された撮像部４０ｉ、蓄積部４０ｓ、水平転送部４０ｈ及び出力部４０ｄを備える。イメージセンサ４０は、例えば、撮像部４０ｉの全セルを用いて高解像度の静止画を撮影する用途に用いられる。一方、それほど解像度を要しない場合に、撮像部４０ｉにて撮影される画像のうち中央部を拡大表示する用途にも用いることができる。なお、撮像部４０ｉの中央部の画像のみの撮影は、プレビュー画面への表示や動画像撮影等にも好適である。
【００４８】
撮像部４０ｉには入射光量に応じた信号電荷を発生するセルが複数、行列配置される。本実施形態では、例えば撮像部４０ｉを縦横それぞれ３分割して得られる９つの領域のうちの中央の領域（センターエリア４２ａ）が、拡大表示のために抽出される画像抽出対象領域とされる場合を説明する。すなわち、撮像部４０ｉが３ｍ行を含むとすれば、先行読み出し領域４２ｃ（オフセット領域）が蓄積部４０ｓ側から数えて第１〜ｍ行を占め、残りの第（ｍ＋１）〜３ｍ行が領域４２ｂに対応し、また領域４２ｂのうち第（ｍ＋１）〜２ｍ行にセンターエリア４２ａが設定される。
【００４９】
撮像部４０ｉに行列配置されたセルの各列は垂直ＣＣＤシフトレジスタを構成する。この撮像部４０ｉの垂直ＣＣＤシフトレジスタは基板上に行方向に複数本渡されたゲート電極を備え、これらゲート電極を３相駆動することで垂直ＣＣＤシフトレジスタ内を各セルの信号電荷が垂直転送される。本イメージセンサ４０は、撮像部４０ｉに２組の３相クロックが供給される。撮像部４０ｉ上にてセンターエリア４２ａを含む上側２／３の領域４２ｂのゲート電極は素子内の配線により、第１のクロックの組φi1〜φi3が入力される端子に接続される。一方、センターエリア４２ａと蓄積部４０ｓとに挟まれる撮像部４０ｉの下側１／３の領域（先行読み出し領域４２ｃ）のゲート電極は配線により、第２のクロックの組φi1'〜φi3'が入力される端子に接続される。すなわち、撮像部４０ｉの垂直ＣＣＤシフトレジスタは、２組のクロック端子に同じ３相クロックを供給することにより、従来と同様に撮像部４０ｉから蓄積部４０ｓへのフレーム転送を行うことができる。その一方で、領域４２ｂ及び先行読み出し領域４２ｃに別々のクロックを印加して、これら２つの領域４２ｂ，４２ｃでの信号電荷の蓄積及び列方向転送を互いに異ならせることもできる。
【００５０】
蓄積部４０ｓは、行方向に複数配列された垂直ＣＣＤシフトレジスタを備える。蓄積部４０ｓの垂直ＣＣＤシフトレジスタは、撮像部４０ｉの垂直ＣＣＤシフトレジスタそれぞれに対応して設けられる。撮像部４０ｉと蓄積部４０ｓとの互いに対応する垂直ＣＣＤシフトレジスタはチャネルが連続し、両シフトレジスタを同期させて駆動することにより、撮像部４０ｉで蓄積された信号電荷を蓄積部４０ｓへ転送することができる。ちなみに、蓄積部４０ｓの垂直ＣＣＤシフトレジスタは、撮像部４０ｉの行数に応じたビット数を有する。蓄積部４０ｓの垂直ＣＣＤシフトレジスタは撮像部４０ｉと同様、行方向に渡されたゲート電極を複数本備え、これらゲート電極に印加される３相クロックφs1〜φs3によって、蓄積部４０ｓでの信号電荷の蓄積及び列方向転送が制御される。
【００５１】
図２は、フレーム転送型ＣＣＤイメージセンサの撮像部４０ｉ及び蓄積部４０ｓを構成する垂直ＣＣＤシフトレジスタの構造を示す模式的な部分断面図である。基板には、ｎ型半導体基板５０と、その上にｐ型不純物を拡散して形成されたｐウェル５２と、さらに基板表面からｐウェル５２より浅くｎ型不純物を拡散して形成されたｎ型領域５４とからなる、基板の深さ方向に関するｎｐｎ型の構造が形成される。基板表面にはシリコン酸化膜（図示せず）を介して、列方向に複数のゲート電極５６が配列される。ゲート電極５６には３相クロックが印加され、このクロック電圧に応じて、シリコン酸化膜下の半導体基板内のチャネル電位が制御される。撮像部では上述のようにセンターエリア４２ａを含む領域４２ｂのゲート電極５６-1〜５６-3それぞれに３相クロックφi1〜φi3が印加され、一方、先行読み出し領域４２ｃのゲート電極５６-1〜５６-3それぞれに３相クロックφi1’〜φi3’が印加され、これら領域４２ｂ，４２ｃにおいて垂直ＣＣＤシフトレジスタは別々に駆動可能である。蓄積部４０ｓのゲート電極５６-1〜５６-3それぞれには３相クロックφs1〜φs3が印加される。なお、蓄積部４０ｓにはゲート電極５６の上に遮光膜が設けられるが、図２には示されていない。
【００５２】
基板方向にｎｐｎ型構造を有する場合の基板深さ方向のポテンシャルプロファイルは図１７に示すようになる。ここでゲート電極５６-1〜５６-3のいずれか１つ又は２つを適当な順番でオン状態とすることで、電位井戸を垂直ＣＣＤシフトレジスタのチャネルの一定方向に移動させることができ、それにより電位井戸に蓄積された信号電荷も移動させることができる。一方、ゲート電極５６-1〜５６-3を全てオフ状態とすると、電位井戸は消滅し、そこに蓄積されていた信号電荷はｐウェル５２を超えて正電圧を印加される基板裏面に流れる。電子シャッタとして知られる技術はこれを利用したものである。当該技術では、撮像開始タイミングにて一旦、撮像部４０ｉ全体のゲート電極をオフ状態として、全面の信号電荷を基板裏面へ除去し、その後、いずれかのゲート電極下に電位井戸を形成して露光により生じる信号電荷の蓄積を開始する。
【００５３】
図３は、イメージセンサ４０を用いた撮像装置の概略の構成を示すブロック図である。イメージセンサ４０に供給される各種クロックは、タイミング制御回路６０及びクロック発生回路６２により生成される。タイミング制御回路６０は垂直同期信号ＶＤ及び水平同期信号ＨＤに基づいて、クロック発生回路６２に対する各種のトリガ信号を生成する。クロック発生回路６２は、タイミング制御回路６０からのトリガ信号に応じて撮像部４０ｉに対する垂直転送クロック信号φｉ（φi1〜φi3）及びφｉ'（φi1'〜φi3'）、蓄積部４０ｓに対する垂直転送クロック信号φｓ（φs1〜φs3）、水平転送部４０ｈに対する水平転送クロック信号φｈ、出力部４０ｄの容量のリセットパルス信号φｒ等を生成して各部へ出力する。
【００５４】
また、タイミング制御回路６０は、撮影される画像サイズが撮像部４０ｉ全面である通常モードか、撮影される画像サイズがセンターエリア４２ａである画像抽出モードかを示す撮影モード信号Ｍを入力され、それに応じて動作を切り換える。信号Ｍが通常モードを指定する場合には、タイミング制御回路６０は、撮像部４０ｉの各行に対応する画像信号を出力する通常の動作を行うようにクロック発生回路６２を制御する。一方、信号Ｍが画像抽出モードを指定する場合には、タイミング制御回路６０は後述する動作が行われるようにクロック発生回路６２を制御する。
【００５５】
出力部４０ｄから出力される画像信号Ｙ０(t)は、アナログ信号処理回路６４に入力される。アナログ信号処理回路６４は、サンプルホールド、自動利得制御（ＡＧＣ：Auto Gain Control）等の処理を画像信号Ｙ０(t)に施し、所定のフォーマットに従う画像信号Ｙ１(t)を生成する。Ａ／Ｄ変換回路６６はアナログ信号処理回路６４から出力される画像信号Ｙ１(t)をデジタルデータに変換して、画像データＤ１(n)を出力する。デジタル信号処理回路６８はＡ／Ｄ変換回路６６から画像データＤ１(n)を取り込み、後述するスミア除去処理のほか、輪郭補正や１画面単位での積分処理、さらにカラー画像の場合には、色バランスの制御やフィルタリング等の処理を施し、新たな画像データＤ２(n)を生成する。この画像データＤ２(n)は記録媒体に記録されたり、Ｄ／Ａ変換回路によりアナログ信号に変換されて表示装置での画像表示に利用される。
【００５６】
図４は、画像抽出モードでのイメージセンサの駆動方法を説明するフロー図であり、図５は、当該駆動方法を説明する模式的なタイミング図である。図５には領域４２ｂのゲート電極５６を駆動する転送クロック信号φｉ、先行読み出し領域４２ｃのゲート電極５６を駆動する転送クロック信号φｉ'、蓄積部４０ｓのゲート電極５６を駆動する転送クロック信号φｓ、水平転送部４０ｈを駆動する転送クロック信号φｈのクロック動作のタイミングが示されている。なお、図５において時間は横軸右方向に経過する。
【００５７】
まず、露光期間Ｅの開始に際して電子シャッタ動作が行われる（Ｓ８０）。電子シャッタ動作では、転送クロックφi1〜φi3及びφi1’〜φi3’が全てオフ状態とされ、タイミングξ１に先行する所定期間、撮像部４０ｉの各セルの電位井戸を全て消滅させる。これにより、電位井戸に蓄積されていた信号電荷は、ｐウェル５２を超えて基板裏面へ排出される。
【００５８】
電子シャッタ動作が完了すると、φｉ及びφｉ’それぞれの所定位相のクロック信号、例えばφi2及びφi2’がオン状態とされ、領域４２ｂ及び先行読み出し領域４２ｃの対応するゲート電極５６下に電位井戸が形成される（タイミングξ１）。このタイミングから露光期間Ｅが始まる（Ｓ８２）。設定された露光期間Ｅが終了直前となると、露光期間Ｅ開始時にオン状態としたφi2’をオフ状態にする（ξ２）。これにより、転送クロックφｉ’は全てオフ状態とされ、それまでに先行読み出し領域４２ｃの各セルに蓄積された信号電荷が基板裏面へ排出される（Ｓ８４）。このとき、φi2はオンに保たれ、それまでにセンターエリア４２ａを含む領域４２ｂの各セルに蓄積された信号電荷は、当該各セルに保持される。
【００５９】
先行読み出し領域４２ｃに対しての選択的な電子シャッタ動作が完了し、露光期間Ｅが終了すると直ちに、撮像部４０ｉから蓄積部４０ｓへのフレーム転送が開始される（ξ３、Ｓ８６）。フレーム転送では、クロック発生回路６２はφｉ，φｉ’，φｓとして互いに同期した高速なクロックＣ１（周期Ｔ）を、撮像部４０ｉの列方向のセル数に応じたサイクルだけ発生させる。これにより、撮像部４０ｉの全セルの信号電荷が、遮光膜を備えた蓄積部４０ｓへ移送される。
【００６０】
蓄積部４０ｓにフレーム転送された信号電荷はクロックφｓにより１行ずつ垂直転送され、このライン転送により、水平転送部４０ｈに１行ずつ信号電荷が転送される。ここで説明している画像抽出モードでは、先行読み出し領域４２ｃである第１〜ｍ行が、駆動停止された水平転送部４０ｈに、例えばフレーム転送と同じ周期ＴのクロックＣ２で転送される（Ｓ８８）。水平転送部４０ｈは電荷蓄積可能な状態で停止されているので、これら第１〜ｍ行の信号電荷は、水平転送部４０ｈにて各列毎に合成される。なお、基板裏面への信号電荷の除去動作Ｓ８４により、水平転送部４０ｈに転送される第１〜ｍ行の信号電荷は実質的な信号ではなく微少なノイズ電荷であり、それらｍ行を合成しても水平転送部４０ｈの蓄積容量を超えるおそれはない。第ｍ行が水平転送部４０ｈへライン転送されると（ξ４）、水平転送部４０ｈが駆動され（クロックＣ３）、合成された信号電荷が出力部４０ｄへ転送され、出力部４０ｄは合成された信号電荷量に応じた１行分の信号を出力する。
【００６１】
第ｍ行のライン転送及び水平転送に続いて、画像抽出対象領域を構成する第（ｍ＋１）〜第２ｍ行の信号電荷も、１Ｈ周期（水平走査期間）で順次、水平転送部４０ｈへライン転送され、水平転送部４０ｈを駆動して出力部４０ｄから読み出される（画像読み出し期間ＲＤ，Ｓ９０）。
【００６２】
さて、センターエリア４２ａは第２ｍ行までであるので、この時点で蓄積部４０ｓに残っている第（２ｍ＋１）〜３ｍ行の信号電荷は読み出す必要がない。そこで、それら信号電荷を蓄積している蓄積部４０ｓのゲート電極５６に対応するφｓをオフ状態にする。これにより、転送クロックφｓは全てオフ状態とされ、蓄積部４０ｓに残った信号電荷が基板裏面へ排出される（ξ５，Ｓ９２）。
【００６３】
以上の画像抽出モードの動作では、露光期間Ｅにおいて撮像部４０ｉにて撮像された１画面の電荷排出がξ３〜ξ５までの期間で完了する。この期間は、第１〜（ｍ−１）行及び第（２ｍ＋１）〜３ｍ行の水平転送を省略した分、３ｍ行全て水平転送して読み出す通常モードでの電荷排出動作の期間に比べて短縮されるので、フレームレートを上げることができる。例えば、次のフレームの露光は、そのフレーム転送がタイミングξ５に続いて行われるように、蓄積部４０ｓでのライン転送に並行して行うことができる。
【００６４】
上述の説明では、蓄積部４０ｓに残った信号電荷の排出動作Ｓ９２は、第２ｍ行の読み出しが完了するとすぐに行っている。しかし、蓄積部４０ｓに残った信号電荷は次のフレーム転送前に排出されていればよい。例えば、次のフレームのフレーム転送直前に行われる先行読み出し領域４２ｃから基板裏面への信号電荷排出動作Ｓ８４と、先行フレームの蓄積部４０ｓから基板裏面への信号電荷排出動作Ｓ９２とは同時に行うことができる。
【００６５】
次に本発明におけるスミア演算及びそれに基づくスミア除去について説明する。撮像部４０ｉに各列のセルのうち第ｊ行のセルに対応する画像信号をＶ(j)、スミア成分Ｇ(j)を含まない画像信号をＶimage（ｊ）とすると、スミア成分Ｇ（ｊ）が除去された第ｊ行の画像信号Ｖimage(j)は、それに先行する第１〜（ｊ−１）行でのＶimage(j)を用いて次式で与えられる。
【００６６】
【数３】
2005184777.tif 000005
【００６７】
この（５）（６）式は従来技術にて示した（４）式と同義である。通常動作モードでは、先行読み出し領域４２ｃの各行に対応するＶimage(j)も取り出すため、従来技術と同様にして（６）式に基づいて任意の行に対応するスミア成分Ｇ(j)を求め、また（５）式に基づいてＶimage(j)を求めることができる。しかし、イメージセンサ４０は画像抽出モードにてフレームレートを上げる目的で、先行読み出し領域４２ｃに蓄積した信号電荷を基板裏面に除去する。そのため、第１〜ｍ行に対応するＶimage(j)の情報を直接得ることができない。（６）式右辺のうち、それら画像抽出モードでの不明成分に関係する部分を一つにまとめ、記号Ｖoffsetで表すと、（６）式は次のようになる。
【００６８】
【数４】
2005184777.tif 000006
【００６９】
Ｖoffsetは、各信号電荷がフレーム転送時にてセルＩ(m)からＩ(1)を通過する際に混入するスミア成分に相当する。本装置は、画像抽出モードではＶoffsetとして推定値を用いて（７）式に表す累積加算演算を行い、Ｉ(m+1)以降のセルに対するスミア成分を求める。ちなみに、当該計算においてＶoffsetは累積加算値の初期値（スミア成分初期値）となる。Ｖoffsetの推定方法については後述する。
【００７０】
図６は、上述の信号処理を行いスミア成分を除去するスミア除去回路のブロック構成図である。この回路は、Ａ／Ｄ変換回路６６から出力された画像データＤ１(n)について各行毎の画像信号Ｖ(j)を入力され、スミア成分が好適に除去されたＶimage(j)を生成する。当該スミア除去回路は、Ｖ(j)に含まれるスミア成分Ｇ(j)を求めるスミア演算回路１００と、当該スミア成分をＶ(j)から除去する減算回路１０２とから構成される。スミア演算回路１００は、（７）式右辺の演算を行う回路であり、減算回路１０２は（５）式右辺の演算を行う回路である。
【００７１】
スミア演算回路１００は加算回路１０４、ラインメモリ１０６、乗算回路１０８及び初期値設定回路１１０を含んで構成される。ラインメモリ１０６はイメージセンサ４０の１行分の信号を記憶することができ、各ビットには初期値設定回路１１０により初期値が設定される。初期値設定回路１１０は、Ｖoffsetを推定する初期値推定部と、推定したＶoffsetに応じた値を初期値としてラインメモリ１０６に設定する初期値設定部とを含んで構成される。ラインメモリ１０６にはイメージセンサ４０から第ｊ行（ｊ≧ｍ＋１）の画像信号Ｖ(j)が出力されるタイミングでは、第（ｍ＋１）行から第（ｊ−１）行までのＶimageを初期値に列毎に累積加算した値（Ｅ／Ｔ）・Ｇ(j)が格納されている。ラインメモリ１０６の記憶内容は、行の先頭から順番に読み出される。乗算回路１０８は、ラインメモリ１０６から読み出された値に係数（Ｔ／Ｅ）を乗じて、第ｊ行の画像信号Ｖ(j)に含まれるスミア成分値Ｇ(j)を求め、減算回路１０２に入力する。減算回路１０２ではイメージセンサ４０の第ｋ列（ｋは任意の列番号）に対応する画像信号値から当該第ｋ列に対応するスミア成分値が減算されるように、乗算回路１０８にて得られるスミア成分値を減算回路１０２へ入力するタイミングが調整される。このようにして減算回路１０２からはスミア成分が好適に除去された第ｊ行の画像信号Ｖimage(j)が出力され、図示しない後段の信号処理に供せられる。一方、このＶimage(j)はスミア演算回路１００の加算回路１０４にも入力される。加算回路１０４は第１行から第（ｊ−１）行までのＶimageの加算値をラインメモリ１０６から読み出して、その値と減算回路１０２から出力されたＶimage(j)とを加算し、この加算値はラインメモリ１０６に格納される。これにより、ラインメモリ１０６に格納されるＶimageの累積加算値が、第ｊ行までの合計値に更新される。
【００７２】
さて、画像抽出モードにおいて、初期値設定回路１１０は、センターエリア４２ａの先頭行である第（ｍ＋１）行の画像信号Ｖ（ｍ＋１）に基づいて、Ｖoffsetの推定値を定める。ここでは、先行読み出し領域４２ｃの画像は列方向に一様であり、かつセンターエリア４２ａの先頭行はその一様画像に連続している（含まれている）という仮定の下で推定を行う。このような仮定は、先行読み出し領域４２ｃに例えば、空、海、壁などが映る場合に特に有効となる。この場合、Ｖimage(j)≡Ｖ０（１≦ｊ≦ｍ＋１）とおくことができ、（５）（６）（８）式より、Ｖoffsetの推定値は次式で与えられる。
【００７３】
Ｖoffset＝Ｖ(m+1)・ｍＴ／Ｅ    …（９）
【００７４】
初期値設定回路１１０内の初期値推定部は、イメージセンサ４０から画像信号Ｖ（ｍ＋１）が出力されると、それを用い（９）式に基づいてＶoffsetの推定値を各列毎に算出し、初期値設定部がそれら推定値に応じたスミア成分初期値をラインメモリ１０６に設定する。具体的には、乗算回路１０８での係数（Ｔ／Ｅ）の乗算を考慮して、初期値設定回路１１０はスミア成分初期値として、（Ｅ／Ｔ）Ｖoffsetをラインメモリ１０６に設定する。スミア演算回路１００では、この設定されたスミア成分初期値に対し、第（ｍ＋１）行以降の各行のスミア成分を累積加算していき、現在の画像信号Ｖ(j)に対するスミア成分Ｇ(j)を求める。
【００７５】
Ｖoffsetの推定は他の方法でも行い得る。つまり、何らかの方法で、先行読み出し領域４２ｃの各セルでの画像信号Ｖimage（又はＶ）の推定値が得られれば、それらに基づいてＶoffsetの推定値を定めることができる。例えば、センターエリア４２ａの先頭行から所定行数での画像の列方向に関する変化傾向を求め、当該変化傾向を先行読み出し領域４２ｃへ外挿することにより、当該領域４２ｃにて列方向に変化する画像信号推定値が得られる。
【００７６】
その他、出力画像データ出力Ｄ２(n)等を入力とするアプリケーション又は回路での処理結果に応じて先行読み出し領域４２ｃの画像信号推定値を定めることもできる。例えば、露光制御回路がセンターエリア４２ａ全体の画像データの積分値（又は平均値）に基づいて露光期間Ｅを制御する場合に、当該露光制御回路にて得られる画像データの積分値等から画像の各フレーム毎に１セル当たりの平均画像データを定めることができる。この平均画像データに基づいて先行読み出し領域４２ｃの画像信号推定値を定めてもよい。
【００７７】
このように種々の方法で先行読み出し領域４２ｃの画像信号推定値を定めることができ、それに基づいてＶoffsetの推定値を定めることができる。初期値設定回路１１０は複数種類の推定方法を行うことができるようにし、ユーザが被写体等に応じて、又は好適な画像が得られるように、いずれかの推定方法を選択して使用することができるようにすることも好適である。
【００７８】
なお、ここでは、図６に示すスミア除去回路は、撮像装置の一部であったが、画像信号処理装置に搭載することもできる。その画像信号処理装置は、外部から入力されたり、記録媒体に記録された画像信号を再生したりすることにより得られる画像抽出モード画像信号を処理するものであり、その処理の一部として上記スミア除去回路によるスミア成分の除去が行われ得る。
【００７９】
［実施形態２］
本発明の第２の実施形態に係る撮像装置の構成は、上記第１の実施形態と基本的に共通し、以下の説明では図１〜図５を援用すると共に、機能が共通する構成要素は同一の符号を付して説明の簡略化を図る。本装置の主たる特徴は、画像抽出モードでのイメージセンサ４０の駆動方法にある。本撮像装置のイメージセンサ４０は、先行読み出し領域４２ｃの垂直ＣＣＤシフトレジスタと領域４２ｂの垂直ＣＣＤシフトレジスタとを別々に駆動することができ、これにより、撮像部４０ｉの第１〜ｍ行（先行読み出し領域４２ｃ）に蓄積された信号電荷を画像信号として読み出す動作（オフセット領域読み出し動作）と、第（ｍ＋１）〜２ｍ行（センターエリア４２ａ）に蓄積された信号電荷を画像信号として読み出す動作（画像抽出動作）とを選択的に行うことができる。
【００８０】
まず、画像抽出動作は、上記第１の実施形態にて図５を用いて説明した動作である。すなわち、クロック発生回路６２は、露光期間Ｅの終わりに先行読み出し領域４２ｃに蓄積された信号電荷を基板裏面に除去し、残った領域４２ｂの信号電荷が蓄積部４０ｓへフレーム転送される。これにより、撮像部４０ｉの第１〜ｍ行に対応する水平転送動作を省略することができ、センターエリア４２ａに対応する画像信号を通常の撮像モードより少ない水平転送回数で取得することができる。
【００８１】
一方、オフセット領域読み出し動作では、クロック発生回路６２は、先行読み出し領域４２ｃの電荷除去を行わずにフレーム転送を行う。そして、先行読み出し領域４２ｃに対応するｍ行分の信号電荷を１行ずつ順次、水平転送部４０ｈにライン転送し、水平転送駆動を行って出力部４０ｄから画像信号として読み出す。先行読み出し領域４２ｃに対応するｍ行の画像信号の読み出しが完了すると、クロック発生回路６２はφｓを制御して、蓄積部４０ｓに残った第（ｍ＋１）〜３ｍ行の信号電荷を基板裏面に移動させ除去する。
【００８２】
本撮像装置の画像抽出モードでは、上述の画像抽出動作の繰り返しの中に、オフセット領域読み出し動作が所定周期で挿入される。図７は、その様子を示すものであり、本装置の駆動方法を説明する模式的なタイミング図である。図において、記号“Ｃ”を付した期間（１フレーム期間）では画像抽出動作が行われ、センターエリア４２ａに対応するｍ行の画像信号がイメージセンサ４０から出力される。一方、記号“Ｐ”を付したフレーム期間では、オフセット領域読み出し動作が行われ、先行読み出し領域４２ｃに対応するｍ行の画像信号が出力される。図７（ａ）に示す動作例では、画像抽出動作１回毎にオフセット領域読み出し動作が行われる。また図７（ｂ）に示す動作例では、画像抽出動作３回置きにオフセット領域読み出し動作が１回挿入される。
【００８３】
図８は、本撮像装置のデジタル信号処理回路６８に内蔵されるスミア除去回路のブロック構成図である。この回路も図６の回路と同様、Ａ／Ｄ変換回路６６から出力された画像データＤ１(n)について各行毎の画像信号Ｖ(j)を入力され、スミア成分が好適に除去されたＶimage(j)を生成するものである。図８の回路が図６の回路と相違する点は、初期値設定回路１１０がスミア演算回路１００から出力される累積加算値をスミア成分初期値として取り込むことができる点であり、他は基本的に図６の回路と同様に構成することができる。
【００８４】
このスミア除去回路は、オフセット領域読み出し動作にて読み出された画像信号を用いた以下の処理を行い、画像抽出動作にて読み出された画像信号からスミア成分を除去する。スミア演算回路１００は、オフセット領域読み出し動作の開始に連動して、ラインメモリ１０６の各ビットの記憶内容を０にリセットする。オフセット領域読み出し動作により、撮像部４０ｉの第１〜ｍ行に対応する画像信号Ｖ(j)がこのスミア除去回路に入力されると、スミア演算回路１００は（６）式に相当する累積加算演算を行い、第ｍ行を累積加算し終わると、その累積加算結果は（８）式で表されるＶoffsetを与える。ちなみにＶoffsetは、撮像部４０ｉの列毎の一連の値である。その累積加算結果は減算回路１０２に供給される一方、初期値設定回路１１０に取り込まれる。
【００８５】
初期値設定回路１１０は、画像抽出動作の開始に連動して、乗算回路１０８の出力から得たＶoffsetの値に基づき、スミア成分初期値として（Ｅ／Ｔ）Ｖoffsetを求める。なお、ここで現れる係数（Ｅ／Ｔ）は乗算回路１０８での係数（Ｔ／Ｅ）の乗算を考慮したものである。初期値設定回路１１０は、列毎に得られるスミア成分初期値を、ラインメモリ１０６の対応するビットに格納する。画像抽出動作により撮像部４０ｉの第（ｍ＋１）〜２ｍ行に対応する画像信号Ｖ(j)がこのスミア除去回路に入力されると、スミア演算回路１００は（７）式で表される累積加算演算を行い、スミア成分Ｇ(j)を出力する。このスミア成分Ｇ(j)は減算回路１０２に入力される。減算回路１０２は、画像抽出動作にて入力される各行の画像信号Ｖ(j)に対し（５）式の演算を行い、スミア成分が除去された画像信号Ｖimage(j)を出力する。
【００８６】
図７（ｂ）のように画像抽出動作が複数フレーム連続して実行される場合には、初期値設定回路１１０は、各画像抽出動作の開始に際して、直近のオフセット領域読み出し動作にて得られたＶoffsetに基づくスミア成分初期値をラインメモリ１０６に設定する。
【００８７】
本撮像装置では、先行するオフセット領域読み出し動作で先行読み出し領域４２ｃから読み出された画像信号に基づいてスミア成分初期値を求めるので、スミアが好適に除去される。またオフセット領域読み出し動作の頻度を調節することにより、画像抽出動作により抽出されるセンターエリア４２ａからの画像のフレームレートを上げることができる。
【００８８】
［実施形態３］
本発明の第３の実施形態の説明において、上述の第１、第２の実施形態と共通する構成要素は同一の符号を付して説明の簡略化を図る。
【００８９】
図９は、本発明の実施形態であるフレーム転送型のＣＣＤイメージセンサの模式的な平面図である。本装置のイメージセンサとして、先行読み出し領域４２ｃを領域４２ｂとは独立して駆動可能な上述のイメージセンサ４０を用いることもできるが、本実施形態では、撮像部での垂直転送を１組の３相クロックφi1〜φi3で行うイメージセンサ１２０を用いる。イメージセンサ１２０の基本的な構造は、従来技術の説明にて図１５に示した一般的なフレーム転送型ＣＣＤイメージセンサと共通し、その撮像部及び蓄積部の垂直ＣＣＤシフトレジスタは、図１６に示す模式的な部分断面図に示す構造を有する。すなわち、撮像部１２０ｉは、先行読み出し領域４２ｃ及び領域４２ｂが共通のクロックφi1〜φi3で駆動されるように構成され、この点でイメージセンサ４０と相違する。また撮像部１２０ｉは基板深さ方向に図１７に示すポテンシャルプロファイルを有し、撮像部全領域から一括して信号電荷を除去する電子シャッタ動作を行うことができる。また、通常のイメージセンサがそうであるように、撮像部１２０ｉはその周に沿った数セル幅の領域がオプティカルブラック領域（ＯＰＢ領域）として形成される。ＯＰＢ領域は蓄積部４０ｓと同様、遮光膜で覆われ、その領域から得られる信号電荷に基づいて画像の黒レベルの基準信号が生成される。例えば、ここでは、ＯＰＢ領域を除いた有効画素領域が３ｍ行であり、センターエリア４２ａは、その有効画素領域を縦横それぞれ３等分して得られる９つの領域の中央の領域であるとする。
【００９０】
図１０は、イメージセンサ１２０を用いた撮像装置の概略の構成を示すブロック図である。本撮像装置と図３に示す第１及び第２の実施形態の撮像装置との主たる相違点は、タイミング制御回路及びクロック発生回路である。クロック発生回路１２４は撮像部１２０ｉの垂直転送クロックとしてφi1〜φi3のみを供給する点でクロック発生回路６２と相違する。さらに、タイミング制御回路１２２及びクロック発生回路１２４は、画像抽出モードにて上述の実施形態とは異なる手順でイメージセンサ１２０を駆動する。この本撮像装置におけるイメージセンサ１２０の駆動方法については後述する。また、デジタル信号処理回路６８は図６に示すスミア除去回路を内蔵する。
【００９１】
以下、本撮像装置におけるイメージセンサ１２０の駆動方法を説明する。タイミング制御回路１２２は、撮影される画像サイズが撮像部１２０ｉ全面である通常モードか、撮影される画像サイズがセンターエリア４２ａである画像抽出モードかを示す撮影モード信号Ｍを入力され、それに応じて動作を切り換える。信号Ｍが通常モードを指定する場合には、タイミング制御回路１２２は、撮像部１２０ｉの各行に対応する画像信号を出力する通常の動作を行うようにクロック発生回路１２４を制御する。一方、信号Ｍが画像抽出モードを指定する場合には、タイミング制御回路１２２及びクロック発生回路１２４は次に述べる方法でイメージセンサ１２０を駆動する。
【００９２】
図１１は、画像抽出モードでのイメージセンサの駆動方法を説明するフロー図であり、図１２は、当該駆動方法を説明する模式的なタイミング図である。図１２には撮像部１２０ｉのゲート電極１０を駆動する転送クロック信号φｉ、蓄積部４０ｓのゲート電極１０を駆動する転送クロック信号φｓ、水平転送部４０ｈを駆動する転送クロック信号φｈのクロック動作のタイミングが示されている。なお、図１２において時間は横軸右方向に経過する。また図１３は、イメージセンサ１２０での信号電荷の移動を示す模式的な平面図である。
【００９３】
まず、露光期間Ｅの開始に際して電子シャッタ動作が行われる（Ｓ１３０）。電子シャッタ動作では、転送クロックφi1〜φi3が全てオフ状態とされ、タイミングξ１に先行する所定期間、撮像部１２０ｉの各セルの電位井戸を全て消滅させる。これにより、電位井戸に蓄積されていた信号電荷は、ｐウェル６を超えて基板裏面へ排出される。
【００９４】
電子シャッタ動作が完了すると、φｉの所定位相のクロック信号、例えばφi2がオン状態とされ、撮像部１２０ｉの対応するゲート電極１０下に電位井戸が形成される（タイミングξ１）。このタイミングから露光期間Ｅが始まる（Ｓ１３２）。露光期間Ｅは、垂直ブランキング期間に行われる第１フレーム転送動作の開始により終了することとなるので、電子シャッタ動作Ｓ１３２のタイミングは、第１フレーム転送動作の開始から所望の露光期間Ｅだけ先行したタイミングに設定される。
【００９５】
設定された露光期間Ｅが終了すると直ちに、撮像部１２０ｉから蓄積部４０ｓへの第１フレーム転送が開始される（タイミングξ２、Ｓ１３４）。第１フレーム転送では、クロック発生回路１２４はφｉ，φｓとして互いに同期した高速なクロックＣ１（周期Ｔ）を発生させる。図１３において、状態１５０ａが露光終了時、状態１５０ｂが第１フレーム転送完了時のイメージセンサ１２０の状態をそれぞれ表している。発生されるクロックＣ１のサイクル数は、露光終了時にセンターエリア４２ａに蓄積された信号電荷が蓄積部４０ｓ内に入りきるように定められる。この第１フレーム転送により、センターエリア４２ａにて撮影された画像に対応する信号電荷は領域１５２ｂに移動する。
【００９６】
センターエリア４２ａの画像全体が蓄積部４０ｓに格納されると、再び電子シャッタ動作を行って、撮像部１２０ｉから信号電荷を除去する（タイミングξ３、Ｓ１３６）。続いて、撮像部１２０ｉの信号電荷の垂直転送が開始される。この垂直転送は、上述の第１フレーム転送と同じ周波数の転送クロックで行われる高速転送である。その意味で、この垂直転送を第２フレーム転送と称する。クロック発生回路１２４は、第２フレーム転送のために、撮像部１２０ｉに対するクロックφｉとしてクロックＣ２（周期Ｔ）を発生させる。一方、クロック発生回路１２４は、蓄積部４０ｓに対するクロックφｓとして、クロックＣ３及びＣ４を発生させる。
【００９７】
図１４は、撮像部１２０ｉ及び蓄積部４０ｓの境界付近での第２フレーム転送動作における電位井戸及びそれに蓄積される信号電荷の移動を説明する模式図である。図１４において、時刻ｔ１は、電子シャッタ動作Ｓ１３６が完了したタイミングξ３に対応する。このタイミングでは、クロックφi2がオン状態とされて、撮像部１２０ｉの各セルのゲート電極１０-2下に電位井戸が形成される。また蓄積部４０ｓの撮像部１２０ｉ寄りの一連のセルのゲート電極１０-2の下の電位井戸には、第１フレーム転送Ｓ１３４にて格納されたセンターエリア４２ａの信号電荷１６０が保持されている。
【００９８】
時刻ｔ２の状態は、クロックＣ３により、蓄積部４０ｓの各セルの信号電荷が垂直転送された状態を示している。クロックＣ３（周期Ｔ）はクロックＣ２と同時に開始される。蓄積部４０ｓに隣接するＯＰＢ領域の幅をＷＯＰＢとすると、クロックＣ３のサイクル数ｎｅはＷＯＰＢ以下に設定される。蓄積部４０ｓに隣接するＯＰＢ領域の各セルからの信号電荷はスミア成分を含まず、その信号電荷量は基本的に０とみなすことができる。よって、この垂直転送により、蓄積部４０ｓの撮像部１２０ｉ寄りにクロックＣ３のサイクル数ｎｅに応じた空の電位井戸１６２が形成される（Ｓ１３８）。図１４は、ｎｅ＝２の場合を示している。クロックＣ３は、撮像部１２０ｉから転送される信号電荷を受け入れることができるように、蓄積部４０ｓのゲート電極１０-1の下に電位井戸が形成された状態で停止される。また、図１３において、状態１５０ｃが時刻ｔ２での状態に対応し、撮像部１２０ｉとセンターエリア４２ａの信号電荷が格納された領域１５２ｃとの間の２行１５４-1，１５４-2が空のセルで構成される。
【００９９】
時刻ｔ３は、撮像部１２０ｉの信号電荷がＷＯＰＢ行だけ垂直転送された状態を示しており、撮像部１２０ｉの垂直シフトレジスタの出力端のセルに有効撮像領域の第１行のセルからの信号電荷Ｑ(1)が到達する。クロックＣ２の第（ＷＯＰＢ＋１）サイクルにて、信号電荷Ｑ(1)は蓄積部４０ｓの入力端のビット（先頭ビット）に転送され、以降、クロックＣ２の第（ＷＯＰＢ＋ｊ）サイクルにて、有効撮像領域の第ｊ行のセルからの信号電荷Ｑ(j)が蓄積部４０ｓへ転送される。上述のように第２フレーム転送動作は電子シャッタ動作Ｓ１３６後、速やかに開始されるので、信号電荷Ｑ(j)は基本的に第２フレーム転送で生じるスミア成分とみなせる。
【０１００】
クロック発生回路１２４はφｓを停止させたままクロックＣ２を継続して生成する。これにより、順次、蓄積部４０ｓに転送された信号電荷Ｑ(j)は、蓄積部４０ｓの垂直シフトレジスタの入力端の電位井戸にて加算合成される（Ｓ１４０）。
【０１０１】
時刻ｔ４は、クロックＣ２の第（ＷＯＰＢ＋ｍ−１）サイクルが終了したタイミングでの状態を示している。撮像部１２０ｉの垂直シフトレジスタの出力端のセルに、先行読み出し領域４２ｃの最終行に対応する、有効撮像領域の第ｍ行のセルからの信号電荷Ｑ(m)が到達する。また蓄積部４０ｓの先頭には信号電荷Ｑ(1)〜Ｑ(m-1)が累積された信号電荷Ｑｔが蓄積される。図１３において、状態１５０ｄが時刻ｔ４での状態に対応し、行１５４-1に蓄積される信号電荷Ｑｔが斜線で示されている。また状態１５０ｄでの撮像部１２０ｉ内に示す網点の領域１５６ｄは第２フレーム転送の開始時における撮像部１２０ｉに対応する領域１５６ｃがフレーム転送により蓄積部４０ｓ側にシフトしたことを表している。
【０１０２】
図１３及び図１４では、累積加算された信号電荷Ｑｔが１つの電位井戸に蓄積される場合を示している。一方、信号電荷Ｑｔが先頭ビットの電位井戸の蓄積容量を超えた場合には、溢れた信号電荷が蓄積部４０ｓの垂直シフトレジスタのチャネルに沿って流出し、隣接ビットの電位井戸に流れ込むことが起こり得る。例えば、イメージセンサの画素数の増大に伴って、先行読み出し領域４２ｃの行数も多くなるため、そのようなオーバーフローが起こり得る。このオーバーフローに対しては、本実施形態のようにクロックＣ３のサイクル数ｎｅを２以上として、複数の空の電位井戸を連続して形成すればよい。これにより、先頭ビットから溢れた信号電荷は隣接する空の電位井戸に分散して蓄積され、センターエリア４２ａの信号電荷１６０に混入することが防止される。
【０１０３】
クロック発生回路１２４は、信号電荷Ｑ(m)を蓄積部４０ｓへ垂直転送する際に、クロックＣ２と同期してクロックＣ４を生成する。ここではクロックＣ４は基本的に１サイクルのφｓである。このクロックＣ２及びＣ４により、撮像部１２０ｉ及び蓄積部４０ｓそれぞれの垂直シフトレジスタが同期して駆動され、信号電荷Ｑ(m)は信号電荷Ｑｔとは独立して蓄積部４０ｓに格納される（Ｓ１４２）。クロック発生回路１２４は、例えば、クロックＣ４を生成完了と同時に、周期ＴでのクロックＣ３の発生を終了し、第２フレーム転送動作が完了することができる。また、センターエリア４２ａに対応する信号電荷を格納する領域の最初の行が水平転送部４０ｈの直前の行に到達するまでクロックＣ３を継続してもよい。
【０１０４】
図１４の時刻ｔ５の状態、及び図１３の状態１５０ｅが第２フレーム転送の終了時の状態を表している。図１３において、撮像部１２０ｉに隣接する行１５８に信号電荷Ｑ(m)が格納される。本実施形態では、図１３の状態１５０ｅに示すように、信号電荷Ｑ(m)が蓄積部４０ｓに格納されるタイミングと、センターエリア４２ａの最初の行の信号電荷が水平転送部４０ｈの直前行に転送されるタイミングとが一致するように構成されており、クロックＣ３はクロックＣ４の生成完了と同時に停止される。
【０１０５】
第２フレーム転送が完了すると、蓄積部４０ｓからセンターエリア４２ａから得られた信号電荷、及び先行読み出し領域４２ｃのうちセンターエリア４２ａに隣接する行（後端オフセット行）１５８に格納された信号電荷Ｑ(m)に応じた電圧信号を出力部４０ｄから読み出す動作が行われる（画像読み出し期間ＲＤ，Ｓ１４４）。
【０１０６】
読み出し動作Ｓ１４４では、クロック発生回路１２４は、１Ｈ周期（水平走査期間）毎に１サイクルのφｓクロックパルスＣ５を発生する。このパルスＣ５により、蓄積部４０ｓにフレーム転送された信号電荷は１行ずつ垂直転送（ライン転送）され、このライン転送により、基本的に水平転送部４０ｈに１行ずつ信号電荷が転送される。クロック発生回路１２４は、ライン転送クロックＣ５に連動して、１Ｈの水平走査に対応するクロックＣ６を発生し、水平転送部４０ｈを駆動する。
【０１０７】
ここで、画像抽出モードでは、フレームレートを確保するために、読み出す必要のない行の信号電荷に対しての水平転送動作の簡略化又は省略が図られる。
【０１０８】
例えば、それぞれ不要な複数行の信号電荷を水平転送部４０ｈに転送する連続した複数回の垂直転送動作を、水平転送部４０ｈを停止させたまま行い、それら複数行の信号電荷を水平転送部で合成すれば、一度の水平転送動作で複数行の不要な信号電荷の除去を行うことができる。
【０１０９】
また、蓄積部４０ｓの垂直シフトレジスタの出力端に電荷除去可能なドレイン構造を設けることにより、不要な行の信号電荷が水平転送部４０ｈに転送されることを回避して、水平転送動作を省略することが可能である。例えば、そのようなドレイン構造として、蓄積部４０ｓのゲート電極１０とは独立に駆動可能なゲート電極（電荷除去ゲート電極）ＴＧ（図示せず）を蓄積部４０ｓの出力端と水平転送部４０ｈとの境界に配置した構造が従来より知られている。ゲート電極ＴＧは、その下の電位井戸に除去対象の電荷が蓄積されたタイミングで、ゲート電極ＴＧに印加されるクロックφtg（図示せず）をオフ電圧とされる。これにより、ゲート電極ＴＧ下の電位井戸が消滅し、その電位井戸に蓄積されている除去対象の信号電荷は電子シャッタと同じ原理に基づいて基板側に排出される。一方、信号電荷を水平転送部４０ｈに垂直転送する際には、ゲート電極ＴＧが３相のゲート電極１０の一部として動作するようにφtgがオン・オフ動作される。
【０１１０】
例えば、第１フレーム転送動作Ｓ１３４にてセンターエリア４２ａの信号電荷に先行して蓄積部４０ｓに格納された先行読み出し領域４２ｃの信号電荷は、第２フレーム転送動作中にゲート電極ＴＧを用いて除去することができる。すなわち、当該先行読み出し領域４２ｃの信号電荷を除去するための水平転送動作を省略することができる。
【０１１１】
また、信号電荷Ｑ(1)〜Ｑ(m-1)を蓄積部４０ｓへの転送時に累積加算することで、不要な信号電荷を含み得る行数が少なくなる。これにより、画像読み出し期間ＲＤが短縮され、フレームレートの向上が可能となる。
【０１１２】
なお、電荷除去ゲート電極ＴＧを備えたイメージセンサにおける読み出し動作Ｓ１４４では、行１５４の信号電荷をゲート電極ＴＧ下の領域にて除去できるので、当該行に対する水平転送部４０ｈの駆動は必要ではない。そこで、クロック発生回路１２４は、行１５４に対してはクロックＣ６を生成しないこととして、水平転送部４０ｈの駆動電力や発熱の抑制を図ることができる。
【０１１３】
次に、本撮像装置におけるスミア演算及びそれに基づくスミア除去について説明する。第２フレーム転送にて先行読み出し領域４２ｃから蓄積部４０ｓに転送された信号電荷Ｑ(j)を出力部４０ｄから読み出したとした場合の画像信号Ｖ(j)は、次式で表される。
【０１１４】
【数５】
2005184777.tif 000007
【０１１５】
ここでＴ’は電子シャッタＳ１３６の完了から第２フレーム転送における最初の垂直転送までの時間である。その他の記号は上述の第１の実施形態と共通である。特に、読み出し動作Ｓ１４４で読み出される後端オフセット行に対応する信号電荷Ｑ(m)に基づいて得られる画像信号Ｖ(m)は、
【０１１６】
【数６】
2005184777.tif 000008
である。（１１）式と（８）式とを比較すると、Ｔ’がフレーム転送の垂直転送周期Ｔと同程度であれば、Ｑ(m)から得られるＶ(m)はＶoffsetにほぼ等しくなる。特にＴ’＝Ｔに設定すれば、理論的にＶ(m)はＶoffsetに等しくなる。そこで、本装置ではスミア演算回路１００の初期値設定回路１１０にＶ(m)を取り込み、これをスミア成分初期値Ｖoffsetとして用いて、センターエリア４２ａの画像信号からスミア成分を除去する。
【０１１７】
本装置は、画像抽出モードでの撮影動作の各フレームにて、センターエリア４２ａの画像及び、スミア成分初期値に関する情報の両方が得られる。得られたスミア成分初期値の情報は、例えば、次のフレームにて取得される画像信号からスミア成分を除去する処理にて利用される。このように各フレームにて得られるスミア成分初期値は被写体の変化を好適に反映し、スミア成分除去を精度良く行うことができる。また、スミア成分初期値の情報取得のために、画像取得とは別個のフレームを必要としないので、取得される画像のフレームレートを高く保つことができる。
【０１１８】
なお、上述の構成では、第１フレーム転送後、先行読み出し領域４２ｃに蓄積される信号電荷のリセットのために電子シャッタ動作を行った。ここで、第１又は第２の実施形態で述べたイメージセンサ４０のように、先行読み出し領域４２ｃを他の撮像部４０ｉの領域とは独立して駆動できるイメージセンサを用いた撮像装置では、第１フレーム転送後の先行読み出し領域４２ｃのリセット動作を、撮像部４０ｉ全領域を対象とした電子シャッタ動作に代えて、先行読み出し領域４２ｃに蓄積された信号電荷だけを選択的に除去する動作とすることもできる。
【０１１９】
また、本発明は、Ｖ(m)に基づいてスミア成分初期値を決定する上述の構成の他に、他のＶ(j)（１≦ｊ≦ｍ−１）を用いてスミア成分初期値を定める構成も含む。例えば、被写体によってはスミア電荷量が小さい場合があり、そのような場合には、複数行のＱ(j)を合成することにより、スミア成分の検出を容易とすることができる。例えば、上述の構成にて、Ｑｔに応じた画像信号を読み出し、その画像信号に基づいてスミア成分初期値を推定する初期値設定回路１１０を構成することができる。
【０１２０】
また、イメージセンサ１２０がＯＰＢ領域を有さない場合には、第２フレーム転送において、クロックＣ３による蓄積部４０ｓでの垂直転送をクロックＣ２による撮像部１２０ｉでの垂直転送の開始前に実施する。撮像部１２０ｉの垂直転送が停止した状態で、クロックＣ３により蓄積部４０ｓの信号電荷をｎｅビットの垂直転送することで、上述の構成と同様、蓄積部４０ｓの入力端側にｎｅ行の余白行を形成することができる。
【図面の簡単な説明】
【０１２１】
【図１】本発明の実施形態であるフレーム転送型のＣＣＤイメージセンサの模式的な平面図である。
【図２】本発明の実施形態であるフレーム転送型ＣＣＤイメージセンサの撮像部及び蓄積部を構成する垂直ＣＣＤシフトレジスタの構造を示す模式的な部分断面図である。
【図３】本発明の実施形態に係る撮像装置の概略の構成を示すブロック図である。
【図４】画像抽出モードでのイメージセンサの駆動方法を説明するフロー図である。
【図５】画像抽出モードでのイメージセンサの駆動方法を説明する模式的なタイミング図である。
【図６】本発明の第１の実施形態に係るスミア除去回路のブロック構成図である。
【図７】本発明の第２の実施形態に係る撮像装置の駆動方法を説明する模式的なタイミング図である。
【図８】本発明の第２の実施形態に係るスミア除去回路のブロック構成図である。
【図９】本発明の第３の実施形態に用いるフレーム転送型のＣＣＤイメージセンサの模式的な平面図である。
【図１０】本発明の第３の実施形態に係る撮像装置の概略の構成を示すブロック図である。
【図１１】第３の実施形態に係る画像抽出モードでのイメージセンサの駆動方法を説明するフロー図である。
【図１２】第３の実施形態に係る画像抽出モードでのイメージセンサの駆動方法を説明する模式的なタイミング図である。
【図１３】第３の実施形態に係る画像抽出モードにおけるイメージセンサ内での信号電荷の移動を示す模式的な平面図である。
【図１４】撮像部及び蓄積部の境界付近での第２フレーム転送動作における電位井戸及びそれに蓄積される信号電荷の移動を説明する模式図である。
【図１５】従来のフレーム転送型ＣＣＤイメージセンサの模式的な平面図である。
【図１６】従来のフレーム転送型ＣＣＤイメージセンサの撮像部及び蓄積部を構成する垂直ＣＣＤシフトレジスタの構造を示す模式的な部分断面図である。
【図１７】縦方向ｎｐｎ構造のＣＣＤシフトレジスタにおける基板方向のポテンシャルプロファイルを示す模式図である。
【図１８】スミアの発生を説明する模式図である。
【図１９】従来のスミア除去回路のブロック構成図である。
【符号の説明】
【０１２２】
４０，１２０  イメージセンサ、４０ｉ，１２０ｉ  撮像部、４０ｓ  蓄積部、４０ｈ  水平転送部、４０ｄ  出力部、４，５０  ｎ型半導体基板、６，５２  ｐウェル、８，５４  ｎ型領域、１０，５６  ゲート電極、６０，１２２  タイミング制御回路、６２，１２４  クロック発生回路、６４  アナログ信号処理回路、６６  Ａ／Ｄ変換回路、６８  デジタル信号処理回路、１００  スミア演算回路、１０２  減算回路、１０４  加算回路、１０６  ラインメモリ、１０８  乗算回路、１１０  初期値設定回路。
【図１】
2005184777.tif 000009
【図２】
2005184777.tif 000010
【図３】
2005184777.tif 000011
【図４】
2005184777.tif 000012
【図５】
2005184777.tif 000013
【図６】
2005184777.tif 000014
【図７】
2005184777.tif 000015
【図８】
2005184777.tif 000016
【図９】
2005184777.tif 000017
【図１０】
2005184777.tif 000018
【図１１】
2005184777.tif 000019
【図１２】
2005184777.tif 000020
【図１３】
2005184777.tif 000021
【図１４】
2005184777.tif 000022
【図１５】
2005184777.tif 000023
【図１６】
2005184777.tif 000024
【図１７】
2005184777.tif 000025
【図１８】
2005184777.tif 000026
【図１９】
2005184777.tif 000027