(57)【要約】【課題】フレームメモリを用いることなく所望の画像を取得し得る固体撮像素子、撮像装置及び撮像方法を提供する。【解決手段】光子の受光頻度に応じた頻度でパルスを発するセンサ部と、センサ部から発せられる信号の数をカウントすることにより画像信号を生成する計数部と、第１の画像信号の取得において得られたカウント値に対して所定の処理を行う処理部とを備え、計数部は、第１の画像信号の取得において得られたカウント値に対して所定の処理を行うことにより得られる値と第２の画像信号とを組み合わせることにより第３の画像信号を生成する。【選択図】図２
2019186793.tif 000002
【特許請求の範囲】
【請求項１】
光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記センサ部から発せられる信号の数をカウントすることにより画像信号を生成する計数部と、
第１の画像信号の取得において得られたカウント値に対して所定の処理を行う処理部とを備え、
前記計数部は、前記第１の画像信号の取得において得られた前記カウント値に対して所定の処理を行うことにより得られる値と第２の画像信号とを組み合わせることにより第３の画像信号を生成する
ことを特徴とする固体撮像素子。
【請求項２】
前記計数部は、前記第１の画像信号の取得において得られた前記カウント値に対して前記所定の処理を行うことにより得られる値を、前記第１の画像信号の取得の後に行われる第２の画像信号の取得の開始の際のカウント値として設定することを特徴とする請求項１に記載の固体撮像素子。
【請求項３】
前記計数部は、前記第１の画像信号の取得の際の第１の撮影条件と、前記第２の画像信号の取得の際の第２の撮影条件とに基づいて、前記第１の画像信号の取得において得られた前記カウント値に対して前記所定の処理を行うことを特徴とする請求項１又は２に記載の固体撮像素子。
【請求項４】
前記第１の画像信号の取得において得られた前記カウント値に対して前記所定の処理を行うことにより得られる値は、前記第１の撮影条件と前記第２の撮影条件とに基づく比に応じた値を、前記第１の画像信号の取得により得られた前記カウント値に乗じることにより得られる値を反転させることにより得られる値であることを特徴とする請求項３に記載の固体撮像素子。
【請求項５】
ビットシフトを行うことにより、前記第１の撮影条件と前記第２の撮影条件とに基づく比に応じた値を、前記第１の画像信号の取得において得られた前記カウント値に乗じることを特徴とする請求項４に記載の固体撮像素子。
【請求項６】
前記第１の画像信号の取得において得られた前記カウント値に対して前記所定の処理を行うことにより得られる値は、フィルタの係数に応じたゲインを、前記第１の画像信号の取得において得られた前記カウント値に乗じることにより得られる値であることを特徴とする請求項１に記載の固体撮像素子。
【請求項７】
前記第１の画像信号の取得において得られた前記カウント値に対して前記所定の処理を行うことにより得られる値は、前記第１の撮影条件と前記第２の撮影条件とに基づく比に応じた値を、前記第１の画像信号の取得において得られた前記カウント値に乗じることにより得られる値であることを特徴とする請求項３に記載の固体撮像素子。
【請求項８】
光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記センサ部から発せられる信号の数をカウントする計数部であって、第１の画像信号の取得の後に行われる第２の画像信号の取得の際におけるカウントの重みを、前記第１の画像信号の取得の際におけるカウントの重みとは異なるように設定する計数部と
を有することを特徴とする固体撮像素子。
【請求項９】
前記計数部は、前記第１の画像信号を取得した際の第１の撮影条件と、前記第２の画像信号を取得した際の第２の撮影条件とに基づいて、前記第２の画像信号の取得の際におけるカウントの重みを設定することを特徴とする請求項８に記載の固体撮像素子。
【請求項１０】
前記第１の撮影条件と前記第２の撮影条件とに基づく比に応じて前記第２の画像信号の取得の際におけるカウントの重みを設定することを特徴とする請求項９に記載の固体撮像素子。
【請求項１１】
前記第１の画像信号を取得する際のカウント方式と、前記第２の画像信号を取得する際のカウント方式とが異なることを特徴とする請求項８から１０のいずれか１項に記載の固体撮像素子。
【請求項１２】
画像信号の取得の際におけるカウントの重みを変更し得ることを特徴とする請求項１に記載の固体撮像素子。
【請求項１３】
合成に用いられる複数の画像信号の取得の際におけるカウントの重みが、合成に用いられる複数の画像信号の数に応じて設定されることを特徴とする請求項１２に記載の固体撮像素子。
【請求項１４】
前記第１の撮影条件と前記第２の撮影条件とに基づく比は２のべき乗であることを特徴とする請求項４、５、７および１０のいずれか１項に記載の固体撮像素子。
【請求項１５】
前記計数部は非同期式のカウンタを備えることを特徴とする請求項１から１４のいずれか１項に記載の固体撮像素子。
【請求項１６】
前記計数部は同期式のカウンタを備えることを特徴とする請求項１から１４のいずれか１項に記載の固体撮像素子。
【請求項１７】
光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記センサ部から発せられる信号の数をカウントして画像信号を生成する計数部と、第１の画像信号の取得において得られたカウント値に対して所定の処理を行う処理部とを備え、前記計数部は、前記第１の画像信号の取得において得られた前記カウント値に対して所定の処理を行うことにより得られる値と第２の画像信号とを組み合わせることにより第３の画像信号を生成する固体撮像素子と、
前記固体撮像素子から出力される信号に対して所定の処理を行う処理部と
を有することを特徴とする撮像装置。
【請求項１８】
光子の受光頻度に応じた頻度でセンサ部から発せられる信号の数をカウントすることにより第１の画像信号を取得するステップと、
前記第１の画像信号の取得において得られたカウント値に対して所定の処理を行うことにより得られる値と第２の画像信号とを組み合わせることにより第３の画像信号を生成するステップと
を有することを特徴とする撮像方法。
【請求項１９】
光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記センサ部から発せられる信号の数をカウントする計数部であって、第１の画像信号の取得の後に行われる第２の画像信号の取得の際におけるカウントの重みを、前記第１の画像信号の取得の際におけるカウントの重みとは異なるように設定する計数部とを有する固体撮像素子と、
前記固体撮像素子から出力される信号に対して所定の処理を行う処理部と
を有することを特徴とする撮像装置。
【請求項２０】
光子の受光頻度に応じた頻度でセンサ部から発せられる信号の数をカウントすることにより第１の画像信号を取得するステップと、
前記第１の画像信号の取得の後に行われる第２の画像信号の取得の際におけるカウントの重みを、前記第１の画像信号の取得の際におけるカウントの重みとは異なるように設定して、前記第２の画像信号を取得するステップと
を有することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
複数の画素信号を用いて合成を行うことによって所望の画像を生成することが知られている。このような画像合成としては、例えば、黒引き画像やモーションブラー等が挙げられる。黒引き画像は、暗電流に応じた黒画像の値を本画像の値から減算することにより生成される。特許文献１には、取得した本画像をフレームメモリに格納し、フレームメモリに格納された本画像から黒画像を減算することによって黒引き画像を取得することが開示されている。モーションブラーとは、動いている被写体を撮影した際に生じる画像のブレのことである。被写体の動きを強調するために、画像に人為的にブレを加えることもモーションブラーと称される。
【０００３】
特許文献２には、画像生成合成演算部で生成された画像及び合成された画像を記憶する画像メモリが開示されている。
【０００４】
また、新しい方式のイメージセンサとして、特許文献３に示すようなイメージセンサが提案されている。特許文献３に開示されたイメージセンサには、以下のような信号処理回路が各画素に備えられている。特許文献３では、光電変換素子で生成された電荷を蓄積する蓄積容量と、蓄積容量の電圧を基準電圧と比較し、両者が一致したときにパルスを出力する比較器と、比較器の出力により蓄積容量の電圧をリセット電圧に戻すリセット手段とが各画素に備えられている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−４１４３７号公報
【特許文献２】特開平０８−１４７４９３号公報
【特許文献３】特開２０１５−１７３４３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、フレームメモリを用いることなく所望の画像を取得することは必ずしも容易ではない。
【０００７】
本発明の目的は、フレームメモリを用いることなく所望の画像を取得し得る固体撮像素子、撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
実施形態の一観点によれば、光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記センサ部から発せられる信号の数をカウントすることにより画像信号を生成する計数部と、第１の画像信号の取得において得られたカウント値に対して所定の処理を行う処理部とを備え、前記計数部は、前記第１の画像信号の取得において得られた前記カウント値に対して所定の処理を行うことにより得られる値と第２の画像信号とを組み合わせることにより第３の画像信号を生成することを特徴とする固体撮像素子が提供される。
【０００９】
実施形態の他の観点によれば、光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記センサ部から発せられる信号の数をカウントする計数部であって、第１の画像信号の取得の後に行われる第２の画像信号の取得の際におけるカウントの重みを、前記第１の画像信号の取得の際におけるカウントの重みとは異なるように設定する計数部とを有することを特徴とする固体撮像素子が提供される。
【発明の効果】
【００１０】
本発明によれば、フレームメモリを用いることなく所望の画像を取得し得る固体撮像素子、撮像装置及び撮像方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態による固体撮像素子に備えられた単位画素を示す図である。
【図２】第１実施形態による固体撮像素子の単位画素に備えられたカウンタを示す図である。
【図３】第１実施形態による固体撮像素子の単位画素に備えられたカウンタの動作を示すタイミングチャートである。
【図４】非同期式カウンタによってカウンタを構成した場合の例を示す図である。
【図５】ゲイン設定部において行われるビットシフトを示す図である。
【図６】第１実施形態による固体撮像素子を示す図である。
【図７】第１実施形態による固体撮像素子が備えられた撮像装置を示す図である。
【図８】第２実施形態による固体撮像素子の単位画素に備えられたカウンタを示す図である。
【図９】モーションブラーを概念的に示す図である。
【図１０】第３実施形態による固体撮像素子の単位画素に備えられたカウンタを示す図である。
【図１１】第３実施形態による固体撮像素子の単位画素に備えられたカウンタを示す図である。
【図１２】第３実施形態による固体撮像素子の単位画素に備えられたカウンタの動作を示すタイミングチャートである。
【図１３】非同期式カウンタによってカウンタを構成した場合の例を示す図である。
【図１４】第４実施形態による固体撮像素子の単位画素に備えられたカウンタを示す図である。
【発明を実施するための形態】
【００１２】
本発明の実施形態について図面を用いて以下に詳細に説明する。なお、以下に示す実施形態は例示であり、本発明は以下の実施形態に限定されるものではない。
【００１３】
［第１実施形態］
第１実施形態による固体撮像素子及びその制御方法並びに撮像装置を図１乃至図７を用いて説明する。
【００１４】
図７は、本実施形態による固体撮像素子６００が備えられた撮像装置７００を示す図である。
撮像装置７００は、固体撮像素子６００と、システム制御部７０２と、光学系駆動部７０３と、信号処理部７０４と、記録部７０５とを有する。撮像装置７００には、撮像光学系（レンズユニット）７０１が備えられる。撮像光学系７０１は、撮像装置７００の本体から着脱可能であってもよいし着脱不能であってもよい。また、撮像装置７００は不図示の表示部および操作部を備えている。表示部は画像の表示やメニュー等の表示に用いられ、操作部は当該表示などにおけるアイコン等の指示や各種パラメータの設定する動作等に用いられる。
【００１５】
撮像光学系７０１は、フォーカスを調整するためのフォーカシングレンズを含む光学レンズ群を有する。撮像光学系７０１は、シャッタ、絞り、レンズ制御部等を更に有する。撮像光学系７０１は、固体撮像素子６００の撮像面に被写体の光学像を結像する。
【００１６】
システム制御部７０２は、撮像装置７００の全体の制御を司る。システム制御部７０２は、撮像光学系７０１を駆動するための光学系駆動部７０３に駆動情報を供給する。システム制御部７０２は、露光期間、読み出し間隔等を示す情報を、固体撮像素子６００に供給する。また、システム制御部７０２はＣＰＵおよびメモリを含み、当該ＣＰＵはメモリに保存される各種プログラムを実行する。
【００１７】
光学系駆動部７０３は、システム制御部７０２から供給される信号に基づいて、撮像光学系７０１を駆動する。本実施形態では、後述するように、黒画像の生成を要する。本実施形態のように黒画像の生成を要する場合には、不図示の遮光手段が撮像装置７００に備えられる。遮光手段としては、例えばシャッタが挙げられる。遮光手段によって固体撮像素子６００が遮光された状態で撮像が行われることにより、黒画像が生成される。
【００１８】
固体撮像素子６００は、撮像光学系７０１によって結像された光学像に対して光電変換を行うことにより画像信号を生成する。固体撮像素子６００によって生成される画像信号は、信号処理部７０４に出力される。
【００１９】
信号処理部７０４は、固体撮像素子６００から供給される画像信号に対して所定の信号処理（画像処理）を行う。所定の信号処理としては、例えば、色変換、ホワイトバランス等が挙げられる。各種の信号処理が施された画像信号は、不図示の符号化手段によって符号化される。符号化手段によって符号化された画像信号（画像データ）は、記録部７０５に供給される。
【００２０】
記録部７０５には、記録媒体が備えられる。記録媒体は、記録部７０５から着脱可能であってもよいし着脱不能であってもよい。記録媒体としては、例えばＳＤカード等のメモリカードが挙げられる。
【００２１】
図６は、本実施形態による固体撮像素子６００を示す図である。
固体撮像素子６００の撮像面には、複数の単位画素１００が２次元的に配置された画素アレイ６０８が備えられている。固体撮像素子６００は、ＴＧ（タイミングジェネレータ）６０１、垂直走査回路６０２、スイッチ６０３、水平走査回路６０４、スイッチ６０５、及び、制御部６０６を更に有する。単位画素１００からそれぞれ出力される画素値（カウント値）は、スイッチ６０３、出力信号線６０７、スイッチ６０５及び出力信号線６０９を介して、固体撮像素子６００の外部に出力される。スイッチ６０３は、各々の単位画素１００に対して備えられている。スイッチ６０３は、垂直走査回路６０２によって行毎に順次制御される。スイッチ６０５は、各々の出力信号線６０７に備えられている。スイッチ６０５は、水平走査回路６０４によって制御される。
【００２２】
撮像期間の終了のタイミングになると、垂直走査回路６０２は、スイッチ６０３に対して、読み出し信号ＲＥＡＤ＿ＥＮ（図３参照）を供給する。読み出し信号ＲＥＡＤ＿ＥＮは、各行に順次供給される。スイッチ６０３に読み出し信号ＲＥＡＤ＿ＥＮが供給されると、単位画素１００から出力されたカウント値ＣＮＴがスイッチ６０３を介して出力信号線６０７に出力される。水平走査回路６０４は、スイッチ６０５を順次制御することにより、単位画素１００から出力されたカウント値ＣＮＴを、出力信号線６０９を介して固体撮像素子６００の外部に順次出力する。
【００２３】
制御部６０６は、ＴＧ６０１から供給されるタイミング信号に基づいて、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭ（図２参照）、反転信号ＩＮＶ（図２参照）、リセット信号ＣＬＲ（図２参照）等を生成する。なお、本実施形態において制御部６０６からの信号は各単位画素１００に一律に供給される構成としているが、これに限られずに、行ごとまたは列ごとに個別に供給できるようにしてもよい。この場合には垂直走査回路６０２から信号を供給できるようにしてもよい。
【００２４】
ＴＧ６０１は、撮像期間や転送期間等を制御するためのタイミング信号を生成する。ＴＧ６０１によって生成される各種のタイミング信号は、垂直走査回路６０２、水平走査回路６０４、制御部６０６等に供給される。
【００２５】
本実施形態による固体撮像素子６００は、暗電流に応じた黒画像の値を本画像の値から減算することにより黒引き画像を生成するものである。暗電流は露光期間に比例する。本画像の露光期間と黒画像の露光期間とを等しく設定し、こうして得られる本画像からこうして得られる黒画像を差し引けば、黒引き画像が得られる。しかし、本画像の露光期間と黒画像の露光期間とを等しく設定した場合には、長時間を要してしまう。そこで、本実施形態では、黒画像の信号に対してゲインをかけることによって、黒画像の露光期間の短縮を図る。本実施形態では、本画像の露光期間と黒画像の露光期間とを２：１とする場合を例に説明するが、これに限定されるものではない。本画像の露光期間と黒画像の露光期間とを２：１とする場合、黒画像には２倍のゲインがかけられる。なお、詳細は後述するが露光期間の短縮比は２のべき乗であることが好ましい。
【００２６】
図１は、本実施形態による固体撮像素子６００に備えられた単位画素１００を示す図である。
単位画素１００は、ＡＰＤ（アバランシェフォトダイオード）１０１と、クエンチ抵抗１０２と、波形整形部１０３と、カウンタ（計数部）１０４とを有する。
【００２７】
ＡＰＤ１０１のアノードは、接地電位に接続されている。ＡＰＤ１０１のカソードは、クエンチ抵抗１０２の一端及び波形整形部１０３の入力端子に接続されている。クエンチ抵抗１０２の他端は、逆バイアス電位である所定の電位ＶＡＰＤに接続されている。このように、ＡＰＤ１０１は、クエンチ抵抗１０２を介して所定の電位ＶＡＰＤに接続されている。所定の電位ＶＡＰＤはＡＰＤ１０１をガイガーモードで動作可能な電圧例えば３０Ｖ程度が用いられる。
【００２８】
光子の受光頻度に応じた頻度でパルスを発するセンサ部１０５が、ＡＰＤ１０１とクエンチ抵抗１０２と波形整形部１０３とによって構成されている。
【００２９】
ＡＰＤ１０１に光子が入射すると、アバランシェ増倍現象によって電荷が生ずる。アバランシェ像倍現象によって生じた電荷は、クエンチ抵抗１０２を介して排出される。
【００３０】
ＡＰＤ１０１への光子の入射に応じた電荷の生成及び排出に応じて、波形整形部１０３に入力される信号の電位が変化する。波形整形部１０３は、入力される信号に対してエッジ検出を行うとともに増幅を行うことにより、パルス状の信号を生成する。
【００３１】
センサ部１０５は、ＡＰＤ１０１への光子の入射の有無をパルス信号に変換する１ビット型のＡＤ変換部として機能する。
【００３２】
カウンタ１０４は、波形整形部１０３から供給されるパルス信号ＰＵＬＳＥの数をカウントし、カウント結果を示すデジタルの信号を単位画素１００の外部に出力する。
カウンタ１０４によってカウントされたパルス信号ＰＵＬＳＥの数が、画素値として単位画素１００から出力される。
【００３３】
図２は、単位画素１００に備えられたカウンタ１０４を示す図である。
カウンタ１０４は、フリップフロップ２００と、加算部２０１と、ゲイン設定部２０２と、符号反転部２０３と、初期値選択部２０４とを有する。カウンタ１０４からはカウント値ＣＮＴが出力される。なお、図２に示すビット幅は例示であり、これに限定されるものではない。
【００３４】
カウンタ１０４には、複数のフリップフロップ２００が備えられている。ここでは、１５個のフリップフロップ２００が備えられている場合を例に説明する。フリップフロップ２００は、制御部６０６から供給される非同期リセット信号ＡＳＹＮ＿ＲＥＳによって、クロック信号ＣＬＫ（図３参照）に非同期で初期値０にリセットされる。なお、本実施形態では、固体撮像素子６００に備えられた複数の単位画素１００に各々に備えられたカウンタ１０４に共通のクロック信号ＣＬＫが供給される。また、本実施形態では、固体撮像素子６００に備えられた複数の単位画素１００の各々に備えられたカウンタ１０４に共通の非同期リセット信号ＡＳＹＮ＿ＲＥＳが一括して供給される。
【００３５】
複数のフリップフロップ２００のうちの下位ビットのフリップフロップ２００は、不感ビットである。ここでは、最下位ビットの１つのフリップフロップ２００が不感ビットである場合を例に説明するが、これに限定されるものではない。図２において、不感ビットは、一点鎖線で囲むことにより示されている。不感ビットのフリップフロップ２００には、パルス信号ＰＵＬＳＥが供給されない。このため、不感ビットのフリップフロップ２００の出力は、カウンタ１０４のカウント動作の際に変化しない。不感ビットの数が１ビットであるため、本実施形態では、カウント値ＣＮＴは０，２，４・・・と変化する。
【００３６】
なお、本実施形態では、不感ビットの数が１ビットである場合を例に説明するが、これに限定されるものではない。不感ビットの数が２ビット以上であってもよい。
【００３７】
加算部２０１は、初期値選択部２０４から供給される信号と、波形整形部１０３から供給されるパルス信号ＰＵＬＳＥとを加算する。
【００３８】
ゲイン設定部（利得部、増幅部）２０２は、フリップフロップ２００から出力された信号に対して、制御部６０６から供給されるゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭに応じたゲインをかける。ゲイン設定部２０２によってゲインがかけられた信号が、ゲイン設定部２０２から出力される。本実施形態では、回路規模の増大を防止すべく、ゲイン設定部２０２は、ビットシフトを行うことによりゲインをかける。例えば、４倍のゲインをかける場合には、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭは２に設定される。ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが２に設定されると、フリップフロップ２００から出力された信号に対して左に２ビットのシフトが行われる。例えば、１／８倍のゲインをかける場合には、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが−３に設定される。ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが−３に設定されると、フリップフロップ２００から出力された信号に対して右に３ビットのシフトが行われる。なお、ここでは、ビットシフトを行うことによってゲインをかける場合を例に説明するが、これに限定されるものではない。例えば、乗算器を用いてゲインをかけるようにしてもよい。第１の画像である本画像の撮影時の露出値（第１の撮影条件）と、第２の画像である黒画像の撮影時の露出値（第２の撮影条件）との比に基づいて、ゲインが設定される。露出値は、露出の度合いを示す値であり、撮像光学系の絞り値と露光期間とによって定まる。ビットシフトのみによってゲインをかけることを可能とするため、露出値の比は２のべき乗とすることが好ましいが、これに限定されるものではない。例えば、乗算器を用いてゲインをかける場合には、露出値の比を２のべき乗としなくてもよい。
【００３９】
符号反転部２０３は、ゲイン設定部２０２から供給される信号を反転する処理を行う。符号反転を単に行った場合には、１の補数表現となり、２の補数表現とはならない。１の補数表現の場合、単純な構成の加算器で信号処理を行い得ない場合がある。２の補数表現とするためには、１を加算するための加算器を要するが、１を加算するための加算器をカウンタ１０４内に設けると、カウンタ１０４の回路規模が大きくなってしまう。このため、本実施形態では、１を加算するための加算器をカウンタ１０４内に設けていない。カウンタ１０４の回路規模が大きくなってもよい場合には、１を加算するための加算器をカウンタ１０４内に設け、２の補数表現を実現するようにしてもよい。
【００４０】
初期値選択部２０４は、カウンタ１０４に設定する初期値を選択するためのものである。初期値選択部２０４は、制御部６０６から供給されるリセット信号（クリア信号）ＣＬＲ及び反転信号ＩＮＶに基づいて、加算部２０１に供給する信号を選択する。
【００４１】
リセット信号ＣＬＲと反転信号ＩＮＶのいずれもが０である際には、初期値選択部２０４は、フリップフロップ２００から出力された信号をそのまま加算部２０１に供給する。この場合には、フリップフロップ２００によって画素信号の蓄積が行われる。
【００４２】
リセット信号ＣＬＲが１であり、反転信号ＩＮＶが０である際には、初期値選択部２０４は、０を加算部２０１に供給する。この場合には、フリップフロップ２００が０にリセットされる。
【００４３】
リセット信号ＣＬＲが０であり、反転信号ＩＮＶが１である際には、初期値選択部２０４は、符号反転部２０３によって反転された信号を加算部２０１に供給する。例えば、前フレームの信号値にゲインをかけるとともに反転を行うことによって得られる値が、初期値としてフリップフロップ２００に設定される。このような値を初期値としてカウントを行うことにより、例えば、前フレームの信号値と現フレームの信号値との差分を得ることが可能となる。
【００４４】
本実施形態では、本画像の信号値に対して、本画像の撮影時の露出値と黒画像の撮影時の露出値との比に応じたゲインがかけられる。そして、本画像の信号値にゲインをかけることにより得られた値に対して符号反転を行うことにより得られる値が、黒画像を撮影する際の初期値としてフリップフロップ２００に設定される。そして、黒画像の撮影が行われ、更に符号反転が行われる。本実施形態では、このような処理が行われるため、本画像から黒画像が差し引かれた黒引き画像を、フレームメモリを用いることなく生成することができる。
【００４５】
図３は、カウンタ１０４の動作を示すタイミングチャートである。図３には、クロック信号ＣＬＫ、パルス信号ＰＵＬＳＥ、フリップフロップ２００の入力値、カウント値ＣＮＴ、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭ、反転信号ＩＮＶ、リセット信号ＣＬＲ、読み出し信号ＲＥＡＤ＿ＥＮが示されている。読み出し信号ＲＥＡＤ＿ＥＮは、カウンタ１０４のカウント値ＣＮＴを出力信号線６０７に出力するための信号である。図３においては、フリップフロップ２００の入力値及びカウント値ＣＮＴは、１の補数表現で示されている。
【００４６】
タイミングｔ３００において、リセット信号ＣＬＲがＨレベルに設定される。これにより、カウンタ１０４がリセットされる。このようなリセットは、例えば本画像の撮影の前に行われる。ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭの設定は０、即ち、ゲインは１倍とされる。
【００４７】
タイミングｔ３０１からタイミングｔ３０２までの期間は、本画像の露光期間である。ここでは、説明を簡略化するために、クロック信号ＣＬＫの立ち上がりのタイミングでパルス信号ＰＵＬＳＥが１つ出力される例が示されている。パルス信号ＰＵＬＳＥが出力される毎に、カウント値ＣＮＴがカウントアップされる。最下位ビットが不感ビットであるため、カウント値は２つずつ増加する。なお、カウント値ＣＮＴは、クロック信号ＣＬＫの立ち上がりエッジに同期して出力されるため、カウント値ＣＮＴには、フリップフロップ２００の入力値に対して１サイクル分の遅延が生ずる。
【００４８】
タイミングｔ３０２において、本画像の露光が完了する。本画像の露光が完了した際には、黒画像の露光に移行すべく、以下のようにして、フリップフロップ２００に初期値が設定される。即ち、既に撮影された本画像の露光期間と、これから撮影される黒画像の露光期間との比に基づいて、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが設定される。上述したように、本画像の露光期間と黒画像の露光期間との比は例えば２：１であるため、これらの比の逆数である例えば１／２倍のゲインがかかるようにする。即ち、本画像の信号値に対して右に１ビットのシフトが行われるようにする。このため、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭは−１とされる。更に、反転信号ＩＮＶをＨレベルにすることにより、ゲイン設定部２０２から出力される信号に対して符号反転を行うことにより得られる値が、黒画像を撮影する際の初期値としてフリップフロップ２００に設定されるようにする。
【００４９】
反転信号ＩＮＶがＨレベルとされ、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭの設定が−１とされるため、以下のような処理が行われる。即ち、本画像の信号値である例えば１８を１／２倍することにより例えば９という値が得られ、９という値を反転することによって−９という値が得られる。こうして得られた例えば−９という値が、黒画像を撮影する際の初期値としてフリップフロップ２００に入力される。こうして、黒画像を撮像する際の初期値として、フリップフロップ２００に例えば−９という値がセットされる。
【００５０】
このように、カウンタ１０４は、第１の画像信号の取得において得られたカウント値に対して所定の処理を行うことにより得られる値を、第１の画像信号の取得の後に行われる第２の画像信号の取得の開始の際のカウント値として設定する。
【００５１】
なお、タイミングｔ３０２において、カウント値ＣＮＴは、本画像の信号値である１８を１／２倍することにより得られる値である９となっている。タイミングｔ３０２の１サイクル後のタイミングｔ３０３において、９を反転することにより得られる値である−９がカウント値ＣＮＴとなる。
【００５２】
タイミングｔ３０３からタイミングｔ３０４までの期間は、黒画像の露光期間である。波形整形部１０３からパルス信号ＰＵＬＳＥが出力される毎に、カウント値ＣＮＴがカウントアップされる。最下位ビットが不感ビットであるため、カウント値は２つずつ増加する。ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭの設定は０、即ち、ゲインは１倍とされる。
【００５３】
タイミングｔ３０４において、黒画像の露光が完了する。タイミングｔ３０４においては、反転信号ＩＮＶがＨレベルとされる。このため、黒引き画像を符号反転することにより得られる値である５がフリップフロップ２００に入力される。
【００５４】
タイミングｔ３０４に対して１サイクル遅延したタイミングｔ３０５において、カウント値ＣＮＴの値が５となる。こうして、黒引き画像の信号値を示すカウント値ＣＮＴが得られる。
【００５５】
図３から分かるように、本画像の露光期間におけるパルス信号ＰＵＬＳＥの数は９である。一方、黒画像の露光期間におけるパルス信号ＰＵＬＳＥの数は２である。本画像の露光期間と黒画像の露光期間との比は、２：１である。従って、黒引き画像は、以下のような式（１）によって求められる。
９−２×２＝５  ・・・（１）
このことから、本実施形態によれば、黒引き画像を良好に取得し得ることがわかる。
【００５６】
タイミングｔ３０６において、読み出し信号ＲＥＡＤ＿ＥＮがＨレベルにされ、黒引き画像が読み出される。また、タイミングｔ３０６においては、リセット信号ＣＬＲがＨレベルにされる。これにより、フリップフロップ２００に０が入力され、タイミングｔ３０６の１サイクル後のタイミングｔ３０７において、カウント値ＣＮＴが０にリセットされる。
【００５７】
このように、本実施形態によれば、本画像の信号を反転することにより得られる信号をフリップフロップ２００に設定した状態で黒画像の撮影が行われるため、フレームメモリを用いることなく黒引き画像を得ることができる。しかも、本実施形態によれば、本画像の露光期間と黒画像の露光期間との比に基づいてゲインをかけるため、黒引き画像を取得するのに要する時間を短縮することができる。
【００５８】
なお、ここでは、カウンタ１０４が同期式カウンタである場合を例に説明したが、これに限定されるものではない。例えば、図４に示すようなカウンタ１０４Ａ、即ち、非同期式カウンタを用いるようにしてもよい。
【００５９】
図４は、非同期式カウンタによってカウンタを構成した場合の例を示す図である。図４に示すカウンタ１０４Ａは、図１に示すカウンタ１０４の代わりに用いられる。
【００６０】
カウンタ１０４Ａは、複数のフリップフロップ４００（０）〜４００（３）と、符号反転制御部４０１（０）〜４０１（３）と、ＡＮＤ素子４０２（０）〜４０２（３）と、ゲイン設定部４０３とを有する。フリップフロップ一般について説明する際には、符号４００を用い、個々のフリップフロップについて説明する際には、符号４００（０）〜４００（３）を用いることとする。符号反転制御部一般について説明する際には、符号４０１を用い、個々の符号反転制御部について説明する際には、符号４０１（０）〜４０１（３）を用いることとする。ＡＮＤ素子一般について説明する際には、符号４０２を用い、個々のＡＮＤ素子について説明する際には、符号４０２（０）〜４０２（３）を用いることとする。ここでは、説明を簡略化するため、カウンタ１０４Ａのビット幅が４である場合を例に説明するが、カウンタ１０４Ａのビット幅は４に限定されるものではない。カウント値について説明する際には、符号ＣＮＴを用い、個々のビットのカウント値について説明する際には、符号ＣＮＴ（０）〜ＣＮＴ（３）を用いることとする。フリップフロップ４００（０）からは、第０番目のビットのカウント値ＣＮＴ（０）が出力される。フリップフロップ４００（１）からは、第１番目のビットのカウント値ＣＮＴ（１）が出力される。フリップフロップ４００（２）からは、第２番目のビットのカウント値ＣＮＴ（２）が出力される。フリップフロップ４００（３）からは、第３番目のビットのカウント値ＣＮＴ（３）が出力される。本画像の露光期間と黒画像の露光期間との比は、上記と同様に、例えば２：１とする。
【００６１】
フリップフロップ４００は、プリセット端子ＰＲＳＴに入力される信号がＬレベルである場合、出力端子ＱをＨレベルとし、反転出力端子／ＱをＬレベルとする。フリップフロップ４００は、プリセット端子ＰＲＳＴに入力される信号がＨレベルである場合、クロック入力端子に入力される信号の立ち上がりエッジに同期して、以下のように動作する。即ち、フリップフロップ４００は、このような場合、入力端子Ｄに入力された信号の正論理値を出力端子Ｑに出力し、入力端子Ｄに入力された信号の負論理値を反転出力端子／Ｑに出力する。フリップフロップ４００の反転出力端子／Ｑは、当該フリップフロップ４００の入力端子Ｄに接続されている。フリップフロップ４００（０）〜４００（３）の各々の出力端子Ｑからは各ビットのカウント値ＣＮＴ（０）〜ＣＮＴ（３）が出力される。フリップフロップ４００は、リセット端子ＲＳＴに入力される信号がＬレベルである場合、出力端子ＱをＬレベルとし、反転出力端子／ＱをＨレベルとする。フリップフロップ４００は、リセット端子ＲＳＴに入力される信号がＨレベルである場合、クロック入力端子に入力される信号の立ち上がりエッジに同期して、以下のように動作する。即ち、フリップフロップ４００は、このような場合、入力端子Ｄに入力された信号の正論理値を出力端子Ｑに出力し、入力端子Ｄに入力された信号の負論理値を反転出力端子／Ｑに出力する。
【００６２】
最下位ビットである第０番目のビットのフリップフロップ４００（０）は不感ビットである。図４において、不感ビットは、一点鎖線で囲むことによって示されている。最下位ビットである第０番目のビットのフリップフロップ４００（０）のクロック入力端子には０が入力される。第１番目のビットのフリップフロップ４００（１）のクロック入力端子には、パルス信号ＰＵＬＳＥが供給される。第２番目のビットのフリップフロップ４００（２）のクロック入力端子には、第１番目のビットのフリップフロップ４００（１）の反転出力端子／Ｑから出力される信号が供給される。第３番目のビットのフリップフロップ４００（３）のクロック入力端子には、第２番目のビットのフリップフロップ４００（２）の反転出力端子／Ｑから出力される信号が供給される。第０番目のビットが不感ビットであるため、カウンタ１０４のカウント値ＣＮＴは２つずつ増加する。
【００６３】
符号反転制御部４０１は、符号反転用の制御信号を出力する。符号反転制御部４０１は、反転信号ＩＮＶに基づいて、ゲイン設定部４０３から供給される信号ＲＳＴ＿ＢＩＴ０〜ＲＳＴ＿ＢＩＴ３を、フリップフロップ４００（０）〜４００（３）の各々のプリセット端子ＰＲＳＴに供給する。符号反転制御部４０１は、反転信号ＩＮＶに基づいて、ゲイン設定部４０３から供給される信号ＲＳＴ＿ＢＩＴ０〜ＲＳＴ＿ＢＩＴ３をＡＮＤ素子４０２（０）〜４０２（３）にそれぞれ供給する。
【００６４】
ＡＮＤ素子４０２は、リセット信号ＣＬＲがＨレベルである場合、Ｌレベルの信号をフリップフロップ４００のリセット端子ＲＳＴに供給する。ＡＮＤ素子４０２は、リセット信号ＣＬＲがＬレベルである場合、符号反転制御部４０１から供給される信号をフリップフロップ４００のリセット端子ＲＳＴに供給する。
【００６５】
ゲイン設定部４０３は、カウンタ１０４Ａのゲインを設定するためのものである。フリップフロップ４００（０）〜４００（３）の各々の出力端子Ｑから出力されるカウント値ＣＮＴ（０）〜ＣＮＴ（３）は、カウンタ１０４Ａから出力されるとともに、ゲイン設定部４０３に供給される。ゲイン設定部４０３は、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭに基づいて、カウント値ＣＮＴ（０）〜ＣＮＴ（３）に対してビットシフトを行う。ゲイン設定部４０３によりビットシフトが施されたカウント値ＣＮＴ（０）〜ＣＮＴ（３）が、符号反転制御部４０１（０）〜４０１（３）にそれぞれ供給される。
【００６６】
図５は、ゲイン設定部４０３において行われるビットシフトを示す図である。
例えば、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが０である場合、ゲインは１倍であるため、ゲイン設定部４０３はビットシフトを行わない。このため、第０番目のビットのフリップフロップ４００（０）の出力端子Ｑから出力されるカウント値ＣＮＴ（０）が、信号ＲＳＴ＿ＢＩＴ０として、第０番目のビットの符号反転制御部４０１（０）に供給される。また、第１番目のビットのフリップフロップ４００（１）の出力端子Ｑから出力されるカウント値ＣＮＴ（１）が、信号ＲＳＴ＿ＢＩＴ１として、第１番目のビットの符号反転制御部４０１（１）に供給される。また、第２番目のビットのフリップフロップ４００（２）の出力端子Ｑから出力されるカウント値ＣＮＴ（２）が、信号ＲＳＴ＿ＢＩＴ２として、第２番目のビットの符号反転制御部４０１（２）に供給される。また、第３番目のビットのフリップフロップ４００（３）の出力端子Ｑから出力されるカウント値ＣＮＴ（３）が、信号ＲＳＴ＿ＢＩＴ３として、第３番目のビットの符号反転制御部４０１（３）に供給される。
【００６７】
ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが１である場合、ゲインは２倍であるため、以下のようになる。値０が、信号ＲＳＴ＿ＢＩＴ０として、第０番目のビットの符号反転制御部４０１（０）に供給される。第０番目のビットのフリップフロップ４００（０）の出力端子Ｑから出力されるカウント値ＣＮＴ（０）が、信号ＲＳＴ＿ＢＩＴ１として、第１番目のビットの符号反転制御部４０１（１）に供給される。また、第１番目のビットのフリップフロップ４００（１）の出力端子Ｑから出力されるカウント値ＣＮＴ（１）が、信号ＲＳＴ＿ＢＩＴ２として、第２番目のビットの符号反転制御部４０１（２）に供給される。また、第２番目のビットのフリップフロップ４００（２）の出力端子Ｑから出力されるカウント値ＣＮＴ（２）が、信号ＲＳＴ＿ＢＩＴ３として、第３番目のビットの符号反転制御部４０１（３）に供給される。
【００６８】
ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが２である場合、ゲインは４倍であるため、以下のようになる。値０が、信号ＲＳＴ＿ＢＩＴ０として、第０番目のビットの符号反転制御部４０１（０）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ１として、第１番目のビットの符号反転制御部４０１（１）に供給される。第０番目のビットのフリップフロップ４００（０）の出力端子Ｑから出力されるカウント値ＣＮＴ（０）が、信号ＲＳＴ＿ＢＩＴ２として、第２番目のビットの符号反転制御部４０１（２）に供給される。また、第１番目のビットのフリップフロップ４００（１）の出力端子Ｑから出力されるカウント値ＣＮＴ（１）が、信号ＲＳＴ＿ＢＩＴ３として、第３番目のビットの符号反転制御部４０１（３）に供給される。
【００６９】
ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが３である場合、ゲインは８倍であるため、以下のようになる。値０が、信号ＲＳＴ＿ＢＩＴ０として、第０番目のビットの符号反転制御部４０１（０）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ１として、第１番目のビットの符号反転制御部４０１（１）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ２として、第２番目のビットの符号反転制御部４０１（２）に供給される。第０番目のビットのフリップフロップ４００（０）の出力端子Ｑから出力されるカウント値ＣＮＴ（０）が、信号ＲＳＴ＿ＢＩＴ３として、第３番目のビットの符号反転制御部４０１（３）に供給される。
【００７０】
ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが−１である場合、ゲインは１／２倍であるため、以下のようになる。第１番目のビットのフリップフロップ４００（１）の出力端子Ｑから出力されるカウント値ＣＮＴ（１）が、信号ＲＳＴ＿ＢＩＴ０として、第０番目のビットの符号反転制御部４０１（０）に供給される。第２番目のビットのフリップフロップ４００（２）の出力端子Ｑから出力されるカウント値ＣＮＴ（２）が、信号ＲＳＴ＿ＢＩＴ１として、第１番目のビットの符号反転制御部４０１（１）に供給される。第３番目のビットのフリップフロップ４００（３）の出力端子Ｑから出力されるカウント値ＣＮＴ（３）が、信号ＲＳＴ＿ＢＩＴ２として、第２番目のビットの符号反転制御部４０１（２）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ３として、第３番目のビットの符号反転制御部４０１（３）に供給される。
【００７１】
ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが−２である場合、ゲインは１／４倍であるため、以下のようになる。第２番目のビットのフリップフロップ４００（２）の出力端子Ｑから出力されるカウント値ＣＮＴ（２）が、信号ＲＳＴ＿ＢＩＴ０として、第０番目のビットの符号反転制御部４０１（０）に供給される。第３番目のビットのフリップフロップ４００（３）の出力端子Ｑから出力されるカウント値ＣＮＴ（３）が、信号ＲＳＴ＿ＢＩＴ１として、第１番目のビットの符号反転制御部４０１（１）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ２として、第２番目のビットの符号反転制御部４０１（２）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ３として、第３番目のビットの符号反転制御部４０１（３）に供給される。
【００７２】
ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが−３である場合、ゲインは１／８倍であるため、以下のようになる。第３番目のビットのフリップフロップ４００（３）の出力端子Ｑから出力されるカウント値ＣＮＴ（３）が、信号ＲＳＴ＿ＢＩＴ０として、第０番目のビットの符号反転制御部４０１（０）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ１として、第１番目のビットの符号反転制御部４０１（１）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ２として、第２番目のビットの符号反転制御部４０１（２）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ３として、第３番目のビットの符号反転制御部４０１（３）に供給される。
【００７３】
ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが−４である場合、ゲインは１／１６倍であるため、以下のようになる。値０が、信号ＲＳＴ＿ＢＩＴ０として、第０番目のビットの符号反転制御部４０１（０）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ１として、第１番目のビットの符号反転制御部４０１（１）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ２として、第２番目のビットの符号反転制御部４０１（２）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ３として、第３番目のビットの符号反転制御部４０１（３）に供給される。
【００７４】
図４に示すカウンタ１０４Ａは、以下のように動作する。
まず、本画像の露光が以下のようにして行われる。フリップフロップ４００の入力端子Ｄの初期状態はＬレベルであるため、各々のフリップフロップ４００の出力端子Ｑの初期状態はＬレベルであり、各々のフリップフロップ４００の反転出力端子／Ｑの初期状態はＨレベルである。上述したように、最下位ビットは不感ビットである。カウンタ１０４Ａの第１番目のビットのフリップフロップ４００（１）は、パルス信号ＰＵＬＳＥの立ち上がりエッジに同期して、以下のようになる。即ち、フリップフロップ４００（１）の入力端子Ｄに入力された信号の正論理値を、フリップフロップ４００（１）の出力端子Ｑに出力する。また、フリップフロップ４００（１）の入力端子Ｄに入力された信号の負論理値を、フリップフロップ４００（１）の反転出力端子／Ｑに出力する。カウンタ１０４Ａの第２番目以降のビットのフリップフロップ４００は、当該フリップフロップ４００の前段に位置するフリップフロップ４００の反転出力端子／Ｑから出力される信号の立ち上がりエッジに同期して、以下のようになる。即ち、当該フリップフロップ４００の入力端子Ｄに入力された信号の正論理値を当該フリップフロップ４００の出力端子Ｑに出力する。また、当該フリップフロップ４００の入力端子Ｄに入力された信号の負論理値を、当該フリップフロップ４００の反転出力端子／Ｑに出力する。このように、図４に示すカウンタ１０４Ａは、非同期式カウンタとして動作し得る。
【００７５】
この後、黒画像の露光が以下のようにして行われる。黒画像の露光を行う際には、以下のようにして初期設定がなされる。初期設定において、制御部６０６は、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭを設定するとともに、反転信号ＩＮＶをＨレベルに設定する。ゲイン設定部４０３は、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭに基づいて、各ビットのカウント値ＣＮＴ（０）〜ＣＮＴ（３）に対してビットシフトを行う。こうして、各々のフリップフロップ４００の出力端子Ｑから出力される信号に対してビットシフトを行うことにより得られる信号が、符号反転制御部４０１を介して、各々のフリップフロップ４００のプリセット端子ＰＲＳＴ及びリセット端子ＲＳＴに供給される。
【００７６】
全ての撮像処理が完了した際には、制御部６０６から供給されるリセット信号ＣＬＲがＨレベルとされ、カウンタ１０４Ａがリセットされる。リセット信号ＣＬＲがＨレベルになると、各々のフリップフロップ４００の出力端子ＱがＬレベルとなる。
【００７７】
このように、カウンタ１０４Ａに非同期式カウンタを用いるようにしてもよい。非同期式カウンタは、半加算器や全加算器のような加算用演算器を用いることなく計数を行い得る。このため、カウンタ１０４Ａに非同期式カウンタを用いるようにすれば、更なるコストの削減を図ることができる。
【００７８】
このように、本実施形態によれば、本画像の信号を反転することにより得られた信号をフリップフロップ２００，４００に設定した状態で黒画像の撮影が行われるため、フレームメモリを用いることなく黒引き画像を得ることができる。しかも、本実施形態によれば、本画像の露光期間と黒画像の露光期間との比に基づいてゲインをかけるため、黒引き画像を取得するのに要する時間を短縮することができる。なお、非同期カウンタおよび同期カウンタを組み合わせる構成としてもよい。
【００７９】
［第２実施形態］
第２実施形態による固体撮像素子及びその制御方法並びに撮像装置を図８及び図９を用いて説明する。図１乃至図７に示す第１実施形態による固体撮像素子等と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
【００８０】
本実施形態による固体撮像素子６００は、モーションブラーが施された画像を取得し得るものである。モーションブラーとは、動いている被写体を撮影した際に生じる画像のブレのことである。被写体の動きを強調するために、画像に人為的にブレを加えることもモーションブラーと称される。本実施形態では、時間方向にＩＩＲフィルタをかけることによって、モーションブラーを施す場合を例に説明するが、これに限定されるものではない。
【００８１】
図８は、本実施形態による固体撮像素子６００の単位画素１００に備えられたカウンタを示す図である。図８に示すカウンタ１０４Ｂは、図１に示すカウンタ１０４の代わりに用いられる。
【００８２】
カウンタ１０４Ｂは、符号反転部２０３が備えられていない点で、図２に示す第１実施形態によるカウンタ１０４と相違している。
【００８３】
本実施形態では、ＩＩＲフィルタのフィルタ係数が、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭによって設定される。ＩＩＲフィルタのフィルタ係数は、例えば、以下のような式（２）によって表されるが、これに限定されるものではない。
Ｏｄａｔ／（１−α）＝ＣｕｒｒｅｎｔＤａｔ＋α／（１−α）×ＰｒｅＤａｔ  ・・・（２）
【００８４】
Ｏｄａｔは、単位画素１００の出力信号である。ＣｕｒｒｅｎｔＤａｔは、現在のフレームの出力信号である。ＰｒｅＤａｔは、前フレームの出力信号である。α／（１−α）は、フィルタ係数である。ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭによって、α／（１−α）が設定される。なお、ゲイン設定部２０２においてＯｄａｔを（１−α）で除算するようにしてもよいし、単位画素１００の後段においてＯｄａｔを（１−α）で除算するようにしてもよい。ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭを適宜設定することにより、前フレームの信号値を現フレームの信号値に適切に加えることが可能となる。
【００８５】
図９は、モーションブラーを概念的に示す図である。図９には、被写体の輪郭を示す情報、即ち、輪郭情報が抜き出して示されている。図９（ａ）は、前フレームの画像を概念的に示している。図９（ｂ）及び図９（ｃ）は、図９（ａ）に示す画像に対して被写体の位置が１ピクセル分だけ右にずれた例を概念的に示している。図９（ｂ）は、モーションブラーが施されていない例を示している。図９（ｃ）は、モーションブラーが施されている例、即ち、本実施形態によって取得される画像に対応している。
【００８６】
動画を構成する複数の画像の各々は、有限の露光時間で撮影される。こうして撮影される複数の画像を連続的に表示すると、残像効果によって、動きのある像が見る者に認識される。一般に、少しずつ変化する複数の画像（静止画像）が１秒間に概ね２０枚以上表示されれば、滑らかな動きの像が見る者に認識される。表示される画像の数が１秒間当たり概ね２０枚未満である場合、ぎこちない動きの像が見る者に認識される場合がある。また、被写体の動きが素早い場合にも、ぎこちない動きの像が見る者に認識される場合がある。
【００８７】
図９（ｂ）のように、モーションブラーが施されていない画像の場合、ぎこちない動きの像が見る者に認識されやすい。これに対し、図９（ａ）に示すような前フレーム画像と図９（ｂ）に示すような現フレームの画像とを合成することによって、モーションブラーが施された図９（ｃ）のような画像を生成すると、ぎこちない動きの像が見る者に認識されにくい。本実施形態では、フィルタの係数を適切に設定することによりカウンタの初期値を設定し、フレームメモリを用いることなくモーションブラーを施す。図９（ｃ）において斜めのハッチングが付されている部分は、前フレームにのみ対応する輪郭である。図９（ｃ）において縦のハッチングが付されている部分は、現フレームにのみ対応する輪郭である。図９（ｃ）において横のハッチングが付されている部分は、前フレームと現フレームの両方に対応する輪郭である。
【００８８】
このような画像を生成するようにすれば、前フレームと現フレームとの間の情報の間欠を低減することができる。本実施形態によれば、画像合成ツール等を用いることなく、例えばスタートレイルのような画像を容易に取得することも可能である。
【００８９】
このように、本実施形態によれば、前フレームの値に所定のゲインをかけることにより得られる値がカウンタ１０４Ｂの初期値として設定される。このため、本実施形態によれば、フレームメモリを用いることなく、モーションブラーが施された画像を得ることができる。
【００９０】
なお、ここでは、モーションブラー表現を行う場合を例に説明したが、これに限定されるものではない。例えば、多重露光画像を取得するようにすることも可能である。撮影した一の画像の値に所定のゲインをかけることにより得られる値をカウンタ１０４Ｂの初期値として他の画像を撮影することによって、多重露光画像を得ることができる。また、ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）画像を得ることも可能である。例えば、既に撮影されたフレームにおける絞り値とこれから撮影されるフレームにおける絞り値との比に応じたゲインを、既に撮影されたフレームの値にかけることにより得られる値を、カウンタ１０４Ｂの初期値として撮影を行う。このようにして撮影を行うことにより、ＨＤＲ画像を得ることが可能である。
【００９１】
このように、本実施形態によれば、フレームメモリを用いることなく、複数のフレームの合成画像を得ることができる。
【００９２】
［第３実施形態］
第３実施形態による固体撮像素子及びその制御方法並びに撮像装置を図１０乃至図１３を用いて説明する。図１乃至図９に示す第１又は第２実施形態による固体撮像素子等と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態による固体撮像素子は、黒引き画像を取得し得るものである。
【００９３】
図１０は、本実施形態による固体撮像素子６００の単位画素１００に備えられたカウンタを示す図である。
【００９４】
カウンタ１０４Ｃは、アップダウンカウンタ１０００と、ゲイン設定部１００１とを有する。カウンタ１０４Ｃからは、カウント値ＣＮＴが出力される。
【００９５】
アップダウンカウンタ１０００は、波形整形部１０３から出力されるパルス信号ＰＵＬＳＥをカウントする。アップダウンカウンタ１０００は、制御部６０６から供給されるアップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬに基づいて、アップカウント又はダウンカウントを行う。アップダウンカウンタ１０００は、非同期リセット信号ＡＳＹＮ＿ＲＥＳによって、クロック信号ＣＬＫ（図３参照）に非同期で初期値０に初期化される。アップダウンカウンタ１０００は、リセット信号ＣＬＲによって、クロック信号ＣＬＫに同期して初期値０に初期化される。なお、本実施形態においても、固体撮像素子６００に備えられた複数の単位画素１００に各々に備えられたカウンタ１０４Ｃに共通のクロック信号ＣＬＫが供給される。また、本実施形態においても、固体撮像素子６００に備えられた複数の単位画素１００の各々に備えられたカウンタ１０４Ｃに共通の非同期リセット信号ＡＳＹＮ＿ＲＥＳが一括して供給される。
【００９６】
ゲイン設定部１００１は、制御部６０６から供給されるゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴに基づいて、１ビットのパルス信号ＰＵＬＳＥにゲインをかける。ゲイン設定部１００１は、パルス信号ＰＵＬＳＥに応じた信号ＰＵＬＳＥ＿ＢＩＴをアップダウンカウンタ１０００のいずれのビットに供給するかによって、パルス信号ＰＵＬＳＥにかけるゲインを設定する。例えば、パルス信号ＰＵＬＳＥに対してゲインをかけない場合、ゲイン設定部１００１は、アップダウンカウンタ１０００の第０番目のビットにパルス信号ＰＵＬＳＥを供給する。パルス信号ＰＵＬＳＥに対して例えば２倍のゲインをかける場合、ゲイン設定部１００１は、アップダウンカウンタ１０００の第１番目のビットにパルス信号ＰＵＬＳＥを供給する。パルス信号ＰＵＬＳＥに対して例えば３倍のゲインをかける場合、ゲイン設定部１００１は、アップダウンカウンタ１０００の第０番目のビットとアップダウンカウンタ１０００の第１番目のビットとにパルス信号ＰＵＬＳＥを供給する。
【００９７】
本実施形態では、本画像の撮像期間においては、アップカウントを行う。そして、黒画像の撮像期間においては、本画像の露出値と黒画像の露出値との比に応じたゲインをパルス信号ＰＵＬＳＥにかけることにより得られる信号ＰＵＬＳＥ＿ＢＩＴを用いてダウンカウントを行う。こうして、黒引き画像が生成される。なお、本実施形態では、本画像の露出値と黒画像の露出値との比に応じたゲインが２倍である場合を例に説明するが、これに限定されるものではない。
【００９８】
図１１は、本実施形態による固体撮像素子６００の単位画素１００に備えられたカウンタ１０４Ｃを示す図である。図１１に示すカウンタ１０４Ｃは、図１に示すカウンタ１０４の代わりに用いられる。
【００９９】
カウンタ１０４Ｃは、ゲイン設定部１００１と、複数のフリップフロップ１１００（０）〜１１００（３）と、複数のアップダウンセレクタ部１１０１（１）〜１１０１（３）と、複数の同期リセット部１１０２（０）〜１１０２（３）とを有する。カウンタ１０４Ｃは、複数のＨＯＬＤセレクタ１１０３（０）〜１１０３（３）と、複数の半加算器１１０４（０）〜１１０４（３）と、複数のＯＲ素子１１０５（２）、１１０５（３）とを更に有する。カウンタ１０４Ｃからは、カウント値ＣＮＴが出力される。本実施形態では、カウンタ１０４Ｃが４ビットの非同期式カウンタである場合を例に説明するが、これに限定されるものではない。
【０１００】
フリップフロップ一般について説明する際には、符号１１００を用い、個々のフリップフロップについて説明する際には、符号１１００（０）〜１１００（３）を用いる。また、アップダウンセレクタ部一般について説明する際には符号１１０１を用い、個々のアップダウンセレクタ部について説明する際には符号１１０１（１）〜１１０１（３）を用いる。また、同期リセット部一般について説明する際には符号１１０２を用い、個々の同期リセット部について説明する際には、符号１１０２（０）〜１１０２（３）を用いる。また、ＨＯＬＤセレクタ一般について説明する際には符号１１０３を用い、個々のＨＯＬＤセレクタについて説明する際には符号１１０３（０）〜１１０３（３）を用いる。また、半加算器一般について説明する際には１１０４を用い、個々の半加算器について説明する際には符号１１０４（０）〜１１０４（３）を用いる。また、ＯＲ素子一般について説明する際には符号１１０５を用い、個々のＯＲ素子について説明する際には符号１１０５（２）、１１０５（３）を用いる。フリップフロップ１１００（０）からは、第０番目のビットのカウント値ＣＮＴ（０）が出力される。フリップフロップ１１００（１）からは、第１番目のビットのカウント値ＣＮＴ（１）が出力される。フリップフロップ１１００（２）からは、第２番目のビットのカウント値ＣＮＴ（２）が出力される。フリップフロップ１１００（３）からは、第３番目のビットのカウント値ＣＮＴ（３）が出力される。
本画像の露光期間と黒画像の露光期間との比は、上記と同様に、例えば２：１とする。
【０１０１】
フリップフロップ１１００（０）〜１１００（３）の入力端子Ｄには、同期リセット部１１０２（０）〜１１０２（３）から出力される信号がそれぞれ供給される。フリップフロップ１１００は、リセット端子ＲＳＴに入力される非同期リセット信号ＡＳＹＮ＿ＲＥＳがＬレベルである場合、出力端子ＱをＬレベルとし、反転出力端子／ＱをＨレベルとする。フリップフロップ１１００は、リセット端子ＲＳＴに入力される非同期リセット信号ＡＳＹＮ＿ＲＥＳがＨレベルである場合、以下のように動作する。即ち、フリップフロップ１１００は、このような場合、クロック入力端子に入力されるクロック信号ＣＬＫの立ち上がりエッジに同期して、入力端子Ｄに入力された信号の正論理値を出力端子Ｑに出力する。
【０１０２】
アップダウンセレクタ部１１０１（１）には、同期リセット部１１０２（０）から出力される信号と、フリップフロップ１１００（０）の出力端子Ｑから出力される信号とが供給される。アップダウンセレクタ部１１０１（２）には、同期リセット部１１０２（１）から出力される信号と、フリップフロップ１１００（１）の出力端子Ｑから出力される信号とが供給される。アップダウンセレクタ部１１０１（３）には、同期リセット部１１０２（２）から出力される信号と、フリップフロップ１１００（２）の出力端子Ｑから出力される信号とが供給される。
【０１０３】
アップダウンセレクタ部１１０１は、制御部６０６から供給されるアップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬに基づいて、アップカウント又はダウンカウントを選択する。アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬが０（Ｌレベル）である場合、アップダウンセレクタ部１１０１は、アップカウントを実行する。アップカウントにおいては、アップダウンセレクタ部１１０１は、フリップフロップ１１００の出力端子Ｑから出力される信号の立ち下がりエッジに同期して桁上がりを上位ビットに通知する。アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬが１（Ｈレベル）である場合、アップダウンセレクタ部１１０１は、ダウンカウントを実行する。ダウンカウントにおいては、アップダウンセレクタ部１１０１は、フリップフロップ１１００の出力端子Ｑから出力される信号の立ち上がりエッジに同期して桁下がりを上位ビットに通知する。
【０１０４】
ゲイン設定部１００１には、制御部６０６から供給されるゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴと、波形整形部１０３から供給されるパルス信号ＰＵＬＳＥとが供給される。ゲイン設定部１００１は、パルス信号ＰＵＬＳＥに応じた信号ＰＵＬＳＥ＿ＢＩＴ（０）〜（３）を、フリップフロップ１１００のいずれのビットに入力するかを、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴに基づいて設定する。ゲイン設定部１００１から出力される信号ＰＵＬＳＥ＿ＢＩＴ（０）〜ＰＵＬＳＥ（３）は、半加算器１１０４（０）〜１１０４（３）に供給される。ゲイン設定部１００１から出力される信号一般について説明する際には、符号ＰＵＬＳＥ＿ＢＩＴを用い、ゲイン設定部１００１から出力される個々の信号について説明する際には、符号ＰＵＬＳＥ＿ＢＩＴ（０）〜ＰＵＬＳＥ＿ＢＩＴ（３）を用いる。例えば、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴが３である場合、ゲイン設定部１００１は、第０番目のビットに信号ＰＵＬＳＥ＿ＢＩＴ（０）を供給するとともに、第１番目のビットに信号ＰＵＬＳＥ＿ＢＩＴ（１）を供給する。このようにゲインを設定した場合、カウント値ＣＮＴは０、３、６、・・・と変化する。
【０１０５】
ＨＯＬＤセレクタ１１０３（０）〜１１０３（３）には、フリップフロップ１１００（０）〜１１００（３）の出力端子Ｑから出力される信号が供給される。また、ＨＯＬＤセレクタ１１０３（０）〜１１０３（３）には、半加算器１１０４（０）〜１１０４（３）から制御信号がそれぞれ供給される。ＨＯＬＤセレクタ１１０３は、半加算器１１０４から供給される制御信号に基づいて、フリップフロップ１１００の出力端子Ｑから供給される信号又はその反転信号を出力する。半加算器１１０４（１）〜１１０４（３）には、ＸＯＲ素子が備えられている。半加算器１１０４（１）〜１１０４（３）に備えられたＸＯＲ素子からＨＯＬＤセレクタ１１０３（１）〜１１０３（３）にそれぞれ供給される制御信号が０（Ｌレベル）である場合、ＨＯＬＤセレクタ１１０３（１）〜１１０３（３）は、以下のように動作する。即ち、ＨＯＬＤセレクタ１１０３（１）〜１１０３（３）は、このような場合、フリップフロップ１１００（１）〜１１００（３）の出力端子Ｑからそれぞれ出力される信号を出力する。即ち、ＨＯＬＤセレクタ１１０３（１）〜１１０３（３）は、桁上がり又は桁下がりが下位ビットから通知されておらず、且つ、信号ＰＵＬＳＥ＿ＢＩＴ（１）〜（３）が供給されていない場合、以下のように動作する。即ち、ＨＯＬＤセレクタ１１０３（１）〜１１０３（３）は、このような場合、フリップフロップ１１００（１）〜（３）の出力端子Ｑからそれぞれ出力される信号を出力する。また、ＨＯＬＤセレクタ１１０３（１）〜１１０３（３）は、桁上がり又は桁下がりが下位ビットから通知されており、且つ、信号ＰＵＬＳＥ＿ＢＩＴ（１）〜（３）が供給されている場合、以下のように動作する。即ち、ＨＯＬＤセレクタ１１０３（１）〜１１０３（３）は、このような場合、フリップフロップ１１００（１）〜１１００（３）の出力端子Ｑからそれぞれ出力される信号を出力する。半加算器１１０４からＨＯＬＤセレクタ１１０３に供給される制御信号が１（Ｈレベル）である場合、ＨＯＬＤセレクタ１１０３（１）〜（３）は、以下のように動作する。即ち、ＨＯＬＤセレクタ１１０３（１）〜（３）は、このような場合、フリップフロップ１１００（１）〜（３）の出力端子Ｑから出力された信号を反転することにより得られる信号を出力する。即ち、桁上がり又は桁下がりを示す下位ビットからの通知と、信号ＰＵＬＳＥ＿ＢＩＴ（１）〜（３）の供給とのうちのいずれか一方のみが生じた場合、ＨＯＬＤセレクタ１１０３（１）〜１１０３（３）は、以下のように動作する。即ち、ＨＯＬＤセレクタ１１０３（１）〜１１０３（３）は、このような場合、フリップフロップ１１００（１）〜１１００（３）の出力端子Ｑから出力された信号を反転することにより得られる信号を出力する。なお、図１１においては、ＨＯＬＤセレクタ１１０３にＮＯＴ素子が備えられている例が図示されているが、これに限定されるものではない。例えば、フリップフロップ１１００の反転出力端子／Ｑから出力される信号が用いられるようにしてもよい。最下位ビットである第０番目のビットのフリップフロップ１１００（０）においては、桁上がり又は桁下がりが下位ビットから通知されない。このため、ＨＯＬＤセレクタ１１０３（０）には、信号ＰＵＬＳＥ＿ＢＩＴ（０）が制御信号として半加算器１１０４（０）から供給される。ＨＯＬＤセレクタ１１０３（０）は、信号ＰＵＬＳＥ＿ＢＩＴ（０）が０（Ｌレベル）である場合、フリップフロップ１１００（０）の出力端子Ｑから出力される信号を出力する。ＨＯＬＤセレクタ１１０３（０）は、信号ＰＵＬＳＥ＿ＢＩＴ（０）が１（Ｈレベル）である場合、フリップフロップ１１００（０）の出力端子Ｑから出力される信号を反転することにより得られる信号を出力する。
【０１０６】
半加算器１１０４（１）、１１０４（２）は、ＸＯＲ素子と、ＡＮＤ素子とを備えている。半加算器１１０４（２）は、ＸＯＲ素子を備えている。半加算器１１０４（１）〜１１０４（３）には、アップダウンセレクタ部１１０１（１）〜１１０１（３）から出力される信号と、パルス信号ＰＵＬＳＥに応じた信号ＰＵＬＳＥ＿ＢＩＴ（１）〜ＰＵＬＳＥ＿ＢＩＴ（３）とがそれぞれ供給される。半加算器１１０４（１）〜１１０４（３）は、桁上がり又は桁下がりを示す下位ビットからの通知と、パルス信号ＰＵＬＳＥに応じた信号ＰＵＬＳＥ＿ＢＩＴ（１）〜ＰＵＬＳＥ＿ＢＩＴ（３）とに基づいて、ＨＯＬＤセレクタ１１０３に制御信号を供給する。半加算器１１０４（１）、１１０４（２）は、アップダウンセレクタ部１１０１（２）、１１０１（３）から出力される通知とは別個に、桁上がり又は桁下がりを上位ビットに対して通知する。半加算器１１０４（１）〜１１０４（３）に備えられたＸＯＲ素子から出力される信号によって、ＨＯＬＤセレクタ１１０３（１）〜１１０３（３）が制御される。桁上がり又は桁下がりを示す下位ビットからの通知と、信号ＰＵＬＳＥ＿ＢＩＴ（１）〜（３）の供給とのうちのいずれか一方のみが生じると、以下のようになる。即ち、フリップフロップ１１００（１）〜１１００（３）の出力端子Ｑから出力される信号の値が、ＨＯＬＤセレクタ１１０３（１）〜１１０３（３）によって反転される。半加算器１１０４（１）、１１０４（２）に備えられたＡＮＤ素子から出力される信号によって、桁上がり又は桁下がりが下位ビットから通知される。桁上がり又は桁下がりを示す下位ビットからの通知と、パルス信号ＰＵＬＳＥに応じた信号ＰＵＬＳＥ＿ＢＩＴの供給の両方が同時に生じた場合、以下のようになる。即ち、当該ビットに備えられたフリップフロップ１１００の出力端子Ｑの値は反転されず、桁上がり又は桁下がりが上位ビットに通知される。このため、半加算器１１０４に備えられたＡＮＤ素子から出力される信号によって、桁上がり又は桁下がりが上位ビットに通知される。最下位ビットにおいては、当該ビットより下位のビットからの桁上がり又は当該ビットより下位のビットへの桁下がりは生じない。このため、半加算器１１０４（０）は、信号ＰＵＬＳＥ＿ＢＩＴ（０）を制御信号としてそのままＨＯＬＤセレクタ１１０３（０）に供給する。最上位ビットにおいては、当該ビットより上位のビットへの桁上がり又は当該ビットより上位のビットからの桁下がりは生じない。このため、半加算器１１０４（３）にはＡＮＤ素子が備えられていない。
【０１０７】
ＯＲ素子１１０５（２）は、半加算器１１０４（１）のＡＮＤ素子から出力される信号と、アップダウンセレクタ部１１０１（２）から出力される信号とが供給される。これらの信号によって、桁上がり又は桁下がりを示す下位ビットからの通知がなされる。ＯＲ素子１１０５（２）から出力される信号は、半加算器１１０４（２）に供給される。ＯＲ素子１１０５（３）は、半加算器１１０４（２）のＡＮＤ素子から出力される信号と、アップダウンセレクタ部１１０１（３）から出力される信号とが供給される。これらの信号によって、桁上がり又は桁下がりを示す下位ビットからの通知がなされる。ＯＲ素子１１０５（３）から出力される信号は、半加算器１１０４（３）に供給される。アップカウントの場合、桁上がり又は桁下がりを示す下位ビットからの通知は、下位ビットに位置するフリップフロップ１１００の出力端子Ｑから出力される信号の立ち下がりエッジに同期してなされる。ダウンカウントの場合、桁上がり又は桁下がりを示す下位ビットからの通知は、下位ビットに位置するフリップフロップ１１００の出力端子Ｑから出力される信号の立ち上がりエッジに同期してなされる。また、アップカウントであるかダウンカウントであるかにかかわらず、桁上がり又は桁下がりの通知と、信号ＰＵＬＳＥ＿ＢＩＴの入力とが、２ビット下位のビットに対して同時になされた場合にも、桁上がり又は桁下がりの通知がなされる。このため、ＯＲ素子１１０５（２）、１１０５（３）からは、アップダウンセレクタ部１１０１からの信号と、半加算器１１０４のＡＮＤ素子からの信号との論理和が出力される。
【０１０８】
同期リセット部１１０２は、制御部６０６から供給されるリセット信号ＣＬＲに基づいて、フリップフロップ１１００の出力端子Ｑの値をクロック信号ＣＬＫに同期して０（Ｌレベル）に初期化する。
【０１０９】
このように、図１１に示すカウンタ１０４Ｃは、パルス信号ＰＵＬＳＥの重みを変更しつつアップダウンカウントを行うことができる。
【０１１０】
図１２は、本実施形態による固体撮像素子６００の単位画素１００に備えられたカウンタ１０４Ｃの動作を示すタイミングチャートである。図１２には、クロック信号ＣＬＫ、パルス信号ＰＵＬＳＥ、カウント値ＣＮＴ、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴ、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬ、リセット信号ＣＬＲ、及び、読み出し信号ＲＥＡＤ＿ＥＮが示されている。
【０１１１】
カウント値ＣＮＴは、クロック信号ＣＬＫの立ち上がりエッジに同期して出力されるため、カウント値ＣＮＴには、１サイクル分の遅延が生ずる。
【０１１２】
タイミングｔ１２００において、リセット信号ＣＬＲがＨレベルに設定される。これにより、カウンタ１０４Ｃがリセットされる。このようなリセットの処理は、本画像を露光する前に行われる。
【０１１３】
タイミングｔ１２０１からタイミングｔ１２０２までの期間は、本画像の露光期間である。本画像の露光期間においては、アップカウントを行うべく、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬはＬレベルに設定される。また、本画像を露光する際には、パルス信号ＰＵＬＳＥに対してゲインをかけないため、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴは１に設定される。このため、アップダウンカウンタ１０００の最下位ビットである第０番目のビットにパルス信号ＰＵＬＳＥが入力される。このため、パルス信号ＰＵＬＳＥが１つ出力される毎に、カウント値ＣＮＴが１つずつカウントアップされる。なお、ここでは、説明を簡略化するために、クロック信号ＣＬＫの立ち上がりのタイミングでパルス信号ＰＵＬＳＥが１つ出力される例が示されている。
【０１１４】
タイミングｔ１２０２において、本画像の露光が完了する。黒画像の露光に移行すべく、カウンタ１０４Ｃの設定が行われる。前フレームである本画像の露光期間と次に露光するフレームである黒画像の露光期間との比に基づいて、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴが設定される。上述したように、本画像の露光期間と黒画像の露光期間との比は２：１であるため、これらの比である２倍のゲインがかかるようにする。即ち、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴを２に設定することにより、アップダウンカウンタ１０００の第１番目のビットにパルス信号ＰＵＬＳＥが入力されるようにする。このようにすることで、黒画像の露光においては、本画像の露光と比較して、２倍の傾きで露光が行われる。また、黒画像を露光する際には、ダウンカウントを行うべく、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬはＨレベルに設定される。このようにすることにより、黒画像の露光においては、本画像の露光と比較して、２倍の傾きでパルス信号ＰＵＬＳＥの減算が行われる。
【０１１５】
タイミングｔ１２０３からタイミングｔ１２０４までの期間は、黒画像の露光期間である。波形整形部１０３からパルス信号ＰＵＬＳＥが出力される毎に、カウント値ＣＮＴが２つずつカウントダウンされる。
【０１１６】
タイミングｔ１２０４において、黒画像の露光が完了する。タイミングｔ１２０４においては、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＬレベルにされる。
【０１１７】
タイミングｔ１２０４からタイミングｔ１２０５までの間において、カウント値ＣＮＴが確定する。ここでは、カウント値ＣＮＴの値は例えば５となる。こうして、黒引き画像の信号値を示すカウント値ＣＮＴが得られる。
【０１１８】
タイミングｔ１２０５において、読み出し信号ＲＥＡＤ＿ＥＮがＨレベルにされ、黒引き画像の信号が読み出される。
【０１１９】
タイミングｔ１２０６において、リセット信号ＣＬＲがＨレベルにされる。これにより、タイミングｔ１２０６の次のタイミングｔ１２０７において、カウント値ＣＮＴが０にリセットされる。
【０１２０】
このように、本実施形態においても、あるフレームの撮像期間における信号値と、当該フレームの前のフレームの撮像期間の信号値との差分値を、フレームメモリを用いることなく取得することが可能である。
【０１２１】
なお、ここでは、カウンタ１０４Ｃが同期式カウンタである場合を例に説明したが、これに限定されるものではない。例えば、図１３に示すようなカウンタ１０４Ｄ、即ち、非同期式カウンタを用いるようにしてもよい。
【０１２２】
図１３は、非同期式カウンタによってカウンタを構成した場合の例を示す図である。図１３に示すカウンタ１０４Ｄは、図１に示すカウンタ１０４の代わりに用いられる。
【０１２３】
カウンタ１０４Ｄは、複数のフリップフロップ１３００（０）〜１３００（３）と、複数のカウント方式制御部１３０１（１）〜１３０１（３）と、複数の入力ビット選択部１３０２（０）〜１３０２（３）とを有する。また、カウンタ１０４Ｄは、ＯＲ素子１３０３（０）〜１３０３（３）を更に有する。カウンタ１０４Ｄからは、カウント値ＣＮＴが出力される。ここでは、カウンタ１０４Ｄが４ビットの非同期式カウンタである場合を例に説明するが、これに限定されるものではない。
【０１２４】
フリップフロップ一般について説明する際には、符号１３００を用い、個々のフリップフロップについて説明する際には、符号１３００（０）〜１３００（３）を用いることとする。カウント方式制御部一般について説明する際には、符号１３０１を用い、個々のカウント方式制御部について説明する際には、符号１３０１（１）〜１３０１（３）を用いることとする。入力ビット選択部一般について説明する際には、符号１３０２を用い、個々の入力ビット選択部について説明する際には、符号１３０２（０）〜１３０２（３）を用いることとする。ＯＲ素子一般について説明する際には、符号１３０３を用い、個々のＯＲ素子について説明する際には、符号１３０３（０）〜１３０３（３）を用いることとする。カウント値について説明する際には、符号ＣＮＴを用い、カウント値の各ビットの値について説明する際には、符号ＣＮＴ（０）〜ＣＮＴ（３）を用いることとする。フリップフロップ１３００（０）からは、第０番目のビットのカウント値ＣＮＴ（０）が出力される。フリップフロップ１３００（１）からは、第１番目のビットのカウント値ＣＮＴ（１）が出力される。フリップフロップ１３００（２）からは、第２番目のビットのカウント値ＣＮＴ（２）が出力される。フリップフロップ１３００（３）からは、第３番目のビットのカウント値ＣＮＴ（３）が出力される。本画像の露光期間と黒画像の露光期間との比は、上記と同様に、例えば２：１とする。
【０１２５】
フリップフロップ１３００は、リセット端子ＲＳＴにＬレベルの信号が入力されることによりリセットされる。フリップフロップ１３００は、リセット端子ＲＳＴに入力される信号がＬレベルである場合、出力端子ＱをＬレベルとし、反転出力端子／ＱをＨレベルとする。フリップフロップ１３００は、リセット端子ＲＳＴに入力される信号がＨレベルである場合、クロック入力端子に入力される信号の立ち上がりエッジに同期して、以下のように動作する。即ち、フリップフロップ１３００は、このような場合、入力端子Ｄに入力された信号の正論理値を出力端子Ｑに出力し、入力端子Ｄに入力された信号の負論理値を反転出力端子／Ｑに出力する。フリップフロップ１３００の反転出力端子／Ｑは、当該反転出力端子／Ｑを備えるフリップフロップ４００の入力端子Ｄに接続されている。フリップフロップ１３００（０）〜１３００（３）の各々の出力端子Ｑからは各ビットのカウント値ＣＮＴ（０）〜ＣＮＴ（３）が出力される。フリップフロップ１３００のクロック入力端子には、入力ビット選択部１３０２から出力される信号が供給される。
【０１２６】
入力ビット選択部１３０２（０）は、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴに基づいて、０（Ｌレベル）又はＰＵＬＳＥ信号を出力する。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴの第０番目のビットの値が０である場合、入力ビット選択部１３０２（０）は０を出力する。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴの第０番目のビットの値が１である場合、入力ビット選択部１３０２（０）はパルス信号ＰＵＬＳＥを出力する。入力ビット選択部１３０２（１）〜１３０２（３）は、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴに基づいて、カウント方式制御部１３０１（１）〜１３０１（３）から供給される信号又はＰＵＬＳＥ信号を出力する。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴの第１番目のビットの値が０である場合、入力ビット選択部１３０２（１）はカウント方式制御部１３０１（１）から供給される信号を出力する。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴの第１番目のビットの値が１である場合、入力ビット選択部１３０２（１）はパルス信号ＰＵＬＳＥを出力する。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴの第２番目のビットの値が０である場合、入力ビット選択部１３０２（２）はカウント方式制御部１３０１（２）から供給される信号を出力する。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴの第２番目のビットの値が１である場合、入力ビット選択部１３０２（２）はパルス信号ＰＵＬＳＥを出力する。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴの第３番目のビットの値が０である場合、入力ビット選択部１３０２（３）はカウント方式制御部１３０１（３）から供給される信号を出力する。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴの第３番目のビットの値が１である場合、入力ビット選択部１３０２（３）はパルス信号ＰＵＬＳＥを出力する。例えば、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴが２に設定されている場合、第１番目のビットのフリップフロップ１３００（１）にパルス信号ＰＵＬＳＥが入力され、カウント値ＣＮＴは２つずつ変化する。
【０１２７】
カウント方式制御部１３０１は、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬに基づいて、カウント方式を制御する。アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＬレベルの場合、カウント方式制御部１３０１（１）は、フリップフロップ１３００（０）の反転出力端子／Ｑから出力される信号を入力ビット選択部１３０２（１）に供給する。また、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＬレベルの場合、カウント方式制御部１３０１（２）は、フリップフロップ１３００（１）の反転出力端子／Ｑから出力される信号を入力ビット選択部１３０２（２）に供給する。また、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＬレベルの場合、カウント方式制御部１３０１（３）は、フリップフロップ１３００（３）の反転出力端子／Ｑから出力される信号を入力ビット選択部１３０２（３）に供給する。こうして、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＬレベルの場合には、アップカウントの動作がカウンタ１０４Ｄによって実行される。アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＨレベルの場合、カウント方式制御部１３０１（１）は、フリップフロップ１３００（０）の出力端子Ｑから出力される信号を入力ビット選択部１３０２（１）に供給する。また、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＨレベルの場合、カウント方式制御部１３０１（２）は、フリップフロップ１３００（１）の出力端子Ｑから出力される信号を入力ビット選択部１３０２（２）に供給する。また、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＨレベルの場合、カウント方式制御部１３０１（３）は、フリップフロップ１３００（３）の出力端子Ｑから出力される信号を入力ビット選択部１３０２（３）に供給する。こうして、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＨレベルの場合には、ダウンカウントの動作がカウンタ１０４Ｄによって実行される。
【０１２８】
ＯＲ素子１３０３は、フリップフロップ１３００をリセットするための信号を生成する。非同期リセット信号ＡＳＹＮ＿ＲＥＳがＬレベルの場合、又は、リセット信号ＣＬＲがＨレベルの場合に、フリップフロップ１３００がリセットされる。
【０１２９】
図１３に示すようなカウンタ１０４Ｄは、以下のように動作する。
まず、本画像の露光が以下のようにして行われる。制御部６０６は、カウンタ１０４Ｄにアップカウントを実行させるべく、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬを０（Ｌレベル）にする。また、制御部６０６は、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴを１とする。アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＬレベルに設定されるため、以下のようになる。フリップフロップ１３００（０）の反転出力端子／Ｑから出力される信号が、カウント方式制御部１３０１（１）から出力される。また、フリップフロップ１３００（１）の反転出力端子／Ｑから出力される信号が、カウント方式制御部１３０１（２）から出力される。また、フリップフロップ１３００（２）の反転出力端子／Ｑから出力される信号が、カウント方式制御部１３０１（３）から出力される。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴが１に設定されるため、最下位ビットである第０番目のビットのフリップフロップ１３００（０）のクロック入力端子にパルス信号ＰＵＬＳＥが供給される。第１番目のビットのフリップフロップ１３００（１）のクロック入力端子には、第０番目のビットのフリップフロップ１３００（０）の反転出力端子／Ｑから出力される信号が供給される。第２番目のビットのフリップフロップ１３００（２）のクロック入力端子には、第１番目のビットのフリップフロップ１３００（１）の反転出力端子／Ｑから出力される信号が供給される。第３番目のビットのフリップフロップ１３００（３）のクロック入力端子には、第２番目のビットのフリップフロップ１３００（２）の反転出力端子／Ｑから出力される信号が供給される。
【０１３０】
フリップフロップ１３００の入力端子Ｄの初期状態は０（Ｌレベル）であるため、各々のフリップフロップ１３００の出力端子Ｑの初期状態は０（Ｌレベル）であり、各々のフリップフロップ１３００の反転出力端子／Ｑの初期状態は１（Ｈレベル）である。
【０１３１】
第０番目のビットのフリップフロップ１３００（０）は、パルス信号ＰＵＬＳＥの立ち上がりエッジに同期して、以下のようになる。即ち、フリップフロップ１３００（０）の入力端子Ｄに入力された信号の正論理値を、フリップフロップ１３００（０）の出力端子Ｑに出力する。また、フリップフロップ１３００（０）の入力端子Ｄに入力された信号の負論理値を、フリップフロップ１３００（０）の反転出力端子／Ｑに出力する。第１番目のビットのフリップフロップ１３００（１）は、第０番目のビットのフリップフロップ１３００（０）の反転出力端子／Ｑから出力される信号の立ち上がりエッジに同期して、以下のように動作する。即ち、フリップフロップ１３００（１）の入力端子Ｄに入力された信号の正論理値を、フリップフロップ１３００（１）の出力端子Ｑに出力する。フリップフロップ１３００（１）の入力端子Ｄに入力された信号の負論理値を、フリップフロップ１３００（１）の反転出力端子／Ｑに出力する。第２番目のビットのフリップフロップ１３００（２）は、第１番目のビットのフリップフロップ１３００（１）の反転出力端子／Ｑから出力される信号の立ち上がりエッジに同期して、以下のように動作する。即ち、フリップフロップ１３００（２）の入力端子Ｄに入力された信号の正論理値を、フリップフロップ１３００（２）の出力端子Ｑに出力する。フリップフロップ１３００（２）の入力端子Ｄに入力された信号の負論理値を、フリップフロップ１３００（２）の反転出力端子／Ｑに出力する。第３番目のビットのフリップフロップ１３００（３）は、第２番目のビットのフリップフロップ１３００（２）の反転出力端子／Ｑから出力される信号の立ち上がりエッジに同期して、以下のように動作する。即ち、フリップフロップ１３００（３）の入力端子Ｄに入力された信号の正論理値を、フリップフロップ１３００（３）の出力端子Ｑに出力する。フリップフロップ１３００（３）の入力端子Ｄに入力された信号の負論理値を、フリップフロップ１３００（３）の反転出力端子／Ｑに出力する。このように、図１３に示すカウンタ１０４Ｄは、非同期式カウンタとして動作し得る。
【０１３２】
この後、黒画像の露光が以下のようにして行われる。制御部６０６は、カウンタ１０４Ｄにダウンカウントを実行させるべく、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬを１（Ｈレベル）にする。また、制御部６０６は、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴを２とする。アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＨレベルに設定されるため、以下のようになる。フリップフロップ１３００（０）の出力端子Ｑから出力される信号が、カウント方式制御部１３０１（１）から出力される。また、フリップフロップ１３００（１）の出力端子Ｑから出力される信号が、カウント方式制御部１３０１（２）から出力される。また、フリップフロップ１３００（２）の出力端子Ｑから出力される信号が、カウント方式制御部１３０１（３）から出力される。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴが２に設定されるため、以下のようになる。第０番目のビットのフリップフロップ１３００（０）のクロック入力端子には、０（Ｌレベル）の信号が供給される。第１番目のビットのフリップフロップ１３００（１）のクロック入力端子には、パルス信号ＰＵＬＳＥが供給される。第２番目のビットのフリップフロップ１３００（２）のクロック入力端子には、第１番目のビットのフリップフロップ１３００（１）の出力端子Ｑから出力される信号が供給される。第３番目のビットのフリップフロップ１３００（３）のクロック入力端子には、第２番目のビットのフリップフロップ１３００（２）の出力端子Ｑから出力される信号が供給される。従って、黒画像の露光期間においては、カウント値ＣＮＴが２つずつ減少する。
【０１３３】
全ての撮像処理が完了した際には、制御部６０６から供給される信号に基づいて、カウンタ１０４Ｄがリセットされる。カウンタ１０４Ｄをリセットする際には、リセット信号ＣＬＲがＨレベルに設定される。リセット信号ＣＬＲをＨレベルにすると、各々のフリップフロップ１３００の出力端子ＱがＬレベルとなる。
【０１３４】
このように、非同期式カウンタによってカウンタ１０４Ｄを構成するようにしてもよい。非同期式カウンタによって構成されたカウンタ１０４Ｄは、半加算器や全加算器のような加算用演算器を要しないため、更なるコストの削減に寄与し得る。
【０１３５】
このように、本実施形態によれば、パルス信号ＰＵＬＳＥの重みを変更しつつアップダウンカウントを行うことができる。このため、本実施形態によれば、フレームメモリを用いることなく黒引き画像を得ることができる。
【０１３６】
［第４実施形態］
第４実施形態による固体撮像素子及びその制御方法並びに撮像装置について図１４を用いて説明する。図１乃至図１３に示す第１乃至第３実施形態による固体撮像素子等と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
【０１３７】
本実施形態による固体撮像素子は、ＨＤＲ画像を取得するものである。本実施形態では、加算平均合成によってＨＤＲ画像を取得する場合を例に説明する。
【０１３８】
図１４は、本実施形態による固体撮像素子６００の単位画素１００に備えられたカウンタを示す図である。図１４に示すカウンタ１０４Ｅは、アップカウンタ１４００が備えられている点で、図１０に示す第３実施形態によるカウンタ１０４Ｃと相違している。図１４に示すカウンタ１０４Ｅには、アップダウンカウンタ１０００（図１０参照）は備えられていない。また、図１４に示すカウンタ１０４Ｅには、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬが入力されない。
【０１３９】
一般に、低露出で撮像を行うと黒潰れが生じやすく、高露出で撮像を行うと白飛びが生じやすい。黒潰れが生じた場合にも、白飛びが生じた場合にも、被写体の本来の色情報が失われやすい。露出の異なる複数の画像を加算平均するようにすれば、色情報が失われるのを防止することが可能である。しかし、複数の画像を単純に加算した場合には、画素値が大きくなりすぎ、画素値の飽和を招いてしまう。画素値の飽和を防止するため、複数の画像の各々の露出は低めに設定される。例えば、２つの画像を合成する場合には、適正露出よりも１段低い露出でそれぞれの画像が撮影される。本実施形態では、露出を低くする代わりに、カウントの重みが変更される。具体的には、パルス信号ＰＵＬＳＥが入力されるビットを下位のビットにずらすことによって、カウントの重みが変更される。
【０１４０】
本実施形態においては、合成に用いられる複数の画像信号の取得の際におけるカウントの重みが、合成に用いられる複数の画像信号の数に応じて設定される。例えば、２つの画像を合成する場合には、カウントの重みが１／２に設定される。そして、光子の受光頻度に応じた頻度でセンサ部から発せられる信号の数をカウントすることにより、複数の画像信号が順次取得される。
【０１４１】
このように、本実施形態によれば、カウントの重みを変更することができる。このため、本実施形態によれば、フレームメモリを要することなく、複数の画像が加算平均された画像、即ち、ＨＤＲ画像を取得することができる。
【０１４２】
［変形実施形態］
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【０１４３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１４４】
１００  単位画素
１０１  アバランシェフォトダイオード
１０２  クエンチ抵抗
１０３  波形整形部
１０４  カウンタ
２０２  ゲイン設定部
２０３  符号反転部
２０４  初期値選択部
【図１】
2019186793.tif 000003
【図２】
2019186793.tif 000004
【図３】
2019186793.tif 000005
【図４】
2019186793.tif 000006
【図５】
2019186793.tif 000007
【図６】
2019186793.tif 000008
【図７】
2019186793.tif 000009
【図８】
2019186793.tif 000010
【図９】
2019186793.tif 000011
【図１０】
2019186793.tif 000012
【図１１】
2019186793.tif 000013
【図１２】
2019186793.tif 000014
【図１３】
2019186793.tif 000015
【図１４】
2019186793.tif 000016