(57)【要約】【課題】  電子シャッタ機能による動被写体撮影時のジャーキネス等による画質劣化を、低消費電力で低減する【解決手段】  撮像装置１０では、受光部１が受光した光信号に対応した電荷量のアナログ信号がＡＤ変換部２に供給されてディジタル信号に変換される。増幅部３において、所定の増幅率で、ＡＤ変換部２で得られたディジタル信号を増幅し、増幅信号を、加算部４に供給する。加算部４は、増幅部３からの増幅信号とメモリ部５から読み出される所定の加算信号とを加算する。これにより、１フィールド期間に複数回撮像された画像信号の畳み込み積分が実行される。撮像装置１０は、１チップのＣＭＯＳ上に構成されている。本発明は、例えば、動画や静止画を撮像する撮像装置に適用できる。【選択図】図２
2005080028.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し、画像信号を出力する撮像装置において、
前記被写体からの光信号を光電変換する光電変換手段と、
前記光電変換手段を、前記画像信号の垂直同期信号の周期よりも短い周期で駆動する駆動手段と、
前記駆動手段によって駆動される前記光電変換手段が出力する画素の信号を増幅する増幅手段と、
前記増幅手段が出力する信号と、所定の信号とを加算する加算手段と、
前記加算手段が出力する信号を記憶し、前記所定の信号として、前記加算手段に出力する記憶手段と
が、１チップの半導体チップ上に形成されている
ことを特徴とする撮像装置。
【請求項２】
前記加算手段は、前記垂直同期信号の周期の期間、前記増幅手段が出力する信号と、前記記憶手段が出力する前記所定の信号とを加算する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記増幅手段が前記画素の信号を増幅するときの増幅率を制御する制御手段をさらに備える
ことを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、例えば、１チップの半導体チップにおいて画像処理を行うことができるようにした撮像装置に関する。
【背景技術】
【０００２】
例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補性金属酸化膜半導体）などの半導体製造技術を用いた固体撮像素子においては、電子シャッタによって、固体撮像素子に蓄積される電荷の蓄積時間を電子的に制御し、１フィールド時間（または１フレーム時間）よりも短い露光時間で、画像を撮像することが可能である。この電子シャッタ機能は、光量オーバーにより電荷の飽和が起きるのを抑制したり、高速に動く被写体を鮮明に撮像するために用いられている。
【０００３】
図１は、従来のビデオカメラの電子シャッタ機能を説明するタイミングチャートである。図１においては、ビデオの垂直同期信号ＶＤ、水平同期信号ＨＤ、基板クロックＳＵＢ、読出し信号ＲＤ、および固体撮像素子の受光素子を構成するフォトダイオードに蓄積される電荷（量）ＰＤ１それぞれの関係を示している。
【０００４】
垂直同期信号ＶＤおよび水平同期信号ＨＤは、いずれも固体撮像素子の外部から固体撮像素子に入力される同期信号である。また、基板クロックＳＵＢは、電子シャッタのタイミングを表す信号で、水平同期期間内に固体撮像素子の外部から固体撮像素子に入力される。読出し信号ＲＤは、固体撮像素子に蓄積された電荷ＰＤ１を読み出すための信号で、垂直同期期間内に固体撮像素子の外部から固体撮像素子に入力される。電荷ＰＤ１は、固体撮像素子を構成する受光素子であるフォトダイオードの電荷（量）を表している。電荷ＰＤ１は、固体撮像素子における受光量に対応して増加し、基板クロックＳＵＢに同期して、固体撮像素子が配置されている基板上に抜き取られる（捨てられる）。さらに、電荷ＰＤ１は、読出し信号ＲＤに同期して、信号線に出力される。
【０００５】
この信号線上に出力された電荷ＰＤ１が、固体撮像素子を構成する各受光素子としての画素の画素値として出力される。
【０００６】
ビデオカメラにおいては、１フィールド期間中の最後の基板クロックＳＵＢが供給された時点から、受光素子に電荷ＰＤ１の蓄積が開始される。１フィールド期間が終了する時点で読出し信号ＲＤが固体撮像素子に供給され、これにより、それまでに受光素子に蓄積された電荷ＰＤ１が、受光素子から読み出され、信号線に出力される。なお、図１において、１フィールド期間中の最後の基板クロックＳＵＢが供給され、電荷ＰＤ１の蓄積が開始されたタイミングから、その電荷ＰＤ１が読出し信号ＲＤにより信号線に出力されるタイミングまでの時間が露光時間である。
【０００７】
電子シャッタ機能は、基板クロックＳＵＢのタイミングによって露光時間を制御するものである。即ち、例えば、露光時間を長く（低速度シャッタ）したい場合には、基板クロックＳＵＢの本数（パルス数）を少なくする。一方、露光時間を短く（高速度シャッタ）したい場合には、基板クロックＳＵＢの本数を多くする。
【０００８】
一方、特許文献１には、光量不足を解消するため複数のフレームを加算し、フレーム周期よりも長時間の露光時間を可能とするスチルカメラが記載されている。
【０００９】
【特許文献１】特開平６−２９６２４６号公報。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
従来のビデオカメラの電子シャッタ機能によれば、露光時間を短くして、高速に動く被写体である動被写体の形状を１コマづつ鮮明に捕らえ、撮像することが可能である。しかしながら、露光時間を短くして、動画像が撮影された場合、その画像には、被写体が離散的に表示されるジャーキネスと呼ばれる画質劣化が生じる。
【００１１】
また、従来のビデオカメラの電子シャッタ機能は、露光時間の長さを変化させるだけであり、高速に動く被写体が鮮明に写しだされ、なおかつ尾を引いたようなブレが重なるような画像表現を実現することはできなかった。
【００１２】
そこで、ビデオカメラが出力する画像を、外部の装置で信号処理をすることにより、特殊効果を与えた画像を得る方法があるが、この方法では、装置が大規模なものとなる。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、ジャーキネス等による画質劣化の改善、さらには特殊効果の付与を、装置を大規模化することなく行うことができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の撮像装置は、被写体からの光信号を光電変換する光電変換手段と、光電変換手段を、画像信号の垂直同期信号の周期よりも短い周期で駆動する駆動手段と、駆動手段によって駆動される光電変換手段が出力する画素の信号を増幅する増幅手段と、増幅手段が出力する信号と、所定の信号とを加算する加算手段と、加算手段が出力する信号を記憶し、所定の信号として、加算手段に出力する記憶手段とが、１チップの半導体チップ上に形成されていることを特徴とする。
【００１５】
本発明の撮像装置においては、被写体からの光信号を光電変換する光電変換手段と、光電変換手段を、画像信号の垂直同期信号の周期よりも短い周期で駆動する駆動手段と、駆動手段によって駆動される光電変換手段が出力する画素の信号を増幅する増幅手段と、増幅手段が出力する信号と、所定の信号とを加算する加算手段と、加算手段が出力する信号を記憶し、所定の信号として、加算手段に出力する記憶手段とが、１チップの半導体チップ上に形成されている。
【発明の効果】
【００１６】
本発明によれば、ジャーキネス等による画質劣化の改善、さらには特殊効果の付与を、装置を大規模化することなく行うことができる。
【発明を実施するための最良の形態】
【００１７】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、実施の形態との対応関係を例示すると、次のようになる。明細書には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００１８】
さらに、この記載は、明細書に記載されている発明が、全て請求されていることを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出願したり、追加される発明の存在を否定するものではない。
【００１９】
請求項１に記載の撮像装置は、被写体を撮像し、画像信号を出力する撮像装置（例えば、図２の撮像装置１０）において、被写体からの光信号を光電変換する光電変換手段（例えば、図２の受光部１）と、光電変換手段を、画像信号の垂直同期信号の周期よりも短い周期で駆動する駆動手段（例えば、図２の駆動部８）と、駆動手段によって駆動される光電変換手段が出力する画素の信号を増幅する増幅手段（例えば、図２の増幅部３）と、増幅手段が出力する信号と、所定の信号とを加算する加算手段（例えば、図２の加算部４）と、加算手段が出力する信号を記憶し、所定の信号として、加算手段に出力する記憶手段（例えば、図２のメモリ部５）とが、１チップの半導体チップ上に形成されていることを特徴とする。
【００２０】
請求項３に記載の撮像装置は、増幅手段が画素の信号を増幅するときの増幅率を制御する制御手段（例えば、図２の制御部７）をさらに備えることを特徴とする。
【００２１】
以下、本発明の実施の形態について説明する。
【００２２】
図２は、本発明を適用した撮像装置（固体撮像素子）の一実施の形態の構成例を示すブロック図である。
【００２３】
撮像装置１０は、受光部１、ＡＤ（Analog Digital）変換部２、増幅部３、加算部４、メモリ部５、出力部６、制御部７、駆動部８、およびカメラコントローラ９から構成され、これらの受光部１乃至カメラコントローラ９は、１チップの半導体チップとしての、例えば、ＣＭＯＳ上に形成されている。撮像装置１０は、１フィールド期間に複数回の高速撮像を行い、その複数回の撮像結果を、画素毎に積和処理を行った結果を出力する。
【００２４】
受光部１には、被写体からの光信号と、駆動部８から供給される駆動信号が供給され、受光部１は、被写体からの光信号を受光し、その受光量に応じた電荷を蓄積する光電変換を行う。そして、受光部１は、駆動部８から供給される駆動信号に同期して、蓄積された電荷により生じるアナログ信号としての電流をＡＤ変換部２に供給する。なお、受光部１は、例えば、画素としての複数の受光素子が縦横に規則正しく配列されて構成されている。受光素子としては、例えば、フォトダイオードを採用することができる。
【００２５】
ＡＤ変換部２は、受光部１から供給された電流に対応するアナログ信号を、ディジタル信号に変換し、増幅部３に供給する。
【００２６】
増幅部３には、ＡＤ変換部２からディジタル信号が供給される他、制御部７から制御信号が供給される。増幅部３は、制御部７から供給された制御信号に基づきＡＤ変換部２から供給されたディジタル信号を増幅し、その結果得られる増幅信号を加算部４に供給する。
【００２７】
加算部４には、増幅部３から増幅信号が供給される他、メモリ部５から加算信号が、制御部７から制御信号が、それぞれ供給される。加算部４は、増幅部３から供給される増幅信号とメモリ部５から供給される加算信号とを加算することにより、受光部１が出力する信号を時間方向に移動加算する。また、加算部４は、その加算の結果得られる加算信号を、メモリ部５に出力するか、または、出力部６に出力するかを、制御部７から供給される制御信号に基づいて決定し、その決定した方に、加算信号を出力する。
【００２８】
メモリ部５は、制御部７から供給される制御信号に基づき、加算部４から供給される加算信号を一時的に記憶（書き込み）し、また、記憶された加算信号を加算部４に供給（読出し）する。また、メモリ部５は、制御部７からの制御信号に基づき、その記憶内容をリセット(クリア)する。なお、メモリ部５としては、１フィールド（またはフレーム）分の信号を記憶するフレームメモリを採用することができる。
【００２９】
出力部６は、加算部４から供給される加算信号としての画像信号を出力する。
【００３０】
ここで、加算部４では、上述のように、増幅部３からの増幅信号と、メモリ部５の記憶値との加算が繰り返し行われる。従って、増幅部３、加算部４、メモリ部５は、ＦＩＲ（Finite Inpulse Response）型のディジタルフィルタを構成しており、ＡＤ変換部２が出力する信号のフィルタリング処理を、増幅部３における増幅率をいわゆるタップ係数として行う。
【００３１】
制御部７は、カメラコントローラ９から供給された制御信号に基づき、増幅部３、加算部４、および、メモリ部５それぞれに供給する制御信号を生成し、増幅部３、加算部４、および、メモリ部５それぞれに供給する。
【００３２】
駆動部８は、カメラコントローラ９から供給される制御信号に基づき、駆動信号を受光部１に供給し、これにより、受光部１を駆動する。
【００３３】
カメラコントローラ９は、図示せぬＭＰＵ（Micro Processing Unit）などから構成され、例えば、ユーザが図示せぬ操作部を操作することにより入力される制御命令などにしたがい、制御信号を制御部７および駆動部８に供給する。
【００３４】
図３は、図２の撮像装置１０の動作を説明するフローチャートである。なお、図３の撮像処理は、例えば、カメラコントローラ９に、撮像を要求する制御命令が入力されると開始される。
【００３５】
ステップＳ１において、駆動部８は、カメラコントローラ９から供給される制御信号に基づき、駆動信号を受光部１に供給し、ステップＳ２に進む。
【００３６】
ステップＳ２において、受光部１は、駆動部８からの駆動信号にしたがい、そこに入射する被写体からの光信号に応じた電荷を蓄積し、その電荷に対応するアナログ信号としての電流をＡＤ変換部２に供給して、ステップＳ３に進む。
【００３７】
ステップＳ３において、ＡＤ変換部２は、受光部１から供給されたアナログ信号を、ディジタル信号に変換し、増幅部３に供給して、ステップＳ４に進む。
【００３８】
ステップＳ４において、増幅部３は、制御部７から供給される制御信号に基づき、ＡＤ変換部２にから供給されたディジタル信号を増幅し、その結果得られる増幅信号を加算部４に供給して、ステップＳ５に進む。
【００３９】
ここで、ステップＳ１乃至Ｓ４の処理は、１フィールド期間に、パイプラインで繰り返し行われる。従って、受光部１では、１フィールド期間に、複数回の撮像が行われ、増幅部３から加算部４には、その複数回の撮像によって得られる複数枚（画面）の画像信号に対応する増幅信号が、順次供給される。
【００４０】
ステップＳ５において、メモリ部５は、制御部７からの制御信号にしたがい、記憶している信号を読み出し、加算部４に供給する。ここで、メモリ部５に記憶された信号は、初期状態においてはゼロにリセットされている。さらに、ステップＳ５では、加算部４は、増幅部３から供給された増幅信号と、メモリ部５から供給された信号とを加算し、ステップＳ６に進む。
【００４１】
ここで、ステップＳ５においては、時間方向に並ぶ複数枚の画像の空間上の位置が同一の画素ごとに、メモリ部５に記憶された信号と、増幅部３から供給される増幅信号との加算が行われる。そして、ステップＳ５の処理は、後述するように繰り返し行われるが、これにより、受光部１での複数回の撮像により得られる複数枚の画像と、増幅部３における増幅率としてのタップ係数との畳み込み積分が行われる。
【００４２】
ステップＳ６において、加算部４は、ステップＳ５で得られた加算信号をメモリ部５に出力するか、または、出力部６に出力するかを、制御部７からの制御信号に基づいて判定する。
【００４３】
ここで、制御部７は、１フィールド期間に、加算部４において所定回数の加算が行われたタイミングにおいてのみ、加算部４により得られた加算信号を出力部６に出力させる制御信号を、加算部４に供給する。一方、制御部７は、他のタイミングでは、加算部４により得られた加算信号をメモリ部５に出力させる制御信号を、加算部４に供給する。
【００４４】
ステップＳ６において、加算部４は、加算信号をメモリ部５に出力すると判定した場合、ステップＳ７に進み、加算部４は、加算信号をメモリ部５に出力し、ステップＳ８に進む。
【００４５】
ステップＳ８において、メモリ部５は、制御部７から供給される制御信号に基づき、加算部４から供給される加算信号を、例えば上書きする形で書き込み（記憶し）、ステップＳ５に戻る。そして、ステップＳ５では、増幅部３から加算部４に対して新たに供給される増幅信号を対象として、上述した場合と同様の処理が行なわれ、以下、ステップＳ５乃至ステップＳ８の処理が繰り返される。
【００４６】
また、ステップＳ６において、加算部４は、加算信号を出力部６に出力すると判定した場合、ステップＳ９に進み、加算信号を出力部６に出力する。さらに、ステップＳ９では、出力部６は、加算部４から供給される加算信号としての画像信号を出力し、かつ、制御部７はメモリ部５にリセット信号を供給し、処理を終了する。
【００４７】
なお、図３のフローチャートにしたがった処理は、例えば、フィールド周期で繰り返し行われる。
【００４８】
次に、図４は、図２の撮像装置１０が、例えばカラム並列型の装置である場合の、受光部１乃至駆動部８の構成例の概要を示している。
【００４９】
受光部１は、Ｍ×Ｎ個（横にＭ個、縦にＮ個）の受光素子３１1-1乃至受光素子３１M-Nが配置されて構成されている。ＡＤ変換部２は、Ｍ個のＡＤ変換器１２１1乃至ＡＤ変換器１２１Mが配置されて構成されている。増幅部３は、Ｍ個の乗算器５１1乃至乗算器５１Mから構成されている。加算部４は、Ｍ個の加算器７１1乃至加算器７１MおよびＭ個の加算器７１1乃至加算器７１Mそれぞれに接続されたＭ個のセレクタ８１1乃至セレクタ８１Mから構成されている。メモリ部５は、Ｍ個のラインメモリ１０１1乃至ラインメモリ１０１Mから構成されている。出力部６は、水平シフトレジスタ１１１から構成されている。制御部７は、ゲイン制御部４１、演算制御部６１、およびメモリ制御部９１から構成されている。駆動部８は、垂直駆動部２１から構成されている。
【００５０】
図５は、図２の受光部１の構成例を示すブロック図である。
【００５１】
受光部１は、Ｍ×Ｎ個（横にＭ個、縦にＮ個）の受光素子３１1-1乃至受光素子３１M-Nが配置されて構成されている。受光素子３１i-j（但し、ｉ＝１・・・Ｍ、ｊ＝１・・・Ｎ）は、各列毎にＭ本の垂直信号線ＶＬ1乃至垂直信号線ＶＬMにそれぞれ接続されている。即ち、１列目の受光素子３１1-1乃至３１1-Nは垂直信号線ＶＬ1に接続されており、以下、同様にして、ｉ列目の受光素子３１i-1乃至３１i-Nは、垂直信号線ＶＬiに接続されている。さらに、受光素子３１i-jは、フォトダイオードなどの光電変換素子、電荷の掃き出しゲート、および、各垂直信号線ＶＬiへの読出しゲートなどから構成され、駆動部８の垂直駆動部２１から供給される掃き出し信号、または読出し信号により制御される。ここで、駆動部８は、垂直駆動部２１を有し、垂直駆動部２１は、駆動部８が受光部１に供給する駆動信号として、受光素子３１i-jに蓄積された電荷を掃き出し（捨てること）を指示する掃き出し信号や、その電荷の垂直信号線ＶＬi上への出力（読み出し）を指示する読み出し信号などを出力する。
【００５２】
なお、垂直駆動部２１からの駆動信号は、各行毎に、Ｍ個の受光素子３１1-j乃至３１M-jに印加される。１行に並ぶＭ個の受光素子３１1-j乃至３１M-jの電荷から生じる電流は、同時にそれぞれ接続されている垂直信号線ＶＬ1乃至垂直信号線ＶＬM上に同時に読み出され、ＡＤ変換部２を構成するＡＤ変換器１２１1乃至ＡＤ変換器１２１Mそれぞれに供給されてＡＤ変換される。受光部１の後段においては、信号処理は列並列に行われる。
【００５３】
図６は、図２の増幅部３の構成例を示すブロック図である。
【００５４】
増幅部３は、Ｍ個の乗算器５１1乃至乗算器５１Mから構成されている。乗算器５１1乃至乗算器５１Mそれぞれには、垂直信号線ＶＬ1乃至垂直信号線ＶＬMそれぞれに接続されたＡＤ変換部２を構成するＭ個のＡＤ変換器１２１1乃至ＡＤ変換器１２１Mそれぞれから供給されるディジタル信号、および、制御部７を構成するゲイン制御部４１から供給される制御信号ｇ1乃至制御信号ｇMそれぞれが入力される。乗算器５１1乃至乗算器５１Mそれぞれは、制御信号ｇ1乃至制御信号ｇMに基づき、Ｍ個のＡＤ変換器１２１1乃至ＡＤ変換器１２１Mそれぞれから供給された画素値としてのディジタル信号を増幅し、即ち、制御信号ｇ1乃至制御信号ｇMとＡＤ変換器１２１1乃至ＡＤ変換器１２１Mそれぞれから供給された画素値としてのディジタル信号とを乗算し、その乗算により得られたディジタル信号である増幅信号を、列毎に垂直信号線ＶＬ1乃至垂直信号線ＶＬMに出力して、加算部４を構成するＭ個の加算器７１1乃至加算器７１Mそれぞれに供給する。
【００５５】
ここで、増幅部３においては、ゲイン制御部４１から入力される制御信号ｇ1乃至制御信号ｇMとＡＤ変換部２から供給されたディジタル信号それぞれとの乗算が、１行毎に同時に行われる。
【００５６】
なお、制御部７は、ゲイン制御部４１を有し、ゲイン制御部４１は、垂直信号線ＶＬ1乃至垂直信号線ＶＬM上の画素値を増幅する増幅率を表す制御信号ｇ1乃至制御信号ｇMを、増幅部３に供給する。ディジタル信号を増幅する度合いである増幅率は、ディジタルフィルタにおけるタップ係数に相当する。
【００５７】
図７は、図２の加算部４の構成例を示すブロック図である。加算部４は、Ｍ個の加算器７１1乃至加算器７１MおよびＭ個の加算器７１1乃至加算器７１Mそれぞれに接続されたＭ個のセレクタ８１1乃至セレクタ８１Mから構成されている。加算器７１1乃至加算器７１Mそれぞれは、垂直信号線ＶＬ1乃至垂直信号線ＶＬMそれぞれに接続されている。加算部４においては、増幅部３から供給された増幅信号と、メモリ部５から供給される加算信号とを加算する加算演算が行毎に列並列で行われる。
【００５８】
即ち、加算器７１1乃至加算器７１Mそれぞれには、増幅部３の、垂直信号線ＶＬ1乃至垂直信号線ＶＬMそれぞれに接続されたＭ個の乗算器５１1乃至乗算器５１Mそれぞれから増幅信号が供給されるとともに、メモリ部５を構成するＭ個のラインメモリ１０１1乃至ラインメモリ１０１Mそれぞれから加算信号が供給される。加算器７１iは、乗算器５１iから供給された増幅信号と、ラインメモリ１０１iから供給された加算信号とを加算し、その加算により得られる新たな加算信号を、セレクタ８１iに供給する。
【００５９】
セレクタ８１1乃至セレクタ８１Mそれぞれには、加算器７１1乃至加算器７１Mそれぞれから加算信号が供給される他、制御部７を構成する演算制御部６１から演算制御信号ａ1乃至演算制御信号ａMそれぞれが供給される。セレクタ８１1乃至セレクタ８１Mそれぞれは、制御部７を構成する演算制御部６１から供給された演算制御信号ａ1乃至演算制御信号ａMそれぞれに基づき、加算器７１1乃至加算器７１Mそれぞれから供給された加算信号をメモリ部５または出力部６のうちいずれに出力するかを判定する。
【００６０】
なお、１フィールド期間の最後の撮像が行なわれた後の次の撮像、即ち、次の１フィールド期間の最初の撮像時に供給される演算制御信号ａiは、複数回加算された加算信号を出力部６に供給するように制御する信号である。
【００６１】
セレクタ８１iは、演算制御部６１から供給される演算制御信号ａiに基づき加算信号を出力部６に出力すると判定した場合、加算器７１iから供給された加算信号を出力部６に出力する。一方、セレクタ８１iは、演算制御部６１から供給される演算制御信号ａiに基づき加算信号をメモリ部５に供給すると判定した場合、加算器７１iから供給された加算信号をメモリ部５に出力する。
【００６２】
なお、本実施の形態においては、１フィールド期間（または１フレーム期間）に複数回の撮像、即ち、受光部１で蓄積された電荷の複数回のサンプリング（以下、適宜、サブサンプリングと称する）が行われる。セレクタ８１iは、次の１フィールド期間における第１のサブサンプリング期間、即ち、次の１フィールド期間の最初のサブサンプリング（電荷の蓄積）が行われるサブサンプリング期間において加算器７１iから供給される加算信号を、出力部６に供給する。一方、第１のサブサンプリング期間以外のサブサンプリング期間においては、セレクタ８１iは、加算器７１iからの加算信号をメモリ部５に供給する。メモリ部５に供給された加算信号は、所定の信号としての加算信号として、次の増幅信号との加算演算に用いられる。
【００６３】
図８は、図２のメモリ部５の構成例を示すブロック図である。
【００６４】
メモリ部５は、Ｍ個のラインメモリ１０１1乃至ラインメモリ１０１Mから構成されている。ラインメモリ１０１1乃至ラインメモリ１０１Mそれぞれは、加算部４（図７）を構成する加算器７１1乃至加算器７１Mおよびセレクタ８１1乃至セレクタ８１Mに接続されている。ラインメモリ１０１1乃至ラインメモリ１０１Mそれぞれには、加算部４を構成するセレクタ８１1乃至セレクタ８１Mそれぞれから加算信号が供給されるとともに、制御部７を構成するメモリ制御部９１から制御信号が供給される。ラインメモリ１０１1乃至ラインメモリ１０１Mそれぞれにおいては、メモリ制御部９１から供給される制御信号に基づき、セレクタ８１1乃至セレクタ８１Mそれぞれから供給される加算信号の書き込み、記憶している加算信号の読出し、または、記憶内容のリセットが行われる。
【００６５】
なお、メモリ制御部９１から供給される制御信号は、書き込み信号、読出し信号、およびリセット信号のいずれかであり、メモリ制御部９１は、例えば、カメラコントローラ９から供給される制御信号に基づき、書き込み信号、読出し信号、またはリセット信号をラインメモリ１０１iに供給する。
【００６６】
メモリ制御部９１から供給される書き込み信号は、ラインメモリ１０１1乃至ラインメモリ１０１Mそれぞれに対して、それぞれに記憶されている加算信号を、セレクタ８１1乃至セレクタ８１Mそれぞれから供給される加算信号に書き換えて記憶させる制御信号である。メモリ制御部９１から書き込み信号が供給されると、ラインメモリ１０１1乃至ラインメモリ１０１Mそれぞれは、記憶している加算信号を、加算部４のセレクタ８１1乃至セレクタ８１Mから供給される加算信号に書き換える。
【００６７】
メモリ制御部９１から供給される読出し信号は、ラインメモリ１０１1乃至ラインメモリ１０１Mそれぞれに記憶されている加算信号を読み出し、加算部４の加算器７１1乃至加算器７１Mそれぞれに供給させる制御信号である。メモリ制御部９１から読出し信号が供給されると、ラインメモリ１０１1乃至ラインメモリ１０１Mそれぞれは、記憶している加算信号を、加算部４の加算器７１1乃至加算器７１Mそれぞれに供給する。
【００６８】
メモリ制御部９１から供給されるリセット信号は、ラインメモリ１０１1乃至ラインメモリ１０１Mそれぞれに記憶されている加算信号をクリアさせる制御信号である。メモリ制御部９１からリセット信号が供給されると、ラインメモリ１０１1乃至ラインメモリ１０１Mそれぞれは、記憶している加算信号をゼロにクリアする。
【００６９】
図９は、図８のラインメモリ１０１1の構成例を示すブロック図である。ラインメモリ１０１1は、図４の垂直信号線ＶＬ1に接続されている１列のＮ個の受光素子３１1-1乃至受光素子３１1-Nそれぞれに対応した記憶領域１０２1乃至記憶領域１０２Nから構成されている。記憶領域１０２1乃至記憶領域１０２Nそれぞれは、図７の加算器７１1およびセレクタ８１1と接続されている。記憶領域１０２1乃至記憶領域１０２Nそれぞれには、垂直信号線ＶＬ1に接続されたＮ個の受光素子３１1-1乃至受光素子３１1-Nが出力する画素値としての信号に対して行われる一連の処理結果であるＮ個の加算信号それぞれがセレクタ８１1から入力される。記憶領域１０２1乃至記憶領域１０２Nそれぞれにおいては、図８のメモリ制御部９１から供給される制御信号に基づき、加算信号の書き込み、読出し、または、リセットが行われる。
【００７０】
なお、他のラインメモリ１０１2乃至ラインメモリ１０１Mも、図８の１０１1と同様に構成される。
【００７１】
図１０は、図２の出力部６の構成例を示すブロック図である。
【００７２】
出力部６は、水平シフトレジスタ１１１から構成されている。水平シフトレジスタ１１１には、行毎に処理されたＭ個の加算信号が、加算部４から同時に供給され、水平シフトレジスタ１１１は、Ｍ個の加算信号を一水平ラインの画像信号として高速に水平転送して出力する。
【００７３】
図１１は、図２および図４に示した撮像装置１０の動作を説明するタイミングチャートである。
【００７４】
図１１においては、ビデオの垂直同期信号ＶＤ、受光部１の受光素子３１1-1乃至受光素子３１M-Nを構成するフォトダイオードに蓄積される電荷（量）ＰＤ２、制御部７から増幅部３に供給される増幅率Ｇ、メモリ部５に記憶されている加算信号Ｍｅｍ、および、出力部６が出力する画素値としての出力信号Ｏｕｔｐｕｔそれぞれの関係を示している。
【００７５】
撮像装置１０は、垂直同期信号ＶＤの周期よりも短い周期で、画像を、複数回、高速撮像し、その結果得られる複数枚の画像の信号を処理することにより、１枚、即ち、垂直同期信号ＶＤに対応するフィールドの画像信号を得て出力する。なお、撮像装置１０の、垂直同期信号ＶＤの周期内での最大撮像回数は、撮像装置１０における受光部１の高速駆動性能と、増幅部３および加算部４の演算性能等によって制限される。図１１においては、撮像装置１０が、１フィールド期間内に、例えば８回の撮像を行うものとし、ある１画素に注目して、撮像装置１０の動作を説明する。
【００７６】
垂直同期信号ＶＤは、カメラコントローラ９から駆動部８に供給される制御信号の１つで、駆動部８は、この垂直同期信号ＶＤにしたがい、その周期よりも短い周期で受光部１を駆動することにより、受光部１に高速撮像を行わせる。
【００７７】
電荷ＰＤ２は、受光部１に蓄積される電荷を表す。受光部１に蓄積された電荷ＰＤ２は、駆動部８から受光部１に掃き出し信号が印加されると、図示せぬ基板に抜き取られ、駆動部８から受光部１に読出し信号が印加されると垂直信号線ＶＬiに読み出される。
【００７８】
ここで、撮像装置１０では、１フィールド期間内に複数回の撮像を行なうために、１フィールド期間が、その撮像回数と同一の数の期間に区分されている。この期間を、サブサンプリング期間という。ここでは、１フィールド期間内に８回の撮像が行なわれるため、１フィールド期間は、８つのサブサンプリング期間に区分けされている。８つのサブサンプリング期間それぞれにおける露光期間Ｅ１乃至露光期間Ｅ８は、駆動部８から受光部１への掃き出し信号により（電子シャッタ機能により）電荷ＰＤ２がリセットされてから、駆動部８から受光部１への読出し信号により垂直信号線ＶＬiに電荷ＰＤ２が読み出されるまでの時間である。
【００７９】
増幅率Ｇは、制御部７から増幅部３に供給される増幅率を表している。図１１においては、いわゆる三角フィルタを用いたフィルタリング処理を行う場合の各画素値に乗算される増幅率を示している。なお、本実施の形態においては、増幅率Ｇは、制御部７において発生される。
【００８０】
加算信号Ｍｅｍは、ある１画素について、メモリ部５に記憶される加算信号を示している。
【００８１】
出力信号Ｏｕｔｐｕｔは、撮像装置１０が出力する、１フィールドの画像のある１画素の画素値である。
【００８２】
撮像装置１０では、１フィールド期間の１番目のサブサンプリング期間である第１のサブサンプリング期間において、第１の露光期間Ｅ１における撮像が行われるとともに、メモリ部５に記憶されている加算信号Ｍｅｍがリセットされる。第１の露光期間Ｅ１では、受光部１は、電荷量Ｉ１の電荷ＰＤ２を、第１の撮像信号として蓄積する。
【００８３】
２番目のサブサンプリング期間である第２のサブサンプリング期間において、第２の露光期間Ｅ２における撮像が行われる。また、第１のサブサンプリング期間において撮像された第１の撮像信号である電荷量Ｉ１の電荷ＰＤ２が、第１の露光期間Ｅ１の終わりに、駆動部８から受光部１に印加される読出し信号によって垂直信号線ＶＬi上に読み出される。垂直信号線ＶＬi上に読み出された第１の撮像信号である電荷量Ｉ１の電荷ＰＤ２は、ＡＤ変換部２に供給され、ＡＤ変換部２において、ディジタル信号（以下、適宜、第１のディジタル信号という）に変換される。
【００８４】
第１の露光期間Ｅ１の終了後の所定の時間である期間Ｐ１において、ＡＤ変換部２は、第１のディジタル信号を、増幅部３に供給する。さらに、期間Ｐ１では、増幅部３は、ＡＤ変換部２から供給された第１のディジタル信号Ｉ１と増幅率Ｇとを乗算し、その乗算の結果得られる増幅信号Ｉ１×Ｇ（以下、適宜、第１の増幅信号という）を加算部４へ供給する。
【００８５】
一方、メモリ部５は、第１のサブサンプリング期間においてリセットされて、何もストアされていない状態、即ち、ゼロとなっている。期間Ｐ１において、加算部４は、増幅部３から供給された第１の増幅信号Ｉ１×Ｇと、メモリ部５にストアされている情報、即ち、ゼロとを加算する。加算部４は、その加算結果Ｉ１×Ｇを、第１の加算信号Ｍ１としてメモリ部５に供給して記憶させる。
【００８６】
３番目のサブサンプリング期間である第３のサブサンプリング期間において、第３の露光期間Ｅ３における撮像が行われる。また、第２のサブサンプリング期間において撮像された第２の撮像信号である電荷量Ｉ２の電荷ＰＤ２が、第２の露光期間Ｅ２の終わりに、駆動部８から受光部１に印加される読出し信号によって垂直信号線ＶＬi上に読み出される。垂直信号線ＶＬi上に読み出された第２の撮像信号である電荷量Ｉ２の電荷ＰＤ２は、ＡＤ変換部２に供給され、ＡＤ変換部２において、ディジタル信号（以下、適宜、第２のディジタル信号という）に変換される。
【００８７】
第２の露光期間Ｅ２の終了後の所定の時間である期間Ｐ２において、ＡＤ変換部２は、第２のディジタル信号を、増幅部３に供給する。さらに、期間Ｐ２では、増幅部３は、ＡＤ変換部２から供給された第２のディジタル信号Ｉ２と増幅率Ｇとを乗算し、その乗算の結果得られる増幅信号Ｉ２×Ｇ（以下、適宜、第２の増幅信号という）を加算部４へ供給する。
【００８８】
一方、メモリ部５には、加算信号Ｍｅｍとして、期間Ｐ１で求められた第１の加算信号Ｉ１×ＧであるＭ１がストアされている。期間Ｐ２において、加算部４は、増幅部３から供給された第２の増幅信号Ｉ２×Ｇと、メモリ部５にストアされている情報、即ち、第１の加算信号Ｍ１＝Ｉ１×Ｇとを加算する。加算部４は、その加算結果Ｍ１＋（Ｉ２×Ｇ）を、第２の加算信号Ｍ２として、メモリ部５に供給して記憶させる。
【００８９】
以下同様にして、各サブサンプリング期間において、上述した処理と同様の処理が、１フィールド期間内の最後のサブサンプリング期間（本実施の形態においては、８番目のサブサンプリング期間である第８のサブサンプリング期間）まで行われる。最後の（第８の）露光期間Ｅ８に得られた撮像信号の処理は、その第８の露光期間Ｅ８の終了後、即ち、次の１フィールド期間の第１のサブサンプリング期間内に行われる。即ち、増幅部３は、第８の露光期間Ｅ８に得られた電荷量Ｉ８の第８の撮像信号と、増幅率Ｇとを乗算し、増幅信号Ｉ８×Ｇを求めて、加算部４に供給する。加算部４は、その増幅信号Ｉ８×Ｇと、メモリ部５に記憶されている値Ｍ７とを加算し、加算信号Ｍ７＋Ｉ８×Ｇを求める。そして、加算部４は、出力信号Ｏｕｔｐｕｔに示されるように、加算信号Ｍ７＋Ｉ８×Ｇを、制御部７から与えられる制御信号にしたがい、出力部６に供給する。出力部６は、１フィールド期間の最初のサブサンプリング期間において、加算信号Ｍ７＋Ｉ８×Ｇを、前の１フィールド期間における画像の画素値として、撮像装置１０の外部に出力する。この画素値は、各サブサンプリング期間における撮像信号と、増幅率Ｇとの畳み込み積分、即ち、各サブサンプリング期間における受光部１の出力信号の、増幅率Ｇをタップ係数とするＦＩＲフィルタによるフィルタリング処理結果になっている。
【００９０】
図１２は、撮像装置１０におけるフィルタリング処理に用いるタップ係数としての増幅率Ｇの例を示す図である。
【００９１】
図１２は、横軸を時間（サブサンプリング期間）として、１フィールド期間の８つのサブサンプリング期間それぞれにおいて得られる、ある位置の画素の画素値と、その画素値に乗算されるタップ係数（増幅率Ｇ）とを示している。
【００９２】
サンプル値ＳＡＭＰＬＥは、受光部１が１フィールド期間の８つのサブサンプリング期間それぞれにおいて出力する信号、即ち、ある位置の画素の画素値を示している。
【００９３】
タップ係数ＢＯＸは、矩形フィルタを構成する同一の値のタップ係数である。タップ係数ＢＯＸは、従来の電子シャッタと等価な矩形フィルタを構成する。但し、タップ係数ＢＯＸによれば、矩形フィルタの位相（位相特性）を変更することができる。即ち、従来の電子シャッタは、露光期間の終了タイミングが決められているため、露光期間の開始時タイミングを変更することのみが可能であったが、タップ係数ＢＯＸによれば、露光期間の開始タイミングおよび終了タイミングの両方を変更することができる。
【００９４】
タップ係数ＴＥＮＴは、三角フィルタを構成するタップ係数であり、タップ係数ＧＡＵＳＳは、ガウシャンフィルタを構成するタップ係数である。タップ係数ＴＥＮＴやＧＡＵＳＳで構成されるフィルタは、矩形フィルタに比べて周波数応答が緩やかであるため、例えば、ジャーキネスの発生等を軽減することが出来る。
【００９５】
タップ係数ＣＯＭＢは、櫛型フィルタを構成するタップ係数であり、１フィールド期間に高速に移動する被写体を離散的に複数回写し込むような特殊な画像を表現することができる。タップ係数ＣＯＭＢによれば、例えば、ゴルフのスイングなどを撮影した場合に、連続的に運動するクラブの軌跡が分解写真のように離散的に表示された画像を得ることができる。なお、タップ係数ＣＯＭＢは、動画撮影だけでなく、静止画像撮影においても有用である。
【００９６】
タップ係数ＣＯＭＥＴは、例えば、高速に移動する被写体を鮮明に写しながら、尾を引くようなブレを加えるような特殊な画像を表現することができるフィルタを構成する。なお、タップ係数ＣＯＭＥＴは、動画撮影だけでなく、静止画像撮影においても有用である。
【００９７】
以上のように、撮像装置１０によれば、画像信号の垂直同期信号の周期よりも短い複数のサブサンプリング期間それぞれにおいて画像信号を撮像し、フィルタリング処理を行なって、１フィールドの画像を得る処理が、ＣＭＯＳのような１チップの半導体チップ上で行なわれるので、処理速度が高まり、消費電力も低減することができる。したがって、電子シャッタ機能による動被写体撮影時のジャーキネス等による画質劣化の低減や、特殊効果の付与を、低消費電力で実現することができる。
【００９８】
なお、増幅部３、加算部４、メモリ部５で構成するフィルタは、上述したものに限定されるものではない。また、制御部７から増幅部３に与えるタップ係数としての増幅率Ｇは、制御部７にあらかじめ設定しておくこともできるし、外部から与えることもできる。また、タップ係数としての増幅率Ｇは、あらかじめ複数種類用意しておき、使用するものを、ユーザに選択させることができる。
【００９９】
さらに、撮像装置１０は、動画像、および静止画像のいずれの撮影を行うことも可能である。
【０１００】
また、本実施の形態においては、信号処理は列並列に行われるものとしたが、その他、信号処理が行並列に行われる構成を採用することができる。
【０１０１】
さらに、本実施の形態においては、１フィールド期間に８回のサブサンプリングが行われるが、サブサンプリングの回数は、これに限定されるものではない。また、サブサンプリングの回数は、撮像装置１０の外部から設定することができる。
【０１０２】
また、本実施の形態においては、複数のサブサンプリングが行われた結果得られる１画素の画素値についての畳み込み積分は、フィールド単位で実行されることとしたが、フレーム単位で実行されてもよい。
【図面の簡単な説明】
【０１０３】
【図１】従来の電子シャッタ機能を説明するタイミングチャートである。
【図２】本発明を適用した撮像装置の一実施の形態の構成例を示すブロック図である。
【図３】図２の撮像装置１０の動作を説明するフローチャートである。
【図４】図２の撮像装置１０のカラム系列型の構成例を示す図である。
【図５】受光部１の構成例を示すブロック図である。
【図６】増幅部３の構成例を示すブロック図である。
【図７】加算部４の構成例を示すブロック図である。
【図８】メモリ部５の構成例を示すブロック図である。
【図９】ラインメモリ１０１1のブロック構成例を示す図である。
【図１０】出力部６の構成例を示すブロック図である。
【図１１】図２の撮像装置１０の動作を説明するタイミングチャートである。
【図１２】撮像装置１０におけるフィルタリング処理に用いるタップ係数としての増幅率Ｇの例を示す図である。
【符号の説明】
【０１０４】
１  受光部，  ２  ＡＤ変換部，  ３  増幅部，  ４  加算部，  ５  メモリ部，  ６  出力部，  ７  制御部，  ８  駆動部，  ９  カメラコントローラ，  １０  撮像装置，  １１  撮像装置，  ２１  垂直駆動部，  ３１1-1乃至３１M-N  受光素子，  ４１  ゲイン制御部，  ５１1乃至５１M  乗算器，  ６１  演算制御部，  ７１1乃至７１M  加算器，  ８１1乃至８１M  セレクタ，  ９１  メモリ制御部，  １０１1乃至１０１M  ラインメモリ，  １０２1乃至１０２N  記憶領域，  １１１  水平シフトレジスタ，  １２１1乃至１２１N  ＡＤ変換器
【図１】
2005080028.tif 000003
【図２】
2005080028.tif 000004
【図３】
2005080028.tif 000005
【図４】
2005080028.tif 000006
【図５】
2005080028.tif 000007
【図６】
2005080028.tif 000008
【図７】
2005080028.tif 000009
【図８】
2005080028.tif 000010
【図９】
2005080028.tif 000011
【図１０】
2005080028.tif 000012
【図１１】
2005080028.tif 000013
【図１２】
2005080028.tif 000014