(57)【要約】【課題】  複数の画像を合成する処理を行わなくても、残像効果を付与した動画像を容易に取得する。【解決手段】  入射光に応じた信号電荷を生成し蓄積する光電変換部と、信号電荷の容量比が予め設定され、それぞれが並列に接続される第１及び第２の電荷電圧変換部と、を有する画素を備えた撮像素子と、第１の電荷電圧変換部に転送された信号電荷を画素信号として出力し、第２の電荷電圧変換部に転送された信号電荷を残留させる駆動手段と、駆動手段による撮像素子の駆動を制御する制御手段と、を備えたことを特徴とする。【選択図】    図１１
2013165416.tif 000002
【特許請求の範囲】
【請求項１】
入射光に応じた信号電荷を生成し蓄積する光電変換部と、前記信号電荷の容量比が予め設定され、それぞれが並列に接続される第１及び第２の電荷電圧変換部と、を有する画素を備えた撮像素子と、
前記第１の電荷電圧変換部に転送された信号電荷を画素信号として出力し、前記第２の電荷電圧変換部に転送された信号電荷を残留させる駆動手段と、
前記駆動手段による前記撮像素子の駆動を制御する制御手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記画素は、
前記光電変換部に蓄積された信号電荷を前記第１及び第２の電荷電圧変換部に転送するか否かを切り替える転送トランジスタと、
前記転送トランジスタと前記第１の電荷電圧変換部との間に設けられる第１のスイッチングトランジスタと、
前記転送トランジスタと前記第２の電荷電圧変換部との間に設けられる第２のスイッチングトランジスタと、
を備え、
前記駆動手段は、前記転送トランジスタ、前記第１のスイッチングトランジスタ及び前記第２のスイッチングトランジスタのそれぞれをオン動作させることで、前記光電変換部に蓄積された信号電荷を前記第１の電荷電圧変換部及び前記第２の電荷電圧変換部のそれぞれに転送することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記画素は、
前記画素信号を出力するか否かを選択する選択トランジスタを備え、
前記駆動手段は、前記選択トランジスタ及び前記第１のスイッチングトランジスタをオン動作させることで、前記第１の電荷電圧変換部により変換された電圧を画素信号として出力することを特徴とする撮像装置。
【請求項４】
請求項２又は請求項３に記載の撮像装置において、
前記画素は、前記第１の電荷電圧変換部及び前記第２の電荷電圧変換部をリセットするリセットトランジスタを備え、
前記駆動手段は、連続的に複数の画像を取得する場合に、前記複数の画像の取得が開始された直後の画像の取得時には前記リセットトランジスタ、前記転送トランジスタ、前記第１のスイッチングトランジスタ及び前記第２のスイッチングトランジスタをオン動作させることで前記光電変換部、前記第１の電荷電圧変換部及び前記第２の電荷電圧変換部をリセットし、前記複数の画像の取得された直後の画像を除いた残りの画像の取得時には前記リセットトランジスタ、前記転送トランジスタ、前記第１のスイッチングトランジスタをオン動作させることで前記光電変換部及び前記第１の電荷電圧変換部をリセットして前記第２の電荷電圧変換部に転送された信号電荷を残留させることを特徴とする撮像装置。
【請求項５】
請求項２から請求項４のいずれか１項に記載の撮像装置において、
前記画素は、
前記第１の電荷電圧変換部及び第２の電荷電圧変換部と並列に接続される第３の電荷電圧変換部と、
前記光電変換部と前記第３の電荷電圧変換部との間に設けられる第３のスイッチングトランジスタと、
を備え、
前記駆動手段は、前記第２の電荷電圧変換部に前記信号電荷が転送された後に、前記第２のスイッチングトランジスタ及び前記第３のスイッチングトランジスタをオン動作させて、前記第２の電荷電圧変換部に転送された信号電荷を前記第３の電荷電圧変換部に分配することを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記駆動手段は、前記選択トランジスタ及び前記第１のスイッチングトランジスタをオン動作させる際に、前記第２のスイッチングトランジスタ又は第３のスイッチングトランジスタのいずれかのスイッチングトランジスタをオン動作させることで、前記第２の電荷電圧変換部又は前記第３の電荷電圧変換部のいずれかにより変換された電圧を、前記第１のトランジスタにより変換された電圧とともに前記画素信号として出力することを特徴とする撮像装置。
【請求項７】
請求項１に記載の撮像装置において、
前記駆動手段は、連続的な複数の画像を取得するときに、前記光電変換部に蓄積された信号電荷を前記第１の電荷電圧変換部及び前記第２の電荷電圧変換部の双方に転送する第１モード、又は前記光電変換部に蓄積された信号電荷を前記第１の電荷電圧変換部にのみ転送させる第２モードとのいずれかのモードで前記撮像素子を駆動させることを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記第１モード又は前記第２モードのいずれか一方のモードに切り替える際に操作される操作部材を備え、
前記制御手段は、前記操作部材の操作を受けて、前記駆動手段による前記撮像素子の駆動を前記第１モード及び前記第２モードの間で切り替えることを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記制御手段は、前記連続的な複数の画像の取得の際に前記操作部材が操作された場合に、前記駆動手段による前記撮像素子の駆動を前記第１モード及び前記第２モードの間で切り替えることを特徴とする撮像装置。
【請求項１０】
請求項４から請求項９に記載の撮像装置において、
前記連続的な複数の画像は、動画像、スルー画像、或いは連写撮影時に得られる画像のいずれかからなることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＭＯＳイメージセンサなどの撮像素子を備えた撮像装置に関する。
【背景技術】
【０００２】
従来、撮影時に得られる画像に対して、撮影条件に合わせた画像処理を施すものが一般的である。最近では、動画撮影や連続撮影によって得られた複数の画像を合成する処理を行うことで、残像効果を付与した画像を生成する撮像装置も提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１１４７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような撮像装置においては、撮影条件に合わせた画像処理を行った後に複数の画像を合成する処理を行う必要があることから、画像処理に係る処理負荷が高くなるという問題がある。
【０００５】
本発明は、複数の画像を合成する処理を行わなくても、残像効果を付与した動画像を容易に取得することができるようにした撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の撮像装置は、入射光に応じた信号電荷を生成し蓄積する光電変換部と、前記信号電荷の容量比が予め設定され、それぞれが並列に接続される第１及び第２の電荷電圧変換部と、を有する画素を備えた撮像素子と、前記第１の電荷電圧変換部に転送された信号電荷を画素信号として出力し、前記第２の電荷電圧変換部に転送された信号電荷を残留させる駆動手段と、前記駆動手段による前記撮像素子の駆動を制御する制御手段と、を備えたことを特徴とする。
【０００７】
また、前記画素は、前記光電変換部に蓄積された信号電荷を前記第１及び第２の電荷電圧変換部に転送するか否かを切り替える転送トランジスタと、前記転送トランジスタと前記第１の電荷電圧変換部との間に設けられる第１のスイッチングトランジスタと、前記転送トランジスタと前記第２の電荷電圧変換部との間に設けられる第２のスイッチングトランジスタと、を備え、前記駆動手段は、前記転送トランジスタ、前記第１のスイッチングトランジスタ及び前記第２のスイッチングトランジスタのそれぞれをオン動作させることで、前記光電変換部に蓄積された信号電荷を前記第１の電荷電圧変換部及び前記第２の電荷電圧変換部のそれぞれに転送することが好ましい。
【０００８】
また、前記画素は、前記画素信号を出力するか否かを選択する選択トランジスタを備え、前記駆動手段は、前記選択トランジスタ及び前記第１のスイッチングトランジスタをオン動作させることで、前記第１の電荷電圧変換部により変換された電圧を画素信号として出力することが好ましい。
【０００９】
さらに、前記画素は、前記第１の電荷電圧変換部及び前記第２の電荷電圧変換部をリセットするリセットトランジスタを備え、前記駆動手段は、連続的に複数の画像を取得する場合に、前記複数の画像の取得が開始された直後の画像の取得時には前記リセットトランジスタ、前記転送トランジスタ、前記第１のスイッチングトランジスタ及び前記第２のスイッチングトランジスタをオン動作させることで前記光電変換部、前記第１の電荷電圧変換部及び前記第２の電荷電圧変換部をリセットし、前記複数の画像の取得された直後の画像を除いた残りの画像の取得時には前記リセットトランジスタ、前記転送トランジスタ、前記第１のスイッチングトランジスタをオン動作させることで前記光電変換部及び前記第１の電荷電圧変換部をリセットして前記第２の電荷電圧変換部に転送された信号電荷を残留させることが好ましい。
【００１０】
また、前記画素は、前記第１の電荷電圧変換部及び第２の電荷電圧変換部と並列に接続される第３の電荷電圧変換部と、前記光電変換部と前記第３の電荷電圧変換部との間に設けられる第３のスイッチングトランジスタと、を備え、前記駆動手段は、前記第２の電荷電圧変換部に前記信号電荷が転送された後に、前記第２のスイッチングトランジスタ及び前記第３のスイッチングトランジスタをオン動作させて、前記第２の電荷電圧変換部に転送された信号電荷を前記第３の電荷電圧変換部に分配することが好ましい。
【００１１】
この場合、前記駆動手段は、前記選択トランジスタ及び前記第１のスイッチングトランジスタをオン動作させる際に、前記第２のスイッチングトランジスタ又は第３のスイッチングトランジスタのいずれかのスイッチングトランジスタをオン動作させることで、前記第２の電荷電圧変換部又は前記第３の電荷電圧変換部のいずれかにより変換された電圧を、前記第１のトランジスタにより変換された電圧とともに前記画素信号として出力することが好ましい。
【００１２】
また、前記駆動手段は、連続的な複数の画像を取得するときに、前記光電変換部に蓄積された信号電荷を前記第１の電荷電圧変換部及び前記第２の電荷電圧変換部の双方に転送する第１モード、又は前記光電変換部に蓄積された信号電荷を前記第１の電荷電圧変換部にのみ転送させる第２モードとのいずれかのモードで前記撮像素子を駆動させることが好ましい。
【００１３】
また、前記第１モード又は前記第２モードのいずれか一方のモードに切り替える際に操作される操作部材を備え、前記制御手段は、前記操作部材の操作を受けて、前記駆動手段による前記撮像素子の駆動を前記第１モード及び前記第２モードの間で切り替えることが好ましい。
【００１４】
さらに、前記制御手段は、前記連続的な複数の画像の取得の際に前記操作部材が操作された場合に、前記駆動手段による前記撮像素子の駆動を前記第１モード及び前記第２モードの間で切り替えることが好ましい。
【００１５】
また、前記複数の画像は、動画像、スルー画像、或いは連写撮影時に得られる画像のいずれかからなることが好ましい。
【発明の効果】
【００１６】
本発明によれば、複数の画像を合成する処理を行わなくても、残像効果を付与した動画像を容易に取得することができる。
【図面の簡単な説明】
【００１７】
【図１】デジタルカメラの電気的構成を示す図である。
【図２】第１実施形態における撮像素子の構成を示す図である。
【図３】各フレーム画像における被写体の位置を示す説明図である。
【図４】各フレーム画像の画素Ｏにおける信号電荷の電荷量の変化を示す図である。
【図５】各フレーム画像の画素Ｏにおける信号電荷の電荷量の変化を示す図である。
【図６】各フレーム画像の画素Ｐにおける信号電荷の電荷量の変化を示す図である。
【図７】各フレーム画像の画素Ｐにおける信号電荷の電荷量の変化を示す図である。
【図８】各フレーム画像の画素Ｑにおける信号電荷の電荷量の変化を示す図である。
【図９】各フレーム画像の画素Ｑにおける信号電荷の電荷量の変化を示す図である。
【図１０】被写体及び残像効果を模式的に示す図である。
【図１１】第２実施形態における撮像素子の構成を示す図である。
【図１２】各フレーム画像の画素Ｏにおける信号電荷の電荷量の変化を示す図である。
【図１３】各フレーム画像の画素Ｏにおける信号電荷の電荷量の変化を示す図である。
【図１４】各フレーム画像の画素Ｐにおける信号電荷の電荷量の変化を示す図である。
【図１５】各フレーム画像の画素Ｐにおける信号電荷の電荷量の変化を示す図である。
【図１６】各フレーム画像の画素Ｑにおける信号電荷の電荷量の変化を示す図である。
【図１７】各フレーム画像の画素Ｑにおける信号電荷の電荷量の変化を示す図である。
【発明を実施するための形態】
【００１８】
＜第１実施形態＞
図１は、第１実施形態におけるデジタルカメラ１０の電気的構成を示している。このデジタルカメラ１０は、予め設定された撮影条件を用いて静止画像の撮影（静止画撮影）や動画像の撮影（動画撮影）を実行する他、残像効果を付与した動画撮影を実行することができる。以下、動画撮影時に、予め設定されたフレームレートに基づいて連続的に得られる各画像をフレーム画像と称して説明する。なお、上述した残像効果を付与した動画撮影については、ここでは詳細は後述するが、各フレーム画像の取得時に、各画素にて光電変換される信号電荷の一部を残して読み出す処理や、次のフレーム画像の取得時に残留させた信号電荷を用いた処理が実行される。以下、第１実施形態では、各画素のフォトダイオードに信号電荷の一部を残留させながら各フレーム画像を取得することで、残像効果を付与した動画撮影を実行する場合について説明する。
【００１９】
周知のように、デジタルカメラ１０は、撮像光学系１５によって取り込まれた被写体光を撮像素子１６に設けられた複数の画素毎に光電変換し、各画素における光電変換により得られる信号電荷を画像信号として取得する。
【００２０】
撮像光学系１５は、図示を省略したズームレンズやフォーカスレンズなどを含むレンズ群から構成される。これらズームレンズやフォーカスレンズは図示を省略したレンズ駆動機構によって光軸Ｌ方向に移動する。撮像素子１６は、ＣＭＯＳイメージセンサが用いられる。なお、撮像素子１６の構成については後述する。この撮像素子１６は、タイミングジェネレータ（ＴＧ）１７から出力される制御信号に基づいて動作する。
【００２１】
ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）回路１８は、撮像素子１６から出力される画像信号に対して相関二重サンプリング処理やゲインコントロール処理などを施した後、アナログの画像信号をデジタルの画像信号に変換する。デジタルの画像信号は、ＤＦＥ回路１８に出力される。
【００２２】
ＤＦＥ（Ｄｉｇｉｔａｌ  Ｆｒｏｎｔ  Ｅｎｄ）回路１９は、ＡＦＥ回路１８から出力される画像信号に対して欠陥補正処理やノイズ補正処理を行う。このＤＦＥ回路１９によって欠陥補正処理やノイズ補正処理が施された画像信号はバッファメモリ２５に書き込まれる。
【００２３】
画像処理回路３０は、バッファメモリ２５に記憶される画像信号に対して、ホワイトバランス（ＷＢ）処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。これら処理の後、画像処理回路３０は、予め設定された圧縮率を用いた圧縮符号化処理を施す。この圧縮符号化処理が実行されることで、例えばＪＰＥＧ方式の画像データが生成される。
【００２４】
接続Ｉ／Ｆ３２は、メモリカードや光学ディスク、或いは磁気ディスクなどの記憶媒体３３が接続される。この接続Ｉ／Ｆ３２を介して、記録媒体３３への画像データの記録や、記憶媒体３３からの画像データの読み出しが実行される。
【００２５】
表示装置３５は、ＬＣＤや、有機ＥＬディスプレイなどから構成される。この表示装置３５は、スルー画像、撮影時に得られた画像やデジタルカメラ１０の設定を行う際の設定用の画像を表示する。なお、符号３６は、表示装置３５の駆動制御を行う表示制御回路である。
【００２６】
ＣＰＵ４１は、バス４２を介して、バッファメモリ２５、画像処理回路３０、接続Ｉ／Ｆ３２、表示制御回路３６、内蔵メモリ４３などと電気的に接続される。このＣＰＵ４１は、内蔵メモリ４３に記憶された制御プログラムに基づいて、デジタルカメラ１０の各部を制御する。また、ＣＰＵ４１は、レリーズボタン４５、残像付与ボタン４６、設定操作部４７などの操作部材からの操作信号に基づいた処理を実行する。
【００２７】
レリーズボタン４５は、撮影時にユーザにより操作されるボタンである。このレリーズボタン４５は、例えば全押し操作されたときに、ＣＰＵ４１によるＡＥ処理やＡＦ処理などの後、撮像処理が実行されるものであってもよいし、半押し操作されたときに上述したＡＥ処理やＡＦ処理などが実行され、全押し操作されたときにＡＥ処理やＡＦ処理に基づいた撮像処理を実行するものであってもよい。
【００２８】
残像付与ボタン４６は、取得されるスルー画像や、動画像、或いは連続撮影により得られる静止画像に対して残像効果を付与する場合、或いは残像効果の付与を停止する場合に操作されるボタンである。この残像付与ボタン４６を操作することで、撮像素子１６の駆動制御が変更される。なお、動画撮影を行う直前に、この残像付与ボタン４６を操作することで、残像効果を付与する動画撮影を行うか否かを切り替えるようにしてもよいし、動画撮影中に残像付与ボタン４６を操作することで実行している動画撮影を、残像効果を付与する動画撮影とするか否かを切り替えるようにしてもよい。また、残像付与ボタン４６の操作により残像効果を付与する動画撮影を行うか否かを切り替えているが、この他に、設定操作部４７の操作により予め残像効果を付与する撮影を行うか否かを設定しておき、残像付与ボタン４６の操作により、残像効果を付与する、又は残像効果の付与を停止するようにしてもよい。
【００２９】
図２に示すように、撮像素子１６は、二次元状に配列された複数の画素Ａij（ｉ＝１，２，・・、ｊ＝１，２，・・・）、垂直走査回路５１、水平走査回路５２、垂直線選択用トランジスタ５３、カラムアンプ５４、ＣＤＳ回路５５及び出力アンプ５６を備えている。なお、垂直走査回路５１、水平走査回路５２及びＣＤＳ回路５５は、それぞれタイミングジェネレータ１７からの制御信号に基づいて動作する。
【００３０】
複数の画素Ａijは、光電変換によって信号電荷を生成するフォトダイオード（ＰＤ）６１、フォトダイオード６１により生成された信号電荷を電圧として蓄積するフローティングディフュージョン（ＦＤ）６２、フォトダイオード６１に蓄積された信号電荷をフローティングディフュージョン６２に転送する転送トランジスタ（ＴＸ−Ｔｒ）６３、ゲートがフローティングディフュージョン６２と接続されてフローティングディフュージョン６２の電位変動を電気信号に変換する増幅トランジスタ（ＡＭＩ−Ｔｒ）６４、信号電荷を読み出す画素を行単位で選択するための選択トランジスタ（ＳＥＬ−Ｔｒ）６５、フローティングディフュージョン６２の電位を電源電位にリセットするためのリセットトランジスタ（ＦＤＲＳＴ−Ｔｒ）６６を有している。
【００３１】
複数の画素Ａijは、垂直走査回路２１から水平方向に延びる複数の信号線７１，７２，７３，７４によって電気的にそれぞれ接続される。これら複数の信号線のうち、信号線７１は転送用の信号線、信号線７２はリセット用の信号線、信号線７３は行選択用の信号線、信号線７４は電源用の信号線である。また、信号線７５は垂直信号線である。
【００３２】
垂直走査回路５１は、タイミングジェネレータ１７からの制御信号を受けて、転送信号、リセット信号、選択信号などを各画素Ａijに出力する。また、水平走査回路５２は、垂直線選択トランジスタ５３に列選択信号を出力する。
【００３３】
垂直線選択用トランジスタ５３は、水平走査回路５２からの選択信号を受けてオンとなり、読み出し対象となる列に配置されている画素Ａijの画素信号をカラムアンプ５４に入力させる。このカラムアンプ５４により増幅された画素信号は、ＣＤＳ回路５５に入力される。ＣＤＳ回路５５は、入力される画素信号に対して相関二重サンプリング処理を施すことで、各画素に設けられたトランジスタのばらつきによるノイズ成分を除去する。なお、このＣＤＳ回路５５から出力される画素信号は、水平信号線７６、出力アンプ５６を介して出力される。なお、全ての画素から出力される画素信号をまとめたものが画像信号となる。
【００３４】
次に、動画撮影時のデジタルカメラの撮像処理について説明する。このデジタルカメラの撮像処理では、走査ライン毎に順次シャッタを切る、所謂、ローリングシャッタ方式を用いた撮像処理が実行される。この撮像処理が実行されると、残像効果を付与する動画撮影を行うモード、又は残像効果を付与しない一般的な動画撮影（以下、通常の動画撮影）を行うモードに関係なく、（１）画素リセット処理、（２）電荷蓄積処理、（３）電荷転送処理、（４）電荷読出処理が、二次元に配列された複数の画素のうち、各行に配列された画素毎、つまり走査ライン毎に実行される。
【００３５】
（１）画素リセット処理
動画撮影が開始されると、通常の動画撮影を行うモードであれば、垂直走査回路５１は、タイミングジェネレータ１７からの制御信号を受けて、転送信号及びリセット信号を転送信号、リセット信号の順で出力する。転送信号を受けると、転送トランジスタ６３がオンとなる。この状態でリセット信号が出力されることで、リセットトランジスタ６８がオンとなり、フォトトランジスタ６１及びフローティングディフュージョン６２にリセット電圧が印加される。これにより、フォトトランジスタ６１及びフローティングディフュージョン６２がリセットされる。
【００３６】
なお、残像効果を付与する動画撮影を行うモードの場合には、撮影が開始された直後に得られる１フレーム目のフレーム画像については、通常の動画撮影を行うモードと同様の処理が実行される。そして、２フレーム目以降のフレーム画像を取得する場合には撮像素子１６の制御が変更される。詳細には、垂直走査回路５１は、上述した信号のうち、転送信号を出力せずに、リセット信号のみを出力する。つまり、２フレーム目以降のフレーム画像の取得時には、フローティングディフュージョン６２のみがリセットされ、フォトダイオード６１に蓄積される信号電荷はリセットされずに、そのまま残留する。
【００３７】
（２）電荷蓄積処理
被写体光は、撮像光学系１５を介して撮像素子１６の各画素Ａijに対して入射されている。フォトダイオード６１は、被写体光を受光し、受光した被写体光を光電変換する。なお、光電変換された信号電荷はフォトダイオード６１に蓄積されていく。
【００３８】
（３）電荷転送処理
垂直走査回路５１は、タイミングジェネレータ１７からの制御信号を受けて転送信号を出力する。この転送信号の出力により転送トランジスタ６３がオンとなるので、フォトダイオード６１に蓄積された信号電荷がフローティングディフュージョン６２に転送される。ここで、転送トランジスタ６３がオンとなる時間、言い換えれば、信号電荷がフォトダイオード６１からフローティングディフュージョン６２に転送される時間（転送時間）は一定時間である。つまり、フォトダイオード６１からフローティングディフュージョン６２に転送される単位時間当たりの転送量（転送速度）は、蓄積された信号電荷の電荷量に比例して速くなる。
【００３９】
例えば通常の動画撮影を行うモードが選択された場合の転送時間Ｔ０とした場合、残像効果を付与する動画撮影を行うモードが選択された場合の転送時間Ｔ１は、Ｔ１＝αＴ０（係数α＜１）となるように設定される。なお、転送時間Ｔ０は、フォトダイオード６１に蓄積された全ての信号電荷をフローティングディフュージョン６２に転送するための時間である。また、係数αは、フォトダイオード６１に蓄積された信号電荷の一部を、フローティングディフュージョン６２に転送せずにフォトダイオード６１に残留させるための係数であり、その値が１に近いほど残留させる信号電荷の電荷量が少なくなる。つまり、フォトダイオード６１に残留させる信号電荷量が少なければ少ないほど、各フレーム画像に対する残像効果が低くなる。
【００４０】
以下では、係数αをα＝０．９に設定した場合について説明する。なお、この係数αは、撮影前に得られるスルー画像の明るさ（輝度）や、動画撮影により得られたフレーム画像の明るさ（輝度）に基づいて自動的に決定されるものであってもよいし、ユーザの設定操作により決定されるものであってもよい。また、転送トランジスタ６３がオンとなった直後は、フォトダイオード６１からフローティングディフュージョン６２に転送される信号電荷の転送速度は安定しないことから、信号電荷の転送時間Ｔ１が、転送速度が安定するまでの不足分を加味した値となるように係数αを設定することも可能である。
【００４１】
（４）電荷読出処理
垂直走査回路５１は、タイミングジェネレータ１７からの制御信号を受けて選択信号を出力する。この選択信号の出力により、選択トランジスタ６５がオンとなり、フローティングディフュージョン６２により変換された電圧が、増幅トランジスタ６４、選択トランジスタ６５を介して、画素信号として垂直信号線７５に出力される。なお、この電荷読出処理では、タイミングジェネレータ１７からの制御信号が水平走査回路５２及びＣＤＳ回路５５に出力されている。つまり、垂直信号線７５に出力された画素信号は、垂直線選択用トランジスタ５３を介して、カラムアンプ５４に入力される。なお、カラムアンプ５４に入力された画素信号は、カラムアンプ５４により増幅された後、ＣＤＳ回路５５に入力される。ＣＤＳ回路５５は、入力される画素信号に対して相関二重サンプリング処理を施し、水平信号線７６に出力する。水平信号線７６に出力された画素信号は、出力アンプ５６を介して出力される。
【００４２】
次に、残像効果を付与した動画撮影を行った場合の具体例を説明する。図３は、ｎフレーム目のフレーム画像ＦＩｎから（ｎ＋６）フレーム目のフレーム画像ＦＩｎ＋６に対して、残像効果を付与した動画撮影を行った場合について示している。なお、被写体Ｖは、図３中左方から右方に向けて移動する動体とし、被写体Ｖの光量に基づく信号電荷の電荷量（以下、被写体Ｖにおける信号電荷の電荷量）が１０ｅ−、背景の光量に基づく信号電荷の電荷量（以下、背景における信号電荷の電荷量）が５ｅ−となる場合について説明する。
【００４３】
まず、図３〜図５を用いて、画素Ｏについて説明する。画素リセット処理により、画素Ｏのフォトダイオード６１及びフローティングディフュージョン６２に残留する信号電荷がリセットされる。つまり、フォトダイオード６１及びフローティングディフュージョン６２の信号電荷の電荷量はそれぞれ０となる。取得されるフレーム画像ＦＩｎにおいては、画素Ｏは被写体Ｖの領域に含まれる画素であることから、フォトダイオード６１には被写体Ｖにおける信号電荷の電荷量１０ｅ−が蓄積される。上述したように、残像効果を付与した動画撮影では、電荷転送処理における信号電荷の転送時間が変更される、つまり、転送時間がＴ１（＝０．９Ｔ０）に変更される。つまり、電荷転送処理が実行されると、フォトダイオード６１に蓄積された信号電荷の電荷量１０ｅ−のうち、信号電荷の電荷量９ｅ−がフローティングディフュージョン６２に転送され、信号電荷の電荷量１ｅ−がフォトダイオード６１に残留する。最後に、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷（電荷量９ｅ−）に基づく電圧が画素信号として出力される。
【００４４】
この状態で、次のフレーム画像ＦＩｎ＋１が取得される。フレーム画像ＦＩｎ＋１においても、画素Ｏは被写体Ｖの領域に含まれる画素となる。なお、フレーム画像ＦＩｎ＋１の取得時には、フォトダイオード６１に信号電荷の電荷量１ｅ−が残留された状態で、電荷蓄積処理が行われる。この電荷蓄積処理が実行されることで、フォトダイオード６１に蓄積される信号電荷の電荷量は１１ｅ−となる。そして、本実施形態においては、電荷転送処理が実行されると、フォトダイオード６１に蓄積された信号電荷の電荷量１１ｅ−のうち、信号電荷の電荷量９．９ｅ−がフォトダイオード６１からフローティングディフュージョン６２に転送され、信号電荷の電荷量１．１ｅ−がフォトダイオード６１に残留する。なお、上述および後述される本実施形態におけるこれら数値においては、本実施形態を具体的に説明するために用いる一例でありこれら数値に限るものではない。最後に、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷（電荷量９．９ｅ−）に基づく電圧が画素信号として出力される。
【００４５】
さらに、フレーム画像ＦＩｎ＋２が取得された場合も、フレーム画像ＦＩｎ＋１と同様に、画素Ｏは、被写体Ｖの領域に含まれる画素となる。このフレーム画像ＦＩｎ＋２の取得時には、フォトダイオード６１に信号電荷の電荷量１．１ｅ−が残留された状態で、電荷蓄積処理が行われる。この電荷蓄積処理が実行されることで、フォトダイオード６１に蓄積される信号電荷の電荷量は１１．１ｅ−となる。そして、電荷転送処理が実行されると、フォトダイオード６１に蓄積された信号電荷の電荷量１１．１ｅ−のうち、信号電荷の電荷量９．９９ｅ−がフローティングディフュージョン６２に転送され、信号電荷の電荷量１．１１ｅ−がフォトダイオード６１に残留する。最後に、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷（電荷量９．９９ｅ−）に基づく電圧が画素信号として出力される。
【００４６】
フレーム画像ＦＩｎ＋３が取得されるときには、画素Ｏは、被写体Ｖの領域に含まれる画素ではなく、背景の領域に含まれる画素となる。このフレーム画像ＦＩｎ＋３の取得時には、フォトダイオード６１に信号電荷の電荷量１．１ｅ−が残留された状態で電荷蓄積処理が行われる。上述したように、背景における信号電荷の電荷量は５ｅ−であることから、電荷蓄積処理が実行されることで、フォトダイオード６１に蓄積される信号電荷の電荷量は６．１１ｅ−となる。そして、電荷転送処理が実行されると、フォトダイオード６１に蓄積された信号電荷の電荷量６．１１ｅ−のうち、信号電荷の電荷量５．４９９ｅ−がフローティングディフュージョン６２に転送され、信号電荷の電荷量０．６１１ｅ−がフォトダイオード６１に残留する。最後に、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷（電荷量５．４９９ｅ−）に基づく電圧が画素信号として出力される。
【００４７】
このフレーム画像ＦＩｎ＋３の後に取得されるフレーム画像ＦＩｎ＋４においては、フレーム画像ＦＩｎ＋３と同様に、画素Ｏは背景の領域に含まれる画素となる。このフレーム画像ＦＩｎ＋４の取得時には、フォトダイオード６１に信号電荷の電荷量０．６１１ｅ−が残留された状態で電荷蓄積処理が行われる。この電荷蓄積処理が実行されることで、フォトダイオード６１に蓄積される信号電荷の電荷量は５．６１１ｅ−となる。そして、電荷転送処理が実行されると、フォトダイオード６１に蓄積された信号電荷の電荷量５．６１１ｅ−のうち、信号電荷の電荷量５．０４９９ｅ−がフローティングディフュージョン６２に転送され、信号電荷の電荷量０．５６１１ｅ−がフォトダイオード６１に残留する。最後に、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷（電荷量５．０４９９ｅ−）に基づく電圧が画素信号として出力される。
【００４８】
同様にして、フレーム画像ＦＩｎ＋５においても、画素Ｏは、背景の領域に含まれる画素となる。このフレーム画像ＦＩｎ＋５の取得時には、フォトダイオード６１に信号電荷の電荷量０．５６１１ｅ−が残留された状態で電荷蓄積処理が行われる。この電荷蓄積処理が実行されることで、フォトダイオード６１に蓄積される信号電荷の電荷量は５．５６１１ｅ−となる。そして、電荷転送処理が実行されると、フォトダイオード６１に蓄積された信号電荷の電荷量５．５６１１ｅ−のうち、信号電荷の電荷量５．００４９９ｅ−がフローティングディフュージョン６２に転送され、信号電荷の電荷量０．５５６１１ｅ−がフォトダイオード６１に残留する。最後に、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷（電荷量５．００４９９ｅ−）に基づく電圧が画素信号として出力される。
【００４９】
さらに、フレーム画像ＦＩｎ＋６の場合、信号電荷の電荷量０．５５６１１ｅ−が残留した状態で、電荷蓄積処理が実行される。つまり、フォトダイオード６１に蓄積される信号電荷の電荷量は、５．５５６１１ｅ−となる。この場合、フォトダイオード６１に蓄積された信号電荷の電荷量５．５５６１１ｅ−のうち、信号電荷の電荷量５．０００４９９ｅ−がフローティングディフュージョン６２に転送され、信号電荷の電荷量０．５５５６１１ｅ−がフォトダイオード６１に残留する。最後に、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷（電荷量５．０００４９９ｅ−）に基づく電圧が画素信号として出力される。
【００５０】
このように、画素Ｏから出力される各フレーム画像における信号電荷の電荷量（読出光量）は、９ｅ−→、９．９ｅ−→９．９９ｅ−→５．４９９ｅ−→５．０４９９ｅ−→５．００４９９ｅ−→５．０００４９９ｅ−と変化し、背景の領域における光量に基づく電荷量５ｅ−に収束していく。つまり、フレーム画像ＦＩｎ＋３以降のフレーム画像において、残像効果が徐々に低減されていることから、フレーム画像ＦＩｎ＋３以降のフレーム画像において、残像効果を適切に付与することができる。
【００５１】
次に、画素Ｐについて、図３、図６及び図７を用いて説明する。フレーム画像ＦＩｎ及びフレーム画像ＦＩｎ＋１の取得時においては、画素Ｐは被写体Ｖの領域に含まれる画素であることから、これらフレーム画像の取得時に読み出される信号電荷の電荷量や、フォトダイオード６１に残留する信号電荷の電荷量は、画素Ｏと同一の値となる。フレーム画像ＦＩｎ＋２の取得時には、画素Ｐは、被写体Ｖの領域ではなく、背景の領域に含まれる画素となる。このため、電荷蓄積処理では、背景における信号電荷の電荷量５ｅ−がフォトダイオード６１に蓄積される。つまり、本実施形態においては、フォトダイオード６１には、信号電荷の電荷量６．１ｅ−が蓄積される。電荷蓄積処理の後の電荷転送処理が実行されることで、フォトダイオード６１に蓄積される信号電荷の電荷量６．１ｅ−のうち、信号電荷の電荷量５．４９ｅ−がフローティングディフュージョン６２に転送され、信号電荷の電荷量０．６１ｅ−がフォトダイオード６１に残留する。最後に、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷（電荷量５．４９ｅ−）に基づく電圧が画素信号として出力される。
【００５２】
なお、本実施形態においては、フレーム画像ＦＩｎ＋３以降（フレーム画像ＦＩｎ＋３、フレーム画像ＦＩｎ＋４、フレーム画像ＦＩｎ＋５及びフレーム画像ＦＩｎ＋６）においては、画素Ｐは背景の領域に含まれる画素となることから、フレーム画像ＦＩｎ＋２と同様に、背景の領域の光量に基づく電荷量５ｅ−がフォトダイオード６１にて受光され、フォトダイオード６１に蓄積される信号電荷の９０％がフローティングディフュージョン６２に転送され、残りの１０％がフォトダイオード６１に残留する。そして、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷に基づく電圧が画素信号として出力される。
【００５３】
このように、画素Ｐから出力される各フレーム画像における信号電荷の読出光量は、９ｅ−→、９．９ｅ−→５．４９ｅ−→５．０４９ｅ−→５．００４９ｅ−→５．０００４９ｅ−→５．００００４９ｅ−と変化し、背景の領域における光量に基づく電荷量５ｅ−に収束していく。つまり、画素Ｐは、フレーム画像ＦＩｎ＋２以降のフレーム画像において、残像効果が徐々に低減されていることから、フレーム画像ＦＩｎ＋２以降のフレーム画像において、残像効果を適切に付与することができる。
【００５４】
最後に、画素Ｑについて、図３、図８及び図９を用いて説明する。この画素Ｑは、被写体Ｖの領域ではなく、背景の領域に含まれる画素である。つまり、本実施形態においては、この画素Ｑには、各フレーム画像の取得時には、背景の領域における光量に基づく電荷量５ｅ−が、フォトダイオード６１に蓄積され、この画素Ｑにおいても、画素Ｏ、画素Ｐと同一の処理が実行されることから、フォトダイオード６１に蓄積される信号電荷の９０％がフローティングディフュージョン６２に転送され、残りの１０％がフォトダイオード６１に残留する。そして、電荷読出処理が実行されることで、フローティングディフュージョン６１にて変換された信号電荷に基づく電圧が画素信号として出力される。なお、この画素Ｑから出力される各フレーム画像における信号電荷の読出光量は、４．５ｅ−→、４．９５ｅ−→４．９９５ｅ−→４．９９９５ｅ−→４．９９９９５ｅ−→４．９９９９９５ｅ−→４．９９９９９９５ｅ−と背景の領域における光量に基づく電荷量５ｅ−に収束する。なお、この画素Ｑは、動画撮影時には背景の領域に含まれる画素となることから、この画素Ｑにおいては、残像効果が付与されないことがわかる。
【００５５】
このようにして、撮像素子１６から出力される画像信号は、残像効果が付与された画像信号となる。図１０に示すように、取得された動画像を表示すると、移動する被写体に対しては適切な残像効果が付与され、背景の領域には、残像効果は付与されない動画像として表示される。これによれば、通常の動画撮影により得られた複数のフレーム画像を合成する処理を行わなくとも、撮像素子１６に対する制御を変更するだけで、残像効果を付与した動画像を容易に取得することができる。また、画像処理回路３０においては、通常の動画像に対する画像処理を行えば済むので、画像処理回路３０における処理負荷を増加させなくて済む。
【００５６】
第１実施形態では、残像効果を付与する動画撮影を開始した直後のフレーム画像において、各画素から読み出される光量に基づく信号電荷の電荷量が実際の電荷量よりも低くなっていることから、残像効果を付与する動画撮影の開始から得られる２，３フレーム目までのフレーム画像は記録せずに削除することも可能である。
【００５７】
また、残像効果を付与する動画撮影の開始から得られる２，３フレーム目までのフレーム画像を削除せずに、フレーム画像における各画素の画素値（撮像素子１６の各画素から出力される画素信号の出力値）を増幅させることも可能である。この場合、上述したカラムアンプ５４や出力アンプ５６において各画素の画素値を増幅させる、ＡＦＥ回路１８におけるゲインコントロール処理によって各画素の画素値を増幅させる、或いは画像処理回路３０における階調変換処理などの際に、２，３フレーム目までのフレーム画像に対して階調値を補正するなどの処理のいずれかを行えばよい。
【００５８】
第１実施形態では、撮像素子の各画素に信号電荷を残留させる一形態として、フォトダイオード６１に信号電荷の一部を残留させる場合を挙げて説明したが、これに限定される必要はなく、撮像素子の各画素のフローティングディフュージョンを複数設け、複数のフローティングディフュージョンのいずれかに信号電荷を残留させることも可能である。以下、撮像素子に設けられた複数のフローティングディフュージョンのいずれかに信号電荷を残留させる場合について、第２実施形態として説明する。
【００５９】
＜第２実施形態＞
なお、第２実施形態におけるデジタルカメラにおいては、撮像素子以外の構成は同一となる。以下、第２実施形態においては、第１実施形態に示す撮像素子１６の代わりに、図に示す撮像素子８１が用いられる。以下、第１実施形態と同様の構成については、同一の符号を付して説明する。
【００６０】
図１１に示すように、撮像素子８１は、二次元状に配列された複数の画素Ｂij（ｉ＝１，２，・・、ｊ＝１，２，・・・）、垂直走査回路８２、水平走査回路８３、垂直線選択用トランジスタ８４、カラムアンプ８５、ＣＤＳ回路８６及び出力アンプ８７を備えている。なお、垂直走査回路８２、水平走査回路８３及びＣＤＳ回路８５は、それぞれタイミングジェネレータ１７からの制御信号に基づいて作動する。
【００６１】
これら複数の画素Ｂijは、フォトダイオード（ＰＤ）９１、フローティングディフュージョン（ＦＤ１）９２、フローティングディフュージョン（ＦＤ２）９３、フローティングディフュージョン（ＦＤ３）９４、転送トランジスタ（ＴＸ−Ｔｒ）９５、スイッチングトランジスタ（ＳＷ１）９６、スイッチングトランジスタ（ＳＷ２）９７、スイッチングトランジスタ（ＳＷ３）９８、増幅トランジスタ（ＡＭＩ−Ｔｒ）９９、選択トランジスタ（ＳＥＬ−Ｔｒ）１００、リセットトランジスタ（ＦＤＲＳＴ−Ｔｒ）１０１から構成される。なお、フローティングディフュージョン９２、フローティングディフュージョン９３、フローティングディフュージョン９４の容量比は、例えば９：１：１となるように、各フローティングディフュージョンが設定される。なお、各フローティングディフュージョンの容量比は一例であり、適宜設定されるものとする。
【００６２】
複数の画素Ｂijは、垂直走査回路８２から水平方向に延びる複数の信号線１０２，１０３，１０４，１０５，１０６，１０７，１０８によって電気的にそれぞれ接続される。これら複数の信号線のうち、信号線１０２は転送用の信号線、信号線１０３はリセット用の信号線、信号線１０４，１０５，１０６は、スイッチングトランジスタ９６，９７，９８のオンオフを個別に切り替える切替用の信号線、信号線１０７は行選択用の信号線、信号線１０８は電源用の信号線である。また、信号線１０９は垂直信号線である。
【００６３】
垂直走査回路８２は、タイミングジェネレータ１７からの制御信号を受けて、転送信号、リセット信号、切替信号、行選択信号などを各画素Ｂijに出力する。また、水平走査回路８３は、垂直線選択トランジスタ８４に列選択信号を出力する。以下、スイッチングトランジスタ９６に対する切替信号を第１切替信号、スイッチングトランジスタ９７に対する切替信号を第２切替信号、スイッチングトランジスタ９８に対する切替信号を第３切替信号と称して説明する。
【００６４】
垂直線選択用トランジスタ８４は、水平走査回路８３からの選択信号を受けてオンとなり、読み出し対象となる列に配置されている画素Ｂijの画素信号をカラムアンプ８５に入力させる。このカラムアンプ８５により増幅された画素信号は、ＣＤＳ回路８６に入力される。ＣＤＳ回路８６は、入力される画素信号に対して相関二重サンプリング処理を施すことで、各画素に設けられたトランジスタのばらつきによるノイズ成分を除去する。なお、このＣＤＳ回路８６から出力される画素信号は、水平信号線１１０、出力アンプ８７を介して出力される。
【００６５】
次に、動画撮影時のデジタルカメラの撮像処理について説明する。このデジタルカメラの撮像処理では、走査ライン毎に順次シャッタを切る、所謂、ローリングシャッタ方式を用いた撮像処理が実行される。なお、通常の動画撮影を行うモードが選択されている場合には、撮像処理として、画素リセット処理、電荷蓄積処理、電荷転送処理、電荷読出処理が実行される。
【００６６】
画素リセット処理が実行されると、垂直走査回路８２から転送信号、第１切替信号、第２切替信号、第３切替信号、リセット信号を順次出力される。転送信号が出力されることで転送トランジスタがオンとなり、第１〜第３切替信号が出力されることでスイッチングトランジスタ９６，９７，９８がそれぞれオンとなる。この状態でリセット信号が出力されると、リセットトランジスタ９５がオンとなり、フォトダイオード９１及びフローティングディフュージョン９２，９３，９４のそれぞれにリセット電圧が印加される。これにより、フォトダイオード９１及びフローティングディフュージョン９２，９３，９４がリセットされる。
【００６７】
画素リセット処理の後に、実行される電荷蓄積処理においては、第１実施形態の電荷蓄積処理と同様にして、フォトダイオード９１により光電変換が実行され、光電変換により生成される信号電荷が蓄積されていく。
【００６８】
電荷転送処理が実行されると、垂直走査回路８２は第１切替信号を出力し、スイッチングトランジスタ９６をオンにする。その後、垂直走査回路８２は転送信号を出力し、転送トランジスタをオンにする。これにより、フォトダイオード９１に蓄積された信号電荷がフローティングディフュージョン９２に転送される。
【００６９】
電荷読出処理が開始されると、垂直走査回路８２は、第１切替信号を出力する。同時に垂直走査回路８２は行選択信号を出力し、選択トランジスタ９６をオンにする。これにより、フローティングディフュージョン９２により転送された信号電荷に基づく画素信号が垂直信号線１０９に出力される。水平走査回路８３は、選択信号を出力するので、水力信号線１０９に出力された画素信号が、カラムアンプ８５に入力される。なお、カラムアンプ８５に入力された画素信号は、カラムアンプ８５により増幅された後、ＣＤＳ回路８６に入力される。ＣＤＳ回路８６は、入力される画素信号に対して相関二重サンプリング処理を施し、水平信号線１１０に出力する。水平信号線１１０に出力された画素信号は、出力アンプ８７を介して出力される。
【００７０】
なお、通常の動画撮影においては、フローティングディフュージョン９２にのみ信号電荷を転送させているが、これに限定される必要はなく、全てのフローティングディフュージョン９２，９３，９４に対して信号電荷を転送し、これらフローティングディフュージョン９２，９３，９４に転送された信号電荷を電荷読出処理時に画素信号としてよみだすことも可能である。
【００７１】
一方、残像効果を付与する動画撮影を実行するモードが選択されている場合には、（５）画素リセット処理、（６）電荷蓄積処理、（７）電荷転送処理、（８）電荷分配処理、（９）電荷読出処理が走査ライン毎に順次実行される。
【００７２】
（５）画素リセット処理
残像効果を付与する動画撮影においても、通常の動画撮影と同様に、画素リセット処理が実行される。残像効果を付与する動画撮影が開始された直後、言い換えれば１フレーム目のフレーム画像を取得する場合には、通常の動画撮影と同様の処理が実行される。
動画撮影が開始されてから２フレーム目以降のフレーム画像を取得する場合、画素リセット処理が変更される。つまり、垂直走査回路８２は上述した第１切替信号、第２切替信号、第３切替信号、リセット信号のうち、第３切替信号以外の信号を出力する。つまり、２フレーム目以降のフレーム画像の取得時には、フォトトランジスタ９１、フローティングディフュージョン９２，９３がリセット処理され、フローティングディフュージョン９４はリセットされない。つまり、フローティングディフュージョン９４に転送された信号電荷は、そのまま残留される。
【００７３】
（６）電荷蓄積処理
残像効果を付与する動画撮影においても、通常の動画撮影と同一の電荷蓄積処理が実行される。
【００７４】
（７）電荷転送処理
垂直走査回路８２は、タイミングジェネレータ１７からの制御信号を受けて、第１切替信号及び第２切替信号を出力する。これを受けて、スイッチングトランジスタ９６，９７がそれぞれオンとなる。これら切替信号が出力された後、垂直走査回路８２は転送信号を出力する。この転送信号の出力により転送トランジスタ９５がオンとなるので、フォトダイオード９１に蓄積された信号電荷がフローティングディフュージョン９２，９３にそれぞれ転送される。なお、フローティングディフュージョン９２及びフローティングディフュージョン９３の容量比は、９：１に設定されていることから、フォトダイオード９１に蓄積される信号電荷の電荷量の９０％がフローティングディフュージョン９２に転送され、フォトダイオード９１に蓄積される信号電荷の電荷量の１０％がフローティングディフュージョン９３に転送される。
【００７５】
（８）電荷分配処理
上述したように、電荷転送処理が行われることで、フローティングディフュージョン９３に信号電荷が転送されている。垂直走査回路８２は、タイミングジェネレータ１７からの制御信号を受けて、第２切替信号及び第３切替信号を出力する。これにより、スイッチングトランジスタ９７及びスイッチングトランジスタ９８がそれぞれオンとなる。上述した電荷転送処理が終了した直後においては、フローティングディフュージョン９３には信号電荷が蓄積され、フローティングディフュージョン９４には信号電荷は転送されていない。第２切替信号及び第３切替信号の出力により、スイッチングトランジスタ９７及びスイッチングトランジスタ９８がオンとなると、フローティングディフュージョン９３，９４がそれぞれ等電位となる。これらフローティングディフュージョン９３及びフローティングディフュージョン９４の容量比は１：１であることから、フローティングディフュージョンに転送される信号電荷の電荷量が等しくなるまで、フローティングディフュージョン９３からフローティングディフュージョン９４へ信号電荷が転送される。これにより、信号電荷がフローティングディフュージョン９３からフローティングディフュージョン９４に分配される。なお、この処理が終了すると、上述した各信号の出力が停止される。
【００７６】
（９）電荷読出処理
垂直走査回路８２は、タイミングジェネレータ１７からの制御信号を受けて、第１切替信号、第２切替信号を出力する。これにより、スイッチングトランジスタ９６，９７がそれぞれオンとなる。これら切替信号が出力された後、垂直走査回路８２は行選択信号を出力する。この行選択信号の出力により、選択トランジスタ１００がオンとなり、フローティングディフュージョン９２及びフローティングディフュージョン９３に蓄積される信号電荷が画素信号として垂直信号線１０９に出力される。なお、この電荷読出処理では、タイミングジェネレータ１７からの制御信号が水平走査回路８３及びＣＤＳ回路８６に出力されている。つまり、垂直信号線１０９に出力された画素信号は、垂直線選択用トランジスタ８４を介して、カラムアンプ８５に入力される。なお、カラムアンプ８５に入力された画素信号は、カラムアンプ８５により増幅された後、ＣＤＳ回路８６に入力される。ＣＤＳ回路８６は、入力される画素信号に対して相関二重サンプリング処理を施し、水平信号線１１０に出力する。水平信号線１１０に出力された画素信号は、出力アンプ８７を介して出力される。
【００７７】
次に、残像効果を付与した動画撮影を行った場合の具体例を説明する。なお、第２実施形態の残像効果を付与した動画撮影は、第１実施形態と同様に、被写体Ｖが図３中左方から右方に向けて移動する動体とし、被写体Ｖにおける信号電荷の電荷量が１０ｅ−、背景における信号電荷の電荷量が５ｅ−となる場合を例に取り上げて説明する。
【００７８】
まず、図３、図１２及び図１３を用いて、画素Ｏについて説明する。画素リセット処理により、画素Ｏのフォトダイオード９１及びフローティングディフュージョン９２，９３，９４に残留する信号電荷がリセットされる。つまり、フォトダイオード９１及びフローティングディフュージョン９２，９３，９４の信号電荷の電荷量はそれぞれ０となる。取得されるフレーム画像ＦＩｎにおいて、画素Ｏは被写体Ｖの領域に含まれる画素である。つまり、電荷蓄積処理が実行されると、フォトダイオード９１には被写体Ｖにおける信号電荷の電荷量１０ｅ−が蓄積される。この処理の後、電荷転送処理が実行されると、フォトダイオード９１に蓄積された信号電荷は、フローティングディフュージョン９２，９３に転送される。このとき、フローティングディフュージョン９２及びフローティングディフュージョン９３の容量比は９：１であることから、フォトダイオード９１に蓄積される信号電荷の電荷量１０ｅ−のうち、信号電荷の電荷量９ｅ−がフローティングディフュージョン９２に転送され、信号電荷の電荷量１ｅ−がフローティングディフュージョン９３に転送される。
【００７９】
電荷分配処理が実行されると、フローティングディフュージョン９３，９４が等電位になることから、それぞれのフローティングディフュージョン９３からフローティングディフュージョン９４に信号電荷が分配（転送）される。つまり、フローティングディフュージョン９３及びフローティングディフュージョン９４には、電荷量０．５ｅ−の信号電荷に基づく電圧がそれぞれ蓄積される。最後に、電荷読出処理が実行されることで、フローティングディフュージョン９２，９３に転送された信号電荷（電荷量９．５ｅ−）に基づく電圧が画素信号として出力される。なお、フローティングディフュージョン９４に分配された電荷量０．５ｅ−の信号電荷は、そのまま残留する。
【００８０】
この状態で、次のフレーム画像ＦＩｎ＋１が取得される。フレーム画像ＦＩｎ＋１においても、画素Ｏは被写体Ｖの領域に含まれる画素となる。なお、このフレーム画像ＦＩｎ＋１を取得する際に実行される電荷リセット処理では、フローティングディフュージョン９４に対して電荷リセット処理は実行されない。この画素リセット処理の後に実行される電荷蓄積処理により、フォトダイオード９１には、電荷量１０ｅ−の信号電荷が蓄積される。そして、電荷転送処理が実行されると、フォトダイオード９１に蓄積された信号電荷の電荷量１０ｅ−のうち、信号電荷の電荷量９ｅ−がフォトダイオード９１からフローティングディフュージョン９２に転送され、信号電荷の電荷量１ｅ−がフォトダイオード９１からフローティングディフュージョン９３に転送される。この電荷蓄積処理が行われた直後において、フローティングディフュージョン９３には電荷量１ｅ−の信号電荷が、フローティングディフュージョン９４には、電荷量０．５ｅ−の信号電荷がそれぞれ蓄積されている。電荷分配処理が実行されると、フローティングディフュージョン９３，９４が等電位になることから、それぞれのフローティングディフュージョン９３からフローティングディフュージョン９４に信号電荷が分配（転送）される。この信号電荷の分配により、フローティングディフュージョン９３及びフローティングディフュージョン９４には電荷量０．７５ｅ−の信号電荷がそれぞれ蓄積される。最後に、電荷読出処理が実行されることで、フローティングディフュージョン９２，９３に転送された信号電荷（電荷量９．７５ｅ−）が画素信号として出力される。なお、フローティングディフュージョン９４に分配された電荷量０．７５ｅ−の信号電荷は、そのまま残留する。
【００８１】
さらに、フレーム画像ＦＩｎ＋２が取得された場合も、フレーム画像ＦＩｎ＋１と同様に、画素Ｏは、被写体Ｖの領域に含まれる画素となる。このフレーム画像ＦＩｎ＋２の取得時には、フローティングディフュージョン９４に電荷量０．７５ｅ−の信号電荷が残留された状態で、リセット処理、電荷蓄積処理、電荷転送処理が実行される。つまり、フォトダイオード９１に蓄積された信号電荷の電荷量１０ｅ−のうち、信号電荷の電荷量９ｅ−がフローティングディフュージョン９２に転送され、信号電荷の電荷量１ｅ−がフローティングディフュージョン９３に転送される。その後の電荷分配処理が実行されることで、フローティングディフュージョン９３及びフローティングディフュージョン９４には、電荷量０．８７５ｅ−の信号電荷が蓄積された状態となる。最後に、電荷読出処理が実行されることで、フローティングディフュージョン９２，９３に転送された信号電荷（電荷量９．８７５ｅ−）が画素信号として出力される。なお、フローティングディフュージョン９４に分配された電荷量０．８７５ｅ−の信号電荷は、そのまま残留する。
【００８２】
フレーム画像ＦＩｎ＋３が取得されるときには、画素Ｏは、被写体Ｖの領域に含まれる画素ではなく、背景の領域に含まれる画素となる。このフレーム画像ＦＩｎ＋３の取得時には、このフレーム画像ＦＩｎ＋２の取得時には、フローティングディフュージョン９４に電荷量０．８７５ｅ−の信号電荷が残留された状態で、リセット処理、電荷蓄積処理、電荷転送処理が実行される。この場合、信号電荷の電荷量５ｅ−がフォトダイオード９１に蓄積される。この信号電荷の電荷量５ｅ−のうち、信号電荷の電荷量４．５ｅ−がフローティングディフュージョン９２に転送され、信号電荷の電荷量０．５ｅ−がフローティングディフュージョン９３に転送される。その後の電荷分配処理が実行されることで、フローティングディフュージョン９３及びフローティングディフュージョン９４には、電荷量０．６８７５ｅ−の信号電荷が蓄積された状態となる。最後に、電荷読出処理が実行されることで、フローティングディフュージョン９２，９３に転送された信号電荷（電荷量５．１８７５ｅ−）が画素信号として出力される。なお、フローティングディフュージョン９４に分配された電荷量０．６８７５ｅ−の信号電荷は、そのまま残留する。
【００８３】
このフレーム画像ＦＩｎ＋３の後に取得されるフレーム画像ＦＩｎ＋４においては、フレーム画像ＦＩｎ＋３と同様に、画素Ｏは背景の領域に含まれる画素となる。このフレーム画像ＦＩｎ＋４の取得時には、フローティングディフュージョン９４に信号電荷の電荷量０．６８７５ｅ−が残留された状態で、リセット処理、電荷蓄積処理、電荷転送処理が実行される。この場合も、信号電荷の電荷量５ｅ−がフォトダイオード９１に蓄積される。この信号電荷の電荷量５ｅ−のうち、信号電荷の電荷量４．５ｅ−がフローティングディフュージョン９２に転送され、信号電荷の電荷量０．５ｅ−がフローティングディフュージョン９３に転送される。その後の電荷分配処理が実行されることで、フローティングディフュージョン９３及びフローティングディフュージョン９４には、電荷量０．５９３７５ｅ−の信号電荷が蓄積された状態となる。最後に、電荷読出処理が実行されることで、フローティングディフュージョン９２，９３に転送される信号電荷（電荷量５．０９３７５ｅ−）が画素信号として出力される。なお、フローティングディフュージョン９４に分配された電荷量０．５９３７５ｅ−の信号電荷は、そのまま残留する。
【００８４】
同様にして、フレーム画像ＦＩｎ＋５においても、フローティングディフュージョン９４に信号電荷の電荷量０．５９３７５ｅ−が残留された状態でリセット処理、電荷蓄積処理、電荷転送処理及び電荷読出処理が実行される。このフレーム画像ＦＩｎ＋５の取得時には、上述した電荷分配処理により、電荷量０．５４６８７５ｅ−の信号電荷がフローティングディフュージョン９３及びフローティングディフュージョン９４に蓄積される。この場合には、電荷読出処理によりフローティングディフュージョン９２，９３に転送された信号電荷（電荷量５．０４６８７５ｅ−）が画素信号として出力される。なお、フローティングディフュージョン９４に分配された電荷量０．５４６８７５ｅ−の信号電荷は、そのまま残留する。また、フレーム画像ＦＩｎ＋６もフローティングディフュージョン９４に信号電荷の電荷量０．５４６８７５ｅ−が残留された状態でリセット処理、電荷蓄積処理、電荷転送処理及び電荷読出処理が実行される。このフレーム画像ＦＩｎ＋６の取得時には、上述した電荷分配処理により、電荷量０．５２３４３７５ｅ−の信号電荷がフローティングディフュージョン９３及びフローティングディフュージョン９４に蓄積される。この場合には、電荷読出処理によりフローティングディフュージョン９２，９３に転送された信号電荷（電荷量５．０２３４３７５ｅ−）が画素信号として出力される。なお、フローティングディフュージョン９４に分配された電荷量０．５２３４３７５ｅ−の信号電荷は、そのまま残留する。
【００８５】
このように、画素Ｏから出力される各フレーム画像における信号電荷の電荷量は、９．５ｅ−→、９．７５ｅ−→９．９．８７５ｅ−→５．１８７５ｅ−→５．０９３７５ｅ−→５．０４６８７５ｅ−→５．０２３４３７５ｅ−と変化し、背景の領域における光量に基づく電荷量５ｅ−に収束していく。つまり、フレーム画像ＦＩｎ＋３以降のフレーム画像において、残像効果が徐々に低減されていることから、フレーム画像ＦＩｎ＋３以降のフレーム画像において、残像効果を適切に付与することができる。
【００８６】
次に、画素Ｐについて、図３、図１４及び図１５を用いて説明する。フレーム画像ＦＩｎ及びフレーム画像ＦＩｎ＋１の取得時においては、画素Ｐは被写体Ｖの領域に含まれる画素であることから、これらフレーム画像ＦＩｎ，ＦＩｎ＋１の取得時に読み出される信号電荷の電荷量や、フローティングディフュージョン９４に残留する信号電荷の電荷量（読出光量）は、画素Ｏと同一の値となる。フレーム画像ＦＩｎ＋２の取得時には、画素Ｐは、被写体Ｖの領域ではなく、背景の領域に含まれる画素となる。このため、電荷蓄積処理では、背景における信号電荷の電荷量５ｅ−がフォトダイオード９１に蓄積される。つまり、電荷転送処理が行われると、信号電荷の電荷量４．５ｅ−がフローティングディフュージョン９２に転送され、信号電荷の電荷量０．５ｅ−がフローティングディフュージョン９３に転送される。このとき、フローティングディフュージョン９４には、信号電荷の電荷量０．７５ｅ−が蓄積されていることから、電荷分配処理によりフローティングディフュージョン９３及びフローティングディフュージョン９４に蓄積される信号電荷は、電荷量０．６２５ｅ−となる。つまり、電荷読出処理が実行されると、フローティングディフュージョン９２及びフローティングディフュージョン９３に転送された信号電荷（電荷量５．１２５ｅ−）が画素信号として出力される。このとき、フローティングディフュージョン９４に蓄積される信号電荷は、そのまま残留される。
【００８７】
なお、フレーム画像ＦＩｎ＋３以降（フレーム画像ＦＩｎ＋３、フレーム画像ＦＩｎ＋４、フレーム画像ＦＩｎ＋５及びフレーム画像ＦＩｎ＋６）においては、画素Ｐは背景の領域に含まれる画素となることから、フレーム画像ＦＩｎ＋２と同様に、背景の領域の光量に基づく電荷量５ｅ−がフォトダイオード９１にて受光され、フォトダイオード９１に蓄積される信号電荷の９０％がフローティングディフュージョン９２に転送され、残りの１０％がフローティングディフュージョン９３に転送される。その後、電荷分配処理により、フローティングディフュージョン９３及びフローティングディフュージョン９４に蓄積された信号電荷は、等しくされた後、電荷読出処理により、フローティングディフュージョン９２及びフローティングディフュージョン９３に蓄積された信号電荷に基づく電圧が画素信号として出力される。
【００８８】
このように、画素Ｐから出力される各フレーム画像における信号電荷の電荷量は、９．５ｅ−→、９．７５ｅ−→５．１２５ｅ−→５．０６２５ｅ−→５．０３１２５ｅ−→５．０１５６２５ｅ−→５．００７８１２５ｅ−と変化し、背景の領域における光量に基づく電荷量５ｅ−に収束していく。つまり、画素Ｐは、フレーム画像ＦＩｎ＋２以降のフレーム画像において、残像効果が徐々に低減されていることから、フレーム画像ＦＩｎ＋２以降のフレーム画像において、残像効果を適切に付与することができる。
【００８９】
最後に、画素Ｑについて、図３、図１６及び図１７を用いて説明する。この画素Ｑは、被写体Ｖの領域ではなく、背景の領域に含まれる画素である。つまり、この画素Ｑには、各フレーム画像の取得時には、背景の領域における光量に基づく電荷量５ｅ−が、フォトダイオード９１に蓄積される。この画素Ｑにおいても、画素Ｏ、画素Ｐと同一の処理が実行されることから、フォトダイオード９１に蓄積される信号電荷の９０％がフローティングディフュージョン９２に転送され、残りの１０％がフローティングディフュージョン９３に残留する。そして、電荷分配処理が行われることで、フローティングディフュージョン９３及びフローティングディフュージョン９４に蓄積される信号電荷が等しくされる。最後に、電荷読出処理によりフローティングディフュージョン９２及びフローティングディフュージョン９３に蓄積された信号電荷に基づく電圧が、画素信号として出力される。この画素Ｑから出力される各フレーム画像における信号電荷の電荷量は、４．７５ｅ−→、４．８７５ｅ−→４．９３７５ｅ−→４．９６８７５ｅ−→４．９８４３７５ｅ−→４．９９２１８７５ｅ−→４．９９６０９３７５ｅ−と背景の領域における光量に基づく電荷量５ｅ−に収束する。なお、この画素Ｑは、動画撮影時には背景の領域に含まれる画素となることから、この画素Ｑにおいては、残像効果が付与されないことがわかる。
【００９０】
このようにして、撮像素子１６から出力される画像信号は、残像効果が付与された画像信号となる。図１０に示すように、取得された動画像を表示すると、移動する被写体に対しては適切な残像効果が付与され、背景の領域には、残像効果は付与されない動画像として表示される。つまり、撮像素子の各画素の構成、言い換えればフローティングディフュージョンの数を増やし、また、撮像素子１６に対する制御を変更することで、残像効果を付与した動画像を容易に取得することができる。この場合も、通常の動画撮影により得られた動画像に対して残像効果を付与する画像処理を行わずに済む。これにより、画像処理回路３０の処理負荷を増加させなくとも、残像効果を付与した動画像を容易に取得することが可能となる。
【００９１】
この第２実施形態においても、第１実施形態と同様に、残像効果を付与する動画撮影を開始した直後のフレーム画像において、各画素から読み出される光量に基づく信号電荷の電荷量が実際の電荷量よりも低くなっていることから、残像効果を付与する動画撮影の開始から得られる２，３フレーム目までのフレーム画像は記録せずに削除することも可能である。また、この他に、残像効果を付与する動画撮影の開始から得られる２，３フレーム目までのフレーム画像に対しては、例えば撮像素子８１に設けられるカラムアンプ８５や出力アンプ８７において、その出力値を増幅させることも可能である。また、この他に、ＡＦＥ回路１８におけるゲインコントロール処理によって各画素からの出力値を増幅させることも可能である。さらに、画像処理回路３０における階調変換処理などの際に、２，３フレーム目までのフレーム画像を補正することも可能である。
【００９２】
この第２実施形態では、フローティングディフュージョン９４を、残留させる信号電荷を次のフレーム画像の取得時にまで蓄積させておく実施形態としているが、これに限定される必要はなく、フローティングディフュージョン９３に蓄積される信号電荷を蓄積させることも可能である。また、この他に、フレーム画像毎に、次のフレーム画像の取得時まで残留させる信号電荷を蓄積させておくフローティングディフュージョンを切り替えることも可能である。
【００９３】
上述した第２実施形態では、各画素に設けられるフローティングディフュージョンの数を３個としているが、これに限定される必要はなく、各画素に設けられるフローティングディフュージョンは２個以上であればよい。なお、各画素に設けられるフローティングディフュージョンの数を２個とした場合には、上述した電荷分配処理を行う必要はない。例えば、画素に設けられるフローティングディフュージョンを、フローティングディフュージョンＸ、フローティングディフュージョンＹとした場合、フローティングディフュージョンＸとフローティングディフュージョンＹの容量比を９：１とする。この場合、上述した電荷転送処理時にフォトダイオードに蓄積された信号電荷をフローティングディフュージョンＸ，Ｙに転送すると、フローティングディフュージョンＸには９０％の信号電荷が転送され、フローティングディフュージョンＹには１０パーセントの信号電荷が転送される。そして、電荷読出処理が実行されたときには、フローティングディフュージョンＸに蓄積された信号電荷を画素信号として出力し、フローティングディフュージョンＹに蓄積された信号電荷を残留させる。そして、次のフレーム画像を取得するときに、フォトダイオードに蓄積される信号電荷をフローティングディフュージョンＸ，Ｙのそれぞれに転送する。このとき、フローティングディフュージョンＹに信号電荷が蓄積されている。また、フローティングディフュージョンＸ，Ｙには等電位となることから、フォトダイオードに蓄積される信号電荷とフローティングディフュージョンＹに蓄積される信号電荷との総和が、容量比９：１となるようにフローティングディフュージョンＸ，Ｙに分配される。そして、電荷読出処理においてフローティングディフュージョンＸに転送された信号電荷に基づく電圧を画素信号として出力すればよい。なお、フローティングディフュージョンＹに転送された信号電荷は、次のフレーム画像の取得時まで残留される。
【００９４】
この場合も、撮像素子の各画素の構成、言い換えればフローティングディフュージョンの数を増やし、また、撮像素子１６に対する制御を変更することで、残像効果を付与した動画像を容易に取得することができるので、画像処理による残像効果を付与する必要はなく、画像処理回路の処理負荷を低減させることができる。
【００９５】
第１実施形態及び第２実施形態においては、動画撮影を例に挙げているが、撮影待機状態のときに得られるスルー画像や、静止画像を連続的に撮影する、所謂連写撮影にて得られる画像を取得する場合にも、本発明を適用することができる。
【００９６】
第１実施形態及び第２実施形態における撮像装置として、ＣＭＯＳイメージセンサを備えたデジタルカメラを挙げて説明しているが、これに限定される必要はなく、ＣＣＤイメージセンサを用いることも可能である。
【００９７】
本発明は、撮像装置として、デジタルカメラを例に取り上げて説明しているが、これに限定される必要はなく、例えば携帯型電話機などの携帯型電子機器にカメラ機能が付加されていれば、そのような携帯型電子機器に対して本発明を用いることが可能である。
【符号の説明】
【００９８】
１０…デジタルカメラ、１６，８１…撮像素子、１７…タイミングジェネレータ、４６…残像付与ボタン、５１，８２…垂直走査回路、５２，８３…水平走査回路、６１，９１…フォトダイオード、６２，９２，９３，９４…フローティングディフュージョン、６３、９５…転送トランジスタ、６６、１０１…リセットトランジスタ、９６，９７，９８…スイッチングトランジスタ
【図１】
2013165416.tif 000003
【図２】
2013165416.tif 000004
【図３】
2013165416.tif 000005
【図４】
2013165416.tif 000006
【図５】
2013165416.tif 000007
【図６】
2013165416.tif 000008
【図７】
2013165416.tif 000009
【図８】
2013165416.tif 000010
【図９】
2013165416.tif 000011
【図１０】
2013165416.tif 000012
【図１１】
2013165416.tif 000013
【図１２】
2013165416.tif 000014
【図１３】
2013165416.tif 000015
【図１４】
2013165416.tif 000016
【図１５】
2013165416.tif 000017
【図１６】
2013165416.tif 000018
【図１７】
2013165416.tif 000019