(57)【要約】【課題】回路規模を大幅に増加させることなく、撮像画像内の被写体の動きを精度良く検出する。【解決手段】撮像部２１では、外部からの光を画素単位で光電変換し、その結果得られた電荷を画素単位で蓄積する。撮像部２１は、１フレームの撮像時間内に、蓄積されている電荷に対応する信号を直後に撮像される撮像画像内の被写体の動きを検出するための検出信号として、複数回非破壊で読み出す。また、撮像部２１は、１フレームの撮像時間ごとに、蓄積されている電荷に対応する信号を、撮像画像信号として読み出す。本発明は、例えば、撮像装置に適用することができる。【選択図】図１
2010074584.tif 000002
【特許請求の範囲】
【請求項１】
外部からの光を画素単位で光電変換する光電変換手段と、
前記光電変換手段により得られた電荷を画素単位で蓄積する蓄積手段と、
１フレームの撮像時間内に、前記蓄積手段により蓄積されている電荷に対応する信号を直後に撮像される撮像画像内の被写体の動きを検出するための検出信号として、複数回非破壊で読み出す検出信号読出手段と、
１フレームの撮像時間ごとに、前記蓄積手段により蓄積されている電荷に対応する信号を、撮像画像信号として読み出す撮像画像信号読出手段と
を備える撮像装置。
【請求項２】
前記検出信号読出手段の読み出しを制御する検出信号読出制御手段と、
前記撮像画像信号読出手段の読み出しを制御する撮像画像信号読出制御手段と
をさらに備え、
前記検出信号読出手段と前記撮像画像信号読出手段は、それぞれ、少なくとも１つのトランジスタを有し、
前記蓄積手段は、前記検出信号読出手段または前記撮像画像信号読出手段の前記トランジスタのバックゲートであり、
前記検出信号読出手段は、前記撮像画像信号読出制御手段が、前記撮像画像信号読出手段の前記トランジスタのゲートに電位を与えることにより、前記検出信号読出手段の前記トランジスタのバックゲートに前記電荷を蓄積させるとともに、前記検出信号読出制御手段が、前記検出信号読出手段の前記トランジスタのゲートに電位を与える場合、前記検出信号読出手段の前記トランジスタの前記バックゲートに蓄積された前記電荷に対応する信号を、前記検出信号として出力することにより、前記検出信号の非破壊読み出しを行い、
前記撮像画像信号読出手段は、前記検出信号読出制御手段が、前記検出信号読出手段の前記トランジスタのゲートに電位を与えることにより、前記撮像画像信号読出手段の前記トランジスタのバックゲートに前記電荷を蓄積させるとともに、前記撮像画像信号読出制御手段が、前記撮像画像信号読出手段の前記トランジスタのゲートに電位を与える場合、前記撮像画像信号読出手段の前記トランジスタの前記バックゲートに蓄積された前記電荷に対応する信号を、前記撮像画像信号として出力することにより、前記撮像画像信号の非破壊読み出しを行う
請求項１に記載の撮像装置。
【請求項３】
前記検出信号読出手段および前記撮像画像信号読出手段の読み出しを制御する読出制御手段
をさらに備え、
前記検出信号読出手段と前記撮像画像信号読出手段は、共通の１つのトランジスタを有し、
前記蓄積手段は、前記トランジスタのバックゲートであり、
前記読出制御手段が前記トランジスタのゲートに電位を与える場合、前記検出信号読出手段が、前記バックゲートに蓄積された前記電荷に対応する信号を、前記検出信号として出力することにより、前記検出信号の非破壊読み出しを行うか、または、前記撮像画像信号読出手段が、前記バックゲートに蓄積された前記電荷に対応する信号を、前記撮像画像信号として出力することにより、前記撮像画像信号の非破壊読み出しを行う
請求項１に記載の撮像装置。
【請求項４】
前記検出信号読出手段の読み出しを制御する検出信号読出制御手段と、
前記撮像画像信号読出手段の読み出しを制御する撮像画像信号読出制御手段と
をさらに備え、
前記検出信号読出手段と前記撮像画像信号読出手段は、それぞれ、少なくとも１つのトランジスタを有し、
前記蓄積手段は、前記検出信号読出手段の前記トランジスタのバックゲートであり、
前記検出信号読出手段は、前記検出信号読出制御手段が、前記検出信号読出手段の前記トランジスタのゲートに電位を与える場合、そのトランジスタの前記バックゲートに蓄積された前記電荷に対応する信号を、前記検出信号として出力することにより、前記検出信号の非破壊読み出しを行い、
前記撮像画像信号読出手段は、前記撮像画像信号読出制御手段が、前記撮像画像信号読出手段の前記トランジスタのゲートに電位を与える場合、前記バックゲートに蓄積された電荷を破壊し、その電荷に対応する信号を前記撮像画像信号として出力することにより、前記撮像画像信号の読み出しを行う
請求項１に記載の撮像装置。
【請求項５】
前記検出信号読出手段は、前記蓄積手段により蓄積されている画素単位の前記電荷のうちの、一部の画素の電荷に対応する信号を前記検出信号として読み出す
請求項１に記載の撮像装置。
【請求項６】
前記検出信号を用いて、前記直後に撮像される撮像画像内の前記被写体の動きを検出する検出手段と、
前記検出手段により検出された前記被写体の動きと、前記撮像画像信号とに基づいて、前記撮像画像信号から動きぼけを削減する削減手段と
をさらに備える
請求項１に記載の撮像装置。
【請求項７】
前記検出手段は、前記撮像画像の画面を走査ライン単位で複数の領域に分割し、各領域の撮像時間内の前記撮像画像内の前記被写体の動きを検出する
請求項６に記載の撮像装置。
【請求項８】
前記削減手段は、前記被写体の動き、前記撮像画像信号、および、前記外部からの光を集光する光学系のSPFに基づいて、前記撮像画像信号から動きぼけを削減する
請求項６に記載の撮像装置。
【請求項９】
撮像装置が、
外部からの光を画素単位で光電変換する光電変換ステップと、
前記光電変換ステップの処理により得られた電荷を画素単位で蓄積する蓄積ステップと、
１フレームの撮像時間内に、前記蓄積ステップの処理により蓄積されている電荷に対応する信号を直後に撮像される撮像画像内の被写体の動きを検出するための検出信号として、複数回非破壊で読み出す検出信号読出ステップと、
１フレームの撮像時間ごとに、前記蓄積ステップの処理により蓄積されている電荷に対応する信号を、撮像画像信号として読み出す撮像画像信号読出ステップと
を含む撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像方法に関し、特に、回路規模を大幅に増加させることなく、撮像画像内の被写体の動きを精度良く検出することができるようにした撮像装置および撮像方法に関する。
【背景技術】
【０００２】
デジタルカメラ、ビデオカメラ、携帯電話に搭載されるカメラ、監視カメラ等のカメラには、CCD（Charge Coupled Device）イメージセンサ、またはCMOS（Coplementary Metal-Oxide Semiconductor）イメージセンサが撮像素子として使用される。
【０００３】
近年、これらのイメージセンサの製造工程には、最先端の微細化プロセスが用いられるようになってきている。この微細化プロセスにより、イメージセンサそのものを小型化してコストダウンを行ったり、撮像素子の画素数を増大させたりすることができる。
【０００４】
しかしながら、画素サイズが縮小化するため、撮影用の光に対する感度が低下する。従って、暗い場所での撮影では、イメージセンサの電荷蓄積時間内のカメラの動きによるぼけや被写体の動きによるぼけ（以下、動きぼけという）が顕著に現れる。
【０００５】
例えば、デジタルスチルカメラでは、夜景や暗い室内での長時間露光撮影の際、動きぼけが顕著に現れ、撮像画像が動きぼけによって大きく劣化する。デジタルスチルカメラ自体の大きさや重さにも依存するが、露光時間が1/15秒以上では、この動きぼけが目立つ。
【０００６】
また、望遠レンズを使用して遠景を撮影する場合にも、画素サイズの縮小化により、カメラの微細な動きが撮像面では大きな動きとして現れ、動きぼけが顕著になる。
【０００７】
さらに、画素サイズの縮小化によって、これまで通常の撮影では問題とならなかったデジタルスチルカメラの些細な動きによっても、イメージセンサの撮像面で結像された像が、周辺画素に移動することになり、動きぼけが顕著に現れる。その結果、撮像画像の解像度や鮮鋭度が低下する。また、高画素数化のために画素サイズの縮小化が進むと、動きぼけはさらに顕著になり、折角の高画素数化による効果が半減することになる。
【０００８】
また、ビデオカメラにおいても、フレーム間のビデオカメラの動きなどにより動きぼけが発生する。従って、フルＨＤ（High Definition）から、２Ｋｘ４Ｋや４Ｋｘ８Ｋに高画素数化が進むと、デジタルスチルカメラの場合と同様に、些細なビデオカメラの動きによる周辺画素への影響を無視できなくなってくる。
【０００９】
以上のように、画素サイズの縮小化によって、動きぼけは、撮影条件によらず顕著に現れる。従って、動きぼけの防止および削減は、画素の微細化が進む際には必須となる。
【００１０】
ところで、動きぼけを削減する方法は、従来から広く検討されている。
【００１１】
例えば、第１の方法として、光学的、メカ的にカメラによる動きの補正を行う方法がある。この方法では、カメラは、例えば、加速度センサや速度サンサなどの動きセンサと可動部を有するレンズ等の光学系から構成される。そして、カメラは、動きセンサにより検出されたカメラの不用な動きにしたがって、光学系を移動させることにより、撮像面での被写体としての静止物体の動きを補正する。
【００１２】
この第１の方法では、カメラが適正に動作すれば優れた性能を発揮するが、動き検出のための動きセンサや新たな光学部品が必要であり、小型化やコストダウンには適してない。また、光学的、メカ的な動作のため、高速な動きへの追従性能などが良くない。
【００１３】
また、第２の方法として、イメージセンサから読み出された１フレーム分の画像データの解析により、カメラの動きを分析して動きぼけを推定し、画像処理的に動きぼけの削減を行う方法がある。この第２の方法では、信号処理だけで動きぼけの削減を行うことができるため、容易に実現可能である。
【００１４】
しかしながら、１枚のフレームの画像データからカメラの本来の動きを正確に推定することは不可能であり、第２の方法は、あくまでも近似的に動きぼけを低減するという範囲に留まる。なお、第２の方法では、リアルタイム性が要求されないため、撮影後に、パーソナルコンピュータなどで、オフラインで処理を行うことができる。
【００１５】
さらに、第３の方法として、カメラの動きそのものを検出するカメラを別に設け、動きぼけの検出能力を強化した方法がある(例えば、非特許文献１)。この第３の方法では、例えば、撮影用のカメラと動き検出用のカメラの計２台のカメラが設けられ、動き検出用のカメラでカメラの動きが検出され、その動きに基づいて撮像画像から動きぼけを削減するための画像処理が行われる。
【００１６】
第３の方法では、第２の方法に比べて、動きそのものをより正確に検出することができるため、動きぼけの低減に効果がある。しかしながら、２台のカメラを使用する必要があり、実際の製品として実用化するのは難しい。
【００１７】
一方、近年、イメージセンサに蓄積された電荷を破壊せずに、その電荷に対応する画像信号を読み出す非破壊読み出しが可能な回路が考案されている(例えば、非特許文献２参照)。
【００１８】
【非特許文献１】Moshe Ben-Ezra, Shree K. Nayar “Motion-Based Motion Deblurring”, IEEE Transactions of Pattern Analysis and Machine Intelligence, June 2004, Vol. 26, No. 6, p.689698
【非特許文献２】T.Nakamura, K.Matsumoto, R.Hyuga and A.Yusa “A NEW MOS IMAGE SENSOR OPERATING IN A NON-DESTRUCTIVE READOUT_MODE”, Electron Devices Meeting,1986 International,p.353-356
【発明の開示】
【発明が解決しようとする課題】
【００１９】
以上のように、動きぼけを削減する方法としては様々な方法が考案されているが、回路規模を大幅に増加させることなく、撮像画像内の被写体の動きを精度良く検出し、動きぼけを高精度で削減する方法は考えられていなかった。
【００２０】
本発明は、このような状況に鑑みてなされたものであり、回路規模を大幅に増加させることなく、撮像画像内の被写体の動きを精度良く検出することができるようにするものである。
【課題を解決するための手段】
【００２１】
本発明の一側面は、外部からの光を画素単位で光電変換する光電変換手段と、前記光電変換手段により得られた電荷を画素単位で蓄積する蓄積手段と、１フレームの撮像時間内に、前記蓄積手段により蓄積されている電荷に対応する信号を直後に撮像される撮像画像内の被写体の動きを検出するための検出信号として、複数回非破壊で読み出す検出信号読出手段と、１フレームの撮像時間ごとに、前記蓄積手段により蓄積されている電荷に対応する信号を、撮像画像信号として読み出す撮像画像信号読出手段とを備える撮像装置である。
【００２２】
本発明の一側面は、撮像装置が、外部からの光を画素単位で光電変換する光電変換ステップと、前記光電変換ステップの処理により得られた電荷を画素単位で蓄積する蓄積ステップと、１フレームの撮像時間内に、前記蓄積ステップの処理により蓄積されている電荷に対応する信号を直後に撮像される撮像画像内の被写体の動きを検出するための検出信号として、複数回非破壊で読み出す検出信号読出ステップと、１フレームの撮像時間ごとに、前記蓄積ステップの処理により蓄積されている電荷に対応する信号を、撮像画像信号として読み出す撮像画像信号読出ステップとを含む撮像方法である。
【００２３】
本発明の一側面においては、外部からの光が画素単位で光電変換され、その電荷が画素単位で蓄積され、１フレームの撮像時間内に、蓄積されている電荷に対応する信号が、直後に撮像される撮像画像内の被写体の動きを検出するための検出信号として、複数回非破壊で読み出され、１フレームの撮像時間ごとに、蓄積されている電荷に対応する信号が、撮像画像信号として読み出される。
【発明の効果】
【００２４】
以上のように、本発明の一側面によれば、回路規模を大幅に増加させることなく、撮像画像内の被写体の動きを精度良く検出することができる。
【発明を実施するための最良の形態】
【００２５】
図１は、本発明を適用した撮像装置の一実施の形態の構成例を示すブロック図である。
【００２６】
図１の撮像装置１０は、非破壊読み出し可能なCMOSイメージセンサであるイメージセンサ１１と、信号処理部１２により構成され、撮像時間内に撮像装置１０や被写体が動くことによって生じる撮像画像内の被写体の動きを検出し、撮像画像の動きぼけを削減する。
【００２７】
イメージセンサ１１において、撮像部２１は、モザイク上に配置されたカラーフィルタ２１Ａを通過した外部からの光を画素単位で光電変換し、その結果得られる電荷を蓄積する。この撮像部２１には、読み出し経路として、撮像用の読み出し経路と動き検出用の読み出し経路の２つが設けられている。
【００２８】
具体的には、撮像部２１は、画像用垂直走査回路２２により選択された制御線２３に対応する、１フレームの撮像時間内に画素単位で蓄積された電荷に対応する信号を、撮像画像の画像信号（以下、撮像画像信号という）として読み出す。これにより、所定のフレームレートで、走査線ごとに撮像画像信号が読み出され、読み出し線２４を介して画像用カラム並列ADC２５に供給される。
【００２９】
また、撮像部２１は、検出用垂直走査回路２９により選択された制御線３０に対応する、１フレームの撮像時間より短い時間内に画素単位で蓄積された電荷に対応する信号を、直後に撮像される撮像画像内の被写体の動きを検出するための検出信号として非破壊で読み出す。これにより、撮像画像のフレームレートより高速のフレームレートで、走査線ごとに検出信号が読み出され、読み出し線３１を介して検出用カラム並列ADC３２に供給される。
【００３０】
画像用垂直走査回路２２は、各走査線に対応する制御線２３を順次選択することにより、撮像部２１による撮像画像信号の読み出しを制御する。画像用カラム並列ADC２５は、撮像部２１から供給される撮像画像信号に対してA/D（Analog/Digital）変換を行い、その結果得られる撮像画像信号を、信号線２６を介して読み出し回路２７に供給する。
【００３１】
読み出し回路２７は、デジタル回路であり、画像用カラム並列ADC２５から供給される撮像画像信号を、信号線２８を介して信号処理部１２に出力する。
【００３２】
検出用垂直走査回路２９は、所定の走査線に対応する制御線３０を選択することにより、撮像部２１による検出信号の読み出しを制御する。検出用カラム並列ADC３２は、撮像部２１から供給される検出信号に対してA/D変換を行い、その結果得られる検出信号を、信号線３３を介して読み出し回路３４に供給する。
【００３３】
読み出し回路３４は、デジタル回路であり、検出用カラム並列ADC３２から供給される検出信号を、信号線３５を介して信号処理部１２に出力する。
【００３４】
信号処理部１２において、カメラ信号処理部４１は、読み出し回路２７から信号線２８を介して供給される撮像画像信号に対して、各種の補正、レベル調整、デモザイク処理（詳細は後述する）などを行う。そして、信号処理部１２は、その結果得られる撮像画像信号を、信号線４２を介してバッファメモリ４３に供給する。
【００３５】
なお、デモザイク処理とは、撮像画像信号としてのＲ，Ｇ，Ｂのデータ（以下、ＲＡＷデータという）から、全画面の各画素のＲ，Ｇ，Ｂのデータを補間してＲＧＢの３面のデータ（ビットマップデータ）を求める処理である。
【００３６】
また、カメラ信号処理部４１における処理は、上述した処理に限定されない。例えば、カメラ信号処理部４１においてデモザイク処理が行われず、撮像画像信号としてＲＡＷデータを用いて後段の処理が行われ、最後にデモザイク処理が行われるようにしてもよい。
【００３７】
この場合、ＲＡＷデータを用いて後述する動きぼけの推定が行われるので、より実際の動きぼけに近い動きぼけを推定することができ、より精度良く動きぼけを削減することができる。また、ＲＡＷデータのデータ量は、ビットマップデータのデータ量の1/3であるので、後段の処理の演算量を抑えることが可能となる。さらに、動きぼけの削減処理時に、デモザイク処理を行うことで、演算の効率化が実現できる場合もある。
【００３８】
バッファメモリ４３は、後段の処理とのタイミング調整のため、カメラ信号処理部４１から供給される撮像画像信号を一時的に保持する。
【００３９】
フレーム差分部４４は、読み出し回路３４から信号線３５を介して供給される、連続する２フレームの検出信号の画素ごとの差分を求め、動き検出用の画像の画像信号（以下、動き検出画像信号という）とする。そして、フレーム差分部４４は、この動き検出画像信号を、信号線４５を介してノイズリダクション部４６に供給する。
【００４０】
ノイズリダクション部４６は、後段の処理の安定化のため、フレーム差分部４４から供給される動き検出画像信号のノイズレベルを低減する。このノイズレベルの低減方法としては、一般的に、メディアンフィルタ、バイラレタルフィルタ、平均化処理などがある。ノイズリダクション部４６は、ノイズレベルが低減された動き検出画像信号を、信号線４７を介して動き検出部４８に供給する。なお、ノイズリダクション部４６は設けられなくてもよい。
【００４１】
動き検出部４８は、ノイズリダクション部４６から供給される動き検出画像信号に基づいて、その動き検出画像信号に対応する動き検出用の画像における動きベクトルを検出する。この動きベクトルを検出する方法としては、ブロックマッチング法、オプティカルフロー法、コーナトラッキング法等がある。
【００４２】
ブロックマッチング法とは、現在のフレームとそれより１つ前のフレームの画像のブロックの差分値を求め、その差分値が最小となるブロック間のベクトルを動きベクトルとして求める方法である。
【００４３】
また、オプティカルフロー(Optical Flow)法とは、Lucas-Kanade法に代表される方法であり、画像を光の場と捉えて、その流れの計算により画像の動きベクトルを検出する方法である。
【００４４】
さらに、コーナトラッキング法とは、物体や風景などの被写体のコーナを特徴点(Feature Point, Interest Point)として検出し、その特徴点をトラッキングすることにより、動きベクトルを求める方法である。このコーナトラッキング法は、ハリスディテクタ（Harris Detector）に代表されるコーナ検出機能と、パーティクルフィルタ（Particle Filter）などのトラッキング機能を用いて実現することができる。
【００４５】
なお、動きベクトルの検出を画面内の全ての点において行うことは困難であるため、動き検出部４８は、離散的なサンプリング点においてのみ動きベクトルの検出を行う。動き検出部４８により検出された動きベクトルは、信号線４９を介して動きベクトル場生成部５０に供給される。
【００４６】
動きベクトル場生成部５０は、動き検出部４８から供給される各サンプリング点の動きベクトルに基づいて、画面内の全ての点の動きベクトルを演繹し、補間する。例えば、被写体として動物体が含まれず、撮像装置１０の動きが回転成分を含まない場合、画面内の動きの大きさは均一となる。しかしながら、この均一性は蓄積時間が同一となる走査線上でのみ存在するので、画面の垂直方向での補間は行う必要がある。
【００４７】
また、撮像装置１０の動きが回転成分を含む場合、画面内の動きの大きさは、回転中心からの距離によって異なり、動きの方向も位置によって異なる。従って、それらを考慮して補間を行う必要がある。よって、動きベクトル場生成部５０は、例えば、距離によって重み付けされた動きベクトルの和を補間後の動きベクトルとして求める。
【００４８】
また、動きベクトル場生成部５０は、補間の結果得られる画面内の全ての点の動きベクトルを、信号線５１を介して軌跡補間部５２に供給する。
【００４９】
軌跡補間部５２は、動きベクトル場生成部５０から供給される、連続する所定数の各動き検出用画像内の全ての点の動きベクトルに基づいて、スプライン関数などによって、その動き検出用画像に対応する撮像画像内の被写体の動きの軌跡を求める。そして、軌跡補間部５２は、求められた動きの軌跡を、信号線５３を介してPSF（Point Spread Function）生成部５４に供給する。
【００５０】
PSF生成部５４は、軌跡補間部５２からの動きベクトルの軌跡と、光学PSFデータメモリ５５からの光学PSFデータとに基づいて、動きぼけを削減するための関数としてのPSF（以下、動きぼけPSFという）を求めることにより、各画素の動きぼけを推定する。なお、光学PSFデータとは、外部からの光を集光し、カラーフィルタ２１Ａを通過させる光学系（図示せず）のPSFを表すデータであり、撮像部２１の有する光学的なぼけを表すデータである。
【００５１】
また、PSF生成部５４は、求められた動きぼけPSFを表す動きぼけPSFデータを、信号線５７を介して動きぼけ削減部５９に供給する。
【００５２】
光学PSFデータメモリ５５は、光学PSFデータを予め記憶している。この光学PSFデータは、必要に応じて読み出され、信号線５６を介してPSF生成部５４に供給される。
【００５３】
動きぼけ削減部５９は、バッファメモリ４３から撮像画像信号を、信号線５８を介して読み出す。動きぼけ削減部５９は、PSF生成部５４から供給される動きぼけPSFデータを用いて、バッファメモリ４３から読み出された撮像画像信号の動きぼけを削減し、信号線６０を介して外部に出力する。
【００５４】
バッファメモリ６１は、フレーム差分部４４から動きぼけ削減部５９までの経路で出力されるデータや演算途中結果などを保持する。検出制御部６２は、検出信号の読み出し方法を表す選択信号を、信号線６３を介してイメージセンサ１１の検出用垂直走査回路２９に送信する。この選択信号に基づいて、検出用垂直走査回路２９は制御線３０の選択を行う。
【００５５】
以上のように、撮像装置１０では、イメージセンサ１１が、所定のフレームレートで撮像画像信号を読み出すだけでなく、撮像画像信号より高速のフレームレートで検出信号を非破壊読み出しする。従って、撮像装置１０では、撮像画像を取得するとともに、その撮像画像の撮像時間内に複数フレームの動き検出用画像を取得することができる。
【００５６】
その結果、撮像装置１０は、撮像画像信号を取得するイメージセンサ１１を用いて、撮像画像内の被写体の動きを精度良く検出することができる。即ち、撮像装置１０は、回路規模を大幅に増加させることなく、撮像画像内の被写体の動きを精度良く検出することができる。
【００５７】
次に、図２は、撮像部２１の詳細構成例を示している。
【００５８】
なお、図２では、説明の便宜上、撮像部２１のうちの１画素分の構成、即ち１画素を撮像する画素部の構成について図示してある。このことは、後述する図３においても同様である。
【００５９】
図２に示すように、１画素を撮像する画素部８０では、光電変換を行うフォトダイオード８１が設けられている。このフォトダイオード８１には、撮像画像信号を読み出す撮像画像読出部８２と、検出信号を読み出す検出用画像読出部８３に接続されている。
【００６０】
撮像画像読出部８２は、４つのMOSトランジスタ９１乃至９４と電源９５により構成される。詳細には、撮像画像読出部８２において、MOSトランジスタ９１のソースは、フォトダイオード８１と検出用画像読出部８３のバックゲート１０３（後述する）に接続されている。また、MOSトランジスタ９１のドレインはMOSトランジスタ９２のソースとMOSトランジスタ９３のゲートに接続され、ゲートは、制御線２３のうちのトランスファ信号用の制御線９７に接続されている。
【００６１】
また、電源９５は、MOSトランジスタ９２および９３のドレインに接続されている。MOSトランジスタ９２のゲートは制御線２３のうちの、リセット信号用の制御線９６に接続され、MOSトランジスタ９４のゲートは制御線２３のうちの、走査線選択信号用の制御線９８に接続されている。さらに、MOSトランジスタ９４のドレインはMOSトランジスタ９３のソースに接続され、ソースは読み出し線２４に接続されている。
【００６２】
以上のように構成される撮像画像読出部８２では、画像用垂直走査回路２２により制御線９７が選択されて、トランスファ信号が、トランスファゲートとしてのMOSトランジスタ９１のゲートに供給されると、MOSトランジスタ９１がオンにされる。その結果、検出用画像読出部８３のバックゲート１０３に蓄積された電荷がMOSトランジスタ９３のゲートに転送される。これにより、バックゲート１０３に蓄積された電荷は破壊される。
【００６３】
そして、画像用垂直走査回路２２が制御線９８を選択すると、走査線選択信号がMOSトランジスタ９４のゲートに供給され、MOSトランジスタ９４がオンとなる。その結果、MOSトランジスタ９４に直列接続されているMOSトランジスタ９３で、MOSトランジスタ９１により転送された電荷が増幅され、撮像画像信号として読み出し線２４を介して出力される。
【００６４】
以上のように、画素部８０では、バックゲート１０３に蓄積された電荷が転送されることにより、撮像画像信号の読み出しが行われ、蓄積電荷の転送により蓄積電荷は破壊されるので、撮像画像信号の読み出しは破壊読み出しといえる。
【００６５】
一方、画像用垂直走査回路２２が制御線９６を選択すると、リセット信号がMOSトランジスタ９２に供給される。その結果、MOSトランジスタ９２によって、バックゲート１０３に蓄積された電荷はリセットされる。
【００６６】
検出用画像読出部８３は、MOSトランジスタ１０１と電源１０２により構成される。詳細には、MOSトランジスタ１０１のソースは電源１０２と接続され、ドレインは読み出し線３１と接続され、ゲートは、制御線３０と接続されている。また、MOSトランジスタ１０１のチャンネル領域の直下に設けられるバックゲート１０３は、フォトダイオード８１に接続されている。
【００６７】
以上のように構成される検出用画像読出部８３では、フォトダイオード８１で発生した電荷が、バックゲート１０３に蓄積される。そして、検出用垂直走査回路２９により制御線３０が選択され、制御線３０を介して読み出し信号がMOSトランジスタ１０１のゲートに供給されると、MOSトランジスタ１０１がオンになる。その結果、バックゲート１０３に蓄積された電荷の電荷量に依存した信号が、検出信号として読み出し線３１を介して出力される。
【００６８】
このように、検出用画像読出部８３では、バックゲート１０３に蓄積された電荷が維持されたまま、その電荷の電荷量に依存した検出信号が読み出されるので、検出信号の読み出しは、非破壊読み出しといえる。
【００６９】
次に、図３は、撮像部２１の他の詳細構成例を示している。
【００７０】
図３において、画素部１２０は、フォトダイオード１２１と、図２の検出用画像読出部８３と同様に構成される撮像画像読出部１２２および検出用画像読出部１２３とにより構成され、撮像画像信号についても検出信号と同様に非破壊読み出しを行う。
【００７１】
具体的には、撮像画像読出部１２２は、MOSトランジスタ１３１と電源１３２により構成され、検出用画像読出部１２３は、MOSトランジスタ１４１と電源１４２により構成される。そして、MOSトランジスタ１３１のバックゲート１３３と、MOSトランジスタ１４１のバックゲート１４３が、フォトダイオード１２１に接続されている。
【００７２】
また、MOSトランジスタ１３１のドレインは電源１３２に接続され、ソースは読み出し線２４に接続され、ゲートは制御線２３に接続されている。一方、MOSトランジスタ１４１のソースは電源１４２に接続され、ドレインは読み出し線３１に接続され、ゲートは制御線３０に接続されている。
【００７３】
以上のように構成される画素部１２０では、フォトダイオード１２１で発生した電荷が、検出信号の読み出し時には、検出用画像読出部１２３のバックゲート１４３に蓄積される。具体的には、フォトダイオード１２１で発生した電荷を矢印Ａで示すようにバックゲート１４３に押しやる電位が、撮像画像読出部１２２のMOSトランジスタ１３１のゲートに、撮像用読み出し信号として制御線２３を介して印加される。
【００７４】
そして、検出用垂直走査回路２９により制御線３０が選択され、制御線３０を介して検出用読み出し信号がMOSトランジスタ１４１のゲートに印加され、MOSトランジスタ１４１がオンになる。これにより、バックゲート１４３に蓄積された電荷の電荷量に依存した信号、即ち、電荷量によって変調された信号が、検出信号として読み出し線３１を介して出力される。
【００７５】
一方、撮像画像信号の読み出し時には、フォトダイオード１２１で発生した電荷が、撮像画像読出部１２２のバックゲート１３３に蓄積される。具体的には、検出用画像読出部１２３のバックゲート１４３に蓄積されている電荷を、矢印Ｂで示すように、撮像画像読出部１２２のバックゲート１３３に押しやるような電位が、検出用読み出し信号として、MOSトランジスタ１４１のゲートに制御線３０を介して印加される。
【００７６】
そして、画像用垂直走査回路２２により制御線２３が選択され、制御線２３を介して撮像用読み出し信号がMOSトランジスタ１３１のゲートに印加され、MOSトランジスタ１３１がオンになる。これにより、バックゲート１４３からバックゲート１３３に移動された電荷の電荷量に依存した信号が、撮像画像信号として読み出し線２４を介して出力される。この後、蓄積されている電荷は、例えば、イメージセンサ１１が配置される基板（図示せず）に流され、リセットされる。
【００７７】
以上のように、図３の画素部１２０では、撮像画像信号と検出信号の両方の非破壊読み出しを行うことができる。また、蓄積された電荷をバックゲート１３３または１４３に移動させるので、確実に読み出し動作を行うことができる。さらに、撮像画像信号と検出信号の読み出しに必要なMOSトランジスタは、２つであるので、５つのMOSトランジスタが必要な図２の画素部８０に比べて、画素部１２０を小型化することができる。
【００７８】
なお、バックゲート１３３および１４３に蓄積される電荷は、電子であってもホールであってもよい。
【００７９】
次に、図４乃至図１２を参照して、撮像画像信号と検出信号の読み出しタイミングについて説明する。
【００８０】
まず、図４は、撮像装置１０が長時間露光を行う場合の読み出しタイミングについて示し、図５は、撮像装置１０が比較的短時間の露光を行う場合の読み出しタイミングについて示している。
【００８１】
なお、図４Ａおよび図５Ａでは、横軸は時刻を表し、縦軸は撮像画像内の被写体の動きベクトルの大きさ、即ちシフト量を表している。また、図４Ｂおよび図５Ｂでは、横軸は時刻を表し、縦軸は、読み出される撮像画像信号または検出信号に対応する走査線の画面内の垂直方向の位置を表している。但し、この垂直方向の位置を表す値は、上部ほど大きくなるようになっている。従って、縦軸の上部は画面の上部を表し、下部は画面の下部を表す。このことは、以降の図についても同様である。
【００８２】
図４Ｂでは、撮像画像のフレーム（以下、撮像フレームという）ＰＦ（Picture Frame）１の撮像画像信号と、その次の撮像フレームＰＦ２の撮像画像信号の読み出しの間に、１６枚の動き検出用画像のフレーム（以下、動き検出フレームという）ＤＦ（Detection Frame）１乃至ＤＦ１６の検出信号が読み出される。そして、信号処理部１２は、読み出された１６枚の検出フレームＤＦ１乃至ＤＦ１６の検出信号から、フレームＰＦ２の撮像画像内の被写体の動きベクトルの軌跡を検出し、その軌跡に基づいて動きぼけを削減する。
【００８３】
但し、撮像画像信号と検出信号の読み出しは、走査線ごとに行われるため、図４Ｂに示すように、同一フレームであっても走査線ごとに読み出し時刻が異なっている。図４Ｂの例では、画面の上部の読み出し時刻が早く、画面の下部の読み出し時刻が遅い。即ち、撮像画像信号と検出信号は、画面の上部から下部に向かって走査線ごとに順次読み出される。
【００８４】
従って、図４Ｂに示すように、画面の上部の走査線における撮像時間１６１、画面の中央部の走査線における撮像時間１６２、および画面の下部の走査線における撮像時間１６３は異なっている。
【００８５】
しかしながら、長時間露光が行われる場合、撮像時間１６１乃至１６３の大部分は重なっており、図４Ａに示すように、撮像時間１６１乃至１６３内の被写体の動きベクトルの軌跡に大差はない。従って、信号処理部１２は、画面全体で共通の撮像時間内の被写体の動きベクトルの軌跡を用いて、動きぼけの削減を行うことができる。
【００８６】
これに対して、図５に示すように、露光時間が比較的短い場合、図５Ｂに示すように、撮像フレームＰＦ１１の撮像画像信号と、その次のフレームＰＦ１２の撮像画像信号の読み出しの間が、図４Ｂの場合に比べて短くなる。
【００８７】
このため、画面の上部の走査線における撮像時間１８１、画面の中央部の走査線における撮像時間１８２、および画面の下部の走査線における撮像時間１８３の重なり部分の割合は小さくなる。従って、図５Ａに示すように、撮像時間１８１乃至１８３内の被写体の動きベクトルの軌跡は大きく異なる場合がある。
【００８８】
そこで、露光時間が比較的短い場合、信号処理部１２は、画面全体を垂直方向に走査線単位で複数の領域に分割して、各領域の撮像時間内の被写体の動きベクトルの軌跡を求め、その各領域の動きベクトルの軌跡を用いて、領域ごとに動きぼけの削減を行う。これにより、動きぼけの削減精度を向上させることができる。
【００８９】
また、検出信号のフレームレートが高い場合、即ち、露光時間が短い、撮像時間内に読み出される検出信号のフレーム数が多い等により、検出信号のフレーム間隔が短い場合、複数のフレームの走査線単位の検出信号を同一のタイミングで読み出す必要がある。
【００９０】
図６は、検出信号のフレームレートが高い場合に必要とされる読み出しタイミングについて説明する図である。
【００９１】
なお、図６において、横軸は時刻を表し、縦軸は、読み出される撮像画像信号または検出信号に対応する走査線の画面内の垂直方向の位置を表している。また、図６の場合、電子シャッタは使用されないものとする。
【００９２】
図６では、撮像フレームＰＦ２１の撮像画像信号が読み出された後、その次の撮像フレームＰＦ２２の撮像画像信号が読み出されるまでの間、即ち撮像フレームＰＦ２２の撮像時間２０１内に、４枚の検出フレームＤＦ２１乃至２４の検出信号が読み出される。なお、最後の検出フレームＤＦ２４の検出信号は、撮像フレームＰＦ２２の撮像画像信号の直前のΔ時間だけ前に読み出される。
【００９３】
また、撮像フレームＰＦ２１や、撮像フレームＰＦ２２の次の撮像フレームＰＦ２３の撮像時間内においても、撮像フレームＰＦ２２の場合と同様に、４枚の検出フレームＤＦ２１乃至２４の検出信号が読み出される。
【００９４】
図６の例では、検出フレームＤＦ２１乃至ＤＦ２４のフレーム間隔２０２が短いため、１時刻に、１枚の撮像フレームの撮像信号とともに、４枚の検出フレームＤＦ２１乃至ＤＦ２４の走査線の検出信号を読み出す必要がある。
【００９５】
例えば、時刻２０３では、撮像フレームＰＦ２１の垂直方向の位置２１０の走査線の撮像信号とともに、撮像フレームＰＦ２１を跨いだ４枚の検出フレームの検出信号を読み出す必要がある。具体的には、撮像フレームＰＦ２２の撮像時間内の検出フレームＤＦ２３の垂直方向の位置２１１、検出フレームＤＦ２２の垂直方向の位置２１２、および検出フレームＤＦ２１の垂直方向の位置２１３、並びに撮像フレームＰＦ２１の撮像時間内の検出フレームＤＦ２４の垂直方向の位置２１４の走査線の検出信号を読み出す必要がある。  
【００９６】
また、時刻２０４では、撮像フレームＰＦ２２の撮像信号とともに、撮像フレームＰＦ２２を跨いだ４枚の検出フレームの検出信号を読み出す必要がある。具体的には、時刻２０４では、撮像フレームＰＦ２２の撮像時間２０１内の検出フレームＤＦ２３およびＤＦ２４、並びに、撮像フレームＰＦ２３の撮像時間内の検出フレームＤＦ２１およびＤＦ２２の検出信号を読み出す必要がある。
【００９７】
しかしながら、撮像画像信号と検出信号の読み出しレートが同一である場合、１フレームの撮像画像信号を読み出す間に、４フレームの検出信号を時分割で読み出すことはできない。従って、検出信号の１フレーム当たりの読み出し時間を、撮像画像信号の１フレーム当たりの読み出し時間の1/4にする必要がある。
【００９８】
そこで、撮像装置１０では、以下の第１乃至第３の方法のいずれかを用いて、検出信号の１フレーム当たりの読み出し時間を1/4に削減する。なお、この第１乃至第３の方法のいずれかを用いた読み出しは、検出制御部６２が、その方法を表す選択信号を、信号線６３を介して検出用垂直走査回路２９に送信することにより行われる。
【００９９】
まず、図７を参照して、第１の方法について説明する。
【０１００】
第１の方法は、読出対象とする検出信号の走査線を間引く方法である。
【０１０１】
具体的には、第１の方法では、図７Ａに示すように、４本の走査線につき１本の走査線の検出信号が読み出される。即ち、上からｎ番目、ｎ＋４番目、ｎ＋８番目、・・・の走査線の画素（図中黒丸）の画素部８０（１２０）に蓄積される電荷に対応する検出信号が読み出される。そして、その走査線以外の走査線の画素(図中白丸)の画素部８０（１２０）に蓄積される電荷に対応する検出信号は読み出されない。
【０１０２】
また、図７Ａの黒丸で表される画素の検出信号は、走査線ごとに、上から順に読み出される。即ち、上からｎ番目、ｎ＋４番目、ｎ＋８番目、・・・の順に、各走査線の検出信号が読み出される。なお、図７Ａにおいて、横軸は、画面内の水平方向の位置を表し、縦軸は、画面内の走査線の垂直方向の位置を表している。
【０１０３】
次に、図７Ｂを参照して、第１の方法を用いた場合の時刻２０３（図６）付近における４枚の検出フレームＤＦ２１乃至ＤＦ２４の検出信号の読み出しタイミングについて説明する。なお、図７Ｂにおいて、横軸は時刻を表し、縦軸は、画面内の走査線の垂直方向の位置を表している。また、図７Ｂにおいて、破線はフレームの境界を表している。
【０１０４】
図７Ｂに示すように、時刻２０３において、まず、撮像フレームＰＦ２２の撮像時間内の検出フレームＤＦ２３の、位置２１１に対応する上からａ番目の走査線の検出信号が読み出される。次に、撮像フレームＰＦ２２の撮像時間内の検出フレームＤＦ２２の、位置２１２に対応する上からｂ番目の走査線の検出信号が読み出される。その後、撮像フレームＰＦ２２の撮像時間内の検出フレームＤＦ２１の、位置２１３に対応する上からｃ番目の走査線の検出信号が読み出される。そして、撮像フレームＰＦ２１の撮像時間内の検出フレームＤＦ２４の、位置２１４に対応する上からｄ番目の走査線の検出信号が読み出される。
【０１０５】
次に、時刻２０３の１時刻後において、まず、撮像フレームＰＦ２２の撮像時間内の検出フレームＤＦ２３の、上からａ＋４番目の走査線の検出信号が読み出される。次に、撮像フレームＰＦ２２の撮像時間内の検出フレームＤＦ２２の、上からｂ＋４番目の走査線の検出信号が読み出される。その後、撮像フレームＰＦ２２の撮像時間内の検出フレームＤＦ２１の、上からｃ＋４番目の走査線の検出信号が読み出される。そして、撮像フレームＰＦ２１の撮像時間内の検出フレームＤＦ２４の、上からｄ＋４番目の走査線の検出信号が読み出される。
【０１０６】
そして、時刻２０３の２時刻後において、撮像フレームＰＦ２２の撮像時間内の検出フレームＤＦ２３の、上からａ＋８番目の走査線の検出信号が読み出され、以降も同様に検出信号の読み出しが行われる。
【０１０７】
以上のように、第１の方法を用いた読み出しでは、同一の時刻に読み出す必要のある４枚の検出フレームＤＦ２１乃至ＤＦ２４の検出信号が、検出フレームごとに時分割で読み出され、各検出フレームの検出信号は４走査線ごとに読み出される。
【０１０８】
なお、上述した説明では、読出対象とする走査線を1/4に間引いたが、走査線を1/2に間引くとともに、１本の走査線内の読出対象とする画素数を1/2に間引いて、２本の走査線の検出信号を同時に読み出すことにより、検出信号の１フレーム当たりの読み出し時間を1/4にするようにしてもよい。
【０１０９】
図８を参照して、この場合に読み出される検出信号について説明する。なお、図８において、横軸は、画面内の水平方向の位置を表し、縦軸は、画面内の走査線の垂直方向の位置を表している。また、図８において丸は画素を表している。
【０１１０】
図８に示すように、４本の走査線の全画素からなる間引きブロック２５０を単位として、読出対象が間引きされる。
【０１１１】
具体的には、例えば、間引きブロック２５０内の上から１番目の走査線の１つおきの画素と、上から３番目の走査線の１つおきの画素（図中黒丸）の画素部８０（１２０）に蓄積される電荷が、それぞれ異なる読み出し線３１を介して同時に検出信号として読み出される。
【０１１２】
なお、間引きブロック２５０内の読出対象となる２本の走査線においては、１つおきの画素ごとに検出信号が読み出されるので、画面内の水平方向の画素数分だけ設けられる読み出し線３１を介して、２本の走査線の検出信号を同時に読み出すことができる。
【０１１３】
また、間引きブロック２５０内の上から１番目の走査線の１つおきの画素と、上から３番目の走査線の１つおきの画素（図中黒丸）以外の画素（図中白丸）の画素部８０（１２０）に蓄積される電荷は検出信号として読み出されない。
【０１１４】
次に、図９を参照して、第２の方法について説明する。
【０１１５】
第２の方法は、近隣の画素の検出信号を加算して読み出す方法である。
【０１１６】
具体的には、図９に示すように、撮像部２１の前段に設けられたカラーフィルタ２１Ａは、Ｒ，Ｇ，Ｂの各色のカラーフィルタがベイヤ配置されることにより構成される。そして、カラーフィルタ２１Ａを通過した光が、撮像部２１のフォトダイオード８１（１２１）で光電変換される。その結果、撮像画像信号および検出信号としては、Ｒ，Ｇ，Ｂのいずれかの色の信号、即ち、カラーの信号が読み出されることになる。
【０１１７】
しかしながら、検出信号が、カラーの信号ではなく、グレーの信号であっても、撮像画像内の被写体の動きを検出することができる。
【０１１８】
そこで、第２の方法では、近隣の各色の画素の検出信号を加算し、その結果得られる擬似的なグレーの信号を検出信号として生成する。図９の例では、４×４の画素からなるウィンドウ２７０の検出信号を加算して読み出す。
【０１１９】
次に、図１０を参照して、図９のウィンドウ２７０単位で検出信号を加算して読み出す場合の読み出し回路３４の詳細な構成について説明する。
【０１２０】
第２の方法では、図１０の検出用垂直走査回路２９が、カラーフィルタ２１Ａのウィンドウ２７０に対応する４つの制御線３０を同時に選択する。これにより、読み出し線３１において、ウィンドウ２７０を構成する水平方向が同一の位置の４本の走査線上の画素の検出信号がそれぞれ加算され、その結果得られる信号（以下、４画素合算検出信号という）が出力される。
【０１２１】
例えば、図１０の例では、一番右側の読み出し線３１において、Ｒ，Ｇ，Ｒ，Ｂの４つの画素の検出信号が加算され、右から２番目の読み出し線３１において、Ｇ、Ｂ，Ｇ，Ｂの４つの画素の検出信号が加算される。
【０１２２】
以上のように、第２の方法では、４本の走査線が同時に選択されて、検出信号が読み出されるので、４本の走査線の検出信号の読み出し時間が、１本の走査線の検出信号の読み出し時間と同一となる。その結果、検出信号の１フレーム当たりの読み出し時間は1/4に削減される。
【０１２３】
また、検出用カラム並列ADC３２は、図１０に示すように、並列に接続された、画面内の水平方向の画素数のADC２８０から構成される。そして、各ADC２８０には、そのADC２８０に対応する水平方向の画素の画素部８０（１２０）に接続される読み出し線３１が接続されている。
【０１２４】
従って、第２の方法では、４つのADC２８０に、それぞれに接続されている読み出し線３１を介して、各ADC２８０に対応する水平方向の画素の４画素合算検出信号が同時に供給される。そして、各ADC２８０は、その４画素合算検出信号に対してA/D変換を行い、その結果得られるデジタル信号を、信号線３３を介して読み出し回路３４に供給する。
【０１２５】
さらに、図１０において、読み出し回路３４は、加算回路２９１、信号線２９２、および検出用読み出し回路２９３により構成される。
【０１２６】
加算回路２９１は、４つの信号線３３を介して供給されるウィンドウ２７０の４つの４画素合算検出信号をデジタル的に加算する。これにより、ウィンドウ２７０を構成する、８個のＧの画素と４個のＲおよびＢの画素からなる４×４の画素の全ての検出信号が加算された結果が、擬似的な輝度情報として算出される。
【０１２７】
検出用読み出し回路２９３は、加算回路２９１により加算された結果得られる擬似的な輝度情報を検出信号として読み出し、信号線３５を介して出力する。従って、１フレーム当たりの検出信号のデータ量は、1/16に削減される。
【０１２８】
以上のように、第２の方法では、ウィンドウ２７０単位で検出信号が加算されるため、検出感度を向上させることができる。即ち、検出信号は高速のフレームレートで読み出されるので、画素部８０（１２０）における電荷の蓄積時間が短い。従って、蓄積電荷の増加量が少なくなり、その蓄積電荷に対応する検出信号に基づく動き検出の検出感度が悪くなる場合がある。第２の方法では、ウィンドウ２７０単位で検出信号が加算されるので、検出信号の増加分が多くなり、検出感度が向上する。
【０１２９】
なお、図１０では、１つのウィンドウ２７０の検出信号の読み出しについて説明したが、ウィンドウ２７０単位の検出信号の読み出しは、垂直方向が同一のウィンドウ２７０については同時に行われる。
【０１３０】
ウィンドウ２７０単位の検出信号の読み出しのタイミングについては、第１の方法の場合と同様であるので、説明は省略する。第２の方法では、ウィンドウ２７０の垂直方向の画素数が、第１の方法の走査線の間引き数に相当する。
【０１３１】
なお、上述した説明では、第２の方法において、ウィンドウ２７０を構成する全画素の検出信号が加算されたが、ウィンドウ２７０を構成する全画素の検出信号が平均化されるようにしてもよい。
【０１３２】
次に、図１１を参照して、第３の方法について説明する。
【０１３３】
第３の方法は、検出信号を部分的に読み出す方法である。
【０１３４】
図１１は、読出対象の検出信号に対応する画面内の領域の例を示している。なお、図１１において、横方向が画面の水平方向であり、縦方向が画面の垂直方向である。
【０１３５】
第３の方法では、例えば、図１１の画面３００において、図中斜線が付された領域３０１の検出信号が読み出され、他の領域の検出信号は読み出されない。図１１の例では、画面３００の垂直方向には、位置Ｙ１乃至Ｙ４に４個の領域３０１が設けられ、水平方向には位置Ｘ１乃至Ｘ７に７個の領域３０１が設けられている。即ち、画面３００には合計２８個の領域３０１が設けられている。
【０１３６】
なお、検出信号の読み出しは、走査線ごとに行われるので、垂直方向の位置が同一である領域３０１は、走査線単位で同時に読み出される。例えば、垂直方向の位置がＹ１で、水平方向の位置がＸ１乃至Ｘ７のいずれかである７個の領域３０１は、走査線単位で同時に読み出される。
【０１３７】
また、領域３０１のサイズは、検出対象として想定される動きの大きさに依存する。大きな動きが想定されている場合、領域３０１のサイズは大きく設定され、小さな動きが想定されている場合、領域３０１のサイズは小さく設定される。
【０１３８】
さらに、画面３００内の領域３０１の数Ｎｖは、画面３００内の全走査線数の1/4倍を、領域３０１内の垂直方向の画素数Ａｖで除算した値である。これにより、検出信号の１フレーム当たりの読み出し時間は、撮像信号の１フレーム当たりの読み出し時間の1/4倍に削減される。
【０１３９】
次に、図１２を参照して、第３の方法を用いた場合の検出信号の読み出しタイミングについて説明する。なお、図１２において、横軸は時刻を表し、縦軸は、画面内の走査線の垂直方向の位置を表している。
【０１４０】
ここでは、図１２の時刻３２１における検出信号の読み出しタイミングについて説明するが、他の時刻においても同様である。
【０１４１】
図１２に示すように、時刻３２１では、撮像フレームＰＦ２２の撮像時間内の検出フレームＤＦ２３の垂直方向の位置Ｙ１、検出フレームＤＦ２２の位置Ｙ２、および検出フレームＤＦ２１の位置Ｙ３、並びに撮像フレームＰＦ２１の撮像時間内の検出フレームＤＦ２４の位置Ｙ４の領域３０１の検出信号を読み出す必要がある。
【０１４２】
従って、時刻３２１では、各フレームの垂直方向の位置が同一である７個の領域３０１ごとに、読み出しが時分割で行われる。
【０１４３】
具体的には、時刻３２１において、まず、撮像フレームＰＦ２２の撮像時間内の検出フレームＤＦ２３の垂直方向の位置Ｙ１の７個の領域３０１の検出信号が読み出される。そして、検出フレームＤＦ２２の位置Ｙ２の７個の領域３０１の検出信号が読み出される。次に、検出フレームＤＦ２１の位置Ｙ３の７個の領域３０１の検出信号が読み出される。最後に、撮像フレームＰＦ２１の撮像時間内の検出フレームＤＦ２４の位置Ｙ４の７個の領域３０１の検出信号が読み出される。
【０１４４】
なお、垂直方向の位置が同一である７個の領域３０１ごとに読み出しを行うのではなく、各領域３０１の検出信号を走査線ごとにインターリーブして読み出すようにしてもよい。
【０１４５】
この場合、時刻３２１において、まず、検出フレームＤＦ２３の位置Ｙ１の７個の領域３０１の１番上の走査線の検出信号が読み出される。そして、検出フレームＤＦ２２の位置Ｙ２の７個の領域３０１の１番上の走査線の検出信号が読み出される。次に、検出フレームＤＦ２１の位置Ｙ３の７個の領域３０１の１番上の走査線の検出信号が読み出される。そして、検出フレームＤＦ２４の位置Ｙ４の７個の領域３０１の１番上の走査線の検出信号が読み出される。
【０１４６】
その後、検出フレームＤＦ２３の位置Ｙ１の領域３０１に戻り、位置Ｙ１の７個の領域３０１の上から２番目の走査線の検出信号が読み出される。以降も同様にして読み出しが行われ、その結果、検出フレームＤＦ２３の位置Ｙ１、検出フレームＤＦ２２の位置Ｙ２、検出フレームＤＦ２１の位置Ｙ３、および検出フレームＤＦ２４の位置Ｙ４の領域３０１の検出信号が読み出される。
【０１４７】
なお、動きベクトルを検出する方法として、コーナトラッキング法が採用された場合、検出信号を部分的に読み出す第３の方法で検出信号を読み出すと、読み出される検出信号の領域にちょうどコーナが存在するとは限らない。そのため、読出対象とする検出信号の領域３０１は水平方向に移動されたり、垂直方向に移動されたりする。
【０１４８】
また、撮像時間内の検出フレームは、勿論、４枚に限定されない。従って、例えば、撮像時間内の検出フレームが８枚や１６枚である場合、検出信号の１フレーム当たりの読み出し時間は、撮像画像信号の１フレーム当たりの読み出し時間の1/8や1/16に削減される。
【０１４９】
具体的には、第１の方法では、８枚または１６枚の検出フレームの検出信号が、検出フレームごとに時分割で読み出され、各検出フレームの検出信号は、８走査線や１６走査線ごとに読み出される。
【０１５０】
なお、図８で説明した場合と同様に、読出対象とする走査線と走査線内の読出対象とする画素を間引くようにしてもよい。この場合、撮像時間内の検出フレームの数によっては、読み出し線３１や読み出し回路３４等を増やさないと柔軟な読み出しができないことがある。また、間引きパターンや間引かれる画素の位置が固定されることもある。
【０１５１】
また、第２の方法では、８枚または１６枚の検出フレームの検出信号が、検出フレームごとに時分割で読み出され、各検出フレームの検出信号は、垂直方向の画素数が８個または１６個であるウィンドウ単位で読み出される。
【０１５２】
さらに、第３の方法では、８枚または１６枚の検出フレームの検出信号が、検出フレームごとに時分割で読み出され、各検出フレームの検出信号は、設定された領域についてのみ読み出される。この領域の画面内の数Ｎｖと領域内の垂直方向の画素数Ａｖの関係は、撮像時間内の検出フレームの数をＦｎとし、画面内の全走査線数をＢｖとするとき、以下の式（１）で表される。
【０１５３】
Ｂｖ＝Ａｖ×Ｎｖ×Ｆｎ
・・・（１）
【０１５４】
また、上述した説明では、検出信号の１フレーム当たりの読み出し時間を削減するために、第１乃至第３の方法を用いたが、検出信号の１フレーム当たりのデータ量を削減するために用いるようにしてもよい。例えば、画素単位で細かい動きを検出する必要がない場合には、第１乃至第３の方法を用いて、検出信号の１フレーム当たりのデータ量を削減し、信号処理部１２による処理を軽減するようにしてもよい。
【０１５５】
次に、図１３を参照して、フレーム差分部４４による処理について説明する。
【０１５６】
イメージセンサ１１では、検出信号の読み出しを行っても、蓄積電荷はそのまま保持されるため、撮像信号の読み出しにより蓄積電荷がリセットされた後の最初の検出フレームを除いて、前の検出フレームとの差分を、現在の検出フレームの動き検出画像信号として求める必要がある。従って、フレーム差分部４４は、イメージセンサ１１から供給される連続する２枚の検出フレームの検出信号の差分を動き検出画像信号として求める。
【０１５７】
例えば、図１３Ａに示すように、フォトダイオード８１（１２１）による受光量と検出信号の関係が線形になっている場合、フレーム差分部４４では、以下のような動き検出画像信号が算出される。なお、図１３において、横軸は、蓄積電荷に対応するフォトダイオード８１（１２１）による受光量を表し、縦軸は検出信号を表している。
【０１５８】
図１３Ａにおいて、例えば、ある検出フレームの検出信号は検出信号Ｆ１であり、次の検出フレームの検出信号は検出信号Ｆ２である。しかしながら、検出信号Ｆ１の読み出しは非破壊読み出しであるため、検出信号Ｆ１に対応する蓄積電荷はそのまま保持されている。従って、検出信号Ｆ２に対応する検出フレームの受光量は、その検出フレームの蓄積電荷に対応する受光量Ｐ２から、その検出フレームまでに蓄積されていた電荷に対応する受光量Ｐ１を減算した値（Ｐ２−Ｐ１）である。
【０１５９】
よって、フレーム差分部４４では、受光量Ｐ２に対応する検出信号Ｆ２と、受光量Ｐ１に対応する検出信号Ｆ１との差分を、受光量Ｐ２に対応する検出フレームの動き検出用画像信号として求める。
【０１６０】
また、図１３Ｂに示すように、フォトダイオード８１（１２１）による受光量と検出信号の関係が非線形になっている場合、フレーム差分部４４では、図１３Ａで示した線形の場合と同様に、動き検出画像信号が算出される。即ち、ある検出フレームの検出信号Ｆ３と、次の検出フレームの検出信号Ｆ４との差分が、検出信号Ｆ４に対応する検出フレームの動き検出用画像信号として求められる。
【０１６１】
次に、図１４および図１５を参照して、動きベクトルの軌跡を求める方法について説明する。
【０１６２】
なお、図１４および図１５の例では、検出フレームのフレーム数は８枚となっている。また、図１４および図１５において、正方形は画素を表している。このことは、後述する図１６乃至図１８においても同様である。
【０１６３】
まず、図１４に示すように、最終の検出フレーム内の位置３５１の画素３５２について、前の連続する７枚の検出フレームでの動きベクトル（図中矢印）から、画素３５２と同一の被写体の画素の各検出フレームでの相対位置３６１乃至３６８を認識する。そして、図１５に示すように、相対位置３６１乃至３６７を順に通り、最後に位置３５１を通る、スプライン関数などによって滑らかな曲線で近似された経路３７１が、動きベクトルの軌跡として求められる。
【０１６４】
次に、図１６乃至図１８を参照して、動きぼけPSFを求める方法について説明する。
【０１６５】
まず、図１５に示した経路３７１が動きベクトルの軌跡として求められた場合、その動きベクトルの軌跡に基づいて、撮像時間内において画素３５２と同一の被写体からの光が、経路３７１の各点にどのくらいの時間滞在したかが求められる。この滞在時間の長さは、各点における画素３５２に対応する光の滞在による受光量への影響度合に比例する。
【０１６６】
即ち、動きが速いほど、つまり、ある検出フレームの相対位置から次の検出フレームの相対位置までの距離が長いほど、画素３５２に対応する光の滞在時間は短く、その光の滞在が及ぼす影響は少ない。そして、動きが遅いほど、つまり、ある検出フレームの相対位置から次の検出フレームの相対位置までの距離が短いほど、画素３５２に対応する光の滞在時間は長く、その光の滞在が及ぼす影響は大きい。
【０１６７】
そこで、経路３７１の各点における滞在時間が求められると、図１６に示すように、その滞在時間に応じて、画面内の各画素の重みが決定され、この重みを示す関数が動きぼけPSFとして求められる。なお、図１６では、画素３５２についての重みの総和を１００と規格化したときの各画素の重みの値が、各画素を表す正方形内に記載されている。但し、画面内の空白の画素に対応する重みの値は０である。
【０１６８】
なお、図１６では、光学的なぼけがないものとし、光学系のPSFを理想的な点と仮定している。しかしながら、実際には光学的なぼけが存在し、光学系のPSF自体が広がりを持っている。この広がりの大きさは、画素と同レベルである場合もあるし、画素サイズ以上の場合もある。
【０１６９】
図１７は、このような光学系のPSFの広がりを考慮した場合の、動きぼけPSFの求め方の概念図である。
【０１７０】
なお、図１７では、経路３７１を構成する各点を中心とした円３９１が、光学系のPSFの広がりを示している。光学系のPSFでは、一般的に、円３９１の中心で値が大きく、周辺に行くにしたがって減少するようになっている。この光学系のPSFの広がりを勘案して、各画素の重みが決定され、動きぼけPSFが求められる。このように、光学系のPSFの広がりを考慮することで、動きぼけをより正確に削減する動きぼけPSFを求めることができる。
【０１７１】
また、実際の光学系のPSFの広がり、形状は色ごとに異なるものである。通常、撮影時の解像度を最も高くするため、Ｇ成分の光学系のPSFが小さくなるように光学系が設計されるため、Ｒ成分やＢ成分の光学系のPSFはＧ成分以上の広がりを有する。
【０１７２】
図１８は、このような色ごとの光学系のPSFの広がりを考慮した場合の、動きぼけPSFの求め方の概念図である。
【０１７３】
図１８の例では、Ｇ成分の光学系のPSFの広がり４０１が最も小さく、Ｂ成分の光学系のPSFの広がり４０２は広がり４０１より少し大きい。また、Ｒ成分の光学系のPSFの広がり４０３は最も大きい。このような各色での光学系のPSFの広がりの違いを考慮して、色ごとに動きぼけPSFが求められる。このように、色ごとに動きぼけPSFを求め、各色成分の動きぼけの削減処理に異なる動きぼけPSFを用いることにより、動きぼけの削減精度を向上させることが可能となる。
【０１７４】
なお、光学系は一般的に軸対象であるため、光学系のPSFは一般的に点対象（軸対象）であるが、撮像面の周辺では光学系のPSFは点対象とならない場合がある。このような場合においては、被写体や撮像装置１０の動きに回転成分がある場合、回転による光学系のPSFへの影響も考慮して、動きぼけPSFを求める必要がある。
【０１７５】
次に、図１９のフローチャートを参照して、図１の撮像装置１０による画像処理について説明する。この画像処理は、例えば、ユーザにより撮像が指令されたとき、開始される。
【０１７６】
ステップＳ１１において、撮像部２１は、外部からの光を画素単位で光電変換し、電荷の蓄積を開始する。ステップＳ１２において、撮像部２１は、検出用垂直走査回路２９により選択された制御線３０に対応する、撮像時間より短い時間内に画素単位で蓄積された電荷を、検出信号として非破壊で読み出す。この検出信号は、検出用カラム並列ADC３２によりデジタル信号に変換され、読み出し回路３４および信号線３５を介して信号処理部１２に出力される。
【０１７７】
ステップＳ１３において、信号処理部１２のフレーム差分部４４は、読み出し回路３２から信号線３５を介して供給される連続する２枚の検出フレームの検出信号の画素ごとの差分を、動き検出画像信号として求める。そして、フレーム差分部４４は、この動き検出画像信号を、信号線４５を介してノイズリダクション部４６に供給する。
【０１７８】
なお、読み出し回路３２から、最初の検出フレームの検出信号だけが供給されている場合、ステップＳ１３乃至Ｓ１６の処理はスキップする。
【０１７９】
ステップＳ１４において、ノイズリダクション部４６は、フレーム差分部４４から供給される動き検出画像信号のノイズレベルを低減し、その結果得られる動き検出画像信号を、信号線４７を介して動き検出部４８に供給する。
【０１８０】
ステップＳ１５において、動き検出部４８は、ノイズリダクション部４６から供給される動き検出画像信号に基づいて、その動き検出画像信号に対応する動き検出用画像における各サンプリング点の動きベクトルを検出する。そして、動き検出部４８は、検出された各サンプリング点の動きベクトルを、信号線４９を介して動きベクトル場生成部５０に供給する。
【０１８１】
ステップＳ１６において、動きベクトル場生成部５０は、動き検出部４８から供給される各サンプリング点の動きベクトルに基づいて、画面内の全ての点の動きベクトルを演繹し、補間する。そして、動きベクトル場生成部５０は、補間の結果得られる画面内の全ての点の動きベクトルを、信号線５１を介して軌跡補間部５２に供給する。
【０１８２】
ステップＳ１７において、検出用垂直走査回路２９は、所定数（図６の例では４枚）の検出フレームの検出信号が読み出されたかを判定する。ステップＳ１７で、まだ所定数の検出フレームの検出信号が読み出されていないと判定された場合、処理はステップＳ１２に戻り、上述した処理が繰り返される。
【０１８３】
一方、ステップＳ１７で所定数の検出フレームの検出信号が読み出されたと判定された場合、処理はステップＳ１８に進み、軌跡補間部５２は、動きベクトル場生成部５０から供給される、連続する所定数の各動き検出用画像内の全ての点の動きベクトルに基づいて、スプライン関数などによって、その動き検出用画像に対応する撮像画像内の被写体の動きの軌跡を求める。そして、軌跡補間部５２は、求められた動きの軌跡を、信号線５３を介してPSF生成部５４に供給する。
【０１８４】
ステップＳ１９において、PSF生成部５４は、軌跡補間部５２から供給される動きベクトルの軌跡と、光学PSFデータメモリ５５から供給される光学PSFデータとに基づいて、動きぼけPSFを求める。これにより、動きぼけと光学系によるぼけの状況を表すPSFが、動きぼけPSFとして求められる。そして、PSF生成部５４は、求められた動きぼけPSFを表す動きぼけPSFデータを、信号線５７を介して動きぼけ削減部５９に供給する。
【０１８５】
ステップＳ２０において、撮像部２１は、画像用垂直走査回路２２により選択された制御線２３に対応する、撮像時間内に画素単位で蓄積された電荷に対応する信号を、撮像画像信号として読み出す。この撮像画像信号は、バッファメモリ４３に供給されて保持される。ステップＳ２１において、撮像部２１は、蓄積電荷をリセットする。
【０１８６】
ステップＳ２２において、動きぼけ削減部５９は、PSF生成部５４から供給される動きぼけPSFデータを用いて、バッファメモリ４３に記憶されている撮像画像信号の動きぼけを削減する。
【０１８７】
具体的には、撮像画像信号に対して、動きぼけPSFに対応するぼけの問題の逆問題をそのまま解くとノイズの影響で、撮像画像信号の画面が大きく乱れたり、画面のエッジ部分周辺で強いアーティファクトが発生したりする。そのため、この問題を低減しながら良好な動きぼけの削減を実現するために、動きぼけ削減部５９は、WienerフィルタやRichardson-Lucy法などにより、動きぼけPSFを用いた動きぼけの削減を行う。例えば、動きぼけ削減部５９は、動きぼけPSFをウィンドウとして使用してWienerフィルタを作成し、撮像画像信号の動きぼけを削減する。
【０１８８】
ステップＳ２３において、撮像部２１は、撮像を終了するかどうか、例えば、ユーザにより撮像の終了が指令されたかどうかを判定する。ステップＳ２３で撮像を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。一方、ステップＳ２３で撮像を終了すると判定された場合、処理は終了する。
【０１８９】
なお、図１の撮像装置１０では、検出用垂直走査回路２９と画像用垂直走査回路２２が別々に設けられたが、検出用垂直走査回路２９と画像用垂直走査回路２２は共通化されてもよい。
【０１９０】
図２０は、このような場合のイメージセンサ１１の詳細構成例を示している。
【０１９１】
図２０のイメージセンサ１１は、画像用カラム並列ADC２５、読み出し回路２７および３４、検出用カラム並列ADC３２、撮像部４５１、垂直走査回路４５２、制御線４５３、読み出し線４５４などにより構成される。
【０１９２】
なお、図２０では、説明の便宜上、図示は省略するが、イメージセンサ１１にはカラーフィルタ２１Ａも設けられる。また、図２０では、説明の便宜上、撮像部４５１のうちの１画素分の構成、即ち１画素を撮像する画素部の構成について図示してある。図２０において、図１と同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する。
【０１９３】
図２０に示すように、撮像部４５１内の１画素を撮像する画素部４６０は、図３の撮像画像読出部１２２と検出用画像読出部１２３を共通化したものである。具体的には、画素部４６０には、光電変換を行うフォトダイオード４６１が設けられ、このフォトダイオード４６１には、MOSトランジスタ４６２のバックゲート４６３が接続されている。また、MOSトランジスタ４６２のソースは電源４６４に、ゲートは制御線４５３に、ドレインは読み出し線４５４にそれぞれ接続されている。
【０１９４】
以上のように構成される画素部４６０では、フォトダイオード４６１で発生した電荷がバックゲート４６３に蓄積される。垂直走査回路４５２は、画素部４６０の検出信号または撮像画像信号を読み出す際、制御線４５３を選択し、制御線４５３を介してMOSトランジスタ４６２のゲートに検出用読み出し信号または撮像用読み出し信号を印加する。これにより、MOSトランジスタ４６２がオンになり、その結果、バックゲート４６３に蓄積された電荷量に依存した信号が、検出信号または撮像画像信号として、読み出し線４５４を介して出力される。
【０１９５】
即ち、制御線４５３は、図３の制御線３０と２３が共通化されたものであり、読み出し線４５４は、図３の読み出し線３１と２４が共通化されたものである。
【０１９６】
以上のように、図２０のイメージセンサ１１では、図１の検出用垂直走査回路２９と画像用垂直走査回路２２が共通化されるので、撮像画像読出部１２２と検出用画像読出部１２３、制御線３０と２３、読み出し線３１と２４もそれぞれ共通化され、回路規模を削減することができる。
【０１９７】
但し、図２０に示したように、図１の検出用垂直走査回路２９と画像用垂直走査回路２２が共通化される場合には、検出信号の読み出しのタイミングが、撮像画像信号の読み出しのタイミングと重ならないようにする必要がある。これに対して、図１に示したように、検出用垂直走査回路２９と画像用垂直走査回路２２が別々に設けられる場合、検出信号の読み出しと撮像画像信号の読み出しをそれぞれ独立に行うことが可能であり、読み出し動作の柔軟性を保つことができる。
【０１９８】
以上のように、イメージセンサ１１は、１フレームの撮像時間内に検出信号を複数回非破壊で読み出し、１フレームの撮像時間ごとに撮像画像信号を読み出すので、撮像画像信号を取得するイメージセンサ１１を用いて、撮像画像内の被写体の動きを精度良く検出することができる。
【０１９９】
これに対して、上述した非特許文献１には、１つのイメージセンサを用いて、周辺の画素を動き検出に使用する例について記載されているが、この場合、動きの検出領域が限定されてしまい、動きを精度良く検出することは難しい。
【０２００】
また、撮像装置１０は、検出信号を非破壊で読み出すので、撮像画像信号そのものを劣化させることがない。さらに、撮像装置１０は、検出信号を非破壊で読み出すので、様々な読み出し動作（パターン）に対応することができる。そのため、推定される撮像場所や撮像画像の時間的な変化によって、検出信号の読み出し方法や動き検出のアルゴリズムを適応的に変化させ、高精度の動きぼけの削減を実現することができる。
【０２０１】
また、イメージセンサ１１において、検出信号の読み出し用に追加されるハードウェアは、検出用画像読出部８３（１２３）、検出用垂直走査回路２９、検出用カラム並列ADC３２、読み出し回路３４などであり、ハードウェアの増加は少ない。
【０２０２】
なお、イメージセンサ１１としては、CMOSイメージセンサではなく、CCDイメージセンサを用いるようにしてもよい。この場合、イメージセンサ１１のフォトダイオードに蓄積された電荷は読み出しゲートにより、画面内全域で同時に垂直転送CCDへ移動されるため、各フレームにおいて、電荷の蓄積期間は同一となる。これを撮像の際の電荷蓄積時間の同時性と呼ぶ。
【０２０３】
また、イメージセンサ１１としてCCDイメージセンサが用いられる場合、電荷蓄積時間の同時性があるため、CMOSイメージセンサが用いられた場合のように、画像のゆがみの問題（詳細は後述する）、図５で説明した露光時間が比較的短い場合の問題、図６で説明した複数の検出フレームを同時に読み出す必要がある問題等は発生しない。
【０２０４】
なお、画像のゆがみの問題とは、イメージセンサ１１がCMOSイメージセンサである場合に発生する問題である。詳細には、CMOSイメージセンサは、画面の上の走査線から順次走査線ごとに読み出しを行うので、読み出しのタイミングが走査線ごとに異なる。そのため、電荷の蓄積タイミングも走査線ごとに異なる。従って、イメージセンサ１１がCMOSイメージセンサである場合、イメージセンサ１１で速い動きの物体を撮像すると、画面の上部と下部で撮像のタイミングが異なり、画像のゆがみが発生することがある。
【０２０５】
また、上述した説明では、撮像画像信号と検出信号の読み出しレートは同一であるものとしたが、異なっていてもよい。但し、撮像画像信号と検出信号の読み出しレートが同一ではない場合、撮像画像信号の読み出しを行ってから、即ち画素部８０（１２０）の蓄積電荷がリセットされてから、検出信号が読み出されるまでの時間が、画面の位置によって異なる。従って、信号処理部１２による処理において、この点を考慮する必要がある。なお、長時間露光の際などには、この点による問題は少なくなる。
【０２０６】
本発明は、例えばデジタルスチルカメラやビデオカメラに適用することができる。
【０２０７】
なお、本明細書において、図１９の画像処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２０８】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２０９】
【図１】本発明を適用した撮像装置の一実施の形態の構成例を示すブロック図である。
【図２】撮像部の詳細構成例を示す図である。
【図３】撮像部２１の他の詳細構成例を示す図である。
【図４】長時間露光を行う場合の読み出しタイミングについて示す図である。
【図５】比較的短時間の露光を行う場合の読み出しタイミングについて示す図である。
【図６】検出信号のフレームレートが高い場合に必要とされる読み出しタイミングについて説明する図である。
【図７】第１の方法について説明する図である。
【図８】第１の方法の他の方法について説明する図である。
【図９】第２の方法について説明する図である。
【図１０】第２の方法を用いて読み出しを行う場合の読み出し回路の詳細構成例を示す図である。
【図１１】第３の方法について説明する図である。
【図１２】第３の方法を用いた場合の検出信号の読み出しタイミングについて説明する図である。
【図１３】フレーム差分部による処理について説明する図である。
【図１４】全検出フレームの動きベクトルを示す図である。
【図１５】動きベクトルの軌跡を示す図である。
【図１６】動きぼけPSFを求める方法について説明する図である。
【図１７】光学系のPSFの広がりを考慮した場合の、動きぼけPSFの求め方の概念図である。
【図１８】色ごとの光学系のPSFの広がりを考慮した場合の、動きぼけPSFの求め方の概念図である。
【図１９】画像処理について説明するフローチャートである。
【図２０】イメージセンサの他の詳細構成例を示す図である。
【符号の説明】
【０２１０】
２１  撮像部，  ２２  画像用垂直走査回路，  ２９  検出用垂直走査回路，  ５２  軌跡補間部，  ５９  動きぼけ削減部，  ８１  フォトダイオード，  ８２  撮像画像読出部，  ８３  検出用画像読出部，  １０３  バックゲート，  １２１  フォトダイオード，  １２２  撮像画像読出部，  １２３  検出用画像読出部，  １３３，１４３  バックゲート，  ４５１  撮像部，  ４５２  垂直走査回路，  ４６１  フォトダイオード，  ４６３  バックゲート
【図１】
2010074584.tif 000003
【図２】
2010074584.tif 000004
【図３】
2010074584.tif 000005
【図４】
2010074584.tif 000006
【図５】
2010074584.tif 000007
【図６】
2010074584.tif 000008
【図７】
2010074584.tif 000009
【図８】
2010074584.tif 000010
【図９】
2010074584.tif 000011
【図１０】
2010074584.tif 000012
【図１１】
2010074584.tif 000013
【図１２】
2010074584.tif 000014
【図１３】
2010074584.tif 000015
【図１４】
2010074584.tif 000016
【図１５】
2010074584.tif 000017
【図１６】
2010074584.tif 000018
【図１７】
2010074584.tif 000019
【図１８】
2010074584.tif 000020
【図１９】
2010074584.tif 000021
【図２０】
2010074584.tif 000022