(57)【特許請求の範囲】
【請求項１】
被写体からの光を受けて光電変換を行う光電変換部を備えた撮像素子であって、
前記光電変換部に蓄積される画像電荷を、電荷蓄積時間の間にＮ回（Ｎは２以上の整数）に分けて読み出す読み出し手段と、
前記読み出し手段によって読み出された画像電荷を一時保持する画像保持手段と、
前記画像保持手段に保持された画像電荷をシフトする画像シフト手段と
を備えた撮像素子と、
前記撮像素子の動きを検出する動き検出手段と、
前記読み出し手段によって、第１回目に読み出され、前記画像保持手段に保持された画像電荷を、前記動き検出手段によって検出された動き量に応じた第１の移動量だけシフトし、該シフトされた画像電荷に、前記読み出し手段によって第２回目に読み出された画像電荷を前記画像保持手段で加算する処理を行わせ、
Ｎが２よりも大きい場合には、さらに、前記読み出し手段によって、第ｎ回目（ｎは２乃至（Ｎ−１）の整数）に読み出された画像電荷の加算の結果得られる画像電荷を、前記動き検出手段によって検出された動き量に応じた第ｎの移動量だけシフトし、該シフトされた画像電荷に、前記読み出し手段によって第（ｎ＋１）回目に読み出された画像電荷を前記画像保持手段で加算する処理を、ｎが２から（Ｎ−１）まで順に繰り返し行わせる
制御手段とを具備し、
前記制御手段は、前記画像電荷シフト手段による画像電荷の移動量があらかじめ定めた上限値を超えないように画像電荷の読み出し回数を増やす
ことを特徴とする撮像装置。
【請求項２】
前記電荷蓄積の開始から前記第１回目の読み出しまでの期間と、
各回の読み出しから次の読み出しまでの期間が互いに略同じ長さを有し、
前記動きの量が、該動きの量に対応する撮像素子の画素の数で表され、前記動きの量に応じた第１の移動量及び第ｎの移動量が、前記動きの量を、Ｎで割ることにより与えられる
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子が前記光電変換部で蓄積された画像電荷を転送する垂直転送部と、光電変換部で蓄積された画像電荷を前記垂直転送部に読み出す読み出しゲート部とを備えるＣＣＤ撮像素子であり、
前記読み出し手段が、前記読み出しゲート部で構成され、
前記画像保持手段及び前記画像シフト手段がともに前記垂直転送部で構成される
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記動き転送手段が、前記撮像素子上における前記垂直転送部の転送方向に対応する方向の動きを検出するものであることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記読み出し手段による画像電荷の読み出し回数は２のべき乗で与えられる数値であることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記読み出し手段による画像電荷の読み出し回数が、２のＭ乗（Ｍは２以上の整数）で表され、前記読み出し回数の増加が、Ｍを１ずつ増加させることによって行われることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記光電変換部が、それぞれ異なる色の色フィルタで覆われた光電変換素子を含み、前記色フィルタが所定の繰り返しパターンで周期的に配列され、
前記垂直転送部での移動量は、色フィルタの繰り返しパターンの周期に対応する画素数の整数倍であることを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はＣＣＤイメージセンサなどの固体撮像素子を用いた撮像装置に関するものであり、静止画におけるぶれ補正機能を有する静止画撮像装置に関する。
【背景技術】
【０００２】
被写体を撮像しようとするとき、被写体が静止していても、撮影者がシャッタボタンを押す際に撮像装置を動かしてしまうことで撮像画像がぶれてしまうことは良く知られた現象であり、これは一般に「手ぶれ」と表現される。「手ぶれ」の再現頻度は被写体が撮像される環境の照度が低く、シャッタスピードが遅くなる（電荷蓄積時間が長くなる）ほど高くなる。
【０００３】
この「手ぶれ」による撮像画像に対し、機構的に、あるいは画像処理により補正を加え、「手ぶれ」による画像の劣化を減少させ、撮像画像の品質を向上しようとする技術が広く検討されている。例えば、角速度や角加速度を検出するセンサを用いて撮像装置の変位（角度）を検出し、この変位を打ち消す方向に、光学レンズ、や固体撮像素子自体を移動させることにより「手ぶれ」を補正する技術がある。
【０００４】
例えば、角速度センサによる手ぶれ検出手段を設け、手ぶれ検出結果ならびに補正光学系の位置検出結果に応じて、像のぶれを低減または消滅させる方向に前記補正光学系を駆動制御する手段を設けた像ぶれ補正装置を備えた撮像装置が知られている（例えば、特許文献１参照）。
【０００５】
従来の別の撮像装置では、画像処理による手ぶれ補正処理を行っている。例えば、電荷蓄積時間を制御して複数回の連続した露光を与え、得られた複数の撮像画像を加算して一つの画像を生成することとし、加算に際しては各露光において得られる画像間で相対的な動き補償を行い、画像間の被写体ずれを補正した後に行う画像処理手段を備えた撮像装置が知られている（例えば、特許文献２参照）。
【０００６】
また、同じ画像処理による手ぶれ補正処理手段を有する撮像装置であるが、手ぶれによって発生した連続するフィールド間画像の動きベクトルをもとに動き予測ならびに動き検出を行い、画像の切り出し位置（画像メモリからの読み出し位置）を変えることで手ぶれの補正を行なうものも知られている（例えば、非特許文献１参照）。
【０００７】
【特許文献１】特開平７−９８４６６号公報  （第１−８頁、第１図）
【特許文献２】特開２００１−８６３９８号公報  （第１−９頁、第１図）
【非特許文献１】日下博也、岸靖典、“高解像度純電子手振れ補正システム”、映像情報メディア学会誌、２００２年、Ｖｏｌ．５６、Ｎｏ．１０、ｐ．１６６３−１６６８
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１に記載された従来の撮像装置では、手ぶれによる振動を相殺するための機構部品が必要であり、またその装置を駆動するためのアクチュエータやモーターが必要であり、撮像装置が大型化するとともに消費電力、コストも増大するという問題がある。さらに機構部品が落下衝撃の影響を受けるために、対衝撃設計を行う必要がある。
【０００９】
また、上記特許文献２に記載された従来の別の撮像装置では、複数回の連続した露光を与えることによって得られた複数の撮像画像を加算するため、これら複数の撮像画像数すべてを記憶するための別途フレームメモリが必要となる。
【００１０】
さらに、上記非特許文献１に記載されたように、連続するフィールド間画像の動きベクトルをもとに手ぶれ補正を実施した場合、動画には有効であるが、１枚の画像内に発生している手ぶれについては補正できないため、静止画の手ぶれ補正には使用できない。また、画像メモリから画像を切り出すため、必要なメモリ容量も増大する。
【００１１】
なお、手ぶれ以外の理由で発生する画像のぶれ、例えば撮像装置が車両などの移動体に搭載され、移動しながら撮像を行う場合の、被写体に対する撮像装置の相対的な動きによって生じる画像のぶれについても同じような問題がある。
【００１２】
本発明は上述したような課題を解決するためになされたもので、特殊な機構部品や大容量のメモリを必要とせず、固体撮像素子内でぶれ補正を実施することにより、小型で低コストの撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、
被写体からの光を受けて光電変換を行う光電変換部を備えた撮像素子であって、
前記光電変換部に蓄積される画像電荷を、電荷蓄積時間の間にＮ回（Ｎは２以上の整数）に分けて読み出す読み出し手段と、
前記読み出し手段によって読み出された画像電荷を一時保持する画像保持手段と、
前記画像保持手段に保持された画像電荷をシフトする画像シフト手段と
を備えた撮像素子と、
前記撮像素子の動きを検出する動き検出手段と、
前記読み出し手段によって、第１回目に読み出され、前記画像保持手段に保持された画像電荷を、前記動き検出手段によって検出された動き量に応じた第１の移動量だけシフトし、該シフトされた画像電荷に、前記読み出し手段によって第２回目に読み出された画像電荷を前記画像保持手段で加算する処理を行わせ、
Ｎが２よりも大きい場合には、さらに、前記読み出し手段によって、第ｎ回目（ｎは２乃至（Ｎ−１）の整数）に読み出された画像電荷の加算の結果得られる画像電荷を、前記動き検出手段によって検出された動き量に応じた第ｎの移動量だけシフトし、該シフトされた画像電荷に、前記読み出し手段によって第（ｎ＋１）回目に読み出された画像電荷を前記画像保持手段で加算する処理を、ｎが２から（Ｎ−１）まで順に繰り返し行わせる
制御手段とを具備し、
前記制御手段は、前記画像電荷シフト手段による画像電荷の移動量があらかじめ定めた上限値を超えないように画像電荷の読み出し回数を増やす
ことを特徴とする撮像装置を提供する。
【発明の効果】
【００１４】
本発明によれば、特殊な機構装置やメモリを必要とせずに固体撮像素子内でぶれ補正を実施することにより小型で低コストの撮像装置を提供することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、画像のぶれが手ぶれによるものである場合について、説明するが、本発明は、手ぶれ以外の理由で発生する画像のぶれにも適用可能である。例えば、自動車やその他の移動体に搭載され、移動しながら撮影を行うカメラであって、あらかじめ主たる動きの方向が分っている場合に適用できる。
【００１６】
実施の形態１．
図１は本発明の実施の形態１における撮像装置の基本構成を示す図である。図示のようにこの撮像装置は、レンズ１と、固体撮像素子２と、アナログ信号処理部３と、画素信号Ａ／Ｄ変換部４と、信号処理部５と、表示手段６と、ＣＰＵ７と、タイミングジェネレータ８と、手ぶれセンサ９と、動き信号Ａ／Ｄ変換部１０と、積算部１１と、レンズ駆動部１２とを有する。
【００１７】
レンズ１を通して入射した被写体像を固体撮像素子２で光電変換する。このレンズ１は焦点距離が可変なズームレンズとして機能する。レンズ駆動部１２からの制御信号によって、レンズ１は光軸上で前後へ移動し、焦点距離を連続的に変えることができる。この制御信号はＣＰＵ７から出力される。
【００１８】
固体撮像素子２は、図２に示すように、複数の光電変換素子列２０を有する光電変換部１９と、それぞれ光電変換素子列２０に対応し、隣接して設けられた複数の垂直転送部２２と、光電変換素子列２０と垂直転送部２２の間に位置する読み出しゲート部２４と、水平転送部２７と、出力増幅器２８とを有する。
各光電変換素子列２０は、撮像画面上の第１の方向、例えば垂直方向に列をなす複数の画素位置に配置され、被写体（図示しない）からの光をレンズ１を介して受けて光電変換を行なう複数の光電変換素子２１を有する。
各垂直転送部２２は、対応する光電変換素子列２０の光電変換素子２１にそれぞれ対応して設けられ、対応する光電変換素子２１で蓄積された電荷が、読み出しゲート部２４のそれぞれの読み出しゲート２５を介して転送され、かつ相互間で垂直方向に電荷の転送を行う複数の転送素子２３から成る。
水平転送部２７は、垂直転送部２２で転送され、垂直転送部２２から出力された電荷を受けて、第１の方向と直交する第２の方向、例えば水平方向に転送する。
出力増幅器２８は、水平転送部２７を転送され、水平転送部２７から出力された電荷を増幅して出力する。
【００１９】
光電変換部１９の光電変換素子２１における光電変換によって、光の強さに応じた量の電荷が蓄積され、読み出しパルスＴＧによって、電荷が読み出しゲート部２４を介して垂直転送部２２に取り出され、４相のパルスφＶ１、φＶ２、φＶ３、φＶ４から成る垂直転送パルスＶＤＰによって水平転送部２７方向へ逐次転送される。水平転送部２７では１ライン分の画素が入るたびに２相のパルスφＨ１、φＨ２から成る水平転送パルスＨＤＰによって水平方向に電荷の転送を行ない、出力増幅器２８で信号電圧に変換して信号を出力する。
【００２０】
本願では簡単のため、垂直転送部２２内の転送を単に「垂直転送」と言い、水平転送部２７内の転送を単に「水平転送」と言うことがある。
【００２１】
上記の垂直転送パルスＶＤＰによって、垂直転送部２２内の電荷を水平転送部２７の方向（図２の垂直転送部２２内の矢印ＦＷの方向。以下「順方向」と呼ぶことがある）へ転送するだけではなく、水平転送部２７から離れる方向（図２の垂直転送部２２内の矢印ＦWと反対方向。以下「逆方向」と呼ぶことがある）へ転送することも可能である。また、垂直転送パルスＶＤＰを印加しない時は、垂直転送部２２は画像保持手段としての働きを有し、読み出しゲート部２４を介して垂直転送部２２に取り出された電荷を、垂直転送部２２内で順方向にも逆方向にも移動させず、取り出された位置に保持することができる。
垂直転送部２２の各転送素子２３は、内部に保持されている電荷と、対応する光電変換素子２１から転送される電荷とを加算する画像加算手段乃至画像合成手段としても機能する。
【００２２】
図３は、図２における縦方向に並んだ４画素を拡大して示す図である。符号ＰＸは一つの画素を示す。各画素は、光電変換素子２１、読み出しゲート２５ならびに転送素子２３を備える。本実施の形態では４相の垂直転送パルスＶＤＰを用いており、１画素あたり４個の電極２６ａ〜２６ｄが存在する。光電変換素子２１にて光電変換されて蓄積された電荷は、読み出しゲート２５を介して転送素子２３に読み出される。以下に述べるように、４相の垂直転送パルスＶＤＰの電圧を所定の時系列で変化させることにより、垂直転送部２２内の電荷を所望の画素数分だけ順方向にも、逆方向にも転送することができる。
【００２３】
固体撮像素子の光電変換部１９の光電変換素子２１は、それぞれ異なる色の色フィルタで覆われ、該色フィルタが所定の繰り返しパターンで周期的に配列されている。この周期的配列は、図４に示すようにベイヤ型であっても良い。色フィルタは、例えば赤（Ｒ），緑（Ｇ），青（Ｂ）の色フィルタであり、Ｒ，Ｇ，Ｂの色フィルタで覆われた光電変換素子からは、Ｒ，Ｇ，Ｂの画素信号が得られる。図４で、符号Ｈは、撮像画面上の横軸、即ち水平方向軸を示し、水平方向軸に沿う１、２、…ｍは水平方向軸上の座標値を表し、符号Ｖは、撮像画面上の縦軸、即ち垂直方向軸を示し、垂直方向軸に沿う１、２、…ｎは垂直方向軸上の座標値を表す。
【００２４】
なおまた、図４に示すベイヤ配列の代わりに、図５に示すハニカム配列のものを用いても良い。ハニカム配列は、ベイヤ配列を４５度回転させたものであり、ハニカム配列においては、撮像素子は各々略正八角形の各画素の光電変換素子を有し、垂直転送部２２は画素列に沿って（隣接する画素列間を）蛇行する形状をしている。
【００２５】
再び図１を参照し、固体撮像素子２から得られるＲ、Ｇ、Ｂの出力信号（画素信号）は、アナログ信号処理部３において、相関二重サンプリング処理（ＣＤＳ）ならびに自動利得制御増幅処理（ＡＧＣ）が施される。
固体撮像素子２に供給される、読み出しパルスＴＧ、垂直転送パルスＶＤＰ、及び水平転送パルスＨＤＰ、並びに後述のオーバーフロードレインパルスＯＦＤ（これらを総称して「固体撮像素子の駆動用パルス」と呼ぶことがある）、並びにアナログ信号処理部３に供給されるＣＤＳのためのサンプリングパルスＤＳＰは、タイミングジェネレータ８によって供給される。これらのパルスの発生のタイミングは、ＣＰＵ７によって制御される。また、アナログ信号処理部３におけるＡＧＣも、ＣＰＵ７からの制御信号によって行われる。
【００２６】
アナログ信号処理部３の出力信号は、画素信号Ａ／Ｄ変換部４にてデジタル信号に変換された後、信号処理部５にて映像信号処理され、表示手段６において表示可能な映像信号になる。信号処理部５では、ＲＧＢ信号から輝度色差信号（ＹＣｂＣｒ）への変換、ホワイトバランス補正、γ（ガンマ）補正、色補間処理および輪郭強調補正等の画像処理が行われる。ＬＣＤなどなどで構成された表示手段６は、信号処理部５から出力された映像信号を表示する。静止画を撮影する際、撮影者は表示手段６に映る被写体の画像を見ながら構図を決める。
【００２７】
手ぶれセンサ９は、撮影者が被写体を撮像する際の撮像装置本体、特にその固体撮像素子２の上記第１の方向（垂直方向）の動きを感知する動き検出手段として用いられている。なお、ここで「第１の方向の動きを感知する」とは、第１の方向の動きのみを感知するものであっても良く、他の方向の動きをも感知するが、第１の方向の動きの成分を表す信号を取り出し得るものであっても良い。手ぶれセンサ９は例えば角速度を検知する素子であり、得られた角速度を時間積分することで、振動による変位量および変位方向を得ることができる。この手ぶれセンサ９によって検出した角速度信号は動き信号Ａ／Ｄ変換部１０にてデジタル信号に変換された後、ＣＰＵ７に出力される。なお、手ぶれセンサ９としては、角速度センサに限られず、代わりに角加速度センサ、加速度センサまたは地磁気センサ等を用いることも可能であり、それぞれのセンサ信号に応じた適正な信号処理を行なうことで、角速度センサを用いた場合と同様の効果を得ることができる。
【００２８】
ＣＰＵ７は本撮像システムを総括して制御を行うとともに、各種演算を実施する手段として機能している。信号処理部５からの映像信号データに基づき、自動露光制御（ＡＥ）／自動ホワイトバランス制御（ＡＷＢ）を行うとともに、アナログ信号処理部３に対する増幅利得の設定、タイミングジェネレータ８で生成される固体撮像素子２の駆動用パルスの発生の制御、ならびにレンズ駆動部１２の制御信号の生成を行う。
積算部１１は、信号処理部５から入力される１画面分の映像信号の積算を行う。積算結果は、撮像画像の明るさを表すものであり、ＣＰＵ７はこれに基づいて、オーバーフロードレインパルスＯＦＤの生成を制御し、これにより電荷蓄積時間の制御を行う。
【００２９】
さらにＣＰＵ７は、動き信号Ａ／Ｄ変換部１０にてデジタル信号に変換された角速度信号を積分し、撮像装置に生じたぶれの角度と方向を計算し、さらにこの計算値をもとに手ぶれ量を画像のぶれの画素数に換算する機能も有する。
【００３０】
また、後に詳しく述べるように、垂直転送部２２（図２参照）内で電荷を移動させるための垂直転送パルスＶＤＰの波形、ならびにこの垂直転送パルスＶＤＰの発生タイミングを決定する。この決定された垂直転送パルスＶＤＰの波形及び発生タイミングに基づいてタイミングジェネレータ８へ制御信号を出力し、この制御信号に基づいて、タイミングジェネレータ８は固体撮像素子２の駆動用パルス信号の発生を行う。このように、ＣＰＵ７が生成する制御信号を受け取ったタイミングジェネレータ８は、後述する垂直転送部２２内で電荷を移動させる垂直転送信号発生手段として機能する。
【００３１】
さらに、ＣＰＵ７とタイミングジェネレータ８は、手ぶれセンサ９で動きが検出されたときに、光電変換素子から転送素子への転送（読み出し）のための読み出しパルスのタイミングを制御し、所定のフレーム期間の間に複数回画像を読み出すための制御も行う。
【００３２】
図６は、本実施の形態において手ぶれ補正を行うための構成要素を機能ブロック図で表したものである。レンズ１を通して入射する光像は電荷蓄積手段３１にて光電変換され、電荷が蓄積される。
電荷蓄積手段３１は、本実施の形態では図２における、光電変換部１９で構成される。動き検出手段３２は撮像装置の動きを検出する手段であり、図１の手ぶれセンサ９で構成される。
合成手段３３は、動き検出手段３２で検出された、所定の時間当たりの動きの量（ＢＬ）が所定値以上のときに、レンズ１を介して固体撮像素子２上に結像した光像に対応する、所定のフレーム期間の中の第１乃至第Ｎ（Ｎは２以上の整数）の画像信号を読み出して、該読み出された第１乃至第Ｎの画像信号を、それぞれ検出された動きの量に応じた画素数分シフトさせて合成する。
合成手段３３は、図示のように、読み出し手段３４と、画像保持手段３５と、画像シフト手段３６とを有する。
実施の形態１では、画像読み出し手段３４は、読み出しゲート部２４で構成され、画像保持手段３５及び画像シフト手段３６はともに垂直転送部２２で構成され、制御手段３７は、ＣＰＵ７とタイミングジェネレータ８で構成される。
【００３３】
読み出し手段３４は電荷蓄積手段３１で蓄積される画像電荷を、電荷蓄積時間の間にＮ回（Ｎは２以上の整数）に分けて読み出す。
画像保持手段３５は読み出し手段３４によって読み出された画像電荷を一時保持する。
画像シフト手段３６は画像保持手段３５によって保持された画像電荷をシフトする。
上記した画像保持手段３５は、シフトされた画像電荷と、読み出し手段３４で読み出された画像電荷とを加算する機能をも有する。
【００３４】
制御手段３７は、第１回目に読み出され、画像保持手段３５に保持された画像電荷を、動き検出手段３２によって検出された動き量に応じた第１の移動量だけシフトし、シフトされた画像電荷に、画像読み出し手段３４によって第２回目に読み出された画像電荷を、画像保持手段３５で加算する。移動量は、例えば画素数で表される。
Ｎが２よりも大きい場合には、制御手段３７は、さらに、第ｎ回目（ｎは２乃至（Ｎ−１）の整数）に読み出された画像電荷の加算の結果得られる画像電荷を、動き検出手段３２によって検出された動き量の第ｎの移動量だけシフトし、シフトされた画像電荷に、画像読み出し手段３４によって第（ｎ＋１）回目に読み出された画像電荷を、画像保持手段３５で加算する処理を２から（Ｎ−１）まで順に繰り返し行わせる。即ち、Ｎが２よりも大きい場合、制御手段３７は、読み出し手段３４によって、第１回目に読み出され、画像保持手段３５に保持された画像電荷を、動き検出手段３２によって検出された動き量に応じた第１の移動量だけシフトし、該シフトされた画像電荷（第１回目の読み出され、シフトされた画像電荷）に、画像読み出し手段３４によって第２回目に読み出された画像電荷を画像保持手段３５で加算し、同様に第２回目に読み出された画像電荷と、第１回目に読み出された画像電荷の加算の結果得られた画像電荷を、動き検出手段３２によって検出された動き量に応じた第２の移動量だけシフトし、該シフトされた画像電荷に、画像読み出し手段３４によって第３回目に読み出された画像電荷を画像保持手段３５で加算し、以下第Ｎ回目の読み出し、加算が終わるまで、同様の処理を繰り返す。
【００３５】
例えば、電荷蓄積の開始から第１回目の読み出しまでの期間（この期間を「第１の画像生成期間」と呼ぶことがある）と、各回の読み出しから次の読み出しまでの期間（第ｎ回目の読み出しから第（ｎ＋１）回目の読み出しまでの期間を「第ｎの画像生成期間」と呼ぶことがある）が互いに略同じ長さを有し、動きの量が、該動きの量に対応する撮像素子の画素の数で表され、動きの量に応じた上記第１の移動量及び第ｎの移動量が、動きの量の１／Ｎに設定される。
【００３６】
本実施の形態の固体撮像素子２は、例えばインターライン型のＣＣＤ撮像素子であって、線順次走査により水平方向に１ラインずつ順番にすべての画素信号を読み出す「全画素読み出し」方式に対応している。
【００３７】
図７は合成手段３３の動作を経時的に示した模式図である。所定のフレーム期間の電荷蓄積期間をＮ分割した第１乃至第Ｎの画像生成期間の各々に生成された画像を表す画像信号に、本実施の形態の手ぶれ補正のため、シフトを行なった後加算することで合成を行う動作を示している。第１の画像生成期間ＧＣ１は、１番目の画像（第１の画像）を得るために光電変換部１９にて電荷蓄積を行う期間を示しており、以下第２の画像生成期間ＧＣ２乃至第Ｎの画像生成期間ＧＣＮは同様の意味をもつ。第１の画像生成期間ＧＣ１における電荷蓄積で形成された第１の画像を表す画像信号を垂直転送部２２に読み出し（ＲＤ１）た後、第２の画像の表す画像信号を得るために光電変換部１９にて電荷蓄積（ＧＣ２）を行う間に、該第１画像を表す画像信号を画像シフト手段３６により動き量の１／Ｎに応じた画素数だけシフトし（ＳＨ１）、第２画像の読み出しまで画像保持手段３５によりシフト後の画素位置に保持する（ＨＬ１）。
【００３８】
その後、該画像保持手段３５により画素位置に保持した状態の画像信号を、第２の画像を表す画像信号と画像加算手段３４により加算し（ＡＤ１）、該加算した画像を画像シフト手段３６により、動き量の１／Ｎに応じた画素数だけシフトし（ＳＨ２）、第３の画像の読み出しまで画像保持手段３５によりシフト後の画素位置に保持する（ＨＬ２）。その後、該画像保持手段３５により画素位置に保持した状態の画像信号を、第３の画像を表す画像信号と画像加算手段３４により加算する（ＡＤ２）。以下、第Ｎの画像を表す画像信号を加算するまで同様の動作繰り返して、合成された画像信号を得る。
【００３９】
図２及び図３に示される、固体撮像素子２の垂直転送部２２内の電荷を順方向に転送する具体的な手法を、垂直転送パルスＶＤＰの電位変化のタイミングチャートである図８および図９を用いて説明する。図８は、各電極の垂直転送パルスＶＤＰの４相のパルスφＶｉ（ｉ＝１、２、３、４）のタイミングチャートであり、横軸に時刻を、縦軸に４つの電極２６ａ〜２６ｄに与えられる電位を並べて示している。図９は、図８に示す垂直転送パルスＶＤＰを各電極に与えた時の、電荷移動の様子を示す図である。図９において、横軸は垂直転送部２２の転送素子２３の電極２６ａ〜２６ｄの位置を示し、縦軸には各電極の電子のポテンシャルエネルギーφｉ（＝−ｅφＶｉ）と電荷ＱＣの分布の経時変化（異なる時刻ｔ＝ａ１乃至ａ９における電荷分布）が示してある。
【００４０】
次に動作を説明する。図８において、時刻ａ１では電極２６ｂの電位φＶ２と電極２６ｃの電位φＶ３が＋Ｖであり、電極２６ａの電位φＶ１と電極２６ｄの電位φＶ４が０Ｖであるため、図９に示すように、電極２６ｂと電極２６ｃに電位井戸が形成されて電荷ＱＣが蓄積される。次に時刻ａ２にて電極２６ｄにバイアス電圧＋Ｖを印加すると、電極２６ｂと電極２６ｃにあった電荷ＱＣは、電極２６ｂから電極２６ｄに拡散する。次に時刻ａ３にて電極２６ｂを無バイアスにすると、電荷ＱＣは電極２６ｃから電極２６ｄに収束し、結果として、時刻ａ１からａ３において、電荷ＱＣは順方向（図９において右方向）へ１電極分だけ移動したことになる。
【００４１】
時刻ａ４では電極２６ａにバイアス電圧＋Ｖを印加し、時刻ａ５で電極２６ｃを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ順方向に移動する。時刻ａ６では電極２６ｂにバイアス電圧＋Ｖを印加し、時刻ａ７で電極２６ｄを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ順方向へ移動する。時刻ａ８では電極２６ｃにバイアス電圧＋Ｖを印加し、時刻ａ９で電極２６ａを無バイアスにすることにより時刻ａ１の状態と同じになる。すなわち、時刻ａ１から時刻ａ９において、１画素分電荷ＱＣを順方向へ移動したことになる。
【００４２】
他方、垂直転送部内の電荷ＱＣを逆方向に転送する場合に関して、図１０および図１１を用いて説明する。電荷ＱＣを順方向に転送する場合の説明に用いた図８が図１０に、図９が図１１にそれぞれ対応している。また、時刻ａ１からａ９は、ｂ１からｂ９にそれぞれ対応している。
【００４３】
次に動作を説明する。図１０において、時刻ｂ１では電極２６ｂと電極２６ｃにバイアス電圧＋Ｖが掛かり、電極２６ａと電極２６ｄは無バイアスで０Ｖであるため、図１１に示すように、電極２６ｂと電極２６ｃに電位井戸が形成されて電荷ＱＣが蓄積されている。次に時刻ｂ２にて電極２６ａにバイアス電圧＋Ｖを印加すると、電極２６ｂと電極２６ｃにあった電荷ＱＣは、電極２６ａから電極２６ｃに拡散する。次に時刻ｂ３にて電極２６ｃを無バイアスにすると、電荷ＱＣは電極２６ａから電極２６ｂに収束し、結果として、時刻ｂ１からｂ３において、電荷ＱＣは逆方向（図１１において左方向）へ１電極分だけ移動したことになる。
【００４４】
時刻ｂ４では電極２６ｄにバイアス電圧＋Ｖを印加し、時刻ｂ５で電極２６ｂを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ逆方向に移動する。時刻ｂ６では電極２６ｃにバイアス電圧＋Ｖを印加し、時刻ｂ７で電極２６ａを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ逆方向へ移動する。時刻ｂ８では電極２６ｂにバイアス電圧＋Ｖを印加し、時刻ｂ９で電極２６ｄを無バイアスにすることにより時刻ｂ１の状態と同じになる。すなわち、時刻ｂ１から時刻ｂ９において、１画素分電荷を逆方向へ移動したことになる。
【００４５】
本実施の形態においては、上述したように、電荷の拡散ステップ後に収束ステップを行ない、これを繰り返すことで電荷の転送を実現しているが、拡散と収束のステップを同時に行なっても電荷の転送は可能である。例えば、図９の時刻ａ２の拡散と時刻ａ３の収束を同時に行なう、すなわち電極２６ｄへのバイアス電圧印加と電極２６ｂの無バイアス化を同時に行なうことによっても同様の電荷の転送は達成できる。あるいは、図９において時刻ａ３の収束と時刻ａ４の拡散を同時に行なっても、同様に電荷の転送が可能である。
【００４６】
さらに、本実施の形態では４相の垂直転送パルスＶＤＰによって電荷を転送しているが、４相に限るものではなく、３相以上であれば、同様の方法により電荷の転送は可能である。同様に水平転送パルスＨＤＰについても２相のものを用いているがこれに限るものではない。
【００４７】
また、本実施の形態では撮像素子としてＣＣＤ撮像素子を用いたが、これに限るものではなく、例えば前述の合成手段３３と同等の手段を備えたＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型撮像素子であっても構わない。
【００４８】
次に本発明で補正の対象となる「手ぶれ」の概念について説明する。図１２（ａ）は撮像者が被写体を撮像する際に、上下（ピッチング）方向に手ぶれをしたときの手ぶれ方向と撮像画像との関係を示した図である。ここで被写体は円形の光源ＬＳであり、手ぶれをおこさずに撮像したときの撮像画像を図１２（ｃ）に示す。丸い被写体形状を保持した画像ＬＳｂが撮像される。
【００４９】
撮像者ＨＹは、最初に光軸が地面ＧＬと線ＨＬに一致するように撮像装置ＰＧを構え、シャッタボタンＳＢを押す。手ぶれはこのときに生じ、手ぶれによって撮像装置ＰＧの光軸ＯＸが上向きになる方向（（＋）方向）に動いた場合、図１２（ｂ）に示すように撮像画像Ｌａには、符号ＴＲａで示すように下方向に尾引きが生じ、一方撮像装置ＰＧの光軸ＯＸが下向きになる方向（（−）方向）に動いた場合、図１２（ｄ）に示すように撮像画像Ｌｃには、符号ＴＲｃで示すように上方向に尾引きが生じる。
【００５０】
本発明は図１２（ｂ）、（ｄ）に再現される被写体像ＬＳａ、ＬＳｃの尾引きＴＲａ、ＴＲｂを低減した高品質な撮像画像を実現することを目的としている。なお、手ぶれによる画質劣化はほとんどの場合、撮像者ＨＹがシャッタボタンＳＢを押す動作に起因した撮像装置の回転等により生じる。この回転方向はシャッタボタンＳＢの押し下げ方向とほぼ一致するため、押し下げ方向に対応する一次元的な補正により、実用上十分な補正が可能である。本実施の形態においては、垂直転送部２２において電荷を転送する方向（撮像画面上の垂直方向）を、上記した手ぶれが生じ易い方向を対応させる（撮像画面が垂直に設けられている場合には、垂直転送部２２において電荷を転送する方向（撮像画面上の垂直方向）を、手ぶれが生じ易い方向に略平行とする）ことで良好な手ぶれ動作を達成している。
【００５１】
図１３（ａ）〜（ｇ)、図１４（ａ）〜（ｇ）、及び図１５（ａ）〜（ｇ）は本実施の形態における撮像装置の動作を示すタイミングチャートである。
図１３（ａ）、図１４（ａ）及び図１５（ａ）は、シャッタ信号ＢＰであり、シャッタの押下が検出された時点Ｔｏｎで高レベルから低レベルへの遷移が起きる。
図１３（ｂ）、図１４（ｂ）及び図１５（ｂ）は垂直同期信号ＶＤであり、原則として所定の周期（垂直周期）で発生するが、ＣＰＵ７によるＡＥ制御によって決定された電荷蓄積時間次第では、垂直同期信号ＶＤが抑制され、通常よりも長い、図示の例では通常の４倍の長さを有するフレーム期間ＦＰ（３）が形成される。
【００５２】
図１３（ｃ）、図１４（ｃ）及び図１５（ｃ）のオーバーフロードレインパルスは水平同期信号に同期してタイミングジェネレータ８から固体撮像素子２のオーバーフロードレイン電極に印加されるものであり、ＡＥ制御において電荷蓄積期間を調整するために光電変換素子２１に蓄積された電荷を固体撮像素子２内の基板上に排出することにより電子シャッタ機能を実現するものである。なお、図１３（ｃ）のオーバーフロードレインパルスＯＦＤのうち、最初のパルスＯＦＤ１（垂直同期信号ＶＤの立ち上がりと同時又はその直後に（立ち上がりの後最初に）発生されるもの）以外のパルスを、電子シャッタパルスと呼ぶこともある。
【００５３】
図１３（ｄ）、図１４（ｄ）及び図１５（ｄ）は光電変換素子２１において光電変換ならびに電荷蓄積を行う期間ＰＤを示している。この期間ＰＤ（それぞれ符号ＳＳ１，ＳＳ２などで示されている）は、各フレーム期間において、オーバーフロードレインパルスＯＦＤの発生が終わった後に開始され、次の垂直同期信号ＶＤの立ち上がりまで続く。言い換えると、電荷蓄積期間が与えられた長さとなるように、オーバーフロードレインパルスＯＦＤの列の発生を終了する時点が決められる。
【００５４】
図１３（ｅ）、図１４（ｅ）及び図１５（ｅ）は読み出しパルスＴＧであり、光電変換素子２１で蓄積した電荷を垂直転送部２２の対応する転送素子２３へ読み出す（転送する）ため、読み出しゲート２５を制御する。
図１３（ｆ）、図１４（ｆ）及び図１５（ｆ）は垂直転送パルスＶＤＰ（φＶ１〜φＶ４）、図１３（ｇ）は水平転送パルスＨＤＰ（φＨ１、φＨ２）を示している。
【００５５】
シャッタボタンＳＢを押す前は、被写体の明るさに基づいて、露出条件の一つとして定められる電荷蓄積期間ＳＳｉ（ｉ＝１、２、…）を設定して、撮像を行う。例えばある垂直同期信号ＶＤが発生される第１の垂直ブランキング期間ＶＢ（１）で始まるフレーム（第１のフレームＦＰ（１））内の電荷蓄積期間ＳＳ１で蓄積した電荷は、当該第１のフレームＦＰ（１）の次のフレーム(第２のフレームＦＰ（２）)の先頭の垂直ブランキング期間ＶＢ（２）内に発生される読み出しパルスＴＧ１０によって垂直転送部２２へ読み出され、上記第２のフレームＦＰ（２）内の期間１００ｂに垂直転送部２２内で水平転送部２７に向けて転送される。複数の垂直転送部２２内で同時に水平転送部２７に向けた転送が行われる。同時に転送される画素信号は、撮像面上の水平方向に整列した複数の画素、即ち同じライン上の複数の画素をそれぞれ構成する複数の光電変換素子２１から読み出された信号電荷が同時に、それぞれの垂直転送部２２により転送される。言換えると、光電変換部２０のそれぞれの光電変換素子列２１から垂直転送部２２に転送された信号電荷は水平転送部２７へ向けて１ラインずつ順々に転送される。そして、同じ第２のフレーム期間ＦＰ（２）内の期間１０１ｂにおいて、垂直転送部２２から水平転送部２７に転送された電荷が、水平転送部２７内を出力増幅器２８に向けて転送され、出力増幅器２８で増幅されて出力される。
【００５６】
第２のフレーム期間ＦＰ（２）内の電荷蓄積期間ＳＳ２内のある時点ＴｏｎにシャッタボタンＳＢが押され、シャッタ信号ＢＰが高レベルから低レベルに遷移したとすると、第２のフレームＦＰ（２）内の電荷蓄積期間ＳＳ２に蓄積された電荷は、次の垂直ブランキング期間ＶＢ（３）の最初（垂直同期信号ＶＤの立ち上がりと略同時）にオーバーフロードレインパルスＯＦＤ１を固体撮像素子２へ印加することにより垂直転送部２２へ転送されることなく基板上に排出される。なお、垂直ブランキング期間内において、ＡＥ制御により電子シャッタパルス（ＯＦＤ１以外のオーバーフロードレインパルスＯＦＤ）が発生される場合は、オーバーフロードレインパルスＯＦＤ１は必ずしも必要ではない。読み出しパルス（ＶＢ（２）内のＴＧ１０のごときもの）の発生を禁止すれば垂直転送部２２への信号電荷の読み出しが禁止されるので、ＡＥ制御による電子シャッタパルスの発生の時点で、蓄積された電荷が基板上に排出されるためである。
【００５７】
シャッタボタンＳＢの押下が検知された時点Ｔｏｎの次のフレーム期間ＦＰ（３）は、静止画像として記録する画像用の映像信号を得るための電荷蓄積を行う期間である。このフレーム期間ＦＰ（３）において電荷蓄積期間を複数個（Ｎ個）の画像生成期間（図７参照）に分割して画像生成期間ごとに垂直転送部２２への電荷読み出しを行うことにより複数（Ｎ毎）の画像を得る。
図１３、図１４及び図１５は、電荷蓄積期間の分割数（したがって読み出し回数）Ｎがそれぞれ２、４、及び８の場合を示す。
【００５８】
該複数の画像は最終的に１枚の画像に合成されて固体撮像素子から出力されるが、それまでは前記複数の画像を構成する画像のうち、第１の画像生成期間に読み出した画像（１画像分の全電荷であり、以下「第１の画像」と呼ぶことがある）を垂直転送部２２内に一時保持した後、第２の画像生成期間に読み出した画像（第２の画像）を垂直転送部２２に読み出すまでの間に、前記第１の画像を動き検出手段３２で検出した動き量を前記複数の画像数で除算した画像位置だけ移動させ（転送させ）、その後該画像に前記第２の画像生成期間に読み出した画像（第２の画像）と加算した後一時保持する。それ以降同様の処理を繰り返し、最後に読み出す画像（第Ｎの画像）を加算するまで繰り返す。
【００５９】
読み出し回数Ｎは制御手段３７（ＣＰＵ７及びタイミングジェネレータ８で構成される）により決定される。制御手段３７は、動き検出手段３２で検出された動きの量に応じて読み出し回数Ｎを決定するものであり、画像電荷シフト手段３６（垂直転送部２２）による画像電荷の移動量があらかじめ定めた上限値Ｌｎを超えないように読み出し回数Ｎを設定する。即ち、読み出し回数Ｎを固定した場合、動き検出手段３２で検出された動きの量が大きいほど、移動量を大きくする必要があるが、動きの量が大きいほど、読み出し回数Ｎを多くすることで、移動量が上限値Ｌｎを超えないようにする。
【００６０】
読み出し回数（電荷蓄積期間の分割数）を２に設定した場合には、図１３（ｄ）に示されるように、１つの電荷蓄積期間を等分に分割した後の画像生成期間（分割後の電荷蓄積期間）をそれぞれＳ１、Ｓ２とする。この場合画像生成期間Ｓ１で蓄積した電荷を読み出しパルスＴＧ１、画像生成期間Ｓ２で蓄積した電荷を読み出しパルスＴＧ２（図１３（ｅ））にてそれぞれ垂直転送部２２へ読み出している。図１３（ｆ）の符号１０２ａは読み出しパルスＴＧ１にて読み出した電荷をそれぞれ垂直転送部２２内で順方向または逆方向へ所定の画素数分だけ転送する期間を示す。
【００６１】
読み出し回数（電荷蓄積期間の分割数）を４に設定した場合には、図１４（ｄ）に示されるように、１つの電荷蓄積期間を等分に分割した後の画像生成期間（分割後の電荷蓄積期間）をそれぞれＳ１〜Ｓ４とする。この場合画像生成期間Ｓ１〜Ｓ４で蓄積した電荷をそれぞれ読み出しパルスＴＧ１〜ＴＧ４（図１４（ｅ））にて垂直転送部２２へ読み出している。図１４（ｆ）の符号１０３ａ〜１０３ｃはそれぞれ読み出しパルスＴＧ１〜ＴＧ３にて読み出した電荷をそれぞれ垂直転送部２２内で順方向または逆方向へ所定の画素数分だけ転送する期間を示す。
【００６２】
読み出し回数（電荷蓄積期間の分割数）を８に設定した場合には、図１５（ｄ）に示されるように、１つの電荷蓄積期間を等分に分割した後の画像生成期間（分割後の電荷蓄積期間）をそれぞれＳ１〜Ｓ８とする。この場合画像生成期間Ｓ１〜Ｓ８で蓄積した電荷をそれぞれ読み出しパルスＴＧ１〜ＴＧ８（図１５（ｅ））にて垂直転送部２２へ読み出している。図１５（ｆ）の符号１０５ａ〜１０５ｇはそれぞれ読み出しパルスＴＧ１〜ＴＧ７にて読み出した電荷をそれぞれ垂直転送部２２内で順方向または逆方向へ所定の画素数分だけ転送する期間を示す。
【００６３】
読み出し回数Ｎを２とした場合は、動き検出手段３２で検出した動き量の１／２に比例して、即ち動き量に対応する画素数の１／２の画素数だけ、垂直転送部２２内で電荷を転送する。例えば図１３（ｆ）のように符号１０２ａで表される電荷転送期間がある場合、該電荷転送期間において全手ぶれ量の１／２に比例して電荷転送を行うため、全手ぶれ量の１／２を補正する。ただし全手ぶれ量の１／２はそのまま残るため、結果として手ぶれが１／２に軽減されたことになる。
【００６４】
読み出し回数Ｎを４とした場合は、動き検出手段３２で検出した動き量の１／４に比例して、即ち動き量に対応する画素数の１／４の画素数だけ、垂直転送部２２内で電荷を転送する。例えば例えば図１４（ｆ）のように符号１０３ａ〜１０３ｃで表される３つの電荷転送期間がある場合、それぞれの期間において全手ぶれ量の１／４に比例して電荷転送を行うため、該３つの電荷転送期間の合計として全手ぶれ量の３／４を補正する。ただし全手ぶれ量の１／４はそのまま残るため、結果として手ぶれが１／４に軽減されたことになる。
【００６５】
読み出し回数Ｎを８とした場合は、動き検出手段３２で検出した動き量の１／８に比例して、即ち動き量に対応する画素数の１／８の画素数だけ、垂直転送部２２内で電荷を転送する。例えば図１５（ｆ）のように符号１０５ａ〜１０５ｇで表される７つの電荷転送期間がある場合、それぞれの期間において全手ぶれ量の１／８に比例して電荷転送を行うため、該７つの電荷転送期間の合計として全手ぶれ量の７／８を補正する。ただし全手ぶれ量の１／８はそのまま残るため、結果として手ぶれが１／８に軽減されたことになる。
一般的に、電荷蓄積期間の分割数をＮとすれば、手ぶれを１／Ｎに軽減することができる。
【００６６】
通常、本実施の形態のような手ぶれ補正によらずに記録画像の手ぶれによる像ぶれを１／２に軽減するためには、露光の絞りを１段開く（Ｆ値を１段階大きな値に設定する）、言い換えれば固体撮像素子に取り込む光量を２倍にして電荷蓄積期間（シャッタースピード）を１／２にすることで可能となるが、本実施の形態では露光の絞りを１段開くことなしに手ぶれを１／２に軽減できる。
一般的に、電荷蓄積期間の分割数をＮとした場合は、Ｎ回の画像の読み出しを行い、Ｎ枚の画像合成を行うことにより、露光の絞りをｌｏｇ２Ｎ段大きくしたのと同等の補正効果を期待できる。さらに、電荷蓄積期間の分割数を２のＭ乗（Ｍは１以上の整数）で与えられる数値に限定し、Ｍを１ずつ大きくすることにより、分割数を増加させ、Ｍを１ずつ小さくすることにより、分割数を減少させることとしても良い。
【００６７】
なお、手ぶれがまったくない（所定の閾値以下である）場合は、画像生成期間Ｓが終わるごとに垂直転送を行う必要がないため、垂直転送パルスＶＤＰは印加されず、図１３（ｆ）、図１４（ｆ）、図１５（ｆ）に示した垂直転送のための期間１０２ａ、１０３ａ〜１０３ｃ、１０５ａ〜１０５ｇは存在しない。この場合は例えば読み出したＮ枚の画像をそれぞれ移動することなく、読み出した状態のまま加算して最終的に一枚の画像を得る。
【００６８】
図１３（ｇ）、図１４（ｇ）、及び図１５（ｇ）において、符号１１０は、垂直転送期間１０２ａ、１０３ａ〜１０３ｃ、１０５ａ〜１０５ｇにおいて垂直転送部２２内の電荷を水平転送部２７方向に転送することによって水平転送部２７に押し出された後、水平転送部２７に蓄積された余分な電荷を掃き捨てる、即ち、水平転送部２７内の蓄積電荷を(次の垂直転送に先立って)ゼロにするための期間である。
【００６９】
なお、図１３、図１４、図１５では、垂直ブランキング期間ＶＢ（３）に読み出しパルスＴＧを読み出しゲート２５に印加することにより、電荷蓄積期間ＳＳ２で蓄積された全電荷を垂直転送部２２に読み出した後、水平転送部２７への高速転送し、さらに水平転送部２７で高速転送することによって掃き捨てを行うこととし、これによりオーバーフロードレインパルスＯＦＤ１を不要とすることも可能である。
また、フレーム期間ＦＰ（４）における水平転送期間１０１ｃで電荷転送を行う際の最初の１ライン分を破棄するようにすれば、ブランキング期間ＶＢ（４）の水平転送期間１１０を不要とすることができる。
さらに本実施の形態では電子シャッタパルスによる電荷蓄積期間調節を行っているが、機構式のシャッタを設けることにより、シャッタが開いている間だけ電荷蓄積を行うようにすることもできる。
【００７０】
上記のように、動き検出手段３２で検出した動きの量の増大に伴い、電荷蓄積期間の分割数を大きくすると、垂直転送部における転送の量（画像電荷の移動量）が過度に大きくなるのを防ぐことができ、また手ぶれの影響を小さくすることができる。
【００７１】
読み出し回数（電荷蓄積期間の分割数）を２とした場合は、動き検出手段３２で検出した動き量の１／２に比例して、即ち動き量の１／２に対応する画素数だけ、垂直転送部２２内で電荷を転送するが、転送する画素数には、上限Ｌｎが設けられており、動きの量の１／２に比例した画素数が、上限値Ｌｎを超えるような場合には、読み出し回数が２より大きな値、例えば４又は８に設定される。
同様に、読み出し回数を４とした場合は、動き検出手段３２で検出した動き量の１／４に比例して、即ち動き量の１／４に対応する画素数だけ、垂直転送部２２内で電荷を転送するが、転送する画素数には、上限Ｌｎが設けられており、動きの量の１／４に比例した画素数が、上限値Ｌｎを超えるような場合には、読み出し回数が４より大きな値、例えば８に設定される。
【００７２】
このように、画像生成期間ごとに電荷の移動量に上限値Ｌｎを設けることで、手ぶれ量が大きい場合は読み出し回数を増やして画像シフト手段３６による電荷の移動量を減少させることになり、画像ぶれを高精度で補正することができる。
【００７３】
図１６は手ぶれ量（ＢＬ）と移動量の関係を示したものであり、手ぶれ量ＢＬの増加に伴い、移動量が矢印付きの太線で示すように変化する。ＴＧ＝２、４、８、１６・・・はそれぞれ手ぶれ補正制御を行うＶＤ期間内にてタイミングジェネレータ８から固体撮像素子２に印加され読み出し回数ＴＧ（読み出しパルスの発生回数、したがって、電荷蓄積期間の分割数）を表している。
【００７４】
読み出し回数ＴＧを固定すると、移動量は、手ぶれ量（手ぶれ量に対応する画素数で表される）ＢＬに比例して増加し、手ぶれ量がある限界値を超えると、移動量も上限値Ｌｎを超える。
例えばＴＧ＝２に固定すると、手ぶれ量ＢＬがある値（第１の値）ＢＬ１のとき、移動量が上限値Ｌｎとなり、手ぶれ量ＢＬが第１の値ＢＬ１よりも大きい範囲では、移動量が上限値Ｌｎを超える。ＴＧ＝２で移動量が上限値Ｌｎに達する手ぶれ量（第１の値）ＢＬ１よりも手ぶれ量ＢＬが大きくなったら、読み出し回数ＴＧをより大きな値、例えばＴＧ＝４とする。ＴＧ＝４とすれば、移動量は、ＴＧ＝２の場合に比べ、１／２となる。即ち、移動量は、手ぶれ量ＢＬの１／４となる。
【００７５】
同様に、例えばＴＧ＝４に固定すると、手ぶれ量ＢＬが第２の値ＢＬ２のとき、移動量が上限値Ｌｎとなり、手ぶれ量ＢＬが第２の値ＢＬ２よりも大きい範囲では、移動量が上限値Ｌｎを超える。ＴＧ＝４で移動量が上限値Ｌｎに達する手ぶれ量（第２の値）ＢＬ２よりも手ぶれ量ＢＬが大きくなったら、読み出し回数ＴＧをより大きな値、例えばＴＧ＝８とする。ＴＧ＝８とすれば、移動量は、ＴＧ＝４の場合に比べ、１／２となる。即ち、移動量は、手ぶれ量ＢＬの１／８となる。
以下、同様に、（ＴＧ＞２では）移動量が上限値Ｌｎを超えないように、かつ、移動量の１／２が上限値Ｌｎの１／２よりも小さな値とならないように、読み出し回数ＴＧを定める。
【００７６】
上記の例で、レンズ１の位置と角速度の積分値から手ぶれ量ＢＬを画素数に換算する（画素数で表された手ぶれ量を得る）方法は、レンズ１の位置と角速度の積分値を変数としたテーブルを用いても良いし、予め与えておいた計算式より算出しても良い。例えば画像生成期間数を４とした図１３において、手ぶれ量ＢＬ＝１６であるとき、垂直転送期間１０３ａ、１０３ｂ、１０３ｃではそれぞれＢＬ／４＝４画素分だけ電荷を転送することになる。
【００７７】
撮像時に手ぶれをおこしたときの撮像画像、ならびに固体撮像素子２の撮像面上における被写体像の詳細を図１７（ａ）乃至（ｉ）に示す。本例では撮像者が撮像装置のシャッタボタンＳＢを押す瞬間に上方向に手ぶれをおこした（撮像装置が上方向に動き、そのため撮像画像が次第に下方向に移動した）場合であり、画像生成期間数が４、垂直方向の手ぶれの画素換算数が１６である場合を示している。図１７（ａ）は手ぶれが全くない場合の撮像画像である。図１７（ｂ）は、図１３における符号ＳＳ１、ＳＳ２で示す場合と同様に、電荷蓄積期間を分割せず、且つ手ぶれ補正を行なわない場合の撮像画像であり、垂直方向に１６画素分の手ぶれが発生している。
【００７８】
図１７（ｃ）〜（ｆ）は、図１７（ｂ）の画像を４つの画像生成期間に分割して取得したそれぞれの画像であり、それぞれ画像生成期間Ｓ１、Ｓ２、Ｓ３、Ｓ４において電荷蓄積を行うとともに、画像生成期間ごとに全画素を読み出すと仮定した場合に得られる撮像画像を示している（実際には、画像生成期間ごとの画像が固体撮像素子から外部に読み出されるわけではなく、垂直加算部で加算された後外部に読み出される）。画像生成期間Ｓ１〜Ｓ４は互いに同じ長さであり、図１７（ｃ）〜（ｆ）の撮像画像の輝度は、いずれも図１７（ｂ）の撮像画像の輝度の１／４となる。
【００７９】
図１７（ｃ）〜（ｆ）の各々において、点線と実線の差は各画像生成期間中のぶれを表す。
図１７（ｂ）の画像で発生している１６画素分の被写体像のずれＢＬは、図１７（ｃ）〜（ｆ）でそれぞれ４画素分のずれ（ＤＢＬ＝ＢＬ／４）に等配分できるとする。図１７（ｃ）〜（ｆ）の画像の画像生成期間内で、手ぶれの角速度が一定と仮定すれば、近似的にそのような扱いが可能である。本実施の形態１は、
相前後して得られる画像間に存在する４画素分のずれを逐次補正して加算（合成）するものであり、
即ち、図１７（ｃ）の画像を４画素分のずれＤＢＬだけシフトして図１７（ｄ）の画像と合成して第１の合成画像を形成し、この第１の合成画像をさらに４画素分のずれＤＢＬだけシフトして図１７（ｅ）の画像と合成して第２の合成画像を形成し、この第２の合成画像をさらに４画素分のずれＤＢＬだけシフトして図１７（ｆ）の画像と合成して第３の合成画像（最終的な合成画像）を形成するものであり、これにより、図１７（ｆ）の撮像画像と略同位置に被写体像が位置する画像（図１７（ｆ）の被写体像に、図１７（ｃ）〜（ｅ）の被写体像をそれぞれシフトした上で合成した(重ね合わせた)のと同じ画像）を最終的な撮像画像として固体撮像素子２から出力するものである。
【００８０】
図１７（ｇ）〜（ｊ）はレンズを通して被写体を固体撮像素子２の撮像面上に投影したときの像を示しており、それぞれ対応する図１７（ｃ）〜（ｆ）の画像とは、上下が反対の関係にある。
【００８１】
図１７（ｇ）〜（ｊ）の被写体像について、便宜上手ぶれによる尾引き部分を描画していないが、実際には図１７（ｃ）〜（ｆ）の被写体像と同様の手ぶれによる尾引き部分が存在する。画像生成期間数が４であれば、総手ぶれ量の１／４の手ぶれが各画像生成期間の画像ごとに発生する。
なお、画像生成期間数が８であれば各画像生成期間の画像には総動き量の１／８の手ぶれが発生することになる。
【００８２】
図１２（ａ）に示すように、手ぶれにより撮像装置の向きが上方に変化した場合、図１７（ｇ）、（ｈ）、（ｉ）、（ｊ）の、上下反転した撮像面上の被写体像は上方向に移動する。図１７（ｇ）、（ｈ）、（ｉ）、（ｊ）中の符号ｄ１、ｄ２、ｄ３、ｄ４で示す「＊」印は被写体（人物の顔）上の同じ箇所における１画素を示しており、以下この画素に注目して垂直転送部２２内における電荷転送の詳細を図１８および図１９を用いて説明する。
【００８３】
図１８は、図１３において電荷蓄積期間の分割を行った期間を時間軸方向に拡大した図であり、それぞれの動作に対し、時系列に、符号ＴＳａからＴＳｋを割り当てる。これら動作ＴＳａ〜ＴＳｋが行われる時点における垂直転送部２２内の電荷転送の様子を、図１９（ａ）〜（ｈ）を参照して説明する。
【００８４】
図１９（ａ）〜（ｈ）は、図１７（ｇ）〜（ｊ）に示すように、固体撮像素子２の撮像面上で被写体が上方向に移動した際の垂直転送部２２内における電荷転送による手ぶれ補正の方法を示している。図２および図３と同様に、図１９（ａ）〜（ｊ）において、各光電変換素子列２０は複数の光電変換素子２１を含み、垂直転送部２２は複数の転送素子２３を含む。各転送素子２３は画素に対応するものであり、４つの転送電極を備えているが、図１９（ａ）〜（ｈ）ではこの点の図示を省略している。
読み出しゲート部２４の読み出しゲート２５の各々は、各光電変換素子２１と対応する転送素子２３の間に設けられている。
まず図１９（ａ）に示すように、最初の画像生成期間Ｓ１（ＴＳａ）において、注目画素（図１７（ｇ）のｄ１）に対応する光電変換素子２１（１）で光電変換を行って電荷ｄ１を蓄積する。
【００８５】
次に図１９（ｂ）に示すように、読み出しパルスＴＧ１により画像生成期間Ｓ１中に光電変換素子２１（１）に蓄積された電荷ｄ１を垂直転送部２２の対応する転送素子２３（１）に読み出す（ＴＳｂ）。
この電荷読み出しが終了した直後から図１９（ｃ）に示すように、２番目の画像生成期間Ｓ２において注目画素の光電変換素子２１（２）における電荷ｄ２の蓄積（ＴＳｃ）を開始し、この電荷蓄積（ＴＳｃ）中に、動作ＴＳｂにより垂直転送部２２に読み出され電荷を転送素子２３（１）から４画素分上方向に、即ち転送素子２３（２）に移動させる（ＴＳｄ）。
次に図１９（ｄ）に示すように、読み出しパルスＴＧ２により光電変換素子２１（２）の電荷ｄ２（画像生成期間Ｓ２中に光電変換素子２１（２）に蓄積された電荷ｄ２）を垂直転送部２２の対応する転送素子２３（２）に読み出し、垂直転送部２２内で、転送素子２３（１）から転送素子２３（２）に移動した電荷ｄ１と加算する（ＴＳｅ）。
【００８６】
この電荷読み出し及び加算が終了した直後から図１９（ｅ）に示すように、３番目の画像生成期間Ｓ３において注目画素の光電変換素子２１（３）における電荷ｄ３の蓄積（ＴＳｆ）を開始し、この電荷蓄積（ＴＳｆ）中に、動作Ｔｓｅにおいて垂直転送部２２の転送素子２３（２）内で加算した電荷（ｄ１＋ｄ２）を転送素子２３（２）から４画素分上方向に、即ち転送素子２３（３）に移動させる（ＴＳｇ）。
次に図１９（ｆ）に示すように、読み出しパルスＴＧ３により光電変換素子２１（３）の電荷ｄ３（画像生成期間Ｓ３中に光電変換素子２１（３）に蓄積された電荷ｄ３）を垂直転送部２２の対応する転送素子２３（３）に読み出し、垂直転送部２２内で、転送素子２３（２）から転送素子２３（３）に移動した電荷（ｄ１＋ｄ２）と加算する（ＴＳｈ）。
【００８７】
この電荷の読み出し及び加算が終了した直後から図１９（ｇ）に示すように、４番目の画像生成期間Ｓ４において注目画素の光電変換素子２１（４）における電荷ｄ４の蓄積（ＴＳｉ）を開始し、この電荷蓄積（ＴＳｉ）中に、動作ＴＳｈにおいて垂直転送部２２の転送素子２３（３）内で加算した電荷（ｄ１＋ｄ２＋ｄ３）を転送素子２３（３）から４画素分上方向に、即ち転送素子２３（４）に移動させる（ＴＳｊ）。
次に図１９（ｈ）に示すように、読み出しパルスＴＧ４により光電変換素子２１（４）の電荷ｄ４（画像生成期間Ｓ４中に光電変換素子２１（４）に蓄積された電荷ｄ４）を垂直転送部２２の対応する転送素子２３（４）に読み出し、垂直転送部２２内で、転送素子２３（３）から転送素子２３（４）に移動した電荷（ｄ１＋ｄ２＋ｄ３）と加算する（ＴＳｋ）。
その後全画素のデータを矢印Ｙｍで示すように、水平転送部２７へ転送する（図１３、図１８の１００ｃ）と同時に、水平転送部２７内で出力増幅器部２８へ向けて、信号電荷の転送を行う（図１３、図１８の１０１ｃ）。
以上の動作により、像ぶれの低減された画像データを得ることが可能となる。
【００８８】
図２０は、本発明の実施の形態１における手ぶれ補正の動作に係るフローチャートである。まず読み出し回数ＴＧをＴＧ＝２＾ｍ（ｍ＝１、２、・・・）と表わして初期値をｍ＝１とする（Ｓｔ０）。次に、シャッタボタンＳＢが押されたかどうかを監視し（Ｓｔ１）、シャッタボタンＳＢが押されると手ぶれ量ＢＬを算出する（Ｓｔ２）。本実施の形態では、手ぶれセンサ９として角速度センサを用いており、撮像者がシャッタボタンＳＢを押した際の撮像装置に発生する振動の角速度を検出するとともに、ＣＰＵ７によってズーム倍率を決めるレンズ１の位置と角速度の積分値から、ぶれ量ＢＬを対応する画素数に換算することで、画素数で表したぶれ量を得る。
次に、ステップＳｔ３に進み、Ａ＜ＢＬ／ＴＧ≦Ｌｎが満たされるかどうかの判定を行う。この判定は、総手ぶれ量をＢＬとした場合の一つの電荷蓄積期間における移動量の範囲を判定するものである。Ｌｎは移動量の上限値であり任意に設定できるものとする。固定値Ａはｍ＝１の場合はＡ＝０、ｍ≦２の場合はＡ＝Ｌｎ／２となる数値である。
【００８９】
ステップＳｔ３の判定結果が「ＮＯ」である場合は、ステップＳｔ４でｍを１だけ増加させて、ステップＳｔ３に戻る。
ステップＳｔ３の判定結果が「ＹＥＳ」である場合は、ステップＳｔ５に進み、計算式ＴＧ＝２＾ｍにおける「ｍ」に値を代入する。即ち、該ｍの値をもとに読み出し回数Ｎを決定する。
【００９０】
ステップＳｔ５の次に、そのときのＴＧ＝２＾ｍの算出値をもとに読み出し回数（電荷蓄積期間の分割数）Ｎを決定する（ステップＳｔ６）。
次に、第１〜Ｎの画像生成期間のうちの第１番目の画像生成期間における電荷蓄積で得られた画像（第１番目の画像）を最初に読み出す目的でｎ＝１を与える（ステップＳｔ７）。次に第ｎ番目の画像を読み出す（ステップＳｔ８）。初期状態ではステップＳｔ８によりｎ＝１であるため、第１番目の画像を読み出すことになる。
次に、手ぶれ量（動き量を表す画素数）ＢＬを読み出し回数Ｎで除算した画像位置（画素数）だけ画像をシフトさせた後（ステップＳｔ９）、垂直転送部２２内に保持する（Ｓｔ１０）。次に第（ｎ＋１）番目の画像を読み出す。
初期状態では（即ち、ステップＳｔ１１の処理を最初に実行するときは）該第（ｎ＋１）番目の画像とは第２の画像のことを指す。
【００９１】
そして、保持された第ｎ番目の画像と読み出された第（ｎ＋１）番目の画像を加算する（ステップＳｔ１２）。この加算は、第ｎ番目の画像（即ち第ｎ番目の画像に対応する電荷）を保持している垂直転送部２２のそれぞれの転送素子２３に、光電変換素子列２０のそれぞれの光電変換素子２１から第（ｎ＋１）番目の画像（第（ｎ＋１）番目の画像に対応する電荷）を読み出すことにより、行われる。
次に、ｎ＝Ｎ−１か否かを判定する（ステップＳｔ１３）。ｎ＝Ｎ−１でない場合は、ｎに１を足して（ステップＳｔ１４）、ステップＳｔ９に戻り、ステップＳｔ９からステップＳｔ１３までの処理を繰り返す。この繰り返しは、ステップＳｔ１３で、ｎ＝Ｎ−１となるまで続けられる。ｎ＝Ｎ−１となれば次のフレーム期間に垂直転送部２２内の全電荷を水平転送部２７へ転送して（ステップＳｔ１５）、終了する。
【００９２】
図２１は移動量の上限値Ｌｎを変化させたときの、手ぶれ量ＢＬに対する各画像生成期間中の移動量を示した図である。手ぶれ量ＢＬの増加に伴い、移動量が矢印付きの太線で示すように変化する。このとき図２１（ｂ）のＬｎ＝Ｌｎ２の設定値を標準とすると、図２１（ａ）は図２１（ｂ）よりもＬｎをより小さな値Ｌｎ１とし、図２１（ｃ）は図２１（ｂ）よりもＬｎをより大きな値Ｌｎ３に設定した場合を示す。同じ手ぶれ量ＢＬで比較した場合、図２１（ａ）では読み出し回数ＴＧがより多く、反対に図２１（ｃ）では読み出し回数ＴＧがより少なくなる。
【００９３】
例えば、撮影者が撮像装置を固定せずに手持ちにてシャッタを押す場合や、低照度下の撮影（露光時間が長くなる）で手ぶれが生じ易い状況では、図２１（ａ）のごとく手ぶれ量ＢＬが大きい場合に読み出し回数ＴＧが多くなるように、移動量の上限値Ｌｎを低い値Ｌｎ１に設定する。反対に、ほとんど像ぶれが生じないような定点カメラや高照度下の撮影で手ぶれが生じにくい状況では、図２１（ｃ）のごとく手ぶれ量ＢＬが小さい場合に読み出し回数Ｎが少なくなるように、移動量の上限値Ｌｎを高い値Ｌｎ３に設定する。このような処理は、ＣＰＵ７によって行われる。このように移動量の上限値Ｌｎを切り換えることで、撮像装置を動作させる環境に応じて最適な手ぶれ補正を実施することによってより適切な補正効果が期待できる。
【００９４】
以上説明したように第１の実施の形態によれば、アクチュエータ等の複雑な機構部品を必要とせず、固体撮像素子内部の電荷移動のみで手ぶれを低減、補正する撮像装置を提供できる。また、電荷蓄積期間の分割を行なうことでぶれを補正するにもかかわらず、フレームメモリ等も不要であり、携帯機器用のカメラのように構成上の制約がある場合にも高精度の手ぶれ補正が可能である。
【００９５】
以上実施の形態１で、シャッタボタンＳＢの押下の検出Ｔｏｎからの後、動きの量が直ちに、即ちＴｏｎから次のＶＤ信号の立ち上がりまでの間に、検出できるものとして説明した。以下、動きの量の検出が、Ｔｏｎ後の最初のＶＤ信号の立ち上がりまでの間に終わらない場合について説明する。
図２２（ａ）〜（ｉ)は、その場合のタイムチャートを示す。図２２では、読み出し回数が４であるものとしており、このタイムチャートは図１４に対応するが、垂直同期信号ＶＤが抑制されていない場合であって、フレーム期間ＦＰ（３）が他のフレーム期間と同じ長さを有する場合を示している。
図２２（ａ）〜（ｅ）、（ｈ）、（ｉ）は、それぞれ図１４（ａ）〜（ｇ）と同様のものを示す。図２２（ａ）では、シャッタボタンの押下の検出による信号ＢＰの高レベルから低レベルへの遷移（Ｔｏｎ）が第１のフレーム期間ＦＰ（１）で発生している。
図２２（ｆ）は、手ぶれセンサ（角速度センサ）９の出力ＧＹを示す。図示の例では、信号ＢＰの立ち下がりと略同時に出力ＧＹが立ち上がり、その後略一定の値を保つ場合を示している。
図２２（ｇ）は、ＣＰＵ７における、動作のタイミング、即ち、手ぶれセンサ９の出力ＧＹ（を動き信号Ａ／Ｄ変換部１０で変換したもの）をＣＰＵ７で積算する期間ＳＧｂ及び積算値に基づいて動きの量を計算する期間ＳＫｂを示す。
【００９６】
図示の例では、シャッタボタンＳＢの押下が検出されたフレーム期間ＦＰ（１）の次のフレーム期間ＦＰ（２）に、動きの量を検出し、その次のフレーム期間ＦＰ（３）に、電荷蓄積時間ＳＳ３を４分割して手ぶれ補正撮像を行うこととしている。以下この点についてより詳しく説明する。
【００９７】
手ぶれセンサ９は、撮像装置の動きに応じて信号を出力するものであり、例えば、シャッタボタンＳＢが押されて撮像装置が動くと、その動きに応じて出力を開始する。手ぶれセンサ９の出力の開始は、シャッタボタン押下の検出のタイミングＴｏｎと一致するとは限らず、それより少し前である可能性もあり、逆に少し後である可能性もある。手ぶれセンサの出力の開始後、撮像装置の動きは、通常はすぐには止まらず、数フレーム間動きが続く。
図示の例では、シャッタボタン押下の検出Ｔｏｎの次のフレーム期間ＦＰ（２）の垂直同期信号ＶＤが立ち上がった後、オーバーフロードレインパルスＯＦＤの列の発生が終了した時点から手ぶれセンサ９の出力ＧＹの積算が開始される。この積算は、被写体の明るさに基づいて定められる電荷蓄積時間ＳＳ２と同じ長さの時間ＳＧｂ続けられる。第２のフレームＦＰ（２）の電荷蓄積時間ＳＳ２と第３のフレームの電荷蓄積時間ＳＳ３（＝Ｓ１＋Ｓ２＋Ｓ３＋Ｓ４）はともに、第１のフレームＦＰ（１）或いはそれよりも一つ前のフレームの撮像結果（積算手段１１による積算の結果）に基づいて定められるものであり、互いに同じである。
積算が終わると、そのときから、積算結果に基づいて、同じくＣＰＵ７で、動きの量が計算される。この計算のための期間が符号ＳＫｂで示されている。
第３のフレームＦＰ（３）において、電荷蓄積時間ＳＳ３を４分割した画像生成を行って手ぶれ補正撮像を行うに当たり、第２のフレームＦＰ（２）に計算された動きの量が用いられる。従って、第２フレームＦＰ（２）と第３フレームＦＰ（３）とで、撮像装置の動きの速さが変わらないとすれば、積算時間ＳＧｂにおける積算によって求められた動きの量と電荷蓄積時間ＳＳ３における動きの量が全く同じで、補正を正確に行うことができる。手ぶれによる撮像装置の動きは通常数フレームにわたって続き、第２のフレームにおける動きの速さと第３のフレームにおける動きの速さの差は小さい。
【００９８】
なお、図２２に示すように、シャッタボタン押下の検出Ｔｏｎの次のフレーム期間ＦＰ（２）の垂直同期信号ＶＤが立ち上がった後に、オーバーフロードレインパルスＯＦＤの列の発生が終了した時点から、手ぶれセンサ９の出力の積算を開始する代わりに、シャッタボタンの押下の検出Ｔｏｎの次のフレーム期間ＦＰ（２）の垂直同期信号ＶＤの立ち上がりと同時に手ぶれセンサ９の出力の積算を開始することとしても良い。また、シャッタボタンの押下の検出Ｔｏｎと同時に手ぶれセンサ９の出力の積算を開始することとして、シャッタボタン押下が検出されたフレームの前のフレームにおける撮像結果（被写体の明るさ、即ち積算手段１１の出力）に基づいて積算時間ＳＧｂ及び手ぶれ補正撮像のための電荷蓄積時間を決めることとしても良い。
【００９９】
代わりに、シャッタボタン押下の検出されたフレームの前のフレームにおける撮像結果（被写体の明るさ、即ち積算手段１１の出力）に基づいて決められる手ぶれ補正撮像のための電荷蓄積時間よりも短い時間の間、積算することとしても良い。この場合、積算により求めた動きの量に対し、積算時間ＳＧに対する電荷蓄積時間の比（ＳＳ／ＳＧ）を掛けたものを、電荷蓄積時間当たりの動きの量を求める（動きの量と推定する）ことができる。
【０１００】
シャッタボタンの押下の検出Ｔｏｎと同時に手ぶれセンサの出力の積算を開始し、電荷蓄積時間よりも短い時間を掛けて積算することとすれば、シャッタボタンの押下が検出されたフレーム（ＦＰ（１））の次のフレーム（ＦＰ（２））で、手ぶれ補正撮像を行うことができる。
【０１０１】
実施の形態２．
図２３は手ぶれ量に応じて読み出し回数（電荷蓄積期間の分割数）Ｎを計算により速やかに決定する処理を含む動作を示すフローチャートを示している。実施の形態１では図２０のフローチャートのごとく、手ぶれ量に応じて移動量を図１６におけるステップＳｔ３，Ｓｔ４の処理を繰り返すことにより、読み出し回数ならびに分割した電荷蓄積期間（画像生成期間）ごとの移動量を決定したが、実施の形態２では手ぶれ量ＢＬから計算により読み出し回数Ｎを算出する。
【０１０２】
図２３は、概して図２０と同じである。異なるのは、図２０のステップＳｔ３，Ｓｔ４及びＳｔ５が、単一のステップＳｔ３３に置き換えられている点のみである。
ステップＳｔ３３では、手ぶれ量ＢＬを移動量の上限値Ｌｎで除算した値、ＢＬ／Ｌｎについて、２の（ｍ−１）乗より大きく、２のｍ乗以下を満たすｍを算出する。
【０１０３】
なお、シャッタボタン押下の検出（Ｓｔ１）から、手ぶれ量ＢＬに基づく読み出し回数の決定（Ｓｔ３３）までの処理が、一つのＶＤ（第１のＶＤ）の立ち上がりエッジから次のＶＤ（第２のＶＤ）の立ち上がりエッジまでの期間内に完了する場合には、ステップＳｔ７からステップＳｔ１３までの処理は、当該第２のＶＤの立ち上がりエッジからその次のＶＤ（第３のＶＤ）の立ち上がりエッジまでの期間に実行され、
ステップＳｔ１５から終了までの処理は、第３のＶＤの立ち上がりエッジからさらにその次のＶＤ（第４のＶＤ）の立ち上がりエッジまでの期間内に実行される。
【０１０４】
シャッタボタン押下の検出（Ｓｔ１）から、手ぶれ量ＢＬに基づく読み出し回数Ｎの決定（Ｓｔ３３）までの処理が、第１のＶＤの立ち上がりエッジから第２のＶＤの立ち上がりエッジまでの期間内に完了せず、第２のＶＤの立ち上がりエッジから第３のＶＤの立ち上がりエッジまでの期間内に完了する場合は、ステップＳｔ７からステップＳｔ１３までの処理は、第３のＶＤの立ち上がりエッジから第４のＶＤの立ち上がりエッジまでの期間に実行され、ステップＳｔ１５から終了までの処理は、第４のＶＤの立ち上がりエッジからさらにその次のＶＤ（第５のＶＤ）の立ち上がりエッジまでの期間内に実行される。
【０１０５】
以上説明したように第２の実施の形態によれば、手ぶれ量に応じて即座に読み出す画像数を決定できるため、手ぶれ補正を実施するまでの時間を短縮することができる。
【０１０６】
なお、上記のように、固体撮像素子２の光電変換部１９の光電変換素子２１が、それぞれ異なる色の色フィルタで覆われ、該色フィルタが所定の繰り返しパターンで周期的に配列されている場合、各画像生成期間に対応する、垂直転送の量（画素数）は、色フィルタの繰り返しパターンの周期に対応する画素数の整数倍とするのが望ましい。
この点につき色フィルタの周期的配列がベイヤ型である場合について図４を参照して説明する。
ベイヤ型配列の場合には、図４に示すように、緑Ｇが市松状に配置され、その他の部分に赤Ｒ及び青Ｂが線順次に配置されている。例えば図４の３列目（Ｈ＝３）に注目すると、その画素の並びは上から下に向かってＲ、Ｇ、Ｒ、Ｇ、・・・、Ｇのようになっており、Ｒ画素、Ｇ画素ともに１画素おきに並んでいる。
【０１０７】
そのため、画像生成期間ごとに垂直転送部２２内で電荷を移動する際の移動量が順方向または逆方向に奇数画素分である場合、例えば移動させたＲ画素にＧ画素を加算することになったり、移動させたＧ画素にＲ画素を加算することになり、適切ではない。同じ色の画素の信号電荷同士を加算するためには、電荷の移動量を偶数画素分とする必要がある。図１９では動作ＴＳｄ、ＴＳｇ、ＴＳｊにおいて垂直転送部内で電荷を移動させる際に４画素分移動させており、同色画素同士を加算するようにしている。例えば、第１の画像生成期間の手ぶれ量ＢＬが５画素である場合、電荷移動量は４画素または６画素のどちらかとすることが必要である。この具体的な手法としては、電荷移動量として、（ＢＬ＋１）／２を超えない最大の自然数に２を乗じたものとするのが一法である。例えば、ＢＬ＝５の時は電荷移動量は６となる。また、ＢＬ＝４．９の時は電荷移動量は４となる。
【０１０８】
また、画像生成期間ごとに垂直転送部２２内で電荷を移動する際、順方向すなわち水平転送部２７の方向に電荷を移動させる場合は、最下位ラインの垂直転送部２２内に電荷が蓄積されずに水平転送部２７内に排出される。一方、垂直転送部２２内で電荷を逆方向に移動する場合は、固体撮像素子２の構造上、最上位ラインより上部に水平転送部２７がないため、図２４のごとく電荷排出溝（ドレイン）４０を設ける。これにより垂直転送部２２内で電荷を上方向に移動する際にも、最上位ラインにて電荷が溢れずに電荷排出溝４０内に排出することができる。
【０１０９】
また、図２４のように固体撮像素子２の上部に電荷排出溝４０を設けるのではなく、撮像面上部の光電変換可能な領域を一部遮光することにより垂直転送部２２内で電荷を上方向に移動する際に最上位ラインにて電荷が溢れないようにすることも可能である。この場合の模式図を図２５に示す。斜線で示す部分が遮光領域４２である。遮光領域４２の大きさについては手ぶれ補正時に必要な電荷移動量にもよるが、（図２４において電荷排出溝４０に排出される電荷量）が（遮光領域で光電変換したと想定した場合の蓄積電荷量）に略等しくなるように、手ぶれ補正により補正したいぶれ量に比例した大きさの領域を確保する必要がある。
【０１１０】
上記した実施の形態では、レンズ１が光軸方向に駆動可能なズーム機構を用いているが、単焦点レンズでも同様の効果を得ることが出来る。また、垂直転送パルスＶＤＰについては４相の場合を説明したが、３相でも同様の動作が可能であり、５相、６相等でももちろん同様の動作が可能である。
【図面の簡単な説明】
【０１１１】
【図１】本発明の実施の形態１の撮像装置の構成を示すブロック図である。
【図２】本発明で用いられる固体撮像素子の構成を示す図である。
【図３】図２における縦方向に並んだ４画素を拡大して示す図である。
【図４】ベイヤ型色フィルタ配列を示す図である。
【図５】ハニカム型色フィルタ配列を示す図である。
【図６】実施の形態１において手ぶれ補正を行うための構成要素を示す機能ブロック図である。
【図７】実施の形態１における合成手段を構成する固体撮像素子の動作を示す図である。
【図８】垂直転送部内で順方向に電荷を転送する場合に印加される垂直転送パルスＶＤＰを示すタイミングチャートである。
【図９】垂直転送部内で順方向に電荷を転送する場合の固体撮像素子の転送素子の電極の電位分布を示す図である。
【図１０】垂直転送部内で逆方向に電荷を転送する場合に印加される垂直転送パルスＶＤＰを示すタイミングチャートである。
【図１１】垂直転送部内で逆方向に電荷を転送する場合の固体撮像素子の転送素子の電極の電位分布を示す図である。
【図１２】（ａ）〜（ｄ）  は、撮像装置の手ぶれの方向及び角度とぶれを含む撮像画像の例を示す図である。
【図１３】（ａ）〜（ｉ）は実施の形態１における撮像装置の動作を示すタイミングチャートである。
【図１４】（ａ）〜（ｉ）は実施の形態１における撮像装置の動作を示すタイミングチャートである。
【図１５】（ａ）〜（ｉ）は実施の形態１における撮像装置の動作を示すタイミングチャートである。
【図１６】本発明に係る手ぶれ量に対する移動量を示す図である。
【図１７】実施の形態１の撮像画像と固体撮像素子の撮像面の被写体像の変位を示す図である。
【図１８】（ａ）〜（ｆ）は、図１３において電荷蓄積期間の分割を行った期間を時間軸方向に拡大した図である。
【図１９】実施の形態１における垂直転送部内の電荷転送ならびに電荷加算方法を示す図である。
【図２０】本発明の実施の形態１に係るフローチャートである。
【図２１】本発明に係る手ぶれ量に対する移動量を示す図である。
【図２２】（ａ）〜（ｆ）は実施の形態１の変形例における撮像装置の動作を示すタイミングチャートである。
【図２３】本発明の実施の形態２に係るフローチャートである。
【図２４】電荷排出溝を備えた固体撮像素子を示す図である。
【図２５】遮光領域を備えた固体撮像素子を示す図である。
【符号の説明】
【０１１２】
１  レンズ、  ２  固体撮像素子、  ３  アナログ信号処理部、  ４  画素信号Ａ／Ｄ変換部、  ５  信号処理部、  ６  表示手段、  ７  ＣＰＵ、  ８  タイミングジェネレータ、  ９  手ぶれセンサ、  １０  動き信号Ａ／Ｄ変換部、  １１  積算部、  １２  レンズ駆動部、  ２１  光電変換素子（ＰＤ）、  ２２  垂直転送部、  ２４  読み出しゲート部、  ２７  水平転送部、  ２８  出力増幅器、  ３１  電荷蓄積手段、  ３２  動き検出手段、  ３３  合成手段、  ３６  画像シフト手段、  ３５  画像保持手段、  ３４  読み出し手段、  ３７  制御手段、  ４０  電荷排出溝、  ４２  遮光領域、  ＰＸ  画素。
【図１】
0004579098.tif 000002
【図２】
0004579098.tif 000003
【図３】
0004579098.tif 000004
【図４】
0004579098.tif 000005
【図５】
0004579098.tif 000006
【図６】
0004579098.tif 000007
【図７】
0004579098.tif 000008
【図８】
0004579098.tif 000009
【図９】
0004579098.tif 000010
【図１０】
0004579098.tif 000011
【図１１】
0004579098.tif 000012
【図１２】
0004579098.tif 000013
【図１３】
0004579098.tif 000014
【図１４】
0004579098.tif 000015
【図１５】
0004579098.tif 000016
【図１６】
0004579098.tif 000017
【図１７】
0004579098.tif 000018
【図１８】
0004579098.tif 000019
【図１９】
0004579098.tif 000020
【図２０】
0004579098.tif 000021
【図２１】
0004579098.tif 000022
【図２２】
0004579098.tif 000023
【図２３】
0004579098.tif 000024
【図２４】
0004579098.tif 000025
【図２５】
0004579098.tif 000026