(57)【特許請求の範囲】
【請求項１】
被写体からの光を受けて光電変換を行う光電変換部を備えた撮像素子と、
前記撮像素子の前記光電変換部に蓄積される画像電荷を、電荷蓄積時間の間にＮ回（Ｎは２以上の整数）に分けて読み出す読み出し手段と、
Ｎ回に分けられた電荷蓄積時間における前記撮像素子の動きを検出する動き検出手段と、
前記読み出し手段によって読み出された画像電荷を一時保持する画像保持手段と、
前記画像保持手段に保持された画像電荷をシフトする画像シフト手段と、
前記読み出し手段によって、第１回目に読み出され、前記画像保持手段に保持された画像電荷を、第１の移動量だけシフトし、該シフトされ画像電荷に、前記画像読み出し手段によって第２回目に読み出された画像電荷を前記画像保持手段で加算する処理を行わせ、
Ｎが２よりも大きい場合には、さらに、前記読み出し手段によって第ｎ回目（ｎは２乃至（Ｎ−１）の整数）に読み出された画像電荷の加算の結果得られる画像電荷を、第ｎの移動量だけシフトし、該シフトされた画像電荷に、前記画像読み出し手段によって第（ｎ＋１）回目に読み出された画像電荷を前記画像保持手段で加算する処理を、ｎが２から（Ｎ−１）まで順に繰り返し行わせる制御手段と
を具備し、
前記制御手段が、前記第ｎの移動量を、前記動き検出手段により検出した前記撮像装置の動き量に基づいて決定する
ことを特徴とする撮像装置。
【請求項２】
前記第ｎの移動量は、第（ｎ＋１）回目の画像電荷の読み出し時の前記撮像素子の動き量であって、当該動き量は、前記動き検出手段により検出した第１乃至ｎ回目のうち少なくとも一回の画像電荷の読み出し時の動き量をもとに算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第ｎの移動量は、前記動き検出手段により検出した、第ｎ回目の画像電荷の読み出し時の前記撮像素子の動き量であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記電荷蓄積の開始から前記第１回目の読み出しまでの期間と、各回の読み出しから次の読み出しまでの期間が互いに略同じ長さを有することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記動き検出手段により検出した、第１乃至ｎのうち少なくとも一回の画像電荷の読み出し時の前記撮像素子の動き量を基に算出する第（ｎ＋１）回目の画像電荷の読み出し時の前記撮像素子の動き量に応じて、第（ｎ＋１）回目の画像電荷の読み出し期間をＫ回（Ｋは１以上の整数）に分けて読み出すことを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記光電変換部が、それぞれ異なる色の色フィルタで覆われた光電変換素子を含み、前記色フィルタが所定の繰り返しパターンで周期的に配列され、前記第（ｎ＋１）回目の画像電荷の読み出し期間をＫ回（Ｋは１以上の整数）に分けて読み出す際の各画像電荷の移動量が、色フィルタの繰り返しパターンの周期に対応し、かつ最小となる画素数であることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記読み出し手段による画像電荷の読み出し回数Ｋは、前記動き検出手段により検出した第１乃至ｎ回目のうち少なくとも一回の画像電荷の読み出し時の前記撮像素子の動き量を基に算出する、第（ｎ＋１）回目の画像電荷の読み出し時の前記撮像素子の動き量を、前記色フィルタの繰り返しパターンの周期に対応し、かつ最小となる画素数で除算することにより与えられる数値であることを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記撮像素子が、前記光電変換部で蓄積された画像電荷を転送する垂直転送部と、前記光電変換部で蓄積された画像電荷を前記垂直転送部に読み出す読み出しゲート部とを備えるＣＣＤ撮像素子であり、
前記読み出し手段が、前記読み出しゲート部で構成され、
前記画像保持手段及び前記画像シフト手段が、ともに前記垂直転送部で構成される
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記動き転送手段が、前記撮像素子上における前記垂直転送部の転送方向に対応する方向の動きを検出するものであることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記動きの量が、該動きの量に対応する撮像素子の画素の数で表されることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤイメージセンサなどの固体撮像素子を用いた撮像装置に関し、より詳細には、静止画におけるぶれ補正機能を有する静止画撮像装置に関する。
【背景技術】
【０００２】
被写体を撮像しようとするとき、被写体が静止していても、撮影者がシャッタボタンを押す際に撮像装置を動かしてしまうことで撮像画像がぶれてしまうことは良く知られた現象であり、これは一般に「手ぶれ」と表現される。「手ぶれ」の再現頻度は被写体が撮像される環境の照度が低く、シャッタスピードが遅くなる（電荷蓄積時間が長くなる）ほど高くなる。
【０００３】
この「手ぶれ」による撮像画像に対し、機構的に、あるいは画像処理により補正を加え、「手ぶれ」による画像の劣化を減少させ、撮像画像の品質を向上しようとする技術が広く検討されている。例えば、角速度や角加速度を検出するセンサを用いて撮像装置の変位（角度）を検出し、この変位を打ち消す方向に、光学レンズや固体撮像素子を移動させることにより「手ぶれ」を補正する技術がある。
【０００４】
例えば、角速度センサによる手ぶれ検出手段を設け、手ぶれ検出結果ならびに補正光学系の位置検出結果に応じて、像のぶれを低減または消滅させる方向に前記補正光学系を駆動制御する手段を設けた像ぶれ補正装置を備えた撮像装置が知られている（例えば、特許文献１参照）。
【０００５】
従来の別の撮像装置では、画像処理による手ぶれ補正処理を行っている。例えば、電荷蓄積時間を制御して複数回の連続した露光を与え、得られた複数の撮像画像を加算して一つの画像を生成することとし、加算に際しては各露光において得られる画像間で相対的な動き補償を行い、画像間の被写体ずれを補正した後に行う画像処理手段を備えた撮像装置が知られている（例えば、特許文献２参照）。
【０００６】
また、同じ画像処理による手ぶれ補正処理手段を有する撮像装置であるが、手ぶれによって発生した連続するフィールド間画像の動きベクトルをもとに動き予測ならびに動き検出を行い、画像の切り出し位置（画像メモリからの読み出し位置）を変えることで手ぶれの補正を行なうものも知られている（例えば、非特許文献１参照）。
【０００７】
【特許文献１】特開平７−９８４６６号公報（第１−８頁、第１図）
【特許文献２】特開２００１−８６３９８号公報（第１−９頁、第１図）
【非特許文献１】日下博也、岸靖典、“高解像度純電子手振れ補正システム”、映像情報メディア学会誌、２００２年、Ｖｏｌ．５６、Ｎｏ．１０、ｐ．１６６３−１６６８
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１に記載された従来の撮像装置では、手ぶれによる振動を相殺するための機構部品が必要であり、またその装置を駆動するためのアクチュエータやモーターが必要であり、撮像装置が大型化するとともに消費電力、コストも増大するという問題がある。さらに機構部品が落下衝撃の影響を受けるために、対衝撃設計を行う必要がある。
【０００９】
また、上記特許文献２に記載された従来の別の撮像装置では、複数回の連続した露光を与えることによって得られた複数の撮像画像を加算するため、これら複数の撮像画像数すべてを記憶するための別途フレームメモリが必要となる。
【００１０】
さらに、上記非特許文献１に記載されたように、連続するフィールド間画像の動きベクトルをもとに手ぶれ補正を実施した場合、動画には有効であるが、１枚の画像内に発生している手ぶれについては補正できないため、静止画の手ぶれ補正には使用できない。また、画像メモリから画像を切り出すため、必要なメモリ容量も増大する。
【００１１】
なお、手ぶれ以外の理由で発生する画像のぶれ、例えば撮像装置が車両などの移動体に搭載され、移動しながら撮像を行う場合の、被写体に対する撮像装置の相対的な動きによって生じる画像のぶれについても同じような問題がある。
【００１２】
本発明は上述したような課題を解決するためになされたもので、特殊な機構部品や大容量のメモリを必要とせず、固体撮像素子内でぶれ補正を実施することにより、小型で低コストの撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、被写体からの光を受けて光電変換を行う光電変換部を備えた撮像素子と、
前記撮像素子の前記光電変換部に蓄積される画像電荷を、電荷蓄積時間の間にＮ回（Ｎは２以上の整数）に分けて読み出す読み出し手段と、
Ｎ回に分けられた電荷蓄積時間における前記撮像素子の動きを検出する動き検出手段と、
前記読み出し手段によって読み出された画像電荷を一時保持する画像保持手段と、
前記画像保持手段に保持された画像電荷をシフトする画像シフト手段と、
前記読み出し手段によって、第１回目に読み出され、前記画像保持手段に保持された画像電荷を、第１の移動量だけシフトし、該シフトされ画像電荷に、前記画像読み出し手段によって第２回目に読み出された画像電荷を前記画像保持手段で加算する処理を行わせ、
Ｎが２よりも大きい場合には、さらに、前記読み出し手段によって、第ｎ回目（ｎは２乃至（Ｎ−１）の整数）に読み出された画像電荷の加算の結果得られる画像電荷を、第ｎの移動量だけシフトし、該シフトされた画像電荷に、前記画像読み出し手段によって第（ｎ＋１）回目に読み出された画像電荷を前記画像保持手段で加算する処理を、ｎが２から（Ｎ−１）まで順に繰り返し行わせる制御手段とを具備し、
前記制御手段が、前記第ｎの移動量を、前記動き検出手段により検出した前記撮像装置の動き量に基づいて決定することを特徴とする撮像装置を提供する。
【発明の効果】
【００１４】
本発明によれば、特殊な機構装置やメモリを必要とせずに固体撮像素子内でぶれ補正を実施することにより小型で低コストの撮像装置を提供することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、画像のぶれが手ぶれによるものである場合について説明するが、本発明は、手ぶれ以外の理由で発生する画像のぶれにも適用可能である。例えば、自動車やその他の移動体に搭載され、移動しながら撮影を行うカメラであって、あらかじめ主たる動きの方向が分っている場合に適用できる。
【００１６】
実施の形態１．
図１は、本発明の実施の形態１における撮像装置の基本構成を示す図である。図１に示すように、この撮像装置は、レンズ１と、固体撮像素子２と、アナログ信号処理部３と、画素信号Ａ／Ｄ変換部４と、信号処理部５と、表示手段６と、ＣＰＵ７と、タイミングジェネレータ８と、手ぶれセンサ９と、動き信号Ａ／Ｄ変換部１０と、積算部１１と、レンズ駆動部１２と、シャッタボタン１３とを有する。
【００１７】
レンズ１を通して入射した被写体像を固体撮像素子２で光電変換する。このレンズ１は焦点距離が可変なズームレンズとして機能する。レンズ駆動部１２からの制御信号によって、レンズ１は光軸上で前後へ移動し、焦点距離を連続的に変えることができる。この制御信号はＣＰＵ７から出力される。
【００１８】
固体撮像素子２は、図２に示すように、複数の光電変換素子列２０を有する光電変換部１９と、それぞれ光電変換素子列２０に対応し、隣接して設けられた複数の垂直転送部２２と、光電変換素子列２０と垂直転送部２２の間に位置する読み出しゲート部２４と、水平転送部２７と、出力増幅器２８とを有する。
各光電変換素子列２０は、撮像画面上の第１の方向、例えば垂直方向に列をなす複数の画素位置に配置され、被写体（図示しない）からの光をレンズ１を介して受けて光電変換を行なう複数の光電変換素子２１を有する。
各垂直転送部２２は、対応する光電変換素子列２０の光電変換素子２１にそれぞれ対応して設けられ、対応する光電変換素子２１で蓄積された電荷が、読み出しゲート部２４のそれぞれの読み出しゲート２５を介して転送され、かつ相互間で垂直方向に電荷の転送を行う複数の転送素子２３から成る。
水平転送部２７は、垂直転送部２２で転送され、垂直転送部２２から出力された電荷を受けて、第１の方向と直交する第２の方向、例えば水平方向に転送する。
出力増幅器２８は、水平転送部２７を転送され、水平転送部２７から出力された電荷を増幅して出力する。
【００１９】
光電変換部１９の光電変換素子２１における光電変換によって、光の強さに応じた量の電荷が蓄積され、読み出しパルスＴＧによって、電荷が読み出しゲート部２４を介して垂直転送部２２に取り出され、４相のパルスφＶ１、φＶ２、φＶ３、φＶ４から成る垂直転送パルスＶＤＰによって水平転送部２７方向へ逐次転送される。水平転送部２７では１ライン分の画素が入るたびに２相のパルスφＨ１、φＨ２から成る水平転送パルスＨＤＰによって水平方向に電荷の転送を行ない、出力増幅器２８で信号電圧に変換して信号を出力する。
【００２０】
本願では簡単のため、垂直転送部２２内の転送を単に「垂直転送」と言い、水平転送部２７内の転送を単に「水平転送」と言うことがある。
【００２１】
上記の垂直転送パルスＶＤＰによって、垂直転送部２２内の電荷を水平転送部２７の方向（図２の垂直転送部２２内の矢印ＦＷの方向。以下「順方向」と呼ぶことがある）へ転送するだけではなく、水平転送部２７から離れる方向（図２の垂直転送部２２内の矢印ＦＷと反対方向。以下「逆方向」と呼ぶことがある）へ転送することも可能である。また、垂直転送パルスＶＤＰを印加しない時は、垂直転送部２２は画像保持手段としての働きを有し、読み出しゲート部２４を介して垂直転送部２２に取り出された電荷を、垂直転送部２２内で順方向にも逆方向にも移動させず、取り出された位置に保持することができる。
垂直転送部２２の各転送素子２３は、内部に保持されている電荷と、対応する光電変換素子２１から転送される電荷とを加算する画像加算手段乃至画像合成手段としても機能する。
【００２２】
図３は、図２における縦方向に並んだ４画素を拡大して示す図である。符号ＰＸは一つの画素を示す。各画素は、光電変換素子２１、読み出しゲート２５ならびに転送素子２３を備える。本実施の形態では４相の垂直転送パルスＶＤＰを用いており、１画素あたり４個の電極２６ａ〜２６ｄが存在する。光電変換素子２１にて光電変換されて蓄積された電荷は、読み出しゲート２５を介して転送素子２３に読み出される。以下に述べるように、４相の垂直転送パルスＶＤＰの電圧を所定の時系列で変化させることにより、垂直転送部２２内の電荷を所望の画素数分だけ順方向にも、逆方向にも転送することができる。
【００２３】
固体撮像素子の光電変換部１９の光電変換素子２１は、それぞれ異なる色の色フィルタで覆われ、該色フィルタが所定の繰り返しパターンで周期的に配列されている。この周期的配列は、図４に示すようにベイヤ型であっても良い。色フィルタは、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色フィルタであり、Ｒ、Ｇ、Ｂの色フィルタで覆われた光電変換素子からは、Ｒ、Ｇ、Ｂの画素信号が得られる。図４で、符号Ｈは、撮像画面上の横軸、即ち水平方向軸を示し、水平方向軸に沿う１、２、…ｍは水平方向軸上の座標値を表し、符号Ｖは、撮像画面上の縦軸、即ち垂直方向軸を示し、垂直方向軸に沿う１、２、…ｎは垂直方向軸上の座標値を表す。
【００２４】
なおまた、図４に示すベイヤ配列の代わりに、図５に示すハニカム配列のものを用いても良い。ハニカム配列は、ベイヤ配列を４５度回転させたものであり、ハニカム配列においては、撮像素子は各々略正八角形の各画素の光電変換素子を有し、垂直転送部２２は画素列に沿って（隣接する画素列間を）蛇行する形状をしている。
【００２５】
再び図１を参照し、固体撮像素子２から得られるＲ、Ｇ、Ｂの出力信号（画素信号）は、アナログ信号処理部３において、相関二重サンプリング処理（ＣＤＳ）ならびに自動利得制御増幅処理（ＡＧＣ）が施される。
固体撮像素子２に供給される、読み出しパルスＴＧ、垂直転送パルスＶＤＰ、及び水平転送パルスＨＤＰ、並びに後述のオーバーフロードレインパルスＯＦＤ（これらを総称して「固体撮像素子の駆動用パルス」と呼ぶことがある）、並びにアナログ信号処理部３に供給されるＣＤＳのためのサンプリングパルスＤＳＰは、タイミングジェネレータ８によって供給される。これらのパルスの発生のタイミングは、ＣＰＵ７によって制御される。また、アナログ信号処理部３におけるＡＧＣも、ＣＰＵ７からの制御信号によって行われる。
【００２６】
アナログ信号処理部３の出力信号は、画素信号Ａ／Ｄ変換部４にてデジタル信号に変換された後、信号処理部５にて映像信号処理され、表示手段６において表示可能な映像信号になる。信号処理部５では、ＲＧＢ信号から輝度色差信号（ＹＣｂＣｒ）への変換、ホワイトバランス補正、γ（ガンマ）補正、色補間処理および輪郭強調補正等の画像処理が行われる。ＬＣＤなどなどで構成された表示手段６は、信号処理部５から出力された映像信号を表示する。静止画を撮影する際、撮影者は表示手段６に映る被写体の画像を見ながら構図を決める。
【００２７】
手ぶれセンサ９は、撮影者が被写体を撮像する際の撮像装置本体、特にその固体撮像素子２の上記第１の方向（垂直方向）の動きを感知する動き検出手段として用いられている。なお、ここで「第１の方向の動きを感知する」とは、第１の方向の動きのみを感知するものであっても良く、他の方向の動きをも感知するが、第１の方向の動きの成分を表す信号を取り出し得るものであっても良い。手ぶれセンサ９は例えば角速度を検知する素子であり、得られた角速度を時間積分することで、振動による変位量および変位方向を得ることができる。この手ぶれセンサ９によって検出した角速度信号は動き信号Ａ／Ｄ変換部１０にてデジタル信号に変換された後、ＣＰＵ７に出力される。なお、手ぶれセンサ９としては、角速度センサに限られず、代わりに角加速度センサ、加速度センサまたは地磁気センサ等を用いることも可能であり、それぞれのセンサ信号に応じた適正な信号処理を行なうことで、角速度センサを用いた場合と同様の効果を得ることができる。
【００２８】
ＣＰＵ７は本撮像システムを総括して制御を行うとともに、各種演算を実施する手段として機能している。信号処理部５からの映像信号データに基づき、自動露光制御（ＡＥ）／自動ホワイトバランス制御（ＡＷＢ）を行うとともに、アナログ信号処理部３に対する増幅利得の設定、タイミングジェネレータ８で生成される固体撮像素子２の駆動用パルスの発生の制御、ならびにレンズ駆動部１２の制御信号の生成を行う。
積算部１１は、信号処理部５から入力される１画面分の映像信号の積算を行う。積算結果は、撮像画像の明るさを表すものであり、ＣＰＵ７はこれに基づいて、オーバーフロードレインパルスＯＦＤの生成を制御し、これにより電荷蓄積時間の制御を行う。
【００２９】
さらにＣＰＵ７は、動き信号Ａ／Ｄ変換部１０にてデジタル信号に変換された角速度信号を積分し、撮像装置に生じたぶれの角度と方向を計算し、さらにこの計算値をもとに手ぶれ量を画像のぶれの画素数に換算する機能も有する。
【００３０】
また、後に詳しく述べるように、垂直転送部２２（図２参照）内で電荷を移動させるための垂直転送パルスＶＤＰの波形、ならびにこの垂直転送パルスＶＤＰの発生タイミングを決定する。この決定された垂直転送パルスＶＤＰの波形及び発生タイミングに基づいてタイミングジェネレータ８へ制御信号を出力し、この制御信号に基づいて、タイミングジェネレータ８は固体撮像素子２の駆動用パルス信号の発生を行う。このように、ＣＰＵ７が生成する制御信号を受け取ったタイミングジェネレータ８は、後述する垂直転送部２２内で電荷を移動させる垂直転送信号発生手段として機能する。
【００３１】
さらに、ＣＰＵ７とタイミングジェネレータ８は、手ぶれセンサ９で動きが検出されたときに、光電変換素子から転送素子への転送（読み出し）のための読み出しパルスのタイミングを制御し、所定のフレーム期間の間に複数回画像を読み出すための制御も行う。
【００３２】
図６は、本実施の形態において手ぶれ補正を行うための構成要素を機能ブロック図で表したものである。レンズ１を通して入射する光像は電荷蓄積手段３１にて光電変換され、電荷が蓄積される。
電荷蓄積手段３１は、本実施の形態では図２における、光電変換部１９で構成される。動き検出手段３２は撮像装置の動きを検出する手段であり、図１の手ぶれセンサ９で構成される。
合成手段３３は、動き検出手段３２で検出された、所定の時間当たりの動きの量（ＢＬ）が所定値以上のときに、レンズ１を介して固体撮像素子２上に結像した光像に対応する、所定のフレーム期間の中の第１乃至第Ｎ（Ｎは２以上の整数）の画像信号を読み出して、該読み出された第１乃至第Ｎ−１の画像信号を、それぞれ検出された動きの量に応じた画素数分シフトさせて合成する。
合成手段３３は、図示のように、読み出し手段３４と、画像保持手段３５と、画像シフト手段３６とを有する。
実施の形態１では、画像読み出し手段３４は、読み出しゲート部２４で構成され、画像保持手段３５及び画像シフト手段３６はともに垂直転送部２２で構成され、制御手段３７は、ＣＰＵ７とタイミングジェネレータ８で構成される。
【００３３】
読み出し手段３４は電荷蓄積手段３１で蓄積される画像電荷を、電荷蓄積時間の間にＮ回（Ｎは２以上の整数）に分けて読み出す。
画像保持手段３５は読み出し手段３４によって読み出された画像電荷を一時保持する。
画像シフト手段３６は画像保持手段３５によって保持された画像電荷をシフトする。
上記した画像保持手段３５は、シフトされた画像電荷と、読み出し手段３４で読み出された画像電荷とを加算する機能をも有する。
【００３４】
制御手段３７は、第１回目に読み出され、画像保持手段３５に保持された画像電荷を、動き検出手段３２によって検出された動き量に応じた第１の移動量だけシフトし、シフトされた画像電荷に、画像読み出し手段３４によって第２回目に読み出された画像電荷を、画像保持手段３５で加算する。移動量は、例えば画素数で表される。
Ｎが２よりも大きい場合には、制御手段３７は、さらに、第ｎ回目（ｎは２乃至（Ｎ−１）の整数）に読み出された画像電荷の加算の結果得られる画像電荷を、動き検出手段３２によって検出された動き量に応じた第ｎの移動量だけシフトし、シフトされた画像電荷に、画像読み出し手段３４によって第（ｎ＋１）回目に読み出された画像電荷を、画像保持手段３５で加算する処理を２から（Ｎ−１）まで順に繰り返し行わせる。即ち、Ｎが２よりも大きい場合、制御手段３７は、読み出し手段３４によって、第１回目に読み出され、画像保持手段３５に保持された画像電荷を、動き検出手段３２によって検出された動き量に応じた第１の移動量だけシフトし、該シフトされた画像電荷（第１回目に読み出され、シフトされた画像電荷）に、画像読み出し手段３４によって第２回目に読み出された画像電荷を画像保持手段３５で加算し、同様に第２回目に読み出された画像電荷と、第１回目に読み出された画像電荷の加算の結果得られた画像電荷を、動き検出手段３２によって検出された動き量に応じた第２の移動量だけシフトし、該シフトされた画像電荷に、画像読み出し手段３４によって第３回目に読み出された画像電荷を画像保持手段３５で加算し、以下第Ｎ回目の読み出し、加算が終わるまで、同様の処理を繰り返す。
【００３５】
例えば、電荷蓄積の開始から第１回目の読み出しまでの期間（この期間を「第１の画像生成期間」と呼ぶことがある）と、各回の読み出しから次の読み出しまでの期間（第ｎ回目の読み出しから第（ｎ＋１）回目の読み出しまでの期間を「第ｎの画像生成期間」と呼ぶことがある）が互いに略同じ長さを有し、動きの量が、該動きの量に対応する撮像素子の画素の数で表され、動きの量に応じた上記第１の移動量及び第ｎの移動量が、分割した電荷蓄積期間ごとに算出される動き量（画素数）に設定される。
【００３６】
本実施の形態の固体撮像素子２は、例えばインターライン型のＣＣＤ撮像素子であって、線順次走査により水平方向に１ラインずつ順番にすべての画素信号を読み出す「全画素読み出し」方式に対応している。
【００３７】
図７は、合成手段３３の動作を経時的に示した模式図である。所定のフレーム期間の電荷蓄積期間をＮ分割した第１乃至第Ｎの画像生成期間の各々に生成された画像を表す画像信号に、本実施の形態の手ぶれ補正のため、シフトを行なった後加算することで合成を行う動作を示している。第１の画像生成期間ＧＣ１は、１番目の画像（第１の画像）を得るために光電変換部１９にて電荷蓄積を行う期間を示しており、以下第２の画像生成期間ＧＣ２乃至第Ｎの画像生成期間ＧＣＮは同様の意味をもつ。第１の画像生成期間ＧＣ１における電荷蓄積で形成された第１の画像を表す画像信号を垂直転送部２２に読み出し（ＲＤ１）た後、第２の画像の表す画像信号を得るために光電変換部１９にて電荷蓄積（ＧＣ２）を行う間に、該第１画像を表す画像信号を画像シフト手段３６により、第１画像生成期間において動き検出手段３２で検出された動き量をもとに、ＣＰＵ７にて算出した第２画像生成期間の動き量に応じた画素数だけシフトし（ＳＨ１）、第２画像の読み出しまで画像保持手段３５によりシフト後の画素位置に保持する（ＨＬ１）。
【００３８】
その後、該画像保持手段３５により画素位置に保持した状態の画像信号を、第２の画像を表す画像信号と画像加算手段３４により加算し（ＡＤ１）、該加算した画像を画像シフト手段３６により、第２画像生成期間において動き検出手段３２で検出された動き量をもとに、ＣＰＵ７にて算出した第３画像生成期間の動き量に応じた画素数だけシフトし（ＳＨ２）、第３の画像の読み出しまで画像保持手段３５によりシフト後の画素位置に保持する（ＨＬ２）。その後、該画像保持手段３５により画素位置に保持した状態の画像信号を、第３の画像を表す画像信号と画像加算手段３４により加算する（ＡＤ２）。以下、第Ｎの画像を表す画像信号を加算するまで同様の動作を繰り返して、合成された画像信号を得る。
【００３９】
なお、固体撮像素子２の光電変換部１９の光電変換素子２１が、それぞれ異なる色の色フィルタで覆われ、該色フィルタが所定の繰り返しパターンで周期的に配列されている場合、各画像生成期間に対応する、垂直転送の量（画素数）は、色フィルタの繰り返しパターンの周期に対応する画素数の整数倍とするのが望ましい。
この点につき色フィルタの周期的配列がベイヤ型である場合について図４を参照して説明する。
ベイヤ型配列の場合には、図４に示すように、緑Ｇが市松状に配置され、その他の部分に赤Ｒ及び青Ｂが線順次に配置されている。例えば図４の３列目（Ｈ＝３）に注目すると、その画素の並びは上から下に向かってＲ、Ｇ、Ｒ、Ｇ、・・・、Ｇのようになっており、Ｒ画素、Ｇ画素ともに１画素おきに並んでいる。
【００４０】
そのため、画像生成期間ごとに垂直転送部２２内で電荷を移動する際の移動量が順方向または逆方向に奇数画素分である場合、例えば移動させたＲ画素にＧ画素を加算することになったり、移動させたＧ画素にＲ画素を加算することになり、適切ではない。同じ色の画素の信号電荷同士を加算するためには、電荷の移動量を偶数画素分とする必要がある。
【００４１】
図２及び図３に示される、固体撮像素子２の垂直転送部２２内の電荷を順方向に転送する具体的な手法を、垂直転送パルスＶＤＰの電位変化のタイミングチャートである図８および図９を用いて説明する。図８は、各電極の垂直転送パルスＶＤＰの４相のパルスφＶｉ（ｉ＝１、２、３、４）のタイミングチャートであり、横軸に時刻を、縦軸に４つの電極２６ａ〜２６ｄに与えられる電位を並べて示している。図９は、図８に示す垂直転送パルスＶＤＰを各電極に与えた時の、電荷移動の様子を示す図である。図９において、横軸は垂直転送部２２の転送素子２３の電極２６ａ〜２６ｄの位置を示し、縦軸には各電極の電子のポテンシャルエネルギーφｉ（＝−ｅφＶｉ）と電荷ＱＣの分布の経時変化（異なる時刻ｔ＝ａ１乃至ａ９における電荷分布）が示してある。
【００４２】
次に動作を説明する。図８において、時刻ａ１では電極２６ｂの電位φＶ２と電極２６ｃの電位φＶ３が＋Ｖであり、電極２６ａの電位φＶ１と電極２６ｄの電位φＶ４が０Ｖであるため、図９に示すように、電極２６ｂと電極２６ｃに電位井戸が形成されて電荷ＱＣが蓄積される。次に時刻ａ２にて電極２６ｄにバイアス電圧＋Ｖを印加すると、電極２６ｂと電極２６ｃにあった電荷ＱＣは、電極２６ｂから電極２６ｄに拡散する。次に時刻ａ３にて電極２６ｂを無バイアスにすると、電荷ＱＣは電極２６ｃから電極２６ｄに収束し、結果として、時刻ａ１からａ３において、電荷ＱＣは順方向（図９において右方向）へ１電極分だけ移動したことになる。
【００４３】
時刻ａ４では電極２６ａにバイアス電圧＋Ｖを印加し、時刻ａ５で電極２６ｃを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ順方向に移動する。時刻ａ６では電極２６ｂにバイアス電圧＋Ｖを印加し、時刻ａ７で電極２６ｄを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ順方向へ移動する。時刻ａ８では電極２６ｃにバイアス電圧＋Ｖを印加し、時刻ａ９で電極２６ａを無バイアスにすることにより時刻ａ１の状態と同じになる。即ち、時刻ａ１から時刻ａ９において、１画素分電荷ＱＣを順方向へ移動したことになる。
【００４４】
他方、垂直転送部内の電荷ＱＣを逆方向に転送する場合に関して、図１０および図１１を用いて説明する。電荷ＱＣを順方向に転送する場合の説明に用いた図８が図１０に、図９が図１１にそれぞれ対応している。また、時刻ａ１からａ９は、ｂ１からｂ９にそれぞれ対応している。
【００４５】
次に動作を説明する。図１０において、時刻ｂ１では電極２６ｂと電極２６ｃにバイアス電圧＋Ｖが掛かり、電極２６ａと電極２６ｄは無バイアスで０Ｖであるため、図１１に示すように、電極２６ｂと電極２６ｃに電位井戸が形成されて電荷ＱＣが蓄積されている。次に時刻ｂ２にて電極２６ａにバイアス電圧＋Ｖを印加すると、電極２６ｂと電極２６ｃにあった電荷ＱＣは、電極２６ａから電極２６ｃに拡散する。次に時刻ｂ３にて電極２６ｃを無バイアスにすると、電荷ＱＣは電極２６ａから電極２６ｂに収束し、結果として、時刻ｂ１からｂ３において、電荷ＱＣは逆方向（図１１において左方向）へ１電極分だけ移動したことになる。
【００４６】
時刻ｂ４では電極２６ｄにバイアス電圧＋Ｖを印加し、時刻ｂ５で電極２６ｂを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ逆方向に移動する。時刻ｂ６では電極２６ｃにバイアス電圧＋Ｖを印加し、時刻ｂ７で電極２６ａを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ逆方向へ移動する。時刻ｂ８では電極２６ｂにバイアス電圧＋Ｖを印加し、時刻ｂ９で電極２６ｄを無バイアスにすることにより時刻ｂ１の状態と同じになる。即ち、時刻ｂ１から時刻ｂ９において、１画素分電荷を逆方向へ移動したことになる。
【００４７】
本実施の形態においては、上述したように、電荷の拡散ステップ後に収束ステップを行ない、これを繰り返すことで電荷の転送を実現しているが、拡散と収束のステップを同時に行なっても電荷の転送は可能である。例えば、図９の時刻ａ２の拡散と時刻ａ３の収束を同時に行なう、即ち電極２６ｄへのバイアス電圧印加と電極２６ｂの無バイアス化を同時に行なうことによっても同様の電荷の転送は達成できる。あるいは、図９において時刻ａ３の収束と時刻ａ４の拡散を同時に行なっても、同様に電荷の転送が可能である。
【００４８】
さらに、本実施の形態では４相の垂直転送パルスＶＤＰによって電荷を転送しているが、４相に限るものではなく、３相以上であれば、同様の方法により電荷の転送は可能である。同様に水平転送パルスＨＤＰについても２相のものを用いているがこれに限るものではない。
【００４９】
また、本実施の形態では撮像素子としてＣＣＤ撮像素子を用いたが、これに限るものではなく、例えば前述の合成手段３３と同等の手段を備えたＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型撮像素子であっても構わない。
【００５０】
次に本発明で補正の対象となる「手ぶれ」の概念について説明する。図１２（ａ）は撮像者が被写体を撮像する際に、上下（ピッチング）方向に手ぶれをしたときの手ぶれ方向と撮像画像との関係を示した図である。ここで被写体は円形の光源ＬＳであり、手ぶれをおこさずに撮像したときの撮像画像を図１２（ｃ）に示す。丸い被写体形状を保持した画像ＬＳｂが撮像される。
【００５１】
撮像者ＨＹは、最初に光軸が地面ＧＬと線ＨＬに一致するように撮像装置ＰＧを構え、シャッタボタンＳＢを押す。手ぶれはこのときに生じ、手ぶれによって撮像装置ＰＧの光軸ＯＸが上向きになる方向（（＋）方向）に動いた場合、図１２（ｂ）に示すように撮像画像ＬＳａには、符号ＴＲａで示すように下方向に尾引きが生じ、一方撮像装置ＰＧの光軸ＯＸが下向きになる方向（（−）方向）に動いた場合、図１２（ｄ）に示すように撮像画像ＬＳｃには、符号ＴＲｃで示すように上方向に尾引きが生じる。
【００５２】
本発明は図１２（ｂ）、（ｄ）に再現される被写体像ＬＳａ、ＬＳｃの尾引きＴＲａ、ＴＲｃを低減した高品質な撮像画像を実現することを目的としている。なお、手ぶれによる画質劣化はほとんどの場合、撮像者ＨＹがシャッタボタンＳＢを押す動作に起因した撮像装置の回転等により生じる。この回転方向はシャッタボタンＳＢの押し下げ方向とほぼ一致するため、押し下げ方向に対応する一次元的な補正により、実用上十分な補正が可能である。本実施の形態においては、垂直転送部２２において電荷を転送する方向（撮像画面上の垂直方向）を、上記した手ぶれが生じ易い方向を対応させる（撮像画面が垂直に設けられている場合には、垂直転送部２２において電荷を転送する方向（撮像画面上の垂直方向）を、手ぶれが生じ易い方向に略平行とする）ことで良好な手ぶれ動作を達成している。
【００５３】
図１３（ａ）〜（ｇ)は本実施の形態における撮像装置の動作を示すタイミングチャートであり、読み出し回数（電荷蓄積期間の分割数）Ｎが４である場合を示している。
図１３（ａ）は、シャッタ信号ＢＰであり、シャッタの押下が検出された時点Ｔｏｎで高レベルから低レベルへの遷移が起きる。図１３（ｂ）は垂直同期信号ＶＤである。
【００５４】
図１３（ｃ）のオーバーフロードレインパルスは水平同期信号に同期してタイミングジェネレータ８から固体撮像素子２のオーバーフロードレイン電極に印加されるものであり、ＡＥ制御において電荷蓄積期間を調整するために光電変換素子２１に蓄積された電荷を固体撮像素子２内の基板上に排出することにより電子シャッタ機能を実現するものである。なお、図１３（ｃ）のオーバーフロードレインパルスＯＦＤのうち、最初のパルスＯＦＤ１（垂直同期信号ＶＤの立ち上がりと同時又はその直後に（立ち上がりの後最初に）発生されるもの）以外のパルスを、電子シャッタパルスと呼ぶこともある。
【００５５】
図１３（ｄ）は光電変換素子２１において光電変換ならびに電荷蓄積を行う期間ＰＤを示している。この期間ＰＤ（それぞれ符号ＳＳ１、ＳＳ２などで示されている）は、各フレーム期間において、オーバーフロードレインパルスＯＦＤの発生が終わった後に開始され、次の垂直同期信号ＶＤの立ち上がりまで続く。言い換えると、電荷蓄積期間が与えられた長さとなるように、オーバーフロードレインパルスＯＦＤの列の発生を終了する時点が決められる。フレーム期間ＦＰ（３）におけるＳｉ（ｉ＝１、２、…）は、それぞれ分割後の電荷蓄積期間を示しており、期間幅は均一である。
【００５６】
図１３（ｅ）は読み出しパルスＴＧであり、光電変換素子２１で蓄積した電荷を垂直転送部２２の対応する転送素子２３へ読み出す（転送する）ため、読み出しゲート２５を制御する。
図１３（ｆ）は手ぶれセンサ（角速度センサ）９の出力ＧＹであり、信号ＢＰの立ち下がりと略同時に出力ＧＹが立ち上がり、その後も継続して出力信号が得られる様子を図示したものである。ただし、実際の手ぶれセンサ９の出力波形（図示せず）は時系列でその値の変化を測定した場合、手ぶれが生じた際にその強度やタイミングに応じた起伏が生じ、手ぶれ量の減衰とともに起伏が平坦化するのが一般的であり、図１３（ｆ）のごとく常に一定値であるとは限らない。図１３（ｇ）は、ＣＰＵ７における、動作のタイミング、即ち、手ぶれセンサ９の出力ＧＹ（を動き信号Ａ／Ｄ変換部１０で変換したもの）をＣＰＵ７で積算する期間、及び積算値に基づいて動きの量を計算する期間を示している。
【００５７】
ＳＧｉ（ｉ＝１、２、…）は、ぞれぞれ、図１３（ｄ）に示すＰＤ期間のＳｉ期間（ｉ＝１、２、…）における手ぶれセンサ９の出力ＧＹをＣＰＵ７で積算、及び積算値に基づいて動きの量を計算する期間であり、ＳＧ０はＳＧ１に先立ち、ＳＧｉ（ｉ＝１、２、…）とほぼ同時間手ぶれセンサ９の出力ＧＹを積算する期間を示している。
図１３（ｈ）は垂直転送パルスＶＤＰ（φＶ１〜φＶ４）、図１３（ｉ）は水平転送パルスＨＤＰ（φＨ１、φＨ２）を示している。図１３（ｊ）は分割した電荷蓄積期間ごとに図１３（ｇ）ＣＰＵにて算出した手ぶれ量（ＢＬ）を示しており、ＢＬ（ｉ＝０、１、２、…）はそれぞれ、ＳＧｉ（ｉ＝０、１、２、…）期間において算出された手ぶれ量を示している。
【００５８】
シャッタボタンＳＢを押す前は、被写体の明るさに基づいて、露出条件の一つとして定められる電荷蓄積期間ＳＳｉ（ｉ＝１、２、…）を設定して、撮像を行う。例えばある垂直同期信号ＶＤが発生される第１の垂直ブランキング期間ＶＢ（１）で始まるフレーム（第１のフレームＦＰ（１））内の電荷蓄積期間ＳＳ１で蓄積した電荷は、当該第１のフレームＦＰ（１）の次のフレーム（第２のフレームＦＰ（２））の先頭の垂直ブランキング期間ＶＢ（２）内に発生される読み出しパルスＴＧ１０によって垂直転送部２２へ読み出され、上記第２のフレームＦＰ（２）内の期間１００ｂに垂直転送部２２内で水平転送部２７に向けて転送される。複数の垂直転送部２２内で同時に水平転送部２７に向けた転送が行われる。同時に転送される画素信号は、撮像面上の水平方向に整列した複数の画素、即ち同じライン上の複数の画素をそれぞれ構成する複数の光電変換素子２１から読み出された信号電荷が同時に、それぞれの垂直転送部２２により転送される。言換えると、光電変換部２０のそれぞれの光電変換素子列２１から垂直転送部２２に転送された信号電荷は水平転送部２７へ向けて１ラインずつ順々に転送される。そして、同じ第２のフレーム期間ＦＰ（２）内の期間１０１ｂにおいて、垂直転送部２２から水平転送部２７に転送された電荷が、水平転送部２７内を出力増幅器２８に向けて転送され、出力増幅器２８で増幅されて出力される。
【００５９】
第２のフレーム期間ＦＰ（２）内の電荷蓄積期間ＳＳ２内のある時点ＴｏｎにシャッタボタンＳＢが押され、シャッタ信号ＢＰが高レベルから低レベルに遷移したとすると、第２のフレームＦＰ（２）内の電荷蓄積期間ＳＳ２に蓄積された電荷は、次の垂直ブランキング期間ＶＢ（３）の最初（垂直同期信号ＶＤの立ち上がりと略同時）にオーバーフロードレインパルスＯＦＤ１を固体撮像素子２へ印加することにより垂直転送部２２へ転送されることなく基板上に排出される。なお、垂直ブランキング期間内において、ＡＥ制御により電子シャッタパルス（ＯＦＤ１以外のオーバーフロードレインパルスＯＦＤ）が発生される場合は、オーバーフロードレインパルスＯＦＤ１は必ずしも必要ではない。読み出しパルス（ＶＢ（２）内のＴＧ１０のごときもの）の発生を禁止すれば垂直転送部２２への信号電荷の読み出しが禁止されるので、ＡＥ制御による電子シャッタパルスの発生の時点で、蓄積された電荷が基板上に排出されるためである。
【００６０】
シャッタボタンＳＢの押下が検知された時点Ｔｏｎの次のフレーム期間ＦＰ（３）は、静止画像として記録する画像用の映像信号を得るための電荷蓄積を行う期間である。このフレーム期間ＦＰ（３）において電荷蓄積期間を複数個（Ｎ個）の画像生成期間（図７参照）に分割して画像生成期間ごとに垂直転送部２２への電荷読み出しを行うことにより複数（Ｎ枚）の画像を得る。
【００６１】
該複数の画像は最終的に１枚の画像に合成されて固体撮像素子から出力されるが、それまでは前記複数の画像を構成する画像のうち、第１の画像生成期間に読み出した画像（１画像分の全電荷であり、以下「第１の画像」と呼ぶことがある）を垂直転送部２２内に一時保持した後、第２の画像生成期間に読み出した画像（第２の画像）を垂直転送部２２に読み出すまでの間に、前記第１の画像を第１画像生成期間において動き検出手段３２で検出された動き量をもとに、ＣＰＵ７にて算出した第２画像生成期間の動き量に応じた画素数だけ移動させ（転送させ）、その後該画像に前記第２の画像生成期間に読み出した画像（第２の画像）と加算した後一時保持する。それ以降同様の処理を繰り返し、最後に読み出す画像（第Ｎの画像）を加算するまで繰り返す。
【００６２】
読み出し回数Ｎは固定値とし、予め決定しておく。本発明における手ぶれ補正方式は分割した電荷蓄積期間Ｓｉ（ｉ＝１、２、…）ごとの手ぶれ量が異なった場合でも、その都度各分割した電荷蓄積期間ごとの電荷転送量（図１３（ｈ）の垂直転送パルスＶＤＰに対応）を手ぶれ量に応じて増減することにより動的な手ぶれ補正を実施するものである。読み出し回数Ｎを少なく設定すると必然的に分割した電荷蓄積期間ごとに算出する手ぶれ量は多くなり、図１３（ｈ）ＶＤＰにおける分割電荷蓄積期間Ｓｉ（ｉ＝１、２、…）ごとの電荷転送量も増加する。また、読み出し回数Ｎを多く設定すると分割した電荷蓄積期間ごとに算出した手ぶれ量は少なくなり、図１３（ｈ）ＶＤＰにおける電荷転送量も減少する。
【００６３】
図１３（ｄ）に示されるように、読み出し回数（電荷蓄積期間の分割数）Ｎ＝４である場合において、１つの電荷蓄積期間を等分に分割した後の画像生成期間（分割後の電荷蓄積期間）をそれぞれＳ１〜Ｓ４とする。この場合、画像生成期間Ｓ１〜Ｓ４で蓄積した電荷をそれぞれ読み出しパルスＴＧ１〜ＴＧ４（図１３（ｅ））にて垂直転送部２２へ読み出している。図１４（ｈ）の符号１０２ａ〜１０２ｃは、それぞれ読み出しパルスＴＧ１〜ＴＧ３にて読み出した電荷をそれぞれ垂直転送部２２内で順方向または逆方向へ所定の画素数分だけ転送する期間を示す。
【００６４】
通常、本実施の形態のような手ぶれ補正によらずに記録画像の手ぶれによる像ぶれを１／２に軽減するためには、露光の絞りを１段開く（Ｆ値を１段階大きな値に設定する）、言い換えれば固体撮像素子に取り込む光量を２倍にして電荷蓄積期間（シャッタースピード）を１／２にすることで可能となるが、本実施の形態では露光の絞りを１段開くことなしに手ぶれを１／２に軽減できる。
一般的に、電荷蓄積期間の分割数をＮとした場合でかつ、分割した電荷蓄積期間ごとの手ぶれ量が同一であるとすればＮ回の画像の読み出し、ならびにＮ枚の画像合成を行うことにより、露光の絞りをｌｏｇ２Ｎ（底：２、真数：Ｎ）段大きくしたのと同等の補正効果を期待できる。
【００６５】
また、図１３（ｈ）の垂直転送パルスＶＤＰに関して、手ぶれがまったくない（所定の閾値以下である）場合は、画像生成期間Ｓが終わるごとに垂直転送を行う必要がないため、垂直転送パルスＶＤＰは印加されず、図１３（ｈ）に示した垂直転送のための期間１０２ａ〜１０２ｃは存在しない。この場合は例えば読み出したＮ枚の画像をそれぞれ移動することなく、読み出した状態のまま加算して最終的に一枚の画像を得る。
【００６６】
図１３（ｉ）において、符号１１０は、垂直転送期間１０２ａ〜１０２ｃにおいて垂直転送部２２内の電荷を水平転送部２７方向に転送することによって水平転送部２７に押し出された後、水平転送部２７に蓄積された余分な電荷を掃き捨てる、即ち、水平転送部２７内の蓄積電荷を(次の垂直転送に先立って)ゼロにするための期間である。
【００６７】
なお、図１３では、垂直ブランキング期間ＶＢ（３）に読み出しパルスＴＧを読み出しゲート２５に印加することにより、電荷蓄積期間ＳＳ２で蓄積された全電荷を垂直転送部２２に読み出した後、水平転送部２７へ高速転送し、さらに水平転送部２７で高速転送することによって掃き捨てを行うこととし、これによりオーバーフロードレインパルスＯＦＤ１を不要とすることも可能である。
また、フレーム期間ＦＰ（４）における水平転送期間１０１ｃで電荷転送を行う際の最初の１ライン分を破棄するようにすれば、ブランキング期間ＶＢ（４）の水平転送期間１１０を不要とすることができる。
さらに本実施の形態では電子シャッタパルスによる電荷蓄積期間調節を行っているが、機構式のシャッタを設けることにより、シャッタが開いている間だけ電荷蓄積を行うようにすることもできる。
【００６８】
レンズ１の位置と角速度の積分値から手ぶれ量を画素数に換算する（画素数で表された手ぶれ量ＢＬを得る）方法は、レンズ１の位置と角速度の積分値を変数としたテーブルを用いても良いし、予め与えておいた計算式より算出しても良い。
【００６９】
撮像時に手ぶれをおこしたときの撮像画像、ならびに固体撮像素子２の撮像面上における被写体像の詳細を図１４（ａ）乃至（ｊ）に示す。本例では撮像者が撮像装置のシャッタボタンＳＢを押す瞬間に上方向に手ぶれをおこした（撮像装置が上方向に動き、そのため撮像画像が次第に下方向に移動した）場合であり、画像生成期間数が４で、垂直方向の手ぶれの画素換算数ＢＬが（ＢＬ１＋ＢＬ２＋ＢＬ３＋ＢＬ４）である場合を示している。図１４（ａ）は手ぶれが全くない場合の撮像画像である。図１４（ｂ）は、図１３における符号ＳＳ１、ＳＳ２で示す場合と同様に、電荷蓄積期間を分割せず、且つ手ぶれ補正を行なわない場合の撮像画像であり、垂直方向に（ＢＬ１＋ＢＬ２＋ＢＬ３＋ＢＬ４）分の手ぶれが発生している。
【００７０】
図１４（ｃ）〜（ｆ）は、図１４（ｂ）の画像を４つの画像生成期間に分割して取得したそれぞれの画像であり、それぞれ画像生成期間Ｓ１、Ｓ２、Ｓ３、Ｓ４において電荷蓄積を行うとともに、画像生成期間ごとに全画素を読み出すと仮定した場合に得られる撮像画像を示している（実際には、画像生成期間ごとの画像が固体撮像素子から外部に読み出されるわけではなく、垂直加算部で加算された後外部に読み出される）。画像生成期間Ｓ１〜Ｓ４は互いに同じ長さであり、図１４（ｃ）〜（ｆ）の撮像画像の輝度は、いずれも図１４（ｂ）の撮像画像の輝度の１／４となる。
【００７１】
図１４（ｃ）〜（ｆ）の各々において、点線と実線の差は各画像生成期間中のぶれを表す。本実施の形態１は、相前後して得られる画像間に存在するＢＬｉ（ｉ＝１〜４）画素分のずれを逐次補正して加算（合成）するものであり、即ち、図１４（ｃ）の画像をＢＬ２画素分だけシフトして図１４（ｄ）の画像と合成して第１の合成画像を形成し、この第１の合成画像をさらにＢＬ３画素分だけシフトして図１４（ｅ）の画像と合成して第２の合成画像を形成し、この第２の合成画像をさらにＢＬ４画素分だけシフトして図１４（ｆ）の画像と合成して第３の合成画像（最終的な合成画像）を形成するものであり、これにより、図１４（ｆ）の撮像画像と略同位置に被写体像が位置する画像（図１４（ｆ）の被写体像に、図１４（ｃ）〜（ｅ）の被写体像をそれぞれシフトした上で合成した（重ね合わせた）のと同じ画像）を最終的な撮像画像として固体撮像素子２から出力するものである。
【００７２】
例えば、図１４（ｃ）の画像をシフトして図１４（ｄ）の画像と合成して第１の合成画像を形成する際に、シフト量をＢＬ１ではなく、ＢＬ２とする理由は次のとおりである。即ち、手ぶれ量ＢＬ１とＢＬ２の値は同じであるとは限らないため、値が異なる場合であって、かつシフト量をＢＬ１とした場合、図１４に点線で示す画像のぶれ（尾引き）の端部は図１４（ｃ）と図１４（ｄ）画像において揃うが、実線で示す被写体の顔の部分の画像はずれてしまう。シフト量をＢＬ２とした場合、ぶれ量ＢＬ１、ＢＬ２のうち値が大きい方のぶれ量（ここではＢＬ１）が残るが、被写体の顔の部分は重なるため、シフト量をＢＬ１とした場合に比べて、画像の品位が高い。そのため図１４（ｃ）の画像をシフトして図１４（ｄ）の画像と合成する際にはＢＬ２の画素数分シフトすることとし、以下同様に、第２の合成画像を形成する際の第１の合成画像のシフト量はＢＬ３、第３の合成画像を形成する際の第２の合成画像のシフト量はＢＬ４とする。
【００７３】
図１４（ｇ）〜（ｊ）はレンズを通して被写体を固体撮像素子２の撮像面上に投影したときの像を示しており、それぞれ対応する図１４（ｃ）〜（ｆ）の画像とは、上下左右が反対の関係にある。
【００７４】
図１４（ｇ）〜（ｊ）の被写体像について、便宜上手ぶれによる尾引き部分を描画していないが、実際には図１４（ｃ）〜（ｆ）の被写体像と同様の手ぶれによる尾引き部分が存在する。
【００７５】
図１２（ａ）に示すように、手ぶれにより撮像装置の向きが上方に変化した場合、図１４（ｇ）、（ｈ）、（ｉ）、（ｊ）の、上下左右反転した撮像面上の被写体像は上方向に移動する。図１４（ｇ）、（ｈ）、（ｉ）、（ｊ）中の符号ｄ１、ｄ２、ｄ３、ｄ４で示す「＊」印は被写体（人物の顔）上の同じ箇所における１画素を示しており、以下この画素に注目して垂直転送部２２内における電荷転送の詳細を図１５および図１６を用いて説明する。
【００７６】
図１５は、図１３において電荷蓄積期間の分割を行った期間ＦＰ（２）を時間軸方向に拡大した図であり、それぞれの動作に対し、時系列に、符号ＴＳａからＴＳｋを割り当てる。これら動作ＴＳａ〜ＴＳｋが行われる時点における垂直転送部２２内の電荷転送の様子を、図１６（ａ）〜（ｈ）を参照して説明する。
【００７７】
図１６（ａ）〜（ｈ）は、図１４（ｇ）〜（ｊ）に示すように、固体撮像素子２の撮像面上で被写体が上方向に移動した際の垂直転送部２２内における電荷転送による手ぶれ補正の方法を示している。図２および図３と同様に、図１６（ａ）〜（ｊ）において、各光電変換素子列２０は複数の光電変換素子２１を含み、垂直転送部２２は複数の転送素子２３を含む。各転送素子２３は画素に対応するものであり、４つの転送電極を備えているが、図１６（ａ）〜（ｈ）ではこの点の図示を省略している。
読み出しゲート部２４の読み出しゲート２５の各々は、各光電変換素子２１と対応する転送素子２３の間に設けられている。
まず図１６（ａ）に示すように、最初の画像生成期間Ｓ１（ＴＳａ）において、注目画素（図１４（ｇ）のｄ１）に対応する光電変換素子２１（１）で光電変換を行って電荷ｄ１を蓄積する。
【００７８】
次に図１６（ｂ）に示すように、読み出しパルスＴＧ１により画像生成期間Ｓ１中に光電変換素子２１（１）に蓄積された電荷ｄ１を垂直転送部２２の対応する転送素子２３（１）に読み出す（ＴＳｂ）。
この電荷読み出しが終了した直後から図１６（ｃ）に示すように、２番目の画像生成期間Ｓ２において注目画素の光電変換素子２１（２）における電荷ｄ２の蓄積（ＴＳｃ）を開始し、この電荷蓄積（ＴＳｃ）中に、動作ＴＳｂにより垂直転送部２２に読み出され電荷を転送素子２３（１）からＢＬ２画素分上方向に、即ち転送素子２３（２）に移動させる（ＴＳｄ）。
次に図１６（ｄ）に示すように、読み出しパルスＴＧ２により光電変換素子２１（２）の電荷ｄ２（画像生成期間Ｓ２中に光電変換素子２１（２）に蓄積された電荷ｄ２）を垂直転送部２２の対応する転送素子２３（２）に読み出し、垂直転送部２２内で、転送素子２３（１）から転送素子２３（２）に移動した電荷ｄ１と加算する（ＴＳｅ）。
【００７９】
この電荷読み出し及び加算が終了した直後から図１６（ｅ）に示すように、３番目の画像生成期間Ｓ３において注目画素の光電変換素子２１（３）における電荷ｄ３の蓄積（ＴＳｆ）を開始し、この電荷蓄積（ＴＳｆ）中に、動作ＴＳｅにおいて垂直転送部２２の転送素子２３（２）内で加算した電荷（ｄ１＋ｄ２）を転送素子２３（２）からＢＬ３画素分上方向に、即ち転送素子２３（３）に移動させる（ＴＳｇ）。
次に図１６（ｆ）に示すように、読み出しパルスＴＧ３により光電変換素子２１（３）の電荷ｄ３（画像生成期間Ｓ３中に光電変換素子２１（３）に蓄積された電荷ｄ３）を垂直転送部２２の対応する転送素子２３（３）に読み出し、垂直転送部２２内で、転送素子２３（２）から転送素子２３（３）に移動した電荷（ｄ１＋ｄ２）と加算する（ＴＳｈ）。
【００８０】
この電荷の読み出し及び加算が終了した直後から図１６（ｇ）に示すように、４番目の画像生成期間Ｓ４において注目画素の光電変換素子２１（４）における電荷ｄ４の蓄積（ＴＳｉ）を開始し、この電荷蓄積（ＴＳｉ）中に、動作ＴＳｈにおいて垂直転送部２２の転送素子２３（３）内で加算した電荷（ｄ１＋ｄ２＋ｄ３）を転送素子２３（３）からＢＬ４画素分上方向に、即ち転送素子２３（４）に移動させる（ＴＳｊ）。
次に図１６（ｈ）に示すように、読み出しパルスＴＧ４により光電変換素子２１（４）の電荷ｄ４（画像生成期間Ｓ４中に光電変換素子２１（４）に蓄積された電荷ｄ４）を垂直転送部２２の対応する転送素子２３（４）に読み出し、垂直転送部２２内で、転送素子２３（３）から転送素子２３（４）に移動した電荷（ｄ１＋ｄ２＋ｄ３）と加算する（ＴＳｋ）。
その後全画素のデータを矢印Ｙｍで示すように、水平転送部２７へ転送する（図１３、図１５の１００ｃ）と同時に、水平転送部２７内で出力増幅器部２８へ向けて、信号電荷の転送を行う（図１３、図１５の１０１ｃ）。
以上の動作により、像ぶれの低減された画像データを得ることが可能となる。
【００８１】
図１４および図１６における画像のシフト量ＢＬｉ（ｉ＝２、３、４）は実際には動き検出手段３２の検出信号を基にＣＰＵ７にて算出した値を用いることは出来ないため、ＢＬ２についてはＢＬ０とＢＬ１の値を基に算出し、ＢＬ３についてはＢＬ１とＢＬ２の値を基に算出し、ＢＬ４についてはＢＬ２とＢＬ３の値を基に算出する必要がある。その理由について、図１７を参照して説明する。
【００８２】
図１７は、図１３のフレーム期間ＦＰ（３）を拡大するとともに、図１３（ｉ）に示した水平転送パルスＨＤＰを省略し、図１２において（＋）方向に手ぶれした際の被写体像ＬＳの変位を追記したものである。電荷蓄積期間Ｓｉ（ｉ＝１、２、３、４）をそれぞれＦＰ（３）−ｉ（ｉ＝１、２、３、４）として、ＦＰ（３）−１期間の開始時刻ならびに終了時刻をそれぞれｔ１、ｔ２とする。以後同様に、ＦＰ（３）−４期間の終了時刻をｔ５とするまで、分割したフレーム期間の節目ごとにｔ１からｔ５を振り分けている。図１７（ｚ）において、時刻ｔｉ（ｉ＝１、２、３、４、５）における被写体像の推移を実線にてＬＳ（ｉ−１）（ｉ＝１、２、３、４、５）と表わす。
【００８３】
いま、時刻ｔ１における被写体像がＬＳ０の位置にあるものとする。理解を容易にするため、ＬＳ０の中心を通る横軸ＬＩＮＥを示している。被写体像ＬＳ０は期間Ｓ１における電荷蓄積を完了した時点（時刻ｔ２）では被写体像ＬＳ１の位置まで移動し、被写体像ＬＳ１の中心点と横軸ＬＩＮＥとの距離は期間Ｓ１において発生した手ぶれ分ＢＬ１となる。点線で示すＬＳ０’は、被写体像ＬＳ１を時刻ｔ１の縦軸上に平行移動したものである。期間Ｓ１に電荷を蓄積し、動作ＴＧ１にて読み出した画像にはＢＬ１分の像ぶれが生じており、最終的に４枚の画像を加算した後も該ＢＬ１分のぶれは残存する。
【００８４】
次に、期間Ｓ２に蓄積した電荷を動作ＴＧ２により読み出すまでの間に、動作ＴＧ１にて読み出した画像を図１７（ｈ）の垂直転送パルスＶＤＰ１０２ａにてシフトする。この動作は、垂直転送部２２に読み出された被写体像ＬＳ１を点線ＬＳ１’の位置までＢＬ２分だけ推移させることと同意である。このとき、垂直転送パルスＶＤＰ１０２ａにてシフトする画素数はＢＬ２であるが、ＢＬ２は電荷蓄積期間Ｓ２の終了時に図１７（ｇ）に示すＣＰＵのＳＧ２期間にて算出されるものであり、垂直転送パルス１０２ａの発生時点では不明である。そのため、ＢＬ２を、以前に図１７（ｇ）のＣＰＵのＳＧ０、ＳＧ１期間にて算出したＢＬ０、ＢＬ１から求めることとする。
【００８５】
例えば、被写体像が図１７（ｚ）のように変位している場合（即ち手ぶれ量ＢＬが徐々に減少している場合）、ＢＬ１のＢＬ０からの減少量と、ＢＬ２のＢＬ１からの減少量とが等しいと考え、ＢＬ２−ＢＬ１＝ＢＬ１−ＢＬ０、すなわちＢＬ２＝２ＢＬ１−ＢＬ０と考える。ＢＬ０が８であって、ＢＬ１が６であればＢＬ２＝２×６−１０＝４となる。
【００８６】
手ぶれ量ＢＬｎ及びＢＬ（ｎ−１）（ｎ＝１、２、…）から算出したＢＬ（ｎ＋１）を予測値Ｐ（ｎ＋１）とすると、垂直転送パルス１０２ａにおいてはＰ（２）画素だけ画像をシフトすることになる。動作ＴＧ１にて読み出した画像（垂直転送部２２に読み出され、保持された状態の全画素分の電荷）を、Ｐ（２）画素だけシフトした後、時刻ｔ３において、期間Ｓ２に蓄積した電荷を動作ＴＧ２により読み出した画像と加算する。次に該加算した画像を垂直転送パルス１０２ｂによりＰ（３）画素だけシフトした後、時刻ｔ４において、期間Ｓ３に蓄積した電荷を動作ＴＧ３により読み出した画像と加算する。さらに、該加算した画像を垂直転送パルス１０２ｃによりＰ（４）画素だけシフトした後、時刻ｔ５において、期間Ｓ４に蓄積した電荷を動作ＴＧ４により読み出した画像と加算して最終的に１枚の画像を得る。
【００８７】
本発明の手ぶれ補正を実施しない場合は、電荷蓄積期間Ｓ１、Ｓ２、Ｓ３、Ｓ４の間に発生した手ぶれ量ＢＬ１、ＢＬ２、ＢＬ３、ＢＬ４は時系列に逐次追加され、最終的に被写体像ＬＳ１の中心点と横軸ＬＩＮＥとの距離である、手ぶれ量の総和ｔｏｔａｌＢＬ（＝ＢＬ１＋ＢＬ２＋ＢＬ３＋ＢＬ４）として残存する。本発明の手ぶれ補正を実施する場合は、ぶれ量ＢＬ１、ＢＬ２、ＢＬ３、ＢＬ４を重ね合わせることになるため、該４つのぶれ量のうち、最も大きい像ぶれ（ｍａｘＢＬとする）が最終画像に残存することになるが、本発明の手ぶれ補正を実施しない場合と比較して、（ｍａｘＢＬ／ｔｏｔａｌＢＬ）倍に相当する手ぶれ補正効果がある。
【００８８】
ｍａｘＢＬが小さいほど手ぶれ補正効果は向上する。ｍａｘＢＬを小さくするためには画像の読み出し回数Ｎを多くすればよい。読み出し回数Ｎを多くすることにより、ＢＬｎならびにＢＬ（ｎ−１）（ｎ＝１、２、…）から推測したＢＬ（ｎ＋１）を算出する際にも、ＢＬｎとＢＬ（ｎ−１）との差分ΔＢＬが微小化され、予測値Ｐ（ｎ＋１）の算出精度が向上する。
【００８９】
また、予測値Ｐ（ｎ＋１）は、手ぶれ量ＢＬｎならびにＢＬ（ｎ−１）（ｎ＝１、２、…）を用いて算出すると説明したが、これに限るものではなく、手ぶれ量ＢＬ０〜ＢＬｎのいずれかの組み合わせ、あるいは手ぶれ量ＢＬ０〜ＢＬｎのすべてを用いて算出してもよい。また、分割した電荷蓄積時間よりも短い時間周期Δｔにて更新される手ぶれセンサ９の出力を動き信号Ａ／Ｄ変換部１０にてデジタル値に変換した値から逐次撮像装置の変位方向の情報を取得するとともに、該変位方向の判定結果ならびに、分割した電荷蓄積期間ごとに算出される手ぶれ量ＢＬｎ（ｎ＝１、２、…）を合わせて用いることにより、予測値Ｐ（ｎ＋１）の算出精度向上を図ることも可能である。
【００９０】
図１８は、実施の形態１における手ぶれ補正の動作を示すフローチャートである。まずシャッタボタンＳＢが押されたかどうかを監視し（ステップＳｔ０）、シャッタボタンＳＢが押された場合は、ＡＥ制御において決定される電荷蓄積時間（Ｔｅｘｐ）の開始時刻ｔ１よりも（Ｔｅｘｐ／Ｎ）以前の時刻、すなわちｔ＝ｔ１−（Ｔｅｘｐ／Ｎ）となる時間を監視する（ステップＳｔ１）。ここでＮは画像の読み出し回数、すなわち手ぶれ補正を実施するフレーム期間における電荷蓄積期間の分割数を表わす。分割数Ｎは、図１８に示す手ぶれ補正動作の開始以前に予め任意の値に固定しておく。ｔ＝ｔ１−（Ｔｅｘｐ／Ｎ）である場合は、ＣＰＵにおいて手ぶれセンサの出力信号の積算を開始する（ステップＳｔ２）。
【００９１】
次に、ステップＳｔ３において電荷蓄積時間（Ｔｅｘｐ）の開始時刻ｔ１を監視し、ｔ＝ｔ１であれば、ＣＰＵにより図１７のＳＧ０期間における手ぶれ量ＢＬ０を算出（ステップＳｔ４）した後、分割したＮ画像のうち第１番目の画像から読み出す目的にてｎ＝１を与える（ステップＳｔ５）。次に、分割した電荷蓄積期間Ｓｎにて電荷蓄積した画像（以後、Ｓｎ画像と表記する）を読み出す。初期状態ではステップＳｔ５によりｎ＝１であるため、第１の画像を読み出すことになる。Ｓｎ画像を読み出すと同時にＣＰＵの演算結果である図１７（ｇ）のＳＧｎ期間における手ぶれ量ＢＬｎを算出する（ステップＳｔ６）。次に、手ぶれ量Ｐ（ｎ＋１）に応じた画像位置（画素数）だけ画像をシフトさせた後（ステップＳｔ７）、垂直転送部２２内に保持する（ステップＳｔ８）。
【００９２】
ステップＳｔ８にて保持した画像を画像（Ａ）とする。次に、Ｓ（ｎ＋１）画像を読み出し、該読み出した画像を画像（Ｂ）とするとともに、手ぶれ量ＢＬ（ｎ＋１）を算出する（ステップＳｔ９）。初期状態、即ち、ステップＳｔ９を最初に実行するときは、該Ｓ（ｎ＋１）の画像とはＳ２のことを指す。そして画像（Ａ）と画像（Ｂ）を加算する（ステップＳｔ１０）。画像（Ａ）と画像（Ｂ）との加算は、画像（Ａ）に対応する電荷を保持している垂直転送部２２のそれぞれの転送素子２３に、光源変換素子列２０のそれぞれの光源変換素子２１から画像（Ｂ）に対応する電荷を読み出すことにより行う。
【００９３】
次にｎ＝Ｎ−１か否かを判定する（ステップＳｔ１１）。ｎ＝Ｎ−１でない場合は、ｎに１を足して（ステップＳｔ１２）、ステップＳｔ７に戻り、ステップＳｔ７からステップＳｔ１１の処理を繰り返す。この繰り返しは、ステップＳｔ１１でｎ＝Ｎ−１となるまで続けられる。ｎ＝Ｎ−１となれば次のフレーム期間に垂直転送部２２内の全電荷を水平転送部２７へ転送して（ステップＳｔ１３）、終了する。
【００９４】
以上説明したように実施の形態１によれば、アクチュエータ等の複雑な機構部品を必要とせず、固体撮像素子内部の電荷移動のみで手ぶれを低減、補正する撮像装置を提供できる。また、電荷蓄積期間中に手ぶれ量が変動する場合でも、分割した電荷蓄積期間ごとに垂直転送部内の電荷転送量を動的に変更できるため、携帯機器用のカメラのように構成上の制約がある場合にも高精度の手ぶれ補正が可能である。また、電荷蓄積期間の分割を行なうことでぶれを補正するにもかかわらず、フレームメモリ等も不要である。
【００９５】
特に、実施の形態１では、分割した電荷蓄積期間Ｓｎの画像電荷のシフト量を、それ以前の分割した電荷蓄積期間の手ぶれ量から算出した予測値Ｐ（ｎ＋１）に基づいて決定しているため、例えば図１７（ｚ）に示すように手ぶれ量が変化している場合でも、高い精度で手ぶれ補正を行うことできる。
特に、画像の読み出し回数Ｎが多いほど、隣り合う分割電荷蓄積期間に生じる手ぶれ量の変化分が微小となるため、高い補正効果が得られる。
【００９６】
また、動き検出手段３２（手ぶれセンサ９）が垂直転送部２２の転送方向に対応する動き（ここでは上下方向の動き）を検出するようになっているため、当該方向をシャッタボタンＳＢの押下方向と一致させることで、実用上十分な手ぶれ補正が可能となる。また、動き検出手段３２により検出される動き量が画素数で表されているため、シフト量の算出を容易に行うことができる。
【００９７】
変形例．
なお、図１８に示した手ぶれ補正動作では、時刻ｔｎから時刻ｔ（ｎ＋１）までの間（蓄積電荷蓄積期間Ｓｎ）に蓄積された画像のシフト量を、時刻ｔｎ以前の電荷蓄積時間における手ぶれ量をもとに算出した予測値Ｐ（ｎ＋１）を用いて決定している。これに対し、予測値Ｐ（ｎ＋１）の代わりに、実測値である手ぶれ量ＢＬ（ｎ）を用いることも可能である。この場合、図１７（ｇ）に示すＳＧ０期間のＣＰＵによる手ぶれ量ＢＬ０の算出は不要になる。
【００９８】
図１９は、予測値Ｐ（ｎ＋１）の代わりに、実測値であるＢＬ（ｎ）を用いた場合の動作を示すフローチャートである。この場合、シャッタボタンＳＢが押された後（ステップＳｔ０）、電荷蓄積開始時刻ｔ１を監視し（ステップＳｔ１）、ｔ＝ｔ１であればＣＰＵにおいて手ぶれセンサの出力信号の積算を開始する（ステップＳｔ２）。更にｔ＝ｔ２となる時間を監視し（ステップＳｔ３）、ｔ＝ｔ２であればｎ＝１を与える（ステップＳｔ５）。次に、分割した電荷蓄積期間にて電荷蓄積した画像Ｓｎ（ｎ＝１なら画像Ｓ１）を読み出し（ステップＳｔ６）、同時に、ＣＰＵにおいて図１７（ｇ）のＳＧ１期間における手ぶれ量ＢＬｎを算出する。次に、手ぶれ量ＢＬｎだけ画像Ｓｎをシフトさせた後（ステップＳｔ７）、これを垂直転送部２２内で保持する（Ｓｔ８）。次に、Ｓ（ｎ＋１）画像を読み出し、同時に、手ぶれ量ＢＬ（ｎ＋１）を算出する（ステップＳｔ９）。さらに、ステップＳｔ８において保持された画像（Ａ）と、ステップＳｔ９で読み出した画像（Ｂ）とを加算する（ステップＳｔ１０）。次にｎ＝Ｎ−１か否かを判定し（ステップＳｔ１１）、ｎ＝Ｎ−１でない場合は、ｎに１を足して（ステップＳｔ１２）、ステップＳｔ７からステップＳｔ１１の処理を繰り返す。この繰り返しは、ステップＳｔ１１でｎ＝Ｎ−１となるまで続けられる。ｎ＝Ｎ−１となれば次のフレーム期間に垂直転送部２２内の全電荷を水平転送部２７へ転送して（ステップＳｔ１３）、終了する。他の動作は、予測値Ｐ（ｎ＋１）を用いて手ぶれ補正を行う場合と同様である。
【００９９】
この変形例によれば、分割した電荷蓄積期間Ｓｎの画像のシフト量を、分割した電荷蓄積期間の手ぶれ量の実測値に基づいて決定しているため、実施の形態１と同様、高い精度で手ぶれ補正を行うことできる。
【０１００】
実施の形態２．
図２０は、本発明の実施の形態２における撮像装置の動作を示すタイミングチャートである。撮像装置は実施の形態１と同一であるが、図１７のタイミングチャートに比べて、電荷蓄積期間の分割方法と垂直転送パルスＶＤＰの電荷転送量が異なる。すなわち、図１７におけるタイミングチャートでは予め電荷蓄積期間を４等分に分割し、分割した電荷蓄積期間Ｓｎ（ｎ＝１、２、３、４）ごとの手ぶれ量に応じて垂直転送パルス１０２ａ、１０２ｂ、１０２ｃの電荷転送量を変更しているのに対して、図２０のタイミングチャートでは電荷蓄積期間Ｓｎごとの手ぶれ量に応じてＳｎをさらに分割するとともに、分割した電荷蓄積期間すべてにおいて垂直転送パルスＶＤＰの電荷転送量を一定値ＰＴ（１０３と表記する）としている。図２０は、電荷蓄積期間Ｓ１を３分割、電荷蓄積期間Ｓ２を２分割し、電荷蓄積期間Ｓ３、Ｓ４を分割しない状態を示している。
【０１０１】
電荷蓄積期間Ｓｎ（ｎ＝１、２、３、４）において発生する手ぶれ量ＢＬｎ（ｎ＝１、２、３、４）が大きい場合は、電荷蓄積期間Ｓｎを更に細分化して、細分化した電荷蓄積期間の終端ごとに読み出しパルスＴＧｎ（ｎ＝１、２、…）にて画像を読み出す。その際、分割した電荷蓄積期間Ｓｎｋ（ｋ＝１、２、…）における垂直転送パルスＶＤＰの電荷転送量は、色フィルタの繰り返しパターンの周期に対応し、かつ最小となる画素数（最小画素数ＰＴとする）とする。例えば色フィルタとしてベイヤ型を用いた場合はＰＴ＝２である。
【０１０２】
電荷蓄積期間Ｓ１の分割数Ｋの算出に際しては、電荷蓄積期間Ｓ１において発生する手ぶれ量ＢＬ１の値が必要であるが、最終的に手ぶれ量ＢＬ１がＣＰＵにて算出されるのは電荷蓄積期間Ｓ１の終端部（時刻ｔ２）の時点である。そのため、時刻ｔ１の時点で手ぶれ量ＢＬ１の予測値を算出する必要があるため、手ぶれ量ＢＬ１をＣＰＵのＳＧ０期間にて算出した手ぶれ量ＢＬ０と略同値であると判断して、電荷蓄積期間Ｓ１の分割数Ｋの算出には手ぶれ量ＢＬ０を用いる。その他、手ぶれ量ＢＬｎ（ｎ＝１、２、…）がＣＰＵにて算出された時点において、手ぶれ量ＢＬ（ｎ＋１）（ｎ＝１、２、…）の予測値Ｐ（ｎ＋１）を算出する際には、実施の形態１と同様に、ＢＬｎならびにＢＬ（ｎ−１）（ｎ＝１、２、…）を用いることとして、該算出されたＰ（ｎ＋１）を基にＳ（ｎ＋１）の分割数Ｋを算出する。
【０１０３】
具体的には、Ｓｎ（ｎ＝１、２、…）の分割数Ｋは、ＣＰＵ７による手ぶれ量Ｐ（ｎ）の算出値に基づいて算出される。最小画素数ＰＴを２とすると、Ｐ（ｎ）／２を越えない最大の自然数ｎ１と該自然数に１を加えたｎ２を求め、これら自然数ｎ１、ｎ２のうち、よりＰ（ｎ）／２の値に近い方を分割数Ｋとする。
例えば、Ｐ（ｎ）＝５．８のときは、Ｐ（ｎ）／２＝２.９であるためｎ１＝２、ｎ２＝３となる。Ｐ（ｎ）／２はｎ１、ｎ２のうち、ｎ２により近い数値となるため、Ｋ＝３を採用する。
【０１０４】
図２１は、実施の形態２における手ぶれ補正の動作を示すフローチャートである。図２１に示すフローチャートにおいて、ステップＳｔ４までの動作は、図１８のフローチャートと同一である。ここでは、ステップＳｔ５にて、分割したＮ画像（Ｓ１、Ｓ２、…ＳＮ）のうち第１番目の画像から読み出す目的にてｎ＝１を与える（ステップＳｔ５）。次に、電荷蓄積期間Ｓｎを分割数Ｋで更に細分化した電荷蓄積期間Ｓｎｋ（ｋ＝１、２、…）についても、第１番目の画像から読み出す目的にてｋ＝１を与える（ステップＳｔ６）。更に、Ｓｎの分割数Ｋをｋ（Ｓｎ）と表記して、ｋ（Ｓｎ）＝Ｐ（ｎ）／ＰＴによりＳｎの分割数を算出する（ステップＳｔ７）。
【０１０５】
次に、ｋ（Ｓｎ）が２以上かどうかを判定し（ステップＳｔ８）、ＮＯである場合、すなわちＳｎを分割しない場合はステップＳｔ９に移行する。ステップＳｔ９では画像Ｓｎｋを読み出す。ｎ＝１、ｋ＝１の場合の画像Ｓ１１は画像Ｓ１と同意とし、以降においてもｋ（Ｓｎ）＝１の場合には画像Ｓｎと画像Ｓｎ１は同一とみなす。次にｎが２以上かどうかを判定し（ステップＳｔ１０）、ｎが２以上である場合は画像Ｓｎｋをそれまでに読み出した画像と加算する（ステップＳｔ１１）。ステップＳｔ１０において、ｎが２以上でない場合、すなわちｎ＝１である場合は画像Ｓ１を読み出すことであるため、それまでに読み出した画像は存在しない。そのため画像の加算も実施しないため、ステップＳｔ１０の次はステップＳｔ２２へ移行する。ステップＳｔ２２では時刻ｔが最終の電荷蓄積期間ＳＮの終端部であるかとうか（図２０の例ではｔ５に相当するかどうか）を判定し、終了であれば次のフレーム期間に垂直転送部２２内の全電荷を水平転送部２７へ転送して（ステップＳｔ２６）、終了する。
【０１０６】
一方、ステップＳｔ８において、ｋ（Ｓｎ）が２以上であれば、分割した電荷蓄積期間Ｓｎｋにて電荷蓄積した画像を読み出す（ステップＳｔ１２）。次にｎが２以上かどうかを判定し（ステップＳｔ１３）、ｎが２以上である場合は画像Ｓｎｋをそれまでに読み出した画像と加算する（ステップＳｔ１４）。ステップＳｔ１０において、ｎが２以上でない場合、すなわちｎ＝１である場合（つまりＳ１画像を読み出す場合）には、それまでに読み出した画像は存在しないため、画像の加算を実施せず、ステップＳｔ１３の次はステップＳｔ１５へ移行する。
【０１０７】
次に、色フィルタの繰り返しパターンの周期に対応する最小画素数ＰＴに応じた画像位置（画素数）だけ画像をシフトさせた後（ステップＳｔ１５）、これを保持する（ステップＳｔ１６）。ここで、ステップＳｔ１６にて保持した画像を画像（Ａ）とする。次に、Ｓｎ（ｋ＋１）画像を読み出し、これを画像（Ｂ）とする（ステップＳｔ１７）。初期状態、即ち、ステップＳｔ１７を最初に実行するときは、該Ｓｎ（ｋ＋１）の画像とはＳ１２のことを指す。そして画像（Ａ）と画像（Ｂ）を加算する（ステップＳｔ１８）。次に、ｋ＝ｋ（Ｓｎ）−１かどうかを判定（ステップＳｔ１９）し、ｋ＝ｋ（Ｓｎ）−１でなければ、ｋに１を足して（ステップＳｔ２０）、ステップＳｔ１５に戻り、ステップＳｔ１５からステップＳｔ１９の処理を繰り返す。この繰り返しは、ステップＳｔ１９でｋ＝ｋ（Ｓｎ）−１となるまで続けられる。ｋ＝ｋ（Ｓｎ）−１となれば、電荷蓄積期間Ｓｎ（＝Ｓｎ１＋Ｓｎ２＋…ＳｎＫ）に発生した手ぶれ量ＢＬｎをＣＰＵにて算出する（ステップＳｔ２１）。
【０１０８】
次に、ステップＳｔ２２へ移行し、電荷蓄積時間が終了でない場合は電荷蓄積期間Ｓｎの次の電荷蓄積期間Ｓ（ｎ＋１）において手ぶれ補正動作を実施すべく、ステップＳｔ２３移行のフローを実施する。まず、ステップＳｔ２３ではステップＳｔ１８において加算した状態の画像をＰＴ分シフトする。次に、該画像を保持（ステップＳｔ２４）した後、ｎに１を足して（ステップＳｔ２５）、ステップＳｔ６に移行する。そして、ステップＳｔ６以降の処理をステップＳｔ２２で電荷蓄積時間が終了するまで繰り返し、ステップＳｔ２２にて電荷蓄積時間が終了となれば、次のフレーム期間に垂直転送部２２内の全電荷を水平転送部２７へ転送して（ステップＳｔ２６）、終了する。
【０１０９】
以上説明したように実施の形態２によれば、電荷蓄積期間中に手ぶれ量が変動する場合でも、分割した電荷蓄積期間Ｓｎごとの手ぶれ量に応じて、Ｓｎを更に分割するとともに、すべての分割電荷蓄積期間における画像シフト量が一定となるように構成したため、高精度の手ぶれ補正が可能である。また、電荷蓄積期間の分割を行なうことでぶれを補正するにもかかわらず、フレームメモリ等も不要である。
【図面の簡単な説明】
【０１１０】
【図１】本発明の実施の形態１における撮像装置の構成を示すブロック図である。
【図２】図１に示した撮像装置で用いられる固体撮像素子の構成を示す図である。
【図３】図２における縦方向に並んだ４画素を拡大して示す図である。
【図４】ベイヤ型色フィルタ配列を示す図である。
【図５】ハニカム型色フィルタ配列を示す図である。
【図６】実施の形態１において手ぶれ補正を行うための構成要素を示す機能ブロック図である。
【図７】実施の形態１における合成手段を構成する固体撮像素子の動作を示す図である。
【図８】垂直転送部内で順方向に電荷を転送する場合に印加される垂直転送パルスＶＤＰを示すタイミングチャートである。
【図９】垂直転送部内で順方向に電荷を転送する場合の固体撮像素子の転送素子の電極の電位分布を示す図である。
【図１０】垂直転送部内で逆方向に電荷を転送する場合に印加される垂直転送パルスＶＤＰを示すタイミングチャートである。
【図１１】垂直転送部内で逆方向に電荷を転送する場合の固体撮像素子の転送素子の電極の電位分布を示す図である。
【図１２】（ａ）〜（ｄ）は、撮像装置の手ぶれの方向及び角度とぶれを含む撮像画像の例を示す図である。
【図１３】（ａ）〜（ｊ）は実施の形態１における撮像装置の動作を示すタイミングチャートである。
【図１４】実施の形態１の撮像画像と固体撮像素子の撮像面の被写体像の変位を示す図である。
【図１５】（ａ）〜（ｆ）は、図１３において電荷蓄積期間の分割を行った期間を時間軸方向に拡大した図である。
【図１６】実施の形態１における垂直転送部内の電荷転送ならびに電荷加算方法を示す図である。
【図１７】（ａ）〜（ｊ）は実施の形態１における撮像装置の動作を示すタイミングチャートの拡大図である。
【図１８】本発明の実施の形態１における手ぶれ補正動作のフローチャートである。
【図１９】本発明の実施の形態１の変形例における手ぶれ補正動作のフローチャートである。
【図２０】（ａ）〜（ｊ）は実施の形態２における撮像装置の動作を示すタイミングチャートの拡大図である。
【図２１】本発明の実施の形態２に係るフローチャートである。
【符号の説明】
【０１１１】
１  レンズ、  ２  固体撮像素子、  ３  アナログ信号処理部、  ４  画素信号Ａ／Ｄ変換部、  ５  信号処理部、  ６  表示手段、  ７  ＣＰＵ、  ８  タイミングジェネレータ、  ９  手ぶれセンサ、  １０  動き信号Ａ／Ｄ変換部、  １１  積算部、  １２  レンズ駆動部、  １３  シャッタボタン、  ２１  光電変換素子（ＰＤ）、  ２２  垂直転送部、  ２４  読み出しゲート部、  ２７  水平転送部、  ２８  出力増幅器、  ３１  電荷蓄積手段、  ３２  動き検出手段、  ３３  合成手段、  ３４  読み出し手段、  ３５  画像保持手段、  ３６  画像シフト手段、  ３７  制御手段、  ＰＸ  画素。
【図１】
0004450791.tif 000002
【図２】
0004450791.tif 000003
【図３】
0004450791.tif 000004
【図４】
0004450791.tif 000005
【図５】
0004450791.tif 000006
【図６】
0004450791.tif 000007
【図７】
0004450791.tif 000008
【図８】
0004450791.tif 000009
【図９】
0004450791.tif 000010
【図１０】
0004450791.tif 000011
【図１１】
0004450791.tif 000012
【図１２】
0004450791.tif 000013
【図１３】
0004450791.tif 000014
【図１４】
0004450791.tif 000015
【図１５】
0004450791.tif 000016
【図１６】
0004450791.tif 000017
【図１７】
0004450791.tif 000018
【図１８】
0004450791.tif 000019
【図１９】
0004450791.tif 000020
【図２０】
0004450791.tif 000021
【図２１】
0004450791.tif 000022