(57)【要約】【課題】特殊な機構装置を用いることなく手ぶれ補正を実施することにより、小型で低コストの撮像装置を提供する。【解決手段】撮像素子の垂直転送部２１で生成された画像電荷を、一時保持する画像保持手段３５と、前記保持された画像電荷を、動き検出手段３２によって検出された撮像装置の動き量に応じて、像ぶれを相殺する方向にシフトするとともに該シフトされた画像電荷に対して、新たに電荷生成手段３１によって蓄積された画像電荷を加算する画像シフト手段３６と、前記画像シフト手段における画像電荷シフト量ならびにシフト方向を制御する制御手段とによって手ぶれを補正する。【選択図】図５
2007129502.tif 000002
【特許請求の範囲】
【請求項１】
被写体像の入射光を光電変換して画像電荷を生成する複数の転送素子が第１の方向に整列し、前記転送素子で生成された画像電荷を前記第１の方向に転送する垂直転送部を有する固体撮像素子と、
前記固体撮像素子の動きを検出する動き検出手段と、
前記転送素子で生成された画像電荷を、前記動き検出手段によって検出された前記動きに応じて動的に転送させるように前記垂直転送部を制御する制御手段とを有し、
各転送素子において新たなに生成された電荷が、転送された電荷と加算されながら蓄積されることを特徴とする撮像装置。
【請求項２】
前記固体撮像素子が前記画像電荷を、前記第１の方向と直交する第２の方向に転送する水平転送部を有し、
前記制御手段が、前記転送部に対し、前記画像電荷の生成中は、生成された電荷を前記動きに応じて動的に転送させ、前記画像電荷の生成の後に前記画像電荷を前記固体撮像素子の外部に出力するために転送させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記固体撮像素子が撮像領域と、該撮像領域と前記水平転送部の間に配置された蓄積領域とを有し、
前記垂直転送部が前記撮像領域内に設けられ、
前記画像電荷を前記固体撮像素子の外部に出力するために行われる転送が、前記蓄積領域への転送であり、前記蓄積領域への一画面分の画像電荷の転送が終わった後、前記蓄積領域から前記水平転送部へ転送が行われることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像領域から前記蓄積領域への電荷の転送が各フレーム期間の垂直ブランキング期間内に行われ、前記蓄積領域から前記水平転送部への画像電荷の転送が、前記撮像領域における画像電荷の生成が行われたフレームの次のフレームに行われることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記動き検出手段が、前記撮像素子上における前記第１の方向に対応する方向の動きを検出するものであることを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【請求項６】
前記撮像領域が、それぞれ異なる色の色フィルタで覆われた垂直転送素子を含み、前記色フィルタが所定の繰り返しパターンで周期的に配列され、
前記垂直転送部での移動量は、色フィルタの繰り返しパターンの周期に対応する画素数の整数倍であることを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【請求項７】
前記制御手段は、前記動きに対応する、被写体の画像の撮像面上での動きに応じて転送を行わせることを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【請求項８】
前記制御手段は、前記動きに対応する、被写体の画像の撮像面上での動きの速度と一致するように前記転送の速度を制御することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はＣＣＤイメージセンサなどの固体撮像素子を用いた撮像装置に関するものであり、静止画におけるぶれ補正機能を有する静止画撮像装置に関する。
【背景技術】
【０００２】
被写体を撮像しようとするとき、被写体が静止していても、撮影者がシャッタボタンを押す際に撮像装置を動かしてしまうことで撮像画像がぶれてしまうことは良く知られた現象であり、これは一般に「手ぶれ」と表現される。「手ぶれ」の発生頻度は被写体が撮像される環境の照度が低く、シャッタスピードが遅くなる（電荷蓄積時間が長くなる）ほど高くなる。
【０００３】
この「手ぶれ」による撮像画像に対し、機構的に、あるいは画像処理により補正を加え、「手ぶれ」による撮像画質の低下を減少させ、撮像画像の品質を向上しようとする技術が広く検討されている。例えば、角速度や角加速度を検出するセンサを用いて撮像装置の変位（角度）を検出し、この変位を打ち消す方向に、光学レンズや固体撮像素子自体を移動させることにより「手ぶれ」を補正する技術がある。
【０００４】
例えば、角速度センサによる手ぶれ検出手段を設け、手ぶれ検出の結果ならびに補正光学系の位置検出結果に応じて、像のぶれを低減または消滅させる方向に前記補正光学系を駆動制御する手段を設けた像ぶれ補正装置を備えた撮像装置が知られている（例えば、特許文献１参照）。
【０００５】
従来の別の撮像装置では、画像処理による手ぶれ補正処理を行っている。例えば、電荷蓄積時間を制御して複数回の連続した露光を与え、得られた複数の撮像画像を加算して一つの画像を生成することとし、加算に際しては各露光において得られる画像間で相対的な動き補償を行い、画像間の被写体ずれを補正した後に行う画像処理手段を備えた撮像装置が知られている（例えば、特許文献２参照）。
【０００６】
また、同じ画像処理による手ぶれ補正処理手段を有する撮像装置であるが、手ぶれによって発生した連続するフィールド間画像の動きベクトルをもとに動き予測ならびに動き検出を行い、画像の切り出し位置（画像メモリからの読み出し位置）を変えることで手ぶれの補正を行なうものも知られている（例えば、非特許文献１参照）。
【０００７】
【特許文献１】特開平７−９８４６６号公報  （第１−８頁、第１図）
【特許文献２】特開２００１−８６３９８号公報  （第１−９頁、第１図）
【非特許文献１】日下博也、岸靖典、“高解像度純電子手振れ補正システム”、映像情報メディア学会誌、２００２年、Ｖｏｌ．５６、Ｎｏ．１０、ｐ．１６６３−１６６８
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１に記載された従来の撮像装置では、手ぶれによる振動を相殺するための機構部品が必要であり、またその装置を駆動するためのアクチュエータやモーターが必要であり、撮像装置が大型化するとともに消費電力、コストも増大するという問題がある。さらに機構部品が落下衝撃の影響を受けるために、対衝撃設計を行う必要がある。
【０００９】
また、上記特許文献２に記載された従来の別の撮像装置では、複数回の連続した露光を与えることによって得られた複数の撮像画像を加算するため、これら複数の撮像画像数すべてを記憶するための別途フレームメモリが必要となる。
【００１０】
さらに、上記非特許文献１に記載されたように、連続するフィールド間画像の動きベクトルをもとに手ぶれ補正を実施した場合、動画には有効であるが、１枚の画像内に発生している手ぶれについては補正できないため、静止画の手ぶれ補正には使用できない。また、画像メモリから画像を切り出すため、必要なメモリ容量も増大する。
【００１１】
なお、手ぶれ以外の理由で発生する画像のぶれ、例えば撮像装置が車両などの移動体に搭載され、移動しながら撮像を行う場合の、被写体に対する撮像装置の相対的な動きによって生じる画像のぶれについても同じような問題がある。
【００１２】
本発明は上述したような課題を解決するためになされたもので、特殊な機構部品や大容量のメモリを必要とせず、固体撮像素子内でぶれ補正を実施することにより、小型で低コストの撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、
被写体像の入射光を光電変換して画像電荷を生成する複数の転送素子が第１の方向に整列し、前記転送素子で生成された画像電荷を前記第１の方向に転送する垂直転送部を有する固体撮像素子と、
前記固体撮像素子の動きを検出する動き検出手段と、
前記転送素子で生成された画像電荷を、前記動き検出手段によって検出された前記動きに応じて動的に転送させるように前記垂直転送部を制御する制御手段とを有し、
各転送素子において新たなに生成された電荷が、転送された電荷と加算されながら蓄積されることを特徴とする撮像装置を提供する。
【発明の効果】
【００１４】
本発明によれば、特殊な機構装置やメモリを必要とせずに固体撮像素子内でぶれ補正を実施することにより小型で低コストの撮像装置を提供することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、画像のぶれが手ぶれによるものである場合について、説明するが、本発明は、手ぶれ以外の理由で発生する画像のぶれにも適用可能である。例えば、自動車やその他の移動体に搭載され、移動しながら撮影を行うカメラであって、あらかじめ主たる動きの方向が分っている場合に適用できる。
【００１６】
実施の形態１．
図１は本発明の実施の形態１における撮像装置の全体的構成を示すブロック図である。図示の撮像装置は、レンズ１と、固体撮像素子２と、アナログ信号処理部３と、画素信号Ａ／Ｄ変換部４と、信号処理部５と、表示手段６と、ＣＰＵ７と、タイミングジェネレータ８と、手ぶれセンサ９と、動き信号Ａ／Ｄ変換部１０と、積算部１１と、レンズ駆動部１２、シャッタボタン１３とを有する。
【００１７】
シャッタボタン１３は静止画像を撮像するための使用者が押すボタンであり、使用者により押下されると、トリガー信号（トリガーパルス）ＴＳを発生する。
【００１８】
ＣＰＵ７は、シャッタボタン１３からトリガーパルスＴＳの供給を受け、これらに基づいて、固体撮像素子２における画像電荷生成及び転送の制御を行う。
【００１９】
固体撮像素子２は、レンズ１を通して入射した被写体像を光電変換する。このレンズ１は焦点距離が可変なズームレンズとして機能する。レンズ駆動部１２からの制御信号によって、レンズ１は光軸上で前後へ移動し、焦点距離を連続的に変えることができる。この制御信号はＣＰＵ７から出力される。
【００２０】
固体撮像素子２としては、例えば図２に示されるフレーム転送型ＣＣＤ（ＦＴ−ＣＣＤ）が用いられる。図２に示される固体撮像素子は、撮像領域１６と、蓄積領域１７と、水平転送部２７とを有する。撮像領域１６は複数の垂直ＣＣＤ（垂直転送部）２１を有する。
図２の固体撮像素子２は、光電変換部と垂直転送部とを有するインターライン型ＣＣＤとは異なり、垂直転送部２１内で光電変換を行うもので、別個の光電変換部を持たない。
【００２１】
複数の垂直転送部２１の各々は、撮像面上の第１の方向（垂直方向）に列をなす複数の画素位置に配置された複数の垂直転送素子２３から成る。垂直転送素子２３の各々が各画素を構成する。
垂直転送部２１は、転送のための電極部が導電材料を用いた薄い透明膜で形成されており、垂直転送部２１部内の垂直転送素子２３では被写体（図示しない）からの光を、レンズ１を介して受けて光電変換し、画像電荷を生成する。各画素（各垂直転送素子）で生成される電荷の量は、各画素に入射する光の量（光の強さ）に応じたものである。垂直転送部２１は、電荷の生成とともに、生成された電荷の転送（垂直転送）及び蓄積を行う。垂直転送部２１内における電荷の転送には、後述のように、動き補償（動き補正）のための転送と、固体撮像素子２の外部への出力のための転送とが含まれる。
【００２２】
動き補償のための転送は、垂直転送部２１における電荷生成と並行して、動き検出手段で検出された動きに応じて、動きの影響を打ち消すように、行われる。
【００２３】
蓄積領域１７は、撮像領域１６と水平転送部２７の間に設けられている。蓄積領域１７は、撮像領域１６と同様複数の、それぞれ撮像領域１６の垂直転送部２１と繋がった垂直転送部２２を有する。蓄積領域１７は、遮光されており、蓄積領域１７の垂直転送部２２は、撮像領域１６の垂直転送部２１から、出力のために転送される電荷を受けて保持し、その後、水平転送部２７に電荷の転送を行う。
【００２４】
撮像領域１６から蓄積領域１７への転送は、撮像領域１６における電荷蓄積が終わったときに、例えば垂直ブランキング期間中に高速で行われる。
【００２５】
蓄積領域１７から水平転送部２７への転送は、電荷蓄積が行われたフレーム期間の次のフレーム期間中に行われる。
【００２６】
蓄積領域１７から水平転送部２７への電荷の転送は、１画面分の画像電荷を、１フレーム期間をかけて行うこととすれば良いが、撮像領域１６から蓄積領域１７への電荷の転送は、１画面分の画像電荷を、垂直同期信号（ＶＤ）のブランキング期間中に行う必要があり、即ち短時間で行う必要がある。この短時間での転送を高速転送と言うことがある。
【００２７】
撮像領域１６の垂直転送部２１における電荷の転送は、４相のパルスφＶＩ１、φＶＩ２、φＶＩ３、φＶＩ４から成る垂直転送パルスＶＤＰＩによって行われる。蓄積領域１７の垂直転送部２２における電荷の転送は、４相のパルスφＶＳ１、φＶＳ２、φＶＳ３、φＶＳ４から成る垂直転送パルスＶＤＰＳによって行われる。
【００２８】
水平転送部２７は、蓄積領域１７の垂直転送部２２内を水平転送部２７に向けて転送され、蓄積領域１７の垂直転送部２２から出力された電荷を受けて、第１の方向と直交する第２の方向（水平方向）に転送する。水平転送部２７では１ライン分の電荷が入るたびに２相のパルスφＨ１、φＨ２から成る水平転送パルスＨＤＰによって水平方向に電荷の転送（水平転送）を行なう。
出力増幅器２８は、水平転送部２７を転送され、水平転送部２７から出力された電荷を増幅し、信号電圧に変換して出力する。
【００２９】
上記のように、撮像領域１６においては、動き補償のために垂直転送を行う際、蓄積領域１７に向かう方向即ち水平転送部２７に向かう方向（図２の垂直転送部２１内の矢印ＦＷの方向（順方向））へ転送するだけではなく、水平転送部２７から離れる方向（図２の垂直転送部２１内の矢印ＦＷと反対方向（逆方向））へ転送することも可能である。また、垂直転送パルスＶＤＰＩを印加しない時は、垂直転送部２１は画像保持手段としての働きを有し、生成された電荷を、垂直転送部２１内で順方向にも逆方向にも移動させず、そのままの位置に保持することができる。
【００３０】
図３は、図２における縦方向に並んだ４画素を拡大して示す図である。符号ＰＸは一つの画素を示す。各画素は転送素子２３を備える。本実施の形態では４相の垂直転送パルスＶＤＰＩを用いており、１画素あたり４個の電極２６ａ〜２６ｄが存在する。以下に述べるように、４相の垂直転送パルスＶＤＰＩ（φＶＩ１、φＶＩ２、φＶＩ３、φＶＩ４）の電圧を所定の時系列で変化させることにより、垂直転送部２１内の電荷を所望の画素数分だけ順方向にも、逆方向にも転送することができる。
蓄積領域１７内の垂直転送部２２における転送も上記した順方向の転送と同様に行われる。
【００３１】
固体撮像素子２の撮像領域１６の画素ＰＸは、それぞれ異なる色の色フィルタで覆われ、該色フィルタが所定の繰り返しパターンで周期的に配列されている。この周期的配列は、図４に示すようにベイヤ型であっても良い。色フィルタは、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色フィルタであり、Ｒ、Ｇ、Ｂの色フィルタで覆われた垂直転送素子からは、Ｒ、Ｇ、Ｂの画素信号が得られる。図４で、符号Ｈは、撮像面上の横軸、即ち水平方向軸を示し、水平方向軸に沿う１、２、…ｍは水平方向軸上の座標値を表し、符号Ｖは、撮像面上の縦軸、即ち垂直方向軸を示し、垂直方向軸に沿う１、２、…ｎは垂直方向軸上の座標値を表す。
【００３２】
再び図１を参照し、固体撮像素子２から得られるＲ、Ｇ、Ｂの出力信号（画素信号）は、アナログ信号処理部３において、相関二重サンプリング処理（ＣＤＳ）ならびに自動利得制御増幅処理（ＡＧＣ）が施される。
固体撮像素子２に供給される、垂直転送パルスＶＤＰＩ、ＶＤＰＳ、及び水平転送パルスＨＤＰ、並びに後述のオーバーフロードレインパルスＯＦＤ（これらを総称して「固体撮像素子の駆動用パルス」と呼ぶことがある）、並びにアナログ信号処理部３に供給されるＣＤＳのためのサンプリングパルスＤＳＰは、タイミングジェネレータ８によって供給される。これらのパルスの発生のタイミングは、ＣＰＵ７によって制御される。また、アナログ信号処理部３におけるＡＧＣも、ＣＰＵ７からの制御信号によって行われる。
【００３３】
アナログ信号処理部３の出力信号は、画素信号Ａ／Ｄ変換部４にてデジタル信号に変換された後、信号処理部５にて映像信号処理され、表示手段６において表示可能な映像信号になる。信号処理部５では、ＲＧＢ信号から輝度色差信号（ＹＣｂＣｒ）への変換、ホワイトバランス補正、γ（ガンマ）補正、色補間処理および輪郭強調補正等の画像処理が行われる。ＬＣＤなどで構成された表示手段６は、信号処理部５から出力された映像信号を表示する。静止画を撮影する際、撮影者は表示手段６に映る被写体の画像を見ながら構図を決める。
【００３４】
手ぶれセンサ９は、撮影者が被写体を撮像する際の撮像装置本体、特にその固体撮像素子２の上記第１の方向（垂直方向）の動きを感知する動き検出手段として用いられている。なお、ここで「第１の方向の動きを感知する」とは、第１の方向の動きのみを感知するものであっても良く、他の方向の動きをも感知するが、第１の方向の動きの成分を表す信号を取り出し得るものであっても良い。手ぶれセンサ９は例えば角速度を検知する素子であり、得られた角速度を時間積分することで、振動による変位量および変位方向を得ることができる。この手ぶれセンサ９によって検出した角速度信号は動き信号Ａ／Ｄ変換部１０にてデジタル信号に変換された後、ＣＰＵ７に出力される。なお、手ぶれセンサ９としては、角速度センサに限られず、代わりに角加速度センサ、加速度センサまたは地磁気センサ等を用いることも可能であり、それぞれのセンサ信号に応じた適正な信号処理を行なうことで、角速度センサを用いた場合と同様の効果を得ることができる。
【００３５】
ＣＰＵ７は本撮像システムを総括して制御を行うとともに、各種演算を実施する手段として機能するものであり、信号処理部５からの映像信号データに基づき、自動露光制御（ＡＥ）／自動ホワイトバランス制御（ＡＷＢ）を行うとともに、アナログ信号処理部３に対する増幅利得の設定、タイミングジェネレータ８で生成される固体撮像素子２の駆動用パルスの発生の制御、ならびにレンズ駆動部１２の制御信号の生成を行う。
積算部１１は、信号処理部５から入力される１画面分の映像信号の積算を行う。積算結果は、撮像画像の明るさを表すものであり、ＣＰＵ７はこれに基づいて、オーバーフロードレイン（ＯＦＤ）パルスの発生を制御し、これにより電荷蓄積時間の制御を行う。
【００３６】
ＣＰＵ７はまた、シャッタボタン１３からトリガーパルスＴＳに基づいて、固体撮像素子２における画像電荷生成及び転送の制御を行う。
【００３７】
ＣＰＵ７はさらに、動き信号Ａ／Ｄ変換部１０にてデジタル信号に変換された角速度信号を積分し、被写体の像の撮像面上での移動方向及び移動量（画素数で表された値）を計算し、さらに該被写体の像の撮像面上での移動速度の計算を行う。移動量から移動速度を求めるには、例えば、移動量を所定間隔でサンプリングし、相前後するサンプル値の差分を求めれば良い。
なお、角度が小さい範囲では、固体撮像素子の回転角度変位と被写体の像の撮像面上での移動量とが略比例するので、手ぶれセンサからの得られる角速度を表す信号（或いはそれに比例した大きさ乃至値を有する信号）、例えば動き信号Ａ／Ｄ変換部１０の出力を、被写体像の撮像面上における移動速度を表す信号として用いても良い。上記のように角速度信号から角度を求めた後、微分（差分演算）を行うことにより、角速度を求める代わりに、Ａ／Ｄ変換部１０から出力される角速度信号自体を転送量の制御に用いても良い。
【００３８】
ＣＰＵ７はまた、後に詳しく述べるように、垂直転送部２１、２２（図２参照）内で電荷を移動させるための垂直転送パルスＶＤＰＩ、ＶＩＰＳの波形、ならびにこの垂直転送パルスＶＤＰＩ、ＶＩＰＳの発生タイミングを決定する。この決定された垂直転送パルスＶＤＰＩ、ＶＩＰＳの波形及び発生タイミングに基づいてタイミングジェネレータ８へ制御信号を出力し、この制御信号に基づいて、タイミングジェネレータ８は固体撮像素子２の駆動用パルス信号の発生を行う。このように、ＣＰＵ７が生成する制御信号を受け取ったタイミングジェネレータ８は、垂直転送部２１、２２内で電荷を移動させる垂直転送信号発生手段として機能する。
【００３９】
図５は、本実施の形態において手ぶれ補正を行うための構成要素を機能ブロック図で表したものである。レンズ１を通して入射する光像は電荷生成手段３１にて光電変換され、電荷が生成される。
図２の例では、電荷生成手段３１、画像保持手段３５及び画像シフト手段３６はともに垂直転送部２１で構成される。
制御手段３７は、ＣＰＵ７とタイミングジェネレータ８で構成される。動き検出手段３２は撮像装置の動きを検出する手段であり、図１の手ぶれセンサ９で構成される。
【００４０】
画像保持手段３５は、電荷生成手段３１（垂直転送部２１）内で光電変換により生成された画像電荷を一時保持する。
画像シフト手段３６は画像保持手段３５によって保持された画像電荷を、動き検出手段３２によって検出された動き量に応じてシフトする。画像シフト手段３６が実際に動作するのは、手ぶれ等により撮像装置に動きが生じ、その動きを動き検出手段３２が検出したときのみである。画像シフト手段３６における画像電荷シフト量、転送方向は動き検出手段３２の結果をもとに制御手段３７により制御される。移動量は、例えば画素数で表される。
上記した画像保持手段３５は、シフトされた画像電荷に対して、新たに光電変換によって生成された電荷を加算するとともに、該画像電荷を保持する機能も有する。
【００４１】
図２に示される、固体撮像素子２の垂直転送部２１内の電荷を順方向に転送する具体的な手法を、垂直転送パルスＶＤＰＩの電位変化のタイミングチャートである図６および図７を用いて説明する。図６は、各電極の垂直転送パルスＶＤＰＩの４相のパルスφＶＩｉ（ｉ＝１、２、３、４）のタイミングチャートであり、横軸に時刻を、縦軸に４つの電極２６ａ〜２６ｄに与えられる電位を並べて示している。図７は、図６に示す垂直転送パルスＶＤＰＩを各電極に与えた時の、電荷移動の様子を示す図である。図７において、横軸は垂直転送部２１の転送素子２３の電極２６ａ〜２６ｄの位置を示し、縦軸には各電極の電子のポテンシャルエネルギーφｉ（＝−ｅφＶＩｉ）と電荷ＱＣの分布の経時変化（異なる時刻ｔ＝ａ１乃至ａ９における電荷分布）が示してある。
【００４２】
次に動作を説明する。図６において、時刻ａ１では電極２６ｂの電位φＶＩ２と電極２６ｃの電位φＶＩ３が＋Ｖであり、電極２６ａの電位φＶＩ１と電極２６ｄの電位φＶＩ４を０Ｖであるため、図７に示すように、電極２６ｂと電極２６ｃに電位井戸が形成されて電荷ＱＣが蓄積される。次に時刻ａ２にて電極２６ｄにバイアス電圧＋Ｖを印加すると、電極２６ｂと電極２６ｃにあった電荷ＱＣは、電極２６ｂから電極２６ｄに拡散する。次に時刻ａ３にて電極２６ｂを無バイアスにすると、電荷ＱＣは電極２６ｃから電極２６ｄに収束し、結果として、時刻ａ１からａ３において、電荷ＱＣは順方向（図７において右方向）へ１電極分だけ移動したことになる。
【００４３】
時刻ａ４では電極２６ａにバイアス電圧＋Ｖを印加し、時刻ａ５で電極２６ｃを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ順方向に移動する。時刻ａ６では電極２６ｂにバイアス電圧＋Ｖを印加し、時刻ａ７で電極２６ｄを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ順方向へ移動する。時刻ａ８では電極２６ｃにバイアス電圧＋Ｖを印加し、時刻ａ９で電極２６ａを無バイアスにすることにより時刻ａ１の状態と同じになる。すなわち、時刻ａ１から時刻ａ９において、１画素分電荷ＱＣを順方向へ移動したことになる。
【００４４】
他方、垂直転送部内の電荷ＱＣを逆方向に転送する場合に関して、図８および図９を用いて説明する。電荷ＱＣを順方向に転送する場合の説明に用いた図６が図８に、図７が図９にそれぞれ対応している。また、時刻ａ１からａ９は、ｂ１からｂ９にそれぞれ対応している。
【００４５】
次に動作を説明する。図８において、時刻ｂ１では電極２６ｂと電極２６ｃにバイアス電圧＋Ｖが掛かり、電極２６ａと電極２６ｄは無バイアスで０Ｖであるため、図９に示すように、電極２６ｂと電極２６ｃに電位井戸が形成されて電荷ＱＣが蓄積されている。次に時刻ｂ２にて電極２６ａにバイアス電圧＋Ｖを印加すると、電極２６ｂと電極２６ｃにあった電荷ＱＣは、電極２６ａから電極２６ｃに拡散する。次に時刻ｂ３にて電極２６ｃを無バイアスにすると、電荷ＱＣは電極２６ａから電極２６ｂに収束し、結果として、時刻ｂ１からｂ３において、電荷ＱＣは逆方向（図９において左方向）へ１電極分だけ移動したことになる。
【００４６】
時刻ｂ４では電極２６ｄにバイアス電圧＋Ｖを印加し、時刻ｂ５で電極２６ｂを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ逆方向に移動する。時刻ｂ６では電極２６ｃにバイアス電圧＋Ｖを印加し、時刻ｂ７で電極２６ａを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ逆方向へ移動する。時刻ｂ８では電極２６ｂにバイアス電圧＋Ｖを印加し、時刻ｂ９で電極２６ｄを無バイアスにすることにより時刻ｂ１の状態と同じになる。すなわち、時刻ｂ１から時刻ｂ９において、１画素分電荷を逆方向へ移動したことになる。
【００４７】
本実施の形態においては、上述したように、電荷の拡散ステップ後に収束ステップを行ない、これを繰り返すことで電荷の転送を実現しているが、拡散と収束のステップを同時に行なっても電荷の転送は可能である。例えば、図７の時刻ａ２の拡散と時刻ａ３の収束を同時に行なう、すなわち電極２６ｄへのバイアス電圧印加と電極２６ｂの無バイアス化を同時に行なうことによっても同様の電荷の転送は達成できる。あるいは、図７において時刻ａ３の収束と時刻ａ４の拡散を同時に行なっても、同様に電荷の転送が可能である。
【００４８】
さらに、本実施の形態では４相の垂直転送パルスＶＤＰＩによって電荷を転送しているが、４相に限るものではなく、３相以上であれば、同様の方法により電荷の転送は可能である。同様に水平転送パルスＨＤＰについても２相のものを用いているがこれに限るものではない。
【００４９】
蓄積領域１７内の垂直転送部２２における垂直転送は、上記した撮像領域１６内の垂直転送部２１内における順方向の垂直転送と同様に行われる。
【００５０】
また、本実施の形態では撮像素子としてＣＣＤ撮像素子を用いたが、これに限るものではなく、例えば前述の電荷生成手段３１及び画像保持手段３５、画像シフト手段３６と同等の手段を備えたＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型撮像素子であっても構わない。
【００５１】
次に本発明で補正の対象となる「手ぶれ」の概念について説明する。図１０（ａ）は撮像者が被写体を撮像する際に、上下（ピッチング）方向に手ぶれをしたときの手ぶれ方向と撮像画像との関係を示した図である。ここで被写体は円形の光源ＬＳであり、手ぶれをおこさずに撮像したときの撮像画像を図１０（ｃ）に示す。丸い被写体形状を保持した画像ＬＳｂが撮像される。
【００５２】
撮像者ＨＹは、最初に光軸が地面ＧＬと線ＨＬに一致するように撮像装置ＰＧを構え、シャッタボタン１３を押す。手ぶれはこのときに生じ、手ぶれによって撮像装置ＰＧの光軸ＯＸが上向きになる方向（（＋）方向）に動いた場合、図１０（ｂ）に示すように撮像画像Ｌａには、符号ＴＲａで示すように下方向に尾引きが生じ、一方撮像装置ＰＧの光軸ＯＸが下向きになる方向（（−）方向）に動いた場合、図１０（ｄ）に示すように撮像画像Ｌｃには、符号ＴＲｃで示すように上方向に尾引きが生じる。
【００５３】
本発明は図１０（ｂ）、（ｄ）に再現される被写体像ＬＳａ、ＬＳｃの尾引きＴＲａ、ＴＲｃを低減した高品質な撮像画像を実現することを目的としている。なお、手ぶれによる画質劣化はほとんどの場合、撮像者ＨＹがシャッタボタン１３を押す動作に起因した撮像装置の回転等により生じる。この回転方向はシャッタボタン１３の押し下げ方向とほぼ一致するため、押し下げ方向に対応する一次元的な補正により、実用上十分な補正が可能である。本実施の形態においては、垂直転送部２１において電荷を転送する方向（撮像面上の垂直方向）を、上記した手ぶれが生じ易い方向を対応させる（撮像面が垂直に設けられている場合には、垂直転送部２１において電荷を転送する方向（撮像面上の垂直方向）を、手ぶれが生じ易い方向に略平行とする）ことで良好な手ぶれ動作を達成している。
【００５４】
図１１（ａ）〜（ｇ）は図２の固体撮像素子２を備えた図１の撮像装置の動作を示すタイミングチャートである。
図１１（ａ）は、シャッタ押下検出パルスＴＳであり、シャッタボタン１３の押下が検出された時点Ｔｏｎで発生する。図１１（ｂ）は垂直同期信号ＶＤを示す。
【００５５】
図１１（ｃ）のオーバーフロードレイン（ＯＦＤ）パルスを示すものであり、ＯＦＤパルスは、水平同期信号に同期してタイミングジェネレータ８から固体撮像素子２のオーバーフロードレイン電極（図示しない）に印加されるものであり、ＡＥ制御において電荷蓄積期間を調整するために垂直転送部２１に蓄積された電荷を固体撮像素子２内の基板上に排出することにより電子シャッタ機能を実現するものであり、そのためのパルス列は電子シャッタパルス列ＣＥとも呼ばれる。
【００５６】
図１１（ｄ）は垂直転送部２１において光電変換ならびに電荷蓄積を行う期間ＥＣを示している。この期間ＥＣ（それぞれ符号ＳＳ１、ＳＳ２などで示されている）は、各フレーム期間において、電子シャッタパルス列ＣＥが発生される期間（ＣＥ期間）が終わった時に開始され、次の垂直同期信号ＶＤの立上りまで続く。言い換えると、電荷蓄積期間が与えられた長さとなるように、ＣＥ期間が終了する時点が決められる。
【００５７】
図１１（ｅ）は図２の撮像領域１６における垂直転送パルスＶＤＰＩ（φＶＩ１〜φＶＩ４）を示しており、図１１（ｆ）は図２の蓄積領域１７における垂直転送パルスＶＤＰＳ（φＶＳ１〜φＶＳ４）を示している。図１１（ｇ）は水平転送パルスＨＤＰ（φＨ１、φＨ２）を示している。
【００５８】
図１１（ｅ）及び（ｆ）において、符号１００ａ、１００ｃ、１００ｅ、１００ｇならびに１０１ａ、１０１ｃ、１０１ｅ、１０１ｇは、垂直ブランキング期間において、撮像領域１６から蓄積領域１７まで１画面分の電荷が高速転送される期間を示しており、図１１（ｆ）において、符号１０１ｂ、１０１ｄ、１０１ｆ、１０１ｈは、垂直転送部２２内の電荷が水平転送部２７に向けて１ラインごとに順次転送される期間を示し、図１１（ｇ）において、符号１０２ｂ、１０２ｄ、１０２ｆ、１０２ｈは、垂直転送部２２から水平転送部２７に転送された電荷を水平転送部２７内にて出力増幅器２８に向けて転送される期間を示している。
【００５９】
シャッタボタン１３を押す前は、被写体の明るさに基づいて、露出条件の一つとして定められる電荷蓄積期間ＳＳｉ（ｉ＝１、２、…）を設定して、撮像を行う。例えばあるフレーム期間（第１の垂直ブランキング期間ＶＢ（１）で始まる第１のフレーム期間ＦＰ（１））内の電荷蓄積期間ＳＳ１に蓄積された電荷は、当該第１のフレームＦＰ（１）の次のフレーム（第２のフレーム期間ＦＰ（２））の垂直ブランキング期間（第２の垂直ブランキング期間ＶＢ（２））内において、符号１００ｃ、１０１ｃで示す期間に、垂直転送パルス（φＶＩ１〜φＶＩ４）ならびに垂直転送パルス（φＶＳ１〜φＶＳ４）によって１画面分の電荷が高速に撮像領域１６から蓄積領域１７に移される。
その後、上記第２のフレームＦＰ（２）内の、垂直ブランキング期間ＶＢ（２）が終わった後の期間１０１ｄにおいて垂直転送部２２内で水平転送部２７に向けて１ラインごとに順次転送される。これと並行して、期間１０２ｄにおいて、垂直転送部２２から水平転送部２７に１ラインずつ転送された電荷が、水平転送部２７内を出力増幅器２８に向けて１ラインずつ転送され、出力増幅器２８で増幅されて出力される。
【００６０】
図１１（ａ）に示すように、第２のフレーム期間ＦＰ（２）内のある時点でシャッタボタン１３が押され、トリガーパルスＴＳが発生されると、第２のフレームＦＰ（２）内の電荷蓄積期間ＳＳ２に蓄積された１画面分の電荷は、垂直ブランキング期間ＶＢ（３）中に、符号１００ｅで示すように、垂直転送パルス（φＶＩ１〜φＶＩ４）によって撮像領域１６内を蓄積領域１７に向けて転送され、これと同時に、符号１０１ｅで示すように、垂直転送パルス（φＶＳ１〜φＶＳ４）によって蓄積領域１７内で水平転送部２７方向に向けて転送され、１画面分の電荷が撮像領域１６から蓄積領域１７に移動する。蓄積領域１７に転送された１画面分の電荷は、次のフレーム期間（第３のフレーム期間）ＦＰ（３）において、１ラインずつ水平転送部２７に転送され（１０１ｆ）、水平転送部２７では１ラインずつの電荷を出力増幅器２８に向けて転送する（１０２ｆ）。
【００６１】
第３のフレーム期間ＦＰ（３）にはまた、ブランキング期間ＶＢ（３）が終わった後、撮像領域１６では新たに電荷の蓄積が開始される（電荷蓄積期間ＳＳ３）。
【００６２】
第３のフレーム期間ＦＰ（３）は、シャッタボタン１３の押下が検知された時点Ｔｏｎの次のフレーム期間であり、この期間において、静止画像として記録する画像用の映像信号を得るための電荷蓄積が行われ、本発明の手ぶれ補正が実施される。
第３のフレームＦＰ（３）においては、電荷蓄積ＳＳ３と同時に符号１００ｆで示すように、動き検出手段３２で検出した動き量に応じて動的に垂直転送パルス（φＶＩ１〜φＶＩ４）をタイミングジェネレータ８から固体撮像素子２へ印加することにより、光電変換後に垂直転送部２１内で蓄積された電荷を順方向または逆方向へ、動きの量に応じた（動きの量に対応する撮像面上の被写体像の移動量（像ぶれ）に等しい）画素数分だけ転送する。手ぶれが発生しない場合には本期間（ＳＳ３）に垂直転送パルス（φＶＩ１〜φＶＩ４）の発生が行われない。
【００６３】
図１２（ａ）〜（ｅ）は、静止画像として記録する画像用の映像信号を得るための電荷蓄積を行うフレーム期間ＦＰ（３）の部分を拡大した図である。電荷を蓄積する期間ＳＳ３は、図１２（ｂ）に示されるＣＥ期間が終了した時点から開始される。図１２（ｃ）は手ぶれセンサ９から手ぶれがある（手ぶれのため撮像装置が動いている）ことを示す信号ＳＤが出力されている期間（センサ出力期間）を示しており、説明を容易にするために１フレーム期間内に手ぶれセンサ９の出力ＳＤがある（角速度を表す信号がゼロ以外の値を示す）期間（ＦＰ（３）ｂ、ＦＰ（３）ｄ）と、手ぶれセンサ９の出力ＳＤがない期間（ＦＰ（３）ａ、ＦＰ（３）ｃ、ＦＰ（３）ｅ）が混在している場合について述べる。
【００６４】
手ぶれセンサ９の出力ＳＤがある、すなわち撮像装置に動きが生じている期間を図１２（ｃ）に符号１１０ｂ、１１０ｄで示す期間とすると、動き検出手段３２において動き量を検出するのは該符号１１０ｂ、１１０ｄの期間のみであり、検出した動き量に比例して動的に垂直転送パルス（φＶＩ１〜φＶＩ４）を発生させる期間は、図１２（ｅ）に符号１１１ｂ、１１１ｄで示すように、図１２（ｄ）に符号１１０ｂ、１１０ｄで表す期間と同一の期間（期間１１０ｂに対して期間１１１ｂ、期間１１０ｄに対して期間１１１ｄ）となる。手ぶれセンサ９の出力ＳＤがない期間（ＦＰ（３）ａ、ＦＰ（３）ｃ、ＦＰ（３）ｅ）については垂直転送パルス（φＶＩ１〜φＶＩ４）も発生しない。
図１２（ｄ）は、撮像装置に動きが生じているか否かにかかわらず、電荷の生成が行われることを示す（符号ＳＳ３ａ、ＳＳ３ｃ、ＳＳ３ｅは動きが生じていない期間における電荷生成を表し、符号ＳＳ３ｂ、ＳＳ３ｄは動きが生じている期間における電荷生成を表す）。
【００６５】
図１３（ａ）〜（ｆ）は、撮像装置が図１０（ａ）〜（ｄ）に示すように光源を撮像する際に手ぶれを生じた場合における、手ぶれ変位角θと、撮像面上における被写体像の位置、及び手ぶれを補正するための垂直転送部２１における電荷の転送量を示した図である。
手ぶれ変位角θ（ｄｅｇ）は、手ぶれセンサ９が角速度を出力するタイプである場合は１回積分を行い、手ぶれセンサ９が角加速度を出力するタイプである場合は２回積分を実施することにより得られる。
いま、説明を容易にするため撮像装置の変位角θは、図示のように正弦波形状に変化するものとし、電荷蓄積の開始時（ＣＥ期間の終了時）に変位角θが０であると仮定する。
【００６６】
図１３（ａ）、（ｂ）は、図１０（ｃ）、（ｄ）と同様に被写体として円形の光源ＬＳを撮像したときの、固体撮像素子２の撮像面上の被写体像ＬＳｂ、ＬＳａ’を示す。点ｄは被写体像ＬＳｂ、ＬＳａ’の中心点を示している。図１３（ａ）は、図１０（ｃ）と同様に、被写体像ＬＳｂが画面中央に位置しており、手ぶれが発生していない場合を示す。
図１３（ｂ）は、図１０（ｃ）と同様に、被写体画像において画像が下方に移動した場合であり、手ぶれが発生した状態を示す。（図１０（ｂ）〜（ｄ）に示す撮像画像における被写体像と図１３（ａ）、（ｂ）に示す固体撮像素子２の撮像面における被写体像は上下左右が反対の関係にある。）なお、図１０（ａ）では、尾引きを示すため、移動前、移動中、移動後のすべての成分からなる被写体像ＬＳａを示しているのに対し、図１３（ｂ）は、移動後の成分のみからなる被写体像ＬＳａ’を示す。
【００６７】
図１３（ａ）、（ｂ）において、撮像面中の最上位ラインをＶＨ、最下位ラインをＶＬ、最上位ラインＶＨと最下位ラインＶＬの中間のラインをＶＭとして、最下位ラインＶＬから最上位ラインＶＨへ向かう方向が図２のＦＷの方向と対応する。
図１３（ｅ）に示される手ぶれ変位角θは０を中心に（＋）方向（図で上方）が図１０（ａ）における「＋方向の手ぶれ」に対応し、（−）方向（図で下方）が図１０（ａ）における「−方向の手ぶれ」に対応し、時刻ｔ１における最大手ぶれ変位角α（＝θｍａｘ）における撮像装置のぶれ幅（画素数で表した値）をＢＬＭＡＸとする。このとき固体撮像素子２の撮像面上における被写体像は図１３（ｂ）のように元の位置（図１３（ａ）の被写体像ＬＳｂの位置）よりもＢＬＭＡＸだけ上方向に移動したＬＳａ’の位置にある。
図１３（ｅ）に示す手ぶれ変位角θが図示のように変化すると、図１３（ｆ）に示すように被写体像の中心点ｄの位置（画像位置）ＢＬは図示のように変位角θと同期して、同相で変化する。
【００６８】
例えば、図１３（ｅ）に示すように、時刻ｔ０からｔ１までの間に手ぶれ変位角θが０から（＋）方向にα（ｄｅｇ）まで変化すると、図１３（ｆ）に示すように被写体像の中心点ｄの位置はＶＨの方向（ＦＷ方向に対応する）に変化する。被写体が無限遠にあるとすると、固体撮像素子２の撮像面上における被写体像の変位量ＢＬは、レンズの焦点距離をｆとして、
ＢＬ＝ｆ×ｔａｎθ
と表される。θ＝０のときはＢＬ＝０、θ＝αのときはＢＬ＝ＢＬＭＡＸである。手ぶれ補正を実施しない場合はｔ０からｔ１まで推移する間にＢＬＭＡＸ分の像ぶれが発生することになるが、本発明の手ぶれ補正はｔ１において像ぶれが軽減された画像を得ることを目的とする。そのため、撮像装置の動きを手ぶれセンサ９によって検出し、検出した動きに対応する像ぶれ量（撮像面上での被写体像の変位）に応じて、垂直転送部内で電荷を順方向、又は逆方向に転送しながら電荷蓄積を行うことにより、像ぶれを減少させる。
【００６９】
このときの電荷転送量（生成された各電荷成分についての転送量の累計）は、電荷蓄積の開始時の、撮像面上の被写体像の位置からの変位と同じとする。これを実現するには、各瞬時において被写体像の位置の変化に応じた量だけ転送を行えば良い。例えば、被写体像の撮像面上の位置を示す値を繰り返しサンプルし、相前後するサンプル値の差分に応じた距離（画素数）だけ転送する。
【００７０】
以下、この点につき図１４を参照して説明する。
図１４では、被写体像の位置のサンプル値が時点Ｘ０、Ｘ１、Ｘ２、…で得られるものとし、それぞれの時点Ｘ０、Ｘ１、Ｘ２、…におけるサンプル値がＬＳ０、ＬＳ１、ＬＳ２、…であるとしている。時点Ｘ０は、電荷蓄積開始時点である。
時点Ｘｉ（ｉ＝１、２、３、…）においてサンプル値ＬＳｉが得られると、ＬＳｉ−ＬＳ（ｉ−１）に等しい距離だけ電荷転送を行う。電荷転送の方向は、被写体像の位置の変化（移動）を打ち消す方向である。例えば、時点Ｘ１において、サンプル値ＬＳ１が得られると、ＬＳ１−ＬＳ０に等しい距離だけ、被写体像の移動を打ち消す方向に電荷転送を行う。同様に、時点Ｘ２において、サンプル値ＬＳ２が得られると、ＬＳ２−ＬＳ１に等しい距離だけ、被写体像の移動を打ち消す方向に電荷転送を行う。以下同様にして電荷転送を行うことで、ぶれ補正を行うことができる。
【００７１】
ＬＳｉ−ＬＳ（ｉ−１）に等しい距離だけ電荷転送を行うためには、各時点Ｘｉにおいて、該距離に対応した回数（サイクル数）だけ垂直転送パルスを発生させれば良い。また、垂直転送パルスは連続的に発生させ、その実効周波数をＬＳｉ−ＬＳ（ｉ−１）に応じた値に変化させることとしても良い。なお、垂直転送パルスの実効周波数を変化させる方法として、パルス発生源（図示しない）から固定周波数の垂直転送パルスを発生させ、ＬＳｉ−ＬＳ（ｉ−１）に応じた間引き率で間引くこととしても良い。
【００７２】
被写体像の位置のサンプルを行う周期を短くすればするほど、電荷転送距離の変化を連続的に行うことできる。被写体像の撮像面上での位置の、サンプリングの周期を十分短くすれば、被写体像の撮像面上における移動の速度に応じて電荷転送速度（時間当たりの転送距離）を変化させていることになる。
従って、本発明では、被写体像の撮像面上での移動の速度に一致するように電荷転送速度を制御するものであると言うことができる。
【００７３】
なお、以上の説明では、被写体像の位置を実測してそのサンプル値の差分を求めることとしているが、被写体像の位置を予測して予測値のサンプル値（異なる時点における値）に基づいて電荷転送距離乃至速度を制御するようにしても良い。
【００７４】
以上電荷蓄積の開始時における被写体の撮像面上の画像の変位がゼロであるものとして説明したが、上記のように被写体の画像の変位（位置の変化）に応じた距離だけ電荷転送させる処理を行うことで、ぶれ補正を行うことができる。
【００７５】
なお、θが小さい範囲では、ＢＬが略θに比例するので、電荷の転送速度をθの変化速度に比例させることとしても良い。
【００７６】
図１５は、本発明における手ぶれ補正のためのＣＰＵ７の動作を示すフローチャートである。まず、シャッタボタン１３が押されたかどうかを監視し（Ｓｔ０）、シャッタボタン１３が押されるとフレーム期間ＶＤの立上りを監視し（Ｓｔ１）、フレーム期間ＶＤの立上りを検出すると次に電荷蓄積期間の開始を監視する（Ｓｔ２）。電荷蓄積期間の開始を検出すると、次に撮像装置の動きの検出結果を監視する（Ｓｔ３）。ここで言う動きの検出は、前回の動きの検出のステップＳｔ３から、今回の動きの検出のステップＳｔ３までの間の手ぶれ変位角θの変化の有無の判定を意味する。
動きを検出すると被写体の画像の撮像面上での変位（像ぶれ）及びその方向を算出する（Ｓｔ４）。本実施の形態では、手ぶれセンサ９として角速度センサを用いており、撮像者がシャッタボタン１３を押した際の撮像装置に発生する振動の角速度を検出するとともに、ＣＰＵ７によってズーム倍率を決めるレンズ１の位置と角速度の積分値から、角度変位を求め、角度変位から像ぶれ量（撮像面上での被写体の画像の変位）ＢＬを得る。像ぶれ量としては、例えば画素数で表した値を用いる。
【００７７】
次にステップＳｔ４で算出した像ぶれ量ＢＬとその方向に応じて、垂直転送部２１内で電荷を転送し、これにより、画像電荷を転送した後（Ｓｔ５）、垂直転送部２１内で電荷（画像電荷）を保持する（Ｓｔ６）。次に電荷蓄積時間が終了したかどうかを監視し（Ｓｔ７）、電荷蓄積期間が終了していない場合はステップＳｔ３に戻る。
ステップＳｔ３の判定結果が「Ｎｏ」の場合、すなわち、動きが発生していない場合は、垂直転送部２１内で電荷を転送することなくステップＳｔ６に進み、生成された電荷を保持する。ステップＳｔ７にて電荷蓄積期間が終了すれば、垂直転送部内の全画素の電荷を水平転送部へ向けて転送して（Ｓｔ８）、終了する。
【００７８】
以上、静止画における手ぶれを補正について説明してきたが、図１１（ａ）〜（ｇ）のタイミングチャートを適用することによって、動画の手ぶれ補正も可能である。この場合は、シャッタボタン１３が押下されたか否か（検出パルスＴＳ（図１１（ａ））が発生するか否か）にかかわらず、フレーム期間ごとに本手ぶれ補正を実施する（即ち、図１１（ａ）〜（ｇ）のフレーム期間ＦＰ（３）の動作を繰り返す）ことにより動画手ぶれ補正が可能となる。また、この場合には、図１５のステップＳｔ３乃至Ｓｔ８の動作が繰り返される。
【００７９】
本実施の形態１では電子シャッタパルスによる電荷蓄積期間の調整を行っているが、メカニカルシャッタ（機構式のシャッタ）を設け、シャッタが開いている間だけ電荷蓄積を行うようにすることもできる。
【００８０】
なお、固体撮像素子２の撮像領域１６の垂直転送素子で構成される画素ＰＸが、それぞれ異なる色の色フィルタで覆われ、該色フィルタが所定の繰り返しパターンで周期的に配列されている場合、垂直転送の量（画素数）は、色フィルタの繰り返しパターンの周期に対応する画素数の整数倍とするのが望ましい。この点につき色フィルタの周期的配列がベイヤ型である場合について図４を参照して説明する。
ベイヤ型配列の場合には、図４に示すように、緑Ｇが市松状に配置され、その他の部分に赤Ｒ及び青Ｂが線順次に配置されている。例えば図３の３列目（Ｈ＝３）に注目すると、その画素の並びは上から下に向かってＲ、Ｇ、Ｒ、Ｇ、・・・、Ｇのようになっており、Ｒ画素、Ｇ画素ともに１画素おきに並んでいる。
【００８１】
そのため、垂直転送部２１内で電荷を移動する際の移動量が順方向または逆方向に奇数画素分である場合、例えば移動させたＲ画素にＧ画素を加算することになったり、移動させたＧ画素にＲ画素を加算することになり、適切ではない。同じ色の画素の信号電荷同士を加算するためには、電荷の移動量を偶数画素分とする必要がある。例えば、動き検出手段により算出した手ぶれ量が５画素である場合、電荷移動量は４画素または６画素のどちらかとすることが必要である。この具体的な手法としては、電荷移動量として、（ＢＬ＋１）／２を超えない最大の自然数に２を乗じたものとするのが一法である。例えば、ＢＬ＝５の時は電荷移動量は６となる。また、ＢＬ＝４．９の時は電荷移動量は４となる。
【００８２】
上記した実施の形態では、レンズ１が光軸方向に駆動可能なズーム機構を用いているが、単焦点レンズでも同様の効果を得ることが出来る。また、垂直転送パルスＶＤＰＩ、ＶＤＰＳについては４相の場合を説明したが、３相でも同様の動作が可能であり、５相、６相等でももちろん同様の動作が可能である。
【００８３】
以上説明したように第１の実施の形態によれば、アクチュエータ等の複雑な機構部品を必要とせず、固体撮像素子内部の電荷移動のみで手ぶれを低減、補正する撮像装置を提供できる。また、フレームメモリ等も不要であり、携帯機器用のカメラのように構成上の制約がある場合にも高精度の手ぶれ補正が可能である。
【００８４】
実施の形態２．
実施の形態１では、固体撮像素子２が図１１（ａ）〜（ｇ）に示すように動作するが、代わりに、図１６（ａ）〜（ｇ）に示すように動作させても良い。図１６（ａ）は、図１１（ａ）と同様、シャッタ押下検出パルスＴＳであり、シャッタボタン１３の押下が検出された時点Ｔｏｎで発生する。図１６（ｂ）は、図１１（ｂ）と同様、垂直同期信号ＶＤを示す。
【００８５】
図１６（ｃ）は、図１１（ｃ）と同様、ＯＦＤパルスを示すものである。但し、図１１（ｃ）の電子シャッタパルス列ＣＥのほかに、垂直同期信号ＶＤの立上りと同時に一つのＯＦＤパルス（符号ＯＦＤ１で示される）が発生される。この垂直同期信号ＶＤの立上りに同期したＯＦＤパルスＯＦＤ１は、期間ＳＳ２に蓄積された電荷を垂直同期信号ＶＤの立上り時に排出するものである。
【００８６】
図１６（ｄ）は、図１１（ｄ）と同様、垂直転送部２１において光電変換ならびに電荷蓄積を行う期間ＥＣを示している。
【００８７】
図１６（ｅ）は、図１１（ｅ）と同様、図２の撮像領域１６における垂直転送パルスＶＤＰＩ（φＶＩ１〜φＶＩ４）を示しており、図１６（ｆ）は、図１１（ｆ）と同様、図２の蓄積領域１７における垂直転送パルスＶＤＰＳ（φＶＳ１〜φＶＳ４）を示している。図１６（ｇ）は、図１１（ｇ）と同様、水平転送パルスＨＤＰ（φＨ１、φＨ２）を示している。
【００８８】
図１６（ｅ）及び（ｆ）において、符号１００ａ、１００ｃ、１００ｇならびに１０１ａ、１０１ｃ、１０１ｇは垂直ブランキング期間において、撮像領域１６から蓄積領域１７まで１画面分の電荷を高速転送する期間を示しており、図１６（ｆ）において、符号１０１ｂ、１０１ｄ、１０１ｈは垂直転送部２２内の電荷を水平転送部２７に向けて１ラインごとに順次転送する期間を示し、図１６（ｇ）において、符号１０２ｂ、１０２ｄ、１０２ｈは垂直転送部２２から水平転送部２７に転送された電荷を水平転送部２７内にて出力増幅器２８に向けて転送する期間を示している。
【００８９】
シャッタボタン１３を押す前は、被写体の明るさに基づいて、露出条件の一つとして定められる電荷蓄積期間ＳＳｉ（ｉ＝１、２、…）を設定して、撮像を行う。例えばあるフレーム期間（第１の垂直ブランキング期間ＶＢ（１）で始まる第１のフレーム期間ＦＰ（１））内の電荷蓄積期間ＳＳ１に蓄積された電荷は、当該第１のフレームＦＰ（１）の次のフレーム（第２のフレーム期間ＦＰ（２））の垂直ブランキング期間（第２の垂直ブランキング期間ＶＢ（２））内において、符号１００ｃ、１０１ｃで示す期間に、垂直転送パルス（φＶＩ１〜φＶＩ４）ならびに垂直転送パルス（φＶＳ１〜φＶＳ４）によって１画面分の電荷が高速に撮像領域１６から蓄積領域１７に移される。
その後、上記第２のフレームＦＰ（２）内の、垂直ブランキング期間ＶＢ（２）が終わった後の期間１０１ｄにて垂直転送部２２内で水平転送部２７に向けて１ラインごとに順次転送される。これと並行して、期間１０２ｄにおいて、垂直転送部２２から水平転送部２７に１ラインずつ転送された電荷が、水平転送部２７内を出力増幅器２８に向けて１ラインずつ転送され、出力増幅器２８で増幅されて出力される。
【００９０】
図１１（ａ）〜（ｇ）に示される例では、電荷蓄積期間ＳＳ２にて撮像領域に蓄積した１画面分の全電荷を、垂直ブランキング期間ＶＢ（３）内で蓄積領域まで転送（１００ｅ、１０１ｅ）した後、第３のフレームＦＰ（３）において水平転送部２７に転送し（１０１ｆ）、水平転送部２７にて出力増幅器２８に向けて電荷を転送する（１０２ｆ）のに対して、図１６（ａ）〜（ｇ）に示される例では、第２のフレーム期間ＦＰ（２）内の電荷蓄積期間ＳＳ２内のある時点Ｔｏｎにシャッタボタン１３が押され、シャッタ押下検出パルスＴＳが発生されると、第２のフレームＦＰ（２）内の電荷蓄積期間ＳＳ２に蓄積された電荷は、次の垂直ブランキング期間ＶＢ（３）の最初（垂直同期信号ＶＤの立上りと略同時）にＯＦＤパルスＯＦＤ１を固体撮像素子２へ印加することにより垂直転送部２１で蓄積されることなく基板上に排出される。そのため、垂直ブランキング期間ＶＢ（３）ならびに、第３のフレームＦＰ（３）における電荷の転送（図１１（ｅ）の１００ｅ、図１１（ｆ）の１０１ｅ、１０１ｆ、図１１（ｇ）の１０２ｆ）は必要なく、図１６（ｄ）の垂直転送パルスφＶＩ、図１６（ｆ）の垂直転送パルスφＶＳ、図１６（ｇ）の水平転送パルスφＨ１、φＨ２が発生されない。
上記以外の点では、図１６（ａ）〜（ｇ）に示す例は、図１１（ａ）〜（ｇ）に示す例と同じである。
【００９１】
なお、垂直ブランキング期間内において、図示のように、ＡＥ制御により電子シャッタパルス列ＣＥが発生される場合は、電子シャッタパルス列ＣＥの発生の時点で、蓄積された電荷が基板上に排出されるため、ＶＤ信号の立上りと同時に発生されるＯＦＤパルスＯＦＤ１を省略しても良い。
【００９２】
実施の形態３．
図１７は、実施の形態３の撮像装置の全体的構成を示すブロック図である。図１７に示される撮像装置は、概して図１の撮像装置と同じであるが、メカニカルシャッタ１４が設けられており、ＣＰＵ７により、メカニカルシャッタ１４の開閉が制御される点で異なる。
【００９３】
固体撮像素子２としては、図２に示すものの代わりに、図１８に示すフルフレームＣＣＤ（ＦＦ−ＣＣＤ）が用いられている。
図１８に示す固体撮像素子２は撮像領域１６と、水平転送部２７と、出力増幅器２８とを有し、図２に示すフレーム転送ＣＣＤと比べ、蓄積領域１７が設けられていない点で異なる。
【００９４】
撮像領域１６は、複数の垂直転送部２１を有する。複数の垂直転送部２１の各々は、撮像面上の第１の方向（垂直方向）に列をなす複数の画素位置に配置された複数の垂直転送素子２３から成る。垂直転送素子２３の各々が各画素を構成する。
垂直転送部２１は、転送のための電極部が導電材料を用いた薄い透明膜で形成されており、垂直転送部２１部内の垂直転送素子２３では被写体（図示しない）からの光を、レンズ１を介して受けて光電変換し、画像電荷を生成する。各画素（各垂直転送素子）で生成される電荷の量は、各画素に入射する光の量（光の強さ）に応じたものである。垂直転送部２１は、電荷の生成とともに、生成された電荷の転送（垂直転送）及び蓄積を行う。垂直転送部２１内における電荷の転送には、実施の形態１で説明したのと同様、動き補償のための転送と、固体撮像素子２の外部への出力のための転送とが含まれる。
【００９５】
動き補償のための転送は、垂直転送部２１における電荷生成と並行して、動き検出手段で検出された動きに応じて、動きの影響を打ち消すように、行われる。
固体撮像素子２の外部への出力のための転送は、撮像領域１６で電荷蓄積が終わった後、例えば電荷蓄積が行われたフレーム期間の次のフレーム期間に、撮像領域１６から水平転送部１７に直接（図２に示す固体撮像素子２におけるように蓄積領域１７を介するのではなく）行われる。
【００９６】
垂直転送部２１における電荷の転送は、４相のパルスφＶＩ１、φＶＩ２、φＶＩ３、φＶＩ４から成る垂直転送パルスＶＤＰＩによって行われる。
水平転送部２７は、撮像領域１６の垂直転送部２１内を水平転送部２７に向けて転送し、撮像領域１６の垂直転送部２１から出力された電荷を受けて、第１の方向と直交する第２の方向（水平方向）に転送する。水平転送部２７では１ライン分の電荷が入るたびに２相のパルスφＨ１、φＨ２から成る水平転送パルスＨＤＰによって水平方向に電荷の転送（水平転送）を行なう。
出力増幅器２８は、水平転送部２７を転送され、水平転送部２７から出力された電荷を増幅し、信号電圧に変換して出力する。
【００９７】
図２の例で述べたのと同様に、撮像領域１６においては、動き補償のために垂直転送を行う際、水平転送部２７に向かう方向（図１８の垂直転送部２１内の矢印ＦＷの方向（順方向））へ転送するだけではなく、水平転送部２７から離れる方向（図１８の垂直転送部２１内の矢印ＦＷと反対方向（逆方向））へ転送することも可能である。また、垂直転送パルスＶＤＰＩを印加しない時は、垂直転送部２１は画像保持手段としての働きを有し、生成された電荷を、垂直転送部２１内で順方向にも逆方向にも移動させず、そのままの位置に保持することができる。
【００９８】
図１９（ａ）〜（ｇ）は図１８のＦＦ−ＣＣＤを備えた図１７の撮像装置の動作を示すタイミングチャートである。図１９（ａ）〜（ｆ）は、図１１（ａ）〜（ｅ）、（ｇ）と同じ信号を示す。図１９（ｇ）は、メカニカルシャッタ１４の開閉動作を示す。
【００９９】
図１９（ｇ）に示すように、通常は（例えばフレーム期間ＦＰ（１）、ＦＰ（２）においては）、メカニカルシャッタ１４は閉じている。
【０１００】
図１９（ａ）に示すように、第２のフレーム期間ＦＰ（２）内のある時点Ｔｏｎにメカニカルシャッタボタン１３が押された（パルスＴＳが発生される）とすると、その次のフレーム期間である第３のフレーム期間ＦＰ（３）においてはメカニカルシャッタ１４が開となり、該第３のフレーム期間ＦＰ（３）において、ＣＥ期間（図１９（ｃ））が終了すると、電荷蓄積（ＳＳ３）が開始され、電荷蓄積の間、動き補償のための垂直転送（１００ｆ）が行われる。
【０１０１】
次のフレーム期間である第４のフレーム期間ＦＰ（４）においては、図１９（ｇ）に示されるように、再びメカニカルシャッタ１４が閉となり、撮像領域１６内の電荷が水平転送部２７に転送され（１００ｈ）、これと並行して水平転送（１０２ｈ）が行われて、出力増幅器２８を介して画像電荷が出力される。
【０１０２】
上記以外の点では、実施の形態３の撮像装置は、実施の形態１の撮像装置と同じであり、同様の効果が得られる。
実施の形態３に対して、実施の形態１について述べたのと同様の変形を加えることができる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の実施の形態１の撮像装置の構成を示すブロック図である。
【図２】本発明で用いられる固体撮像素子の構成を示す図である。
【図３】図２における縦方向に並んだ４画素を拡大して示す図である。
【図４】ベイヤ型色フィルタ配列を示す図である。
【図５】実施の形態１において手ぶれ補正を行うための構成要素を示す機能ブロック図である。
【図６】垂直転送部内で順方向に電荷を転送する場合に印加される垂直転送パルスＶＤＰＩ、ＶＤＰＳを示すタイミングチャートである。
【図７】垂直転送部内で順方向に電荷を転送する場合の固体撮像素子の転送素子の電極の電位分布を示す図である。
【図８】垂直転送部内で逆方向に電荷を転送する場合に印加される垂直転送パルスＶＤＰＩ、ＶＤＰＳを示すタイミングチャートである。
【図９】垂直転送部内で逆方向に電荷を転送する場合の固体撮像素子の転送素子の電極の電位分布を示す図である。
【図１０】（ａ）〜（ｄ）  は、撮像装置の手ぶれの方向及び角度とぶれを含む撮像画像の例を示す図である。
【図１１】（ａ）〜（ｇ）は実施の形態１における撮像装置の動作を示すタイミングチャートである。
【図１２】（ａ）〜（ｅ）は実施の形態１における撮像装置の動作を示すタイミングチャートである。
【図１３】（ａ）〜（ｆ）は、実施の形態１における手ぶれ変位角と、撮像面上における被写体像の位置の変化を示す図である。
【図１４】実施の形態１における像ぶれと、垂直転送部２１における電荷の転送方向及び転送量との関係を示す図である。
【図１５】本発明の実施の形態１における動作を示すフローチャートである。
【図１６】（ａ）〜（ｇ）は本発明の実施の形態２における撮像装置の動作を示すタイミングチャートである。
【図１７】本発明の実施の形態３の撮像装置の構成を示すブロック図である。
【図１８】実施の形態３で用いられる固体撮像素子の構成を示す図である。
【図１９】（ａ）〜（ｇ）は実施の形態３における撮像装置の動作を示すタイミングチャートである。
【符号の説明】
【０１０４】
１  レンズ、  ２  固体撮像素子、  ３  アナログ信号処理部、  ４  画素信号Ａ／Ｄ変換部、  ５  信号処理部、  ６  表示手段、  ７  ＣＰＵ、  ８  タイミングジェネレータ、  ９  手ぶれセンサ、  １０  動き信号Ａ／Ｄ変換部、  １１  積算部、  １２  レンズ駆動部、  １３  シャッタボタン、  １４  メカニカルシャッタ、  １６  撮像領域、  １７  蓄積領域、  ２１  垂直転送部、  ２２  垂直転送部、  ２３  垂直転送素子、  ２７  水平転送部、  ２８  出力増幅器、  ３１  電荷生成手段、  ３２  動き検出手段、  ３６  画像シフト手段、  ３５  画像保持手段、  ３４  読み出し手段、  ３７  制御手段、  ＰＸ  画素。
【図１】
2007129502.tif 000003
【図２】
2007129502.tif 000004
【図３】
2007129502.tif 000005
【図４】
2007129502.tif 000006
【図５】
2007129502.tif 000007
【図６】
2007129502.tif 000008
【図７】
2007129502.tif 000009
【図８】
2007129502.tif 000010
【図９】
2007129502.tif 000011
【図１０】
2007129502.tif 000012
【図１１】
2007129502.tif 000013
【図１２】
2007129502.tif 000014
【図１３】
2007129502.tif 000015
【図１４】
2007129502.tif 000016
【図１５】
2007129502.tif 000017
【図１６】
2007129502.tif 000018
【図１７】
2007129502.tif 000019
【図１８】
2007129502.tif 000020
【図１９】
2007129502.tif 000021