(57)【要約】  【課題】  機械的な駆動を用いず、露光時間中の動きを電気的に補正することにより、装置を小型化、省電力化でき、高い応答速度で画像のぶれ補正が可能な撮像装置を提供すること。  【解決手段】  被写体２６を撮像する固体撮像素子２２と、固体撮像素子２２の撮像面の直交する２軸の動きを検出する動き検出素子２３、２４と、動き検出素子２３、２４で求めた動き量を用いて固体撮像素子２２からの動きによる画像劣化を補正する画像補正回路２８とを備える。画像補正回路２８では、固体撮像素子２２の露光時間中のぶれのある画像出力のフーリエ変換した結果を、動き量検出回路２５の出力をフーリエ変換して結果で除算し、その結果を逆フーリエ変換する。【選択図】  図１
2005354157.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する固体撮像手段と、前記固体撮像手段から１枚の画像を得るための露光時間中における前記固体撮像手段の撮像面の直交する少なくとも２軸の動きを検出する動き検出手段と、前記動き検出手段の出力から前記固体撮像手段における被写体の結像の動き量を求める動き量検出手段と、前記動き量検出手段で求めた動き量を用いて前記固体撮像手段から得られた１枚の画像の露光時間中の撮像装置の動きにより発生する画像の劣化を補正する画像補正手段とを備えた撮像装置。
【請求項２】
前記画像補正手段は、前記固体撮像手段からの露光時間中のぶれのある画像出力をフーリエ変換する第１のフーリエ変換手段と、前記動き量検出手段の出力をフーリエ変換する第２のフーリエ変換手段と、前記第１のフーリエ変換手段の結果を前記第２のフーリエ変換手段の結果で除算する除算手段と、前記除算手段の結果を逆フーリエ変換する逆フーリエ変換手段とを備えたことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記画像補正手段は、前記動き量検出手段で求められた動き量から逆畳み込み行列を生成する逆畳み込み行列生成手段と、前記固体撮像手段からの露光時間中のぶれのある画像出力と前記逆畳み込み行列との畳み込みを行う畳み込み手段とを備えたことを特徴とする請求項１記載の撮像装置。
【請求項４】
前記動き量検出手段からの出力があらかじめ設定した閾値を超えたかどうかを示す信号を出力する制御手段を備え、前記画像補正手段が、前記制御手段からの信号に基づいて画像のぶれの補正を行うかどうかを決定することを特徴とする請求項１ないし３のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置が動くことにより発生する画像ぶれを補正する機能を備えた撮像装置に関する。
【背景技術】
【０００２】
従来、撮像装置が動くことにより、画像に発生したぶれを補正する撮像装置が知られている（例えば、特許文献１ないし特許文献３参照）。また、ぶれの発生を防止する防振光学系の技術も知られている（例えば、特許文献４参照）。
【０００３】
特許文献１に記載の技術は、動き量検出回路により動き量を検出し、この動き量をもとに動き量による結像の移動を補正するように固体撮像素子の読取位置を適宜変更することにより動きを補正するものである。また、特許文献２に記載の技術は、揺れ検出手段の出力に基づいて撮影レンズの像揺れを光学的に補正する補正手段を駆動することにより像揺れを補正するものである。また、特許文献３に記載の技術は、動き量検出回路により動き量を検出し、固体撮像素子自体を駆動する２次元駆動装置を用いて像揺れを補正するものである。したがって、これらの技術は光学的に動きを補正するので、露光時間中においても動きの補正を行うことができる。また、特許文献４に記載の防振光学系を組み込んだ撮像装置は、動き量検出回路により動き量を検出し、それを補正するように頂角可変プリズムを偏芯駆動することにより、画像のぶれを補正することができるものである。
【特許文献１】特開平１−１３０６７３号公報
【特許文献２】特開昭６２−４７０１３号公報
【特許文献３】特開平４−４６３８号公報
【特許文献４】特開昭６１−２２３８１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の露光時間中においても動き補正を行える撮像装置では、機械的な駆動回路を必要とするため装置全体が大きくなり、また消費電流も大きくなるなどの問題を有していた。さらには、機械的な駆動によるため応答周波数の高域側には電気的補正と比べ限界があり、実質的に２０Ｈｚ程度の動きしか補正できないという問題を有していた。
【０００５】
本発明は、上記従来の問題を解決するもので、機械的な駆動を用いず、露光時間中の動きを電気的に補正することにより、装置を小型化、省電力化でき、高い応答速度で画像のぶれ補正が可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記問題を解決するために本発明の撮像装置は、被写体を撮像する固体撮像手段と、前記固体撮像手段から１枚の画像を得るための露光時間中における前記固体撮像手段の撮像面の直交する少なくとも２軸の動きを検出する動き検出手段と、前記動き検出手段の出力から前記固体撮像手段における被写体の結像の動き量を求める動き量検出手段と、前記動き量検出手段で求めた動き量を用いて前記固体撮像手段から得られた１枚の画像の露光時間中の撮像装置の動きにより発生する画像の劣化を補正する画像補正手段とを備えた構成を有する。
【０００７】
この構成により、露光時間中の撮像装置の動き量を検出し、検出した動き量に応じて、固体撮像手段から出力される画像のぶれを、電気的信号処理により補正することで、ぶれの少ない画像を得ることができる。
【０００８】
また、本発明の撮像装置は、前記画像補正手段が、前記固体撮像手段からの露光時間中のぶれのある画像出力をフーリエ変換する第１のフーリエ変換手段と、前記動き量検出手段の出力をフーリエ変換する第２のフーリエ変換手段と、前記第１のフーリエ変換手段の結果を前記第２のフーリエ変換手段の結果で除算する除算手段と、前記除算手段の結果を逆フーリエ変換する逆フーリエ変換手段とを備えたことを特徴とする。この構成により、ぶれのある画像を電気的な処理により、ぶれの少ない画像に補正することができる。
【０００９】
また、本発明の撮像装置は、前記画像補正回路が、前記動き量検出手段で求められた動き量から逆畳み込み行列を生成する逆畳み込み行列生成手段と、前記固体撮像手段からの露光時間中のぶれのある画像出力と前記逆畳み込み行列との畳み込みを行う畳み込み手段とを備えたことを特徴とする。この構成によっても、ぶれのある画像を電気的な処理により、ぶれの少ない画像に補正することができる。
【００１０】
また、本発明の撮像装置は、前記動き量検出手段からの出力があらかじめ設定した閾値を超えたかどうかを示す信号を出力する制御手段を備え、前記画像補正手段が、前記制御手段からの信号に基づいて画像のぶれの補正を行うかどうかを決定することを特徴とする。この構成により、撮像装置の動きが小さく、画像のぶれが補正を必要とする程度より少ない場合には、画像のぶれの補正を行わず、撮像装置の動きが大きく、画像のぶれが補正を必要とする程度より多い場合には、画像のぶれの補正を行うという切り替えを適宜行うことできる。
【発明の効果】
【００１１】
本発明は、固体撮像手段の撮像面の直交する２軸の動きを検出する動き検出手段の出力から固体撮像手段における被写体の結像の動き量を求め、求めた動き量を用いて固体撮像手段から得られた１枚の画像の露光時間中の撮像装置の動きにより発生する画像の劣化を補正するものであり、機械的な駆動を用いることなく、従来困難であった露光時間中の画像のぶれまでを電気的に補正することにより、装置を小型化、省電力化でき、高い応答速度で画像のぶれ補正が可能な撮像装置が実現できるものである。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について図面を用いて説明する。
【００１３】
（実施の形態１）
図１は本発明の第１の実施の形態における撮像装置の構成を示すものである。なお、以下の説明において「動き量」とは、外部から印加された力などによる撮像装置の動きの量を言う。 また「ぶれ」とは、露光中に外部から印加された力などにより撮像装置が動き、これによって固体撮像素子の出力画像に表れる、エッジのにじみや画像のぼけや多重像などといった画像劣化を言うものとする。
【００１４】
図１において、固体撮像素子２２は、レンズ２１による被写体２６の結像２７を電気信号に変換するＣＣＤ型固体撮像素子である。動き検出素子２３、２４は、撮像装置全体の動きを検出する。動き量検出回路２５は、動き検出素子２３、２４の出力から撮像素子２２上の画像のぶれ量を計算するものである。画像補正回路２８は、動き量検出回路２５の出力に応じて逆畳み込みマトリクスを計算し、固体撮像素子２２の出力のぶれのある画像との畳み込みを行うものである。
【００１５】
以上のように構成された本実施の形態の撮像装置について、以下その動作を説明する。固体撮像素子２２は、Ｍ行Ｎ列の格子状の画素を有するＣＣＤ型のＭ行Ｎ列の格子状の画素を有するものである。本実施の形態においては、水平１０２４画素、垂直７６８画素の有効画素数を持ち、フレ−ム周波数１５Ｈｚで読み出すことができ、露光による電荷蓄積は全画素等時的に行われるものである。被写体２６がレンズ２１の焦点距離に応じた倍率で焦点を結び結像２７が得られる。動き検出素子２３は、固体撮像素子２２の中心を通る水平軸をｘ軸とし、その周りの回転速度Ｖｘ(ｔ)を検出し、動き検出素子２４は、固体撮像素子２２の中心を通る垂直軸をｙ軸とし、その周りの回転速度Ｖｙ(t)を検出する。ここで、動き検出素子２３、２４は、セラミックバイモルフ振動子を使用した角速度センサである。具体的には（株）村田製作所製の圧電素子ジャイロスターＥＮＣ−０３Ｍを用いてある。
【００１６】
固体撮像素子２２で露光中に撮像装置に動きがあった場合、動き検出素子２３、２４の出力は、時間tに対する角速度Ｖｘ(t)、Ｖｙ(t)として得られる。また、このとき動き検出素子２３、２４それぞれのノイズ成分をＮｘ（ｔ）、Ｎｙ（ｔ）とし、露光開始時刻０を初期状態とすると、ｔｎ秒後の固体撮像素子２２のｘ軸周り、ｙ軸周りの移動角度はＰｘ、Ｐｙは、
Ｒｘ(tｎ)＝  ∫tn Ｖｘ(t)＋Ｎｘ(t)ｄｔ            （１−１）
Ｒｙ(tｎ)＝  ∫tn Ｖｙ(t)＋Ｎｙ(t)ｄｔ            （１−２）
となる。
ここで、ノイズ成分Ｎｘ（ｔ）、Ｎｙ（ｔ）はランダムノイズであり、任意の時間の積分により、
∫tn Ｎｘ(t)ｄｔ≒  ０                            （１−３）
∫tn Ｎｙ(t)ｄｔ≒  ０                            （１−４）
のように、ほぼ０とみなすことができる。そのとき式（１−１）、（１−２）は、
Ｒｘ(tｎ) ≒  ∫tn Ｖｘ(t)ｄｔ                    （１−５）
Ｒｙ(tｎ) ≒  ∫tn Ｖｙ(t)ｄｔ                    （１−６）
と近似することができる。
このように、角速度センサからの出力を積分して移動角度を求めることで、角速度センサの持っているノイズ成分をキャンセルすることができる。
【００１７】
前述した移動角度から、固体撮像素子２２上での画像の移動量に関して図２を用いて説明する。図２（ａ）に動きの無いとき、図２（ｂ）に動きの有るときの、レンズ２１、固体撮像素子２２と被写体２６からの光線の関係を示している。このとき、固体撮像素子２２上の結像はｔ０とｔｎで移動し、その移動量は、ｘ軸、ｙ軸方向の平行移動量として求めることができる。ここで、固体撮像素子２２の中心を通り撮像面に対して垂直なｚ軸周りの画像の回転は考慮に入れないものとしている。また、ｘ軸周りの回転による移動量はｙ軸方向への平行移動となり、ｙ軸周りの回転による移動量はｘ軸方向への平行移動となる。撮像面におけるｘ軸方向の平行移動量をＭｘ(tｎ)、ｙ軸方向の平行移動量をＭｙ(tｎ)とすると、レンズ３１と固体撮像素子２２の撮像面間の距離をｆとして、
Ｍｙ(tｎ)＝ｆ・tanＲｘ (tｎ)                       （２−１）
Ｍｘ(tｎ)＝ｆ・tanＲｙ (tｎ)                        (２−２)
となる。
これらの式（１−５）、（１−６）、（２−１）、（２−２）により、角速度センサである動き検出素子２３、２４の出力から任意の時間の結像面での移動量を求めることができる。
【００１８】
動き量検出回路２５は、式（１−５）、（１−６）、（２−１）、（２−２）を用い、固体撮像素子２２上の結像面での結像の動きを検出する。図３は前述のようにして求めたＭｘ(ｔｎ)、Ｍｙ(ｔｎ)とその移動量に相当する固体撮像素子２２の撮像面の画素との相関を示したものである。本実施の形態では、露光時間を２以上の整数Ｎ等分し、露光開始をｔ０、露光終了をｔＮで表し、露光中の任意の時間をｔｎで表す。
【００１９】
ｔ０≦ｔｎ≦ｔＮ                                  （３−１）
露光時間中の任意のｔｎにおけるＭｘ(ｔｎ)、Ｍｙ(ｔｎ)が求まるので、露光時間ｔ０〜ｔＮにおける結像の移動を時間の関数として求めることができる。ここでは、Ｎ＝８としている。動き量検出回路２５は、この撮像面での動きを検出し畳み込み行列として検出するものである。
【００２０】
図４は図３に示した結像の動きがあったとき、どのように重み付けして露光されているかを示しており、動き量検出回路２５により検出された動きを表す畳み込み行列である。
【００２１】
次に画像補正回路２８について説明する。図３は、等間隔な時刻ｔ０からｔ８まで９点の時刻における、ｚ軸上無限遠にある点光源が撮像装置に動きにより、固体撮像素子のどの画素に結像するかを表したものである。ここで、ｔ０における結像位置の画素をｘ軸、ｙ軸の０点としている。また図３の撮像面３１における各格子状のそれぞれは、固体撮像素子の画素３２の１つに対応している。このように撮像装置の動きにより、固体撮像素子からは図３で示されたようなぶれのある画像が出力される。この画像のぶれを行列として表したものが図４である。ここで、行列の各要素は、図３の画素に対応しており、行列の中心はｔ０における画素に対応しており、図３のｘ軸、ｙ軸は図４の行列の行、列に対応している。
【００２２】
図３において、ｔ０からｔ８の各露光時刻の結像がどの画素に何点あるかによって、各画素の露光量の重み付けをもとめることができ、対応する行列にその重み付けの値を代入することにより、画像のぶれを表す行列を求めることができる。こうして求めた図４に示す行列は、露光時間がｔ０〜ｔＮの画像におけるポイントスプレッドファンクション（点像分布関数）とみなすことができる。図４に示した重み付移動軌跡を行列として、
｜  ０  ０  ０  ０  ０  ０  ０  ０  3/9 ｜
｜  ０  ０  ０  ０  ０  ０  ０  2/9 ０  ｜
｜  ０  ０  ０  ０  ０  ０  1/9 ０  ０  ｜
｜  ０  ０  ０  ０ 1/9  1/9 ０  ０  ０  ｜
ｈ＝  ｜  ０  ０  ０  ０ 1/9  ０  ０  ０  ０  ｜      （４−１）
｜  ０  ０  ０  ０  ０  ０  ０  ０  ０  ｜
｜  ０  ０  ０  ０  ０  ０  ０  ０  ０  ｜
｜  ０  ０  ０  ０  ０  ０  ０  ０  ０  ｜
｜  ０  ０  ０  ０  ０  ０  ０  ０  ０  ｜
と表し、固体撮像素子からのぶれた画像をｉ’、ぶれていない場合の画像をｉとすると、
ｉ’ ＝ ｉ※ｈ   (ただし、※は畳み込みを表す記号)    （５−１）
なる関係がある（たとえば株式会社近代化学社発行「デジタル画像処理」１５９頁参照）。本実施の形態では、式（５−１）において、ｉ’が固体撮像素子２２の出力として得られ、ｈも二つの動き検出素子２３、２４で求めることができる。
【００２３】
式（５−１）の畳み込みは、フーリエ変換の掛け算として表すことができる（たとえば前述「デジタル画像処理」１９頁参照）。すなわち。ｉ’、ｉ、ｈそれぞれのフーリエ変換をＩ’、Ｉ、Ｈとすると、
Ｉ’＝フーリエ変換（ｉ’）                          （６−１）
Ｉ＝フーリエ変換（ｉ）                              （６−２）
Ｈ＝フーリエ変換（ｈ）                              （６−３）
Ｉ’＝Ｉ×Ｈ                                        （７−１）
となる。従って、
Ｉ＝Ｉ’／Ｈ                                        （８−１）
ｉ＝フーリエ逆変換（Ｉ）                            （８−２）
となり、ｉ’、ｈのフーリエ変換Ｉ’、Ｈの割り算でｉのフーリエ変換Ｉが求まり、このＩの逆フーリエ変換でｉが求めることができる。
【００２４】
図５は本実施の形態における画像補正回路２８の構成を示している。固体撮像素子２２の出力のフーリエ変換回路４２の出力を、動き量検出回路２５で得られたポイントスプレッドファンクションｈのフーリエ変換回路４１の出力で割る処理を除算回路４３で行い、その結果を逆フーリエ変換回路４４で逆フーリエ変換する構成である。このような構成により、逆フーリエ変換回路４４の出力は、ぶれのない画像を得ることができる。
【００２５】
このように、本実施の形態１によれば、被写体２６を撮像する固体撮像素子２２と、固体撮像素子２２の撮像面の直交する２軸の動きを検出する動き検出素子２３、２４と、動き検出素子２３、２４で求めた動き量を用いて固体撮像素子２２からの動きによる画像劣化を補正する画像補正回路２８とを備え、画像補正回路２８では、固体撮像素子２２の露光時間中のぶれのある画像出力のフーリエ変換した結果を、動き量検出回路２５の出力をフーリエ変換して結果で除算し、その結果を逆フーリエ変換することにより、露光時間中の画像のぶれを補正することが、光学機構的な付加装置なしに小型、低消費電力に実現することができる。なお、本実施の形態１ではＮ＝８としているが、適宜変更すること可能である。
【００２６】
（実施の形態２）
次に、本発明の第２の実施の形態について説明する。本実施の形態２が第１の実施の形態と異なるのは、画像補正回路２８の構成だけであり、他の構成は第１の実施の形態と同じなので、画像補正回路２８についてのみ図６を用いて説明する。図６は本実施の形態２における画像補正回路２８の構成を示している。図６において、動き量検出回路２５で得られたポイントスプレッドファンクションｈを逆畳み込み行列生成回路５１で生成した逆畳み込み行列と固体撮像素子２２の出力とを畳み込み回路５２で畳み込みして、ぶれていない画像ｉを得る構成である。
【００２７】
以上のように構成された本実施の形態２における画像補正回路２８の動作について図６を用いて説明する。式（５−１）より、
ｉ’ ＝ ｉ※ｈ      (ただし、※は畳み込みを表す記号) 
と表すことができた。両辺に右からｈ-1を畳み込み、
ｉ’※ｈ-1＝（ｉ※ｈ)※ｈ-1＝ｉ※（ｈ-1※ｈ)＝ｉ          (９−１)
（ただし、ここでｈ-1は、ｈ-1※ｈ＝δ（単位インパルス）となる行列）
と定義すると、ｉ’※ｈ-1を計算することによりｉを求めることができる。
【００２８】
実際に数値を入れて説明する。説明のため、１次元の画像の復元について述べるが、２次元画像に関しても同様に計算できる。動き量検出によるポイントスプレッドファンクションｈを、
ｈ＝[1/9  2/9  3/9  2/9  1/9]                          （１０−１）
ぶれがないときの２０画素からなる被写体の画像ｉを、
ｉ＝[0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0]          （１０−２）
とする。ここで０は黒レベルである。
行列ｈにより得られたぶれのある画像ｉ’は、
ｉ’＝ｉ※ｈ＝[0 0 0 0 0 0 0 1/9 3/9 5/9 5/9 3/9 1/9 0 0 0 0 0 0 0]                                                                      （１０−３）
となる。ここで、実際には、ｉ’が固体撮像素子からの出力であるぶれのある画像であり、ｈは動き量検出回路の出力であるポイントスプレッドファンクションである。ここで、ｉ’、ｈが既知であり、ｉが未知で求むべきぶれのない画像である。Ｈの逆畳み込み行列をｈ’とおいて、その要素を、
ｈ-1＝[ｈ1 ｈ2 ｈ3 ｈ4 ｈ5]                            （１０−４）
とする。式（９−１）からｈ※ｈ-1が単位インパルスδになればよいから、ｈ※ｈ-1を求めて中心の５要素を求め、これが単位インパルスδ[ 0 0 1 0 0]となる方程式を書くと、
3/9・ｈ1+2/9・ｈ2+1/9・ｈ3＝0                        （１０−５a）
2/9・ｈ1+3/9・ｈ2+2/9・ｈ3+1/9・ｈ4＝0               （１０−５b）
1/9・ｈ1+2/9・ｈ2+3/9・ｈ3+2/9・ｈ4+1/9・ｈ5＝1      （１０−５c）
1/9・ｈ2+2/9・ｈ3+3/9・ｈ4+2/9・ｈ5＝0               （１０−５d）
1/9・ｈ3+2/9・ｈ4+3/9・ｈ5＝0                        （１０−５e）
となる。これを解くと、
ｈ-1＝ [ｈ1 ｈ2 ｈ3 ｈ4 ｈ5]＝[0 -4.5  9 -4.5  0]       （１１−１）
となる逆畳み込み行列ｈ-1が求まる。以上が逆畳み込み行列生成回路５１の動作である。
【００２９】
次に、畳み込み回路５２の動作について説明する。ｉ’ とｈ-1を畳み込み、その中心２０画素をとると、
ｉ’※ｈ-1＝[ 0 0 0 0 0 0 -0.5 -0.5 0 1 1 0 -0.5 -0.5 0 0 0 0 0 0]
（１１−２）
となる。マイナス成分は黒レベル０以下となるので、黒レベル０にクリップすると、
ｉ’※ｈ-1＝[0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0]     （１１−３）
となり、中心の２画素は[1 1]となりｉが復元できる。
【００３０】
以上のことから、畳み込み回路５２の作用として、固体撮像素子２２で得られたぶれのある画像ｉ’と、動き量検出回路２５で得られた動きによるポイントスプレッドファンクションの逆畳み込み行列ｈ-1を畳み込むことにより、ぶれの少ない画像が得られる。
【００３１】
ここで、補正可能な動きの周波数は、角速度センサの読み出し応答性できまり、（株）村田製作所製のＥＮＣ−０３Ｍを使用した場合、その応答性は５０Ｈｚ（ＭＡＸ）であり、５０Ｈｚ程度の高い周波数の動きまで補正可能とすることができた。
【００３２】
このように、本実施の形態２によれば、被写体２６を撮像する固体撮像素子２２と、固体撮像素子２２の撮像面の直交する２軸の動きを検出する動き検出素子２３、２４と、動き検出素子２３、２４で求めた動き量を用いて固体撮像素子２２からの動きによる画像劣化を補正する画像補正回路２８を備え、画像補正回路２８では、固体撮像素子２２の露光時間中のぶれのある画像出力と、動き量検出回路２５で求められた動き量による画像のぶれを補正する逆畳み込み行列との畳み込みを行うことにより、露光時間中の画像のぶれを補正することが、光学機構的な付加装置なしに小型、低消費電力に実現することができる。なお、本実施の形態２ではＮ＝８としているが、適宜変更すること可能である。
【００３３】
（実施の形態３）
次に、本発明の第３の実施の形態について図７を用いて説明する。本実施の形態３は、図１に示した構成において、画像補正回路２８を制御する画像補正制御回路２９を追加した構成を有する。動き検出回路２５からの出力を画像補正制御回路２９が、動きによる画像のぶれ量を２画素未満と計算した場合には画像補正回路２８での画像補正を行わず、動き検出回路２５からの出力を画像補正制御回路２９が、動きによる画像のぶれ量を２画素以上であると計算した場合には画像補正回路２８での画像補正を行うように、画像補正制御回路２９の出力である画像補正回路切り替え信号で、画像補正回路２８の動作を切り替えるようにしてある。
【００３４】
このように、本実施の形態３によれば、撮像装置の動きが小さく、画像のぶれが補正を必要とする程度より少ない場合には、画像のぶれの補正を行わず、撮像装置の動きが大きく、画像のぶれが補正を必要とする程度より多い場合には、画像のぶれの補正を行う処理を適宜切り替えることができる。なお、本実施の形態３では、画像補正を行うか行わないかの閾値を２画素として説明したが、２画素に限定するものではない。
【００３５】
以上の各実施の形態１、２、３の説明では、動き検出素子２３、２４を角速度センサで構成した例で説明したが、角位置センサ、角加速度センサを用いても同様に実施可能である。角位置センサを用いた場合、式（１−５）、（１−６）の移動角度Ｒｘ(ｔｎ)、Ｒｙ(ｔｎ)が直接センサ出力として得られる。また角加速度センサを用いた場合には、角加速度センサの出力の時間に対する積分が角速度になるので、時間に対する積分を２回行うことで移動角度Ｒｘ(ｔｎ)、Ｒｙ(ｔｎ)を求めることができる。この際角加速度から発生するランダムノイズに対する抑圧も更に向上することができる。
【００３６】
また、固体撮像素子２２として、ＣＣＤ型ではなく、一般的にＸＹアドレシング方式の読み出しを行っているＣＭＯＳ型を用いることもできる。ＣＭＯＳ型の固体撮像素子の場合、画面上部１ライン目の画素を左から右に読み出し、次に２ライン目の画素を左から右に読み出し、同様に順次上部からラインを読み出している。このとき、各画素の露光時刻は読み出すタイミングの直前の露光時刻となり、画素毎に露光時刻が異なるが、この場合でも、撮像素子全体を１以上の整数Ａ、ＢでＡ×Ｂブロックに分割し、それぞれのブロック毎に等価的に同じ時刻で露光しているので、任意のブロックａ、ｂ（ただし１≦ａ≦Ａ、１≦ｂ≦Ｂ）の各画素に対しての動き量は同じであると仮定して、任意のブロックａ、ｂの動きによるポイントスプレッドファンクションをｈａ、ｈｂを求め、任意のブロックａ、ｂ毎に上記実施の形態と同様に処理することにより、ぶれを補正する効果を得ることができる。
【００３７】
さらに、本発明の撮像装置において、画像のぶれ補正を行うか行わないかを切り替える回路を設けて、画像のぶれ補正を行うか行わないかを手動で切り替えるようにするか、または電子式あるいは機械式のシャッターのシャッター速度によって、遅いシャッター速度、例えば１／１５秒より長いシャッター速度のときだけ画像のぶれ補正を行うように切り替えるようにするか、ズーム機能を有する撮像装置において、望遠側のとき、例えば３５ｍｍフィルムカメラ換算で焦点距離１００ｍｍのレンズに相当する以上の望遠であるときだけ、画像のぶれ補正を行うように適宜切り替えるようにすることが可能である。またはこれらを組み合わせた条件で切り替えるようにすることもできる。
【００３８】
また、上記各実施の形態では、構成要素をハードウェアとして実現しているが、動き量検出回路２５、画像補正回路２８の全部あるいは一部をソフトウェアとして実現しても、同様の効果が得ることができる。
【産業上の利用可能性】
【００３９】
以上のように、本発明に係る撮像装置は、機械的な駆動を用いることなく、従来困難であった露光時間中の画像のぶれまでを電気的に補正することにより、装置を小型化、省電力化でき、高い応答速度で画像のぶれ補正が可能な撮像装置が実現できるという効果を有し、撮像装置が動くことにより発生する画像ぶれを補正する機能を備えた撮像装置等として有用である。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施の形態１、２における撮像装置の構成を示すブロック図
【図２】（ａ）本発明の実施の形態１における撮像装置に動きの無いときのレンズ、固体撮像素子と被写体からの光線の関係を示す模式図、（ｂ）撮像装置に動きの有るときのレンズ、固体撮像素子と被写体からの光線の関係を示す模式図
【図３】本発明の実施の形態１における固体撮像素子の画素と撮像装置の動きによる撮像位置の動きの説明図
【図４】本発明の実施の形態１における固体撮像素子の画素と撮像装置の動きによる撮像位置の動きがあったときのポイントスプレッドファンクション図
【図５】本発明の実施の形態１における画像補正回路の構成を示すブロック図
【図６】本発明の実施の形態２における画像補正回路の構成を示すブロック図
【図７】本発明の実施の形態３における撮像装置の構成を示すブロック図
【符号の説明】
【００４１】
２１  レンズ
２２  固体撮像素子
２３  動き検出素子
２４  動き検出素子
２５  動き量検出回路
２６  被写体
２７  結像
２８  画像補正回路
２９  画像補正制御回路
３１  撮像面
３２  画素
４１  第２のフーリエ変換回路
４２  第１のフーリエ変換回路
４３  除算回路
４４  逆フーリエ変換回路
５１  逆畳み込み行列生成回路
５２  畳み込み回路
【図１】
2005354157.tif 000003
【図２】
2005354157.tif 000004
【図３】
2005354157.tif 000005
【図４】
2005354157.tif 000006
【図５】
2005354157.tif 000007
【図６】
2005354157.tif 000008
【図７】
2005354157.tif 000009