(57)【要約】【課題】多画素を有する静止画／動画撮像装置の手ぶれ補正を、高性能、安価に行う事ができる。【解決手段】静止画と動画が撮像可能な撮像装置において、前記装置は少なくとも前記動画の撮像を行う比較的多画素な撮像領域と、前記領域から出力された動画のフレーム画像を記憶するための記憶手段と、前記画像を処理するための画像処理手段と、前記処理手段によって作成された動画像を記録するための記録手段とを有し、前記撮像領域から出力された現フレーム画像あるいはそれを代表する量と、前記記憶手段から読み出された前フレーム画像あるいはそれを代表する量とを用い前記処理手段において画像比較を行う事により手ぶれ量を検出し、前記検出された手ぶれ量を元にして前記現フレーム画像から低解像度画像を形成し、前記記録手段に記録する事を特徴とする撮像装置。【選択図】        図１
2006067291.tif 000002
【特許請求の範囲】
【請求項１】
静止画と動画が撮像可能な撮像装置において、前記装置は少なくとも前記動画の撮像を行う比較的多画素な撮像領域と、前記領域から出力された動画のフレーム画像を記憶するための記憶手段と、前記画像を処理するための画像処理手段と、前記処理手段によって作成された動画像を記録するための記録手段とを有し、前記撮像領域から出力された現フレーム画像あるいはそれを代表する量と、前記記憶手段から読み出された前フレーム画像あるいはそれを代表する量とを用い前記処理手段において画像比較を行う事により手ぶれ量を検出し、前記検出された手ぶれ量を元にして前記現フレーム画像から低解像度画像を形成し、前記記録手段に記録する事を特徴とする撮像装置。
【請求項２】
請求項１に記載の比較的多画素な撮像領域とは、前記記録手段に記録する低解像度画像の画素数の、１６倍以上の画素数を有する事を特徴とする撮像装置。
【請求項３】
請求項１に記載の記憶手段の記憶容量は、前記フレーム画像の２枚分以上である事を特徴とする撮像装置。
【請求項４】
請求項１に記載の画像を代表する量とは、前記フレーム画像から抽出された画像の重心位置である事を特徴とする撮像装置。
【請求項５】
請求項１に記載の画像を代表する量とは、前記フレーム画像から抽出された画像の回転可変量である事を特徴とする撮像装置。
【請求項６】
請求項１に記載の画像を代表する量は、前記画像処理手段によって抽出された事を特徴とする撮像装置。
【請求項７】
請求項１に記載の比較は、パターンマッチング法で行われる事を特徴とする撮像装置。
【請求項８】
請求項１に記載の比較は、前記フレーム画像から輝度に相当する数値を算出して行われる事を特徴とする撮像装置。
【請求項９】
請求項１に記載の比較は、前記フレーム画像の一部の領域を用いて行われる事を特徴とする撮像装置。
【請求項１０】
静止画と動画が撮像可能な撮像装置において、前記装置は少なくとも長秒露光の前記静止画の撮像を行う比較的多画素な撮像領域と、前記領域から時間分割されて出力された全体として１枚の静止画像を形成する複数枚のフレーム画像の少なくとも一部を記憶するための記憶手段と、前記フレーム画像を処理するための画像処理手段と、前記処理手段によって作成された前記静止画像を記録するための記録手段とを有し、前記撮像領域から出力された現フレーム画像あるいはそれを代表する量と、前記記憶手段から読み出された画像あるいはそれを代表する量とを用い前記処理手段において画像比較を行う事により手ぶれ量を検出し、前記検出された手ぶれ量を元にして前記現フレーム画像から前記手ぶれを修正した画像を形成し、前記読み出された画像と共に画像処理を行い過渡的な画像を形成し、前記作成した過渡的な画像を改めて前記記憶手段に書き込みを行い、前記静止画の露光時間が終了した後に、前記記憶手段中に格納されている過渡的な画像を前記記録手段に記録する事を特徴とする撮像装置。
【請求項１１】
請求項１０に記載の長秒露光とは、前記露光時間が１／１５秒以上である事を特徴とする撮像装置。
【請求項１２】
請求項１０に記載の時間分割された出力とは、１／３０秒以下の時間間隔で出力される事を特徴とする撮像装置。
【請求項１３】
請求項１０に記載の複数枚のフレーム画像とは、前記露光時間を前記時間間隔で割った枚数を持つ事を特徴とする撮像装置。
【請求項１４】
請求項１０に記載の画像処理とは、画像信号の加算、あるいは平均化処理である事を特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は多画素を有する静止画／動画撮像装置の手ぶれ補正、特に電気的な補正方法に関する。
【背景技術】
【０００２】
従来、主に静止画を撮像する静止画カメラ、俗にデジカメは、動画を主に撮像するカムコーダとは別物であった。両者に用いられる撮像センサの画素数や、前記静止画や動画を記録するための記録媒体は、両者で大きく異なっていた。
【０００３】
しかしカードメモリあるいは小型ハードディスク等の安価な大容量メモリや、高集積化された多画素化撮像センサの実現によって、両者の差が埋まりつつあるのが現状である。
【０００４】
前記多画素（数百万画素程度）センサを有するデジカメは、前述のように静止画と動画が撮像可能であるものの、前記カードメモリの容量不足等から、現状では高品質な前記動画像の長時間撮像は実現されていない。
【０００５】
また前記多画素センサからフレーム画像を出力するには多大な時間を必要とするため、前記静止画の連写速度や動画のフレームレート（ｆｐｓ）は低めである。
【０００６】
また前記多画素センサは、前記デジカメのモニタである液晶ディスプレー（ＬＣＤ）にリアルタイムで表示画像を出力する必要から、前記全画素を使用したフレーム画像ではなく、前記画素のうちの一部のみを使用した解像度の低い画像（以下低解像度画像）を出力する機能を有している。
【０００７】
前記低解像度画像は前述のように全画素を使用していないため、例えば秒間１５あるいは３０フレームの高速出力が可能である。これらは一部のＣＣＤ型センサで、既に実現されている。
【０００８】
また前記低解像度高速フレームレート画像は、前記動画像にも流用される事が有る。
【０００９】
前記多画素センサからの表示画像の出力は、一般には以下のような手順で行われていた。
【００１０】
まず撮像センサの代表的なＣＣＤ型センサでは、
１）ホトダイオードでの光電荷蓄積
２）垂直転送路への出力
３）垂直転送路内での垂直方向の電荷加算
４）水平転送路への出力
５）垂直加算された低解像度画像の取得
あるいはＣＭＯＳ型センサでは、
１）ホトダイオードでの光電荷蓄積
２）特定の垂直線の選択
３）特定画素の光信号の垂直信号線への出力
４）画素間引きされた低解像度画像の取得
である。
【００１１】
ＣＣＤ撮像センサにおける前記垂直転送路内での電荷加算には、光電荷増大、感度アップ（最低照度向上）、データ数減少、読出し回数減少、高速化という、一石二鳥の効果が有る。その為広く利用されている技術である。
【００１２】
一般に動画撮像の際には静止画のようにフラッシュが使用出来ないので、高い感度（低い最低照度）は、カムコーダの必要条件である。
【００１３】
また多画素センサからの高速な光情報の読出しは、ＣＭＯＳ撮像センサにおいても同様に問題となる。従って高いフレームレートが必要な動画撮像やＬＣＤの表示には、前述したようにもっぱら間引き読出しが使用されている。
【００１４】
また、前記撮像装置には、手ぶれ補正手段を備えているのが通常である。
【００１５】
前記手段は大別すると、光学式と電気式に分かれる。光学式とは加速度等を検出するセンサと光学系を駆動するアクチュエータとを有し、前記センサによって検出されたカメラのぶれ、加速度を、前記アクチュエータを駆動する事によって除去するものである。
【００１６】
また電気式とは、前記画像を検出する画像領域の外側にも有効な画素を有し、前記カメラのぶれによって前記センサ上で例え画像がぶれたとしても、前記ぶれた画像の前後から画像処理によって前記画像の相対的なぶれ（ずれ）を検出して補正し、前記画像間のぶれを目立たなくする方法である。
【００１７】
類似の処理は、実は人間の脳内でも行われている。
【００１８】
図１５は従来例である、電気的手ぶれ補正手段の動作シーケンスである。
【００１９】
撮像センサによってフレーム画像を取得し、低解像度画像を形成後、前フレームの低解像度画像を読み出し、両画像の相関比較を行い手ぶれ量を検出し、補正を行った後、現補正画像（動画像）を記録媒体に記録する。
【００２０】
また前記電気式手ぶれ補正方法は、前記画像の信号をＹ−Ｃ分離して一度輝度信号に変換してから行うと、精度良く行う事ができる。そのような例には、例えば特許文献１、特許文献２等が有る。
【特許文献１】特開平２−２３３０７３号公報
【特許文献２】特開平６−４６３１１号公報
【特許文献３】特開平１０−１５５１００号公報
【発明の開示】
【発明が解決しようとする課題】
【００２１】
しかし、前述した従来の手ぶれ補正手段には、
１）光学式は新たな追加機構を必要とするため高価
２）電気式は画素領域、光学系が大きくなるため高価
３）電気式は間引いたフレーム画像を手ぶれ補正に使用するため、精度が不充分
４）電気式は静止画の長秒露光に対する手ぶれ補正が出来ない
という欠点が存在する。
【００２２】
光学式は、従来は前記撮像センサが高価であったため、前記センサのチップ面積を増大させる事のない比較的安価な手法であった。また用いる光学系も、前記電気式に比べると一段小さな口径で済むため、比較的安価な手法であった。
【００２３】
それに比べると電気式は、前記画像を撮像する画素領域の周囲に余分な画素を必要としたためチップ面積が増大し、前記センサが高価格化していた。
【００２４】
しかし前述したように半導体の微細化により前記センサや光学系の口径が小口径化した現在においては主客が逆転し、２）よりもむしろ１）の方が問題になりつつ有る。
【００２５】
また３）は、前述したように多画素からのフルフレーム画像の高速度読出しが現実上不可能であるため、間引き等の読出しによって前記動画像（低解像度画像）が形成されているのが通常である。
【００２６】
しかしこの出力された低解像度画像を用いて手ぶれ補正を行ったとしても、前記画素ピッチが粗いため、前記撮像された元のフルフレーム画像程度ほどには、正確に補正する事が出来ない。
【００２７】
また４）は、一般には光学式で補正するのが簡便である。
【００２８】
電気式ではフレーム画像蓄積中（光信号電荷蓄積中）にぶれるため、工夫をしない限り前記手ぶれの補正は出来ない。
【００２９】
本発明は、以上の点に着目して成されたもので、多画素を有する静止画／動画撮像装置の手ぶれ補正を、高性能、安価に行う事ができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００３０】
本発明は上述した１）、３）、４）の欠点を除去するものである。
【００３１】
本発明は部品点数が増え、価格が上昇する光学式手ぶれ補正を採用しない。
【００３２】
本発明は、比較的多画素な撮像領域と、記憶手段と、画像処理手段と、記録手段とを用い、前記撮像領域から出力された現フレーム画像あるいはそれを代表する量と、前記記憶手段から読み出された前フレーム画像あるいはそれを代表する量とを用い前記処理手段において画像比較を行う。
【００３３】
それにより手ぶれ量を検出し、前記検出された手ぶれ量を元にして前記現フレーム画像から動画像となる低解像度画像を形成し、前記記録手段に記録を行う。
【００３４】
また本発明は、長秒露光の静止画の撮像を行う比較的多画素な撮像領域と、記憶手段と、画像処理手段と、記録手段とを用い、前記撮像領域から出力された現フレーム画像あるいはそれを代表する量と、前記記憶手段から読み出された画像あるいはそれを代表する量とを用い前記処理手段において画像比較を行う。
【００３５】
それにより手ぶれ量を検出し、前記検出された手ぶれ量を元にして前記現フレーム画像から前記手ぶれを修正した画像を形成し、前記読み出された画像と共に画像処理を行い過渡的な画像を形成し、前記作成した過渡的な画像を改めて前記記憶手段に書き込みを行い、前記静止画の露光時間が終了した後に、前記記憶手段中に格納されている過渡的な画像を静止画として前記記録手段に記録を行う。
【００３６】
また動画像だけでなく、長秒露光の静止画像における手ぶれも、前記露光期間中を複数の期間に分け、その各々の期間でフレーム画像を取得し、前記複数のフレーム画像間で手ぶれ補正を行って全体の静止画像のフレームを作成する。
【００３７】
また単板式撮像装置等、各画素において輝度信号が欠けるような画素配列を有する撮像装置においては、前記フレーム画像から輝度信号に相当する成分を算出、それに対して前記手ぶれの評価、比較を行うのが適当である。
【００３８】
また本発明は先の公報、特許文献１、特許文献２とは、以下の点で異なっている。
１）本発明では特許文献１公報に記載の減算は行わない
２）同、警告を発しない
３）同、警告発生部を有しない
４）本発明では特許文献２公報に記載の輝度信号の高域成分を積分しない
５）同、積分回路を有しない
６）同、積分回路出力をオートフォーカス、オートアイリス、オートホワイトバランス制御に用いない
【００３９】
さらに説明すれば、本発明の技術内容は以下の構成を備えることにより前記課題を解決できた。
【００４０】
（１）静止画と動画が撮像可能な撮像装置において、前記装置は少なくとも前記動画の撮像を行う比較的多画素な撮像領域と、前記領域から出力された動画のフレーム画像を記憶するための記憶手段と、前記画像を処理するための画像処理手段と、前記処理手段によって作成された動画像を記録するための記録手段とを有し、前記撮像領域から出力された現フレーム画像あるいはそれを代表する量と、前記記憶手段から読み出された前フレーム画像あるいはそれを代表する量とを用い前記処理手段において画像比較を行う事により手ぶれ量を検出し、前記検出された手ぶれ量を元にして前記現フレーム画像から低解像度画像を形成し、前記記録手段に記録する事を特徴とする撮像装置。
【発明の効果】
【００４１】
本発明によれば、多画素を有する静止画／動画撮像装置の手ぶれ補正を、高性能、安価に行う事ができる。
【発明を実施するための最良の形態】
【００４２】
以下本発明を実施するための最良の形態を、実施例により詳しく説明する。
【実施例】
【００４３】
図１に本発明の第一実施例である、スチルアンドムービーカメラの動画撮像シーケンスを示す。
【００４４】
また図２は、本第一実施例の電気回路のシステムブロック図である。
【００４５】
また図１０は、本第一実施例の画素部の構成を示す図である。
【００４６】
点線で囲まれた部分１０１は、単一の画素に相当する部分である。
【００４７】
本実施例の撮像センサは、ＣＭＯＳアクティブピクセル型のモノクロセンサであり、前記センサの撮像領域とは、画素数横１５３６列、縦１１５２行、計１７６９４７２個の画素を有する。このうち、横１２８０列、縦９６０行の大きさの領域が、動画像のフレーム領域に相当している。
【００４８】
１０２は光電変換手段であるホトダイオードであり、入射する光を電荷に変換する。
【００４９】
蓄積された光電荷は、転送ＭＯＳ１０３を開ける事で増幅アンプ１０４のゲートに転送される。前記転送された電荷は、その電荷量に応じて前記ＭＯＳ１０４の主電極を流れる電流を変調する。１０５は前記画素１０１をアドレッシングするための選択ＭＯＳであり、水平線１１０によって活性化される。
【００５０】
前記ＭＯＳ１０５が開くと、電源から流れ出た電流は前記ＭＯＳ１０４によって変調され、垂直線１０７に流れ出る。
【００５１】
このように前記垂直線には、３４．７μＳ（１／９６０＊３０＝３．４７＊１０＾（−５））毎に、各画素の光信号が出力される。また３３ｍＳ毎に、１フレームの画像信号が形成される（３０ｆｐｓ）。
【００５２】
１０６は前記ＭＯＳ１０４のゲートと、前記ホトダイオード１０２の電位を固定、リセットするためのリセットＭＯＳである。
【００５３】
前記単一の画素１０１は、このように１つのホトダイオード、４つのＭＯＳトランジスタからなる。
【００５４】
前記垂直線１０７は差動増幅器１１２に接続されており、公知のＣＤＳ動作によってまずアンプ１０４のリセット電位が−端子に取り込まれ、次いで前記光電荷に対応した電流が作り出す電位が＋端子に取り込まれる。
【００５５】
前記差動増幅器１１２によって両者の電位の差が取られ、前記電位の差を電圧として後段のＡＤコンバータ１１３に送る。前記各垂直線１０７毎に対応したカラム型ＡＤコンバータ１１３によって、前記アナログ信号電圧は、デジタル信号に変換される。前記変換されたデジタル信号は、８ビットのパラレル信号として端子１１４に出力される。
【００５６】
１１４は、前記８ビットのパラレル信号が出力される出力端子である。また前記出力端子１１４は、図示しない撮像センサの出力バッファに接続されている。
【００５７】
また１１１は、各水平線１０８、１０９、１１０を制御する水平シフトレジスタである。
【００５８】
図１０に示した本第一実施例のセンサは、前述したように各垂直線毎にＡＤコンバータを有するために、その動作は、非常に高速である。前記各ＡＤコンバータ１１３は、１秒間に９６０＊３０＝１８９００個のアナログ信号をデジタル化するだけで良いからである。
【００５９】
図２に示したセンサ２１は、図１０に示した画素部と前記出力バッファと、それらを制御する制御回路から成っている。２２は、前記出力バッファから各水平線／垂直線のデジタル化された８ビットの画素信号が時系列的にパラレル出力されるバスである。
【００６０】
２３は前記センサから出力される水平線１１５２本、垂直線１５３６本、計１７６９４７２個の８ビット画素情報を格納する、記憶手段である情報容量４ＭＢのフレームメモリである。
【００６１】
前記メモリ２３の容量は、１枚のフレーム画像が必要とする容量の２枚分（１．７７ＭＢ＊２＝３．５４ＭＢ）以上を確保している。
【００６２】
以下、図１を基にして、本実施例の動作を説明する。
【００６３】
モノクロセンサ２１によって撮像された１７６９４７２画素の現フレーム画像は、一旦フレームメモリ２３に書き込まれる。書き込む場所は、後述する前記メモリ２３中の不要になった画像が格納されている番地である。
【００６４】
画像処理手段である計算機２４は、前記フレームメモリ２３中に格納されている前フレーム画像を読出し、現在のフレーム画像との比較をパターンマッチング法によって行う。
【００６５】
パターンマッチング法とは、以下のような方法である。
Σ（Ｐｐ（ｘ＋α，ｙ＋β）−Ｐｌ（ｘ，ｙ））＜＝Ｖｔｈ  ・・・（１）
ここでＰｐ（ｘ，ｙ）は画素座標（ｘ，ｙ）の画素の現在の光強度であり、Ｐｌ（ｘ，ｙ）は同じく一つ前のフレームの光強度である。またΣは、ｘの全ての領域（０から１５３５）とｙの全ての領域（０から１１５１）で取られる。ただし、相手の番地が前記領域から外れる時は（つまり、存在しない時は）、そのペアに関しては評価、加算されない。
【００６６】
αとβは、手ぶれを表すパラメータであり、左辺の量が最小となる値がその適当値である。
ｆ（ａ，ｂ）＝Σ（Ｐｐ（ｘ＋ａ，ｙ＋ｂ）−Ｐｌ（ｘ，ｙ））  ・・・（２）
ｆ（α，β）＝ｍｉｎｆ（ａ，ｂ）                            ・・・（３）
またパターンマッチング法では、前記左辺の値が予め決められた右辺の値Ｖｔｈよりも小さくならないと終了しない（パターンマッチングの由来）。
【００６７】
この（１）式が成立して、初めてパターンマッチングが得られたことになる。
【００６８】
計算機２４は、式（１）、（２）、（３）から手ぶれ量（α，β）を求める。
【００６９】
前記求めた手ぶれ量から、現フレーム画像を修正する。修正の方法は、
Ｐｐｎ（ｘ，ｙ）＝Ｐｐ（ｘ＋α，ｙ＋β）                ・・・（４）
である。ここでＰｐｎは、修正後の各画素の光強度である。
【００７０】
修正されたフレーム画像は、前記フレームメモリ２３に書き込まれる。この時点で、前記メモリ２３中に書き込まれていた現フレーム画像は不要となる。この場所が、次のフレームでは、最初のフレーム画像が書き込まれる場所になる。
【００７１】
また書き込まれた修正画像は、次のフレームでは前記メモリ２３から読み出される前フレーム画像に相当するものとなる。
【００７２】
また、動画像のフレーム画像（低解像度画像）も、同様な方法で作成する。
Ｐｓ（ｘ，ｙ）＝Ｐｐ（ｘ＊ｋ＋α，ｙ＊ｋ＋β）          ・・・（５）
ここでＰｓは、画素数３２０＊２４０＝７６８００の低解像度画像であり、Ｐｐは前述の現在フレーム画像（フルフレーム画像）である。またｋは１２８０／３２０＝４の定数である。
【００７３】
本実施例では、前記低解像度画像の画素数は、前記フルフレーム画像のそれの１／１６以下になっている。
【００７４】
作成された低解像度画像は、記録手段であるカードメモリ２５に書き込まれる。
【００７５】
２６は前記バス２２やフレームメモリ２３、計算機２４、記録媒体２５、メインメモリ２７を制御するプロセッサである。前記プロセッサ２６は、本実施例のカメラ全体を支配するメインプロセッサである。
【００７６】
前記記録媒体２５中に格納されている動画像は、必要に応じて再生される。
【００７７】
本実施例によれば、撮像センサ全部の画素を用いて手ぶれ検出を行っているため、前記手ぶれ量の精密な検出が可能である。従って前記センサから出力されるフルフレーム画像（１２８０＊９６０）から作成した低解像度動画像（３２０＊２４０）は、手ぶれなく滑らかに連続再生する事ができる。
【００７８】
また本実施例に用いるセンサは、ＣＭＯＳ型に限らずＣＣＤ型、ＪＦＥＴ型等、公知の撮像センサでも良い。
【００７９】
また、本実施例に用いた高速なカラム型ＡＤコンバータ方式は、前記センサからフルフレーム画像の読出しを行う為に採用しているが、前記フルフレーム画像を読み出せる他の高速な読出し方法を用いても、勿論構わない。
【００８０】
また本実施例の計算機２４は、何も専用のハードウェアロジックやコプロセッサを用いなくとも、多少前記計算能力、画像処理能力には劣るものの、前記プロセッサ２６＋画像処理ソフトウェアでも実現する事ができる。
【００８１】
また本実施例で行ったパターンマッチング法による手ぶれ量の検出は、何もフレーム画像全体で行う必要はなく、例えば部分的な画像、前記フレーム画像中の任意の３あるいは５つの領域等を用いても可能である。
【００８２】
また、半導体集積回路（ＩＣ）の集積度が向上すれば、上記図２の撮像装置システムをより少ない数のＩＣ、典型的には１チップで実現可能となる。
【００８３】
本発明の第二実施例である、スチルアンドムービーカメラの動画撮像シーケンスを図３に示す。
【００８４】
また図４は、本第二実施例の電気回路のシステムブロック図である。
【００８５】
撮像センサ４１は、画素数３０７２＊２３０４＝７０７７８８８を有する単板式カラーセンサである。前記センサには、カラーフィルタの画素Ｒ，Ｇ１，Ｇ２，Ｂ（１２１）が、公知の市松模様で繰り返し配列されている（図１１）。
【００８６】
センサ４１によって撮像されたフルフレーム画像は、記憶手段であるメインメモリ４７に一時的に書き込まれる。前記フルフレーム画像が書き込まれるメモリ位置は、毎回同じである。（上書き）計算機４３は、前記書き込まれたフレーム画像から、その重心の位置を計算する。
【００８７】
重心位置の計算方法とは、以下のような方法である。
Ｇｐｘ＝Σ（Ｐｐ（ｘ，ｙ）＊ｘ）／ΣＰｐ（ｘ，ｙ）      ・・・（６）
Ｇｐｙ＝Σ（Ｐｐ（ｘ，ｙ）＊ｙ）／ΣＰｐ（ｘ，ｙ）      ・・・（７）
ここでＧｐｘとはＧ画素の光強度の重心のｘ座標で、Ｇｐｙは同様にｙ座標である。
【００８８】
Ｐｐ（ｘ，ｙ）は、現在フレームの各画素の光強度である。またΣは、前記画素領域に存在するＧ１、Ｇ２画素の全てに対して取られる。
【００８９】
計算された重心位置（Ｇｐｘ，Ｇｐｙ）は、前記メモリ４７に書き込まれる。
【００９０】
また一つ前のフレーム（前フレーム）の重心位置も読み出され、両者は比較される。
α＝Ｇｐｘ−Ｇｌｘ              ・・・（８）
β＝Ｇｐｙ−Ｇｌｙ              ・・・（９）
ここでα、βは手ぶれ量であり、Ｇｌｘ、Ｇｌｙは、ひとフレーム前の重心位置である。
【００９１】
ここでＲ，Ｇ１，Ｇ２，Ｂは、２画素周期のカラー配列であるので、α，βが奇数の場合には、前記値を各々α−１、β−１の値に修正を行う。
【００９２】
また前記αやβの値が予め決められた値Ｖｔｈよりも大きい場合には、前記原因は手ぶれではないとして（例えばパンニング時）手ぶれ補正を行わない（α＝β＝０）。
【００９３】
修正された重心の位置は、前記重心位置（Ｇｐｘ，Ｇｐｙ）が格納されていたメモリ４７位置に上書きされる。
【００９４】
得られた手ぶれ量α，βを基にして、画像作成機４４は、以下の式
Ｐｓｇ１（ｘ，ｙ）＝Ｐｐ（ｘ＊ｋ＋α，ｙ＊ｋ＋β）            ・・・（１０）
Ｐｓｇ２（ｘ，ｙ）＝Ｐｐ（ｘ＊ｋ＋１＋α，ｙ＊ｋ＋１＋β）    ・・・（１１）
Ｐｓｒ（ｘ，ｙ）＝Ｐｐ（ｘ＊ｋ＋α，ｙ＊ｋ＋１＋β）          ・・・（１２）
Ｐｓｂ（ｘ，ｙ）＝Ｐｐ（ｘ＊ｋ＋１＋α，ｙ＊ｋ＋β）          ・・・（１３）
Ｐｓｇ（ｘ，ｙ）＝（Ｐｓｇ１（ｘ，ｙ）＋Ｐｓｇ２（ｘ，ｙ））／２・・（１４）
で低解像度動画像を作成する。
【００９５】
ここでＰｓｇ１からＰｓｇｂまでは、前記市松フィルタに対応する各Ｒ，Ｇ１，Ｇ２，Ｂ画素の低解像度画像での光強度である。ここでｋ＝２５６０／６４０＝４の定数である。またＰｓｇは前記Ｐｓｇ１とＰｓｇ２から作成されるＧの光強度である。
【００９６】
本実施例では６４０＊４８０画素からなるＲ、Ｇ、Ｂプレーンを計３枚、記録媒体４５に書き込む。
【００９７】
本実施例によれば、前記手ぶれ量の検出は前記フルフレーム画像を用いて行われるので、精度よく行う事ができる。
【００９８】
また、前記各色プレーンの検出も、従来例のように低解像度画像から行われるのではなくフルフレーム画像から行われるので、偽色や混色の恐れのない、正確な色を得ることができる。
【００９９】
また、前記手ぶれの検出はパターンマッチング法ではなく重心検出法で行うので、フレームメモリが不要であり、その分簡単安価にシステムを構築する事ができる。
【０１００】
また本実施例に用いるカラーフィルタの配列は、何も前記市松模様に限ることはなく、デルタ配列等、公知のそれでよい。
【０１０１】
また前記手ぶれ量の補正方法はα−１、β−１でなく、α＋１、β＋１等でも良い。
【０１０２】
また前記低解像度画像の色の作成は、前記対応する１画素の光情報から行うのではなく、例えば下記に示すように、周囲の複数の光情報を用いても良い（加算または平均操作）。
Ｐｓｇ１（ｘ，ｙ）＝ΣＰｐ（ｘ＊ｋ＋α＋ｉ，ｙ＊ｋ＋β＋ｊ）／Σ１・・（１５）
ｉとｊは加算のためのパラメータであり、前記Σはｉ＝−２，０，２，ｊ＝−２，０，２の計９個の画素に対して和が取られる。
【０１０３】
また本実施例に用いる動画像の画素数は、任意である。例えばＱＶＧＡの３２０＊２４０画素でもよい。また前記色プレーンの構成も任意で良い。例えば補色Ｙｅ，Ｍ，Ｃｙでも良い。また輝度と色差でもよい。
【０１０４】
本発明の第三実施例である、スチルアンドムービーカメラの動画撮像シーケンスを図５に示す。
【０１０５】
また図６は、本第三実施例の電気回路のシステムブロック図である。
【０１０６】
本実施例の撮像センサ６１は、画素数１２８０＊９６０の画素を有するモノクロセンサである。
【０１０７】
本実施例では併進方向の手ぶれ補正だけでなく、回転方向の手ぶれの補正も行う。
【０１０８】
フレーム画像は一時メモリ６７に書き込まれた後、前述のように重心の計算が行われる。
【０１０９】
それとともに、回転に対して不変的ではない、回転可変量が計算される。本実施例では、それは下式に相当する量である。
Ｒｖ（θ）＝ΣＰｐ（ｘｇ＋ｕ，ｙｇ＋ｖ）          ・・・（１６）
ｕ＝ｉｎｔ（ｒ＊ｃｏｓθ）                        ・・・（１７）
ｖ＝ｉｎｔ（ｒ＊ｓｉｎθ）                        ・・・（１８）
−ｗ＜＝ｒ＜＝ｗ                                  ・・・（１９）
ここでＲｖ（θ）は回転可変量であり、（１６）式で定義される。
【０１１０】
Ｐｐ（ｘ，ｙ）は現フレーム画像の、座標（ｘ，ｙ）に有る画素の光強度である。
【０１１１】
（ｘｇ，ｙｇ）は現フレーム画像の重心の位置であり、ｕ，ｖは（１７）、（１８）式で定義される共変パラメータである。
【０１１２】
またｉｎｔ（ｘ）関数は、変数ｘを整数化する関数である。
【０１１３】
ｒは積算パラメータであり、Σはこのｒに対して和が取られる。前記パラメータｒは、フレーム画像の領域全体に渡る。ここでｗは、センサの列の数（１２８０）である。
【０１１４】
式（１７）、（１８）が表現するのは、フレーム画像の行に対して角度θだけ傾いた直線である。
【０１１５】
本実施例では、前記回転可変量Ｒｖ（θ）は、０．１度刻みでθ＝−５度〜＋５度の範囲で計算される。
【０１１６】
このようにして計算機６３で計算された現フレームの重心（ｘｇ，ｙｇ）と回転可変量Ｒｖ（θ）が、メモリ６７に書き込まれる。
【０１１７】
次いで前フレームの両計算値が読み出される。
【０１１８】
まず重心の比較が行われ、現フレームの重心が前フレームの重心に対して合わせられる。
【０１１９】
これにより手ぶれ量α，βは、以下のように求まる。
α＝ｘｇｐ−ｘｇｌ                          ・・・（２０）
β＝ｙｇｐ−ｙｇｌ                          ・・・（２１）
ここでｘｇｐは現在の重心座標ｘであり、ｘｇｌは前フレーム画像の重心座標ｘである。
【０１２０】
また手ぶれ量の回転に相当する量φは、前回の回転可変量Ｒｖｌ（０）と現在の回転可変量Ｒｖｐ（θ）とを比較し、最も近い値をφとする。
｜Ｒｖｐ（φ）−Ｒｖｌ（０）｜＝ｍｉｎ（｜Ｒｖｐ（θ）−Ｒｖｌ（０）｜）・・（２２）
このようにして求められたα，β，φを用いて、前記現フレームの重心値と回転可変量を修正する。
【０１２１】
また同様にして、低解像度画像Ｐｓ（ｘ，ｙ）を形成する。
Ｐｓ（ｘ，ｙ）＝Ｐｐ（ｕ，ｖ）                        ・・・（２３）
ｕ＝ｋ＊ｘ＋α＋ｉｎｔ（ｌ＊ｃｏｓφ−ｍ＊ｓｉｎφ）  ・・・（２４）
ｖ＝ｋ＊ｙ＋β＋ｉｎｔ（ｌ＊ｓｉｎφ＋ｍ＊ｃｏｓφ）  ・・・（２５）
ｌ＝（ｋ＊ｘ＋α）−ｘｇｐ                            ・・・（２６）
ｍ＝（ｋ＊ｙ＋β）−ｙｇｐ                            ・・・（２７）
ここでｋは＝２の定数である。
【０１２２】
このようにして作成された低解像度動画像は、記録媒体６５に記録される。
【０１２３】
本実施例によれば、併進だけでなく、回転の手ぶれをも補正することができる。
【０１２４】
またその回転補正も０．１度刻みと精細なため、手ぶれを除去した動画像は、滑らかに繋がる画像となる。
【０１２５】
また両フレーム比較に必要な情報量も重心位置と回転可変量だけであるので、前記メモリ６７の容量を最小にする事ができる。
【０１２６】
本発明の第四実施例である、スチルアンドムービーカメラの動画撮像シーケンスを図７に示す。
【０１２７】
また図８は、本第四実施例の電気回路のシステムブロック図である。
【０１２８】
本実施例は、第三実施例のように、併進と回転の手ぶれを補正する。
【０１２９】
図７に示すように併進は重心を検出する事によって行う。また回転はパターンマッチング法によって行う。
【０１３０】
他の実施例と同様に、センサ８１から出力されたフルフレーム画像は、フレームメモリ８３に書き込まれる。前記画像の重心位置が計算機８４によって計算され、同様にメモリ８７に書き込まれる。また一つ前のフレームの重心位置が読み出され、両者の比較が行われ、手ぶれ量の併進要素（先のα，βに相当）が検出される。
【０１３１】
それに従って前記現フレームの重心位置が修正され、前記修正された重心位置は前記メモリ８７に上書きされる。
【０１３２】
次いで現フレーム画像で、式（２０）、（２１）で表されたような画像位置の修正（重心補正）が行われる。この修正されたフレーム画像は、フレームメモリ８３に書き込まれる。
【０１３３】
次いで前フレーム画像がフレームメモリ８３から読み出され、パターンマッチング法によって両者の画像の回転ずれ比較が行われる。このようにして検出された手ぶれ量の回転要素（先のφに相当）は、先の併進要素とともに低解像度画像の作成に利用される。
【０１３４】
同様にして計算機８４によって作成された手ぶれ補正が行われた低解像度画像は、記録媒体８５に記録される。
【０１３５】
本実施例によれば、第三実施例よりも更に高精度な両画像の回転位置合わせが可能であり、前記手ぶれの回転方向のずれ量をより高精度に補正する事ができる。
【０１３６】
本発明の第五実施例である、スチルアンドムービーカメラの動画撮像シーケンスを図９に示す。
【０１３７】
本実施例の電気回路のシステムブロックは、図２と同様である。
【０１３８】
本実施例の撮像センサ２１はカラーセンサである。
【０１３９】
バス２２に出力されたフレーム画像は、まずフレームメモリ２３に書き込まれる。
【０１４０】
次に輝度信号作成の順である。輝度信号Ｙとは、以下に示すような信号である。
Ｙ＝Ｃｒ＊Ｐｒ＋Ｃｇ＊Ｐｇ＋Ｃｂ＊Ｐｂ                ・・・（２８）
ここでＣｒ、Ｃｇ、Ｃｂは、前記センサ２１に用いられているカラーフィルタに固有な数値である。またＰｒ、Ｐｇ、Ｐｂは、各Ｒ、Ｇ、Ｂの画素に対応する光強度（色信号）である。
【０１４１】
ところが式から分かるように、前記輝度信号Ｙの強度は、前記センサを構成する画素の色毎に不連続となる。これでは後の処理に支障を来たすので、以下の式を用いて前記色信号の修正、補間を行う。
Ｐ（ｘ，ｙ）＝ΣＰ（ｘ＋ｉ，ｙ＋ｊ）／Σ１      ・・・（２９）
ここでＰは、前述のＰｒ、Ｐｇ、Ｐｂの何れかである。またΣは、画素（ｘ，ｙ）から距離１だけ離れた正方形の領域内の各色の画素に対して取られる。またｉ，ｊは、この積算パラメータである。
【０１４２】
このようにして補間されたＰｒ、Ｐｇ、Ｐｂから先の（２８）式を用いて輝度信号が作成され、メインメモリ２７に書き込まれる。
【０１４３】
次に前フレームの輝度信号が読み出され、現在のフレームのそれと比較が行われる。この比較は、計算機２４によって行われる。
【０１４４】
比較の方法は、他の実施例で開示した重心検出や回転検出、パターンマッチング法等である。
【０１４５】
以上の手法を用いて検出した手ぶれ量を基に、まず前記輝度信号を修正する。
【０１４６】
修正された輝度信号は、前記メモリ２７に書き込まれる。
【０１４７】
また同様な方法で、前記計算機２４は低解像度画像を作成する。作成された低解像度画像は、記録媒体２５に記録される。
【０１４８】
本実施例によれば、前記比較に単一の色信号（例えばＧ）を用いているのではなく、輝度信号Ｙを用いているので、より精密な画像の比較が可能であり、より正確な手ぶれ量の検出が可能である。
【０１４９】
本発明の第六実施例である、スチルカメラの静止画撮像シーケンスを図１２に示す。
【０１５０】
本実施例の電気回路のシステムブロックは、図２と同様である。
【０１５１】
シャッターボタンが押され、長秒の静止画撮像がスタートすると、撮像センサ２１は０．３秒おきにフレーム画像を出力するようになる。この時間の長さは、手ぶれがひどくならい事を考慮して決められている。
【０１５２】
前記フレーム画像はフレームメモリ２３の指定された場所に上書きされる。
【０１５３】
次いで現フレームの重心が計算機２４によって計算され、その値がメモリ２７に書き込まれる。また前回の重心の値がメモリ２７から読み出され、両重心値が比較され、手ぶれ量が検出される。
【０１５４】
検出された手ぶれ量に従って、前記現フレームの重心値が修正され、書き込まれる。
【０１５５】
また前記現フレーム画像が補正され、前記補正された画像はメモリ２７に有る今までに撮像された全フレームを加算した結果である、全体画像と加算される。
【０１５６】
加算された全体画像は、当然メモリ２７上の同じ場所に格納される。
【０１５７】
この動作が前記静止画撮像期間（シャッタースピード）中繰り返され、前記期間が終了すると前記ループは終了し、その時に残っているメモリ２８中の画像（全体画像）が、記録媒体２５に静止画像として記録される。
【０１５８】
本実施例によれば、動画像だけでなく、長秒の静止画像も手ぶれする事なく記録することができる。
【０１５９】
前記手ぶれの補正には前記撮像センサが有する画素を全て使用しているので、前記補正を高精度に行う事ができる。
【０１６０】
本発明の第七実施例である、スチルアンドムービーカメラの撮像センサの構成を、図１４に示す。
【０１６１】
１４１はアクティブピクセルＣＭＯＳ型撮像センサチップであり、１４２は画素数１５００＊１１５０の画素領域、１４３は大きさ２０＊２０画素の前記画素領域中の特定な領域である。１４４は垂直信号線、１４５は信号処理回路、１４６は水平シフトレジスタである。また１４７は外部引き出し用の電極である。
【０１６２】
前記５つの特定な領域１４３からは、前記領域の信号のみが非破壊で高速に読み出し可能となっている。
【０１６３】
本第七実施例の動画像撮像シーケンスを図１３に示す。
【０１６４】
センサ１４１がフレーム画像を撮像した後、前記フレーム画像の出力に先立って、前記特定な領域１４３の信号のみを高速に出力する。
【０１６５】
前記領域の総画素数は、２０＊２０＊５＝５００であるので、全体のフレーム画像の画素数１２８０＊９６０＝１２２８８００のわずか０．０４％である。従ってその出力はかなり高速である（１フレームの４／１００００〜１２μｓ）。
【０１６６】
フレームメモリに格納されている前フレームのフレーム画像が読み出され、前記特定の領域のみで比較が行われる。
【０１６７】
前記比較はパターンマッチング法で行われるが、前記比較を行う領域が小さいため、この比較も高速に行う事ができる。
【０１６８】
その結果得られた手ぶれ量を基にして、前記センサから画素数１２８０＊９６０の、修正されたフレーム画像を出力する。前記出力の方法とは、前記手ぶれ量の併進要素（α，β）だけ、前記センサ内に存在する信号処理回路１４５と水平シフトレジスタ１４６の番地をずらして出力する。
【０１６９】
修正されたフレーム画像は、前記前フレーム画像が格納されていた場所に上書きされる。
【０１７０】
またこの画像を基に低解像度画像が作成され、記録媒体に記録される。
【０１７１】
本実施例によれば、前記手ぶれの補正の補正時間を最短にする事ができる。
【図面の簡単な説明】
【０１７２】
【図１】本発明の第一実施例であるスチルアンドムービーカメラの動画撮像シーケンスを示す図
【図２】第一実施例の電気回路のシステムブロック図
【図３】本発明の第二実施例である、スチルアンドムービーカメラの動画撮像シーケンスを示す図
【図４】第二実施例の電気回路のシステムブロック図
【図５】本発明の第三実施例であるスチルアンドムービーカメラの動画撮像シーケンスを示す図
【図６】第三実施例の電気回路のシステムブロック図
【図７】本発明の第四実施例であるスチルアンドムービーカメラの動画撮像シーケンスを示す図
【図８】第四実施例の電気回路のシステムブロック図
【図９】本発明の第五実施例であるスチルアンドムービーカメラの動画撮像シーケンス示す図
【図１０】第一実施例の画素部の構成を示す図
【図１１】カラーフィルタの市松模様の配列を示す図
【図１２】第六実施例であるスチルカメラの静止画撮像シーケンスを示す図
【図１３】本第七実施例の動画像撮像シーケンスを示す図
【図１４】第七実施例であるスチルアンドムービーカメラの撮像センサの構成を示す図
【図１５】従来例である電気的手ぶれ補正手段の動作シーケンスを示す図
【符号の説明】
【０１７３】
２１、４１、６１、８１  センサ
２２、４２、６２、８２  バス
２３  メモリ
２４、４３、６３、８４  計算機
２５、４５、６５、８５  記録媒体
２６、４６、６６、８６  プロセッサ
２７、４７、６７、８７  メモリ
４４、６４  画像作成機
１０１  画素
１０２  ホトダイオード
１０３、１０４、１０５、１０６  スイッチ
１０７  垂直線
１０８、１０９、１１０  水平線
１１１  水平シフトレジスタ
１１２  アンプ
１１３  ＡＤコンバータ
１１４  端子
１４１  センサ
１４２  画素領域
１４３  特定の領域
１４４  垂直線
１４５  回路
１４６  シフトレジスタ
１４７  電極
【図１】
2006067291.tif 000003
【図２】
2006067291.tif 000004
【図３】
2006067291.tif 000005
【図４】
2006067291.tif 000006
【図５】
2006067291.tif 000007
【図６】
2006067291.tif 000008
【図７】
2006067291.tif 000009
【図８】
2006067291.tif 000010
【図９】
2006067291.tif 000011
【図１０】
2006067291.tif 000012
【図１１】
2006067291.tif 000013
【図１２】
2006067291.tif 000014
【図１３】
2006067291.tif 000015
【図１４】
2006067291.tif 000016
【図１５】
2006067291.tif 000017