(57)【特許請求の範囲】
【請求項１】
露光にじみが生じない程度の蓄積時間でもって、所定の時間間隔で複数の画像を捕捉する画像捕捉ステップと、
上記複数の画像から動きを検出し、動き情報を生成する動き検出ステップと、
上記動き情報を生成する場合の評価値の総和を正規化した値によって規定される動き情報の第１の信頼度と、上記動き情報を生成する場合の最小値における評価値によって規定される動き情報の第２の信頼度とをそれぞれ求め、上記第１および第２の信頼度から動き情報の第３の信頼度を生成する信頼性判定ステップと、
上記動き情報に応じて上記複数の画像間で生じる手振れを補正する手ぶれ補正ステップと、
異なる時間の２つの画像に対してそれぞれフィルタ係数ｋおよび（１−ｋ）を乗じて画像を加算する巡回型フィルタにより手ぶれ補正後の画像をフィルタ処理するフィルタステップと、
上記手ぶれ補正ステップと上記フィルタステップとの処理の結果の画像を出力するステップとを備え、
上記第３の信頼度によって上記フィルタ係数を変化させる撮像方法。
【請求項２】
上記複数の画像の先頭の画像に関して、上記手振れ補正および上記フィルタ処理を行わない請求項１記載の撮像方法。
【請求項３】
捕捉した画像を複数のブロックに分割し、上記ブロック毎に上記動き検出ステップ、上記信頼性判定ステップ、上記手ぶれ補正ステップ、上記フィルタステップ並びに上記フィルタ係数を変化させる処理を行う請求項１記載の撮像方法。
【請求項４】
露光にじみが生じない程度の蓄積時間でもって、所定の時間間隔で複数の画像を捕捉する画像捕捉手段と、
上記複数の画像から動きを検出し、動き情報を生成する動き検出手段と、
上記動き情報を生成する場合の評価値の総和を正規化した値によって規定される動き情報の第１の信頼度と、上記動き情報を生成する場合の最小値における評価値によって規定される動き情報の第２の信頼度とをそれぞれ求め、上記第１および第２の信頼度から動き情報の第３の信頼度を生成する信頼性判定手段と、
上記動き情報に応じて上記複数の画像間で生じる手振れを補正する手ぶれ補正手段と、
異なる時間の２つの画像に対してそれぞれフィルタ係数ｋおよび（１−ｋ）を乗じて画像を加算する巡回型フィルタにより手ぶれ補正後の画像をフィルタ処理するフィルタ手段と、
上記手ぶれ補正手段と上記フィルタ手段との処理の結果の画像を出力する出力手段とを備え、
上記第３の信頼度によって上記フィルタ係数を変化させる撮像装置。
【請求項５】
上記複数の画像の先頭の画像に関して、上記手振れ補正および上記フィルタ処理を行わない請求項４記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画質の良好な静止画、動画等を得ることができる撮像方法および撮像装置に関する。
【背景技術】
【０００２】
撮像装置において、低照度状態では、入射光量が少ないため電荷蓄積量が減少し、撮像素子から出力される信号のショット雑音などのランダムノイズ成分が相対的に高まることによって、撮像信号のＳ／Ｎが悪化する。長時間の露光を行うことで電荷蓄積量を増加させ、ランダム成分を相対的に低くすることでＳ／Ｎを改善することができる。しかしながら、長時間露光は、露光中の手ぶれによる画像のにじみ（露光にじみと適宜称する）を発生させるため、三脚などによって撮像装置を固定する必要があった。
【０００３】
下記の特許文献１には、かかる問題を解決するために、露光にじみが殆ど生じないシャッター速度例えば１／３０秒でもって撮像することを繰り返し、この連写により得られた複数の画像の手ぶれを補正して重ね合わせることが記載されている。ここでの手振れは、露光期間の間隔例えば１フィールド、１フレームの間で生じる手振れである。特許文献２にも同様に、全露光時間を複数の露光期間に分割し、各露光期間で得られた画像を手ぶれ補正して加算することで画質の良好な画像を得ることが記載されている。
【０００４】
【特許文献１】特開平９−２６１５２６号公報
【０００５】
【特許文献２】特開平１１−７５１０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１または特許文献２に記載されているように、手ぶれを補正した複数の画像を加算する方法は、単純加算であるために、加算する画像枚数に応じてメモリ容量が増大するため、加算できる画像枚数が制限され、十分なＳ／Ｎ比の向上を達成できない問題があった。また、不要な動き被写体などが進入した画像およびローコントラストの画像では、手ぶれ補正のための動きベクトルの精度が低くなり、画質の改善が不充分となる欠点があった。
【０００７】
したがって、この発明の目的は、低照度状態でも、手ぶれが生ぜず、良好な画質の撮像画像を生成することができる撮像方法および撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、この発明は、露光にじみが生じない程度の蓄積時間でもって、所定の時間間隔で複数の画像を捕捉する画像捕捉ステップと、
複数の画像から動きを検出し、動き情報を生成する動き検出ステップと、
動き情報を生成する場合の評価値の総和を正規化した値によって規定される動き情報の第１の信頼度と、動き情報を生成する場合の最小値における評価値によって規定される動き情報の第２の信頼度とをそれぞれ求め、第１および第２の信頼度から動き情報の第３の信頼度を生成する信頼性判定ステップと、
動き情報に応じて複数の画像間で生じる手振れを補正する手ぶれ補正ステップと、
異なる時間の２つの画像に対してそれぞれフィルタ係数ｋおよび（１−ｋ）を乗じて画像を加算する巡回型フィルタにより手ぶれ補正後の画像をフィルタ処理するフィルタステップと、
手ぶれ補正ステップとフィルタステップとの処理の結果の画像を出力するステップとを備え、
第３の信頼度によってフィルタ係数を変化させる撮像方法である。
【０００９】
この発明は、露光にじみが生じない程度の蓄積時間でもって、所定の時間間隔で複数の画像を捕捉する画像捕捉手段と、
複数の画像から動きを検出し、動き情報を生成する動き検出手段と、
動き情報を生成する場合の評価値の総和を正規化した値によって規定される動き情報の第１の信頼度と、動き情報を生成する場合の最小値における評価値によって規定される動き情報の第２の信頼度とをそれぞれ求め、第１および第２の信頼度から動き情報の第３の信頼度を生成する信頼性判定手段と、
動き情報に応じて複数の画像間で生じる手振れを補正する手ぶれ補正手段と、
異なる時間の２つの画像に対してそれぞれフィルタ係数ｋおよび（１−ｋ）を乗じて画像を加算する巡回型フィルタにより手ぶれ補正後の画像をフィルタ処理するフィルタ手段と、
手ぶれ補正手段とフィルタ手段との処理の結果の画像を出力する出力手段とを備え、
第３の信頼度によってフィルタ係数を変化させる撮像装置である。
【発明の効果】
【００１０】
この発明によれば、低照度状態でも露光にじみの生じない蓄積時間で連写を行うことによって、複数の画像を取得し、複数の画像間の手振れ補正することで、手振れのない画像を生成し、さらに、巡回型フィルタによってフィルタ処理することで、Ｓ／Ｎを改善した画像を生成することができる。時間方向の巡回型フィルタを使用することで、単純加算の方法と異なり、画像枚数に制限なく長期間にわったて取り込むことができる。この発明では、ローコントラスト、画像捕捉中の不要な動き被写体によって、動きベクトルの信頼性が低下することを考慮し、信頼性に応じたフィルタ係数の制御を行うことによって、画質を向上させることができる。
【発明を実施するための最良の形態】
【００１１】
以下、この発明の一実施の形態による撮像装置について図面を参照しながら説明する。一実施の形態の全体の構成が図１に示されている。図１において、参照符号１１０は、撮像光学系を示す。撮像光学系１１０は、被写体の拡大／縮小を行うためのズームレンズ、焦点距離を調整するためのフォーカスレンズ、光量を調整するためのアイリス（絞り）、ＮＤ(Neutral Density)フィルタ、並びにこれらのレンズおよびアイリスを駆動する駆動
回路を備えている。ズームレンズ、フォーカスレンズ、ＩＲＩＳ、およびＮＤフィルタは、ドライバ１１１により駆動される。
【００１２】
撮像光学系１１０を通過した被写体光がＣＣＤ（Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の素子を利用した撮像素子１２０に入射さ
れ、撮像素子１２０によって被写体光に応じた撮像信号が捕捉される。なお  撮像装置の一例は、ディジタルカメラであるが、ＰＤＡ(Personal Digital Assistants)、携帯電話
機等であっても良く、また、動画を撮影する装置であっても良い。
【００１３】
撮像素子１２０は、原色系と補色系のいずれでもよく、光学撮像系１１０に入射された被写体を光電変換したＲＧＢ各色の原色信号または補色系のアナログ信号を出力する。タイミングジェネレータ（図においては、ＴＧと標記する）１２１から各種タイミング信号が撮像素子１２０に対して供給され、撮像素子１２０が駆動される。タイミングジェネレータ１２１は、撮像素子１２０を駆動するための各種タイミング信号を生成する。
【００１４】
撮像素子１２０からの撮像信号がＩＣ(Integrated Circuit) として構成されたアナロ
グ信号処理回路１３０に供給される。アナログ信号処理部１３０において、色信号ごとに、サンプルホールドされ、ＡＧＣ（Automatic Gain Control)によってゲインが制御され
、Ａ／Ｄ変換によってデジタル信号とされた撮像信号が出力される。
【００１５】
アナログ信号処理部１３０からのディジタル撮像信号がメモリコントローラ１５０、手ぶれ検出部１４０および輝度検出部１８０に供給される。手ぶれ検出部１４０は、撮像された複数の画像のそれぞれの動きを検出し、動き情報としての動きベクトルを出力する。動きベクトル検出部１４１と特徴抽出部１４２とから構成されている。動きベクトル検出部１４１は、アナログ信号処理部１３０より出力される時系列のディジタル画像信号に基づいて動きベクトルを検出する。特徴抽出部１４２は、特徴情報を抽出する。特徴情報は、検出された動きベクトルと対応する評価値である。輝度検出部１８０は、アナログ信号処理部１３０より出力される信号の輝度レベルを検出する。
【００１６】
検出された動きベクトル、抽出された特徴情報並びに検出された輝度レベルがシステムコントローラ１７０に対して供給される。システムコントローラ１７０は、特徴情報および輝度レベルを基に、検出された動きベクトルの信頼性を算出する。
【００１７】
メモリコントローラ１５０は、画像メモリ１５１を制御する部分である。画像メモリ１５１は、手ぶれ検出と補正の時間的な位相を調整するためのメモリである。アナログ信号処理部１３０から出力されたディジタル画像信号は、メモリコントローラ１５０を介して画像メモリ１５１に記憶され、動きベクトル検出に必要な時間を遅延させた後、画像メモリ１５１から読み出されると同時に、メモリコントローラ１５０によって、システムコントローラ１７０が指示する手ぶれ補正量にしたがって、手ぶれ補正がなされる。
【００１８】
メモリコントローラ１５０からの手ぶれ補正後のディジタル画像信号がフィルタ１６０に供給される。フィルタ１６０は、デジタル回路からなる巡回型フィルタの構成とされており、１フィールドまたは１フレームのメモリを有する。フィルタ１６０から出力画像信号が得られる。この出力画像信号は、Ｓ／Ｎ比が改善され、手ぶれ補正がされた画像信号である。出力画像信号は、図示しないが、圧縮されてメモリカード等の記録メディアに記録されると共に、ＬＣＤ（Liquid Crystal Display)等の画像表示部に表示される。
【００１９】
システムコントローラ１７０は、ドライバ１１１、タイミングジェネレータ１２１、およびアナログ信号処理部１３０を制御する。また、動きベクトル検出部１４１からの動きベクトル、特徴抽出部１４２からの特徴情報および輝度検出部１８０からの輝度レベルがシステムコントローラ１７０に供給される。さらに、システムコントローラ１７０は、メモリコントローラ１５０による手ぶれ補正を制御し、特徴抽出部１４２からの特徴量および輝度検出部１８０からの輝度レベルを基に動きベクトルの信頼性を判定し、信頼性に基づいてフィルタ１６０のフィルタ係数を制御する。
【００２０】
さらに、輝度検出部１８０によってオートフォーカス制御のためのＡＦ(Auto Focus)用信号、自動露光用の信号およびオートホワイトバランス用の信号が生成される。これらの信号がシステムコントローラ１７０に供給され、システムコントローラ１７０によって、撮像光学系１１０を制御する信号が形成され、形成された制御信号がドライバ１１１に供給される。
【００２１】
また、手ぶれによって撮像素子１２０に投射される被写体のブレを低減するために、システムコントローラ１７０は、露光にじみを生じない程度の電子シャッタースピードとなるように、タイミングジェネレータ１２１を制御する。一般に、露光にじみを生じない程度のシャッタースピードは、「１／焦点距離（３５ｍｍ換算）」と言われている。焦点距離としては、システムコントローラ１７０がフォーカス制御のために算出した値が使用される。
【００２２】
低照度時には、システムコントローラ１７０は、長時間露光（すなわち、遅いシャッター速度）とする代わりに、上述した露光にじみが生じない程度のシャッタースピードでもって、所定間隔例えば１フィールドまたは１フレームの間隔で複数枚の画像を取り込むように、画像取込み動作を制御する。取り込まれる画像の枚数は、被写体の明るさに対応した枚数、または予め設定した所定の枚数となされる。静止画カメラの場合では、複数枚の画像は、被写体が変化しないで、手ぶれがなければ、同一画像である。取り込まれた複数枚の画像を手ぶれ補正およびフィルタ処理した結果の画像が出力画像とされる。
【００２３】
手ぶれ検出部１４０においては、ブロックマッチングによる動き検出方法の一つである代表点マッチング方式によって、画面の全体的な動きが検出される。この方式は、比較するフレーム間で、被写体がほぼ同一であることが前提としているので、フレーム間で大きく異なる被写体には適さない。
【００２４】
図２は、手ぶれ検出部１４０の一例の構成を示す。画像入力２０１は、動きベクトルの検出対象となる画像データの入力部である。画像入力２０１より入力された画像データは、動き検出に不要な周波数成分を除去するためのフィルタ処理回路２１０に供給される。フィルタ処理回路２１０の出力が代表点抽出理回路２２０に供給される。代表点抽出回路２２０は、入力画像データの複数画素から構成される領域毎に、所定位置の画素データ（代表点と称する）を抽出し、その輝度レベルを記憶する。
【００２５】
代表点抽出回路２２０からの代表点とフィルタ処理回路２１０の出力の画素データとが減算器２３０によって減算される。減算処理は、領域毎になされる。絶対値変換回路２４０は、減算器２３０より出力された差信号を絶対値化する。
【００２６】
動きベクトル検出回路２５０は、差信号（以下、残差と適宜称する）の絶対値を使用して動きベクトルを検出する。検出された動きベクトル２６０が出力される。フィルタ処理回路２１０、代表点抽出回路２２０、減算器２３０、絶対値変換回路２４０および動きベクトル検出回路２５０が動きベクトル検出部１４１を構成する。
【００２７】
また、動きベクトル２６０の示す座標位置の評価値が特徴抽出回路１４２に供給される。特徴抽出部１４２は、検出された動きベクトル２６０に対応する評価値を特徴情報２６１として出力する。
【００２８】
図３は代表点マッチング方式による動きベクトルの検出方法を示すものである。１枚の撮像画像例えば１フレームの画像が多数の領域に分割される。図３において、検出領域３０１は、例えば時刻ｎのフレームの動きベクトルの検出するための探索領域である。図の例では、（５×５）画素の大きさの領域が設定されている。この検出領域３０１の中で、代表点と最も輝度相関が高い画素が動きベクトルとして検出される。時刻ｍのフレームの検出領域３０１と空間的に同一位置の参照領域３０６内に代表点３０２が設定される。代表点３０２は、比較元となる時刻ｍの画像に１画素のみ存在する。時刻ｎとｍの間隔は、連写によって複数枚の画像が取り込まれる間隔例えば１フィールドまたは１フレームである。
【００２９】
画素３０３は、検出領域３０１における任意の１画素を示し、検出領域３０１内の各画素が代表点３０２の比較対象の画素となる。動きベクトル３０４は、検出された動きベクトルの一例を示す。斜線を付して示す画素３０５は、動きベクトルが示す座標に存在する。
【００３０】
参照領域３０６および検出領域３０１の対は、各フレームにおいて多数設定され、それぞれにおいて、代表点３０２と検出領域３０１内の画素の輝度レベルとの残差が計算される。そして、検出領域３０１の（５×５）の各画素の位置における残差が積算されることによって、１枚の画像に関する（５×５）の評価値が計算され、評価値の分布の中で、極小値の位置の座標が動きベクトルとして検出される。
【００３１】
時刻ｍにおける座標（ｕ、ｖ）の代表点の輝度レベルをｋｍ（ｕ、ｖ）と表記し、時刻ｎにおける座標（ｘ、ｙ）における輝度レベルをｋｎ（ｘ、ｙ）と表記すると、代表点マッチング方式における動きベクトル検出における残差演算式は、下記の式（１）に示すものとなる。
【００３２】
【数１】
0004640068.tif 000002
【００３３】
求められた残差は、参照領域３０６および検出領域３０１の一つの対に関するものである。フレーム全体に存在する多数の対に関して同様に、残差が求められ、座標（ｘ，ｙ）のそれぞれにおいて残差が積算されることによって、座標（ｘ，ｙ）の評価値が求められる。図３の例では、（５×５）＝２５個の画素位置において評価値がそれぞれ発生する。
【００３４】
偏移と評価値の関係の一例は、図４に示すものとなる。評価値が極小で且つ最小点となる点ａと代表点の座標との差が動きベクトルｍｖ（ｘ、ｙ）となる。１フレームの画面の全体の代表点が座標ａの位置まで同様に動く場合に、座標ａの評価値が極小となる。式で表現すると、下記の式（２）で示すものとなる。但し、Ｐ（ｘ，ｙ）が座標（ｘ，ｙ）における評価値（すなわち、残差の絶対値の積算値）を意味している。
【００３５】
【数２】
0004640068.tif 000003
【００３６】
代表点の座標が（０，０）であれば動きベクトルは、下記の式（３）と表現できる。
【００３７】
【数３】
0004640068.tif 000004
【００３８】
特徴抽出部１４２は、図４における点ａにおける評価値を出力する回路である。すなわち、下記の式（４）を特徴情報Ｌとして出力する。
【００３９】
【数４】
0004640068.tif 000005
【００４０】
検出された動きベクトルの信頼性の判定について説明する。図５は、図４で示した偏移と評価値の関係を２次元的に表現したものである。例えば評価値が最小となる座標ａを通ってｘ軸およびｙ軸の一方に平行な平面で切断した場合の評価値の変化を示している。極小値の偏移は、点ａのｘ軸上の座標またはｙ軸上の座標である。
【００４１】
図５中の実線４０１は、通常の手ぶれ時の評価値の変化を示したものである。動きベクトルが検出される偏移で最小点における評価値の絶対値が十分小さくなり、最小点以外の偏移では画像間の相関は低い。この場合は、検出された動きベクトルの信頼性が高いと判定できる。
【００４２】
一方、ローコントラスト時の評価値の変化に基づいて検出された動きベクトルの信頼性は、低いと判定される。図５中の破線４０２は、ローコントラスト時の評価値の変化を示したものである。動きベクトルが検出される偏移で最小点における評価値の絶対値が十分小さくなり、全ての偏移において画像間の相関が高い。しかしながら、ここで検出された動きベクトルはノイズなどの影響を受けやすいため信頼性が低い。ローコントラストの場合は、代表点の輝度レベルと検出領域の画素の輝度レベルとの差が全体的に小さくなるため全体的に評価値が小さくなる。その結果、ノイズなどの影響を受け検出精度が低下や、手ぶれ以外の動きベクトルを検出する可能性がある。そのため、検出される動きベクトルの信頼性を高めるためには、ローコントラストの場合を検出し排除する必要がある。
【００４３】
この一実施の形態では、式（５）に示される評価値の総和を用いてローコントラストか否かの判別を行う。すなわち、Ｘ，Ｙは検波領域の横、縦の画素数とし、評価値Ｐ（ｘ、ｙ）の各座標における評価値の総和を画素数（つまり、面積）（Ｘ×Ｙ）で正規化した値Ｓを求め、Ｓが小さい場合はローコントラストの被写体であると判断する。
【００４４】
【数５】
0004640068.tif 000006
【００４５】
式（５）で求められた値Ｓから信頼度Ｒｓを求める処理を図８Ａを参照して説明する。信頼性が低い場合、つまり、Ｓがしきい値thrA未満の時は、信頼度Ｒｓが０に設定される。信頼性が高い場合、つまりＳがしきい値thrBより大きい時は、信頼度Ｒｓが１に設定される。上記以外の場合は、図８Ａに示し、下記の式（６）によって設定される。
【００４６】
【数６】
0004640068.tif 000007
【００４７】
図５における一点鎖線４０３は、複数の画像を捕捉している期間内で、移動被写体が進入した時の評価値の変化を示すものである。動きベクトルが検出される偏移で最小点における評価値の絶対値が比較的大きく、全ての偏移において画像間の相関が低い。移動被写体が進入した場合は、画像間の相関が低くなるため最小点における評価値の絶対値レベルは大きくなる。画像間の相関が低いため検出された動きベクトルの信頼性は低く、補正に用いることは不可能である。そのため、最小点における評価値Ｌを用いて信頼性の判定を行う。最小点における評価値Ｌは、式（７）で表現できる。Ｌが大きい場合は移動被写体が混在する被写体であると判定する。
【００４８】
【数７】
0004640068.tif 000008
【００４９】
式（７）で求められた値Ｌから信頼度ＲL を求める処理を図８Ｂを参照して説明する。信頼性が高い場合、つまりＬがしきい値thrC未満の時は、信頼度ＲL は１に設定される。信頼性が低い場合、つまりＬがしきい値thrDより大きい時は、信頼度ＲL は０に設定される。上記以外の場合は、図８Ｂに示し、下記の式（８）によって設定される。
【００５０】
【数８】
0004640068.tif 000009
【００５１】
動きベクトル検出部１４１は、上述した二つの信頼度ＲｓおよびＲL を統合した信頼度Ｒを式（９）にしたがって求めて検出された動きベクトルと共に、システムコントローラ１７０に対して出力する。信頼度Ｒが小さい場合は動きベクトルの信頼性は低く、逆に信頼度Ｒが大きい場合は動きベクトルの信頼性は高い。なお、動きベクトル検出部１４１から評価値をシステムコントローラ１７０に対して供給し、システムコントローラ１７０において、信頼度を計算するようにしても良い。
【００５２】
【数９】
0004640068.tif 000010
【００５３】
図６は、図１中のフィルタ１６０の一例の構成を示す。メモリコントローラ１５０から出力されたデータＸ（ｚ）５０１がフィルタ１６０に入力される。フィルタ１６０の加算器５２０から出力Ｙ（ｚ）５０２が取り出される。入力データＸ（ｚ）５０１がアンプ５１０において、レベルがｋ倍に増幅されて加算器５２０に供給される。フィルタ係数ｋは、システムコントローラ１７０により指示される。但し、０≦ｋ≦１である。
【００５４】
加算器５２０の出力データが出力Ｙ（ｚ）として取り出されると共に、遅延器５３０に供給される。遅延器５３０の出力データがアンプ５１１を介して加算器５２０に供給される。アンプ５１１は、遅延器５３０の信号を（１−ｋ）倍に増幅する。遅延器５３０は、出力Ｙ（ｚ）５０２を１サンプリング周期遅延させる遅延器である。１サンプリング周期は、代表点が存在する参照領域と、検出領域との時間差であり、例えば１フィールドまたは１フレームである。
【００５５】
図６に示すフィルタ１６０において、ｋ＝１の場合には、アンプ５１１から加算器５２０に供給される前の時刻の出力成分が０となり、入力データＸ（ｚ）５０１がそのまま出力データＹ（ｚ）５０２として取り出される。ｋ≠１の場合には、アンプ５１１から加算器５２０に供給される前の時刻の出力成分が０とならず、加算器５２０において、入力データＸ（ｚ）５０１に対して前の時刻の出力成分が加算される。信号成分は、異なる時刻の間でも相関があるのに対して、ランダムノイズ成分は、相関を有しないので、加算器５２０における加算処理によってノイズ成分を減少させることができる。
【００５６】
ここで、フィルタ係数Ｋｙについて説明する。フィルタ係数Ｋｙは、輝度検出部１８０から出力される撮像素子１２０の信号レベルＹにより、図８Ｃにしたがって算出される。ノイズ成分が多く含まれる輝度レベルの場合、つまりＹがthrE未満の時のフィルタ係数Ｋｙは、式（１０）と表現できる。ノイズ成分が少ない輝度レベルの場合、つまりＹがthrE以上の時は、フィルタ係数Ｋｙは所定のフィルタ係数Ｋmaxに設定される。
【００５７】
【数１０】
0004640068.tif 000011
【００５８】
図６に示すフィルタ１６０におけるフィルタ係数ｋは、信頼度Ｒと輝度レベルに応じたフィルタ係数Ｋｙより、式（１１）により算出される。但し、初期画像のみはフィルタの過渡応答を解消するために、フィルタ係数ｋを１に設定する。
【００５９】
【数１１】
0004640068.tif 000012
【００６０】
図７を参照してシステムコントローラ１７０によってなされる制御動作について説明する。この制御動作は、複数の画像が捕捉される間隔例えば１フィールドまたは１フレーム毎に実行され、実行回数をカウンタの値が示す。低照度時に、露光にじみが生じない程度のシャッター速度でもって連写がなされ、連写で得られた所定枚数の画像が手ぶれ補正およびフィルタ処理される。所定枚数の画像の処理がなされ、カウンタの値が所定値に達すると、処理が完了し、その結果の画像が最終的な撮像画像として扱われる。
【００６１】
ステップＳ１０では、制御動作が１回なされる毎にインクリメントするカウンタの値（単にカウンタと称する）が０であるか否かの判別を行う。真の場合（カウンタが０である）は、処理がステップＳ１１に移り、偽の場合（カウンタが０でない）は、処理がステップＳ２０に移る。
【００６２】
ステップＳ１１では、手ぶれ補正がＯＦＦに設定される。つまり、メモリコントローラ１５０は、画像メモリ１５１に格納されている画像に対して手ぶれ補正を行わないで、そのまま画像が出力される。信頼性が低い場合が連続した場合に、一度も手ぶれ補正された信号が出力されないことを防ぐために、カウンタ＝０の初期時に必ず初期画像を取り込む処理を行う。
【００６３】
ステップＳ１２ではフィルタ１６０のフィルタ係数ｋが１に設定される。初期時はフィルタの過渡応答を解消するための制御である。ステップＳ１３では、カウンタに１が加算される。そして、処理が終了する。１フィールドまたは１フレーム後に入力される次の画像の処理がステップＳ１０から開始する。
【００６４】
ステップＳ２０では、手ぶれの検出と補正を行う。つまり、システムコントローラ１７０は、動きベクトル検出部１４１が検出した動きベクトルに応じて、手ぶれ成分を打ち消す補正量をメモリコントローラ１５０に指示し、メモリコントローラ１５０が画像メモリ１５１から手ぶれ補正した画像を出力する。
【００６５】
ステップＳ２１では、上述した式（１１）で示すように、信頼度Ｒおよびフィルタ係数Ｋｙに応じてフィルタの係数ｋが算出される。そして、ステップＳ１３において、カウンタに１が加算されて処理が終了する。システムコントローラ１７０によって算出されたフィルタ係数ｋがフィルタ１６０に供給され、フィルタ１６０のフィルタ係数が適切な値に設定される。
【００６６】
上述したこの発明の一実施の形態は、画面全体に関して動きベクトルを発生しているが、画面を複数のブロックに分割し、各ブロック毎に手ぶれ補正とフィルタ処理を行うようにしても良い。この発明の他の実施の形態は、各ブロック毎に処理を行うものである。
【００６７】
この発明の他の実施の形態において、撮像装置の全体の構成は、上述した一実施の形態に関する図１に示すものと同様であり、図１の構成要素の参照符号を他の実施の形態の説明においても使用する。他の実施の形態では、手ぶれ検出部１４０（動きベクトル検出部１４１と特徴抽出部１４２を含む）では、図９に示すように撮像素子１２０の撮像画面を縦方向にＪ分割、横方向にＩ分割して形成された（Ｉ×Ｊ）個のブロック毎に処理がなされる。各ブロック内に複数の参照領域および検出領域が設定される。したがって、メモリコントローラ１５０による手ぶれ補正動作並びにフィルタ１６０の処理も、ブロック毎になされる。輝度検出部１８０は、ブロック毎にアナログ信号処理部１３０より出力される信号の輝度レベルを検出する。
【００６８】
低照度に、露光にじみが生じない程度のシャッター速度でもって連写がなされ、得られた複数枚の画像を手ぶれ補正および巡回型のフィルタ処理する点は、上述した一実施の形態と同様である。但し、手ぶれ補正およびフィルタ処理は、ブロック毎になされる。
【００６９】
代表点方式による動きベクトル検出を行う構成は、上述した一実施の形態における構成（図２参照）と同様であり、図３を参照して説明したように、参照領域内の代表点の輝度レベルと検出領域３０１内の各画素の輝度レベルとの残差の絶対値が計算される。この場合、時刻ｍにおけるブロック（ｉ，ｊ）（但し、ｉ＝０，１，２，・・・，Ｉ−１，ｊ＝０，１，２，・・・，Ｊ−１）における座標（ｕ、ｖ）の代表点の輝度レベルをｋｍi,j
（ｕ、ｖ）、時刻ｎにおける座標（ｘ、ｙ）における輝度レベルをｋｎi,j（ｘ、ｙ）と
すると、代表点マッチング方式における動きベクトル検出における残差演算式は、下記の式（１２）で示すものとなる。
【００７０】
【数１２】
0004640068.tif 000013
【００７１】
求められた残差は、参照領域３０６および検出領域３０１の一つの対に関するものである。ブロック全体に存在する多数の対に関して同様に、残差が求められ、座標（ｘ，ｙ）のそれぞれにおいて残差が積算されることによって、座標（ｘ，ｙ）の評価値が求められる。上述した一実施の形態における例では、ブロック毎に（５×５）＝２５個の画素位置において評価値がそれぞれ発生する。
【００７２】
上述した図４に示される偏移と評価値の関係は、ブロック毎に得られるものである。評価値が極小で且つ最小点となる点ａと代表点の座標との差がブロック（ｉ，ｊ）の動きベクトルｍｖi,j（（ｘ、ｙ）となる。１ブロックの画面の全体の代表点が座標ａの位置ま
で同様に動く場合に、座標ａの評価値が極小となる。式で表現すると、各ブロックの動きベクトルｍｖi,j（ｘ，ｙ）は、下記の式（１３）で示すものとなる。但し、Ｐi,j（ｘ，ｙ）がブロック（ｉ，ｊ）の座標（ｘ，ｙ）における評価値（すなわち、残差の絶対値の積算値）を意味している。
【００７３】
【数１３】
0004640068.tif 000014
【００７４】
代表点の座標が（０，０）であれば、ブロック（ｉ，ｊ）の動きベクトルは、下記の式（１４）と表現できる。
【００７５】
【数１４】
0004640068.tif 000015
【００７６】
特徴抽出部１４２は、各ブロックで求められた動きベクトルと対応する評価値を出力する回路である。すなわち、下記の式（１５）をブロック（ｉ，ｊ）の特徴情報として出力する。
【００７７】
【数１５】
0004640068.tif 000016
【００７８】
図１０は、ブロック毎の偏移と評価値の関係を２次元的に表現したものである。上述した一実施の形態における図５と同様に、実線６０１は、通常の手ぶれ時の評価値の変化を示したものである。動きベクトルが検出される偏移で最小点における評価値の絶対値が十分小さくなり、最小点以外の偏移では画像間の相関は低い。この場合は、検出された動きベクトルの信頼性が高いと判定できる。
【００７９】
一方、ローコントラスト時の評価値の変化に基づいて検出された動きベクトルの信頼性は、低いと判定される。図１０中の破線６０２は、ローコントラスト時の評価値の変化を示したものである。動きベクトルが検出される偏移で最小点における評価値の絶対値が十分小さくなり、全ての偏移において画像間の相関が高い。しかしながら、ここで検出された動きベクトルはノイズなどの影響を受けやすいため信頼性が低い。ローコントラストの場合は、代表点の輝度レベルと検出領域の画素の輝度レベルとの差が全体的に小さくなるため全体的に評価値が小さくなる。その結果、ノイズなどの影響を受け検出精度が低下や、手ぶれ以外の動きベクトルを検出する可能性がある。そのため、検出される動きベクトルの信頼性を高めるためには、ローコントラストの場合を検出し排除する必要がある。
【００８０】
他の実施の形態では、式（１６）に示されるブロック毎の評価値の総和Ｓi,jを用いて
ローコントラストか否かの判別を行う。すなわち、Ｘ，Ｙは検波領域の横、縦の画素数とし、評価値Ｐi,j（ｘ、ｙ）の各座標における評価値の総和を画素数（つまり、面積）（
Ｘ×Ｙ）で正規化した値Ｓi,jを求め、Ｓi,jが小さい場合はローコントラストの被写体であると判断する。
【００８１】
【数１６】
0004640068.tif 000017
【００８２】
式（１６）で求められたブロック（ｉ，ｊ）の値Ｓi,jから信頼度Ｒｓi,jは、一実施の形態と同様に、Ｓi,jがしきい値thrA未満の時は、信頼度Ｒｓi,jが０に設定される。信頼性が高い場合、つまり、Ｓi,jがしきい値thrBより大きい時は、信頼度Ｒｓi,jが１に設定される。上記以外の場合は、下記の式（１７）によって設定される。
【００８３】
【数１７】
0004640068.tif 000018
【００８４】
各々の分割されたブロックにおける動きベクトル検出部１４１から出力された動きベクトルは、手ぶれ成分以外に動き被写体による成分が含まれている場合がある。動き被写体による誤動作を低減するためには、手ぶれ成分のみを抽出し、その動きベクトルに応じてメモリコントローラ１５０において、手ぶれを補正する必要がある。更に、この手ぶれ補正に加えて、検出された動きベクトルに手ぶれ以外の成分を検出し、フィルタ１６０において積分されないように信頼度ＲLi,j を算出する必要がある。
【００８５】
手ぶれ成分は、式（１８）で表現することができる。但し、ＭＤはメディアンフィルタを示す。メモリコントローラ１５０には、この手ぶれ成分ｍｖMDがシステムコントローラ１７０より指示され補正される。
【００８６】
【数１８】
0004640068.tif 000019
【００８７】
動き被写体の検出と信頼度について説明する。該当するブロックに動き被写体が存在する度合いは、動きベクトル成分と手ぶれ成分との乖離度合いにより判断する。この乖離度合いLi,jは、式（１９）で表現できる。Ｌi,j が大きい場合は、移動被写体が混在する被写体であると判断する。
【００８８】
【数１９】
0004640068.tif 000020
【００８９】
この時のブロック（ｉ，ｊ）の信頼度ＲLi,j は、一実施の形態と同様に図８Ｂにした
がってＬi,j により算出される。信頼性が高い場合、つまりＬi,j がthrC未満の時は、信頼度ＲLi,j は１に設定される。信頼性が低い場合、つまりＬi,j がthrDより大きい時は
、信頼度ＲLi,j は０に設定される。上記以外の場合は、式（２０）によって設定される
。
【００９０】
【数２０】
0004640068.tif 000021
【００９１】
各々のブロック（ｉ，ｊ）における動きベクトル検出部１４１で検出された動きベクトルの信頼度をＲi,jとすると、信頼度をＲi,jは、式（２１）で表現できる。信頼度Ｒi,j
が小さい場合は動きベクトルの信頼性は低く、逆に信頼度Ｒi,jが大きい場合は動きベク
トルの信頼性は高い。
【００９２】
【数２１】
0004640068.tif 000022
【００９３】
手ぶれ補正された各ブロックの画像が供給されるフィルタは、一実施の形態における図６に示す構成を有している。但し、フィルタ係数がブロック毎に設定される。ブロック毎のフィルタ係数をｋi,jとする。フィルタ係数は、（０≦ｋi,j≦１）である。
【００９４】
ここで、ブロック（ｉ，ｊ）のフィルタ係数Ｋｙi,jについて説明する。フィルタ係数
Ｋｙi,jは、一実施の形態と同様に、輝度検出部１８０から出力される撮像素子１２０の
信号レベルＹi,jにより、図８Ｃにしたがって算出される。ノイズ成分が多く含まれる輝
度レベルの場合、つまりＹi,jがthrE未満の時のフィルタ係数Ｋｙi,jは、式（２２）と表現できる。ノイズ成分が少ない輝度レベルの場合、つまりＹi,jがthrE以上の時は、フィ
ルタ係数Ｋｙi,jは所定のフィルタ係数Ｋmaxに設定される。
【００９５】
【数２２】
0004640068.tif 000023
【００９６】
一実施の形態と同様に、フィルタ係数ｋi,jは、信頼度Ｒと輝度レベルに応じたフィル
タ係数Ｋｙi,jより、式（２３）により算出される。但し、初期画像のみはフィルタの過
渡応答を解消するために、フィルタ係数ｋを１に設定する。
【００９７】
【数２３】
0004640068.tif 000024
【００９８】
システムコントローラ１７０によってなされる制御動作は、一実施の形態において説明した図７と同様である。但し、一実施の形態では、制御動作は、１フィールドまたは１フレーム毎に実行されていたが、１ブロック毎に動作することが必要とされる。そして、所定枚数の画像の全ブロックに関する処理がなされ、カウンタの値が所定値に達すると、処理が完了し、その結果の画像が最終的な撮像画像として扱われる。
【００９９】
上述したこの発明の他の実施の形態は、一実施の形態と比較して複数のブロックのそれぞれを個別に制御するので、フィルタ係数の制御を画像の局所的特徴に合わせて行うことができ、画質をより向上させることができる。
【０１００】
以上、この発明の実施の形態について具体的に説明したが、この発明は、上述の実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えば動きベクトル検出は、代表点方式に限らず他の方式を使用しても良い。
【図面の簡単な説明】
【０１０１】
【図１】この発明の一実施の形態の全体の構成を示すブロック図である。
【図２】この発明の一実施の形態における手ぶれ検出部の一例のブロック図である。
【図３】この発明の一実施の形態における動き検出を説明するための略線図である。
【図４】動きベクトル検出時の評価値と偏移の関係を３次元的に示す略線図である。
【図５】動きベクトル検出時の評価値と偏移の関係を２次元的に示す略線図である。
【図６】この発明の一実施の形態におけるフィルタの一例を示すブロック図である。
【図７】この発明の一実施の形態の処理の流れを示すフローチャートである。
【図８】この発明の一実施の形態における信頼性の判定処理を説明するための略線図である。
【図９】この発明の他の実施の形態におけるブロックを説明するための略線図である。
【図１０】この発明の他の実施の形態における動きベクトル検出時の評価値と偏移の関係を２次元的に示す略線図である。
【符号の説明】
【０１０２】
１２０・・・撮像素子
１４０・・・手ぶれ検出部
１４１・・・動きベクトル検出部
１４２・・・特徴抽出部
１５０・・・メモリコントローラ
１５１・・・画像メモリ
１６０・・・フィルタ
１７０・・・システムコントローラ
１８０・・・輝度検出部
２２０・・・代表点抽出回路
２３０・・・減算器
２５０・・・動きベクトル検出回路
３０１・・・検出領域
３０２・・・代表点
３０４・・・動きベクトル
４０１・・・通常の手ぶれ時の評価値と偏移の関係
４０２・・・ローコントラスト時の評価値と偏移の関係
４０３・・・移動被写体進入時の評価値と偏移の関係
【図１】
0004640068.tif 000025
【図２】
0004640068.tif 000026
【図３】
0004640068.tif 000027
【図４】
0004640068.tif 000028
【図５】
0004640068.tif 000029
【図６】
0004640068.tif 000030
【図７】
0004640068.tif 000031
【図８】
0004640068.tif 000032
【図９】
0004640068.tif 000033
【図１０】
0004640068.tif 000034