(57)【特許請求の範囲】
【請求項１】
動体を連続撮影した複数の静止画像からなる連写画像を縮小して縮小連写画像を作成するサイズ縮小部と、
複数の前記縮小連写画像から動体領域を抽出して縮小動体抽出マスク画像を作成するマスク作成部と、
前記縮小動体抽出マスク画像を拡大し、前記サイズ縮小部で縮小する前の大きさに復元して動体抽出マスク画像を作成するサイズ復元部と、
前記動体抽出マスク画像を利用して前記連写画像から前記動体領域を抽出し動体画像を得るとともに、前記動体画像を前記連写画像の所定の１枚に合成する合成部と、
前記連写画像が前記サイズ縮小部において縮小される前に、前記連写画像の手ぶれの量を検知する手ぶれ量検知部と、
前記連写画像が前記サイズ縮小部において縮小される前に、前記サイズ縮小部で前記連写画像を縮小する縮小率を前記手ぶれの量に応じて決定する縮小率決定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記連写画像が前記サイズ縮小部において縮小される前に、前記手ぶれの量に応じて前記連写画像における手ぶれを補正する手ぶれ補正部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記手ぶれ量検知部は、前記連写画像同士の差分により前記連写画像の手ぶれの量を検知することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記差分は、前記連写画像の四隅同士の差分であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記手ぶれ量検知部は、前記連写画像に対するブロックマッチングにより前記連写画像の手ぶれの量を検知することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項６】
前記手ぶれ量検知部は、手ぶれの量を検知する加速度センサであることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項７】
前記手ぶれ量検知部が前記連写画像の手ぶれの量を検知する前に、前記連写画像を縮小する縮小部を備えることを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
【請求項８】
動体を連続撮影して複数の静止画像からなる連写画像を生成する撮像手段と、前記連写画像を入力して画像処理する画像処理手段とを備える撮像装置において、
前記画像処理手段は、請求項１〜７のいずれかに記載の画像処理装置であることを特徴とする撮像装置。
【請求項９】
動体を連続撮影した複数の静止画像からなる連写画像を縮小して縮小連写画像を作成するサイズ縮小ステップと、
複数の前記縮小連写画像から動体領域を抽出して縮小動体抽出マスク画像を作成するマスク作成ステップと、
前記縮小動体抽出マスク画像を拡大し、前記サイズ縮小ステップで縮小する前の大きさに復元して動体抽出マスク画像を作成するサイズ復元ステップと、
前記動体抽出マスク画像を利用して前記連写画像から前記動体領域を抽出し動体画像を得るとともに、前記動体画像を前記連写画像の所定の１枚に合成する画像合成ステップと、
前記連写画像が前記サイズ縮小ステップにおいて縮小される前に、前記連写画像の手ぶれの量を検知する手ぶれ量検知ステップと、
前記連写画像が前記サイズ縮小ステップにおいて縮小される前に、前記サイズ縮小ステップで前記連写画像を縮小する縮小率を前記手ぶれの量に応じて決定する縮小率決定ステップと、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および撮像装置、ならびに画像処理方法に関する。
【背景技術】
【０００２】
従来より、撮像装置により連写された移動する物体（以下、動体という）の複数の画像から、動体の移動が一目で分かるように背景のある１枚の画像に合成した所謂ストロボアクション画像を作成する画像処理装置が知られている。
【０００３】
一般にストロボアクション画像は、画像処理装置において、動体の写っている領域（以下、動体領域という）がそれ以外の領域（以下、背景領域という）から抽出され、複数の動体領域の画像が背景領域を含む１枚の画像に合成されることで作成される。この種の画像処理装置では、連続する画像間の差分を計算することにより、動体領域と背景領域とが分離され、背景領域から動体領域が抽出されるようになっている。
【０００４】
また、例えば、動体領域と背景領域とを分離するために、動きベクトルの大きさを利用する画像処理装置が知られている（例えば、特許文献１参照）。この画像処理装置では、小さな動きベクトルを有する背景領域を除去することにより、大きな動きベクトルを有する動体領域を抽出するようになっている。
【０００５】
これにより、背景領域が観客や屋外の樹木等のように停止することなく小さな複雑な動きをする場合であっても、相対的に動きの大きい動体領域を抽出することで、動体領域を高精度に抽出することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような画像処理装置にあっては、動体領域を背景領域から分離する判断のために動きベクトルの大きさの違いを利用しているので、動きベクトルを算出するために非常に多数の計算工程を必要としてしまう。これにより、処理時間が長時間化してしまうという問題があった。
【０００７】
また、仮にこの画像処理装置を普及型のコンパクトデジタルスチルカメラ（以下、デジタルカメラという）に搭載した場合、１枚のストロボアクション画像を作成するために、例えば、数十秒もの時間を要してしまう可能性があり、実用性があるとは言い難かった。
【０００８】
しかも、デジタルカメラで手持ち撮影する場合には、手ぶれが発生することがある。手ぶれが発生した場合、動体領域と背景領域との分離が不完全になって、一部では動体領域が背景領域に上書きされてしまい、不自然なストロボアクション画像を作成してしまうことがあるという問題があった。
【０００９】
本発明は、このような問題を解決するためになされたもので、撮影時に生じた手ぶれ等を含んだ連写画像であっても、背景領域から動体領域を高精度かつ簡易に抽出して１枚の画像に合成できる画像処理装置および撮像装置、ならびに画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、動体を連続撮影した複数の静止画像からなる連写画像を縮小して縮小連写画像を作成するサイズ縮小部と、複数の前記縮小連写画像から動体領域を抽出して縮小動体抽出マスク画像を作成するマスク作成部と、前記縮小動体抽出マスク画像を拡大し、前記サイズ縮小部で縮小する前の大きさに復元して動体抽出マスク画像を作成するサイズ復元部と、前記動体抽出マスク画像を利用して前記連写画像から前記動体領域を抽出し動体画像を得るとともに、前記動体画像を前記連写画像の所定の１枚に合成する合成部と、前記連写画像が前記サイズ縮小部において縮小される前に、前記連写画像の手ぶれの量を検知する手ぶれ量検知部と、前記連写画像が前記サイズ縮小部において縮小される前に、前記サイズ縮小部で前記連写画像を縮小する縮小率を前記手ぶれの量に応じて決定する縮小率決定部と、を備えることを特徴とするものである。
【００１１】
この構成により、動体の連写画像から得られた複数の動体画像が１枚の画像に合成されることにより、ストロボアクション画像が作成される。
【００１２】
ここで、マスク作成部における処理の前に連写画像を縮小するとともに、マスク作成部における処理の後に縮小動体抽出マスク画像を拡大して元のサイズに復元している。このため、従来のように連写画像のそのままのサイズでマスク画像を作成する場合に比べて、連写画像をマスク画像の作成前に縮小することでマスク画像におけるノイズが少なくなり、手ぶれによる画像のずれを吸収することができる。これにより、画像処理装置をコンパクトデジタルスチルカメラのような小型の撮像装置に搭載しても、高精度なストロボアクション画像を十分に実用性のある処理時間で得ることができる。
【発明の効果】
【００１３】
本発明によれば、撮影時に生じた手ぶれ等を含んだ連写画像であっても、背景領域から動体領域を高精度かつ簡易に抽出して１枚の画像に合成できる画像処理装置および撮像装置、ならびに画像処理方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施の形態に係る撮像装置の全体を示す概略のブロック図である。
【図２】本発明の第１の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。
【図３】本発明の第１の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。
【図４】本発明の第１の実施の形態に係る撮像装置により、移動する自動車のおもちゃを撮影した連写画像であり、（ａ）〜（ｅ）は５コマ／秒で順次撮影した画像、（ｆ）は（ａ）〜（ｅ）の画像を合成したストロボアクション画像である。
【図５】マスク作成部により作成された動体抽出マスク画像を示す画像であり、（ａ）はマスク作成の前に画像の縮小処理を行うとともにマスク作成の後に画像の拡大処理を行った実施例、（ｂ）はマスク作成の前後で縮小拡大処理を行わなかった比較例である。
【図６】本発明の第２の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。
【図７】本発明の第２の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。
【図８】本発明の第２の実施の形態に係る撮像装置の画像処理手段での手ぶれ補正の原理を示す概略の説明図であり、（ａ）は基準時刻ｔ０において撮影された画像、（ｂ）は基準時刻のｔ１後に撮影された画像である。
【図９】本発明の第３の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。
【図１０】本発明の第３の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。
【図１１】本発明の第３の実施の形態に係る撮像装置の画像処理手段での手ぶれ補正の原理を示す概略の説明図である。
【図１２】本発明の第４の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。
【図１３】本発明の第４の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。
【図１４】本発明の第５の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。
【図１５】本発明の第５の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。
【図１６】本発明の第６の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。
【図１７】本発明の第６の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。
【図１８】本発明の第６の実施の形態に係る撮像装置の画像処理手段での差分を検出する部位を示す概略の説明図であり、（ａ）は画像の四隅よりやや内側の場合、（ｂ）は画像の四隅の場合、（ｃ）は画像の周縁の場合である。
【図１９】本発明の第７の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。
【図２０】本発明の第７の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。
【図２１】本発明の第８の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。
【図２２】本発明の第８の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。
【図２３】本発明の第９の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。
【図２４】本発明の第９の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１６】
（第１の実施の形態）
まず、本発明の実施の形態に係る画像処理装置を搭載した撮像装置について説明する。ここでは、画像処理装置を撮像装置の一例としてのコンパクトデジタルスチルカメラ１に適用している。
【００１７】
図１に示すように、デジタルカメラ１は、撮像手段２と、制御手段３と、画像処理装置の一例としての画像処理手段４と、画像出力手段５と、操作手段６とを備えている。
【００１８】
撮像手段２は、撮影光学系２０と、メカシャッタ２１と、撮像素子２２と、ＣＤＳ（Correlated  Double  Sampling）回路２３と、アナログデジタル変換器（以下、Ａ／Ｄ変換器という）２４と、モータドライバ２５と、タイミング信号発生器２６とを備えている。撮像手段２は、動体を連続撮影して複数の静止画像からなる連写画像を生成するようになっている。
【００１９】
撮影光学系２０は、例えば複数の光学レンズ群からなるとともに、被写体の光学像を入射して撮像素子２２に結像するようになっている。メカシャッタ２１は、例えばレンズシャッタからなるとともに、撮影光学系２０を通して撮像素子２２に入射される入射光を遮断できるようになっている。撮像素子２２は、例えばＣＣＤ（Charge  Coupled  Device）からなる。撮像素子２２は、撮像面を有するとともに、この撮像面に結像された被写体の光学像をアナログの画像信号に変換するようになっている。
【００２０】
ＣＤＳ回路２３は、撮像素子２２から出力されたアナログの画像信号からノイズ成分を除去するようになっている。Ａ／Ｄ変換器２４は、ＣＤＳ回路２３から出力されたアナログの画像信号をデジタルの画像信号（以下、画像データという）に変換するようになっている。
【００２１】
モータドライバ２５は、制御手段３の指示に基づいて、撮影光学系２０およびメカシャッタ２１を駆動し、撮影光学系２０の位置を変動させたり、あるいはメカシャッタ２１を開閉させたりする。タイミング信号発生器２６は、制御手段３の指示に基づいて、撮像素子２２と、ＣＤＳ回路２３と、Ａ／Ｄ変換器２４とを、所定のタイミングで動作させるためのタイミング信号を発生するようになっている。
【００２２】
制御手段３は、ＣＰＵ（Central  Processing  Unit）３０と、一時的にデータを記憶するＲＡＭ（Random  Access  Memory）３１と、固定されたデータの記憶を行うＲＯＭ（Read  Only  Memory）３２と、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）３３と、メモリカード３４とを備えている。
【００２３】
ＲＯＭ３２には、デジタルカメラ１によりストロボアクション画像を撮影するためのプログラムが記憶されている。ＣＰＵ３０は、ＲＯＭ３２に記憶されたプログラムを、ＲＡＭ３１を作業領域として実行することにより、後述するようにコンパクトデジタルカメラ１によりストロボアクション画像を撮影するようになっている。
【００２４】
画像処理手段４は、Ａ／Ｄ変換器２４に接続されるとともに、Ａ／Ｄ変換器２４から出力された連写画像の画像データに画像処理を行って出力するようになっている。
【００２５】
図２に示すように、画像処理手段４は、記憶部４０と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
【００２６】
記憶部４０は、Ａ／Ｄ変換器２４に接続されるとともに、Ａ／Ｄ変換器２４から出力された連写画像の画像データを記憶するようになっている。サイズ縮小部４１は、記憶部４０に接続されるとともに、記憶部４０から出力された動体を連続撮影した複数の静止画像からなる連写画像を縮小して縮小連写画像を作成するようになっている。
【００２７】
マスク作成部４２は、差分計算部４２ａと、絶対値計算部４２ｂと、二値化計算部４２ｃと、ＡＮＤ処理部４２ｄとを備えている。マスク作成部４２は、サイズ縮小部４１に接続されるとともに、サイズ縮小部４１から出力された複数の縮小連写画像から動体領域を抽出して、縮小動体抽出マスク画像を作成するようになっている。
【００２８】
差分計算部４２ａは、サイズ縮小部４１に接続されるとともに、サイズ縮小部４１から出力された縮小連写画像の２枚を比較して輝度の差分処理を行い、差分データを得るようになっている。絶対値計算部４２ｂは、差分計算部４２ａに接続されるとともに、差分計算部４２ａから出力された差分データに対して絶対値を計算し、絶対値データを得るようになっている。
【００２９】
二値化計算部４２ｃは、絶対値計算部４２ｂに接続されるとともに、絶対値計算部４２ｂから出力された絶対値データに対して二値化処理を行い、二値データを得るようになっている。ＡＮＤ処理部４２ｄは、二値化計算部４２ｃに接続されるとともに、二値化計算部４２ｃから出力された二値データに対してＡＮＤ処理を行い、縮小動体抽出マスク画像を得るようになっている。
【００３０】
サイズ復元部４３は、マスク作成部４２に接続されるとともに、マスク作成部４２から出力された縮小動体抽出マスク画像を拡大して、サイズ縮小部４１で縮小する前の連写画像のサイズに復元して動体抽出マスク画像を作成するようになっている。
【００３１】
合成部４４は、サイズ復元部４３および記憶部４０に接続される。合成部４４は、サイズ復元部４３から出力された動体抽出マスク画像を利用して、記憶部４０から出力された対応する連写画像から動体画像を抽出する。そして、合成部４４は、抽出して得られた複数の動体画像を連写画像の１枚に合成し、ストロボアクション画像を作成する。
【００３２】
本実施の形態では、合成部４４は、サイズ復元部４３から出力された動体抽出マスク画像と、記憶部４０から出力された対応する１枚の連写画像と、直前に作成した前ストロボアクション画像とを用いて、現ストロボアクション画像を得るようになっている。すなわち、合成部４４は、動体抽出マスク画像と対応する連写画像とを用いて動体画像を抽出し、得られた動体画像をその直前に作成した前ストロボアクション画像に合成する。複数の連写画像のそれぞれについて動体を抽出して１枚の画像に順次合成することにより、ストロボアクション画像を作成する。
【００３３】
図１に示すように、画像出力手段５は、液晶ディスプレイ装置（Liquid  Crystal  Display；以下、ＬＣＤという）で構成されている。画像出力手段５は、制御手段３に接続されるとともに、制御手段３により表示が制御されるようになっている。
【００３４】
操作手段６は、スイッチや、レバーや、タッチパネル等により構成されるとともに、ユーザによる操作入力を受けるようになっている。
【００３５】
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図３に示すフローチャートを用いて説明する。この画像処理方法は、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。
【００３６】
サイズ縮小ステップは、動体を連続撮影した複数の静止画像からなる連写画像を縮小して縮小連写画像を作成するものとしている。マスク作成ステップは、複数の縮小連写画像から動体領域を抽出して縮小動体抽出マスク画像を作成するものとしている。サイズ復元ステップは、縮小動体抽出マスク画像を拡大し、サイズ縮小部４１で縮小する前の大きさに復元して動体抽出マスク画像を作成するものとしている。画像合成ステップは、動体抽出マスク画像を利用して連写画像から動体領域を抽出し動体画像を得るとともに、動体画像を連写画像の所定の１枚に合成するものとしている。
【００３７】
まず、撮像手段２が、動体を含む被写体を連続撮影する（図４（ａ）〜図４（ｅ）を参照）。得られた画像は、撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。記憶部４０は、撮像手段２から出力された連写画像を記憶する。一例として、画像記憶部４０は、図４（ａ）〜図４（ｃ）に示す３枚の連写画像（画像ＩＡ、画像ＩＢ、画像ＩＣ）を記憶したものとする。
【００３８】
サイズ縮小部４１は、画像記憶部４０から出力された連写画像を入力し、サイズ縮小ステップの一例として、入力した各画像に縮小処理を行う（ステップＳ２）。縮小処理の方法としては、単純に画素を間引く方法、最隣接補間法、バイリニア補間法等を適宜利用することができる。上述した３枚の連写画像（画像ＩＡ、画像ＩＢ、画像ＩＣ）の例では、サイズ縮小部４１により各画像が縮小されて、３枚の縮小連写画像（画像ｉＡ、画像ｉＢ、画像ｉＣ）を得たものとする。
【００３９】
ここで、画像が縮小されることにより、１画素あたりの表示する被写体の面積が広くなるので、画像が僅かでも縮小されることでノイズや手ぶれによるずれが吸収される効果は認められる。また、画像の縮小の程度が大きいほど、ノイズや手ぶれによるずれが吸収される効果は大きくなるが、画像の縮小の程度が大きすぎるとマスク画像が不適になってしまう。
【００４０】
そこで、画像の縮小の程度は、手ぶれの量や元の画像の画素数に応じて適宜設定することが好ましい。例えば、元の画像が約３６００×２７００ピクセルで、手ぶれ量が通常の範囲である場合は、連写画像の１辺あたり１／８〜１／３２程度に縮小することが好ましく、１／１６程度にすることがより好ましい。ただし、この数値範囲に限られないのは勿論である。
【００４１】
差分計算部４２ａは、サイズ縮小部４１から出力された連写縮小画像の輝度の差分データを得る（ステップＳ３）。例えば、上述した３枚の縮小連写画像（画像ｉＡ、画像ｉＢ、画像ｉＣ）に対しては、画像ｉＡと画像ｉＢの輝度の差分データｄＡＢ、画像ｉＣと画像ｉＢの差分データｄＣＢをそれぞれ計算する。
【００４２】
各画像の輝度から差分データを算出する計算式は、例えば次のようになっている。
ｄＡＢ（ｘ，ｙ）＝ｉＡ（ｘ，ｙ）−ｉＢ（ｘ，ｙ）
ｄＣＢ（ｘ，ｙ）＝ｉＣ（ｘ，ｙ）−ｉＢ（ｘ，ｙ）
（ｘ，ｙ）は縮量連写画像における座標である。
【００４３】
絶対値計算部４２ｂは、差分計算部４２ａから出力された差分データの絶対値を得る（ステップＳ４）。例えば、差分データｄＡＢおよび差分データｄＣＢに対しては、差分データの絶対値データｅＡＢおよび絶対値データｅＣＢをそれぞれ計算する。
【００４４】
各差分データから絶対値を算出する計算式は、例えば次のようになっている。
ｅＡＢ（ｘ，ｙ）＝ |ｄＡＢ（ｘ，ｙ）|
ｅＣＢ（ｘ，ｙ）＝ |ｄＣＢ（ｘ，ｙ）|
【００４５】
二値化計算部４２ｃは、絶対値計算部４２ｂから出力された絶対値データに対して二値化処理を行い、二値データを得る（ステップＳ５）。例えば、絶対値データｅＡＢおよび絶対値データｅＣＢに対して二値化処理を行い、二値データｆＡＢおよび二値データｆＣＢを得る。
【００４６】
ここでの二値化処理は、例えばある閾値Ｔを予め設定し、次の式により実行される。
ｆＡＢ（ｘ，ｙ）＝０（ｅＡＢ（ｘ，ｙ）＜Ｔの場合）
ｆＡＢ（ｘ，ｙ）＝１（ｅＡＢ（ｘ，ｙ）≧Ｔの場合）
ｆＣＢ（ｘ，ｙ）＝０（ｅＣＢ（ｘ，ｙ）＜Ｔの場合）
ｆＣＢ（ｘ，ｙ）＝１（ｅＣＢ（ｘ，ｙ）≧Ｔの場合）
【００４７】
ＡＮＤ処理部４２ｄは、二値化計算部４２ｃから出力された二値データに対してＡＮＤ処理を行い、マスク作成ステップの一例として、縮小動体抽出マスク画像を得る（ステップＳ６）。ＡＮＤ処理は２つの二値データの各座標について論理積を取ることで実行し、縮小動体抽出マスク画像ｇＡＢＣを得る。
【００４８】
ここでのＡＮＤ処理は、例えば二値データｆＡＢと二値データｆＣＢに対して行い、次の式により実行される。
ｇＡＢＣ（ｘ，ｙ）＝１（ｆＡＢ（ｘ，ｙ）、ｆＣＢ（ｘ，ｙ）の両方が１の場合）
ｇＡＢＣ（ｘ，ｙ）＝０（ｆＡＢ（ｘ，ｙ）、ｆＣＢ（ｘ，ｙ）の少なくとも一方が０の場合）
【００４９】
サイズ復元部４３は、サイズ復元ステップの一例として、ＡＮＤ処理部４２ｄから出力された縮小動体抽出マスク画像ｇＡＢＣを連写画像と同じサイズに拡大し、図５（ａ）に示すように動体抽出マスク画像ＧＡＢＣを得る（ステップＳ７）。サイズ復元部４３での拡大手法は、サイズ縮小部４１で述べたような再隣接補間法やバイリニア補間法等を適宜利用できる。
【００５０】
合成部４４は、画像合成ステップの一例として、サイズ復元部４３から出力された動体抽出マスクＧＡＢＣと、記憶部４０から出力された画像ＩＢと、直前に作成された前ストロボ画像Ｓｎ−１とを用いて、現ストロボ画像Ｓｎを得る（ステップＳ８）。
【００５１】
その計算式は以下の通りとなる。
Ｓｎ（ｘ,ｙ）＝Ｓｎ−１（ｘ,ｙ）×（１−ＧABC（ｘ,ｙ））＋ＩＢ（ｘ,ｙ）×ＧABC（ｘ,ｙ）
【００５２】
ここで、合成部４４において合成される記憶部４０から出力された画像ＩＢについては、画像の縮小および拡大を行っていないので、画像ＩＢ自体の劣化がないことは勿論である。また、最初の合成処理で前ストロボ画像Ｓｎ−１が無い場合は、連写画像からストロボアクション画像のベースとなる任意の画像を１枚選択し、前ストロボ画像Ｓｎ−１とする。
【００５３】
そして、ＣＰＵ３０は、合成を行っていない残りの連写画像があるか否かを判断する（ステップＳ９）。残りの連写画像がある場合は（ステップＳ９；ＹＥＳ）、次の連写画像について動体抽出マスク画像を作成して動体画像を得るために、サイズ縮小部４１が次の連写画像に縮小処理を行う（ステップＳ２）。一方、残りの連写画像がない場合は（ステップＳ９；ＮＯ）、処理を終了する。
【００５４】
以上のように、本実施の形態に係る画像処理手段４によれば、マスク作成部４２における処理の前に連写画像ＩＡ〜ＩＣを縮小して縮小連写画像ｉＡ〜ｉＣを得ている。また、マスク作成部４２における処理の後に縮小動体抽出マスク画像ｇＡＢＣを拡大して元のサイズに復元して、動体抽出マスク画像ＧＡＢＣを得ている。
【００５５】
このため、従来のように連写画像のそのままのサイズでマスク画像を作成する場合（図５（ｂ）を参照）に比べて、連写画像をマスク画像の作成前に縮小することでマスク画像におけるノイズが少なくなり（図５（ａ）を参照）、手ぶれによる画像のずれを吸収することができる。これにより、画像処理手段４をコンパクトデジタルスチルカメラ１のような小型の撮像装置に搭載しても、高精度なストロボアクション画像を十分に実用性のある処理時間で得ることができる。
【００５６】
（第２の実施の形態）
本実施の形態は、上述の第１の実施の形態と略同様の全体構成を有している。本実施の形態に係るデジタルカメラ１においては、画像処理手段２０４の構成が異なっているが、他の構成は同様に構成されている。したがって、同一の構成については、図１〜図３に示した第１の実施の形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
【００５７】
図６に示すように、本実施の形態の画像処理手段２０４は、記憶部４０と、手ぶれ量検知部２４５と、手ぶれ補正部２４６と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
【００５８】
手ぶれ量検知部２４５は、連写画像がサイズ縮小部４１において縮小される前に、連写画像の手ぶれの量を検知するようになっている。手ぶれ量検知部２４５は、画像を用いて手ぶれ量を検知するものであり、手法としては例えばブロックマッチング法を用いるようにしている。
【００５９】
手ぶれ補正部２４６は、連写画像がサイズ縮小部４１において縮小される前に、手ぶれ量検知部２４５で検知された手ぶれの量に応じて連写画像における手ぶれを補正するようになっている。
【００６０】
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図７に示すフローチャートを用いて説明する。この画像処理方法は、手ぶれ補正ステップと、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。手ぶれ補正ステップは、サイズ縮小ステップの前に、連写画像の手ぶれの量を検知するとともに、手ぶれの量に応じて連写画像における手ぶれを補正するものとしている。
【００６１】
まず、連写画像が撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。そして、手ぶれ量検知部２４５は、手ぶれ補正ステップの一例として、入力した各画像の手ぶれ量を検知する（ステップＳ２０１）。例えば、ブロックマッチング法では、異なる時刻に撮影された２枚の画像間で、同じ対象の対応付けを行い、その移動量として動きベクトルを検出する。
【００６２】
図８（ａ）に示すように、画像２００は、ある時刻ｔ０において撮影された画像である。また、図８（ｂ）に示すように、画像３００は、時刻ｔ０とは異なる時刻ｔ１において撮影された画像である。
【００６３】
ここでは、画像２００中の位置（ｉ，ｊ）の領域２０１の動きベクトルを検出する。領域２０１は、横方向にＭ画素、縦方向にＮ画素の計（Ｍ×Ｎ）画素を含む。この領域２０１をテンプレートとし、画像３００中における領域２０１と同じ位置の領域３０１の近傍領域３１０において、類似度演算を行い、類似度が最も高い位置または相違度が最も低い位置を対応領域とする。
【００６４】
テンプレートの対応領域が、図中の領域３０２の場合には、動きベクトルは、領域３０１の中心から領域３０２の中心へと向かうベクトル３０５となる。これを、動きベクトルＶｉｊとする。
【００６５】
相違度を表す指標は、例えば、ＳＡＤ（Sum of Absolute Difference）を用いることが好ましい。ＳＡＤは、次の数式１により表される。
【数１】
0005803467.tif 000002
【００６６】
ここで、ＲはＳＡＤで算出した相違度、Ｉはｘ＝ｙ＝０のときに領域３０１と一致する画像３００の部分領域、Ｔはテンプレート領域２０１である。近傍領域３１０内で、ｘおよびｙを変化させてＳＡＤを算出し、値の最も低いときのｘの値ｘｍｉｎ及びｙの値ｙｍｉｎから対応する領域３０２を決定する。すなわち、Ｖｉｊ＝（ｘｍｉｎ，ｙｍｉｎ）で表される。
【００６７】
次に、手ぶれ補正部２４６は、手ぶれ量検知部２４５で検知された手ぶれの量に応じて連写画像における手ぶれを補正する（ステップＳ２０２）。上述した画像３００について手ぶれ補正を行う場合は、手ぶれ量検知部２４５で検知された手ぶれの量Ｖｉｊ＝（ｘｍｉｎ，ｙｍｉｎ）に対応して、画像３００をＶｉｊだけ逆方向にずらす処理を行う。
【００６８】
以降の動作は第１の実施形態のステップＳ２以降と同様であるので説明を省略する。
【００６９】
以上のように、本実施の形態に係る画像処理手段２０４によれば、サイズ縮小部４１における処理の前に連写画像に手ぶれ補正処理を施している。このため、第１の実施形態のようなサイズ縮小部４１およびサイズ復元部４３のみでは吸収できないような大きな手ぶれが生じていても、適正な動体領域を抽出することができる。よって、大きな手ぶれが生じていても、背景領域を誤ってマスクするようなことを抑制することができる。しかも、手ぶれ補正を画像処理により行っているので、撮像装置への負担が小さく、処理時間を短く抑えることができる。
【００７０】
（第３の実施の形態）
本実施の形態は、上述の第１の実施の形態と略同様の全体構成を有している。本実施の形態に係るデジタルカメラ１においては、画像処理手段３０４の構成が異なっているが、他の構成は同様に構成されている。したがって、同一の構成については、図１〜図３に示した第１の実施の形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
【００７１】
図９に示すように、本実施の形態の画像処理手段３０４は、記憶部４０と、手ぶれ量検知部３４５と、手ぶれ補正部３４６と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
【００７２】
手ぶれ量検知部３４５は、連写画像がサイズ縮小部４１において縮小される前に、連写画像の手ぶれの量を検知するようになっている。手ぶれ量検知部３４５は、撮像装置に備えられた外部センサとしている。外部センサとしては、例えば加速度センサを用いることができる（図９中、加速度センサとして示す）。
【００７３】
手ぶれ補正部３４６は、連写画像がサイズ縮小部４１において縮小される前に、手ぶれ量検知部３４５で検知された手ぶれの量に応じて連写画像における手ぶれを補正するようになっている。
【００７４】
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図１０に示すフローチャートを用いて説明する。この画像処理方法は、手ぶれ補正ステップと、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。手ぶれ補正ステップは、サイズ縮小ステップの前に、連写画像の手ぶれの量を検知するとともに、手ぶれの量に応じて連写画像における手ぶれを補正するものとしている。
【００７５】
まず、連写画像が撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。そして、手ぶれ量検知部３４５は、手ぶれ補正ステップの一例として、入力した各画像の手ぶれ量を検知する（ステップＳ３０１）。
【００７６】
例えば、図１１に示すように、画像３５０は、ある時刻ｔ０において撮影された画像である。また、画像３６０は、時刻ｔ０とは異なる時刻ｔ１において撮影された画像である。加速度センサにより、時刻ｔ０と時刻ｔ１との間での被写体に対するデジタルカメラ１の横方向の移動量Δｘと縦方向の移動量Δｙとが検出される。
【００７７】
次に、手ぶれ補正部３４６は、手ぶれ量検知部３４５で検知された手ぶれの量に応じて連写画像における手ぶれを補正する（ステップＳ３０２）。上述した画像３１０について手ぶれ補正を行う場合は、手ぶれ量検知部３４５で検知された手ぶれの量（Δｘ，Δｙ）に対応して、画像３１０をその分だけ逆方向にずらす処理を行う。
【００７８】
以降の動作は第１の実施形態のステップＳ２以降と同様であるので説明を省略する。
【００７９】
以上のように、本実施の形態に係る画像処理手段３０４によれば、手ぶれ量検知部３４５が加速度センサであるので、デジタルカメラ１の実際のぶれ量を高精度に検出することができる。
【００８０】
（第４の実施の形態）
本実施の形態は、上述の第１の実施の形態と略同様の全体構成を有している。本実施の形態に係るデジタルカメラ１においては、画像処理手段４０４の構成が異なっているが、他の構成は同様に構成されている。したがって、同一の構成については、図１〜図３に示した第１の実施の形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
【００８１】
図１２に示すように、本実施の形態の画像処理手段４０４は、記憶部４０と、縮小部４４５と、手ぶれ量検知部４４６と、手ぶれ補正部４４７と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
【００８２】
縮小部４４５は、連写画像が手ぶれ補正される前に手ぶれ量検知用の画像を縮小するようになっている。手ぶれ量検知部４４６は、連写画像がサイズ縮小部４１において縮小される前に、連写画像の手ぶれの量を検知するようになっている。手ぶれ量検知部４４７は、画像を用いて手ぶれ量を検知するものであり、手法としては例えばブロックマッチング法を用いるようにしている。
【００８３】
手ぶれ補正部４４７は、連写画像がサイズ縮小部４１において縮小される前に、手ぶれ量検知部４４６で検知された手ぶれの量に応じて連写画像における手ぶれを補正するようになっている。
【００８４】
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図１３に示すフローチャートを用いて説明する。この画像処理方法は、手ぶれ補正ステップと、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。手ぶれ補正ステップは、サイズ縮小ステップの前に、連写画像を縮小して、連写画像の手ぶれの量を検知するとともに、手ぶれの量に応じて連写画像における手ぶれを補正するものとしている。
【００８５】
まず、連写画像が撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。そして、縮小部４４５は、手ぶれ補正ステップの一例として、連写画像を手ぶれ量検知用画像として縮小する（ステップＳ４０１）。手ぶれ量検知部４４６は、入力した各縮小画像の手ぶれ量を検知する（ステップＳ４０２）。次に、手ぶれ補正部４４７は、手ぶれ量検知部４４６で検知された手ぶれの量に応じて連写画像における手ぶれを補正する（ステップＳ４０３）。
【００８６】
以降の動作は第１の実施形態のステップＳ２以降と同様であるので説明を省略する。
【００８７】
以上のように、本実施の形態に係る画像処理手段４０４によれば、手ぶれ量検知部４４６において手ぶれ量を検知する前に、縮小部４４５が検知用の画像を縮小している。このため、例えばブロックマッチングにおける探索範囲やテンプレートのサイズを小さくすることができるので、演算回数を少なくでき、画像の縮小を行わない場合に比べて処理時間の短縮化や処理コストの低減を図ることができる。
【００８８】
（第５の実施の形態）
本実施の形態は、上述の第１の実施の形態と略同様の全体構成を有している。本実施の形態に係るデジタルカメラ１においては、画像処理手段５０４の構成が異なっているが、他の構成は同様に構成されている。したがって、同一の構成については、図１〜図３に示した第１の実施の形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
【００８９】
図１４に示すように、本実施の形態の画像処理手段５０４は、記憶部４０と、手ぶれ量検知部５４５と、縮小率決定部５４６と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
【００９０】
手ぶれ量検知部５４５は、連写画像がサイズ縮小部４１において縮小される前に、連写画像の手ぶれの量を検知するようになっている。手ぶれ量検知部５４５は、撮像装置に備えられた外部センサとしている。外部センサとしては、例えば加速度センサを用いることができる（図１４中、加速度センサとして示す）。
【００９１】
縮小率決定部５４６は、連写画像がサイズ縮小部４１において縮小される前に、サイズ縮小部４１で連写画像を縮小する縮小率を手ぶれ量検知部５４５で検知された手ぶれの量に応じて決定するようになっている。
【００９２】
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図１５に示すフローチャートを用いて説明する。この画像処理方法は、縮小率決定ステップと、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。縮小率決定ステップは、サイズ縮小ステップの前に、連写画像の手ぶれの量を検知するとともに、手ぶれの量に応じて連写画像を縮小する縮小率を決定するものとしている。
【００９３】
まず、連写画像が撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。そして、手ぶれ量検知部５４５は、縮小率決定ステップの一例として、入力した各縮小画像の手ぶれ量を検知する（ステップＳ５０１）。次に、縮小率決定部５４６は、手ぶれ量検知部５４５で検知された手ぶれの量に応じて、サイズ縮小部４１で連写画像を縮小する縮小率を決定する（ステップＳ５０２）。
【００９４】
ここで、例えば、サイズ縮小部４１における初期設定の縮小率を１／Ｍ０（例えば１／１６等）とし、縮小により吸収できる手ぶれ量はＭ０／ｋ画素とする。ここで、ｋの値は、使用するデジタルカメラ１により適宜設定することができる。
【００９５】
これに対し、初期設定で想定された手ぶれ量を超える手ぶれが発生した場合は、サイズ縮小部４１で用いる縮小率Ｍ１を初期設定の縮小率Ｍ０に対して変更する。縮小率の変更は、例えば次式により行われる。
Ｍ１＝α・Ｍ０
【００９６】
αは手ぶれ量検知部５４５により検知された手ぶれの画素数により適宜変更される係数である。例えば、手ぶれ量検知部５４５により検知された手ぶれの画素数がＭ０／ｋ画素と同じである場合は、α＝１とする。また、手ぶれ量検知部５４５により検知された手ぶれの画素数がＭ０画素である場合は、α＝ｋとする。そして、得られた修正後の縮小率Ｍ１を用いて、サイズ縮小部４１で連写画像を縮小する。
【００９７】
以降の動作は第１の実施形態のステップＳ２以降と同様であるので説明を省略する。
【００９８】
以上のように、本実施の形態に係る画像処理手段５０４によれば、縮小率決定部５４６が、手ぶれ量検知部５４５で検知された手ぶれの量に応じて、サイズ縮小部４１で連写画像を縮小する縮小率を決定している。このため、初期設定での縮小率で想定していた手ぶれよりも大きな手ぶれが生じた場合でも、適正な動体領域を抽出することができる。よって、大きな手ぶれが生じていても、背景領域を誤ってマスクするようなことを抑制することができる。
【００９９】
また、本実施の形態では、手ぶれ量検知部５４５により検知された手ぶれの画素数に応じてαを適宜設定して、Ｍ１＝α・Ｍ０式を用いて都度計算している。しかしながら、これに限定されるものではなく、例えば、縮小率決定部５４６に予めルックアップテーブルを記憶しておき、手ぶれ量検知部５４５により検知された手ぶれの画素数に応じてルックアップテーブルを参照して縮小率を出力するようにしてもよい。
【０１００】
（第６の実施の形態）
本実施の形態は、上述の第１の実施の形態と略同様の全体構成を有している。本実施の形態に係るデジタルカメラ１においては、画像処理手段６０４の構成が異なっているが、他の構成は同様に構成されている。したがって、同一の構成については、図１〜図３に示した第１の実施の形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
【０１０１】
図１６に示すように、本実施の形態の画像処理手段６０４は、記憶部４０と、手ぶれ量検知部６４５と、縮小率決定部６４６と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
【０１０２】
手ぶれ量検知部６４５は、連写画像がサイズ縮小部４１において縮小される前に、連写画像の手ぶれの量を検知するようになっている。手ぶれ量検知部６４５は、画像を用いて手ぶれ量を検知するものである。手ぶれ量検知のための手法としては、例えば画像間の差分を算出するようにしている。
【０１０３】
縮小率決定部６４６は、連写画像がサイズ縮小部４１において縮小される前に、サイズ縮小部４１で連写画像を縮小する縮小率を、手ぶれ量検知部６４５で検知された手ぶれの量、すなわち差分量に応じて決定するようになっている。
【０１０４】
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図１７に示すフローチャートを用いて説明する。この画像処理方法は、縮小率決定ステップと、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。縮小率決定ステップは、サイズ縮小ステップの前に、連写画像の手ぶれの量を検知するとともに、手ぶれの量に応じて連写画像を縮小する縮小率を決定するものとしている。
【０１０５】
まず、連写画像が撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。そして、手ぶれ量検知部６４５は、縮小率決定ステップの一例として、入力した各縮小画像の手ぶれ量を検知する（ステップＳ６０１）。次に、縮小率決定部６４６は、手ぶれ量検知部６４５で検知された手ぶれの量に応じて、サイズ縮小部４１で連写画像を縮小する縮小率を決定する（ステップＳ６０２）。
【０１０６】
例えば、図１８（ａ）に示すように、手ぶれ量検知部６４５は、画像６００の四隅よりやや内側に入った部位６０１の４箇所において差分の検出を行っている。そして、４箇所の差分から１画素当たりの差分量を算出する。さらに、縮小率決定部６４６は、手ぶれ量検知部６４５で得られた差分量に応じて、縮小率を決定する。例えば、手ぶれ量検知部６４５で得られた差分量が想定よりも大きい場合は、画像がより小さくなるように縮小する。
【０１０７】
以降の動作は第１の実施形態のステップＳ２以降と同様であるので説明を省略する。
【０１０８】
以上のように、本実施の形態に係る画像処理手段６０４によれば、手ぶれ量検知部６４５は画像６００の四隅よりやや内側に入った部位６０１の４箇所で差分の検出を行っているので、動体が存在する可能性高い画像中央部を避けて手ぶれ量を検知することができる。このため、手ぶれ量を算出する際に動体の影響を受けにくく、高精度に手ぶれ量を検出することができる。よって、大きな手ぶれが生じていても、背景領域を誤ってマスクするようなことを抑制することができる。
【０１０９】
また、本実施の形態では、手ぶれ量検知部６４５は画像６００の四隅よりやや内側に入った部位６０１の４箇所で差分の検出を行っている。しかしながら、これに限定されるものではなく、例えば、図１８（ｂ）に示すように、画像６１０の四隅６１１の４箇所で差分の検出を行うようにしてもよい。あるいは、図１８（ｃ）に示すように、画像６２０の周縁部６２１で差分の検出を行うようにしてもよく、さらには画像の全体で差分の検出を行うようにしてもよい。
【０１１０】
（第７の実施の形態）
本実施の形態は、上述の第１の実施の形態と略同様の全体構成を有している。本実施の形態に係るデジタルカメラ１においては、画像処理手段７０４の構成が異なっているが、他の構成は同様に構成されている。したがって、同一の構成については、図１〜図３に示した第１の実施の形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
【０１１１】
図１９に示すように、本実施の形態の画像処理手段７０４は、記憶部４０と、縮小部７４５と、手ぶれ量検知部７４６と、縮小率決定部７４７と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
【０１１２】
縮小部７４５は、連写画像の手ぶれ量が検知される前に手ぶれ量検知用の画像を縮小するようになっている。手ぶれ量検知部７４６は、連写画像がサイズ縮小部４１において縮小される前に、連写画像の手ぶれの量を検知するようになっている。手ぶれ量検知部７４６は、画像を用いて手ぶれ量を検知するものである。手ぶれ量検知のための手法としては、例えば画像間の差分を算出するようにしている。
【０１１３】
縮小率決定部７４７は、連写画像がサイズ縮小部４１において縮小される前に、サイズ縮小部４１で連写画像を縮小する縮小率を、手ぶれ量検知部７４６で検知された手ぶれの量、すなわち差分量に応じて決定するようになっている。
【０１１４】
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図２０に示すフローチャートを用いて説明する。この画像処理方法は、縮小率決定ステップと、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。縮小率決定ステップは、サイズ縮小ステップの前に、連写画像の手ぶれの量を検知するとともに、手ぶれの量に応じて連写画像を縮小する縮小率を決定するものとしている。
【０１１５】
まず、連写画像が撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。そして、縮小部７４５は、縮小率決定ステップの一例として、連写画像を手ぶれ量検知用画像として縮小する（ステップＳ７０１）。手ぶれ量検知部７４６は、入力した各縮小画像の手ぶれ量を検知する（ステップＳ７０２）。次に、縮小率決定部７４７は、手ぶれ量検知部７４６で検知された手ぶれの量に応じて、サイズ縮小部４１で連写画像を縮小する縮小率を決定する（ステップＳ７０３）。
【０１１６】
以降の動作は第１の実施形態のステップＳ２以降と同様であるので説明を省略する。
【０１１７】
以上のように、本実施の形態に係る画像処理手段７０４によれば、手ぶれ量検知部７４６において手ぶれ量を検知する前に、縮小部７４５が検知用の画像を縮小している。このため、例えばブロックマッチングにおける探索範囲やテンプレートのサイズを小さくすることができるので、演算回数を少なくでき、画像の縮小を行わない場合に比べて処理時間の短縮化や処理コストの低減を図ることができる。
【０１１８】
（第８の実施の形態）
本実施の形態は、上述の第１の実施の形態と略同様の全体構成を有している。本実施の形態に係るデジタルカメラ１においては、画像処理手段８０４の構成が異なっているが、他の構成は同様に構成されている。したがって、同一の構成については、図１〜図３に示した第１の実施の形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
【０１１９】
図２１に示すように、本実施の形態の画像処理手段８０４は、記憶部４０と、手ぶれ量検知部８４５と、手ぶれ補正部８４６と、縮小率決定部８４７と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
【０１２０】
手ぶれ量検知部８４５は、連写画像がサイズ縮小部４１において縮小される前に、連写画像の手ぶれの量を検知するようになっている。手ぶれ量検知部８４５は、撮像装置に備えられた外部センサとしている。外部センサとしては、例えば加速度センサを用いることができる（図２１中、加速度センサとして示す）。
【０１２１】
手ぶれ補正部８４６は、連写画像がサイズ縮小部４１において縮小される前に、手ぶれ量検知部８４５で検知された手ぶれの量に応じて連写画像における手ぶれを補正するようになっている。
【０１２２】
縮小率決定部８４７は、連写画像がサイズ縮小部４１において縮小される前に、サイズ縮小部４１で連写画像を縮小する縮小率を、手ぶれ量検知部８４５で検知された手ぶれの量に応じて決定するようになっている。
【０１２３】
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図２２に示すフローチャートを用いて説明する。この画像処理方法は、手ぶれ補正ステップと、縮小率決定ステップと、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。
【０１２４】
手ぶれ補正ステップは、サイズ縮小ステップの前に、連写画像を縮小して、連写画像の手ぶれの量を検知するとともに、手ぶれの量に応じて連写画像における手ぶれを補正するものとしている。縮小率決定ステップは、サイズ縮小ステップの前に、手ぶれ補正ステップで検知された連写画像の手ぶれの量に応じて、連写画像を縮小する縮小率を決定するものとしている。
【０１２５】
まず、連写画像が撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。そして、手ぶれ量検知部８４５は、手ぶれ補正ステップの一例として、入力した各画像の手ぶれ量を検知する（ステップＳ８０１）。次に、手ぶれ補正部８４６は、手ぶれ量検知部８４５で検知された手ぶれの量に応じて連写画像における手ぶれを補正する（ステップＳ８０２）。さらに、次に、縮小率決定部８４７は、縮小率決定ステップの一例として、手ぶれ量検知部８４５で検知された手ぶれの量に応じて、サイズ縮小部４１で連写画像を縮小する縮小率を決定する（ステップＳ８０３）。
【０１２６】
以降の動作は第１の実施形態のステップＳ２以降と同様であるので説明を省略する。
【０１２７】
以上のように、本実施の形態に係る画像処理手段８０４によれば、サイズ縮小部４１における処理の前に、手ぶれ補正処理と縮小率の決定を行っている。よって、大きな手ぶれが生じていても、背景領域を誤ってマスクするようなことをより確実に抑制することができる。
【０１２８】
（第９の実施の形態）
本実施の形態は、上述の第１の実施の形態と略同様の全体構成を有している。本実施の形態に係るデジタルカメラ１においては、画像処理手段９０４の構成が異なっているが、他の構成は同様に構成されている。したがって、同一の構成については、図１〜図３に示した第１の実施の形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
【０１２９】
図２３に示すように、本実施の形態の画像処理手段９０４は、記憶部４０と、手ぶれ量検知部９４５と、手ぶれ補正部９４６と、縮小率決定部９４７と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
【０１３０】
手ぶれ量検知部９４５は、連写画像がサイズ縮小部４１において縮小される前に、連写画像の手ぶれの量を検知するようになっている。手ぶれ量検知部９４５は、画像を用いて手ぶれ量を検知するものであり、手法としては、例えば、第２の実施の形態と同様のブロックマッチング法を用いるようにしている。
【０１３１】
手ぶれ補正部９４６は、連写画像がサイズ縮小部４１において縮小される前に、手ぶれ量検知部９４５で検知された手ぶれの量に応じて連写画像における手ぶれを補正するようになっている。
【０１３２】
縮小率決定部９４７は、連写画像がサイズ縮小部４１において縮小される前に、サイズ縮小部４１で連写画像を縮小する縮小率を、手ぶれ量検知部９４５で検知された手ぶれの量に応じて決定するようになっている。
【０１３３】
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図２４に示すフローチャートを用いて説明する。この画像処理方法は、手ぶれ補正ステップと、縮小率決定ステップと、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。
【０１３４】
手ぶれ補正ステップは、サイズ縮小ステップの前に、連写画像を縮小して、連写画像の手ぶれの量を検知するとともに、手ぶれの量に応じて連写画像における手ぶれを補正するものとしている。縮小率決定ステップは、サイズ縮小ステップの前に、手ぶれ補正ステップで検知された連写画像の手ぶれの量に応じて、連写画像を縮小する縮小率を決定するものとしている。
【０１３５】
まず、連写画像が撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。そして、手ぶれ量検知部９４５は、手ぶれ補正ステップの一例として、入力した各画像の手ぶれ量を検知する（ステップＳ９０１）。次に、手ぶれ補正部９４６は、手ぶれ量検知部９４５で検知された手ぶれの量に応じて連写画像における手ぶれを補正する（ステップＳ９０２）。さらに、次に、縮小率決定部９４７は、縮小率決定ステップの一例として、手ぶれ量検知部９４５で検知された手ぶれの量に応じて、サイズ縮小部４１で連写画像を縮小する縮小率を決定する（ステップＳ９０３）。
【０１３６】
以降の動作は第１の実施形態のステップＳ２以降と同様であるので説明を省略する。
【０１３７】
以上のように、本実施の形態に係る画像処理手段９０４によれば、サイズ縮小部４１における処理の前に、手ぶれ補正処理と縮小率の決定を行っている。よって、大きな手ぶれが生じていても、背景領域を誤ってマスクするようなことをより確実に抑制することができる。
【０１３８】
また、上述した各実施の形態では、手ぶれ量検知部２４５，３４５，４４６，５４５，６４５，７４６，８４５，９４５の手法として、ブロックマッチングや差分の画像処理を利用するもの、あるいは加速度センサを利用するものとした。しかしながら、これに限定されるものではなく、他の方法を利用するものであってもよい。
【実施例】
【０１３９】
上述した第１の実施の形態に係るデジタルカメラ１を利用してストロボアクション画像を作成した。本実施例では、デジタルカメラ１により、移動する自動車のおもちゃを５コマ／秒で撮影した。連続撮影で得られた画像を図４（ａ）〜図４（ｅ）に画像ＩＡ〜画像ＩＥで示す。
【０１４０】
（実施例１）
図３に示すフローチャートに沿って、画像ＩＡ〜画像ＩＣを用いて画像ＩＢにおける動体抽出マスク画像ＧＡＢＣを得た。その結果を図５（ａ）に示す。同図に示すように、動体抽出マスク画像ＧＡＢＣは、輪郭が自動車おもちゃの輪郭にほぼ一致するとともに、ノイズが少なく鮮明なマスク画像となった。
【０１４１】
また、得られた動体抽出マスク画像ＧＡＢＣ等を利用して、ストロボアクション画像ＩＳを作成した。その結果を図４（ｆ）に示す。同図に示すように、自動車おもちゃの周囲の背景に自動車おもちゃとの重なりは見られず、背景は静止するとともに動体のみが移動して見えるストロボアクション画像ＩＳを得ることができた。
【０１４２】
（比較例１）
図３に示すフローチャートに対して、縮小画像を作成する工程（ステップＳ２）および拡大処理により動体抽出マスクを作成する工程（ステップＳ７）のみを省略した処理により、動体抽出マスクＨＡＢＣを作成した。その結果を図５（ｂ）に示す。同図に示すように、動体抽出マスクＨＡＢＣは、全体的にノイズが多く、輪郭も乱れたマスク画像となった。
【０１４３】
したがって、マスク画像を作成する前に画像を縮小するとともに、マスク画像の作成後に元の大きさに復元する処理を行うことにより、輪郭が動体の輪郭にほぼ一致するとともに、ノイズが少なく鮮明なマスク画像を得られることが確認された。
【符号の説明】
【０１４４】
１  コンパクトデジタルスチルカメラ（撮像装置の一例）
２  撮像手段
３  制御手段
４，２０４，３０４，４０４，５０４，６０４，７０４，８０４，９０４  画像処理手段（画像処理装置の一例）
４１  サイズ縮小部
４２  マスク作成部
４３  サイズ復元部
４４  合成部
２４５，３４５，４４６，５４５，６４５，７４６，８４５，９４５  手ぶれ量検知部
２４６，３４６，４４７，８４６，９４６  手ぶれ補正部
５４６，６４６，７４７，８４７，９４７  縮小率決定部
４４５，７４５  縮小部
【先行技術文献】
【特許文献】
【０１４５】
【特許文献１】特許第３７９３２５８号公報
【図１】
0005803467.tif 000003
【図２】
0005803467.tif 000004
【図３】
0005803467.tif 000005
【図６】
0005803467.tif 000006
【図７】
0005803467.tif 000007
【図８】
0005803467.tif 000008
【図９】
0005803467.tif 000009
【図１０】
0005803467.tif 000010
【図１１】
0005803467.tif 000011
【図１２】
0005803467.tif 000012
【図１３】
0005803467.tif 000013
【図１４】
0005803467.tif 000014
【図１５】
0005803467.tif 000015
【図１６】
0005803467.tif 000016
【図１７】
0005803467.tif 000017
【図１８】
0005803467.tif 000018
【図１９】
0005803467.tif 000019
【図２０】
0005803467.tif 000020
【図２１】
0005803467.tif 000021
【図２２】
0005803467.tif 000022
【図２３】
0005803467.tif 000023
【図２４】
0005803467.tif 000024
【図４】
0005803467.tif 000025
【図５】
0005803467.tif 000026