(57)【要約】【課題】室内や夜間等の十分な光量のない撮影条件であっても、ある程度の露出を確保しながらぶれを最小限に抑えること、また被写体毎のぶれを補正すること、さらに省電力で低生産コストを実現すること。【解決手段】ＣＰＵ８の制御により、連続撮影して複数の撮像画像データを生成し、この複数の撮像画像データ間で変化のある被写体画像を、該被写体画像毎に、前記複数の撮像画像データからそれぞれ分離して、前記被写体画像毎の複数の被写体画像データと複数の背景画像データとを生成し、前記被写体画像毎の複数の被写体画像データから、変化の少ない画像データのみを複数選択合成して被写体画像毎に選択合成画像データを生成し、この被写体画像毎の選択合成画像データを、前記複数の背景画像データの合成画像に対して合成する構成を特徴とする。【選択図】      図２
2004208024.tif 000002
【特許請求の範囲】
【請求項１】
複数回連続撮像して複数の撮像画像データを生成する撮像手段と、
前記複数の撮像画像データ間で変化のある被写体画像を、該被写体画像毎に、前記複数の撮像画像データからそれぞれ分離して前記被写体画像毎の複数の被写体画像データと、複数の背景画像データの合成画像とを生成する分離手段と、
前記被写体画像毎の複数の被写体画像データから、変化の少ない画像データのみを選択合成して被写体画像毎の選択合成画像データを生成する選択合成手段と、
前記被写体画像毎の選択合成画像データを前記複数の背景画像データの合成画像に対して合成する合成手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記被写体画像毎の選択合成画像データを各選択合成数に応じてそれぞれ画像処理する画像処理手段を設けたことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記撮像手段は、撮影環境に応じて決定される第１のシャッタ速度より高速の第２のシャッタ速度で、前記第１のシャッタ速度と第２のシャッタ速度に基づく回数連続撮像して複数の撮像画像データを生成することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
複数回連続撮影して複数の撮像画像データを生成する撮像工程と、
前記複数の撮像画像データ間で変化のある被写体画像を、該被写体画像毎に、前記複数の撮像画像データからそれぞれ分離し、前記被写体画像毎の複数の被写体画像データと、複数の背景画像データの合成画像とを生成する分離工程と、
前記被写体画像毎の複数の被写体画像データから、変化の少ない画像データのみを複数選択合成して被写体画像毎に選択合成画像データを生成する選択合成工程と、
前記被写体画像毎の選択合成画像データを、前記複数の背景画像データの合成画像に対して合成する合成工程と、
有することを特徴とする撮像方法。
【請求項５】
請求項４に記載された撮像方法を実行するためのプログラム。
【請求項６】
請求項４に記載された撮像方法を実行するためのプログラムをコンピュータが読み取り可能に記憶した記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数回連続撮像可能な撮像装置および撮像方法およびプログラムおよび記録媒体に関するものである。
【０００２】
【従来の技術】
従来より、デジタルカメラ等の撮像装置では、一般的なカメラと同様に、撮影（撮像）時の明るさに応じて電子シャッタのシャッタ速度を自動制御する制御回路が設けられており、撮像時の明るさに左右されることなく明瞭な画像を記録できるようになっている。
【０００３】
【発明が解決しようとする課題】
図１２は、デジタルカメラにおける画像ずれを説明する図である。
【０００４】
上記従来のデジタルカメラのように、シャッタ速度の自動制御回路が設けられているデジタルカメラにあっては、撮像環境が暗くなるに従ってシャッタ速度が低下する。この場合、被写体の微妙な動きが被写体のみ、ぶれた画像をまねいたり、カメラが三脚等に固定されていないと撮影画像は手ぶれによりぶれた画像になったりする場合がある。
【０００５】
逆に、シャッタスピードを速くすればぶれの程度は低くなるが，光量が足りずアンダーな画像（暗い画像）になってしまう。
【０００６】
例えば、図１２中の２０１に示すように、撮影者がシャッタを押した瞬間に、左右の人（被写体）が互いに手を挙げたとする。すると、シャッタスピードが遅い場合、被写体が動く様子まで撮影されてしまい、ぼやけた画像（ずれた画像）になってしまう。
【０００７】
なお、図１２中の２０２に示す画像は、撮影者が本来撮影したい画像（取り込みたい画像）であり、被写体の動きや撮影者の手ぶれ等による画像のぶれがなく、明るさも十分であり、本来はシャッタスピードに左右されずにこのように写ってほしい。
【０００８】
このように、撮像環境が暗い条件下で撮像を行うと、撮像者の手ぶれや、被写体の動作に起因する画像ずれが生じ易く、鮮明な画像を記録できない場合が生じていた。
【０００９】
また、この手ぶれに起因する画像ずれの補正の問題を解決する方法として、特開２００１−１４５０１４号公報には、手ぶれ量に応じてレンズを駆動し、手ぶれを防止する方法が提案されている。
【００１０】
また、特開２００１−１７７７６０号公報には、撮影環境に応じて自動制御された適正シャッタ速度と、所定の基準シャッタ速度とで撮像を行い、各撮像画像を合成し、手ぶれを補正する方法が提案されている。
【００１１】
しかしながら、上記いずれの方法も、手ぶれに起因する画像ずれの防止は可能であっても、被写体の動作に起因する画像ずれを防止することはできなかった。
【００１２】
また、上記特開２００１−１４５０１４号公報に記載された方法では、レンズを駆動するため、機械的な動作が多く消費電力が大幅に増加してしまい、デジタルカメラの撮影時間を減少させてしまうという問題点があった。
【００１３】
本発明は、上記の問題点を解決するためになされたもので、本発明の目的は、連続撮影して複数の撮像画像データを生成し、この複数の撮像画像データ間で変化のある被写体画像を、該被写体画像毎に、前記複数の撮像画像データからそれぞれ分離して、前記被写体画像毎の複数の被写体画像データと複数の背景画像データとを生成し、前記被写体画像毎の複数の被写体画像データから、変化の少ない画像データのみを複数選択合成して被写体画像毎に選択合成画像データを生成し、この被写体画像毎の選択合成画像データを、前記複数の背景画像データの合成画像に対して合成することにより、室内や夜間等の十分な光量のない撮影条件であっても、ある程度の露出を確保しながらぶれを最小限に抑えることができ、また被写体毎のぶれを補正することができる省電力で低生産コストの撮像装置および撮像方法およびプログラムおよび記録媒体を提供することである。
【００１４】
【課題を解決するための手段】
本発明に係る第１の発明は、複数回連続撮像して複数の撮像画像データ（図５に示す撮像データＭ０１）を生成する撮像手段（図２示すＣＰＵ８の制御により信号処理回路４がＣＣＤ撮像素子３を介して撮像する）と、前記複数の撮像画像データ間で変化のある被写体画像（図５に示す左の人，右の人）を、該被写体画像毎に、前記複数の撮像画像データからそれぞれ分離して前記被写体画像毎の複数の被写体画像データ（図６に示すずれている部分Ｍ０２（左の人６０１〜６０５，右の人６１１〜６１５））と、複数の背景画像データの合成画像（図７に示す背景部分Ｍ０３）とを生成する分離手段（図２示すＣＰＵ８）と、前記被写体画像毎の複数の被写体画像データから、変化の少ない画像データ（図８に示す左の人６０１〜６０３，右の人６１１，６１４，６１５）のみを選択合成して被写体画像毎の選択合成画像データ（図９に示す補正部分Ｍ０５（９０１，９０２））を生成する選択合成手段（図２示すＣＰＵ８）と、前記被写体画像毎の選択合成画像データを前記複数の背景画像データの合成画像に対して合成（図１０に示す合成画像データＭ０６を生成）する合成手段（図２示すＣＰＵ８）と有することを特徴とする。
【００１５】
本発明に係る第２の発明は、前記被写体画像毎の選択合成画像データを各選択合成数に応じてそれぞれ画像処理（撮像データＭ０１を「ｎ枚」撮り、そのうち「ｋ枚（２≦ｋ≦ｎ）」のＭ０２画像を用いて補正部分Ｍ０５を合成する場合、補正部分Ｍ０５のコントラストや色、明るさを「ｎ／ｋ倍」する画像処理）する画像処理手段（図２示すＣＰＵ８）を設けたことを特徴とする。
【００１６】
本発明に係る第３の発明は、前記撮像手段は、撮影環境に応じて決定される第１のシャッタ速度（適正シャッタスピード）より高速の第２のシャッタ速度（輪郭を抽出可能なシャッタスピード）で、前記第１のシャッタ速度と第２のシャッタ速度に基づく回数（（輪郭を抽出可能なシャッタスピード）／（適正シャッタスピード）」を超えない最大回数）連続撮像して複数の撮像画像データを生成することを特徴とする。
【００１７】
本発明に係る第４の発明は、複数回連続撮影して複数の撮像画像データを生成する撮像工程（図３のステップＳ１０７〜Ｓ１０９）と、前記複数の撮像画像データ間で変化のある被写体画像を、該被写体画像毎に、前記複数の撮像画像データからそれぞれ分離し、前記被写体画像毎の複数の被写体画像データと複数の背景画像データとを生成する分離工程（図３のステップＳ１１０〜Ｓ１１５）と、前記被写体画像毎の複数の被写体画像データから、変化の少ない画像データのみを複数選択合成して被写体画像毎に選択合成画像データを生成する選択合成工程（図４のステップＳ１１６〜Ｓ１２１）と、前記被写体画像毎の選択合成画像データを、前記複数の背景画像データの合成画像に対して合成する合成工程（図４のステップＳ１２２〜Ｓ１２４）と有することを特徴とする。
【００１８】
本発明に係る第５の発明は、請求項４に記載された撮像方法を実行するためのプログラムであることを特徴とする。
【００１９】
本発明に係る第６の発明は、請求項４に記載された撮像方法を実行するためのプログラムを記録媒体にコンピュータが読み取り可能に記録させたことを特徴とする。
【００２０】
【発明の実施の形態】
以下、図面を参照して、本発明の一実施形態に係る撮像装置を適用可能なデジタルカメラの時間軸補正によるぶれ防止撮影システム（Ａｃｔｉｖｅ  Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚｅｒ  Ｓｙｓｔｅｍ）について説明する。
【００２１】
図１は、本発明の一実施形態に係る撮像装置を適用可能なデジタルカメラの概観図である。
【００２２】
図において、１０１はデジタルカメラの本体である。１はレンズで、本外１０１の正面に設けられており、このレンズ１を介して撮影された画像が本体１０１の背面に設けられた表示画面１０２に表示される構成になっている。また、１０４はシャッタキーで、本体１の上面に設けられており、このシャッタキー１０４を押下することにより撮影が可能である。１０５は手ぶれ撮影モードキーで、本体１０１の上面に設けられており、この手ぶれ撮影モードキー１０５を押下することにより手ぶれ撮影モードの設定又は解除を行うことができる。
【００２３】
図２は、図１に示したデジタルカメラの構成を示すブロック図である。
【００２４】
図において、このレンズ１の後方には、入射する被写体像の光量を調整する絞り装置２、及びＣＣＤからなる撮像素子３が順次配置されている。絞り装置２は、露出をＦ２〜Ｆ１６に可変設定可能であって絞り制御回路７に接続され、撮像素子３は信号処理回路４に接続されている。
【００２５】
８はＣＰＵで、ＲＯＭ１３又はその他の図示しない記録媒体に格納されるプログラムに基づき動作することによって、このデジタルカメラを構成する各部を制御し、且つ訂正露出と適正シャッタスピードとを算出するものである。このＣＰＵ８には、絞り制御回路７、撮像素子３、及び信号処理回路４が接続されているとともに、表示回路６、表示用ＲＡＭ９、キー入力部１０、外部Ｉ／Ｆ制御部１１、作業用ＲＡＭ１２、ＲＯＭ１３、記憶用メモリ１４が接続されている。
【００２６】
絞り制御回路７は、ＣＰＵ８により算出された適正露出に基づき動作し、絞り装置２を当該適正露出に駆動するものである。信号処理回路４は、撮像素子３からの出力信号を処理するとともに、電子シャッタを内蔵しており、そのシャッタスピードは１〜１／１０００秒の範囲でＣＰＵ８からの指示に従った速度に制御される。なお、ＣＰＵ８は、撮像時の明るさ（撮像環境）に応じて電子シャッタのシャッタ速度を適正シャッタに自動制御することが可能であり、これにより撮像時の明るさに左右されることなく明瞭な画像を記録できる。
【００２７】
キー入力部１０には、図１に示したシャッタキー４及び手ぶれ撮影モードキー５等の各種キーが設けられている。外部Ｉ／Ｆ制御部１１は、このデジタルカメラに接続されるパソコン等の外部機器とのデータ入出力を制御するものである。作業用ＲＡＭ１２は、ＣＰＵ８のワークエリアとして使用されるのみならず、後述する複数枚分の画像データが記録される。さらに、作業用ＲＡＭ１２には、手ぶれ撮影モードキー５で指示された手ぶれ撮影モードの設定の有無が記憶されている。
【００２８】
ＲＯＭ１３には、ＣＰＵ８の動作プログラム等が記憶されており、ＣＰＵ８は、この動作プログラムに基づき動作し各部を制御する。
【００２９】
以下、図３〜図１０を参照して、本発明の撮像装置における時間軸補正によるぶれ防止撮影方法について説明する。
【００３０】
図３，図４は、本発明の撮像装置における第１の制御処理手順の一例を示すフローチャートであり、本発明の撮像装置における時間軸補正によるぶれ防止撮影方法（撮影方法及び画像データの合成方法）に対応する。なお、このフローチャートの処理は、図２に示したＣＰＵ８によりＲＯＭ１３又はその他の記録媒体に格納されたプログラムに基づいて実行されるものである。また、Ｓ１０１〜Ｓ１２７は各ステップを示す。
【００３１】
まず、シャッタキー４が押下されると、ぶれ防止モードが設定されているか否かを判断し（Ｓ１０１）、ぶれ防止モードが設定されていないと判断した場合には、通常撮影モードで撮影を行い（Ｓ１２７）、処理を終了する。
【００３２】
一方、ステップＳ１０１で、ぶれ防止モードが設定されていると判断した場合には、適正シャッタスピード（撮影時の明るさに応じて撮影画像が最適な明るさになるように決定されたシャッタスピード）が基準シャッタスピード（予め定められている所定のシャッタスピード、例えば「１／６０秒」）よりも遅いか否かを判断し（Ｓ１０２）、適正シャッタスピードが基準シャッタスピードよりも遅くないと判断した場合には、通常撮影モードで撮影を行い（Ｓ１２７）、処理を終了する。
【００３３】
一方、ステップＳ１０２で、適正シャッタスピードが基準シャッタスピードよりも遅いと判断した場合には、基準シャッタスピードで撮影を行い（Ｓ１０３）、撮影した被写体の輪郭を抽出が可能であるかどうか判断する（Ｓ１０４）。
【００３４】
ステップＳ１０４で、撮影した被写体の輪郭を抽出が可能でないと判断した場合には、より速いシャッタスピードで撮影し（Ｓ１０５）、輪郭が抽出できるようになるまで、ステップＳ１０４，Ｓ１０５を繰り返す。
【００３５】
そして、ステップＳ１０４で、撮影した被写体の輪郭を抽出が可能であると判断した場合には、撮影条件に基づいて撮影枚数を決定する（Ｓ１０６）。この撮影枚数の決定は、上述の輪郭を抽出可能なシャッタスピード（輪郭抽出可能シャッタスピード）と適正シャッタスピードとに基づいて決定される。例えば、撮影枚数（撮像回数）は、「（上述の輪郭を抽出可能なシャッタスピード）／（適正シャッタスピード）」を超えない最大枚数（最大回数）として決定される。例えば、輪郭を抽出可能なシャッタスピードが「１／１２秒」で、適正シャッタスピードが「１／６０秒」であった場合、撮影枚数は「（１／１２）／（１／６０）＝５」となり、「５枚」と決定される。
【００３６】
次に、このステップＳ１０４で上記被写体の輪郭を抽出可能であると判断されたシャッタスピード（輪郭抽出可能シャッタスピード）で、ステップＳ１０６で決定された枚数（複数枚）の画像を撮影し、１枚目〜５枚目までの撮影画像データＭ０１を図５に示すようにＭ０１として作業用ＲＡＭ１２内に保存する（Ｓ１０７〜Ｓ１０９）。
【００３７】
次に、ステップＳ１０７で撮影した複数の撮影画像データＭ０１から撮影範囲にある「ずれている部分（動いている部分）」，「固定されている部分（静止している部分）」を判定する（Ｓ１１０）。例えば、図５に示した１枚目〜５枚目までの撮影データ内でずれている部分（左の人５０１は１〜３枚目と４，５枚目とでずれており、右の人５０２は１，４，５枚目と２，３枚目とでずれている）と、撮影データ５０１〜５０５内で全て固定されている部分（左の人５０１，右の人５０２以外の部分（以下、背景）は全くずれていない（固定されている））とを判定する。
【００３８】
そして、「ずれている部分」を「固定されている部分（背景等）」から分離し（Ｓ１１１）、該分離された「ずれている部分」を図６に示すようにＭ０２として作業用ＲＡＭ１２内に保存する（Ｓ１１２）。このステップＳ１１０〜Ｓ１１２の処理をずれている部分が無くなるまで（Ｓ１１３）、ずれている部分毎に独立に繰り返し行う。即ち、左の人５０１の５枚の画像データ（図６に示す６０１〜６０５）と、右の人５０２の５枚の画像データ（図６に示す６１１〜６１５）とを、それぞれずれ部分（被写体毎の被写体画像データ）Ｍ０２として独立に保存する。
【００３９】
次に、「ずれている部分」を除いた複数の撮像画像データＭ０１（即ち「固定されている部分（背景等）」）を全て合成し（Ｓ１１４）、該合成画像を図７に示すように作業用ＲＡＭ１２内に背景部分（背景合成画像データ）Ｍ０３として保存する（Ｓ１１５）。
【００４０】
次に、それぞれのずれ部分Ｍ０２の平均位置を求め、それぞれのずれ部分Ｍ０２に対して、前記平均位置からのずれを示す「ずれベクトル」をそれぞれ計算する（Ｓ１１６）、また、ステップＳ１１６で求めた平均位置を補正位置Ｍ０４として決めて作業用ＲＡＭ１２内に保存する（Ｓ１１７）。
【００４１】
次に、補正位置Ｍ０４からのずれベクトルが「０」に近いようなずれ部分Ｍ０２を複数枚抽出する。即ち、形状，位置が明らかに異なるずれ部分を除外して複数のＭ０２を抽出する（Ｓ１１８）。
【００４２】
例えば、図８では、左の人６０１，６０２，６０３は重なる面積が大きい画像であり、また右の人６１１，６１４，６１５も重なる面積が大きい画像である。
【００４３】
この例のように、左の人と右の人がそれぞれ違う向きに手を振っている場合でも、それぞれが最もずれていない画像（左の人６０１，６０２，６０３と右の人６１１，６１４（多少のずれはカバー可能），６１５）のみを選択（抽出）し、左の人６０４，６０５や右の人６１２，６１３は除外することにより、ずれている部位単位で調節を行う（左の人、右の人でそれぞれ調節を行う）ことができる。なお、画像の抽出（選択）の有無は、重なり部分の面積の割合に基づいて決定されるが、この割合をキー入力部１０（図２）等からユーザが指定できるように構成してもよい。
【００４４】
次に、抽出したずれ部分Ｍ０２を合成して１つの画像にし（Ｓ１１９）、図９に示すように合成した画像を補正部分（被写体毎の選択合成体画像データ）Ｍ０５として作業用ＲＡＭ１２内に保存する（Ｓ１２０）。これらステップＳ１１６〜Ｓ１２０の処理が、全てのずれ部分について終了するまで、ステップＳ１１６〜Ｓ１２０を繰り返す。
【００４５】
そして、これらステップＳ１１６〜Ｓ１２０の処理が全てのずれ部分について終了すると（Ｓ１２１）、次に、図５に示した１枚目〜５枚目までの撮影データＭ０１全てを合成（積算）した画像と、ずれ部分Ｍ０２を抜き出した背景画像を合成（積算）した背景合成画像データＭ０３との相対的な関係より、補正部分Ｍ０５の明るさ，コントラスト，色等が合成後に適切なレベルになるように画像処理する（Ｓ１２２）。
【００４６】
なお、ここでの相対的な関係とは、例えば撮像データＭ０１を「ｎ枚」撮り、そのうち「ｋ枚（２≦ｋ≦ｎ）」のＭ０２画像を用いてずれ部分を合成する場合、「ｎ枚」と「ｋ枚」に相当する。また、この相対的な関係に基づく画像処理とは、補正部分Ｍ０５のコントラストや色、明るさを、「ｋ」枚の合成画像の「ｎ／ｋ」倍することに相当する。
【００４７】
次に、背景画像（背景合成体画像データ）Ｍ０３の補正位置Ｍ０４（不図示）に補正部分Ｍ０５（被写体毎の選択合成体画像データ）を配置（合成）する（Ｓ１２３）。このステップＳ１２２〜１２３の処理を、全ての補正部分Ｍ０５について繰り返し行い、全ての補正部分Ｍ０５について終了すると、その合成画像を図１０に示すように合成画像データＭ０６として記憶用メモリ１４内に保存する（Ｓ１２５）。
【００４８】
そして、最後に、Ｍ０１〜Ｍ０５までのデータを消去し（Ｓ１２６）、処理を終了する。
【００４９】
以上、説明したように、適正シャッタスピード（撮影時の明るさに応じて撮影画像が最適な明るさになるように決定されたシャッタスピード）が、基準シャッタスピード（予め定められている所定のシャッタスピード）よりも遅い場合、速いシャッタスピードで撮影を行い、次に撮影した被写体の輪郭を抽出できるかどうか判断し、抽出できない場合は、被写体に対して輪郭が抽出可能になるまでシャッタスピードを上げ、その被写体抽出可能シャッタスピードで複数枚の画像を撮影し、撮影範囲にある「ずれている部分」と「固定されている部分」とを判断し、ずれを起こしている部分に着目し数枚の画像から、ずれの程度が最小になるように画像を選択し、ずれを起こしている部分を切り出し、複数枚の切り出した画像の合成画像と背景画像の合成画像とを重ね合わせ、正規化処理等の適切な画像処理を施して画質を調節する（即ち、短時間（適正シャッタスピードより早いシャッタスピード）で撮った複数の画像から、それぞれ被写体毎に、ずれの少ない画像を抜き出して、背景と合成し、画像を作成する）ことにより、シャッタスピードが遅い条件でもある程度の露出を確保しながらぶれを最小限に抑えることが可能になる。
【００５０】
従って、室内や夜間など周囲が暗い状況ではシャッタスピードが遅くなり、動きのあるものの撮影画像への影響が大きくなり、一方、動きによるぶれの影響を少なくしようとしてシャッタスピードを上げると、アンダーな画像になってしまうという、相反する問題を回避することができる。
【００５１】
また、従来の新アクティブイメージエリア方式，シフト方式では，カメラ自体のぶれの補正はできても、被写体ごとのぶれを補正することができないが、複数の個所でぶれが生じて、それぞれのずれベクトルが異なっている場合でも、それぞれに対して補正を行うことができる。
【００５２】
さらに、従来の手振れセンサを使った手振れ補正に比べ、機械的、光学的な補正は行わないため、省電力で補正することができ、且つ生産コストも下がるという優れた効果を奏する。
【００５３】
なお、本発明の撮像装置は、デジタルスティルカメラであっても、デジタルビデオカメラであっても適用可能である。
【００５４】
本発明の撮像装置を、デジタルビデオカメラに適用する場合、１度の撮像(動画)から複数の静止撮像画像データを生成するようにする。即ち、動画として撮影してそのデータを輪郭がぼやけない範囲の時間で区切って(要するにシャッタスピードと同じ理屈で)複数の静止画像データ（複数の撮像画像データ）を生成し、この複数の撮像画像データ間で変化のある被写体画像を、該被写体画像毎に、前記複数の撮像画像データからそれぞれ分離して、前記被写体画像毎の複数の被写体画像データと、複数の背景画像データの合成画像とを生成し、前記被写体画像毎の複数の被写体画像データから、変化の少ない画像データのみを複数選択合成して被写体画像毎に選択合成画像データを生成し、この被写体画像毎の選択合成画像データを、前記複数の背景画像データの合成画像に対して合成する構成とする。
【００５５】
以下、図１１に示すメモリマップを参照して本発明に係る撮像装置で読み出し可能なデータ処理プログラムの構成について説明する。
【００５６】
図１１は、本発明に係る撮像装置で読み出し可能な各種データ処理プログラムを格納する記録媒体のメモリマップを説明する図である。
【００５７】
なお、特に図示しないが、記録媒体に記憶されるプログラム群を管理する情報、例えばバージョン情報，作成者等も記憶され、かつ、プログラム読み出し側のＯＳ等に依存する情報、例えばプログラムを識別表示するアイコン等も記録される場合もある。
【００５８】
さらに、各種プログラムに従属するデータも上記ディレクトリに管理されている。また、インストールするプログラムやデータが圧縮されている場合に、解凍するプログラム等も記録される場合もある。
【００５９】
本実施形態における図３，図４に示す機能が外部からインストールされるプログラムによって、ホストコンピュータにより遂行されていてもよい。そして、その場合、ＣＤ−ＲＯＭやフラッシュメモリやＦＤ等の記録媒体により、あるいはネットワークを介して外部の記憶媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。
【００６０】
以上のように、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【００６１】
この場合、記録媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。
【００６２】
プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。
【００６３】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６４】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６５】
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのソフトウエアによって表されるプログラムを格納した記憶媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【００６６】
さらに、本発明を達成するためのソフトウエアによって表されるプログラムをネットワーク上のデータベースから通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【００６７】
【発明の効果】
以上説明したように、本発明によれば、連続撮影して複数の撮像画像データを生成し、この複数の撮像画像データ間で変化のある被写体画像を、該被写体画像毎に、前記複数の撮像画像データからそれぞれ分離して、前記被写体画像毎の複数の被写体画像データと複数の背景画像データとを生成し、前記被写体画像毎の複数の被写体画像データから、変化の少ない画像データのみを複数選択合成して被写体画像毎に選択合成画像データを生成し、この被写体画像毎の選択合成画像データを、前記複数の背景画像データの合成画像に対して合成するので、室内や夜間等の十分な光量のない撮影条件であっても、ある程度の露出を確保しながらぶれを最小限に抑えることができ、また被写体毎のぶれを補正することができ、省電力で低生産コストを実現することができる等の効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る撮像装置を適用可能なデジタルカメラの概観図である。
【図２】図１に示したデジタルカメラの構成を示すブロック図である。
【図３】本発明の撮像装置における第１の制御処理手順の一例を示すフローチャートである。
【図４】本発明の撮像装置における第１の制御処理手順の一例を示すフローチャートである。
【図５】本発明の撮像装置における撮像画像データを示す図である。
【図６】本発明の撮像装置における被写体毎の被写体画像データを示す図である。
【図７】本発明の撮像装置における背景合成画像データを示す図である。
【図８】本発明の撮像装置における被写体毎の被写体画像データ内の選択画像を示す図である。
【図９】本発明の撮像装置における被写体毎の選択合成体画像データを示す図である。
【図１０】本発明の撮像装置における合成画像データを示す図である。
【図１１】本発明に係る撮像装置で読み出し可能な各種データ処理プログラムを格納する記録媒体のメモリマップを説明する図である。
【図１２】デジタルカメラにおける画像ずれを説明する図である。
【符号の説明】
１  レンズ
２  絞り装置
３  ＣＣＤ撮像素子
４  信号処理回路
５  表示素子
６  表示回路
７  絞り制御回路
８  ＣＰＵ
９  表示用ＲＡＭ
１０  キー入力部
１１  外部Ｉ／Ｆ制御
１２  ＲＯＭ
１３  作業用ＲＡＭ
１４  記憶用メモリ
【図１】
2004208024.tif 000003
【図２】
2004208024.tif 000004
【図３】
2004208024.tif 000005
【図４】
2004208024.tif 000006
【図５】
2004208024.tif 000007
【図６】
2004208024.tif 000008
【図７】
2004208024.tif 000009
【図８】
2004208024.tif 000010
【図９】
2004208024.tif 000011
【図１０】
2004208024.tif 000012
【図１１】
2004208024.tif 000013
【図１２】
2004208024.tif 000014