(57)【要約】【課題】複数の画像を合成する場合に、画質を向上させる画像合成装置を提供する。【解決手段】複数枚の画像の位置合わせを行って画像を合成する場合に、基準フレームと、２フレーム目以降の各フレームと、のブレ量を推定し、２フレーム目以降の撮影時の焦点距離を、ブレ量に基づいてフレーム毎に設定する。そして、基準フレームと２フレーム目以降のフレームとの変位量を推定し、その変位量に基づいて、基準フレームと２フレーム目以降の各フレームとの位置合わせを行い、画像を合成する。【選択図】図２
2010187207.tif 000002
【特許請求の範囲】
【請求項１】
被写体を複数フレーム撮影し、撮影した前記複数フレームの画像を位置合わせして画像合成する画像合成装置であって、
撮影した１フレーム目を、画像合成するための基準フレームに設定する基準フレーム設定部と、
２フレーム目以降の撮影時に、前記基準フレームの画像に対する前記２フレーム目以降の各フレームの画像のブレ量を推定するブレ推定部と、
前記２フレーム目以降の撮影時の焦点距離を、前記ブレ量に基づいてフレーム毎に設定する焦点距離設定部と、
前記基準フレームの画像における前記被写体に対する前記２フレーム目以降のフレームの画像における前記被写体の縮小を含む変位量を推定する画像間変位量推定部と、
前記変位量に基づいて、前記基準フレームの画像と前記２フレーム目以降のフレームの画像との位置合わせを行う位置合わせ部と、
前記位置合わせ後の複数フレームの画像を重ね合わせる画像合成部と、を備えることを特徴とする画像合成装置。
【請求項２】
前記焦点距離設定部は、
前記ブレ推定部によって推定する前記ブレ量が大きい程、前記１フレーム目の撮影時の焦点距離よりも、前記２フレーム目以降の撮影時の前記焦点距離を短くすることを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記焦点距離設定部によって設定された前記焦点距離に基づいて、前記２フレーム目以降のフレーム毎にシャッター速度を設定するシャッター速度設定部を備えることを特徴とする請求項１または２に記載の画像合成装置。
【請求項４】
前記シャッター速度設定部は、前記焦点距離が３５（ｍｍ）フィルム判換算値でｆ（ｍｍ）であった場合に、１／ｆ（秒）よりも速いシャッター速度に設定することを特徴とする請求項３に記載の画像合成装置。
【請求項５】
前記シャッター速度設定部は、前記焦点距離が短くなる程、前記シャッター速度を遅くすることを特徴とする請求項４に記載の画像合成装置。
【請求項６】
請求項１から５のいずれか一つに記載の画像合成装置を備えることを特徴とする電子機器。
【請求項７】
被写体を複数フレーム撮影し、撮影した前記複数フレームの画像を位置合わせして画像合成する画像合成プログラムであって、
コンピュータに、
撮影した１フレーム目を、画像合成するための基準フレームに設定する基準フレーム手順と、
２フレーム目以降の撮影時に、前記基準フレームの画像に対する前記２フレーム目以降の各フレームの画像のブレ量を推定するブレ推定手順と、
前記２フレーム目以降の撮影時の焦点距離を、前記ブレ量に基づいてフレーム毎に設定する焦点距離設定手順と、
前記基準フレームの画像における前記被写体に対する前記２フレーム目以降のフレームの画像における前記被写体の縮小を含む変位量を推定する画像間変位量推定手順と、
前記変位量に基づいて、前記基準フレームの画像と前記２フレーム目以降のフレームの画像との位置合わせを行う位置合わせ手順と、
前記位置合わせ後の複数フレームの画像を重ね合わせる画像合成手順と、を実行させることを特徴とする画像合成プログラム。
【請求項８】
被写体を複数フレーム撮影し、撮影した前記複数フレームの画像を位置合わせし、画像合成を行う画像合成方法であって、
撮影した１フレーム目を、画像合成するための基準フレームに設定し、
２フレーム目以降の撮影時に、前記基準フレームの画像に対する前記２フレーム目以降の各フレームの画像のブレ量を推定し、
前記２フレーム目以降の撮影時の焦点距離を、前記ブレ量に基づいてフレーム毎に設定し、
前記基準フレームの画像における前記被写体に対する前記２フレーム目以降のフレームの画像における前記被写体の縮小を含む変位量を推定し、
前記変位量に基づいて、前記基準フレームの画像と前記２フレーム目以降のフレームの画像との位置合わせを行い、
前記位置合わせ後の複数フレームの画像を重ね合わせる、ことを特徴とする画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像合成装置に関するものである。
【背景技術】
【０００２】
デジタルスチルカメラなどの電子撮像機器を用いて撮像する場合に、撮影者の手ブレを補正する機能を有するものがある。この手ブレ補正技術は、大きく２つに分けられる。１つの手ブレ補正技術は、ブレを検知してそのブレを相殺するように光軸を変位させる光学式や、撮像素子を変位させる撮像素子シフト方式による機械式手ブレ補正技術である。もう１つの手ブレ補正技術は、一枚のブレ画像に対して復元フィルタなどの画像処理によってブレ補正する方式や、各画像をブレないように高速シャッターで複数枚撮影し、露光量を満足させるように複数枚の画像を位置合わせして合成する方式による電子式手ブレ補正技術である。
【０００３】
機械式手ブレ補正は、駆動制御機構を必要とするので小型化しづらく、高コストになってしまう。その点、電子式手ブレ補正は、駆動制御機構を必要とせず、画像処理のみでも実現可能なことから、小型化・コスト面において有利であるといえる。
【０００４】
また、電子式手ブレ補正のうち、一枚のブレ画像に対して復元フィルタで補正する場合、大きなブレが混在した画像に対しては復元フィルタを施してもリンギングと呼ばれるアーティファクトが出てしまう。一方、復元フィルタに対して複数枚の画像を位置合わせし合成する複数枚電子式ブレ補正では、位置合わせが高精度に実現できればブレのない画像として補正できる。
【０００５】
複数枚の画像を位置合わせするには、画像の動きベクトルを検出する必要がある。この画像の動きベクトルを検出する方法としては、従来、相関演算に基づく相関法や、ブロックマッチング法が知られている。
【０００６】
ブロックマッチング法は、入力された画像信号を複数の適当な大きさのブロック（例えば８画素×８ライン）に分割し、このブロック単位で前のフィールド（またはフレーム）の一定範囲の画素との差を計算し、この差の絶対値の和が最小となる前のフィールド（またはフレーム）のブロックを探索する方法である。そして、画面間の相対的なずれが、そのブロックの動きベクトルを示している。
【０００７】
ブロックマッチングでの相関の高いブロックの探索方法として、自乗誤差ＳＳＤや誤差の絶対値ＳＡＤなどによる評価方法があり、ＳＳＤやＳＡＤが小さいほど相関が高いと評価される。
【０００８】
撮影対象、画像に含まれている被写体が静止している場合は、個々の領域での動きと画像全体の動きは一致しており、上記の相関演算を行うブロックは任意の固定位置に配置して、その動きベクトルを算出すれば良い。
【０００９】
この様な任意の固定位置に相関演算を行うブロックを配置し、動きベクトルを算出し、画像間におけるブレ補正を行う技術に関しては、特許文献１に開示されている。特許文献１では、各領域でＳＡＤやＳＳＤなどの評価値データを使って動きベクトルの信頼度を判定し、その信頼度や領域の大きさを指標にして画像全体の動きベクトルを求めている。
【００１０】
また、特許文献２では、各動きベクトル計測領域についてエッジ検出を行い、水平・垂直方向のエッジ数が多い領域の動きベクトルに対して高い重み付けをして画像全体の動きベクトルを求めている。
【００１１】
さらに、特許文献３では、特定被写体領域内の動きベクトルに高い重み付けをして特定被写体を重点的にして補正ベクトルを求めている。
【００１２】
前記のような従来技術を利用すると、連写した複数枚の画像間におけるブレ量を算出でき、そのブレ量を相殺するように基準となる画像に位置合わせして画像合成することによって、機械的な装置を必要しない電子的な手ブレ補正が可能となる。
【００１３】
しかしながら、複数枚の画像を利用した電子式ブレ補正を行う場合、ある基準の画像に対して他の複数枚の画像を基準画像とのブレ量を考慮（ブレを相殺するように）して位置合わせ合成する為、合成される領域が小さくなり、機械式の手ブレ補正と比べると、元の撮影時の画角よりも小さくなってしまうという問題がある。
【００１４】
この問題を解決する技術として、特許文献４に開示された技術がある。この技術は、連写による複数枚撮影を行い、撮影した複数枚画像を位置合わせして合成する電子式ブレ補正撮影モードを選択した場合、複数枚撮影に先立って、通常（１枚）撮影モードでの画角より所定量広くなるようにズームレンズの位置を変更し固定した状態で複数枚撮影しておくことにより、合成領域が通常撮影モードの画角分を確保できるようにしている。
【特許文献１】特開平８−２５１４７４号公報
【特許文献２】特許第３１６４１２１号公報
【特許文献３】特開２００７−８１６８２号公報
【特許文献４】特開２００５−７９８４１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、特許文献４に開示された技術では、合成領域を切り出して通常撮影時の画角に合わせることは可能であるが、通常撮影時より画素数が減ってしまう課題がある。
【００１６】
本発明はこのような問題点を解決するために発明されたもので、複数枚の画像を重ねて画像を合成する場合に、画素数を減少させずに、ブレ補正を行うことを目的とする。
【課題を解決するための手段】
【００１７】
本発明のある態様は、被写体を複数フレーム撮影し、撮影した複数フレームの画像を位置合わせして画像合成する画像合成装置であって、撮影した１フレーム目を、画像合成するための基準フレームに設定する基準フレーム設定部と、２フレーム目以降の撮影時に、基準フレームの画像に対する２フレーム目以降の各フレームの画像のブレ量を推定するブレ推定部と、２フレーム目以降の撮影時の焦点距離を、ブレ量に基づいてフレーム毎に設定する焦点距離設定部と、基準フレームの画像における被写体に対する２フレーム目以降のフレームの画像における被写体の縮小を含む変位量を推定する画像間変位量推定部と、変位量に基づいて、基準フレームの画像と２フレーム目以降のフレームの画像との位置合わせを行う位置合わせ部と、位置合わせ後の複数フレームの画像を重ね合わせる画像合成部と、を備えることを特徴とする。
【００１８】
本発明の別の態様は、被写体を複数フレーム撮影し、撮影した複数フレームの画像を位置合わせして画像合成する画像合成プログラムであって、コンピュータに、撮影した１フレーム目を、画像合成するための基準フレームに設定する基準フレーム手順と、２フレーム目以降の撮影時に、基準フレームの画像に対する２フレーム目以降の各フレームの画像のブレ量を推定するブレ推定手順と、２フレーム目以降の撮影時の焦点距離を、ブレ量に基づいてフレーム毎に設定する焦点距離設定手順と、基準フレームの画像における被写体に対する２フレーム目以降のフレームの画像における被写体の縮小を含む変位量を推定する画像間変位量推定手順と、変位量に基づいて、基準フレームの画像と２フレーム目以降のフレームの画像との位置合わせを行う位置合わせ手順と、位置合わせ後の複数フレームの画像を重ね合わせる画像合成手順と、を実行させることを特徴とする。
【００１９】
本発明のさらに別の態様は、被写体を複数フレーム撮影し、撮影した複数フレームの画像を位置合わせし、画像合成を行う画像合成方法であって、撮影した１フレーム目を、画像合成するための基準フレームに設定し、２フレーム目以降の撮影時に、基準フレームの画像に対する２フレーム目以降の各フレームの画像のブレ量を推定し、２フレーム目以降の撮影時の焦点距離を、ブレ量に基づいてフレーム毎に設定し、基準フレームの画像における被写体に対する２フレーム目以降のフレームの画像における前記被写体の縮小を含む変位量を推定し、変位量に基づいて、基準フレームの画像と２フレーム目以降のフレームの画像との位置合わせを行い、位置合わせ後の複数フレームの画像を重ね合わせる、ことを特徴とする。
【００２０】
これらの態様によれば、基準フレームと、２フレーム目以降の各フレームと、のブレ量に基づいて、２フレーム目以降の撮影時の焦点距離を設定する。そして、基準フレームと２フレーム目以降のフレームとの変位量に基づいて、基準フレームに対する２フレーム目以降のフレームの位置合わせを行い、位置合わせ後の複数枚の画像を重ね合わせて合成する。そのため、手ブレが補正され、通常撮影時と同じ画角、画素数であり、撮影に必要な露光量を満たした画像を得ることができる。
【発明の効果】
【００２１】
本発明によると、手ブレが補正され、画質を向上した画像を得ることができる。
【発明を実施するための最良の形態】
【００２２】
本発明の実施形態の構成を、図１を用いて説明する。図１は、デジタルスチルカメラのブロック構成図である。なお、ここでは、デジタルスチルカメラについて説明するが、これに限られることはなく、デジタルビデオカメラなどの画像合成装置に用いることができる。
【００２３】
本実施形態のデジタルスチルカメラは、絞り１０１を内包するレンズ系１００と、分光ハーフミラー系１０２と、シャッター１０３と、ローパスフィルタ１０４と、撮像素子１０５と、Ａ／Ｄ変換回路１０６と、ＡＥ用フォトセンサー１０７と、ＡＦモーター１０８と、角速度センサー１０９と、撮像制御部１１０と、ブレ推定部１１１と、シャッター釦１１２と、表示部１１３と、画像処理部１１４と、バッファメモリ１１５と、画像間変位量推定部１１６と、位置合わせ処理部（位置合わせ部）１１７と、画像合成処理部（画像合成部）１１８と、圧縮部１１９と、メモリーカード１２０と、を備える。
【００２４】
レンズ系１００、分光ハーフミラー系１０２、シャッター１０３、ローパスフィルタ１０４、撮像素子１０５は、光軸に沿って、被写体側から順番に配置される。
【００２５】
レンズ系１００は、複数のレンズと、絞り１０１と、を備える。絞り１０１は、単位時間当たりに撮像素子１０５の受光面へ到達する光量を調整する。レンズ系１００のレンズの一部であるフォーカスレンズは、ＡＦモーター１０８によって、合焦作業時に光軸方向へ移動する。
【００２６】
ＡＦモーター１０８は、撮像制御部１１０からの制御信号に基づいて、レンズ系１００のフォーカスレンズを、光軸方向へ移動させる。
【００２７】
分光ハーフミラー系１０２は、レンズ系１００を通った光束の一部を分岐し、分岐した光束をＡＥ用フォトセンサー１０７へ導く。
【００２８】
シャッター１０３は、シャッター釦１１２が全押しされた場合に、撮像素子１０５の受光面への光の到達を遮断する。
【００２９】
撮像素子１０５は、受光面に入射される光に応じた電気信号を所定のタイミングで出力する。撮像素子１０５は、例えばＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）センサと称される形式、あるいはその他の各種の形式の撮像素子である。
【００３０】
角速度センサー１０９は、撮影者の手ブレなどによって生じるカメラのブレを検出する。
【００３１】
ブレ推定部１１１は、角速度センサー１０９によって検出されたカメラのブレに基づいて、カメラのブレ量を算出する。複数のフレームの画像を合成する場合に手ブレが発生すると、フレームの画像間でもブレが生じる。そのため、ブレ推定部１１において、カメラのブレ量を算出することで、フレームの画像間におけるブレ量を算出することができる。
ブレ推定部１１１は、フレームの画像間のブレ量を撮像制御部１１０の焦点距離制御部１１０ａへ出力する。
【００３２】
撮像制御部１１０は、焦点距離制御部（焦点距離設定部）１１０ａと、シャッター速度制御部（シャッター速度設定部）１１０ｂと、を備える。撮像制御部１１０は、ＡＥ用フォトセンサー１０７から入力する信号に基づいて、焦点距離、シャッター速度などを設定し、絞り１０１、ＡＦモーター１０８、シャッター１０３を制御する。このとき、ＩＳＯ感度、被写体の明るさ、絞り１０１の絞り値などに基づいて、予め設定されたプログラムに基づいて焦点距離などが設定される。
【００３３】
焦点距離制御部１１０ａは、ブレ推定部１１１からブレ量が入力されると、ブレ量に基づいて焦点距離を算出する。焦点距離制御部１１０ａは、算出した焦点距離に基づいて、ＡＦモーター１０８を制御する。また、焦点距離制御部１１０ａは、シャッター速度制御部１１０ｂに焦点距離に関する情報を出力する。焦点距離制御部１１０ａによって焦点距離が設定されると、撮像制御部１１０を介して、焦点距離制御部１１０ａによって設定された焦点距離となるようにＡＦモーター１０８が制御される。
【００３４】
シャッター速度制御部１１０ｂは、焦点距離制御部１１０ａから入力された焦点距離に関する情報に基づいて、シャッター速度を設定する。シャッター速度制御部１１０ｂによってシャッター速度が設定されると、撮像制御部１１０を介して、シャッター速度制御部１１０ｂによって設定されたシャッター速度となるように、シャッター１０３が制御される。
【００３５】
手ブレ補正を行う場合には、焦点距離制御部１１０ａによって設定された焦点距離、およびシャッター速度制御部１１０ｂによって設定されたシャッター速度となるように焦点距離、およびシャッター速度が制御される。
【００３６】
バッファメモリ１１５は、画像処理部１１４と画像間変位量推定部１１６と画像合成処理部１１８との間で入出力のアクセスが可能であり、処理のワークバッファとしても使用される。また、バッファメモリ１１５に保存された信号は、表示部１１３へ出力される。
【００３７】
画像間変位量推定部１１６は、複数フレームの画像を合成して手ブレ補正を行う場合に、バッファメモリ１１５から入力する信号に基づいて、１フレーム目となる基準フレームの画像中の被写体に対する２フレーム目以降のフレームの画像中の被写体の変位量を推定する。推定した変位量は位置合わせ処理部１１７へ出力される。
【００３８】
位置合わせ処理部１１７は、画像間変位量推定部１１６によって推定された変位量に基づいて、２フレーム目以降の各フレームの画像について座標変換パラメータを求めて、２フレーム目以降の各フレームの画像を座標変換する。これによって、２フレーム目以降のフレームの画像中の被写体が、基準フレームの画像中の被写体に対してブレが生じている場合に、２フレーム目以降のフレームの画像中の手ブレが補正された画像信号が生成される。そして、座標変換した２フレーム目以降のフレームの画像信号を画像合成処理部１１８へ入力する。
【００３９】
画像合成処理部１１８は、バッファメモリ１１５の画像データにアクセスし、１フレーム目の画像信号と、位置合わせ処理部１１７によって座標変換した２フレーム目以降の各フレームの画像信号と、から画像合成を行う。画像合成された信号は、圧縮部１１９へ入力され画像圧縮し、脱着可能なメモリーカード１２０へ入力され記録される。
【００４０】
撮像制御部１１０、ブレ推定部１１１、画像処理部１１４、画像間変位量推定部１１６、位置合わせ処理部１１７、および画像合成処理部１１８、圧縮部１１９は、ＣＰＵがメモリなどに格納されたプログラムに基づいて演算処理を実行することで実現されるが、ハードウェアにより実現することも可能である。
【００４１】
次に、本実施形態の手ブレ補正処理について、図２のフローチャートを用いて説明する。ここでは、手ブレが生じている場合、例えば設定されたシャッター速度が比較的遅く、手ブレが生じやすい状況で撮影が行われる場合の制御について説明する。
【００４２】
ステップＳ１０では、ＡＥ制御処理を行う。ＡＥ制御処理は、ＩＳＯ感度や、被写体の明るさなどから、絞り１０１の絞り値を調整する。
【００４３】
ステップＳ１１では、シャッター釦１１２の状態を判定する。そして、シャッター釦１１２の状態が半押しである場合には、ステップＳ１２へ進み、シャッター釦１１２の状態が半押しではない場合には、シャッター釦１１２の状態判定を繰り返す。
【００４４】
ステップＳ１２では、ＡＦ制御処理を行う。ＡＦ制御処理は、ＡＦモーター１０８によって、レンズ系１００のフォーカスレンズを合焦位置に移動させる。
【００４５】
ステップＳ１３では、撮像制御部１１０によって、被写体の明るさ、絞り１０１の絞り値などの撮像条件に基づいて、撮影に必要な総露光量（総露光時間）を算出する。
【００４６】
ステップＳ１４では、撮像制御部１１０によって、シャッター速度を、手ブレが生じないようなシャッター速度に設定する。シャッター速度は、焦点距離が３５ｍｍフィルム換算値でｆ（ｍｍ）の場合に、１／ｆ（秒）よりも速いシャッター速度に設定される。これによって、撮影したフレームの画像内で、出来る限り手ブレが生じないようにする。なお、シャッター速度は、ＩＳＯ感度、絞り１０１の絞り値などに応じて設定される。
【００４７】
ステップＳ１５では、シャッター釦１１２の状態を判定する。そして、シャッター釦１１２の状態が全押しである場合には、ステップＳ１６へ進み、シャッター釦１１２の状態が全押しではない場合には、ステップＳ１１へ戻り、上記制御を繰り返す。
【００４８】
ステップＳ１６では、ステップＳ１４で設定したシャッター速度によって、１フレーム目の撮影を行う。これによって撮影されたフレームは基準フレームとなる（ステップＳ１６が基準フレーム設定部を構成する）。
【００４９】
ステップＳ１７では、角速度センサー１０９によってカメラのブレ（手ブレ）を検出し、ブレ推定部１１１によって、ブレ量を推定する。ここでは、基準フレームからのブレ量を推定する。
【００５０】
ステップＳ１８では、焦点距離制御部１１０ａによって、焦点距離変更制御を行う。ここで、焦点距離変更制御について、図３のフローチャートを用いて説明する。
【００５１】
ステップＳ１００では、図２のステップＳ１７によって算出したブレ量がゼロであるかどうか判定する。そして、ブレ量がゼロである場合には、ステップＳ１０１へ進み、ブレ量がゼロではない場合には、ステップＳ１０２へ進む。なお、本実施形態では、ブレ量がゼロであるかどうか判定したが、ブレ量を予め設定された所定量と比較しても良い。この場合には、ブレ量が所定量よりも小さい場合にステップＳ１０１へ進み、ブレ量が所定量よりも大きい場合にステップＳ１０２へ進む。所定量は、撮像素子１０５によって撮影される画像が基準フレームに対して、手ブレが無いと判断することができる値である。
【００５２】
ステップＳ１０１では、ブレ量がゼロなので、１フレーム目と同じ焦点距離に設定する。
【００５３】
ステップＳ１０２では、ブレ量がゼロではないので、ブレ量に応じて焦点距離を設定する。ブレ量がゼロではない場合には、図４に示すマップから、焦点距離を設定する。図４は、ブレ量と焦点距離との関係を示すマップであり、予め設定されている。ブレ量が大きくなると、焦点距離は短くなる。ブレ量が大きくなると、被写体の像が撮像素子１０５の受光面よりも外側に結像するおそれがある。このような場合に焦点距離を短くして、被写体を小さく（広角側へ変更）することで、被写体の像が撮像素子１０５の受光面よりも外側に結像することを防止する。
【００５４】
以上の制御によって、ブレ量に応じて、焦点距離変更制御を行う。
【００５５】
図２に戻り、ステップＳ１９では、シャッター速度制御部１１０ｂにおいて、ステップＳ１８によって設定される焦点距離に基づいて、シャッター速度を設定する。シャッター速度は、焦点距離が３５ｍｍフィルム換算値でｆ（ｍｍ）の場合に、１／ｆ（秒）よりも速いシャッター速度に設定される。なお、本実施形態では、ステップＳ１８によって設定される焦点距離に基づいて、１／（ｆ＋α）（秒）に設定する。αは、予め設定される値である。
【００５６】
ステップＳ２０では、ステップＳ１８によって設定した焦点距離、およびステップＳ１９によって設定したシャッター速度に基づいて、次フレーム目の撮影を行う。
【００５７】
ステップＳ２１では、撮像制御部１１０によって、現在の累積露光量（累積露光時間）に、次フレームにおける露光量を加算し、新たに累積露光量を算出する。累積露光量は、１フレームにおける露光量に、２フレームにおける露光量が加算され、さらに３フレームが撮影されると、２フレームまでの累積露光量に、３フレームにおける露光量が加算される。
【００５８】
ステップＳ２２では、撮像制御部１１０によって露光量判定処理を行う。露光量判定処理は、ステップＳ２１によって算出した累積露光量と、ステップＳ１３によって設定した撮影に必要な総露光量と、を比較する。そして、累積露光量が総露光量よりも大きい場合には、ステップＳ２３へ進み、累積露光量が総露光量よりも小さい場合には、ステップＳ１７へ戻り上記制御を繰り返す。
【００５９】
ステップＳ２３では、累積露光量が総露光量よりも大きいので、撮影を終了し、画像間変位量推定部１１６によって、画像間変位量推定処理を行う。画像間変位量推定処理は、基準フレームの画像に対する２フレーム目以降の各フレームの画像の変位量をそれぞれ推定する。画像間における変位量の推定方法は、例えば、特開２００６−２２２９３３号公報に記載された方式、およびその方式を応用した方式によって行われる。これにより、画像間のアフィン変換（縦、横、拡大、縮小、回転）の変位量を算出することができる。
【００６０】
本実施形態では、２フレーム目以降の各フレームにおいて、焦点距離を変更して撮影している場合がある。そのため、２フレーム目以降の各フレームの画像は、基準フレームの画像に対して、縮小されている場合がある。そこで、２フレーム目以降の各フレームにおいて、上記する変位量の推定方法を用いて、縦、横への変位、回転による変位に加えて、縮小による変位を含んだ変位量を推定する。
【００６１】
ステップＳ２４では、ステップＳ２３によって推定した変位量に基づいて、位置合わせ処理部によって位置合わせ処理を行う。位置合わせ処理は、基準フレームの画像に対して２フレーム目以降の各フレームの画像を座標変換する。これによって、２フレーム目以降の各フレームの画像は、基準フレームの画像に対して、変位していない画像に変換される。
【００６２】
ステップＳ２５では、画像合成部によってステップＳ２４によって位置合わせを行った各フレームの画像を合成し、１つの画像を生成する。これにより、手ブレが補正され、必要な露光量を満たしたブレ補正画像を得ることができる。
【００６３】
ステップＳ２６では、圧縮部１１９によって既知の画像圧縮処理によって生成した画像を圧縮し、ステップＳ２７において、メモリーカード１２０に記録する。
【００６４】
次に、本発明におけるカメラのブレ状況に応じた各フレームの画像について図５を用いて説明する。
【００６５】
ここでは、焦点距離が３５ｍｍフィルム換算値で７００ｍｍであり、シャッター速度を１／（７００＋α）秒として、１フレーム（基準フレーム）の撮影を行った場合を例にして説明する。
【００６６】
２フレームにおいて、手ブレが無いと推定されると、２フレームでは、基準フレームと同じ条件で撮影される。
【００６７】
３フレームにおいて、手ブレが推定され、そのブレ量が比較的小さい場合には、例えば焦点距離が６９０ｍｍに設定され、またシャッター速度が１／（６９０＋α）秒に設定される。この３フレームでは、焦点距離が短くなるので、３フレームの画像の被写体は基準フレームの画像の被写体と比較して、小さくなる。
【００６８】
４フレームにおいて、手ブレが推定され、そのブレ量が比較的大きい場合には、例えば焦点距離が６５０ｍｍに設定され、またシャッター速度が１／（６５０＋α）秒に設定される。この４フレームでは、焦点距離がさらに短くなるので、４フレームの画像の被写体は３フレームの画像の被写体と比較して、さらに小さくなる。
【００６９】
このように、カメラのブレ量に基づいて、焦点距離、およびシャッター速度を設定し、ブレ量が大きくなると、焦点距離を短くする。そのため、撮像素子１０５の受光面の外側に被写体の像が結像することを防止することができる。
【００７０】
次に、基準フレームの画像に対して、例えば２フレームの画像の位置合わせを行い、画像合成を行う場合について、図６を用いて説明する。ここでは、手ブレが生じて２フレームが撮影されたものとする。なお、２フレーム目以降のフレームに対しても、同様の処理が行われ、画像合成が行われる。
【００７１】
２フレームにおいて、画像間変位量推定処理が行われると、基準フレームの画像に対する２フレームの画像の縮小を含んだ変位量が推定される。そして、変位量に応じて、位置合わせ処理が行われ、２フレームを座標変換する。図６において、座標変換された場合に基準フレームと対応する範囲を破線で示す。
【００７２】
そして、基準フレームの画像と位置合わせ処理を行った２フレームの画像とを合成する。これにより、合成された画像は、露光量が大きくなった画像となる。２フレーム目以降の各フレームに対しても同様の処理が行われる。そのため、基準フレームの画角と同じ画角と画素数で、かつ必要な露光量を満たしたブレ補正画像を生成することができる。
【００７３】
次に、ブレ補正を行う際に、焦点距離のみを変更した場合と、焦点距離とシャッター速度とを変更した場合と、におけるフレーム枚数の違いについて、図７を用いて説明する。ここでは撮影における必要な総露光量（総露光時間）が１／２５秒（０．０４秒）であり、基準フレームとなる１フレームの焦点距離が３５ｍｍフィルム換算値で７９０ｍｍである場合を例として説明する。また、シャッター速度は、αを１０に設定し、１フレームではシャッター速度は１／８００秒に設定している。このような設定では、累積露光量が１／２５秒となるだけの画像を合成させる必要がある。
【００７４】
ブレを補正するために、焦点距離のみを変更した場合には、２フレーム目以降のシャッター速度も１／８００秒である。そして、累積露光量が１／２５秒となるには、フレームは、３２枚必要となる。
【００７５】
本実施形態では、焦点距離を変更し、さらにシャッター速度を変更する。シャッター速度は、焦点距離に応じて変更され、１／（焦点距離＋１０）秒に設定される。つまり、焦点距離が短くなるとシャッター速度は遅くなり、１フレームあたりの露光量が大きくなる。そのため、累積露光量が１／２５秒となるためのフレーム数は、少なくなり、３０枚となる。
【００７６】
シャッター速度を焦点距離に応じて、手ブレが生じない範囲で設定することで、手ブレを補正した画像を得るためのフレーム枚数を少なくすることができ、画像間の位置合わせ時の誤差の影響を少なくすることができる。そのため、合成画像の画質を向上することができる。
【００７７】
本発明の実施形態の効果について説明する。
【００７８】
被写体を複数フレームによって撮影する場合に、１フレーム目を基準フレームとして、基準フレームの画像と２フレーム目以降の各フレームの画像とのブレ量を推定する。そして、推定したブレ量に基づいて、２フレーム目以降の撮影時の焦点距離をフレーム毎に設定する。その後、画像間変位量推定、位置合わせ、画像合成を施すことで、通常撮影時（１枚の画像による撮影）と同じ画角、画素数、露光量を満たし、ブレ補正が行われた画像を作成することができる。
【００７９】
２フレーム目以降のフレームについては、ブレ量が大きい程、基準フレームが撮影された焦点距離よりも短くする。これによって、例えば手ブレが生じた場合でも、被写体の像が撮像素子１０５の受光面の外側に結像することを防止することができ、画像合成を正確に行うことができる。
【００８０】
また、２フレーム目以降のフレームで手ブレが無い場合には、基準フレームと同じ焦点距離で撮影するので、位置合わせ時に拡大補間処理を行わずに画像が合成される。また、１フレーム目の撮影時は、通常撮影時の焦点距離に対して、焦点距離を変更せずに撮影が行われる。そのため、１フレーム目の画像は、拡大補間処理が行われず、通常撮影時の画角、および画素数と同じものとなる。以上のように、本実施形態では、位置合わせ時に拡大補間処理を行う画像枚数を少なくすることができ、手ブレを補正するために合成した画像の画質を向上させることができる。
【００８１】
２フレーム目以降のフレームについては、設定された焦点距離に基づいて、シャッター速度を設定する。例えば、焦点距離が３５ｍｍフィルム換算値でｆｍｍであった場合には、シャッター速度を１／（ｆ＋α）秒と設定することで、累積露光量が撮影に必要な総露光量となるまでの合成枚数を減らすことができる。そのため、画像の位置合わせを行う際に、位置合わせ誤差の影響を小さくすることができ、合成した画像の画質を向上させることができる。
【００８２】
本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。
【図面の簡単な説明】
【００８３】
【図１】本発明の実施形態のデジタルスチルカメラのブロック構成図である。
【図２】本発明の実施形態のブレ補正処理を説明するフローチャートである。
【図３】本発明の実施形態の焦点距離変更制御を説明するフローチャートである。
【図４】ブレ量と焦点距離との関係を示すマップである。
【図５】カメラのブレ状況に応じたフレーム中の画像を説明する図である。
【図６】２枚画像を合成する場合を例として、画像合成を説明する図である。
【図７】焦点距離と、焦点距離とシャッター速度と、を変更した場合の総露光量となる枚数を比較する図である。
【符号の説明】
【００８４】
１００  レンズ系
１０３  シャッター
１０５  撮像素子
１０８  ＡＦモーター
１０９  角速度センサー
１１０  撮像制御部
１１０ａ  焦点距離制御部（焦点距離設定部）
１１０ｂ  シャッター速度制御部（シャッター速度設定部）
１１１  ブレ推定部
１１６  画像間変位量推定部
１１７  位置合わせ処理部（位置合わせ部）
１１８  画像合成処理部（画像合成部）
【図１】
2010187207.tif 000003
【図２】
2010187207.tif 000004
【図３】
2010187207.tif 000005
【図４】
2010187207.tif 000006
【図５】
2010187207.tif 000007
【図７】
2010187207.tif 000008
【図６】
2010187207.tif 000009