【手続補正書】
【提出日】平成22年10月5日(2010.10.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の露光時間で被写体を撮影した時間的に連続する第１の画像群と第２の露光時間で被写体を撮影した時間的に連続する第２の画像群とを取得する撮像手段と、
前記撮像手段による第１の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定手段と、
前記撮像手段による第１の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ブレ判定手段と、
前記手ブレ判定手段による判定結果及び前記像ブレ判定手段による判定結果に応じて、前記第１の画像群から得られる画像又は前記第２の画像群から得られる画像のいずれかを選択する選択手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記選択手段は、前記像ブレ判定手段によって像ブレが生じていないと判定され、前記手ブレ判定手段によって手ブレが生じていると判定された場合に、前記第２の画像群から得られる画像を選択することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記第２の画像群の画像を合成して新たな画像を生成する画像処理手段を備え、
前記第２の画像群から得られる画像は、前記新たな画像であることを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記選択手段は、前記像ブレ判定手段によって像ブレが生じていないと判定され、前記手ブレ判定手段によって手ブレが生じていないと判定された場合に、前記第１の画像群から得られる画像を選択することを特徴とする請求項１から３のいずれか記載の撮像装置。
【請求項５】
前記第１の画像群のうち時間的に隣接する画像間において射影変換行列を求めて、射影変換行列から動きベクトルの大きさを算出する算出手段を備え、
前記像ブレ判定手段は、前記算出手段によって算出された各画像の動きベクトルの大きさが最小の画像について、像ブレが生じたか否かを判定することを特徴とする請求項１から４のいずれか記載の撮像装置。
【請求項６】
前記手ブレ判定手段は、前記動きベクトルの大きさが最小の画像について、動きベクトルの大きさが所定の閾値を超えたか否かによって、手ブレが生じたか否かを判定することを特徴とする請求項５記載の撮像装置。
【請求項７】
前記撮像手段は、第１の画像群を撮影したときの感度及び第２の画像群を撮影したときの感度の何れよりも高い感度で被写体を撮影した第３の画像を取得し、
前記選択手段は、前記第１の画像群から得られる画像、前記第２の画像群から得られる画像、前記第３の画像のいずれかを選択するものであって、前記像ブレ判定手段によって像ブレが生じていると判定された場合に、前記第３の画像を選択することを特徴とする請求項１から６のいずれか記載の撮像装置。
【請求項８】
第１の露光時間で被写体を撮影した時間的に連続する第１の画像群と第２の露光時間で被写体を撮影した時間的に連続する第２の画像群とを取得する取得工程と、
第１の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定工程と、
第１の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ぶれ判定工程と、
前記手ブレ判定工程及び前記像ブレ判定工程のそれぞれの判定結果に基づいて、前記第１の画像群から得られる画像又は前記第２の画像群から得られる画像のいずれかを選択する選択工程と、
を有することを特徴とする撮像方法。
【請求項９】
撮像装置が有するコンピュータに、
第１の露光時間で被写体を撮影した時間的に連続する第１の画像群と第２の露光時間で被写体を撮影した時間的に連続する第２の画像群とを取得する取得工程と、
第１の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定工程と、
第１の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ブレ判定工程と、
前記手ブレ判定工程の判定結果と前記像ブレ判定工程の判定結果とに応じて、前記第１の画像群から得られる画像又は前記第２の画像群から得られる画像のいずれかを選択する選択工程と、
を実行させることを特徴とする撮像プログラム。
【請求項１０】
前記第２の露光時間は、前記第１の露光時間よりも短い時間であることを特徴とする請求項１記載の撮像装置。
【請求項１１】
撮影指示に応答して、露光時間の異なる複数枚の画像を連写撮影して取得する撮像手段と、
前記撮像手段により取得された画像に基づいて、画像取得中に手ブレが生じたか否かを判定する判定手段と、
前記判定手段による判定結果に応じて、前記複数枚の画像の中から１枚の画像を抽出する抽出手段と、
を備えたことを特徴とする撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
前記課題を解決するため請求項１記載の発明に係る撮像装置にあっては、第１の露光時間で被写体を撮影した時間的に連続する第１の画像群と第２の露光時間で被写体を撮影した時間的に連続する第２の画像群とを取得する撮像手段と、前記撮像手段による第１の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定手段と、前記撮像手段による第１の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ブレ判定手段と、前記手ブレ判定手段による判定結果及び前記像ブレ判定手段による判定結果に応じて、前記第１の画像群から得られる画像又は前記第２の画像群から得られる画像のいずれかを選択する選択手段と、を備えたことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、請求項８記載の撮像方法にあっては、第１の露光時間で被写体を撮影した時間的に連続する第１の画像群と第２の露光時間で被写体を撮影した時間的に連続する第２の画像群とを取得する取得工程と、第１の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定工程と、第１の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ぶれ判定工程と、前記手ブレ判定工程及び前記像ブレ判定工程のそれぞれの判定結果に基づいて、前記第１の画像群から得られる画像又は前記第２の画像群から得られる画像のいずれかを選択する選択工程と、を有することを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、請求項９記載の撮像プログラムにあっては、撮像装置が有するコンピュータに、第１の露光時間で被写体を撮影した時間的に連続する第１の画像群と第２の露光時間で被写体を撮影した時間的に連続する第２の画像群とを取得する取得工程と、第１の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定工程と、第１の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ブレ判定工程と、前記手ブレ判定工程の判定結果と前記像ブレ判定工程の判定結果とに応じて、前記第１の画像群から得られる画像又は前記第２の画像群から得られる画像のいずれかを選択する選択工程と、を実行させることを特徴とする。
また、請求項１０記載の撮像装置にあっては、前記第２の露光時間は、前記第１の露光時間よりも短い時間であることを特徴とする。
さらに、請求項１１記載の撮像装置にあっては、撮影指示に応答して、露光時間の異なる複数枚の画像を連写撮影して取得する撮像手段と、前記撮像手段により取得された画像に基づいて、画像取得中に手ブレが生じたか否かを判定する判定手段と、前記判定手段による判定結果に応じて、前記複数枚の画像の中から１枚の画像を抽出する抽出手段と、を備えたことを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
次に、デジタルカメラのシャッタボタン９をユーザが１回押下すると、それを検出したＣＰＵコア７ａは、第１の画像群、第２の画像群及び第３の画像からなる９枚の連写撮影を実施する（ステップＡ２）。具体的には、ＣＭＯＳ撮像素子３によって時間的に連続する９枚の画像を取得する。９枚の画像のうち、第３の画像である最初の１枚の画像は、被写体ブレや暗い場所での撮影に対応可能な高い撮影感度、例えば、ＩＳＯ１６００相当の撮影感度で第３の露光時間にて被写体ブレ抑制用撮影を行って取得される。第１の画像群である次の４枚の画像は、通常の露光時間（第１の露光時間）にて撮影を行って取得される。第２の画像群である最後の４枚の画像は、通常の露光時間よりもシャッタ時間を２段階短くした時間（第２の露光時間）にて撮影を行って取得される。さらに、撮影時には、ＣＭＯＳ撮像素子３がシフト動作する光学手振れ補正も同時に行う。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
次に、輝度画像データのうち１枚目の画像を基準画像とし、その基準画像に、予め決められている所定サイズのウィンドウをフレーム内の中央部分に設定する。さらに、このウィンドウ内を縦１６画素×横１６画素を単位とした複数ブロックに分割して、隣接するフレーム画像間でブロックマッチングを行う（ステップＡ４）。具体的には、図３に示すように、基準画像１０１に設定したウィンドウ１０２（基準画像１０１の中心の（１／２）＊（１／２）の領域）を複数（４＊４＝１６）のブロック１０３に分割する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
このようにして得られたブロック１０３について、ブロックマッチング部７ｇにおいて、被写体部分のみを追跡対象とするブロックマッチングを行う。ＣＰＵコア７ａは、ブロックマッチングにより取得した各々のブロックの動きベクトルデータのうちで、所定の距離以下のずれ量を示す特定の動きベクトルを用いて、隣接フレーム画像の位置関係を表す射影変換行列を生成する（ステップＡ５）。つまり、本来は得られないような（明らかに誤って取得された）動きベクトルを排除した正しい動きベクトルのみに基づき射影変換行列を求める。なお、本実施の形態において射影変換行列はＲＡＮＳＡＣ法により生成する。ＲＡＮＳＡＣ法は、ランダムに選択したサンプルを元に生成した仮説を全データで検証することを繰り返すことによるモデル推定アルゴリズムに従う。この場合、ランダムに位置の組を選択し、その選択した位置の組に対応する射影変換行列の候補を算出し、その式に従って、全ての位置の座標を射影変換したときに、結果がどれだけ一致するかを評価する。こうした計算と評価を繰り返し、最もよい評価値を得た時の射影変換行列を採用する。この手法に従って、図４に示すように、フレーム２を基準画像としてフレーム３との位置関係を表す射影変換行列２を求める。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
引き続き、輝度画像データを順に変更しながら上述したステップＡ４及びＡ５の処理を繰り返し、時間的に連続する５枚目までの画像について射影変換行列を生成する（ステップＡ６）。具体的には、フレーム３を基準画像としてフレーム４との位置関係を表す射影変換行列３を求め、フレーム４を基準画像としてフレーム５との位置関係を表す射影変換行列４を求め、フレーム５を基準画像としてフレーム６との位置関係を表す射影変換行列５を求める。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
フレーム５までの画像（輝度画像データ）について前述した射影変換行列が生成できたら、つまり、２枚目から５枚目までの画像間における被写体の位置関係が把握できたら（ステップＡ６でＹＥＳ）、ステップＡ５で取得した射影変換行列から、各々の隣接フレーム間における平行移動成分を算出する（ステップＡ７）。平行移動成分（動きベクトルの大きさ）の算出は図５に示すとおり、（ｓ2＋ｔ2）1/2によって求めることができる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
一方、ステップＡ８において、被写体の像ブレが発生していないと判断した場合は、平行移動成分の大きさが最小の画像について、平行移動成分の大きさが所定値（例えば、２画素）以下であるかどうかを判断して、手ブレが発生しているか否かを判断する（ステップＡ１０）。なお、本実施の形態では、所定値を２画素として説明するが、本発明はこれに限定されない。実装に応じて最適な値を所定値として設定することができる。