【手続補正書】
【提出日】平成25年2月5日(2013.2.5)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記目的を達成するため、本発明の第１の観点に係る動画生成装置は、
撮像により第１のフレームデータと、この第１のフレームデータよりも露光時間の短い、第２のフレームデータとを順次交互に生成する生成手段と、
前記生成手段によって生成される第１のフレームデータと、当該第１のフレームデータに撮影タイミングにおいて隣り合う第１のフレームデータ又は第２のフレームデータと、を含む判定対象となる２つのフレームデータにおいて、画像の変化の度合いが、所定の閾値を超えているか否かを判定する判定手段と、
前記判定手段による判定の結果、前記変化の度合いが所定の閾値を超えていると判断されると、判定対象となった第１のフレームデータを含む隣り合う２つのフレームデータから、第３のフレームデータを生成して当該隣り合う第１のフレームデータを補間する補間手段と、
撮影タイミングにおいて隣り合う前記第１のフレームデータと前記第２のフレームデータ、若しくは撮影タイミングにおいて隣り合う前記第３のフレームデータと前記第２のフレームデータ、を順次合成してハイダイナミックレンジのフレームデータを生成する合成手段と、
前記合成手段によって合成されたフレームデータで構成される動画を生成する動画生成手段と、
を備えることを特徴とする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、動画撮像モードにおいて、画像処理エンジン１０３は、フレームデータ間における画像の変化の度合いが、所定の閾値を超えている場合に、補間フレームを生成する。
例えば、撮影画角の変化や被写体の動きが大きい場合に、画像処理エンジン１０３は、図３に示すように、補間フレーム（Ａ２，Ａ４，Ａ６，Ｂ３，Ｂ５，Ｂ７，・・・）を生成する。具体的に説明すると、被写体の動きが大きい（速い）場合、フレームＡ１とフレームＢ２とが異なった画像となる。そのため、画像処理エンジン１０３は、露光時間の長いフレームＡ１とフレームＡ３とから、露光時間の長いフレームＡ２を補間して生成する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
そして、画像処理エンジン１０３は、露光時間の長いフレームと露光時間の短いフレームとを合成して、図４に示すようなハイダイナミックレンジ合成フレーム（Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６，Ｃ７，・・・）を生成する。具体的に説明すると、被写体の動きが大きい（速い）場合に、露光時間の長い補間フレームＡ２と露光時間の短いフレームＢ２とを合成して、ハイダイナミックレンジ合成フレームＣ２を生成する。一方、被写体の動きがない（小さい）場合に、補間フレームを使用することなく、露光時間の長いフレームＡ１と露光時間の短いフレームＢ２とをそのまま合成して、ハイダイナミックレンジ合成フレームＣ２を生成する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
具体的には、画角内における被写体同士を比較し、閾値を超える動きがあるかどうかを判定する。一例として、被写体が人物の場合であれば、顔認識等により、人物の画像を特定し、互いのフレームにおけるその人物の動きの大きさを判別し、その動きが閾値を超えているかどうかを判定する。その際、複数の人物を同時に認識できる場合では、各人物毎に動きを特定し、何れかの動きが閾値を超えているかどうかを判定する。このような人物等の動きを判定する手法は、一例であり、他の手法により、動きを判定するようにしてもよい。
また、このように特定の画像領域の変化を判別するのではなく、画像全体の変化を判定してもよい。例えば、画角内における画像領域全体同士を比較し、閾値を超える動きがあるかどうかを判定する。
この際、閾値を超える動きがあると判定すると、ＣＰＵ１０９は、画像処理エンジン１０３を制御して、補間フレームを生成させる。つまり、上述した図３のように、画像処理エンジン１０３を制御して、例えば、露光時間の長いフレームＡ１とフレームＡ３とから、露光時間の長いフレームＡ２を補間して生成させる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
そして、ＣＰＵ１０９は、画像処理エンジン１０３を制御して、ハイダイナミックレンジ合成フレームを生成させる。つまり、上述した図４のように、画像処理エンジン１０３を制御して、例えば、被写体の動きが大きい場合に、露光時間の長い補間フレームＡ２と露光時間の短いフレームＢ２とを合成させ、ハイダイナミックレンジ合成フレームＣ２を生成させる。なお、被写体の動きがない場合には、補間フレームを使用することなく、露光時間の長いフレームＡ１と露光時間の短いフレームＢ２とをそのまま合成させ、ハイダイナミックレンジ合成フレームＣ２を生成させる。
ＣＰＵ１０９は、このように生成されたハイダイナミックレンジ合成フレームから、動画ファイルを生成する。つまり、生成したハイダイナミックレンジ合成フレームについて、コントラスト強調処理や彩度強調処理を行った後、フレーム間を圧縮し、所定フォーマットの動画ファイルを生成して外部メモリ１０６に格納する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
一方、変化の度合いが閾値を超えていると判定した場合（ステップＳ２０２；Ｙｅｓ）に、デジタルカメラ１００は、補間フレームを生成する（ステップＳ２０３）。すなわち、画像処理エンジン１０３は、上述した図３に示すように、補間フレーム（Ａ２，Ａ４，Ａ６，Ｂ３，Ｂ５，Ｂ７，・・・）を生成する。一例として、被写体の動きが大きい場合に、フレームＡ１とフレームＢ２とが異なった画像となる。そのため、画像処理エンジン１０３は、露光時間の長いフレームＡ１とフレームＡ３とから、露光時間の長いフレームＡ２を補間して生成する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
デジタルカメラ１００は、ハイダイナミックレンジ合成フレームを生成する（ステップＳ２０４）。すなわち、画像処理エンジン１０３は、露光時間の長いフレームと、露光時間の短いフレームとを合成して、ハイダイナミックレンジ合成フレームを生成する。一例として、被写体の動きが大きい場合に、画像処理エンジン１０３は、上述した図４に示すように、露光時間の長い補間フレームＡ２と露光時間の短いフレームＢ２とを合成し、ハイダイナミックレンジ合成フレームＣ２を生成する。一方、被写体の動きがない場合に、補間フレームを使用することなく、画像処理エンジン１０３は、露光時間の長いフレームＡ１と露光時間の短いフレームＢ２とをそのまま合成し、ハイダイナミックレンジ合成フレームＣ２を生成する。
【手続補正８】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像により第１のフレームデータと、この第１のフレームデータよりも露光時間の短い、第２のフレームデータとを順次交互に生成する生成手段と、
前記生成手段によって生成される第１のフレームデータと、当該第１のフレームデータに撮影タイミングにおいて隣り合う第１のフレームデータ又は第２のフレームデータと、を含む判定対象となる２つのフレームデータにおいて、画像の変化の度合いが、所定の閾値を超えているか否かを判定する判定手段と、
前記判定手段による判定の結果、前記変化の度合いが所定の閾値を超えていると判断されると、判定対象となった第１のフレームデータを含む隣り合う２つのフレームデータから、第３のフレームデータを生成して当該隣り合う第１のフレームデータを補間する補間手段と、
撮影タイミングにおいて隣り合う前記第１のフレームデータと前記第２のフレームデータ、若しくは撮影タイミングにおいて隣り合う前記第３のフレームデータと前記第２のフレームデータ、を順次合成してハイダイナミックレンジのフレームデータを生成する合成手段と、
前記合成手段によって合成されたフレームデータで構成される動画を生成する動画生成手段と、
を備えることを特徴とする動画生成装置。
【請求項２】
前記判定手段は、時間的に隣り合う第１のフレームデータ間における特定の画像領域について、変化の度合いが所定の閾値を超えているか否かを判定することを特徴とする請求項１に記載の動画生成装置。
【請求項３】
顔認識手段と、
前記顔認識手段によって前記生成手段によって生成された第１のフレームデータ、または、第２のフレームデータに人物画像が含まれるか否かを判定する画像判定手段と、
前記画像判定手段によって人物画像が含まれると判定すると、前記判定手段はこの人物画像を前記特定の画像領域とし、この人物画像について変化の度合いが所定の閾値を超えているか否かを判定することを特徴とする請求項２に記載の動画生成装置。
【請求項４】
前記判定手段は、時間的に隣り合う第１のフレームデータ間における画像全体の変化の度合いが所定の閾値を超えているか否かを判定することを特徴とする請求項１に記載の動画生成装置。
【請求項５】
前記合成手段によって合成されたハイダイナミックレンジのフレームデータについて、コントラスト強調処理を行う第１の処理手段を更に備えたことを特徴とする請求項１乃至４の何れかに記載の動画生成装置。
【請求項６】
前記合成手段によって合成されたハイダイナミックレンジのフレームデータについて、彩度強調処理を行う第２の処理手段を更に備えたことを特徴とする請求項１乃至４の何れかに記載の動画生成装置。
【請求項７】
撮像により第１のフレームデータと、この第１のフレームデータよりも露光時間の短い、第２のフレームデータとを順次交互に生成する生成ステップと、
前記生成ステップにて生成される第１のフレームデータと、当該第１のフレームデータに撮影タイミングにおいて隣り合う第１のフレームデータ又は第２のフレームデータと、を含む判定対象となる２つのフレームデータにおいて、画像の変化の度合いが、所定の閾値を超えているか否かを判定する判定ステップと、
前記判定ステップでの判定の結果、前記変化の度合いが所定の閾値を超えていると判断されると、判定対象となった第１のフレームデータを含む隣り合う２つのフレームデータから、第３のフレームデータを生成して当該隣り合う第１のフレームデータを補間する補間ステップと、
撮影タイミングにおいて隣り合う前記第１のフレームデータと前記第２のフレームデータ、若しくは撮影タイミングにおいて隣り合う前記第３のフレームデータと前記第２のフレームデータ、を順次合成してハイダイナミックレンジのフレームデータを生成する合成ステップと、
前記合成ステップにて合成されたフレームデータで構成される動画を生成する動画生成ステップと、
を含むことを特徴とする動画生成方法。
【請求項８】
コンピュータを、
撮像により第１のフレームデータと、この第１のフレームデータよりも露光時間の短い、第２のフレームデータとを順次交互に生成する生成手段、
前記生成手段によって生成される第１のフレームデータと、当該第１のフレームデータに撮影タイミングにおいて隣り合う第１のフレームデータ又は第２のフレームデータと、を含む判定対象となる２つのフレームデータにおいて、画像の変化の度合いが、所定の閾値を超えているか否かを判定する判定手段、
前記判定手段による判定の結果、前記変化の度合いが所定の閾値を超えていると判断されると、判定対象となった第１のフレームデータを含む隣り合う２つのフレームデータから、第３のフレームデータを生成して当該隣り合う第１のフレームデータを補間する補間手段、
撮影タイミングにおいて隣り合う前記第１のフレームデータと前記第２のフレームデータ、若しくは撮影タイミングにおいて隣り合う前記第３のフレームデータと前記第２のフレームデータ、を順次合成してハイダイナミックレンジのフレームデータを生成する合成手段、
前記合成手段によって合成されたフレームデータで構成される動画を生成する動画生成手段、
として機能させることを特徴とするプログラム。
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2012253674.tif 000001