(57)【要約】【課題】動画撮像中に静止画を撮像しても、被写体の動きが不連続にならない動画を得ることができる撮像装置を提供すること。【解決手段】本発明に係る撮像装置は、撮像部と、複数のフレーム画像を含む動画を撮像部に撮像させる動画撮像制御部と、撮像部が一のフレーム画像と当該一のフレーム画像の次のフレーム画像を撮像する間のタイミングで、静止画を撮像部に撮像させる静止画撮像制御部と、撮像部が撮像した静止画を、当該静止画の前に撮像部が撮像したフレーム画像である前フレーム画像、及び当該静止画の後に撮像部が撮像したフレーム画像である後フレーム画像の少なくとも一方と合成することにより、撮像部が静止画を撮像したタイミングのフレーム画像を生成する代替フレーム画像生成部とを備える。【選択図】図１
2007088579.tif 000002
【特許請求の範囲】
【請求項１】
撮像部と、
複数のフレーム画像を含む動画を前記撮像部に撮像させる動画撮像制御部と、
前記撮像部が一のフレーム画像と当該一のフレーム画像の次のフレーム画像を撮像する間のタイミングで、静止画を前記撮像部に撮像させる静止画撮像制御部と、
前記撮像部が撮像した静止画を、当該静止画の前に前記撮像部が撮像したフレーム画像である前フレーム画像、及び当該静止画の後に前記撮像部が撮像したフレーム画像である後フレーム画像の少なくとも一方と合成することにより、前記撮像部が静止画を撮像したタイミングのフレーム画像を生成するフレーム画像生成部と
を備える撮像装置。
【請求項２】
前記撮像部が静止画を撮像したタイミングである静止画撮像タイミングと、前記撮像部が前フレーム画像を撮像したタイミングである前フレーム画像撮像タイミング及び前記撮像部が後フレーム画像を撮像したタイミングである後フレーム画像撮像タイミングの少なくとも一方とを記録する撮像タイミング記録部と、
前記撮像タイミング記録部が記録している静止画撮像タイミングと、前フレーム画像撮像タイミング及び後フレーム画像撮像タイミングの少なくとも一方に基づいて、前記撮像部が撮像した静止画と、前フレーム画像及び後フレーム画像の少なくとも一方との合成比率を算出する合成比率算出部と
をさらに備え、
前記フレーム画像生成部は、前記合成比率算出部が算出した合成比率で、前記撮像部が撮像した静止画を、前フレーム画像及び後フレーム画像の少なくとも一方と合成する
請求項１に記載の撮像装置。
【請求項３】
前記撮像タイミング記録部は、前記撮像部が静止画を撮像したときの露光期間の中心のタイミングを静止画撮像タイミングとして記録し、前記撮像部が前フレーム画像を撮像したときの露光期間の中心のタイミングを前フレーム画像撮像タイミングとして記録し、前記撮像部が後フレーム画像を撮像したときの露光期間の中心のタイミングを後フレーム画像撮像タイミングとして記録する
請求項２に記載の撮像装置。
【請求項４】
前記合成比率算出部は、前記撮像タイミング記録部が記録している静止画撮像タイミングと前フレーム画像撮像タイミングとの時間差が、前記撮像タイミング記録部が記録している静止画撮像タイミングと後フレーム画像撮像タイミングとの時間差より大きい場合に、前フレーム画像の合成比率より後フレーム画像の合成比率を小さく算出し、前記撮像タイミング記録部が記録している静止画撮像タイミングと前フレーム画像撮像タイミングとの時間差が、前記撮像タイミング記録部が記録している静止画撮像タイミングと後フレーム画像撮像タイミングとの時間差より小さい場合に、前フレーム画像の合成比率より後フレーム画像の合成比率を大きく算出する
請求項２に記載の撮像装置。
【請求項５】
前記撮像部が静止画を撮像したタイミングのフレーム画像の露光期間の中心のタイミングである中フレーム画像撮像タイミングを算出する撮像タイミング算出部
をさらに備え、
前記合成比率算出部は、前記撮像タイミング記録部が記録している静止画撮像タイミングと、前フレーム画像撮像タイミング及び後フレーム画像撮像タイミングの少なくとも一方と、前記撮像タイミング算出部が算出した中フレーム画像撮像タイミングとに基づいて、前記撮像部が撮像した静止画と、前フレーム画像及び後フレーム画像の少なくとも一方との合成比率を算出する
請求項２に記載の撮像装置。
【請求項６】
前記合成比率算出部は、前記撮像タイミング記録部が記録している静止画撮像タイミングと、前記撮像タイミング算出部が算出した中フレーム画像撮像タイミングとの時間差が、前記撮像タイミング記録部が記録している前フレーム画像撮像タイミング又は後フレーム画像撮像タイミングと、前記撮像タイミング算出部が算出した中フレーム画像撮像タイミングとの時間差より大きい場合に、静止画の合成比率より前フレーム画像又は後フレーム画像の合成比率を小さく算出する
請求項５に記載の撮像装置。
【請求項７】
前記撮像部が静止画を撮像したときの露光時間である静止画露光時間を記録する露光時間記録部と、
前記露光時間記録部が記録している静止画露光時間に基づいて、前記撮像部が撮像した静止画と、前フレーム画像及び後フレーム画像の少なくとも一方との合成比率を算出する合成比率算出部と
をさらに備え、
前記フレーム画像生成部は、前記合成比率算出部が算出した合成比率で、前記撮像部が撮像した静止画を、前フレーム画像及び後フレーム画像の少なくとも一方と合成する
請求項１に記載の撮像装置。
【請求項８】
前記合成比率算出部は、前記露光時間記録部が記録している静止画露光時間がより大きい場合に、前記撮像部が撮像した静止画の合成比率をより大きく算出する
請求項７に記載の撮像装置。
【請求項９】
前記合成比率算出部は、前記露光時間記録部が記録している静止画露光時間が、前記撮像部が前フレーム画像又は後フレーム画像を撮像したときの露光時間と比較して相対的により大きい場合に、前記撮像部が撮像した静止画の合成比率をより大きく算出する
請求項７に記載の撮像装置。
【請求項１０】
撮像段階と、
複数のフレーム画像を含む動画を前記撮像段階において撮像させる動画撮像制御段階と、
前記撮像段階において一のフレーム画像と当該一のフレーム画像の次のフレーム画像が撮像される間のタイミングで、静止画を前記撮像段階に撮像させる静止画撮像制御段階と、
前記撮像段階において撮像された静止画を、当該静止画の前に前記撮像段階において撮像されたフレーム画像である前フレーム画像、及び当該静止画の後に前記撮像段階において撮像されたフレーム画像である後フレーム画像の少なくとも一方と合成することにより、前記撮像段階において静止画が撮像されたタイミングのフレーム画像を生成するフレーム画像生成段階と
を備える撮像方法。
【請求項１１】
撮像装置用のプログラムであって、当該撮像装置を、
撮像部、
複数のフレーム画像を含む動画を前記撮像部に撮像させる動画撮像制御部、
前記撮像部が一のフレーム画像と当該一のフレーム画像の次のフレーム画像を撮像する間のタイミングで、静止画を前記撮像部に撮像させる静止画撮像制御部、
前記撮像部が撮像した静止画を、当該静止画の前に前記撮像部が撮像したフレーム画像である前フレーム画像、及び当該静止画の後に前記撮像部が撮像したフレーム画像である後フレーム画像の少なくとも一方と合成することにより、前記撮像部が静止画を撮像したタイミングのフレーム画像を生成するフレーム画像生成部
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、及びプログラムに関する。特に本発明は、動画及び静止画を撮像する撮像装置及び撮像方法、並びに、撮像装置用のプログラムに関する。
【背景技術】
【０００２】
従来、動画の記録中に静止画を撮影してもコマ落ちのない動画を得ることができるムービ・スチル・カメラがある（例えば、特許文献１参照。）。このムービ・スチル・カメラでは、動画の記録中には、一駒が水平方向６４０画素、垂直方向４８０画素をもつ動画データが一定周期で得られる。そして、動画データを記録中にレリーズボタンが押されると、水平方向１２８０画素、垂直方向９６０画素の静止画像データが取得され、メモリ・カードに記録される。このとき、静止画像データから、動画用の一駒の画像と同じ大きさをもつ縮小画像が生成され、静止画像データが得られた位置に挿入される。
【特許文献１】特開２００３−２１９３４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１のムービ・スチル・カメラを用いて、動画撮像中に、動画の一駒を撮像する露光時間より短い露光時間で静止画を撮像した場合、得られる動画データを再生表示すると、静止画が縮小された一駒が表示されるタイミングの前後において被写体の動きが不連続に見えてしまう場合がある。このため、再生される動画が非常に見づらくなってしまうという課題があった。
【０００４】
そこで本発明は、上記の課題を解決することができる撮像装置、撮像方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
本発明の第１の形態における撮像装置は、撮像部と、複数のフレーム画像を含む動画を撮像部に撮像させる動画撮像制御部と、撮像部が一のフレーム画像と当該一のフレーム画像の次のフレーム画像を撮像する間のタイミングで、静止画を撮像部に撮像させる静止画撮像制御部と、撮像部が撮像した静止画を、当該静止画の前に撮像部が撮像したフレーム画像である前フレーム画像、及び当該静止画の後に撮像部が撮像したフレーム画像である後フレーム画像の少なくとも一方と合成することにより、撮像部が静止画を撮像したタイミングのフレーム画像を生成するフレーム画像生成部とを備える。
【０００６】
撮像部が静止画を撮像したタイミングである静止画撮像タイミングと、撮像部が前フレーム画像を撮像したタイミングである前フレーム画像撮像タイミング及び撮像部が後フレーム画像を撮像したタイミングである後フレーム画像撮像タイミングの少なくとも一方とを記録する撮像タイミング記録部と、撮像タイミング記録部が記録している静止画撮像タイミングと、前フレーム画像撮像タイミング及び後フレーム画像撮像タイミングの少なくとも一方に基づいて、撮像部が撮像した静止画と、前フレーム画像及び後フレーム画像の少なくとも一方との合成比率を算出する合成比率算出部とをさらに備え、フレーム画像生成部は、合成比率算出部が算出した合成比率で、撮像部が撮像した静止画を、前フレーム画像及び後フレーム画像の少なくとも一方と合成してよい。
【０００７】
撮像タイミング記録部は、撮像部が静止画を撮像したときの露光期間の中心のタイミングを静止画撮像タイミングとして記録し、撮像部が前フレーム画像を撮像したときの露光期間の中心のタイミングを前フレーム画像撮像タイミングとして記録し、撮像部が後フレーム画像を撮像したときの露光期間の中心のタイミングを後フレーム画像撮像タイミングとして記録してよい。
【０００８】
合成比率算出部は、撮像タイミング記録部が記録している静止画撮像タイミングと前フレーム画像撮像タイミングとの時間差が、撮像タイミング記録部が記録している静止画撮像タイミングと後フレーム画像撮像タイミングとの時間差より大きい場合に、前フレーム画像の合成比率より後フレーム画像の合成比率を小さく算出し、撮像タイミング記録部が記録している静止画撮像タイミングと前フレーム画像撮像タイミングとの時間差が、撮像タイミング記録部が記録している静止画撮像タイミングと後フレーム画像撮像タイミングとの時間差より小さい場合に、前フレーム画像の合成比率より後フレーム画像の合成比率を大きく算出してよい。
【０００９】
撮像部が静止画を撮像したタイミングのフレーム画像の露光期間の中心のタイミングである中フレーム画像撮像タイミングを算出する撮像タイミング算出部をさらに備え、合成比率算出部は、撮像タイミング記録部が記録している静止画撮像タイミングと、前フレーム画像撮像タイミング及び後フレーム画像撮像タイミングの少なくとも一方と、撮像タイミング算出部が算出した中フレーム画像撮像タイミングとに基づいて、撮像部が撮像した静止画と、前フレーム画像及び後フレーム画像の少なくとも一方との合成比率を算出してよい。
【００１０】
合成比率算出部は、撮像タイミング記録部が記録している静止画撮像タイミングと、撮像タイミング算出部が算出した中フレーム画像撮像タイミングとの時間差が、撮像タイミング記録部が記録している前フレーム画像撮像タイミング又は後フレーム画像撮像タイミングと、撮像タイミング算出部が算出した中フレーム画像撮像タイミングとの時間差より大きい場合に、静止画の合成比率より前フレーム画像又は後フレーム画像の合成比率を小さく算出してよい。
【００１１】
撮像部が静止画を撮像したときの露光時間である静止画露光時間を記録する露光時間記録部と、露光時間記録部が記録している静止画露光時間に基づいて、撮像部が撮像した静止画と、前フレーム画像及び後フレーム画像の少なくとも一方との合成比率を算出する合成比率算出部とをさらに備え、フレーム画像生成部は、合成比率算出部が算出した合成比率で、撮像部が撮像した静止画を、前フレーム画像及び後フレーム画像の少なくとも一方と合成してよい。
【００１２】
合成比率算出部は、露光時間記録部が記録している静止画露光時間がより大きい場合に、撮像部が撮像した静止画の合成比率をより大きく算出してよい。
【００１３】
合成比率算出部は、露光時間記録部が記録している静止画露光時間が、撮像部が前フレーム画像又は後フレーム画像を撮像したときの露光時間と比較して相対的により大きい場合に、撮像部が撮像した静止画の合成比率をより大きく算出してよい。
【００１４】
本発明の第２の形態による撮像方法は、撮像段階と、複数のフレーム画像を含む動画を撮像段階において撮像させる動画撮像制御段階と、撮像段階において撮像されている一のフレーム画像と当該一のフレーム画像の次のフレーム画像を撮像する間のタイミングで、静止画を撮像段階に撮像させる静止画撮像制御段階と、撮像段階において撮像された静止画を、当該静止画の前に撮像段階において撮像されたフレーム画像である前フレーム画像、及び当該静止画の後に撮像段階において撮像されたフレーム画像である後フレーム画像の少なくとも一方と合成することにより、撮像段階において静止画が撮像されたタイミングのフレーム画像を生成するフレーム画像生成段階とを備える。
【００１５】
本発明の第３の形態によると、撮像装置用のプログラムであって、当該撮像装置を、撮像部、複数のフレーム画像を含む動画を撮像部に撮像させる動画撮像制御部、撮像部が一のフレーム画像と当該一のフレーム画像の次のフレーム画像を撮像する間のタイミングで、静止画を撮像部に撮像させる静止画撮像制御部、撮像部が撮像した静止画を、当該静止画の前に撮像部が撮像したフレーム画像である前フレーム画像、及び当該静止画の後に撮像部が撮像したフレーム画像である後フレーム画像の少なくとも一方と合成することにより、撮像部が静止画を撮像したタイミングのフレーム画像を生成するフレーム画像生成部として機能させる。
【００１６】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【発明の効果】
【００１７】
本発明によれば、動画撮像中に静止画を撮像しても、動画再生時に被写体の動きが不連続にならない動画を得ることができる撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１９】
図１は、この発明の一実施形態に係る撮像装置１１０のブロック構成の一例を示す。本実施形態の撮像装置１１０は、動画のフレーム画像を撮像している最中に、利用者によってレリーズボタンが押下されると、動画のフレーム画像を撮像するかわりに、フレーム画像を撮像する露光時間より短い露光時間で静止画を撮像して、撮像した静止画を記録する。そして、撮像装置１１０は、撮像した静止画と、静止画を撮像したタイミングの前後のフレーム画像とを合成することによって、静止画を撮像することで撮像できなかったフレーム画像を生成して記録する。
【００２０】
撮像装置１１０は、動画撮像制御部２００、静止画撮像制御部２０２、撮像部２１０、フレーム画像生成部２２０、撮像タイミング記録部２７０、撮像タイミング算出部２７２、露光時間記録部２７４、画像格納部２７８、及び合成比率算出部２７６を備える。撮像部２１０は、フレーム画像及び静止画を撮像する。具体的には、撮像部２１０は、被写体からの光をＣＣＤ等の撮像素子に露光させて被写体を撮像する。画像格納部２７８は撮像部２１０が撮像したフレーム画像及び静止画を格納する。
【００２１】
動画撮像制御部２００は、複数のフレーム画像を含む動画を撮像部２１０に撮像させる。例えば、動画撮像制御部２００は、撮像部２１０の撮像素子を露光させる露光開始時刻と露光時間とを制御する。静止画撮像制御部２０２は、撮像部２１０が一のフレーム画像と当該一のフレーム画像の次のフレーム画像を撮像する間のタイミングで、静止画を撮像部２１０に撮像させる。例えば、静止画撮像制御部２０２は、撮像部２１０が動画を撮像しているときに、レリーズボタンが押下されたタイミングの近傍のタイミングにおいて、撮像部２１０の撮像素子を露光させる露光開始時刻を決定し、動画撮像制御部２００が撮像部２１０の撮像素子を露光させる露光時間より短い露光時間で、撮像部２１０の撮像素子を露光させる。
【００２２】
フレーム画像生成部２２０は、撮像部２１０が撮像した静止画を、当該静止画の前に撮像部２１０が撮像したフレーム画像である前フレーム画像、及び当該静止画の後に撮像部２１０が撮像したフレーム画像である後フレーム画像の少なくとも一方と合成することにより、撮像部２１０が静止画を撮像したタイミングのフレーム画像を生成する。そして、画像格納部２７８は、フレーム画像生成部２２０が生成したフレーム画像を、撮像部２１０が静止画を撮像したタイミングのフレーム画像として格納する。このため、静止画の前後に撮像されたフレーム画像に記録された動きのある被写体の軌跡を、静止画に重畳させることができるので、動画再生時において、静止画が撮像されたタイミングにおいて被写体の動きが不連続になることを防ぐことができる。
【００２３】
具体的には、撮像タイミング記録部２７０は、撮像部２１０が静止画を撮像したタイミングである静止画撮像タイミングと、撮像部２１０が前フレーム画像を撮像したタイミングである前フレーム画像撮像タイミング及び撮像部２１０が後フレーム画像を撮像したタイミングである後フレーム画像撮像タイミングの少なくとも一方とを記録する。例えば、撮像タイミング記録部２７０は、動画撮像制御部２００及び静止画撮像制御部２０２から、露光開始時刻と露光時間データを受け取って、静止画撮像タイミングと、前フレーム画像撮像タイミング及び後フレーム画像撮像タイミングの少なくとも一方とを記録する。
【００２４】
より具体的には、撮像タイミング記録部２７０は、撮像部２１０が静止画を撮像したときの露光期間の中心のタイミングを静止画撮像タイミングとして記録し、撮像部２１０が前フレーム画像を撮像したときの露光期間の中心のタイミングを前フレーム画像撮像タイミングとして記録し、撮像部２１０が後フレーム画像を撮像したときの露光期間の中心のタイミングを後フレーム画像撮像タイミングとして記録する。
【００２５】
そして、合成比率算出部２７６は、撮像タイミング記録部２７０が記録している静止画撮像タイミングと、前フレーム画像撮像タイミング及び後フレーム画像撮像タイミングの少なくとも一方に基づいて、撮像部２１０が撮像した静止画と、前フレーム画像及び後フレーム画像の少なくとも一方との合成比率を算出する。そして、フレーム画像生成部２２０は、合成比率算出部２７６が算出した合成比率で、撮像部２１０が撮像した静止画を、前フレーム画像及び後フレーム画像の少なくとも一方と合成する。例えば、フレーム画像生成部２２０は、静止画における各画素の輝度値と、前フレーム画像及び後フレーム画像の少なくとも一方における各画素の輝度値とに対して、合成比率算出部２７６によって算出された合成比率で示される比率を乗じた値の各画素の合計値を、生成するフレーム画像における各画素の輝度値として決定してよい。なお、ここでいう輝度値とは、各画素における複数の色毎の輝度値を含む。
【００２６】
具体的には、合成比率算出部２７６は、撮像タイミング記録部２７０が記録している静止画撮像タイミングと前フレーム画像撮像タイミングとの時間差が、撮像タイミング記録部２７０が記録している静止画撮像タイミングと後フレーム画像撮像タイミングとの時間差より大きい場合に、前フレーム画像の合成比率より後フレーム画像の合成比率を小さく算出し、撮像タイミング記録部２７０が記録している静止画撮像タイミングと前フレーム画像撮像タイミングとの時間差が、撮像タイミング記録部２７０が記録している静止画撮像タイミングと後フレーム画像撮像タイミングとの時間差より小さい場合に、前フレーム画像の合成比率より後フレーム画像の合成比率を大きく算出する。このため、撮像装置１１０は、被写体の位置及び動きを、静止画が撮像されたタイミングのフレーム画像として生成するフレーム画像に適切に反映させることができる。
【００２７】
なお、撮像タイミング算出部２７２は、撮像部２１０が静止画を撮像したタイミングのフレーム画像の露光期間の中心のタイミングである中フレーム画像撮像タイミングを算出する。そして、合成比率算出部２７６は、撮像タイミング記録部２７０が記録している静止画撮像タイミングと、前フレーム画像撮像タイミング及び後フレーム画像撮像タイミングの少なくとも一方と、撮像タイミング算出部２７２が算出した中フレーム画像撮像タイミングとに基づいて、撮像部２１０が撮像した静止画と、前フレーム画像及び後フレーム画像の少なくとも一方との合成比率を算出する。
【００２８】
このとき、合成比率算出部２７６は、撮像タイミング記録部２７０が記録している静止画撮像タイミングと、撮像タイミング算出部２７２が算出した中フレーム画像撮像タイミングとの時間差が、撮像タイミング記録部２７０が記録している前フレーム画像撮像タイミング又は後フレーム画像撮像タイミングと、撮像タイミング算出部２７２が算出した中フレーム画像撮像タイミングとの時間差より大きい場合に、静止画の合成比率より前フレーム画像又は後フレーム画像の合成比率を小さく算出する。このため、撮像装置１１０は、被写体の位置と動きとを、静止画が撮像されたタイミングのフレーム画像として生成されるフレーム画像に適切に反映させることができる。
【００２９】
露光時間記録部２７４は、撮像部２１０が静止画を撮像したときの露光時間である静止画露光時間を記録する。そして、合成比率算出部２７６は、露光時間記録部２７４が記録している静止画露光時間に基づいて、撮像部２１０が撮像した静止画と、前フレーム画像及び後フレーム画像の少なくとも一方との合成比率を算出する。具体的には、合成比率算出部２７６は、露光時間記録部２７４が記録している静止画露光時間がより大きい場合に、撮像部２１０が撮像した静止画の合成比率をより大きく算出する。そして、フレーム画像生成部２２０は、合成比率算出部２７６が算出した合成比率で、撮像部２１０が撮像した静止画を、前フレーム画像及び後フレーム画像の少なくとも一方と合成する。なお、合成比率算出部２７６は、露光時間記録部２７４が記録している静止画露光時間が、撮像部２１０が前フレーム画像又は後フレーム画像を撮像したときの露光時間と比較して相対的により大きい場合に、撮像部２１０が撮像した静止画の合成比率をより大きく算出してもよい。
【００３０】
このため、例えば、撮像者が露光時間を長めに設定して撮像した場合など、静止画に被写体の動いた軌跡が記録されている場合には、静止画を撮像したタイミングでの被写体の動きを、静止画を撮像したタイミングのフレーム画像として生成されるフレーム画像に適切に反映させることができる。
【００３１】
以上説明した撮像装置１１０によれば、静止画と、静止画の前後に撮像されたフレーム画像とを、撮像タイミング及び露光時間に応じた望ましい合成比率で合成することによって、動いている被写体の動きが反映されたフレーム画像を生成することができる。このため、撮像装置１１０の撮像者は、動画撮像中でもシャッタチャンスを逃すことなく静止画を撮像することができるとともに、動画再生時に静止画を撮像したタイミングで被写体の動きが不連続となることを防ぐことができる。なお、撮像装置１１０は、デジタルスチルカメラ、デジタルビデオカメラ等の機器であってよく、カメラ付携帯電話、撮像機能を有するＰＤＡ等の携帯情報端末等であってもよい。
【００３２】
なお、撮像部２１０が静止画を撮像したタイミングのフレーム画像とは、具体的には、静止画の前のフレーム画像が撮像されてから静止画の後のフレーム画像が撮像されるまでの間において得られるべきフレーム画像であってよい。具体的には、撮像部２１０が静止画を撮像したタイミングのフレーム画像とは、静止画より前のタイミングで撮像されたフレーム画像の露光終了時刻から、静止画より後のタイミングで撮像されたフレーム画像の露光開始時刻までの期間において得られるべきフレーム画像であってよい。また、静止画撮像制御部２０２は、静止画撮像指示受付部２０１が静止画の撮像指示を受け付けた場合に、撮像部２１０が撮像している複数のフレーム画像のうちの１つのフレーム画像に代えて、静止画を撮像部２１０に撮像させてもよい。この場合、撮像部２１０が静止画を撮像したタイミングのフレーム画像とは、撮像部２１０が複数のフレーム画像のうちの１つのフレーム画像に代えて撮像部２１０が静止画を撮像することによって撮像できなかったフレーム画像を代替するフレーム画像である代替フレーム画像であってよい。
【００３３】
図２は、撮像装置１１０によるフレーム画像の生成過程の一例を示す。本図の例においては、静止画撮像制御部２０２が１つのフレーム画像に代えて静止画を撮像部２１０に撮像させた場合において、フレーム画像生成部２２０が代替フレーム画像を生成する場合の動作の一例を示す。なお、本図以降の説明における代替フレーム画像は、静止画を撮像したタイミングのフレーム画像の一例である。本図の例では、動画撮像制御部２００は、時刻ｔ３０１、ｔ３０２、ｔ３０３・・・を露光期間の中心のタイミングとする露光時間Ｌｍで、撮像部２１０に動画を撮像させるタイミングを供給する。しかし、静止画撮像制御部２０２は、レリーズボタンが押下されると、時刻ｔ３００を露光期間の中心のタイミングとするタイミングにおいて、露光時間Ｌｓで撮像部２１０に静止画を撮像させる。これにより、撮像装置１１０は、静止画Ｓ、静止画Ｓの前に撮像された前フレーム画像Ｆ１、及び静止画Ｓの後に撮像された後フレーム画像Ｆ３を取得して、記録する。このとき、撮像タイミング記録部２７０は、前フレーム画像撮像タイミングｔ３０１、静止画撮像タイミングｔ３００、及び後フレーム画像撮像タイミングｔ３０３を記録する。なお、撮像タイミング算出部２７２は、動画撮像制御部２００から供給される露光タイミング情報と、静止画撮像制御部２０２から供給される露光タイミング情報とに基づいて、中フレーム画像撮像タイミングｔ３０２を算出して、合成比率算出部２７６に供給する。
【００３４】
そして、合成比率算出部２７６は、前フレーム画像Ｆ１、静止画Ｓ、後フレーム画像Ｆ３を合成させる合成比率α１、α２、及びα３を算出する。このとき、合成比率算出部２７６は、静止画撮像タイミングと前フレーム画像撮像タイミングｔ３０１との時間差Δｔ１と、後フレーム画像撮像タイミングｔ３０３と静止画撮像タイミングｔ３００との時間差Δｔ３とを算出する。そして合成比率算出部２７６は、例えば、後フレーム画像Ｆ３の合成比率α３に対する前フレーム画像Ｆ１の合成比率α１の比率を、時間差Δｔ３に対する時間差Δｔ１に比例させる。これにより、撮像装置１１０は、例えば静止画撮像タイミングｔ３００が中フレーム画像撮像タイミングｔ３０２より前のタイミングである場合に、後フレーム画像Ｆ３に含まれる被写体の動きがより反映された代替フレーム画像Ｆ２を生成することができる。
【００３５】
そして、合成比率算出部２７６は、中フレーム画像撮像タイミングｔ３０２と静止画撮像タイミングｔ３００との時間差Δｔ０を算出して、例えば、静止画Ｓの合成比率α２に対する、後フレーム画像Ｆ１と後フレーム画像Ｆ３の合成比率の合計値α１＋α３の比率を、静止画露光時間Ｌｓの逆数と時間差Δｔ０との積に比例させる。これにより、合成比率算出部２７６は、静止画露光時間Ｌｓが長いほど代替フレーム画像Ｆ２への静止画Ｓの寄与度を上げることができるとともに、静止画撮像タイミングｔ３００が中フレーム画像撮像タイミングｔ３０２から離れている代替フレーム画像Ｆ２への静止画Ｓの寄与度を下げることができる。このため、撮像装置１１０は、静止画Ｓに撮像されていない被写体の動きの軌跡を、適切に代替フレーム画像Ｆ２に反映させることができる。
【００３６】
そして、撮像装置１１０は、フレーム画像生成部２２０によって生成された代替フレーム画像Ｆ２を、中フレーム画像撮像タイミングｔ３０２において撮像されたフレーム画像として記録する。以上説明したように、撮像装置１１０は、被写体の位置及び動きが適切に反映された代替フレーム画像を生成することができる。
【００３７】
図３は、撮像装置１１０によるフレーム画像の成過程の他の一例を示す。本図において図２と同一の符号が付された要素は、図２に関連して説明した要素と同じ要素であるので説明を省略する。本図の例における代替フレーム画像の生成過程においては、フレーム画像生成部２２０は、前フレーム画像Ｆ１及び静止画Ｓが撮像されたタイミングに基づいて仮想前フレーム画像Ｆ２１を生成するとともに、後フレーム画像Ｆ３及び静止画Ｓが撮像されたタイミングに基づいて仮想後フレーム画像Ｆ２２を生成する。そしてフレーム画像生成部２２０は、生成された仮想前フレーム画像Ｆ２１及び仮想後フレーム画像Ｆ２２の少なくとも一方と、静止画Ｓとを、合成することによって、代替フレーム画像Ｆ２を生成して記録する。
【００３８】
仮想前フレーム画像Ｆ２１を生成する過程においては、合成比率算出部２７６は、中フレーム画像撮像タイミングｔ３０２において撮像されるべきフレーム画像を撮像すべく露光させる露光開始時刻（ｔ３０２−Ｌｍ／２）と静止画撮像タイミングｔ３００を含む露光期間の露光開始時刻（ｔ３００−Ｌｓ／２）との間の中心の時刻を、仮想前フレーム画像撮像タイミングｔ２１として決定する。そして、合成比率算出部２７６は、前フレーム画像撮像タイミングｔ３０１、仮想前フレーム画像撮像タイミングｔ２１、及び静止画撮像タイミングｔ３００に基づいて、前フレーム画像Ｆ１と、静止画Ｓとを合成する合成比率を算出して、仮想前フレーム画像Ｆ２１を生成する。
【００３９】
具体的には、合成比率算出部２７６は、仮想前フレーム画像撮像タイミングｔ２１と前フレーム画像撮像タイミングｔ３０１との時間差Δｔ４と、静止画撮タイミングｔ３００と仮想前フレーム画像撮像タイミングｔ２１との時間差Δｔ５とを算出する。そして、合成比率算出部２７６は、仮想前フレーム画像Ｆ２１を生成するための静止画の合成比率β２及び前フレーム画像Ｆ１の合成比率β１を算出するにあたって、β２／β１を、ＬｓとΔｔ５／Δｔ４との積に比例させる。
【００４０】
また、合成比率算出部２７６は、仮想前フレーム画像Ｆ２１を生成した過程と同様に、仮想後フレーム画像Ｆ２２を、中フレーム画像撮像タイミングｔ３０２において撮像されるべきフレーム画像を撮像すべく露光させる露光終了時刻（ｔ３０２＋Ｌｍ／２）と静止画撮像タイミングｔ３００を含む露光期間の露光修了時刻（ｔ３００＋Ｌｓ／２）との中心の時刻を、仮想後フレーム画像撮像タイミングｔ２２として決定する。そして、合成比率算出部２７６は、後フレーム画像撮像タイミングｔ３０３、仮想後フレーム画像撮像タイミングｔ２２、及び静止画撮像タイミングｔ３００に基づいて、前フレーム画像Ｆ３と、静止画Ｓとを合成する合成比率を算出して、仮想後フレーム画像Ｆ２２を生成する。
【００４１】
具体的には、合成比率算出部２７６は、仮想後フレーム画像撮像タイミングｔ２２と静止画撮像タイミングｔ３００との時間差Δｔ６と、後フレーム画像撮像タイミングｔ３０１と仮想後フレーム画像撮像タイミングｔ２２との時間差Δｔ７とを算出する。そして、合成比率算出部２７６は、仮想後フレーム画像Ｆ２２を生成するための静止画の合成比率β４及び後フレーム画像Ｆ３の合成比率β３を算出するにあたって、β４／β３を、ＬｓとΔｔ７／Δｔ６との積に比例させる。
【００４２】
そして、フレーム画像生成部２２０は、仮想前フレーム画像Ｆ２１、静止画Ｓ、及び仮想後フレーム画像Ｆ２２を合成することによって、代替フレーム画像Ｆ２を生成する。このとき、合成比率算出部２７６は、静止画露光時間Ｌｓと、中フレーム画像の露光開始時刻から静止画Ｓの露光開始時刻までの時間幅（ｔ３００−Ｌｓ／２−ｔ３０２＋Ｌｍ／２）と、静止画Ｓの露光終了時刻から中フレーム画像の露光終了時刻までの時間幅（ｔ３０２−Ｌｍ／２−ｔ３００＋Ｌｓ／２）とに基づいて、合成比率γ１、γ２、及びγ３を算出する。例えば、合成比率算出部２７６は、各合成比率γ１、γ２、及びγ３を、それぞれΔｔ８、Ｌｓ、及びΔｔ９の大きさに応じた比率に設定する。
【００４３】
以上説明したようにして、撮像装置１１０は、静止画Ｓに撮像されていない被写体の動きの軌跡を、静止画Ｓが撮像されたタイミング及び露光時間に応じた適切な合成比率で、前フレーム画像Ｆ１及び後フレーム画像Ｆ３と合成することができる。このため、撮像装置１１０は、被写体の位置及び動きを代替フレーム画像に適切に反映することができる。
【００４４】
以上説明したように、本実施形態の撮像装置１１０によれは、動画撮像中にフレーム画像にかえて静止画を撮像した場合に、静止画と、静止画が撮像された前後に撮像されたフレーム画像を適切な割合で合成することによって、被写体の動きが適切に反映された代替フレーム画像を生成することができる。これにより、撮像装置１１０は、被写体の動きが不連続になることのない動画を閲覧者に提供することができる。また、撮像装置１１０は、代替フレーム画像を生成するにあたって、画像認識等の計算量の多い処理をすることなく代替フレーム画像を生成することができる。
【００４５】
図４は、撮像装置１１０に係るコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００４６】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００４７】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介して撮像装置１１０と通信し、撮像装置１１０にプログラム、及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００４８】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００４９】
ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介して撮像装置１１０に送信される。撮像装置１１０に送信されたプログラムは、撮像装置１１０においてインストールされて実行される。
【００５０】
撮像装置１１０にインストールされて実行されるプログラムは、撮像装置１１０を、図１から図３に関連して説明した動画撮像制御部２００、静止画撮像制御部２０２、撮像部２１０、フレーム画像生成部２２０、撮像タイミング記録部２７０、撮像タイミング算出部２７２、露光時間記録部２７４、画像格納部２７８、及び合成比率算出部２７６として機能させる。
【００５１】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
【００５２】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００５３】
【図１】撮像装置１１０のブロック構成の一例を示す図である。
【図２】撮像装置１１０によるフレームの生成過程の一例を示す。
【図３】撮像装置１１０によるフレームの生成過程の他の一例を示す。
【図４】撮像装置１１０に係るコンピュータ１５００のハードウェア構成の一例を示す図である。
【符号の説明】
【００５４】
１１０  撮像装置
２００  動画撮像制御部
２０２  静止画撮像制御部
２１０  撮像部
２２０  フレーム画像生成部
２７０  撮像タイミング記録部
２７２  撮像タイミング算出部
２７４  露光時間記録部
２７６  合成比率算出部
２７８  画像格納部
【図１】
2007088579.tif 000003
【図２】
2007088579.tif 000004
【図３】
2007088579.tif 000005
【図４】
2007088579.tif 000006