(57)【要約】【課題】スローモーション撮影された動画を通常速度で再生する場合に動きが滑らかな動画を生成できるようにする。【解決手段】第１のフレームレートで撮影された期間と、前記第１のフレームレートよりも高い第２のフレームレートで撮影された期間とを有する動画に対し、前記第２のフレームレートで撮影された期間の中から補間の対象とする期間を指定する指定手段と、前記指定手段により指定された期間において、前記第１のフレームレートで撮影された期間とのフレームレートの差分に応じてフレーム及び露光期間を補間する補間手段と、を有する。【選択図】図１
2019080104.tif 000002
【特許請求の範囲】
【請求項１】
第１のフレームレートで撮影された期間と、前記第１のフレームレートよりも高い第２のフレームレートで撮影された期間とを有する動画に対し、前記第２のフレームレートで撮影された期間の中から補間の対象とする期間を指定する指定手段と、
前記指定手段により指定された期間において、前記第１のフレームレートで撮影された期間とのフレームレートの差分に応じてフレーム及び露光期間を補間する補間手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記補間手段は、前フレームから求めた動きベクトルと後ろフレームから求めた動きベクトルとを用いてフレームの補間を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補間手段は、前記指定手段により指定された期間において、前記第１のフレームレートで撮影された期間に相当する露光時間に補間することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記補間手段は、前記補間したフレームを含めたフレーム間で露光期間を補間することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記第２のフレームレートで撮影された期間は、スローモーション撮影によって撮影された期間であることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記補間手段は、さらに前記指定手段により指定された期間において、感度の差に応じたノイズリダクションを施すことを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
第１のフレームレートで撮影された期間と、前記第１のフレームレートよりも高い第２のフレームレートで撮影された期間とを有する動画に対し、前記第２のフレームレートで撮影された期間の中から補間の対象とする期間を指定する指定工程と、
前記指定工程において指定された期間において、前記第１のフレームレートで撮影された期間とのフレームレートの差分に応じてフレーム及び露光期間を補間する補間工程と、
を有することを特徴とする画像処理方法。
【請求項８】
第１のフレームレートで撮影された期間と、前記第１のフレームレートよりも高い第２のフレームレートで撮影された期間とを有する動画に対し、前記第２のフレームレートで撮影された期間の中から補間の対象とする期間を指定する指定工程と、
前記指定工程において指定された期間において、前記第１のフレームレートで撮影された期間とのフレームレートの差分に応じてフレーム及び露光期間を補間する補間工程と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、スローモーション撮影に用いて好適な画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、動画の撮影中に撮影フレームレートを変えて撮影する撮像装置が提案されている（例えば特許文献１参照）。また、デジタルビデオカメラやデジタルスチルカメラ等の撮像装置には、スローモーション撮影／再生が可能な機種がある。スローモーション撮影／再生とは、通常よりも高速フレームレートで撮影した動画に対して、現実よりも遅い速度で再生することで、ユーザーは肉眼では見えなかった被写体の決定的瞬間をとらえることが可能となるモードである。このモードでは、通常動画が６０ｆｐｓで撮影されるのに対して、１２０ｆｐｓや２４０ｆｐｓなどの高速フレームレートで撮影する。そして、再生時にその動画を６０ｆｐｓで再生することで、２倍や４倍などのスローモーション再生が可能となる。また、通常速度で動画を撮影しておき、ボタンの押下などユーザーが指示を送った期間だけスローモーション撮影に切り替えることが可能な機種も存在する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−８７６３０号公報
【特許文献２】特許第３３０４４２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、高速フレームレートで撮影を行った場合であっても、ユーザーにとって重要度が低く、再生時にスローモーション再生が不要なフレームが存在する場合がある。このスローモーション再生が不要なフレームに対してスローモーション再生を行うと、その分ユーザーが見たいシーンにたどりつくまで多くの時間がかかってしまうという問題点がある。そこで、スローモーション再生が不要なフレームに対しては、通常速度で再生することが考えられる。
【０００５】
ところが、スローモーション再生が不要なフレームに対して通常速度で再生を行うと、動画として視聴した際に動きが不自然になってしまうという問題点がある。つまり、スローモーション撮影では露光時間が通常撮影よりも短く撮影されているため、フレーム間において長い非露光時間が発生し、フレーム毎の動きブレが繋がらず、被写体の動きが不自然になってしまう。
【０００６】
本発明は前述の問題点に鑑み、スローモーション撮影された動画を通常速度で再生する場合に動きが滑らかな動画を生成できるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、第１のフレームレートで撮影された期間と、前記第１のフレームレートよりも高い第２のフレームレートで撮影された期間とを有する動画に対し、前記第２のフレームレートで撮影された期間の中から補間の対象とする期間を指定する指定手段と、前記指定手段により指定された期間において、前記第１のフレームレートで撮影された期間とのフレームレートの差分に応じてフレーム及び露光期間を補間する補間手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、スローモーション撮影を行った動画を通常速度で再生を行う場合に動きが滑らかな動画を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る撮像装置の内部構成例を示すブロック図である。
【図２】スローモーション撮影を行った期間とスローモーション再生を行う期間との関係を説明するための図である。
【図３】第１の実施形態における動画生成部による処理手順の一例を示すフローチャートである。
【図４】通常速度の再生に適したブラー制御を行う手順の一例を示すフローチャートである。
【図５】第１の実施形態において、フレーム間隔及び露光時間の関係を示す図である。
【図６】第２の実施形態において、フレーム間隔及び露光時間の関係を示す図である。
【図７】スローモーション撮影を行った期間とスローモーション再生を行う期間との関係及びＩＳＯ感度を説明するための図である。
【図８】第３の実施形態における動画生成部による処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
以下、本発明の第１の実施形態について説明する。本実施形態では、スローモーション撮影された露光時間が短い動画に対して、フレーム画像を補間して動きブレを付与し、動きが滑らかな動画を生成する。
【００１１】
図１は、本実施形態に係る撮像装置１００の内部構成例を示すブロック図である。なお、撮像装置としては、デジタルビデオカメラやデジタルスチルカメラ以外にも、スマートフォンやタブレットなどに搭載のカメラや、工業用カメラ、医療用カメラ、車載用カメラなどに適用できる。
【００１２】
図１において、制御部１０１は、例えばＣＰＵであり、撮像装置１００が備える各ブロックの動作プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行することにより撮像装置１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、撮像装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、撮像装置１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
【００１３】
光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、光学系１０４により撮像部１０５に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にデジタル画像信号に変換し、得られたデジタル画像データをＲＡＭ１０３に出力する。
【００１４】
画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また、画像処理部１０７は、後述する動画生成部２００を具備し、ＲＡＭ１０３に記憶されている画像データに対して動きブレを付与し、動きが滑らかな動画を生成する。
【００１５】
記録部１０８は着脱可能なメモリカード等であり、制御部１０１は画像処理部１０７で処理された画像データを、ＲＡＭ１０３を介して記録部１０８に記録する。また、制御部１０１は、記録部１０８に記録されている画像データを、ＲＡＭ１０３を介し、画像処理部１０７に出力することもできる。表示部１０９は、ＬＣＤ等の表示デバイスであり、制御部１０１は、ＲＡＭ１０３及び記録部１０８に記録した画像データやユーザー操作からの指示を受け付けるためのユーザーインターフェイスを表示部１０９に出力してその画像を表示させる。操作部１１０は、ユーザーの操作を受け付け、スローモーション撮影を行う場合は、操作部１１０からの指示により通常撮影とスローモーション撮影との切替えを行う。また、操作部１１０からの指示により、スローモーション撮影された動画において、通常速度で再生したい区間（フレーム補間を行う対象とする期間）を指定することもできる。
【００１６】
次に、画像処理部１０７が具備する動画生成部２００の動作について、詳細に説明する。本実施形態では、露光時間が短い動画に対して、補間フレームを用いて動きブレを付与し、動きが滑らかな動画を生成する。
【００１７】
次に、図２を用いてスローモーション動画について説明を行う。図２に示す例では、ユーザーの指示により、時間ｔ１〜ｔ４までの間で、スローモーション撮影が行われる例を示している。具体的には、時間ｔ０〜ｔ１の間、及び時間ｔ４〜ｔ５の間は通常の撮影速度（フレームレートが６０ｆｐｓ）で、フレーム間の露光時間は１／８０秒で撮影される。一方、時間ｔ１〜ｔ４のスローモーション撮影では、通常撮影の２倍の撮影速度（フレームレートが１２０ｆｐｓ）で、フレーム間の露光時間は１／６４０秒で撮影される。ただし、再生時に確認した結果、時間ｔ１〜ｔ２および時間ｔ３〜ｔ４の区間においては、スローモーション撮影を行っているものの、重要なシーンではなかったので、通常速度へ変換することを考える。
【００１８】
次に、動画生成部２００の処理について、図３のフローチャートを参照して説明する。なお、ユーザーの操作によって、操作部１１０から、スローモーション撮影を行ったシーンの中で通常速度で再生したい区間が予め設定されているものとする。
図３のステップＳ３０１において、動画生成部２００は、撮影後の動画を取得して、処理対象のフレームがスローモーション撮影されたフレームであるか否かを判定する。この判定の結果、スローモーション撮影されたフレームでない場合は、ステップＳ３０４に進む。
【００１９】
一方、ステップＳ３０１の判定の結果、スローモーション撮影されたフレームである場合は、ステップＳ３０２において、動画生成部２００は、通常速度で再生したいフレーム（倍速再生したいフレーム）であるか否かを判定する。図２に示す例では、通常速度で再生したいフレームは時間ｔ１〜ｔ２および時間ｔ３〜ｔ４の区間のフレームである。ステップＳ３０２の判定の結果、通常速度で再生したいフレームでない場合は、ステップＳ３０４に進む。
【００２０】
一方、ステップＳ３０２の判定の結果、通常速度で再生したいフレームである場合は、ステップＳ３０３において、動画生成部２００は、通常速度の再生に適したブラー制御を行う。この処理の詳細については後述する。
次にステップＳ３０４において、動画生成部２００は、処理対象のフレームが最終フレームであるか否かを確認する。この確認の結果、最終フレームでない場合はステップＳ３０１に戻り、上記ステップＳ３０１からステップＳ３０４までの動作を繰り返す。一方、ステップＳ３０４の確認の結果、最終フレームである場合は、処理を終了する。
【００２１】
次に、図４を用いて、図３のＳ３０３における動画生成部２００の処理の詳細を説明する。まず、ステップＳ４０１において、動画生成部２００は、フレームレート及び露光時間について通常撮影と比較し、補間するフレームおよび露光期間を決定する。通常撮影では、フレームレートは６０ｆｐｓで露光時間は１／８０秒である。次に、ステップＳ４０２において、動画生成部２００は、例えば後述するフレームの補間方法を用いて補間するフレーム画像を生成し、処置対象とするフレームの次フレームとして挿入する。
【００２２】
ここで図５を用いて、図３のステップＳ３０３の動作である通常速度の再生に適したブラー制御の具体的な動作について説明を行う。
図５（ｄ）は、通常撮影時のシーケンスを示しており、領域ｄ１、ｄ２は露光時間の領域を示している。この例ではフレームレートは６０ｆｐｓ、フレーム間の露光時間は１／８０秒である。また、図５（ｄ）では、フレーム間（撮像Ｎ＋１フレームと撮像Ｎフレームとの間）の時間間隔が１／６０秒である。
【００２３】
一方、図５（ａ）は、スローモーション撮影時のシーケンスを示しており、領域ａ１〜ａ５は、露光時間の領域を示している。この例では、通常の２倍のフレームレート（１２０ｆｐｓ）で撮影されて、露光時間は１／６４０秒である。また、図５（ａ）では、フレーム間（撮像Ｎ＋１フレームと撮像Ｎフレームとの間）の時間間隔が１／１２０秒である。
【００２４】
図５（ｂ）は、図５（ａ）のスローモーション撮影された区間を通常速度で再生（２倍速再生）した場合のシーケンスを示しており、領域ａ１、ａ３、ａ５が露光時間の領域を示している。図５（ｂ）の再生速度は、図５（ｄ）の再生速度と同じ再生速度になるが、露光時間に関しては領域ａ１と領域ａ３との間に非露光区間があり、図５（ｄ）に示した例と比べて露光期間が短くなっており、動きが滑らかでない動画となってしまう。
【００２５】
本実施形態では、図５（ｃ）に示すように領域ａ１と領域ａ３との間の領域ａ２にフレームを挿入し、さらに領域ａ１と領域ａ２との間に露光期間ｃ１をフレーム補間で生成する。同様に、領域ａ３と領域ａ５との間の領域ａ４にフレームを挿入し、さらに領域ａ３と領域ａ４との間に露光期間ｃ２をフレーム補間で生成する。そのようにすることで、スローモーション撮影されたフレームの露光時間を通常撮影時の露光時間相当にすることができ、通常速度でスローモーション撮影されたシーンを再生しても動きが滑らかな動画を得ることができる。なお、フレームの補間方法は、例えば特許文献２に記載されているような前フレームから求めた動きベクトルと後ろフレームから求めた動きベクトルとを用いて補間を行う方法を用いる。
【００２６】
以上のように本実施形態によれば、スローモーション撮影された動画から通常速度再生を行う場合に、前述した補間処理を行うことによって、通常速度で再生した時のフレームの露光時間を通常撮影時の露光時間相当にすることができる。これにより、スローモーション撮影されたシーンを通常速度で再生しても動きが滑らかな動画を得ることができる。
【００２７】
（第２の実施形態）
以下、本発明の第２の実施形態について、図６を参照しながら説明する。本実施形態では、４倍の高速フレームレートでスローモーション撮影を行った場合に通常速度で再生できる動画を生成する例について説明する。なお、本実施形態では、第１の実施形態と異なる点についてのみ説明し、撮像装置の内部構成に関しては、第１の実施形態で説明した図１と同等のため、説明は省略する。
【００２８】
図６（ｄ）は、通常撮影時のシーケンスを示しており、領域ｄ１、ｄ２が露光時間の領域を示している。この例ではフレームレートは６０ｆｐｓ、フレーム間の露光時間は１／８０秒である。また、図６（ｄ）では、フレーム間（撮像Ｎ＋１フレームと撮像Ｎフレームとの間）の時間間隔が１／６０秒である。
【００２９】
図６（ａ）は、スローモーション撮影時のシーケンスを示しており、領域ａ１〜ａ５が露光時間の領域を示している。この例では、通常の４倍のフレームレート（２４０ｆｐｓ）で撮影されて、露光時間は１／１２５０秒である。また、図６（ａ）では、フレーム間（撮像Ｎ＋１フレームと撮像Ｎフレームとの間）の時間間隔が１／２４０秒である。
【００３０】
図６（ｂ）は、図６（ａ）のスローモーション撮影された区間を通常速度で再生（４倍速再生）した場合のシーケンスを示しており、領域ａ１、ａ５が露光時間の領域を示している。図６（ｂ）の再生速度は、図６（ｄ）の再生速度と同じ再生速度になるが、露光時間に関しては領域ａ１と領域ａ５との間に非露光区間があり、図５に示した例と同様に、動きが滑らかでない動画となってしまう。
【００３１】
そこで、図６（ｃ）に示すように、領域ａ１と領域ａ５との間の領域ａ２、領域ａ３、領域ａ４のそれぞれにフレームを挿入する。さらに、さらに領域ａ１と領域ａ２との間に露光期間ｃ１、領域ａ３と領域ａ４との間に露光期間ｃ２、領域ａ３と領域ａ４との間に露光期間ｃ３をそれぞれフレーム補間で生成する。そのようにすることで、スローモーション撮影されたフレームの露光時間を通常撮影時の露光時間相当にすることができ、通常速度でスローモーション撮影されたシーンを再生しても動きが滑らかな動画を得ることができる。
【００３２】
以上のように本実施形態によれば、スローモーション撮影された動画から通常速度再生（４倍速再生）を行う場合に、フレーム補間を行うことによって、動きが滑らかな動画を得ることができる。なお、第１及び第２の実施形態では、それぞれ２倍、４倍のフレームレートでスローモーション撮影を行った動画について説明したが、それ以外のフレームレートについてもフレームレートの差分に応じて同様の処理を行えばよい。
【００３３】
（第３の実施形態）
以下、本発明の第３の実施形態について、図７を参照しながら説明する。フレーム間の露光時間が短い動画を撮影する場合、フレーム間の露光時間が長い動画と同じ明るさで撮影するには感度を上げる必要があり、画像のノイズが増加してしまう場合もある。そこで本実施形態では、スローモーション撮影された動画を通常速度で再生する場合に、より強めのノイズリダクションをかける。なお、本実施形態では、第１の実施形態と異なる点についてのみ説明し、撮像装置の内部構成に関しては、画像処理部１０７が公知のノイズリダクション処理を行う点を除き、第１の実施形態で説明した図１と同等のため、説明は省略する。
【００３４】
図７は、スローモーション撮影を行った期間とスローモーション再生を行う期間との関係およびＩＳＯ感度を説明するための図である。フレームレート、露光時間、および時間ｔ０〜ｔ５については基本的には図２と同様である。撮影時の絞りを一定とし、通常撮影がＩＳＯ１００で撮影されていた場合、スローモーション撮影で通常撮影と同じ明るさにするにはＩＳＯ８００で撮影する必要がある。そのため、通常撮影とスローモーション撮影とで撮影時のノイズが異なることになる。時間ｔ０〜ｔ１および時間ｔ１〜ｔ２は同一速度で再生されるので、再生時のノイズが異なると不自然な画像となる。そのため、時間ｔ１〜ｔ２間のスローモーション撮影されたフレームと時間ｔ０〜ｔ１間の通常撮影されたフレームとでノイズが同等となるように、相対的に強めのノイズリダクションを施すことでより自然な動画を得ることができる。
【００３５】
次に、図８のフローチャートを参照しながら、動画生成部２００の処理について説明する。なお、図８のステップＳ３０１〜Ｓ３０４は、それぞれ図３のステップＳ３０１〜Ｓ３０４と同様であるため、説明は省略する。
【００３６】
ステップＳ８０１においては、該当するフレームに対し、撮影感度の差に応じたノイズリダクション（ＮＲ）処理を行う。なお、ＮＲ処理では、公知の手法として、画像に含まれるエッジ成分の方向を検出し、当該方向に沿った低域通過フィルタによる平滑化処理によってノイズを低減する方法等を用いればよい。一例としては、低域通過フィルタの周波数をより低周波にすることでＮＲを強くかけることができる。
【００３７】
以上のように本実施形態によれば、スローモーション撮影された動画から通常速度で再生を行う場合に、通常速度で再生を行うフレームに対して、通常撮影の撮影条件とノイズ量が近づくようなノイズリダクションを行う。このようにすることで、スローモーション撮影された動画において、異なる速度で再生を行ってもノイズに差がなく違和感が少ない動画を得ることができる。
【００３８】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３９】
１０７  画像処理部
１１０  操作部
２００  動画生成部
【図１】
2019080104.tif 000003
【図２】
2019080104.tif 000004
【図３】
2019080104.tif 000005
【図４】
2019080104.tif 000006
【図５】
2019080104.tif 000007
【図６】
2019080104.tif 000008
【図７】
2019080104.tif 000009
【図８】
2019080104.tif 000010