(57)【要約】【課題】  タイムラプス動画は、撮影間隔と露光時間の違いによって見え方は大きく変化するが、撮影者が撮影間隔や露光時間の組み合わせの全てを実際に記録、再生して試行錯誤しようとすると膨大な手間がかかるという課題がある。【解決手段】  タイムラプス撮影で取得された第１画像列から第２画像列を生成し、第２画像列を再生することによって、タイムラプス撮影における撮影条件の変更に対応した映像を擬似的に表示する再生装置において、第１画像列に対して所定間隔で間引き処理を行うことで第２画像列を生成する間引き処理手段と、第１画像列に対して連続する所定枚数の画像を単位として合成処理を行うことで第２画像列を生成する合成処理手段、の少なくとも１つを有する画像処理手段と、画像処理手段によって生成された第２画像列を再生して映像を表示する表示手段とを備える。【選択図】  図１
2017034460.tif 000002
【特許請求の範囲】
【請求項１】
タイムラプス撮影で取得された第１画像列から第２画像列を生成し、前記第２画像列を再生することによって、前記タイムラプス撮影における撮影条件の変更に対応した映像を擬似的に表示する再生装置において、
前記第１画像列に対して所定間隔で間引き処理を行うことで前記第２画像列を生成する間引き処理手段と、前記第１画像列に対して連続する所定枚数の画像を単位として合成処理を行うことで前記第２画像列を生成する合成処理手段、の少なくとも１つを有する画像処理手段と、
前記画像処理手段によって生成された前記第２画像列を再生して映像を表示する表示手段と、を備えることを特徴とする再生装置。
【請求項２】
前記擬似的に映像を表示させる撮影条件を設定する設定手段を備え、
前記画像処理手段は、前記設定手段における設定内容に応じて、前記第１画像列に対して間引き処理または合成処理を行って前記第２画像列を生成することを特徴とする請求項１に記載の再生装置。
【請求項３】
前記設定手段は、タイムラプス撮影の撮影間隔の設定可能であり、
前記間引き処理手段は、設定された撮影間隔に応じた間隔で間引き処理を行うことを特徴とする請求項２に記載の再生装置。
【請求項４】
前記設定手段は、タイムラプス撮影の露光時間を設定可能であり、
前記合成処理手段は、設定された露光時間に応じた枚数の画像を単位として合成処理を行うことを特徴とする請求項２または３に記載の再生装置。
【請求項５】
前記表示手段における映像表示の再生の間隔を制御する制御手段を備えることを特徴とする請求項１から４の何れか１項に記載の再生装置。
【請求項６】
撮像手段と、
請求項１から５の何れか１項に記載の再生装置と、を備えることを特徴とする撮像装置。
【請求項７】
前記設定手段は、撮影条件として撮影間隔または露光時間について変更可能な範囲を設定可能であり、
前記撮像手段は、前記撮影間隔と露光時間の範囲の少なくとも一方に基づいて、前記タイムラプス撮影を制御することを特徴とする請求項６に記載の撮像装置。
【請求項８】
タイムラプス撮影で取得された第１画像列から第２画像列を生成し、前記第２画像列を再生することによって、前記タイムラプス撮影における撮影条件の変更に対応した映像を擬似的に表示する再生方法において、
前記第１画像列に対して所定間隔で間引き処理を行うことで前記第２画像列を生成する処理と、前記第１画像列に対して連続する所定枚数の画像を単位として合成処理を行うことで前記第２画像列を生成する処理、の少なくとも１つを有する画像処理工程と、
前記画像処理によって生成された前記第２画像列を再生して映像を表示する表示工程と、を備えることを特徴とする再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タイムラプス撮影における撮影間隔や露光時間などの撮影条件の変更に対応した映像を擬似的に表示する再生技術に関する。
【背景技術】
【０００２】
以前より、タイムラプス撮影、インターバル撮影と呼ばれる撮影技法が知られている。この技法では、一般に秒単位以上の長い撮影間隔で連続撮影を行うが、撮影間隔よりも高速なフレームレートで再生することで、現実よりも時間を圧縮した動画として見せることが行われている。
【０００３】
タイムラプス撮影を用いると、天体の動きや植物の成長のように非常に速度が遅い動きを人間が感知可能な速度で見せたり、ある場所における人や自動車の往来の様子の変化など、長時間にわたる状況変化を短時間で見せたりすることができる。
【０００４】
また、長秒露光を組み合わせると、例えば夜に道路を行き交う自動車のヘッドランプを光の軌跡の動画として美しく撮ることができることから、作品性の高い動画を作成するためにも用いられている。
【０００５】
ところで、タイムラプス撮影は、現実よりも時間を圧縮した動画を作成する目的からして撮影に時間を要することが多い。特に、撮影者が露光時間や撮影間隔を試行錯誤して決めたい場合、動画としての仕上がりイメージを確認するためにある程度のコマ数を撮影しては確認することを繰り返す必要がある。これは撮影者にとって煩雑な操作であるばかりではなく、時間を要するために撮影の機会を逃してしまう可能性が高くなってしまう。
【０００６】
例えば、夜間に道路を行き交う自動車を長秒露光でタイムラプス撮影して、ヘッドライトの軌跡を見せる動画を作成する場合を考える。ある時間において、図２（ａ）のように撮影画角内に自動車２０１が存在したとする。長秒露光で撮影したある駒の露光期間中に自動車２０１の位置が図２（ａ）から図２（ｂ）に移動した場合、ヘッドライトの光の軌跡（光跡）は図２（ｃ）の光跡２０２のようになる。
【０００７】
この例において、カメラパラメータによる動画の見え方の違いの例を図２（ｄ）に示す。横軸はカメラパラメータ種別の違いを示しており、縦軸は時間軸で撮影コマ順に得られる画像を示している。
【０００８】
左からカメラパラメータ１、２および３の３通りのパラメータで撮影したものとする。カメラパラメータ１で撮影した画像を時間順に２１１、２１２および２１３とし、カメラパラメータ２および３で撮影した画像も同様に画像２２１、２２２、２２３および２３１、２３２、２３３とする。カメラパラメータ１と２とを比べると後者のほうが撮影間隔も露光時間も長くなっている。一方、カメラパラメータ２と３とを比べると両者の撮影間隔は同じであるが、後者がより露光時間が短くなっている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００１−３５８９７７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
このように、撮影間隔と露光時間の違いによって、得られるタイムラプス動画の見え方は大きく変化する。さらに、再生時のフレームレートにも依存して動画の見え方が変わることを意識する必要がある。撮影者がこれら撮影間隔や露光時間、再生フレームレートの組み合わせ全てを実際に記録、再生して試行錯誤しようとすると、膨大な手間がかかってしまう。
【００１１】
このような課題に対して、特許文献１ではデモ用カメラモードでインターバル撮影が指示された場合は記憶手段からデモ用画像を読み出して順次表示する技術について開示されている。このような技術を用いることでインターバル撮影のプレビューを行うことができるが、実際に撮影しているわけではないため、実際の被写体の動きに対する適切なプレビューになるとは限らないという問題が存在する。
【００１２】
本発明では、タイムラプス撮影において撮影パラメータを試行錯誤する際、実際に撮影する回数を増やすことなく仕上がりを容易に確認することが可能な再生技術を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の１実施態様によれば、タイムラプス撮影で取得された第１画像列から第２画像列を生成し、前記第２画像列を再生することによって、前記タイムラプス撮影における撮影条件の変更に対応した映像を擬似的に表示する再生装置において、前記第１画像列に対して所定間隔で間引き処理を行うことで前記第２画像列を生成する間引き処理手段と、前記第１画像列に対して連続する所定枚数の画像を単位として合成処理を行うことで前記第２画像列を生成する合成処理手段、の少なくとも１つを有する画像処理手段と、前記画像処理手段によって生成された前記第２画像列を再生して映像を表示する表示手段と、を備える。
【発明の効果】
【００１４】
本発明によれば、タイムラプス撮影において撮影パラメータを試行錯誤する際、実際に撮影する回数を増やすことなく仕上がりを容易に確認することが可能な再生技術を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】実施形態１の記録再生装置の構成図である
【図２】タイムラプス撮影においてカメラパラメータによる撮影画像の見え方の違いを説明する図である
【図３】実施形態１において、プレビュー撮影パラメータ生成までの処理の流れを示すフローチャートである
【図４】実施形態１において、プレビュー撮影に必要なパラメータを入力するＵＩの例を示す図である
【図５】実施形態１において、プレビュー撮影パラメータとプレビュー再生パラメータの概念について説明する図である
【図６】実施形態１において、プレビュー再生の処理の流れを説明する図である
【図７】実施形態１において、プレビュー再生に必要なパラメータを入力するＵＩの例を示す図である
【図８】実施形態１において、プレビュー撮影パラメータとプレビュー再生パラメータの具体的な値の例を示す図である
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら、本発明の実施形態について詳細に説明する。
【００１７】
（実施形態１）
図１は、本発明の実施形態１の記録再生装置１００の構成図である。
【００１８】
記録再生装置１００は、メモリカード１１１などのメモリに対して静止画や動画を記録・再生する機能を有するほか、タイムラプス撮影機能やタイムラプス撮影における設定確認用のプレビュー機能を有する。
【００１９】
記録再生装置１００は、本撮影とは別にプレビュー専用の撮影を行い、この撮影結果をもとにプレビュー表示を行う。プレビュー専用の撮影に要する撮影時間を本撮影よりも短くすることで、より簡便にプレビュー表示を行うことが可能となる。
【００２０】
記録再生装置１００は、撮像部１０１、画像信号処理部１０２、フレームメモリ１０３、ＪＰＥＧ  ＣＯＤＥＣ１０４、画像管理部１０５、画像合成部１０６、プレビュー撮影制御部１０７、プレビュー再生制御部１０８、ＣＰＵ１０９（中央演算処理装置）、操作・表示部１１０および記録部１１１から構成される。
【００２１】
撮像部１０１は被写体像を取りこんで電気信号である画像信号に変換する。画像信号処理部１０２は撮像部１０１で得られた画像信号にＡ／Ｄ変換および適切な画像処理を施して画像データを生成する。フレームメモリ１０３は画像データを一時的に保持する。
【００２２】
ＪＰＥＧ  ＣＯＤＥＣ１０４は画像データを圧縮・展開する。画像管理部１０５はタイムラプス撮影のプレビュー表示を行うためにプレビュー用の画像データを管理する。画像合成部１０６は与えられた複数の画像データから構成される画像列に対して、たとえば加算平均処理などの処理を施し、その結果であるプレビュー用の画像列を出力する。プレビュー撮影制御部１０７はプレビュー用の画像列を取得するための専用の撮影シーケンスを制御する。
【００２３】
プレビュー再生制御部１０８はプレビュー撮影制御部１０７が生成した時系列画像を用いてプレビュー表示の制御を行う。ＣＰＵ１０９はソフトウェアによって各部の動作を制御する。操作・表示部１１０は操作ボタン部材と液晶画面を有し、撮影者からの操作を受け付けるほか、撮影者に再生した画像を表示する等の機能を有する。記録部１１１は撮像部１０１を用いて撮影した画像データを記録する。なお、画像管理部１０５はプレビュー撮影制御部１０７、プレビュー再生制御部１０８はソフトウェアによって実現されている。
【００２４】
タイムラプス撮影によって生成されるタイムラプス動画とは、一定間隔で撮像動作を行って時系列画像を取得し、これを実時間よりも高速に再生するものである。本実施形態におけるタイムラプス撮影のプレビュー機能では、撮影者がタイムラプス撮影の撮影間隔と露光時間の少なくとも一方を変更しながらプレビューすることができる。また、プレビュー再生時の速度（表示画像を更新する時間の間隔）についても変更することが可能である。
【００２５】
プレビュー機能を利用する場合、プレビュー専用の撮影が必要となるが、一度この撮影を行えばタイムラプス撮影の撮影パラメータを変化させながらプレビューすることが可能である。以下、タイムラプスのプレビュー専用の撮影のことをプレビュー撮影と記す。またプレビュー撮影の結果を用いてプレビュー表示することをプレビュー再生と記す。
【００２６】
プレビュー撮影では、事前に撮影者がプレビュー再生で確認したい露光時間と撮影間隔の範囲を指定したうえで専用の撮影を行い、時系列画像（第１画像列）の取得を行う。プレビュー再生では時系列画像を必要に応じて所定間隔で間引くことで疑似的に撮影間隔を可変とするほか、連続する所定枚数の画像を加算平均して合成することで疑似的に露光時間が長い画像を生成する。この間引き処理または合成処理によって生成されたプレビュー表示用の時系列画像（第２画像列）を生成して再生表示することで、タイムラプス撮影における撮影条件の変更に対応させて擬似的に映像表示する。
【００２７】
プレビュー撮影時のプレビュー撮影制御部１０７の処理の流れについて、図３を用いて説明する。プレビュー撮影に先立ち、プレビュー表示で変更可能な露光時間の範囲の取得（Ｓ３０１）と、プレビュー表示で変更可能な撮影間隔の範囲の取得（Ｓ３０２）を行う。また撮影コマ数の取得（Ｓ３０３）を行う。
【００２８】
これらの設定値は撮影者が操作・表示部１１０を通して入力したものである。これらのパラメータを設定する際の操作・表示部１１０の表示画面４００の表示例を図４に示す。
【００２９】
図４に示すように、撮影間隔の最短値Ｉｍｉｎと最長値Ｉｍａｘはそれぞれ入力ボックス４０３と４０４にて設定される。また、露光時間（シャッター速度）の最短値Ｔｍｉｎと最長値Ｔｍａｘはそれぞれ入力ボックス４０１と４０２で設定される。なおＴｍａｘ≦Ｉｍｉｎとなるよう設定される。
【００３０】
本実施形態は、露光時間や撮影間隔は予め定められた値の中から選択するものであり、最小値と最大値が決まればその間で設定可能な値は有限個の要素からなるリストとして表わされる。例えば、撮影間隔として設定可能な値が｛１，２，５，１０，１５，２０，３０，６０｝ｓｅｃと定められた装置においてＩｍｉｎ＝５ｓｅｃ、Ｉｍａｘ＝２０ｓｅｃとすると、その間で設定可能な値は｛５，１０，１５，２０｝ｓｅｃというリストで表わされる。露光時間のリストをＴ（Ｔｍｉｎ，Ｔｍａｘ）、撮影間隔のリストをＩ（Ｉｍｉｎ，Ｉｍａｘ）と示す。さらに、撮影者がプレビュー再生したいコマ数Ｆｍｉｎを入力ボックス４０５で設定する。また、プレビュー再生時、最低でもコマ数Ｆｍｉｎだけはプレビュー可能となるようにプレビュー撮影が行われる。
【００３１】
プレビュー表示における撮影条件の範囲設定が完了して、撮影者がＯＫボタン４０６を押下するとのプレビュー撮影の設定値（以下、プレビュー撮影パラメータ）の算出が行われる（Ｓ３０４）。
【００３２】
プレビュー撮影パラメータは、少なくとも撮影間隔Ａ（ｓｅｃ）、露光時間Ｂ（ｓｅｃ）、連続露光回数Ｃ（回）、撮影繰り返し回数Ｄ（回）を含む。
【００３３】
これらの設定値の説明を図５（ａ）に示す。露光時間Ｂ（ｓｅｃ）の撮影をＣ（回）繰り返すのを単位としてこれをＡ（ｓｅｃ）毎にＤ回繰り返すことを意味する。プレビュー撮影によって露光時間Ｂ（ｓｅｃ）の撮影毎に静止画が得られ、時系列の画像データとしてフレームメモリ１０３に記憶される。時系列の画像データは画像管理部１０５がプレビュー撮影パラメータと関連付けて管理する。
【００３４】
プレビュー撮影の設定値算出は、上記の設定内容に基づいて以下のように行われる。
Ａ：Ｉｍｉｎ
Ｂ：Ｔ（Ｔｍｉｎ，Ｔｍａｘ）の全ての値の最大公約数
Ｃ：Ｔｍａｘ／Ｂ
Ｄ：Ｆｍｉｎ×Ｉｍａｘ／Ａ
【００３５】
例えば、Ｉｍｉｎ＝５ｓｅｃ、Ｉｍａｘ＝１５ｓｅｃ、Ｔｍｉｎ＝１ｓｅｃ、Ｔｍａｘ＝３ｓｅｃ、Ｆｍｉｎ＝１０コマでＩ（Ｉｍｉｎ，Ｉｍａｘ）＝｛５，１０，１５｝ｓｅｃ、Ｔ（Ｔｍｉｎ，Ｔｍａｘ）＝｛１，２，３｝ｓｅｃの場合はＡ＝５ｓｅｃ、Ｂ＝１ｓｅｃ、Ｃ＝３回、Ｄ＝３０回となる。このときのプレビュー撮影は図８（ａ）のようになり、時系列画像は９０枚の画像で構成される。
【００３６】
以上でプレビュー撮影パラメータの算出が完了し、これに基づいてプレビュー撮影制御部１０７はプレビュー撮影を制御し、時系列画像の取得を行う（Ｓ３０５）。取得した時系列画像を構成する画像の中で、時間の早い順でｉ番目（ｉ＝０，１，２，…）の画像をＰｉｃ［ｉ］と記す。
【００３７】
次にプレビュー再生制御部１０８によるプレビュー再生の処理の流れについて、図６を用いて説明する。まず画像管理部１０５から時系列画像の格納位置とプレビュー撮影パラメータを取得する（Ｓ６０１）。次にプレビュー時に確認したい撮影間隔、露光時間及び画像更新間隔を取得する（Ｓ６０２、Ｓ６０３、Ｓ６０４）。これらの設定値は撮影者が操作・表示部１１０を通して入力したものを取得する。
【００３８】
これらのパラメータを設定する際の操作・表示部１１０の液晶画面４００の表示例を図７に示す。図７において露光時間Ｔｐ、撮影間隔Ｉｐ及び画像更新周期Ｐの設定をそれぞれ入力ボックス７０１、７０２及び７０３で行っている。また、撮影間隔と画像更新周期から再生時に何倍速相当となるかを目安として情報表示部７０４に表示している。
【００３９】
上記情報の取得が完了し、プレビューボタン７０５を押下すると、プレビュー再生に必要となるパラメータ（以下、プレビュー再生パラメータ）を算出・生成する（図６  Ｓ６０５）。プレビュー再生パラメータは加算枚数Ｅ、間引き間隔Ｆ及び画像更新間隔Ｇを含む。これらのパラメータは例えば以下のように計算できる。
Ｅ：Ｔｐ／Ｂ
Ｆ：Ｉｐ／Ａ
Ｇ：Ｐ
【００４０】
図５でこれらについて説明すると、図５（ｂ）においてＥは隣接した画像を加算平均して合成する枚数であり、Ｆは表示対象の間引き間隔、図５（ｃ）においてＧはプレビューの画像更新周期を示している。図８（ａ）の例において、露光時間Ｔｐ＝２ｓｅｃ、撮影間隔Ｉｐ＝１０ｓｅｃ、画像更新周期Ｐ＝１ｓｅｃ相当のプレビューを行う場合だと、図８（ｂ）（ｃ）のようにＥ＝２枚、Ｆ＝２回、Ｇ＝１ｓｅｃとなる。
【００４１】
以上でプレビュー再生パラメータの算出が完了し、これに基づいてプレビュー再生の画像表示を行う。表示する画像は時系列画像の一部を加算平均して合成して取得する。ここで、あるコマを表示するために合成する時系列画像の範囲、すなわちＰｉｃ［ｉｍｉｎ］からＰｉｃ［ｉｍａｘ］までの画像を合成する場合のｉｍｉｎ、ｉｍａｘを算出する必要がある。プレビュー再生の最初の画像に対するｉｍｉｎ、ｉｍａｘはｉｍｉｎ＝Ｃ−Ｅ、ｉｍａｘ＝Ｃ−１で表わされる。まずこの値でｉｍｉｎ、ｉｍａｘを初期化し（Ｓ６０６）、この値に基づいて画像合成部１０６は画像合成を行う（Ｓ６０７）。図８の例ではｉｍｉｎ＝１、ｉｍａｘ＝２となる。次いで合成結果の画像を操作・表示部１１０に表示し（Ｓ６０８）、画像更新間隔Ｐの期間待機する（Ｓ６０９）。さらに次の画像を合成するためのｉｍｉｎ、ｉｍａｘを算出する（Ｓ６１０）。具体的にはｉｍｉｎ＝ｉｍｉｎ＋Ｃ・Ｆ、ｉｍａｘ＝ｉｍａｘ＋Ｃ・Ｆのように更新される。図８の例で２枚目の表示画像ではｉｍｉｎ＝７、ｉｍａｘ＝８となる。ここで、ｉｍａｘが時系列画像の枚数を超えた場合はｉｍａｘ＞Ｃ・Ｆを満たし（Ｓ６１１でＹｅｓ）、再生を終了する。そうでない場合（Ｓ６１１でＮｏ）は画像合成処理以降を繰り返す。
【００４２】
また、図７で撮影パラメータＳｅｔボタン７０６を押下するとプレビュー再生ではなく、本番の記録用のモードに遷移し、画面上の露光時間、撮影間隔が撮影パラメータとして設定される。これによって容易な操作でプレビューした結果をそのまま適用してタイムラプス撮影の本撮影を行うことが出来る。
【００４３】
以上のような制御によって、撮影者は所望するタイムラプス撮影の撮影間隔と露光時間の範囲を指定して一度仮の撮影をするのみで、様々なパラメータでの撮影結果を短時間で確認することができる。また、カメラの設定の試行錯誤に間を取られて撮影の機会を逃すといったことを防止できる。
【００４４】
なお、本発明は、上述の実施形態の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００４５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４６】
１００  記録再生装置
１０１  撮像部
１０２  画像信号処理部
１０３  フレームメモリ
１０４  ＪＰＥＧ  ＣＯＤＥＣ
１０５  画像管理部
１０６  画像合成部
１０７  プレビュー撮影制御部
１０８  プレビュー再生制御部
１０９  ＣＰＵ（中央演算処理装置）
１１０  操作・表示部
１１１  メモリカード
【図１】
2017034460.tif 000003
【図２】
2017034460.tif 000004
【図３】
2017034460.tif 000005
【図４】
2017034460.tif 000006
【図５】
2017034460.tif 000007
【図６】
2017034460.tif 000008
【図７】
2017034460.tif 000009
【図８】
2017034460.tif 000010