(57)【要約】      （修正有）【課題】変化に富んだタイムラプス動画を生成する。【解決手段】撮像装置は、撮像部１６と、インターバル撮影制御部５３と、入力操作検出部５２と、撮影操作特定部５６と、トリミング処理部５７と、を備える。インターバル撮影制御部５３は、この撮像部１６に対し、第１の時間間隔で時間的に連続して撮像するよう制御する。入力操作検出部５２は、このインターバル撮影制御部５３によって撮像されている時に画角の変化を検出する。撮影操作特定部５６は、インターバル撮影制御部５３によって撮像された結果得た複数の静止画のうち、第１の時間間隔とは異なる第２の時間間隔で順次再生させる静止画を特定する。トリミング処理部５７は、入力操作検出部５２によって検出された画角の変化に応じて、撮影操作特定部５６によって特定された静止画をトリミングする。【選択図】図４
2015061235.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
この撮像手段に対し、第１の時間間隔で時間的に連続して撮像するよう制御する撮像制御手段と、
この撮像制御手段によって撮像されている時に画角の変化を検出する検出手段と、
前記撮像制御手段によって撮像された結果得た複数の静止画のうち、前記第１の時間間隔とは異なる第２の時間間隔で順次再生させる静止画を特定する特定手段と、
前記検出手段によって検出された画角の変化に応じて、前記特定手段によって特定された前記静止画をトリミングするトリミング手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
検出手段は、当該装置に対しての画角を変化させる指示を検出する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記トリミング手段は、前記検出手段によって検出された前記画角の変化と更に前記第２の時間間隔に応じて、前記複数の静止画をトリミングする、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記トリミング手段は、画角内を平行移動するような前記画角の変化に応じて、前記静止画をトリミングする、
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記トリミング手段は、前記画角の変化とは、枠の大きさ自体を変えるような画角の変化に応じて、前記静止画をトリミングする、
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
所定の被写体像を検知する検知手段を更に備え、
前記トリミング手段は、この検知手段によって検知された所定の被写体像が含まれているようにトリミングする、
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
動画を生成する動画生成手段を備える、
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
撮像手段を備える画像処理装置で実行される画像処理方法において、
この撮像手段に対し、第１の時間間隔で時間的に連続して撮像するよう制御する撮像制御ステップと、
この撮像制御ステップによって撮像されている時に画角の変化を検出する検出ステップと、
前記撮像制御ステップによって撮像された結果得た複数の静止画のうち、前記第１の時間間隔とは異なる第２の時間間隔で順次再生させる静止画を特定する特定ステップと、
前記検出ステップによって検出された画角の変化に応じて、前記特定ステップによって特定された前記静止画をトリミングするトリミングステップと、
を含む備えたことを特徴とする画像処理方法。
【請求項９】
撮像手段を備える画像処理装置を制御するコンピュータを、
この撮像手段に対し、第１の時間間隔で時間的に連続して撮像するよう制御する撮像制御手段、
この撮像制御手段によって撮像されている時に画角の変化を検出する検出手段、
前記撮像制御手段によって撮像された結果得た複数の静止画のうち、前記第１の時間間隔とは異なる第２の時間間隔で順次再生させる静止画を特定する特定手段、
前記検出手段によって検出された画角の変化に応じて、前記特定手段によって特定された前記静止画をトリミングするトリミング手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、予め設定された時間間隔で撮像し、その結果得られた複数の静止画をフレームと見立てた動画を生成する技術が知られている（特許文献１）。このような特許文献１に開示される技術では、生成された動画をタイムラプス動画と呼称されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−０１６５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような特許文献１に開示の技術では、得られたタイムラプス動画は画角が固定されているため、動画の内容によっては、変化に乏しいものになりがちであった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、変化に富んだタイムラプス動画を生成することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像処理装置は、
撮像手段と、
この撮像手段に対し、第１の時間間隔で時間的に連続して撮像するよう制御する撮像制御手段と、
この撮像制御手段によって撮像されている時に画角の変化を検出する検出手段と、
前記撮像制御手段によって撮像された結果得た複数の静止画のうち、前記第１の時間間隔とは異なる第２の時間間隔で順次再生させる静止画を特定する特定手段と、
前記検出手段によって検出された画角の変化に応じて、前記特定手段によって特定された前記静止画をトリミングするトリミング手段と、
を備えたことを特徴とする画像処理装置。
【発明の効果】
【０００７】
本発明によれば、変化に富んだタイムラプス動画を生成することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】インターバル撮影１のタイムラプス動画の生成を説明するための図である。
【図３】インターバル撮影２のタイムラプス動画の生成を説明するための図である。
【図４】図１の撮像装置の機能的構成のうち、タイムラプス動画生成処理を実行するための機能的構成を示す機能ブロック図である。
【図５】図４の機能的構成を有する図１の撮像装置が実行するタイムラプス動画生成処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。
【００１１】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
【００１２】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１３】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１４】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
【００１５】
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００１６】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００１７】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。
【００１８】
入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００１９】
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
【００２０】
以上のように構成される撮像装置１においては、撮影中にズームやパンの動作があった場合に、実際の撮影間隔とは異なる動画の再生速度に合わせて、ズームやパンの映像を段階的に変化するような画角の変化のあるタイムラプス動画を生成することができる機能を有する。
【００２１】
このような撮像装置１において生成されるタイムラプス動画の生成の原理について説明する。
本実施形態のタイムラプス動画は、時間の経過と共に画角が所定の方向に移動すると共に、ズームするように変化する動画である。
本実施形態のタイムラプス動画は、画角の変化を撮影時に行わずに、所定の範囲を継続的に（時間的に連続して）インターバル撮影した動画を用いて、動画の生成時に画角が変化した画像を用いて生成する。本実施形態のタイムラプス動画は、インターバル撮影時の画角の変化に対応したものが生成される。
ここで、「インターバル撮影」とは、撮影により画像を一定の間隔をおいて間欠的に取得するように撮影、即ち、指定された撮影間隔又は撮影していない時間を含むトータルの撮影時間で連続した間欠撮影をいう。
【００２２】
以下、インターバル撮影時に、ズーム倍率が上がるＴＥＬＥ側にズームが変化したインターバル撮影１と、ズーム倍率が下がるＷＩＤＥ側にズームが変化したインターバル撮影２の例について説明する。
【００２３】
図２は、インターバル撮影１のタイムラプス動画の生成を説明するための図である。
インターバル撮影１では、図２（ａ）に示すように、所定の撮影間隔で、７枚の撮像画像１０１〜１０７が取得される。撮像画像１０１〜１０７のうち、撮像画像１０７は、その撮像前のＡのタイミングでＴＥＬＥ側にズームが１倍から２倍に切り換えられ、撮像範囲の中央付近を拡大した画像となる。拡大に伴って図中丸で示した被写体が約２倍の大きさになっている。
【００２４】
通常のタイムラプス動画の生成では、各撮像画像を、タイムラプス動画を構成するフレーム画像（以下、「構成フレーム画像」という。）として、現画角で動画化する。
このため、通常のタイムラプス動画として生成した場合には、図２（ｂ）に示すように、動画開始のフレーム２０１からフレーム２０６に到るまで被写体の大きさが変化せず、フレーム２０７でいきなり被写体の大きさが変化して再生される。
【００２５】
これに対して、本実施形態のタイムラプス動画では、図２（ｃ）に示すように、ＴＥＬＥ側にズームの変化があった撮像画像１１７の前（過去）の撮像画像１１３〜１１６において、徐々に画角がＴＥＬＥ側にズームして変化するように、撮像画像１１３〜１１６の画像領域（図中破線）をトリミングして、撮像画像１１１，１１２と同サイズに調整した画像を生成して、構成フレーム画像とする。
トリミングする撮像画像候補と当該撮像画像においてトリミングするサイズは、ズーム倍率と、ズーム移動時間と、再生フレームレートと、を考慮して決定する。
本例では、変化したズーム倍率が１倍から２倍であり、ズーム移動時間が０．５秒であり、再生フレームレートが１０ｆｐｓであるため、例えば、ズームの変化があるとしてトリミングするフレーム数（以下、「ズーム移動フレーム数」という。）を５枚としている。そして、ズーム倍率が１倍から２倍に変化しているために、ズーム移動フレーム数を５枚とし撮像画像１１３〜１１６におけるトリミングするサイズを１／５ずつ減らしながらトリミングする。
【００２６】
このようにトリミングする撮像画像と、各撮像画像においてトリミングするサイズとすることで、図２（ｄ）に示すように、ズームの移動時間に対応した速度で徐々に拡大するように各フレーム２１１〜２１７において、画角がＴ（ＴＥＬＥ）側へ変化するタイムラプス動画が生成される。
したがって、本例では、画角が自然な形で変化するタイムラプス動画が生成される。
【００２７】
図３は、インターバル撮影２のタイムラプス動画の生成を説明するための図である。
インターバル撮影２では、図３（ａ）に示すように、所定の撮影間隔で、７枚の撮像画像１２１〜１２７が取得される。撮像画像１２１〜１２７のうち、撮像画像１２１は、その撮像後のＢのタイミングでＷＩＤＥ側にズームが２倍から１倍に切り換えられ、撮像範囲の中央付近を縮小した画像となる。拡大に伴って図中丸で示した被写体が約１／２倍の大きさになっている。
【００２８】
通常のタイムラプス動画の生成では、各撮像画像を、タイムラプス動画を構成する構成フレーム画像として、現画角で動画化する。
このため、通常のタイムラプス動画として生成した場合には、図３（ｂ）に示すように、動画開始のフレーム２２１からフレーム２２２の間でいきなり被写体の大きさが変化し、その後、フレーム２２７に到るまで被写体の大きさが変化しないものとなる。
【００２９】
これに対して、本実施形態のタイムラプス動画では、図３（ｃ）に示すように、ＷＩＤＥ側にズームの変化があった撮像画像１３２の後（未来）の撮像画像１３３〜１３７において、徐々に画角がＷＩＤＥ側にズームして変化するように、撮像画像１３２〜１３５の画像領域（図中破線）をトリミングして、撮像画像１３１と同サイズに調整した画像を生成して、構成フレーム画像とする。
トリミングする撮像画像と当該撮像画像においてトリミングするサイズは、ズーム倍率と、ズーム移動時間と、再生フレームレートと、を考慮して決定する。
本例では、変化したズーム倍率が２倍から１倍であり、ズーム移動時間が０．５秒であり、再生フレームレートが１０ｆｐｓであるため、例えば、ズームの変化があるとしてトリミングするフレーム数（以下、「ズーム移動フレーム数」という。）を５枚としている。そして、ズーム倍率が２倍から１倍に変化しているために、ズーム移動フレーム数を５枚とし、撮像画像１３２〜１３５におけるトリミングするサイズを１／５ずつ増やしながらトリミングする。
【００３０】
このようにトリミングする撮像画像と、各撮像画像においてトリミングするサイズとすることで、図３（ｄ）に示すように、ズームの移動時間に対応した速度で徐々に縮小するように各フレーム２３１〜２３７において、画角がＷ（ＷＩＤＥ側）へ変化するタイムラプス動画が生成される。
したがって、本例でも、画角が自然な形で変化するタイムラプス動画が生成される。
【００３１】
図４は、このような撮像装置１の機能的構成のうち、タイムラプス動画生成処理を実行するための機能的構成を示す機能ブロック図である。
タイムラプス動画生成処理とは、インターバル撮影を行って取得した撮像画像において、撮影操作があった撮像画像付近の撮像画像から所定のサイズと位置で切り取った画像を用いて、急激に画角が変化したような動画とならないタイムラプス動画を生成するまでの処理をいう。本実施形態において、タイムラプス動画生成処理では、徐々にズームするようなタイムラプス動画が生成される。
【００３２】
タイムラプス動画生成処理は、図４に示すように、ＣＰＵ１１において、撮影期間設定部５１と、入力操作検出部５２と、インターバル撮影制御部５３と、画像取得部５４と、動画条件設定部５５と、撮影操作特定部５６と、トリミング処理部５７と、タイムラプス動画生成部５８と、が機能する。
また、記憶部１９の一領域には、撮像画像記憶部７１と、タイムラプス動画記憶部７２と、が設定される。
撮像画像記憶部７１には、撮像部１６から出力された撮像画像のデータが記憶される。
タイムラプス動画記憶部７２には、生成したタイムラプス動画のデータが記憶される。
【００３３】
撮影期間設定部５１は、撮像部１６でのインターバル撮影における撮影期間を設定する。詳細には、撮影期間設定部５１は、撮影フレームレート（第１の時間間隔）を設定する。
【００３４】
入力操作検出部５２は、入力部１７に対して、ズームさせる操作等の撮影に係る操作（以下、「撮影操作」という。）を検出する。入力操作検出部５２は、検出結果をインターバル撮影制御部５３に出力する。
【００３５】
インターバル撮影制御部５３は、インターバル撮影を行うように撮像部１６を制御する。また、インターバル撮影制御部５３は、入力操作検出部５２によって検出された撮影操作を受けて、ズーム等の画角を変化させる制御を行う。
さらに、インターバル撮影制御部５３は、撮像部１６から出力された撮像画像を撮像画像記憶部７１に記憶させる。インターバル撮影制御部５３は、出力された撮像画像に対して、撮像操作があった旨や撮影条件（ＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）情報）を保存させる。具体的には、インターバル撮影制御部５３は、撮像画像にズーム段等のズーム倍率の情報を保存する。
【００３６】
画像取得部５４は、撮像画像記憶部７１に記憶される撮像画像を取得する。
【００３７】
動画条件設定部５５は、生成するタイムラプス動画の再生フレームレートや再生時間等の動画条件を設定する。詳細には、動画条件設定部５５は、再生フレームレート（第２の時間間隔）等の動画条件を設定する。
【００３８】
撮影操作特定部５６は、撮像画像に記憶されている撮像操作があった旨や撮影条件から、撮影操作があった撮像画像を特定する。また、撮影操作特定部５６は、例えば、ズーム倍率等の撮影操作の内容を撮像画像に記憶される撮影条件等の情報から特定する。
図２（ａ）の例の場合には、撮影操作特定部５６は、ズーム倍率が拡大しているＴＥＬＥ側にズームが変更された後の撮像画像が特定され、さらに、ズームが１倍から２倍に変化したことを特定する。
また、図３（ａ）の例の場合には、撮影操作特定部５６は、ズーム倍率が縮小しているＷＩＤＥ側にズームが変更される前の撮像画像を特定し、さらに、ズームが２倍から１倍に変化したことを特定する。
【００３９】
トリミング処理部５７は、動画条件設定部５５によって設定された動画条件と、撮影操作特定部５６によって特定された撮影操作があった撮像画像とに基づいて、トリミング処理を実行する。
トリミング処理では、変化したズーム倍率から、その倍率まで移動するのに必要なズーム移動時間を取得し、再生フレームレートからズーム移動時間分のズーム移動フレーム数を算出する。そして、トリミング処理では、算出されたフレーム群に該当する撮像画像群に対して、段階的にズームが変化するように、該当する各撮像画像で所定のサイズで画像領域を切り取って画角を調整するトリミングを行う。また、トリミング処理では、トリミングする撮像画像と当該撮像画像においてトリミングするサイズは、ズーム倍率と、ズーム移動時間と、再生フレームレートと、を考慮して決定する。
その結果、トリミング処理では、タイムラプス動画を構成するフレーム画像となる構成フレーム画像を生成する。
図２（ａ）の例では、ズーム倍率が拡大しているＴＥＬＥ側にズームが変更しているため、ＴＥＬＥ側にズームが変更された後の撮像画像１１７からズーム移動フレーム数過去の撮像画像に対して、ズームが変更された後のズーム倍率まで、図２（ｃ）に示すように徐々に画像領域を狭くなるようにトリミングして、構成フレーム画像を生成する。
また、図３（ａ）の例では、ズーム倍率が縮小しているＷＩＤＥ側にズームが変更しているため、ＷＩＤＥ側にズームが変更される前の撮像画像１３１からズーム移動フレーム数未来の撮像画像に対して、ズームが変更された後のズーム倍率まで、図３（ｃ）に示すように徐々に画像領域を広くなるようにトリミングして、構成フレーム画像を生成する。
このように構成フレーム画像を生成することにより、急激な画角の変化のない連続性のあるタイムラプス動画を生成することが可能となる。
【００４０】
タイムラプス動画生成部５８は、動画条件設定部５５によって設定された動画条件となるように、トリミング処理部５７によって生成された構成フレーム画像からなるタイムラプス動画を生成する。また、タイムラプス動画生成部５８は、生成したタイムラプス動画を出力してタイムラプス動画記憶部７２に記憶させる。
その結果、図２（ａ）のようなインターバル撮影をした撮像画像１０１〜１０７を用いた場合には、図２（ｄ）に示すような徐々に画角が拡大するような変化があるタイムラプス動画が生成される。また、図３（ａ）のようなインターバル撮影をした撮像画像１２１〜１２７を用いた場合には、図３（ｄ）に示すような徐々に画角が縮小するような変化があるタイムラプス動画が生成される。
【００４１】
図５は、図５の機能的構成を有する図１の撮像装置１が実行するタイムラプス動画生成処理の流れを説明するフローチャートである。
タイムラプス動画生成処理は、ユーザによる入力部１７へのタイムラプス動画生成処理開始の操作により開始される。
【００４２】
ステップＳ１１において、インターバル撮影制御部５３は、インターバル撮影を行う。詳細には、インターバル撮影制御部５３は、予め撮影期間設定部５１によって設定された撮影期間に基づいて、インターバル撮影を行う。インターバル撮影では、インターバル撮影制御部５３は、入力操作検出部５２によって検出された撮影操作を受けて、ズーム等の画角を変化させる制御を行う。
その後、インターバル撮影制御部５３は、撮像部１６から出力された撮像画像を撮像画像記憶部７１に出力する。その際、インターバル撮影制御部５３は、撮像部１６から出力された撮像画像を撮像画像記憶部７１に記憶させる。
その結果、撮像画像記憶部７１には、撮影期間設定部５１による設定に準じた間隔で撮影された撮像画像が記憶される。
具体的には、例えば、最終段階でＴＥＬＥ側にズームさせた場合には、図２（ａ）に示すような撮像画像１０１〜１０７が出力される。また、初期段階でＷＩＤＥ側にズームさせた場合には、図３（ａ）に示すような撮像画像１２１〜１２７が出力される。
【００４３】
ステップＳ１２において、画像取得部５４は、撮像画像を取得する。詳細には、画像取得部５４は、撮像画像記憶部７１に記憶される撮像画像を取得する。
【００４４】
ステップＳ１３において、動画条件設定部５５は、ユーザによる入力操作やデフォルトの設定等から再生フレームレート等の動画条件を設定する。
【００４５】
ステップＳ１４において、撮影操作特定部５６は、撮影操作した撮像画像と、撮影条件を特定する。
図２（ａ）の例の場合には、撮影操作特定部５６は、ズーム倍率が拡大しているＴＥＬＥ側にズームが変更された後の撮像画像１０７が特定され、さらに、ズームが１倍から２倍に変化したことを特定する。
また、図３（ａ）の例の場合には、撮影操作特定部５６は、ズーム倍率が縮小しているＷＩＤＥ側にズームが変更される前の撮像画像１２１を特定し、さらに、ズームが２倍から１倍に変化したことを特定する。
【００４６】
ステップＳ１５において、トリミング処理部５７は、トリミング処理を実行する。トリミング処理部５７は、ズーム倍率と、ズーム移動時間と、再生フレームレートと、を考慮して、トリミングする撮像画像と当該撮像画像においてトリミングするサイズを決定して、決定した条件でトリミングする。
具体的には、トリミング処理部５７は、図２（ａ）の例の場合では、ズーム倍率が拡大しているＴＥＬＥ側にズームが変更しているため、ＴＥＬＥ側にズームが変更された後の撮像画像１０７からズーム移動フレーム数過去の撮像画像に対して、ズームが変更された後のズーム倍率まで、図２（ｃ）に示すように徐々に画像領域を狭くなるように撮像画像１０２〜１０７に相当する撮像画像１１２〜１１７をトリミングして、構成フレーム画像を生成する。
また、トリミング処理部５７は、図３（ａ）の例の場合では、ズーム倍率が縮小しているＷＩＤＥ側にズームが変更しているため、ＷＩＤＥ側にズームが変更される前の撮像画像１２１からズーム移動フレーム数未来の撮像画像に対して、ズームが変更された後のズーム倍率まで、図３（ｃ）に示すように徐々に画像領域を広くなるように撮像画像１２１〜１２５に相当する撮像画像１３１〜１３５をトリミングして、構成フレーム画像を生成する。
【００４７】
ステップＳ１６において、タイムラプス動画生成部５８は、タイムラプス動画を生成する。詳細には、動画条件設定部５５によって設定された動画条件となるように、トリミング処理部５７によって生成された構成フレーム画像からなるタイムラプス動画を生成する。
具体的には、タイムラプス動画生成部５８は、図２（ａ）のようなインターバル撮影をした撮像画像１０１〜１０７を用いた場合には、図２（ｄ）に示すような徐々に画角が拡大するような変化があるタイムラプス動画を生成する。
また、タイムラプス動画生成部５８は、図３（ａ）のようなインターバル撮影をした撮像画像１２１〜１２７を用いた場合には、図３（ｄ）に示すような徐々に画角が縮小するような変化があるタイムラプス動画を生成する。
したがって、撮像装置１においては、急激な画角の変化のない連続性のあるタイムラプス動画を生成することができる。
【００４８】
以上のように構成される撮像装置１は、撮像部１６と、インターバル撮影制御部５３と、入力操作検出部５２と、撮影操作特定部５６と、トリミング処理部５７と、を備える。
インターバル撮影制御部５３は、この撮像部１６に対し、第１の時間間隔（撮影フレームレート）で時間的に連続して撮像するよう制御する。
入力操作検出部５２は、このインターバル撮影制御部５３によって撮像されている時に画角の変化を検出する。
撮影操作特定部５６は、インターバル撮影制御部５３によって撮像された結果得た複数の静止画のうち、第１の時間間隔（撮影フレームレート）とは異なる第２の時間間隔（再生フレームレート）で順次再生させる静止画を特定する。
トリミング処理部５７は、入力操作検出部５２によって検出された画角の変化に応じて、撮影操作特定部５６によって特定された静止画をトリミングする。
これにより、撮像装置１においては、入力操作検出部５２によって検出された画角の変化に応じて、撮影操作特定部５６によって特定された静止画をトリミングするために、変化に富んだタイムラプス動画を生成することができる。
【００４９】
入力操作検出部５２は、装置に対しての画角を変化させる指示として撮影操作を検出する。
これにより、撮像装置１においては、例えば、ズーム操作や撮像装置１の向き変更操作等の撮影操作の検出を画角の変化とするために明示的なユーザによる意思を反映させたタイムラプス動画を生成することができる。
【００５０】
また、トリミング処理部５７は、検出手段によって検出された画角の変化と更に第２の時間間隔に応じて、複数の静止画をトリミングする。
これにより、撮像装置１では、変化が急激でなく変化が自然なタイムラプス動画を生成することができる。
【００５１】
また、トリミング処理部５７は、画角内を平行移動するような画角の変化に応じて、静止画をトリミングする。
この際、構成フレーム画像は、画像全体を用いるわけではなく、パンして移動する分を補える領域を残して生成される。このように構成することにより、パンにより画角が急激に変化した撮像画像しかなくても、余剰分の領域で移動する分を補える構成フレーム画像を生成することができる。
これにより、撮像装置１では、徐々にパンしたような変化に富んだタイムラプス動画を生成することができる。
【００５２】
また、トリミング処理部５７は、画角の変化とは、枠の大きさ自体を変えるような画角の変化に応じて、静止画をトリミングする。
これにより、撮像装置１では、徐々にズームしたような変化に富んだタイムラプス動画を生成することができる。
【００５３】
また、撮像装置１は、動画を生成するタイムラプス動画生成部５８を備える。
これにより、撮像装置１では、自装置で、タイムラプス動画の生成に用いる画像の撮影から動画の生成までを一貫して行うことができる。
【００５４】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００５５】
上述の実施形態では、画角の変化は、ユーザの明示的な行動を反映すべく撮影操作によって検出するように構成したがこれに限られず、例えば、被写体に変更がなく撮像装置１の位置に変更（被写体に近づけたり遠ざけたり、向きを変えたり等の変更）があった場合や被写体の位置が変更したりした場合に、撮像画像を解析して、画角の変化を検出するように構成してもよい。
【００５６】
また、上述の実施形態では、被写体分を考慮せずに撮像装置１の画角の変化だけをトリガにして自動的にトリミングの対象としていたがこれに限られない。例えば、主要な被写体や指定した特定の被写体を検出して、当該被写体が含まれるようにトリミング枠や切り出し領域を設定するように構成することができる。
具体的には、所定の被写体像を検知する検知手段を更に備える。
また、トリミング処理部５７は、検知手段によって検知された所定の被写体像が含まれているようにトリミングする。
これにより、撮像装置１においては、被写体を追いかけたようなタイムラプス動画を生成することができるため、変化に富んだタイムラプス動画を生成することができる。
【００５７】
また、上述の実施形態では、トリミングする撮像画像を、画角変化をさせた実時間を考慮して決定したがこれに限られない。例えば、タイムラプス動画全体の変化を考慮して、全体の変化が早い場合には早くしたりして決定してもよい。トリミングするサイズについても同様である。
【００５８】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、タイムラプス動画生成機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【００５９】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００６０】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００６１】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（ブルーレイディスク）（登録商標）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。
【００６２】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【００６３】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６４】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像手段と、
この撮像手段に対し、第１の時間間隔で時間的に連続して撮像するよう制御する撮像制御手段と、
この撮像制御手段によって撮像されている時に画角の変化を検出する検出手段と、
前記撮像制御手段によって撮像された結果得た複数の静止画のうち、前記第１の時間間隔とは異なる第２の時間間隔で順次再生させる静止画を特定する特定手段と、
前記検出手段によって検出された画角の変化に応じて、前記特定手段によって特定された前記静止画をトリミングするトリミング手段と、
を備えたことを特徴とする画像処理装置。
［付記２］
検出手段は、当該装置に対しての画角を変化させる指示を検出する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記トリミング手段は、前記検出手段によって検出された前記画角の変化と更に前記第２の時間間隔に応じて、前記複数の静止画をトリミングする、
ことを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記トリミング手段は、画角内を平行移動するような前記画角の変化に応じて、前記静止画をトリミングする、
ことを特徴とする付記１乃至３のいずれか１つに記載の画像処理装置。
［付記５］
前記トリミング手段は、前記画角の変化とは、枠の大きさ自体を変えるような画角の変化に応じて、前記静止画をトリミングする、
ことを特徴とする付記１乃至４のいずれか１つに記載の画像処理装置。
［付記６］
所定の被写体像を検知する検知手段を更に備え、
前記トリミング手段は、この検知手段によって検知された所定の被写体像が含まれているようにトリミングする、
ことを特徴とする付記１乃至５のいずれか１つに記載の画像処理装置。
［付記７］
動画を生成する動画生成手段を備える、
ことを特徴とする付記１乃至６のいずれか１つに記載の画像処理装置。
［付記８］
撮像手段を備える画像処理装置で実行される画像処理方法において、
この撮像手段に対し、第１の時間間隔で時間的に連続して撮像するよう制御する撮像制御ステップと、
この撮像制御ステップによって撮像されている時に画角の変化を検出する検出ステップと、
前記撮像制御ステップによって撮像された結果得た複数の静止画のうち、前記第１の時間間隔とは異なる第２の時間間隔で順次再生させる静止画を特定する特定ステップと、
前記検出ステップによって検出された画角の変化に応じて、前記特定ステップによって特定された前記静止画をトリミングするトリミングステップと、
を含む備えたことを特徴とする画像処理方法。
［付記９］
撮像手段を備える画像処理装置を制御するコンピュータを、
この撮像手段に対し、第１の時間間隔で時間的に連続して撮像するよう制御する撮像制御手段、
この撮像制御手段によって撮像されている時に画角の変化を検出する検出手段、
前記撮像制御手段によって撮像された結果得た複数の静止画のうち、前記第１の時間間隔とは異なる第２の時間間隔で順次再生させる静止画を特定する特定手段、
前記検出手段によって検出された画角の変化に応じて、前記特定手段によって特定された前記静止画をトリミングするトリミング手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００６５】
１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮影期間設定部，５２・・・入力操作検出部，５３・・・インターバル撮影制御部，５４・・・画像取得部，５５・・・動画条件設定部５５・・・撮影操作特定部，５７・・・トリミング処理部，５８・・・タイムラプス動画生成部，７１・・・撮像画像記憶部，７２・・・タイムラプス動画記憶部
【図１】
2015061235.tif 000003
【図２】
2015061235.tif 000004
【図３】
2015061235.tif 000005
【図４】
2015061235.tif 000006
【図５】
2015061235.tif 000007