(57)【要約】【課題】変化に富んだタイムラプス動画を生成すること。【解決手段】静止画取得部４１は、所定の時間間隔をおいて撮像された複数の静止画を取得する。変化情報取得部４３は、複数の静止画（インターバル撮影された一連の静止画）における時間経過に伴う全体的な変化を示す変化情報を取得する。設定部４４は、変化情報取得部４３によって取得された変化情報に基づいて、複数の静止画から動画のフレームとして用いる静止画（動画再生用画像）を設定する。動画生成部４５は、設定部４４によって設定された静止画を用いて動画を生成する。【選択図】図２
2015061236.tif 000002
【特許請求の範囲】
【請求項１】
所定の時間間隔をおいて撮像された複数の静止画を取得する静止画取得手段と、
これら複数の静止画における時間経過に伴う全体的な変化を示す変化情報を取得する変化情報取得手段と、
この変化情報取得手段によって取得された前記変化情報に基づいて、前記複数の静止画から動画のフレームとして用いる静止画を設定する設定手段と、
この設定手段によって設定された前記静止画を用いて動画を生成する動画生成手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記変化情報は、所定の時間間隔をおいて撮像された前記複数の静止画のうち、隣り合う複数の静止画同士の差分を平均化した情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記静止画取得手段によって取得された前記複数の静止画をそれぞれ縮小した複数の縮小画像を生成する縮小画像生成手段を更に備え、
前記変化情報取得手段は、前記複数の縮小画像における時間経過に伴う全体的な変化を示す変化情報を取得することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記静止画を撮像する撮像手段を更に備えることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
動画を生成する画像処理装置が実行する画像処理方法であって、
所定の時間間隔をおいて撮像された複数の静止画を取得する静止画取得ステップと、
これら複数の静止画における時間経過に伴う全体的な変化を示す変化情報を取得する変化情報取得ステップと、
この変化情報取得ステップにおいて取得された前記変化情報に基づいて、前記複数の静止画から動画のフレームとして用いる静止画を設定する設定ステップと、
この設定ステップにおいて設定された前記静止画を用いて動画を生成する動画生成ステップと、
を含むことを特徴とする画像処理方法。
【請求項６】
コンピュータに、
所定の時間間隔をおいて撮像された複数の静止画を取得する静止画取得機能と、
これら複数の静止画における時間経過に伴う全体的な変化を示す変化情報を取得する変化情報取得機能と、
この変化情報取得機能によって取得された前記変化情報に基づいて、前記複数の静止画から動画のフレームとして用いる静止画を設定する設定機能と、
この設定機能によって設定された前記静止画を用いて動画を生成する動画生成機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、予め設定された時間間隔で複数回撮像し、その撮像の結果得られた複数の静止画（フレーム）に基づいて動画を生成する技術が知られている。このような動画生成技術により生成された動画は、タイムラプス（Ｔｉｍｅ  Ｌａｐｓｅ）動画と呼称されている。
【０００３】
例えば、特許文献１には、タイムラプス動画に用いる画像の撮影時において、タイムラプス動画として再生される再生時間を予測し表示する技術が開示されている。これにより撮影者は、タイムラプス動画を所望の時間で再生するためには、後どのくらいの撮影枚数で撮影したらよいか確認することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−６０３８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術によって、画角内の被写体の動きの変化が少ない風景等を撮影した場合には、タイムラプス動画の再生時の全般に亘って、被写体の動きの変化が乏しいため、退屈なタイムラプス動画が生成されてしまう場合があった。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、被写体の動きの変化に富んだタイムラプス動画を生成することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一態様の画像処理装置は、
所定の時間間隔をおいて撮像された複数の静止画を取得する静止画取得手段と、
前記複数の静止画における時間経過に伴う全体的な変化を示す変化情報を取得する変化情報取得手段と、
前記変化情報取得手段によって取得された前記変化情報に基づいて、前記複数の静止画からフレームとして用いる静止画を設定する設定手段と、
前記設定手段によって設定された前記静止画を用いて動画を生成する動画生成手段と、
を備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、変化に富んだタイムラプス動画を生成することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】図１の撮像装置の機能的構成のうち、インターバル撮影処理及びタイムラプス動画生成処理を実行するための機能的構成を示す機能ブロック図である。
【図３】各対象画像の基準画像に対する差分率を示す模式図である。
【図４】選択時間間隔テーブルの一例を示す模式図である。
【図５】インターバル撮影によって取得された静止画と、変化情報に基づいて選択される動画再生用画像との関係を示す図である。
【図６】図２の機能的構成を有する撮像装置が実行するインターバル撮影処理の流れの一例を示すフローチャートである。
【図７】図２の機能的構成を有する撮像装置が実行する、タイムラプス動画生成処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を用いて説明する。
本発明に係る画像処理装置は、所定の時間間隔をおいて撮影された複数の静止画について、これらの縮小画像を生成し、前回撮影した静止画の縮小画像との差分率を順次算出して記録する。そして、撮影終了後、画像処理装置は、これら算出した差分率を平均化し、差分率の平均値が大きいほど、それら複数の静止画における被写体の変化が激しい（大きい）と判断する。画像処理装置は、被写体の変化が激しいほど、再生するタイムラプス動画に用いる静止画の選択時間間隔を短くする。これにより、変化に富んだタイムラプス動画を生成することができる。
【００１１】
図１は、本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。
【００１２】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
【００１３】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。例えば、ＣＰＵ１１は、後述するインターバル撮影処理やタイムラプス動画生成処理のためのプログラムに従って、インターバル撮影処理及びタイムラプス動画生成処理を実行する。
【００１４】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。例えば、ＲＡＭ１３には、各種画像（後述する縮小画像や動画再生用画像等）のデータや、インターバル撮影処理及びタイムラプス動画生成処理において生成される各種パラメータが記憶される。
【００１５】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
【００１６】
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００１７】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００１８】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。撮像素子は、一定時間毎に、その間に入射されて蓄積された被写体像の光信号を光電変換（撮像）して、その結果得られるアナログの電気信号をＡＦＥに順次供給する。
ＡＦＥは、このアナログの電気信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
【００１９】
このような撮像部１６の出力信号が示すデータを、以下、「画像データ」と呼ぶ。したがって、撮像部１６からは画像データが出力されて、ＣＰＵ１１等に適宜供給される。本実施形態では、撮像部１６から出力される画像データの単位は、撮像素子を構成する各画素の画素値の集合体、即ち、１枚の静止画または動画を構成するフレーム等の画像データである。撮像部１６は、ＣＰＵ１１の制御により、所定の時間間隔をおいて複数の静止画を撮像する。ここで、所定の時間間隔とは、ユーザにより任意に設定されたインターバル撮影のための時間の間隔であり、ユーザは、１秒〜２４時間等、任意の時間間隔を設定することができる。これにより、撮像部１６は、任意に設定された所定の時間間隔毎に静止画を撮像する。
【００２０】
入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像データを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２１】
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像データ等の各種データも、記憶部１９と同様に記憶することができる。
【００２２】
図２は、このような撮像装置１の機能的構成のうち、インターバル撮影処理及びタイムラプス動画生成処理を実行するための機能的構成を示す機能ブロック図である。
インターバル撮影処理とは、所定の時間間隔毎に連続して静止画を撮像し、撮像された静止画の縮小画像間の差分率を算出して、これら差分率の平均を算出する一連の処理をいう。
また、タイムラプス動画生成処理とは、インターバル撮影された一連の静止画のうち、算出した縮小画像の差分率の平均値に応じた時間間隔でタイムラプス動画に用いる静止画（動画再生用画像）を選択し、選択された動画再生用画像の画像データを用いてタイムラプス動画を生成するまでの一連の処理をいう。
インターバル撮影処理及びタイムラプス動画生成処理が実行される場合には、ＣＰＵ１１においては、静止画取得部４１と、縮小画像生成部４２と、変化情報取得部４３と、設定部４４と、動画生成部４５と、が機能する。
【００２３】
なお、静止画取得部４１、縮小画像生成部４２、変化情報取得部４３、設定部４４及び動画生成部４５の各機能は、本実施形態のようにＣＰＵ１１に搭載されている必要は特になく、これらの各機能のうち少なくとも一部をＧＡ（Ｇｒａｐｈｉｃ  Ａｃｃｅｌｅｒａｔｏｒ）等の画像処理を行う機能部に移譲させることも可能である。
【００２４】
静止画取得部４１は、所定の時間間隔をおいて撮像部１６により撮像された、複数の静止画の画像データを取得する。静止画取得部４１は、取得した静止画の画像データを縮小画像生成部４２に供給する。
【００２５】
縮小画像生成部４２は、静止画取得部４１によって取得された静止画のアスペクト比を保持しながら、解像度を低くすることにより、静止画を縮小した縮小画像の画像データを生成する。静止画を縮小するアルゴリズムについては、画素を間引く等、適宜公知のアルゴリズムを採用することができる。縮小画像生成部４２は、生成した縮小画像のデータを変化情報取得部４３へ供給する。
【００２６】
変化情報取得部４３は、インターバル撮影された複数の静止画における時間経過に伴う全体的な変化を示す変化情報を取得する。
変化情報とは、インターバル撮影された複数の静止画（ここでは縮小画像）の変化の度合いを示す情報をいう。本実施形態では、インターバル撮影された一連の静止画における隣り合う２つの静止画の縮小画像同士の差分率の平均が、その一連の静止画についての変化情報として採用される。
また、差分率とは、隣り合う２つの静止画（縮小画像）同士を比較することにより、対応するアドレスにおいて異なる値の画素数を画像全体の画素数で除した値に１００を乗じた値をいう。
【００２７】
また、本実施形態においては、隣り合う２つの静止画の縮小画像が、対象画像及び基準画像として用いられる。対象画像は、差分率を算出する対象となる静止画の縮小画像である。基準画像は、対象画像に対応する静止画の直前（１フレーム前）に撮像された静止画の縮小画像である。縮小画像を対象画像及び基準画像として用いることにより、差分率を算出する処理負荷を軽減することができる。なお、撮像装置１の処理能力に余裕がある場合等には、縮小画像とすることなく、インターバル撮影された静止画を対象画像及び基準画像として用いることもできる。
変化情報取得部４３は、基準画像の各画素の画素値と、対象画像において対応するアドレスの各画素の画素値との差分に基づいて対象画像の差分率を算出する。変化情報取得部４３は、全ての対象画像について差分率を算出した後、算出した各対象画像の差分率の平均を算出することにより、インターバル撮影された一連の静止画についての変化情報を取得する。
【００２８】
図３は、各対象画像の基準画像に対する差分率を示す模式図である。
図３において、インターバル撮影された一連の静止画Ｆ１〜Ｆｎの縮小画像を撮影時間順に縮小画像ｆ１〜ｆｎ＋１（ｎは自然数）とする。変化情報取得部４３は、縮小画像ｆ１，ｆ２が供給されると、縮小画像ｆ１が基準画像、縮小画像ｆ２が対象画像となる場合の差分率Ｘ１を算出する。
次に、変化情報取得部４３は、縮小画像ｆ３が供給されると、縮小画像ｆ２が基準画像、縮小画像ｆ３が対象画像となる場合の差分率Ｘ２を算出する。以降、同様に、縮小画像ｆｎ＋１が対象画像となる場合の差分率Ｘｎまでを順次算出する。
そして、変化情報取得部４３は、これらの差分率Ｘ１〜Ｘｎの平均（ΣＸｎ／ｎ）を算出し、その平均値をインターバル撮影された一連の静止画の変化情報とする。変化情報取得部４３は、このように取得した変化情報を設定部４４へ供給する。
【００２９】
設定部４４は、変化情報取得部４３によって変化情報として取得された差分率の平均値に基づいて、複数の静止画の画像データから動画再生用画像として用いる静止画の画像データを設定する。具体的には、設定部４４は、変化情報に対する選択時間間隔が定義された選択時間間隔テーブルを参照し、変化率に応じた選択時間間隔を決定する。
そして、設定部４４は、インターバル撮影された一連の静止画の中から、決定した選択時間間隔毎の静止画を、タイムラプス動画を生成するための静止画（動画再生用画像）として設定する。
【００３０】
図４は、選択時間間隔テーブルの一例を示す模式図である。
図４に示すように、選択時間間隔テーブルにおいては、変化情報（平均値）が閾値Ｃ１以上である場合には、最小の選択時間間隔Ｔｍｉｎが定義され、変化情報が閾値Ｃ２未満である場合には、最大の選択時間間隔Ｔｍａｘが定義され、変化情報が閾値Ｃ２以上Ｃ１未満である場合には、中間の選択時間間隔Ｔｍｉｄが定義されている。なお、変化情報（平均値）が大きいほど、短い選択時間間隔となれば、図４に示す場合よりも選択時間間隔の定義をより多段階に設定することとしてもよい。
【００３１】
図５は、インターバル撮影によって取得された静止画と、変化情報に基づいて選択される動画再生用画像との関係を示す図である。
図５に示すように、インターバル撮影によって取得された静止画Ｆ１〜Ｆｎの変化情報が閾値Ｃ１以上である場合、静止画Ｆ１〜Ｆｎの中から選択時間間隔Ｔｍａｘ毎の静止画が動画生成用画像（フレーム）として設定される。また、インターバル撮影によって取得された静止画Ｆ１〜Ｆｎの変化情報が閾値Ｃ２未満である場合、静止画Ｆ１〜Ｆｎの中から選択時間間隔Ｔｍｉｎ毎の静止画が動画生成用画像として設定される。さらに、インターバル撮影によって取得された静止画Ｆ１〜Ｆｎの変化情報が閾値Ｃ２以上Ｃ１未満である場合、静止画Ｆ１〜Ｆｎの中から選択時間間隔Ｔｍｉｄ毎の静止画が動画生成用画像として設定される。
【００３２】
動画生成部４５は、設定部４４によって設定された動画再生用画像の画像データを用いてタイムラプス動画のデータを生成する。動画生成部４５は、生成したタイムラプス動画のデータを記憶部１９に記憶する。ＣＰＵ１１は、入力部１７を介したユーザからの操作に基づき、生成されたタイムラプス動画を再生する。
【００３３】
次に、かかる機能的構成を有する撮像装置１が実行するインターバル撮影処理について説明する。
図６は、図２の機能的構成を有する撮像装置１が実行するインターバル撮影処理の流れの一例を示すフローチャートである。
インターバル撮影処理は、入力部１７を介してインターバル撮影処理の実行を指示する操作が行われた場合に開始される。
【００３４】
インターバル撮影処理が開始されると、ステップＳ１１において、撮像部１６は、ＣＰＵ１１の制御に基づき静止画を撮像する。
ステップＳ１２において、静止画取得部４１は、撮像部１６により撮像された静止画の画像データを取得する。
【００３５】
ステップＳ１３において、縮小画像生成部４２は、取得された静止画を縮小して、対象画像を生成する。一例として、アスペクト比が４：３の場合、縮小画像生成部４２は、取得した静止画をＹＵＶ色空間で規定される３２０画素×２４０画素の画像サイズに縮小した対象画像を生成する。なお、縮小画像生成部４２は、生成した対象画像の画像データをリムーバブルメディア３１等に記録する。
【００３６】
ステップＳ１４において、変化情報取得部４３は、対象画像を構成する各画素の画素値を取得する。
【００３７】
ステップＳ１５において、変化情報取得部４３は、既にインターバル撮影された静止画から生成された基準画像が存在するか否かを判定する。
基準画像が存在しない場合、ステップＳ１５においてＮＯであると判定されて、処理はステップＳ１６に移行する。
一方、基準画像が存在する場合、ステップＳ１５においてＹＥＳであると判定されて、処理はステップＳ１８に移行する。
【００３８】
ステップＳ１６において、変化情報取得部４３は、対象画像を基準画像に設定する。この基準画像は、次にインターバル撮影される静止画の差分率を算出する際に用いられる。
ステップＳ１７において、静止画取得部４１は、所定の時間を経過したか否かの判定を行う。
所定の時間を経過していない場合、ステップＳ１７においてＮＯであると判定されて、ステップＳ１７の処理が繰り返し実行される。即ち、所定の時間が経過するまでの間、インターバル撮影処理は撮影の待機状態となる。
これに対し、所定の時間が経過した場合には、ステップＳ１７においてＹＥＳであると判定されて、処理はステップＳ１１に移行する。
【００３９】
ステップＳ１８において、変化情報取得部４３は、基準画像の各画素の画素値と対象画像の各画素の画素値との差分に基づいて対象画像の差分率を算出する。なお、変化情報取得部４３は、算出した対象画像の差分率をリムーバブルメディア３１等に記録する。
【００４０】
ステップＳ１９において、静止画取得部４１は、インターバル撮影の終了タイミングとなっているか否かを判定する。
インターバル撮影の終了タイミングとなっていない場合、ステップＳ１９においてＮＯであると判定されて、処理はステップＳ２０に移行する。
一方、インターバル撮影の終了タイミングとなっている場合、ステップS１９においてＹＥＳであると判定されて、処理はステップＳ２１に移行する。
【００４１】
ステップＳ２０において、変化情報取得部４３は、対象画像を基準画像に設定する。
ステップＳ２０の後、処理はステップＳ１１に戻る。即ち、ステップＳ１１乃至ステップＳ２０の処理が繰り返し実行される。
【００４２】
ステップＳ２１において、変化情報取得部４３は、算出した各対象画像の差分率の平均を算出する。なお、変化情報取得部４３は、算出した差分率の平均値を変化情報としてリムーバブルメディア３１等に記憶する。
ステップＳ２１の後、インターバル撮影処理は終了となる。
【００４３】
次に、図２の機能的構成を有する撮像装置１が実行するタイムラプス動画生成処理について説明する。
図７は、図２の機能的構成を有する撮像装置１が実行する、タイムラプス動画生成処理の流れの一例を示すフローチャートである。
タイムラプス動画生成処理は、入力部１７を介してタイムラプス動画生成処理の実行を指示する操作が行われた場合に開始される。
【００４４】
ステップＳ３１において、設定部４４は、インターバル撮影された一連の静止画の差分率の平均に基づいて、選択時間間隔テーブルを参照し、タイムラプス動画の生成に用いる静止画の選択時間間隔を設定する。即ち、インターバル撮影された一連の静止画の中から動画再生用画像を選択する時間間隔がＴｍｉｎ、Ｔｍａｘ、Ｔｍｉｄのいずれかに設定される。
【００４５】
ステップＳ３２において、設定部４４は、ステップＳ３１において設定した選択時間間隔に基づいて、動画再生用画像を設定する。
【００４６】
ステップＳ３３において、動画生成部４５は、ステップＳ３２において設定した動画再生用画像を用いてタイムラプス動画を生成する。
ステップＳ３３の後、タイムラプス動画生成処理は終了となる。
このような処理により、インターバル撮影された一連の静止画の変化情報に応じた選択時間間隔で選択された動画再生用画像からなるタイムラプス動画が生成される。
【００４７】
以上説明したように、撮像装置１等の画像処理装置は、静止画取得部４１と、変化情報取得部４３と、設定部４４と、動画生成部４５とを備える。
静止画取得部４１は、所定の時間間隔をおいて撮像された複数の静止画を取得する。
変化情報取得部４３は、複数の静止画（インターバル撮影された一連の静止画）における時間経過に伴う全体的な変化を示す変化情報を取得する。
設定部４４は、変化情報取得部４３によって取得された変化情報に基づいて、複数の静止画から動画のフレームとして用いる静止画（動画再生用画像）を設定する。
動画生成部４５は、設定部４４によって設定された静止画を用いて動画を生成する。
即ち、複数の静止画における時間経過に伴う全体的な変化を示す変化情報に基づいて、動画のフレームとして用いる静止画を設定することができる。
これにより、変化に富んだタイムラプス動画を生成することができる。
【００４８】
また、変化情報は、所定の時間間隔をおいて撮像された複数の静止画のうち、隣り合う複数の静止画同士の差分を平均化した情報である。
これにより、複数の静止画において時間的に隣接しているもの同士の変化を反映させて、動画のフレームとして用いる静止画を選択できる。
したがって、被写体の動きの変化に富んだタイムラプス動画を生成することができる。
【００４９】
また、本実施形態の撮像装置１等の画像処理装置は、縮小画像生成部４２を更に備える。
縮小画像生成部４２は、静止画取得部４１によって取得された複数の静止画をそれぞれ縮小した複数の縮小画像（対象画像）を生成する。そして、変化情報取得部４３は、複数の縮小画像における時間経過に伴う全体的な変化を示す変化情報を取得する。
これにより、複数の静止画における時間経過に伴う変化を取得する際の処理負担を軽減することが可能となる。
【００５０】
また、本実施形態の撮像装置１等の画像処理装置は、静止画を撮像する撮像部１６を更に備える。
これにより、撮像機能を有する装置において、被写体の動きの変化に富んだタイムラプス動画を生成することができる。
【００５１】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００５２】
換言すると、本発明が適用される画像処理装置は、上述の実施形態としての撮像装置１を含め、次のような構成を有する、各種各様の実施形態を取ることができる。
【００５３】
即ち、上述の実施形態では、隣り合う２つの静止画（縮小画像）同士の差分率をインターバル撮影された一連の動画全体について平均し、その平均値を変化情報として採用したがこれに限られるものではない。例えば、インターバル撮影された一連の動画を複数の撮影区間（時間の区分）に分けて差分率の平均値を取得し、各区間の平均値の標準偏差を変化情報として採用することができる。
これにより、所定の区間毎の被写体の変化に応じて、タイムラプス動画の選択時間間隔を変化させることができる。この場合、インターバル撮影された一連の静止画全体としては変化が小さいものの、突発的な画像の変化がある場合に、その突発的な変化が表れた区間の静止画をタイムラプス動画に含めることが可能となる。
【００５４】
また、上述の実施形態では、隣り合う２つの静止画の縮小画像において、対応するアドレスの画素のうち、異なる値の画素数を画像全体の画素数で序した値に１００を乗じて求められる「差分率」を用いて、変化情報を決定するものとしたが、これに限られるものではない。
具体的には、隣り合う２つの静止画の縮小画像において、対応するアドレスの画素同士の差分を取得し、画像全体の画素について、画素値の差分二乗和（あるいは差分絶対値和）を算出して、変化情報を決定することとしてもよい。
これにより、隣り合う２つの静止画の差分をより正確に算出し、変化情報とすることができる。
【００５５】
また、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラとしての撮像装置１を例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、パーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、スマートフォンやタブレット等の携帯端末、携帯電話機、ポータブルゲーム機等に適用可能である。
【００５６】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００５７】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００５８】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（ブルーレイディスク）（登録商標）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。
【００５９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００６０】
以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。上記実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６１】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
所定の時間間隔をおいて撮像された複数の静止画を取得する静止画取得手段と、
これら複数の静止画における時間経過に伴う全体的な変化を示す変化情報を取得する変化情報取得手段と、
この変化情報取得手段によって取得された前記変化情報に基づいて、前記複数の静止画から動画のフレームとして用いる静止画を設定する設定手段と、
この設定手段によって設定された前記静止画を用いて動画を生成する動画生成手段と、
を備えたことを特徴とする画像処理装置。
［付記２］
前記変化情報とは、所定の時間間隔をおいて撮像された前記複数の静止画のうち、隣り合う複数の静止画同士の差分を平均化した情報であることを特徴とする付記１に記載の画像処理装置。
［付記３］
前記静止画取得手段によって取得された前記複数の静止画をそれぞれ縮小した複数の縮小画像を生成する縮小画像生成手段を更に備え、
前記変化情報取得手段は、前記複数の縮小画像における時間経過に伴う全体的な変化を示す変化情報を取得することを特徴とする付記１または２に記載の画像処理装置。
［付記４］
前記静止画を撮像する撮像手段を更に備えることを特徴とする付記１から３のいずれか１つに記載の画像処理装置。
［付記５］
動画を生成する画像処理装置が実行する画像処理方法であって、
所定の時間間隔をおいて撮像された複数の静止画を取得する静止画取得ステップと、
これら複数の静止画における時間経過に伴う全体的な変化を示す変化情報を取得する変化情報取得ステップと、
この変化情報取得ステップにおいて取得された前記変化情報に基づいて、前記複数の静止画から動画のフレームとして用いる静止画を設定する設定ステップと、
この設定ステップにおいて設定された前記静止画を用いて動画を生成する動画生成ステップと、
を含むことを特徴とする画像処理方法。
［付記６］
コンピュータに、
所定の時間間隔をおいて撮像された複数の静止画を取得する静止画取得機能と、
これら複数の静止画における時間経過に伴う全体的な変化を示す変化情報を取得する変化情報取得機能と、
この変化情報取得機能によって取得された前記変化情報に基づいて、前記複数の静止画から動画のフレームとして用いる静止画を設定する設定機能と、
この設定機能によって設定された前記静止画を用いて動画を生成する動画生成機能と、
を実現させることを特徴とするプログラム。
【符号の説明】
【００６２】
１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・撮像部、１７・・・入力部、１８・・・出力部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、３１・・・リムーバブルメディア、４１・・・静止画取得部、４２・・・縮小画像生成部、４３・・・変化情報取得部、４４・・・設定部、４５・・・動画生成部
【図１】
2015061236.tif 000003
【図２】
2015061236.tif 000004
【図３】
2015061236.tif 000005
【図４】
2015061236.tif 000006
【図５】
2015061236.tif 000007
【図６】
2015061236.tif 000008
【図７】
2015061236.tif 000009