(57)【要約】【課題】  撮影中に画像間に位置ずれが発生した場合でも最適なタイムラプス動画の作成を行うことを可能である。【解決手段】  撮像装置によって一定時間毎に撮影された複数の静止画を結合してタイムラプス動画を生成する画像処理装置であって、前記複数の静止画の重複領域を切り出して結合することによって、画像間の位置ずれが補正されたタイムラプス動画を生成する生成手段と、撮影期間中に所定閾値以上の大きさの位置ずれが生じた場合、当該位置ずれが生じた時点の前後に分けてタイムラプス動画をそれぞれ生成するように前記生成手段を制御する制御手段と、を備えることを特徴とする画像処理装置である。【選択図】  図６
2017220912.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置によって一定時間毎に撮影された複数の静止画を結合してタイムラプス動画を生成する画像処理装置であって、
前記複数の静止画の重複領域を切り出して結合することによって、画像間の位置ずれが補正されたタイムラプス動画を生成する生成手段と、
撮影期間中に所定閾値以上の大きさの位置ずれが生じた場合、当該位置ずれが生じた時点の前後に分けてタイムラプス動画をそれぞれ生成するように前記生成手段を制御する制御手段と、を備えることを特徴とする画像処理装置。
【請求項２】
撮影期間中に前記所定閾値以上の大きさの位置ずれが所定の回数以上生じた場合、前記位置ずれの補正を行うか否かの問合せを通知する通知手段を、さらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮影期間中に前記所定閾値以上の大きさの位置ずれが所定の回数以上生じた場合、前記制御手段は、前記位置ずれの補正をせずに結合してタイムラプス動画を生成するように前記生成手段を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
請求項１から３の何れか１項に記載の画像処理装置と、
前記複数の静止画の撮影を行う撮像手段と、を備えることを特徴とする撮像装置。
【請求項５】
前記画像間の位置ずれを検出する検出手段と、
前記画像間の位置ずれに関する情報を前記撮影により得られた静止画に対応付けて記録する記録手段と、をさらに備えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記検出手段は前記撮像装置に設けられた角速度センサであることを特徴とする請求項５に記載の撮像装置。
【請求項７】
撮像装置によって一定時間毎に撮影された複数の静止画を結合してタイムラプス動画を生成する画像処理方法であって、
前記複数の静止画の重複領域を切り出して結合することによって、画像間の位置ずれが補正されたタイムラプス動画を生成する生成工程、を備え、
撮影期間中に所定閾値以上の大きさの位置ずれが生じた場合、前記生成工程において、当該位置ずれが生じた時点の前後に分けてタイムラプス動画をそれぞれ生成することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一定時間毎に撮影された複数の静止画を結合してタイムラプス動画を生成する方法に関する。
【背景技術】
【０００２】
所定の時間間隔で断続的に撮影された複数の静止画を、時系列的に結合して動画を作成するタイムラプス動画という機能がある。そのタイムラプス動画の撮影中に、ユーザが気付かないうちにカメラの位置がずれて、撮影される静止画の画角が途中で変わってしまう場合がある。
【０００３】
このようにカメラの位置ずれが発生した場合、撮影した静止画をそのまま結合して動画を作成すると、動画の途中で画角ずれが入ってしまい、見苦しい動画となってしまう。そこで、撮影された静止画について画角変化による位置ずれを検出して補正を行ってからタイムラプス動画を作成する技術がある。
【０００４】
例えば、特許文献１では、第１の観察画像と第２の観察画像を取得し、第１の観察画像と第２の観察画像とでテンプレートマッチングを行う。また、テンプレートマッチングの結果に基づいて第１の観察画像と第２の観察画像のずれ量を検出し、検出したずれ量に応じて第２の観察画像の位置を補正する。このような処理を、全ての観察画像に対して順次繰り返し、同一観察箇所について位置ずれが補正された観察画像を取得し、それらを結合して動画化する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−０２３４９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、テンプレートマッチング等によって画像の位置ずれを検出し、静止画の位置ずれを補正してから結合してタイムラプス動画を作成する場合、撮影開始からの位置ずれ量の累計が大きくなる。よって、画角が共通する範囲（重複領域）が狭くなって、動画のサイズが所望していたサイズに維持できないというという問題がある。
【０００７】
図４は、静止画撮影中に位置ずれが発生した際に、画角が共通する範囲を示した図である。撮影開始時の画角からの位置ずれが大きくなるほど、画角が共通する範囲は狭くなるため、位置ずれ補正を行ったとしても、撮影された静止画のサイズよりも小さなサイズの動画しか作成できなくなってしまう。
【０００８】
さらに、テンプレートマッチングによって位置ずれを補正する場合、例えば画像全体的に動きがあって位置決めのための基準被写体が無いようなシーン等になると、途中で位置ずれを正確に検出できなくなる場合が発生する。
【０００９】
本発明は、このような従来技術の課題を解決することを目的としてなされたものであって、撮影中に画像間の位置ずれが発生した場合でも最適なタイムラプス動画の作成を行うことを可能とする。
【課題を解決するための手段】
【００１０】
本発明の一実施態様は、撮像装置によって一定時間毎に撮影された複数の静止画を結合してタイムラプス動画を生成する画像処理装置であって、前記複数の静止画の重複領域を切り出して結合することによって、画像間の位置ずれが補正されたタイムラプス動画を生成する生成手段と、撮影期間中に所定閾値以上の大きさの位置ずれが生じた場合、当該位置ずれが生じた時点の前後に分けてタイムラプス動画をそれぞれ生成するように前記生成手段を制御する制御手段と、を備えることを特徴とする画像処理装置である。
【発明の効果】
【００１１】
本発明によれば、撮影中に画像間の位置ずれが発生した場合でも最適なタイムラプス動画の作成を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の撮像装置の概略構成を示した図である。
【図２】本発明の実施形態の処理動作を表すフローチャートである。
【図３】本発明の実施形態の動画生成時の処理動作を表すフローチャートである。
【図４】従来技術の課題を説明するための図である。
【図５】静止画撮影開始から終了までの期間の位置ずれの一例を表した図である。
【図６】静止画撮影開始から終了までの期間の位置ずれのパターンを表した図である。
【発明を実施するための形態】
【００１３】
以下に、本発明の実施の形態を、添付の図面に基づいて詳細に説明する。
【００１４】
図１は、本発明の実施形態にかかわる撮像装置の概略構成を示すブロック図である。
【００１５】
１０１がレンズ光学系、１０２がメカニカルシャッタ（メカシャッタと図示する）、１０３が撮像素子、１０４がアナログ信号処理を行うＣＤＳ回路、１０５がアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、１０６がＣＤＳ回路１０４およびＡ／Ｄ変換器１０５を動作させる信号を発生するタイミング信号発生回路、１０７がレンズ光学系１０１、メカニカルシャッタ１０２および撮像素子１０３の駆動回路、１０８が画像データに必要な信号処理を行う信号処理回路、１０９が信号処理された画像データを記憶する画像メモリ、１１０が撮像装置から取り外し可能な画像記録媒体、１１１が信号処理された画像データを画像記録媒体１１０に記録する記録回路、１１２が信号処理された画像データを表示する画像表示装置、１１３が画像表示装置１１２に画像を表示する表示回路、１１４が撮像装置全体を制御するシステム制御部となっている。
【００１６】
以下、上述のように構成された撮像装置を用いた撮影動作について説明する。
【００１７】
まず、レンズ光学系１０１は、システム制御部１１４からの制御信号により、光学系を駆動して、適切な明るさに設定された被写体像を撮像素子１０３上に結像させる。次に、メカニカルシャッタ１０２は、システム制御部１１４からの制御信号により、必要な露光時間となるように撮像素子１０３の動作に合わせて撮像素子１０３を遮光するように駆動される。この時、撮像素子１０３が電子シャッタ機能を有する場合は、メカニカルシャッタ１０２と併用して、必要な露光時間を確保してもよい。
【００１８】
撮像素子１０３は、システム制御部１１４により制御されるタイミング信号発生回路１０６が発生する動作パルスをもとにした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。撮像素子１０３から出力されたアナログの画像信号は、システム制御部１１４により制御されるタイミング信号発生回路１０６が発生する動作パルスにより、ＣＤＳ回路１０４でクロック同期性ノイズを除去し、Ａ／Ｄ変換器１０５でデジタル画像信号に変換される。
【００１９】
次に、信号処理回路１０８において、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。信号処理回路１０８においては、システム制御部１１４からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ１０９や記録回路１１１に出力してもよい。さらに、信号処理回路１０８は、システム制御部１１４から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報をシステム制御部１１４に出力する。また、記録回路は、システム制御部１１４から要求があった場合に、画像記録媒体１１０の種類や空き容量等の情報をシステム制御部１１４に出力する。
【００２０】
なお、本実施の形態におけるタイムラプス動画の生成は、信号処理回路１０８で行われ、システム制御部１１４が信号処理回路１０８を制御して、画像の位置づれ量に応じて適切なタイムラプス動画を生成する。
【００２１】
さらに、画像記録媒体１１０に画像データが記録されている場合の再生動作について説明する。システム制御部１１４からの制御信号により記録回路は、画像記録媒体１１０から画像データを読み出し、同じくシステム制御部１１４からの制御信号により信号処理回路１０８は、画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ１０９に記憶する。画像メモリ１０９に記憶されている画像データは、信号処理回路１０８で解像度変換処理を実施された後、表示回路１１３において画像表示装置１１２に適した信号に変換されて画像表示装置１１２に表示される。
【００２２】
次に、図２に示すフローチャートを参照して、タイムラプス動画の撮影制御方法について説明する。タイムラプス動画の撮影制御は、図１のシステム制御部１１４内のメモリ（図示しない）に格納されたコンピュータプログラムに従って実行される。図２はタイムラプス動画撮影処理の流れを示すフローチャートである。
【００２３】
撮像装置の電源がＯＮされ、ステップＳ２０１において、ユーザからタイムラプス動画撮影開始の指示が出されると、タイムラプス動画の撮影処理が開始されて、ステップＳ２０２に進む。ステップＳ２０２では、タイムラプス動画の結合に使用する静止画の撮影が行われる。そして、ステップＳ２０３では、ステップＳ２０２にて撮影した静止画について、位置ずれ量の検出が実施される。
【００２４】
画像間の位置ずれ量の検出方法の一例として、テンプレートマッチングがある。
【００２５】
ある時点で撮影した静止画（Ｐｔとする）の直前に撮影された静止画（Ｐｔ−１とする）をテンプレートとして設定し、静止画Ｐｔと静止画Ｐｔ−１とでテンプレートマッチングを行う。具体的には、静止画Ｐｔを水平方向に（−ｓｘ〜＋ｓｘ）ピクセルの範囲内で、および垂直方向に（−ｓｙ〜＋ｓｙ）ピクセルの範囲内で独立してそれぞれ平行移動させ、移動後の画像とテンプレートである静止画Ｐｔ−１の画像を比較して一致度を数値化する。
【００２６】
例えば、テンプレートである静止画Ｐｔ−１および移動後の画像それぞれの輝度分布や色ヒストグラム等を算出し、静止画Ｐｔ−１と移動後の画像との差分データを、移動した座標毎に記憶しておく。静止画Ｐｔを水平方向に（−ｓｘ〜＋ｓｘ）ピクセル、垂直方向に（−ｓｙ〜＋ｓｙ）ピクセルの範囲内で独立して平行移動させたときに、差分データが最も小さくなるときの移動ピクセルを位置ずれ量として設定する。
【００２７】
また、画像間の位置ずれ量の検出方法の他の例として、角速度センサによるぶれ検出がある。
【００２８】
カメラ本体に設置された角速度センサによって検出された角速度データが、前回静止画を撮影した直後から、今回静止画を撮影する直後までの期間で時間積分され、カメラの光軸に対する垂直平面における回転量として算出され、算出された回転量がカメラの光軸に対する垂直平面における水平方向及び垂直方向の位置ずれ量として設定される。
【００２９】
上述した位置ずれ量の検出方法は、あくまで一例を示すものであり、これらの方法に限定するものではない。
【００３０】
次に、ステップＳ２０４では、ステップＳ２０３にて検出された静止画の位置ずれに関する情報を撮影画像と対応付けて記録する。具体的には、画像の位置ずれ量を撮影画像のメタデータに記録する。
【００３１】
さらに、ステップＳ２０５では、静止画撮影が終了したかどうかを判定する。タイムラプス動画撮影においては、一般的に撮影間隔（例えば１分間隔）と撮影所用時間（例えば２時間撮影）をユーザが設定可能であり、撮影所用時間が経過するまで設定した撮影間隔で静止画撮影が繰り返される。撮影所用時間がまだ経過しておらず、静止画撮影が続行される場合（Ｓ２０５でＮｏ）は、ステップＳ２０２に戻って静止画撮影が実行される。一方、撮影所用時間が経過して、静止画撮影が終了される場合（Ｓ２０５でＹｅｓ）は、ステップＳ２０６に進む。
【００３２】
Ｓ２０６以降のステップで撮影された複数枚の静止画からタイムラプス動画を生成する。ステップＳ２０６では、ステップＳ２０４において、撮影画像に対応付けて画像のメタデータに記録されていた静止画の位置ずれ量を読み出す。
【００３３】
最後に、ステップＳ２０７では、ステップＳ２０６で読み出した静止画の位置ずれ量を参照してタイムラプス動画を作成した上で、画像を画像記録媒体１１０に記録して処理を終了する。
【００３４】
図３は、図２のステップＳ２０７において、静止画の位置ずれ量を参照してタイムラプス動画を作成する際の作成方法を示した図である。
【００３５】
はじめに、図２のステップＳ２０６で読み出された静止画の位置ずれ量をもとに、静止画撮影開始から終了までの撮影期間中の位置ずれ量の推移を生成する。
【００３６】
図５は、タイムラプス動画作成時の位置ずれ量の推移の例を表したグラフである。グラフの横軸は静止画撮影開始から終了までの経過時間を、縦軸は静止画撮影開始時を基準としたときの静止画の位置ずれ量を表している。撮影開始時の位置ずれ量は０であるが、途中で水平方向にＸピクセル、垂直方向にＹピクセルの位置ずれが発生したため、位置ずれ発生時から撮影終了までの位置ずれ量は（Ｘ＋Ｙ）ピクセルとなっている。
【００３７】
本実施例では、位置ずれ量として、水平方向と垂直方向の位置ずれ量を合算した値を使用しているが、水平方向と垂直方向の位置ずれ量を別々に独立して使用してももちろん構わない。
【００３８】
次に生成した位置ずれ量の推移から動画作成パターンを選択する。本実施例では、動画作成パターンとして４パターンを設定している。
【００３９】
パターン１は、図６（ａ）のように、位置ずれ量の推移において、静止画撮影開始から終了まで位置ずれが発生していない場合に選択される。この場合、撮影された静止画をそのまま結合してタイムラプス動画を作成する。
【００４０】
パターン２は、図６（ｂ）のように、位置ずれ量の推移において、位置ずれは発生しているが、静止画撮影終了までを通して位置ずれ量が小さい場合に選択される。具体的には、位置ずれ補正を実施したとしても、作成される動画のサイズに影響が出ないくらいの小さなレベルの位置ずれしか発生していない場合である。この場合、撮影された各静止画について、メタデータに記載された位置ずれデータをもとに、複数の静止画の重複領域を切り出して結合することによって位置ずれを補正してから静止画を結合してタイムラプス動画を作成する。
【００４１】
パターン３は、図６（ｃ）のように、撮影期間の前半部分と後半部分それぞれを見ると、位置ずれが発生していないか、あるいは作成される動画のサイズに影響が出ないくらいの小さなレベルの位置ずれしか発生していないが、前半部分と後半部分の境界において、作成される動画のサイズに影響が出るような、所定閾値以上の大きな位置ずれが発生している場合である。
【００４２】
この場合、大きな位置ずれが発生する前の前半部分と、大きな位置ずれが発生した後の後半部分とで分割して、前半部分と後半部分の２つのタイムラプス動画を作成する。前半部分と後半部分についてはそれぞれ、撮影された各静止画について、メタデータに記載された位置ずれデータをもとに、位置ずれが発生している場合には、位置ずれを補正してから静止画を結合してタイムラプス動画を作成する。
【００４３】
パターン４は、図６（ｄ）のように、撮影期間中に、作成される動画のサイズに影響が出るような大きな位置ずれが所定の回数以上生じている場合である。この場合、パターン３のように大きな位置ずれが発生するところで区切って分割して動画を作成すると、再生時間の短い動画が複数作成されることとなり、あるシーンにおける時間変化の推移を表現するタイムラプス動画としてはあまり適さない動画となってしまう。
【００４４】
従ってこの場合には、ユーザに大きな位置ずれの発生頻度が高い旨の警告を表示した上で、「位置ずれが発生している状態のままタイムラプス動画を作成する」又は「タイムラプス動画を作成しない」のどちらかを選択させるようにする。
【００４５】
つまり、パターン３と同様に大きな位置ずれが発生した前後に分けてそれぞれでタイムラプス動画を生成することを行う補正を行うか否かをユーザに問い合わせる。この問合せは、撮像装置に設けられた画像表示装置１１２に表示して通知してもよいし、音声などの他の手段で通知してもよい。
【００４６】
また、所定の回数以上の大きな位置ずれを検出した場合は、上記通知をすることなく、位置ずれが発生している状態のまま補正を行わずにタイムラプス動画を生成するようにしてもよい。
【００４７】
以上のようにして、図２のステップＳ２０７において位置ずれ量の推移をもとに、動画作成パターンを選択し、選択されたパターンの方針に従って動画を作成して処理を終了する。
【００４８】
本実施例の処理を実行することにより、タイムラプス動画作成用の静止画撮影中に、位置ずれが発生した場合でも最適なタイムラプス動画の作成を行うことができる。
【００４９】
なお、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。
【００５０】
本実施例では、静止画撮影時に静止画を１枚撮り終わるとすぐに直前に撮影した静止画との位置ずれ量を検出しているが、全ての静止画を撮影し終わってから位置ずれ量を検出するようにしてももちろん構わない。その場合、撮影した複数の静止画について、例えば前後の画像間でテンプレートマッチングを行うことによって、位置ずれ量を検出することができる。
【００５１】
また、上述したようなテンプレートマッチングによる位置ずれ量検出時に行う画像の平行移動や、検出した静止画の位置ずれ量に基づいて画像の読み出し位置をずらして補正する場合等に備えて、静止画撮影においては、実際のタイムラプス動画の画像サイズよりも一回り大きな画像サイズで撮影しておくことが望ましい。
【００５２】
また、図６（ｃ）のパターン３の説明において、上述の説明では、撮影期間の前半部分と後半部分の境界において、作成される動画のサイズに影響が出るような大きな位置ずれが発生している場合に、前半部分と後半部分の２つの動画を作成するとしているが、それ以外の例でも構わない。
【００５３】
例えば、撮影期間中に２回、作成される動画のサイズに影響が出るような大きな位置ずれが発生した場合には、位置ずれが発生した箇所で静止画を分割してそれぞれで動画を作成することにより、３つの動画を作成することも可能である。パターン３では、予め定めた分割数以内であれば、複数の動画を作成するようにしても構わない。なお、複数の動画が生成された場合、これらの動画が一連の動画であることを示すように関連動画として記録してもよい。
【００５４】
また、位置ずれ量の検出が出来なかった場合、例えば、上述した位置ずれ量の検出手段の１つであるテンプレートマッチングにおいて、コントラストの低いシーン、あるいは画像全体的に動きがあって位置決めのための基準被写体が無いようなシーン等は、テンプレートマッチングの苦手シーンであり、テンプレートマッチングでは位置ずれ量が検出できない場合がある。このように、静止画撮影期間を通して、全期間あるいは、一部の期間で位置ずれ量が検出できなかった場合には、図６（ｄ）で説明したパターン４を選択するようにしても構わない。
【００５５】
このように、上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。たとえば、本実施の形態では、タイムラプス動画の生成がカメラ内で行われる例を用いて説明したが、タイムラプス動画をカメラとは別に設けられた画像処理装置で行ってもよい。つまり、画像処理装置が、一定時間毎に複数の静止画を撮影したカメラから画像を取得して、上述した方法でタイムラプス動画を生成してもよい。
【００５６】
なお、上述した実施形態の機能を実現するように各種のデバイスを動作させるように、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００５７】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００５８】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００５９】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【符号の説明】
【００６０】
１０１  レンズ光学系
１０３  撮像素子
１０８  信号処理回路
１０９  画像メモリ
１１０  記録媒体
１１１  記録回路
１１２  画像表示装置
１１３  表示回路
１１４  システム制御部
【図１】
2017220912.tif 000003
【図２】
2017220912.tif 000004
【図３】
2017220912.tif 000005
【図４】
2017220912.tif 000006
【図５】
2017220912.tif 000007
【図６】
2017220912.tif 000008