(57)【要約】【課題】タイムラプスのインターバル撮影間に瞬間的に写る移動体を特定して除去できるようにする。【解決手段】連続して撮影された各撮影画像のうち、ある一定の時間間隔で撮影された撮影画像を繋いで動画像として記録する画像処理装置において、記録対象となる本撮影画像とその直前の撮影画像であるプレ撮影画像あるいは直後の撮影画像であるポスト撮影画像より、本撮影画像内に存在する移動体を検出する移動体検出手段と、前記移動体検出手段により検出された移動体と、記録対象となる撮影画像間の時間間隔とから移動体の位置を予測し、補正対象画素を検出する補正対象検出手段と、前記補正対象画素が補正された撮影画像を繋いで動画像を生成する生成手段とを設け、タイムラプス動画再生時のちらつきをなくすことができるようにする。【選択図】図２
2016111479.tif 000002
【特許請求の範囲】
【請求項１】
連続して撮影された各撮影画像のうち、ある一定の時間間隔で撮影された撮影画像を繋いで動画像として記録する画像処理装置において、
記録対象となる本撮影画像とその直前の撮影画像であるプレ撮影画像あるいは直後の撮影画像であるポスト撮影画像より、本撮影画像内に存在する移動体を検出する移動体検出手段と、
前記移動体検出手段により検出された移動体と、記録対象となる撮影画像間の時間間隔とから移動体の位置を予測し、補正対象画素を検出する補正対象検出手段と、
前記補正対象画素が補正された撮影画像を繋いで動画像を生成する生成手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記移動体検出手段は、
記録対象となる本撮影画像を基準としてプレ撮影画像とポスト撮影画像の位置合わせを行い、位置合わせ後の画像と本撮影画像から移動体を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記移動体検出手段により検出された移動体の大きさを判定する手段を備え、
前記補正対象検出手段は所定の大きさよりも小さい移動体の部分のみを補正対象画素とする
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記補正対象検出手段は、
前記記録対象となる本撮影画像の移動体が、次の記録対象となる本撮影画像ではフレームアウトすると予測した場合、前記移動体の部分を補正対象画素とすることを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
プレ撮影とポスト撮影のタイミングをインターバル間隔と記録対象画面のサイズ、最大補正対象サイズから決定することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
連続して撮影された各撮影画像のうち、ある一定の時間間隔で撮影された撮影画像を繋いで動画像として記録する画像処理装置の制御方法において、
記録対象となる本撮影画像とその直前の撮影画像であるプレ撮影画像あるいは直後の撮影画像であるポスト撮影画像より、本撮影画像内に存在する移動体を検出する移動体検出工程と、
前記移動体検出工程において検出された移動体と、記録対象となる撮影画像間の時間間隔とから移動体の位置を予測し、補正対象画素を検出する補正対象検出工程と、
前記補正対象画素が補正された撮影画像を繋いで動画像を生成する生成工程とを有することを特徴とする画像処理装置の制御方法。
【請求項７】
ある一定の時間間隔で撮影された撮影画像を繋いで動画像として記録する画像処理装置の制御方法において、
記録対象となる本撮影画像の前後において前記時間間隔よりも短い間隔で撮影されたプレ撮影画像とポスト撮影画像を用いて本撮影画像に存在する移動体を検出し、
検出された移動体が本撮影画像の後に記録対象となる撮影画像に存在するかどうか、撮影の時間間隔を用いて判定し、
前記移動体が検出された移動体が本撮影画像の後に記録対象となる撮影画像に存在しないと判定した場合は前記移動体を補正した撮影画像を繋いで動画像を生成することを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及びその制御方法に関し、特に、タイムラプス撮影を行う撮像装置に用いて好適な技術に関するものである。
【背景技術】
【０００２】
長時間における被写体の変化を短時間で表現する方法として、タイムラプス撮影がある。この撮影方法は、一定時間間隔(以下、インターバル間隔)ごとに撮影された静止画画像をつなぎ合わせることで実現される。主な使用法としては、定点固定で撮影することで、長時間における変化を短時間で見ることができるようにするために用いられる。例えば、雲の流れや星空の変化などが挙げられる。
【０００３】
前述のタイムラプス撮影を行っている際に、撮影タイミングによって高速で移動する移動体が写りこむ場合がある。タイムラプス撮影においては次のインターバル間隔の際には写りこんだ移動体は位置を変えているため、動画としてみた場合に移動体の位置がちらついて見えるということがある。特許文献１では、３回以上連続撮影し、それぞれの撮影画像における画素値の一致度を算出することで動きの少ない移動体を認識し、動きの少ない移動体以外を削除した合成映像を得る方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−４３７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１で示されている方法では、本来タイムラプス撮影で表現したい動きのある大きな移動体(例：雲)も削除された合成映像となってしまう。このため、被写体の変化を表現することができなくなってしまう問題がある。
本発明は前述の問題点に鑑み、タイムラプス動画において、インターバル撮影間に瞬間的に写る移動体を特定して除去できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、連続して撮影された各撮影画像のうち、ある一定の時間間隔で撮影された撮影画像を繋いで動画像として記録する画像処理装置において、記録対象となる本撮影画像とその直前の撮影画像であるプレ撮影画像あるいは直後の撮影画像であるポスト撮影画像より、本撮影画像内に存在する移動体を検出する移動体検出手段と、前記移動体検出手段により検出された移動体と、記録対象となる撮影画像間の時間間隔とから移動体の位置を予測し、補正対象画素を検出する補正対象検出手段と、前記補正対象画素が補正された撮影画像を繋いで動画像を生成する生成手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、タイムラプス動画において、動画上のちらつきとなる移動体部分を特定できるとともに、移動体部分の補正画像を確保して補正することができ、タイムラプス動画再生時のちらつきをなくすことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る画像処理装置の一例を示すブロック図である。
【図２】本発明の実施形態に係る画像処理装置の処理手順の一例を説明するフローチャートである。
【図３】本発明の実施形態におけるプレ撮影間隔・ポスト撮影間隔が短い場合の移動体位置を模式的に示す図である。
【図４】本発明の実施形態におけるプレ撮影間隔・ポスト撮影間隔時の移動体位置を模式的に示す図である。
【図５】本発明の実施形態における移動体速度が速い場合の移動体位置を模式的に示す図である。
【図６】本発明の実施形態における補正可能な移動体速度の場合の移動体位置を模式的に示す図である。
【図７】本発明の実施形態における移動体速度が遅い場合の移動体位置を模式的に示す図である。
【図８】本発明の実施形態における移動体の算出方法を模式的に示す図である。
【発明を実施するための形態】
【０００９】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
［第１の実施形態］
図１は、第１の実施形態の画像処理装置を実現する一つの例である撮像装置１００の基本構成を示すブロック図である。
撮像装置１００は、デジタルカメラ、デジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であってもよい。本実施形態の撮像装置１００は、連続して撮影された各画面のうち、ある一定の時間間隔で撮影された画面を繋いで動画像を生成して記録する。インターバル間隔での撮影(以下、本撮影)以外に、その直前あるいは直後に比較的短期間の間に撮影を行う(以後、直前の撮影をプレ撮影、直後の撮影をポスト撮影とし、それぞれの本撮影との撮影間隔をプレ撮影間隔、ポスト撮影間隔とする)。
【００１０】
光学系１０１は、レンズ、シャッター、絞りから構成されており、ＣＰＵ１０３の制御によって被写体からの光を撮像素子１０２に結像させる。
撮像素子１０２は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどにより構成され、光学系１０１を通って結像した光を画像信号に変換する。
【００１１】
ＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御することで、撮像装置１００の機能を実現させる。
一次記憶装置１０４は、例えばＲＡＭのような揮発性装置であり、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。また、一次記憶装置１０４に記憶されている情報は、画像処理部１０５で利用されたり、記録媒体１０６へ記録されたりもする。
【００１２】
二次記憶装置１０７は、例えばＥＥＰＲＯＭのような不揮発性記憶装置であり、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶し、ＣＰＵ１０３によって利用される。
【００１３】
記録媒体１０６は、一次記憶装置１０４に記憶されている、撮影により得られた画像のデータなどを記録する。なお、記録媒体１０６は、例えば半導体メモリカードのように撮像装置１００から取り外し可能であり、記録媒体１０６に記録されたデータはパーソナルコンピュータなどに装着してデータを読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０６の着脱機構及び読み書き機能を有する。
【００１４】
表示部１０８は、撮影時にはビューファインダーとして用いることが可能であり、撮影する画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う。
操作部１０９は、ユーザの操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネル等はもちろん、音声や視線などを用いた入力機器であってもよい。
【００１５】
なお、本実施形態の撮像装置１００は、画像処理部１０５が撮像画像に適用する画像処理のパターンを複数有し、パターンを撮像モードとして操作部１０９から設定可能である。画像処理部１０５は、いわゆる現像処理と呼ばれる画像処理をはじめ、撮影モードに応じた色調の調整なども行う。なお、画像処理部１０５の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア的に実現してもよい。
【００１６】
図２は、本実施形態におけるタイムラプス撮影の処理の流れを示したフローチャートである。
以下に、図２を用いて、タイムラプス撮影におけるプレ撮影及びポスト撮影による補正対象算出方法について説明する。
まず、Ｓ２０１において、ＣＰＵ１０３は撮影間隔を規定するためのタイマー設定処理を行う。タイマー設定処理の詳細については後述する。
【００１７】
次に、Ｓ２０２において、ＣＰＵ１０３は撮影を行う。Ｓ２０２の撮影シーケンスの詳細はＳ２１１〜Ｓ２１６で示される通りである。
Ｓ２１１において、プレ撮影のタイマー割り込み待ちを行い、Ｓ２１２においてプレ撮影を行う。
同様に、Ｓ２１３において、本撮影のタイマー割り込み待ちを行い、Ｓ２１４において本撮影を行う。
さらに、Ｓ２１５において、ポスト撮影のタイマー割り込み待ちを行い、Ｓ２１６においてポスト撮影を行う。
なお、プレ撮影・ポスト撮影は１枚であっても複数枚であっても構わない。
【００１８】
次に、Ｓ２０３において、ＣＰＵ１０３は移動体部分の検出処理を行う。Ｓ２０３で行われる移動体部分検出処理の詳細はＳ２２１〜Ｓ２２６で示される通りである。
Ｓ２２１において、記録対象画面を基準としてプレ撮影画像と本撮影画像との位置合わせを行い、位置合わせを行った画像によって、Ｓ２２２においてプレ撮影画像と本撮影画像の移動体部分を算出する。
【００１９】
同様に、Ｓ２２３において、本撮影画像とポスト撮影画像の位置合わせを行い、位置合わせを行った画像によって、Ｓ２２４において、本撮影画像とポスト撮影画像間での移動体部分を算出する。さらに、Ｓ２２５において、本撮影上の移動体部分を算出し、Ｓ２２６において、移動体の撮像面上の位置変化量の算出を行って、本撮影画像の移動体部分を抽出する。
【００２０】
移動体検出のアルゴリズムや本撮影上の移動体部分の算出方法については特に限定されない。例えば、図８に示すように、Ｓ２２２、Ｓ２２４において２画像間の差分をとり、その差分値が閾値を超えたら、本撮影画像内に存在する移動体として検出するといった方法を用いることができる。また、Ｓ２２６における本撮影上の移動体部分の算出についても、図８に示すように、前述の２画像間の差分の共通部分を算出することによって、算出することができる。
【００２１】
次に、Ｓ２０４において、ＣＰＵ１０３は移動体部分の補正対象検出処理を行い、記録対象画面内に存在する移動体部分を補正対象画素として検出する、補正対象検出処理を行う。補正対象検出処理の詳細については後述する。
次に、Ｓ２０５において、ＣＰＵ１０３は移動体部分の補正を行う、移動体部分補正処理を行う。
次に、Ｓ２０６において、ＣＰＵ１０３は移動体部分補正処理された本撮影画像を動画としてのフレームを追加する。
次に、Ｓ２０７において、ＣＰＵ１０３は全ての撮影が終了したか否かを判断する。タイムラプス撮影が続く場合はＳ２０１に戻って再度タイマーを設定し、撮影を継続する。全ての撮影が終了した場合、タイムラプス撮影を終了する。
【００２２】
ここで、Ｓ２０１におけるタイマー設定処理について記述する。
プレ撮影間隔・ポスト撮影間隔が長すぎる場合、インターバル間隔との差が短くなるため、移動体の検出がしにくくなる。また、プレ撮影間隔・ポスト撮影間隔が短すぎる場合、移動体部分の検出は可能であるが、Ｓ２０５での移動体部分補正の際に、図３に示すように、本撮影上の移動体部分の補正画像をプレ撮影画像・ポスト撮影画像から得られない場合がある。
【００２３】
したがって、プレ撮影間隔・ポスト撮影間隔は、図４に示すように、本画像上の移動体部分の補正画像を得ることができる範囲で短秒の条件で決定する必要がある。
一例として、補正対象としたい移動体がインターバル間隔の時間で撮像面サイズ分だけ移動する場合に、プレ撮影と本撮影間で移動体部分が重なり合わない条件を挙げる。
撮像面サイズを6000x4000(pixel)、インターバル間隔を15(s)、補正対象としたい移動体の最大サイズを150x100(pixel) とした場合を考える。この場合、次のインターバル撮影時に撮像面上に確実にいない条件としては、撮像面の最大幅をインターバル間隔の時間で進む場合である。
【００２４】
よって
水平方向：6000(pixel) / 15(s) = 400 (pixel/s)    ・・・（式１）
垂直方向：4000(pixel) / 15(s) = 266.7 (pixel/s)   ・・・(式２)
この速度の移動体位置がプレ撮影と本撮影間で重ならないためには、
水平方向：150(pixel) / 400(pixel/s) = 0.375(s)    ・・・(式３)
垂直方向：100(pixel) / 266.7 (pixel/s) = 0.375(s) ・・・(式４)
となり、0.375(s) 以上の時間を離して撮影すればよい。
【００２５】
なお、前述の説明では、１フレームしか写らない場合を想定しているが、Ｎフレーム写る移動体も補正対象とする場合も含まれる。前述の例におけるＮフレームの場合は、
150(pixel) / ((6000 / N(フレーム))(pixel) / 15(s)) = 0.375N(s)・・・（式５）
となる。
本実施形態において、記録対象画面上の最大補正対象サイズをあらかじめ決めることができる。
【００２６】
ここで、本発明のポイントである、Ｓ２０４における移動体部分補正対象検出シーケンスについて説明する。
Ｓ２０４における移動体部分補正対象検出シーケンスは、Ｓ２３１〜Ｓ２３８で示される。
まず、Ｓ２３１において、Ｓ２２６において算出された本撮影画像上に移動体部分があるかどうかを判定し、移動体部分が存在する場合のみ以後の処理を行う。
【００２７】
Ｓ２３２において、実際の移動体のサイズが、補正対象としたい移動体の最大サイズよりも小さいかどうかを判定し、所定の大きさよりも小さい場合のみ以後の処理を行う。
Ｓ２３３において、移動体速度を算出する。
【００２８】
Ｓ２３４において、インターバル間隔の間に、撮像面サイズ以上移動するか否かを判定する。
移動すると判定した場合、Ｓ２３７において、Ｓ２２６で算出された本撮影画像上の移動体の部分を移動体の補正対象として特定する補正対象検出処理を行う。なお、Ｓ２３３における移動体速度の算出処理は、Ｓ２０１におけるプレ撮影間隔・ポスト撮影間隔の設定で決定しているため、この間の移動体の撮像面上の移動量が速度と等価になる。また、Ｓ２３４の判定処理も、プレ撮影間隔・ポスト撮影間隔での移動体の移動距離で判断することができる。
【００２９】
Ｓ２０１でのタイマー設定処理の一例の場合、補正対象としたい移動体の最大サイズの移動体がプレ撮影と本撮影／本撮影とポスト撮影で重なり合わないタイミングを想定している。この場合、移動体の移動量が補正対象としたい移動体の最大サイズ分以上であった場合が、インターバル間隔時間で撮像面サイズ分だけ移動する移動体速度と等価になる。
【００３０】
またこの場合、Ｓ２０５における移動体部分補正処理においても、図５に示すように、移動体部分の補正画像としてプレ撮影画像もしくはポスト撮影画像を使用することが可能である。
そして、Ｓ２３８において、検出された移動体を全て判定したかどうかを判定し、全て判定していない場合はＳ２３２に戻り、全ての移動体について判定が行われるまで繰り返す。
以上、本発明の第１の実施形態により、補正対象としたい移動体がインターバル間隔時間で画面幅以上移動すると予測される場合に、移動体部分の補正画像を確保したうえで補正対象とすることが可能になる。
【００３１】
［第２の実施形態］
本発明の第２の実施形態の補正対象算出方法は、第１の実施形態よりも移動体の速度が低速である場合、すなわち、プレ撮影〜本撮影／本撮影〜ポスト撮影で移動体位置が重なりあう場合に有効な方法である。
この場合、Ｓ２３４における判定ではＮＯとなり、Ｓ２３５へ進む。
Ｓ２３５においては、プレ撮影・本撮影・ポスト撮影から得られた移動体の速度と位置から、前後のインターバル間隔時の移動体の予測位置を算出する。
【００３２】
Ｓ２３６において、予測位置が撮像面外か否かを判定する。
移動体の予測位置が、図６に示すように、次の記録画面上ではフレームアウトすると予測された場合、Ｓ２３７において、本画像上の移動体部分を補正対象とする。
そして、Ｓ２３８において、検出された移動体を全て判定したかどうかを判定し、全ての移動体について判定が行われるまで繰り返す。
【００３３】
なお、前述の実施形態において、プレ撮影・本撮影・ポスト撮影で移動体の位置が最大２枚重なる場合においては、本画像上の移動体部分はプレ撮影画像もしくはポスト撮影画像で補正可能である。
また、図３に示したように、プレ撮影・本撮影・ポスト撮影で移動体の位置が最大３枚重なる領域がある場合、プレ撮影間隔・ポスト撮影間隔での移動量が移動体サイズの1/2以下になる。この場合、Ｓ２０１のプレ撮影間隔・ポスト撮影間隔の決定方法より、インターバル間隔における移動体の移動量は撮像面サイズの１/２となる。
そのため、図７に示すように、前後のインターバル間隔では必ず撮像面上に移動体が存在することになるため、Ｓ２３６において補正対象とはならない。
【００３４】
以上、本発明の第２の実施形態により、補正対象としたい移動体が前後のインターバル間隔では撮像面外にいると予測される場合に、移動体部分の補正画像を確保したうえで補正対象とすることが可能になる。
【００３５】
（その他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３６】
１００  撮像装置
１０１  光学系
１０２  撮像素子
１０３  ＣＰＵ（中央演算装置）
１０４  一次記憶装置
１０５  画像処理部
１０６  記録媒体
１０７  二次記憶装置
１０８  表示部
１０９  操作部
【図１】
2016111479.tif 000003
【図２】
2016111479.tif 000004
【図３】
2016111479.tif 000005
【図４】
2016111479.tif 000006
【図５】
2016111479.tif 000007
【図６】
2016111479.tif 000008
【図７】
2016111479.tif 000009
【図８】
2016111479.tif 000010