(57)【要約】【課題】繰り返し動画像において、複数の動く被写体を含む領域があり、各領域の周期が異なる場合でも、各領域の被写体が期待する動きを得られる撮像装置を提供すること。【解決手段】複数枚の画像から周期的な動きをする被写体を特定して被写体動画を作成し、前記複数枚の画像から作成した静止画に前記被写体動画を合成する撮像装置であって、連続して撮影された複数枚の画像を取得する画像取得手段と、前記複数枚の画像から周期的な動きをする被写体領域を抽出する被写体領域抽出手段と、前記被写体領域抽出手段によって抽出された被写体領域の、各画像間の動き量を算出する動き量算出手段と、前記動き量算出結果に応じて、前記被写体領域各々の周期を調整する周期調整手段を備えることを特徴とする。【選択図】図１
2016129285.tif 000002
【特許請求の範囲】
【請求項１】
複数枚の画像から周期的な動きをする被写体を特定して被写体動画を作成し、前記複数枚の画像から作成した静止画に前記被写体動画を合成する撮像装置であって、
連続して撮影された複数枚の画像を取得する画像取得手段と、
前記複数枚の画像から周期的な動きをする被写体領域を抽出する被写体領域抽出手段と、
前記被写体領域抽出手段によって抽出された被写体領域の、各画像間の動き量を算出する動き量算出手段と、
前記動き量算出結果に応じて、前記被写体領域各々の周期を調整する周期調整手段を備えることを特徴とする撮像装置。
【請求項２】
前記周期調整手段は、前記被写体領域抽出手段によって複数の被写体領域が抽出された場合は、複数の被写体領域各々の周期をもとに、合成画像の周期となる基準周期を決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記周期調整手段は、前記動き量算出手段により算出された、前記被写体領域各々の各画像間の動き量が少ない画像を間引く、または繰り返すことで基準周期に合うよう調整することを特徴とする請求項２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の所定区間や、複数の静止画像が繰り返し再生される画像を生成する撮像装置に関し、特に、静止画像に周期的な動きをする被写体の繰り返し動画像を合成する撮像装置に関する。
【背景技術】
【０００２】
従来、動画像の所定区間や、複数の静止画像が繰り返し再生されるＧＩＦフォーマットを用いた画像を生成する技術が知られている。
【０００３】
例えば、繰り返し動画像の作成時には、動画像の所定区間の開始端フレームと、終了端のフレームが時間的に連続していなくても、フレーム間の画像の差異による継ぎ目が目立たなくなるよう動画像の所定区間が加工される。そのため、繰り返し動画像を再生すると、開始端と終了端がはっきりと分からなくなり、あたかも無限長の動画像が再生されているように感じさせることができる。このような繰り返し動画像は、基本的に以下のように生成される。
【０００４】
入力された複数のフレームから成る動画像から、時間の離れた類似度の高い２つのフレームが選択され、それらのフレームを開始端もしくは終了端とする区間が抽出されて繰り返し動画像とされる。そして、繰り返し動画像の再生時には、動画像から抽出された区間の終了端と開始端が連続して再生されるようになる。従って、終了端と開始端が類似しているほど、繰り返し動画像再生時にそれらのフレームの画像を滑らかに連結することができる。
【０００５】
特許文献１では、繰り返し動画像の素材となる連写画像において、動く被写体を含む領域、または動きのない被写体を含む領域に分割し、動く被写体を含む領域に基づいて繰り返し動画像として再生可能な画像を生成する方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−１９９６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の特許文献１に開示された従来技術を用いると、動く被写体を含む領域が複数ある場合、各領域の周期を合わせるように再生速度が調整されてから繰り返し動画像が出力される。再生速度の調整は、各領域の周期を合わせるようにフレームを間引く、または繰り返して行うが、どのフレームを間引く、または繰り返すかは書かれていないため、領域によっては被写体の期待する動きが得られない場合がある。
【０００８】
本発明の目的は、繰り返し動画像において、複数の動く被写体を含む領域があり、各領域の周期が異なる場合でも、各領域の被写体が期待する動きを得られる撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明の撮像装置は、
複数枚の画像から周期的な動きをする被写体を特定して被写体動画を作成し、前記複数枚の画像から作成した静止画に前記被写体動画を合成する撮像装置であって、
連続して撮影された複数枚の画像を取得する画像取得手段と、
前記複数枚の画像から周期的な動きをする被写体領域を抽出する被写体領域抽出手段と、
前記被写体領域抽出手段によって抽出された被写体領域の、各画像間の動き量を算出する動き量算出手段と、
前記動き量算出結果に応じて、前記被写体領域各々の周期を調整する周期調整手段を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、繰り返し動画像において、複数の動く被写体を含む領域があり、各領域の周期が異なる場合でも、各領域の被写体が期待する動きを得られる撮像装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】デジタルカメラ１００の構成を説明するブロック図
【図２】実施例１におけるデジタルカメラ１００の処理を説明するフロー図
【図３】実施例１における合成処理を説明するフロー図
【図４】実施例１における周期の調整方法を説明するフロー図
【図５】実施例２における合成処理を説明するフロー図
【図６】実施例２における周期の調整方法を説明するフロー図
【図７】静止画像領域の静止画像を例示した概略図
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１３】
図１において、本発明におけるシネマグラフ生成機能付きデジタルカメラの構成について説明する。
【００１４】
図１に示す１００は、デジタルカメラ本体である。デジタルカメラ１００は、システム制御部１０１、ＲＯＭ１０２、メモリ制御部１０３、メモリ１０４、操作部１０５、カメラ信号処理部１０６、カメラ部１０７、被写体位置算出部１１０、動きベクトル算出部１１１、画像範囲設定部１１２、被写体選択部１１３、表示部１１７、記録媒体制御部１１８、記録媒体１１９、静止画像生成部１２１、画像合成部１２２、シネマグラフ生成部１２３、内部バス１２０を備える。
【００１５】
システム制御部１０１は、内部バス１２０で接続された各ブロックの制御を行う。ＲＯＭ１０２は、電気的に消去・記録可能なメモリである。ＲＯＭ１０２には、システム制御部１０１の動作用の定数、プログラム等が記録される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートなどを実行するためのプログラムのことである。
【００１６】
メモリ制御部１０３は、メモリ１０４とのインターフェースである。メモリ１０４は、画像データやシステム制御部１０１の一時データを格納する。メモリ１０４は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。
【００１７】
操作部１０５は、情報端末の外装に設けられたボタンやタッチパネル等で構成され、ユーザーはそれを操作することで、システム制御部１０１へ指示を伝えることができる。
【００１８】
カメラ部１０７は、対物レンズ、撮像素子、アナログ信号処理部を有するユニットである。対物レンズは、光束を集光して被写体像を撮像素子の受光面に形成する。撮像素子は、対物レンズを通過した被写体の画像光を光電変換してアナログ画像信号に変換するＣＣＤ等の撮像素子である。アナログ信号処理部は、撮像素子から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換などの信号処理を施し、信号処理されたデジタル画像信号をカメラ信号処理部１０６へ転送する。
【００１９】
カメラ信号処理部１０６は、システム制御部１０１の指示に基づき、カメラ部１０７を制御してユーザーの目前の被写体を撮影し、カメラ部１０７から得られたデジタル画像信号に対して、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換、動画像の圧縮処理などの画像処理を施し画像処理された動画像を、メモリ１０４を介して、記録媒体１１９へ記憶させる。本実施例では、動画像の形式は、ＭＰＥＧ（Moving Picture Experts Group）形式とするが、その限りではない。
【００２０】
被写体抽出部１１０は、システム制御部１０１の指示に基づき、記録媒体１１９に記憶されている動画像を読み出し、表示部１１７へ表示させ、ユーザーが操作部１０５を操作し、動画像の中から周期的な動きをする被写体を抽出して切り出し、被写体動画像として記録媒体１１９へ記憶させる。
【００２１】
動き量検出部１１１は、システム制御部１０１の指示に基づき、メモリ１０４に記憶されている被写体動画像を読み出し、被写体動画像の各フレーム間の動き量を算出して、メモリ１０４へ記憶させる。
【００２２】
周期調整部１１２は、動き量検出部１１１によって算出された被写体動画像の各フレーム間の動き量に応じて、被写体動画像の周期を調整し、周期動画像として記憶媒体１１９に記憶する。
【００２３】
表示部１１７は、ＬＣＤ（液晶表示装置）等で構成され、カメラ信号処理部１０６で処理された画像を表示する。
【００２４】
記録媒体制御部１１８は、記録媒体１１９とのインターフェースである。記録媒体１１９は、撮影された画像データを記録するための媒体であり、メモリカードや磁気ディスク等から構成される。
【００２５】
内部バス１２０は、各ブロックに接続され、画像データや制御信号のやりとりが行われる。
【００２６】
静止画像生成部１２１は、記録媒体１１９に記憶されている動画像を読み出し、ユーザーにより指定された画像を抽出し、その画像に対しユーザーにより指定された領域の画素値を任意の固定値に挿げ替え、静止画像としてメモリ１０４へ記憶させる。
【００２７】
画像合成部１２２は、記録媒体１１９に記憶されている動画像およびメモリ１０４に記憶されている静止画像を読み出し、その動画像と静止画像を合成する。本実施例において、合成方法はクロマキー合成にて行うものとする。クロマキー合成は、特定の色情報を持つ領域を他の画像と置き換える手法である。
【００２８】
シネマグラフ生成部１２３は、記録媒体１１９に記憶されている周期動画像を読み出し、動画像の形式を繰り返し自動再生できる形式に変換し、記録媒体１１９へ記憶させる。本実施例においては、ＭＰＥＧをＧＩＦ（Graphics Interchange Format）へ変換してシネマグラフを作成するものとする。
【００２９】
図２は被写体抽出部１１０、動き量算出部１１１および周期調整部１１２の処理について説明する図である。
【００３０】
例えば、図２（ａ）に、記録媒体１１９に記憶されている動画像のフレーム群を示す。ユーザーにより操作部１０５から指定された、シネマグラフの最初のフレームである開始フレームをＦＭ１とし、被写体抽出部１１０によって抽出された被写体動画像は、ＯＢＪ１とＯＢＪ２に示す花とする。動画像において、ＯＢＪ１、ＯＢＪ２の花は風によって揺らいでいる。本実施例では、ＯＢＪ１の被写体動画像の１周期のフレーム数をＮとし、Ｎ＝１００フレーム、ＯＢＪ２の被写体動画像の１周期のフレーム数をＭとし、Ｍ＝４８０フレームであるとする。ここで、ＮとＭを比較し、周期の長い方を基準周期とする。本実施例では、Ｎ＜Ｍのため、ＯＢＪ２の１周期を基準周期とする。
【００３１】
図２（ｂ）に、ＯＢＪ１の周期とＯＢＪ２の周期の関係を示す。２１０は、基準周期、即ちＯＢＪ２の被写体動画像の１周期である。２２０から２２４は、それぞれＯＢＪ１の被写体動画像の１周期であり、ｎ＝５回繰り返すことで基準周期２１０に達するが、基準周期より２０フレーム多い。ＯＢＪ１の被写体動画像の１周期のフレーム数が基準周期のフレーム数の約数となるためには、２０フレーム÷ｎ＝２０÷５＝４より、１周期のフレーム数が４フレーム少なければよい。即ち、Ｎ−４＝１００−４＝９６フレームとなればよい。
【００３２】
図２（ｃ）に、動き量検出部１１１によってＯＢＪ２の被写体動画像の各フレーム間の動き量を算出したグラフを示す。図２（ｃ）のグラフにおいて、ｘ軸はＯＢＪ１の被写体動画像の１から１００までのフレームＮｏ．を示し、ｙ軸は各フレーム間の動き量を示す。ここで、周期調整部１１２は、削除する対象として動き量の絶対値が最も小さいフレームから４フレーム、Ｎｏ．１、Ｎｏ．５０、Ｎｏ．５１、Ｎｏ．１００を選択する。
【００３３】
図２（ｄ）に、周期調整部１１２において、ＯＢＪ１の被写体動画像のフレーム群からＮｏ．１、Ｎｏ．５０、Ｎｏ．５１、Ｎｏ．１００を削除したことを示す。これによって、図２（ｅ）へ示すように、ＯＢＪ１の被写体動画像の1周期のフレーム数は、Ｎ＝９６フレームとなる。Ｍ÷Ｎ＝４８０÷９６＝５となり、ＯＢＪ１の被写体動画像の1周期のフレーム数が基準周期の約数となる。
【００３４】
逆に、図３に示すように、ＯＢＪ１の被写体動画像の１周期が基準周期の約数となるよう、周期調整部１１２より、動き量の少ないフレームを挿入して調節してもよい。
【００３５】
図３（ａ）に、ＯＢＪ１の周期とＯＢＪ２の周期の関係を示す。ＯＢＪ１の被写体動画像を、基準周期の長さ未満で繰り返すとｎ＝４となるが、基準周期より８０フレーム少ない。ＯＢＪ１の被写体動画像の１周期のフレーム数が基準周期の約数となるためには、８０フレーム÷ｎ＝８０÷４＝２０より、１周期のフレーム数が２０フレーム多ければよい。即ち、Ｎ＋２０＝１００＋２０＝１２０フレームとなればよい。
【００３６】
図３（ｂ）に、ＯＢＪ２の被写体動画像の各フレーム間の動き量を算出したグラフを示す。図３（ｂ）のグラフにおいて、ｘ軸はＯＢＪ１の被写体動画像の１から１００までのフレームＮｏ．を示し、ｙ軸は各フレーム間の動き量を示す。ここで、周期調整部１１２は、フレームを挿入する対象として動き量の絶対値が最も小さいフレームから２０フレーム、Ｎｏ．１〜５、Ｎｏ４５〜５５、Ｎｏ．９６〜１００を選択する。
【００３７】
図３（ｃ）に、周期調整部１１２において、ＯＢＪ１の被写体動画像のフレーム群へ、Ｎｏ．１〜５、Ｎｏ４５〜５５、Ｎｏ．９６〜１００の各フレームを２フレームずつ繰り返し挿入したことを示す。これによって、図３（ｄ）へ示すように、ＯＢＪ１の被写体動画像の1周期のフレーム数は、Ｎ＝１２０フレームとなる。Ｍ÷Ｎ＝４８０÷１２０＝４となり、ＯＢＪ１の被写体動画像の1周期のフレーム数が基準周期のフレーム数の約数となる。
【００３８】
次に、本発明の実施例１におけるシネマグラフ生成処理について、図４のフローチャートを用いて詳細に説明を行う。
【００３９】
Ｓ４０１において、操作部１０５から動画像の撮影指示を受けると、システム制御部１０１が、カメラ部１０７を制御して、ユーザーの目前の被写体を撮影する。
【００４０】
Ｓ４０２において、Ｓ４０１で得られた動画像を、メモリ１０４を介して、記録媒体１１９に記録させる。
【００４１】
Ｓ４０３において、システム制御部１０１の指示に基づき、記録媒体１１９に記憶されている動画像を読み出す。
【００４２】
Ｓ４０４において、ユーザーが操作部１０５を操作し、被写体抽出部１１０は動画像の中から周期的な動きをする被写体を複数抽出して被写体動画像として記録媒体１１９へ記憶させる。
【００４３】
Ｓ４０５において、周期調整部１１２によって、周期動画像の周期となる基準周期を、Ｓ４０４で抽出した被写体動画像の中で周期が一番長い被写体動画像の周期とする。
【００４４】
Ｓ４０６において、周期調整部１１２は、Ｓ４０４において抽出した複数の被写体動画像のなかから、最初に処理する被写体動画像を選択する。
【００４５】
Ｓ４０７おいて、Ｓ４０６において選択した被写体動画像の周期が、基準周期の約数である場合はＳ４１０を実行し、そうでない場合はＳ４０８を実行する。
【００４６】
Ｓ４０８において、動き量算出部１１０より、Ｓ４０６において選択した被写体動画像の各フレーム間の動き量を算出する。
【００４７】
Ｓ４０９において、Ｓ４０８で算出された各フレーム間の動き量のうち、動き量の少ないフレームを間引く、または挿入することでＳ４０６において選択した被写体動画像の周期が、基準周期の約数になるようにする。
【００４８】
Ｓ４１０において、抽出した全ての被写体動画像の処理が終了した場合はＳ４１１へ、そうではない場合はＳ４０６へ遷移する。
【００４９】
Ｓ４１１において、操作部１０５から静止画像とするフレームを指定する指示を受けると、静止画像生成部１２１が、Ｓ４０３において読み出した動画像の中から指定された画像を抽出する。次に、操作部１０５から被写体動画像の領域を指定する指示を受けると、静止画像生成部１２１が、指定された被写体動画像の領域を固定の画素値に挿げ替え、静止画像としてメモリ１０４へ記憶させる。例えば、図７に示すように、静止画像ＩＭＧ１において指定された動画領域はＲ１であり画素値は緑色に設定される。
【００５０】
Ｓ４１２において、画像合成部１２２が、Ｓ４１１にて作成した静止画像とＳ４０４において抽出した被写体動画像をクロマキー合成し、画像全体の一部が一定の動きをする合成周期動画像を作成する。これにより、被写体動画像に対し、図７の静止画像ＩＭＧ１のＲ１領域以外の領域が上書きされることになる。本実施例において、合成はクロマキー合成にて行うが、合成方法はその限りではない。
【００５１】
Ｓ４１３において、シネマグラフ生成部１２３が、Ｓ４０２にて生成したクロマキー合成周期動画像から繰り返し自動再生するシネマグラフを作成する。シネマグラフは、ＭＰＥＧ（Moving Picture Experts Group）形式やＡＶＩ（Audio Video Interleave）形式で作成した動画像をＧＩＦ（Graphics Interchange Format）へ変換して作成する。本実施例では、シネマグラフをＧＩＦ形式にて作成するが、形式はその限りではない。
【実施例２】
【００５２】
実施例１では、シネマグラフの基準周期を、被写体動画像の中で周期が一番長い被写体動画像の周期とし、基準周期以外の被写体動画像の周期を調整して、基準周期以外の被写体動画像の１周期のフレーム数が基準周期のフレーム数の約数になるようにした。一方、本実施例では、基準周期を調整して、基準周期以外の被写体動画像の１周期のフレーム数が基準周期のフレーム数の約数になるようにする。
【００５３】
図２、図３、図５を用いて、１１０、１１１および１１２の処理について説明する。図３（ａ）において、ＯＢＪ１の被写体動画像の１周期のフレーム数が基準周期の約数となるためには、基準周期１周期から８０フレーム削除すればよい。
【００５４】
動き量検出部１１１によって基準周期の被写体動画像の各フレーム間の動き量を算出し、周期調整部１１２は、削除する対象として動き量の絶対値が最も小さいフレームから８０フレーム選択し、削除する。これによって、図５（ａ）へ示すように、基準周期の被写体動画像の1周期のフレーム数は、Ｎ＝４００フレームとなる。５１０は、調整後の基準周期の１周期である。Ｍ÷Ｎ＝４００÷１００＝４となり、ＯＢＪ１の被写体動画像の１周期のフレーム数が基準周期のフレーム数の約数となる。
【００５５】
逆に、ＯＢＪ１の被写体動画像の１周期のフレーム数が基準周期のフレーム数の約数となるよう、周期調整部１１２より、動き量の少ないフレームを挿入して調節してもよい。
【００５６】
図２（ｂ）において、ＯＢＪ１の被写体動画像の１周期のフレーム数が基準周期の約数となるためには、基準周期１周期へ２０フレーム挿入すればよい。
【００５７】
動き量検出部１１１によって基準周期の被写体動画像の各フレーム間の動き量を算出し、周期調整部１１２は、フレームを挿入する対象として動き量の絶対値が最も小さいフレームから２０フレーム選択し、挿入する。これによって、図５（ｂ）へ示すように、基準周期の被写体動画像の1周期のフレーム数は、Ｎ＝５００フレームとなる。５２０は、調整後の基準周期の１周期である。Ｍ÷Ｎ＝５００÷１００＝５となり、ＯＢＪ１の被写体動画像の１周期のフレーム数が基準周期のフレーム数の約数となる。
【００５８】
図６は本発明の実施例２の撮影における一連の流れを説明するためのフローチャートである。本発明の好ましい実施の形態は実施例１と同様である。
【００５９】
Ｓ４０１からＳ４０７，Ｓ４１０からＳ４１３の処理は実施例１と同様のため、省略する。
【００６０】
Ｓ６００において、Ｎ＝１とする。
【００６１】
Ｓ６０１において、Ｓ４０７において選択した被写体動画像の周期のＮ倍が、基準周期より大きいならばＳ６０３へ遷移し、基準周期未満ならばＳ６０２へ遷移する。
【００６２】
Ｓ６０２において、Ｎ＝Ｎ＋１とし、Ｓ６０１へ遷移する。
【００６３】
Ｓ６０３において、基準周期とした被写体動画像の各フレーム間の動き量を算出する。
【００６４】
Ｓ６０４において、Ｓ６０３で算出された各フレーム間の動き量のうち、動き量の少ないフレームを間引く、または挿入することで、基準周期が、Ｓ４０６において選択した被写体動画像の周期が、基準周期の約数になるようにする。
【００６５】
上述したように、シネマグラフにおいて、複数の動く被写体を含む領域があり、各領域の周期が異なる場合でも、各領域の動き量の少ないフレームを調節することで、各々の被写体が期待する動きを得ることができる。
【００６６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６７】
１００  デジタルカメラ、１０１  システム制御部、１０２  ＲＯＭ、
１０３  メモリ制御部、１０４  メモリ、１０５  操作部、１０６  カメラ信号処理部、
１０７  カメラ、１１０  動き量検出部、１１１  被写体抽出部、１１２  周期調整部、
１１７  表示部、１１８  記録媒体制御部、１１９  記録媒体、１２０  バス
【図１】
2016129285.tif 000003
【図２】
2016129285.tif 000004
【図３】
2016129285.tif 000005
【図４】
2016129285.tif 000006
【図５】
2016129285.tif 000007
【図６】
2016129285.tif 000008
【図７】
2016129285.tif 000009