(57)【要約】【課題】ループ動画像の作成が容易な画像処理装置を提供すること。【解決手段】複数枚の画像から周期的な動きをする領域を特定して被写体動画像を作成し、前記複数枚の画像から作成した静止画に前記被写体動画像を合成する画像処理装置であって、複数枚の画像を取得する取得手段と、前記画像の領域ごとに各画像間の動きベクトルを算出するベクトル算出手段と、複数の画像にたいして領域毎に動きベクトルを加算することで第一評価値を算出し、複数の画像にたいして領域毎に動きベクトルのスカラ量を加算することで第二評価値を算出する評価値算出手段と、前記第一評価値と前記第二評価値に応じて周期的な動きをする領域を特定する周期性特定手段とを備えることを特徴とする。【選択図】図１
2016128946.tif 000002
【特許請求の範囲】
【請求項１】
複数枚の画像から周期的な動きをする領域を特定して被写体動画像を作成し、前記複数枚の画像から作成した静止画に前記被写体動画像を合成する画像処理装置であって、
複数枚の画像を取得する取得手段と、
前記画像の領域ごとに各画像間の動きベクトルを算出するベクトル算出手段と、
複数の画像にたいして領域毎に動きベクトルを加算することで第一評価値を算出し、複数の画像にたいして領域毎に動きベクトルのスカラ量を加算することで第二評価値を算出する評価値算出手段と、
前記第一評価値と前記第二評価値に応じて周期的な動きをする領域を特定する周期性特定手段とを備えることを特徴とする画像処理装置。
【請求項２】
表示手段をもち、前記第一ないし第二評価値に応じた情報を画像に重畳することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記周期性特定手段は前記第一評価値が所定以下の大きさで前記第二評価値が所定以上の大きさの領域を周期的な動きをする領域とすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記周期性特定手段は前記第一評価値と前記第二評価値の差分が所定以下で、前記第一評価値ないし前記第二評価値の少なくとも何れか所定以上の大きさの領域を周期的な動きをする領域とすることを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、画像全体の一部が一定の動きを繰り返すループ動画像を作成する画像処理装置に関する。
【背景技術】
【０００２】
従来、シネマグラフのような画像全体の一部が一定の動きを繰り返すループ動画像を作成するために、ユーザは画像処理ソフトウェアを使用し、多くの複雑な手作業を要している。特に、手作業の中でも動画像から周期性のある領域を切り出す作業は、周期性のある区間を目視で確認した上で、領域を決定をする必要があるため、ユーザに多くの時間と手間をかけさせている。このため、多くのユーザは、ループ動画像を気軽に作成できずにいる。
【０００３】
ループ動画像の作成を支援するために、素材の動画像を動きがある領域と動きのない領域に分割して、ループ動画像を作成する方法が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１９９６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の方法によると、動きのある領域を検出することが可能であるが、その領域に周期性があるか判断するが困難である。
【０００６】
本発明の目的は、ループ動画像の作成が容易な画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明は、
複数枚の画像から周期的な動きをする領域を特定して被写体動画像を作成し、前記複数枚の画像から作成した静止画に前記被写体動画像を合成する画像処理装置であって、
複数枚の画像を取得する取得手段と、
前記画像の領域ごとに各画像間の動きベクトルを算出するベクトル算出手段と、
複数の画像にたいして領域毎に動きベクトルを加算することで第一評価値を算出し、複数の画像にたいして領域毎に動きベクトルのスカラ量を加算することで第二評価値を算出する評価値算出手段と、
前記第一評価値と前記第二評価値に応じて周期的な動きをする領域を特定する周期性特定手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ループ動画像の作成が容易な画像処理装置の提供を実現できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例における画像処理装置の構成図である。
【図２】本発明の実施例における第一周期性を示す図である。
【図３】本発明の実施例における第二周期性を示す図である。
【図４】本発明の実施例における周期性合成を示す図である。
【図５】本発明の実施例における画像合成を示す図である。
【図６】本発明の実施例におけるループ動画像を作成するフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態を図面に基づいて説明する。
【実施例】
【００１１】
図１は本発明を適用した画像処理装置１００の一例の構成を示す。図１（ａ）の画像処理装置１００は、システム制御部１０１、ＲＯＭ１０２、メモリ制御部１０３、メモリ１０４、操作部１０５を備える。さらに動きベクトル検出部１１０、累積動き算出部１１１、周期性特定部１１２、周期性重畳部１１３、画像合成部１１４、表示部１１７、記録媒体制御部１１８、記録媒体１１９、内部バス１２０を備える。
【００１２】
システム制御部１０１は、内部バス１２０で接続された各ブロックの制御を行う。ＲＯＭ１０２は、電気的に消去・記録可能なメモリである。ＲＯＭ１０２には、システム制御部１０１の動作用の定数、プログラム等が記録される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートなどを実行するためのプログラムのことである。
【００１３】
メモリ制御部１０３は、メモリ１０４とのインターフェースである。メモリ１０４は、記録媒体１１９から読み出した画像データや累積動き算出部１１１が算出した累積動きデータ、システム制御部１０１の一時データを格納する。メモリ１０４は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。操作部１０５は、情報端末の外装に設けられたボタン等で構成され、使用者はそれを操作することで、システム制御部１０１へ指示を伝えることができる。
【００１４】
動きベクトル検出部１１０は、メモリ１０４に格納された画像データを２枚ずつ読み込み、格子状に分割した領域毎に画像データ間の動きベクトルを検出する。検出した動きベクトルはメモリ１０４に格納される。累積動き算出部１１１はメモリ１０４に格納された動きベクトルを順次読み出し、領域毎に画像データの累積動きデータを算出する。累積動きデータの詳細は後述する。算出した累積動きデータはメモリ１０４に格納される。
【００１５】
周期性特定部１１２は、メモリ１０４に格納された累積動き算出部１１１が算出した累積動きデータを読み込み、領域毎に周期性を示す周期性データを算出する。周期性データの詳細は後述する。算出した周期性データはメモリ１０４に格納される。周期性重畳部１１３は、メモリ１０４に格納された画像データに周期性特定部１１２が算出した周期性データに応じた情報を重畳した表示用画像データを作成する。作成した表示画像データはメモリ１０４に格納される。重畳する情報の詳細は後述する。
【００１６】
画像合成部１１４は、メモリ１０４に格納されたと画像データを二枚読み込み、基準画像に対してシステム制御部１０１により指示された合成画像の領域を合成し、合成後の画像データをメモリ１０４に格納する。合成方法の詳細は後述する。表示部１１７は、ＬＣＤ（液晶表示装置）等で構成され、メモリ１０４に格納された表示用画像データを表示する。
【００１７】
記録媒体制御部１１８は、記録媒体１１９とのインターフェースである。記録媒体１１９は、動画像や静止画像の画像データを格納するための媒体であり、メモリカードである。内部バス１２０は、各ブロックに接続され、画像データや制御信号のやりとりが行われる。
【００１８】
累積動き算出部１１１の構成及びに累積動き算出方法について図１（ｂ）を用いて説明する。累積動き算出部１１１は第一累積動き算出部１１１１と第二累積動き算出部１１１２を備える。第一累積動き算出部１１１１は指定された領域の二つの動きベクトルをメモリ１０４から読み込み、二つの動きベクトルを加算し、加算した動きベクトルをメモリ１０４に格納する。加算した動きベクトルを第一累積動きデータとする。
【００１９】
第二累積動き算出部１１１２は指定された領域の動きベクトルとスカラ量をメモリ１０４から読み込み、読み込んだ動きベクトルのスカラ量を求め、読み込んだスカラ量を加算し、加算したスカラ量をメモリ１０４に格納する。格納したスカラ量を第二累積動きデータとする。
【００２０】
周期性特定部１１２の構成について図１（ｃ）を用いて説明する。周期性特定部１１２は第一周期性特定部１１２１と第二周期性特定部１１２２を備える。第一周期性特定部１１２１はある地点にあったものが移動して、再びもどってくる振り子の様な周期性を有する領域を特定する。この周期性を第一周期性と呼ぶ。第二周期性特定部１１２２は画面を類似した物体が繰り返し一定方向に移動し続けた領域を特定する。この周期性を第二周期性と呼ぶ。
【００２１】
次に第一周期性の特定方法について図２の振り子が動くシーンの動画像の例を用いて詳細な説明を行う。図２（ａ）は記録媒体１１９より読み出した動画像の画像データを時系列に並べたものである。図２（ｂ）は連続する２枚の画像データで検出した動きベクトルを画像に重ねて表示したものである。図中の２００は画像を格子状に分割して動きベクトルを検出した領域ひとつを示し、ｔ２０１〜ｔ２０６は各フレームが撮影された時刻を示す。
【００２２】
動きベクトルの検出、第一及び第二累積動きデータの算出、第一及び第二周期性データの算出は格子状に区切られた領域毎に行い、周期性の特定を行う。ここでは説明を簡単にするため２００の領域に着目して説明する。
【００２３】
まず、システム制御部１０１は入力された動画像の連続する２枚の画像間の動きベクトルを検出する。２００の領域においてはｔ２０２とｔ２０４で比較的大きな動きベクトルが検出される。次にシステム制御部１０１はｔ２０１〜ｔ２０６で検出した動きベクトルを順次、累積動き算出部１１１に入力して第一及び第二累積動きデータを算出する。
【００２４】
２００の領域において、第一累積動きデータはｔ２０２とｔ２０４のベクトルが反対の方向を向いているために小さな値になる。第二累積動きデータは動きベクトルの方向によらず、大きさが加算されるので第一累積動きデータと比較すると大きな値になる。
【００２５】
このような領域を特定するために、以下の式１を満足する領域に対しては、第一周期性データに第二累積動きデータを代入し、満足しない領域は第一周期性データに０を代入する。
【００２６】
第一累積動きデータ  ＜＝  第二累積動きデータ×第一周期性係数      （式１）
第一周期性係数は０．０〜１．０の間の値をとる。第一周期性係数はＲＯＭ１０２に格納されており、ここではその値は０．１とする。算出した第一周期性データはメモリ１０４に格納する。
【００２７】
次に、第二周期性の特定方法について図３の電車が横切るシーンの動画像の例を用いて詳細な説明を行う。図３（ａ）は記録媒体１１９より読み出した動画像の画像データを時系列に並べたものである。図３（ｂ）は連続する２枚の画像データで検出した動きベクトルを画像に重ねて表示したものである。図中の３００は画像を格子状に分割して動きベクトルを検出した領域ひとつを示し、ｔ３０１〜ｔ３０６は各フレームが撮影された時刻を示す。
【００２８】
動きベクトルの検出、第一及び第二累積動きデータの算出、第一及び第二周期性データの算出は格子状に区切られた領域毎に行い、周期性の特定を行う。ここでは説明を簡単にするため３００の領域に着目して説明する。
【００２９】
まず、システム制御部１０１は入力された動画像の連続する２枚の画像間の動きベクトルを検出する。３００の領域においてｔ３０１〜ｔ３０５の期間の動きベクトルはほぼ同じ方法を向いている。次にシステム制御部１０１はｔ３０１〜ｔ３０６で検出した動きベクトルを順次、累積動き算出部１１１に入力して第一及び第二累積動きデータを算出する。３００の領域において、動きベクトルは全ての時刻においてほぼ同じ方向を向いているため、第一累積動きデータと第二累積動きデータの差分は小さな値となる。
【００３０】
上述の特性がある領域を特定するために、以下の式２を満足する領域に対しては第二周期性データに第二累積動きデータを代入し、満足しない領域は第二周期性データに０を代入する。
【００３１】
第一累積動きデータ  ＞＝  第二累積動きデータ×第二周期性係数
第二周期性係数は０．０〜１．０の間の値をとる。第二周期性係数はＲＯＭ１０２に格納されており、ここではその値は０．９とする。算出した第二周期性データはメモリ１０４に格納する。
【００３２】
次に、図４を用いて周期性重畳部１１３について説明を行う。システム制御部１０１の指示により周期性合成部１１３はメモリ１０４より周期性の検出を行った動画像の先頭の画像データと第一及び第二周期性データを読み込む。周期性重畳部１１３は画像データに対していずれかの周期性データに０では無い値が入っている領域に特定の色を重畳する。
【００３３】
図４（ａ）は図２で説明した振り子の動画像に対して周期性を検出し、画像に重畳した結果を示している。図４（ｂ）は図３で説明した電車の動画像に対して周期性を検出し、画像に重畳した結果を示している。図中の４０１、４０２が周期性重畳部１１３により周期性を合成された領域である。
【００３４】
次に、図５を用いて画像合成部１１４による画像合成についての説明を行う。基準画像５０１は画像合成のベースになる画像、合成用画像５０２は基準画像５０１に合成する画像、合成領域５０３は合成する領域を示している。合成後画像５０４は基準画像５０１と合成用画像５０２内の合成領域５０３を合成したものを示している。
【００３５】
画像合成部１１４の合成領域５０３はシステム制御部１０１により設定される。合成される領域はシステム制御部１０１がメモリ１０４より第一及び第二の周期性データを読み込み、周期性データに０が入っていない領域である。
【００３６】
システム制御部１０１の指示により、画像合成部１１４はメモリ１０４に格納された動画像から二枚の画像データを読み出す。画像合成部１１４はその中の一枚を基準画像５０１として読み込み、他方を合成用画像５０２とし、その中の合成領域５０３を読み込み、画像合成を行う。合成された一連の画像は動画像としてメモリ１０４に格納する。
【００３７】
次に、図６のフローチャートを用いて実施例におけるループ動画像の作成方法についての説明を行う。
【００３８】
ステップＳ６０１において、システム制御部１０１はメモリ１０４に格納されている第一及び第二累積動きデータ、第一及び第二周期性データ、読み出す画像データの初期化をする。
【００３９】
ステップＳ６０２において、システム制御部１０１は記録媒体１１９に格納されている動画像から連続した二枚の画像データを読み込み、メモリ１０４に格納する。
【００４０】
ステップＳ６０３において、システム制御部１０１の指示により動きベクトル検出部１１０はステップＳ６０２で格納した二枚の画像データメモリ１０４から読み込み、領域毎に画像間の動きベクトルを検出し、検出した動きベクトルをメモリ１０４に格納する。
【００４１】
ステップＳ６０４において、システム制御部１０１の指示により、累積動き算出部１１１はメモリ１０４より領域毎に動きベクトルと第一及び第二累積動きデータを読み込み、累積動きデータを算出し、メモリ１０４に第一及び第二累積動きデータをメモリ１０４に格納する。
【００４２】
ステップＳ６０５において、システム制御部１０１は、記録媒体１１９に格納された動画像がすべて読み込まれたかの確認を行う。全ての画像データが読み込まれていればＳ６０７に進む。まだ読み込まれていない画像データがあるときはステップＳ６０６に進む。
【００４３】
ステップＳ６０６において、システム制御部１０１は次に読み込む画像の決定をする。システム制御部１０１はステップＳ６０２で読み込んだ画像の二枚目の画像を次の取り込む画像の一枚目の画像とする。
【００４４】
ステップＳ６０７において、システム制御部１０１の指示により周期性特定部１１２はメモリ１０４に格納された第一及び、第二累積動きデータを領域毎に読み込み、第一及び、第二周期性データを算出し、メモリ１０４に格納する。
【００４５】
ステップＳ６０８において、システム制御部１０１は記録媒体１１９に格納された動画像の先頭の画像データをメモリ１０４に格納する。システム制御部１０１の指示により、周期性合成部１１３は格納した画像データとステップＳ６０７でメモリ１０４に格納した周期性データを読み込み、周期性を合成した表示用画像データを作成し、メモリ１０４に格納する。
【００４６】
ステップＳ６０９において、システム制御部１０１の指示により、表示部１１７はステップＳ６０８で作成した表示用画像データをメモリ１０４より読み込み、表示する。
【００４７】
ステップＳ６１０において、システム制御部１０１は第一及び第二周期性データ読み出し、周期性が検出された領域を画像合成部１１４に対して合成領域として設定をする。
【００４８】
ステップＳ６１１において、システム制御部１０１は記録媒体１１９に格納されている動画像の最初の画像データを読み込み、基準画像データとしてメモリ１０４に格納する。
【００４９】
ステップＳ６１２において、システム制御部１０１は次に読み込む合成用画像データの初期化を行う。処理対象の動画像の２枚目の画像データを合成用画像データとする。
【００５０】
ステップＳ６１３において、システム制御部１０１は記録媒体１１９に格納されている動画像から画像データを読み込み、合成用画像データとしてメモリ１０４に格納する。
【００５１】
ステップＳ６１４において、システム制御部１０１の指示により画像合成部１１４は設定された合成領域にしたがってメモリ１０４から合成用画像データと基準画像データを読み込み、画像合成を行う。画像合成されたデータは合成後画像データとしてメモリ１０４に格納する。
【００５２】
ステップＳ６１５において、システム制御部１０１はメモリ１０４に格納された合成後画像データを記録媒体１１９に動画像の１フレームとして格納する。
【００５３】
ステップＳ６１６において、システム制御部１０１は、記録媒体１１９に格納された処理対象の動画像の全てのフレームが読み込まれたかの確認を行う。全ての画像データが読み込まれていれば処理は終了となる。まだ読み込まれていない画像データがあるときはステップＳ６１７に進む。
【００５４】
ステップＳ６１７において、システム制御部１０１は次に読み込む合成用画像の決定をする。システム制御部１０１はステップＳ６１３で読み込んだ画像の次の画像を次に読み込む合成用画像データとする。
【００５５】
本実施例においては読み込んだ動画像の全ての画像から累積動きデータを算出して周期性の特定を行ったが、ユーザが指定した範囲の画像のみ累積動きを算出し、周期性の特定を行う構成にしてもよい。また、第一及び第二周期性係数を内部に固定で持っている構成について説明したが、ユーザに入力させたり、動画像を解析して適応的に係数を決定したりする構成にしてもよい。また、第一及び第二周期性データがある領域は一律で色を重畳する構成について説明した周期性データの大きさに応じた情報を画像に合成する構成にしてもよい。また、第一及び第二周期性データに応じてシステム制御部１０１が自動的に合成する領域を設定したが、ユーザの操作により、合成領域を調整する、もしくは周期性が複数あるときはどの領域を合成領域とするか選択する構成にしてもよい。
【符号の説明】
【００５６】
１００  画像処理装置、１０１  システム制御部、１０２  ＲＯＭ、
１０３  メモリ制御部、１０４  メモリ、１０５  操作部
【図１】
2016128946.tif 000003
【図２】
2016128946.tif 000004
【図３】
2016128946.tif 000005
【図４】
2016128946.tif 000006
【図５】
2016128946.tif 000007
【図６】
2016128946.tif 000008