(57)【要約】      （修正有）【課題】画像の一部が一定の動きを繰り返す動画アニメーションを作成する際に、素材の動画像から周期性のある期間を自動的かつ迅速に切り出す画像処理装置を提供する。【解決手段】画像処理装置は、複数枚の画像に含まれる基準画像から抽出対象となる被写体を選択する被写体選択手段１１３と、基準画像における被写体の位置を算出する位置算出手段１１０と、基準画像における被写体の動きベクトルを算出する動きベクトル算出手段１１１と、位置算出手段によって算出された被写体の位置および動きベクトル算出手段によって算出された動きベクトルを、基準画像以降における画像の被写体の位置および動きベクトルと比較することで、被写体動画の作成に用いる画像範囲を設定する画像範囲設定手段１１２と、を備える。【選択図】図１
2016129281.tif 000002
【特許請求の範囲】
【請求項１】
複数枚の画像から周期的な運動をする被写体を抽出して被写体動画を作成し、前記複数枚の画像から選択された静止画を前記被写体動画に合成する画像処理装置であって、
前記複数枚の画像に含まれる基準画像から抽出対象となる被写体を選択する被写体選択手段と、
前記基準画像における前記被写体の位置を算出する位置算出手段と、
前記基準画像における前記被写体の動きベクトルを算出する動きベクトル算出手段と、
前記位置算出手段によって算出された被写体の位置および前記動きベクトル算出手段によって算出された動きベクトルを、前記基準画像以降における画像の被写体の位置および動きベクトルと比較することで、前記被写体動画の作成に用いる画像範囲を設定する画像範囲設定手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記画像範囲設定手段は、前記基準画像の被写体の位置および動きベクトル量と前記基準画像以降における画像の被写体の位置および動きベクトル量が所定の閾値以内で一致した画像を最終画像として設定することを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像から周期性のある期間を切り出し、画像全体の一部が一定の動きを繰り返す動画像を生成する画像処理装置に関する。
【背景技術】
【０００２】
従来、シネマグラフのような画像全体の一部が一定の動きを繰り返す動画アニメーションを作成するために、ユーザーは複雑な画像処理ソフトウェアを使用し、さらに多くの手作業を要している。特に、手作業の中でも動画像から周期性のある期間を切り出す作業は、フレーム間の差異を目視で確認する必要があるため、ユーザーにとって多くの時間と手間が必要となっている。
【０００３】
このため、多くのユーザーは、シネマグラフのような動画アニメーションを気軽に作成できずにいる。従って、ユーザーの手作業を軽減し、自動的かつ迅速な方法でシネマグラフを作成したいという要望がある。本明細書で使用する「シネマグラフ」という用語は、画像全体の一部が一定の動きを繰り返す動画アニメーションを意味する。
【０００４】
特許文献１の装置では、素材の動画像の中から動きがある領域を抽出し、その領域の中で類似度の高い２つのフレーム画像のペアを検出し、ループさせる動画像の開始フレームおよび終了フレームとしている。類似度は、２つのフレーム画像間の積算ＳＡＤ値を算出し、最も積算ＳＡＤ値が小さくなるペアとしている。積算ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）値とは、２つの画像の同じ位置にある各画素の輝度値の差分の絶対値を求め、その差分の絶対値の総和のことである。
【０００５】
例えば、図７を参照して、複数フレームからなる素材の動画像ＭＰ１を示す。フレームｉを開始フレームとし、フレームｉと類似度の高いフレームｊを終了フレームとする。そして、フレームｉからフレームｊまでの区間を切り出してシネマグラフを生成する。
【０００６】
また、２つの画像同士のＳＡＤ値による評価では、それらの画像上における被写体の時間方向の動きは検出できないため、開始フレームと終了フレームの前後連続する複数フレームからなる区間同士のＳＡＤ値を比較することで、動きの連続性を検出する提案がされている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−１９９６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１において、動きの連続性を精度良く検出するためには、評価するフレーム数を増やす必要があり、多くの処理時間を要する。
【０００９】
そこで、本発明の目的は、シネマグラフのような画像全体の一部が一定の動きを繰り返す動画アニメーションを作成する際に、素材の動画像から周期性のある期間を自動的かつ迅速に切り出すことができる画像記録装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明は、
複数枚の画像から周期的な運動をする被写体を抽出して被写体動画を作成し、前記複数枚の画像から選択された静止画を前記被写体動画に合成する画像処理装置であって、
前記複数枚の画像に含まれる基準画像から抽出対象となる被写体を選択する被写体選択手段と、
前記基準画像における前記被写体の位置を算出する位置算出手段と、
前記基準画像における前記被写体の動きベクトルを算出する動きベクトル算出手段と、
前記位置算出手段によって算出された被写体の位置および前記動きベクトル算出手段によって算出された動きベクトルを、前記基準画像以降における画像の被写体の位置および動きベクトルと比較することで、前記被写体動画の作成に用いる画像範囲を設定する画像範囲設定手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、シネマグラフのような画像全体の一部が一定の動きを繰り返す動画アニメーションを作成する際に、素材の動画像から周期性のある期間を自動的かつ迅速に切り出すことができる画像記録装置の提供を実現できる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施例のシネマグラフ生成機能付きデジタルカメラのブロック図
【図２】動画像から周期性のあるフレーム期間を切り出すまでのフローチャート
【図３】周期画像範囲を検出するフローチャート
【図４】周期画像範囲を切り出してからシネマグラフを生成するまでのフローチャート
【図５】動画像のフレーム群と周期画像範囲の検出処理の流れを例示した概略図
【図６】静止画領域の静止画像を例示した概略図
【図７】複数フレームからなる動画像を例示した概略図
【発明を実施するための形態】
【００１３】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１４】
図１を参照して、本発明におけるシネマグラフ生成機能付きデジタルカメラの構成について説明する。図１に示す１００は、デジタルカメラ本体である。デジタルカメラ１００は、システム制御部１０１、ＲＯＭ１０２、メモリ制御部１０３、メモリ１０４、操作部１０５、カメラ信号処理部１０６、カメラ部１０７、被写体位置算出部１１０、動きベクトル算出部１１１、画像範囲設定部１１２、被写体選択部１１３、表示部１１７、記録媒体制御部１１８、記録媒体１１９、静止画像生成部１２１、画像合成部１２２、シネマグラフ生成部１２３、内部バス１２０を備える。
【００１５】
システム制御部１０１は、内部バス１２０で接続された各ブロックの制御を行う。ＲＯＭ１０２は、電気的に消去・記録可能なメモリである。ＲＯＭ１０２には、システム制御部１０１の動作用の定数、プログラム等が記録される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートなどを実行するためのプログラムのことである。
【００１６】
メモリ制御部１０３は、メモリ１０４とのインターフェースである。メモリ１０４は、画像データやシステム制御部１０１の一時データを格納する。メモリ１０４は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。操作部１０５は、情報端末の外装に設けられたボタンやタッチパネル等で構成され、ユーザーはそれを操作することで、システム制御部１０１へ指示を伝えることができる。
【００１７】
カメラ部１０７は、対物レンズ、撮像素子、アナログ信号処理部を有するユニットである。対物レンズは、光束を集光して被写体像を撮像素子の受光面に形成する。撮像素子は、対物レンズを通過した被写体の画像光を光電変換してアナログ画像信号に変換するＣＣＤ等の撮像素子である。アナログ信号処理部は、撮像素子から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換などの信号処理を施し、信号処理されたデジタル画像信号をカメラ信号処理部１０６へ転送する。
【００１８】
カメラ信号処理部１０６は、システム制御部１０１の指示に基づき、カメラ部１０７を制御してユーザーの目前の被写体を撮影し、カメラ部１０７から得られたデジタル画像信号に対して、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換、動画像の圧縮処理などの画像処理を施し画像処理された動画像を、メモリ１０４を介して、記録媒体１１９へ記憶させる。本実施例では、動画像の形式は、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）形式とするが、その限りではない。
【００１９】
被写体選択部１１３は、記録媒体１１９に記憶されている動画像を読み出し、その動画像の中から、ユーザーにより指定された画像の被写体の座標位置情報および被写体領域をテンプレート画像としてメモリ１０４へ記憶させる。
【００２０】
被写体位置算出部１１０は、記録媒体１１９に記憶されている動画像を読み出し、被写体選択部１１３が作成したテンプレート画像と、その画像以降の同座標位置の被写体領域とのパターンマッチングを行う。一致したらシステム制御部１０１へ通知する。本実施例において、パターンマッチングは、２つの画像間の積算ＳＡＤ値を算出し、最も積算ＳＡＤ値が小さくなるペアを算出するものとする。
【００２１】
動きベクトル算出部１１１は、記録媒体１１９に記憶されている動画像を読み出し、その動画像の中から、ユーザーにより指定された被写体の動きベクトルを算出して、基準ベクトルとしてメモリ１０４へ記憶させる。そして、指定した画像以降で、上記被写体位置算出部１１０により被写体位置の一致が通知された画像に対し、被写体の動きベクトルを算出して、基準ベクトルと一致したらシステム制御部１０１へ通知する。
【００２２】
本実施例において、動きベクトルの算出は、時間的に連続する２つの画像について、ブロックマッチングを行うことにより算出する。ブロックマッチングは、一方の画像を複数のマクロブロックに分割し、個々のマクロブロックをテンプレートとして、他方の画像における対応するマクロブロックの位置を中心とする所定の探索範囲内を移動しながら両者の類似度を求めることによってマッチングを行う方法である。これにより、一方の画像内の各マクロブロックについて、他方の画像における対応する位置を特定することができるため、マクロブロックごとに動きベクトルを得ることができる。
【００２３】
画像範囲設定部１１２は、ユーザーにより指定された画像を開始画像とし、上記被写体位置算出部１１０による被写体位置および上記動きベクトル算出部１１１による被写体の動きベクトルが所定の閾値以内で一致した画像を終了画像として、画像の範囲情報をメモリ１０４に記憶させる。そして、システム制御部１０１の指示に基づき、記録媒体１１９に記憶されている動画像を読み出し、開始画像から終了画像までの動画像を切り出し、周期動画像として記録媒体１１９に記憶させる。
【００２４】
静止画像生成部１２１は、記録媒体１１９に記憶されている動画像を読み出し、ユーザーにより指定された画像を抽出し、その画像に対しユーザーにより指定された領域の画素値を任意の固定値に挿げ替え、静止画像としてメモリ１０４へ記憶させる。
【００２５】
画像合成部１２２は、記録媒体１１９に記憶されている動画像およびメモリ１０４に記憶されている静止画像を読み出し、その動画像と静止画像を合成し、合成した合成動画像を記録媒体１１９に記憶させる。本実施例において、合成方法はクロマキー合成にて行うものとする。クロマキー合成は、特定の色情報を持つ領域を他の画像と置き換える手法である。
【００２６】
シネマグラフ生成部１２３は、記録媒体１１９に記憶されている合成動画像を読み出し、動画像の形式を繰り返し自動再生できる形式に変換し、記録媒体１１９へ記憶させる。本実施例においては、ＭＰＥＧをＧＩＦ（Ｇｒａｐｈｉｃｓ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ）へ変換してシネマグラフを作成するものとする。
【００２７】
表示部１１７は、ＬＣＤ（液晶表示装置）等で構成され、カメラ信号処理部１０６で処理された動画像を記録媒体１１９から読み出し、表示させる。
【００２８】
記録媒体制御部１１８は、記録媒体１１９とのインターフェースである。
【００２９】
記録媒体１１９は、撮影された画像データを記録するための媒体であり、メモリカードや磁気ディスク等から構成され、デジタルカメラ１００本体に接続されている。
【００３０】
内部バス１２０は、各ブロックに接続され、画像データや制御信号のやりとりが行われる。
【００３１】
以下、図２〜図４を用いて、本発明におけるシネマグラフを生成するフローチャートについて説明する。
【００３２】
まず、図２、図３を参照して、動画を撮影し、その動画像から周期性のあるフレーム期間を切り出すフローチャートについて説明する。
【００３３】
ステップＳ２０１において、操作部１０５から動画像の撮影指示を受けると、システム制御部１０１が、カメラ部１０７およびカメラ信号処理部１０６を制御して、ユーザーの目前の被写体を撮影して得られた動画像を、メモリ１０４を介して、記録媒体１１９に記録させる。
【００３４】
ステップＳ２０２において、操作部１０５からシネマグラフの最初のフレームである開始フレームを指定する指示を受けると、画像範囲設定部１１２が、開始フレームを範囲情報としてメモリ１０４に記憶させる。
【００３５】
ステップＳ２０３において、操作部１０５から開始フレームの画像内の被写体を指定する指示を受けると、被写体選択部１１３が、指定された被写体の位置座標および被写体領域をテンプレート画像としてメモリ１０４へ記憶させる。
【００３６】
本実施例において、被写体の指定は、ユーザーにより被写体の領域を指定方法にて行うが、既知の被写体認識等の技術を用いても構わない。例えば、図５（ａ）に、ステップＳ２０１で得られた動画像のフレーム群を示す。ステップＳ２０２にて指定された開始フレームはＦＭ１であり、ステップＳ２０３にて指定された被写体はＯＢＪ１に示す花とする。動画像において、ＯＢＪ１の花は風によって揺らいでいる。本実施例では、ＯＢＪ１の花だけが一定の動きを繰り返し動いているシネマグラフを作成するものとする。
【００３７】
ステップＳ２０４において、開始フレームで指定された被写体領域と、開始フレーム以降の被写体領域との類似度を算出して、被写体領域の類似度の高いフレームを終了フレームとして検出する。
【００３８】
ステップＳ２０４の周期画像範囲の検出処理の詳細は、後述する図３のフローチャートにて説明する。
【００３９】
次に、図３を参照して、ステップＳ２０４の周期画像範囲の検出処理の詳細について説明する。
【００４０】
ステップＳ３０１において、動きベクトル算出部１１１が、ステップＳ２０３にて指定された被写体の動きベクトルを算出して、基準ベクトルとしてメモリ１０４へ記憶させる。
【００４１】
ステップＳ３０２において、システム制御部１０１が、評価するフレームを時間的に１つ進めて、フレームが存在するかを判断する。１つ先のフレームがなければ、現在が最後のフレームなので、周期画像範囲の検出処理フローを終了する。また、終了フレームが検出できない場合は、ユーザーに周期性のあるフレームを検出できなかったことを通知し、以降の処理は行わない。１つ先のフレームがあれば、ステップＳ３０３へ移行する。
【００４２】
ステップＳ３０３において、システム制御部１０１が、現在の評価フレームから時間的に１つ先のフレームを新たな評価フレームとして取得し、被写体位置算出部１１０へ転送する。
【００４３】
ステップＳ３０４において、被写体位置算出部１１０が、ステップＳ３０３にて取得した評価フレームを受け取り、ステップＳ２０３にて取得した被写体領域と同じ位置座標の領域の画像を取得し、ステップＳ２０３にて取得したテンプレート画像とパターンマッチングを行う。パターンマッチングが、ある所定の範囲内で一致した場合、ステップＳ３０５へ移行し、一致しなかった場合、ステップＳ３０２へ戻る。
【００４４】
ステップＳ３０５において、動きベクトル算出部１１１が、ステップＳ３０３にて取得した評価フレームから被写体の動きベクトルを算出する。そして、ステップＳ３０１で取得した基準ベクトルと比較して、ある所定の範囲内で一致した場合、ステップＳ３０６へ移行し、一致しなかった場合、ステップＳ３０２へ戻る。
【００４５】
ステップＳ３０６において、画像範囲設定部１１２が、ステップＳ２０２にて指定したフレームを開始フレームとし、ステップＳ３０４およびステップＳ３０５にて被写体位置と動きベクトルの一致を検出したフレームを終了フレームとした画像の範囲情報をメモリ１０４へ記憶させる。
【００４６】
ステップＳ３０７において、画像範囲設定部１１２が、ステップＳ３０６にて取得した画像の範囲情報に基づき、ステップＳ２０１にて撮影された動画像から周期動画像となる範囲を切り出し、周期動画像を記録媒体１１９に記憶させる。例えば、図５（ｂ）を参照して、上述した周期画像範囲の検出処理の流れを説明する。
【００４７】
ＯＢＪ１は、ステップＳ２０２で指定した開始フレームの被写体領域であり、テンプレート画像となる。ＯＢＪ２からＯＢＪ１１は、開始フレーム以降のフレームの被写体領域である。すべての被写体領域は、フレーム画角内の同じ位置座標の領域である。ＯＢＪ１の動きベクトルは、ＯＢＪ１とＯＢＪ２のブロックマッチングにより、左斜め下と算出し、基準ベクトルとなる。被写体位置評価は、ＯＢＪ１とパターンマッチングを行った結果である。ＯＢＪ７とＯＢＪ１１が一致している。被写体位置評価で一致した場合、被写体の動きベクトルの評価を行う。ＯＢＪ７の動きベクトルは右斜め上、ＯＢＪ１１の動きベクトルを左斜め下と算出している。ＯＢＪ１１は、被写体位置と動きベクトルがＯＢＪ１と一致しており、ＯＢＪ１１のフレームが終了フレームとなる。
【００４８】
次に、図４を参照して、周期画像範囲を検出した動画像からシネマグラフを生成するフローチャートを説明する。
【００４９】
ステップＳ４０１において、操作部１０５から静止画像とするフレームを指定する指示を受けると、静止画像生成部１２１が、ステップＳ３０７にて生成された周期動画像の中から指定された画像を抽出する。次に、操作部１０５から動きを繰り返す動画の領域である動画領域を指定する指示を受けると、静止画像生成部１２１が、指定された動画領域を固定の画素値に挿げ替え、静止画像としてメモリ１０４へ記憶させる。例えば、図６に示すように、静止画像ＩＭＧ１において指定された動画領域はＲ１であり画素値は緑色に設定される。
【００５０】
ステップＳ４０２において、画像合成部１２２が、ステップＳ４０１にて作成した静止画像とステップＳ３０７にて作成した周期動画像をクロマキー合成し、画像全体の一部が一定の動きをする合成周期動画像を作成する。これにより、周期動画像に対し、図６の静止画像ＩＭＧ１のＲ１領域以外の領域が上書きされることになる。本実施例において、合成はクロマキー合成にて行うが、合成方法はその限りではない。
【００５１】
ステップＳ４０３において、シネマグラフ生成部１２３が、ステップＳ４０２にて生成したクロマキー合成周期動画像から繰り返し自動再生するシネマグラフを作成する。シネマグラフは、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）形式やＡＶＩ（Ａｕｄｉｏ  Ｖｉｄｅｏ  Ｉｎｔｅｒｌｅａｖｅ）形式で作成した動画像をＧＩＦ（Ｇｒａｐｈｉｃｓ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ）へ変換して作成する。本実施例では、シネマグラフをＧＩＦ形式にて作成するが、形式はその限りではない。
【００５２】
上述したシネマグラフを生成する処理は、ステップＳ３０７にて切り出された周期動画像を用いて、本実施例には図示しないパソコンなどの画像処理ソフトウェアを利用して実施しても構わない。
【００５３】
上述したように、被写体位置と動きベクトルの評価を行い類似度の高い２つのフレーム画像のペアを検出することで、素材の動画像から周期性のある期間を自動的かつ迅速に切り出すことができる。これにより、ユーザーは、シネマグラフを作成する際に、素材の動画像から開始フレームと周期性がある動きをしているか確認したい被写体を指定するだけで、素材の動画像から周期性のある期間を検出することが可能になり、手作業が軽減される。
【符号の説明】
【００５４】
１００  シネマグラフ生成機能付きデジタルカメラ本体、１０１  システム制御部、
１０２  ＲＯＭ、１０３  メモリ制御部、１０４  メモリ、１０５  操作部、
１０６  カメラ信号処理部、１０７  カメラ、１１０  被写体位置算出部、
１１１  動きベクトル算出部、１１２  画像範囲設定部、１１３  被写体選択部、
１１７  表示部、１１８  記録媒体制御部、１１９  記録媒体、１２０  内部バス、
１２１  静止画像生成部、１２２  画像合成部、１２３  シネマグラフ生成部
【図１】
2016129281.tif 000003
【図２】
2016129281.tif 000004
【図３】
2016129281.tif 000005
【図４】
2016129281.tif 000006
【図５】
2016129281.tif 000007
【図６】
2016129281.tif 000008
【図７】
2016129281.tif 000009