(57)【要約】【課題】複数の物体の属性および移動経路を一括して再現する要約映像を生成する。【解決手段】所定の箇所を背景とした各物体の移動過程を表す複数の映像を受け、各映像に含まれる各画像において、各物体の像を含む物体領域を特定する特定部と、各映像の先頭からの相対時間が同じ画像を重ね合わせることで生成される要約映像中の各画像において、物体にそれぞれ対応する物体領域が互いに重複している部分を検出する検出部と、各物体領域において、重複している部分から離れている頂点を基準として縮小することで、重複している部分を小さくするための縮小率を求める算出部と、算出部で得られた縮小率で縮小した各物体領域の重心位置が、各物体領域の縮小前の重心位置に近くなるように、物体領域の位置を調整する調整部とを備える。【選択図】      図１
2014110582.tif 000002
【特許請求の範囲】
【請求項１】
所定の箇所を背景とした各物体の移動過程を表す複数の映像を受け、前記各映像に含まれる各画像において、前記各物体の像を含む物体領域を特定する特定部と、
前記各映像の先頭からの相対時間が同じ画像を重ね合わせることで生成される要約映像中の各画像において、前記物体にそれぞれ対応する前記物体領域が互いに重複している部分を検出する検出部と、
前記各物体領域において、前記重複している部分から離れている頂点を基準として縮小することで、前記重複している部分を小さくするための縮小率を求める算出部と、
前記算出部で得られた縮小率で縮小した前記各物体領域の重心位置が、前記各物体領域の前記縮小前の重心位置に近くなるように、前記物体領域の位置を調整する調整部と
を備えたことを特徴とする映像編集装置。
【請求項２】
請求項１に記載の映像編集装置において、
前記算出部は、
前記２つの物体領域の重複する部分が前記２つの物体領域それぞれにおいて占める割合が所定の閾値よりも小さい場合に、前記２つの物体領域それぞれの縮小前後での重心位置の移動距離の短縮よりも、前記重複する部分の面積の縮小を優先して実現するための前記縮小率と前記各物体領域の位置の調整量とを求め、
前記割合の少なくとも一方が前記所定の閾値以上である場合に、前記重複する部分の面積の縮小よりも、前記重心位置の移動距離の短縮を優先して実現するための前記縮小率と前記各物体領域の位置の調整量とを求める
ことを特徴とする映像編集装置。
【請求項３】
請求項２に記載の映像編集装置において、
前記算出部は、
前記重複する部分の面積と所定の第１重みとの積と、前記重心位置の移動距離と所定の第２重みとの積との和を最小化するように、前記縮小率と前記各物体領域の位置についての調整量とを決定する決定部と、
前記２つの物体領域の重複する部分が前記２つの物体領域それぞれにおいて占める割合が所定の閾値よりも小さい場合に、前記第１重みに前記第２重みよりも大きい値を設定し、前記割合の少なくとも一方が前記所定の閾値以上である場合に、前記第２重みに前記第１重みよりも大きい値を設定する設定部とを有する
ことを特徴とする映像編集装置。
【請求項４】
所定の箇所を背景とした各物体の移動過程を表す複数の映像を受け、前記各映像に含まれる各画像において、前記各物体の像を含む物体領域を特定し、
前記各映像の先頭からの相対時間が同じ画像を重ね合わせることで生成される要約映像中の各画像において、前記物体にそれぞれ対応する前記物体領域が互いに重複している部分を検出し、
前記各物体領域において、前記重複している部分から離れている頂点を基準として縮小することで、前記重複している部分を小さくするための縮小率を求め、
求められた縮小率で縮小した前記各物体領域の重心位置が、前記各物体領域の前記縮小前の重心位置に近くなるように、前記物体領域の位置を調整する
ことを特徴とする映像編集方法。
【請求項５】
所定の箇所を背景とした各物体の移動過程を表す複数の映像を受け、前記各映像に含まれる各画像において、前記各物体の像を含む物体領域を特定し、
前記各映像の先頭からの相対時間が同じ画像を重ね合わせることで生成される要約映像中の各画像において、前記物体にそれぞれ対応する前記物体領域が互いに重複している部分を検出し、
前記各物体領域において、前記重複している部分から離れている頂点を基準として縮小することで、前記重複している部分を小さくするための縮小率を求め、
求められた縮小率で縮小した前記各物体領域の重心位置が、前記各物体領域の前記縮小前の重心位置に近くなるように、前記物体領域の位置を調整する
処理をコンピュータに実行させることを特徴とする映像編集プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本件開示は、要約映像を生成するための映像編集装置および映像編集方法並びに映像編集プログラムに関する。
【背景技術】
【０００２】
監視カメラなどで得られた映像から、例えば、人物や車両などの物体の移動過程が撮影されている部分を切り出して集約することで、要約映像を作成する場合がある。
【０００３】
要約映像を作成するための技術として、例えば、物体の動きが要約映像で表される時空間で重ならないように編集する技術が提案されている(特許文献１参照)。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００９−５１６２５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、例えば、店舗の入り口付近を撮影した映像に基づいて、各人物が入店直後にどのように移動するかを解析することで、店舗内の設備などの効果的な配置を検討する場合がある。このような場合に、例えば、営業時間の開始から終了までの期間にわたって店舗の入り口付近を撮影した映像から要約映像を作成する場合がある。
【０００６】
この場合に、各人物がカメラの撮影範囲を通過していく期間の映像を重ね合わせることによって要約映像を作成すれば、多数の人物が移動する様子を一括して提示する要約映像を生成することができる。しかしながら、このような要約映像において、多数の人物の像が重なり合って表示されてしまうと、個々の人物の性別や年齢層などの属性や人物それぞれの仕草などの細かい動作や視線の向きなどを把握するための情報を提示することが困難になってしまう。
【０００７】
一方、物体の動きが重ならないように映像を要約する手法では、複数の物体それぞれの動きを同じ時系列で一覧させるような要約映像を生成することはできない。
【０００８】
本件開示は、複数の物体の属性および移動経路を一括して再現する要約映像を生成可能な映像編集装置および映像編集方法並びに映像編集プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
一つの観点による映像編集装置は、所定の箇所を背景とした各物体の移動過程を表す複数の映像を受け、前記各映像に含まれる各画像において、前記各物体の像を含む物体領域を特定する特定部と、前記各映像の先頭からの相対時間が同じ画像を重ね合わせることで生成される要約映像中の各画像において、前記物体にそれぞれ対応する前記物体領域が互いに重複している部分を検出する検出部と、前記各物体領域において、前記重複している部分から離れている頂点を基準として縮小することで、前記重複している部分を小さくするための縮小率を求める算出部と、前記算出部で得られた縮小率で縮小した前記各物体領域の重心位置が、前記各物体領域の前記縮小前の重心位置に近くなるように、前記物体領域の位置を調整する調整部とを備える。
【００１０】
また、別の観点による映像編集方法は、所定の箇所を背景とした各物体の移動過程を表す複数の映像を受け、前記各映像に含まれる各画像において、前記各物体の像を含む物体領域を特定し、前記各映像の先頭からの相対時間が同じ画像を重ね合わせることで生成される要約映像中の各画像において、前記物体にそれぞれ対応する前記物体領域が互いに重複している部分を検出し、前記各物体領域において、前記重複している部分から離れている頂点を基準として縮小することで、前記重複している部分を小さくするための縮小率を求め、求められた縮小率で縮小した前記各物体領域の重心位置が、前記各物体領域の前記縮小前の重心位置に近くなるように、前記物体領域の位置を調整する。
【００１１】
また、別の観点による映像編集プログラムは、所定の箇所を背景とした各物体の移動過程を表す複数の映像を受け、前記各映像に含まれる各画像において、前記各物体の像を含む物体領域を特定し、前記各映像の先頭からの相対時間が同じ画像を重ね合わせることで生成される要約映像中の各画像において、前記物体にそれぞれ対応する前記物体領域が互いに重複している部分を検出し、前記各物体領域において、前記重複している部分から離れている頂点を基準として縮小することで、前記重複している部分を小さくするための縮小率を求め、求められた縮小率で縮小した前記各物体領域の重心位置が、前記各物体領域の前記縮小前の重心位置に近くなるように、前記物体領域の位置を調整する処理をコンピュータに実行させる。
【発明の効果】
【００１２】
本件開示の映像編集装置および映像編集方法並びに映像編集プログラムによれば、複数の物体の属性および移動経路を一括して再現する要約映像を生成することができる。
【図面の簡単な説明】
【００１３】
【図１】映像編集装置の一実施形態を示す図である。
【図２】映像編集装置に入力される映像の例を示す図である。
【図３】部分映像の例を示す図である。
【図４】物体領域の例を示す図である。
【図５】物体情報保持部の例を示す図である。
【図６】２つの物体領域の相対位置の例を示す図である。
【図７】物体領域の縮小の例を示す図である。
【図８】調整部による縮小後の物体領域の位置を調整する例を示す図である。
【図９】要約映像の各画像に重ね合わせられた物体領域の例を示す図である。
【図１０】映像編集処理のフローチャートの例を示す図である。
【図１１】縮小後の物体領域の位置を調整した例を示す図である。
【図１２】映像編集装置の別実施形態を示す図である。
【図１３】相似変換の例を示す図である。
【図１４】多目的最適化問題の解の例を示す図である。
【図１５】映像編集装置のハードウェア構成例を示す図である。
【図１６】映像編集処理のフローチャートの別例を示す図である。
【図１７】制約条件を生成する処理のフローチャートの例を示す図である。
【図１８】評価式を求める処理のフローチャートの例を示す図である。
【図１９】相似変換のパラメータを算出する処理のフローチャートの例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
【００１５】
図１は、映像編集装置の一実施形態を示す。図１に示した映像編集装置１０は、動き映像抽出装置３から所定の箇所を背景とした各物体の移動過程を表す映像を受け、受け取った各映像を合成することにより要約映像を生成し、生成した要約映像を要約映像記憶装置４に記憶させる。
【００１６】
図１に示した映像蓄積装置１は、例えば、監視カメラなどの撮影装置２によって所定の撮影範囲を撮影することで得られた映像を蓄積している。また、動き映像抽出装置３は、映像蓄積装置１に蓄積された映像から、何らかの物体の動きが捉えられている期間それぞれの映像を抽出し、抽出した各映像を映像編集装置１０に入力する。
【００１７】
図２は、映像編集装置１０に入力される映像の例を示している。図２(Ａ)は、図１に示した映像蓄積装置１に蓄積された映像の撮影範囲ＶＷの例を示している。また、図２(Ｂ)は、映像蓄積装置１に蓄積された映像Ｖの例を示している。
【００１８】
図２(Ａ)に示した撮影範囲ＶＷにおいて、符号Ｄｒは、自動ドアを示しており、また、符号Ｐ１は、それぞれ自動ドアＤｒから室内に進入した人物の例を示している。また、図２(Ａ)において、符号Ｔｒ１は、上述した人物Ｐ１の移動経路を示している。
【００１９】
また、図２(Ｂ)に示した映像Ｖは、上述した人物Ｐ１を含む複数の人物および物体が、図２(Ａ)に示した撮影範囲ＶＷを背景として移動する過程を撮影した映像を含んでいる。
【００２０】
ここで、例えば、図２に示した自動ドアＤｒから進入した人物を含む物体が撮影範囲ＶＷにおいてどのように移動するかを調べるために、映像Ｖから各物体の移動過程を表す映像を抽出し、抽出した映像を合成することで要約映像を生成する場合を考える。
【００２１】
各物体の移動過程を表す映像は、例えば、自動ドアＤｒが開くイベントが撮影されたタイミングを映像Ｖから検出し、検出したタイミングそれぞれから所定の時間τが経過するまでの映像を映像Ｖから抽出することで取得することができる。以下の説明では、「自動ドアＤｒが開くイベント」を「ドアイベント」と称する。
【００２２】
例えば、映像Ｖの撮影期間に、延べＬ個の物体が自動ドアＤｒから室内に進入した場合に、図１に示した動き映像抽出装置３は、ドアイベントごとに時間τの部分を映像Ｖから抽出することで、Ｌ個の映像を取得する。
【００２３】
以下、図２(Ｂ)に示した映像Ｖにおいて、映像Ｖの先頭から見てｋ番目にドアイベントが撮影された時刻Ｔｋから時間τの部分を、ｋ番目に検出された物体Ｐｋの移動過程を表す部分映像Ｖｐｋと称する。例えば、図１に示した人物Ｐ１が、映像Ｖの先頭から見て最初に上述したドアイベントが撮影された時刻Ｔ１に自動ドアＤｒから室内に進入した場合に、時刻Ｔ１から時間τの間の部分は、人物Ｐ１の移動過程を表す部分映像Ｖｐ１である。なお、以下の説明において、各物体の移動過程を表す映像として、映像Ｖから抽出された部分映像を総称する場合は、部分映像Ｖｐと称する。
【００２４】
上述した部分映像Ｖｐ１，Ｖｐｋを含む各部分映像Ｖｐは、いずれも、ドアイベントが発生したタイミングを基準として、自動ドアＤｒから進入してきた物体が、撮影範囲ＶＷを背景として移動する過程を表す映像である。すなわち、各部分映像Ｖｐは、所定の箇所を背景として移動する各物体に対応し、当該物体の移動過程を所定のタイミングを基準として表す映像の一例である。なお、各部分映像Ｖｐを映像Ｖから抽出する際に検出するイベントは、上述したドアイベントに限らず、各物体の移動する過程に共通して含まれるイベントであればよく、例えば、各物体が所定の箇所を通過するイベントを部分映像Ｖｐの抽出の契機としてもよい。
【００２５】
図３は、部分映像Ｖｐの例を示している。なお、図３に示した要素のうち、図２に示した要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００２６】
図３において、符号Ｇ１＿ｍは、部分映像Ｖｐ１に含まれる画像のうち、画像番号ｍの画像を示している。同様に、符号Ｇｋ＿ｍは、部分映像Ｖｐｋに含まれる画像のうち、画像番号ｍの画像を示している。これらの画像Ｇ１＿ｍ，Ｇｋ＿ｍのように、部分映像Ｖｐにおいて同一の画像番号で示される画像は、いずれも各部分映像Ｖｐの先頭から同じ時間の経過後に撮影された画像である。
【００２７】
図３に示した部分映像Ｖｐｋは、ｋ番目のドアイベントの際に自動ドアＤｒから室内に進入してきた物体として、人物Ｐｋが撮影されている場合を示している。
【００２８】
また、図３において、符号Ｖｓは、各部分映像Ｖｐを後述するようにして重畳することで得られる要約映像の例を示しており、符号Ｇｓ＿ｍは、要約映像Ｖｓに含まれる画像のうち、画像番号ｍの画像を示している。なお、図３では、画像Ｇ１＿ｍ，Ｇｋ＿ｍ，Ｇｓ＿ｍ以外は、画像の図示を省略している。
【００２９】
図３に示した要約映像Ｖｓに含まれる画像Ｇｓ＿ｍは、部分映像Ｖｐ１，Ｖｐｋにそれぞれ含まれる画像番号ｍの画像から抽出された人物Ｐ１，Ｐｋの部分を、背景を表す画像にそれぞれ重ね合わせた例である。このように、各映像Ｖｐ中の各画像に含まれる移動中の物体の部分を、それぞれの画像における位置を維持しながら重ね合わせた画像を生成し、これらの画像から要約映像Ｖｓすることができる。このようにして生成された要約映像Ｖｓに含まれる各画像は、各部分映像Ｖｐの同じ画像番号の画像からそれぞれ抽出された物体の部分を、抽出元の画像における位置に対応して含んでいる。したがって、このような要約映像Ｖｓによれば、例えば、自動ドアＤｒが開いたタイミングを基準として、人物Ｐ１，Ｐｋを含む各物体が移動する様子を一括して表現することができる。
【００３０】
つまり、異なるタイミングで撮影された各部分映像Ｖｐについて、上述した重ね合わせを含む編集処理を施すことにより、人物Ｐ１，Ｐｋを含む各物体が移動する様子を一覧可能な要約映像Ｖｓを生成することができる。なお、上述した重ね合わせを含む編集処理で生成される要約映像Ｖｓの長さは、図２に示したように、各部分映像Ｖｐの長さと同等の時間、即ち時間τである。
【００３１】
本件開示の映像編集装置１０は、上述した重ね合わせを含む編集処理による要約映像Ｖｓの生成を実現するために、図１に示すように、特定部１１と、物体情報保持部１２と、検出部１３と、算出部１４と、縮小部１５と、調整部１６とを含んでいる。なお、要約映像記憶装置４は、予め、図２(Ｂ)に示した各部分映像Ｖｐに含まれる画像と同数のｎ枚の背景を表す画像を保持していてもよい。また、映像編集装置１０は、図２(Ｂ)に示した各部分映像Ｖｐの画像それぞれから抽出した物体を表す画像に、図７および図８を用いて説明する編集処理を施した上で、要約映像記憶装置４に保持された各画像に重畳することで要約映像Ｖｓを生成してもよい。以下の説明では、要約映像Ｖｓに含まれる各画像を生成するために要約映像記憶装置４に予め用意されたｎ枚の背景を表す画像を、要約映像Ｖｓの各画像と称する場合もある。
【００３２】
図１に示した特定部１１は、上述した動き映像抽出装置３から、所定の箇所を背景とした各物体の移動過程を表す映像として上述した部分映像Ｖｐを受け、各部分映像Ｖｐに含まれる各画像において、各物体の像を含む物体領域を特定する。ここで、各部分映像Ｖｐは、時間τの間に撮影されたｎ枚の画像をそれぞれ含んでおり、これらの各画像は、要約映像記憶装置４に保持されたｎ枚の背景を表す画像にそれぞれ対応付けられている。特定部１１は、各部分映像Ｖｐに含まれるｎ枚の画像それぞれにおいて、例えば、図４に示すように、当該画像に含まれる物体の像を囲む矩形の領域を物体領域として特定する。
【００３３】
図４は、物体領域の例を示している。なお、図４に示した各要素のうち、図２、図３に示した要素と同等のものについては、同一の符号を付して示し、その説明を省略する。
【００３４】
図４において、符号Ｇ１＿１，Ｇ１＿２，…，Ｇ１＿ｍ，…，Ｇ１＿ｎ−１，Ｇ１＿ｎは、それぞれ映像Ｖｐ１に含まれる画像番号１，２，…，ｍ，…，ｎ−１，ｎの画像を示している。なお、図４においては、画像Ｇ１＿ｍ以外の画像の図示を省略している。また、符号Ｒｍ１は、画像Ｇ１＿ｍに含まれる人物Ｐ１の像を囲む矩形の領域であり、図１に示した特定部１１によって特定された物体領域の一例である。
【００３５】
また、図４に示した座標軸ｘ、ｙは、上述した画像Ｇ１＿ｍの左上の頂点を原点とする座標系を示している。このような座標系ｘ、ｙを用いて、上述した物体領域Ｒ１ｍの左上の頂点Ｑ１＿ｍの位置を示すとともに、物体領域Ｒ１ｍの幅ｗ１ｍおよび高さｈ１ｍを示すことで、特定部１１は、物体領域Ｒ１ｍの位置とサイズを特定してもよい。同様にして、特定部１１は、映像Ｖｐ１に含まれる各画像において、それぞれの画像に含まれる人物Ｐ１の像を囲む矩形の領域を当該画像における物体領域として特定する。なお、図４の例では、画像Ｇ１＿ｍ以外の各画像において特定部１１が特定した物体領域の図示を省略している。
【００３６】
更に、特定部１１は、上述したＶｐ１以外の各部分映像Ｖｐに含まれる各画像において、同様にして、それぞれの画像に含まれる物体の像を囲む矩形の領域を当該画像における物体領域として特定する。以下の説明において、特定部１１により、各部分映像Ｖｐに含まれる各画像において特定された物体領域を総称する際には、単に物体領域と称する。
【００３７】
また、特定部１１は、各部分映像Ｖｐに含まれる各画像において特定した物体領域の位置およびサイズを示す情報を含む物体情報を、図５に示すような物体情報保持部１２を介して検出部１３に渡してもよい。
【００３８】
図５は、物体情報保持部１２の例を示している。図５に示した物体情報保持部１２は、各物体に対応する部分映像Ｖｐそれぞれにおいて同一の画像番号で示される画像ごとに、当該画像において特定された物体領域の位置およびサイズを含む物体情報を保持している。
【００３９】
図５に示した物体情報保持部１２において、物体ＩＤ(ID:IDentifier)は、図１に示した動き映像抽出装置３によって抽出された各部分映像Ｖｐにより移動過程が示されている物体を識別する情報であり、個々の部分映像Ｖｐを識別する情報に相当する。
【００４０】
図５において、例えば、画像番号１と人物Ｐ１を示す物体ＩＤ「Ｐ１」との組み合わせに対応して示した座標(Ｘ１１，Ｙ１１)は、部分映像Ｖｐ１の画像番号１の画像において特定された物体領域の左上の頂点の位置を示している。また、上述した組み合わせに対応するサイズを示す情報(ｗ１１，ｈ１１)は、上述した物体領域の幅および高さを示している。同様に、図５において、画像番号１と人物Ｐｋを示す物体ＩＤ「Ｐｋ」との組み合わせに対応して示した座標(Ｘｋ１，Ｙｋ１)は、部分映像Ｖｐｋの画像番号１の画像における物体領域の位置の左上の頂点の位置を示している。また、上述した組み合わせに対応するサイズを示す情報(ｗｋ１，ｈｋ１)は、上述した物体領域の幅および高さを示している。
【００４１】
また、図５において、例えば、画像番号ｍと上述した物体ＩＤ「Ｐ１」との組み合わせに対応して示した座標(Ｘ１ｍ，Ｙ１ｍ)は、図４に示した部分映像Ｖｐ１の画像番号ｍの画像Ｇ１＿ｍでの物体領域Ｒ１ｍの左上の頂点の位置を示している。また、上述した組み合わせに対応するサイズを示す情報(ｗ１ｍ，ｈ１ｍ)は、上述した物体領域Ｒ１ｍの幅および高さを示している。同様に、図５において、画像番号ｍと上述した物体ＩＤ「Ｐｋ」との組み合わせに対応して示した座標(Ｘｋｍ，Ｙｋｍ)は、部分映像Ｖｐｋの画像番号ｍの画像における物体領域の左上の頂点の位置を示している。また、上述した組み合わせに対応するサイズを示す情報(ｗｋｍ，ｈｋｍ)は、上述した物体領域の幅および高さを示している。
【００４２】
また、物体情報保持部１２は、各部分映像Ｖｐの各画像において特定した物体領域の画像データを、画像番号と物体ＩＤとの組み合わせに対応して保持しておき、例えば、後述するように、図１に示した縮小部１５による縮小処理に供してもよい。なお、物体情報保持部１２は、各物体領域の画像データとして、例えば、個々の物体領域に含まれる物体の像以外の背景を表す部分を透明な画像として表す情報を保持してもよい。
【００４３】
図１に示した検出部１３は、上述した物体情報保持部１２に各画像番号に対応して保持された物体情報に基づいて、要約映像Ｖｓの対応する画像番号で示される画像に重ね合わる際に、重複する部分を持つ複数の物体領域を検出する。
【００４４】
検出部１３は、例えば、物体情報保持部１２に各画像番号に対応して保持された複数の物体情報から選択した２つの物体情報でそれぞれ示される物体領域が重複する部分を持つか否かを次のようにして判定してもよい。
【００４５】
例えば、図６に示す２つの物体領域Ｒａ、Ｒｂが重複する部分を持つか否かを判定する場合を考える。
【００４６】
図６は、２つの物体領域Ｒａ、Ｒｂの相対位置の例を示している。図６において、符号Ｑａは、物体領域Ｒａの位置を示す左上の頂点を示し、符号Ｑａ’は、頂点Ｑａの対角頂点を示している。また、符号Ｑｂは、物体領域Ｒｂの位置を示す左上の頂点を示し、符号Ｑｂ’は、頂点Ｑｂの対角頂点を示している。また、座標軸ｘ，ｙは、例えば、画像の左上の隅を原点とする座標系を示している。
【００４７】
図６の例では、物体領域Ｒａの頂点Ｑａ及び頂点Ｑａ’の位置は、それぞれ座標（ｘａ，ｙａ）及び座標(ｘａ＋ｗａ，ｙａ＋ｈａ)である。同様に、物体領域Ｒｂの頂点Ｑｂ及び頂点Ｑｂ’の位置は、それぞれ座標（ｘｂ，ｙｂ）及び座標(ｘｂ＋ｗｂ，ｙｂ＋ｈｂ)である。
【００４８】
したがって、図６に示したような２つの物体領域Ｒａ，Ｒｂが重複する部分を持つ条件は、式(１)のように表すことができる。
ｘａ＜ｘｂのときｘｂ＋ｗｂ＞ｘａ＋ｗａ
ｘａ＞ｘｂのときｘｂ＋ｗｂ＜ｘａ＋ｗａ
かつ
ｙａ＜ｙｂのときｙｂ＋ｈｂ＞ｙａ＋ｈａ
ｙａ＞ｙｂのときｙｂ＋ｈｂ＜ｙａ＋ｈａ        ・・・（１）
つまり、図１に示した検出部１３は、各画像番号に対応して物体情報保持部１２に保持された複数の物体情報から選択した物体情報のペアの中から、上述した式(１)を満たすペアを見つけることにより、重複する部分を持つ物体領域のペアを検出することができる。
【００４９】
算出部１４は、検出部１３で検出された物体領域のペアに対応する２つの物体情報を受け取り、これらの物体情報に基づいて、重複する部分の面積を最小化するように、２つの物体領域をそれぞれの頂点の一つを基準点として縮小する際の縮小率を求める。
【００５０】
図１に示した算出部１４は、検出部１３から受け取った２つの物体情報に基づいて、各物体領域の頂点の中から重複している部分から最も離れている頂点を特定し、特定した頂点を縮小の基準点として選択してもよい。また、算出部１４は、例えば、図７に示すように、２つの物体領域それぞれについて特定した縮小の基準点に向かう方向への縮小により、２つの物体領域が重複する部分がなくなるような縮小率を算出してもよい。
【００５１】
図７は、物体領域の縮小例を示している。図７において、符号Ｒａ，Ｒｂは、それぞれ物体領域を示しており、符号Ｒｄにより網掛けで示した部分は、２つの物体領域Ｒａ，Ｒｂが重複している部分を示している。また、符号Ｕａは、物体領域Ｒａについての縮小の基準点を示し、符号Ｕｂは、物体領域Ｒｂについての縮小の基準点を示す。
【００５２】
図７に示した例では、物体領域Ｒａの縮小の基準点Ｕａは、物体領域Ｒａを示す矩形の左上の頂点であり、図６に示した頂点Ｑａに相当する。一方、物体領域Ｒｂの縮小の基準点Ｕｂは、物体領域Ｒｂを示す矩形の右下の頂点であり、図６に示した頂点Ｑｂ’に相当する。また、図７において、座標軸ｘ、ｙは、例えば、画像の左上の隅を原点とする座標系を示している。
【００５３】
図７において、符号Ｒａｓで示した太い破線の領域は、物体領域Ｒａについて特定された縮小の基準点Ｕａに向かって、縮小率αａで物体領域Ｒａを縮小することよって得られる縮小後の物体領域を示している。また、符号Ｒｂｓで示した太い実線の領域は、物体領域Ｒｂについて特定された縮小の基準点Ｕｂに向かって、縮小率αｂで物体領域Ｒｂを縮小することよって得られる縮小後の物体領域を示している。
【００５４】
図７に示した縮小後の物体領域Ｒａｓ，Ｒｂｓが重複する部分を持つ場合に、重複している部分の面積は、上述した縮小率αａおよび縮小率αｂを用いて、例えば、式(２)のように表すことができる。式(２)において、符号Ｓａｂは、縮小後の物体領域Ｒａｓ，Ｒｂｓが重複している部分の面積を示している。また、式(２)において、符号Ｘａ，Ｙａは、物体領域Ｒａについて特定された縮小の基準点ＵａのＸ，Ｙ座標をそれぞれ示し、符号Ｘｂ，Ｙｂは、物体領域Ｒｂについて特定された縮小の基準点ＵｂのＸ，Ｙ座標をそれぞれ示している。また、式(２)において、符号ｗａは、縮小前の物体領域Ｒａの幅を示し、符号ｈａは、縮小前の物体領域Ｒａの高さを示している。同様に、符号ｗｂは、縮小前の物体領域Ｒｂの幅を示し、符号ｈｂは、縮小前の物体領域Ｒｂの高さを示している。なお、縮小後の物体領域Ｒａｓ，Ｒｂｓが重複する部分を持つ条件は、上述した縮小の基準点Ｕａ，Ｕｂの位置が、式(２)に含まれる２つの因数の値をともに正とする範囲の座標値で示されることである。
Sab＝((αa・wa＋αb・wb)−|Xa−Xb|)((αa・ha＋αb・hb)−|Ya−Yb|)  ・・・(２)
つまり、図１に示した算出部１４は、重複する部分が検出された物体領域のペアを図７に示した物体領域Ｒａ，Ｒｂとし、それぞれに対応する物体情報に基づいて、上述した式(２)で表される面積Ｓａｂを最小化する縮小率αａ，αｂを算出すればよい。
【００５５】
なお、式(２)から縮小率αａ，αｂを算出する際に、算出部１４は、例えば、勾配法などを利用した繰り返し演算などの手法を利用してもよい。また、算出部１４は、式(２)に代えて、２つの物体領域Ｒａ，Ｒｂに共通の縮小率αを設定することで単純化した式(３)を解析的に解くことにより、例えば、面積Ｓａｂを数値０とするような縮小率αを求めてもよい。
Sab＝(α(wa＋wb)−|Xa−Xb|)(α(ha＋hb)−|Ya−Yb|)    ・・・(３)
ここで、物体領域Ｒａ，Ｒｂを図７に示した基準点Ｕａ，Ｕｂを基準として縮小することで重複を解消する場合は、例えば、各物体領域Ｒａ，Ｒｂの重心Ｃａ，Ｃｂを基準として等方的に縮小する場合に比べて、縮小後の各物体領域の大きさを維持することができる。つまり、算出部１４が、各物体領域の頂点の中で重複する部分から最も離れた頂点を縮小の基準点として選択することで、縮小後の各物体領域の大きさを維持しながら物体領域の重複を解消することが可能な縮小率を求めることができる。
【００５６】
このようにして得られた各物体領域に対応して算出された縮小率に基づいて、図１に示した縮小部１５は、物体情報保持部１２に個々の物体領域に対応して保持された画像データに対する縮小処理を実行することで、縮小後の物体領域の画像を生成する。
【００５７】
ところで、２つの物体領域Ｒａ，Ｒｂを互いに最も離れた頂点を縮小の基準点として縮小した後の物体領域Ｒａｓ，Ｒｂｓの重心Ｃａｓ，Ｃｂｓの位置は、図７に示したように、縮小前の物体領域Ｒａ，Ｒｂの重心Ｃａ，Ｃｂとは異なっている。
【００５８】
図７の例では、縮小後の物体領域Ｒａｓの重心Ｃａｓは、縮小前の物体領域Ｒａの重心Ｃａに比べて、他方の物体領域Ｒｂから遠ざかる方向に移動している。同様に、縮小後の物体領域Ｒｂｓの重心Ｃｂｓは、縮小前の物体領域Ｒｂの重心Ｃｂに比べて、他方の物体領域Ｒａから遠ざかる方向に移動している。
【００５９】
このため、図１に示した縮小部１５で得られた縮小後の物体領域Ｒａｓ，Ｒｂｓの画像を、上述した縮小の基準点Ｕａ，Ｕｂの位置に基づいて要約映像Ｖｓの対応する画像に重ね合わせると、部分映像Ｖｐにおける元の位置からずれた位置に物体を表示させてしまう。
【００６０】
図１に示した映像編集装置１０は、このようなズレを低減するために、調整部１６を含んでいる。
【００６１】
調整部１６は、縮小部１５で得られた縮小後の各物体領域Ｒａｓ，Ｒｂｓの画像を要約映像Ｖｓの画像に重ね合わせる位置を、図８に示すように、縮小前の当該物体領域Ｒａ，Ｒｂに対応する範囲において調整する。調整部１６がこのような調整を行うことで、縮小前後での当該物体領域の重心の移動距離を最小化することができる。
【００６２】
図８は、調整部１６により縮小後の物体領域の位置を調整する例を示している。なお、図８に示した要素のうち、図７に示した要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００６３】
図８(Ａ)は、縮小部１５によって縮小後の２つの物体領域Ｒａｓ，Ｒｂｓが、それぞれの縮小の基準点Ｕａ，Ｕｂの対角の頂点を含む辺のうちｙ軸に平行な辺で接する場合に、調整部１６が、これらの物体領域Ｒａｓ，Ｒｂｓの位置を調整する例を示している。
【００６４】
図８(Ａ)において、符号Ｒａｃで示した網掛けの領域は、縮小後の物体領域Ｒａｓ，Ｒｂｓが重複する部分の面積を０に維持しながら縮小後の物体領域Ｒａｓを移動させることができる可動範囲を示している。同様に、符号Ｒｂｃで示した網掛けの領域は、縮小後の物体領域Ｒａｓ，Ｒｂｓが重複する部分の面積を０に維持しながら縮小後の物体領域Ｒｂｓを移動させることができる可動範囲を示している。
【００６５】
図８(Ａ)に示した可動範囲Ｒａｃは、縮小前の物体領域Ｒａを上述したｙ軸に平行な辺を含む直線Ｌ１を境界として分割して得られる２つの領域のうち、縮小の基準点Ｕａに近い側の領域の一部に相当する。同様に、可動範囲Ｒｂｃは、縮小前の物体領域Ｒｂを上述したｙ軸に平行な辺を含む直線Ｌ１を境界として分割して得られる２つの領域のうち、縮小の基準点Ｕｂに近い側の領域の一部に相当する。
【００６６】
また、図８(Ｂ)は、縮小部１５によって縮小後の２つの物体領域Ｒａｓ，Ｒｂｓが、それぞれの縮小の基準点Ｕａ，Ｕｂの対角の頂点を含む辺のうちｘ軸に平行な辺で接する場合に、調整部１６が、これらの物体領域Ｒａｓ，Ｒｂｓの位置を調整する例を示している。
【００６７】
図８(Ｂ)において、符号Ｒａｃで示した網掛けの領域は、縮小後の物体領域Ｒａｓ，Ｒｂｓが重複する部分の面積を０に維持しながら縮小後の物体領域Ｒａｓを移動させることができる可動範囲を示している。同様に、符号Ｒｂｃで示した網掛けの領域は、縮小後の物体領域Ｒａｓ，Ｒｂｓが重複する部分の面積を０に維持しながら縮小後の物体領域Ｒｂｓを移動させることができる可動範囲を示している。
【００６８】
図８(Ｂ)に示した可動範囲Ｒａｃは、縮小前の物体領域Ｒａを上述したｘ軸に平行な辺を含む直線Ｌ２を境界として分割して得られる２つの領域のうち、縮小の基準点Ｕａに近い側の領域の一部に相当する。同様に、可動範囲Ｒｂｃは、縮小前の物体領域Ｒｂを上述したｘ軸に平行な辺を含む直線Ｌ２を境界として分割して得られる２つの領域のうち、縮小の基準点Ｕｂに近い側の領域の一部に相当する。
【００６９】
また、図８(Ｃ)は、縮小部１５によって縮小後の２つの物体領域Ｒａｓ，Ｒｂｓが、それぞれの縮小の基準点Ｕａ，Ｕｂの対角の頂点において接する場合に、調整部１６が、これらの物体領域Ｒａｓ，Ｒｂｓの位置を調整する例を示している。
【００７０】
図８(Ｃ)において、符号Ｒａｃで示した網掛けの領域は、縮小後の物体領域Ｒａｓ，Ｒｂｓが重複する部分の面積を０に維持しながら縮小後の物体領域Ｒａｓを移動させることができる可動範囲を示している。同様に、符号Ｒｂｃで示した網掛けの領域は、縮小後の物体領域Ｒａｓ，Ｒｂｓが重複する部分の面積を０に維持しながら縮小後の物体領域Ｒｂｓを移動させることができる可動範囲を示している。
【００７１】
図８(Ｃ)に示した可動範囲Ｒａｃの一方は、縮小後の物体領域Ｒａｓ，Ｒｂｓの接点を通るｙ軸に平行な直線Ｌ３を境界として縮小前の物体領域Ｒａを分割して得られる２つの領域のうち、縮小の基準点Ｕａに近い側の領域の一部に相当する。また、可動範囲Ｒａｃの他方は、上述した接点を通るｘ軸に平行な直線Ｌ４を境界として縮小前の物体領域Ｒａを分割して得られる２つの領域のうち、縮小の基準点Ｕａに近い側の領域の一部に相当する。同様に、可動範囲Ｒｂｃの一方は、上述した直線Ｌ３を境界として分割して得られる２つの領域のうち、縮小の基準点Ｕｂに近い側の領域の一部に相当する。また、可動範囲Ｒｂｃの他方は、上述した直線Ｌ４を境界として分割して得られる２つの領域のうち、縮小の基準点Ｕｂに近い側の領域の一部に相当する。
【００７２】
図１に示した調整部１６は、縮小後の２つの物体領域Ｒａｓ，Ｒｂｓの相対位置に基づいて、図８(Ａ)〜(Ｃ)に示した可動範囲のいずれかを選択し、選択した可動範囲において、縮小後の物体領域Ｒａｓ、Ｒｂｓを要約映像Ｖｓの画像に重畳する位置を調整する。
【００７３】
例えば、調整部１６は、図８(Ａ)に示した縮小後の物体領域Ｒａｓをｙ軸方向に移動させ、重心Ｃａｓのｙ座標を重心Ｃａのｙ座標と一致させるように調整した位置で、縮小後の物体領域Ｒａｓを要約映像Ｖｓの対応する画像に重畳してもよい。これにより、縮小前の重心Ｃａｓと重心Ｃａとの距離を最小化するように、縮小後の物体領域Ｒａｓを要約映像Ｖｓの対応する画像に重畳することができる。同様に、調整部１６は、例えば、縮小後の物体領域Ｒｂｓを要約映像Ｖｓの対応する画像に重畳する位置を、重心Ｃｂｓのｙ座標を重心Ｃｂのｙ座標と一致するように調整することで、重心Ｃｂｓと重心Ｃｂとの距離を最小化することができる。このような調整は、物体領域Ｒａｓと物体領域Ｒｂｓとの間で重複する部分の面積を０に維持したままで実行することができる。
【００７４】
つまり、調整部１６が、縮小後の各物体領域Ｒａｓ，Ｒｂｓについて上述した位置の調整を行うことにより、物体領域を互いに重複させずに、要約映像Ｖｓの各画像での物体の位置と抽出元の部分映像Ｖｐの各画像での位置とのズレを低減することができる。なお、調整部１６は、要約映像Ｖｓの対応する画像への重ね合わせが完了した物体領域に対応して、上述した調整後の位置を示す情報を用いて、物体情報保持部１２内の対応する物体情報を更新してもよい。
【００７５】
上述した調整部１６を有する映像編集装置１０によれば、例えば、図９に示すように、個別に撮影された２つの物体の移動経路が近接している場合にも、要約映像において、これらの物体を重複させずに、しかもそれぞれの移動経路を忠実に再現することができる。
【００７６】
図９は、要約映像Ｖｓの各画像に重ね合わせられた物体領域の例を示している。なお、図９において、符号ｔは、要約映像Ｖｓにおける時間経過を表す時間軸を示している。また、時間軸ｔにおいて、符号Ｔｉ，Ｔｊ，Ｔｋは、それぞれ画像番号ｉ、画像番号ｊ、画像番号ｋの画像に対応するタイミングを示している。
【００７７】
図９において、符号Ｒａｉ，Ｒａｊ，Ｒａｋで示した細い破線の領域は、物体Ａの移動過程を表す部分映像Ｖｐに含まれる画像番号ｉ、ｊ、ｋで示される各画像から抽出された物体領域を示している。同様に、符号Ｒｂｉ，Ｒｂｊ，Ｒｂｋで示した細い実線の領域は、物体Ｂの移動過程を表す部分映像Ｖｐに含まれる画像番号ｉ、ｊ、ｋで示される各画像から抽出された物体領域を示している。
【００７８】
図９の例は、上述したタイミングｉからタイミングｋまでの期間に含まれる各タイミングに対応する要約映像の画像に、物体Ａに対応する物体領域と物体Ｂに対応する物体領域とが重複する部分を持って重畳される場合を示している。
【００７９】
また、図９において、符号Ｒａｓｉ，Ｒａｓｊ，Ｒａｓｋで示した太い破線の領域は、上述した物体領域Ｒａｉ，Ｒａｊ，Ｒａｋを物体領域Ｒｂｉ，Ｒｂｊ，Ｒｂｋから最も離れた頂点を基準として縮小して得られる縮小後の物体領域をそれぞれ示している。同様に、符号Ｒｂｓｉ，Ｒｂｓｊ，Ｒｂｓｋで示した太い実線の領域は、上述した物体領域Ｒｂｉ，Ｒｂｊ，Ｒｂｋを物体領域Ｒａｉ，Ｒａｊ，Ｒａｋから最も離れた頂点を基準として縮小して得られる縮小後の物体領域をそれぞれ示している。
【００８０】
また、図９において、符号Ｇａは、縮小前の物体領域Ｒａｉ，Ｒａｊ，Ｒａｋの重心Ｃａｉ，Ｃａｊ，Ｃａｋで示される物体Ａの本来の軌跡を示している。同様に、符号Ｇｂは、縮小前の物体領域Ｒｂｉ，Ｒｂｊ，Ｒｂｋの重心Ｃｂｉ，Ｃｂｊ，Ｃｂｋで示される物体Ｂの本来の軌跡を示している。
【００８１】
図９に示したように、縮小後の物体領域Ｒａｓｉ，Ｒａｓｊ，Ｒａｓｋそれぞれの重心Ｃａｓｉ，Ｃａｓｊ，Ｃａｓｋで示される軌跡Ｇａｓは、上述した物体Ａの本来の軌跡Ｇａからずれてしまっている。同様に、縮小後の各物体領域Ｒｂｓｉ，Ｒｂｓｊ，Ｒｂｓｋの重心Ｃｂｓｉ，Ｃｂｓｊ，Ｃｂｓｋで示される軌跡Ｇｂｓもまた、物体Ｂの本来の軌跡Ｇｂからずれてしまっている。
【００８２】
これに対して、上述した位置の調整を適用した後の縮小後の物体領域Ｒａｓｉ’，Ｒａｓｊ’，Ｒａｓｋ’の重心Ｃａｓｉ’，Ｃａｓｊ’，Ｃａｓｋ’は、調整前の重心Ｃａｓｉ，Ｃａｓｊ，Ｃａｓｋに比べて元の重心Ｃａｉ，Ｃａｊ，Ｃａｋに近い位置にある。同様に、上述した位置の調整を適用した後の縮小後の物体領域Ｒｂｓｉ’，Ｒｂｓｊ’，Ｒｂｓｋ’の重心Ｃｂｓｉ’，Ｃｂｓｊ’，Ｃｂｓｋ’は、調整前の重心Ｃａｓｉ，Ｃａｓｊ，Ｃａｓｋに比べて元の重心Ｃｂｉ，Ｃｂｊ，Ｃｂｋに近い位置にある。
【００８３】
同様に、画像番号ｉと画像番号ｊとの間の各画像番号および画像番号ｊと画像番号ｋとの間の各画像番号で示される要約映像の画像に、物体Ａおよび物体Ｂに対応する物体領域を重畳する際に、上述した縮小処理および位置の調整処理を適用することができる。これにより、要約映像の画像番号ｉから画像番号ｋまでの各画像において、物体Ａおよび物体Ｂに対応する縮小後の物体領域を縮小前の重心位置からのズレを最小化しながら重ね合わせることができる。
【００８４】
したがって、重心Ｃａｓｉ’，Ｃａｓｊ’，Ｃａｓｋ’を含む、縮小処理および位置の調整処理を適用した物体領域の重心の軌跡により、調整前の重心Ｃａｓｉ，Ｃａｓｊ，Ｃａｓｋで示される軌跡Ｇａｓよりも、物体Ａの本来の軌跡Ｇａに近い軌跡を示すことができる。同様に、重心Ｃｂｓｉ’，Ｃｂｓｊ’，Ｃｂｓｋ’を含む、縮小処理および位置の調整処理を適用した物体領域の重心の軌跡により、調整前の重心Ｃｂｓｉ，Ｃｂｓｊ，Ｃｂｓｋで示される軌跡Ｇｂｓよりも、物体Ｂの本来の軌跡Ｇｂにより近い軌跡を示すことができる。なお、図９においては、縮小処理および位置の調整処理を適用した物体領域Ｒａｓｉ’，Ｒａｓｊ’，Ｒａｓｋ’の重心Ｃａｓｉ’，Ｃａｓｊ’，Ｃａｓｋ’で示される軌跡は、上述した軌跡Ｇａとほぼ一致するため、図示を省略している。同様に、縮小処理および位置の調整処理を適用した物体領域Ｒｂｓｉ’，Ｒｂｓｊ’，Ｒｂｓｋ’の重心Ｃｂｓｉ’，Ｃｂｓｊ’，Ｃｂｓｋ’で示される軌跡も、上述した軌跡Ｇｂとほぼ一致するため、図９における図示を省略している。
【００８５】
同様の縮小処理と位置の調整処理とを、重複する部分を持って要約映像Ｖｓの各画像に重ね合わせられる２つの物体領域ごとに適用することにより、各部分映像Ｖｐに撮影された物体を互いに重複させることなく、各物体の元の位置を保存することができる。
【００８６】
ここで、多数の物体それぞれの移動過程に対応する部分映像から抽出された物体領域を要約映像Ｖｓの各画像に重畳する際に、互いの重複を解消することで、例えば、人物の表情や服装および仕草などの詳細な属性を示す情報を把握することが可能となる。また、元の部分映像Ｖｐの各画像における物体の位置を保存することで、要約映像Ｖｓの各画像における各物体領域の軌跡により、各物体の移動経路を忠実に再現することができる。
【００８７】
つまり、図１に示した本件開示の映像編集装置１０によれば、複数の物体の移動過程をそれぞれ撮影した部分映像から、各物体の詳細な属性と実際に近い移動経路とを一括して再現する要約映像Ｖｓを生成し、表示装置５に表示させることができる。
【００８８】
このようにして得られた要約映像Ｖｓによれば、上述したドアイベントのような共通するイベントの発生以降における複数の人物のふるまいを、ドアイベントのタイミングから時系列に従って一覧できるように提示することができる。
【００８９】
このような要約映像Ｖｓの提示を受けた利用者は、例えば、年齢層や性別が異なる人物ごとの行動の傾向や移動経路の違いとともに、多数の人物が共通して視線を向ける方向などを直感的に把握することが可能となる。多数の人物の移動に見られる流れを示す情報とともに、属性ごとに異なる人物の行動の傾向や多くの人物に共通する行動などを示す情報は、例えば、大規模小売店舗や遊園地などの各コーナーの配置やディスプレイの効果を評価する際に、有用な情報である。したがって、本件開示の映像編集装置１０は、デパートを含む大規模小売店舗や遊園地やゲームセンターを含むアミューズメント施設などの設計や改装を行う分野において有用である。また、本件開示の映像編集装置１０で生成される要約映像は、企業などのオフィスの設計および改装や、公園や駅、地下道などの公共施設の設計および改装にも利用することが可能である。
【００９０】
また、本件開示の映像編集方法は、図１に示した映像編集装置１０が、動き映像抽出装置３から受け取った複数の部分映像Ｖｐに対して、図１０に示すフローチャートに従う映像編集処理を実行することによって実現してもよい。
【００９１】
図１０は、映像編集処理のフローチャートの例を示している。図１０に示したステップ３０１〜ステップ３１０は、図１に示した映像編集装置１０に含まれる特定部１１、検出部１３、算出部１４、縮小部１５および調整部１６によって実行される。
【００９２】
まず、特定部１１は、各部分映像Ｖｐに含まれる各画像において、背景に対して移動している物体を表している部分を物体領域として特定し、特定した物体領域を示す物体情報を物体情報保持部１２に保持させる(ステップ３０１)。また、特定部１１は、各物体情報に対応して、物体領域の画像データとして、例えば、個々の物体領域に含まれる物体の像以外の背景を表す部分を透明な画像として表す情報を物体情報保持部１２に保持させてもよい。
【００９３】
次に、検出部１３は、例えば、要約映像Ｖｓの各画像を画像番号１の画像から順に処理対象の画像として選択し、処理対象の画像を示す画像番号に対応して物体情報保持部１２に保持された物体情報の中から順次に処理対象の物体領域を選択する(ステップ３０２)。検出部１３は、例えば、図５に示した物体情報保持部１２に選択された画像番号に対応して保持された物体領域の中から、物体ＩＤに従って順次に処理対象の物体領域を選択してもよい。
【００９４】
次いで、検出部１３は、処理対象の物体領域に対応する物体情報と他の物体領域に対応する物体情報が、上述した式(１)で示した関係を満たすか否かに基づいて、処理対象の物体領域が他の物体領域と重複するか否かを判定する(ステップ３０３)。
【００９５】
処理対象の物体領域と重複する部分を持つ物体領域が見つからなかった場合に（ステップ３０３の否定判定(ＮＯ)）、映像編集装置１０は、処理対象の物体領域の画像データをそのまま要約映像Ｖｓの対応する画像に重畳する(ステップ３０４)。例えば、図１に示した検出部１３は、処理対象の物体領域と重複する部分を持つ物体領域を検出しなかった場合に、その旨を調整部１６に通知することで、調整部１６に上述したステップ３０４の処理を実行させてもよい。調整部１６は、重複する部分が検出されない旨の検出結果を受け取ったときに、物体情報保持部１２から処理対象の物体領域の画像データを読み出し、読み出した画像データを要約映像記憶装置４に格納された対応する画像に重畳するように合成してもよい。
【００９６】
一方、処理対象の物体領域と重複する部分を持つ物体領域が検出された場合に（ステップ３０３の肯定判定(ＹＥＳ)）、映像編集装置１０は、ステップ３０５〜ステップ３０８の処理を実行する。
【００９７】
ステップ３０３の肯定判定ルートにおいて、検出部１３は、処理対象の物体領域と検出した物体領域とに対応する物体情報のペアを算出部１４に渡し、ステップ３０５の処理を実行させる。
【００９８】
算出部１４は、検出部１３から受け取った物体情報と上述した式(２)又は式(３)とに基づいて、処理対象の物体領域および検出された物体領域のペアについて、これらの物体領域で重複する部分の面積を最小化するための縮小率をそれぞれ算出する(ステップ３０５)。また、算出部１４は、ステップ３０５の処理で算出した縮小率および縮小の基準点を示す情報を縮小部１５に渡す。
【００９９】
縮小部１５は、物体情報保持部１２に上述した２つの物体領域に対応して保持された画像データで表される物体領域の画像を、図７に示したように、算出部１４から受け取った基準点を基準として、指定された縮小率で縮小する処理を実行する(ステップ３０６)。
【０１００】
このようにして得られた２つの縮小後の物体領域について、調整部１６は、図８、図９を用いて説明したようにして、元の物体領域からの重心の移動が最小となるように、縮小後の物体領域の位置を調整する(ステップ３０７)。調整部１６は、例えば、図８に示した可動範囲の中で、縮小後の各物体領域の重心を元の重心に近づける調整をした際の移動量を求め、求めた移動量を各物体領域の縮小の基準点の位置を示す座標に適用することで、調整後の基準点の位置をそれぞれ特定してもよい。
【０１０１】
次いで、調整部１６は、上述したようにして特定した調整後の基準点の位置に基づいて、縮小部１５から受け取った縮小後の物体領域それぞれの画像を、要約映像Ｖｓの処理対象の画像に重ね合わせる(ステップ３０８)。調整部１６は、例えば、図１に示した要約映像記憶装置４内の上述した画像番号に対応する画像において、ステップ３０７の処理で特定した座標で示される位置に縮小後の物体領域の画像を重畳することで、要約映像Ｖｓの処理対象の画像への重畳を実現してもよい。また、調整部１６は、ステップ３０７で特定した縮小の基準点の位置に基づいて、物体情報保持部１２に保持された対応する物体情報を更新してもよい。例えば、調整部１６は、上述した位置の調整を適用した後の基準点の座標および適用した縮小率に基づいて、処理対象の物体領域について位置を調整した後の左上頂点の座標と当該物体領域の縮小後の幅および高さを算出することができる。このように、算出した左上頂点の座標および縮小後の幅および高さを用いて物体情報を書き換えておけば、新たな物体領域に注目して以降の処理を行う際に、更新された物体情報を用いて物体領域間の重複の有無を判断することができる。
【０１０２】
上述したようにして、ステップ３０３の肯定判定ルートの処理あるいは否定判定ルートの処理が完了した後に、映像編集装置１０は、処理対象の画像を示す画像番号に対応する物体情報の中に未処理の物体情報があるか否かを判定する(ステップ３０９)。
【０１０３】
未処理の物体情報がある場合に(ステップ３０９の肯定判定(ＹＥＳ))、映像編集装置１０は、ステップ３０２の処理に戻り、未処理の物体情報で示される物体領域の一つを処理対象の物体領域としてステップ３０３以下の処理を実行する。
【０１０４】
その後、処理対象の画像を示す画像番号に対応して物体情報保持部１２に保持された全ての物体情報についてのステップ３０２〜ステップ３０９の処理が完了したときに、映像編集装置１０は、ステップ３０９の否定判定ルートに従ってステップ３１０の処理に進む。
【０１０５】
ステップ３１０において、映像編集装置１０は、要約映像Ｖｓの全ての画像番号で示される画像について、上述したステップ３０２〜ステップ３０９の処理が完了したか否かを判定する。要約映像Ｖｓに含まれるｎ枚の画像の中に、まだ生成されていない画像がある場合に、映像編集装置１０は、全ての画像についての処理が完了していないと判断する（ステップ３１０の否定判定(ＮＯ)）。この場合に、映像編集装置１０は、ステップ３０２の処理に戻り、未生成の画像の中から処理対象の画像を選択し、選択した画像を示す画像番号に対応して物体情報保持部１２に保持された物体情報について、上述したステップ３０３以下の処理を実行する。
【０１０６】
画像番号１〜ｎのそれぞれに対応して物体情報保持部１２に保持された物体情報について上述した処理を実行することにより、各画像番号で示される要約映像Ｖｓの画像に各部分映像Ｖｐの対応する画像から抽出された物体領域を重畳する処理が完了する。このようにして、全ての画像番号で示される画像についての処理が完了したときに（ステップ３１０の肯定判定(ＹＥＳ)）、映像編集装置１０は、要約映像Ｖｓの生成が完了したと判断し、映像編集処理を終了する。
【０１０７】
以上に説明した本件開示の映像編集方法によれば、各画像番号で示される要約映像Ｖｓの画像に各部分映像Ｖｐの対応する画像から抽出された物体領域を重畳する際に、重複を解消するように縮小するとともに、元の位置からのズレを最小化することができる。
【０１０８】
これにより、部分映像Ｖｐ複数の物体の移動過程を、複数の物体の移動過程をそれぞれ撮影した部分映像から、各物体の全体の像で表される詳細な属性とともに各物体の移動経路とを一括して再現する要約映像Ｖｓを生成することができる。
【０１０９】
ところで、上述したように、２つの物体領域の重複する部分を完全に解消するように縮小する場合には、例えば、重複する部分の割合が大きい場合に、縮小後の物体領域の大きさが元の物体領域の半分程度にまで縮小されてしまうことがある。
【０１１０】
ここで、要約映像Ｖｓに含まれる各画像に重畳される個々の物体領域が元の物体領域に比べて小さくなりすぎると、個々の物体の細部を再現することが困難になるため、各物体領域に適用する縮小率には所定の下限を設定することが望ましい。また、要約映像Ｖｓにおいて、各物体の像が時系列的に連続している印象を利用者に与えるためには、要約映像Ｖｓに含まれる各画像において同じ物体ＩＤで示される物体の像の大きさが大きく変動しないように各物体領域の縮小率を決定することが望ましい。
【０１１１】
また、図８に示したように縮小後の物体領域の位置を互いに重複させない範囲で調整する手法では、やはり、重複する部分の割合が大きい場合に、図１１に示すように、縮小後の物体領域の大きさに比べて無視できない大きさの重心位置のズレが残ることがある。
【０１１２】
図１１は、縮小後の物体領域の位置を調整した例を示している。なお、図１１に示した要素のうち、図７に示した要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１１３】
図１１は、物体領域Ｒａ，Ｒｂを頂点Ｕａ，Ｕｂをそれぞれ基準点として重複する部分がなくなるまで縮小し、縮小後の物体領域Ｒａｓ，Ｒｂｓを重複させない範囲で移動させ、元の重心Ｃａ，Ｃｂの位置に縮小後の重心Ｃａｓ，Ｃｂｓを近づけた例を示している。
【０１１４】
この場合に、例えば、物体領域Ｒａに適用する縮小率αａを２／３とすると、図１１に細い破線で示した物体領域Ｒａの重心Ｃａと、太い破線で示した縮小及び位置調整後の物体領域Ｒａｓの重心との距離は、縮小後の物体領域Ｒａｓの幅の１／４に匹敵する。
【０１１５】
２つの部分映像Ｖｐからそれぞれ抽出された物体領域が互いに重複する部分の割合は、例えば、これらの部分映像Ｖｐにそれぞれ撮影された物体の移動経路が、部分映像Ｖｐそれぞれの先頭から同じ時間の経過後に交差する場合などに大きくなる。そして、このような２つの部分映像Ｖｐから生成される要約映像Ｖｓでは、要約映像Ｖｓの先頭から上述した時間の経過後の画像において、図１１に示したような大きな重心位置のズレが残るために、各物体の移動経路を忠実に再現できなくなってしまう。
【０１１６】
一方、重複する部分が残ることを許容する方向にも移動可能な範囲を広げれば、２つの物体領域間で重複する部分の割合が大きい場合でも、上述したような重心位置のズレを低減し、各物体の移動経路を忠実に再現することが可能である。
【０１１７】
ここで、図１１に示した２つの物体領域Ｒａ，Ｒｂのそれぞれを縮小するとともに元の物体領域Ｒａ，Ｒｂの範囲内で移動させる操作は、基準点Ｕａ，Ｕｂを原点として、回転を伴わない相似変換を行う操作として捉えることができる。つまり、図１に示した縮小部１５および調整部１６の機能は、例えば、縮小率と基準点Ｕａ，Ｕｂの移動量とをパラメータとする相似変換処理によって実現してもよい。
【０１１８】
また、相似変換後の２つの物体領域が重複する部分の面積よりも相似変換前後での重心の移動量を重視して最小化するように相似変換のパラメータを決定すれば、２つの物体領域間で重複する部分の割合が大きい場合でも、移動経路の再現性を向上できる。
【０１１９】
以下では、図１２〜図１９を用いて、物体領域の重複を許容する重ね合わせを行うことで、２つの物体領域間で重複する部分の割合が大きい場合でも、各物体の移動経路を忠実に再現することが可能な要約映像を生成するために好適な実施形態について説明する。
【０１２０】
図１２は、映像編集装置１０の別実施形態を示している。なお、図１２に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１２１】
図１２に示した映像編集装置１０は、図１に示した縮小部１５および調整部１６に代えて、相似変換処理部１７を含んでいる。また、図１１に示した算出部１４は、割合算出部１４１と、設定部１４２と、条件生成部１４３と、決定部１４４とを含んでいる。
【０１２２】
算出部１４は、検出部１３によって重複する部分が検出された２つの物体領域ごとに、物体情報保持部１２に保持された物体情報に基づいて、後述するようにして、各物体領域に適用する縮小率および基準点の移動量を含む相似変換のパラメータを算出する。
【０１２３】
相似変換処理部１７は、検出部１３によって重複する部分が検出された２つの物体領域に適用する縮小率および基準点の移動量を含むパラメータを算出部１４から受け取り、受け取ったパラメータに基づいて各物体領域に図１３のような相似変換処理を行う。
【０１２４】
図１３は、相似変換の例を示している。なお、図１３に示した要素のうち、図６および図７に示した要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１２５】
図１３において、符号Ｒａｔ、Ｒｂｔは、それぞれ物体領域Ｒａ，Ｒｂに対して相似変換を適用して得られる変換後の物体領域を示し、符号Ｒｄで示した網掛けの領域は、変換後の物体領域Ｒａｔ，Ｒｂｔの重複する部分を示している。また、符号Ｕａｔ，Ｕｂｔは、相似変換後の物体領域Ｒａｔ，Ｒｂｔにおいて、変換前の物体領域Ｒａ，Ｒｂについて特定した基準点Ｕａ，Ｕｂに対応する変換後の基準点を示している。また、符号αａ，αｂは、２つの物体領域Ｒａ，Ｒｂを互いに最も離れた頂点を基準点Ｕａ，Ｕｂとして縮小する際の縮小率を示している。
【０１２６】
また、図１３において、符号ｄｘａ，ｄｙａは、変換前の基準点Ｕａから変換後の基準点Ｕａｔへの変化量を示し、符号ｄｘｂ，ｄｙｂは、変換前の基準点Ｕｂから変換後の基準点Ｕｂｔへの変化量を示している。また、図１３において、符号Ｄｘは、変換後の基準点Ｕａ，ＵｂのＸ座標の差分を示し、符号Ｄｙは、変換後の基準点Ｕａ，ＵｂのＹ座標の差分を示している。
【０１２７】
図１３に示した変換後の物体領域Ｒａｔ，Ｒｂｔの重複する部分Ｒｄの面積は、上述したＸ座標の差分ＤｘおよびＹ座標の差分Ｄｙと縮小率αａおよび縮小率αｂとを用いて、例えば、式(４)のように表すことができる。なお、式(４)において、符号Ｓｄは、上述した重複する部分Ｒｄの面積を示しており、また、符号ｗａは、物体領域Ｒａの幅を示し、符号ｈａは、物体領域Ｒａの高さを示している。同様に、符号ｗｂは、物体領域Ｒｂの幅を示し、符号ｈｂは、物体領域Ｒｂの高さを示している。また、Ｘ座標の差分ＤｘおよびＹ座標の差分Ｄｙは、上述したＸ軸方向の変化量ｄｘａ，ｄｘｂおよびＹ軸方向の変化量ｄｙａ，ｄｙｂを用いて、それぞれ式(５)、(６)のように表すことができる。なお、式(５)において、符号Ｘａ，Ｙａは、物体領域Ｒａの基準点ＵａのＸ，Ｙ座標をそれぞれ示し、符号Ｘｂ，Ｙｂは、物体領域Ｒｂの基準点ＵｂのＸ，Ｙ座標をそれぞれ示している。
Sd＝((αa・wa＋αb・wb)−Ｄｘ)((αa・ha＋αb・hb)−Ｄｙ)  ・・・(４)
Dx＝|Xb−Xa|−|dxa|−|dxb|                             ・・・(５)
Dy＝|Yb−Ya|−|dya|−|dyb|                             ・・・(６)
また、変換前の物体領域Ｒａの重心Ｃａと変換後の物体領域Ｒａｔの重心Ｃａｔとの距離、即ち、変換の前後での重心の移動距離Ｄａは、縮小率αａと物体領域Ｒａの幅ｗａと高さｈａとを用いて式(７)のように表すことができる。同様に、変換前の物体領域Ｒｂの重心Ｃｂと変換後の物体領域Ｒｂｔの重心Ｃｂｔとの距離、即ち、変換の前後での重心の移動距離Ｄｂは、縮小率αｂおよび物体領域Ｒｂの幅ｗｂと高さｈｂとを用いて式(８)のように表すことができる。
【０１２８】
【数１】
2014110582.tif 000003
上述した面積Ｓｄと、重心の移動距離Ｄａ，Ｄｂとをともに最小化するパラメータは、式(４)、式(７)および式(８)のそれぞれを目的関数とする多目的最適化問題を解くことによって求めることができる。なお、上述した多目的最適化問題を解く際に、例えば、物体領域Ｒａ，Ｒｂに適用する縮小率αａ，αｂについての上限および下限を示す制約条件を設定することで、各物体領域Ｒａ，Ｒｂが縮小されすぎないようにすることができる。
【０１２９】
ここで、式(４)、式(７)および式(８)で示される目的関数に用いられた６個の変数のうち、例えば、物体領域Ｒｂに関する変数である縮小率αｂと基準点Ｕｂの移動量ｄｘｂ、ｄｙｂを固定値として、上述した多目的最適化問題の単純化を図ってもよい。このような単純化により、物体領域Ｒｂに関する変数を含む６個の変数を用いた３つの目的関数を最適化する問題を、物体領域Ｒａに関する３個の変数を用いた２つの目的関数、即ち式(４)および式(７)で示される目的関数を最適化する問題として解くことができる。
【０１３０】
物体領域Ｒａに関する変数である縮小率αａと基準点Ｕａの移動量ｄｘａ、ｄｙａを用いて式(４)で示される面積Ｓｄと式(７)で示される重心の移動距離Ｄａとの双方を最小化する問題は、例えば勾配法などを用いて解くことができる。また、上述した面積Ｓｄと重心の移動距離Ｄａを最小化する問題を解くことにより、図１４に示すようなパレート解を得ることができる。
【０１３１】
図１４は、面積Ｓｄと重心の移動距離Ｄａの最小化を目的とした多目的最適化問題の解の例を示している。図１４に示した横軸は、面積Ｓｄの大きさを示し、縦軸は、重心の移動距離Ｄａの大きさを示している。
【０１３２】
図１４に示した符号Ｖは、上述した多目的最適化問題のパレート解の集合を表すグラフの例を示している。図１４に示したグラフＶから分かるように、面積Ｓｄとして小さい値を与える解は重心の移動距離Ｄａとして大きな値を与える傾向があり、逆に、重心の移動距離Ｄａに小さい値を与える解は面積Ｓｄに大きな値を与える傾向がある。
【０１３３】
そこで、面積Ｓｄと重心の移動距離Ｄａとを用いて式(９)で表される評価式により、図１４に示したグラフＶから最適解を求めることを考える。なお、式(９)において、符号Ｃは任意の定数を示し、符号ω１，ω２は、それぞれ面積Ｓｄに与えられる第１重みおよび重心の移動距離Ｄａに与えられる第２重みを示している。
ω１・Ｓｄ＋ω２・Ｄａ＋Ｃ＝０          ・・・（９）
図１４に示した符号Ｌ１は、上述した式(９)において第２重みω２に第１重みω１よりも大きい値を設定した評価式を示すグラフの例である。このような評価式によれば、グラフＬ１とグラフＶとの接点Ｚｃ１を与える縮小率αａと基準点Ｕａの移動量ｄｘａ、ｄｙａとして、重心の移動距離Ｄａを面積Ｓｄよりも重視した場合の最適解を特定することができる。
【０１３４】
また、図１４に示した符号Ｌ２は、上述した式(９)において第１重みω１に第２重みω２よりも大きい値を設定した評価式を示すグラフの例である。このような評価式によれば、グラフＬ２とグラフＶとの接点Ｚｃ２を与える縮小率αａと基準点Ｕａの移動量ｄｘａ、ｄｙａとして、重心の移動距離Ｄａよりも面積Ｓｄを重視した場合の最適解を特定することができる。
【０１３５】
同様にして、物体領域Ｒｂに関する変数である縮小率αｂと基準点Ｕｂの移動量ｄｘｂ，ｄｙｂを用いて式(４)で示される面積Ｓｄと式(８)で示される重心の移動距離Ｄｂとの双方を最小化する問題を解くことができる。
【０１３６】
図１２に示した算出部１４は、上述した評価式を生成するために、割合算出部１４１と設定部１４２とを含んでいる。
【０１３７】
割合算出部１４１は、検出部１３によって重複する部分が検出された２つの物体領域に対応して物体情報保持部１２に保持された物体情報に基づいて、２つの物体領域それぞれにおいて重複する部分が占める割合を算出する。例えば、割合算出部１４１は、各物体領域の面積それぞれに対する重複する部分の面積の比をそれぞれ求め、得られた比の値を上述した割合を示す情報として設定部１４２に渡してもよい。なお、割合算出部１４１は、各物体領域の幅あるいは高さなど各物体領域の大きさを示す値と、重複する部分の大きさを示す値との比を求め、得られた比の値を上述した割合を示す情報として設定部１４２に渡してもよい。
【０１３８】
また、設定部１４２は、割合算出部１４１で得られた比の値の少なくとも一方が所定の閾値以上である場合に、式(９)の第２重みω２に第１重みω１よりも大きい値を設定した評価式を生成する。一方、割合算出部１４１で得られた比の値の双方が所定の閾値よりも小さい場合に、設定部１４２は、式(９)の第１重みω１に第２重みω２よりも大きい値を設定した評価式を生成する。上述した所定の閾値は、例えば、図８に示したように、重複する部分がなくなるように各物体領域を縮小した場合に、縮小前後での重心位置のｘ軸方向あるいはｙ軸方向の移動量が許容できる上限の値となるような割合を示す値を設定することが望ましい。
【０１３９】
上述した割合算出部１４１と設定部１４２とによれば、２つの物体領域で重複する部分の割合が大きい場合に、重心の移動距離を重視した最適解を得る評価式を生成し、他の場合に、重複する部分の面積を重視した最適解を得る評価式を生成することができる。なお、それぞれの場合に式(９)に設定する第１重みω１，第２重みω２の値は、例えば、過去に撮影された映像から要約映像を生成する際に、様々な値を持つ第１重みω１，第２重みω２を設定した評価式を用いた実験によって予め決定しておくことが望ましい。
【０１４０】
また、図１２に示した算出部１４は、各物体領域に適用する縮小率についての制約条件を生成するために、条件生成部１４３を含んでいる。
【０１４１】
条件生成部１４３は、入力される縮小率の最小値αｍｉｎと、１つ前の画像番号で示される画像についての処理において、同一の物体に対応する物体領域に適用した縮小率とに基づいて、２つの物体領域に適用する縮小率それぞれについての制約条件を生成する。条件生成部１４３は、上述した最小値αｍｉｎを用いて、例えば、式(１０)に示すような制約条件を生成してもよい。なお、式(１０)において、符号βａ，βｂは、１つ前の画像番号で示される画像についての処理で、図１３に示した２つの物体領域Ｒａ，Ｒｂに対応する物体ＩＤの像として重ね合わせられた２つの物体領域に適用した縮小率を示している。また、符号κは、０以上１未満の値を持つ所定の係数を示している。
ｍａｘ(αｍｉｎ，(１−κ)・βａ)≦αａ≦ｍｉｎ(１，(１＋κ)・βａ)  
ｍａｘ(αｍｉｎ，(１−κ)・βｂ)≦αｂ≦ｍｉｎ(１，(１＋κ)・βｂ)・・・(１０)
上述した所定の係数κの値は、例えば、連続する画像番号で示される画像に含まれる同一の物体ＩＤに対応する物体領域の大きさについて許容できる変動の割合を示す値を設定することが望ましい。また、縮小率の最小値αｍｉｎの値は、例えば、平均的な物体領域の大きさと物体の属性を把握可能な限界の大きさとの比に基づいて予め設定しておくことが望ましい。
【０１４２】
式(１０)に示すような制約条件によれば、各物体領域に適用する縮小率の下限を上述した最小値αｍｉｎ以上とするとともに、前の画像の対応する物体領域に適用した縮小率からの変化量を抑制することができる。
【０１４３】
このようにして条件生成部１４３で生成された制約条件と、上述した割合算出部１４１と設定部１４２とで生成された評価式とは、図１２に示した決定部１４４に渡される。
【０１４４】
決定部１４４は、条件生成部１４３で得られた制約条件の範囲で、上述した式(４)および式(７)あるいは式(４)および式(８)を最小化する最適化問題についてのパレート解をそれぞれ求める。
【０１４５】
決定部１４４は、２つの物体領域Ｒａ，Ｒｂに対応して物体情報保持部１２に保持された物体情報に基づいて、上述した式(４)、式(７)、式(８)に含まれる基準点Ｕａ，Ｕｂの座標を求めることができる。また、決定部１４４は、図１４を用いて説明したように、２つの物体領域それぞれについてのパレート解の集合を示すグラフと上述した評価式を示すグラフとの接点をそれぞれ求めることで、これらの物体領域についての相似変換のパラメータを特定する。決定部１４４は、例えば、上述した接点として求めたパレート解を与える縮小率と基準点の移動量とを、相似変換のパラメータとして相似変換処理部１７に渡せばよい。
【０１４６】
また、決定部１４４は、上述したようにして相似変換のパラメータを求めた際に、各物体領域の縮小率を物体情報保持部１２に渡し、処理中の画像を示す画像番号に対応して保持された各物体領域に対応する物体情報に追加してもよい。このような物体情報の追加を行った場合には、以降の画像番号で示される画像についての処理の際に、上述した条件生成部１４３は、物体情報保持部１２を参照することにより、前の画像において対応する物体領域に適用された縮小率を取得することができる。
【０１４７】
上述した算出部１４によれば、検出部１３によって検出された２つの物体領域で重複する部分の割合が大きい場合に、重複する部分の面積よりも、相似変換の前後における重心の移動量を重視した最適化により、相似変換のパラメータを決定することができる。
【０１４８】
このようなパラメータを用いた相似変換を相似変換処理部１７が実行することで、２つの物体の移動経路が交差する場合のように、２つの物体領域が重複する部分が大きくなる場合にも、重心位置のズレを抑制しながら重複する部分の面積を最小化することができる。
【０１４９】
つまり、上述した相似変換で得られた変換後の各物体領域を、要約映像記憶装置４に保持された対応する画像に重ね合わせることで、要約映像Ｖｓの各画像において、重心位置のズレを抑制しながら重複する部分の面積を最小化することができる。
【０１５０】
すなわち、図１２に示したような算出部１４および相似変換処理部１７を含む本件開示の映像編集装置１０によれば、２つの物体の移動経路が交差する場合にも、各物体の移動経路を再現しながら、各物体の像についての重複を低減した要約映像Ｖｓを生成できる。
【０１５１】
更に、図１２に示したように、算出部１４に条件生成部１４３を設けることにより、決定部１４４によって求められる相似変換のパラメータに、各物体領域に適用する縮小率について所望の制約条件を設定することができる。
【０１５２】
例えば、条件生成部１４３により、所望の制約条件として、各物体領域に適用する縮小率を最小値αｍｉｎ以上とする旨を示す条件を含む制約条件を設定することにより、要約映像Ｖｓの各画像に重畳される各物体の像の大きさを一定値以上に維持することができる。これにより、要約映像Ｖｓに基づいて、各物体の移動過程の全体を通じて、それぞれの物体の属性を把握可能とすることができる。
【０１５３】
また、条件生成部１４３により、式(１０)に示したように、前の画像において適用された縮小率からの変動を抑制する条件を含む制約条件を設定することにより、要約映像Ｖｓに含まれる各画像における各物体の像の大きさに関する変動を抑制することができる。これにより、各物体の像が時系列的に連続している印象を利用者に与える要約映像Ｖｓを提供することができる。
【０１５４】
以上に説明した本件開示の映像編集装置１０は、例えば、パーソナルコンピュータなどのコンピュータ装置を用いて実現することができる。
【０１５５】
図１５は、映像編集装置１０のハードウェア構成の一例を示している。なお、図１５に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１５６】
コンピュータ装置２０は、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、汎用インタフェース２４と、表示制御部２５と、光学ドライブ装置２６とを含んでいる。図１５に例示したプロセッサ２１と、メモリ２２と、ハードディスク装置２３と、汎用インタフェース２４と、表示制御部２５と、光学ドライブ装置２６は、バスを介して互いに接続されている。また、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、汎用インタフェース２４とは、映像編集装置１０に含まれている。
【０１５７】
上述した光学ドライブ装置２６は、光ディスクなどのリムーバブルディスク２７を装着可能であり、装着したリムーバブルディスク２７に記録された情報の読出および記録を行う。また、表示制御部２５は、表示装置５に接続されており、プロセッサ２１は、例えば、表示制御部２５を介して表示装置５に映像編集装置１０によって生成された要約映像Ｖｓを渡すことにより、要約映像Ｖｓを利用者に提示することができる。
【０１５８】
コンピュータ装置２０は、上述した映像編集処理に先立って、汎用インタフェース２４を介して部分映像抽出装置３から複数の部分映像Ｖｐを受け取り、受け取った部分映像Ｖｐをハードディスク装置２３に設けた部分映像蓄積部２３１に蓄積しておいてもよい。また、コンピュータ装置２０は、図示しない映像蓄積装置に蓄積された映像から、各物体が所定の撮影範囲を背景として移動する過程を撮影した箇所を各物体に対応する部分映像として抽出し、抽出した部分映像を部分映像蓄積部２３１に蓄積してもよい。
【０１５９】
また、図１５に示したハードディスク装置２３において、要約映像保持部２３２は、図１に示した要約映像記憶装置４に相当する要素であり、映像編集処理の開始に先立って、上述した各部分映像Ｖｐに含まれる画像の枚数分の背景となる画像を保持している。
【０１６０】
また、ハードディスク装置２３の容量の一部を物体情報保持部１２に割り当てることもできる。なお、ハードディスク装置２３に設けられた物体情報保持部１２は、各物体領域に対応する物体情報の一部として、後述する処理で求められる縮小率を示す情報を保持することが望ましい。また、物体情報保持部１２は、上述した各部分映像Ｖｐの各画像から抽出された物体領域の画像を、例えば、各物体情報の一部として保持していてもよい。
【０１６１】
図１５に例示したメモリ２２は、コンピュータ装置２０のオペレーティングシステムとともに、プロセッサ２１が上述した映像編集処理を実行するためのアプリケーションプログラムを格納している。なお、上述した映像編集処理を実行するためのアプリケーションプログラムは、例えば、光ディスクなどのリムーバブルディスク２７に記録して頒布することができる。そして、このリムーバブルディスク２７を光学ドライブ装置２６に装着して読み込み処理を行うことにより、映像編集処理を実行するためのアプリケーションプログラムを、メモリ２２およびハードディスク装置２３に格納させてもよい。また、インターネットなどのネットワークに接続する通信装置(図示せず)を介して、映像編集処理を実行するためのアプリケーションプログラムをメモリ２２およびハードディスク装置２３に読み込ませることもできる。
【０１６２】
図１６は、映像編集処理のフローチャートの別例を示している。なお、図１６に示したステップのうち、図１０に示したステップと同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１６３】
図１６に示したフローチャートは、図１０に示したステップ３０５からステップ３０８の処理に代えて、ステップ３１１〜ステップ３１５の処理を行うことにより、図１２に示した算出部１４および相似変換処理部１７の機能を実現している。つまり、図１６に示したステップ３１１〜ステップ３１５を含む各処理は、映像編集処理のためのアプリケーションプログラムに含まれる処理の一例であり、本件開示の映像編集方法および映像編集プログラムの実施形態の一例である。また、上述したステップ３１１〜ステップ３１５を含む各処理は、プロセッサ２１によって実行される。
【０１６４】
プロセッサ２１は、ステップ３０３の肯定判定ルート(ＹＥＳ)において、処理対象の物体領域と当該物体領域との間で重複する部分を持つ別の物体領域とのペアについて、ステップ３１１〜ステップ３１５の処理を実行する。なお、ステップ３０３の処理の際に、処理対象の物体領域について、上述した式(１)を満たす２つ以上の物体領域を検出した場合に、プロセッサ２１は、重複する部分の面積が最も小さい物体領域のペアから順にステップ３１１〜ステップ３１５の処理を実行してもよい。また、以下の説明において、重複する部分を持つ物体領域のペアのうち、図１３に示した座標系において、左上の頂点のｙ座標が小さいほうの物体領域を物体領域Ｒａと称し、他方を物体領域Ｒｂと称する。
【０１６５】
ステップ３１１において、プロセッサ２１は、２つの物体領域Ｒａ，Ｒｂそれぞれについて、図１７に示すステップ３２１〜ステップ３２７の処理を実行することにより、各物体領域に適用する縮小率に関する制約条件を生成する。
【０１６６】
図１７は、制約条件を生成する処理のフローチャートの例を示している。図１７に示したステップ３２１〜ステップ３２７の処理は、図１６に示したステップ３１１の処理の一例であり、これらの各ステップの処理は、図１５に示したプロセッサ２１によって実行される。
【０１６７】
プロセッサ２１は、まず、物体領域Ｒａ，Ｒｂに対応する物体ＩＤに基づいて、図１５に示したハードディスク装置２３に設けられた物体情報保持部１２を参照することで、一つ前の画像において対応する物体領域に適用された縮小率を取得する(ステップ３２１)。例えば、画像番号ｊの画像が処理対象の画像である場合に、プロセッサ２１は、画像番号ｊ−１に対応して保持された物体情報のうち、処理対象の２つの物体領域Ｒａ，Ｒｂを示す物体ＩＤに対応する物体情報を参照する。ここで、画像番号ｊの画像についての処理に先立って、画像番号ｊ−１の画像についての処理が完了していれば、後述するようにして、各物体ＩＤに対応する物体情報には、対応する物体領域に対してそれぞれ適用された縮小率を示す情報が追加されている。したがって、プロセッサ２１は、画像番号ｊ−１と上述した物体ＩＤとに対応して物体情報保持部１２に保持された物体情報を参照することで、処理対象の物体領域Ｒａ，Ｒｂに対応する２つの物体領域について前の画像の処理で適用された縮小率を取得できる。以下の説明では、処理対象の物体領域Ｒａ，Ｒｂに対応する２つの物体領域について前の画像の処理で適用された縮小率を、それぞれ縮小率βａ，βｂと称する。なお、画像番号１の画像が処理対象である場合に、プロセッサ２１は、ステップ３２１の処理を省略し、縮小率βａ，βｂに数値「１」を設定してもよい。
【０１６８】
次いで、プロセッサ２１は、ステップ３２１の処理において取得した縮小率βａ，βｂに基づいて、縮小率の変動についての許容範囲を示す上限値および下限値を算出する（ステップ３２２）。プロセッサ２１は、例えば、上述した縮小率βａ，βｂに対して、上述した所定の係数κを用いて表される係数(κ＋１)、(κ―１)を乗じることで、縮小率の変動についての許容範囲の上限値および下限値をそれぞれ求めてもよい。
【０１６９】
次に、プロセッサ２１は、ステップ３２２の処理で得られた許容範囲の下限値のそれぞれが、予め設定された縮小率の最小値αｍｉｎ以上であるか否かを判定する（ステップ３２３）。
【０１７０】
上述した許容範囲の下限値の少なくとも一方が最小値αｍｉｎ未満である場合に（ステップ３２３の否定判定）、プロセッサ２１は、最小値αｍｉｎ未満とされた下限値を最小値αｍｉｎに置き換える(ステップ３２４)。プロセッサ２１がステップ３２４の処理を実行することにより、各物体領域Ｒａ，Ｒｂに適用する縮小率の範囲の下限を、所定の最小値αｍｉｎによって制限することができる。
【０１７１】
一方、上述したステップ３２３の肯定判定ルート(ＹＥＳ)では、プロセッサ２１は、ステップ３２４の処理を省略する。ステップ３２３の肯定判定ルートと否定判定ルートの処理は、ステップ３２５において合流する。
【０１７２】
ステップ３２５において、プロセッサ２１は、ステップ３２２の処理で得られた許容範囲の上限値のそれぞれが、予め設定された縮小率の最大値である数値「１」以下であるか否かを判定する。
【０１７３】
上述した許容範囲の上限値の少なくとも一方が最大値「１」以上である場合に（ステップ３２５の否定判定）、プロセッサ２１は、最大値「１」以上とされた上限値を最大値「１」に置き換える(ステップ３２６)。プロセッサ２１がステップ３２６の処理を実行することにより、各物体領域Ｒａ，Ｒｂに適用する縮小率の範囲の上限を、所定の最大値「１」によって制限することができる。
【０１７４】
一方、上述したステップ３２５の肯定判定ルート(ＹＥＳ)では、プロセッサ２１は、ステップ３２６の処理を省略する。ステップ３２５の肯定判定ルートと否定判定ルートの処理は、ステップ３２７において合流する。
【０１７５】
ステップ３２７において、プロセッサ２１は、上述したようにして各物体領域Ｒａ，Ｒｂについて決定された縮小率の上限および下限を示す制約条件を出力し、制約条件を生成する処理を終了する。なお、プロセッサ２１は、上述したステップ３２３およびステップ３２４の処理と、ステップ３２５およびステップ３２６の処理とを、図１７に示した順序とは逆の順序で実行してもよい。
【０１７６】
ステップ３２１〜ステップ３２７の処理をプロセッサ２１が実行することにより、上述した式(１０)に示すような制約条件を生成し、図１６においてステップ３１３に示すパラメータの算出処理で得られる縮小率の値を制限することができる。
【０１７７】
なお、プロセッサ２１は、図１６のステップ３１１において、上述したステップ３２１〜ステップ３２７の処理の代わりに、縮小率について、上述した最小値αｍｉｎと最大値「１」で示される許容範囲を設定する制約条件を設定してもよい。また、プロセッサ２１は、次に述べるステップ３１２の処理の後、あるいはステップ３１２の処理と並行して、上述した縮小率についての制約条件を生成する処理を実行してもよい。
【０１７８】
図１６に示したステップ３１２において、プロセッサ２１は、２つの物体領域Ｒａ，Ｒｂが相似変換後に重複する部分の面積Ｓｄと各物体領域についての重心の移動距離Ｄａ，Ｄｂとを最小化する際に用いる評価式を求める。プロセッサ２１は、例えば、図１８に示すステップ３３１〜ステップ３３５の処理を実行することにより、ステップ３１２の処理を実行してもよい。
【０１７９】
図１８は、評価式を求める処理のフローチャートの例を示している。図１８に示したステップ３３１〜ステップ３３５の処理は、図１６に示したステップ３１２の処理の一例であり、これらの各ステップの処理は、図１５に示したプロセッサ２１によって実行される。
【０１８０】
まず、プロセッサ２１は、処理対象の２つの物体領域Ｒａ，Ｒｂで重複している部分がそれぞれの物体領域Ｒａ，Ｒｂにおいて占める割合を算出する(ステップ３３１)。プロセッサ２１は、物体情報保持部１２に処理対象の物体領域Ｒａ，Ｒｂに対応して保持された物体情報に基づいて、各物体領域Ｒａ，Ｒｂの面積とともに重複する部分の面積を算出し、これらの面積の比として上述した割合を算出してもよい。また、プロセッサ２１は、各物体領域Ｒａ，Ｒｂの幅あるいは高さなどの大きさを示す値と、重複する部分の大きさを示す値との比により、上述した割合を算出してもよい。
【０１８１】
次に、プロセッサ２１は、ステップ３３１で各物体領域Ｒａ，Ｒｂについて算出した割合と上述した所定の閾値とを比較し、少なくとも一方の割合が閾値以上であるか否かを判定する(ステップ３３２)。
【０１８２】
各物体領域Ｒａ，Ｒｂについて算出した割合の少なくとも一方が上述した閾値以上である場合に(ステップ３３２の肯定判定)、プロセッサ２１は、ステップ３３３の処理に進み、一方、ステップ３３２の否定判定の場合に、ステップ３３４の処理に進む。
【０１８３】
ステップ３３３において、プロセッサ２１は、上述した面積Ｓｄに適用する第１重みω１よりも重心の移動距離Ｄａ，Ｄｂに適用する第２重みω２に大きい値を設定する。
【０１８４】
一方、プロセッサ２１は、ステップ３３４において、逆に、重心の移動距離Ｄａ，Ｄｂに適用する第２重みω２に、上述した面積Ｓｄに適用する第１重みω１よりも大きい値を設定する。
【０１８５】
上述したステップ３３３あるいはステップ３３４の処理の終了後に、プロセッサ２１は、ステップ３３５の処理に進む。また、ステップ３３５において、プロセッサ２１は、いずれかの処理によって値が設定された第１重みω１および第２重みω２を用いて、上述した面積Ｓｄと重心の移動距離Ｄａ，Ｄｂとの最小化に関する評価式を生成し、生成した評価式を出力する。
【０１８６】
次に、プロセッサ２１は、上述したステップ３１２の処理で生成された評価式に基づき、また、ステップ３１１の処理で得られた制約条件の範囲で、各物体領域Ｒａ，Ｒｂについて、最適な相似変換のパラメータを算出する(ステップ３１３)。プロセッサ２１は、例えば、図１９に示すステップ３４１〜ステップ３４４の処理を実行することにより、最適な相似変換のパラメータを算出する処理を実行してもよい。
【０１８７】
図１９は、相似変換のパラメータを算出する処理のフローチャートの例を示している。図１９に示したステップ３４１〜ステップ３４４の処理は、図１６に示したステップ３１３の処理の一例であり、これらの各ステップの処理は、図１５に示したプロセッサ２１によって実行される。
【０１８８】
まず、プロセッサ２１は、上述したステップ３１１の処理で生成した縮小率αａ，αｂについての制約条件および基準点Ｕａ，Ｕｂの移動量ｄｘａ，ｄｙａ，ｄａｂ，ｄｙｂについての制約条件の下で、パレート解の集合を求める(ステップ３４１)。ここで、基準点Ｕａ，Ｕｂの移動量ｄｘａ，ｄｙａ，ｄｘｂ，ｄｙｂについての制約条件は、例えば、元の物体領域Ｒａ，Ｒｂの範囲を示すように設定してもよい。プロセッサ２１は、例えば、上述した制約条件で示される範囲内で、各物体領域Ｒａ，Ｒｂの縮小率αａ，αｂおよび基準点Ｕａ，Ｕｂの移動量ｄｘａ，ｄｙａ，ｄｘｂ，ｄｙｂを変化させながら、上述した面積Ｓｄおよび重心の移動距離Ｄａ，Ｄｂを算出する。プロセッサ２１は、例えば、面積Ｓｄを増大させない限り移動距離Ｄａを短縮できない限界となる縮小率αａと基準点Ｕａの移動量ｄｘａ，ｄｙａの組み合わせとして、物体領域Ｒａに関する相似変換のパラメータについてのパレート解を求めればよい。同様にして、プロセッサ２１は、物体領域Ｒｂについての相似変換のパラメータについてのパレート解を求めることができる。
【０１８９】
次に、プロセッサ２１は、図１４に示したようなパレート解の集合を示すグラフＶと、上述したステップ３１２の処理で求めた評価式との接点を求める(ステップ３４２)。プロセッサ２１は、上述したステップ３４１の処理で例えば物体領域Ｒａに対応して求めた各パレート解で与えられる面積Ｓｄおよび重心の移動距離Ｄａを、図１４に示したような座標空間にプロットすることで、パレート解の集合を表すグラフＶを得ることができる。プロセッサ２１は、このようにして得られた物体領域Ｒａについてのパレート解を示すグラフＶと、ステップ３１２の処理で求めた評価式を示す直線のグラフとの接点を求めればよい。同様にして、プロセッサ２１は、物体領域Ｒｂについてのパレート解を示すグラフＶと、ステップ３１２の処理で求めた評価式を示す直線のグラフとの接点を求めることができる。
【０１９０】
次いで、プロセッサ２１は、ステップ３４２の処理で各物体領域Ｒａ，Ｒｂについて得られた接点のパレート解で示されるパラメータを、２つの物体領域Ｒａ，Ｒｂそれぞれに適用する最適な相似変換を示すパラメータとして出力する(ステップ３４３)。プロセッサ２１は、例えば、物体領域Ｒａについて得られたパレート解の集合を示すグラフＶと評価式を示すグラフとの接点で示される面積Ｓｄおよび重心の移動距離Ｄａを与える縮小率αａと移動量ｄｘａ，ｄｙａとを最適なパラメータとして出力する。同様にして、プロセッサ２１は、物体領域Ｒｂについて得られたパレート解の集合を示すグラフＶと評価式を示すグラフとの接点で示される縮小率αｂと移動量ｄｘｂ，ｄｙｂとを最適なパラメータとして出力する。
【０１９１】
また、プロセッサ２１は、上述したステップ３４２の処理で特定された最適なパラメータに含まれる縮小率αａ，αｂを、各物体領域Ｒａ，Ｒｂに対応する物体情報に追加する(ステップ３４４)。例えば、プロセッサ２１は、最適なパラメータの一部として特定された縮小率αａ，αｂを上述した物体情報保持部１２に渡し、処理対象の画像を示す画像番号と物体領域Ｒａ，Ｒｂを示す物体ＩＤとで示される物体情報にそれぞれ追加すればよい。
【０１９２】
このように、プロセッサ２１は、要約映像Ｖｓの処理対象の画像に、各部分映像Ｖｐの同一の画像番号で示される画像からそれぞれ抽出された各物体領域に対応して最適なパラメータを特定するごとに、各パラメータに含まれる縮小率を対応する物体情報に追加する。これにより、プロセッサ２１は、以降の処理において、図１６のステップ３１１の処理を実行する際に、物体情報保持部１２に保持された物体情報から、処理対象の画像よりも前の画像に各物体領域を重ね合わせる際に適用された縮小率を取得することができる。
【０１９３】
その後、プロセッサ２１は、図１６に示したステップ３１４において、上述したようにして得られた最適なパラメータを適用した相似変換を各物体領域Ｒａ，Ｒｂについて実行する。プロセッサ２１は、ステップ３１４の処理で、物体情報保持部１２に保持された各物体領域Ｒａ，Ｒｂの画像に対して上述した相似変換を行うことで、対応する２つの物体の像を縮小するとともに、これらの物体の像が画像において占める位置を移動させる。これにより、物体領域Ｒａ，Ｒｂに対応する２つの物体の画像における位置を保存しながら、各物体の像の重なりを最小化することができる。
【０１９４】
このようにして各物体領域Ｒａ，Ｒｂについての相似変換の結果として得られた画像を、プロセッサ２１は、図１５に示した要約映像保持部２３２に保持された処理対象の画像にそれぞれ重畳する(ステップ３１５)。プロセッサ２１は、処理対象の画像を示す画像番号に対応して要約映像保持部２３２に保持された画像に、ステップ３１４の処理で得られた相似変換後の物体領域の画像を重ね合わせればよい。
【０１９５】
また、プロセッサ２１は、上述したようにして物体領域Ｒａ，Ｒｂについて得られた相似変換結果を、物体情報保持部１２に保持された対応する物体情報に反映させ、処理対象の画像に含まれる他の物体領域についてステップ３０３の処理の際に利用してもよい。
【０１９６】
以上に説明した本件開示の映像編集プログラムをプロセッサ２１が実行することにより、各物体の移動過程を撮影した部分映像Ｖｐから、これらの物体の属性とともに忠実な移動経路を一括して再現する要約映像Ｖｓを生成することができる。しかも、上述した処理で得られた要約映像Ｖｓにおいては、時系列的に連続する各画像における各物体の像の大きさの変化が抑制されており、また、各物体の像の大きさがそれぞれの物体の属性を把握できる程度に維持されている。また、図１８に示したように、処理対象の物体領域の位置関係に応じて、評価式の重みを制御することにより、複数の物体の動線が同じタイミングで同一の箇所を通る場合にも、元の部分映像における各物体の位置を要約映像Ｖｓの画像における位置に反映できる。
【０１９７】
以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で、前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、上述の説明に基づいて、様々な改良および変更を容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
【０１９８】
以上の説明に関して、更に、以下の各項を開示する。
(付記１)
所定の箇所を背景とした各物体の移動過程を表す複数の映像を受け、前記各映像に含まれる各画像において、前記各物体の像を含む物体領域を特定する特定部と、
前記各映像の先頭からの相対時間が同じ画像を重ね合わせることで生成される要約映像中の各画像において、前記物体にそれぞれ対応する前記物体領域が互いに重複している部分を検出する検出部と、
前記各物体領域において、前記重複している部分から離れている頂点を基準として縮小することで、前記重複している部分を小さくするための縮小率を求める算出部と、
前記算出部で得られた縮小率で縮小した前記各物体領域の重心位置が、前記各物体領域の前記縮小前の重心位置に近くなるように、前記物体領域の位置を調整する調整部と
を備えたことを特徴とする映像編集装置。
(付記２)
付記１に記載の映像編集装置において、
前記算出部は、
前記２つの物体領域の重複する部分が前記２つの物体領域それぞれにおいて占める割合が所定の閾値よりも小さい場合に、前記２つの物体領域それぞれの縮小前後での重心位置の移動距離の短縮よりも、前記重複する部分の面積の縮小を優先して実現するための前記縮小率と前記各物体領域の位置の調整量とを求め、
前記割合の少なくとも一方が前記所定の閾値以上である場合に、前記重複する部分の面積の縮小よりも、前記重心位置の移動距離の短縮を優先して実現するための前記縮小率と前記各物体領域の位置の調整量とを求める
ことを特徴とする映像編集装置。
(付記３)
付記２に記載の映像編集装置において、
前記算出部は、
前記重複する部分の面積と所定の第１重みとの積と、前記重心位置の移動距離と所定の第２重みとの積との和を最小化するように、前記縮小率と前記各物体領域の位置についての調整量とを決定する決定部と、
前記２つの物体領域の重複する部分が前記２つの物体領域それぞれにおいて占める割合が所定の閾値よりも小さい場合に、前記第１重みに前記第２重みよりも大きい値を設定し、前記割合の少なくとも一方が前記所定の閾値以上である場合に、前記第２重みに前記第１重みよりも大きい値を設定する設定部とを有する
ことを特徴とする映像編集装置。
(付記４)
付記１乃至付記３のいずれか１に記載の映像編集装置において、
前記算出部は、
前記各物体領域に適用する縮小率を、所定の最大値と所定の最小値とで示される範囲内の値となるようにそれぞれ求める
ことを特徴とする映像編集装置。
(付記５)
付記１乃至付記４のいずれか１に記載の映像編集装置において、
算出部は、
前記要約映像において時系列的に連続する前記画像に含まれる同じ物体の像の大きさの変動を抑制するように、前記各物体領域に適用する縮小率を求める
ことを特徴とする映像編集装置。
(付記６)
所定の箇所を背景とした各物体の移動過程を表す複数の映像を受け、前記各映像に含まれる各画像において、前記各物体の像を含む物体領域を特定し、
前記各映像の先頭からの相対時間が同じ画像を重ね合わせることで生成される要約映像中の各画像において、前記物体にそれぞれ対応する前記物体領域が互いに重複している部分を検出し、
前記各物体領域において、前記重複している部分から離れている頂点を基準として縮小することで、前記重複している部分を小さくするための縮小率を求め、
前記算出部で得られた縮小率で縮小した前記各物体領域の重心位置が、前記各物体領域の前記縮小前の重心位置に近くなるように、前記物体領域の位置を調整する
ことを特徴とする映像編集方法。
(付記７)
所定の箇所を背景とした各物体の移動過程を表す複数の映像を受け、前記各映像に含まれる各画像において、前記各物体の像を含む物体領域を特定し、
前記各映像の先頭からの相対時間が同じ画像を重ね合わせることで生成される要約映像中の各画像において、前記物体にそれぞれ対応する前記物体領域が互いに重複している部分を検出し、
前記各物体領域において、前記重複している部分から離れている頂点を基準として縮小することで、前記重複している部分を小さくするための縮小率を求め、
前記算出部で得られた縮小率で縮小した前記各物体領域の重心位置が、前記各物体領域の前記縮小前の重心位置に近くなるように、前記物体領域の位置を調整する
処理をコンピュータに実行させることを特徴とする映像編集プログラム。
【符号の説明】
【０１９９】
１…撮影装置；２…映像蓄積装置；３…動き映像抽出装置；４…要約映像記憶装置；５…表示装置；１０…映像編集装置；１１…特定部；１２…物体情報保持部；１３…検出部；１４…算出部；１５…縮小部；１６…調整部；１７…相似変換処理部；１４１…割合算出部；１４２…設定部；１４３…条件生成部；１４４…決定部；２０…コンピュータ装置；２１…プロセッサ；２２…メモリ；２３…ハードディスク装置；２４…汎用インタフェース；２５…表示制御部；２６…光学ドライブ装置；２７…リムーバブルディスク
【図１】
2014110582.tif 000004
【図２】
2014110582.tif 000005
【図３】
2014110582.tif 000006
【図４】
2014110582.tif 000007
【図５】
2014110582.tif 000008
【図６】
2014110582.tif 000009
【図７】
2014110582.tif 000010
【図８】
2014110582.tif 000011
【図９】
2014110582.tif 000012
【図１０】
2014110582.tif 000013
【図１１】
2014110582.tif 000014
【図１２】
2014110582.tif 000015
【図１３】
2014110582.tif 000016
【図１４】
2014110582.tif 000017
【図１５】
2014110582.tif 000018
【図１６】
2014110582.tif 000019
【図１７】
2014110582.tif 000020
【図１８】
2014110582.tif 000021
【図１９】
2014110582.tif 000022