(57)【特許請求の範囲】
【請求項１】
第１フレーム群から被写体を検出する検出手段と、
前記検出手段によって検出された前記被写体を追跡する追跡手段と、
前記追跡手段による追跡結果に基づいて、前記第１フレーム群から前記被写体が含まれる部分画像群を切り出す切り出し手段と、
前記切り出し手段によって切り出された前記部分画像群を、前記第１フレーム群とは異なる第２フレーム群に合成する合成手段と、
前記合成手段によって合成されたフレーム群を出力する出力手段と、
前記追跡結果の調整の単位とするフレームの区間を算出することに基づいて、前記追跡結果の調整を行う調整手段と、
を備える映像編集装置。
【請求項２】
第１フレーム群から被写体を検出する検出手段と、
前記検出手段によって検出された前記被写体を追跡する追跡手段と、
前記追跡手段による追跡結果に基づいて、前記第１フレーム群から前記被写体が含まれる部分画像群を切り出す切り出し手段と、
前記切り出し手段によって切り出された前記部分画像群を、前記第１フレーム群とは異なる第２フレーム群に合成する合成手段と、
前記合成手段によって合成されたフレーム群を出力する出力手段と、
前記追跡結果の調整として、前記追跡結果が条件を満たさないフレームの区間である抑制区間では、前記被写体の位置の変化を抑制する調整を行い、前記追跡結果が前記条件を満たすフレームの区間である許容区間では、前記被写体の位置の変化を許容する調整を行う調整手段と、
を備える映像編集装置。
【請求項３】
第１フレーム群から被写体を検出する検出手段と、
前記検出手段によって検出された前記被写体を追跡する追跡手段と、
前記追跡手段による追跡結果に基づいて、前記第１フレーム群から前記被写体が含まれる部分画像群を切り出す切り出し手段と、
前記切り出し手段によって切り出された前記部分画像群を、前記第１フレーム群とは異なる第２フレーム群に合成する合成手段と、
前記合成手段によって合成されたフレーム群を出力する出力手段と、
を備え、
前記検出手段は、前記第１フレーム群から連続する所定フレーム数を抽出した単位フレーム群の先頭の所定数のフレームで前記被写体を検出し、
前記追跡手段は、前記単位フレーム群の残りのフレームで前記被写体を追跡する、
映像編集装置。
【請求項４】
前記調整手段は、前記区間のうちの抑制区間では、前記被写体の位置の変化を抑制する調整を行う、
請求項１に記載の映像編集装置。
【請求項５】
前記調整手段は、前記区間のうちの許容区間では、前記被写体の位置の変化を許容する調整を行う、
請求項１または４に記載の映像編集装置。
【請求項６】
前記追跡手段は、前記検出手段によって検出された前記被写体と、相関フィルタとに基づいて、前記被写体を追跡する、
請求項１〜５のいずれか一項に記載の映像編集装置。
【請求項７】
前記追跡手段は、前記被写体の特徴量を用いて算出される係数を有する前記相関フィルタに基づいて、次フレーム以降の前記被写体の位置を推定する推定手段を有する、
請求項６に記載の映像編集装置。
【請求項８】
前記追跡手段は、前記推定手段による推定結果に基づいて前記被写体の次フレームにおける特徴量を推定し、推定された特徴量に基づいて、次フレームで用いる前記相関フィルタの係数を決定する演算を繰り返す、
請求項７に記載の映像編集装置。
【請求項９】
前記検出手段によって検出された前記被写体の指定を受け付ける受付手段をさらに備え、
前記切り出し手段は、前記受付手段が指定を受け付けた前記被写体を、前記第１フレーム群から前記部分画像群として切り出す、
請求項１〜８のいずれか一項に記載の映像編集装置。
【請求項１０】
前記検出手段によって検出された前記被写体と、検出された前記被写体の各々を識別するための識別情報とを対応付ける対応付け手段をさらに備え、
前記受付手段は、前記識別情報の指定を受け付ける、
請求項９に記載の映像編集装置。
【請求項１１】
前記調整手段は、評価関数に基づいて前記抑制区間と前記許容区間とを分割する、
請求項２に記載の映像編集装置。
【請求項１２】
前記調整手段は、前記被写体の各々について、前記抑制区間と前記許容区間とを前記評価関数に基づいて分割する、
請求項１１に記載の映像編集装置。
【請求項１３】
前記評価関数は、前記抑制区間と前記許容区間とが切り替わる頻度、前記抑制区間で続くフレーム数、前記検出手段によって検出された前記被写体の位置と前記調整手段による調整後の前記被写体の位置との距離、を、少なくとも項に含む、
請求項１１または１２に記載の映像編集装置。
【請求項１４】
第１フレーム群から被写体を検出することと、
検出された前記被写体を追跡することと、
追跡結果に基づいて、前記第１フレーム群から前記被写体が含まれる部分画像群を切り出すことと、
切り出された前記部分画像群を、前記第１フレーム群とは異なる第２フレーム群に合成することと、
合成されたフレーム群を出力することと、
前記追跡結果の調整の単位とするフレームの区間を算出することに基づいて、前記追跡結果の調整を行うことと、
を含む映像編集方法。
【請求項１５】
コンピュータに、
第１フレーム群から被写体を検出することと、
検出された前記被写体を追跡することと、
追跡結果に基づいて、前記第１フレーム群から前記被写体が含まれる部分画像群を切り出すことと、
切り出された前記部分画像群を、前記第１フレーム群とは異なる第２フレーム群に合成することと、
合成されたフレーム群を出力することと、
前記追跡結果の調整の単位とするフレームの区間を算出することに基づいて、前記追跡結果の調整を行うことと、
を実行させるためのプログラム。
【請求項１６】
第１フレーム群から被写体を検出することと、
検出された前記被写体を追跡することと、
追跡結果に基づいて、前記第１フレーム群から前記被写体が含まれる部分画像群を切り出すことと、
切り出された前記部分画像群を、前記第１フレーム群とは異なる第２フレーム群に合成することと、
合成されたフレーム群を出力することと、
前記追跡結果の調整として、前記追跡結果が条件を満たさないフレームの区間である抑制区間では、前記被写体の位置の変化を抑制する調整を行い、前記追跡結果が前記条件を満たすフレームの区間である許容区間では、前記被写体の位置の変化を許容する調整を行うことと、
を含む映像編集方法。
【請求項１７】
コンピュータに、
第１フレーム群から被写体を検出することと、
検出された前記被写体を追跡することと、
追跡結果に基づいて、前記第１フレーム群から前記被写体が含まれる部分画像群を切り出すことと、
切り出された前記部分画像群を、前記第１フレーム群とは異なる第２フレーム群に合成することと、
合成されたフレーム群を出力することと、
前記追跡結果の調整として、前記追跡結果が条件を満たさないフレームの区間である抑制区間では、前記被写体の位置の変化を抑制する調整を行い、前記追跡結果が前記条件を満たすフレームの区間である許容区間では、前記被写体の位置の変化を許容する調整を行うことと、
を実行させるためのプログラム。
【請求項１８】
第１フレーム群から被写体を検出することと、
検出された前記被写体を追跡することと、
追跡結果に基づいて、前記第１フレーム群から前記被写体が含まれる部分画像群を切り出すことと、
切り出された前記部分画像群を、前記第１フレーム群とは異なる第２フレーム群に合成することと、
合成されたフレーム群を出力することと、
を含み、
前記検出することは、前記第１フレーム群から連続する所定フレーム数を抽出した単位フレーム群の先頭の所定数のフレームで前記被写体を検出することを含み、
前記追跡することは、前記単位フレーム群の残りのフレームで前記被写体を追跡することを含む、
映像編集方法。
【請求項１９】
コンピュータに、
第１フレーム群から被写体を検出することと、
検出された前記被写体を追跡することと、
追跡結果に基づいて、前記第１フレーム群から前記被写体が含まれる部分画像群を切り出すことと、
切り出された前記部分画像群を、前記第１フレーム群とは異なる第２フレーム群に合成することと、
合成されたフレーム群を出力することと、
を実行させ、
前記検出することは、前記第１フレーム群から連続する所定フレーム数を抽出した単位フレーム群の先頭の所定数のフレームで前記被写体を検出することを含み、
前記追跡することは、前記単位フレーム群の残りのフレームで前記被写体を追跡することを含む、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像編集技術等に関する。
【背景技術】
【０００２】
映像編集では、編集前のフレーム群に含まれる特定の被写体（例えば、特定の人物）に着目して編集が行われる場合が多い。例えば、特許文献１には、ユーザー操作に基づいて追跡対象とする人物を特定し、編集前のフレーム群において特定された人物が映っている場面を部分フレーム群として抽出する映像編集装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２８１８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、映像編集を行う１つの手法として、第１フレーム群に含まれる特定の被写体に関する映像の一部分を、第１フレーム群とは異なる第２フレーム群の所定の小窓領域に合成して表示する手法を考えることができる。ただし、この手法をそのまま用いようとすると、人為的な操作に依存する部分が多く、繁雑かつ不便である。
【課題を解決するための手段】
【０００５】
本発明の一態様によれば、映像編集装置は、第１フレーム群から被写体を検出する検出手段と、検出手段によって検出された被写体を追跡する追跡手段と、追跡手段による追跡結果に基づいて、第１フレーム群から被写体が含まれる部分画像群を切り出す切り出し手段と、切り出し手段によって切り出された部分画像群を、第１フレーム群とは異なる第２フレーム群に合成する合成手段と、合成手段によって合成されたフレーム群を出力する出力手段と、追跡結果の調整の単位とするフレームの区間を算出することに基づいて、追跡結果の調整を行う調整手段と、を備える。
本発明の一態様によれば、映像編集装置は、第１フレーム群から被写体を検出する検出手段と、検出手段によって検出された被写体を追跡する追跡手段と、追跡手段による追跡結果に基づいて、第１フレーム群から被写体が含まれる部分画像群を切り出す切り出し手段と、切り出し手段によって切り出された部分画像群を、第１フレーム群とは異なる第２フレーム群に合成する合成手段と、合成手段によって合成されたフレーム群を出力する出力手段と、追跡結果の調整として、追跡結果が条件を満たさないフレームの区間である抑制区間では、被写体の位置の変化を抑制する調整を行い、追跡結果が条件を満たすフレームの区間である許容区間では、被写体の位置の変化を許容する調整を行う調整手段と、を備える。
本発明の一態様によれば、映像編集装置は、第１フレーム群から被写体を検出する検出手段と、検出手段によって検出された被写体を追跡する追跡手段と、追跡手段による追跡結果に基づいて、第１フレーム群から被写体が含まれる部分画像群を切り出す切り出し手段と、切り出し手段によって切り出された部分画像群を、第１フレーム群とは異なる第２フレーム群に合成する合成手段と、合成手段によって合成されたフレーム群を出力する出力手段と、を備え、検出手段は、第１フレーム群から連続する所定フレーム数を抽出した単位フレーム群の先頭の所定数のフレームで被写体を検出し、追跡手段は、単位フレーム群の残りのフレームで被写体を追跡する。
【発明の効果】
【０００６】
本発明に係る映像編集装置によれば、映像を簡易かつ適切に編集することができる、という効果が得られる。
【図面の簡単な説明】
【０００７】
【図１】画像処理装置の機能構成の一例を示すブロック図。
【図２】映像編集処理の流れの一例を示すフローチャート。
【図３】ワイプの具体例を示す図。
【図４】被写体識別・位置検出処理の流れの一例を示すフローチャート。
【図５】被写体の識別と被写体識別ＩＤの割り当てとの具体例を示す図。
【図６】被写体の追跡について具体例を示す図。
【図７】スタビライズ処理前におけるワイプ切り出し枠の具体例を示す図。
【図８】スタビライズ処理後におけるワイプ切り出し枠の具体例を示す図。
【図９】映像編集用ＰＣの機能構成の一例を示すブロック図。
【図１０】実施例に係る映像編集用ＰＣの表示部に表示される表示画面の一例を示す図。
【図１１】ワイプウインドウへの合成対象を指定する具体例を示す図。
【図１２】ワイプウインドウの位置を指定する具体例を示す図。
【図１３】記録媒体の一例を示す図。
【発明を実施するための形態】
【０００８】
以下、本発明を実施するための形態の一例について図面を参照して説明する。
なお、図面の説明において同一の要素には同一の符号を付して、重複する説明を省略する場合がある。
また、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。
【０００９】
［実施形態］
以下、本発明の画像処理技術、映像編集技術を実現するための実施形態の一例について説明する。
【００１０】
本明細書では、映像編集において、第１フレーム群に含まれる所定の被写体に関する映像の一部分を、第１フレーム群とは異なる第２フレーム群の所定の小窓領域に合成して表示する手法について説明する。
また、本明細書では、この手法のことを「ワイプ」と呼称し、合成される小窓領域を「ワイプウインドウ」と呼称する。
【００１１】
図１は、本実施形態の一態様に係る映像編集装置１の機能構成の一例を示すブロック図である。映像編集装置１は、画像処理装置の一種である。
映像編集装置１は、例えば、被写体識別部１１０と、被写体位置検出部１２０と、スタビライズ部１３０と、ワイプウインドウ切り出し部１４０と、ワイプウインドウ合成部１５０とを備える。これらは、例えば、映像編集装置１の不図示の処理部（処理装置）や制御部（制御装置）が有する機能部（機能ブロック）であり、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。
【００１２】
また、映像編集装置１は、例えば、被写体位置情報一時記憶部２２０を映像編集装置１の不図示の記憶部（バッファ、記憶装置）として備える。被写体位置情報一時記憶部２２０は、例えば、ＤＲＡＭ等の揮発性メモリ、又はＳＲＡＭ等の不揮発性メモリ等を有して構成される。
【００１３】
なお、被写体位置情報一時記憶部２２０は、ＣＰＵやＤＳＰ等のプロセッサーに搭載されるキャッシュメモリとして構成されてもよい。すなわち、被写体位置情報一時記憶部２２０は、映像編集装置１の不図示の処理部（処理装置）や制御部（制御装置）が有する機能部（機能ブロック）の一部としてもよいし、一部としなくてもよい。
【００１４】
被写体識別部１１０は、例えば、第１フレーム群２３０を入力として受け付ける。
第１フレーム群２３０は、例えば、映像編集装置１の不図示の記憶部（バッファ、記憶装置）に保存される映像データである。
【００１５】
第１フレーム群２３０は、ワイプウインドウ内に合成を行う対象となる１以上の被写体が映るフレーム群であり、ここでは一例として、１０８０ｐ（１９２０×１０８０ｐｉｘｅｌ  プログレッシブ走査）・３０ｆｐｓ（frames per second）のフォーマットで記録される１０秒間のフレーム群とする。
【００１６】
被写体識別部１１０は、例えば、入力された第１フレーム群２３０に基づいて、第１フレーム群２３０のあるフレーム数（例えば、３０フレーム）ごとに、フレーム内に映る所定の被写体（例えば、人物の顔）を検出する被写体識別機能と、第１フレーム群２３０の各フレームにおける画像の特徴量を抽出する特徴抽出機能とを有する。
【００１７】
ここで、被写体識別機能とは、例えば、あるフレームの画像中に映る物体の位置とカテゴリー（クラス）分けを認識し、所定のカテゴリーに属する物体に識別用のラベル（例えば、被写体が人物の顔の場合、個人を識別するためのラベル「Ａ」、「Ｂ」、・・・）（以下、「被写体識別ＩＤ」と称する。）を割り当てることを指す。
【００１８】
また、特徴抽出機能とは、例えば、被写体識別機能の処理結果、あるいは被写体位置検出部１２０で算出される被写体識別ＩＤごとの被写体における位置検出結果に基づいて、被写体識別ＩＤごとに被写体およびその被写体の周辺領域における画像の特徴量（以下、「被写体特徴量」と称する。）を算出することを指す。
【００１９】
以下では、第１フレーム群２３０のフレーム群の先頭より何番目のフレームかを表すラベル値のことを「第１フレーム番号」と呼称し、例えば、第１フレーム群２３０の先頭フレームからｔ−１フレーム目のフレームのことを、「第１フレーム番号ｔのフレーム」と呼称する。
【００２０】
例えば、第１フレーム群２３０が３０ｆｐｓの１０秒間の映像の場合、ｔが取りうる範囲は「０≦ｔ＜３００」の整数とする。すなわち、フレーム群の先頭フレーム（１フレーム目）の第１フレーム番号を「ｔ＝０」とする。
【００２１】
被写体位置検出部１２０は、例えば、入力された被写体特徴量に基づいて、相関フィルタ係数を算出し更新する機能と、更新された相関フィルタ係数を次フレームの被写体特徴量に適用して次フレームにおける被写体位置を検出する機能とを有する。
【００２２】
被写体位置情報一時記憶部２２０は、例えば、第１フレーム番号と、第１フレーム番号で識別されるフレームに映る被写体の被写体識別ＩＤと、被写体識別ＩＤごとのこのフレーム内における位置（例えば、検出された顔の中心位置をフレーム左上から指定するための二次元座標と、顔の大きさ（広さ）を指定するための中心位置を囲む矩形領域枠の長辺・短辺の長さ）とを被写体位置検出部１２０から入力として受け付け、関連付けて記憶する機能を有する。
【００２３】
以下では、第１フレーム番号と、第１フレーム番号で識別される第１フレームに映る被写体の被写体識別ＩＤと、被写体識別ＩＤごとのこのフレーム内における位置とを関連付けた情報を「被写体位置情報」と呼称する。
【００２４】
スタビライズ部１３０は、例えば、被写体位置情報一時記憶部２２０から被写体位置情報を入力として受け付け、被写体識別ＩＤごとに、被写体位置情報のフレーム内における位置を平滑化する機能を有する。
【００２５】
なお、スタビライズ部１３０は、被写体位置情報のフレーム内における位置を平滑化することに限定されない。
この他にも、例えば、位置を回転させるように調整を行ってもよい。この場合、ワイプウインドウ内の映像は激しく回転しながら動き、結果として、ユーザーに対してワイプウインドウ内の映像に注意を向かせるような演出効果を得ることができる。
【００２６】
ワイプウインドウ切り出し部１４０は、例えば、平滑化された被写体位置情報と、不図示の操作部により指定される被写体識別ＩＤとワイプウインドウの大きさ（広さ）とに基づいて、第１フレーム群２３０の各フレームから所定の被写体が含まれる部分画像領域を切り出す機能を有する。
【００２７】
以下では、切り出しに用いられる切り出し枠を「ワイプ切り出し枠」と呼称し、切り出された被写体を含む部分領域画像を「ワイプ切り出し画像」と呼称する。
【００２８】
ワイプウインドウ合成部１５０は、例えば、第２フレーム群２４０と、第１フレーム群２３０の各フレームにおけるワイプ切り出し画像と、不図示の操作部により指定されるワイプウインドウの位置とに基づいて、第２フレーム群２４０の各フレームに、ワイプ切り出し画像を重畳（合成）し、出力フレーム群２５０として出力する機能を有する。
【００２９】
第２フレーム群２４０は、例えば、映像編集装置１の不図示の記憶部（バッファ、記憶装置）に保存される映像データである。
出力フレーム群２５０は、映像編集装置１の出力となる映像データであり、例えば、映像編集装置１の不図示の記憶部（バッファ、記憶装置）に保存される。
【００３０】
第２フレーム群２４０は、ワイプ切り出し画像を貼り付ける対象となるフレーム群である。ただし、第２フレーム群２４０の映像録画時間は、第１フレーム群２３０の映像録画時間と等しいこととする。
また、出力フレーム群２５０の映像フォーマット・録画時間は、第２フレーム群２４０と同一となる。
【００３１】
例えば、第２フレーム群２４０は１０８０ｐ・３０ｆｐｓの１０秒間のフレーム群とする。この場合、出力フレーム群２５０も１０８０ｐ・３０ｆｐｓの１０秒間のフレーム群となる。
【００３２】
以下では、第２フレーム群２４０において先頭より何番目のフレームかを表すラベル値のことを第１フレーム番号と同様に「第２フレーム番号」と呼称する。また、出力フレーム群２５０のフレーム群において先頭より何番目のフレームかを表すラベル値のことを同様に「出力フレーム番号」と呼称する。
【００３３】
なお、第１フレーム群２３０と、第２フレーム群２４０とは、プログレッシブ走査の映像に限定されない。例えば、第１フレーム群２３０、または第２フレーム群２４０、もしくはその両方がインターレース映像の場合、映像編集装置１にインターレース解除部を付加し、第１フレーム群２３０または、第２フレーム群２４０、もしくはその両方をプログレッシブ変換する前処理を実行させ、映像編集装置１に入力してもよい。あるいはまた、第１フレーム群２３０、および第２フレーム群２４０の両方がインターレース映像の場合、そのまま映像編集装置１に入力してもよい。
【００３４】
また、第１フレーム群２３０と第２フレーム群２４０とのフレームレート（ｆｐｓ）が異なる場合には、例えば、第１フレーム群２３０のフレームレートを第２フレーム群２４０のフレームレートに変換するフレームレート変換部を映像編集装置１に付加し、第１フレーム群２３０のフレームレートを変換する前処理を実行させてもよい。
【００３５】
［映像編集処理の手順］
図２は、本実施形態における画像処理の手順例を示すフローチャートである。
図２のフローチャートにおける処理は、例えば映像編集装置１の処理部が、不図示の記憶部に格納された映像編集プログラムのコードを不図示のＲＡＭに読み出して実行することにより実現される。
【００３６】
図２のフローチャートにおける各記号Ｓは、ステップを意味する。
また、以下説明するフローチャートは、あくまでも本実施形態における画像処理の手順の一例を示すものに過ぎず、他のステップを追加したり、一部のステップを削除したりしてもよいことは勿論である。
【００３７】
まず、被写体識別部１１０は、第１フレーム群２３０の映像を受け付ける。そして、被写体識別部１１０と被写体位置検出部１２０とは、後述する被写体識別・位置検出処理を実行する（Ｓ１０１）。被写体識別・位置検出処理に基づいて、被写体位置情報が算出されると、被写体位置検出部１２０は、被写体位置情報を被写体位置情報一時記憶部２２０に記憶させる。
【００３８】
第１フレーム群２３０における全てのフレームにおいて被写体位置が被写体位置情報一時記憶部２２０に記憶されると、スタビライズ部１３０は、被写体位置情報一時記憶部２２０に記憶された被写体位置情報に対してスタビライズ処理を実行する（Ｓ１０３）。なお、スタビライズ処理の詳細については後述する。そして、スタビライズ部１３０は、スタビライズ処理を行った被写体位置情報（スタビライズ処理の結果として得られる被写体位置情報）を被写体位置情報一時記憶部２２０に更新して記憶させる。
【００３９】
なお、Ｓ１０３のステップは、Ｓ１０１のステップの全ての処理が終わった後に実行されることに限定されない。
スタビライズ部１３０は、例えば、連続する所定のフレーム数（例えば、３０フレーム）の被写体位置情報が被写体位置情報一時記憶部２２０に記憶されると、被写体位置情報のスタビライズ処理を行い、スタビライズ処理を行った被写体位置情報を被写体位置情報一時記憶部２２０に随時更新して記憶させるようにしてもよい。
【００４０】
次いで、ワイプウインドウ切り出し部１４０は、被写体位置情報と、不図示の操作部によってフレームごとに指定される被写体識別ＩＤと、ワイプウインドウの大きさ（例えば、ワイプウインドウが矩形の場合、その長辺・短辺の長さ）とを受け付ける。
【００４１】
すると、ワイプウインドウ切り出し部１４０は、第１フレーム群２３０の各フレームに対してワイプ切り出し枠を設定する。
そして、ワイプウインドウ切り出し部１４０は、第１フレーム群２３０の各フレームに対してワイプ切り出し枠に基づいて画像の切り出し（抽出）処理を実行する。次いで、ワイプウインドウ切り出し部１４０は、切り出された画像をワイプウインドウの大きさに合わせて正規化し、各フレームにおけるワイプ切り出し画像を生成する（Ｓ１０５）。
【００４２】
なお、指定される被写体識別ＩＤまたはワイプウインドウの大きさ、もしくはその両方は、例えば、１フレーム目で指定される値を固定値として以降のフレームでの処理を行うこととしてもよい。
また、一部のフレームにおいてスタビライズ処理が行われた被写体位置情報が被写体位置情報一時記憶部２２０に記憶された場合、ワイプウインドウ切り出し部１４０は、Ｓ１０５のステップを随時実行してもよい。
【００４３】
ワイプ切り出し枠は、例えば、後述するバウンディングボックスの大きさと、ワイプウインドウの大きさとに基づいて、ワイプ切り出し枠の縦横比がワイプウインドウの縦横比と一致するように拘束しながら、バウンディングボックスが大きい（広い）ほどワイプ切り出し枠を大きくする（広くする）ことで決定することが可能である。
【００４４】
ワイプ切り出し画像は、ワイプ切り出し枠によって切り出された画像がワイプウインドウより大きい場合、例えば、ワイプ切り出し枠によって切り出された画像を縮小することで得られる。また、ワイプ切り出し枠によって切り出された画像がワイプウインドウより小さい場合、ワイプ切り出し画像は、例えば、ワイプ切り出し枠によって切り出された画像を拡大することで得られる。
【００４５】
ワイプウインドウ合成部１５０は、第２フレーム群２４０と、Ｓ１０５のステップで生成された各フレームにおけるワイプ切り出し画像と、不図示の操作部によってフレームごとに指定されるワイプウインドウの位置とを入力として受け付ける。
【００４６】
ワイプウインドウ合成部１５０は、第２フレーム番号ｔのフレームを受け付けると、不図示の操作部によってワイプウインドウの位置を取得する。そして、ワイプウインドウ合成部１５０は、第１フレーム番号ｔのワイプ切り出し画像をワイプウインドウ切り出し部１４０から受け付け、第２フレーム番号ｔのフレームの指定される位置（例えば、図３ではフレームの右上）に重畳して出力する（ワイプウインドウ合成処理）。そして、出力フレーム番号ｔのフレームを生成して出力する（Ｓ１０７）。
この処理を、第２フレーム群２４０の全てのフレームに対して実行する。
【００４７】
図３は、ワイプウインドウ合成部１５０が行う処理の一例を示す図である。
第１フレーム群２３０には、例えば、テレビスタジオで、被写体である５人の人物が、ひな壇下段に３人、ひな壇上段に２人座り、第２フレーム群２４０の映像に対するコメントを行っている映像が収録されている。図３の左上側には、第１フレーム群２３０の一例として、第１フレーム番号ｔのフレームが図示されている。また、第１フレーム番号ｔのフレームには、ワイプ切り出し画像の作成に用いられたワイプ切り出し枠が、二点鎖線の矩形枠として重ねて示されている。
第２フレーム群２４０には、例えば、のどかな農村部の街並みと、澄み渡る空に映える山との風景映像が収録されている。図３の左下側には、第２フレーム群２４０の一例として、第２フレーム番号ｔのフレームが図示されている。
【００４８】
図３の右側には、第１フレーム番号ｔのワイプ切り出し画像を、第２フレーム番号ｔのフレームの二重線枠で示されるワイプウインドウ内に重畳して出力（合成）した結果である出力フレーム番号ｔのフレームが図示されている。すなわち、出力フレーム群２５０の視聴者は、主映像としての第２フレーム群２４０の映像と、第２フレーム群２４０に対するコメンタリーとしての第１フレーム群２３０の映像とを同時に、かつ時間軸に対して並行して視聴することができる。
これにより、映像編集装置１は、出力フレーム群２５０の視聴者に対して、第１フレーム群２３０の収録会場でコメントを行う人物と一緒に第２フレーム群２４０の映像を見ているかのような臨場感ある演出効果を含む映像を生成することを可能とする。
【００４９】
なお、ワイプウインドウの位置は、例えば、第２フレーム番号が０（先頭フレーム）で指定される値を固定値として以降のフレームでの処理を行うこととしてもよい。
また、第１フレーム番号ｔのスタビライズ処理済み被写体位置情報が被写体位置情報一時記憶部２２０に記憶された場合、ワイプウインドウ切り出し部１４０とワイプウインドウ合成部１５０とは、Ｓ１０５とＳ１０７とのステップを、第１フレーム番号ｔおよび第２フレーム番号ｔのフレームに対して随時実行してもよい。
【００５０】
また、ワイプ切り出し枠によって切り出された画像をワイプウインドウの大きさに合わせる正規化処理は、ワイプウインドウ切り出し部１４０ではなく、ワイプウインドウ合成部１５０で実行してもよい。この場合、ワイプ切り出し画像の大きさは、ワイプ切り出し枠の大きさとなる。
【００５１】
［被写体識別・位置検出処理の手順］
図４は、被写体識別・位置検出処理の手順例を示すフローチャートである。
まず、被写体識別部１１０は、第１フレーム群２３０を受け付けると、例えば、第１フレーム番号０から第１フレーム番号Ｑ−１（Ｑは所定の正の整数）までのフレーム群を区分処理フレーム群として抽出する（Ｓ２０１）。例えば、「Ｑ＝３０」の場合、区分処理フレーム群は３０フレームのフレーム群である。
【００５２】
すると、被写体識別部１１０は、抽出された区分処理フレーム群の１フレーム目（先頭フレーム）から、被写体識別機能によって所定の被写体（ここでは人物の顔）を識別し、フレーム内におけるその位置を検出する（Ｓ２０３）。
以下では、被写体識別機能による被写体の位置検出結果として得られる、被写体領域を囲む矩形のことを「バウンディングボックス」と称する。
【００５３】
被写体識別機能は、例えば、畳み込みニューラルネットワークモデルの一種であるＦａｓｔｅｒ  Ｒ−ＣＮＮにより実現可能である。Ｆａｓｔｅｒ  Ｒ−ＣＮＮについては、例えば、「Shaoqing Ren, Kaiming He, RossGirshick and Jian Sun, "Faster R-CNN: Towards Real-Time Object Detection with Region ProposalNetworks", Advances in Neural Information Processing Systems (NIPS), ２０１５年」に記載されている。
Ｆａｓｔｅｒ  Ｒ−ＣＮＮは、画像から被写体を識別するための特徴量を抽出するＣＮＮ（Convolutional Neural Network）と、被写体が含まれている可能性のある画像の部分領域を検出するＲＰＮ（Region Proposal Network）とを用いて被写体の識別とその位置の検出とを実現する。
【００５４】
なお、被写体識別機能は、リアルタイム物体検出技術の一手法である、ＹＯＬＯ（You Look Only Once）等を用いて実現することも可能である。
【００５５】
次いで、被写体識別部１１０は、Ｓ２０３のステップで識別された被写体に、被写体識別ＩＤを割り当てる（Ｓ２０５）。
【００５６】
図５は、図３で説明した第１フレーム群２３０の映像を例に、被写体識別ＩＤの割り当ての一例を示す図である。図５の左側には、第１フレーム群２３０を入力としたときの区分処理フレーム群の１フレーム目（先頭フレーム）における映像が示されている。また、この区分処理フレーム群の１フレーム目における映像に重ねて、Ｓ２０３のステップで識別された人物の顔領域を囲むバウンディングボックスが点線で示されている。例えば、図５では、５人の人物が検出されるため、バウンディングボックスも５つ存在している。
【００５７】
被写体識別ＩＤの割り当てにおいて、被写体識別部１１０は、例えば、フレーム左上からバウンディングボックスの中心座標をラスタースキャンし、各々のバウンディングボックスが現れる順番に基づいて、被写体識別ＩＤを割り当てる。なお、被写体識別ＩＤの割り当て方法としては、ラスタースキャン以外にも、例えば、フレーム左上からバウンディングボックスの中心座標までの距離に基づいて割り当てる方法などが考えられる。
【００５８】
図５の右側には、ラスタースキャンの結果に基づいて、例えば、被写体識別ＩＤを「Ａ」，「Ｂ」，・・・，「Ｅ」に割り当てた結果が示されている。図５では、バウンディングボックスからの引き出し線に、割り当てられた被写体識別ＩＤを紐づけて示している。
【００５９】
なお、被写体識別部１１０において被写体識別ＩＤの割り当てが既に実行されている場合、すなわち、区分処理フレーム群の先頭フレームが第１フレーム番号０のフレームではない場合には、別な人物に同一の被写体識別ＩＤが割り当てられることを防止するために、例えば、以前の被写体識別ＩＤの割り当てに用いたフレーム（例えば、第１フレーム番号０のフレーム）におけるバウンディングボックスの中心座標と、現区分処理フレーム群の１フレーム目におけるバウンディングボックスの中心座標とを用いて最近傍探索を行い、最も近い以前の被写体識別ＩＤを割り当てるようにしてもよい。
【００６０】
また、被写体識別ＩＤの割り当ては、被写体の識別とその位置の検出とを行ったフレームにおける被写体の位置関係で割り振る方法に限定されない。
例えば、事前に所定の被写体をさらに詳細に識別するための情報（例えば、人物「Ａ」の顔画像と、人物「Ｂ」の顔画像と、・・・等）が手に入る場合、例えば、Ｆａｓｔｅｒ  Ｒ−ＣＮＮにおけるＣＮＮにそれらの画像を転移学習させる。すると、Ｓ２０３のステップにおいて、被写体識別部１１０では、認識結果として人物という大きいカテゴリーではなく、被写体が誰なのかを特定するカテゴリーを得ることができる。このカテゴリーを被写体識別ＩＤとすることで、人物の学習に用いたラベル値（例えばその人物の氏名）を被写体識別ＩＤと自動的に結びつけることも可能である。
【００６１】
このような構成にすることで、第１フレーム群２３０の映像中で被写体が入れ替わる場合でも、被写体識別ＩＤをより適切に指定することが可能となる。また、ワイプウインドウ切り出し処理（図２のＳ１０５）を実行する時に、被写体識別ＩＤをより分かり易い形で指定することが可能となる。
【００６２】
被写体識別ＩＤの割り当てが終わると、被写体識別部１１０は、所定の被写体識別ＩＤ（例えば「Ａ」）について、区分処理フレーム群の現フレーム（例えば、この場合は１フレーム目）について、Ｆａｓｔｅｒ  Ｒ−ＣＮＮにおける現フレームの被写体「Ａ」のフィルタ対象領域と対応するＣＮＮの特徴抽出結果を被写体特徴量として算出する（Ｓ２０７）。
より具体的には、例えば、Ｆａｓｔｅｒ  Ｒ−ＣＮＮのＣＮＮをＩｍａｇｅＮｅｔデーターベースにより学習済みの１６層ネットワークＶＧＧ−１６として構成した場合、例えば、３・４・５層の３層の出力のうち、現フレームにおける被写体「Ａ」のフィルタ対象領域に相当する領域内の出力を特徴量とする。
【００６３】
ここで、フィルタ対象領域とは、例えば、Ｆａｓｔｅｒ  Ｒ−ＣＮＮの位置検出結果として得られるバウンディングボックスの中心位置を保ちつつ、例えば、バウンディングボックスの大きさ（広さ）を所定の倍率（例えば、縦横３倍）に拡大した領域のことを指す。
【００６４】
なお、区分処理フレーム群の現フレームのうち、フィルタ対象領域からＨＯＧ（Histogram of Oriented Gradients）特徴量を算出し、被写体特徴量として用いてもよい。また、マルチスケールのガボールフィルタをフィルタ対象領域に適用することで得られるガボール特徴量を多チャンネルの被写体特徴量として用いることも可能である。
【００６５】
すると、被写体位置検出部１２０は、Ｓ２０７のステップで算出された被写体特徴量に基づいて、次フレームに適用するための相関フィルタ係数を算出する（Ｓ２０９）。例えば、相関フィルタには、線形カーネルを用いる相関フィルタを用いる。
【００６６】
次フレームに適用するための相関フィルタ係数は、例えば、Ｓ２０７のステップで算出された被写体特徴量と、現フレームより前のフレームで算出された被写体特徴量とを、例えば、リッジ回帰を用いて正則化し、回帰分析することで得られた平滑済み被写体特徴量から算出することができる。この場合、平滑済み被写体特徴量は、被写体特徴量を時系列的に平滑化した特徴量となる。つまり、被写体位置検出部１２０は、相関フィルタ係数を時系列的に平滑化していると言える。なお、リッジ回帰の代わりにラッソ回帰を用いてもよい。
【００６７】
なお、次フレームに適用するための相関フィルタ係数は、平滑済み被写体特徴量を用いず、Ｓ２０７のステップで算出された被写体特徴量のみから算出してもよい。
このような構成にすることで、相関フィルタの係数を高速に算出することができるという効果が得られる。
【００６８】
また、例えば、被写体特徴量として畳み込みニューラルネットワークの複数の層における出力を用いる場合、ＣＮＮのある層での出力値を１チャンネルとみなすことで、相関フィルタとして、例えば、線形カーネルを用いる相関フィルタを多チャンネルに拡張したＤＣＦ（Dual Correlation Filter）等を用いることができる。
このような構成にすることで、相関フィルタの精度をより向上させることができるという効果が得られる。
【００６９】
次フレームに適用するための相関フィルタ係数が算出されると、被写体識別部１１０は、区分処理フレーム群の次フレーム（例えば、この場合は２フレーム目）について、現フレームにおけるフィルタ対象領域と対応する（位置と広さが同じ）領域についてのＣＮＮの特徴抽出結果を、フィルタ対象領域内被写体特徴量として算出する（Ｓ２１１）。
【００７０】
そして、被写体位置検出部１２０は、Ｓ２０９のステップで算出された相関フィルタ係数に基づいて、フィルタ対象領域内被写体特徴量に相関フィルタを適用（畳み込み）し、フィルタ結果が最大値を取る座標（以下、「ヒートポイント」と称する。）を次フレーム（例えば、この場合は区分処理フレーム２フレーム目）における被写体位置検出結果として算出する（Ｓ２１３）。
被写体位置検出部１２０は、得られたヒートポイントと、フィルタ対象領域の設定に用いたバウンディングボックスの大きさ（例えば、バウンディングボックスの縦辺・横辺の長さ）と、第１フレーム番号および被写体識別ＩＤとを紐づけて、被写体位置情報として被写体位置情報一時記憶部２２０へ記憶させる。
なお、区分処理フレーム群の先頭フレームにおいては、被写体位置検出部１２０は、例えば、フィルタ対象領域の中心位置（すなわちＳ２０３のステップで得られたバウンディングボックスの中心位置）を、ヒートポイントとする。
【００７１】
次いで、被写体位置検出部１２０は、区分処理フレーム群の全てのフレームにおいて、所定の被写体識別ＩＤ（例えば「Ａ」）について、被写体位置情報が得られたか否かの判定を行う（Ｓ２１５）。
区分処理フレーム群の全てのフレームにおいて被写体位置情報が得られていない場合（Ｓ２１５：ＮＯ）、被写体識別部１１０と被写体位置検出部１２０とは、被写体識別ＩＤを固定したまま区分処理フレーム群の次のフレームについてＳ２０７〜Ｓ２１３のステップを繰り返す。
【００７２】
図６は、ある区分処理フレーム群における、被写体識別・位置検出処理におけるフィルタ対象領域の設定と、ヒートポイントの検出とに関する一例を示す図である。図６に示す区分処理フレーム群には、例えば、室内で一人の人物が椅子に座った状態から立ち上がるまでの映像が収録されている。
【００７３】
図６の左上に示される区分処理フレーム１フレーム目において、Ｓ２０３のステップに基づく人物の顔領域検出結果として、点線矩形で示されるバウンディングボックスが決定される。すると、例えば、バウンディングボックスの中心点を基準として、バウンディングボックスを３倍に拡大した領域をフィルタ対象領域Ｆ１として設定する。図６では、フィルタ対象領域は一点鎖線の矩形として示されている。
【００７４】
被写体識別部１１０は、区分処理フレーム１フレーム目のＦ１内画像をＣＮＮに入力し、１フレーム目における被写体の特徴量を算出する。そして、被写体識別部１１０は、Ｓ２０９のステップに基づいて、１フレーム目における特徴量から２フレーム目で用いる相関フィルタの係数を算出する。
【００７５】
図６の右上に示される区分処理フレーム２フレーム目において、被写体位置検出部１２０は、Ｆ１と同じ位置・大きさのフィルタ対象領域Ｆ２から得られるフィルタ対象領域内被写体特徴量に相関フィルタを適用し、フィルタリング結果に基づいて、フィルタリング値が最大となるヒートポイントを決定する。図６では、ヒートポイントは「×」の交点で示されている。
【００７６】
次いで、図６の左下に示される区分処理フレーム２フレーム目において、被写体位置検出部１２０は、算出されたヒートポイントを中心とし、Ｆ１と同じ大きさであるフィルタ対象領域Ｆ３を決定する。そして、被写体識別部１１０は、区分処理フレーム２フレーム目のＦ３内画像をＣＮＮに入力し、２フレーム目における被写体の特徴量を算出する。被写体識別部１１０は、２フレーム目における特徴量から３フレーム目で用いる相関フィルタの係数を算出する。
【００７７】
図６の右下に示される区分処理フレーム３フレーム目において、被写体位置検出部１２０は、Ｆ３と同じ位置・大きさのフィルタ対象領域Ｆ４に相関フィルタを適用し、フィルタリング結果に基づいて、フィルタリング値が最大となるヒートポイントを決定する。
以降のフレームについても繰り返して同様に処理が行われる。
【００７８】
所定の被写体識別ＩＤ（例えば「Ａ」）について、区分処理フレーム群の全てのフレームにおいて被写体位置情報が得られた場合には（Ｓ２１５：ＹＥＳ）、被写体位置検出部１２０は、全ての被写体識別ＩＤにおいて区分処理フレーム群における被写体位置情報が得られたか否かの判定を行う（Ｓ２１７）。
全ての被写体識別ＩＤにおいて被写体位置情報が得られていない場合（Ｓ２１７：ＮＯ）、被写体識別部１１０と被写体位置検出部１２０とは、異なる被写体識別ＩＤ（例えば「Ｂ」）について、区分処理フレーム群の１フレーム目からＳ２０７〜Ｓ２１５のステップを実行し、被写体位置情報を求める。
【００７９】
全ての被写体識別ＩＤにおいて被写体位置情報が得られた場合には（Ｓ２１７：ＹＥＳ）、被写体識別部１１０は、第１フレーム群の全てのフレームにおいて被写体位置情報が得られたか否かの判定を行う（Ｓ２１９）。
【００８０】
第１フレーム群の全てのフレームにおいて被写体位置情報が得られていない場合（Ｓ２１９：ＮＯ）、被写体識別部１１０は、第１フレーム群２３０の未処理フレーム群のうち先頭からＱフレーム（例えば、第１フレーム番号Ｑから第１フレーム番号２Ｑ−１まで）のフレーム群を新たな区分処理フレーム群として抽出する（Ｓ２０１）。そして、被写体識別部１１０と被写体位置検出部１２０とは、Ｓ２０３〜Ｓ２１７のステップを繰り返す。
【００８１】
第１フレーム群の全てのフレームにおいて被写体位置情報が得られた場合には（Ｓ２１９：ＹＥＳ）、被写体識別部１１０と被写体位置検出部１２０とは、処理を終了する。
【００８２】
なお、Ｓ２１３のステップにおいて、フィルタ対象領域内被写体特徴量に相関フィルタを適用したフィルタ結果の最大値が所定の閾値を下回る場合、被写体位置検出部１２０は、フィルタ対象領域から所定の被写体識別ＩＤで識別される被写体が外れたと判断する。この場合、被写体位置検出部１２０は、不図示の表示部に警告メッセージを表示させ、処理を中断してもよい。
このような構成にすることで、被写体が想定外に大きく動いてしまう場合でも、不適切なワイプを生成することを防止することができる。
【００８３】
もしくは、被写体位置検出部１２０は、フィルタ結果の最大値が所定の閾値を下回る区分処理フレーム群の1つ前のフレームで追跡を中止し、被写体識別部１１０と被写体位置検出部１２０とは、区分処理フレーム群の1つ前のフレームまでを新たな区分処理フレーム群として処理を行う（区分処理フレーム群のフレーム数Ｑは可変となる）ようにしてもよい。
この場合には、被写体位置検出部１２０によって、フィルタ対象領域から所定の被写体識別ＩＤで識別される被写体が外れたと判断された場合、被写体識別部１１０は被写体が外れたフレームにおいて新たに被写体の識別を実行する。以降の処理は同様である。
このような構成にすることで、被写体が想定外に大きく動いてしまう場合でも、適切にワイプを生成することが期待できる。
【００８４】
また、被写体識別部１１０と、被写体位置検出部１２０とは、区分処理フレーム群を用いず、第１フレーム群２３０の全てのフレームを一括して処理してもよい。この場合、「区分処理フレーム群のフレーム数Ｑ＝第１フレーム群２３０の総フレーム数」とし、上記の処理を実行すればよい。
【００８５】
［被写体位置スタビライズ処理］
任意のフレーム群におけるフレームの位置をｘ―ｙ座標系で表すとする。この場合、図２のＳ１０１のステップにおいて被写体位置情報一時記憶部２２０に記憶される被写体位置情報Ｌ（ｐ）を、例えば、次のように定義する。
Ｌ（ｐ）＝［（ｘｐ［ｔ］，ｙｐ［ｔ］），（Ｂｘｐ［ｔ］，Ｂｙｐ［ｔ］）］
【００８６】
ここで、ｐは被写体識別ＩＤを表す変数である。また、（ｘｐ［ｔ］，ｙｐ［ｔ］）は、被写体識別ＩＤがｐで識別される被写体における、第１フレーム番号ｔのヒートポイントの位置座標を表す。（Ｂｘｐ［ｔ］，Ｂｙｐ［ｔ］）は、被写体識別ＩＤがｐで識別される被写体における、第１フレーム番号ｔのバウンディングボックスのｘ座標系での長さと、ｙ座標系での長さとの組を表す。
ただし、第１フレーム群２３０の総フレーム数をＴとすると、ｔは「０≦ｔ＜Ｔ」の整数値を取る。
【００８７】
ここで、特定の被写体識別ＩＤ（例えば、ｐ＝「Ａ」）で識別される被写体に着目すると、被写体位置情報は以下の式で表すことができる。
Ｌ＝［（ｘ［ｔ］，ｙ［ｔ］），（Ｂｘ［ｔ］，Ｂｙ［ｔ］）］
例えば、被写体が人物の顔の場合、位置座標（ｘ［ｔ］，ｙ［ｔ］）は所定の人物の顔の中心を表す離散時間での位置座標を表す。
また、（Ｂｘ［ｔ］，Ｂｙ［ｔ］）は、図４のＳ２０１のステップにおいて用いられたある１つの区分処理フレーム群に属するｔについて、被写体識別ＩＤごとに共通の値を取るバウンディングボックスの大きさである。
【００８８】
被写体位置スタビライズ処理では、位置座標（ｘ［ｔ］，ｙ［ｔ］）は多くの時間（多くの第１フレーム番号）においてほぼ変化がない、という前提に立ち、例えば、以下の２つの条件（１）、（２）に従うように位置座標（ｘ［ｔ］，ｙ［ｔ］）のフレーム間方向（時間軸方向）における平滑化を行う。ここでは、平滑化を行った後の位置座標を（ｘ′［ｔ］，ｙ′［ｔ］）とする。
（１）位置座標（ｘ［ｔ］，ｙ［ｔ］）にほぼ変化がないフレーム区間では、位置座標（ｘ′［ｔ］，ｙ′［ｔ］）を静止させる。
（２）位置座標（ｘ［ｔ］，ｙ［ｔ］）に動きがある（変化がある）フレーム区間では、位置座標（ｘ′［ｔ］，ｙ′［ｔ］）をなめらかに追従させる。
【００８９】
以後、上記の条件（１）を満たすようなフレーム区間を「静止区間」と呼称し、上記の条件（２）を満たすようなフレーム区間を「変化区間」と呼称する。
【００９０】
すると、平滑化の方法は、例えば、以下の条件（Ａ）〜（Ｇ）を満たすコスト関数Ｊを定義し、そのコスト関数Ｊを最小化する区間の分け方を決定することに帰着させることができる。
（Ａ）フレーム群をＭ個の区間に分割する（ただし、ＭはＴより小さい正の整数）。
（Ｂ）それぞれの区間に「静止区間」もしくは「変化区間」を割り当てる。
（Ｃ）静止区間は連続してはならない。
（Ｄ）変化区間は連続してもよい。
（Ｅ）静止区間は長い（多くのフレームが連続する）方がよい。
（Ｆ）区間の分割数Ｍはなるべく小さい方がよい。
（Ｇ）処理の前後において位置座標の差は小さい方がよい。
【００９１】
ここで、上記の条件に従い分割されるｍ番目の区間（０≦ｍ＜Ｍ；ｍは整数）における第１フレーム番号ｔの集合をＳｍとする。集合Ｓｍは、例えば、Ｍ＝３とするとき、具体的にはＳ０＝｛０，１，・・・，ｔ−１｝、Ｓ１＝｛ｔ，ｔ＋１，・・・，Ｔ−３｝、Ｓ２＝｛Ｔ−２，Ｔ−１｝などのように考えうる。
そこで、以下のような関数ｉ［ｔ］を定義する。
【数１】
0006846783.tif 000002
【００９２】
この場合、コスト関数Ｊは以下の式のように定義することができる。
【数２】
0006846783.tif 000003
【００９３】
コスト関数Ｊの第一項は、静止区間と変化区間とが頻繁に入れ替わらないように拘束する区間分割コストである。第二項は、平滑化後に静止区間がなるべく長いフレームを占めるように拘束する変化区間コストである。第三項は、平滑化処理前の位置座標と平滑化処理後の位置座標との変化をなるべく小さくするための位置座標誤差コストである。
ｋ１，ｋ２，ｋ３は、各項の係数（パラメーター）である。
【００９４】
ｍ番目の区間が静止区間の場合、静止区間内において（ｘ′［ｔ］，ｙ′［ｔ］）は定数とみなすことができる。
すなわち、（ｘ′［ｔ］，ｙ′［ｔ］）のＳｍ内におけるｔについての平均値を（ｘｍ、ｙｍ）とすると、Ｓｍ内のｔにおいて、例えば、（ｘ′［ｔ］，ｙ′［ｔ］）＝（ｘｍ、ｙｍ）とおける。
【００９５】
また、ｍ番目の区間が変化区間の場合、変化区間内において位置座標が滑らかに移動するという前提に立ち、（ｘ′［ｔ］，ｙ′［ｔ］）は線形に変化するとみなすことができる。
すなわち、Ｓｍ内におけるｔについて、例えば、（ｘ′［ｔ］，ｙ′［ｔ］）＝（ａｍｔ＋ｂｍ，ｃｍｔ＋ｄｍ）とおける。ただし、ａｍ，ｂｍ，ｃｍ，ｄｍは区間ごとの定数であり、例えば、線形回帰法を用いて算出することができる。
【００９６】
すると、コスト関数Ｊは以下のようになる。
【数３】
0006846783.tif 000004
【００９７】
式（３）のコスト関数Ｊを最小化するＭと、集合Ｓｍ（０≦ｍ＜Ｍ）の分割区間と、集合Ｓｍの属性（静止区間か変化区間か）とは、静止区間は連続してはならない点に注意することで、例えば、動的計画法（ＤＰ；Dynamic Programming）を用いて算出することができる。
【００９８】
この時、計算コストはＯ（Ｔ３）となるが、例えば、コスト関数Ｊの第三項（位置座標誤差コスト）に関して動的計画法に先んじて一部を計算し記憶部に保存したものを動的計画法計算時に使いまわすことで、計算コストを減らすことが可能である（いわゆるオンラインＤＰからオフラインＰＤへの変換）。
【００９９】
なお、コスト関数Ｊを最小化するパラメータ群を算出する手法は、動的計画法に限定されない。例えば、コスト関数Ｊを評価関数とする遺伝的アルゴリズム（ＧＡ；Genetic Algorithm）を用いて求めることも可能である。
【０１００】
また、コスト関数Ｊは、式（３）に示すものに限定されない。例えば、式（３）の第三項を省略することも可能である。この場合、スタビライズ処理の精度が落ちる可能性は生じる（例えば、静止区間にすることが適切ではないフレームが静止区間となる可能性が上がる）が、より高速にパラメータ群を算出でき、結果としてスタビライズ処理に要する時間を減らすことが可能となる。
【０１０１】
コスト関数Ｊを最小化する解が算出されると、被写体位置スタビライズ処理の結果として、平滑化された被写体位置情報Ｌ′を得ることができる。すなわち、
Ｌ′＝［（ｘ′［ｔ］，ｙ′［ｔ］），（Ｂｘ［ｔ］，Ｂｙ［ｔ］）］
となる。
【０１０２】
なお、平滑化の方法は静止区間と変化区間とに分割することに限定されない。例えば、位置座標（ｘ［ｔ］，ｙ［ｔ］）においてフレーム方向軸（すなわち時間軸）ｔに対しての移動平均を算出することで平滑化を行い、平滑化処理後の位置座標（ｘ′［ｔ］，ｙ′［ｔ］）を求めることも可能である。
【０１０３】
上記の処理を全ての被写体識別ＩＤに対して実行することで、スタビライズ部１３０は、被写体位置スタビライズ処理を実行する。
【０１０４】
図７および図８は、スタビライズ処理を行う場合と行わない場合における、ワイプ切り出し枠への影響を示す図である。
図７および図８では、第１フレーム群２３０として、例えば、頷く動作を行う人物が映る映像の「ｔ〜ｔ＋２」までの３フレームを示す。図７および図８の左側にスタビライズ処理を行わない場合におけるワイプ切り出し枠と、そのときのフレーム画像を示す。なお、各図において、ワイプ切り出し枠を二点鎖線で示す。
【０１０５】
図７で示すようにスタビライズ処理を行わない場合、第１フレーム番号ｔ＋１で示される頷いているとき、例えば顔の中心であるヒートポイントの位置は前後のフレームよりも下がる。従って、ワイプ切り出し枠は、ヒートポイントを中心位置とするため、Ｆ５からＦ６では下方に移動し、Ｆ６からＦ７では上方に移動する。
図７の右端に、Ｆ５〜Ｆ７のワイプ切り出し枠に従って切り出された画像を時系列順に縦に並べたものを示す。すると、中間のフレームでは前後のフレームと比べて頭部の位置の変化が少ないため、頷くという動作を把握することが難しい。また、中間のフレームでは前後のフレームと比べて背景（例えば、花瓶の位置）が動くため、視聴者に映像酔い（映像コンテンツを視聴している際に覚える、乗り物酔いに似た感覚）を引き起こさせる可能性が高まる。
【０１０６】
これに対して、図８で示すように本実施例で開示するスタビライズ処理を行った場合、頷きのような一時的なヒートポイントの移動は、静止区間として区分される可能性が高い。すなわち、第１フレーム番号ｔから第１フレーム番号ｔ＋２の区間は、同じ静止区間として処理が行われ、結果として、ワイプ切り出し枠Ｆ８〜Ｆ１０は同じ位置に保たれる。
【０１０７】
図８の右端に、Ｆ８〜Ｆ１０のワイプ切り出し枠に従って切り出された画像を時系列順に縦に並べたものを示す。すると、中間のフレームでは人物の肩の位置が変わらずに頭部が動くため、頷くという動作を容易に把握できる。また、背景は固定されるため、視聴者に映像酔いを引き起こさせる可能性は少ない。
【０１０８】
［実施形態の作用・効果］
本実施形態における映像編集装置（例えば、映像編集装置１）は、第１フレーム群（例えば、第１フレーム群２３０）から被写体を検出する検出手段（例えば、被写体識別部１１０）と、検出手段によって検出された被写体を追跡する追跡手段（例えば、被写体識別部１１０と被写体位置検出部１２０、または被写体位置検出部１２０）と、追跡手段による追跡結果に基づいて、第１フレーム群２３０から被写体が含まれる部分画像（例えば、ワイプ切り出し画像）群を切り出す切り出し手段（例えば、ワイプウインドウ切り出し部１４０）と、切り出し手段によって切り出された部分画像群を、第１フレーム群２３０とは異なる第2フレーム群（例えば、第２フレーム群２４０）に合成する合成手段（例えば、ワイプウインドウ合成部１５０）と、合成手段によって合成されたフレーム群（例えば、出力フレーム群２５０）を出力する出力手段（例えば、ワイプウインドウ合成部１５０）と、を備える。
これによれば、検出手段と追跡手段とを用いることにより、第１フレーム群に含まれる特定の被写体に関する映像の一部分を自動的に追従した部分画像群を生成することが可能になる。そのため、第１フレーム群とは異なる第２フレーム群の所定の小窓領域に部分画像群を合成して表示する手法を、簡易かつ適切に実現することができる。
【０１０９】
また、この場合、追跡手段は、検出手段（例えば、被写体識別部１１０のＦａｓｔｅｒ  Ｒ−ＣＮＮ）によって検出された被写体（例えば、人物の顔）と、相関フィルタ（例えば、ＤＣＦ）とに基づいて、被写体を追跡する。
これによれば、検出手段が被写体以外の情報から強い影響を受けることを防止することができ、結果として、追跡手段に被写体を的確に追跡させることができる。
【０１１０】
また、この場合、追跡手段は、被写体の特徴量（例えば、Ｆａｓｔｅｒ  Ｒ−ＣＮＮのＣＮＮ出力の一部）を用いて算出される係数を有する相関フィルタに基づいて、次フレーム以降の被写体の位置（例えば、ヒートポイント）を推定する推定手段（例えば、被写体位置検出部１２０）を有する。
これによれば、被写体の特徴量を相関フィルタのフィルタ対象とすることが可能となり、推定手段は、フレーム（画像）そのものをフィルタ対象とする場合に比べてより高精度に被写体の位置を推定することができる。
【０１１１】
また、この場合、追跡手段は、推定手段による推定結果（例えば、第１フレーム番号ｔにおけるヒートポイント）に基づいて被写体の次フレームにおける特徴量（例えば、第１フレーム番号ｔ＋１に対するＦａｓｔｅｒ  Ｒ−ＣＮＮのＣＮＮ予測値）を推定し、推定された特徴量に基づいて、次フレームで用いる相関フィルタの係数を決定する演算を繰り返す。
これによれば、推定を行うフレームが進むほど相関フィルタの精度が上がり、結果として、追跡手段における被写体を追跡する性能が向上するという効果が得られる。
【０１１２】
なお、この場合、推定された特徴量に基づいて平滑済み被写体特徴量を推定し、推定された平滑済み被写体特徴量に基づいて、次フレームで用いる相関フィルタの係数を決定する演算を繰り返すようにしてもよい。
これによれば、推定を行うフレームが進むほど相関フィルタ係数は時系列的に平滑化され、結果として、追跡手段における被写体を追跡する性能がより一層向上するという効果が得られる。
【０１１３】
また、この場合、追跡手段による追跡結果（例えば、被写体位置情報）の調整（例えば、平滑化や回転付加）を行う調整手段（例えば、スタビライズ部１３０）をさらに備える。
このような構成にすることで、追跡結果が望ましい結果ではない場合においても、調整手段によって追跡結果を調整することで、目的とする演出効果に応じて部分画像群を適切に生成する可能性を上げることができる。
【０１１４】
また、この場合、調整手段は、追跡手段による追跡結果の平滑化（例えば、移動平均の算出）を行う。
これによれば、追跡手段による追跡結果に異常値（外れ値）が含まれるような場合でも、平滑化によって異常値をならすことで、例えば、同じ被写体において隣接するフレーム間の部分画像が大きく異なるといった、部分画像群の生成結果に与える悪影響を減らすことができる。結果として、ユーザーにとって視聴が快適な部分画像群を生成することができる。
【０１１５】
また、この場合、調整手段は、追跡手段による追跡結果が条件を満たさない（例えば、関数ｉ［ｔ］＝１ではないこと）フレームの区間である抑制区間（例えば、静止区間）では、被写体の位置の変化を抑制する（例えば、位置座標を静止させる）調整を行い、追跡結果が条件を満たす（例えば、関数ｉ［ｔ］＝１であること）フレームの区間である許容区間（例えば、変化区間）では、被写体の位置の変化を許容する（例えば、線形に位置を変化させる）調整を行う。
これによれば、部分画像群における被写体以外の領域の映像が激しく動きまわることを防止することができる。結果として、ユーザーにとってより快適に視聴が可能な部分画像群を生成することが可能となる。
【０１１６】
また、この場合、調整手段は、評価関数（例えば、コスト関数Ｊ）に基づいて抑制区間と許容区間とを分割する。
これによれば、調整手段は、抑制区間と許容区間とを人為的な主観的判断基準ではなく数理的な基準に基づいて決定することができる。結果として、調整手段は自動的かつ適切に調整を行うことが可能となる。
【０１１７】
また、この場合、調整手段は、被写体の各々（例えば、人物「Ａ」、人物「Ｂ」、・・・）について、抑制区間と許容区間とを評価関数（例えば、コスト関数Ｊ）に基づいて分割する。
これによれば、被写体の各々について独立して抑制区間と許容区間とを決定することで、同じフレーム間においてある被写体が静止し、別なある被写体が動いているような場合においても、評価関数に基づいて適切に抑制区間と許容区間とを分割することができる。結果として、調整手段は、被写体の各々がばらばらに（独立して）動いている場合においても適切に調整を行うことができる。
【０１１８】
また、この場合、評価関数（例えば、コスト関数Ｊ）は、抑制区間と許容区間とが切り替わる頻度（例えば、区間分割コスト）、抑制区間で続くフレーム数（例えば、変化区間コスト）、検出手段によって検出された被写体の位置と調整手段による調整後の被写体の位置との距離（例えば、位置座標誤差コスト）、を、少なくとも項に含む。
このような構成にすることで、調整手段は、抑制区間と許容区間の切り替えが多発し部分画像群における被写体以外の領域の映像が不自然に動くことと、調整後に被写体の位置をなるべく静止させることで部分画像群における被写体の領域の映像が安定することと、調整前と調整後との被写体の位置のずれが大きくなることと、のバランスを保ちながら調整を行うことができる。結果として、調整手段はユーザーにとってより快適に視聴が可能な部分画像群を生成するための調整を行うことができる。
【０１１９】
また、この場合、検出手段は、第１フレーム群から連続する所定フレーム数（例えば、Ｑフレーム）を抽出した単位フレーム群（例えば、区分処理フレーム群）の先頭の所定数のフレーム（例えば、先頭フレーム）で被写体を検出（例えば、Ｆａｓｔｅｒ  Ｒ−ＣＮＮによる被写体の識別とその位置の検出）し、追跡手段は、単位フレーム群の残りのフレームで被写体を追跡（例えば、ヒートポイントを算出）する。
このような構成にすることで、第１フレーム群の１フレーム目の被写体の検出結果と比べて大きな変化が生じる可能性が高い後半のフレームにおいても、追跡手段が適切に被写体を追跡することを可能とすることができる。結果として、追跡手段における被写体を追跡する性能が向上する。
もしくは、検出手段は、第１フレーム群の全てのフレームで被写体を検出する必要が無くなる。結果として、処理を高速に実行することができる。
【０１２０】
［実施例］
次に、上記の映像編集装置１を適用した、または上記の映像編集装置１を備える端末、電子装置（電子機器）、情報処理装置の実施例について説明する。
ここでは、一例として、映像編集用コンピュータの一種である映像編集用ＰＣ（Personal Computer）の実施例について説明する。但し、本発明を適用可能な実施例が、この実施例に限定されるわけでないことは勿論である。
【０１２１】
図９は、映像編集用ＰＣ１０の機能構成の一例を示す図である。
映像編集用ＰＣ１０は、例えば、処理部１００と、記憶部２００と、操作部３１０と、表示部３２０と、音入力部３３０と、音出力部３４０と、通信部３５０とを備える。
【０１２２】
処理部１００は、記憶部２００に記憶されているシステムプログラム等の各種プログラムに従って映像編集用ＰＣ１０の各部を統括的に制御し、映像編集処理に係る各種の処理を行う処理装置であり、ＣＰＵやＧＰＵ、ＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。
【０１２３】
処理部１００は、主要な機能部として、被写体識別部１１０と、被写体位置検出部１２０と、スタビライズ部１３０と、ワイプウインドウ切り出し部１４０と、ワイプウインドウ合成部１５０とを有する。これらの機能部は、図１の映像編集装置１が備える機能部にそれぞれ対応するものである。
【０１２４】
記憶部２００は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ＲＡＭ等の揮発性又は不揮発性のメモリや、ハードディスク装置等を有して構成される記憶装置である。
【０１２５】
記憶部２００には、例えば、映像編集プログラム２１０と、被写体位置情報一時記憶部２２０と、第１フレーム群２３０と、第２フレーム群２４０と、出力フレーム群２５０とが記憶される。
【０１２６】
映像編集プログラム２１０は、処理部１００により読み出され、映像編集処理として実行されるプログラムである。この映像編集処理は、例えば、図２に示したフローチャートに基づく処理として実行される。
【０１２７】
被写体位置情報一時記憶部２２０と、第１フレーム群２３０と、第２フレーム群２４０と、出力フレーム群２５０とは、図１の映像編集装置１が備える記憶部、または映像編集装置１に付随する記憶部にそれぞれ対応するものである。
【０１２８】
なお、第１フレーム群２３０と、第２フレーム群２４０と、出力フレーム群２５０とのいずれか、もしくは任意の組み合わせ、もしくは全ては、通信部３５０を介して接続される不図示の外部記憶装置（例えば、ＮＡＳ（Network Attached Storage）等）に保存されるようにしてもよい。
【０１２９】
また、被写体位置情報一時記憶部２２０は、通信部３５０を介して接続される不図示の外部記憶装置（例えば、ＤＡＳ（Direct Attached Storage）等）に保存されるようにしてもよい。
【０１３０】
操作部３１０は、キーボードやマウス等の、ユーザーが映像編集用ＰＣ１０に対する各種の操作入力を行うための入力装置を有して構成される。操作部３１０からは、ユーザー操作に従った操作信号が処理部１００に出力される。
なお、操作部３１０は、表示部３２０と一体的に構成された不図示のタッチパネルを有し、このタッチパネルは、ユーザーと映像編集用ＰＣ１０との間の入力インターフェースとして機能するようにしてもよい。
【０１３１】
表示部３２０は、ＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electro-luminescence Display）等を有して構成される表示装置であり、表示制御部１９０から出力される表示信号に基づいた各種の表示を行う。
なお、表示部３２０は、不図示のタッチパネルと一体的に構成されてタッチスクリーンを形成してもよい。表示部３２０は、出力手段の一種である。
【０１３２】
音入力部３３０は、マイクロフォンやＡ／Ｄコンバータ等を有して構成される音入力装置であり、処理部１００へ入力される音入力信号に基づいた各種の音入力を行う。
【０１３３】
音出力部３４０は、Ｄ／Ａコンバータやスピーカ等を有して構成される音出力装置であり、処理部１００から出力される音出力信号に基づいた各種の音出力を行う。
【０１３４】
通信部３５０は、装置内部で利用される情報を外部の情報処理装置との間で送受するための通信装置である。通信部３５０の通信方式としては、イーサネットやＵＳＢ（Universal Serial Bus）等所定の通信規格に準拠したケーブルを介して有線接続する形式や、Ｗｉ―Ｆｉ（登録商標）や５Ｇ（第５世代移動通信システム）等所定の通信規格に準拠した無線通信技術を用いて無線接続する形式、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を利用して接続する形式等、種々の方式を適用可能である。
通信部３５０は、出力手段の一種である。
【０１３５】
映像編集用ＰＣ１０の処理部１００は、記憶部２００に記憶されている映像編集プログラム２１０に従い、映像編集処理を行う。
【０１３６】
図１０は、本実施例における映像編集装置を利用するアプリケーションにおいて、表示部３２０に表示されるアプリケーション画面の一例を示す図である。このアプリケーション画面は、処理部１００によって映像編集処理が実行される場合に表示される画面の一例である。
【０１３７】
図１０のアプリケーション画面は、上段・中段・下段の三段構成となっている。
アプリケーション画面の上段は、アプリケーション画面のメインメニューである。
メインメニューの上段には、実行中のアプリケーションの名称である「映像編集ソフトウエア」が表示されている。その下に、映像編集ソフトウエアの機能選択メニューが表示されている。
機能選択メニューには、例えば、映像（フレーム群）の尺の編集を実行するための「編集」アイコンと、映像の色調整を実行するための「カラー」アイコンと、映像にワイプを加える処理を実行するための「エフェクト」アイコンと、映像の音声編集を実行するための「オーディオ」アイコンとが横に並んで表示されている。
図１０では、機能選択メニューにおいて、例えば、「エフェクト」アイコンが反転表示されており、「エフェクト」が選択されていることを表している。
【０１３８】
アプリケーション画面の中段左側にはアプリケーション画面の編集設定メニューが、その右側には各映像のプレビュー画像が表示されている。
ここでは、編集設定メニューとして、機能選択メニューにおいて「エフェクト」が選択されることによって、「ワイプ編集メニュー」が表示されている。
【０１３９】
「ワイプ編集メニュー」の上段には、処理部１００において図２のＳ１０１とＳ１０３とのステップを実行させるための機能ボタンである「動画解析開始」と示された動画解析開始ボタンＢＴ１が表示されている。動画解析開始ボタンＢＴ１の下には、後述する「映像１プレビュー」に、ワイプ切り出し枠と、被写体識別ＩＤとを重ねて表示させるための機能ボタンである「人物ＩＤ表示」と示された人物ＩＤ表示ボタンＢＴ２が表示されている。
【０１４０】
「ワイプ編集メニュー」の中段には、図２のＳ１０５とＳ１０７とのステップを実行するときに必要なパラメータである、ワイプウインドウサイズと、ワイプウインドウ位置と、ワイプウインドウ内に重ねる被写体の被写体識別ＩＤとを指定するための「ワイプ１」領域が表示されている。図１０において、「ワイプ１」領域では、ワイプウインドウサイズが（ａ，ｂ）、ワイプ位置が（ｃ，ｄ）であることがユーザー操作に基づいて指定され、このときワイプウインドウ内に合成する人物ＩＤが被写体識別ＩＤ「Ｃ」であることがユーザー操作に基づいて指定されていることを表している。
【０１４１】
なお、「ワイプ１」領域以外に、例えば、「ワイプ２」領域や「ワイプ３」領域で上記と同様に指定を受け付けることを可能とし、複数のワイプウインドウを表示し、合成することを可能にしてもよい。
【０１４２】
また、人物ＩＤの指定欄の下部には、このワイプウインドウを一時的に非表示にする（すなわち、第２フレーム群２４０の部分フレーム群がそのまま出力フレーム群２５０に複製される）ための、「非表示」チェックボックスが表示されている。
【０１４３】
「ワイプ編集メニュー」の下段には、図２のＳ１０５とＳ１０７とのステップを、後述する映像選択メニューで指定されるフレーム（以下、「スタートフレーム」と称する。）から実行させるための機能ボタンである「右三角」で表される開始アイコンＣＮ１と、実行中の図２のＳ１０５とＳ１０７とのステップを中断（一時停止）させるための機能ボタンである「四角」で表される中断アイコン（一時停止アイコン）ＣＮ２と、スタートフレームを時系列の前後に移動させるための機能ボタンである「左三角に縦棒」で表される巻き戻しアイコンＣＮ３・「右三角に縦棒」で表される早送りアイコンＣＮ４とが横に並んで表示されている。
【０１４４】
アプリケーション画面の中段右側の各映像プレビュー画像には、例えば、第１フレーム番号ｔのフレームが「映像１プレビュー」に、第２フレーム番号ｔのフレームが「映像２プレビュー」に、出力フレーム番号ｔのフレームが「出力プレビュー」に、それぞれ表示されている。すなわち、各プレビューはフレームに同期して変化する。
例えば、図１０では、映像１プレビュー内の被写体識別ＩＤ「Ｃ」で識別される人物の顔が、「ワイプ１」領域で指定されるワイプウインドウに合成され、映像２プレビューと重畳させることで出力プレビューが得られる。なお、第１フレーム群２３０と、第２フレーム群２４０と、出力フレーム群２５０との映像の内容については、図３と同様であるため詳細な説明は省略する。
【０１４５】
アプリケーション画面の下段には、第１フレーム群２３０と、第２フレーム群２４０と、出力フレーム群２５０とを指定し、図２のＳ１０５とＳ１０７とのステップを実行させる各フレーム番号を指定するスタートフレームを調整するための「映像選択メニュー」が表示されている。
【０１４６】
「映像選択メニュー」の左側上部には、映像ファイルを検索する際に用いられる検索ウインドウが表示されている。
検索ウインドウの下部には、映像１（第１フレーム群２３０）として「スタジオ．ｍｐ４」が、映像２（第２フレーム群２４０）として「風景．ｍｐ４」が、出力（出力フレーム群２５０）として「ワイプ合成．ｍｐ４」が、それぞれ映像ファイル名として指定されていることが表示されている。また、これらの映像のフレームレートは３０ｆｐｓであり、フレーム先頭からの時刻「００：００：００」が映像の先頭としてセットされていることが表示されている。
【０１４７】
映像選択メニューの右側には、映像１と映像２との時間軸方向（例えば左から右）での配置関係を模式的に表すタイムラインパネルが表示されている。タイムラインパネルの上端には、時間軸方向の目盛りが表示されている。例えば、図１０では、映像１を表す長方形と、映像２を表す長方形とは、横辺の長さが等しいため、同じ録画時間（この場合１２秒）であることが表示されている。
【０１４８】
タイムラインパネルにはそれを上下に貫くバー（以下、「シークバー」と称する。）ＳＢが表示されている。例えば、図１０では、シークバーＳＢは「００：００：００」を指していることを表す。シークバーＳＢの位置は、スタートフレームの位置と対応している。すなわち、「ワイプ編集メニュー」の開始アイコンＣＮ１がユーザー操作に基づいて押される場合、シークバーＳＢが右に移動し、図２のＳ１０５とＳ１０７とのステップを実行させる各フレーム番号が増加する。シークバーＳＢの移動に伴い、プレビュー画面も変化する。そして、映像２を表す長方形の下に、ワイプ映像の出力（出力フレーム群２５０）を表す長方形が、時間「００：００：００」とシークバーＳＢの間に表示される。
【０１４９】
タイムラインパネルの左側には、編集中のフレーム群への編集操作を禁止するための機能アイコンである「鍵」で表される禁止アイコンＣＮ５と、合成対象から除外するための機能アイコンである「目」で表される除外アイコンＣＮ６とが表示されている。例えば「風景．ｍｐ４」の除外アイコンＣＮ６を有効化した場合、出力プレビューには、規定の背景（例えば、黒塗り画像）にワイプウインドウを重畳させた画像が表示される。
【０１５０】
タイムラインパネル下端のスライダーは、タイムラインパネルの時間軸を大きく動かす時に用いられるスライダーである。
【０１５１】
映像編集処理は、例えば、図２に示したフローチャートに従って実行される。
この場合、図２の処理において、処理部１００は、Ｓ１０１において、まず映像編集用ＰＣ１０のユーザーに対して、例えば、ワイプウインドウに合成する対象の被写体である人物の顔が映っている第１フレーム群２３０（例えば、スタジオのＶＴＲ映像）と、ワイプウインドウを合成する第２フレーム群２４０（例えば、風景のＶＴＲ映像）と、ワイプ合成された映像である出力フレーム群２５０とを、映像選択メニューにおいて指定させる表示を、表示部３２０に表示させる。
【０１５２】
第１フレーム群２３０と第２フレーム群２４０とがユーザーの操作部３１０に対する操作に基づいて指定されると、処理部１００は、シークバーＳＢの位置に基づいて、例えば、第１フレーム番号が０のフレームと、第２フレーム番号が０のフレームとを、動画プレビューとして表示部３２０に表示させる。そして、処理部１００は、ユーザーにＳ１０１とＳ１０３とのステップを実行することを選択させる動画解析開始ボタンＢＴ１を有効化させる。
【０１５３】
ユーザー操作に基づいて動画解析開始ボタンＢＴ１が押される（クリックされる）と、処理部１００は、Ｓ１０１とＳ１０３とのステップを実行する。
第１フレーム群２３０の全てのフレームにおいてＳ１０３のステップを実行すると、処理部１００は、Ｓ１０３までの処理が完了したことを示す、例えば「動画解析完了」のメッセージを表示部３２０に表示させる。
すると、処理部１００は、ワイプ編集メニューに対するユーザー操作に基づいて、ワイプウインドウサイズを受け付ける。
そして、処理部１００は、被写体の位置と、その被写体の被写体識別ＩＤとを映像１プレビューに重ねて表示することを選択させる人物ＩＤ表示ボタンＢＴ２を有効化させる。
【０１５４】
ユーザー操作に基づいて人物ＩＤ表示ボタンＢＴ２が押される（クリックされる）と、処理部１００は、映像１プレビューに、Ｓ１０１のステップにおいてその第１フレーム番号で検出された被写体におけるワイプ切り出し枠と、検出された被写体を識別するための被写体識別ＩＤとを、被写体位置情報一時記憶部２２０から読み出し、重複させて表示させる。
【０１５５】
そして、処理部１００は、ワイプ編集メニューに対するユーザー操作に基づいて、ワイプウインドウサイズと、ワイプウインドウ位置と、ワイプウインドウ内に重ねる被写体の被写体識別ＩＤ（人物ＩＤ）とを操作部３１０を介して受け付ける。
【０１５６】
なお、処理部１００は、これらのパラメータを、例えば、音入力部３３０を介する音声入力で受け付けるようにしてもよい。
【０１５７】
すると、処理部１００は、シークバーＳＢの位置に基づいて、例えば第２フレーム番号が０のフレームに対してＳ１０５とＳ１０７とのステップを実行し、得られる出力フレーム番号０のフレームを動画プレビューとして表示部３２０に表示させる。
【０１５８】
ユーザー操作に基づいて、シークバーＳＢで指し示されるフレームからのワイプ合成開始を意味する開始アイコンＣＮ１が押される場合、処理部１００は、以降のフレームについて、中断アイコンＣＮ２が押されるまで、Ｓ１０５とＳ１０７とのステップを１フレーム毎に実行し、出力フレーム群２５０を逐次生成し出力する。この場合、処理部１００は、処理が行われた第１フレーム番号、第２フレーム番号及び出力フレーム番号のフレームを、プレビュー画像として表示部３２０に逐次表示させる。また、処理部１００は、処理フレームと連動するようにシークバーＳＢを右に移動させ表示させる。
【０１５９】
ユーザーによって中断アイコンＣＮ２が押されると、処理部１００は、Ｓ１０５とＳ１０７とのステップを中断（一時停止）する。そして、処理部１００は、ワイプ編集メニューに対するユーザー操作を再び受け付ける。
再び開始アイコンＣＮ１が押されると、処理部１００は、ワイプ指定領域に対するユーザー入力に基づいて、Ｓ１０５とＳ１０７とのステップを１フレーム毎に実行し、出力フレーム群２５０を逐次生成し出力する。この場合、処理部１００は、上記と同様にプレビュー画像とシークバーＳＢとを表示部３２０に更新して表示させる。
【０１６０】
図１１に、被写体識別ＩＤを編集途中で変化させる場合のプレビュー画像の一例を示す。
なお、第１フレーム群２３０と、第２フレーム群２４０との映像の内容については図３と同様であるため詳細な説明は省略する。
図１１の上左側は、第１フレーム番号ｔにおいて人物ＩＤ表示ボタンＢＴ２を有効化させた場合の第１プレビューにおける表示の一例である。このとき、第１フレーム番号ｔのフレームには、５人の人物が映っており、それぞれ被写体ＩＤが「Ａ」〜「Ｅ」に割り振られていることがわかる。
図１１の下左側は、第１フレーム番号ｔにおいて、被写体識別ＩＤを「Ａ」と指定される場合の出力プレビューにおける表示の一例である。この場合、映像２プレビューの画像（風景画像）に、ワイプウインドウを合成した画像が出力プレビューとして表示され、そのときのワイプウインドウには、被写体識別ＩＤ「Ａ」で識別される人物が合成（オーバーレイ）されている。
【０１６１】
図１１の上右側は、第１フレーム番号ｔ＋１において人物ＩＤ表示ボタンＢＴ２を有効化させた場合の第１プレビューにおける表示の一例である。詳細については、図１１の上左側と同様なため説明は省略する。
図１１の下右側は、第１フレーム番号ｔ＋１において、被写体識別ＩＤを「Ｃ」と指定される場合の出力プレビューにおける表示の一例である。この場合、映像２プレビューの画像（第２フレーム番号ｔ＋１のフレーム）には、例えば、フレーム右側から走行してきた車の前方が映りこむ。それに合わせて、例えば、被写体識別ＩＤ「Ｃ」で識別される人物が車について言及を始めたとする。この場合、ユーザー操作に基づいて、ワイプウインドウに表示させる人物を、「Ａ」の人物から「Ｃ」の人物に切り替える。すると、出力プレビューのワイプウインドウには、被写体識別ＩＤ「Ｃ」で識別される人物が合成（オーバーレイ）される。
このように編集の途中で被写体識別ＩＤを適宜切り替えることで、出力フレーム群２５０の視聴者に、あたかも第１フレーム群２３０の撮影現場にいるかのような演出効果を与えることができる。
【０１６２】
図１２に、ワイプウインドウの位置を編集途中で変化させる場合のプレビュー画像の一例を示す。
なお、第１フレーム群２３０と、第２フレーム群２４０との映像の内容については図３と同様であるため詳細な説明は省略する。
図１２の上左側は、第１フレーム番号ｔにおいて人物ＩＤ表示ボタンＢＴ２を有効化させた場合の第１プレビューにおける表示の一例である。この場合、第１フレーム番号ｔのフレームには、５人の人物が映っており、それぞれ被写体ＩＤが「Ａ」〜「Ｅ」に割り振られていることがわかる。
図１２の下左側は、第１フレーム番号ｔにおいて、ワイプウインドウの位置がフレーム右上部に、被写体識別ＩＤが「Ａ」にそれぞれ指定される場合の出力プレビューにおける表示の一例である。この場合、映像２プレビューの画像（風景画像）の右上方に、ワイプウインドウを合成した画像が出力プレビューとして表示され、そのときのワイプウインドウには、被写体識別ＩＤ「Ａ」で識別される人物が合成（オーバーレイ）されている。
【０１６３】
図１２の上右側は、第１フレーム番号ｔ＋１において人物ＩＤ表示ボタンＢＴ２を有効化させた場合の第１プレビューにおける表示の一例である。詳細については図１２の上左側と同様なため説明は省略する。
図１２の下右側は、第１フレーム番号ｔ＋１において、被写体識別ＩＤを変化させずにワイプウインドウの位置をフレーム左上部に変化させる（移動させる）場合の出力プレビューにおける表示の一例である。この場合、映像２プレビューの画像（第２フレーム番号ｔ＋１のフレーム）には、例えば、フレーム右側に上下を覆う形でスノーボードを持つ人物が映りこむ。それに合わせて、例えば、被写体識別ＩＤ「Ａ」で識別される人物がスノーボードについて言及を始めたとする。この場合、ユーザー操作に基づいて、スノーボードと重ならない位置に、ワイプウインドウの位置が変更される。すると、出力プレビューのワイプウインドウの位置は、フレーム左上部へと移動する。また、出力プレビューのワイプウインドウには、被写体識別ＩＤ「Ａ」で識別される人物が合成（オーバーレイ）され続ける。
このように編集の途中でワイプウインドウの位置を適宜切り替えることで、出力フレーム群２５０の視聴者に、第２フレーム群２４０のコンテンツ内容を邪魔することなく伝えることができる。
なお、同様にしてワイプウインドウの大きさを適宜切り替えることも可能である。
【０１６４】
処理部１００は、第１フレーム群２３０の全てのフレームにおいて図２のＳ１０５とＳ１０７とのステップを実行すると、出力フレーム群２５０として指定された映像ファイル（例えば、「ワイプ合成．ｍｐ４」）に、出力フレーム群２５０を保存し、処理を終了する。
【０１６５】
なお、第１フレーム群２３０と、第２フレーム群２４０との長さ（映像録画時間）は等しいことに限定されない。
また、第２フレーム群２４０と、出力フレーム群２５０との長さ（映像録画時間）は等しいことに限定されない。
【０１６６】
例えば、Ｓ１０５とＳ１０７とのステップが一時中断した状態において、ユーザー操作に基づいて不図示の「保存」ボタンが押される場合、処理部１００は、現時点において処理が行われた（シークバーＳＢの左側に表示される領域に対応する）出力フレーム群２５０の部分フレーム群を、指定された映像ファイル（例えば、「ワイプ合成．ｍｐ４」）に保存し処理を終了してもよい。
この場合、出力フレーム群２５０の長さ（映像録画時間）は、任意の長さに設定することが可能である。
【０１６７】
また、第１フレーム群２３０の長さ（映像録画時間）が第２フレーム群２４０との長さ（映像録画時間）よりも長い場合、処理部１００は、第２フレーム群２４０の全てのフレームにおいて図２のＳ１０５とＳ１０７とのステップを実行すると、出力フレーム群２５０を保存し、処理を終了してもよい。
この場合、第１フレーム群２３０と、第２フレーム群２４０との長さ（映像録画時間）が等しくなくても、処理を実行することが可能である。
【０１６８】
さらに、第１フレーム群２３０の長さ（映像録画時間）が第２フレーム群２４０との長さ（映像録画時間）よりも短い場合、第２フレーム群２４０のフレーム先頭からの時刻を、例えば、ユーザーがタイムラインパネルに表示される第２フレーム群２４０を表す長方形を横方向にドラッグ操作することに基づいて変更するようにすることができる。例えば、第２フレーム群２４０のフレーム先頭からの時刻が「００：０２：００」（２秒）に設定される場合、ワイプ合成時に、第２フレーム群２４０の先頭から２秒後のフレームを第２フレーム番号が０のフレームとして処理を行う。そして、処理部１００は、第１フレーム群２３０の全てのフレームにおいて図２のＳ１０５とＳ１０７とのステップを実行すると、出力フレーム群２５０を保存し、処理を終了してもよい。
この場合、第２フレーム群２４０の任意の区間に第１フレーム群２３０から生成されるワイプ切り出し画像を合成することが可能である。
【０１６９】
［実施例の作用・効果］
本実施例の映像編集用ＰＣ１０によれば、前述した実施形態と同様の作用・効果を得ることができる。
【０１７０】
また、本実施例の映像編集用ＰＣ１０は、検出手段によって検出された被写体の指定（例えば、操作入力による指定や音入力による指定）を受け付ける受付手段（例えば、ワイプウインドウ切り出し部１４０）をさらに備え、切り出し手段は、受付手段が指定を受け付けた被写体を、第１フレーム群から部分画像（例えば、ワイプ切り出し画像）群として切り出す。
このような構成にすることで、例えば、第１フレーム群に複数の被写体が含まれる場合、切り出し手段が、複数の被写体の中から被写体を選択して部分画像群を生成可能となる。結果として、より効果的な出力を得ることができる。
【０１７１】
また、本実施例の映像編集用ＰＣ１０は、検出手段によって検出された被写体（例えば、人物の顔）と、検出された被写体の各々（例えば、人物「Ａ」と人物「Ｂ」）を識別するための識別情報（例えば、被写体識別ＩＤ）とを対応付ける対応付け手段（例えば、被写体識別部１１０）をさらに備え、受付手段は、識別情報の指定を受け付ける。
このような構成にすることで、例えば、被写体の指定を行う場合、具現化された識別情報によって指定を行うことができる。結果として、ユーザーの利便性を向上させることができる。
【０１７２】
［変形例］
本発明を適用可能な実施形態は、上記の実施形態に限定されない。以下、変形例について説明する。
【０１７３】
＜ワイプウインドウの形状についての変形例＞
上記の実施形態では、ワイプウインドウとして、縦長の矩形領域を用いて説明したが、これに限定されない。例えば、円形領域を用いてもよい。
【０１７４】
この場合には、図２のＳ１０５のステップにおいて、ワイプウインドウ切り出し部１４０は、例えば、バウンディングボックス長辺の長さに基づきワイプ切り出し枠の直径を算出する。そして、ワイプウインドウ切り出し部１４０は、例えば、スタビライズ処理後の位置座標を円の中心としてワイプ切り出し枠を決定し、ワイプ切り出し画像を生成すればよい。
このような構成にすることで、番組に合わせたワイプウインドウの形状を用いることができ、結果として、ワイプの演出効果をより向上させることができる。
【０１７５】
＜複数のワイプウインドウが設定される場合の変形例＞
上記の実施形態では、第２フレーム群２４０に合成するワイプウインドウが一枚の場合について説明したが、これに限定されない。例えば、複数（例えば、２つ）のワイプウインドウを第２フレーム群２４０に並べて合成するようにしてもよい。
【０１７６】
この場合には、ワイプウインドウ切り出し部１４０と、ワイプウインドウ合成部１５０とは、ワイプウインドウの枚数分だけ図２のＳ１０５とＳ１０７とのステップを繰り返し実行する。
なお、ワイプウインドウの枚数を第２フレーム群２４０のフレームごとに変化させてもよい。
【０１７７】
このような構成にすることで、第２フレーム群２４０のあるフレーム内に、抽出された複数の被写体をユーザーに見やすい形でワイプ合成することが可能となり、結果として、ワイプの演出効果をより向上させることができる。
【０１７８】
＜ワイプウインドウに合成する対象が複数のフレーム群に存在する場合の変形例＞
上記の実施形態では、ワイプウインドウ内に合成を行う対象となる被写体が映るフレーム群は１つ（第１フレーム群２３０）として説明したが、これに限定されない。例えば、ワイプウインドウ内に合成を行う対象となる被写体が映るフレーム群として、第１フレーム群２３０と、第１フレーム群２３０および第２フレーム群２４０とは異なる第３フレーム群とを用いるようにしてもよい。
【０１７９】
この場合、例えば、被写体識別ＩＤにフレーム群を識別するための情報を関連付けて付加する。具体的には、例えば、第１フレーム群２３０に映る（第１フレーム群２３０に対して図２のＳ１０１の処理を適用して得られる）被写体「Ａ」の被写体識別ＩＤを「１−Ａ」、第３フレーム群に映る（第１フレーム群２３０の代わりに第３フレーム群を入力として図２のＳ１０１の処理を適用して得られる）被写体「Ａ」の被写体識別ＩＤを「３−Ａ」などと区別する。ただし、被写体識別ＩＤ「１−Ａ」と「３−Ａ」とは、被写体として同一のもの（例えば、同一の人物）を指し示すとは限らない。
【０１８０】
この場合、処理部１００は、入力として第１フレーム群２３０を用いて図２のＳ１０１のステップを実行した後、第１フレーム群２３０の代わりに第３フレーム群を入力として、図２のＳ１０１のステップを実行する。そして、得られた全ての被写体ＩＤに対して、処理部１００は、図２のＳ１０３のステップを実行する。
ワイプウインドウ切り出し部１４０は、入力される被写体識別ＩＤに基づいて、被写体識別ＩＤが第１フレーム群２３０と紐づけられている場合には第１フレーム群２３０から、そうでない場合には第３フレーム群から、ワイプ切り出し画像を生成すればよい。
【０１８１】
このような構成にすることで、複数のワイプ対象となる被写体を単一のアングルからの映像で適切に収めることが難しい場合でも、例えば、複数のアングルに分けて撮影し、ワイプ合成することが可能となる。結果として、単一のフレーム群からではワイプ切り出し画像を適切に生成することが難しい場合でも、複数のフレーム群から被写体を抽出することで適切なワイプ切り出し画像を得ることができる。
【０１８２】
＜被写体識別ＩＤの自動指定＞
上記の実施形態では、図２のＳ１０５のステップにおいて、被写体識別ＩＤは不図示の操作部により指定されるとして説明したが、これに限定されない。例えば、ワイプウインドウ切り出し部１４０は、第１フレーム群２３０の映像解析結果を用いることで、自動的に切り出し対象となる被写体識別ＩＤを決定してもよい。
【０１８３】
この場合、例えば、ワイプウインドウ切り出し部１４０は、被写体識別ＩＤごとに被写体位置情報で示される第１フレーム群２３０の部分領域画像から、各被写体における口唇の動きを検出する。そして、ワイプウインドウ切り出し部１４０は、唇の動きを基に発話検出を実行し、検出された発話対象と紐づく被写体識別ＩＤに、自動的に被写体識別ＩＤを設定する。
【０１８４】
このような構成にすることで、ユーザー操作に基づいて被写体識別ＩＤを指定する必要がなくなり、結果として、より簡易に映像を編集することができる。
【０１８５】
＜ワイプ位置の自動指定＞
上記の実施形態では、図２のＳ１０７のステップにおいて、ワイプウインドウの位置は不図示の操作部により指定されるとして説明したが、これに限定されない。例えば、ワイプウインドウ合成部１５０は、第２フレーム群２４０の映像解析結果を用いることで、自動的にワイプウインドウの位置を決定してもよい。
【０１８６】
この場合、例えば、ワイプウインドウ合成部１５０は、第２フレーム群２４０の映像から、フレーム間変化が大きい部分領域と、フレーム間変化が少ない部分領域とを検出する。そして、ワイプウインドウ合成部１５０は、フレーム間変化が少ない部分領域にワイプウインドウを重ねるように、ワイプウインドウの位置を自動的に設定する。
【０１８７】
このような構成にすることで、ユーザー操作に基づいてワイプウインドウの位置を設定する必要がなくなり、結果として、より簡易に映像を編集することができる。
【０１８８】
なお、同様の手段を用いて、図２のＳ１０５のステップにおいて、ワイプウインドウ切り出し部１４０は、ワイプウインドウの大きさを自動的に決定するようにしてもよい。
【０１８９】
＜ワイプ以外の編集処理＞
上記の実施形態では、映像編集装置が行う編集処理として、ワイプの合成処理を例示したが、これに限定されない。
この他にも、例えば、被写体識別部１１０が、被写体識別機能として、例えば、ニューラルネットワークモデルの一種であるＳｅｇＮｅｔを用いてセマンティックセグメンテーションを実行するようにしてもよい。この場合、矩形領域として検出されていた被写体を含む部分領域は、背景画像からピクセル単位で被写体だけを抜き出した領域（以下、「被写体抽出領域」と呼称する。）となる。
【０１９０】
被写体位置検出部１２０は、例えば、被写体抽出領域の重心位置を中心領域とする一定範囲に相関フィルタを適用し、被写体の重心位置を追跡する。
追跡後の次フレームにおいて、被写体識別部１１０は、再びセマンティックセグメンテーションを実行し、被写体抽出領域を算出する。
すなわち、上記の実施形態では、被写体位置の検出結果は被写体を囲むバウンディングボックスで規定されたが、バウンディングボックスの代わりに被写体抽出領域を用いるようにすることもできる。
【０１９１】
スタビライズ部１３０では、被写体抽出領域の重心位置に対して平滑化処理を実行する。ただし、この場合、平滑化処理は必須ではなく、省略することもできる。
【０１９２】
ワイプウインドウ切り出し部１４０は、被写体識別ＩＤで識別される被写体識別領域を第１フレーム群２３０から切り出した部分画像群を生成する。
【０１９３】
ワイプウインドウ合成部１５０は、この部分画像群を第２フレーム群２４０の所定の位置に重畳し、出力フレーム群２５０として出力する。この場合、ワイプウインドウ合成部１５０は、ワイプウインドウを部分画像群の形状に応じて随時変化させる。
このような構成にすることで、例えば、クロマキー合成を実現することも可能である。
【０１９４】
＜各種の装置＞
上記の実施例では、本発明を、映像編集装置、端末、電子装置（電子機器）、情報処理装置の一例である映像編集用ＰＣに適用した場合を例示したが、これに限定されない。本発明は、ビデオカメラ、ワークステーション、タブレット端末、スマートフォンといった各種の装置に適用可能である。
【０１９５】
＜記録媒体＞
上記の実施形態では、画像処理に係る各種のプログラムやデータが、記憶部２００に記憶されており、処理部がこれらのプログラムを読み出して実行することで、上記の各実施形態における画像処理が実現された。この場合、各装置の記憶部は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ハードディスク、ＲＡＭといった内部記憶装置の他に、メモリカード（ＳＤカード）やコンパクトフラッシュ（登録商標）カード、メモリスティック、ＵＳＢメモリ、ＣＤ−ＲＷ（光学ディスク）、ＭＯ（光磁気ディスク）といった、一時的ではない有形の記録媒体（記録メディア、外部記憶装置、記憶媒体）を有していてもよく、これらの記録媒体に上記の各種のプログラムやデータを記憶させることとしてもよい。
これらの記憶媒体は、コンピュータ読み取り可能な一時的ではない記録媒体（記憶媒体）の一例である。
【０１９６】
図１３は、この場合における記録媒体の一例を示す図である。
この例において、映像編集装置１には、メモリカード４３０を挿入するためのカードスロット４１０が設けられており、カードスロット４１０に挿入されたメモリカード４３０に記憶された情報を読み取る又はメモリカード４３０に情報を書き込むためのカードリーダライタ（Ｒ／Ｗ）４２０が設けられている。
【０１９７】
カードリーダライタ４２０は、処理部の制御に従って、不図示の記憶部に記録されたプログラムやデータをメモリカード４３０に書き込む動作を行う。メモリカード４３０に記録されたプログラムやデータは、映像編集装置１以外の外部装置で読み取ることで、当該外部装置において上記の実施形態における画像処理を実現することが可能に構成されている。
【０１９８】
なお、上記の記録媒体は、上記の実施例で説明した映像編集装置１を備える端末（ＰＣ）、映像編集装置、電子装置（電子機器）、情報処理装置といった各種の装置に適用することもできる。
【符号の説明】
【０１９９】
１      映像編集装置
１０    映像編集用ＰＣ
１１０  被写体識別部
１２０  被写体位置検出結果
１３０  スタビライズ部
１４０  ワイプウインドウ切り出し部
１５０  ワイプウインドウ合成部
２２０  被写体位置情報一時記憶部
【要約】
【課題】簡易かつ適切に、第１フレーム群に含まれる特定の被写体に関する映像の一部分を、第１フレーム群とは異なる第２フレーム群の所定の小窓領域に合成して表示する映像編集技術を提供する。
【解決手段】映像編集装置は、第１フレーム群から被写体を検出する検出手段と、検出手段によって検出された被写体を追跡する追跡手段と、追跡手段による追跡結果に基づいて、第１フレーム群から被写体が含まれる部分画像群を切り出す切り出し手段と、切り出し手段によって切り出された部分画像群を、第１フレーム群とは異なる第２フレーム群に合成する合成手段と、合成手段によって合成されたフレーム群を出力する出力手段と、を備える。
【選択図】図１【図１】
0006846783.tif 000005
【図２】
0006846783.tif 000006
【図３】
0006846783.tif 000007
【図４】
0006846783.tif 000008
【図５】
0006846783.tif 000009
【図６】
0006846783.tif 000010
【図７】
0006846783.tif 000011
【図８】
0006846783.tif 000012
【図９】
0006846783.tif 000013
【図１０】
0006846783.tif 000014
【図１１】
0006846783.tif 000015
【図１２】
0006846783.tif 000016
【図１３】
0006846783.tif 000017