(57)【要約】【課題】運動会等で撮影した通常動画から抽出した静止画と動画が混在した合成映像を作成し、表示することができる画像合成表示装置を提供する。【解決手段】この画像合成表示装置は、動画像データから、主被写体を含む第１動画再生領域と、第１動画再生領域を連続再生する動画フレーム区間を抽出する第１抽出手段１０７と、第１抽出手段１０７により抽出した動画フレーム区間から静止画フレームを抽出する第２抽出手段１０９と、第２抽出手段１０９により抽出した静止画フレームから第１動画再生領域と異なる第２動画再生領域を抽出する第３抽出手段１０８と、静止画フレームに第１および第２動画再生領域を合成して合成映像を生成する合成手段１０４と、静止画フレーム内に前記第１および第２動画再生領域を逐次位置合わせしながら合成映像を表示する表示手段７１と、を備える。【選択図】図２
2016171437.tif 000002
【特許請求の範囲】
【請求項１】
動画像データから、主被写体を含む第１動画再生領域と、前記第１動画再生領域を連続再生する動画フレーム区間を抽出する第１抽出手段と、
前記第１抽出手段により抽出した前記動画フレーム区間から静止画フレームを抽出する第２抽出手段と、
前記第２抽出手段により抽出した前記静止画フレームから前記第１動画再生領域と異なる第２動画再生領域を抽出する第３抽出手段と、
前記静止画フレームに前記第１および第２動画再生領域を合成して合成映像を生成する合成手段と、
前記合成映像を表示する表示手段と、
を備える
ことを特徴とする画像処理装置。
【請求項２】
前記表示手段は、前記静止画フレーム内に前記第１および第２動画再生領域を逐次位置合わせしながら前記合成映像を表示する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１抽出手段は、記憶手段に登録されている人物情報に基づく被写体を包含する領域または画面中央付近に位置する被写体を包含する領域を前記第１動画再生領域として抽出する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第２抽出手段は、前記動画フレーム区間において時間的に中間に位置するフレームである中間フレームを基準に、前記静止画フレームを抽出する
ことを特徴とする請求項１〜３のいずれか1項に記載の画像処理装置。
【請求項５】
前記第２抽出手段は、前記中間フレームがパンニングまたはズーム期間のフレームでなく、前記中間フレームにおける前記第１動画再生領域に他の被写体が存在しないフレームである場合、当該中間フレームを前記静止画フレームとして抽出する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第３抽出手段は、前記静止画フレームの前後の所定のフレームの動きベクトルを解析して前記第２動画再生領域を抽出する
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第３抽出手段は、前記所定のフレームに含まれる領域の動きの移動量が所定の移動量より小さく、前記領域が前記所定のフレームの外に移動せず、前記第１動画再生領域に重複せず、低周波領域である場合、前記領域を前記第２動画再生領域として抽出する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第３抽出手段は、前記静止画フレームが変更された場合、前記変更された静止画フレームから前記第２動画再生領域を再度抽出し、前記合成手段は、前記静止画フレームに前記第１動画再生領域および前記再度抽出した第２動画再生領域を合成して前記合成映像を生成する
ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記動画像データは、通常撮影した動画像データである
ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
動画像データから、主被写体を含む第１動画再生領域と、前記第１動画再生領域を連続再生する動画フレーム区間を抽出する第１抽出工程と、
前記第１抽出工程において抽出した前記動画フレーム区間から静止画フレームを抽出する第２抽出工程と、
前記第２抽出工程において抽出した前記静止画フレームから前記第１動画再生領域と異なる第２動画再生領域を抽出する第３抽出工程と、
前記静止画フレームに前記第１および第２動画再生領域を合成して合成映像を生成する合成工程と、
前記合成映像を表示する表示工程と、
を有する
ことを特徴とする画像処理方法。
【請求項１１】
請求項１〜９のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に、静止画像と動画像を合成して表示する画像処理装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等において静止画像に加えて動画像を記録できる装置が一般的になってきている。また、表示用の液晶パネルを指でタッチすることでカメラ等に動作を指示するユーザーインタフェースも広く普及してきている。このような状況の下、撮影した動画像中の１つのフレームを静止画として表示し、静止画の中の一部を動画として再生する静止画・動画混在の映像表現がある。
【０００３】
撮影した動画像から上記のような静止画・動画混在の映像を作成するためには、まず、一連の動画像中からベースの静止画に割り当てるフレームを設定する。次に、設定した前記静止画の中で動画像として再生する領域を設定する。動画再生領域の設定に際してはタッチパネル等を利用して、指で動画再生する領域をこする等の操作を行う。その後、動画開始および終了フレームを設定することにより静止画の一部領域のみが動画再生される映像データが生成される。
【０００４】
例えば、特許文献１では、登録したマスクパターンの中から所望のパターンを選び、そのパターンを用いて撮影画像の一部を切り抜いてフレーム画像とし、撮影画像に合成して合成画像を生成する方法を開示している。また、特許文献２では、画像内の動被写体レイヤーと背景レイヤーを分離して、動被写体レイヤーを重ねて動作推移画像として合成画像データを作成する方法を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１７３３００号公報
【特許文献２】特開２０１０−０４５７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１や特許文献２に開示された方法を用いたとしても、運動会等で撮影した通常動画から静止画・動画混在映像（合成映像）を作成するのは難しい。なぜなら、まず、通常動画像中からベースの静止画とするフレームを適切に選び、次に、静止画内で動画再生する領域を選ぶ。つまり、通常撮影では、動く被写体が１つとは限らないのに加えて、複数の被写体がお互いに左右に大きく移動するようなケースもあるための選択作業が難しくなる。さらに、カメラのパンニング中およびズーム中の期間を除く必要があり、その作業も必要となる。
【０００７】
従って、静止画・動画混在映像（合成映像）を作成するに当たり、予め静止画の一部を動画化することを前提に撮影した映像の場合、所望の映像を得ることは容易に可能であるが、運動会等で撮影した通常動画から合成映像を作成するのは難しい。
【０００８】
本発明は、上記課題を鑑みて、運動会等で撮影した通常動画から抽出した静止画と動画が混在した合成映像を作成し、表示することができる画像合成表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明に係る画像合成表示装置は、動画像データから、主被写体を含む第１動画再生領域と、前記第１動画再生領域を連続再生する動画フレーム区間を抽出する第１抽出手段と、前記第１抽出手段により抽出した前記動画フレーム区間から静止画フレームを抽出する第２抽出手段と、前記第２抽出手段により抽出した前記静止画フレームから前記第１動画再生領域と異なる第２動画再生領域を抽出する第３抽出手段と、前記静止画フレームに前記第１および第２動画再生領域を合成して合成映像を生成する合成手段と、前記静止画フレーム内に前記第１および第２動画再生領域を逐次位置合わせしながら前記合成映像を表示する表示手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、運動会等で撮影した通常動画から抽出した静止画と動画が混在した合成映像を作成し、表示することができる画像合成表示装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】画像合成装置のブロック図である。
【図２】画像合成装置における画像合成処理を示すフローチャートである。
【図３】静止画フレームと動画再生領域を示す合成画像の模式図である。
【図４】生成したマスクデータ示す模式図である。
【図５】位置合わせ画像の模式図である。
【図６】画像の位置合わせを説明する図である。
【図７】画像の合成処理を説明する図である。
【図８】合成映像を編集する処理を示すフローチャート。
【図９】合成映像を編集するための表示画面を示す図である。
【図１０】動画キャンセルする際の画面を示す図である。
【図１１】フレーム設定変更する際の画面を示す図である。
【図１２】静止画フレーム変更する際の画面を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための最良の形態について図面などを参照して説明する。本発明は、デジタル一眼レフカメラやデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に適用可能である。
【００１３】
（第１実施形態）
図１は、本実施形態に係る合成表示装置（画像処理装置）のブロック図である。本実施形態に係る合成表示装置は、合成表示部１０と、ＲＡＭ１０１と、ＲＯＭ１０２と、システム制御部１０３と、合成処理部（合成手段）１０４と、外部入力ＩＦ１０５を備える。また、表示処理部１０６と、動画フレーム区間抽出部（第１抽出手段）１０７と、動画再生領域抽出部（第３抽出手段）１０８と、ベース静止画フレーム抽出部（第２抽出手段）１０９と、ユーザーインターフェース部１１０を備える。
【００１４】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０１は、データを一時的に保持する。ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２は、各種データおよびプログラム等を保持する。システム制御部１０３は、システム全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等から構成される制御部である。合成処理部１０４は、静止画・動画混在データを合成する。外部入力ＩＦ１０５は、外部の記録媒体２００と接続して各種データの記録および再生を行う。表示処理部１０６は、合成した映像を表示処理を行い、表示処理部１０６に接続された液晶パネルやＴＶ受像機等の表示部（表示手段）７１に合成した映像を表示させる。動画フレーム区間抽出部１０７は、所定の被写体が存在するフレーム区間を抽出する。動画再生領域抽出部１０８は、各フレーム内で被写体が動いている動領域を抽出する。ベース静止画フレーム抽出部１０９は、合成した映像の静止画部分に用いるフレームを抽出する。ユーザーインターフェース部１１０は、ボタンやタッチパネル等の操作部７０と接続し、ユーザー操作情報を取得する。バス１２０は、各ブロック間で制御データや映像データ等を転送する。
【００１５】
次に、本実施形態に係る合成表示装置の処理について説明する。図２は、合成表示装置が行う静止画・動画混在データの合成処理を示すフローチャートである。まず、ステップＳ１０１で、システム制御部１０３は、操作部７０のユーザー操作情報を、ユーザーインタフェース部１１０を介して取得し、取得した操作情報に応じて静止画・動画の混在映像生成モードへ移行する。次に、ステップＳ１０２で、撮影動画ファイルから１つの撮影動画ファイルを選択する。次に、ステップＳ１０３で、当該選択した撮影動画ファイルを解析し、主被写体を元にメインの動画再生領域フレーム（第１動画再生領域）を抽出する。なお、撮影動画ファイルは、通常撮影をした動画像データである。
【００１６】
ここで、ステップＳ１０３におけるメインの動画再生領域フレームの抽出方法について説明する。まず、ＲＯＭ（記憶手段）１０２に人物登録データ（人物情報）が存在する場合、対象動画像に登録されている人物が存在するか否かを判定する。そして、対象動画像に登録されている人物が存在する場合、そのフレーム期間、および各フレームでの画面内での撮影位置を動画フレーム区間抽出部１０７で解析する。
【００１７】
次に、動画フレーム区間抽出部１０７は、ステップＳ１０２で選択した動画ファイルの各フレーム画像とＲＯＭ１０２に登録されている人物データの顔画像を照合する。そして、ＲＯＭ１０２に登録人物が存在している場合、存在する連続（連像）フレーム期間と各フレーム内での位置を入力して評価値Ｅ１を生成する。フレーム内での位置は、検出された人物領域の重心とフレーム中央位置との距離（Ｄ）をフレームの対角線の長さ（Ｌ）の１／２で正規化し、下記の式により評価する。
Ｕ  ＝  １−Ｄ／（Ｌ／２）
また、連像フレーム期間Ｌは、全フレーム数Ｎで正規化し下記により評価する。
Ｈ  ＝  Ｌ／Ｎ
【００１８】
評価値Ｅ１は、上記ＵとＨをシステム制御部１０３で算出した後、所定の演算処理により生成する。ここで、ＲＯＭ１０２に登録人物が存在している場合、評価値を１．５倍した値で評価する。従って、１．５×Ｅ１として値を評価することになる。なお、評価値は、値が大きい方が評価が高いものとする。
【００１９】
登録されている人物以外の被写体については、選択した動画像の各フレームにおいて画面中央付近に位置する被写体を主被写体候補として、その被写体が存在する連続フレーム期間、さらに各フレームでの画面内での撮影位置を解析する。その評価は、上述と同様に評価値Ｅ２を生成して行う。選択した動画像において候補として抽出された被写体の評価値Ｅｋを全て算出した後、最も大きい評価値を有する被写体を包含する領域をメインの動画再生領域とする。以上により、動画フレーム区間抽出部１０７は、主被写体に基づいてメインの動画領域フレームを抽出する。
【００２０】
次に、ステップＳ１０４で、ベース静止画フレーム抽出部１０９は、ステップＳ１０３で抽出したメインの動画再生領域の連続再生フレーム区間を用いて、静止画表示するフレームを抽出する。ここで、静止画フレームの抽出方法について説明する。まず、ステップＳ１０３で抽出したメインの動画再生領域の連続再生フレーム区間の時間的に中間に位置する中間フレーム位置を静止画候補フレームとする。この静止画候補フレームに対して以下の３つのチェックを行う。まず、チェック１として、静止画候補フレームがカメラのパンニング期間内であるか否かを判定する。次に、チェック２として、静止画候補フレームがカメラのズーム期間内であるか否かを判定する。そして、チェック３として、静止画候補フレームにおいて、メインの動画再生領域内に他の被写体が存在しているか否かを判定する。以上の３つのチェックのうち、いずれかに該当する場合、他のフレームを静止画候補フレームとして変更する。
【００２１】
上記３つのチェックについて具体的に説明する。まず、チェック１のパンニング操作期間であるか否かについては、システム制御部１０３が動画像ファイルの付加情報を参照し、付加情報にパン、チルト、ロール等のカメラ操作情報がある場合、静止画候補フレームがパン操作期間中であるか否かを検出して判定する。動画ファイルにパン操作等の付加情報が存在しない場合、ベース静止画フレーム抽出部１０９において静止画候補フレームの前後の所定数のフレームからメインの動画再生領域に対応する主被写体の動きベクトルを画素単位で抽出する。抽出した動きベクトルをシステム制御部１０３で解析して、パン、チルトおよびロール操作期間中であるか否かを判定する。抽出した動きベクトルは、ＲＡＭ１０１に保持して、後段の処理で再利用する。動きベクトルを基にカメラ操作を検出する方法については、公知の技術を用いてよい。
【００２２】
次に、チェック２のカメラのズーム操作期間であるか否かについては、チェック１と同様に、動画像ファイルの付加情報にズーム操作情報がある場合、その操作情報を参照して静止画候補フレームがズーム操作期間中であるか否かを検出して判定する。動画ファイルにズーム操作の付加情報が存在しない場合、チェック１と同様に静止画候補フレームの前後の所定数のフレームから抽出した被写体の動きベクトルを解析してズーム期間中であるか否かを判定する。チェック１で抽出した動きベクトルデータがＲＡＭ１０１に保持されている場合、再利用することができる。動きベクトルを基にカメラのズーム操作を検出する方法については、公知の技術を用いてよい。
【００２３】
次に、チェック３のメインの動画再生領域内に他の被写体が存在しているか否かについては、静止画候補フレームの前後の所定数のフレームから抽出した被写体の動きベクトルを用いて判定する。具体的には、メインの動画再生領域内の主被写体の動きベクトルとそれ以外の動きベクトルとの差異を解析して、他の被写体が存在するかを判定する。動きベクトルを基に被写体を検出する方法については、公知の技術を用いてよい。
【００２４】
基準となる最初の静止画フレーム候補が、上記チェック１〜３に該当する場合、システム制御部１０３は、後述の手順により次の候補を設定して同様のチェックを行う。まず、メインの動画再生領域の開始フレーム位置から逐次フレームを進めていきながら、上記３つのチェック処理を実行する。そして、最初にチェックをクリアしたフレームを開始フレームＳ１として保持する。次に、フレームＳ１から順次フレームを進めていき、上記３つのチェックに該当するフレームＳ２に到達するまで繰り返す。そして、フレームＳ１とフレームＳ２の中間に位置するフレームを静止画候補フレームとして抽出する。
【００２５】
ステップＳ１０４において静止画フレームを抽出したら、次に、ステップＳ１０５で、そのフレーム内で動画として再生する、メインの動画再生領域とは異なる別の動画再生領域（第２動画再生領域）を抽出する。動画再生領域は、動画再生領域抽出部１０８において下記の手順により抽出する。まず、静止画フレームの前後の所定数のフレームの動きベクトルを解析して静止画フレームの被写体の動画再生領域を抽出する。
【００２６】
抽出した各動領域に対して、以下のチェック１〜４を実行する。チェック１として、解析した動きベクトルを基に動領域Ａ１のフレーム内での位置を前後のフレームに渡って逐次追跡する。追跡するフレームは、上記メインの動画再生領域のフレーム期間内とする。ここで、動領域Ａ１の追跡フレーム期間内での移動量が所定の移動量Ｔより大きい場合には、動画再生対象から外す。
【００２７】
チェック２として動領域Ａ１をチェック１と同様に追跡し、フレームの外に移動しているか否かを検出する。フレームの外に移動している場合、動画再生対象から外す。次に、チェック３として動領域Ａ１をチェック１と同様に追跡し、メインの動画再生領域と重複しないか否かを検出する。重複する場合には、動領域Ａ１を動画再生対象から外す。チェック４として静止画フレームＳ１における動領域Ａ１の空間周波数解析する。なお、周波数解析は、公知の技術を用いるものとする。空間周波数解析の結果、低周波領域と識別された場合には、動画再生対象から外す。上記１〜４のチェックをクリアしたら動領域Ａ１を動画再生対象とする。静止画フレーム内の他の動領域についても同様の処理を実施して、動画再生領域を抽出する。以上により、メインの動画再生領域、静止画フレームおよび動画再生領域の抽出が完了する。なお、動画再生領域については、被写体の中の一部（例えば、人物に付属しているアクセサリーのみ）を動画再生領域として抽出してもよい。
【００２８】
ここで、図３は、ステップＳ１０４およびＳ１０５で抽出した静止画フレームと動画再生領域を示す合成画像の模式図である。合成画像は、抽出された静止画フレーム３００、静止画フレームにおけるメインの動画再生領域３０１および他の被写体の動画再生領域３０２を示す。また、非動画再生領域３０３は、被写体が移動する動領域であるが、静止画フレームを遡るとフレームから外れるため動画再生領域からは外されていることを示すために、点線で囲われている。
【００２９】
図２に戻って、次に、ステップＳ１０６で、上記で抽出した情報を基に静止画・動画混在映像を合成するためのデータを合成処理部１０４で生成する。ここで、合成データの生成手順を説明する。メインの動画再生領域は、再生開始フレームから終了フレームの各フレームにおける動領域を動きベクトルを基に画素単位で抽出する。そして、抽出した領域から各フレーム単位のマスクデータを生成する。次に、他の被写体の動画再生領域についても、再生開始フレームから終了フレームの各フレームにおける動領域を動きベクトルをもとに画素単位で抽出し、各フレーム単位のマスクデータを生成する。なお、各フレームの動領域の抽出は、ステップＳ１０４およびＳ１０５の処理の中で生成した動きベクトルをＲＡＭ１０１に保持したものを利用して行ってもよい。
【００３０】
ここで、図４に、上記により生成したマスクデータの模式図を示す。図４（Ａ）は、メインの動画再生領域４０１が抽出されている静止画フレーム３００を示す。図４（Ｂ）は、上記処理の結果生成されたメインの動画再生領域４０１に対するマスクデータ４０２を示す開始フレーム４０３である。
【００３１】
次に、ステップＳ１０６の合成データの生成手順において、静止画フレームとメインの動画再生領域のマスクデータとの間で位置合わせを行う。静止画フレームと他の被写体の動画再生領域のマスクデータとの間でも、同様に、位置合わせを行う。具体的には、ステップＳ１０４およびＳ１０５において、各フレームの動領域の解析データがＲＡＭ１０１に保持されている。解析データには、各フレームにおける動領域が画素単位で抽出されている。ここで、前記メインの動画再生領域の位置合わせについて、その手順を説明する。まず、参照画像として静止画フレームの中で前記解析データから抽出される動領域以外の領域を用いる。即ち、静止しているとみなされる画像領域を参照画像とする。
【００３２】
ここで、図５（Ａ）は、参照画像を示す。静止画フレーム３００において、閉領域５０１、５０２および５０３は、動領域であるので、位置合わせの対象からは外す。位置合わせは、動画再生する開始フレームから逐次実行する。図５（Ｂ）に、メインの動画再生領域の開始フレーム４０３の画像を示す。画像の中で、解析データから抽出される動領域５０４および５０５以外の領域を対象画像とする。そして、参照画像と対象画像の間で相関演算処理を行い、最も相関度の高い位置を検出する。
【００３３】
ここで、図６に示すように、初期位置を参照画像６０１のフレームと対象画像６０２のフレームが全て一致する（重なる）位置を初期位置とすると、最も相関の高い位置は、初期位置から移動量Ｐ１（ΔＸ，ΔＹ）移動した位置となる。移動量Ｐ１を開始フレームにおけるメインの動画再生フレームの位置合わせ量としてＲＡＭ１０１に保持する。メインの動画再生領域の第２フレーム目についても、上記と同様に対象画像を作成し、参照画像との間で相関処理を行い位置合わせ量Ｐ２を検出してＲＡＭ１０１に保持する。再生終了フレームまで処理が完了するとＰ１からＰｎまでの位置合わせ量が生成される。なお、画像間の相関演算の方法は、公知の技術を用いてもよい。
【００３４】
また、他の被写体の動画再生領域についても、各々の再生領域の開始から終了フレームについて対象画像を生成し、参照画像との間で位置合わせ量Ｑを検出する。処理手順は、メインの動画再生領域と同様であるため、その説明を省略する。
【００３５】
上記一連の処理により、静止画フレームと、メインの動画再生領域の各フレーム毎のマスクデータと、各フレーム毎の静止画フレームとの位置合わせ量のデータがＲＡＭ１０１に保持されている。また、他の被写体の動画再生領域の各フレーム毎のマスクデータと、各フレーム毎の静止画フレームとの位置合わせ量のデータもＲＡＭ１０１に保持されている。すなわち、映像合成データが生成され、ＲＡＭ１０１に保持された状態となった。
【００３６】
次に、ステップＳ１０７で、上記映像合成データを用いて、メインの動画生成領域となる主被写体Ａ（７０１）、動画再生領域となる被写体Ｂ（７０２）を静止画フレームに逐次位置合わせしながら合成画像を表示する。ここで、図７により、合成映像の表示について説明する。図７（Ａ）は、静止画フレームの概略図である。また、図７（Ｂ）は、合成映像の生成を説明する模式図である。図７(Ａ)の静止画フレーム３００には、メインの動画生成領域となる主被写体Ａ（７０１）、動画再生領域となる被写体Ｂ（７０２）および動領域であるがフレームから外れるため動画再生領域から外れた被写体Ｃ（７０３）が存在している。ステップＳ１０７では、ステップＳ１０６において生成された映像合成データを用いて、合成処理部１０４で合成映像を生成する。そして、表示処理部１０６は、複数の映像フレームを合成して１枚の合成フレームを生成し表示する。
【００３７】
具体的には、図７（Ｂ）に示すように、まず、静止画フレーム３００を最上位のフレームとして割り当てる。２番目には、主被写体Ａの動画再生フレーム７０４を割り当て、３番目には、被写体Ｂの動画再生フレーム７０５を割り当てる。表示処理部１０６は、２番目および３番目の動画再生フレーム７０４および７０５は、所定のタイミングで動画再生を開始して、終了フレームまで再生したら再度開始フレームから繰り返し再生を行う。ここで、２番目の主被写体Ａの動画再生フレーム７０４は、フレーム毎に保持している位置合わせ量を読み出して、再生映像の位置を−Ｐ（ΔＸ，ΔＹ）シフトして再生する。同様に３番目の被写体Ｂの動画再生フレーム７０５も保持している位置合わせ量に応じてシフトした位置で再生する。
【００３８】
同時に、各再生フレームに対応したマスクデータを読み出して、静止画フレームに対してマスクデータを書き込む。図７（Ｂ）の静止画フレーム３００には、メインの動画再生領域用マスク７０６と被写体Ｂの動画再生領域用マスク７０７が書き込まれる。マスクが書き込まれた画素は、透過して、下位のフレームの画像に置き換わることになる。すなわち、２番目の動画再生フレーム７０４には、被写体Ｂの動画再生領域用マスク７０７が書き込まれる。
【００３９】
上記の映像合成処理によって、静止画フレーム３００の主被写体Ａ（７０１）および被写体Ｂ（７０２）の領域が各々動画再生データに置き換わって１枚の合成画像が生成される。これにより、図７（Ａ）の主被写体Ａ（７０１）および被写体Ｂ（７０２）のみが動画像として再生され、それ以外の領域は、静止画の静止画・動画混在映像となる。合成された映像は、表示処理部１０６を介して表示部７１の液晶パネル等に表示される。また、合成した映像は、外部入力ＩＦ１０５を介して記録媒体２００に所定のフォーマットで記録することができるのは言うまでもない。
【００４０】
以上、本実施形態によれば、通常の動画撮影した映像データから自動的に静止画・動画混在した合成映像を生成することが可能な画像合成表示装置を提供することができる。
【００４１】
（第２実施形態）
第１実施形態では、画像合成表示装置内で合成映像を生成した。これに対して、本実施形態では、生成した合成映像をＧＵＩ（グラフィカル・ユーザー・インタフェース）を介して編集することについて説明する。
【００４２】
図８は、生成した合成映像をＧＵＩを介して編集する処理を示すフローチャートである。まず、ステップＳ２０１で、ユーザーによる操作部７０の操作をユーザーインタフェース部１１０で検出すると、システム制御部１０３は、ＧＵＩを表示処理部１０６を介して表示部７１に表示する。表示部７１（本実施形態では、液晶パネル）に表示されたＧＵＩにおいて、合成映像の選択画面から、ユーザーが操作部７０（本実施形態では、タッチパネル）を介して映像を選択する。システム制御部１０３は、合成映像の選択を検出すると、選択された映像を記録媒体２００から読み出して、合成処理部１０４で処理した後に表示処理部１０６を介して表示部７１に表示する。
【００４３】
ここで、図９は、ステップＳ２０１において選択された合成映像を表示した画面の模式図である。液晶パネル９０１には、選択した合成映像９０２の先頭フレーム画像が表示されている。また、プレビューボタン９０３および編集ボタン９０４がＧＵＩのボタン部材として表示されている。プレビューボタン９０３が押下されると合成映像が再生され、編集ボタン９０４が押下すると編集モードに移行する。
【００４４】
図８に戻って、ステップＳ２０２で、編集ボタン９０４が押下され編集モードが選択されると、ステップＳ２０３に移行する。次に、ステップＳ２０３で、動画再生領域フレーム、動画化キャンセル、ベース静止画のいずれかを編集する。
【００４５】
ここで、図１０は、ステップＳ２０２において編集モードに移行して、ステップＳ２０３において動画化キャンセルの編集を選択している画面を示す。動画キャンセルボタン９０５は、動画再生をキャンセルする編集に移行するボタンであり、フレーム設定ボタン９０６は、動画再生フレーム数を設定する編集に移行するボタンである。また、静止画変更ボタン９０７は、静止画フレームを変更するためのボタンであり、決定ボタン９０８は、編集内容を決定するためのボタンである。
【００４６】
図１０においては、選択されている動画キャンセルボタン９０５が反転表示されている。この状態で、動画再生領域のいずれかをカーソル９１２で選択すると（本実施形態では、ユーザーが指でタッチすると）、ユーザーインタフェース部１１０を介してシステム制御部１０３が選択（タッチ）された動画再生領域を抽出する。そして、領域を囲む点線表示を実線表示に変更して表示する。図１０では動画領域９１０が選択されたので、その領域が実線で表示されている。図１０に示す状態で、決定ボタン９０８が押下されると、動領域９１０は、動画再生対象から外され、静止画領域として再生される。すなわち、動領域９１０には、マスクデータが配置されなくなる。
【００４７】
次に、図１１において、フレーム設定ボタン９０６が押下された場合の動作について説明する。フレーム設定ボタン９０６が押下され、ユーザーにより対象の動画領域９２０がタッチされると、液晶画面下部にフレームを示すＧＵＩが表示される。図１１では、動画生成フレーム区間９０９がＧＵＩとして表示される。この状態で、カーソル９１２でフレーム区間を表すＧＵＩ上をスライドすると、変更後の動画再生フレーム区間９１０に示すようにフレーム区間を変更することができる。例えば、タッチパネル上でユーザーが指でＧＵＩ上をスライドさせることでも、フレーム区間の変更が可能である。変更した後に決定ボタン９０８を押下すると、変更したフレーム区間で動画領域９２０が再生される。
【００４８】
次に、図１２において静止画変更ボタン９０７が押下された場合の動作について説明する。静止画変更ボタン９０７が押下されると、液晶パネル９０１に複数の静止画フレーム候補９１１が表示される。また、スクロールバー９１３をスライドすることにより、他の静止画フレーム候補を表示することができる。図１２において、カーソル９１２で候補の１つを選択（タッチ）して、決定ボタン９０８を押下するとベースの静止画フレームが変更される。静止画フレームが変更されると、第１実施形態において説明したように、動画領域が再度抽出され、マスクデータの再生成等が自動で実行されて、合成映像が再生成される。
【００４９】
図８に戻って、次に、ステップＳ２０４で、ステップＳ２０３における編集に応じて再生成された合成映像がプレビュー表示される。プレビュー表示内容を確認して、次に、ステップＳ２０５で決定ボタン９０８を押下して確定すると、合成映像が所定のフォーマットで記録媒体２００に記録される。
【００５０】
以上、本実施形態によれば、ＧＵＩを介して簡便な操作で合成映像の編集が可能となるので、ユーザーの意図に沿って柔軟に合成映像を加工することができる。
【００５１】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５２】
また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００５３】
７１      表示部
１０４    合成処理部
１０７    動画フレーム区間抽出部
１０８    動画再生領域抽出部
１０９    ベース静止画フレーム抽出部
【図１】
2016171437.tif 000003
【図２】
2016171437.tif 000004
【図８】
2016171437.tif 000005
【図３】
2016171437.tif 000006
【図４】
2016171437.tif 000007
【図５】
2016171437.tif 000008
【図６】
2016171437.tif 000009
【図７】
2016171437.tif 000010
【図９】
2016171437.tif 000011
【図１０】
2016171437.tif 000012
【図１１】
2016171437.tif 000013
【図１２】
2016171437.tif 000014