(57)【要約】【課題】  視覚的効果の高い動画データを生成する。【解決手段】  動画編集装置１００は、第１の動画データの各フレームから動体を検出し、それぞれのフレームに対して、前のフレームに撮像された動体を次々に合成していくことで第２の動画データを生成する。例えば、フレーム２に対しては、フレーム１に撮像された動体を合成する。フレーム３には、フレーム２に撮像された動体を合成する。フレーム４には、フレーム３およびフレーム２に撮像された動体を合成する。合成する動体の数や色は、動体の移動速度などに応じて変化させる。こうすることで、動画中の動体に残像感を与え、視覚的に印象度の高い動画データを生成することが可能となる。【選択図】  図１
2005236472.tif 000002
【特許請求の範囲】
【請求項１】
時系列的に連続する複数のフレームによって構成された動画データを編集する動画編集装置であって、
動画データ中の所定の基準フレームと、時系列的に該基準フレームよりも前に存在する第２のフレームとを比較して両フレーム内に存在する動体を検出する動体検出部と、
前記２つのフレーム間における前記動体の移動量を検出する移動量検出部と、
前記移動量に応じて前記基準フレームに合成するフレームの数を設定する合成数設定部と、
前記設定されたフレームの数分、前記基準フレームから時系列的にフレームをさかのぼった範囲で合成対象フレームを設定し、該合成対象フレーム中にそれぞれ存在する動体を前記基準フレームに合成することにより動体合成フレームを生成し、該動体合成フレームを含む第２の動画データを生成する動画データ生成部と、
を備える動画編集装置。
【請求項２】
請求項１に記載の動画編集装置であって、
前記動画データ生成部は、前記基準フレームを時系列的に新しいフレームに順次変更していくことにより前記第２の動画データを生成する、動画編集装置。
【請求項３】
請求項２に記載の動画編集装置であって、
前記動画データ生成部は、直前の動体合成フレームの生成処理で用いられた最も古いフレームを限度として前記フレームをさかのぼる、動画編集装置。
【請求項４】
請求項１に記載の動画編集装置であって、
更に、前記合成対象フレーム中の動体と前記基準フレーム中の動体との距離に応じて、該合成対象フレーム中の各動体の合成比率を設定する合成比率設定部を備え、
前記動画データ生成部は、前記各合成対象フレーム中に存在する動体を、該各動体の前記合成比率に応じて前記基準フレームに合成する、動画編集装置。
【請求項５】
請求項１に記載の動画編集装置であって、
更に、前記合成対象フレームと前記基準フレームとの時間間隔に応じて、該合成対象フレーム中に存在する各動体の合成比率を設定する合成比率設定部を備え、
前記動画データ生成部は、前記各合成対象フレーム中に存在する動体を、該各動体の前記合成比率に応じて前記基準フレームに合成する、動画編集装置。
【請求項６】
請求項１に記載の動画編集装置であって、
前記動体検出部は、前記２つのフレームを各々所定数のブロックに分割し、該２つのフレーム間において相対的に他のブロックよりもズレ量の大きいブロックを前記動体として検出する、動画編集装置。
【請求項７】
時系列的に連続する複数のフレームによって構成された動画データを編集する動画編集装置であって、
動画データ中の所定の基準フレームと、時系列的に該基準フレームよりも前に存在する第２のフレームとを比較して両フレーム内に存在する動体を検出する動体検出部と、
前記基準フレーム中の動体と、前記第２のフレーム中の動体との距離を検出する距離検出部と、
前記距離に応じて前記基準フレームに合成する動体の合成比率を設定する合成比率設定部と、
前記第２のフレーム中の前記動体を、該動体の合成比率によって前記基準フレームに合成することにより動体合成フレームを生成し、該動体合成フレームを含む第２の動画データを生成する動画データ生成部と、
を備える動画編集装置。
【請求項８】
コンピュータが時系列的に連続する複数のフレームによって構成された動画データを編集するための編集方法であって、
動画データ中の所定の基準フレームと、時系列的に該基準フレームよりも前に存在する第２のフレームとを比較して両フレーム内に存在する動体を検出する工程と、
前記２つのフレーム間における前記動体の移動量を検出する工程と、
前記移動量に応じて前記基準フレームに合成するフレームの数を設定する工程と、
前記設定されたフレームの数分、前記基準フレームから時系列的にフレームをさかのぼった範囲で合成対象フレームを設定し、該合成対象フレーム中にそれぞれ存在する動体を前記基準フレームに合成することにより動体合成フレームを生成し、該動体合成フレームを含む第２の動画データを生成する工程と、
を備える編集方法。
【請求項９】
コンピュータが時系列的に連続する複数のフレームによって構成された動画データを編集する編集方法であって、
動画データ中の所定の基準フレームと、時系列的に該基準フレームよりも前に存在する第２のフレームとを比較して両フレーム内に存在する動体を検出する工程と、
前記基準フレーム中の動体と、前記第２のフレーム中の動体との距離を検出する工程と、
前記距離に応じて前記基準フレームに合成する動体の合成比率を設定する工程と、
前記第２のフレーム中の前記動体を、該動体の合成比率によって前記基準フレームに合成することにより動体合成フレームを生成し、該動体合成フレームを含む第２の動画データを生成する工程と、
を備える編集方法。
【請求項１０】
時系列的に連続する複数のフレームによって構成された動画データを編集するためのコンピュータプログラムであって、
動画データ中の所定の基準フレームと、時系列的に該基準フレームよりも前に存在する第２のフレームとを比較して両フレーム内に存在する動体を検出する機能と、
前記２つのフレーム間における前記動体の移動量を検出する機能と、
前記移動量に応じて前記基準フレームに合成するフレームの数を設定する機能と、
前記設定されたフレームの数分、前記基準フレームから時系列的にフレームをさかのぼった範囲で合成対象フレームを設定し、該合成対象フレーム中にそれぞれ存在する動体を前記基準フレームに合成することにより動体合成フレームを生成し、該動体合成フレームを含む第２の動画データを生成する機能と、
をコンピュータに実現させるためのコンピュータプログラム。
【請求項１１】
時系列的に連続する複数のフレームによって構成された動画データを編集するためのコンピュータプログラムであって、
動画データ中の所定の基準フレームと、時系列的に該基準フレームよりも前に存在する第２のフレームとを比較して両フレーム内に存在する動体を検出する機能と、
前記基準フレーム中の動体と、前記第２のフレーム中の動体との距離を検出する機能と、
前記距離に応じて前記基準フレームに合成する動体の合成比率を設定する機能と、
前記第２のフレーム中の前記動体を、該動体の合成比率によって前記基準フレームに合成することにより動体合成フレームを生成し、該動体合成フレームを含む第２の動画データを生成する機能と、
をコンピュータに実現させるためのコンピュータプログラム。
【請求項１２】
請求項１０または請求項１１に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画に対して特殊効果を施す技術に関する。
【背景技術】
【０００２】
近年、ビデオカメラで撮影した動画をパーソナルコンピュータ等に取り込み、自分で編集するユーザが増加している。動画の編集にあたり、ユーザは、動画に対して様々な特殊効果を与えることができる。特殊効果とは、例えば、シーンの切れ目にワイプやフェードイン、フェードアウトといったトランジションエフェクトを与えたり、色変換を施すことによってカラー映像を白黒化したりすること等である。例えば、下記特許文献１には、ユーザが動画に対してトランジションエフェクトを容易に与えることを可能にするための技術が記載されている。
【０００３】
【特許文献１】特開２００３−１１０９９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した特殊効果の例は、一般的によく用いられている特殊効果であるが、ユーザからは、より視覚的効果の高い特殊効果を施すことのできる技術が望まれていた。本発明は、このような要望に応えるべくなされたものであり、動画中に撮像された動体に対して意図的に残像感を与えることにより、より視覚的効果の高い動画を生成可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明の動画編集装置を次のように構成した。すなわち、時系列的に連続する複数のフレームによって構成された動画データを編集する動画編集装置であって、
動画データ中の所定の基準フレームと、時系列的に該基準フレームよりも前に存在する第２のフレームとを比較して両フレーム内に存在する動体を検出する動体検出部と、
前記２つのフレーム間における前記動体の移動量を検出する移動量検出部と、
前記移動量に応じて前記基準フレームに合成するフレームの数を設定する合成数設定部と、
前記設定されたフレームの数分、前記基準フレームから時系列的にフレームをさかのぼった範囲で合成対象フレームを設定し、該合成対象フレーム中にそれぞれ存在する動体を前記基準フレームに合成することにより動体合成フレームを生成し、該動体合成フレームを含む第２の動画データを生成する動画データ生成部と、
を備えることを要旨とする。
【０００６】
本発明によれば、動画データ中の所定の基準フレームに対して時系列的に古いフレームに存在する動体を残像として合成することができる。そのため、視覚的効果の高い動画データを生成することが可能となる。基準フレームに合成する動体の数は、動体の移動量に応じて変化させることができるため、より効果的な残像感を与えることができる。
【０００７】
前記移動量検出部は、動体の移動量を２つの方法によって検出することができる。１つは、基準フレームにおける動体の位置と第２のフレームにおける動体の位置との２点間の距離から求める方法である。もう１つは、前述した２点間の距離から、動画撮影時の手ぶれやパンニング等に起因して両フレームに発生する座標系のズレを差し引いて求める方法である。後者の方法を用いれば、前者の方法に比べて正確に動体の移動量を検出することができる。本発明の動画編集装置においては、どちらの移動量の検出方法を採用してもよい。
【０００８】
上記構成の動画編集装置において、
前記動画データ生成部は、前記基準フレームを時系列的に新しいフレームに順次変更していくことにより前記第２の動画データを生成するものとしてもよい。
【０００９】
こうすることにより、動画データ中の全時間帯あるいは一部の時間帯にわたって残像感のある視覚効果を施すことができる。基準フレームに合成するフレームの数は、基準フレームを変更する都度設定してもよいし、一旦設定した値で固定するものとしてもよい。また、一定のフレーム数毎に設定し直すものとしてもよい。
【００１０】
上記構成の動画編集装置において、
前記動画データ生成部は、直前の動体合成フレームの生成で用いられた最も古いフレームを限度として前記フレームをさかのぼるものとしてもよい。
【００１１】
こうすることにより、第２の動画データにおいて残像が不自然に伸縮することを抑制することができる。
【００１２】
上記構成の動画編集装置において、
更に、前記合成対象フレーム中の動体と前記基準フレーム中の動体との距離に応じて、該合成対象フレーム中の各動体の合成比率を設定する合成比率設定部を備え、
前記動画データ生成部は、前記各合成対象フレーム中に存在する動体を、該各動体の前記合成比率に応じて前記基準フレームに合成するものとしてもよい。
【００１３】
こうすることにより、例えば、基準フレーム内の動体との距離が離れているほど基準フレームに合成する動体の色を薄くすることができる。そのため、残像感をより効果的に与えることが可能となる。もちろん距離が離れているほど動体の色を濃くしてもよい。
【００１４】
合成対象フレーム中の動体と前記基準フレーム中の動体との距離は、前述した動体の移動量の検出と同様に、２つの方法によって求めることができる。つまり、合成対象フレーム中の動体の位置と基準フレーム中の動体の位置から単純に求めるものとしてもよいし、合成対象フレームと基準フレームのフレーム全体のズレを考慮して求めるものとしてもよい。
【００１５】
また、上記構成の動画編集装置において、
更に、前記合成対象フレームと前記基準フレームとの時間間隔に応じて、該合成対象フレーム中に存在する各動体の合成比率を設定する合成比率設定部を備え、
前記動画データ生成部は、前記各合成対象フレーム中に存在する動体を、該各動体の前記合成比率に応じて前記基準フレームに合成するものとしてもよい。
【００１６】
こうすることにより、例えば、古いフレームに存在する動体ほど薄い色で基準フレームに合成することができる。そのため、残像感をより効果的に与えることができる。もちろん古いフレームに存在する動体ほど色を濃くするものとしてもよい。
【００１７】
上記構成の動画編集装置において、
前記動体検出部は、前記２つのフレームを各々所定数のブロックに分割し、該２つのフレーム間において相対的に他のブロックよりもズレ量の大きいブロックを前記動体として検出するものとしてもよい。
【００１８】
こうすることにより、動体の形状を厳密に検出する必要がないため、動体検出に要する処理の負担を軽減することができる。なお、ここでいうズレ量とは、２つのフレーム間におけるブロックごとの移動量のことである。
【００１９】
また、本発明の第２の動画編集装置を次のように構成した。すなわち、
時系列的に連続する複数のフレームによって構成された動画データを編集する動画編集装置であって、
動画データ中の所定の基準フレームと、時系列的に該基準フレームよりも前に存在する第２のフレームとを比較して両フレーム内に存在する動体を検出する動体検出部と、
前記基準フレーム中の動体と、前記第２のフレーム中の動体との距離を検出する距離検出部と、
前記距離に応じて前記基準フレームに合成する動体の合成比率を設定する合成比率設定部と、
前記第２のフレーム中の前記動体を、該動体の合成比率によって前記基準フレームに合成することにより動体合成フレームを生成し、該動体合成フレームを含む第２の動画データを生成する動画データ生成部と、
を備えることを要旨とする。
【００２０】
このような構成であっても、残像感のある視覚効果を動画データに与えることができる。
【００２１】
本発明において、上述した種々の態様は、適宜、組み合わせたり、一部を省略したりして適用することができる。また、本発明は、コンピュータが動画データを編集するための編集方法や、動画データを編集するためのコンピュータプログラムなどとしても構成することができる。いずれの構成においても上述した種々の態様を適用可能である。
【００２２】
上記コンピュータプログラムは、コンピュータが読み取り可能な記録媒体に記録するものとしてもよい。記録媒体としては、例えば、フレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光磁気ディスク、メモリカード、ハードディスク等の種々の媒体を利用することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態について実施例に基づき次の順序で説明する。
Ａ．動画編集装置の動作の概要：
Ｂ．動画編集装置の概略構成：
Ｃ．エコー効果付与処理：
Ｄ．変形例：
【００２４】
Ａ．動画編集装置の動作の概要：
図１は、実施例としての動画編集装置１００の動作の概要を示す説明図である。動画編集装置１００は、ＤＶケーブル３００などによって接続されたデジタルビデオカメラ２００から動画データを取り込み、動画中に撮像された動体に対して意図的に残像感を与えるための装置である。動画に対してこのような特殊効果を施すことにより視覚的に印象度の高い動画を生成することができる。以下の説明では、このような特殊効果をエコー効果と呼ぶ。
【００２５】
ここで、動体としてボールが左上から右下にかけて移動する様子の撮影された動画データを例に動画編集装置１００が動画に施すエコー効果について簡単に説明する。図中には、エコー効果を施す前の動画データを第１の動画データとして示し、エコー効果を施した動画データを第２の動画データとして示している。それぞれの動画データは、フレーム１〜４に分解して示している。
【００２６】
動画編集装置１００は、第１の動画データの各フレームから動体であるボールを検出し、それぞれのフレームに対して、前のフレームに撮像されたボールを次々に合成していくことで第２の動画データを生成する。例えば、フレーム２に対しては、フレーム１に撮像されたボールを合成する。フレーム３には、フレーム２に撮像されたボールを合成する。フレーム４には、フレーム３およびフレーム２に撮像されたボールを合成する。合成する動体の数や色は、動体の移動速度などに応じて変化させる。このように、１つのフレームに対して、そのフレームよりも古いフレームに撮像された動体を次々に合成していくことによって動体に対して残像感を与えることができる。
【００２７】
Ｂ．動画編集装置の概略構成：
図２は、動画編集装置１００の概略構成を示す説明図である。動画編集装置１００は、ＣＰＵ１１０やＲＡＭ１２０、ＢＩＯＳ（Basic Input/Output System）が記録されたＲＯＭ１３０、デジタルビデオカメラ２００を接続するためのＩＥＥＥ１３９４インタフェース１４０、各種ソフトウェアがインストールされたＨＤＤ（ハードディスクドライブ）１５０等を備えており、これらは所定のバスを介して相互に接続されている。動画編集装置１００は、例えば、パーソナルコンピュータとして構成することができる。
【００２８】
ＨＤＤ１５０には、ＯＳ（オペレーティングシステム）１６０や、このＯＳ１６０上で動作する動画編集プログラム１８０がインストールされている。動画編集プログラム１８０は、動画データに対して上述したエコー効果を施すためのプログラムである。ＣＰＵ１１０は、これらのプログラムをＲＡＭ１２０に展開して実行する。図の下部には、動画編集プログラム１８０が実行されることによって実現される機能のブロック図を示した。なお、ＯＳ１６０や動画編集プログラム１８０は、ファームウェアとしてＲＯＭ１３０に記録されているものとしてもよい。
【００２９】
動体検出部１８１は、動画データ中の所定の基準フレームとその直前のフレームとを比較することにより基準フレーム内に撮像された動体を検出する。移動量検出部１８２は、動体検出部１８１によって検出された動体について、基準フレームとその直前のフレームとの間における移動量を検出する。動体の検出方法および移動量の検出方法の詳細は後述する。
【００３０】
合成数設定部１８３は、移動量検出部１８２によって検出された動体の移動量に応じて、基準フレームに合成するフレームの数（合成数）を設定する。図３は、合成数を設定するために用いる関数を表すグラフである。かかる関数で求まる合成数に小数点以下の数値が含まれる場合には小数点以下を四捨五入するものとする。このグラフによれば、動体の移動量が大きくなるにつれ、合成数が増加することとなる。各フレーム間の時間間隔は一定であるため、基準フレームとその直前のフレーム間における動体の移動量は動体の移動速度を表す。すなわち、動体の移動速度が速いほど多くの動体が基準フレームに合成されることとなり、残像感の強いフレームが生成される。なお、合成数の設定は、関数以外にも、移動量と合成数との関係を予め対応付けたテーブルを用いるものとしてもよい。
【００３１】
合成対象フレーム選択部１８４（図２）は、合成数設定部１８３によって設定された合成数に基づいて基準フレームに合成するフレーム（合成対象フレーム）を選択する。具体的には、合成数の数だけ基準フレームをさかのぼり、さかのぼった各フレームを合成対象フレームとして選択する。ただし、基準フレームの直前のフレームに既に合成された最も古いフレームよりも古いフレームまではさかのぼらないように制限する。
【００３２】
例えば、図１のフレーム４が基準フレームで、合成数が２である場合には、フレーム４から２つのフレームをさかのぼり、フレーム３とフレーム２が合成対象フレームとして選択されることとなる。
【００３３】
更に、図１のフレーム４が基準フレームで、合成数が３である場合について考えると、このような場合には、フレーム４から３つのフレームをさかのぼると、フレーム１までさかのぼることとなる。しかし、基準フレームの直前のフレームであるフレーム３には、フレーム２までしか合成対象とされていない。そのため、さかのぼるフレームはフレーム２までとなり、合成対象フレームとしては、フレーム３とフレーム２が選択されることとなる。
【００３４】
このように、合成対象フレームとして選択するフレームに制限を加えることで、合成対象フレーム選択部１８４は、動体の残像が不自然に伸張することを抑制することができる。
【００３５】
合成比率設定部１８５（図２）は、合成対象フレーム内に存在する動体の合成比率を設定する。合成比率とは基準フレームに対して合成される各動体の透明度のことをいう。図４は、合成比率を設定するために用いるテーブルを示す説明図である。図示するように、合成対象フレーム中の各動体の合成比率は、基準フレーム中の動体との距離が離れるほど比率が低くなるように設定される。こうすることにより、基準フレームに合成する動体の色を基準フレーム中に撮像された動体から離れるほど薄くすることができ、残像が徐々に薄くなる効果を与えることができる。なお、合成比率は図示するようなテーブル以外にも、関数を用いて設定するものとしてもよい。
【００３６】
動体合成フレーム生成部１８６（図２）は、合成対象フレーム中の動体を、合成比率設定部１８５によって設定された合成比率でそれぞれ基準フレームに合成する。この合成処理が施された基準フレームを動体合成フレームという。
【００３７】
動画データ生成部１８７は、時系列的に古いフレームから新しいフレームにかけて基準フレームを順次変更していくことにより生成された動体合成フレームを時系列的に並べることにより新たな動画データを生成する。新たな動画データは、ＨＤＤ１５０等に保存される。
【００３８】
Ｃ．エコー効果付与処理：
図５は、動画編集装置１００のＣＰＵ１１０が動画編集プログラム１８０に基づき実行するエコー効果付与処理のフローチャートである。動画データにエコー効果を施すためにユーザからの指示によって実行される処理である。
【００３９】
まず、ＣＰＵ１１０は、ＩＥＥＥ１３９４インタフェース１４０を介してデジタルビデオカメラ２００から動画データを入力する（ステップＳ１００）。動画データは、デジタルビデオカメラ２００に限らず、ＨＤＤ１５０や、ＣＤ−ＲＯＭ、ＤＶＤ、メモリカードなどから入力するものとしてもよい。
【００４０】
次にＣＰＵ１１０は、入力した動画データの中からユーザの所定の指示に基づきエコー効果を施すフレームを選択する（ステップＳ１０１）。図６（ａ）には、本ステップによって動画データ中の１００番目から１０５番目までのフレーム（１００〜１０５）が選択された例を示した。
【００４１】
ＣＰＵ１１０は、選択されたフレームのうち、時系列的に最も古いフレームの次のフレームｎを基準フレームとして設定する（ステップＳ１０２）。図６（ａ）では、フレーム１０１が基準フレームとして設定されることとなる。
【００４２】
そして、ＣＰＵ１１０は、基準フレーム（フレーム１０１）とその直前のフレーム（フレーム１００）に共通して存在する動体を検出する（ステップＳ１０３）。動体の検出は、処理負担を軽減するため各フレームをブロックに分割することで行う。
【００４３】
図７は、上記ステップＳ１０３における動体検出処理の詳細を示すフローチャートである。本処理において、まずＣＰＵ１１０は、基準フレームｎとその直前のフレーム（ｎ−１）とのフレーム全体のズレ量Ｓを検出する（ステップＳ２００）。ズレ量Ｓは、例えば、勾配法やパターンマッチング法などの既知の技術を用いることで検出することができる。
【００４４】
図中には、背景として山が、動体としてボールがフレーム（ｎ−１）とフレームｎに撮像されている例を示している。フレーム（ｎ−１）とフレームｎとを比較すると、山はフレームの右下に移動しており、ボールはフレームの右方向に移動している。また、ボールの移動量は山の移動量よりも相対的に大きく、フレーム内に占める山の面積はボールの面積よりも大きい。ということがわかる。このようなフレームに対して上述した勾配法やパターンマッチング法を適用すると、フレーム全体に占める面積の小さいボールのズレ量よりも、フレーム全体に占める面積の割合の大きい山のズレ量が優先して検出されることとなる。つまり、フレーム全体のズレ量は、山のズレ量とほぼ一致することとなる。
【００４５】
なお、２つのフレーム間には、上下左右方向の並進ズレと回転方向の回転ズレとが生じうるが、ここでは説明の簡単のため、回転ズレは生じないものとして説明する。
【００４６】
フレーム全体のズレ量Ｓを検出した後、ＣＰＵ１１０は、基準フレームｎとその直前のフレーム（ｎ−１）をそれぞれ複数のブロックに分割する（ステップＳ２０１）。図には、それぞれのフレームを横方向に４分割、縦方向に３分割する例を示している。
【００４７】
フレームの分割後、ＣＰＵ１１０は、基準フレームｎの各ブロックに対応するフレーム（ｎ−１）の各ブロックのズレ量Ｓｂを検出し（ステップＳ２０２）、各ブロックのズレ量Ｓｂと全体のズレ量Ｓとの差分をとることで、各ブロックの相対移動量ｍを算出する（ステップＳ２０３）。図示した例では、ボールが撮像された右上のブロック以外のブロックのズレ量Ｓｂは、ステップＳ２００で検出したフレーム全体のズレ量Ｓとほぼ等しいためキャンセルされて相対移動量ｍはゼロとなり、右上のブロックの相対移動量ｍのみが検出される。
【００４８】
次にＣＰＵ１１０は、相対移動量ｍが所定の閾値を超えるか否かを判断し、閾値を超える相対移動量ｍとなったブロックを動体として特定する（ステップＳ２０４）。閾値を設けるものとしたのはブロック間の軽微なズレ（例えば、微小な回転ズレ）を排除するためである。閾値としては、例えば、３０ピクセルなどとすることができる。図示した例では、フレームｎ内の右上のブロックが動体であるものとして特定される。以下のエコー効果付与処理の説明において「動体」とは、この動体検出処理により動体として検出されたブロックのことをいうものとする。
【００４９】
図６（ｂ）には、図６（ａ）で示した各フレームについて上述した動体検出処理を行った結果を表している。動体として検出されたブロックにはハッチングを付して示した。
【００５０】
説明を図５に戻す。上述した動体検出処理によって動体が検出された後、ＣＰＵ１１０は、基準フレームとその直前のフレーム間における動体の移動量を算出する（ステップＳ１０４）。移動量の算出は、動体の重心の変位量を求めることにより行う。図６（ｃ）には、各フレーム内の動体の重心の位置を示している。フレーム１０１における動体の重心の座標は（２００，５０）であり、フレーム１００における動体の重心の座標は（１５０，５０）であるから、フレーム１０１における動体の移動量は、図６（ｄ）に示すように５０（ピクセル）となる。なお、ここでは、動体の移動量をその重心の変位量に基づき求めるものとしたが、上記動体検出処理によって算出された相対移動量ｍを動体の移動量として扱うものとしてもよい。
【００５１】
移動量を算出した後、ＣＰＵ１１０は、かかる移動量に応じて基準フレームに合成する動体の数を設定する（ステップＳ１０５）。かかる設定は、図３で説明した関数を用いる。例えば、図６（ｄ）のフレーム１０１における動体ブロックの移動量は５０（ピクセル）であるから、図３のグラフによれば、合成する動体の数は１となる。そのほか、例えば、基準フレームをフレーム１０２とした場合には、移動量は７０．７（ピクセル）であるため、合成数は１となり、基準フレームをフレーム１０３とした場合には、移動量は１５８．１（ピクセル）であるため、合成数は３となる。
【００５２】
次にＣＰＵ１１０は、ステップＳ１０５で求めた合成数に応じて合成対象フレームを選択する（ステップＳ１０６）。図６のフレーム１０１に対しては、合成数は１であるため、合成対象フレームはフレーム１００となる。基準フレームをフレーム１０２とした場合には、合成数は１であるため、合成対象フレームはフレーム１０１となる。基準フレームをフレーム１０３にした場合には、合成数は３であるが、上述したように直前のフレーム１０２に既に合成した最も古いフレームよりも古いフレームは合成の対象から外すこととしたため、フレーム１０３に対して合成するフレームは、フレーム１０２とフレーム１０１の２つとなる。
【００５３】
次にＣＰＵ１１０は、合成対象フレーム内に各々存在する動体と基準フレーム内に存在する動体との距離に応じて合成対象フレーム内の各動体の合成比率を設定する（ステップＳ１０７）。かかる設定は、図４で説明したテーブルを参照して設定する。例えば、図６のフレーム１０１の動体とフレーム１００の動体との距離は、５０（ピクセル）であるから合成比率は６０％となる。基準フレームがフレーム１０３の場合について考えると、基準フレーム１０３の動体とフレーム１０２の動体との距離は１５８．１であるため、フレーム１０２の動体の合成比率は図４のテーブルにより３０％となる。基準フレーム１０３の動体とフレーム１０１の動体との距離は、これらの重心の座標から計算すると、２２３．６（＝ｓｑｒｔ（（３００−２００）２＋（２５０−５０）２）））（ｓｑｒｔは平方根）であるから、フレーム１０１の合成比率は２５％となる。なお、合成対象フレーム中の動体と基準フレーム中の動体との距離は、上述したように、これらの重心に基づき求めるものとしてもよいが、これらのフレームに対して上記動体検出処理と同様の処理を行うことで相対移動量ｍを求め、かかる相対移動量ｍを、合成対象フレーム中の動体と基準フレーム中の動体との距離としてもよい。
【００５４】
次にＣＰＵ１１０は、合成対象フレーム中の各動体を上記ステップＳ１０７で設定した各動体の合成比率に従い、基準フレームに合成することにより動体合成フレームを生成する（ステップＳ１０８）。
【００５５】
動体合成フレームを生成すると、ＣＰＵ１１０は、基準フレームｎが上記ステップＳ１０１で選択したフレームの最後のフレームであるか否かを判断する（ステップＳ１０９）。最後のフレームでなければ（ステップＳ１０９：Ｎｏ）、ｎをインクリメントして上記ステップＳ１０２に処理を移行することで、ステップＳ１０１で選択された全てのフレームに対して上述した一連の処理を行う（ステップＳ１１０）。
【００５６】
上記ステップ１０９において、最後のフレームであると判断されれば（ステップＳ１０９：Ｙｅｓ）、ＣＰＵ１１０は、動体合成フレームを時系列的に並べることで新たな動画データを生成し（ステップＳ１１１）。エコー効果付与処理を終了する。図８には、上記ステップＳ１１１で生成された新たな動画データの各フレームを示している。
【００５７】
以上で説明した実施例によれば、動画編集装置１００は、動画データ中の動体に対して意図的に残像感を与えた視覚的効果の高い動画データを生成することができる。残像として基準フレームに合成される動体の数は、その移動速度が早くなるほど増加し、合成される各動体は、基準フレーム中の動体との距離が離れるほど徐々に薄くなる。そのため、エコー効果を効果的に施すことが可能となる。また、上述した動体検出処理によって背景から動体を抽出することができるため、動体と背景とが一体的に撮像された動画データに対しても容易にエコー効果を施すことが可能となる。
【００５８】
Ｄ．変形例：
（１）上記実施例では、基準フレームに合成する各動体の合成比率は、基準フレーム中の動体との距離に応じて設定するものとした。しかし、合成比率は、基準フレーム中の動体との距離ではなく、基準フレームと合成対象フレームの時間間隔、すなわち、合成対象フレームの基準フレームに対する古さに応じて設定するものとしてもよい。
【００５９】
図９は、かかる変形例において合成比率を設定するために用いるテーブルを示す説明図である。例えば、図６（ａ）のフレーム１０５を基準フレームとし、合成数を４であるとした場合、このテーブルによれば、フレーム１０４とフレーム１０３の合成比率は６０％となり、フレーム１０２とフレーム１０１の合成比率は４０％となる。もちろん、このような合成比率の設定は、テーブルではなく関数を用いるものとしてもよい。
【００６０】
以上で説明したように、合成比率をフレームの古さに応じて設定することとすれば、基準フレームには古いフレームほど色が薄く合成されるため、例えば、図６に示した動体が壁に跳ね返って移動方向が逆転したような場合でも、より自然な残像感を得られることができる。
【００６１】
合成比率の設定方法は、動体の移動方向の時間的変化に応じて動的に切り替えられるものとしてもよい。例えば、動体の移動方向が一定の場合は、実施例で説明した方法により合成比率を設定し、動体の移動方向が反転した場合などに、本変形例で説明した方法により設定するものとすることができる。このようにすることで、両者の設定方法の利点を生かした合成を行うことが可能となる。
【００６２】
（２）図３で示した合成数の設定に用いる関数や、図４で示した合成比率の設定に用いるテーブルは、ユーザの指定によって変更できるものとしてもよい。こうすることにより、ユーザが任意にエコー効果の強さを調整することができる。
【００６３】
（３）上記実施例では、動体の移動速度が速いほど合成する動体の数を多くするものとしたが、逆に、動体の移動速度が速いほど合成する動体の数を少なくするものとしてもよい。また、実施例では、基準フレーム内の動体から距離が離れるほど残像の色が徐々に薄くなるようにしたが、徐々に濃くなるようにしてもよい。
【００６４】
以上、本発明の実施例および変形例について説明したが、本発明はこれらに限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。例えば、ソフトウェアによって実現した機能はハードウェアによって実現するものとしてもよい。
【図面の簡単な説明】
【００６５】
【図１】実施例としての動画編集装置１００の動作の概要を示す説明図である。
【図２】動画編集装置１００の概略構成を示す説明図である。
【図３】合成数を設定するために用いる関数を表すグラフである。
【図４】合成比率を設定するために用いるテーブルを示す説明図である。
【図５】エコー効果付与処理のフローチャートである。
【図６】エコー効果付与処理を行う動画データの各フレームを示す説明図である。
【図７】動体検出処理の詳細を示すフローチャートである。
【図８】新たな動画データの各フレームを表す説明図である。
【図９】変形例において合成比率を設定するために用いるテーブルを示す説明図である。
【符号の説明】
【００６６】
１００...動画編集装置
１１０...ＣＰＵ
１２０...ＲＡＭ
１３０...ＲＯＭ
１４０...ＩＥＥＥ１３９４インタフェース
１５０...ハードディスクドライブ
１６０...オペレーティングシステム
１８０...動画編集プログラム
１８１...動体検出部
１８２...移動量検出部
１８３...合成数設定部
１８４...合成対象フレーム選択部
１８５...合成比率設定部
１８６...動体合成フレーム生成部
１８７...動画データ生成部
２００...デジタルビデオカメラ
３００...ＤＶケーブル
【図１】
2005236472.tif 000003
【図２】
2005236472.tif 000004
【図３】
2005236472.tif 000005
【図４】
2005236472.tif 000006
【図５】
2005236472.tif 000007
【図６】
2005236472.tif 000008
【図７】
2005236472.tif 000009
【図８】
2005236472.tif 000010
【図９】
2005236472.tif 000011