(57)【要約】【課題】映像中の移動する被写体に自然な光効果を付与できるようにする。【解決手段】映像データにおける被写体の位置を検出し、前記検出した被写体の位置に光効果を付与する映像編集装置であって、前記映像データに基づき、フレーム上の被写体が隠れる少なくとも１つの前景の位置を選択し、前記被写体の位置、及び前記選択された前景の位置に基づき、フレーム上での被写体と前景との距離である前景距離を算出する。そして、前記算出された前景距離に基づき、光効果の強度を変更する。【選択図】図１
2011204006.tif 000002
【特許請求の範囲】
【請求項１】
映像データにおける被写体の位置を検出し、前記検出した被写体の位置に光効果を付与する映像編集装置であって、
前記映像データに基づき、フレーム上の被写体が隠れる少なくとも１つの前景の位置を選択する選択手段と、
前記被写体の位置、及び前記選択手段によって選択された前景の位置に基づき、フレーム上での被写体と前景との距離である前景距離を算出する算出手段と、
前記算出手段によって算出された前景距離に基づき、光効果の強度を変更する光効果強度制御手段とを有することを特徴とする映像編集装置。
【請求項２】
前記選択手段は、外部から指定されたフレーム上の位置を前記前景の位置とすることを特徴とする請求項１記載の映像編集装置。
【請求項３】
前記光効果強度制御手段は、前記前景距離が短ければ弱く、長ければ強く光効果の強度を変更することを特徴とする請求項１記載の映像編集装置。
【請求項４】
前記光効果強度制御手段は、前記被写体が前記前景に隠れた面積比を算出し、前記面積比に基づいて、光効果の強度の下限値を変更することを特徴とする請求項１記載の映像編集装置。
【請求項５】
映像データにおける被写体の位置を検出し、前記検出した被写体の位置に光効果を付与する映像編集方法であって、
前記映像データに基づき、フレーム上の被写体が隠れる少なくとも１つの前景の位置を選択する選択工程と、
前記被写体の位置、及び前記選択工程において選択された前景の位置に基づき、フレーム上での被写体と前景との距離である前景距離を算出する算出工程と、
前記算出工程において算出された前景距離に基づき、光効果の強度を変更する光効果強度制御工程とを有することを特徴とする映像編集方法。
【請求項６】
請求項５記載の映像編集方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像編集装置、映像編集方法及びプログラムに関し、特に、被写体に特殊効果を与えるために用いて好適な技術に関する。
【背景技術】
【０００２】
映像中の移動する被写体に対して、特殊効果を付与することはよく行われている。例えば、車が走っている映像の車を強調させるために、車体が反射している光を強調する特殊効果を付与するなどが行われる。映像中の移動する被写体に対して特殊効果を付与する処理は、映像中の被写体を追尾し、追尾位置に基づいた位置に特殊効果を付与することにより行われている。付与する特殊効果の制御としては、被写体の追尾位置に一定の特殊効果を付与し、追尾不可能な区間では特殊効果を付与しないという制御が行われている（例えば、特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３０３９８３号公報
【特許文献２】特開２００６−２９３８８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、映像中の移動する被写体に光効果を付与する場合、特許文献１または２に記載の方法では、被写体が追尾されている区間では一定の強度の光効果が付与されるが、追尾されていない区間では光効果が付与されない。その結果、被写体が前景に隠れた際、被写体が点滅しているような不自然な映像となってしまう問題点がある。
【０００５】
本発明は前述の問題点に鑑み、映像中の移動する被写体に自然な光効果を付与できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明の映像編集装置は、映像データにおける被写体の位置を検出し、前記検出した被写体の位置に光効果を付与する映像編集装置であって、前記映像データに基づき、フレーム上の被写体が隠れる少なくとも１つの前景の位置を選択する選択手段と、前記被写体の位置、及び前記選択手段によって選択された前景の位置に基づき、フレーム上での被写体と前景との距離である前景距離を算出する算出手段と、前記算出手段によって算出された前景距離に基づき、光効果の強度を変更する光効果強度制御手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、映像編集装置において、映像中の移動する被写体に自然な光効果を付与することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る映像編集装置の構成例を示すブロック図である。
【図２】光効果の例を示す図である。
【図３】被写体位置情報の一例を示す図である。
【図４】第１の実施形態における前景距離算出の概要を示す概念図である。
【図５】光効果を付与した動画のスクリーンショットの一例を示す図である。
【図６】光効果を付与する一連の処理手順の一例を示すフローチャートである。
【図７】前景位置選択部による処理手順の一例を示すフローチャートである。
【図８】前景距離算出部による処理手順の一例を示すフローチャートである。
【図９】光効果強度制御部による処理手順の一例を示すフローチャートである。
【図１０】第２の実施形態における前景距離算出の概要を示す概念図である。
【図１１】光効果を付与した動画のスクリーンショットの一例を示す図である。
【図１２】前景距離算出部による処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
以下、本発明の第１の実施形態を図面に基づいて説明する。
図１は、本実施形態の映像編集装置の構成例を示すブロック図である。
図１において、１０１はデータを蓄積するハードディスク等からなる記憶媒体であり、映像データなどを蓄積する。１０２は映像データ内の移動する被写体に光効果を付与する映像編集装置である。
【００１０】
図２は、光効果の例を示す図である。ここで、図２（ａ）は、画像の明るい部分にきらめきの効果を出すグローを示し、図２（ｂ）は、光がレンズにあたり屈折する効果を出すレンズフレアを示している。なお、これらは光効果の例であり、これに限るものではない。図２において、２０１は、画像の明るい部分である光源である。２０２はグローによって付与されたきらめきである。２０３はレンズフレアによって付与された光源、２０４は光線、２０５はフレアである。
【００１１】
図１の説明に戻り、１０３は映像編集制御部であり、映像編集装置１０２が付与する光効果の強度を制御する。なお、光効果の強度として、光源２０１、２０３の大きさ、きらめき２０２の針や光線２０４の長さ、きらめき２０２の針やフレア２０５の数などがある。１０４はユーザが指定した被写体の位置を検出する被写体位置検出部であり、ユーザが指定した被写体内の少なくとも１点の特徴点を抽出する。そして、抽出した特徴点と映像データとに基づきブロックマッチングを行い、被写体の位置を検出し、被写体位置情報を生成する。なお、特徴点の例としては、輝度の高い点やエッジの交わる点などがあげられる。
【００１２】
図３は、被写体位置情報の一例を示す図である。
図３において、３０１はタイムスタンプであり、単位はｍｓある。３０２は被写体の画面上での座標であり、単位はピクセルである。なお、これは一例であり、これに限るものではない。
【００１３】
図１の説明に戻り、１０５は、被写体が隠れる少なくとも一つの前景のフレーム上での位置を選択する前景位置選択部である。前景位置選択部１０５では、映像データから、処理フレームの時間的に前で近傍の、被写体が未検出から検出に変わるフレームを検出する。また、処理フレームの時間的に後で近傍の、被写体が検出から未検出に変わるフレームも検出する。そして、検出した各フレームの被写体の位置を前景の位置と選択する。なお、ユーザなどの外部がフレームから、前景の位置を選択可能にしても構わない。
【００１４】
また、被写体の検出、未検出の変化で前景の位置の選択を行っているが、これは一例であり、これに限るものではない。例えば、被写体の範囲をブロックマッチングにより検し出、マッチングした範囲が減少した位置で被写体が前景に隠れたと判定し、その位置を前景の位置として選択するようにしてもよい。また、本実施形態では、被写体の検出から未検出、未検出から検出へと変化する位置の両方を前景の位置としているが、どちらか一方を前景の位置として選択しても構わない。
【００１５】
１０６は処理フレームの光効果を付与する被写体の位置と前景位置選択部１０５で選択した前景の位置との、フレーム上での距離である前景距離を算出する前景距離算出部である。前景の位置が複数選択されていた場合は、被写体の位置との距離が最も短い前景の位置との距離を前景距離とする。１０７は、前景距離算出部１０６によって算出された前景距離に基づき、光効果の強度を変更する光効果強度制御部である。１０８は被写体位置情報と光効果強度制御部１０７によって変更された強度とに基づき、映像データ内の被写体に光効果を付与する光効果付与部である。１０９は光効果付与部１０８によって光効果が付与された映像データを表示する表示部である。
【００１６】
図４（ａ）〜図４（ｄ）は、本実施形態における前景距離を算出する概要を示す概念図である。
図４において、４０１はフレーム画像領域であり、４０２は光効果を付与する被写体である。４０３は被写体４０２が後を通過する前景である。４０４は被写体位置検出部１０４が検出している被写体の位置である。４０５は被写体の位置４０４の軌跡である。４０６は被写体の位置４０４が未検出から検出へ変わる第１の検出結果が変化する位置である。４０７は被写体の位置４０４が検出から未検出へ変わる第２の検出結果が変化する位置である。４０８は被写体の位置４０４が再度未検出から検出へ変わる第３の検出結果が変化する位置である。４０９は被写体の位置４０４が再度未検出から検出へ変わる第４の検出結果が変化する位置である。４１０は被写体４０２と前景４０３との距離として算出される前景距離である。
【００１７】
図４（ａ）における前景距離４１０の算出処理について図４に基づき説明する。まず、被写体位置検出部１０４が抽出した被写体位置情報から、処理フレームの時間的に前で近傍の第１の検出結果が変化する位置４０６を取得する。ところが、第１の検出結果が変化する位置４０６はフレームのエッジ上の点であるため、前景の位置として選択しない。そこで、処理フレームの時間的に後の近傍の第２の検出結果が変化する位置４０７を取得し、前景位置として選択する。これにより、被写体の位置と選択した前景位置との距離を、前景距離４１０として算出する。
【００１８】
図５は、本実施形態における光効果を付与した動画のスクリーンショットの一例を示す図である。５０１は付与された光効果である。ここで、図４に示す前景距離４１０の長さに応じて、短ければ光効果５０１の強度を弱く、長ければ強くするよう強度を変更する。そのように光効果５０１の強度を変更することにより、被写体が前景に隠れると光が弱まり、被写体が前景から出てくると光が強まる光効果５０１を付与することができる。
【００１９】
図６は、本実施形態に係る映像編集装置１０２の光効果を付与する一連の処理手順の一例を示すフローチャートである。
図６において、光効果付与処理を開始すると、被写体位置検出部１０４は、光効果を付与する映像を記憶媒体１０１から読み出し、映像全体に対して被写体位置情報を検出する（ステップＳ６０１）。そして、映像のシーク位置を先頭フレームに設定し（ステップＳ６０２）、シーク位置のフレームをデコードする（ステップＳ６０３）。次に、被写体位置情報に基づき、デコードしたフレームで被写体が検出されているかを判定する（ステップＳ６０４）。この判定は、処理フレームでの被写体位置情報の有無によって判定される。
【００２０】
この判定の結果、検出されている場合（ステップＳ６０４／ＹＥＳ）は、前景位置選択部１０５は、映像データに基づき、処理フレームの時間的に前で近傍の、被写体が未検出から検出へ変わるフレームを検出する。また、処理フレームの時間的に後で近傍の、被写体が検出から未検出へ変わるフレームも検出する。そして、検出した各フレーム上での被写体の位置を取得し、取得した被写体の各位置がフレームのエッジ上でない場合には、被写体の各位置を前景の位置として選択する（ステップＳ６０５）。なお、被写体が検出されない場合（ステップＳ６０４／ＮＯ）は、ステップＳ６０９に進む。
【００２１】
次に、前景距離算出部１０６は、被写体位置情報と前景位置選択部１０５で選択した前景の位置とに基づき、前景距離を算出する（ステップＳ６０６）。そして、光効果強度制御部１０７は、前景距離算出部１０６で算出した前景距離に基づき、前景距離が短ければ光効果の強度を弱く、長ければ強くなるように線形的に強度を変更する（ステップＳ６０７）。なお、この強度の変更の制御は一例であり、これに限るものではない。例えば、前景が光を発する光源であった場合、被写体が前景に近づくほど強度を強め、遠ざかるほど弱めるように強度を変更してもよい。また、本実施形態では、線形的に強度を変更しているが、非線形的に強度を変更してもよい。
【００２２】
次に、光効果付与部１０８は、被写体位置検出部１０４によって検出した被写体位置情報の被写体の位置を中心に、光効果強度制御部１０７で変更した強度の光効果を処理フレームに付与する（ステップＳ６０８）。なお、本ステップでは被写体の位置を中心に光効果を付与しているが、光効果を付与する中心を被写体の位置にすることは一例であり、これに限るものではない。そして、光効果を付与したフレームを表示部１０９に出力する（ステップＳ６０９）。
【００２３】
次に、被写体位置検出部１０４は、次のフレームがあるか否かを判定する（ステップＳ６１０）。この判定の結果、次のフレームがある場合（ステップＳ６１０／ＹＥＳ）は、シーク位置を次のフレームへ変更し（ステップＳ６１１）、シーク位置のフレームをデコードする（ステップＳ６０３）。一方、次のフレームがない場合（ステップＳ６１０／ＮＯ）は、光効果付与処理を終了する。
【００２４】
図７は、図６のステップＳ６０５における前景位置選択部１０５による一連の処理手順の一例を示すフローチャートである。
まず、処理フレーム上の前景の位置の情報が記憶媒体１０１に記憶されているか否かを判定する（ステップＳ７０１）。この判定は、被写体の検出結果が変化するフレームのタイムスタンプと処理フレームのタイムスタンプとを比較することにより行う。この判定の結果、前景の位置の情報が記憶されている場合（ステップＳ７０１／ＹＥＳ）は、そのまま処理を終了する。
【００２５】
一方、処理フレーム上の前景の位置の情報が記憶されていない場合（ステップＳ７０１／ＮＯ）は、映像データから、処理フレームの時間的に前で近傍の、被写体の検出が未検出から検出へ変わるフレームを取得する。そして、取得したフレーム上での被写体の位置を取得する（ステップＳ７０２）。
【００２６】
次に、取得したフレームのタイムスタンプが映像の開始位置ではなく、かつ取得した被写体の位置がフレームのエッジ上ではないかどうかを判定する（ステップＳ７０３）。この条件を満たす場合（ステップＳ７０３／ＹＥＳ）は、取得した被写体の位置を第１の前景の位置と設定する（ステップＳ７０４）。一方、この条件を満たさない場合（ステップＳ７０３／ＮＯ）は、第１の前景の位置を無しと設定する（ステップＳ７０５）。そして、設定した第１の前景の位置と、取得したフレームのタイムスタンプとを一組とし、記憶媒体１０１に記憶する（ステップＳ７０６）。そして、映像データから、処理フレームの時間的に後で近傍の、被写体が検出から未検出へ変わるフレームを取得し、取得したフレーム上での被写体の位置を取得する（ステップＳ７０７）。
【００２７】
次に、取得したフレームのタイムスタンプが映像の終了位置ではなく、かつ取得した被写体の位置がフレームのエッジ上ではないかどうかを判定する（ステップＳ７０８）。この条件を満たす場合（ステップＳ７０８）は、取得した被写体の位置を第２の前景の位置と設定する（ステップＳ７０９）。一方、この条件を満たさない場合（ステップＳ７０８）は、第２の前景の位置を無しと設定する（ステップＳ７１０）。そして、設定した第２の前景の位置と、取得したフレームのタイムスタンプとを一組とし、記憶媒体１０１に記憶する（ステップＳ７１１）。
【００２８】
図８は、図６のステップＳ６０６における前景距離算出部１０６による一連の処理手順の一例を示すフローチャートである。
まず、第１の前景の位置が設定されているか否かを判定する（ステップＳ８０１）。この判定の結果、第１の前景の位置が設定されている場合（ステップＳ８０１／ＹＥＳ）は、処理フレーム上での被写体の位置と第１の前景の位置との距離を算出し、第１の算出距離とする（ステップＳ８０２）。一方、第１の前景の位置が設定されていない場合（ステップＳ８０１／ＮＯ）は、第１の算出距離に取りうる値の最大値を設定する（ステップＳ８０３）。
【００２９】
次に、第２の前景の位置が設定されているか否かを判定する（ステップＳ８０４）。この判定の結果、第２の前景の位置が設定されている場合（ステップＳ８０４／ＹＥＳ）は、処理フレーム上での被写体の位置と第２の前景の位置との距離を算出し、第２の算出距離とする（ステップＳ８０５）。一方、第２の前景の位置が設定されていない場合（ステップＳ８０４／ＮＯ）は、第２の算出距離に取りうる値の最大値を設定する（ステップＳ８０６）。
【００３０】
次に、第１の算出距離と第２の算出距離とを比較する（ステップＳ８０７）。この比較の結果、第１の算出距離のほうが短い場合は第１の算出距離を前景の距離とし（ステップＳ８０８）、そうでない場合は第２の算出距離を前景の距離とする（ステップＳ８０９）。なお、ステップＳ８０３及びＳ８０６の処理は、被写体がフレームイン・アウトをした際に、光効果の強度を変更しないための処理の一例であり、これに限られるものではない。
【００３１】
図９は、図６のステップＳ６０７における光効果強度制御部１０７による一連の処理手順の一例を示すフローチャートである。
まず、前景距離算出部１０６によって算出した前景距離が短いほど光効果の強度を弱く、長いほど光強度を強く、光効果の強度を線形的に変更する（ステップＳ９０１）。そして、変更した光効果の強度が、あらかじめ設定していた上限値内に収まっているか否かを判定する（ステップＳ９０２）。この判定の結果、決定した光効果の強度が、あらかじめ設定していた上限値内に収まっていた場合（ステップＳ９０２／ＹＥＳ）は、光効果の強度を決定した光効果の強度に変更する（ステップＳ９０３）。一方、決定した光効果の強度が、あらかじめ設定していた上限値を超えた場合（ステップＳ９０２／ＮＯ）は、光効果の強度を変更せず、処理を終了する。
【００３２】
なお、強度が上限値を超えた際に強度を変更しないよう処理しているが、強度を上限値に変更してもよい。また、光効果の強度が上限値内か判定しているが、下限値を下回っていないか判定してもよい。さらに、光効果を付与する被写体が前景に隠れた面積比に応じて、下限値を変更してもよい。以上のような構成により処理を行うことにより、前景が画面上を動かず変形しない場合に、移動する被写体に自然な光効果を付与することが可能となる。
【００３３】
（第２の実施形態）
以下、本発明の第２の実施形態について図面に基づいて説明する。なお、本実施形態の映像編集装置の構成については第１の実施形態と同様である。本実施形態では、第１の実施形態と異なる点についてのみ説明する。まず、本実施形態における処理例を、人が木の後を通過するところをフォローしながら撮影した動画の移動する人の頭部に光効果を付与した場合について説明する。
【００３４】
図１０（ａ）〜図１０（ｆ）は、本実施形態における前景距離算出の概要を示す概念図である。
図１０において、１００１はフレーム画像領域であり、１００２は被写体である。１００３は被写体１００２が後を通過する前景である。１００４は、被写体位置検出部１０４が検出している被写体の位置である。１００５は、被写体の位置１００４の検出が、検出から未検出になる第１の特徴点である。１００６は被写体１００２と前景１００３との距離として算出される前景距離である。１００７は被写体の位置１００４の検出が、未検出から検出になる第２の特徴点である。
【００３５】
次に、本実施形態における前景距離を算出する処理について図１０（ａ）を例に説明する。図１０（ａ）に示す前景距離１００６を算出する際には、まず、映像データから被写体の位置１００４の検出結果が、図１０（ｃ）に示すような検出から未検出へ変わったフレームを取得する。そして、図１０（ｃ）に示す被写体の位置１００４を取得し、映像データを用いて、図１０（ｃ）に示す被写体の位置１００４を特徴点として抽出する。次に、抽出した特徴点と映像データとに基づきブロックマッチングを行い、映像データの特徴点を追尾し、追尾した特徴点の図１０（ａ）に示す時点での位置を検出する。そして、検出した特徴点の位置と被写体の位置１００４との距離を前景距離１００６とする。
【００３６】
図１１は、本実施形態における光効果を付与した映像のスクリーンショットの一例を示す図である。１１０１は付与された光効果である。ここで、図１０に示す前景距離１００６の長さに応じて、短ければ光効果１１０１の強度を弱く、長ければ強く変更を行う。そのように変更することにより、被写体が前景に隠れると光が弱まり、被写体が前景から出てくると光が強まる光効果１１０１を付与することができる。
【００３７】
図１２は、本実施形態において、図６のステップＳ６０６における前景距離算出部１０６による一連の処理手順の一例を示すフローチャートである。
まず、第１の前景距離が設定されているか否かを判定する（ステップＳ１２０１）。この判定の結果、第１の前景の位置が設定されている場合（ステップＳ１２０１／ＹＥＳ）、第１の前景の位置を見つけたフレーム上での、第１の前景の位置を特徴点として抽出する（ステップＳ１２０２）。そして、抽出した特徴点と映像データとに基づき、ブロックマッチングを行い、特徴点を追尾して処理フレーム上での特徴点の位置を検出し、第１の前景の位置とする（ステップＳ１２０３）。そして、検出した第１の前景の位置と被写体の位置との距離を算出し第１の算出距離とする（ステップＳ１２０４）。一方、第１の前景の位置が設定されていなかった場合（ステップＳ１２０１／ＮＯ）は、第１の算出距離に取りうる値の最大値を設定する（ステップＳ１２０５）。
【００３８】
次に、第２の前景の位置が設定されているか否かを判定する（ステップＳ１２０６）。この判定の結果、第２の前景の位置が設定されている場合（ステップＳ１２０６／ＹＥＳ）は、第２の前景の位置を見つけたフレーム上での、第２の前景の位置を特徴点として抽出する（ステップＳ１２０７）。そして、抽出した特徴点と映像データとに基づき、ブロックマッチングを行い、特徴点を追尾して処理フレーム上での特徴点の位置を検出し、第２の前景の位置とする（ステップＳ１２０８）。そして、検出した第２の前景の位置と被写体の位置との距離を算出し第２の算出距離とする（ステップＳ１２０９）。一方、第２の前景の位置が設定されていなかった場合（ステップＳ１２０６／ＮＯ）、第２の算出距離に取りうる値の最大値を設定する（ステップＳ１２１０）。
【００３９】
次に、第１の算出距離と第２の算出距離とを比較する（ステップＳ１２１１）。この比較の結果、第１の算出距離のほうが短い場合は第１の算出距離を前景距離とし（ステップＳ１２１２）、そうでない場合は第２の算出距離を前景距離とする（ステップＳ１２１３）。
【００４０】
以上のような構成により処理を行うことにより、前景が画面上を移動しても、前景が変形しなければ、移動する被写体に自然な光効果を付与することが可能となる。なお、前景が可変の物体だった場合、例えば前景が人だった場合でも、人をいくつかのパーツに分け、不変部分である頭や胴体に対して上記処理を行えば、移動する被写体に自然な光効果を付与することが可能となる。また、本実施形態では光効果についてのみ適用しているが、不透明度や輝度などの強度を持つ映像効果であれば同様に適用できる。
【００４１】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４２】
１０５  前景位置選択部、１０６  前景距離算出部、１０７  光効果強度制御部
【図１】
2011204006.tif 000003
【図２】
2011204006.tif 000004
【図３】
2011204006.tif 000005
【図４】
2011204006.tif 000006
【図５】
2011204006.tif 000007
【図６】
2011204006.tif 000008
【図７】
2011204006.tif 000009
【図８】
2011204006.tif 000010
【図９】
2011204006.tif 000011
【図１０】
2011204006.tif 000012
【図１１】
2011204006.tif 000013
【図１２】
2011204006.tif 000014