(57)【要約】  本発明は、入力ビデオから修正ビデオを作成する方法及びデバイスを提供し、本方法は、前記入力ビデオのサブビューに対応する少なくとも１つのサブビデオを生成するステップと、修正ビデオを作成するために、時間軸に沿って、生成された前記サブビデオを、オリジナル入力ビデオに統合するステップとを有する。それ故、修正ビデオは、入力ビデオからもたらされる幾つかのクローズアップコンテンツを含み、オリジナル入力ビデオよりも魅力的になる。
2010536220.tif 000002
【特許請求の範囲】
【請求項１】
入力ビデオから修正ビデオを作成する方法であって、
前記入力ビデオのサブビューに対応する少なくとも１つのサブビデオを生成するステップと、
前記修正ビデオを作成するために、時間軸に沿って、前記サブビデオを前記入力ビデオに統合するステップとを有する、方法。
【請求項２】
前記生成するステップは、
サブビューを識別するステップと、
前記入力ビデオから前記サブビューを抽出するステップとを更に有する、請求項１に記載の方法。
【請求項３】
前記識別するステップは、前記入力ビデオからオブジェクトを検出し、検出された前記オブジェクトに応じてサブビューを識別するステップを更に有する、請求項２に記載の方法。
【請求項４】
前記識別するステップは、サブビューを識別するためにユーザ入力を受信するステップを更に有する、請求項２に記載の方法。
【請求項５】
前記抽出するステップは、背景サイズを徐々に変化させることによりサブビューのセットを抽出することを可能にする、請求項２に記載の方法。
【請求項６】
前記統合するステップは、前記入力ビデオのクリップを、生成された前記サブビデオと置き換えるステップを有する、請求項１に記載の方法。
【請求項７】
前記統合するステップは、前記サブビデオを前記入力ビデオに挿入するステップを有する、請求項１に記載の方法。
【請求項８】
前記サブビデオの表示サイズを拡大するステップを更に有する、請求項１に記載の方法。
【請求項９】
前記拡大するステップは、拡大された前記サブビデオの解像度を向上させるステップを更に有する、請求項８に記載の方法。
【請求項１０】
抽出された前記サブビューの位置を時間軸に沿って徐々に移動させるステップを更に有する、請求項２に記載の方法。
【請求項１１】
前記サブビデオをフェードイン又はフェードアウトさせるステップを更に有する、請求項１に記載の方法。
【請求項１２】
入力ビデオから修正ビデオを作成するためのデバイスであって、
前記入力ビデオのサブビューに対応する少なくとも１つのサブビデオを生成する第１のモジュールと、
前記修正ビデオを作成するために、時間軸に沿って、前記サブビデオを前記入力ビデオに統合する第２のモジュールとを有する、デバイス。
【請求項１３】
前記第１のモジュールは、
前記入力ビデオからサブビューを識別する第１のユニットと、
前記入力ビデオから前記サブビューを抽出する第２のユニットとを有する、請求項１２に記載のデバイス。
【請求項１４】
前記第２のモジュールは、前記入力ビデオのフレームを、生成された前記サブビデオと置き換える第３のユニットを有する、請求項１２に記載のデバイス。
【請求項１５】
前記第２のモジュールは、前記サブビデオを前記入力ビデオに挿入する第４のユニットを有する、請求項１２に記載のデバイス。
【請求項１６】
前記第１のモジュールは、サブビューを識別するためにユーザ入力を受信する第５のユニットを更に有する、請求項１２に記載のデバイス。
【請求項１７】
入力ビデオを記録するためのカムコーダであって、
前記入力ビデオから修正ビデオを作成する、請求項１２に記載のデバイスを有する、カムコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力ビデオから修正ビデオを作成する、例えばカムコーダで取得された入力ビデオを編集する方法及びデバイスに関する。
【背景技術】
【０００２】
カムコーダ等のビデオレコーダにより作成されたビデオコンテンツは、一般に、専門家のビデオコンテンツよりも低い品質をもつ。未加工のカムコーダ映像の高度なユーザ編集の後でさえも、生ずる品質は、専門的に編集されたコンテンツを見るのに慣れているユーザにとって依然として満足なものではない。
【０００３】
カムコーダにより生成されたビデオコンテンツが専門家のコンテンツよりも悪く見える一つの理由は、ビデオシーンが、１つのカメラにより、例えば１つのレコーディングアングルで撮影されることにある。しかしながら、専門家のコンテンツの場合においては、複数アングルのカメラが用いられ、これは、例えば広角ショットからクローズアップまで、シーン内において角度を切り替えることを可能にする。
【０００４】
現在、幾つかのビデオ編集ソフトウェアがビデオ編集のためにユーザに対して提供されているが、斯様なソフトウェアは専門的な技術を必要とし、これを用いるのを困難にし、時間も浪費する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、入力ビデオから修正ビデオを作成する方法を提供することにある。
【課題を解決するための手段】
【０００６】
この目的を達成するために、本発明による方法は、以下のステップ：入力ビデオのサブビューに対応する少なくとも１つのサブビデオを生成するステップ、及び、修正ビデオを作成するために、時間軸に沿って、生成された前記サブビデオを前記入力ビデオに統合するステップを有する。
【０００７】
修正ビデオは、入力ビデオによってもたらされる幾つかのクローズアップコンテンツを含み、その結果として、修正ビデオは、オリジナル入力ビデオよりも魅力的になる。
【０００８】
有利には、前記生成するステップは、サブビューを識別するステップと、オリジナル入力ビデオからサブビューを抽出するステップとを更に有する。
【０００９】
有利には、前記統合するステップは、入力ビデオのクリップを、生成されたサブビデオに置き換えるステップを有する。
【００１０】
有利には、前記統合するステップは、生成されたサブビデオを入力ビデオに挿入するステップを有する。
【００１１】
また、本発明の目的は、入力ビデオから修正ビデオを作成するデバイスを提供することにある。
【００１２】
この目的を達成するために、本発明によるデバイスは、入力ビデオのサブビューに対応する少なくとも１つのサブビデオを生成する第１のモジュール、及び、修正ビデオを作成するために、時間軸に沿って、前記サブビデオを前記入力ビデオに統合する第２のモジュールを有する。
【００１３】
本発明の目的は、入力ビデオから修正ビデオを作成する、前述したデバイスを有するビデオレコーダを提供することにある。
【００１４】
本発明の詳細な説明及び他の態様が以下に与えられるだろう。
【００１５】
本発明の特定の態様は、これ以降説明され、同一のパーツ又はサブステップが同様に指定される添付図面に関連して考慮される実施形態を参照して説明される。
【図面の簡単な説明】
【００１６】
【図１】本発明の入力ビデオから修正ビデオを作成する方法のフローチャートを示す。
【図２】本発明の入力ビデオからサブビューを識別する一例を示す。
【図３】本発明の入力ビデオからサブビューを抽出する一例を示す。
【図４】本発明の修正ビデオの例を時間軸に沿って示す。
【図５】本発明の修正ビデオの例を時間軸に沿って示す。
【図６】本発明の修正ビデオの例を時間軸に沿って示す。
【図７】本発明のサイズが徐々に変化するサブビューのセットを抽出する一例を示す。
【図８】本発明のスクリーンに渡ってサブビューを移動させる一例を示す。
【図９】本発明で用いられるグラフィックユーザインタフェースの一例を示す。
【図１０】本発明の入力ビデオから修正ビデオを作成するための機能的モジュールを示すブロック図を示す。
【図１１】本発明の一実施形態の入力ビデオから修正ビデオを作成するための装置を概略的に示す。
【発明を実施するための形態】
【００１７】
図１は、本発明の入力ビデオから修正ビデオを作成する方法の第１のフローチャートを示している。
【００１８】
本方法は、入力ビデオのサブビューに対応する少なくとも１つのサブビデオを生成するステップ１００、その後、修正ビデオを作成するために、時間軸に沿って、生成されたサブビデオを入力ビデオに統合するステップ１１０を有する。
【００１９】
入力ビデオは、任意のビデオフォーマット、例えば、MPEG-2，MPEG-4，DV，MPG，DAT，AVI，DVD又はMOVである。入力ビデオは、ビデオカメラ、例えばカムコーダ又は同様のものにより取得される。
【００２０】
本発明によれば、サブビューは、入力ビデオ内の画像の部分的な視界である。例えば、図２は、左側の第１の人（顔１）及び右側の第２の人（顔２）をもつシーンを示す入力ビデオ２００を示しており、２０１は、顔１を含む第１のサブビューであり、２０２は、顔２を含む第２のサブビューであり、２０３は、顔２を含むがサブビュー２０２よりも大きな背景をもつサブビューの他の例である。
【００２１】
本発明によれば、サブビデオは、入力ビデオの連続的なフレームに属するサブビューのデータを含むフレームからなり、前記生成するステップ１００により生成される。例えば、図３は、（話しているか又は聞いているかのいずれかの）左側の第１の人及び右側の第２の人をもつ入力ビデオ３００のシーンを、時間軸に沿って示している。サブビュー３０１を含むフレームからなる（破線で囲まれた）サブビデオ３１１は、前記生成するステップ１００により生成される。同じ手法において、サブビュー３０２に対応するサブビデオ３１２、及び、サブビュー３０３に対応するサブビデオ３１３も生成され得る。
【００２２】
以下の図面では、図示を容易にするために、異なるビデオシーン当たりに１つの画像だけが示されることに留意されたい。
【００２３】
ステップ１１０は、サブビデオを入力ビデオに統合するために用いられる。図４は、入力ビデオ４２０及びサブビデオ４１２，４１１，４１３からなる修正ビデオ４００を、時間軸に沿って示している。換言すれば、修正ビデオ４００では、第１の時間（分）の間、入力ビデオ４２０に属するクリップの第１の時間が再生され、第２の時間（分）の間、サブビデオ４１２が再生され、第３の時間（分）の間、サブビデオ４１１が再生され、第４の時間（分）の間、サブビデオ４１３が再生され、第５の時間（分）の間、入力ビデオ４２０に属するクリップの第５の時間が再生されるだろう。斯様な手法において、サブビデオと入力ビデオのクリップとを時間軸に沿って集めることにより、修正ビデオ４００が作成される。
【００２４】
前記統合するステップ１１０は、以下で詳細に説明されるような、入力ビデオのデータコンテンツに応じて様々な方法により実行され得ることが当業者により理解されるべきである。
【００２５】
代わりに、図１のフローチャートで示されるように、ステップ１００は、サブビューを識別するステップ１０１を更に有する。
【００２６】
ビデオ内のサブビューを識別するために、幾つかの嗜好が与えられる必要がある。例えば、所望のサブビューの量、所望のサブビューのサイズ、及び、所望のサブビューの形状が与えられる必要がある。
【００２７】
図２で示されるように、所与の嗜好は、サブビューが会話のコンテンツに関連する場合には、話している人の顔を含むサブビューの２つの異なるサイズと、聞いている人の顔を含む第３のサブビューとが識別されるべきである。それ故、サブビュー２０２及びサブビュー２０３は、話している人のクローズアップとして識別され、サブビュー２０１は、聞いている人のクローズアップとして識別される。
【００２８】
有利には、前記識別するステップ１０１は、検出されたオブジェクトに応じてサブビューを識別するために、入力ビデオからオブジェクトを検出するステップを更に有する。
【００２９】
例えば、入力ビデオのデータコンテンツを検出することにより、顔、移動オブジェクト又は中心オブジェクトがオブジェクトとして検出され得る。図２で示されるように、画像の左側の顔１及び画像の右側の顔２がオブジェクトとして検出され得る。検出の結果と予め規定された嗜好とに基づいて、検出されたオブジェクト（顔１及び顔２）を含むサブビュー２０１，２０２，２０３は、前記識別するステップ１０１において述べられたように識別される。
【００３０】
代わりに、識別するステップ１０１は、ユーザがサブビューを識別するためにユーザ入力を受信するステップを更に有する。
【００３１】
図９は、識別されたサブビュー９０１，９０２，９０３と入力ビデオの１つの画像９２０とをユーザに対して全て表示するグラフィカルユーザインタフェースの一例を示している。ユーザは、修正ビデオを作成するために用いられるべきサブビューを選択する可能性を有する。この例では、サブビュー９０１がユーザにより選択される。
【００３２】
サブビューは、ユーザインタフェースを介してユーザ入力により完全に識別されてもよい。この場合において、ユーザは、サブビューに含まれるべきオブジェクトを選択して、前述した嗜好を決定するだろう。
【００３３】
図１のフローチャートに示されるように、ステップ１００は、入力ビデオから、識別されたサブビューを抽出するステップ１０２を更に有する。サブビューのデータを含むフレームのセットは、対応するサブビデオを生成するために入力ビデオから抽出されるだろう。
【００３４】
例えば、図３は、時間軸に沿って５分の入力ビデオ３００を示している。この入力ビデオが秒当たり２５フレームを有する場合には、第２の時間は、１５００フレームを有する。サブビュー３０２に対応するサブビデオ３１２を生成するためのデータは、これらの１５００フレームから抽出される。同様に、サブビュー３０１に対応するサブビデオ３１１は、入力ビデオの第３の時間から生成され、サブビュー３０３に対応するサブビデオ３１３は、入力ビデオの第４の時間から生成される。
【００３５】
抽出するステップ１０２は、サブビューを抽出する方法及び場所を指示するための予め規定された基準を含み得る。
【００３６】
例えば、図３では、基準は、関連する人が話しているときに、その時間の間、サブビューのデータを抽出することである。例えば、画像の左側の人１が、第３の時間の間、話している場合には、関連するサブビュー３０１が、入力ビデオの第３の時間の間、連続的に抽出されるだろう。
【００３７】
他の例では、抽出基準は、オブジェクトが常にサブビューにあるように検出オブジェクトを追跡することによりサブビューのデータを抽出することであり、オブジェクトが移動するか否かは問題ではない。
【００３８】
他の例では、抽出基準は、背景サイズを徐々に変化させることによりサブビューのセットを抽出することを可能にする。
【００３９】
例えば、図７は、様々なサイズをもつサブビューのセットを示している。サイズを徐々に増大させるサブビュー７０２（１），７０２（２），７０２（ｎ）のセットが入力ビデオ７００から抽出される。それ故、サブビデオは、徐々に増大するサイズをもつこれらのサブビューに基づいて生成されるだろう。対応するサブビデオを再生するときには、ズーミング効果が、サブビュー７０２と完全なビューとの間で作成されるだろう。
【００４０】
代わりに、図１に示されるように、統合するステップ１１０は、入力ビデオのクリップを、生成されたサブビデオと置き換えるステップ１１１を有する。置き換えられるべき入力ビデオのクリップは、生成されたサブビデオと同じ時間の長さをもつ。換言すれば、生成されたサブビデオのフレームは、同一の時間の長さをもつ入力ビデオのフレームを置き換えるために用いられる。置き換えられたフレームは、サブビデオを生成するために用いられたフレームであり得る。
【００４１】
例えば、図４に示されるように、修正ビデオ４００は、サブビデオ４１２と置き換えられた第２の時間のクリップと、サブビデオ４１１と置き換えられた第３の時間のクリップと、サブビデオ４１３と置き換えられた第４の時間のクリップとを伴って、オリジナル入力ビデオ４２０から作られ、サブビデオ４１２のデータは、入力ビデオ４２０の第２の時間から抽出され、サブビデオ４１１のデータは、入力ビデオ４２０の第３の時間から抽出され、及び同様に、サブビデオ４１３のデータは、入力ビデオ４２０の第４の時間から抽出される。
【００４２】
代わりに、置き換えられるべき入力ビデオのクリップが、生成されたサブビデオと異なる時間の長さをもってもよい。即ち、入力ビデオクリップのフレーム量が、生成されたサブビデオのフレーム量と異なってもよい。
【００４３】
代わりに、置き換えるステップ１１１において、サブビデオは、同一の時間の長さをもつサブビデオのデータを供給しない任意の他のクリップを置き換えるために用いられ得る。この場合において、フレームが置き換えられたときに対応するオーディオも置き換えられるので、ビデオと関連付けられたオーディオが考慮されるべきである。不規則なオーディオを回避するために、完全なオリジナルオーディオは、編集している間、除去されるか、又は、音楽と置き換えられ得る。
【００４４】
代わりに、図１に示されるように、前記統合するステップ１１０は、時間軸に沿って、サブビデオを入力ビデオに挿入するステップ１１２を更に有する。この場合において、入力ビデオの全体期間は変化される。
【００４５】
例えば、図５は、本発明の修正ビデオ５００の一例を時間軸に沿って示している。サブビデオ５１２は、時間軸に沿って入力ビデオ５２０に挿入される。結果として、修正ビデオ５００の全体時間の長さは、５分から６分に増大する。同様に、サブビデオ５１２が挿入されるときには、対応するオーディオも挿入されるだろう。この場合において、オリジナルオーディオは、編集している間、音楽と置き換えられ得る。それ故、サブビデオが挿入されるときにオーディオの繰り返しがないだろう。
【００４６】
代わりに、図１に示されるように、本発明の方法は、生成されたサブビデオの表示サイズを拡大するステップ１０７を更に有する。例えば、サブビデオは、オリジナル入力ビデオのフルスクリーンサイズまで拡大される。
【００４７】
例えば、図６は、修正ビデオ６００を時間軸に沿って示し、サブビデオ６１１，６１２，６１３の表示サイズが拡大される。
【００４８】
代わりに、拡大するステップ１０７は、拡大されたサブビデオの解像度を向上させるステップ１０８を更に有する。
【００４９】
解像度を向上させる１つの手法は、例えば、アップスケーリングであり、これは、画素が人工的に追加されることを意味する。例えば、ＳＤ（standard density）（576*480画素）をＨＤ（high density）(1920*1080画素)にアップスケーリングすることが、解像度を向上させるステップ１０８により行われ得る。
【００５０】
代わりに、本発明による方法は、時間軸に沿って、抽出されたサブビューの位置を徐々に移動させるステップ１０５を更に有する。このステップは、修正ビデオにおける流し撮り効果の作成を可能にする。
【００５１】
図８は、抽出されたサブビュー８０２（ａ），８０２（ｂ），８０２（ｃ）...及び８０２（ｎ）の位置を連続的に移動させる一例を示している。スクリーン上の異なる位置に配置されたサブビュー８０２（ａ），８０２（ｂ），８０２（ｃ）...８０２（ｎ）のフレームを構成するサブビデオを再生するときに、流し撮り効果が作成されるだろう。
【００５２】
代わりに、本発明の方法は、サブビデオを徐々にフェードイン又はフェードアウトさせるステップ１０６を更に有する。ここで、フェードインは、画像又はサウンドが徐々に現れるか又は聞こえることをもたらすことを意味する。ここで、フェードアウトは、画像又はサウンドが徐々に消失することをもたらすことを意味する。
【００５３】
図１０は、入力ビデオ１００１から修正ビデオ１０３０を作成するための、本発明のデバイス１０００の機能的モジュールを示している。デバイス１０００の機能的モジュールは、前述された本発明の方法のステップの機能を実行しようとしている。
【００５４】
ビデオ修正デバイス１０００は、入力ビデオのサブビューに対応する少なくとも１つのサブビデオを生成するための第１のモジュール１０１０と、修正ビデオを作成するために、時間軸に沿って、生成されたサブビデオをオリジナル入力ビデオに統合するための第２のモジュール１０２０とを有する。
【００５５】
第１のモジュール１０１０は、オリジナル入力ビデオのデータコンテンツからサブビューを識別するための第１のユニット１０１１と、オリジナル入力ビデオから、識別されたサブビューを抽出するための第２のユニット１０１２とを更に有する。
【００５６】
第１のユニット１０１１は、予め規定された嗜好と所与のオブジェクトとに応じてサブビューを識別するために用いられる。オブジェクトを検出するために、顔検出ユニット、移動オブジェクト検出ユニット、中心オブジェクト検出ユニット等のような幾つかの種類のオブジェクト検出ユニットが用いられ得る。オブジェクトを検出した後、システムは、本発明の方法に従って前に述べられたように、予め規定された嗜好に応じて、検出されたオブジェクトを含むサブビューを識別する。
【００５７】
第２のユニット１０１２は、前述されたステップ１０２と同様に、オリジナル入力ビデオからサブビューを抽出するために用いられる。
【００５８】
第２のモジュール１０２０は、修正ビデオを作成するために、サブビデオをオリジナル入力ビデオに統合するために用いられる。
【００５９】
代わりに、第２のモジュール１０２０は、本発明の方法に従って前述されたステップ１１１と同様に、入力ビデオのクリップを、生成されたサブビデオと置き換えるための第３のユニット１０２１を更に有する。
【００６０】
代わりに、第２のモジュール１０２０は、本発明の方法に従って述べられたステップ１１２と同様に、生成されたサブビデオをオリジナル入力ビデオに挿入するための第４のユニット１０２２を更に有する。
【００６１】
代わりに、第１のモジュール１０１０は、ユーザがサブビューを識別するためにユーザ入力を受信するための第５のユニット１０１３を更に有する。受信ユニット１０１３は、ユーザインタフェースを介してユーザ入力を受信する。本発明の方法に従って前述されたユーザ入力を受信するステップと同様に、ユーザは、システムにより供給されたサブビューを選択するか、又は、オブジェクトを選択して対応するサブビューを直接識別するかのいずれかを行う。
【００６２】
図１１は、本発明による入力ビデオから修正ビデオを作成するためのデバイスの実装の一例を示している。
【００６３】
この実装は、オリジナル入力ビデオの所与のオブジェクトを含むサブビューを識別する第１のプロセッサ１１８１と、識別されたサブビュー及び関連するコード命令を格納する、前記第１のプロセッサ１１８１に接続された第１のメモリ１１８２とを有する。
【００６４】
また、この実装は、オリジナル入力ビデオからサブビューを抽出する第２のプロセッサ１１８３と、抽出されたサブビューデータ及び関連するコード命令を格納する、前記第２のプロセッサ１１８３に接続された第２のメモリ１１８４とを有する。
【００６５】
また、この実装は、オリジナル入力ビデオを統合する第３のプロセッサ１１８５と、オリジナル入力ビデオ、生成されたサブビデオ、修正ビデオ及び関連するコード命令を格納する、前記第３のプロセッサ１１８５に接続された第３のメモリ１１８６とを有する。
【００６６】
メモリ１１８２，１１８４，１１８６及びプロセッサ１１８１，１１８３，１１８５はデータバスを介して有利に通信する。
【００６７】
メモリ１１８２，１１８４，１１８６が１つのメモリに組み合わせられ、プロセッサ１１８１，１１８３，１１８５が１つのプロセッサに組み合わせられることが当業者により理解されるべきである。
【００６８】
また、この発明は、ハードウェア若しくはソフトウェア又はこれらの組み合わせのいずれかにより実装され得ることが当業者により理解されるべきである。
【００６９】
また、本発明は、入力ビデオを記録し、入力ビデオから修正ビデオを作成するためのデバイス１０００を有するビデオレコーダに関する。本ビデオレコーダは、例えば、カムコーダ又は同様のものに対応する。
【００７０】
本発明が図面及び前述した説明において詳細に例示及び説明された一方で、例示及び説明は、例示又は例と見なされるべきであり、限定するものではない。即ち、本発明は、開示された実施形態に限定されるものではない。
【００７１】
特許請求の範囲内の参照符号は、特許請求の範囲を限定するものとして考慮されるべきではない。"有する"という用語は、特許請求の範囲に記載されたもの以外の要素の存在を除外するものではない。要素の単数表記は、斯様な要素の複数の存在を除外するものではない。
【図１】
2010536220.tif 000003
【図２】
2010536220.tif 000004
【図３】
2010536220.tif 000005
【図４】
2010536220.tif 000006
【図５】
2010536220.tif 000007
【図６】
2010536220.tif 000008
【図７】
2010536220.tif 000009
【図８】
2010536220.tif 000010
【図９】
2010536220.tif 000011
【図１０】
2010536220.tif 000012
【図１１】
2010536220.tif 000013
【国際調査報告】
2010536220.tif 000014
2010536220.tif 000015
2010536220.tif 000016