(57)【要約】【課題】ビデオコンポジションを自動的にオーサリングする。【解決手段】ビデオコンポジションオーサリングシステム２００に含まれるレイアウトモジュール２３０は、ユーザ入力２２０においてユーザが選択したデータエレメントを使用し、ユーザ入力２２０がない場合には、使用すべきデータエレメント２１０を自動的に選択し、ユーザ入力２２０があった場合には、ユーザによって選択されたデータエレメント２１０を使用する。ユーザは、予備ビデオコンポジションリザルトをリビュー、所望の場合にはそのリザルトにリファインメントすることができる。ビデオコンポジションオーサリングシステム２００に含まれる反復リファインメントモジュール２５０により、予備ビデオコンポジションリザルト２４０がユーザに提示され、ユーザの好まないエレメントに対してリファインメントを施すことができる。【選択図】　　　　図２
2004032763.tif 000002
【特許請求の範囲】
【請求項１】
ソースビデオからビデオコンポジションをオーサリングする方法において、
ビデオを含むデータエレメントのセットを入力するステップと、
前記ビデオコンポジションをオーサリングするのに必要な必須データエレメントを判断するステップと、
前記必須データエレメントのうちの以前に判断されなかった必須データエレメントを自動的に選択するステップと、
前記必須データエレメントを使用して予備ビデオコンポジションリザルトを生成するステップと、
ユーザが前記予備ビデオコンポジションリザルトをリファインメントしてビデオコンポジションを作成するため、前記予備ビデオコンポジションリザルトをユーザに提示するステップと
を備えたことを特徴とする方法。
【請求項２】
請求項１において、前記ユーザにより前記必須データエレメントが選択されたか否かを判断し、前記ユーザによる選択があった場合に、前記ユーザに、前記必須データエレメントを選択させるステップをさらに備えたことを特徴とする方法。
【請求項３】
請求項１において、ユーザに、前記ビデオコンポジション内の前記必須データエレメントのレイアウトを指定させるステップをさらに備えたことを特徴とする方法。
【請求項４】
請求項３において、前記ユーザが必須データエレメントのためのレイアウト情報を指定しなかったことを判断するステップと、
前記ユーザによって指定されていない前記レイアウト情報を自動的に指定するステップと
をさらに備えたことを特徴とする方法。
【請求項５】
請求項１において、前記ビデオは、クリップレットのセットを含み、
前記必須データエレメントを自動的に選択するステップは、クリップレットインタレストレーティングに基づいて、前記ビデオコンポジションのためのクリップレットのセットの少なくともいくつかを選択するステップをさらに備えた
ことを特徴とする方法。
【請求項６】
請求項５において、クリップレットインタレストレーティングは、（ａ）音声認識、（ｂ）スピーカ認識、（ｃ）フェース検出、（ｄ）ズーム検出、（ｅ）パン検出、（ｆ）任意のタイプのオーディオ分析、（ｇ）任意のタイプのオーディオ認識、（ｈ）任意のタイプのビデオ分析、（ｉ）任意のタイプのビデオ認識のうちの少なくとも１つを備えたことを特徴とする方法。
【請求項７】
請求項６において、前記クリップレットインタレストレーティングは、クリップレット使用統計と相関がとられることを特徴とする方法。
【請求項８】
請求項１に記載の方法を実施するためのコンピュータ実行可能命令を有することを特徴とするコンピュータ可読媒体。
【請求項９】
ビデオクリップレットというソースビデオのショートセグメントを使用して、前記ソースビデオからビデオコンポジションをオーサリングする方法において、
前記ビデオコンポジション内に含むべきウィンドウのセットを生成するステップと、
前記ビデオコンポジションを作成するため、前記ウィンドウのセットの各ウィンドウ内に配置するクリップレットを自動的に選択するステップと、
リビューのために前記ビデオコンポジションをユーザに提示するステップと、
前記リビュー後に前記ユーザが前記ビデオコンポジションに不満足であった場合に、前記ユーザに、前記ウィンドウ内の各クリップレットを変更させるステップと
を備えたことを特徴とする方法。
【請求項１０】
請求項９において、クリップレットを自動的に選択するステップは、クリップレットインタレストレーティングを使用することを特徴とする方法。
【請求項１１】
請求項９において、クリップレットを自動的に選択するステップは、使用統計と前記クリップレットインタレストレーティングとの相関をとって、前記クリップレットインタレストレーティングの精度を上げることを特徴とする方法。
【請求項１２】
請求項９において、クリップレットを自動的に選択するステップは、
クリップレットインタレストレーティングカテゴリを定義するステップと、
前記クリップレットインタレストレーティングカテゴリの各クリップレットをランク付けするステップと、
前記ウィンドウに入れられる前記クリップレットインタレストレーティングカテゴリから、前記トップランクのクリップレットを選択するステップと
をさらに備えたことを特徴とする方法。
【請求項１３】
請求項１２において、前記トップランクのクリップレットのどれが時間的に近接しているか判断するステップと、
近接していると判断した場合に、前記トップランクのクリップレットから、時間的に近接しているクリップレットから１つのクリップレットを選択し、その残りのクリップレットを廃棄するステップと
をさらに備えたことを特徴とする方法。
【請求項１４】
請求項９において、クリップレットを自動的に選択するステップは、
クリップレットインタレストレーティングカテゴリを定義するステップと、
前記クリップレットインタレストレーティングカテゴリにおいて、それぞれ、Ｍ個のクリップレットのセットを定義するステップと、
前記クリップレットインタレストレーティングカテゴリにおいて、それぞれ、Ｍ個のクリップレットのセットから、Ｎ（＜Ｍ）個のクリップレットのセットをランダムに選択するステップと
をさらに備えたことを特徴とする方法。
【請求項１５】
請求項９において、前記ユーザに、前記ウィンドウ内のクリップレットを変更させるステップは、前記ビデオコンポジションにおいて、（ａ）クリップレットの場所を変更する機能、（ｂ）前記クリップレットを修正する機能、（ｃ）クリップレットを追加する機能、（ｄ）クリップレットを削除する機能、のうちの少なくとも１つの機能を、ユーザが、入力装置を使用して、パフォームすることができるようなドラッグアンドドロップ機能を提供するステップをさらに備えたことを特徴とする方法。
【請求項１６】
請求項９において、前記ユーザにより、テキスト注釈を前記クリップレットのいずれかに追加させるステップをさらに備えたことを特徴とする方法。
【請求項１７】
請求項９において、ユーザにより、テキスト注釈を前記ビデオコンポジションに追加させるステップをさらに備えたことを特徴とする方法。
【請求項１８】
請求項９において、ユーザにより、（ａ）前記ビデオコンポジションのためのタイトル、（ｂ）クレジットリスト、のうちの少なくとも１つを前記ビデオコンポジションに追加させるステップをさらに備えたことを特徴とする方法。
【請求項１９】
請求項９において、ユーザにより、前記ビデオコンポジションの出力スタイルを選択させるステップをさらに備えたことを特徴とする方法。
【請求項２０】
ディジタル化されたビデオから生成されたビデオクリップレットを使用して、ビデオコンポジションをオーサリングし生成するためのコンピュータ実行可能命令を有するコンピュータ可読媒体において、
クリップレットウィンドウの２次元コラージュとして前記ビデオコンポジションのレイアウトを作成するステップと、
ユーザにより、前記クリップレットウィンドウ内に入れるビデオクリップレットを選択させるステップと、
前記ユーザにより、前記クリップレットウィンドウを満たすだけのビデオクリップレットが選択されなかった場合に、前記クリップレットウィンドウ内に入れるビデオクリップレットを自動的に選択するステップと
を備えたことを特徴とするコンピュータ可読媒体。
【請求項２１】
請求項２０において、前記ビデオコンポジションのレイアウトを作成するステップは、クリップレットウィンドウの前記２次元コラージュのレイアウトを自動的に判断するステップをさらに備えたことを特徴とするコンピュータ可読媒体。
【請求項２２】
請求項２０において、前記ビデオコンポジションのレイアウトを作成するステップは、ユーザにより、クリップレットウィンドウの前記２次元コラージュのレイアウトを判断させるステップをさらに備えたことを特徴とするコンピュータ可読媒体。
【請求項２３】
請求項２０において、前記ユーザにより、前記ビデオコンポジションをリビューさせ、仮に前記ユーザが所望する場合に、前記ビデオコンポジションを変更させるステップをさらに備えたことを特徴とするコンピュータ可読媒体。
【請求項２４】
ディジタル化されたビデオ及び他のディジタルマルチメディアからビデオコンポジションを自動的に作成する方法において、
前記ビデオコンポジションを作成するため、ビデオクリップレットを含む必須データエレメントを判断するステップと、
前記必須データエレメントを供給するかどうかをユーザにケリーするステップと、
前記ユーザによって供給されなかった前記必須データエレメントを、クリップレットインタレストレーティングを使用して、自動的に供給するステップと、
前記ユーザがリビューするため、予備ビデオコンポジションリザルトを生成するステップと、
前記ユーザが所望した場合に、前記予備ビデオコンポジションリザルトをリファインメントするステップと
を備えたことを特徴とする方法。
【請求項２５】
請求項２４において、前記ビデオクリップレットの使用頻度をトラッキングして使用統計を獲得するステップと、
前記使用統計と前記クリップレットインタレストレーティングとの相関をとるステップと
をさらに備えたことを特徴とする方法。
【請求項２６】
請求項２４において、クリップレットウィンドウの２次元コラージュとして前記ビデオコンポジションのレイアウトを表示するステップと、
前記ビデオクリップレットのための使用統計を提供するステップと、
使用統計を前記クリップレットインタレストレーティングと相互に関係させて、前記クリップレットインタレストレーティングを調整し整えるステップと、
クリップレットを選択して、前記相互に関係する使用統計に基づいて前記クリップレットウィンドウを取り込むステップとをさらに備えたことを特徴とする方法。
【請求項２７】
ディジタル化されたソースビデオからビデオコンポジションを自動的にオーサリングするビデオコンポジションオーサリングシステムにおいて、
欠落しているが、前記ビデオコンポジションをオーサリングするのに必要なデータエレメントを自動的に選択するエレメント選択・レイアウトモジュールと、
前記エレメント選択・レイアウトモジュールによって生成されたビデオコンポジションリザルトと、
ユーザが前記ビデオコンポジションを作成するように所望した場合に、前記ユーザにより、前記ビデオコンポジションリザルトを変更させる反復リファインメントモジュールと
を備えたことを特徴とするビデオコンポジションオーサリングシステム。
【請求項２８】
請求項２７において、前記エレメント選択・レイアウトモジュールは、欠落しているデータエレメントを、クリップレットインタレストレーティングを使用して自動的に選択することを特徴とするビデオコンポジションオーサリングシステム。
【請求項２９】
請求項２７において、前記エレメント選択・レイアウトモジュールは、欠落しているデータエレメントを、使用統計を使用して自動的に選択すること特徴とするビデオコンポジションオーサリングシステム。
【請求項３０】
請求項２７において、前記反復リファインメントモジュールは、前記ビデオコンポジションリザルトを、ドラッグアンドドロップ機能を使用して、リファインメントすることを特徴とするビデオコンポジションオーサリングシステム。
【請求項３１】
請求項２７において、前記反復リファインメントモジュールは、前記ビデオコンポジションリザルトを、テキスト注釈を使用してユーザリファインメントすることを特徴とするビデオコンポジションオーサリングシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルビデオの処理に関し、具体的には、ビデオのショートセグメント（またはビデオ「クリップレット」）を使用することによりデジタル化されたビデオその他のデジタルマルチメディアから、ビデオコンポジションを自動的にオーサリングするシステム及び方法に関する。
【０００２】
【従来の技術】
ビデオカメラ（またはカムコーダ）は、アマチュアのビデオ撮影者（ｖｉｄｅｏｇｒａｐｈｅｒ）の間ではホームユース用として人気のある装置である。ビデオカメラは、デジタルビデオをメモリ装置にストアするデジタルカメラであってもよいし、ビデオフッテージ（ｖｉｄｅｏ　ｆｏｏｔａｇｅ）を磁気ビデオテープにストアするアナログビデオカメラであってもよい。アナログビデオカメラによってキャプチャされたビデオフッテージを、周知の技術を使用して、デジタルフォーマットに変換することができる。このデジタルビデオは、ビデオカメラによってキャプチャされたデータを編集し操作するため、コンピューティング装置（例えばパーソナルコンピュータ）でランするソフトウェアを使用して、処理することができる。
【０００３】
慣用のホームデジタルビデオのパラダイムにおいてユーザに期待されていることは、良いビデオを撮影し、退屈なビデオ編集を行い、編集した映画を含む１つの大きなビデオを出力することである。しかしながら、このパラダイムには問題がある。すなわち、生ビデオフッテージを編集することは、たとえ専門家が撮影したものであっても、困難であり退屈である。専門の訓練を受けた専門の編集者がハイエンドの編集ツールを使用したとしても、たった数分の最終バージョンを得るのに、生ビデオの編集に１時間はかかるのである。さらに、生ビデオフッテージはほとんどのものが退屈であり、数時間の生ビデオに労力を注ぐのは、極めて退屈な作業であり、アマチュアにとってはなおさらである。
【０００４】
別の問題は、現行のアマチュア用のビデオ編集ソフトウェアが、プロの編集システムを真似ていることにある。であるから、平均的なコンシューマがこのようなソフトウェアを使用するのが困難になる。現行のビデオ編集ソフトウェアにおいては、典型的には、ユーザインタフェースにより、ユーザに、生ビデオフッテージの１つのビューが提供される。タイムライン（ｔｉｍｅｌｉｎｅ）がフッテージに沿って入れられるから、ユーザには、テンポラルオリエンテーション（ｔｅｍｐｏｒａｌ　ｏｒｉｅｎｔａｔｉｏｎ）が与えられる。このタイムラインには、幾つかの異なる「トラック」、例えば、ビデオ１トラック、ビデオ２トラック、オーディオ１トラック等を含めることができる。このユーザインタフェースには、ＶＣＲと同様のコントロール機能、例えば再生ボタン、早送りボタン、及び巻戻しボタンが含まれる。ユーザは、これらのボタンを使用し、コントロールを使用して、当該フッテージを行ったり来たりして、ビデオフッテージをブラウズする。当該ビデオフッテージをブラウズするプロセスは、「スクラビング（ｓｃｒｕｂｂｉｎｇ）」と呼ばれる。
【０００５】
さらに別の問題は、現行のビデオ編集ソフトウェアにあっては、その出力は別のビデオであり、再生だけがビューモードである、と決めてかかっていることにある。しかし、ユーザは、自分のビデオを使用して、他のコンポジション（ｃｏｍｐｏｓｉｔｉｏｎ）を作成することを望むことができる。これらのコンポジションには、フォトアルバムに類似する２次元レイアウトのビデオが含まれ、ハイパーリンクされたドキュメントが含まれ、このハイパーリンクされたドキュメントにおいては、ユーザは、当該コンポジションに対するインタラクティブなナビゲーション法を選択する。
【０００６】
にもかかわらず、アマチュア撮影者は、長い未編集の生ビデオフッテージから、満足のいく短いビデオコンポジションを作成することを、希望することが多い。このビデオコンポジションは、例えば、生ビデオフッテージのうちの最も興味のあるセグメントを含む「ハイライト」ビデオとすることができるか、２Ｄビデオアルバムとすることができるか、あるいはインタラクティブハイパーテキストドキュメントとすることができる。しかし、ビデオをスクラブ（ｓｃｒｕｂ）して、ビデオフッテージのカットロケーションを判断する編集プロセスは、退屈で、繰り返しが多く、時間のかかる作業であり、手作業である。したがって、平均的なコンシューマにとっては、ビデオを編集してビデオコンポジションを作成するプロセスは、困難で厄介な作業になっている。
【０００７】
【発明が解決しようとする課題】
そこで、ビデオコンポジションオーサリングシステム及び方法においては、デジタル化されたビデオから任意のタイプのビデオコンポジションを簡単に自動的に作成するビデオコンポジションオーサリングシステム及び方法に対するニーズがあり、これによると、ユーザは、このようなコンポジションを作成する上で一般に必要となる編集プロセスに我慢する必要はない。
【０００８】
【課題を解決するための手段】
本明細書に記述されたビデオコンポジションオーサリングシステム及び方法によれば、ビデオクリップレットを含むビデオコンポジションをオーサリングすることが可能である。一般に、ビデオクリップレット（又は「クリップレット」）は、長尺のビデオ（又はソースビデオ）を分割することにより作成される極小セグメントのデジタルビデオである。一般にビデオクリップレットは、持続時間が約５秒から１０秒であると予想されるが、実際にはどのような長さのものでも可能である。ビデオコンポジションには、音楽、テキスト、写真などのマルチメディアエレメントの２次元配置又はコラージュが含まれ、クリップレットどうしが結合され、連続的に再生される（ビデオのハイライトビデオなどの）単一のビューイングウィンドウも含まれる。
【０００９】
本発明に係るビデオコンポジションオーサリングシステムは、操作の主要単位として、大きいソースビデオでなく、クリップレット、つまり非常に短い持続時間のビデオを使用することにより、慣用のホームビデオ編集ソフトウェアの問題を克服する。ビデオコンポジションのオーサリングにより、退屈な編集プロセスを軽減し、他方でユーザがソースビデオからビデオコンポジションをインタラクティブにオーサリングすることができるようになる。クリップレットを用いた編集とは、１つ１つが予めカットされていることであり、ビデオの操作が、長く退屈なひと続きのビデオではなく、ショートセグメントのビデオに対して行われることである。さらに、ユーザは、所望により、システムと、多かれ少なかれインタラクトすることができる。ユーザによってインタラクティブに提供されたものではない情報は、システムによってインテリジェントに提供される。
【００１０】
一般に、ビデオコンポジションオーサリングシステム方法は、見た目に美しいレイアウトのデータエレメントを提供して、ビデオコンポジションを作成する。データエレメントは、マルチメディアエレメント、パラメータ情報、記述情報を含む。例として、マルチメディアエレメントには、ビデオクリップレットのセット、ビデオ、バックグランドミュージック、背景写真、クリップアート、テキスト記述、タイトルなどが含まれる。その上、パラメータ情報は、ビデオコンポジションのパラメータを記述し、例えば、コンポジションのサイズと、ビデオコンポジション内のそれぞれのビデオの持続時間とを有する。加えて、記述情報は、例えばクリップレット又はビデオについての時間及び場所情報と、コンポジションの所望のスタイル又はムードの記述を有する。
【００１１】
欠落しているが（システムによって判断された）必要なデータエレメントも、システムによって自動的に選択される。ユーザがビデオコンポジションをオーサリングするのに必要な全データエレメントより少ないデータエレメントを指定した場合、システムは、欠落しているエレメントを自動的に選択する。これらの選択から、ユーザがリビューするため、予備ビデオコンポジションリザルトが生成される。仮にユーザが予備ビデオコンポジションリザルトを好む場合には、予備ビデオコンポジションリザルトは出力ビデオコンポジションとなる。そうでない場合には、ユーザが満足するまで、予備ビデオコンポジションリザルトを変更するため、リファインメント（ｒｅｆｉｎｅｍｅｎｔ）し変更することができる。
【００１２】
ビデオコンポジションオーサリングシステムは、ビデオコンポジションにおいて、データエレメントを選択しエレメントのレイアウトを設計するためのエレメント選択・レイアウトモジュールを有する。エレメント選択・レイアウトモジュールは、ユーザ入力において、ユーザによって選択されたデータエレメントを使用する。ユーザ入力がない場合は、エレメント選択・レイアウトモジュールは、使用すべきデータエレメントを自動的に選択する。ビデオコンポジションを完了するのに必要であるが、ユーザによって指定されなかったデータエレメントも、ユーザの選択を補完するか又は補充するため、エレメント選択・レイアウトモジュールによって自動的に選択される。エレメント選択・レイアウトモジュールは、例えば、クリップレットインタレストレーティング及び使用統計を使用して、機能し、データエレメントとインタラクトすることができる。
【００１３】
ビデオコンポジションオーサリングシステムには、予備ビデオコンポジションリザルトをユーザに提示するモジュールであって、ユーザに、所望通りに、エレメントを変更させリファインメントさせることかできる反復リファインメントモジュールが含まれる。反復リファインメントモジュールにより、ユーザは、パラメータを変更し、異なるクリップレットをそのコンポジションに手動でドラッグアンドドロップし、テキストバブルをクリップレットに追加し、移動しているオブジェクトをトラッキングするためのトラッキングアルゴリズムを使用して、あるクリップレットをクロップできる。反復リファィンメントモジュールによって変更され、更新された予備ビデオコンポジションリザルトであってリファインメントを含む予備ビデオコンポジションリザルトが、ユーザに提示される。一度ユーザが現行の予備ビデオコンポジションリザルトに満足すると、オーサリングプロセスが終了し、終了したビデオコンポジションが出力として送信される。終了したビデオコンポジションの出力フォームは、例えば、２次元コラージュ、単一の映画、又はフォトアルバムスタイルのハイパーテキスト「ブック」とすることができる。出力フォームは、ユーザによって選択できるるが、ユーザの選択がない場合には、システムによって自動的に選択できる。
【００１４】
本発明は、本発明の態様は、以下の説明及び添付図面を参照することによりさらに理解することができる。例示として本発明の原理を示した添付図面とともに以下の本発明の詳細な説明から、他の特徴及び利点も明らかになる。
【００１５】
次に、図面を参照するが、同様の参照番号は、図面全体を通して、対応する部分を示す。
【００１６】
【発明の実施の形態】
以下、本発明の記述においては、添付図面を参照する。これら図面には、本発明を実施できる具体例が図示してある。本発明の範囲から逸脱しない限り、他の実施形態を利用することができ、構成を変更することができる、ことは当然のことである。
【００１７】
１．ビデオクリップレットの概要
本明細書に記載したビデオコンポジションオーサリングシステム及び方法によれば、ビデオクリップレットを含むビデオコンポジションをオーサリングすることができる。一般に、ビデオクリップレット（又は「クリップレット」）とは、長尺（ｌｏｎｇｅｒ　ｕｎｉｔｓ）のビデオ（又はソースビデオ）を短くしていって得られるデジタルビデオの極小セグメントをいう。このクリップレットの持続時間は、ユーザが判断するか、又は自動的に判断されたハード又はソフト的な制約によって制限される。典型的には、ビデオクリップレットの持続時間は、約５秒から１０秒と予想されるが、実際上は、任意の長さにすることができる。
【００１８】
クリップレットというアイディアは、ビデオの有意なショートセグメントを、長尺のビデオから抽出することであり、伝統的にショット境界（ｓｈｏｔ　ｂｏｕｎｄａｒｙ）と考えられていたものに対して、視点を変えたものである。そこで、クリップレットは、慣用でない他のキュー、例えば、（サウンドバイト（ｓｏｕｎｄ　ｂｙｔｅ）を検出することを試みるような）オーディオキュー（ａｕｄｉｏ　ｃｕｅ）か、（ズームインされたクローズアップを検出することを試みるような）ビデオキュー（ｖｉｄｅｏ　ｃｕｅ）に基づくことができる。加えて、クリップレットはオーバラップすることができる。クリップレットが、全ソースビデオの全てをカバーするわけではない。これは、当該ソースビデオの実に退屈で面白くないセクションを全部排除することができる、ことを意味する。これらの全てのことから、各クリップレットを、ビデオの意味的に有意な部分にするという目標が達成される。
【００１９】
次のような特徴があるから、クリップレットはビデオの他のセグメントから区別される。第１に、クリップレットを生成する前に、持続時間の制約（すなわち、クリップレット長に対する制約）が決定される。この持続時間の制約は、ハード（ｈａｒｄ）な上限及び下限とすることができるか、又は他の要因、例えばソースビデオ全体の平均クリップレット長と、サブショットセグメントの頻度と、クリップレット長の分散と、オーディオ又はビデオのローカルフィーチャを、考慮したソフト（ｓｏｆｔ）な制約とすることができる。第２に、クリップレットが必ずしも独立したビデオである必要はない。クリップレットは、クリッピレットを取り出すため長尺のビデオのどこをカットするかを示す開始点及び停止点とすることができ、又はビデオの続き（ｓｕｂｓｅｑｕｅｎｃｅ）の他の表現とすることができる。第３に、クリップレットは、ビデオの意味的に有意な部分で、ビュアーが（サウンドバイトような）単一の短いイベントとして考えることができるものを含む部分である。当該クリップレットは、当該クリップレットを、ソースビデオから離間させる単一のテーマか共通スレッドを有する。
【００２０】
クリップレットは、その長さがソースビデオに比べて比較的短いから、当該クリップレットを、デジタルビデオのようにではなく、デジタル写真のように操作することができる。長尺のビデオは操作したりストアするのが厄介であるが、その長尺のビデオからビデオクリップレットに交代させることができる。クリップレットは、その焦点を、長くつまらないビデオではなく、ビデオの短く刺激的なセグメントに当てている。何時間もの長尺のビデオに、興味あるシーンが少ししかないと、コンシューマは、このようなビデオを観るのに退屈するものである。クリップレットであれば、コンシューマは、早送りボタンを休みなく使用しなくても、興味あるシーン、すなわち長尺のソースビデオの「核心」を抽出することができる。
【００２１】
クリップレットは、長尺のソースビデオに比べて、操作し易いしストアし易い。ビデオが長尺であると、ビデオをアップロードしたり共用したりするのはユーザにとって抵抗があるが、この抵抗は、ソースビデオからクリップレットを生成することにより、最小にすることができる。クリップレットであれば、ソースビデオが数メガバイトになったり数ギガバイトになったりすることはない。当然ながら、クリップレットはソースビデオより小さい。したがって、メモリ、ストレージ、処理パワー、帯域幅、又は人の注意力には限界があるため、ソースビデオに対して実際に役に立たないオペレーションを、クリップレットに対しては容易にパフォームすることができる。クリップレットは、サイズが小さいため、アップロード時間がより短く、これにより長尺のソースビデオと比べて、帯域幅に対する要求が少なくなり、必要なディスク空間を小さくでき、一般に管理が容易になる。
【００２２】
デジタル写真に対してパフォームされるほとんどのオペレーションが、ビデオクリップレットと類似する。ビデオクリップレットは、サイズが小さいため、サムネイルを使用してブラウズされ、タイムスタンプ及びグロスピクセル統計（ｇｒｏｓｓ　ｐｉｘｅｌ　ｓｔａｔｉｓｔｉｃｓ）によって編成され、ドキュメントにカットアンドペーストされ、電子メールにより容易に送信できる。理論上は、これらのオペレーションは、大部分がビデオのために既に存在するが、実際には、コンシューマがその能力を使用することはまれである。これは、典型的なホームビデオは、大きすぎ、長すぎ、退屈すぎるからである。イメージ処理及びコンピュータビジョンアルゴリズムであって長尺のソースビデオを処理することができないものであっても、クリップレットに対しては、容易に使用することができる。技術、例えばイメージスタビライゼイション、カラー補正、パノラマ作成、３次元デプスアンダスタンディング（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ　ｄｅｐｔｈ　ｕｎｄｅｒｓｔａｎｄｉｎｇ）、フェース（ｆａｃｅ）認識、パーソン（ｐｅｒｓｏｎ）トラッキングは、リアルタイムで、クリップレットに対して使用することができる。
【００２３】
図１は、ビデオクリップレットの概念を、ソースビデオ及びビデオフレームとに関連して示す図である。長さ又は持続時間Ｔのデジタルソースビデオ１００は、複数のビデオフレーム１０５を有する。図１に示すように、デジタルソースビデオ１００は、複数のクリップレットＣ（１）ないしＣ（Ｎ）に分割される。これらのクリップレットは、可変長にすることができる。
【００２４】
上述したように、これらクリップレットＣ（１）ないしＣ（Ｎ）は、それぞれ、ソースビデオ１００の意味的に有意の部分である。場合によっては、複数のクリップレットが、時間的にオーバラップして、同じビデオフレームを共用することもある。図１を参照すると、クリップレットＣ（４）は長さがＴ（４）であり、クリップレットＣ（５）は長さがＴ（５）である。たとえＴ（４）がＴ（５）未満としても、クリップレットＣ（４）とクリップレットＣ（５）は、時間的にオーバラップする。加えて、クリップレットＣ（４）とクリップレットＣ（５）は、参照番号１１０で示すビデオフレームを共用する。
【００２５】
２．概要
本発明に係るビデオコンポジションオーサリングシステム及び方法は、ビデオクリップレットで仕事をする能力を有する。しかし、留意すべきことであるが、ビデオクリップレットは必須のものではない。ビデオコンポジションオーサリングシステムへの入力には、データエレメント、例えば、クリップレットのセットと、ビデオファイルと、クリップレットを含むディレクトリのセットと、クリップレットへのリンクが含まれる。当該システムの出力は、見た目に美しいレイアウト又はコンポジションであって、クリップレットを含むとともに、他のマルチメディアエレメント、例えば音楽、テキスト、写真を含むことができるものである。ビデオコンポジション出力は、コンポジションを作成するためのマルチメディアエレメントのコラージュと考えることができる。「コラージュ」とは、小さいエレメントを、時間的及び／又は空間的に、繋ぎ合わせて大きいコンポジションを作成することを示唆するものである。例としては、スクリーンにディスプレイされた２次元レイアウトのクリップレットがコラージュであるから、次々とスクリーン上でプレイされる幾つかのクリップレットから構成された単一の映画である。
【００２６】
図２は、本発明に係るビデオコンポジションオーサリングシステム２００の概略を示すブロック図である。一般に、システム２００は、初期情報が入力されると、マルチメディアエレメントを含むビデオコンポジションを出力する。具体的には、ビデオコンポジションオーサリングシステム２００には、データエレメント２１０が入力される。データエレメントには、マルチメディアエレメントと、パラメータ情報と、記述情報が含まれる。例としては、マルチメディアエレメントには、ビデオクリップレットのセットと、ビデオと、バックグランドミュージックと、背景写真と、クリップアートと、テキスト記述と、タイトルと、等々が含まれる。さらに、パラメータ情報は、ビデオコンポジションのパラメータを記述するものであり、このパラメータ情報には、例えば、そのコンポジションのサイズと、ビデオコンポジション内のそれぞれのビデオの持続時間が含まれる。加えて、記述情報には、例えば、クリップレット又はビデオについての時間及び位置情報と、そのコンポジションの所望のスタイル又はムードの記述が含まれる。ユーザ入力２２０は、入力として使用されるデータエレメントを取捨選択するのに使用することができる。このユーザ入力２２０は、オプションのプロセスであり、図２には破線で示してある。仮にユーザ入力２２０がない場合には、システム２００はデータエレメント２１０を自動的に選択する。
【００２７】
ビデオコンポジションオーサリングシステム２００には、ビデオコンポジション内でデータエレメントを選択しデータエレメント２１０のレイアウトを設計するための、エレメント選択・レイアウトモジュール２３０が含まれる。エレメント選択・レイアウトモジュール２３０は、ユーザ入力２２０においてユーザが選択したデータエレメントを使用する。仮にユーザ入力２２０がない場合には、エレメント選択・レイアウトモジュール２３０は、使用すべきデータエレメント２１０を自動的に選択する。仮にユーザ入力２２０があった場合には、エレメント選択・レイアウトモジュール２３０は、ユーザによって選択されたデータエレメント２１０を使用する。データエレメント２１０は、ビデオコンポジションを完了するのに必要であるが、ユーザによって指定されなかった場合には、データエレメント２１０はエレメント選択・レイアウトモジュール２３０によって自動的に選択され、ユーザの選択を補完するか補充する。
【００２８】
ユーザの出力の選択に従って（又は使用可能なユーザ入力２２０がない場合には自動的に選択されると）、エレメント選択・レイアウトモジュール２３０は、選択したデータエレメント２１０をレイアウトするのに、自動レイアウトアルゴリズムを適用する。データエレメント２１０は、制約を考慮するとともに、ユーザ入力２２０においてユーザによって指定された要求を考慮しつつ、見た目に美しく自動レイアウトされる。これら制約は、ユーザによって指定された明示的なものとすることができ、あるいは（モニタのビューイングサイズのような）ハードウェア上の制限に基づく黙示的なものとすることができる。エレメント選択・レイアウトモジュール２３０からの出力は、予備ビデオコンポジションリザルト（ｐｒｅｌｉｍｉｎａｒｙ　ｖｉｄｅｏ　ｃｏｍｐｏｓｉｔｉｏｎ　ｒｅｓｕｌｔｓ）２４０である。この時点で、エレメント選択・レイアウトモジュール２３０は、選択したデータエレメントを含む予備ビデオコンポジションと、予備レイアウトとを生成する。
【００２９】
ビデオコンポジションオーサリングシステム２００には、反復リファインメントモジュール２５０が含まれ、反復リファインメントモジュール２５０により、予備ビデオコンポジションリザルト２４０がユーザに提示され、ユーザの好まないエレメントに対してリファインメントを施すことができる。具体的には、反復リファインメントモジュール２５０は、ユーザのリビュー２６０のために予備ビデオコンポジションリザルト２４０をユーザに提示する。ユーザのリビュー２６０は、図２に破線で示したように、オプションのプロセスである。仮にユーザリビュー２６０がない場合は、ビデオコンポジションオーサリングシステム２００は、予備ビデオコンポジションリザルト２４０を最終出力として出力する。
【００３０】
ユーザリビュー２６０中において、ユーザは、予備ビデオコンポジションリザルト２４０を見て、自分が許容できない部分を判断することができる。例えば、反復リファインメントモジュール２５０により、ユーザは、パラメータを変更し、異なるクリップレットをコンポジション内に手動でドラッグアンドドロップし、テキストバブルをクリップレットに追加し、動いているオブジェクトをトラッキングするためのトラッキングアルゴリズムを使用して、あるクリップレットをクロップ（ｃｒｏｐ）することができる。反復リファインメントモジュール２５０によって、変更が行われ、リファインメントを含む更新された予備ビデオコンポジションリザルト２４０がユーザに提示される。一度ユーザが現行の予備ビデオコンポジションリザルト２４０に満足すると、オーサリングプロセスは終了し、終了したビデオコンポジション２７０が出力される。終了したビデオコンポジション２７０の出力フォームは、例えば、２次元コラージュ、単一の映画、又はフォトアルバムスタイルのハイパーテキスト「ブック」とすることができる。出力フォームは、ユーザによって選択できるが、ユーザ選択がない場合は、システム２００によって自動的に選択できる。
【００３１】
３．オペレーティング環境の例
本発明に係るビデオコンポジションオーサリングシステム２００は、コンピューティング環境でオペレートするよう設計されている。次に、本発明をインプリメントできる適切なコンピューティング環境を簡単かつ一般的に述べる。
【００３２】
図３は、本発明を実施するのに適したコンピューティング装置を示すブロック図である。必要ではないが、本発明は、コンピュータ実行可能命令、例えばコンピュータによって実行されるプログラムモジュールを、一般的なコンテキストで述べる。一般に、プログラムモジュールには、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等であって、特定のタスクをパフォームするか、特定の抽象データ型をインプリメントするものが含まれる。さらに、当業者にとって当然のことであるが、本発明は、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド装置、マルチプロセッサシステム、マイクロプロセッサベース又はプログラマブルのコンシューマ電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、等々とともに実施できる。本発明は、通信ネットワークを介してリンクされたリモートプロセシング装置によってタスクがパフォームされる分散型コンピューティング環境でも実施することができる。分散型コンピューティング環境においては、ストレージ装置を含むローカル及びリモートコンピュータ記憶媒体に、共に、プログラムモジュールを置くことができる。
【００３３】
図３を参照すると、本発明をインプリメントするためのシステムの例としては、汎用コンピューティング装置３００が含まれる。具体的には、コンピューティング装置３００には、プロセシングユニット３０２と、システムメモリ３０４とが含まれており、システムメモリ３０４を含む種々のシステムコンポーネントをプロセシングユニット３０２に結合するためのシステムバス３０６が含まれている。システムバス３０６は、種々のタイプのバス構造のうち、メモリバス又はメモリコントローラと、ペリフェラルバスと、ローカルバスとであって、種々のバスアーキテクチャを用いたものとすることができる。このシステムメモリには、ＲＯＭ（ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ）３１０と、ＲＡＭ（ｒａｎｄｏｍ　ａｃｃｅｓｓ　ｍｅｍｏｒｙ）３１２とが含まれる。ＢＩＯＳ（ｂａｓｉｃ　ｉｎｐｕｔ　ｏｕｔｐｕｔ　ｓｙｓｔｅｍ）３１４は、スタートアップ中などにコンピューティング装置３００内の構成要素間で情報を転送する助けとなる基本ルーチンを含むもので、ＲＯＭ３１０にストアされている。コンピューティング装置３００には、ハードディスクとの間でリード及びライトするためのハードディスクドライブ３１６（図示せず）と、リムーバブル磁気ディスク３２０との間でリード及びライトするための磁気ディスクドライブ３１８と、リムーバブル光学ディスク３２４、例えばＣＤ−ＲＯＭその他の光学メディアとの間でリード及びライトするための光学ディスクドライブ３２２とが含まれている。ハードディスクドライブ３１６と、磁気ディスクドライブ３２８と、光学ディスクドライブ３２２とは、それぞれ、ハードディスクドライブインタフェース３２６と、磁気ディスクドライブインタフェース３２８と、光学ディスクドライブインタフェース３３０とにより、システムバス３０６に接続されている。これらのドライブと、これらに関連するコンピュータ可読媒体とにより、コンピュータ可読命令と、データ構造と、プログラムモジュールと、コンピューティング装置３００のための他のデータとを、不揮発にストアしている。
【００３４】
本明細書で述べた環境の例では、ハードディスクと、リムーバブル磁気ディスク３２０と、リムーバブル光学ディスク３２４とが採用されているが、次のことは当業者にとって当然のことである。すなわち、コンピュータによりアクセス可能なデータをストアできるコンピュータ可読媒体、例えば、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ベルヌーイカートリッジ、ＲＡＭ、ＲＯＭ、等々は、このオペレーティング環境において使用することができる。
【００３５】
多くのプログラムモジュールは、オペレーティングシステム３３２と、１つ以上のアプリケーションプログラム３３４と、（ビデオコンポジションオーサリングシステム２００ような）他のプログラムモジュール３３６と、プログラムデータ３３８とを含めて、ハードディスク、磁気ディスク３２０、光学ディスク３２４、ＲＯＭ３１０、又はＲＡＭ３１２にストアすることができる。ユーザ（図示せず）は、入力装置、例えばキーボード３４０とポインティングデバイス３４２とを介して、コマンド及び情報をコンピューティング装置３００に入力することができる。加えて、（ビデオカメラのような）カメラ３４３をコンピューティング装置３００に接続することができ、同様に他の入力装置（図示せず）、例えば、マイクロホン、ジョイスティック、ゲームパッド、衛星放送用パラボラアンテナ、スキャナ、等々を含むものに接続することができる。これら他の入力装置は、システムバス３０６に結合されたシリアルポートインタフェース３４４を介して、プロセシングユニット３０２に接続されることが多いが、他のインタフェース、例えば、パラレルポート、ゲームポート、又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）にも接続することができる。モニタ３４６（その他のタイプのディスプレイ装置）も、ビデオアダプタ３４８ようなインタフェースを介して、システムバス３０６に接続されている。パーソナルコンピュータようなコンピューティング装置には、モニタ３４６に加えて、一般に、スピーカやプリンタような他のペリフェラル出力装置（図示せず）が含まれている。
【００３６】
コンピューティング装置３００は、リモートコンピュータ３５０のような１つ以上のリモートコンピュータへの論理接続を使用してネットワーク化された環境において、オペレートすることができる。リモートコンピュータ３５０は、別のパーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピア装置その他のコモンネットワークノードとすることができ、リモートコンピュータ３５０には、典型的には、コンピューティング装置３００について上述した構成要素の多く又は全てが含まれている。図３には、ストレージ装置３５２のみが示してある。図３の論理接続は、ＬＡＮ（ｌｏｃａｌ　ａｒｅａ　ｎｅｔｗｏｒｋ）３５４と、ＷＡＮ（ｗｉｄｅ　ａｒｅａ　ｎｅｔｗｏｒｋ）３５６とを有する。このようなネットワーキング環境は、オフィス、ｅｎｔｅｒｐｒｉｓｅ−ｗｉｄｅコンピュータネットワーク、イントラネット、インタネットにおいては、一般的なものである。
【００３７】
コンピューティング装置３００は、ＬＡＮネットワーキング環境で使用される場合には、ネットワークインタフェース又はアダプタ３５８を介して、ＬＡＮ３５４に接続される。ＷＡＮネットワーキング環境で使用される場合には、コンピューティング装置３００には、典型的には、ｔｈｅ　ＩｎｔｅｒｎｅｔのようなＷＡＮ３５６を介して通信を確立するためのモデム３６０その他の手段が含まれる。モデム３６０は、内蔵型でもよいし外付けでもよいが、シリアルポートインタフェース３４４を介してシステムバス３０６に接続されている。ネットワーク環境においては、コンピューティング装置３００について示したプログラムモジュールか、このプログラムモジュールの一部を、リモートストレージ装置３５２にストアすることができる。このネットワーク接続は一例であり、当然、コンピュータ間の通信リンクを確立する他の手段も使用することができる。
【００３８】
４．オペレーションの概要及び詳細
図４は、図２のビデオコンポジションオーサリングシステム２００のオペレーションを示す典型的な流れ図である。一般的に、ビデオコンポジションオーサリングシステム２００は、見た目に美しいレイアウトのデータエレメントであって、（ビデオ、クリップレット、サウンドのような）マルチメディアエレメントを含むものを提供する。具体的には、ビデオコンポジションオーサリングシステム２００は、データエレメントが入力される（ボックス４００）と、オペレートする。これらデータエレメントには、上述したように、マルチメディアエレメント、パラメータ情報、記述情報が含まれる。
【００３９】
欠落しているが（システム２００により判断したように）必要なデータエレメントも、自動的に選択される（ボックス４１０）。したがって、ユーザが、ビデオコンポジションをオーサリングするのに必要なデータエレメントより少ないデータエレメントを指定した場合には、欠落しているデータエレメントは、システム２００によって自動的に選択される。ついで、ユーザのリビューのために、予備ビデオコンポジションリザルトが生成される（ボックス４２０）。ユーザは、予備ビデオコンポジションリザルトのどの部分も変更するためにリファインメント（ｒｅｆｉｎｅｍｅｎｔ）を施したり、変更したりすることができる（ボックス４３０）。
【００４０】
エレメント選択・レイアウトモジュール
図５は、図２のエレメント選択・レイアウトモジュール２３０のオペレーションの詳細を示す流れ図である。エレメント選択・レイアウトモジュール２３０は、データエレメントを選択し、ビデオコンポジションとともに、エレメントのレイアウトを設計する。データエレメントの選択は、ユーザ指定された命令によるか、モジュール２３０により自動的に生成された選択によるか、あるいはこれら両方を組み合わせたものによって、行なわれる。
【００４１】
エレメント選択・レイアウトモジュール２３０は、ユーザがデータエレメントを選択したかどうかを判断し（ボックス５１０）、これによりそのオペレーションを開始する（ボックス５００）。ユーザにおいては、データエレメントの全てを選択することができ、データエレメントを選択しないこともでき、あるいはユーザ選択と自動選択の組み合わせたものを選択することができる。ユーザがデータエレメントを選択した場合には、選択されたデータエレメントは、モジュール２３０に入力される（ボックス５２０）。そうでない場合は、オペレーションは、ユーザ選択されたデータエレメントを入力することをスキップする。
【００４２】
次に、モジュール２３０は、必要であるが、ユーザによって指定されていないか選択されていない、欠落しているデータエレメントを自動的に選択し取得する（ボックス５３０）。モジュール２３０は、ユーザ入力の量に従って、必須データエレメントから、全てを選択するか、どれも選択しないか、あるいは任意に自動的に選択することができる。一度データエレメントが選択されると、ユーザがデータエレメントのレイアウトを指定したかどうかを判断する（ボックス５４０）。ユーザが指定した場合には、指定されたエレメントレイアウトは、ユーザからの入力として受信される（ボックス５５０）。ユーザが指定しない場合には、このプロセスはスキップされる。
【００４３】
ついで、ユーザによって指定されたレイアウトを有さないエレメントのレイアウトが自動的に行われる（ボックス５６０）。繰り返して述べるが、自動的に判断されたレイアウトを有するデータエレメントの数は、ユーザがどれだけの入力を提供するかを示す関数である。ユーザ入力がほとんど提供されないか、全く提供されない場合には、モジュール２３０は、選択されたデータエレメントの全てに対するか、大部分に対するレイアウトを、自動的に指定する。他方、データエレメントに対するレイアウトのうちの全て又は大部分が、ユーザによって指定された場合は、モジュール２３０は、データエレメントに対するレイアウトを、自動的に、ほとんど判断しないか、全く判断しない。一度データエレメントのレイアウトが判断されると、ビデオコンポジションが、出力として送信される（ボックス５７０）。
【００４４】
エレメント選択・レイアウトモジュールの機能
エレメント選択・レイアウトモジュール２３０には、ビデオコンポジションをオーサリングすることができる機能が含まれている。その特定の機能を次に説明する。
【００４５】
クリップレットインタレストレーティング（ｃｌｉｐｌｅｔ　ｉｎｔｅｒｅｓｔ　ｒａｔｉｎｇｓ）
仮にビデオコンポジションオーサリングシステム２００がクリップレットを使用した場合には、当該クリップレットは、当該クリップレットについての情報を提供するのに利用可能な処理技術に基づいて、割り当てられたインタレストレーティングを有することができる。例えば、仮にフェース（ｆａｃｅ）検出技術が利用可能である場合には、各クリップレットを処理して、フェースを検出することができる。この処理により得られた情報、例えばクリップレットがフェースを含むかどうかという情報は、各クリップレットとともにストアされる。この情報に基づいて、各クリップレットのためのフェース検出のインタレストレーティングを判断することができる。このインタレストレーティングとの関係付けは、ビデオフレームごとではなく、クリップレットごとに行なわれる。しかし、レーティングプロセスで使用されるフィーチャは、フレームごとにコンピューティングされ、その結果は、その後に使用するために、クリップレットレーティングプロセス中にストアすることができる。
【００４６】
クリップレットレーティングは、クリップレットに関連し、しかもクリップレットのために利用可能な情報にも基づくことができる。このクリップレットレーティング情報には、タイムスタンプ、ロケーションスタンプ、オーディオ信号、ビデオ信号、及び全ての情報と分析が含まれるが、これらについては既にサブショットセグメント検出に関して述べた。クリップレットレーティング情報は、クリップレットについての情報を提供するために利用可能な技術も利用することができる。これには、音声認識、スピーカ認識、フェース検出、ズーム検出、パン検出、任意のタイプのオーディオ分析又は認識、任意のタイプのビデオ分析又は認識も含まれる。これら技術のいずれかを使用して、個々のクリップレットに対してインタレストレーティングを生成することができる。例を挙げると、仮にインタレストレーティングが、フェースを検出する場合におけるものである場合には、フェースを含むクリップレットのインタレストレーティングが、フェースを含まないクリップレットよりも高く、そしてフェースを含むクリップレットにあっては、ほとんどの時間においてフェースがカメラに向いているクリップレットのインタレストレーティングは高い。別の例を挙げると、仮にインタレストレーティングがクローズアップにおけるものである場合には、ズーミングされた直後のクリップレットのインタレストレーティングは、他のクリップレットよりも高い。
【００４７】
クリップレットのインタレストレーティングは、複数の次元とすることができる。例えば、クリップレットは、「オーディオアクティビティレベル」のためのレーティングを有することができ、同様に「ビジュアルアクティビティレベル」及び「フェースのオカーレンス（ｏｃｃｕｒｒｅｎｃｅ）」のための個別のレーティングを有することができる。レーティングは、絶対値とすることができ、あるいはクリップレット間で相対的に順序付け（又はランキング付け）をすることができる。例を挙げると、レーティングが、オーディオに基づいて、クリップレットに割り当てられると仮定することにする。そうすると、オーディオパワー信号の変動であって、全ての周知のクリップレットに対して正規化されたものを、コンピューティングすることができる。ビジョン（ｖｉｓｉｏｎ）を使用しているクリップレットレーティングの別の例においては、カメラのズーム又はパンが検出され、より高いレーティングがズーム又はパンをした直後のクリップレットに割り当てられるもの、と仮定する。クリップレットレーティングのさらに別の例においては、持続時間を使用することは、レーティングを、ｘ秒という持続時間の中心にあるガウス形（Ｇａｕｓｓｉａｎ）に比例させることである。ここで、ｘはユーザの好みに基づくものとすることができ、期待値とすることができる。
【００４８】
自動空間適応
ビデオコンポジションオーサリングシステム２００の出力には、クリップレットのコラージュを含むビデオコンポジションが含まれる。このコラージュには、複数のウィンドウが含まれ、各ウィンドウには、クリップレットが含まれている。当該ウィンドウのサイズに従って、クリップレットのコラージュを適応させることができるから、心地良く又は見た目に美しいレイアウトを維持しながら、クリップレットが動き回り、利用可能な空間に適合することを試みる。この空間適応は、エレメント選択・レイアウトモジュール２３０によって自動的に行われる。
【００４９】
クリップレットコラージュコンテンツの自動選択
仮にユーザがハードワークを望まない場合には、ビデオコンポジションオーサリングシステム２００は、クリップレットを自動的に選択して、ビデオコンポジションコラージュのウィンドウを、ユーザの好みにより又はランダムに、ポピュレート（ｐｏｐｕｌａｔｅ）する。
【００５０】
例を挙げると、ビデオコンポジションオーサリングシステム２００は、ブランクのウィンドウを複数作成することができる。ついで、次のようなアルゴリズムを１つ以上使用してウィンドウを自動的にフィル（ｆｉｌｌ）することができる。自動選択ための１つのアルゴリズムは、インタレストレーティングに基づくものとすることができる。例えば、１つのカテゴリのトップ（ｔｏｐ）にあるＮ個のクリップレットを決定し、各カテゴリから取り出し、各ウィンドウにそれぞれ配置することを、自動的に行うことができる。これらカテゴリには、例えば、オーディオレーティングカテゴリにおいて興味あるオーディオと、フェースレーティングカテゴリにおいて興味あるフェースと、ズームレーティングカテゴリにおけるクローズアップとを含むことができる。何をもって「トップ」とするかの基準は、カテゴリに依存する。例えば、ズームカテゴリにおいては、クローズアップを含むクリップレットであれば、そのカテゴリにおいて「トップ」であると考えられる。
【００５１】
自動選択のための別のアルゴリズムにおいては、インタレストレーティングを、時間制約とともに使用することができる。仮に１つのカテゴリのトップのＮ個のクリップレットのうちの２つのクリップレットが時間的に近接している場合には、モジュール２３０は、これら２つのクリップレットは同じシーンからのものであると、仮定する。複数のクリップレットを取捨選択することにより、バラエティ（ｖａｒｉｅｔｙ）に富ませることができる。
【００５２】
別のアルゴリズムにおいては、各カテゴリのトップの複数のクリップレットから１つのクリップレットをランダムに選択することができる。例えば、各カテゴリからトップのＮ個のクリップレットのみを取る代わりに、このアルゴリズムおいては、１つのカテゴリからトップのＭ個のクリップレットを明示し（ここで、Ｍ＞Ｎ）、Ｍ個の利用可能なクリップレットからＮ個のクリップレットをランダムに選択している。このようにすると、出力ビデオコンポジションにおいても、バラエティが維持される。
【００５３】
使用統計
エレメント選択・レイアウトモジュール２３０は、使用統計に基づいて、ビデオコンポジションコラージュを選択し、ポピュレートすることもできる。使用統計においては、クリップレット使用の頻度をトラッキングする。これらリザルトは、ユーザに表示することができる。ユーザがエレメント選択・レイアウトモジュール２３０を介してクリップレットとインタラクトすると、使用統計がコンピュートされる。
【００５４】
ユーザがクリップレットをビューしたり選択したりすると、そのたびに、そのクリップレットの使用レーティングが上がる。使用統計は、一種のクリップレットインタレストレーティングであって、ユーザに明示的に頼んで、ユーザの好むクリップレットのタイプやカテゴリを指定させる必要性が軽減されるものである。時間が経つと、それだけ正確に、使用統計から、ユーザがどのクリップレットに興味があるかを判断できるようになる。
【００５５】
使用統計は、他のクリップレットインタレストレーティングと相関関係をとることができる。この相関関係を使用すれば、使用レーティングに基づくとともにユーザの興味あるものに基づいて、インタレストレーティング及びクリップレットレーティングプロセスを、徐々に調整し整えることができる。例として、仮にユーザが絶えず見ているクリップレットに興味あるオーディオが多い場合には、そのユーザにとって、オーディオインタレストレーティングが重要であると推定される。したがって、ユーザは、オーディオインタレストレーティングが高いクリップレットを好み、興味を持っている、と判断することができる。システム２００は、使用統計とインタレストレーティングとの相関関係をとって、徐々に、ユーザの好みを「学習する」。例えば、ビデオコンポジションコラージュのウィンドウをポピュレートする上でクリップレットを選択するとき、この知識を使用することができる。
【００５６】
ビデオコンポジション出力スタイル選択
ユーザは、エレメント選択・レイアウトモジュール２３０により、ビデオコンポジションの出力スタイルを選択することができる。選択されたスタイルに従って、モジュール２３０は、データエレメントを選択し整列させる。仮にユーザが「ロマンチックな」スタイルを選択した場合には、モジュール２３０は、ソフトミュージックを選択し、派手なアクションのないビデオエレメントを選び、動きをスローにし、ロマンチックな主題をキープする意味でビデオエレメントを僅かにぼやけさせる。
【００５７】
反復リファインメントモジュール
図６は、図２の反復リファインメントモジュール２５０のオペレーションの詳細を示す流れ図である。反復リファインメントモジュール２５０は、予備ビデオコンポジションリザルトをユーザに提示する。仮にユーザが、そのリザルトが気に入った場合には、予備ビデオコンポジションリザルトは、変更を加えずに、ビデオコンポジション出力として送信される。ユーザが、そのリザルトが気に入らない場合には、ユーザは、反復リファインメントモジュール２５０により、気に入らないデータエレメントかそのレイアウトかに変更を加え、リファインメントを施すことができる。
【００５８】
反復リファインメントモジュール２５０は、ユーザが予備ビデオコンポジションリザルトをビューしたいかどうかを判断する（ボックス６１０）ことによって、オペレートされる（ボックス６００）。ユーザがビューしたいと判断した場合には、反復リファインメントモジュール２５０は、予備ビデオコンポジションリザルトをユーザに提示する（ボックス６２０）。ユーザがビューしたくないと判断した場合には、この予備ビデオコンポジションリザルトは、完了したビデオコンポジションと考えられる。次に、ユーザが、予備ビデオコンポジションリザルトに変更を加えたかどうかを判断する（ボックス６３０）。ユーザが変更を加えた場合には、モジュール２５０は、ユーザによる変更を入力し、指定された変更を行う（ボックス６４０）ことができる。ついで、更新された予備ビデオコンポジションリザルトが、ユーザに提示される（ボックス６２０）。このプロセスは、ユーザが予備ビデオコンポジションリザルトに満足するまで繰り返される。他方、ユーザが変更をしなかった場合には、予備ビデオコンポジションリザルトは、完了したビデオコンポジションとしての出力として、送信される（ボックス６５０）。
【００５９】
反復リファインメントモジュールの機能
反復リファインメントモジュール２５０には、ビデオコンポジションをオーサリングすることができる機能が含まれる。その特定の機能には、次のようなものがある。
【００６０】
ドラッグアンドドロップリファインメント
反復リファインメントモジュール２５０は、ドラッグアンドドロップ機能、例えば、ビデオコンポジションのエレメントを修正し、追加し、又は削除する機能を有する。このドラッグアンドドロップ機能により、ユーザは、所望のクリップレットを、ビデオコンポジションの所望の位置にドラッグアンドドロップすることができる。
【００６１】
クリップレットセグメントのリファインメント
クリップレットの開始と終了ポイント（又は編集ポイント）が既に決定されていたとしても、ユーザがそれらに満足しないことがある。反復リファインメントモジュール２５０により、ユーザは、時間的に近接しているクリップレットとマージして、クリップレットを長くすることができる。これは次のようにして行なわれる。すなわち、第１のクリップレットが第２のクリップレットとマージされて、新しい第３のクリップレットが作成されるように、入力装置を使用して、少なくとも２つのビデオクリップレットをマージする。第３のクリップレットの持続時間は、第１及び第２のクリップレットの各持続時間を結合したものである。であるから、ユーザは、当該クリップレットを長くし、当該クリップレットと、時間的に近接しているクリップレットを組み合わせることができる。これには、スククラビングを必要とする。
【００６２】
仮にユーザが、まだ、クリップレットの編集ポイントに不満である場合には、反復リファインメントモジュール２５０には、ユーザが開始又は終了ポイントのいずれかを、伸縮することができる機能が含まれる。スクラビングを回避するために、ユーザは、システムに１つ又は２つの新しい編集ポイントを自動的に見つけ出させるオプションを有する。入力装置を介して、ユーザは、反復リファインメントモジュール２５０が、当該クリップレットの開始及び終了ポイントとなる可能性を提示する、ことを要求することができる。
【００６３】
タイトル及びクレジット生成
タイトル及びクレジット生成においては、ユーザは、ビデオコンポジションコラージュのキャスト（ｃａｓｔ）を入力し、ビデオフッテージに寄与した者を入力することが必要となる。ついで、反復リファインメントモジュール２５０は、クレジット及びキャストリストを生成する。このユーザ入力を軽減するためには、モジュール２５０は、フェースレ認識技術を使用して、これらの者の名前を「学習する」ことができる。これは、一度ユーザに人名を入力させ、ついでモジュール２５０が自動的にこれら人名を認識することにより行うことができ、そうすると、キャストリストが自動的に作成される。
【００６４】
テキスト注釈
ユーザ入力によるか、システム２００によって、自動的に、テキストをビデオコンポジションに追加することができる。テキストを使用して、ビデオコンポジションに注釈を付けるか、記述するか、又は補完することができる。反復リファインメントモジュール２５０は、テキスト注釈を追加し、ビデオコンポジション上のどこにテキストが置かれているかを判断するための機能をユーザに提供する。さらに、ユーザが選択できる種々のテキストスタイル及びサイズが利用可能である。
【００６５】
５．実施例
次の実施例を使用して、本発明に係るオペレーションを詳細に説明する。この実施例は、ビデオコンポジションオーサリングシステム２００が実施することができる１つの方法である。この実施例は、本発明をインプリメントできる１つの方法にすぎず、例を示したにすぎない、ことに留意されたい。
【００６６】
図７は、ビデオコンポジションオーサリングシステム２００を使用してオーサリングされたビデオコンポジションの実施例である。この実施例では、ビデオコンポジション７００が、クリップレット及び他のマルチメディアエレメントの２次元レイアウト又はコラージュである。ビデオコンポジション７００には、見た目に美しく配置された複数のウィンドウ７１０が含まれる。複数のウィンドウ７１０、７２０、７３０、７４０、７５０、７６０、７７０内には、各ウィンドウ内で再生可能なクリップレットがある。加えて、ビデオコンポジション７００には、ビデオコンポジション７００を記述するタイトル７７５が含まれる。ビデオコンポジション７００には、ウィンドウのコンテンツをエンハンス（ｅｎｈａｎｃｅ）させる追加されたテキストも含まれる。例えば、ウィンドウ７４０及び７７０には、コンテンツを記述するか、エンハンスさせるテキストが追加されている。バックグランドピクチャ７８０は、夕景であるが、ビデオコンポジション７００に追加されている。ビデオコンポジション内に、ハワイアン音楽を含むオーディオファイルも含まれている。
【００６７】
次の説明においては、ビデオコンポジションオーサリングシステム２００が、ビデオコンポジションのエレメント、例えば図７のビデオコンポジション７００を、どのようにして獲得するかという例を提供することを意図している。ユーザは、撮影した日時と場所を含むクリップレットのセットのみを提供するだけである、と仮定する。ビデオコンポジションオーサリングシステム２００は、以下の事柄を行うことができる。第１に、エレメント選択・レイアウトモジュール２３０は、入力されたクリップレットのセットからベスト（ｂｅｓｔ）のクリップレットを選択することができる。ベストのクリップレットの判断は、クリップレットレーティングに基づき行うことかできる。ついで、カレンダ情報を使用して、タイトルを導き出すことができる。仮に、例えば、ビデオがＨａｗａｉｉで２月１４日頃に撮影された場合には、生成されたタイトルは、おそらく、「Ｖａｌｅｎｔｉｎｅ’ｓ　Ｄａｙ　ｉｎＨａｗａｉｉ」となる。
【００６８】
他にどのデータエレメントを選択すべきかを判断するため、エレメント選択・レイアウトモジュール２３０は、自然言語データベースを使用して、キーワード又はサーチ用語（ｓｅａｒｃｈ　ｔｅｒｍｓ）を生成することができる。例えば、「Ｖａｌｅｎｔｉｎｅ’ｓ　Ｄａｙ　ｉｎ　Ｈａｗａｉｉ」の例においては、項目としては、「ｒｏｍａｎｔｉｃ」、「ａｌｏｈａ」、「Ｋａｕａｉ」、「Ｏａｈｕ」、「Ｓｔ．　Ｖａｌｅｎｔｉｎｅ」、及び「ｃｈｏｃｏｌａｔｅ」という用語を含めることができる。次に、追加のデータエレメントのために、ユーザのデータベースか、ｔｈｅ　Ｉｎｔｅｒｎｅｔのいずれかからサーチすることができる。例えば、エレメント選択・レイアウトモジュール２３０は、無料の音楽インタネットサイトから、「Ｈａｗａｉｉ」及び「ｒｏｍａｎｔｉｃ」をサーチし、ハワイアン音楽を含むオーディオファイルを返すことができる。
【００６９】
同様に、背景写真は、サーチ用語及びユーザ自身のデータベース、ｔｈｅ　Ｉｎｔｅｒｎｅｔ、又はその両方を使用して、エレメント選択・レイアウトモジュール２３０によって選択することができる。例えば、エレメント選択・レイアウトモジュール２３０は、ユーザのハードドライブから、夕景の背景写真をサーチすることができる。加えて、選択されたクリップレットがより長くなるように、当該ビデオコンポジションのために「ｒｏｍａｎｔｉｃ」ムードを選択することができる。さらに、選択されたクリップレットは、速い動きを含まないようにされる。ｒｏｍａｎｔｉｃムードの選択に伴い、選択されたクリップレットには、イメージ処理、例えば、意図的にぼかしをいれてエッジをソフトにすることができる。フェース検出を使用して、フェースのクローズアップを含むクリップレットを選択することができる。
【００７０】
以上、本発明について述べたが、これは説明及び図示したに過ぎない。本発明を、開示した形式に厳密に限定するものではもない。上記教示に照らせば、多くの修正及び変形が可能である。本発明の範囲は、特許請求の範囲によって限定されるものの、発明の詳細な説明によって限定されるものではない。
【図面の簡単な説明】
【図１】長尺のビデオ及びビデオフレームと関連してビデオクリップレットの概念を示す図である。
【図２】本発明に係るビデオコンポジションオーサリングシステムの概要を示すブロック図である。
【図３】本発明を実施するのに適切なコンピューティング装置を示すブロック図である。
【図４】図２のビデオコンポジションオーサリングシステムのオペレーションを示す流れ図である。
【図５】図２のエレメント選択・レイアウトモジュールのオペレーションの詳細を示す流れ図である。
【図６】図２の反復リファインメントモジュールのオペレーションの詳細を示す流れ図である。
【図７】ビデオコンポジションオーサリングシステムの出力の実施例を示すコンピュータユーザインタフェースを示す図である。
【符号の説明】
１００　デジタルソースビデオ
１０５　ビデオフレーム
２００　ビデオコンポジションオーサリングシステム
２３０　エレメント選択・レイアウトモジュール
２４０　予備ビデオコンポジションリザルト
２５０　反復リファインメントモジュール
３００　汎用コンピューティング装置
３０２　プロセシングユニット
３０４　システムメモリ
３０６　システムバス
３１０　ＲＯＭ
３１２　ＲＡＭ
３１４　ＢＩＯＳ
３１６　ハードディスクドライブ
３１８　磁気ディスクドライブ
３２０　リムーバブル磁気ディスク
３２２　光学ディスクドライブ
３２４　リムーバブル光学ディスク
３２６　ハードディスクドライブインタフェース
３２８　磁気ディスクドライブインタフェース
３３０　光学ディスクドライブインタフェース
３３２　オペレーティングシステム
３３８　プログラムデータ
３４０　キーボード
３４２　ポインティングデバイス
３４３　カメラ
３４４　シリアルポートインタフェース
３４６　モニタ
３４８　ビデオアダプタ
３５０　リモートコンピュータ
３５２　ストレージ装置
３５４　ＬＡＮ
３５６　ＷＡＮ
３５８　アダプタ
３６０　モデム
【図１】
2004032763.tif 000003
【図２】
2004032763.tif 000004
【図３】
2004032763.tif 000005
【図４】
2004032763.tif 000006
【図５】
2004032763.tif 000007
【図６】
2004032763.tif 000008
【図７】
2004032763.tif 000009