(57)【要約】【課題】  すでに注釈が付けられているか、またはそれまで注釈付けられていないオリジナルビデオファイルから注釈付きビデオファイルを生成すること。【解決手段】  本発明は、注釈付きビデオファイルを生成する方法を提供する。この発明の方法によると、少なくとも１つのビデオ要約のレンダリングを可能にする情報を埋め込むことにより、オリジナルのビデオファイルに注釈を付ける。前記ビデオ要約は、前記注釈を付けられたビデオファイルに含まれ、前記オリジナルのビデオファイルの少なくとも一部を要約したデジタルコンテンツを含む。   【選択図】図４
2004274768.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのビデオ要約のレンダリングを可能にする情報を埋め込むことによりオリジナルのビデオファイルに注釈を付けることを含み、前記ビデオ要約は、前記注釈を付けられたビデオファイルに含まれ、前記オリジナルのビデオファイルの少なくとも一部を要約したデジタルコンテンツを含む、注釈付きビデオファイルを生成する方法。
【請求項２】
前記レンダリングを可能にする情報は、前記ビデオファイルのヘッダに埋め込まれる請求項１記載の注釈付きビデオファイルを生成する方法。
【請求項３】
前記レンダリングを可能にする情報は、前記ビデオファイルヘッダに埋め込まれたビデオ要約を含む、請求項２記載の注釈付きビデオファイルを生成する方法。
【請求項４】
前記ビデオファイルヘッダに埋め込まれた前記レンダリングを可能にする情報は、前記オリジナルビデオファイルの１つまたは複数の各フレームへの１つまたは複数のポインタを含む、請求項２記載の注釈付きビデオファイルを生成する方法。
【請求項５】
前記レンダリングを可能にする情報は、前記オリジナルビデオファイルのビデオコンテンツで分けられた、前記注釈付きビデオファイル中の異なる場所に埋め込まれる、請求項１記載の注釈付きビデオファイルを生成する方法。
【請求項６】
前記レンダリングを可能にする情報は、詳細度の異なるビデオ要約のレンダリングを可能にする階層情報を含む、請求項１記載の注釈付きビデオファイルを生成する方法。
【請求項７】
前記少なくとも１つのビデオ要約は、前記オリジナルビデオファイルにおいて識別された１つまたは複数のキーフレームに対応する、請求項１記載の注釈付きビデオファイルを生成する方法。
【請求項８】
前記少なくとも１つのビデオ要約は、ビデオフレームシーケンス、デジタルオーディオコンテンツ、オリジナルビデオファイルコンテンツを代表する１つまたは複数の画像および該１つまたは複数の代表画像と同期したデジタルオーディオコンテンツ、デジタルテキストコンテンツ、のうちの１つに対応する請求項１記載の注釈付きビデオファイルを生成する方法。
【請求項９】
注釈付きビデオファイルを生成するソフトウェアプログラムであって、該ソフトウェアプログラムは、電子機器可読媒体上に存在し、該電子機器に実行させる命令は、
少なくとも１つのビデオ要約をレンダリング可能にする情報を埋め込むことにより前記オリジナルのビデオファイルに注釈を付けることを含み、前記ビデオ要約は、前記注釈を付けられたビデオファイルに含まれ、前記オリジナルのビデオファイルの少なくとも一部を要約したデジタルコンテンツを含む、
注釈付きビデオファイルを生成するソフトウェアプログラム。
【請求項１０】
注釈付きビデオファイルに埋め込まれ、少なくとも１つのビデオ要約のレンダリングを可能にする情報を識別するように動作可能なビデオレンダリングエンジンを備え、前記ビデオ要約は、前記注釈付きビデオファイルに含まれ、前記ビデオファイルに含まれる少なくともビデオフレームシーケンスを要約したデジタルコンテンツを含み、前記ビデオレンダリングエンジンは、前記少なくとも１つのビデオ要約をレンダリングするように動作可能な、注釈付きビデオファイルをレンダリングするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、注釈付きビデオファイルを生成・レンダリングするシステムおよび方法に関する。
【背景技術】
【０００２】
個人および組織は、大量のビデオコンテンツコレクションを急速に蓄積している。これらコレクションが増加するにつれ、個人および組織では、所望のビデオコンテンツを迅速かつ容易に見つけることができるように、コレクション中のビデオコンテンツを編成し要約するシステムおよび方法がますます必要になる。この必要性に応えるため、ビデオコンテンツを作成し要約する様々な異なるシステムおよび方法が提案されてきた。
【０００３】
たとえば、フルモーションビデオコンテンツの閲覧を可能にするストーリーボード要約が開発されている。この技法によれば、ビデオ情報は有意味な代表スナップショットおよび対応するオーディオコンテンツに圧縮される。知られている１つのこの種のビデオブラウザは、ビデオシーケンスを長さの等しいセグメントに分割し、各セグメントの最初のフレームをキーフレームとして示す。知られている別のこの種のビデオブラウザは、シーケンスのあらゆるフレームをスタックし、カメラおよびオブジェクトモーションに関連する情報をユーザに提供する。
【０００４】
コンテンツベースのビデオ要約技法も提案されている。こういった技法では、長いビデオシーケンスが通常、ビデオコンテンツに基づいてストーリーユニットに分類される。ある手法では、シーン変更検出（ビデオの時間分割とも呼ばれる）が使用され、新しいショットが開始・終了するときを示すものが与えられる。符号化画像のDCT（離散コサイン変換）係数に基づくシーン遷移検出アルゴリズム、および符号化ビデオシーケンスのDCT係数を使用して急激および漸進的なシーン遷移の両方を識別するように構成されたアルゴリズム等の、シーン変更検出アルゴリズムが当分野において既知である。
【０００５】
あるビデオ要約手法では、Ｒフレーム（代表フレーム）を使用して、ビデオクリップの視覚的コンテンツを編成する。Ｒフレームは、所望の材料を識別する際にユーザを支援するために、様々な基準に従ってグループ化することができる。この手法では、ユーザがキーフレームを選択することができ、次にシステムが様々な基準を用いて類似するキーフレームをサーチし、類似するキーフレームをユーザにグループとして提示する。ユーザは、完全なキーフレームの集合ではなくグループから代表フレームをサーチして、関心のあるシーンを識別することができる。言語ベースのモデルは、入力ビデオシーケンスを、ニュース放送の期待される文法要素と突き合わせるために使用されてきた。加えて、ビデオクリップの期待されるコンテンツの先験的モデルは、クリップの解析に使用されてきた。
【０００６】
別の手法では、複雑なビデオセレクションを階層的に分解したものが、ビデオ閲覧目的のために抽出される。この技法は、視覚的情報および時間的情報を結合して、ビデオ内のシーン中、およびシーン間の重要な関係をとらえ、それによってコンテンツの先験的情報なしで、土台をなすストーリー構造を解析することができる。階層シーン遷移グラフの汎用モデルが、閲覧の実施に適用される。ビデオショットがまず識別され、キーフレームコレクションが、各ビデオセグメントを表すために使用される。これらコレクションが次に、総体的な視覚的情報に従って分類される。ビデオが有向グラフとしてユーザに提示されるプラットフォームが構築され、各カテゴリのビデオショットはノードで表され、各エッジはカテゴリ間の時間的な関係を示す。ビデオの解析および処理は、圧縮ビデオに対して直接実行される。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した各ビデオ要約手法では、ビデオ要約情報が、オリジナルビデオコンテンツと別個に格納される。したがってこういった手法では、オリジナルビデオファイルがビデオレンダリングシステム間で伝送されるときに、ビデオ要約のレンダリングを可能にする情報が、対応するオリジナルビデオファイルから切り離されうるという危険性がある。
【課題を解決するための手段】
【０００８】
本発明は、注釈付きビデオファイルを生成・レンダリングするシステムおよび方法を提供する。
【０００９】
一態様では、本発明は、注釈付きビデオファイルを生成する方法を提供する。この発明の方法によると、少なくとも１つのビデオ要約のレンダリングを可能にする情報を埋め込むことにより、オリジナルのビデオファイルに注釈を付ける。前記ビデオ要約は、前記注釈を付けられたビデオファイルに含まれ、前記オリジナルのビデオファイルの少なくとも一部を要約したデジタルコンテンツを含む。
【００１０】
別の態様では、本発明は、上述の注釈付きビデオファイル生成方法を実施するコンピュータプログラムを提供する。
【００１１】
本発明の別の態様は、注釈付きビデオファイルに含まれるとともに、オリジナルビデオファイルの少なくとも一部を要約したデジタルコンテンツを含む少なくとも１つのビデオ要約のレンダリングを可能にする情報を埋め込んだ注釈付きビデオファイルを実質的に格納するコンピュータ可読媒体を提供する。
【００１２】
別の態様では、本発明は、ビデオレンダリングエンジンを備えた、注釈付きビデオファイルをレンダリングするシステムを提供する。このビデオレンダリングエンジンは、注釈付きビデオファイルに埋め込まれ、上記注釈付きビデオファイルに含まれるとともに、上記ビデオファイルに含まれる少なくともビデオフレームシーケンスを要約したデジタルコンテンツを含む少なくとも１つのビデオ要約のレンダリングを可能にする情報を識別するように動作可能である。このビデオレンダリングエンジンは上記少なくとも１つのビデオ要約をレンダリングするように動作可能である。
【００１３】
本発明の他の特徴および利点は、図面および特許請求の範囲を含めた以下の説明により明らかである。
【発明を実施するための最良の形態】
【００１４】
以下の説明では、同様の参照番号を用いて同様の要素を識別する。さらに、図面は例示的な実施形態の主要な特徴を線図で表すことを意図する。図面は、実際の実施形態のあらゆる特徴も、また図示の要素の相対的な寸法も示すことを意図せず、等しい比率で拡大縮小されて描かれたものではない。
【００１５】
以下に述べる実施形態は、すでに注釈が付けられているか、またはそれまで注釈付けられていないオリジナルビデオファイルから注釈付きビデオファイルを生成するシステムおよび方法を提供する。注釈付きビデオファイルは、注釈付きビデオファイルに含まれ、オリジナルビデオファイルの少なくとも一部を要約したデジタルコンテンツを含む少なくとも１つのビデオ要約のレンダリングを可能にする埋め込み情報を含む。このようにすれば、結果得られる注釈付きビデオファイルは、オリジナルビデオファイルおよびビデオ要約の両方のコンテンツを含む。従ってビデオ要約は常に、レンダリングシステムにアクセス可能である。従ってユーザは、ビデオファイルがレンダリングシステム間で伝送された様式に関わりなく、ビデオ要約が、対応するビデオファイルから切り離されるという危険性なしで、注釈付きビデオファイルのコレクションを通して迅速かつ効率的に閲覧することができる。
【００１６】
本明細書において使用する「ビデオ要約」は、オリジナルビデオファイルの関連するビデオフレームシーケンスのコンテンツを要約した（すなわち、表す、象徴する、または思い起こさせる）任意のデジタルコンテンツを指す。ビデオ要約のデジタルコンテンツは、テキスト、オーディオ、グラフィックス、動画グラフィックス、フルモーションビデオのうちの、１つまたは複数の形態であることができる。たとえば実施態様によっては、ビデオ要約は、オリジナルビデオファイルコンテンツを代表する１つまたは複数の画像、および１つまたは複数の代表画像と同期したデジタルオーディオコンテンツを含むことができる。
【００１７】
Ｉ．システム概観
図1を参照すると、一実施形態では、注釈付きビデオファイルを生成・レンダリングするシステムは、ビデオファイル注釈付けエンジン10およびビデオファイルレンダリングエンジン12を含む。これらエンジンは両方とも、コンピュータ（たとえば、デスクトップ、ラップトップ、およびハンドヘルドコンピュータ）、ビデオカメラ、または他の任意の適したビデオ取り込み、ビデオ編集、またはビデオ閲覧システム（たとえば、テレビに接続された、ビデオレコーダやプレーヤ等のエンターテイメントボックス）を含む任意の適した電子機器上で動作するように構成することができる。
【００１８】
コンピュータベースの実施態様では、ビデオファイル注釈付けエンジン10およびビデオファイルレンダリングエンジン１２を両方とも、コンピュータ30上で動作する１つまたは複数の各ソフトウェアモジュールとして実施することができる。コンピュータ30は、処理ユニット32、システムメモリ３４、および処理ユニット32をコンピュータ30の各構成要素に接続するシステムバス36を含む。処理ユニット32は１つまたは複数のプロセッサを含むことができ、プロセッサはそれぞれ市販の各種プロセッサの任意の１つの形態であることができる。システムメモリ34は、コンピュータ30のスタートアップルーチンを含む基本入出力システム（BIOS）を格納する読み取り専用メモリ（ROM）、およびランダムアクセスメモリ（RAM）を含むことができる。システムバス36は、メモリバス、周辺バス、またはローカルバスであることができ、PCI、VESA、マイクロチャネル、ISA、およびEISAを含む様々なバスプロトコルのいずれかに準拠することができる。コンピュータ30は、システムバス36に接続され、データ、データ構造、およびコンピュータ実行可能命令の不揮発性格納または永久格納を提供する１つまたは複数のコンピュータ可読媒体ディスクを含む永久格納メモリ38（たとえば、ハードドライブ、フロッピードライブ126、CD  ROMドライブ、磁気テープドライブ、フラッシュメモリデバイス、およびデジタルビデオディスク）も含む。ユーザは、１つまたは複数の入力装置４０（たとえば、キーボード、コンピュータマウス、マイクロフォン、ジョイスティック、およびタッチパッド）を使用して、コンピュータ30と対話（たとえば、コマンドまたはデータを入力）することができる。情報は、ディスプレイコントローラ44によって制御される、ディスプレイモニタ42上でユーザに表示されるグラフィカルユーザインタフェース（GUI）を通して提示することができる。コンピュータ30は、スピーカおよびプリンタ等、周辺出力装置も含むことができる。ネットワークインタフェースカード（NIC）46を通して、１つまたは複数のリモートコンピュータをコンピュータ30に接続することができる。
【００１９】
図1に示すように、システムメモリ34は、ビデオファイル注釈付けエンジン10、ビデオレンダリングエンジン12、GUIドライバ48、ならびに１つまたは複数のオリジナルビデオファイルおよび注釈付きビデオファイル50も格納する。ある実施態様では、ビデオファイル注釈付けエンジン10は、GUIドライバ48、オリジナルビデオファイル、およびユーザ入力40と対話して、注釈付きビデオファイルの生成およびレンダリングを制御する。ビデオファイルレンダリングエンジン12は、GUIドライバ48および注釈付きビデオファイルとインタフェースして、ディスプレイモニタ42でユーザに提示されるビデオの閲覧およびレンダリング体験を制御する。レンダリングし閲覧するコレクション中のオリジナルビデオファイルおよび注釈付きビデオファイルは、永久格納メモリ38にローカルに格納しても、リモートに格納し、NIC46を通してアクセスしても、またはこれら両方であってもよい。
【００２０】
ＩＩ．注釈付きビデオファイルの生成
図２を参照すると、ある実施形態では、注釈付きビデオファイルは以下のように生成できる。ビデオファイル注釈付けエンジン10は、オリジナルビデオファイルを取得する（ステップ60）。オリジナルビデオファイルは、ビデオクリップ、ホームビデオ、および商業映画を含め、任意の圧縮（たとえばMPEGまたはモーションJPEG）または非圧縮デジタルビデオファイルに対応することができる。ビデオファイル注釈付けエンジン10は、少なくとも１つのビデオ要約のレンダリングを可能にする情報も取得する（ステップ61）。ビデオファイル注釈付けエンジン10は、ビデオ要約レンダリング情報をオリジナルビデオファイルに埋め込むことによって、オリジナルビデオファイルに注釈を付ける（ステップ62）。
【００２１】
図3Aおよび図3Bを参照すると、ある実施形態では、ビデオ要約レンダリング情報64が、オリジナルビデオファイル68のヘッダ66に埋め込まれる（図3A）。またある実施形態では、ビデオ要約レンダリング情報70、72、74は、オリジナルビデオファイル76のビデオコンテンツで分けられたオリジナルビデオファイル76の別の各場所（たとえば、各ショットに先行する場所）に埋め込まれる（図3B）。これらある実施形態では、図3Bに示すように、その他のビデオ要約レンダリング情報72、74の場所へのポインタ78、80をオリジナルビデオファイル76のヘッダに埋め込むことができる。
【００２２】
ある実施態様では、オリジナルビデオファイルに埋め込まれるビデオ要約レンダリング情報は、ビデオ要約自体に対応する。上に述べたように、ビデオ要約は、オリジナルビデオファイルの関連するビデオフレームシーケンスのコンテンツを、要約する任意のデジタルコンテンツである。（要約するとはすなわち、表す、象徴する、または思い起こさせることである。任意のデジタルコンテンツはたとえば、テキスト、オーディオ、グラフィックス、動画グラフィックス、およびフルモーションビデオである）。したがってこういった実施態様では、ビデオ要約のデジタルコンテンツが、オリジナルビデオファイルに埋め込まれる。ある実施態様では、ビデオ要約をオリジナルビデオファイルから導き出すことができる。（オリジナルビデオファイルとはたとえば、オリジナルビデオファイルのキーフレーム、オリジナルビデオファイルのショートセグメント、またはオリジナルビデオファイルからのオーディオクリップである）。またある実施態様では、ビデオ要約は、オリジナルビデオファイル以外であるがそれでもなおオリジナルビデオファイルを表すソースから取得することができる。（たとえば、商業映画の予告編、オーディオまたはビデオクリップ、あるいはオリジナルビデオのテキスト記述が挙げられる）。
【００２３】
図4および図5を参照すると、ある実施形態では、ビデオ要約は、オリジナルビデオファイルのコンテンツ解析に基づいて、オリジナルビデオファイルから自動的に導き出すことができる。たとえばある実施態様では、ビデオファイル注釈付けエンジン10は、既知のビデオ処理技法を用いて、ショット境界検出、キーフレーム選択、ならびに顔の検出およびトラッキングを行うことができる。ショット境界検出は、異なるショット（たとえば、図４中のショット1、2、3）間の不連続性を識別するために使用される。異なるショットのそれぞれは、連続して記録され、時間および空間において連続した行動を表すフレームシーケンスに対応する。キーフレーム選択は、各ショットのコンテンツを表すキーフレームを選択することを含む。ある実施態様では、画像ぶれテストに合格した各ショット中の最初のフレームが、代表キーフレームとして選択される。（最初のフレームはたとえば、フレーム番号1、219、393に対応するキーフレーム82、84、86である）。各ショットの最初のフレームに加えて、検出された顔を含むフレームもまた代表キーフレームとして選択される。（検出された顔を含むフレームはたとえば、フレーム88、89、90、92、94である）。選択されたフレームは、同じ顔を含むショット中の連続フレームシーケンス中の、実質的にぶれのない最初のフレームに対応することができる。顔のトラッキングは、連続したビデオショット内の同じ人物を含むフレームを関連付けるために使用される。
【００２４】
ある実施形態では、各ショットのキーフレームは階層に編成され、ユーザが複数の詳細度でビデオ要約を閲覧することができる。たとえば図示の実施形態では、最初の詳細度は、各ショットの最初のキーフレーム82、84、86に対応する。次の詳細度は、時間順に配置された各ショットのすべてのキーフレームに対応する。他の既知の階層表現も使用することが可能である。
【００２５】
図５を参照すると、ある実施形態では、オリジナルビデオファイルに埋め込まれるビデオ要約レンダリング情報は、オリジナルビデオファイルのフレームへのポインタに対応する。図示の実施形態では、ポインタは、図４に関連して上に述べた自動要約プロセスによって識別される代表キーフレームのキーフレーム番号に対応する。またある実施形態では、ポインタは、レンダリング（または再生）回数に対応することができる。図示の実施形態では、ポインタおよび階層情報は、XML（拡張可能マークアップ言語）データ構造96で格納される。XMLデータ構造は、オリジナルビデオファイルのヘッダまたは他の場所に埋め込むことのできるものである。データ構造96の階層レベル１では、キーフレーム82、84、86（図４参照）はそれぞれ画像kf−001.jpg、kf−0219.jpg、kf−0393.jpgに対応する。階層レベル２では、キーフレーム82、84、86はそれぞれ、前と同様に画像kf−001.jpg、kf−0219.jpg、kf−0393.jpgに対応し、これに加えて、キーフレーム88、89、90、92、94（図４参照）はそれぞれ、画像kf−0143.jpg、kf−0420.jpg、kf−0550.jpg、kf−0602.jpg、kf−0699.jpgに対応する。上で説明したように、各キーフレーム88、89、90、92、94は、検出された１つまたは複数の顔を含む画像に対応する。各キーフレーム画像のビデオフレーム番号範囲は、「開始」タグおよび「終了」タグそれぞれによって指定される。
【００２６】
再び図2を参照すると、ビデオファイルに注釈が付けられた後、ビデオファイル注釈付けエンジン10は注釈付きビデオファイルを格納する（ステップ98）。たとえば、注釈付きビデオファイルを永久格納メモリ38（図1）に格納することができる。
【００２７】
ＩＩＩ．注釈付きビデオファイルのレンダリング
図６を参照すると、ある実施形態では、注釈付きビデオファイルを、ビデオファイルレンダリングエンジン12によって以下のようにレンダリングすることができる。ビデオファイルレンダリングエンジン12は、上に述べた方法の１つまたは複数で注釈付けられたビデオファイルを取得する（ステップ100）。ビデオファイルレンダリングエンジン１２は、注釈付きビデオファイルに埋め込まれたビデオ要約レンダリング情報を識別する（ステップ102）。上で説明したように、ビデオ要約レンダリング情報は、注釈付きビデオファイルのヘッダまたは他の場所に埋め込まれた１つまたは複数のビデオ要約に対応することができる。代替として、ビデオ要約レンダリング情報は、各ビデオ要約が注釈付きビデオファイルに埋め込まれた場所への１つまたは複数のポインタに対応することができる。ビデオ要約レンダリング情報に基づいて、ビデオファイルレンダリングエンジン12は、ユーザが注釈付きビデオファイルに埋め込まれた要約を閲覧できるようにする（ステップ104）。ビデオファイルレンダリングエンジン12はまず、最も低い（すなわち、最も粗い）詳細度でビデオ要約をレンダリングすることができる。たとえば、実施態様によっては、ビデオファイルレンダリングエンジン12はまず、各ショットの最初のキーフレームをユーザに提示することができる。なおユーザが要約をより高い詳細度で提示するように求める場合、ビデオファイルレンダリングエンジン12は、ビデオ要約をより高い詳細度でレンダリング（たとえば、各ショットのすべてのキーフレームをレンダリング）することができる。
【００２８】
ある実施態様では、ユーザは、ビデオ要約を閲覧している間、特定の要約（たとえば、キーフレーム）を、オリジナルビデオファイルのレンダリングの開始点に対応するものとして選択することができる。これに応答して、ビデオファイルレンダリングエンジン12は、ユーザが選択したビデオ要約に対応するポイントから開始して、オリジナルビデオファイルをレンダリングする（ステップ106）。
【００２９】
ＩＶ．結論
他の実施形態も特許請求項の範囲内にある。
【００３０】
本明細書に記載のシステムおよび方法は、任意特定のハードウェアまたはソフトウェア構成に限定されず、デジタル電子回路またはコンピュータハードウェア、ファームウェア、もしくはソフトウェアを含め、任意の演算または処理環境で実施することが可能である。
【図面の簡単な説明】
【００３１】
【図１】注釈付きビデオファイルを生成・レンダリングするシステムのブロック図。
【図２】注釈付きビデオファイルを生成する方法の一実施形態の流れ図。
【図３Ａ】ビデオファイルのヘッダに埋め込まれたビデオ要約レンダリング情報の図。
【図３Ｂ】ビデオファイルの別の場所に埋められたビデオ要約レンダリング情報の図。
【図４】ビデオファイルにおいて識別され、２レベル閲覧階層に編成されたショットおよび複数のキーフレームに分割されたビデオファイルの図。
【図５】ビデオ要約レンダリング情報の図。
【図６】注釈付きビデオファイルをレンダリングする方法の一実施形態の流れ図。
【符号の説明】
【００３２】
１０  ビデオファイル注釈エンジン
１２  ビデオファイルレンダリングエンジン  
【図１】
2004274768.tif 000003
【図２】
2004274768.tif 000004
【図３Ａ】
2004274768.tif 000005
【図３Ｂ】
2004274768.tif 000006
【図４】
2004274768.tif 000007
【図５】
2004274768.tif 000008
【図６】
2004274768.tif 000009