(57)【要約】ビデオコンテンツを閲覧する方法を開示する。本方法は、ビデオコンテンツにアクセスし（９０１）、アクセスしビデオコンテンツに対してコンテンツ分析を実施することを含む。アクセスしたビデオコンテンツに対して実施されるコンテンツ分析により、メタデータが生成される（９０５）。次に、ビデオコンテンツをシステムディスプレイに表示し、生成されたメタデータを利用して閲覧する（９０９）。
2006525755.tif 000002
【特許請求の範囲】
【請求項１】
ビデオコンテンツを閲覧する方法であって、
ビデオコンテンツにアクセスするステップ（９０１）と、
前記ビデオコンテンツに対して実施されるコンテンツ分析によってメタデータを生成するステップ（９０２）と、
前記ビデオコンテンツをシステムディスプレイに表示し、生成された前記メタデータを利用して閲覧するステップ（９０９）と、
からなる方法。
【請求項２】
前記ビデオコンテンツは、複数の閲覧モードのうちの１つを使用してシステムディスプレイに表示される（９０９）、請求項１に記載の方法。
【請求項３】
前記閲覧は、スタイラスを使用して、キーフレームのスクロール、ビデオ再生の加速、及びビデオ再生の減速からなるグループの中から選択された機能を開始し、表示又は拡大のために前記ビデオコンテンツの部分の境界を画定することによって制御される。
【請求項４】
前記メタデータは、自動コンテンツベース分析及び手動抽出からなるグループの中から選択された方法を使用してキーフレーム抽出を実施する、メタデータ生成器によって生成される、請求項３に記載の方法。
【請求項５】
前記キーフレーム、及び前記キーフレームによって表されるショットのオフセットパラメータを拡張マークアップ言語（ＸＭＬ）データ構造に格納するステップをさらに含む、請求項４に記載の方法。
【請求項６】
前記メタデータは、キーフレームのファイル名、前記キーフレームによって表されるビデオショットの開始バイト位置及び終了バイト位置、並びにキーフレームレベルを表すフィールドを含む、請求項５に記載の方法。
【請求項７】
各キーフレームは、ビデオシーケンスのビデオコンテンツ部分を表す、請求項６に記載の方法。
【請求項８】
前記キーフレームのそれぞれにオーバレイテキストが関連する、請求項７に記載の方法。
【請求項９】
前記閲覧モードは、キーフレームのみ、ビデオのみ、及びビデオ・キーフレームからなるグループの中から選択される、請求項２に記載の方法。
【請求項１０】
前記キーフレームのみモードは、空間ズームイン及び空間ズームアウトのサブモードをさらに含む、請求項９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概して、ビデオコンテンツの表示に関する。特に、本発明の実施形態は、表示されたビデオコンテンツを閲覧する方法及びシステムに関する。
【背景技術】
【０００２】
現在市販されている種々のビデオコンテンツに適切に対処する能力は、今日のコンピュータシステムディスプレイの基本要件である。しかしながら、ディスプレイの空間制限は、ビデオ情報を完全に提示するディスプレイの能力に影響を与える場合がある。豊富な表示空間を特徴とするディスプレイは、ビデオコンテンツに容易に対処することができる。それらのコンテンツに対処する能力を有するシステムは、現在の消費者の要求を比較的満たすことが出来る。しかしながら、多くの消費者は、限られた表示空間を特徴とする小型の装置を好む。こうした装置は、サイズが比較的小型であり、所有者があちこちへ移動する際に装置を携帯することが出来るといった、消費者にとって関心のある他の利点を有する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
装置によっては、装置に使用されるディスプレイの空間制限から、ユーザは装置に表示された動的ビデオコンテンツを閲覧出来ない場合がある。これらの制限により、モバイルコンピュータシステムを使用する消費者は、市販のビデオ作品から得られる情報を完全に活用することが出来ない。現在のところ、動的ビデオコンテンツを携帯機器等の装置に表示する優れた方法はない。
【課題を解決するための手段】
【０００４】
ビデオコンテンツを閲覧する方法及びシステムを開示する。一実施形態においてこの方法は、ビデオコンテンツにアクセスし、アクセスしたビデオコンテンツに対してコンテンツ分析を実施することを含む。アクセスしたビデオコンテンツに対して実施されるコンテンツ分析により、メタデータが生成される。次に、そのビデオコンテンツをシステムディスプレイに表示し、生成されたメタデータを利用して閲覧する。
【０００５】
本明細書に組み込まれ、本明細書の一部を形成する添付の図面は、本発明の種々の実施形態を示すものであり、説明と併わせて本発明の原理を分かり易く示す役割を持つ。
【発明を実施するための最良の形態】
【０００６】
ここで、本発明の実施形態を参照する。実施形態の例は添付の図面に示されている。本発明の説明はそれらの実施形態に関してなされるが、それらの実施形態は、本発明をそうした実施形態に限定するためのものではない。むしろ、本発明は、添付の特許請求の範囲に規定されるような発明の思想及び範囲に含まれる代替形態、変更形態、及び均等も含むことを意図している。また、下記の発明の詳細な説明では、本発明を十分に理解してもらうために、多数の具体的な詳細が説明される。しかしながら、本発明は、それらの具体的な詳細なしに実施することも出来る。その他、本発明の態様を不必要に不明確にしないように、既知の方法、手順、構成要素及び回路については詳細に説明していない。
【０００７】
本発明の実施形態によるビデオ閲覧システムの例
図１Ａは、本発明の一実施形態によるビデオ閲覧装置１００を示している。ビデオ閲覧装置１００（例えば、携帯情報端末（ＰＤＡ）、コンピュータ／モニタ、ノートブック）はビデオデータ処理機能を有し、ビデオデータ処理機能により、システムユーザは、ビデオコンテンツを閲覧することが出来る。一実施形態によれば、このビデオコンテンツは、ビデオ閲覧装置１００自体の内部ソース（例えば、メモリ、記憶コンポーネント等）から供給される。他の実施形態によれば、外部ソース（例えばサーバ等）を使用してビデオコンテンツが供給される。
【０００８】
コンテンツ分析を実施し、ビデオコンテンツを複数のシーケンスに分割する。各シーケンスから「キーフレーム」を選択し、必要に応じて表示する。各キーフレームは、対応するシーケンスの代表（見本）である。キーフレームは自動的に選択してもよいし、手動で選択してもよい。一実施形態では、ユーザがキーフレームを選択すると、それに応じて関連するビデオシーケンスが再生（表示）される。
【０００９】
ビデオコンテンツ分析は、ビデオフレームの統計的特徴を調べることによってビデオシーケンスの意味論的な意味を導出する技術である。一実施形態によれば、一般的な意味論的コンテクストには、ビデオショット境界（ショットの開始位置と終了位置を決める、例えばシーン変化）、キーフレーム（ビデオの１セグメント中の代表的なフレームを見付ける）、カメラ動き分類（ビデオの１セグメント中にカメラ動き、例えば、パニング、ズーミング、回転などがあるか否かを見付ける）、及び何らかの単純なビデオタイプ分類（例えば、動きの多いスポーツビデオであるか、シーンにあまり動きのない語り手の顔のビデオであるか）がある。
【００１０】
一実施形態によれば、画像処理技術とともにコンピュータビジョン技術を使用して、まず、ビデオフレームにおける色分布、エッジ分布、及び画素のオプティカルフローといった、低レベルの統計的特徴が抽出される。次に、特徴分類技術を使用して、さらに高レベルの意味論的情報が数値的に導出される。例えば、２枚の連続したフレーム間に色分布やエッジ分布の急激な変化があった場合、ショット境界が識別される。２つのショット境界の間には、低レベル特徴分布の変化が比較的少ないものと考えられる。従って、２つのショット境界の間にある１枚のフレームは、それら２つのショット境界の間にあるフレームの基礎シーケンスの代表的フレームとして選択することが出来る。この代表的フレームはキーフレームと呼ばれることがある。
【００１１】
コンテンツ分析によって生成される情報（例えば、オフセットパラメータ、キーフレーム等）は、ビデオコンテンツの閲覧を容易にするＸＭＬメタデータフォーマットに編成される（メタデータ生成器（図示せず）等によって）。例えば、一実施形態によれば、抽出されたキーフレーム、キーフレームによって表されるショットのオフセットパラメータ、及びコンテンツ分析によって生成され又は識別されるビデオコンテンツデータ等の情報は、ＸＭＬメタデータフォーマットに編成され、ビデオコンテンツに埋め込まれたり、ビデオコンテンツにマッピングされる場合がある。
【００１２】
表示されたビデオフレームは、もとのビデオコンテンツの要約表現（例えば、ビデオコンテンツを要約する）として機能し、表示後にそれらのビデオフレームを選択することで、表現されたビデオシーケンスを再生することが出来る。図１Ａは、キーフレームウィンドウ１０１、キーフレーム１０１ａ、システムディスプレイ１０３、ビデオ再生ウィンドウ１０５、及び制御ボタン１０７を示している。
【００１３】
キーフレームウィンドウ１０１には、上記のビデオコンテンツ分析又は手動選択方法によって識別されたキーフレーム１０１ａが表示される。上記のように、これらのフレームはそれぞれ、関連するビデオコンテンツ部分を表している。図１Ｂは、本発明の一実施形態による、ビデオコンテンツ部分とそれに関連するキーフレームとの関係を示す概略図である。図１Ｂは、ビデオコンテンツ１０９、第１のビデオフレーム・シーケンス１１１、第２のビデオフレーム・シーケンス１１３、第１のシーケンスを表すキーフレーム１１５、及び第２のビデオフレーム・シーケンスを表すキーフレーム１１７を示している。
【００１４】
一実施形態によれば、ビデオコンテンツ部分１０９は、複数のビデオフレーム・シーケンス（例えば、図１Ｂに示す１１３及び１１５等）を含む場合がある。これらのビデオフレーム・シーケンス（例えば１１３及び１１５）は、ビデオコンテンツ部分（例えば１０９）から選択された（上述したプロセスによる等）キーフレーム１０１ｅ（例えば１１５及び１１７）によって表され、ユーザに対して表示される場合がある。これらのキーフレーム１０１ｅは、ユーザにとって、関連するビデオコンテンツ部分（例えば１０９）の要約ビデオフレームとして機能する。
【００１５】
表示されたキーフレーム１０１ａのいずれかを選択することにより（例えば、所望のキーフレームにスタイラスを接触させることにより、又は所望のキーフレームの選択を容易にする何らかの他の方法により）、そのキーフレーム１０１ａによって表されたビデオフレーム・シーケンス（例えば「ショット」）の静止画フレーム表示や動画フレーム表示を開始することができる。所望のキーフレームが選択されると、ビデオコンテンツのうちの、選択されたキーフレームによって表されたもとのビデオフレーム・シーケンスが、システムディスプレイ１０３に表示（再生）される。
【００１６】
ビデオ再生ウィンドウ１０５は、選択されたビデオコンテンツを表示するディスプレイである。上記のように、表示されるビデオコンテンツは、静止画フレームと動画フレームのいずれの形で表示してもよい。表示されるビデオコンテンツは、システムディスプレイ１０３に表示された１以上のキーフレームの中から選択された１枚のキーフレーム１０１ａに対応する場合がある。一実施形態によれば、キーフレームウィンドウ１０１とビデオ再生ウィンドウ１０５は、一緒にビデオ閲覧システム１００の表示領域１０３に表示してもよいし、別々に表示してもよく、利用可能な限られた表示領域を最大限利用するように設計された複数の構成又はモードで表示することが出来る。
【００１７】
システムディスプレイ１０３は、キーフレームウィンドウ及びビデオ再生ウィンドウ（例えば１０１及び１０５）を表示する。これらのウィンドウは、種々の構成又はモードに編成することが出来る。これらの構成には、限定はしないが、キーフレームのみ、ビデオのみ、ビデオとキーフレーム、などのモードがある。これらのモードについては、図２Ａ〜２Ｅ、図３Ａ、図３Ｂ、図４Ａ、及び図４Ｂを参照して後で詳しく説明する。
【００１８】
制御ボタン１０７は、ビデオ閲覧システム１００の選択された機能を制御する。選択される機能は、本明細書で説明するビデオ閲覧システム１００の機能の一部又は全部を含む場合もあれば、含まない場合もある。
【００１９】
図２Ａ、図２Ｂ、図２Ｃ、図２Ｄ、及び図２Ｅは、本発明の一実施形態によるキーフレームのみモードを示すブロック図である。キーフレームのみモードでは、システムディスプレイ１０３にキーフレーム２０１ａ〜２０１ｄだけしか表示されない。各キーフレームが、ビデオフレーム即ち「ショット」の集まり（例えばビデオフレームシーケンス）を表している。システムユーザは表示されたキーフレームの中から興味のあるキーフレームを選択し、選択されたキーフレームによって表されたビデオフレーム（例えばショット）の集まりを含む、もとのビデオフレームシーケンスをシステムディスプレイ１０３に表示させることが出来る。
【００２０】
キーフレームのみの表示の間、システムディスプレイ１０３はほぼ全て、選択されたキーフレーム１０１ａの表示に使用される。一実施形態によれば、キーフレームのみモードには、複数のサブモードがある。サブモードには、限定はしないが、空間ズームイン及びズームアウト、コンテクストズームイン及びズームアウト、並びに自動スライディングなどがある。これらの方法については後で詳しく説明する。
【００２１】
図２Ａは、本発明の一実施形態による、システムディスプレイ１０３に表示されたキーフレームの空間ズーム斜視図を示すブロック図２００である。図２Ａは、システムディスプレイ１０３及びキーフレーム２０１ａ〜２０１ｄを示している。図２Ａに示す空間ズーム斜視図によれば、表示のために選択されたキーフレームは全て、システムディスプレイ１０３の中にぴったりと収まっている。他の空間ズーム斜視図では、キーフレーム２０１ａ〜２０１ｄの集まりが、システム表示ウィンドウ１０３の境界を越える場合もある。ユーザは表示画像の縮尺を変更することにより、画面に表示された画像を縮小又は拡大することが出来る。
【００２２】
図２Ｂは、図２Ａに示すキーフレーム表示の拡大空間ズーム斜視図を示すブロック図２１０である。図２Ａは、図２Ａに示したキーフレームの集まり（例えば２０１ａ〜２０１ｄ）の拡大斜視図がシステム表示ウィンドウ１０３の境界を越える状況を示す図である。一実施形態によれば、このような状況では、スタイラス式スクローラ２０１ｅを使用して、所望のキーフレーム（複数の場合もあり）２０１ａ〜２０１ｄをシステム表示ウィンドウ１０３から見える場所に位置決めする（後の図２Ｃを参照）ことにより、キーフレームの集まり（例えば２０１ａ〜２０１ｄ）を閲覧する。他の実施形態によれば、他の手段を使用して、拡大されたキーフレームの集まり（例えば２０１ａ〜２０１ｄ）を閲覧する場合もある。
【００２３】
図２Ｃは、所望のキーフレームがシステム表示ウィンドウ１０３に完全に表示されるようにキーフレームが再配置された（例えば、スタイラス２０１ｅを使用して画面に表示された画像をスクロールすること等により）、図２Ｂに示した空間ズーム斜視図を示すブロック図２２０である。このようにして、（例えばスクロールすることにより）キーフレームの集まりの中の任意のキーフレーム（例えば２０１ａ〜２０１ｄ）を容易に見ることができる。
【００２４】
図２Ｄは、ビデオ閲覧システム１００（例えば図１に示したような）を示すブロック図２３０であり、本発明の一実施形態によるコンテクストズームイン／アウトモード／機能を示している。コンテクストズームイン／アウトモード／機能によれば、キーフレーム（例えば１０１ａ）で表されたビデオシーケンス（例えばショット）を包むビデオフレーム１０１Ｊの集まりを選択し、システム表示ウィンドウ１０３に表示させることが可能である。選択時には、キーフレーム（例えば１０１ａ）が展開され、そのキーフレームによって表されたビデオフレームシーケンスの個々のビデオフレーム１０１Ｊが現れる。先の図１の説明において列挙した構造の他に、図２Ｄは、キーフレーム吹き出し１０１Ｉ、下位キーフレーム１０１Ｊ、及び下位キーフレームビュー１０１Ｋを示している。
【００２５】
キーフレーム吹き出し１０１Ｉは、下位レベルキーフレーム１０１Ｊからなる下位レベルの、即ち「展開された」キーフレーム表示（例えばコンテクストズームイン）を示している。一実施形態によれば、これらの選択された下位レベルの、即ち展開されたキーフレーム１０１Ｋは、コンテンツ分析によって導出されるメタデータに格納されたキーフレーム階層から決定することが出来る。ブラウザは、図２Ｄに示すキーフレーム１０１ａのそれぞれについて選択された空間解像度でコンテクストズームインを実施し、このような下位レベルキーフレーム表示を生成することができる。所与の空間解像度は、複数の下位レベルに関係する場合もある（例えば、レベル内のレベル）。一実施形態によれば、各下位レベルのキーフレームは、そのレベルより上のレベルにあるキーフレームに比べて、キーフレームによって表されたビデオコンテンツの細かい詳細を提供する。その理由は、下位レベルのキーフレームによって表されたビデオフレームシーケンスは、それよりも高いレベルのキーフレームによって表されたビデオフレームシーケンスに比べて、短い時間のビデオコンテンツに対応するからである。一実施形態によれば、コンテクストズームインモードでは、システムユーザは、より細かい下位レベルにアクセスすることにより、展開されたキーフレーム１０１Ｋからなる下位レベルの集まりのさらに詳細を見ることが出来る。ユーザが、展開されたキーフレーム１０１Ｋからなる下位レベルの集まりのうちの特定のキーフレームに関心がある場合、空間ズームイン（空間ズームインに関する上記説明を参照）が実施される場合がある。
【００２６】
図２Ｅは、本発明の一実施形態による下位レベルキーフレーム構造を示すブロック図２４０である。図２Ｅは、ビデオコンテンツ部分１０１ａ、及び選択されたキーフレームＡ、Ｂ、Ｃ、Ｄを示している。また、図２Ｅは、第１の下位レベル、第２の下位レベル、及び第３の下位レベルを示している。各サブレベルは、それよりも上位のレベルに比べて、そのサブレベルによって表されるもとのビデオコンテンツの細かい詳細を提供する。例えば、（キーフレームＡによって表された）ビデオコンテンツ部分１０１ａが３０分のビデオを含み、キーフレームＢ、Ｃ及びＤがそれぞれ、ビデオコンテンツ部分１０１ａの一部分、１０分間を表している場合、ユーザは、ビデオコンテンツ部分１０１ａに含まれる３０分間のビデオコンテンツ全体を表すキーフレームＡを選択してもよいし、キーフレームＢ、Ｃ又はＤを選択することにより、Ａ内の狭い時間に絞ってもよい。キーフレームＢ、Ｃ、及びＤはそれぞれ、キーフレームＡに比べて時間が短く、細かいビデオコンテンツを表している。
【００２７】
本発明の一実施形態によれば、自動キーフレームスライドショーが表示される。自動キーフレームスライドショーモードでは、キーフレーム（例えば１０１ａ）が、選択された空間／コンテクスト解像度のスライドショータイプの表示で自動的に表示される。ユーザは、それらを選択する際に、自動スライドショー表示の速度を増減させることができる。また、興味のあるキーフレームが表示されると、システムユーザは、そのキーフレーム（例えば１０１ａ）を選択することができ、そのキーフレーム（例えば１０１ａ）によって表されたビデオフレーム（例えばショット）の集まりを動画ビデオシーケンスとしてビデオ再生ウィンドウに表示させることができる。
【００２８】
図３Ａ及び図３Ｂは、本発明の一実施形態による「ビデオのみ」モードを示すブロック図である。「ビデオのみ」モードでは、表示領域（例えば１０３）全体が、ビデオ再生専用に使用される。一実施形態によれば、「ビデオのみ」モードには複数のサブモードがあり、それらが例示のシステムによってサポートされる場合がある。サブモードには、切取りビデオ部分拡大や、フル解像度ビデオ表示の部分表示などがある。
【００２９】
図３Ａは、本発明の一実施形態による切取り部分拡大モードを示すブロック図３００である。図３Ａは、固定サイズウィンドウ３０１及び拡大鏡３０３を示している。切取りビデオ部分拡大モードでは、ビデオコンテンツが固定サイズウィンドウ（例えば３０１）の中に再生される。また、ユーザにとって興味のあるビデオ部分（図３Ａの「Ｄ」を参照）（固定サイズのウィンドウ３０１に表示される）を拡大鏡（例えば３０３）を通して再生することができる。本発明の一実施形態によれば、ユーザは自分にとって興味のあるビデオの部分を選択し、それを拡大鏡を通して再生することができる。一実施形態によれば、この選択は例えば、スタイラスを使用して、表示されたビデオコンテンツのうちのユーザにとって興味のある部分の境界を画定することにより行われる。他の実施形態によれば、この境界の画定は、ユーザが分離・拡大したいと考える領域の指定が可能な任意の他の方法により行われる。
【００３０】
図３Ａに示すように、「ビデオのみ」モードでは、表示領域（例えば１０３）全体が、ビデオ再生専用に使用される。例えばの話、拡大したい領域Ｄの境界をユーザがスタイラスを使用して画定した場合、表示領域のうちの残りの部分Ａ、Ｂ及びＣは、図３Ａ右下に示すように相対位置まで縮小されるか、又は図３Ａ右下に示すように元のサイズを維持したまま、それらの上に拡大されたＤの部分がオーバラップされる（破線は、Ａ、Ｂ及びＣのオーバラップした境界を示す）。
【００３１】
固定サイズウィンドウ３０１の境界には、ある程度の歪みが存在する場合がある。興味のある部分（例えば、拡大鏡３０３を通して再生される拡大部分）を拡大領域にたとえ表示できる場合であっても、（例えば、固定サイズウィンドウ３０１内の）他のビデオ部分も見えるようにし、他のビデオ部分に記録されたものも同時に閲覧できるようにする場合がある。また、ユーザは、固定サイズウィンドウ３０１に表示されたビデオの任意の所望の部分（例えば、図３ＡにおけるＡ、Ｂ、Ｃ又はＤ等）を選択し、拡大する（例えば、拡大鏡を通して再生する）ことができる。
【００３２】
図３Ｂは、本発明の実施形態によるフル解像度ビデオ部分表示モードを示すブロック図３２０である。図３Ｂは、ユーザが興味を持つ領域３０５及びスタイラス３０７を示している。フル解像度ビデオ部分表示モードでは、ユーザが興味を持つ領域３０５は、システムディスプレイ１０３の再生ウィンドウ１０５にフル解像度で（又は、必要であれば更に高い解像度で）表示される。他の実施形態では、システムディスプレイ１０３全体を使用して、フル解像度ビデオが表示される。ただし、システム表示ウィンドウ１０３の再生ウィンドウ１０５（又はシステム表示ウィンドウ１０３）には空間制限があることから、ビデオの一部が、ユーザにとって見れない場合もある（図３Ｂを参照）。一実施形態によれば、スタイラス３０７を使用して、表示されるビデオをシステム表示ウィンドウ１０３に対して位置決めする。他の実施形態では、表示されるビデオをシステムディスプレイに対して位置決めする他の方法が使用される場合もある。
【００３３】
図４Ａ及び図４Ｂは、本発明の一実施形態による「ビデオ・キーフレーム」モードを示すブロック図である。「ビデオ・キーフレーム」モードでは、キーフレーム１０１ａとビデオが両方とも、システムディスプレイ１０３に表示される。このモードは、限定はしないが、キーフレーム優位モードやビデオ優位モードなどの複数のサブモードを特徴とする。
【００３４】
図４Ａは、本発明の一実施形態によるキーフレーム優位モードを示すブロック図４００である。キーフレーム優位モードでは、システムディスプレイ（例えば１０３）においてビデオが占める部分が、キーフレームが占める部分（例えば１０１ａ）に比べて小さい。一実施形態によれば、ユーザは、キーフレームを使用して、もとのビデオプログラムコンテンツを閲覧し続ける。このモードの極端な使用は、ビデオ再生ウィンドウ（及び表示されたビデオ）１０５が完全に削除されるまで縮小されるという特徴を有する。その場合でも、削除されたビデオに付随するオーディオトラックは聞くことができる。この動作モードが有用なのは、ユーザが、興味のある他のビデオ部分を探してキーフレーム（例えば１０１ａ）を閲覧しながら、削除されたビデオの音声トラックを検査したいと思う場合である。
【００３５】
図４Ｂは、本発明の一実施形態によるビデオ優位モードを示すブロック図４１０である。ビデオ優位モードでは、システムディスプレイ１０３においてキーフレーム（例えば１０１ａ）が占める部分が、ビデオ（再生ウィンドウ１０５に示す）が占める部分に比べて小さい。ただし、ディスプレイの一部がキーフレーム（例えば１０１ａ）の表示に専用のままであるため、ユーザは依然として、もとのプログラムコンテンツを容易に閲覧することができる。これらのキーフレームを本明細書で説明するように選択することにより、もとのビデオプログラムコンテンツを閲覧することができる。
【００３６】
例示的な実施形態によれば、ユーザは、特徴的な閲覧モードを次々と途切れなく切り替えることができる。例えば、ユーザは、「キーフレームのみ」の閲覧中に表示されたキーフレームのうちの１つ（例えば１０１ａ）に興味がある場合、その興味のあるキーフレーム（例えば１０１ａ）を選択し、選択されたキーフレーム（例えば１０１ａ）に基づくビデオのみ表示に切り替える。一実施形態によれば、ビデオのみ表示の間に、ユーザはビデオ・キーフレームモードに切り替え、ビデオフレームの動画シーケンスを再生ウィンドウ１０５に表示させながら同時に、個々のキーフレーム（例えば１０１ａ）をキーフレームウィンドウ（例えば１０１）に表示させることができる。
【００３７】
図５は、本発明の一実施形態による自動表示向き決定機能を示すブロック図である。図５は、垂直表示向き５０１及び水平表示向き５０１Ｂを示している。一実施形態によれば、閲覧システム（例えば１００）は、該システムの優勢な表示向きを自動的に選択する。表示領域（例えば１０３）のアスペクト比は、表示向き選択の際に使用される１つの要素である。例えば、一実施形態によれば、６４０×３２０の解像度を有する装置（例えば、ハンドヘルド等）では、キーフレーム（例えば１０１ａ）やビデオ再生ウィンドウ（例えば１０５）の表示向きとして、水平方向（例えば５０１Ｂ）を選択することができる。また、２４０×３２０の解像度を有する装置（ｉｐａｃ装置等）では、キーフレーム（例えば１０１ａ）やビデオ再生ウィンドウ（例えば１０５）の表示向きとして、垂直向き（例えば５０１Ａ）を選択することができる。一実施形態によれば、向きセンサを使用して自動表示向き決定が実施される。他の実施形態では、他の技術を使用する場合がある。
【００３８】
一実施形態によれば、例示的ブラウザは、スタイラス（例えば２０１ｅ、３０７）を使用して操作するように設計される。例えば、スタイラス（例えば２０１ｅ、３０７）を使用すれば、キーフレームを特定方向にスクロールさせることができ、単にスタイラス（例えば２０１ｅ、３０７）を所望のキーフレームウィンドウ（例えば１０１）上に置いたままスタイラスを所望の方向に移動させる（選択されたキーフレームに沿って）ことによってなされる。一実施形態によれば、ビデオクリップの再生速度は、表示画面上のビデオクリップに対応するキーフレームウィンドウ（例えば１０１）内部をスタイラス（例えば２０１ｅ、３０７）で触れる（例えばタッピングする等）ことにより制御される。その後、ビデオクリップの再生速度は、表示画面上のキーフレームウィンドウ（例えば１０１）の外部をスタイラス（例えば２０１ｅ、３０７）でタッピングすることにより遅くしてもよい。
【００３９】
一実施形態によれば、キーフレーム（例えば１０１ａ）を利用した閲覧は、ビデオフレームについて生成されたＸＭＬベースのメタデータによって可能になる（下記の図８及び図９の説明を参照）。サーバ（図示せず）を使用してリモートメモリからビデオコンテンツを提供する場合、ＸＭＬベースのメタデータは、そのサーバによって提供することができる。その場合、クライアント閲覧装置は、ストリーミングビデオを読み出して表示する場合がある。ローカルメモリからビデオコンテンツを得るような他の場合では、キーフレーム抽出を容易にするために、メタデータをローカルに生成して格納する場合がある。
【００４０】
一実施形態によれば、メタデータ生成器（図示せず）はまず、コンテンツベースの分析方法を使用して、キーフレーム（例えば１０１）抽出を実施することが出来る。次に、抽出されたキーフレーム（例えば１０１）を、抽出されたキーフレーム（例えば１０１）によって表されるショットのオフセットパラメータとともに、ＸＭＬデータ構造に編成する。次に、対応するＸＭＬメタデータをもとのビデオストリームに埋め込むことができる。これは例えば、ＭＰＥＧ（moving pictures expert group）ストリームのユーザデータフィールド（ユーザデータを伝送するために使用されるビデオ信号のチャネル）に情報を埋め込むことによって行われる。あるいは、キーフレーム（例えば１０１）をビデオシーケンスのイントラフレームとして選択することができる場合、ＸＭＬメタデータだけしか埋め込まない場合もある。次に、閲覧動作が実行されたときに、メタデータに提供されたオフセット情報を使用して、ビデオプログラムコンテンツからキーフレーム（例えば１０１）を抽出することができる。この方法は、キーフレーム抽出プロセスを実行するために記憶しておかなければならないデータ量を減らす効果があるため、ビデオプログラムコンテンツの記憶オーバヘッドを低減することができる。
【００４１】
図６は、本発明の一実施形態によるＸＭＬメタデータ６００の一例を示している。一実施形態によれば、各キーフレームのファイル名は、「ｓｒｃ＝」フィールドによって指定される。キーフレームによって表されるビデオショットの開始バイト及び終了バイトは、「ｂｅｇｉｎ＝」及び「ｅｎｄ＝」フィールドによってそれぞれ指定することができる。「ｋｆ＿ｃｌｕｓｔｅｒ」フィールドは、キーフレームのレベルを指定するものである。例えば、図４において、フィールドレベル＝「２」は、レベル１の第３のキーフレームを２つの下位レベルキーフレームによって表すことも可能であることを意味する。従って、メインレベルにある上記の第３のキーフレームに対してコンテクストズームイン動作を実行した場合、同様にビデオショットを表す２つのキーフレーム（例えば１０１ａ）をさらに表示する場合がある。
【００４２】
本発明の一実施形態によれば、ビデオコンテンツのコンテンツ分析により、ビデオシーケンス中に似たようなキーフレーム（例えば１０１ａ）の長い連続があることが分かった場合（例えば、一箇所に立ち、静止した背景の前で講義をしている人を示すビデオシーケンスの場合）は、一枚のキーフレーム（例えば１０１ａ）が、様々な時点でそのシーケンスを表すものとして繰返し使用される。一実施形態によれば、コンテンツ分析エンジンが音声からテキストを生成する能力を有している場合、それらのキーフレーム（例えば１０１ａ）の上にテキストを重ね合わせる場合がある。
【００４３】
これらの方法は、例えば１人の人物（例えば、グループに話しかけている幹部、又はトレーニングビデオ）を特徴とする長時間のビデオシーケンスに使用される場合がある。その場合、一枚のキーフレーム（例えば１０１ａ）しか抽出せずに、それを長時間のビデオシーケンスの様々なコンテンツ部分を表すものとして繰り返し使用したとしても、当然ながら、ビデオシーケンスのコンテンツは依然として識別することができる。その理由は、例示的な実施形態によれば、繰り返されるキーフレーム（例えば１０１ａ）の各々が、ビデオシーケンスの特徴となる人が話している様々な話題のうちの１以上を表す場合があるからである。コンテンツ分析エンジンは、オーディオ／音声キューからの長時間のビデオシーケンスの様々な部分のコンテンツを解明した後、キーフレームのＸＭＬメタデータに、対応するテキスト情報を埋め込むことができる。長時間のビデオシーケンスの様々なコンテンツ部分のそれぞれに同一のキーフレーム（例えば１０１ａ）を使用してもよいが、各キーフレーム（例えば１０１ａ）に使用されるテキストオーバーレイは、コンテンツ部分に応じて異なるものであってもよい。
【００４４】
図７は、本発明の一実施形態による、テキストデータが埋め込まれたＸＭＬメタデータ７００の一例を示している。キーフレームは、埋め込みメタデータ中の「ｔｅｘｔ＿ｃｕｅ＝」フィールドに指定された重ね合わせテキストとともに表示される。一実施形態によれば、ブラウザは、テキスト情報を対応するビデオセグメントへのリンクとともに表示する。リンクを選択すると、そのリンクに対応するビデオセグメントが再生される。一実施形態では、ユーザは、ビデオをオフにしてオーディオ再生を聞くことができる。
【００４５】
図８は、本発明の一実施形態による、メタデータが埋め込まれたビデオコンテンツ構造を示すデータ構造図８００である。ビデオコンテンツ構造は、ＸＭＬメタデータ８０１、キーフレーム８０３、及びビデオストリーム８０５を含む。前述のように、ＸＭＬメタデータ８０１によれば、ビデオストリーム８０５からキーフレーム８０３（例えば図１の１０１ａ）を抽出することが可能となり、そこから導出されるビデオプログラムコンテンツの閲覧が容易になる。あるいは、キーフレームを抽出せずに、上記のようにキーフレームをオン・ザ・フライで読み出すこともできる。また、メタデータをビデオコンテンツとは別に格納し、ビデオコンテンツにマッピングしてもよい。
【００４６】
一実施形態によれば、ＸＭＬメタデータ８０１は、図６及び図７に示した情報を含む場合がある。メタデータ８０１は、例えば、図６の＜ｉｍｇ  ｓｒｃ＝″ｋｆ−００００１３２．ｊｐｇ″ｂｅｇｉｎ＝″１３２″ｅｎｄ＝″２２７″／＞の行に示すような情報を含む場合がある。また、メタデータ８０１は、図６及び図７に示す他の行のうちのいずれかに記載されたような情報を含む場合がある。
【００４７】
一実施形態によれば、図８に示すビデオコンテンツ構造は、実施形態によってはキーフレーム８０３を含まない場合もある。キーフレームを含まない実施形態の場合、ビデオコンテンツに埋め込まれたメタデータ又はビデオコンテンツにマッピングされたメタデータを使用して、キーフレームをオン・ザ・フライで読み出すことができる。そして、読み出したキーフレームは、システムユーザによる閲覧のために、システムディスプレイ（例えば１０３）に表示される。この実施形態の利点は、キーフレームを含まないため、埋め込みデータのサイズを小さくできることである。
【００４８】
本発明の利点の１つは、空間制限のある装置に保存されたビデオ（又は実施形態によってはサーバが提供する）のビデオプログラムコンテンツを容易に閲覧できるようになることである。本発明の実施形態の適用には、能力制限によってビデオシーケンス全体を再生することができない装置（例えば、形態機器など）での使用も含まれる。例示した実施形態の閲覧メカニズムによれば、ユーザは、ビデオプログラムコンテンツ全体を見わたすのに要する時間よりも遥かに短い時間の閲覧で、ビデオプログラムコンテンツの概略検査を行うことができる。本発明の実施形態によれば、ユーザは、ビデオプログラムコンテンツの中から興味のある部分の位置を容易に特定することが出来るようになる。また、ユーザは、使用可能な複数の表示オプションを活用して、一部の装置（例えば、携帯機器）の限られた表示空間を最適に利用することができる。
【００４９】
本発明の実施形態による動作の例
図９及び図１０は、本発明の実施形態に従って実施されるステップのフロー図である。一実施形態において、フロー図は、コンピュータ読取可能且つコンピュータ実行可能命令の制御下でプロセッサ及び電気コンポーネントによって実行される本発明のプロセスを含む。コンピュータ読取可能且つコンピュータ実行可能命令は、例えば、コンピュータ使用可能揮発性メモリ及び／又はコンピュータ使用可能不揮発性メモリ等のデータ記憶機構に内在する。ただし、コンピュータ読取可能且つコンピュータ実行可能命令は、いかなるタイプのコンピュータ読取可能媒体に内在するものであってもよい。フロー図には特定のステップを開示しているが、これらのステップは例にすぎない。すなわち、本発明は、様々な他のステップや、図９及び図１０に記載したステップの変形を実施するのにも適している。この実施形態では、フローチャートのステップは、ソフトウェアで実施することもハードウェアで実施することもでき、あるいはソフトウェアとハードウェアの何らかの組合せによって実施することもできるものと考えられる。
【００５０】
図９は、本発明の一実施形態によるビデオコンテンツを閲覧するプロセスのフロー図９００である。ステップ９０１において、デジタルビデオコンテンツを受け取る。一実施形態によれば、このビデオコンテンツはローカルビデオソース（例えばローカル記憶装置）から受け取る。他の実施形態によれば、ビデオコンテンツは外部ビデオソースから（例えば、送信前にビデオコンテンツにメタデータを埋め込むサーバから等）受け取る場合もある。ステップ９０３において、受け取ったビデオコンテンツに対してコンテンツ分析を実施する。本明細書で説明するように、ビデオコンテンツに対してコンテンツ分析を実施することで、キーフレーム抽出を容易にするメタデータを作成することができる。
【００５１】
ステップ９０５において、メタデータを作成する。一実施形態によれば、ビデオフレームに対して生成されたＸＭＬベースのメタデータにより、キーフレームを利用した閲覧が可能になる。一実施形態によれば、メタデータ生成器はまず、コンテンツベースの分析方法を使用して、キーフレーム抽出を実施する。抽出されたキーフレームは、抽出されたキーフレームによって表されるショットのオフセットパラメータとともに、ＸＭＬデータ構造に編成される。
【００５２】
ステップ９０７において、作成されたメタデータを埋め込む（例えば、ＭＰＥＧストリームのユーザデータフィールドに情報を埋め込む等により）。あるいは、キーフレームがビデオシーケンス中のイントラフレームとして選択された場合、ＸＭＬメタデータのみを埋め込む場合もある。次に、閲覧動作が実行されると、メタデータに提供されたオフセット情報を使用して、ビデオプログラムコンテンツからキーフレームを抽出する。この手法により、ビデオプログラムコンテンツの記憶オーバヘッドを低減することができる。ステップ９０９において、システムユーザが行った選択に従ってビデオを表示し、閲覧する。
【００５３】
図１０は、本発明の一実施形態による、メタデータを作成し、ビデオコンテンツストリームに埋め込むプロセスを示すフロー図１０００である。ステップ１００１において、閲覧するビデオコンテンツに対し、キーフレーム抽出を実施する。ステップ１００３において、抽出されたキーフレーム及び該キーフレームによって表されたショットのオフセットパラメータをＸＭＬデータ構造に編成し、メタデータを生成する。
【００５４】
ステップ１００５において、生成したメタデータを、ビデオコンテンツが抽出される信号のユーザデータチャネル（例えば、ユーザデータを伝送するために採用されるビデオ信号のチャネル）に埋め込む。次に、メタデータを使用してシステムディスプレイにおけるビデオコンテンツの編成を容易にし、キーフレーム及び／又はビデオ再生ウィンドウを利用する複数の閲覧モードのうちの１つを使用して閲覧する。
【００５５】
例示的実施形態を参照して上で説明したように、本発明は、ビデオコンテンツを閲覧する方法を提供する。本方法は、ビデオコンテンツにアクセスし、アクセスしたビデオコンテンツに対してコンテンツ分析を実施することを含む。アクセスしたビデオコンテンツに対して実施されたコンテンツ分析により、メタデータが生成される。次に、ビデオコンテンツをシステムディスプレイに表示し、生成されたメタデータを利用して閲覧する。
【００５６】
本発明の特定の実施形態に関する上記の説明は、図示説明の目的で提供している。それらの説明には、実施形態を網羅する意図もなければ、発明を開示した実施形態に厳密に制限する意図もない。上記教示に鑑みて、多くの変更及び変形が可能であることは明らかである。それらの実施形態は、発明の原理とその応用形態を分かり易く示すようなものを選択して記載してある。そのため当業者は、意図する用途にあわせて、本発明及び種々の実施形態に変更を加えて最大限利用することができる。本発明の範囲は、本明細書に添付された特許請求の範囲及びそれらの均等によって定義される。
【図面の簡単な説明】
【００５７】
【図１Ａ】本発明の一実施形態によるビデオ閲覧システムを示す図である。
【図１Ｂ】本発明の一実施形態によるビデオコンテンツ部分と関連するキーフレームとの関係を示す概略図である。
【図２Ａ】本発明の一実施形態によりシステムディスプレイに表示されたキーフレームの空間ズーム斜視図のブロック図である。
【図２Ｂ】本発明の一実施形態による図２Ａに示すキーフレーム表示の拡大空間ズーム斜視図のブロック図である。
【図２Ｃ】本発明の一実施形態による、システム表示ウィンドウに所望のキーフレームを完全に表示することができるように再配置された、図２Ｂに示す空間ズーム斜視図のブロック図である。
【図２Ｄ】本発明の一実施形態によるコンテクストズームイン／アウトモード／機能を示すビデオ閲覧システムのブロック図である。
【図２Ｅ】本発明の一実施形態によるサブレベルキーフレーム構造を示すブロック図である。
【図３Ａ】本発明の一実施形態による「ビデオのみ」モードを示すブロック図である。
【図３Ｂ】本発明の一実施形態による「ビデオのみ」モードを示すブロック図である。
【図４Ａ】本発明の一実施形態による「ビデオ及び『キーフレーム』」モードを例示するブロック図である。
【図４Ｂ】本発明の一実施形態による「ビデオ及び『キーフレーム』」モードを示すブロック図である。
【図５】本発明の一実施形態による自動表示向き決定機能を示すブロック図である。
【図６】本発明の一実施形態による拡張マークアップ言語（ＸＭＬ）メタデータの一例を示す図である。
【図７】本発明の一実施形態による埋込みテキストデータを含むＸＭＬメタデータの一例を示す図である。
【図８】本発明の一実施形態によるビデオコンテンツ構造を示すデータ構造図である。
【図９】本発明の一実施形態によるビデオコンテンツを閲覧するプロセスのフロー図である。
【図１０】本発明の一実施形態によるメタデータを作成しビデオコンテンツストリームに埋め込むプロセスのフロー図である。
2006525755.tif 000003
2006525755.tif 000004
2006525755.tif 000005
2006525755.tif 000006
【図２Ｅ】
2006525755.tif 000007
2006525755.tif 000008
2006525755.tif 000009
2006525755.tif 000010
2006525755.tif 000011
【図５】
2006525755.tif 000012
【図６】
2006525755.tif 000013
【図７】
2006525755.tif 000014
【図８】
2006525755.tif 000015
【図９】
2006525755.tif 000016
【図１０】
2006525755.tif 000017
【国際調査報告】
2006525755.tif 000018
2006525755.tif 000019
2006525755.tif 000020