(57)【特許請求の範囲】
【請求項１】
データフローの送信を受信する主接続を開くステップと、
前記データフローからのデータを含む少なくとも１つのルック-ｘデータストリームの送信のための第２の接続を開くステップと、
前記ルック-ｘデータストリームの少なくとも１つのポイントを前記データフローの少なくとも１つの対応するポイントにインデックス付けするステップと、
前記ルック-ｘデータストリームのインデックス付ポイントに基づいて前記データフローのプレイバック位置の制御を行うステップと、
所定数のインデックス付ルック-ｘポイントを選択するステップと、
プレイバック制御機構に対する参照を与えるように所定数のインデックス付ポイントを表示するステップと、
更新基準に基づいて選択された所定数のインデックス付ルック-ｘポイントを更新するステップと、
を含むビデオデータを提供する方法であって、
前記選択するステップは、前記ルック-ｘポイントの各々が前記データフローの第１の再生位置の所定距離内にあるように所定数のルック-ｘポイントを選択するステップを含み、
前記データフローがビデオであり、かつルック-ｘポイントが、前記主接続および前記第２の接続の一方から検索される該データフローのフレームであり、
前記第２の接続が、前記主接続に対して低解像接続であり、
前記データフローおよびルック-ｘポイントを一のディスプレイに表示する、
ビデオデータを提供する方法。
【請求項２】
インデックス付ルック-ｘポイントに対応するタイムラインを表示するステップをさらに含み、該タイムラインが、該タイムライン上の位置を参照とするように表示される該インデックス付ルック-ｘポイントの少なくとも１つを有する請求項１に記載の方法。
【請求項３】
前記制御を行うステップが、前記データフローの再生位置を該データフローの現在の再生位置に対するルック-ｘデータポイントの次および前のそれぞれのルック-ｘデータポイントに対応する位置に進めるように構成されたスキップフォワードおよびスキップバックボタンの少なくとも一方を表示するステップを含む請求項１に記載の方法。
【請求項４】
前記インデックス付ポイントの表示があるタイムラインを表示するステップと、
前記インデックス付ポイントの少なくとも１つを選択するステップと、
前記データフローを選択された前記インデックス付ポイントで始まるポイントに表示するステップと、
をさらに含む請求項１に記載の方法。
【請求項５】
前記更新基準が、前記選択するステップにおいて、第１の再生位置からの所定量のプレイバック位置の変化を含む請求項１に記載の方法。
【請求項６】
ビデオプレイヤーであって、
データフローの送信を受信する主データストリームと、
前記データフローの送信を受信するルック-ｘデータストリーム接続と、
前記ルック-ｘデータストリームの少なくとも１つのポイントを前記データフローの対応する少なくとも１つのポイントにインデックス付するコントローラと、
を有する該ビデオプレイヤーと、
インデックス付ルック-ｘポイントの少なくとも１つを表示するディスプレイと、
を備えるクライアント側のビデオインデックス付けのためのデバイスであって、
該デバイスは、
（ａ）所定数のインデックス付ルック-ｘポイントを選択し、
（ｂ）プレイバック制御機構に対する参照を与えるように所定数のインデックス付ポイントを表示し、
（ｃ）更新基準に基づいて選択された所定数のインデックス付ルック-ｘポイントを更新し、
前記（ａ）は、前記ルック-ｘポイントの各々が前記データフローの第１の再生位置の所定距離内にあるように所定数のルック-ｘポイントを選択することを含み、
ルック-ｘデータストリーム接続が、主データストリーム接続に対して低解像データストリームであり、
前記データフローおよびルック-ｘポイントを一のディスプレイに表示する、
デバイス。
【請求項７】
前記ビデオプレイヤーが、各々がデータストリームの再生位置を該データストリームの現在の再生位置に対するルック-ｘポイントの次および前のそれぞれのルック-ｘポイントに進めるスキップフォワードボタンおよびスキップバックボタンをさらに含む請求項６に記載のデバイス。
【請求項８】
前記ディスプレイが、前記データフローを参照されたタイムラインおよび前記インデックス付ルック-ｘポイントの少なくとも１つをさらに表示し、該インデックス付ルック-ｘポイントの各々が該タイムライン上の位置を参照とするように表示される請求項６に記載のデバイス。
【請求項９】
前記ビデオプレイヤーが、選択されるインデックス付ポイントで開始するように前記データフローの表示を可能にする、該インデックス付ポイントの少なくとも１つを選択する機能をユーザに与える選択ボタンをさらに含む請求項６に記載のデバイス。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオあるいは他のデータストリームの位置にアクセスし、探すことに関するものである。本発明は、より詳細には基準マーカとして役立つデータストリームの一部に対するデータストリーム内の位置を参照とすることに関するものである。さらに、本発明は、完全なあるいはより高解像であるデータストリームの参照位置に対して基準マーカを低解像データストリームから形成することに関するものである。より詳細には、本発明は、ビデオナビゲーションおよびビデオデータストリームの参照位置に対してタイムラインマーカを形成することに関するものである。
【０００２】
【従来の技術および発明が解決しようとする課題】
最新のビデオプレイバックデバイスは、視聴するビデオのポイントを位置決めし、ファスト・フォワード、ファスト・リワインド等のいずれかを含む機能を含む。図１は、ビデオディスプレイエリア１０２を含む従来のビデオプレイバックデバイス１００を示している。タイムライン１０５は、表示されるビデオの現在の位置を示し、プレイ１１５、ファスト・リワインド１２０、ファスト・フォワード１２５、ステップバック１３０、ステップフォワード１３５等を含む標準ＶＣＲ制御装置が提供される。標準ＶＣＲ制御装置のいずれかは、現在のビデオプレイバックポイントを位置決めするために使用されてもよいし、あるいはユーザは、ビデオの位置を探すためにタイムライン上のプレイバックポイントボタンをドラッグしてもよい。しかしながら、ビデオ内の特定の位置を探す際には困難が生じる。
【０００３】
いくつかのシステムは、ビデオフローに加えて、ビデオの特定のポイントから抽出される様々なスナップショットを提供することによってビデオの位置を探す問題を解決する。これらのスナップショットは、スナップショットが抽出されるビデオ位置に基準マーカを提供するために使用される。
【０００４】
図２は、プレイバックされるビデオの位置を参照とするスナップショットを有する従来のビデオプレイバック機構を示している。ユーザが先へジャンプしたい場合、スナップショットは、ユーザがビデオの位置を選択できる参照のフレームを提供する。ユーザが関心を有する特定の場面を、スナップショットが示している場合、ユーザは、単にタイムライン上のプレイバックポイントスライド制御ノブをこのスナップショットに関連する位置まで移動させる。ユーザが関心を有する場面が示されない場合、ユーザは単に関連場面を使用し、所望の場面の検索を開始する位置を判断してもよい。
【０００５】
ビデオクリップ、映画、およびテレビ番組は、現在ウェブを含むネットワークデバイスを介してますます利用される。しばしば、このようなメディアはストリームフォーマットで利用される。ビデオが送信され始めると、ユーザが全ビデオを受信する前に、ストリームフォーマットは受信ビデオストリームを再生し始める。
【０００６】
一般に、ストリームプレイバックデバイスは、一般的なビデオプレイバックデバイスにあるのと同じ標準ＶＣＲ制御装置を含む。しかしながら、今日提供されるたいていのビデオは、ユーザが視聴するためのビデオの一部を容易に識別し、選択できるインデックススナップショットを含まない。
【０００７】
【課題を解決するための手段】
本発明者は、たとえインデックススナップショットが元のデータストリームに提供されないとしても、プレイバックデバイスが再生されるデータストリーム内の位置を参照とする「スナップショット」を提供することによってよりユーザフレンドリーにすることができることを実現した。本発明者は、ウェブを基にした用途がインデックススナップショットをユーザによって再生されるデータストリームに提供することによって帯域幅消費を減らすことができることも実現した。おおまかに示すと、本発明は、データストリームをユーザに提供するデバイスに低解像接続を行う。低解像接続は、スナップショットを取得し、提供されるデータストリームの中へのインデックスを決定するために使用されるルックアヘッドデータを提供する。データストリームの特定の一部の参照として取得されたスナップショットを含み、ユーザがデータストリームの一部を容易に選択できることを可能にするデータストリームのタイムラインが提供される。本発明は、特にウェブを介して使用されるビデオストリームデバイスに関する。しかしながら、本発明は、ビデオ、オーディオ、科学的あるいは他の種類のデータのいずれかのための任意の種類のプレイバックデバイスを使用して実施されてもよい。
【０００８】
本発明の第一の態様は、データフローの送信を受信する主接続を開くステップと、前記データフローからのデータを含む少なくとも１つのルック-ｘデータストリームの送信のための第２の接続を開くステップと、ルック-ｘデータストリームの少なくとも１つのポイントを前記データフローの少なくとも１つの対応するポイントにインデックス付けするステップと、インデックス付ルック-ｘポイントに基づいて前記データフローのプレイバック位置の制御を行うステップと、を含むビデオデータを提供する方法である。本発明は、ビデオデータストリームに適用されるのが最もよく、ルック-ｘポイントがビデオデータストリームのフレームであり、ビデオストリームにおける位置をインデックス付ルック-ｘポイントに相関付けする制御機構を含んでいる。
【０００９】
ビデオを逐次見る代わりに、多数のユーザは、実際関心を有するエリアを探すまで、興味がある１つのポイントから次のポイントまでジャンプすることを好む。本発明は、ビデオを迅速にナビゲートする際にユーザをサポートする方法を提供する。一実施形態では、ユーザが簡単なマウスクリックでジャンプできる少数のインデックス付ポイントが決定される。通常のスキップフォワード／バックワードボタンとは異なり、本発明は、ユーザがジャンプする必要なしに迅速な初期の判断を行うことができるように、ジャンプできるポイントの画像を提供する。所定数（例えば、２つあるいは４つ）の画像は、現在のプレイバック位置の近傍のインデックス付ポイントを示している。ビデオがプレイバックされている間、現在（プレイバックされている）位置の前後のインデックス付きポイントが描かれ、アクセス可能となるように、画像は変更される。
【００１０】
本発明の第２の態様は、第１の態様の方法であって、インデックス付ルック-ｘポイントに対応するタイムラインを表示するステップをさらに含み、該タイムラインが、該タイムライン上の位置を参照とするように表示される該インデックス付ルック-ｘポイントの少なくとも１つを有する。
【００１１】
本発明の第３の態様は、第１の態様の方法であって、前記制御を行うステップが、前記データフローの再生位置を該データフローの現在の再生位置に対するルック-ｘデータポイントの次および前のそれぞれのルック-ｘデータポイントに対応する位置に進めるように構成されたスキップフォワードおよびスキップバックボタンの少なくとも一方を表示するステップを含む。
【００１２】
本発明の第４の態様は、第１の態様の方法であって、前記インデックス付ポイントの表示があるタイムラインを表示するステップと、前記インデックス付ポイントの少なくとも１つを選択するステップと、前記データフローを選択された前記インデックス付ポイントで始まるポイントに表示するステップと、をさらに含む。
【００１３】
本発明の第５の態様は、第１の態様の方法であって、前記データフローがビデオであり、かつルック-ｘポイントが、前記主接続および前記第２の接続の一方から検索される該データフローのフレームである。
【００１４】
本発明の第６の態様は、第１の態様の方法であって、前記第２の接続が、前記主接続に対して低解像接続である。
【００１５】
本発明の第７の態様は、第１の態様の方法であって、所定数のインデックス付ルック-ｘポイントを選択するステップと、プレイバック制御機構に対する参照を与えるように所定数のインデックス付ポイントを表示するステップと、更新基準に基づいて選択された所定数のインデックス付ルック-ｘポイントを更新するステップと、をさらに含む。
【００１６】
本発明の第８の態様は、第７の態様の方法であって、前記選択するステップは、前記ルック-ｘポイントの各々が前記データフローの第１の再生位置の所定距離内にあるように所定数のルック-ｘポイントを選択するステップを含む。
【００１７】
本発明の第９の態様は、第７の態様の方法であって、前記更新基準が、前記選択するステップにおいて、第１の再生位置からの所定量のプレイバック位置の変化を含む。
【００１８】
本発明の第１０の態様は、ビデオプレイヤーであって、データフローの送信を受信する主データストリームと、前記データフローの送信を受信するルック-ｘデータストリーム接続と、前記ルック-ｘデータストリームの少なくとも１つのポイントを前記データフローの対応する少なくとも１つのポイントにインデックス付するコントローラと、を有する該ビデオプレイヤーと、インデックス付ルック-ｘポイントの少なくとも１つを表示するディスプレイと、を備えるクライアント側のビデオインデックス付けのためのデバイスである。
【００１９】
本発明の第１１の態様は、第１０の態様のデバイスであって、前記ビデオプレイヤーが、各々がデータストリームの再生位置を該データストリームの現在の再生位置に対するルック-ｘポイントの次および前のそれぞれのルック-ｘポイントに進めるスキップフォワードボタンおよびスキップバックボタンをさらに含む。
【００２０】
本発明の第１２の態様は、第１０の態様のデバイスであって、前記ディスプレイが、前記データフローを参照されたタイムラインおよび前記インデックス付ルック-ｘポイントの少なくとも１つをさらに表示し、該インデックス付ルック-ｘポイントの各々が該タイムライン上の位置を参照とするように表示される。
【００２１】
本発明の第１３の態様は、第１０の態様のデバイスであって、前記ビデオプレイヤーが、選択されるインデックス付ポイントで開始するように前記データフローの表示を可能にする、該インデックス付ポイントの少なくとも１つを選択する機能をユーザに与える選択ボタンをさらに含む。
【００２２】
本発明の第１４の態様は、第１０の態様のデバイスであって、ルック-ｘデータストリーム接続が、主データストリーム接続に対して低解像データストリームである。
【００２３】
【発明の実施の形態】
本発明は、本発明の特定の実施形態に関して説明され、参照が図面に対して行われる。
【００２４】
ストリームビデオ用途では、ビデオはしばしばサーバ側でインデックス付けされ、その関連画像とともにインデックス付ポイントはクライアントに利用される。しかしながら、インターネット上で利用できるビデオコンテンツの大部分には、サーバ側のインデックスが全く存在しない。本発明はクライアント側のインデックスを迅速に形成する。このようなインデックスを形成するために、クライアントは、ビデオをプレイバックするために使用される主接続に加えて１つあるいはそれ以上のストリームビデオ接続を開く。ストリームビデオが異なる大域幅で符号化されている場合、（付加接続では）低フレーム・レートおよび小さい画像サイズのみが要求されるので、追加の一つもしくはそれ以上の付加接続にはストリームビデオの低品質バージョン（例えば、減縮されたフレーム・サイズ、減縮された解像、減縮されたカラー、グレー・スケール、ブラック・アンド・ホワイト、および、減縮されたフレーム・レート等）を使用することができる。付加接続は、将来のインデックス付ポイントを決定できるように、主プレイバックストリームの現在のプレイバック位置から十分遠く前方にある位置からビデオを受信する。過去のインデックス付ポイントは、主ビデオストリームから決定できるか、あるいは付加接続は現在のプレイバック位置より前の位置からビデオを検索
するために開かれてもよい。
【００２５】
インデックス付ポイントを決定するために、様々な方式をとることができる。例えば、Ｂｏｒｅｃｚｋｙ  Ｊ．およびＷｉｌｃｏｘ  Ｌ．著、Ｐｒｏｃ．ＩＣＡＳＳＰ  '９８（ＩＥＥＥ、１９９８年５月、シアトル）に掲載の「オーディオおよび画像の特徴を使用するビデオセグメンテーションための隠れマルコフモデルフレームワーク(A Hidden Markov Model Framework for Video Segmentation Using Audio and Image Features)」、Ｂｏｒｅｃｚｋｙ  Ｊ．およびＲｏｗｅ  Ｌ．著、Ｐｒｏｃ．ＳＰＩＥ  Ｓｔｏｒａｇｅ  ａｎｄ  Ｒｅｔｒｉｅｖａｌ  ｆｏｒ  Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏ  Ｄａｔａｂａｓｅｓ  ＩＶ，（サンノゼ，ＣＡ，１９９６年）に掲載の「ビデオショット境界技術の比較（Comparison of Video Shot Boundary Techniques）」およびＺｈａｎｇ  Ｈ．Ｊ．，Ｌｏｗ  Ｃ．Ｙ．，Ｓｍｏｌｉａｒ  Ｓ．，Ｗｕ  Ｊ．Ｈ．著、Ｐｒｏｃ．Ｍｕｌｔｉｍｅｄｉａ  '９５、ＡＣＭ  Ｐｒｅｓｓ、ｐｐ．１５〜２４に掲載の「ビデオパーシング、検索およびブラウジング：統合およびコンテンツベースソリューション（Video Parsing, Retrieval, and Browsing: An Integrated and Content-based Solution）」。これらの各々は、そのまま参照してここに組み込まれる。上記の各々は、インデックス付ポイントを決定するために様々なツールを提供する。インデックス付ポイントを決定するための上記の方法あるいは他の方法のいずれかが適用されてもよい。しかしながら、このような方式は、ユーザによって望まれるよりも多数のインデックス付ポイントを提供するかもしれない。Ｇｉｒｇｅｎｓｏｈｎ  Ａ．およびＢｏｒｅｃｚｋｙ  Ｊ．著、「時間抑制キーフレーム選択技術（Time-Constrained Keyframe Selection Technique）」。ＩＥＥＥ  Ｍｕｌｔｉｍｅｄｉａ  Ｓｙｓｔｅｍｓ  '９９における、ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ，ｖｏｌ．１，ｐｐ．７５６〜７６１、１９９９年およびＵｃｈｉｈａｓｈｉ  Ｓ．およびＦｏｏｔｅ  Ｊ．著、Ｐｒｏｃ．ＩＣＡＳＳＰ  '９９、ｖｏｌ．６、ｐｐ．３０４１〜３０４４、１９９９年に掲載の「ショット重要性測定およびフレームパッキングアルゴリズムを使用するビデオの要約（Summarizing Video Using a Shot Importance Measure and a Frame-Packing Algorithm）」は、インデックス付ポイントとして使用できるキーフレームを決定する異なる方法を提案した。さらに、Ｃｈｉｕ  Ｐ．，Ｇｉｒｇｅｎｓｏｈｎ  Ａ．，Ｐｏｌａｋ  ｗ．，Ｒｉｅｆｆｅｌ  Ｅ．，ＷｉｌｃｏｘＬ．著、「画像ドキュメントストリーム要約およびビデオキーフレーム選択のための遺伝的アルゴリズム(A Genetic Algorithm for Summarizing Image Document Streams and Video Keyframe Selection)」に記載された方式、ＦＸＰＡＬ−ＩＰ−９９−０１０は、ストリームビデオからインデックス付ポイントを決定できるために、ここでは特に適している。
【００２６】
前方および後方ナビゲーション機能を行うために、現在のプレイバック位置の周辺のビデオセグメントは既知でなければならない。現在の位置の前のセグメントは、以前に示されたポイントまでジャンプして戻ることが容易であるようにプレイバック中に決定される。厳密に単純なビデオストリームの場合およびビデオファイルにアクセスする手段が全くない場合、現在のプレイバック位置の後のセグメントを決定することができない。サーバへの第２のストリーム接続は、現在のプレイバック位置よりもビデオの後のポイントを指す。前述されたように、第２接続は表示されるためのビデオインデックス付けおよびキーフレーム抽出の両方に使用される。第２のストリーム接続は、サーバが異なる品質のストリームを提供する場合、より低い品質ものであってもよい。例えば、より低いフレーム速度およびより低い画像の解像度を有するストリームは、ビデオインデックス付けおよびキーフレーム抽出に十分である。
【００２７】
図３は、本発明によるデバイスの一実施形態のブロック図およびデータフローチャートである。ユーザ入力３２５はデバイス３２０に入力される。ユーザ入力は、ビデオストリームあるいは他のデータを再生するアプリケーションを呼び出すため、およびビデオストリームのプレイバック位置を制御するために必要とされるコマンド、およびデバイス３２０で実行するアプリケーションによって必要とされる任意の他の入力を含む。サーバデバイス３００は、「特定のビデオを開始する」、「ジャンプフォワード」、「スキップバック」「高速早送り」等のようなコマンドのためのデバイス３２０のアプリケーションからコマンド３０５を受信する。サーバデバイス３００は、デバイス３２０に対して要求されたビデオ３１５をストリームし始める。
【００２８】
ビデオストリーム３１５の現在のプレイバック位置の後のポイントでビデオインデックス付けを実行するために、デバイス３２０は、ビデオストリーム３１５のルックアヘッドデータの送信のために第２の接続３１０を開く。デバイス３２０は、要約されるルックアヘッドデータ３１５を受信し、キーフレームは、本発明による表示を行い、ビデオストリーム３１５の現在のプレイバック位置の前後のポイントにインデックスビデオを有するためにデバイス３２０によって選択され、利用される。プレイバックされるビデオを含むユーザインタフェースは、ディスプレイデバイス３３０上に表示される。
【００２９】
前述のように、ルックアヘッド接続３１０は、複数のルックアヘッドポイントおよび／または１つあるいはそれ以上のルックビハインドポイントを示す単一接続あるいは複数接続であってもよい。それとは別に、特にビデオストリーム３１５がビデオの始めで開始され、現在のプレイバック位置の前の全てのデータがデバイス３２０に既に表示されるように、ビデオがユーザによって前方にジャンプされなければ、ルックビハインドポイントは必要とされない。次に、前のデータは、もしあれば、ルックビハインドポイントを表示するために要約され、インデックス付けされ、利用される。
【００３０】
図４は、コマンド３２５によって呼び出され、デバイス３２０で実行するビデオアプリケーションによってディスプレイデバイス３３０に表示されたビデオのような、ビデオのプレイバック中の本発明の実施形態のスクリーンショットである。ビデオ４００は、ビデオアプリケーションによって再生されるビデオデータストリームの現在のプレイバック位置を表示する。ビデオ制御装置４１０（休止／プレイボタン）およびスライドバー４１５は、現在のプレイバック位置のユーザ制御およびユーザ移動を可能にする。他の実施形態は、ステップおよび／またはスキップバックおよびフォワードの機能、高速早送り、高速巻き戻し、開始に進む、終了に進む、次のインデックス付ポイントへジャンプする、最後のインデックス付ポイントへジャンプする、およびビデオプレイバックデバイスに関連されてもよい任意の他の種類の制御を含んでいる。スライドバー４１５は、ビデオにおける他のポイントと一致しているビデオの近似位置を示すタイミングマークを有するタイムライン（例えば、０：００．．３３：３０）とともに表示される。代替的に、タイムラインで表示される全ビデオセグメントの代わりに、ビデオの任意の選択部はタイムラインで表示されてもよい。
【００３１】
黒くされた部分４２０は、ビデオの現在のプレイバック位置に非常に接近してビデオ内のフレームあるいは位置のセットを示す。黒くされた部分４２０は、現在のビデオプレイバック位置を示すより正確なポイント４２５のインジケータを含む。本例では、黒くされた部分に対応するプレイバックビデオの位置／フレームは、約１４：５６から１８：２２までの時間を示す。ビデオのこの部分は、要約され、キーフレームは選択されている（ここでのキーフレームは、ビデオの位置を参照するためにスナップ画像として利用するフレームを決定するための任意の方法を使用する選択フレームと呼ばれる）。要約されたビデオの選択および選択されたキーフレームは、ビデオあるいは１つあるいはそれ以上のルックアヘッド／ルックビハインドチャネルを介して受信されたビデオデータの受信された全ビデオチャネルのいずれかから生じた。ルックアヘッド／ルックビハインドチャネルは参照だけのためのスナップ画像を発生するために使用されるので、このようなチャネルは、ビデオが再生されている間、参照するのに必要とされるスナップ画像を迅速に発生するためにこのデータ高速転送を可能にする減少されたフレーム速度、解像あるいは他の品質を有する低帯域幅チャネルであることが好ましい。しかしながら、十分な帯域幅が可能である場合、ルックアヘッド／バックデータを検索するために、全解像接続が使用されてもよい。
【００３２】
スナップ画像１４４０、１４４５、１４５０、および１４６０は、プレイバックされるビデオのそれぞれのタイムフレームで画像を示し、本発明の一実施形態によれば、スライドバー４１５の位置によって示されるように現在のプレイバック位置４２５に非常に接近しているフレームとだけ関連している。しかしながら、本発明の他の実施形態は、プレイバックされるビデオのより広範囲の位置からプレイバックされるビデオのキーフレームあるいは他の関連フレームあるいは部分を選択できる。（例えば、一実施形態では、キーフレームは全ビデオクリップから選択されてもよい。）しかしながら、本発明者は、（例えば、現在精査中であるビデオのポイントにあまり関連しないプレイバックされているビデオの位置を示すために限られた空間を費やす代わりに、プレイバックされるビデオの現在の位置の周辺により詳細を与えることによって、）現在のプレイバック位置に非常に接近しているものからの選択フレームがビデオクリップをナビゲートするユーザのために意味があり、役に立つ情報を提供することを発見した。
【００３３】
一実施形態では、参照スナップは、ビデオのプレイバックの一般速度とペースを合わせる所定の間隔で更新される。例えば、更新が（略）２０秒毎の間隔で生じる場合、現在のプレイバック位置に非常に接近している全ビデオデータは要約され、キーフレームは、選択され、新しいスナップは（略）この時間内にビデオプレイヤー上に再表示される。他の実施形態では、スナップの各々は、スナップ１４４０〜１４６０のいずれかがいつでも他のキーフレームと置き換えられるように実時間および／または連続的に更新され、他のキーフレームは現在のプレイバック位置により関連するようになり、非常に接近している範囲内で生じる。もう一つの他の代替例では、低解像接続は、現在のプレイバック位置の前後で所定の間隔でプレイバック位置を連続して提供するために使用され、スナップは、現在のビデオプレイバック位置の近くにスナップを移動させる低解像である。
【００３４】
図５は、本発明の一実施形態による方法のフローチャートである。ステップ５１０で、主接続は、ビデオプレイバックデバイスからビデオサーバへ開かれる。主接続が開かれる正確な機構および／または主接続を行うデバイス（サーバ、あるいはローカルであれ遠隔であれ他のプログラム）は特に重要でない。重要であることは、ユーザに表示するためのビデオプレイバックデバイスにビデオをもたらす接続が行われるということである。ステップ５２０で、１つあるいはそれ以上の低解像（この場合、低解像は減縮されたデータ・レートを参照するが、低解像は、減縮されたビデオ解像、ビデオサイズ、ビデオフレーム（ｆｒ）等であってもよい。）のビデオフレーム接続が開かれる。低解像接続は、プレイバックされるビデオの現在の位置からのルックアヘッドあるいはルックビハインドデータのいずれかを提供する。ステップ５３０で、フォワードデータが引き出され、ステップ５４０でフォワードデータがインデックス付けされる。ステップ５３０は、（主接続を介して再生されるかあるいはルックビハインド接続から引き出されるいずれかのデータから）前のデータのインデックス付けおよび要約も含んでよい。
【００３５】
ステップ５５０で、タイムラインが表示される。（例えば、選択フレーム、キーフレームを含む）インデックスデータは、ビデオが進む時にタイムラインに関して表示される。ステップ５３０、５４０、および５５０は、ビデオのプレイバック位置に対して参照スナップフレームの流れを保持するように繰り返される。前述されるように、現在のプレイバック位置に非常に接近しているビデオのポイントからあるいは現在のプレイバック位置、あるいは任意の選択位置の前後の所定のポイントで選択されるスナップが選択されてもよい。
【００３６】
ステップ５６０は、ユーザからのタイムステップ要求を行う方法を示す。ユーザは、高速検出、巻き戻しあるいは他のタイムステップ動作（ステップ５６０）を実行し、ステップ５３０、５４０、および５６０は、ビデオ（あるいは他のデータストリーム）の新しい位置に対して繰り返される。したがって、ファスト・フォワードおよび／またはファスト・リワインド・データの再表示の開始は新しいビデオ位置に従って更新した。
【００３７】
図５は、本発明によるプロセスを実行する１つのフロー図を示している。しかしながら、本開示に基づいて、多数の異なる流れあるいは構成は、本発明のいろいろの実施形態および態様を実施するために使用されてもよく、図５は一実施形態の一般的な全体図を示している。
【００３８】
図６は、本発明の他の実施形態によるデバイスおよび情報の流れのブロック図である。サーバデバイス６００は、ビデオデータ６１５を本発明のデバイスにストリームする。バッファ６６０は、ストリームされたビデオデータを取得し、可変速度で提供されてもよいパケット間で滑らかな遷移のためのバッファリングを行い、滑らかなデータ６６５のストリームをコントローラ６７０に提供する。ユーザ入力６２５はコントローラ６７０の入力であり、最終ビデオストリームおよび他のデータはディスプレイデバイス６３０に送られる。ビデオストリーム６７５は、受信されたビデオの過ぎ去った部分からインデックス付けされるスナップのような他のデータ、および低解像度チャネル６１０．１．．６１０．ｎを介して受信されたフォワードルックデータを含んでいる。低解像度チャネルは、滑らかなデータ６５５の流れをコントローラ６７０に提供するように低解像チャネルにバッファリングするバッファデバイス６５０へ入力される。代替的に、バッファ６５０は、低解像度で全ビデオを記憶し、チャネル６５５を介してインデックス付けする際に使用するためにいつでも引き出すことができるように十分な記憶領域を備えてもよい。コントローラ６７０は、（流れ６６５、あるいはチャネル６６５を介して）受信されたビデオデータのインデックス付けおよびフレーム選択を実行し、このインデックスおよびキーフレーム選択処理からの選択スナップは、ディスプレイデバイス６３０へのデータフロー６７５に含まれる。ディスプレイデバイス６３０上のディスプレイは、主ビデオウィンドウ６３５、スナップ６４０、現在のビデオプレイバック位置を調整するスライドバー６４５、様々なスナップのための基準マーカを与えるタイムライン６４８を含む。
【００３９】
図７は、主チャネル（例えば、３１５、６１５）を伝送する例のデータ接続７００および低解像度接続（６１０1．．６１０n、３１０）を示している。データ接続は、主チャネルＭ７１０および低解像度接続７１５の両方に対する一連のパケットを含む。代替的に、データを単一線を介してデータを共有するかあるいはチャネルの各々に対する別のライン（主あるいは補助チャネル低解像度）を備える多数の異なる構成の多重化型のデバイスが備えられてもよい。図３、図６、および図７は、これらが分離した物理線を介して、あるいは単一の多重化線上でのいずれかで、どのように実施されてもよいことを例示するためだけに示されている。
【００４０】
主および低解像チャネルを設定した後、任意の数の方法が現在の位置を識別し、ビデオの早送りあるいは巻き戻しチャネルのための位置を選択するために使用されてもよい。例えば、サーバ側６００は、どのようなビデオが再生されているか、および、（再生されている）このビデオの位置を知り、このサーバ側は適切な低解像度ストリームを自動的にストリームし、現在のプレイバック位置（フォワードあるいはリバースのいずれか）の周辺の適切な低解像ストリームを自動的にストリームするように設定されてもよい。適切な低解像位置は、±時間量、フレーム数、データ量等によって決定されてもよく、再生されるビデオ内の範囲を示すように設定できる任意のパラメータが使用されてもよい。
【００４１】
代替的に、チャネル６０５を介してサーバ側に送られたレコードは、ビデオソースおよび主チャネルのいずれか、あるいはフォワードあるいはリバースチャネルのいずれかに対するプレイバック位置を示してもよい。サーバ６００は、リクエストレコードを読み、リクエストされたビデオの一部を要求するデバイスに送るプログラムおよび／またはデバイスを保有する。リクエストレコードは、ビデオ位置更新としてサーバに再提出されてもよい。さらに、ファスト・フォワードあるいはスキップフォワードコマンド（例えば、ダブルクリックあるいは他の選択機構によってスナップの１つを選択し、ユーザがビデオのこの位置にジャンプすることを望むことを示す）のようなタイムステップリクエストの呼び出しの際に、リクエストレコードは再びサーバに再提出される。代替的に、レンジは、サーバに送られてもよく、サーバは、現在のプレイバック位置の周辺の範囲を含む低解像チャネルを介してデータを自動的に送る。
【００４２】
図８は、サーバ側の機能が２つのデバイス間で分割される本発明の他の実施形態のブロック図である。制御機構８０１は、ビデオを制御するユーザ制御機能８２５（ユーザコマンド）（選択／開始ビデオ、ファスト・フォワード、リワインド、スキップ等）を受信する。主ビデオサーバ８０２は、ビデオを識別するコマンド８０５を受信し、ビューバックされるビデオを制御装置（ビデオ・プレイヤー）８７０およびディスプレイ８３０上にストリームする。主ビデオサーバ８０２も、低解像ビデオ８１０を低解像画像がインデックス付けされ、チャネル８２０を介して制御装置８７０に送られるサーバデバイス８０１に送る。本発明の他の実施形態は、これらの処理および単一デバイス（例えば、３２０）で結合されるか、あるいは（例えば、ネットワーク環境における）複数のプラットホームにわたって分割される機能を行ってもよく、本発明の範囲から逸脱しない。
【００４３】
図９は、ビデオをインデックス付けし、ストリームする２つのデバイスを使用する本発明のネットワーク実施形態を示す。デバイス９０１は、低解像をインデックス付けする機能およびスナップを制御装置９７０に送る機能を実行し、ビデオサーバ９０２は、監視されるビデオを制御装置９７０にストリームし、低解像ビデオをデバイス９０１にストリームする。制御装置９７０およびサーバ９０１の各々とビデオサーバ９０２との間の通信は、インターネットを介するＴＣＰ／ＩＰのようなネットワーク通信を介して実行される。ローカルエリアネットワーク、ワイド・エリア・ネットワーク、インターネット、トークンリング等を含む任意の種類の通信方法が使用されてもよい。
【００４４】
２つのストリームの使用の場合さえ、ビデオの一部だけがプレイバックの途中に識別されてもよい。これは、前述されたクラスタリング技術のような全ビデオへのアクセス権を有することが必要であるビデオインデックス付け方式を除外する。次のフレーム間の変化を考慮するだけである簡単な方式はビデオを十分適切にセグメント化できる。Ｃｈｉｕ  Ｐ．，Ｇｉｒｇｅｎｓｏｈｎ  Ａ．，Ｐｏｌａｋ  Ｗ．，Ｒｉｅｆｆｅｌ  Ｅ．，Ｗｉｌｃｏｘ  Ｌ．著、「画像ドキュメントストリームおよびビデオキーフレーム選択を要約する遺伝的アルゴリズム（A Genetic Algorithm for Summarizing Image Document Streams and Video Keyframe Selection）」に記載されている一般アルゴリズムＦＸＰＡＬ−ＩＰ−９９−０１０は、キーフレームの増分セットを探すために特に設計され、クライアント側のビデオインデックス付けのために非常にうまく機能すべきである。
【００４５】
ユーザナビゲーションは、クライアント側のインデックス付けを妨げることができる。スキップ後、低解像ストリームはスキップすることもまた必要である。短い時間、スキップ制御がグレイアウトされなければないようにビデオにおいて後でインデックス付ポイントを提供するのに不十分な情報が有り得る。セグメントが識別された後、スキップ制御は再び作動できる。さらに、スキップは、プレイバック位置の前のインデックス付ポイントに不十分な情報が使用可能である状態も生じてもよい。この状態では、一旦プレイバックが次のセグメントに進むと、インデックス付ポイントは再び使用可能になる。代替として、第３のストリームは、現在のプレイバック位置の前に情報を収集するために短い時間開くことができる。第３のストリームの使用は、インデックス付ポイントをより迅速に使用可能にする。
［ビデオをナビゲートするユーザインタフェース］
多数のビデオプレイヤーは、Ｇｉｒｇｅｎｓｏｈｎ  Ａ．およびＢｏｒｅｃｚｋｙ  Ｊ．著「時間抑制キーフレーム選択技術（Time-Constrained Keyframe Selection Technique）」およびＩＥＥＥ  Ｍｕｌｔｉｍｅｄｉａ  Ｓｙｓｔｅｍｓ  '９９、ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ、ｖｏｌ．１、ｐｐ．７５６〜７６１、１９９９年に示されるようにビデオの異なる場所にジャンプできるスキップボタン、あるいはＺｈａｎｇ  Ｈ．Ｊ．，Ｌｏｗ  Ｃ．Ｙ．，Ｓｍｏｌｉａｒ  Ｓ．，Ｗｕ  Ｊ．Ｈ．著、Ｐｒｏｃ．Ｍｕｌｔｉｍｅｄｉａ  '９５、ＡＣＭ  Ｐｒｅｓｓ、ｐｐ．１５〜２４に掲載の「ビデオパーシング、検索およびブラウジング：統合およびコンテンツベースソリューション（Video Parsing, Retrieval, and Browsing: An Integrated and Content-based Solution）」に詳述されるようにビデオの異なる部分へアクセスポイントを提供するキーフレームの集合体からの選択を可能にするボタンのいずれかを備えてる。前者の方式に関する問題は、ジャンプが導くかもしれないフィードバックが全くないということである。後者の方式は一般的には多数のキーフレームを使用する。
【００４６】
これらの方式とは著しく違って、本発明は、各々がジャンプされるセグメントの代表的なキーフレームを示すか、あるいはこのキーフレームに関連している少数のスキップ制御装置を有する設計を提供する。この方式は、前述された両方の方式の問題を解決する。ビデオプレイバック中、現在再生されているセグメントの周辺のセグメントはこの制御装置を介してアクセス可能である。プレイバックがセグメント境界を横切る場合、スキップ制御装置のアクセスポイントおよびそのキーフレームは更新される。スキップ制御装置の数は、使用可能なスクリーン・リアル・エステートおよびユーザの好みに合わせるように調整できる。共通のレイアウトは、現在のセグメントの直前および直後セグメントをアクセスする２つの制御装置、あるいはアクセス可能な領域を拡大する４つの制御装置を使用してもよい。この制御装置のカラー符号化およびこのカラーを有するタイムラインにおける対応するセグメントを可視化することは、アクセス可能なセグメントの持続時間およびビデオにおける現在の位置からのその距離に対する迅速な参照を行う（図１を参照）。各セグメントの開始時間は、セグメントの配置に対して他の表示を行う制御装置の下に示されている。
【００４７】
ビデオがビデオインデックス付け技術でセグメント化される場合、前述されたビデオをナビゲートするユーザインタフェースは最適に作動する。多数の異なる技術は、サーバ側の全ビデオをセグメント化するために使用できる。１つの可能な方式は、階層のかたまりになったクラスタリング技術でビデオフレームをクラスタリングした後ビデオをセグメント化するシステム（Ｕｃｈｉｈａｓｈｉ  Ｓ．およびＦｏｏｔｅ  Ｊ．著、Ｐｒｏｃ．ＩＣＡＳＳＰ  '９９Ｖｏｌ．６、ｐｐ．３０４１〜３０４４，１９９９年に掲載の「ショット重要性測定およびフレームパッキングアルゴリズムを使用するビデオの要約（Summarizing Video Using a Shot Importance measure and a Frame-Packing Algorithm）」で使用される方式である。この文献に記載されている他の方式もまた使用される。ビデオがストリームされ、サーバ側のインデックスが全く存在しない場合、前述されたクライアント側のビデオインデックス付け技術が使用される。
【００４８】
本発明に含まれているのは、（１）ストリームビデオのクライアント側のインデックス付け、および（２）キーフレームおよびタイムラインセグメントディスプレイとメディアプレイヤーのスキップフォワード／バックワード機能との関連付けの装備である（例えば、スキップフォワードのクリックは、現在のプレイバック位置を表示される次のキーフレームに関連したタイムラインのあるポイントに移動させる）。
【００４９】
本発明は、当業者に明らかであるように本開示の教示によりプログラム化される従来の汎用あるいは専用のディジタルコンピュータあるいはマイクロプロセッサを使用して同時に実施されてもよい。
【００５０】
適切なソフトウェアコーディングは、当業者に明らかであるように本発明の教示に基づいて熟練したプログラマによって容易に作成される。本発明は、当業者に即座に明らかであるように特定用途向け集積回路の作成によってあるいは従来のコンポーネント回路の適切なネットワークを相互に接続することによっても実施されてもよい。
【００５１】
本発明は、コンピュータをプログラム化し、本発明のプロセスのいずれかを実行するために使用できるそれに記憶された命令を有する記憶媒体であるコンピュータプログラムプロダクトを含む。この記憶媒体は、フレキシブルディスク、光ディスク、ＤＶＤ、ＣＤ‐ＲＯＭ、マイクロドライブ、および磁気光ディスクを含む任意の種類のディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気カードあるいは光カード、ナノシステム（分子メモリＩＣを含む）あるいは命令および／またはデータを記憶するのに適する任意の種類の媒体あるいはデバイスを含んでもよいが、これに限定されない。
【００５２】
コンピュータ可読媒体のいずれかに記憶され、本発明は、汎用／専用コンピュータあるいはマイクロプロセッサの両方のハードウェアを制御し、コンピュータあるいはマイクロプロセッサを本発明の結果を利用する人間ユーザあるいは他の機構と対話できるソフトウェアを含む。このようなソフトウェアは、デバイスドライバ、オペレーティングシステムおよびユーザアプリケーションを含んでもよいが、これに限定されない。結局、このようなコンピュータ可読媒体は、前述のように本発明を実行するソフトウェアをさらに含む。
【００５３】
汎用／専用コンピュータあるいはマイクロプロセッサのプログラミング（ソフトウェア）に含まれるのは、メディアストリームを取得し、インデックス付けし、タイムラインを発生し、選択されたフレームをタイムラインにリンクし、選択フレームをポイントあるいはメディアストリームのセグメントにリンクし、ユーザ選択フレーム（スナップ）に基づいて制御コマンドをメディアストリームに提供し、本発明のプロセスにより結果の通信を行うことを含むが、このことに限定されない本発明の教示を実行するソフトウェアモジュールである。
【００５４】
本発明の多数の修正および変更は上記の教示に照らして可能である。したがって、添付されたクレームの範囲内では、本発明は特にここに記載されている以外の他の方法で実施されてもよいことを理解すべきである。
【図面の簡単な説明】
【図１】従来のビデオプレイバックデバイスのスクリーンショットである。
【図２】プレイバックされるビデオにインデックスされるスナップショットを有する従来のビデオプレイバックデバイスのスクリーンショットである。
【図３】本発明によるデバイスの一実施形態のブロックおよび情報フロー図である。
【図４】ビデオがプレイバック中である本発明の一実施形態のスクリーンショットである。
【図５】本発明の一実施形態によるプロセスのフローチャートである。
【図６】本発明の一実施形態によるデバイスおよび情報フローのブロック図である。
【図７】高解像および低解像の接続を移送する多重化データフローの例である。
【図８】ビデオサーバおよびコントローラサーバを使用する本発明の一実施形態のブロック図および情報フローである。
【図９】本発明によって利用されてもよいネットワーク関連接続および通信の例である。
【符号の説明】
３２５  ユーザ入力
３００  サーバ
３２０  ビデオプレイヤー
３３０  ディスプレイ
【図１】
0003921977.tif 000002
【図２】
0003921977.tif 000003
【図３】
0003921977.tif 000004
【図４】
0003921977.tif 000005
【図５】
0003921977.tif 000006
【図６】
0003921977.tif 000007
【図７】
0003921977.tif 000008
【図８】
0003921977.tif 000009
【図９】
0003921977.tif 000010