(57)【要約】画像シーケンス中の位置を選択する方法及びシステム。前記画像シーケンスの表現が、前記表現に沿って動かされるように構成された位置インジケータと共に表示される。前記画像シーケンス中の前記位置は、前記位置インジケータの現在位置と対応して選択される。それぞれが前記表現の一部分に関連しているキーフレームの集合が取得される。該キーフレームの集合から、前記位置インジケータの現在位置を有する一部分と関連する現在のキーフレームが表示される。前記集合中の前記キーフレームの前記位置の印も同様に表示される。
2004519968.tif 000002
【特許請求の範囲】
【請求項１】
画像シーケンスの表現を表示するステップと、前記表現に沿って動かされるように構成される位置インジケータを提供するステップと、前記位置インジケータの現在位置に対応して前記画像シーケンス中の位置を選択するステップとを有する、画像シーケンス中の位置を選択する方法であって、それぞれが前記表現の一部分に関連しているキーフレームの集合を取得するステップと、前記キーフレームの集合から、関連する前記一部分が前記位置インジケータの現在位置を有するような現在のキーフレームを選択するステップと、前記現在のキーフレームを表示するステップとを特徴とする方法。
【請求項２】
前記画像シーケンスはビデオストリームを構成する、請求項１に記載の方法。
【請求項３】
前記キーフレームの集合は、前記ビデオストリームから複数のキーフレームを自動的に生成することにより得られる、請求項２に記載の方法。
【請求項４】
前記集合中で前記現在のキーフレームに隣接する更なるキーフレームを前記集合から表示するステップを更に有する、請求項１に記載の方法。
【請求項５】
前記キーフレームの集合中で前記現在のキーフレームの後に続くのものである次のキーフレームを前記キーフレームの集合から、前記キーフレームの集合中で前記現在のキーフレームの前のものである前のキーフレームを前記キーフレームの集合から、前記キーフレームの集合中で前記次のキーフレームの後に続くものである更に次のキーフレームを前記キーフレームの集合から、及び前記キーフレームの集合中で前記前のキーフレームの前のものである更に前のキーフレームを前記キーフレームの集合から表示するステップを更に有する、請求項１に記載の方法。
【請求項６】
前記位置インジケータは前記表現に沿ってユーザ操作可能に配置されるように構成される、請求項１に記載の方法。
【請求項７】
前記キーフレームの集合から少なくとも１つのキーフレームの印を、前記表現に沿って、前記少なくとも１つのキーフレームと関連する前記一部分に対応する位置に表示するステップを更に有する、請求項１に記載の方法。
【請求項８】
前記位置インジケータが前記キーフレームの集合からのキーフレームの印の位置を通って動かされたときはいつでも、現在のキーフレームの選択が成される、請求項７に記載の方法。
【請求項９】
一時停止の操作に応じて、略フルスクリーンの様式で前記現在のキーフレームを表示するステップを更に有する、請求項１に記載の方法。
【請求項１０】
画像シーケンスの表現及び前記表現に沿って動かされるように構成される位置インジケータを表示するブラウジング手段と、前記位置インジケータの現在位置と対応する前記画像シーケンス中の位置を選択する選択手段とを有する、画像シーケンス中の位置を選択するシステムであって、それぞれが前記表現の一部分に関連しているキーフレームの集合を取得する配列手段と、前記キーフレームの集合から、関連する前記一部分が前記位置インジケータの現在位置を有するような現在のキーフレームを選択する現在のキーフレーム選択手段と、前記現在のキーフレームを更に表示するように構成された前記ブラウジング手段とを特徴とするシステム。
【請求項１１】
最初の速度増加の操作の発生に際して、通常の表示速度よりも速い表示速度で前記画像シーケンスを表示し、速度増加の操作の更なる発生に際して、前記ブラウジング手段を起動するように構成された請求項１０に記載のシステム。
【請求項１２】
プログラム可能な装置が、請求項１０に記載のシステムとして機能することができるようにするコンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像シーケンスの表現を表示するステップと、前記表現に沿って動かされるように構成される位置インジケータを提供するステップと、前記位置インジケータの現在の位置に対応して前記画像シーケンスにおける位置を選択するステップとを有する、画像シーケンス中の位置を選択する方法に関する。
【０００２】
本発明は更に、画像シーケンスの表現と前記表現に沿って動かされるように構成される位置インジケータとを表示するブラウジング手段と、前記位置インジケータの現在位置に対応して前記画像シーケンス中の位置を選択する選択手段とを有する、画像シーケンス中の位置を選択するシステムに関する。
【０００３】
【従来の技術】
本明細書前文による方法及びシステムの実施例は、米国特許番号第５，９０３，２６４号より知られている。ビデオストリームのような画像シーケンスを観ているとき、前記画像シーケンス中の特定の位置又は点に自在に移動できることがしばしば望ましい。このことは、視聴者が前記シーケンス中の関心のない部分をスキップすること、又は非常に関心のある部分を繰り返すことを可能にする。従来のビデオ再生システムはこの目的のために、ユーザが順方向か又は逆方向かに速度を増すことを可能にする早送り及び早戻しボタンを備えている。
【０００４】
その代わりに、幾つかのビデオオンデマンドシステムは、それぞれの映画について、トリックプレイストリーム（ｔｒｉｃｋ ｐｌａｙ ｓｔｒｅａｍ）と呼ばれる早送り及び早戻しストリームを含む。ユーザが映画に対して早送り又は早戻しを望む場合、前記ユーザは早送り又は早戻しオプションを選択し、次いで通常の再生ストリームの代わりに、早送り又は早戻しトリックプレイストリームが、前記ユーザが観ていた適切な点において前記ユーザに送られる。このように、観られている映画の早送り又は早戻し版がシミュレートされる。
【０００５】
前記映画がこのような早送り又は早戻し操作の間に再生される速度は、色々に変わる。適切なボタンを繰り返し押下することが前記速度を増加するために用いられることもできる。しかしながら前記速度がたとえどれほど速くても、前記視聴者にとっては前記ビデオストリームが順次スクロールするのを観る必要が依然としてある。上述した米国特許は、テレビジョン又は表示ユニット上にビデオストリームの中の異なる位置へジャンプするためのグラフィカルなバーを表示するシステムを開示している。ユーザは、前記ビデオストリーム中の位置を選択するために、前記バーに沿ってスライダを位置させることができる。その後前記システムは、前記バーに沿って前記スライダの位置を前記ビデオストリーム中の時間的な位置に解釈し、該位置において前記ビデオストリームの再生を開始又は再開する。
【０００６】
【発明が解決しようとする課題】
公知のシステムは、前記視聴者が前記バーに沿った前記スライダの位置に対応した前記ビデオストリーム上のフレームだけしか観られないという欠点を持つ。このことは、前記ユーザにとって前記ビデオストリーム中で該フレームが発生しているコンテキスト（ｃｏｎｔｅｘｔ：前後状況）を確証することを非常に困難にし、それ故該ユーザにとって前記ビデオストリームを通して自在に移動することを困難にしている。
【０００７】
本発明の目的は、前記視聴者に前記画像シーケンス中の前記位置の選択の間に適切なコンテキストを提供する、本明細書前文による方法を提供することである。
【０００８】
【課題を解決するための手段】
本目的は、それぞれが前記表現の位置に関連しているキーフレームの集合を得るステップと、前記キーフレームの集合から、前記スライダの現在の位置を有する一部分と関連する現在のキーフレームを選択するステップと、前記現在のキーフレームを表示するステップとを特徴とする方法において、本発明によって達成される。キーフレームとは、前記画像シーケンス中の一部分を代表するフレームである。例えば、ビデオストリーム中の新しい場面の最初のフレームが、その場面を代表するキーフレームとして働いても良い。キーフレームの集合はかくして前記画像シーケンスの概観を提供する。該キーフレームは前記一部分を代表するものであるため、それぞれのキーフレームは、前記表現の一部分に関連する。ここで、前記スライダが前記表現に沿って動かされたとき、このことは前記一部分も同様に動かす。前記スライダが特定の一部分の中に位置されたとき、該一部分に関連する前記キーフレームが表示される。このことは、前記ユーザのコンテキストに関する視覚的な手掛かりを該ユーザに提供する。
【０００９】
実施例においては、前記画像シーケンスがビデオストリームを構成する。ビデオストリーム中の位置を選択することは、ビデオストリームの平均の長さのため特に困難であり、そのため本発明による方法は前記画像シーケンスがビデオストリームを構成する場合に特に有利である。
【００１０】
他の実施例においては、前記キーフレームの集合は、前記ビデオストリームから複数のキーフレームを自動的に生成することによって得られる。典型的に非常に大きなビデオストリームについては、前記ビデオストリームを代表するキーフレームの集合を手動で生成することは困難であり扱いにくい。ビデオストリームからキーフレームを自動的に識別及び抽出する種々の技術が開発されており、本分野において知られている。前記キーフレームの集合を得るためのこのような技術を利用することにより、本発明による方法はいずれのビデオストリームにも、予めキーフレームが識別されていない場合においても、利用されることができる。
【００１１】
他の実施例においては本方法は、前記集合から、現在のキーフレームと連続して隣接する更なるキーフレームを表示するステップを更に有する。単一のキーフレームは前記現在の位置を識別するために十分なコンテキストを提供するが、しばしばより多くのコンテキストを提供することが望ましい。前記集合から少なくとも１つの、前記現在のキーフレームと隣接する更なるキーフレームを提供することにより、より多くのコンテキストが提供される。
【００１２】
他の実施例においては本方法は、前記キーフレームの集合から、前記キーフレームの集合中の現在のキーフレームの後のものである、次のキーフレームと、前記キーフレームの集合から、前記キーフレームの集合中の前記現在のキーフレームの前にあったものである、前のキーフレームと、前記キーフレームの集合から、前記キーフレームの集合中の次のキーフレームの後のものである、更に次のキーフレームと、前記キーフレームの集合から、前記キーフレームの集合中の前のキーフレームの前にあったものである、更に前のキーフレームとを表示するステップを更に有する。実際には、前記現在のキーフレームを含め５つのフレームを表示することが特に有利であることがわかっている。５つのキーフレームは、個々に認識されるために十分な解像度で同時に表示されることができるが、通常これらは、前記画像シーケンスの比較的大きな部分についての十分なコンテキストを提供するために、前記画像シーケンス内で十分に離れている。
【００１３】
他の実施例においては、前記スライダが前記表現に沿ってユーザ操作可能に配置されるように構成される。前記スライダが自動的に動かされるとき、前記ユーザは、前記現在のキーフレームが時間によって変化すると同時に該現在のキーフレームを観ることにより、前記画像シーケンスの素早い概観を得ることができる。その後前記ユーザは、前記画像シーケンスの生成を再開又は開始したいと所望する幾つかの点において、指示をすることができる。しかしながら、前記スライダの移動に渡ってユーザ制御を提供することにより、前記ユーザは前記スライダを所望の位置に素早く配置することができる。このようにして例えば、前記ユーザが関心のあるフレームがその周囲のどこかに位置していると知っている場合には、前記ユーザは前記画像シーケンスの最後の部分までスキップしても良い。
【００１４】
他の実施例においては、本方法は、少なくとも１つのキーフレームと関連した前記一部分に対応する場所において、前記表現に沿って前記キーフレームの集合から少なくとも１つのキーフレームの印を表示するステップを更に有する。キーフレームは典型的には、特に該キーフレームが自動的に生成されない場合には、前記表現に沿って均一に分散されていない。このことは、前記表現に沿って前記スライダが移動する間、前記現在のキーフレームは外見上ランダム的な時間で変化することを意味する。前記表現に沿って少なくとも１つのキーフレームの視覚的な印を提供することにより、前記ユーザが本発明の働きにおいて良いフィードバックを得ることが達成される。
【００１５】
本実施例の変形においては、前記スライダが前記キーフレームの集合からのキーフレームの印の位置に沿って動かされたときはいつでも、前記現在のキーフレームの選択が成される。キーフレームの存在が前記表現に沿って視覚的に表示される場合、前記スライダが前記印を通過して動かされたとき前記キーフレームが更新されることは当然のことである。あるキーフレームから他のものへの移行はかくして、印を通過する前記スライダに対応する。
【００１６】
他の実施例においては本方法は、一時停止の操作に応じて、略フルスクリーンの様式で前記現在のキーフレームを表示するステップを更に有する。キーフレームは典型的には、特に複数のキーフレームが一度に表示されるときには、縮小されたサイズで示される。この縮小されたサイズのため、視聴者にとって詳細を識別することが困難になる場合がある。それ故、前記ユーザが前記現在のキーフレームを略フルスクリーンの解像度で観ることができることは有利である。停止ボタンを押すことは従来表示された単一のフレームに帰着するため、典型的にはリモートコントローラの一時停止ボタンを押す視聴者によって引き起こされる一時停止の操作の利用は、前記キーフレームのフルスクリーン表示を要求する直感的な方法である。前記表現と前記スライダとを同様にスクリーン上に維持することが望ましい場合があるため、前記表示は完全にフルスクリーンである必要はない。
【００１７】
本発明の他の目的は、前記ユーザに前記位置の選択の間適切な量のコンテキストを提供する、本明細書前文によるシステムを提供することである。
【００１８】
本目的は、それぞれが前記表現の前記一部分に関連しているキーフレームの集合を取得する配列手段と、前記キーフレームの集合から、前記位置スライダの現在位置を有する前記一部分と関連する現在のキーフレームを選択する現在のキーフレーム選択手段と、前記現在のキーフレームを更に表示するように構成されたブラウジング手段とを特徴とするシステムにおいて、本発明により達成される。前記ブラウジング手段が起動されるとき、前記表現及び前記スライダが示され、前記スライダは前記表現に沿って配置されることができる。例えばキーフレームの自動的な生成を通して得られる前記キーフレームの集合は、前記ユーザに望ましい量のコンテキストを提供するために利用される。
【００１９】
実施例において本システムは、速度増加の操作の発生に際し、通常の表示速度よりも速い表示速度で前記画像シーケンスを表示し、速度増加の操作の更なる発生に際し、前記ブラウジング手段を起動するように構成される。通常前記視聴者は、前記視聴者の早送り及び早戻しボタンを利用して前記画像シーケンス中を自在に移動する。これらのボタンの１つを押すことは、前記通常の表示速度に対して前記表示速度を増加させ、そのため前記ユーザは前記画像シーケンス中をブラウズすることができる。該ボタンを繰り返し押すことが前記速度を更に増加させても良い。本発明による方法及びシステムは、前記視聴者に前記画像シーケンス中を更に速く自在に移動する方法を提供するため、最高の早送り又は早戻し操作と見なされることができる。それ故、前記ブラウジング手段を起動する、速度増加の操作の更なる発生を持つことは有利である。
【００２０】
本発明は更に、プログラム可能な装置が本発明によるシステムとして機能することができるようにするコンピュータプログラムに関する。
【００２１】
本発明のこれらの及び他の態様は、図に示された実施例を参照することにより明らかとなり説明されるであろう。
【００２２】
【発明の実施の形態】
図を通して、同一の参照番号は同様の又は対応する特徴を示す。図に示された特徴の幾つかは典型的にはソフトウェアで実装化され、それ自体ソフトウェアモジュール又はオブジェクトのようなソフトウェアの実体を表す。
【００２３】
図１は本発明によるシステムを有するテレビジョン受信機を模式的に示す。無線周波（ＲＦ）信号に変調されたデジタル放送ストリームがアンテナ１又はその代わりにケーブルネットワークのいずれかから受信される。前記放送ストリームは、例えばデジタルビデオ放送（ＤＶＢ）標準に従ってフォーマットされていても良い。チューナ２は、前記ＲＦ信号を受信し、復調部３への出力となるべき前記信号のうちの１つを選択することができる標準的なアナログＲＦ受信装置を有する。チューナ２の信号は、中央演算装置（ＣＰＵ）から受信される制御データに依存する。復調部３は、ＣＰＵ５から受信される制御信号に基づきアナログの信号をデジタルのパケットストリームに変換する。該パケットストリームはその後、ＣＰＵ５から受信される制御データに従って特定のプログラムに属するパケットを選択し、前記パケットストリームをエレメンタリなオーディオ、ビデオ又はデータのストリームに分解する、多重分離器４へ出力される。本システムは以下ビデオストリームを参照しながら議論されるが、一般のいずれの画像シーケンスも同様に利用されることができる。
【００２４】
放送信号に加えて、前記テレビジョン受信機は、例えば、（デジタル）ビデオレコーダ若しくはＤＶＤプレイヤーから、インターネットから、又はデジタル加入者線からのように他の発信源から信号を受信しても良い。プログラム及びプログラムの属性は同一の発信源から得られる必要はない。例えば放送プログラムに関係する属性及び属性値はインターネットサイトから得られても良い。
【００２５】
ビデオ処理部８は、多重分離器４又はＣＰＵ５から受信した前記ビデオストリームをデコードする。デコードされたビデオデータはその後表示スクリーン９に送信される。オーディオ処理部６は多重分離器４から受信されたオーディオストリームをデコードする。デコードされたオーディオデータはその後スピーカシステム７に送信される。
【００２６】
多重分離器４はエレメンタリデータのストリームをＣＰＵ５に出力する。前記エレメンタリデータのストリームは、２種のデータ即ち制御データとコンテンツデータとを持つ。コンテンツとは例えば双方向型のプログラムを指し、制御とは、多重放送の構造のような事項を明記する多重放送中のテーブル、チャネルが変調されている（ＲＦ）周波数、及び多重放送中の種々のコンテンツの中身と（他の）テーブルが見つけられるアドレスを指す。ＣＰＵ５は読み出し専用メモリ（ＲＯＭ）１２に保存されているプログラム命令を実行することが可能な１つ以上のマイクロプロセッサを有する。代わりに、プログラム命令はハードディスクのようなランダムアクセスメモリに保存されていても良い。これらのプログラム命令は、特にコマンドモジュール１３及び好みプロファイルモジュール１４を含むソフトウェアモジュールの一部を有する。例えばＤＶＢ−ＳＩデータ及び好みプロファイル情報のような、前記ソフトウェアモジュールによって処理されるデータは、不揮発性メモリ１１に保存されても良い。コマンドモジュール１３は、チューニング及び選択の多重分離といった前記テレビジョン受信機の機能を制御すること、及びスクリーン９に表示されるべきデータをビデオ処理部８に送信することができる。
【００２７】
ユーザコマンドユニット１０は、例えばリモートコントローラ（図示していない）を通してユーザのコマンドを受信して、該コマンドを処理されるようにコマンドモジュール１３に送信する。例えば、前記ユーザがチャネル番号を入力したときには、コマンドモジュール１３は、対応する放送ストリーム及びその中にあるデータパケットを選択するためにチューナ２と多重分離器４を制御し、スクリーン９に例えば数秒間表示される現在の番号、チャンネル名といったフィードバックを表示するためグラフィカルなデータをビデオ処理部８へ送る。
【００２８】
好みプロファイルモジュール１４は例えば、受信された放送ストリームにおいて利用可能である前記チャネルに関する情報、即ちＤＶＢの用語で言う「ｓｅｒｖｉｃｅｓ」、及び該チャネルのために予定されたものである前記プログラムに関する情報、即ちＤＶＢの用語で言う「ｅｖｅｎｔｓ」を集めるために多重分離器４からＤＶＢ−ＳＩデータとして受信された、といったように前記プログラムの属性を解釈する。好みプロファイルモジュール１４はユーザの視聴行動から学習するように構成されても良い。例えば、好みプロファイルモジュール１４はコマンドモジュール１３からコマンドを受信し、それから前記ユーザが関心があると感じるプログラムを決定する。好みプロファイルモジュール１４は前記ユーザの好みと関心をユーザのための好みプロファイルに記録する。好みプロファイルモジュール１４は好みプロファイルの集合を保持しても良い。
【００２９】
前記ビデオストリームの通常の再生の間、前記ユーザが例えば前記ユーザのリモートコントローラ上の早送りボタン又は早巻き戻しボタンを押下することにより、順方向又は逆方向の表示速度を増加するためユーザコマンドユニット１０に信号を押し込むとき、コマンドモジュール１３は、より速い速度で前記ビデオストリームをデコードするようにビデオ処理部８を制御する。前記早送りボタン又は早巻き戻しボタンを繰り返し押下することは、更に速い速度で前記ビデオストリームをデコードするビデオ処理部８に帰着する。前記ボタンのユーザによる押下の多数の繰り返された発生の後には、ブラウジングモジュール１５が起動される。
【００３０】
ブラウジングモジュール１５は前記画像シーケンスの表現を生成し、前記表現に沿って動かされるように構成されたスライダを提供する。前記表現及び前記スライダは、例えばビデオ処理部８にそれらを送ることにより、その後ディスプレイ９上に表示される。
【００３１】
配列モジュール１６は前記ビデオストリームに関するキーフレームの集合を得る。好ましくは、配列モジュール１６は前記ビデオストリームから複数のキーフレームを自動的に生成する。このことは以下により詳細に説明されるであろう。
【００３２】
図２は本発明によるシステムの動作の間のディスプレイ９を模式的に示す。前記ビデオストリームの表現２００が水平バーとして表示される。前記水平バーは彩色されても良いし、他の方法で表示されても良い。表現２００は、例えば前記バーの右に前記ビデオストリームの全体の長さを表示すること、又は前記バーの下に時間の目盛りを提供することによる、表現されている前記ビデオストリームの長さの表示によって更に機能拡張されても良い。このことは前記視聴者に前記ビデオストリームの長さの表示を提供し、前記ユーザが前記ビデオストリーム中の特定の位置に素早くジャンプすることを可能にする。
【００３３】
表現２００は勿論、水平バーである必要又はバーである必要さえ全くない。表現２００は垂直バーであっても良いし、又は何らかの形で曲げられていても良い。重要なことは、前記ユーザが表現２００自体を認識できることである。
【００３４】
位置インジケータが、ここではスライダ２０６の形で提供される。スライダ２０６は表現２００に沿って動かされるように構成される。図２に示された実施例においては、前記スライダは表現２００上にスーパーインポーズされる。好ましくはスライダ２０６は、前記表現２００に沿ってユーザが操作可能なように位置されるように構成される。この目的のために、前記ユーザのリモートコントローラは、スライダ２０６が動かされるべき方向を示すために「順方向」及び「逆方向」ボタン、４方向カーソル、ジョグホイール、スクロールホイール又は何らかの他の入力機構を具備しても良い。代わりに、ユーザコマンドユニット１０は音声のコマンドによって入力を受信するように構成され、ブラウジングモジュール１５は適切な前記音声のコマンドに応じて表現２００に沿ってスライダ２０６を動かすように構成されても良い。本発明によるシステムがコンピュータシステム上に実施化される場合、前記表現に沿って前記スライダを配置するために、スライダ２０６を選択し所望の位置まで前記表現に沿ってドラッグすることによってか、又はスライダ２０６が所望の位置に配置されたことに応じて前記所望の位置をクリックすることによって、マウス又はカーソルキーのような入力装置が用いられても良い。
【００３５】
表現２００に対するスライダ２０６の現在位置は前記ビデオストリーム中の現在位置と解釈されることができる。例えば、スライダ２０６が表現２００の中間に配置されている場合、これは前記ビデオストリームの中間の位置と解釈される。該解釈は本分野では知られている。上述した米国特許を参照されたい。
【００３６】
スライダ２０６を用いる代わりに、他のいずれの型のインジケータも用いられることができる。例えば、表現２００の一部分が表現２００上の現在位置を示すためにハイライトされても良い。表現２００が曲げられている場合、前記現在位置を示すためにポインタ又は時計の針を用いることは有利である。
【００３７】
前記ビデオストリーム中の位置が選択された場合、その地点から前記ビデオストリームの再生が開始又は再開されることができる。しかしながら、その地点から再生が開始又は再開されるべきであることを示す明示的なユーザの行動を待つことが望ましい場合がある。例えば、前記ユーザが表現２００に沿った特定の位置にスライダ２０６を配置し、その後リモートコントローラの再生ボタンを押下した場合、前記ユーザが前記再生ボタンを押した時のスライダ２０６の現在位置が、前記ビデオストリーム中の位置と解釈されるべきである。その後該位置から再生が開始又は再開される。
【００３８】
キーフレーム２１０乃至２１４が、ユーザが作動可能なように表示されても良い。前記ユーザが前記キーフレームの１つを作動させた場合、選択された前記キーフレームの１つの位置によって表現される前記ビデオストリーム中の前記位置から前記ビデオストリームの再生が始まる。このように、前記ユーザは所望の前記キーフレームの位置に沿ってスライダ２０６を正確に配置する必要はない。作動は、例えば前記ユーザのジョグホイール、スクロールホイール又は他の入力機構によって前記ユーザによって動かされることができるカーソル又は他のスクリーン上のポインタを備えることによって達成されることができる。該ポインタがキーフレーム上を動かされる場合、その後でボタンを押下しても良いが、選択された前記キーフレームの１つの位置によって表現される前記ビデオストリーム中の前記位置から前記ビデオストリームの再生が始まる。本発明がコンピュータシステムにおいて実施化される場合、従来のマウスによって制御されるカーソル及び関連されたシングル又はダブルクリック機構が用いられることができる。
【００３９】
配列モジュール１６は前記ビデオストリームに関して、時間的に並べられたキーフレームの集合を得る。キーフレームとは、前記画像シーケンスの一部分を代表するフレームである。例えば、ビデオストリーム中の新たな場面の最初のフレームが該場面を代表するキーフレームとして働いても良い。代わりに代表の画像は、前記画像シーケンスからの画像として選択されるのではなく、手動で生成されても良い。
【００４０】
例えばＤＶＤのような幾つかのビデオストリームについては、該ビデオストリームに関するキーフレームの集合が、ビデオストリームと共に備えられている。前記集合は容易に利用可能である。しかしながら、しばしばこのような場合はなく、もしあったとしても、かようなシーケンス中のキーフレームの数は非常に制限されており、本発明による方法においては殆ど利用できないものであろう。
【００４１】
それ故、好ましくは配列モジュール１６は、前記ビデオストリームから複数の代表的なキーフレームを自動的に検出することにより、キーフレームの集合を自動的に生成する。前記ビデオストリームを有する前記フレームを解析することにより、特定のストリームを代表するフレームが検出され選択されることができる。その後かような場面の代表であるフレームはキーフレームとして見なされ前記集合に追加されることができる。この目的のための２つの適切な方法が、国際特許出願番号ＷＯ９８／５５９４２（代理人番号ＰＨＡ２３２５３）および国際特許出願番号ＷＯ９８／５５９４３（代理人番号ＰＨＡ２３２５２）にそれぞれ開示されている。
【００４２】
ＷＯ９８／５５９４２は、元となるビデオのコンテンツを解析して、選択された画像を利用した視覚的な目次を生成する、ビデオインデクシングシステムを開示する。前記元となるビデオはある場面から他の場面へのビデオのカット及び静的な場面を検出するために解析される。キーフレームはそれぞれの有意な場面について選択される。キーフレームフィルタリング処理が、例えば一色のフレーム又は第１焦点若しくは第１焦点の１つとして同一の対象を持つフレームを含む、あまり所望されないフレームを取り除く。視覚的なインデクスがキーフレームのフィルタリングの後に残ったこれらのフレームから生成され、検索のために保存される。
【００４３】
ＷＯ９８／５５９４３は、ある場面から別の場面へのビデオのカット並びに、ＤＣＴ係数に基づいて静的な場面及びマクロブロックを検出する、優位な場面を検出するシステムを開示する。キーフレームフィルタリング処理が、例えば一色のフレーム又は第１焦点若しくは第１焦点の１つとして同一の対象を持つフレームを含む、あまり所望されないフレームを取り除く。
【００４４】
ビデオストリームからキーフレームを自動的に抽出するほかの適切な技術も本分野において知られており、本発明において容易に利用されることができる。前記キーフレームは時間的に並べられる。即ち前記集合中で第１のキーフレームが第２のキーフレームより後に存在する場合、前記画像シーケンス中でも第１のキーフレームが第２のキーフレームより後に存在する。
【００４５】
前記集合からのそれぞれのキーフレームは表現２００の一部分に関連する。前記集合が自動的に生成されたとき、該一部分はそれぞれのキーフレームが抽出される前記有意な場面に対応する。前記集合が手動で生成された場合、前記キーフレームが属する前記一部分も手動で識別することが必要である。
【００４６】
本発明によれば、前記集合からの前記フレームの１つが現在のキーフレーム２１２として選択されるべきである。該選択の目的は、スライダ２０６の配置における視覚的なフィードバックをユーザに提供することであるから、該選択はスライダ２０６の現在位置に関連するべきである。該選択は、スライダ２０６が表現２００に沿って動くにつれて、前記集合中に関連付けられたキーフレームがある表現２００の一部分に沿って動く。このように、現在のキーフレーム２１２は、スライダ２０６の現在位置を有する前記一部分と関連するキーフレームとして選択されることができる。
【００４７】
その後現在のキーフレーム２１２がディスプレイ９上に表示される。好ましくは、前記現在のキーフレームは縮小されたサイズで表示される。現在のキーフレーム２１２のサイズを縮小することにより、前記ユーザが前記ビデオストリームにおける現在位置をさらに素早く識別することができるが、前記ユーザが不必要な詳細に悩まされることも無い、ということが達成される。しかしながら、前記ユーザが現在のキーフレーム２１２の全体を観たいと欲求した場合は、好ましい実施例においては前記ユーザは、一時停止キーのようなリモートコントローラ上のキーを押下することができる。ユーザコマンドユニット１０がこのコマンドを受信したときには、ユーザコマンドユニット１０は一時停止動作を生成する。この一時停止動作に応じて、現在のキーフレーム２１２が略フルスクリーンの様式で表示される。前記表現及び前記スライダも同様にスクリーン９上に維持されている必要があるため、全体のスクリーン上に現在のキーフレーム２１２を表示することができなくても良い。
【００４８】
ここで、該様式で現在のキーフレーム２１２を表示することは、かくして適切な量のコンテキストを提供するが、時にさらに多くのコンテキストを提供することが望まれる。このような場合には、前記集合から、現在のキーフレーム２１２と前記集合中で隣接する更なるキーフレームが選択され表示されることができる。即ち、前記集合中で現在のキーフレームの後のもの又は前のものが表示される。
【００４９】
実際には５つのフレーム、即ち現在のキーフレーム２１２、現在のキーフレーム２１２の前のもの２１１、現在のキーフレーム２１２の次のもの２１３、現在のキーフレーム２１２の前のもの２１１の前のもの２１０、及び現在のキーフレーム２１２の次のもの２１３の次のもの２１４を表示することにより、更に多くの量のコンテキストが得られても良い。この様式で５つのキーフレームを表示することにより、多くの量のコンテキストが確証され、かつ個々のキーフレーム２１０〜２１４は依然十分な量の詳細と共に表示されることができる。
【００５０】
現在のキーフレーム２１２に加えて表示されるべき任意の更なるキーフレームの選択は対照的なものである必要はない。しばしば、前記ユーザは前記ビデオストリームの先頭において開始して、前記ストリームに更に沿って位置している場面を探す。このような場合においては、前記ユーザは逆方向においてよりも順方向において多くのコンテキストを必要とする。かくして例えば、後に続くキーフレーム３つと前のキーフレーム１つが、前記現在のキーフレームに加えて表示されても良い。
【００５１】
少なくとも１つのキーフレームと関連する前記一部分と対応する場所において、表現２００に沿ったキーフレームの前記集合からの少なくとも１つのキーフレームの印を表示することにより、更なる機能拡張が達成される。図２に示された実施例においては、前記集合からの全てのキーフレームが黒の四角形２０５を用いて表示されている。この場合において、前記集合中の前記キーフレームは表現２００に沿って均一に分布されていないことは直感的に明らかである。このことは、前記表現が分割された前記一部分もまた、表現２００に沿って均一に分布されていないことを意味している。印２０５がない場合、現在のキーフレーム２１２の表示は、スライダ２０６が表現２００に沿って動くにつれてランダム的な時間で変化するように見える。印２０５がある場合、現在のキーフレーム２１２の前記表現は、スライダ２０６が印２０５の１つに近づくとき又は通過するときに変化する。このことは起こっているものについての視覚的なフィードバックを前記ユーザに提供する。
【００５２】
前記キーフレームの集合が多数のフレームを有する場合、前記集合中の全てのキーフレームを表す表示２０５を表示することは実用的ではない可能性がある。例えば、９０分（５４００秒）の、１０秒ごとに１つのキーフレームがある映画については、５００以上のキーフレームがある。このことは水平方向に表現２００のピクセルごとに１つのキーフレームということを意味するかも知れない。このような場合においては、印２０５はキーフレームの前記集合の部分集合に関してのみ表示されても良い。
【００５３】
好ましくは、スライダ２０６が印２０５の１つの位置を通って移動するときはいつでも、現在のキーフレーム２１２の前記集合が作成される。このことは前記ユーザに視覚的な「きっかけ」を提供する。本実施例においては、スライダ２０６が印２０５の１つを通過したときにはいつでも、新たな現在のキーフレーム２１２が表示される。印２０５が関連する前記一部分の先頭部において、表示２０５をばらつきなく配置することにより、同様の効果が得られる。
【００５４】
複数のキーフレーム２１０〜２１４が同時に表示されているとき、表現２００が分割された一部分を横切ってスライダ２０６を動かすことは、前記ユーザがスクロールの方法によってキーフレーム２１０〜２１４を通してブラウズすることができることを実現する。表示されている印２０５とキーフレーム２１０〜２１４との間の関係は、例えば、図２に示されるように、印と対応するキーフレームとの間にコネクタを描画することによって視覚的にエンハンスすることができる。このことはディスプレイ９上に「ズーム」の効果を生成する。新たな現在のキーフレーム２１２が選択されたとき、前記対応を示す線は他の印へと移動する。
【００５５】
本発明によるシステムは、適切なソフトウェアが読み込まれたテレビジョン受信機、セットトップボックス、ビデオ録画装置又はコンピュータによって実施化されることができる。本システムは、フロッピー（Ｒ）ディスク若しくはＣＤ−ＲＯＭのような記録媒体に記録されることができる、又はファイルサーバによってネットワークに渡って利用可能とされるコンピュータプログラムによって実現されることができる。前記コンピュータプログラムは、プログラム可能な装置に読み込まれたとき、前記装置の中の処理部に本発明による前記方法を実行させる。かくして、前記コンピュータプログラムは、プログラム可能な装置が本発明によるシステムとして機能することを可能にする。
【図面の簡単な説明】
【図１】本発明によるシステムを有するテレビジョン受信機を模式的に示す。
【図２】本発明によるシステムの動作の間の前記テレビジョン受信機の表示を模式的に示す。
【国際公開パンフレット】
2004519968.tif 000003
2004519968.tif 000004
2004519968.tif 000005
2004519968.tif 000006
2004519968.tif 000007
2004519968.tif 000008
2004519968.tif 000009
2004519968.tif 000010
2004519968.tif 000011
2004519968.tif 000012
2004519968.tif 000013
2004519968.tif 000014
2004519968.tif 000015
2004519968.tif 000016
2004519968.tif 000017
2004519968.tif 000018
2004519968.tif 000019
【国際調査報告】
2004519968.tif 000020
2004519968.tif 000021
2004519968.tif 000022