(57)【要約】ユーザが始動させ得るプレイバック・オプションは、ビデオ・ストリーム（３０）の先行変動点(LN-L1)に順次、逆方向にビデオ・ストリーム（３０）を進めさせ、次いで、ユーザによって選択される、先行変動点のうちの１つからビデオ・ストリーム（３０）を順方向に再生させる。ビデオ・ストリーム（３０）の現在の再生点（T）に先行して生起する、ビデオ・ストリーム（３０）の変動点は、リアルタイムで生成されるか、又は、ビデオ・ストリーム（３０）内に備えられる。変動点(LN-L1)は、ビデオ・ストリーム（３０）内の、音声中断、ショット・カット、及び個人又は物体の移動であり得る。
2007522722.tif 000002
【特許請求の範囲】
【請求項１】
メディア・ストリームを該メディア・ストリーム内の先行位置から再生する方法であって、前記メディア・ストリーム内の、先行して識別された、いくつかのコンテンツ変動のうちの選択された１つから前記メディア・ストリームを再生する工程を備え、前記コンテンツ変動が前記メディア・ストリーム内の先行音声中断を備えることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、前記メディア・ストリームがビデオ・ストリームであり、前記先行して識別されたコンテンツ変動が、ショット・カットと動き変動とのうちの少なくとも１つを更に備えることを特徴とする方法。
【請求項３】
請求項１記載の方法であって、前記先行音声中断が、前記メディア・ストリーム内の相対的な沈黙期間後の音声の開始を備えることを特徴とする方法。
【請求項４】
請求項１記載の方法であって、再生する、前記メディア・ストリーム内の前記１つの先行コンテンツ変動を選択するのに用いる制御コマンドを受信する工程を更に備えることを特徴とする方法。
【請求項５】
請求項４記載の方法であって、前記制御コマンドがm個の入力信号を備え、該m個の入力信号は、再生を開始する、前記メディア・ストリーム内のm番目の先行コンテンツ変動を選択するのに用いられることを特徴とする方法。
【請求項６】
請求項４記載の方法であって、再生する、前記１つのコンテンツ変動を選択するのに用いる前記制御コマンドは、受信先行制御コマンドに基づいて処理されることを特徴とする方法。
【請求項７】
請求項４記載の方法であって、前記受信制御コマンドが、手作業入力と、音声入力と、ジェスチャ認識とのうちの少なくとも１つによって生成されることを特徴とする方法。
【請求項８】
請求項１記載の方法であって、前記メディア・ストリームが再生している間に前記先行コンテンツ変動の位置をリアルタイムで識別し、記憶する工程を更に備え、前記選択された先行コンテンツ変動からの前記メディア・ストリームの前記再生は、前記選択されたコンテンツ変動に相当する前記記憶位置を利用することを特徴とする方法。
【請求項９】
請求項１記載の方法であって、前記メディア・ストリーム内に備えられるデータから前記メディア・ストリーム内の先行コンテンツ変動の位置を識別する工程を更に備え、前記選択された先行コンテンツ変動からの前記メディア・ストリームの前記再生が、前記メディア・ストリーム内に備えられた前記選択されたコンテンツ変動の位置を利用することを特徴とする方法。
【請求項１０】
請求項１記載の方法であって、磁気テープと、光ディスクと、サーバと、ハード・ドライブとのうちの少なくとも１つから前記メディア・ストリームを生成する工程を更に備えることを特徴とする方法。
【請求項１１】
請求項１の方法であって、前記メディア・ストリームを外部ソ―スから受信する工程を更に備えることを特徴とする方法。
【請求項１２】
請求項１１記載の方法であって、前記受信メディア・ストリームを記録する工程と、前記記録メディア・ストリームから再生する工程とを更に備えることを特徴とする方法。
【請求項１３】
請求項１記載の方法であって、前記メディア・ストリームを前記メディア・ストリーム内の、先行して識別された、いくつかのコンテンツ変動のうちの選択された１つから再生する工程は、コンテンツ変動のタイプの関数であることを特徴とする方法。
【請求項１４】
ディジタル・メディア・ストリームを、該メディア・ストリームの現在の再生位置Tに先行した、前記メディア・ストリーム内の位置から再生する方法であって、
a)コンテンツ変動位置を、前記メディア・ストリームの再生につれリアルタイムで検出する工程と、
b)再生位置Tの前に検出された最も近い変動位置のうちの少なくともいくつかを記憶する工程と、
c)数mを備える1つ又は複数の入力信号を受信する工程と、
d)前記メディア・ストリーム内の位置Tに先行したm番目に近い変動位置をメモリから取り出す工程と、
e)前記メディア・ストリーム内のTに対してm番目に近い変動位置から前記メディア・ストリームを再生する工程とを備えることを特徴とする方法。
【請求項１５】
請求項１４記載の方法であって、前記メディア・ストリームは、オーディオ・ストリームとビデオ・ストリームとの少なくとも一方であることを特徴とする方法。
【請求項１６】
請求項１５の方法であって、前記変動位置は、前記メディア・ストリーム内の音声中断位置を備えることを特徴とする方法。
【請求項１７】
請求項16記載の方法であって、前記メディア・ストリームがビデオ・ストリームであり、前記変動位置が、ショット・カット位置と動き変動位置とのうちの少なくとも１つを更に備えることを特徴とする方法。
【請求項１８】
メディア・ストリームを該メディア・ストリーム内の先行位置から再生するシステムであって、該システムがプロセッサ及びメモリを有し、前記プロセッサは、前記メディア・ストリーム内で先行して識別された、いくつかのコンテンツ変動のうちの１つを選択する1つ又は複数の入力信号を受信し、前記プロセッサが更に、前記選択されたコンテンツ変動に相当する位置をメモリから取り出し、前記選択された変動位置から前記メディア・ストリームの再生を起動させ、前記識別されたコンテンツ変動が、前記メディア・ストリーム内の先行音声中断を備えることを特徴とするシステム。
【請求項１９】
請求項１８記載のシステムであって、前記プロセッサは更に、前記メディア・ストリーム内の前記コンテンツ変動を識別し、前記位置を、前記メディア・ストリームが再生するにつれ記憶することを特徴とするシステム。
【請求項２０】
請求項１８記載のシステムであって、前記メディア・ストリームを更に生成することを特徴とするシステム。
【請求項２１】
請求項１８記載のシステムであって、更に、前記メディア・ストリームを受信し、前記メディア・ストリームを記録することを特徴とするシステム。
【請求項２２】
請求項１８記載のシステムであって、前記プロセッサ及び前記メモリを収容し、前記入力信号を受信し、前記再生を起動させる単一の装置を備えることを特徴とするシステム。
【請求項２３】
請求項２２記載のシステムであって、前記装置が、VCRと、CDプレイヤと、DVDプレイヤと、PCとのうちの１つであることを特徴とするシステム。
【請求項２４】
メディア・ストリームを、該メディア・ストリーム内の選択された先行位置から再生するためにコンピュータ判読可能媒体内に実施されたコンピュータ・プログラムであって、
a)前記メディア・ストリームが再生するにつれリアルタイムでコンテンツ変動を検出するコンピュータ判読可能プログラム・コードと、
b)再生位置Tに先行して検出される前記メディア・ストリーム内の最も近いコンテンツ変動の位置の少なくともいくつかをメモリに記憶するコンピュータ判読可能プログラム・コードと、
c)数mを備える１つ又は複数の入力信号を受信するコンピュータ判読可能プログラム・コードと、
d)前記メディア・ストリーム内の位置Tに先行するm番目に近い変動位置をメモリから取り出すコンピュータ判読可能プログラム・コードと、e)出力信号を生成して、Tに先行するm番目に近い変動位置から前記メディア・ストリームを再生するコンピュータ判読可能プログラム・コードとを備えることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、ビデオ・コンテンツの探索に関する。特に、本発明は、ビデオ・ストリームの先行部分の探索及びプレイバックに関する。
【背景技術】
【０００２】
既知のビデオ再生手法が存在している。しかし、こうした再生手法は限定的である。一部のシステムの場合、ユーザは、ビデオ・ストリームをそこから再生し始めるその特定のタイムスタンプを入力し得る。ユーザは、そこからの再生に自らが関心のある、ビデオ・ストリーム内のその特定の時点が分からない場合、入力することができるのはせいぜい近似値である。このことは、ビデオ・ストリームにおける、関心位置の前又は後の位置にユーザを置き、それによって、ユーザを混乱させる、又はイライラさせることがあり得る。このことは、文の途中で再生を始めることもあり、やはりユーザをイライラさせるか、又は混乱させることがあり得る。ユーザの混乱は、先行位置に戻る際にビデオ・ストリームを逆方向にレンダリングしないシステムの場合、悪化し得るが、それは、そうした逆方向のレンダリングによって再開始位置の視覚的なコンテキストをユーザに提供することが可能であるからである。
【０００３】
別のビデオ再生の特徴によって、例えば、リモコンを介して、逆送り機能をユーザが起動させることが可能になる。再生位置は、ユーザが逆送り機能を（例えば、リモコン上の「停止」を押すことによって）切断するまでビデオ・ストリーム内で時間的に戻る。多くの場合、そうした逆送り機能は、ビデオ・コンテンツをユーザに向けて逆方向でレンダリングし、それによって、ビデオ・ストリーム内でどのくらい後ろまで戻ったかという、ある程度の一般的な感覚がユーザに与えられる。（そうした逆送り機能はVCRのユーザにとって周知である。こうしたユーザは、テープを巻き戻し、関心があるおおよその先行位置に達するまでテープが逆方向に再生されるのをみることが可能である。）しかし、逆送り機能は、粗い制御であり、多くの場合、ユ―ザは、ビデオ・ストリーム内の厳密な関心位置を識別することができず、又は、関心位置で逆送り機能を停止させることができない。更に、ユーザの役に立つよう、逆送り機能中に音がレンダリングされるものでない。例えば、ユーザは、最新のせりふの再生に関心がある場合、ビデオがそこから逆方向にレンダリングされるそのおおよその先行関心位置を（例えば、俳優をみることによって）決定しなければならない。ユーザが逆送り機能を停止する時までには、かなりの量の余分な逆方向移動がビデオ・ストリーム内で生じることが多い。テープの開始も、発話文の途中で始まり、やはりユーザを混乱させ、イライラさせるものであり得る。更に、逆送り機能中にコンテンツが逆方向にレンダリングされない場合、ユーザは、これを停止させる時点を推測しなければならず、ビデオ・ストリームが再開される位置が分からないことがあり得る。
【０００４】
上記ビデオ・プレイバック機能（及びそれに付随する欠点）は、テープ、ハード・ドライブ又は光ディスクを用いてビデオ・ストリームを生成するビデオ・システム上でみられ得る。一部のシステムは、ユーザが「ジャンプバック」、「リピート」、又は同様なボタンを押すことによってたった今再生したビデオ・ストリーム部分を再生することも可能にする。このことによって通常、ビデオ・ストリームの現行の再生が停止され、ビデオ・ストリーム内で一定時間先行する時点からこれが再開される。例えば、ユーザが（例えば、リモコン上の）ジャンプバック・ボタンを選択すると、ビデオ・ストリームは再生を停止させ、ビデオ・ストリーム内で30秒分戻り、再生を再開する。このように、VCRアプリケーションの場合、ジャンプバック・ボタンを押すことによって、テープが30秒の再生時間巻き戻され、その位置から再生機能が再開する。同様な機能は、ハード・ドライブ、及び光ベースのビデオ・システムにもみられる。
【０００５】
しかし、ユーザの観点からは、そうした一定量の時間には多くの欠点がある。一定量の時間によって一般に、ユーザが関心のある、ビデオ・ストリーム内の特定の時点の前又は後の位置までビデオ・ストリームが戻ることになる。そうした任意の位置は、ユーザを当惑させる、混乱させる、又はイライラさせるものであり得る。例えば、ユーザは、最新のせりふの一語を捉えそこねる場合があり、ビデオの最後の３０秒間を再生したくないものである。更に、一部のシステムの場合、ユーザに向けて逆方向にジャンプバック間隔にわたってビデオをレンダリングすることなく先行位置に離散的に飛んで戻る。したがって、ユーザは、自らが関心のある、ビデオ・ストリームの位置に対して自らいる場所が分からない場合がある。ユーザはビデオを、その位置から順方向に再生させるか、又は更に３０秒間戻すことしかできず、このことは問題を複雑にするに過ぎないことがあり得る。更に、ジャンプバック・ボタンを押すことによって、先行ショットからのビデオ部分の提示、先行するせりふの不完全な部分の提示等が行われ得る。やはり、このことはユーザを混乱させ得る。
【０００６】
更に、ハード・ドライブや光ビデオ・システムなどの特定のシステムによって、ビデオ・ストリームのセグメントを備えるメニューにユーザがアクセスすることが可能になり得る。DVDは、この種のオプションの周知例の１つである。ユーザはよって、メニューにアクセスし、先行セグメントの最初からビデオ・ストリームを再生し得る。しかし、セグメントは、視覚的な説明（又は目次）をユーザに向けて提示するよう作成されるショット群である。よって、これは、別の当事者の主観的なショット群である。他の欠点の中でもとりわけ、セグメントの最初に戻ることは、ユーザが、自らがそこから再生するその位置を選択することを可能にするものでない。例えば、ユーザが、現在の話者が話し始めた時点からなどの短い量の再生にしか関心がない場合、現在のセグメントの最初を選択することによって、ビデオ・ストリーム内の、関心位置よりもずっと前の位置にユーザが配置され得る。
【０００７】
別の関心領域では、ビデオ・ブラウジング手法は、関心の話題であり、開発の話題である。ブラウジングは、通常、ビデオ・コンテンツのある種の要約をユーザに提示することによって、ビデオ・コンテンツがユーザに関心のあるものかのユーザの判定の支援を一般に対象とする。例えば、「Browising  Digital  Video,  Proceedings  of  ACM  CHI'00  (The  Hague,  The  Netherlands,  April,  2000),  ACM  Press,  pp169-176」と題する、Li他による論文では、とりわけ、ユーザには、ショット境界フレームを備えたビデオの索引が提示される。前述の論文では、ショット境界フレームは、その位置を索引内に記録する検出アルゴリズムによって生成され得る。ビデオ・ストリームが再生している際に、現在のショットのショット境界フレームが強調表示され、ユーザは、索引内の別のショット境界フレーム上をクリックすることによって別のビデオ部分を選択することが可能である。ショット境界索引はビデオ全体について完全なものであるので、ユーザは現在の位置から順方向又は逆方向に進むことができる。
【０００８】
同様に、「Video  Browsing  &  Summarisation  (copyright  2000,  Telematica  Instituut  (TI  ref  :  TI/RS/2000/163))」と題する、Van  Houten他による文献は、ショットをストーリーボードとして用いること（セクション2.3）を参照し、やはりLiの論文（セクション2.4.3）を参照している。Van  Houtenは、索引化においてせりふの音声認識を用いることも参照している（セクション2.4.1）。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、ビデオ・ストリームの現在の再生位置に先行して生じた、ビデオ・ストリームのコンテンツ変動を識別するデータを検出又は利用する方法を備える。コンテンツ変動は、ビデオにおける音声内の中断（以下に「音声中断」と概括的に表す。）を備える。ビデオ内の音声中断は、相対的な沈黙期間後に発話が始まる箇所であり得る。コンテンツ変動は、ビデオ内のショット・カットなどの、ビデオ・ストリーム内のコンテンツの他のかなりの変動を備え得る。ユーザが始動させ得るプレイバックすなわち再生のオプションによって、ビデオ・ストリーム内の先行コンテンツ変動に順次、逆方向にビデオ・ストリームが進み、次いで、ユーザによって選択される、先行コンテンツ変動の位置からビデオ・ストリームが順方向に再生されることになる。
【課題を解決するための手段】
【００１０】
したがって、本発明の一局面では、ビデオ・ストリームが、ビデオ・ディスプレイ・システムによって受信され、ユーザに対して再生される。ビデオ・ストリームは又、再生するにつれ、ビデオ・ストリーム内の音声中断を検出するために実質的にリアルタイムで処理される。ビデオ・ストリームの現在の再生位置に先行する、ビデオ・ストリーム内の音声中断の位置が維持される。ビデオ・ストリームが再生されるにつれ、更なる音声中断が検出され、ビデオ・ストリーム内のその位置がメモリに追加される。ユーザがプレイバック・オプションを始動させた場合、ビデオ・ストリームの出力は、最も近い先行音声中断位置で停止し、始まる。したがって、従来技術における再生システムと違って、ビデオは、ビデオ内の、ユーザにとってコヒーレントな位置から再生される。
【００１１】
ユーザはプレイバック・オプションを複数回始動させ、各回、ビデオ・ストリーム内の更なる１つの音声中断分、ビデオ・ストリームが戻ることになり得る。したがって、ユーザは、ビデオ内の、そこから再生することに関心がある特定の音声中断の最初に戻り得る。ユーザがプレイバック・オプションの始動を中止すると、ビデオ・ストリームは、選択された先行音声中断の位置からもう一度再生し始める。やはり、ユーザは、ビデオ内のコヒーレントな位置、例えば、人が話し始める音声中断位置からプレイバックが始まるようにビデオ内で戻ることが可能である。
【００１２】
ショット・カットなどの他のタイプの先行コンテンツ変動もビデオ・ストリーム内で検出し得る。そうした位置は検出音声中断とともに記憶し、よって、先行変動位置の一体化されたリストを備えることができる。再生は、こうした先行変動位置の何れかから始めることができる。
【００１３】
本発明の別の局面では、変動位置は、あらかじめ識別され、ユーザによる再生中にビデオ・ストリームの一部として備えられる。上記ケースのように、ユーザは、ビデオ・ストリーム・データ内で識別される先行変動位置からビデオ・ストリームの再生を再開させるプレイバック・オプションを始動させ得る。
【００１４】
発明の更なる変形では、ビデオ・ストリーム内の他の先行変動が、先行する音声中断及びショット・カットに加えて、再生に利用可能なものとして存在する。例えば、物体及び個人の動きにおける変動を、検出し、再生をそこから開始することができる、ビデオ・ストリーム内の先行位置として用いることができる。
【００１５】
したがって、全般的には、本発明は、メディア・ストリーム内の、先行して識別された、いくつかのコンテンツ変動のうちの選択された１つからメディア・ストリームを再生する工程を備える、メディア・ストリーム内の先行位置からメディア・ストリームを再生する方法であって、コンテンツ変動がメディア・ストリーム内の先行音声中断を備える方法を備える。本発明は、メディア・ストリームの現在の再生位置Tに先行する、メディア・ストリーム内の位置からディジタル・メディア・ストリームを再生する方法も備える。上記方法は、メディア・ストリームが再生するにつれ、コンテンツ変動位置をリアルタイムで検出する工程を備える。再生位置Tに先行する、最も近い、少なくともいくつかの検出変動位置が記憶される。数mを備える1つ又は複数の入力信号が受信され、メディア・ストリーム内の位置Tに先行する、m番目に近い変動位置が取り出される。メディア・ストリームは、メディア・ストリーム内のTにm番目に近い変動位置から再生される。
【００１６】
更に、本発明は、メディア・ストリーム内の先行位置からメディア・ストリームを再生するシステムを備える。上記システムは、プロセッサ及びメモリを備え、プロセッサは、メディア・ストリーム内の、先行して識別された、いくつかのコンテンツ変動のうちの１つを選択する1つ又は複数の入力信号を受信する。プロセッサは更に、選択されたコンテンツ変動に相当する位置をメモリから取り出し、選択された変動位置からのメディア・ストリームの再生を起動させ、識別されたコンテンツ変動は、メディア・ストリーム内の先行音声中断を備える。
【００１７】
メディア・ストリーム内の選択された先行位置からメディア・ストリームを再生するためにコンピュータ判読可能媒体内に実施されたコンピュータ・プログラムを更に別に備え、コンピュータ・プログラムは、本発明の方法を行う。
【発明を実施するための最良の形態】
【００１８】
［実施例］
図１は、本発明によって動作するシステム１０を示す。ビデオ装置２０は、ビデオ・ストリーム３０を生成し、供給し、ビデオ・ストリーム３０は、ユーザに向けてディスプレイ４０を介して表示される。ビデオ装置２０は、テープを再生するビデオ・カセット・レコーダやディスクを再生するDVDプレイヤなどの通常のいくつかの装置の何れであってもよい。ビデオ装置２０は、その中に挿入された、あらかじめ記録されたビデオ・カセット・テープ又はDVDを再生することによってビデオ・ストリーム３０を生成することができる。ビデオ装置２０は、ビデオ・ストリームを記憶するハード・ドライブ記憶装置も有する場合があり、その場合、ビデオ・ストリーム３０を、ハード・ドライブ上に記憶されたビデオ番組を再生することによって生成することができる。ビデオ装置２０がテープ、ハード・ドライブ、又は同様な記録機能を有する場合、装置は、入力ビデオ・ストリーム30aの受信及び記録を行うこともできる場合があり、その場合、入力ビデオ・ストリーム30aは、表示ビデオ・ストリーム３０として再生される。入力ストリームは、例えば、有線インタフェース（例えば、ケーブル・テレビ放送、サーバからのウェブキャスト等）を介して、又は無線で（例えば、無線による伝統的なテレビ放送、衛星テレビ放送や、エア・インタフェースを介して）受信することができる。前述の装置では、表示ビデオ・ストリーム３０は当初、入力ビデオ・ストリーム30a（すなわち、記憶されたストリームでないもの）であり得る。再生が開始されると、表示ストリーム３０は入力ストリーム３０aに遅れをとり、メモリに記憶されたストリームから供給される。装置２０は、ディスプレイ４０とは別個に示しているが、内部ハード・ドライブを備えたTVなどの同じ装置内にあり得る。
【００１９】
ビデオ・ストリーム３０は、プロセッサ５０によるリアルタイムの内部処理にもかけられる。（プロセッサ５０は装置２０の内部にあるものとして示しているが、代替的には、プロセッサ５０は、装置２０の外部にあり得る。）プロセッサ５０は、ビデオ・ストリーム内の音声中断を検出するようプログラムされる。音声中断を検出するために本発明において用いることができる手法として知られているものは多く存在している。例えば、図１の受信ビデオ・ストリーム３０を、音声及び沈黙などのカテゴリにそのオーディオ部分をセグメント化するようプロセッサ５０のオーディオ特徴付けモジュールにおいて処理することができる。ビデオ・ストリーム内の各フレームは、メル周波数ケプストラム係数（MFCC）、フーリエ係数、基本周波数、帯域等などのオーディオ特徴群によって一般に特徴付けられる。（ビデオ・ストリームの形式に応じて、オーディオ特徴を抽出するための特定の前置処理が必要であり得る。）オーディオ特徴が、相対的な沈黙期間後の人間の音声パラメータに相当するものについて解析される。相対的な沈黙期間後に発話が始まる、ビデオ・ストリーム内の位置が、音声の開始を備えた音声中断としてプロセッサ５０によって識別され、記憶される。
【００２０】
図２は、前述のようにプロセッサ５０によって識別された、ビデオ・ストリーム３０内の音声中断の位置（例えば、音声開始位置）を表す。Tはビデオ・ストリーム３０内の現在の再生位置を表す一方、Tの左の点は、ビデオ・ストリーム内の先行再生位置を表す。点Oは、ビデオ・ストリームの最初を表す。点LN,…L1は、時間Tまでプロセッサ５０によって識別され、記憶された、ビデオ・ストリーム内のN個の先行音声中断の位置を表す。（図２中の位置点Lは、ビデオ・ストリーム内の音声中断位置を表すものに過ぎない。メモリに実際に記憶される音声中断位置データは一般に、ビデオ・ストリーム内の中断位置のタイムスタンプ、フレーム番号、又は同様な示標となる。）便宜上、図２中に示す先行音声中断位置Lは、現在の再生時点Tに対して最も旧い（LN）ものから最も新しい（L1)ものまで降順に標記する。当然、再生が進むにつれ、新たな音声中断が、位置L１の後で検出され、その位置はメモリに記憶される。しかし、図２は、ビデオ・ストリームの何れかの特定時点Tまでに検出され、記憶されるN個の合計先行変動位置を概括的に表す。
【００２１】
よって、LNはビデオ・ストリーム内の最初の音声中断位置を表し、L１は再生時間Tまでのビデオ・ストリーム３０内の最新の音声中断位置を表す。したがって、人が時点Tで話している場合、位置L１は、ビデオ・ストリーム内の現在の再生位置Tに対して最も近い（又は最新の）先行音声中断位置を表す。先行位置L2は、人が話し始めた、ビデオ・ストリーム内の2番目に近い先行位置である。
【００２２】
ビデオ装置２０は、プレイバック機能又は再生機能を備える。再生機能をTで始動させると、装置２０は、プロセッサ５０によって記憶された先行音声中断位置にアクセスし、最も近い先行音声中断位置L1を取り出す。プレイバック装置２０はビデオ・ストリームの現在の出力を停止し、位置L１から再生を始める。位置L1から再生することによって、再生は、ビデオ・ストリーム内の最新のコヒーレント点、すなわち、ビデオ・ストリーム内の最新の話者が話し始めた時点から始まる。再生機能を2度始動させることによって、再生は2番目の先行音声中断位置L2から始まる。再生機能を数度「m度」連続して始動させることによって、装置２０はビデオ・ストリーム内のTに対してｍ番目に近い先行音声中断Lｍの位置を取り出し、ビデオ・ストリームの再生をその位置から始める。
【００２３】
したがって、例えば、装置２０がＶＣＲである場合、識別された先行音声中断の記憶位置が、ビデオ・ストリーム内のフレームのタイムスタンプであり得る。装置２０は、選択先行音声中断のタイムスタンプまでテープを巻き戻す。例えば装置２０がＤＶＤであり、識別先行音声中断がトラッキング・データによって記憶される場合、装置２０は選択先行音声中断のトラッキング位置にレーザを動かし、再生し続ける。装置２０がハード・ドライブ・ベースのシステムの場合、先行音声中断を、記憶ビデオ・ストリームの相当するフレームのメモリ・アドレスによって識別することができる。再生コマンドが受信されると、ビデオ・ストリーム３０が、選択先行音声中断のメモリ・アドレスから始めて出力される。
【００２４】
再生機能は、例えば、ビデオ装置２０上のボタンを押すことによって、又は、代替的には、リモコン（図示せず）上のボタンを押し、適切なIR信号を装置２０に送ることによって手作業で始動させることができる。あるいは、再生機能は、音声起動、ジェスチャ認識や他の適切なコマンド入力によって始動させることができる。例えば、音声認識の場合、ユーザが語「再生」を話す都度、再生機能を始動させ、一音声中断分、戻ることができる。ユーザのジェスチャ認識は、ユーザの移動を捕捉する外部カメラを用いて装置２０によって検出することができる。捕捉された画像を、入力ジェスチャを検出するための周知の画像検出アルゴリズムを用いてプロセッサ５０によってサブルーチン内で処理することができる。（例えば、ジェスチャ認識は、ビデオ・ストリーム内の移動を検出するための、下記のラジアル基底関数手法を利用することができる。）同様に、音声起動は、ユーザの声を捕捉する装置２０に接続された外部スピーカを利用し、それをプロセッサ５０に供給することができ、プロセッサ５０は、周知の音声認識手法を用いてコマンド語についてそれを解析する。（例えば、音声認識は、オーディオ特徴を（例えば、前述のようにビデオ・ストリーム３０内の音声中断を検出するために）解析して、コマンドに相当する特定の発話語を識別することができる。）
【００２５】
装置２０は好ましくは、ビデオ・ストリーム内の現在の位置から選択先行音声中断の位置に進むにつれ、逆方向にディスプレイ４０上にビデオ・ストリームのコンテンツをレンダリングする。（上記は、VCR及びDVDの手作業による逆送り機能の標準的な特徴である。）このことによって、ユーザがビデオ・ストリーム内でどれだけ先まで戻ったかに関する視覚的な参照フレームがユーザに与えられる。更に、再生機能を始動させ、ビデオ・ストリームが選択先行音声中断に戻る場合、再生機能は、すぐに再始動されないことがあり得る。その代わり、ディスプレイ上のビデオ出力が、音声中断の第１のフレーム上で「フリーズ」し、それによって、これが所望の再生位置かをユーザが視覚的に判定することが可能になることがあり得る。その場合、ユーザは再生ボタンを押すことが可能であり、ビデオ・ストリーム出力が再開する。そうでない場合、ユーザはもう一度再生ボタンを押すことが可能である。更に、ユーザが、少なくとも１つの先行変動位置、この場合、音声中断に戻ると、装置２０は、押すと、ビデオ・ストリーム内の先にある後続音声中断まで進む「順送り」機能を有し得る。したがって、ユーザは、再生ボタンを用いて先まで戻り過ぎた場合、所望の位置に順方向に進むことが可能である。
【００２６】
更に、プロセッサ５０は、現行の再生点に先行する音声中断位置（や他のコンテンツ変動位置）の全てを維持しなくてよい。ユーザは通常、現在の再生位置に対して時間的にかなり先行する変動位置から再生しないものである。よって、プロセッサ５０は、例えば、ビデオ・ストリームの現在の再生点に対して、最新の10個の変動位置（図２中のL１０‐L１）しか記憶しない場合がある。新たな変動位置がビデオ・ストリーム内で検出され、メモリ位置に追加されるにつれ、最も旧い（すなわち、上記例では１０番目に近いもの）が廃棄される。
【００２７】
上記特定の実施例では、ビデオ・ストリームの再生と同時に音声中断が検出され、編集される。あるいは、ビデオ・ストリームを、装置２０に入力される、又は装置２０によって生成されるストリームが音声中断位置を識別するように前置処理することができる。したがって、例えば、装置２０がVCRの場合、ビデオ・テープは、ビデオ・ストリームの再生につれ、ビデオ・ストリーム内の音声中断を識別するデータ・フィールドを備え得る。装置２０はよって、音声中断の位置を、ビデオ・ストリーム内で識別されるとバッファ・メモリに記憶し、前述のように再生機能における位置を利用することができる。あるいは、再生機能を始動させると、装置２０は、テープの巻き戻しにつれ、データ・フィールドから先行音声中断の位置を検出することができる。したがって、テープは、選択された数の音声中断、巻き戻すことができる。別の変形では、音声中断位置を、データ群としてテープの最初に備えることができる。データ群は、ビデオ・ストリームの出力に先行して装置２０にテープからダウンロードされ、ビデオ・ストリーム内の現在の位置に先行する音声中断位置を識別するために再生機能中に用いられる。本明細書ではVCRの実施例に焦点を当てたが、同様な変形が他のタイプのビデオ装置に当てはまる。
【００２８】
図３は、本発明の実施例において行われる工程及び処理の流れ図を示す。工程１００では、ビデオ・ストリームが受信又は生成される。工程１１０では、受信又は生成されたビデオ・ストリームが音声中断をあらかじめ識別するデータを有するか否かが判定される。そうでない場合、ビデオ・ストリームが処理され、音声中断が検出され、ビデオ・ストリーム内の音声中断の位置がリアルタイムで（すなわち、ビデオ・ストリームが再生されるにつれ）記憶される（工程１２０）。ビデオ・ストリームが出力されるにつれ、この処理は、再生機能が始動されるか否かを監視する（工程１３０）。そうである場合、ビデオ・ストリームは、最も近い先行音声中断の位置（L1)から再生され、又は、再生機能がm度始動される場合、m番目に近い先行音声中断（Lm）から始動される（工程140）。（再生機能を始動させ得る回数ｍは、記憶された音声中断位置数以下の何れかの整数１、２、…である。）この処理は工程１２０に戻り、工程１２０では、ビデオ・ストリーム出力、及び音声中断の検出が続く。（この場合、先行してそこから再生されたその点をビデオ・ストリームが通るまで音声中断の検出を遅らせることが可能であるが、それは、こうした中断が既に検出され、記憶されているからである。）再生機能を工程１３０に始動させていない場合、ビデオ・ストリームが終わっているか否かを工程１５０で判定する。そうである場合、この処理は終了する（工程１６０）。そうでない場合、この処理はやはり、工程１２０に戻る。
【００２９】
音声中断デ―タが工程１１０においてビデオ・データ・ストリーム内であらかじめ識別される場合、ビデオ・ストリームが工程120aで出力される。ビデオ・ストリームが出力されるにつれ、この処理は、再生機能が始動されるか否かを監視する（工程１３０a）。そうである場合、ビデオ・ストリームは、最も近い先行音声中断の位置から再生され、又は、再生機能がm度始動される場合、m番目に近い先行音声中断の位置から始動される（工程140a）。このことは、工程120aにおいてビデオ・ストリーム内に備えられた音声中断位置を利用する。この処理は次いで工程120aに戻り、工程120aでは、ビデオ・ストリーム出力が続く。再生機能が工程130aで始動されない場合、ビデオ・ストリームが終わっているかを工程150aで判定する。そうである場合、この処理は終了する（工程１６０）。そうでない場合、この処理はやはり、工程１２０aに戻る。
【００３０】
上記装置、システム及び方法は、再生点としての音声中断に焦点を当てている。ビデオ・ストリームの現在の再生位置（T）に対して先行する音声中断から再生することによって、ビデオ・ストリームは、自然なオーディオ・コンテンツ変動位置から再生し、よって、オーディオ及びビデオのコヒーレントな先行セグメントをユーザに提供する。他の再生位置は、そうしたコヒーレンスをユーザに提供し得るものであり、本発明の処理における再生位置としても備え得る。コヒーレントな再生位置を提供することが可能な、ビデオ・ストリーム内の他のそうした重要なコンテンツ変動には、シーン変動又はショット・カットがある。例えば、ユーザが一時的に当惑させられ、現在のシーンの最初に戻りたい場合がある。よって、図１の装置２０のプロセッサ５０は、ビデオ・ストリーム内のショット・カットの位置を検出し、記憶することもできる。多くの場合、音声中断のうちの１つがショット・カットと概ね一致することがあるが、再生点として利用可能なものとして両方のタイプの変動位置を有することによって、ユーザに更なる柔軟性が与えられる。
【００３１】
例えば、図１のビデオ・ストリーム３０を、ビデオ・ストリーム内のショット・カットを検出するためにプロセッサ５０によって更に処理することができる。「シーン・カット」及び「ショット・カット」の語は、同様の概念を表し、以下では同義に用いる。シーン・カット又はショット・カットは通常、連続フレーム間のビデオ・コンテンツにおけるかなりの変動を表す。（より一般的には、それは、ビデオ・コンテンツにおいて離散的な変動をビデオ・ストリームが受けたように見えるような、少数のフレームにわたるかなりのビデオ・コンテンツ変動を表す。）すなわち、非相関性が高い連続フレームはシーン・カット又はショット・カットを表す。「ショット・カット」の語は以下で用いるが、限定的なものとして意図されるものでない。
【００３２】
通常のショット・カットは、１つのセット（場所）から別のセットへの変動を備える。ショット・カットは、同じ場所のままであっても、時間的に変動することも有し得る。例えば、屋外ショット・カットは、場所の変動なしで日中から夜間への急に変動することを備え得るが、それは、連続ビデオ・フレームにおいてコンテンツのかなりの変動があるからである。ショット・カットの別の関連例は、同じ場所を用いるが、その場所のビューの変動を備える。ショット・カットの周知例は音楽ビデオにおいて生起する。音楽ビデオでは、演者を、立て続けに別々のいくつかのパースから現れさせ得る。
【００３３】
ビデオ・ストリーム３０はよって、ビデオ・ストリーム内でショット・カットを検出するためにプロセッサ５０によるリアルタイムの内部処理にもかけられる。ビデオ・ストリームの解析及びショット・カットの検出を行うのに利用可能なものとして存在する、本発明に用い得る手法が多く知られている。本発明において用い得る種々の手法は、ビデオがリアルタイムで再生されるにつれ、ショット・カットが検出されるようにするものである。例えば、いくつかの手法は一般に、連続フレーム間の離散コサイン変換（DCT）係数を解析することによってビデオ・ストリーム内のショット・カットを識別することに依拠している。ビデオ・ストリームが例えばMPEG標準によって圧縮される場合、DCT係数を、ビデオ・ストリームが復号化されるにつれ（すなわち、リアルタイムで）抽出することが可能である。一般に、フレームの画素のいくつかのマクロブロックのDCT値が判定され、利用可能なものとして存在するいくつかの比較アルゴリズムのうちの１つによって連続フレームについて比較される。フレーム間のDCT値の差が、特定のアルゴリズムによる閾値を超える場合、ショット・カットが示される。ビデオ・ストリームがMPEG符号化されていない場合、高速DCT変換を受信フレームのマクロブロックに施し、よって、ショット・カット検出のための前述のリアルタイム処理を可能にすることができる。そうした手法の例は、本明細書及び特許請求の範囲に内容を援用する、N.  Dimitrova、  T.  McGee及びH.  Elenbaasによる「Video  Keyframe  Extraction  and  Filtering:  A  Keyframe  Is  Not  A  Keyframe  To  Everyone,  Proc.  Of  The  Sixth  Int'1  Conference  On  Information  And  Knowledge  Management  (ACM  CIKM  '97),  Las  Vegas,  NV  (Nov.  10-14,1997),  ACM  1997,  pp.  113-120」に記載されている。（例えば、セクション2.1  「Video  Cut  Detection」を参照されたい。）
【００３４】
よって、プロセッサ５０は、少なくとも１つのそうした手法を用いて、リアルタイムでビデオ・ストリーム３０内のショット・カットを識別する。ビデオ・ストリーム内の識別ショット・カット位置は、前述のように、音声中断位置とともに連続して記憶される。ビデオ・ストリーム内の位置は、フレーム番号、タイムスタンプ、又は同様なものによって識別することが可能である。よって、図２をもう一度参照すれば、この場合に図示したLN‐L1は、現在の再生点Tまでのビデオ・ストリームのN個の先行「コンテンツ変動」（音声中断又はショット・カット）の位置を示す。例えば、最後の変動位置L１は、時点Tで現在話している俳優が話し始めた、ビデオ・ストリーム内の位置を表し得る。L2‐L5は、ストリーム内の同様な先行音声中断位置を表し得るものであり、L６は最後のショット・カット位置を表し得る、等である。ユーザが再生機能を始動させると、ビデオ・ストリームは最後の変動位置、この場合L１から再生される。よって、例えば、ユーザが現在の話者の語を捉えそこねた場合、再生機能を1度押すことによって、現在の話者が話し始めた点でビデオ・ストリームが始まる。
【００３５】
同様に、再生機能を2度始動させることによって、次の先行音声中断L2からビデオ・ストリームが再生される。（次の先行音声中断は、別の話者の音声の始まりであり得る。それは、話者が音声開始位置L１とL2との間でかなり中断する場合の、時点Tでの現在の話者の別の音声の始まりでもあり得る。）再生機能をm回押すことによって、m番目の先行変動位置からビデオ・ストリームが再生される。好ましくは、ビデオ・ストリームは、再生機能を始動させているので逆方向にレンダリングされる。このことによって、ユーザが特定の関心変動（例えば、点L6であり得る最後のショット・カットなど）を識別し、順方向再生を再始動できるようにすることが可能になる。
【００３６】
なお、ショット・カット位置及び音声中断位置（相対的な沈黙の後に音声が始まる位置など）をはじめとする変動位置全てもデータ・ストリーム内であらかじめ識別し得る。したがって、前述のように、プロセッサ５０は、再生機能中にビデオ・ストリーム内であらかじめ識別された変動の位置を利用することができる。更に、図３は、ショット・カットも音声中断もプロセッサ５０によって検出され、メモリに一体的に記憶される使用処理工程を表し得る。よって、図３に表す工程毎に、「音声中断」に焦点を当てているが、例えば、音声中断及びショット・カットを備える「コンテンツ変動」に一般化することが可能である。
【００３７】
前述のように、ショット・カットは、いくつかのやり方で、例えば、連続フレームのマクロブロックのDCT係数における変動を監視してフレーム間のかなりの変動を検出することによって検出することが可能である。しかし、特定の変動であって、より大幅でない変動が同じショット内で生起することもあり得るが、それはしかし、ユーザにとって重要な変動点であり得る。例えば、ショット内で移動し始める俳優（又は物体）は、ユーザの関心の変動であり得る。同様に、（例えば、ドアを通ってショットに歩いて入ってくることによって）ショットに追加される別の俳優も、関心の変動であり得る。そうした変動は、前述の相対的な沈黙期間の後に話し始める俳優と同様である。それらは、ユーザの関心の変動であり得るが、ショット内で生起する。よって、シーン内の俳優（又は物体）の移動の変動は、本発明の目的でのかなりのコンテンツ変動を備え得る。
【００３８】
よって、動きのそうした変動の始まりの位置からの再生は、ユーザに再生のコヒーレンスを提供することができ、本発明の処理における再生位置として備えることもできる。よって、例えば、ユーザは、シーン内の俳優がドアに向かって歩き始めた、ビデオ・ストリーム内の最新の点に戻りたい場合がある。よって、図１の装置２０のプロセッサ５０は、シーン内の個人又は物体を識別し、個人又は物体が、静止状態の後に動き始める、ビデオ・ストリーム内の位置を記憶することもできる。
【００３９】
例えば、図１のビデオ・ストリーム３０を、プロセッサ50内で更に処理して、ショット内で人間の輪郭及び/又は人間の顔を識別し、フレーム間のその移動を検出することができる。当該技術分野で利用可能なものとして存在するリアルタイム性画像認識及び動き検出の方法及び手法で、この目的で、プロセッサ５０内でプログラムすることができるものが多くある。例えば、ビデオ・ストリーム内で移動する人間を識別するのに用い得る手法は、内容を本明細書及び特許請求の範囲に援用する、「Classification  Of  Objects  Through  Model  Ensembles」と題する、Gutta他による西暦2001年2月27日付出願の、本願の出願人に譲渡された同時係属の米国特許出願公開第09/794,  443号明細書に記載されている。（なお、米国特許出願公開第09/794,443号明細書は、国際公開第02/069267号明細書を有する、WIPO公表のPCT出願に相当する。）静止状態の後に人が動き始める、ビデオ・ストリーム内の位置がよって、プロセッサ５０によって識別され、記憶される。
【００４０】
ビデオ・ストリーム内の個人の移動のそうした開始に相当する位置は、上記と同じやり方で記憶装置内の検出されたショット・カット及び音声中断の位置と一体化される。よって、図２に表す各記憶変動位置は、ビデオ・ストリーム内の、音声の開始、移動の開始、又はショット・カットに対する先行位置となる。例えば、L1は、物体に達し始める、現在のショット内の俳優の位置を表し得るものであり、L2は、ショット内で現在話している俳優による音声の開始の位置を表し得るものであり、L3は、最後のショット・カットを表し得る、等である。ユーザが再生機能を始動させると、ビデオ・ストリームが、現在の再生位置Tに対して最も近い先行変動位置であるL1から再生される。これによって、俳優が物体に達し始める点でビデオ・ストリームが開始される。再生をもう一度押すことによって、現在の俳優による音声の開始等であるL2からビデオ・ストリームが再生される。
【００４１】
種々のユーザは、再生機能をカスタマイズするために本発明のシステム及び装置が利用することができる特定の再生傾向を有し得る。例えば、1つ又は複数のユーザの特定群が通常、再生機能を用いて、ビデオ・ストリーム内の最後のショット・カット位置に戻る場合、装置２０は、最新の先行ショット・カットをデフォールト再生位置として設定し得る。装置２０は、再生入力を経時的に監視し、かつ、システムの1つ又は複数のユーザの集合的な選好を反映するよう再生機能を調節する学習アルゴリズムを備え得る。これは経時的に変わり得る。同様なやり方で、システム及び装置は、システム及び装置を用いる別々の個々のユーザ用に再生機能をカスタマイズし得る。その場合、装置２０は、ユーザ毎に（ログイン手順などの）識別処理を有し、種々のユーザの傾向を監視し、記憶することになる。更に、ビデオ・ストリームの記憶変動位置は変動タイプ（ショット・カット、音声、移動等）も備えるものであるので、再生は、現在のユーザの選好に相当しない介在変動位置を飛ばすことができる。そうした選好ベースの再生は、元の再生機能を離れて、ユーザが位置全てを通って順番に戻ることを可能にする一方で、別の入力（例えば、「リピート２」入力）によって起動させることが可能である。
【００４２】
更に、位置LN‐L1が別々のコンテンツ変動（ショット・カット、音声中断等）を備える場合、別々の再生機能を、各タイプの変動から再生するよう始動させることが可能である。その場合、プロセッサ５０は、変動タイプを変動位置とともに記憶する。
【００４３】
更に、もう一度図１を参照すれば、装置２０はあるいは、有線インタフェース又はエア・インタフェースを介してビデオ・ストリーム３０をユーザのディスプレイ装置４０に供給するサービス・プロバイダにあり得る。装置２０は、前述のやり方でビデオ・ストリーム内の変動位置を判定又は検出するようビデオ・ストリームを処理する。ユーザが再生機能を始動させると、それはサービス・プロバイダに送信され、サービス・プロバイダは、やはり前述のように先行変動点位置からビデオ・ストリームを再生する。
【００４４】
更に、上記例示的な実施例では、ビデオ・ストリーム内の先行変動点へ戻ることは、再生機能の別個の始動によって行われている。よって、例えば、ビデオ・ストリーム内で「m」個の変動位置分戻るために、プレイバック・オプションは、「m」回始動されるものとして説明している。再生機能を始動させる他のやり方が考えられ、本発明によって包含される。例えば、１つの制御入力は、再生機能を「m」個の変動位置分、戻させ得る。例えば、入力がリモコン経由である場合、チャンネル番号「5」をリモコン上で押して、再生機能をビデオ・ストリーム内で５個の変動位置分、戻させ得る。あるいは、入力がジェスチャ認識を介する場合、3本の指をさし上げることによって、再生機能をビデオ・ストリーム内の３個の変動位置分、戻し得る。
【００４５】
更に、上記に例示したコンテンツ変動は、限定的なものとして意図されているものでない。本発明は、検出（又はあらかじめ識別）し、再生位置として用い得る何れかのタイプのかなりのコンテンツ変動を包含する。例えば、上記実施例では、音声の開始を備える音声中断、及び、動きの開始を備える、動きの変動を例示した。あるいは（又は更に）、音声及び動きの終結をコンテンツ変動点として用いることが可能である。色のバランス、オーディオの音量、音楽の開始及び終結等などの他のコンテンツ変動も用いることが可能である。
【００４６】
更に、本発明の上記例示的実施例は（オーディオ成分を有する）ビデオ・ストリームに焦点を当てているが、本発明はビデオ成分を備えるメディア・ストリームに限定されるものでない。よって、本発明は他のメディア・ストリームを包含する。例えば、本発明は、オーディオ・ストリームのみの同様な処理も備える。この場合、オーディオ・ストリームを、例えば、テープ・プレイヤ、CDプレイヤ、又はハード・ドライブ・ベースの装置によって生成することができる。（当初、ユーザが再生機能を始動させる前に、外部オーディオ・ストリームを、同時に記録する間に、装置によって受信し、リアルタイムで出力することができる。再生機能が始動されると、オーディオ・ストリームは、受信ストリームに遅れをとり、よって記憶媒体から生成される。）オーディオ・ストリームを処理してオーディオ・ストリームに備えられた先行音声中断を検出し、記憶することは、前述のビデオ・ストリームの処理と同様なやり方で進められる。例えば、ユーザが再生機能を始動させると、オーディオ・ストリームが停止され、再生機能によってユーザから受信された入力によって判定された先行音声中断から再生される。
【００４７】
本発明はいくつかの実施例を参照して説明したが、本発明は、図示し、説明した特定の形態に限定されるものでないことを当業者は認識するであろう。よって、形態及び詳細における種々の変更をその中に、特許請求の範囲記載の本発明の趣旨及び範囲から逸脱することなく行うことができる。例えば、前述のように、音声中断の検出、ショット・カットの検出、画像認識、及び動き検出を行う、本発明において用い得る手法は多くある。よって、音声中断の検出、ショット・カットの検出、画像認識、及び動き検出に関する上記特定の手法は、例としてのものに過ぎず、本発明の範囲を限定するものでない。
【図面の簡単な説明】
【００４８】
【図１】本発明をサポートする装置及びシステムを示す図である。
【図２】再生点Tでのビデオ・ストリーム内の先行変動位置を示す図である。
【図３】本発明の実施例の流れ図である。
【図１】
2007522722.tif 000003
【図２】
2007522722.tif 000004
【図３】
2007522722.tif 000005
【国際調査報告】
2007522722.tif 000006
2007522722.tif 000007
2007522722.tif 000008