(57)【要約】  本発明は、オーディオ／ビデオデータの時間差再生のための方法および装置に関する。その装置は、受信したオーディオ／ビデオデータを格納する格納手段１３と、前記受信したオーディオ／ビデオデータを前記格納手段に記録する手段１２，１７と、前記受信したオーディオ／ビデオデータを記録しながら表示する手段と、前記オーディオ／ビデオデータの記録が継続されている間に、与えられた時間だけその表示を一時停止する手段２０ｂとを備える。本発明によれば、再生モードに復帰する際に、リアルタイムで受信した前記オーディオ／ビデオデータの再生を再開する前に、一時停止中に受信したオーディオ／ビデオデータの概要を前記表示手段によって表示する。
2008524889.tif 000002
【特許請求の範囲】
【請求項１】
受信したオーディオ／ビデオデータを格納する格納手段（１３）と、
前記受信したオーディオ／ビデオデータを前記格納手段に記録する手段（１２，１７）と、
前記受信したオーディオ／ビデオデータを記録しながら表示する手段と、
前記オーディオ／ビデオデータの記録を継続している間に、所定時間においてその表示を一時停止する手段（２０ｂ）と、
を備え、再生モードに復帰する際に、リアルタイムで受信した前記オーディオ／ビデオデータの再生を再開する前に、一時停止中に受信したオーディオ／ビデオデータの概要を前記表示手段によって表示することを特徴とする、オーディオ／ビデオデータの時間差再生装置。
【請求項２】
オーディオ／ビデオデータを受信しながら、受信したオーディオ／ビデオデータの概要を生成する手段（１２，１７）を備えることを特徴とする、請求項１に記載の装置。
【請求項３】
オーディオ／ビデオデータとともに前記概要を受信することを特徴とする、請求項１に記載の装置。
【請求項４】
前記概要を生成する手段（１２，１７）は、表示が停止している間に受信したオーディオ／ビデオデータから重要でかつ代表的な瞬間を抽出することを特徴とする、請求項２に記載の装置。
【請求項５】
前記概要を生成する手段（１２，１７）は、概要を構成するオーディオ／ビデオデータを識別するために、オーディオ／ビデオデータが記録される前に、マーキングを行うことを特徴とする、請求項２に記載の装置。
【請求項６】
概要を生成する手段（１２，１７）は、表示が停止している間に記録されたオーディオ／ビデオデータの代表的な瞬間に対応するオーディオ／ビデオデータを含むファイルを生成することを特徴とする、請求項２または４に記載の装置。
【請求項７】
前記概要を生成する手段（１２，１７）は、表示が停止している間に受信したオーディオデータとビデオデータから前記概要を生成することを特徴とする、請求項２，４，５または６のいずれかに記載の装置。
【請求項８】
前記概要を生成する手段（１２，１７）は、ビデオデータを分析することによって概要として残すべきデータの終了点を検出し、ビデオデータを分析することによって概要として残すべきデータの開始点を検出することを特徴とする、請求項５に記載の装置。
【請求項９】
格納手段を備える記録・表示装置におけるオーディオ／ビデオデータの時間差再生方法であって、
受信したオーディオ／ビデオデータを格納するステップと、
受信したオーディオ／ビデオデータを前記格納手段に記録するステップと、
オーディオ／ビデオデータを記録しながら表示するステップと、
データの記録を継続している間に、所定時間においてそのデータの表示を一時停止するステップと、
を含み、再生モードに復帰する際に、リアルタイムで受信したデータの再生を再開する前に、概要を表示するステップをさらに含むことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ／ビデオデータの時間差再生のための装置および方法に関する。
【背景技術】
【０００２】
近年、デジタルデコーダは、オーディオ／ビデオ番組の生録画を可能とする大容量記録手段が装備されることがますます一般的となってきている。
【０００３】
多くのデジタルデコーダは、リアルタイムで送信されてくる番組を記録し表示する装置のような複雑な機能を備えている。これらは、また、番組の録画と同時の表示、録画を継続しながら再生の一時停止の実行、録画データを用いたデータ表示の再開を可能にする時間差再生機能を備えている。
【０００４】
このようなシステムの欠点は、一時停止を開始した後、ユーザは受信からある一定の時間遅れたオーディオ／ビデオデータを見ることになる点である。このことは、リアルタイムで行われるイベント、特に、ライブモードでの表示がうってつけであるスポーツイベントの場合に特に不利になるおそれがある。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このことから、本発明は、多少の長さの一時停止時間の後にユーザが表示を再開し、一時停止時間の間に起こるかもしれない重要なイベントを見逃さないような機能を提供する。
【課題を解決するための手段】
【０００６】
このために、本発明は、
−受信したオーディオ／ビデオデータを格納する格納手段と、
−前記受信したオーディオ／ビデオデータを前記格納手段に記録する手段と、
−前記受信したオーディオ／ビデオデータを記録しながら表示する手段と、
−前記オーディオ／ビデオデータの記録を継続している間に、前記オーディオ／ビデオデータの表示を所定の時間において一時停止する手段と、
を備えるオーディオ／ビデオデータの時間差再生のための装置を提案する。
【０００７】
本発明によれば、
−再生モードに復帰する際に、表示手段が、リアルタイムで受信した前記オーディオ／ビデオデータの再生を再開する前に、一時停止中に受信したオーディオ／ビデオデータの概要を表示する。
【０００８】
したがって、本発明では、一時停止後に、受信したオーディオ／ビデオデータの表示を再開でき、一時停止時間中に受信した最も重要なデータを最初に表示することができる。このように、ユーザは重要な瞬間を失うことなく、リアルタイムで受信したデータの表示を段階的に再開することが可能となる。このことは、ユーザが一時停止を要求した際に、一時停止により生じる遅延を伴って、受信したオーディオ／ビデオデータを表示することとなり、そのことによりライブモードの表示に追い付かないという、従来知られた時間差再生装置と比較して、本発明の装置は特定の利点を提供する。
【０００９】
好適な実施例によれば、この装置は、受信したオーディオ／ビデオデータの概要を、それを受信しながら生成する手段を備える。 
【００１０】
前記概要はオーディオ／ビデオデータとともに受信されることが好ましい。
【００１１】
このような実施例は、送信ストリーム中に、メタデータのような付加情報を関連付けることが可能な符号化フォーマットに特によく適合する。
【００１２】
概要生成手段は、表示が停止している間に受信したオーディオ／ビデオデータから、重要で代表的な瞬間を抽出するように構成することが好ましい。
【００１３】
実施例によれば、概要生成手段は、概要を構成するオーディオ／ビデオデータを識別するために、それを記録する前にマーキングを行う。
【００１４】
実施例では、概要生成手段は、表示が停止している間に記録されたオーディオ／ビデオデータの代表的な瞬間に対応するオーディオ／ビデオデータを含むファイルを生成することが好ましい。
【００１５】
概要生成手段は、表示が停止している間に受信したオーディオデータとビデオデータとから概要を生成することが好ましい。
【００１６】
概要生成手段は、ビデオデータを分析することによって概要として残すべきデータの終了点を検出し、ビデオデータを分析することによって概要として残すべきデータの開始点を検出することが好ましい。
【００１７】
また、本発明は、格納手段を備える記録・表示装置におけるオーディオ／ビデオデータの時間差再生方法に関するものであって、
−受信したオーディオ／ビデオデータを格納するステップと、
−受信したオーディオ／ビデオデータを前記格納手段に記録するステップと、
−受信したオーディオ／ビデオデータを記録しながら表示するステップと、
−記録を継続しながらデータの表示を所定時間において一時停止するステップと、
を備え、
−再生モードに復帰する際に、リアルタイムで受信したデータの再生の再開を行う前に、前記概要を表示するステップを含むことを特徴とする、オーディオ／ビデオデータの時間差再生方法である。
【発明を実施するための最良の形態】
【００１８】
本発明は、添付する図面を参照して、模範的な実施例および好適な実施によって、よりよく理解され説明されるものであるが、これらによって限定されるものではない。
【００１９】
各図に示されるモジュールは、機能ユニットであって、物理的に区分可能なユニットに分離できる場合もあり、また分離できない場合も考えられる。たとえば、これらモジュール、またはそのいくつかは、特定のソフトウェアの機能部、または単一部品の組み合わせで構成することができる。一方、必要であれば、特定のモジュールを物理的に別体で構成することもできる。
【００２０】
図１〜３は、種々のオペレーティングモードとこれら種々のオペレーティングモードにおけるデータパスを説明する本発明に関する装置の一例を表すものである。
【００２１】
図１は、従来技術で周知であるように、リアルタイムでデータ送信され、記録されるオペレーティングモードを表す。 
【００２２】
ここに示される装置は、デジタルデコーダまたは「セットトップボックス」とすることが好ましい。
【００２３】
セットトップボックスは、２つの衛星放送番組を受信するために、２つのチューナ１ａ，１ｂを備えている。２つのチューナ１ａ，１ｂは、それぞれ復調器２ａ，２ｂに接続されている。復調器２ａ，２ｂの出力は、フィルタリングおよび多重分離モジュール３に接続されている。このモジュール３は、衛星から受信するストリームから種々の番組を復調するために用いられる。これら種々の番組は、それぞれの識別子（ＰＩＤ）に基づいてフィルタリングされる。モジュール３は、コプロセッサ１２に接続されている。このコプロセッサ１２は、専用バスを介して接続される周辺リンクを管理することに関連したタスクからホストプロセッサ１７を解放する。
【００２４】
コプロセッサ１２は、種々のインターフェイスにリンクしており、特に、
−ＵＳＢインターフェイス１６、
−シリアルインターフェイス１５、
−モデム１４、
−ハードディスク１３、
−チップカードリーダ１９、
−支払い専用チップカードリーダ１８、
−ＳＤＲＡＭタイプのホストメモリに関連付けられたホストプロセッサにリンクしている。
【００２５】
また、コプロセッサ１２は、ＰＣＭミキシングモジュール６に接続されている。
【００２６】
チップカードリーダ１８，１９は、それぞれチップカード２１ｂ，２１ａを収容する。
【００２７】
ホストプロセッサ１７は、番組放送者によって提供されるアプリケーションを実行し、コプロセッサ１２を駆動する。
【００２８】
このようなオペレーティングモードでは、チューナ１ａ，１ｂで受信したデータは、ハードディスク１３に記録される。また、表示を行うために、オーディオおよびビデオ出力をそれぞれデジタル／アナログコンバータ７及びＰＡＬ／ＳＥＣＡＭエンコーダ１０を介して送信する。
【００２９】
［記録］
ハードディスク１３上に記録するために、データは、チューナ１ａ，１ｂから復調器２ａまたは２ｂに送信され、次にデマルチプレクサ３に送信される。
【００３０】
オーディオ／ビデオデータは、多重分離されない状態でコプロセッサ１２に送信される。
【００３１】
オーディオ／ビデオデータストリームは、コプロセッサ12によりハードディスク１３に記録される。
【００３２】
［表示］
データは記録されながら表示される。このため、オーディオデータはデマルチプレクサ３からオーディオデコーダ５に送信される。オーディオデータは次にＰＣＭミキシングモジュール６に送信される。
【００３３】
オーディオデータは、ユーザが聴くオーディオ出力に移行する前に、デジタル／アナログコンバータ７に送信される。
【００３４】
ビデオデータは、デマルチプレクサ３からの出力としてＭＰＥＧ−２タイプのデコーダ８に送信される。デコードされたデータは、次に、表示装置に依存するグラフィックカード９およびＰＡＬ／ＳＥＣＡＭエンコーダに送信される。
【００３５】
図２は、図１に記載されたものと同一の装置において、表示を一時停止する要求をした場合のオペレーションを説明する図である。
【００３６】
ポーズボタンが押された時、装置はハードディスク１３へのデータ記録を継続するが、表示にかかわる種々のモジュールに対するデータの送信は行われない。
【００３７】
オーディオ／ビデオデータは、次に、デマルチプレクサ３の出力からコプロセッサ１２に送信される。コプロセッサ１２は、受信したオーディオ／ビデオデータをハードディスク１３に送信する。プロセッサ１７は、受信したオーディオ／ビデオデータの概要を生成する。
【００３８】
好適な実施例によれば、プロセッサ１７は、データを受信すると同時に、その受信したデータの概要を生成する。正しく生成された概要もハードディスク１３に記録される。
【００３９】
プロセッサ１７は、装置が表示モードに復帰しない限り、概要の生成を継続して行う。
【００４０】
概要を生成するための方法はいくつかある。
【００４１】
好適な実施例によれば、プロセッサ１７は、概要作成のためにオーディオデータおよびビデオデータの両方を用いる。プロセッサ１７は、まずオーディオデータ構成要素を分析する。これから、イベント中の重要な瞬間を検出する。オーディオデータを使用してスポーツイベントにおける観衆の反応を検出することができるのであれば、観衆の反応は概要として残すべきハイライトの終了点に生じる場合が多い。ビデオ構成要素の分析により、場面の変化からその後に続く変化を検出することは、場面の変化を検出する方法の確実性を補足して、概要として残すべきイベントの開始シーンを取得するために使用できる。
【００４２】
概要は、表示が一時停止している間に受信した番組の最良の瞬間を含んでいる。他の実施例では、特定のイベントを代表するある特定の一連のシーンだけを含むように、概要を構成することも可能である。たとえば、サッカーの試合について、ゴールシーンだけを含む概要を生成することが可能である。これらの選択はユーザインターフェイス２０ｂを介してユーザにより入力することが可能である。
【００４３】
図４は、後述するように、概要を構成するために、オーディオ構成要素がいかに考慮に入れられるのかを説明する。
【００４４】
オーディオ構成要素及ビデオ構成要素を考慮した自動概要構成方法は、Ｔｏｎｇ  Ｚｈａｎｇの名義で２００１年１２月１４日付け出願された米国特許公開２００３−０１１２２６１号公報に記載されている。
【００４５】
オーディオ／ビデオデータを受信すると、ライブモードにおいて概要を構成するプロセッサ17にそのデータが送信され、装置が再生モードに復帰した時に、この概要の利用が可能になる。概要データは、入力されるビデオストリームの一部であって、送信されてくるイベントの重要な瞬間を再現するものである。受信したストリームのうちのこのようないくつかの部分は、ハードディスク１３上にファイル形式で記録される。
【００４６】
ビデオデータからの重要な瞬間の検出は、ショットとシーンの変化を検出することに基づいている。このような方法は、たとえば、トムソン・ライセンシングの名義により２００３年７月１日付で出願され、２００４年９月３日付で公開された仏国特許出願公開２８５１８７３号公報で提案されている。
【００４７】
送信される番組がスポーツイベントである場合、最良の瞬間で構成される概要の自動生成は、サッカーの試合であればゴール、フリーキック、またはテニスの試合であればウィニングポイントのような、視聴者が特に注目するであろう試合中の瞬間に特に関連する。
【００４８】
他の実施例では、概要データだけを含む他のデータストリームを生成するために、重要な瞬間を抽出する処理を含まないように概要構成方法を構成することもできる。重要な場面を区切るために、ストリームにマーキングを行うことで概要構成方法を構成することができる。ストリームの再生時に、再生ポインタは、マーキングされた場面のイメージだけを再生する。重要な場面のマーキングは、オーディオおよびビデオ構成要素の分析により、概要構成と同様の方法で遂行される。
【００４９】
このように、データは受信しながら記録され、概要を見る際に重要な場面だけを再生するために、ポインタまたはマーカのアドレスだけが格納される。
【００５０】
装置が一時停止モードにある場合には、プロセッサ17は、データを受信しながら概要の生成またはマーキングを行う。
【００５１】
図３は、図１，２で説明したものと同様の装置において、一時停止後に表示再開の要求を行う場合のオペレーションについて説明するものである。
【００５２】
ユーザが以前に見始めてしまった番組の表示を再開したい時、ユーザは装置を表示モードに復帰させる。一時停止時間中に記録されたデータは、概要の形態で、スクリーン上に表示される。このように、ユーザは一時停止時間中に送信されてきた番組を迅速にかつ効率的に見ることができ、ライブで受信している番組にすぐに追い付くことが可能となる。
【００５３】
このために、リスタートモード（ポーズ終了）の検出に応じ、プロセッサ１７は、生成したまたは生成中の概要に関連する情報をコプロセッサ１２に送り、コプロセッサ１２はハードディスク１３上の概要のオーディオ／ビデオデータを読み込み、デマルチプレクサ１２を介してＭＰＥＧビデオデコードモジュール８にオーディオ／ビデオデータを送信し、マルチプレクサ３を介してＰＣＭデコードモジュール６にオーディオデータを送信する。このデータのうち、オーディオ構成要素はモジュール７を介して、ビデオ構成要素はモジュール９，１０を介して、表示モジュールに送信される。
【００５４】
プロセッサ１７からコプロセッサ１２に送信される概要に関する情報は、ハードディスク上の概要の開始アドレスを含む。
【００５５】
概要がデータから分離されて生成されず、重要な瞬間がポインタによって識別されるだけの場合、ハードディスク１３から対応するオーディオ／ビデオデータを読み出す再生ポインタは、プロセッサ１７からコプロセッサ１２に送信される。
【００５６】
概要は、このようにしてハードディスク１３上に記録されたデータが、全て要約されるままで表示される。概要を表示している間、付加情報を表示し、ユーザが見ているデータが概要であることを明示する。同様に、ライブ表示モードへの切替に応じ、ユーザはスク 
リーン上に表示されるメッセージによりライブモードに復帰したことを知ることができる。
【００５７】
したがって、概要データは、番組全体よりも小さな容量であることから、ライブ送信に追い付くことが可能である。ライブ送信に追い付いた時に、図１に示すように、装置はライブ表示モードに復帰する。このことは、視聴者が、一方では試合の重要な瞬間を見たいと思い、他方ではイベントを生で見たいのであって時間差再生モードにそれほど長くはとどまりたくはないと思うような、スポーツイベントに特に有利である。
【００５８】
ユーザが概要を見ている間に一時停止ボタンを押した場合、表示モードを再開するまで、前述したような概要の生成を自動的に継続する。第１の一時停止期間中に生成された概要および第２の一時停止期間中に生成された概要データの全ては、ライブモードに復帰する前に連続で表示される。
【００５９】
図４は、概要の生成におけるオーディオデータの認識を示す状態遷移機械を示し、どのようにして重要な場面の検出精度を高めるかを説明するものである。
【００６０】
この方法は、スポーツイベントやアメリカンスタイルのトークショーのような他のタイプのイベントであって、観衆が強く貢献する必要があるようなイベントを表示する番組中に、あるイベントが起きた時に観衆が反応するという仮定に基づいている。観衆の反応は、オーディオ信号のエネルギーピークを検出することによって求められる。この反応が十分に長い場合、これに関わっている期間が関心事項であると仮定される。
【００６１】
エネルギーレベルは起こるアクションに左右されるが、観衆またはその他の原因にも左右される。これから、イベント中に観衆がさらに反応する瞬間を探索する。
【００６２】
ｍＥが試合開始からの信号のエネルギーの平均を表すとすると、計算されたエネルギーが算出された平均ｍＥよりも大きい場合には、エネルギーピークがそこにある。
【００６３】
さらに正確には、σＥがこれを同じエネルギーの標準偏差を表すものとし、試合の開始からのエネルギーがｍＥ＋ｋ＊σＥよりも大きくなるように、これらのピークを保つようにすることが可能である。パラメータｋはピーク検出の回数を減らすために用いることができる。
【００６４】
ピークがイベント中の関心期間に実際に対応するかを確かめるためには、ピークの持続期間を考慮に入れることが重要である。ある特定の場合、平均すると、このような時間を３秒と推定することが可能である。この時間は、通常、観衆に依存している。
【００６５】
状態遷移機械を表す図４を参照してこの方法を説明する。
【００６６】
再送信の開始において、状態Ｓ１で、エネルギーを推定する。前述したように、このエネルギーが所定の閾値よりも大きい場合には、もしかすると反応があったものと推定され、状態Ｓ２に移行する。エネルギーが閾値以上である限りは状態Ｓ２が維持される。この時間の間に、状態Ｓ２を維持している時間を推定する。エネルギーが閾値よりも下に落ちた時には、状態Ｓ４に移行する。この状態Ｓ４では、状態Ｓ２を維持した時間を見積もる。最小の持続期間よりも長い持続期間維持された場合には、このアクションが重要なアクションであると考慮され、残すべき瞬間としてファイルされ、エネルギーピークを観察する待機状態Ｓ３に移行する。他方、このアクションが十分長く持続しなかった場合、この期間は関心のない期間と分類し、待機状態Ｓ３に移行する。前述したように、エネルギーが閾値を下回らない限り、状態Ｓ３は維持される。 
【００６７】
オーディオとビデオの組み合わせが、どのように重要な瞬間が検出されるのかの精度を高めるのに用いられ、スポーツイベントの場合には特に音が重要である。
【００６８】
本発明は、記述した典型的な実施例に限定されるものではなく、特にスポーツイベントに特定されるものでもなく、いかなるテレビ番組に限定されるものでもない。それはまた、ＭＰＥＧ−２標準以外の規格により符号化されたデータにも適用される。また、それは、衛星放送用セットトップボックス以外のデコーダ、特に、ＡＤＳＬデコーダ、オーディオ／ビデオデータの記録・再生に用いることが可能などのようなタイプの装置にも適用される。
【００６９】
本発明は、概要が、放送会社によって生成され、オーディオ／ビデオストリーム中のメタデータの形式でデコーダに送信されるような他の実施例にも関連している。この正しく受信された概要はデマルチプレクサ３によって多重分離され、ハードディスク１３に記録される。したがって、プロセッサ１７は概要およびオーディオ／ビデオデータを格納するハードディスクの管理のためだけに関わっている。
【図面の簡単な説明】
【００７０】
【図１】通常のオペレーティングモードにおけるデータストリームを説明するための本発明に関する装置の一例を表す。
【図２】番組の表示を一時停止した時のデータストリームを説明するための本発明に関する装置の一例を表す。
【図３】概要表示モードに切り替える際のデータストリームを説明するための本発明に関する装置の一例を表す。
【図４】オーディオ構成要素から番組ハイライトを検出することを説明するための状態遷移機械を表す。
【図１】
2008524889.tif 000003
【図２】
2008524889.tif 000004
【図３】
2008524889.tif 000005
【図４】
2008524889.tif 000006
【国際調査報告】
2008524889.tif 000007
2008524889.tif 000008
2008524889.tif 000009