(57)【要約】  本発明はプログラム形式で受信されたマルチメディアデータの記録装置およびプログラム形式で受信されたマルチメディアデータの記録方法に関する。マルチメディアデータの記録装置は、プログラム形式で受信されたマルチメディアデータを連続して記録するように構成された一時記憶手段（７）と持続記憶手段（８）とを有しており、さらに一時記憶手段（７）から持続記憶手段（８）へプログラムを選択的に移動させる移動手段（６）を含む。ここで本発明の装置は、受信されたプログラムを複数のユニットへ分割するセグメンテーション手段（５）と、１つまたは複数のユニットを一時記憶手段（７）から持続記憶手段（８）へ選択的に移動させる移動手段（６）とを有する。
2008504639.tif 000002
【特許請求の範囲】
【請求項１】
プログラム形式で受信されたマルチメディアデータを連続して記録するように構成された一時記憶手段（７）と持続記憶手段（８）とを有しており、一時記憶手段（７）から持続記憶手段（８）へプログラムを選択的に移動させる移動手段（６）が含まれる、
プログラム形式で受信されたマルチメディアデータの記録装置において、
受信されたプログラムを複数のユニットへ分割するセグメンテーション手段（５）と、１つまたは複数のユニットを一時記憶手段（７）から持続記憶手段（８）へ選択的に移動させる移動手段（６）と
を有する
ことを特徴とするプログラム形式で受信されたマルチメディアデータの記録装置。
【請求項２】
セグメンテーション手段（５）はプログラムを階層的に編成されたユニットへ分割する、請求項１記載の装置。
【請求項３】
セグメンテーション手段（５）はユニットごとにセグメンテーション情報を形成し、該セグメンテーション情報は一時記憶手段（７）におけるユニットの開始アドレスおよび終了アドレスと該ユニットのマルチメディアコンテンツに関する情報とを含む、請求項１または２記載の装置。
【請求項４】
階層的に編成されたユニットはビデオ画像の叙述ユニットの構造を表す、請求項１から３までのいずれか１項記載の装置。
【請求項５】
セグメンテーション手段（５）はプログラムとともに受信された情報データにしたがってプログラムを分割するように構成されている、請求項１から４までのいずれか１項記載の装置。
【請求項６】
セグメンテーション手段（５）はコンテンツにしたがってプログラムを分割するように構成されている、請求項１から５までのいずれか１項記載の装置。
【請求項７】
プログラムを分割するセグメンテーション手段（５）は、受信した各プログラムを複数のショットへ分解する分解手段と、各ショットに関する少なくとも１つのキー画像を抽出するキー画像抽出手段と、各キー画像の視覚的属性を抽出する属性抽出手段と、抽出された属性の類似性にしたがってキー画像をユニットへまとめるグループ化手段とを含む、請求項６記載の装置。
【請求項８】
一時記憶手段（７）および持続記憶手段（８）は同じ記憶装置上に配置されている、請求項１から７までのいずれか１項記載の装置。
【請求項９】
１つまたは複数のユニットを一時記憶手段（７）から持続記憶手段（８）へ選択的に移動させる移動手段（６）はユーザからの選択情報を受信するように構成されている、請求項１から８までのいずれか１項記載の装置。
【請求項１０】
新たなプログラムの開始を検出し、該検出に応じてセグメンテーション手段をリセットする検出手段を含む、請求項１から９までのいずれか１項記載の装置。
【請求項１１】
プログラム形式で受信されたマルチメディアデータを連続して記録するように構成された一時記憶手段が設けられており、該一時記憶手段から持続記憶手段へプログラムを選択的に移動させるステップを含む、
プログラム形式で受信されたマルチメディアデータを記録する方法において、
受信されたプログラムを複数のユニットへ分割するセグメンテーションステップと、
１つまたは複数のユニットを一時記憶手段から持続記憶手段へ選択的に移動させる移動ステップと
を有する
ことを特徴とするプログラム形式で受信されたマルチメディアデータの記録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はプログラム形式で受信されたマルチメディアデータの記録方法およびプログラム形式で受信されたマルチメディアデータの記録装置に関する。
【０００２】
より詳細に云えば、本発明は、ビデオプログラムをディジタルデコーダおよびプログラム再生装置などの機器に記録する手段に関する。
【０００３】
パーソナルビデオレコーダＰＶＲは種々の記録機能および事後再生機能を有している。ＰＶＲには数時間のビデオプログラムを記録する記憶手段、例えばハードディスクなどが設けられている。また、容量の大きな記憶手段に加えて、これらの機器は高性能のビデオデータ処理機能も有している。
【０００４】
こうした機器はユーザがプログラムをプレビューするために用いられることもあり、その場合、ユーザにとって関心のあるプログラムであった場合には遡及的にそのプログラムが記録される。このときデータは連続的に記録され、ユーザが持続的に当該のデータを取得することを決定すれば、持続的に記憶される。このことはユーザが映画の或る一部ではなく全部に関心を有する場合にも当てはまる。
【０００５】
ここで既存の機器を用いる場合には、ユーザはプログラムをオフラインで開始部から記録することはできるが、コンテンツに応じてプログラムのパートごとに記録することはできない。
【０００６】
こうした機能は、各ユーザにおいて、例えば或る動きと他の動きとの重要度の異なるスポーツイベントや、所定のドキュメントごとに個々の関心の分かれるＴＶニュースまたはＴＶレポートなどについて特に有利である。
【０００７】
このために、本発明は、プログラム形式で受信されたマルチメディアデータを連続して記録するように構成された一時記憶手段と持続記憶手段とを有しており、一時記憶手段から持続記憶手段へプログラムを選択的に移動させる移動手段が含まれる、プログラム形式で受信されたマルチメディアデータを記録する装置に関する。ここで本発明によれば、受信されたプログラムを複数のユニットへ分割するセグメンテーション手段と、１つまたは複数のユニットを一時記憶手段から持続記憶手段へ選択的に移動させる移動手段とを有することを特徴とする。
【０００８】
セグメンテーション手段はビデオプログラムをユニットへ分解するために用いられ、これによりユーザはいっそう精細な粒状度を得て、一時記憶手段から当該のコンテンツの全体ではなく断片を選択することができる。
【０００９】
有利な実施形態によれば、セグメンテーション手段はプログラムを階層的に編成されたユニットへ分割するように構成されている。
【００１０】
これにより有利にはユーザがプログラムの構造を理解して容易にブラウジングすることができる。
【００１１】
有利な実施形態によれば、セグメンテーション手段によりユニットごとにセグメンテーション情報が形成され、このセグメンテーション情報は一時記憶手段におけるユニットの開始アドレスおよび終了アドレスとユニットのマルチメディアコンテンツに関する情報とを含む。
【００１２】
したがって一時記憶手段内でブラウジングが可能となり、選択されたユニットの識別が容易になる。
【００１３】
有利には、階層的に編成されたユニットはビデオ画像の叙述ユニット（ｎａｒｒａｔｉｖｅ  ｕｎｉｔ）の構造を表す。
【００１４】
実際には、ユーザは通常は時間基準などではなくビデオコンテンツによって所望の瞬間を選択している。ただし本発明において例えばビデオの開始から経過した時間にしたがってユニットを形成し、時間に依存してブラウジングを行うこともできる。
【００１５】
有利な実施形態によれば、セグメンテーション手段はプログラムとともに受信された情報データにしたがってプログラムを分割するように構成されている。
【００１６】
所定の送信モードまたは符号化モードを、ビデオコンテンツを備えたメタデータと称される情報データの形成および送信に用いることができる。この場合、メタデータはビデオデータから抽出される。このときメタデータにビデオの構造に関する情報が含まれていれば、ビデオのセグメンテーションを迅速に行うことができる。これは例えば、所定のＴＶ放送がポストプロダクションスタジオで抽出されるケースなどである。
【００１７】
有利な実施形態によれば、セグメンテーション手段はプログラムをコンテンツにしたがって分割するように構成されている。
【００１８】
有利には、プログラムを分割するセグメンテーション手段は、受信した各プログラムを複数のショットへ分解する分解手段と、各ショットに関する少なくとも１つのキー画像を抽出するキー画像抽出手段と、各キー画像の視覚的属性を抽出する属性抽出手段と、抽出された属性の類似性にしたがってキー画像をユニットへまとめるグループ化手段とを含む。
【００１９】
有利には、一時記憶手段および持続記憶手段は同じ記憶装置上に配置されている。
【００２０】
容量の大きな持続記憶手段が存在している場合には、その空きスペースを一時記憶手段として用いることも有利である。
【００２１】
有利な実施形態によれば、１つまたは複数のユニットを一時記憶手段から持続記憶手段へ選択的に移動させる移動手段はユーザからの選択情報を受信するように構成されている。
【００２２】
有利には、記録装置は、新たなプログラムの開始を検出し、この検出に応じてセグメンテーション手段をリセットする検出手段を含む。
【００２３】
また本発明は、プログラム形式で受信されたマルチメディアデータを連続的に一時記憶手段および持続記憶手段へ記録する方法に関する。この方法は、ビデオプログラムを一時記憶手段から持続記憶手段へ選択的に移動させるステップを含む。ここで本発明によれば、受信されたプログラムをユニットへ自動分割するセグメンテーションステップと、１つまたは複数のユニットを一時記憶手段から持続記憶手段へ選択的に移動させる移動ステップとを有することを特徴とする。
【００２４】
以下に図面を参照しながら有利な実施形態に基づき本発明を詳しく説明する。ただし本発明はこれらの実施形態に限定されるものではない。ここで図１には本発明の装置の例が示されており、図２には本発明のセグメンテーション方法の例が示されている。
【００２５】
なお、以下で説明するモジュールは、物理的に区別することのできるユニットに対応させてもよいし、対応させなくてもよい。例えば、当該の各モジュールまたはその幾つかを単一のコンポーネントにまとめることもできるし、同一のソフトウェアの種々の機能とすることもできる。これとは逆に、場合によっては幾つかのモジュールを複数の別個の物理的な実体によって構成してもよい。
【００２６】
本発明の方法に適する機器は例えばＤＶＢスペシフィケーションに準拠したレシーバ／デコーダである。これはＩＳＯ／ＩＥＣ１３８１８−１規格のトランスポート層を利用している。
【００２７】
ディスプレイユニット１はリモートコントロールユニットの形態のユーザインタフェース１３を有している。これによりユーザは命令をネットワークドライブ３、ディスクドライブ４およびコントローラ６へ送信することができる。
【００２８】
別の実施例として、ユーザインタフェース１３はリモートコントロールユニットではなく、例えばユーザに対してデータ入力およびデータ受信を可能にするキーボード、スクリーンパネルその他のユニットであってもよい。
【００２９】
ディスプレイユニットは受信されたビデオプログラムをプレビューするための図示されていないディスプレイスクリーンを含む。
【００３０】
受信ユニット２はネットワーク１１へリンクしている。ネットワーク１１はケーブルネットワーク、衛星ネットワークまたは他の利用可能なビデオ伝送型ネットワークである。受信ユニットは信号を復調し、ユーザの選択したプログラムに相応にストリームを再構成するため、当該のストリームをデマルチプレクスする。
【００３１】
ネットワークドライブ３は受信ユニット２の出力側に接続されている。ネットワークドライブ３はビデオプログラムを受信ユニットから受け取り、これをディスプレイユニットへ送信する。
【００３２】
ネットワークドライブ３に接続されている復号化ユニット１２は受信ユニット２から受け取られたディジタルストリームを解凍し、選択されたプログラムの画像を形成するピクセルを再構成する。当該の画像は再度ネットワークドライブ３を介してスクリーンでの表示のためにディスプレイユニット１へ送信されるか、またはプログラムの記憶および／またはセグメンテーションのために記憶ユニット１０へ送信される。
【００３３】
記憶ユニット１０はコントローラ６および複数のエリアに分割された記憶手段を有している。記憶手段の各エリアは、一時記憶メモリ７（実際にはキャッシュまたはテンポラリバッファ）、ビデオコンテンツの持続記憶メモリ８、および、その時点のプログラムのセグメンテーションを記述したメタデータを記憶するビデオ構造メモリ９に割り当てられている。
【００３４】
有利な実施例では、記憶ユニットはハードディスクを有する。他の実施例として、ＤＶＤプレーヤ／レコーダまたはビデオデータを記録するための他の記憶手段を用いることもできる。１つの実施例では、メモリ７，８，９は物理的に区別されるユニットである。一時記憶メモリ７およびビデオ構造メモリ９は例えばＲＡＭタイプのメモリを用いる形態で構成され、ビデオコンテンツの持続記憶メモリ８はハードディスクを含む形態で構成される。
【００３５】
コントローラ６は、ユーザインタフェース１３を介してユーザの要求があったとき、データをビデオコンテンツの持続記憶メモリ８から一時記憶メモリ７へ移動させる。
【００３６】
プログラムは処理ユニット５によって分割される。処理ユニット５はプロセッサの形態で構成されている。他の実施例として、処理ユニット５が専用プログラマブル回路またはセグメンテーション以外の目的に用いられる回路であってもよい。
【００３７】
図１の機器は２つのモード、すなわちノーマルモードおよび遡及的記録モードで動作する。
【００３８】
以下に図１，図２を参照しながら２つのモードを説明する。
【００３９】
ノーマルモード
ノーマルモードは、データがネットワーク１１から受信され、ディスプレイユニット１へ送信され、ユーザが例えば従来のＴＶと同様に直接にデータを鑑賞できる動作モードに相応する。
【００４０】
プログラムは周知のＴＶ機器のリモートコントロールユニットを介してユーザにより選択される。
【００４１】
このモードでは、従来のＴＶ操作に比べて、データが記憶ユニット１０にも送信される。復号化されたビデオストリームはサーキュラバッファとして構成された一時記憶メモリ７へ連続的に記録される。このバッファがいっぱいになると、最も旧いメモリページが上書きされ、新たなデータによって置換される。一時記憶メモリは高いビットレートで長時間送信される放送の全てを記憶できるように構成されていなければならない。
【００４２】
新たなプログラムが受信されると、処理ユニット５は受信開始後ただちに受信されたプログラムの構造を分析する。処理ユニット５で行われるセグメンテーション方法は図２に示されている。
【００４３】
セグメンテーション方法はプログラム受信の開始から適用され、これによりプログラムは受信時に分割される。
【００４４】
第２の実施例では、図２のセグメンテーション方法がプログラムの受信終了後にのみ適用される。この第２の実施例では、本発明のセグメンテーション方法は、プログラムの受信終了前にユーザがプログラムを変更した場合には実行されない。
【００４５】
セグメンテーション情報は形成された時点でビデオ構造メモリ９に記録される。
【００４６】
プログラムの開始インジケータおよび終了インジケータは、通常、電子番組ガイドを形成して受信機で表示できるように、受信データストリームとして送信される。これは特に、プログラムの開始情報および終了情報がＤＶＢ規格に準拠してＤＶＢＳＩ（サービス情報）セクションのイベント情報テーブルとして送信されるプログラムに対して行われる。
【００４７】
当該のプログラムの開始インジケータおよび終了インジケータは処理ユニット５によって送信終了ごとに本発明のセグメンテーション方法を停止およびリセットするために用いられる。
【００４８】
ビデオ構造メモリ９に記録されているセグメンテーション情報は、ａ）階層構造のレベルおよびセグメントの位置の双方を符号化しているその時点の送信におけるセグメント識別子、ｂ）セグメントの開始アドレスを定義している一時記憶メモリ７のポインタ、ｃ）セグメントの終了アドレスを定義している一時記憶メモリ７のポインタ、および、ｄ）セグメントコンテンツがプログラムとともに受信されたメタデータとして供給されている場合のセグメントコンテンツのテキスト記述を含む記録のアレイの形態で表される。
【００４９】
遡及的記録モード
この動作モードでは、ユーザはプレビューしたプログラムまたは現在鑑賞しているプログラムの一部または全部を持続記憶メモリに記録しようとしている。
【００５０】
セグメンテーション情報は処理ユニット５によってノーマルモードについて説明したのと同様に形成される。
【００５１】
当該のセグメンテーション情報から構造情報が形成され、ユーザインタフェース１３へ送信される。この構造情報はユーザインタフェース１３によって理解可能な情報である。
【００５２】
構造情報はディスクドライブ４を介してユーザインタフェース１３へ送信される。構造情報はセグメンテーション方法が実行されたときに処理ユニット５によって形成される。
【００５３】
別の実施例では、セグメンテーションプログラムが実行されているときには、プログラムの終了まで構造情報は送信されない。
【００５４】
ユーザは利用可能なインタフェースのタイプに応じて種々のタイプの情報をプレビューすることができる。
【００５５】
ユーザインタフェース１３がリモートコントロールユニットである場合、"＋"または"−"などの機能ボタンがビデオプログラムの叙述ユニットへの分解に関する階層構造の粒状度のレベルを選択するために用いられる。
【００５６】
ユーザインタフェースがより包括的でキーボードを有する場合、ユニットの選択はユーザにとっていっそう単純となる。カーソルを用いて所望の叙述ユニットを選択できるからである。
【００５７】
ユーザインタフェース１３にスクリーンが存在する場合、当該のインタフェースをユニットのコンテンツの概要表示に用いることができる。この概要表示はセグメンテーションプログラムによって当該のデータが形成されたときのセマンティクスタームによって行われる。
【００５８】
プログラムをプレビューしているとき、ユーザはいつでも記録したいセクションの粒状度レベルを選択することにより、遡及的記録を開始することができる。これは階層構造のレベルｋの全てのドキュメントまたはセクションについて可能である。ユーザは例えばリモートコントロールユニットの"遡及的記録"ボタンを押してこれを開始する。選択情報はコントローラ６に送信され、このコントローラはビデオ構造メモリ９のセグメンテーション情報を用いて持続記憶メモリ８へ選択されたユニットを移動させるよう命令する。装置は選択された粒状度レベルによって定義されたその時点のセグメントの開始および終了に相応するアドレスポインタをサーチする。
【００５９】
別の動作モードでは、ユーザはプログラムの受信終了時にスクリーンに現れるメッセージにより記録を決定する。メッセージはユーザに対して持続記憶メモリにプログラムの一部または全部を記録するか否かをたずねるものである。
【００６０】
選択されたユニットが一時記憶メモリ７から持続記憶メモリ８へ送信されたとき、ネットワークから受け取られた新たなデータの連続記録が一時記憶メモリ７で並列に続行される。
【００６１】
セグメンテーションはあらかじめビデオコンテンツの持続記憶メモリ８に持続的に記録されていたドキュメントにも適用可能である。これは特にユーザがプログラムを視聴せずに記憶ユニットに記録するときに有利である。当該のプログラムの一部がユーザに関心のあるものであった場合、このユーザはそのパートのみを取得することができる。この場合、このユーザはユーザインタフェース１３を介して処理ユニット５に対してプログラムの分割を要求する。ユーザインタフェース１３は持続記憶メモリ８に記録されたプログラムのセグメンテーションを命じるボタンを含む。当該のセグメンテーションはビデオ構造メモリ９に記録されており、ユーザはリモートコントロールユニットを介してこれにアクセスし、コントローラ６に対して取得したいユニットを持続記憶メモリ８に記憶するよう要求する。この場合、ユーザはそれ以前に記憶されていたプログラムを完全に消去することができる。
【００６２】
ユーザインタフェースは既存のリモートコントロールユニットに比べて新たなフィーチャから成っていてもよい。実際には、ユーザインタフェースはビデオプログラムのブラウジングが行えるように構成される。これは特に本発明に適するが、持続記憶メモリへの記録のためではなく単に事後にプログラムを再生して鑑賞するブラウジングに対しても用いることができる。実際には、或るユーザがお気に入りのテニスの試合を再度、ただし、ひいきの選手がポイントを得た瞬間のみ鑑賞しようとしている場合などが当てはまる。このときユーザはユーザインタフェース１３のセグメンテーションボタンを押すことにより、当該のテニスの試合のプログラムについてセグメンテーションプログラムを実行させる。セグメンテーションが行われる場合、処理ユニット５はコントローラ６にセグメンテーション情報の終了を送信する。この情報はユーザインタフェース１３に与えられる。ユーザはユーザインタフェース１３を介してディスプレイモードを選択し、リモートコントロールユニットのボタンの選択によってひいきの選手がポイントを得た瞬間を鑑賞することができる。ここでポイントを得た瞬間は例えば"＋"または"−"のボタンを介して後続のポイントまたは先行のポイントからサーチすることもできる。
【００６３】
図２には処理ユニット内で行われる受信ビデオプログラムのセグメンテーション方法が示されている。
【００６４】
複数の階層的セグメンテーション方法が１つのビデオドキュメントを複数のセマンティクスユニットへ分割するために存在している。
【００６５】
このアルゴリズムの主なフェーズが図２に示されている。
【００６６】
まず、ビデオプログラムはステップＳ１でショットへ分割される。各ショットはショット遷移に相応する。
【００６７】
１つのビデオプログラムを複数のショットへ分解する方法には種々のものがある。こうした方法の１つがＴｈｏｍｓｏｎ  Ｌｉｃｅｎｓｉｎｇ  ＳＡによる２００２年１０月２８日付の仏国特許出願第０２１３９７８号明細書に記載されている。この出願ではショットごとのキー画像の抽出についても説明されている。１つまたは複数のキー画像がステップＳ２でショットの動き品質に依存して各ショットから抽出される。１つのショットは２つ以上のキー画像によって表される強い動きを表す。
【００６８】
次に、ステップＳ４で画像が類似性にしたがってグループ化される。
【００６９】
画像の類似性は画像間で測定された距離により計算される。画像間の距離の測定は属性Ｆ間の距離の測定に基づく。属性ＦはステップＳ３で抽出される。
【００７０】
属性Ｆは選択された画像の特性を表す。この特性は、本発明を限定するものではないが、例えばテクスチャまたは色である。これに代えて、属性としてウェーブレット変換の優位係数を考慮することもできる。
【００７１】
種々の属性計算方法が存在しており、当該分野の技術者には良く知られている。
【００７２】
計算される距離Ｄは図示されているようにユークリッド距離によって定義される。有利には、当該の距離は画像を表すショットの時間的近縁性にしたがって画像間の類似性を重みづけする時間成分を含んでいる。画像の類似性はショットの近縁性よりも大きい。
【００７３】
属性の空間においてデータを自動分類するためのアルゴリズムは、関連するショットを"シーン"へまとめる画像のグループ化のステップＳ５に用いられる。各シーンは通常、叙述ユニットでのコンテンツの構造の良好な近似を提供する。
【００７４】
もちろんこれらの手法は特に階層的分解の可能な構造のビデオプログラムに適用される。典型的には、前述のテニスの試合のプログラムで云えば、ポイント、ゲーム、セット、マッチのほか、検出されたタイムアウトおよび残り時間などによって分解される。
【００７５】
このような分解方法は例えば"Ｔｈｅ  Ｔｒｕｓｔｅｅｓ  ｏｆ  Ｐｒｉｎｃｅｔｏｎ  Ｕｎｉｖｅｒｓｉｔｙ"による１９９５年２月３日付の米国特許第５７０８７６７号明細書に記載されている。
【００７６】
ビデオプログラムは叙述ユニットへ分解され、セグメンテーション情報はビデオ構造メモリ９へ送信される。
【００７７】
別の実施例として、セグメンテーション情報はビデオプログラムに付随するメタデータとして送信される。これは例えばＭＰＥＧ７規格のマルチメディアコンテンツに相応する。セグメンテーション情報はビデオデータとともに復号化され、ビデオ構造メモリ９に記録される。
【図面の簡単な説明】
【００７８】
【図１】本発明の装置を示す図である。
【図２】本発明のセグメンテーション方法を示す図である。
【図１】
2008504639.tif 000003
【図２】
2008504639.tif 000004
【国際調査報告】
2008504639.tif 000005
2008504639.tif 000006
2008504639.tif 000007