(57)【特許請求の範囲】
【請求項１】
閾値下埋め込みキーを用いてデータ・ファイルをオーディオ／ビデオ・データに同期させる方法であって、
送信側にて、ネットワーク・ストレージ媒体における上記データ・ファイルの位置及び待ち時間を表すキーを上記オーディオ／ビデオ・データに閾値下で埋め込み、
受信側にて、上記オーディオ／ビデオ・データから上記キーを抽出し、
上記キーが表す上記位置に応じて上記ネットワーク・ストレージ媒体をアクセスし、
上記オーディオ／ビデオ・データの上記キーが埋め込まれたポイントから上記待ち時間だけ経過させることにより、上記オーディオ／ビデオ・データに同期させて上記データ・ファイルを使用する
ことを特徴とする同期方法。
【請求項２】
上記データ・ファイルが、関連した上記オーディオ／ビデオ・データに同期して再生されるメタデータを有し、
上記データ・ファイルを使用するステップにおいて、上記オーディオ／ビデオ・データに同期して表示用に上記メタデータを再生することを特徴とする請求項１の同期方法。
【請求項３】
上記データ・ファイルが、関連した上記オーディオ／ビデオ・データに同期して活性化される制御データを有し、
上記データ・ファイルを使用するステップにおいて、上記制御データに含まれた命令を活性化して上記オーディオ／ビデオ・データに同期して実行されることを特徴とする請求項１の同期方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般に、マルチメディア・システムに関し、特に、マルチメディア・データのメタデータや制御データを再生する際の同期をとるために、及び／又は、制御データに含まれた命令を実行する際の同期をとるために、ビデオ信号に閾値下埋め込みされたキー（閾値以下で埋め込まれたキー・データ）を用いる同期方法に関する。
【０００２】
【従来の技術】
ビデオ信号にウォータマーク（透かし）を入れることが、ビデオ信号の一部として非常に低速のデータを伝送する手段としてしばしば利用されている。認証又はプログラム（番組）の所有権を示すために、また、広告の記録の如くビデオ信号が再生されたことを確かめるために、ビデオ信号にウォータマークを入れることが提案されている。ウォータマーク技術では、非常に低速のデータをビデオ信号のアクティブ部分に挿入して見えないようにする一方、圧縮のエンコードやデコードを何度も行うビデオ信号処理によっても残存できるという頑強性がある。かかるウォータマーク技術は、例えば、ウィリアム・オグラディ等の米国特許第４９６９０４１号「ビデオ信号内へのデータの埋め込み」（特開平２−１３４９９６号公報に対応）や、ダニエル・ベーカー等の米国特許第６２１１９１９号「ビデオ信号内へのデータの透過的埋め込み」（特開平１０−３０４３２２号公報に対応）に記載されている。この米国特許第４９６９０４１号は、ビデオ信号に付加された特定のデジタル・データ・ワードを検知する付加情報検知装置を記載しており、この装置は、検知すべきデジタル・データ・ワードに対応する低レベル波形信号を記憶する波形メモリと、ビデオ信号の水平同期信号に同期したサンプリング・パルスを発生するパルス発生手段と、ビデオ信号の垂直同期信号及びパルス発生手段からのサンプリング・パルスに応じて、ビデオ信号の有効走査部分で且つ各フレームの異なる位置にて波形メモリから低レベル波形信号を読み出すためのアドレス信号を発生するアドレス発生手段と、波形メモリから読出された低レベル波形信号とビデオ信号との相関関係を求める相関係数発生手段とを具えており、相関係数が所定の値を超えた時、特定のデジタル・データ・ワードを検知する。また、米国特許第６２１１９１９号では、信号発生器がビデオ・タイミングに応じて擬似ランダム２進シーケンスを発生し、排他的オア・ゲートがデータ入力と擬似ランダム２進シーケンスからランダム２進パターンを発生し、ミキサが、発振器からの搬送周波数信号をランダム２進パターンで変調して、サブリミナル・データ信号を発生し、加算器がサブリミナル・データ信号をビデオ信号と結合して、ビデオ信号内に透過的にエンコードされたデータを有する出力ビデオ信号を発生することを記載している。
【０００３】
また、補助チャネルを用いて、ビデオ信号に関連したデータを伝送する技術が、ボジダ・ジャンコの米国特許第６０７５５６１号「ビデオ基準画像の低デューティ・サイクル伝送」に記載されている。ところで、インターネットの出現により、データを伝送する補助チャネルとしてインターネットを使用することが提案されている。インターネット上を流れているビデオ・データを再生する際、観察者を体験に巻き込むために、そのビデオ・データに関連した他のデータ（メタデータと呼ばれる）も再生することが望ましいことがある。また、ビデオ・データを受信する装置に制御データを送信することも望ましい。この制御データは、次の目的の１つ以上のために使用される。すなわち、目的には、（１）コマーシャルのキュー（合図）、（２）ビデオ・データを転送すべき宛先の特定、（３）特殊な照明又は音響効果を起動するなど他の感覚キューを起動するための補助装置の制御、（４）蓄積前にビデオを圧縮するためのパラメータの制御などがある。
【０００４】
【発明が解決しようとする課題】
しかし、ビデオ・データにウォータマーク技術を用いて、制御データやメタデータを伝送することは、現在まで可能でなかった。９６００ボーの如きメタデータのビット・レートは、ウォータマークにより割くことができる非常に低速なデータ・レート・チャネルにとっては速すぎる。ウォータマーク技術を直接用いて制御データを伝送することは、アプリケーションに応じて変化するデータ量によっては、可能かもしれないが、不可能かもしれない。これは、オーディオ・データの場合も同様である。
【０００５】
観察者の観察中に、オーディオ／ビデオ・データ（オーディオ・データ及びビデオ・データの少なくとも一方のデータ）に関連した適切なポイント（位置又は時点）にメタデータが生じるように、又は、ビデオ・データに関連した適切なポイントで制御データを引き出して使用できるようにするために、メタデータや他の制御データを異なるチャネルで伝送する際に、これらメタデータや他の制御データをどのようにビデオに同期させるかという問題が生じる。
【０００６】
そこで、オーディオ／ビデオ・データを再生する際に、メタデータ又は制御データを関連したオーディオ／ビデオ・データに同期させる手段が望まれている。
【０００７】
したがって、本発明は、メタデータ又は制御データが含まれ別チャネルで伝送されるデータ・ファイルを、オーディオ／ビデオ・データに同期させる同期方法を提供するものである。
【課題を解決するための手段】
【０００８】
本発明は、閾値下埋め込みキー（閾値下で埋め込まれたキー・データ）を用いてデータ・ファイルをオーディオ／ビデオ・データ（オーディオ・データ及びビデオ・データの少なくとも一方）に同期させる方法であって；送信側にて、ネットワーク・ストレージ媒体（１４）におけるデータ・ファイルの位置及び待ち時間を表すキーをオーディオ／ビデオ・データに閾値下で埋め込み（１８）；受信側にて、オーディオ／ビデオ・データからキーを抽出し（１６）；キーが表す位置に応じてネットワーク・ストレージ媒体（１４）をアクセスし；オーディオ／ビデオ・データのキーが埋め込まれたポイントから上記待ち時間だけ経過させることにより、オーディオ／ビデオ・データに同期させてデータ・ファイルを使用することを特徴としている。
【０００９】
本発明によれば、オーディオ／ビデオ・データ内に閾値下（subminal）で埋め込みんだキーは、ポインタとして機能し、メタデータ及び／又は制御データを含んだデータ・ファイル用の信号を同期させるので、メタデータがビデオ・データと共に表示されたり、且つ／又は、制御データ内に含まれた命令が適切な時点に実行される。システムの伝送側にて、オーディオ／ビデオ・データに同期してキーが発生するが、このキーは、対応するデータ・ファイルに関連している。このキーは、ウォータマーク技術を用いて、適切なポイントでオーディオ／ビデオ・データ内に閾値下で埋め込まれている。受信側において、キーは、オーディオ／ビデオ・データからデコードされ、即ち、抽出され、この抽出されたキーを用いて、データ・ファイルを含んだネットワーク・サーバーのネットワーク・ストレージ媒体にアクセスする。キーを抽出すると、このキーが指示するようにオーディオ／ビデオ・データと同期したポイントで、データ・ファイルからのメタデータをビデオ・データと共に表示したり、又は、制御データを用いて指定された時点で１つ以上の補助機能を実行する。データ・ファイルが小さい場合、キー抽出（引き出し）の遅延が短いので、このキーは、オーディオ／ビデオ・データの最初のフレームの前の数フレームに埋め込んでもよい。なお、この最初のフレームは、データ・ファイルと関連している。一方、大きなデータ・ファイルの場合、キー抽出の遅延が長いので、このデータ・ファイルに関連した最初のフレームの数秒前にキーが挿入される。このキーは、データ・ファイルを引き出すための「アドレス」（ネットワーク・ストレージ媒体におけるデータ・ファイルの位置）を提供すると共に、かかるデータ・ファイルからのメタデータをビデオ・データと共に観察者に対して再生するために必要な遅延時間（キーの埋め込まれたフレームからの待ち時間）、又は、制御データ内に含まれた命令を実行するまでの待ち時間（キーの埋め込まれたフレームからの待ち時間）を知らせる。この方法において、データ・ファイルは、オーディオ／ビデオ・データと同期している。
【００１０】
本発明の目的、利点及び新規な特徴は、添付図を参照した以下の説明から明らかになろう。
【００１１】
【発明の実施の形態】
図１は、本発明の同期方法により、閾値下埋め込みキー（閾値下で埋め込まれたキー）を用いて、データ・ファイルをオーディオ／ビデオ・データに同期させるシステムのブロック図である。ビデオ・データと、オーディオ・データと、メタデータ及び／又は制御データを含んだ関連データ・ファイル（図では、メタデータのみを示している）とが、編集／制作装置１２に入力される。この編集／制作装置１２の出力は、ストリーミングされたオーディオ／ビデオ・データと、関連したキーを有するデータ・ファイル（図では、キー付きメタデータ・パケットとして示している）とである。データ・ファイルは、ネットワーク・サーバーの如き適切なネットワーク・ストレージ媒体１４に蓄積され、キー及びオーディオ／ビデオ・データのストリームは、上述の米国特許第４９６９０４１号及び第６２１１９１９号に記載の如きキー埋め込み装置１８に入力される。なお、キーは、ストレージ媒体１４内の関連データ・ファイルの位置（アドレス）と、フレーム数で表す待ち時間を示す情報を有する。なお、この待ち時間は、オーディオ／ビデオ・データのストリームと同期して、データ・ファイルからの制御命令を実行すべき時間までの、又は、メタデータを再生すべき時間までの、このキーが埋め込まれたフレームからの待ち時間であり、このデータ・ファイルのアクセスでの待ち時間を表す。大きなデータ・ファイルには、長いアクセス時間が必要なので、このデータ・ファイルが使用されるフレームの遙か前のフレームにキーが埋め込まれる。一方、小さなデータ・ファイルでは、長いリード・タイム（準備時間）が必要ない。
【００１２】
埋め込まれたキーを有するオーディオ／ビデオ・データのストリームが、伝送チャネルを介して受信側に伝送される。受信側において、キー・デコーダ１６は、オーディオ／ビデオ・データのストリーミングからキーを抽出して、インターネットなどの別のチャネル２０をアクセスする。キーからの情報は、このチャネル２０を介してネットワーク・ストレージ媒体１４に伝送され、このキーからの情報に応じてストレージ媒体１４から読み出されたデータ・ファイルは、チャネル２０を介して、キー・デコーダ１６内のバッファに伝送される。キーが埋め込まれたフレームからのフレーム数（待ち時間）が、このキーが示す如く、キー埋め込みのフレームから経過すると、データ・ファイルのメタデータが再生されて、オーディオ／ビデオ・データのストリームと同期するように、このオーディオ／ビデオ・データのストリームと共に再生システム２２に供給される。代わりに、データ・ファイル内の制御データに含まれている命令をオーディオ／ビデオ・データと同期して実行させてもよい。再生システム２２は、消費者向けテレビジョン受像器用のセット・トップ・ボックスや、マルチメディア・コンピュータでもよく、観察者は、メタデータを観察するか否か、メタデータの部分のみを観察するか否かなどの制御ができる。また、再生システム２２は、制御データ内に含まれた命令を実行する装置であってもよい。
【００１３】
よって、本発明は、メタデータ及び／又は制御データを含んだデータ・ファイルを関連したオーディオ／ビデオ・データのストリームと同期させるために、オーディオ／ビデオ・データ内に閾値下で埋め込まれたキーを用いる。このデータ・ファイルは、オーディオ／ビデオ・データのチャネルとは別のチャネルにより提供する。これらキーには、ネットワーク・ストレージにおけるデータ・ファイルのアドレスや、データ・ファイル内のメタデータをオーディオ／ビデオ・データのストリームと同期して再生するための待ち時間や、制御データ内の命令を実行するための待ち時間の情報が含まれている。
【００１４】
【発明の効果】
上述の如く、本発明の同期方法によれば、オーディオ／ビデオ・データを伝送するチャネルと別のチャネルで、このオーディオ／ビデオ・データに関連したデータ・ファイルを伝送する際に、ネットワーク・ストレージ媒体におけるデータ・ファイルの位置と、データ・ファイルの待ち時間を表すキーをオーディオ／ビデオ・データに閾値下（サブミナル）で埋め込んでいる。よって、キーから得た位置情報に応じてネットワーク・ストレージ媒体からデータ・ファイルを取り出し、キーから得た待ち時間に応じて、このデータ・ファイルを使用することにより、データ・ファイルをオーディオ／ビデオ・データに確実に同期させることができる。
【図面の簡単な説明】
【図１】本発明の同期方法により、閾値下埋め込みキーを用いて、データ・ファイルをビデオに同期させるシステムのブロック図である。
【符号の説明】
１２  編集／制作装置
１４  ネットワーク・ストレージ媒体
１６  キー・デコーダ
１８  キー埋め込み装置
２０  インターネット（チャネル）
２２  再生システム
【図１】
0004076754.tif 000002