(57)【要約】ビデオ／ＴＶプログラムの観察者が自動的に、又は要求によりビデオ／ＴＶプログラムに関連した同期された補助マルチメディア情報を受け取ることを可能とするシステムと方法が開示される。補助マルチメディア情報はインターネットドキュメントとして、例えば、シンクロナイズド  マルチメディア  インテグレーション  ランゲージ（SMIL）を使用して受け取られる。同期情報はビデオ／ＴＶプログラムから受け取られ／抽出される。同期情報は、キーフレーム、画像認識技術を使用して抽出されたイメージトリガー、時刻コード又はクローズド  キャプショニング（ＣＣ）及びエクステンデッド  データ  サービス（ＥＤＳ）コードの形態とすることができる。ビデオ／ＴＶプログラムと補助情報マルチメディア情報は、次に、仮想ウエブページとして表示される。
2004531147.tif 000002
【特許請求の範囲】
【請求項１】
補助マルチメディア情報をビデオプログラムに提供する方法であって、
ビデオプログラムを表示し；
ビデオプログラムから同期情報を受け取り；
インターネットドキュメントとしてフォーマットされた同期信号に従って補助マルチメディア情報を受け取り；
仮想ウエブページとして補助マルチメディア情報を表示する、ステップを有する補助マルチメディア情報をビデオプログラムに提供する方法。
【請求項２】
同期情報はビデオプログラムからのキーフレーム情報を有する請求項１による方法。
【請求項３】
同期情報はビデオプログラムからの時刻コード情報を有する請求項１による方法。
【請求項４】
同期情報は画像認識を使用して識別された画像トリガを有する請求項１による方法。
【請求項５】
補助マルチメディア情報はポップ−アップ  ウインドウに表示される請求項１による方法。
【請求項６】
インターネットドキュメントはSMILドキュメントを有する請求項１による方法。
【請求項７】
ビデオプログラムから同期情報を抽出するステップを更に有する請求項１による方法。
【請求項８】
ビデオプログラムはテレビジヨンプログラムである請求項１による方法。
【請求項９】
同期情報はＣＣ又はEDS型コードを有する請求項８による方法。
【請求項１０】
ＣＣ又はEDS型コードを受け取ったときオンスクリーンメッセージを表示するステップを更に有する請求項８による方法。
【請求項１１】
補助マルチメディア情報を表示する前に補助マルチメディア情報が利用可能であることを示す視認可能な表示を提供するステップを更に有する請求項１による方法。
【請求項１２】
ビデオプログラムを表示する装置であって、
ディスプレイと；
ディスプレイを使用してビデオプログラムを表示するように設けられたコントローラと、
ビデオプログラムのためのインターネットドキュメントを有する補助情報を受け取るためのインターフェースと、を有し、
コントローラは、また、ビデオプログラムから同期情報を受け取り、補助情報をビデオプログラムと同期させ、仮想ウエブページとしてディスプレイを使用して補助情報を表示するようにされたビデオプログラムを表示する装置。
【請求項１３】
テレビジョンプログラム信号を受信するテレビジョン受像機と；
インターネットドキュメントを有する補助情報を受け取るように設けられたインターネット可能装置と；
テレビジョンプログラム信号と仮想ウエブページとしての補助情報を表示する手段を有する装置。
【請求項１４】
テレビジョン信号からの同期信号を抽出するための手段を更に有する請求項１３の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的にビデオ通信に係り、特に、ユーザがビデオ／ＴＶプログラムに関連する同期した補助的マルチメディア情報を自動的に、或いは要求により受け取ることを可能とするシステムと方法に関する。
【背景技術】
【０００２】
時間的制約を含む種々の理由により、代表的なビデオ／ＴＶプログラムは比較的早く流動的に流れる必要がある。多くの状況においては、この方法ライターは、アクションがスムースに流れるために、ディテイルの量を制限し、キャラクタのアクションを要約するのみが必要となる。このお通常のフォーマットは、また、ビデオ／ＴＶプログラムとの観察者の可能性のある反応を制限する。これは、このようなビデオ／ＴＶプログラムが半時間或いはそのタイムスロットの複数倍の時間内で都合よく当てはまることを可能にする一方、
このようなビデオ／ＴＶプログラムの観察者に提供される利用可能な情報量が制限される。
【０００３】
補助的な情報の材料が豊富であることは（例えば、ストーリーラインからの変更及び改変）及び補助的な代表的ビデオ／ＴＶプログラムに使用できるように創造されることができる。例えば、ビデオ／ＴＶプログラムの追加的なシーンや追加的なディテイルを提供することができる。また、同時的な観察者の反応を放送プログラムに加えることができる。
【０００４】
いくつかの通常のシステムは、視聴者に音声メッセージ付きの静止ＴＶビデオフレームを相互的に要求することを可能とするコミュニティアンテナテレビジヨン装置を使用するシステムが開発されている。しかしながら、これらのシステムにより提供されるこの音声メッセージを伴うＴＶビデオはＴＶ放送プログラムと関連、即ち同期されたものではない。
【０００５】
ビデオ／ＴＶプログラムをインターネットも情報にリンクさせる試みが行われている。例えば、あるライブスポーツプログラムは、観察者がそのスポーツ番組についてさらに情報応答する／得るため関連するウエブサイトにログオンさせることを可能にする。しかしながら、この付加的情報は実際にはこのスポーツ番組と同期されてはいない。これらのシステムはウエブサイト上での付加的な情報を更新して提供するためには、スポーツプログラムプロバイダによる一定の手動操作とプログラミングを必要とする。
【０００６】
したがって、上述の問題を解決するためのシステムに対するニーズが存在する。特に、観察者がビデオ／TVプログラムに関する同期した補助的な情報を選択／受信することを可能とする方法とシステムについてである。
本発明の概要
本発明の目的は、上述の通常のディスプレイシステムについての特定のものを提供することにある。
【０００７】
本発明の１つの態様は、シンクロナイズド  マルチメディア  インテグレーション  ランゲージ（ＳＭＩＬ）を使用したビデオ／ＴＶプログラムに対してユーザが、同期された補助的な多重情報を自動的に、または要求により受信しることを可能とするシステムに向けられている。
【０００８】
１つの実施例においては、エクステンデッド  データ  サービス（ＥＤＳ）システムのクローズド  キャプショニング（ＣＣ）の一部として伝送されるコードが補助的マルチメディア情報を開始するために使用される。
【０００９】
他の実施例においては、画像認識技術を使用したキーフレーム又は抽出されたデータがビデオ／ＴＶプログラムに対する補助的マルチメディアと同期させるために使用される。
【００１０】
本発明の１つの好ましい実施例はビデオプログラムに補助的マルチメヂア情報を提供する方法に関連している。この方法はビデオプログラムを表示し、ビデオプログラムから同期した情報を受信し、インターネットドキュメントとしてフォーマットされた同期した情報に基づいて補助的マルチメディア情報を受信するステップを含む。この補助的マルチメディア情報は仮想ウエブページとして表示される。
【００１１】
他の実施例は、テレビジョンプログラム信号を受信するために配置されたテレビジョン受信器とインターネットドキュメントを有する補助的情報を受信するように配置されたインターネット可能な装置を含むディスプレイ装置に関する。この装置は、また、補助情報をビデオプログラムと同期させる手段と、テレビジョンプログラム信号と仮想ウエブページとし補助情報を表示するための手段を含む。
【００１２】
本発明のこれらの、また、他の実施例及び態様は以下の詳細な開示において例示的に示される。
図面の簡単な説明
本発明の特徴と利点は下記に図面を参照して説明される好ましい実施例の詳細な記載を参照することにより理解することができる。
【００１３】
図１は本発明の好ましい実施例による通信システムである。
【００１４】
図２は本発明の実施例によるディスプレイを示す。
【００１５】
図３は図１のシステムをサポートすることのできるコンピュータの例のブロック図である。
【００１６】
図４は図３のコンピュータシステムのアーキテクチャを示すブロック図である。
好ましい実施例
本発明の１つの好ましい実施例は  本発明の１つの態様は、シンクロナイズド  マルチメディア  インテグレーション  ランゲージ（ＳＭＩＬ）を使用し、ビデオ／ＴＶプログラム（例えば、画像認識技術を使用したキーフレーム又は抽出データ）から受信／抽出した情報を同期させて、ビデオ／ＴＶプログラムに対してユーザが、同期された補助的な多重情報を自動的に、または要求により受信しることを可能とするシステムに向けられている。
【００１７】
図１を参照すると、システム１０はテレビジョンシステム又はＤＶＤドライブを持つパーソナルコンピュータのような表示装置１１を含む。表示装置１１はインターネット可能な装置１２（例えば、ウエブＴＶ）と一体化されるか、あるいは連結されている。システム１０は、ビデオ／マルチメディアプログラム観察者が自動的に、又は要求により、見られている特定のビデオ／マルチメディアプログラム１４に関連して、補助マルチメディア情報１３をインターネット可能装置１２を通して同期させることを可能とする。この補助マルチメディア情報１３は、表示装置、例えば、ポップアップウインドウを介してビデオマルチメディア情報と同時に表示されるようにすることができる。
【００１８】
インターネット可能装置１２はネットワークを通じて1又は複数の遠隔装置と通信することができる。ネットワークはインターネットのようなグローバルコンピュータネットワーク、広域ネットワーク、ローカル領域ネットワーク、ケーブルネットワーク、サテライトネットワーク、又は電話ネットワーク、これらを組合せたネットワーク、あるいは他の形式ノネットワークとすることができる。
【００１９】
ネットワークは、ネットワーク可能な装置１２により、有線接続、ワイヤレス接続またはそれらの組合せ、を通して既知のインターネットプロトコルのような通信プロトコルを使用してアクセスされる。この実施例の利点は、幅広い種類のシステムアーキテクチャ、例えば、クライアント／サーバアーキテクチャ、が図１のシステムを実施するときに使用できることである。
【００２０】
ビデオ／マルチメディアプログラム１４は公衆に伝達、あるいは放送される多くのテレビジョンプログラムの１つとすることができることは理解できる。ビデオプログラムは、シチュエーションコメディ、スポーツプログラム、ニュースプログラム、映画、コマーシャル、ソープオペラ、ドキュメンタリー、カートゥーン、ハオウトウショウなどでよい。テレビジョンプログラム１９は通常の電子装置により受信され表示される。この電子装置は、ＴＶ放送局から、サテライトトランシポンダーから、ＣＡＴＶシステム（即ち、ケーブルシステム）のトランクケーブルから、或いは他の適当な伝送手段を受信できるように適合されたアンテナを通してテレビジョンプログラムを受信することができる。
【００２１】
補助的マルチメディア情報１３はビデオ／マルチメディアプログラム１４のための付加的音声サウンドトラック１５とビジュアル情報１６を含むことができる。この情報は、（１）キャラクタに関する付加情報、ビデオ／マルチメディアプログラムに関連するストーリーライン及び背景、（２）プログラム内の特定項目のクローズアップ、（３）代替的カメラアングル、（４）代替的なシーン及びキャラクタの会話、（５）コマーシャル又は宣伝に関連する補助情報、（６）観察者が選択する応答プロンプト／シーケンス、をふくむことができる。
【００２２】
補助マルチメディア情報１３は、ビデオ／マルチメディアプログラム１４のアクション及びイベントに同期させ、編集される。これは、観察者が補助マルチメディア情報１３がビデオ／マルチメディアプログラム１４を通していつでも適当なときに利用できることを保証するものである。ビデオ／マルチメディアプログラム１４からのキーフレームは適切に同期が行われるために使用される。補助マルチメディア情報１３はビデオ／ＴＶプログラム１４内の時刻コードを使用して同期される。
【００２３】
更に、画像認識もこの目的のために使用される。例えば、画像認識技術がビデオ／マルチメディアプログラムのデータのフローをモニターするために使用することができる。特定の対象（例えば、顔或いはソーダのかん）が特定されると、付加情報がその対象に関連して表示される。好ましくは、画像トリガ２４（図２参照）がビデオ／マルチメディアプログラム内に挿入／組込まれる。これらの画像トリガ２４は音楽ノートや補助情報が入手可能であるということを示すカメラのようなイコンスであってよい。画像トリガ２４は見えても見えなくてもよい。見える画像トリガ２４は、観察者に補助マルチメディア情報を要求することを促すために使用されてもよい。
【００２４】
他の実施例においては、クローズド  キャプショニング（ＣＣ）又はエクステンデッド  データ  サービス（ＥＤＳ）システムの一部として伝達さされた補助的マルチメディア情報１３を開始するのに使用されてもよい。例えば、図２に示されたように、これらのコードはＣＣシステムの一部としてメッセージ２５をトリガすることができる。このようなコードは同様なフォーマットを使用する良く知られたＣＣ又はＥＤＳシステムのコードに追加することができる。ＣＣおよびＥＤＳシステムは良く知られており、ここでは詳しくは説明されない。
【００２５】
補助的マルチメディア情報１３は、たとえビデオ／マルチメディアプログラム１４が記録媒体に記録され、観察者によりプレイバックされてもアクセス／使用可能である。
【００２６】
図１に示されるように、補助的マルチメディア情報１３は遠隔サイト９、例えばウエブサイトで探すことができる。遠隔サイト９は、マルチメディアプログラム１４に関連するマルチメディア又は音声情報を記憶するデータ記憶装置を含むことができる。更に、データ記憶装置はマルチメディアプログラム１４のための情報にアクセス又は同期させるために使用されるスクリプト即ち実行可能なプログラムを含む。図１は分離されたデータベースを示す一方、上述したデータベースの機能を組み込んだ単一のデータベータベースも使用することができる。追加的データベースが、必要に応じて、他の目的に要求されるかもしれない他の種々の情報を記憶するために追加することができる。データ記憶装置は、オーディオビデオカセット、デジタルオーディオテープ（ＤＡＴ）、レーザディスク、ＤＶＤなどのようないかなる適当な記憶媒体であってもよい。
【００２７】
すでに述べたように、補助的マルチメディア情報（例えば、イエブページ経由）はウエブサーバ９からアクセスすることができる。ウエブページは代表的にはハイパーテキスト  マークアップ  ランゲージ（ＨＴＭＬ）と呼ばれるプログラム言語を用いて記載される。他のハイパープログラム言語が、ダイナミックＨＴＭＬ（ＤＨＴＭＬ），エクシテンシブル  マークアップ  ランゲージ（ＸＭＬ）、シンクロナイズド  マルチメディア  インテグレーション  ランゲージ（ＳＭＩＬ）、などのようなハイパーテキストドキュメントを作るために使用されてもよい。通常、タグのようなＨＴＭＬコマンドがウエブページのレーアウト／フォーマットを確定し、ウエブページに音声と画像を載せ、他のウエブページ又はウエブサイトなどにリンク（例えば、ハイパーリンク）を加える機能を与える。これらのリンクは、ユーザが言葉、フレーズ、画像（“ハイパーアンカー”と言われる）を、遠隔サーバ上にあるウエブサイトから、取りに行き、或いは受け取ることを可能にする。
【００２８】
好ましくは、補助マルチメディア情報１３の伝送及び表示はＳＭＩＬを使用して行われるのがよい。ＳＭＩＬは開発者が、提示されるメディアプレゼンテーションを混合し、互いに同期させることを可能にする。また、それは、音声、ビデオ、画像及びテキストを組合せることができる時間ベースのマルチメディアプレセンテーションの流れを組立てるためのツールを提供する。このケースにおいては、表示装置１１はウエブページディスプレイ（例えば、マルチメディアプログラム１４を表示する仮想ウエブページ）をシュミレートするスクリーンディスプレイを生成する。マルチメディアプログラム１４は主観察ウインドウ２０に表示され、一方、補助的マルチメディア情報１３はポップアップウインドウ２１（図2参照）に表示することができる。
【００２９】
SMILを使用すると、メディア成分はテキスト、イメージ、音声及びビデオについてＵＲＬと共に命名され、並行またはシーケンスにより提示されるように予定が組まれる。SMILプレゼンテーションは以下の特性を持つ。
−プレゼンテーションは、例えば、ウエブサーバー上に記憶されているＵＲＬを介してアクセス可能な複数の成分から構成される。
−その成分は、音声、ビデオ、画像又はテキストのような異なるメディア形式を持つ。異なるせ成分の開始及び終了時刻は他のメディア成分のイベントに関連して特定される。
−トップ、早送り、巻き戻しのような良く知られた制御ボタンはユーザがプレゼンテーションを中断させ、前方又は後方へプレゼンテーションの他のポイントへ動かすことを可能とする。
−追加的な機能は、“ランダムアクセス”、即ち、プレゼンテーションがどこでも開始でき、及び、“スローモーション”、即ち、プレゼンテーションが本来の速度より遅い速度で再現される、ことである。
−ユーザはプレゼンテーション内に組み入れられたハイパーリンクに従うことができる。
好ましい実施例においては、SMIL は補助的マルチメディア情報１３の通信を容易にするフレームワークを提供する。同期コード（例えば、キーフレーム、イメージ識別又はコード）は、ビデオ／マルチメディアプログラム１４から（他の要素のトリガとして働く補助的マルチメディアからにおいても）受信或いは抽出され、補助的マルチメディア情報１３のアクセス／表示を開始するトリガとして働く。これらの、同期コードはスクリプト１７を介してSMILサーバにより処理されてSMIL
ドキュメント１８を介して必要な応答を与える。
【００３０】
本発明の１つの実施例はＴＶの観察に関連している。観察者は代表的なプログラム、例えば医学ドラマプログラムを観るであろう。そのショウの間、観察者はそのプログラムに関する付加的情報、例えば、執筆している医者の特許レポートを受けるかもしれない。観察者は、また、プログラムのメインストーリーライン（異なる方向に向かった）に留まらないで、手術に関する第２のキャラクタに従うこともできる。この観察は、キャラクタ又はコマーシャルの製品に関連する付加的情報を受けることができる。観察者は補助的マルチメディア情報１３を主観察ウインドウ２０か又はポップアップウインドウ２１に現われるように選択することができる。観察ウインドウのサイズと位置は観察者の好みに応じて変えることができる。
【００３１】
補助マルチメディア情報１３は自動的に適宜、小さいピクチャ中のピクチャ型ウインドウ２１に現われるようにできる。補助マルチメディア情報１３は、また、観察者によって要求される、即ち、常に特定のキャラクタ２２に従うか、観察者により促されたとき、付加情報だけを受けるかが要求されるようにすることもできる。セットアップの起動又は好みのメニュウは、マルチメディプログラム１４の前或いはその間に観察者によりアクセスされこれらの好みをセットすることができる。これは、通常のオンスクリーンディスプレイ（ＯＳＤ）により行われる。
【００３２】
他の実施例では、補助マルチメディア情報はライブスポットプログラムと関連させることができる。このケースでは、補助マルチメディア情報は観察者がスポーツプログラムに関連することを可能とする。観察者は付加的な選手の情報を受け、及び／又は観察者がスポーツプログラム（例えば、次のプレイタイプゲームを推測する）に沿ってプレイすることを可能とする。
【００３３】
好ましい実施例においては、システム１の機能はデータ処理装置で実行されるコンピュータで読取り可能なコードにより実施される。このコードはデータ処理装置内のメモリに記憶されるかＣｄ−ＲＯＭあるいはフロッピィディスクのような記憶媒体から読み取る／ダウンロードすることができる。他の実施例では、ハードウエア回路が、本発明を実施するソフトウエア命令と組み合わせて、あるいはそれに代えて使用することができる。これらの機能／ソフトウエア／ハードウエアは表示装置１１の一部として形成され、或いは付属ユニットとして形成することができる。本発明は、例えば、図３に示したコンピュータ３０上で実施することができる。
【００３４】
コンピュータ３０は、可変バンド幅ネットワーク又はインターネットのようなデータネットワークに接続するためのネットワーク接続３１、及びビデオ又はデジタルカメラ（図示せず）のような他の遠隔ソースに接続できるファックス／モデムを含むことができる。コンピュータ３０は、また、ユーザに対して情報（ビデオデータを含む）を表示するためのディスプレイ（３３）、テキストとゆーざコマンドを入力するキーボード（３４）、ディスプレイ上でカーソルを位置決めし、ユーザコマンドを入力するマウス（３５）、フロッピィディスクが装着され、読み出し、書き込みを行うためのディスクドライブ（３６）、ＣＤ−ＲＯＭ上に記憶されている情報にアクセスするＣＤ−ＲＯＭドライブ（３７）を含むことができる。コンピュータ３０は、また、１または複数の画像を入力するために取り付けられた周辺装置のようなものや画像、テキストなどを出力するプリンタを持つことができる。
【００３５】
補助マルチメディア情報１３は記憶貯蔵装置、例えば、ＤＶＤを介して与えることができる。この実施例では、記憶貯蔵装置は遠隔装置として同じ情報を含むが、局所的にも利用可能である。
【００３６】
図４はコンピュータ３０の内部構造を示し、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）及びハードディスクのようなコンピュータにより読取り可能な媒体を含むメモリ４０を含む。メモリ４０に記憶される項目はオペレーティングシステム４１、データ４３及びアプリケーション４３を含む。オペレーティングシステム４１はユニックスのようなウインドウオペレーティングシステムであってよいが、本発明はマイクロソフトウインドウ９５のような他ノオペレーティングシステムを使用することができる。
【００３７】
メモリ４０内に記憶されるアプリケーションの中には、ビデオコーダ４４、ビデオデコーダ４５及びフレームグラバー４６がある。ビデオコーダ４４は通常の方法でビデオデータをエンコードし、ビデオデコーダ４５は通常の方法でコード化されたビデオデータをデコードする。フレームグラバー４６はビデオ信号ストリームからの単一フレームを捕捉し、画像認識ソフトウエアで処理される。
【００３８】
また、コンピュータ３０には、中央演算処理ユニット（ＣＰＵ）５０、通信インターフェース５１、メモリインターフェース５２、ＣＤ−ＲＯＭドライブインターフェース５３、ビデオインターフェース５４及びバス５５が含まれている。ＣＰＵ５０はコンピュータ読取り可能なコード、即ち、メモリ５０からの上述のアプリケーション、を実行するためのマイクロプロセッサのようなものを有する。このようなアプリケーションはメモリ４０（上記のような）も記憶されるか、または、ディスクドライブ3６内のフロッピー（登録商標）ディスク又はＣＤ−ＲＯＭドライブ３７内のCD-ROM内に記憶しておくことができる。ＣＰＵ５０はフロッピィディスクに記憶されているアプリケーション（又は他のデータ）にメモリインターフェース５２を介してアクセスし、また、ＣＤ−ＲＯＭに記憶されているアプリケーション（又は他のデータ）にＣＤ−ＲＯＭドライブインターフェース５３を介してアクセスする。
【００３９】
入力されたビデオデータはビデオインターフェース５４又は通信インターフェース５１を通じて受け取られる。入力ビデオデータはビデオデコーダ４５によりデコードされる。出力ビデオデータはビデオインターフェース５４又は通信インターフェース５１を通じて伝送するためにビデオコーダ４４によりコード化される。
【００４０】
これまで、本発明は特定の実施例に関して述べられてきたが、本発明はこｋに記載された実施例に限定されるものでないこと理解されるべきである。これとは反対に、本発明は添付のクレームの精神と範囲に含まれる種々の構造や変形をカバーすることを意図するものである。
【図面の簡単な説明】
【００４１】
【図１】本発明の好ましい実施例による通信システムである。
【図２】本発明の実施例によるディスプレイを示す図である。
【図３】図１のシステムをサポートすることのできるコンピュータの例のブロック図である。
【図４】図３のコンピュータシステムのアーキテクチャを示すブロック図である。
【国際公開パンフレット】
2004531147.tif 000003
2004531147.tif 000004
2004531147.tif 000005
2004531147.tif 000006
2004531147.tif 000007
2004531147.tif 000008
2004531147.tif 000009
2004531147.tif 000010
2004531147.tif 000011
2004531147.tif 000012
2004531147.tif 000013
2004531147.tif 000014
2004531147.tif 000015
【国際調査報告】
2004531147.tif 000016
2004531147.tif 000017