(57)【特許請求の範囲】
【請求項１】
ライブ中継あるいは実況中継による映像や音声など連続的に現れる情報をストリームメディアとして配信するサーバと、前記サーバが配信するストリームメディアを受信して再生する少なくとも１つのクライアント端末とが所定の通信網を介して接続された通信システムを制御するためのストリームメディア配信方法であって、
前記サーバ側においては、
配信されるストリームメディアの各場面における状況を表すライブ情報を入力し、互いに対応する時刻のストリームメディア及びライブ情報に対して同一の識別情報を付加し、ライブ情報を送出し、同一の識別情報が付与されたストリームメディアをライブ情報に対して時間的に遅らせてから送出し、
前記クライアント端末側においては、
ストリームメディアの各場面を演出するための付加メディア及び前記付加メディアの再生契機を表すテーブルを用意しておき、
受信したライブ情報の解析結果が前記テーブルの再生契機と一致した場合に、受信したライブ情報に付加された識別情報が受信したストリームメディアに含まれている識別情報と同一であれば、当該識別情報に応じたタイミングで、該当する付加メディアを出力する
ことを特徴とするストリームメディア配信方法。
【請求項２】
ライブ中継あるいは実況中継による映像や音声など連続的に現れる情報をストリームメディアとして配信するサーバと、前記サーバが配信するストリームメディアを受信して再生する少なくとも１つのクライアント端末とが所定の通信網を介して接続された通信システムを制御するためのストリームメディア配信方法であって、
前記サーバ側においては、
配信されるストリームメディアの各場面における状況を表すライブ情報を入力し、互いに対応する時刻のストリームメディア及びライブ情報に対して同一の識別情報を付加し、ライブ情報を送出し、同一の識別情報が付与されたストリームメディアをライブ情報に対して時間的に遅らせてから送出する
ことを特徴とするストリームメディア配信方法。
【請求項３】
請求項２のストリームメディア配信方法において、前記サーバ側では、ストリームメディア及びライブ情報に付加する識別情報として、時間の経過に伴って単調増加する数値を用いることを特徴とするストリームメディア配信方法。
【請求項４】
請求項３のストリームメディア配信方法において、前記サーバ側では、ストリームメディア及びライブ情報に対して定期的に前記識別情報を付加することを特徴とするストリームメディア配信方法。
【請求項５】
ライブ中継あるいは実況中継による映像や音声など連続的に現れる情報をストリームメディアとして配信するサーバと、前記サーバが配信するストリームメディアを受信して再生する少なくとも１つのクライアント端末とが所定の通信網を介して接続された通信システムを制御するためのストリームメディア配信方法であって、
ストリームメディアと共にその各場面における状況を表すライブ情報が配信される場合で、互いに対応する時刻のストリームメディア及びライブ情報に対して同一の識別情報が一定の周期で周期的に付与されて、同一の識別情報が付与されたストリームメディアはライブ情報に対して時間的に遅れてから配信される場合に、
前記クライアント端末側においては、
ストリームメディアの各場面を演出するための付加メディア及び前記付加メディアの再生契機を表すテーブルを用意しておき、
受信したライブ情報の解析結果が前記テーブルの再生契機と一致した場合に、前記付加メディアの再生契機と遅延時間との対応関係を記述した遅延テーブルの内容に従って、前記付加メディアの再生タイミングを制御して該当する付加メディアを出力する
ことを特徴とするストリームメディア配信方法。
【請求項６】
ライブ中継あるいは実況中継による映像や音声など連続的に現れる情報をストリームメディアとして配信するサーバと、前記サーバが配信するストリームメディアを受信して再生する少なくとも１つのクライアント端末とが所定の通信網を介して接続された通信システムを制御するためのストリームメディア配信装置であって、
前記サーバ側には、
配信されるストリームメディアの各場面における状況を表すライブ情報を入力し、互いに対応する時刻のストリームメディア及びライブ情報に対して同一の識別情報を付加する識別情報付加手段と、
同一の識別情報が付与されたストリームメディアをライブ情報に対して時間的に遅らせるストリームメディア遅延手段と、
ライブ情報をストリームメディアの配信に合わせて送出するライブ情報送出手段と
を設け、
前記クライアント端末側には、
ストリームメディアの各場面を演出するための付加メディア及び前記付加メディアの再生契機を表すテーブルと、
受信したライブ情報の解析結果が前記テーブルの再生契機と一致した場合に、受信したライブ情報に付加された識別情報が受信したストリームメディアに含まれている識別情報と同一であれば、当該識別情報に応じたタイミングで、該当する付加メディアを出力する付加メディア再生手段と
を設けたことを特徴とするストリームメディア配信装置。
【請求項７】
ライブ中継あるいは実況中継による映像や音声など連続的に現れる情報をストリームメディアとして配信するサーバと、前記サーバが配信するストリームメディアを受信して再生する少なくとも１つのクライアント端末とが所定の通信網を介して接続された通信システムを制御するためのストリームメディア配信装置であって、
前記サーバ側には、
配信されるストリームメディアの各場面における状況を表すライブ情報を入力し、互いに対応する時刻のストリームメディア及びライブ情報に対して同一の識別情報を付加する識別情報付加手段と、
同一の識別情報が付与されたストリームメディアをライブ情報に対して時間的に遅らせるストリームメディア遅延手段と、
ライブ情報をストリームメディアの配信に合わせて送出するライブ情報送出手段と
を設けたことを特徴とするストリームメディア配信装置。
【請求項８】
請求項６のストリームメディア配信装置において、前記サーバ側の識別情報付加手段は、ストリームメディア及びライブ情報に付加する識別情報として、時間の経過に伴って単調増加する数値を用いることを特徴とするストリームメディア配信装置。
【請求項９】
請求項７のストリームメディア配信装置において、前記サーバ側の識別情報付加手段は、ストリームメディア及びライブ情報に対して定期的に前記識別情報を付加することを特徴とするストリームメディア配信装置。
【請求項１０】
ライブ中継あるいは実況中継による映像や音声など連続的に現れる情報をストリームメディアとして配信するサーバと、前記サーバが配信するストリームメディアを受信して再生する少なくとも１つのクライアント端末とが所定の通信網を介して接続された通信システムを制御するためのストリームメディア配信装置であって、
ストリームメディアと共にその各場面における状況を表すライブ情報が配信される場合で、互いに対応する時刻のストリームメディア及びライブ情報に対して同一の識別情報が一定の周期で周期的に付与されて、同一の識別情報が付与されたストリームメディアはライブ情報に対して時間的に遅れてから配信される場合に、
前記クライアント端末側に、
ストリームメディアの各場面を演出するための付加メディア及び前記付加メディアの再生契機を表すテーブルと、
受信したライブ情報の解析結果が前記テーブルの再生契機と一致した場合に、前記付加メディアの再生契機と遅延時間との対応関係を記述した遅延テーブルの内容に従って、前記付加メディアの再生タイミングを制御して、該当する付加メディアを出力する付加メディア再生手段と
を設けたことを特徴とするストリームメディア配信装置。
【請求項１１】
ライブ中継あるいは実況中継による映像や音声など連続的に現れる情報をストリームメディアとして配信するサーバと、前記サーバが配信するストリームメディアを受信して再生する少なくとも１つのクライアント端末とが所定の通信網を介して接続された通信システムの前記サーバ側を制御するためのソフトウェアであって、
配信されるストリームメディアの各場面における状況を表すライブ情報を入力し、互いに対応する時刻のストリームメディア及びライブ情報に対して同一の識別情報を付加する識別情報付加手順と、
同一の識別情報が付与されたストリームメディアをライブ情報に対して時間的に遅らせるストリームメディア遅延手順と、
ライブ情報をストリームメディアの配信に合わせて送出するライブ情報送出手順とを設け、
前記識別情報付加手順は、ストリームメディア及びライブ情報に付加する識別情報として、時間の経過に伴って単調増加する数値を用い、ストリームメディア及びライブ情報に対して定期的に前記識別情報を付加する
ことを特徴とするソフトウェア。
【請求項１２】
ライブ中継あるいは実況中継による映像や音声など連続的に現れる情報をストリームメディアとして配信するサーバと、前記サーバが配信するストリームメディアを受信して再生する少なくとも１つのクライアント端末とが所定の通信網を介して接続された通信システムの前記クライアント端末側を制御するためのソフトウェアであって、
ストリームメディアと共にその各場面における状況を表すライブ情報が配信される場合で、互いに対応する時刻のストリームメディア及びライブ情報に対して同一の識別情報が一定の周期で周期的に付与されて、同一の識別情報が付与されたストリームメディアはライブ情報に対して時間的に遅れてから配信される場合に、
ストリームメディアの各場面を演出するための付加メディア及び前記付加メディアの再生契機を表すテーブルのデータと、
受信したライブ情報の解析結果が前記テーブルの再生契機と一致した場合に、前記付加メディアの再生契機と遅延時間との対応関係を記述した遅延テーブルの内容に従って、前記付加メディアの再生タイミングを制御して、該当する付加メディアを出力する付加メディア出力手順と
を設けたことを特徴とするソフトウェア。
【請求項１３】
請求項１１に記載のソフトウェアを記録した記録媒体。
【請求項１４】
請求項１２に記載のソフトウェアを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はストリームメディア配信方法及び装置並びにソフトウェア及び記録媒体に関し、映像や音声のようなストリームメディアを配信する際に行われる主メディアの演出に関する。
【０００２】
【従来の技術】
従来より、テレビ放送では動画像と音声とを組み合わせたストリームメディアを用い、ラジオ放送では音声だけのストリームメディアを用いてそれぞれの視聴者に情報を伝達している。
また、放送の内容を伝える際には視聴者の感情を盛り上げるために、効果音を用いる場合が多い。効果音としては音楽を用いるのが一般的である。
【０００３】
例えば、映画やテレビ番組などのストリームメディアを制作する際には、シーン毎にＢＧＭ（バックグラウンドミュージック）として音楽を音声に重畳する。このＢＧＭは動画像と一緒に鑑賞者や視聴者に提供されるので、鑑賞者や視聴者の心理をつき感情を高揚させる効果がある。このようなＢＧＭを用いた演出は一般的に広く利用されている。
【０００４】
【発明が解決しようとする課題】
ＢＧＭを用いた演出は、現在ではテレビ番組などの制作には欠かせないものとなっている。しかしながら、このような演出はスポーツ中継を初めとするライブ中継の場合にはほとんど利用されていない。その理由は次の通りである。
スポーツ中継などのライブ中継では、これから起きる様々なイベントの内容及びそれらのタイミングを予測することは不可能である。従って、予め想定した特定のイベントが実際に発生したときに、即座にそのシーンを効果的に魅せるための特定のＢＧＭを選択して番組の内容に反映するのは困難である。
【０００５】
また、シーンを効果的に魅せるためにはイベントが発生する時点より少し前の時点からＢＧＭを挿入する必要がある。しかし、予測不可能なイベントが発生する前にそのイベントの演出に効果的な特定のＢＧＭを選択することは不可能である。
【０００６】
また、例えば野球中継の場合には、対戦する２つのチームのそれぞれのファンが同時に試合中継を観戦している。この場合、それぞれのファンの心情は、一方のチームの選手がホームランを打ったというイベントに対して、それぞれ「うれしい」と「残念」という逆の感情を引き起こす。
従って、ホームランのシーンを盛り上げるためのＢＧＭを付ける場合を想定すると、両方のチームのファン心理を考慮せざるを得ないので、望ましいＢＧＭとしては「喜び」を表すものだけでなく「哀しみ」を表すものも必要であり、１つに決まらない。
【０００７】
また、野球中継と同様に複数の嗜好が存在しうる番組や中継においては、演出の種類も嗜好の数だけ必要になる。
しかし、テレビ中継の場合には、ＢＧＭの送信手段として動画像と一緒に送信される１種類の音声信号だけしか利用できないので、演出に利用するＢＧＭは１種類に限定される。
【０００８】
そのため、テレビ中継では全ての視聴者に同じＢＧＭを提供することになり、視聴者毎に異なるそれぞれの心情を盛り上げるための効果的なＢＧＭを付与することができない。
本発明は、視聴者の嗜好や心情の違いに対応して主メディアの効果的な演出を可能にするストリームメディア配信方法及び装置並びにプログラム及び記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
請求項１は、ライブ中継あるいは実況中継による映像や音声など連続的に現れる情報をストリームメディアとして配信するサーバと、前記サーバが配信するストリームメディアを受信して再生する少なくとも１つのクライアント端末とが所定の通信網を介して接続された通信システムを制御するためのストリームメディア配信方法であって、前記サーバ側においては、配信されるストリームメディアの各場面における状況を表すライブ情報を入力し、互いに対応する時刻のストリームメディア及びライブ情報に対して同一の識別情報を付加し、ライブ情報を送出し、同一の識別情報が付与されたストリームメディアをライブ情報に対して時間的に遅らせてから送出し、前記クライアント端末側においては、ストリームメディアの各場面を演出するための付加メディア及び前記付加メディアの再生契機を表すテーブルを用意しておき、受信したライブ情報の解析結果が前記テーブルの再生契機と一致した場合に、受信したライブ情報に付加された識別情報が受信したストリームメディアに含まれている識別情報と同一であれば、当該識別情報に応じたタイミングで、該当する付加メディアを出力することを特徴とする。
【００１０】
請求項１においては、クライアント端末に対してサーバ側からストリームメディアとともにライブ情報が配信される。ライブ情報は、様々な場面で発生するイベントなどの状況を表すものである。例えば、野球の映像及び音声をストリームメディアとしてライブ中継をする場合には、ホームランやヒットの発生のようなイベントをライブ情報として配信すればよい。
【００１１】
互いに対応する時刻のストリームメディア及びライブ情報に対しては同一の識別情報（ＩＤ）が付加されているので、ストリームメディアとライブ情報とを独立したサーバから別々に配信する場合であっても、この識別情報を用いてストリームメディアとライブ情報とのタイミングを合わせることができる。
クライアント端末側で利用する付加メディアは、ストリームメディアの各場面を演出するための情報であり、例えば効果音やＢＧＭを用いればよい。クライアント端末側では、受信したライブ情報の解析結果が前記テーブルの再生契機と一致した場合に、受信したライブ情報及びストリームメディアに含まれている識別情報に応じたタイミングで、該当する付加メディアを出力する。
【００１２】
前記テーブルの内容を視聴者の嗜好や心情の違いに対応して予め決定しておけば、サーバ側から同一のライブ情報を配信する場合でも、視聴者毎の嗜好や心情の違いを反映するような再生契機で付加メディアを再生し、各場面をそれぞれの視聴者に対して効果的に魅せることができる。
【００１３】
請求項２は、ライブ中継あるいは実況中継による映像や音声など連続的に現れる情報をストリームメディアとして配信するサーバと、前記サーバが配信するストリームメディアを受信して再生する少なくとも１つのクライアント端末とが所定の通信網を介して接続された通信システムを制御するためのストリームメディア配信方法であって、前記サーバ側においては、配信されるストリームメディアの各場面における状況を表すライブ情報を入力し、互いに対応する時刻のストリームメディア及びライブ情報に対して同一の識別情報を付加し、ライブ情報を送出し、同一の識別情報が付与されたストリームメディアをライブ情報に対して時間的に遅らせてから送出することを特徴とする。
【００１４】
請求項２においては、請求項１と同様に、クライアント端末に対してストリームメディア及びライブ情報が配信される。
【００１５】
また、ライブ情報がストリームメディアよりも先にクライアント端末に届くので、特定のイベントが発生する時点の少し前から付加メディアの再生を開始することができる。
請求項３は、請求項２のストリームメディア配信方法において、前記サーバ側では、ストリームメディア及びライブ情報に付加する識別情報として、時間の経過に伴って単調増加する数値を用いることを特徴とする。
【００１６】
請求項３においては、ストリームメディア及びライブ情報に付加された識別情報の内容から時間を把握することができるので、付加メディアの再生を開始するタイミングを調整することが可能になる。
請求項４は、請求項３のストリームメディア配信方法において、前記サーバ側では、ストリームメディア及びライブ情報に対して定期的に前記識別情報を付加することを特徴とする。
【００１７】
請求項４においては、クライアント端末側でストリームメディア及びライブ情報から定期的に識別情報を取得して時間を把握することができる。
請求項５は、ライブ中継あるいは実況中継による映像や音声など連続的に現れる情報をストリームメディアとして配信するサーバと、前記サーバが配信するストリームメディアを受信して再生する少なくとも１つのクライアント端末とが所定の通信網を介して接続された通信システムを制御するためのストリームメディア配信方法であって、ストリームメディアと共にその各場面における状況を表すライブ情報が配信される場合で、互いに対応する時刻のストリームメディア及びライブ情報に対して同一の識別情報が一定の周期で周期的に付与されて、同一の識別情報が付与されたストリームメディアはライブ情報に対して時間的に遅れてから配信される場合に、前記クライアント端末側においては、ストリームメディアの各場面を演出するための付加メディア及び前記付加メディアの再生契機を表すテーブルを用意しておき、受信したライブ情報の解析結果が前記テーブルの再生契機と一致した場合に、前記付加メディアの再生契機と遅延時間との対応関係を記述した遅延テーブルの内容に従って、前記付加メディアの再生タイミングを制御して該当する付加メディアを出力することを特徴とする。
【００１８】
請求項５においては、請求項１と同様に、クライアント端末がストリームメディアと共に付加メディアを再生するので、前記テーブルの内容を視聴者の嗜好や心情の違いに対応して予め決定しておけば、サーバ側から同一のライブ情報を配信する場合でも、視聴者毎の嗜好や心情の違いを反映するような再生契機で付加メディアを再生し、各場面をそれぞれの視聴者に対して効果的に魅せることができる。
【００２０】
また、付加メディアの再生契機の種類毎に、付加メディアの再生タイミングを自動的に調節し、効果的な演出を行うことができる。
【００２３】
請求項６は、ライブ中継あるいは実況中継による映像や音声など連続的に現れる情報をストリームメディアとして配信するサーバと、前記サーバが配信するストリームメディアを受信して再生する少なくとも１つのクライアント端末とが所定の通信網を介して接続された通信システムを制御するためのストリームメディア配信装置であって、前記サーバ側には、配信されるストリームメディアの各場面における状況を表すライブ情報を入力し、互いに対応する時刻のストリームメディア及びライブ情報に対して同一の識別情報を付加する識別情報付加手段と、同一の識別情報が付与されたストリームメディアをライブ情報に対して時間的に遅らせるストリームメディア遅延手段と、ライブ情報をストリームメディアの配信に合わせて送出するライブ情報送出手段とを設け、前記クライアント端末側には、ストリームメディアの各場面を演出するための付加メディア及び前記付加メディアの再生契機を表すテーブルと、受信したライブ情報の解析結果が前記テーブルの再生契機と一致した場合に、受信したライブ情報に付加された識別情報が受信したストリームメディアに含まれている識別情報と同一であれば、当該識別情報に応じたタイミングで、該当する付加メディアを出力する付加メディア再生手段とを設けたことを特徴とする。
【００２４】
請求項６の装置を用いることにより、請求項１の方法と同様の動作が実現する。
請求項７は、ライブ中継あるいは実況中継による映像や音声など連続的に現れる情報をストリームメディアとして配信するサーバと、前記サーバが配信するストリームメディアを受信して再生する少なくとも１つのクライアント端末とが所定の通信網を介して接続された通信システムを制御するためのストリームメディア配信装置であって、前記サーバ側には、配信されるストリームメディアの各場面における状況を表すライブ情報を入力し、互いに対応する時刻のストリームメディア及びライブ情報に対して同一の識別情報を付加する識別情報付加手段と、同一の識別情報が付与されたストリームメディアをライブ情報に対して時間的に遅らせるストリームメディア遅延手段と、ライブ情報をストリームメディアの配信に合わせて送出するライブ情報送出手段とを設けたことを特徴とする。
【００２５】
請求項７の装置を用いることにより、請求項２の方法と同様の動作が実現する。
【００２６】
請求項８は、請求項７のストリームメディア配信装置において、前記サーバ側の識別情報付加手段は、ストリームメディア及びライブ情報に付加する識別情報として、時間の経過に伴って単調増加する数値を用いることを特徴とする。
【００２７】
請求項８の装置を用いることにより、請求項３の方法と同様の動作が実現する。
請求項９は、請求項８のストリームメディア配信装置において、前記サーバ側の識別情報付加手段は、ストリームメディア及びライブ情報に対して定期的に前記識別情報を付加することを特徴とする。
【００２８】
請求項９の装置を用いることにより、請求項４の方法と同様の動作が実現する。
請求項１０は、ライブ中継あるいは実況中継による映像や音声など連続的に現れる情報をストリームメディアとして配信するサーバと、前記サーバが配信するストリームメディアを受信して再生する少なくとも１つのクライアント端末とが所定の通信網を介して接続された通信システムを制御するためのストリームメディア配信装置であって、ストリームメディアと共にその各場面における状況を表すライブ情報が配信される場合で、互いに対応する時刻のストリームメディア及びライブ情報に対して同一の識別情報が一定の周期で周期的に付与されて、同一の識別情報が付与されたストリームメディアはライブ情報に対して時間的に遅れてから配信される場合に、前記クライアント端末側に、ストリームメディアの各場面を演出するための付加メディア及び前記付加メディアの再生契機を表すテーブルと、受信したライブ情報の解析結果が前記テーブルの再生契機と一致した場合に、前記付加メディアの再生契機と遅延時間との対応関係を記述した遅延テーブルの内容に従って、前記付加メディアの再生タイミングを制御して、該当する付加メディアを出力する付加メディア再生手段とを設けたことを特徴とする。
【００２９】
請求項１０の装置を用いることにより、請求項５の方法と同様の動作が実現する。
【００３３】
請求項１１は、ライブ中継あるいは実況中継による映像や音声など連続的に現れる情報をストリームメディアとして配信するサーバと、前記サーバが配信するストリームメディアを受信して再生する少なくとも１つのクライアント端末とが所定の通信網を介して接続された通信システムの前記サーバ側を制御するためのソフトウェアであって、配信されるストリームメディアの各場面における状況を表すライブ情報を入力し、互いに対応する時刻のストリームメディア及びライブ情報に対して同一の識別情報を付加する識別情報付加手順と、同一の識別情報が付与されたストリームメディアをライブ情報に対して時間的に遅らせるストリームメディア遅延手順と、ライブ情報をストリームメディアの配信に合わせて送出するライブ情報送出手順とを設け、前記識別情報付加手順は、ストリームメディア及びライブ情報に付加する識別情報として、時間の経過に伴って単調増加する数値を用い、ストリームメディア及びライブ情報に対して定期的に前記識別情報を付加することを特徴とする。
【００３４】
請求項１１のソフトウェアをサーバ側の装置に組み込むことにより、請求項２，３および４の方法と同様の動作を実現できる。
【００３７】
請求項１２は、ライブ中継あるいは実況中継による映像や音声など連続的に現れる情報をストリームメディアとして配信するサーバと、前記サーバが配信するストリームメディアを受信して再生する少なくとも１つのクライアント端末とが所定の通信網を介して接続された通信システムの前記クライアント端末側を制御するためのソフトウェアであって、ストリームメディアと共にその各場面における状況を表すライブ情報が配信される場合で、互いに対応する時刻のストリームメディア及びライブ情報に対して同一の識別情報が一定の周期で周期的に付与されて、同一の識別情報が付与されたストリームメディアはライブ情報に対して時間的に遅れてから配信される場合に、ストリームメディアの各場面を演出するための付加メディア及び前記付加メディアの再生契機を表すテーブルのデータと、受信したライブ情報の解析結果が前記テーブルの再生契機と一致した場合に、前記付加メディアの再生契機と遅延時間との対応関係を記述した遅延テーブルの内容に従って、前記付加メディアの再生タイミングを制御して、該当する付加メディアを出力する付加メディア出力手順とを設けたことを特徴とする。
【００３８】
請求項１２のソフトウェアをクライアント端末に組み込むことにより、請求項５の方法と同様の動作を実現できる。
【００４０】
請求項１３は、請求項１１に記載のソフトウェアを記録した記録媒体である。
請求項１３の記録媒体に記録されたソフトウェアをサーバ側の装置に組み込むことにより、請求項２〜請求項４の方法と同様の動作を実現できる。
【００４１】
請求項１４は、請求項１２に記載のソフトウェアを記録した記録媒体である。
請求項１４の記録媒体に記録されたソフトウェアをクライアント端末に組み込むことにより、請求項５の方法と同様の動作を実現できる。
【００４２】
【発明の実施の形態】
本発明のストリームメディア配信方法及び装置並びにソフトウェア及び記録媒体の１つの実施の形態について、図１〜図８を参照して説明する。この形態は全ての請求項に対応する。
【００４３】
図１はシステムの構成例を示すブロック図である。図２は主メディア配信サーバの構成例を示すブロック図である。図３はライブ情報配信サーバの構成例を示すブロック図である。図４はルールＤＢの構成例（１）を示す模式図である。図５はルールＤＢの構成例（２）を示す模式図である。図６はライブ情報の構成例（１）を示す模式図である。図７はライブ情報の構成例（２）を示す模式図である。図８はタイミング決定ルールの構成例を示す模式図である。
【００４４】
この形態では、各請求項のライブ情報送出手段，識別情報付加手段，テーブル及び付加メディア再生手段は、それぞれライブ情報配信器２４，ＩＤ付与器２３，ルールＤＢ５０及び付加メディア再生器４９に対応する。
【００４５】
図１に示すシステムにおいては、主メディア配信サーバ１０，ライブ情報配信サーバ２０及びクライアント端末４０がネットワーク３０を介して互いに通信可能な状態で接続されている。
主メディア配信サーバ１０は、スポーツなどの一般的なライブ中継と同様に、撮影して得られる連続的な映像や音声、すなわちストリームメディアの情報を主メディアとしてネットワーク３０を介してクライアント端末４０に配信する。
【００４６】
ライブ情報配信サーバ２０は、中継対象について発生した各種イベントなどの状況を、ライブ情報としてネットワーク３０を介してクライアント端末４０に配信する。ライブ情報の具体例は図６，図７に示されている。
クライアント端末４０は、主メディア配信サーバ１０から配信されるストリームメディアを再生するとともに、ライブ情報配信サーバ２０から配信されるライブ情報に対応した演出に関する再生を行う。
【００４７】
なお、ネットワーク３０については例えばインターネットのようなＩＰ網を利用してもよいし、それ以外のプロトコルを用いて通信するネットワークを用いてもよい。更に、ネットワーク３０としては有線や無線の一般的な放送網を利用してもよいし、ディジタル放送網を利用してもよい。
また、主メディア配信サーバ１０とライブ情報配信サーバ２０とを一体に構成してもよい。更に、主メディア配信サーバ１０とクライアント端末４０とを接続する通信網と、ライブ情報配信サーバ２０とクライアント端末４０とを接続する通信網とを独立に構成してもよい。
【００４８】
クライアント端末４０は、図１に示すように主メディア受信器４１，ＩＤ復号器４２，主メディア再生器４３，ライブ情報受信器４４，状況判断器４５，付加メディア選択器４６，ＩＤ復号器４７，同期器４８，付加メディア再生器４９，ルールＤＢ５０，付加メディアＤＢ５１及びユーザ設定器５２を備えている。
主メディア受信器４１は、主メディア配信サーバ１０から配信される主メディアをネットワーク３０から受信する。ＩＤ復号器４２は、受信した主メディアからＩＤすなわち識別情報を復号して抽出する。主メディア再生器４３は、例えばテレビ受信機のように受信した主メディアすなわち映像や音声を再生する。
【００４９】
ライブ情報受信器４４は、ライブ情報配信サーバ２０から配信されるライブ情報をネットワーク３０から受信する。
状況判断器４５は、受信したライブ情報の内容を解析し、ルールＤＢ５０に保持されているルールに従って、中継対象の現在の状況を判断する。
付加メディア選択器４６は、状況判断器４５の状況判断の結果に応じて、演出に利用される付加メディアの選択を行う。図１の例では多数の付加メディアを保持する付加メディアＤＢ５１がクライアント端末４０上に設けてあるので、付加メディア選択器４６は付加メディアＤＢ５１上から１つの付加メディアを選択的に取り出すことができる。
【００５０】
ＩＤ復号器４７は、受信したライブ情報からＩＤすなわち識別情報を復号して抽出する。
同期器４８は、再生する付加メディアの出力タイミングを、ＩＤを用いて主メディアのタイミングに同期させる。
【００５１】
付加メディア再生器４９は、付加メディア選択器４６が選択した特定の付加メディア（例えば効果音）を、同期器４８によって制御されたタイミングで再生する。
ユーザ設定器５２は、ユーザからの入力に従って、ルールＤＢ５０及び付加メディアＤＢ５１の内容を更新する。これにより、ルールＤＢ５０及び付加メディアＤＢ５１の内容を個別のユーザの嗜好などに合わせることができる。
【００５２】
一方、主メディア配信サーバ１０は、図２に示すように主メディア入力器１１，ＩＤ挿入器１２，主メディア遅延器１３，主メディア配信器１４及びＩＤ送信器１５を備えている。
主メディア入力器１１には、ライブ中継の映像や実況中継の音声など中継の主体となる主メディアの情報が入力される。例えば、野球中継の映像やコンサート中継の音声などが主メディアの情報として入力される。
【００５３】
ＩＤ挿入器１２は、主メディア入力器１１から入力された主メディアに対して時間位置を示すＩＤを逐次挿入する。
ＩＤ挿入器１２がＩＤを挿入するタイミングについては、例えば野球中継でヒットやホームランなどのイベントが発生したタイミングに合わせてもよいし、一定の周期で定期的にＩＤを挿入してもよい。
【００５４】
挿入するＩＤの内容については、互いに重複しない任意の文字列をＩＤ挿入の度に自動的に生成してＩＤに割り当ててもよいし、時間や時刻を表すタイムコードをＩＤとして割り当ててもよい。
ＩＤを挿入する方法については、例えば主メディアがＭＰＥＧ−２システム（ＩＳＯ／ＩＥＣ ＪＴＣ１／１３８１８−１）で符号化されている場合を想定すると、ユーザ領域にＩＤを埋め込めばよい。また、映像に電子透かしとしてＩＤを埋め込んでもよい。
【００５５】
主メディア入力器１１から入力された主メディアの情報は、主メディア遅延器１３の内部で一定時間バッファリングされ、遅延されて主メディア配信器１４に入力される。
主メディア配信器１４は、主メディア遅延器１３から入力される主メディアの情報をネットワーク３０を介してクライアント端末４０に配信する。
【００５６】
主メディアは配信される前に主メディア遅延器１３で一定時間遅延するので、クライアント端末４０に配信される主メディアはライブ情報配信サーバ２０から配信されるライブ情報よりも遅延してクライアント端末４０で受信される。
ＩＤ送信器１５は、ＩＤ挿入器１２が主メディアに挿入したＩＤと同じＩＤをネットワーク３０を介してライブ情報配信サーバ２０に通知する。
【００５７】
一方、ライブ情報配信サーバ２０は、図３に示すようにライブ情報入力器２１，ＩＤ受信器２２，ＩＤ付与器２３及びライブ情報配信器２４を備えている。
ライブ情報入力器２１には、中継対象の現在の状況やイベントを表すライブ情報が逐次入力される。例えば、野球中継の場合にはヒットやホームランなどのイベントに関する情報や試合の進行状況がライブ情報として入力される。また、音楽のコンサートの場合には現在演奏されている楽曲に関する情報や演奏の進行状況がライブ情報として入力される。
【００５８】
入力されるライブ情報の形式については、例えばＸＭＬ（eXtensible Markup Language ）でフォーマットされた形式でもよいし、自由文のテキスト情報であってもよい。
ＩＤ受信器２２は、主メディア配信サーバ１０から送信されたＩＤの情報をネットワーク３０を介して受信する。
【００５９】
ＩＤ付与器２３は、ライブ情報入力器２１に入力されたライブ情報に対して、ＩＤ受信器２２が受信したＩＤと同じＩＤを付与する。従って、主メディア配信サーバ１０が配信する主メディアに付与されるＩＤとライブ情報配信サーバ２０が配信するライブ情報に付与されるＩＤとは同じになる。
なお、この例では主メディア及びライブ情報に同一のＩＤを付与するために、主メディア配信サーバ１０の内部で生成されたＩＤの情報をライブ情報配信サーバ２０に通知しているが、共通のＩＤ生成器を特別に設けて、主メディア配信サーバ１０及びライブ情報配信サーバ２０の両方が共通のＩＤ生成器を参照してＩＤを取得するように構成してもよい。
【００６０】
ＩＤ付与器２３でＩＤを付与されたライブ情報は、ライブ情報配信器２４に入力され、ネットワーク３０を介してクライアント端末４０に配信される。
主メディア配信サーバ１０から配信された主メディアは、クライアント端末４０の主メディア受信器４１で受信され、ＩＤ復号器４２でＩＤを抽出された後、主メディア再生器４３で再生される。
【００６１】
ライブ情報配信サーバ２０から配信されたライブ情報は、クライアント端末４０のライブ情報受信器４４で受信され、状況判断器４５に入力される。
ところで、効果的な演出を可能にするためには、ユーザの嗜好などに合わせた情報をルールＤＢ５０及び付加メディアＤＢ５１に登録しておく必要がある。この例では、ユーザ設定器５２を用いてルールＤＢ５０及び付加メディアＤＢ５１の内容を更新できる。従って、ライブ中継に先立って、あるいはライブ中継の最中にユーザはユーザ設定器５２を操作して、ルールＤＢ５０及び付加メディアＤＢ５１の内容を自分の好みに合わせて更新する。
【００６２】
すなわち、付加メディアＤＢ５１には、主メディアを効果的に視聴するために役立つ自分の好みの音楽や効果音やアニメーション動画などの効果映像を登録する。また、付加メディアＤＢ５１に登録した効果音や効果映像を再生するための条件をルールＤＢ５０に登録しておく。
ルールＤＢ５０に登録されるルールは、例えば図４に示すように構成される。図４の例では、特定の状況とそのときに提示する効果音との対応関係を対にした表形式でルールを記述してある。
【００６３】
図４のルールにおいては、例えば「チームＡの選手のホームラン」という状況が発生すると、効果音「ｈａｐｐｙ．ｗａｖ」を提示するという条件が記述されている。ここで、「ｈａｐｐｙ．ｗａｖ」などの効果音（付加メディア）のデータは、付加メディアＤＢ５１に予め登録されている。
但し、付加メディアは必ずしも付加メディアＤＢ５１に配置する必要はなく、例えばＷＷＷサーバのようにクライアント端末４０が参照可能なネットワーク上のサーバに配置してもよい。
【００６４】
その場合には、ルールを図５に示すように記述すればよい。図５の例では、効果音ファイルの所在及びファイル名を示すＵＲＩ（Uniform Resource Identifier）を用いてルールを記述してある。
クライアント端末４０の状況判断器４５は、受信したライブ情報の内容を解析し、ルールＤＢ５０に登録されているルールに基づいて各ルールの条件が成立するかどうかを判定する。そして、条件が成立した場合には、状況判断器４５は該当するライブ情報と効果音ファイル名の組を付加メディア選択器４６に与える。
【００６５】
図６に示すライブ情報は、ＸＭＬで記述されている。図６のライブ情報は、「チーム（ｔｅａｍ）Ａに属するａ選手（ｐｌａｙｅｒ）がホームランを打った（ａｃｔｉｏｎ）」という状況を表している。
このようなライブ情報は、ルールＤＢ５０に記述されている判定ルールによって意味解釈される。
【００６６】
例えば、判定ルールとしてルールＤＢ５０に
(team＝Ａ)＆(action＝ホームラン)→「チームＡの選手のホームラン」
が記述されていれば、図６のライブ情報を「チームＡの選手のホームラン」と解釈できる。
【００６７】
この場合、図４のルールにおいて「チームＡの選手のホームラン」という条件が成立するので、「ｈａｐｐｐｙ．ｗａｖ」という効果音ファイル名がライブ情報と共に付加メディア選択器４６へ送られる。
また、ライブ情報を用いて、現在の状況を類推し条件の成立を判定することもできる。
【００６８】
例えば、ライブ情報が図７の内容である場合には、状況判断器４５では、ルールＤＢ５０の判定ルールに基づき「チームＡが攻勢」と判定する。
ここでは、次のような判定ルールを用いればよい。
(base2=true)&(base3=true)&(playerID=4)&(team=A)→「チームＡが攻勢」
また、ライブ情報が、「ランナー２，３塁バッターボックスにチームＡの４番バッター」というように自然言語で記述されている場合には、推論エンジン等を用いて自然言語処理を行い、その結果をルールで処理することにより、「チームＡが攻勢」と現在の状況を判定できる。
【００６９】
「チームＡが攻勢」と判定した場合には、図４に示されるルールの条件が成立するので、状況判断器４５は「ｃｈｅｅｒ．ｗａｖ」という効果音ファイル名をライブ情報と共に付加メディア選択器４６へ送る。
付加メディア選択器４６は、状況判断器４５から入力される効果音ファイル名に基づき、付加メディアＤＢ５１から効果音ファイル「ｈａｐｐｙ．ｗａｖ」や「ｃｈｅｅｒ．ｗａｖ」を取出す。
【００７０】
付加メディア選択器４６によって取り出された効果音ファイルのデータ及びライブ情報は、ＩＤ復号器４７に送られる。ＩＤ復号器４７は、入力されたライブ情報に付与されているＩＤを取り出し、そのＩＤとライブ情報及び効果音ファイルの組のデータを同期器４８に送る。
同期器４８は付加メディアの出力タイミングを主メディアに同期させるように制御する。
【００７１】
前述のように、主メディアはライブ情報よりも遅れて主メディア配信サーバ１０から配信されるので、クライアント端末４０が受信したライブ情報は主メディアよりも先に現れる。この時間差の影響で、ＩＤ復号器４７から同期器４８にライブ情報のＩＤが入力されたときには、そのＩＤとＩＤ復号器４２から同期器４８に入力される主メディアのＩＤとが一致しない。
【００７２】
そこで、同期器４８はＩＤ復号器４７から入力されたライブ情報のＩＤと合致するＩＤがＩＤ復号器４２から入力されるまで待ち、合致したタイミングで効果音ファイルを付加メディア再生器４９に送り効果音を再生する。
また、ＩＤがタイムコードなど時間の経過に伴って単調増加する値で表現されており、そのＩＤが一定の周期で周期的に主メディアに挿入されている場合には、同期器４８において次のように制御することにより、イベントが発生する時点よりも前に効果音の発生を開始することができる。
【００７３】
すなわち、同期器４８は入力されたライブ情報に付与されていたＩＤの値（時間）よりも主メディアに挿入されたＩＤの値（時間）が、予め与えられた変数ｍ（ｍは周期の任意の倍数）の値だけ小さいときに、効果音ファイルを付加メディア再生器４９に送る。これにより、実際にイベントが発生する前から効果音を鳴すことが可能になる。
【００７４】
例えば、１秒毎にタイムコードがＩＤとして主メディアに挿入され、ｍ＝１０秒が同期器４８に与えられているとき、ＩＤ復号器４７から送られてきたライブ情報に付与されていたＩＤが３０秒であれば、ＩＤ復号器４２から送られてくる主メディアに挿入されていたＩＤが２０秒であったときに効果音ファイルを付加メディア再生器４９に送るので、イベントが発生する１０秒前から効果音を鳴らし始めことになる。
【００７５】
なお、変数ｍの値についてはライブ情報毎、即ちイベントの種類毎に効果的な再生開始時間位置を定めることができる。
例えば、ライブ情報あるいは、ライブ情報から判定される状況から変数ｍの値を決定するためのタイミング決定ルールを図８に示すように定め、このタイミング決定ルールを同期器４８で利用してタイミングを決定すればよい。
【００７６】
このタイミング決定ルールについても、ルールＤＢ５０に登録しておき、ユーザ設定器５２の操作により、ユーザ毎に内容を変更できるように構成するのが望ましい。
図８の例では、ライブ情報から判定される状況が「攻勢」の場合にはｍに１０秒が割り当てられ、「ホームラン」の場合にはｍ＝０秒が割り当てられる。また、決定されたタイミングに効果音を鳴す動作は、タイマー等を用いた時間による制御によって行うことが可能である。また、「チームＢの選手のヒット」の場合にはｍ＝−１秒と記述されているが、この場合、イベントが発生する−１秒前、即ち、イベント発生１秒後にタイマー処理により効果音を鳴らし始める。
【００７７】
音楽のコンサートを中継する場合には、付加メディアとして効果音の代わりに音楽に合わせて写真や映像を表示するように構成しても効果的である。
その場合には、効果音ファイルの代りに写真や映像ファイルを付加メディアＤＢ５１に登録し、ルールＤＢ５０に登録するルールにおいては、その写真や映像ファイル名を指定すればよい。
【００７８】
また、付加メディアとしては人形やロボットなどの外部機器を利用して応援などの演出を行うこともできる。その場合には、効果音ファイルの代りに人形やロボットなどを制御するための動作制御ファイルを付加メディアＤＢ５１に登録しておき、ルールＤＢ５０のルールにおいてはその制御ファイル名を指定すればよい。ロボットなどの外部機器を制御する場合には、赤外線や音声信号を用いて制御してもよい。
【００７９】
上記のように様々な種類の付加メディアを用いる場合であっても、システムの基本動作としては効果音をＢＧＭとして用いる場合と変わりなく、ユーザが指定したタイミングで、指定した動作を行い、主メディアを効果的に演出することができる。
【００８０】
【発明の効果】
以上のように本発明によれば、クライアント端末に配信されるライブ情報を用いて主メディアの各場面の状況に応じた演出を効果音などの付加メディアを用いて効果的に行うことができる。また、ライブ中継であっても予めイベント毎に各場面を効果的に魅せる付加メディアの再生契機をテーブルにルールなどの形式で登録しておけば、特定のイベントが起こったときに即座に付加メディアを選択し効果的に番組を演出するという効果が得られる。
【００８１】
また、主メディアである映像や音声をライブ情報よりも遅らせて配信するとともに主メディアとライブ情報とをＩＤを用いて同期させることにより、イベント発生前の効果的なタイミングで効果音などの再生を開始することができる。
さらに、ルールや再生する付加メディアをユーザ毎に個別に定めることができるので、ユーザ毎に異なる心情を盛り上げるための効果音などを音声に付与することもできる。付加メディアとしては、音声や映像だけでなく外部機器を制御する信号も取り扱えるため、さまざまな効果を表現することが可能になる。
【図面の簡単な説明】
【図１】システムの構成例を示すブロック図である。
【図２】主メディア配信サーバの構成例を示すブロック図である。
【図３】ライブ情報配信サーバの構成例を示すブロック図である。
【図４】ルールＤＢの構成例（１）を示す模式図である。
【図５】ルールＤＢの構成例（２）を示す模式図である。
【図６】ライブ情報の構成例（１）を示す模式図である。
【図７】ライブ情報の構成例（２）を示す模式図である。
【図８】タイミング決定ルールの構成例を示す模式図である。
【符号の説明】
１０  主メディア配信サーバ
１１  主メディア入力器
１２  ＩＤ挿入器
１３  主メディア遅延器
１４  主メディア配信器
１５  ＩＤ送信器
２０  ライブ情報配信サーバ
２１  ライブ情報入力器
２２  ＩＤ受信器
２３  ＩＤ付与器
２４  ライブ情報配信器
３０  ネットワーク
４０  クライアント端末
４１  主メディア受信器
４２  ＩＤ復号器
４３  主メディア再生器
４４  ライブ情報受信器
４５  状況判断器
４６  付加メディア選択器
４７  ＩＤ復号器
４８  同期器
４９  付加メディア再生器
５０  ルールＤＢ
５１  付加メディアＤＢ
５２  ユーザ設定器
【図１】
0003974450.tif 000002
【図２】
0003974450.tif 000003
【図３】
0003974450.tif 000004
【図４】
0003974450.tif 000005
【図５】
0003974450.tif 000006
【図６】
0003974450.tif 000007
【図７】
0003974450.tif 000008
【図８】
0003974450.tif 000009