(57)【要約】【課題】ストリーミングデータとストリーミングデータと関連する映像信号または音声信号とを視聴者側で同期させて再生する。【解決手段】放送局側の送信装置１は、ストリーミングデータに収録時刻情報を付加する収録時刻記録部１２２と、ストリーミングデータを視聴者に配信する配信サーバ１３と、音声信号を視聴者に送信する送信機１５とを有する。視聴者の受信装置４は、受信した音声信号に受信時刻情報を付加する音声時刻記録部４２２と、音声信号を記憶する音声記憶部４２３と、受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加された音声信号を再生する再生手段（映像時刻抽出部４２６、音声読み出し部４２７、音声復号化部４２８、音声出力部４２９）とを有する。【選択図】　　　　図２
2004128836.tif 000002
【特許請求の範囲】
【請求項１】
映像または音声を含むストリーミングデータと、このストリーミングデータと関連する映像または音声を含み、通信にかかる遅延が前記ストリーミングデータ以下であるマルチメディア信号とを視聴者側で同期させて再生する同期再生方法であって、
前記マルチメディア信号を視聴者に送信する送信手順と、
前記ストリーミングデータとこれに関連する前記マルチメディア信号との収録時刻を示す収録時刻情報を前記ストリーミングデータに付加する収録時刻付加手順と、
前記収録時刻情報が付加されたストリーミングデータを視聴者に配信する配信手順と、
前記マルチメディア信号を視聴者側で受信したとき、受信したマルチメディア信号に受信時刻情報を付加する受信時刻付加手順と、
前記受信時刻情報が付加されたマルチメディア信号を記憶する記憶手順と、
受信したストリーミングデータを視聴者側で再生するとき、前記記憶したマルチメディア信号のうち前記受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生する再生手順とを実行することを特徴とする同期再生方法。
【請求項２】
請求項１記載の同期再生方法において、
前記再生手順は、前記受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生する代わりに、視聴者の指示に応じて、前記受信したストリーミングデータの収録時刻情報より前あるいは後の時刻の受信時刻情報が付加されたマルチメディア信号を再生することを特徴とする同期再生方法。
【請求項３】
映像または音声を含むストリーミングデータと、このストリーミングデータと関連する映像または音声を含み、通信にかかる遅延が前記ストリーミングデータ以下であるマルチメディア信号とを視聴者側で同期させて再生する同期再生システムであって、
放送局側の送信装置と視聴者側の受信装置とからなり、
前記送信装置は、
前記マルチメディア信号を視聴者に送信する送信手段と、
前記ストリーミングデータとこれに関連する前記マルチメディア信号との収録時刻を示す収録時刻情報を前記ストリーミングデータに付加する収録時刻付加手段と、
前記収録時刻情報が付加されたストリーミングデータを視聴者に配信する配信手段とを有し、
前記受信装置は、
前記マルチメディア信号を受信したとき、受信したマルチメディア信号に受信時刻情報を付加する受信時刻付加手段と、
前記受信時刻情報が付加されたマルチメディア信号を記憶する記憶手段と、
受信したストリーミングデータを再生するとき、前記記憶されたマルチメディア信号のうち前記受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生する再生手段とを有することを特徴とする同期再生システム。
【請求項４】
請求項３記載の同期再生システムにおいて、
前記再生手段は、前記受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生する代わりに、視聴者の指示に応じて、前記受信したストリーミングデータの収録時刻情報より前あるいは後の時刻の受信時刻情報が付加されたマルチメディア信号を再生することを特徴とする同期再生システム。
【請求項５】
映像または音声を含むストリーミングデータと、このストリーミングデータと関連する映像または音声を含み、通信にかかる遅延が前記ストリーミングデータ以下であるマルチメディア信号とを受信し、前記ストリーミングデータと前記マルチメディア信号とを同期させて再生する受信装置であって、
前記マルチメディア信号を受信したとき、受信したマルチメディア信号に受信時刻情報を付加する受信時刻付加手段と、
前記受信時刻情報が付加されたマルチメディア信号を記憶する記憶手段と、
送信側で収録時刻情報が付加された前記ストリーミングデータを受信して再生するとき、前記記憶されたマルチメディア信号のうち前記受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生する再生手段とを有することを特徴とする受信装置。
【請求項６】
請求項５記載の受信装置において、
前記再生手段は、前記受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生する代わりに、視聴者の指示に応じて、前記受信したストリーミングデータの収録時刻情報より前あるいは後の時刻の受信時刻情報が付加されたマルチメディア信号を再生することを特徴とする受信装置。
【請求項７】
映像または音声を含むストリーミングデータと、このストリーミングデータと関連する映像または音声を含み、通信にかかる遅延が前記ストリーミングデータ以下であるマルチメディア信号とを受信し、前記ストリーミングデータと前記マルチメディア信号とを同期させてコンピュータに再生させる同期再生プログラムであって、
前記マルチメディア信号を受信したとき、受信したマルチメディア信号に受信時刻情報を付加する受信時刻付加手順と、
前記受信時刻情報が付加されたマルチメディア信号をメモリに格納する記憶手順と、
送信側で収録時刻情報が付加された前記ストリーミングデータを受信して再生するとき、前記メモリに格納されたマルチメディア信号のうち前記受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生する再生手順とをコンピュータに実行させることを特徴とする同期再生プログラム。
【請求項８】
請求項７記載の同期再生プログラムにおいて、
前記再生手順は、前記受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生する代わりに、視聴者の指示に応じて、前記受信したストリーミングデータの収録時刻情報より前あるいは後の時刻の受信時刻情報が付加されたマルチメディア信号を再生することを特徴とする同期再生プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像または音声を含むストリーミングデータと、このストリーミングデータと関連する映像または音声を含むマルチメディア信号とを視聴者側で同期させて再生する同期再生方法、同期再生システム、受信装置及びプログラムに関するものである。
【０００２】
【従来の技術】
今日、ストリーミング技術の普及により、インターネット経由で手軽に映像を配信かつ視聴することが可能となった（例えば、非特許文献１参照）。このため、ラジオ放送業界は、音声のみならず映像を同時に配信する番組形態を実験中である。
【０００３】
【非特許文献１】
「なんでも探検　インターネットのストリーミング動画配信」，日経ネットワーク９月号，日経ＢＰ社，２００２年９月，ｐ．１１８−１２１
【０００４】
【発明が解決しようとする課題】
しかしながら、放送音声とストリーミング映像を生放送で提供すると、ストリーミング映像の配信にかかる遅延が例えば２０−３０秒程度発生するため、遅延の小さい放送音声に対してストリーミング映像の遅延が大きくなり、その結果、映像と音声が同期した状態で視聴者に番組を提供することができず、ストリーミング映像を効果的に利用することができないという問題点があった。
本発明は、上記課題を解決するためになされたもので、ストリーミングデータと、このストリーミングデータと関連する映像信号または音声信号とを視聴者側で同期させて再生することができる同期再生方法、同期再生システム、受信装置及びプログラムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は、映像または音声を含むストリーミングデータと、このストリーミングデータと関連する映像または音声を含み、通信にかかる遅延がストリーミングデータ以下であるマルチメディア信号とを視聴者側で同期させて再生する同期再生方法であって、前記マルチメディア信号を視聴者に送信する送信手順と、前記ストリーミングデータとこれに関連する前記マルチメディア信号との収録時刻を示す収録時刻情報を前記ストリーミングデータに付加する収録時刻付加手順と、前記収録時刻情報が付加されたストリーミングデータを視聴者に配信する配信手順と、前記マルチメディア信号を視聴者側で受信したとき、受信したマルチメディア信号に受信時刻情報を付加する受信時刻付加手順と、前記受信時刻情報が付加されたマルチメディア信号を記憶する記憶手順と、受信したストリーミングデータを視聴者側で再生するとき、前記記憶したマルチメディア信号のうち前記受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生する再生手順とを実行するようにしたものである。ストリーミングデータとマルチメディア信号とは、同一の通信媒体を伝播してもよいが、通常は、遅延時間の異なる別個の通信媒体を介して視聴者に送信される。
また、本発明の同期再生方法の１構成例において、前記再生手順は、前記受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生する代わりに、視聴者の指示に応じて、前記受信したストリーミングデータの収録時刻情報より前あるいは後の時刻の受信時刻情報が付加されたマルチメディア信号を再生するようにしたものである。
【０００６】
また、本発明の同期再生システムは、放送局側の送信装置と視聴者側の受信装置とからなり、前記送信装置は、前記マルチメディア信号を視聴者に送信する送信手段と、前記ストリーミングデータとこれに関連する前記マルチメディア信号との収録時刻を示す収録時刻情報を前記ストリーミングデータに付加する収録時刻付加手段と、前記収録時刻情報が付加されたストリーミングデータを視聴者に配信する配信手段とを有し、前記受信装置は、前記マルチメディア信号を受信したとき、受信したマルチメディア信号に受信時刻情報を付加する受信時刻付加手段と、前記受信時刻情報が付加されたマルチメディア信号を記憶する記憶手段と、受信したストリーミングデータを再生するとき、前記記憶されたマルチメディア信号のうち前記受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生する再生手段とを有するものである。
また、本発明の同期再生システムの１構成例において、前記再生手段は、前記受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生する代わりに、視聴者の指示に応じて、前記受信したストリーミングデータの収録時刻情報より前あるいは後の時刻の受信時刻情報が付加されたマルチメディア信号を再生するものである。
【０００７】
また、本発明の受信装置は、前記マルチメディア信号を受信したとき、受信したマルチメディア信号に受信時刻情報を付加する受信時刻付加手段と、前記受信時刻情報が付加されたマルチメディア信号を記憶する記憶手段と、送信側で収録時刻情報が付加された前記ストリーミングデータを受信して再生するとき、前記記憶されたマルチメディア信号のうち前記受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生する再生手段とを有するものである。
また、本発明の受信装置の１構成例において、前記再生手段は、前記受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生する代わりに、視聴者の指示に応じて、前記受信したストリーミングデータの収録時刻情報より前あるいは後の時刻の受信時刻情報が付加されたマルチメディア信号を再生するものである。
【０００８】
また、本発明の同期再生プログラムは、前記マルチメディア信号を受信したとき、受信したマルチメディア信号に受信時刻情報を付加する受信時刻付加手順と、前記受信時刻情報が付加されたマルチメディア信号をメモリに格納する記憶手順と、送信側で収録時刻情報が付加された前記ストリーミングデータを受信して再生するとき、前記メモリに格納されたマルチメディア信号のうち前記受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生する再生手順とをコンピュータに実行させるようにしたものである。
また、本発明の同期再生プログラムの１構成例において、前記再生手順は、前記受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生する代わりに、視聴者の指示に応じて、前記受信したストリーミングデータの収録時刻情報より前あるいは後の時刻の受信時刻情報が付加されたマルチメディア信号を再生するようにしたものである。
【０００９】
【発明の実施の形態】
図１は本発明の同期再生システムの原理を示す図である。本発明の同期再生システムは、放送局の送信装置１と、映像ストリーミングデータを伝送する第１の通信媒体であるインターネット２と、音声信号を伝送する第２の通信媒体である無線伝搬路３と、視聴者宅の受信装置４とから構成される。
【００１０】
放送局から送信されるラジオ放送の音声信号は、無線伝搬路３を経由して視聴者のラジオ受信機４１で受信される。一方、放送局から送信される映像ストリーミングデータは、インターネット２を経由して視聴者の映像音声再生装置４２で受信されるが、通信にかかる遅延が音声信号よりも大きいため、音声信号との同期がとれていない。そこで、本発明では、ラジオ受信機４１で受信された音声信号を映像音声再生装置４２で一時記憶し、遅れて再生される映像ストリーミングデータに同期させて音声信号を再生する。このような同期再生のため、本発明では、映像ストリーミングデータに収録時刻情報を予め付加しておく。
【００１１】
以下、本発明の実施の形態について説明する。図２は本発明の実施の形態となる同期再生システムの構成を示すブロック図である。放送局の送信装置１は、映像を撮影する映像撮影装置１１と、映像信号を符号化して収録時刻情報を付加する映像処理装置（エンコーダ）１２と、収録時刻情報が付加された映像ストリーミングデータを視聴者に配信する配信サーバ１３と、音声を収録する音声収録装置１４と、音声送信機１５とから構成される。映像処理装置１２は、映像信号を符号化する映像符号化部１２１と、映像ストリーミングデータに収録時刻情報を付加する収録時刻記録部１２２とを有している。
【００１２】
視聴者宅の受信装置４は、ラジオ受信機４１と、コンピュータ（ＰＣ）からなる映像音声再生装置４２とから構成される。映像音声再生装置４２は、音声信号を符号化する音声符号化部４２１と、音声データに受信時刻情報を付加する音声時刻記録部４２２と、受信時刻情報が付加された音声データを記憶する音声記憶部４２３と、映像ストリーミングデータを復号する映像復号化部４２４と、復号された映像を表示する映像表示部４２５と、映像ストリーミングデータから収録時刻情報を抽出する映像時刻抽出部４２６と、映像ストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加された音声データを音声記憶部４２３から読み出す音声読み出し部４２７と、音声記憶部４２３から読み出された音声データを復号する音声復号化部４２８と、復号された音声を出力する音声出力部４２９とを有している。映像時刻抽出部４２６、音声読み出し部４２７、音声復号化部４２８および音声出力部４２９は、音声信号の再生手段を構成している。
【００１３】
次に、本実施の形態の同期再生システムの動作について説明する。映像撮影装置１１は、ストリーミング放送したい映像（例えば、解説者の映像）を撮影（収録）して映像信号を出力し、映像処理装置１２の映像符号化部１２１は、映像撮影装置１１から出力された映像信号を符号化して映像ストリーミングデータを出力する。映像処理装置１２の収録時刻記録部１２２は、映像符号化部１２１から出力された映像ストリーミングデータの生成元となった映像信号の収録時刻を示す収録時刻情報を、映像ストリーミングデータに付加する。そして、配信サーバ１３は、収録時刻情報が付加された映像ストリーミングデータをインターネット２を介して視聴者宅の受信装置４に配信する。映像ストリーミングデータに対する収録時刻情報の付加は、映像撮影装置１１から映像信号が出力される間行われる。
【００１４】
一方、音声収録装置１４は、ラジオ放送したい音声（例えば、解説者の音声や所定の記録媒体に記録された音楽）を収録して音声信号を出力する。音声送信機１５は、音声収録装置１４から出力された音声信号を電波を媒体として視聴者宅の受信装置４に無線送信する。
【００１５】
放送局で生放送が行われる場合には、映像撮影装置１１による映像撮影と音声収録装置１４による音声収録とが同時に行われる。また、生放送でない場合には、予め撮影した映像信号を映像処理装置１２に入力すると同時に、映像と同期させたい音声信号を音声送信機１５に入力する。この場合には、映像信号と音声信号の入力時刻が収録時刻となる。
【００１６】
視聴者宅の映像音声再生装置４２の映像復号化部４２４は、インターネット２を介して受信した映像ストリーミングデータを復号し、映像表示部４２５は、映像復号化部４２４によって復号された映像を表示する。一方、視聴者宅のラジオ受信機４１は、無線伝搬路３を介して受信した電波を復調して音声信号を取り出す。ここで、映像復号化部４２４で復号された映像とラジオ受信機４１で受信された音声は、映像ストリーミングデータの遅延が大きいために同期していない。
【００１７】
本実施の形態では、この映像と音声の非同期を解消するために、ラジオ受信機４１で受信した音声を遅延させて映像と同期させる。すなわち、映像音声再生装置４２の音声符号化部４２１は、ラジオ受信機４１から出力された音声信号を符号化し、音声時刻記録部４２２は、音声符号化部４２１によって符号化された音声データを受信したとき、この音声データに受信時刻を示す受信時刻情報を付加する。そして、音声記憶部４２３は、受信時刻情報が付加された音声データを記憶する。音声データに対する受信時刻情報の付加は、ラジオ受信機４１から音声信号が出力される間行われる。
【００１８】
一方、映像時刻抽出部４２６は、映像復号化部４２４で復号される映像ストリーミングデータから収録時刻情報を抽出して音声読み出し部４２７に渡す。音声読み出し部４２７は、映像ストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加された音声データを音声記憶部４２３から読み出して音声復号化部４２８に渡す。音声復号化部４２８は、音声読み出し部４２７から出力された音声データを復号し、音声出力部４２９は、音声復号化部４２８によって復号された音声を出力する。以上のようにして、映像と音声を同期して再生することができる。
【００１９】
なお、本実施の形態では、映像ストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加された音声データを音声記憶部４２３から読み出して再生しているが、このような自動的な再生では映像と音声の完全な同期を実現できない場合もある。何故ならば、音声信号の通信にかかる遅延は、映像ストリーミングデータの遅延に比べて小さいが、零ではないため、映像ストリーミングデータの収録時刻に対して音声信号の受信時刻が遅れる場合があるからである。
【００２０】
そこで、本実施の形態では、音声信号の再生タイミングを手動調整可能な機能を備えている。すなわち、映像音声再生装置４２の音声読み出し部４２７は、視聴者から再生タイミングの調整指示を受けると、映像ストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加された音声データを音声記憶部４２３から読み出す（以下、標準モードと呼ぶ）代わりに、前記収録時刻情報よりも前の時刻あるいは後の時刻の受信時刻情報が付加された音声データを読み出す。音声信号の再生タイミングを標準モードに対して遅らせるか進ませるか、また再生タイミングを標準モードに対してどれだけ変えるかは、視聴者が指定することができる。こうして、視聴者は音声信号の再生タイミングを手動調整することができる。
【００２１】
前述のとおり、映像音声再生装置４２の構成はコンピュータで実現することができる。このコンピュータは、ＣＰＵ、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）、フレキシブルディスク装置等の補助記憶装置、ハードディスク装置等の大容量の外部記憶装置、インターネット２やラジオ受信機４１とのインタフェースとなるインタフェース装置といった構成を有している。
【００２２】
本発明の同期再生方法を実現させるための同期再生プログラムは、インターネット２を介してダウンロードする。ＣＰＵは、インタフェース装置を介して受信したプログラムをＲＡＭあるいは外部記憶装置に書き込み、このプログラムに従って映像音声再生装置４２の処理を実行する。プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、メモリカード等の記録媒体に記録した状態で提供してもよい。この場合には、記録媒体をコンピュータの補助記憶装置に挿入すると、媒体に記録されたプログラムが読み取られる。
【００２３】
なお、本実施の形態では、音声放送とストリーミング映像を同期させる方法に関して説明したが、これに限るものではなく、テレビジョン放送の映像とストリーミング音声とを同期させることも可能であることは言うまでもない。また、本実施の形態では、インターネットと無線伝搬路という通信媒体を例に挙げて説明したが、通信媒体をこれらに限定するものではない。
【００２４】
【発明の効果】
本発明によれば、マルチメディア信号を視聴者に送信し、ストリーミングデータに収録時刻情報を付加して視聴者に配信し、視聴者側では、受信したマルチメディア信号に受信時刻情報を付加して記憶し、受信したストリーミングデータを再生するとき、記憶したマルチメディア信号のうち受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生するようにしたので、ストリーミングデータとマルチメディア信号とを視聴者側で同期させて再生することができ、視聴者は違和感なくストリーミングデータとマルチメディア信号を視聴することができる。その結果、例えば映像等のストリーミングデータとラジオ音声等のマルチメディア信号とが同期した状態で視聴者に番組を提供することができ、テレビジョン放送と同様のメディア効果を実現することができる。
【００２５】
また、受信したストリーミングデータの収録時刻情報と同一時刻の受信時刻情報が付加されたマルチメディア信号を再生する代わりに、視聴者の指示に応じて、受信したストリーミングデータの収録時刻情報より前あるいは後の時刻の受信時刻情報が付加されたマルチメディア信号を再生することにより、視聴者は音声信号の再生タイミングを手動調整することができる。
【図面の簡単な説明】
【図１】本発明の同期再生システムの原理を示す図である。
【図２】本発明の実施の形態となる同期再生システムの構成を示すブロック図である。
【符号の説明】
１…送信装置、２…インターネット、３…無線伝搬路、４…受信装置、１１…映像撮影装置、１２…映像処理装置、１３…配信サーバ、１４…音声収録装置、１５…音声送信機、４１…ラジオ受信機、４２…映像音声再生装置、１２１…映像符号化部、１２２…収録時刻記録部、４２１…音声符号化部、４２２…音声時刻記録部、４２３…音声記憶部、４２４…映像復号化部、４２５…映像表示部、４２６…映像時刻抽出部、４２７…音声読み出し部、４２８…音声復号化部、４２９…音声出力部。
【図１】
2004128836.tif 000003
【図２】
2004128836.tif 000004