(57)【特許請求の範囲】
【請求項１】
複数の映像配信装置と、複数の映像再生装置と、を含み、
前記複数の映像配信装置のそれぞれは、
前記映像再生装置に配信する配信映像に含まれるフレーム画像に対して、当該フレーム画像の生成タイミングを示すタイミング情報を付与するタイミング情報付与手段と、
前記タイミング情報が付与された前記配信映像を配信する配信手段と、
を含み、
前記複数の映像再生装置のそれぞれは、
前記複数の映像配信装置のそれぞれから配信される前記配信映像を受信する受信手段と、
前記受信した複数の配信映像を、当該複数の配信映像のそれぞれに含まれる前記タイミング情報に基づいて同期させて再生する再生手段と、
を含み、
前記複数の映像再生装置のうちの第１の映像再生装置は、前記複数の配信映像の再生中にユーザが入力したメッセージを、当該入力のタイミングに再生されていたフレーム画像の生成タイミングを示すタイミング情報とともに、複数の前記映像再生装置のうちの第２の映像再生装置に送信する手段をさらに含み、
前記第２の映像再生装置の前記再生手段は、前記送信されたメッセージを、当該メッセージとともに送信されたタイミング情報に応じて同期させながら、前記複数の映像とともに表示する
ことを特徴とする映像再生システム。
【請求項２】
複数の映像配信装置から配信される複数の配信映像を再生する映像再生装置であって、
前記複数の配信映像を受信する受信手段と、
前記複数の配信映像のそれぞれに含まれるフレーム画像に対して付与された、当該フレーム画像の生成タイミングを示すタイミング情報に基づいて、前記複数の配信映像を同期させて再生する再生手段と、
他の映像再生装置が前記複数の配信映像を受信して再生中に当該他の映像再生装置のユーザが入力したメッセージを、当該入力のタイミングに再生されていたフレーム画像の生成タイミングを示すタイミング情報とともに、当該他の映像再生装置から受信する手段と、
を含み、
前記再生手段は、前記受信したメッセージを、当該メッセージとともに受信したタイミング情報に応じて同期させながら、前記複数の映像とともに表示する
ことを特徴とする映像再生装置。
【請求項３】
複数の映像配信装置から配信される複数の配信映像を再生する映像再生装置の制御方法であって、
前記複数の配信映像を受信する受信ステップと、
前記複数の配信映像のそれぞれに含まれるフレーム画像に対して付与された、当該フレーム画像の生成タイミングを示すタイミング情報に基づいて、前記複数の配信映像を同期させて再生する再生ステップと、
他の映像再生装置が前記複数の配信映像を受信して再生中に当該他の映像再生装置のユーザが入力したメッセージを、当該入力のタイミングに再生されていたフレーム画像の生成タイミングを示すタイミング情報とともに、当該他の映像再生装置から受信するステップと、
を含み、
前記再生ステップでは、前記受信したメッセージを、当該メッセージとともに受信したタイミング情報に応じて同期させながら、前記複数の映像とともに表示する
を含むことを特徴とする映像再生装置の制御方法。
【請求項４】
複数の映像配信装置から配信される複数の配信映像を再生する映像再生装置の制御プログラムであって、
前記複数の配信映像を受信する受信手段、
前記複数の配信映像のそれぞれに含まれるフレーム画像に対して付与された、当該フレーム画像の生成タイミングを示すタイミング情報に基づいて、前記複数の配信映像を同期させて再生する再生手段、及び、
他の映像再生装置が前記複数の配信映像を受信して再生中に当該他の映像再生装置のユーザが入力したメッセージを、当該入力のタイミングに再生されていたフレーム画像の生成タイミングを示すタイミング情報とともに、当該他の映像再生装置から受信する手段、
として前記映像再生装置を機能させ、
前記再生手段は、前記受信したメッセージを、当該メッセージとともに受信したタイミング情報に応じて同期させながら、前記複数の映像とともに表示する
ことを特徴とするプログラム。
【請求項５】
請求項４に記載のプログラムを記憶した、コンピュータ読み取り可能な情報記憶媒体。
【請求項６】
１又は複数の映像配信装置と、第１及び第２の映像再生装置と、を含み、
前記１又は複数の映像配信装置のそれぞれは、
前記映像再生装置に配信する配信映像に含まれるフレーム画像に対して、当該フレーム画像の生成タイミングを示すタイミング情報を付与するタイミング情報付与手段と、
前記タイミング情報が付与された前記配信映像を配信する配信手段と、
を含み、
前記第１及び第２の映像再生装置のそれぞれは、
前記１又は複数の映像配信装置から配信される複数の前記配信映像を受信する受信手段と、
前記受信した複数の配信映像を、当該複数の配信映像のそれぞれに含まれる前記タイミング情報に基づいて同期させて再生する再生手段と、
を含み、
前記第１の映像再生装置は、
前記複数の映像の再生中にユーザが入力したメッセージを、当該入力のタイミングに再生されていたフレーム画像の生成タイミングを示すタイミング情報とともに、前記第２の映像再生装置に送信する手段をさらに含み、
前記第２の映像再生装置の前記再生手段は、前記送信されたメッセージを受信した際に、当該メッセージとともに送信されたタイミング情報を参照して、当該メッセージを前記第１の映像再生装置のユーザが入力したタイミングにおいて前記第１の映像再生装置で再生されていたフレーム画像を既に再生済みの場合には当該メッセージを直ちに表示し、再生済みでない場合には当該フレーム画像を再生するタイミングで当該メッセージを表示する
ことを特徴とする映像再生システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の映像を同時期に再生する映像再生システム、当該映像再生システムを構成する映像配信装置及び映像再生装置、当該映像再生装置の制御方法及び制御プログラム、並びに当該制御プログラムを格納する情報記憶媒体に関する。
【背景技術】
【０００２】
コンピュータゲームのプレイ画面を表す映像や、ビデオカメラで撮影して得られる映像などを再生する映像再生装置が知られている（例えば特許文献１参照）。特に、映像配信装置がストリーミング配信する映像を受信しながら映像を再生する映像再生装置を使用すれば、映像再生装置のユーザは、映像配信装置を使用する他のユーザが現在プレイ中のゲームの画面や現在撮影中の映像をリアルタイムで視聴することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２００８／１１８２３２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザは、同じ対象を表す複数の映像を同時期に視聴したい場合がある。例えば、複数ユーザが参加するオンラインゲームを対象として、この複数のユーザそれぞれのゲーム画面を同時期に視聴する場合や、現実のスポーツの試合が行われる様子を複数のカメラで撮影した映像を同時期に視聴する場合などである。このような場合、これら複数の映像の配信に要する時間が互いに異なると、本来同じタイミングで生成された一つの対象を表す複数の映像が、互いにずれたタイミングで再生されてしまうことがある。【０００５】
本発明は上記実情を考慮してなされたものであって、その目的の一つは、互いに同じ対象を表す複数の映像を同時期に再生する場合に、これら複数の映像の再生タイミングを同期させることのできる映像再生システム、当該映像再生システムを構成する映像配信装置及び映像再生装置、当該映像再生装置の制御方法及び制御プログラム、並びに当該制御プログラムを格納する情報記憶媒体を提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る映像再生システムは、１又は複数の映像配信装置と、映像再生装置と、を含み、前記１又は複数の映像配信装置のそれぞれは、前記映像再生装置に配信する配信映像に含まれるフレーム画像に対して、当該フレーム画像の生成タイミングを示すタイミング情報を付与するタイミング情報付与手段と、前記タイミング情報が付与された前記配信映像を配信する配信手段と、を含み、前記映像再生装置は、前記１又は複数の映像配信装置から配信される複数の前記配信映像を受信する受信手段と、前記受信した複数の配信映像を、当該複数の配信映像のそれぞれに含まれる前記タイミング情報に基づいて同期させて再生する再生手段と、を含むことを特徴とする。【０００７】
前記映像再生システムは、前記映像再生装置を複数含み、複数の前記映像再生装置のうちの第１の映像再生装置は、前記複数の映像の再生中にユーザが入力したメッセージを、当該入力のタイミングに再生されていたフレーム画像の生成タイミングを示すタイミング情報とともに、複数の前記映像再生装置のうちの第２の映像再生装置に送信する手段をさらに含み、前記第２の映像再生装置の前記再生手段は、前記送信されたメッセージを、当該メッセージとともに送信されたタイミング情報に応じて同期させながら、前記複数の映像とともに表示することとしてもよい。【０００８】
また、本発明に係る映像再生装置は、１又は複数の映像配信装置から配信される複数の配信映像を再生する映像再生装置であって、前記複数の配信映像を受信する受信手段と、前記複数の配信映像のそれぞれに含まれるフレーム画像に対して付与された、当該フレーム画像の生成タイミングを示すタイミング情報に基づいて、前記複数の配信映像を同期させて再生する再生手段と、を含むことを特徴とする。【０００９】
また、本発明に係る映像配信装置は、映像再生装置に配信映像を配信する映像配信装置であって、前記配信映像に含まれるフレーム画像に対して、当該フレーム画像の生成タイミングを示すタイミング情報を付与するタイミング情報付与手段と、前記タイミング情報が付与された前記配信映像を配信する配信手段と、を含み、前記付与されたタイミング情報は、前記映像再生装置が複数の配信映像を同期して再生する際に用いられることを特徴とする。【００１０】
また、本発明に係る映像再生装置の制御方法は、１又は複数の映像配信装置から配信される複数の配信映像を再生する映像再生装置の制御方法であって、前記複数の配信映像を受信するステップと、前記複数の配信映像のそれぞれに含まれるフレーム画像に対して付与された、当該フレーム画像の生成タイミングを示すタイミング情報に基づいて、前記複数の配信映像を同期させて再生するステップと、を含むことを特徴とする映像再生装置の制御方法。【００１１】
また、本発明に係るプログラムは、１又は複数の映像配信装置から配信される複数の配信映像を再生する映像再生装置の制御プログラムであって、前記複数の配信映像を受信する受信手段、及び、前記複数の配信映像のそれぞれに含まれるフレーム画像に対して付与された、当該フレーム画像の生成タイミングを示すタイミング情報に基づいて、前記複数の配信映像を同期させて再生する再生手段、として前記映像再生装置を機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能な情報記憶媒体に記憶されてよい。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る映像再生システムの概要図である。
【図２】本発明の実施の形態に係る映像配信装置の構成図である。
【図３】本発明の実施の形態に係る映像再生装置の構成図である。
【図４】本発明の実施の形態に係る映像再生システムが実現する機能を示す機能ブロック図である。
【図５Ａ】配信映像の同期制御の一例を示すタイムチャートである。
【図５Ｂ】配信映像の同期制御の別の例を示すタイムチャートである。
【図６】配信映像の表示画面の一例を示す図である。
【図７】メッセージの表示タイミング制御の一例を示すタイムチャートである。
【図８】配信処理が開始される際の処理フローの一例を示すフロー図である。
【図９】映像再生装置が配信映像を受信する際の処理フローの一例を示すフロー図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面に基づき詳細に説明する。
【００１４】
図１は、本発明の一実施形態に係る映像再生システム１の全体概要を示す概要図である。映像再生システム１は、１又は複数の映像配信装置１０と、１又は複数の映像再生装置２０と、を含んで構成される。以下では具体例として、映像再生システム１は、ユーザＵ１が使用する映像配信装置１０ａ、及びユーザＵ２が使用する映像配信装置１０ｂの２つの映像配信装置１０と、ユーザＵ３が使用する映像再生装置２０ａ、及びユーザＵ４が使用する映像再生装置２０ｂの２つの映像再生装置２０と、を含むものとする。さらに、本実施形態において映像再生システム１は、配信管理サーバ３０、配信中継サーバ３１、及びメッセージ中継サーバ３２を含む。これらのサーバと映像配信装置１０及び映像再生装置２０とは、通信ネットワーク３５を介して接続される。各映像配信装置１０はオンラインゲームの処理を実行するゲーム装置であり、これらの映像配信装置１０のユーザは同じオンラインゲームをプレイするものとする。具体的に、例えばユーザＵ１とユーザＵ２とは、ネットワークを介して対戦型のオンラインゲームを行う。各映像配信装置１０は、ユーザが実行中のゲームのプレイ画面を表す映像（以下、配信映像Ｄと表記する）を配信中継サーバ３１経由で映像再生装置２０に配信する。各映像再生装置２０は、映像配信装置１０ａが配信する配信映像Ｄ１、及び映像配信装置１０ｂが配信する配信映像Ｄ２の双方を同時期に再生する。
【００１５】
映像配信装置１０は、家庭用ゲーム機やパーソナルコンピュータなどの情報処理装置であって、図２に示すように、制御部１１と、記憶部１２と、通信部１３と、を含んで構成される。また、映像配信装置１０は、操作デバイス１４、及び表示装置１５と接続される。
【００１６】
制御部１１は、ＣＰＵ等のプログラム制御デバイスであって、記憶部１２に記憶されたプログラムに従って各種の情報処理を実行する。記憶部１２は、ＲＡＭやＲＯＭ等のメモリ素子を含んで構成され、制御部１１が実行するプログラムや、このプログラムによる処理の対象となるデータを記憶する。また、記憶部１２は制御部１１のワークメモリとしても機能する。
【００１７】
通信部１３は、通信ネットワーク３５を介して他の装置との間でデータを授受するためのインタフェースであって、映像配信装置１０は、通信部１３を経由して配信管理サーバ３０、及び配信中継サーバ３１との間で情報の送受信を行う。なお、通信ネットワーク３５は、インターネットやローカルエリアネットワーク、無線通信ネットワークなど、各種の通信ネットワークを含んでよい。
【００１８】
操作デバイス１４は、ユーザの操作入力を受け付けるデバイスであって、例えば家庭用ゲーム機に付属するコントローラや、キーボード、マウスなどであってよい。また、映像配信装置１０の筐体表面に配置された操作ボタンやスイッチ等の操作部材を含んでもよい。ユーザは、操作デバイス１４に対して操作入力を行うことでゲームをプレイする。
【００１９】
表示装置１５は、例えば液晶ディスプレイや有機ＥＬディスプレイなどの画像表示デバイスであって、制御部１１からの指示に応じた画像を表示する。特に本実施形態では、表示装置１５は、ユーザがプレイ中のゲーム画面を表示する。この表示中のゲーム画面を表す配信映像Ｄが、映像再生装置２０にストリーミング配信される。
【００２０】
映像再生装置２０は、映像配信装置１０と同様に、家庭用ゲーム機やパーソナルコンピュータなどの情報処理装置であって、図３に示すように、制御部２１と、記憶部２２と、通信部２３と、を含んで構成される。また、映像再生装置２０は、操作デバイス２４、及び表示装置２５と接続される。
【００２１】
制御部２１は、ＣＰＵ等のプログラム制御デバイスであって、記憶部２２に記憶されたプログラムに従って各種の情報処理を実行する。記憶部２２は、ＲＡＭやＲＯＭ等のメモリ素子を含んで構成され、制御部２１が実行するプログラムや、このプログラムによる処理の対象となるデータを記憶する。また、記憶部２２は制御部２１のワークメモリとしても機能する。
【００２２】
通信部２３は、通信ネットワーク３５を介して他の装置との間でデータを授受するためのインタフェースであって、映像再生装置２０は、通信部２３を経由して配信管理サーバ３０、配信中継サーバ３１、及びメッセージ中継サーバ３２との間で情報の送受信を行う。
【００２３】
操作デバイス２４は、ユーザの操作入力を受け付けるデバイスであって、例えば家庭用ゲーム機に付属するコントローラや、キーボード、マウスなどであってよい。また、映像再生装置２０の筐体表面に配置された操作ボタンやスイッチ等の操作部材を含んでもよい。ユーザは、操作デバイス２４に対する操作入力によって映像再生装置２０に映像の再生や停止を指示したり、映像の再生中に当該映像に関するメッセージを入力したりする。
【００２４】
表示装置２５は、例えば液晶ディスプレイや有機ＥＬディスプレイなどの画像表示デバイスであって、制御部２１からの指示に応じた画像を表示する。特に本実施形態では、表示装置２５は、映像再生装置２０が配信中継サーバ３１から受信した複数の配信映像Ｄを表示する。
【００２５】
以下、本実施形態に係る映像再生システム１が実現する機能について、図４の機能ブロック図を用いて説明する。図４に示すように、映像再生システム１は、機能的に、映像生成部４１と、タイミング情報生成部４２と、映像配信部４３と、映像受信部４４と、映像再生部４５と、メッセージ交換部４６と、を含んで構成される。これらの機能のうち、映像生成部４１、タイミング情報生成部４２、及び映像配信部４３は、各映像配信装置１０の制御部１１が記憶部１２に格納されたプログラムを実行することにより実現される。また、映像受信部４４、映像再生部４５、及びメッセージ交換部４６は、各映像再生装置２０の制御部２１が記憶部２２に格納されたプログラムを実行することにより実現される。
【００２６】
映像生成部４１は、映像再生装置２０に配信すべき配信映像Ｄを生成する。本実施形態では、前述したように映像配信装置１０はオンラインゲームに参加するゲーム装置である。そのため映像生成部４１は、当該オンラインゲームに係る処理を実行して、そのゲーム画面を表示装置１５に表示する。映像配信装置１０のユーザは、このゲーム画面を観覧しながらゲームをプレイする。映像生成部４１は、このゲーム画面の画像を符号化して、映像再生装置２０に送信すべき配信映像Ｄを生成する。配信映像Ｄは、例えばＭＰＥＧ規格に基づく映像データであってよい。
【００２７】
さらに本実施形態において、映像生成部４１は、この配信映像Ｄを生成する際に、配信映像Ｄを構成する１又は複数のフレーム画像に対して、その生成タイミングを示すタイミング情報を付与する。このタイミング情報は、後述するタイミング情報生成部４２によって生成される。配信映像ＤがＭＰＥＧ規格の映像であれば、このタイミング情報は、映像と音声との同期に用いられるＰＴＳ（Presentation Time Stamp）情報として映像データ内に格納されてもよい。
【００２８】
映像生成部４１は、配信映像Ｄを構成する全てのフレーム画像に対してタイミング情報を付与してもよいし、所定時間おきに生成されるフレーム画像に対して付与してもよい。また、ＭＰＥＧ規格におけるＧＯＰ（Group Of Pictures）のように、配信映像Ｄがそれぞれ複数のフレーム画像を含む複数のグループによって構成される場合、映像生成部４１は、この複数のグループそれぞれの先頭のフレーム画像にタイミング情報を付与してもよい。また、配信映像Ｄが一定フレームレートの映像であれば、映像生成部４１は、配信開始時の先頭フレーム画像だけにタイミング情報を付与してもよい。この場合、映像再生装置２０は各フレーム画像が先頭フレーム画像から何個目かに応じて、各フレーム画像の生成タイミングを特定できる。いずれにせよ、映像生成部４１は、少なくとも配信映像Ｄを構成する先頭フレーム画像にはタイミング情報を付与することが望ましい。
【００２９】
タイミング情報生成部４２は、映像生成部４１がフレーム画像に付与するタイミング情報を生成する。このタイミング情報は、例えば実際の現在日時を示す時刻情報そのものであってもよいし、この時刻情報に対してモジュロ演算等の所定の演算を行って生成される値であってもよい。一般に、インターネットに接続される情報処理装置は、自身が計時する時刻情報（ＲＴＣ）を正確に保つために、ＮＴＰ（Network Time Protocol）などのプロトコルによってＮＴＰサーバなどの時刻情報源ＴＳと通信を行い、協定世界時（ＵＴＣ）の情報を入手して自身の時刻情報を補正している。そのため、時刻情報源ＴＳからＵＴＣに基づく時刻情報を入手している複数の映像配信装置１０は、同時刻には互いに同一の時刻情報を計時していると想定される。そこで、各映像配信装置１０のタイミング情報生成部４２がＵＴＣに基づいて同じ方法でタイミング情報を生成すれば、複数の映像配信装置１０は、互いに同じタイミングで生成されたフレーム画像に対して同じタイミング情報を付与することができる。
【００３０】
なお、タイミング情報生成部４２は、ＵＴＣの情報の代わりに、所定の時刻情報源ＴＳが提供する時刻情報をタイミング情報として取得してもよい。複数の映像配信装置１０が互いに同じ時刻情報源ＴＳから時刻情報を取得することとすれば、仮にこの時刻情報がＵＴＣと一致していないとしても、各映像配信装置１０は、同じタイミングで生成されたフレーム画像に対して、同じタイミング情報を付与することができる。また、タイミング情報は、時刻情報ではなく、ゲームサーバ等によって提供されるゲーム内の時間進行を示す情報であってもよい。オンラインゲームにおいては、各映像配信装置１０が実行するゲーム処理を同期させるために、タイムカウンタ等によってゲームの進行を管理している。そのため、このタイムカウンタの値に基づいてタイミング情報生成部４２がタイミング情報を生成することとすれば、複数の映像配信装置１０は、ゲームの進行状況が互いに同じタイミングのときに生成したフレーム画像に対して、同じタイミング情報を付与することができる。この場合には、オンラインゲームの処理を実行するゲームサーバ（または複数の映像配信装置１０のいずれか）が時刻情報源ＴＳとして機能する。いずれの場合においても、複数の映像配信装置１０のタイミング情報生成部４２は、互いに共通の時刻情報源ＴＳから取得した時刻情報に基づいてタイミング情報を生成することにより、各映像配信装置１０が独立に配信映像Ｄを生成するにもかかわらず、同じタイミングで生成したフレーム画像に対して同じタイミング情報を付与することができる。
【００３１】
映像配信部４３は、映像生成部４１によって生成され、タイミング情報が付与された配信映像Ｄを配信中継サーバ３１に対してストリーム配信する。各映像配信装置１０から送信される配信映像Ｄは、配信中継サーバ３１によって、映像配信を要求する映像再生装置２０に対して送信される。本実施形態では、配信中継サーバ３１が配信映像Ｄを配信すべき映像再生装置２０は、以下の手順で決定される。すなわち、各映像配信装置１０は、映像再生装置２０に対して配信映像Ｄを配信可能なオンラインゲームを開始する際に、その旨を配信管理サーバ３０に通知する。一方、各映像再生装置２０は、現在配信映像Ｄを配信可能な映像配信装置１０の情報を配信管理サーバ３０から取得し、その中から配信を受けたい配信映像Ｄを選択し、配信開始の要求を配信中継サーバ３１に送信する。配信中継サーバ３１は、この要求を受けて、配信映像Ｄの中継を開始する。
【００３２】
映像受信部４４は、複数の映像配信装置１０それぞれの映像配信部４３が配信する配信映像Ｄを受信する。本実施形態では全ての配信映像Ｄは配信中継サーバ３１が中継することとしているので、映像受信部４４は、配信中継サーバ３１から再生対象となる複数の配信映像Ｄを受信する。映像受信部４４は、受信した各配信映像Ｄのデータを、記憶部２２に確保されたバッファ領域Ｂに保存する。
【００３３】
映像再生部４５は、映像受信部４４が受信してバッファ領域Ｂに格納した複数の配信映像Ｄのデータを順次読み出して、配信映像Ｄを再生する。このとき映像再生部４５は、各配信映像Ｄに含まれるタイミング情報に基づいて、これらの配信映像Ｄをバッファ領域Ｂから読み出して表示装置２５の画面に表示するタイミングを決定する。すなわち、映像再生部４５は、複数の映像配信装置１０が同じタイミングで生成したフレーム画像を同じタイミングで画面に表示するように、複数の配信映像Ｄの間の再生タイミングの同期制御を行う。
【００３４】
以下、映像再生部４５による配信映像Ｄ１及びＤ２の間の同期制御の一例について、図５Ａ及び図５Ｂのタイムチャートを用いて説明する。まず、図５Ａの例では、映像配信装置１０ａの映像生成部４１は、配信映像Ｄ１の先頭フレーム画像Ｆ１を時刻ｔ０に生成し、この配信映像Ｄ１の最初のパケットはネットワーク遅延等によって時刻ｔ０よりも遅延時間Ｔ１だけ遅れた時刻（ｔ０＋Ｔ１）に映像再生装置２０ａのバッファ領域Ｂに格納されたと仮定している。一方、配信映像Ｄ２の先頭フレーム画像Ｆ２は、同じく時刻ｔ０に映像配信装置１０ｂの映像生成部４１によって生成され、遅延時間Ｔ１よりさらに長い遅延時間Ｔ２だけかかって映像再生装置２０ａのバッファ領域Ｂに格納されたとする。ここで、バッファ領域Ｂに格納された配信映像Ｄ１及び配信映像Ｄ２を映像再生部４５がタイミング調整なしで受信後直ちに再生したとすると、同じ時刻ｔ０に生成された２つのフレーム画像が、（Ｔ２−Ｔ１）に相当する時間だけずれたタイミングで再生されてしまうことになる。２つの配信映像Ｄ１及びＤ２は同じオンラインゲームのゲーム画面の映像なので、これらの映像の再生タイミングがずれると、ゲーム中に発生した１つのイベントが複数の配信映像Ｄの間でずれて表示されてしまうなどの不都合が生じる。そこで映像再生部４５は、同じ時刻に生成されたフレーム画像が同じタイミングで表示されるように、配信映像Ｄ１のバッファ領域Ｂからの読み出しタイミングを遅らせる制御を行う。
【００３５】
具体的に、映像再生部４５は、先行する配信映像Ｄ１のデータが受信されると、その中に含まれる先頭フレーム画像Ｆ１に付与されたタイミング情報を参照して当該フレーム画像Ｆ１の生成タイミングを特定する。そして、同時期に再生すべき配信映像Ｄ２の先頭フレーム画像Ｆ２が受信されるのを待つ。配信映像Ｄ２のデータが受信されると、映像再生部４５は、その先頭フレーム画像Ｆ２に付与されたタイミング情報を参照して当該フレーム画像Ｆ２の生成タイミングを特定する。ここでは両者の生成タイミングはいずれも時刻ｔ０で一致しているので、映像再生部４５は、配信映像Ｄ１及びＤ２双方のデータを受信し始めた時刻（ｔ０＋Ｔ２）よりも後の時刻ｔ１に、先頭フレーム画像Ｆ１及びＦ２が同時に表示されるように、配信映像Ｄ１及びＤ２の再生を同時に開始する。
【００３６】
図５Ｂは、図５Ａと異なり、映像配信装置１０ａにおける先頭フレーム画像Ｆ１の生成タイミングｔ０と映像配信装置１０ｂにおける先頭フレーム画像Ｆ２の生成タイミングｔ２との間にずれがある場合の例を示している。具体的に、図５Ｂでは、先頭フレーム画像Ｆ２の生成タイミングｔ２が先頭フレーム画像Ｆ１の生成タイミングｔ０より時間Ｔ３だけ遅れている。この場合、映像再生部４５は、両者のタイミングのずれを再現するような同期制御を行う。具体的に、映像再生部４５は、配信映像Ｄ１及び配信映像Ｄ２それぞれの先頭フレーム画像を順に受信した後、両者に付与されたタイミング情報に応じて決定されるタイミングで各配信映像Ｄの再生を開始する。図５Ｂの例では、まず時刻ｔ３に配信映像Ｄ１の再生を開始し、その後、時間Ｔ３（＝ｔ２−ｔ０）に相当する時間が経過したタイミング（時刻ｔ４）に配信映像Ｄ２の再生を開始する。こうすれば、これらのフレーム画像が生成された際の現実のタイミングのずれを映像再生装置２０における再生時に再現することができる。
【００３７】
さらに映像再生部４５は、先頭フレーム画像以降に表示する各フレーム画像についても、配信映像Ｄ１と配信映像Ｄ２との間で各フレーム画像が生成されたタイミングが一致するように再生処理を続行する。具体的に、配信映像Ｄ１及びＤ２が一定フレームレートの映像データの場合には、このフレームレートで映像の再生を実行すればよい。また、後続するフレーム画像にもタイミング情報が付与されていれば、随時このタイミング情報を用いて配信映像Ｄ１と配信映像Ｄ２とを同期させながら再生処理を行うことで、配信映像Ｄの配信が遅延して再生処理が一時的に中断してしまうような場合においても、後続する配信映像Ｄ１及びＤ２の同期を維持することができる。
【００３８】
なお、以上の説明においては映像再生装置２０が配信映像Ｄ１及びＤ２をいずれも先頭フレーム画像から再生すると仮定した。しかしながらこれに限らず、映像再生部４５は、配信映像Ｄ１及びＤ２を途中から受信する場合であっても、配信映像Ｄ１及びＤ２のそれぞれにおいて途中のフレーム画像にもタイミング情報が付与されていれば、この途中のフレーム画像に付与されたタイミング情報を用いて両者を同期させながら再生することができる。
【００３９】
また、映像再生部４５は、複数の配信映像Ｄとともに、これらの映像を視聴中のユーザが投稿したメッセージＭを表示する。前述したように、本実施形態では、同じ配信映像Ｄ１及びＤ２を複数の映像再生装置２０ａ及び２０ｂが受信して、同時期に再生することとしている。ここで、配信映像Ｄ１及びＤ２を視聴中のユーザＵ３及びＵ４は、それぞれ再生中の配信映像Ｄに関するメッセージＭを投稿することができる。メッセージ交換部４６は、この各ユーザによって投稿されたメッセージＭを、同じ配信映像Ｄを再生中の他の映像再生装置２０に対して送信する。本実施形態では、メッセージ交換部４６はユーザが投稿したメッセージＭをメッセージ中継サーバ３２経由で他の映像再生装置２０に送信することとする。すなわち、各映像再生装置２０からメッセージＭを受信したメッセージ中継サーバ３２は、当該メッセージＭを送信した映像再生装置２０と同じ配信映像Ｄを再生中の他の映像再生装置２０に対して、受信したメッセージＭを送信する。なお、メッセージ中継サーバ３２は、映像再生装置２０だけでなく、メッセージＭを送信した映像再生装置２０が再生中の配信映像Ｄを配信している映像配信装置１０に対してもメッセージＭを送信することとしてもよい。メッセージ中継サーバ３２からメッセージＭを受信した映像再生装置２０の映像再生部４５は、受信したメッセージＭを再生中の配信映像Ｄとともに表示装置２５の画面に表示する。これにより、各映像再生装置２０のユーザは、他のユーザが同じ映像を視聴して投稿したメッセージＭを映像とともに閲覧することができる。図６は、このように複数の配信映像Ｄ１及びＤ２とメッセージＭを同時に表示する表示画面の具体例を示している。なお、図６においては、配信映像Ｄ１及びＤ２、メッセージＭのほかに、当該配信映像Ｄ１及びＤ２を視聴中のユーザのアイコンが配信映像Ｄ１及びＤ２の下方に表示されている。
【００４０】
本実施形態では、この投稿されたメッセージＭの表示タイミングも、当該メッセージＭに付与されたタイミング情報に基づいて映像と同期するように制御される。以下、この制御について、図７のタイムチャートを用いて説明する。なお、ここでは具体例として、映像再生装置２０ａのユーザＵ３がメッセージＭを投稿し、このメッセージＭを映像再生装置２０ｂの映像再生部４５が配信映像Ｄとともに表示する場合について説明する。図中においてメッセージＭの送信は二重線の矢印により示されている。
【００４１】
ユーザＵ３が操作デバイス２４に対する操作入力を行ってメッセージＭを入力すると、メッセージ交換部４６は、ユーザＵ３がメッセージＭを入力し終えた時点（時刻ｔ６とする）において映像再生部４５が表示していた配信映像Ｄ１及びＤ２それぞれを構成するフレーム画像の生成タイミングを特定する。ここでは、映像再生装置２０ａにおいて時刻ｔ６に表示された配信映像Ｄ１内のフレーム画像をフレーム画像Ｆｘとし、映像配信装置１０ａが当該フレーム画像Ｆｘを生成したタイミングを時刻ｔ５とする。この場合、もしフレーム画像Ｆｘにタイミング情報が付与されていれば、このタイミング情報が示すタイミングが、当該フレーム画像の生成タイミングである時刻ｔ５となる。仮にフレーム画像Ｆｘにタイミング情報が付与されていない場合であっても、直近の過去に表示されたタイミング情報付きのフレーム画像（フレーム画像Ｆｙとする）の情報を用いれば、時刻ｔ５を特定できる。すなわち、このフレーム画像Ｆｙに付与されているタイミング情報が示すタイミングに対して、当該フレーム画像Ｆｙを表示してから時刻ｔ６までに経過した時間を加算することによって、時刻ｔ６に表示されていたフレーム画像Ｆｘの生成タイミングｔ５を特定できる。メッセージ交換部４６は、このようにして特定された時刻ｔ５を示すタイミング情報をメッセージＭに付与して、メッセージ中継サーバ３２に送信する。
【００４２】
映像再生装置２０ｂは、映像再生装置２０ａが送信したメッセージＭをメッセージ中継サーバ３２経由で受信する。映像再生装置２０ｂの映像再生部４５は、受信したメッセージＭに付与されたタイミング情報を参照して、当該メッセージＭの表示タイミングを決定する。もしこのタイミング情報が示す時刻ｔ５に生成されたフレーム画像Ｆｘを既に表示済みの場合、映像再生部４５は受信したメッセージＭを直ちに画面上に表示する。一方、映像再生装置２０ｂによる配信映像Ｄ１及びＤ２の再生が映像再生装置２０ａよりも遅れており、映像再生装置２０ｂがまだフレーム画像Ｆｘを未表示の場合には、映像再生部４５は受信したメッセージＭを直ちに表示するのではなく、フレーム画像Ｆｘを表示するタイミング（ここでは時刻ｔ７）で同時に表示する。このような制御によれば、フレーム画像Ｆｘが表示されていたときにユーザＵ３が入力したメッセージＭを、フレーム画像Ｆｘが表示されるよりも早くユーザＵ４が閲覧してしまう事態を避けることができる。
【００４３】
以下、映像配信装置１０ａ及び１０ｂがゲーム処理及び配信映像Ｄの配信処理を開始する際の処理フローの一例について、図８のフロー図を用いて説明する。
【００４４】
ここではまず映像配信装置１０ａが、最初に配信管理サーバ３０に対して複数人参加型のオンラインゲームの開始要求を行う（Ｓ１）。この要求に応じて配信管理サーバ３０は、当該ゲームに参加する映像配信装置１０、及びこれから当該ゲームの配信映像Ｄの配信を受ける映像再生装置２０が属するグループを識別するためのグループＩＤを発行する（Ｓ２）。このグループは、例えばチャットにおけるチャットルームに相当し、このグループに属する装置間で配信映像Ｄに関する情報が共有される。配信管理サーバ３０は、このグループＩＤに関連づけて、オンラインゲームの開始要求を行った映像配信装置１０ａを使用するユーザＵ１の情報を管理する。
【００４５】
次に映像配信装置１０ａは、ユーザＵ２に対して、Ｓ２で割り当てられたグループＩＤによって識別されるグループに参加するよう招待するメッセージを配信管理サーバ３０に送信する（Ｓ３）。配信管理サーバ３０は、ユーザＵ２が使用する映像配信装置１０ｂを特定し、当該特定された映像配信装置１０ｂに対して招待メッセージを送信する（Ｓ４）。なお、ここではユーザＵ２は映像配信装置１０ｂを用いて予め配信管理サーバ３０にログインしており、配信管理サーバ３０はユーザＵ２が使用する映像配信装置１０ｂの情報を取得しているものとする。
【００４６】
招待メッセージを受信した映像配信装置１０ｂのユーザＵ２は、招待メッセージに応じてグループへの参加要求を送信する（Ｓ５）。配信管理サーバ３０は、この参加要求に応じてユーザＵ２の参加を許可し、Ｓ２で発行されたグループＩＤにユーザＵ２のＩＤを関連づける（Ｓ６）。これにより、同じグループに参加したユーザＵ１とユーザＵ２との間でオンラインゲームが開始される（Ｓ７）。なお、映像配信装置１０ａ及び１０ｂが所定の時刻情報源を用いてタイミング情報を取得する場合、このタイミングで配信管理サーバ３０は映像配信装置１０ｂに対して映像配信装置１０ａが使用する時刻情報源の情報を提供してもよい。
【００４７】
ゲームが開始されると同時に、映像配信装置１０ａ及び１０ｂは、タイミング情報付きの配信映像Ｄを生成し、配信中継サーバ３１に対する配信映像Ｄの送信を開始する（Ｓ８）。これ以降、映像再生装置２０のユーザは、配信管理サーバ３０への要求を行うことにより配信映像Ｄを受信することができるようになる。
【００４８】
次に、映像再生装置２０ａ及び２０ｂが配信映像Ｄを受信する際の処理フローの一例について、図９のフロー図を用いて説明する。
【００４９】
ユーザＵ３は、映像再生装置２０ａに対する指示を行って配信管理サーバ３０にアクセスし、現在映像を配信中の映像配信装置１０の中から自身が視聴したい映像を選択する（Ｓ１１）。この選択に応じて配信管理サーバ３０は、ユーザＵ３が選択したグループのグループＩＤ（Ｓ２で発行されたグループＩＤ）に映像再生装置２０ａを関連づける。さらに配信管理サーバ３０は、配信映像Ｄを特定する情報（例えば配信中継サーバ３１上における配信映像Ｄ１及び配信映像Ｄ２の配信ＵＲＬ）を映像再生装置２０ａに送信する（Ｓ１２）。映像再生装置２０ａは、Ｓ１２で受信した情報を用いて、配信中継サーバ３１に対して複数の配信映像Ｄの配信を要求する（Ｓ１３）。配信中継サーバ３１は、当該要求に応じて複数の配信映像Ｄ（ここでは配信映像Ｄ１及びＤ２）のストリーミングデータを映像再生装置２０ａに配信する（Ｓ１４）。映像再生装置２０ａは、Ｓ１４で配信された複数の配信映像Ｄを、同期しながら再生する（Ｓ１５）。一方、映像再生装置２０ｂも、Ｓ１１〜Ｓ１５と同様の手順で配信管理サーバ３０及び配信中継サーバ３１にアクセスし、Ｓ２で発行されたグループＩＤにより識別されるグループに参加し、配信映像Ｄの再生を開始する（Ｓ１６〜Ｓ２０）。ここまでの処理により、Ｓ２で発行されたグループＩＤに、映像配信装置１０ａ及び１０ｂ、並びに映像再生装置２０ａ及び２０ｂが関連づけられることになる。これ以降、メッセージ中継サーバ３２は、映像再生装置２０ａ及び２０ｂから投稿されたメッセージＭを当該グループＩＤに関連づけられた各装置に送信する（Ｓ２１）。これにより、同じグループに属する装置間でメッセージＭが共有される。
【００５０】
以上説明した本実施形態に係る映像再生システム１によれば、複数の映像配信装置１０のそれぞれが、生成する配信映像Ｄに含まれるフレーム画像にその生成タイミングを示すタイミング情報を付与し、映像再生装置２０がこのタイミング情報を用いて複数の配信映像Ｄの間の同期を行うので、複数の配信映像Ｄをタイミングがずれないように再生することができる。
【００５１】
なお、本発明の実施の形態は、以上説明したものに限られない。例えば映像配信装置１０は、配信中継サーバ３１ではなく映像再生装置２０に対して直接配信映像Ｄをストリーミング配信してもよい。同様に、各映像再生装置２０は同じ配信映像Ｄを再生中の他の映像再生装置２０に対して直接メッセージＭを送信してもよい。
【００５２】
また、配信中継サーバ３１は、映像配信装置１０が配信する配信映像Ｄに対して、ビットレート変換等の処理を行ってから映像再生装置２０に配信映像Ｄを配信してもよい。このような処理を実行する場合にも、配信中継サーバ３１は、配信映像Ｄ内の各フレーム画像に付与されたタイミング情報を維持するようにする。また、以上の説明では映像配信装置１０が配信映像Ｄに対してタイミング情報を付与することとしたが、これに代えて、配信中継サーバ３１がタイミング情報を付与してもよい。この場合、配信中継サーバ３１は、映像配信装置１０によるフレーム画像の生成タイミングを示す情報を別途映像配信装置１０から取得して、当該フレーム画像に対してその生成タイミングを示す情報を付与する。また、配信中継サーバ３１は、複数の映像配信装置１０のそれぞれが配信する配信映像Ｄを合成して一つの合成映像を生成し、映像再生装置２０に配信することとしてもよい。この場合には、配信中継サーバ３１が各配信映像Ｄ内のフレーム画像に付与されたタイミング情報を参照して、複数の配信映像Ｄを同期して表示する合成映像を生成する。
【００５３】
また、以上の説明では、複数の映像配信装置１０がそれぞれ１つずつ配信映像Ｄを配信することとした。しかしながら、１つの映像配信装置１０は、複数の配信映像Ｄを配信してもよい。例えば映像配信装置１０ａは、表示装置１５に現在表示中のゲーム画面を表す配信映像Ｄ１のほかに、同じゲーム空間を別の視点から見た様子を表す配信映像Ｄ３を生成し、これらの配信映像Ｄ１及びＤ３をともに映像再生装置２０に配信してもよい。この場合にも、映像配信装置１０ａは、配信映像Ｄ１及びＤ３のそれぞれにおいて同じタイミングで生成されたフレーム画像に対して、同じタイミング情報を付与する。そして、配信映像Ｄ１及びＤ３を受信した映像再生装置２０は、上述した例と同様に、配信映像Ｄ１及びＤ３のそれぞれに含まれるタイミング情報を用いて、両者を同期させながら再生する。これにより、映像再生装置２０のユーザは、一つのゲームのプレイ状況を同時に多視点から観覧することができる。
【００５４】
また、以上の説明では個々の映像再生装置２０が独立して複数の配信映像Ｄの同期再生を行うこととした。しかし、それだけでなく、複数の映像再生装置２０は互いに同期して同じタイミングで同じ配信映像Ｄの再生を行ってもよい。この場合、複数の映像再生装置２０は、互いに共通する時刻情報源から時刻情報を取得して自身が計時する時刻を他の映像再生装置２０の時刻と同期させておく。そして、同じ配信映像Ｄを再生するときには、相互に通信を行うことによって、全ての映像再生装置２０が配信映像Ｄを再生可能になってから同時に配信映像Ｄを再生する。
【００５５】
また、以上の説明では配信映像Ｄはゲーム画面を表す映像であることとしたが、配信映像Ｄはこのようなものに限られず、例えばビデオカメラによって撮影された映像であってもよい。例えば複数の映像配信装置１０は、それぞれビデオカメラと接続されており、これらのカメラは、互いに異なる位置から同じスポーツの試合を撮影することとする。各映像配信装置１０は、このカメラが撮影して得られる映像に対して、ＵＴＣ等に基づいて生成されたタイミング情報を付与して配信映像Ｄとして配信する。こうすれば、映像再生装置２０のユーザは、同じ試合を異なる視点から撮影して得られる複数の映像を互いに同期させながら視聴することができる。
【００５６】
また、以上の説明では各映像配信装置１０は配信映像Ｄを生成しながら順次配信するリアルタイム配信（ストリーミング配信）を行い、映像再生装置２０もリアルタイムで配信映像Ｄを受信しながら再生することとしたが、配信映像Ｄは一旦映像再生装置２０にダウンロードされてデータファイルとして蓄積されてもよい。この場合にも、映像再生装置２０はタイミング情報を用いて同期させながら同時期に生成された複数の配信映像Ｄのデータを再生することができる。
【図１】
0005916244.tif 000002
【図２】
0005916244.tif 000003
【図３】
0005916244.tif 000004
【図４】
0005916244.tif 000005
【図５Ａ】
0005916244.tif 000006
【図５Ｂ】
0005916244.tif 000007
【図６】
0005916244.tif 000008
【図７】
0005916244.tif 000009
【図８】
0005916244.tif 000010
【図９】
0005916244.tif 000011