(57)【要約】 【課題】プレイヤーが互いに発声により会話可能な通信ゲームにおいて、一方のプレイヤーが映像情報に同期して発声した音声情報等を他方のプレイヤーの端末で映像情報に同期させて出力する通信ゲームシステムを提供する。【解決手段】通信ゲームシステム２０１の送信側端末３０１は、再生開始条件が満たされると送信側映像情報を再生し、プレイヤーからの音声情報の入力を受け付け、再生中に入力された音声情報（同期音声情報）とそうでないもの（非同期音声情報）とを受信側端末４０１に送信し、受信側端末４０１は、送信側端末３０１から送信された音声情報を受信し、非同期音声情報ならばこれを音声出力し、受信したものが非同期音声情報から同期音声情報に変わった後に、受信側映像情報の再生を開始し、同期音声情報については、バッファリングして受信側映像情報と同期するように音声出力する。【選択図】図２
2007222411.tif 000002
【特許請求の範囲】
【請求項１】
送信側端末と、受信側端末と、を有する通信ゲームシステムであって、
（ａ）前記送信側端末は、
マルチメディア情報の入力を受け付けるマルチメディア情報入力受付部、
所定の再生開始条件が満たされた場合、送信側映像情報の再生を開始する送信側映像再生部、
前記受信側端末へ、前記入力を受け付けられたマルチメディア情報を、当該所定の再生開始条件が満たされてから当該送信側映像情報の再生が終了するまでに受け付けられたマルチメディア情報（以下、「同期マルチメディア情報」という。）か、そうでないマルチメディア情報（以下、「非同期マルチメディア情報」という。）か、を区別して、順次送信する送信部
を備え、
（ｂ）前記受信側端末は、
前記送信側端末から順次送信されるマルチメディア情報を順次受信する受信部、
前記受信部により受信されたマルチメディア情報について、所定の同期再生開始条件が満たされると、受信側映像情報の再生を開始する受信側映像再生部、
前記順次受信されるマルチメディア情報が、
（ｐ）非同期マルチメディア情報である場合、当該非同期マルチメディア情報を順次出力し、
（ｑ）同期マルチメディア情報である場合、当該受信側映像情報の再生が開始されるまで当該同期マルチメディア情報をバッファリングして、当該受信側映像情報の再生が開始されると当該バッファリングされた同期マルチメディア情報を順次出力する
マルチメディア情報出力部
を備える
ことを特徴とする通信ゲームシステム。
【請求項２】
請求項１に記載の通信ゲームシステムであって、
前記受信側端末において、前記受信部により、非同期マルチメディア情報の次に同期マルチメディア情報が受信された場合、当該所定の同期再生開始条件が満たされる
ことを特徴とする通信ゲームシステム。
【請求項３】
請求項１または２に記載の通信ゲームシステムであって、
（ｃ）前記送信側端末において、所定の再生停止条件が満たされた場合、
（ｘ）前記送信側映像再生部は、当該送信側映像情報の再生を停止して、当該再生を終了させ、
（ｚ）前記送信部は、その旨を示す情報（以下「再生停止情報」という。）を前記受信側端末に送信し、
（ｄ）前記受信側端末において、前記順次受信されるマルチメディア情報が、再生停止情報である場合、
前記マルチメディア情報出力部は、当該バッファリングされた同期マルチメディア情報を消去し、当該再生停止情報が受信されて以降に順次受信されるマルチメディア情報が同期マルチメディア情報である間、マルチメディア情報の出力を停止する
ことを特徴とする通信ゲームシステム。
【請求項４】
請求項１から３のいずれか１項に記載の通信ゲームシステムであって、
前記送信側端末は、
操作入力を受け付ける操作入力受付部
をさらに備え、
前記送信側端末において、当該所定の再生開始条件が満たされるのは、前記受け付けられた操作入力が所定の開始操作入力である場合である
ことを特徴とする通信ゲームシステム。
【請求項５】
請求項４に記載の通信ゲームシステムであって、
前記送信側端末において、当該所定の再生停止条件が満たされるのは、当該所定の再生開始条件が満たされてから所定の猶予時間内に前記受け付けられた操作入力が、所定の操作入力パターンにマッチしない場合である
ことを特徴とする通信ゲームシステム。
【請求項６】
請求項１から４のいずれか１項に記載の通信ゲームシステムであって、
前記送信側端末において、当該所定の再生停止条件が満たされるのは、当該所定の再生開始条件が満たされてから所定の猶予時間内に前記入力を受け付けられたマルチメディア情報が、所定のマルチメディア的特性を満たさない場合である
ことを特徴とする通信ゲームシステム。
【請求項７】
請求項５または６に記載の通信ゲームシステムであって、
前記受信側端末において、前記マルチメディア情報出力部は、当該同期マルチメディア情報を、当該所定の猶予時間よりも長い時間分だけバッファリングする
ことを特徴とする通信ゲームシステム。
【請求項８】
マルチメディア情報入力受付部、送信側映像再生部、送信部を有する送信側端末と、受信部、受信側映像再生部、マルチメディア情報出力部を有する受信側端末と、において実行される通信ゲーム制御方法であって、
（ａ）前記送信側端末において、
前記マルチメディア情報入力受付部が、マルチメディア情報の入力を受け付けるマルチメディア情報入力受付工程、
前記送信側映像再生部が、所定の再生開始条件が満たされた場合、送信側映像情報の再生を開始する送信側映像再生工程、
前記送信部が、前記受信側端末へ、前記入力を受け付けられたマルチメディア情報を、当該所定の再生開始条件が満たされてから当該送信側映像情報の再生が終了するまでに受け付けられたマルチメディア情報（以下、「同期マルチメディア情報」という。）か、そうでないマルチメディア情報（以下、「非同期マルチメディア情報」という。）か、を区別して、順次送信する送信工程、
を備え、
（ｂ）前記受信側端末において、
前記受信部が、前記送信側端末から順次送信されるマルチメディア情報を順次受信する受信工程、
前記受信側映像再生部が、前記受信工程にて受信されたマルチメディア情報について、所定の同期再生開始条件が満たされると、受信側映像情報の再生を開始する受信側映像再生工程、
前記マルチメディア情報出力部が、前記順次受信されるマルチメディア情報が、
（ｐ）非同期マルチメディア情報である場合、当該非同期マルチメディア情報を順次出力し、
（ｑ）同期マルチメディア情報である場合、当該受信側映像情報の再生が開始されるまで当該同期マルチメディア情報をバッファリングして、当該受信側映像情報の再生が開始されると当該バッファリングされた同期マルチメディア情報を順次出力する
マルチメディア情報出力工程
を備える
ことを特徴とする通信ゲーム制御方法。
【請求項９】
コンピュータを、
マルチメディア情報の入力を受け付けるマルチメディア情報入力受付部、
所定の再生開始条件が満たされた場合、送信側映像情報の再生を開始する送信側映像再生部、
受信側端末へ、前記入力を受け付けられたマルチメディア情報を、当該所定の再生開始条件が満たされてから当該送信側映像情報の再生が終了するまでに受け付けられたマルチメディア情報（以下、「同期マルチメディア情報」という。）か、そうでないマルチメディア情報（以下、「非同期マルチメディア情報」という。）か、を区別して、順次送信する送信部
として機能させることを特徴とするプログラム。
【請求項１０】
コンピュータを、
送信側端末から順次送信されるマルチメディア情報を順次受信する受信部、
前記受信部により受信されたマルチメディア情報について、所定の同期再生開始条件が満たされると、受信側映像情報の再生を開始する受信側映像再生部、
前記順次受信されるマルチメディア情報が、
（ｐ）非同期マルチメディア情報である場合、当該非同期マルチメディア情報を順次出力し、
（ｑ）同期マルチメディア情報である場合、当該受信側映像情報の再生が開始されるまで当該同期マルチメディア情報をバッファリングして、当該受信側映像情報の再生が開始されると当該バッファリングされた同期マルチメディア情報を順次出力する
マルチメディア情報出力部
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信対戦ゲームやＭＭＯＲＰＧ（Massively Multiplayer Online Playing Game）等、プレイヤーが互いに発声により会話可能な通信ゲームにおいて、一方のプレイヤーが映像情報に同期して発声した音声情報や身振りを行った様子を撮影した動画情報などのマルチメディア情報を他方のプレイヤーの端末で映像情報に同期させて出力するのに好適な通信ゲームシステム、通信ゲーム制御方法、ならびに、これらをコンピュータにて実現するプログラムに関する。
【背景技術】
【０００２】
従来から、通信技術を用いた対戦ゲームに係る技術が種々提案されている。このようなゲームに関する技術は、たとえば、以下の文献に開示されている。
【特許文献１】特許第３４９６１５０号公報
【０００３】
[特許文献１]には、複数の対戦ゲームを提供するゲームシステムにおいて、対戦相手以外のプレイヤの存在感を軽い通信負荷で演出できるネットワークゲームシステムを提供するため、対戦情報を効率的に他のプレイヤに伝達し、その際一定のパラメータを変更し、ゲーム性を高める技術が開示されている。
【０００４】
一方で、音声チャットやＩＰ（Internet Protocol）電話など、インターネットを介した音声によるユーザ同士の会話技術も広く利用されており、通信ゲームにおいても、プレイヤー同士が音声チャットによって会話することができるようにしているものが提案されている。
【０００５】
このほか、アニメーションなどでは、登場するキャラクター同士の戦闘シーンで、キャラクターが必殺技を出すときに、必殺技の動作に同期してその必殺技の名前や決め台詞を叫ぶ様子が広く見られる。
【０００６】
したがって、通信ゲームにおいて、プレイヤー同士の音声チャットを利用可能にする一方で、キャラクター同士が戦う対戦型ゲームや、キャラクター同士が協力して敵と戦う協力型ゲームなど、種々のゲームにおいて、キャラクターの必殺技や決め台詞などをプレイヤーに声で叫ぶように促し、ゲームへの没頭度を高めたい、という要望がある。
【０００７】
このような場合、必殺技を出すキャラクターの様子は、他のプレイヤーが操作する端末にも映像として再生表示されるが、この映像の再生に同期してプレイヤーが叫んだ必殺技や決め台詞などを音声出力することとして、必殺技を出すプレイヤー以外のプレイヤーについても、ゲームへの没頭度を高めたい、という要望がある。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記のようなゲームを実現する場合、インターネット等のコンピュータ通信網を介した通信に遅延があり、音声チャットやあるプレイヤーの操作の様子が他のゲーム端末に伝達されるまでに、ある程度の時間を要すること、必殺技などの様子を表す映像をＤＶＤ−ＲＯＭ（Digital Versatile Disc）から読み出したり、キャラクターの形状を構成するポリゴンの移動によって表現したりして映像の再生を開始するまでには、ある程度の時間を要すること等から、音声チャットにより伝達される音声をそのまま出力しても、映像との同期はされない可能性が高い、という問題が生ずる。
【０００９】
また、音声チャットのみならず、ビデオチャットなど、プレイヤー自身の様子を相手に知らせるために各種のマルチメディア情報のやりとりをすることもあり、このような状況にも対応したいという要望がある。
【００１０】
本発明は、以上の課題を解決するためのもので、プレイヤーが互いに発声により会話可能な通信ゲームにおいて、一方のプレイヤーが映像情報に同期して発声した音声情報や身振りを行った様子を撮影した動画情報などのマルチメディア情報を他方のプレイヤーの端末で映像情報に同期させて出力するのに好適な通信ゲームシステム、通信ゲーム制御方法、ならびに、これらをコンピュータにて実現するプログラムに関する。
【課題を解決するための手段】
【００１１】
以上の目的を達成するため、本発明の原理にしたがって、下記の発明を開示する。
【００１２】
本発明の第１の観点に係る通信ゲームシステムは、マルチメディア情報入力受付部、送信側映像再生部、送信部を有する送信側端末と、受信部、受信側映像再生部、マルチメディア情報出力部を有する受信側端末と、を備え、以下のように構成する。
【００１３】
まず、送信側端末において、マルチメディア情報入力受付部は、マルチメディア情報の入力を受け付ける。
当該送信側端末を利用するゲームのプレイヤーが発する声の音声情報を、マイクを用いて取得して、これをマルチメディア情報の入力として扱うのが典型的であるが、カメラを用いて撮影した動画情報を利用することも可能である。
【００１４】
一方、送信側映像再生部は、所定の再生開始条件が満たされた場合、送信側映像情報の再生を開始する。
上記の例でいえば、キャラクターの必殺技のコマンド入力が、コントローラもしくは音声によってなされることによって、再生開始条件が満たされると、キャラクターの必殺技の映像が画面表示されることになる。ここで、映像の表示については、あらかじめ用意された動画ファイルを再生することとしても良いし、必殺技に対応するキャラクターの骨格の時間経過に沿った動きをあらかじめ定義しておき、この定義にしたがってキャラクターの骨格を変化させてキャラクターの外観のポリゴン情報を更新し、３次元グラフィックス表示することによっても良い。
【００１５】
さらに、送信部は、受信側端末へ、入力を受け付けられたマルチメディア情報を、当該所定の再生開始条件が満たされてから当該送信側映像情報の再生が終了するまでに受け付けられたマルチメディア情報（以下、「同期マルチメディア情報」という。）か、そうでないマルチメディア情報（以下、「非同期マルチメディア情報」という。）か、を区別して、順次送信する。
上記の例でいえば、同期マルチメディア情報は、必殺技の映像が再生表示されているときに、その映像におけるキャラクターの動作に合わせてプレイヤーが発声した必殺技の名称や決め台詞を表す音声であり、非同期マルチメディア情報は、それ以外の、たとえば通常の移動シーンにおける日常会話を音声チャットで行うようなときの音声である。
【００１６】
一方、受信側端末において、受信部は、送信側端末から順次送信されるマルチメディア情報を順次受信する。
典型的には、送信側端末から送信されるマルチメディア情報は、ＵＤＰ（User Datagram Protocol）などの伝送が高速なプロトコルを用いるが、それ以外のプロトコルを採用しても良い。また、ここでいうマルチメディア情報の送受は、典型的には、ストリーミングによるマルチメディア情報の提供に相当する。
【００１７】
一方、受信側映像再生部は、受信部により受信されたマルチメディア情報について、所定の同期再生開始条件が満たされると、受信側映像情報の再生を開始する。
上記の例でいえば、送信側で必殺技が出たことを受信側で検知すると、相手方のキャラクターが必殺技を出していることを表現する映像情報の再生を開始しようとする。一般には、非同期マルチメディア情報の次に同期マルチメディア情報が受信されたことを検出した瞬間から、その後に、実際に映像情報の再生が開始されるまでには、ハードウェア的なタイムラグが存在する。また、ハードウェア的なタイムラグよりもさらに長い所定の余裕時間を設定し、当該余裕時間だけ待機してから再生を開始することとして、ソフトウェア的なタイムラグを用意しても良い。
【００１８】
また、典型的には、非同期マルチメディア情報の次に同期マルチメディア情報が受信された場合に、当該所定の同期再生開始条件が満たされる。
【００１９】
一方、マルチメディア情報出力部は、順次受信されるマルチメディア情報が、
（ｐ）非同期マルチメディア情報である場合、当該非同期マルチメディア情報を順次出力し、
（ｑ）同期マルチメディア情報である場合、当該受信側映像情報の再生が開始されるまで当該同期マルチメディア情報をバッファリングして、当該受信側映像情報の再生が開始されると当該バッファリングされた同期マルチメディア情報を順次出力する。
【００２０】
上記（ｐ）は、いわゆる音声チャットやビデオチャットに相当するものであり、画面表示との同期は特段必要ない状況下では、（非同期）マルチメディア情報が到着すると直ちにこれをストリーミング再生するのである。
一方、上記（ｑ）は、必殺技の映像表示に同期させて送信側のマルチメディア情報を再生するものである。上記のように、必殺技の映像表示を開始するまでには、ネットワークの通信遅延のほか、受信側映像再生部における処理遅延が存在する。
【００２１】
そこで、このタイムラグを埋めるために、マルチメディア情報出力部では、同期マルチメディア情報が受信されるとこれをバッファリングし、受信側映像情報の再生が開始されると、当該バッファから順次同期マルチメディア情報を読み出して、ストリーミング再生を行う。
このように、本発明によれば、プレイヤーが互いに発声により会話可能な通信ゲームにおいて、一方のプレイヤーが映像情報に同期して発声した音声情報や身振りを行った様子を撮影した動画情報などのマルチメディア情報を他方のプレイヤーの端末で映像情報に同期させて出力することができるようになる。
【００２２】
また、本発明の通信ゲームシステムは、以下のように構成することができる。
すなわち、送信側端末において、所定の再生停止条件が満たされた場合、
（ｘ）送信側映像再生部は、当該送信側映像情報の再生を停止して、当該再生を終了させ、
（ｚ）送信部は、その旨を示す情報（以下「再生停止情報」という。）を
受信側端末に送信する。
【００２３】
上記の例でいえば、必殺技のコマンドの入力には、ある程度の時間がかかる。したがって、動画再生を開始した後に一旦は開始された必殺技のシーケンスにおいて、必殺技のコマンドの入力が失敗したことが判明した場合、再生停止条件が満たされたものとして、動画再生を停止させる。したがって、停止して以降に入力されるマルチメディア情報は、非同期マルチメディア情報となる。
また、再生停止情報は、受信側端末にも送信される。マルチメディア情報がUDPで伝送されているときは、再生停止情報もUDPで高速に伝送することが望ましいが、再生停止情報についてはTCPで確実に伝送することとしても良い。
【００２４】
一方、受信側端末において、順次受信されるマルチメディア情報が、再生停止情報である場合、マルチメディア情報出力部は、当該バッファリングされた同期マルチメディア情報を消去し、当該再生停止情報が受信されて以降に順次受信されるマルチメディア情報が同期マルチメディア情報である間、マルチメディア情報の出力を停止する。
これにより、再生停止情報が受信されると、それまでにバッファリングされた同期マルチメディア情報の出力は行わなくなる。また、それ以降に受信された同期マルチメディア情報についても同様である。
【００２５】
本発明によれば、映像再生を途中で中止するような事態に陥った場合、映像再生に同期して再生させるべき同期マルチメディア情報を無視することによって、迅速に、音声チャット等に復帰することができるようになる。
【００２６】
また、本発明の通信ゲームシステムにおいて、送信側端末は、操作入力を受け付ける操作入力受付部をさらに備え、送信側端末において、当該所定の再生開始条件が満たされるのは、受け付けられた操作入力が所定の開始操作入力である場合であるように構成することができる。
操作入力受付部は、典型的にはキーボードやコントローラであり、上記の例でいえば、キーやボタンの押圧操作が、必殺技コマンドの接頭辞（開始操作入力）である場合に、再生開始条件が満たされ、必殺技のアニメーション表示が開始される。
【００２７】
本発明は、上記発明の好適実施形態に係るものであり、本発明によれば、マイク等を用いた音声入力以外に、キーボードやコントローラ等を用いた操作入力を受け付けて、当該操作入力によって、動画の再生の開始を制御することができるようになる。
【００２８】
また、本発明の通信ゲームシステムにおいて、送信側端末において、当該所定の再生停止条件が満たされるのは、当該所定の再生開始条件が満たされてから所定の猶予時間内に受け付けられた操作入力が、所定の操作入力パターンにマッチしない場合であるように構成することができる。
上記の例のように、キーボードやコントローラのキーやボタンの押圧操作等によって必殺技コマンドの入力がされる場合には、所定の猶予時間内に、必殺技コマンドに対応付けられる押圧操作の列が完全に入力された場合には、そのまま映像再生を継続して必殺技のシーケンスを続行するが、そうでない場合には、途中で必殺技のシーケンスを中止する。再生停止条件が満たされると、動画再生が終了するため、マルチメディア情報も同期入力から非同期入力に切り替わるのである。
【００２９】
本発明は、上記発明の好適実施形態に係るものであり、本発明によれば、キーボードやコントローラ等を用いた操作入力を受け付けて、当該操作入力によって、動画の再生の停止・終了もしくは継続を制御することができるようになる。
【００３０】
また、本発明の通信ゲームシステム送信側端末において、当該所定の再生停止条件が満たされるのは、当該所定の再生開始条件が満たされてから所定の猶予時間内に入力を受け付けられたマルチメディア情報が、所定のマルチメディア的特性を満たさない場合であるように構成することができる。
上記の例のように、必殺技に係る動画の再生が開始された後、所定の猶予時間内に、必殺技コマンドに対応付けられる声が完全に入力された場合や、必殺技の身振りをきちんと行った場合には、そのまま映像再生を継続して必殺技のシーケンスを続行するが、そうでない場合には、途中で必殺技のシーケンスを中止する。再生停止条件が満たされると、動画再生が終了するため、音声情報も同期入力から非同期入力に切り替わるのである。
【００３１】
ここで、所定のマルチメディア的特性は、音声の場合、声の大きさや声の高低、リズム、音階などや、これらの組合せによって特徴付けられる。また、これらの音声的特性に基づいて必殺技の攻撃力や防御力の強さを変化させることもできる。たとえば、動画にリズムを合わせて必殺技の名称や決め台詞を大きな声で発声した場合に、必殺技が強くなる、等である。
【００３２】
また、動画の場合、所定のマルチメディア的特性は、身振りや手振りを撮影してこれらが所定のパターンの動きに合致しているか否かによって、判断される。
本発明は、上記発明の好適実施形態に係るものであり、本発明によれば、マイクを用いた音声情報等のマルチメディア情報の入力を受け付けて、当該マルチメディア情報の入力によって、動画の再生の停止・終了もしくは継続を制御することができるようになる。
【００３３】
また、本発明の通信ゲームシステムにおいて、受信側端末において、マルチメディア情報出力部は、当該同期マルチメディア情報を、当該所定の猶予時間よりも長い時間分だけバッファリングするように構成することができる。
上記の例では、必殺技のコマンド入力が成功するか失敗するかが判明した時には、まだバッファリングのバッファに余裕がある。すなわち、このバッファ長は、上述の余裕時間に呼応するものである。このため、必殺技のコマンド入力が成功したことが確定した後に、受信側映像の再生が開始されることになる。
【００３４】
本発明の他の観点に係る通信ゲーム制御方法は、マルチメディア情報入力受付部、送信側映像再生部、送信部を有する送信側端末と、受信部、受信側映像再生部、マルチメディア情報出力部を有する受信側端末と、において実行され、マルチメディア情報入力受付工程、送信側映像再生工程、送信工程、受信工程、受信側映像再生工程、マルチメディア情報出力工程を備え、以下のように構成する。
【００３５】
すなわち、送信側端末において、マルチメディア情報入力受付工程では、マルチメディア情報入力受付部が、マルチメディア情報の入力を受け付け、送信側映像再生工程では、送信側映像再生部が、所定の再生開始条件が満たされた場合、送信側映像情報の再生を開始し、送信工程では、送信部が、受信側端末へ、入力を受け付けられたマルチメディア情報を、当該所定の再生開始条件が満たされてから当該送信側映像情報の再生が終了するまでに受け付けられたマルチメディア情報（以下、「同期マルチメディア情報」という。）か、そうでないマルチメディア情報（以下、「非同期マルチメディア情報」という。）か、を区別して、順次送信する。
【００３６】
一方、受信側端末において、受信工程では、受信部が、送信側端末から順次送信されるマルチメディア情報を順次受信し、受信側映像再生工程では、受信側映像再生部が、受信部により、非同期マルチメディア情報の次に同期マルチメディア情報が受信された場合、その後に、受信側映像情報の再生を開始し、マルチメディア情報出力工程では、マルチメディア情報出力部が、順次受信されるマルチメディア情報が、
（ｐ）非同期マルチメディア情報である場合、当該非同期マルチメディア情報を順次出力し、
（ｑ）同期マルチメディア情報である場合、当該受信側映像情報の再生が開始されるまで当該同期マルチメディア情報をバッファリングして、当該受信側映像情報の再生が開始されると当該バッファリングされた同期マルチメディア情報を順次出力する。
【００３７】
本発明のその他の観点に係るプログラムは、コンピュータを、上記の送信側端末の各部として機能させるように構成する。
本発明のその他の観点に係るプログラムは、コンピュータを、上記の受信側端末の各部として機能させるように構成する。
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記憶媒体に記録することができる。
上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配布・販売することができる。
【発明の効果】
【００３８】
本発明によれば、プレイヤーが互いに発声により会話可能な通信ゲームにおいて、一方のプレイヤーが映像情報に同期して発声した音声情報や身振りを行った様子を撮影した動画情報などのマルチメディア情報を他方のプレイヤーの端末で映像情報に同期させて出力するのに好適な通信ゲームシステム、通信ゲーム制御方法、ならびに、これらをコンピュータにて実現するプログラムを提供することができる。
【発明を実施するための最良の形態】
【００３９】
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００４０】
なお、以下の実施例の説明では、音声チャットを利用した対戦ゲームを想定しており、マルチメディア情報として音声情報を利用する。そこで、理解を容易にするため、以下では、「マルチメディア情報」として「音声情報」のみを採用する例を説明するが、ビデオチャットなどの動画情報を「マルチメディア情報」として採用する場合も、同様の原理を適用することができ、これらの態様も本発明の範囲に含まれる。
【実施例１】
【００４１】
図１は、プログラムを実行することにより、本発明の送信側端末、もしくは、受信側端末の機能を果たす典型的な情報処理装置の概要構成を示す模式図である。以下、本図を参照して説明する。
【００４２】
情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ  １０２と、ＲＡＭ（Random Access Memory）１０３と、インターフェイス１０４と、コントローラ１０５と、外部メモリ１０６と、画像処理部１０７と、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）ドライブ１０８と、ＮＩＣ（Network Interface Card）１０９と、音声処理部１１０と、を備える。
【００４３】
ゲーム用のプログラムおよびデータを記憶したＤＶＤ−ＲＯＭをＤＶＤ−ＲＯＭドライブ１０８に装着して、情報処理装置１００の電源を投入することにより、当該プログラムが実行され、本実施形態の送信側端末、もしくは、受信側端末が実現される。
【００４４】
ＣＰＵ  １０１は、情報処理装置１００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。また、ＣＰＵ  １０１は、レジスタ（図示せず）という高速アクセスが可能な記憶域に対してＡＬＵ（Arithmetic Logic Unit）（図示せず）を用いて加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さらに、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベクトル演算などを高速に行えるように、ＣＰＵ  １０１自身が構成されているものや、コプロセッサを備えて実現するものがある。
【００４５】
ＲＯＭ  １０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、ＤＶＤ−ＲＯＭに記録されたプログラムをＲＡＭ  １０３に読み出してＣＰＵ  １０１による実行が開始される。また、ＲＯＭ  １０２には、情報処理装置１００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。
【００４６】
ＲＡＭ  １０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ−ＲＯＭから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。また、ＣＰＵ  １０１は、ＲＡＭ  １０３に変数領域を設け、当該変数に格納された値に対して直接ＡＬＵを作用させて演算を行ったり、ＲＡＭ  １０３に格納された値を一旦レジスタに格納してからレジスタに対して演算を行い、演算結果をメモリに書き戻す、などの処理を行う。
【００４７】
インターフェイス１０４を介して接続されたコントローラ１０５は、ユーザがゲーム実行の際に行う操作入力を受け付ける。
【００４８】
インターフェイス１０４を介して着脱自在に接続された外部メモリ１０６には、ゲーム等のプレイ状況（過去の成績等）を示すデータ、ゲームの進行状態を示すデータ、ネットワーク対戦の場合のチャット通信のログ（記録）のデータなどが書き換え可能に記憶される。ユーザは、コントローラ１０５を介して指示入力を行うことにより、これらのデータを適宜外部メモリ１０６に記録することができる。
【００４９】
ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。ＣＰＵ  １０１の制御によって、ＤＶＤ−ＲＯＭドライブ１０８は、これに装着されたＤＶＤ−ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはＲＡＭ  １０３等に一時的に記憶される。
【００５０】
画像処理部１０７は、ＤＶＤ−ＲＯＭから読み出されたデータをＣＰＵ  １０１や画像処理部１０７が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部１０７が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部１０７に接続されるモニタ（図示せず）へ出力される。これにより、各種の画像表示が可能となる。
【００５１】
画像演算プロセッサは、２次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。
【００５２】
また、仮想３次元空間に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Ｚバッファ法によりレンダリングして、所定の視点位置から仮想３次元空間に配置されたポリゴンを所定の視線の方向へ俯瞰したレンダリング画像を得る演算の高速実行も可能である。
【００５３】
さらに、ＣＰＵ  １０１と画像演算プロセッサが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を２次元画像としてフレームメモリへ描画したり、各ポリゴン表面へ描画することが可能である。
【００５４】
ＮＩＣ  １０９は、情報処理装置１００をインターネット等のコンピュータ通信網（図示せず）に接続するためのものであり、ＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ−Ｔ／１００ＢＡＳＥ−Ｔ規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとＣＰＵ  １０１との仲立ちを行うインターフェース（図示せず）により構成される。
【００５５】
音声処理部１１０は、ＤＶＤ−ＲＯＭから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ（図示せず）から出力させる。また、ＣＰＵ  １０１の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカから出力させる。
【００５６】
音声処理部１１０では、ＤＶＤ−ＲＯＭに記録された音声データがＭＩＤＩデータである場合には、これが有する音源データを参照して、ＭＩＤＩデータをＰＣＭデータに変換する。また、ADPCM形式やOgg Vorbis形式等の圧縮済音声データである場合には、これを展開してＰＣＭデータに変換する。ＰＣＭデータは、そのサンプリング周波数に応じたタイミングでＤ／Ａ（Digital/Analog）変換を行って、スピーカに出力することにより、音声出力が可能となる。
【００５７】
さらに、情報処理装置１００には、インターフェイス１０４を介してマイク１１１を接続することができる。この場合、マイク１１１からのアナログ信号に対しては、適当なサンプリング周波数でＡ／Ｄ変換を行い、ＰＣＭ形式のディジタル信号として、音声処理部１１０でのミキシング等の処理ができるようにする。
【００５８】
このほか、情報処理装置１００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ  １０２、ＲＡＭ  １０３、外部メモリ１０６、ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭ等と同じ機能を果たすように構成してもよい。
【００５９】
以上で説明した情報処理装置１００は、いわゆる「コンシューマ向けテレビゲーム装置」に相当するものであるが、音声処理や画像処理を行うことが可能であれば、本発明を実現することができる。したがって、携帯電話、携帯ゲーム機器、カラオケ装置、一般的なビジネス用コンピュータなど、種々の計算機上で本発明を実現することが可能である。
【００６０】
たとえば、一般的なコンピュータは、上記情報処理装置１００と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＤＶＤ−ＲＯＭドライブ、ＮＩＣ、音声入力用マイク、音声出力用スピーカ、を備え、情報処理装置１００よりも簡易な機能を備えた画像処理部を備え、外部記憶装置としてハードディスクを有する他、フレキシブルディスク、光磁気ディスク、磁気テープ等が利用できるようになっている。また、コントローラ１０５ではなく、キーボードやマウスなどを入力装置として利用する。
【００６１】
図２は、本発明の実施形態に係る通信ゲームシステムの概要構成を示す模式図である。以下、本図を参照して説明する。
本図に示すように、通信ゲームシステム２０１は、インターネット２５１を介して送信側端末３０１と受信側端末４０１とが、通信可能に接続されている。送信側端末３０１と受信側端末４０１とは、いずれも、上記の情報処理装置１００において通信ゲームのプログラムを実行することによって実現される。
そして、各情報処理装置１００は、送信側端末３０１としても、受信側端末４０１としても機能するように構成するのが典型的である。
【００６２】
送信側端末３０１と受信側端末４０１の通信は、音声情報のストリーミング配信の際にも用いられる高速なUDPを用いるのが典型的であるが、TCPなどの受信確認（アクノリッジ）を行うようなプロトコルを採用しても良い。また、伝送される情報の種類によって、プロトコルや通信レイヤを異なるものとしても良い。
【００６３】
なお、以下の説明では、必殺技の攻撃をしかけようとするプレイヤーが操作する情報処理装置１００を送信側端末３０１の例として、その攻撃の様子を見る他のプレイヤーが操作する情報処理装置１００を送信側端末４０１の例として、それぞれ採用して説明する。また、攻撃側プレイヤーが操作するキャラクターの必殺技発動時の動作、振り、特殊効果演出等の画像表示がアニメーションや３次元ポリゴングラフィックスで、送信側端末３０１と受信側端末４０１の両方で表示されるものとする。
【００６４】
本実施形態では、後述するように、必殺技の動画映像表示に同期して攻撃側プレイヤーに技の名前や決め台詞を叫ばせて、これを他のプレイヤーにも提供することにより、プレイヤーのゲームへの没頭度を高める必殺技を表示していない状況では、音声チャットが利用できるようにしているが、本発明の原理は、他の態様に適用することができ、そのような実施形態も本発明の範囲に含まれる。
【００６５】
（送信側端末）
図３は、送信側端末３０１の概要構成を示す模式図である。以下、本図を参照して説明する。
本実施形態に係る送信側端末３０１は、音声入力受付部３０２、送信側映像再生部３０３、送信部３０４を有する。
【００６６】
まず、送信側端末３０１において、音声入力受付部３０２は、音声情報の入力を受け付ける。
当該送信側端末３０１を利用するゲームのプレイヤーが発する声を、マイク１１１を用いて取得する。取得した音声情報は、音声処理部１１０が備える内部バッファやＲＡＭ  １０３にバッファリングされる。
【００６７】
音声サンプリング処理は、サンプリング周期の間隔でタイマ割り込みを繰り返し起こすこととし、当該タイマ割り込みの割り込みハンドラ内で、マイク１１１からの音声入力の変位（基準位置からのずれ）を取得して、ＲＡＭ  １０３等の中に用意された所定のバッファに、取得した変位のディジタルデータをキュー形式で追加していくのが典型的である。
したがって、音声情報をバッファ長に蓄積できる時間に対応するような周期で、バッファ内からデータをキュー形式で読み出すような処理を並行して行う必要がある。
【００６８】
一方、送信側映像再生部３０３は、所定の再生開始条件が満たされた場合、送信側映像情報の再生を開始する。
上記の例でいえば、キャラクターの必殺技のコマンド入力が、コントローラ１０５もしくは音声によってなされることによって、再生開始条件が満たされると、キャラクターの必殺技の映像が画面表示されることになる。
【００６９】
ここで、映像の表示については、あらかじめ用意された動画ファイルを再生するのが典型的である。すなわち、ＡＶＩ（Audio Video Interleaving）形式やＭＰＥＧ（Moving Picture Expert Group）形式の動画映像ファイル（音声を含んでも良い。）をＤＶＤ−ＲＯＭに記録しておく。送信側端末３０１と受信側端末４０１とで同じ動画映像ファイルを用意するのが典型的であるが、ほぼ同じ再生時間を有するものであれば、異なる動画映像ファイルを採用することもできる。
この場合、当該動画映像ファイルに含まれる情報が送信側映像情報（および受信側映像情報）となる。
【００７０】
また、動的に映像情報を生成するような形態を採用しても良い。必殺技に対応するキャラクターの骨格の時間経過に沿った動きをあらかじめ定義しておき、この定義にしたがってキャラクターの骨格の位置を変化させてキャラクターの外観のポリゴン情報を更新し、３次元グラフィックス表示することによっても良い。
この場合、仮想空間内におけるキャラクターの骨格位置関係や、仮想空間内におけるキャラクターの位置そのものの時間変化が、送信側映像情報（および受信側映像情報）となる。
【００７１】
なお、仮想世界の様子を送信側端末３０１と受信側端末４０１とで表示している場合には、仮想世界を３次元グラフィックス表示する際の、送信側端末３０１における視点位置・視線方向と、受信側端末４０１における視点位置・視線方向とは、異なるのが一般的である。
【００７２】
送信部３０４は、受信側端末４０１へ、以下のような情報を順次送信する。
（ａ）所定の再生開始条件が満たされた旨の通知（以下「開始通知」という。）。
（ｂ）音声入力受付部から入力された所定の時間分の音声情報。
（ｃ）所定の再生停止条件が満たされた旨の通知（以下「停止通知」という。）。
（ｄ）映像の再生が終了した旨の通知（以下「終了通知」という。）。
これらの情報は、送信側端末３０１で、対応するイベントが生じたことが検出されると、直ちに送信される。
【００７３】
したがって、開始通知から、停止通知もしくは終了通知までの間に伝送される音声情報は、所定の再生開始条件が満たされてから当該送信側映像情報の再生が終了するまでに入力された音声情報ということになる。以下、これを「同期音声情報」といい、それ以外の時間帯に入力が受け付けられた音声情報を「非同期音声情報」という。
【００７４】
上記の例でいえば、同期音声情報は、必殺技の映像が再生表示されているときに、その映像におけるキャラクターの動作に合わせてプレイヤーが発声した必殺技の名称や決め台詞を表す音声であり、非同期音声情報は、それ以外の、たとえば通常の移動シーンにおける日常会話を音声チャットで行うようなときの音声である。
【００７５】
図４は、本実施形態で採用される必殺技コマンドと動画映像の再生との時間的な関係を示す説明図である。以下、本図を参照して説明する。
【００７６】
本実施形態では、必殺技コマンドを完全に入力するには、ある程度の時間がかかる。そこで、送信側端末３０１において、必殺技コマンドの入力が開始されたと予測できるような状況になると、再生開始条件が満たされるものと考える。
【００７７】
必殺技コマンドの入力が開始されたと予測できる状況としては、以下のようなものが考えられる。
（ａ）必殺技コマンドが、コントローラ１０５等のキーやボタンの押圧操作を、所定の順序で行うことによって入力される場合に、当該押圧操作の列の先頭部分（接頭辞）がある程度入力されたとき。
（ｂ）必殺技コマンドが、プレイヤーがある長さの呪文を唱える音声入力によって行われるときに、当該呪文の先頭部分に相当する音声入力を検知したとき。
（ｃ）上記（ａ）と（ｂ）の組合せ、たとえば、キーやボタンの押圧操作によって必殺技の準備モードに入り、その後にプレイヤーが所定の発声を行うことにより必殺技コマンドが完成する場合は、必殺技の準備モードに入ったとき。
【００７８】
なお、コントローラ１０５等を利用する形態の場合、これらは、送信側端末３０１が備える操作入力受付部（図３には図示せず）として機能する。
【００７９】
さて、再生開始条件が満たされると、ＣＰＵ  １０１が画像処理部１０７、音声処理部１１０およびＤＶＤ−ＲＯＭドライブ１０８に指示を出して、送信側映像情報の再生を開始するよう指示を出す。一般に、再生開始条件が満たされてから送信側映像上の再生が開始されるまでには、ある程度のタイムラグがある。
【００８０】
再生開始条件が満たされた後、所定の猶予時間の間に、残りのコマンド入力が適切に行われない場合には、必殺技コマンドは完成しない。必殺技コマンドの入力が失敗した旨をＣＰＵ  １０１が検知すると、画像処理部１０７、音声処理部１１０およびＤＶＤ−ＲＯＭドライブ１０８に指示を出して、送信側映像情報の再生を停止するよう指示を出す。この指示に応じて、送信側映像情報の再生が終了するまでにも、ある程度のタイムラグがある（本図（ａ））。
【００８１】
一方、再生開始条件が満たされた後、所定の猶予時間の間に、残りのコマンド入力が適切に行われた場合には、必殺技コマンドは完成するので、そのまま送信側映像情報を最後まで再生する（本図（ｂ））。
【００８２】
なお、送信側映像情報が再生されている間は、音声処理部１１０がマイク１１１から入力された音声情報を送信側映像情報の動画ファイルが含む音声とミキシングして出力することとしても良い。この場合には、必殺技を出そうとしているプレイヤー自身に臨場感を与えることができると同時に、同期がとれているか否かの判断基準を与えることもできるようになる。
【００８３】
これらの処理の処理単位時間は、ゲームのコマンド入力に割り当てられる単位時間と呼応して定められる。たとえば、コマンド入力の検出が垂直同期信号の周期である６０分の１秒単位である場合には、これらの条件の判断基準は、垂直同期信号の周期と一致させるか、当該周期を整数で割った時間とすることが望ましい。以下では、垂直同期信号の周期と一致するものとして説明を行うが、たとえばタイマ割り込みによってこれらの判断処理と各部への指示を行うことも可能である。
【００８４】
図５は、送信側端末３０１で実行される送信側処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。
【００８５】
本処理が開始されると、まず、ＣＰＵ  １０１はマイク１１１を制御して、プレイヤーの声の音声情報の入力の受付を開始する（ステップＳ５０１）。上記のように、音声情報の入力の受付を開始すると、ＲＡＭ  １０３等に用意されたバッファに直近の音声情報をキュー形式で蓄積する処理が、並行して開始されることになる。そこで、適切なタイミングで、このバッファから音声情報を取得して、バッファの容量を開ける必要がある
したがって、ＣＰＵ  １０１の制御の下、マイク１１１は、音声入力受付部３０２として機能する。
【００８６】
次に、ＣＰＵ  １０１は、ＤＶＤ−ＲＯＭドライブ１０８および画像処理部１０７を制御して、送信側映像情報の再生が、ＣＰＵ  １０１からの指示によって開始されるように、初期化を行う（ステップＳ５０２）。
【００８７】
これにより、送信側映像情報の再生の開始と停止は、ＣＰＵ  １０１の制御の下に行われることとなり、ＤＶＤ−ＲＯＭドライブ１０８および画像処理部１０７は、送信側映像再生部３０３として機能することとなる。
【００８８】
ついで、ＣＰＵ  １０１は、ＲＡＭ  １０３に用意された再生フラグ領域を０に初期化する（ステップＳ５０３）。再生フラグ領域が非０である場合には、送信側映像再生部３０３に最後に出した指示が再生の開始であり、０である場合は、再生の停止であることを意味する。
【００８９】
そして、ＣＰＵ  １０１は、以下の処理を、ゲームが終了するまで繰り返す（ステップＳ５０４）。
【００９０】
すなわち、再生フラグ領域が０か否かを調べ（ステップＳ５０５）、０である場合（ステップＳ５０５；Ｙｅｓ）、再生開始条件が満たされているか否かを調べる（ステップＳ５０６）。再生開始条件が満たされるか否かは、上記のような判断基準によって判断され、たとえば、直近のキーやボタンの押圧操作がされるたびに生じる割り込みで当該キーやボタンの情報を蓄積し、ＣＰＵ  １０１がその情報を走査して判断する、等の手法を採用することができる。
【００９１】
再生開始条件が満たされていない場合（ステップＳ５０６；Ｎｏ）、ステップＳ５０９に進む。
一方、再生開始条件が満たされている場合（ステップＳ５０６；Ｙｅｓ）、ＣＰＵ  １０１は、ＮＩＣ  １０９を介して、開始通知を受信側端末４０１に送信し（ステップＳ５０７）、再生フラグ領域に１を設定する（ステップＳ５０８）。
【００９２】
ついで、ＣＰＵ  １０１は、ＤＶＤ−ＲＯＭドライブ１０８および画像処理部１０７を制御して、送信側映像情報の再生を開始させるように指示を出す（ステップＳ５２１）。したがって、ＣＰＵ  １０１の制御の下、ＤＶＤ−ＲＯＭドライブ１０８および画像処理部１０７は、送信側映像再生部３０３として機能することとなる。
【００９３】
そして、ＣＰＵ  １０１は、マイク１１１からＲＡＭ  １０３等にされた音声入力のキューに含まれる音声情報を取得する（ステップＳ５０９）。これにより、このキューを構成するＲＡＭ  １０３内のバッファは一瞬空になる。
【００９４】
そして、ＮＩＣ  １０９を介して、キューから取得した音声情報を受信側端末４０１に送信する（ステップＳ５１０）。なお、本実施形態では、音声情報のパケットそのものに同期音声情報か非同期音声情報かの付加情報は付与しないが、これらの情報を付与するような形態を採用することもできる。
【００９５】
そして、垂直同期割り込みが生じるまで待機して（ステップＳ５１１）、ゲームが終了したか判断し（ステップＳ５１２）、終了していれば本処理を終了する（ステップＳ５１２）。一方、終了していなければステップＳ５０４に戻る（ステップＳ５１２）。
【００９６】
一方、再生フラグ領域が非０である場合（ステップＳ５０５；Ｎｏ）、再生停止条件が満たされているか否かを調べる（ステップＳ５１３）。再生停止条件が満たされている場合（ステップＳ５１３；Ｙｅｓ）、ＣＰＵ  １０１は、停止通知を受信側端末４０１に送信し（ステップＳ５１４）、再生フラグ領域に０を設定して（ステップＳ５１５）、送信側映像再生部３０３に再生の中止の指示を出し（ステップＳ５２２）、ステップＳ５０９に進む。
【００９７】
一方、再生停止条件が満たされていない場合（ステップＳ５１３；Ｎｏ）、送信側映像再生部３０３による送信側映像情報の再生が最後まで完全に行われたか判定し（ステップＳ５１６）、再生が最後まで完全に行なわれて終了していれば（ステップＳ５１６；Ｙｅｓ）、終了通知を受信側端末４０１に送信し（ステップＳ５１７）、再生フラグ領域に０を設定して（ステップＳ５１８）、ステップＳ５０９に進む。
まだ送信側映像情報の再生途中である場合（ステップＳ５１６；Ｎｏ）、そのままステップＳ５０９に進む。
【００９８】
このような処理を行うことによって、ＮＩＣ  １０９は、ＣＰＵ  １０１の制御の下、送信部３０４として機能することとなる。
【００９９】
なお、コマンド体系によっては、再生停止条件の判断を省略することもできる。すなわち、一旦必殺技が開始されたら、そのまま最後まで映像情報が再生される、というものである。この場合には、同期音声情報の音声的特徴に基づいて、必殺技の強さなどのパラメータを決定する、ということとしても良い。
【０１００】
なお、上記の説明では、垂直同期の周期ごとに処理を繰り返す形態を採用しているが、ステップＳ５１１での待機中には、他の処理をコルーチン的に実行することもできる。また、垂直同期待ちをそのまま行うのではなく、本処理の繰り返しループの１回分をタイマ割り込みの割り込みハンドラに設定して、繰り返しが所定の時間間隔で行われるようにしても良い。
このほか、情報処理装置１００が採用するＯＳ（Operating System）が、スレッドを用いた時分割処理を採用する場合には、後述する処理の種類ごとに、複数のスレッドに分割して、処理の整理を図ることもできる。
【０１０１】
（受信側端末）
図６は、本実施形態に係る通信ゲームシステムの受信側端末４０１の概要構成を示す模式図である。以下、本図を参照して説明する。
本図に示すように、受信側端末４０１は、受信部４０２、受信側映像再生部４０３、音声出力部４０４を有する。
【０１０２】
ここで、受信部４０２は、所定のプロトコルに基づいて送信側端末３０１から送信される音声情報や開始通知、停止通知、終了通知を受信する。
【０１０３】
一方、受信側映像再生部４０３は、送信側端末３０１で送信側映像情報の再生が開始されたり停止されたりされると、（タイムラグはあるものの、）これに合わせて、受信側映像情報の再生を開始したり停止したりする。
【０１０４】
また、音声出力部４０４は、受信した音声情報を適切に出力して、プレイヤーの声による音声チャットと、受信側映像情報の再生に同期した技の名前や決め台詞のプレイヤーの声と、を、受信側端末４０１を利用するプレイヤーに提供する。
【０１０５】
受信側端末４０１では、第１の受信処理と第２の受信処理とが並行して実行される。この並行処理は、スレッドや時分割、コルーチン、割り込みなどの種々の機能を利用することによって、実現することができる。以下、詳細に説明する。
【０１０６】
図７は、受信側端末４０１にて実行される第１の受信処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。
【０１０７】
本処理が開始されると、ＣＰＵ  １０１は、ＲＡＭ  １０３内に用意された再生フラグ領域を０にする（ステップＳ７０１）。再生フラグ領域の機能は、送信側端末３０１におけるものと同様である。
【０１０８】
ついで、音声処理部１１０を初期化して、音声処理部１１０に音声情報を渡すと、渡した順にこれが再生されるようにする（ステップＳ７０２）。すなわち、音声処理部１１０にはＲＡＭに用意された内部バッファ４１１が関係付けられており、音声情報がＣＰＵ  １０１から指定されると、この内部バッファに音声情報が蓄積される。
【０１０９】
音声処理部１１０は、内部バッファ４１１の先頭から音声情報を取り出してはこれを音声出力し、完了すると次の音声情報を取り出してはこれを音声出力し、……を繰り返す。受信側映像情報に音声も含まれる場合は、音声処理部１１０の音声出力は、両者をミキシングして出力することとしても良い。
なお、後述するバッファリング処理に用いる外部バッファ４１２と、この内部バッファ４１１の処理とは、異なる機能に属するものである。
【０１１０】
次に、ＣＰＵ  １０１は、ＮＩＣ  １０９を監視して、各種の情報を指定したパケットが送信側端末３０１から到達して受信できるまで待機する（ステップＳ７０３）。なお、待機の間は、他の処理をコルーチン的に実行することもできるし、以下の処理（の繰り返しの一単位）を、ＮＩＣ  １０９の受信割り込みに割り当てることとしても良い。
そして、ＣＰＵ  １０１は、受信されたパケットに指定される情報の種類を調べる（ステップＳ７０４）。
【０１１１】
当該パケットが開始通知である場合（ステップＳ７０４；開始）、ＣＰＵ  １０１は、再生フラグ領域に１を設定してから（ステップＳ７０５）、ＤＶＤ−ＲＯＭドライブ１０８および画像処理部１０７を制御して、余裕時間後に受信側映像情報の再生を開始させるように指示を出し（ステップＳ７０６）、ステップＳ７１２に進む。
【０１１２】
すなわち、本実施形態では、開始通知のような、特定の種類のパケットが受信されると、同期再生開始条件が満たされる、ということとしている。ただし、開始通知を採用しないような態様であっても、同期再生開始条件が満たされるような状況はありうる。たとえば、マルチメディア情報のパケットそのものに、同期か非同期かの情報を埋め込み、非同期マルチメディア情報の次に同期マルチメディア情報が受信されると、同期再生開始条件が満たされる、のようにすることができる。
【０１１３】
なお、ここでＣＰＵ  １０１に指示された受信側映像情報の再生が実際に開始されるタイミングとしては、以下のような種々の手法が考えられる。
（ａ）指示があって、準備ができたら直ちに、再生を開始する。余裕時間が０の場合である。
（ｂ）指示があってから、一定の余裕時間（送信側端末３０１における猶予時間よりも長い。）経過した瞬間に、再生を開始する。
（ｃ）指示があってから、一定の余裕時間（送信側端末３０１における猶予時間以下。）経過した瞬間に、再生を開始する。
【０１１４】
一方、当該パケットが停止通知（ステップＳ７０４；停止）である場合、ＣＰＵ  １０１は、再生フラグ領域に０を設定してから（ステップＳ７０７）、ＤＶＤ−ＲＯＭドライブ１０８および画像処理部１０７を制御して、受信側映像情報の再生を停止させるように指示を出して（ステップＳ７０８）、ステップＳ７１２に進む。
したがって、ＣＰＵ  １０１の制御の下、ＤＶＤ−ＲＯＭドライブ１０８および画像処理部１０７が、受信側映像再生部４０３として機能することとなる。
【０１１５】
また、当該パケットが終了通知（ステップＳ７０４；終了）である場合、ステップＳ７１２に進む。
【０１１６】
さらに、当該パケットが音声情報（ステップＳ７０４；音声）である場合、ＣＰＵ  １０１は、再生フラグ領域が０か否かを判定する（ステップＳ７０９）。再生フラグ領域が０である場合（ステップＳ７０９；Ｙｅｓ）、当該音声情報は非同期音声情報であるから、ＣＰＵ  １０１は、音声処理部１１０に当該非同期音声情報を渡す（ステップＳ７１０）。これにより、非同期音声情報が内部バッファ４１１に追加され、音声処理部１１０は、適切な順で音声情報を音声出力する。
したがって、音声処理部１１０は、ＣＰＵ  １０１の制御の下、音声出力部４０４として機能することとなる。
そして、ゲームが終了したか否かを判定し（ステップＳ７１２）、終了していれば（ステップＳ７１２；Ｙｅｓ）、本処理を完了し、そうでなければ（ステップＳ７１２；Ｎｏ）、ステップＳ７０３に戻る。
【０１１７】
一方、再生フラグ領域が非０である場合（ステップＳ７０９；Ｎｏ）、ＣＰＵ  １０１は、受信側映像再生部４０３の状態を問い合わせて、再生していた受信側映像情報の再生が完了しているか否かを調べる（ステップＳ７１１）。完了していなければ（ステップＳ７１１；Ｎｏ）、当該音声情報は同期音声情報であるから、ＲＡＭ  １０３に用意された外部バッファ４１２に、キュー形式で当該同期音声情報を追加してバッファリングするように指示を出し（ステップＳ７１３）、ステップＳ７１２に進む。
【０１１８】
一方、完了していれば（ステップＳ７１１；Ｙｅｓ）、再生フラグ領域に０を設定してから（ステップＳ７１４）、ステップＳ７１２に進む。
【０１１９】
図８は、受信側端末４０１にて起動される第２の受信処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。
第２の受信処理は、ステップＳ７０６において、受信側映像情報の再生を開始させる指示が出たこと、すなわち、再生フラグ領域が０から１に変化したことを契機として開始される。そして、第１の受信処理とは並行して実行される。
【０１２０】
第２の受信処理が開始されると、ＣＰＵ  １０１は、受信側映像情報の再生が、実際に開始されるまで待機する（ステップＳ８０１）。したがって、本処理は、映像再生開始により起動される割り込みによって開始されるようにしても良い。
【０１２１】
ついで、音声処理部１１０の内部バッファ４１１をクリアする（ステップＳ８０２）。これにより、再生準備に入っている非同期音声情報が用意されていたとしても、クリアされて無視され、これらは音声出力されない。
【０１２２】
さらに、ＣＰＵ  １０１は、外部バッファ４１２に蓄積された同期音声情報を順次取り出して、音声処理部１１０に渡す（ステップＳ８０３）。これにより、外部バッファ４１２は一瞬空になるとともに、音声処理部１１０の内部バッファ４１１には、外部バッファ４１２に蓄積された同期音声情報が追加されることとなる。
【０１２３】
さらに、ＣＰＵ  １０１は、適切な時間だけ、本処理にて待機して、他の処理を実行する（ステップＳ８０４）。ここで待機する時間は、送信側端末３０１における処理時間単位以下とすることが望ましい。なお、待機中には、たとえば第１の受信処理等、本処理と並行して実行される他の処理を実行することができる。
【０１２４】
ついで、ＣＰＵ  １０１は、再生フラグ領域が０であるか否かを調べる（ステップＳ８０５）、０であれば（ステップＳ８０５；Ｙｅｓ）、外部バッファ４１２をクリアして（ステップＳ８０６）、本処理を終了する。
一方、０でなければ（ステップＳ８０５；Ｎｏ）、ステップＳ８０３に戻る。
【０１２５】
上記のように、ＣＰＵ  １０１が受信側映像再生部４０３に指示を出してから、実際に受信側映像情報の再生が開始されるまでの時間間隔（上記の説明では、「余裕時間」と読んでいる。）は、ゲームの種類によって、ハードウェア的な限界に基づくタイムラグ長から、ソフトウェアの設定に基づく時間長まで、種々変化させることができる。
【０１２６】
そこで、この余裕時間を、送信側端末３０１における猶予時間より長くすると、受信側端末４０１で受信側映像情報の再生が開始されるのは、必殺技コマンドが成功した場合に限られることになり、一旦受信側映像情報の再生が開始されると、これが途中で中断されることはない。したがって、この場合は、送信側端末３０１と受信側端末４０１における停止通知の処理をすべて省略することができる。
【０１２７】
また、余裕時間が長い場合等には、ステップＳ８０２の前に、再生フラグが０か否かの判断を行い、０であれば、ステップＳ８０６に進む等の処理を行うこととしても良い。
また、この余裕時間を送信側端末３０１における猶予時間以下や０とすると、受信側端末４０１で受信側映像情報の再生が開始した後に、途中で中断されることがありうる。
余裕時間としてどのような長さを選択するかは、通信ゲームの態様に応じて適宜選択することができる。
【産業上の利用可能性】
【０１２８】
以上説明したように、本発明によれば、プレイヤーが互いに発声により会話可能な通信ゲームにおいて、一方のプレイヤーが映像情報に同期して発声した音声情報や身振りを行った様子を撮影した動画情報などのマルチメディア情報を他方のプレイヤーの端末で映像情報に同期させて出力するのに好適な通信ゲームシステム、通信ゲーム制御方法、ならびに、これらをコンピュータにて実現するプログラムを提供することができる。
【図面の簡単な説明】
【０１２９】
【図１】プログラムを実行することにより、本発明の送信側端末、もしくは、受信側端末の機能を果たす典型的な情報処理装置の概要構成を示す模式図である。
【図２】本発明の実施形態に係る通信ゲームシステムの概要構成を示す模式図である。
【図３】送信側端末の概要構成を示す模式図である。
【図４】本実施形態で採用される必殺技コマンドと動画映像の再生との時間的な関係を示す説明図である。
【図５】送信側端末で実行される送信側処理の制御の流れを示すフローチャートである。
【図６】本実施形態に係る通信ゲームシステムの受信側端末の概要構成を示す模式図である。
【図７】受信側端末にて実行される第１の受信処理の制御の流れを示すフローチャートである。
【図８】受信側端末にて起動される第２の受信処理の制御の流れを示すフローチャートである。
【符号の説明】
【０１３０】
１００  情報処理装置
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  インターフェイス
１０５  コントローラ
１０６  外部メモリ
１０７  画像処理部
１０８  ＤＶＤ−ＲＯＭドライブ
１０９  ＮＩＣ
１１０  音声処理部
１１１  マイク
２０１  通信ゲームシステム
２５１  インターネット
３０１  送信側端末
３０２  音声入力受付部
３０３  送信側映像再生部
３０４  送信部
４０１  受信側端末
４０２  受信部
４０３  受信側映像再生部
４０４  音声出力部
４１１  内部バッファ
４１２  外部バッファ
【図１】
2007222411.tif 000003
【図２】
2007222411.tif 000004
【図３】
2007222411.tif 000005
【図４】
2007222411.tif 000006
【図５】
2007222411.tif 000007
【図６】
2007222411.tif 000008
【図７】
2007222411.tif 000009
【図８】
2007222411.tif 000010
【手続補正書】
【提出日】平成19年1月19日(2007.1.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
送信側端末と、受信側端末と、を有する通信ゲームシステムであって、
（ａ）前記送信側端末は、
ユーザからの操作入力を受け付ける操作入力受付部、
当該ユーザからのマルチメディア情報の入力を受け付けるマルチメディア情報入力受付部、
前記受け付けられた操作入力が所定の開始操作入力であることを検知すると、送信側映像情報の再生を開始する送信側映像再生部、
前記受信側端末へ、情報を順次送信する送信部であって、当該情報の種類には、開始通知、マルチメディア情報、もしくは、終了通知が含まれ、
（ｒ）前記受け付けられた操作入力が、所定の開始操作入力であることを検知すると、その旨を示す開始通知を送信し、
（ｓ）当該マルチメディア情報の入力が所定時間分受け付けられたことを検知すると、当該検知ごとに、当該所定時間分のマルチメディア情報を送信し、
（ｔ）当該送信側映像情報の再生が終了したことを検知すると、その旨を示す終了通知を送信する
送信部
を備え、
（ｂ）前記受信側端末は、
前記送信側端末から順次送信される情報を順次受信する受信部、
前記受信部により受信された情報が、当該開始通知であることを検知すると、当該検知から所定の余裕時間経過後に当該送信側映像情報に対応付けられる受信側映像情報の再生を開始する受信側映像再生部、
前記受信部により当該開始通知が受信されてから当該終了通知が受信されるまでの間に順次受信されたマルチメディア情報を同期マルチメディア情報と判定し、それ以外の間に順次受信されたマルチメディア情報を非同期マルチメディア情報と判定し、前記順次受信された情報のそれぞれが、
（ｐ）非同期マルチメディア情報であると判定されると、当該非同期マルチメディア情報を順次出力し、
（ｑ）同期マルチメディア情報であると判定されると、当該同期マルチメディア情報を、当該所定余裕時間以上の長さをバッファリングできるバッファ領域にバッファリングして、当該受信側映像情報の再生が開始されてから、当該バッファリングされた同期マルチメディア情報を順次出力する
マルチメディア情報出力部
を備える
ことを特徴とする通信ゲームシステム。
【請求項２】
請求項１に記載の通信ゲームシステムであって、
（ｃ）前記送信側端末において、前記送信部が送信する情報の種類には、再生停止情報がさらに含まれ、
（ｘ）前記送信側映像再生部は、所定の再生停止条件が満たされたことを検知すると、当該送信側映像情報の再生を停止して、当該再生を終了させ、
（ｙ）前記送信部は、当該所定の再生停止条件が満たされたことを検知すると、前記受信側端末へ、その旨を示す再生停止情報を送信し、
（ｄ）前記受信側端末において、前記マルチメディア情報出力部は、前記受信部により受信された情報が、当該再生停止情報であることを検知すると、当該バッファリングされた同期マルチメディア情報を消去し、当該再生停止情報が受信されてから当該終了通知が受信されるまでの間に順次受信されたマルチメディア情報の出力を停止する
ことを特徴とする通信ゲームシステム。
【請求項３】
請求項２に記載の通信ゲームシステムであって、
前記送信側端末において、当該所定の再生停止条件が満たされるのは、当該所定の再生開始条件が満たされてから所定の猶予時間内に前記受け付けられた操作入力が、所定の操作入力パターンにマッチしない場合である
ことを特徴とする通信ゲームシステム。
【請求項４】
請求項１から３のいずれか１項に記載の通信ゲームシステムであって、
前記送信側端末において、当該所定の再生停止条件が満たされるのは、当該所定の再生開始条件が満たされてから所定の猶予時間内に前記入力を受け付けられたマルチメディア情報が、所定のマルチメディア的特性を満たさない場合である
ことを特徴とする通信ゲームシステム。
【請求項５】
請求項３または４に記載の通信ゲームシステムであって、
前記受信側端末において、前記マルチメディア情報出力部は、当該同期マルチメディア情報を、当該所定の猶予時間よりも長い時間分だけバッファリングする
ことを特徴とする通信ゲームシステム。
【請求項６】
操作入力受付部、マルチメディア情報入力受付部、送信側映像再生部、送信部を有する送信側端末と、受信部、受信側映像再生部、マルチメディア情報出力部を有する受信側端末と、において実行される通信ゲーム制御方法であって、
（ａ）前記送信側端末において、
前記操作入力受付部が、ユーザからの操作入力を受け付ける操作入力受付工程、
前記マルチメディア情報入力受付部が、当該ユーザからのマルチメディア情報の入力を受け付けるマルチメディア情報入力受付工程、
前記受け付けられた操作入力が所定の開始操作入力であることを検知すると、前記送信側映像再生部が、送信側映像情報の再生を開始する送信側映像再生工程、
前記送信部が、前記受信側端末へ、情報を順次送信する送信工程であって、当該情報の種類には、開始通知、マルチメディア情報、もしくは、終了通知が含まれ、
（ｒ）前記受け付けられた操作入力が、所定の開始操作入力であることを検知すると、その旨を示す開始通知を送信し、
（ｓ）当該マルチメディア情報の入力が所定時間分受け付けられたことを検知すると、当該検知ごとに、当該所定時間分のマルチメディア情報を送信し、
（ｔ）当該送信側映像情報の再生が終了したことを検知すると、その旨を示す終了通知を送信する
送信工程
を備え、
（ｂ）前記受信側端末において、
前記受信部が、前記送信側端末から順次送信される情報を順次受信する受信工程、
前記受信工程にて受信された情報が、当該開始通知であることを検知すると、前記受信側映像再生部が、当該検知から所定の余裕時間経過後に当該送信側映像情報に対応付けられる受信側映像情報の再生を開始する受信側映像再生工程、
前記マルチメディア情報出力部が、前記受信工程にて当該開始通知が受信されてから当該終了通知が受信されるまでの間に順次受信されたマルチメディア情報を同期マルチメディア情報と判定し、それ以外の間に順次受信されたマルチメディア情報を非同期マルチメディア情報と判定し、前記順次受信された情報のそれぞれが、
（ｐ）非同期マルチメディア情報であると判定されると、当該非同期マルチメディア情報を順次出力し、
（ｑ）同期マルチメディア情報であると判定されると、当該同期マルチメディア情報を、当該所定余裕時間以上の長さをバッファリングできるバッファ領域にバッファリングして、当該受信側映像情報の再生が開始されてから、当該バッファリングされた同期マルチメディア情報を順次出力する
マルチメディア情報出力工程
を備える
ことを特徴とする通信ゲーム制御方法。
【請求項７】
第１のコンピュータを送信側端末として、第２のコンピュータを受信側端末として、それぞれ機能させるプログラムであって、
（ａ）前記プログラムは、当該第１のコンピュータを、
ユーザからの操作入力を受け付ける操作入力受付部、
当該ユーザからのマルチメディア情報の入力を受け付けるマルチメディア情報入力受付部、
前記受け付けられた操作入力が所定の開始操作入力であることを検知すると、送信側映像情報の再生を開始する送信側映像再生部、
前記受信側端末へ、情報を順次送信する送信部であって、当該情報の種類には、開始通知、マルチメディア情報、もしくは、終了通知が含まれ、
（ｒ）前記受け付けられた操作入力が、所定の開始操作入力であることを検知すると、その旨を示す開始通知を送信し、
（ｓ）当該マルチメディア情報の入力が所定時間分受け付けられたことを検知すると、当該検知ごとに、当該所定時間分のマルチメディア情報を送信し、
（ｔ）当該送信側映像情報の再生が終了したことを検知すると、その旨を示す終了通知を送信する
送信部
として機能させ、
（ｂ）前記プログラムは、当該第２のコンピュータを、
前記送信側端末から順次送信される情報を順次受信する受信部、
前記受信部により受信された情報が、当該開始通知であることを検知すると、当該検知から所定の余裕時間経過後に当該送信側映像情報に対応付けられる受信側映像情報の再生を開始する受信側映像再生部、
前記受信部により当該開始通知が受信されてから当該終了通知が受信されるまでの間に順次受信されたマルチメディア情報を同期マルチメディア情報と判定し、それ以外の間に順次受信されたマルチメディア情報を非同期マルチメディア情報と判定し、前記順次受信された情報のそれぞれが、
（ｐ）非同期マルチメディア情報であると判定されると、当該非同期マルチメディア情報を順次出力し、
（ｑ）同期マルチメディア情報であると判定されると、当該同期マルチメディア情報を、当該所定余裕時間以上の長さをバッファリングできるバッファ領域にバッファリングして、当該受信側映像情報の再生が開始されてから、当該バッファリングされた同期マルチメディア情報を順次出力する
マルチメディア情報出力部
として機能させる
ことを特徴とするプログラム。