(57)【要約】      （修正有）【課題】演奏パートの一部が不測的に欠落した場合において演奏セッションの品質低下を抑制する。【解決手段】演奏再生システムは、演奏セッションに参加する端末装置を含む複数の端末装置４００Ａ，４００Ｂ，４００Ｃ，４００Ｄと、演奏パートの欠落を検出する欠落検出手段と、演奏パートの欠落が検出された場合に、欠落が検出された演奏パートに係る演奏内容に基づいて欠落が検出された演奏パートを補完する補完音声に係る補完音声データを選択する選択手段と、欠落が検出された演奏パートに対応する端末装置４００Ｂを除く残余の端末装置４００Ａ，４００Ｃ，４００Ｄに対し、ネットワークを介して選択された補完音声データを送信する補完音声データ送信手段とを具備し、残余の端末装置４００Ａ，４００Ｃ，４００Ｄにおける再生手段は、送信された補完音声データに基づいて補完音声を再生する。【選択図】図１３
2014174458.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークに収容される、複数の端末装置を含む演奏再生システムであって、
前記複数の端末装置の各々は、
複数の演奏パートの同期演奏により構成される演奏セッションに参加する場合に一部の前記演奏パートに係る演奏データを生成する演奏データ生成手段と、
他の前記端末装置に対し前記ネットワークを介して前記生成された演奏データを送信する演奏データ送信手段と、
前記演奏セッションに参加する他の前記端末装置から送信された演奏データに基づいて演奏を再生する再生手段と
を具備し、
前記演奏再生システムは更に、
前記演奏セッションにおける前記演奏パートの欠落を検出する欠落検出手段と、
前記演奏パートの欠落が検出された場合に、前記欠落が検出された演奏パートに係る演奏内容に基づいて前記欠落が検出された演奏パートの演奏を補完する補完音声に係る補完音声データを選択する選択手段と、
前記複数の端末装置のうち前記欠落が検出された演奏パートに対応する端末装置を除く残余の端末装置に対し、前記ネットワークを介して前記選択された補完音声データを送信する補完音声データ送信手段と
を具備し、
前記残余の端末装置における前記再生手段は、前記送信された補完音声データに基づいて前記補完音声を再生する
ことを特徴とする演奏再生システム。
【請求項２】
前記演奏再生システムは、サーバ装置を含み、
前記欠落検出手段及び前記選択手段は、前記サーバ装置に備わる
ことを特徴とする請求項１に記載の演奏再生システム。
【請求項３】
前記補完音声データとして使用可能な複数の音声データを記憶する記憶手段を具備し、
前記選択手段は、前記記憶された音声データの中から前記補完音声データを選択する
ことを特徴とする請求項１又は２に記載の演奏再生システム。
【請求項４】
前記記憶手段は、過去に行われた演奏に係る演奏データを記憶し、
前記選択手段は、前記記憶された演奏データの中から前記補完音声データを選択する
ことを特徴とする請求項３に記載の演奏再生システム。
【請求項５】
前記選択手段は、前記複数の端末装置の中から、前記欠落が検出された演奏パートに対応する端末装置に代わって新たに前記演奏セッションに参加する端末装置を選択し、
前記補完音声データ送信手段は、前記選択された端末装置から、前記補完音声データとして、前記新たに演奏セッションに参加した演奏パートの演奏に係る演奏データを送信する
ことを特徴とする請求項１から４のいずれか一項に記載の演奏再生システム。
【請求項６】
ネットワークに収容される、複数の端末装置を含む演奏再生システムにおける、演奏再生方法であって、
前記複数の端末装置のうち複数の演奏パートの同期演奏により構成される演奏セッションに参加する端末装置の各々において、一部の前記演奏パートに係る演奏データが生成される演奏データ生成工程と、
前記演奏セッションに参加する端末装置の各々において、前記複数の端末装置のうち他の端末装置に対し前記ネットワークを介して前記生成された演奏データが送信される演奏データ送信工程と、
前記複数の端末装置の各々において、前記演奏セッションに参加する他の端末装置から送信された演奏データに基づいて演奏が再生される第１再生工程と、
前記演奏セッションにおける前記演奏パートの欠落が検出される欠落検出工程と、
前記演奏パートの欠落が検出された場合に、前記欠落が検出された演奏パートに係る演奏内容に基づいて前記欠落が検出された演奏パートの演奏を補完する補完音声に係る補完音声データが選択される選択工程と、
前記複数の端末装置のうち前記欠落が検出された演奏パートに対応する端末装置を除く残余の端末装置に対し、前記ネットワークを介して前記選択された補完音声データが送信される補完音声データ送信工程と、
前記残余の端末装置において、前記送信された補完音声データに基づいて前記補完音声が再生される第２再生工程と
を具備することを特徴とする演奏再生方法。
【請求項７】
各々が、
複数の演奏パートの同期演奏により構成される演奏セッションに参加する場合に一部の前記演奏パートに係る演奏データを生成する演奏データ生成手段と、
前記ネットワークを介して前記生成された演奏データを送信する演奏データ送信手段と、
前記ネットワークを介して送信された演奏データに基づいて演奏を再生し、且つ前記ネットワークを介して送信される補完音声データに基づいて補完音声を再生する再生手段と
を具備する複数の端末装置と、
前記演奏パートの欠落が検出された場合に、前記欠落が検出された演奏パートに対応する端末装置を除く残余の端末装置に対し、前記ネットワークを介して、選択された前記補完音声データを送信する補完音声データ送信手段と共に、ネットワークに収容される演奏再生システムを構成する、サーバ装置であって、
前記演奏パートの欠落を検出する欠落検出手段と、
前記演奏パートの欠落が検出された場合に、前記欠落が検出された演奏パートに係る演奏内容に基づいて前記欠落が検出された演奏パートを補完する前記補完音声に係る前記補完音声データを選択する選択手段と
を具備することを特徴とするサーバ装置。
【請求項８】
ネットワークに収容される、複数の端末装置を含む演奏再生システムにおける、一の前記端末装置であって、
複数の演奏パートの同期演奏により構成される演奏セッションに参加する場合に一部の前記演奏パートに係る演奏データを生成する演奏データ生成手段と、
他の前記端末装置に対し、前記ネットワークを介して前記生成された演奏データを送信する演奏データ送信手段と、
前記演奏セッションに参加する他の前記端末装置から送信された演奏データに基づいて演奏を再生すると共に、前記演奏パートの欠落が検出された場合において前記欠落が検出された演奏パートに係る演奏内容に基づいて選択され前記ネットワークを介して送信される、前記欠落が検出された演奏パートを補完する補完音声に係る補完音声データに基づいて前記補完音声を再生する再生手段と
を具備することを特徴とする端末装置。
【請求項９】
コンピュータシステムを請求項１に記載の欠落検出手段及び選択手段として機能させることを特徴とするコンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムが記録されることを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演奏再生システムの技術分野に関する。
【背景技術】
【０００２】
通信ネットワークを介して各演奏者ノード間で双方向の通信を行って音楽セッションを行う、離れた場所にいる演奏者同士でリアルタイムに音楽セッションを楽しむための、通信ネットワークを利用した音楽セッションシステムが提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に開示される音楽セッションシステムによれば、各ユーザ端末の演奏者は、隣接しているユーザ端末の演奏者と演奏データを双方向にやり取りし、離れて接続されているユーザ端末の演奏者とは、自ユーザ端末との間にいるユーザ端末を介して伝播する構成とすることにより、参加人数や環境において高いスケーラビリティが得られるとされている。
【０００４】
一方、特許文献２には、デジタルオーディオデータの再生に同期してデジタル録音が行われる場合に再生データと録音データとの同期をとる技術が開示されている。より具体的には、Ｄ／ＡコンバータとＡ／Ｄコンバータのクロック周波数のずれ及び録音手段による録音動作と再生手段による再生動作のスタートタイミングのずれを、録音手段により録音されたデータを補正することにより解消できるとされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３２３１７３号公報
【特許文献２】特開２００７−２６５５２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されるような、ネットワークを利用した従来の演奏セッションは、演奏者各々に対応する端末（特許文献１で言えば演奏者ノード）相互間で演奏データが遅延無く送受信できる理想的な環境を想定している。
【０００７】
しかしながら実際の演奏セッションにおいては、演奏セッションを構成する演奏パートの一部が何らかの理由により欠落する場合がある。例えば、一部の演奏者が演奏セッションから離脱したり、ネットワーク障害等により一部の演奏者の演奏に係る演奏データが他の端末に届かなかったりすることがある。このような事態が発生すると、演奏セッションの完成度は低下し、演奏セッションに参加している演奏者の満足感もまた低下してしまう。
【０００８】
しかしながら、上記先行技術文献に開示される先行技術においては、演奏セッションが正常に進行し得なくなる不測の事態が元より想定されておらず、このように一部の演奏パートが欠落してしまった場合に、演奏者の満足感を低下させることなく演奏セッションを継続させることができない。即ち、先行技術には、演奏パートが不測的に欠落した場合において演奏セッションの品質低下を抑制することができないという技術的問題点がある。
【０００９】
本発明は、例えば、上記技術的問題点を、その解決すべき問題点の少なくとも一つとして有するものであって、演奏パートの一部が不測的に欠落した場合において演奏セッションの品質低下を抑制し得る演奏再生システムを提供することをその課題の少なくとも一つとする。
【課題を解決するための手段】
【００１０】
上述した課題を解決するため、請求項１に係る演奏再生システムは、ネットワークに収容される、複数の端末装置を含む演奏再生システムであって、前記複数の端末装置の各々は、複数の演奏パートの同期演奏により構成される演奏セッションに参加する場合に一部の前記演奏パートに係る演奏データを生成する演奏データ生成手段と、他の前記端末装置に対し前記ネットワークを介して前記生成された演奏データを送信する演奏データ送信手段と、前記演奏セッションに参加する他の前記端末装置から送信された演奏データに基づいて演奏を再生する再生手段とを具備し、前記演奏再生システムは更に、前記演奏セッションにおける前記演奏パートの欠落を検出する欠落検出手段と、前記演奏パートの欠落が検出された場合に、前記欠落が検出された演奏パートに係る演奏内容に基づいて前記欠落が検出された演奏パートの演奏を補完する補完音声に係る補完音声データを選択する選択手段と、前記複数の端末装置のうち前記欠落が検出された演奏パートに対応する端末装置を除く残余の端末装置に対し、前記ネットワークを介して前記選択された補完音声データを送信する補完音声データ送信手段とを具備し、前記残余の端末装置における前記再生手段は、前記送信された補完音声データに基づいて前記補完音声を再生することを特徴とする。
【００１１】
上述した課題を解決するため、請求項６に係る演奏再生方法は、ネットワークに収容される、複数の端末装置を含む演奏再生システムにおける、演奏再生方法であって、前記複数の端末装置のうち複数の演奏パートの同期演奏により構成される演奏セッションに参加する端末装置の各々において、一部の前記演奏パートに係る演奏データが生成される演奏データ生成工程と、前記演奏セッションに参加する端末装置の各々において、前記複数の端末装置のうち他の端末装置に対し前記ネットワークを介して前記生成された演奏データが送信される演奏データ送信工程と、前記複数の端末装置の各々において、前記演奏セッションに参加する他の端末装置から送信された演奏データに基づいて演奏が再生される第１再生工程と、前記演奏セッションにおける前記演奏パートの欠落が検出される欠落検出工程と、前記演奏パートの欠落が検出された場合に、前記欠落が検出された演奏パートに係る演奏内容に基づいて前記欠落が検出された演奏パートの演奏を補完する補完音声に係る補完音声データが選択される選択工程と、前記複数の端末装置のうち前記欠落が検出された演奏パートに対応する端末装置を除く残余の端末装置に対し、前記ネットワークを介して前記選択された補完音声データが送信される補完音声データ送信工程と、前記残余の端末装置において、前記送信された補完音声データに基づいて前記補完音声が再生される第２再生工程とを具備することを特徴とする。
【００１２】
上述した課題を解決するため、請求項７に係るサーバ装置は、各々が、複数の演奏パートの同期演奏により構成される演奏セッションに参加する場合に一部の前記演奏パートに係る演奏データを生成する演奏データ生成手段と、前記ネットワークを介して前記生成された演奏データを送信する演奏データ送信手段と、前記ネットワークを介して送信された演奏データに基づいて演奏を再生し、且つ前記ネットワークを介して送信される補完音声データに基づいて補完音声を再生する再生手段とを具備する複数の端末装置と、前記演奏パートの欠落が検出された場合に、前記欠落が検出された演奏パートに対応する端末装置を除く残余の端末装置に対し、前記ネットワークを介して、選択された前記補完音声データを送信する補完音声データ送信手段と共に、ネットワークに収容される演奏再生システムを構成する、サーバ装置であって、前記演奏パートの欠落を検出する欠落検出手段と、前記演奏パートの欠落が検出された場合に、前記欠落が検出された演奏パートに係る演奏内容に基づいて前記欠落が検出された演奏パートを補完する前記補完音声に係る前記補完音声データを選択する選択手段とを具備することを特徴とする。
【００１３】
上述した課題を解決するため、請求項８に係る端末装置は、ネットワークに収容される、複数の端末装置を含む演奏再生システムにおける、一の前記端末装置であって、複数の演奏パートの同期演奏により構成される演奏セッションに参加する場合に一部の前記演奏パートに係る演奏データを生成する演奏データ生成手段と、他の前記端末装置に対し、前記ネットワークを介して前記生成された演奏データを送信する演奏データ送信手段と、前記演奏セッションに参加する他の前記端末装置から送信された演奏データに基づいて演奏を再生すると共に、前記演奏パートの欠落が検出された場合において前記欠落が検出された演奏パートに係る演奏内容に基づいて選択され前記ネットワークを介して送信される、前記欠落が検出された演奏パートを補完する補完音声に係る補完音声データに基づいて前記補完音声を再生する再生手段とを具備することを特徴とする。
【００１４】
上述した課題を解決するため、請求項９に係るコンピュータプログラムは、コンピュータシステムを請求項１に記載の欠落検出手段及び選択手段として機能させることを特徴とする。
【００１５】
上述した課題を解決するため、請求項１０に係る記録媒体は、請求項９に記載のコンピュータプログラムが記録されることを特徴とする。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施例に係る演奏再生システムの概念を説明する図である。
【図２】図１の演奏再生システムにおける監視サーバのブロック図である。
【図３】図１の演奏再生システムにおけるＷＥＢサーバのブロック図である。
【図４】図１の演奏再生システムにおけるＤＢサーバのブロック図である。
【図５】図１の演奏再生システムにおける端末装置のブロック図である。
【図６】図１の演奏再生システムにおいて演奏セッションが行われる場合の各部の動作を例示するタイミングチャートである。
【図７】図６のタイミングチャートにおける演奏再生システムの一動作状態を例示する概念図である。
【図８】図６のタイミングチャートにおける演奏再生システムの他の動作状態を例示する概念図である。
【図９】図６のタイミングチャートにおける演奏再生システムの他の動作状態を例示する概念図である。
【図１０】図６のタイミングチャートにおける演奏再生システムの他の動作状態を例示する概念図である。
【図１１】図６のタイミングチャートにおける演奏再生システムの他の動作状態を例示する概念図である。
【図１２】図６のタイミングチャートにおける演奏再生システムの他の動作状態を例示する概念図である。
【図１３】図１の演奏再生システムにおいて端末装置が一時的オフライン状態に陥った場合の各部の動作例を示す一タイミングチャートである。
【図１４】図１３のタイミングチャートにおける演奏再生システムの一動作状態を例示する概念図である。
【図１５】図１３のタイミングチャートにおける演奏再生システムの他の動作状態を例示する概念図である。
【図１６】本発明の第２実施例に係り、図１の演奏再生システムにおいて端末装置が永続的オフライン状態に陥った場合の各部の動作例を示す一タイミングチャートである。
【図１７】図１６のタイミングチャートにおける演奏再生システムの一動作状態を例示する概念図である。
【発明を実施するための形態】
【００１７】
＜演奏再生システムの実施形態＞
【００１８】
本発明の演奏再生システムに係る実施形態は、ネットワークに収容される、複数の端末装置を含む演奏再生システムであって、前記複数の端末装置の各々は、複数の演奏パートの同期演奏により構成される演奏セッションに参加する場合に一部の前記演奏パートに係る演奏データを生成する演奏データ生成手段と、他の前記端末装置に対し前記ネットワークを介して前記生成された演奏データを送信する演奏データ送信手段と、前記演奏セッションに参加する他の前記端末装置から送信された演奏データに基づいて演奏を再生する再生手段とを具備し、前記演奏再生システムは更に、前記演奏セッションにおける前記演奏パートの欠落を検出する欠落検出手段と、前記演奏パートの欠落が検出された場合に、前記欠落が検出された演奏パートに係る演奏内容に基づいて前記欠落が検出された演奏パートの演奏を補完する補完音声に係る補完音声データを選択する選択手段と、前記複数の端末装置のうち前記欠落が検出された演奏パートに対応する端末装置を除く残余の端末装置に対し、前記ネットワークを介して前記選択された補完音声データを送信する補完音声データ送信手段とを具備し、前記残余の端末装置における前記再生手段は、前記送信された補完音声データに基づいて前記補完音声を再生する（請求項１）。
【００１９】
演奏再生システムに係る実施形態は、複数の端末装置と、欠落検出手段、選択手段及び補完音声データ送信手段を含んで構成される。演奏再生システムに係る実施形態においては、例えば、Ｐ２Ｐ（Peer To Peer）等ノード間で直接データを送受信するデータ伝送方式等により、複数の端末装置相互間で演奏データの送受信が行われ、複数の演奏パートの同期演奏により構成される演奏セッションが実現される。
【００２０】
具体的には、例えば、演奏セッションに参加する端末装置（即ち、演奏セッションに参加するユーザが利用する端末装置）の各々において、演奏データ生成手段により演奏データが生成され、自己を除く他の端末装置に送信される一方で、演奏セッションに参加する他の端末装置から送信される演奏データに基づいて他の端末装置に対応する演奏パートの演奏が再生される。従って、例えば演奏セッションに参加する端末装置を利用する個々のユーザは、自身の演奏と、この再生される演奏とのリアルタイムな演奏セッションを楽しむことができる。尚、複数の端末装置とは、演奏セッションに参加する端末装置に加えて、演奏セッションに参加しない端末装置も適宜に含み得る。演奏セッションに参加しない端末装置とは、例えば、演奏データの生成は行わずに（即ち、演奏には寄与せずに）、演奏セッションに参加する端末装置から送信される演奏データに基づいて演奏セッションの再生を行う端末装置等を意味する。このような端末装置は、オブザーバ等とも称される。
【００２１】
尚、演奏再生システムの実施形態における演奏データとは、好適には楽音信号が所定の規格に従ってデータ化されたものを意味し、例えばＭＰ３、ＷＡＶＥ、ＷＭＡ、ＡＡＣ、Ｍ４Ａ、ＦＬＡＣ等のファイル形式のデータを意味する。
【００２２】
尚、ネットワークの伝送遅延等の影響により、各ユーザの演奏と、その演奏が他のユーザが利用する端末装置において再生される再生演奏との時間軸上の位置は、厳密には一致しないことが多い。但し、この種の時間軸上のずれが、ユーザが違和感を覚え得る程度に大きくない場合には、実践的には演奏セッションのリアルタイム性が損なわれることはない。従って、例えば、演奏セッションに参加するユーザ相互間で演奏開始のタイミングを同期させるだけであっても、演奏セッションは多くの場合何ら問題無く進行する。また、このような時間軸上のずれを緩和するにあたって、公知の各種技術が適用されてもよく、そのような技術が適用された演奏再生システムもまた、演奏再生システムに係る実施形態の範疇である。
【００２３】
一方、このようなリアルタイム性を論じる上での遅延とは根本的に異なる問題として、演奏セッションにおいて、ネットワーク障害や、ユーザ又は端末装置で生じる何らかの原因により、演奏セッションを構成する演奏パートの一部が、一時的にせよ恒久的にせよ、不測的に欠落する場合がある。尚、演奏パートの欠落には、当該演奏パートの演奏が行われているにもかかわらず生じる欠落と、当該演奏パートの演奏自体の欠落とが含まれる。
【００２４】
例えば、後者の極端な一例としては、一部のユーザが個人的都合により演奏セッションを離脱してしまう場合等が挙げられる。如何なる理由であるにせよ、演奏パートが欠落すると、欠落した演奏パートの演奏が再生されないから、演奏セッション自体の品質は低下する。この品質の低下の度合いは、欠落した演奏パートに応じて異なり、例えば、ドラムパート等、全体的なリズムを担当する演奏パートが再生されなくなった場合等には、演奏セッションを継続することすら困難となり得る。
【００２５】
ここで、演奏再生システムに係る実施形態は、欠落検出手段により演奏パートの欠落が検出される構成となっており、演奏パートの欠落が検出された場合には、選択手段により補完音声データが選択される構成となっている。この選択された補完音声データは、補完音声データ送信手段により、欠落した演奏パートに対応する端末装置を除く残余の端末装置に送信され、欠落した演奏パートを補完する補完音声として再生される。このため、演奏セッションに継続して参加している残余のユーザは、欠落した演奏パートの演奏の代わりとしてこの補完音声を利用し、演奏セッションを継続することができる。
【００２６】
ところで、補完音声による補完後の演奏セッションの品質は、補完音声の内容に応じて当然ながら変化する。
【００２７】
ここで特に、選択手段は、欠落が検出された演奏パートに係る演奏内容に基づいて、例えば、予め用意された選択肢としての音声データの中から、或いは、その時点で選択可能な音声データの中から、補完音声データを選択する構成となっている。
【００２８】
前者（予め用意された選択肢としての音声データ）は、例えば、各種音声のサンプリングデータ等を指す。この場合の各種音声とは、例えば、楽器の音、肉声、音声を含むコンテンツの一部、或いは合成音声等を含み得る。
【００２９】
後者（その時点で選択可能な音声データ）は、例えば、その時点で演奏セッションに参加していないものの、当該演奏セッションを視聴している等、事情を理解しているユーザによる代替演奏に係る演奏データ等を含み得る。
【００３０】
選択手段により選択される補完音声データとは、好適には、補完音声の内容が、欠落した演奏パートの演奏内容と所定以上に整合したデータ、或いは、補完音声の内容を、欠落した演奏パートの演奏内容と所定以上に整合させ得るデータである。
【００３１】
例えば、補完音声データとして何らかの演奏に係る演奏データが選択される場合、選択手段は、例えば、欠落した演奏パートに係る楽曲と同一又は類似する楽曲、且つ、欠落した演奏パートと同一又は類似する演奏パートの演奏データにおける、その時点でリアルタイムに進行している、一部演奏パートが欠落した演奏セッションと時間軸上で同期した演奏部分に係る演奏データを選択してもよい。
【００３２】
尚、補完音声に係る「音声」とは、楽器等を使用した演奏に加え、肉声による擬似的演奏や、効果音又は自然発生音（街の音、波の音等）等を利用した代替的演奏等を包括する概念である。例えば、補完音声とは、所謂「口ドラム」等と称される、肉声によるリズム音であってもよい。即ち、補完音声とは、演奏パートを補完し得る限りにおいて、必ずしも演奏のみに限定されない。
【００３３】
このように、演奏再生システムに係る実施形態によれば、選択手段により選択された適切な補完音声を欠落した演奏パートの代わりに使用して、演奏セッションを可及的に継続させることができる。従って、元より演奏パートの欠落が検出されることもなく、演奏パートの欠落が演奏セッションの品質に与える影響について示唆すらない旧来の技術思想と較べて明らかに有利である。演奏再生システムに係る実施形態によれば、ネットワークを利用したリアルタイムな演奏セッションが行われている期間中に演奏パートの不測的な欠落が生じたとしても、演奏セッションの品質低下を抑制することができるのである。
【００３４】
本発明の演奏再生システムに係る実施形態の一の態様では、前記演奏再生システムは、サーバ装置を含み、前記欠落検出手段及び前記選択手段は、前記サーバ装置に備わる（請求項２）。
【００３５】
この態様によれば、複数の端末装置と共に演奏再生システムを構成するサーバ装置に欠落検出手段及び選択手段が備わる。従って、演奏パートの欠落を検出し、補完音声データを選択する一連の動作が円滑に行われる。
【００３６】
尚、演奏再生システムの実施形態において、サーバ装置は、一個のコンピュータ装置であってもよいし、複数のコンピュータ装置から構成されていてもよい。後者の場合、例えば、演奏セッションの進行を管理するサーバ装置、ユーザと演奏再生システムとのインターフェイスを制御するサーバ装置及び演奏データを始めとする各種のデータを保存するサーバ装置等からこのサーバ装置が構成されていてもよい。
【００３７】
また、この場合、管理用のサーバ装置又はインターフェイス制御用のサーバ装置或いはその両方は、例えばインターネット等の広域ネットワークの形態を採り得るネットワークを通じて展開される、例えば商業的サービスとしての演奏再生システムを提供するためのウェブサイト又はホームページを制御するサーバ装置であってもよい。或いは、管理用のサーバ装置、インターフェイス制御用のサーバ装置或いはその両方は、このウェブサイト又はホームページを利用して演奏セッションを行う複数のユーザに対応する複数の端末装置の各々について、ネットワークの状態の監視、アクセス管理、ユーザの識別、演奏セッションに参加することなくこの演奏セッションを視聴する他のユーザの監視、等を行うように構成されていてもよい。
【００３８】
尚、演奏再生システムの実施形態に係るサーバ装置は、例えば、好適な一形態として、所定のサービスを提供する事業者が所有するコンピュータ装置又はコンピュータシステムであってもよい。この場合、例えば利用者と然るべき契約を締結した上で、当該利用者に限定して、自己が保有するコンテンツとしての演奏データを配信する構成となっていてもよい。また、このサーバ装置は、例えば、ユーザにより、演奏再生システムに係る実施形態における端末装置として機能し得る各種コンピュータ装置、コンピュータシステム又はそれに類する装置を介して演奏データの配信が要求された場合等において、要求された演奏データを配信してもよい。このようなコンテンツとしての演奏データの要求及び配信は、より具体的には、ネットワーク上に、サーバ装置と利用者との間のインターフェイスとして構築される、上述したウェブサイトやホームページ等を通じてなされてもよい。
【００３９】
本発明の演奏再生システムに係る実施形態の他の態様では、前記補完音声データとして使用可能な複数の音声データを記憶する記憶手段を具備し、前記選択手段は、前記記憶された音声データの中から前記補完音声データを選択する（請求項３）。
【００４０】
この態様によれば、予め補完音声データとなり得る複数の音声データが、好適には各種の識別情報と共に記憶手段に一種のコンテンツとして記憶されている。従って、選択手段は、比較的早期に、欠落した演奏パートに整合する補完音声を与え得る音声データを選択することができる。演奏パートの欠落が検出されてから補完音声データが端末装置に送信されるまでの時間遅延は、演奏セッションの品質に影響を与えるから、その時間遅延を縮小し得る点において、この態様は実践上有益である。
【００４１】
尚、この態様では、前記記憶手段は、過去に行われた演奏に係る演奏データを記憶し、前記選択手段は、前記記憶された演奏データの中から前記補完音声データを選択してもよい（請求項４）。
【００４２】
上述したように、補完音声とは、演奏に限らず各種の音を含むが、演奏セッションにおける演奏パートは、同様になされた演奏により補完されるのが最も妥当且つ自然である。ここで、記憶手段が、例えば、上述したサーバ装置の一部として構成される等して、過去に行われた演奏に係る演奏データを音声データとして記憶している場合、補完音声データとして適当な音声データを検索且つ選択する時間はより短縮され得る。また、適切な補完音声を検索且つ選択できる可能性が高まる。必然的に、演奏セッションの品質低下が、より好適に抑制され得る。
【００４３】
尚、過去に行われた演奏に係る演奏データを記憶する点からして、この場合、演奏再生システムに係る実施形態は、好適には、リアルタイムな演奏セッションを実現する機能に加えて、ユーザが任意に行った演奏を任意にアップロードする機能を有する。このような機能を有する演奏再生システムにおいては、補完音声データとして利用可能な過去の演奏データが時間経過と共に増えていくから、システムの運用が進行する過程において、補完音声の選択肢が増えていく。従って、補完音声として適切な演奏を選択できる可能性もまた高まっていく。
【００４４】
また、好適には、このような過去の演奏データの記憶（リアルタイムな演奏のアップロード）においては、ユーザの情報、楽曲の名称、演奏パートの種類或いはビートの情報（例えば、ＢＰＭ（Beat Per Minute））等各種の識別情報が付帯され得る。従って、選択手段は、効率的に補完音声データとなり得る演奏データを検索且つ選択することができる。
【００４５】
本発明の演奏再生システムに係る実施形態の他の態様では、前記選択手段は、前記複数の端末装置の中から、前記欠落が検出された演奏パートに対応する端末装置に代わって新たに前記演奏セッションに参加する端末装置を選択し、前記補完音声データ送信手段は、前記選択された端末装置から、前記補完音声データとして、前記新たに演奏セッションに参加した演奏パートの演奏に係る演奏データを送信する（請求項５）。
【００４６】
ネットワークを利用したリアルタイムな演奏セッションでは、システムの構築次第で、演奏セッションに参加しない他のユーザであっても演奏セッションの視聴を可能とすることができる。即ち、これらのユーザは、演奏セッションの進行を理解する一種のオブザーバとなり得る。この種のオブザーバは、当然ながら演奏パートの欠落が発生したことも認識しており、また自身も何らかの演奏を行うことができる場合が多い。
【００４７】
このような状況を想定すると、選択手段（或いは、欠落検出手段であっても、その他の手段であっても、上述したサーバ装置であってもよい）が、演奏パートの欠落が検出された場合において、その時点の当該オブザーバのアクセス状態等から最も適切なオブザーバを選択し、当該オブザーバに代替演奏を要求する構成とすることも可能となる。
【００４８】
具体的には、このような一種の監視手段から、当該オブザーバに対応する端末装置へ代替演奏要求が送信されると、この端末装置に係る上述した演奏データ生成手段、演奏データ送信手段及び再生手段等が機能し、オブザーバの演奏に係る演奏データが、演奏パートの欠落を生じさせた端末装置に代わって他の端末装置に送信される。この場合、補完音声となるオブザーバの演奏と、他の演奏パートの演奏との間の時間軸同期は、オブザーバ自身が演奏の過程で自然と行うことになるため、演奏セッションを継続させるにあたって、演奏再生システム側の処理負担は軽減される。
【００４９】
また、この場合、演奏セッションは演奏者が一部交代しただけであるから、演奏セッション本来の醍醐味であるリアルタイム性は、演奏パートの欠落前後で殆ど変化しない。即ち、演奏セッションの品質低下は好適に抑制される。また、このような構成とすれば、ネットワークを介して、これまで面識がなかった演奏者同士を交流させることもでき、演奏再生システムに係る実施形態を、一種のＳＮＳ（Social Network Service）として利用することも可能となり得る。
【００５０】
＜演奏再生方法の実施形態＞
【００５１】
本発明の演奏再生方法に係る実施形態は、ネットワークに収容される、複数の端末装置を含む演奏再生システムにおける、演奏再生方法であって、前記複数の端末装置のうち複数の演奏パートの同期演奏により構成される演奏セッションに参加する端末装置の各々において、一部の前記演奏パートに係る演奏データが生成される演奏データ生成工程と、前記演奏セッションに参加する端末装置の各々において、前記複数の端末装置のうち他の端末装置に対し前記ネットワークを介して前記生成された演奏データが送信される演奏データ送信工程と、前記複数の端末装置の各々において、前記演奏セッションに参加する他の端末装置から送信された演奏データに基づいて演奏が再生される第１再生工程と、前記演奏セッションにおける前記演奏パートの欠落が検出される欠落検出工程と、前記演奏パートの欠落が検出された場合に、前記欠落が検出された演奏パートに係る演奏内容に基づいて前記欠落が検出された演奏パートの演奏を補完する補完音声に係る補完音声データが選択される選択工程と、前記複数の端末装置のうち前記欠落が検出された演奏パートに対応する端末装置を除く残余の端末装置に対し、前記ネットワークを介して前記選択された補完音声データが送信される補完音声データ送信工程と、前記残余の端末装置において、前記送信された補完音声データに基づいて前記補完音声が再生される第２再生工程とを具備する（請求項６）。
【００５２】
演奏再生方法の実施形態によれば、上記演奏再生システムに係る実施形態の各手段と同等の作用を実現する各工程により、上記演奏再生システムに係る実施形態と同様に、演奏セッションの品質低下を抑制することができる。
【００５３】
＜サーバ装置の実施形態＞
【００５４】
本発明のサーバ装置に係る実施形態は、各々が、複数の演奏パートの同期演奏により構成される演奏セッションに参加する場合に一部の前記演奏パートに係る演奏データを生成する演奏データ生成手段と、前記ネットワークを介して前記生成された演奏データを送信する演奏データ送信手段と、前記ネットワークを介して送信された演奏データに基づいて演奏を再生し、且つ前記ネットワークを介して送信される補完音声データに基づいて補完音声を再生する再生手段とを具備する複数の端末装置と、前記演奏パートの欠落が検出された場合に、前記欠落が検出された演奏パートに対応する端末装置を除く残余の端末装置に対し、前記ネットワークを介して、選択された前記補完音声データを送信する補完音声データ送信手段と共に、ネットワークに収容される演奏再生システムを構成する、サーバ装置であって、前記演奏パートの欠落を検出する欠落検出手段と、前記演奏パートの欠落が検出された場合に、前記欠落が検出された演奏パートに係る演奏内容に基づいて前記欠落が検出された演奏パートを補完する前記補完音声に係る前記補完音声データを選択する選択手段とを具備する（請求項７）。
【００５５】
サーバ装置の実施形態によれば、上記演奏再生システムに係る実施形態の欠落検出手段及び選択手段を備えることにより、上記演奏再生システムに係る実施形態を好適に実現することができ、演奏セッションの品質低下を抑制するにあたって重要な役割を果たすことができる。
【００５６】
＜端末装置の実施形態＞
【００５７】
本発明の端末装置に係る実施形態は、ネットワークに収容される、複数の端末装置を含む演奏再生システムにおける、一の前記端末装置であって、複数の演奏パートの同期演奏により構成される演奏セッションに参加する場合に一部の前記演奏パートに係る演奏データを生成する演奏データ生成手段と、他の前記端末装置に対し、前記ネットワークを介して前記生成された演奏データを送信する演奏データ送信手段と、前記演奏セッションに参加する他の前記端末装置から送信された演奏データに基づいて演奏を再生すると共に、前記演奏パートの欠落が検出された場合において前記欠落が検出された演奏パートに係る演奏内容に基づいて選択され前記ネットワークを介して送信される、前記欠落が検出された演奏パートを補完する補完音声に係る補完音声データに基づいて前記補完音声を再生する再生手段とを具備する（請求項８）。
【００５８】
本発明の端末装置に係る実施形態は、上記演奏再生システムに係る実施形態の一端末装置と同等の構成を有しており、上記演奏再生システムに係る実施形態を好適に実現することができ、演奏セッションの品質低下を抑制するにあたって重要な役割を果たすことができる。
【００５９】
＜コンピュータプログラムの実施形態＞
【００６０】
本発明のコンピュータプログラムに係る実施形態は、コンピュータシステムを本発明の演奏再生システムに係る実施形態における、上記欠落検出手段及び選択手段として機能させる（請求項９）。
【００６１】
本発明のコンピュータプログラムに係る実施形態によれば、当該コンピュータプログラムを格納するＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の記録媒体或いはＵＳＢ（Universal Serial Bus）メモリ等コンピュータシステムに着脱可能な固体型記憶装置から、当該コンピュータプログラムをコンピュータシステムに読み込んで実行させれば、或いは、当該コンピュータプログラムを、例えば、通信手段等を介してコンピュータシステムにダウンロードさせた後に実行させれば、上述した本発明の演奏再生システムに係る実施形態における欠落検出手段及び選択手段を比較的簡単に実現できる。
【００６２】
＜記録媒体の実施形態＞
【００６３】
本発明の記録媒体に係る実施形態は、本発明のコンピュータプログラムに係る実施形態が記録される（請求項１０）。
【００６４】
本発明の記録媒体に係る実施形態によれば、コンピュータシステムに装着又は接続することによって、或いはコンピュータシステムに備わる又は接続された然るべき読取装置に挿入することによって、記録している本発明のコンピュータプログラムに係る実施形態を、コンピュータシステムに読み込ませて実行させることができ、上述した本発明の演奏再生システムに係る実施形態における欠落検出手段及び選択手段を比較的簡単に実現できる。
【００６５】
本発明のこのような作用及び他の利得は、これ以降に説明する実施例により明らかにされる。
【実施例】
【００６６】
以下、適宜図面を参照し、本発明を実現するにあたって好適な各種の実施例について説明する。
【００６７】
＜第１実施例＞
本発明の演奏再生システムに係る第１実施例として、演奏再生システム１０について説明する。
【００６８】
＜実施例の構成＞
＜演奏再生システム１０の構成＞
始めに、図１を参照し、演奏再生システム１０の構成について説明する。ここに、図１は、演奏再生システム１０の概念を説明する図である。
【００６９】
図１において、演奏再生システム１０は、監視サーバ１００、ＷＥＢサーバ２００及びＤＢ（Data Base）サーバ３００を含むサーバ装置群と、ユーザＡ、ユーザＢ、ユーザＣ及びユーザＤに夫々使用される端末装置４００Ａ、端末装置４００Ｂ、端末装置４００Ｃ及び端末装置４００Ｄを含む端末装置群とが、ネットワーク１１に収容されてなるシステムである。ネットワーク１１は、インターネット等の広域ネットワークであり、このサーバ装置群は、有線のＬＡＮ（Local Area Network）１２を介してこのネットワーク１１に収容されている。
【００７０】
尚、図１では、説明の煩雑化を防ぐ目的から、４名のユーザにより演奏再生システム１０が利用される構成となっているが、個々の端末装置を介して演奏再生システム１０を利用するユーザの数に制限は無い。これ以降、図示されるユーザＡ、Ｂ、Ｃ及びＤを区別する必要がない場合には、適宜「ユーザ」なる包括表現を用いることとする。同様に、図示される端末装置４００Ａ、４００Ｂ、４００Ｃ及び４００Ｄを区別する必要がない場合には、適宜「端末装置４００」なる包括表現を用いることとする。尚、ユーザは端末装置４００を利用する不特定の人間を包括するものであって、必ずしも端末装置４００の所有者でなくともよい。
【００７１】
演奏再生システム１０は、演奏録音配信サービスを提供するシステムであり、例えば上記サーバ装置群を保有する不図示の事業者との間に所定の利用契約を締結したユーザが利用可能な構成となっている。但し、このようなシステムの役割及び性質もまた、本発明の演奏再生システムが採り得る実施例の一つに過ぎない。
【００７２】
演奏再生システム１０は、大別して、演奏セッション機能と、演奏録音機能（演奏のアップロード機能）と、演奏配信機能（演奏のダウンロード機能）との三種類の機能を備える。
【００７３】
演奏セッション機能とは、演奏再生システム１０にアクセスする一又は複数のユーザによる演奏セッションを実現する機能である。演奏セッションとは、複数の演奏パートのリアルタイムな合奏により構成される一の楽曲又はそれらが複数曲にわたって連続してなる楽曲群を意味する。演奏セッションが行われる場合には、上述したサーバ装置群は演奏セッションに参加するユーザ（演奏者又はオブザーバ）相互間の仲介やセッションの進行管理を担当する。演奏セッション機能については後述する。
【００７４】
演奏録音機能とは、ユーザにより行われた演奏を、その楽音信号又は楽音信号を復元可能な情報を含む所定規格の演奏データに変換し、端末装置４００又はＷＥＢサーバ２００の物理的記憶領域の一部である録音トラックに記録する機能である。演奏再生システム１０では特に、この録音トラックに記録された演奏データは、最終的にＤＢサーバ３００にコンテンツとして格納される。録音される演奏は、ユーザが上記演奏セッションの実行時において行った演奏（例えば、一の演奏パートの演奏）であってもよいし、ユーザが単独で行った演奏であってもよいし、ユーザが演奏配信機能により配信され再生された演奏と擬似的な合奏（一種の擬似的な演奏セッション）を行った際の演奏であってもよい。ＤＢサーバ３００に格納された演奏データは、演奏再生システム１０を利用可能な全てのユーザにより等しく利用され得る。
【００７５】
演奏配信機能とは、ＤＢサーバ３００に格納される、上述した録音された演奏データを含むコンテンツとしての各種音声データの中から、例えば、ユーザに要求された音声データやサーバ装置側により必要と判断された音声データ等を選択的に配信する機能である。ユーザが所有する端末装置４００には、この音声データに基づいて音声を再生する機能が備わっており、ユーザは、この再生される音声を視聴することができる。
【００７６】
この音声データは、例えば、予めシステム側でサンプルとして与えられた多様な楽曲ジャンル、演奏ジャンル或いは楽器ジャンルに属する各種の演奏データ及び上述した演奏録音機能を利用して録音された様々な楽曲に関する一又は複数の演奏パートの演奏に関する演奏データ等を含む。また、この音声データは、音声のサンプリングデータを含む。音声のサンプリングデータとは、例えば、楽器の音や肉声をサンプリングしたデータ、レコード、ＣＤ、ラジオ放送又はテレビ放送等、音声を含むコンテンツの一部をサンプリングしたデータ、或いは、合成音声をサンプリングしたデータ等を含み得る。
【００７７】
演奏再生システム１０では、ネットワーク１１に構築された（即ち、ＷＷＷ上でＵＲＬが割り当てられた）ウェブサイトＷＳを介して、上述した機能が実現される。例えば、ユーザは、端末装置４００を介してこのウェブサイトＷＳにアクセスすることにより、所望する楽曲、演奏パート若しくは演奏セッション等を検索したり、その配信を要求したりすることができる。或いは、所望する楽器や演奏者を検索して、それらに対応する楽曲、演奏パート又は演奏セッションの配信を要求することができる。ユーザはまた、端末装置４００を介してこのウェブサイトにアクセスすることにより、自身が行う演奏に関する演奏データをＤＢサーバ３００にアップロードすることができる。更に、このウェブサイトＷＳは、ＤＢサーバ３００に記憶された音声データを適宜検索又は選択し、その時点でウェブサイトＷＳにアクセス中のユーザに対し、検索又は選択した音声データ（好適には演奏データ）に対応する音声（好適には、演奏）との演奏セッションを実現すべく参加者を募集することもできる。
【００７８】
尚、演奏再生システム１０は、本発明に係る「演奏再生システム」の一例であって、本発明に係る演奏再生システムの実践的態様は、演奏再生システム１０に限定されず、本発明の概念の範囲で如何様にも変更可能である。例えば、本発明に係る「演奏再生システム」とは、演奏再生システム１０に係るサービスを、不特定多数の利用者に無償で提供するものであってもよい。
【００７９】
次に、演奏再生システム１０を構成する各装置の詳細について説明する。
【００８０】
＜監視サーバ１００の構成＞
始めに、図２を参照し、監視サーバ１００の構成について説明する。ここに、図２は、監視サーバ１００のブロック図である。尚、同図において、図１と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
【００８１】
図２において、監視サーバ１００は、演奏再生システム１０を運営する事業者が保有するコンピュータ装置である。
【００８２】
監視サーバ１００は、上述した演奏セッションが行われる場合に演奏セッションの進行を管理し参加者の状態を監視するコンピュータ装置であり、制御装置１１０及び通信インターフェイス（Ｉ／Ｆ）１２０を備える。
【００８３】
制御装置１１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を含む演算処理ユニットである。制御装置１１０は、このＣＰＵが所定の制御プログラムを実行することにより機能する、要求処理部１１１、セッション監視部１１２及びアクセス監視部１１３の各処理ユニットを備える。
【００８４】
要求処理部１１１は、ＷＥＢサーバ２００から不定期に発生する各種の要求を処理する処理ユニットである。具体的には、要求処理部１１１は、演奏セッションが行われる旨がＷＥＢサーバ２００から通知されると、セッション管理処理を実行するように構成される。セッション管理処理では、アクセス監視部１１３に対するアクセス監視要求や、セッション監視部１１２に対するセッション監視要求等が行われ、また、後述するように演奏者ノードの不測的なオフライン状態が発生した場合に、演奏セッションを滞りなく継続させるための補完処理等が実行される。
【００８５】
通信Ｉ／Ｆ１２０は、ＬＡＮ１２と監視サーバ１００との間のデータ通信を実現するための、所定の通信規格に準じたインターフェイスである。尚、ＬＡＮ１２は、インターネット等の広域ネットワークであるネットワーク１１に収容されており、通信Ｉ／Ｆ１２０は、監視サーバ１００とＷＥＢサーバ２００及びＤＢサーバ３００とのデータ通信の他、監視サーバ１００と端末装置４００との間のデータ通信にも使用される。尚、通信Ｉ／Ｆ１２０は、有線で接続されたこれらサーバ装置相互間のデータ通信については、時間遅延を無視し得る速度でこれを行うことができるものとする。
【００８６】
＜ＷＥＢサーバ２００の構成＞
次に、図３を参照し、ＷＥＢサーバ２００の構成について説明する。ここに、図３は、ＷＥＢサーバ２００のブロック図である。尚、同図において、図１と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
【００８７】
図３において、ＷＥＢサーバ２００は、演奏再生システム１０を運営する事業者が保有するコンピュータ装置である。
【００８８】
ＷＥＢサーバ２００は、ウェブサイトＷＳの運用を管理するコンピュータ装置であり、制御装置２１０、通信インターフェイス（Ｉ／Ｆ）２２０及び受信バッファ２３０を備える。
【００８９】
制御装置２１０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を含む演算処理ユニットである。制御装置２１０は、このＣＰＵが所定の制御プログラムを実行することにより機能する、要求処理部２１１及びＷＥＢ制御部２１２の各処理ユニットを備える。
【００９０】
要求処理部２１１は、ウェブサイトＷＳを経由して不定期に発生する各種の要求並びに監視サーバ１００及びＤＢサーバ３００から不定期に発生する各種の要求を処理する処理ユニットである。具体的には、要求処理部２１１は、ユーザからウェブサイトＷＳを通じてなされる、アクセス要求、演奏配信要求及び演奏録音要求等の各種要求に対し、これら要求に応じた処理（例えば、認証処理、演奏配信制御処理及び演奏録音制御処理等）を実行するように構成されている。また、監視サーバ１００やＤＢサーバ３００から各種データや各種情報の送受信要求された場合に、これら各サーバに対して必要なデータ又は情報を供給するように構成されている。
【００９１】
ＷＥＢ制御部２１２は、ウェブサイトＷＳの機能や表示内容を制御する処理ユニットである。具体的には、ＷＥＢ制御部２１２は、例えばウェブサイトＷＳにおけるユーザのアクセス管理や、ウェブサイトＷＳの更新処理やメンテナンス処理、更には、ウェブサイトＷＳを介した演奏セッションの提案処理等を実行するように構成されている。
【００９２】
通信Ｉ／Ｆ２２０は、ＬＡＮ１２とＷＥＢサーバ２００との間のデータ通信を実現するための、所定の通信規格に準じたインターフェイスである。尚、ＬＡＮ１２は、インターネット等の広域ネットワークであるネットワーク１１に収容されており、通信Ｉ／Ｆ２２０は、ＷＥＢサーバ２００と監視サーバ１００及びＤＢサーバ３００とのデータ通信の他、ＷＥＢサーバ２００と端末装置４００との間のデータ通信にも使用される。尚、通信Ｉ／Ｆ２２０は、有線で接続されたこれらサーバ装置相互間のデータ通信については、時間遅延を無視し得る速度でこれを行うことができるものとする。
【００９３】
＜ＤＢサーバ３００の構成＞
次に、図４を参照し、ＤＢサーバ３００の構成について説明する。ここに、図４は、ＤＢサーバ３００のブロック図である。尚、同図において、図１と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
【００９４】
図４において、ＤＢサーバ３００は、演奏再生システム１０を運営する事業者が保有するコンピュータ装置である。
【００９５】
図４において、ＤＢサーバ３００は、演奏再生システム１０においてＷＥＢサイトＷＳを通じて提供される各種サービス機能の運用過程で必要となる、或いは当該運用過程で生じた各種の音声データをコンテンツとして記憶するコンピュータ装置であり、制御装置３１０、通信インターフェイス（Ｉ／Ｆ）３２０、受信バッファ３３０、送信バッファ３４０及び記憶装置３５０を備える。
【００９６】
制御装置３１０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を含む演算処理ユニットである。制御装置３１０は、このＣＰＵが所定の制御プログラムを実行することにより機能する処理ユニットとしての要求処理部３１１を備える。
【００９７】
要求処理部３１１は、監視サーバ１００及びＷＥＢサーバ２００からの要求を処理する処理ユニットである。具体的には、要求処理部３１１は、ＷＥＢサーバ２００により演奏配信制御処理が実行される過程において演奏の配信が要求された場合に、所定の配信処理を実行するように構成されている。また、要求処理部３１１は、ＷＥＢサーバ２００により演奏録音制御処理が実行される過程において各端末装置から供給される演奏データを記憶装置３５０に記憶させるように構成されている。この記憶処理の過程においては、端末装置４００から供給される演奏データが、演奏者、楽曲名、演奏パート及びＢＰＭ（Beat Per Minute）等の各種参照情報が付帯された上で上述した音声データとして記憶される。
【００９８】
通信Ｉ／Ｆ３２０は、ＬＡＮ１２とＤＢサーバ３００との間のデータ通信を実現するための、所定の通信規格に準じたインターフェイスである。尚、ＬＡＮ１２は、インターネット等の広域ネットワークであるネットワーク１１に収容されており、通信Ｉ／Ｆ３２０は、ＤＢサーバ３００と監視サーバ１００及びＷＥＢサーバ２００とのデータ通信の他、ＤＢサーバ３００と端末装置４００との間のデータ通信にも使用される。尚、通信Ｉ／Ｆ３２０は、有線で接続されたこれらサーバ装置相互間のデータ通信については、時間遅延を無視し得る速度でこれを行うことができるものとする。
【００９９】
受信バッファ３３０は、例えばＷＥＢサーバ２００や端末装置４００等から送信される演奏データを一時的に蓄積するバッファとして機能する揮発性記憶装置である。
【０１００】
送信バッファ３４０は、記憶装置３５０に記憶された音声データを端末装置４００に配信する際のバッファとして機能する揮発性記憶装置である。
【０１０１】
記憶装置３５０は、例えばＨＤ（Hard Disk）等の比較的大容量の記録媒体を備えた記憶装置である。記憶装置３５０には、演奏データＰＤ、ユーザデータＵＤ、楽曲データＭＤ及びサンプルデータＳＤ等が記憶されている。
【０１０２】
演奏データＰＤは、主として端末装置４００から送信される、個々のユーザの演奏に関する再生用のデータである。ユーザデータＵＤは、演奏再生システム１０を利用するユーザの個人情報に関するデータである。楽曲データＭＤは、記憶装置３５０にコンテンツとして記憶されている楽曲のインデックスや詳細情報に関するデータである。サンプルデータＳＤは、各種音声等を利用した擬似的演奏や代替的演奏並びに演奏セッションとは関係なくシステム側がデフォルトデータとして用意した演奏に関する再生用のデータである。尚、サンプルデータに係る音声とは、上述したように、例えば、楽器の音、肉声、レコードやＣＤ等に記録された記録コンテンツの一部、ラジオ放送又はテレビ放送等の放送コンテンツの一部、或いは合成音声等を含み得る。
【０１０３】
記憶装置３５０に記憶されるコンテンツとは、演奏データＰＤ及びサンプルデータＳＤ並びにこれらに基づいて再生される演奏を意味する。
【０１０４】
尚、本実施例では、監視サーバ１００、ＷＥＢサーバ２００及びＤＢサーバ３００の三個のサーバ装置が一のサーバ装置群として協調して演奏再生システム１０を構成しているが、演奏再生システム１０は、これら各サーバ装置の代わりに、これらの各サーバ装置の機能を併有する一個のサーバ装置を備えていてもよい。
【０１０５】
＜端末装置４００の構成＞
次に、図５を参照し、端末装置４００の構成について説明する。ここに、図５は、端末装置４００のブロック図である。尚、同図において、図１と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
【０１０６】
図５において、端末装置４００は、個々のユーザにより使用される（必ずしも所有されずともよい）コンピュータ装置であり、制御装置４１０、通信インターフェイス（Ｉ／Ｆ）４２０、受信バッファ４３０、送信バッファ４４０、表示部４５０及び記憶装置４６０を備える。
【０１０７】
制御装置４１０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を含む演算処理ユニットである。制御装置４１０は、このＣＰＵが所定の制御プログラムを実行することにより機能する、要求処理部４１１、再生制御部４１２、録音処理部４１３及び表示制御部４１４の各処理ユニットを備える。
【０１０８】
要求処理部４１１は、ユーザにより不図示の各種入力装置（例えば、キーボードやタッチパネル装置）を介して入力された各種コマンドに対応する処理や、監視サーバ１００、ＷＥＢサーバ２００及びＤＢサーバ３００からネットワーク１１を介して送信される要求に対応する処理を実行する処理ユニットである。具体的には、要求処理部４１１は、例えば、表示部４５０の表示内容を制御するための表示制御部４１４の制御、ウェブサイトＷＳへのアクセス要求やウェブサイトＷＳでの入力コマンドに応じたＷＥＢサーバ２００へのアクセス制御、演奏の録音要求等に応じた録音処理部４１３の制御、音声データの再生要求に応じた再生制御部４１２の制御等を実行する。
【０１０９】
再生制御部４１２は、ＤＢサーバ３００から配信される音声データに基づいて音声の再生を行う処理ユニットである。再生制御部４１２が実行可能な音声再生には大別してストリーミング再生とダウンロード再生との二種類が存在する。前者では、再生制御部４１２は、受信バッファ４３０に所定量の音声データが蓄積された段階で、順次この蓄積された音声データを読み出し、音声信号に復元して再生する。後者では、再生制御部４１２は、音声データをダウンロードして記憶装置４６０に記憶させた後、然るべきタイミングで順次音声信号に復元して再生する。前者はリアルタイム性に優れた再生制御であり、後者は品質に優れた再生制御である。再生制御部４１２は、スピーカ５００と電気的に接続されており、端末装置４００において再生制御部４１２により再生された音声は、このスピーカ５００から出力される構成となっている。尚、本実施例では、スピーカ５００が端末装置４００に外付けされる構成としたが、端末装置４００にスピーカ５００が内蔵されていてもよい。
【０１１０】
録音処理部４１３は、音声信号を音声データに変換する処理ユニットである。尚、この音声信号は、好適な一例として演奏に係る楽音信号を含む。この場合、音声データとは演奏データと等価である。録音処理部４１３は、集音装置としてのマイクロフォン６００と電気的に接続されており、例えばユーザにより録音操作がなされた場合に、このマイクロフォン６００を介して入力される音声信号（演奏の場合には楽音信号）からＷＡＶＥファイル形式（即ち、上述の所定規格の一例である）の音声データを生成するように構成されている。音声データのサンプリングレートは、例えば４４．１ｋＨｚ、２２．０５Ｈｚ、１１．０２５ｋＨｚ等、複数の選択肢の中から適宜選択可能である。また、録音処理部４１３は、生成された音声データを記憶装置４６０に記憶させる。また、この音声データは、然るべき入力操作に応じて通信Ｉ／Ｆ４２０を介してＤＢサーバ３００に送信される。
【０１１１】
表示制御部４１４は、端末装置４００の表示部２５０の表示状態を制御する処理ユニットである。
【０１１２】
通信Ｉ／Ｆ４２０は、ネットワーク１１との間のデータ通信を実現するための、所定の通信規格に準じたインターフェイスである。尚、端末装置４００は、通信Ｉ／Ｆ４２０を介して、上述した各種サーバとの間でデータ伝送を行うことができる他、相異なる端末装置同士で、直接データ伝送を行うことができる。後者のデータ伝送方式は、例えば、公知のＰ２Ｐ（Peer to Peer）等の通信方式が利用される。
【０１１３】
受信バッファ４３０は、ＤＢサーバ３００から配信される音声データを一時的に蓄積するバッファとして機能する揮発性記憶装置である。
【０１１４】
送信バッファ４４０は、録音処理部４１３により生成される音声データを一時的に蓄積するバッファとして機能する揮発性記憶装置である。
【０１１５】
表示部４５０は、ユーザに対して視覚情報を表示するためのディスプレイ装置である。表示部４５０は、上述したウェブサイトＷＳを表示可能に構成される。
【０１１６】
記憶装置２４０は、例えばＨＤ等の比較的大容量の記録媒体を備えた記憶装置である。
【０１１７】
尚、本発明の演奏再生システムと本実施例との対比の上では、監視サーバ１００の制御装置１１０は欠落検出手段の一例であり、ＷＥＢサーバ２００の制御装置２１０は選択手段の一例であり、ＤＢサーバ３００の制御装置３１０は補完音声データ送信手段の一例である。またＤＢサーバ３００の記憶装置３５０は記憶手段の一例である。また、監視サーバ１００の制御装置１１０により実行される上記所定の制御プログラムは、コンピュータプログラムの一例であり、ＷＥＢサーバ２００の制御装置２１０により実行される上記所定の制御プログラムは、コンピュータプログラムの他の一例である。
【０１１８】
＜実施例の動作＞
次に、本実施例の動作について説明する。
【０１１９】
＜演奏セッション機能の基本動作＞
始めに、図６を参照して、演奏再生システム１０の演奏セッション機能の基本動作について説明する。ここに、図６は、演奏セッションが行われる場合の各部の動作を例示するタイミングチャートである。尚、図６に例示されるタイミングチャートは、あくまで演奏再生システム１０で進行し得る処理の一例を示すものであって、各装置の動作内容並びに各ステップの動作主体及び実行タイミング等は、本発明の演奏再生システムの概念を逸脱しない限りにおいて如何様にも変更することができる。
【０１２０】
特に、複数のユーザ相互間でなされるリアルタイムな演奏セッションは、ウェブサイトＷＳにおけるユーザインターフェイスの設計にも大きく依存するところである。ウェブサイトＷＳにおけるユーザインターフェイスの設計は自由度が高いから、本発明の演奏再生システムの概念を担保した上で、例えば、想定するユーザの技量や数、想定する通信環境及び提供しようとするサービス内容等に応じて、各種の変更やカスタマイズを行うことが可能である。そのような各種の変更やカスタマイズに応じて、演奏再生システム全体における各装置の動作内容や動作タイミングは適宜変化し得る。
【０１２１】
また、図６に例示される動作をより視覚的に説明するために、以下の説明においては適宜図７乃至図１２を参照することとする。図７乃至図１２は、夫々、演奏再生システム１０の一動作タイミングにおける各装置のデータ又は情報の流れを説明する概念図である。これら図７乃至図１２において、図１と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
【０１２２】
図６において、左から順に、端末装置４００Ａ、４００Ｂ、４００Ｃ、４００Ｄ、ウェブサイトＷＳ、監視サーバ１００、ＷＥＢサーバ２００及びＤＢサーバ３００が表されている。縦軸は時間軸である。但し、縦軸の時間軸は、各要素における動作の時系列の目安に過ぎず、厳密な時間軸を表すものではない。また、各要素相互間において、この時間軸上の点は必ずしも同期していない。ネットワークに収容された多数の装置により形成されるシステムの動作においては、各装置の厳密な動作タイミングを規定することは困難であり、またそれ自体に大きな意味はない。
【０１２３】
図６において、ＷＥＢサーバ２００は、一定又は不定の周期でウェブサイトＷＳを制御している（ステップＳ１０）。また、ユーザは、端末装置４００を介して各々が任意に、このウェブサイトＷＳにアクセスしている（ステップＳ２０）。ここでは、ユーザＡ、Ｂ、Ｃ及びＤが、夫々端末４００Ａ、４００Ｂ、４００Ｃ及び４００Ｄを介して演奏再生システム１０にアクセスしているとする。この様子が、図７に例示される。
【０１２４】
一方、このようなウェブサイトＷＳの定常的管理制御の一環として、ＷＥＢサーバ２００はＤＢサーバ３００に定期的にアクセスし、ＤＢサーバ３００に記憶されているコンテンツを検索する（ステップＳ２０）。尚、検索には何らかの検索条件が伴うが、ここでは、例えば、演奏セッションの参加者を募集するにあたってユーザに対する訴求性が高いコンテンツが検索されるものとする。より具体的には、このようなコンテンツとは、例えば、ある程度の客観的知名度を有する楽曲であって、伴奏（誰かが過去に演奏したものであっても、サンプルとして事業者が準備したものでもよい）部分の演奏データが存在する楽曲等を意味し得る。
【０１２５】
ＷＥＢサーバ２００は、ステップＳ２０で検索された楽曲又は楽曲群について、演奏セッションの参加者を募集する（ステップＳ４０）。尚、この参加者の募集は、ＷＥＢサーバ２００が上記ウェブサイトＷＳの定常的管理制御の一環として適宜実行している。即ち、演奏セッションの参加者募集に関する情報は、このウェブサイトＷＳを通じて、演奏再生システム１０にアクセスするユーザの各々に告知される。この様子が、図８に例示される。
【０１２６】
ここで、この演奏セッションの参加者募集に関する告知情報に対するユーザの反応は様々である。例えば、参加を希望するユーザが一人も居ない場合もあれば、多数のユーザが参加を希望する場合もある。その一つ一つを説明することは説明の煩雑化を招くため、ここでは一例として、ユーザＡ、Ｂ及びＣが夫々演奏者として演奏セッションへの参加を希望し、ユーザＤがオブザーバとしての演奏セッションの視聴を希望する場合について説明する。
【０１２７】
即ち、本実施例においては、端末装置４００Ａ、４００Ｂ及び４００Ｃが、本発明における「演奏セッションに参加する端末装置」の一例となっている。尚、オブザーバとは、演奏を視聴するのみで演奏セッションには加わらないユーザ及び当該ユーザに利用される端末装置を意味する。
【０１２８】
各端末装置では、ユーザの意思に沿った各種入力操作に応じた動作が行われる。即ち、本実施例においては、演奏セッションに参加する端末装置４００Ａ、４００Ｂ及び４００Ｃについては、ＷＥＢサーバ２００に対して演奏セッションに参加する旨の情報（セッション参加要求）が送信される（ステップＳ５０）。また、オブザーバに相当する端末装置４００Ｄからは、ＷＥＢサーバ２００に対してオブザーバとして参加する旨の情報（オブザーバ要求）が送信される（ステップＳ５１）。この様子が、図９に例示される。
【０１２９】
参加者を募集した演奏セッションに対して所定数の参加希望（オブザーバの参加数は含まれない）があった場合、ＷＥＢサーバ２００は、ウェブサイトＷＳの制御を通じて、演奏セッションへ参加する端末装置及びオブザーバに相当する端末装置の各々に対して、Ｐ２Ｐ等の通信方式による相互接続を指示する（ステップＳ６０）。
【０１３０】
この際、例えば、該当する端末装置におけるウェブサイトＷＳに、相互接続用のウィンドウが表示され、或いは、ウェブサイトＷＳが当該相互接続用の画面に切り替わり、相互接続用の情報（例えば、ＩＰアドレス等）が表示される。相互接続に必要なＩＰアドレス等の情報は、ＤＢサーバ３００にユーザデータＵＤとして格納されており、ＷＥＢサーバ２００は、ウェブサイトＷＳへのアクセス（ログイン）時に入力されたユーザＩＤ等を基に、ＤＢサーバ３００から接続用の情報を取得して参加希望者に通知する。
【０１３１】
一方、各種希望者への相互接続指示が行われる傍らで、ＷＥＢサーバ２００では、これから開始される演奏セッションに必要な伴奏データがＤＢサーバ３００に要求される（ステップＳ７０）。この要求に応じて、ＤＢサーバ３００から該当する伴奏データが供給される（ステップＳ８０）。尚、この伴奏データは、ＤＢサーバ３００における、上述したサンプルデータＳＤ又は演奏データＰＤの一部である。供給された伴奏データは、ＷＥＢサーバ２００の受信バッファ２３０に格納される。この様子が、図１０に例示される。
【０１３２】
相互接続指示が行われると、例えば、然るべきユーザ操作等に応じた（このようなユーザ操作を介さずともよい）端末装置側での各種制御処理の結果として、個々の端末装置相互間で一対一の通信回線が確立される（ステップＳ９０）。この様子が、図１１に例示される。尚、図１１に例示されるように、本実施例において、ユーザＡはギターの演奏者であり、ユーザＢはドラムの演奏者であり、ユーザＣはベースギターの演奏者である。即ち、これから開始される演奏セッションは、伴奏データに対応する伴奏と、ギターパート、ドラムパート及びベースギターパートの各演奏パートとのセッションとなる。また、ユーザＤは、ユーザＢと同様にドラムの演奏者であるが、ユーザＤはオブザーバのため演奏は行わない。尚、オブザーバであるユーザＤは、オブザーバとして演奏セッションを視聴しつつ、個人的な趣味としてドラムを演奏してもよい。
【０１３３】
ＷＥＢサーバ２００では、この演奏セッションの開始に先立って、監視サーバ１００に対して演奏セッションの監視を要求する。この監視要求に応じて、監視サーバ１００では、セッション監視処理が開始される（ステップＳ１００）。セッション監視処理には、例えば、アクセス監視部１１３による個々の端末装置のアクセス状態の監視や、セッション監視部１１２による演奏セッションの進行状態の監視等が含まれる。
【０１３４】
各端末装置では、演奏セッションに参加する他の端末装置との間の相互接続処理と相前後して、監視サーバ１００への状態通知が送信される（ステップＳ１１０）。状態通知とは、他の端末装置とのデータ通信回線が確立されているか否かに関する情報である。より具体的には、各端末装置（例えば、端末装置４００Ａ）において通信先の端末装置（例えば、端末装置４００Ｂ、４００Ｃ及び４００Ｄ）に対して一定周期で存在確認要求が送信される。通信先の端末装置では、この存在確認要求に対して応答信号が返信される。この応答信号が受信されれば、データ通信回線は正常であると判断され、監視サーバ１００に対して該当する端末装置との間のデータ通信回線が正常である旨の情報が状態通知として送信される。
【０１３５】
監視サーバ１００は、ステップＳ１００におけるセッション監視処理において、各端末装置から状態通知を受け取ると、ＷＥＢサーバ２００に対して演奏セッションの開始準備が整った旨を通知する。ＷＥＢサーバ２００では、この通知を受けて、受信バッファ２３０に一時的に格納された伴奏データをホスト役に相当するユーザの端末装置に送信する（ステップＳ１２０）。尚、ホスト役のユーザは、演奏セッションに演奏者として参加するユーザであれば誰であってもよく、ここではユーザＡであるとする。
【０１３６】
ホスト役のユーザＡに対応する端末装置４００Ａでは、この送信される伴奏データが受信バッファ４３０に格納される。ユーザＡは、他の演奏者（ここではユーザＢ及びユーザＣ）に対して、任意のタイミングで演奏セッションを開始する旨を通知する。例えば、この開始通知は、マイクロフォン６００を介して「では、伴奏の○○の位置から始めます」等の音声を発することによりなされてもよい。
【０１３７】
この開始通知は、各々遠隔地に位置する演奏者同士で演奏開始タイミングを一致させるために行われる任意の動作である。ウェブサイトＷＳを通じて相互回線が確立された状態において既に、各端末装置においてマイクロフォン６００に入力された音声は、時間遅延無く他の端末装置のスピーカ５００から出力される状態にある。従って、理論的には、このような開始通知がなくても、例えば、ユーザＡが突然演奏を始めても、例えば他のユーザがそれに呼応して演奏を開始できるのであれば実践上問題はない。
【０１３８】
尚、本実施例では、上述した演奏録音機能により、演奏セッションを構成する各演奏パートの演奏が各演奏パートに対応する端末装置４００を介して演奏データに変換され録音されるものとする。この演奏録音機能は、例えば、ウェブサイトＷＳ上で所定の入力操作がなされた場合にアクティブとなる。尚、演奏セッションと並行して演奏の録音を行う場合には、当然ながら演奏の開始以前に、このような入力操作が行われる。例えば、このような入力操作は、データ通信回線が確立された段階で、或いは、演奏セッションの開始通知がなされた段階で行われてもよい。
【０１３９】
具体的な動作としては、このような入力操作がなされると、ＷＥＢサーバ２００において録音制御処理が開始され、ＤＢサーバ３００に対し、演奏セッション終了後に演奏データの登録（アップロード）なされる旨が通知される。また、端末装置では、マイクロフォン６００を介した入力演奏の演奏データへの変換が開始される。
【０１４０】
演奏セッションの準備が整うと、演奏セッションが開始される（ステップＳ１３０）。本実施例では、この開始された演奏セッションを、演奏セッションＳＳ１と表現する。
【０１４１】
演奏セッションＳＳ１が開始されると、端末装置４００Ａから端末装置４００Ｂ、４００Ｃ及び４００Ｄに対してユーザＡの演奏に係る演奏データが送信される（ステップＳ１３１）。同様に、端末装置４００Ｂから端末装置４００Ａ、４００Ｃ及び４００Ｄに対してユーザＢの演奏に係る演奏データが送信される（ステップＳ１３２）。同様に、端末装置４００Ｃから端末装置４００Ａ、４００Ｂ及び４００Ｄに対してユーザＣの演奏に係る演奏データが送信される（ステップＳ１３３）。この様子が、図１２に例示される。
【０１４２】
演奏セッションＳＳ１が終了すると（ステップＳ２００）、端末装置４００Ａから任意のタイミングでユーザＡの担当する演奏パート（ギターパート）の演奏に係る演奏データがウェブサイトＷＳにアップロードされる（ステップＳ２１０）。同様に、端末装置４００Ｂから任意のタイミングでユーザＢの担当する演奏パート（ドラムパート）の演奏に係る演奏データがウェブサイトＷＳにアップロードされる（ステップＳ２２０）。同様に、端末装置４００Ｃから任意のタイミングでユーザＣの担当する演奏パート（ベースギターパート）の演奏に係る演奏データがウェブサイトＷＳにアップロードされる（ステップＳ２３０）。
【０１４３】
ＷＥＢサーバ２００では一旦それらの演奏データが受信バッファ２３０に蓄積された後、登録要求と共に順次ＤＢサーバ３００に送出される（ステップＳ２４０）。ＤＢサーバ３００では、ＷＥＢサーバ２００からの登録要求があると、演奏データが日時、演奏者、演奏パート、楽曲名及びビートに関する情報等に対応付けられた上で、演奏データＰＤとして記憶装置３５０に記憶される（ステップＳ２５０）。この記憶されたデータは、他の演奏セッションにおいて、後述する補完音声データとして使用することができる。
【０１４４】
尚、本実施例では、演奏セッションがウェブサイトＷＳから提案される構成としたが、演奏セッションの提案は、ユーザ側からなされてもよい。また、演奏セッションがウェブサイトＷＳを通じて提案される場合も、ユーザ側から提案される場合も、上述した伴奏データは必ずしも必要ではない。即ち、当該楽曲に関する一切のデータが無い状態から演奏セッションが開始されてもよい。この場合、演奏の開始タイミングは、上述した開始通知において、例えば、マイクロフォン６００を介して「では、１、２、３で始めます」等の音声を発することにより演奏者相互間で共有されてもよい。
【０１４５】
また、本実施例では、伴奏データがホスト役のユーザＡに対応する端末装置４００Ａにのみ送信される構成を説明したが、伴奏データは、演奏セッションに演奏者として参加するユーザ（オブザーバが含まれていてもよい）に対応する端末装置の全てに送信されてもよい。但し、この場合、伴奏データに基づいた伴奏の再生開始タイミングに関して演奏者相互間の時間同期処理が行われる。
【０１４６】
＜補完処理の説明＞
上記演奏セッションＳＳ１が滞りなく進行する場合は問題がないが、演奏再生システム１０における演奏セッションは、ネットワーク１１を介して遠隔地のユーザ同士を接続してリアルタイムに行われるものであるから、その品質は、各端末装置の状態に依存する。
【０１４７】
ここで特に、演奏セッションに参加する端末装置がオフライン状態に陥った場合、即ち、演奏者ノードがネットワークから消失した場合、該当するユーザの演奏は、演奏セッションＳＳ１に反映されなくなる。例えば、端末装置４００Ｂがオフライン状態に陥った場合、演奏セッションＳＳ１は、ドラムパートが欠落した、ギターパートとベースギターパートとのセッションとなり、演奏セッションの品質は低下する。演奏再生システム１０では、監視サーバ１００により実行されるセッション監視処理が、このような問題にも対処できるように構成されている。具体的には、演奏再生システム１０では、不測的に発生する端末装置のオフライン状態に対し、オフライン状態にある演奏パートの演奏を補完音声により補完する補完処理が行われる。
【０１４８】
ここで、図１３を参照し、この補完処理について説明する。ここに、図１３は、補完処理が行われる場合の演奏再生システムの各部の動作を例示するタイミングチャートである。尚、同図において、図６と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
【０１４９】
尚、図１３に例示されるタイミングチャートは、あくまで演奏再生システム１０で進行し得る処理の一例を示すものであって、各装置の動作内容並びに各ステップの動作主体及び実行タイミング等は、本発明の演奏再生システムの概念を逸脱しない限りにおいて如何様にも変更することができる。特に、複数のユーザ相互間でなされるリアルタイムな演奏セッションは、ウェブサイトＷＳにおけるユーザインターフェイスの設計にも大きく依存するところである。ウェブサイトＷＳのユーザインターフェイスの設計は自由度が高いから、本発明の演奏再生システムの概念を担保した上で、例えば、想定するユーザの技量や数、想定する通信環境及び提供しようとするサービス内容等に応じて、各種の変更やカスタマイズを行うことが可能である。そのような各種の変更やカスタマイズに応じて、演奏再生システム全体における各装置の動作内容や動作タイミングは適宜変化し得る。
【０１５０】
また、図１３に例示される動作をより視覚的に説明するために、以下の説明においては適宜図１４及び図１５を参照することとする。図１４及び図１５は、夫々、演奏再生システム１０の一動作タイミングにおける各装置のデータ又は情報の流れを説明する概念図である。これら図１４及び図１５において、図１２と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
【０１５１】
図１３において、演奏セッションＳＳ１の進行中に端末装置４００Ｂがオフライン状態に陥ったとする（ステップＳ３００）。
【０１５２】
尚、オフライン状態の発生の原因は多岐にわたる。例えば、端末装置４００Ｂがシステムビジー状態に陥った場合、ネットワーク１１側で何らかの不具合が発生した場合、何らかの事情によりユーザＢによってオフライン操作が行われた場合等において、端末装置４００Ｂは夫々オフライン状態となり得る。このオフライン状態は、オフラインとなるユーザ側の事情がどうであれ、他の演奏者やウェブサイトＷＳ側からすれば、多くの場合、不測の事態である。オフライン状態は、図１３において、ハッチング表示された時間領域にわたって継続することとする。
【０１５３】
オフライン状態が発生すると、監視サーバ１００により実行されるセッション監視処理における、上述した演奏セッションの監視において、オフライン状態の端末装置（ここでは、端末装置４００Ｂ）から上述した状態通知が検出されなくなる。また、他の端末装置（４００Ａ、４００Ｂ及び４００Ｃ）から送信される状態通知においても、端末装置４００Ｂから存在確認要求に対する応答信号が返されて来ない旨が情報として含まれる。これらの情報に基づいて、監視サーバ１００は、その時点で端末装置４００Ｂがオフライン状態にある旨の判定を行う。この状態が、図１４に例示される。
【０１５４】
端末装置４００Ｂがオフライン状態にある旨の判定がなされてから、所定時間Ｔ１が経過すると（例えば、予め設定された回数連続して状態通知の非検出及び応答信号の未受信が継続すると）、端末装置４００Ｂが一時的オフライン状態にあるとの判定が下される（ステップＳ３１０）。一時的オフライン状態にあるとの判定が下されると、演奏セッションＳＳ１の品質低下を抑制するために、補完処理が開始される。
【０１５５】
具体的には、先ず補完処理を開始する旨の通知がＷＥＢサーバ２００に送信される（ステップＳ３１１）。この通知を受けると、ＷＥＢサーバ２００は補完音声データの選択を行う（ステップＳ３２０）。補完音声データとは、補完音声を再生するためのデータであり、ファイル形式は演奏データと同様各種の態様を有し得る。
【０１５６】
補完音声データは、ＤＢサーバ３００の記憶装置３５０に記憶される演奏データＰＤの中から、これら演奏データＰＤに対応付けられた演奏者情報、楽曲情報、演奏パート情報、ビート情報等に基づいた選択処理が行われた結果として選択される。
【０１５７】
尚、この補完音声データの選択に係る動作は、本発明との対比の上では、「前記演奏パートの欠落が検出された場合に、前記欠落が検出された演奏パートに係る演奏内容に基づいて前記欠落が検出された演奏パートを補完する補完音声に係る補完音声データを選択する」旨の選択手段の動作の一例に相当する。
【０１５８】
尚、このような複数の候補の中から適切な一を選択する選択処理としては、例えば、公知の楽曲推薦方法等を好適に適用することもできる。例えば、楽曲や演奏パートが合致するといった比較的単純な選択条件の他に、楽曲や演奏パートの類似性が高い演奏データが選択されてもよい。
【０１５９】
また、迅速性を要求されるこのような補完処理においては、楽曲が合致することは前提としても、演奏パートの類似性、ビートの類似性に対する検索条件については、比較的緩和されてもよい。特に、ビートに関しては、ソフトウェア上の補正処理によりビートを変換することも可能であり、演奏セッションＳＳ１のビートと整合するように補正されることを前提として検索条件から除外されてもよい。また、演奏者については、元より検索条件に含まれずともよいが、演奏再生システム１０の運用実績が蓄積されていく過程で、このような補完音声データとして使用された回数等を参照することも有意義である。使用回数が多い場合、優れた演奏であって、補完音声により継続させる演奏セッションの品質の低下をより抑制することができるとの判断が成立し得るからである。
【０１６０】
また、ここでは、補完音声データが演奏データＰＤから選択される構成としたが、サンプルデータＳＤの中に補完音声となり得る音声データが存在すると考えられる場合には、サンプルデータＳＤが候補に加えられてもよい。
【０１６１】
補完音声データが選択されると、ＤＢサーバ３００により、選択された補完音声データがＷＥＢサーバ２００に供給される（ステップＳ３３０）。供給された補完音声データは、受信バッファ２３０に一時的に格納される。ＷＥＢサーバ２００は、補完音声データを受信すると、補完音声データの送信準備が整ったことを監視サーバ１００に通知する。
【０１６２】
監視サーバ１００においては、この通知を受けて、オフライン状態にある端末装置４００Ｂを除く残余の端末装置である端末装置４００Ａ、４００Ｃ及び４００Ｄのうち、ホスト役のユーザＡに対応する端末装置４００Ａに対して、補完音声データのダウンロードが指示される（ステップＳ３４０）。
【０１６３】
尚、ホスト役のユーザＡに対応する端末装置４００Ａがオフライン状態に陥った場合には、適宜ホスト役を代替させるユーザが指定され、指定されたユーザに対応する端末装置に対して同様に補完音声データのダウンロードが指示される。
【０１６４】
補完音声データのダウンロード指示を受け取った端末装置４００Ａでは、要求処理部４１１により補完音声データのダウンロード準備が行われる。ダウンロード準備が整うと、端末装置４００ＡからＷＥＢサーバ２００に対して準備が完了した旨が通知される（ステップＳ３５０）。準備完了の通知を受信すると、ＷＥＢサーバ２００は、補完音声データを端末装置４００Ａに対して配信する。即ち、端末装置４００Ａにおいて、補完音声データのダウンロードが行われる（ステップＳ３６０）。ダウンロードされた補完音声データは、受信バッファ４３０に蓄積される。
【０１６５】
受信バッファ４３０に補完音声の再生を開始するだけのデータが蓄積された時点で、端末装置４００Ａでは、再生制御部４１２による補完音声の再生が開始されると共に、端末装置４００Ｃ及び４００Ｄに対して補完音声データの送信が開始される（ステップＳ３７０）。送信される補完音声データは、送信先の端末装置において殆ど時間遅延無く再生されるため、ユーザＣも、端末装置４００Ｃを介してこの補完音声を視聴することができ、再生される補完音声に合わせて演奏を継続することができる。即ち、ユーザＡの演奏と、ユーザＣの演奏と再生される補完音声とは、実践上問題無い精度の時間同期を保持して進行する。この様子が、図１５に例示される。
【０１６６】
ここで、実際の演奏セッションＳＳ１は、端末装置４００Ｂがオフライン状態にある間も継続されることが多い。即ち、補完音声データに基づいて再生される補完音声に要求される再生位置は、リアルタイムに変化している。従って、端末装置４００Ａの再生制御部４１２は、このリアルタイムに進行する演奏に整合するように、補完音声の再生位置を決定する。
【０１６７】
尚、このような整合処理は一例であり、例えば、整合精度よりも切れ目の無い補完音声が望まれる場合には、比較的大雑把な再生位置から補完音声が再生されてもよい。この場合、実際に進行する演奏セッションＳＳ１と補完音声との間に時間的ずれが生じるが、このようなずれは、演奏者であるユーザＡ及びＣ側の演奏技術により然るべき時間経過の後に吸収され是正され得る。或いは、端末装置４００Ｂのオフラインが検出されてから相応の時間経過の後に、ユーザＡ及びＣが演奏を一時的に停止することも考えられる。この場合、演奏セッションＳＳ１がある演奏位置で停止するので、補完音声に要求される再生位置は比較的簡便且つ正確に割り出される。補完音声は、必然的に、望ましい再生位置から再生され得る。
【０１６８】
一方、このように補完音声により演奏セッションＳＳ１が滞りなく進行する過程で、端末装置４００Ｂが一時的なオフライン状態から復帰したとする（ステップＳ３８０）。この場合、監視サーバ１００において、端末装置４００Ｂのオフライン状態からの復帰が検出される（ステップＳ３９０）。ここで、端末装置４００Ｂがオフライン状態から復帰すると、ユーザＢの演奏に係る演奏データが従前のように各端末装置に対し送信されるため、再生される補完音声とユーザＢの演奏とが重複する。
【０１６９】
そこで、監視サーバ１００は、端末装置４００Ａに対して補完音声の停止を指示する（ステップＳ４００）。この指示を受けて、端末装置４００Ａでは補完音声データに基づいた補完音声の再生を終了する（ステップＳ４１０）。その結果、演奏セッションＳＳ１は、正常な状態に復帰する。補完処理はこのようにして実行される。
【０１７０】
このように本実施例に係る補完処理によれば、ユーザ側、端末装置側又はネットワーク側の事情により一部のユーザが担当する演奏パートが、或いは一部のユーザの演奏に係る演奏データが不測的に欠落し、演奏セッションに反映されない事態が生じても、補完音声データに基づいた迅速な補完音声の再生が行われる。このため、他のユーザは、この補完音声を利用して演奏セッションを継続させることができる。即ち、補完処理によれば、演奏セッションの品質の低下を抑制することができる。
【０１７１】
＜第２実施例＞
第１実施例では、端末装置（第１実施例では端末装置４００Ｂ）のオフライン状態が一時的なもの（一時的なオフライン状態）である場合について説明した。しかしながら、端末装置のオフライン状態が永続的である場合もある。例えば、演奏者であるユーザの個人的事情により、ユーザがその演奏セッションを途中で脱退する場合も珍しくない。また、ユーザ側、端末装置側又はネットワーク側で生じる各種の障害が長期にわたって継続する場合もある。このような場合のオフライン状態は、一時的とは言えず、永続的なオフライン状態として扱う方がよい場合がある。
【０１７２】
ここで、永続的なオフライン状態であっても、第１実施例に係る補完音声データに基づいた補完処理は有効に機能し得る。しかしながら、演奏セッションの性質上、生音（生演奏）でない補完音声よりも生音による補完音声が好まれることも多い。このような場合、ＤＢサーバ３００にコンテンツとして登録されている演奏データＰＤやサンプルデータＳＤを補完音声データとして使用した補完音声では対応が難しい。そこで、そのような場合に好適に対処し得る、本発明の第２実施例に係る補完処理ついて説明する。尚、演奏再生システム１０のシステム構成については、第１実施例と同等であるとする。
【０１７３】
また、図１６に例示される動作をより視覚的に説明するために、以下の説明においては適宜図１７を参照することとする。図１７は、演奏再生システム１０の一動作タイミングにおける各装置のデータ又は情報の流れを説明する概念図である。図１７において、図１５と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
【０１７４】
始めに、図１６を参照し、第２実施例に係る補完処理の流れについて説明する。ここに、図１６は、補完処理が行われる場合の演奏再生システムの各部の動作を例示するタイミングチャートである。尚、同図において、図１３と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
【０１７５】
図１６において、端末装置４００Ｂがオフライン状態にある旨の判定がなされてから、所定時間Ｔ２（Ｔ２＞Ｔ１）が経過すると（例えば、予め設定された回数連続して状態通知の非検出及び応答信号の未受信が継続すると）、端末装置４００Ｂが永続的オフライン状態にあるとの判定が下される（ステップＳ５００）。永続的オフライン状態にあるとの判定が下されると、第１実施例で説明した、過去に行われた演奏に係る演奏データＰＤ或いはサンプルデータＳＤに基づいた補完処理に代えて、代替演奏者の演奏を利用した補完処理が開始される。尚、端末装置４００Ｂがオフライン状態にある旨の判定がなされてからの経過時間が、所定時間Ｔ１以上所定時間Ｔ２未満の期間については、第１実施例と同様にＤＢサーバ３００のデータを利用した補完処理が実行されているものとする。また、この第１実施例に相当する補完処理は、第２実施例に係る補完処理が開始された後、第１実施例においてステップＳ３９０で復帰が検出された場合と同様に、速やかに停止されるものとする。
【０１７６】
端末装置４００Ｂが永続的オフライン状態にあると判定されると（ステップＳ５００）、監視サーバ１００は、代替演奏者を検索する（ステップＳ５１０）。代替演奏者とは、永続的オフライン状態にある判定された端末装置４００Ｂを利用していたユーザＢに代わってユーザＢの演奏パートを演奏する演奏者を意味する。
【０１７７】
この代替演奏者は、その時点における演奏セッションＳＳ１のオブザーバの中から検索される。検索条件は、第１実施例に係る補完音声データの検索条件と同様であるが、演奏セッションＳＳ１から離脱した演奏者と同じ演奏パートを演奏できることが最も重要視される。ここで、オブザーバが演奏可能な演奏パートの情報は、各種の方法で取得され得る。例えば、演奏再生システム１０を利用する意思のあるユーザが、システム利用に先立って所定の規約に基づいたユーザ登録を行う前提（本実施例に相当する）では、その時点のオブザーバが演奏可能な演奏パートは、オブザーバの登録情報から比較的簡便に割り出される。
【０１７８】
尚、このような手法の代わりに、例えば、その時点のオブザーバ全員、或いはオブザーバに対してある程度の絞込みを行った後の候補者全員に対し、演奏セッションを継続させるために必要な演奏パートの情報を提示し、該当するオブザーバを、オブザーバの協力の下に割り出してもよい。このような条件提示は、ＷＥＢサーバ２００によるウェブサイトＷＳの制御により、ウェブサイトＷＳを通じて好適に行うことができる。また、このような条件提示を伴う代替演奏者の選定は、演奏セッションＳＳ１の非オブザーバを含む形で行うこともできる。即ち、この場合、「現在、演奏セッションＳＳ１で◎◎パート募集中」等の情報を表示すること等により、必要な演奏技能を有する数多のユーザを選択肢に加えることができ、代替演奏者が見つかる可能性を向上させ得る。
【０１７９】
尚、本実施例では、演奏セッションＳＳ１のオブザーバはユーザＤのみであるが、ユーザＤはドラムパートの演奏が可能である。従って、ユーザＤは、ユーザＢが離脱した状況において、ユーザＢの代替演奏者となり得る。これ以降、ユーザＤが代替演奏者となる場合について説明する。
【０１８０】
代替演奏者としてユーザＤが検索されると、監視サーバ１００は、ＷＥＢサーバ２００に対しユーザＤが代替演奏者候補である旨の情報を送信する。それを受けて、ＷＥＢサーバ２００では、候補者であるユーザＤに対し、ウェブサイトＷＳを通じて代替演奏を要請する（ステップＳ５２０）。即ち、端末装置４００Ｄに代替演奏要請に関する情報が送信される。代替演奏の要請がユーザＤにより受諾されない場合には、第１実施例に係る補完処理が継続するか、或いは、更なる候補者の検索が行われる。ここでは、ユーザＤが要請を受諾する場合について説明する。
【０１８１】
ユーザＤが、ユーザＢの代わりに演奏セッションＳＳ１に演奏者として参加することを受諾する場合、ウェブサイトＷＳ上の然るべき入力操作に応じて端末装置４００Ｄから受諾通知が送信される（ステップＳ５３０）。この受諾通知を受け取ると、ＷＥＢサーバ２００から、ウェブサイトＷＳを通じて、ユーザＢに代わってユーザＤが新たに演奏セッションＳＳ１に演奏者として参加する旨の情報が、ユーザＡ及びユーザＣに送信される（ステップＳ５４０）。
【０１８２】
この通知が各端末装置４００で受信されると、ユーザＤによるドラムパートの演奏が開始され、生音によるリアルタイムな演奏セッションＳＳ１が再開される。リアルタイムな演奏セッションＳＳ１が再開されると、ユーザＤの端末装置４００Ｄから、端末装置４００Ａ及び４００Ｃに対し、ユーザＤの演奏に係る演奏データが送信される（ステップＳ１３４）。また、この後、上述したように、第１実施例に係る補完処理が終了する。この様子が、図１７に例示される。
【０１８３】
このように、第２実施例に係る補完処理によれば、予め用意された演奏データの代わりに、オブザーバとして演奏セッションの進捗を把握している他のユーザの演奏に係る演奏データが使用され、演奏セッションを継続させることができる。このため、演奏セッションの品質が、臨場感の一面において第１実施例に係る補完処理よりも担保され得る。
【０１８４】
尚、本発明との対比の上では、このユーザＤに対応する端末装置４００Ｄから送信される演奏データは、本発明に係る「補完音声データ」の一例である。また、補完音声データを選択する旨の選択手段の動作は、この場合、代替演奏者を検索する監視サーバ１００の動作に対応する。
【０１８５】
尚、本実施例では、端末装置４００Ｂが永続的なオフライン状態にあるとの判定が下されてから、代替演奏者による補完音声の再生が試みられる構成としたが、演奏セッションを可及的に生音（生演奏）によって構成することを重視する場合には、第１実施例における一時的なオフライン状態の判定時において、代替演奏者の検索が開始されてもよい。
【０１８６】
本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う演奏再生システム、演奏再生方法、サーバ装置、端末装置、コンピュータプログラム及び記録媒体もまた本発明の技術的範囲に含まれるものである。
【産業上の利用可能性】
【０１８７】
本発明は、複数の演奏パートから構成される演奏セッションを実現するシステムとして利用可能である。
【符号の説明】
【０１８８】
１０…演奏再生システム、１１…ネットワーク、１００…監視サーバ、２００…ＷＥＢサーバ、３００…ＤＢサーバ、４００…端末装置。
【図１】
2014174458.tif 000003
【図２】
2014174458.tif 000004
【図３】
2014174458.tif 000005
【図４】
2014174458.tif 000006
【図５】
2014174458.tif 000007
【図６】
2014174458.tif 000008
【図７】
2014174458.tif 000009
【図８】
2014174458.tif 000010
【図９】
2014174458.tif 000011
【図１０】
2014174458.tif 000012
【図１１】
2014174458.tif 000013
【図１２】
2014174458.tif 000014
【図１３】
2014174458.tif 000015
【図１４】
2014174458.tif 000016
【図１５】
2014174458.tif 000017
【図１６】
2014174458.tif 000018
【図１７】
2014174458.tif 000019