(57)【要約】【課題】生演奏を提供する側とその生演奏の提供を受ける側を分離したことにより、ネットワークを介してでも完全に同期した演奏が可能なリモート演奏システムを提供する。【解決手段】最上流である第１階層で複数パートの生演奏を行い、次の第２階層が、その生演奏のうち好みのパートの演奏を選択して伴奏音（カラオケ演奏）を合成し、この伴奏音を用いて自分の生演奏（歌唱を含む：以下同じ）を行う。そして、この第２階層の生演奏が複数パート存在する場合、この第２階層の複数パートの生演奏を用いて、第２階層と同様に、第３階層の生演奏を行うことができ、このように、上流（第１階層）から下流（第２階層、第３階層、・・・）へ生演奏が引き継がれてゆく連鎖形態の生演奏システムとする。【選択図】  図１
2008089849.tif 000002
【特許請求の範囲】
【請求項１】
特定の曲の伴奏音を再生する伴奏音再生部と、
この伴奏音に合わせた所定パートの生演奏音を入力する生演奏音入力部と、
前記伴奏音の進行度合いを示す時系列情報であるビートクロックを生成するビートクロック生成部と、
前記生演奏音および前記ビートクロックを演奏データとしてネットワークに出力する演奏データ出力部と、
を備えた第１階層演奏装置を、複数パート分備えるとともに、
パートを選択するパート選択部と、
選択されたパートの演奏データをネットワークから受信する演奏データ受信部と、受信した演奏データ中の生演奏音を、各演奏データ中のビートクロックに基づいて同期させて合成することにより伴奏音データを生成する伴奏音データ生成部と、
この伴奏音データに基づいて第２階層の伴奏音を再生する下位伴奏音再生部と、
前記第２階層の伴奏音に合わせた所定パートの第２階層の生演奏音を入力する下位生演奏音入力部と、
前記第２階層の伴奏音と前記第２階層の生演奏音とを合成して放音する演奏音放音部と、
を備えた第２階層演奏装置と、
を備えたリモート演奏システム。
【請求項２】
前記演奏データ出力部は、さらに、前記特定の曲の伴奏音を、前記演奏データに含めてネットワークに出力し、
前記伴奏音データ生成部は、受信した演奏データ中の生演奏音に加えて、受信した演奏データ中の伴奏音をさらに合成することにより第２階層の伴奏音データを生成する
請求項１に記載のリモート演奏システム。
【請求項３】
前記第２階層演奏装置は、
前記第２階層の伴奏音の進行度合いを示す時系列情報である第２階層のビートクロックを生成するビートクロック生成部と、
前記第２階層の生演奏音および前記第２階層のビートクロックを、第２階層の演奏データとしてネットワークに出力する第２階層演奏データ出力部と、
を、さらに備え、
この第２階層演奏装置の下流に、第２階層演奏装置と同様の構成で、直接の上位階層の演奏データをネットワークから受信する下位階層演奏装置を、さらに連鎖状に備える請求項１または請求項２に記載のリモート演奏システム。
【請求項４】
前記第１階層演奏装置は、
前記「所定パートの生演奏音」を演奏する演奏者を撮影し、第１階層演奏者映像として出力する撮影部と、
前記第１階層演奏者映像をネットワークに出力する映像出力部と、
を、さらに備え、
前記第２階層演奏装置は、
前記選択されたパートの第１階層演奏者映像を受信する映像受信部と、
前記「所定パートの第２階層の生演奏」を演奏する演奏者を撮影し、第２階層演奏者映像として出力する下位撮影部と、
前記第１階層演奏者映像および第２階層演奏者映像を合成した合成映像を生成する合成映像生成部と、
前記合成映像を表示する表示部と、
を備えた請求項１または請求項２に記載のリモート演奏システム。
【請求項５】
前記第１階層演奏装置は、
前記「所定パートの生演奏音」を演奏する演奏者を撮影し、第１階層演奏者映像として出力する撮影部と、
前記第１階層演奏者映像をネットワークに出力する映像出力部と、
を、さらに備え、
前記第２階層演奏装置は、
前記選択されたパートの第１階層演奏者映像を受信する映像受信部と、
前記「所定パートの第２階層の生演奏」を演奏する演奏者を撮影し、第２階層演奏者映像として出力する下位撮影部と、
前記第１階層演奏者映像および第２階層演奏者映像を合成した合成映像を生成する合成映像生成部と、
前記合成映像を表示する表示部と、
前記第２階層演奏者映像をネットワークに出力する下位映像出力部と、
を備えた請求項３に記載のリモート演奏システム。
【請求項６】
前記第２階層演奏装置は、
前記特定の曲の歌詞を順次表示するための時系列データである歌詞表示データを記憶する歌詞表示データ記憶部と、
前記ビートクロックに同期して前記歌詞表示データを読み出し、歌詞テロップ画像を生成する歌詞テロップ生成部と、
を、さらに備え、
前記合成映像生成部は、前記第１階層演奏者映像、第２階層演奏者映像の上に、さらに、前記歌詞テロップ画像を合成した合成映像を生成する手段である請求項４または請求項５に記載のリモート演奏システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、離れた場所で生演奏をした演奏音に合わせて、さらに生演奏をすることができるリモート演奏システムに関する。
【背景技術】
【０００２】
従来より、異なる場所にいる演奏家がネットワーク等の通信手段を介して一緒に演奏するというシステムが提案されている（たとえば特許文献１など）。
【０００３】
【特許文献１】特開２００５−７７４８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載された技術は、双方向に通信して演奏をするものであるため、遠隔地同士で演奏をする場合には、相手の音声に遅延が出てしまい同期して演奏することが困難になるという問題点があった。
【０００５】
この発明は、生演奏を提供する側とその生演奏の提供を受ける側を分離したことにより、ネットワークを介してでも完全に同期した演奏が可能なリモート演奏システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１の発明は、特定の曲の伴奏音を再生する伴奏音再生部と、この伴奏音に合わせた所定パートの生演奏音を入力する生演奏音入力部と、前記伴奏音の進行度合い(rate)を示す時系列情報であるビートクロックを生成するビートクロック生成部と、前記生演奏音および前記ビートクロックを演奏データとしてネットワークに出力する演奏データ出力部と、を備えた第１階層演奏装置を、複数パート分備えるとともに、
パートを選択するパート選択部と、選択されたパートの演奏データをネットワークから受信する演奏データ受信部と、受信した演奏データ中の生演奏音を、各演奏データ中のビートクロックに基づいて同期させて合成することにより伴奏音データを生成する伴奏音データ生成部と、この伴奏音データに基づいて第２階層の伴奏音を再生する下位伴奏音再生部と、前記第２階層の伴奏音に合わせた所定パートの第２階層の生演奏音を入力する下位生演奏音入力部と、前記第２階層の伴奏音と前記第２階層の生演奏音とを合成して放音する演奏音放音部と、を備えた第２階層演奏装置と、
を備えたリモート演奏システム(Remote Live Performance System)である。
【０００７】
なお、本願の発明において、演奏は楽器の演奏に限定されず歌唱をも含む概念である。
【０００８】
請求項１のリモート演奏システムでは、生演奏が入力される演奏装置を第１階層演奏装置と第２階層演奏装置の２階層に分離し、第１階層演奏装置を生演奏を提供する側に位置づけ、第２階層演奏装置を生演奏の提供を受け、さらにそれに合わせた生演奏を入力する装置としたことにより、生演奏音を含む演奏データの伝送に遅延が発生しても第２階層演奏装置では、第１階層の生演奏を用いて完全に同期した演奏をすることができるようになる。
【０００９】
また、この場合において、複数の演奏データの遅延がそれぞれ異なる場合でも、ビートクロックを用いて各演奏データを同期させるようにしたため、複数パートの生演奏がそれぞれ別々の場所で行われた場合でも、それらを同期させたのち合成した伴奏音データを作成することができる。
【００１０】
請求項２の発明は、上記発明において、前記演奏データ出力部は、さらに、前記特定の曲の伴奏音を、前記演奏データに含めてネットワークに出力し、前記伴奏音データ生成部は、受信した演奏データ中の生演奏音に加えて、受信した演奏データ中の伴奏音をさらに合成することにより第２階層の伴奏音データを生成することを特徴とする。
【００１１】
伴奏音データに第１階層の伴奏音を加えることにより、第１階層の生演奏のパートが不足した場合でも完全なパート構成の伴奏音を作成することができる。
【００１２】
請求項３の発明は、上記発明において、前記第２階層演奏装置は、前記第２階層の伴奏音の進行度合いを示す時系列情報である第２階層のビートクロックを生成するビートクロック生成部と、前記第２階層の生演奏音および前記第２階層のビートクロックを、第２階層の演奏データとしてネットワークに出力する第２階層演奏データ出力部と、を、さらに備え、この第２階層演奏装置の下流に、第２階層演奏装置と同様の構成で、直接の上位階層の演奏データをネットワークから受信する下位階層演奏装置を、さらに連鎖状に備えることを特徴とする。
【００１３】
請求項３の発明では、生演奏音を含む演奏データの伝送を第１階層、第２階層、第３階層、・・・と連鎖状にしている。これにより、各階層の演奏者に一緒に演奏したい者はその演奏者の下位階層の演奏者になればよく、演奏データの流れが上位階層から下位階層へ一方通行であっても、双方向のジャムセッションと同じように好きな演奏者と一緒に演奏する途を提供することができる。
【００１４】
請求項４の発明は、請求項１，２の発明において、前記第１階層演奏装置は、前記「所定パートの生演奏音」を演奏する演奏者を撮影し、第１階層演奏者映像として出力する撮影部と、前記第１階層演奏者映像をネットワークに出力する映像出力部と、を、さらに備え、
前記第２階層演奏装置は、前記選択されたパートの第１階層演奏者映像を受信する映像受信部と、前記「所定パートの第２階層の生演奏」を演奏する演奏者を撮影し、第２階層演奏者映像として出力する下位撮影部と、前記第１階層演奏者映像および第２階層演奏者映像を合成した合成映像を生成する合成映像生成部と、前記合成映像を表示する表示部と、を備えたことを特徴とする。
【００１５】
請求項５の発明は、請求項３の発明において、前記第１階層演奏装置は、前記「所定パートの生演奏音」を演奏する演奏者を撮影し、第１階層演奏者映像として出力する撮影部と、前記第１階層演奏者映像をネットワークに出力する映像出力部と、を、さらに備え、
前記第２階層演奏装置は、前記選択されたパートの第１階層演奏者映像を受信する映像受信部と、前記「所定パートの第２階層の生演奏」を演奏する演奏者を撮影し、第２階層演奏者映像として出力する下位撮影部と、前記第１階層演奏者映像および第２階層演奏者映像を合成した合成映像を生成する合成映像生成部と、前記合成映像を表示する表示部と、前記第２階層演奏者映像をネットワークに出力する下位映像出力部と、を備えたことを特徴とする。
【００１６】
請求項４，５の発明では、演奏音の伝送に加えて映像も伝送することができるため、さらにリアルにリモート演奏を楽しむことができる。
【００１７】
請求項６の発明は、請求項４，５の発明において、前記第２階層演奏装置は、前記特定の曲の歌詞を順次表示するための時系列データである歌詞表示データを記憶する歌詞表示データ記憶部と、前記ビートクロックに同期して前記歌詞表示データを読み出し、歌詞テロップ画像を生成する歌詞テロップ生成部と、を、さらに備え、
前記合成映像生成部は、前記第１階層演奏者映像、第２階層演奏者映像の上に、さらに、前記歌詞テロップ画像を合成した合成映像を生成する手段であることを特徴とする。
【００１８】
請求項６の発明では、ビートクロックに同期して歌詞表示データを読み出して表示することにより、下位階層（第２階層）において、上位階層（第１階層）の生演奏に同期して歌詞テロップを表示することができる。
【発明の効果】
【００１９】
この発明によれば、演奏データの流れを上位階層（第１階層）から下位階層（第２階層）への１方向に限定したことにより、伝送に遅延が生じても下位階層側において、その遅れに合わせて時間同期をとって再生すればよいため、ずれのない演奏（伴奏音）を再生することができる。
【００２０】
また、階層を複数段連鎖させる連鎖型とすることにより、演奏者は自由な階層（一緒に演奏したい相手演奏者の下位階層）に参加することができるため、双方向通信と同様の自由な組み合わせのセッションを楽しむことが可能になる。
【発明を実施するための最良の形態】
【００２１】
図面を参照してこの発明の実施形態であるリモート演奏システムについて説明する。
このリモート演奏システムは、最上流である第１階層で複数パートの生演奏を行い、次の第２階層が、その生演奏のうち好みのパートの演奏を選択して伴奏音（カラオケ演奏）を合成し、この伴奏音を用いて自分の生演奏（歌唱を含む：以下同じ）を行うシステムである。そして、この第２階層の生演奏が複数パート存在する場合、この第２階層の複数パートの生演奏を用いて、第２階層と同様に、第３階層の生演奏を行うことができ、このように、上流（第１階層）から下流（第２階層、第３階層、・・・）へ生演奏が引き継がれてゆく連鎖形態の生演奏システムである。
【００２２】
図１は、このリモート演奏システムの演奏データの流れを説明する図である。なお、図２以下に示す実際のシステムでは、映像データもネットワークを介して伝送されるが、この図では音声データ（楽音データを含む）である演奏データの流れのみを示している。
【００２３】
第１階層の生演奏ステーション１は、演奏者（歌唱者を含む：以下同じ）と、その演奏者の演奏データを作成して送信する装置で構成される。なお、装置の詳細は第２図で説明する。図１では、ｎ個の生演奏ステーション１−１〜１−ｎを示している。このｎ個の生演奏ステーション１のｎ人の演奏者は、それぞれ略同時に同じ曲を生演奏する。このｎ人の生演奏は、それぞれ別々のパートであってもよく、パートが重複していてもよい。各パートは、たとえば、歌唱，ギター，ドラム，キーボード等である。
【００２４】
各演奏者が演奏した生演奏音は、演奏データとして、ネットワークを介して第２階層へ伝送される。演奏データは、上記生演奏音のデータストリーム（生演奏トラック）のほか、この生演奏の伴奏に用いた伴奏音のデータストリーム（伴奏トラック）、および、拍の刻みで曲の進行を表すビートクロックからなる。なお、伴奏トラックは、演奏データに必須ではない。
【００２５】
ビートクロックは、１拍を３２分割した時間を１クロックとし、クロックタイミング毎に作成されるパケットが演奏データに含められる。このクロックタイミングのパケットは、クロックタイミングである旨を示す情報と、絶対時間を表すタイムコードを含んでいる。
【００２６】
各演奏者は、ほぼ同時に同じ伴奏音を聴きながら生演奏する。伴奏音としては、カラオケ装置が再生するカラオケ楽曲を用いることができる。その場合、ビートクロックは、カラオケ装置がカラオケ楽曲を自動演奏する自動演奏クロックを用いることができる。
【００２７】
各演奏者が同じスタジオで演奏する場合には、１台のカラオケ装置で再生したカラオケ演奏音を一緒に聴きながら演奏することが可能である。この場合でも、各演奏者の演奏をそれぞれ別々のマイクまたはピックアップで収音することにより、それぞれ別々の演奏データとすることが可能である。また、各演奏者が、別々のスタジオで演奏する場合でも、１台のカラオケ装置で再生したカラオケ演奏音を、ネットワークまたは（デジタル，アナログの）オーディオケーブルを用いて各スタジオに配信することにより、各演奏者にほぼ同時に同じ伴奏を聴かせることができる。いずれの場合でも、ビートクロック信号は、カラオケ演奏音と一緒に各演奏者に伝送される。
【００２８】
また、各演奏者がそれぞれ別々のスタジオで演奏する場合、各スタジオにカラオケ装置を設置し、各カラオケ装置で同じ曲を同時に再生させるようにしてもよい。この場合、何らかの方法でカラオケ楽曲の演奏が同時にスタートするように同期をとる。なお、後述するように、第２階層には、第１階層の複数の演奏データの時間ずれを吸収して同期させるための同期部１０（遅れ吸収バッファ１０ａを含む）が設けられているため、各演奏者の演奏が多少ずれていても、ビートクロックに基づき第２階層で同期をとることができる。
【００２９】
第２階層の生演奏ステーションは、演奏者および演奏データを再生等する装置で構成される。装置の詳細は図２，図３で説明する。システムの運用上、第１階層の演奏者はプロフェッショナルまたはそれに準じる技量の持ち主で構成されるが、第２階層の演奏者は、カラオケボックスの顧客となるような者でよい。
この図では、第２階層は、ｍの生演奏ステーションで構成されるようになっているが、１以上であれば数に制限はない。
【００３０】
以下、生演奏ステーション２−１を例に挙げて説明する。第２階層の生演奏ステーション２は、第１階層の複数の生演奏ステーション１−１〜１−ｎから受信した演奏データをバッファして同期させる同期部１０と、前記第１階層の生演奏ステーションのうち、選択された生演奏ステーションの演奏データを合成して伴奏トラックを作成するミキサ１１、この伴奏トラックを再生する再生部１２を有している。同期部１０は、第１階層から受信した複数の演奏データをバッファする遅れ吸収バッファ１０ａを有している。
【００３１】
ミキサ１１から伴奏トラックへは、選択された生演奏ステーションの生演奏トラック（および伴奏トラック）を合成して作成された伴奏トラック、ビートクロック、および、必要に応じてお手本となるガイドメロディトラックが転送される。再生部１２は、伴奏トラックおよびガイドメロディトラックを再生して放音するとともに、ビートクロックで同期を取りながら歌詞を再生表示する。演奏者が、歌唱する者でなく楽器を演奏する者である場合には、歌詞に代えてコード進行や五線譜を再生表示するようにしてもよい。
【００３２】
このようにして、第２階層では、第１階層の複数の生演奏の演奏データのうち、所望のものを組み合わせて独自の伴奏トラックを作成して、自分の演奏の伴奏とすることができる。
【００３３】
また、このシステムは、第２階層の生演奏ステーションを用いて伴奏トラックを作成する第３階層、さらに、第３階層の生演奏ステーションを用いて伴奏トラックを作成する第４階層というように、連鎖状に階層を繰り返すことができる。第３階層以下の階層は、第２階層と同様の構成でよい。
【００３４】
この場合において、上位階層の生演奏ステーションが複数パートにわたって複数ある場合には、その複数パートの生演奏トラックを組み合わせて伴奏トラックを作成すればよい。もし、上位階層の生演奏が、伴奏トラックの作成に不足している場合には、上位階層における伴奏トラックと前記上位階層の生演奏とを組み合わせて伴奏トラックを作成すればよい。
【００３５】
図２，図３は、上記この発明の実施形態であるリモート演奏システムのシステム構成図である。
図２において、第１階層は、Ａ地点，Ｂ地点，・・・の複数地点の生演奏ステーションを有している。以下、Ａ地点の生演奏ステーションについてシステム構成を説明する。生演奏ステーションは、生演奏する楽曲の伴奏音を再生する装置としてカラオケ装置２１を備えている。カラオケ装置２１は、楽曲データに基づいて、伴奏音、ＢＧＶ（バック・グラウンド・ビデオ）、ビートクロックを再生出力する。また、ＢＧＶの再生と並行して、その再生する映像のフレーム番号を表すタイムコードも出力する。伴奏音は音声ミキサ２２に入力される。また、ＢＧＶは、映像ミキサ２５に入力される。
【００３６】
音声ミキサ２２には、前記カラオケ装置２１のほか、マイク２３、スピーカ２４が接続されている。マイク２３は、この生演奏ステーションの演奏者Ａに向けて設置される。マイク２３が収音した演奏者Ａの生演奏の音声は、音声ミキサ２２に入力される。音声ミキサ２２は、カラオケ装置２１から入力される伴奏音およびマイク２３から入力される生演奏音を処理する。この処理の内容は、両音声信号をミキシングしてスピーカ２４に出力する処理、および、伴奏音、生演奏音それぞれ個別にデジタルのストリームデータに変換して通信部２８に出力する処理である。
【００３７】
なお、演奏者Ａの生演奏が、歌唱や自然楽器の場合にはマイク２３を用いればよいが、電気楽器や電子楽器の場合にはピックアップや音声信号入力端子をマイク２３に代えて設ければよい。これは後述の第２階層のマイク４６についても同様である。
【００３８】
映像ミキサ２５には、前記カラオケ装置２１のほか、カメラ２６、モニタＴＶ２７が接続されている。カメラ２６は、前記演奏者Ａに向けて設置される。カメラ２６が撮影した演奏者Ａの映像は、映像ミキサ２５に入力される。映像ミキサ２５は、カラオケ装置２１から入力されるＢＧＶおよびカメラ２６から入力される演奏者Ａの映像を処理する。この処理の内容は、ＢＧＶ上に演奏者Ａの映像を合成し、且つ、その上にカラオケ装置２１から入力した歌詞テロップの映像を合成してモニタＴＶ２７に表示する処理、および、ＢＧＶ、演奏者Ａの映像をそれぞれ個別にデジタルのストリームデータに変換して通信部２８に出力する処理である。
【００３９】
なお、上記音声ミキサ２２の処理において、伴奏音をストリームデータに変換して出力する処理は必須ではない。また、上記映像ミキサ２５の処理において、ＢＧＶをストリームデータに変換して出力する処理は必須ではない。
【００４０】
通信部２８は、上記音声（生演奏および伴奏音）のストリームデータ、映像（演奏者映像およびＢＧＶ）のストリームデータおよびビートクロックを、演奏データとしてネットワークに送信する。すなわち、演奏データは、生演奏トラック、演奏者映像トラック、ビートクロックトラック、および、必要に応じて、伴奏音トラック、ＢＧＶトラックを有している。
【００４１】
第１階層のＡ地点〜Ｎ地点の生演奏ステーションは、全て上記構成を備えており、その各々の生演奏ステーションにおいて、同時に同じ曲が生演奏され、その演奏データがネットワークに出力される。第２階層の生演奏ステーションでは、このなかから所望のものを選択し、選択した演奏データ中の生演奏トラックを合成して伴奏データを作成する。
【００４２】
図３において、第２階層の生演奏ステーションとして、Ｘ地点、Ｚ地点が記載されているが、第２階層の生演奏ステーションの数は任意である。以下、Ｘ地点の生演奏ステーションについてその構成を説明する。
【００４３】
第２階層の生演奏ステーションは、歌詞テロップを再生する装置としてカラオケ装置４１を備えている。また、このカラオケ装置４１は、第１階層（上位階層）の生演奏のパート数が不足する場合等必要に応じて、歌詞テロップの再生と並行してカラオケ楽曲を演奏し、演奏者Ｘ，Ｙの演奏の伴奏データの一部として出力する。
【００４４】
第１階層の各生演奏ステーションからネットワークに出力された演奏データは、通信部４２が受信する。通信部４２が受信した演奏データは同期部４３に入力される。同期部４３は、遅れ吸収バッファ４３ａを備えており、入力した演奏データをバッファし、ビートクロックのタイミングを合わせることにより、各演奏データの進行タイミングを同期させる。
【００４５】
同期部４３には音声ミキサ４４および映像ミキサ４７が接続されている。音声ミキサ４４および映像ミキサ４７には、選択部５１が接続されている。また、音声ミキサ４４には、スピーカ４５およびマイク４６が接続されており、映像ミキサ４７には、モニタＴＶ４８およびカメラ４９が接続されている。マイク４６は、演奏者Ｘ，Ｙの生演奏音を収音し、
選択部５１は、演奏者Ｘ，Ｙの操作により、第１階層の演奏データ（Ａ〜Ｎ）のなかから伴奏データの合成に用いる演奏データを選択する装置である。選択部５１は、音声ミキサ４４および映像ミキサ４７に選択信号を出力する。
【００４６】
音声ミキサ４４は、選択部５１の選択信号によって指示された演奏データの生演奏トラックおよび伴奏トラックを入力し、その生演奏トラック（および必要に応じて伴奏トラックまたはカラオケ演奏音）を合成して伴奏データを作成する。合成された伴奏データは音声信号に変換され、マイク４６から入力された演奏者Ｘ，Ｙの生演奏音と合成されてスピーカ４５から放音される。
【００４７】
このように、第１階層の生演奏音で伴奏データを作成し、この伴奏データに合わせて演奏者Ｘ，Ｙが演奏することにより、演奏者Ｘ，Ｙは、第１階層の生演奏ステーションで演奏している演奏者Ａ，Ｂ，Ｃ等と同じ場所で一緒に演奏しているような雰囲気で演奏をすることができる。
【００４８】
また、音声ミキサ４４は、マイク４６から入力された生演奏音を生演奏トラックのストリームデータとして通信部５０に出力する。さらに、音声ミキサ４４は、伴奏データの音声信号と伴奏トラックのストリームデータとして通信部５０に出力する。
【００４９】
映像ミキサ４７は、選択部５１の選択信号によって指示された演奏データの演奏者映像トラックおよびＢＧＶトラックを入力するとともに、カメラ４９が撮影した演奏者Ｘ，Ｙの映像およびカラオケ装置４１がビートクロックに同期して再生した歌詞テロップを入力する。そして、適当なＢＧＶトラックの上に各演奏者映像トラックおよびカメラ４９で撮影した演奏者Ｘ，Ｙの映像を合成し、さらにその上に歌詞テロップを合成した合成映像をモニタＴＶ４８に表示する。画面上での各（第１階層の）演奏者映像および演奏者Ｘ，Ｙの配置は適宜最適になるように決定される。また、背景映像は、第１階層から受信したものを用いるほか、カラオケ装置４１が再生したものを用いてもよい。
【００５０】
上記のように映像を合成することにより、このステーションの演奏者Ｘ，Ｙは、第１階層の生演奏ステーションで演奏している演奏者Ａ，Ｂ，Ｃ等と同じステージで演奏しているような映像をモニタＴＶ４８に表示することができる。
【００５１】
映像ミキサ４７は、演奏者Ｘ，Ｙの動画映像を演奏者映像トラックのストリームデータとして通信部５０に出力するとともに、第１階層から受信して再生したＢＧＶトラックのストリームデータを通信部４０に出力する。
通信部５０は、上記生演奏トラック、伴奏トラック、演奏者映像トラックおよびＢＧＶトラックのストリームデータをネットワークに出力する。
【００５２】
なお、この図では、第１階層の生演奏ステーション、第２階層の生演奏ステーション、さらに下位の生演奏ステーションと１方向に配列されているように記載しているが、実際には、各生演奏ステーションは、ネットワーク上にランダムに配置されており、どの生演奏ステーションも設定によって第１階層，第２階層等種々の階層のステーションとして機能する。
【００５３】
図４は、生演奏ステーションに設置されるカラオケ装置のブロック図である。ここでは、カラオケ装置２１を例に挙げて説明する。カラオケ装置２１は、装置全体の動作を制御するＣＰＵ１１０と、これに接続された各種機器で構成されている。
【００５４】
ＣＰＵ１１０は、カラオケ楽曲を演奏し、歌詞テロップを表示するためのシーケンサプログラム１３０および背景映像を表示するための背景映像表示プログラム１３３を実行する。シーケンサプログラム１３０は、曲を演奏するための曲シーケンサ１３１および歌詞テロップを表示するための歌詞シーケンサ１３２からいる。
【００５５】
ＣＰＵ１１０には、ハードディスク１１１、ＲＡＭ１１２、音源１１３、ＭＰＥＧデコーダ１２０等が接続されている。ハードディスク１１１は、カラオケ曲を演奏するための曲データやモニタに背景映像を表示するための映像データなどを記憶している。ＲＡＭ１１２には、プログラムや曲データを読み出すエリアなどが設定されている。
【００５６】
音源１１３は、ＣＰＵ１１０が実行する曲シーケンサ１３１の処理によって入力された曲データ（ノートイベントデータ等）に応じて楽音信号を形成する。形成した楽音信号は音声ミキサ２２に入力される。
【００５７】
ＨＤＤ１１１に記憶されている背景映像データ１４１は、ＭＰＥＧ２形式にエンコードされており、ＣＰＵ１１０が実行する背景映像再生プログラム１３３は、これを読み出してＭＰＥＧデコーダ１２０に入力する。ＭＰＥＧデコーダ１２０は、入力されたＭＰＥＧデータをＮＴＳＣの映像信号に変換して出力する。
【００５８】
演奏するカラオケ曲を指定されると、シーケンサ１３０は、指定されたカラオケ曲の曲データをハードディスク１１１の曲データ記憶エリア１４０から読み出す。曲シーケンサ１３１は曲データ中の演奏データトラック、ガイドメロディトラックなどのトラックのデータを読み出し、このデータで音源１１３を制御することによってカラオケ曲の演奏音を発生させる。また、歌詞シーケンサ１３２は、曲データ中の歌詞トラックのデータを読み出し、このデータに基づいて歌詞テロップの画像パターンを作成して映像ミキサ２５に出力する。また、背景映像再生部１３３は、シーケンサ１３０からの指示に応じて所定の背景映像データを読み出してＭＰＥＧデコーダ１２０に入力する。ＭＰＥＧデコーダ１２０でデコードされた背景映像信号（ＢＧＶ）は、映像ミキサ２５に入力される。
【００５９】
ここで、曲データは、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラックなどからなっている。このうち、歌詞トラックのイベントデータは、このカラオケ曲の歌詞テロップを表示するためのシーケンスデータであり、曲の進行に合わせた適当なタイミングに１行ずつ歌詞を表示・消去し、曲のテンポに同期して文字の色を変えていくためのイベントデータを有している。前記歌詞シーケンサ１３２は、曲シーケンサ１３１が実行する自動演奏のテンポクロック（ビートクロック）に同期して、上記歌詞トラックのイベントデータを実行してゆく。
【００６０】
なお、各生演奏ステーションにおいて、自分の演奏に合わせて伴奏音のピッチやテンポを変更できるようにしてもよい。この場合、その変更したピッチやテンポをデフォルトのピッチ・テンポに戻す処理は、送信側で行ってもよく受信側で行うようにしてもよい。
【図面の簡単な説明】
【００６１】
【図１】この発明の実施形態であるリモート演奏システムの演奏データの流れを説明する図
【図２】上記リモート演奏システムのシステム構成図
【図３】上記リモート演奏システムのシステム構成図
【図４】上記リモート演奏システムに用いられるカラオケ装置の構成図
【符号の説明】
【００６２】
１  第１階層の生演奏ステーション
２  第２階層の生演奏ステーション
１０  同期部
１０ａ  遅れ吸収バッファ
１１  ミキサ
１２  再生部
２１  カラオケ装置
２２  音声ミキサ
２５  映像ミキサ
２８  通信部
４１  カラオケ装置
４４  音声ミキサ
４７  映像ミキサ
５１  選択部
【図１】
2008089849.tif 000003
【図２】
2008089849.tif 000004
【図３】
2008089849.tif 000005
【図４】
2008089849.tif 000006